EN8iT BddlmZddlZddlZddlZddlZddlmZddlmZddlZddlZddl Z ddl Z ddl m Z ddl Z ddlZddlZddlZddlZddlmZddlZddlZddlmZmZddlmZddlZddlZddlZdd lmZddl Z Gd d Z! e!Z"ejPdxxdz cc<GddZ)GddZ*dZ+ e+ e)Z-e*Z.ej^dGd d!Zd$e&d%e?d&e&fd'Z@d(ZAd)ZBd*ZCd+e&d$e&d%e?d&e&d,e&f d-ZDd.ZEy#e#$rZ$e%d e&e$e'd dZ$[$wwxYw#ejXdYxYw#e#$rZ$ej`de$dZ1ejde1Z3ejhejjjmrdndZ4ejde1dejnddddZ8e9e8jDdrde8jD_:e8jwdZ-dZ.YdZ$[$1dZ$[$wwxYw)/)OpenAIN)Pinecone)datetime)Error) load_dotenv) AutoTokenizerAutoModelForCausalLM) ChatResponse)ThreadPoolExecutorc0eZdZdZgdZfdZdZxZS) ConfigManagerN)OPENAI_API_KEYPINECONE_API_KEYOPENAI_API_VALOR_MAS SERVER_ENV XI_API_KEY AUDIO_URL RUTA_AUDIOc|j.t| ||_|jj|jSN) _instancesuper__new__ _load_configcls __class__s G/var/www/catia.catastroantioquia-mas.com/valormas/valormas_llama_crm.pyrzConfigManager.__new__)s7 == !GOC0CM MM & & (}}cttjdd}tjj|st d|t |g}|j D]<}tj|}|s|dk7r|j|t|||>|r!tddj|d|d|jr0|jjd s|xjd z c_ |jr2|jjd s|xjd z c_ yyy) NENV_PATHz6/var/www/catia.catastroantioquia-mas.com/valormas/.envzArchivo .env no encontrado en rzClaves faltantes en .env: z, z Archivo .env: z2 Por favor verifica las claves en el archivo .env./)osgetenvpathexistsFileNotFoundErrorr REQUIRED_KEYSappendsetattr ValueErrorjoinrendswithr)selfenv_path missing_keyskeyvalues rrzConfigManager._load_config/s99Z)abww~~h'#&DXJ$OP P H %% &CIIcNESL0##C( D#u %  & ,TYY|-D,EF!!) +DD  >>$.."9"9#"> NNc !N ??4??#;#;C#@ OOs "O$A?r)__name__ __module__ __qualname__rr(rr __classcell__rs@rr r sIM #rr u"Error crítico de configuración: PATHz :/usr/binc\eZdZdZej ZfdZdZdZ dZ dZ xZ S) ModelManagerNc|j[|j5|j.t| ||_|jj ddd|jS|jS#1swY|jSxYwr)r_lockrr _initializers rrzModelManager.__new__\so ==  0==($)GOC$8CMMM--/ 0}}s}}  0}}s ;A55B cd|_tjtjj rdnd|_t dd|_|jy)zInicializar modelo una sola vez/data/llama-model-base-crmcudacpuzllama-inference) max_workersthread_name_prefixN) model_dirtorchdevicerA is_availabler executor _load_model)r.s rr>zModelManager._initializedsE5llUZZ-D-D-F6ER *qM^_  rc  tjdtj|jd|_|j j %|j j|j _tj|jdtjddddd|_ t|jjdrd|jj_|jj|j!tjd |j"y#t$$r}tj&d |d}~wwxYw) zCargar modelo optimizadozCargando modelo Llama...T)use_fastNautoF)trust_remote_code torch_dtype device_maplow_cpu_mem_usage load_in_4bit load_in_8bit use_cachequantization_configzModelo cargado exitosamente en zError cargando modelo: )logginginforfrom_pretrainedrF tokenizer pad_token eos_tokenr rGfloat16modelhasattrconfigrVeval_warmuprH Exceptionerror)r.es rrKzModelManager._load_modelks%  LL3 4+::DN ~~''/+/>>+C+C(.=="&!MM!"&"" DJtzz((*?@8< !!5 JJOO  LLN LL:4;;-H I  MM3A37 8  sD7D:: E!EE!c  d}|j|gdj|j}tj5|j j d i|dd|jjd}ddd|jjdk(rtjjtjd y#1swYVxYw#t$r"}tjd |Yd}~yd}~wwxYw) zPre-calentar el modeloz6### Instruction: Hola ### Input: Test ### Response: ptreturn_tensorsF)max_new_tokens do_sample pad_token_idNrAz"Modelo pre-calentado correctamentezError en pre-calentamiento: )rZtorHrGno_gradr^generate eos_token_idtyperA empty_cacherWrXrcwarning)r. dummy_promptinputs_res rrbzModelManager._warmups @ZL^^\N4^HKKDKKXF 'DJJ''#$#!%!   @ OO:1#> ? ? @s1AC7C$(F$G!;;##v-JJ**,&3$0%2): A% % % N  MM21#6 7  s5E&D:E E&E#E&#E&& F /FF ) r3r4r5r threadingLockr=rr>rKrbrr6r7s@rr;r;Xs1I INN E'R@,,rr;ceZdZddZdZy) RequestQueuectj||_d|_d|_tj |_y)Nr)asyncio Semaphore semaphore queue_sizemax_queue_sizerr=)r.max_concurrents r__init__zRequestQueue.__init__s0 **>: \\^ rc K|j4d{|j|jk\r td|xjdz c_dddd{ |j4d{|d{}|cdddd{|j4d{|xjdzc_dddd{S77s#1d{7swYxYw7t7l7\7I7&#1d{7swYSxYw#1d{7swYnxYw |j4d{7|xjdzc_dddd{7y#1d{7swYyxYw#|j4d{7|xjdzc_dddd{7w#1d{7swYwxYwxYww)Nu+Cola de requests llena. Intenta más tarde.r8)r=rrrcr)r.cororesults rprocess_requestzRequestQueue.process_requests{:: ! !$"5"55 MNN OOq O ! !  %~~  #   zz % %1$ % % % ! ! ! ! !  #  % % % % %     zz % %1$ % % % % %tzz % %1$ % % % % %s|GCG:C GCG"E.2C'3E.6D<C)=D E.C+E.G#C-$G'C1= GC/ GGC$C C$ G'E.)D+E.-G/G1D 7C:8D ?GD D DE.G,D/-G1E GEGE+E" E+'G.G?F GF, G%F(&G,F> 2F53F> :GGN))r3r4r5rrrnrrrrs $ %rrc  tjddgdtjtjtjdy#tj $r!tj dtdwxYw)Ngccz --versionT)checkstdoutstderrz8gcc compiler is installed and available at /usr/bin/gcc.zBgcc compiler is not available at /usr/bin/gcc. Please install gcc.r8) subprocessrunPIPErWrXCalledProcessErrorrd SystemExitrnrr check_gccrsb{+4 XbXgXgh OP  ( ( Z[ms A A4Bu0GCC no disponible, continuando sin verificaciónz"Sistema inicializado correctamenteuError en inicialización: r@rArBTrNF)rOrPrQrRrSrTrVcDeZdZiZej ZeddZy)DBPoolc   |dk(rtj}ntj}tjj di|dddddS#tjj $r"}tjd|Yd}~yd}~wwxYw)Nr`Tutf8mb4r|) autocommit use_unicodecharsetconnection_timeoutuError conexión DB: rn) conexionesr`config2mysql connectorconnectrrWrd)r config_name config_dataerrs rget_connectionzDBPool.get_connections h&(// (00 ??** !#%  $$  MM06 7 sA AB +BB N)r`) r3r4r5_poolsrrr= classmethodrrnrrrrs' F INN Errc,tjdS)Nr`rrrnrr conectar_dbr0s   **rc,tjdS)Nrrrnrr conectar_db2r3s   ++rprompt idcliente id_asistentec t}|y |j}d}d}d}|j||||tj||f|j }|||} d} |j| | |f| |r2|j r!|j|jSSS#tjj$r[} tjd| d| cYd} ~ |r2|j r!j|jSSSd} ~ wwxYw#|r2|j r!j|jwwwxYw)N'Error al conectar con la base de datos.z Llama CRMWEBz INSERT INTO conversaciones (id_asistente, modelo, llegada, fecha_hora, pregunta, usuario) VALUES (%s, %s, %s, %s, %s, %s) zb UPDATE conversaciones SET hilo_conversacion = %s WHERE id = %s zError creando hilo: z'Error al insertar en la base de datos: ) rcursorexecuternow lastrowid is_connectedcloserrrrWrd) rrr connectionrmodelollegadaquerylast_inserted_idhilo_conversacion update_queryrs r crear_hilor7saJ8$""$  u|VWhllnfV_`a"++ 00ykJ |&79I%JK  *113 LLN    4: ?? ? ,SE238>> *113 LLN    4: ? *113 LLN    4:s0A+B//D' D"(D')D*"D''D**6E cBt}|y |j}d}|j|||||f |r2|jr!|j |j yyy#t j j$r[}tjd|d|cYd}~|r2|jr!j |j SSSd}~wwxYw#|r2|jr!j |j wwwxYw)Nrz UPDATE conversaciones SET respuesta = %s, input = %s, output = %s WHERE hilo_conversacion = %s TzError actualizando respuesta: z6Error al actualizar la respuesta en la base de datos: ) rrrrrrrrrWrd)r respuestarrrrrrs ractualizar_respuestards J8""$  uy, GXYZ *113 LLN    4: ?? N 6se<=GuMM *113 LLN    4: N *113 LLN    4:s/(A--C% C &C%'C( C%%C((6Dcddddddddd d d d d d }|jD]\}}|j||}tjdd|j }|S)NáéíóúñÑüÉÚÓÍÀ) uáuéuíuóuúuñuÑuüuÉuÚuÓuÃ�uÀz\s+ )itemsreplaceresubstrip)texto reemplazos incorrectocorrectos r limpiar_textorsydD$tTD$tJ!+ 0 0 24 H j(34 FF63 & , , .E Lrc ptjsyt|}t}|ddiS |j d}d}|j ||f|j }|s8ddi|r2|jr!|j|jSSSd|t|dt|d t|d t|d d d }d|dd}dtjd} tj|| |d} | jdk(rtjdd} d| d|d} tj | } tj"| }t%j&t$j(j+| dt-| d5}|j/| j0ddd||r2|jr!|j|jSSSt3j4d| jd| j6dd | jd| j6d!|r2|jr!|j|jSSS#1swYxYw#t8$rf}t3j4d"|dd"t;|icYd}~|r2|jr!j|jSSSd}~wwxYw#|r2|jr!j|jwwwxYw)#NrdrT) dictionarya SELECT asistentes.id_voz, voces.nombre_voz, voces.id_eleven, asistentes_voces.similarity_boost, asistentes_voces.stability, asistentes_voces.style, asistentes_voces.use_speaker_boost FROM asistentes INNER JOIN asistentes_voces ON asistentes.id_voz = asistentes_voces.id INNER JOIN voces ON asistentes_voces.id_modelo_voz = voces.id WHERE asistentes.id = %s u5No se encontró un asistente con el ID proporcionado.eleven_multilingual_v2similarity_boost stabilitystyleuse_speaker_boost)rrrr)model_idtextvoice_settingsz,https://api.elevenlabs.io/v1/text-to-speech/ id_elevenz9?optimize_streaming_latency=0&output_format=mp3_44100_128zapplication/json)z Content-Typez xi-api-keyr)headersjsontimeoutr{i'iaudio_rxz.mp3)exist_okwbzError ElevenLabs: z - FzError en ElevenLabs: )successrdzError generando audio: )r`rrrrrfetchonerrfloatboolrequestspost status_coderandomrandintrrr#makedirsr%dirnameopenwritecontentrWrdrrcstr)rr texto_limpiorr query_voz asistentepayloadapi_urlrresponsenumero_aleatorionombre_archivo ruta_audio audio_url audio_fileres r)obtener_configuracion_voz_y_generar_audior&s4    'LJBCCN""d"3   y?J!++,^,<=I KK 3d Cj$' 3:  !1!12 3 *113 LLN    4: MM.x/C/C.DC W X 01E1E0Fc(--Y *113 LLN    4:! 3 3 = /s3423q6(;<< *113 LLN    4: = *113 LLN    4:sUK?7K<<K??6L5r volume_upc Kd|d} trpttdr`tj}|j tj tj |d{}|d}|d} |d} |d} nt|gd jt} | d jd } tj} tjdi| d d ddd}tj}tj|dd }|jd } t|| z dz} | | z}tj}|j dt ||||d{}t#j$d|t"j&}|r|j)d j+}tj,tj.t0||| | d}|dk(r |j dt2||d{}t5d||| | || || St5dd|| | || |S7770#t6$rA}t9j:d|t5ddt=||dddd|cYd}~Sd}~wwxYww)Nu### Instruction: Eres Catia, un asistente amable que responde de forma breve, clara y precisa a preguntas sobre trámites de catastro antioquia. ### Input: z ### Response: rrrrrrgrhrzr8r{Tr}r~)rkrlrrrrrz(### Response:\n(.*?)(### Instruction:|$)siExito) r* Respuesta Tarea_Creadarr total_tokensr thread_idr#rz+No se pudo extraer la respuesta del modelo.)r*r+r,rrr-rr.zError en generar_respuesta: zError inesperado: rn) model_managerr_rget_event_looprun_in_executorrJrrZrorHrrr^rqrr verificarrsearchDOTALLgroupr create_task to_threadrr&r rcrWrdr)rrrrr'rloopgeneration_resultrrrrrwrrrr-matchrespuesta_limpiar#res rgenerar_respuestar<s h ` W]OD))+D&*&:&:&&++'!  .o>M,^M 12E F  }TBEEfMF!+.44Q7LJnn" Gyy{H%,,WQZT,RM#MM!,M #X %:d$B C #m3 %%'"&"6"6 ). <#   E}VXV_V_` ${{1~335    !!"68IK[]ikxy  JD #'#7#7C\Sc$  *.)+)"3+%   G.)+)"3+  M!H "8    4QC89*3q6(3*'    syJAH7&H0'DH7'H3(BH7H5H7JH7/J0H73H75H77 J6I<6J7J<JJc*|dk(r t|||}|S)Nnada)r)rrrrs rr2r2XsF"&vy,G r)Fopenairrrrpineconerrr a_env_varsmysql.connectorrrsysr tracebackrtiktokendotenvrr#rG transformersrr clasesr rrWrconcurrent.futuresr rr r`rcreprintrrenvironr;rrrur/ request_queuerXrdrFrYrZrHrArIr]r^r_rVrarrrrrrrr&r<r2rnrrrMsE  !   <1/#/#d _F  6k!~~B%%,H K  NM NMGLL56.0+,*s*s*#*Z8$Xvi si Ci Ci _bi ori VO .s1vh 78 Q-RHGOOFGGMM.qc23,I- --i8I U\\EJJ$;$;$=&5 IF 0 0 0MM Eu||23+/ ( JJLMM's= DE EE"D;;EEH!B2HH