Dissertação

Uma abordagem prática para implementação de assistentes virtuais utilizando LangChain e modelos de linguagem : desenvolvimento e avaliação de desempenho da Eris, a assistente virtual da PROGEP do IFCE

Autor(a) Freitas, Elton Dias
Orientador Menezes, José Wally Mendonça Siqueira, Robson da Silva Bastos, Isabel Cristina Vieira Bento Rodrigues, Joel José Puga Coelho
Página simplificada

Resumo

A constante evolução tecnológica no campo da Inteligência Artificial (IA), especialmente a ascensãodosgrandesmodelosdelinguagem,viabilizamaimplementaçãodesoluçõesrobustase sofisticadasparademandasemdiversasáreas. Estapesquisapropõeumasoluçãoparaaprimorar osuporteoferecidopelaPró-reitoriadeGestãodePessoas(PROGEP)doInstitutoFederalde Educação, Ciência e Tecnologia do Ceará (IFCE) aos seus servidores. A abordagem adotada envolveodesenvolvimentodaassistentevirtualEris,utilizandoomodelodelinguagemGPT3.5, o framework LangChain e técnicas de embeddings de palavras. Além do processo de desenvolvimento, a pesquisa se concentra na avaliação de desempenho da Eris. Os critérios de avaliação incluem a qualidade das respostas geradas, o tempo de geração de resposta e o custo médio por geração de resposta. Através de uma escala Likert adaptada, o método de avaliação humana foi utilizado para pontuar as respostas geradas pela assistente. A Eris foi avaliadaatravésde246perguntassobreostemas: remoção,ProgramadeGestãodeDesempenho (PGD) e Plano de Desenvolvimento Pessoas (PDP). Os resultados revelam que 90,65% das respostas da Eris foram classificadas como de qualidade satisfatória ou superior, sendo que 76,02%foramconsideradasequivalentesàqualidadederespostasfornecidasporespecialistas humanos. No aspecto do tempo de geração de resposta, a Eris demonstrou um desempenho muito satisfatório, alcançando um tempo médio de 6,23 segundos por resposta. Ao analisar o custo médio por geração de resposta, foi obtido o valor de R$ 0,2271 por resposta, indicando queaEriséumaassistentevirtualqueestáprontaparaserutilizadaemumcenárioreal,estando aptaasercolocadaemprodução

Palavras-chave

MESTRADO EM ENGENHARIA DE TELECOMUNICAÇÕES (IFCE) - DISSERTAÇÃO ASSISTENTE VIRTUAL INTELIGÊNCIA ARTIFICIAL

Informações acadêmicas