Resumo:
Nesta palestra, serão explorados os fundamentos dos Grandes Modelos de Linguagem (LLMs), iniciando com conceitos de representação textual e embeddings. Acompanharemos a evolução da modelagem de linguagem, desde os n-gramas até as abordagens neurais, com ênfase na arquitetura Transformer. Serão abordados os efeitos do aumento de escala dos modelos, incluindo o aprendizado em contexto (in-context learning) e a identificação de propriedades emergentes. Por fim, serão discutidos resultados recentes que investigam o funcionamento interno dos LLMs, com foco em mecanismos que buscam elucidar o comportamento observado nos modelos.
Mini CV:
Doutorando do programa de Ciência de Computação e Matemática Computacional do ICMC-USP, sob orientação do Prof. Dilvan Moreira. Sua pesquisa envolve a extração de entidades e a estruturação de informações da área da saúde para formatos padronizados e interoperáveis utilizando técnicas de processamento de linguagem natural, incluindo grandes modelos de linguagem.