Avaliação de LLMs na geração de expressões espaciais (2025)
- Authors:
- Autor USP: SOUZA, RODRIGO APARECIDO DA SILVA - FFLCH
- Unidade: FFLCH
- Sigla do Departamento: FLL
- DOI: 10.11606/T.8.2025.tde-26062025-155508
- Subjects: PROCESSAMENTO DE LINGUAGEM NATURAL; LINGUÍSTICA COMPUTACIONAL
- Keywords: Avaliação; Modelos Grandes de Língua; Semântica de relações espaciais
- Language: Português
- Abstract: Large Language Models (LLMs), notáveis por sua expressiva capacidade de processar dados linguísticos, cada vez mais são avaliados em tarefas que envolvem conhecimento espacial, caracterizado por seu domínio multimodal. Nesse contexto, destacam-se modelos capazes de gerar descrições para imagens e vídeos a partir de instruções em língua natural. Neste trabalho, investigamos em que medida LLMs conseguem distinguir usos específicos de duas expressões projetivas em francês: devant e en face de, ambas ligadas ao eixo frontal. Para alcançar nosso objetivo, selecionamos cinco modelos: o ChatGPT 4o, o Llamma 3.2, o Mistral Large, o Claude 3.5 Sonnet e o Gemini 1.5 Pro. Esses modelos foram avaliados em dois conjuntos de dados. O primeiro foi composto por 30 pares de sentenças que diferiam apenas na substituição entre devant e en face de. O objetivo foi verificar se os modelos eram capazes de captar distinções nos usos dessas expressões. O segundo conjunto foi o SpatialVOC2k, corpus com 2026 fotografias anotadas com relações espaciais em inglês e francês. Nesse corpus, realizamos dois estudos. No primeiro, os modelos deveriam descrever 756 fotografias com e sem caixas delimitadoras, utilizando uma das duas expressões projetivas. No segundo, deveriam descrever relações espaciais entre objetos inexistentes em 30 imagens. Todos os testes foram conduzidos com prompts do tipo few-shot em francês. Além dos testes, analisamos o desempenho dos modelos a partir das máximas conversacionais de Paul Grice, entendendo que seria possível conceber a interação humanos-LLMs com base no que, para Grice, é subjacente à comunicação humana.Os resultados do primeiro estudo indicaram que os modelos distinguem os usos das expressões com base em dois traços: devant foi associada a uma configuração mais geral, equivalente a "na frente de". En face de, por sua vez, foi associada a "face a face". No segundo estudo, os modelos tiveram melhor desempenho quando a tarefa foi dividida em etapas sucessivas e quando as imagens incluíam caixas delimitadoras, que facilitaram a identificação dos objetos. Das 756 fotografias, com caixas, os acertos foram os seguintes: ChatGPT 4o, 337; Llama 3.2, 267; Mistral Large, 304; Claude 3.5 Sonnet, 327; e Gemini Pro, 334. Sem caixas, os acertos foram: ChatGPT 4o, 248; Llama 3.2, 261; Mistral Large, 375; Claude 3.5 Sonnet, 385; e Gemini Pro, 260. No estudo com objetos inexistentes, apenas o Llama 3.2 produziu descrições, sendo 24 das 30 imagens com caixas e 22 sem caixas. Em outro teste, em que era necessário descrever 10 pares de objetos inexistentes, o modelo descreveu 29 fotografias com caixas e 30 sem. Por fim, ao analisarmos os resultados com base nas máximas conversacionais, observamos que desvios e incoerências nas respostas podem ser interpretados como quebra da máxima de quantidade, que orienta participantes da comunicação a darem tanta informação quanto o que foi solicitado
- Imprenta:
- Data da defesa: 11.04.2025
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
SOUZA, Rodrigo Aparecido da Silva. Avaliação de LLMs na geração de expressões espaciais. 2025. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2025. Disponível em: https://www.teses.usp.br/teses/disponiveis/8/8139/tde-26062025-155508/. Acesso em: 09 jan. 2026. -
APA
Souza, R. A. da S. (2025). Avaliação de LLMs na geração de expressões espaciais (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de https://www.teses.usp.br/teses/disponiveis/8/8139/tde-26062025-155508/ -
NLM
Souza RA da S. Avaliação de LLMs na geração de expressões espaciais [Internet]. 2025 ;[citado 2026 jan. 09 ] Available from: https://www.teses.usp.br/teses/disponiveis/8/8139/tde-26062025-155508/ -
Vancouver
Souza RA da S. Avaliação de LLMs na geração de expressões espaciais [Internet]. 2025 ;[citado 2026 jan. 09 ] Available from: https://www.teses.usp.br/teses/disponiveis/8/8139/tde-26062025-155508/
Informações sobre o DOI: 10.11606/T.8.2025.tde-26062025-155508 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
