Comparação de Métodos para Inferência em Linguagem Natural (2020)
- Authors:
- Autor USP: SOUZA, RODRIGO APARECIDO DA SILVA - FFLCH
- Unidade: FFLCH
- Sigla do Departamento: FLL
- DOI: 10.11606/D.8.2020.tde-15032021-204919
- Subjects: LINGUÍSTICA COMPUTACIONAL; LINGUAGEM NATURAL; APRENDIZADO COMPUTACIONAL; PROCESSAMENTO DE LINGUAGEM NATURAL
- Keywords: Alignment; Bag-of-Words; Inferênciaem Linguagem Natural; Logical Representation; Modelos Bag-of-Words; Modelos com alinhamento; Natural Language Inference; Representação Lógica; RoBERTa
- Agências de fomento:
- Language: Português
- Abstract: A Inferência em Linguagem Natural, do inglês Natural Language Inference (NLI), é um dos tópicos de pesquisa do Processamento Computacional de Linguagem Natural. Consiste, basicamente, na tarefa de determinar se um texto breve em língua natural, chamado premissa, acarreta outro texto, chamado hipótese. Normalmente, a tarefa é apresentada em forma de pares de premissa-hipótese e uma classificação para a relação de acarretamento. Neste trabalho, propomo-nos a testar diferentes métodos de solução para os proble- mas de NLI oferecidos pelos três primeiros conjuntos de dados do Pascal RTE Challenge (Dagan et al., 2005), o RTE-1, o RTE-2 e o RTE-3. Para tanto, implementamos quatro métodos diferentes de solução e algumas combinações entre eles: um método baseado em regras de Bag-of-Words (BoW) sem alinhamento, um baseado em alinhamento sen- tencial, um baseado em representação lógica para os textos dos pares e um baseado na tarefa de Question Answering (QA). Nosso objetivo é comparar em que medida métodos baseados em regras são eficazes para solucionar problemas de NLI e em que medida podem concorrer minimamente com modelos baseados em arquiteturas Transformer como o RoBERTa (Liu et al., 2019b),cujo desempenho é reconhecidamente bom nessa tarefa. A partir da implementação de diferentes regras de classificação, compusemos dois modelos. O primeiro, chamado BCBI, foi composto por regras de BoW sem alinhamento e por um Classificador Bayesiano Ingênuo. O segundo, chamado BACBI, foi composto regras de BoW, métodos de alinhamento e por um Classificador Bayesiano Ingênuo. O BCBI obteve uma acurácia de 65% no RTE-1, 57% no RTE-2 e 63% no RTE-3. O modelo BACBI obteve uma acurácia de 55% no RTE-1, 57% no RTE-2 e 60% no RTE-3. Para o teste baseado em QA, convertemos hipóteses em perguntas polares (sim/não) e mantivemos as premissas como se fossem candidatas a respostas. As duas são passadas para o modelo RoBERTa para a classificação dos pares. Avaliado nos conjuntos de dados, o modelo atingiu uma acurácia de 74% no RTE-1, 78% no RTE-2 e 71% no RTE-3. Por fim, comparamos os resultados alcançados pelos modelos com outros trabalhos avaliados nos conjuntos de dados. Concluímos que os modelos baseados em regras não foram eficazes para solucionar os problemas da tarefa. O método baseado no modelo RoBERTa, no entanto, atingiu resultados compatíveis com as melhores classificações nos corpora relatadas na literatura
- Imprenta:
- Data da defesa: 18.12.2020
- Este periódico é de acesso aberto
- Este artigo NÃO é de acesso aberto
-
ABNT
SOUZA, Rodrigo Aparecido da Silva e LOPES, Marcos Fernando. Comparação de Métodos para Inferência em Linguagem Natural. 2020. Dissertação (Mestrado) – Universidade de São Paulo, São Paulo, 2020. Disponível em: https://www.teses.usp.br/teses/disponiveis/8/8139/tde-15032021-204919/. Acesso em: 03 mar. 2026. -
APA
Souza, R. A. da S., & Lopes, M. F. (2020). Comparação de Métodos para Inferência em Linguagem Natural (Dissertação (Mestrado). Universidade de São Paulo, São Paulo. Recuperado de https://www.teses.usp.br/teses/disponiveis/8/8139/tde-15032021-204919/ -
NLM
Souza RA da S, Lopes MF. Comparação de Métodos para Inferência em Linguagem Natural [Internet]. 2020 ;[citado 2026 mar. 03 ] Available from: https://www.teses.usp.br/teses/disponiveis/8/8139/tde-15032021-204919/ -
Vancouver
Souza RA da S, Lopes MF. Comparação de Métodos para Inferência em Linguagem Natural [Internet]. 2020 ;[citado 2026 mar. 03 ] Available from: https://www.teses.usp.br/teses/disponiveis/8/8139/tde-15032021-204919/
Informações sobre o DOI: 10.11606/D.8.2020.tde-15032021-204919 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
