Analyzing natural language inference from a rigorous point of view (2020)
- Authors:
- Autor USP: SALVATORE, FELIPE DE SOUZA - IME
- Unidade: IME
- Sigla do Departamento: MAC
- Subjects: APRENDIZADO COMPUTACIONAL; PROCESSAMENTO DE LINGUAGEM NATURAL
- Keywords: Classificação de texto; Inferência em linguagem natural; Víes em modelos de aprendizado de máquina
- Agências de fomento:
- Language: Inglês
- Abstract: Inferência em linguagem natural (natural language inference - NLI) é uma tarefa de classificação de texto baseada em determinar a relação de implicação entre um par de sentenças. Nessa tese estamos interessados em verificar se os modelos de deep learning usados em NLI satisfazem algumas propriedades lógicas. Aqui, focamos em duas propriedades: i) a capacidade de resolver problemas de dedução usando algumas formas lógicas (por exemplo, coordenação Booleana, quantificadores, descrição definida e operadores de contagem); e ii) a propriedade de ter a mesma conclusão partindo de premissas equivalentes. Para cada uma dessas propriedades, desenvolvemos um novo procedimento de avaliação. Para i) oferecemos um novo conjunto de dados sintético que podem ser usados tanto para a classificação quanto para a geração de inferência; e para ii) propomos um teste de hipóteses construído para representar as diferentes maneiras que a inclusão de sentenças com o mesmo significado pode afetar o treinamento de um modelo de aprendizado de máquina. Nossos resultados mostram que, embora os modelos de deep learning tenham um desempenho excelente na maioria dos problemas de NLI, eles ainda carecem de algumas importantes habilidades de inferência, como lidar com operadores de contagem, prever qual palavra pode formar uma implicação em um contexto específico e apresentar as mesmas deduções para duas entradas de texto que são diferentes mas possuem o mesmo significado. Isso indica que, apesar do grandepoder de predição desses novos modelos, eles apresentam alguns viéses de inferência que não podem ser facilmente removidos. Futuras investigações precisam ser feitas para se entender o alcance desse víes. É possível que aumentando o tamanho da amostra de treinamento na fase de fine-tuning esse viés seja reduzido
- Imprenta:
- Data da defesa: 14.12.2020
-
ABNT
SALVATORE, Felipe de Souza. Analyzing natural language inference from a rigorous point of view. 2020. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2020. Disponível em: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-05012021-151600/. Acesso em: 27 fev. 2026. -
APA
Salvatore, F. de S. (2020). Analyzing natural language inference from a rigorous point of view (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de https://www.teses.usp.br/teses/disponiveis/45/45134/tde-05012021-151600/ -
NLM
Salvatore F de S. Analyzing natural language inference from a rigorous point of view [Internet]. 2020 ;[citado 2026 fev. 27 ] Available from: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-05012021-151600/ -
Vancouver
Salvatore F de S. Analyzing natural language inference from a rigorous point of view [Internet]. 2020 ;[citado 2026 fev. 27 ] Available from: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-05012021-151600/
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
