Artigo de periodico

The high-speed evolution of NLP, and where it hits a wall: pay attention (2023)

• Authors:
  • Cozman, Fabio Gagliardi
  • Munhoz, Hugo Neri
• USP affiliated authors: COZMAN, FABIO GAGLIARDI - EP ; MUNHOZ, HUGO NERI - EP
• Unidade: EP
• DOI: 10.35699/2965-6931.2023.47510
• Subjects: INTELIGÊNCIA ARTIFICIAL; APRENDIZAGEM PROFUNDA; PROCESSAMENTO DE LINGUAGEM NATURAL
• Language: Inglês
• Abstract: Este artigo analisa a evolução dos modelos baseados em atenção no Processamento de Linguagem Natural (PLN) em um tom informal, começando em 2003 e culminando nas arquiteturas de “transformers" que conhecemos desde 2017. Explicamos como os “transformers" conseguiram resolver o importante "benchmark" para o raciocínio de senso comum em Inteligência Artificial devido ao seu pré-treinamento. Além disso, investigamos o paralelo entre o conceito de ‘gist' (“o que realmente importa”) na compreensão da linguagem humana, conforme proposto por Roger Schank, um veterano do PLN, e os “embeddings" agora empregados na aprendizagem de máquina. No final do artigo, discutimos um problema bem conhecido com esses modelos, as chamadas "alucinações". Este fenômeno destaca a luta dos modelos para discernir fato de ficção, necessitando de mais pesquisas para mitigar seu impacto. Enquadramos essa questão no contexto do trabalho de David Lewis, argumentando que representa um desafio fundamental para os modelos de linguagem.
• Imprenta:
  • Publisher place: Belo Horizonte
  • Date published: 2023
• Source:
  • Título: Revista da UFMG
  • ISSN: 2965-6931
  • Volume/Número/Paginação/Ano: v. 30, p. 1-19, 2023


Informações sobre a disponibilidade de versões do artigo em acesso aberto coletadas automaticamente via oaDOI API (Unpaywall).

Status:

Artigo publicado em periódico de acesso aberto (Gold Open Access)

Versão do Documento:

Versão publicada (Published version)

Acessar versão aberta:

• PDF de acesso aberto

Por se tratar de integração com serviço externo, podem existir diferentes versões do trabalho (como preprints ou postprints), que podem diferir da versão publicada.

---

Download do texto completo

Tipo	Nome	Link
	3247063.pdf	Direct link

How to cite

A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas

• ABNT

  COZMAN, Fabio Gagliardi e MUNHOZ, Hugo Neri. The high-speed evolution of NLP, and where it hits a wall: pay attention. Revista da UFMG, v. 30, p. 1-19, 2023Tradução . . Disponível em: https://doi.org/10.35699/2965-6931.2023.47510. Acesso em: 07 maio 2026.

• APA

  Cozman, F. G., & Munhoz, H. N. (2023). The high-speed evolution of NLP, and where it hits a wall: pay attention. Revista da UFMG, 30, 1-19. doi:10.35699/2965-6931.2023.47510

• NLM

  Cozman FG, Munhoz HN. The high-speed evolution of NLP, and where it hits a wall: pay attention [Internet]. Revista da UFMG. 2023 ; 30 1-19.[citado 2026 maio 07 ] Available from: https://doi.org/10.35699/2965-6931.2023.47510

• Vancouver

  Cozman FG, Munhoz HN. The high-speed evolution of NLP, and where it hits a wall: pay attention [Internet]. Revista da UFMG. 2023 ; 30 1-19.[citado 2026 maio 07 ] Available from: https://doi.org/10.35699/2965-6931.2023.47510

Últimas obras dos mesmos autores vinculados com a USP cadastradas na BDPI:

• O processo de intelectualização: fundamentos para uma explicação sociológica do conhecimento
• As fronteiras do senso comum
• Inteligência Artificial no dia-a-dia [Entrevista á Fabio de Lima]
• Robo da usp. [Depoimento]
• Pesquisadores da USP concluem robo móvel e vão torna-lo mais inteligente. [Depoimento]
• Estudo internacional revela como neurônios artificiais simulam habilidades cerebrais complexas [Entrevista a Guilherme Castro Souza]
• Geração de redes bayesianas uniformemente distribuídas
• Robustness analysis of Bayesian networks with local convex sets of distributions
• Axiomatizing noisy-OR
• Tomada de decisão com conjuntos de medidas de probabilidade: conceitos de independência e modelos baseados em grafos