End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers (2025)
- Authors:
- Autor USP: SOUZA, WESLEY FERREIRA MAIA DE - ICMC
- Unidade: ICMC
- Sigla do Departamento: SME
- DOI: 10.11606/D.55.2025.tde-03112025-141248
- Subjects: LÍNGUA DE SINAIS; TRADUÇÃO AUTOMÁTICA; INCLUSÃO SOCIAL; PROCESSAMENTO DE LINGUAGEM NATURAL; VISÃO COMPUTACIONAL; APRENDIZADO COMPUTACIONAL
- Keywords: Accessibility; Acessibilidade; Arquiteturas transformers; Computer vision; MediaPipe; Sign language translation; Tradução de língua de sinais; Transformer architectures
- Language: Inglês
- Abstract: A comunicação entre surdos e ouvintes ainda enfrenta grandes barreiras, e a tradução automática de linguagem de sinais para texto é uma ferramenta essencial para promover acessibilidade e inclusão social. Este trabalho busca desenvolver modelos de tradução de linguagem de sinais que possam melhorar a qualidade das traduções automáticas, especialmente no que se refere à precisão e fluidez dos textos gerados. Utilizamos dois conjuntos de dados amplamente reconhecidos, Phoenix-2014T e How2Sign, para avaliar o desempenho de três abordagens de tradução: de linguagem de sinais para glossas (Sign2Gloss), de glossas para texto (Gloss2Text), e um processo integrado que combina essas duas fases (Sign2Gloss2Text). Os métodos desenvolvidos apresentaram resultados competitivos. O modelo Sign2Gloss alcançou uma taxa de erro de palavra (WER) de 24,69, uma métrica em que pontuações mais baixas indicam maior precisão, enquanto o modelo Gloss2Text obteve uma pontuação BLEU-4 de 24,67, uma métrica que avalia a qualidade de textos traduzidos automaticamente. O modelo integrado Sign2Gloss2Text conseguiu uma pontuação BLEU-4 de 21,30 no Phoenix-2014T, mostrando desempenho semelhante a métodos anteriores que utilizavam representações de palavras embutidas. Embora esses resultados sejam promissores, a tradução direta de linguagem de sinais para texto ainda apresenta desafios, como evidenciado pelas pontuações BLEU-4 mais baixas no conjunto de dados How2Sign. Esses achados sublinham a importância deuma etapa intermediária de glossas para melhorar a qualidade das traduções. Contudo, limitações como o domínio restrito dos conjuntos de dados e a abordagem unidirecional indicam que mais estudos são necessários.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2025
- Data da defesa: 11.07.2025
- Status:
- Artigo publicado em periódico de acesso aberto (Gold Open Access)
- Versão do Documento:
- Versão publicada (Published version)
- Acessar versão aberta:
-
ABNT
SOUZA, Wesley Ferreira Maia de. End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers. 2025. Mestrado Profissionalizante – Universidade de São Paulo, São Carlos, 2025. Disponível em: https://teses.usp.br/teses/disponiveis/55/55137/tde-03112025-141248/. Acesso em: 09 maio 2026. -
APA
Souza, W. F. M. de. (2025). End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers (Mestrado Profissionalizante). Universidade de São Paulo, São Carlos. Recuperado de https://teses.usp.br/teses/disponiveis/55/55137/tde-03112025-141248/ -
NLM
Souza WFM de. End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers [Internet]. 2025 ;[citado 2026 maio 09 ] Available from: https://teses.usp.br/teses/disponiveis/55/55137/tde-03112025-141248/ -
Vancouver
Souza WFM de. End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers [Internet]. 2025 ;[citado 2026 maio 09 ] Available from: https://teses.usp.br/teses/disponiveis/55/55137/tde-03112025-141248/
Informações sobre a disponibilidade de versões do artigo em acesso aberto coletadas automaticamente via oaDOI API (Unpaywall).
Por se tratar de integração com serviço externo, podem existir diferentes versões do trabalho (como preprints ou postprints), que podem diferir da versão publicada.
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
