End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers (2025)
- Authors:
- Autor USP: SOUZA, WESLEY FERREIRA MAIA DE - ICMC
- Unidade: ICMC
- Sigla do Departamento: SME
- DOI: 10.11606/D.55.2025.tde-03112025-141248
- Subjects: LÍNGUA DE SINAIS; TRADUÇÃO AUTOMÁTICA; INCLUSÃO SOCIAL; PROCESSAMENTO DE LINGUAGEM NATURAL; VISÃO COMPUTACIONAL; APRENDIZADO COMPUTACIONAL
- Keywords: Accessibility; Acessibilidade; Arquiteturas transformers; Computer vision; MediaPipe; Sign language translation; Tradução de língua de sinais; Transformer architectures
- Language: Inglês
- Abstract: A comunicação entre surdos e ouvintes ainda enfrenta grandes barreiras, e a tradução automática de linguagem de sinais para texto é uma ferramenta essencial para promover acessibilidade e inclusão social. Este trabalho busca desenvolver modelos de tradução de linguagem de sinais que possam melhorar a qualidade das traduções automáticas, especialmente no que se refere à precisão e fluidez dos textos gerados. Utilizamos dois conjuntos de dados amplamente reconhecidos, Phoenix-2014T e How2Sign, para avaliar o desempenho de três abordagens de tradução: de linguagem de sinais para glossas (Sign2Gloss), de glossas para texto (Gloss2Text), e um processo integrado que combina essas duas fases (Sign2Gloss2Text). Os métodos desenvolvidos apresentaram resultados competitivos. O modelo Sign2Gloss alcançou uma taxa de erro de palavra (WER) de 24,69, uma métrica em que pontuações mais baixas indicam maior precisão, enquanto o modelo Gloss2Text obteve uma pontuação BLEU-4 de 24,67, uma métrica que avalia a qualidade de textos traduzidos automaticamente. O modelo integrado Sign2Gloss2Text conseguiu uma pontuação BLEU-4 de 21,30 no Phoenix-2014T, mostrando desempenho semelhante a métodos anteriores que utilizavam representações de palavras embutidas. Embora esses resultados sejam promissores, a tradução direta de linguagem de sinais para texto ainda apresenta desafios, como evidenciado pelas pontuações BLEU-4 mais baixas no conjunto de dados How2Sign. Esses achados sublinham a importância deuma etapa intermediária de glossas para melhorar a qualidade das traduções. Contudo, limitações como o domínio restrito dos conjuntos de dados e a abordagem unidirecional indicam que mais estudos são necessários.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2025
- Data da defesa: 11.07.2025
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
SOUZA, Wesley Ferreira Maia de. End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers. 2025. Dissertação (Mestrado) – Universidade de São Paulo, São Carlos, 2025. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55137/tde-03112025-141248/. Acesso em: 03 jan. 2026. -
APA
Souza, W. F. M. de. (2025). End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers (Dissertação (Mestrado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55137/tde-03112025-141248/ -
NLM
Souza WFM de. End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers [Internet]. 2025 ;[citado 2026 jan. 03 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55137/tde-03112025-141248/ -
Vancouver
Souza WFM de. End-to-End Sign Language Translation Pipeline Using Human Keypoints and Transformers [Internet]. 2025 ;[citado 2026 jan. 03 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55137/tde-03112025-141248/
Informações sobre o DOI: 10.11606/D.55.2025.tde-03112025-141248 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
