Integração de Datasets de Vídeo para Tradução Automática da LIBRAS com Aprendizado Profundo (2023)
- Authors:
- Autor USP: SARMENTO, AMANDA HELLEN DE AVELLAR - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- DOI: 10.11606/D.55.2023.tde-10012024-093541
- Subjects: LÍNGUA BRASILEIRA DE SINAIS; VISÃO COMPUTACIONAL; PROCESSAMENTO DE DADOS; LINGUAGEM NATURAL
- Keywords: Aprendizado profundo; Base de dados da LIBRAS; Brazilian sign language; Computer vision; Deep learning; LIBRAS dataset; Reconhecimento e tradução de língua de sinais; Sign language recognition and translation
- Language: Português
- Abstract: A comunicação por meio de sinais é uma forma importante de linguagem natural. A língua de sinais é uma maneira rica e diversificada de expressão humana, geralmente menos estudada, mas extremamente relevante para a comunidade surda. A principal questão abordada neste trabalho é como traduzir a Língua Brasileira de Sinais (LIBRAS) implementando métodos de Aprendizado Profundo (DL) com disponibilidade limitada de dados. Estudos anteriores tipicamente usam uma única base de dados, na maioria dos casos coletada pelos próprios autores. Neste trabalho é proposta uma abordagem diferenciada, de integração de diferentes fontes de dados, resultando em um Cross-Dataset, como uma alternativa mais adequada para avaliar a performance e capacidade de generalização dos modelos em um cenário mais realista. São explorados dois métodos para extrair as características espaciais. O primeiro se concentra em Redes Neurais Convolucionais (CNN) pré-treinadas, que exploram a capacidade das CNNs em capturar padrões visuais relevantes. O segundo se concentra na Estimação de Landmarks através de dados puramente visuais (RGB), que envolvem informações do esqueleto como pontos de referência da Pose, Mãos e Face. A fim de processar os dados sequenciais e realizar a classificação dos sinais isolados, uma rede Long Short-Term Memory (LSTM) é utilizada. Além disso, as conclusões obtidas não apenas apontam para a configuração de modelo mais eficaz, mas também exploram fatores de pré-processamento de vídeos,como amostragem de frames, redimensionamento ideal para estimação de Landmarks e aplicação de Data Augmentation. Uma das contribuições marcantes deste trabalho reside na coleta e compilação de um Cross-Dataset com dados oriundos de diversas instituições de ensino, cobrindo pelo menos três estados brasileiros. Ao reunir dados de diferentes fontes, este estudo fornece uma visão mais representativa da LIBRAS, contribuindo para uma compreensão mais profunda das complexidades envolvidas e provendo diretrizes gerais para uma melhor generalização de modelos de reconhecimento e tradução da LIBRAS.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2023
- Data da defesa: 26.10.2023
- Este periódico é de acesso aberto
- Este artigo NÃO é de acesso aberto
-
ABNT
SARMENTO, Amanda Hellen de Avellar. Integração de Datasets de Vídeo para Tradução Automática da LIBRAS com Aprendizado Profundo. 2023. Mestrado Profissionalizante – Universidade de São Paulo, São Carlos, 2023. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55137/tde-10012024-093541/. Acesso em: 28 fev. 2026. -
APA
Sarmento, A. H. de A. (2023). Integração de Datasets de Vídeo para Tradução Automática da LIBRAS com Aprendizado Profundo (Mestrado Profissionalizante). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55137/tde-10012024-093541/ -
NLM
Sarmento AH de A. Integração de Datasets de Vídeo para Tradução Automática da LIBRAS com Aprendizado Profundo [Internet]. 2023 ;[citado 2026 fev. 28 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55137/tde-10012024-093541/ -
Vancouver
Sarmento AH de A. Integração de Datasets de Vídeo para Tradução Automática da LIBRAS com Aprendizado Profundo [Internet]. 2023 ;[citado 2026 fev. 28 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55137/tde-10012024-093541/
Informações sobre o DOI: 10.11606/D.55.2023.tde-10012024-093541 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
