Facial expression synthesis in videos based on generative adversarial networks and inter-frame coherence (2024)
- Authors:
- Autor USP: TESTA, RAFAEL LUIZ - EACH
- Unidade: EACH
- DOI: 10.11606/T.100.2024.tde-18122024-231426
- Subjects: RECONHECIMENTO DE PADRÕES; RECONHECIMENTO DE IMAGEM; EMOÇÕES; EXPRESSÃO FACIAL
- Keywords: Coerência entre frames; Coerência Temporal; Edição de Atributos Faciais; Facial Attribute Editing; Facial Expression Generation; Facial expression manipulation; Facial Expression Reenactment; Facial Expression Synthesis; Generative Adversarial Networks; Geração de Expressão Facial; Interframe Coherence; Manipulação de expressões faciais; Mapeamento de Expressão Facial; Mapping Facial Expression; Redes Adversariais Gerativas; Reencenação da Expressão Facial; Síntese da Expressão Facial; Síntese de Vídeo; Temporal Coherence; Video Synthesis
- Language: Inglês
- Abstract: A capacidade de sintetizar expressões faciais realistas tem o potencial de melhorar o treinamento de habilidades sociais, particularmente para indivíduos com transtorno do espectro autista, para quem reconhecer e interpretar expressões faciais pode ser desafiador. O objetivo principal desta pesquisa é desenvolver uma abordagem inovadora para sintetizar vídeos realistas que retratam expressões faciais de emoções, mantendo a identidade individual e gerando transições mais suaves entre frames. A pesquisa se baseia em avanços recentes em aprendizado profundo, particularmente redes adversárias generativas, que se mostraram promissoras em reencenar emoções de um vídeo de referência de forma convincente. A abordagem proposta se distingue de outras abordagens semelhantes ao incorporar não apenas recursos de nível de pixel, mas também recursos baseados em forma, derivados de pontos no entorno dos componentes faciais, na função de perda para manter a coerência entre quadros. O pipeline de síntese de expressões faciais envolve seleção de vídeo de referência, preparação de dados (incluindo deformação de imagem e mapa de deslocamentos) e geração e refinamento de frames baseados em GAN. As novas contribuições incluem incorporar o frame anterior na arquitetura do gerador, a adição de duas novas funções de perda que consideram a consistência entre quadros adjacentes e uma etapa de pós-processamento de mesclagem de frames.A avaliação objetiva demonstrou desempenho superior em medidas específicas de vídeo em comparação com outras abordagens de imagem para vídeo e com a linha de base. A avaliação subjetiva confirmou maior realismo, expressividade e aspectos de preservação de identidade quando comparada à linha de base e também superou vídeos reais no reconhecimento de certas emoções pelos participantes. Ao aprimorar a coerência temporal na síntese de vídeos faciais expressivos, a abordagem proposta oferece um caminho promissor para o desenvolvimento de diversas aplicações, desde ferramentas diagnósticas e terapêuticas até usos em entretenimento, educação e tecnologia de comunicação
- Imprenta:
- Data da defesa: 05.11.2024
- Este artigo possui versão em acesso aberto
- URL de acesso aberto
- PDF de acesso aberto
- Versão do Documento: Versão publicada (Published version)
-
Status: Artigo publicado em periódico de acesso aberto (Gold Open Access) -
ABNT
TESTA, Rafael Luiz. Facial expression synthesis in videos based on generative adversarial networks and inter-frame coherence. 2024. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2024. Disponível em: https://teses.usp.br/teses/disponiveis/100/100131/tde-18122024-231426/. Acesso em: 10 mar. 2026. -
APA
Testa, R. L. (2024). Facial expression synthesis in videos based on generative adversarial networks and inter-frame coherence (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de https://teses.usp.br/teses/disponiveis/100/100131/tde-18122024-231426/ -
NLM
Testa RL. Facial expression synthesis in videos based on generative adversarial networks and inter-frame coherence [Internet]. 2024 ;[citado 2026 mar. 10 ] Available from: https://teses.usp.br/teses/disponiveis/100/100131/tde-18122024-231426/ -
Vancouver
Testa RL. Facial expression synthesis in videos based on generative adversarial networks and inter-frame coherence [Internet]. 2024 ;[citado 2026 mar. 10 ] Available from: https://teses.usp.br/teses/disponiveis/100/100131/tde-18122024-231426/
Informações sobre a disponibilidade de versões do artigo em acesso aberto coletadas automaticamente via oaDOI API (Unpaywall).
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
