Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo (2020)
- Authors:
- Autor USP: KISHI, RODRIGO MITSUO - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- DOI: 10.11606/T.55.2020.tde-29072020-100439
- Subjects: MULTIMÍDIA; VÍDEO INTERATIVO; INTERAÇÃO USUÁRIO-COMPUTADOR
- Keywords: Análise de co-ocorrência; Co-occurrence analysis; Digital video; Early fusion; Fusão prévia; Multimedia; Multimodalidade; Multimodality; Vídeo digital
- Language: Português
- Abstract: O emprego de fusão prévia multimodal tem se mostrado eficaz em grande parte das tarefas de análise de vídeo existentes. Os métodos de fusão prévia encontrados na literatura foram desenvolvidos para melhorar a eficácia em tarefas específicas e, por esse motivo, são essencialmente vinculados a particularidades de suas respectivas tarefas fim. Com isso, alguns aspectos importantes para a produção de uma representação expressiva por meio de fusão de informação, bem como o potencial de generalização quanto ao domínio de aplicação foram negligenciados em pesquisas até o presente momento. Esta tese de doutorado propõe um método, M4InFus, destinado a realizar fusão de informação multimodal sem utilizar especificidades de domínio de aplicação. O método M4InFus é baseado em identificação de co-ocorrência de padrões unimodais em segmentos de vídeo e cobre lacunas existentes na área de fusão de informação multimodal. O método proposto foi aplicado em dois experimentos na tarefa de Segmentação Temporal de Vídeo em Cenas e em um experimento na tarefa de Classificação de Vídeo, promovendo ganhos em eficácia em ambas as tarefas. Considerando que a eficácia em tais tarefas é limitada pela Lacuna Semântica, há um indício de que representações geradas pelo método M4InFus são menos distantes da semântica contida nos segmentos de vídeo de origem. Este projeto de doutorado também gerou, como contribuição, a implementação do M4InFus e a formação de recursos humanos em níveis de doutorado e deiniciação científica.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2020
- Data da defesa: 26.03.2020
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
KISHI, Rodrigo Mitsuo. Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo. 2020. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2020. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29072020-100439/. Acesso em: 19 set. 2024. -
APA
Kishi, R. M. (2020). Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29072020-100439/ -
NLM
Kishi RM. Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo [Internet]. 2020 ;[citado 2024 set. 19 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29072020-100439/ -
Vancouver
Kishi RM. Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo [Internet]. 2020 ;[citado 2024 set. 19 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29072020-100439/
Informações sobre o DOI: 10.11606/T.55.2020.tde-29072020-100439 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
