Robust image features creation by learning how to merge visual and semantic attributes (2021)
- Authors:
- Autor USP: RESENDE, DAMARES CRYSTINA OLIVEIRA DE - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- Subjects: APRENDIZADO COMPUTACIONAL; PROCESSAMENTO DE IMAGENS; PROCESSAMENTO DE SINAIS DE VÍDEO; RECONHECIMENTO DE IMAGEM; REDES NEURAIS
- Keywords: Aprendizado de características; Aprendizado de variedades; Autoencoder; Autoencoder; Classificação de imagens; Feature learning; Image classification; Manifold learning
- Language: Inglês
- Abstract: Existem vantagens conhecidas em usar atributos semânticos para melhorar a representação de imagens. No entanto, o estudo de como esses atributos melhoram subespaços visuais e os efeitos sobre a classificação de dados grosseiros e granulares ainda estava para ser investigado. Esta pesquisa reporta um Codificador Visual-Semântico (VSE) construído a partir de um autoencoder sub completo, formado por uma rede neural que combina características semânticas e visuais para formar um espaço compacto que contém as propriedades mais relevantes de cada domínio. É observado empiricamente que o espaço latente aprendido pode melhor representar as características de imagens e inclusive permite a interpretação dos resultados baseado na natureza dos atributos semânticos, oferecendo um caminho para a aprendizagem explicável. Os experimentos foram realizados em quatro bases de dados benchmark onde o VSE foi comparado com algoritmos do estado-da-arte para a redução de dimensionalidade. O algoritmo se mostra robusto para até 20% de degradação dos dados semânticos e é tão eficiente quanto o LLE para aprender um espaço de baixa dimensionalidade com rica representatividade, oferecendo possibilidades para trabalhos futuros na aplicação de um coletor automático de dados semânticos para melhorar as representações. Ademais, o estudo sugere experimentalmente que a inclusão de conceitos de alto nível à representação de imagens adiciona linearidade ao espaço de características, permitindo que o PCA tenhaboa performance na combinação de propriedades visuais e semânticas para melhorar a separabilidade das classes. Por fim, experimentos foram realizados no âmbito de zero-shot learning, onde VSE e PCA superam SAE, o algoritmo estado-da-arte proposto por Kodirov, Xiang and Gong (2017), e JDL, o framework de aprendizado discriminativo conjunto proposto por Zhang and Saligrama (2016), o que demonstra a viabilidade da mesclagem de dados semânticos e visuais nas etapas de treino e teste para para aprender aspectos que transcendem as fronteiras de classes e permitem a classificação de dados desconhecidos.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2021
- Data da defesa: 21.01.2021
-
ABNT
RESENDE, Damares Crystina Oliveira de. Robust image features creation by learning how to merge visual and semantic attributes. 2021. Dissertação (Mestrado) – Universidade de São Paulo, São Carlos, 2021. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-17032021-122717/. Acesso em: 02 jan. 2026. -
APA
Resende, D. C. O. de. (2021). Robust image features creation by learning how to merge visual and semantic attributes (Dissertação (Mestrado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-17032021-122717/ -
NLM
Resende DCO de. Robust image features creation by learning how to merge visual and semantic attributes [Internet]. 2021 ;[citado 2026 jan. 02 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-17032021-122717/ -
Vancouver
Resende DCO de. Robust image features creation by learning how to merge visual and semantic attributes [Internet]. 2021 ;[citado 2026 jan. 02 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-17032021-122717/
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
