Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains (2024)
- Authors:
- Autor USP: PEREIRA, GEAN TRINDADE - ICMC
- Unidade: ICMC
- Sigla do Departamento: SME
- DOI: 10.11606/T.55.2024.tde-30042024-135847
- Subjects: REDES NEURAIS; VISÃO COMPUTACIONAL; COMPUTAÇÃO EVOLUTIVA
- Keywords: Busca de arquitetura neural; Computer vision; Convolutional neural networks; Meta-aprendizado; Meta-learning; Neural architecture search; Neural networks; Redes neurais convolucionais
- Agências de fomento:
- Language: Inglês
- Abstract: Um fator crítico para o progresso de Deep Learning ao longo dos anos foi a proposta de novas arquiteturas que permitiram avanços consideráveis nas capacidades de aprendizagem de Redes Neurais. No entanto, especialistas ainda majoritariamente definem arquiteturas neurais em um processo demorado de tentativa e erro. Como resultado, a necessidade de otimização deste processo levou ao surgimento da Busca de Arquitetura Neural (NAS), que apresenta duas vantagens principais sobre o status quo: Pode otimizar o tempo de profissionais ao automatizar o projeto das arquiteturas, e permite a descoberta de novas arquiteturas. A estrutura de NAS tem três componentes principais: (i) Espaço de Busca, que define o espaço das arquiteturas candidatas; (ii) Estratégia de Busca, que especifica como o Espaço de Busca é explorado; e (iii) Estratégia de Estimativa de Performance, que define como o desempenho de uma arquitetura é estimado. Embora o Espaço de Buca baseado em célula tenha dominado soluções NAS populares, o mesmo não acontece com as Estratégias de Busca e Estimativa de Performance, onde nenhuma abordagem dominante é usada. Muitos métodos de NAS exploram o espaço das arquiteturas usando Aprendizado por Reforço, Computação Evolucionária e Otimização Baseada em Gradiente. Como Estratégia de Estimativa de Performance, os chamados modelos One-Shot e os mais recentes métodos Training-Free e Prediction-based também ganharam notoriedade. Apesar de apresentar bom desempenho preditivo e custosreduzidos, os métodos de NAS existentes que utilizam tais abordagens ainda sofrem com complexidade de modelo, exigindo muitas GPUs poderosas e longos tempos de treinamento. Além disso, diversas soluções populares exigem grandes quantidades de dados para convergir, envolvem procedimentos ineficientes e complexos, e carecem de interpretabilidade. Neste contexto, uma solução potencial é a utilização de Meta-Aprendizado (MtL). Os métodos de MtL têm a vantagem de serem mais rápidos e baratos que soluções convencionais, pois utilizam experiência prévia para construir novos conhecimentos. Dentre as abordagens MtL, três se destacam: (i) Aprendizado a partir de Propriedades de Tarefa; (ii) Aprendizado a partir de Avaliações de Modelos; e (iii) Aprendizado a partir de Modelos Anteriores. Esta tese propõe dois métodos que utilizam conhecimento prévio para otimizar o framework NAS: Model-based Meta-Learning for Neural Architecture Search (MbML-NAS) e Active Differentiable Network Topology Search (Active-DiNTS). O MbMLNAS aprende tanto com características de tarefas codificadas por meta-atributos arquitetônicos quanto com desempenhos de arquiteturas pré-treinadas para prever e selecionar ConvNets para Classificação de Imagens. O Active-DiNTS aprende com avaliações de modelos, modelos anteriores e propriedades de tarefas na forma de uma estrutura de Aprendizado Ativo que obtém informações de resultados de modelos, estimativas de incerteza e novos exemplos rotulados em um processoiterativo. Experimentos com o MbML-NAS mostraram que o método foi capaz de generalizar para diferentes espaços de busca e conjuntos de dados usando um conjunto mínimo de seis meta-atributos interpretáveis. Usando uma abordagem simples com regressores tradicionais, o MbML-NAS relatou desempenhos preditivos comparáveis com o estado-da-arte usando pelo menos 172 exemplos ou apenas 0,04% e 1,1% dos espaços de busca do NAS-Bench- 101 e NAS- Bench-201. O Active-DiNTS obteve resultados estado-da-arte na segmentação de imagens do conjunto de dados Brain do desafio MSD, superando a linha de base principal DiNTS em até 15%. Em termos de eficiência, configurações alternativas alcançaram resultados comparáveis ao DiNTS usando menos de 20% dos dados originais. Além disso, o Active-DiNTS é computacionalmente eficiente pois gera modelos com menos parâmetros e melhor alocação de memória usando uma GPU.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2024
- Data da defesa: 18.03.2024
- Status:
- Artigo publicado em periódico de acesso aberto (Gold Open Access)
- Versão do Documento:
- Versão publicada (Published version)
- Acessar versão aberta:
-
ABNT
PEREIRA, Gean Trindade e CARVALHO, Andre Carlos Ponce de Leon Ferreira de. Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains. 2024. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2024. Disponível em: https://teses.usp.br/teses/disponiveis/55/55134/tde-30042024-135847/. Acesso em: 01 abr. 2026. -
APA
Pereira, G. T., & Carvalho, A. C. P. de L. F. de. (2024). Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de https://teses.usp.br/teses/disponiveis/55/55134/tde-30042024-135847/ -
NLM
Pereira GT, Carvalho ACP de LF de. Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains [Internet]. 2024 ;[citado 2026 abr. 01 ] Available from: https://teses.usp.br/teses/disponiveis/55/55134/tde-30042024-135847/ -
Vancouver
Pereira GT, Carvalho ACP de LF de. Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains [Internet]. 2024 ;[citado 2026 abr. 01 ] Available from: https://teses.usp.br/teses/disponiveis/55/55134/tde-30042024-135847/
Informações sobre a disponibilidade de versões do artigo em acesso aberto coletadas automaticamente via oaDOI API (Unpaywall).
Por se tratar de integração com serviço externo, podem existir diferentes versões do trabalho (como preprints ou postprints), que podem diferir da versão publicada.
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
