Menu



Exportar registro bibliográfico

Metrics:

Tese

A data-driven systematic, consistent and non-exhaustive approach to Model Selection (2022)

  • Authors:
  • Autor USP: MARCONDES, DIEGO RIBEIRO - IME
  • Unidade: IME
  • Sigla do Departamento: MAP
  • DOI: 10.11606/T.45.2022.tde-09082022-154351
  • Subjects: SELEÇÃO DE MODELOS; ALGORITMOS
  • Keywords: Algoritmos U-curve; Aprendizado estatístico; Aprendizado PAC; Busca de arquiteturas de redes neurais; Cross validation; Model Selection; Neural architecture search; PAC learning; Partition lattice; Reticulado das partições; Statistical learning; Teoria VC; U-curve algorithms; Validação cruzada; VC theory; W-operadores
  • Agências de fomento:
  • Language: Inglês
  • Abstract: A ciência moderna consiste em desenvolver um conjunto de hipóteses para explicar um fenômeno observável, confrontá-las com a realidade, e manter como possíveis explicações hipóteses que ainda não foram falsificadas. Esse conjunto de hipóteses é chamado de modelo, logo um passo importante do método científico é selecionar um modelo. Em métodos de Aprendizado Estatístico, isso consiste em selecionar um modelo dentre candidatos baseando-se em evidências quantitativas, e então aprender hipóteses nele pela minimização de uma função de risco empírica. A necessidade de selecionar um modelo, ao invés de considerar a união dos candidatos como as hipóteses possíveis, é a suscetibilidade a overfitting, a partir da qual emerge um trade-off entre complexidade e viés. Se escolhermos um modelo altamente complexo, então teremos nele hipóteses que explicam o fenômeno muito bem, mas também poderá haver hipóteses que explicam os dados empíricos muito bem, e não é claro como separamos essas hipóteses, logo ocorre overfitting. Se escolhermos um modelo mais simples, pode ocorrer que as hipóteses que se encaixam bem nos dados empíricos são as mesmas que melhor explicam o fenômeno, mas podem não explicá-lo muito bem, já que podem haver hipóteses que não estão no modelo que o explicam melhor, logo há um viés no aprendizado nesse modelo. Assim, escolher adequadamente o modelo é uma parte importante da solução de problemas de aprendizado, o que é feito por meio de Seleção de Modelos. Esta tese propõeuma abordagem baseada em dados sistemática, consistente e não-exaustiva para Seleção de Modelos. O principal conceito da abordagem são as coleções de modelos candidatos, que chamamos Espaços de Aprendizado, que, quando vistas como conjuntos parcialmente ordenados por inclusão, podem ter uma estrutura rica que aumenta a qualidade do aprendizado. A abordagem é baseada em dados, pois apenas o Espaço de Aprendizado e função de risco são escolhidas, e o restante da abordagem é baseado em dados. Ela é sistemática, pois é constituída de um sistema formal com dois passos: selecionar um modelo do Espaço de Aprendizado e aprender hipóteses nele. Do ponto de vista estatístico, há um modelo-alvo dentre os candidatos, que é aquele com menor viés e complexidade, e a abordagem é consistente, pois, quando o tamanho da amostra aumenta, o modelo selecionado converge para o modelo-alvo com probabilidade um, e os erros de estimação relacionados com o aprendizado de hipóteses nele convergem em probabilidade para zero. Desenvolvemos propriedades U-curve dos Espaços de Aprendizado que implicam a existência de algoritmos U-curve que podem estimar de forma ótima o modelo-alvo sem realizar uma busca exaustiva, e que podem também ser implementados eficientemente para obter soluções sub-ótimas. A principal implicação da abordagem são situações em que a falta de dados pode ser mitigada por alto poder computacional, uma propriedade que pode estar por trás dos métodos de aprendizado modernos de altaperformance que demandam altos recursos computacionais. Ilustramos a abordagem em dados reais e simulados para aprender no importante Espaço de Aprendizado das Partições, para prever sequencias binárias geradas por cadeias de Markov, para aprender W-operadores multicamadas, e para filtrar imagens binárias através do aprendizado de funções Booleanas intervalares
  • Imprenta:
  • Data da defesa: 14.07.2022
    • Acesso à fonteAcesso à fonteDOI
    Informações sobre o DOI: 10.11606/T.45.2022.tde-09082022-154351 (Fonte: oaDOI API)
    • Este periódico é de acesso aberto
    • Este artigo é de acesso aberto
    • URL de acesso aberto
    • Cor do Acesso Aberto: gold
    • Licença: cc-by-nc-sa
    How to cite
    A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas

    • ABNT

      MARCONDES, Diego. A data-driven systematic, consistent and non-exhaustive approach to Model Selection. 2022. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2022. Disponível em: https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09082022-154351/. Acesso em: 19 abr. 2024.

    • APA

      Marcondes, D. (2022). A data-driven systematic, consistent and non-exhaustive approach to Model Selection (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09082022-154351/

    • NLM

      Marcondes D. A data-driven systematic, consistent and non-exhaustive approach to Model Selection [Internet]. 2022 ;[citado 2024 abr. 19 ] Available from: https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09082022-154351/

    • Vancouver

      Marcondes D. A data-driven systematic, consistent and non-exhaustive approach to Model Selection [Internet]. 2022 ;[citado 2024 abr. 19 ] Available from: https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09082022-154351/

    Últimas obras dos mesmos autores vinculados com a USP cadastradas na BDPI:

Digital Library of Intellectual Production of Universidade de São Paulo     2012 - 2024