Análise de física estatística em modelos de aprendizado de máquina (2022)
- Authors:
- Autor USP: VEIGA, RODRIGO SOARES - IF
- Unidade: IF
- Sigla do Departamento: FGE
- DOI: 10.11606/T.43.2022.tde-17082022-084404
- Subjects: MECÂNICA ESTATÍSTICA; REDES NEURAIS; APRENDIZADO COMPUTACIONAL; MÉTODOS ESTATÍSTICOS PARA APRENDIZAGEM; INFERÊNCIA BAYESIANA
- Keywords: BAYESIAN INFERENCE; HIGH-DIMENSIONAL STATISTICS; MACHINE LEARNING; NEURAL NETWORKS; STATISTICAL PHYSICS; STOCHASTIC GRADIENT DESCENT
- Agências de fomento:
- Language: Inglês
- Abstract: Esta tese apresenta três contribuições principais para a compreensão de modelos de aprendizado de máquina por meio de ferramentas de física estatística. Primeiramente, investigamos a possível relação entre o grupo de renormalização e máquinas de Boltzmann restritas treinadas com dados amostrados do modelo de Ising ferromagnético bidimensional, apontando problemas em propostas preliminares para construir explicitamente essa ponte. Em segundo lugar, examinamos o comportamento da convergência do algoritmo de descida do gradiente estocástico em redes neurais de duas camadas no limite de alta dimensão. Com base nas abordagens clássicas da física estatística e estendendo-as para uma ampla faixa de taxa de aprendizado, escalas de tempo e tamanho da camada oculta, construímos um diagrama de fase descrevendo os vários cenários de aprendizado que surgem no limite de alta dimensionalidade. Também discutimos a relação entre a taxa de aprendizado e o tamanho da camada oculta, o que tem sido crucial nas recentes teorias de campo médio. Em terceiro lugar, estudamos os erros de generalização Bayes-ótimo e empírico do perceptron multi-classe no cenário professor-aluno. Caracterizamos uma transição de fase de primeira ordem na performance Bayes-ótimo para professores com acoplamentos Rademacher e observamos que, para professores com acoplamentos gaussianos, a minimização de entropia cruzada com regularização pode resultar em desempenho próximo ao Bayes-ótimo
- Imprenta:
- Data da defesa: 04.08.2022
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
VEIGA, Rodrigo Soares e VICENTE, Renato. Análise de física estatística em modelos de aprendizado de máquina. 2022. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2022. Disponível em: https://www.teses.usp.br/teses/disponiveis/43/43134/tde-17082022-084404/. Acesso em: 24 abr. 2024. -
APA
Veiga, R. S., & Vicente, R. (2022). Análise de física estatística em modelos de aprendizado de máquina (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de https://www.teses.usp.br/teses/disponiveis/43/43134/tde-17082022-084404/ -
NLM
Veiga RS, Vicente R. Análise de física estatística em modelos de aprendizado de máquina [Internet]. 2022 ;[citado 2024 abr. 24 ] Available from: https://www.teses.usp.br/teses/disponiveis/43/43134/tde-17082022-084404/ -
Vancouver
Veiga RS, Vicente R. Análise de física estatística em modelos de aprendizado de máquina [Internet]. 2022 ;[citado 2024 abr. 24 ] Available from: https://www.teses.usp.br/teses/disponiveis/43/43134/tde-17082022-084404/
Informações sobre o DOI: 10.11606/T.43.2022.tde-17082022-084404 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
