Análise de física estatística em modelos de aprendizado de máquina (2022)
- Authors:
- Autor USP: VEIGA, RODRIGO SOARES - IF
- Unidade: IF
- Sigla do Departamento: FGE
- DOI: 10.11606/T.43.2022.tde-17082022-084404
- Subjects: MECÂNICA ESTATÍSTICA; REDES NEURAIS; APRENDIZADO COMPUTACIONAL; MÉTODOS ESTATÍSTICOS PARA APRENDIZAGEM; INFERÊNCIA BAYESIANA
- Keywords: BAYESIAN INFERENCE; HIGH-DIMENSIONAL STATISTICS; MACHINE LEARNING; NEURAL NETWORKS; STATISTICAL PHYSICS; STOCHASTIC GRADIENT DESCENT
- Agências de fomento:
- Language: Inglês
- Abstract: Esta tese apresenta três contribuições principais para a compreensão de modelos de aprendizado de máquina por meio de ferramentas de física estatística. Primeiramente, investigamos a possível relação entre o grupo de renormalização e máquinas de Boltzmann restritas treinadas com dados amostrados do modelo de Ising ferromagnético bidimensional, apontando problemas em propostas preliminares para construir explicitamente essa ponte. Em segundo lugar, examinamos o comportamento da convergência do algoritmo de descida do gradiente estocástico em redes neurais de duas camadas no limite de alta dimensão. Com base nas abordagens clássicas da física estatística e estendendo-as para uma ampla faixa de taxa de aprendizado, escalas de tempo e tamanho da camada oculta, construímos um diagrama de fase descrevendo os vários cenários de aprendizado que surgem no limite de alta dimensionalidade. Também discutimos a relação entre a taxa de aprendizado e o tamanho da camada oculta, o que tem sido crucial nas recentes teorias de campo médio. Em terceiro lugar, estudamos os erros de generalização Bayes-ótimo e empírico do perceptron multi-classe no cenário professor-aluno. Caracterizamos uma transição de fase de primeira ordem na performance Bayes-ótimo para professores com acoplamentos Rademacher e observamos que, para professores com acoplamentos gaussianos, a minimização de entropia cruzada com regularização pode resultar em desempenho próximo ao Bayes-ótimo
- Imprenta:
- Data da defesa: 04.08.2022
- Status:
- Artigo publicado em periódico de acesso aberto (Gold Open Access)
- Versão do Documento:
- Versão publicada (Published version)
- Acessar versão aberta:
-
ABNT
VEIGA, Rodrigo Soares e VICENTE, Renato. Análise de física estatística em modelos de aprendizado de máquina. 2022. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2022. Disponível em: https://teses.usp.br/teses/disponiveis/43/43134/tde-17082022-084404/. Acesso em: 11 abr. 2026. -
APA
Veiga, R. S., & Vicente, R. (2022). Análise de física estatística em modelos de aprendizado de máquina (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de https://teses.usp.br/teses/disponiveis/43/43134/tde-17082022-084404/ -
NLM
Veiga RS, Vicente R. Análise de física estatística em modelos de aprendizado de máquina [Internet]. 2022 ;[citado 2026 abr. 11 ] Available from: https://teses.usp.br/teses/disponiveis/43/43134/tde-17082022-084404/ -
Vancouver
Veiga RS, Vicente R. Análise de física estatística em modelos de aprendizado de máquina [Internet]. 2022 ;[citado 2026 abr. 11 ] Available from: https://teses.usp.br/teses/disponiveis/43/43134/tde-17082022-084404/
Informações sobre a disponibilidade de versões do artigo em acesso aberto coletadas automaticamente via oaDOI API (Unpaywall).
Por se tratar de integração com serviço externo, podem existir diferentes versões do trabalho (como preprints ou postprints), que podem diferir da versão publicada.
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
