Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico (2000)
- Authors:
- Autor USP: OLIVEIRA FILHO, EVALDO ARAÚJO DE - IF
- Unidade: IF
- Sigla do Departamento: FGE
- DOI: 10.11606/D.43.2000.tde-20112003-094624
- Subjects: INFERÊNCIA BAYESIANA; MATÉRIA CONDENSADA; REDES NEURAIS; MECÂNICA ESTATÍSTICA
- Keywords: DINÂMICA DE APRENDIZAGEM; LEARNING DYNAMICS; BAYESIAN INFERENCE; NEURAL NETWORKS
- Language: Português
- Abstract: A aplicação da Mecânica Estatística ao estudo de Redes Neurais é baseada no fato que a extração de informação de dados (exemplos) pode ser modelada por um processo de minimização de uma função energia. Técnicas originadas no estudo de sistemasdesordenados, tais como o Método de Réplicas; o Método da Cavidade; Equações de TAP; bem como técnicas de Monte Carlo tem sido exaustivamente estudadas, levando a vários resultados dentro do que temos conhecido como aprendizagem off-line, onde osistema é posto em equilíbrio termodinâmico. A possibilidade do tempo de relaxação ser muito grande implica alto custo computacional, o que tem estimulado a busca por algoritmos de aprendizagem fora do equilíbrio, onde surge uma interessanteclasse de métodos conhecidos por aprendizagem off-line [1], na qual cada informação (exemplo) é apresentada ao sistema apenas uma vez, trazendo um baixo custo computacional junto a uma boa performance. Nessa dissertação nós trabalhamos em cimado trabalho de Opper [2], que relacionou a aprendizagem on-line ótima à aprendizagem off-line Bayesiana por meio de uma aproximação Gaussiana da distribuição posterior. Isso porém, pode ser visto como apenas o primeiro passo numa expansãogeneralizada de Gram-Charlier (G-Ch) da densidade posterior, a qual pode trazer novos caminhos para o entendimento da relação on-line/off-line. A expansão também pode ser estendida a aprendizagem por potencial, onde a distribuiçãodeprobabilidades é Gibbsiana utilizando-se de todos os termos da série, ou seja, na aprendizagem off-line. E assim a G-Ch nos permite estudar extensões não Gaussianas da aprendizagem fora do equilíbrio (on-line) para uma aprendizagem em equilíbrio(off-line), dando uma interpretação do uso das famílias dos hiperparâmetros, construídos a partir dos cumulantes da distribuição posterior, como uma incorporação de informações sobre a forma geométrica do espaço de Versões. Apresentammos duas ) aplicações para os algoritmos obtidos por tais caminhos: um Perceptron unidimensional e um N-dimensional. Na primeira observamos a aprendizagem Bayesiana na presença de ruído e quando a regra a ser aprendida muda no tempo, ondeconstruímos um diagrama de robustez para a análise da adaptabilidade do algoritmo frente a estimação incorreta do nível de ruído. Na segunda aplicação apresentamos resultados preliminares para o Perceptron em N dimensões. Estudamos aprendizagemusando o potencial ótimo que leva à saturação do limite de Bayes para a generalização no limite termodinâmico
- Imprenta:
- Data da defesa: 02.08.2000
- Status:
- Artigo publicado em periódico de acesso aberto (Gold Open Access)
- Versão do Documento:
- Versão publicada (Published version)
- Acessar versão aberta:
-
ABNT
OLIVEIRA FILHO, Evaldo Araujo de. Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico. 2000. Dissertação (Mestrado) – Universidade de São Paulo, São Paulo, 2000. Disponível em: https://teses.usp.br/teses/disponiveis/43/43133/tde-20112003-094624/. Acesso em: 08 abr. 2026. -
APA
Oliveira Filho, E. A. de. (2000). Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico (Dissertação (Mestrado). Universidade de São Paulo, São Paulo. Recuperado de https://teses.usp.br/teses/disponiveis/43/43133/tde-20112003-094624/ -
NLM
Oliveira Filho EA de. Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico [Internet]. 2000 ;[citado 2026 abr. 08 ] Available from: https://teses.usp.br/teses/disponiveis/43/43133/tde-20112003-094624/ -
Vancouver
Oliveira Filho EA de. Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico [Internet]. 2000 ;[citado 2026 abr. 08 ] Available from: https://teses.usp.br/teses/disponiveis/43/43133/tde-20112003-094624/
Informações sobre a disponibilidade de versões do artigo em acesso aberto coletadas automaticamente via oaDOI API (Unpaywall).
Por se tratar de integração com serviço externo, podem existir diferentes versões do trabalho (como preprints ou postprints), que podem diferir da versão publicada.
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
