Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico (2000)
- Authors:
- Autor USP: OLIVEIRA FILHO, EVALDO ARAÚJO DE - IF
- Unidade: IF
- Sigla do Departamento: FGE
- DOI: 10.11606/D.43.2000.tde-20112003-094624
- Subjects: INFERÊNCIA BAYESIANA; MATÉRIA CONDENSADA; REDES NEURAIS; MECÂNICA ESTATÍSTICA
- Keywords: DINÂMICA DE APRENDIZAGEM; LEARNING DYNAMICS; BAYESIAN INFERENCE; NEURAL NETWORKS
- Language: Português
- Abstract: A aplicação da Mecânica Estatística ao estudo de Redes Neurais é baseada no fato que a extração de informação de dados (exemplos) pode ser modelada por um processo de minimização de uma função energia. Técnicas originadas no estudo de sistemasdesordenados, tais como o Método de Réplicas; o Método da Cavidade; Equações de TAP; bem como técnicas de Monte Carlo tem sido exaustivamente estudadas, levando a vários resultados dentro do que temos conhecido como aprendizagem off-line, onde osistema é posto em equilíbrio termodinâmico. A possibilidade do tempo de relaxação ser muito grande implica alto custo computacional, o que tem estimulado a busca por algoritmos de aprendizagem fora do equilíbrio, onde surge uma interessanteclasse de métodos conhecidos por aprendizagem off-line [1], na qual cada informação (exemplo) é apresentada ao sistema apenas uma vez, trazendo um baixo custo computacional junto a uma boa performance. Nessa dissertação nós trabalhamos em cimado trabalho de Opper [2], que relacionou a aprendizagem on-line ótima à aprendizagem off-line Bayesiana por meio de uma aproximação Gaussiana da distribuição posterior. Isso porém, pode ser visto como apenas o primeiro passo numa expansãogeneralizada de Gram-Charlier (G-Ch) da densidade posterior, a qual pode trazer novos caminhos para o entendimento da relação on-line/off-line. A expansão também pode ser estendida a aprendizagem por potencial, onde a distribuiçãodeprobabilidades é Gibbsiana utilizando-se de todos os termos da série, ou seja, na aprendizagem off-line. E assim a G-Ch nos permite estudar extensões não Gaussianas da aprendizagem fora do equilíbrio (on-line) para uma aprendizagem em equilíbrio(off-line), dando uma interpretação do uso das famílias dos hiperparâmetros, construídos a partir dos cumulantes da distribuição posterior, como uma incorporação de informações sobre a forma geométrica do espaço de Versões. Apresentammos duas ) aplicações para os algoritmos obtidos por tais caminhos: um Perceptron unidimensional e um N-dimensional. Na primeira observamos a aprendizagem Bayesiana na presença de ruído e quando a regra a ser aprendida muda no tempo, ondeconstruímos um diagrama de robustez para a análise da adaptabilidade do algoritmo frente a estimação incorreta do nível de ruído. Na segunda aplicação apresentamos resultados preliminares para o Perceptron em N dimensões. Estudamos aprendizagemusando o potencial ótimo que leva à saturação do limite de Bayes para a generalização no limite termodinâmico
- Imprenta:
- Data da defesa: 02.08.2000
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
OLIVEIRA FILHO, Evaldo Araujo de. Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico. 2000. Dissertação (Mestrado) – Universidade de São Paulo, São Paulo, 2000. Disponível em: http://www.teses.usp.br/teses/disponiveis/43/43133/tde-20112003-094624/. Acesso em: 26 abr. 2024. -
APA
Oliveira Filho, E. A. de. (2000). Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico (Dissertação (Mestrado). Universidade de São Paulo, São Paulo. Recuperado de http://www.teses.usp.br/teses/disponiveis/43/43133/tde-20112003-094624/ -
NLM
Oliveira Filho EA de. Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico [Internet]. 2000 ;[citado 2024 abr. 26 ] Available from: http://www.teses.usp.br/teses/disponiveis/43/43133/tde-20112003-094624/ -
Vancouver
Oliveira Filho EA de. Relações entre aprendizagem dentro e fora de equilíbrio termodinâmico [Internet]. 2000 ;[citado 2024 abr. 26 ] Available from: http://www.teses.usp.br/teses/disponiveis/43/43133/tde-20112003-094624/
Informações sobre o DOI: 10.11606/D.43.2000.tde-20112003-094624 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
