Methods and algorithms for knowledge reuse in multiagent reinforcement learning (2019)
- Authors:
- Autor USP: SILVA, FELIPE LENO DA - EP
- Unidade: EP
- Sigla do Departamento: PCS
- Subjects: INTELIGÊNCIA ARTIFICIAL; SISTEMAS MULTIAGENTES
- Agências de fomento:
- Language: Inglês
- Abstract: O Aprendizado por Reforço (Reinforcement Learning - RL) é uma das técnicas mais bem-sucedidas para treinar agentes através de interações com o ambiente. Entretanto, o processo de aprendizado tem uma alta complexidade em termos de amostras de interação com o ambiente para que uma política efetiva seja aprendida, especialmente quando múltiplos agentes estão atuando simultaneamente. Este trabalho propõe reusar conhecimento prévio para acelerar o aprendizado em RL multiagente. Os agentes podem reusar conhecimento adquirido em tarefas resolvidas previamente, e também podem receber instruções de agentes com mais experiência para aprender mais rápido. Porém, especificar um arcabouço que integre reuso de conhecimento no processo de aprendizado requer responder questões de pesquisa desafiadoras, tais como: Como abstrair soluções para que sejam reutilizadas no futuro em tarefas similares porém diferentes? Como definir quando aconselhamentos entre agentes devem ocorrer? Como selecionar as tarefas passadas mais similares à nova a ser resolvida e mapear correspondências? e Como definir se um conselho recebido é confiável? Apesar de diversos métodos existirem para o reúso de conhecimento de uma fonte em específico, a literatura é composta por métodos especializados em um determinado cenário, que não são compatíveis com outros métodos. Nesta tese é proposto o reúso de conhecimento tanto de tarefas prévias como de outros agentes. Para cumprir este objetivo, diversos métodos flexíveis são propostos para que cada um destes dois tipos de reúso de conhecimento seja possível. Os métodos propostos incluem: Ad Hoc Advising, no qual agentes compartilham conhecimento através de sugestões de uma extensão da representação orientada a objetos para RL multiagente e métodos para aproveitá-la no reúso de conhecimento. Combinados, os métodos propostos propõem formas dese reusar o conhecimento proveniente tanto de tarefas prévias quanto de outros agentes com desempenho do estado da arte. As contribuições dessa tese são passos iniciais na direção a métodos mais flexíveis de transferência de conhecimento multiagentes, onde agentes serão capazes de combinar consistentemente conhecimento reusado de múltiplas origens, incluindo tarefas resolvidas e outros agentes.
- Imprenta:
- Data da defesa: 06.09.2019
- Premiações recebidas: Prêmio Tese Destaque USP de 2020 - Menção Honrosa - grande área Engenharia
-
ABNT
SILVA, Felipe Leno da. Methods and algorithms for knowledge reuse in multiagent reinforcement learning. 2019. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2019. Disponível em: https://teses.usp.br/teses/disponiveis/3/3141/tde-21112019-113201/. Acesso em: 23 jul. 2024. -
APA
Silva, F. L. da. (2019). Methods and algorithms for knowledge reuse in multiagent reinforcement learning (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de https://teses.usp.br/teses/disponiveis/3/3141/tde-21112019-113201/ -
NLM
Silva FL da. Methods and algorithms for knowledge reuse in multiagent reinforcement learning [Internet]. 2019 ;[citado 2024 jul. 23 ] Available from: https://teses.usp.br/teses/disponiveis/3/3141/tde-21112019-113201/ -
Vancouver
Silva FL da. Methods and algorithms for knowledge reuse in multiagent reinforcement learning [Internet]. 2019 ;[citado 2024 jul. 23 ] Available from: https://teses.usp.br/teses/disponiveis/3/3141/tde-21112019-113201/ - Automated bee species identification through wing images
- A Survey on Transfer Learning for Multiagent Reinforcement Learning Systems
- Planejamento probabilístico com becos sem saída
- Pairwise registration in indoor environments using adaptive combination of 2D and 3D cues
- GeNICE: a Novel Framework for Gene Network Inference by Clustering, Exhaustive Search, and Multivariate Analysis
- MOO-MDP: an Object-Oriented Representation for Cooperative Multiagent Reinforcement Learning
- Evaluating classification and feature selection techniques for honeybee subspecies identification using wing images
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas