Tese

Relational transfer across reinforcement learning tasks via abstract policies (2013)

• Authors:
  • Koga, Marcelo Li
  • Reali Costa, Anna Helena (Orientador)
• Autor USP: KOGA, MARCELO LI - EP
• Unidade: EP
• Sigla do Departamento: PCS
• Subjects: INTELIGÊNCIA ARTIFICIAL; APRENDIZADO COMPUTACIONAL; PROCESSOS DE MARKOV; REPRESENTAÇÃO DE CONHECIMENTO
• Language: Inglês
• Abstract: Na construção de agentes inteligentes para a solução de problemas de decisão sequenciais, o uso de aprendizado por reforço é necessário quando o agente não possui conhecimento suficiente para construir um modelo completo do problema. Entretanto, o aprendizado de uma política ótima é em geral muito lento, pois deve ser atingido por tentativa-e-erro através de repetidas interações do agente com o ambiente. Uma das técnicas para se acelerar esse processo é possibilitar a transferência de aprendizado, ou seja, utilizar o conhecimento adquirido para se resolver tarefas passadas no aprendizado de novas tarefas. Assim, se as tarefas tiverem similaridades, o conhecimento prévio guiará o agente para um aprendizado mais rápido. Neste trabalho é explorado o uso de uma representação relacional, que explicita relações entre objetos e suas propriedades. Essa representação possibilita que se explore abstração e semelhanças estruturais entre as tarefas, possibilitando a generalização de políticas de ação para o uso em tarefas diferentes, porém relacionadas. Este trabalho contribui com dois algoritmos livres de modelo para construção online de políticas abstratas: AbsSarsa(λ) e AbsProb-RL. O primeiro constrói uma política abstrata determinística através de funções-valor, enquanto o segundo constrói uma política abstrata estocástica através de busca direta no espaço de políticas. Também é proposta a arquitetura S2L-RL para o agente, que possui dois níveis de aprendizado: o nível abstrato e o nível concreto. Uma política concreta é construída simultaneamente a uma política abstrata, que pode ser utilizada tanto para guiar o agente no problema atual quanto para guiá-lo em um novo problema futuro.Experimentos com tarefas de navegação robótica mostram que essas técnicas são efetivas na melhoria do desempenho do agente, principalmente nas fases inicias do aprendizado, quando o agente desconhece completamente o novo problema.
• Imprenta:
  • Publisher place: São Paulo
  • Date published: 2013
• Data da defesa: 21.11.2013


---

How to cite

A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas

• ABNT

  KOGA, Marcelo Li. Relational transfer across reinforcement learning tasks via abstract policies. 2013. Dissertação (Mestrado) – Universidade de São Paulo, São Paulo, 2013. Disponível em: http://www.teses.usp.br/teses/disponiveis/3/3141/tde-04112014-103827/. Acesso em: 10 nov. 2024.

• APA

  Koga, M. L. (2013). Relational transfer across reinforcement learning tasks via abstract policies (Dissertação (Mestrado). Universidade de São Paulo, São Paulo. Recuperado de http://www.teses.usp.br/teses/disponiveis/3/3141/tde-04112014-103827/

• NLM

  Koga ML. Relational transfer across reinforcement learning tasks via abstract policies [Internet]. 2013 ;[citado 2024 nov. 10 ] Available from: http://www.teses.usp.br/teses/disponiveis/3/3141/tde-04112014-103827/

• Vancouver

  Koga ML. Relational transfer across reinforcement learning tasks via abstract policies [Internet]. 2013 ;[citado 2024 nov. 10 ] Available from: http://www.teses.usp.br/teses/disponiveis/3/3141/tde-04112014-103827/

Últimas obras dos mesmos autores vinculados com a USP cadastradas na BDPI: