Knowledge reuse for deep reinforcement learning (2019)
- Authors:
- Autor USP: GLATT, RUBEN - EP
- Unidade: EP
- Sigla do Departamento: PCS
- Subjects: INTELIGÊNCIA ARTIFICIAL; APRENDIZADO COMPUTACIONAL
- Agências de fomento:
- Language: Inglês
- Abstract: Com a evolução da Aprendizagem Profunda (Deep Learning), o campo da Inteligência Artificial (IA) entrou em uma nova era. Juntamente com uma quantidade crescente de dados e recursos computacionais cada vez mais aprimorados, o Aprendizado de Máquina estabelece a base para a IA moderna, fornecendo muitas das ferramentas e algoritmos que impulsionam seu desenvolvimento e aplicações. Apesar dos muitos sucessos nas áreas de reconhecimento de imagem, processamento de linguagem natural, sistemas de recomendação, robótica e sistemas autônomos, a maioria dos avanços foram feitos focando no aprendizado de apenas uma única tarefa, sem muita atenção aos esforços dispendidos e reusabilidade da solução. Como o aprendizado de uma nova tarefa geralmente envolve um processo de aprendizado despendioso, neste trabalho, estamos considerando o reúso de conhecimento para acelerar o aprendizado de uma nova tarefa. Para tanto, investigamos a aplicação dos métodos de Transferência de Aprendizado (Transfer Learning) para agentes de Aprendizado por Reforço profundo (Deep Reinforcement Learning - DRL) e propomos um novo arcabouço para preservação e reutilização de conhecimento. Mostramos que a transferência de conhecimento pode fazer uma grande diferença no aprendizado se a origem do conhecimento for escolhida cuidadosa e sistematicamente. Para chegar a este ponto, nós fornecemos uma visão geral da literatura existente de métodos que realizam a transferência de conhecimento para DRL, um campo que tem despontado com frequência na literatura relevante apenas nos últimos dois anos. Em seguida, formulamos a metodologia Raciocínio baseado em Casos (Case-based Reasoning), que descreve uma estrutura para reutilização do conhecimento em termos gerais, na terminologia de Aprendizado por Reforço, para facilitar a adaptação e a comunicação entre as respectivascomunidades. Com base nessa metodologia, propomos Deep Casebased Policy Inference (DECAF) e demonstramos, em uma avaliação experimental, a utilidade de nossa proposta para a aprendizagem sequencial de tarefas, com preservação e reutilização do conhecimento. Nossos resultados destacam os benefícios da transferência de conhecimento e, ao mesmo tempo, conscientizam os desafios que a acompanham. Consideramos o trabalho nesta área como um passo importante para agentes de aprendizagem mais estáveis, capazes de lidar com as tarefas mais complexas, o que seria um passo fundamental para a Inteligência Geral Artificial.
- Imprenta:
- Data da defesa: 12.06.2019
-
ABNT
GLATT, Ruben. Knowledge reuse for deep reinforcement learning. 2019. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2019. Disponível em: http://www.teses.usp.br/teses/disponiveis/3/3141/tde-18092019-074805/. Acesso em: 02 jan. 2026. -
APA
Glatt, R. (2019). Knowledge reuse for deep reinforcement learning (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de http://www.teses.usp.br/teses/disponiveis/3/3141/tde-18092019-074805/ -
NLM
Glatt R. Knowledge reuse for deep reinforcement learning [Internet]. 2019 ;[citado 2026 jan. 02 ] Available from: http://www.teses.usp.br/teses/disponiveis/3/3141/tde-18092019-074805/ -
Vancouver
Glatt R. Knowledge reuse for deep reinforcement learning [Internet]. 2019 ;[citado 2026 jan. 02 ] Available from: http://www.teses.usp.br/teses/disponiveis/3/3141/tde-18092019-074805/
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
