Aproveitando o comportamento de convergência para equilibrar tarefas conflitantes no aprendizado de múltiplas tarefas (2022)
- Authors:
- Autor USP: NAKAMURA, ANGELICA TIEMI MIZUNO - ICMC
- Unidade: ICMC
- Sigla do Departamento: SSC
- DOI: 10.11606/T.55.2022.tde-17022023-095144
- Subjects: REDES NEURAIS; APRENDIZADO COMPUTACIONAL
- Keywords: Aprendizado de múltiplas tarefas; Multi-objective optimization; Multi-task learning; Neural networks; Otimização multi-objetivo
- Agências de fomento:
- Language: Português
- Abstract: O aprendizado de múltiplas tarefas é um paradigma de aprendizagem que utiliza tarefas correlacionadas para melhorar a generalização. Uma maneira comum de aprender várias tarefas é por meio da abordagem com parâmetros compartilhados, na qual uma única arquitetura é usada para compartilhar o mesmo subconjunto de parâmetros, criando um viés indutivo entre eles durante o processo de treinamento. Devido à sua simplicidade, pontencial em melhorar a generalização e reduzir o custo computacional, o aprendizado de múltiplas tarefas ganhou a atenção das comunidades científica e indústria. Na literatura, o aprendizado simultâneo de múltiplas tarefas é normalmente realizado por uma combinação linear de funções de perda. No entanto, os gradientes das tarefas frequentemente conflitam entre si durante a otimização das funções de perdas. E, combinar os gradientes de todas as tarefas para que todas convirjam para sua solução ótima ao longo do processo de treinamento não é trivial. Para resolver este problema, é utilizado a ideia de otimização multi-objetivo para propor um método que leva em conta o comportamento temporal dos gradientes para criar um viés dinâmico que ajusta a importância de cada tarefa durante a retropropagação. Dessa forma, o método dá mais atenção para as tarefas que estão divergindo ou não sendo beneficiadas nas últimas iterações, garantindo que o aprendizado simultâneo alcance a maximização do desempenho de todas as tarefas. Para validar o método proposto, foramrealizados análise de sensibilidade e diversos experimentos no conjunto de dados público de classificação de dígitos, e no problema de compreensão de cena no conjunto de dados do CityScapes. Por meio dos experimentos realizados, o método proposto mostrou superar o desempenho dos métodos estado da arte na aprendizagem de tarefas conflitantes, garantindo que todas as tarefas alcancem bons desempenhos de generalização ao mesmo tempo em que acelera a convergência das curvas de aprendizado.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2022
- Data da defesa: 08.12.2022
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
NAKAMURA, Angelica Tiemi Mizuno. Aproveitando o comportamento de convergência para equilibrar tarefas conflitantes no aprendizado de múltiplas tarefas. 2022. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2022. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-17022023-095144/. Acesso em: 28 dez. 2025. -
APA
Nakamura, A. T. M. (2022). Aproveitando o comportamento de convergência para equilibrar tarefas conflitantes no aprendizado de múltiplas tarefas (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-17022023-095144/ -
NLM
Nakamura ATM. Aproveitando o comportamento de convergência para equilibrar tarefas conflitantes no aprendizado de múltiplas tarefas [Internet]. 2022 ;[citado 2025 dez. 28 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-17022023-095144/ -
Vancouver
Nakamura ATM. Aproveitando o comportamento de convergência para equilibrar tarefas conflitantes no aprendizado de múltiplas tarefas [Internet]. 2022 ;[citado 2025 dez. 28 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-17022023-095144/ - Avaliação e proposta de sistemas de câmeras estéreo para detecção de pedestres em veículos inteligentes
- Leveraging convergence behavior to balance conflicting tasks in multitask learning
- An effective combination of loss gradients for multi-task learning applied on instance segmentation and depth estimation
- Leveraging convergence behavior to balance conflicting tasks in multitask learning
- Improving multi-goal and target-driven reinforcement learning with supervised auxiliary task
Informações sobre o DOI: 10.11606/T.55.2022.tde-17022023-095144 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
