Compressão de modelos em transferência de aprendizado de máquina (2021)
- Authors:
- Autor USP: MORAES, PAULA KINTSCHEV SANTANA DE - IME
- Unidade: IME
- Sigla do Departamento: MAC
- DOI: 10.11606/D.45.2021.tde-09022022-083513
- Subjects: APRENDIZADO COMPUTACIONAL; INTELIGÊNCIA ARTIFICIAL
- Keywords: Aprendizado profundo; Deep learning; Model pruning; Poda de parâmetros; Transfer learning; Transferência de aprendizado
- Agências de fomento:
- Language: Português
- Abstract: O principal sucesso de aprendizado de máquina profundo está na extração automática de características dos dados, sem a necessidade de um especialista no domínio. Porém, a qualidade desta extração automática está condicionada a uma grande quantidade de dados. Em vista disso, houve uma popularização do uso de transferência de aprendizado (transfer learning) em que redes neurais treinadas em um domínio com muitos dados são transferidas e adaptadas a domínios similares necessitando assim de poucos dados. Essa técnica é amplamente utilizada em tarefas de classificação de imagens, nas quais uma rede neural convolucional (CNN), previamente treinada para uma tarefa origem, tem parte de suas camadas transferidas para uma rede similar e adaptada a uma nova tarefa meta com o uso de poucos dados de treinamento. No entanto, o sucesso das soluções que utilizam transferência de aprendizado depende da complexidade das camadas transferidas: adaptar uma rede com muitos parâmetros para a nova tarefa pode implicar em um alto custo computacional. Para mitigar este problema, investigamos o uso de uma técnica de compressão de modelos conhecida por poda de parâmetros (model prunning) que define diferentes critérios de eliminação de parâmetros de uma rede neural previamente treinada, gerando uma rede mais compacta sem afetar significativamente sua acurácia. Assim, o objetivo deste trabalho é investigar a viabilidade de podar um modelo treinado para uma tarefa origem antes de transferi-lo para outrastarefas meta. Para isso, utilizamos o arcabouço chamado de prune2transfer, que seleciona a melhor poda de parâmetros antes da transferência de aprendizado. Foram realizados experimentos de transferência de aprendizado com a rede VGG-19 para 22 novas tarefas meta usando poda não-estruturada baseada em magnitude e poda estruturada baseada na norma-L1. Também foram realizados experimentos usando um algoritmo de aprendizado por reforço (DQN) para poda estruturada e não-estruturada. Os resultados mostram que, com o uso de um agente de aprendizado por reforço aplicando uma poda não- estruturada, é possível eliminar cerca de 93% dos parâmetros da rede VGG-19 sem afetar sua capacidade de extração de características na tarefa original e nas 22 tarefas investigadas
- Imprenta:
- Data da defesa: 14.12.2021
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
MORAES, Paula Kintschev Santana de. Compressão de modelos em transferência de aprendizado de máquina. 2021. Dissertação (Mestrado) – Universidade de São Paulo, São Paulo, 2021. Disponível em: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-09022022-083513/. Acesso em: 10 jan. 2026. -
APA
Moraes, P. K. S. de. (2021). Compressão de modelos em transferência de aprendizado de máquina (Dissertação (Mestrado). Universidade de São Paulo, São Paulo. Recuperado de https://www.teses.usp.br/teses/disponiveis/45/45134/tde-09022022-083513/ -
NLM
Moraes PKS de. Compressão de modelos em transferência de aprendizado de máquina [Internet]. 2021 ;[citado 2026 jan. 10 ] Available from: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-09022022-083513/ -
Vancouver
Moraes PKS de. Compressão de modelos em transferência de aprendizado de máquina [Internet]. 2021 ;[citado 2026 jan. 10 ] Available from: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-09022022-083513/
Informações sobre o DOI: 10.11606/D.45.2021.tde-09022022-083513 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
