On the automatic design of decision-tree induction algorithms (2013)
- Autores:
- Autor USP: BARROS, RODRIGO COELHO - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- Assuntos: APRENDIZADO COMPUTACIONAL; COMPUTAÇÃO EVOLUTIVA; ALGORITMOS GENÉTICOS
- Palavras-chave do autor: Árvores de decisão; Automatic design; Decision trees; Hiper-heurísticas; Hyper-heuristics; Projeto automático
- Idioma: Inglês
- Resumo: Árvores de decisão são amplamente utilizadas como estratégia para extração de conhecimento de dados. Existem muitas estratégias diferentes para indução de árvores de decisão, cada qual com suas vantagens e desvantagens tendo em vista seu bias indutivo. Tais estratégias têm sido continuamente melhoradas por pesquisadores nos últimos 40 anos. Esta tese, em sintonia com recentes descobertas no campo de projeto automático de algoritmos de aprendizado de máquina, propõe a geração automática de algoritmos de indução de árvores de decisão. A abordagem proposta, chamada de HEAD-DT, é baseada no paradigma de algoritmos evolutivos. HEAD-DT evolui componentes de árvores de decisão que foram manualmente codificados e os combina da forma mais adequada ao problema em questão. HEAD-DT funciona conforme dois diferentes frameworks: i) evolução de algoritmos customizados para uma única base de dados (framework específico); e ii) evolução de algoritmos a partir de múltiplas bases (framework geral). O framework específico tem por objetivo gerar um algoritmo por base de dados, de forma que o algoritmo projetado não necessite de poder de generalização que vá além da base alvo. O framework geral tem um objetivo mais ambicioso: gerar um único algoritmo capaz de ser efetivamente executado em várias bases de dados. O framework específico é testado em 20 bases públicas da UCI, e os resultados mostram que os algoritmos específicos gerados por HEAD-DT apresentam desempenho preditivo significativamentemelhor do que algoritmos como CART e C4.5. O framework geral é executado em dois cenários diferentes: i) projeto de algoritmo específico a um domínio de aplicação; e ii) projeto de um algoritmo livre-de-domínio, robusto a bases distintas. O primeiro cenário é testado em 35 bases de expressão gênica, e os resultados mostram que o algoritmo gerado por HEAD-DT consistentemente supera CART e C4.5 em diferentes configurações experimentais. O segundo cenário é testado em 67 bases de dados da UCI, e os resultados mostram que o algoritmo gerado por HEAD-DT é competitivo com CART e C4.5. No entanto, é mostrado que HEAD-DT é vulnerável a um caso particular de overfitting quando executado sobre o segundo cenário do framework geral, e indica-se assim possíveis soluções para tal problema. Por fim, é realizado uma análise detalhada para avaliação de diferentes funções de fitness de HEAD-DT, onde 5 medidas de desempenho são combinadas com três esquemas de agregação. As 15 versões são avaliadas em 67 bases da UCI e as melhores versões são utilizadas para geração de algoritmos customizados para bases balanceadas e desbalanceadas. Os resultados mostram que os algoritmos gerados por HEAD-DT apresentam desempenho preditivo significativamente melhor que CART e C4.5, em uma clara indicação que HEAD-DT também é capaz de gerar algoritmos customizados para certo perfil estatístico dos dados de classificação
- Imprenta:
- Local: São Carlos
- Data de publicação: 2013
- Data da defesa: 06.12.2013
-
ABNT
BARROS, Rodrigo Coelho. On the automatic design of decision-tree induction algorithms. 2013. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2013. Disponível em: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-21032014-144814/. Acesso em: 23 abr. 2024. -
APA
Barros, R. C. (2013). On the automatic design of decision-tree induction algorithms (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de http://www.teses.usp.br/teses/disponiveis/55/55134/tde-21032014-144814/ -
NLM
Barros RC. On the automatic design of decision-tree induction algorithms [Internet]. 2013 ;[citado 2024 abr. 23 ] Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-21032014-144814/ -
Vancouver
Barros RC. On the automatic design of decision-tree induction algorithms [Internet]. 2013 ;[citado 2024 abr. 23 ] Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-21032014-144814/
Como citar
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
