Stochastic density ratio estimation and its application to feature selection (2014)
- Authors:
- Autor USP: BRAGA, ÍGOR ASSIS - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- Subjects: APRENDIZADO COMPUTACIONAL; MINERAÇÃO DE DADOS; MÉTODO DOS ELEMENTOS FINITOS; PROCESSOS ESTOCÁSTICOS; ESTIMAÇÃO PARAMÉTRICA
- Keywords: Density ratio estimation; Estimação da informação mútua; Estimação da razão de densidades; Feature selection; Mutual information estimation; RLS parameter selection; Seleção de atributos; Seleção de parâmetros em RLS; Seleção de parâmetros em SVM; SVM parameter selection
- Language: Inglês
- Abstract: A estimação da razão entre duas densidades de probabilidade é uma importante ferramenta no aprendizado de máquina supervisionado. Neste trabalho, novos métodos de estimação da razão de densidades são propostos baseados na solução de uma equação integral multidimensional. Os métodos resultantes usam o conceito de matriz-V , o qual não aparece em métodos anteriores de estimação da razão de densidades. Experimentos demonstram o bom potencial da nova abordagem com relação a métodos anteriores. A estimação da Informação Mútua - IM - é um componente importante em seleção de atributos e depende essencialmente da estimação da razão de densidades. Usando o método de estimação da razão de densidades proposto neste trabalho, um novo estimador - VMI - é proposto e comparado experimentalmente a estimadores de IM anteriores. Experimentos conduzidos na estimação de IM mostram que VMI atinge melhor desempenho na estimação do que métodos anteriores. Experimentos que aplicam estimação de IM em seleção de atributos para classificação evidenciam que uma melhor estimação de IM leva as melhorias na seleção de atributos. A tarefa de seleção de parâmetros impacta fortemente o classificador baseado em kernel Support Vector Machines - SVM. Contudo, esse passo é frequentemente deixado de lado em avaliações experimentais, pois costuma consumir tempo computacional e requerer familiaridade com as engrenagens de SVM. Neste trabalho, procedimentos de seleção de parâmetros para SVM são propostos de talforma a serem econômicos em gasto de tempo computacional. Além disso, o uso de um kernel não linear - o chamado kernel min - é proposto de tal forma que possa ser aplicado a casos de baixa e alta dimensionalidade e sem adicionar um outro parâmetro a ser selecionado. A combinação dos procedimentos de seleção de parâmetros propostos com o kernel min produz uma maneira conveniente de se extrair economicamente um classificador SVM com boa performance. O método de regressão Regularized Least Squares - RLS - é um outro método baseado em kernel que depende de uma seleção de parâmetros adequada. Quando dados de treinamento são escassos, uma seleção de parâmetros tradicional em RLS frequentemente leva a uma estimação ruim da função de regressão. Para aliviar esse problema, é explorado neste trabalho um kernel menos suscetível a superajuste - o kernel INK-splines aditivo. Após, são explorados métodos de seleção de parâmetros alternativos à validação cruzada e que obtiveram bom desempenho em outros métodos de regressão. Experimentos conduzidos em conjuntos de dados reais mostram que o kernel INK-splines aditivo tem desempenho superior ao kernel RBF e ao kernel INK-splines multiplicativo previamente proposto. Os experimentos também mostram que os procedimentos alternativos de seleção de parâmetros considerados não melhoram consistentemente o desempenho. Ainda assim, o método Finite Prediction Error com o kernel INK-splines aditivo possui desempenho comparável à validação cruzada.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2014
- Data da defesa: 23.10.2014
-
ABNT
BRAGA, Ígor Assis. Stochastic density ratio estimation and its application to feature selection. 2014. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2014. Disponível em: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-07042015-142545/. Acesso em: 22 mar. 2026. -
APA
Braga, Í. A. (2014). Stochastic density ratio estimation and its application to feature selection (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de http://www.teses.usp.br/teses/disponiveis/55/55134/tde-07042015-142545/ -
NLM
Braga ÍA. Stochastic density ratio estimation and its application to feature selection [Internet]. 2014 ;[citado 2026 mar. 22 ] Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-07042015-142545/ -
Vancouver
Braga ÍA. Stochastic density ratio estimation and its application to feature selection [Internet]. 2014 ;[citado 2026 mar. 22 ] Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-07042015-142545/
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
