Evaluation and model selection for unsupervised outlier detection and one-class classification (2019)
- Authors:
- Autor USP: MARQUES, HENRIQUE OLIVEIRA - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- DOI: 10.11606/T.55.2020.tde-07012020-105601
- Subjects: APRENDIZADO COMPUTACIONAL; SELEÇÃO DE MODELOS; VALORES ATÍPICOS
- Keywords: Aprendizado não supervisionado; Aprendizado semissupervisionado; Avaliação interna; Detecção de outliers; Internal evaluation; Model selection; Outlier detection; Semi-supervised learning; Unsupervised learning
- Agências de fomento:
- Language: Inglês
- Abstract: A área de detecção de outliers (ou detecção de anomalias) possui um papel fundamental na descoberta de padrões em dados que podem ser considerados excepcionais sob alguma perspectiva. Uma importante distinção se dá entre as técnicas supervisionadas, semissupervisionadas e não supervisionadas de detecção. O presente trabalho enfoca as técnicas de detecção semissupervisionadas e não supervisionadas. As técnicas não supervisionadas de detecção podem ser adaptadas para operarem também de forma semissupervisionada. Desta forma, foi realizado um estudo comparativo entre as técnicas de detecção semissupervisionada e as técnicas não supervisionadas adaptadas ao contexto semissupervisionado. O principal foco deste trabalho, no entanto, está na avaliação não supervisionada de detecção de outliers. Embora exista uma literatura grande e crescente que aborde o problema de detecção de outliers, a avaliação não supervisionada dos resultados em detecção de outliers ainda está praticamente intocada na literatura, especialmente no contexto de detecção não supervisionada. A chamada avaliação interna, que baseia-se unicamente nos dados e nas próprias soluções a serem avaliadas, é necessária se for preciso validar estatisticamente (em termos absolutos) ou apenas comparar (em termos relativos) as soluções fornecidas por diferentes algoritmos ou por diferentes parametrizações de um dado algoritmo na ausência de dados rotulados. No entanto, em contraste com agrupamento de dados, onde os índicespara validação e avaliação interna de soluções de agrupamento foram concebidos e demonstraram ser bastantes úteis, no domínio de detecção de outliers, este problema tem sido notavelmente negligenciado. Nesta tese, este problema é discutido e soluções são fornecidas para a avaliação interna dos resultados em detecção de outliers. No cenário de detecção semissupervisionada, uma medida (relativa) de avaliação interna baseada na perturbação dos dados é proposta e comparada com as principais medidas da literatura, fornecendo ao leitor recomendações claras do melhor cenário para a utilização de cada uma delas. No cenário de detecção não supervisionada, a medida pioneira para avaliação interna de soluções binárias de detecção de outliers, proposta pelo autor desta tese em seu trabalho de mestrado, é estendida para o cenário mais geral de soluções não binárias de detecção de outliers, que envolve a avaliação de scorings de detecção de outliers, que é o tipo de resultado produzido pela ampla maioria dos algoritmos. Ambas medidas são extensivamente avaliadas em vários experimentos envolvendo diferentes coleções de bases de dados sintéticas e reais coletadas de repositórios públicos.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2019
- Data da defesa: 27.11.2019
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
MARQUES, Henrique Oliveira. Evaluation and model selection for unsupervised outlier detection and one-class classification. 2019. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2019. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07012020-105601/. Acesso em: 03 jan. 2026. -
APA
Marques, H. O. (2019). Evaluation and model selection for unsupervised outlier detection and one-class classification (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07012020-105601/ -
NLM
Marques HO. Evaluation and model selection for unsupervised outlier detection and one-class classification [Internet]. 2019 ;[citado 2026 jan. 03 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07012020-105601/ -
Vancouver
Marques HO. Evaluation and model selection for unsupervised outlier detection and one-class classification [Internet]. 2019 ;[citado 2026 jan. 03 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07012020-105601/
Informações sobre o DOI: 10.11606/T.55.2020.tde-07012020-105601 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
