Reduzindo viés em classificação de tons de pele em bases de dados de imagens (2022)
- Authors:
- Autor USP: MANOEL, LUIZ AUGUSTO VIEIRA - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- DOI: 10.11606/D.55.2022.tde-29112022-161352
- Subjects: PERCEPÇÃO DA FACE; PROCESSAMENTO DE IMAGENS; VISÃO COMPUTACIONAL; APRENDIZADO COMPUTACIONAL; GRUPOS ÉTNICOS; COLETA DE DADOS
- Keywords: Classificação de tom de pele; Classificação justa; Diversidade de faces; Face recognition; Fair classification; Image Processing; Representativeness; Skin tone classification
- Agências de fomento:
- Language: Português
- Abstract: Grandes conjuntos de dados de imagens de faces são frequentemente usados para treinar e implementar soluções de visão computacional para reconhecimento facial. Nesse contexto, a aplicação de tais modelos em diferentes populações levanta preocupações sobre a existência de exemplos suficientes e representativos para as diversas classes / grupos em termos de gênero, idade e cor da pele, entre outros atributos. O viés de seleção desses dados é inserido durante a coleta. É difícil encontrar bancos de dados que sejam anotados por cor da pele ou atributos étnico-raciais, o que também dificulta o estudo de viés de seleção nesse contexto em aprendizado de máquina. O objetivo deste projeto de pesquisa é propor e avaliar um método para detecção de tons de pele em imagens que tenham desempenho equilibrado para diferentes tipos de pele e que permita auditar bases de dados de forma a minimizar problemas com viés de seleção em modelos de reconhecimento facial em direção a uma classificação justa. O método proposto consiste em aplicar diferentes abordagens de processamento de imagens e algoritmos para rotulagem automática da cor da pele, selecionando as melhores abordagens para cada tipo de cor de pele (usando o sistema de classificação Fitzpatrick Skin Type) de acordo com o F-score obtido e aplicando-as em ordem de prioridade. Mostramos que o uso de uma única abordagem tende a direcionar os melhores resultados para faixas específicas de tons de pele, enquanto a combinação reduz o viésgeral e melhora a classificação em diferentes tipos de pele. Aplicamos a proposta no banco de dados de faces LFW e no banco de dados dermatológico Fitzpatrick17k usando transformações gama, CLAHE, equalização de histogramas e filtros estatísticos de ordem não linear. Mostramos que um extrator de características com pesos pré treinados da Facenet usando o modelo de rede neural convolucional ResNet50 como base tem pior desempenho na distinção de pessoas de pele escura e que é possível mitigar esse efeito através de técnicas de pré-processamento de imagens combinando abordagens que sejam melhores em cada faixa de tom de pele para obter um método de rotulação automática de grandes bancos de dados que se aproxime da rotulação manual. Por fim, disponibilizamos para futuros trabalhos, além da descrição do método, um destacamento da LFW com anotações manuais de tons de pele de 150 pessoas únicas e anotações de cor de pele para cada imagem da base LFW completa feitas a partir do método de classificação automática proposto.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2022
- Data da defesa: 26.09.2022
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
MANOEL, Luiz Augusto Vieira. Reduzindo viés em classificação de tons de pele em bases de dados de imagens. 2022. Dissertação (Mestrado) – Universidade de São Paulo, São Carlos, 2022. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29112022-161352/. Acesso em: 24 abr. 2024. -
APA
Manoel, L. A. V. (2022). Reduzindo viés em classificação de tons de pele em bases de dados de imagens (Dissertação (Mestrado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29112022-161352/ -
NLM
Manoel LAV. Reduzindo viés em classificação de tons de pele em bases de dados de imagens [Internet]. 2022 ;[citado 2024 abr. 24 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29112022-161352/ -
Vancouver
Manoel LAV. Reduzindo viés em classificação de tons de pele em bases de dados de imagens [Internet]. 2022 ;[citado 2024 abr. 24 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-29112022-161352/
Informações sobre o DOI: 10.11606/D.55.2022.tde-29112022-161352 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
