Tese

TCDA: Temporally-Consistent Depth-Aware Unsupervised Domain Adaptation for Semantic Segmentation in Urban Scenes (2025)

• Authors:
  • Barbosa, Felipe Manfio
  • Osório, Fernando Santos (Orientador)
• Autor USP: BARBOSA, FELIPE MANFIO - ICMC
• Unidade: ICMC
• Sigla do Departamento: SSC
• DOI: 10.11606/D.55.2025.tde-07082025-113420
• Subjects: APRENDIZADO COMPUTACIONAL; VEÍCULOS AUTÔNOMOS; REDES NEURAIS
• Keywords: Adaptação de domínio não supervisionada; ADAS; Aprendizado auto-supervisionado; Aprendizado profundo; Autonomous vehicles; Consistência temporal; Deep learning; Depth; Multimodal perception; Percepção multimodal; Profundidade; Segmentação semântica; Self-supervised learning; Semantic segmentation; Temporal consistency; Unsupervised domain adaptation
• Agências de fomento:
  • Financiamento Fundação de Desenvolvimento da Pesquisa (FUNDEP)
  • Financiamento FUNDEP ROTA 2030 - SEGURAUTO
  • Financiamento CAPES
• Language: Inglês
• Abstract: A percepção visual desempenha um papel fundamental na localização e navegação de veículos autônomos em ambientes urbanos. Neste cenário, a Segmentação Semântica é uma técnica que permite a identificação e classificação de elementos, assim como a compreensão de suas relações na cena sob análise. Com o advento das Redes Neurais Convolucionais, os métodos de Segmentação Semântica alcançaram um novo nível de precisão (90% em bases como Cityscapes). No entanto, tal nível de performance é obtido por arquiteturas complexas de Redes Neurais, as quais requerem hardwares de processamento com alto custo monetário. Adicionalmente, adaptar tais modelos a novos domínios de aplicação permanece um desafio, principalmente devido à impossibilidade de ajuste fino para todos os possíveis domínios-alvo, dado o alto custo de anotação de dados. Apesar de engines de simulação permitirem a geração de um grande número de dados rotulados, a Divergência de Domínio entre dados sintéticos e reais ainda compromete o uso direto de modelos pré-treinados (em dados sintéticos) em cenários de aplicação. Diante disso, a Adaptação de Domínio Não Supervisionada surgiu como uma alternativa para exploração dados não rotulados e aprendizado Auto-supervisionado como ferramentas auxiliares na Adaptação de Domínio. No entanto, a maioria da literatura adota métodos baseados em dados RGB, com processamento quadro a quadro. Diante disso, argumentamos que o uso de dados temporais e de profundidade como fontes auxiliares desupervisão permanece sub explorado. Enquanto dados de profundidade têm forte valor geométrico/estrutural e tendem a ser mais robustos às mudanças de domínio, dados temporais podem fornecer grandes quantidades de dados não rotulados e pistas temporais para apoiar o processo de adaptação. Diante dos pontos previamente apresentados, neste trabalho propomos um método de adaptação de domínio sintético-para-real não supervisionado, construído a partir de três pilares centrais: eficiência, consciência geométrica e temporal. Os resultados demonstram que o método proposto contribui para a melhoria da qualidade da segmentação, assim como da consistência temporal no domínio-alvo. Especificamente, obtém-se um ganho de aproximadamente 250% no valor médio da Intersecção sobre União (mIoU) para classes críticasrua, calçada, carro e pessoaem comparação com o modelo de referência (não adaptado).
• Imprenta:
  • Publisher place: São Carlos
  • Date published: 2025
• Data da defesa: 02.06.2025

Informações sobre o DOI: 10.11606/D.55.2025.tde-07082025-113420 (Fonte: oaDOI API)
• Este periódico é de acesso aberto
• Este artigo é de acesso aberto
• URL de acesso aberto
• Cor do Acesso Aberto: gold
• Licença: cc-by-nc-sa

---

How to cite

A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas

• ABNT

  BARBOSA, Felipe Manfio. TCDA: Temporally-Consistent Depth-Aware Unsupervised Domain Adaptation for Semantic Segmentation in Urban Scenes. 2025. Dissertação (Mestrado) – Universidade de São Paulo, São Carlos, 2025. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07082025-113420/. Acesso em: 30 dez. 2025.

• APA

  Barbosa, F. M. (2025). TCDA: Temporally-Consistent Depth-Aware Unsupervised Domain Adaptation for Semantic Segmentation in Urban Scenes (Dissertação (Mestrado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07082025-113420/

• NLM

  Barbosa FM. TCDA: Temporally-Consistent Depth-Aware Unsupervised Domain Adaptation for Semantic Segmentation in Urban Scenes [Internet]. 2025 ;[citado 2025 dez. 30 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07082025-113420/

• Vancouver

  Barbosa FM. TCDA: Temporally-Consistent Depth-Aware Unsupervised Domain Adaptation for Semantic Segmentation in Urban Scenes [Internet]. 2025 ;[citado 2025 dez. 30 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07082025-113420/

Últimas obras dos mesmos autores vinculados com a USP cadastradas na BDPI:

• Um estudo comparativo de métodos de deep learning aplicados à segmentação semântica de obstáculos, zonas seguras e não seguras para navegação a partir de dados RGB-D
• Self-supervised temporal consistency applied to domain adaptation in semantic segmentation of urban scenes
• Estudo de estratégia de aprendizado auto-supervisionado para aprimoramento da consistência temporal em modelo de segmentação semântica baseado em deep learning
• 3D perception for autonomous mobile robots navigation using deep learning for safe zones detection: a comparative study
• In defense of multimodal and temporal data for unsupervised domain adaptation
• Temporal consistency as pretext task in unsupervised domain adaptation for semantic segmentation
• CARINA Project: visual perception systems applied for autonomous vehicles and advanced driver assistance systems (ADAS)