Processamento eficiente de consultas analíticas estendidas com predicado de similaridade sobre um data warehouse de imagens em ambientes paralelos e distribuídos (2020)
- Authors:
- Autor USP: ROCHA, GUILHERME MUZZI DA - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- Subjects: PROCESSAMENTO DE IMAGENS; DIAGNÓSTICO POR IMAGEM; IMAGEM DIGITAL; GERENCIADORES DE BANCO DE DADOS; PROCESSAMENTO DE DADOS
- Keywords: Consultas OLAP estendidas com predicado de similaridade; Data warehouse de imagens; Image data warehouse; Imagens médicas; Medical images; OLAP queries extended with similarity search predicate; Parallel and distributed processing; Processamento paralelo e distribuído
- Agências de fomento:
- Language: Português
- Abstract: Consultas analíticas sobre data warehouses convencionais possuem alto custo computacional, desde que requerem a realização de caras operações de junção-estrela considerando grandes volumes de dados. Este custo é ainda maior quando se consideram data warehouses de imagens. Além deles serem mais volumosos, as consultas analíticas são estendidas com predicado de similaridade de imagens, o qual também requer a realização de onerosas operações de cálculos de distância. Nesta dissertação de mestrado, investiga-se esse desafio. Considera-se o contexto de imagens médicas, a sua importância para a tomada de decisão analítica e seu impacto para a sociedade. Neste contexto, as aplicações requerem o compartilhamento e o gerenciamento de grandes volumes de dados, sendo necessário o uso de um framework de processamento paralelo e distribuído. Nesta dissertação, são propostos quatro métodos para o processamento eficiente de consultas analíticas estendidas com predicado de similaridade de imagens em Spark. O método BloOmnImg integra a técnica bloom filter cascade join para o processamento da junção-estrela com a técnica Omni para o processamento das operações de distância. Por ser baseado em uma estrutura de dados probabilística, ele é indicado para sistemas computacionais com pouca memória primária disponível. O método BrOmnImg também usa a técnica Omni, porém a integra com a técnica broadcast join. Por ser baseado em uma estrutura de dados exata, ele é indicado para sistemascomputacionais cuja memória primária disponível é suficiente para armazenar essa estrutura. O método BrOmnImgCF estende o método BrOmnImg de forma a utilizar também o predicado convencional das consultas para reduzir ainda mais o número de operações de cálculos de distância entre as imagens. Por fim, o método SimSparkOLAP processa eficientemente consultas analíticas estendidas com predicado de similaridade de imagens, geográficos e socioeconômicos. Os métodos propostos foram validados por meio de testes de desempenho experimentais. Os resultados demonstraram que os métodos proveram ganho de desempenho de até 66,93% frente aos trabalhos relacionados existentes na literatura. Adicionalmente, os métodos propostos foram usados para investigar o potencial semântico do processamento destas consultas analíticas, visando mostrar como os resultados obtidos nesta dissertação de mestrado podem ser usados para enriquecer o suporte à tomada de decisão da área médica.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2020
- Data da defesa: 20.08.2020
-
ABNT
ROCHA, Guilherme Muzzi da. Processamento eficiente de consultas analíticas estendidas com predicado de similaridade sobre um data warehouse de imagens em ambientes paralelos e distribuídos. 2020. Dissertação (Mestrado) – Universidade de São Paulo, São Carlos, 2020. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23102020-164945/. Acesso em: 16 abr. 2024. -
APA
Rocha, G. M. da. (2020). Processamento eficiente de consultas analíticas estendidas com predicado de similaridade sobre um data warehouse de imagens em ambientes paralelos e distribuídos (Dissertação (Mestrado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23102020-164945/ -
NLM
Rocha GM da. Processamento eficiente de consultas analíticas estendidas com predicado de similaridade sobre um data warehouse de imagens em ambientes paralelos e distribuídos [Internet]. 2020 ;[citado 2024 abr. 16 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23102020-164945/ -
Vancouver
Rocha GM da. Processamento eficiente de consultas analíticas estendidas com predicado de similaridade sobre um data warehouse de imagens em ambientes paralelos e distribuídos [Internet]. 2020 ;[citado 2024 abr. 16 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23102020-164945/ - Efficient processing of analytical queries extended with similarity search predicates over images in Spark
- Processamento eficiente de consultas analíticas estendidas com predicado de similaridade em Spark
- Healthcare decision-making over a geographic, socioeconomic, and image data warehouse
- Storing feature vectors in relational image data warehouses
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
