Avaliação do Star Schema Benchmark aplicado a bancos de dados NoSQL distribuídos e orientados a colunas (2016)
- Authors:
- Autor USP: SCABORA, LUCAS DE CARVALHO - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- Subjects: BANCO DE DADOS DISTRIBUÍDOS; SQL; SISTEMAS DISTRIBUÍDOS; PROGRAMAÇÃO PARALELA; BENCHMARKS; SISTEMAS DE INFORMAÇÃO; BIOINFORMÁTICA
- Keywords: Banco de dados NoSQL; Data warehouse; Data warehouse; Hadoop MapReduce; Hadoop MapReduce; HBase; HBase; NoSQL; Star Schema Benchmark; Star Schema Benchmark
- Language: Português
- Abstract: Com o crescimento do volume de dados manipulado por aplicações de data warehousing, soluções centralizadas tornam-se muito custosas e enfrentam dificuldades para tratar a escalabilidade do volume de dados. Nesse sentido, existe a necessidade tanto de se armazenar grandes volumes de dados quanto de se realizar consultas analíticas (ou seja, consultas OLAP) sobre esses dados volumosos de forma eficiente. Isso pode ser facilitado por cenários caracterizados pelo uso de bancos de dados NoSQL gerenciados em ambientes paralelos e distribuídos. Dentre os desafios relacionados a esses cenários, destaca-se a necessidade de se promover uma análise de desempenho de aplicações de data warehousing que armazenam os dados do data warehouse (DW) em bancos de dados NoSQL orientados a colunas. A análise experimental e padronizada de diferentes sistemas é realizada por meio de ferramentas denominadas benchmarks. Entretanto, benchmarks para DW foram desenvolvidos majoritariamente para bancos de dados relacionais e ambientes centralizados. Nesta pesquisa de mestrado são investigadas formas de se estender o Star Schema Benchmark (SSB), um benchmark de DW centralizado, para o banco de dados NoSQL distribuído e orientado a colunas HBase. São realizadas propostas e análises principalmente baseadas em testes de desempenho experimentais considerando cada uma das quatro etapas de um benchmark, ou seja, esquema e carga de trabalho, geração de dados, parâmetros e métricas, e validação. Os principaisresultados obtidos pelo desenvolvimento do trabalho são: (i) proposta do esquema FactDate, o qual otimiza consultas que acessam poucas dimensões do DW; (ii) investigação da aplicabilidade de diferentes esquemas a cenários empresariais distintos; (iii) proposta de duas consultas adicionais à carga de trabalho do SSB; (iv) análise da distribuição dos dados gerados pelo SSB, verificando se os dados agregados pelas consultas OLAP estão balanceados entre os nós de um cluster; (v) investigação da influência de três importantes parâmetros do framework Hadoop MapReduce no processamento de consultas OLAP; (vi) avaliação da relação entre o desempenho de consultas OLAP e a quantidade de nós que compõem um cluster; e (vii) proposta do uso de visões materializadas hierárquicas, por meio do framework Spark, para otimizar o desempenho no processamento de consultas OLAP consecutivas que requerem a analise de dados em níveis progressivamente mais ou menos detalhados. Os resultados obtidos representam descobertas importantes que visam possibilitar a proposta futura de um benchmark para DWs armazenados em bancos de dados NoSQL dentro de ambientes paralelos e distribuídos.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2016
- Data da defesa: 06.05.2016
-
ABNT
SCABORA, Lucas de Carvalho; CIFERRI, Cristina Dutra de Aguiar. Avaliação do Star Schema Benchmark aplicado a bancos de dados NoSQL distribuídos e orientados a colunas. 2016.Universidade de São Paulo, São Carlos, 2016. Disponível em: < http://www.teses.usp.br/teses/disponiveis/55/55134/tde-26102016-113544/ >. -
APA
Scabora, L. de C., & Ciferri, C. D. de A. (2016). Avaliação do Star Schema Benchmark aplicado a bancos de dados NoSQL distribuídos e orientados a colunas. Universidade de São Paulo, São Carlos. Recuperado de http://www.teses.usp.br/teses/disponiveis/55/55134/tde-26102016-113544/ -
NLM
Scabora L de C, Ciferri CD de A. Avaliação do Star Schema Benchmark aplicado a bancos de dados NoSQL distribuídos e orientados a colunas [Internet]. 2016 ;Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-26102016-113544/ -
Vancouver
Scabora L de C, Ciferri CD de A. Avaliação do Star Schema Benchmark aplicado a bancos de dados NoSQL distribuídos e orientados a colunas [Internet]. 2016 ;Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-26102016-113544/ - Augmentation techniques for sequential clinical data to improve deep learning prediction techniques
- Enhancing recursive graph querying on RDBMS with data clustering approaches
- Segmenting skin ulcers and measuring the wound area using deep convolutional networks
- Efficient indexing of multiple metric spaces with spectra
- UCORM: indexing uncorrelated metric spaces for concise content-based retrieval of medical images
- Employing domain indexes to efficiently query medical data from multiple repositories
- Semi-automatic ulcer segmentation and wound area measurement supporting telemedicine
- A DBMS-based framework for content-based retrieval and analysis of skin ulcer Images in medical practice
- G-FranC: a dataset of criminal activities mapped as a complex network in a relational DBMS
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
