Energy savings and performance improvements with SSDs in the Hadoop Distributed File System (2016)
- Authors:
- Autor USP: POLATO, IVANILTON - IME
- Unidade: IME
- Sigla do Departamento: MAC
- Subjects: SISTEMAS DISTRIBUÍDOS; MIDDLEWARE; ARQUITETURA E ORGANIZAÇÃO DE COMPUTADORES
- Keywords: Armazenamento híbrido; Computação verde; Discos de estado sólido; Distributed file systems; Eficiência energética; Energy efficiency; Green computing; Hadoop; HDFS; Hybrid storage; Parallel file systems; Sistema de arquivos distribuído; Sistemas de arquivos paralelo; Solid-state disk; SSDs
- Agências de fomento:
- Language: Inglês
- Abstract: Ao longo da última década, questões energéticas atraíram forte atenção da sociedade, chegando às infraestruturas de TI para processamento de dados. Agora, essas infraestruturas devem se ajustar a essa responsabilidade, adequando plataformas existentes para alcançar desempenho aceitável enquanto promovem a redução no consumo de energia. Considerado um padrão para o processamento de Big Data, o Apache Hadoop tem evoluído significativamente ao longo dos últimos anos, com mais de 60 versões lançadas. Implementando o paradigma de programação MapReduce juntamente com o HDFS, seu sistema de arquivos distribuídos, o Hadoop tornou-se um middleware tolerante a falhas e confiável para a computação paralela e distribuída para grandes conjuntos de dados. No entanto, o Hadoop pode perder desempenho com determinadas cargas de trabalho, resultando em elevado consumo de energia. Cada vez mais, usuários exigem que a sustentabilidade e o consumo de energia controlado sejam parte intrínseca de soluções de computação de alto desempenho. Nesta tese, apresentamos o HDFSH, um sistema de armazenamento híbrido para o HDFS, que usa uma combinação de discos rígidos e discos de estado sólido para alcançar maior desempenho, promovendo economia de energia em aplicações usando Hadoop. O HDFSH traz ao middleware o melhor dos HDs (custo acessível por GB e grande capacidade de armazenamento) e SSDs (alto desempenho e baixo consumo de energia) de forma configurável, usando zonas de armazenamento dedicadas paracada dispositivo de armazenamento. Implementamos nosso mecanismo como uma política de alocação de blocos para o HDFS e o avaliamos em seis versões recentes do Hadoop com diferentes arquiteturas de software. Os resultados indicam que nossa abordagem aumenta o desempenho geral das aplicações, enquanto diminui o consumo de energia na maioria das configurações híbridas avaliadas. Os resultados também mostram que, em muitos casos, armazenar apenas uma parte dos dados em SSDs resulta em economia significativa de energia e aumento na velocidade de execução
- Imprenta:
- Data da defesa: 29.08.2016
-
ABNT
POLATO, Ivanilton. Energy savings and performance improvements with SSDs in the Hadoop Distributed File System. 2016. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2016. Disponível em: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-31102016-155908/. Acesso em: 04 out. 2024. -
APA
Polato, I. (2016). Energy savings and performance improvements with SSDs in the Hadoop Distributed File System (Tese (Doutorado). Universidade de São Paulo, São Paulo. Recuperado de http://www.teses.usp.br/teses/disponiveis/45/45134/tde-31102016-155908/ -
NLM
Polato I. Energy savings and performance improvements with SSDs in the Hadoop Distributed File System [Internet]. 2016 ;[citado 2024 out. 04 ] Available from: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-31102016-155908/ -
Vancouver
Polato I. Energy savings and performance improvements with SSDs in the Hadoop Distributed File System [Internet]. 2016 ;[citado 2024 out. 04 ] Available from: http://www.teses.usp.br/teses/disponiveis/45/45134/tde-31102016-155908/
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
