Dataflows de tempo real como abstração para ferramentas de processamento de Big Data (2020)
- Authors:
- Autor USP: MAGANO, FERNANDA DE CAMARGO - IME
- Unidade: IME
- Sigla do Departamento: MAC
- DOI: 10.11606/D.45.2020.tde-26052020-230822
- Assunto: CIENCIA DA COMPUTAÇÃO
- Keywords: Big data processing; Cidades inteligentes; Dataflows; Processamento de big data; Smart cities; Workflows
- Agências de fomento:
- Language: Português
- Abstract: Grandes volumes de dados, provenientes de diversas fontes, são gerados continuamente nas cidades. O processamento e análise desses dados desempenham um papel fundamental na implementação de iniciativas para cidades inteligentes. Para processar Big Data urbano, é fundamental o uso de ferramentas de alto desempenho, que possam se beneficiar de computação paralela e distribuída para acelerar o processamento e prover respostas rápidas. Entretanto, esse uso não é trivial, pois as ferramentas, geralmente, não são interoperáveis e demandam que seus usuários tenham conhecimentos de computação paralela e distribuída e bancos de dados. Além disso, em cidades inteligentes, uma aplicação precisa ser capaz de se adaptar ao contexto atual de sua execução. Por exemplo, uma aplicação que mostra a situação atual do trânsito, em um contexto de indisponibilidade momentânea de dados coletados em tempo real, deve poder mostrar uma previsão do trânsito baseada em dados históricos, sendo necessária a combinação de processamento de dados em tempo real e em lotes. O objetivo deste trabalho é facilitar o uso de ferramentas de processamento de Big Data para desenvolvedores de software. Para isso, foi criada uma interface para especificação de workflows para o processamento de dados (ou dataflows) e um sistema de software que possibilita a execução deles em diferentes ferramentas de Big Data. Por um lado, a interface sintetiza os principais recursos dessas ferramentas, abstraindo suas especificidades efornecendo uma representação padronizada para eles. Por outro lado, o sistema de software mapeia os dataflows definidos por meio da interface em modelos inteligíveis às ferramentas. A interface e o sistema propostos formam uma camada de abstração sobre os arcabouços de Big Data. Ambos foram validados e avaliados por meio da implementação de uma aplicação no domínio de mobilidade urbana, que processa dados reais da cidade de São Paulo. A aplicação escrita com o auxílio da interface foi analisada por meio de métricas de código-fonte. A partir da análise, foi possível concluir que houve ganhos com o uso da interface, como a redução no número de linhas, métodos, atributos, bem como a diminuição da complexidade ciclomática do código-fonte
- Imprenta:
- Data da defesa: 29.04.2020
- Status:
- Artigo publicado em periódico de acesso aberto (Gold Open Access)
- Versão do Documento:
- Versão publicada (Published version)
- Acessar versão aberta:
-
ABNT
MAGANO, Fernanda de Camargo. Dataflows de tempo real como abstração para ferramentas de processamento de Big Data. 2020. Dissertação (Mestrado) – Universidade de São Paulo, São Paulo, 2020. Disponível em: https://teses.usp.br/teses/disponiveis/45/45134/tde-26052020-230822/. Acesso em: 14 abr. 2026. -
APA
Magano, F. de C. (2020). Dataflows de tempo real como abstração para ferramentas de processamento de Big Data (Dissertação (Mestrado). Universidade de São Paulo, São Paulo. Recuperado de https://teses.usp.br/teses/disponiveis/45/45134/tde-26052020-230822/ -
NLM
Magano F de C. Dataflows de tempo real como abstração para ferramentas de processamento de Big Data [Internet]. 2020 ;[citado 2026 abr. 14 ] Available from: https://teses.usp.br/teses/disponiveis/45/45134/tde-26052020-230822/ -
Vancouver
Magano F de C. Dataflows de tempo real como abstração para ferramentas de processamento de Big Data [Internet]. 2020 ;[citado 2026 abr. 14 ] Available from: https://teses.usp.br/teses/disponiveis/45/45134/tde-26052020-230822/
Informações sobre a disponibilidade de versões do artigo em acesso aberto coletadas automaticamente via oaDOI API (Unpaywall).
Por se tratar de integração com serviço externo, podem existir diferentes versões do trabalho (como preprints ou postprints), que podem diferir da versão publicada.
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
