Os frameworks de big data surgiram como uma alternativa para processamento de grandes volumes de dados, utilizando computação distribuída e hardware de baixo custo. Inicialmente, esses frameworks tinham como foco o processamento batch, no qual a análise é executada sobre o conjunto completo dos dados. Contudo, com a evolução das tecnologias de rede e de processadores, os frameworks de big data passaram a oferecer suporte para operações em tempo real, também chamadas de streaming, que são operações de baixa latência onde o resultado deve ser imediato.

 

Nesta palestra será mostrada uma arquitetura de big data construída com o ecossistema do Apache Hadoop, para processamento batch e streaming, que funciona como uma alternativa ao processamento de dados tradicional, que utiliza banco de dados relacional e servidores de aplicação. Durante a exposição, serão apresentadas as necessidades do usuário; a solução já existente, baseada em dados relacionais; a solução proposta utilizando Apache Hadoop e HBase; e os resultados comparativos entre as duas.

 

A partir dessa experiência, serão discutidas as vantagens, desafios e oportunidades criadas pela utilização das tecnologias de big data, bem como a forma de implantação das ferramentas, que está cada vez mais orientada ao modelo de computação em nuvem.