Big Data: entenda o que é o Hadoop e como ele afeta o Data Warehouse

O termo Big Data, utilizado para se referir ao uso de dados desestruturados pela área de Data Warehouse das empresas, traz consigo dois outros termos: Hadoop e Map Reduce. Esses são gatilhos importantes para compreender o processo de explosão de informações e o impacto que isso traz para o profissional mais técnico de TI.

Assine a Newsletter do IT Web

Siga o IT Web no Twitter

Curta, no Facebook, a Fan Page do IT Web

Diógenes Santo, arquiteto de soluções da Teradata, explicou que o Map Reduce foi um framework criado por empresas como Google como forma de desenvolver rotinas de programação complexa que suportassem um grande volume de dados. ?O desafio do Google era fazer um processamento sobre informações não-relacionais. Imagine a quantidade de informação que utilizam quando fazemos uma pesquisa?, introduziu.

Pelo Map Reduce, a lógica é quebrar o processamento em pedaços. ?Dependendo da lógica, o programador pode quebrar na quantidade de pedaços que achar conveniente. Ele pode usar C++, Java, Phyton… a ideia é rodar e paralelizar o processamento dentro de qualquer hardware  de mercado?, detalhou.

O executivo explicou que o Hadoop foi a primeira implementação gratuita para o Map Reduce, em um projeto criado pela Fundação Apache. ?O Hadoop é a implementação do Map Reduce para agendar processos e a estrutura de file system de como o dado é armazenado?, explicou o executivo, adicionando que essa é uma ferramenta, obviamente, voltada para programadores.

Tanto o Hadoop (ou então qualquer outra ferramenta de Map Reduce) devem trabalhar em conjunto com o convencional Data Warehouse. No primeiro caso a tecnologia é voltada para peneirar as informações sortidas que estão jogadas em qualquer tipo de base ? seja ela uma rede social ou então qualquer outra fonte ? e não são provenientes de sistemas da empresa. Já a segunda tecnologia já é conhecida há tempos: a base de dados relacional da empresa, na qual estão dados de clientes coletados e administrador via um programa de CRM, contatos de fornacedores via ERP, etc.

?Muitos fanáticos dessa tecnologia [Big Data] dizem que o Data Wharehouse não é mais necessáiro. Mas isso não é verdade. O Map Reduce e o Hadoop são importantes no que não é estruturados. Eles estão ao lado do ETL[Extract Transform Load, que, em português, é conhecido como Extração, Transformação e Carga], que é mais adequado nesse trabalho de transformação do dado?, continuou. Uma vez que a montoeira do Big Data é peneirada, essas tais informações importantes são transportadas para um ambiente estruturado e relacional ? o Data Warehouse.

?A grande sacada é poder aproveitar os dois mundos. O Map Reduce e o hadoop não vão mudar a base de dados relacional?, prometeu.

Sem Hadoop vira?

Recentemente, a Microsoft lançou o SQL Server 2012, mas sem a tecnologia Hadoop integrada. A Teradata anunciou recentemente, por sua vez, o Aster SQL-HTM com Hadoop. A questão que fica é: afinal, para falar de Big Data, o Hadoop é essencial? Segundo Santo, não. “O Big Data não precisa ter Hadoop, mas precisa ter Map Reduce, que é a capacidade de  quebrar as informações em pequenos pedaços. Uma tecnologia tem que ter capacidade de dados não estruturados, em grandes volumes e suportar a complexidade da informação”, finalizou.

Saiba mais:

Com big data, surgem dois perfis de profissionais de Data Warehouse

Computação em memória: Hana comprime dados em até 20 vezes

Big Data: computadores ficam mais rápidos e empresas, mais burras

Até 2020, volume do Big Data aumentará 44 vezes

Ano de 2012 será de explosão do Big Data, diz IBM Brasil

Profissionais de segurança: função da criptografia e Big Data nas empresas