Missão TI: dissecar minuciosamente a montanha de dados

A oportunidade de controlar os processos que fazem análise em lote e em tempo real das montanhas de informação existentes na forma de dados não estruturados é, para a área de tecnologia de informação (TI), uma chance de se firmar de vez como agente de negócios. E as ferramentas que estão surgindo para essas finalidades são as que desenham esse cenário para TI. Um dos destaques é a plataforma em código aberto Apache Hadoop.

Especialistas do mercado explicam que as empresas sentem cada vez mais a necessidade de aprimorar a análise das enormes quantidades de dados estocados em bancos de dados paralelos para saber tudo sobre o hábito e a necessidade dos clientes. Isso permite que as companhias trabalhem melhor o planejamento estratégico e a noção de marketing.

A montanha de informações (que os norte-americanos chamam de big data) abrange todas as coletadas nos sistemas computacionais internos, as de transações financeiras e buscas na web, metadados de e-mail, consultas a mecanismos de busca, além de atividades em redes sociais.

De acordo com levantamentos do cientista chefe da empresa de cloud Joyent, Jason Hoffman, somente no ano de 2010 foram gerados 1,5 bilhão de Terabytes em informações do gênero. As companhias, coletivamente, preencheram espaços de armazenamento com cerca de 16 milhões de Terabytes de dados no mesmo ano.

Algumas companhias já estão encontrando maneiras de dissecar os dados com as ferramentas mais modernas. A Barnes & Noble, por exemplo, iniciou a análise de todas as informações possíveis de seus clientes virtuais para deliberar seus comportamentos e fatores determinantes para suas decisões de compras.

Segundo o vice-presidente de retenção de mercados e fidelidade, Marc Parrish, os logs web que indicavam como os usuários estavam utilizando leitores e livros eletrônicos, produziram 35 Terabytes de dados em 2010 e devem gerar mais 20 Terabytes em 2011. “Já tomamos decisões importantes, com o auxílio de ferramentas de análise, sobre os próximos passos da empresa e sobre como lidar com o imaginário do cliente.”

Em outro caso, a rádio norte-americana National Public Radio (NRP) utiliza ferramentas de relatórios para manter controle sobre os conjuntos de dados em constante crescimento e determinar tendências sobre o uso do website. O software utilizado cria logs e métricas, além de capturar dados e índices de outras aplicações, servidores e rede, tudo em um único repositório que pode ser pesquisado.

A NPR estava usando o software de análise web Omniture, mas a analista de métricas da NPR, Sondra Russel, sentiu que a ferramenta não era suficiente para lidar com os volumes de dados em constante crescimento da organização. “Eu só queria saber quantas vezes alguém ouvia a um determinado programa e um período de tempo determinado”, diz Sondra. “Com o Splunkt, nosso novo software, não há mais atrasos entre a aparição dos dados em uma pasta de consulta e a aparição dos mesmos dados em relatórios. Posso ter gráficos de demonstração sem precisar de uma semana de preparação”, conta.

O analista da RedMonk Stephen O´Grady, aponta que o mercado será dos sistemas de gestão de bancos de dados projetados para trabalhar com múltiplos tipos de dados e fontes. Ele afirma que a plataforma Apache Hadoop, por exemplo, já é usada por grandes bancos, empresas de publicidade, além das indústrias de ciências e farmacêutica.