Afinal, Big Data é um tema antigo ou novo?

Como um dos temas mais ambíguos no
mundo da tecnologia, segundo apontou o Gartner, Big Data tem despertado dúvidas
se esse é, realmente, um tema novo ou é algo antigo. Existe um desafio ainda de
mostrar uma visão completa do que está sob o guarda-chuva de Big Data, que
envolva diferentes temas e que traga grandes oportunidades para os negócios.
Faz-se necessária muita humildade para falar desse tema e ciência de que
dificilmente teremos uma definição clara e abrangente o suficiente para esgotar
o assunto.

Machine Learning é um dos temas sob
esse guarda-chuva e trata há várias décadas sobre o assunto de descoberta de
padrões em bases de dados. Similarmente, a Estatística faz esse exercício e
contribui na previsão de valores com base no histórico, mas não foge da
aplicação de técnicas em dados para descoberta de padrões.

Estrategicamente, o mercado adotou um
nome que era um pouco mais charmoso que esses dois para transformar esses
assuntos altamente técnicos em mais comerciais. Assim, nasceu o termo Data
Mining, que não trazia basicamente nada de novo. Ao lado de Data Mining – para
alguns dentro desse tema, encontra-se Text Mining, que se refere ao tratamento
de dados não estruturados para serem aplicadas às técnicas de Data Mining.

E, assim, vamos desvendando o que
está sob este guarda-chuva com um outro tema mais conhecido na Matemática e que
tinha várias aplicações relevantes, principalmente, em indústrias e ganharia
força com esse movimento: a Pesquisa Operacional, que seria difundida como
Otimização.

Data Mining, Text Mining e Otimização,
não estavam soando muito bem mercadologicamente e, além disso, estava
fragmentado. Então, surge uma nova “marca” denominada de Business Analytics,
que foi adotada pelos grandes players que já tratavam dos temas.

Enfim podemos falar de algo novo sob
o guarda-chuva Big Data. Chegaram ao mercado às plataformas in-memory e,
principalmente, Hadoop. Esse último, realmente, abriu possibilidades ainda não
exploradas. Acessar e aplicar técnicas de Data Mining a trilhões de registros
ou petabytes de dados só passou a ser possível com o advento dessa tecnologia,
que rompeu com as limitações de performance de leitura e gravação em discos
rígidos.

Juntando então Data Mining, tecnologias
in-memory (DBMS e DataViz) e o abrangente tema Hadoop, temos enfim uma forma mais
clara e menos nebulosa de enxergar Big Data.

Possivelmente, poderemos ter novos temas
sendo abocanhados por esse guarda-chuva, que sim, é novo quando olhamos da
perspectiva ampliada. O Big Data de hoje, de forma estruturada e completa,
aliado a software, hardware, pessoas, processos e técnicas é sim um novo modelo
que tem tudo para apoiar decisões operacionais, táticas e estratégicas das
organizações que querem sair na frente, pois ainda de acordo com o Gartner, as empresas
com excelência analítica são aptas a ter duas vezes mais vantagem competitiva.

(*) Eder Balbino é
estatístico, especialista em gestão estratégica da informação e executivo de
Big Data na Algar Tech