Estamos vivendo a era do Big Data, em que a informação pode se tornar obsoleta em segundos, e os processos de comunicação e inovação fogem do nosso controle.
E com a expansão da Internet das coisas – IOT ‘Internet Of Things’ –, cada vez mais teremos aparelhos e sensores ligados na rede, transmitindo constantemente um grande volume de informações dos mais diversos tipos.
E esse processo inclui criação, inovação, e inúmeras tentativas e erros ao longo do processo. Além disso, o Big Data está forçando as empresas a criarem novas estruturas corporativas para fomentar o processo de inovação.
Mas o que exatamente é Big Data? E o que diferencia o Big Data do BI tradicional? Para responder à pergunta, passamos pela definição de Big Data: Trata-se de um conjunto de grande volume de dados, os quais podem estar estruturados ou não; e os quais podem ser complexos ou não; podem estar armazenados em algum SGBD ou simplesmente em um stream, sendo constantemente transmitidos.
O Big Data é baseado em 5 pilares – Os 5 Vs: velocidade, volume, variedade, veracidade e valor.
A velocidade se refere à grande agilidade com que os dados são produzidos: Para se ter uma ideia, desde 2012, cerca de 2,5 hexabytes de dados (2,5 x 10^18) foram produzidos pela humanidade todos os dias. Se dividirmos este valor por 86400, que é a quantidade de segundos em um dia, pode-se concluir que 29 terabytes de informação são produzidos a cada segundo – um número impressionante, mas que, segundo algumas estimativas, poderá ainda crescer muito com o aumento da IOT.
O volume diz respeito aos grandes volumes de informações: Cada pessoa em suas atividades usuais do dia a dia produz uma infinidade de informações que podem ser muito valiosas para a obtenção de valor, desde suas preferências musicais, sua localização durante os diferentes horários do dia, seu meio de transporte, os aplicativos que acessou, e até o restaurante que almoçou. Multiplique esta grande quantidade de informações por bilhões de pessoas conectadas à rede, e pode-se ter uma ideia do volume astronômico de dados que poderiam ser consumidos em potencial. Estima-se que o volume de informações produzidas dobre a cada 18 meses.
A variedade tem sua origem no grande diversidade de informações que podem ser úteis para a geração de valor: Desde o texto de uma opinião registrada em um site de reclamações, uma “curtida” em uma rede social, coordenadas de um GPS, upload de fotos e gravações em um aplicativo de mensagens instantâneas, até filmagens transmitidas em tempo real por um drone conectado à rede – Um dos maiores desafios de aplicações Big Data é justamente lidar com todos estes tipos diferentes de informações simultaneamente.
A veracidade faz referência à necessidade de se garantir que os dados são autênticos (com relação à fonte da informação) e que são verdadeiros naquele momento.
E o último “V”, de valor, representa o ponto mais importante quando falamos de Big Data. Nada dos conceitos e exemplos citados anteriormente faz sentido, se não for possível extrair valor dos dados – Nos projetos de Big Data, deve-se sempre definir muito bem a estratégia de obtenção de valor à partir das informações analisadas. Deve ser a principal prioridade – Se o projeto não atingir o objetivo de geração de valor esperado, estará fadado ao fracasso.
As diferenças entre Big Data e BI tradicional
Orientação temporal: De forma geral, o BI tradicional consiste em olhar para o histórico, ou seja, o passado dos dados. Este passado pode se tratar de anos, meses, ou dias, mas raramente mais recente que o dia anterior (D-1). Já quando olhamos para Big Data, os dados podem ser extremamente recentes (segundos, minutos, horas), às vezes até em tempo real.
Orientação analítica: Em projetos de BI, é muito comum tendências serem descobertas através de conceitos conhecidos e pré-estabelecidos, muitas vezes utilizando indicadores padrão de mercado, acompanhando a evolução com o passar do tempo. Decisões são tomadas com base em análises what-if com regras pré-definidas. Projetos de BI são, em geral, implementados para suprir necessidades de relatórios, respondendo a perguntas do tipo: O quê? Quanto? Quando? Onde?
Já no Big Data, apesar de ser possível utilizar indicadores padrão e modelos simples como o BI, na maior parte das vezes os algoritmos analíticos têm orientação preditiva, (preveem o que irá acontecer em cenários onde não é facilmente determinável) e prescritiva (recomendam o que fazer em cenários diversos e não previsíveis).
O Big Data procura responder a perguntas como: Por quê? E se? O que acontecerá? Como otimizar? As técnicas para chegar a estas respostas envolvem data mining, (identificação de padrões e relacionamentos entre variáveis), análises estatísticas, qualitativas e quantitativas, Testes A/B e multivariados, além de análise e modelagem preditiva.
Exemplos práticos famosos de Big Data
1.Amazon.com – Aplicativo de e-commerce, um dos pioneiros na utilização de Big Data. Foi um dos primeiros a oferecer a opção “o que outros compraram também”, obtendo instantaneamente vantagem competitiva com relação a seus concorrentes;
2. Google Now – Aplicativo que “aprende” sobre a rotina diária das pessoas, e sugere automaticamente meios de transporte, restaurantes, opções de entretenimento, entre outras coisas, baseando-se no comportamento individual de cada um;
3. Waze – Aplicativo que analisa em tempo real a situação do trânsito das cidades, e sugere o caminho mais rápido, baseado no feedback dos usuários e de análises de velocidade de deslocamento informados automaticamente pelos dispositivos conectados;
4. Netflix – Aplicativo que oferece filmes e séries online, e sugere automaticamente conteúdo a seus usuários baseado no que foi assistido anteriormente. Talvez o melhor exemplo de sucesso de Big Data, o Netflix passou a não somente oferecer sugestões de conteúdo similar, mas sim produzir conteúdo direcionado para as preferências das massas, de acordo com o que vem “aprendendo” ao longo dos anos.
5. Governo americano – Apesar de muitas informações sobre o sistema do governo americano ainda serem secretas e não confirmadas, é de comum consenso entre especialistas que o governo americano possui um sofisticado sistema de análise de comunicações em tempo real. O sistema analisa as comunicações de redes sociais, redes telefônicas, e redes de transmissão de dados, buscando padrões e palavras-chave de “interesse”, e separa as mensagens “interessantes” para uma posterior análise mais detalhada ou análise humana. O objetivo do sistema é prevenir ataques terroristas e identificar padrões que indiquem quando um ataque estaria próximo de acontecer.
*Bruno Mass é arquiteto de Soluções na Iteris Consultoria.
A pressão por controle de custos vem alterando a dinâmica das áreas de tecnologia nas…
O mercado brasileiro de fintechs passou por uma transformação no perfil dos investimentos em 2025.…
O avanço da inteligência artificial e o uso estratégico de dados vêm transformando a forma…
Por Ramon Ribeiro Quase metade do código produzido por assistentes de inteligência artificial contém vulnerabilidades…
Peça a um modelo de inteligência artificial que gere a imagem de uma cidade, sem…
O IT Forum apresenta, semanalmente, os novos executivos e os principais anúncios de contratações, promoções e mudanças…