Microsoft lança Hadoop no Windows

O mundo do Big Data sabia o que estava por vir, mas agora conhecemos o nome oficial do software de distribuição Hadoop da Microsoft: Microsoft HDInsight Server for Windows. A fornecedora anunciou o primeiro lançamento prévio do software on-premise na quarta-feira (24/10), no Strata Conference, em Nova York (EUA).

Assine a Newsletter do IT Web

Siga o IT Web no Twitter

Curta, no Facebook, a Fan Page do IT Web

A empresa também anunciou o terceiro lançamento prévio de seu serviço Azure com base na nuvem Hadoop, agora conhecido como Windows Azure HDInsight Service. Ambos foram desenvolvidos em parceria com o desenvolvedor e distribuidor de software Hadoop  Hortonworks.

O HDInsight Server for Windows inclui núcleo Hadoop (o que significa o Hadoop Distributed File System e MapReduce), além de programação Pig para o MapReduce, infraestrutura de questionário de dados Hive, serviço de gerenciamento de tabela recentemente apresentado pela HortonWorks, HCatalog, para acesso aos dados Hadoop, Scoop para movimento de dados e o console de monitoramento e gestão de serviço Ambari. Todos foram reestruturados para serem executados no Windows e todos os componentes open source são compatíveis com o Apache Hadoop e estão sendo compartilhados com a comunidade.

O recurso é projetado para trabalhar com (mas não inclui) Windows Server e Microsoft SQL Server. No caso do Windows, o HDInsight é integrado com o Microsoft System Center para controle administrativo e com o Active Directory, para controle de acesso e segurança.

?Gastamos um tempo enorme em engenharia, integrando o recurso com a plataforma de gerenciamento Windows, então, acabamos com gerenciamento de grau e escala corporativo, implantação e segurança integrada com o ambiente de infraestrutura Windows?, explicou Doug Leland, gerente geral do SQL Server Marketing da Microsoft, durante uma entrevista para a InformationWeek.

A integração com ambientes maiores de sistema é um contraste com o  Oracle Big Data Appliance, que lida tudo relacionado ao Hadoop, sobre  Apache Hadoop de distribuição e o software administrativo Cloudera Manager da Cloudera (a aplicação é executada no Oracle Enterprise Linux, mas a implementação, administração e acesso do usuário é gerenciada pelo software da Cloudera).

O  HD Insight Server for Windows também funciona com a plataforma de virtualização da empresa, incluindo os tecidos de virtualização Hyper-V e System Center. ?Reduzimos dramaticamente o necessário pra provisionamento e gerenciamento, tanto no node principal quando nos nodes de dados, e depois usamos a virtualização para rodar de forma dinâmica os nodes de provisionamento por meio de qualquer instância que você desejar?, explicou Leyland.

A empresa é a primeira a entregar o Hadoop em uma infraestrutura virtualizada, segundo Leyland, mas não será a única. O Project Serengeti é um esforço open source projetado para dar suporte rápido de implantação, configuração e gerenciamento para um cluster Hadoop em um ambiente virtual.

A conexão HDInsight (on-premise e em nuvem) para Microsoft SQL Server é voltada à inteligência de negócios e isso se inicia com ferramentas e componentes para o usuário, incluindo o Microsoft Excel, PowerPivot for Excel e Power View. Algumas pessoas não têm acesso ao Excel, então podem lidar com extração de dados a partir de qualquer ambiente Hadoop.

O add-in PowerPivot para exploração de dados in-memory e o componente Power View para visualização de dados, estão disponíveis para downloads gratuitos pela Microsoft, mas têm que ser licenciados para serem executados  no Microsoft SQL Server. No Office 2013, que atualmente está em seu lançamento prévio, o PowerPivot e o Power View são integrados com o Excel de forma nativa.

Como é possível explorar dados Hadoop usando as ferramentas BI (business intelligence) com base em Excel? Atualmente há duas opções: usando o driver Hive Odbc da Hortonworks disponível anteriormente, para acessar os dados diretamente, ou usando os conectores Scoop para Hadoop (também disponível anteriormente), para mover dados do Hadoop para dentro da database Microsoft SQL Server ou para dentro do SQL Server Analysis Services.

A empresa também planeja usar o serviço de metadata HCatalog, mas Leland não tem certeza sobre o nível de integração que já foi ativado. O parceiro da Hortonworks, a Teradata, já está usando o HCatalog, que é projetado para capacitar os usuários para definir a estrutura e localização de dos dentro do Hadoop para dar suporte rápido e acesso e análise consistentes sem ter que movimentar os dados.

O serviço HDInsight for Azure, da Microsoft, que está agora em seu terceiro lançamento prévio, permite aos usuários rodar e implementar um cluster Hadoop dentro de minutos. Esse serviço competirá com o serviço existente MapReduce, incluindo o Elastic Map Reduce da Amazon Web Services, que foi apresentado em abril de 2009.

A empresa não revelou quando os serviços HDInsight Server for Windows Server e o HDInsight For Azure serão lançados para todos, mas é prática da empresa passar por três lançamentos prévio na comunidades tecnológicas (cada uma por vários meses), antes de disponibilizar o software de forma geral.

Já que é o primeiro lançamento prévio do software on-premise, que pode ser baixado de graça, é seguro apostar que o HDInsight Server for Windows não estará disponível de forma geral até o segundo trimestre do ano que vem. O serviço de nuvem Azure está em seu último lançamento prévio, então deve estar disponível até o final desse ano ou começo do próximo.

Tradução: Alba Milena, especial para o IT Web| Revisão: Adriele Marchesini

Saiba mais:

Big Data: entenda o que é o Hadoop e como ele afeta o Data Warehouse