Como desbloquear o poder dos dados transformando seu pipeline

Quase quatro anos atrás, Mihir Shah teve uma visão para mudar fundamentalmente a estratégia de dados da Fidelity Investment. Então CTO, Shah se esforçou para se tornar o primeiro chefe corporativo de arquitetura e engenharia de dados da empresa a implementar essa visão, o que ele chama de “pipeline de dados de última geração”.

No centro dessa visão estava um princípio fundamental: “Não importa qual seja sua função, queremos disponibilizar os dados para tornar seu trabalho mais fácil e para tornar melhor sua tomada de decisão”, diz ele.

Tornar-se uma empresa orientada a dados tem sido o objetivo principal da maioria das organizações há anos, mas muitas não conseguiram realmente conduzir as decisões com dados em alta velocidade por vários motivos. Para Shah, transformar o modelo operacional de dados é a base do sucesso.

“Todos sabem que os dados são valiosos e que os dados integrados são mais valiosos do que os dados isolados”, diz ele. “Já falamos sobre isso há anos, mas ninguém se dispôs a fazer essas mudanças no modelo operacional para que isso realmente acontecesse. A tecnologia está aí. Está ficando melhor. Mas acho que o segredo-chave é o modelo operacional”.

Do silos à proximidade

A empresa multinacional de serviços financeiros com sede em Boston, Fidelity Investments, é uma das maiores administradoras de ativos do mundo. Em 2014, Abigail Johnson sucedeu seu pai para se tornar CEO da empresa que seu avô fundou em 1946. Com ela, trouxe uma estrutura organizacional baseada na ideia de “bairros”, onde unidades de negócios relacionadas foram agrupadas junto com um executivo sênior responsável por cada “bairro”.

“Os dados são de natureza horizontal”, diz Shah. “Não há limites para os dados. Por que não usar a mesma construção em algumas das áreas de tecnologia?”

O resultado foi um conjunto de novos “bairros” de TI: nuvem, dados, cyber e APIs. Shah assumiu o comando desta nova abordagem de dados.

A visão de Shah era mudar a maneira como a Fidelity gerenciava os dados e os tornava disponíveis para seus mais de 41.000 funcionários. Em 1994, quando Shah ingressou na Fidelity como consultor técnico principal, a empresa estava relativamente avançada no uso de dados. Por exemplo, tinha um banco de dados de marketing com perfis e modelos de clientes. Mas os dados não foram integrados em seus negócios.

“A abordagem isolada tem vários efeitos colaterais”, diz Shah. “Para que alguém aproveite um ativo de dados, é necessário reunir esses conjuntos de dados de todos os lugares para cada novo caso de uso. O tempo de colocação no mercado e o atrito que surge quando você isola os dados são muito altos”.

Um conjunto de dados simples em uma arquitetura de dados tradicional pode incluir uma conta com posições, saldos e transações, diz Shah a título de exemplo. O departamento de marketing deseja que esses dados calculem os ativos totais e o comportamento do cliente. O departamento de risco deseja os mesmos dados para o cálculo de atividades fraudulentas. O departamento financeiro precisa desses mesmos dados para criar unidades de custo e entender a lucratividade do cliente.

“Tínhamos um data warehouse de marketing, um data warehouse de risco, um data warehouse financeiro, todos operando separadamente, todos com feeds indo de um para o outro”, diz Shah. “Todos funcionaram bem, mas no final das contas o custo de gerenciar tudo isso era enorme. Poderíamos estar gastando esse dinheiro em atividades com mais valor agregado do que apenas mover dados”.

Shah disse que perguntou ao CIO: “Você sabe quantas pessoas em sua equipe de banco de dados estão encarregadas de apenas mover dados de A para B? Além disso, ao mover dados, você cria todos os tipos de problemas com bugs e problemas de qualidade. Quantas pessoas estão empenhadas em corrigir esses problemas porque você está movendo dados constantemente?”

Em vez disso, Shah procurou usar novas tecnologias e a escalabilidade da nuvem para criar um único data warehouse que tornasse os dados independentes de seus usuários.

Transformando o pipeline de dados

A visão de transformação de Shah era dividida em três etapas. Primeiro, a Fidelity teve que migrar seus dados para aquele único data warehouse na nuvem e criar processos pelos quais novos dados alimentariam o data warehouse à medida que eram criados. Em segundo lugar, precisava tornar o depósito de fácil acesso para todos na empresa. Terceiro, tudo tinha que ser protegido dentro dos limites dos padrões éticos, de privacidade e contratuais da Fidelity.

Para organizações que implementam conceitos semelhantes aos de data lake, as partes interessadas que se recusaram a abrir mão da propriedade de seus dados foram um grande obstáculo.

“Tivemos que repensar como realmente criamos um modelo de negócios onde as pessoas não precisam abrir mão do que possuem, mas ainda assim somos capazes de integrar tudo”, diz Shah, cuja equipe lida com a engenharia do banco de dados em nuvem da plataforma, data ingestion pipelines, monitoramento e catálogos de dados.

Os procedimentos também tiveram que ser implementados para colocar os dados recém-criados no data lake, um processo que deve ser altamente coordenado devido à taxonomia do Fidelity, que inclui 15 categorias de dados no nível superior e 3.000 categorias no nível inferior. A equipe de Shah fornece a sequência para semear os dados na plataforma e orquestra o processo, mas os proprietários dos dados executam o processo.

“Os dados são mais bem administrados e gerenciados pelas pessoas que atualmente os gerenciam e possuem”, diz Shah. “Dissemos que cada proprietário de dados precisa enviar dados para a plataforma e propagar a plataforma, mas continuar a possuí-los”.

Fazer com que as pessoas usem a plataforma, criem produtos e migrem seus aplicativos, painéis, relatórios e assim por diante tem sido outro elemento-chave da estratégia de Shah.

“As pessoas gravitarão em torno da melhor fonte de dados, a fonte limpa de dados, dados que são gerenciados, dados onde eles podem falar com alguém se necessário”, diz Shah. “Agora é quase um efeito de rede. Todos sabem que este é o melhor lugar para obter dados. Eles vêm a bordo, descobrem que faltam alguns conjuntos de dados, então procuram seus parceiros de negócios e dizem: ‘Preciso desse conjunto de dados’. Assim, mais dados chegam, o uso aumenta e quanto mais o uso aumenta, há mais demanda por conjuntos de dados”.

A Fidelity, que trabalhou em estreita colaboração com o fornecedor da plataforma de dados do cliente Simon Data, começou a implementar a nova estratégia em janeiro de 2020. Em junho de 2020, ela estava em produção. Deixar os engenheiros de toda a Fidelity entusiasmados com a visão foi a chave para convencer o restante da empresa sobre a transformação, diz Shah.

“Se você inclui os engenheiros e os empolga, eles convencem os gerentes e parceiros de negócios”, acrescenta. “Eles vendem em suas unidades de negócios verticais e são confiáveis ​​dentro das unidades de negócios. Mesmo que outras pessoas não acreditem em mim, elas acreditarão em seu próprio engenheiro”.

Hoje, existem quase dois petabytes de dados na plataforma. Enquanto isso, Shah diz que sua perspectiva e foco mudaram à medida que o verdadeiro poder da estratégia se tornou aparente.

“Se podemos fazer isso dentro do Fidelity, por que não expandir a arquitetura de dados para o nosso ecossistema?”, diz ele. “Agora, quando pensamos em arquitetura de dados, não pensamos apenas nas unidades de negócios da Fidelity; estamos pensando em todo o ecossistema e dizendo: ‘Como podemos tornar os dados um ativo, não apenas para nós, mas também para nossos clientes institucionais? Como podemos tornar a vida de nossos fornecedores mais fácil, deixando que eles nos enviem cem mil arquivos FTP todas as noites? ‘Seu pensamento sobre uma arquitetura de dados não deve se limitar às suas unidades de negócios. Acho que todos sabiam que deveria ser toda a empresa, mas acho que você precisa pensar além da empresa para todo o seu domínio ou ecossistema”.