Como a Nasa gerencia Big Data

A Nasa tem dezenas de missões ativas em um determinado momento: uma nave espacial robótica irradiando imagens de alta resolução e outros dados a grandes distâncias; projetos na Terra de levantamento de gelo polar ou análise de mudanças climática global. Como você pode imaginar, o volume de dados gerados por esses múltiplos esforços é impressionante.

Para Chris Mattmann, principal investigador de projetos de big data do Jet Propulsion Laboratory (JPL) da Nasa, em Pasadena, na Califórnia (EUA), o termo “terabytes de dados” é quase assustador.

“A Nasa, provavelmente, realiza a gestão de centenas de petabytes, aproximando-se de um exabyte, especialmente se você olhar através do domínio de todas as ciências e disciplinas e das ciências planetária e espacial”, Mattmann disse à InformationWeek EUA em entrevista por telefone. ?É comum hoje em dia em missões e projetos individuais recolher centenas de terabytes de informação.”

Não surpreendentemente, volumes massivos de big data trazem enormes desafios, incluindo a questão persistente sobre big data: o que devemos guardar?

Nem todos os bits precisam ser preservados por toda a eternidade, é claro, e o truque é determinar quais arquivos armazenar, e quais devem ser tratados através de insights ou descartados.

Na Nasa, o objetivo de alguns grandes projetos de dados é arquivar informação, o que significa “manter os bits em volta e fazer a administração de dados”, comenta Mattmann .

Os dados de satélites e programas de medição de campo do Sistema de Observação da Terra da Nasa(EOS, em inglês), por exemplo, são armazenados no Distributed Active Archive Center (DAAC) da agência, responsável pelo processamento, arquivamento e distribuição de informações.

“A responsabilidade deles é preservar a informação. É um projeto bastante grande, e seu trabalho é para garantir que os bits são preservados e que irão pendurar.”

Alguns projetos de big data, no entanto, dependem mais de análise do que de preservação. Um exemplo de radioastronomia é o Square Kilometre Array (SKA), o maior telescópio do mundo que inclui milhares de telescópios na Austrália e na África do Sul para explorar a pré-formação de galáxias, origens do universo e outros mistérios cósmicos.

“Nesse caso particular, há uma série de análises ativas e problemas de análise em que [os pesquisadores] estão mais interessados ??do que, necessariamente, manter os dados.

Outro exemplo é o projeto de pesquisa de mudanças climáticas federal US National Climate Assessment, do qual Mattmann participa, cuja função é “produzir as melhores medições de áreas cobertas de neve e as medições de neve em áreas onde poeira, carbono preto e outros poluentes tipicamente impactam na maneira que os satélites veem a neve”, esclarece Mattmann.

“Esse é um exemplo, do lado da Terra, que se trata mais de um problema de análise de big data do que um problema de preservação de dados?.