 |
| O centro das imagens Galáxia da Via Láctea pelo Telescópio Espacial Spitzer da NASA. |
 |
| Esta é uma captura de tela de um filme simulado de alta definição de Mojave Cratera em Marte, com base em imagens captadas pela High Resolution Imaging Science Experiment (HiRISE), câmera da NASA Marte Reconnaissance Orbiter. |
Para a NASA e suas dezenas de missões, os dados despeje todos os dias como rios caudalosos. Nave espacial monitor de tudo do nosso planeta para as galáxias distantes, sorrindo de volta imagens e informações para a Terra. Todos esses registros digitais precisam ser armazenados, indexados e processados para que os engenheiros da nave espacial, cientistas e pessoas de todo o mundo podem usar os dados para compreender a Terra e o universo além.
No Laboratório de Propulsão a Jato da NASA em Pasadena, na Califórnia, planejadores de missão e engenheiros de software estão chegando com novas estratégias para o gerenciamento do fluxo cada vez maior de tais grandes e complexos fluxos de dados, referidos na comunidade de tecnologia da informação como "grandes dados".Quão grande é big data? Para missões da NASA, centenas de terabytes estão reunidos a cada hora. Apenas um terabytes é equivalente à informação impressa no valor de 50.000 árvores de papel.
"Os cientistas usam grandes volumes de dados para tudo, desde a previsão do tempo na Terra para monitorar camadas de gelo em Marte para procurar galáxias distantes", disse Eric De Jong do JPL, principal pesquisador do projeto Visualização do Sistema Solar da NASA, que converte a ciência missão da NASA em produtos de visualização que pesquisadores podem usar. "Somos os guardiões dos dados, e os usuários são os astrônomos e cientistas que precisam de imagens, mosaicos, mapas e filmes para encontrar padrões e verificar as teorias."
Castelos de Construção de Dados
De Jong explica que existem três aspectos a barafustante dados de missões espaciais: armazenamento, processamento e acesso. A primeira tarefa, para armazenar ou arquivar os dados, é naturalmente mais difícil para grandes volumes de dados. A Square Kilometer Array (SKA), um conjunto planejado de milhares de telescópios na África do Sul e Austrália, ilustra este problema. Liderada pela Organização SKA baseado na Inglaterra e programado para começar a construção em 2016, a matriz fará a varredura dos céus para as ondas de rádio provenientes das primeiras galáxias conhecidas.
JPL está envolvido com o arquivamento de torrents do array de imagens: 700 terabytes de dados são esperados a correr todos os dias. Isso é equivalente a todos os dados que circulam na Internet a cada dois dias. Ao invés de construir mais hardware, os engenheiros estão ocupados desenvolvendo ferramentas de software criativas para melhor armazenar as informações, como "cloud computing" técnicas e programas automatizados para extração de dados.
"Nós não precisamos reinventar a roda", disse Chris Mattmann, um investigador principal para a iniciativa de grande dados do JPL. "Podemos modificar códigos de computador de código aberto para criar soluções mais rápidas e mais baratas." Software que é compartilhado e livre para todos para construir em cima é chamado open source ou código aberto. JPL tem sido cada vez mais trazendo software open-source no seu seio, criando melhores ferramentas para missões espaciais de processamento de dados. As ferramentas do JPL, em seguida, voltar para o mundo para que outros possam usar para diferentes aplicações.
"É uma solução ganha-ganha para todos", disse Mattmann.
Em cor viva
O arquivamento não é o único desafio no trabalho com grandes volumes de dados. De Jong e sua equipe desenvolver novas formas de visualizar as informações. Cada imagem de uma das câmeras no da NASA Marte Reconnaissance Orbiter, por exemplo, contém 120 megapixels. Sua equipe cria filmes a partir de conjuntos de dados como estes, além de computação gráfica e animações que permitem aos cientistas e ao público para chegar perto com o Planeta Vermelho.
"Os dados não são apenas cada vez maiores, mas mais complexo", disse De Jong. "Estamos constantemente trabalhando em maneiras de automatizar o processo de criação de produtos de visualização, de modo que os cientistas e engenheiros podem facilmente usar os dados."
Dados Serviram para Ir
Outro grande trabalho na área de grandes dados, tornando mais fácil para os usuários para pegar o que eles precisam dos arquivos de dados.
"Se você tem uma estante gigante de livros, você ainda tem de saber como encontrar o livro que você está procurando", disse Steve Groom, gerente de Processamento de infravermelho da NASA e do Centro de Análise do Instituto de Tecnologia de Pasadena, Califórnia. O centro de arquivos de dados para uso público de uma série de missões de astronomia da NASA, incluindo o Telescópio Espacial Spitzer, o Wide- field Infrared Pesquisa Explorer (WISE) e a parte dos EUA da missão Planck da Agência Espacial Europeia.
Às vezes, os usuários querem acessar todos os dados de uma só vez de olhar para os padrões globais, um benefício de grandes arquivos de dados. "Os astrônomos também pode procurar todos os 'livros' em nossa biblioteca ao mesmo tempo, algo que não pode ser feito em seus próprios computadores", disse o noivo.
"Nenhum ser humano pode resolver através de tantos dados", disse Andrea Donnellan do JPL, que é acusado de uma tarefa semelhante montanhosa para o projeto QuakeSim NASA-financiado, que reúne grandes conjuntos de dados - espaço e da Terra baseado - para estudar os processos do terremoto.
Imagens e enredos de QuakeSim permitir que os pesquisadores a entender como os terremotos ocorrem e desenvolver estratégias preventivas a longo prazo. Os conjuntos de dados incluem dados de GPS para centenas de locais na Califórnia, onde milhares de medições são realizadas, resultando em milhões de pontos de dados. Donnellan e sua equipe desenvolver ferramentas de software para ajudar os usuários a filtrar a avalanche de dados.
Em última análise, a onda de grandes volumes de dados continuará a inchar, e a NASA irá desenvolver novas estratégias para gerenciar o fluxo. À medida que novas ferramentas de evoluir, assim será a nossa capacidade de fazer sentido do nosso universo e do mundo.
No Laboratório de Propulsão a Jato da NASA em Pasadena, na Califórnia, planejadores de missão e engenheiros de software estão chegando com novas estratégias para o gerenciamento do fluxo cada vez maior de tais grandes e complexos fluxos de dados, referidos na comunidade de tecnologia da informação como "grandes dados".Quão grande é big data? Para missões da NASA, centenas de terabytes estão reunidos a cada hora. Apenas um terabytes é equivalente à informação impressa no valor de 50.000 árvores de papel.
"Os cientistas usam grandes volumes de dados para tudo, desde a previsão do tempo na Terra para monitorar camadas de gelo em Marte para procurar galáxias distantes", disse Eric De Jong do JPL, principal pesquisador do projeto Visualização do Sistema Solar da NASA, que converte a ciência missão da NASA em produtos de visualização que pesquisadores podem usar. "Somos os guardiões dos dados, e os usuários são os astrônomos e cientistas que precisam de imagens, mosaicos, mapas e filmes para encontrar padrões e verificar as teorias."
Castelos de Construção de Dados
De Jong explica que existem três aspectos a barafustante dados de missões espaciais: armazenamento, processamento e acesso. A primeira tarefa, para armazenar ou arquivar os dados, é naturalmente mais difícil para grandes volumes de dados. A Square Kilometer Array (SKA), um conjunto planejado de milhares de telescópios na África do Sul e Austrália, ilustra este problema. Liderada pela Organização SKA baseado na Inglaterra e programado para começar a construção em 2016, a matriz fará a varredura dos céus para as ondas de rádio provenientes das primeiras galáxias conhecidas.
JPL está envolvido com o arquivamento de torrents do array de imagens: 700 terabytes de dados são esperados a correr todos os dias. Isso é equivalente a todos os dados que circulam na Internet a cada dois dias. Ao invés de construir mais hardware, os engenheiros estão ocupados desenvolvendo ferramentas de software criativas para melhor armazenar as informações, como "cloud computing" técnicas e programas automatizados para extração de dados.
"Nós não precisamos reinventar a roda", disse Chris Mattmann, um investigador principal para a iniciativa de grande dados do JPL. "Podemos modificar códigos de computador de código aberto para criar soluções mais rápidas e mais baratas." Software que é compartilhado e livre para todos para construir em cima é chamado open source ou código aberto. JPL tem sido cada vez mais trazendo software open-source no seu seio, criando melhores ferramentas para missões espaciais de processamento de dados. As ferramentas do JPL, em seguida, voltar para o mundo para que outros possam usar para diferentes aplicações.
"É uma solução ganha-ganha para todos", disse Mattmann.
Em cor viva
O arquivamento não é o único desafio no trabalho com grandes volumes de dados. De Jong e sua equipe desenvolver novas formas de visualizar as informações. Cada imagem de uma das câmeras no da NASA Marte Reconnaissance Orbiter, por exemplo, contém 120 megapixels. Sua equipe cria filmes a partir de conjuntos de dados como estes, além de computação gráfica e animações que permitem aos cientistas e ao público para chegar perto com o Planeta Vermelho.
"Os dados não são apenas cada vez maiores, mas mais complexo", disse De Jong. "Estamos constantemente trabalhando em maneiras de automatizar o processo de criação de produtos de visualização, de modo que os cientistas e engenheiros podem facilmente usar os dados."
Dados Serviram para Ir
Outro grande trabalho na área de grandes dados, tornando mais fácil para os usuários para pegar o que eles precisam dos arquivos de dados.
"Se você tem uma estante gigante de livros, você ainda tem de saber como encontrar o livro que você está procurando", disse Steve Groom, gerente de Processamento de infravermelho da NASA e do Centro de Análise do Instituto de Tecnologia de Pasadena, Califórnia. O centro de arquivos de dados para uso público de uma série de missões de astronomia da NASA, incluindo o Telescópio Espacial Spitzer, o Wide- field Infrared Pesquisa Explorer (WISE) e a parte dos EUA da missão Planck da Agência Espacial Europeia.
Às vezes, os usuários querem acessar todos os dados de uma só vez de olhar para os padrões globais, um benefício de grandes arquivos de dados. "Os astrônomos também pode procurar todos os 'livros' em nossa biblioteca ao mesmo tempo, algo que não pode ser feito em seus próprios computadores", disse o noivo.
"Nenhum ser humano pode resolver através de tantos dados", disse Andrea Donnellan do JPL, que é acusado de uma tarefa semelhante montanhosa para o projeto QuakeSim NASA-financiado, que reúne grandes conjuntos de dados - espaço e da Terra baseado - para estudar os processos do terremoto.
Imagens e enredos de QuakeSim permitir que os pesquisadores a entender como os terremotos ocorrem e desenvolver estratégias preventivas a longo prazo. Os conjuntos de dados incluem dados de GPS para centenas de locais na Califórnia, onde milhares de medições são realizadas, resultando em milhões de pontos de dados. Donnellan e sua equipe desenvolver ferramentas de software para ajudar os usuários a filtrar a avalanche de dados.
Em última análise, a onda de grandes volumes de dados continuará a inchar, e a NASA irá desenvolver novas estratégias para gerenciar o fluxo. À medida que novas ferramentas de evoluir, assim será a nossa capacidade de fazer sentido do nosso universo e do mundo.
Fonte: NASA
Nenhum comentário:
Postar um comentário