Hoje o Google Cloud Dataproc, nosso o serviço de gerenciamento do Apache Hadoop e do Apache Spark, se despede da versão beta e está oficialmente disponível.

Ao analisar os dados, sua atenção deve ser focada em insights, não em suas ferramentas. Muitas vezes, ferramentas populares para processar dados, tais como Apache Hadoop e Apache Spark, exigem um ato de equilíbrio cuidadoso entre o custo, complexidade, escala e utilização. Infelizmente, isso significa que você se concentra menos no que é importante – os seus dados – e mais sobre o que deve exigir pouca ou nenhuma atenção – o cluster de processamento.

Nós criamos nosso Spark e Hadoop gerenciado, o Google Cloud Dataproc, para corrigir o equilíbrio no esforço de mantê-las, de modo que o uso dessas ferramentas é tão fácil quanto contar 1-2-3.

Desde que o Google Cloud Dataproc entrou em beta no ano passado, os clientes têm aproveitado sua velocidade, escalabilidade e simplicidade. Nós vimos eles criarem clusters de três a milhares de CPUs virtuais, usando o nosso Console de Desenvolvedores e Google Cloud SDK, sem perder tempo esperando seu cluster ficar pronto.

Com integrações com Google BigQuery, Google Cloud Bigtable e Google Cloud Storage, que fornecem armazenamento confiável independente dos clusters Dataproc, os clientes têm criado clusters somente quando eles precisam, economizando tempo e dinheiro, sem perder dados. O Google Cloud Dataproc também pode ser usado em conjunto com o Google Cloud Dataflow para batch em tempo real e processamento de fluxo.

Enquanto estava em beta, o Cloud Dataproc acrescentou vários recursos importantes, incluindo ajuste de propriedades, metadados da VM e tagging, e controle de versão dos clusters. No produto em geral, assim como no beta, novas versões do Cloud Dataproc, com novos recursos, funcionalidades e componentes de software foram e serão liberados frequentemente. Um exemplo é o suporte para tipos de máquinas personalizadas, já disponível hoje.

Cloud Dataproc minimiza duas distrações comuns e importantes no processamento de dados – custo e complexidade, fornecendo:

• Baixo custo
• Velocidade
• Gerenciamento

Cloud Dataproc faz duas necessidades, muitas vezes problemáticas em processamento de dados fácil – escala e produtividade, sendo:

• Facilidade de uso
• Sempre atualizado
• Amplamente Integrado

Para saber mais sobre Cloud Dataproc, entre em contato.

fonte: Google