BIG DATA

A definição de big data são dados com maior variedade que chegam em volumes crescentes e com velocidade cada vez maior. Isso também é conhecido como os três Vs.

Simplificando, big data é um conjunto de dados maior e mais complexo, especialmente de novas fontes de dados. Esses conjuntos de dados são tão volumosos que o software tradicional de processamento de dados simplesmente não consegue gerenciá-los. No entanto, esses grandes volumes de dados podem ser usados para resolver problemas de negócios que você não conseguiria resolver antes.

Os três Vs do big data

Volume A quantidade de dados importa. Com o big data, você terá que processar grandes volumes de dados não estruturados de baixa densidade. Podem ser dados de valor desconhecido, como feeds de dados do Twitter, fluxos de cliques em uma página web ou em um aplicativo para dispositivos móveis, ou ainda um equipamento habilitado para sensores. Para algumas empresas, isso pode utilizar dezenas de terabytes de dados. Para outras, podem ser centenas de petabytes.

Velocidade

Velocidade é a taxa mais rápida na qual os dados são recebidos e talvez administrados. Normalmente, a velocidade mais alta dos dados é transmitida diretamente para a memória, em vez de ser gravada no disco. Alguns produtos inteligentes habilitados para internet operam em tempo real ou quase em tempo real e exigem avaliação e ação em tempo real.

Variedade

Variedade refere-se aos vários tipos de dados disponíveis. Tipos de dados tradicionais foram estruturados e se adequam perfeitamente a um banco de dados relacional. Com o aumento de big data, os dados vêm em novos tipos de dados não estruturados. Tipos de dados não estruturados e semiestruturados, como texto, áudio e vídeo, exigem um pré-processamento adicional para obter significado e dar suporte a metadados.

O valor - e a veracidade - do big data

Mais dois Vs surgiram nos últimos anos: valor e veracidade. Dados possuem valor intrínseco. Mas isso é inútil até que esse valor seja descoberto. Igualmente importante: Qual a veracidade dos seus dados — e quanto você podem confiar neles?

Atualmente, o big data se tornou essencial. Pense em algumas das maiores empresas de tecnologia do mundo. Uma grande parte do valor que eles oferecem vem de seus dados, que eles analisam constantemente para produzir mais eficiência e desenvolver novos produtos.

Recentes avanços tecnológicos reduziram exponencialmente o custo de armazenamento e computação de dados, tornando mais fácil e menos dispendioso armazenar mais dados do que nunca. Agora, com um volume de big data maior, mais barato e mais acessível, você pode tomar decisões de negócios mais precisas.

Encontrar valor em big data não é só uma questão de analisá-lo (o que é um outro benefício). É um processo de descoberta completo que exige analistas perspicazes, usuários de negócios e executivos que fazem as perguntas certas, reconhecem padrões, fazem suposições informadas e preveem comportamentos.

Mas como chegamos até aqui?

A história do big data

Embora o conceito de big data em si seja relativamente novo, as origens de grandes conjuntos de dados remontam às décadas de 1960 e 1970, quando o mundo dos dados estava apenas começando, com os primeiros data centers e o desenvolvimento do banco de dados relacional.

Por volta de 2005, as pessoas começaram a perceber a quantidade de usuários de dados gerados pelo Facebook, YouTube e outros serviços online. O Hadoop (uma estrutura de código aberto criada especificamente para armazenar e analisar grandes conjuntos de dados) foi desenvolvido no mesmo ano. O NoSQL também começou a ganhar popularidade durante esse período.

O desenvolvimento de estruturas de código aberto, como o Hadoop, (e, mais recentemente, o Spark) foi essencial para o crescimento do big data, porque elas tornaram o trabalho com big data mais fácil e seu armazenamento mais barato. Nos anos seguintes, o volume de big data disparou. Usuários ainda estão gerando grandes quantidades de dados, mas não são somente humanos que estão fazendo isso.

Com o advento da Internet das Coisas (IoT), mais objetos e dispositivos estão conectados à internet, reunindo dados sobre padrões de uso do cliente e desempenho do produto. O surgimento do machine learning produziu ainda mais dados.

Apesar da evolução do big data, sua utilidade ainda está no começo. A computação em nuvem expandiu ainda mais as possibilidades do big data. A nuvem oferece uma escalabilidade verdadeiramente elástica, na qual os desenvolvedores podem simplesmente criar clusters ad hoc para testar um subconjunto de dados. E bancos de dados de grafos estão se tornando cada vez mais importantes também, com sua capacidade de exibir grandes quantidades de dados de uma forma que torna a análise rápida e abrangente.

Benefícios do big data:

Com o big data, você obtém respostas mais completas, porque tem mais informações.

Respostas mais completas significam mais confiança nos dados, ou seja, uma abordagem completamente diferente para lidar com problemas.

Casos de uso de big data

O big data pode ajudar você a lidar com diversas atividades de negócios, desde a experiência do cliente até a análise avançada. Aqui estão algumas.

Desenvolvimento de produtos

Empresas como Netflix e Procter & Gamble usam big data para antecipar a demanda dos clientes. Eles criam modelos preditivos para novos produtos e serviços, classificando os principais atributos de produtos ou serviços passados e atuais e modelando a relação entre esses atributos e o sucesso comercial das ofertas. Além disso, a P&G utiliza dados e análises de grupos de foco, mídias sociais, mercados de teste e lançamentos antecipados de lojas para planejar, produzir e lançar novos produtos.

Manutenção preditiva

Fatores que podem prever falhas mecânicas podem estar profundamente relacionados a dados estruturados, como o ano, a marca e o modelo do equipamento, bem como em dados não estruturados que abrangem milhões de entradas de log, dados de sensores, mensagens de erro e temperatura do motor. Ao analisar essas indicações de possíveis problemas antes que eles ocorram, as empresas podem implementar a manutenção de maneira mais econômica e maximizar o tempo de atividade de peças e equipamentos.

Experiência do cliente

A corrida para alcançar os clientes já começou. Uma visão mais clara da experiência do cliente nunca foi tão possível como agora. O big data permite que você reúna dados de mídias sociais, visitas da web, registros de chamadas e outras fontes para aprimorar a experiência de interação e maximizar o valor fornecido. Comece a oferecer ofertas personalizadas, reduza a rotatividade de clientes e lide com problemas proativamente.

Fraude e conformidade Quando se trata de segurança, você não está lidando apenas com alguns hackers mal-intencionados, e sim com equipes de especialistas na área. Os cenários de segurança e requisitos de conformidade estão evoluindo constantemente. Big data ajuda você a identificar padrões em dados que indicam fraudes e agregar grandes volumes de informações para tornar os relatórios regulamentares muito mais rápidos.

Machine learning

O machine learning é um dos assuntos mais comentados do momento. E dados, especificamente big data, é um dos motivos. Agora, somos capazes de ensinar máquinas em vez de programá-las. A disponibilidade de big data para treinar modelos de machine learning permite que isso seja uma realidade.

Eficiência operacional

A eficiência operacional nem sempre é notícia, mas é uma área em que o big data está tendo o maior impacto. Com big data, você pode analisar e avaliar a produção, feedbacks e retornos de clientes e outros fatores para reduzir interrupções e antecipar demandas futuras. Big data também pode ser usado para melhorar a tomada de decisões de acordo com a demanda atual do mercado.

Promova a inovação

O big data pode ajudar você a inovar, estudando interdependências entre seres humanos, instituições, entidades e processos e, em seguida, determinando novas maneiras de usar esses insights. Use informações de dados para aprimorar as decisões sobre considerações financeiras e de planejamento. Examine as tendências e o que os clientes desejam para oferecer novos produtos e serviços. Implemente um sistema de preços dinâmico. Há infinitas possibilidades.

Desafios do big data

Embora o big data seja uma grande promessa, ele também traz seus desafios.

Para começar, o big data é… grande. Apesar de novas tecnologias terem sido desenvolvidas para o armazenamento de dados, os volumes de dados estão dobrando em tamanho a cada dois anos. As empresas ainda se esforçam para acompanhar a evolução de seus dados e encontrar maneiras de armazená-los com eficiência.

Mas armazenar os dados não é o suficiente. Eles devem ser usados para serem úteis, e isso depende da curadoria. Dados limpos ou relevantes para o cliente e organizados de maneira que permita uma análise significativa exigem muito trabalho. Cientistas de dados gastam de 50 a 80 por cento de seu tempo curando e preparando dados antes de serem usados.

Por fim, a tecnologia de big data está mudando em ritmo acelerado. Há alguns anos, o Apache Hadoop era a tecnologia popular usada para lidar com big data. Em seguida, o Apache Spark foi introduzido em 2014. Hoje, uma combinação das duas estruturas parece ser a melhor abordagem. Manter-se atualizado com a tecnologia de big data é um desafio contínuo.

Descubra mais recursos de big data:

Como o big data funciona

O big data fornece novas informações que abrem novas oportunidades e modelos de negócios. Os primeiros passos envolvem três ações principais:

1. Integrar

O big data reúne dados de diversas fontes e aplicativos diferentes. Mecanismos tradicionais de integração de dados, como extrair, transformar e carregar (ETL), geralmente não estão aptos à tarefa. Isso requer novas estratégias e tecnologias para analisar conjuntos de big data em terabytes ou até mesmo em escala de petabytes.

Durante a integração, você precisa inserir os dados, processá-los e verificar se estão formatados e disponíveis de forma que seus analistas de negócios possam começar a utilizá-los.

2. Gerenciar

Big data exige armazenamento. Sua solução de armazenamento pode estar na nuvem, no local ou em ambos. Você pode armazenar seus dados da forma que desejar e trazer os requisitos de processamento desejados e os mecanismos de processo necessários para esses conjuntos de dados sob demanda. Muitas pessoas escolhem a solução de armazenamento de acordo com a localização atual dos dados. A nuvem está gradualmente ganhando popularidade porque é compatível com as suas necessidades atuais de computação e permite que você crie recursos conforme necessário.

3. Analisar

Seu investimento em big data é compensado quando você analisa seus dados e age com base neles. Obtenha mais clareza com uma análise visual dos seus conjuntos de dados variados. Explore ainda mais os dados para fazer novas descobertas. Compartilhe suas descobertas com os outros. Crie modelos de dados com machine learning e inteligência artificial. Faça seus dados funcionarem.

Boas práticas de big data

Para ajudar em sua jornada de big data, incluímos algumas recomendações importantes que você precisa ter em mente. Aqui estão nossas diretrizes para criar uma base de big data bem-sucedida.

Alinhar big data com objetivos de negócios específicos

Conjuntos de dados mais extensos permitem que você faça novas descobertas. Para esse fim, é importante basear novos investimentos em habilidades, organização ou infraestrutura com um forte contexto de negócios para garantir investimentos e financiamento contínuos de projetos. Para determinar se você está no caminho certo, pergunte como big data oferece suporte e habilita seus principais negócios e prioridades de TI.

Exemplos incluem a compreensão de como filtrar registros da web para entender o comportamento do comércio eletrônico, derivar sentimentos das mídias sociais e interações de suporte ao cliente e compreender os métodos estatísticos de correlação e sua relevância para dados de clientes, produtos, manufatura e engenharia.

Diminuir a escassez de habilidades com padrões e governança Um dos maiores obstáculos para que você aproveite seus investimentos em big data é a escassez de habilidades. Você pode atenuar esse risco ao garantir que as tecnologias, considerações e decisões de big data sejam adicionadas ao seu programa de governança de TI. A padronização da sua abordagem permitirá gerenciar custos e alavancar recursos.

As empresas que implementam soluções e estratégias de big data devem avaliar seus requisitos de habilidades com antecedência e frequência, identificando proativamente quaisquer ausências de habilidades. Essas podem ser solucionadas por meio de treinamento cruzado de recursos existentes, contratação de novos recursos e aproveitamento de empresas de consultoria.

Otimizar a transferência de conhecimento com um centro de excelência

Use uma abordagem de centro de excelência para compartilhar conhecimentos, controlar a supervisão e gerenciar as comunicações do projeto. Se o big data é um investimento novo ou em expansão, os custos flexíveis e difíceis podem ser compartilhados em toda a empresa. Aproveitar essa abordagem pode ajudar a aumentar os recursos de big data e a maturidade geral da Information Architecture de uma maneira mais estruturada e sistemática.

O melhor retorno é alinhar dados estruturados com não estruturados

É importante analisar o big data sozinho. Mas você pode trazer ainda mais informações de negócios conectando e integrando big data de baixa densidade aos dados estruturados que você já estiver usando hoje.

Quer você esteja capturando clientes, produtos, equipamentos ou big data ambiental, o objetivo será adicionar mais pontos de dados relevantes aos seus resumos analíticos e principais, obtendo melhores conclusões. Por exemplo, há uma diferença em distinguir o sentimento de todos os clientes daquele apenas dos seus melhores clientes.

É por isso que muitos veem big data como uma extensão integral de seus recursos existentes de business intelligence, plataforma de data warehousing e arquitetura de informações.

Lembre-se de que os processos e modelos analíticos de big data podem ser baseados em humanos e em máquinas. Os recursos analíticos de big data incluem estatísticas, análise espacial, semântica, descoberta interativa e visualização. Usando modelos analíticos, você pode correlacionar diferentes tipos e fontes de dados para fazer associações e descobertas significativas.

Planejar seu laboratório de descoberta para desempenho

Descobrir o significado em seus dados nem sempre é simples. Às vezes, nem sabemos o que estamos procurando. Isso é esperado. A gerência e a TI precisam dar suporte a essa "falta de direção" ou "falta de requisitos claros".

Ao mesmo tempo, é importante que os analistas e cientistas de dados trabalhem em estreita colaboração com a empresa para entender as principais lacunas e requisitos de conhecimentos de negócios. Para acomodar a exploração interativa de dados e a experimentação de algoritmos estatísticos, você precisa de áreas de trabalho de alto desempenho. Certifique-se de que os ambientes de área restrita tenham o suporte necessário e sejam devidamente controlados.

Alinhar-se ao modelo operacional da nuvem

Processos e usuários de big data exigem acesso a uma ampla variedade de recursos para experimentação iterativa e execução de tarefas de produção. Uma solução de big data inclui todos os domínios de dados, incluindo transações, dados mestre, dados de referência e dados resumidos. Áreas restritas analíticas devem ser criadas sob demanda.

O gerenciamento de recursos é essencial para garantir o controle de todo o fluxo de dados, incluindo pré e pós-processamento, integração, resumo no banco de dados e modelagem analítica.

Uma estratégia de segurança e provisionamento de nuvem pública e privada bem-planejada desempenha um papel fundamental no suporte a esses requisitos em constante mudança.