https://www.youtube.com/watch?v=RPpBMYvwm5U

USING BIG DATA FOR COMPETITIVE ADVANTAGES

EL USO DE BIG DATA PARA OBTENER VENTAJAS COMPETITIVAS

Nicolas Ribeiro Fontes1 ((nicolas.rfontes@gmail.com)
Jonathan William Rodrigues de Almeida 1 (jonathan.wra@gmail.com)
Glauco da Silva 1 (glauco@fatecguaratingueta.edu.br)

1 FATEC Guaratinguetá

Resumo

Com o crescimento cada vez mais rápido de novas tecnologias e o maior acesso de pessoas à rede mundial de computadores, a quantidade de informações disponíveis tem aumentado rapidamente. O que antes era suportado pelos servidores, atualmente exige uma estrutura maior, e com o aumento do volume de informações, que trafegam 24 horas por dia através da internet, o tempo de resposta para se recuperar uma informação desejada se torna uma preocupação, já que quanto maior a quantidade de dados, mais lentas se tornarão as consultas a serem realizadas. Pessoas e empresas geram diariamente um número imenso de informações, que devem ser controladas e estruturadas para que não se perca a veracidade, confidencialidade e a consistência, caso contrário, as consequências podem ser desastrosas para o usuário. Além disso, a celeridade com que as informações são apresentadas quando solicitadas pode se tornar um incômodo, já que o ditado “Tempo é dinheiro” se aplica a muitos dos negócios de hoje, principalmente os que envolvem informações, pois elas mudam constantemente. O objetivo deste estudo, realizado a partir de pesquisa bibliográfica de caráter exploratório e pesquisa de dados, é analisar quando e como o Big Data pode ser utilizado para suprir estas necessidades, tendo uma maior velocidade na busca por dados, o que facilita as tomadas de decisões das empresas que necessitam de maior rapidez no fluxo das informações. Pode-se observar, então, que o Big Data pode e deve ser utilizado por qualquer instituição que deseja extrair dados disponíveis na web, informações que possam ser úteis para o seu desenvolvimento e permitir uma melhor competitividade no mercado.

Palavras-chave: Big data, Informação, Dado.

Abstract

With the increasingly rapid growth of new technologies and increased access of people to the world wide web, the number of information is also growing rapidly. What was once supported by servers today is no more and this increased volume of information that travels 24 hours a day via the internet, the speed becomes a concern, since the higher the amount of this information will become slower queries to be made. People and companies daily create a thunderous amount of information that must be controlled and structured not to lose the accuracy, confidentiality and consistency, otherwise the consequences could be disastrous for the user. Moreover, the speed with which this information is available on request can become a problem, since the saying "Time is money" applies to many of today's businesses, particularly those involving information because they change constantly. This study, conducted from literature and exploratory research data, analyze when and how Big Data can be used to meet these needs, having a faster search for data, which facilitates decision making companies that need for faster information flow. It can be observed, then, that Big Data can and should be used by any institution you want to extract data available on the web, information that may be useful for the development and competitiveness.

Keywords: :Big data, Information, Data.

Resumen

Con la cada vez más rápido crecimiento de las nuevas tecnologías y un mayor acceso de las personas a la web en todo el mundo, la cantidad de información disponible ha aumentado rápidamente. Lo que antes se apoya en los servidores, en la actualidad requiere de un marco más amplio, y el aumento del volumen de información que viaja a las 24 horas del día a través de Internet, el tiempo de respuesta para recuperar una información deseada se convierte en una preocupación, ya que cuanto mayor es la cantidad de datos, más lenta será convertido en consultas a realizar. Las personas y empresas a diario generan una enorme cantidad de información que debe ser controlado y estructurado de manera que no se pierda la verdad, la confidencialidad y la coherencia, de lo contrario las consecuencias podrían ser desastrosas para el usuario. Además, la velocidad con la que la información se presenta a petición puede llegar a ser una molestia, ya que el dicho "el tiempo es dinero" se aplica a muchos de los negocios de hoy, sobre todo los relacionados con la información porque cambian constantemente. Este estudio, realizado a partir exploratoria literatura y datos de la investigación, para analizar cuándo y cómo grandes datos pueden ser utilizados para satisfacer estas necesidades con una mayor rapidez en la búsqueda de datos, lo que facilita la toma de decisiones decisiones empresariales que requieren más rápido el flujo de información. Puede verse, entonces, que Big Data puede y debe ser utilizado por cualquier institución que desea extraer los datos disponibles en la web, información que podría ser útil para su desarrollo y permitir una mejor competitividad en el mercado.

Palabras clave: Big data, información, dado

 

Introdução

Atualmente, observa-se que a tecnologia de sensores e de redes avançou a ponto de viabilizar a geração de informações por equipamentos de menor porte geram e emitem informações, mostrando a necessidade de um conjunto de tecnologias que permita gerenciar todo o um amplo volume de informações que podem ser de diversos tipos, sobre as quais podem ser solicitados diversos tipos de relatórios por uma ou mais pessoas em um mesmo período de tempo. Por isso, a utilização do Big Data, é importante e deve ser acompanhada de perto pelos profissionais da área da tecnologia da informação (TI), para que não ocorram problemas quando um sistema de armazenamento de dados, por exemplo de uma empresa não mais suportar a massa de informação..

É um grande desafio vincular, relacionar, organizar e transformar os dados de um sistema, quando se lida com grandes volumes de dados originados de diversas fontes. É preciso conectar e correlacionar as interações, hierarquias e vínculos de informação para evitar que os dados saiam de controle e percam a confidencialidade. Governança de gerenciamento de dados pode ajudar a determinar como os dados irão se relacionar com definições comuns e como integrar sistematicamente os dados estruturados e não estruturados para produzir informações de alta qualidade, úteis, rápidas e atualizadas.

O termo Big Data é muito abrangente, pois se aplica a qualquer aspecto da capacidade de uma organização gerenciar, armazenar e analisar os dados de acordo com a demanda e requisições exigidas.

Mesmo que não tenha que manipular um volume de dados muito grande, o contexto e as tecnologias de Big Data se aplicam, devido a fatores relacionados com a velocidade de entrega dos dados e a variedade de origens das informações.

1 Big Data

Segundo a SAS (2013 – empresa líder no ramo), Big Data é um conjunto de tecnologias, que permite que os dados possam ser trabalhados sobre três perspectivas não consideradas antes do surgimento do conceito:

Volume: A cada dia, novos dispositivos são inseridos nas redes e passam a enviar e receber informações dos mais diversos tipos.. Devido a este crescimento, surgiu a ideia de gerenciar essas informações e utilizá-las para agregar valor.

Variedade: Da mesma maneira que há diversos tipos de dispositivos que geram informações, existem também diversas formas de dados, como textos, imagens, vídeos, dados de sensores e de localização e outros. Com as tecnologias de Big Data se torna possível analisar e gerenciar todos estes tipos de informações.

Velocidade: Mesmo que os dados existam em grande volume e em uma enorme variedade de formas, com o Big Data será possível que eles sejam tratados. Esse é um desafio para as organizações, já que a velocidade da produção desses dados vem aumentando rapidamente.

2 Surgimento do Big Data

O Globo (2015) mostrou que o crescimento do volume de dados gerados diariamente torna difícil até a mensuração deles. Sendo assim, o surgimento de novas tecnologias se mostrou necessário, permitindo a análise dos dados de maneira rápida e sem perder a consistência dos dados analisados.

Com o leque cada vez maior de fontes de dados, tais como os dados de operações que percorrem o mundo web, das redes sociais, de pontos-de-venda eletrônicos, e outros, além da alta velocidade com que estes dados são transmitidos, tem se tornado cada vez mais desafiadora para os gerentes dos sistemas a tarefa de organizar e preparar os dados para os processos analíticos de retorno de informações em alta velocidade, verificação da consistências dos dados e disponibilização para auxílio na tomada de decisões.

Com a globalização e o modelo “just in time”, que efetua a análise dos dados à medida que eles chegam e antes de se tornarem estacionários, a expansão do mundo virtual tornou-se necessária. A partir da década de 2000 houve um crescente volume de transação de dados. Dessa realidade, foi criado o conceito Big Data, que por meio de todas as tecnologias envolvidas consegue suprir a necessidade do gerenciamento desse elevado número de bits de informação, podendo ter o resultado muito rapidamente, consistente e de forma clara.

Com todo este volume de informação. Seria impossível tratar tal volume de dados da maneira como isso é feito hoje, por isso o Big Data não é mais uma tendência e sim uma realidade que vem sendo cada vez mais utilizada pelas organizações que não querem ter problemas com seus dados futuramente, ou que querem obter uma vantagem competitiva no mercado, visto que o Big Data permite uma infinidade de análises, pesquisas e relatórios das mais diversas fontes e tipos.

A necessidade que o Big Data supre é a possibilidade de lidar e tratar o grande número de dados que existem e principalmente que vão existir nos anos que vierem a seguir. A Figura 1 apresenta uma perspectiva de aplicações que podem utilizar soluções Big Data no futuro que vão possibilitar extrair destes dados, informações potencialmente de interesse das organizações.

Pode-se observar na Figura 1 que o Big Data é um conceito que merece atenção, pois melhora significativamente os principais pontos de aspectos cruciais no gerenciamento de uma empresa, tanto em áreas voltadas diretamente ao consumidor, quanto na melhora de processos internos. Todos estes pontos fortalecem a competitividade da organização.

figura1

3 NoSQL

Vieira et al. (2012) afirmam que o que influenciou a criação de sistemas NoSQL foi o suporte a tipo de dados complexos, semiestruturados ou não estruturados. Além do volume de geração desses dados ser grande, outro fator predominante é relacionado à dificuldade de modelagem de tais tipos de dados.

Segundo Alecrim (2013) além de trabalhar atualmente com elevados volumes de dados de todos os tipos e origens, as soluções voltadas ao Big Data trabalham com processamento de dados e distribuição das informações, isto significa que o Big Data mantém a característica de poder suportar o crescimento rápido e elevado do número de dados.

Segundo Lyle (2015), o SQL e outros bancos de dados relacionais populares não podem lidar com um Big Data não estruturado devido às limitações de armazenamento e processos inflexíveis. Isso acontece porque bancos de dados relacionais normalmente se baseiam em quatro propriedades que tornam a sua adoção segura e eficiente, razão pela qual soluções do tipo são tão populares: atomicidade, consistência, isolamento e durabilidade. Esta combinação é conhecida como ACID.

A dificuldade é que este conjunto de características é restritivo a uma solução Big Data. A diversidade das informações. O suporte simultâneo a essas propriedades se torna inviável levando em conta velocidade e consistência dos dados. É a partir daí que os conceito NoSQL se mostram úteis e funcionais.

NoSQL, abreviação para o termo "Not Only SQL" (Não somente SQL), define os bancos de dados que serão utilizados no futuro, mas que já estão tomando o lugar dos bancos de dados relacionais.

Com esses novos conceitos, é possível que a distribuição dos dados possa estar em diferentes bancos, alocados em diversos servidores, o que impede que se siga as regras que norteiam os bancos de dados relacionais de hoje. Uma das principais vantagens é o fato de ser possível a distribuição dos dados em servidores distintos, permitindo que se realizem cópias de segurança entre eles, e assim manter o sistema funcionando mesmo que um dos servidores apresente algum problema.

Entre os Bancos de Dados Não-Relacionais, alguns dos mais conhecidos são: MongoDB , que tem como usuários a Disney, MTV, Foursquare; Cassandra , no qual Twitter, Facebook e Netflix são usuárias; o projeto Hadoop que segundo Taurion (2015) é mantido pela Apache e tem Netflix são usuárias; o projeto Hadoop que segundo Taurion (2015) é mantido pela Apache e tem a colaboração de empresas como Facebook e IBM, e o banco de dados não-relacional HBase trabalhando em conjunto; além das soluções que o Google implementa internamente.

4 Big Data e Business Intelligence

Na última década a área de Tecnologia da Informação (TI) ganhou grande importância nas empresas, a ponto de alguns especialistas estimarem que aproximadamente metade do capital aplicado pelas empresas tem como destino o departamento de TI. O crescimento de grandes empresas deste setor, tal como SAP, Oracle, Microsoft, IBM, Cisco e Dell, entre outras, comprova o grande investimento das companhias neste setor. (ISSA, 2011, p. 22).

Grande parte desse investimento é voltada para o desenvolvimento de uma tecnologia que consiga gerar dados de difícil obtenção para relatórios sobre o andamento da empresa. Porém, muitos destes dados normalmente não são relevantes, e não trazem benefícios como o aumento da produtividade, por exemplo. Para isso é utilizada a ferramenta de Business Intelligence (BI), que consegue filtrar os dados e obter conhecimento útil a partir das informações retornadas.

BI combina produtos, tecnologias e métodos para organizar informações chaves que os gerentes necessitam para melhorar os lucros e o desempenho. Mais amplamente, BI é a inteligência e análise de negócios dentro do contexto dos processos chaves que levam a decisões e ações que resultam em um melhor desempenho para a empresa. Isto envolve informações de mercado e análise. (ISSA, 2011, p. 22).

O BI e Big Data, embora sejam distintos e com objetivos diferentes, podem trabalhar em conjunto, de modo a melhorar a análise e o entendimento dos dados.

A solução de BI permite uma análise futura de forma assertiva às organizações, com foco na coleta, organização, transformação e disponibilidade dos dados estruturados para a tomada de decisões. Contudo, o Big Data tem o foco principal no processamento, a fim de encontrar correlações nos dados. Assim, a solução de Big Data é capaz de apresentar os caminhos e paralelismo encontrados em grandes volumes de dados, no menor tempo possível, para que as empresas analisem estes dados com a intenção de obter vantagens competitivas.

Para que ambas as soluções agreguem valores reais para os negócios das organizações, deve-se deixar bem claro que BI é o responsável por tratar as questões já conhecidas e ideias já formadas anteriormente; já o Big Data trabalha em um meio de novas possibilidades e perguntas ainda não conhecidas.

5 Mineração de Dados – Data Mining

Pode-se dizer que o fator principal dos benefícios do Big Data é a mineração de dados, que realiza o processo de manipulação das informações existentes em vários bancos de dados de modo a que elas fiquem prontas para as consultas de dados de forma rápida e exata.

A mineração de dados, também conhecida como “Data Mining”, é o processo que visa explorar elevadas quantidades de dados buscando sempre obter padrões consistentes, como regras de associação de dados ou sequências temporais, para detectar relacionamentos sistemáticos entre variáveis ou métodos, apresentando assim novos conjuntos de dados que podem de alguma forma apresentar resultados não vistos anteriormente.

Fayyad, Piatetski-Shapiro e Smyth (1996), apresentaram uma definição real sobre Data Mining: "...o processo não-trivial de identificar, em dados, padrões válidos, novos, potencialmente úteis e ultimamente compreensíveis".

A mineração de dados é formada por um conjunto de técnicas e ferramentas que através do uso de algoritmos, de aprendizagem ou classificação baseados em aprendizagem estatística de dados e análise de associações, são capazes de explorar um conjunto de dados, extraindo (ou ajudando a evidenciar) padrões nesses dados e auxiliando na descoberta de conhecimento, visto que esses dados apresentados no final do processo de mineração são informações que só podem ser analisadas com o agrupamento e gerenciamento que a mineração de dados proporciona.

Voltando ao BI, grandes empresas não conseguem sobreviver ou crescer no mercado sem um excelente sistema de gestão. Excelente porque atualmente milhares de informações são processadas diariamente. No dia-a-dia de pequenas e médias empresas, as informações ficam perdidas ou esquecidas em algum lugar, sem que tragam qualquer benefício para a organização. Esses sistemas de gestão são capazes de armazenar em seus bancos de dados os acontecimentos do dia-a-dia, como estoques, pedidos, compras, orçamentos, contábil, financeiro, jurídico, pós-venda, relacionamento com cliente, vendas. Todos esses sistemas geram informações independentes um do outro. A função principal de um BI é trabalhar todo esse histórico de acontecimentos inseridos diariamente nos sistemas e garantir que no final do processo todos os dados sejam agrupados para que possam ser visualizados como um todo, trazendo informações concretas, consistentes e decisivas, basicamente através da ação do Data Mining.

O Data Mining busca padronizar sistemas e subconjuntos de dados começando pela exploração das informações, construção de modelo de armazenamento dos dados para consultas, definição de padrão entre tabelas e validação e verificação se a informação contida é exata.

Os passos essenciais de uma mineração eficaz a partir de fontes de dados (bancos de dados, relatórios, logs de acesso) consistem de uma limpeza (consistência, preenchimento de informações, remoção de ruído e redundâncias) em seguida são desenvolvidos os repositórios organizados, conhecidos como Data Marts e Data Warehouses. A partir deles pode-se selecionar algumas colunas para serem submetidas ao processo de mineração. Normalmente, o processo não é finalizado nesta etapa, pois através de ferramentas o analista conduz o processo, até que os padrões sejam encontrados.

6 Benefícios do Big Data diante das informações

As atuais tecnologias permitem aumentar rapidamente a quantidade de informações úteis no mundo e agora, empresas, governos e outras instituições precisam saber lidar com esta "explosão" de dados. O Big Data foi criado para ajudar nesta tarefa, pois até algum tempo atrás as ferramentas computacionais usadas eram, e algumas ainda são, somente para gestão de dados, e não integradas ao mundo global ou à empresa como um todo.

Deve-se que observar que Big Data é necessariamente ligado Internet tal como usada atualmente, e é por esse motivo que, na prática, apenas as tecnologias de computação em nuvem suportam o Big Data, seja no contexto técnico da infraestrutura ou na visão de negócios.

A IBM afirma que em 2008 foram produzidos cerca de 2,5 quintilhões de bytes todos os dias, e a adesão das grandes empresas à internet como exemplo atuando nas redes sociais, utilizando dados de GPS, dispositivos embutidos e dispositivos móveis, que foram os responsáveis por este crescimento.

Com todo este volume de informação, seria praticamente impossível tratá-lo da maneira como é feito atualmente, por isso o Big Data já não é mais uma tendência e sim uma realidade que vem sendo cada vez mais utilizada no dia-a-dia das pessoas e pelas organizações que não querem ter problemas com seus dados futuramente, ou que querem obter uma vantagem competitiva no mercado em que atuam, visto que o Big Data permite uma infinidade de análises, pesquisas e relatórios das mais diversas fontes e tipos.

A necessidade que o Big Data supre então é a possibilidade de lidar e tratar o grande número de dados que existem e principalmente que vão existir nos anos que vierem a seguir. Além de poder extrair destes dados, informações que podem ser de interesse das organizações.

7 Casos de Sucesso do Big Data

Segundo a Revista Exame (2012), uma das maiores redes de loja de vestuário no Brasil, a Renner consegue monitorar em tempo real o fluxo de mercadorias da loja ao cruzar os dados de localização GPS dos caminhões dos seus fornecedores com os níveis dos seus estoques. A rede também acompanha a aceitação dos seus produtos de forma instantânea nas redes sociais. Assim é possível saber se a roupa do comercial que acabou de ser veiculado na TV agradou ou não.

Com isso ela enviava imediatamente uma mensagem para o gerente da loja, e tentando encontrar os motivos que fizeram com que esta unidade vendesse menos que as outras, solicitava que eles realocassem os mostruários da loja para que conseguissem alcançar a média de vendas das demais filiais.

A rede de lojas Renner utilizou o Big Data também para cruzar as informações de uma pesquisa realizada com usuários do Facebook, pesquisa esta que tinha como objetivo saber o interesse do público sobre o lançamento de uma nova coleção de roupas ou acessórios, o que possibilitou que a rede de lojas pudesse ter um maior controle sobre o estoque em determinadas lojas de determinadas regiões, e sobre os pedidos que deveriam ser feitos.

Já a MapLink, empresa brasileira especializada em digitalização de mapas, colocou em xeque a credibilidade dos anúncios da Companhia de Engenharia de Tráfego (CET) da cidade de São Paulo em 2008 (EXAME, 2012). A MapLink começou a calcular o volume de trânsito na capital paulista, tarefa então exclusiva da estatal. Nas primeiras horas de um feriado prolongado, ao mesmo tempo em que a CET divulgava os 200 quilômetros habituais de ruas congestionadas, as rádios que usavam o serviço da MapLink informavam 420 quilômetros. Esta diferença se deve ao fato de que a CET utiliza câmeras espalhadas pelas principais vias da cidade e o “olhômetro” de seus fiscais de trânsito para calcular o índice de congestionamento nos horários de pico, o software da MapLink, usado por empresas de rastreamento por satélite, cruza, em tempo real, as informações enviadas por cerca de 400000 veículos espalhados pela cidade.

Considerações Finais

Big Data, assim como a quantidade de dados e informações que trafegam na web, já não são apenas prospecções e sim realidade. Pode-se e deve-se então investir em Big Data. Aderindo ao Big Data, as informações por ele geradas deverão ser analisadas por profissionais capacitados para que estratégias sejam criadas e assim consequentemente seguir forte na concorrência pelos clientes e consumidores. Para isso é necessário capacitar os funcionários para lidar com a nova solução, ou terceirizar uma empresa que faça o gerenciamento de toda esta cadeia.

 

Referências

ALECRIM, Emersom. Big Data Disponível em . Acesso em: 01 de outubro de 2013

ANGUELA, Jordi. Understanding Big Data to improve your business. Disponível em: . Acesso em: 05 de Outubro de 2013.

FAYYAD, Usama; PIATETSKI-SHAPIRO, Gregory; SMYTH, Padhraic. The KDD Process for Extracting Useful Knowledge from Volumes of Data. In: Communications of the ACM, pp.27-34, Nov.1996

ISSA, Felipe Gustavo de Sousa. Estudo comparativoentre Banco de Dados relacionais e Banco de Dados NoSQL na utilização por aplicações de Business Intelligence. São José dos Campos, 2011. 62p.

LYLE, David. Fique a três passos do Big Data de ouro. Disponivel em . Acesso em: 09 de abril de 2015.

O GLOBO, DIGITAL E MÍDIA. Como funciona o Big Data. Disponível em: . Acesso em: 05 de outubro de 2013.

O GLOBO. Estudo da EMC prevê que volume de dados virtuais armazenados será seis vezes maior em 2020. Disponível em: . Acesso em: 29 de abril de 2015.

REVISTA EXAME. Um fenômeno chamado big data. Disponível em: . Acesso em: 05 de outubro de 2013.

SAS THE POWER TO KNOW. O que é Big Data?. Disponível em: . Acesso em 02 de setembro de 2013.

TAURION, Cezar. Conhecendo o Hadoop. Disponivel em: . Acesso em: 01 de maio de 2015.

VIEIRA, Marcos Rodrigues; FIGUEIREDO, Josiel Maimone de; LIBERATTI, Gustavo; VIEBRANTZ Álvaro Fellipe Mendes. Bancos de Dados NoSQL: Conceitos, Ferramentas, Linguagens e Estudos de Casos no Contexto de Big Data. Cuiaba/Mato Grosso, 2012. 30p.

 

Recebido em 19/05/2015
Aceito em 05/05/2016

 

Revista Científica On-line Tecnologia – Gestão – Humanismo - ISSN: 2238-5819
Faculdade de Tecnologia de Guaratinguetá
Revista v.6, n.1 – maio, 2016