Blog

¿Qué hay detrás del Big Data? ¿Cómo funciona la búsqueda, recolección y análisis de grandes volúmenes de datos?


Mucho se ha hablado al respecto de cómo las empresas comienzan a incorporar la analítica de Big Data para potenciar sus acciones y negocios. Pero detrás de esta estrategia hay mucho trabajo, indagación, programación y tiempo invertido. Veamos cómo es llevar adelante un proyecto Big Data, sus tiempos, recursos e implicancias, de la mano de Daniel Robins, Ingeniero en Sistemas y Profesor dedicado al desarrollo de proyectos Big Data y de DBA hace más de 20 años.

Contanos… mucho se habla y poco se sabe sobre el Big Data


Hoy está de moda hablar de Big Data y todos tratamos de estar a tono con estas “nuevas tecnologías”, pero en realidad no son tan nuevas, el equipo de Obama acertó ya en el 2008 con decisiones sobre cómo llegar mejor al electorado utilizando herramientas de Big Data y le dio tal importancia que nombró el primer jefe de científicos de datos en su gobierno. Pero hablamos de Big Data y Científicos de datos y todavía no dijimos de que se tratan, tenemos que diferenciar entre coleccionar los datos, big data y descubrirlos o saber qué nos dicen, tarea del científico de datos.

Si yo tengo una empresa por ejemplo de energía eléctrica, y tengo una cartera de clientes/usuarios, ¿en qué puede ayudarme el Big Data?


Bueno, muchísimo, hoy hay un boom respecto de la generacíón de energía renovables, como son las eólicas, solar, hídricas, etc. En KUNAN con Big Data y Análisis de Sentimiento, utilizando la base de datos Vertica, analizamos a nivel global qué se hablaba de estos tipos de energía en el mundo desde los usuarios especializados en el tema, las empresas involucradas en la generación, distribución, etc. para ofrecerlo a una empresa generadora de Energía que realiza inversiones en todo el planeta. Así como esto, también se puede controlar gracias a la información de sensores, una planta nuclear, mediante métricas y alertas para analizar el funcionamiento de la misma. Nosotros hicimos una propuesta de este tipo a la Central Nuclear de Embalse en nuestra provincia de Córdoba.

Ahora bien, ¿cómo se hace para descubrir eso?


Bueno, si hablamos de descubrir, estamos hablando de los científicos de datos por un lado, y de dotarlos de las herramientas correctas por otro lado, para que puedan encontrar la información en ese mar de datos del Big Data. Pero lo primero es que debemos tomar conciencia que tenemos que guardar datos para poder después descubrirlos. Hoy los datos ya no se generan sólo dentro de las empresas, sino que tenemos que tener en cuenta mucha información sobre nuestra empresa que se genera en el mundo exterior, por ejemplo desde los teléfonos celulares, como lo hacen muchas tiendas que brindan internet gratuito para descubrir si los clientes que entraron son los mismos que consultaron el portal el día anterior. O permitir que los mismos interactúen en las redes sociales que ofrece la empresa, dando opiniones de sus productos, como lo atendieron, o siguiendo a sus vendedores y georeferenciando los en mapas.

¿Qué recursos materiales y humanos implica un proyecto Big Data?


Respecto a recursos humanos, tenemos que pensar en un nuevo rol en la empresa, muy creativo, con conocimientos tanto del negocio como técnicos como son las estadísticas, matemática, programación, técnicas de aprendizaje automático, conocimientos sobre las nuevas herramientas y las diferentes bases de datos, entre ellas las georeferenciales y analíticas, y por otro lado las herramientas de visualización y data mining. Pero estas capacidades hoy están repartidas en muchas personas tal vez en nuestra empresa... ¿estamos buscando un Mesi de la informática?: no; a nivel de las universidades ya existen las materias de Big Data y la generación de los Científicos de Datos, por supuesto en esto llevan la delantera las Universidades de Estados Unidos y Europeas, pero de a poco en Argentina y en Córdoba ya empiezan a aparecer las primeras diplomaturas y maestrías.

Respecto a los recursos materiales, si hablamos de almacenar los datos, Hadoop y bases de datos analíticas como Vertica y muchas otras que surgieron desde que Google, el pionero de Big Data, publicó sus papers de la tecnología de Big Data en el año 2004. Los lenguajes de programación como Python y R son ideales, no debemos olvidar todo lo que ofrecen los proveedores de Cloud, principalmente AWS, Azure y las nuevas herramientas de Visualización que permiten la autogestión de los datos como por ejemplo Tableau.

Nosotros en KUNAN, utilizamos mucho hadoop, Vertica como base de datos analítica con machine learning, análisis de sentimiento, georeferenciación y tableau como herramienta de visualización, pero como en todos los proyectos debemos elegir las herramientas que mejor se adapten al mismo.


¿Cuánto puede llegar a durar el proyecto? ¿Es de una vez y para siempre, o se hace algún tipo de acompañamiento?


Debemos plantear proyectos donde se vea el retorno de la inversión, con resultados objetivos, hay proyectos de Big Data que permiten descubrir datos en las primeras tres semanas. Pero debemos pensar que este es un camino de ida, una vez que adoptamos la tecnología, no podremos volver atrás, sobre todo porque es un mundo apasionante.



¿Cuán certera es una predicción basadas en análisis científico de datos?


Aquí volvemos al análisis estadístico, solo que tenemos muchos datos y mucha basura también. Por lo cual depende mucho nuevamente de nuestros científicos de datos y las herramientas. Nosotros en el balotage de 2015 logramos predecir el triunfo de Macri con un 0.16% de error cuando las consultoras estuvieron en más de 5 puntos de diferencia.


¿Para qué tipo de empresas puede llegar a ser útil esta herramienta?


Para todas las empresas que quieran subsistir, Big Data y las nuevas técnicas son disruptivas, veamos los casos de las agencias de viaje y despegar, o los taxis y uber, o las empresas de televisión y Netflix.


¿Sabés qué empresas son las que más utilizan Big Data ahora?


Cada vez más empresas la están adoptando o están pensando en ello, desde las grandes que lo iniciaron como Google, Uber, Netflix, Fitbit, los Gobiernos Nacionales, Provinciales y Municipales tanto para análisis de la gestión como para administración de ciudades inteligentes como Barcelona por ejemplo. En los deportes, Alemania en el mundial 2014 utilizó esta tecnología para salir campeón del mundo, empresas de retail, sitios web, aeropuertos, bancos, empresas de transporte, en argentina hay casos emblemáticos como los de Despegar o Mercado Libre.

¿Se trata de una ventaja competitiva?


Totalmente, mientras antes se adopten estas tecnologías, mayores ventajas tendrán las organizaciones respecto a sus competidores.







Así concluyeron las preguntas para el Ing. Robins, quien destaca la  necesidad de "aprovechar el momento, guardar los datos y descubrir qué nos están diciendo", como estrategia de acción que apremia en empresas que buscan una ventaja competitiva.


Para conocer más acerca de la aplicación de Big Data ingresá a este Caso de Éxito.






< Volver

Consultanos.

Te podemos ayudar a agregar valor a tu negocio. Somos tu socio tecnológico.