Big Data

24 de octubre, 2013 17
Profesional de tecnologias de Trading en Banca de Inversiones. He vivido y trabajado en Londres, New York, Tokyo, Abu Dhabi... He trabajdo... [+ info]
Profesional de tecnologias de Trading en Banca de... [+ info]

Cada vez se habla mas del Big data, es la nueva moda... Empresas como Cloudera están de moda!

¿En realidad, que es el big data? ¿Alguien lo comprende?

La realidad es que Big Data son un conjunto de Bases de datos no relacionales (Las de toda la vida) que procesan la información de forma muy eficiente y rápida.

Se empieza a hablar de Big Data cuando no se puede procesar la información de forma convencional, cuando no te cabe en el excel o mas allá cuando en una base de datos típica el procesar tantos datos lleva tantísimo tiempo que no es factible.

Yo mismo en mi día a día en el trabajo me encuentro con esos problemas, millones y cientos de millones de datos, y los ejecutivos quieren ver reportes y resultados y las máquinas mas caras funcionan día y noche procesando datos, aun así no llegan a tiempo.

Diríamos... La solución es el Big Data! Procesar mucho mas de forma mas eficiente! Escalable... Actualmente las bases de datos no escalan bien, es decir no es lo mismo una máquina muy potente que muchas pequeñas juntas, esto ultimo si funciona con Big Data y es lo que usa Amazon, Google, Facebook, Twitter... etc...

c6a78b077c5ff472f565791a26cc9f28.jpg

Pero todo no es tan sencillo, cada una de estas bases de datos es muy diferente a las convencionales, cada una tiene su forma de hacer las cosas, pero todas tienen algo en común, es muchísimo mas difícil extraer la información, con las bases de datos convencionales el programador obtiene la información de forma muy sencilla dice "Dame todos los usuarios que cumplen este requisito entre tal y cual fecha" y la base de datos le da la información, con Big Data, es otro mundo, la información se almacena de forma que favorezca determinadas extracciones, hay que hacer complicados procesos map-reduce, todo se complica.

¿Que implica esto? Que hay un nuevo campo de expertos en manipulación de datos, ahora se les llama "Data Scientists" y a día de hoy se les paga muy bien: Big Data

En Inbestia también nos modernizamos y el año que viene sacaremos una nueva versión del website que utilizara Big Data para analizar estadísticas, visitas, clicks etc... Y esperemos que no tardemos mucho en aplicar Big Data a datos de mercado!

Usuarios a los que les gusta este artículo:

Este artículo tiene 17 comentarios
Excelente iniciativa la de usar Big Data.
El problema que estoy leyendo sobre BigData, es la avidez de algunas empresas por coleccionar datos y más datos y comienza a ponerse en compromiso el mantenimiento de la privacidad para dar preferencia a los beneficios.
¡¡¡¡ Espero que el uso de BigData no os conevierta en devoradores de datos, al precio que sea !!!
Saludos
24/10/2013 13:49
antiguo usuario
La privacidad y la informacion son cosas diferentes... los datos de cada click, de cada visita, etc... pueden ser muchisimo, ocupar mucho espacio y hacer la web lenta, por eso hay que buscar alternativas!
24/10/2013 17:29
antiguo usuario
El de guardar como favorito, una forma de organizarlo, no?
24/10/2013 17:26
sí, eso es

cuando guardo un artículo como favorito es porque me parece que vale la pena tenerlo a mano para releer o consultar

pero con el tiempo acumulas cientos de artículos y ya no hay forma de encontrar nada

eso me ha pasado en montones de webs, ahora estoy guardando los contenidos interesantes en delicious para tenerlos etiquetados, pero sería mejor si pudiese clasificar los correspondientes a inbestia aquí mismo
24/10/2013 18:00
antiguo usuario
ahhh vale! Ahora ya te identifico! Voy a ver tu delicious!
25/10/2013 05:43
A ver si lo he entendido:

¿Tiene esto del manejo de "Big Data" alguna similitud aunque solo sea de concepto, con la computación distribuída tipo "proyecto Seti" y similares patrocinados por IBM a través del World Comunity Grid?
(Por cierto que han sacado la versión para Android para que sude tambien el teléfono, tableta, etc, no solo el ordenador. Y tienen un montón de proyectos científico-médicos más que loables necesarios)
24/10/2013 20:17
antiguo usuario
Bid Data es algo muy generico! Simplemente es procesar los datos de firma no convencional, grafos = Neo4j, tipo Facebook = Cassandra, Amazon = Dynamo, Google = Hadoop.... una larga lista... cada uno con sus pros y sus contras...
25/10/2013 05:45
Escriba un nuevo comentario

Identifíquese ó regístrese para comentar el artículo.

Síguenos en:

Únete a inBestia para seguir a tus autores favoritos

Publicidad