¿Qué son los macrodatos?

Hola, estimado lector. Espero que te encuentres bien.

Este es el primero de las tecnologías que abordaremos en este viaje y tiene que ver con los Macrodatos (Big Data).

Son grandes volúmenes de información digitalizada y provienen de distintas furentes del mundo escrito, visual y sonoro, por lo que requieren un tratamiento especial para su procesamiento; y comenzaremos por sus orígenes..

Espero que te guste y te espero al finalizar el artículo.



Macrodatos (I)

Industrial Engineering Business School

Fabrizio Salvador




“Tecnología y Crecimiento.

Tras el inicio del tercer milenio, las compañías tienen acceso a la información de una forma sin precedentes.

Los datos, que se generan a través de un sinnúmero de aplicaciones y de sistemas que sirven como soporte a los procesos de negocio, las transacciones comerciales y las redes sociales, entre otros, se encuentran no sólo en formatos estructurados y en bases de datos tradicionales, sino también en forma de imágenes, voz, posicionamiento geográfico, etc.

La información está disponible en tiempo real, lo que significa que las organizaciones pueden acceder a ella tan pronto como se genera.

Comunidades virtuales, redes sociales, entradas en la web, archivos, dispositivos médicos, TV digital, comercio electrónico, tarjetas inteligentes, ordenadors, teléfonos móviles, sensores, dispositivos GPS, lectores de códigos de barras, cámaras de seguridad, investigación científica, correos electrónicos enviados, etc son cargados cada segundo

“Macrodatos” (Big Data)”, representa la disponibilidad de grandes cantidades de información en formatos estructurados y desestructurados en tiempo real.

En ese orden de ideas, el Volumen, la Variedad y la Velocidad (la tres V) de los datos son dimensiones clave del este nuevo concepto.

Con certeza, la tecnología ha desempeñado un papel importante en la adopción de Macrodatos, haciendo posible el almacenamiento de grandes cantidades de información.

Hoy día, el costo de una unidad en la que se pueda almacenar toda la música del mundo tiene un precio aproximado de solo 600 dólares, más de 5 billones de teléfonos móviles se encuentran en uso, 30 billones de publicaciones se comparten a través de Facebook cada mes y la cantidad de información que en promedio poseen las compañías de 15 de los 17 sectores de la economía de los Estados Unidos, supera la almacenada en la Biblioteca del Congreso del país.

Como ha quedado demostrado a través de múltiples casos, aprovechar el potencial de Macrodatos puede impulsar el desempeño de una empresa.

Kayak, por ejemplo, ofrece a sus clientes un pronóstico del precio del billete en el que están interesados y les sugiere si es mejor realizar la compra inmediatamente o esperar a otro momento.

La compañía de Silicon Valley, Echelon Corporation, ha instalado más de 35 millones de contadores inteligentes que permiten optimizar, en tiempo real, el consumo energético de los hogares y el desempeño de la red proveedora de electricidad.

Casi todas las compañías de tarjetas de crédito aplican, de forma rutinaria y en tiempo real, herramientas analíticas a cantidades masivas de datos acerca de las transacciones de sus clientes con el fin de detectar y prevenir posibles fraudes.

No existe, virtualmente, área de actividad económica alguna en la que el uso de Macrodatos no esté generando oportunidades de negocio y de agregación de valor, que eran inconcebibles no más de una década atrás.

Explotar el potencial de Macrodatos, sin embargo, no se trata solamente de un logro tecnológico, sino que de hecho representa un reto organizacional dado que las compañías deben modificar la forma en que toman las decisiones respecto a sus procesos de negocio.

Las firmas deben dejar de lado la prevalente toma de decisiones basada en la intuición, deben aprender a analizar la información de forma confiable y crear estructuras y roles nuevos que posiblemente afecten el balance de poder actual. En pocas palabras, deben superar las poderosas fuentes de inercia que impiden la innovación.

Capital One es una empresa que ha logrado desarrollar una estrategia exitosa basada en Macrodatos. SE trata de una organización que favorece el desarrollo de su capacidad analítica generar y utilizar Macrodatos y así mejorar su desempeño.

Pero el desarrollo de la capacidad analítica no se limita a grandes compañías, a emprendimientos digitales o a expertos en el tema, sino que por el contrario puede adoptarse en compañías tradicionales y relativamente pequeñas, con beneficios para su desempeño. oportunidad y desafío.

El desarrollo de una competencia analítica: un objetivo esquivo

Los gerentes concuerdan en que Macrodatos se puede utilizar como herramienta para apoyar la toma de decisiones en diferentes áreas de negocio.

Una de las áreas de las empresas con mayores avances en esta aplicación para la toma de decisiones es el área financiera y de contabilidad.

Son prácticas comunes utilizar cálculos de valor presente neto o payback para las decisiones de inversión, realizar la asignación de recursos con base en reglas presupuestales complejas y controlar los costos de los proyectos.

No obstante ello, las empresas también desarrollan su competencia analítica en otras áreas como operaciones, estrategia y desarrollo de desarrollo de negocios, ventas y marketing, servicio al cliente e investigación, desarrollo de productos, gestión de riesgos y marcas, manejo de recursos humanos, entre otras.

Mientras las compañías con mejor desempeño se encuentran en una posición avanzada en su curva de aprendizaje, en lo que respecta al desarrollo de su competencia analítica, una buena cantidad de firmas aún se encuentran al inicio de este proceso y deben enfrentar diversas dificultades.

Las más importantes dependen de barreras técnicas asociadas con el uso de software para la gestión de Macrodatos y las mayores preocupaciones en el uso de este tipo de software son:

• La escasez y el costo elevado de personal capacitado.

• El costo de las plataformas de almacenamiento de datos (data warehousing).

• La incertidumbre sobre el tamaño de las oportunidades de negocios que el uso de herramientas analíticas aplicadas a Macrodatos generará.

• La escasez de herramientas analíticas para plataformas de Macrodatos (Hadoop y bases de datos NoSQL).

• Los datos de la empresa no son confiables.

• La dificultad en aprender tecnologías (Hadoop y NoSQL).

• La disponibilidad limitada de datos.

Por otro lado, algunos estudios adicionales revelan que las barreras asociadas con el desarrollo de una competencia analítica son de naturaleza organizacional y están relacionadas con las prioridades en la gestión, la cultura de la firma, la dificultad de asegurar que las íneas de negocio cuenten con las habilidades necesarias para utilizar las ventajas de la aplicación.

Estas barreras provienen del desconocimiento del uso de herramientas analíticas para la mejora de la empresa, la falta de habilidades internas en las distintas unidades del negocio, la escasa flexibilidad frente a otras prioridades operativas, y la incapacidad para obtener datos válidos, entre otros factores.

En definitiva, nos enfrentamos a culturas que no promueven el intercambio de información, en donde la propiedad de los datos no es clara y las estructuras de gobierno no es efectiva.

Esto proviene de la falta de apoyo por parte de la gerencia y de la percepción de que los costos serán superiores a los beneficios.

En pocas palabras, no se ven oportunidades para el cambio y, por ende, no se sabe por dónde empezar


Aprendiendo de una historia de éxito.

No solo por su éxito inicial, sino porque su modelo ha servido como formato para un sinnúmero de bancos y de entidades de crédito; Capital One es un caso ejemplar que permite entender qué cambios se deben realizar en una organización para desarrollar su competencia analítica.

Originalmente y bajo el nombre de Signet, Capital One trabajaba como un banco tradicional de carácter regional con base en Richmond, Virginia.

Sus decisiones de crédito estaban basadas en consideraciones muy cuidadosas y a la vez críticas que le permitían al banco ofrecer una de las tasas más bajas del mercado, pero al mismo tiempo limitaban su crecimiento.

Al inicio de la década de los años 90, bajo la dirección de dos gerentes recién ingresados en la compañía, el banco empezó a implementar un nuevo método para la toma de decisiones de crédito.

El método se basaba en modelos analíticos construidos con datos que incluían, no solo la información demográfica del cliente, como era el estándar de la industria en ese momento, sino también la información acerca de sus transacciones.

El supuesto fundamental de los nuevos gerentes era que al cruzar los dos tipos de información era posible crear modelos del comportamiento del consumidor (riesgo, preferencias, etc.) que permitirían tomar decisiones de crédito con mayores niveles de confianza, personalizar las características de las tarjetas de crédito y realizar ventas cruzadas de otros servicios.

Aun cuando esta idea no resulta extraordinaria hoy en día, en aquel momento la mayoría de los bancos, con el ánimo de reducir costos, acostumbraba a reciclar las cintas de ordenador en las que se grababan las transacciones antiguas de los clientes, perdiendo por completo cualquier posibilidad de obtener una perspectiva del comportamiento de sus clientes a lo largo del tiempo.

Los resultados de esta innovación fueron sorprendentes.

La división de tarjetas de crédito de Signet se separó de la matriz y se convirtió convirtiéndose en Capital One en 1994 y pasó de ser la subsidiaria de un pequeño banco regional a la séptima compañía más grande de tarjetas de crédito del país.

Desde 1994 hasta 2000 el valor de la acción de capital aumentó en más del 1000%, mientras que el índice S&P 500 lo hacía en cerca del 300%.

La tasa de crecimiento promedio anual de la firma, 46%, era la mayor de la industria (excluyendo el crecimiento como resultado de fusiones y adquisiciones).

Los modelos analíticos sirvieron como base, pero fue el diseño de la organización de Capital One el que aseguró el éxito de la ejecución de esta idea de negocio.

Una de las características esenciales del diseño de la organización de Capital One fue la integración de los nuevos modelos analíticos a su call center y sus operaciones de internet apoyando así las ventas y la interacción de los clientes con Macrodatos, en otras palabras, lo que podemos definir como efectividad analítica.

Los operadores del call center estaban en condiciones de dar al cliente respuestas personalizadas con base en las inferencias generadas por los modelos analíticos, sabían qué ofrecer para lograr una venta cruzada o cuál era el mejor momento para satisfacer los requerimientos del cliente.

Otra característica importante de la organización de Capital One fue la creación de un proceso de desarrollo de negocios que de forma rutinaria analizara los datos demográficos y las transacciones de los clientes para crear nuevos modelos analíticos e identificar oportunidades de negocios, es decir, la inteligencia analítica.

Los analistas de negocio se aprovecharon de las ideas generadas a partir de los datos de los clientes y crearon prototipos de nuevos servicios financieros que se probaban en estudios piloto aplicados a muestras reducidas de los mismos.

El carácter continuo de esta actividad de innovación basada en datos requirió de una colaboración estrecha entre el área encargada de las tecnologías de información y el call center, especialmente, dado que cada año se realizaban una buena cantidad de pruebas que incluían más de 40.000 clientes.

La inteligencia analítica fue instrumental para decidir en qué momento se debía dejar de ofrecer un producto de forma que el portafolio de Capital One mantuviera sus niveles de complejidad y de efectividad constantes en el tiempo.

Las pruebas de que tenían éxito se transferían en una etapa posterior a los modelos analíticos generales para hacerlas disponibles a la totalidad de los clientes del banco.

Tres factores: la infraestructura analítica, la cultura analítica y la estructura de gobierno analítica, habilitaron a Capital One para desarrollar y mantener su efectividad y su inteligencia analítica.

La infraestructura analítica consistía en tener un departamento de TI capaz de manejar la base de datos de Oracle más grande del mundo, con cerca de 23 terabytes de datos, o lo que es lo mismo, cuarenta páginas de información, a espacio sencillo, de cada uno de los ciudadanos de los Estados Unidos.

Esta base de datos ganó el premio a excelencia tecnológica del Grupo Gartner, otorgado, cada año, a una sola compañía en los EEUU.

La infraestructura analítica de Capital One era flexible, en el sentido de que era capaz de acomodar rápidamente nuevos modelos analíticos, a medida que se encontraban disponibles.

Así mismo, era escalable, en el sentido de que tenía la capacidad de crecer rápidamente cuando modelos analíticos nuevos hacían posible el lanzamiento de productos exitosos.

Adicionalmente, el éxito del modelo de negocios no hubiese sido posible sin el establecimiento de una cultura analítica.

Esta cultura rechazaba la toma de decisiones con base a juicios subjetivos y exaltaba la percepción de que las decisiones de crédito debían realizarse con base a criterios científicos actuariales y evidencia experimental.

La lógica de tomar decisiones con base a hechos, se reflejó en la contratación de analistas de negocios, los empleados potenciales eran sujetos a pruebas psicológicas estandarizadas cuyos resultados se comparaban con el de los empleados que tenían éxito en la compañía.

Adicionalmente, los candidatos a posiciones de analista de negocios debían pasar el filtro de ejecutivos de alto nivel.

Finalmente, el diseño de la organización de Capital One se caracterizaba por una estructura de gobierno analítica que supervisaba todos los aspectos de la estrategia de Macrodatos.

Cuando la empresa se separó de Signet, los artífices de la estrategia de Macrodatos tomaron el mando de la organización: uno se convirtió en el presidente de la junta directivo y CEO, mientras que el otro fue nombrado presidente y COO de la compañía.

La presencia de un “mecenas” de Macrodatos en el nivel más alto de la organización garantiza que la compañía dedique sus esfuerzos a la consecución de cuatro objetivos fundamentales de gobierno, a saber

Asegurar que se tomen buenas decisiones a largo plazo y que las inversiones en herramientas y modelos analíticos generen valor para el negocio,

Proteger y gestionar los datos. También en proporcionar la información derivada de los datos y los productos generados con base en herramientas analíticas de forma segura, ética y de acuerdo a las tendencias establecidas

Garantizar la asignación de responsabilidades, la transparencia y la trazabilidad de los encargados de financiar, desarrollar y hacer uso de los recursos asociados con las analíticas de la organización y

Proporcionar una estructura organizacional que garantice que los recursos estarán disponibles para quienes los necesiten en su función de desarrollo y uso de herramientas analíticas, que estas herramientas se pueden desplegar; y que los datos, información derivada del uso de analíticas y los productos generados con base en estas herramientas evolucionen con base en aprendizaje continuo y la difusión de mejores prácticas en la organización y entre esta y otras entidades que hiciesen parte del ecosistema de Macrodatos.


Efectividad e inteligencia analíticas.

“El ejemplo de Capital One representa un caso extremo de la aplicación de Macrodatos.

Un caso en el que todos los elementos importantes del diseño de la organización (estrategia, estructura, gestión de recursos humanos, sistemas de incentivos y procesos de negocio) tuvieron que modificarse, dando como resultado la separación de la compañía de aquella organización que había decidido, en primera instancia, implementar Macrodatos en una de sus divisiones.

Es un caso extremo también, en el sentido de que, eventualmente, la empresa no solo era una firma independiente, sino que adicionalmente tenía una base que incluía millones de clientes y adoptó de forma masiva tecnología punta de forma innovadora.

La pregunta es entonces, si las organizaciones pueden desarrollar su efectividad e inteligencia analíticas siguiendo una aproximación de carácter incremental.

Y, aún más importante, ¿Es esto posible en el caso de firmas maduras de pequeña y mediana magnitud, que representan la columna vertebral de la economía europea y latinoamericana?

Se analizó una muestra de 108 compañías, pequeñas y medianas, de producción de equipos industriales, que enfrentaron el reto y desarrollaron estas dos capacidades - la efectividad analítica y la inteligencia analítica.

La efectividad analítica hace referencia a la habilidad de la compañía para empoderar a su fuerza de ventas para que, de manera autónoma y confiable, configuren el producto (como ejemplo, una prensa hidráulica o un equipo de empaque) en respuesta a las necesidades del cliente.

Un alto nivel de efectividad analítica le permite a las personas encargadas de las ventas reaccionar inmediatamente a los requerimientos del cliente y reducir el número de consultas hechas al personal técnico de la firma, que usualmente acarrean un alto costo y una buena cantidad de errores; lo que en combinación se traduce en una mayor velocidad y eficiencia en las transacciones de negocio.

Un derivado del proceso de configuración del producto es la información que describe configuraciones anteriores que han sido ejecutadas por el cliente o en representación del mismo.

En este caso, los productores de equipos industriales más avanzados han desarrollado su inteligencia analítica analizando sistemáticamente esta información para obtener ideas para la innovación en productos y procesos.

Por ejemplo, el análisis de configuraciones previas puede revelar que los clientes tienden a abandonar el proceso de configuración cuando seleccionan cierta característica para su producto, lo que indica que el precio a pagar por la selección es muy alto o que falta una opción importante.

El personal de ventas puede configurar el producto de forma autónoma, rápida y correcta analizando la información sobre configuraciones previas para identificar oportunidades de innovación de productos o procesos.

En cuanto a la inteligencia analítica, un proceder similar al anterior puede revelar que la popularidad de una característica del producto está aumentando y que como consecuencia es necesario considerar inversiones para expandir la capacidad.

En otros casos, la inteligencia analítica ha mostrado patrones en las respuestas de los clientes durante la configuración del producto, sugiriendo la posibilidad de simplificar el proceso de venta.

Todos estos ejemplos demuestran que la inteligencia analítica, desarrollada con base en datos sobre configuraciones de productos anteriores, le permitiría a estas firmas alinear mejor sus productos y sus operaciones con las necesidades de los clientes, obteniendo, eventualmente, ventajas competitivas en sus mercados.

A diferencia a Capital One, estas PYMES no tienen los recursos necesarios para crear unidades organizacionales separadas que se hagan responsables del desarrollo de la efectividad analítica y de la inteligencia analítica.

Por el contrario, dependen de la posibilidad de que los individuos contribuyan a ambas capacidades y específicamente, dependen de que las personas de ventas obtengan conocimiento sobre el cliente de forma más rápida gracias a la efectividad analítica y que luego desplieguen el mismo cuando interactúan con otras unidades de la empresa al desarrollar nuevos productos.

Los productores más avanzados utilizan un proceso incremental en su objetivo de implementar herramientas y modelos analíticos de negocio, en vez de tratar de cambiar radicalmente su diseño, como sucedió en el caso de Signet al transformarse en Capital One.

Los resultados del estudio mostraron que solo las empresas que desarrollaron ambas capacidades (efectividad e inteligencia analítica) fueron capaces de alcanzar los resultados esperados en su mercado, aumentando sus ventas sin sacrificar sus márgenes de rentabilidad.

El análisis también reveló dos datos adicionales de suma importancia.

Primero, crear una capacidad analítica tiene un alto costo operacional.

Segundo, los beneficios de dicha capacidad decrecen a medida que la complejidad de los productos aumenta y resulta más difícil crear y utilizar modelos analíticos para la gestión de las operaciones de la compañía”.


Hola, espero que te haya gustado el artículo. Te comparto mis reflexiones.

Los Macrodatos siempre han existido, pero no hemos tenido las herramientas lo suficientemente inteligentes para gestionarlos con eficiencia. Ahora las tenemos y debemos estudiarlas para sobrevivir en el mundo que se nos viene encima.

Hasta ahora la informática solo admitía cierto tipo de inputs, como eras los datos estructurados, con un orden y un formato establecidos de antemano. Eso no se requiere más, ya que puede admitir actualmente artículos de periódicos, imágenes, videos, y cualquier otra información que esté digitalizada.

Eso da lugar a una gran cantidad de información que puede ser absorbida y procesada por las computadoras actuales, pero con velocidades aun no optimizadas.

Pensar, por ejemplo, en email marketing, es obvio e inmediato; pero también se puede asociar este concepto a áreas como las finanzas y la medicina, entre otras, donde se recoge información correspondiente a muchos parámetros y tendencias históricas, permitiendo su interpretación por los profesionales correspondientes, para enriquecer los servicios que brindan.

La aparición de la Computación Cuántica (CC) permitirá a los Macrodatos ser procesados a una velocidad infinitamente superior a la actual, con lo que los resultados podrán ser obtenidos en pocos instantes después de que los inputs sean ingresados, confiriéndole entonces a esta herramienta un carácter de indispensable para el ejercicio de sus profesiones.


Ahora me gustaría conocer tu honesta opinión con respecto a este artículo.

Gracias por tu colaboración.

0 visualizaciones0 comentarios

Entradas relacionadas

Ver todo