Estimado lector,
Hoy traigo a tu atención una investigación que realicé en diversas fuentes sobre un tema que, sin darnos cuenta, no solo nos atañe a todos, sino que lo hace cada vez con mayor frecuencia y, en muchos casos, sin que siquiera reparemos en él. Te espero al final del artículo para compartir lo leído.
Macrodatos (Big Data)
Tony Salgado, 2021
“El término Macrodatos se refiere a un fenómeno tecnológico que ha surgido desde mediados de los años ochenta. A medida que las computadoras han mejorado en capacidad y velocidad, las mayores posibilidades de almacenamiento y procesamiento también han generado nuevos problemas. Pero estos nuevos requisitos, que pueden observarse en patrones y tendencias nunca antes vistos en el manejo de estos conjuntos de datos, pueden ser difíciles de implementar sin nuevas herramientas que permitan orientar a los usuarios sobre posibles puntos de interés.
Macrodatos hace referencia a conjuntos de datos tan grandes y complejos que precisan de aplicaciones informáticas no tradicionales de procesamiento de datos para tratarlos adecuadamente. Los procedimientos usados para halla patrones repetitivos dentro de esos datos son más sofisticados y requieren un software especializado.
Las dificultades habituales vinculadas a la gestión de esta gran información se centran en la recolección y el almacenamiento de la misma, en las búsquedas, las comparticiones, y los análisis, visualizaciones y representaciones. La tendencia a manipular enormes volúmenes de datos se debe en muchos casos a la necesidad de incluir dicha información para la creación de informes estadísticos y modelos utilizados en diversas materias, como los análisis sobre negocios, publicidad, enfermedades infecciosas, espionaje y seguimiento a la población, o sobre la lucha contra el crimen organizado.
El límite superior de procesamiento ha ido creciendo a lo largo de los años. Se estima que el mundo almacenó unos 5 zettabytes (ZB, equivale a 1021 bytes) en 2014. Si se pone esta información en libros, convirtiendo las imágenes y todo eso a su equivalente en letras, se podría hacer 4500 pilas de libros que lleguen hasta el sol.
Los científicos con cierta regularidad encuentran límites en el análisis debido a la gran cantidad de datos en ciertas áreas, tales como la meteorología, la genómica, las complejas simulaciones de procesos físicos y las investigaciones relacionadas con los procesos biológicos y ambientales.
Las limitaciones también afectan a los motores de búsquedas en internet, a los sistemas de finanzas y a la informática de negocios.
Los data sets crecen en volumen debido en parte a la recolección masiva de información procedente de los sensores inalámbricos y los dispositivos móviles, el constante crecimiento de los históricos de aplicaciones (sus registros), las cámaras (sistemas de teledetección), los micrófonos, los lectores de identificación por radiofrecuencia, etc.
La capacidad tecnológica per cápita a nivel mundial para almacenar datos se dobla aproximadamente cada cuarenta meses desde los años 1980.
Se estima que en 2012, cada día fueron creados cerca de 2.5 trillones de bytes (terabytes) de datos.
Los sistemas de gestión de bases de datos relacionales y los paquetes de software utilizados para visualizar datos, a menudo tienen dificultades para manejar Big Data. Este trabajo puede requerir un software masivamente paralelo que se ejecute en decenas, cientos o incluso miles de servidores.
Lo que califica como Big Data varía según las capacidades de los usuarios y sus herramientas. Las capacidades de expansión hacen que Big Data sea un objetivo en movimiento. Para algunas organizaciones, enfrentarse con cientos de gigabytes de datos por primera vez puede provocar la necesidad de reconsiderar las opciones de administración de datos. Para otros, puede tomar decenas o cientos de terabytes antes de que el tamaño de los datos se convierta en una consideración importante.
Como referencia, las unidades de medida de las capacidades de las computadoras han ido adecuándose progresivamente. En la actualidad son:
El Byte (equivale a 8 bits), el Kilobyte (KB, equivale a 1000 o 103 Bytes), el Megabyte (MB o 106 Bytes), el Gigabyte (GB o 109 Bytes), el Terabyte (TB o 1012 Bytes), el Petabyte (PT o 1015 Bytes), el Exabyte(EB o 1018 Bytes), el Zettabyte (ZB o 1021 Bytes), el Yottabyte (YB o 1024 Bytes), el Brontobyet (BT o 1027 Bytes) y el Geopbyte (GB o 1030 Bytes)
Big Data representa los activos de información caracterizados por un Volumen, Velocidad y Variedad tan altos que requieren una tecnología específica y métodos analíticos para su transformación en valor. Además, algunas organizaciones agregan una nueva V: Veracidad para describirlo.
El uso de Big Data ha sido concretado por la industria de los medios, las empresas y los gobiernos para dirigirse con mayor precisión a su público y aumentar la eficiencia de sus mensajes.
Ha aumentado la demanda de especialistas en administración de información, tanto que empresas como Oracle, IBM, Microsoft SAP, EMC, HP y Dell han gastado más de 15 mil millones de dólares en firmas de software especializadas en administración y análisis de datos.
En 2010, esta industria ya valía más de 100 mil millones de dólares y crecía a casi un 10 por ciento anual: aproximadamente el doble de rápido que el negocio del software en general.
Las economías desarrolladas usan cada vez más tecnologías intensivas en datos.
Hay 4600 millones de suscripciones de teléfonos móviles en todo el mundo, y entre 1000 y 2000 millones de personas que acceden a Internet.
Entre 1990 y 2005, más de mil millones de personas en todo el mundo ingresaron a la clase media, lo que significa que más personas se volvieron más alfabetizadas, lo que a su vez llevó al crecimiento de la información.
La capacidad efectiva mundial para intercambiar información a través de redes de telecomunicaciones era de 281 petabytes en 1986, 471 petabytes en 1993, 2.2 exabytes en 2000, 6 exabytes en 2007 y 667 exabytes anualmente en 2014.
Según una estimación, un tercio de la información almacenada en todo el mundo está en forma de texto alfanumérico e imágenes fijas, que es el formato más útil para la mayoría de las aplicaciones de Big Data.
Esto también muestra el potencial de los datos aún no utilizados (es decir, en forma de contenido de video y audio).
Si bien muchos proveedores ofrecen soluciones estándar para Big Data, los expertos recomiendan el desarrollo de soluciones internas personalizadas para resolver el problema de la compañía si la empresa cuenta con capacidades técnicas suficientes.
El uso y la adopción de Big Data dentro de los procesos gubernamentales permite eficiencias en términos de costo, productividad e innovación, pero requiere que varias partes del gobierno (central y local) trabajen en colaboración y creen procesos nuevos para lograr el resultado deseado.
Los datos masivos se usan habitualmente para influenciar el proceso democrático y los ciudadanos pueden dictar la vida pública de los representantes mediante tuits y otros métodos de extender ideas en la sociedad.
En América Latina se analiza el uso de Macrodatos en el diseño e implantación de políticas públicas, destacándose intervenciones en temas de movilidad urbana, ciudades inteligentes y seguridad, entre otros temas.
Los avances en el análisis ofrecen oportunidades para mejorar la toma de decisiones en áreas de desarrollo críticas, como la atención médica, el empleo, la productividad económica, la delincuencia, la seguridad y el manejo de recursos y desastres naturales.
Además, los datos generados por el usuario ofrecen nuevas oportunidades para ofrecer una voz inaudita.
Sin embargo, los desafíos de larga data para las regiones en desarrollo, como la infraestructura tecnológica inadecuada y la escasez de recursos económicos y humanos aumentan las preocupaciones existentes con los grandes datos, como la privacidad y las imperfecciones metodológicas.
En la industria manufacturera se utiliza como capacidad de desentrañar incertidumbres, como el rendimiento y la disponibilidad de componentes inconsistentes.
La fabricación predictiva comienza con la adquisición de diferentes tipos de datos sensoriales, como la acústica, vibración, presión, corriente, voltaje y datos de controlador. Los datos generados actúan como la entrada en herramientas predictivas y estrategias preventivas como Pronósticos y Gestión de Salud.
Las ciencias sociales computacionales permiten hoy utilizar Interfaces de programación de aplicaciones (API) proporcionadas por grandes titulares de datos, como Google y Twitter, para realizar investigaciones en las ciencias sociales y del comportamiento, las que a menudo se proporcionan de forma gratuita.
Los Macrodatos también se utilizan en otros ambientes, como ser los Medios, La Música, los Seguros, los Deportes, las Finanzas, el Marketing y la Ventas; y, en particular, en la Investigación.
Es aquí donde su rol es fundamental.
En Sociedades y Laboratorios de Ciencias de USA y Europa se destinan miles de millones de dólares anuales para la investigación y el desarrollo de nuevas aplicaciones que articulan el uso de los Megadatos, junto con la Inteligencia Artificial y la Biotecnología para encontrar soluciones a problemas que hasta el día de hoy resultan insolubles para el ser humano.
Los grandes conjuntos de datos vienen con desafíos algorítmicos o conjuntos ordenados de operaciones sistemáticas que permiten hacer un cálculo y hallar la solución de un tipo de problemas, que anteriormente no existía. Por lo tanto, existe una necesidad de cambiar fundamentalmente las formas de procesamiento.
Los talleres sobre algoritmos para conjuntos de datos masivos modernos (MMDS) reúnen a científicos informáticos, estadísticos, matemáticos y profesionales del análisis de datos para analizar los desafíos algorítmicos del Big Data.
Por último, para incrementar la seguridad frente a los ataques de las propias organizaciones, ya sean empresas en el entorno económico o los propios ministerios de defensa en el entorno de ciberataques, se contempla la utilidad de las tecnologías de Big Data en escenarios como la vigilancia y seguridad de fronteras, lucha contra el terrorismo y crimen organizado, contra el fraude, planes de seguridad ciudadana o planeamiento táctico de misiones e inteligencia militar”.
Bueno, ¿sorprendido? Creo que no tanto, aunque tal vez sí.
En cualquier caso, lo primero que se me ocurre compartirte es la progresión de la capacidad de las computadoras, que puedes ver en la segunda página.
Cuando entré en IBM en 1970 junto a 7 compañeros al departamento de Ingeniería Industrial, nos fue asignada para nuestro trabajo una computadora que ocupaba toda una sala de 20 m2, con aire acondicionado. Era lógico, ¿no? Jóvenes profesionales = el mejor equipo disponible. El único detalle es que dicho equipo tenía una memoria de... ¡!32KB!! Hoy, 5 décadas después, tengo un pendrive de más de ¡¡100 GB!!, equivalente a 3 millones de lo almacenado en dicha sala; y lo llevo ¡en el bolsillo de mi camisa!
Oto tema es que los Megadatos son la consecuencia inexorable del crecimiento exponencial de la TI en prácticamente todos los campos de los saberes humanos y del empoderamiento cada vez mayor de sus usuarios, fundamentalmente luego de la irrupción de Internet, algo absolutamente insospechado tan solo treinta años atrás.
Mirando ahora hacia adelante, creo que hoy estamos aún más ciegos que entonces.
Tenemos frente a nosotros a algo nuevo que va a dejar obsoleto todo lo conocido hasta la fecha: la Computación Cuántica, a la que dedicaré un artículo próximamente. Y con ella vendrán asociados nuevos órdenes de magnitud para los Macrodatos.
Mientras tanto, lo mejor que puedes hacer es, por lo menos, interiorizarte sobre ellos ya que, entre otras cosas, se están recogiendo datos tuyos sin que te enteres.
Me gustaría conocer tu opinión al respecto.
Te agradezco el tiempo que dedicaste a este artículo.
Comments