Big data E-Book

Walter Sosa Escudero

• Herausgeber: Siglo XXI Editores
• Kategorie: Wissenschaft und neue Technologien
• Serie: Ciencia que ladra… serie Mayor
• Sprache: Spanisch
• Veröffentlichungsjahr: 2019

Seitenzahl: 254

Beschreibung

Cada vez que deslizamos nuestros dedos por una pantalla e ingresamos a una página web para hacer una compra o buscar una dirección, cada vez que hacemos un posteo, damos un like o subimos una foto a las redes sociales, cada vez que usamos la tarjeta de crédito, el GPS, cada vez que… estamos generando datos, ¡cantidades espeluznantes de datos espontáneos! (de hecho, en los últimos dos años la humanidad produjo más datos que en toda su historia previa). ¿Adónde van a parar? ¿Quién los analiza, los procesa, los usa y para qué? ¿Acaso nos espían? ¿Cómo afectan nuestra vida? Ante este tsunami, el gran Walter Sosa Escudero nos inicia en el revolucionario mundo de big data, la explosión originada por la masividad de internet, que provee información instantánea acerca del comportamiento de miles de millones de usuarios. Pero tan importantes como los datos son los algoritmos, las técnicas estadísticas y computacionales que permiten procesarlos; por eso este libro nos presenta la nueva ciencia de datos, una disciplina que involucra la estadística, la matemática, la computación, el diseño y todas las áreas de la vida cotidiana que dependen de los datos: desde la política y la sociología hasta la medicina o la física, desde la empresa hasta el Estado. Además de presentar interesantes casos y métodos, y ante el optimismo a ultranza de algunos gurúes de big data, nuestro autor también se pregunta si esta catarata de información será capaz de cambiar radicalmente nuestra forma de ver y vivir en el mundo. En un tono coloquial pero con máximo rigor científico, este libro ofrece un paseo guiado por el aguacero de datos y algoritmos. No presupone ninguna formación técnica, tan solo la curiosidad de saber qué promete esta batalla, que unos ven como el comienzo de una nueva era y otros, como el mal que viene a destruir nuestra vida cotidiana.

Leseprobe

Índice

Cubierta

Índice

Portada

Copyright

Este libro (y esta colección)

Dedicatoria

Agradecimientos

Introducción acuífera

1. Perdidos en el océano de datos. Big data, aprendizaje automático, ciencia de datos, estadística y otras yerbas

El Elvis Presley de la ciencia de datos (vida, muerte, resurrección y nueva muerte de Google Flu Trends)

¿De qué hablamos cuando hablamos de big data?

Los amplificadores de big data van hasta 11

La máquina de aprender

Ireneo Funes va a Harvard

Da capo

2. Livin’ la vida data. Historias de datos y algoritmos en la sociedad

¡Que vuelvan los (iPhones) lentos!

Datactivismo, orden y progreso

Un oasis de agua dulce en medio del mar de datos

Big data y la medición de la pobreza en Ruanda

Da capo

3. Una nueva ferretería para el aluvión de datos. Herramientas, técnicas y algoritmos

Ordenando el “segundo cajón de la cocina” (análisis de clústers)

Los Rolling Stones del análisis de datos (regresión)

Nadie zafó del hundimiento del Titanic (árboles decisorios)

Da capo

4. Gran Hermano, gran data. Datos y algoritmos hasta en la sopa

El desafío Netflix del millón de dólares

Letra de médico (OCR)

Revoleando piedrazos con la mano invisible

Nga këto plazhe të bukura

Da capo

5. Cajas negras para magia blanca. Más herramientas para el aprendizaje automático

Pescar en una pecera (complejidad y regularización)

El test de Chuck Norris (validación cruzada)

La leyenda de Ícaro (la maldición de la dimensionalidad)

Aprendizaje profundo (redes neuronales)

Da capo

6. No todo lo que brilla es oro. La letra chica de los datos y los algoritmos

Señor, su hija está un poquito embarazada: datos y privacidad

Porno impuestos en Noruega: datos y transparencia

Millones de moscas no pueden estar equivocadas: big data y poca información

El “efecto Styx”: datos y sesgos de uso

La datamanía cada tanto encuentra hombres embarazados: big data y la falacia de la correlación

Revoleando bitcoins para dirimir cuestiones sociales: datos, algoritmos y comunicabilidad

Da capo

7. Puedo ver crecer el pasto. El futuro del futuro de los datos

Big data no es todos los datos

¿Quiero tener un millón de amigos?

Right data

Titanes en el ring de los datos

Da capo

Comentarios finales, ya sobre tierra firme

Referencias comentadas

1. Perdidos en el océano de datos

2. Livin’ la vida data

3. Una nueva ferretería para el aluvión de datos

4. Gran Hermano, gran data

6. No todo lo que brilla es oro

7. Puedo ver crecer el pasto

Bibliografía comentada

Libros generales

Libros técnicos

Walter Sosa Escudero

BIG DATA

Breve manual para conocer la ciencia de datos que ya invadió nuestras vidas

Sosa Escudero, Walter

Big data / Walter Sosa Escudero.- 1ª ed. 1ª reimpr.- Ciudad Autónoma de Buenos Aires: Siglo XXI Editores Argentina, 2019.

Libro digital, EPUB.- (Ciencia que ladra… serie Mayor / dirigida por Golombek, Diego)

Archivo Digital: descarga

ISBN 978-987-629-926-8

1. Estadísticas. 2. Ciencia de la Información. I. Título.

CDD 519.5

© 2019, Siglo Veintiuno Editores Argentina S.A.

<www.sigloxxieditores.com.ar>

Diseño de portada: Pablo Font

Digitalización: Departamento de Producción Editorial de Siglo XXI Editores Argentina

Primera edición en formato digital: mayo de 2019

Hecho el depósito que marca la ley 11.723

ISBN edición digital (ePub): 978-987-629-926-8

Este libro (y esta colección)

Cubriéndonos, cegándonos, matándonos / desde las mesas, desde los bolsillos, / los números, los números, / los números.

Pablo Neruda, “Una mano hizo el número”

Si viene la lluvia, / ellos corren y esconden sus cabezas.

Los Beatles, “Rain”

Hay conceptos que duran un día, y pueden ser buenos. Hay otros que están de moda, y no sabemos qué son. Y hay, claro, los que duran toda la vida, los que son imprescindibles, los que nos cuentan de tal manera que se nos enciende un “ajá” en el cerebro y de pronto la vida cambia. Entre estos, seguro escucharon hablar de “big data”, grandes datos, datos masivos, datos hasta en la sopa. Llueven datos y no siempre tenemos las cucharas para recibirlos y degustarlos.

Vamos a los datos, a los números, entonces. Según un estudio de la consultora Cumulus Media, en un minuto de internet 900.000 personas se conectan a Facebook, 3,5 millones de usuarios realizan búsquedas en Google, se envían 452.000 tuits, se reproducen 4,1 millones de horas de video en YouTube, se miran 70.000 horas de contenido de Netflix y se suben unas 46.200 fotos a Instagram. Sí, en un minuto de internet. Esto, por supuesto, genera una cantidad de información inusitada, inaudita… imposible. Pero a estas tres “I” se les oponen las tres “V” de esta nueva ciencia de los datos: volumen, velocidad y variedad. En otras palabras: a grandes datos, grandes métodos para analizarlos y grandes memorias para guardarlos. La cantidad de información da tortícolis: se dice que un exabyte alcanzaría para registrar todas las palabras pronunciadas por todos los humanos que hayan existido. Más aún: la mayor parte de esta catarata de datos se crea porque sí, por generación espontánea, cada vez que hacemos algo que involucra una transacción, registro o aparatito digital. En el medio, predicciones de epidemias o cambios climáticos, datos sociales y hombres de la bolsa.

Entre tal maraña lo más obvio (quizá hasta lo indicado) es perderse, como Tony y Douglas en el El túnel del tiempo (millennials abstenerse) o Neo dentro de la Matrix. Pero cual mago del orden en nuestras cajoneras, por fortuna aparece el mejor guía de este infierno encantador: el inigualable Walter Sosa Escudero nos lleva de la mano entre números y estadísticas, entre algoritmos y computadoras que aprenden sobre nosotros. Pero este no es solo un libro de datos; como no podía ser de otra manera tratándose de Walter, es además un libro de rock and roll. Por sus páginas viajamos de gobiernos abiertos a Elvis y Bill Haley, de la gran epidemia de gripe A (y sus huellas digitales) a Jimi Hendrix y Eric Clapton. Aunque hay para todos los gustos: también tenemos historias de inteligencia artificial regadas por Air Supply, A-ha o Rubén Blades.

Es que en esta nueva ciencia de datos (de muchos datos) entra todo. El análisis de la personalidad extraído de una minuciosa búsqueda de millones de usuarios en Twitter. Mapas detallados del cerebro basados en los billones de conexiones de las neuronas. Planos del comportamiento criminal en las grandes ciudades (que ayudan a combatir y reducir esos crímenes de manera que, por una vez, la caballería ya no llegue tarde). Manejo de crisis y catástrofes naturales sobre la base de la información que se genera “sola” cuando millones de personas comparten opiniones y anuncios. Y, en el medio, nosotros, hormiguitas en el mundo de los datos tratando de encontrarle algún sentido a esta inundación que amenaza con taparnos los ojos y marearnos el futuro.

Pero no: Walter lo logra, una vez más, y nos rescata justo a tiempo para entender, nada menos, dónde estamos, adónde vamos y, quizá, adónde queremos ir. Llueven datos, sí, pero en estas páginas están las cucharas, los paraguas y las plantas para aprovechar la lluvia.

Esta colección de divulgación científica está escrita por científicos que creen que ya es hora de asomar la cabeza por fuera del laboratorio y contar las maravillas, grandezas y miserias de la profesión. Porque de eso se trata: de contar, de compartir un saber que, si sigue encerrado, puede volverse inútil.

Ciencia que ladra… no muerde, solo da señales de que cabalga.

Diego Golombek

A mi esposa Mercedes, fuente inagotable de energía y generosidad

Agradecimientos

Mi principal agradecimiento es para Sebastián Campanario, periodista, economista y divulgador de la tecnología y la creatividad. Valoro su permanente voto de confianza, y que haya visto en mí la dimensión de divulgador que mantuve latente durante muchos años. En particular, le agradezco el espacio que con frecuencia me brinda en “Alter eco”, su notable columna en La Nación, donde aparecieron publicadas algunas de las historias que dieron origen a este proyecto.

El ámbito de los datos es marcadamente multidisciplinar. Una gratísima sorpresa es haber encontrado un clima amistoso y cooperativo en este ambiente tan diverso. A todos les estoy muy agradecido, sin involucrarlos en ninguno de los desaciertos que este libro pueda tener y son de mi exclusiva responsabilidad.

Ernesto Mislej y Manuel Aristarán me proveyeron información muy provechosa y una eterna palabra de aliento. María Edo, Leonardo Gasparini, Marcela Svarc, Mercedes Iacoviello, Mariana Marchionni, Javier Alejo, Ignacio Sarmiento, Luján Stasevicius, Ricardo Bebczuk, Andrés Ham y Laura Ación leyeron todo o parte del texto original y me hicieron llegar útiles comentarios. Noelia Romero aportó su pericia y entusiasmo en varias etapas de la elaboración de este trabajo. Marina Navarro leyó el manuscrito y me hizo valiosas sugerencias de estilo. María Sagardoy me asistió en cuestiones de diseño gráfico. Diego Pando, Eugenia Mitchelstein, Federico Bayle, Fernando Zerboni y Edmundo Szterenlicht aportaron material relevante para varias de las historias que incorporé en los capítulos. Mariel Romani y Moira Guppy, de la biblioteca de la Universidad de San Andrés (UdeSA), encontraron todos mis exóticos pedidos bibliográficos con asombrosa eficiencia. UdeSA apoyó enfáticamente mis actividades de divulgación, en particular el proceso de elaboración de este libro. Agradezco también a todos mis alumnos del curso de Big Data y Aprendizaje Automático de UdeSA, que ha sido la contraparte técnica y docente de esta obra.

En Siglo XXI Editores, Marisa García Fernández hizo una gran tarea de edición que contribuyó a mejorar sustancialmente este libro. En especial, agradezco a Carlos Díaz y a Diego Golombek por confiar en mí y por cuidar celosamente la colección Ciencia que Ladra.

Buenos Aires, noviembre de 2018

Introducción acuífera

−Buen día, pase y tome asiento. ¿Cómo le va? Cuénteme, ¿qué lo trae por aquí?

−¡Doctor, veo datos por todas partes! Que si doy “me gusta” a una foto en Facebook, que si busco una dirección en Google, que no sé cuántos kilómetros corrió un jugador de fútbol en el último partido, que si volví en tren en vez de volver en auto, ¡datos, datos, datos y más datos!

−Tranquilícese, esta cuestión de la ciencia de datos, los algoritmos, las computadoras y las estadísticas se nos ha ido de las manos a todos.

−Ah, ¿mal de muchos, consuelo de tontos? ¿No le parece otro argumento estadístico? ¡¡Ayúdeme!!

Llueven datos. De redes sociales, tarjetas de crédito, teléfonos celulares, páginas web y sus buscadores, dispositivos de GPS, relojes inteligentes, rastreadores satelitales, análisis clínicos, cámaras de fotos y cualquier otro objeto interconectado electrónicamente. Y ante tanta lluvia, las reacciones son dispares. Hay quienes buscan guarecerse; algunos quieren recoger el agua con una cuchara, mientras otros piensan en enormes tanques; algunos, en extraños dispositivos para transformarla en otra cosa y otros simplemente no hacen nada, fieles a eso de que “siempre que llovió, paró”. Desde la perspectiva de los datos, las cucharas, los pilotos, los paraguas, los contenedores y los procesadores químicos de lluvia son las técnicas utilizadas para analizarlos y convertir este diluvio en conocimiento relevante, y juegan un rol tan importante o más que la información.

Este libro ofrece un paseo guiado por el aguacero de datos y algoritmos. No presupone ninguna formación técnica, tan solo la curiosidad por saber qué promete esta batalla de información, fórmulas y computadoras, que unos ven como el comienzo de una nueva era y otros como una moda pasajera. Al respecto, adoptaremos una postura optimista y a la vez sincera: destacaremos tanto el enorme potencial de esta tormenta de datos como sus dificultades. Mojaremos nuestros pies en el mar de big data, surfearemos sus olas con innovadores algoritmos y navegaremos a bordo del poderoso buque de la estadística. Además de presentar un muestrario de casos, los invitamos a pensar acerca de si esta catarata de información será capaz de cambiar radicalmente nuestra forma de ver el mundo y cómo convivirá con los métodos tradicionales de la ciencia.

Terminaremos el recorrido empapados de historias de exitosos navegantes de datos y también de naufragios épicos. Regresaremos chorreando aprendizaje automático, petas, yottas, clasificación, regularización, Python, R, validación cruzada, árboles, redes neuronales, clústers y otros esoterismos de la jerga de los valientes marineros de la información. Escucharemos las historias de los jóvenes científicos de datos trepados a sus veloces motos de agua, y nos deleitaremos con las anécdotas de los capitanes de la estadística, aferrados al timón de sus navíos.

El plan de acción es el siguiente. El capítulo 1 arranca con una breve “ducha” en la que intentamos aclarar qué es esto de big data y los algoritmos, y qué rol juega la estadística en esta historia. El crucero sigue, en el capítulo 2, con algunas experiencias de análisis de datos en la sociedad moderna. El capítulo 3 es una primera “clase de natación” sobre algoritmos y métodos. Habiendo aprendido algunas maniobras básicas, el capítulo 4 invita a recorrer nuevas historias de datos con más detalle, como si fuésemos a nadar con los delfines que en el capítulo 2 apenas veíamos desde la cubierta. El capítulo 5 indaga en las técnicas más recientes de aprendizaje. Luego, para ir secándonos de tanto remojón, tomaremos distancia y discutiremos las limitaciones del análisis de datos en la sociedad moderna, en el capítulo 6. El capítulo 7 reflexiona sobre el futuro de los datos y los algoritmos. Cada capítulo comienza con un breve diálogo que tal vez remita al lector a Karate Kid, Kung Fu o a las sesiones semanales con su analista, y concluye con una breve sección titulada “Da capo” (una instrucción musical que indica al interprete volver al principio de la partitura) que ofrece alguna reflexión a modo de resumen.

Una aclaración: evité tercamente las notas al pie y las citas bibliográficas que usualmente pueblan los libros de texto y los papers científicos para no interrumpir el flujo de la lectura. El apéndice contiene todas las referencias y fuentes utilizadas en este libro.

“¿Quién va a parar la lluvia?” cantaba John Fogerty en los sesenta. La lluvia de big data, parece que nadie, por eso los invito a unirse a esta humilde arca de Noé.

1. Perdidos en el océano de datos

Big data, aprendizaje automático, ciencia de datos, estadística y otras yerbas

−Doctor, escúcheme, esta gente está muy mal. Me dicen que tengo que hacer un curso de Hadoop, me hablan de modelos obesos, de riesgo de Bayes, de matrices de confusión y de la curva ROC. No, doctor, rock, no, ¡ROC! Bueh, no sé, en algún momento nombraron a Reproducing Kernel Hilbert Space, y yo creí que era grupo de rock psicodélico de los setenta, como Pink Floyd… Doctor, no entiendo nada. ¡Socorrooooooo!

¿Así que no entendieron nada? No se preocupen, no están solos. Los datos son tierra de todos y de nadie. Y como en la Buenos Aires de comienzos del siglo XX, en el ambiente del análisis de datos se escucha hablar ese cocoliche propio de quien intenta decir en castellano lo que los años le enseñaron en otro idioma.

Este capítulo es nuestra primera visita a la políglota metrópolis de los datos. Fracasaremos en nuestro primer intento de definir qué es big data, pero saldremos airosos diciendo que, hasta ahora, todos los intentos han sido fallidos. Visitaremos los bodegones nobles de la estadística y nos deleitaremos en los nuevos restobar del aprendizaje automático. Nos detendremos a apreciar el monumental edificio de datos que construye big data y seremos testigos de algunas disputas entre los viejos cocineros de la estadística y los nuevos chefs de la ciencia de datos. Y al finalizar el recorrido tal vez ya no les resulten tan raros algunos de los términos esotéricos del comienzo.

El Elvis Presley de la ciencia de datos (vida, muerte, resurrección y nueva muerte de Google Flu Trends)

El 4 de julio de 2009 fue un sábado de sol radiante en Buenos Aires. Cinco días antes las autoridades habían decidido cerrar todas las escuelas por temor a la propagación de la pandemia de gripe A, medida que afectó a casi 11 millones de estudiantes, incluyendo a mi hijo, que en ese entonces tenía 6 años. Y tras cuatro días de encierro, concluimos con mi esposa que salir a dar una vuelta en auto no podía ser mucho más peligroso que la PlayStation, que tenía atrapado a mi hijo en su confinamiento. La ciudad nos devolvió un panorama desolador: las calles vacías, los negocios tristes, los carteles oportunistas de venta de alcohol en gel, y alguno que otro transeúnte con barbijo, como esos que hasta la fecha solo habíamos visto por televisión, en el aeropuerto de algún lejano país, como Japón.

Epidemias como la gripe A son un serio desafío para la salud pública, y es crucial monitorear con precisión y rapidez su evolución, tanto en el espacio (por dónde se reproduce) como en el tiempo (a qué velocidad). Se trata de una tarea compleja, aun para naciones desarrolladas como los Estados Unidos. En 2009, la forma de llevar a cabo el monitoreo en ese país era a través de un sistema de reportes estadísticos coordinados por el Centro para el Control y la Prevención de las Enfermedades (CDC). Las unidades hospitalarias (clínicas, salas, hospitales, etc.) recababan información de las consultas por síntomas de gripe A, sus tratamientos y algunas características demográficas de los pacientes (género, edad, etc.). Estos reportes eran agregados a nivel de ciudad, condado, estado y región, y finalmente condensados en un informe a nivel nacional. Todo este proceso tomaba unos diez días: demasiado tiempo para una epidemia peligrosa como la gripe A.

En la antesala de la pandemia, la empresa Google propuso un ingenioso mecanismo –Google Flu Trends– que prometía bajar el rezago informativo de diez días a tan solo uno: un gol de media cancha de big data. El punto de partida del método fue una base de datos pequeña, de la cantidad semanal de visitas por gripe A a las unidades hospitalarias de las nueve regiones en las que el CDC divide a los Estados Unidos, entre 2003 y 2007, y medidas como porcentaje del total de visitas. Nueve regiones por cinco años, por 52 semanas da 2340 datos. Por ejemplo, uno de los datos diría que en la región 3, en la semana 12 de 2005, 1,2% de las personas que visitaron hospitales o clínicas lo hicieron con síntomas de gripe A. Estos datos miden cómo se distribuye la enfermedad por región y en el tiempo, o sea, es “la” variable que se precisa para monitorear la pandemia y que, según dijimos, tomaba unos diez días en elaborarse.

Estas localizaciones de datos no nos resultan tan extrañas. Ahora, por ejemplo, mientras espero aburrido que mi hijo salga de un cumpleaños, descubro en el celular una simpática opción en Google Maps que se llama “tus rutas”. Con pasmoso detalle me muestra todos los lugares en los que estuve durante el día: mi ruta al trabajo, la bicicleteada junto al río, las tres cuadras que me desvié para comprar leche en el supermercado, etc., etc. Además de nuestra localización geográfica, Google ve y atesora las canciones, libros, colegas, restaurantes, zapateros, vendedores de heladeras, direcciones, teléfonos de delivery y todo, absolutamente todo, lo que hemos buscado. Y también cuando una mamá atemorizada escribió “mi hijo tiene gripe A” en el buscador, y cuando otra persona puso “tengo fiebre, tos y estoy fatigado”, y cuando otro tipeó “remedio influenza”.

Aquí interviene el análisis de datos. Los expertos de Google cruzaron los 2340 datos de porcentaje de visitas a hospitales con la proporción de búsquedas relacionadas con la gripe A en cada período y región. Fácil no es: hay que empezar por definir qué significa “búsquedas relacionadas con la gripe A”, lo que requiere un delicado trabajo de “curación”, es decir, decidir qué términos y frases se relacionan estrictamente con esta enfermedad y cuáles no. Concretamente, poner en Google “tengo frío” puede ser tan compatible con síntomas de gripe A como con la mera llegada del invierno. Luego de concluida esta delicada tarea, Google disponía de 2340 pares de datos: la intensidad de visitas a hospitales por gripe A –provenientes de la información oficial– y las búsquedas en Google de términos relacionados con la enfermedad –proporcionadas por la misma empresa–, para cada región, año y semana. Con estos datos, los científicos de Google construyeron un modelo para predecir la intensidad de gripe A sobre la base de la intensidad de búsquedas.

Típicamente, para aprender a manejar alguna técnica, en una clase de estadística los alumnos estiman algún modelo simple usando datos reales; “modelo” entendido no como un ideal, sino como una representación matemática o computacional de la realidad. Los científicos de Google estimaron 450 millones de modelos alternativos para elegir el que mejor predice la gripe A sobre la base de la intensidad de búsqueda. Un punto importante es que todo este proceso de estimación (que más adelante definiremos como “de aprendizaje”) se basó solo en 2340 pares de datos, de intensidad de consultas y búsquedas semanales y a nivel de región, es decir, sobre la base de la desagregación más fina posible; a nivel de hospital en una región, para una semana en particular. Pero una vez construido el modelo, podría usarse para predecir la intensidad de la epidemia a partir de cualquier información disponible sobre intensidad de búsqueda.

Y en esta parte de la historia Google saca a relucir su monstruosa base de datos. A diferencia de la agencia de control estadounidense, que solo ve datos semanales y por región, Google puede observar la intensidad de búsquedas en cualquier parte, en tiempo real y con un nivel de precisión tan fino como sea necesario. Es decir, Google puede medir, por ejemplo, la intensidad de búsquedas sobre gripe A en Monticello, un minúsculo pueblito del estado de Illinois y, a partir del modelo estimado previamente, predecir la intensidad de la enfermedad en ese lugar. Y también puede hacerlo de forma diaria, semana o mensual, tanto para Monticello como para la ciudad de Nueva York, el estado de California o cualquiera de las nueve regiones en las que el CDC divide a los Estados Unidos.

En definitiva, a Google le toma solo un día hacer lo que al sistema público de una de las naciones más ricas del planeta le toma diez, y con una capacidad predictiva mucho más microscópica. Es David dándole una contundente paliza a Goliat.

De ser big data rock and roll, Google Flu Trends sería Elvis: el abanderado insignia de la revolución de datos y algoritmos, entendidos como procedimientos y reglas sistemáticas para hallar la solución a un problema. Éxito rotundo, resultados publicados en la prestigiosísima revista Nature, “aplauso, medalla y beso”, como se decía en un vetusto programa de televisión argentino. Pero los aficionados al rock sabemos que luego del éxito masivo a Elvis le sobrevino el ostracismo y una inoportuna convocatoria para hacer el servicio militar en 1958. Derrotero similar sufrió Google Flu Trends, cuyos éxitos predictivos se transformaron rápidamente en preocupantes desaciertos. En particular, para varios períodos el algoritmo predice intensidad de gripe A muy por arriba de la realidad. Varios analistas dicen que este error se debe a que Google alteró sus motores de búsqueda para retener a los que entran al buscador con consultas relacionadas con la gripe A, como si escribiesen “síntomas gripe A” y Google les sugiriese buscar términos como “tos” o “jarabe”, reteniéndolos en el buscador para ofrecerles publicidad. Es decir, los cambios en los procesos de búsqueda de Google indujeron espuriamente a más búsquedas sobre la gripe A, lo que implicó que se sobredimensionara su intensidad y, por lo tanto, la epidemia. Sin embargo, como Elvis a fines de los sesenta y su exitosísimo comeback ya en épocas de Los Beatles, Google Flu Trends fue resucitado por la comunidad científica, que logró reparar algunos de sus errores y restablecer parte de su credibilidad. No obstante, en agosto de 2015 Google dio de baja el acceso público al servicio, si bien sigue recolectando información que es enviada para su análisis a la Universidad de Columbia y otras instituciones científicas.

En su momento, Google Flu Trends fue el “chico de tapa” de big data: los algoritmos contra la burocracia, los datos versus la teoría. Y todavía no sabemos si hemos visto su final definitivo, como con Elvis, quien más allá de su regreso glorioso terminó sus días prematuramente cuando ya era una cruel caricatura de sí mismo, o si surfeará exitosamente el paso del tiempo cual Keith Richards, a quien en los setenta, por sus excesos, nadie le daba más de un par de años de vida.

Hace unos treinta años que me dedico profesionalmente a la estadística. Y cada cinco años emerge una tecnología destinada a barrer con todo lo existente, para luego desvanecerse con la misma intensidad. Entonces, hago mías las palabras de Charly García: “mientras miro las nuevas olas, yo ya soy parte del mar”, tanto en lo que se refiere a la actitud suspicaz de quien vio ir y venir las modas, como a la de quien –como el propio García– no dudó en reemplazar su larga melena hippie por uno de esos “raros peinados nuevos” y abrazar la nueva tecnología musical de los ochenta para mantener intacta su creatividad de los setenta.

En tecnología y en ciencia, quien se cierra a las innovaciones porque cree que van a pasar de moda recuerda al adolescente que no se baña porque “total me voy a volver a ensuciar”, y a la larga termina viviendo en escasas condiciones de higiene. El derrotero de Google Flu Trends es una linda alegoría de lo que sucede actualmente. Los talibanes de los datos creen que big data reemplazará a todo tipo de conocimiento y solo ven su parte exitosa. Los escépticos, por el contrario, creen que es una moda pasajera y únicamente relatan su costado negativo. A nosotros nos toca contar toda la historia, de éxitos y fracasos, de aciertos y aprendizajes, de revoluciones y fiascos, de muertes y resurrecciones. E inferir la que todavía no hemos visto.

¿De qué hablamos cuando hablamos de big data?

Si un habitante del futuro pudiese viajar en el tiempo a septiembre de 2016, le llamaría la atención ver a un montón de personas en la calle haciendo movimientos extraños con sus teléfonos celulares: era el inicio de la histeria de la caza de Pokemones. Se trataba de ubicar, perseguir y atrapar a esas criaturas virtuales –los Pokemones– de esotéricos nombres como Rowlet, Dartix o Decidueye. Para la misma época, la revolución de big data vino acompañada de términos como “Seahorse” (un entorno visual), “Hadoop” (un sistema de código abierto) o “Summingbird” (una biblioteca virtual de programación). No tardó mucho en aparecer un hilarante sitio web llamado “¿Es Pokemon o big data?”, que proponía un jueguito virtual que consistía en adivinar si un término pertenecía a la jerga de big data o de Pokemon.

Uno de los enormes problemas de cualquier tecnología de moda es que viene acompañada de jerga: un catálogo de extraños términos, muchos en inglés e intraducibles, que sirve tanto a los efectos de designar objetos nuevos e imposibles de nombrar con los viejos términos, como de crear una innecesaria barrera a la entrada, al solo efecto de impresionar a los novatos en las reuniones de amigos como si realmente fuese necesaria una nueva palabra para referirse al agua tibia. La propia expresión “big data” es jerga. Cualquiera que haya permanecido durante quince minutos en una clase de inglés se da cuenta de que “big” significa “grande” y que “data” son “datos”. No intentaremos ninguna traducción del término, porque no hay ninguna comúnmente aceptada (he visto “gran dato”, que parece provenir de las frases del Tarzán de Ron Ely en Sábados de superacción), y porque tampoco está claro que “big data” tenga un significado preciso.

Este libro debería comenzar aclarando entonces qué es big data, en el mismo sentido y con la misma dificultad con que un libro de jazz debería decir qué es el swing. Pregúntenle a un avezado jazzero qué es el swing y es probable que reciban como respuesta la que dio Louis Armstrong cuando alguien lo interrogó sobre qué era el jazz: “Desde que me lo preguntas, me di cuenta de que nunca lo entenderás”. Lo más obvio es decir que big data son “datos masivos”. Pero en realidad se refiere al volumen y tipo de datos provenientes de la interacción con dispositivos interconectados, como teléfonos celulares, tarjetas de crédito, cajeros automáticos, relojes inteligentes, computadoras personales, dispositivos de GPS y cualquier objeto capaz de producir información y enviarla electrónicamente a otra parte.

Piensen en lo que hicieron en las últimas dos horas. Si caminaron con su celular, muy posiblemente hayan generado datos de su ubicación geográfica, y ni hablar si activaron el GPS para viajar en auto. Lo mismo si salieron a correr con su reloj inteligente que les cuenta el ritmo cardíaco y los pasos. O si usaron la tarjeta de crédito, viajaron en subte, se entretuvieron con una serie en Netflix, le pusieron “me gusta” a una foto de su tía en Facebook, si mandaron o recibieron un e-mail o si buscaron un par de zapatos en Amazon. Todo generó datos.

Más adelante hablaremos acerca de que la cantidad de datos que se produce a través de estos medios desafía cualquier concepto de inmensidad que hayamos considerado nunca. Pero el volumen (big) es solo una parte de la historia. A diferencia de una encuesta sistemática, como una encuesta política o esas que todavía funcionan por teléfono de línea, los datos de big data son anárquicos y espontáneos. Toda vez que abrieron su celular para que una app de GPS los guíe hacia algún lugar, han generado datos, no con el propósito de contribuir a ninguna encuesta ni estudio científico, sino con el de evitar el tráfico o perderse. Es decir, los datos no fueron generados por el propósito de crearlos, como en las respuestas a una encuesta tradicional, sino como resultado de otra acción: ir a una reunión, pagar con una tarjeta de crédito, entrar a un sitio web, etc.

Entonces, los datos de big data no son más de los mismos viejos datos (de encuestas, registros administrativos, etc.), sino un animal completamente distinto. En 2001, Doug Laney, analista de la consultora Gartner, escribió un influyente artículo en el que resumió esta discusión diciendo que la revolución de big data tenía que ver con las ahora archifamosas “tres V de big data”: volumen, velocidad y variedad. La primera de las V hace referencia a “big” –mucho–. La segunda se refiere a que los datos de big data se generan a una velocidad que los hace disponibles a una tasa prácticamente virtual, en tiempo real. Y la tercera –variedad– remite a la naturaleza espontánea, anárquica y amorfa del objeto que ahora llamamos “dato”: un tuit, una posición geográfica de un GPS o una foto, todo constituye un dato, muy lejos de los datos tradicionales, esos que uno imagina prolijamente ordenados en una planilla de cálculo. El truco comunicacional de las tres V es efectivo para decir que big data es bastante más que muchos datos. Pronto fue necesario agregar una cuarta V: veracidad, término que se refiere a que la naturaleza ruidosa y espontánea de los datos de big data contrasta con la de los datos burocráticos o de encuestas tradicionales, usualmente sometidos a puntillosos ejercicios de validación.