Teoría del caos y redes neuronales

Uno de los grandes logros científicos del siglo pasado es la distinción entre fenómenos aleatorios y fenómenos caóticos. Los científicos de datos están muy familiarizados con los fenómenos aleatorios pues corresponden al ruido presente inevitablemente en las bases de datos. Por el otro lado, las ideas provenientes de la teoría del caos también son utilizadas en matemáticas financieras a partir del trabajo de B. Mandelbrot.

En esta edición hablaremos sobre un modelo comúnmente utilizado en inteligencia artificial que se conoce como redes neuronales recurrentes las cuales son un ejemplo de un sistema dinámico y la pregunta que trataremos es si esos sistemas dinámicos son o no caóticos. El primer matemático en estudiar los sistemas dinámicos fue el genial Henri Poincaré.

Los sistemas dinámicos

Los sistemas dinámicos desde el punto de vista matemático son tripletas a las que llamaremos D de la siguiente forma:

1. En este caso a S lo llamaremos nuestro espacio de estados, uno de los primeros ejemplos de sistemas dinámicos que se estudiaron desde el punto de vista de la teoría del caos fue el satélite de Saturno, Hiperión, para este ejemplo el espacio de estados es literalmente el Espacio Exterior.
2. El segundo elemento de un sistema dinámico es el tiempo T, por lo menos en este texto no vale la pena decir mucho sobre quién es el tiempo pues lo pensaremos como una familia de observaciones ordenadas. Para el caso de Hiperión el tiempo también es obvio.
3. La función R será nuestra recurrencia, ella dependerá de un valor s que vive en nuestro espacio S y un parámetro t que indica el momento del tiempo en el que deseo conocer la posición de s la cual denotaremos por:

Cuando s es una ubicación en el espacio por el que pasó Hiperión y t son 316 días entonces la función de recurrencia nos arrojará la posición de Hiperión después de 316 días de pasar por s.

Existen otros muchos otros sistemas dinámicos, el ejemplo de Hiperión fue estudiado durante los años 70's por primera vez, desde el punto de vista de la ciencia de datos otros sistemas dinámicos muy interesantes son por ejemplo los generados por problemas de Supply Chain o los Mercados Financieros.

La teoría del caos

Notemos que en la definición de sistema dinámico que hemos dado todo es determinista, es decir que si suponemos que tenemos un poder computacional suficientemente grande deberíamos de poder calcular el valor de la recurrencia en cualquier momento.

Los sistemas dinámicos caóticos se caracterizan porque a pesar de ser deterministas los valores de su función de recurrencia son impredecibles, la palabra impredecible desde un punto de vista matemático significa dos propiedades:

1. Inestabilidad: esto normalmente se conoce como el efecto mariposa, es decir que si cambiamos ligeramente las condiciones iniciales s por s', entonces para valores pequeños t, la función recurrente será muy distinta.
2. Periodicidad: esta propiedad también se conoce como recurrencia sin embargo en este caso no utilizaremos ese nombre para no confundir al lector con la función R, bien entendida la periodicidad nos dice que si pasamos por un punto, podemos garantizar nuestra vuelta.

A continuación compartimos con ustedes una infografía sobre la Teoría del Caos.

Las redes neuronales recurrentes

Las redes neuronales recurrentes fueron introducidas con el objetivo de introducir órdenes lineales para los inputs, estos órdenes lineales están presentes en las bases de datos de texto o en las series de tiempo, ambas ampliamente utilizadas en problemas de ciencia de datos o financieros.

Estas redes con las responsables por ejemplo de la traducción de texto, a continuación les compartimos un ejemplo de la estructura de una red neuronal recurrente que traducirá el poema de Los amorosos de Jaime Sabines.

Notemos que del lado izquierdo de la igualdad se encuentra una representación de la red recurrente en la que llamamos a nuestro espacio de estados S = A. El tiempo en este ejemplo es la ubicación de cada una de las líneas en el poema.

Recientemente se han estudiado a las redes neuronales desde el punto de vista de la Teoría del Caos, recomendamos ampliamente a los lectores leer el artículo de HOW CHAOTIC ARE RECURRENT NEURAL NETWORKS? en el que se estudia empíricamente el posible caos de las redes recurrentes entrenadas para NLP.

¿Dónde aprender más?

En el Colegio de Matemáticas Bourbaki ofrecemos cursos para capacitar a los estudiantes que deseen comenzar sus estudios o profundizar en la comprensión de los modelos matemáticos, por ejemplo las redes recurrentes. Nuestros cursos incluyen casos de uso implementados en Python o en R semanales con bases de datos reales, así como explicaciones matemáticas dirigidas a un gran público y a los científicos de datos profesionales.

• ML & AI FOR THE WORKING ANALYST : este es uno de nuestros cursos estrella, en él utilizaremos redes neuronales recurrentes para generar resúmenes de textos, las siguientes ediciones de este curso serán el 14 de marzo (España) y el 25 de abril (Latinoamérica) de 2022.

• APLICACIONES FINANCIERAS DE ML & AI: en este curso estudiamos cómo machine learning y la inteligencia artificial ha impactado fuertemente en las finanzas, en particular enseñaremos a los estudiantes a utilizar redes neuronales recurrentes para predecir el precio de Bitcoin utilizando comentarios de las redes sociales, la siguiente edición de este

Oferta académica

• Track de Ciencia de Datos. (49 semanas).
• Machine Learning & AI for the Working Analyst ( 12 semanas).
• Matemáticas para Ciencia de Datos ( 24 semanas).
• Especialización en Deep Learning. (12 semanas).
• Track de Finanzas Cuantitativas (49 semanas)
• Aplicaciones Financieras De Machine Learning E IA ( 12 semanas).
• Las matemáticas de los mercados financieros (24 semanas).
• Deep Learning for Finance (12 semanas).

‍

‍