Como concepto básico, dichos axiomas, pueden resultar suficientes. El problema desde mi punto de vista es que tampoco simulan con mucha precisión el funcionamiento de las neuronas... Para empezar, desde el punto de vista de la neurología:

1. Todas las neuronas naturales disparan cuando el nivel de excitación supera el potencial mínimo de la membrana, y ese es una valor estable y compartido por todas ellas.
2. Todas las neuronas naturales desactivan la electrificación de su membrana si reciben una excitación demasiado potente. Eso las protege de quedar fritas. Cuando se supera un determinado nivel de activación, la membrana de la neurona deja de conducir la electricidad y se convierte en una membrana celular normal, durante unos milisegundos.
3. Las neuronas naturales no disparan por turnos en momentos discretos: están funcionando de manera constante y disparan cuando reciben el estímulo suficiente. Una vez han disparado, la membrana queda también sin electrificar en lo que se conoce como periodo refractario.

Vale, es una simulación para conseguir, conceptualmente, un funcionamiento parecido a lo que sería una neurona natural. Sin embargo, esas críticas quedarían en nada, si al menos el modelo fuera lo suficientemente preciso como para conseguir que esa simulación tenga un funcionamiento correcto y completo. Sin embargo, desde el punto de vista del proceso de las redes neuronales nos encontramos con otros problemas.

En las redes neuronales podemos encontrar que las neuronas pueden establecer conexiones al estilo de las puertas lógicas.

Podemos repasar el gráfico anterior con sus tablas lógicas, suponiendo que establecemos el nivel mínimo de activación a 25 (para todas las neuronas), vemos que no hay problema simular las puertas lógicas and y or.

Sin embargo, para la puerta lógica de «o exclusivo» es decir, debe estar activa una o la otra, pero no las dos al tiempo, necesitamos el concurso de una neurona auxiliar que quedaría oculta:

Se ha marcado en el gráfico de manera distinta la sinapsis de la neurona oculta, en azul con el rombo relleno para remarcar que cuando se activa, su peso de sinapsis es negativo. Es decir, cuando las dos neuronas de entrada se activan, además de activar la salida, activan la oculta que al mismo tiempo inhibe la salida.

Dicho de otro modo, aunque en la vida real, las neuronas pueden simular un circuito xor del mismo modo que lo hace con los otros. Es decir, no se necesita una tercera neurona en el circuito para que la puerta lógica funcione.

Si hubieran añadido un axioma más para la activación, como en la vida real, y hubieran tenido en cuenta un límite máximo, se podría simular un circuito xor con la misma cantidad de neuronas. Por ejemplo, suponiendo que el límite inferior es 25 y el superior es 100, el circuito podría ser:

Más allá de McCulloch y Pitts aparecieron otros modelos intentando mejorar el original. En 1943 la propuesta de estos autores se basaban en lo que se conoce como la lógica del umbral, pero, como hemos visto, ésta se quedaba corta. Además no existía forma alguna de enseñar o entrenar a nuestra red: había que programarle los pesos a puro huevo, como he hecho yo en los ejemplos anteriores. Nada complicado cuanto tienes tres neuronas, pero por cada neurona que añadas la complejidad crece exponencialmente.

Así aparecieron pronto otras soluciones, no sobre las neuronas artificiales en sí, sino sobre cómo reunirlas en redes y capas para que hagan su trabajo. Pero principalmente, sobre el entrenamiento de dichas redes.

Por aquellos años lo petaba un psicólogo (Donald Hebb⁵) cuyas teorías, que él llamó biopsicológicas, basaban el comportamiento de aprendizaje humano en la plasticidad de las neuronas. En la capacidad que tienen para hacer nuevas sinapsis o en dejar de hacerlas. Esa plasticidad hace, según el autor, que las neuronas establezcan redes de potenciación a largo plazo que está en la base de lo que para las redes neuronales artificiales se conoce como aprendizaje no supervisado... pero me estoy adelantando un poco, voy a seguir un rato más con las redes neuronales, luego ya veremos un poco el tema del aprendizaje.

Históricamente podemos distinguir dos tipos de redes:

1. Redes de propagación hacia adelante o redes neuronales prealimentadas que consiste en que las neuronas se agrupan en capas y se comunican hacia adelante en las capas, desde la entrada a la salida conectándose siempre de una capa a la siguiente sin conectar su axón con ninguna anterior. El ejemplo, más sencillo de este tipo de redes es el perceptrón de dos capas, una capa de entrada y otra de salida.
2. Redes de estado estocástico, como las redes de Hopfield o la máquina de Boltzmann. Estas redes contienen un conjunto de neuronas completamente interconectadas y que introducen el concepto de estados de mínima energía.

Básicamente, las primeras procesan y las segundas almacenan estados⁶. Esas son además los tipos de redes neuronales tradicionales e históricas. Sin embargo, en la actualidad hay más:

1. Las redes neuronales de impulsos son redes neuronales más modernas que intentan procesar la información de una manera más similar a como lo hacen las redes neuronales biológicas.

Como se puede ver, hay varios tipos de redes y a veces es complicado catalogar una determinada en un grupo o en otro, sin contar los casos de utilizar dos tipos de redes conectados entre ellas para que una le sirva a otra como entrada o como almacenamiento de información. Hay otro tipo de redes que se llaman «recursivas» que almacenan respuestas intermedias que luego se emplean también en la entrada, que me voy a saltar para no marear más la perdiz.

El problema de las redes neuronales en la historia, es la manera en la que aprenden. De hecho, históricamente se abandonaron en favor de otros tipos de Inteligencia Artificial por la dificultad de adiestrar o entrenar a la red para que hiciera lo que se esperaba de ella.

Cuando hace unos años hicimos un intento de crear una red neuronal en Python, el amigo dddddd y yo nos encontramos con esa misma dificultad. Habíamos cambiado el modo en que funcionaba la red neuronal y nos tropezamos con que los métodos clásicos no se ajustaban a nuestra red (o nuestra red a esos métodos) y al final el proyecto quedó abandonado por falta de algoritmo de entrenamiento efectivo.

Así, los modelos llamados entonces sistemas expertos tomaron la delantera, adquirieron más inversión y más presencia en las universidades y publicaciones científicas. LISP apareció como el paradigma de lenguaje de programación para IA, pues el mismo código, a base de listas, es en sí una base de datos y esa base de datos de conocimiento, al final, es código LISP. Pero como esas cosas son más carne de cañón para otros artículos, y este va de redes neuronales, lo dejaremos para más adelante como otro posible tema para el blog. Ya me perdonaréis las disculpas.

Ocurrió que se inventó el método de propagación hacia atrás y el conexionismo reapareció de nuevo en el campo de la IA arrollando todo de nuevo a su paso. El método mencionado consiste en comparar el resultado de nuestra red, ─típicamente un perceptrón multicapa─, con el resultado esperado. Si el valor no coincide y/o se distancia de lo esperado, se modifican los pesos de las sinapsis siguiendo las capas hacia atrás y volviendo a probar.

Contado así es fácil de entender cómo funciona. Otro tema es implementarlo, que es bastante más complejo.

Otra forma en realidad no es un método de entrenamiento, es la utilización de algoritmos evolutivos, aprovechando que al final la selección natural no deja de ser un buen mecanismo para producir determinados resultados si conoces cuáles son los que buscas. También se les conocen como métodos aleatorios, pues modifican los pesos al azar y se van seleccionado aquellas modificaciones que se aproximan más al resultado esperado, para repetir el proceso en sucesivas generaciones, hasta alcanzar la salida deseada.