"Talking Nets" o el nacimiento de las redes neuronales artificiales

Presentamos en este blog un libro que acabamos de releer y que es la más fascinante introducción al origen teórico de las redes neuronales artificiales, a través de un conjunto único de entrevistas realizadas por James A. Anderson y Edward Rosenfeld a algunos de los grandes pioneros del paradigma conexionista. Por las páginas de este libro desfilan desde Bernard Widrow, el creador del "Adaline" y del algoritmo LMS, hasta Bart Kosko, el ingeniero de sistemas neuronales borrosos nacido en Kansas.

Las entrevistas, muy reveladoras y de extraordinaria viveza, nos revelan un mundo de nuevas ideas pero también de arduas polémicas por lo que se refiere tanto a cuestiones de prioridad en los descubrimientos como en el posible solapamiento de las aplicaciones logradas. Y así, leemos como Stephen Grossberg, el reconocido creador de las redes neuronales de resonancia adaptativa, comenta cómo hacia finales de los años 50 del siglo pasado introdujo su Modelo Aditivo, que, casi, 30 años después fue rebautizado como el modelo de Hopfield, autor que, por cierto, no aparece entrevistado en este libro. Y según Grossberg, el modelo de retropropagación debe más a Werbos, Parker, Amari y a él mismo que a los habitualmente mencionados, Rumelhart, Hinton y Williams. Leamos una declaración algo dramática al respecto del propio Grossberg, que el lector encontrará en la página 179 del libro:

"This has, all too often, been the story of my life. It´s tragic really, and it´s almost broken my heart several times. The problem is that, although I would often have an idea first, I usually had it too far ahead of its time (...) But then many things that I discovered started getting named after other people!"

Jerome Lettvin nos retrotrae a los tiempos originarios, a cuando Wiener, McCulloch y Pitts estaban poniendo los cimientos de la Cibernética y la Neurociencia Computacional. De estos dos últimos autores recuerda la génesis de su mítico artículo "A Logical Calculus of Ideas Immanent in Nervous Activity". Walter Pitts había leído a Leibniz y, en cierto sentido, quería considerar el sistema nervioso como un "aparato" computacional.

Bernard Widrow nos cuenta cómo en 1959 creó el algoritmo LMS o del menor cuadrado promedio:

"The idea was to be able to get the gradient from a single value of error (...) You get an algebraic expression and you realize that you don´t have to square anything; you don´t have to average anything to get mean square error. You don´t have to differentiate to get gradient. You get this all directly in one step" (p. 53).

Teuvo Kohonen narra el descubrimiento de su algoritmo de mapas autoasociativos, basado en sus ideas acerca de la Memoria Asociativa y los sistemas de reconocimiento de patrones. Manifiesta su rechazo a la creación de redes de centros de excelencia en la investigación que aseguren la más rápida diseminación posible de las ideas, puesto que considera que las ideas innovadoras necesitan de tiempo suficiente para ser verificadas.

Michael Arbib, editor jefe del magno "The Handbook of Brain Theory and Neural Networks", y una de las mentes más suspicaces en el panorama de la Neurociencia del último siglo, relata la preocupación de su mentor, Warren McCulloch por la cuestión de la robustez de los sistemas neuronales y, al respecto alude a la siguiente divertida anécdota (p. 216):

"His favorite story on this line was a midnight call from John von Neumann from Princeton saying `Warren, I´ve drunk a whole bottle of absinthe, and I know the thresholds of all my neurons are shot to hell. How is it I can still think?´".

David Rumelhart, recientemente fallecido, e impulsor junto a Jay McClelland del revolucionario programa PDP, nos introduce a algunos de sus célebres modelos conexionistas, como el del aprendizaje de los tiempos en pasado, en el que sin necesidad de múltiples capas se lograba un rendimiento muy similar al humano. Terrence Sejnowski alude cómo en aquella época se estaban poniendo las bases del aprendizaje neuronal mediante retropropagación. La retropropagación era mucho más rápida que la máquina de Boltzmann y permitía afrontar la resolución de interesantes problemas de la Fonología a través de NETtalk. Precisamente, Geoff Hinton ha sido un estrecho colaborador intelectual de Sejnowski y analiza cómo encontraron la regla de aprendizaje para las máquinas de Boltzmann: la energía era lineal en los pesos y la probabilidad logarítmica era lineal en la energía, así que las probabilidades resultaban ser lineales en los pesos.
Recomendamos muy vivamente la lectura de este libro y encarecemos su traducción al castellano para que la comunidad intelectual del entorno hispano pueda beneficiarse de la que, sin duda, es una de las mejores y más sugestivas presentaciones del paradigma conexionista que existen.