El último viaje de David Rumelhart

El día 13 de marzo de 2011 ha fallecido en su casa de Chelsea (Michigan), uno de los más grandes neurocientíficos de todos los tiempos. Mítico editor, junto a Jay McClelland, de la Biblia del conexionismo ("Parallel Distributed Processing"), a finales de los años ochenta del siglo pasado, David es, junto a McClelland, una de las grandes torres gemelas del nuevo paradigma basado en las redes neuronales. No tuve la fortuna de asistir a ninguna de sus conferencias, pero como todo aquel interesado en el modelo conexionista, sí que he leído sus libros y, en concreto, aquellos últimos en los que ha sido editor. Como el lector, quizá sepa, Rumelhart sufrió una enfermedad neurodegenerativa en la última década de su existencia, que le mantuvo postrado y fuera de la actividad intelectual, pero a mediados de la década de los años 90 del siglo pasado, todavía estaba en plena efervescencia intelectual. En concreto, son los años en los que aparecen sus capítulos colectivos sobre retropropagación en redes ("Backpropagation, theory, architectures and applications", 1995 o "Mathematical perspectives on neural networks", 1996).

La retropropagación es el método más común para el entrenamiento de redes neuronales. Aunque el término ya estaba presente en Rosenblatt (1962), no fue hasta 1986 que Rumelhart, Hinton y Williams popularizaron este algoritmo. Se trata de un algoritmo capaz de entrenar redes no lineales de conectividad arbitraria. Definiendo una función de error o gradiente descendente, un conjunto de pesos optimizan la ejecución de una tarea particular. Sea un conjunto de pares ordenados ,representando cada par una observación en la que el valor d de salida ocurrió en el contexto del evento de entrada x. El papel de la red consiste en aprender la relación entre x y d. Lo más útil es pensar en una función desconocida que las conecte y que constituya una buena aproximación. De entre los métodos estándar de aproximación funcional el más simple es el de la regresión lineal. Pero dado que las redes de capas múltiples son típicamente no lineales, se suele acudir a un tipo de regresión no lineal. Un caso habitual en este sentido es el de la técnica de "sobreajuste". Puede haber un excesivo número de variables predictivas y, sin embargo, una muy escasa cantidad de datos para el entrenamiento. No obstante, se puede conseguir una gran efectividad en el entrenamiento a pesar de la pobreza subyacente de los datos. Y es que la medida del éxito en el entrenamiento está más bien en la capacidad de la red de ajustarse a los casos no observados. Otro problema de los algoritmos de retropropagación es el de la segmentación y la localización de los patrones de entrada para el entrenamiento de las redes. David Rumelhart solventó este problema haciendo referencia a que el "feedback" acerca de si un patrón está o no presente, basta para llevar a cabo el entrenamiento. En concreto, propuso la introducción de campos receptivos locales vinculados o la construcción de modelos fijos de propagación hacia delante.

El genio de Rumelhart ha sido absolutamente instrumental para el desarrollo de la corriente más importante de la Psicología en el último cuarto de siglo. Recordemos que el autor norteamericano se especializó en Psicología Matemática en la Universidad de Dakota del Sur y que terminó su carrera académica en el Departamento de esta rama en la Universidad de Stanford. Insertamos a continuación un breve extracto del obituario que James McClelland, su inseparable colaborador, ha insertado muy recientemente en la página web de la "Society for Mathematical Psychology":

"Dear Colleagues:

It is with great personal sadness that I write with the news that David Rumelhart passed away this morning. David was a towering intellect and contributed to many areas of mathematical psychology and cognitive science (...) Rumelhart developed powerful algorithms for training neural networks and played a critical leadership role in articulating the computational advantages and implicactions of neural networks in the 1980´s." (Jay McClelland).