El último viaje de David Rumelhart

El día 13 de marzo de 2011 ha fallecido en su casa de Chelsea (Michigan), uno de los más grandes neurocientíficos de todos los tiempos. Mítico editor, junto a Jay McClelland, de la Biblia del conexionismo ("Parallel Distributed Processing"), a finales de los años ochenta del siglo pasado, David es, junto a McClelland, una de las grandes torres gemelas del nuevo paradigma basado en las redes neuronales. No tuve la fortuna de asistir a ninguna de sus conferencias, pero como todo aquel interesado en el modelo conexionista, sí que he leído sus libros y, en concreto, aquellos últimos en los que ha sido editor. Como el lector, quizá sepa, Rumelhart sufrió una enfermedad neurodegenerativa en la última década de su existencia, que le mantuvo postrado y fuera de la actividad intelectual, pero a mediados de la década de los años 90 del siglo pasado, todavía estaba en plena efervescencia intelectual. En concreto, son los años en los que aparecen sus capítulos colectivos sobre retropropagación en redes ("Backpropagation, theory, architectures and applications", 1995 o "Mathematical perspectives on neural networks", 1996).

La retropropagación es el método más común para el entrenamiento de redes neuronales. Aunque el término ya estaba presente en Rosenblatt (1962), no fue hasta 1986 que Rumelhart, Hinton y Williams popularizaron este algoritmo. Se trata de un algoritmo capaz de entrenar redes no lineales de conectividad arbitraria. Definiendo una función de error o gradiente descendente, un conjunto de pesos optimizan la ejecución de una tarea particular. Sea un conjunto de pares ordenados ,representando cada par una observación en la que el valor d de salida ocurrió en el contexto del evento de entrada x. El papel de la red consiste en aprender la relación entre x y d. Lo más útil es pensar en una función desconocida que las conecte y que constituya una buena aproximación. De entre los métodos estándar de aproximación funcional el más simple es el de la regresión lineal. Pero dado que las redes de capas múltiples son típicamente no lineales, se suele acudir a un tipo de regresión no lineal. Un caso habitual en este sentido es el de la técnica de "sobreajuste". Puede haber un excesivo número de variables predictivas y, sin embargo, una muy escasa cantidad de datos para el entrenamiento. No obstante, se puede conseguir una gran efectividad en el entrenamiento a pesar de la pobreza subyacente de los datos. Y es que la medida del éxito en el entrenamiento está más bien en la capacidad de la red de ajustarse a los casos no observados. Otro problema de los algoritmos de retropropagación es el de la segmentación y la localización de los patrones de entrada para el entrenamiento de las redes. David Rumelhart solventó este problema haciendo referencia a que el "feedback" acerca de si un patrón está o no presente, basta para llevar a cabo el entrenamiento. En concreto, propuso la introducción de campos receptivos locales vinculados o la construcción de modelos fijos de propagación hacia delante.

El genio de Rumelhart ha sido absolutamente instrumental para el desarrollo de la corriente más importante de la Psicología en el último cuarto de siglo. Recordemos que el autor norteamericano se especializó en Psicología Matemática en la Universidad de Dakota del Sur y que terminó su carrera académica en el Departamento de esta rama en la Universidad de Stanford. Insertamos a continuación un breve extracto del obituario que James McClelland, su inseparable colaborador, ha insertado muy recientemente en la página web de la "Society for Mathematical Psychology":

"Dear Colleagues:

It is with great personal sadness that I write with the news that David Rumelhart passed away this morning. David was a towering intellect and contributed to many areas of mathematical psychology and cognitive science (...) Rumelhart developed powerful algorithms for training neural networks and played a critical leadership role in articulating the computational advantages and implicactions of neural networks in the 1980´s." (Jay McClelland).

Sebastian Seung: leyendo el libro de la memoria

Uno de los más prominentes neurocientíficos actuales es Sebastian Seung. Con una sólida formación en Física Teórica, él y sus colaboradores del MIT están intentando desvelar cómo parecen organizarse las conexiones cerebrales en el desempeño de funciones cognitivas superiores como, por ejemplo, en los procesos relacionados con la memoria. Tradicionalmente, se ha considerado que las diversas memorias se almacenan en las conexiones neuronales. Entonces, y usando la metáfora del propio Seung (2009), un conectoma o mapa de la conectividad neuronal, podría ser comparado a un libro en el que están escritas las memorias. La idea de que la conectividad neuronal depende de los tipos de células implicadas ya fue puesta de manifiesto por Cajal. Los exitosos experimentos acerca de los mecanismos de visión en la retina han confirmado la importancia de los tipos de células y su disposición. No obstante, en otros circuitos neuronales, células de la misma clase pueden diferir en sus propiedades funcionales y conectivas, por lo que la cuestión es mucho más compleja de lo que aparentaba en un principio. Redish y colaboradores, por ejemplo, han demostrado que en el área CA3 del hipocampo de roedores, las propiedades funcionales de las neuronas no parecen estar correlacionadas con su localización. Dado el fenómeno de plasticidad sináptica que se presupone clave en el almacenamiento de información por las memorias, esto no es nada extraño. En humanos, el hipocampo parece ejercer una función clave en la memoria declarativa mientras que en roedores parece ser responsable directo de la memoria espacial. Los neurofisiólogos han encontrado en ratas, neuronas de localización que constituyen un mapa cognitivo del entorno. ¿Cómo pueden ser almacenadas estas memorias? La noción hebbiana de plasticidad subraya que las neuronas que se solapan espacialmente tienden a ser coactivas. La conectividad de la red hipocampal sería estática y al azar, como ya predijo David Marr hace cuatro décadas. Las fuerzas de las sinapsis cambian durante el aprendizaje, almacenando los mapas cognitivos. Seung propone realizar un análisis computacional simplificado, seleccionando un entorno limitado para una rata y verificando la plasticidad hebbiana en un espacio bidimensional, en el que las neuronas más próximas estén más fuertemente conectadas. Al resolver el grafo resultante, se podrían predecir las localizaciones neuronales.