Implementation intentions and Artificial Intelligence

In this article I will explain briefly the main conclusions presented by the author of this blog in Berlin ("International Congress of Psychology", 2008). My contribution, in collaboration with Professor Dr. Javier González Marqués (Chair of the Department of Basic Psychology at the Complutense University of Madrid), was entitled "Implementation Intentions and Artificial Agents" and establishes an interesting connection between social cognition in humans employing a particular type of intentions and its simulation and performance by intelligent artificial agents.

An intention is a type of mental state that regulates the transformation of motivational processes in volitional processes. Peter Gollwitzer distinguishes between goal intentions and implementation intentions. Goal intentions act in the strategic level whereas implementation intentions operate in the level of the planning. Goal intentions admit to be formulated by means of the expression "Intend to achieve X!", where X specifies a wished final state. However, implementation intentions can be enunciated like "I intend to do X when situation Y is encountered". This means that in an implementation intention, an anticipated situation or situational cue is linked to a certain goal directed behavior.

We have made a computer simulation that allows to compare the behavior of two artificial agents: both simulate the fulfillment of implementation intentions, but whereas one of them incarnates to A0 agent whose overturned behavior will be something more balanced towards the goal intention to obtain the reward R, A1 agent will reflect a more planning behavior, that is, more oriented towards the avoidance of obstacles and the advantage of the situational cues.

The hypothesis to demonstrate will consist of which, with a slight difference in the programming of both agents, A1 agent not only will yield a superior global performance but that will reach goal R before A0 in a greater number of occasions. This is clearly in consonance with the results of Gollwitzer and collaborators about the superiority to plan in humans the actions by means of implementation intentions as opposed to the mere attempt to execute a goal intention. Gollwitzer and Sheeran (2004) have made a meta-analytical study of the effects exerted by the formulation of implementation intentions in the behavior of achievement of goals on the part of the agents. We set out to transfer the fundamental parameters with humans to A1 agent and to compare results with A0 agent more oriented to the execution of the goal intention to reach R. According to authors (2004, p. 26), the general impact of implementation intentions on the achievement of goals is of d=0.65, based on k=94 tests that implied 8461 participants. An important effect (op. cit., p. 29) was obtained for implementation intentions when the achievement of goals was blocked by adverse contextual influences (d=0.93). The accessibility to the situational cues was of d=0.95. To A1 we have assigned a 65 percent in the achievement of the goal. We have located a difference of 30 points in the achievement of R and according to a difference of percentage in the achievement of R on the part of A0 of 16 points, A0 was assigned a degree of achievement of 81 percent. As for the accessibility of the situational cues L, this one is very high in A1 agent (95) and considering that A1 can add 30 points more than A0, taking advantage of the situations, we have assigned to A0 a percentage of accessibility of the 76 percent. Considering that the degree of avoidance of obstacles S on the part of A1 is very high (93), to A0, we have assigned a difference to it of 19 points, that is to say, of the 74 percent. However, to fall in anyone of places S counts equal reason why it affects to the penalty for both agents.

We give account of the results, once made 5000 trials, with an average of about 48 movements by trial. We have considered the total number of plays, points (average), total resumptions (average), total victories or the number of times that the agent reaches R in the first place, number of situational cues L, number of obstacles S and number of carried out movements. The system of assigned points was:

A0: start: +50: L0-L5: +20; S0-S5: -5; R: +150; D0 (dissuasive agent intercepting the agents A0 and A1): -150; penalty by each movement: -1.

A1: start: +50; L0-L5: +25; S0-S5: -5; R: +120; D0 (dissuasive agent intercepting the agents A0 and A1): -150; penalty by each movement: -1.

The diversity of tasks that the agents have to execute in the board ends up interacting of a dynamic and significant way. This still is appraised with greater forcefulness in the one perhaps that it is the most decisive and surprising result of this exercise of simulation: the one that the most planning agent A1 achieves goal R in a greater percentage of times than A0, when A0 has been programmed to perceive and to accede to R with greater facility.

We believe that our simulation has fulfilled the basic objective of supporting, in the area of Artificial Intelligence, the experimental conclusions with humans, of Gollwitzer and other authors about the superiority of the use of implementation intentions in the goal achievement, against the emphasis located in the execution of the goal intentions. As an obvious result, this task, given its limited nature, has not collected all the possibilities. Thus, the issue of the beginning of goal purpose has not been approached. Neither has the issue of the fact that the agents abandon the purpose of reaching R or that they seek alternative goals. On the other hand, not even the effect on the learning of the task as consequence of successive frustrations has been outlined. It would be interesting, to introduce agents not only based on learning rules but also adaptive agents.

"The Wisdom Paradox: How Your Mind Can Grow Stronger As Your Brain Grows Older"

Nine months ago I was looking for readings about the damaged frontal lobe. I had read again the masterpiece "Cortex and Mind" by Fuster and "The Executive Brain" by Goldberg. A brilliant neuropsychologist at the "Ramón y Cajal" Hospital of Madrid and also researcher at the Complutense University, Patricia Trigo Cubillo, advised me, via e-mail, to read this book. I confess that I was skeptical for the first moment. Ummm..., ¿this title?, ¿another book about the miraculous effect of the brain stimulation? Voilá, you have suffered a brain injury..., don´t worry, recovery is possible..., but not, the book does not defraud... Let´s see...

This book by the renowned neurologist Elkhonon Goldberg, was published by Gotham (2005).

It is a common prejudice to think that as we age we will increasingly lose brain power. But in "The Wisdom Paradox", Goldberg asserts that in some key ways the brain power actually increases as you age. As we age, we become better identifying patterns in life and situations, that is, we can make better decisions and, the most important, know what to do. The brain develops a vast store of "generic memories" underlying competence and expertise and can compensate for age-related declines. According to Goldberg the brain´s left hemisphere is oriented toward familiar patterns, whereas the right hemisphere focuses on novelty. Whereas the right hemisphere is the novelty hemisphere, "the explorer of the unknown and the uncharted, the left hemisphere is the repository of compressed knowledge, of stable pattern-recognition devices that enable the organism to deal sufficiently and effectively with familiar situations". The right hemisphere is activated when an individual is in the early stages of acquiring new cognitive skills but as that task is mastered, the left hemisphere takes over. In this sense, Goldberg uses a comparison in which there are two bird watchers, one a beginner, one experienced. The beginner "flips through a field guide, shuttling between pages with large silhouettes, birds that undulate as they fly... The experienced bird has synthesized all that data and internalized a signature pattern, while the novice must rely on an external device which can only provide information, not synthesis, and inefficiently at that. The experienced bird watcher responds quickly because she is relying on the accumulated wisdom of "intuition" ". So the left hemisphere becomes increasingly salient over a person´s lifetime. The left cerebral hemisphere is more resilient, and can develop an increasing inner connectivity that pays out in superior ability to solve apparently novel problem with little effort. This sort of practical mastery is what Goldberg means when he speaks of "wisdom". The author defines wisdom by means of several interrelated notions. Whereas talent represents the potential ability to create novel content and genius represents supreme talent, competence represents the ability to relate new challenges to existing skills or knowledge, wisdom represents supreme competence. Genius and talent are associated with youth and wisdom and competence with maturity. The paradox is that wisdom emerges as our body begins its decline. In fact, the brain is shaped by how it is used and it is very important to maintain an active mind as a defense against mental decline. We can actually exercise our brains to enhance their power. Goldberg suggests art as an exercise for the mind. Art provides a form of right hemisphere challenge in informal settings, so that we will be in cognitive shape to tackle similar real problems when they occur. Goldberg outlines a cognitive fitness program for participants in their 60s and 70s, curtailing the negative mental effects of aging. If we are lucky and we train our brains, the kind of mastery described by Goldberg may come to us. And this excellent and practical book might help us to achieve this.

Jim McClelland o la muerte de la "boxología"

Lunes, 21 de julio de 2008. Hall 15.2A del imponente International Congress Centrum. 13.45 horas. Decenas de estudiantes tirados en el suelo de la amplísima sala. No pueden verle. Sólo pueden escucharle. Muchos ni habían nacido en la fecha de la publicación del monumental "PDP". Pero le han leído y han escuchado de él. ¿Será la primera y la última vez que muchos lo escuchen? ¿Quién es? Es el Nicolás Copérnico de la Psicología. Es James Jay McClelland.

Cuando se habla de conexionismo hay que pensar antes en la situación de la ciencia de la Psicología hace unas cuantas décadas. Daniel Dennett, en 1993, introdujo un neologismo despectivo, "boxology", para referirse a dicha situación. Un cúmulo de teorías sin apenas base experimental para referirse a múltiples fenómenos (memoria, atención, etc.), a duras penas superpuestos. El término hacía mención a la costumbre en los ambientes académicos de la época a usar y abusar de los diagramas de flujo con cajas para explicar los constructos teóricos elaborados. Aunque, como es obvio, existían precedentes (por ejemplo, el perceptrón de Rosenblatt), la idea de que las funciones cognitivas en general emergían de una actividad de procesamiento distribuído en paralelo de poblaciones neuronales y de que el aprendizaje ocurría a través de la adaptación de conexiones entre neuronas, era verdaderamente rompedora. A partir de aquí comenzaron a surgir modelos conexionistas explícitos. Pero no vamos a realizar aquí una introducción al conexionismo. Ya existen espléndidos manuales introductorios en castellano como el de Hilera y Martínez, "Redes neuronales artificiales" o, en inglés, el de Bechtel y Abrahamsen, "Connectionism and the Mind".

Homenajearemos al profesor estadounidense intentando entrever cómo enfoca el futuro de estos modelos, a raíz de su intervención en Berlín. McClelland espera que los modelos conexionistas relacionados con la representación del conocimiento, el aprendizaje y la memoria ha de tener todavía mayor relevancia en el futuro a través de una mejor comprensión de las distorsiones que acaecen en estos procesos. En este sentido, la teoría de los sistemas complementarios de aprendizaje habrá de establecer una deseada comunicación entre sistemas de aprendizaje basados en conexiones y sistemas de memoria. Para ello habrá de ampliarse el rango de descubrimientos experimentales de tipo cognitivo y comportamental. Es evidente para el autor de la Universidad de Stanford que las áreas cerebrales no funcionan cómo módulos discretos que trabajan independientemente. Pensamiento y percepción, por ejemplo, implican sistemas dinámicos funcionales distribuidos a través de múltiples regiones. Las actividades de las neuronas son mutuamente interdependientes permitiendo una combinación sinérgica de diferentes tipos de influencia que afectan al procesamiento en cada área. Así, la selección atencional implica una sincronización en alta frecuencia de neuronas que transportan información crítica sobre las características del estímulo conductualmente relevante. Los modelos conexionistas habrán de responder a los retos de los datos aportados por la neuroimagen, magnetoterapia y tractografía para lograr buenas simulaciones computacionales.

Simulación para las ciencias sociales

El libro que comentamos hoy apareció originalmente en 1999, en la Open University Press. Nosotros manejaremos la segunda edición al castellano, preparada por Francisco Miguel Quesada para la editorial McGraw-Hill (2006). Nuestra edición procede de la edición revisada de 2004. Gilbert es profesor en la Universidad de Surrey y editor del "Journal of Artificial Societies and Social Simulation", mientras que Troitzsch es profesor de la Universidad de Coblenza-Landau.

La obra consta de diez capítulos y tres apéndices. Como es fácilmente imaginable, se inicia con dos capítulos introductorios para, a partir del tercer capítulo, ir manejando los instrumentos conceptuales e informáticos. Y así, empezamos con las bases para simular la dinámica de sistemas, ilustrada con una breve presentación del lenguaje DYNAMO, que servirá también para informatizar el modelo de Martínez Coll (1986) de "palomas, halcones y burgueses". Se trata de un modelo del estado natural hobbesiano, en el que la paloma nunca trata de hacerse con las posesiones de otros, el halcón, por contra, trata de apoderarse de manera agresiva y el burgués espera a que las posesiones de los demás sean abandonadas. Una extensa y bonita presentación del programa STELLA completa el capítulo. El capítulo cuarto conduce al lector al mundo de los micromodelos y sus subtipos, centrándose en un ejemplo sacado de la reforma tributaria alemana y usando la aplicación informática UMDBS. Es de destacar cómo cada capítulo viene acompañado de una extensa y muy útil reseña bibliográfica comentada. El capítulo cinco deja de lado las modelizaciones de tiempo continuo y presenta las características de los modelos de colas, o modelos estocásticos que dependen de estados anteriores. Todo esto es ilustrado magistralmente mediante una simulación SimLab de los tipos de servidores de un aeropuerto (p. 87 y ss.) A partir del capítulo sexto entramos en los modelos de simulación multinivel o modelos de poblaciones interactuantes. Por usar un ejemplo de los propios autores (ver p. 100), los atributos de una población dependen de los atributos individuales agregados y estos, a su vez, dependen de los atributos de la población. Y así, la distribución por géneros de la población dependerá del número de varones y mujeres mientras que la tasa de mortalidad podrá depender no sólo del tamaño de la población sino también de la distribución por géneros. El entorno de simulación MIMOSE es puesto a prueba en modelizaciones sobre formación de opinión, y nuevamente en el modelo "paloma-halcón-burgués", ya comentado. A continuación, el capítulo siete nos acerca a la teoría evolutiva de juegos a través de los autómatas celulares. Los autómatas celulares modelizan un mundo en el cual el espacio es representado como una cuadrícula uniforme y el tiempo avanza por periodos discretos. El más famoso de entre ellos es, sin duda, el Juego de la Vida de Conway. Este tipo de modelos constituyen hoy por hoy, el terreno de modelización más emergente en las ciencias de la vida y en las ciencias sociales, puesto que permiten investigar los resultados macroscópicos de millones de acontecimientos simples microscópicos: desde la proliferación de células cancerígenas hasta la propagación de epidemias, pasando por fenómenos sociales, como la evolución de poblaciones con diferentes tipos de rasgos individuales (egoístas, altruistas...) En este sentido, recomiendo la lectura del magistral libro de Nowak, "Evolutionary Dynamics" (2006). Quizá quepa reprochar a los autores del libro, objeto de esta recensión, que no hayan situado este capítulo algo más al comienzo de la obra, puesto que la simulación actual de procesos pivota, en gran medida, sobre este tipo de simulaciones. NetLogo, el ya mítico programa diseñado por Papert y SITSIM son los modelos computacionales introducidos. El capítulo ocho también es de gran importancia porque aborda la cuestión de los modelos multi-agente. Estos programas autónomos, capaces de controlar las propias acciones basándose en sus percepciones de su entorno operativo, copan el campo de la Inteligencia Artificial Distribuida y son de rabiosa actualidad. Se agradece que Gilbert y Troitzsch, en una obrita introductoria, comenten cuestiones muy de última hornada, como el diseño de agentes con emociones, reprochándoseles, no obstante, que perseveren en el uso de NetLogo, seguro que por motivos didácticos. Hubiera sido deseable introducir, a modo de ejemplificación, algún sistema más inteligente y planificador, estilo HOMER (véase "An Introduction to Multi-Agent Systems" de Wooldridge). Los modelos presentados (tipo SUGARSCAPE o MANTA) son del estilo "fungus eaters" de Toda, esto es, modelos de bajo nivel. En el capítulo siguiente se sigue en una línea similar, pero incidiendo más en el aspecto de la interacción evolutiva, a través del desarrollo en NetLogo de un modelo de Jager sobre agentes "rudos", "gorrones" y "espectadores". De relevancia es que la parte final va dedicada a presentar brevemente dos arquitecturas cognitivas como SOAR y ACT-R, algo no siempre presente en obras de carácter introductorio. Para finalizar, el libro culmina con una introducción a modelos de redes neuronales, enfocadas a la simulación social, y a los algoritmos genéticos de John Holland.

En conjunto, hemos de decir que, para ser una introducción, la obra reseñada es muy completa, equilibrada y está muy bien actualizada. Las referencias para guiar al lector en futuras lecturas son exhaustivas y, muy importante, aparecen comentadas. En resumidas cuentas, creemos que quizá no exista en castellano un mejor lugar para introducirse al lector neófito en el área de la simulación computacional y felicitamos a la editorial McGraw-Hill por la traducción de la versión revisada de esta obra de dos científicos punteros como Gilbert y Troitzsch.

John O´Keefe y Lynn Nadel: ¿un Premio Nobel a la espera?

John O´Keefe es profesor de Neurociencia Cognitiva en el University College de Londres y trabaja en el Departamento de Anatomía y Biología del Desarrollo. Miembro de la Royal Society y de la Academia de Ciencias Médicas, ha obtenido, entre otros, el premio de la Fundación Feldberg por su trabajo en Medicina y en Biología.

Lynn Nadel dirige el programa de cognición y sistemas neuronales en el Departamento de Psicología de la Universidad de Arizona. Junto a O´Keefe ha obtenido el Premio Grawemeyer de la Universidad de Louisville (2006).

Los dos están en el momento perfecto para recibir el Premio que, sin duda, culminaría una carrera profesional absolutamente brillante. Y en la ponencia invitada de O´Keefe al "XXIX Congreso Internacional de Psicología de Berlín" (ya recensionado en este blog), se pudo ver por qué. Titulada "Cognitive maps in rats and men: 60 years on", situó a la perfección las fuentes de las que ha bebido su obra, desde el primigenio concepto de Tolman hasta los mapas actuales de células del movimiento en ratas y en humanos.

Cualquiera que se interne en los ámbitos de la Neurociencia y Psicología suele tener, casi a la primera de cambio, una cierta sensación de escepticismo. Abundan los modelos abstractos sobre funciones cognitivas y capacidades de procesamiento pero escasean las realidades palpables, esto es, los correlatos cerebrales. De esta forma, se ha extendido una especie de escolástica medieval de facultades del alma que, a través del reciente uso de técnicas de neuroimagen postula-y ese es el problema, simplemente "postula"- una curiosa red de localizaciones cerebrales para casi cualquier función cognitiva que se le pueda ocurrir al lector. ¿Qué necesitamos, localizar el supuesto fundamento neurofisiológico de la sensación de hastío de un individuo que ha querido cruzar una calle y el semáforo se ha puesto en rojo? Voilà, no se preocupe el lector, que las zonas X y Z del cerebro del sujeto han quedado suficientemente activadas.

El trabajo de O´Keefe y Nadel ha logrado lo más difícil: dejar de lado la especulación y trabajar sobre un fundamento neurológico perfectamente localizado y controlable: esto es, el ABC de la metodología científica en cualquier ciencia "dura". Se cumplen 30 años de la publicación del libro , "The Hippocampus as a Cognitive Map". Allí intentan responder a una pregunta aparentemente muy de andar por casa, como todas las grandes preguntas: ¿cómo sabemos dónde estamos espacialmente, es decir, cómo nos orientamos? Los autores identificaron un sistema cerebral de correspondencia cognitiva en la sección del hipocampo del lóbulo temporal que actúa como un sistema interno de posicionamiento global: neuronas de posicionamiento usan datos sobre la distancia y las direcciones para acceder a las localizaciones. Dichas células forman "memorias". 

Un roedor se desplaza en línea recta y se activan sus células piramidales del hipocampo. Cada célula se activa sólo sobre una región específica de la marcha seguida por el roedor. Las áreas celulares activadas se representan en rojo y en amarillo. Ochenta mapas celulares se han activado simultáneamente en el área CA1 del hipocampo al explorar la rata su cajón de arena. Sólo se ha activado un 30 por ciento de las células piramidales en este ambiente, puesto que la rata se ha detenido para buscar alimento. En tamaño relativo más grande, encontramos 6 interneuronas.

Las consecuencias de este descubrimiento son enormes: el propio Nadel ha trabajado sobre sus aplicaciones en pacientes con síndrome de Down, amnesia y fobias. ¿Pueden limitarse los efectos de la amnesia retrógrada? Las lesiones isquémicas producen amnesias retrógradas circuncritas en humanos y el único daño observable se encuentra en la región hipocampal CA1. ¿Cuál es el papel de los neuromoduladores en la función del hipocampo? Estos neuromoduladores pueden estar implicados en cambios en el estado del sistema navegacional. El problema de la navegación espacial y el hipocampo son dominios particularmente útiles para el estudio de los neuromoduladores y sus aplicaciones farmacológicas, debido a que nos aportan una muy buena comprensión de la representación y funcionamiento general de una limitada estructura cerebral. Si un neuromodulador (tal como la serotonina o la dopamina) modifica una representación o una función específica, seremos capaces de identificar el cambio informacional producido y mejor comprender el papel desempeñado por ese neuromodulador; mucho mejor que con los limitados métodos biofísicos hoy utilizados.

Hace poco más de 100 años, Santiago Ramón y Cajal descubrió la estructura más fina del cerebro: "las mariposas del alma", en expresión de Francisco Mora. O´Keefe y Nadel han seguido los pasos del maestro y han descubierto "las mariposas de la orientación espacial".Señores de la Academia Sueca de las Ciencias, ¿verdad que merece la pena aceptar la nominación?

Neuromoduladores cerebrales y nuevos robots

En 2002, Kenji Doya, profesor del Laboratorio de Neurociencia Computacional ubicado en Okinawa, publicaba un artículo que se iba a desvelar como revolucionario. Se titulaba "Metalearning and Neuromodulation" y proponía una teoría computacional acerca de cómo los principales neuromoduladores cerebrales regulan los mecanismos de aprendizaje en el cerebro humano. Dopamina, serotonina, noradrenalina y acetilcolina, cuatro nombres, cuatro sustancias químicas que regulan el control de la activación general de nuestro cerebro. En este artículo, el investigador lanza una hipótesis de verdadero alcance: si echamos un vistazo a los sistemas actuales de aprendizaje en Inteligencia Artificial y comparamos, nos daremos cuenta enseguida de que los mecanismos de aprendizaje propios del cerebro son mucho más robustos y flexibles. Observemos, por ejemplo, el problema de la tolerancia a las perturbaciones por parte de sistemas inteligentes. En entornos en los que predomina la incertidumbre, los robots actuales (véase, Dean Earl Wright III, "Reengineering MCL"), se muestran sobrepasados en su respuesta ante situaciones cambiantes y no fácilmente predecibles. Pues bien, según el investigador japonés, el cerebro humano posee una excelente capacidad para ajustar dinámicamente sus propios mecanismos de aprendizaje, y en esta tarea, desempeñan un papel esencial los neuromoduladores:

(a) la dopamina representaría la señal que predice las acciones de recompensa y de refuerzo; (b) la serotonina controlaría el balance a corto plazo y a largo plazo de la predicción de la recompensa; (c) la noradrenalina se encargaría de equilibrar el balance entre las actividades de exploración y de ejecución en la tarea y (d) la acetilcolina mediaría en el almacenamiento y recuperación propios de la memoria.

En el contexto del aprendizaje por refuerzo-un marco computacional (Sutton & Barto, 1998) en el que un agente aprende a realizar una acción en respuesta al estado del ambiente, de manera tal que la recompensa adquirida es maximizada a largo plazo-puede formalizarse el planteamiento de Doya. Una función de valores de estado designa la acumulación de la recompensa futura esperada a partir de una determinada política seguida por el agente: el que la política del agente sea de carácter estocástico es algo controlado por un factor llamado de "temperatura inversa" Un factor de descuento es un parámetro que asigna menor peso a la recompensa esperada en el futuro. El error de diferencia temporal (TD) es usado como la señal de error para aprender la función de valores.

Manejando todas estas nociones, la hipótesis de Doya quedaría así:

(a) la dopamina señalaría el error de diferencia temporal,

(b) la serotonina controlaría el factor de descuento,

(c) la noradrenalina se haría cargo de la temperatura inversa y

(d) la acetilcolina controlaría la tasa de aprendizaje.

El artículo de Doya salió publicado el 20 de abril de 2002 y sólo dos meses más tarde veía la luz un artículo de Sporns y Alexander titulado "Neuromodulation and Plasticity in an autonomous robot"; en él los autores dan el primer paso, sugerido por Doya, para simular un robot autónomo. El modelo se basa en los sistemas dopamínico y noradrenalínico. La simulación computacional del modelo incorpora no sólo estímulos de recompensa sino también estímulos aversivos y genera la emergencia de conductas condicionadas de aversión y de recompensa. El aprendizaje del robot en diferentes contextos ambientales suscita cambios en el propio sistema neuromodulatorio.

¿Alguien da más?