En los últimos días ha circulado ampliamente un estudio del MIT que plantea que usar ChatGPT podría generar una especie de atrofia cognitiva. La idea, en breve, es que si usamos esta tecnología nos volvemos menos capaces de pensar por nosotros mismos. Es decir, usar ChatGPT nos hace más tontos.

Este estudio, hecho por ocho académicos, la mayoría del MIT, se basa en un experimento que busca medir ese deterioro. ¿Qué hicieron? Tomaron a un grupo de personas y les pidieron que redactaran ensayos en tres condiciones distintas. Unos debían hacerlo solo con sus propias capacidades, otros podían buscar en internet, y un tercer grupo lo hacía usando ChatGPT. Luego midieron su actividad actividad cerebral con un electroencefalograma de 32 electrodos, registrando la conectividad en distintas bandas de frecuencia, alfa, beta, delta y theta. Y como los que usaron ChatGPT mostraron menos activación en ciertas zonas, concluyen que ahí hay una brecha, una “deuda cognitiva”.

Concluyen que usar ChatGPT sería peligroso porque implica delegar funciones mentales que uno debería estar ejercitando, y que podrían atrofiarse.

Sin embargo, cuando uno revisa con más detalle el estudio de 206 páginas, aparecen aspectos que no salen en el titular. En la parte clave del experimento participaron solo 18 personas en total, divididas en dos condiciones. Es decir, menos de 10 personas por escenario. Y a partir de esa muestra sacaron conclusiones sobre cómo el uso de ChatGPT afecta al cerebro humano.

Además, el experimento es una situación artificial, sin consecuencias, muy distinta a una situación laboral real. Pensemos unos minutos. A algunos participantes les pidieron que escribieran un ensayo por sus medios, a otros les permitieronn buscar en internet y a un tercer grupo los dejaron usar ChatGPT.  En esa situación, ¿qué haría una persona normal? Si está en el primer grupo, probablemente hará un esfuerzo más intenso simplemente porque no tiene otra opción. Si tiene acceso a internet, también hará un esfuerzo, pero con seguridad algo menor, ya que en vez de tener que hacer todo, se limitará a buscar información, seleccionar aquella adecuada, y a organizarla. Y si está en el grupo que puede usar ChatGPT, simplemente le delegará la tarea. Esto, pues un contexto experimental induce comportamientos que no tienen las presiones ni las consecuencias que existen cuando nos enfrentamos a una tarea con consecuencias reales.

En resumen, en su experimento encontraron que, en una tarea no real, la gente se esfuerza menos cuando puede usar ChatGPT. ¿Y qué otra cosa esperaban?

De hecho el patrón representa lo que describió en detalle el Nobel David Kahneman en su libro Thinking Fast and Slow, asociado a la tendencia humana de hacer el mínimo esfuerzo cognitivo cuando ello es posible. Es decir, lo que se observa es más bien un “artefacto” del diseño del estudio, más que evidencia de deterioro cognitivo.

Por otro lado, en sus conclusiones los autores omiten comparaciones que van en dirección contraria a sus conclusiones. Si uno revisa la sección de anexos que detalla cómo evoluciona la conectividad cerebral, por ejemplo los anexos que hablan de la frecuencia Alpha en las páginas 186 para Brain Only y 196 para LLM, se observa que cuando se “obliga a pensar” a quienes habían estado usando ChatGPT (los LLMs), estos tienen mayor conectividad cerebral que quienes nunca lo hicieron. Y no por poco, sino por bastante. Además, sucede lo mismo en todas las frecuencias. Curioso. ¿No se habrán dado cuenta?

Elaboración propia a partir de los anexos del estudio. Se observa que en todas las frecuencias el grupo que usa LLM (amarillo) tiene mayor conectividad en la sesión 4, en la que nadie usa ChatGPT.

Cuando uno contrasta este estudio con otros previos, las diferencias son notables.

Por ejemplo, está el estudio de Noy y Zhang, también del MIT, con una muestra de 444 personas, publicado en la prestigiosa revista Science. Se basó en el desempeño de profesionales que realizaron tareas reales. Los resultados son claros. Mejor calidad, mayor productividad y más satisfacción al usar ChatGPT.

También está el estudio de Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf y otros, de Harvard, Wharton y Boston Consulting Group, con una muestra de 758 consultores trabajando en condiciones reales. Gente resolviendo tareas concretas, con incentivos reales, en su trabajo. ¿Resultados? El uso de GPT-4 mejora tanto la calidad como la eficiencia del trabajo, especialmente para los que partían con menor desempeño.

Entonces, la gran pregunta es ¿cómo puede ser que la misma herramienta te haga más productivo, eleve la calidad de tu trabajo, te deje más satisfecho… y al mismo tiempo te haga más tonto?

No se entiende.

¿Quién tendrá la razón? Creo que es cosa de mirar los datos, el diseño, el tamaño de muestra, y el contexto para responder a esta pregunta. Y cuando uno compara, es bastante claro a qué lado se inclina la balanza. El estudio “Your Brain on ChatGPT” es una situación artificial en que participan pocas personas por grupo, y que omite ciertas conclusiones que surgen de sus propios datos, mientras que en los otros dos estudios se trabaja con datos reales y a otra escala. Las diferencias no resisten el análisis.

¿Significa esto que usar ChatGPT brinda solo beneficios? Tampoco es el caso. El uso acrítico de los LLMs en general (ChatGPT, Gemini, Claude, etc) efectivamente genera problemas, y por eso es importante que entandamos mejor qué cosas hace bien y mal esta tecnología, tal cual explico en “No se trata de controlar, sino de entender“.

A modo de conclusión, creo que es importante tener claro que no porque un estudio haya sido realizado por académicos afiliados a una institución prestigiosa como el MIT o Harvard, necesariamente significa que el estudio sea robusto o concluyente. Lo que de verdad importa es cómo se diseñó, con cuántas personas se hizo, en qué condiciones, y qué tipo de estándares cumple. Cuando un estudio es publicado en una journal importante, es claro que pasó filtros exigentes, pues hubo revisión de pares, gente que entiende del tema. Y ese es un buen criterio para distinguir. El estudio de Noy y Zhang, que también son del MIT, fue publicado en Science, una revista científica de alto estándar.

Entonces, cuando circula un estudio que dice cosas espectaculares o sorprendentes sobre la Inteligencia Artificial, por ejemplo, que usar ChatGPT puede atrofiar capacidades cognitivas, es importante hacer un doble clic. ¿Quién lo escribió? ¿Dónde se publicó? ¿Cómo se hizo?

Porque si no, podemos quedarnos con el titular y llegar a conclusiones equivocadas, como que, para no volvernos tontos, mejor dejamos de usar estas herramientas.

Y eso, además de no tener ningún sentido, nos limita y quita adaptabilidad, algo muy poco recomendable en el contexto cambiante en que estamos viviendo.

Según Dell’Acqua et al., los efectos son especialmente positivos para aquellos con peor desempeño.