Una y otra vez se da la misma situación. Entre quienes venden soluciones de IA parece que decir lo que realmente puede hacer no alcanza. Hay que agregarle más, hacerla “mágica”.
Y la verdad es que todos nosotros ayudamos bastante, pues queremos creer.
A continuación explico de qué estoy hablando.
Hace poco tuve una larga conversación con el CEO de una organización dedicada a la formación. Llamémoslo Diego. Lo conozco hace tiempo y es alguien respetado en su rubro. Alguien preocupado por su gente, por la misión de su organización, y que suele probar cosas nuevas cuando cree que pueden servir.
Me contó, bastante entusiasmado, que había iniciado un piloto con inteligencia artificial. La participación era voluntaria y cerca de la mitad de las personas con funciones docentes había decidido sumarse.
En algún momento empezó a explicarme qué hacía la herramienta. Sacó el teléfono.
“Mira esto”, me dijo.
La presentación del proveedor hablaba de una IA que “piensa como tu institución”, que puede “alinear todo” con el currículo y el enfoque pedagógico, incorporar el proyecto educativo y el marco normativo, y aprender de cada docente para adaptarse a su forma de trabajar.
Le empecé a preguntar qué significaba eso en la práctica.
“Cuando alguien hace una planificación, ¿considera el curso?”
Sí.
“¿La materia específica?”
Sí.
“¿El currículo, las políticas de la institución, las exigencias de la autoridad educativa?”
También.
“¿Y además lo que ha aprendido de ese docente?”
Exacto.
“Ya. ¿Todo eso?”
Sí.
¿Todo?
Algo ahí no me cuadraba.
Porque “todo” es una palabra bastante grande cuando hablamos de modelos de lenguaje. Hice un cálculo grueso con parte de la documentación que, bajo esa descripción, debía entrar en juego.
Mi estimación fue del orden de doce millones de tokens. Actualmente la “ventana de contexto” de la mayoría de los LLMs está por debajo del millón de tokens, valor muy inferior al contenido que le habían inducido a creer que era considerado en cada respuesta de la IA.
Es cierto que hoy existen formas sofisticadas de trabajar con IA que incluyen mucha más información de la que cabe de una sola vez. Se puede buscar, resumir, recuperar documentos, mantener memoria, usar agentes, hacer varias llamadas. Todo eso es factible.
Pero no es gratis, consume tokens a granel.
“Ya, OK. Con técnicas avanzadas, quizás pueden hacer parte de eso. ¿Cuánto te están cobrando?”
Cerca de 600 mil pesos mensuales para unos 100 usuarios, del orden de seis dólares al mes.
Humm… ahí ya no me cuadraron dos cosas.
Primero, el volumen de contenido supuestamente incluido excede lo que un modelo puede considerar de forma normal, aunque quizás es parcialmente factible con embeddings, RAGs y grafos. Y esas técnicas sofisticadas tienen costo. ¿Todo eso por seis dólares al mes por persona?
Y hay otra cuenta que tampoco ayuda. Incluso usando un modelo barato, a unos US$0,30 por millón de tokens de entrada, procesar doce millones costaría alrededor de US$3,60 cada vez que alguien aprieta Enter. Y me están cobrando seis dólares por persona por todo el mes. Difícil que esa economía cierre.
¿Puede efectivamente una compañía ofrecer ese alcance, esa flexibilidad, a 6 dólares mensuales por persona, y obtener un margen que sustente el negocio?
Cinco horas frente a veinte minutos
Seguimos conversando y Diego me comentó que uno de sus colaboradores le había dicho que quizás usando la IA sus docentes harían un mejor trabajo simplemente por estar más descansados.
Me dijo que hay personas que podían pasar unas cinco horas del domingo preparando materiales para la semana. Con la IA estaban obteniendo una primera versión en veinte minutos.
Simplemente fantástico.
Ciertamente, si una persona necesita ocupar sistemáticamente su fin de semana para cumplir con las tareas normales de su trabajo, hay un problema estructural. Y si la IA consigue devolverle parte de ese domingo, ya produjo valor. Ni siquiera se necesita que produzca más. Quizás el lunes esa persona llega más descansada, con más energía y de mejor humor.
Pero entonces, se me vino otra pregunta a la cabeza.
“Pensemos en una persona normal y corriente. Lleva años dedicando parte del domingo a preparar su semana. Ahora aprieta Enter y veinte minutos después tiene delante algo que parece fantásticamente bien escrito. ¿Qué incentivo tiene a revisarlo en serio?”
Pocazo, la verdad. Lo que uno esperaría es que la persona se lance a disfrutar el día recuperado.
Entonces, ¿es razonable esperar que la persona, a motu proprio, revise a conciencia un resultado de algo que parece fantásticamente bien escrito?
Todo su ser le grita “¡Está correcto!”
Toda su esencia le dice “¡Misión cumplida!”
¿Por qué habría de dedicar un segundo a revisar algo aparentemente perfecto?
Ahí está el problema.
Porque la gente piensa que el cambio es de cinco horas a veinte minutos.
Y la verdad es que debería ser de cinco horas a veinte minutos del modelo, más el tiempo razonable para que uno pueda poner su firma y decir “certifico que esto está bien”.
Por ejemplo, si esa revisión toma una hora, la cuenta real sería cinco horas frente a una hora veinte. Igual es un muy buen cambio. La persona todavía recuperó casi cuatro horas de su domingo.
Y también se pueden cambiar los incentivos. Si alguien encuentra un problema interesante, que lo presente al resto. Hagamos un pequeño concurso, un premio a los mejores casos. Que encontrar una falla también sea una oportunidad para lucirse. La persona sigue ganando tiempo, pero ahora tiene además una razón para mirar con atención.
Se lo comenté más o menos así y después le dije. “Déjame darte un ejemplo de esto. Esta misma semana me pasó algo parecido dando un workshop de IA”.
Una persona estaba sorprendida con los análisis que estaba obteniendo de la IA. Había conseguido en pocos minutos algo que antes le habría tomado muchísimo más tiempo. Estaba genuinamente entusiasmado, ojos brillantes, una tremenda sonrisa, pura satisfacción.
Cuando me explicó la maravilla le pregunté.
“¿Apostarías tu trabajo a que esto está correcto?”
El grupo se rió. Él también.
Lo pensó apenas unos segundos.
“No”.
Cuando se lo conté, Diego se rió también. Me miró con cara de “toda la razón”.
La conciencia del “costo de equivocarse” reemplazó en segundos el exceso de entusiasmo y lo convirtió en un “No” con mayúsculas.
Escepticismo activo
Diego me habló entonces de lo que estaba diciéndole a su gente que debían mirar los resultados con un “sano escepticismo”.
“Yo cambiaría una palabra”, le dije.
“¿Cuál?”
“Sano. Es poco claro, es casi opcional. Usa el adjetivo activo. Escepticismo activo”.
“Toma a las personas más competentes del equipo y anímalas a hacer pruebas de estrés. Que vean dónde falla. Que prueben casos difíciles y analicen los resultados para ver qué encuentran. Que empujen deliberadamente la herramienta hasta descubrir sus límites”.
Ese ejercicio además cambia la forma de usarla. La gente deja de pedirle deseos a la IA y empieza a explicarle procesos. Al probar distintas instrucciones, contextos y criterios, va descubriendo qué hace bien, qué hace mal y qué necesita para funcionar mejor.
Y ahí aparece otra discusión frecuente. Muchos dicen que la solución es poner a un “humano en el loop”. Como que da tranquilidad. Pero ¿qué humano? Pues esto sirve solo si ese humano puede detectar el error. Si en una tarea determinada la IA sabe más que uno, razona mejor que uno o simplemente maneja información que uno no conoce, revisar se convierte en un ritual. Se lee, parece razonable y se aprueba.
En el rubro de la formación y educación hay, además, una dificultad especial. Comparémoslo con los errores comerciales. Esos aparecen rápido. Me prometiste A, me entregaste B, reclamo. En educación, una idea equivocada que “planta” un docente en un alumno puede quedarse instalada durante meses sin consecuencias. El problema aparece después, cuando el alumno toma una decisión apoyándose en ella y los hechos muestran que se equivocó. Y ahí vienen frases del tipo “yo pensé que…”, “yo creí que…”.
Por eso importa no dejarse llevar por la apariencia de calidad. Una respuesta puede estar perfectamente redactada, ordenada y convincente, y seguir estando equivocada. Y si además me dijeron que la herramienta conoce la institución, considera la normativa y aprende de cada persona, ¿qué incentivo tengo para ir a buscar posibles errores?
La magia de la IA
Hace un tiempo escribí sobre el Fake AI, la inflación de inteligencia artificial gatillada por organizaciones que tratan de que sus productos parezcan más inteligentes de lo que realmente son.
Este caso, aunque distinto, tiene algo de eso.
La empresa que le presta servicios de IA a Diego probablemente ofrece soluciones que aportan a sus clientes, con una relación costo-beneficio razonable, acercándoles una tecnología a la que difícilmente podían acceder por sí solos.
Eso ya es valioso.
Pero cuando uno mira el discurso comercial aparece el humo. Una IA que piensa como tu institución, que puede alinear todo, que aprende de cada persona, que incorpora el currículo, el proyecto educativo y el marco normativo.
Esas promesas, tomadas literalmente, demandan de quien ofrece el servicio un nivel de sofisticación y complejidad poco frecuentes, e incluso técnicamente no viable dadas las restricciones técnicas de esta tecnología. Algunas de las promesas pueden aproximarse con ingeniería bastante sofisticada, pero eso no es gratis.
¿Y dicen que ofrecen eso a seis dólares mensuales por persona?
Alguien podría decir, ¿y qué importa? Si la herramienta funciona y el cliente queda contento, quizás crear esa ilusión da lo mismo.
Yo creo que importa mucho.
Si una herramienta es buena, ¿por qué revestirla de un aura mágica?
Quizás sea algo que hace más fácil la venta, especialmente a quien no entiende bien qué hay detrás. Quizás sea incluso la forma de competir en un mercado donde todos parecen inflar lo que su inteligencia artificial hace. Y en ese contexto, puede entenderse una campaña pública algo exagerada.
Pero algo muy distinto es continuar con el relato mágico cuando se está sentado frente al cliente explicándole cómo funciona.
Si el producto ya resuelve un problema real, ¿por qué no centrarse en la tarea en vez de seguir inflando cosas que no son ciertas?
La ilusión que se crea genera una confianza ciega que tarde o temprano va a tener consecuencias, quizás no visibles de inmediato, pero que pueden ser profundas.
Y lo peor de todo es que queremos creer.
De hecho, esa es la causa de que funcionen los trucos de magia. Las ganas de recuperar el domingo son tan grandes que es fácil convencerse de que lo que recibimos “apretando Enter” ya cumple con todo lo necesario y no requiere un segundo más.
Pero todos sabemos también algo bastante básico.
Si algo parece demasiado bueno para ser cierto, probablemente no lo sea.
Por ejemplo, una IA sabia, todopoderosa y que no se equivoca, que en minutos resuelve mis problemas y que me cuesta seis dólares al mes por persona.
Démosle el beneficio de la duda. Hagámonos dos preguntas. Si fuera tan buenos y tan mágicos, ¿por qué no todos lo han aprovechado aún?
Y cuando lo sean, ¿cuánto tiempo pasará antes de que dejen de ser una ventaja y se conviertan simplemente en una condición pareja, casi higiénica, algo que todos necesitan tener?
Frente al relato mágico hay dos caminos. El primero es creérselo entero.
El segundo es tratar de entender, de explorar. Hacer pruebas de estrés y buscar dónde falla con una actitud de escepticismo activo. Solo entendiendo algo podemos dominarlo.
Porque cuando nos venden una “herramienta mágica”, nos roban precisamente aquello que más necesitamos frente a lo nuevo. El impulso de preguntar, probar y comprobar por nosotros mismos hasta dónde llega la herramienta en nuestro caso particular.
Y, además, es abusar de quien sabe menos, del más frágil que quiere creer.
Quizás frente a la promesa de una herramienta mágica potencialmente valiosa, la mejor respuesta sea dejar que hablen los hechos y decir “Perfecto. Interesante. Pongámosla a prueba”.
