La IA como ignorancia artificial

Documento de trabajo

por Bent Flyvbjerg*

Universidad de Oxford

Universidad de TI de Copenhague

SSRN

Resumen

La IA y las sandeces (en el sentido filosófico fuerte de Harry Frankfurt) son similares en el sentido de que ambas priorizan la retórica sobre la verdad. Mezclan afirmaciones verdaderas, falsas y ambiguas de tal manera que dificulta distinguirlas. La IA suena convincente incluso cuando está equivocada. Por lo tanto, la IA actual se centra más en la persuasión que en la verdad. Esto es un problema porque significa que la IA produce resultados erróneos e ignorantes. Por ahora, debemos ser muy escépticos con respecto a la IA.

Palabras clave : IA, inteligencia artificial, ignorancia artificial, grandes modelos de lenguaje (LLM), inteligencia artificial general (GAI), ChatGPT, perplejidad, tonterías

Referencia completa : Flyvbjerg, Bent, 2025, "AI as Artificial Ignorance", documento de trabajo, Universidad de Oxford, Universidad de TI de Copenhague.

* Profesor Emérito de la Universidad de Oxford; Villum Kann Rasmussen, Profesor y Presidente de la Universidad de TI de Copenhague.

Introducción

En el prólogo de su libro The Coming Wave , Mustafa Suleyman, director ejecutivo de Microsoft AI y cofundador de DeepMind, afirma: «Nunca antes hemos presenciado tecnologías con un potencial tan transformador... Con la IA, podríamos desvelar los secretos del universo, curar enfermedades que se nos han escapado durante mucho tiempo y crear nuevas formas de arte y cultura que amplíen los límites de la imaginación».1

Sin embargo, hay una trampa. Al final del Prólogo citado, Suleyman revela que en realidad no lo escribió él, sino una IA.

Pero las propias reflexiones de Suleyman sobre la IA son tan estimulantes como lo que la IA escribe sobre sí misma. «Estoy convencido de que estamos a punto de la transformación más importante de nuestras vidas», explica.² Para que esta transformación se haga realidad, necesitamos «destilar la esencia de lo que nos hace humanos tan productivos y capaces en software, en un algoritmo». El objetivo es «replicar precisamente aquello que nos hace únicos como especie: nuestra inteligencia». Hacerlo nos ayudaría a afrontar los «tremendos desafíos» que enfrenta la humanidad, como el cambio climático, la alimentación sostenible y el envejecimiento de la población.

Hoy en día, la IA ya produce resultados impresionantes en áreas específicas como la transcripción de voz, la traducción de idiomas y el reconocimiento facial, pero parece que "alcanzará un rendimiento a nivel humano en una amplia gama de tareas en los próximos tres años", predijo Suleyman en 2023. El futuro podría darle la razón. Pero aún no hemos llegado a ese punto, ni siquiera cerca. En cambio, podríamos estar presenciando otra fiebre del entusiasmo por la IA.

1. Suleyman, Mustafa con Michael Bhaskar, 2023, La ola que viene: IA, poder y el mayor dilema del siglo XXI , The Bodley Head, pág. 3.
2. Suleyman, 2023, La ola que viene , pág. 16.

3. Suleyman, 2023, La ola que viene , págs. 7-8.

4. Suleyman, 2023, La ola que viene , pág. 9.

Una prueba sencilla de IA

Para comprobar la popularidad, simplemente pregúntale a una IA líder sobre algo que conozcas. Por ejemplo, le pedí a ChatGPT que me diera una lista de diez megaproyectos con sobrecostos superiores al 200%, con base en la decisión final de inversión (FID), e indicara el sobrecosto de cada uno. ChatGPT elaboró de inmediato una lista que parecía convincente, con una introducción y un final bien formulados. Excepto por un detalle.

En su lista, ChatGPT incluyó dos proyectos con nombres diferentes que en realidad son el mismo proyecto: (a) "The Big Dig en Boston, EE. UU. (2007): sobrecosto del 210 %" y (b) "The Boston Central Artery/Tunnel Project (2007): sobrecosto del 190 %". 5 "Big Dig" es el apodo del "proyecto de la Arteria Central/Túnel", que es el nombre oficial del proyecto. Cualquier bostoniano lo sabe, al igual que muchos estadounidenses y la mayoría de los expertos en megaproyectos. Pero ChatGPT lo desconocía, lo cual es sorprendente, especialmente porque Big Dig fue el proyecto de obras públicas más costoso de la historia de Estados Unidos cuando se planificó y construyó. El proyecto fue noticia constantemente durante casi dos décadas y se escribieron libros sobre él. Al confundir los dos nombres con dos proyectos distintos y enumerar diferentes sobrecostos para cada uno, ChatGPT no produjo inteligencia artificial, sino ignorancia artificial , incluso confusión.

Puedes generar fácilmente ejemplos como este por tu cuenta. De hecho, no puedes evitarlo si usas versiones actuales de IA. Para comparar los hallazgos de ChatGPT con los de otra IA, le pregunté a Perplexity: "¿Cuál fue el porcentaje de sobrecosto en la Gran Excavación?". Perplexity respondió que la Gran Excavación "experimentó un sobrecosto significativo... de aproximadamente el 478%". 6 Esto es más del doble del sobrecosto encontrado por ChatGPT anteriormente. La diferencia podría deberse a que Perplexity incluyó la inflación al calcular sobrecosto, aunque esto no sería estándar. Así que lo comprobé preguntando directamente a Perplexity, quien me aseguró: «El sobrecosto para la Gran Excavación... se da en términos reales», es decir, sin inflación. 7

5. https://chat.openai.com/c/7e54e282-9068-4e00-9e8d-86073f260788, recuperado el 17 de febrero de 2024.
6. https://www.perplexity.ai/search/Please-make-me-s7MSotZVTkmrtBTrrY4O5Q , recuperado el 17 de febrero de 2024. A diferencia de ChatGPT, Perplexity identificó explícitamente el Big Dig y el Proyecto de Arteria/Túnel Central como un mismo proyecto.

En este contexto, es evidente que ChatGPT, Perplexity o ambos se equivocaron con el sobrecosto de la Gran Excavación. De hecho, ambos se equivocaron, y Perplexity se equivocó significativamente más que ChatGPT. La cifra correcta para el sobrecosto de la Gran Excavación es del 220 %, una cifra publicada en investigaciones revisadas por pares y ampliamente citadas, y por lo tanto, es sorprendente que ni ChatGPT ni Perplexity la conozcan, como lo haría una persona inteligente que investigara el tema. Pero ni siquiera necesitamos conocer la cifra exacta para ver que no se puede confiar en la IA en cuanto a los nombres de los proyectos y el sobrecosto; basta con las flagrantes inconsistencias. De nuevo, el sobrecosto del 478 % hallado por Perplexity no es inteligencia artificial, sino ignorancia artificial, un error muy amplio.

Más pruebas y un veredicto

En una experiencia anterior con IA, hace unos años, mi puerta principal necesitaba ser repintada. Daba a un pasillo con otras puertas del mismo color: un azul oscuro inusual, casi negro. Así que tenía que acertar con el color o tendría problemas con mis vecinos y la comunidad de propietarios. Se lo expliqué a mi pintor. "No hay problema", dijo, y de repente creó una aplicación en su teléfono con una IA que determinaría el color exacto de mi puerta simplemente tomándole una foto con la cámara. La aplicación también generaría un código para el taller de pintura, para que pudieran obtener la mezcla de pintura perfecta. "¡Genial!", dije, "¡Hagámoslo!". Tomé la foto, envié el código al taller, mezclé la pintura, la recogí, la apliqué a mi puerta y la dejé secar. Sin embargo, el resultado no fue tan bueno. La puerta ahora tenía un color obviamente diferente al anterior y al de las otras puertas del pasillo. La aplicación había fallado. Mi pintor lo reconoció y recurrió al método tradicional de prueba y error, mezclando muestras y aplicándolas a...

7. También verifiqué que Perplexity utilizó la misma línea base que ChatGPT (la decisión de inversión final) para calcular el sobrecosto, lo cual fue el caso.

Mi puerta hasta que, tras una inspección visual, acordamos que el color de la pintura anterior era el mismo. Luego, la puerta se volvió a pintar, con el resultado deseado, pero tardando el doble y costando el doble de lo que habría sido si hubiéramos ignorado la IA desde el principio. La inteligencia artificial resultó ser una auténtica pérdida de tiempo y dinero en este caso. Esto ocurrió hace algunos años, por lo que es posible que la aplicación haya mejorado o haya sido reemplazada por una mejor. Sin embargo, la IA actual presenta fallos similares, como ilustran los ejemplos anteriores, con errores más difíciles de detectar que el color incorrecto de una puerta.Poco después de realizar mis experimentos con ChatGPT y Perplexity, Nassim Nicholas Taleb hizo algo similar, específicamente para ChatGPT, y publicó sus conclusiones en X (anteriormente Twitter): " VEREDICTO SOBRE ChatGPT : SOLO se puede usar si conoces el tema muy, muy bien. Comete errores vergonzosos que solo un conocedor puede detectar... Entonces, si debes conocer el tema, ¿por qué usar ChatGPT?" (negrita y mayúsculas en el original).8 La conclusión de Taleb se ajusta a la mía al enfatizar la ironía de que para dar sentido a los resultados de ChatGPT necesitas conocer el tema a un nivel en el que no necesitas ChatGPT.

Explicando la diferencia entre la publicidad exagerada y la realidad

Es fácil explicar el marcado contraste entre la deficiente "inteligencia" de ChatGPT y la exageración de Mustafa Suleyman mencionada anteriormente. Suleyman habla de inteligencia artificial general (IAG), mientras que ChatGPT es una inteligencia artificial generativa que se limita a lo que funciona con base en grandes modelos lingüísticos (LLM). La IAG no existe hoy en día, por lo que no se puede probar. Esto permite un amplio margen para la especulación, los postulados y la exageración, al estilo de Suleyman. Los LLM se utilizan para la generación de texto utilizando grandes volúmenes de texto ya existente como entrada y luego prediciendo repetidamente la siguiente palabra de una manera que parece correcta (pero a menudo no lo es), al compararla con el texto existente. Los LLM son mucho más...

8. https://twitter.com/nntaleb/status/1759234709949710753, 18 de febrero de 2024.

Son más limitadas que la IA general y no se puede decir que sean verdaderamente inteligentes, como lo ilustran los ejemplos anteriores. Las LLM carecen de lógica o hechos que permitan determinar la verdad. Simplemente generan texto que suena correcto al compararlo con el texto existente, sin saber si el texto generado es realmente correcto.

La inteligencia limitada de ChatGPT no significa que no existan áreas específicas en las que pueda ser útil. Taleb menciona la generación de código, la redacción de cartas de condolencia y la invención de citas. Sin embargo, parece claro que, en su nivel actual de desarrollo, el verdadero riesgo de usar ChatGPT y otras IA similares no es que la IA demuestre ser superior a la inteligencia humana y los haga superfluos. El verdadero riesgo es que los humanos comiencen a confiar en una IA que, de hecho, es ignorante y defectuosa, lo que podría resultar desastroso. Las IA actuales están bien formuladas y son persuasivas, incluso cuando se equivocan, porque así fueron diseñadas. Esto hace que sea demasiado fácil confiar en una IA, especialmente en áreas donde, como usuario, no se conoce bien el tema. Nuestro mayor riesgo somos, como siempre, nosotros mismos.

Una perspectiva de la industria

La industria automotriz parece reconocer esto, al menos por ahora. Basándose en una prueba de IA en automóviles iniciada a finales de 2023, Car Magazine , un medio líder del sector, cuestionó la afirmación de la IA de ser vanguardista. La revista descubrió que la base de conocimientos de la IA no estaba actualizada, lo que parece ser un problema general. Una inteligencia desactualizada difícilmente puede considerarse inteligente. Peor aún, la IA inventó cosas al estilo típico de los grandes modelos lingüísticos.

El director de tecnología de Mercedes, Markus Schäfer, comentó: "Si te sientas en un automóvil y ChatGPT te dice algo que es una completa tontería, podrías estar expuesto a casos de responsabilidad del producto".9 Para la industria, la ignorancia y la responsabilidad van de la mano, incluida la ignorancia artificial, que es lo que

9. Groves, Jake y Tom Webster, 2024, "¿Mejorará la IA tu nuevo coche?" , Car Magazine , número 740, marzo, pág. 25.

La IA se produce sistemáticamente, según el juicio. Por lo tanto, Schäfer advirtió sobre la cautela con la IA en los automóviles.

ChatGPT como generador de sandeces

Las mentiras y la IA generativa no son lo mismo. Sin embargo, son similares en el sentido de que ambas combinan afirmaciones verdaderas, falsas y ambiguas de maneras que dificultan o imposibilitan distinguirlas. ChatGPT ha sido diseñado para sonar convincente, independientemente de si es correcto o no. Por lo tanto, la IA actual se centra más en la retórica y la persuasión que en la verdad.10 Por lo tanto, la IA actual está más cerca de las mentiras que de la verdad. Esto es un problema porque significa que la IA producirá resultados erróneos e ignorantes, incluso sin querer.

Por lo tanto, es interesante observar que el profesor Alan Blackwell, del Departamento de Ciencias de la Computación y Tecnología de la Universidad de Cambridge, no duda en llamar a ChatGPT "un generador de sandeces". 11 Puede parecer un comentario frívolo, pero en realidad Blackwell elige sus palabras con cuidado al no usar el término "sandeces" en su sentido cotidiano. Utiliza la definición "científica" de Harry Frankfurt (palabra de Blackwell), como hicimos anteriormente. Con base en esto, Blackwell concluye: "No hay ningún algoritmo en ChatGPT para verificar qué partes son verdaderas. El resultado es literalmente una sandez, tal como lo definió el filósofo Harry Frankfurt". 12 Además, haciendo referencia al profesor de la Universidad de Toronto Geoffrey Hinton, ampliamente conocido como el "Padrino de la IA", Blackwell continúa enfatizando que "uno de los mayores riesgos [de la IA] no es que

10. La IA implica una teoría pragmática de la verdad; es decir, las afirmaciones que funcionan se consideran verdaderas. Sin embargo, las teorías pragmáticas de la verdad son inviables, como se argumenta más adelante.
11. Blackwell, Alan, 2023, "Oops! We Automated Bullshit", blog de Alan Blackwell, 9 de noviembre, https://www.cst.cam.ac.uk/blog/afb21/oops-we-automated-bullshit , recuperado el 3 de abril de 2024. Véase también Blackwell, Alan, 2024, Moral Codes: Designing Alternatives to AI , MIT Press.
12. Blackwell, Alan, 2023, "Oops! We Automated Bullshit", blog de Alan Blackwell, 9 de noviembre, https://www.cst.cam.ac.uk/blog/afb21/oops-we-automated-bullshit , recuperado el 3 de abril de 2024. Véase también Blackwell, Alan, 2024, Moral Codes: Designing Alternatives to AI , MIT Press.