La propuesta cuestiona que el desarrollo de la inteligencia artificial deba medirse fundamentalmente en función de su capacidad para alcanzar o superar el rendimiento humano. En un escenario internacional marcado por la carrera hacia sistemas cada vez más generales y potentes, los investigadores consideran que este enfoque mantiene una concepción antropomórfica de la inteligencia y resulta insuficiente para comprender el comportamiento de las tecnologías actuales.
Los autores vinculan esta forma de evaluación con la lógica que durante décadas representó el Test de Turing, concebido para valorar si el comportamiento de una máquina podía llegar a resultar indistinguible del de una persona. «Un referente que durante décadas marcó el desarrollo de la disciplina pero que hoy resulta insuficiente para evaluar los sistemas actuales», apunta José Hernández-Orallo.
El artículo, publicado en Science, es fruto del trabajo liderado por José Hernández-Orallo, investigador del Instituto VRAIN de la Universitat Politècnica de València (UPV) y miembro de ValgrAI. Cuenta también con investigadores de la Universidad de Cambridge, la Universidad de Princeton, el Instituto Tecnológico de Massachusetts (MIT) y Google DeepMind.
Frente a ese modelo, el trabajo articula tres perspectivas complementarias para analizar los sistemas de inteligencia artificial. La primera propone abandonar las clasificaciones basadas en una única medida general y avanzar hacia la caracterización de diferentes perfiles cognitivos, formados por distintas capacidades y propensiones. El objetivo es poder analizar la diversidad de comportamientos de los sistemas y disponer de evaluaciones que permitan comprender mejor en qué situaciones pueden funcionar adecuadamente y en cuáles pueden aparecer limitaciones.
La segunda perspectiva desplaza parte de la atención desde la propia máquina hacia la relación entre la inteligencia artificial y las personas. En lugar de limitarse a estudiar qué tareas puede realizar una IA en sustitución de un ser humano, los investigadores plantean evaluar cómo se transforma la cognición humana cuando ambos trabajan conjuntamente. La cuestión pasa así de comparar rendimientos entre personas y máquinas a estudiar de qué manera las nuevas herramientas modifican las formas de pensar y actuar de quienes las utilizan.
El tercer eje amplía la evaluación al impacto social. Según la propuesta, no sería suficiente determinar hasta qué punto un sistema se encuentra alineado con determinados valores humanos, sino que habría que analizar los beneficios y daños producidos por su intervención en la sociedad. Para ello, los investigadores defienden la utilización de entornos de prueba capaces de simular diferentes escenarios antes del despliegue de una tecnología y contribuir así a anticipar sus posibles consecuencias.
«El objetivo final es responder a una pregunta clave: si la sociedad estará realmente mejor después de incorporar una determinada inteligencia artificial», señala José Hernández-Orallo.
Esta aproximación implica prestar atención a cada sistema y a las circunstancias concretas en las que vaya a utilizarse, en lugar de confiar únicamente en indicadores generales de capacidad. Los tests deberían contribuir a predecir tanto el rendimiento como los posibles riesgos de una inteligencia artificial en situaciones particulares y proporcionar información útil antes de su aplicación efectiva.
Los investigadores consideran que el desarrollo de estos nuevos métodos de evaluación adquiere especial importancia por la velocidad a la que están evolucionando las tecnologías de inteligencia artificial. La rápida progresión de los modelos basados en arquitecturas transformer y la aparición continua de nuevos agentes incrementan la necesidad de disponer de instrumentos que permitan comprender su comportamiento y anticipar sus efectos.
En este contexto, el reto no consistiría exclusivamente en construir modelos más potentes. El trabajo sitúa también entre las prioridades el desarrollo de herramientas capaces de explicar y evaluar sus decisiones, determinar sus capacidades y limitaciones y analizar con antelación tanto los beneficios que pueden aportar como los riesgos asociados a su utilización.
La propuesta sitúa de este modo la evaluación como una parte central del desarrollo de la inteligencia artificial. Frente a una carrera basada principalmente en comprobar hasta dónde pueden llegar los nuevos sistemas respecto al rendimiento humano, los investigadores defienden evaluaciones orientadas a conocer qué puede hacer cada tecnología, cómo modifica las capacidades de quienes trabajan con ella y qué consecuencias puede generar su implantación en la sociedad.
Artículo redactado con asistencia de IA (Ref. APA: OpenAI. (2026). ChatGPT (GPT-5.6 Sol, 7 de agosto). OpenAI).
