Ingeniería de la inteligencia artificial responsable
Fecha: marzo 2026
Amparo Alonso Betanzos, Daniel Peña, Pilar Poncela y Carles Sierra (editores)
Sumario
Este libro presenta de forma ampliada siete de las ponencias presentadas en la jornada que, con el título “El futuro de la inteligencia artificial”, se organizó por los cuatro editores del libro en Funcas el 15 de octubre de 2025, y cuya grabación puede seguirse en la web de Funcas y en su canal de YouTube. Los trabajos incluidos en este libro abordan, desde distintos puntos de vista, el desarrollo futuro de la inteligencia artificial (IA), pero el título del libro se ha elegido para enfatizar un aspecto que consideramos fundamental en las contribuciones de los autores: la necesidad de un desarrollo responsable y socialmente beneficioso de la IA.
La evaluación de los sistemas de inteligencia artificial ha estado tradicionalmente dominada por métricas de rendimiento técnico, como la precisión (proporción de predicciones positivas que son correctas), el recall o sensibilidad (proporción de casos positivos reales correctamente identificados) o el área bajo la curva (AUC, Area Under Curve, que mide la capacidad del modelo para discriminar entre clases a distintos umbrales de decisión). Sin embargo, este enfoque resulta hoy claramente insuficiente para capturar los efectos reales de la IA en contextos sociales complejos, como la discriminación de grupos, la falta de confianza de los usuarios o el elevado consumo energético de los algoritmos.
Este capítulo analiza cuatro casos de uso distintos con un objetivo común: mostrar por qué es imprescindible ampliar el marco de evaluación más allá del desempeño predictivo. Esta necesidad no es solo técnica —medir dimensiones como la sostenibilidad, la personalización o el impacto social—, sino también regulatoria. El AI Act europeo introduce la obligación de evaluar riesgos, efectos sociales y posibles daños que las métricas clásicas no reflejan. Sin métricas adecuadas, la propia aplicación de esta regulación se vuelve problemática: aquello que no puede medirse difícilmente puede gobernarse.
La ausencia de métricas integrales conlleva el riesgo de desplegar sistemas técnicamente excelentes pero éticamente deficientes, como modelos de reconocimiento facial con alta precisión y sesgos discriminatorios, o asistentes conversacionales fiables en apariencia pero opacos y propensos a alucinaciones. A través de los cuatro casos estudiados —la predicción de toxicidad en plataformas digitales, las recomendaciones personalizadas con criterios de sostenibilidad, el uso ético del aprendizaje Positive Unlabeled para tratar datos sin etiquetar (cuando solo se conocen ejemplos positivos y el resto de los datos no están etiquetados) y la introducción de una métrica diádica (EAUC, Excentricity Area Under the Curve) para capturar sesgos como el de excentricidad—, el capítulo demuestra que lo que no se mide también importa. Justicia, transparencia y sostenibilidad ambiental deben incorporarse explícitamente a la evaluación, como condición necesaria para construir sistemas de IA que generen valor no solo técnico, sino también social.
La inteligencia artificial a menudo se concibe como el proyecto de diseñar agentes artificiales capaces de tomar decisiones de forma autónoma y actuar de forma eficiente en entornos cada vez más complejos. Cuanto más sofisticadas se hagan las tareas que los humanos deleguemos en dichos agentes, menos podremos supervisar sus decisiones y mayor será el impacto (positivo o negativo) que tendrán sus acciones en nuestras vidas. Hay una concienciación creciente de que la autonomía de los sistemas IA ha de desempeñarse de forma responsable y, en particular, que sus decisiones y acciones han de estar alineadas con los valores (éticos) de la sociedad. En este capítulo se van a repasar algunas técnicas para gobernar los sistemas multiagente, y presentar modelos recientes para que los agentes IA puedan desempeñar su autonomía de forma responsable, alineando sus acciones con los valores éticos de la sociedad.
Este capítulo analiza el impacto de la inteligencia artificial (IA) desde la perspectiva de la alfabetización, como condición necesaria para un uso responsable, seguro y socialmente beneficioso de esta tecnología. Tras describir el contexto de adopción acelerada de la IA y los riesgos asociados a su autonomía, opacidad y carácter probabilístico, se argumenta la necesidad de una formación que integre capacitación técnica, pensamiento crítico, responsabilidad legal y control humano. La parte final del capítulo plantea una reflexión sobre el impacto de la IA en el aprendizaje y, a modo de ejemplo, desarrolla el posible uso de la IA generativa como soporte para el estudio.
Los términos “Agentic AI (IA agentiva)” y “Multiagentic AI (IA multiagentiva)” han ganado popularidad recientemente en los debates sobre inteligencia artificial generativa, a menudo utilizados para describir agentes de software autónomos y sistemas compuestos por dichos agentes. Sin embargo, estos conceptos no representan una nueva ontología de agentes, sino una reconfiguración tecnológica de ideas ya consolidadas en la teoría de agentes autónomos y sistemas multiagente (MAS) desde hace muchos años. El uso de estos términos confunde estos conceptos de moda con conceptos bien establecidos en la literatura de la IA: agentes autónomos y sistemas multiagente. El capítulo aboga por el rigor científico y tecnológico y por el uso de la terminología establecida del estado del arte en IA, incorporando la riqueza del conocimiento existente —incluidos los estándares para plataformas de sistemas multiagente, lenguajes de comunicación y algoritmos de coordinación/cooperación, tecnologías de acuerdo (negociación automática, argumentación, organizaciones virtuales, confianza, reputación, etc.)— en la nueva y prometedora ola de agentes de IA basados en LLM, para no terminar reinventando la rueda.
Este trabajo propone un marco analítico para comprender la evolución reciente de la inteligencia artificial (IA), superando la narrativa simplista de “veranos e inviernos”. A través de la teoría de ciclos adaptativos y panarquía, se interpreta la IA como un sistema sociotécnico complejo, donde invención, innovación y difusión interactúan en múltiples escalas. Se revisan hitos históricos, desde la teoría estadística hasta el aprendizaje profundo y los grandes modelos de lenguaje, y se analizan limitaciones, anomalías empíricas y la transición hacia aplicaciones prácticas. El enfoque multinivel permite reconciliar expectativas extremas con la realidad, ofreciendo una visión prospectiva para la gestión estratégica de la tecnología.
La inteligencia artificial a menudo se concibe como el proyecto de diseñar agentes artificiales capaces de tomar decisiones de forma autónoma y actuar de forma eficiente en entornos cada vez más complejos. Cuanto más sofisticadas se hagan las tareas que los humanos deleguemos en dichos agentes, menos podremos supervisar sus decisiones y mayor será el impacto (positivo o negativo) que tendrán sus acciones en nuestras vidas. Hay una concienciación creciente de que la autonomía de los sistemas IA ha de desempeñarse de forma responsable y, en particular, que sus decisiones y acciones han de estar alineadas con los valores (éticos) de la sociedad. En este capítulo se van a repasar algunas técnicas para gobernar los sistemas multiagente, y presentar modelos recientes para que los agentes IA puedan desempeñar su autonomía de forma responsable, alineando sus acciones con los valores éticos de la sociedad.
La integración ética de la inteligencia artificial (IA) en la sociedad requiere superar tanto el catastrofismo apocalíptico como las limitaciones de los enfoques éticos puramente normativos. Este capítulo argumenta que el camino viable no reside en dotar a las máquinas de conciencia fenomenológica (consciousness), sino de capacidad operativa (awareness) para reconocer y actuar conforme a los valores humanos. Partiendo de la distinción filosófica crítica entre ambos conceptos, se defiende que es posible y necesario construir agentes value-aware (conscientes de valores) sin atribuirles un estatus moral inherente. Para ello, se presenta un marco de ingeniería centrado en la Incrustación de Valores (Value Embedding), que supera la rigidez del Diseño Sensible a Valores al internalizar representaciones computacionales de los valores, permitiendo una adaptación autónoma y contextual.
El núcleo de la propuesta es la arquitectura Reflective Global Neuronal Workspace (RGNW), inspirada en la neurociencia cognitiva y estructurada en tres niveles (reactivo, deliberativo y reflectivo). Este modelo no solo ejecuta comportamientos, sino que reflexiona sobre ellos a la luz de un sistema de valores, gestionando la coherencia entre preferencias axiológicas, normas derivadas y acciones. La RGNW dota al agente de una teoría de la mente artificial que le permite inferir los valores y estados mentales de sus interlocutores, y lo posiciona como un participante activo en la negociación social de valores. Así, el capítulo trasciende la visión de la IA como mero ejecutor de reglas, presentándola como un ente capaz de comprender, adaptarse y contribuir al dinámico ecosistema moral humano. La viabilidad del enfoque se demuestra con aplicaciones prácticas en análisis de redes sociales, robótica asistencial y herramientas de apoyo a la decisión clínica, señalando un camino pragmático y urgente hacia una IA socialmente responsable.