¿Por qué la inteligencia artificial (IA) hace lo que hace? ¿Por qué toma unas decisiones y no otras? Estas preguntas tan básicas son complicadas de responder, incluso por los propios desarrolladores de esta revolucionaria tecnología. Para que las motivaciones de la IA siempre sean claras y, sobre todo, trazables, un equipo de investigadores leoneses está desarrollando un sistema pionero sobre registro de eventos mediante criptografía blockchain.
El proyecto Trazabilidad y Explicabilidad en Sistemas con Capacidades Autónomas ante Ciberataques (Tescac) es fruto de una colaboración entre el Instituto Nacional de Ciberseguridad (Incibe) y la Universidad de León (ULE). Ángel Manuel Guerrero es el investigador principal de este trabajo enmarcado en el grupo de Robótica, formado por unas 30 personas. Algunas de ellas se dedican más a la robótica de servicios, mientras que otros, como en este caso, están más próximos a la ciberseguridad.
El sistema que están configurando sería similar a la caja negra de un avión. De este modo, se iría almacenando la información que se monitorizase: telemetría del robot, información de sus sensores… Así, este proyecto sería «extrapolable a cualquier sistema con capacidades autónomas», como vehículos, drones o máquinas industriales de cadenas de montaje. «Una caja negra, para que pueda considerarse como tal, debe contar con un sistema antimanipulación. En el caso del avión está pensado para que, si se estrella, esta caja sobreviva. Es una seguridad física. Pero esto sería darle la vuelta para ir a la seguridad lógica. Tenemos que asegurar que, pase lo que pase, nadie comprometa la información que hay almacenada en esa caja negra. Ahí es donde entra la criptografía basada en blockchain. Lo que hacemos es cifrar la información, de manera que cualquier intento de manipularla va a quedar registrado», explica Guerrero de forma divulgativa.
Esta iniciativa está financiada por la Unión Europea con fondos Next Generation y del Plan de Recuperación, Transformación y Resiliencia a través del Incibe. Según se destaca en la web del organismo ubicado en La Lastra, el objetivo principal del proyecto es crear sistemas con capacidades autónomas «más ciberseguros y confiables» con el fin de aumentar la «transparencia y la fiabilidad» de los mismos. Se busca, por tanto, ya sea «en local o en la nube», garantizar la trazabilidad.
Por su parte, en el Portal de la Investigación de la ULE se detalla que el proyecto Tescac cuenta con una financiación de 412.050 euros y tiene 26 meses de duración, que terminarían a finales de año. «El problema de cualquier modelo basado en IA es que toma decisiones y no sabemos muy bien por qué las toma. Tú si tomas una decisión, sabes por qué lo has hecho. Pues cualquier sistema basado en IA tiene que hacer lo mismo. Explicar y rendir cuentas de por qué ha tomado esa decisión y no otra. Tener esa información a salvo es de vital importancia», manifiesta Guerrero.
Cumplir con la normativa europea
Esta rendición de cuentas se encuentra íntimamente relacionada con una nueva normativa europea, «ya en camino», sobre IA. Ante el auge de esta tecnología, esta legislación obligará a los fabricantes de sistemas con capacidades autónomas a dejar «evidencias» de por qué estos se comportan de una determinada manera. Esta información va a tener que registrarse «sí o sí» y León, con esta colaboración entre el Incibe y la ULE, busca estar bien posicionada.
La IA tendrá que ser capaz de justificar sus decisiones y, según Guerrero, el grupo de Robótica de la Universidad «es pionero en el mundo». Al menos, en lo que se refiere a aportar una «solución genérica» que garantice que los datos no van a ser manipulados.
Criptografía blockchain
Una de las principales innovaciones de la propuesta es la combinación de estos registros con criptografía blockchain, asegurando que los datos almacenados sean inmutables y resistentes a esas posibles manipulaciones. Actualmente, se trata de un sistema precomercial; pero, según explican sus promotores, ya hay algunas empresas interesadas en la tecnología. Estas serían las encargadas de «afinar y abaratar» el sistema, dado que estos investigadores leoneses forman parte de un grupo de I+D y, por tanto, más que soluciones para un cliente final, se dedican a desarrollar pruebas de concepto.
El proyecto se antoja especialmente útil en caso de crisis. De cualquier sistema que tome decisiones sin mediación humana, por lo que aspiradoras y lavadoras inteligentes, por citar algunos ejemplos cotidianos, también registrarán su actividad gracias a Tescac. «Por ejemplo, las aspiradoras inteligentes a veces nos las encontramos accidentadas en sitios que no deberían de estar. ¿Qué ha pasado ahí? La caja negra serviría para saber la razón de que se haya parado o enganchado o el motivo por el que se ha podido llegar, por ejemplo, a incendiar», comenta el investigador principal y responsable del proyecto.
Explicaciones comprensibles
Guerrero explica que el funcionamiento, continuando con el símil de la caja negra, se asemejaría a contar con un perito que analizase todo lo que pasa en el avión desde lo alto. Algo que permitiría «levantar la mano» ante cualquier posible incidente para «que no vaya a más». «Cuando hay un accidente, un perito forense tiene que ponerse a trabajar con la caja negra y con los datos que tiene contenidos para emitir un informe. Aprovechando que tenemos esa información, se nos ocurrió montar un perito forense dentro de la caja negra. Hemos utilizado la misma tecnología que hay detrás de Chat GPT y todo ese tipo de sistemas, valiéndonos de un sistema de lenguaje que automáticamente va ejecutando en tiempo de ejecución todo lo que se está guardando en la caja negra. Nosotros analizamos toda la telemetría que hay almacenada en la caja negra para dar una explicación en lenguaje natural que cualquiera pueda entender», detalla el investigador del Campus de Vegazana.
Para lograr estas explicaciones comprensibles se ha desarrollado un sistema basado en modelos de lenguaje de gran escala, conocidos como LLMS, que analiza los registros y genera explicaciones en lenguaje natural sobre su comportamiento. Una caja negra de la IA, por tanto, que habla a las claras y que lo hace, con voz potente, desde León.