Solium Legal Finance

Agentes de IA en la empresa: ¿hasta dónde deberían poder actuar?

La inteligencia artificial está entrando en una nueva fase dentro de las empresas.

 

Hasta ahora, buena parte de su uso consistía en pedir a una herramienta que redactara un correo, resumiera un documento, analizara información o propusiera una respuesta.

 

Los agentes de inteligencia artificial van un paso más allá.

 

Pueden acceder al correo electrónico, consultar calendarios, buscar información en archivos corporativos, conectarse con otras aplicaciones e incluso ejecutar determinadas acciones en nombre del usuario.

 

Esta capacidad abre importantes posibilidades de automatización, pero también cambia sustancialmente el nivel de riesgo.

 

Cuando una IA únicamente genera una respuesta incorrecta, el problema puede detectarse antes de actuar. Cuando tiene capacidad para ejecutar acciones, un error puede convertirse en un correo enviado, un documento compartido, una operación autorizada o información facilitada a un tercero.

 

La Agencia Española de Protección de Datos (AEPD) ha puesto recientemente el foco en esta cuestión mediante la publicación de un decálogo para el uso seguro de asistentes y agentes de IA.

 

Para las empresas, el mensaje de fondo es especialmente relevante: delegar tareas en una IA no significa delegar también la responsabilidad sobre lo que hace con los datos y sistemas a los que tiene acceso.

¿Qué diferencia a un agente de IA de un asistente tradicional?

La diferencia fundamental está en su capacidad de actuación.

 

Una herramienta de IA generativa convencional recibe una instrucción y genera una respuesta. El usuario decide posteriormente qué hacer con ella.

 

Un agente puede recibir un objetivo más amplio y realizar distintas tareas para alcanzarlo.

 

Por ejemplo, una empresa podría utilizar un agente para revisar una bandeja de entrada, identificar determinados mensajes, consultar información en el sistema interno, preparar respuestas, programar reuniones y actualizar posteriormente una aplicación de gestión.

 

Esto implica que el sistema no solo procesa información.

 

También puede interactuar con el entorno digital de la organización y adoptar o ejecutar determinadas acciones.

 

Cuanto mayor sea ese nivel de autonomía, mayor debe ser también el control sobre sus permisos, fuentes de información y capacidad de actuación.

El problema de conceder demasiados permisos

Uno de los principales riesgos aparece cuando un agente recibe permisos mucho más amplios de los que necesita para realizar una tarea concreta.

 

Un empleado podría, por ejemplo, conectar una herramienta de IA a su correo corporativo simplemente para que le ayude a organizar reuniones.

 

Pero si esa autorización permite también leer todos sus mensajes, acceder a archivos adjuntos, consultar contactos o enviar comunicaciones, el sistema pasa a disponer de una cantidad de información considerablemente superior a la necesaria para la finalidad inicialmente prevista.

 

Desde la perspectiva de protección de datos, esta cuestión conecta directamente con el principio de minimización.

 

La lógica debería ser sencilla: un agente no tendría que acceder a todos los datos disponibles simplemente porque técnicamente puede hacerlo.

 

Debería acceder únicamente a aquellos que necesita para cumplir la función que se le ha asignado.

 

Este criterio también debería aplicarse a las acciones.

 

Si una herramienta solo necesita consultar una agenda para proponer horarios, no parece necesario que pueda modificarla libremente. Y si necesita preparar un correo electrónico, no tiene por qué disponer automáticamente de autorización para enviarlo sin supervisión.

La regla más prudente: la IA prepara y la persona aprueba

Uno de los criterios más útiles para muchas organizaciones puede resumirse de forma sencilla:

 

la IA prepara; la persona aprueba.

 

No significa que todo uso de agentes deba quedar sometido permanentemente a una validación humana individual.

 

El grado de autonomía adecuado dependerá del tipo de tarea y de sus posibles consecuencias.

 

No supone el mismo riesgo que un agente archive automáticamente determinados documentos que permitirle enviar comunicaciones a clientes, aceptar condiciones, realizar pagos o compartir información fuera de la organización.

 

Cuanto mayor pueda ser el impacto de la acción, más importante será establecer puntos de control antes de su ejecución.

 

La supervisión humana debe ser además real.

 

Incluir un botón de confirmación carece de utilidad si la persona encargada de validarlo no dispone de información suficiente para comprender qué está autorizando.

¿Qué información puede llegar a conocer un agente de IA?

Este es otro de los grandes cambios respecto del uso tradicional de la IA generativa.

 

Un agente conectado al entorno de trabajo puede llegar a tener acceso a información procedente de múltiples fuentes:

 

correo electrónico, calendarios, carpetas compartidas, bases de datos, sistemas de gestión, contactos, documentación contractual o herramientas internas.

 

Esto puede incluir datos personales de empleados, clientes, proveedores y terceros.

 

También puede afectar a información confidencial, secretos empresariales, estrategias comerciales o documentación sometida a obligaciones específicas de reserva.

 

Por tanto, antes de conectar una herramienta de IA a un sistema corporativo, no debería analizarse únicamente qué puede hacer, sino también qué puede ver.

 

El acceso técnico a una determinada fuente de información no significa necesariamente que el agente deba disponer de toda ella.

Especial atención a los datos de terceros

Existe además un aspecto que puede pasar fácilmente inadvertido.

 

El usuario que decide utilizar una herramienta de IA no es necesariamente el único afectado por ese uso.

 

Una bandeja de entrada contiene información de clientes, compañeros, proveedores y otras personas que no han participado en la decisión de conectar ese correo con un sistema de inteligencia artificial.

 

Lo mismo ocurre con agendas, fotografías, grabaciones, expedientes o documentos compartidos.

 

Cuando una empresa utiliza este tipo de herramientas debe, por tanto, analizar el tratamiento desde una perspectiva más amplia que la del propio usuario.

 

La existencia de datos de terceros puede afectar a la legitimación del tratamiento, la información que debe facilitarse, los plazos de conservación, las transferencias de información y las medidas de seguridad necesarias.

La memoria de la IA también importa

Muchos sistemas incorporan funciones de memoria destinadas a ofrecer respuestas cada vez más personalizadas.

 

Esta característica puede resultar útil, pero también implica que el sistema puede ir acumulando información a lo largo del tiempo.

 

Datos que individualmente parecen irrelevantes pueden terminar construyendo un perfil detallado de una persona, un cliente o incluso del funcionamiento interno de una organización.

 

Por ello, las empresas deberían saber qué conserva el sistema, durante cuánto tiempo y cómo puede eliminarse esa información.

 

No debería asumirse que pedirle al propio asistente en una conversación que “olvide” un dato equivale necesariamente a eliminarlo de todos los sistemas en los que pueda estar almacenado.

 

Las políticas de memoria, historial y conservación deben formar parte del análisis previo a la implantación de estas herramientas.

Un documento o un correo también puede intentar dar instrucciones al agente

Uno de los riesgos más particulares de la IA agéntica es la denominada inyección de instrucciones o prompt injection.

 

Un agente puede recibir información no solo directamente del usuario, sino también de correos electrónicos, páginas web, documentos o archivos externos.

 

Ese contenido podría incorporar instrucciones diseñadas para alterar el comportamiento del sistema.

 

Incluso podrían existir instrucciones ocultas para una persona, pero interpretables por la herramienta.

 

El riesgo es especialmente relevante cuando el agente tiene capacidad de actuar.

 

Una instrucción maliciosa no tendría entonces como única consecuencia una respuesta equivocada, sino que podría intentar inducir al sistema a revelar información, acceder a recursos o ejecutar una acción que el usuario nunca solicitó.

 

No existe una única medida capaz de eliminar completamente este riesgo.

 

Por eso resulta especialmente importante combinar controles técnicos con una limitación estricta de los permisos y capacidades del agente.

 

Si una herramienta no tiene autorización para enviar determinada información o ejecutar una operación, un intento de manipulación tendrá muchas menos posibilidades de generar consecuencias reales.

Usar una cuenta personal de IA con información de la empresa es un riesgo adicional

La expansión de estas herramientas también está generando un problema de gobernanza dentro de muchas organizaciones.

 

Un trabajador puede empezar a utilizar una aplicación de IA por iniciativa propia porque le ayuda a trabajar más rápido.

 

El problema aparece cuando conecta a esa cuenta personal el correo profesional, documentos internos o información de clientes.

 

En ese momento, la empresa puede perder buena parte del control sobre qué proveedor está tratando la información, qué condiciones se aplican, dónde se almacenan los datos o qué permisos se han concedido.

 

Por ello, la AEPD recomienda que en el entorno laboral se utilicen únicamente herramientas autorizadas por la organización y que no se conecten documentos o cuentas profesionales a servicios personales de IA.

 

Para las empresas, esto hace cada vez más necesaria una política interna clara sobre inteligencia artificial.

 

Prohibir genéricamente cualquier uso puede resultar poco realista. Permitir que cada trabajador decida libremente qué herramientas utiliza tampoco ofrece un marco adecuado.

 

La organización debe determinar qué sistemas están autorizados, para qué usos, con qué información y bajo qué condiciones.

¿Quién responde cuando el agente actúa en nombre de la empresa?

Que una actuación haya sido ejecutada técnicamente por una inteligencia artificial no significa que desaparezca la responsabilidad de la organización.

 

Cuando existe tratamiento de datos personales, la empresa debe seguir analizando las obligaciones que le correspondan conforme al RGPD.

 

Entre otras cuestiones, deberá valorar la legitimación del tratamiento, la minimización de datos, la seguridad, la protección de datos desde el diseño y por defecto y, cuando proceda, la necesidad de realizar una evaluación de impacto.

 

Además, la utilización de IA agéntica puede implicar otras áreas jurídicas: obligaciones contractuales, confidencialidad, propiedad intelectual, normativa laboral, protección de consumidores o responsabilidad derivada de las actuaciones realizadas por el sistema.

 

No todos los agentes de IA estarán sujetos a las mismas obligaciones ni todo uso empresarial de IA constituye automáticamente un sistema de alto riesgo conforme al Reglamento europeo de Inteligencia Artificial.

 

El análisis deberá realizarse atendiendo al sistema utilizado, su finalidad y el contexto concreto de implantación.

El Reglamento de Inteligencia Artificial obliga también a pensar en la formación

La gobernanza de la IA no puede limitarse a elegir una herramienta y configurar sus permisos.

 

Las personas que trabajan con estos sistemas también necesitan comprender mínimamente cómo funcionan, cuáles son sus limitaciones y qué riesgos puede generar su utilización.

 

El Reglamento europeo de Inteligencia Artificial establece obligaciones en materia de alfabetización en IA para proveedores y responsables del despliegue, teniendo en cuenta aspectos como los conocimientos de las personas, su experiencia y el contexto de utilización del sistema.

 

En una empresa, esto debería traducirse en formación adaptada al uso real que se haga de la tecnología.

 

No necesita la misma preparación una persona que utiliza ocasionalmente una herramienta para mejorar un texto que alguien encargado de supervisar un agente con acceso a bases de datos y capacidad para ejecutar acciones.

¿Qué debería revisar una empresa antes de implantar agentes de IA?

La primera cuestión no debería ser simplemente qué herramienta contratar.

 

Antes conviene definir qué tarea se quiere automatizar, qué información necesita realmente el sistema y qué nivel de autonomía resulta razonable.

 

A partir de ahí, la empresa debería determinar qué sistemas y datos podrá consultar el agente; qué acciones podrá ejecutar; cuáles requerirán autorización humana; cómo quedará registrado lo que haga; cuánto tiempo conservará información; cómo podrán retirarse sus permisos; qué ocurrirá en caso de error; y quién será responsable de supervisar su funcionamiento.

 

También debería analizarse el proveedor.

 

Importa conocer qué sucede con la información introducida en el sistema, dónde se procesa, si intervienen terceros, qué garantías existen, qué opciones de configuración proporciona y si los datos pueden utilizarse para otros fines.

 

La AEPD ha destacado precisamente la importancia de incorporar la IA agéntica a los marcos de gobernanza de la información de la organización, en lugar de tratarla como una herramienta aislada.

Más autonomía exige más control

Los agentes de IA pueden convertirse en una herramienta muy relevante para automatizar procesos empresariales.

 

Pero el salto desde una IA que “responde” a una IA que “actúa” obliga a cambiar también la forma en la que las empresas gestionan el riesgo.

 

No basta con comprobar si la herramienta genera buenos resultados.

 

Hay que saber qué información puede consultar, qué recuerda, con qué servicios está conectada, qué puede hacer sin permiso y qué ocurre cuando comete un error.

 

La cuestión no consiste en impedir que las empresas utilicen agentes de inteligencia artificial.

 

Consiste en evitar que su capacidad de actuación avance más rápido que los mecanismos destinados a controlarla.

 

Antes de conceder acceso al correo electrónico, documentos, bases de datos o aplicaciones corporativas, las organizaciones deberían establecer claramente hasta dónde puede actuar el agente y en qué punto debe intervenir una persona.

 

En Solium Legal asesoramos a empresas en materia de protección de datos, cumplimiento normativo y adaptación jurídica a nuevas tecnologías, incluyendo la definición de políticas internas y marcos de gobernanza para el uso de sistemas de inteligencia artificial.

Facebook
Twitter
LinkedIn
WhatsApp
Picture of soliumlegal
soliumlegal
Scroll al inicio