Qué significa realmente gobernar la IA
Gobernar la inteligencia artificial no significa crear un departamento que tenga que aprobar cada herramienta.
Tampoco significa producir decenas de procedimientos.
Gobernar significa establecer un marco que permita responder de forma consistente a preguntas como:
- ¿qué sistemas de IA utilizamos?
- ¿para qué se utilizan?
- ¿quién puede aprobar un nuevo uso?
- ¿qué riesgos deben evaluarse?
- ¿quién es responsable del sistema?
- ¿qué decisiones deben mantenerse bajo supervisión humana?
- ¿qué controles son necesarios?
- ¿qué evidencias debemos conservar?
- ¿qué ocurre cuando aparece una incidencia?
- ¿cuándo debe revisarse de nuevo el sistema?
La diferencia está en pasar de decisiones aisladas a una forma común de trabajar.
Una organización puede tener buenas personas tomando buenas decisiones y, aun así, carecer de gobierno de IA.
El gobierno aparece cuando esas decisiones tienen responsables, criterios, controles y trazabilidad.
El gobierno empieza por saber qué IA utilizamos
Es difícil gobernar algo que no sabemos que existe.
Por eso uno de los primeros elementos de cualquier modelo de gobierno debería ser un inventario de sistemas de IA.
No tiene por qué empezar siendo sofisticado.
Pero sí debería permitir conocer, al menos:
- qué sistema o herramienta se utiliza
- quién la utiliza
- para qué finalidad
- qué datos emplea
- qué proveedor interviene
- qué procesos o decisiones puede afectar
- quién es responsable
- cuál es su nivel de riesgo
- y cuándo debe revisarse.
El inventario convierte una realidad dispersa en algo visible.
Y esa visibilidad permite empezar a tomar decisiones.
Por eso inventariar los sistemas de IA no es simplemente una tarea documental.
Es una pieza de gobierno.
Definir quién decide y quién responde
Uno de los problemas más habituales aparece cuando todos participan, pero nadie es claramente responsable.
IT conoce la tecnología.
Legal conoce las obligaciones.
Compliance analiza cumplimiento.
Protección de Datos revisa determinados tratamientos.
Negocio conoce el proceso.
Seguridad analiza amenazas.
Dirección establece prioridades.
Todas esas perspectivas pueden ser necesarias.
Pero alguien tiene que saber quién hace qué.
Propietario del sistema
Es la persona o función responsable de que el sistema tenga una finalidad clara, se utilice adecuadamente y permanezca bajo control.
No tiene por qué ser quien desarrolló técnicamente la herramienta.
Propietario del riesgo
Sigue determinados riesgos y comprueba que las medidas acordadas se mantienen.
Puede coincidir o no con el propietario del sistema.
Funciones de control
Legal, Compliance, Seguridad, Protección de Datos u otras áreas pueden intervenir dependiendo del sistema y del contexto.
Usuario o área operativa
Es quien utiliza realmente la IA dentro del proceso.
Su participación es especialmente importante porque muchos problemas aparecen precisamente durante el uso cotidiano.
Dirección
Debe intervenir cuando las decisiones superan determinados niveles de riesgo, inversión, impacto o responsabilidad.
También conviene separar tres responsabilidades que a veces se confunden. El responsable técnico conoce, mantiene o integra la solución. El propietario del sistema responde por su finalidad y por cómo se utiliza dentro del proceso. El propietario del riesgo sigue los riesgos y comprueba que las medidas acordadas se mantienen.
Las funciones de control pueden revisar, cuestionar o validar determinadas decisiones, mientras que la dirección debería intervenir cuando se superan los umbrales establecidos por la organización.
Una matriz RACI puede ser una herramienta sencilla para aclarar quién decide, quién ejecuta, quién debe ser consultado y quién necesita estar informado. Ese reparto también refuerza la rendición de cuentas.
No todos los sistemas necesitan pasar por un gran comité.
Pero todos deberían tener claro quién puede decidir sobre ellos.
La política de IA como marco común
Una política de IA no debería ser un documento que alguien firma y después guarda.
Debería responder de forma comprensible a preguntas que las personas realmente tienen.
Por ejemplo:
- ¿Qué herramientas podemos utilizar?
- ¿Podemos introducir información de clientes en una IA generativa?
- ¿Quién puede contratar una nueva solución?
- ¿Qué usos necesitan revisión previa?
- ¿Qué decisiones no pueden delegarse completamente en un sistema?
- ¿Qué debemos hacer si detectamos un resultado problemático?
Una forma sencilla de hacer la política más útil es clasificar los usos de IA en cuatro grupos:
- usos permitidos
- usos restringidos
- usos prohibidos
- usos que requieren revisión o autorización previa.
Esta clasificación ayuda a que una persona pueda saber rápidamente qué puede hacer, qué necesita consultar y qué no debería hacer.
Una buena política establece límites, responsabilidades y principios.
Pero también debe ser suficientemente práctica como para que alguien pueda utilizarla cuando tenga una duda real.
El objetivo no es decir simplemente:
“Utilizaremos la IA de manera responsable.”
El objetivo es convertir esa intención en comportamientos concretos.
Supervisión humana: algo más que una persona revisando
A veces se habla de supervisión humana como si bastara con colocar una persona al final del proceso.
Pero una supervisión efectiva requiere algo más.
La persona debería poder:
- comprender qué papel desempeña el sistema
- detectar cuándo un resultado puede ser problemático
- cuestionarlo
- ignorarlo cuando sea necesario
- intervenir antes de que se produzca una consecuencia importante
- y dejar constancia de determinadas decisiones.
Pensemos en un sistema que recomienda candidatos para un puesto.
Existe una persona que finalmente decide.
Eso no significa automáticamente que exista supervisión efectiva.
Si esa persona acepta sistemáticamente las recomendaciones sin cuestionarlas, su presencia aporta poco control.
La pregunta correcta sería:
¿Tiene realmente capacidad, información y tiempo para intervenir?
Gobernar la IA implica diseñar esa supervisión, no simplemente declararla.
Del riesgo a los controles
El gobierno de IA y la gestión de riesgos de IA están directamente conectados.
Primero entendemos qué puede salir mal.
Después decidimos qué vamos a hacer al respecto.
Ahí aparecen los controles.
Un control puede ser tan sencillo como exigir una revisión humana antes de determinada decisión.
O puede implicar:
- validaciones técnicas
- restricciones de acceso
- revisión de datos
- pruebas de rendimiento
- monitorización
- análisis de sesgos
- gestión contractual de proveedores
- registro de decisiones
- controles de seguridad
- procedimientos de incidencia.
El control adecuado depende del riesgo.
No tiene sentido implantar el mismo nivel de control sobre una herramienta que ayuda a redactar borradores internos que sobre un sistema que influye en contratación, crédito o acceso a servicios.
El gobierno debe ser proporcional.
Qué debería revisar un comité de IA
No todas las empresas necesitan un comité formal.
Pero cuando existen varios sistemas, áreas implicadas o decisiones relevantes, puede resultar útil disponer de un espacio de gobierno común.
Ese comité no debería convertirse en una reunión donde se informa de todo lo relacionado con IA.
Debería tomar decisiones.
Por ejemplo:
- aprobar determinados sistemas
- revisar usos especialmente sensibles
- aceptar determinados riesgos residuales
- analizar incidencias
- revisar indicadores
- decidir sobre excepciones
- asignar responsables
- priorizar acciones
- supervisar planes de mejora.
También debería quedar claro qué decisiones no necesitan llegar al comité.
Si cada pequeña herramienta requiere aprobación ejecutiva, el modelo probablemente terminará bloqueando el uso normal de la tecnología.
Una forma útil de organizarlo es establecer umbrales.
Por ejemplo:
Riesgo bajo: aprobación operativa.
Riesgo medio: revisión adicional.
Riesgo alto: escalado a funciones de control o comité.
No se trata de burocracia.
Se trata de que las decisiones importantes lleguen al nivel adecuado.
Proveedores y herramientas externas
Una parte importante de la IA utilizada por las organizaciones no se desarrolla internamente.
Se compra.
Se contrata.
O simplemente se activa dentro de herramientas que ya utilizábamos.
Eso introduce otro elemento de gobierno: los terceros.
Antes de incorporar una solución puede ser necesario entender:
- qué función de IA incorpora
- qué datos utiliza
- dónde se procesan
- si el proveedor puede reutilizarlos
- qué cambios puede introducir en el modelo
- qué información proporciona sobre su funcionamiento
- qué mecanismos de seguridad existen
- qué ocurre ante una incidencia
- qué obligaciones contractuales tiene cada parte.
El proveedor puede ofrecer tecnología.
Pero la organización sigue necesitando entender cómo la utiliza dentro de su propio contexto.
Externalizar la tecnología no significa externalizar toda la responsabilidad.
Indicadores, seguimiento y evidencias
Un modelo de gobierno no termina cuando se aprueba un sistema.
Hay que comprobar que sigue funcionando como esperábamos.
Algunos indicadores podrían ser:
- número de sistemas inventariados
- sistemas pendientes de evaluación
- riesgos abiertos
- controles pendientes
- incidencias
- revisiones realizadas
- excepciones aprobadas
- formación completada
- sistemas sin responsable asignado
- evaluaciones fuera de plazo.
No todos son necesarios.
La organización debería seleccionar aquellos que realmente le ayuden a tomar decisiones.
Y junto a los indicadores aparecen las evidencias de IA.
Porque no basta con decir:
“Este sistema está supervisado.”
Conviene poder demostrar:
quién lo revisa, cuándo, qué encontró y qué decidió.
La evidencia convierte una afirmación en algo verificable.
Indicador: información que ayuda a tomar decisiones.
Registro: constancia de que una actividad se realizó.
Evidencia: prueba de que un control, revisión o decisión existió.
Trazabilidad: capacidad de reconstruir qué ocurrió, quién intervino y qué se decidió.
El seguimiento debería tener un responsable y una frecuencia definida. Y cuando aparezcan cambios importantes, incidencias o desviaciones, el sistema debería volver a revisarse como parte de la mejora continua.
Gobierno de IA y cumplimiento
El gobierno de IA no debería diseñarse únicamente para cumplir una norma.
Pero un buen modelo facilita enormemente el cumplimiento.
La ISO/IEC 42001 estructura un sistema de gestión de IA alrededor de elementos como liderazgo, responsabilidades, riesgos, controles, evaluación y mejora.
El AI Act también introduce obligaciones que, especialmente en determinados sistemas de IA de alto riesgo, necesitan trasladarse a procesos reales dentro de la organización.
Por eso gobierno y cumplimiento están relacionados.
Pero no son exactamente lo mismo.
Cumplir responde a:
¿Qué requisitos debemos satisfacer?
Gobernar añade otra pregunta:
¿Cómo organizamos la empresa para tomar esas decisiones de forma consistente?
Esa segunda pregunta sigue siendo necesaria incluso cuando una obligación concreta no aplica.
Cómo empezar a implantar un gobierno de IA
No hace falta construir todo el modelo desde el primer día. Una organización puede empezar por ordenar lo esencial y aumentar el nivel de gobierno a medida que crecen el número de sistemas, los riesgos o la complejidad.
- Localizar los sistemas de IA que utiliza la organización.
- Asignar un propietario y las funciones que deben participar.
- Clasificar los sistemas según su uso, impacto y nivel de riesgo.
- Evaluar los riesgos relevantes.
- Definir controles y medidas de supervisión.
- Decidir quién puede aprobar el sistema y cuándo debe escalarse.
- Supervisar su funcionamiento mediante indicadores e incidencias.
- Conservar las evidencias necesarias.
- Revisar cambios en el sistema, el proveedor, los datos o el contexto.
- Mejorar el modelo cuando aparezcan nuevos riesgos, incidencias o necesidades.
Este recorrido permite construir la gobernanza de IA de forma gradual y conectada con la realidad de cada organización.
El objetivo no es implantar diez procesos nuevos. Es conseguir que las decisiones sobre IA sigan siempre una lógica conocida, tengan responsables y puedan revisarse.
Un modelo de gobierno proporcional
Una pyme no necesita copiar el modelo de gobierno de una multinacional.
Y una organización que utiliza tres herramientas de bajo impacto no debería construir la misma estructura que otra que opera decenas de sistemas en procesos críticos.
Podemos pensar en tres niveles.
El nivel adecuado puede depender del número de sistemas de IA, su nivel de riesgo, la criticidad de los procesos afectados, el impacto sobre las personas, el volumen de decisiones, la presencia en procesos regulados, la existencia de sistemas de IA de alto riesgo y el número de áreas o proveedores implicados.
No existe un número exacto que determine cuándo pasar de un nivel a otro. Lo importante es que el modelo crezca cuando aumentan el impacto, el riesgo o la complejidad.
Modelo básico
Para organizaciones con pocos sistemas y riesgos limitados.
Puede incluir:
- inventario
- política básica
- responsables
- evaluación sencilla
- criterios de aprobación
- registro de incidencias.
Modelo intermedio
Cuando aumenta el número de sistemas o áreas implicadas.
Puede incorporar:
- clasificación de riesgos
- proceso formal de aprobación
- funciones de control
- gestión de proveedores
- indicadores
- revisiones periódicas
- registro de evidencias.
Modelo avanzado
Para organizaciones con sistemas relevantes, regulados o de alto riesgo.
Puede incluir:
- comité de IA
- responsabilidades formalizadas
- controles específicos
- evaluación continua
- auditoría
- métricas
- gestión estructurada de incidencias
- integración con otros sistemas de gestión
- revisión por dirección.
La madurez no consiste en tener más documentos.
Consiste en que las decisiones importantes estén realmente bajo control.
Gobernar la IA es poder explicar cómo se toman las decisiones
Una organización con buen gobierno de IA debería poder responder sin demasiadas dificultades:
¿Qué sistemas tenemos?
¿Quién es responsable de ellos?
¿Por qué los utilizamos?
¿Qué riesgos presentan?
¿Qué controles hemos aplicado?
¿Quién puede aprobarlos?
¿Quién los supervisa?
¿Qué evidencias conservamos?
¿Qué ocurre cuando cambian?
¿Y qué hacemos si algo sale mal?
No todas las respuestas tienen que estar en el mismo documento.
Pero deberían existir.
Porque gobernar la IA no consiste en intentar controlar cada algoritmo.
Consiste en crear las condiciones para que las personas puedan tomar decisiones responsables sobre ellos.
Y ese probablemente sea uno de los retos más importantes de la IA en las organizaciones:
no solo decidir qué tecnología podemos utilizar.
Sino decidir cómo queremos utilizarla.
¿Sabes cómo está gobernando tu organización la IA?
El primer paso es conocer qué sistemas utilizas, qué riesgos existen y qué mecanismos de control tienes actualmente.
El diagnóstico de Céntrika te ofrece una primera visión de tu situación en gobierno, riesgo y cumplimiento de IA y te ayuda a identificar dónde conviene profundizar.
El diagnóstico ofrece una primera orientación y no sustituye una evaluación específica.