La tentación es grande: si un modelo puede clasificar expedientes mejor que un funcionario, ¿por qué no dejarlo decidir? Si puede detectar fraude más rápido, ¿por qué no darle la llave? La respuesta no es técnica, es institucional: las decisiones que afectan derechos del ciudadano no pueden delegarse a un modelo. Pueden asistirse, acelerarse y mejorarse — pero no delegarse.
Por qué la decisión pública es distinta
Cuando un sistema comercial se equivoca, hay un reclamo, un reembolso o un cambio de proveedor. Cuando el Estado se equivoca, hay un derecho vulnerado: una pensión negada, una beca perdida, una persona incluida en un listado de riesgo sin saberlo.
La decisión pública tiene tres exigencias que la diferencian:
- Legitimidad democrática: el ciudadano debe poder entender cómo y por qué se decidió.
- Rendición de cuentas: debe haber un responsable identificable, no un algoritmo.
- Derecho a la apelación: toda decisión que afecte derechos debe poder ser revisada.
Un modelo opaco, entrenado sobre datos que pueden reproducir sesgos históricos, no cumple ninguna de las tres por sí solo.
El modelo que defendemos: human-in-the-loop
En Sofis diseñamos las soluciones de IA para el Estado bajo una regla simple:
La IA hace el trabajo pesado: clasifica, sugiere, prioriza, detecta patrones, resume expedientes voluminosos. Eso libera tiempo del funcionario para hacer lo que un modelo no puede: aplicar criterio, contextualizar, escuchar a la persona del otro lado, ver lo que no está en los datos.
La decisión final, cuando afecta derechos, es humana y queda documentada.
Trazabilidad, explicabilidad, apelabilidad
Tres principios orientan cada diseño:
- Trazabilidad: cada sugerencia del modelo queda registrada junto con los datos que la originaron.
- Explicabilidad: el funcionario debe poder entender por qué el modelo sugirió lo que sugirió, al menos en términos funcionales.
- Apelabilidad: el ciudadano afectado por una decisión asistida por IA tiene derecho a pedir revisión humana — y el sistema debe facilitarlo.
Dónde sí se puede automatizar
No toda tarea del Estado requiere un humano en el loop. Hay tareas donde el automatismo responsable acelera sin poner en juego derechos:
- Verificaciones de cumplimiento de requisitos objetivos.
- Renovaciones automáticas de documentos cuando no hay cambios.
- Asignación de turnos, notificaciones, recordatorios.
- Clasificación inicial de expedientes para que el humano priorice.
- Detección de patrones que luego un humano investiga.
La clave es distinguir decisiones administrativas (sí, automatizar con control) de decisiones sustantivas sobre derechos (no, mantener humano en el loop).
En la práctica
Sofis cuenta con una Política de Gestión de IA que regula el uso interno y en proyectos de clientes. Todo sistema que incorpore IA sobre decisiones sensibles se diseña con trazabilidad, explicabilidad y apelabilidad desde la especificación, no después.
¿Por qué esto importa?
Porque la IA va a permear rápidamente al Estado, y porque la línea entre "asistir al funcionario" y "reemplazarlo" puede cruzarse sin que nadie se dé cuenta — hasta que un ciudadano queda del lado equivocado de un algoritmo.
Defender el humano en el loop no es freno a la innovación: es la condición para que la innovación en el sector público sea compatible con los derechos. Y en Sofis creemos que esa compatibilidad no se negocia.