Human in the loop, el riesgo del control
Se utiliza el concepto human in the loop para considerar la validación humana en el flujo de decisiones que pueden realizar agentes con IA. A principios de año se conoció la noticia del enfrentamiento público entre el Departamento de Defensa de Estados Unidos y Anthropic que, más allá de sus usos en el conflicto con Irán, tuvo como motivo principal la negativa de Anthropic a que su IA fuera utilizada por el Pentágono para establecer vigilancia masiva: publicaciones en redes sociales, grabaciones de cámaras, y datos comerciales sensibles como ubicación móvil e historial de navegación. Agencias como la ICE y el FBI han recurrido cada vez más a este mercado de datos, impulsado por una economía de internet que recopila información de usuarios para publicidad, accediendo así a datos que normalmente requerirían una orden judicial.
Actualmente las empresas en Chile se están preparando para la ley de protección de datos personales que entra en vigencia en diciembre de este año. Los objetivos son claros: identificar dónde viven los datos personales, justificar su uso y garantizar trazabilidad total en cada flujo donde se administran. Aquí la IA puede jugar exactamente en la dirección contraria a la del Pentágono: no para extraer el máximo valor de los datos personales sin restricciones, sino para descubrirlos, clasificarlos y protegerlos. Una herramienta al servicio de la protección, no de la vigilancia.
Pero el control humano sobre los volúmenes y la velocidad con que la IA mueve información es más frágil de lo que parece. Al trabajar con IA, el testing puede llegar rápidamente a casos de borde, a veces sin que uno como desarrollador haya madurado todos los posibles escenarios. El investigador Uri Maoz lo describe en MIT Technology Review con una imagen difícil de olvidar: un operador militar aprueba un ataque basándose en un 92% de probabilidad de éxito reportado por el sistema, sin saber que el modelo ocultó en su cálculo el daño a un hospital infantil cercano. El humano estaba en el loop. Pero no entendía lo que estaba supervisando.
En el caso de los datos personales podría ocurrir algo similar, aunque el daño sea más silencioso. No saber qué decisiones se están tomando sobre los clientes, o a quiénes se está exponiendo información sensible, es también un problema de supervisión: el humano firma el proceso, pero no siempre existe conciencia del impacto real de esa decisión.
Se deben redoblar los esfuerzos para que el "human in the loop" sea algo más que una firma al final de un proceso automatizado. El control no es el output. Es la capacidad de cuestionar cómo se llegó a él.
¿Somos conscientes de las decisiones que estamos delegando a las automatizaciones?
