La nueva burocracia invisible: ¿puede la IA convertir la administración en una “caja negra”?

moca helada/Shutterstock

Imagine que solicita asistencia gubernamental y un algoritmo decide si la recibirá o no. Nadie explica por qué, nadie revisa la decisión, sólo el “sistema” dice que no es para ti. ¿Te parecería justo? ¿democrático? Bueno, esto ya está sucediendo en muchos países. Y eso es sólo el comienzo.

La inteligencia artificial ha dejado de ser ciencia ficción y se ha convertido en algo tan cotidiano como pedir comida a casa o buscar información en Google. Pero cuando esos mismos sistemas empiezan a tomar decisiones que antes eran tomadas por funcionarios, a quién becar, a quién investigar, qué información mostrarles sobre su gobierno…, surge la incómoda pregunta: ¿quién controla los algoritmos que nos controlan a nosotros?

El problema: decisiones impersonales

Los gobiernos de todo el mundo están adoptando rápidamente la inteligencia artificial. Prometen eficiencia, rapidez y mejores servicios. Y en parte tienen razón: un algoritmo puede analizar miles de solicitudes en pocos minutos, detectar patrones de fraude o personalizar la información que cada persona necesita. El problema surge cuando nadie puede explicar cómo se tomó la decisión.

Esto se llama “caja negra”: el algoritmo funciona, pero ni siquiera sus creadores saben exactamente por qué elige A en lugar de B. Es como tener un funcionario que toma decisiones importantes pero se niega a explicarlas. Inaceptable en una democracia, ¿verdad? Bueno, con la IA sucede todo el tiempo.

¿Qué se está haciendo al respecto?

En varios países están empezando a tomárselo en serio. España, por ejemplo, creó una Agencia de Vigilancia de la Inteligencia Artificial, básicamente una organización que vigila que estos sistemas no crucen la frontera, y desarrolló una Carta de Derechos Digitales que marca límites claros: la tecnología está al servicio de las personas, no al revés.

Estos esfuerzos, discutidos en encuentros internacionales como la reciente Cumbre de Gobierno Abierto celebrada en la ciudad de Vitoria, apuntan a una idea central: no basta con poner datos públicos en línea si los algoritmos que los procesan son opacos e imposibles de auditar.

Según expertos de distintos países, el desafío es triple:

Tecnológico: automatizar procesos de gobierno sin perder el control humano sobre decisiones importantes. Un algoritmo puede sugerir, pero ¿debería decidir por sí solo quién recibe ayuda o quién va a la cárcel?

Legal: las leyes son lentas, la tecnología es rápida. Cuando se aprobó el reglamento, la IA ya había cambiado tres veces. Se necesitan marcos legales ágiles que puedan adaptarse sin quedar obsoletos el próximo año.

Cultural: en quién confía la gente. Y aquí viene la parte más difícil. ¿Cómo podemos convencer a los ciudadanos de que un algoritmo es justo si no podemos explicar cómo funciona?

El lado oscuro: cuando la transparencia se automatiza… pero al revés

La gran paradoja es que la inteligencia artificial podría hacer que los gobiernos sean más transparentes que nunca. Imagine información pública adaptada a cada necesidad, explicaciones automáticas en lenguaje sencillo, datos presentados de forma que todos entiendan. Pero si se hace mal, ocurre exactamente lo contrario: lo que los expertos llaman “opacidad automatizada”. Los gobiernos nos dicen: “el algoritmo ha decidido”, y se lavan las manos. No hay nadie a quien quejarse, no hay manera de quejarse, no hay manera de entender lo que pasó. Era como si la burocracia kafkiana se hubiera multiplicado por mil y también se hubiera vuelto invisible.

¿Democracia o “algoritmocracia”?

El politólogo Manuel Alcántara lo expresó sin rodeos recientemente: estamos en una democracia mediada por pantallas donde la información llega tan rápido y tan sesgada que los ciudadanos están cada vez más alienados del poder real. Los algoritmos deciden qué noticias vemos, qué debates aparecen en nuestro timeline, qué imagen tenemos de nuestros líderes.

No es que la tecnología sea inherentemente mala. La cuestión es que permitimos que ella moldee la forma en que entendemos la política sin preguntarnos si eso es lo que queremos. ¿El resultado? Una sociedad dividida en burbujas, donde cada grupo vive en su propia realidad informativa y la conversación democrática se vuelve imposible.

Cómo domesticar la tecnología

La buena noticia es que hay una salida. Y no implican el rechazo de la tecnología, sino su domesticación. Algunas sugerencias específicas:

Algoritmos explicables: si el sistema toma una decisión que le afecta, debe poder justificarla en términos que usted comprenda. Eso de que “lo dijo el algoritmo” no es válido.

Auditorías independientes: equipos de expertos comprueban periódicamente si estos sistemas son justos o discriminatorios sin que nadie se dé cuenta.

Participación ciudadana real: permitir que la gente común y corriente participe en la decisión de cómo se utilizan estas tecnologías. No sólo ingenieros y políticos.

Regulación con principios claros: que la ley marque líneas rojas -hay decisiones que un algoritmo nunca debería tomar por sí solo- y obligaciones de transparencia.

El futuro está escrito ahora.

En última instancia, el debate sobre la IA no es simplemente una cuestión técnica, sino política en el sentido más profundo. Se trata de decidir qué tipo de sociedad queremos: ¿una en la que las máquinas tomen decisiones que no podamos cuestionar? ¿O uno en el que la tecnología mejore nuestra capacidad para participar, comprender y controlar a nuestros gobiernos?

La experiencia de países como España muestra que la regulación y la apertura no son opuestos: la regulación protege los derechos, la apertura da legitimidad. Otros países, como México, tienen la oportunidad de construir sus propias estrategias nacionales poniendo la igualdad y los derechos humanos en el centro.

El futuro de la democracia no se decidirá sólo en las urnas o las manifestaciones. También se decide en el código de algoritmos que median cada vez más en las decisiones colectivas. Por tanto, el control democrático de la IA no puede ser una cuestión exclusiva de especialistas. Es responsabilidad de todos.

Porque al final se trata de algo simple: que la tecnología sirva para empoderarnos como ciudadanos, no para convertirnos en datos que un algoritmo procesa sin preguntarnos qué pensamos.

Edgar Alejandro Ruvalcaba Gómez no recibe salario, consultoría, propiedad accionaria ni financiamiento de ninguna empresa u organización que pueda beneficiarse de este artículo, y no ha declarado afiliaciones relevantes distintas al cargo académico mencionado anteriormente.