Alguien se hace cargo: IA, autonomía y escucha social

El 1 de octubre, dos senadores estadounidenses que casi nunca coinciden, el republicano Josh Hawley y el demócrata Chris Murphy, anunciaron un proyecto de ley, la AI Agent Accountability Act, para que los operadores y desarrolladores de agentes de IA respondan civil y penalmente cuando un agente hackea un sistema. El problema que intentan resolver es técnico y, a la vez, muy viejo: la ley de fraude informático de Estados Unidos exige que el daño se haya hecho «a sabiendas». ¿Qué pasa cuando un agente entra donde no debía sin que nadie se lo haya pedido? Murphy lo dijo sin vueltas: los jefes de las empresas de IA tienen que desarrollar con responsabilidad «o enfrentar la cárcel».

Unos meses antes, el 1 de enero, entró en vigor en California una ley más corta y más interesante, la AB 316. Hace una sola cosa: prohíbe que quien desarrolló, modificó o usó una IA se defienda diciendo que la IA causó el daño de forma autónoma.

Me quedé pensando en esas dos leyes, porque confirman algo que vengo pensando hace un tiempo, y a la vez lo complican.

Lo que la IA puede hacer ya está regulado

En «El comprador no era humano«, una nota de Grow through listening, el Substack de Sonar, escribí que el control de la autonomía de los agentes se está decidiendo en los términos de uso de Amazon o Shopify más que en la ley. Sigo pensándolo, y agrego algo: el debate sobre qué debería poder hacer una IA está, en buena parte, mal planteado. Una IA no debería poder estafar, difamar, discriminar ni entrar en un sistema ajeno. Pero eso ya está prohibido. Lo prohíben el código penal y el civil, para cualquiera.

Lo que no está resuelto es otra cosa: cuánto se la deja decidir sola. Y eso importa por una diferencia simple. La IA toma decisiones, o produce salidas que funcionan como decisiones, pero no se hace cargo de sus consecuencias. No se la puede multar, ni echar, ni avergonzar. No pierde nada si se equivoca.

Hay una diapositiva que circula hace años, atribuida a un curso interno de IBM de 1979: «Una computadora nunca puede rendir cuentas. Por lo tanto, una computadora nunca debe tomar una decisión de gestión». (El original se perdió y el archivo de IBM no lo encontró, así que vale como idea más que como documento.) Cuarenta y siete años después, la segunda frase envejeció mal. La primera, no.

El caso del abogado

Hace un tiempo me hice esta cuenta. Hoy un abogado puede decir, con razón, que la IA se equivoca. Hay una base de datos, la de Damien Charlotin, que ya registra más de mil casos de escritos judiciales con jurisprudencia inventada por una IA. Pero los abogados también se equivocan. El día que un cliente entienda que la IA se equivoca menos que su abogado, ¿para qué va a querer abogado?

Mi impresión es que eso no va a pasar, o no tan rápido, y no por una cuestión de calidad. En las empresas en las que trabajé, el que contrata al abogado no es el dueño de la empresa: es un gerente. Y el gerente sabe algo que ninguna comparación de tasas de error va a cambiar: si el abogado se equivoca, echan al abogado. Si se equivoca la IA, lo echan a él.

El gerente no compra solamente un criterio jurídico. Compra a alguien que se haga cargo.

Ojo: esto no es una virtud del gerente. Es su interés. Tiene un nombre viejo en tecnología: «Nunca echaron a nadie por comprar IBM». Y tiene uno más reciente y más incómodo: la antropóloga Madeleine Clare Elish llamó moral crumple zone, zona de deformación moral, al lugar que ocupa el humano en un sistema automatizado. Como la parte del auto diseñada para absorber el choque, el operador humano absorbe la culpa de fallas que muchas veces no controlaba. El caso que estudió fue el de los pilotos: cuando el piloto automático falla, la responsabilidad termina en la cabina.

Hasta acá, entonces, «alguien se hace cargo» puede ser dos cosas muy distintas: alguien que responde porque entiende lo que firma, o alguien puesto ahí para que haya a quién echar.

¿Qué tiene que ver esto con escuchar?

Las herramientas de escucha social son cada vez más potentes. Ya no se limitan a contar menciones: hay agentes que leen millones de conversaciones, agrupan narrativas, estiman quién las empuja y proponen qué hacer. Nosotros operamos algunas de esas herramientas. Pero ninguna se va a hacer cargo de lo que dice. Cuando una lectura llega a quien decide, y decide salir a responder, o callarse, o cambiar una campaña, lo que se apoya sobre esa decisión no es la plataforma: somos los que la operamos, los que interpretamos y los que recomendamos. Y después, junto con quien decide, nos hacemos cargo.

Hay algo que hace esto más serio en la escucha que en el derecho. El error del abogado con jurisprudencia inventada es verificable: el fallo existe o no existe. Por eso esa base de datos puede contar casos. En la escucha, la mayoría de los errores no se pueden verificar así. «Esta narrativa está creciendo», «este grupo es el que la amplifica», «la queja es por el precio y no por el servicio»: no hay un expediente contra el cual chequear. Una lectura equivocada puede sonar tan razonable como una correcta, y nadie se entera hasta que la decisión sale mal, y a veces ni así.

Eso me lleva a pensar que, cuanto más autónoma es la herramienta, más pesa el trabajo humano y no menos. No el de mirar un tablero: el de saber qué no sabe la herramienta, qué no ve, dónde suele equivocarse, y decirlo antes de que alguien decida.

Las objeciones

Hasta acá el argumento me conviene, porque vendo exactamente eso: el humano que interpreta. Por eso mismo hay que desconfiar de él.

Primera: la responsabilidad se puede comprar. Ya hay seguros específicos para errores de IA. Armilla, respaldada por suscriptores de Lloyd’s, cubre pérdidas de terceros por alucinaciones o fallas de modelos. Si el daño se puede asegurar, «alguien se hace cargo» no tiene por qué ser una persona: puede ser una póliza. Y el gerente puede quedar cubierto sin necesidad de un fusible humano.

Segunda: los defaults cambian. «Nunca echaron a nadie por comprar IBM» fue cierto hasta que dejó de serlo. Cuando la IA sea la opción estándar, el gerente que contrate al abogado y el abogado se equivoque va a tener que explicar por qué no usó lo que usaban todos. El fusible puede cambiar de lado. Mi predicción de que el gerente siempre va a preferir al abogado es la parte más frágil de esta nota.

Tercera: la ley ya cerró la puerta. La AB 316 dice que «lo hizo la IA» no es defensa. Si eso se generaliza, la pregunta «¿quién se hace cargo?» ya tiene respuesta legal: el que la usó. El problema entonces no es que falte un responsable, sino que el responsable sea el equivocado. Que pague el operador por una falla del modelo que no podía ver, que es justamente la zona de deformación de Elish.

Cuarta, y la más incómoda para mí: si el valor de quien opera la escucha es «estar ahí para que haya a quién echar», es un valor pobre. El único hacerse cargo que vale es el de alguien que puede explicar por qué recomendó lo que recomendó, y que tiene la capacidad de contradecir a la herramienta. Si no puede, no se está haciendo cargo: está firmando.

Lo que sobrevive

Dos ideas.

La primera: la discusión no es qué puede hacer una IA, sino cuánto decide sin que nadie responda. Y la respuesta que se está dando, en California y en el Senado de Estados Unidos, es que siempre responde alguien. Queda por ver si es el que corresponde.

La segunda: en la escucha, donde los errores casi nunca se pueden verificar contra un expediente, hacerse cargo no es firmar el informe. Es poder decir en voz alta qué no sabemos, antes de que otro decida con lo que sí le dijimos.

Esto es lo que pienso hasta hoy. Alguien puede tener razón en contra.

Esta nota se publica también en Grow through listening, el Substack de Sonar, donde escribimos sobre escucha social e inteligencia artificial, por separado o juntas.

Escrito con ayuda de la IA por un humano, demasiado humano, que firma y responde por cada palabra.

Fuentes

Etiquetas: , ,