Los errores y sesgos que sí te van a tocar

Los sesgos no son un tema moral, son un tema de datos

Cuando se habla de sesgos en IA la conversación se vuelve filosófica enseguida, y así no sirve para nada. Vamos por lo concreto.

Acuérdate del capítulo 2: un modelo aprende de ejemplos que ya traen la respuesta. ¿Y de dónde salió esa respuesta? De decisiones que tomaron personas.

Entonces si en tu empresa durante diez años se contrató de cierta manera, el modelo que entrenes con esos datos va a aprender a contratar de esa manera. No porque sea malo, sino porque eso es literalmente lo único que le enseñaste.

Un modelo no aprende lo correcto. Aprende lo que pasaba. Y si lo que pasaba tenía una preferencia, la preferencia se hereda entera y se aplica más rápido que antes, a más gente, y sin la duda que a veces frenaba a una persona 😐

Los sesgos que ya se midieron

Esto no es teoría y no hace falta que me creas. Un estudio de Stanford midió que los detectores de texto escrito por IA marcaban como artificial el texto de personas que escriben en inglés como segunda lengua mucho más que el de nativos. Puedes leerlo en arxiv.org/abs/2304.02819.

Nadie programó esa discriminación. Salió sola: quien escribe en un idioma aprendido usa vocabulario más simple y frases más parejas, y eso se parece a lo que hace un modelo. El sistema hizo su trabajo perfectamente y el resultado perjudicó a un grupo concreto de personas.

Ese es el patrón, y por eso importa fuera de ese caso: el sesgo casi nunca es alguien siendo malo, es una señal que correlaciona con algo que no querías.

El error que más caro sale: el que nadie ve

Los errores llamativos casi no importan, porque se ven y se arreglan. Si el sistema dice una barbaridad, alguien la nota.

El que hace daño de verdad es el otro. El sistema se equivoca un poquito, de forma consistente, en un rincón que nadie revisa. Y como nadie revisa, sigue haciéndolo durante meses.

Pasa mucho cuando el mundo cambia y el modelo no. Cambió la ley, entró un competidor, cambió el proceso interno. El modelo sigue prediciendo con la lógica de antes y sus respuestas se van poniendo peores despacito, sin ninguna alarma.

La defensa no es técnica y por eso te la puedo pedir a ti: alguien tiene que estar mirando una muestra cada tanto. Diez casos al mes, revisados por una persona que sepa del tema. Es poquísimo trabajo y es la diferencia entre enterarte en un mes o en un año 🔍

El tercero: la seguridad prestada

Este te toca a ti directamente y ya lo vimos en el capítulo 4: el sistema escribe con la misma seguridad cuando acierta y cuando inventa.

Lo peligroso no es que se equivoque. Es que su seguridad se te contagia. Un texto bien escrito, ordenado y sin dudas se lee como si alguien lo hubiera comprobado, y nadie lo comprobó.

Por eso la costumbre que más te va a servir en el trabajo es esta: cuando algo que salió de una IA vaya a entrar en una decisión, en un documento oficial o delante de un cliente, comprueba las cifras y los nombres. No todo. Las cifras y los nombres 🙂

Lo que NO deberías creerte

Hay dos frases que circulan y que conviene desarmar.

"La IA es objetiva porque no tiene emociones." No tener emociones no la hace objetiva. Aprendió de decisiones que sí las tuvieron, y ahora las aplica sin dudar. Es lo contrario de objetiva: es una opinión heredada que perdió las dudas por el camino.

"Como es matemática, no discrimina." La matemática hace lo que le pidan sobre los datos que le den. Si en los datos había una preferencia, la matemática la reproduce con una precisión admirable.

Qué haces tú con todo esto

No hace falta que audites nada ni que sepas de estadística. Tres cosas que sí puedes pedir en cualquier reunión:

1. ¿De qué datos aprendió y de cuándo son? Si son de una época en que las cosas funcionaban distinto, ya sabes algo.
2. ¿A quién le funciona peor? No "cuánto acierta", sino con qué grupo falla más. Si nadie lo midió, no lo saben.
3. ¿Quién mira una muestra y cada cuánto? Si la respuesta es nadie, ese es el problema, no el modelo.

Las tres son de sentido común y las tres son incómodas para quien no hizo la tarea. Por eso funcionan 🐣

Lo que te llevas

• Un modelo no aprende lo correcto, aprende lo que pasaba, preferencias incluidas.
• El sesgo casi nunca es maldad: es una señal que correlaciona con algo que no querías.
• El error caro es el que nadie ve. Alguien tiene que revisar una muestra cada tanto.
• Su seguridad se te contagia. Comprueba cifras y nombres antes de usarlos.
• Ni es objetiva por no tener emociones, ni deja de discriminar por ser matemática.

Comprueba que se entendió

Hasta acá el mecanismo. Los tres capítulos que vienen son otra cosa: cómo se ve todo esto metido en una empresa de verdad 🐥