Cuando la IA se equivoca, no se equivoca con cualquiera - Adriana Páez Pino

En los últimos años la conversación sobre inteligencia artificial se ha centrado en productividad, eficiencia e innovación. Mucho menos en algo básico: ¿quién revisa la IA antes de que llegue a aulas, oficinas y decisiones?, ¿quién asume los daños cuando un sistema se equivoca?

Al leer una guía reciente de la UNESCO sobre Red Teaming en IA que somete estos sistemas a prueba para detectar riesgos y puntos ciegos reconocí escenas frecuentes, mujeres que evitan espacios digitales por miedo a la violencia en línea, estudiantes que reciben mensajes ambiguos sobre su talento en STEM, lideresas enfrentadas a campañas de desinformación que desgastan su trabajo y su salud.

Los errores de la IA tampoco son neutros. Se concentran allí donde ya existen desigualdades de género, raza, clase social o lugar de origen. Cuando un sistema automatizado refuerza estos sesgos, no es solo una imprecisión, afecta trayectorias educativas, oportunidades laborales, decisiones de contratación y la disposición a participar en la vida pública.

Desde diferentes espacios he visto cómo estas preguntas entran al día a día, ¿qué pasa cuando un algoritmo ofrece menos oportunidades a ciertas personas?, ¿qué ocurre cuando una herramienta “inteligente” amplifica estereotipos o legitima formas de violencia ya conocidas? La guía de la UNESCO confirma algo que muchas intuíamos, no basta con que unas pocas empresas decidan cómo funciona la IA; se necesita la experiencia de docentes, periodistas, lideresas comunitarias y profesionales de distintos campos en su evaluación.

Por eso este tema lo traigo a la serie, Descubriendo la IA en el trabajo. Descubrir la IA no es solo aprender a usar herramientas, sino entender cómo se comportan, qué decisiones automatizan y qué efectos tienen sobre nuestras carreras y organizaciones. En este blog propongo mirar el Red Teaming justamente desde ahí, como parte de la responsabilidad de quienes usamos y enseñamos IA, y como una herramienta para discutir derechos, equidad y futuro del trabajo.

¿Qué es el Red Teaming en IA en palabras sencillas?

El término Red Teaming no nació con la IA. Viene de ámbitos militares y de seguridad, donde un equipo busca los fallos de la estrategia del otro. Luego pasó a la ciberseguridad y a la tecnología en general.

En inteligencia artificial, el Red Teaming es un proceso para probar un sistema antes de usarlo de forma amplia. No consiste en hacer preguntas neutras, sino en crear escenarios donde la IA puede causar daño, difusión de odio, estereotipos, recomendaciones discriminatorias, desinformación o exposición de datos sensibles. Se trata de detectar esos comportamientos a tiempo, documentarlos y definir cambios.

La guía de la UNESCO conecta este enfoque con los derechos humanos. No solo importa si un modelo es técnicamente robusto; también si reproduce desigualdades de género, facilita violencia digital, invisibiliza grupos o refuerza jerarquías existentes. Por eso el Red Teaming no es solo tarea de especialistas en seguridad, sino también de quienes conocen el impacto de estas dinámicas en la educación, el trabajo, los medios y la vida comunitaria.

En síntesis, el proceso puede verse en tres pasos:

1. Definir escenarios de riesgo concretos: casos que ya se observan en redes, instituciones o entornos laborales.
2. Observar cómo responde la IA: qué genera, a quién protege, a quién expone y qué deja fuera.
3. Registrar y comunicar resultados: para respaldar cambios técnicos y ajustes de políticas.

Entendido así, el Red Teaming deja de ser un ejercicio lejano y se convierte en una práctica en la que pueden participar docentes, periodistas, liderazgos sociales, profesionales de recursos humanos y organizaciones de la sociedad civil.

Cuando la IA falla… ¿con quién se equivoca primero?

Cuando hablamos de “errores” en inteligencia artificial pensamos en respuestas incorrectas o recomendaciones imprecisas. Pero en la práctica esos errores no se distribuyen al azar, se concentran donde ya existen brechas de género, raza, clase social o lugar de origen.

La guía de la UNESCO ilustra esto con un tutor de matemáticas basado en IA que evalúa a un niño y a una niña con el mismo desempeño. Además de explicar el ejercicio, el sistema opina sobre su “talento” y su “confianza” y presenta a él como naturalmente más apto que ella. Ese tipo de mensaje influye en cómo cada estudiante se percibe y en las opciones que imagina para su futuro.

También aparecen los ataques coordinados contra periodistas y figuras públicas. Cuando una herramienta de IA genera insultos, contenido sexualizado o difamación contra una mujer, se apoya en un patrón previo de violencia digital y lo amplifica, afectando sobre todo a quienes ocupan espacios de opinión, liderazgo político o defensa de derechos.

En el trabajo, estos sesgos se traducen en decisiones muy concretas. Sistemas de filtrado de hojas de vida pueden perpetuar patrones de contratación que han dejado fuera a mujeres y otros grupos. Herramientas que sugieren ascensos o formación pueden reforzar techos de cristal ya conocidos. Lo que parece una recomendación “técnica” termina sosteniendo estructuras donde algunas personas reciben menos oportunidades de forma sistemática.

El efecto acumulado se ve en la participación de mujeres que reducen su presencia en redes por miedo a ataques, limitan su exposición o evitan ciertos temas. No es solo lo que la IA produce, sino las voces que desaparecen de la conversación.

Por eso el Red Teaming con enfoque de derechos no puede hacerse solo desde la técnica. Quienes han vivido estas violencias, y quienes acompañan, ven riesgos que no aparecen en una hoja de datos. Incorporar esas miradas en la fase de prueba es clave para que la IA deje de equivocarse siempre con las mismas personas.

Qué tiene que ver esto con las mujeres, el trabajo y la vida digital

La UNESCO, señala que alrededor del 58 % de las mujeres jóvenes y las niñas han sufrido acoso en línea, con mensajes insistentes, ataques personales, comentarios sexualizados o amenazas. Esto impacta la concentración, la salud emocional y la decisión de participar en espacios abiertos, y muchas terminan reduciendo su presencia en redes.

La guía también recoge datos sobre contenidos manipulados con IA. Un análisis de vídeos deepfake mostró que el 96 % del material estudiado era contenido íntimo no consentido y que los principales sitios dedicados a esta pornografía se enfocaban exclusivamente en mujeres. Aunque las imágenes sean falsas, las consecuencias laborales son muy reales, pérdida de confianza, cierre de oportunidades y tiempo invertido en responder a un daño que la persona afectada no originó.

En el ámbito profesional, una mujer que ha sido blanco de acoso o deepfakes suele cambiar su comportamiento: limita su exposición pública, evita ciertos temas o selecciona con más cautela los proyectos en los que se muestra. Esa reducción de visibilidad implica menos conexiones, menos invitaciones y menos reconocimiento, y termina influyendo en su trayectoria de carrera.

A esto se suma la baja participación femenina en el desarrollo de la IA. Los datos citados por la UNESCO indican que solo alrededor del 30 % de quienes trabajan en este campo son mujeres, y aún menos ocupan puestos de decisión. Quienes más sufren la violencia digital tienen, por tanto, menos presencia en los equipos que definen cómo se entrena, evalúa y despliega la tecnología.

En el periodismo, investigaciones respaldadas por la UNESCO muestran que una mayoría de mujeres periodistas ha sufrido violencia en línea ligada a su trabajo, con impacto en su salud mental y en los temas que decide cubrir. Muchas reducen su actividad digital o se retiran de ciertos debates.Desde esta perspectiva, el vínculo entre IA, género y trabajo es directo, los sesgos y violencias asociados a la tecnología condicionan decisiones de carrera, exposición pública y formas de participación profesional. El Red Teaming con enfoque de género permite mirar estos efectos de manera sistemática y discutir qué cambios son necesarios para trabajar y participar en entornos digitales con mayor protección.

Poner a prueba la IA también es responsabilidad nuestra

Si la IA ya interviene en cómo estudiamos, trabajamos y tomamos decisiones, revisar cómo se comporta no es opcional. Es parte de la responsabilidad de cualquier institución que la adopta y de quienes la usamos para decidir sobre otras personas.

En muchas organizaciones la IA entra como solución de eficiencia, ahorrar tiempo, automatizar tareas, ordenar información. Mucho menos se discute quién revisa sus efectos, con qué criterios y qué se hace cuando aparecen sesgos, exclusiones o violencia digital amplificada.

El Red Teaming ofrece una forma estructurada de hacer esta revisión y de plantear preguntas específicas:

• ¿Qué tipo de daño puede generar este sistema en el contexto donde lo usamos?
• ¿A quién expone más y a quién deja sistemáticamente por fuera?
• ¿Con qué evidencia sostenemos que sus beneficios compensan esos riesgos?

El siguiente paso no requiere dominar la jerga técnica, sino integrar estos ejercicios en el trabajo cotidiano. Por ejemplo:

• Registrar de manera sistemática los errores y daños que ya observas en herramientas de IA.
• Preguntar en tu organización cómo se eligieron, cómo se prueban y quién participa en esa evaluación.
• Proponer espacios de prueba con personas de perfiles diversos, especialmente quienes están más expuestas a decisiones automatizadas o a violencia digital.

Desde Descubriendo la IA en el trabajo seguiré insistiendo en algo simple usar IA sin revisarla es una elección, no un hecho neutro.

La pregunta que queda abierta es directa:

#ObjetivoEmpleo #LinkedInNoticiasAméricaLatina #IA #FuturoDelTrabajo #MujeresEnTecnología #EquidadDeGénero #TecnologíaConPropósito #TransformaciónDigital #DesarrolloProfesional #IAvanza #adrianapaezpino