Sesgos en los Sistemas Comerciales de Inteligencia Artificial

Este elemento es una expansión del contenido de los cursos y guías de Lawi. Ofrece hechos, comentarios y análisis sobre este tema. [aioseo_breadcrumbs]

Sesgo de Género y Tipo de Piel en los Sistemas Comerciales de Inteligencia Artificial

Tres programas de análisis facial comercialmente lanzados por las principales compañías de tecnología demuestran tanto el tipo de piel como los prejuicios de género. El estudio se ocupa de los errores en el software de reconocimiento facial que crean una preocupación por las libertades civiles. Si los programadores están entrenando a la inteligencia artificial en un conjunto de imágenes compuestas principalmente por rostros masculinos blancos, sus sistemas reflejarán ese sesgo. La investigación apoya la sospecha de que el software de reconocimiento facial es mejor para procesar las caras blancas que las de otras personas. El sesgo probablemente surge “de los conjuntos de datos que las empresas en cuestión utilizaron para entrenar su software.

En los experimentos de los investigadores, los índices de error de los tres programas para determinar el género de los hombres de piel clara nunca fueron peores que el 0,8 por ciento. Para las mujeres de piel más oscura, sin embargo, las tasas de error se dispararon – a más del 20 por ciento en un caso y más del 34 por ciento en los otros dos.

Buolamwini, con Gebru, probó tres sistemas diferentes de reconocimiento facial y descubrió que la precisión es mejor cuando el sujeto es un hombre de piel más clara. Con el software de reconocimiento facial que utiliza la policía para identificar a los sospechosos, esto significa que las inexactitudes podrían tener consecuencias, como la incorporación sistemática de sesgos en las detenciones y registros policiales.

Los hallazgos plantean preguntas sobre cómo se entrenan y evalúan las redes neuronales de hoy en día, que aprenden a realizar tareas computacionales buscando patrones en enormes conjuntos de datos. Por ejemplo, según el artículo, los investigadores de una importante empresa de tecnología de EE.UU. afirmaron que la tasa de precisión de un sistema de reconocimiento facial que habían diseñado era superior al 97 por ciento.Si, Pero: Pero el conjunto de datos utilizado para evaluar su desempeño fue de más de 77 por ciento de hombres y más de 83 por ciento de blancos.

“Lo que es realmente importante aquí es el método y cómo ese método se aplica a otras aplicaciones”, dice Joy Buolamwini, investigadora del grupo Civic Media Lab del MIT y primera autora del documento. “Las mismas técnicas centradas en los datos que se pueden utilizar para tratar de determinar el género de alguien también se utilizan para identificar a una persona cuando se busca a un sospechoso criminal o para desbloquear el teléfono. Y no se trata sólo de la visión de la computadora. Tengo la esperanza de que esto estimule a trabajar más en la búsqueda de [otras] disparidades”.

Descubrimientos casuales

Los tres programas que Buolamwini y Gebru investigaron eran sistemas de análisis facial de propósito general, que podían utilizarse para hacer coincidir rostros en diferentes fotos, así como para evaluar características como el género, la edad y el estado de ánimo. Los tres sistemas trataban la clasificación de género como una decisión binaria – masculina o femenina – lo que hacía que su desempeño en esa tarea fuera particularmente fácil de evaluar estadísticamente.Si, Pero: Pero los mismos tipos de sesgo probablemente también afectan al rendimiento de los programas en otras tareas.

De hecho, fue el descubrimiento fortuito de un aparente sesgo en el seguimiento de la cara por parte de uno de los programas lo que impulsó la investigación de Buolamwini en primer lugar.

Hace varios años, como estudiante de postgrado en el Laboratorio de Medios, Buolamwini estaba trabajando en un sistema que llamó Upbeat Walls, una instalación artística multimedia interactiva que permitía a los usuarios controlar los patrones de color proyectados en una superficie reflectante moviendo la cabeza. Para rastrear los movimientos del usuario, el sistema usaba un programa comercial de análisis facial.

El equipo que Buolamwini reunió para trabajar en el proyecto era étnicamente diverso, pero los investigadores descubrieron que, cuando llegaba el momento de presentar el dispositivo en público, tenían que confiar en uno de los miembros del equipo de piel más clara para demostrarlo. El sistema no parecía funcionar de forma fiable con los usuarios de piel más oscura.

Curioso, Buolamwini, que es negro, comenzó a enviar fotos de sí mismo a programas comerciales de reconocimiento facial.Entre las Líneas En varios casos, los programas no reconocieron las fotos como si tuvieran un rostro humano. Cuando lo hicieron, clasificaron erróneamente el género de Buolamwini.

Los estándares cuantitativos

Para comenzar a investigar sistemáticamente los sesgos de los programas, Buolamwini reunió primero un conjunto de imágenes en las que las mujeres y las personas de piel oscura están mucho mejor representadas que en los conjuntos de datos que suelen utilizarse para evaluar los sistemas de análisis facial. El conjunto final contenía más de 1.200 imágenes.

A continuación, trabajó con un cirujano dermatológico para codificar las imágenes de acuerdo con la escala Fitzpatrick de tonos de piel, una escala de seis puntos, de claro a oscuro, desarrollada originalmente por los dermatólogos como un medio para evaluar el riesgo de quemaduras de sol.

Luego aplicó tres sistemas comerciales de análisis facial de las principales compañías de tecnología a su nuevo conjunto de datos.Entre las Líneas En los tres, las tasas de error para la clasificación de género fueron consistentemente más altas para las mujeres que para los hombres, y para los sujetos de piel más oscura que para los de piel más clara.

Para las mujeres de piel más oscura -aquellas a las que se les asignaron puntuaciones de IV, V o VI en la escala de Fitzpatrick- los índices de error fueron del 20,8 por ciento, 34,5 por ciento y 34,7.Si, Pero: Pero con dos de los sistemas, los índices de error para las mujeres de piel oscura del conjunto de datos – las que recibieron una puntuación de VI – fueron aún peores: 46,5 por ciento y 46,8 por ciento. Esencialmente, para esas mujeres, el sistema podría haber estado adivinando el género al azar.

“Para fallar en uno de cada tres, en un sistema comercial, en algo que ha sido reducido a una tarea de clasificación binaria, tienes que preguntarte, ¿eso habría sido permitido si esas tasas de fallo estuvieran en un subgrupo diferente?” Buolamwini dice. “La otra gran lección… es que nuestros puntos de referencia, los estándares con los que medimos el éxito, pueden darnos una falsa sensación de progreso.”

“Esta es un área en la que los conjuntos de datos tienen una gran influencia en lo que sucede con el modelo”, dice Ruchir Puri, arquitecto jefe del sistema de inteligencia artificial Watson de IBM. “Tenemos un nuevo modelo ahora que hemos sacado que es mucho más equilibrado en términos de precisión a través del punto de referencia que Joy estaba mirando. Tiene medio millón de imágenes con tipos equilibrados, y tenemos una red neural subyacente diferente que es mucho más robusta.”

“Nos lleva tiempo hacer estas cosas”, añade. “Hemos estado trabajando en esto aproximadamente ocho o nueve meses. El modelo no es específicamente una respuesta a su trabajo, pero nos encargamos de abordar las cuestiones que había planteado directamente, incluyendo su punto de referencia. Ella estaba planteando algunos puntos muy importantes, y deberíamos ver cómo nuestro nuevo trabajo los resiste”.

Datos verificados por: Chris y Williams

Despido de Google

Timnit Gebru, que era el co-líder técnico del equipo de Inteligencia Artificial Ética de Google, y fue despedida en diciembre de 2020 después de enviar un correo electrónico a un grupo interno de mujeres y aliados que trabajan en la unidad de Inteligencia Artificial de la compañía.

El correo electrónico hacía referencia a una disputa sobre un trabajo de investigación, pero más ampliamente expresaba la frustración por los programas de diversidad de Google.Entre las Líneas En él, Gebru argumentaba que “no hay responsabilidad alguna” o un incentivo real para que el liderazgo de Google cambie. “Tu vida empeora cuando empiezas a abogar por las personas subrepresentadas, empiezas a hacer que los otros líderes se molesten”, escribió Gebru. “No hay manera de que más documentos o más conversaciones logren algo”.

Gebru es una de las científicas negras más conocidas y respetadas que trabajan en la IA. Antes de unirse a Google, fue coautora de un documento ampliamente citado en 2018 que encontró mayores tasas de error en la tecnología de análisis facial para mujeres con tonos de piel más oscuros. También fue cofundadora de la organización sin fines de lucro Black in AI, que tiene como objetivo aumentar la representación de las personas de color en el campo.

La disputa sobre la investigación de Gebru surgió en noviembre, cuando un alto directivo de Google le dijo a Gebru que tendría que retractarse o eliminar su nombre de un documento del que había sido coautora, dijo Gebru ala prensa. El documento, del que fueron coautores investigadores de dentro y fuera de Google, sostenía que las empresas de tecnología podrían hacer más para asegurar que los sistemas de IA dirigidos a imitar la escritura y el habla humanas no exacerbaran los prejuicios históricos de género y el uso de lenguaje ofensivo, según un borrador visto por Reuters.

“Sentí que estábamos siendo censurados y pensé que esto tenía implicaciones para toda la investigación ética de la IA”, le dijo a la prensa. “No vas a tener papeles que hagan feliz a la compañía todo el tiempo y no señalen problemas. Eso es antitético a lo que significa ser ese tipo de investigador”.

Basado en la experiencia de varios autores, mis opiniones, perspectivas y recomendaciones se expresarán a continuación (o en otros lugares de esta plataforma, respecto a las características en 2026 o antes, y el futuro de esta cuestión):

Gebru dijo que ella intentó negociar con Google, ofreciendo quitar su nombre del papel a cambio de una explicación completa de las objeciones de la compañía, así como una discusión de un mejor proceso para manejar tales asuntos en el futuro. Si la empresa se negaba, ella se encargaría de irse en una fecha posterior.

Google rechazó su solicitud y, después de que Gebru enviara el frustrado correo electrónico sobre los esfuerzos de diversidad, la empresa envió un correo electrónico a su equipo para decir que había aceptado su renuncia. También le cortaron el acceso al correo electrónico de la empresa, dijo Gebru. Google ha mantenido que Gebru renunció.

La abrupta partida de Gebru causó una gran conmoción en Google y en la comunidad de investigación de la IA. Sherrilyn Ifill, presidenta del Fondo de Defensa Legal y Educación de la NAACP, escribió en Twitter que el despido de Gebru fue “absolutamente exasperante” y “un desastre”. Más de 1.200 empleados de Google y más de 1.500 partidarios del mundo académico y de la sociedad civil firmaron una carta de protesta.

“El despido es un acto de represalia contra el Dr. Gebru, y anuncia el peligro para las personas que trabajan por una IA ética y justa – especialmente los negros y las personas de color – en todo Google”, se lee en la carta, publicada por el grupo que organizó un paro en Google por el trato que la empresa da al acoso sexual y a la discriminación de género.

“La integridad de la investigación ya no se puede dar por sentada en el entorno de investigación corporativa de Google, y el despido del Dr. Gebru ha derribado un entendimiento de trabajo sobre el tipo de investigación que Google permitirá. Este es también un momento de ajuste de cuentas más allá de Google.”

La abrupta partida de Gebru se suma a años de angustia, incluyendo varias renuncias y despidos, en el departamento de IA y otras organizaciones de Google sobre la diversidad y si los esfuerzos de la compañía para minimizar los posibles daños de sus servicios son suficientes.

El miércoles pasado, la Junta Nacional de Relaciones Laborales emitió una denuncia en la que acusaba a Google de supervisar e interrogar ilegalmente a varios trabajadores que fueron despedidos por protestar contra las políticas de la empresa e intentar organizar un sindicato.

Jeff Dean, jefe de la unidad de Inteligencia Artificial de Google, dijo al personal en un correo electrónico obtenido por Platformer que el artículo de investigación “no cumplía con nuestro criterio de publicación”. Dean, que es blanco y varón, también dirigió el correo electrónico de Gebru al grupo de mujeres y aliados, escribiendo: “También me siento mal porque cientos de ustedes recibieron un email esta semana de Timnit diciéndoles que dejen de trabajar en programas críticos de la DEI. Por favor, no lo hagan”.

El viernes, Dean publicó una declaración más larga sobre el despido de Gebru, que continuó llamando una renuncia.Entre las Líneas En ella, reiteró su argumento de que el documento no incluía suficientes referencias a los esfuerzos que Google ha hecho para disminuir los impactos ambientales de la computación o sus intentos de mitigar el sesgo en la IA.

Datos verificados por: Chris

▷ Esperamos que haya sido de utilidad. Si conoces a alguien que pueda estar interesado en este tema, por favor comparte con él/ella este contenido. Es la mejor forma de ayudar al Proyecto Lawi.