Ocasio-Cortez denuncia a Amazon por "sesgo" en su tecnología de detección facial

La representante Alexandria Ocasio-Cortez criticó a Amazon por lo que calificó de "sesgo" en la tecnología de detección facial del gigante tecnológico.

La congresista novata dijo a sus 2,7 millones de seguidores en Twitter: "Cuando no se aborda el sesgo humano, ese sesgo se automatiza. Las máquinas son el reflejo de sus creadores, lo que significa que son defectuosas, y debemos ser conscientes de ello. Es una buena razón por la que la diversidad no es sólo 'agradable', es una salvaguarda contra tendencias como ésta."

El estudio al que Ocasio-Cortez hacía referencia en su tuit, realizado por investigadores del MIT y de la Universidad de Toronto, reveló que la tecnología de Amazon etiquetaba como hombres a mujeres de piel más oscura el 31% de las veces. Las mujeres de piel más clara fueron identificadas erróneamente el 7% de las veces.

APPLE SE APRESURA A SOLUCIONAR EL ERROR DE FACETIME QUE PERMITE ESPIARTE

Matt Wood, director general de inteligencia artificial de la unidad de computación en nube de Amazon, dijo a Associated Press que el estudio utiliza una tecnología de "análisis facial" y no de "reconocimiento facial". Wood dijo que el análisis facial "puede detectar rostros en vídeos o imágenes y asignarles atributos genéricos, como llevar gafas; el reconocimiento es una técnica diferente mediante la cual se empareja un rostro individual con rostros en vídeos e imágenes".

Wood también dijo que Amazon ha actualizado su tecnología desde el estudio -que realizó pruebas en agosto del año pasado- y que su propio análisis mostró "cero falsas coincidencias positivas".

Sin embargo, la investigadora del laboratorio del MIT Joy Buolamwini respondió en un post en Medium que el público "no puede confiar en que Amazon se vigile a sí mismo o proporcione tecnología no regulada y no probada a la policía o a las agencias gubernamentales".

"La terminología utilizada en este campo no siempre es coherente, y es posible que veas términos como "reconocimiento de caras" o "reconocimiento facial" utilizados indistintamente", escribió en Medium Buolamwini, que está realizando un doctorado centrado en la IA participativa en el Centro de Medios Cívicos del Laboratorio de Medios del MIT. "A menudo, empresas como Amazon proporcionan servicios de IA que analizan los rostros de diversas maneras, ofreciendo funciones como etiquetar el sexo o proporcionar servicios de identificación. Todos estos sistemas, independientemente de cómo se llamen, deben ser revisados continuamente para detectar sesgos perjudiciales."

FACEBOOK RECHAZA EL INFORME DE UN ANTIGUO COMPAÑERO DE HARVARD DEL PRESIDENTE MARK ZUCKERBERG QUE AFIRMA QUE LA MITAD DE SUS USUARIOS SON FALSOS

Amazon ha sido criticada por legisladores, grupos de defensa de las libertades civiles y accionistas por su tecnología de reconocimiento facial, conocida como "Rekognition".

Un grupo de accionistas emitió una declaración en la que afirma que a los inversores les preocupa que la tecnología de reconocimiento facial sea utilizada por las agencias gubernamentales locales y federales "para justificar la vigilancia, explotación y detención de personas que intentan entrar en Estados Unidos" e insta a Amazon a trabajar con expertos en libertades civiles y derechos humanos para evaluar el impacto del programa.

Un estudio de la ACLU de 2018 , que Amazon rechaza, demostró que la tecnología de reconocimiento facial de la empresa etiquetó erróneamente a 28 miembros del Congreso como sospechosos policiales, alimentando aún más la preocupación por el sesgo racial.

En su blog público, Amazon afirma que la tecnología de reconocimiento facial no debe sustituir al juicio humano.

"En todos los escenarios de seguridad pública y aplicación de la ley, la tecnología como Amazon Rekognition sólo debe utilizarse para reducir el campo de posibles coincidencias. Las respuestas de Amazon Rekognition permiten a los funcionarios obtener rápidamente un conjunto de rostros potenciales para su posterior análisis humano. Dada la gravedad de los casos de uso en seguridad pública, el juicio humano es necesario para aumentar el reconocimiento facial, y el software de reconocimiento facial no debe utilizarse de forma autónoma", afirma la empresa.

Amazon también señala que la tecnología de reconocimiento facial, que ya se utiliza en algunos aeropuertos estadounidenses para que los viajeros pasen más rápidamente por el control de seguridad, también puede utilizarse para identificar a las víctimas de la trata de seres humanos y para evitar el fraude cuando los clientes utilizan determinadas aplicaciones de servicios financieros.

CHINA DESARROLLA UNA APLICACIÓN PARA CONTROLAR A LOS "DEUDORES MOROSOS

Es probable que tecnólogos, activistas y sus propios empleados sigan presionando a Amazon. Los algoritmos, que impulsan todo, desde Siri hasta los resultados que ves en el motor de búsqueda de Google, pueden utilizarse indebidamente de forma que envíen a personas inocentes a la cárcel.

"Los algoritmos siguen estando hechos por seres humanos, y esos algoritmos siguen estando vinculados a supuestos humanos básicos", dijo Ocasio-Cortez, que también dijo recientemente que los "monopolios tecnológicos" son una de las mayores amenazas para el periodismo, al escritor Ta-Nehisi Coates en el acto anual MLK Now. "No son más que suposiciones automatizadas. Y si no arreglas el sesgo, entonces sólo estás automatizando el sesgo".

La científica de datos Emily Gorcenski defendió los comentarios de Ocasio-Cortez sobre los algoritmos sesgados.

"Este fenómeno está bien reconocido en el campo", escribió Gorcenski en Twitter. "No sólo se comprende bien el fenómeno, sino que sus comportamientos fundamentales son críticos para ser un científico de datos eficaz. Todos los científicos de datos reconocen que los algoritmos se adaptarán excesivamente a los sesgos sin controles. Hay todo un subcampo dedicado a estudiar formas de evitarlo".

Associated Press colaboró en la elaboración de este informe.