“
La emoción de Mary Louis por mudarse a un apartamento en Massachusetts en la primavera de 2021 se convirtió en consternación cuando Louis, una mujer negra, recibió un correo electrónico diciendo que un “servicio de terceros” le había denegado la tenencia.
Ese servicio de terceros incluía un algoritmo diseñado para puntuar a los solicitantes de alquiler, que se convirtió en el objeto de una demanda colectiva, con Louis a la cabeza, alegando que el algoritmo discriminaba por motivos de raza e ingresos.
Un juez federal aprobó un acuerdo en la demanda, una de las primeras de su tipo, el miércoles, con la empresa detrás del algoritmo aceptando pagar más de $2.2 millones y revertir ciertas partes de sus productos de screening que la demanda alegaba eran discriminatorias.
El acuerdo no incluye ninguna admisión de culpa por parte de la empresa SafeRent Solutions, que dijo en un comunicado que si bien “continúa creyendo que las puntuaciones SRS cumplen con todas las leyes aplicables, el litigio es un proceso largo y costoso”.
Aunque este tipo de demandas pueden ser relativamente nuevas, el uso de algoritmos o programas de inteligencia artificial para evaluar a los estadounidenses no lo es. Durante años, la IA ha estado ayudando de manera encubierta a tomar decisiones trascendentales para los residentes de EE.UU.
Cuando una persona envía una solicitud de trabajo, solicita un préstamo hipotecario o incluso busca cierta atención médica, existe la posibilidad de que un sistema de IA o un algoritmo los esté evaluando como lo hizo con Louis. Sin embargo, esos sistemas de IA están en su mayoría sin regular, a pesar de que se ha encontrado que algunos discriminan.
“Las compañías de administración y los propietarios deben saber que ahora están bajo aviso, que estos sistemas que están asumiendo son confiables y buenos serán desafiados”, dijo Todd Kaplan, uno de los abogados de Louis.
La demanda alegaba que el algoritmo de SafeRent no tenía en cuenta los beneficios de los vales de vivienda, que dijeron era un detalle importante para la capacidad de un inquilino de pagar la renta mensual, y por lo tanto discriminaba a los solicitantes de bajos ingresos que calificaban para la ayuda.
La demanda también acusó al algoritmo de SafeRent de depender demasiado de la información crediticia. Argumentaron que no ofrece una imagen completa de la capacidad de un solicitante para pagar la renta a tiempo y perjudica injustamente a los solicitantes con vales de vivienda que son negros y hispanos en parte porque tienen puntajes de crédito medio más bajos, atribuibles a desigualdades históricas.
Christine Webber, una de las abogadas de la demandante, dijo que solo porque un algoritmo o IA no esté programado para discriminar, los datos que utiliza o pondera podrían tener “el mismo efecto que si se le ordenara discriminar intencionalmente”.
Cuando se negó la solicitud de Louis, intentó apelar la decisión, enviando dos referencias de propietarios para demostrar que había pagado la renta temprano o a tiempo durante 16 años, aunque no tenía un historial crediticio sólido.
Louis, que tenía un vale de vivienda, estaba en apuros, ya que ya le había avisado a su anterior arrendador que se mudaba, y se encargaba de cuidar de su nieta.
La respuesta de la empresa de gestión, que utilizaba el servicio de screening de SafeRent, decía: “No aceptamos apelaciones y no podemos anular el resultado del screening de inquilinos”.
Louis se sintió derrotada; el algoritmo no la conocía, dijo.
“Todo se basa en números. No obtienes empatía individual de ellos”, dijo Louis. “No hay forma de vencer al sistema. El sistema siempre nos va a vencer a nosotros”.
Aunque los legisladores estatales han propuesto regulaciones agresivas para estos tipos de sistemas de IA, las propuestas han fallado en gran medida en obtener suficiente apoyo. Eso significa que demandas como la de Louis están empezando a sentar las bases para la rendición de cuentas de la IA.
Los abogados defensores de SafeRent argumentaron en una moción para desechar que la empresa no debería ser considerada responsable de discriminación porque SafeRent no tomaba la decisión final de aceptar o rechazar a un inquilino. El servicio escudriñaría a los solicitantes, los puntuaría y enviaría un informe, pero dejaría a los propietarios o empresas de gestión la decisión de aceptar o rechazar a un inquilino.
Los abogados de Louis, junto con el Departamento de Justicia de EE.UU., que presentó una declaración de interés en el caso, argumentaron que el algoritmo de SafeRent podría ser considerado responsable porque aún juega un papel en el acceso a la vivienda. El juez rechazó la moción de SafeRent para desechar en esos cargos.
El acuerdo estipula que SafeRent no puede incluir la función de puntuación en sus informes de screening de inquilinos en ciertos casos, incluido si el solicitante está utilizando un vale de vivienda. También requiere que si SafeRent desarrolla otra puntuación de screening que planea utilizar, esta debe ser validada por un tercero aceptado por los demandantes.
El hijo de Louis encontró un apartamento asequible para ella en Facebook Marketplace al que se mudó desde entonces, aunque era $200 más caro y en una zona menos deseable.
“No soy optimista sobre conseguir un respiro, pero tengo que mantenerme en la lucha, eso es todo”, dijo Louis. “Tengo a muchas personas que dependen de mí.”
¿Cuántos grados de separación te separan de los líderes empresariales más poderosos del mundo? Descubre quiénes han hecho nuestra nueva lista de los 100 Personas Más Poderosas en el Mundo de los Negocios. Además, conoce las métricas que utilizamos para hacerla.”