Las organizaciones utilizan cada vez más modelos de aprendizaje automático para asignar recursos escasos u oportunidades. Por ejemplo, estos modelos pueden ayudar a las empresas a seleccionar currículums para entrevistas de trabajo o ayudar a los hospitales a clasificar a los pacientes que van a recibir un trasplante de riñón en función de sus probabilidades de supervivencia.
Al implementar un modelo, los usuarios generalmente intentan garantizar que sus predicciones sean justas reduciendo el sesgo. Esto suele implicar técnicas como ajustar las características que utiliza un modelo para tomar decisiones o calibrar los puntajes que genera.
Sin embargo, investigadores del MIT y de la Universidad de Northeastern sostienen que estos métodos de equidad no son suficientes para abordar las injusticias estructurales y las incertidumbres inherentes. En un nuevo artículo, muestran cómo la aleatorización de las decisiones de un modelo de forma estructurada puede mejorar la equidad en determinadas situaciones.
Por ejemplo, si varias empresas utilizan el mismo modelo de aprendizaje automático para clasificar a los candidatos a una entrevista de trabajo de manera determinista (sin aleatorización), entonces un individuo que lo merezca podría ser el candidato peor clasificado para cada puesto, tal vez debido a la forma en que el modelo pondera las respuestas proporcionadas en un formulario en línea. La introducción de la aleatorización en las decisiones de un modelo podría evitar que a una persona o grupo que lo merezca siempre se le niegue un recurso escaso, como una entrevista de trabajo.
A través de su análisis, los investigadores encontraron que la aleatorización puede ser especialmente beneficiosa cuando las decisiones de un modelo implican incertidumbre o cuando el mismo grupo recibe consistentemente decisiones negativas.
Presentan un marco que se podría utilizar para introducir una cantidad específica de aleatorización en las decisiones de un modelo mediante la asignación de recursos a través de una lotería ponderada. Este método, que cada individuo puede adaptar a su situación, puede mejorar la equidad sin perjudicar la eficiencia o la precisión de un modelo.
«Incluso si se pudieran hacer predicciones justas, ¿deberíamos decidir estas asignaciones sociales de recursos u oportunidades escasos basándose estrictamente en puntuaciones o clasificaciones? A medida que las cosas se escalan y vemos que cada vez más oportunidades se deciden mediante estos algoritmos, las incertidumbres inherentes a estas puntuaciones pueden verse amplificadas. Demostramos que la justicia puede requerir algún tipo de aleatorización», dice Shomik Jain, estudiante de posgrado en el Instituto de Datos, Sistemas y Sociedad (IDSS) y autor principal del artículo.
Jain colabora en el artículo con Kathleen Creel, profesora adjunta de filosofía y ciencias de la computación en la Universidad Northeastern, y con la autora principal Ashia Wilson, profesora de desarrollo profesional Lister Brothers en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación e investigadora principal en el Laboratorio de Sistemas de Información y Decisiones (LIDS). La investigación se presentará en la Conferencia Internacional sobre Aprendizaje Automático.
Considerando reclamaciones
Este trabajo se basa en un artículo anterior en el que los investigadores exploraron los daños que pueden producirse cuando se utilizan sistemas deterministas a gran escala. Descubrieron que el uso de un modelo de aprendizaje automático para asignar recursos de manera determinista puede amplificar las desigualdades que existen en los datos de entrenamiento, lo que puede reforzar el sesgo y la desigualdad sistémica.
«La aleatorización es un concepto muy útil en estadística y, para nuestro deleite, satisface las demandas de imparcialidad que surgen tanto desde un punto de vista sistémico como individual», afirma Wilson.
En este artículo, exploraron la cuestión de cuándo la aleatorización puede mejorar la equidad. Enmarcaron su análisis en las ideas del filósofo John Broome, quien escribió sobre el valor de usar loterías para premiar recursos escasos de una manera que honre todos los derechos de los individuos.
El derecho de una persona a un recurso escaso, como un trasplante de riñón, puede surgir de su mérito, de su merecimiento o de su necesidad. Por ejemplo, todo el mundo tiene derecho a la vida, y su derecho a un trasplante de riñón puede surgir de ese derecho, explica Wilson.
«Cuando reconocemos que las personas tienen diferentes derechos sobre estos recursos escasos, la justicia exige que respetemos todos los derechos de las personas. Si siempre le damos el recurso a alguien con un derecho más fuerte, ¿es justo?», dice Jain.
Ese tipo de asignación determinista podría causar exclusión sistémica o exacerbar la desigualdad pautada, que ocurre cuando recibir una asignación aumenta la probabilidad de que un individuo reciba asignaciones futuras. Además, los modelos de aprendizaje automático pueden cometer errores, y un enfoque determinista podría hacer que se repita el mismo error.
La aleatorización puede superar estos problemas, pero eso no significa que todas las decisiones que toma un modelo deban ser aleatorias por igual.
Aleatorización estructurada
Los investigadores utilizan una lotería ponderada para ajustar el nivel de aleatorización en función de la cantidad de incertidumbre que implica la toma de decisiones del modelo. Una decisión menos segura debería incorporar más aleatorización.
«En la asignación de riñones, por lo general, la planificación se basa en la expectativa de vida proyectada, y eso es sumamente incierto. Si dos pacientes tienen solo cinco años de diferencia, se vuelve mucho más difícil de medir. Queremos aprovechar ese nivel de incertidumbre para adaptar la asignación aleatoria», dice Wilson.
Los investigadores utilizaron métodos de cuantificación de incertidumbre estadística para determinar cuánta aleatorización se necesita en diferentes situaciones. Demuestran que la aleatorización calibrada puede conducir a resultados más justos para las personas sin afectar significativamente la utilidad o la eficacia del modelo.
«Es necesario lograr un equilibrio entre la utilidad general y el respeto de los derechos de los individuos que reciben un recurso escaso, pero a menudo la compensación es relativamente pequeña», afirma Wilson.
Sin embargo, los investigadores enfatizan que hay situaciones en las que aleatorizar las decisiones no mejoraría la equidad y podría perjudicar a las personas, como en contextos de justicia penal.
Pero podría haber otras áreas en las que la aleatorización puede mejorar la equidad, como las admisiones universitarias, y los investigadores planean estudiar otros casos de uso en trabajos futuros. También quieren explorar cómo la aleatorización puede afectar a otros factores, como la competencia o los precios, y cómo podría usarse para mejorar la solidez de los modelos de aprendizaje automático.
«Esperamos que nuestro artículo sea un primer paso para demostrar que la aleatorización puede tener beneficios. Ofrecemos la aleatorización como una herramienta. En qué medida se va a querer hacer esto dependerá de todas las partes interesadas en la asignación. Y, por supuesto, cómo decidan es otra cuestión de investigación en su conjunto», dice Wilson.
