Redacción
La ética se abre poco a poco espacio entre la tecnología. Un viento nuevo que cuestiona el mantra de que la técnica carece de errores, de que es casi incontrovertible. Por sí misma no dispone de bondad o maldad. Pero su uso, confección y aprendizaje, siempre dependientes del ser humano, guardan estrecha relación con tales atributos morales. Y a esta revisión se ha sometido un sistema de inteligencia artificial como VeriPol, un algoritmo diseñado para detectar denuncias falsas y desplegado en todas las comisarías españolas desde hace poco más de dos años.
Presentado como único en el mundo, analiza y detecta las combinaciones de palabras más comunes cuando se miente a un policía. Entre las palabras que predominan en las denuncias falsas están los “tirones” desde “atrás” o por la “espalda”, de la “mochila” o “bolso”, efectuados por un agresor con “casco” o vestido de “negro”. Las descripciones no se centran normalmente en los hechos, sino en los objetos sustraídos y su valor. De acuerdo con los datos recogidos por su impulsor, el inspector Miguel Camacho, el sistema cuenta con un 91% de acierto. Como toda inteligencia artificial, su entrenamiento requiere datos. En este caso, provienen del análisis de 1.122 denuncias de 2015 —534 verdaderas y 588 falsas—.
Aquí comienzan las dudas éticas. Aunque la policía no ha querido contestar a ninguna pregunta, la información recabada para poner en marcha VeriPol desatiende la diversidad social de España, según algunos expertos en privacidad. La mayoría de datos proceden de Andalucía y por ello, como argumenta Ricardo Baeza-Yates, director de Ciencia de Datos en la Northeastern University y catedrático de Informática de la Universitat Pompeu Fabra, la cobertura de todo el espacio muestral del lenguaje no está reflejada en el sistema. “El problema no es ya la cantidad, que un millar no es mucho, sino la variedad de vocablos empleados en España. Para mí es un error extrapolar el uso del lenguaje en Andalucía a otras autonomías como Galicia y País Vasco. Por no mencionar los inmigrantes, que ni están incluidos”.
Una de las programadoras del algoritmo, Lara Quijano, profesora e investigadora en la Universidad Autónoma de Madrid, afirma que el entrenamiento al que se sometió a la inteligencia artificial partió de poco más de un millar de datos anónimos, escogidos aleatoriamente. Un policía trabajó durante todo un año eliminando cualquier referencia que permitiera geolocalizar la denuncia. Ni nombres ni calles ni barrios. “Así evitábamos caer en sesgos innecesarios. Nos aseguramos de que el algoritmo era incapaz de procesar alguna referencia a una localidad o área geográfica concreta. Esto queda recogido en el artículo de investigación que publicamos”.
No existe una cifra mágica válida, pero Baeza-Yates establece como realmente representativo uno por 10.000 habitantes de cada Comunidad. Lorena Jaume-Palasi, integrante del consejo asesor del Gobierno para inteligencia artificial, entiende que una herramienta como VeriPol requiere unos datos dinámicos, capaces de atender a todo tipo de culturas sociolingüísticas. Pone el ejemplo de una mujer musulmana que vaya a denunciar, que cuenta con sus propias expresiones e incluso puede sentirse amedrentada al verse rodeada de muchos hombres y alterar su forma de hablar. “El lenguaje corporal también importa en la denuncias y aquí no aparece. Este sistema crea tipos ideales. No describe la realidad, sino que, de forma artificial, establece una descripción mecanizada de la realidad. La realidad es más dinámica que solo unas palabras”, precisa Jaume-Palasi.
Los sesgos se acrecientan un poco más por la forma en que se emplea VeriPol. En principio, debería procesar el lenguaje natural de los denunciantes, aunque, en realidad, descifra aquello que los policías recogen en las denuncias. El algoritmo no interpreta directamente las palabras y expresiones de quienes acuden a una comisaría. Nadie duda de la profesionalidad del Cuerpo Nacional de Policía, sino del entrenamiento que recibe la inteligencia artificial en un asunto tan sensible, que conlleva sanciones administrativas y hasta penales. “Que se equivoque un 9% implica que el sistema acusa erróneamente a nueve de cada 100 personas. Y esto es un conflicto ético muy grave”, sostiene Baeza-Yates.
Rebekah Overdorf, ingeniera informática e investigadora en la Universidad Politécnica de Lausana, recuerda que, como cualquier otro modelo de machine learning, este sistema aprende patrones a partir de los datos provistos. En este caso, los atestados policiales establecen la frontera entre verdad y mentira. Es decir, si la denuncia de una víctima recogida por un policía, por el motivo que sea, emplea un lenguaje similar al de las falsas, sería definido por el sistema como engañoso —aun cuando sí ha sufrido un robo—. “Esta herramienta no muestra si un testimonio es falso. Únicamente concluye cuánto se parece a las denuncias que ya han sido previamente catalogadas como verdaderas o falsas durante el entrenamiento”, razona.
Mayor normativa específica
La policía recordaba en la presentación de la herramienta que en ningún caso VeriPol enjuicia a los denunciantes, sobre todo porque sería ilegal debido a que está prohibido sancionar a una persona solo tras un proceso de automatización. La decisión final depende de los agentes. El debate legal, entonces, se traslada a cómo regular el uso de la inteligencia artificial. Natalia Martos, fundadora de Legal Army, aboga por desarrollar en España una normativa específica, que atienda el impacto de la automatización en ámbitos tan sensibles como el del perfilado social. “Podríamos estar indefensos ante determinadas decisiones que dejamos en manos de las máquinas. Vamos con retraso en la regulación. Finlandia, Singapur y Japón serían unos buenos ejemplos de cómo afrontar esta realidad”.
Al margen de discutir si resulta factible homogeneizar el concepto de veracidad y falsedad, la ciencia de datos ha demostrado que polígrafos como VeriPol no son concluyentes, les falta validez para usarlos como prueba. Para Jaume-Palasi es aún más delicado que se señale a las presuntas víctimas, cuyo testimonio se pone en entredicho directamente por las autoridades policiales —según cifras de la policía, en 2019 utilizó el algoritmo en un 35% de las denuncias—. “Conceptualmente es muy problemático. Estamos cambiando los fundamentos jurídicos. Ya no hablamos de in dubio pro reo (en caso de duda favorecer al acusado). Cuestionamos directamente a las víctimas”.
Tambien hay dudas sobre el dilema entre falsos positivos y falsos negativos que siempre acompaña a la inteligencia artificial. La relevancia aquí es que hablamos tanto de personas que logran salirse con la suya como de otras acusadas injustamente —”y los errores siempre van ocurrir con la tecnología”, apunta Overdorf—. La sociedad ha de plantearse dónde pone el listón de la tolerancia. “¿Debemos aceptar más denuncias falsas con el fin de no acusar a una víctima inocente? ¿A cuántos inocentes estamos dispuestos a acusar para atrapar a los malos? ¿Quién determina este umbral? ¿Un programador? ¿El legislador? ¿Es arbitrario?”, plantea Overdorf.
Una forma de atajar tales disyuntivas, al menos así lo desliza Baeza-Yates, sería crear una regulación para que un comité de ética externo, sin conflictos de interés, apruebe los algoritmos empleados por instituciones y empresas que afecten a las personas. “Hay un tendencia de que la tecnología puede hacer más de lo que realmente puede. Ahí está la frenología tecnológica. La ciencia existe, pero la aplicamos falsamente, como a la hora de identificar criminales por sus rasgos faciales o para determinar si alguien miente por cómo se expresa”.
Diferentes expertos exigen que VeriPol se siente en el diván de la ética. Jaume-Palasi se muestra categórica al definirlo como un sistema de victimización, que parte de conceptos sesgados debido a cómo extrae y evalúa los datos. La máquina exagera un determinado ángulo de las denuncias. Cuanto más se utilice, más amplía la visión y la manera de ver la realidad con la que ha sido entrenada. “En inteligencia artificial hace falta un trabajo interdisciplinar. No podemos pedir que un ingeniero sea jurista, sociólogo y científico del dato. No hay modelo perfecto ni tampoco una estadística 100% válida”, concluye.
Puedes seguir a EL PAÍS TECNOLOGÍA en Facebook, Twitter, Instagram o suscribirte aquí a nuestra Newsletter.
