La aplicación de citas Badoo ha lanzado un ‘Detector de mensajes groseros’ que marcará automáticamente cualquier mensaje insultante, discriminatorio o excesivamente sexual.
La herramienta utiliza el aprendizaje automático, una forma de inteligencia artificial (IA), para distinguir entre las «bromas» y el abuso verbal real, como el «odio por la identidad» hacia las personas transgénero.
Es capaz de identificar mensajes abusivos o hirientes enviados entre socios de chat en tiempo real, y luego les da a los usuarios la opción de bloquearlos e informarlos inmediatamente.
Badoo, que tiene 521 millones de usuarios en 190 países, dice que la herramienta es uno de los últimos pasos en su ‘compromiso más amplio con la seguridad’.
Se ha implementado para todos los usuarios de Badoo en todo el mundo, ya sea que estén chateando con un hombre o una mujer.
El Detector de mensajes groseros identifica los mensajes abusivos o hirientes enviados en el chat en tiempo real y anima a los usuarios a bloquearlos y denunciarlos de inmediato, «para crear un espacio seguro y respetuoso para las personas que se citan». Un cuadro emergente (en la imagen) le preguntará al usuario si ‘todo está bien’ cuando el aprendizaje automático detecta algún ‘lenguaje grosero’
Según Badoo, el aprendizaje automático identifica ‘diferencias sutiles’ en palabras potencialmente ofensivas para saber si los mensajes son dañinos o son una broma.
Por ejemplo, «Eso es jodidamente increíble» no se marcaría, pero «Vete a la mierda» sí.
«La seguridad de nuestros usuarios es de suma importancia para nosotros y estamos constantemente desarrollando nueva tecnología para proteger a las personas que se citan en Badoo», dijo Natasha Briefel, directora de marketing de marca de Badoo Reino Unido.
“Sabemos que usar un lenguaje ingenioso y divertido es parte de la diversión de las citas para muchas personas, pero queremos asegurarnos de que haya una distinción clara entre lo que es y lo que no es un comportamiento aceptable.
«Esperamos que el lanzamiento de la función Detector de mensajes groseros anime a la minoría de personas a pensar antes de escribir un mensaje grosero, además de ayudar a los receptores de estos mensajes a sentirse capacitados para bloquear e informar sobre este comportamiento».
Al igual que Tinder, Badoo usa la funcionalidad de deslizar hacia la derecha o hacia la izquierda para indicar un interés romántico en otro usuario.
Al iniciar la aplicación, Badoo le muestra posibles coincidencias en su área y les brinda a hombres y mujeres la oportunidad de iniciar una conversación de chat, a diferencia de la aplicación de citas ‘feminista’ rival Bumble.
Con Rude Message Detector, Badoo muestra al destinatario un mensaje emergente oportuno que le pregunta si todo está bien y lo alienta a informar al remitente si el mensaje lo incomoda.
La ventana emergente dice: «Parece que esta persona usó un lenguaje grosero, así que solo estamos verificando si todavía quieres saber de ella».
A continuación, ofrece a los usuarios dos opciones para hacer clic: «Sí, seguir chateando» y «No, bloquear e informar».
‘¿Esta todo bien?’ Rude Message Detector entra en acción cuando los usuarios están chateando en la aplicación
La función marca los mensajes en tres categorías diferentes: ‘sexual’, ‘insulto’ y ‘odio a la identidad’, que cubre la discriminación contra la identidad de género.
En casos graves, Badoo también investiga de forma proactiva los mensajes enviados y toma medidas directas contra el usuario.
Un portavoz de Badoo le dijo a MailOnline que un ‘caso grave’ constituiría una violación de su Principios de la Comunidad, descrito en su sitio web, como enviar ‘mensajes claramente sexualizados’ al comienzo de conversaciones a múltiples usuarios, o avergonzar a otros usuarios.
En sus pautas comunitarias, Badoo dice que su base de usuarios es una ‘comunidad muy diversa’ y, por lo tanto, ‘adopta una postura firme’ contra el discurso de odio y la discriminación.
‘Consideramos que el contenido es discurso de odio si promueve o aprueba el racismo, la intolerancia, la violencia, el odio, la deshumanización o el daño contra personas o grupos por motivos de raza, etnia, discapacidad, edad, nacionalidad, orientación sexual, género, identidad de género, religión, apariencia (incluida la vergüenza corporal) ”, dice.
Badoo utiliza sistemas automatizados y un equipo de moderadores humanos para monitorear y revisar cuentas y mensajes en busca de contenido que infrinja sus pautas.
Los usuarios que no respeten las pautas pueden tener su acceso restringido a la aplicación o ser eliminados permanentemente de Badoo.
El portavoz de Badoo le dijo a MailOnline que los moderadores humanos están mirando los mensajes de los usuarios, junto con el aprendizaje automático, para mejorar continuamente el modelo y asegurarse de que la empresa no esté prohibiendo incorrectamente a ningún usuario.
En 2020, Badoo lanzó una función de seguridad que utiliza inteligencia artificial para detectar y difuminar desnudos no solicitados que se envían a través de la aplicación. Este mensaje de advertencia aparece si la IA de Badoo cree que ha detectado un desnudo no solicitado del compañero de chat.
Anteriormente, en su búsqueda para hacer que su aplicación sea más segura, Badoo lanzó una función el año pasado que usa IA para detectar y difuminar desnudos no solicitados enviados a través de la aplicación.
En un hilo de chat, si la IA detecta una imagen cuestionable que ha sido enviada por la otra persona, aparecerá como un cuadro borroso con un mensaje de advertencia superpuesto.
El mensaje dice: ‘Esta foto puede tener contenido inapropiado. Ábralo bajo su propio riesgo. Toque para ver la foto. ‘ Alternativamente, los usuarios pueden tocar ‘Rechazar’ debajo del cuadro de la foto si no quieren ver la foto.
El ‘detector privado’ tiene una tasa de precisión del 98 por ciento al tapar fotos íntimas, según Badoo.
La función se introdujo en la ‘aplicación de citas feministas’ Bumble en 2019, que es propiedad del mismo holding que Badoo (MagicLab).