CEO de Microsoft, Satya Nadella
Jordan Novet | CNBC
Durante la exageración del chatbot de la semana pasada, con microsoft y Google Intentando superarse unos a otros mostrando las primeras versiones de la búsqueda impulsada por inteligencia artificial, más de 1 millón de personas se registraron para probar la herramienta de Microsoft en las primeras 48 horas, dijo la compañía.
El CEO de Microsoft, Satya Nadella, dijo a CNBC que la tecnología, que puede arrojar respuestas completas que se leen como si hubieran sido escritas por un humano, fue «quizás la revolución industrial llevada al trabajo del conocimiento».
Pero para aquellos preocupados por la precisión, la IA deja mucho que desear.
en Microsoft manifestación frente a los reporteros, la tecnología similar a ChatGPT integrada en el motor de búsqueda Bing de la compañía analizó los informes de ganancias de Brecha y Lululemón. Al comparar sus respuestas con los informes reales, el chatbot omitió algunos números. Otros parecen haber sido inventados.
«Bing AI obtuvo algunas respuestas completamente incorrectas durante su demostración. Pero nadie se dio cuenta», escribió el investigador de búsqueda independiente Dmitri Brereton en una publicación de subpila los lunes. «En cambio, todos se subieron al tren de Bing».
Brereton identificó posibles problemas fácticos en la demostración de Microsoft en sus respuestas sobre las especificaciones de la aspiradora y los planes de viaje a México, además de los errores financieros. Le dijo a CNBC que inicialmente no estaba buscando errores, y solo los descubrió cuando miró más de cerca para escribir una comparación de las revelaciones de IA de Microsoft y Google.
Los expertos en inteligencia artificial llaman al fenómeno «alucinación», o la propensión de las herramientas basadas en grandes modelos de lenguaje a simplemente inventar cosas. La semana pasada, Google presentó una herramienta de IA de la competencia que también incluía errores de hecho, aunque los errores eran llamó rápidamente por los espectadores.
Ambas empresas se apresuran a incorporar nuevos tipos de IA generativa en los motores de búsqueda y están ansiosas por mostrar sus avances tras la explosión de ChatGPT, que OpenAI presentó al público en noviembre. OpenAI ha recaudado miles de millones de Microsoft, mientras que las nuevas empresas competidoras como Stability AI y Hugging Face también se han disparado a valoraciones de miles de millones de dólares en rondas de financiación privada.
Si bien Google se ha mostrado reacio a agregar respuestas generadas por IA en los motores de búsqueda, citando riesgos para la reputación y preocupaciones de seguridad, Microsoft, en su anuncio de la semana pasada, enfatizó el potencial a corto plazo de lanzar la tecnología a una parte del público.
«Creo que es importante no estar en un laboratorio», dijo Nadella. «Tienes que sacar estas cosas de manera segura».
Cuando llegó el momento de demostrar la respuesta de Bing AI a una consulta sobre las ganancias corporativas, surgieron algunos problemas.
Yusuf Mehdi, un ejecutivo de marketing de Microsoft, navegó al sitio de relaciones con inversores de Gap y le pidió a Bing AI que resumiera los «puntos clave» de comunicado de ganancias del tercer trimestre del minorista en noviembre.
«Muy genial. Un gran ahorro de tiempo», dijo Mehdi.
Estas son capturas de pantalla de la demostración de Microsoft:
Aquí hay algunos errores en el resumen:
- El margen bruto informado de Gap fue del 37,4%. Pero después de excluir los cargos relacionados con Yeezy, el margen bruto ajustado fue del 38,7%.
- El margen operativo de la brecha fue del 4,6 %, no del 5,9 %, una cifra que no se encuentra en el informe de la empresa.
- Las ganancias diluidas ajustadas por acción fueron de $0,71 ajustados, en lugar de $0,42, un número que no está en el informe. La cifra que informó Gap incluía un beneficio fiscal ajustado sobre la renta de alrededor de $0,33.
- Gap sacó su perspectiva para todo el año en agosto y dijo en el informe del tercer trimestre que «las ventas netas podrían haber bajado medio dígito año tras año en el cuarto trimestre». Eso implicaría una disminución en los ingresos para todo el año en lugar de un «crecimiento de dos dígitos bajos». No hay pronóstico para el margen operativo o EPS.
Microsoft dijo que conoce los errores y que espera que Bing AI cometa errores.
«Estamos al tanto de este informe y hemos analizado sus hallazgos en nuestros esfuerzos por mejorar esta experiencia», dijo un portavoz de Microsoft a CNBC. «Reconocemos que aún queda trabajo por hacer y esperamos que el sistema pueda cometer errores durante este período de vista previa, por lo que la retroalimentación es fundamental para que podamos aprender y ayudar a que los modelos mejoren».
Luego, Microsoft le pidió a Bing AI que comparara Ganancias de Gap con informe de Lululemon. Mehdi quería que Bing extrajera la información de los dos informes en una tabla.
«Mira lo increíble que es esto», dijo. «Así, en una tabla, puedo obtener una respuesta a esta pregunta. Piensa cuánto tiempo hubiera tomado de otra manera».
Esto es lo que devolvió la herramienta Bing AI:
Hay varios errores en la tabla, empezando por los márgenes.
- El margen bruto de Lululemon fue del 55,9 %, no del 58,7 %.
- El margen operativo de la empresa fue del 19%, no del 20,7%.
- Lululemon informó un BPA diluido de $2 y un BPA ajustado de $1,62. Bing mostró un número de EPS diluido de $1.65.
- Gap tenía $ 679 millones en efectivo y equivalentes de efectivo, no $ 1.4 mil millones.
- Gap tenía $ 3.04 mil millones en inventario, no $ 1.9 mil millones.
MIRAR: Entrevista completa de CNBC con el CEO de C3.ai, Thomas Siebel
