El analista Gene Munster ha realizado un estudio comparando cómo ha evolucionado cada uno de los asistentes virtuales más importantes; Siri por parte de Apple, Cortana por la de Microsoft, Alexa por parte de Amazon y Google Assistant por parte de Google. Muchos tenemos la impresión de que Apple se ha quedado atrás en la evolución de Siri, porque empezaron muy bien, por delante de todo el mundo, pero con el paso de los años parece que los asistentes de la competencia dan respuestas más adecuadas. Siri, todavía falla, hoy en día, en preguntas relativamente fáciles, pero no se puede negar que en los últimos años está respondiendo cada vez mejor a preguntas que antes no podía resolver. Munster hace este estudio cada año para comprobar de manera efectiva y objetiva cuáles son los avances de cada asistente con el paso del tiempo.
La comparación se ha realizado en dispositivos que cada una de las marcas ha diseñado específicamente para trabajar con su asistente. Así, para probar Siri se ha utilizado un HomePod, para probar Alexa un Amazon Echo, para probar Cortana un Invoke y para probar Google Assistante un Google Home Mini. Es la manera más eficaz de probar cada asistente en las mismas condiciones. Para garantizar una muestra bastante amplia, se han hecho las mismas 800 preguntas a todos los asistentes. Estos han sido los resultados.
Cada una de estas barras, mide el porcentaje de respuestas correctas que se han dado en cada una de las categorías de las preguntas que se han realizado. Como vemos, Siri en el HomePod es la mejor contestando órdenes de acciones, pero al mismo tiempo es la peor contestando preguntas que buscan conseguir una información. Haciendo una media de todas las categorías, tenemos estos datos;
Como vemos, Siri queda en segundo lugar en el número de respuestas correctamente contestadas, con un 74,6% de respuestas correctas. Gana el asistente de Google con un 87,9% de respuestas correctas. En cuanto a la transcripción de la pregunta, los sistemas de machine learning de Google todavía llevan ventaja, con un alucinante 100% de entendimiento. Dicho de otra manera, todas y cada una de las preguntas hechas fueron transcritas de manera perfecta… eso son 800 aciertos de 800 intentos. Es impresionante. Siri en el HomePod de Apple transcribió bien el 99,6%, no todas, pero si la inmensa mayoría. Está bastante claro que en el 2018 se ha conseguido que el reconocimiento de voz funcione extremadamente bien.
Si te parece que quedar en un segundo puesto es malo, tienes que recordar que en esta misma prueba, el año pasado, Siri sólo contestaba correctamente un 52% de las preguntas. Estaba claramente por debajo de la media y ahora podemos ver que, un año después, Apple está haciendo sus deberes en esto de la inteligencia artificial y Siri por fin empieza a posicionarse bien en cuanto a la calidad de sus respuestas. En estas gráficas podemos ver la evolución de cada asistente con el paso del tiempo. Todos mejoran, pero de lejos la que más rápido está mejorando es Siri.
Aunque las mejoras son evidentes, a Apple aún le queda mucho trabajo por delante. Por ejemplo, el HomePod fue el único dispositivo de la prueba que no pudo reproducir una emisora de radio aparte de Beats 1. Desde un Mac, por ejemplo, ésta es la respueta que Siri da cuando se le pide algo así.
Curiosamente, sí que reproduce Beats 1 a través de iTunes o la App de Música si se le pide eso. Es como si para Apple no hubiera más emisoras de radio emitiendo a través de Internet, en todo el mundo.
