Nuance Communications ha annunciato ulteriori innovazioni alla piattaforma Dragon Drive, che si trasformerà in un mobility assistant conversazionale e umanizzato per l’auto digitale senza pulsanti del futuro. Grazie a questi progressi, Nuance ha creato il primo mobility assistant cognitivo e multisensoriale del mondo, destinato a cambiare le modalità con cui conducenti e passeggeri interagiscono con il proprio veicolo, con le altre forme di mobilità e trasporto e con le città intelligenti.
Comprende le emozioni
Grazie alla capacità di comprendere il tono di voce, le emozioni, i movimenti degli occhi e della testa e grazie alla profonda integrazione con sensori esterni ed interni all’auto, nonché con i bot e gli assistenti di terze parti tramite una piattaforma aperta, Dragon Drive sfrutta innumerevoli informazioni per offrire un’esperienza utente personalizzata e umanizzata che consente a conducenti e passeggeri di fruire di contenuti di intrattenimento, aumentare la produttività, restare connessi e garantire la sicurezza. Si tratta di un’esperienza fondamentale per il futuro dell’auto digitale, che elimina l’esigenza di pulsanti nei veicoli di oggi e offre un’esperienza utente umanizzata e multisensoriale basata sull’interazione simultanea di voce, vista, gesti ed emozioni. Ecco tutti i vantaggi di questa esperienza multisensoriale:
- Interazione con i POI (Point of Interest) migliorata dalla realtà aumentata: il rilevamento del movimento degli occhi, combinato al riconoscimento vocale, può essere utilizzato per l’interazione con i punti di interesse all’esterno dell’auto, consentendo al conducente di ottenere informazioni su ora, giudizi, ecc. I risultati vengono evidenziati nella realtà aumentata e visualizzati su un parabrezza intelligente che sfrutta uno schermo trasparente, sviluppato da Saint-Gobain Sekurit.
- Auto senza pulsanti avanzata: sfruttando il riconoscimento vocale e il rilevamento del movimento degli occhi, gli utenti possono interagire in modo intuitivo con i widget disponibili sul parabrezza intelligente per accedere e ridefinire servizi e informazioni (quali telefono e rubrica, meteo, navigazione, musica) che in genere vengono mostrati sul display della plancia. Portando questi comandi al livello degli occhi del conducente sul parabrezza è possibile migliorare il comfort, la produttività e la sicurezza. La visibilità non verrà compromessa in alcun caso poiché l’utente può continuare a osservare ciò che accade al di fuori del veicolo attraverso l’immagine: un vero e proprio must, specialmente nel contesto dell’auto sempre più digitale e autonoma. Inoltre, il rilevamento dei movimenti della testa, in combinazione con il riconoscimento vocale, permette di attivare i comandi interni all’auto (ad esempio, il conducente può volgere lo sguardo verso il finestrino del lato passeggero e dire: “Apri il finestrino a metà”), riducendo quindi la necessità di utilizzare pulsanti per eseguire determinate operazioni.
- Funzionalità contestuali e dialogo collaborativo ottimizzati consentono di fruire di un’esperienza ancora più umanizzata. I conducenti possono conversare con il mobility assistant proprio come se stessero parlando con un’altra persona, facendo riferimento a parti di discorsi precedenti, formulando domande e pronunciando comandi contestuali. Un esempio? “Apri il finestrino a metà,” seguito da “Ancora un altro po’”. E il tutto senza la necessità di utilizzare wake-up word.
- Analisi degli stati emozionali e cognitivi: Dragon Drive utilizza l’intelligenza artificiale emozionale di Affectiva, oltre a fotocamere interne, per analizzare le espressioni del viso e il tono di voce, al fine di comprendere stati cognitivi ed emozionali complessi di conducenti e passeggeri, come ad esempio sonnolenza e distrazioni. L’assistente è addirittura in grado di cambiare la reazione e il tono di voce in base alla situazione, con sentimenti di empatia e pertinenza al contesto. In questo modo, è possibile migliorare la sicurezza su strada, prevenendo comportamenti di guida scorretti, nonché ottimizzare l’esperienza nel veicolo adattando l’ambiente agli umori e alle reazioni dei passeggeri.
L’obiettivo
“Il nostro principale obiettivo è trasformare qualsiasi interazione tra le persone e i prodotti e servizi mobili che utilizzano ogni giorno,” commenta Stefan Ortmanns, Executive Vice President e General Manager, Nuance Automotive. “I vantaggi offerti dal nostro mobility assistant avanzato sono immensi, e possono essere sfruttati in auto, nel settore dei trasporti, nelle città intelligenti, solo per citare qualche esempio. Si adattano, inoltre, agli stili di vita sempre più digitali dei consumatori. Grazie alle collaborazioni con i nostri partner OEM nel settore automobilistico, possiamo aprire una nuova era di “assistenti automobilistici”, trasformandoli in veri e propri assistenti alla mobilità.” La tecnologia Dragon Drive è alla base di oltre 250 milioni di veicoli attualmente su strada in oltre 40 lingue, creando esperienze di mobilità colloquiali e intelligenti praticamente per qualsiasi produttore automobilistico al mondo, tra cui Audi, BMW, Daimler, Fiat, Ford, GM, Hyundai, SAIC, Toyota e molti altri.
