CES 2024: Der MBUX Virtual Assistant mit MB.OS nutzt generative KI

Am Stand von Mercedes-Benz auf der diesjährigen CES 2024 zeigen die Stuttgarter ihr neues Highlight: der integrierte MBUX Virtual Assistent, der neue Software und generative künstliche Intelligenz (KI) nutzt, um eine natürlichere und intuitivere Beziehung zum Fahrzeug aufzubauen. Damit will man den Weg für hyperpersonalisiertes Kundenerlebnis freimachen.

Natürliche Interaktion

Mercedes-Benz stellt auf der CES 2024 zahlreiche Entwicklungen vor, die seine Vision für das hyperpersonalisierte Kundenerlebnis der Zukunft definieren – nicht nur im Fahrzeug. Highlight ist der neue integrierte MBUX Virtual Assistant. Er nutzt fortschrittliche Software und generative künstliche Intelligenz (KI), um eine natürlichere und intuitivere Beziehung zum Fahrzeug herzustellen. Sie bietet proaktiv Unterstützung an, um das Leben einfacher zu machen. Diese bahnbrechende Entwicklung hebt den Sprachassistenten „Hey Mercedes“ mit Unity’s hochauflösenden Game-Engine-Grafiken in eine neue visuelle Dimension. Der virtuelle Assistent läuft auf dem selbst entwickelten Betriebssystem Mercedes-Benz Operating System (MB.OS). Seine Einführung startet mit den Fahrzeugen auf der kommenden MMA-Plattform (Mercedes-Benz Modular Architecture). Das Concept CLA Class basiert auf dieser Plattform und bietet ebenfalls einen Ausblick auf MB.OS. Auf der CES feiert es seine Nordamerika-Premiere.

CES 2024: Der MBUX Virtual Assistant mit MB.OS nutzt generative KI

MBUX Virtual Assistant auf Basis von MB.OS

Der wegweisende MBUX Virtual Assistant auf Basis von MB.OS ist die derzeit menschenähnlichste Schnittstelle mit einem Mercedes-Benz. Er verbindet alle intelligenten Systeme von MBUX in einer einzigen Einheit. Damit präsentiert er  Kunden ein neues Design mit natürlicher und empathischer Interaktion. Der MBUX Virtual Assistant ist eine Weiterentwicklung des erstmals im VISION EQXX vorgestellten Systems. Er nutzt generative KI und proaktive Intelligenz, um das Leben so einfach, angenehm und komfortabel wie möglich zu gestalten. So kann er hilfreiche Vorschläge machen, die auf erlerntem Verhalten und situativem Kontext basieren. Dies kann zum Beispiel das Abspielen der neuesten Nachrichten am Morgen oder der Start eines bevorzugten Massageprogramms am Ende des Arbeitstages sein. Und wenn sich die Fahrerin oder der Fahrer zu einem im Kalender eingetragenen Termin verspätet, kann das System anbieten, sich direkt aus dem Fahrzeug einzuwählen. Auf Wunsch können  Kunden diese Prozesse auch automatisieren. Durch die Einbindung der Ambientebeleuchtung und des Soundsystems lässt sich das Erlebnis weiter steigern. So können beispielsweise warmes Licht und sanfte Musik eine entspannende Massage begleiten.

Vier Verhaltenseigenschaften 

Der MBUX Virtual Assistant zeichnet sich durch vier „Persönlichkeitsmerkmale“ aus, die zu einem abgerundeten Ganzen verschmelzen: natürlich, vorausschauend, empathisch und persönlich. Das zugrundeliegende Prinzip ist immer natürlich. Es bietet eine nahtlose Interaktion, die das Beste aus Sprach- und Grafikschnittstellen nutzt. Kunden können wählen, ob sie den Assistenten mit oder ohne den Aktivierungsbegriff „Hey Mercedes“ ansprechen möchten. Der MBUX Virtual Assistant nutzt die Vorteile großer Sprachmodelle (Large Language Models, LLMs). Dadurch kann er mit einem natürlichen Dialog auf Fragen und Befehle antworten. Dies wirkt wie ein Gespräch mit einem Freund. Der Assistent beantwortet Fragen auf der Grundlage von Allgemeinwissen. Er kann auch intelligente Fragen stellen, um das Gewünschte zu klären und Schlussfolgerungen zu ziehen. Durch seinen vorausschauenden „Charakter“ kann der MBUX Virtual Assistant proaktiv Vorschläge und Routinen anbieten. Sie basieren auf situativem Kontext, erlerntem Verhalten und der Nutzung generativer KI. Gleichzeitig erzeugt eine emotionalere neuronale Stimme, die unterschiedliche Sprechweisen haben kann, ein Gefühl der Empathie. Damit er stets ein sehr persönlicher Assistent ist, kann der Fahrende ihn mit einer Reihe von Optionen an seine eigenen Vorlieben anpassen.

Leistungsstarke 3D-Grafiken 

Der ganzheitliche Ansatz verbindet einen natürlicheren Dialog mit visuellem Feedback durch fortschrittliche 3D-Grafiken der Unity Game Engine. Im neuen MBUX Virtual Assistant nutzt ein „lebendiger“ Stern-Avatar Animationen, um unterschiedliche Stimmungen und Gemütszustände auszudrücken. Die Emotionen reichen von ruhig über aufgeregt bis hin zu sensibel. Weitere Animationen zeigen, ob der virtuelle Assistent gerade spricht, zuhört, nachdenkt, einen Vorschlag macht oder eine Warnung gibt. Bewegung, Helligkeit, Intensität und Farbe interagieren nahtlos, um intuitiv mit dem Fahrer zu kommunizieren.

CES 2024: Der MBUX Virtual Assistant mit MB.OS nutzt generative KI

MBUX Surround Navigation 

Die integrierte visuelle Kommunikation erreicht auch mit der MBUX Surround Navigation eine neue Dimension. Dank der tief integrierten Bereichsarchitektur von MB.OS zeigt die fortschrittliche Navigation in Echtzeit eine reale Ansicht von Fahrzeug und Umgebung. Der Fahrende profitiert von einem deutlich verbesserten Situationsbewusstsein. Denn er sieht, was das Fahrzeug sieht. Die nahtlose Einbindung von Informationen mit 3D-Grafiken der Unity Game Engine in das Instrumentendisplay bietet einen äußerst intuitiven Überblick. Es zeigt auf einen Blick alles, was der Fahrende wissen muss. Zum Beispiel die Art des Verkehrs – sei es ein anderes Auto, ein Transporter, ein Lastwagen oder ein Radfahrender. Auch Fußgänger in der Nähe des Straßenrands und potenzielle Gefahren werden angezeigt. Das System blendet die Routenführung in eine realistische Darstellung der Umgebung ein. Das ist besonders hilfreich in belebten städtischen Verkehrsräumen. Kunden können genau sehen, was hinter der nächsten Abbiegung liegt. Gebäude und andere Infrastruktur sind einfach und schnell zu erkennen. Außerdem bietet das System einen integrierten Überblick über den Fahrzeugstatus durch Virtual-Reality-Echtzeitvisualisierung. Dazu gehört das Aufleuchten von Blinkern, Fern- und Abblendlicht. Sogar Beschleunigung und Verzögerung werden durch drehende Räder visualisiert.

Neue Drittanbieter-Apps und -Inhalte

Over-the-Air-Updates (OTA) stellen sicher, dass Kunden stets Zugang zu den neuesten Inhalten und Funktionen haben, die auf ihre Wünsche und regionalen Präferenzen zugeschnitten sind. Die neue E-Klasse bietet diese Vorteile bereits. Ihr Infotainment-Bereich ist ein Vorläufer der MB.OS Technologie. Für noch mehr Produktivität kann im ersten Quartal 2024 die neue Meetings App integriert werden, die die Teilnahme an Microsoft Teams Besprechungen ermöglicht. Zusammen mit den bestehenden Angeboten für Zoom und WebEx sind damit alle Marktführer für Videokonferenzen abgedeckt. Das umfangreiche Update umfasst weitere zusätzliche Apps für den Alltagskomfort. Dazu gehören Booking.com, getAbstract, JustEat Takeaway und viele mehr. Für das Entertainment sind die Einführung von cloudbasierten Retro-Spielen von Antstream Arcade und weitere immersive Erlebnisse geplant.

CES 2024: Der MBUX Virtual Assistant mit MB.OS nutzt generative KI

CES 2024: Der MBUX Virtual Assistant mit MB.OS nutzt generative KI

Sony Pictures Entertainment RIDEVU erweitert Video-Streaming-Angebot

Mercedes-Benz bereichert sein Video-Streaming-Angebot durch die Integration des hochmodernen RIDEVU Dienstes von Sony Pictures Entertainment (SPE). RIDEVU verspricht, das Unterhaltungserlebnis für Kunden weiter zu optimieren. Dafür erhalten sie Zugang zu einem vielfältigen Angebot an Videounterhaltung direkt in ihrem Fahrzeug. Die fortschrittlichen Bedienelemente und Funktionen wurden speziell für den Einsatz im Fahrzeug entwickelt. Nutzer können Inhalte von Sony Pictures Entertainment auf Abruf direkt im Fahrzeug ausleihen oder kaufen. Dazu gehört eine kuratierte Bibliothek von Filmen, die zum Streaming zur Verfügung stehen und das Unterhaltungsangebot von Mercedes-Benz bereichern.

Hyperpersonalisierung durch digitale Kunst mit MBUX Collectibles

MBUX Collectibles ist die erste Fahrzeug-App von Mercedes-Benz, die digitale Kunst und Sammlerstücke auf Basis von NFTs präsentiert. Sie ermöglicht Kunden, ihre persönliche NFT-Wallet mit der Benutzeroberfläche zu verbinden und eine private Kunstgalerie einzurichten. Außerdem können sie eine von Mercedes-Benz kuratierte Ausstellung einsehen. Auf der CES werden in der App NFT-Kollektionen von Mercedes-Benz NXT gezeigt. Die Kollektion Mercedes-Benz NXT Icons Era 1 „Luxury“ ist die erste Ära einer siebenteiligen Serie über das reiche Designerbe von Mercedes-Benz. Besucher der CES erhalten einen ersten Einblick in die Kollektion Era 2 „Technology“, die noch veröffentlicht wird. Als Hommage an die CES im vergangenen Jahr können sie auch einen ersten Blick auf das Superdackel-NFT von Mercedes-Benz NXT werfen. Eine limitierte Auflage von 1.000 Superdackel-NFTs von Mercedes-Benz NXT wird bald erscheinen.

 

Bilder: Mercedes-Benz Group AG

19 Kommentare
Älteste
Neueste Meist bewertet
Inline Feedbacks
Betrachte alle Kommentare:
Marc W.
10 Monate zuvor

Erkenne (für mich) nicht den allerkleinsten Mehrwert.
Anders sähe es aus, man könnte die Instrumente (Fahrdaten) und die Karte völlig frei selbst umdesignen (etwa am PC). Das würde Spaß machen und großen Sinn ergeben.

PupNacke
Reply to  Marc W.
10 Monate zuvor

Hauptsache wieder was mit KI erwähnt, ist halt gerade in Mode 🙂

Südhesse
Reply to  Marc W.
10 Monate zuvor

Ist nicht umsetzbar, jede UI im Fahrzeug muss von den Behörden zertifiziert und freigegeben werden. Freies Modding ist nicht erlaubt.

Tobias
Reply to  Marc W.
10 Monate zuvor

Das würde die Kundenzufriedenheit eher reduzieren. Es hat sich gezeigt, je mehr Einstellmöglichkeiten, desto komplexer – umso unzufriedener der Durchschnittskunde…

Tommy
Reply to  Marc W.
10 Monate zuvor

Ich bin wohl auch zu alt dafür. Aber den CLA als SB werde ich bestellen.

Phil
10 Monate zuvor

Gibt es den hierzu einen Unternehmenspräsentation oder ein Video? Oder gibt es das nur auf Bildern zu sehen?

Felix
10 Monate zuvor

Superdackel-NFTs“

Adrian
Reply to  Felix
10 Monate zuvor

Ein echter Schenkelklopfer!

Nico
10 Monate zuvor

Ich finde vor allem das stellen von Rückfragen super spannend. Das geht viel tiefer als die bislang sehr oberflächlichen Implementierungen von ChatGPT in Sprachassistenten

Thomas
Reply to  Nico
10 Monate zuvor

Verstehe ich es richtig: sie wollen dem Wagen „Rückfragen stellen“, warum die KI im Auto A oder B gemacht hat???
Denke habe das was falsch verstanden (hoffe ich).

Peter
10 Monate zuvor

Nach 5 Jahren wird dann hierzu der Support eingestellt und keine Updates mehr geliefert. Die nächsten zehn Jahre fährt man dann mit teuerem Sondermüll rum.

in meinem smart (453) hat man 2023 leider die App und das ganze Ready-to-Gedöns abgeschalten. Das Auto ist nun 5 und von solchen digitalen Mist befreit.

Mercedes frickelt seit drei Jahren an meinem CLS herum, weil immer wieder das Navi abstürzt. Das Auto ist erst drei Jahre alt.

Naja, aber schön bunt isses ja. Braucht man das ganze Zeug? Sicherlich nicht.

Erik
Reply to  Peter
10 Monate zuvor

Same hier X118 vorMopf, gibt keine neuen Funktionen für das erste MBUX. Obwohl damals auch groß angekündigt das man das updaten kann und das System die Rechenpower einer PS3 und genug RAM hat. Warte immer noch auf meine Spotify App oder eine Wetterkarte mit Regenradar (die mein BMW von 2011 schon hatte) oder wenigstens Apple Carplay in Fullscreen (was mit ner extra China Box sogar möglich ist -.-).

Zuletzt editiert am 10 Monate zuvor von Erik
Andreas Steinbeck
Reply to  Erik
10 Monate zuvor

Die deutschen Autohersteller können leider nur Teile überspitzt gesagt von Lieferanten zusammenstecken.

SW ist Neuland, langjähriger SW-Support kostet Geld, sowas wird nie genehmigt.

EQ44fahrer
Reply to  Erik
10 Monate zuvor

Schade um den CLA. Ankündigen und versprechen können sie viel bei MB. Halten tun sie wenig bis nichts.

Wer glaubt, dass sich ab 2025 mit den neuen Plattformen irgendwas ändert, der irrt.

EQ44fahrer
Reply to  Peter
10 Monate zuvor

Wem erzählst du das? Mein W453 Mopf ist jetzt gerade mal 3 Jahre alt. Die erste HU ist nächste Woche. Ich habe noch volle 2 Jahre Garantie auf das Fahrzeug, da ich in weiser Voraussicht damals die Verlängerung auf 5 Jahre abgeschlossen habe. Vor kurzem musste die gesamte, minderwertige Leistungselektronik getauscht werden, die Ende 2020 reingepfuscht wurde. Ich musste 4 geschlagene Monate darauf warten.

Über den Verlust der Ready to App habe ich mich im März 2023 (noch vor der Abschaltung) beschwert, da mir 2020 zugesagt wurde, dass ich das Modul lebenslang nutzen kann bei Erwerb. Es waren auch keine Ablaufaten für Ready to und EQ Control dokumentiert in den Werbe-/Verkaufsunterlagen. Daraufhin erhielt ich die Zusage von MB für einen Servicegutschein i. H. v. 250 € für die fehlenden Ready to-Funktionen.
Das armselige Unternehmen MB hat es bis heute nicht hinbekommen, den Gutschein an den Servicepartner (großes, angestammter Autohaus, bestens bekannt in der in der Zentrale) auszuhändigen. Meine letzte Anfrage dazu vom Dezember ist verpufft. Ich habe gestern angerufen zum Nachhaken und wurde wieder nur vertröstet und und gebeten: „Da steht in Bearbeitung – haben sie Geduld!“ Einfach nur lächerlich und schwach, mich nach über 9 Monaten Wartezeit um Geduld zu bitten. So schwer ist der Fall nicht. Ich weiß auch, dass andere ihren Gutschein schon längst haben.

Ich fühle mich luxurisiert. Pur.
Mein Auto hatte damals immerhin auch einen BLP deutlich > 31k €.
Ich könnte noch über weit mehr Probleme schreiben wie über die ab Werk defekte, miese Fiamm-Batterie und Ablehnung eines kulanten Handlings, was im Ergebnis zu mehreren, für MB sehr teuren Einsätzen der Pannenhilfe geführt hat.

Es stimmt daher, was Peter oben schreibt. Wer sich auf MB verlässt, der ist verlassen. Auch von allen guten Geistern.

Mein klügster Move war übrigens damals vor der Bestellung, dass ich nochmal umkonfiguriert habe, damit auf jeden Fall das neue Media-System von Bosch reinkommt. Auch dieses funktioniert insgesamt mehr schlecht als recht, da es dringend ein Update braucht über die Softwareversion 0202 hinaus um sporadisch auftretende Freezes und Abstürze endlich zu unterbinden. Aber – und darüber bin ich sehr, sehr glücklich – dieses System hat Android Auto Support. Ich stöpsle mein Smartphone ein und der ganze Android Appkosmos für das Auto steht mir zur Verfügung. Darauf ist Verlass. Die Navigation wird noch ewig funktionieren. Unabhängig von MB und den Borddiensten. Lucky me.

In meinem letzten Garantiejahr 2025 fahre ich dann gezwungenermaßen schon ein Disconnected Car in Bezug auf wesentliche Fahrzeugfunktionen, nachdem EQ Control Ende dieses Jahres dasselbe Schicksal blüht wie Ready to. Als letzter Ausweg bleibt da nur noch OVMS.

Das ist das Gesicht, welches mir MB seit Jahren zeigt. Gigantisches, notorisches Versagen im Entry-Segment. Der Konzern ist morsch und faul geworden. Wir warten schon freudig gespannt auf den Fabia 4. Skoda hat die Chance verdient und ist preisleistungsmäßig einfach spitze. Den Luxus von Echtledersitzbezügen werde ich zwar wirklich vermissen, aber es geht am Ende um mehr. Ich betreibe konsequente No-Drama-Politik in allen Beziehungen, deswegen mache ich einen Bogen um MB. Es soll ruhig jeder wissen, warum.

Südhesse
Reply to  EQ44fahrer
10 Monate zuvor

Du hast ernsthaft 31k€ für einen Smart bezahlt?

EQ44fahrer
Reply to  Südhesse
10 Monate zuvor

Wie kommst du darauf? Das habe ich nicht geschrieben. Ich schrieb was vom erreichten BLP meiner Konfiguration.
Und das ging wirklich ziemlich easy mit den damals zusätzlich verfügbaren Optionen, die allesamt nicht billig waren. Pure Luxury kostet. Auch im MB-Smart.

Eigentlich wollte ich die A250e haben. Aber da war Lieferstopp und einfach nichts zu machen.

EQ44fahrer
Reply to  Südhesse
10 Monate zuvor

Das habe ich nicht geschrieben.

Jerry John
6 Monate zuvor

Schön und gut, aber was nützt das, wenn mein MBUX Superscreen in meinem EQE, den ich auch toll finde, alle 6 Wochen die Verbindung mit der Me-App verliert! Man muss das Fahrzeug entfernen, wieder neu hinzufügen und alles neu konfigurieren, Halleluja! Der MB-Support weiß das seit über einem Jahr und schweigt.!!!