Toneffekte in virtuellen Welten

Toneffekte haben bisher in der Softwareentwicklung nur untergeordnete Rolle gespielt und wurden eher wenig beachtet. Bei der Virtual Reality Entwicklung werden sie aber zu einem wichtigen Baustein.

Denn der richtige Einsatz von Sounds in VR Projekten steigert die Immersion deutlich und hebt das Erlebnis auf ein höheres Niveau.

Ein gutes VR Erlebnis transportiert uns in die virtuelle Welt und lässt uns diese simulierte Realität mental akzeptieren. Das bringt aber auch Erwartungen mit sich und wenn wir diese nicht erfüllen, bricht das die Immersion und Glaubwürdigkeit.

Ein Bereich dieser Erwartungen sind Toneffekte die bei Interaktionen im realen Leben entstehen. Wenn das Glas auf den Holztisch abgestellt wird, die Türklinge nach unten gedrückt wird oder die Hand über das Sofa streicht – in all diesen Fällen entstehen Töne, die wir selbstverständlich erwarten.

In klassischen Spielen und Applikationen sind wir nicht so stark involviert, daher stört es nicht wirklich, wenn diese Töne fehlen. Doch in VR fällt uns das Ausbleiben dieser akustischen Feedbacks sofort auf. Darin liegt die Herausforderung in der Entwicklung, aber auch die Chance das Erlebnis auf ein neues Level zu bringen.

Spannend ist hierbei die Tatsache, dass wir die genaue Kopfposition und Drehung im Raum kennen und z.B. im Fall der Vive auch die Position der Hände in Relation zum Kopf. Welche tollen Effekte wir mit diesen Daten umsetzen können, sehen wir uns am Ende des Artikels an.

Zuerst machen wir uns einen Überblick über die Hardware, Software und warum auch heute noch in der Tonsimulation getrickst wird.

Die Technologie

Die Technologie zur Simulation und das physikalische Verständnis über Schallwellen besteht schon seit einiger Zeit. Viele kennen noch die 5.1 (oder mehr) „surround sound systeme“, die lange Zeit sehr beliebt waren.

Doch für eine realistische Tonausgabe mit Kopfhörern sind tatsächlich nur zwei Kanäle (links und rechts) notwendig. Den wichtigen Unterschied macht die Tonquelle. Im Fall von VR also die Simulation der Toneffekte.

Schallwellen sind eine komplexe Sache, denn sie werden in der Umwelt reflektiert und von verschiedenen Materialien und anderen Einflüssen verändert.

Bis eine Schallwelle von der Quelle ihren Weg bis in unser Ohr gefunden hat, wurde sie deutlich verändert und erhält je nach den Umständen — zum Beispiel ob wir in der Badewanne sitzen oder an Gleis eines Bahnhofs stehen — bestimmte Charakteristiken.

Durch unsere Erfahrungen im realen Leben prägen sich gewisse Erwartungen im Hören, die unsere virtuelle Welt im Idealfall erfüllen kann.

Sehr anschaulich kannst du diese Herangehensweise in diesem Video sehen. Obwohl du das Video mit einem regulären Stereo-Kopfhörer ansiehst und -hörst, hast du durch die qualitative und lebensnahe Tonaufnahme das Gefühl direkt an den Ort transportiert zu sein und kannst sogar die Richtung der Tonquellen — beispielsweise vom hupenden Auto — ausmachen.

Durch die angesprochene Komplexität ist eine echte Simulation am Computer aber viel zu aufwändig, die notwendige Leistung überschreitet mit einer handvoll Tonquellen schnell den durchschnittlichen PC.

Daher wird in der Softwareentwicklung getrickst und es werden zum Beispiel vorher aufgenommene Toneffekte — beispielsweise wenn eine Tasse zerbricht — zum passenden Zeitpunkt statisch abgespielt.

In Spielen werden diese Tonaufnahmen dann noch live angepasst, je nachdem Umgebung. In großen Räumen wird z.B. etwas Hall angefügt. Dieser Ansatz reicht in den meisten Fällen auch tatsächlich aus und funktioniert gut.

Bei der Entwicklung von Virtual Reality Erlebnissen haben wir nun den tollen Vorteil, dass wir immer genau wissen wo sich der Kopf im Raum befindet. Dadurch können wir die Soundeffekte an ihre jeweilige Quelle im virtuellen Raum knüpfen und die Software simuliert die entsprechende Richtung und Verzerrung.

Dieser Ansatz wird oft als „Location Based Sounds“ bezeichnet und führt zu einer sehr glaubhaften Geräuschkulisse im VR Erlebnis. Praktischerweise kümmern sich die VR SDKs von Oculus und Valve automatisch um diese korrekte Simulation.

Alles was wir als Entwickler*innen machen müssten ist die Platzierung der Soundeffekte im 3D Raum.

Spannend zu diesem Thema ist auch der Vortrag auf der Oculus Connect 2, im Jahr 2015:

Immersion verstärken

Wenn wir zusätzlich noch Toneffekte einbauen die bei den verschiedensten Interaktionen entstehen, können wir die Immersion noch weiter verstärken. Je nach VR Projekt kann das recht simpel oder sehr umfangreich werden.

Auch interessant ist es die Position und Rotation der Controller für gewisse Effekte zu verwenden. Die Entwickler*innen von Hover Junkers haben diese Möglichkeit genutzt um beim schnellen Bewegen einer virtuellen Waffe „swooosh“ Soundeffekte oder „Metallklackern“ abzuspielen.

Eine tolle Idee, die sie in diesem Video ausführlicher zeigen:

How to Make Your Guns Sound Awesome von Stress Level Zero

Je nachdem für welche Platform das VR Projekt gedacht ist, fallen die Limitierungen unterschiedlich stark aus. Bei einem Cardboard VR Erlebnis sind die Möglichkeiten in Performance und Speicherplatz z.B. sehr viel kleiner als bei einem hoch qualitativen Vive VR Projekt.

Die tollen Vorteile von 3D Sound und Positionsberechnung des Kopfs können wir in unseren VR Erlebnissen dann für das Lenken der Aufmerksamkeit nutzen. So können wir wichtige Elemente der Story oder der Interaktion hervorheben, sodass diese nicht übersehen werden und die Orientierung in der virtuellen Welt unterstützt wird.

Tiefer in das Thema einsteigen

In diesem Einstiegsartikel haben wir erst die Oberfläche des sehr umfangreichen und vielschichtigen Themas angekratzt.

Wenn du einen Schritt tiefer in die Materie einsteigen möchtest, kann ich dir sehr diesen Vortrag von Nicolas Tsingos vom VISION SUMMIT 2016 empfehlen:

Sehr interessant ist auch dieser Artikel auf Engadget. Und in diesem Artikel gehen Todd Baker und Manesh Mistry — Entwickler von Land’s End und Monument Valley — konkret auf das Sounddesign für Virtual Reality ein. Absolut lesenswert!


Im nächsten Artikel dieser Reihe beschäftigen wir uns mit Interfaces in VR Erlebnissen – also der Schnittstelle zwischen Mensch und Maschine. Wenn du eine kurze Mail zur Erinnerung dazu in deinem Postfach haben möchtest, kannst du dich hier beim kostenlosen Newsletter anmelden.

Und wie immer stehe ich dir sehr gerne mit Rat und Tat bei deinen VR Projekten zur Seite. Melde dich einfach bei mir. :)