Forschungsfrage
Wo liegen die Herausforderungen bei der Generierung einer interaktiven Videospiel-Soundscape?
Thesis
Videospiele und deren Industrie nehmen immer größere Dimensionen an. Seit den siebziger Jahren, als die ersten Videospiele mit einer schlichten, schwarz-weißen Pixelgrafik und einer Soundscape, ausschließlich bestehend aus Peep-Geräuschen, auf den Markt kamen, haben sich die Spiele in ihren Dimensionen und in ihrer Komplexität stetig weiterentwickelt. Dies gilt insbesondere für deren Soundscapes, also dem letztendlichen, kompletten klanglichen Erlebnis, welches beim spielenden Menschen durch die Lautsprecher dargestellt wird. Diese Soundscapes werden beim Videospiel vor allem durch den Faktor der Interaktivität beeinflusst und verlangen daher eine völlig neue Herangehensweise an die Vertonung, als sie im Bereich des Films üblich ist. Sound DesignerInnen für Videospiele verwenden viele der bestehenden klanglichen Muster des Films, um beim spielenden Menschen mit den gewohnten Höreindrücken Vertrautheit hervorzurufen. Doch um diese Höreindrücke zu erreichen, bedarf es, durch den Faktor der Interaktivität, anderer Methoden und Systeme bei der Gestaltung einer Soundscape. Ein/eine Sound DesignerIn für Videospiele muss sich darüber im Klaren sein, dass die endgültige Fertigstellung der Soundscape, beim spielenden Menschen liegt. Dieser erzeugt immer wieder aufs Neue durch seine Entscheidungen innerhalb des Spiels eine andere Soundscape. Daher muss ein/eine Sound DesignerIn für Videospiele statt einer finalen Tonspur, die beim Film üblich ist, einen Pool an Sounds und ein entsprechendes Regelwerk zur Wiedergabe dieser Sounds anlegen, um auf den interaktiven Faktor des Spiels einzugehen. Die Sounds und Regeln werden dabei innerhalb einer Audioengine hinterlegt. Dabei müssen alle Bausteine der Soundscape – Sound Design, Musik und Sprache – bedacht werden und mit adaptiven Systemen zu deren Wiedergabe versehen werden. Das Ergebnis soll eine stringente, interaktive und vor allem immersive Soundscape sein, die den spielenden Menschen stärker mit der Spielewelt verbinden soll. Dabei steht der/die Sound DesignerIn vor einer Reihe von speziellen Herausforderungen, die es zu bewältigen gilt. Die wichtigsten dieser Herausforderungen und die Möglichkeiten zu deren Umsetzung sind das zentrale Thema dieser Arbeit. Des Weiteren werden, zum besseren Verständnis, die Begriffe Sound, Sound Design, Soundscape und Interaktivität genauer untersucht und besprochen.
Werk
Die Idee zu CUBCUB wurde 2006/2007 innerhalb des Unterrichts von Josef Schinwald im Fach Game Development im Studiengang MultiMediaArt der FH Salzburg entwickelt. Das Konzept zum Spiel war die Semesterabgabe für das selbst gegründete Entwicklerteam.
Während des Unterrichts wurden nahezu vollständig alle Inhalte des Spiels entwickelt. Mehrere Brainstormings ergaben das Konzept eines rundenbasierenden Strategiespiels im Dschungelsetting. Danach folgte eine intensive Phase, in welcher das Gamedesign, also das Regelwerk, die Steuerung und das Balancing des Spiels entworfen wurden. Dabei entstand ein Prototyp von CUBCUB in Form eines spielbaren Brettspiels. Parallel wurden der 3D-Inhalt, die Musik und das Sound Design produziert. Leider konnte die Arbeit auf Grund des Mangels an Programmierern nicht innerhalb des Unterrichts fertig gestellt werden. Es gab zwar einen Prototypen in XNA, aber da Programmierung, zu diesem Zeitpunkt, noch nicht Teil des Unterrichts an der FH Salzburg war, musste sich das Entwicklerteam von CUBCUB eingestehen, dass auf diesem Gebiet dringend Unterstützung benötigt wurde. Diese Hilfe wurde durch Hannes Moser, ebenfalls Student des Studiengangs MultiMediaArt an der FH Salzburg, geleistet. Durch seinen Einsatz wurde CUBCUB bis zum heutigen Tage in der Freizeit des Entwicklerteams weiter vorangetrieben. Hannes Moser und der Verfasser dieser Arbeit kümmerten sich weiterhin um die Integration des bereits fertiggestellten 3D- und Audio-Inhalts.
Im Zuge dieser Diplomarbeit wurde besonderer Wert auf die Integration einer modernen, „state-of-the-art“ Audioengine gelegt. Diese Engine wurde samt Frontendtool mit FMOD EX und FMOD Designer gefunden. In der weiteren Umsetzung wurden nach der Implementierung des 3D-Inhalts verschiedene adaptive Systeme zur Generierung einer interaktiven Soundscape mit Hilfe von FMOD entwickelt. Außerdem wurde eine Recordingsession zur Aufnahme von lustigen Affenschreien mit allen Mitgliedern des CUBCUB-Teams durchgeführt, um auch die Persönlichkeiten der beteiligten Personen klanglich mit ins Spiel einfließen zu lassen. Zusätzliche Aufnahmen von diversen Sounds sollen eine einzigartige Soundscape ergeben, welche das Setting von CUBCUB zusätzlich unterstützt. Bei den restlichen Sounds wurde auf Soundlibraries zurückgegriffen. Alle nötigen Sounds wurden zusammengetragen, hinsichtlich der Stringenz der Soundscape überprüft und zu Soundfiles, welche die Audioengine verarbeiten kann, geschnitten und umgewandelt. Zusätzlich zu den adaptiven Sound Design- und Musik-Systemen wurden in Zusammenarbeit mit Hannes Moser verschiedene Systeme zur realistischen Wiedergabe von Sounds implementiert. Dazu zählen Occlusion, Lautstärkereduzierung bei der Distanzierung von Sound-Quellen und die, von der Kamera abhängige, Verteilung der Sounds verschiedener Sound-Quellen im Stereo- bzw. Surround-Panorama.
Die Generierung der adaptiven Systeme für Sound Design und Musik, das Erstellen und Bearbeiten der nötigen Soundfiles und die Erstellung des Konzepts der Soundscape sind als das eigentliche Werk dieser Diplomarbeit anzusehen. CUBCUB mangelt es leider immer noch an der nötigen Spiellogik, aber die Abgabe zur Diplomarbeit besteht aus einem funktionierenden Soundscape-Demo-Level, welches vollständig steuerbar ist und alle beschriebenen adaptiven Sound Design- und Musik-Systeme enthält, um als spielender Mensch beim Steuern des Affen eine Soundscape entstehen zu lassen.
Es wurden folgende Programme zur Erstellung der Soundscape von CUBCUB verwendet:
– ProTools 7 von Digidesign für die Aufnahmen der Affenschreie.
– Nuendo 3 von Steinberg für die Aufnahmen der UI-Sounds.
– Wavelab 6 von Steinberg zum Bearbeiten und Schneiden aller integrierten Sounds.
– FMOD Designer von Firelight Technologies zum Integrieren der Sounds in die Audioengine und zum Hinterlegen der abstrakten Regeln zur Wiedergabe der Sounds innerhalb der adaptiven Systeme.
– FMOD EX von Firelight Technologies zum Verwalten des Soundpools und zum Auslesen des hinterlegten Regelwerks zur Wiedergabe der Sounds.
Gallery
