Benutzer: Felix Böhm/Werkstatt

Multimodalität

Der vorliegende Beitrag stellt dar, wie sich eine multimodale Perspektive von der traditionellen Perspektive der Sprachwissenschaft unterscheidet und Multimodalität eine Ausweitung des analytischen Blickes darstellt.

Die sprachwissenschaftliche Fachtradition

Sprachwissenschaft (auch: Linguistik) kann definiert werden als die „wissenschaftliche Untersuchung menschlicher Sprache, ihrer Struktur, ihrer Geschichte, ihres Erwerbs und ihres Gebrauchs in der Kommunikation.“ In der linguistischen Fachtradition stellt schriftliche oder mündliche Sprache als Abstraktum den primären und zentralen Erkenntnisgegenstand dar. Dies Fachtradition stößt allerdings dann an ihre Grenzen, wenn in den analysierten Kommunikaten (schriftlichen Texte, Aufnahmen mündlicher Sprache, Videoaufnahmen) auch nicht-sprachliche Zeichen zur Bedeutungskonstitution beitragen. Die daraus resultierende Perspektiverweiterung ist vor allem auf zwei zentrale Veränderung in Kommunikation und Forschung zurückzuführen, nämlich einerseits, dass aufgrund von medialem Wandel, technische Innovationen, insbesondere die Digitalisierung, Veränderung in den Bereichen Gestaltung und Design Kommunikate unter zeichentheoretischen Gesichtspunkten komplexer und vielschichtiger geworden sind. Anderseits folgt sie daraus, dass auch die Sprachwissenschaft von technischer Innovation profitiert und heute leichter und kostengünstiger als noch vor wenigen Jahrzehnte Bilder, Audio- und Videoaufnahmen erfassen und analysieren kann.

Multimodalität als Perspektiverweiterung

Multimodalität (hier: im weiteren Sinne) hat sich – terminologisch durchaus verwirrend – als Überbegriff für Multikodalität und Multimodalität (hier: im engeren Sinne) etabliert. Deshalb werden im Folgenden zwar Multikodalität und Multimodalität (im engeren Sinne) getrennt von einander vorgestellt, im gesamten Living Handbook wird aber, soweit es nicht explizit erforderlich ist, verallgemeinernd und vereinfachend nur „Multimodalität“/“multimodal“ verwendet.

Multikodalität

Als multikodal werden solche Kommunikate bezeichnet, in denen Bedeutung durch mehr als einen Zeichentyp (Kode) konstituiert ist. Dies ist augenscheinlich dann der Fall, wenn z.B. auf einer Buchseite neben Buchstaben ein Bild abgedruckt ist oder wenn eine Sprecherin ihre Stimmlage variiert. In diesen Beispielen erschöpft sich allerdings nicht die Vielzahl der möglichen Zeichentypen. In einer Powerpoint-gestützten Präsentation, um nur ein Beispiel zu nennen, können neben Zeichen der gesprochenen und der geschrieben „mindestens auch der gattungsspezifische Einsatz von Layout, Bildern, Diagrammen und andere grafische Darstellungen, Proxemik, Gestik, Mimik, Prosodie, Lautstärke, Animation, Film, Tonaufnahmen und Musik“ für die Bedeutung und die Analyse der Präsentation relevant sein. Aufgrund der überbordenden Vielzahl der Zeichentypen ist es im Rahmen sprachwissenschaftlicher multimodaler Analyse relevant, die relevanten Zeichentypen zu identifizieren.

Plakat –

Kurze Analyse

Multimodalität

Als multimodal (im engeren Sinne) werden solche Kommunikate bezeichnet, die in der Rezeption mehr als einen Sinn ansprechen. Dies ist nicht bei gedruckten Büchern oder Radiofeatures der Fall, dafür aber bei audiovisuellen Medien wie Dokumentarfilmen, Computerspielen oder auch in der Face-to-Face-Interaktion, in der neben gesprochener Sprache (hörbar) auch Mimik, Gestik etc. (sehbar) zusammenkommen. Dies ist im Gegensatz zu den gezeigten Plakaten etwa in dem Youtube-Video "Die Zerstörung der CDU." des Influencers Rezo der Fall:

Für alle multimodalen (im engeren Sinne) Kommunikate gilt, dass sie auch multikodal sind. Der Umkehrschluss, dass alle multikodalen Kommunikate auch multimodal (im engeren Sinne) sind, trifft hingegen nicht zu.

Die Orchestrierung der Zeichen

Wenn die Grundannahme der multimodal ausgerichteten Sprachwissenschaft darin besteht, dass neben sprachlichen auch nicht-sprachliche Zeichen zur Bedeutungskonstitution von Kommunikaten beitragen, dann stellt sich die Frage, wie die verschiedenen Zeichentypen miteinander in Beziehung stehen. In diesem Zusammenhang spricht man von einer Orchestrierung von Zeichen in Anlehnung an ein Orchester, in dem verschiedenste Instrumente zusammen ein Musikstück hervorbringen. In einer sehr groben Unterscheidung gibt es vier Verfahren der Orchestrierung (2005: 179):

• Rhythm: Verschiedene Zeichentypen werden im Zeitverlauf rhythmisiert, etwa mittels Pausen oder anderer zeitlicher Gliederungseinheiten erfolgen. Dies kann in zeitlich orgnisierten Kommunikaten wie Radiofeatures, Filmen oder auch Theaterstücken der Fall sein.
• Composition: Verschiedene Zeichentypen werden auf einer flächigen Ebene, zum Beispiel einer Buchseite, oder in einem dreidimensionalen Raum, zum Beispiel einer Ausstellung, in einer bedeutungstragenden Weise zueinander aufgebaut und räumlich arrangiert.
• Information Linking: Zeichentypen werden implizit oder explizit miteinander in Beziehung gesetzt, etwa durch Zeigegesten, Pfeile oder sprachliche Äußerungen wie „oben sieht man“/“gerade war zu hören“.
• Dialogue: In dialogische konstituierten Kommunikaten kann Bedeutung in der sequentiell wechselseitigen Interaktion zwischen teilnehmenden Interaktionspartner*innen und den von ihnen verwendeten Zeichen entstehen. Dies kann in Alltagsgesprächen, TV-Debatten oder Jam-Sessions beobachtet werden.

Weiterführendes

• Böhm, Felix (2021): Präsentieren als Prozess. Multimodale Kohärenz in softwaregestützten Schülerpräsentationen der Oberstufe. Tübingen: Stauffenburg.
• Bucher, Hans-Jürgen (2015): Multimodalität in der Wissenschaftskommunikation. Theorien, Methoden, Befunde. Online, zuletzt abgerufen am 12.03.2021.
• Klug, Nina-Maria; Stöckl, Hartmut (Hrsg.) (2016): Handbuch Sprache im multimodalen Kontext. Berlin; Boston: De Gruyter.
• Kress, Gunther (2010): Multimodality. A Social Semiotic Approach to Contemporary Communication. London: Routledge.
• Wildfeuer, Janina; Bateman, John A.; Hiippala, Tuomo (2020): Multimodalität. Grundlagen, Forschung und Analyse – eine problemorientierte Einführung. Berlin; Boston: De Gruyter.