Pragmatik multimodal E-Book

• Herausgeber: Narr Francke Attempto Verlag
• Kategorie: Geisteswissenschaft
• Serie: Studien zur Pragmatik
• Sprache: Deutsch

Seitenzahl: 474

Veröffentlichungsjahr: 2024

Beschreibung

Sowohl Gespräche als auch Texte sind keinesfalls monomodale Kommunikationsanlässe und -angebote, sondern werden in Gestalt multimodaler Praktiken und Artefakte wahrnehmbar. Neben Sprache tragen Ausdrucksmodalitäten wie Gestik, Mimik, Körperhaltung und -bewegung, Stimme, also ganz grundsätzlich Körperlichkeit sowie Schriftbildlichkeit, Bilder, Emojis und mehr wesentlich zur Bedeutungsentfaltung im Kontext bei. Dieser Band nimmt sich der Bestimmung des Verhältnisses von Pragmatik- und Multimodalitätsforschung sowie einer multimodalen Pragmatik an. Die Zusammenführung von Studien zur multimodalen Pragmatik gibt einen Überblick über aktuelle und innovative Forschungsarbeiten, die sich aus einer pragmatischen Perspektive für multimodale Phänomene interessieren.

Leseprobe

Herausgegeben von

Prof. Dr. Eva Eckkrammer (Mannheim)

Prof. Dr. Claus Ehrhardt (Urbino/Italien)

Prof. Dr. Anita Fetzer (Augsburg)

Prof. Dr. Rita Finkbeiner (Mainz)

Prof. Dr. Frank Liedtke (Leipzig)

Prof. Dr. Konstanze Marx (Greifswald)

Prof. Dr. Sven Staffeldt (Halle)

Prof. Dr. Verena Thaler (Innsbruck)

Die Bände der Reihe werden einem single-blind

Peer-Review-Verfahren unterzogen.

Bd. 7

Susanne Kabatnik / Lars Bülow / Marie-Luis Merten / Robert Mroczynski (Hrsg.)

Pragmatik multimodal

Bibliografische Information der Deutschen NationalbibliothekDie Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.dnb.de abrufbar.

DOI: https://doi.org/10.24053/9783823395829

© 2024 · Narr Francke Attempto Verlag GmbH + Co. KG

Dischingerweg 5 · D-72070 Tübingen

Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen.

Alle Informationen in diesem Buch wurden mit großer Sorgfalt erstellt. Fehler können dennoch nicht völlig ausgeschlossen werden. Weder Verlag noch Autor:innen oder Herausgeber:innen übernehmen deshalb eine Gewährleistung für die Korrektheit des Inhaltes und haften nicht für fehlerhafte Angaben und deren Folgen. Diese Publikation enthält gegebenenfalls Links zu externen Inhalten Dritter, auf die weder Verlag noch Autor:innen oder Herausgeber:innen Einfluss haben. Für die Inhalte der verlinkten Seiten sind stets die jeweiligen Anbieter oder Betreibenden der Seiten verantwortlich.

Internet: www.narr.de

eMail: [email protected]

ISSN 2628-4308

ISBN 978-3-8233-8582-0 (Print)

ISBN 978-3-8233-0519-4 (ePub)

Inhalt

Marie-Luis Merten, Lars Bülow, Susanne Kabatnik & Robert Mroczynski

Pragmatik multimodal – Einführung

Ellen Fricke

Negation multimodal. Rede und Geste, Schrift und Bild

Steven Schoonjans, Geert Brône, Kurt Feyaerts & Line Winkelmans

Multimodale Intensivierung im Deutschen

Claudia Lehmann

Zur multimodalen Markierung von Ironie. Eine quantitative Korpusstudie

Susanne Kabatnik

Ko-Konstruktion von Veränderung in der Smartphone-gestützten Gruppenpsychotherapie. Eine multimodale Interaktionsanalyse

Clara Kindler-Mathôt

eins zwei drei vor wusch – dynamische Entfaltung multimodaler Bedeutung einer onomatopoetischen Interjektion

Simon Meier-Vieracker & Stefan Hauser

Multimodal Ritual Chains. Medialitätstheoretische Beobachtungen zur Multimodalität der Fußballfankommunikation

Marie-Luis Merten

Körpersemantisierungen im #bodylove-Diskurs. Eine Korpusstudie zu Instagram-Posts als multimodales Positionierungsformat

Marcus Scheiber, Hagen Troschke & Jan Krasni

Vom kommunikativen Phänomen zum gesellschaftlichen Problem. Wie Antisemitismus durch Memes viral wird

Elisabeth Zima

Multimodale Analysen zu Fremd- und Selbstwahl in ZOOM-Videokonferenzen

Lisa Rhein & Sina Lautenschläger

Multimodales Verorten, Positionieren und Grenzziehen in Polit-Talkshows

Verzeichnis der Autorinnen und Autoren

Pragmatik multimodal – Einführung

Marie-Luis Merten, Lars Bülow, Susanne Kabatnik & Robert Mroczynski

1Pragmatik multimodal: Umrisse und Perspektiven eines Forschungsfeldes

Sprachhandeln begegnet uns stets in multimodalen Formen (Klug/Stöckl 2016): Sowohl Gespräche als auch Texte sind keinesfalls monomodale Kommunikationsanlässe und -angebote; sie werden vielmehr in Gestalt multimodaler Performanzen und Artefakte wahrnehmbar (Stöckl 2020: 41). Neben Sprache tragen Ausdrucksmodalitäten wie Gestik, Mimik, Körperhaltung und -bewegung, Stimme, also ganz grundsätzlich Körperlichkeit (Deppermann 2015) sowie Schriftbildlichkeit, Layout, Bilder, Emojis und weitere visuelle Zeichen(typen) (Stöckl et al. 2020) wesentlich zur Bedeutungsentfaltung im Kontext bei (Wildfeuer et al. 2020). Zunehmend bestimmt die Untersuchung multimodaler Kommunikationspraktiken – auch infolge der visuellen Wende innerhalb der Linguistik (dazu Bubenhofer 2020: Kap. 9.4.1) – die sprachwissenschaftliche Forschungslandschaft. Mitunter wird von einer multimodalen Wende gesprochen, die sich Bateman et al. (2017: 15) zufolge in dem Bedarf und der Bestrebung niederschlägt, die spezifischen Kombinationen von Ausdrucksmitteln explizit und systematisch zu untersuchen („to examine combinations of expressive resources explicitly and systematically“). In diesem Zusammenhang können wir in den letzten Jahren beobachten, wie sich (teilweise überlappende) Subdisziplinen herausbilden, deren theoretisch-methodologischer Apparat dezidiert auf multimodale Kommunikationsformate ausgerichtet ist: Dabei handelt es sich etwa um einen sozialsemiotischen Zugang zu Texten (Kress/van Leeuwen 1996; Kress 2010), die multimodale Interaktionsanalyse (Norris 2004; Mondada 2013, 2018; Deppermann 2018; Stukenbrock 2021), die multimodale Text- und Diskursanalyse (Klug 2016; Meier 2016; im angloamerikanischen Raum auch O’Toole 1994; O’Halloran 2004), die multimodale Kognitionslinguistik (Zima/Brône 2015; Spieß 2016; Forceville 2016) sowie die multimodale Grammatikforschung (Fricke 2012; Schoonjans 2018; konstruktionsgrammatisch auch Zima/Bergs 2017; Bülow et al. 2018), die angesichts ihrer starken Fokussierung auf Gesten interaktionslinguistischen Arbeiten verhältnismäßig nahe steht. Die genannten Subdisziplinen setzen unterschiedliche Schwerpunkte, was die untersuchten Kommunikationstypen, die gewählte Methodik wie auch die theoretische Fundierung betrifft: Während beispielsweise in der multimodalen Textanalyse schrift- und bildbasierte Artefakte in ihrer kompositionellen Gestalt eine zentrale Rolle spielen, konzentriert sich die multimodale Interaktionsanalyse vordergründig auf gesprochensprachliche Kommunikation und eine stärker sequenzanalytische Betrachtungsweise. Insbesondere neuere mediale Kommunikationsformate – wie WhatsApp, Instagram und Co. – ermöglichen es zudem, Textkommunikation unter multimodal-interaktionsanalytischen Gesichtspunkten zu betrachten (Pappert 2017; König 2019; Albert 2020; Merten 2022) sowie die aus einer zunehmenden Medienkonvergenz resultierende Kombination von Audio-, Bild- und Schrift-Elementen in einem Posting (König 2021) zu erforschen (zu einer zunehmenden Bildzentriertheit kommunikativer Praktiken auch Stöckl et al. 2020).

Aus Sicht der linguistischen Pragmatik stellt sich die Frage, welchen Platz pragmatische Themen, Theorien und Analysegegenstände innerhalb dieser Entwicklung einnehmen. Der vorliegende Band setzt sich daher zum Ziel, wesentliche Bestimmungsstücke einer multimodalen Pragmatik (O’Halloran et al. 2014; Huang 2022) zu identifizieren und die Vielfalt an aktuellen pragmatisch-fokussierten Forschungsarbeiten und -projekten mit einem Schwerpunkt auf multimodalen Kommunikationspraktiken aufzuzeigen. Beleuchtet wird mithin das Verhältnis von Pragmatik- und Multimodalitätsforschung, um auf dieser Grundlage für eine Pragmatikforschung zu argumentieren, die die multimodale Verfasstheit von Kommunikation mit Blick auf ihre Theoriebildung sowie methodologisch-methodische Fundierung berücksichtigt. Angesichts der Relevanzsetzung von Sprache im Gebrauch und der situativen Einbettung kommunikativer Handlungen im Rahmen pragmatischer Ansätze liegt eine ebensolche Fokussierung von multimodaler Bedeutungsentfaltung im Kontext nahe (O’Halloran et al. 2014: 239).

Dem vorliegenden Band liegt ein weiter inkludierender, statt einschränkender Pragmatikbegriff zugrunde, wie er u. a. von Feilke (2015: 97) dargelegt wird. An eine gebrauchsbasierte Sprachkonzeption anschließend lässt sich Pragmatik auf diese Weise ganz grundlegend als eine funktionale Perspektive auf Sprache (im Gebrauch) beschreiben, die die Komplexität des kognitiven, sozialen und kulturellen Wirkens von sprachlicher Kommunikation in der menschlichen Lebenswelt berücksichtigt (O’Keeffe et al. 2011: 19). Eingeschlossen sind damit sowohl Phänomene, die klassischerweise stärker der Semantik zugeordnet werden (etwa der Bereich der Negation, wie in Fricke in diesem Band beleuchtet, oder das Phänomen der Intensivierung, dazu Schoonjans et al. in diesem Band), als auch solche, die sich am Rande der Linguistik verorten lassen (etwa auch sprachliche Anteile integrierende Fan-Choreografien im Fußball-Stadion, wie sie Meier-Vieracker/Hauser in diesem Band behandeln). So scheint die (diesem Band vorausgegangene) Tagungseinladung zur eingehenderen Beschäftigung mit Analysefeldern und -möglichkeiten einer multimodalen Pragmatik gerade als Anstoß genutzt worden zu sein, auch solche Phänomene und Kommunikationsbereiche linguistisch zu beleuchten, denen bislang nur wenig (wissenschaftliche) Aufmerksamkeit zuteil geworden ist.

Multimodalität bzw. multimodale Kommunikation wird in der aktuellen Forschungslandschaft unterschiedlich gefasst; diesen Umstand dokumentiert auch der vorliegende Band. Wir begegnen durchaus konkurrierenden Multimodalitätsbegriffen, die je nach Erkenntnisinteresse, Tradition, in der die jeweilige Forschung steht, und damit einhergehender theoretisch-methodologischer Fundierung, Phänomen- bzw. Datentyp usw. divergieren. Text(sorten)linguistische Ansätze unterscheiden sich in nicht unerheblichem Maße von gesprächsanalytischen oder etwa medienlinguistischen Zugängen zu multimodalen Kommunikaten; nicht zuletzt nehmen hierbei verschiedentliche Zeichensysteme – in ihrer je spezifischen Verschränkung – eine wichtige Funktion ein (dazu auch Bateman/Tseng 2023: Kap. 1). Eine Minimalbestimmung von multimodaler Kommunikation, wie sie als Klammer aller Beiträge dieses Bandes angesetzt werden kann, bezieht sich auf den gemeinsamen (d. h. zeitgleichen) Einsatz und die gewissen Musterhaftigkeiten folgende Integration von verschiedenen Zeichensystemen (als semiotischen Ressourcen) im kommunikativen Vollzug (Stöckl 2020: Kap. 2.1; auch Jewitt 2014a: 127). Da wir einer linguistischen Schwerpunktsetzung folgen, spielt Sprache, ob gesprochen- oder geschriebensprachlich, in allen Beiträgen eine tragende Rolle, sie fungiert gewissermaßen als Archimedium (Klug/Stöckl 2016: VIII) bzw. als Archimodalität, die mit weiteren Zeichenmodalitäten in semantisch-funktionale Beziehungen tritt. Angesprochen sind jeweils der visuelle und/oder auditive Sinneskanal, die beleuchtete Kommunikation materialisiert sich auf verschiedene Weise. Von besonderem Interesse sind die medial-modalen Affordanzen (als Angebotsstrukturen) und Logiken, die sich auf Grundlage der jeweils beleuchteten multimodalen Performanzen und Artefakte nachzeichnen lassen; Fritz (2013: 127) spricht in diesem Zusammenhang auch von der „Leistungsfähigkeit von Darstellungsmodi“. Für den vorliegenden Band ist insbesondere die Abgrenzung von Modalität und Medium bzw. Medien zentral (wie auch herausfordernd). Wir konturieren Medien in Anlehnung an Bateman und Tseng (2023: 91) als einen „historisch stabilisierte[n] Ort für den Einsatz und die Verbreitung einer gewissen Auswahl an Zeichenmodalitäten zur Erreichung eines sozial eingeschränkten und einschränkenden Spektrums an kommunikativen Zwecken“. Damit wird ein stärker (sozio-)technisches Verständnis in den Vordergrund gerückt; zudem setzen sich Medien – wie das Buch – aus verschiedenen Zeichenmodalitäten im gemeinsamen Gebrauch zusammen. Das Verhältnis von Medialität und Modalität wird eingehender im nachfolgenden Kap. 2.3 auf Grundlage einer Auswahl an Beiträgen zu diesem Band beleuchtet.

Die Vielfalt an virulenten Beschreibungs- und Analysekategorien (Stöckl 2020: 44), was multimodale Kommunikationstypen betrifft, zeichnet sich auch für die in diesem Band zusammengefassten Beiträge ab. Als zentrale Größen bzw. Konstitutiva multimodaler Kommunikation setzen Wildfeuer et al. (2020: 133) den:die Produzent:in, den:die Rezipient:in, das Canvas1 (als Träger bedeutungsvoller Regelmäßigkeiten) sowie das Zeitprofil des multimodalen Vollzugs an. Diese Bestimmungsstücke multimodaler Kommunikation werden auch in den Beiträgen dieses Bandes – mitunter divergierender Terminologie folgend – mehr oder weniger intensiv in den Blick genommen. Welche dieser Gesichtspunkte bzw. Eckpunkte von Kommunikation in actu in sich anschließenden Forschungsbeiträgen intensiver beleuchtet werden sollten, wird u. a. im Ausblick in Kap. 4 eingehender thematisiert. Grundsätzlich kennzeichnet den vorliegenden Band sein hoher empirischer Anteil. Auf Grundlage eines systematischen Umgangs mit multimodalen Daten verschiedenen Typs (zur empirischen Perspektive auch Jewitt 2016 sowie Norris 2019) schärfen die Beiträger:innen pragmatische Konzepte und Modelle – wie Ironie (Lehmann in diesem Band), Positionierung (Rhein/Lautenschläger in diesem Band sowie Merten in diesem Band), Gruppenkonstitution (Kabatnik in diesem Band sowie Meier-Vieracker/Hauser in diesem Band), Fremd- und Selbstwahl im Gespräch (Zima in diesem Band) usw. – mit Blick auf die multimodale Organisation von Kommunikation. Mithin versteht sich dieser Band als Dokumentation einer pragmatischen Modellierung unseres heterogenen multimodalen Kommunikationsalltags.

2Vielfalt des Phänomenbereichs

Eine wesentliche Stärke des Bandes liegt in der Vielfalt der beleuchteten Phänomene wie auch der methodischen Herangehensweisen an diese Analysefelder. Trotz dieses hohen Grads an multimodal-kommunikativer Heterogenität lässt sich ebenso eine gewisse Stringenz konstatieren, insofern in allen durchweg empirischen Beiträgen eine (im weitesten Sinne) pragmatische Sichtweise auf multimodale Kommunikationsformen eingenommen und das Zusammenspiel verschiedener Zeichensysteme zur Herstellung von kommunikativem Sinn im Kontext reflektiert wird. In den sich anschließenden Abschnitten werden die drei Hauptthemenbereiche dieses Bandes, zu denen die Autor:innen jeweils einen Beitrag leisten, beleuchtet. Naheliegenderweise lassen sich einzelne Aufsätze mehr als einem dieser drei Bereiche zuordnen, dennoch überwiegt im Großteil der Fälle eines der adressierten Anliegen.

2.1Multimodale Perspektiven auf klassische linguistische Gegenstandsbereiche

Indem die Multimodalität von Kommunikation berücksichtigt wird und mithin multimodale Daten als Forschungsgrundlage herangezogen werden, lässt sich ein neuer Blick auf klassische linguistische (bzw. pragmatische) Gegenstandsbereiche werfen. Wie bereits zu Beginn hervorgehoben: Zahlreiche kommunikative Phänomene werden keineswegs nur bzw. hauptsächlich sprachlich hervorgebracht, vielmehr sind Para- und Nonverbales bzw. grundsätzlich weitere semiotische Ressourcen an der jeweiligen Konstruktion – etwa von Sprechakten, von Humor, von Fremd- und Eigenpositionierungen usw. – beteiligt. Ist dieser Umstand in allen Beiträgen dieses Bandes grundsätzlich von Relevanz, so sind es insbesondere die Beiträge von Fricke (in diesem Band) zur Negation und Verneinung, von Schoonjans et al. (in diesem Band) zur Intensivierung sowie von Lehmann (in diesem Band) zur Ironie, die diesen neuen multimodalen Blick auf klassische Gegenstandsbereiche der Linguistik in den Mittelpunkt ihrer Auseinandersetzungen rücken. Dabei sind speziell zwei Fragen – über alle diese Beiträge hinweg – von Interesse. Zum einen die Frage nach der möglichen Verfestigung von sprachlichen Elementen sowie Körper- und Blickbewegungen ebenso wie Kopf- und Handgesten (dazu auch Stukenbrock 2021). Kookkurrieren im Falle dieser Phänomene (Negation, Intensivierung, Ironie) bestimmte modedifferente semiotische Ressourcen zufällig miteinander, handelt es sich mithin um eine stark variable multimodale Begleitung von sprachlichen Mitteln, oder begegnen bestimmte multimodale Kombinationen wiederkehrend? Können wir demnach von verschiedenen Konventionalisierungsgraden der multimodalen Organisation sprechen (aus konstruktionsgrammatischer Perspektive auch Ziem 2017)? Zum anderen stellt sich die Frage nach der Reichweite und der grundsätzlichen Leistungsfähigkeit von linguistischen Analysekategorien (wie etwa die Unterscheidung von Ironiemarker und Ironiesignal usw.) im Hinblick auf divergierende Zeichenmaterien und -systeme. Bedarf es stellenweise einer Anpassung, einer Weiterentwicklung, gar einer Neukonzeption des bewährten linguistischen Beschreibungsapparates?

Fricke (in diesem Band) widmet sich diesen Fragen am Beispiel der Negation als einem klassischen Gegenstandsbereich an der Schnittstelle von Grammatik und Pragmatik. Ausgehend von den Fragen, wie im Falle der Negation sowohl gesprochene Sprache und Gesten als auch Schrift und Bild zusammenwirken, zeigt sie Gemeinsamkeiten und Unterschiede für diese beiden Relationstypen bzw. Typen des multimodalen Ensembles auf. Sie kann u. a. darlegen, dass eine multimodale Polynegation zur Grammatikalisierung von gestischen und bildlichen Zeichen im Hinblick auf eine sprachliche Negationsfunktion führen kann. Zudem hält sie als weitere instruktive Felder der pragmatischen Multimodalitätsforschung den Bereich von Negation und Deixis oder den von Negation und Interkulturalität – etwa mit Blick auf Gesten hochspannend – fest. Ein weiteres für rein sprachliche Mittel bereits gut erforschtes Feld beschreiten Schoonjans et al. (in diesem Band) mit dem Phänomen der Intensivierung, das sie unter multimodalen Gesichtspunkten beleuchten. Sie legen ihrer Arbeit ein graduelles Verständnis von Intensivierung zugrunde, das sowohl die Ausdrucksverstärkung als auch die Ausdrucksabschwächung integriert. Besondere Aufmerksamkeit kommt in ihrem Beitrag der Kookkurrenz von Kopf- und Handgesten, Blickverhalten und sprachlichen Intensivierern, also Partikeln wie total, echt, wahnsinnig, gar und voll zu. Trotz des explorativen Charakters ihrer Studie, die auf einer überschaubaren Belegzahl aufbaut, zeichnen sich etwa für Negationsverstärker andere multimodale Muster ab als für andere Fälle der Intensivierung mittels Partikeln. Die multimodale Hervorbringung von Ironie als einem (indirekten) expressiven Sprechakt (Schwarz-Friesel 2012; auch Kotthoff 2018: Kap. 30.3) erforscht Lehmann anhand eines multimodalen Fernsehkorpus eingehender. In den Blick gerät mithin ein umfangreiches, weitgehend natürlichsprachliches Datenset, das eine quantitative Herangehensweise ermöglicht. Ihr Interesse gilt der Kookkurrenz von ausgewählten sprachlichen Ironie-Konstruktionen und akustischen Signalen (u. a. Pausen, Tonhöhe, Sprechtempo) ebenso wie visuellen Ressourcen wie Blickverhalten, Kopf- und Körperbewegungen. Sie kann aufzeigen, dass ausgewählte akustische und gestische Ironiesignale mit bestimmten Konstruktionen wiederkehrend auftreten. In allen Beiträgen deutet sich demnach die Verfestigung multimodaler Form-Funktionspaare an – ein Befund, der in Folgestudien eingehender beleuchtet werden sollte.

2.2Kommunizierende Körper: Blicke, Bewegungen, Formationen

Multimodale Kommunikation kann Deppermann (2018: 58) zufolge im Sinne leiblichen Handelns verstanden werden. Angesprochen sind damit körperbezogene Gesichtspunkte wie „Vokalität (einschließlich Sprache und Prosodie), Gestik, Blick, Mimik, die Einnahme von Körperposituren, die Bewegung im Raum und der Umgang mit Objekten“ (ebd.; zu einer ähnlichen Sichtweise Mondada 2016). Die Berücksichtigung dieser Aspekte kommt der bereits hervorgehobenen Kontextsensibilität pragmatischer Analysen nach. So ist nach Rühlemann (2019: 6 f.) ein wesentlicher Bestandteil des Kontextes „the speaker’s bodily conduct into which the utterance is integrated“. Diesen Schwerpunkt auf kommunizierende Körper in Bewegung (Müller et al. 2013; aktuell auch Ortner 2023) setzt ebenfalls eine Reihe an Beiträgen dieses Bandes. Naheliegenderweise geraten hierbei insbesondere Fälle der Face-to-Face-Kommunikation, also ko-präsente Formate des kommunikativen Austausches – wie die Gruppenpsychotherapie (Kabatnik in diesem Band) oder die gemeinsame Tanzstunde (Kindler in diesem Band) – in den Blick. Diese Form der multimodalen Kommunikation „beruht auf der Anwesenheit der Kommunikationsteilnehmer, die durch Wahrnehmungswahrnehmungen in der Interaktion fortwährend hergestellt und aufrechterhalten“ (Hausendorf et al. 2017: 27) wird. Grundlegende Konzepte der Gesprochenen-Sprache-Forschung gewinnen damit an Relevanz, was die multimodale Analyse betrifft: u. a. die Situativität, Interaktivität, Sequenzialität und Zeitlichkeit der Kommunikation. Auch der Einbezug der umgebenden Dingwelt2 (Reckwitz 2014) kann für multimodale Kommunikation konstitutiv sein (vor allem Meier-Vieracker/Hauser in diesem Band) und ist mithin im Rahmen einer körper- und raumbezogenen Analyse zu berücksichtigen.

Doch nicht nur in einem Großteil der Interaktionalen Linguistik bzw. Gesprochene-Sprache-Forschung wird der kommunizierende Körper in den Mittelpunkt gerückt; mit dem Konzept des Embodiments spielen Körper und Körpererfahrungen sowie deren Wahrnehmung ebenfalls in der Kognitiven Linguistik und Kognitionswissenschaft (u. a. Clark 2008) wie auch in der Soziolinguistik (u. a. Bucholtz/Hall 2016) eine bedeutende Rolle. Im Vergleich zu den Beiträgen, die eingehender in Kap. 2.1 (Klassische linguistische Gegenstandsbereiche) behandelt wurden, besteht ein wesentlicher Unterschied dieser Perspektivierung von multimodaler Kommunikation darin, dass nicht klassische linguistische Bereiche, sondern die multimodale Kommunikationspraxis in ihrer Vielfältigkeit den Ausgangspunkt der Untersuchung bilden. Damit geraten unter Umständen auch Phänomene in den Blick, die stärker am Rande (typischer) linguistischer Untersuchungsfelder angeordnet werden können. Eingelassen in divergierende soziokulturelle (kommunikative) Praktiken (ähnlich Meyer 2013) kennzeichnet den Bereich kommunizierender Körper (in Bewegung) auch ein großes multimodal-variationspragmatisches Potenzial, insofern gewisse Körperbewegungen in unterschiedlichen Ko- und Kontexten ebenso verschiedentliche Funktionen aufweisen sowie Bestandteil divergierender multimodaler Verfestigungen sein können. Hier zeigt sich das kontextualisierende Potenzial von sowohl Sprache als auch kookkurrierender Körperbewegung, Gestik, Mimik, Prosodie usw. Zentrale empirische Anliegen bestehen in der Systematisierung von Bedeutung mitkonstituierenden Körperhaltungen und -bewegungen wie auch in der Beschäftigung mit der Frage, welche Körperbewegungen (wie bspw. bestimmte Gesten) als alleiniger Zeichenträger fungieren können. Dass insbesondere die Kopplung von Sprache und Körperbewegung mit ihren verschiedenen Graden der Konventionalisierung derzeit intensiv erforscht wird, ist bereits in Kap. 2.1 thematisiert worden.

Die Körperlichkeit von Kommunikation spielt auch in weiteren Beiträgen dieses Bandes eine mehr oder weniger große Rolle (u. a. Rhein/Lautenschläger in diesem Band sowie Merten in diesem Band); sie steht insbesondere in drei Aufsätzen im Zentrum der Auseinandersetzung. Indem Kabatnik (in diesem Band) ihren Untersuchungsfokus auf die kommunikative Gattung der Gruppenpsychotherapiesitzung richtet, rückt die helfende Interaktion von ko-präsenten Partizipant:innen in den Mittelpunkt. Ausgehend von einer Stuhlkreis-Sitzordnung und den kommunikativen Beteiligungsrollen von Therapeut:in sowie Patient:innen untersucht ihr Beitrag das sequenziell organisierte und multimodal musterhafte Erarbeiten von Formulierungsvorschlägen für die Messenger-basierte Kommunikation. Sie kann zeigen, wie multimodale Routinen der sozialen Positionierung dienlich sind und Verhaltensveränderungen ko-konstruiert werden. Kindler (in diesem Band) widmet sich der onomatopoetischen Interjektion wusch in ihrer multimodal-musterhaften Verwendung im Tanz-Workshop. Eingehendere Aufmerksamkeit wird demnach der dynamischen Bedeutungsentfaltung im Kontext sich bewegender und kommunizierender Körper zuteil. Die onomatopoetische Interjektion wusch wird – eingebettet in eine körperlich-gestische Performance – vom Tanzlehrer wiederholt zur Erklärung einer für den Walzertanz charakteristischen Dynamik einer Drehung verwendet; es zeichnet sich eine (kontextspezifische) Verfestigung als multimodale Bedeutungsgestalt infolge des wiederholten Gebrauchs des Tanzlehrers und des (anschließenden) Aufgreifens durch die Lernenden ab. In beiden Beiträgen (Kabatnik in diesem Band sowie Kindler in diesem Band) wird die Zeitlichkeit von multimodaler Bedeutungsentfaltung in ihrer Relevanz für den jeweiligen Kommunikationsausschnitt beleuchtet. Zwar sind auch raumbezogene Aspekte (Stuhlkreis, Smartphone, Bewegung im Raum etc.) in diesen Studien (bereits) von Bedeutung, allerdings nehmen die Konzepte des Raums sowie der Formation von koordiniert handelnden Körpern im Beitrag von Meier-Vieracker und Hauser (in diesem Band) zur multimodalen Fußballfankommunikation eine besondere Stellung ein. Meier-Vieracker und Hauser widmen sich u. a. Fan-Choreografien im Fußballstadion. Im Zuge dieser zeitlich und räumlich aufeinander abgestimmten Ensemble-Aufführungen wird etwa das BVB-Wappen durch eine bestimmte Formation der Zuschauenden bzw. Fans sichtbar. Mithin avanciert der physische Raum angesichts dieser besonderen performativen Nutzung zur semiotischen Ressource, die sich in ihrer soziokulturellen Bedeutung erst durch ein entsprechendes multimodales Zeichenhandeln konstituiert. Darüber hinaus erforschen die beiden Autoren den digitalen multimodalen Fandiskurs, in dem an sich flüchtige, allerdings mittels Aufzeichnung dokumentierte Fan-Choreografien dauerhaft verfügbar gehalten und – im Dienste der Gruppenkonstitution – anschlusskommunikativ verhandelt werden.

2.3Vermittelte Kommunikation: Multimodalität, Medialität, Digitalität

Wie bereits herausgestellt, dokumentieren die Beiträge dieses Bandes, dass der Fokus innerhalb der linguistischen Pragmatik nicht mehr nur auf rein sprachlicher Kommunikation liegt. Pragmatiker:innen sind sich spätestens seit der zuvor angesprochenen visuellen Wende innerhalb der Linguistik (dazu Bubenhofer 2020: Kap. 9.4.1) darüber im Klaren, dass andere Zeichenmodalitäten wie die bildliche Sehfläche oder Gesten oftmals den „notwendigen Ko- und Kontext“ (Stöckl 2016: 3) bilden, innerhalb dessen sich Bedeutung konstituiert. Das passt zu dem oben thematisierten Verständnis von Pragmatik als Disziplin, die sich ganz wesentlich mit der Hervorbringung und Interpretation von Äußerungen im Ko- und Kontext beschäftigt (Kap. 1). Dennoch muss pragmatischer Forschung zuweilen attestiert werden, dass die Integration anderer Zeichenmodalitäten als die der Sprache bei der Interpretation von Äußerungen nur unzureichend berücksichtigt wird. Entsprechend bezeichnet Stöckl (2016: 4) das Verständnis der „Prinzipien der intersemiotischen Sinnstiftung [als; LB] einen weitestgehend blinden Fleck“. Im Bereich der Multimodalitätsforschung, die sich grundsätzlich auf alle Formen der Kommunikation beziehen kann, wird vielfach darauf verwiesen, dass ein besseres Verständnis dieser Prinzipien intersemiotischer Sinnstiftung nur dann möglich ist, wenn das Verhältnis zentraler Begrifflichkeiten zueinander geklärt ist (siehe z. B. Stöckl 2016; Klug/Stöckl 2016; Bateman/Tseng 2023). Im Kontext derjenigen Beiträge dieses Bandes, die pragmatische Phänomene in medial vermittelter Kommunikation adressieren, sind das unseres Erachtens insbesondere die Begrifflichkeiten Multimodalität, Medialität und Digitalität.

Dass Kommunikation und die damit einhergehende Nutzung von Zeichenressourcen immer auch medial vermittelt sind, ist für alle Beiträge dieses Bandes wesentlich, wird von mehreren Beiträgen aber besonders deutlich betont. Rhein und Lautenschläger (in diesem Band) betrachten etwa multimodale Verortungs-, Positionierungs- und Grenzziehungspraktiken im Kontext von Polit-Talkshows, die – eingebunden in ihre spezifische Medialität – ein bestimmtes Genre darstellen. Herausfordernd und in den letzten Jahren häufig diskutiert ist die Einordnung digitaler Kommunikation (siehe z. B. Marx/Weidacher 2020), die etwa in den Beiträgen von Merten (in diesem Band), Zima (in diesem Band) oder Scheiber et al. (in diesem Band) im Fokus steht. Mit Bateman und Tseng (2023: 91) fassen wir Medien als „historisch stabilisierte[n] Ort für den Einsatz und die Verbreitung einer gewissen Auswahl an Zeichenmodalitäten zur Erreichung eines sozial eingeschränkten und einschränkenden Spektrums an kommunikativen Zwecken“. Wir haben in Kap. 1 schon angedeutet, dass mit diesem Verständnis von Medium und Medialität ein stärker technisches Verständnis der Begriffe in den Vordergrund gerückt wird. In Anlehnung an Bateman und Tseng (2023: 93) stehen Medien dann „als potenzielle Realisierungen oder Ausdrucksstrategien für allgemeine kommunikative Zwecke, die als Genres bezeichnet werden“. Als solche Genres können beispielsweise die Polit-Talkshow im Fernsehen (siehe Rhein/Lautenschläger in diesem Band) oder Image Macros in den Sozialen Medien (Scheiber et al. in diesem Band) verstanden werden. Auch Instagram-Posts im Kontext des #bodylove-Diskurses (Merten in diesem Band) oder Zoom-Videokonferenzen (Zima in diesem Band) lassen sich im weitesten Sinne als medial vermittelte Genres verstehen.

Diese Genres bzw. Formate zeichnen sich durch eine gewisse Musterhaftigkeit in der integrativen Anwendung von Modalitäten aus, die „in enge Berührung miteinander gebracht werden“ (Bateman/Tseng 2023: 93). Im Genre Instagram-Post sind das vorrangig die Modalitäten Schrift und Bild, im Genre Zoom-Videokonferenzen sind das die gesprochene Sprache und Bewegt-Bild-Videoaufnahmen (siehe Tab. 1). Multimodalität, also die Kombination verschiedener Zeichensysteme, ist ein wesentliches Charakteristikum von technisch-medial vermittelter Kommunikation (von Fernsehkommunikation bis hin zu Instagram- und Zoom-Kommunikation). Der Umgang mit multimodalen Genres setzt eine gewisse Literalität voraus, die im Kontext digitaler Kommunikation häufig als digital literacy – im Umgang mit Memes mitunter sogar als meme literacy – bezeichnet wird. Das Vorhandensein von digital literacy, die die Integration verschiedener Zeichensysteme einschließt, ist entscheidend bei der Interpretation von Äußerungen. Diese Aspekte werden insbesondere in den Beiträgen von Merten (in diesem Band) und Scheiber et al. (in diesem Band) deutlich herausgearbeitet.

3Übersicht über die Beiträge des Bandes

Nachfolgend geben wir eine tabellarische Übersicht über die Beiträge des vorliegenden Bandes. Aufgenommen in die Darstellung sind der untersuchte Gegenstand (G), der dazu herangezogene Datentyp (D), die gewählte Methodik (M) sowie zentrale Ergebnisse, die der jeweilige Beitrag bespricht. Die Übersicht ist als Angebot für Leser:innen zu verstehen, die sich einen auf wesentliche Gesichtspunkte konzentrierten Überblick über den Band verschaffen möchten.

Tab. 1: Übersicht über die Beiträge des Bandes

4Desiderata und Ausblick

Die Beiträge dieses Bandes veranschaulichen für eine Vielzahl an Kommunikationsbereichen und Anwendungsfeldern sowie unter Nutzung verschiedener Forschungsmethoden, dass pragmatische Studien zur angemessenen Analyse von Kommunikation im Kontext über Sprache hinaus weitere Modalitäten (in ihrer kookkurrierenden Verwendung) zu berücksichtigen haben – ob in gesprochensprachlichen Zusammenhängen Prosodie, Gestik, Blickverhalten, Körperbewegung usw. oder im Kontext von Schriftverwendungen die Schriftbildlichkeit, kookkurrierende Bilder, Layout etc. In Anbetracht dieser grundsätzlich differenten Kommunikationsrahmen (insbesondere multimodale Kommunikation in der Zeit vs. multimodale Kommunikation auf der Fläche) wird Multimodalität in den einzelnen Beiträgen unterschiedlich konturiert; gemein ist den jeweiligen Studien jedoch, dass sie die Integration verschiedener Zeichensysteme zur Konstitution von kommunikativem Sinn in das Zentrum ihrer Auseinandersetzungen rücken. Vordergründig gerät dabei die Produktion von multimodaler Kommunikation in den Mittelpunkt; Fragen nach der Rezeption multimodaler Kommunikationsangebote scheinen uns – aus Sicht der linguistischen Pragmatik – noch weitgehend unbeantwortet. Studien, die multimodale Interaktion und damit stets auch Aufzeigeleistungen von Rezipierenden in den Blick nehmen, geben hierzu einen ersten Forschungsanstoß. Allerdings heben zahlreiche Beiträge ihren explorativen Charakter hervor; mithin lässt sich konstatieren, dass die pragmatische Forschung zu multimodaler Kommunikation noch an den Anfängen steht und ein vielfältiges und breites Feld an Phänomenen der eingehenderen Untersuchung bedarf. Dabei zeigen die Beiträge in diesem Band in ihrer größtenteils qualitativen Forschungsanlage, welche Konzepte und Modelle zu berücksichtigen sind, um vor allem dem Desiderat einer quantitativen Herangehensweise an multimodale Kommunikation nachzukommen. Die Gründe für diese Forschungslücke liegen auf der Hand: Sowohl die Zusammenstellung multimodaler und zur Untersuchung aufbereiteter (umfangreicher) Korpora als auch die nötige Mehrebenen-Annotation sowie Mehrebenen-Analyse sind in zeitlicher wie auch personeller Hinsicht herausfordernde Aufgaben. Open Science-Bestrebungen und das Bereitstellen entsprechender Infrastrukturen und Daten-Pools sind hier in jedem Fall zu fördern.

In inhaltlicher Sicht scheint uns insbesondere der Themenbereich von Multimodalität und Interkulturalität ein spannendes Feld für zukünftige pragmatische Forschungen aufzuspannen (z. B. sind Gesten in verschiedenen kulturellen Kreisen unterschiedlich semantisiert bzw. in Kopplung an divergierende sprachliche Konstruktionen konventionalisiert). Eng daran geknüpft verspricht der Phänomenbereich von Multimodalität und Mehrsprachigkeit – als eine Form der Multikodalität – im Rahmen von Linguistic Landscape-Studien instruktive Einsichten in das (musterhafte) Miteinander-Vorkommen, Aufeinander-Bezugnehmen und Voneinander-Abgrenzen von Zeichensystemen verschiedener Qualität im (urbanen) Raum. Dass den Konzepten Zeit(lichkeit) und Raum in der Analyse multimodaler Kommunikation eingehendere Berücksichtigung zukommen sollte, hat sich bereits in einigen Beiträgen dieses Bandes angedeutet.

Literatur

Albert, Georg (2020). Emojis und soziale Registrierung (enregisterment). Positionierungsaktivitäten am Beispiel der psychosozialen Online-Beratung. In: Androutsopoulos, Jannis/Busch, Florian (Hrsg.). Register des Graphischen. Variation, Interaktion und Reflexion in der digitalen Schriftlichkeit. Berlin/Boston: De Gruyter, 183–213.

Bateman, John/Wildfeuer, Janina/Hiippala, Tuomo (2017). Multimodality. Foundations, Research and Analysis. A Problem-Oriented Introduction. Berlin/Boston: De Gruyter.

Bateman, John/Tseng, Chiao-I (2023). Linguistik und Multimodalität. Die Integration empirischer, semiotischer und hermeneutischer Methoden durch Triangulation. In: Meiler, Matthias/Siefkes, Martin (Hrsg.). Linguistische Methodenreflexion im Aufbruch. Beiträge zur aktuellen Diskussion im Schnittpunkt von Ethnographie und Digital Humanities, Multimodalität und Mixed Methods. Berlin/Boston: De Gruyter, 79–115.

Bubenhofer, Noah (2020). Visuelle Linguistik. Zur Genese, Funktion und Kategorisierung von Diagrammen in der Sprachwissenschaft. Berlin/Boston: De Gruyter.

Bucholtz, Mary/Hall, Kira (2016). Embodied sociolinguistics. In: Coupland, Nikolas (Hrsg.). Sociolinguistics: Theoretical debates. Cambridge: Cambridge University Press, 173–197.

Bülow, Lars/Merten, Marie-Luis/Johann, Michael (2018). Internet-Memes als Zugang zu multimodalen Konstruktionen. Zeitschrift für Angewandte Linguistik 69, 1–32.

Clark, Andy (2008). Supersizing the Mind: Embodiment, Action, and Cognitive Extension. Embodiment, Action, and Cognitive Extension. Oxford: Oxford University Press.

Deppermann, Arnulf (2015). Pragmatik revisited. In: Eichinger, Ludwig M. (Hrsg.). Sprachwissenschaft im Fokus. Positionsbestimmungen und Perspektiven. Berlin/Boston: De Gruyter, 323–352.

Deppermann, Arnulf (2018). Sprache in der multimodalen Interaktion. In: Deppermann, Arnulf/Reineke, Silke (Hrsg.). Sprache im kommunikativen, interaktiven und kulturellen Kontext. Berlin/Boston: De Gruyter, 51–85.

Feilke, Helmuth (2015). Sprachsystem und Sprachgebrauch. In: Felder, Ekkehard/Gardt, Andreas (Hrsg.). Handbuch Sprache und Wissen. Berlin/Boston: De Gruyter, 81–105.

Forceville, Charles J. (2016). Pictorial and Multimodal Metaphor. In: Klug, Nina-Maria/Stöckl, Hartmut (Hrsg.). Handbuch Sprache im multimodalen Kontext. Berlin/Boston: De Gruyter, 241–260.

Fricke, Ellen (2012). Grammatik multimodal: Wie Wörter und Gesten zusammenwirken. Berlin/New York: De Gruyter.

Fritz, Gerd (2013). Dynamische Texttheorie. Gießen: Gießener Elektronische Bibliothek.

Hausendorf, Heiko/Kesselheim, Wolfgang/Kato, Hiloko/Breitholz, Martina (2017). Textkommunikation. Ein textlinguistischer Neuansatz zur Theorie und Empirie der Kommunikation mit und durch Schrift. Berlin/Boston: De Gruyter.

Huang, Lihe (2022). Toward Multimodal Pragmatics. A Study of Illocutionary Force in Chinese Situated Discourse. London: Routledge.

Jewitt, Carey (2014a). Multimodal approaches. In: Norris, Sigrid/Maier, Carmen Daniela (Hrsg.). Interactions, Images and Texts. A Reader in Multimodality. Berlin/Boston: De Gruyter, 127–136.

Jewitt, Carey (Hrsg.) (2014b). The Routledge handbook of multimodal analysis. London/New York: Routledge.

Jewitt, Carey (2016). Multimodal analysis. In: Georgakopoulou, Alexandra/Spilioti, Tereza (Hrsg.). Handbook of language and digital communication. Abingdon: Routledge, 69–84.

König, Katharina (2019). Stance taking with ‘laugh’ particles and emojis – Sequential and functional patterns of ‘laughter’ in a corpus of German WhatsApp chats. Journal of Pragmatics 142, 156–170.

König, Katharina (2021). Text- und Audio-Postings in der mobilen Messenger-Kommunikation – Vergleichende Perspektiven auf transmodale Kommunikation. In: Tienken, Susanne/Hauser, Stefan/Lenk, Hartmut/Luginbühl, Martin (Hrsg.). Methoden kontrastiver Medienlinguistik. Bern: Peter Lang, 147–162.

Kotthoff, Helga (2018). Humor in der Pragmatik. In: Liedtke, Frank/Tuchen, Astrid (Hrsg.). Handbuch Pragmatik. Stuttgart: J.B. Metzler, 302–311.

Kress, Gunther (2010). Multimodality: A social semiotic approach to contemporary communication. London/New York: Routledge.

Kress, Gunther/van Leeuwen, Theo (1996). Reading images: The grammar of visual design. London/New York: Routledge.

Klug, Nina-Maria (2016). Multimodale Text- und Diskurssemantik. In: Klug, Nina-Maria/Stöckl, Hartmut (Hrsg.). Handbuch Sprache im multimodalen Kontext. Berlin/Boston: De Gruyter, 165–189.

Klug, Nina-Maria/Stöckl, Hartmut (2016). Einleitung. In: Klug, Nina-Maria/Stöckl, Hartmut (Hrsg.). Handbuch Sprache im multimodalen Kontext. Berlin/Boston: De Gruyter, VII–XIII.

Marx, Konstanze/Weidacher, Georg (2020). Internetlinguistik. Ein Lehr- und Arbeitsbuch. 2. aktualisierte und durchgesehene Auflage. Tübingen: Narr.

Meier, Stefan (2016). Websites als multimodale digitale Texte. In: Klug, Nina-Maria/Stöckl, Hartmut (Hrsg.). Handbuch Sprache im multimodalen Kontext. Berlin/Boston: De Gruyter, 410–436.

Merten, Marie-Luis (2022). Ritualisierte Anschlusskommunikation auf Instagram. Formelhafte Komplimente und ihre Erwiderung als verdichtete Online-Interaktion. Deutsche Sprache 50 (4), 309–334.

Meyer, Christian (2013). Ethnography: Body, communication, and cultural practices. In: Müller, Cornelia/Cienki, Alan/Fricke, Ellen/Ladewig, Silva/McNeill, David/Tessendorf, Sedinha (Hrsg.). Body – Language – Communication. An International Handbook on Multimodality in Human Interaction. Band 1. Berlin/Boston: De Gruyter, 202–217.

Mondada, Lorenza (2013). Multimodal interaction. In: Müller, Cornelia/Cienki, Alan/Fricke, Ellen/Ladewig, Silva/McNeill, David/Teßendorf, Sedinha (Hrsg.). Body – language – communication: An international handbook on multimodality in human interaction. Berlin/Boston: De Gruyter, 577–589.

Mondada, Lorenza (2016). Challenges of multimodality: Language and the body in social interaction. Journal of Sociolinguistics 20 (2), 2–32.

Mondada, Lorenza (2018). Multiple temporalities of language and body in interaction: Challenges for transcribing multimodality. Research on Language and Social Interaction 51 (1), 85–106.

Müller, Cornelia/Cienki, Alan/Fricke, Ellen/Ladewig, Silva/McNeill, David/Tessendorf, Sedinha (Hrsg.) (2013). Body – Language – Communication. An International Handbook on Multimodality in Human Interaction. Band 1. Berlin/Boston: De Gruyter.

Norris, Sigrid (2004). Analyzing Multimodal Interaction: A Methodological Framework. London: Routledge.

Norris, Sigrid (2019). Systematically Working with Multimodal Data: Research Methods in Multimodal Discourse Analysis. Hoboken/Chichester: Wiley.

O’Halloran, Kay L. (Hrsg.) (2004). Multimodal Discourse Analysis. London: Continuum.

O’Halloran, Kay L./Tan, Sabine/K. L. E, Marissa (2014). Multimodal pragmatics. In: Schneider, Klaus P./Barron, Anne (Hrsg.). Pragmatics of Discourse. Berlin/Boston: De Gruyter, 239–268.

O’Keeffe, Anne/Clancy, Brian/Adolphs, Svenja (2011). Introducing Pragmatics in Use. Abingdon/New York: Routledge.

Ortner, Heike (2023). Sprache – Bewegung – Instruktion. Multimodales Anleiten in Texten, audiovisuellen Medien und direkter Interaktion. Berlin/Boston: De Gruyter.

O’Toole, Michael (1994). The Language of Displayed Art. London: Leicester University Press.

Pappert, Steffen (2017). Zu kommunikativen Funktionen von Emojis in der Whats-App-Kommunikation. In: Beißwenger, Michael (Hrsg.). Empirische Erforschung internetbasierter Kommunikation. Berlin/Boston: De Gruyter, 175–211.

Reckwitz, Andreas (2014). Die Materialisierung der Kultur. In: Elias, Friederike/Franz, Albrecht/Murmann, Henning/Weiser, Ulrich Wilhelm (Hrsg.). Praxeologie. Beiträge zur interdisziplinären Reichweite praxistheoretischer Ansätze in den Geistes- und Sozialwissenschaften. Berlin/Boston: De Gruyter, 13–25.

Rühlemann, Christoph (2019). Corpus Linguistics for Pragmatics. London: Routledge.

Schoonjans, Steven (2018). Modalpartikeln als multimodale Konstruktionen. Eine korpusbasierte Kookkurrenzanalyse von Modalpartikeln und Gestik im Deutschen. Berlin/Boston: De Gruyter.

Schwarz-Friesel, Monika (2012). Ironie als indirekter expressiver Sprechakt: Zur Funktion emotionsbasierter Implikaturen bei kognitiver Simulation. In: Bachmann-Stein, Andrea/Merten, Stephan/Roth, Christine (Hrsg.). Perspektiven auf Wort, Satz und Text. Trier: Wissenschaftlicher Verlag Trier, 223–232.

Spieß, Constanze (2016). Metapher als multimodales kognitives Funktionsprinzip. In: Klug, Nina-Maria/Stöckl, Hartmut (Hrsg.). Handbuch Sprache im multimodalen Kontext. Berlin/Boston: De Gruyter, 75–98.

Stöckl, Hartmut (2016). Multimodalität – Semiotische und textlinguistische Grundlagen. In: Klug, Nina-Maria/Stöckl, Hartmut (Hrsg.). Handbuch Sprache im multimodalen Kontext. Berlin/Boston: De Gruyter, 3–35.

Stöckl, Hartmut (2020). Linguistic Multimodality – Multimodal Linguistics: A State-of-the-Art Sketch. In: Wildfeuer, Janina/Pflaeging, Jana/Bateman, John/Seizov, Ognyan/Tseng, Chiao-I (Hrsg.). Multimodality. Disciplinary Thoughts and the Challenge of Diversity. Berlin/Boston: De Gruyter, 41–68.

Stöckl, Hartmut/Caple, Helen/Pflaeging, Jana (Hrsg.) (2020). Shifts toward image-centricity in contemporary multimodal practices. New York/London: Routledge.

Stukenbrock, Anja (2021). Mit Blick auf die Geste – multimodale Verfestigungen in der Interaktion. In: Weidner, Beate/König, Katharina/Imo, Wolfgang/Wegner, Lars (Hrsg.). Verfestigungen in der Interaktion. Konstruktionen, sequenzielle Muster, kommunikative Gattungen. Berlin/Boston: De Gruyter, 231–261.

Wildfeuer, Janina/Bateman, John A./Hiippala, Tuomo (2020). Multimodalität: Grundlagen, Forschung und Analyse. Eine problemorientierte Einführung. Berlin/Boston: De Gruyter.

Ziem, Alexander (2017). Do we really need a Multimodal Construction Grammar? Linguistics Vanguard 3 (1), 1–9.

Zima, Elisabeth/Brône, Geert (2015). Cognitive Linguistics and interactional discourse. Time to enter into dialogue. Language and Cognition 7 (4), 485–498.

Zima, Elisabeth/Bergs, Alexander (2017). Multimodality and construction grammar. Linguistics Vanguard 3 (1), 1–9.

1Den Terminus „Canvas“ fassen Wildfeuer et al. (2020: 103 f.) in Bezug auf die lokale Dimension folgendermaßen: „Ganz ähnlich verallgemeinern wir alle möglichen Träger von bedeutungsvollen Regelmäßigkeiten mit dem Begriff ‚Canvas‘ (und hier lehnen wir uns sehr stark an die englische Version dieser Einführung an, siehe Bateman et al. 2017). Mit Canvas beschreiben wir sowohl reelle als auch virtuelle Umgebungen, Orte oder Flächen (siehe auch die deutsche Übersetzung von ‚canvas‘ als Leinwand), in bzw. auf die die jeweiligen materiellen Regelmäßigkeiten ‚geschrieben‘ oder eingetragen sein können. Ganz gleich, ob der jeweilige Canvas real und unmittelbar greifbar oder virtuell (digital) ist, ob er händisch oder mit technologischer Unterstützung hergestellt wurde, physikalisch in der Zeit dargeboten wird oder aber Ergebnis eines anderen komplexen technologischen Prozesses ist: Die materiellen Regelmäßigkeiten werden über diesen Canvas wahrgenommen und interpretiert.“

2Die Dingwelt kann „nicht nur als Sphäre von Gebrauchsobjekten […], sondern auch als konstitutive Voraussetzung für soziale Praktiken“ (Reckwitz 2014: 18) betrachtet werden.

Negation multimodal

Rede und Geste, Schrift und Bild

Ellen Fricke

Abstract: This article aims to illustrate how the classical linguistic domain of negation (Blühdorn 2012; Jacobs 1991; Jespersen 1917) can be connected with a comprehensive multimodal perspective (Fricke 2012, 2021a). It explores the interaction between gesture and speech, as well as text and image, within the realm of negation. The article addresses the following key questions:

1. How do gesture and speech, and writing and image, interact when expressing negation? 2. To what extent can gestures or pictorial signs function as independent negation markers? 3. Can we observe processes of multimodal grammaticalization in this context? 4. What similarities and differences can be identified between gesture-speech and text-image relations?

Through the analysis of examples, five hypotheses are developed, providing a foundation for further investigations. In particular, this study argues that (1) both gestural and pictorial (proto-)negators can be derived from physical actions of removing objects, and (2) the specific manifestation and grammaticalization of multimodal negation are influenced by the medium or modality used.

Keywords: negation, multimodality, grammaticalization, gesture, image, semiotics, pragmatics, multimodal grammar, mediality, language acquisition, Jespersen cycle, co-speech gestures, emblems, intentionality, intensional logic

1Einführung

Ziel des vorliegenden Beitrags1 ist es, exemplarisch zu zeigen, wie man einen klassischen linguistischen Gegenstandsbereich wie die Negation (z. B. Blühdorn 2012; Dahl 2010; Deppermann/Blühdorn 2013; Jacobs 1991; Jespersen 1917) multimodal perspektivieren kann (Fricke 2012, 2021a). Im Zentrum stehen dabei die folgenden Fragen: 1. Wie wirken im Bereich der Negation Geste und Rede sowie Schrift2 und Bild zusammen? 2. Inwieweit können gestische oder bildliche Zeichen allein als Negationsträger fungieren? 3. Inwieweit lassen sich Prozesse einer multimodalen Grammatikalisierung beobachten? 4. Welche Gemeinsamkeiten und Unterschiede lassen sich für Geste-Rede- und Schrift-Bild-Relationen herausarbeiten? Im Rahmen qualitativer Analysen von ausgewählten Einzelbeispielen, die explorativ in einen Zusammenhang gebracht werden, wird eine Gruppierung von fünf Leithypothesen herausgearbeitet, die weiterführenden Untersuchungen zugrunde gelegt werden kann, beispielsweise in den Bereichen Deixis und Negation, Negation und Metonymie, Negation und interkultureller sowie technologischer Kontext (siehe die Ausführungen zum Forschungsausblick in Abschnitt 6).

Untersucht man sprachliche Äußerungen an der Schnittstelle von Pragmatik und Grammatik unter dem Aspekt ihrer Medialität und Materialität (im Sinne von Zeichenmaterie nach Hjelmslev), dann stellt sich die grundlegende Frage nach der Reichweite und grundsätzlichen Leistungsfähigkeit von Analysekategorien im Hinblick auf die vorliegende Zeichenmaterie: Sind Konzepte wie z. B. Modifikation (Fricke 2012, 2021a) oder Determination (Hjelmslev 1969 [= 1943]) zeichenmaterieneutral, so der bereits von Hjelmslev formulierte Grundgedanke, dann sind sie grundsätzlich für beliebige Modalitäten adaptierbar und stellen ein potentielles tertium comparationis für die Analyse bereit. Im Falle der Negation und der damit verbundenen Negationsoperatoren scheint es sich auf den ersten Blick um solch ein zeichenmaterieneutrales Konzept zu handeln, welches überdies universal ist: „Wenn es irgendein semantisches Universal gibt, das heißt ein Phänomen, das in allen Sprachen auftritt, dann ist es die Negation. Jede Sprache hat grammatische und/oder lexikalische Mittel, um einen gegebenen Satz zu negieren.“ (Löbner 2003: 286). Wenn man im Hinblick auf die Analysekategorien jedoch zusätzlich spezifische mediale Eigenschaften der beteiligten Modalitäten berücksichtigt wie z. B. unterschiedliche Sinnesmodalitäten (auditiv vs. visuell) sowie ihre unterschiedlichen Konventionalisierungs- und Lexikalisierungsstufen (z. B. redebegleitende Gesten oder gewisse visuelle Durchstreichungen als zwar typisierte aber nur partiell konventionalisierte Einheiten), „dann stellt sich die Frage, welche Rolle solche spezifischen Kategorien im Kontext einer multimodalen Sprachbeschreibung spielen können und sollen und in welches Verhältnis sie zu zeichenmaterieneutralen abstrakten Kategorien zu setzen sind“ (Fricke/Mittelberg 2019: 321).

Beginnen wir zunächst mit den multimodalen Geste-Rede-Relationen: Warum ist die Beteiligung des Körpers, warum sind Hand- und Kopfbewegungen für das Thema Negation und Verneinung (Jacobs 1991, zur terminologischen Abgrenzung siehe Abschnitt 3) relevant? Zwei bekannte Aspekte sind hier zentral (siehe z. B. Calbris 2011; Bressem/Müller 2014; Fricke et al. 2014; Kendon 2004; Harrison 2009a, 2018): Erstens die Beobachtung, dass Körperbewegungen verbale Negationsträger in lautsprachlichen Äußerungen ersetzen können, und zweitens die Annahme, dass die Form von Negationsträgern aus körperlichen Handlungen abgeleitet werden kann. Wir gehen zunächst auf den ersten Aspekt ein.

Auf die Frage: Hast du das Buch aus der Bibliothek abgeholt? können wir mit einem laut vernehmlichen verbalen nein antworten oder aber auch mit einem stummen verneinenden Kopfschütteln als Äquivalent zur Satznegation. Daraus folgt: Eine Untersuchung von Negation und Verneinung in der gesprochenen Sprache darf potentielle nonverbale Negatoren nicht von vornherein aus dem Gegenstandsbereich der Sprachwissenschaft ausschließen. Sollten der Sprecher oder die Sprecherin aus bestimmten Regionen des südeuropäischen Raums, wie Süditalien, Griechenland oder der Türkei kommen, wird ihre Kopfbewegung allerdings kein Kopfschütteln auf der horizontalen Links-Rechts-Achse sein, sondern ein Nachhintenwerfen des Kopfes in den Nacken auf der vertikalen Oben-Unten-Achse. Derjenigen Achse, die wir Zentraleuropäer für die Zustimmung oder Bejahung verwenden (Morris et. al. 1979: 154 f.). Solche einzelsprachübergreifenden Unterschiede bieten ein weites Feld für die Untersuchung potentieller interkultureller Missverständnisse im Bereich der multimodalen Negation und Verneinung.

Eine ähnliche Beobachtung lässt sich auch für die geschriebene Sprache anstellen. Auch hier stellt sich die Frage (z. B. Oversteegen/Schilperoord 2014): Warum sind bildliche Durchstreichungen für das Thema Negation und Verneinung relevant? Auch in diesem Fall sind wiederum die zwei bereits für Gesten genannten Aspekte zentral: Erstens die Beobachtung, dass Durchstreichungen funktional äquivalent zu verbalen Negationsträgern in lautsprachlichen Äußerungen sein können, und zweitens die Annahme, dass die Form von bildlichen Negationsträgern ebenfalls aus körperlichen Handlungen abgeleitet werden kann. Zum ersten Punkt ein Beispiel:

DER SPIEGEL 38/2011

DER SPIEGEL 14/2010

Abb. 1 und 2: Der lexikalische Negationsträger un- ohne und mit Durchstreichung: Der Unbelehrbare und Der Unfehlbare, Spiegeltitel vom 10.09.2011 und 03.04.2010

Abb. 1 und 2 zeigen zwei Titel des Magazin DER SPIEGEL mit dem damaligen Papst Benedikt. Beide Überschriften enthalten substantivierte Adjektive ((der) Unbelehrbare, (der) Unfehlbare), in denen durch das kategorienerhaltende Negationspräfix un- die jeweilige adjektivische Stammgruppe modifiziert wird. Auf dem Spiegeltitelbild rechts ist jedoch nicht nur der verbale lexikalische Negationsträger, das Präfix un- an der Negation im engeren Sinn beteiligt, sondern auch die Durchstreichung, die hier als Äquivalent eines verbalen Negationsoperators fungiert. Dem damaligen Papst Benedikt, der bis zur Taille mit ausgestreckten Armen auf dem Spiegeltitel abgebildet ist, wird die Eigenschaft der Unfehlbarkeit abgesprochen. Verbal wäre der Titel zu paraphrasieren als Der nicht Unfehlbare. Die Durchstreichung, so meine These, fungiert in diesem Beispiel zumindest näherungsweise als Äquivalent eines verbalen Negationsoperators.3

Die folgenden Beispiele sind einer arbeitswissenschaftlichen Studie des interdisziplinären Forschungsprojekts MANUACT entnommen (www.manuact.org). Es geht um die Gestaltung von 3D-Schnittstellen mithilfe von Gestensteuerung. Der jeweilige Proband hat die Aufgabe eine manuelle Geste zu wählen, die in der Lage ist zu signalisieren, dass der auf dem Bildschirm links dargebotenen Zustand mit einem abstrakten geometrischen Dreieck in den rechts dargebotenen Zustand eines leeren Bildschirms überführt werden soll. Es geht also um das Entfernen oder Löschen von Objekten. Der in den Abb. 3 und 4 gezeigte Proband ahmt mit seinen Händen spontan die Handlung eines piktorialen Durchstreichens nach. Weitere Gesten, die in diesem Zusammenhang für Löschen bzw. Entfernen aufgetreten sind, waren Wegwerfen und Wegschieben, die zu einer Gestenfamilie rekurrenter Gesten gehören, auf die in Abschnitt 4.1 unten noch eingegangen wird. Ihre Gemeinsamkeit ist, dass Objekte vom Körper wegbewegt oder weggehalten werden (Bressem/Müller 2014; Fricke et al. 2014).

Abb. 3 a, b: MANUACT-Studie: Gestische Nachahmung der Handlung des Durchstreichens (Vorder- und Rückansicht in Phase 1) (www.manuact.org)

Abb. 4 a, b: MANUACT-Studie: Gestische Nachahmung der Handlung des Durchstreichens (Vorder- und Rückansicht in Phase 2) (www.manuact.org)

Ein Durchstreichen tritt auch in anderen Kontexten auf wie etwa in konventionalisierter Form bei Verbotsschildern ohne zusätzlichen Begleittext. Dasjenige, was einem untersagt wird zu tun, wird metonymisch durch ein Objekt repräsentiert, welches durchgestrichen ist. Verbotsschilder können jedoch auch gänzlich ohne Objekt auftreten, und zwar mit einfacher oder doppelter Unterstreichung wie etwa bei den Schildern für Parkverbot und absolutes Halteverbot. Die doppelte Durchstreichung hat in diesem Fall eine zusätzliche Intensivierungsfunktion: Denn bei einem Parkverbot (eine Durchstreichung) ist ein Halten (hingegen doppelte Durchstreichung für Verbot) noch erlaubt.

Allein wenn wir diese wenigen Beispiele betrachten, stoßen wir auf einige auffällige Parallelen bei Geste-Rede- und Schrift-Bild-Relationen. Es geht erstens in beiden Bereichen um das Entfernen eines Objekts, das aus einer körperlichen Basishandlung ableitbar ist. Bei den Schrift-Bild-Relationen ist es die Handlung des Durchstreichens oder Überschreibens. Zweitens können in beiden Bereichen verbale Negationsträger ersetzt werden: auf der gestischen Ebene z. B. durch das Kopfschütteln, auf der bildlichen Ebene durch eine Durchstreichung. Diese Parallelen führen in den folgenden Abschnitten zu der grundlegenden Frage, inwieweit für Geste-Rede- und Schrift-Bild-Relationen eine gemeinsame konzeptuelle Basis angenommen werden kann, die jeweils medial unterschiedlich ausdifferenziert wird.

2Multimodalität: Definition und Beispiel

Der entscheidende Grundgedanke der sprachwissenschaftlichen Multimodalitätsforschung lässt sich mit dem folgenden Zitat von Kenneth Pike auf den Punkt bringen: „Verbal and nonverbal activity is a unified whole, and theory and methodology should be organized or created to treat it as such“ (Pike 1967: 26). Etwas technischer ist die folgende Definition aus Fricke (2012), die an Pike (1967), Hjelmslev (1969 [= 1943]) und Kendon (1980) anknüpft: „Sind zwei sprachliche Medien simultan in denselben Kode strukturell und/oder funktional integriert oder manifestiert sich umgekehrt ein Kode in unterschiedlichen Medien, dann liegt Multimodalität vor.“ (Fricke 2012: 46) Beide Aspekte, Prozesse der Kodemanifestation und der Kodeintegration (Fricke 2012, 2021a) finden wir auch im Bereich der multimodalen Negation.

Ich möchte zunächst mit einem konkreten Beispiel (siehe die Standbilder in Abb. 5 und 6) fortfahren, welches das Zusammenwirken von Lautsprache und Gestik im Bereich der Negation und Deixis illustriert (Fricke 2007: 270, 2021b: 135).

(1)

B:

1[wenn HIERdas Gewässer iss\ (.) {(.)}

A:

{hm} (.)

B:

2[und DA das Haus\ (.)

A:

nein3[nein HIER iss das Gewässer4[und DA iss das Haus\ (..)

B:

das verSTEH ich nich\ ]4]3 (..)]2] 1

Abb. 5: Deixis und Negation in Beschreibung des Potsdamer Platzes (Gesten 1 (rh) und 2 (lh)) (Fricke 2007: 270)

Abb. 6: Deixis und Negation in Beschreibung des Potsdamer Platzes (zusätzlich Geste 3 (lh)) (Fricke 2007: 270)

Es handelt sich um eine Wegbeschreibung eines Parcours am Potsdamer Platz, die in einem Büro der TU Berlin aufgezeichnet wurde. Person A ist zuvor mit der Versuchsleiterin einen festgelegten Weg am Potsdamer Platz in Berlin entlang gegangen und hatte die Aufgabe, diesen Weg einer Person aus Probandengruppe B so genau zu beschreiben, dass diese sich in die Lage versetzt sieht, diesen Weg wiederum einer Person aus Probandengruppe C so genau zu beschreiben, dass diese den Weg eigenständig finden und den gesamten Parcours vom Anfangspunkt bis Endpunkt erfolgreich begehen kann (siehe Fricke 2007). Nicht nur an der TU Berlin, sondern auch am Potsdamer Platz selbst wurden Wegbeschreibungen aufgezeichnet und damit die Zugänglichkeit der beschriebenen Situation für die Probanden variiert. Um unter diesen veränderten Kontextbedingungen den Potsdamer Platz zu veranschaulichen und zu vergegenwärtigen, werden in Abwesenheit der beschriebenen Situation durch die beteiligten Probanden multimodal – d. h. gestisch und lautsprachlich –, und zwar in der Interaktion selbst, flüchtige Modelle des abwesenden Potsdamer Platzes erzeugt, die einem dreidimensionalen Umraum, einem zweidimensionalen Bildschirm mit einer gewissen Tiefendimension oder einer primär zweidimensionalen Karte in Draufsicht gleichen können (Fricke 2007, 2022). Im vorliegenden Beispiel handelt es sich um eine zweidimensionale kartenähnliche Repräsentation.

Interessant ist nun an diesem speziellen Beispiel, dass Sprecherin A und Adressatin B mittels Negation und Deixis zeitlich simultan zwei einander widersprechende räumliche Repräsentationen des Potsdamer Platzes erzeugen. In dem Raum von Adressatin B repräsentiert die rechte Hand von B das Hier des Gewässers, in dem anderen Raum von Sprecherin A wird das Hier durch die linke Hand von A repräsentiert. Beide Varianten schließen einander aus. Wie wirken Negation und Deixis in Beispiel (1) zusammen?

Für eine eindeutige Lokalisierung der Entitäten Gewässer und Haus in den jeweiligen kartenähnlichen Repräsentationen ist das Vorliegen von Zeigegesten bzw. einer zeigenden Komponente in der verwendeten Geste eine notwendige Bedingung (Fricke 2014). Und nicht nur das: Zeigegesten können darüber hinaus auch eine notwendige Bedingung für den angemessenen Gebrauch von verbalen Negationsträgern darstellen. Nur unter der Voraussetzung, dass das vom jeweiligen Sprecher intendierte Referenzobjekt erfolgreich identifiziert wurde, kann dessen Aussage überhaupt mittels Negation bestritten werden, wie etwa in Beispiel (1) unter Verwendung des syntaktischen Negationsträgers nein. Die hinweisenden Gesten mit der flachen Hand, die in der vorliegenden Äußerung obligatorisch sind, repräsentieren und lokalisieren zugleich die Entitäten Haus und Gewässer und sind funktional in den vorliegenden Matrixkode des Deutschen integriert (Kodeintegration, Fricke 2012, 2021a). Gleichzeitig illustriert das Beispiel den Fall einer Kodemanifestation (Fricke 2012, 2021a, b): Durch die Verwendung von Negatoren wird der simultane Aufbau zweier unterschiedlicher mentaler Repräsentationen induziert (Kaup et al. 2006). Etwas ist der Fall in der einen Repräsentation und nicht der Fall in der anderen Repräsentation. Beide Repräsentationen widersprechen sich. Diese während des Sprechens aufgebauten mentalen Repräsentationen manifestieren sich in unserem Beispiel multimodal, d. h. sie werden zusätzlich gestisch verkörpert und visualisiert und dadurch intersubjektiv verfügbar gemacht (Fricke 2021a, b). Gesten mit eindeutiger Negationsfunktion wie z. B. das Kopfschütteln, auf die wir uns zunächst im Folgenden konzentrieren werden, sind folglich nur eine Teilklasse der für den Phänomenbereich der multimodalen Negation relevanten Gesten.4

Bei den Gesten, die wir in Beispiel (1) betrachtet haben, handelt es sich um redebegleitende Gesten. Sie sind auf dem sog. „Kendonschen Kontinuum der Gebärden“ (McNeill 1992) oder allgemein Gestenkontinuum ganz links angeordnet und bilden den linken Pol mit der geringsten Ausprägung sprachlicher Eigenschaften. Den rechten Pol mit der maximalen Ausprägung sprachlicher Eigenschaften bilden hingegen die Gebärdensprachen der Gehörlosen. Letztere zeigen, dass Handbewegungen allein – auch unabhängig von der Lautsprache – als vollwertige sprachliche Artikulatoren fungieren können. Eine Mittelstellung nehmen die emblematischen Gesten ein, wie z. B. die sog. Victory-Geste oder die Geste für Stopp, die wir in Abschnitt 4.1 noch behandeln werden. Solche Gesten sind durch stabile Form-Inhaltsbeziehungen gekennzeichnet, ähneln also Wörtern und können daher auch in gestischen Lexika aufgeführt werden.

Eine zentrale Annahme der Erforschung redebegleitender Gesten – also derjenigen Körperbewegungen, die man beobachten kann, wenn man spricht – ist: Geste und Rede sind Bestandteil desselben Äußerungsprozesses. Oder anders formuliert: Gesten sind wie die Rede sprachlich. Es gibt nur einen einzigen Kode, der sich in zwei unterschiedlichen Sinnesmodalitäten, der visuellen und der auditiven, manifestiert. Diese Annahme geht auf Adam Kendon (1980) zurück und wurde später von David McNeill (1985, 1992) übernommen, und zwar in expliziter Abgrenzung zur allgemeinen und undifferenzierten Zuordnung von Gesten in die Kategorie der nonverbalen Kommunikation.5 Der in diesem Kontext verwendet Begriff der Multimodalität ist also an den Begriff der Sinnesmodalität gebunden.

Demgegenüber geht die neuere bild- und textlinguistische Forschung davon aus, so z. B. Hartmut Stöckl (Stöckl 2004a, b; Klug/Stöckl 2016; siehe auch Bateman et al. 2017; Bateman 2018; Kress 2014), dass an der Konstituierung von Texten unterschiedliche semiotische Ressourcen, wie sie von Kress und van Leeuwen (2001: 21) genannt werden, beteiligt sind. Der Begriff der Multimodalität ist also hier an einen kodebezogenen Medienbegriff gebunden. Multimodalität wird verstanden als das Zusammenwirken unterschiedlicher Kodes – wie etwa der geschriebenen Sprache und des Bildes – die auch derselben Sinnesmodalität angehören können. Dementsprechend wird in Fricke (2012, 2015) zwischen Multimodalität im engeren und weiteren Sinn unterschieden: 1. Multimodalität im engeren Sinn liegt vor, wenn mindestens zwei unterschiedliche Sinnesmodalitäten und Kodierungsmedien (z. B. Geste und Rede) vorhanden sind. 2. Multimodalität im weiteren Sinn liegt vor, wenn zwei (oder mehr) kodebezogene Medien derselben Sinnesmodalität (z. B. Schrift und Bild) angehören. Die Charakterisierung von Multimodalität, die ich meinen weiteren Ausführungen zugrunde lege, nimmt also Bezug auf beide Traditionen der Multimodalitätsforschung und hebt wie oben bereits erwähnt die Aspekte sowohl einer Kodemanifestation als auch einer strukturellen und/oder funktionalen Integration in ein und denselben Matrixkode hervor.

In dem folgenden Schaubild in Abb. 7 sind verschiedene sprachliche Ebenen in einer Übersicht zusammengefasst, für uns relevant sind insbesondere die gestrichelt umrahmten Bereiche der Multimodalität in Bezug auf Geste-Rede-Relationen und Schrift-Bild-Relationen.

Abb. 7: Sprachliche Medien und sprachliche Multimodalität (erweitertes Schema basierend auf Fricke 2012: 44)

Durch eine multimodale Perspektive und die Einbeziehung von Gesten und Bildern stellen sich Fragen, was unter grundlegenden sprachwissenschaftlichen Kategorien wie der Negation und Verneinung zu verstehen ist, noch einmal neu (Fricke 2015: 73).

3Linguistische Grundlagen der Negation

Wenn wir Negation als spezifisch sprachwissenschaftlichen Gegenstand bestimmen wollen, dann finden wir unterschiedliche Ansätze, die sich nach Blühdorn (2012: 24–30) unter drei wesentliche Begriffsbestimmungen subsumieren lassen: 1. die logisch-semantische Bestimmung als Operation über Wahrheitswerte, 2. die pragmalinguistische Bestimmung, die Negation als Handlung versteht und 3. die morphosyntaktische Bestimmung als Verwendung von Negationsausdrücken (z. B. nicht oder un-).

Die Phänomenbereiche dieser Bestimmungen stimmen zwar in weiten Teilen überein, sind aber nicht deckungsgleich.6 Allen drei Bestimmungen ist jedoch gemeinsam, dass man grundlegend zwei Bereiche unterscheiden muss: einen Bereich, in dem etwas der Fall ist, und einen Bereich, in dem etwas nicht der Fall ist. Die kognitive Linguistik spricht von unterschiedlichen Mental Spaces (Fauconnier 1985, 1997; Sweetser 2006; Fauconnier/Turner 2002), wobei negierte Sachverhalte immer auch das entsprechende Pendant aktivieren (für einen Überblick siehe Fricke 2021b). Diese Annahme wird unterstützt durch experimentelle Befunde aus der kognitiven Psychologie. Betrachten wir die folgenden Beispiele (Kaup et al. 2006: 1043):

(2)Die Tür war nicht offen.

(3)Die Tür war geschlossen.

Obwohl beide Sätze dieselben Wahrheitsbedingungen aufweisen, werden sie beim Textverstehen dennoch unterschiedlich verarbeitet. Bei der negierten Variante in Beispiel (2) werden sowohl die offene als auch die geschlossene Tür mental repräsentiert, hingegen in Beispiel (3) ohne Negationsträger lediglich die geschlossene Tür (Kaup et al. 2006).

Ein Beispiel für Schrift-Bild-Beziehungen in der bildenden Kunst ist Magrittes Ölbild „La trahison des images“ in Abb. 8 (siehe die Analyse zu ontologie- und zeichenbasierten Mental Spaces in Fricke 2021b: 128). Worin besteht nach Magritte der sog. „Verrat“ der Bilder? Die sehr realistisch wiedergegebene Pfeife in diesem Ölbild wird begleitet durch den französischen Schriftzug Ceci nʼest pas une pipe [Dies ist keine Pfeife], der längs am unteren Bildrand positioniert ist. In welchem Verhältnis stehen nun der Text des Schriftzugs, die Abbildung einer Pfeife und die abgebildete Pfeife als intendiertes Referenzobjekt? Auch wenn die Pfeife sehr realistisch gemalt ist, wird durch die begleitende Äußerung dies ist keine Pfeife verdeutlicht, dass es sich nach Auffassung von Magritte auch bei sehr realistisch gemalten Bildern immer um Zeichen handelt, die als für etwas anderes stehend zu interpretieren sind. Abbildung und abgebildetes Objekt fallen niemals zusammen. Der Verrat der Bilder besteht darin, dass sie lediglich eine Illusion des Realen zu erzeugen vermögen. Magritte lenkt mit dem Schriftzug Ceci nʼest pas une pipe die Aufmerksamkeit des Betrachters auf genau diese Tatsache der genuinen Zeichenhaftigkeit von Bildern allgemein. Dieser Effekt wird durch den Negationsträger ne pas im Schriftzug erzeugt. Es werden kognitiv zwei Bereiche aktiviert: ein Bereich in dem der Satz Ceci nʼest pas une pipe wahr ist und ein Bereich, in dem er falsch ist. Bezogen auf die Abbildung einer Pfeife ist der Satz wahr, lediglich bezogen auf das bezeichnete Objekt wäre er falsch (Fricke 2021b: 128).

Abb. 8: Magritte, La trahison des images, 1929. Courtesy of Centre Pompidou, Paris (siehe auch Fricke 2021b: 128)

Wenn wir uns erneut dem Spiegeltitel mit Papst Benedict in Abb. 2 zuwenden, dann können wir ebenfalls konstatieren, dass bei der Rezeption – induziert durch die piktoriale Durchstreichung des Negationspräfixes un- – parallel zwei Mental Spaces aufgebaut werden: ein Mental Space (M1), in dem der Papst unfehlbar ist, und ein weiterer Mental Space (M2), in dem er nicht unfehlbar ist. Genau diese Form der doppelten Verneinung mit einem zusätzlichen nicht-verbalen Negationsoperator ist nun aber bei redebegleitenden Gesten nicht zu beobachten und führt zu der Frage nach den spezifischen medialen Effekten von gesprochener und geschriebener Sprache bezüglich der grammatischen Negation und pragmatischen Verneinung (Jacobs 1991; siehe Abschnitt 4.2). Eine weitere Frage, der im vorliegenden Artikel allerdings nicht detaillierter nachgegangen wird, ist, ob man es hier nicht mit einer komplexeren Mental-Space-Konfiguration zu tun hat (zu Einbettungsrelationen bei Mental Spaces siehe Fricke (im Druck)). Im vorliegenden Fall wären mit dem Substantiv Unfehlbare über das Negationspräfix un- bereits zwei kontrafaktische Mental Spaces aktiviert M1 ((der) Fehlbare) und M2 ((der) Unfehlbare). Über die Durchstreichung als bildlichen (Proto-)Negationsträger käme entweder eine Reaktivierung (und dadurch Intensivierung) von M1 in Frage oder ein zu M1 und M2 hinzukommender dritter Mental Space M3 (der) (nicht) Unfehlbare) wird aktiviert, in welchem der Papst wiederum analog zu M1 die Eigenschaft besäße, fehlbar zu sein.7

Im Bereich der verbalen Negationsträger wird allgemein zwischen den beiden großen Gruppen der impliziten und expliziten Negationsträger unterschieden. Neben den syntaktischen Negationsträgern wie nicht gibt es im Deutschen auch lexikalische Negationsträger, die an einen Stamm angefügt werden. Der wichtigste dieser Negationsträger ist das Präfix un-, das auch im Beispiel der von uns analysierten Spiegeltitel in Abb. 1 und 2 auftritt. Es wird in der Wortbildung zur Konstruktion von Gegensatzpaaren gebraucht (z. B. absichtlich vs. unabsichtlich, fehlbar vs. unfehlbar). Die Negation kann etwa bei kontradiktorischen Antonymien wie tot vs. lebendig auch implizit bleiben. Man spricht in solchen Fällen von impliziten Negationsträgern (z. B. Helbig/Buscha 2001: 558).

Abb. 9: Durchstreichung als Zerstörungshandlung, DIE ZEIT 19/2011, Illustration: Smetek, Foto: Laif

Abb. 10: Durchstreichung als Zerstörungshandlung, DER SPIEGEL 40/2010

Im Falle der Titel mit Osama Bin Laden in der Wochenzeitung Die Zeit und mit Marilyn Monroe auf dem Spiegeltitel wird auf der verbalen Ebene genau diese kontradiktorische Antonymie tot vs. lebendig aktiviert (siehe Abb. 9 und 10). Osama Bin Laden wurde kurz zuvor von den USA gezielt getötet, worauf im Text explizit hingewiesen wird (Osama bin Laden ist tot) und Marilyn Monroe hat mit einem Nagellackpinsel Negative ihrer Fotos unbrauchbar gemacht und damit zerstört. Eines dieser Negative ist auf dem Spiegeltitel abgebildet, in der Bildüberschrift steht Ich wünschte, ich wäre tot. Wir werden in Abschnitt 4.2 analysieren, wie sich die vorliegenden Durchstreichungen in Relation zu solchen verbalen impliziten Negationsträgern verhalten und in welcher Beziehung sie zu anderen Formen der Durchstreichung stehen.

Ein interessantes Beispiel für den syntaktischen Negationsträger nicht ergibt der Vergleich der beiden Titelbilder des wöchentlich erscheinenden Magazins Der Spiegel (Nr. 52, 2018) und von Tichys Einblick (Nr. 2, 2019), das monatlich erscheint (siehe Abb. 11 und 12). Beide Titel erschienen im Kontext der Relotius-Affäre des Spiegel, wobei Tichys Einblick den Spiegeltitel inklusive Farbgestaltung und Typographie partiell zitiert, so dass der Titel als Zitat in der Auslage für jeden potentiellen Käufer kenntlich ist. Die relativ bekannte Aussage Sagen, was ist wird dem Gründer des Spiegel, Rudolf Augstein, zugeschrieben, der in diesem Satz sein journalistisches Programm für den Spiegel verdichtete. In den Zeilen darunter ist eine kurze Information zur Relotiusaffäre positioniert: In eigener Sache: Wie einer unserer Reporter seine Geschichten fälschte und warum er damit durchkam. Auf dem Titel von Tichys Einblick wird der Aussage des Spiegel widersprochen, indem der syntaktische Negationsträger nicht eingefügt wird. Damit werden zugleich zwei kontrafaktische Mental Spaces aktiviert (siehe die Beispiele mit Papst Benedikt in Abb. 1 und 2). In den beiden Zeilen darunter in geringer Schriftgröße wird kommentiert Warum der Fall Relotius nicht nur für den SPIEGEL symptomatisch ist. Interessant ist nun für unseren Kontext der multimodalen Schrift-Bild-Beziehungen, dass der Negationsträger nicht nicht einfach typographisch in die Aussage Sagen, was nicht ist eingefügt ist, sondern mit schwarzen Buchstaben auf einer weißen, rechteckigen, leicht schrägstehenden Fläche wirkt, als sei die Äußerung Sagen, was ist überklebt worden, wie dies beispielsweise auf Plakaten im öffentlichen Raum vielfach als Praxis anzutreffen ist. Grafisch wird hier eine Art Überschreibung oder Auslöschung in Verbindung mit dem syntaktischen Negationsträger nicht angedeutet.

DER SPIEGEL 52/2018

TICHYS EINBLICK, Nr. 2, 2019

Abb. 11 und 12: Sagen, was, (nicht) ist: Der syntaktische Negationsträger nicht als Negator und zugleich überschreibendes Bildelement als Resultat einer Handlung

Nachdem wir zum Einstieg neben ausgewählten Beispielen aus dem Bereiche der Geste-Rede-Relationen für die großen Gruppen der expliziten (sowohl syntaktisch als auch lexikalisch) und impliziten Negationsträger jeweils ein Beispiel des Zusammenwirkens von Schrift und Bild gebracht haben, wenden wir uns im nächsten Abschnitt beiden Bereichen der multimodalen Negation gesondert zu, und zwar mit dem Schwerpunkt auf den Fragen, ob und inwieweit sich Gesten und bildliche Negationsoperatoren aus Handlungen ableiten lassen und inwieweit eine solche Ableitung ggf. systematisierbar wäre.

4Multimodale Negation

4.1Multimodale Negation I: von der Handlung zur Geste

Die körperliche Basis von Gesten, die im Kontext von Negationen auftreten, lässt sich in der Regel auf eine einfache Handlung zurückführen (siehe z. B. Bressem/Müller 2014; Calbris 1990: 201; Fricke et al. 2014; Bressem et al. 2017; Harrison 2009a, b, 2010, 2018; Kendon 2002, 2004).

Die Annahme, dass Negation körperlich verankert ist und die Form von Negationsträgern aus körperlichen Handlungen abgeleitet werden kann, findet sich schon in Jakobsons Aufsatz „Motor signs for Yes and No“ (1972) sowie zuvor insbesondere in Jespersens berühmter Abhandlung „Negation in English and other Languages“ (1917):

The starting point in all three languages is the old negative ne which I take to be […] a primitive interjection of disgust accompanied by the facial gesture of contracting the muscles of the nose […]. This natural origin will account for the fact that negatives beginning with nasals (n, m) are in many languages outside the Indo-European family. (Jespersen 1917: 6)