Erhalten Sie Zugang zu diesem und mehr als 300000 Büchern ab EUR 5,99 monatlich.
- Herausgeber: hep verlag
- Kategorie: Bildung
- Sprache: Deutsch
Dieses E-Book enthält komplexe Grafiken und Tabellen, welche nur auf E-Readern gut lesbar sind, auf denen sich Bilder vergrössern lassen. Die Digitalisierung hat die schriftliche Kommunikation grundlegend verändert. Texte im Alltag, in Bildung und Beruf sind heute multimodale Konstrukte aus Schrift, Bild und Ton. Der Sammelband führt in den Diskurs zur Multimodalität ein und zeigt in elf Beiträgen, wie Texte in unterschiedlichen Kontexten - z.B. in wissenschaftlichen Arbeiten und Postern, in Nachhaltigkeitsberichten oder in journalistischen Infografiken - als multimodale Kommunikationsereignisse konstruiert und rezipiert werden.
Sie lesen das E-Book in den Legimi-Apps auf:
Seitenzahl: 313
Veröffentlichungsjahr: 2020
Das E-Book (TTS) können Sie hören im Abo „Legimi Premium” in Legimi-Apps auf:
Ähnliche
Gedruckt mit freundlicher Unterstützung des Instituts für Kommunikation und Marketing (IKM) der Hochschule Luzern – Wirtschaft. Gefördert durch den Schweizerischen Nationalfonds.
Dank
Herzlich bedanken wir uns beim Institut für Kommunikation und Marketing (IKM) der HSLU W, das die Konferenz Schrift – Bild – Ton. Schreiben als multimodales Ereignis 2018 in Luzern mitorganisiert und grosszügig finanziell unterstützt hat.
Weiter gilt unser Dank dem Schweizerischen Nationalfonds (SNF), der die Konferenz ebenfalls mit einem substanziellen Betrag unterstützt hat.
Schließlich danken wir Stefan Jörissen und Guillaume Schiltz vom Forum wissenschaftliches Schreiben (FWS) sowie ganz besonders allen Reviewern und Reviewerinnen, welche die Beiträge dieses Bandes in einer Double-Blind-Peer-Review begutachtet haben.
Inhaltsverzeichnis
Schreiben als multimodale Kommunikation – Einführung ins Forschungsfeld und praktische Herausforderungen
Schreiben als multimodale Kommunikation
Mit der Digitalisierung der Gesellschaft haben sich die Bedingungen der Kommunikation radikal verändert. Die paradigmatisch neuen technischen Mittel zur Produktion, Distribution und Rezeption von Botschaften haben unsere Kommunikationsformen ausdifferenziert und vervielfältigt.
Mit dieser Entwicklung einher ging eine Veränderung der Bedingungen des Schreibens: In Schule und Ausbildung, in der Wirtschaft, im Journalismus, generell in unserem Alltag wurden schriftsprachliche Zeichen zunehmend durch visuelle und auditive Zeichen ergänzt und überlagert. Das hat dazu geführt, dass heute für das Verfassen von Botschaften schreiben allein nicht mehr genügt: «Writing», so postuliert der Editorial Designer Francesco Franchi, «is no longer enough» (Franchi 2014).
Die beschriebene Entwicklung lässt sich gut am Beispiel des Printjournalismus illustrieren: Die Tageszeitung hat sich von einem textorientierten zu einem multimodalen Medium entwickelt, die Praxis der Textproduktion zu einer Praxis des Textdesigns, das Text, Typografie, Foto und Grafik zu einem sinnbildenden Ganzen verbindet (vgl. dazu Blum & Bucher 1998, Blum & Blum 2001, Bucher 2002). Mit der Infografik hat sich bereits eine neue, trimodale Textsorte etabliert, die mittels Datenvisualisierung, Grafik und Storytelling Aufmerksamkeit zu wecken und leichte Zugänge zu komplexen Themen zu schaffen vermag (vgl. Bräm & Göldi in diesem Band). Online erscheint die Weiterentwicklung der Infografik als interaktive Grafik, die neue Formen der Text-Leser/-innen-Interaktion ermöglicht.
Die Digitalisierung hat somit zu einer globalen Aufwertung der visuellen Kommunikation geführt und das seit der frühen Neuzeit herrschende Primat der Schrift als «angesehenste[r] Kulturträger» (Schmitz 2010, S. 388) zunehmend in Frage gestellt. Bilder haben den ihnen lange unterstellten Makel der einfachen Unterhaltung abgestreift (vgl. zur historischen Entwicklung des Verhältnisses zwischen Text und Bild Bucher 2002, 2016a, 2016b; Gruber, Drecoll & Leppin 2018; Schmitz 2010; Wenzel 1995).
Schrift und Bild in Opposition zu sehen, griff allerdings schon immer zu kurz. Auch rein schriftliche Texte waren und sind immer auch materielle bzw. visuelle Gebilde – schon die Schrift selbst ist ein «Hybrid zwischen Sprache und Bild» (Krämer 2006, S. 79), was sich besonders deutlich an der piktografischen Basis der frühen Schriften wie etwa der sumerischen Schrift zeigt (Haarmann 2011, S. 36). Sprachgebrauch ist nur in «materialisierter bzw. medialisierter Form» (Klug & Stöckl 2014, S. 242) denkbar, d.h., Sprache muss sich eines Mediums bedienen (Stimme, Papier, Buchdruck, Computer, Smartphone) und zur Bedeutungskonstruktion tragen immer verschiedene Modi bzw. verschiedene semiotische Ressourcen bei (vgl. etwa Stöckl 2006, Cope & Kalantzis 2009, Kress 2010, Chmelik in diesem Band). So kommen in der mündlichen Interaktion nebst verbalen Mitteln immer auch non- und paraverbale semiotische Ressourcen zum Einsatz (vgl. Deppermann 2018, Mondada 2016; vgl. auch Rieder & Schwarze sowie Jörissen in diesem Band). In der schriftlichen Kommunikation sind neben dem verbalen Code der Schrift stets auch deren visuellen Eigenschaften beteiligt. Zu diesen visuellen Eigenschaften zählen insbesondere Schriftart, -farbe und -größe sowie weitere Modi der Textkommunikation wie Layout und die Verknüpfung des schriftlichen Textes mit Bildern (vgl. bspw. Aebi & Frischherz und Chmelik in diesem Band). Ball & Charlton (2015, Kap. 2.4) konstatieren deshalb zu Recht: «All writing is multimodal.»
Neue Anforderungen an die Vermittlung von Schreibkompetenz
Auch wenn Multimodalität demnach kein junges Phänomen ist, hat die Digitalisierung mit ihren technischen Möglichkeiten der Textproduktion und -distribution zu neuen, höheren Anforderungen an Schreibprozesse geführt. Schreibende brauchen heute Fähigkeiten, die über die genuin schriftbezogenen Kompetenzen, wie sie die Schreibdidaktik vermittelt, hinausgehen: Sie müssen Schrift in ein multimodales Ensemble integrieren und verschiedene Designentscheidungen (z.B. Layout, Schriftwahl) treffen. Denn auch die von den Rezipierenden an Texte gestellten Ansprüche und Erwartungen sind gestiegen. Multimodalität, so hält Gunter Kress fest, sei heute «the normal state of human communication» (Kress 2010, S. 1). Entsprechend dringend ist es, Schülerinnen, Schüler und Studierende heute dazu zu befähigen, unter diesen Bedingungen adäquat zu kommunizieren (vgl. z.B. Serafini 2015, Papadopoulou, Goria, Manoli & Pagkourelia 2018).
Vor allem die aktuelle Vermittlung von Schreibkompetenz an Hochschulen muss der multimodalen Kommunikation stärker Rechnung tragen (vgl. dazu etwa den Sammelband Archer & Breuer 2015). Schreiben gilt auch auf der tertiären Bildungsstufe als Schlüsselkompetenz und es muss deshalb gefragt werden, wie fach- und berufsspezifische Schreibkompetenzen im Studium unter den beschriebenen Voraussetzungen effektiv und nachhaltig gefördert werden können.
Gerade die tertiäre Ausbildung hinkt allerdings den neuen Anforderungen an die Vermittlung von Schreibkompetenz noch hinterher (vgl. z.B. Führer 2017, S. 3, 14). Khadka & Lee diagnostizieren für den angelsächsischen Raum «an uneasy gap between theory and practice and between students’ preferred literacy practices and actual instruction in writing classrooms» (2019, S. 3). An unseren (Hoch-)Schulen dürfte diese Kluft nicht weniger unbehaglich sein.
Das ist erstaunlich. Denn im Schriftspracherwerb machen Kinder ihre ersten Begegnungen mit Schrift und Text in multimodalen Kontexten: Beispielsweise erfahren sie im öffentlichen Raum an dreidimensionalen Schriftzügen die Materialität der Schrift und in Bilderbüchern, wie vielfältige Text-Bild-Beziehungen Bedeutungen konstruieren können. Auch das erste Experimentieren mit der Schrift in der präliteralen Phase des frühen Schriftspracherwerbs ist von einer engen Verschränkung von Schrift und Bild geprägt (vgl. dazu Günther 1995, Dehn & Sjölin 1996, Weinhold 2000). Multimodale Lese- und Schreibkompetenz wären also schon im Vorschulalter angebahnt. Dennoch ist der Schreib- und Leseerwerb von der Schrift dominiert. So verschiebt sich etwa der Text-Bild-Anteil der im Unterricht angebotenen Lektüren mit zunehmenden Lesefertigkeiten Richtung Text, parallel dazu fokussiert der traditionelle Schreibunterricht auf die Vermittlung des Schriftsprachsystems, d.h. auf die Prozesse des Verschriftens; die materielle, mediale, modale Verfasstheit der Texte wird im Schulunterricht oft nur noch nachgelagert thematisiert, wenn überhaupt, und visuelles Gestalten wird in ein eigenes Fach ausgelagert. Auf der Sekundär- und vor allem auf der Tertiärstufe wird zwar je nach Schultyp und Studienrichtung Visualisierungskompetenz erwartet und gefordert – so werden etwa Grafiken und Tabellen für die Visualisierung von Forschungsergebnissen, Mindmaps für die Ideenfindung verlangt (vgl. Schmohl in diesem Band) –, aber meist nicht explizit vermittelt (vgl. Kellerhals & Rast in diesem Band).
Für die Vermittlung von adäquater Schreibkompetenz braucht es also einen angepassten Textbegriff, den multimodalen Text, und ein angepasstes Kompetenzmodell für das Verfassen und Rezipieren von Texten, eine multimodal literacy bzw. eine multimodale Textkompetenz, wie sie von Weidacher (2007) in die deutsche Diskussion eingeführt worden ist (vgl. auch Stöckl 2011, S. 45). In die Modellierung einer solchen multimodalen Textkompetenz müsste schließlich auch die heute geforderte digitale Textkompetenz (Frederking & Krommer 2019) eingehen. Darüber hinaus wird für die Vermittlung in der Schule und Hochschule eine Metasprache notwendig, die es Lehrenden sowie Schülerinnen/Schülern und Studierenden erlaubt, Multimodalität überhaupt erst zu thematisieren (Papadopoulou et al. 2018, S. 318; vgl. auch Archer in diesem Band).
Begriffsklärung und Forschungsüberblick
Die oben geschilderten Phänomene werden seit über 20 Jahren unter dem Begriff Multimodalität gefasst und in verschiedenen Disziplinen erforscht. Bevor das Forschungsfeld Multimodalität umrissen wird, sollen zunächst die Begriffe Multimodalität und Modalität näher geklärt werden.
Eine basale Definition von Multimodalität fasst multimodale Kommunikation als ein Interagieren mittels Texten, die Zeichen mindestens zweier Modalitäten strukturell und funktional, d.h. mit kommunikativer Absicht integrieren (vgl. Stöckl 2016, S. 88, S. 93; Bucher 2007, S. 53). Mit Modalität sind dabei vereinfacht gesagt Zeichentypen wie Schrift, Bild, Ton, aber auch zum Beispiel Elemente des Textdesigns wie Schriftfarben oder Schriftarten gemeint (vgl. z.B. Bucher 2011a, S. 123). In der angelsächsischen Social Semiotics werden diese Zeichentypen auch oft Zeichenressourcen genannt, um zu betonen, dass die Bedeutung eines Zeichens nicht vorgegeben ist, sondern erst im Gebrauch konstruiert wird (van Leeuwen 2005, S. 3).
Die nähere Betrachtung des Begriffs Modalität offenbart freilich dessen Komplexität und eine eindeutige Begriffsdefinition bzw. eine möglichst trennscharfe Beschreibung einzelner Modalitäten stellt für die Multimodalitätsforschung eine kontinuierliche Herausforderung dar. Stöckl (2016, S. 95) etwa stellt eine Definition von Zeichenmodalität vor, die sich aus drei Dimensionen speist: aus der sinnlichen Wahrnehmung der Zeichenrezeption (z.B. visueller oder auditiver Kanal), der Medialität des Zeichens (materielle und technische Realisierung) und der Zugehörigkeit zu einem semiotischen Code, d.h. zu einem Zeichensystem mit den Dimensionen Syntax, Semantik und Pragmatik.
Auf der Basis dieses Modalitätsbegriffs geht Stöckl von vier Grundtypen multimodaler Texte aus: Printtext, Audiotext, audiovisueller Text und elektronischer Text (Stöckl 2016, S. 96). Diese sind nach multimodaler Komplexität gestuft und unterscheiden sich grundlegend in der zeitlichen und räumlichen Dimension. Des Weiteren können Modalitäten laut Stöckl (2016; S. 97) autonom sein (Sprache, Bild, Musik) oder von anderen Modalitäten abhängen wie die Schriftgestaltung oder das Textdesign.
Ein so gefasster Modalitätsbegriff ist insbesondere dann fruchtbar, wenn es darum geht, die multimodale Komplexität eines Textes zu fassen, nach dem Beitrag der einzelnen Modi zur Gesamtbedeutung des Textes zu fragen oder das Bedeutungspotenzial zu verstehen, das eine Modalität innerhalb einer kommunikativen Praxis anbietet. Er stößt aber dann an seine Grenzen, wenn es darum geht, verschiedene Modalitäten systematisch voneinander abzugrenzen, wenn diese verschmelzen, z.B. in der Schrift die Modalitäten Sprache und Bild (Stöckl 2016; S. 96), im Gesang die Modalitäten Sprache und Ton.
Den wichtigsten Impuls erhielt die Multimodalitätsforschung in den 80er-Jahren aus den angelsächsischen Social Semiotics, die auf Michael Hallidays Funktionaler Linguistik aufbauen (vgl. zu Social Semiotics z.B. Kress 2010 oder die konzise Übersicht in Jewitt & Henriksen 2016). Im Zentrum der Social Semiotics steht das pädagogische Konzept der Multiliteracies, das von einer angelsächsischen Gruppe von Forschenden aus verschiedenen Disziplinen, der sogenannten New London Group, geprägt wurde (The New London Group 1996), aber im deutschsprachigen pädagogischen Diskurs lange wenig Beachtung fand (vgl. die Übersicht in Küster 2014). Unter dem Begriff Multiliteracies setzte die New London Group einem als veraltet empfundenen, eindimensionalen (monomodalen, monokulturellen) Verständnis von Literalität als Schreib- und Lesekompetenz ein neues Konzept entgegen, das zwei Entwicklungen gerecht werden sollte: den durch neue Kommunikationstechnologien bereits Mitte der 90er-Jahre veränderten Anforderungen an Schreiben und Lesen sowie der im Zuge der Globalisierung und Migration zunehmenden kulturellen und sprachlichen Heterogenität (vgl. zum Konzept Multiliteracies Cope & Kalantzis 2000, Cope & Kalantzis 2009, The New London Group 1996).
In den Social Semiotics wird Multimodalität auf verschiedene Ebenen untersucht (Ledin & Machin (2019, S. 503):
Mikroebene: der konkrete Text in seiner semiotischen Verfasstheit (z.B. eine Werbeanzeige oder ein Meme);
Mesoebene: anerkannte und typische Gebrauchsweisen einer semiotischen Ressource in einem bestimmten Kontext (z.B. wird eine Fotografie in einer Kriegsreportage anders eingesetzt als ein Schnappschuss, der in einem Familien-Chat ausgetauscht wird), sodass die Auswahl und Kombination der semiotischen Ressourcen in einem bestimmten Text vor diesem Hintergrund interpretiert werden müssen (ebd.);
Makroebene: die soziale und kulturelle Tradition, in der ein Text eingebettet ist, die Ressourcen (z.B. Technologien), die für die Textproduktion, -distribution, und -rezeption zur Verfügung stehen, sowie die Praktiken und Werte, die in der Kommunikationsgemeinschaft geteilt werden (ebd.).
Im deutschsprachigen Raum sind es besonders die Text- und Medienlinguistik, die das Thema der Multimodalität aufgegriffen und als konstitutiven Bestandteil der Textkommunikation begriffen haben. Im Fokus der älteren Forschung stand vor allem das Text-Bild-Verhältnis (vgl. etwa Muckenhaupt 1986, Stöckl 1992). Hintergrund dieser Hinwendung zum Bild dürfte der in der Kunstgeschichte und Literaturwissenschaft in den 90er-Jahren vorgenommene iconic bzw. pictorial turn gewesen sein (vgl. Böhm 1995, Mitchell 1994), aus dem heraus eine Bildwissenschaft entstanden ist, die eine wissenschaftliche Auseinandersetzung mit Bildern und deren Bedeutungspotenzial befördert hat (vgl. dazu etwa die Einführung in die Bildlinguistik von Große 2011 oder den Sammelband von Sachs-Hombach 2005). Allerdings haben sich die Linguistik und die Semiotik selbst schon seit längerem mit verschiedenen Zeichentypen – bspw. mit der Unterteilung in verbale, non- und paraverbale Zeichen – und deren Beitrag zur Bedeutungskonstruktion in der Interaktion beschäftigt (vgl. Meier 2011, S. 500). Welche Rolle aber die non- und paraverbalen Zeichen in der Kommunikation konkret spielen und wie sie zur Konstruktion der Botschaft beitragen, wurde lange Zeit zu wenig in der (text-)linguistischen Analyse bedacht (vgl. Stöckl 2016, S. 93).
Die Auseinandersetzung mit der Multimodalität aus text- und medienlinguistischer Perspektive hat in der deutschsprachigen Linguistik neben anderen Hartmut Stöckl vorangetrieben (vgl. etwa Stöckl 2004a, 2004b, 2008, 2011, 2015, 2016). Stöckl hat sich mit Formen und Funktionen multimodaler Texte sowie mit neuen Anforderungen an die Rezeption – und in etwas geringerem Umfang an die Produktion – multimodaler Texte auseinandergesetzt sowie Analysemodelle zur Beschreibung multimodaler Texte sowie «multimodaler Kompetenz» (Stöckl 2011, S. 45) zur Diskussion gestellt. Etliche Einzeluntersuchungen zu verschiedenen multimodalen Gattungen haben mittlerweile diese und verwandte Konzepte angewendet und ausdifferenziert und dabei auch andere Modi in den Blick genommen: so etwa Typografie (Stöckl 2004a, Spitzmüller & Antos 2007, Spitzmüller 2010) bzw. Textdesign (Hackl-Rössler 2006, Bucher 2007, vgl. auch die Beiträge im Sammelband Roth & Spitzmüller 2007) oder Musik und Ton für die Analyse von Musikvideos (Jost, Neumann-Braun & Schmidt 2010).
Die deutschsprachige Forschung konzentrierte sich aber bislang auf einige wenige Kontexte. So gibt es viele Untersuchungen zu multimodalen Texten in den Massenmedien (bspw. Blum & Bucher 1998 zu Zeitungstexten; Luginbühl 2011 und Holly 2011 zu Fernsehnachrichten oder der Sammelband von Roth & Spitzmüller 2007). Zu multimodalen Texten in anderen Kontexten wie etwa den sozialen Medien (z.B. Siever 2015), der Werbung (z.B. Held & Bendel 2008), der Wissenschaftskommunikation (z.B. Knoblauch & Schnettler 2007; Liebert 2011, Bucher & Niemann 2015) oder der politischen Kommunikation (z.B. Klemm 2011, Demarmels 2007) liegen bis anhin lediglich Einzeluntersuchungen vor.
Nebst der Text- und Medienlinguistik ist es insbesondere auch die (kritische) Diskursanalyse, welche das Konzept der Multimodalität aufgreift. Im Rahmen der multimodalen Diskursanalyse werden die Konstruktion sozialer Realitäten und Wissensbestände mittlerweile konsequent in allen medialen und modalen Erscheinungsformen untersucht (vgl. Klug 2016, Meier 2011).
Nun liegt der Fokus der text-, medienlinguistischen und diskursanalytischen Untersuchungen vornehmlich auf den multimodalen Kommunikaten selbst. Rezeptions- und Produktionsprozesse im engeren Sinne wurden bis anhin erst vereinzelt untersucht. Rezeptionsprozesse aus medienlinguistischer Perspektive nimmt etwa Bucher mit der Methode des Eye-Trackings und des Lauten Denkens in den Blick, um individuelle Rezeptionsprozesse in multimodalen, nichtlinearen Textkonglomeraten in Zeitungen (print, online, e-paper) nachzuzeichnen (vgl. etwa Bucher 2011a, 2011b, Bucher 2007).
Eine andere Perspektive auf Rezeptionsprozesse nehmen psycholinguistische und lernpsychologische Untersuchungen zum Wissenserwerb aus multimodalen Texten ein. Mittels experimenteller Methoden werden die Prozesse des Textverstehens multimodaler Texte untersucht, um daraus etwa didaktische Folgerungen zur optimalen Gestaltung von Unterrichtsmaterial abzuleiten (vgl. bspw. die Übersicht in Kürschner & Schnotz 2007 oder die Untersuchung von Dittmar et al. 2017 zu Biologielehrmitteln). Besonders im Fokus steht dabei die Frage, wie sich der Einsatz unterschiedlicher Modalitäten auf das Textverstehen und den Wissenserwerb auswirken. So konnte einerseits festgestellt werden, dass Text-Bild-Kombinationen den Wissenserwerb unterstützen können (vgl. die Forschungsübersicht in Anglin, Vaez, & Cunningham 2004; Ballstaedt 2017, S. 155–156; Schüler, Arndt & Scheiter 2019), allerdings nur unter gewissen Bedingungen, z.B. wenn die Informationen redundant in Text und Bild präsentiert werden (Anglin, Vaez, & Cunningham 2004, S. 876). Probleme beim Textverstehen treten dann auf, wenn die Informationen auf Text und Bild aufgeteilt erscheinen, was beim Textverstehen eine höhere kognitive Belastung verursacht, da Informationen aus verschiedenen Quellen integriert werden müssen (vgl. zu diesem sogenannten Split-Attention-Effekt Ayres & Sweller 2005).
Seit dem Aufkommen von mobilen Geräten wie Smartphones gerät zunehmend ein weiteres Phänomen in den Blick: der Second- oder Multi-Screen, d.h. die Verteilung eines Kommunikationsangebots auf verschiedene Mediensysteme, sodass die Nutzer parallel zwei oder gar mehrere Monitore oder Geräte benützen (z.B. in dem sie eine Fernsehsendung via Smartphone kommentieren), vgl. dazu den Sammelband von Göttlich, Heinz & Herbers (2017) oder die Studie zur Beeinträchtigung des Textverstehens von Van Cauwenberge, Schaap & van Roy (2014).
Weitaus weniger Berücksichtigung fanden in der Forschung bis anhin Produktionsprozesse im engeren Sinne. Eine Ausnahme bilden die Studien von Klemm, Perrin & Michel (2016) und Gnach & Perrin (2011), die mittels Schreibprozess-Analyse und ethnografischen Interviews zeigen, wie Sprache, Bild und Ton in der Produktion von Fernsehnachrichten und TV-Programmtrailern kombiniert werden und auf welchen Kriterien Journalisten ihre Entscheidungen basieren. Doch gerade für die Weiterentwicklung der Schreibdidaktik zu einer multimodalen Schreibdidaktik wären Studien zu grundlegenden Prozessen multimodaler Textproduktion nötig.
Zu diesem Band
Der vorliegende Band betrachtet das Phänomen der Multimodalität aus theoretischer und praktischer Perspektive und zeigt, wie sich eine konsequente Berücksichtigung von Schreiben als multimodale Kommunikation auf Anforderungen und Praktiken des Schreibens, v.a. im Hochschulkontext, aber auch in der Grundschule und in der professionellen Kommunikation auswirkt.
Ausgehend von der Prämisse, dass Texte heute immer multimodale Kommunikationsereignisse sind, wird dem kommunikativen Zusammenwirken unterschiedlicher semiotischer Systeme in Texten nachgegangen: Wie gestalten sich multimodale Schreib- und Gestaltungsprozesse? Und welche praktischen Implikationen hat die zunehmende Multimodalität von Texten für die Vermittlung wissenschaftlicher und beruflicher Schreibkompetenz?
Diesem Sammelband zugrunde liegen ausgewählte, mit einem Doppelblind-Verfahren begutachtete Beiträge zur Konferenz Schrift – Bild – Ton. Schreiben als multimodales Ereignis, die im Juni 2018 an der Hochschule Luzern – Wirtschaft (HSLU W) vom Forum wissenschaftliches Schreiben und dem Institut für Kommunikation und Marketing der HSLU W durchgeführt wurde.
Die Beiträge zeichnen sich dadurch aus, dass sie mit unterschiedlichen Textkorpora arbeiten und somit Praktiken in unterschiedlichen Handlungsfeldern zu beleuchten vermögen, in denen multimodale Textproduktion eine bedeutsame Rolle spielt, z.B. unterschiedliche multimodale Textsorten aus den Domänen Hochschule, Wirtschaft und Journalismus.
Ziel der Konferenz wie auch dieses Bandes ist es, theoretische und anwendungsorientierte Positionen zum Thema Schreiben und Multimodalität in einen Dialog zu bringen und fruchtbare Impulse für die Zukunft des Schreibens in Studium und Beruf zu setzen.
Übersicht über die Beiträge
Der erste Teil des Sammelbands ist der Multimodalität des Schreibens im Bildungskontext gewidmet.
Arlene Archer beschäftigt sich in ihrem Beitrag mit den sich verändernden Formen des Schreibens in der Hochschulbildung. Den Fokus legt sie dabei auf ein Schlüsselkonzept des akademischen Schreibens: Voice (das sich mit Stimme nur unzureichend ins Deutsche übertragen lässt). Sie untersucht, wie Schreibende durch semiotische Entscheidungen in verschiedenen Modi «authorial engagement» realisieren und wie sie Voice intertextuell konstruieren. Schließlich argumentiert sie für den Nutzen kritischer Metasprachen, um Studierende, Lehrende und Forschende bei der Produktion und Kritik verschiedener Arten von Texten zu unterstützen.
Einer visuellen Seite des multimodalen Schreibens widmen sich Ursina Kellerhals und Vinzenz Rast. Sie fordern, dass an der Hochschule neben Schreiben und Reden auch das Visualisieren gelehrt werden müsse. Visualisieren, so halten sie fest, müsse sich an ein Regelwerk halten und dürfe nicht einfach nur in gefälliger Darstellung bestehen. Als Beispiel für ihre Vorstellung von Vermittlung multimodaler Textkompetenz stellen sie ein Unterrichtsmodul vor mit dem Namen Visual Communication in Corporate Contexts und fokussieren dabei auf didaktische Stolpersteine.
Eine Verbindung der Frage nach der Vermittlung von visueller Kommunikation und der Domäne der wissenschaftlichen Kommunikation findet sich im nächsten Beitrag. Roswitha Dubach, Anita Gertiser und Ruth Wiederkehr stellen darin basierend auf der Analyse von 45 Postern von angehenden Ingenieurinnen und Ingenieuren dar, wie Multimodalität im Hochschulkontext gezielt ausgeschöpft werden kann. Die Untersuchung zeigt, dass sich Studierende beim Gestalten von Postern stark an Mustern orientieren, Corporate-Design-Elemente übernehmen und vor allem Titel, Fließtext, Infoboxen, Fotografien und Skizzen einsetzen. An vier Beispielen zeigen die Autorinnen, welche Mittel Zusammenhang zwischen unterschiedlichen sprachlichen und bildlichen Elementen stiften und welche Wechselbeziehungen dadurch entstehen. Es wird klar, und darin kommen Dubach, Gertiser und Wiederkehr mit Kellerhals und Rast überein, dass Studierende neben Vorlagen auch Anleitung brauchen, damit sie Multimodalität in Postern ausschöpfen können. Daraus ziehen die Autorinnen Konsequenzen für die Lehre.
Dem multimodalen Schreiben in der Vermittlung von Mathematik widmet sich Stefan Jörissen, wenn er die Bedeutung von Wandtafelnotationen in Kombination mit mündlicher Erklärung und Herleitung im Unterrichtskontext untersucht. Jörissen thematisiert das Zusammenspiel typografischer, stimmlicher und körpersprachlicher Gestaltung multimodaler kommunikativer Handlungen im Mathematikunterricht. Dabei unterscheidet er Produkt und Prozess: Während das Produkt (finished mathematics) an der Wandtafel stringent und logisch erscheint, ist der Entstehungsprozess (mathematics in the making) geprägt von Dynamik und Iterationen zum Eliminieren von Unsicherheit. Das Produkt ist charakterisiert durch ein oft nichtlineares Neben- und Miteinander unterschiedlicher Zeichensysteme und Gestaltungselemente wie Farben, Einrahmungen, Variationen in Strichdicke und Schriftgröße. Der Prozess ermöglicht es z.B. mittels Streichungen eine Umformung unmittelbar an der Tafel vorzunehmen oder Variablen durch Auswischen zu ersetzen – im Zusammenspiel von Schrift, Bild und Ton lassen sich so wesentliche Prozesse des mathematischen Denkens und Handelns dynamisch veranschaulichen.
Bernadette Rieder und Cordula Schwarze stellen in ihrem Beitrag ein hochschuldidaktisches Konzept vor, das von Studierenden Kompetenzen in geschriebener und gesprochener Sprache fordert und fördert. Es geht dabei um das Kompetenzfeld Argumentieren am Beispiel der wissenschaftlichen Debatte und um das Kompetenzfeld literarisches Leben am Beispiel der Autorenlesung. Rieder und Schwarze verbinden Positionen der modernen Textlinguistik mit Positionen der interaktionalen Linguistik und thematisieren verschiedene Aspekte von Multimodalität.
Tobias Schmohl schlägt im anschließenden Beitrag ein Modell zur wissenschaftlichen Begleitung von Promotionen vor. Das Modell schöpft über die verschiedenen Stufen der Informationserschließung, der Wissensgenese und -organisation sowie der Textproduktion systematisch multimediale und multimodale Verfahren aus und hebt sich somit von anderen Formen der Wissensgenese- und -organisation ab, die eher an assoziatives Schreiben anknüpfen.
Matthias Knopp und Kirsten Schindler schließlich untersuchen in ihrem Beitrag multimodale Verfahren in fiktionalen Schülertexten, die im Rahmen von zwei Kooperationsprojekten zwischen Studierenden des Lehramtsfaches Deutsch der Universität Köln und Grundschülern und -schülerinnen entstanden sind. Beide Projekte erlaubten es den Schülern und Schülerinnen, erste Erfahrungen mit kooperativem Schreiben sowie dem Verfassen von Texten am Computer mit all seinen gestalterischen Möglichkeiten zu sammeln, wobei das Endprodukt in einem Projekt ein linearer Text und in einem anderen ein Hypertext war. Die quantitativen und qualitativen Analysen der Textprodukte zeigen, dass schon in der Grundschule multimodale Schreibkompetenz angebahnt ist, die beim Schreiben am Computer aber noch stark an die Praxis des Handschreibens und -zeichnens angelehnt ist.
Der zweite Teil des Bandes versammelt Beiträge zum multimodalen Schreiben in der professionellen Kommunikation.
Den Anfang machen hier Adrian Aebi und Bruno Frischherz. Sie unternehmen in ihrem Beitrag eine empirische Bestandsaufnahme des multimodalen Designs der Textsorte Nachhaltigkeitsbericht. Dazu unterziehen sie ein Korpus von 50 Nachhaltigkeitsberichten aus den D-A-CH-Ländern einer quantitativen und einer qualitativen semiotischen Analyse und suchen so nach einem textsortenspezifischen Muster für den Einsatz und die Verknüpfung von Bild und Text in diesem immer wichtiger werdenden Instrument der Unternehmenskommunikation.
Dem Zusammenhang von Multimodalität und Suchmaschinenoptimierung gehen Susan Göldi und Cécile Zachlod nach. Weil Lesende stark gelayoutete Texte mit Verlinkungen und Visualisierungen schätzen, bewerten Suchmaschinen multimodale Texte als relevanter als wenig gestaltete reine Schriftwerke. Die Autorinnen zeigen, wie für die Suchmaschinenoptimierung in dieser Hinsicht die Konzepte Keywords und Metadaten genutzt werden können. Diese Konzepte werden im Beitrag eingeführt und in Hinsicht auf eine Multimodale Schreibkompetenz für die Suchmaschinenoptimierung interpretiert.
Aus der Domäne Journalismus stammt der Beitrag von Marina Bräm und Susan Göldi. Dieser beschäftigt sich mit visuellem Storytelling und der Textsorte Infografik und bietet neben Definitionen auch Kategorisierungen von Infografiken im journalistischen Kontext. Insbesondere unterscheidet er zwischen abstrakten Infografiken zur Datenvisualisierung und konkreten Infografiken zur Erklärung komplexer Zusammenhänge. Zu beiden Kategorien zeigt er an je einem Beispiel aus der journalistischen Praxis, wie aus Recherchematerial eine visuelle Idee entsteht und daraus eine multimodale Geschichte entwickelt wird. Der Beitrag macht deutlich, dass visueller Journalismus neue Anforderungen an Redaktionen stellt und multimodale Geschichten in Form von Infografiken ein neues hochwertiges Genre begründen.
Im abschließenden Beitrag zeigt der Graphic Designer Jiří Chmelik, wie multimodale Kommunikation im Kommunikationsdesign realisiert wird. Er nutzt kommunikationstheoretische Ansätze aus anderen Disziplinen dazu, die strukturellen Möglichkeiten des Kommunikationsdesigns zu erweitern, und schlägt vor, Kommunikation als Ritual und als Rollenspiel zu verstehen. Chmeliks Beitrag ist auch ein Plädoyer für eine verstärkte Zusammenarbeit von Wissenschaft und Praxis bei der Erforschung und Umsetzung von multimodaler Kommunikation bzw. der Vermittlung von multimodaler Kommunikationskompetenz und rundet den Sammelband so stimmig ab.
Literatur
Anglin, G.J., Vaez, H., & Cunningham, K. (2004). Visual representations and learning: The role of static and animated graphics. In D. Jonassen (Hrsg.), Handbook of research on educational communications and technology (2. Auflage) (S. 865–916). Mahwah, NJ: Erlbaum.
Archer, A., & Breuer, E.O. (Hrsg.) (2016). Multimodality in higher education. Leiden, Boston: Brill.
Ayres, P., & Sweller, J. (2005). The Split-Attention Principle in Multimedia Learning. In R. Mayer (Hrsg.), The Cambridge Handbook of Multimedia Learning (S. 135–146). Cambridge: Cambridge University Press.
Ball, C.E., & Charlton, C. (2015). All Writing Is Multimodal. In Adler-Kassner, L., & Wardle, E. (Hrsg.), Naming What We Know: Threshold Concepts of Writing Studies (E-Book, Chap. 2.4). Utah State University Press.
Ballstaedt, S.-P. (2017). Text und Bild: Ein didaktisches Traumpaar. In K. Heck (Hrsg.), Bildendes Sehen (S. 45–55). Berlin: De Gruyter.
Blum, C., & Blum, J. (2001). Vom Textmedium zum Multimedium. Deutsche Tageszeitungen im Wandel. In H.-J. Bucher, & U. Püschel (Hrsg.). Die Zeitung zwischen Print und Digitalisierung (S. 19–43). Springer Fachmedien: Wiesbaden.
Blum, J., Bucher, H.-J. (1998). Die Zeitung. Ein Multimedium. Textdesign – ein Gestaltungskonzept für Text, Bild und Grafik. Konstanz: UVK-Medien.
Boehm, G. (Hrsg.) (1995a). Was ist ein Bild? München: Wilhelm Fink.
Bucher, H.-J. (2002). Visualisierungen – das Ende der journalistischen Schriftkultur? Grundlagen einer multimodalen Konzeption der Medienkommunikation. In E. Haller (Hrsg.). Die Kultur der Medien. Untersuchungen zum Rollen und Funktionswandel des Kulturjournalismus in der Mediengesellschaft (S. 143–178). Münster: Hamburg, London.
Bucher, H.-J. (2007). Textdesign und Multimodalität: Zur Semantik und Pragmatik medialer Gestaltungsformen. In K.S. Roth, & J. Spitzmüller (Hrsg.), Textdesign und Textwirkung in der massenmedialen Kommunikation (S. 49–76). Konstanz: UVK.
Bucher, H.-J. (2011a). Multimodales Verstehen oder Rezeption als Interaktion. Theoretische und empirische Grundlagen einer systematischen Analyse der Multimodalität. In H. Dieckmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 123–156). Berlin: Erich Schmidt Verlag.
Bucher, H.-J. (2011b). «Man sieht, was man hört» oder: Multimodales Verstehen als interaktionale Aneignung. Blickaufzeichnungsstudie zur Rezeption von zwei Werbespots. In J.G. Schneider, & H. Stöckl (Hrsg.), Medientheorien und Multimodalität: Ein TV-Werbespot–sieben methodische Beschreibungsansätze (S. 109–150). Köln: Herbert von Halem Verlag.
Bucher, H.-J. (2016a). Mehr als Text mit Bild. Zur Multimodalität der illustrierten Zeitungen und Zeitschriften im 19. Jahrhundert. In N. Igl, & J. Menzel (Hrsg.), Illustrierte Zeitschriften um 1900. Mediale Eigenlogik, Multimodalität und Metaisierung (S. 25–73). Bielefeld: transcript.
Bucher, H.-J. (2016b). Ein ‹Pictorial Turn› im 19. Jahrhundert? Überlegungen zu einer multimodalen Mediengeschichte am Beispiel der illustrierten Zeitungen. In S. Geise, T. Birkner, K. Arnold, M. Löblich, & K. Lobinger (Hrsg.), Historische Perspektiven auf den Iconic Turn. Die Entwicklung der öffentlichen visuellen Kommunikation (S. 280–317). Köln: Herbert von Halem Verlag.
Bucher, H.-J., & Niemann, P. (2015). Medialisierung der Wissenschaftskommunikation: Vom Votrag zur multimodalen Präsentation. In H. Bonfadelli, M.S. Schäfer, & S. Kristiansen (Hrsg.), Wissenschaftskommunikation im Wandel (S. 67–101). Köln: Herbert von Halem Verlag.
Cope, B., & Kalantzis, M. (Hrsg.) (2000). Multiliteracies: Literacy Learning and the Design of Social Futures. Routlege: London.
Cope, B., & Kalantzis, M. (2009). ‹Multiliteracies›: New literacies, new learning. Pedagogies: An International Journal, 4(3), 164–195.
Dehn, M., & Sjölin, A. (1996). Frühes Lesen und Schreiben. In H. Günther, & O. Ludwig (Hrsg.), Schrift und Schriftlichkeit. Ein interdisziplinäres Handbuch internationaler Forschung (S. 1141–1153). Berlin, New York: de Gruyter.
Demarmels, S. (2007). Konvergenz und Divergenz im Text-Bild-Design von politischen Plakaten. In K.S. Roth, & J. Spitzmüller (Hrsg.), Textdesign und Textwirkung in der massenmedialen Kommunikation (S. 143–160). Konstanz: UVK Verlagsgesellschaft.
Deppermann, A. (2018). Sprache in der multimodalen Interaktion. In A. Deppermann, & S. Reineke (Hrsg.), Sprache im kommunikativen, interaktiven und kulturellen Kontext (S. 51–86). Berlin, Boston: De Gruyter.
Dittmar, M., Schmellentin, C., Gilg, E., & Schneider, H. (2017). Kohärenzaufbau aus Text-Bild-Gefügen: Wissenserwerb mit schulischen Fachtexten. leseforum.ch, 2017(1). Abgerufen von https://www.leseforum.ch/sysModules/obxLeseforum/Artikel/579/2017_1_Dittmar_et%20al.pdf
Franchi, F. (2014). Writing is no longer enough. Speech at Kerning International Conference on Typography Faenza, Italy, 5–6. June 2014. https://vimeo.com/107876602
Frederking, V., & Krommer, A. (2019). Digitale Textkompetenz. Abgerufen von https://www.deutschdidaktik.phil.uni-erlangen.de/Dokumente/frederking-krommer-2019-digitale-textkompetenzpdf.pdf
Führer, C. (2017). Multimodale Texte in der Hochschuldidaktik. Lehramtsstudierende rekonstruieren und reflektieren das Lesen und Schreiben von SekundarschülerInnen zu multimodalen Texten. Leseforum.ch, 2017(1). Abgerufen von https://www.leseforum.ch/sysModules/obxLeseforum/Artikel/601/2017_1_Fuehrer.pdf
Gnach, A., & Perrin, D. (2011). Kritische Situationen und Gute Praktiken: Text-Bild-Strategien kooperativer Nachrichtenproduktion. In H. Dieckmannshenke, M. Klemm, & H. Stöckl, Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 213–229). Berlin: Erich Schmidt Verlag.
Göttlich, U., Heinz, L., & Herbers, M.R. (Hrsg.) (2017). Ko-Orientierung in der Medienrezeption: Praktiken der Second-Screen-Nutzung. Wiesbaden: Springer VS.
Große, F. (2011). Bild-Linguistik. Grundbegriffe und Methoden der linguistischen Bildanalyse in Text- und Diskursumgebungen. Frankfurt am Main u.a.: Peter Lang.
Gruber, C., Drecoll, V.H., & Leppin, V. (2018). Radikal-reformatorische Themen im Bild: Druckgrafiken der Reformationszeit (1520–1560). E-Book. Abgerufen von http://public.eblib.com/choice/publicfullrecord.aspx?p=5493656
Günther, K.B. (1995). Ein Stufenmodell der Entwicklung kindlicher Lese- und Schreibstrategien. In H. Balhorn, & H. Brügelmann (Hrsg.), Rätsel des Schriftspracherwerbs. Neue Sichtweisen aus der Forschung (S. 98–121). Lengwil: Libelle.
Haarmann, H. (2011). Geschichte der Schrift (4., durchgesehene Auflage). München: Beck.
Hackl-Rössler, S. (2006). Textstruktur und Textdesign: Textlinguistische Untersuchungen zur sprachlichen und optischen Gestaltung weicher Zeitungsnachrichten. Tübingen: Narr.
Held, G. & Bendel, S. (Hrsg.) (2008). Werbung – grenzenlos. Multimodale Werbetexte im interkulturellen Vergleich. Frankfurt am Main u.a.: Peter Lang.
Holly, W. (2011). Bildüberschreibungen. Wie Sprechtexte Nachrichtenfilme lesbar machen (und umgekehrt). In H. Diekmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 233–253). Berlin: Erich Schmidt.
Jewitt, C., & Henriksen, B. (2016). Social Semiotic Multimodality. In N.-M. Klug, & H. Stöckl (Hrsg.), Handbuch Sprache im multimodalen Kontext (S. 145–164). Berlin Boston: De Gruyter.
Jost, C., Neumann-Braun, K., & Schmidt, A. (2010). Bild-Text-Ton-Analysen intermedial – am Beispiel von Musik(video)clips. In A. Deppermann, & A. Linke (Hrsg.), Sprache intermedial (S. 469–492). Berlin, New York. De Gruyter.
Khadka, S., & Lee, J.C. (Hrsg.) (2019). Bridging the Multimodal Gap. From Theory to Practice. Louisville: University Press of Colorado.
Klemm, M., Perrin, D., & Michel, S. (2016). Produktionsforschung. In N.-M. Klug, & H. Stöckl (Hrsg.), Handbuch Sprache im multimodalen Kontext (S. 277–299). Berlin, Boston: De Gruyter.
Klemm, M. (2011). Bilder der Macht. Wie sich Spitzenpolitiker visuell inszenieren (lassen) – eine bildpragmatische Analyse. In H. Dieckmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 187–209). Berlin: Erich Schmidt Verlag.
Klug, N.-M. (2016). Multimodale Text- und Diskurssemantik. In N.-M. Klug, & H. Stöckl (Hrsg.), Handbuch Sprache im multimodalen Kontext (S. 165–189). Berlin Boston: De Gruyter.
Klug, N.-M., & Stöckl, H. (2014). Sprache im multimodalen Kontext. In E. Felder & A. Gardt (Hrsg.), Handbuch Sprache und Wissen. Berlin, München, Boston: De Gruyter.
Klug, N.-M., & Stöckl, H. (Hrsg.) (2016). Handbuch Sprache im multimodalen Kontext. Berlin, Boston: De Gruyter.
Knoblauch, H., & Schnettler, B. (Hrsg.) (2007). Powerpoint-Präsentationen. Neue Formen der gesellschaftlichen Kommunikation von Wissen. Konstanz: UVK.
Krämer, S. (2006). Die Schrift als Hybrid aus Sprache und Bild. Thesen über die Schriftbildlichkeit unter Berücksichtigung von Diagrammatik und Karthographie. In T. Hoffmann, & G. Rippl (Hrsg.), Bilder: Ein (neues) Leitmedium? (S. 79–92). Göttingen: Wallstein-Verlag.
Kress, G.R. (2010). Multimodality: a social semiotic approach to contemporary communication. London, New York: Routledge.
Kürschner, C., & Schnotz, W. (2007). Konstruktion mentaler Repräsentationen bei der Verarbeitung von Text und Bildern. Unterrichtswissenschaft, 35(1), 48–67.
Küster, L. (2014). Multiliteralität. Zur Einführung in den Themenschwerpunkt. Fremdsprache lehren und lernen, 43(2), 3–11.
Ledin, P., & Machin, D. (2019). Doing critical discourse studies with multimodality: From metafunctions to materiality. Critical Discourse Studies, 16(5), 497–513.
Liebert, W.-A. (2011). Mit Bildern Wissenschaft vermitteln. Zum Handlungscharakter visueller Texte. In H. Dieckmannshenke, M. Klemm, & H. Stöckl (Hrsg.). Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 357–368). Berlin: Erich Schmidt Verlag.
Luginbühl, M. (2011). Vom kommentierten Realfilm zum multimodalen Komplex – Sprache-Bild-Beziehungen in Fernsehnachrichten im diachronen und internationalen Vergleich. In H. Dieckmannshenke, M. Klemm, & H. Stöckl. Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 255–276). Berlin: Erich Schmidt Verlag.
Meier, S. (2011). Multimodalität im Diskurs: Konzept und Methode einer multimodalen Diskursanalyse. In R. Keller, A. Hirseland, W. Schneider, & W. Viehöver (Hrsg.), Handbuch Sozialwissenschaftliche Diskursanalyse (3., erweiterte Auflage, S. 499–532). Wiesbaden: VS Verlag für Sozialwissenschaften.
Mitchell, W.J.T. (1994). Picture theory: essays on verbal and visual representation. Chicago: University of Chicago Press.
Mondada, L. (2016). Challenges of multimodality: Language and the body in social interaction. Journal of Sociolinguistics, 20(2), 2–32.
Muckenhaupt, M. (1986). Text und Bild. Grundfragen der Beschreibung von Text-Bild-Kommunikationen aus sprachwissenschaftlicher Sicht. Tübingen: Niemeyer.
Myhill, D. (2005). Prior knowledge and the (re)production of school written genres. In T. Kostouli (Hrsg.), Writing in context(s) textual practices and learning processes in sociocultural settings (S. 117–136). New York: Springer Science.
Papadopoulou, M., Goria, S., Manoli, P., & Pagkourelia, E. (2018). Developing multimodal literacy in tertiary education. Journal of visual Literacy37(4), 317–329.
Roth, K.S., & Spitzmüller, J. (Hrsg.) (2007). Textdesign und Textwirkung in der massenmedialen Kommunikation. Konstanz: UVK.
Sachs-Hombach, K. (Ed.). (2005). Bildwissenschaft zwischen Reflexion und Anwendung. Köln: von Halem.
Schmitz, U. (2010). Schrift an Bild im World Wide Web. Articulirte Pixel und die schweifende Unbestimmtheit des Vorstellens. In A. Deppermann, & A. Linke (Hrsg.), Sprache intermedial. Stimme und Schrift, Bild und Ton (S. 383–418). Berlin: de Gruyter.
Schüler, A., Arndt, J., & Scheiter, K. (2019). Does text-picture integration also occur with longer text segments? Applied Cognitive Psychology, acp.3558. https://doi.org/10.1002/acp.3558 [vorgezogene online Publikation].
Serafini, F. (2015). Multimodal Literacy: From Theories to Practices. Language Arts, 92(6), 412–423.
Siever, C.M. (2015). Multimodale Kommunikation im Social Web: Forschungsansätze und Analysen zu Text-Bild-Relationen. Frankfurt a.M.: Peter Lang Edition. (= Sprache – Medien – Innovationen Band 8).
Spitzmüller, A., & Antos, G. (2007). Was bedeutet Textdesign? Überlegungen zu einer Theorie typographischen Wissens. In K.S. Roth, & J. Spitzmüller (Hrsg.), Textdesign und Textwirkung in der massenmedialen Kommunikation (S. 35–48). Konstanz: UVK.
Spitzmüller, J. (2010). Typografische Variation und (Inter-)Medialität. Zur kommunikativen Relevanz skripturaler Sichtbarkeit. In A. Deppermann, & A. Linke (Hrsg.), Sprache intermedial: Stimme und Schrift, Bild und Ton (S. 97–126). Berlin/NewYork: de Gruyter.
Stöckl, H. (1992). Der ‹picture relation type› – Ein praktischer Analysemodus zur Beschreibung der vielfältigen Einbettungs- und Verknüpfungsbeziehungen von Bild und Text. Papiere zur Linguistik, 46(11), 49–61.
Stöckl, H. (2004a). Typografie: Gewand und Körper des Textes – Linguistische Überlegungen zu typografischer Gestaltung. Zeitschrift für Angewandte Linguistik, 41, 5–48.
Stöckl, H. (2004b). Die Sprache im Bild – Das Bild in der Sprache. Zur Verknüpfung von Sprache und Bild im massenmedialen Text. Konzepte, Theorien, Analysemethoden. Berlin/New York.
Stöckl, H. (2006). Zeichen, Text und Sinn. Theorie und Praxis der multimodalen Textanalyse. In E.M. Eckkrammer & G. Held (Hrsg.), Textsemiotik. Studien zu multimodalen Texten (S. 11–36). Frankfurt am Main, New York: Peter Lang.
Stöckl, H. (2008). Die Sprache im Bild – Das Bild in der Sprache: Zur Verknüpfung von Sprache und Bild im massenmedialen Text. Konzepte. Theorien. Analysemethoden. Berlin, New York: De Gruyter.
Stöckl, H. (2011). Sprach-Bild-Texte lesen. Bausteine zur Methodik einer Grundkompetenz. In H. Diekmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik. Theorien – Methoden – Fallbeispiele (S. 43–70). Berlin: Erich Schmidt.
Stöckl, H. (2015). From Text Linguistics to Multimodality. Mapping Concepts and Methods across Domains. In J. Wildfeuer (Hrsg.), Building Bridges for Multimodal Research. International Perspectives on Theories and Practices of Multimodal Analysis (S. 51–75). Frankfurt/Main: Lang.
Stöckl, H. (2016). Multimodales Verstehen – Zwischen Zeichensystemwissen und Textsortenkompetenz. In K. Sachs-Hombach (Hrsg.), Verstehen und Verständigung. Intermediale, multimodale und interkulturelle Aspekte von Kommunikation und Ästhetik (S. 88–112). Köln: Herbert von Halem.
The New London Group (1996). A pedagogy of multiliteracies: Designing social futures. Harvard Educational Review, 66 (1), 60–93.
Van Cauwenberge, A., Schaap, G., & van Roy, R. (2014). «TV no longer commands our full attention»: Effects of second-screen viewing and task relevance on cognitive load and learning from news. Computers in Human Behavior, 38, 100–109.
Weidacher, G.E. (2007). Multimodale Textkompetenz. In S. Schmölzer-Eibinger, G.E. Weidacher, & P.R. Portmann-Tselikas (Hrsg.), Textkompetenz: Eine Schlüsselkompetenz und ihre Vermittlung (S. 39–56). Tübingen: Narr.
Weinhold, S. (2000). Text als Herausforderung. Zur Textkompetenz am Schulanfang. Freiburg i. Brsg.: Fillibach.
Wenzel, H. (1995). Hören und Sehen, Schrift und Bild: Kultur und Gedächtnis im Mittelalter. München: C.H. Beck.
