sound - gesture
paradigm of a human-friendly post-digital culture
an auditory as a hedonic culture formed by the nature of the excitement-induced behaviour of humans
the concept "sound-gesture" describes and explains the auditory perception as an intentional body-environment-interaction controlled by "hearing" motions all around the body ...
&
the immediate communication of its "primary meaning" as its meaning for the body ...
Sound-gesture and its immediate communication of "primary meaning"
Sonic performative listening is experimentally researched in the concept of sound-gesture in an interdisciplinary way with reference to music (see Godoy u. Leman, Musical Gestures, 2010). It explains which embodiments enter into which ways of thinking and pre-determine music and its aesthetics.
Sound-gesture is the physical comprehension of the impression of a sound movement as an imagination around the body that does not move itself. This co-perception is based solely on a sound colour modulation. At the same time, the sound-gesture represents the physical expression, the expression of the meaning of this movement for the body as a physical act of arousal.
The communicative quality of the sound-gesture as emotional co-movement explains the concept Hatfield describes with the term emotional contagion (see Hatfield [et al.], Emotional Contagion, 1994).
The impression of imagined movement is primarily determined by the sound sensation of changing sharpness and (related to this) loudness of a non-moving sound source around the body. Sharpness increases with the position of the energy maximum in the frequency spectrum (see Bismarck, »Sharpness as an Attribute of the Timbre of Steady Sounds«, 1974).
The left-right (abbreviated as L-R in the following) localisation of sound is determined by differences in loudness and phase of the sound waves of a sound source arriving at both ears at unequal times. Corresponding perceptions are also triggered by simulating the physical parameters in both ears. The L-R movement is primarily significant for the experience of the sound gesture as a temporal process, as the dynamics of the excitation of a sound time structure.
The perception in the depth dimension is determined by sound changes due to the propagation of sound in the medium air. With increasing distance from its source, a propagating sound wave is attenuated by energy loss, which first affects the lower amplitude (usually higher) sound components. In general, sound events from sound sources reach the ear more quietly and more dump with increasing distance.This gives rise to body knowledge about the connection between the loudness and sharpness of sound and the distance of its source. Even sounds of similar loudness and sharpness activate these embodiments and lead to the imagination of corresponding distance, independent of the actual distance of their sound source: sound modulations lead to the imagination of corresponding sound movements.
The perception of depth behind the body can be explained by the interaction of the slow propagation of sound and the directionality of the ears. Differences in the harmony between the original sound and sound reflections from behind are perceived spatially on the basis of corresponding body knowledge.
The perception of the sound moving over the head is determined by its sound shadow and the directionality of the ears. Thus, depending on the position of sound sources on the median plane, empirically specific sound colourations show up as directional bands (see Blauert, Räumliches Hören, 1974). The simulation of such directional bands leads to the imagined perception of sound across the head.
The experience of sound on the height dimension, which is culturally simplified to coincide with the term pitch, cannot be explained by embodiments from sound perception, i.e. by auditory body knowledge. The transfer of the basal embodiment gravitation to psychological perceptual dimensions of sound offers an explanation here: we perceive high-frequency sounds as sounds with high density and low volume, low-frequency sounds as sounds with low density and high volume (see Stevens [et al.], »Loudness, a Product of Volume Times Density«, 1965). We transfer the embodiment gravitation to these psychological perceptual qualities of sound, a process that can be regarded as a "conceptual metaphor " (see Lakoff, »The Contemporary Theory of Metaphor«, 1993). Thus, sonic events of low volume and high density perception are perceived as being located at the top of the space around the body, while those of high volume and low density perception are perceived as being located at the bottom of the space around the body.
Thus sound perception is always a spatial perception. The expression of sharpness and loudness leads to the impression of the proximity of sound sources, their modulation to the impression of movement around the body independent from physical location or movement of the sound source.
Experimental studies show the bodily comprehension of imagined movement and defines the arousal due to the imagined proximity of sound movement as a physical movement of the body within the theory of perception as arousal-based Body environment interaction (B-E-I). In this, the sound-gesture contributes to the impression of movement around the body without physical location or movement of the sound source. In this, sound-gesture carries primary meaning.
Similarly, the concept of emotional contagion (see Hatfield, Emotional Contagion, 1994) explains the pre-semiotic communication of the sound-gesture in two stages [FN 1]. Just as the imitation of the imagined sound process leads to bodily tension movement, its imitation leads to the internalisation of tension as an experience of the 'activity' dimension of a feeling. Its evaluative quality is thereby negatively determined, namely which categorial quality of feeling is not expressed by high or low 'activity'(see Behne, Musik - Kommunikation oder Geste?, 1982). The communicative quality of the sound-gesture lies in the sonic performative expression of primary meaning - it is immediately physically arousing and thus collectivising.
Composition shapes primary carriers of meaning into a form that medially represents them; their shaping is understandable in reception. At the same time, its form makes the primary meaning formalised in it present, its physicality in the experience of corresponding activation (see Harrer, Das Musikerlebnis im Griff des naturwissenschaftlichen Experiments, 1975). In this process, "reactibility" / "Reagibilität", the cognitive extent of the willingness to be moved along, determines the degree of arousal, which explains individual and cultural differences in physical movement and being moved along.
Sound-gesture is thus the direct expression and communication of primary meaning. It conveys secondary meaning in its conscious use, as an iconic reproduction of its indexical quality, in its mediatisation as a re- presence of the presence of imagined sound movement and its arousal for the body. The secondary meaning thus given is formalised in music and guides its placement in cultural semiosis.
Primary meanings of the relations of sounds according to the dynamics of tension-solution become secondary meanings in the form of relations to be thought between codes for sounds. Compositional work is fundamentally determined by the phenomenon of tension-solution, the "relational thinking" is its extension as a result of modal shift.
Beyond its significance for music and its exploration, sound-gesture is of general importance as hedonic behaviour. It is the paradigm of intuitive emo-tional interfaces in post-digital worlds, in whose design the body merges emotionally with virtualities.
[1] Emotion is here to be reduced to 'activity' of the dimensional concept of feelings; qualitative as a categorial determination of states of arousal and their designations are thereby given as tendency
Sound-gesture und ihre unmittelbare Kommunikation primärer Bedeutung
Das sonisch performative Hören ist im Konzept sound-gesture interdisziplinär mit Musikbezug experimentell erforscht (vgl. Godoy u. Leman, Musical Gestures, 2010). Es erklärt, welche Verkörperungen in welche Denkweisen eingehen und Musik und ihre Ästhetik vorprägen.
Sound-gesture ist der körperliche Mitvollzug der Impression einer Klangbewegung als Imagination rund um den nicht eigenbewegten Körper. Dieser Mitvollzug beruht allein auf einer Klangfarbenmodulation. Zugleich stellt die sound-gesture den körperlichen Ausdruck, die Expression der Bedeutung dieser Bewegung für den Körper als körperliche Erregungshandlung dar.
Die kommunikative Qualität der sound-gesture als emotionale Mitbewegung er- klärt das Konzept, das Hatfield mit dem Begriff emotional contagion beschreibt (vgl. Hatfield [u. a.], Emotional Contagion, 1994).
Die Impression imaginierter Bewegung ist vorrangig durch die Klangempfindung sich verändernder sharpness und (damit zusammenhängend) loudness einer nicht- bewegten Klangquelle rund um den Körper bestimmt. Sharpness steigt mit der Position des Energiemaximums im Frequenzspektrum (vgl. Bismarck, »Sharpness as an Attribute of the Timbre of Steady Sounds«, 1974).
Die Links-Rechts (im Folgenden abgekürzt mit L-R)-Ortung von Klang ist von Lautstärke- und Phasenunterschieden der an beiden Ohren zu ungleichen Zeitpunkten eintreffenden Schallwellen einer Schallquelle bestimmt. Entsprechende Wahrnehmungen werden auch durch Simulation der physikalischen Parameter an beiden Ohren ausgelöst. Die L-R-Bewegung ist für das Erleben der sound-gesture primär als zeitlicher Verlauf bedeutsam, als Dynamik der Erregung einer Klangzeitstruktur.
Die Wahrnehmung in der Tiefendimension ist von Klangveränderungen durch die Ausbreitung des Schalls im Medium Luft bestimmt. Mit zunehmender Entfernung ihrer Quelle wird eine sich ausbreitende Schallwelle durch Energieverlust gedämpft, was zuerst die amplitudenschwächeren (meist höheren) Klanganteile betrifft. Allgemein treffen Schallereignisse von Schallerzeugern zunehmender Entfernung leiser und dumpfer an das Ohr. Daraus entsteht Körperwissen über den Zusammenhang der loudness und sharpness von Klang und Entfernung seiner Quelle. Bereits Klänge ähnlicher loudness und sharpness aktivieren diese embodiments und führen zur Imagination entsprechender Entfernung, und zwar unabhängig von der tatsächlichen Entfernung ihrer Schallquelle: Klangmodulationen führen zur Imagination entsprechender Klangbewegungen.
Die Tiefenwahrnehmung hinter dem Körper ist durch das Zusammenwirken der langsamen Schallausbreitung und der Gerichtetheit der Ohren erklärbar. Unterschiede im Zusammenklang des Originalklanges mit Schallreflexionen von hinten werden auf der Basis entsprechenden Körperwissens räumlich wahrgenommen.
Die Wahrnehmung des Klangverlaufs über den Kopf hinweg ist durch seinen Schallschatten und die Gerichtetheit der Ohren bestimmt. Dadurch zeigen sich – je nach Position von Klangquellen auf der Medianebene – empirisch spezifische Klang-färbungen als Richtungsbänder (vgl. Blauert, Räumliches Hören, 1974). Die Simulation solcher Richtungsbänder führt zur imaginierten Klangwahrnehmung über den Kopf hinweg.
Das Klangerleben auf der Höhendimension, das kulturell vereinfacht mit der Bezeichnung Tonhöhe zusammenfällt, ist nicht durch embodiments aus der Klangwahrnehmung, also durch auditives Körperwissen, erklärbar. Die Übertragung des basalen embodiments Gravitation auf psychologische Wahrnehmungsdimensionen von Klang bietet hier Erklärung: Wir nehmen hochfrequente Klänge als Klänge mit high density und low volume, niederfrequente Klänge als Klänge mit low density und high volume wahr (vgl. Stevens [u. a], »Loudness, a Product of Volume Times Density«, 1965). Auf diese psychologischen Wahrnehmungsqualitäten von Klang übertragen wir das embodiment Gravitation, ein Prozess der als »conceptu- al metaphor« (vgl. Lakoff, »The Contemporary Theory of Metaphor«, 1993) betrachtet werden kann. Somit werden klangliche Ereignisse kleiner volume- und großer density-Wahrnehmung als oben, solche großer volume- und kleiner density-Wahrnehmung als unten im Raum um den Körper lokalisiert wahrgenommen.
Klangwahrnehmung ist somit stets eine räumliche Wahrnehmung. Die Ausprägung von sharpness und loudness führt zur Impression der Nähe von Schallquellen, ihre Modulation zur Impression von Bewegung rund um den Körper ohne physikalische Verortung oder Bewegung der Schallquelle.
Die Empirie zeigt den körperlichen Mitvollzug imaginierter Bewegung und belegt die Erregung aufgrund imaginierter Nähe von Klangbewegung als physische Bewegtheit des Körpers innerhalb der Theorie von Wahrnehmung als erregungsbasierte K-U-I. Darin trägt die sound-gesture primäre Bedeutung in sich.
Ähnlich zweistufig erklärt das Konzept emotional contagion (vgl. Hatfield, Emotional Contagion, 1994) die prä-semiotische Kommunikation der sound-gesture[1]. Wie die Nachahmung des imaginierten Klangverlaufs zu körperlicher Spannungsbewegung führt, führt deren Nachahmung zur Internalisierung der Spannung als Erleben der ›activity‹-Dimension eines Gefühls. Ihre evaluative Qualität ist dadurch negativ bestimmt, nämlich welche kategoriale Gefühlsqualität hohe bzw. niedrige ›activity‹ nicht ausdrückt (vgl. Behne, Musik - Kommunikation oder Geste?, 1982). Im sonisch performativen Ausdruck primärer Bedeutung liegt die kommunikative Qualität der sound-gesture – sie ist unmittelbar körperlich erregend und damit kollektivierend.
Komposition gestaltet primäre Bedeutungsträger in eine medial sie repräsentierende Form; ihre Formung ist in der Rezeption verstehbar. Zugleich macht ihre Form die in ihr formalisierte primäre Bedeutung präsent, ihre Körperlichkeit im Erleben entsprechender Aktivierung (vgl. Harrer, Das Musikerlebnis im Griff des naturwissenschaftlichen Experiments, 1975). Dabei bestimmt die Reagibilität, die kognitive Größe der Bereitschaft zur Mitbewegtheit, das Maß an Erregung, wodurch individuelle und kulturelle Unterschiede körperlicher Mitbewegung und Mitbewegtheit erklärbar sind.
Sound-gesture ist somit der unmittelbare Ausdruck und die direkte Kommuni- kation primärer Bedeutung. Sekundäre Bedeutung vermittelt sie in ihrer bewussten Nutzung, als ikonische Nachbildung ihrer indexikalischen Qualität, in ihrer Mediatisierung als Re-Präsenz der Präsenz imaginierter Klangbewegung und deren Erregung für den Körper. Die dadurch vorgegebene sekundäre Bedeutung ist in Musik formalisiert und lenkt ihre Einordnung in die kulturelle Semiose.
Primäre Bedeutungen der Beziehungen von Klängen nach der Dynamik von Spannung-Lösung werden zu sekundären Bedeutungen in Form von zu denkenden Relationen zwischen Codes für Klänge. Kompositorische Arbeit ist basal von dem Phänomen Spannung-Lösung bestimmt, das beziehende Denken ist ihre Extension als Folge modaler Verschiebung.
Über ihre Bedeutung für Musik und ihre Erforschung hinaus ist sound-gesture als hedonisches Verhalten von allgemeiner Bedeutung. Sie ist Paradigma intuitiver emo-tionaler Interfaces in post-digitale Welten, in deren Gestaltung der Körper emotional mit Virtualitäten verschmilzt.
[1] Emotion ist hier auf ›activity‹ des dimensionalen Konzepts von Gefühlen zu reduzieren; qualitative als kategoriale Bestimmung von Erregungszuständen und ihre Bezeichnungen sind dadurch als Tendenz vorgegeben
auditory culture
All rights reserved (c)