Making Traces Sperimentazioni Audiovisive - Musica Stampata

Musica Stampata – Issue 3 (Maggio 2021)

Making Traces
Sperimentazioni Audiovisive

Di Matteo Castiglioni1

Abstract
Lo scopo di questo elaborato è quello di presentare il percorso di studio e le influenze che
hanno svolto un ruolo principale nello sviluppo del mio lavoro, riferito in particolare all'ambito
della produzione audiovisiva. Nella seconda parte dell'articolo verrà svolta un'analisi di una
selezione di alcuni lavori personali svolti nel recente passato, cercando di sottolinearne le
implicazioni interne ed esterne, riferite sia a pratiche artistiche di altri autori che di studiosi dei
settori in oggetto al lavoro artistico.

Ricordo perfettamente il momento in cui, durante una lezione di composizione al Conservatorio
Giuseppe Verdi di Milano, il maestro Giovanni Cospito proiettò la ripresa integrale di un
concerto di Ryoji Ikeda. Fu in quel preciso momento che mi resi conto delle enormi possibilità
che venivano offerte dall’incrocio tra il suono e la grafica in tempo reale. Il mio lavoro nasce
dalla sperimentazione, da una continua curiosità di scoprire nuovi punti di incontro tra il visivo
e il sonoro. Durante i miei primi anni di studio, dal 2013 circa, iniziai a progettare visual da
proiettare durante i concerti del progetto "t.e.s.o." e della laptop orchestra "1h20nein". Negli
anni successivi sono passato dalla creazione di installazioni audiovisive alla produzione di
sistemi complessi interattivi e generativi.2 Nel 2016, con “Making traces”, ho cercato di creare
una struttura in grado di generare suoni, grafica, video e movimento in continua evoluzione e
variazione. In occasione della mia tesi di biennio al Conservatorio, ho progettato il
“Monumento continuo”, un’installazione multimediale generativa, composta e organizzata a
partire dall’attività in tempo reale degli utenti attivi online.3 Negli ultimi due anni mi sono
dedicato al lavoro in diversi ambiti che vengono offerti dall’audiovisivo. In particolare, ho
lavorato alla progettazione di nuovi sistemi per integrare i video alla musica in tempo reale,
lavorando a visual per concerti di musica elettronica, jazz, spettacoli teatrali, mostre immersive
e spettacoli di opera lirica. Ma prima di arrivare alla descrizione più approfondita di alcuni miei
lavori più recenti, credo sia opportuno affrontare alcuni episodi, in particolare della storia del
XX secolo, in cui arte visiva e arte musicale si sono incontrate, episodi che sono stati per me
fonte di ispirazione.

1
  Musicista e artista visivo, studia composizione audiovisiva e musica elettronica al Conservatorio "G. Verdi" di
Milano, conseguendo con lode la laurea triennale (2016) e biennale (2018) con due tesi incentrate sul rapporto tra
musica e immagine in tempo reale. Come musicista e artista visivo, porta avanti diversi progetti personali: il duo
"t.e.s.o.", i gruppi “Studio Murena”, "Bo!led" e "Overlap".
2
  Nel 2015, l’installazione audiovisiva “neMachine”, ideata e prodotta insieme a Jacopo Biffi, per la quale ci
eravamo chiesti come le dinamiche di integrazione tra il pubblico presente nell’installazione potessero influenzare
un sistema musicale generativo in continua evoluzione. Nel 2016, partendo dall’idea di “neMachine,” la creazione
di “Structural constellation I”, una composizione grafica per due o più strumentisti, nella quale il processo veniva
ribaltato.
3
  L’installazione è stata successivamente presentata nel novembre 2018 alla Commenda di Prè (Genova), al Mare
culturale urbano di Milano (2018), a MIART (Milano Art Week) 2019.

2

Ricerche visivo-musicali

Lo studio e la sperimentazione del rapporto tra la percezione visiva e quella sonora hanno una
storia complessa e molto interessante da tracciare. A tal proposito, il compositore e musicologo
Hellmuth Christian Wolff scriveva: “la distinzione tra vedere e udire, per quanto rilevante, non
ne impedisce la reciprocità dal punto di vista fisiologico”.4 Senza dubbio, una delle connessioni
più note tra occhio e orecchio è la sinestesia, un’esperienza percettiva in cui gli stimoli
presentati in una modalità evocano spontaneamente sensazioni non direttamente correlate ad
essa. Attraverso questo processo, per alcune persone (si stima che solo il 4% della popolazione
mondiale provi percezioni sinestetiche5), è possibile “udire i colori”.

I primi tentativi di tradurre visivamente (o meglio, pittoricamente) effetti musicali sono
antichissimi: le possibilità di coordinazione tra musica e colori erano ben note già nelle antiche
culture cinesi e indiane. In epoca barocca si diffuse l’idea di un’armonia del mondo, di cui sono
esempio gli esperimenti di Isaac Newton intorno alla coincidenza dei sette colori dello spettro
con gli intervalli di una scala musicale e con i sette pianeti. Tali esperimenti seguivano quelli
dell’erudito gesuita Athanasius Kircher, che cercò di stabilire una corrispondenza tra colori e
intervalli musicali. Successivamente, Goethe ricercò un’armonia dei colori visivamente
evidenziabile, e nella sua Teoria dei colori ne mise in luce gli effetti fisico-spirituali. Nel 1725,
il matematico francese Louis-Bertrand Castel pensò di riprodurre brani musicali su tappeti in
forme astratte, seguendo un’intuizione avanguardista che, purtroppo, non andò mai oltre lo
stato di progetto. Pochi anni dopo, nel 1738, Castel costruì il celebre pianoforte a colori
(clavecin pour les yeux), di cui il filosofo Moses Mendelssohn voleva servirsi per la creazione
artificiale di passioni umane, e due anni dopo, nel 1740, scrisse un trattato sulla melodia dei
colori chiamato Optique des couleurs.6

Nel 1802, P. O. Runge sottendeva la forma della fuga alla struttura figurativa nel suo quadro
“Lehrstunde der Nachtigall”, mentre nel 1866 James Whistler attribuì temi musicali ai suoi
quadri, nello stesso modo in cui gli impressionisti francesi chiamavano i loro quadri “harmonie
rose” o “harmonie verte”, richiamando il concetto di armonia musicale.7 Sempre di Whistler,
“Symphony in White” (1861-63) sviluppa il concetto di sinfonia nell’elaborazione di un solo
colore: il bianco. Interessante l’individuazione di un parallelismo storico con la “Symphonie
Monoton-Silence” di Yves Klein, composta nel 1949 e diretta un’unica volta il 9 marzo 1960,
durante un happening alla galleria di Arte contemporanea di Parigi.

4
  Hellmuth Christian Wolff, “La musica e La pittura moderna,” Quaderni della Rassegna Musicale 4 (1968),
149–65.
5
  David Brang e V. S. Ramachandran, “Survival of the Synesthesia Gene: Why Do People Hear Colors and
Taste Words?” PLOS Biology 9, n. 11 (22 Novembre, 2011).
6
  Per una panoramica storica dei rapporti tra musica e colori, si veda Jörg Jewanski, “Colour and Music,” in
Grove Music Online (Oxford University Press, 2001).
7
  V. C. Monet, “Le bassin aux nympheas: harmonie rose” (1900).

3

Uno degli artisti novecenteschi che lavorò maggiormente sul rapporto tra musica e pittura, fu
sicuramente Wassily Kandinsky. In tutti i suoi scritti parla parallelamente di concetti pittorici
e musicali. In particolare, nel libro Lo spirituale nell’arte (1911), egli dedica un intero capitolo
al “linguaggio dei colori”, dove elabora una teoria armonica del gradiente, per cui a particolari
colori corrispondono particolari timbri o situazioni musicali. Per Kandinsky, l’espressione
artistica è una conseguenza naturale della percezione della realtà.8

Generalmente la più grande distinzione che viene fatta tra la musica e le arti visive è
l’individuazione della prima come arte temporale e la seconda come arte spaziale. Kandinsky
fu uno dei primi ad andare oltre questa distinzione. A quel punto la pittura e la musica non
venivano più distinte dall’artista, che iniziò a intendere ogni forma d’arte come pura creazione
spirituale operante su basi comuni.

Sempre a inizio ‘900, il movimento futurista, nato in Italia nel 1909, comprendeva alcuni artisti
particolarmente interessati alla ricerca visivo-musicale. Uno di questi è Giacomo Balla, che nel
1913 dipinse “Forma rumore” come rappresentazione visiva dei suoni creati dagli intonarumori
del collega futurista Luigi Russolo. Nel 1915 Fortunato Depero dipinse “Complesso plastico
motorumorista a luminosità colorate e spruzzatori”, un progetto per la creazione di una
macchina visivo-musicale.

Anche il movimento dadaista, antiartistico, provocatorio e musicalmente giocoso, organizzava
spesso spettacoli performativi-musicali al Cabaret Voltaire. L’interesse dei suoi artisti verso il
mondo musicale emerge attraverso alcune celebri opere, quali “Erratum musical” (1913) di
Marcel Duchamp, “Jazz” (1919) e “Ingre’s Violin” (1924) di Man Ray. Sempre nello stesso
anno, ricollegabile però alla corrente cubista, Fernand Legèr concepì il film Ballet Mecanique,
una delle prime opere multimediali della storia. Il compositore George Antheil venne incaricato
di comporre il brano che si sarebbe sincronizzato alle immagini durante la proiezione del
filmato.

Inoltre, il movimento del De Stijl sviluppò alcune opere in relazione col mondo musicale. Piet
Mondrian cercava di portare su tela il ritmo musicale della musica jazz, di cui lui era un
appassionato ascoltatore e ballerino. Arrivò a rappresentare maggiormente le due arti in
“Brodway Boogie Woogie” (1942-43) e “Victory Boogie Woogie” (incompiuto, 1942-44),
dove giunge alla massima scomposizione della forma, spezzettando le linee e i pezzi di
superficie, ottenendo una vibrazione dinamica musicale di tutto il quadro.

All'inizio degli anni '60, a New York il movimento Fluxus iniziò ad unire e ad avvicinare
sempre di più le arti, ad esempio in uno dei primi happening (lo “Untitled Event” organizzato
da John Cage) il pianista David Tudor suonava mentre si esibiva il ballerino Merce
Cunningham; allo stesso tempo la poetessa Mary Caroline Richards declamava i suoi versi e
sulle pareti, di fianco ai “White panel” di Robert Rauschenberg, venivano proiettate delle
immagini cinematografiche. La novità più importante fu, però, il fatto che il pubblico non era

8
    Vasilij Kandinskij, Lo spirituale nell’arte (Milano: SE, 2005).

4

seduto frontalmente rispetto alla performance, bensì era libero di muoversi per tutto lo spazio
liberamente.

Sempre all’inizio degli anni ’60, con l’avvento della video art, il mondo sonoro e visivo si
avvicinarono ancora di più attraverso le installazioni di Nam June Paik (artista di Fluxus), che
utilizzava le televisioni per sintetizzare in tempo reale il suono. Alcune opere di questo tipo
sono: “Sound Wave input on two TVs (Vertical Horizontal)” (1963-1995), “TV experiments
(Mixed Microphone)” (1963/1969-1995) e “Zen for Tv” (1963-1995). A proposito di queste
opere Paik disse: “La televisione non è solo l’applicazione e l’estensione della musica
elettronica a un medium ottico, bensì si mette in contrasto con la musica elettronica (almeno
ad uno stato iniziale), la quale mostra determinata tendenza nel suo metodo compositivo seriale
così come nella sua forma ontologica (nel senso delle registrazioni ripetute sul nastro)”.9

Negli anni immediatamente successivi iniziarono anche i primi esperimenti con la light art,
Paul Sharits con la sua opera “Shutter interface” (1975) ad esempio voleva rappresentare
visivamente le sensazioni prodotte dal suono tramite la luce, diffuse contemporaneamente in
tempo reale. Marian Zaazela e La Monte Young creano invece “Dream House” nel 1962, una
delle prime installazioni sonore-luminose della storia. Difficile non trovare un’analogia tra
questa ricerca e quella effettuata da molti artisti già diversi anni prima, tra i quali Aleksandr
Skrjabin fu uno dei primi.10

Oggi, in particolare nel panorama underground e non della musica elettronica è facilissimo
imbattersi in concerti audiovisivi, performance multimediali, installazioni immersive. Allo
stesso modo, nel mondo della musica pop-rock, è difficile imbattersi in concerti che non
abbiano a supporto della performance musicale una parte visiva (costituita da led-wall,
proiezioni, coreografie ed effetti speciali). Allo stesso tempo, nel mondo delle gallerie e delle
biennali le esposizioni hanno iniziato a dare sempre più spazio a installazioni multimediali e
performance audiovisive. In Italia, una delle realtà che ha reso possibile una performance
emblematica è l’Hangar Bicocca, che nel 2012 ha esposto e prodotto l'installazione (e
performance audiovisiva) “unidisplay” di Carsten Nicolai, musicista tedesco conosciuto sotto
lo pseudonimo di Alva Noto. Probabilmente il mondo della musica e dell'arte visiva non sono
mai stati così vicini come in questo periodo storico, nel quale grazie alla tecnologia è sempre
più facile costruire ambienti immersivi.

Uno degli artisti che mi ha maggiormente influenzato e che si pone esattamente in bilico tra
l’arte contemporanea e la performance musicale è senza dubbio Ryoji Ikeda, performance artist
e autore di installazioni immersive in tutto il mondo, da Times Square a New York al Centre
Pompidou di Parigi. La sua ricerca nasce da elementi semplici, minimali: i suoi video sono
costituiti unicamente da elementi geometrici spesso ridotti a sole linee e rettangoli. Come detto

9
  Nam June Paik, “Exposition of Music – Electronic Television [Leaflet for the Exhibition],” 1963,
http://www.medienkunstnetz.de/works/exposition-of-music/?desc=full.
10
   Su Skrjabin e i suoi antecedenti si veda Benedetta Saglietti, “Dal clavecin oculaire di Louis Bertrand Castel al
clavier à lumières di Alexandr Skrjabin,” in Metamorfosi dei Lumi vol. 6 : Le belle lettere e le scienze, ed.
Simone Messina e Paola Trivero (Torino: Accademia University Press, 2017), 187–205.

5

precedentemente, è stato proprio grazie a un suo lavoro che ho iniziato a sviluppare i miei primi
lavori audiovisivi.

I miei primi esperimenti si focalizzavano in particolar modo sul rapporto in tempo reale e in
sincrono tra suono e video, col tempo ho avuto la possibilità di lavorare a progetti molto diversi
tra loro. Ho selezionato cinque lavori che credo esprimano coerentemente le diverse modalità
con cui il mondo musicale può rapportarsi oggi con quello visivo.

STUDIO MURENA / MARMO [2020]
https://www.youtube.com/watch?v=p28bI3MYaoc

Il primo lavoro scelto è un videoclip, nel quale il video cerca di rendere visivamente un lavoro
scritto e concluso in precedenza. Solitamente, in questo tipo di lavoro l’immagine viene
costruita successivamente al lavoro musicale. Come esempio ho scelto il videoclip di Marmo,
per il quale ho composto la musica insieme al resto del gruppo Studio Murena e per il quale ho
prodotto il video.

Il video nasce dalle note di copertina del brano:
Un amore che ha gli occhi di diamante, vede la verità dietro le bugie, come marmo.
Accecato, nella piazza, come una stella che esplode nella notte, cerco la salvezza.

A partire dalla visione musicale e lirica ho cercato di costruire un ambiente visivo che potesse
accompagnare nel miglior modo possibile il brano: la scelta è ricaduta su un lavoro che unisce
immagini astratte e concrete per la creazione di un mondo a metà strada tra lo spazio urbano e
quello onirico.

RESPIRATION [2020]
https://www.youtube.com/watch?v=41LckuUz_qg&feature=youtu.be

Questo secondo esempio è invece un lavoro “audiovisivo” che, pur essendo anch’esso
costituito da un video su supporto fisico “fisso” e quindi non soggetto a modifiche successive,
si differenzia dal videoclip poiché in questo caso il lavoro video e audio vengono costruiti
insieme, con l'intento di creare un'opera nella quale le due parti abbiano la stessa importanza.
Il video scelto è un'opera audiovisiva creata per un concorso indetto dalla Biennale di Venezia
di Architettura 2020 (posticipata al 2021). Questo progetto si sviluppa a partire da un
ragionamento su un processo tanto semplice quanto vitale per la nostra esistenza: il respiro.
Credo sia interessante riflettere su come tutto quello che ci circonda metta in atto un continuo
processo di respirazione. Come l'essere umano, così una pianta, un edificio e addirittura una
città respirano. Respirare significa introdurre qualcosa in un organismo in modo che avvenga
una trasformazione, di fondamentale importanza per la nostra vita e per la vita del pianeta
stesso, poiché respirare permette di creare un equilibrio. Nel mio pensiero e nel mio lavoro
questo processo risiede nella trasformazione di quello ci circonda: è un modus operandi che
affonda le sue radici nella rielaborazione, un “respirare” continuo, analogo al modo in cui nella
musica jazz un giro armonico o un tema melodico si aprono a infinite rielaborazioni. In questo

6

lavoro tutto nasce da un processo di rielaborazione e di trasformazione. Tutto il lavoro, sia
musicale che visivo è nato unicamente dalla registrazione della batteria. Da questo primo
processo di “respirazione” è iniziata la costruzione del lavoro. Dalla struttura ritmica ricostruita
attraverso l’elaborazione dei campioni audio sono nate la struttura armonica, la struttura
melodica e la forma musicale finale. Dall’architettura musicale è nata l’architettura visiva,
disegnata digitalmente in 3D, che “inspira” la struttura musicale e la “espira” in forma visiva
strutturale. Tutti questi elementi vanno a formare un unicum che si presenta come un punto di
sviluppo nato da un unico seme iniziale, pronto a sua volta per una futura trasformazione.

TRANSITIONS-DAYKODA [2020]
https://www.youtube.com/watch?v=8IkhysDfaWk

Nel caso dei “live visual”, cioè video proiettati in tempo reale durante una performance, il
lavoro è sostanzialmente diverso. In questo caso i video vengono generati in tempo reale
utilizzando software di modellazione 3D o 2D e spesso vengono modificati ulteriormente
utilizzando i dati musicali (intensità, frequenza, etc.) raccolti in tempo reale tramite un
microfono o un ingresso di linea. Come sottolineato precedentemente, questo tipo di “arte in
diretta” non è certamente nuovo: artisti come Ryoji Ikeda creano performance audiovisive in
tempo reale dagli anni ‘90.
Nel mondo della video-arte è emblematico il “TV Buddha” di Nam June Paik del 1985. L'opera
è costituita da un’antica statua del Buddha in legno dorato che osserva la propria immagine,
proiettata in tempo reale sullo schermo di un monitor televisivo a tubo catodico. La suddetta
opera prevede anche l’interazione con il pubblico, che, avvicinandosi all’opera, viene ripreso
da una telecamera posta sul monitor, entrando a far parte dell’opera stessa cui sta rivolgendo il
suo sguardo. La video-installazione suggerisce, dunque, una riflessione critica sulla TV come
mezzo di trasformazione dei comportamenti degli individui, facendo emergere le dinamiche
seduttive, spesso subliminali, di una tecnologia di ripresa e distorsione della realtà e della sua
immagine in quanto televisione. Quest’ultima è a sua volta intesa come creatrice di un
immaginario in grado di sovrapporsi alla realtà stessa. In questo caso ho scelto una
registrazione di un “live visual” creato per il concerto di Daykoda al Biko di Milano nel
febbraio 2020.

OVERLAP LIVE @LAC LUGANO [2020]
https://www.youtube.com/watch?v=xM9dtwrXjK4

Rispetto all’arte audiovisiva in diretta, il “concerto installativo” è concettualmente adiacente:
solitamente esso si differenzia dai “live visual” per la specificità del luogo per il quale la
performance viene creata (“site specific”) e per la presenza solitamente di un terzo elemento
che si aggiunge (non obbligatoriamente) all'audio e al video. Questo elemento può essere
costituito, ad esempio, da una struttura creata ad hoc, così come nel caso della performance
Overlap, presentata al LAC di Lugano nel gennaio 2020. Come nelle performance di Fluxus,
anche in questo caso il pubblico era libero di muoversi nella stanza per poter interagire con la
performance.

7

Progettato e prodotto insieme alla sassofonista Marina Notaro e al bassista e musicista
elettronico Maurizio Gazzola, il progetto è nato nel 2018 con lo scopo di sperimentare diverse
modalità dialogiche tra strumentisti provenienti da un diverso ambito musicale d’appartenenza,
unendo i linguaggi strumentali classici e sperimentali, e la video arte, in un contesto che si pone
esattamente a metà strada tra un concerto musicale e un’installazione multimediale. La
performance live viene proposta in forma ibrida di installazione multimediale: il concerto si
svolge una struttura costruita appositamente per lo spazio dove viene proposta e su cui vengono
proiettati contemporaneamente due proiezioni che interagiscono con la musica. Si crea così
un’interazione narrativa, svincolata da puri collegamenti sinestetici, per arrivare a un livello di
narrazione liberato dalla sincronia accademica e aperto costantemente a dialoghi sempre nuovi.

Conclusioni

L’universo audiovisivo è in continua evoluzione e gli artisti di tutto il mondo esplorano ogni
giorno, ampliandole, le possibilità offerte dal virtuale e dal digitale. Il recente esodo forzato
della dimensione dei concerti verso le terre del video digitale ha comportato la creazione di
contenuti incredibilmente innovativi: si pensi, ad esempio, al live streaming interattivo su
Fortnite del concerto di Travis Scott, seguito in contemporanea da milioni di persone, oppure
ai numerosi festival musicali in streaming, nei quali i visual si sono fusi sempre meglio ai
musicisti immersi in ambienti interattivi virtuali in tempo reale. Negli ultimi anni anche il
mondo dell’opera, che è sempre stato all’avanguardia per quanto riguarda la scenografia, si è
aperto ai led-wall e a numerose soluzioni altamente tecnologiche, come si è visto negli
spettacoli inaugurali degli ultimi due anni al Teatro alla Scala di Milano, ciò che ha permesso
la realizzazione di allestimenti senz’altro spettacolari. Quando si potrà tornare ai concerti dal
vivo - ipotesi che a maggio 2021 sembra ancora lontana, al di là degli esperimenti sociali (come
il concerto a Barcellona con 5.000 spettatori11) - le nuove tecnologie nel campo della proiezione
olografica, già viste nell’ultimo periodo durante alcuni show di musica elettronica, apriranno
le porte a soluzioni sbalorditive e permetteranno di creare nei prossimi anni contenuti mai visti
prima.

11
   “Il concerto con 5mila persone a Barcellona è stato un successo,” Il Post, 27 aprile 2021,
http://www.ilpost.it/2021/04/27/concerto-barcellona-coronavirus-contagi/.

8

                                         Bibliografia

Brang, David, and V. S. Ramachandran. “Survival of the Synesthesia Gene: Why Do People
       Hear Colors and Taste Words?” PLOS Biology 9, n. 11 (22 November, 2011).
       https://doi.org/10.1371/journal.pbio.1001205.
“Il concerto con 5mila persone a Barcellona è stato un successo.” Il Post, 27 aprile 2021.
       http://www.ilpost.it/2021/04/27/concerto-barcellona-coronavirus-contagi/.
Jewanski, Jörg. “Colour and Music.” In Grove Music Online. Oxford University Press, 2001.
       http://www.oxfordmusiconline.com/grovemusic/view/10.1093/gmo/9781561592630.0
       01.0001/omo-9781561592630-e-0000006156.
Kandinskij, Vasilij. Lo spirituale nell’arte. Milano: SE, 2005.
Paik, Nam June. “Exposition of Music – Electronic Television [Leaflet for the Exhibition],”
       1963. http://www.medienkunstnetz.de/works/exposition-of-music/?desc=full.
Saglietti, Benedetta. “Dal clavecin oculaire di Louis Bertrand Castel al clavier à lumières di
       Alexandr Skrjabin.” In Metamorfosi dei Lumi vol. 6 : Le belle lettere e le scienze, edited
       by Simone Messina and Paola Trivero, 187–205. Torino: Accademia University Press,
       2017. http://books.openedition.org/aaccademia/2146.
Wolff, Hellmuth Christian. “La musica e la pittura moderna.” Quaderni della Rassegna
       Musicale 4 (1968): 149–65.