Dalla Georgia al Nicolini: lo spazio acustico in realtà virtuale
Due periodi alla University of Georgia, fra il 2023 e il 2024: sale ricostruite in 3D ed esplorabili con un visore, suono binaurale e ambisonico, cattura del movimento e dei volti. È la ricerca da cui è nata The Four Turandot.
Il 6 febbraio 2023 Gianmarco è partito per Athens, in Georgia, con un progetto Erasmus: ricostruire le sale del Dancz Center della University of Georgia come aveva già fatto con quelle del Conservatorio Nicolini. Non solo com’erano da vedere, ma come suonavano. Il referente era il professor Peter Van Zandt Lane, della Hodgson School of Music.
Il primo periodo: le sale e il suono
Fra febbraio e aprile 2023 le sale del Dancz Center sono state fotografate, scansionate e modellate in 3D, con più di novemila foto in due mesi, e poi rese esplorabili con un visore in Blender e Unreal Engine 5. Dentro abbiamo provato il suono binaurale e ambisonico, e un sistema visivo di particelle che si muove nello spazio seguendo il suono. Alle lezioni di composizione ne abbiamo fatto due dimostrazioni, per portare questo modo di fare musica anche agli studenti.
Il secondo periodo: i corpi e i volti
Dall’ottobre 2023 al luglio 2024 il lavoro si è spostato sulle persone: la scansione 3D dei volti e la cattura del movimento del corpo, della mimica e delle mani, per portare in realtà virtuale un artista che suona, insieme alla sua musica. Gli strumenti sono lo scanner Revopoint Miraco, OptiTrack, Move AI, Rokoko e Remocapp.
Diventa un progetto
Nell’estate del 2024, di nuovo ad Athens, le prove sulle mani e sui volti, con il riconoscimento del volto aggiunto a Remocapp. A novembre i test con più persone in scena e la delegazione di Milano e Piacenza, che ha fatto della University of Georgia il partner di ricerca del software. Nella partnership Gianmarco ha il titolo di International Collaborator della University of Georgia. A dicembre la prima scansione dei teatri di Shanghai e Daegu.
Da qui sono nati i progetti di internazionalizzazione del Conservatorio, di cui abbiamo la responsabilità scientifica: The Four Turandot e Oriental.
Foto: Dancz Center for New Music, University of Georgia. La sala in concerto è un fotogramma dal loro video del New Music Festival 2026.
