Realizzare un Cortometraggio con
l’INTELLIGENZA ARTIFICIALE

Articolo 9 

Come animare un’immagine statica, scegliere un movimento credibile
e limitare deformazioni e trasformazioni indesiderate

 

Trasformare un’immagine statica in una breve sequenza video è una delle possibilità più interessanti dell’Intelligenza Artificiale applicata alla realizzazione di un cortometraggio. Un singolo fotogramma può diventare l’inizio di un movimento di macchina, un personaggio può respirare, voltarsi o compiere un piccolo gesto, una tenda può muoversi per il vento, la luce può cambiare lentamente ed un ambiente completamente immobile può acquistare profondità.

Ma proprio qui nasce uno degli errori più comuni di chi comincia: pensare che “animare un’immagine” significhi semplicemente chiedere all’IA di far muovere tutto. È quasi il contrario.

Nella maggior parte dei casi, per ottenere un risultato credibile bisogna far muovere meno elementi possibile, ma scegliere molto bene quali.

Una buona sequenza generata da un’immagine statica non dovrebbe dare allo spettatore la sensazione:  “Questa fotografia è stata animata dall’IA.”

Dovrebbe sembrare invece un normale frammento di film:  “Questa scena è stata ripresa con una macchina da presa.”

La differenza è fondamentale.

 

* CHE COS’È L’IMAGE TO VIDEO

Con l’espressione image to video, cioè “dall’immagine al video”, si indica un processo nel quale un’immagine già esistente viene utilizzata come fotogramma di riferimento per generare una breve sequenza animata.

L’immagine di partenza può essere:

• una fotografia reale;
• un’immagine generata dall’IA;
• una concept image (cioè un disegno, un bozzetto);
• un frame tratto da uno storyboard;
• una composizione creata in grafica;
• un’immagine ottenuta mescolando fotografia e generazione artificiale.

L’IA deve interpretare quella singola immagine ed immaginare ciò che potrebbe avvenire nei fotogrammi successivi.

Ed è proprio questo il problema.

Da una sola fotografia il sistema non può conoscere realmente:

• cosa esiste dietro un personaggio;
• come è costruita la parte del corpo che non si vede;
• che cosa c’è fuori campo;
• come si muoverebbe realmente un vestito;
• come cambia un volto quando si gira;
• quale sia la vera profondità della stanza;
• come dovrebbe comportarsi una mano nascosta;
• quale sia la prospettiva corretta di un oggetto quando la macchina si sposta.

L’IA deve ricostruire tutto attraverso una previsione.

Più le chiediamo di inventare, maggiore diventa il rischio di errore.

 

* L’IMMAGINE DI PARTENZA È GIÀ MEZZA REGIA

Una delle regole più importanti di tutto il processo è questa:  la qualità dell’animazione dipende moltissimo dalla qualità narrativa e compositiva dell’immagine iniziale.

Non basta che l’immagine sia bella. Deve essere adatta a diventare movimento.

Una fotografia molto spettacolare può essere pessima come base per un video se contiene:

• mani nascoste;
• personaggi sovrapposti;
• oggetti tagliati;
• corpi in pose impossibili;
• capelli che coprono completamente il volto;
• molti elementi minuti;
• folle;
• riflessi complessi;
• testi;
• specchi;
• pose congelate difficili da proseguire.

Al contrario, un’immagine più semplice può generare un video molto più convincente.

 

* PROGETTARE L’IMMAGINE PRIMA DI ANIMARLA

Quando sappiamo già che un’immagine dovrà essere trasformata in video, conviene costruirla pensando alla futura animazione.

Per esempio, se vogliamo far alzare una donna da una sedia, sarebbe utile vedere:

• entrambe le gambe;
• almeno parte dei piedi;
• entrambe le mani;
• la sedia in modo chiaro;
• spazio libero davanti a lei;
• una postura iniziale fisicamente plausibile.

Se invece generiamo una donna seduta con una mano nascosta dietro un tavolo, gambe fuori campo ed un vestito molto complesso, chiedere successivamente: “La donna si alza e cammina verso la finestra” obbligherà il modello AI a inventare troppe informazioni.

Da qui una regola pratica:  prima di chiedere un movimento, chiediamoci se l’immagine contiene abbastanza informazioni per consentirlo.

 

* I TRE TIPI DI MOVIMENTO

Quando si anima un’immagine è utile distinguere tre categorie.

- Movimento della macchina da presa

È il movimento dell’inquadratura, che può essere:

• push-in;
• pull-back;
• pan;
• tilt;
• dolly laterale;
• orbit;
• handheld;
• crane;
• zoom simulato.

- Movimento del personaggio

È ciò che compie l’attore:

• respirare;
• sbattere le palpebre;
• voltare leggermente la testa;
• guardare qualcuno;
• alzare una mano;
• sorridere;
• sedersi;
• alzarsi;
• camminare.

- Movimento dell’ambiente

Comprende:

• vento;
• tende;
• capelli;
• foglie;
• pioggia;
• fumo;
• vapore;
• acqua;
• luci;
• riflessi;
• persone sullo sfondo.

Il problema nasce quando chiediamo contemporaneamente:

• movimento della camera;
• movimento complesso del protagonista;
• movimento del secondo personaggio;
• movimento dello sfondo;
• cambiamento della luce;
• trasformazione dell’ambiente.

Ogni elemento aumenta l’incertezza.

Per un cortometraggio è generalmente preferibile assegnare alla scena un movimento principale ed uno o due movimenti secondari.

 

* IL PRINCIPIO DEL MOVIMENTO MINIMO CREDIBILE

Una delle tecniche più efficaci consiste nel chiedersi:  qual è il minimo movimento necessario perché questa immagine sembri viva?

Immaginiamo un uomo seduto davanti ad una finestra dopo aver ricevuto una cattiva notizia.

Non serve necessariamente:

• farlo alzare;
• farlo camminare;
• farlo piangere;
• fargli prendere il telefono;
• fargli aprire la finestra.

Può essere sufficiente:

• un respiro profondo;
• un piccolo abbassamento dello sguardo;
• le dita che stringono lentamente il telefono;
• una tenda che si muove;
• un leggerissimo push-in della camera.

Questo può risultare molto più cinematografico di un movimento complesso.

Il cinema non vive soltanto di azioni grandi.

Vive spesso di microazioni.

 

* I MICRO-MOVIMENTI SONO PREZIOSI

I micro-movimenti comprendono:

• respirazione;
• battito delle palpebre;
• oscillazione minima del busto;
• piccolo movimento delle labbra;
• spostamento dello sguardo;
• dita che cambiano posizione;
• capelli mossi leggermente dal vento;
• tessuto che reagisce al respiro;
• piccola variazione della luce.

Sono particolarmente adatti per:

• primi piani;
• drammi;
• scene sentimentali;
• thriller psicologici;
• scene silenziose;
• momenti di attesa.

Un volto quasi immobile è anche più facile da mantenere coerente.

 

* PRIMO PROBLEMA - IL VOLTO CHE CAMBIA

Uno dei difetti più evidenti nei video generati da IA è la trasformazione progressiva del volto.

Il personaggio può partire con:

• un certo naso;
• una determinata forma degli occhi;
• una certa età;

e dopo alcuni secondi avere caratteristiche leggermente differenti.

È il problema della temporal consistency, cioè della coerenza temporale.

Perché accade

L’IA deve generare continuamente nuovi fotogrammi. Quando il volto:

• ruota molto;
• viene coperto;
• cambia fortemente espressione;
• esce parzialmente dall’inquadratura;
• si allontana;

il modello deve ricostruirlo.

Ogni ricostruzione introduce possibilità di variazione.

Come ridurre il problema

Occorre preferire quindi:

• piccoli movimenti della testa;
• rotazioni inferiori a 20-30 gradi;
• volto sempre leggibile;
• illuminazione abbastanza costante;
• camera non troppo rapida;
• sequenze brevi;
• una sola espressione dominante.

Meglio:  “La donna abbassa lentamente lo sguardo e poi torna a guardare davanti a sé.”

Piuttosto che:  “La donna si gira completamente, cammina fino alla porta, poi si volta verso la camera sorridendo.”

Nel secondo caso il volto deve essere ricostruito troppe volte.

 

* SECONDO PROBLEMA - LE MANI

Le mani sono difficili perché hanno:

• cinque dita;
• molte articolazioni;
• movimenti molto rapidi;
• frequenti sovrapposizioni;
• contatto con oggetti.

Una mano perfettamente corretta nell’immagine iniziale può deformarsi durante l’animazione.

Come proteggerle

Se la mano non è narrativa, evitare di renderla protagonista.

Meglio avere:

• mani appoggiate;
• movimenti semplici;
• oggetti grandi;
• gesti lenti;
• mani non troppo vicine alla camera.

Più rischioso invece è:

• digitare;
• allacciarsi le scarpe;
• accendere una sigaretta;
• maneggiare monete;
• scrivere;
• suonare strumenti;
• cucire;
• infilare piccoli oggetti;
• gesticolare rapidamente.

Se una determinata azione manuale è indispensabile, può essere più efficace generare un’inquadratura separata di dettaglio.

Questo è vero cinema: non dobbiamo obbligare una sola inquadratura a raccontare tutto.

 

* TERZO PROBLEMA - CAMMINARE

Camminare sembra semplice, ma è un movimento estremamente complesso.

Richiede coerenza tra:

• bacino;
• ginocchia;
• piedi;
• braccia;
• bilanciamento;
• prospettiva;
• contatto col terreno;
• velocità;
• ombre.

Le IA possono produrre:

• piedi che scivolano;
• gambe che cambiano dimensione;
• passi irregolari;
• corpi che sembrano galleggiare.

Soluzione cinematografica

Non sempre dobbiamo mostrare tutto il corpo.

Possiamo usare, ad esempio:

• mezzo busto;
• camera che precede il personaggio;
• ripresa alle spalle;
• dettaglio dei piedi separato;
• campo largo per pochi secondi;
• teleobiettivo simulato;
• personaggio parzialmente nascosto.

Una camminata può essere costruita attraverso tre inquadrature:

1. primo piano mentre il personaggio decide di partire;
2. dettaglio della mano che prende la borsa;
3. campo lungo del personaggio che attraversa la strada.

È più credibile ed anche più cinematografico.

 

* QUARTO PROBLEMA - IL PERSONAGGIO CHE SI TRASFORMA

Un errore tipico nasce quando il prompt contiene parole troppo aperte:  “Il personaggio cambia espressione drasticamente.” Oppure: “La donna diventa molto triste.”, come pure: “L’uomo sembra trasformato dalla paura.”

L’IA può interpretare il “trasformato” letteralmente in cose molto diverse.

Meglio descrivere comportamenti osservabili.

Non:  “Diventa triste.”

Ma:  “Il sorriso scompare lentamente, lo sguardo si abbassa e le spalle cedono appena.”

Non:  “Diventa terrorizzato.”

Ma:  “Smette di respirare per un istante, gli occhi si allargano leggermente e fa un piccolo passo indietro.”

Il cinema mostra comportamento.

Non si deve chiedere all’IA emozioni astratte.

 

* QUINTO PROBLEMA - GLI OGGETTI CHE CAMBIANO FORMA

Un telefono può diventare:

• più grande;
• più piccolo;
• di colore diverso;
• con tasti inesistenti.

Un bicchiere può:

• cambiare forma;
• fondersi con la mano;
• scomparire.

Una fotografia può modificare il volto raffigurato.

Gli oggetti complessi sono particolarmente instabili quando vengono mossi.

Come ridurre il problema

Occorre descrivere molto chiaramente:

• quale oggetto deve restare identico;
• chi lo tiene;
• come si muove;
• quali elementi non devono trasformarsi.

E soprattutto mantenere l’azione semplice.

Esempio:  “L’uomo mantiene lo stesso smartphone nero nella mano destra ed abbassa lentamente il telefono verso il tavolo.”

È molto più controllabile di:  “L’uomo guarda il telefono, lo gira, scrive un messaggio, lo passa alla donna e poi lo mette in tasca.”

 

* SESTO PROBLEMA - LO SFONDO CHE SI DEFORMA

Un ambiente statico può iniziare a cambiare quando la camera si muove.

Finestre, porte, quadri e mobili possono:

• scivolare;
• cambiare proporzione;
• moltiplicarsi;
• scomparire.

Questo accade soprattutto durante:

• forti dolly laterali;
• orbit (cioè quando la telecamera gira in tondo attorno al soggetto, tenendolo sempre al centro dell'inquadratura mentre lo sfondo naturalmente cambia);
• rotazioni;
• movimenti molto ampi.

Perché

La fotografia contiene informazioni solo da un punto di vista. Quando la camera “si sposta”, l’IA deve inventare ciò che non era visibile.

Un push-in richiede relativamente poca ricostruzione.

Un movimento orbitale di 90 gradi ne richiede moltissima.

 

* I MOVIMENTI DI CAMERA PIÙ SICURI

Per chi comincia, conviene privilegiare determinati movimenti.

- Push-in lento

La macchina si avvicina lentamente al soggetto.

È ottimo per:

• tensione;
• scoperta;
• emozione;
• introspezione;
• thriller.

Esempio:  Una donna osserva una lettera.

La camera avanza lentamente verso il volto mentre lei comprende ciò che ha letto.

È uno dei movimenti più affidabili perché non obbliga il sistema ad inventare molto spazio laterale.

- Pull-back lento

La camera arretra.

Serve per:

• rivelare solitudine;
• aumentare distanza emotiva;
• mostrare ambiente;
• concludere una scena.

Esempio:  Un uomo rimane seduto dopo che la moglie è uscita.

La camera arretra lentamente e mostra il tavolo apparecchiato per due.

- Pan molto leggero

Piccolo movimento orizzontale.

Può rivelare:

• una seconda persona;
• un oggetto;
• una porta;
• un elemento del paesaggio.

Meglio limitarlo a pochi gradi.

- Tilt leggero

Movimento verticale.

Può partire:

• da un oggetto verso il volto;
• dai piedi verso il personaggio;
• dal personaggio verso il cielo.

Anche qui è preferibile una corsa breve.

- Camera fissa

È sottovalutata.

Una camera completamente ferma con:

• l'attore che respira;
• una tenda che si muove;
• pioggia;
• fumo;
• movimento dello sfondo;

può risultare molto cinematografica.

E soprattutto limita drasticamente le deformazioni.

 

* MOVIMENTI PIÙ RISCHIOSI

- Orbit

La camera gira intorno al soggetto.

Spettacolare, ma richiede al modello di inventare:

• parte posteriore del personaggio;
• ambiente laterale;
• prospettiva nuova;
• luce da punti differenti.

Da usare soltanto in scene semplici.

- Dolly laterale ampio

Può deformare:

• muri;
• porte;
• mobili;
• anatomia.

Meglio un movimento breve.

- Camera a mano molto nervosa

Può produrre:

• deformazioni;
• interpolazioni sbagliate;
• soggetti instabili.

Se si desidera effetto handheld, chiedere:  “camera a mano molto leggera, naturale, micro-movimenti realistici”

e non:  “camera nervosa e caotica”.

 

* COSTRUIRE IL PROMPT VIDEO

Un prompt efficace dovrebbe contenere soprattutto quattro informazioni:

1. cosa fa il personaggio;
2. cosa fa la camera;
3. cosa succede nell’ambiente;
4. cosa deve restare stabile.

Per esempio:

“La donna resta seduta al tavolo. Respira lentamente e abbassa appena lo sguardo verso la fotografia che tiene tra le mani. La camera esegue un leggerissimo push-in cinematografico. La tenda sullo sfondo si muove dolcemente per il vento. Il volto, l’abbigliamento, le mani, la fotografia e la disposizione della stanza rimangono invariati.”

Questo è molto più preciso di:  “Anima la foto rendendola cinematografica e drammatica.”

 

* DESCRIVERE IL MOVIMENTO, NON LA STORIA INTERA

L’errore più frequente consiste nel mettere nel prompt l’intera sceneggiatura, come ad esempio: 

“L’uomo riceve un messaggio, capisce che la moglie lo tradisce, si arrabbia, piange, si alza, rompe il telefono e guarda fuori dalla finestra.”

Questa è una sequenza che contiene almeno sei azioni.

Per una clip breve è troppo.  Meglio dividerla: per esempio.

Clip 1

L’uomo legge il messaggio.

Clip 2

Primo piano. Comprende ciò che ha letto.

Clip 3

Appoggia lentamente il telefono.

Clip 4

Campo largo. Rimane solo davanti alla finestra.

Il montaggio farà il resto.

L’IA deve produrre frammenti affidabili.
Il montatore costruirà la scena.

 

* LA DURATA IDEALE DELLE CLIP

Le sequenze più brevi tendono generalmente a mantenere maggiore coerenza.

Per un cortometraggio IA conviene spesso generare clip di:

• 3 secondi;
• 4 secondi;
• 5 secondi;
• 6 secondi.

Una clip da 10 secondi può funzionare, ma aumenta la probabilità che qualcosa inizi a cambiare.

Nel cinema tradizionale, molte inquadrature durano comunque pochi secondi.

Non è quindi in questo caso mostro un limite necessariamente grave.

 

* LA REGOLA DEL PRIMO SECONDO

Il primo secondo deve essere stabile.

Se l’immagine comincia subito con:

• forte movimento;
• rotazione;
• gesto rapido;
• cambio di luce;

l’IA ha meno tempo per stabilizzare visivamente il soggetto.

Una buona soluzione è:

• primo mezzo secondo quasi fermo;
• movimento graduale;
• conclusione rallentata.

Questo aiuta anche il montatore.

 

* NON CHIEDERE TROPPO ALLE ESPRESSIONI FACCIALI

Per un corto drammatico, la tentazione è chiedere:  “Piange disperatamente.”

Questo può produrre volti deformati.

Spesso è cinematograficamente più interessante scrivere:

“Trattiene le lacrime, respira lentamente, gli occhi diventano lucidi.”

Il trattenimento è più semplice da generare e spesso più intenso da vedere.

 

* ESEMPIO PRATICO 1 - IL TRADIMENTO

Immagine iniziale:  un uomo seduto sul divano di notte, telefono acceso in mano. La compagna è appena entrata.

Versione rischiosa

“L’uomo scopre il tradimento, si arrabbia, si alza, mostra il telefono alla donna, urla e lei comincia a piangere.”

Troppi personaggi, troppe azioni, troppe variazioni emotive.

Versione efficace

“L’uomo rimane seduto immobile sul divano e fissa il telefono acceso. Stringe appena la mascella e abbassa lentamente il cellulare. La donna sulla soglia resta ferma, osservandolo con crescente preoccupazione. Leggerissimo push-in verso l’uomo. Tutti i volti, gli abiti e gli oggetti rimangono identici.”

La tensione nasce dal silenzio.

La discussione può iniziare nella clip successiva.

 

_____________________________________
Link alla seconda parte dell'articolo