Modulo 7 · Lezione 7.3
Collegare testo, immagini e audio
Un sistema multimodale elabora più tipi di informazione. Può associare una descrizione a un’immagine, trascrivere audio o rispondere a una domanda su un documento visivo.
Compiti diversi, modalità diverse
Nel riconoscimento vocale l’ingresso è audio e l’uscita testo. Nella sintesi vocale il percorso si inverte. Nella ricerca testo-immagine si vogliono ordinare immagini rispetto a una descrizione. La generazione condizionata deve invece produrre un nuovo contenuto coerente con l’ingresso.
Questi compiti possono condividere componenti, ma non sono intercambiabili. Un modello che sa trovare una fotografia pertinente non sa necessariamente descriverne ogni dettaglio.
Come si allineano le rappresentazioni
Una possibilità è usare encoder distinti per testo e immagini, addestrati affinché le rappresentazioni di coppie corrispondenti abbiano alta similarità. È un’applicazione dell’apprendimento contrastivo. Altri sistemi collegano le modalità con attenzione e componenti generative.
La qualità delle coppie conta: una didascalia può nominare il soggetto principale e omettere oggetti secondari. Il modello apprende dalle informazioni presenti nelle coppie di addestramento, comprese queste omissioni.
Due ingressi diversi, uno spazio di confronto
Scorri il disegno in orizzontale per leggerlo tutto.
Un esempio da analizzare
Per trovare una fotografia usando «una persona legge sotto un albero», la ricerca deve collegare parole e contenuto visivo. Un risultato può contenere persona e albero ma ignorare l’azione di leggere. Controllare soltanto la presenza degli oggetti non misura la relazione richiesta.
Anche testo dentro immagini, accenti nell’audio e rumore di fondo richiedono prove dedicate. Un buon risultato su uno di questi compiti non basta a valutare gli altri.
Esempio svolto: cercare una foto usando una frase
Hai tre immagini: una bicicletta rossa, una bicicletta blu e un’automobile rossa. La query è “bicicletta rossa”. Un encoder visivo e uno testuale possono produrre vettori nello stesso spazio di confronto, come nel diagramma. Supponiamo punteggi illustrativi 0,82, 0,76 e 0,61: la prima immagine viene prima nella classifica, ma i punteggi non sono probabilità di correttezza.
Per capire se il modello usa davvero il colore, cambia soltanto la query in “bicicletta blu”. Per capire se usa il tipo di oggetto, chiedi “automobile rossa”. Questi confronti controllati sono più informativi di una sola ricerca riuscita. Se restituisce sempre la stessa immagine, potrebbe aver imparato una somiglianza troppo generica.
Una ricerca contrastiva ordina elementi; un modello che risponde a domande su un’immagine deve anche produrre testo e può usare architetture diverse. Con l’audio cambiano inoltre informazioni disponibili e risoluzione temporale: trascrivere parole, riconoscere suoni e descrivere una scena sonora sono compiti distinti.
Un caso che richiede precisione
Il modello associa bene foto e didascalie generali. Puoi dedurre che conti correttamente cinque biciclette sovrapposte?
Soluzione: No. Riconoscere un argomento e contare oggetti richiedono prove diverse. Costruisci un insieme con conteggi noti, occlusioni e varianti controllate. Lo spazio condiviso è un meccanismo utile, non una garanzia di tutte le capacità multimodali.
Pratica guidata
Progetta tre query discriminanti. Hai le tre immagini dell’esempio: bicicletta rossa, bicicletta blu, automobile rossa. Prepara le query «bicicletta rossa», «bicicletta blu», «automobile rossa» e scrivi il primo risultato atteso per ciascuna. Aggiungi una quarta query che chieda una relazione o un conteggio non verificabile con la sola presenza di un oggetto. Quali coppie isolano colore e categoria?
Come procedere
Cambia un attributo alla volta. Una query che cambia contemporaneamente oggetto e colore non permette di isolare la causa della risposta.
Confronta le prime due per il colore e la prima con la terza per la categoria. Per una relazione servono immagini annotate che la rappresentino davvero.
Confronta la soluzione
I risultati attesi sono rispettivamente le tre immagini nominate. Le prime due query mantengono l’oggetto, la prima e la terza mantengono il colore. Una query come «due biciclette» o «bicicletta dietro l’auto» richiede nuovi casi con conteggi o relazioni noti: non basta una classifica semantica riuscita su nomi. Punteggi come 0,82 restano similarità nel sistema dato, non probabilità di aver soddisfatto tutti gli attributi.
Prova su un caso nuovo
Raccogli immagini e descrizioni che differiscano solo per «davanti/dietro». Decidi prima come attribuire un errore e conserva tutte le coppie, comprese quelle in cui i due ordini contengono le stesse parole.
Controllo del tuo elaborato: Ogni confronto isola una proprietà; la raccolta distingue i casi su oggetti, attributi, relazioni e conteggio.
Dalla pratica al laboratorio
L’approfondimento implementa due encoder e la loss simmetrica, poi usa negativi difficili. Le tue coppie spiegano perché rendere il test più discriminante è necessario anche quando le immagini e i testi condividono uno spazio.
Controlla il ragionamento
Scegli una risposta e leggi la spiegazione.
Un retriever abbina bene foto e nomi di oggetti. Quale prova aggiunge evidenza sulla comprensione delle relazioni?
Compiti multimodali diversi richiedono prove diverse: presenza, attributi, conteggi e relazioni non si deducono l’uno dall’altro.
Rileggi la spiegazioneApprofondimento tecnico facoltativo
Derivazioni e laboratorio
Lezione 7.3. Un generatore condizionato deve usare informazione esterna; un sistema di retrieval deve confrontare oggetti che possono avere rappresentazioni iniziali diverse. Studiamo l’allineamento fra immagini e attributi, rendendo esplicito il significato di una coppia positiva.
Due encoder e uno spazio condiviso
Il laboratorio costruisce dodici figure 8×8: una linea verticale oppure orizzontale, in una delle sei posizioni interne. Le osservazioni aggiungono rumore gaussiano. Ogni figura ha una descrizione leggibile, per esempio «verticale posizione 1», ma l’ingresso del secondo encoder è un vettore strutturato: due componenti one-hot per l’orientamento e sei per la posizione.
L’encoder delle immagini è 64 → 32 → 16, con GELU; quello degli attributi è una matrice 8 → 16 senza bias. Non contiene tokenizer né comprensione del linguaggio libero. Il risultato dimostra l’allineamento fra due modalità di rappresentazione di dodici categorie note.
Normalizziamo gli output dividendo per la loro norma, con protezione numerica. Il prodotto scalare diventa una similarità coseno. Questa normalizzazione limita la possibilità di diminuire la loss aumentando indefinitamente le norme; non rende però automaticamente utile la geometria dello spazio.
La loss simmetrica
Un batch contiene una vista rumorosa per ognuna delle dodici descrizioni. La diagonale della matrice delle similarità rappresenta le coppie corrette:
I_i = fθ(immagine_i) / ||fθ(immagine_i)||
T_j = gφ(attributi_j) / ||gφ(attributi_j)||
S_ij = I_iᵀ T_j / τ
L_I→T = −(1/N) Σ_i log [exp(S_ii) / Σ_j exp(S_ij)]
L_T→I = −(1/N) Σ_j log [exp(S_jj) / Σ_i exp(S_ij)]
L = (L_I→T + L_T→I) / 2
La prima cross-entropy classifica la descrizione corretta per ogni immagine; la seconda classifica l’immagine corretta per ogni descrizione. Una sola direzione non impone lo stesso confronto sulle colonne. Il lavoro CLIP apprende l’allineamento immagine-testo su una scala e su dati molto diversi; qui isoliamo la forma dell’obiettivo senza attribuire al laboratorio quelle capacità.
La temperatura è fissata a 0,1. Per una riga, la derivata rispetto alla similarità non scalata sᵢⱼ è (p_ij − 1[j=i])/τ, oltre al fattore di media. Temperature piccole amplificano le differenze e i gradienti, ma possono rendere il confronto sensibile a esempi ambigui o mal etichettati. La scelta della temperatura modifica quindi anche l’addestramento.
Quando i negativi sono falsi
L’interpretazione «solo la diagonale è corretta» è parte del dataset. Se due righe contengono la stessa categoria, trattare una come negativa dell’altra introduce un conflitto. Se due descrizioni sono sinonime, la stessa difficoltà compare sul lato testuale. Una soluzione è aggregare le probabilità di tutti i positivi nella loss o campionare batch che rispettino l’identità semantica. Non basta deduplicare stringhe identiche.
Nel nostro batch c’è esattamente una descrizione per categoria. L’accuratezza top-1 confronta i 120 nuovi input rumorosi con tutte le dodici descrizioni. Il risultato registrato è 1,0, ma tutte le combinazioni orientamento-posizione erano presenti nel training. È generalizzazione a nuove realizzazioni del rumore, non a nuovi concetti o a composizioni mai viste.
Progettare una prova più difficile
Per misurare generalizzazione composizionale, si potrebbero riservare alcune coppie orientamento-posizione, mantenendo nel training i singoli attributi. Bisogna dichiarare prima quali combinazioni escludere e mantenere separate le viste della stessa figura. Cambiare soltanto il rumore non crea un test composizionale.
Un ulteriore test può usare linee spezzate, rotazioni o sfondi correlati all’etichetta. La domanda diventa quale informazione rappresenta l’encoder: orientamento e posizione oppure indizi di acquisizione. Riprendiamo così la verifica delle scorciatoie del modulo 4. Non riportiamo risultati per questi test, perché non appartengono all’esecuzione registrata.
Il retrieval richiede inoltre una politica per input estranei. Il softmax assegna comunque una distribuzione alle dodici opzioni. Un’immagine di puro rumore riceve lo stesso una risposta top-1: essere il massimo non implica essere una corrispondenza valida. Una soglia di astensione va sviluppata su esempi appropriati, non scelta dopo aver guardato il test.
Derivare il gradiente e trattare più positivi
Per una riga scriviamo L_i=−s_ii/τ+log Σ_j exp(s_ij/τ). Derivando il log-sum-exp si ottiene il softmax, dunque il gradiente riportato sopra. Con due candidati, similarità 0,6 e 0,4 e τ=0,1, la probabilità del primo è 1/(1+exp(−2)) ≈ 0,8808: il gradiente della loss di riga rispetto alla sua similarità è circa −1,192. Se τ scende a 0,05, la probabilità sale a 0,9820 e il gradiente diventa circa −0,360. Il fattore 1/τ cresce, ma cambia anche p: il gradiente effettivo non cresce necessariamente al diminuire di τ.
Anche la normalizzazione ha un ruolo nel backward. Per un vettore non nullo u e v=u/||u||, la Jacobiana è (I−vvᵀ)/||u||. Proietta il gradiente sul piano tangente alla sfera: la componente puramente radiale non cambia la similarità coseno. Vicino a norma zero interviene la protezione numerica del codice; questa formula descrive la regione in cui il denominatore è la norma, senza il limite inferiore numerico.
Con un insieme Pᵢ di positivi esistono obiettivi diversi:
L_massa(i) = −log Σ_{j∈Pᵢ} p_ij
L_media(i) = −(1/|Pᵢ|) Σ_{j∈Pᵢ} log p_ij
Il primo richiede massa sull’insieme e può concentrarla su un solo positivo. Il secondo penalizza un positivo trascurato e, senza negativi, preferisce probabilità uniformi sui positivi. Per due positivi con probabilità 0,9 e 0,1, la prima loss vale zero e la seconda circa 1,204; con probabilità 0,5 e 0,5, valgono zero e 0,693. Scegli l’obiettivo in base a ciò che vuoi considerare equivalente: «almeno una corrispondenza valida» e «tutte le viste equivalenti ben rappresentate» sono richieste differenti.
Costruzione guidata del confronto
Nella funzione multimodale, costruisci prima le dodici coppie senza rumore e verifica la corrispondenza degli indici. Calcola una matrice 12×12 e confronta esplicitamente cross-entropy sulle righe e sulla trasposta. Solo dopo aggiungi viste rumorose, ottimizzatore e normalizzazione. Una permutazione applicata alle sole descrizioni deve cambiare i target: mantenere la diagonale in quel caso allenerebbe associazioni sbagliate.
Per l’estensione composizionale, riserva per esempio «verticale posizione 2» e «orizzontale posizione 4», conservando nel training entrambi gli orientamenti e tutte le posizioni. Il test deve separare accuratezza sulle combinazioni escluse e su quelle note, usando per entrambe nuovi rumori. Non selezionare temperatura o epoca sulle combinazioni riservate. L’accuratezza 1,0 del dossier resta riferita al protocollo originale con dodici combinazioni note.
Esercizi
- Se tutte le similarità sono uguali, quanto vale la loss simmetrica per N=12?
Soluzione: Ogni probabilità corretta vale 1/12; entrambe le direzioni hanno loss log 12 ≈ 2,48491. La loro media ha lo stesso valore, non il doppio.
- Una descrizione compare due volte e corrisponde a entrambe le immagini. Perché un target diagonale è problematico?
Soluzione: La loss chiede a una coppia semanticamente corretta di avere probabilità bassa perché fuori diagonale. Il problema è la definizione dei positivi. Cambiare learning rate non corregge questa contraddizione.
- Il top-1 è perfetto sulle nuove viste. Puoi scrivere che il sistema comprende descrizioni mai incontrate?
Soluzione: No. Il secondo encoder riceve attributi codificati e tutte le dodici combinazioni erano note. La conclusione supportata riguarda nuove viste rumorose delle categorie del laboratorio. Una prova sul linguaggio richiederebbe un encoder testuale e un protocollo distinto.
La valutazione della generazione riunisce questi controlli in un dossier che separa le diverse proprietà del modello.
Il tuo riscontro
Com’è andata questa lezione?
Dimmi cosa è chiaro e dove la spiegazione può migliorare.