Linguaggio
e sequenze
Il testo è una sequenza: l'ordine delle parole contribuisce al significato e la lunghezza può variare. Studiamo embedding, reti ricorrenti, attenzione e Transformer. Due laboratori illustrano la distanza fra vettori e i pesi assegnati alle posizioni di una frase.
Due laboratori: una mappa delle parole (Cap. 2) e un esempio di attenzione (Cap. 5). Seleziona le parole per vedere le relazioni rappresentate.
Il testo è una sequenza
Un'immagine ha una forma fissa (una griglia di pixel). Il linguaggio no: è una sequenza di parole, di lunghezza variabile, in cui l'ordine conta.
«Il cane morde l'uomo» e «L'uomo morde il cane» hanno le stesse parole ma significati opposti. E per capire una frase spesso serve ricordare qualcosa detto molte parole prima. Servono quindi modelli fatti apposta per le sequenze, diversi dalle CNN della lezione scorsa.
Ordine (la stessa parola cambia ruolo secondo la posizione), lunghezza variabile (una frase o un romanzo), dipendenze lontane (un pronome che si riferisce a un nome molto indietro). Tutto ciò che segue serve ad affrontare queste tre sfide.
Le parole come numeri: gli embedding
Per elaborare il testo, un modello usa rappresentazioni numeriche. Un embedding rappresenta una parola con un vettore, cioè un punto in uno spazio. Le distanze fra questi punti possono riflettere somiglianze fra le parole.
Nella mappa ogni parola è un pallino: selezionandola evidenzi le tre più vicine. Le coordinate sono costruite a mano per illustrare la vicinanza, non estratte da un modello addestrato. Il raggruppamento visibile non è un risultato sperimentale.
Un embedding è un vettore appreso per un certo obiettivo. La sua geometria può riflettere somiglianze utili, ma dipende dal modello, dai dati e dalla distanza scelta. Nei modelli reali le dimensioni sono spesso centinaia o migliaia: una mappa 2D semplifica molto. Somiglianza numerica non significa identità di significato né verità di una frase.
Le reti ricorrenti (RNN)
Le reti neurali ricorrenti (RNN) elaborano il testo una parola alla volta, aggiornando uno stato che conserva informazioni sui passaggi precedenti.
A ogni parola, la RNN aggiorna il suo stato interno (una specie di riassunto di quanto visto finora) e lo passa al passo successivo, come chi legge un libro ricordando i capitoli precedenti. Alla fine, quello stato riassume l'intera frase.
La forza delle RNN è tenere conto dell'ordine e del contesto: quando leggono «non», ricordano che quanto segue va negato. Per anni sono state la base della traduzione automatica e del riconoscimento vocale. La sequenzialità del calcolo rende però difficile gestire alcune dipendenze lontane.
Il problema della memoria lunga
Le RNN faticano quando due parole collegate sono molto lontane nella frase.
Esempio: «La ragazza che avevo conosciuto l’estate scorsa in quella piccola libreria del centro era simpatica». È l’aggettivo «simpatica» a concordare al femminile singolare con «ragazza»; il verbo «era» esprime persona, numero e tempo, non il genere. Una RNN deve trasportare l’informazione utile attraverso molti passaggi, e questo può rendere più difficile apprendere dipendenze lontane.
- Dimenticano le dipendenze a lunga distanza (la memoria si «diluisce»).
- Sono lente: devono elaborare le parole in fila, una dopo l'altra, senza poter sfruttare il calcolo in parallelo.
L'attenzione permette di collegare direttamente posizioni anche lontane, senza far passare tutta l'informazione attraverso i successivi aggiornamenti di uno stato ricorrente.
L'attenzione
L’attenzione costruisce per ogni posizione una combinazione pesata delle informazioni disponibili nelle altre posizioni. Quali posizioni siano accessibili dipende dalla maschera: un modello causale, mentre prevede il token successivo, non può leggere il futuro.
Seleziona una parola: il colore mostra i pesi di una matrice illustrativa già predisposta. Questi pesi non sono calcolati da un Transformer. Il disegno suggerisce un collegamento plausibile, ma non dimostra che un modello abbia risolto il riferimento grammaticale.
L’attenzione collega direttamente posizioni anche lontane. Durante l’addestramento di un decoder causale si possono calcolare molte posizioni in parallelo, nascondendo a ciascuna i token successivi. Durante la generazione autoregressiva, invece, il token prodotto entra nel contesto del passo seguente.
Un esempio con due posizioni: una query rappresenta ciò che una posizione cerca; le chiavi sono rappresentazioni con cui confrontarla. Dal confronto immaginiamo di ottenere punteggi 0 e 1. La softmax prende l’esponenziale di ciascun punteggio e divide per la somma degli esponenziali. Qui e è un numero costante, circa 2,718: da 0 e 1 otteniamo 1 ed e. Ne risultano i pesi 1/(1 + e) ≈ 0,269 ed e/(1 + e) ≈ 0,731, che sommano a 1. Se i valori da combinare fossero 2 e 6, l’uscita sarebbe 0,269·2 + 0,731·6 ≈ 4,924.
Nelle reti i valori sono vettori, e i punteggi derivano da prodotti fra query e chiavi, con una scala legata alla dimensione. I pesi d’attenzione non sono probabilità che una frase sia vera.
I Transformer
Nel 2017 un articolo dal titolo «Attention is all you need» presenta i Transformer: un’architettura che combina attenzione, reti feed-forward, connessioni residue, normalizzazione e informazione sulla posizione, senza ricorrenza fra i token.
Una parola per volta
- Elaborano in fila (lente)
- Memoria che si diluisce
- Faticano sulle lunghe distanze
Tutte le parole insieme
- Molte posizioni in parallelo durante l’addestramento
- Attenzione fra posizioni consentite dalla maschera
- Collegamenti diretti anche fra posizioni lontane
Nei blocchi Transformer, attenzione e trasformazioni feed-forward aggiornano le rappresentazioni dei token. L’informazione posizionale distingue ordini diversi: «il cane morde l’uomo» e «l’uomo morde il cane» contengono le stesse parole, ma non dicono la stessa cosa. Il paper originale del 2017 resta un riferimento storico per questi componenti.
Parallelismo e dimensione dei modelli
Il parallelismo e l'attenzione hanno contribuito allo sviluppo di modelli del linguaggio addestrati su grandi raccolte di dati.
- Parallelizzano molte operazioni. Questo rende possibile sfruttare le GPU su grandi raccolte di dati, con costi di memoria e calcolo che dipendono dall’architettura e dalla lunghezza delle sequenze.
- Collegano posizioni lontane. Una finestra di contesto ampia permette di fornire più informazioni, ma non garantisce che tutte siano usate bene.
- Permettono di aumentare la scala. L’addestramento con più dati e parametri è stato centrale nello sviluppo dei Large Language Models. L’effetto sulle capacità va comunque misurato sui compiti previsti.
L'attenzione è usata anche per elaborare immagini, audio e video. Nel seguito ci concentriamo sui modelli del linguaggio.
Nella prossima lezione studiamo i Large Language Models come GPT: come funzionano, perché «prevedono la prossima parola», cosa sono i prompt e le allucinazioni.
Verifica finale
Dieci domande su linguaggio e sequenze. Rispondi a tutte, poi premi «Correggi». Puoi sempre riprovare.
Le parole chiave
Lezione interattiva · Linguaggio e sequenze
Il tuo riscontro
Com’è andata questa lezione?
Dimmi cosa è chiaro e dove la spiegazione può migliorare.