Vai al contenuto
← Intelligenza Artificiale · Lezione 7
Intelligenza Artificiale · Lezione interattiva

Linguaggio
e sequenze

Il testo è una sequenza: l'ordine delle parole contribuisce al significato e la lunghezza può variare. Studiamo embedding, reti ricorrenti, attenzione e Transformer. Due laboratori illustrano la distanza fra vettori e i pesi assegnati alle posizioni di una frase.

Due laboratori: una mappa delle parole (Cap. 2) e un esempio di attenzione (Cap. 5). Seleziona le parole per vedere le relazioni rappresentate.

1
Capitolo 1

Il testo è una sequenza

Un'immagine ha una forma fissa (una griglia di pixel). Il linguaggio no: è una sequenza di parole, di lunghezza variabile, in cui l'ordine conta.

«Il cane morde l'uomo» e «L'uomo morde il cane» hanno le stesse parole ma significati opposti. E per capire una frase spesso serve ricordare qualcosa detto molte parole prima. Servono quindi modelli fatti apposta per le sequenze, diversi dalle CNN della lezione scorsa.

📘 Le sfide del linguaggio

Ordine (la stessa parola cambia ruolo secondo la posizione), lunghezza variabile (una frase o un romanzo), dipendenze lontane (un pronome che si riferisce a un nome molto indietro). Tutto ciò che segue serve ad affrontare queste tre sfide.

2
Capitolo 2

Le parole come numeri: gli embedding

Per elaborare il testo, un modello usa rappresentazioni numeriche. Un embedding rappresenta una parola con un vettore, cioè un punto in uno spazio. Le distanze fra questi punti possono riflettere somiglianze fra le parole.

Nella mappa ogni parola è un pallino: selezionandola evidenzi le tre più vicine. Le coordinate sono costruite a mano per illustrare la vicinanza, non estratte da un modello addestrato. Il raggruppamento visibile non è un risultato sperimentale.

🧪 Laboratorio · la mappa delle parole
animali regalità numeri cibo
👆 Clicca una parola per vedere le sue «vicine» di significato.
📘 Vettori e distanze

Un embedding è un vettore appreso per un certo obiettivo. La sua geometria può riflettere somiglianze utili, ma dipende dal modello, dai dati e dalla distanza scelta. Nei modelli reali le dimensioni sono spesso centinaia o migliaia: una mappa 2D semplifica molto. Somiglianza numerica non significa identità di significato né verità di una frase.

3
Capitolo 3

Le reti ricorrenti (RNN)

Le reti neurali ricorrenti (RNN) elaborano il testo una parola alla volta, aggiornando uno stato che conserva informazioni sui passaggi precedenti.

A ogni parola, la RNN aggiorna il suo stato interno (una specie di riassunto di quanto visto finora) e lo passa al passo successivo, come chi legge un libro ricordando i capitoli precedenti. Alla fine, quello stato riassume l'intera frase.

📘 L'idea della «memoria che scorre»

La forza delle RNN è tenere conto dell'ordine e del contesto: quando leggono «non», ricordano che quanto segue va negato. Per anni sono state la base della traduzione automatica e del riconoscimento vocale. La sequenzialità del calcolo rende però difficile gestire alcune dipendenze lontane.

4
Capitolo 4

Il problema della memoria lunga

Le RNN faticano quando due parole collegate sono molto lontane nella frase.

Esempio: «La ragazza che avevo conosciuto l’estate scorsa in quella piccola libreria del centro era simpatica». È l’aggettivo «simpatica» a concordare al femminile singolare con «ragazza»; il verbo «era» esprime persona, numero e tempo, non il genere. Una RNN deve trasportare l’informazione utile attraverso molti passaggi, e questo può rendere più difficile apprendere dipendenze lontane.

  • Dimenticano le dipendenze a lunga distanza (la memoria si «diluisce»).
  • Sono lente: devono elaborare le parole in fila, una dopo l'altra, senza poter sfruttare il calcolo in parallelo.

L'attenzione permette di collegare direttamente posizioni anche lontane, senza far passare tutta l'informazione attraverso i successivi aggiornamenti di uno stato ricorrente.

5
Capitolo 5

L'attenzione

L’attenzione costruisce per ogni posizione una combinazione pesata delle informazioni disponibili nelle altre posizioni. Quali posizioni siano accessibili dipende dalla maschera: un modello causale, mentre prevede il token successivo, non può leggere il futuro.

Seleziona una parola: il colore mostra i pesi di una matrice illustrativa già predisposta. Questi pesi non sono calcolati da un Transformer. Il disegno suggerisce un collegamento plausibile, ma non dimostra che un modello abbia risolto il riferimento grammaticale.

🧪 Laboratorio · dove guarda ogni parola
👆 Clicca una parola per vedere a quali altre presta attenzione.
📘 Attenzione e parallelismo

L’attenzione collega direttamente posizioni anche lontane. Durante l’addestramento di un decoder causale si possono calcolare molte posizioni in parallelo, nascondendo a ciascuna i token successivi. Durante la generazione autoregressiva, invece, il token prodotto entra nel contesto del passo seguente.

Dai punteggi a una combinazione pesata

Un esempio con due posizioni: una query rappresenta ciò che una posizione cerca; le chiavi sono rappresentazioni con cui confrontarla. Dal confronto immaginiamo di ottenere punteggi 0 e 1. La softmax prende l’esponenziale di ciascun punteggio e divide per la somma degli esponenziali. Qui e è un numero costante, circa 2,718: da 0 e 1 otteniamo 1 ed e. Ne risultano i pesi 1/(1 + e) ≈ 0,269 ed e/(1 + e) ≈ 0,731, che sommano a 1. Se i valori da combinare fossero 2 e 6, l’uscita sarebbe 0,269·2 + 0,731·6 ≈ 4,924.

Nelle reti i valori sono vettori, e i punteggi derivano da prodotti fra query e chiavi, con una scala legata alla dimensione. I pesi d’attenzione non sono probabilità che una frase sia vera.

6
Capitolo 6

I Transformer

Nel 2017 un articolo dal titolo «Attention is all you need» presenta i Transformer: un’architettura che combina attenzione, reti feed-forward, connessioni residue, normalizzazione e informazione sulla posizione, senza ricorrenza fra i token.

Reti ricorrenti (RNN)

Una parola per volta

  • Elaborano in fila (lente)
  • Memoria che si diluisce
  • Faticano sulle lunghe distanze
Transformer

Tutte le parole insieme

  • Molte posizioni in parallelo durante l’addestramento
  • Attenzione fra posizioni consentite dalla maschera
  • Collegamenti diretti anche fra posizioni lontane

Nei blocchi Transformer, attenzione e trasformazioni feed-forward aggiornano le rappresentazioni dei token. L’informazione posizionale distingue ordini diversi: «il cane morde l’uomo» e «l’uomo morde il cane» contengono le stesse parole, ma non dicono la stessa cosa. Il paper originale del 2017 resta un riferimento storico per questi componenti.

7
Capitolo 7

Parallelismo e dimensione dei modelli

Il parallelismo e l'attenzione hanno contribuito allo sviluppo di modelli del linguaggio addestrati su grandi raccolte di dati.

  • Parallelizzano molte operazioni. Questo rende possibile sfruttare le GPU su grandi raccolte di dati, con costi di memoria e calcolo che dipendono dall’architettura e dalla lunghezza delle sequenze.
  • Collegano posizioni lontane. Una finestra di contesto ampia permette di fornire più informazioni, ma non garantisce che tutte siano usate bene.
  • Permettono di aumentare la scala. L’addestramento con più dati e parametri è stato centrale nello sviluppo dei Large Language Models. L’effetto sulle capacità va comunque misurato sui compiti previsti.
💡 Non solo testo

L'attenzione è usata anche per elaborare immagini, audio e video. Nel seguito ci concentriamo sui modelli del linguaggio.

Nella prossima lezione studiamo i Large Language Models come GPT: come funzionano, perché «prevedono la prossima parola», cosa sono i prompt e le allucinazioni.

8
Capitolo 8

Verifica finale

Dieci domande su linguaggio e sequenze. Rispondi a tutte, poi premi «Correggi». Puoi sempre riprovare.

1. A differenza di un'immagine, il testo è…
«Il cane morde l'uomo» ≠ «L'uomo morde il cane»: l'ordine cambia il significato.
2. Un «embedding» rappresenta una parola come…
Le parole diventano vettori; le distanze possono rappresentare somiglianze apprese, secondo il modello e il compito.
3. Il vantaggio degli embedding rispetto a un semplice numero-ID è…
Un ID è arbitrario; l'embedding colloca le parole in modo che la geometria rifletta il senso.
4. Una rete ricorrente (RNN) elabora il testo…
Aggiorna uno stato interno a ogni parola, come chi legge ricordando ciò che precede.
5. Il limite principale delle RNN è…
La memoria si diluisce sulle lunghe distanze e l'elaborazione in fila è lenta.
6. L'attenzione permette a ogni parola di…
Combina informazioni di posizioni anche lontane, senza i passaggi successivi di uno stato ricorrente.
7. I Transformer si basano soprattutto su…
Il Transformer combina attenzione e altri componenti: trasformazioni feed-forward, normalizzazione e informazione posizionale.
8. Un vantaggio dei Transformer sulle RNN è…
Il calcolo parallelo in addestramento e i collegamenti fra posizioni lontane distinguono il Transformer dalle RNN descritte qui.
9. I colori del laboratorio di attenzione sono…
Il laboratorio usa una matrice predisposta. Per analizzare un modello reale occorre estrarre e interpretare i suoi dati, senza scambiare un peso per una spiegazione completa.
10. I Transformer sono la base di…
Sono l'architettura dietro gli LLM: GPT, e i modelli che usiamo ogni giorno.
★
Glossario

Le parole chiave

Sequenza
Serie ordinata di elementi (le parole).
Token
L'unità di testo elaborata (parola o pezzo).
Embedding
Parola trasformata in un punto/vettore.
Spazio vettoriale
Lo spazio in cui sono rappresentati gli embedding.
RNN
Rete che legge il testo parola per parola.
Stato interno
La «memoria» che la RNN aggiorna.
Dipendenza a lunga distanza
Legame fra parole molto distanti.
Attenzione
Combinazione pesata delle informazioni nelle posizioni accessibili.
Transformer
Architettura basata sull'attenzione.
Parallelismo
Eseguire molte operazioni contemporaneamente, per esempio in addestramento.
Contesto
Le parole intorno che danno significato.
LLM
Grande modello del linguaggio (es. GPT).

Lezione interattiva · Linguaggio e sequenze

Tengo corsi di programmazione, analisi dati e intelligenza artificiale per aziende ed enti di formazione, in aula e da remoto. Scopri come insegno e quali materiali uso a lezione.