Modulo 5 · Lezione 5.1
Come un modello linguistico legge il testo
Un modello linguistico elabora il testo come una sequenza di simboli numerici. Per capire che cosa può apprendere, partiamo da come viene costruito il suo ingresso.
Parole, token e contesto
Un token può corrispondere a una parola, una parte di parola, un segno o un’altra unità definita dal tokenizer. Non esiste una conversione universale fra parole e token: dipende dal sistema e dalla lingua.
Il tokenizer trasforma il testo in identificativi. Una tabella di embedding associa ogni identificativo a un vettore appreso. Il numero assegnato al token è un indice: un identificativo più grande non significa una parola più importante.
Il contesto è l’insieme dei token disponibili per produrre una risposta. La finestra di contesto limita quanto testo può essere elaborato insieme; non coincide con tutti i dati visti nell’addestramento né con una memoria permanente della conversazione.
Il testo cambia rappresentazione
Il gatto dorme.
Frase → segmenti → identificativi
Il compito del linguaggio
Un modello autoregressivo impara a stimare il token successivo dato il prefisso. Da «Il treno arriva alla» può assegnare probabilità a diverse continuazioni. Ripetere questo compito su molti testi può insegnare regolarità grammaticali, associazioni e strutture utili per compiti diversi.
Il corpus è la raccolta dei testi di addestramento. Lingue, generi, qualità, ripetizioni e provenienza influenzano ciò che il modello incontra. Per valutare l’apprendimento occorre quindi considerare anche la composizione del corpus, oltre alla quantità di testo.
Dalla sequenza alle applicazioni
L’elaborazione del linguaggio naturale, NLP, comprende classificazione, estrazione di informazioni, traduzione, ricerca e generazione. Non richiede sempre un modello generativo grande: la scelta dipende dall’uscita desiderata e dai vincoli.
Esempio svolto: dal token al vettore
Nella figura “Il gatto dorme.” viene diviso in cinque token illustrativi con ID 12, 84, 31, 205 e 7. Gli ID indicano righe della tabella di embedding appresa. La differenza o il rapporto fra due ID non misura la somiglianza fra i token.
Supponiamo che la tabella abbia 1.000 righe e 8 colonne. La riga 84 contiene gli otto numeri del token corrispondente; cercare cinque ID produce una matrice 5 × 8. La tabella intera ha 8.000 parametri. Il numero di token e la dimensione del vettore sono quindi due quantità diverse: allungare il testo aggiunge righe alla sequenza, non colonne a ogni embedding.
Prima della rete devi anche stabilire dove iniziano e finiscono gli esempi, come trattare token speciali e quali parti contano nella loss. Due documenti concatenati senza un confine adeguato possono insegnare continuazioni che nel testo originale non esistevano. La divisione del corpus va fatta prima di creare finestre sovrapposte, per evitare copie quasi identiche fra training e test.
Prova con una parola nuova
Se una parola non compare intera nel vocabolario, il modello deve per forza rifiutarla?
Soluzione: Dipende dal tokenizer. Molti usano sottoparole o byte e possono rappresentarla con più token; il costo in token può crescere. Non assumere che una parola equivalga sempre a un token, né che lingue diverse abbiano lo stesso rapporto.
Pratica guidata
Costruisci ingresso e bersaglio. Con la sequenza illustrativa di ID [12, 84, 31, 205, 7], prepara quattro ingressi e quattro target per prevedere il token successivo. Scrivi la forma degli embedding con dimensione 8 e conta i parametri della tabella da 1.000 token. Poi decidi quando separare due documenti da cui ricaverai finestre sovrapposte.
Come procedere
Gli ingressi terminano un token prima dei target: ogni target è il successore del token nella stessa posizione.
Gli ID scelgono righe della tabella. Quattro posizioni producono quattro righe da otto coordinate; il vocabolario completo resta di mille righe.
Confronta la soluzione
Ingressi [12, 84, 31, 205], target [84, 31, 205, 7], matrice degli embedding 4 × 8 e tabella di 8.000 parametri. Il valore numerico dell’ID non misura similarità. Separa i documenti prima di generare finestre sovrapposte, altrimenti training e test possono condividere gran parte dello stesso testo. Il token finale e i confini fra documenti vanno gestiti secondo il compito, con una regola esplicita per includerli o escluderli.
Prova su un caso nuovo
Prendi una frase italiana, una stringa di codice e una parola rara. Nel laboratorio confronta la loro suddivisione con il tokenizer effettivamente usato. Spiega perché non puoi confrontare perplexity ottenute con unità diverse come se misurassero lo stesso denominatore.
Controllo del tuo elaborato: Riesci a tracciare un token dalla sequenza all’ID, alla riga dell’embedding e al target senza confondere i quattro oggetti.
Dalla pratica al laboratorio
L’approfondimento parte da un corpus originale piccolo e un tokenizer ispezionabile. Non usa gli ID inventati della figura: applica la stessa trasformazione a un vocabolario costruito e controlla split, finestre e denominatore della loss.
Controlla il ragionamento
Scegli una risposta e leggi la spiegazione.
Cinque ID selezionano righe da una tabella di embedding con 1.000 righe e 8 colonne. Quale forma ha la sequenza di embedding?
Vocabolario, lunghezza della sequenza e dimensione dell’embedding sono assi diversi. Allungare il testo aumenta le posizioni, non la larghezza dei vettori.
Rileggi la spiegazioneApprofondimento tecnico facoltativo
Derivazioni e laboratorio
Lezione 5.1 · Modulo Implementare un Transformer. Prerequisiti: cross entropy, embedding come tabella di parametri e protocollo di valutazione dei moduli precedenti.
Un modello di linguaggio vede sequenze di identificativi. Prima dell’attenzione dobbiamo decidere da dove arrivano quei simboli, quali confini conservare e quali informazioni sono già entrate nel vocabolario. Anche un tokenizer appreso è una trasformazione dei dati: prepararlo sull’intero corpus prima dello split può usare informazioni della valutazione.
Il corpus del laboratorio
Il laboratorio genera documenti in un linguaggio formale, con una grammatica fissa:
device d0 sensor heat value low status ok
device d5 sensor pressure value high status alert
Ci sono dodici identificativi, tre sensori e tre livelli. La regola dello stato è high→alert, mentre low e mid producono ok. I 108 documenti sono le combinazioni complete. Non sono manuali reali e non descrivono una legge dei guasti: costituiscono un corpus tecnico sintetico per studiare il decoder.
Assegniamo le combinazioni a training, validazione e test con una regola deterministica prima di costruire il vocabolario. Il training contiene 64 documenti, gli altri insiemi 22 ciascuno. I documenti sono distinti, ma condividono simboli e grammatica: il test verifica combinazioni riservate, non una nuova lingua né dispositivi con proprietà fisiche sconosciute.
Il codice conserva il generatore e registra un hash SHA-256 dell’intero corpus partizionato. L’hash permette di riconoscere una modifica dei dati; non dimostra da solo qualità, licenza o indipendenza della valutazione.
Dai simboli agli interi
Il tokenizer del laboratorio separa sugli spazi e costruisce la tabella dei simboli osservati nel solo training, ordinandoli in modo deterministico. Aggiunge quattro simboli speciali: padding, sconosciuto, inizio e fine documento. Il vocabolario risultante contiene 28 token.
Ogni documento viene rappresentato come:
<bos> device d0 sensor heat value low status ok <eos>
Dieci token, con significati dei confini espliciti. Il padding è riservato nel vocabolario ma non compare nei batch di questo corpus, perché le lunghezze sono uguali. Lo sconosciuto è una politica per simboli non presenti nella tabella; non garantisce che il modello abbia imparato come interpretare qualsiasi parola nuova.
L’identificativo numerico di un token non rappresenta una distanza semantica. Il token 12 non è necessariamente più simile al 13 che al 25. Un embedding è una matrice E ∈ Rᵛˣᵈ: selezionare una riga trasforma l’identificativo in un vettore appreso. Ordinare il vocabolario rende il mapping riproducibile, non crea semantica nei numeri.
Caratteri, parole e sottoparole
Un tokenizer per caratteri ha un vocabolario piccolo e sequenze lunghe; uno per parole riduce alcune lunghezze ma incontra molte forme rare o sconosciute. I metodi a sottoparole cercano un compromesso apprendendo unità ricorrenti. La tokenizzazione influisce su costo, lunghezza del contesto e definizione del punteggio per token.
Byte Pair Encoding applicato al testo parte da unità piccole e unisce iterativamente coppie frequenti secondo una regola. Su un corpus con due occorrenze di «caldo» e una di «calda», le coppie interne c–a, a–l e l–d compaiono tre volte, d–o due e d–a una. Una regola di pareggio dichiarata può scegliere c–a, poi permettere fusioni successive; cambiare il criterio di pareggio può cambiare gli identificativi e le unità apprese.
Il lavoro di Sennrich, Haddow e Birch applica unità subword alla traduzione neurale. Il nostro laboratorio mantiene la tokenizzazione per parole per isolare il Transformer; questa suddivisione con split non riproduce il funzionamento dei tokenizer a sottoparole.
Unicode, spazi, normalizzazione e segni speciali sono decisioni di rappresentazione. Due stringhe visualmente simili possono avere byte diversi; una normalizzazione può rendere uguali forme che prima erano distinte. Va applicata coerentemente e documentata quando può modificare il significato.
Lo split precede le trasformazioni apprese
Il vocabolario viene costruito sui documenti di training. Anche eventuali fusioni BPE, selezione del lessico o stima di frequenze devono rispettare il ruolo dei dati. Un vocabolario esterno già fissato può essere usato come componente preesistente, con provenienza chiara; è un caso diverso dall’apprenderlo sul test che userai per valutare.
Deduplicare non equivale soltanto a confrontare stringhe intere: copie con formattazione diversa, traduzioni, frammenti e versioni vicine possono condividere molto contenuto. La divisione per documento può non bastare se più documenti derivano dalla stessa sorgente. Nel modulo sull’adattamento costruiremo esempi di contaminazione e registreremo l’origine delle trasformazioni.
Se segmenti un documento in finestre sovrapposte, assegna il documento o la sorgente alla partizione prima delle finestre. Altrimenti lo stesso passaggio può essere training in una finestra e test in un’altra. La scelta del confine deve riflettere la domanda: nuovi documenti della stessa sorgente e nuove sorgenti sono compiti diversi.
Preparare input e target
Per una sequenza di dieci token, il batch usa i primi nove come input e gli ultimi nove come target:
input: <bos> device d0 sensor heat value low status ok
target: device d0 sensor heat value low status ok <eos>
La posizione i predice il token i+1. Se usassi il token corrente come target, una rete potrebbe imparare a copiarlo senza apprendere la distribuzione del prossimo simbolo. La maschera causale impedisce l’accesso ai token successivi; lo spostamento dei target definisce invece quale previsione deve produrre ogni posizione. Servono entrambi.
Tutti i documenti del laboratorio sono batch separati con lunghezza uguale. Non li concatenamo creando dipendenze accidentali fra la fine di uno e l’inizio di un altro. In un corpus variabile, padding e packing richiedono una politica: quali token contano nella loss e quali posizioni possono interagire attraverso l’attenzione?
Perplessità e denominatori
La NLL media somma le perdite dei token target e divide per il numero effettivo di token valutati. La perplessità è exp(NLL) quando il logaritmo è naturale. Non si ottiene mediando semplicemente le perplessità dei documenti: prima aggrega le log loss con i corretti pesi.
Cambiare tokenizer cambia il numero e il significato delle unità. Una perplessità per parola non è direttamente confrontabile con una per byte o sottoparola. Anche un diverso insieme di token esclusi può cambiare il denominatore. Il JSON riporta perciò documenti e token target di ogni partizione.
La grammatica contiene posizioni con difficoltà diverse. Alcune parole sono fisse; un identificativo all’inizio non è determinato dal prefisso; lo stato è invece una funzione semplice del livello precedente. Riporteremo sia loss dell’intera sequenza sia accuratezza sullo stato. Un solo valore medio potrebbe nascondere il comportamento sul compito che ci interessa.
Laboratorio ed esercizi
Apri corpus e prepara nel laboratorio. Verifica che nessun documento compaia in due partizioni e che il mapping del vocabolario provenga dal training. Questi controlli sono eseguiti anche dal codice.
Contare gli esempi predittivi
Un corpus contiene 20 documenti di dieci token ciascuno, inclusi inizio e fine. Con lo shift descritto, quanti target contribuiscono alla loss?
Soluzione: nove per documento, quindi 180. Il token iniziale è un input che permette di predire il primo token del testo; non viene a sua volta predetto in questa convenzione.
Finestre sovrapposte
Dividi un documento lungo in finestre di 100 token con avanzamento di 50, poi assegni le finestre casualmente a train e test. Qual è il difetto?
Soluzione: finestre adiacenti condividono metà dei token e appartengono alla stessa sorgente. La separazione delle righe non separa il contenuto. Assegna prima la sorgente a una partizione e genera poi le sue finestre.
Token sconosciuto
Un identificativo mai visto viene mappato a <unk>. Puoi concludere che il modello abbia riconosciuto quale dispositivo sia?
Soluzione: no. Più stringhe sconosciute possono condividere lo stesso identificativo e la rappresentazione perde quella distinzione. Una politica di tokenizzazione evita errori di lookup, ma non recupera informazione eliminata.
Prossima lezione
Costruiremo l’attenzione causale, seguendo ogni dimensione e verificando che nessuna posizione utilizzi il futuro.
Il tuo riscontro
Com’è andata questa lezione?
Dimmi cosa è chiaro e dove la spiegazione può migliorare.