Modulo 2 · Lezione 2.4
Limitare l’overfitting: regolarizzazione e vincoli
Un modello flessibile può adattarsi sia al segnale sia alle variazioni casuali degli esempi. La regolarizzazione introduce preferenze che possono aiutarlo a generalizzare.
Complessità e dati
Una curva può attraversare perfettamente tutti i punti osservati e oscillare molto fra un punto e l’altro. Un errore nullo sui dati disponibili non assicura buone previsioni nelle zone non osservate.
L’underfitting si verifica quando modello o addestramento non riescono a descrivere bene nemmeno il segnale disponibile. L’overfitting emerge quando l’adattamento al training non si trasferisce ai casi nuovi. Si distinguono osservando entrambi gli insiemi, non contando soltanto i parametri.
Quando adattarsi di più non aiuta
Scorri il disegno in orizzontale per leggerlo tutto.
Aggiungere una preferenza all’obiettivo
Una penalità L2 aggiunge alla loss un termine proporzionale alla somma dei quadrati dei pesi: obiettivo = errore + λ × penalità. Il simbolo λ, lambda, controlla quanto conta questa preferenza. Questa penalità può ridurre soluzioni instabili, ma pesi piccoli non garantiscono automaticamente un buon modello.
La penalità L1 usa i valori assoluti e può favorire pesi esattamente nulli. Altre forme di regolarizzazione comprendono arresto anticipato, trasformazioni degli esempi e dropout, che durante l’addestramento disattiva casualmente alcune attivazioni secondo una regola definita.
Una penalità non è un divieto
Un vincolo esclude certe soluzioni: per esempio imponendo coefficienti non negativi. Una penalità le rende più costose, ma può comunque ammetterle. La distinzione conta anche negli agenti: penalizzare un’azione nell’addestramento non equivale a impedirla nell’esecutore.
La forza della regolarizzazione si sceglie sulla validazione. Se è eccessiva, il modello può perdere capacità utile; se è insufficiente, può restare troppo sensibile al training.
Esempio svolto: aggiungere una penalità sui pesi
Considera l’obiettivo J(w) = (w − 3)² + λw². Il primo termine premia l’adattamento al dato; il secondo penalizza l’ampiezza del peso. Sono grandezze di un esempio didattico, con un solo parametro.
Senza penalità, λ = 0 e il minimo è w = 3. Con λ = 1 la derivata è 2(w − 3) + 2w: annullandola ottieni w = 1,5. La perdita sui dati passa da 0 a 2,25, ma il peso si riduce. Con λ = 3 il minimo diventa w = 0,75. In generale, per questo obiettivo, w = 3/(1 + λ).
Osserva le curve della figura: la regolarizzazione accetta di aderire meno al training per cercare un compromesso migliore su dati nuovi. Non possiamo stabilire il λ giusto guardando soltanto il valore della penalità, perché cambiare λ cambia anche la funzione ottimizzata. Confrontiamo invece i candidati usando la stessa metrica sulla validazione.
Prova a distinguere penalità e vincolo
La regola del problema impone w ≥ 0. È sufficiente una penalità λw²?
Soluzione: No: penalizza allo stesso modo +w e −w, quindi non esclude valori negativi. Un vincolo definisce le soluzioni ammissibili; una penalità ne modifica la preferenza. Se il requisito è obbligatorio, va rappresentato esplicitamente nella procedura: la sola penalità non garantisce che l’ottimo lo rispetti.
Pratica guidata
Separa adattamento e penalità. Per J(w) = (w − 3)² + λw², completa due righe con λ = 0 e λ = 1: peso ottimo, perdita sui dati, penalità, obiettivo totale. Un collega sceglie λ = 0 perché ottiene il più piccolo J: spiega il problema di questo confronto.
Come procedere
Usa w = 3/(1 + λ). La penalità è λw²: con λ = 0 si annulla anche se il peso è grande.
Con λ = 1 il peso è 1,5. Il termine sui dati e la penalità valgono entrambi 2,25.
Confronta la soluzione
Per λ = 0: w = 3, perdita 0, penalità 0, totale 0. Per λ = 1: w = 1,5, perdita 2,25, penalità 2,25, totale 4,5. Cambiando λ cambi la funzione obiettivo: il confronto dei totali non seleziona direttamente la generalizzazione. Scegli fra i modelli con una metrica comune su validazione pertinente, poi usa il test. Un vincolo come w ≥ 0 richiede inoltre un insieme ammissibile: la penalità quadratica non lo impone.
Prova su un caso nuovo
Nel progetto testi, identifica un controllo di complessità del classificatore e proponi un confronto in cui training peggiora mentre validazione migliora. Quale conclusione ammetti prima di vedere il test?
Controllo del tuo elaborato: La tabella distingue i tre termini e la scelta del modello usa un criterio identico su dati separati.
Dalla pratica al laboratorio
L’approfondimento porta lo stesso equilibrio a molti coefficienti con la ridge e studia vincoli espliciti. La nuova algebra spiega come vengono attenuate direzioni diverse; non cambia il ruolo della validazione.
Controlla il ragionamento
Scegli una risposta e leggi la spiegazione.
Due modelli sono addestrati con penalità λ diverse. Quale criterio usa dati nuovi senza confrontare obiettivi di training diversi?
La regolarizzazione modifica l’apprendimento; la selezione richiede un criterio condiviso e dati pertinenti separati dal fit.
Rileggi la spiegazioneApprofondimento tecnico facoltativo
Derivazioni e laboratorio
Lezione 2.4 · Modulo Derivare e controllare l’ottimizzazione. Prerequisiti: soluzione dei minimi quadrati, stabilità degli aggiornamenti e separazione fra selezione e valutazione del modulo 1.
Un ottimizzatore può trovare con precisione il minimo di una funzione poco adatta al problema. Può anche risolvere una funzione corretta mentre il report mostra un’altra quantità con la stessa etichetta «loss». In questa lezione renderemo esplicite tre scelte: quale obiettivo ottimizziamo, quali parametri ammettiamo e quale risultato vogliamo nell’uso del modello.
Con la regressione ridge esamineremo queste tre scelte attraverso calcoli su pochi punti. La penalità introduce una preferenza per certi parametri; la validazione ci servirà a verificare se migliora le previsioni.
Dichiarare l’obiettivo completo
Riprendiamo i sei punti, la matrice A con colonne x e uno e θ=[m,b]. Penalizziamo soltanto la pendenza:
J_λ(θ) = (1/n)‖Aθ−y‖² + λm², λ ≥ 0
D = diag(1,0)
∇J_λ = (2/n)Aᵀ(Aθ−y) + 2λDθ
H_λ = (2/n)AᵀA + 2λD.
L’intercetta resta libera: una traslazione del livello del target può essere assorbita da b senza essere penalizzata. È una scelta dichiarata, non una proprietà obbligatoria di tutti i modelli. Per più caratteristiche, D ha uno sulle pendenze e zero sull’intercetta.
Moltiplicando la condizione di gradiente nullo per n/2:
(AᵀA + nλD)θ = Aᵀy.
Il fattore n conta. Se un’altra libreria minimizza ‖Aθ−y‖² + α‖m‖², la corrispondenza è α=nλ, a parità di trattamento dell’intercetta. Copiare lo stesso numero da un’implementazione all’altra senza leggere l’obiettivo può cambiare l’esperimento.
Quando λ aumenta, il valore numerico di J cambia anche perché cambia la funzione. Non confrontare J_0 e J_1 per decidere quale modello predice meglio: non sono la stessa metrica. Registra separatamente MSE, penalità e loro somma.
Soluzione esatta e sistema aumentato
Poiché b non è penalizzata, la sua condizione ottimale resta b=ȳ−mx̄. Sostituendola nell’obiettivo otteniamo un problema nella sola pendenza. I dati danno:
Sxx = Σᵢ(xᵢ−x̄)² = 35/2
Sxy = Σᵢ(xᵢ−x̄)(yᵢ−ȳ) = 33/2
m_λ = Sxy / (Sxx + nλ) = 33/(35 + 12λ)
b_λ = 13/3 − (7/2)m_λ.
Per λ=0,5, la soluzione è [33/41,373/246] ≈ [0,804878;1,516260]. Il gradiente completo si annulla, mentre il gradiente della sola MSE no: quest’ultimo deve compensare la derivata della penalità.
Possiamo calcolare la soluzione con un problema di minimi quadrati aumentato:
A_aug = [ A ] y_aug = [y]
[ √(nλ) D ] [0]
‖A_aug θ − y_aug‖² = ‖Aθ−y‖² + nλ‖Dθ‖².
Qui D²=D, quindi la norma quadrata è proprio m². In un caso generale, con penalità θᵀPθ, bisognerebbe usare un fattore C tale che CᵀC=P, non sostituire arbitrariamente P a D nel sistema aumentato.
La funzione ridge del laboratorio chiama lstsq sulla matrice aumentata, senza costruire un’inversa. Il controllo confronta la soluzione con la formula razionale e con la discesa del gradiente. Per λ=0,5, il passo 0,02 converge; il limite di stabilità va calcolato sulla nuova Hessiana, che include la penalità.
La condizione per unicità, con λ positiva, è che nessuna direzione non nulla sia contemporaneamente invisibile ai dati e alla penalità: ker(A) ∩ ker(D) = {0}. Nel nostro modello D lascia libera soltanto l’intercetta, visibile attraverso la colonna di uno, quindi la condizione vale. Dire «ridge rende tutto invertibile» senza precisare quali coordinate vengono penalizzate sarebbe troppo generico.
Che cosa viene attenuato dalla ridge
Centriamo caratteristiche e target sul training, eliminando temporaneamente l’intercetta. Sia X la matrice delle caratteristiche centrate, con SVD X=UΣVᵀ, e penalizziamo tutte queste pendenze con la stessa λ. Nelle direzioni con valore singolare positivo:
w_λ = Σⱼ vⱼ [σⱼ / (σⱼ²+nλ)] (uⱼᵀy_c)
Rispetto alla soluzione non regolarizzata, il coefficiente lungo vⱼ viene moltiplicato per σⱼ²/(σⱼ²+nλ). Le direzioni con σ piccolo subiscono l’attenuazione maggiore: sono proprio quelle in cui la divisione per σ amplificava il rumore nella lezione 2.1. Per σ nullo il contributo ridge è zero, con λ positiva.
Questo riduce la sensibilità introducendo una preferenza per pendenze piccole nelle coordinate scelte. Può però attenuare anche segnale utile. La geometria spiega che cosa fa l’operazione; la valutazione su dati pertinenti stabilisce se serve per il compito.
Per la matrice centrata delle pendenze, XᵀX+nλI sposta tutti gli autovalori della stessa quantità. Il rapporto fra massimo e minimo diminuisce se inizialmente sono diversi. Quando l’intercetta è esclusa, le scale sono diverse o la penalità non è isotropa, non trasferire questa conclusione a qualsiasi matrice completa senza controllarla.
Standardizzare cambia anche la penalità
Nella lezione precedente abbiamo scritto z=(x−μ)/s e ŷ=αz+β, con α=ms. Se mantieni il numero λ ma penalizzi α, stai applicando:
λα² = λs²m².
La penalità sulle pendenze originali è diventata più forte di un fattore s². Per conservare l’obiettivo λm² serve invece λ_z = λ/s². Qui s²=35/12; con λ originale 0,5, il valore equivalente è 6/35 ≈ 0,171429.
| Procedura | Parametri nelle unità originali |
|---|---|
Dati originali, λ=0,5 |
[0,804878;1,516260] |
Dati standardizzati, stesso numero λ=0,5 |
[0,628571;2,133333] |
Dati standardizzati, λ_z=6/35 |
[0,804878;1,516260] |
Le prime due procedure non sono due modi numerici di risolvere esattamente lo stesso problema: usano preferenze diverse. Puoi scegliere consapevolmente di penalizzare i coefficienti standardizzati, per rendere confrontabili caratteristiche espresse in unità diverse. Devi poi valutare quella procedura completa, con scaler appreso soltanto sul training.
Con più caratteristiche e scale diverse, mantenere una penalità isotropa nelle coordinate originali richiede pesi diversi nelle coordinate standardizzate. Una sola λ comune non può correggere simultaneamente ogni scala lasciando invariata l’isotropia in entrambe le rappresentazioni.
Un vincolo e un gradiente che non si annulla
Imponiamo un vincolo didattico, scelto per studiare la matematica: m ≥ 1,2. Non è una legge fisica dedotta dai sei punti. Manteniamo λ=0,5 e l’intercetta libera.
Il minimo non vincolato ha pendenza circa 0,804878, fuori dall’insieme ammissibile. Dopo aver eliminato b, l’obiettivo è un quadratico strettamente convesso in m. Il minimo ammissibile si trova quindi sul bordo:
m_v = 6/5 = 1,2
b_v = ȳ − m_v x̄ = 2/15 ≈ 0,133333
∇J_λ(θ_v) = [2,7; 0].
Il gradiente non è nullo: una riduzione di m migliorerebbe l’obiettivo, ma non è consentita. Fermarsi soltanto quando ‖∇J‖ è quasi zero fallirebbe come criterio per questo problema vincolato.
Scrivi il vincolo come g(θ)=1,2−m ≤ 0. La lagrangiana è ℒ=J_λ+νg. Le condizioni di Karush–Kuhn–Tucker, in questo caso, diventano:
ammissibilità: m ≥ 1,2
segno: ν ≥ 0
stazionarietà: ∇J_λ − ν[1,0]ᵀ = 0
complementarità: ν(1,2−m) = 0.
La soluzione soddisfa tutte le condizioni con ν=2,7. L’obiettivo è convesso, il vincolo affine e ci sono punti strettamente ammissibili: qui queste condizioni caratterizzano l’ottimo globale. Per passare all’implementazione, l’esempio corrente di programmazione quadratica in CVXPY mostra come dichiarare obiettivo e vincoli e leggere le variabili duali della soluzione.
Un algoritmo semplice è il gradiente proiettato: esegui il passo e poi riporti m nell’intervallo ammissibile con il codice Python m = max(1.2, m). Il laboratorio converge alla stessa soluzione. Qui proiettare è immediato; per vincoli complessi la proiezione può richiedere a sua volta un problema di ottimizzazione.
Anche minimizzare la MSE sotto un limite alla norma dei coefficienti può, nelle condizioni appropriate, corrispondere a una formulazione penalizzata attraverso un moltiplicatore. Il raggio del vincolo e λ non sono però lo stesso numero: il loro rapporto dipende dal problema e dall’ottimo. Un vincolo di segno come quello appena studiato esprime inoltre una preferenza diversa dal semplice restringimento ridge.
L1, decadimento dei pesi e arresto anticipato
Tre operazioni spesso avvicinate alla ridge meritano una distinzione precisa.
Penalità L1. L’obiettivo L(w)+λΣ|wⱼ| non è differenziabile nei coefficienti nulli. Per una coordinata nulla, la condizione ottimale ammette |∂L/∂wⱼ|≤λ: la pendenza della parte liscia può essere compensata da un sottogradiente di |wⱼ| fra −1 e 1. Questo rende possibili zeri esatti. Un passo prossimale calcola prima u=w−η∇L, poi applica wⱼ=sign(uⱼ)max(|uⱼ|−ηλ,0). È una soglia morbida derivabile minimizzando, separatamente per coordinata, ½(w−u)²+ηλ|w|. Ridge invece restringe in modo continuo e generalmente non seleziona zeri esatti. Il laboratorio di questa lezione implementa ridge, non un solutore L1.
Decadimento dei pesi. Con GD semplice, aggiungere λ‖w‖² al gradiente dà w_new=(1−2ηλ)w−η∇L. È equivalente a un decadimento esterno con coefficiente 2λ sotto questa convenzione. Con Adam, il termine L2 passa anche attraverso medie e riscalamenti adattivi: l’equivalenza si perde. AdamW separa il decadimento dall’aggiornamento adattivo. Loshchilov e Hutter studiano questa distinzione. La funzione comune del nostro laboratorio aggiunge L2 al gradiente; chiamarla AdamW sarebbe errato.
Arresto anticipato. Nel quadratico centrato, partendo da zero, lungo una direzione di curvatura h positiva GD produce dopo t passi θ_t,j=[1−(1−ηh)ᵗ]θ*_j. Se 0<η≤1/λ_max(H), il fattore cresce da zero verso uno; le direzioni con curvatura piccola vengono apprese più lentamente. Fermarsi prima può quindi attenuarle. Il filtro dipende da h, η e t e non coincide in generale con quello ridge. Scegliere il momento di arresto sulla validazione è una decisione di selezione: usare il test finale per fermarsi lo rende parte della selezione.
Queste operazioni possono combinarsi, ma occorre sapere quale funzione, dinamica o insieme ammissibile si sta modificando.
Ottimizzazione, selezione e criterio operativo
Il laboratorio aggiunge una piccola validazione sintetica, fissata per l’esercizio:
x_val = [1,5; 2,5; 3,5; 4,5; 5,5]
y_val = 0,7 x_val + 1,9 + [0,1; −0,2; 0,1; −0,1; 0,1]
= [3,05; 3,45; 4,45; 4,95; 5,85].
I coefficienti vengono calcolati solo sui sei punti di training. La griglia fissata è {0; 0,1; 1; 10}. La validazione sceglie λ in base alla MSE senza penalità:
| λ | MSE training | Penalità | J training | MSE validazione |
|---|---|---|---|---|
0 |
0,212698 |
0 |
0,212698 |
0,124523 |
0,1 |
0,215548 |
0,083102 |
0,298649 |
0,097365 |
1 |
0,381721 |
0,492983 |
0,874704 |
0,016202 |
10 |
1,766794 |
0,453278 |
2,220072 |
0,510288 |
La scelta è λ=1 fra questi candidati. La MSE di training è maggiore di quella non regolarizzata, ma la MSE di validazione è minore. I cinque punti sono costruiti per rendere osservabile il fenomeno: non dimostrano che ridge migliori sempre, né forniscono un risultato esterno della procedura selezionata. Non abbiamo incluso un test indipendente in questo piccolo laboratorio.
Il criterio operativo può inoltre cambiare l’ordine dei modelli anche su previsioni già fissate. Considera target [0,4], previsioni A [0,2] e B [2,3]. Se e è previsione meno target e una sottostima costa quattro volte una sovrastima della stessa ampiezza, definiamo:
C(e) = max(e,0) + 4 max(−e,0).
A ha MSE 2 e costo medio 4; B ha MSE 2,5 e costo medio 3. La MSE preferisce A, il costo dichiarato preferisce B. Non è un paradosso: rispondono a domande diverse. Questi due esempi sono separati dalla regressione precedente e illustrano soltanto il criterio, senza attribuirgli un significato economico reale.
Laboratorio e consegna
python laboratori/regolarizzazione_vincoli.py
Il codice verifica la formula ridge per cinque valori di λ, il gradiente, la convergenza, il cambio di coordinate e il minimo vincolato. Riproduce poi le due tabelle di selezione e costo.
Per l’estensione, cambia la scala di x di un fattore mille e conserva inizialmente la penalità sulle pendenze originali. Ricava il nuovo peso necessario prima di eseguire. Poi prova a mantenere lo stesso numero λ: registra quanto cambia il modello e spiega se il cambiamento è dovuto a un errore numerico oppure a una nuova preferenza. Conserva la validazione come tale; non presentarla come test dopo averla usata per scegliere.
Esercizi con soluzione
Duplicare le osservazioni
Duplichi tutte le righe del training, mantenendo l’obiettivo MSE+λm². La soluzione deve cambiare? E se usassi somma dei quadrati+λm² con lo stesso numero λ?
Soluzione: nel primo caso la media resta identica e la soluzione non cambia. Nel secondo raddoppia il peso del termine sui dati mentre resta fissa la penalità: la regolarizzazione relativa si dimezza. Questo spiega il fattore n nella corrispondenza fra convenzioni.
Vincolo attivo
Con λ=0,5, sostituisci il vincolo con m≥0,6. Quali sono soluzione e moltiplicatore?
Soluzione: il minimo non vincolato m=33/41≈0,804878 è già ammissibile, quindi resta la soluzione con b=373/246. Il vincolo è inattivo e ν vale zero. La complementarità consente proprio questo caso.
Una soglia L1
Un passo della parte liscia dà u=[0,12;−0,03;0,5] e ηλ=0,1. Applica la soglia morbida.
Soluzione: il risultato è [0,02;0;0,4]. Ogni ampiezza si riduce di 0,1 fino a zero, conservando il segno quando resta positiva. L’operazione non è semplicemente moltiplicare tutti i coefficienti per uno stesso fattore.
Un report ambiguo
Il report dichiara «loss 0,874704» per λ=1 e «loss 0,212698» per λ=0, poi conclude che la regolarizzazione peggiora la previsione. Che cosa manca?
Soluzione: confronta obiettivi diversi e non specifica né dataset di valutazione né metrica predittiva comune. La prima cifra include la penalità, la seconda no. La tabella completa mostra che qui λ=1 ha MSE di validazione minore. Essendo scelto su quella validazione, il suo punteggio non è ancora una stima esterna del processo di scelta.
Prova conclusiva del modulo
Hai ora gli strumenti per affrontare la prova conclusiva: derivare una regressione regolarizzata, controllare un gradiente, diagnosticare un passo instabile e riconoscere un vincolo attivo. La verifica richiede anche di spiegare quali conclusioni non passano automaticamente dal quadratico a una rete.
Hai concluso le quattro lezioni del modulo 2. Metti alla prova ciò che hai imparato.
Il tuo riscontro
Com’è andata questa lezione?
Dimmi cosa è chiaro e dove la spiegazione può migliorare.