Vai al contenuto
← Intelligenza artificiale avanzata · Lezione 10

Modulo 3 · Lezione 3.2

Le famiglie di modelli: lineari, alberi e reti

L’AI comprende modelli con ipotesi e strutture diverse. Conoscere le famiglie principali aiuta a scegliere un punto di partenza e a capire quali relazioni ciascuna può rappresentare.

Modelli supervisionati

Un modello lineare combina caratteristiche con pesi. La regressione lineare prevede numeri; la regressione logistica trasforma una combinazione lineare in una probabilità per classificare. Sono riferimenti utili e spesso efficaci quando la rappresentazione rende il problema semplice.

Un albero decisionale divide gli esempi con condizioni successive. Una foresta casuale combina alberi resi diversi dal campionamento di dati e caratteristiche. Il boosting costruisce una sequenza di modelli che correggono progressivamente gli errori rispetto a un obiettivo.

I vicini più prossimi confrontano un nuovo esempio con quelli memorizzati. I metodi a kernel costruiscono relazioni non lineari attraverso una funzione di similarità. Le reti neurali apprendono trasformazioni successive delle caratteristiche: saranno il tema del modulo 4.

Schema ed esempio

Tre modi di costruire una decisione

01Modello lineareCombina le caratteristicheUna retta separa due regioni.
02AlberoSuddivide per condizioniOgni bivio applica una regola.
03Rete neuraleCompone trasformazioniGli strati costruiscono rappresentazioni.
Come leggerla. Una frontiera lineare, una sequenza di regole e una composizione di trasformazioni rappresentano ipotesi diverse. La forma più complessa va giustificata dai dati e dal compito.

Quando mancano le etichette

Il clustering cerca gruppi in base a una nozione di somiglianza. K-means alterna assegnazione ai centri più vicini e aggiornamento dei centri. I gruppi trovati non corrispondono necessariamente a categorie del problema: dipendono da rappresentazione, distanza e numero di gruppi scelto.

La riduzione dimensionale, come la PCA, rappresenta i dati con meno coordinate. La PCA cerca direzioni di maggiore varianza; non usa di per sé le etichette e non garantisce di conservare le informazioni migliori per classificare.

Un confronto comprensibile

Per smistare articoli per argomento puoi confrontare una regressione logistica sulle frequenze delle parole e una rete su rappresentazioni del testo. Usa gli stessi esempi separati, una preparazione coerente e misure di qualità, costo e velocità. La complessità utile dipende dal problema.

Esempio svolto: classificare un fiore con i suoi vicini

Un modello lineare impara pesi; un albero impara suddivisioni; K-Nearest Neighbors (KNN) conserva esempi e usa quelli più vicini per decidere. È una buona prima baseline quando la distanza fra caratteristiche ha un significato utile. Per classificare usa un voto; per prevedere un numero può usare la media dei valori dei vicini.

Nella demo sotto compaiono cinque fiori inventati, con lunghezza e larghezza del petalo espresse in centimetri e due specie indicate come A e B. Non sono record del dataset Iris né un esperimento botanico: isolano il meccanismo geometrico. Il nuovo fiore Q ha misure (4; 1,3). La distanza da P1 = (4,1; 1,3) è √((4,1 − 4)² + (1,3 − 1,3)²) = 0,1 cm.

Figura interattiva

Quanti vicini devono votare?

Lunghezza del petalo · cmLarghezza · cm3,544,50,511,5P1P2P3P4P5QAB

Scorri il disegno in orizzontale per leggerlo tutto.

3
  1. P1 · specie A · (4,1; 1,3)0,1 cm
  2. P2 · specie B · (4; 1,5)0,2 cm
  3. P3 · specie B · (3,7; 1,3)0,3 cm
  4. P4 · specie A · (4,4; 1,3)0,4 cm
  5. P5 · specie A · (4; 0,8)0,5 cm

k = 3 · voti A: 1, B: 2 · previsione: B.

Come leggerla. Cinque fiori inventati e un nuovo fiore Q = (4; 1,3), con misure del petalo in centimetri. I cerchi rappresentano A, i quadrati B e il rombo Q. Il controllo sceglie k = 1, 3 o 5; i segmenti evidenziati e l’elenco mostrano i vicini che votano, con distanze euclidee calcolate nelle due coordinate.

Parti da k = 1: vota solo P1, della specie A. Passa a k = 3: entrano P2 e P3, entrambi B, quindi il voto diventa 2 contro 1 per B. A k = 5 tornano a prevalere i tre A. I segmenti mostrano quali punti partecipano; il riepilogo elenca distanze e voti. Cambiare k significa cambiare quanto è locale la decisione, non rendere automaticamente il modello migliore.

Dal disegno a un problema reale

Se misuri la lunghezza in millimetri ma lasci la larghezza in centimetri, che cosa succede alla distanza?

Soluzione: La differenza sulla lunghezza si moltiplica per dieci e il suo quadrato per cento: quella coordinata pesa molto di più. Definisci trasformazioni e metrica sui dati di training, poi scegli k sulla validazione. Con molte caratteristiche irrilevanti anche una distanza calcolata correttamente può essere poco utile. Per implementazione e varianti consulta la guida ai vicini di scikit-learn.

Pratica guidata

Dal voto dei fiori al primo classificatore. Nella demo annota, per k = 1, 3 e 5, i vicini usati e il voto finale. Spiega perché la sequenza A → B → A non identifica un k migliore. Poi prepara il protocollo del laboratorio Iris e Wine: quali caratteristiche misuri, dove apprendi la scala, quali valori di k confronti e quale insieme apri per ultimo?

Come procedere

  1. La demo contiene un fiore da classificare, ma nessuna raccolta di validazione che dica se una scelta generalizza.

  2. Per la scala usa il training di ciascuna divisione. Il test confronta la procedura già scelta, non decide quale k mostrare nel rapporto.

Confronta la soluzione

A k = 1 vota P1 di A; a k = 3 i due B superano l’unico A; a k = 5 prevalgono i tre A. Stai cambiando la regione che influenza la decisione. Per scegliere k servono esempi con etichette separati dal fit e una metrica dichiarata. Nel laboratorio reale conserva una pipeline con trasformazione e KNN; addestra le trasformazioni dentro ogni training. Dal solo disegno non puoi stabilire che k = 3 sia ottimo: serve una valutazione su altri esempi.

Prova su un caso nuovo

Dopo Iris, applica il protocollo a Wine nel laboratorio guidato. Prima di eseguire, prevedi perché grandezze con unità diverse richiedono attenzione alla scala. Se esplori invece testi senza etichette con clustering, spiega quale controllo esterno servirebbe prima di chiamare i gruppi «classi corrette».

Controllo del tuo elaborato: Sai motivare distanza, scala e k; la prova finale resta separata. Un cambio di dataset deve produrre una nuova valutazione, non la copia del risultato di Iris.

Dalla pratica al laboratorio

Il passo successivo è costruire KNN su Iris, poi trasferirlo a Wine. L’approfondimento seguente è un secondo percorso: cambia volutamente il problema e confronta logistica, alberi, boosting e SVM su un’interazione simulata. Serve a studiare geometrie diverse; non è la continuazione numerica dei cinque fiori.

Controlla il ragionamento

Scegli una risposta e leggi la spiegazione.

Nel grafico KNN la classe di Q cambia A → B → A aumentando k. Qual è la conclusione sostenuta dal disegno?

KNN combina distanza, scala e numero dei vicini. La demo isola il voto; il laboratorio reale valuta la procedura su esempi separati.

Rileggi la spiegazione

Approfondimento tecnico facoltativo

Derivazioni e laboratorio

Lezione 3.2 · Modulo Apprendimento statistico e decisioni. Prerequisiti: verosimiglianza e cross entropy, preprocessing e validazione del modulo 1.

Un albero, una regressione logistica e un kernel rappresentano relazioni diverse fra gli ingressi. Cambiano anche le trasformazioni necessarie e i modi di controllare la complessità. Per confrontarli dobbiamo dare a ciascuno una procedura ben definita, poi valutare la procedura completa sugli stessi dati pertinenti.

Un problema con un’interazione

Il generatore del laboratorio estrae x₀,x₁ come gaussiane standard indipendenti e assegna:

p(Y=1|x) = σ(2,5 x₀x₁ + 0,6 x₀)
Y | x ~ Bernoulli(p).

Le etichette hanno rumore: la stessa coppia x può produrre entrambi gli esiti. La probabilità vera è disponibile perché siamo nel simulatore e servirà come riferimento. Non viene fornita ai modelli addestrati, che ricevono soltanto x e Y.

Il prodotto x₀x₁ cambia segno passando fra quadranti. Un singolo confine lineare non descrive bene questa interazione. Le differenze fra famiglie saranno quindi interpretabili rispetto al meccanismo noto, senza trasformare un risultato su dati costruiti in una classifica universale.

Regressione logistica: linearità nel logit

La logistica usa p=σ(wᵀx+b). Il confine a p=0,5 è l’iperpiano wᵀx+b=0; altre soglie spostano il livello del logit. La sigmoide non rende arbitrariamente complesso il confine nello spazio delle caratteristiche.

Possiamo fornire la caratteristica x₀x₁, rendendo la famiglia capace di rappresentare il generatore. Quella sarebbe una nuova procedura candidata, con una scelta di rappresentazione da dichiarare. È un’estensione utile del laboratorio: evita di attribuire a «logistica contro kernel» una differenza che può dipendere anche dalle caratteristiche disponibili.

Lo scaler viene appreso dentro la pipeline di ogni fold. La regolarizzazione controlla le pendenze; in LogisticRegression, C governa inversamente la forza della penalità secondo la convenzione della libreria. Non è la λ del modulo 2 copiata senza conversione.

Alberi: partizioni locali

Un albero decide una sequenza di confronti del tipo xⱼ≤s. Ogni foglia identifica una regione; per classificazione può restituire la frequenza positiva degli esempi di training che vi arrivano. Le regioni sono rettangoli allineati agli assi per questi split, quindi l’albero può approssimare l’interazione dividendone i quadranti.

Con impurità di Gini binaria G(p)=2p(1−p), uno split viene valutato confrontando l’impurità del nodo padre con la media pesata di quelle dei figli. Un figlio puro ha impurità zero, ma renderlo puro usando pochissime osservazioni può inseguire rumore. Profondità e numero minimo di esempi per foglia controllano proprio questa flessibilità.

La scelta è normalmente greedy: trova il miglior split corrente secondo il criterio, non il miglior albero fra tutti quelli possibili. Piccole variazioni dei dati possono cambiare uno split e molta struttura successiva. Inoltre una foglia con probabilità zero o uno può ricevere una log loss elevata su un esito opposto mai incontrato in quella foglia.

Nel laboratorio fissiamo almeno 15 esempi per foglia e cerchiamo profondità 2 o 5. Gli alberi non hanno bisogno di standardizzazione per cambiare l’ordine dei valori sotto una trasformazione affine positiva, mentre logistica penalizzata e kernel risentono della scala nella loro geometria.

Boosting: correggere attraverso una somma

Un modello additivo costruisce una funzione F_M(x)=F_0(x)+ηΣₘhₘ(x). Per classificazione binaria interpretiamo F come logit. Con perdita logistica, la derivata per osservazione è σ(F(xᵢ))−yᵢ; il gradiente negativo è quindi yᵢ−pᵢ.

Il boosting cerca un nuovo albero h che approssimi una direzione utile nello spazio delle funzioni, poi aggiunge una correzione attenuata. A ogni passo i target intermedi dipendono dai residui del modello corrente. È diverso da addestrare alberi indipendenti e fare una media.

Il numero di stadi, la profondità, il passo e gli eventuali sottocampionamenti interagiscono. Un passo piccolo può richiedere più stadi; alberi più profondi rappresentano interazioni più complesse. Non basta un solo parametro chiamato «complessità». L’implementazione scikit-learn del gradient boosting documenta le scelte disponibili; qui fissiamo 60 stadi e confrontiamo profondità 1 o 2, senza usare il test per arrestare la sequenza.

Un albero di profondità uno corregge un singolo split per volta. Una somma di contributi soltanto additivi può faticare con un’interazione pura; permettere profondità due cambia la classe delle correzioni. La tabella va letta tenendo presente questo vincolo.

Kernel: una geometria tramite prodotti interni

Un kernel valido permette di calcolare k(x,x')=φ(x)ᵀφ(x') senza scrivere esplicitamente tutte le coordinate di φ. La matrice di Gram sui dati deve essere simmetrica semidefinita positiva per rappresentare questa geometria.

Con kernel RBF:

k(x,x') = exp(−γ‖x−x'‖²).

γ controlla quanto localmente due punti risultano simili. La scala delle caratteristiche entra direttamente nella distanza, quindi lo scaler fa parte del modello. Standardizzarlo prima dei fold userebbe informazioni delle righe che dovrebbero simulare dati nuovi.

La SVM cerca un margine, bilanciando norma e violazioni. Con etichette trasformate in {−1,+1}, una formulazione è ½‖w‖²+CΣᵢmax(0,1−yᵢf(xᵢ)). L’uscita f è un punteggio di margine, non una probabilità. Per selezionare tramite log loss, il laboratorio usa SVC(probability=True): la libreria apprende anche una mappatura probabilistica interna ai dati ricevuti durante ogni fit. Questo costa ulteriori fit e deve restare dentro il confine del training di ciascun fold.

La matrice di Gram ha n² elementi: i kernel esatti possono diventare costosi al crescere del campione. Tecniche di approssimazione permettono altri compromessi, ma non cambiano il fatto che una migliore MSE o log loss da sola non misura costo e latenza.

La procedura di selezione

Il laboratorio riserva partizioni indipendenti generate con seed distinti:

Parte Righe Uso
Training 600 Validazione interna a tre fold, scelta di famiglia e iperparametri, rifit sul training.
Calibrazione probabilistica 250 Mappatura dei punteggi del vincitore in probabilità.
Scelta della decisione 250 Selezione della soglia rispetto al costo dichiarato.
Test di base 1.000 Valutazione della procedura fissata.
Scenario con input diversi 1.000 Controllo di un cambiamento predefinito nella distribuzione degli ingressi.
Scenario con relazione diversa 1.000 Controllo di un cambiamento predefinito nella relazione fra x e Y.

All’interno dei 600 esempi, GridSearchCV usa gli stessi fold stratificati per tutti i candidati, con log loss media come criterio. La stratificazione mantiene approssimativamente le proporzioni delle classi; non risolverebbe dipendenze per gruppo, se esistessero. Qui le osservazioni sono indipendenti per costruzione.

La documentazione della ricerca su griglia chiarisce il ruolo di stimatore, griglia, scoring e rifit. Le pipeline includono lo scaler dove serve: ogni trasformazione appresa viene stimata sul solo training interno. I modelli migliori vengono riaddestrati sui 600 esempi; fra le quattro famiglie scegliamo il minor valore CV. Anche la famiglia fa parte della selezione: il minimo riportato non è già una verifica esterna.

Risultati registrati e interpretazione

Famiglia Iperparametri scelti Log loss CV usata per scegliere
Logistica C=0,1 0,688373
Albero profondità 2 0,600766
Boosting profondità 2, 60 stadi 0,545122
SVM RBF C=10, γ=0,1 0,500871

Vince il kernel in questo esperimento e in questa griglia. La griglia del kernel ha quattro combinazioni, le altre due: il numero di tentativi differisce. Non è una misura universale della superiorità della famiglia né un confronto a costo di ricerca identico. Il test riservato valuterà la procedura scelta con questo specifico budget, che va conservato nel report.

La logistica lineare incontra una limitazione di rappresentazione coerente con il generatore. Inserire x₀x₁ sarebbe un’ablazione informativa sulla rappresentazione. Aumentare C da solo non può creare quella caratteristica. Al contrario, un albero molto profondo può rappresentare regioni dettagliate ma risentire di una maggiore variabilità: capacità espressiva e affidabilità sul campione finito restano distinte.

Laboratorio e ablation

Esegui apprendimento_statistico.py e leggi selezione nel JSON. Poi aggiungi, in una copia, la logistica con interazione dentro la pipeline. Mantieni fissi fold, campioni e criterio. Registra il nuovo candidato come ulteriore ricerca: se ripeti la decisione dopo aver letto i risultati di test, quello stesso test diventa materiale di sviluppo per il nuovo confronto.

Un controllo aggiuntivo consiste nel permutare le etichette del solo training e rifare l’intera ricerca su un problema senza segnale. Mantieni una valutazione riservata: un metodo flessibile può migliorare il training anche quando non c’è nulla da generalizzare. Per il caso con gruppi, riprendi le partizioni del modulo 1 invece di usare automaticamente StratifiedKFold.

Esercizi con soluzione

Una trasformazione prima dei fold

Un collega standardizza i 600 esempi una volta, poi chiama GridSearchCV sul kernel. Il test esterno resta riservato. Quale parte è contaminata?

Soluzione: ogni validazione interna contribuisce alle statistiche dello scaler usato nel suo training, quindi il criterio interno non simula completamente dati nuovi. Il test esterno può ancora valutare la procedura finale se non influenza le scelte, ma la ricerca interna è progettata male. Lo scaler va nella pipeline passata alla ricerca.

Un’interazione assente

Perché un modello F(x)=f₀(x₀)+f₁(x₁) non rappresenta in generale x₀x₁?

Soluzione: nel modello additivo la differenza F(a,x₁)−F(b,x₁) non dipende da x₁. Per il prodotto vale invece (a−b)x₁. Basta scegliere a diverso da b e due valori distinti di x₁ per ottenere una contraddizione.

Una probabilità dopo il margine

La SVM restituisce margine 2. Puoi interpretarlo come probabilità 200% oppure applicare una sigmoide arbitraria e considerarla calibrata?

Soluzione: nessuna delle due operazioni è giustificata. Il margine ha una scala legata all’addestramento; una trasformazione probabilistica deve essere appresa e verificata su dati appropriati. Una sigmoide produce numeri fra zero e uno, ma questo non basta a renderli affidabili come frequenze.

Prossima lezione

Passiamo alla calibrazione e alle decisioni. Il modello è stato scelto; ora controlleremo il significato delle sue probabilità e il costo delle azioni che ne derivano.

Tengo corsi di programmazione, analisi dati e intelligenza artificiale per aziende ed enti di formazione, in aula e da remoto. Scopri come insegno e quali materiali uso a lezione.