Modulo 1 · Lezione 1.4
Leggere le metriche e confrontare due sistemi
Un punteggio riassume una parte del comportamento di un sistema. Per interpretarlo servono il tipo di errore misurato, gli esempi della prova e l’incertezza dovuta al campione.
Quali errori stiamo contando
Per un filtro antispam, un falso positivo è un messaggio legittimo segnalato come spam; un falso negativo è spam lasciato passare. La precisione risponde a «quanti dei messaggi segnalati sono davvero spam?». Il richiamo, o recall, risponde a «quanto dello spam presente viene trovato?».
Se ci sono 20 messaggi spam e il sistema ne segnala 15, dei quali 12 corretti, la precisione è 12/15 = 80% e il richiamo è 12/20 = 60%. Gli altri 3 segnalati sono falsi positivi; gli 8 spam mancati sono falsi negativi. Sono conteggi illustrativi, che mostrano la differenza fra precisione e richiamo.
La F1 combina precisione e richiamo con una media armonica. È utile in certi confronti, ma non esprime automaticamente il costo reale degli errori.
Confrontare sugli stessi casi
Per confrontare due sistemi, falli lavorare sugli stessi esempi. Il confronto si dice appaiato: per ogni messaggio sappiamo se migliorano entrambi, se peggiorano entrambi o se uno riesce dove l’altro fallisce. Si riduce così la confusione dovuta a test di difficoltà diversa.
Un miglioramento osservato su pochi casi può dipendere dal campione. Un intervallo di confidenza descrive l’incertezza di una procedura di stima sotto determinate ipotesi; non garantisce le prestazioni su qualunque uso futuro. Il bootstrap, studiato nel laboratorio, costruisce nuovi campioni ricampionando le osservazioni disponibili.
Stima puntuale e intervallo di incertezza
Scorri il disegno in orizzontale per leggerlo tutto.
Il campione deve rispettare il problema
Mille immagini provenienti da dieci autori non rappresentano mille autori indipendenti. Se interessa la generalizzazione a persone nuove, anche la stima dell’incertezza deve considerare i gruppi. Inoltre un vantaggio medio può nascondere un peggioramento su testi lunghi o su una lingua poco rappresentata.
Esempio svolto: due modelli sugli stessi cento casi
Due classificatori A e B vengono provati sugli stessi 100 messaggi. Entrambi ne classificano bene 80; A ne risolve da solo 5; B ne risolve da solo 8; entrambi sbagliano i restanti 7. A ha quindi accuratezza 85%, B 88%. Il vantaggio osservato di B è 3 punti percentuali.
Il dato interessante non è soltanto la differenza fra le due percentuali: i modelli dissentono su 13 casi, e B vince 8 di quei confronti. Conservare l’abbinamento permette di capire quali esempi migliorano e quali peggiorano. Due elenchi di punteggi scollegati perderebbero questa informazione.
Nel grafico precedente, distinto da questi cento messaggi, la stima +2 ha un intervallo da −1 a +5. Leggilo in tre passaggi: trova lo zero, osserva dove cade la stima, considera quanto è largo l’intervallo. Attraversare lo zero rende incerta la direzione del vantaggio con quel metodo di stima; non dimostra che i sistemi siano equivalenti.
Dalla statistica alla scelta
B corregge tre errori netti in più, ma impiega il doppio del tempo. Lo adotteresti automaticamente?
Soluzione: Serve sapere quali errori cambia, quanto costa l’attesa e quanta incertezza rimane. Se quei cento messaggi appartengono a poche campagne, non sono cento osservazioni pienamente indipendenti: anche il ricampionamento deve rispettare i gruppi. Una media migliore non basta a decidere.
Pratica guidata
Confronta le previsioni sui singoli messaggi. Disegna una tabella 2 × 2 per i cento messaggi: entrambi corretti 80, solo A 5, solo B 8, entrambi errati 7. Ricava accuratezze e vantaggio di B. Scrivi poi quali record devi conservare per controllare se B migliora davvero gli stessi tipi di messaggio. Se i messaggi provengono da dieci campagne, quale unità di ricampionamento considereresti?
Come procedere
Le righe della tabella indicano A corretto/errato; le colonne B corretto/errato. Ogni messaggio compare una volta.
Il miglioramento netto si trova anche confrontando 8 guadagni con 5 perdite. Per l’incertezza chiediti quali osservazioni condividono origine e dipendenza.
Confronta la soluzione
A è corretto in 85 casi, B in 88: il vantaggio osservato è 3 punti percentuali, ossia (8 − 5)/100. Conserva ID del messaggio, etichetta, entrambe le previsioni e gruppi rilevanti; due liste scollegate impediscono di localizzare guadagni e regressioni. Se le campagne sono unità indipendenti coerenti con la popolazione d’uso, ricampiona intere campagne mantenendo le coppie A/B. Dieci campagne danno meno informazione sulla varietà delle campagne di cento gruppi indipendenti; il bootstrap non ne inventa di nuove.
Prova su un caso nuovo
Per il progetto immagini, costruisci la stessa tabella per baseline e modello. Descrivi un miglioramento medio che nasconda un peggioramento su una cifra e mostra quali conteggi servirebbero per vederlo.
Controllo del tuo elaborato: Hai distinto numero di esempi, unità indipendenti e coppie di previsioni; il rapporto mostra anche dove il nuovo sistema perde.
Dalla pratica al laboratorio
Il laboratorio seguente ricampiona dispositivi: la struttura a gruppi sostituisce le campagne. Prima di leggere gli intervalli, prevedi quale informazione si perde ricampionando A e B separatamente.
Controlla il ragionamento
Scegli una risposta e leggi la spiegazione.
A e B sono valutati sulle stesse immagini, con molte immagini per autore. Per studiare nuovi autori, quale bootstrap è più coerente se gli autori sono unità indipendenti?
La scelta dell’unità deve seguire raccolta e popolazione di interesse. Il bootstrap quantifica incertezza nelle ipotesi dichiarate; non genera autori assenti dalla raccolta.
Rileggi la spiegazioneApprofondimento tecnico facoltativo
Derivazioni e laboratorio
Due modelli già fissati vengono valutati sugli stessi 480 casi. A risponde correttamente nel 70% dei casi, B nell’80%. Dieci punti percentuali sembrano un vantaggio chiaro. Ma le 480 letture provengono da 24 dispositivi: quanto cambia la conclusione se il miglioramento è concentrato in alcuni apparecchi e il peggioramento in altri?
In questa lezione separiamo la grandezza del miglioramento dall’incertezza della misura. Costruiremo un confronto appaiato e due bootstrap, uno per righe e uno per dispositivi. Deriveremo un controllo analitico dell’errore standard e preciseremo quale variabilità il laboratorio misura. Servono media, varianza e probabilità; la lezione precedente spiega perché i modelli devono essere fissati prima della valutazione.
Un test costruito per rendere visibile la dipendenza
Usiamo 24 dispositivi con 20 letture ciascuno. Per ogni lettura conosciamo classe reale e previsioni dei due modelli. I conteggi sono predisposti per l’esercizio, non estratti da un esperimento reale:
| Tipo di dispositivo | Numero di dispositivi | Entrambi corretti | Solo A corretto | Solo B corretto | Entrambi errati |
|---|---|---|---|---|---|
| Favorevole a B | 16 | 12 | 0 | 6 | 2 |
| Favorevole ad A | 8 | 12 | 6 | 0 | 2 |
Gli ultimi quattro conteggi sono per singolo dispositivo. Nel primo tipo A ha accuratezza 12/20 = 60% e B 18/20 = 90%. Nel secondo tipo i valori si scambiano.
Sull’intero campione:
A: (16 × 12 + 8 × 18) / 480 = 336/480 = 0,70
B: (16 × 18 + 8 × 12) / 480 = 384/480 = 0,80
B − A = 0,10 = 10 punti percentuali
Questa costruzione isola la composizione dei dispositivi: se un futuro campione contenesse più apparecchi favorevoli ad A, il vantaggio medio di B sarebbe minore. I percentili che calcoleremo illustrano un procedimento di ricampionamento; la costruzione artificiale non dimostra la sua copertura su una popolazione reale.
Prima previsione: quale ricampionamento dovrebbe rendere più variabile il risultato in questo esempio, quello delle singole righe o quello degli interi dispositivi? Motiva la risposta indicando quale composizione lascia cambiare ciascun metodo.
Conservare l’appaiamento
Per ogni riga i definiamo c_Ai = 1 se A è corretto e 0 altrimenti; allo stesso modo definiamo c_Bi. La differenza appaiata è:
d_i = c_Bi − c_Ai ∈ {−1, 0, +1}
Δ̂ = (1/n) Σ_i d_i
Una riga in cui entrambi hanno successo contribuisce zero alla differenza, così come una in cui entrambi falliscono. Solo i disaccordi cambiano il confronto: +1 se vince B, −1 se vince A. Qui ci sono 96 righe con +1, 48 con −1 e 336 con zero. La media vale (96 − 48)/480 = 0,10.
Calcolare la differenza sulla stessa riga preserva la difficoltà condivisa del caso. Se ricampionassimo separatamente le risposte di A e B, potremmo confrontare la prestazione di A su un insieme facile con quella di B su un insieme difficile. Cambieremmo la variabilità del confronto.
La ragione algebrica è:
Var(c_B − c_A) = Var(c_B) + Var(c_A) − 2 Cov(c_A, c_B)
Il termine di covarianza tiene conto del fatto che i due modelli affrontano gli stessi casi. Il suo segno e la sua grandezza dipendono dai dati: perdere l’appaiamento non produce sempre un errore nella stessa direzione. Se i modelli fossero identici, ogni d_i sarebbe zero e la differenza non dovrebbe oscillare a causa del ricampionamento.
Un bootstrap per righe
Il bootstrap costruisce nuovi campioni estraendo con rimpiazzo dal campione osservato. Con rimpiazzo significa che la stessa unità può comparire più volte. Per ciascuna replica per righe:
- Estrarre 480 indici di riga fra i 480 disponibili.
- Conservare per ogni indice la coppia di risultati di A e B, o direttamente
d_i. - Calcolare la media delle 480 differenze estratte.
Ripetiamo 5.000 volte, ottenendo Δ̂*₁, …, Δ̂*₅₀₀₀. La loro deviazione standard è l’errore standard bootstrap. I quantili 2,5% e 97,5% formano l’intervallo percentile nominale al 95%.
La documentazione di SciPy descrive il ricampionamento con indici comuni per dati appaiati e distingue il metodo percentile da altri intervalli, come BCa. Il nostro laboratorio implementa il calcolo esplicitamente con la libreria standard; non chiama SciPy.
Il problema qui è l’unità: estrarre righe singole tratta le differenze come se fossero osservazioni scambiabili indipendenti. Il campione contiene invece blocchi di letture dello stesso apparecchio, che condividono quale modello è favorito.
Un bootstrap per dispositivi
Ora estraiamo 24 identificativi con rimpiazzo fra i 24 dispositivi. Per ogni identificativo conserviamo tutte le sue 20 letture e l’appaiamento fra A e B. Il campione bootstrap contiene ancora 480 righe, ma la composizione dei tipi di dispositivo può cambiare.
Se lo stesso dispositivo viene estratto due volte, tutte le sue letture contribuiscono due volte. Eliminare le copie con un insieme Python cambierebbe il metodo. Un identificativo duplicato nel bootstrap rappresenta due estrazioni dell’unità, non un difetto da deduplicare.
Dato che tutti i dispositivi hanno la stessa numerosità, possiamo abbreviare il calcolo. La differenza media di ciascun dispositivo è d̄_g = +0,30 per i primi sedici e −0,30 per gli altri otto. Ricampionare le 24 medie e calcolarne la media è equivalente a ricampionare gli interi dispositivi e aggregare tutte le loro righe.
Con gruppi di dimensione diversa le due operazioni non coincidono per una metrica per lettura. Occorre scegliere la quantità da stimare: peso uniforme dei dispositivi oppure peso proporzionale al numero di letture. La lezione 1.1 ha mostrato che sono due domande diverse.
Il ricampionamento dei gruppi deve rispecchiare il disegno di raccolta. Nel nostro scenario, per un’interpretazione inferenziale, assumeremmo dispositivi indipendenti e rappresentativi, con il loro insieme di letture. Se la raccolta avesse più livelli di campionamento o dipendenze tra dispositivi, servirebbe adattare il procedimento. Questo rapporto fra disegno e ricampionamento, insieme ai limiti con pochi gruppi, è discusso da Deen e de Rooij.
Eseguire il confronto
Il laboratorio costruisce classe e previsioni per ciascuna riga, calcola le differenze e ricampiona. Non addestra nuovi modelli durante il bootstrap.
python3 laboratori/incertezza_appaiata.py
python3 laboratori/incertezza_appaiata.py --verifica
Con Python 3.13.1, 5.000 repliche e seme 41:
| Metodo | Differenza osservata B − A | Errore standard bootstrap | Intervallo percentile nominale 95% |
|---|---|---|---|
| Ricampionamento delle righe | +10,00 punti | 2,45 punti | da +5,21 a +14,58 punti |
| Ricampionamento dei dispositivi | +10,00 punti | 5,78 punti | da −2,50 a +20,00 punti |
«Punti» significa punti percentuali di accuratezza. Il miglioramento osservato è identico; cambia la variabilità rappresentata dal ricampionamento. Per dispositivi nuovi, la seconda procedura conserva la struttura che ci interessa. L’intervallo comprende zero: questa analisi non separa con sufficiente precisione un vantaggio medio positivo da un vantaggio nullo o leggermente negativo.
Non segue che A e B siano equivalenti. Per sostenere equivalenza servono un margine rilevante fissato prima, un disegno adeguato e una misura abbastanza precisa rispetto a quel margine. L’intervallo da −2,5 a +20 punti è compatibile anche con un miglioramento ampio.
I quantili empirici sono calcolati ordinando le repliche e interpolando linearmente nella posizione (B − 1)q, con indici a partire da zero. La convenzione conta per campioni bootstrap piccoli e distribuzioni discrete. Il JSON del laboratorio riporta i valori non arrotondati.
Controllare la scala con un conto analitico
Le 24 differenze medie per dispositivo sono sedici volte +0,3 e otto volte −0,3. La media è +0,1. La somma dei quadrati degli scarti vale:
Σ_g (d̄_g − 0,1)² = 16 × 0,2² + 8 × (−0,4)² = 1,92
s² = 1,92 / (24 − 1)
SE della media = s / √24 ≈ 0,05898
Se le medie dei dispositivi fossero osservazioni indipendenti della popolazione pertinente, questo sarebbe lo stimatore usuale dell’errore standard della media. Vale circa 5,90 punti percentuali, vicino alla scala osservata nel bootstrap per dispositivi.
Possiamo anche calcolare esattamente la varianza della distribuzione bootstrap della media, condizionata a questi dati. La distribuzione empirica assegna peso 1/24 a ogni media di dispositivo. La sua varianza usa quindi denominatore 24; la media di 24 estrazioni indipendenti da essa divide ancora per 24:
Var*(Δ̂*) = 1,92 / 24²
SE* esatto = √(1,92 / 576) ≈ 0,05774
Le 5.000 repliche producono 0,05780: la piccola differenza è dovuta al ricampionamento Monte Carlo. Il confronto analitico controlla l’implementazione e spiega perché il valore bootstrap non coincide esattamente con s/√24.
Per le righe, la distribuzione empirica ha P(d=+1)=0,2, P(d=−1)=0,1 e P(d=0)=0,7. La varianza è 0,3 − 0,1² = 0,29. Ricampionando 480 righe indipendenti da questa distribuzione, l’errore standard condizionale sarebbe √(0,29/480) ≈ 0,02458. Il codice restituisce circa 0,02454. Anche questo calcolo è corretto per il procedimento che descrive; è la scelta di quel procedimento a non conservare la dipendenza fra letture.
Che cosa significa il 95%
Un livello di confidenza riguarda il comportamento di un metodo in campionamenti ripetuti sotto le sue ipotesi. Non assegna, da solo, una probabilità del 95% al fatto che il parametro fisso si trovi nell’intervallo appena osservato. Per il bootstrap percentile la copertura è approssimata, non garantita soltanto perché abbiamo estratto molti campioni.
Cinquemila repliche non diventano cinquemila nuovi dispositivi. Aumentare il numero di repliche riduce l’errore Monte Carlo dei quantili; non rende più rappresentativi i 24 dispositivi iniziali. Pochi gruppi, casi rari assenti, campione distorto o cambiamento di distribuzione rimangono problemi sostanziali.
Qui abbiamo costruito i conteggi a mano. Possiamo verificare esattamente la distribuzione empirica ricampionata, ma non dichiarare una copertura reale del 95%. Per studiare la copertura in simulazione dovremmo specificare una popolazione, generare molti nuovi campioni di dispositivi e contare quante volte gli intervalli contengono il parametro noto. Ripetere il bootstrap sullo stesso campione con semi diversi misura un’altra cosa.
Tre fonti di variabilità da tenere distinte
Il laboratorio considera due modelli fissati e la variabilità dovuta al campione di valutazione. Non modifica dati di training, pesi, soglie o iperparametri. Questa è una risposta utile se vogliamo confrontare i due artefatti già addestrati nelle condizioni definite.
La variabilità di una procedura di addestramento include anche nuovi training, nuova selezione e casualità dell’ottimizzatore. Per studiarla bisogna ripetere quei passaggi con un disegno appropriato. Un bootstrap delle sole previsioni finali non la include.
Il cambiamento dell’ambiente riguarda dispositivi, utenti o condizioni future non rappresentate dal campione. Nessuno dei due bootstrap genera un nuovo tipo di apparecchio assente dai dati. Serve una verifica progettata per quello scenario.
Anche l’analisi per sottogruppi va interpretata nel suo ruolo. Se osservando il test scopriamo un problema e modifichiamo il modello per correggerlo, quella scoperta entra nello sviluppo. La prestazione della versione modificata richiede una nuova valutazione pertinente.
Esercizi
1 Eseguire una replica a mano
Quattro dispositivi hanno differenze medie +0,3, +0,3, −0,3, 0. Una replica estrae gli identificativi [1, 1, 2, 3], numerati da uno. Calcola la media della replica e spiega perché il dispositivo 1 deve contribuire due volte.
Soluzione: la replica contiene 0,3, 0,3, 0,3, −0,3. La media è 0,6/4 = 0,15. Il campionamento è con rimpiazzo; eliminare la seconda estrazione del dispositivo 1 produrrebbe un campione diverso di dimensione tre.
2 Interpretare un intervallo che attraversa zero
Un collega legge l’intervallo da −2,5 a +20 punti e conclude: «I modelli sono uguali». Scrivi una correzione che distingua stima puntuale, incertezza ed equivalenza.
Soluzione: sul campione B guadagna 10 punti. Il ricampionamento per dispositivi produce un intervallo ampio che comprende zero e valori positivi rilevanti. Questo non permette di affermare un vantaggio medio positivo con il criterio adottato, ma non dimostra equivalenza. Per quella conclusione occorrerebbe definire prima un margine accettabile e ottenere precisione sufficiente a collocare la differenza entro quel margine.
3 Trovare un appaiamento perso
Un programma estrae 24 dispositivi per A e, con un’altra chiamata casuale, 24 dispositivi per B. Calcola poi la differenza fra le due accuratezze. Quale confronto sta cambiando?
Soluzione: perde il fatto che A e B sono stati misurati sugli stessi dispositivi. Ogni replica deve usare gli stessi identificativi estratti per entrambi. L’implementazione basata direttamente sulle differenze medie conserva questo vincolo. Un controllo con previsioni identiche deve produrre differenza zero in ogni replica.
4 Gestire gruppi di dimensione diversa
Il dispositivo A ha 100 letture con differenza media +0,2; il dispositivo B ne ha 10 con differenza media −0,4. Calcola la differenza media per lettura e quella con uguale peso dei dispositivi. Quale useresti se ogni apparecchio conta allo stesso modo nel servizio?
Soluzione: per lettura otteniamo (100 × 0,2 − 10 × 0,4)/110 = 16/110 ≈ 0,14545, cioè +14,55 punti. Per dispositivo otteniamo (0,2 − 0,4)/2 = −0,1, cioè −10 punti. Per il vincolo dichiarato scegliamo la seconda quantità. Il ricampionamento deve conservare quella scelta di pesi; il segno del risultato può cambiare perché cambia la popolazione media descritta.
5 Distinguere più repliche e più dati
Ripeti il laboratorio con --repliche 20000 --seed 42. Formula prima una previsione su stima puntuale, errore standard e limiti dell’intervallo. Che cosa non potrà risolvere questa esecuzione?
Soluzione: la stima puntuale resta +10 punti perché i dati osservati non cambiano. Le stime Monte Carlo si stabilizzano attorno alle quantità della stessa distribuzione empirica; l’intervallo per dispositivi rimane discreto. Più repliche non aggiungono dispositivi, non includono nuovi tipi e non dimostrano copertura su una popolazione reale. Il controllo analitico fornisce un riferimento per l’errore standard, non una garanzia generale sui quantili.
Prova conclusiva del modulo
Apri la consegna finale. Devi progettare una valutazione su dispositivi futuri, seguire le trasformazioni dentro la selezione e motivare il confronto finale. Per risolverla servono insieme le quattro lezioni: il rapporto deve spiegare come il protocollo produce e giustifica i punteggi.
Materiali e verifica
Codice e conteggi sono stati creati per questa lezione. Eseguito con Python 3.13.1, seme 41 e 5.000 repliche. Le verifiche automatiche controllano conteggi delle previsioni corrette, differenze, convenzione dei quantili, appaiamento per modelli identici e trattamento dei gruppi ripetuti. Le tabelle riportano risultati arrotondati a due decimali. Il laboratorio non richiede dipendenze esterne e non addestra modelli: studia le previsioni predisposte nel campione. Fonti consultate il 10 ottobre 2026.
Hai concluso le quattro lezioni del modulo 1. Metti alla prova ciò che hai imparato.
Il tuo riscontro
Com’è andata questa lezione?
Dimmi cosa è chiaro e dove la spiegazione può migliorare.