Qual è stato uno dei primissimi film che avete visto al cinema?
Beh, per quelli della mia generazione la risposta è semplice....Escludendo i cartoni della Walt Disney, con gli eterni Pippo, Pluto e Paperino, e l'altrettanto eterno 007, il primo film “da grandi” sul grande schermo fu, sine ullo dubio, “Tora!Tora!Tora!” (di Richard Fleischer, Kinji Fukasaku e Toshio Masuda).
Come tutti saprete, è la storia dell'attacco a Pearl Harbor; oggi, però, scopriremo qualcosa che scaturì proprio come conseguenza di quell'attacco e che è divenuta uno degli strumenti più utilizzati nella valutazione della bontà dei modelli predittivi.
Dopo l'attacco, infatti, gli USA iniziarono a cercare uno strumento matematico per individuare gli aerei giapponesi analizzando i loro segnali radar. In soldoni, lavorarono su un classificatore binario che attribuisse ai segnali, come probabilità che si trattasse di un aereo giapponese, un valore tra 0 e 1. Avevano inoltre bisogno, però, di un valore soglia per decidere se la probabilità assegnata al segnale dovesse essere considerata alla stregua di una reale minaccia o di un falso allarme.
Naturalmente, un valore soglia molto alto avrebbe avuto come conseguenza che ben pochi segnali sarebbero stati considerati come pericolo reale mentre un valore soglia basso avrebbe comportato che quasi tutti i segnali sarebbero stati classificati come tali. Ovviamente i valori soglia possibili sono infiniti: per visualizzarli tutti, gli USA crearono quella cosa che noi data scientists conosciamo come Receiver Operating Characteristics o ROC curve.
Questo strumento ci consente di mettere in relazione, per qualsiasi modello di predizione, la proporzione di Falsi Positivi (quello che in statistica si chiama “rumore”) con la proporzione di Veri Positivi (che, nel caso specifico, erano gli aerei nemici), per ciascuno dei valori soglia possibili. A seconda del tasso di Falsi Positivi e Veri Positivi che si è disposti ad accettare, si sceglierà un punto sulla curva e a quello corrisponderà un valore soglia predetermianto.
Da allora, gli usi della ROC curve sono stati tantissimi e particolarmente importanti sono quelli nel campo della medicina; ad es., viene usata nei test di gravidanza e, ultimamente, è stata usata nei test COVID che tutti noi abbiamo fatto, e, probabilmente, continueremo a fare.
 |
| immagine ROC Wikipedia |
