La prova del Nove

A half-truth is the most cowardly of lies. (Mark Twain)
Una mezza verità è la più vigliacca delle bugie.

Visto che il post precedente è stato abbastanza apprezzato, continuiamo a parlare di Statistica.

Questa volta esamineremo il caso “QCS Letters”,  ossia quello delle 10 lettere a firma di Quintus Curtius Snodgrass (ovviamente, è un nome di fantasia!) pubblicate nel 1861 sul “New Orleans Daily Crescent”.

In queste lettere, un tale Mr. Snodgrass, racconta le sue avventure mentre presta servizio presso l'esercito confederato. Queste lettere non ricevettero grande attenzione fino a quando, nel 1934, Minnie Brashear, nel suo libro “Mark Twain, Son of Missouri”, le riporterà sotto la luce dei riflettori attribuendole, per l'appunto, a Mark Twain (tra l'altro, anche questo è uno pseudonimo!!!).

Nel 1940 (ricordiamo che Twain morì nel 1910), lo scrittore verrà accusato, dagli scranni della Camera dei Rappresentanti, di essere un disertore dell'esercito confederato;  il New York Times ne prenderà le difese, argomentando che Twain ed i suoi sentimenti furono travolti dall'enormità degli eventi.

Beh, che Twain odiasse lo schiavismo e la crudeltà non vi è alcun dubbio; del resto, abbandonerà le file dei confederati dopo solo 2 settimane.

Le avventure descritte nelle “Lettere”, comunque, costituiscono la base storica di una parte importante del presunto ruolo avuto da Twain nella guerra di secessione.

Nel 1963, Claude Brinegar, in un articolo pubblicato sul “Journal of American Statistical Association”¹, dimostrerà che le lettere di QCS non appartenevano, però, a Mark Twain.

Vediamo come fece.

Brinegar prese 7 lettere (11.000 parole) , di sicuro scritte da Mark Twain. Dopo aver eliminato intestazioni, nomi propri, citazioni, parole straniere, abbreviazioni ed espressioni dialettali, contò le occorrenze di ciascuna parola a seconda della sua lunghezza, dalle parole di 1 lettera fino a quelle di 10+ lettere e, quindi, ne calcolò la rispettiva proporzione.

Come prova della consistenza nel tempo, poi, prese due altri scritti di Mark Twain, effettuò un analogo conteggio e confrontò i risultati con quelli ottenuti nell'analisi precedente, dimostrando che la distribuzione delle parole manteneva un alto livello di consistenza a distanza di molti anni.

Successivamente, effettuò la medesima classificazione per le 10 lettere di QCS (13.175 parole), e comparò la distribuzione di frequenza ottenuta con i valori attesi  se le lettere fossero state scritte da Twain (i valori attesi si ottengono moltiplicando 13.175 per la rispettiva probabilità di  ciascun elemento  ricavata dalla distribuzione precedente; se, ad es., nelle lettere di Mark Twain la proporzione delle parole di 4 lettere era uguale al 19,3% , il valore atteso per le parole di 4 lettere nelle lettere di QCS sarà 2542.8) .

La prima cosa che si nota, immediatamente, è che Twain tendeva ad utilizzare maggiormente le parole corte.

Per stabilire se le lettere fossero dello stesso autore, Brinegar utilizzò il test chi quadrato Χ².

Proviamo a spiegare il procedimento.

Il test  Χ²  viene usato per verificare che le frequenze dei valori osservati si adattino alle frequenze teoriche di una distribuzione di probabilità prefissata, ossia se vi sono delle differenze significative tra i valori attesi ed i valori osservati.

o_i=frequenze osservate
e_i=frequenze attese
A questo punto, occorre impostare l'ipotesi nulla:
H₀= Non vi sono sostanziali differenze, quindi le lettere sono dello stesso autore

e stabilire l'errore tollerato:
α=0.01
Applicando la formula ai dati, il valore che si ottiene è 294,7.

Andando, infine, ad esaminare le tavole della distribuzione chi quadrato,  per α=0.01 e per 9 gradi di libertà (i 10 valori della variabile  -1) il valore corrispondente è 21,7 , molto distante da quello ottenuto nel test, quindi occorre respingere l'ipotesi H₀: le lettere non appartengono a Mark Twain .

E, dopo la verifica di ipotesi, concludiamo con le previsioni.

Jim  predice il futuro di Huck utilizzando un quarto di dollaro ed una palla di setole; vediamo cosa dice al ragazzo....

Dalle “Avventure di Huckleberry Finn”:

Sometimes you gwyne to git hurt, en sometimes you gwyne to git sick; but every time you’s gwyne to git well agin.
A volte vi ferirete, a volte vi ammalerete; ma, alla fine, guarirete.



1 Brinegar, C., "Mark Twain and the Quintus Curtius Snodgrass Letters: A Statistical Test of Authorship", Journal. American Statistical Association

Di ritorno da Camelot

Gli appassionati della letteratura americana avranno già indovinato, oggi parleremo di Mark Twain e del suo "Un americano alla Corte di Re Artù".

Il tipico americano medio, Hank Morgan, dopo aver preso una botta in testa, si ritrova nel mitico regno di Camelot, ma non è tutto oro quello che luccica: gli "eroici" cavalieri della tavola rotonda sono dei cialtroni, che fanno "carriera" a forza di menzogne (e, tra l'altro, curano ben poco l'igiene personale); di eroismo non c'è traccia, solo violenza, saccheggi e angherie sui poveri e sui deboli. Hank, che è abile nei lavori manuali (non come Troisi e Benigni nel film "Non ci resta che piangere"), grazie alle conoscenze del suo secolo, viene considerato un potentissimo mago, guadagnandosi l'odio di Merlino, e cerca con le sue invenzioni di migliorare la vita della gente.

Il romanzo di Twain, però, non è l'esaltazione dei valori americani di democrazia e progresso, guadagnato rimboccandosi le maniche e lavorando sodo, rispetto alla brutalità del Medio Evo europeo: alla fine Hank riesce a migliorare le cose solo superficialmente, mentre i grandi problemi, che poi sono quelli della giustizia sociale e della convivenza civile, rimangono. 

Il suo approccio esclusivamente pratico e la sua incapacità di una riflessione più profonda faranno sì che quando riuscirà a tornare in patria e nel suo tempo, Hank non saprà gestire l'esperienza fatta: come vedete, Twain aveva ben chiari i limiti della società americana.

A margine, un'altra riflessione dell'autore che mi colpì quando lessi il libro, fu il suo giudizio sulla religione:  siamo abituati a considerare il Medio Evo come il periodo del buio e dell'ignoranza ed imputiamo delle enormi responsabilità alla religione; secondo l'autore, in questi secoli di brutalità, senza la religione a cercare di dare un ordine e una disciplina a queste orde di barbari, creando un codice cavalleresco, il caos sarebbe stato ancora maggiore. Probabilmente, considerando la cosa nel suo complesso, aveva ragione.

P.S.: la lettura è molto gradevole, perciò, anche se è un libro per ragazzi, se non l'avete ancora letto, leggetelo.