logo

TechCodeview

Comprendere il test di ipotesi

Il test delle ipotesi implica la formulazione di ipotesi sui parametri della popolazione sulla base di statistiche campionarie e la valutazione rigorosa di tali ipotesi rispetto all’evidenza empirica. Questo articolo fa luce sull'importanza della verifica delle ipotesi e sui passaggi critici coinvolti nel processo.

Cos'è il test di ipotesi?

Il test di ipotesi è un metodo statistico utilizzato per prendere una decisione statistica utilizzando dati sperimentali. Il test di ipotesi è fondamentalmente un'ipotesi che facciamo su un parametro della popolazione. Valuta due affermazioni reciprocamente esclusive su una popolazione per determinare quale affermazione è meglio supportata dai dati del campione.



Esempio: Dici che l'altezza media nella classe è 30 o che un ragazzo è più alto di una ragazza. Tutti questi sono presupposti che stiamo assumendo e abbiamo bisogno di un modo statistico per dimostrarli. Abbiamo bisogno di una conclusione matematica qualunque cosa stiamo assumendo sia vera.

Definizione di ipotesi

  • Ipotesi nulla (H 0 ): In statistica, l'ipotesi nulla è un'affermazione generale o una posizione predefinita secondo cui non esiste alcuna relazione tra due casi misurati o nessuna relazione tra i gruppi. In altre parole, si tratta di un presupposto di base o formulato in base alla conoscenza del problema.
    Esempio : La produzione media di un’azienda è di 50 unità/al giorno H0: mu= 50.
  • Ipotesi alternativa (H 1 ): L'ipotesi alternativa è l'ipotesi utilizzata nella verifica delle ipotesi contraria all'ipotesi nulla.
    Esempio: la produzione di un'azienda non è pari a 50 unità/giorno, ovvero H1: mu N cinquanta.

Termini chiave del test di ipotesi

  • Livello di significatività : Si riferisce al grado di significatività con cui accettiamo o rifiutiamo l'ipotesi nulla. Non è possibile accettare un'ipotesi con una precisione del 100%, quindi selezioniamo un livello di significatività che solitamente è del 5%. Questo è normalmente indicato con alfae generalmente è 0,05 o 5%, il che significa che l'output dovrebbe essere sicuro al 95% di fornire un tipo di risultato simile in ciascun campione.
  • Valore P: IL Valore P , o probabilità calcolata, è la probabilità di trovare i risultati osservati/estremi quando l'ipotesi nulla (H0) di un problema dato dallo studio è vera. Se il tuo valore P è inferiore al livello di significatività scelto, rifiuti l'ipotesi nulla, ovvero accetti che il tuo campione affermi di supportare l'ipotesi alternativa.
  • Statistica del test: La statistica del test è un valore numerico calcolato dai dati del campione durante un test di ipotesi, utilizzato per determinare se rifiutare l'ipotesi nulla. Viene confrontato con un valore critico o valore p per prendere decisioni sulla significatività statistica dei risultati osservati.
  • Valore critico : Il valore critico in statistica è una soglia o un punto limite utilizzato per determinare se rifiutare l'ipotesi nulla in un test di ipotesi.
  • Gradi di libertà: I gradi di libertà sono associati alla variabilità o libertà che si ha nella stima di un parametro. I gradi di libertà sono legati alla dimensione del campione e ne determinano la forma.

Perché utilizziamo il test di ipotesi?

Il test delle ipotesi è una procedura importante in statistica. Il test delle ipotesi valuta due affermazioni sulla popolazione che si escludono a vicenda per determinare quale affermazione è maggiormente supportata dai dati campione. Quando diciamo che i risultati sono statisticamente significativi, grazie alla verifica delle ipotesi.

Test a una coda e a due code

Il test a una coda si concentra su una direzione, maggiore o minore di un valore specificato. Utilizziamo un test a una coda quando esiste una chiara aspettativa direzionale basata su conoscenze o teorie precedenti. La regione critica si trova solo su un lato della curva di distribuzione. Se il campione rientra in questa regione critica, l’ipotesi nulla viene rifiutata a favore dell’ipotesi alternativa.



Test a una coda

Esistono due tipi di test a una coda:

  • Test della coda sinistra (lato sinistro): L'ipotesi alternativa asserisce che il vero valore del parametro è inferiore all'ipotesi nulla. Esempio: H0​: mugeq 50e H1:
  • 0: muleq50 e H1: mu>50

Test a due code

Un test a due code considera entrambe le direzioni, maggiore e minore di un valore specificato. Utilizziamo un test a due code quando non esiste un'aspettativa direzionale specifica e desideriamo rilevare eventuali differenze significative.

Esempio: H0: in =50 e H1: mu eq 50



Quali sono gli errori di tipo 1 e di tipo 2 nel test di ipotesi?

Nella verifica delle ipotesi, Errori di tipo I e di tipo II sono due possibili errori che i ricercatori possono commettere quando traggono conclusioni su una popolazione sulla base di un campione di dati. Questi errori sono associati alle decisioni prese riguardo all'ipotesi nulla e all'ipotesi alternativa.

  • Errore di tipo I: Quando rifiutiamo l'ipotesi nulla, anche se quell'ipotesi era vera. L'errore di tipo I è indicato da alpha( alfa).
  • Errori di tipo II: Quando accettiamo l'ipotesi nulla, ma è falsa. Gli errori di tipo II sono indicati con beta( eta).


L'ipotesi nulla è vera

L'ipotesi nulla è falsa

L'ipotesi nulla è vera (Accetta)

Decisione corretta

solo nick

Errore di tipo II (falso negativo)

L'ipotesi alternativa è vera (rifiuta)

Errore di tipo I (falso positivo)

Decisione corretta

Come funziona il test delle ipotesi?

Passaggio 1: definire l'ipotesi nulla e alternativa

Enunciare l'ipotesi nulla ( H_0), che non rappresenta alcun effetto, e l'ipotesi alternativa ( H_1​), suggerendo un effetto o una differenza.

Per prima cosa identifichiamo il problema su cui vogliamo fare un'ipotesi tenendo presente che le nostre ipotesi dovrebbero essere contraddittorie tra loro, assumendo Dati normalmente distribuiti.

Passaggio 2: scegliere il livello di significatività

Seleziona un livello di significatività ( alfa), tipicamente 0,05, per determinare la soglia per rifiutare l'ipotesi nulla. Fornisce validità al nostro test di ipotesi, garantendo che disponiamo di dati sufficienti per sostenere le nostre affermazioni. Di solito, determiniamo il nostro livello di significatività prima del test. IL valore p è il criterio utilizzato per calcolare il nostro valore di significatività.

Passaggio 3 – Raccogliere e analizzare i dati.

Raccogliere dati rilevanti attraverso l'osservazione o la sperimentazione. Analizzare i dati utilizzando metodi statistici appropriati per ottenere una statistica di test.

Passaggio 4: calcolare la statistica del test

I dati per i test vengono valutati: in questa fase cerchiamo vari punteggi in base alle caratteristiche dei dati. La scelta della statistica del test dipende dal tipo di test di ipotesi condotto.

Esistono vari test di ipotesi, ciascuno appropriato per vari obiettivi per calcolare il nostro test. Questo potrebbe essere un Prova Z , Chi-quadrato , Prova T , e così via.

  1. Prova Z : Se le medie della popolazione e le deviazioni standard sono note. La statistica Z è comunemente usata.
  2. prova t : Se le deviazioni standard della popolazione non sono note. e la dimensione del campione è piccola rispetto alla statistica t-test.
  3. Test del chi quadrato : Il test chi quadrato viene utilizzato per dati categorici o per testare l'indipendenza nelle tabelle di contingenza
  4. Prova F : Il test F viene spesso utilizzato nell'analisi della varianza (ANOVA) per confrontare le varianze o testare l'uguaglianza delle medie tra più gruppi.

Abbiamo un set di dati più piccolo, quindi il test T è più appropriato per testare la nostra ipotesi.

La statistica T è una misura della differenza tra le medie di due gruppi rispetto alla variabilità all'interno di ciascun gruppo. Si calcola come la differenza tra le medie campionarie divisa per l'errore standard della differenza. È noto anche come valore t o punteggio t.

sovraccarico del metodo

Passaggio 5: confronto delle statistiche del test:

In questa fase decidiamo se accettare l'ipotesi nulla o rifiutarla. Esistono due modi per decidere dove accettare o rifiutare l'ipotesi nulla.

Metodo A: utilizzo dei valori critici

Confrontando la statistica del test e il valore critico tabulato che abbiamo,

  • Se Statistica test> Valore critico: rifiuta l'ipotesi nulla.
  • Se Statistica del test ≤ Valore critico: Impossibile rifiutare l'ipotesi nulla.

Nota: I valori critici sono valori soglia predeterminati che vengono utilizzati per prendere una decisione nella verifica delle ipotesi. Determinare valori critici per la verifica delle ipotesi, in genere ci riferiamo a una tabella di distribuzione statistica, come la distribuzione normale o le tabelle di distribuzione t basate su.

Metodo B: utilizzo dei valori P

Possiamo anche giungere a una conclusione utilizzando il valore p,

  • Se il valore p è inferiore o uguale al livello di significatività, ovvero ( pleqalfa), si rifiuta l'ipotesi nulla. Ciò indica che è improbabile che i risultati osservati si siano verificati solo per caso, fornendo prove a favore dell’ipotesi alternativa.
  • Se il valore p è maggiore del livello di significatività, ovvero ( pgeqalpha), non si riesce a rifiutare l'ipotesi nulla. Ciò suggerisce che i risultati osservati sono coerenti con ciò che ci si aspetterebbe nell’ipotesi nulla.

Nota : Il valore p è la probabilità di ottenere una statistica test altrettanto estrema o più estrema di quella osservata nel campione, assumendo che l'ipotesi nulla sia vera. Determinare valore p per la verifica delle ipotesi, in genere ci riferiamo a una tabella di distribuzione statistica, come la distribuzione normale o le tabelle di distribuzione t basate su.

Passaggio 7: interpretare i risultati

Finalmente possiamo concludere il nostro esperimento utilizzando il metodo A o B.

Calcolo della statistica del test

Per convalidare la nostra ipotesi su un parametro della popolazione utilizziamo funzioni statistiche . Usiamo il punteggio z, il valore p e il livello di significatività (alfa) per dimostrare la nostra ipotesi dati normalmente distribuiti .

1. Statistiche Z:

Quando si conoscono le medie e le deviazioni standard della popolazione.

z = frac{ar{x} - mu}{frac{sigma}{sqrt{n}}}

Dove,

  • ar{x}è la media campionaria,
  • μ rappresenta la media della popolazione,
  • σ è la deviazione standard
  • e n è la dimensione del campione.

2. Statistiche T

Il test T viene utilizzato quando n<30,

il calcolo della statistica t è dato da:

t=frac{x̄-Μ}{s/sqrt{n}}

Dove,

  • t = punteggio t,
  • x̄ = media campionaria
  • μ = media della popolazione,
  • s = deviazione standard del campione,
  • n = dimensione del campione

3. Test del chi quadrato

Test chi quadrato per dati categorici di indipendenza (distribuiti non normalmente) utilizzando:

chi^2 = sum frac{(O_{ij} - E_{ij})^2}{E_{ij}}

Dove,

  • O_{ij}è la frequenza osservata nella cella {ij}
  • i,j sono rispettivamente gli indici delle righe e delle colonne.
  • E_{ij}è la frequenza prevista nella cella {ij}, calcolato come:
    frac{{ ext{{Totale riga}} imes ext{{Totale colonna}}}}{{ ext{{Osservazioni totali}}}}

Esempio di test di ipotesi nella vita reale

Esaminiamo la verifica delle ipotesi utilizzando due situazioni di vita reale,

Caso A: D C'è un nuovo farmaco che influisce sulla pressione sanguigna?

Immagina che un'azienda farmaceutica abbia sviluppato un nuovo farmaco che ritiene possa effettivamente abbassare la pressione sanguigna nei pazienti con ipertensione. Prima di immettere il farmaco sul mercato, è necessario condurre uno studio per valutarne l’impatto sulla pressione sanguigna.

Dati:

  • Prima del trattamento: 120, 122, 118, 130, 125, 128, 115, 121, 123, 119
  • Dopo il trattamento: 115, 120, 112, 128, 122, 125, 110, 117, 119, 114

Passo 1 : Definire l'ipotesi

  • Ipotesi nulla : (H0)Il nuovo farmaco non ha alcun effetto sulla pressione sanguigna.
  • Ipotesi alternativa : (H1)Il nuovo farmaco ha un effetto sulla pressione sanguigna.

Passo 2: Definire il livello di significatività

Consideriamo il livello di significatività pari a 0,05, che indica il rifiuto dell'ipotesi nulla.

Se l'evidenza suggerisce una probabilità inferiore al 5% di osservare i risultati a causa della variazione casuale.

converte la stringa in intero

Passaggio 3 : Calcola la statistica del test

Utilizzando test T accoppiato analizzare i dati per ottenere una statistica di test e un valore p.

La statistica del test (ad esempio, statistica T) viene calcolata in base alle differenze tra le misurazioni della pressione sanguigna prima e dopo il trattamento.

t = m/(s/√n)

Dove:

  • M = media della differenza cioè X Dopo, X Prima
  • S = deviazione standard della differenza (d) cioè D io ​= X Dopo, io ​− X Prima,
  • N = dimensione del campione,

quindi m= -3,9, s= 1,8 e n= 10

calcoliamo la statistica T = -9 in base alla formula del test t accoppiato

Passaggio 4: trovare il valore p

La statistica t calcolata è -9 e gradi di libertà df = 9, puoi trovare il valore p utilizzando un software statistico o una tabella di distribuzione t.

quindi, valore p = 8,538051223166285e-06

Passaggio 5: risultato

  • Se il valore p è inferiore o uguale a 0,05, i ricercatori rifiutano l'ipotesi nulla.
  • Se il valore p è maggiore di 0,05, non riescono a rifiutare l’ipotesi nulla.

Conclusione: Poiché il valore p (8,538051223166285e-06) è inferiore al livello di significatività (0,05), i ricercatori rifiutano l'ipotesi nulla. Esistono prove statisticamente significative che la pressione arteriosa media prima e dopo il trattamento con il nuovo farmaco è diversa.

Implementazione Python del test di ipotesi

Creiamo test di ipotesi con Python, dove stiamo testando se un nuovo farmaco influisce sulla pressione sanguigna. Per questo esempio utilizzeremo un test T accoppiato. Useremo il scipy.stats> libreria per il T-test.

Implementeremo il nostro primo problema nella vita reale tramite Python,

Python3

import> numpy as np> from> scipy>import> stats> # Data> before_treatment>=> np.array([>120>,>122>,>118>,>130>,>125>,>128>,>115>,>121>,>123>,>119>])> after_treatment>=> np.array([>115>,>120>,>112>,>128>,>122>,>125>,>110>,>117>,>119>,>114>])> # Step 1: Null and Alternate Hypotheses> # Null Hypothesis: The new drug has no effect on blood pressure.> # Alternate Hypothesis: The new drug has an effect on blood pressure.> null_hypothesis>=> 'The new drug has no effect on blood pressure.'> alternate_hypothesis>=> 'The new drug has an effect on blood pressure.'> # Step 2: Significance Level> alpha>=> 0.05> # Step 3: Paired T-test> t_statistic, p_value>=> stats.ttest_rel(after_treatment, before_treatment)> # Step 4: Calculate T-statistic manually> m>=> np.mean(after_treatment>-> before_treatment)> s>=> np.std(after_treatment>-> before_treatment, ddof>=>1>)># using ddof=1 for sample standard deviation> n>=> len>(before_treatment)> t_statistic_manual>=> m>/> (s>/> np.sqrt(n))> # Step 5: Decision> if> p_value <>=> alpha:> >decision>=> 'Reject'> else>:> >decision>=> 'Fail to reject'> # Conclusion> if> decision>=>=> 'Reject'>:> >conclusion>=> 'There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.'> else>:> >conclusion>=> 'There is insufficient evidence to claim a significant difference in average blood pressure before and after treatment with the new drug.'> # Display results> print>(>'T-statistic (from scipy):'>, t_statistic)> print>(>'P-value (from scipy):'>, p_value)> print>(>'T-statistic (calculated manually):'>, t_statistic_manual)> print>(f>'Decision: {decision} the null hypothesis at alpha={alpha}.'>)> print>(>'Conclusion:'>, conclusion)> 
>
>

Produzione: 

T-statistic (from scipy): -9.0 P-value (from scipy): 8.538051223166285e-06 T-statistic (calculated manually): -9.0 Decision: Reject the null hypothesis at alpha=0.05. Conclusion: There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.>

Nell'esempio sopra, data la statistica T di circa -9 e un valore p estremamente piccolo, i risultati indicano un forte motivo per rifiutare l'ipotesi nulla a un livello di significatività di 0,05.

  • I risultati suggeriscono che il nuovo farmaco, trattamento o intervento ha un effetto significativo sull’abbassamento della pressione sanguigna.
  • La statistica T negativa indica che la pressione arteriosa media dopo il trattamento è significativamente inferiore alla media della popolazione presunta prima del trattamento.

Caso B : Livello di colesterolo in una popolazione

Dati: Viene prelevato un campione di 25 individui e vengono misurati i loro livelli di colesterolo.

Livelli di colesterolo (mg/dL): 205, 198, 210, 190, 215, 205, 200, 192, 198, 205, 198, 202, 208, 200, 205, 198, 205, 210, 192, 205, 198, 205, 210, 192, 205.

Media delle popolazioni = 200

Deviazione standard della popolazione (σ): 5 mg/dl (data per questo problema)

Passo 1: Definire l'ipotesi

  • Ipotesi nulla (H 0 ): Il livello medio di colesterolo in una popolazione è di 200 mg/dl.
  • Ipotesi alternativa (H 1 ): Il livello medio di colesterolo in una popolazione è diverso da 200 mg/dL.

Passo 2: Definire il livello di significatività

Poiché la direzione della deviazione non è specificata, assumiamo un test a due code e, sulla base di una tabella di distribuzione normale, i valori critici per un livello di significatività di 0,05 (a due code) possono essere calcolati tramite il metodo tabella z e sono circa -1,96 e 1,96.

Passaggio 3 : Calcola la statistica del test

La statistica del test viene calcolata utilizzando la formula z CON = (203,8 - 200) / (5 div sqrt{25})​ e otteniamo di conseguenza, CON =2.039999999999992.

Passaggio 4: risultato

Poiché il valore assoluto della statistica test (2,04) è maggiore del valore critico (1,96), rifiutiamo l'ipotesi nulla. E concludiamo che esistono prove statisticamente significative che il livello medio di colesterolo nella popolazione è diverso da 200 mg/dL

Implementazione Python del test di ipotesi

Python3

import> scipy.stats as stats> import> math> import> numpy as np> # Given data> sample_data>=> np.array(> >[>205>,>198>,>210>,>190>,>215>,>205>,>200>,>192>,>198>,>205>,>198>,>202>,>208>,>200>,>205>,>198>,>205>,>210>,>192>,>205>,>198>,>205>,>210>,>192>,>205>])> population_std_dev>=> 5> population_mean>=> 200> sample_size>=> len>(sample_data)> # Step 1: Define the Hypotheses> # Null Hypothesis (H0): The average cholesterol level in a population is 200 mg/dL.> # Alternate Hypothesis (H1): The average cholesterol level in a population is different from 200 mg/dL.> # Step 2: Define the Significance Level> alpha>=> 0.05> # Two-tailed test> # Critical values for a significance level of 0.05 (two-tailed)> critical_value_left>=> stats.norm.ppf(alpha>/>2>)> critical_value_right>=> ->critical_value_left> # Step 3: Compute the test statistic> sample_mean>=> sample_data.mean()> z_score>=> (sample_mean>-> population_mean)>/> > >(population_std_dev>/> math.sqrt(sample_size))> # Step 4: Result> # Check if the absolute value of the test statistic is greater than the critical values> if> abs>(z_score)>>max>(>abs>(critical_value_left),>abs>(critical_value_right)):> >print>(>'Reject the null hypothesis.'>)> >print>(>'There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.'>)> else>:> >print>(>'Fail to reject the null hypothesis.'>)> >print>(>'There is not enough evidence to conclude that the average cholesterol level in the population is different from 200 mg/dL.'>)> 
>
>

Produzione: 

Reject the null hypothesis. There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.>

Limitazioni del test di ipotesi

  • Sebbene sia una tecnica utile, la verifica delle ipotesi non offre una comprensione completa dell’argomento studiato. Senza riflettere pienamente la complessità o l’intero contesto dei fenomeni, si concentra su alcune ipotesi e sul significato statistico.
  • L’accuratezza dei risultati dei test delle ipotesi dipende dalla qualità dei dati disponibili e dall’adeguatezza dei metodi statistici utilizzati. Dati imprecisi o ipotesi mal formulate possono portare a conclusioni errate.
  • Affidarsi esclusivamente al test delle ipotesi può indurre gli analisti a trascurare modelli o relazioni significativi nei dati che non vengono catturati dalle ipotesi specifiche da testare. Questa limitazione sottolinea l’importanza di integrare la verifica delle ipotesi con altri approcci analitici.

Conclusione

Il test delle ipotesi rappresenta una pietra angolare nell’analisi statistica, poiché consente ai data scientist di superare le incertezze e trarre inferenze credibili dai dati campione. Definendo sistematicamente ipotesi nulle e alternative, scegliendo livelli di significatività e sfruttando test statistici, i ricercatori possono valutare la validità delle loro ipotesi. L'articolo chiarisce inoltre la distinzione critica tra errori di Tipo I e di Tipo II, fornendo una comprensione completa delle sfumature del processo decisionale inerente alla verifica delle ipotesi. L’esempio reale di testare l’effetto di un nuovo farmaco sulla pressione sanguigna utilizzando un test T accoppiato mostra l’applicazione pratica di questi principi, sottolineando l’importanza del rigore statistico nel processo decisionale basato sui dati.

Domande frequenti (FAQ)

1. Quali sono i 3 tipi di test di ipotesi?

Esistono tre tipi di test di ipotesi: a coda destra, a coda sinistra e a due code. I test della coda di destra valutano se un parametro è maggiore, quelli della coda di sinistra se minore. I test a due code verificano le differenze non direzionali, maggiori o minori.

2.Quali sono le 4 componenti della verifica delle ipotesi?

Ipotesi nulla ( H_o): Non esiste alcun effetto o differenza.

Ipotesi alternativa ( H_1): esiste un effetto o una differenza.

pagine del server Java

Livello di significatività ( alfa): rischio di rifiutare l’ipotesi nulla quando è vera (errore di tipo I).

Statistica del test: valore numerico che rappresenta l'evidenza osservata contro l'ipotesi nulla.

3.Che cos'è il test delle ipotesi in ML?

Metodo statistico per valutare le prestazioni e la validità dei modelli di machine learning. Verifica ipotesi specifiche sul comportamento del modello, ad esempio se le caratteristiche influenzano le previsioni o se un modello si generalizza bene con dati invisibili.

4.Qual è la differenza tra Pytest e ipotesi in Python?

Pytest si propone un framework di test generale per il codice Python mentre Hypothesis è un framework di test basato su proprietà per Python, concentrandosi sulla generazione di casi di test basati su proprietà specificate del codice.