L’apprendimento automatico è una branca dell’intelligenza artificiale, che consente alle macchine di eseguire analisi dei dati e fare previsioni. Tuttavia, se il modello di machine learning non è accurato, può generare errori di previsione e questi errori di previsione sono generalmente noti come bias e varianza. Nell'apprendimento automatico, questi errori saranno sempre presenti poiché c'è sempre una leggera differenza tra le previsioni del modello e le previsioni effettive. L'obiettivo principale degli analisti di ML/data science è ridurre questi errori per ottenere risultati più accurati. In questo argomento discuteremo di bias e varianza, del compromesso bias-varianza, di underfitting e overfitting. Ma prima di iniziare, capiamo innanzitutto cosa sono gli errori nel Machine Learning?
Errori nell'apprendimento automatico?
Nell'apprendimento automatico, un errore è una misura della precisione con cui un algoritmo può fare previsioni per un set di dati precedentemente sconosciuto. Sulla base di questi errori, viene selezionato il modello di machine learning che può funzionare meglio sul particolare set di dati. Esistono principalmente due tipi di errori nell'apprendimento automatico, che sono:
indipendentemente dall'algoritmo utilizzato. La causa di questi errori sono variabili sconosciute il cui valore non può essere ridotto.
Cos'è il Bias?
In generale, un modello di machine learning analizza i dati, trova schemi al loro interno e fa previsioni. Durante l'addestramento, il modello apprende questi modelli nel set di dati e li applica per testare i dati a scopo di previsione. Durante l'esecuzione delle previsioni, si verifica una differenza tra i valori di previsione forniti dal modello e i valori effettivi/previsti , e questa differenza è nota come errori di bias o errori dovuti a bias . Può essere definita come l'incapacità degli algoritmi di apprendimento automatico come la regressione lineare di catturare la vera relazione tra i punti dati. Ogni algoritmo inizia con una certa quantità di distorsione perché la distorsione deriva da presupposti nel modello, il che rende la funzione target semplice da apprendere. Un modello ha:
Algoritmo kmp
In generale, un algoritmo lineare ha un bias elevato, poiché fa apprendere velocemente. Più semplice è l’algoritmo, maggiore è la probabilità che venga introdotto un bias. Mentre un algoritmo non lineare spesso ha una distorsione bassa.
Alcuni esempi di algoritmi di machine learning con bias basso sono alberi decisionali, vicini k-più vicini e macchine vettoriali di supporto . Allo stesso tempo, lo è un algoritmo con bias elevato Regressione lineare, analisi discriminante lineare e regressione logistica.
Modi per ridurre l'High Bias:
La distorsione elevata si verifica principalmente a causa di un modello molto semplice. Di seguito sono riportati alcuni modi per ridurre il bias elevato:
- Aumentare le funzionalità di input poiché il modello è sottodimensionato.
- Diminuire il termine di regolarizzazione.
- Utilizzare modelli più complessi, ad esempio includendo alcune funzionalità polinomiali.
Cos'è un errore di varianza?
La varianza specificherebbe la quantità di variazione nella previsione se venissero utilizzati dati di addestramento diversi. In parole semplici, la varianza indica quanto una variabile casuale è diversa dal suo valore atteso. Idealmente, un modello non dovrebbe variare troppo da un set di dati di addestramento a un altro, il che significa che l'algoritmo dovrebbe essere in grado di comprendere la mappatura nascosta tra variabili di input e di output. Gli errori di varianza sono uno dei due varianza bassa o varianza alta.
Bassa varianza significa che c'è una piccola variazione nella previsione della funzione target con cambiamenti nel set di dati di addestramento. Allo stesso tempo, Alta varianza mostra una grande variazione nella previsione della funzione target con cambiamenti nel set di dati di addestramento.
Un modello che mostra una varianza elevata apprende molto e funziona bene con il set di dati di addestramento e non generalizza bene con il set di dati invisibile. Di conseguenza, un modello di questo tipo fornisce buoni risultati con il set di dati di addestramento ma mostra tassi di errore elevati sul set di dati di test.
convenzione sui nomi java
Poiché, con una varianza elevata, il modello apprende troppo dal set di dati, ciò porta a un adattamento eccessivo del modello. Un modello con varianza elevata presenta i seguenti problemi:
- Un modello ad alta varianza porta a un overfitting.
- Aumentare la complessità del modello.
Di solito, gli algoritmi non lineari hanno molta flessibilità per adattarsi al modello e hanno un'elevata varianza.
Alcuni esempi di algoritmi di apprendimento automatico con varianza bassa sono: Regressione lineare, regressione logistica e analisi discriminante lineare . Allo stesso tempo, lo sono gli algoritmi con varianza elevata albero decisionale, Support Vector Machine e vicini K-vicini.
Modi per ridurre la varianza elevata:
- Ridurre le funzionalità di input o il numero di parametri poiché un modello è sovradimensionato.
- Non utilizzare un modello molto complesso.
- Aumentare i dati di allenamento.
- Aumentare il termine della regolarizzazione.
Diverse combinazioni di bias-varianza
Esistono quattro possibili combinazioni di bias e varianze, rappresentate nel diagramma seguente:
La combinazione di bias basso e varianza bassa mostra un modello di machine learning ideale. Tuttavia, in pratica non è possibile.
Con bias e varianza elevati, le previsioni sono incoerenti e in media anche imprecise.
Come identificare l'alta varianza o l'alto bias?
È possibile identificare una varianza elevata se il modello ha:
- Errore di addestramento basso ed errore di test elevato.
È possibile identificare un bias elevato se il modello ha:
- L'errore di addestramento elevato e l'errore del test sono quasi simili all'errore di addestramento.
Compromesso tra bias e varianza
Durante la costruzione del modello di machine learning, è molto importante prendersi cura di bias e varianza per evitare l'adattamento eccessivo e insufficiente del modello. Se il modello è molto semplice con meno parametri, potrebbe avere una varianza bassa e una distorsione elevata. Se invece il modello ha un numero elevato di parametri, avrà una varianza elevata e una distorsione bassa. Pertanto, è necessario trovare un equilibrio tra errori di distorsione e di varianza e questo equilibrio tra errore di distorsione ed errore di varianza è noto come il compromesso Bias-Varianza.
per ogni dattiloscritto
Per una previsione accurata del modello, gli algoritmi necessitano di una varianza bassa e di un basso bias. Ma questo non è possibile perché bias e varianza sono correlati tra loro:
- Se riduciamo la varianza, aumenterà la distorsione.
- Se riduciamo il bias, aumenterà la varianza.
Il compromesso Bias-Varianza è una questione centrale nell’apprendimento supervisionato. Idealmente, abbiamo bisogno di un modello che catturi accuratamente le regolarità nei dati di addestramento e contemporaneamente si generalizzi bene con il set di dati invisibile. Sfortunatamente, non è possibile farlo contemporaneamente. Perché un algoritmo ad alta varianza può funzionare bene con i dati di addestramento, ma può portare a un adattamento eccessivo a dati rumorosi. Al contrario, l’algoritmo ad alta polarizzazione genera un modello molto semplice che potrebbe non catturare nemmeno importanti regolarità nei dati. Quindi, dobbiamo trovare un punto debole tra bias e varianza per creare un modello ottimale.
Quindi il Il compromesso bias-varianza consiste nel trovare il punto giusto per trovare un equilibrio tra errori di bias e varianza.