Gli iperparametri nell'apprendimento automatico sono quei parametri definiti esplicitamente dall'utente per controllare il processo di apprendimento. Questi iperparametri vengono utilizzati per migliorare l'apprendimento del modello e i loro valori vengono impostati prima di iniziare il processo di apprendimento del modello.

In questo argomento discuteremo uno dei concetti più importanti dell'apprendimento automatico, ovvero gli iperparametri, i loro esempi, l'ottimizzazione degli iperparametri, le categorie di iperparametri, in che modo l'iperparametro è diverso dal parametro nell'apprendimento automatico? Ma prima di iniziare, comprendiamo l'iperparametro.

Cosa sono gli iperparametri?

Nel Machine Learning/Deep Learning, un modello è rappresentato dai suoi parametri. Al contrario, un processo di training prevede la selezione degli iperparametri migliori/ottimali utilizzati dagli algoritmi di apprendimento per fornire il miglior risultato. Quindi, quali sono questi iperparametri? La risposta è, ' Gli iperparametri sono definiti come i parametri definiti esplicitamente dall'utente per controllare il processo di apprendimento.'

Qui il prefisso 'iper' suggerisce che i parametri sono parametri di livello superiore utilizzati nel controllo del processo di apprendimento. Il valore dell'iperparametro viene selezionato e impostato dall'ingegnere del machine learning prima che l'algoritmo di apprendimento inizi ad addestrare il modello. Pertanto, questi sono esterni al modello e i loro valori non possono essere modificati durante il processo di training .

verilog sempre

Alcuni esempi di iperparametri nel machine learning

• Il k nell'algoritmo kNN o K-Nearest Neighbor
• Tasso di apprendimento per l'addestramento di una rete neurale
• Rapporto di suddivisione del test del treno
• Dimensione del lotto
• Numero di epoche
• Rami nell'albero decisionale
• Numero di cluster nell'algoritmo di clustering

Differenza tra parametro e iperparametro?

C'è sempre una grande confusione tra parametri e iperparametri o iperparametri del modello. Quindi, per chiarire questa confusione, comprendiamo la differenza tra entrambi e il modo in cui sono correlati tra loro.

Parametri del modello:

I parametri del modello sono variabili di configurazione interne al modello e un modello le apprende da solo. Per esempio , W Pesi o coefficienti di variabili indipendenti nel modello di regressione lineare . O Pesi o coefficienti di variabili indipendenti in SVM, peso e pregiudizi di una rete neurale, centroide del cluster nel clustering. Alcuni punti chiave per i parametri del modello sono i seguenti:

• Vengono utilizzati dal modello per effettuare previsioni.
• Vengono appresi dal modello dai dati stessi
• Solitamente non vengono impostati manualmente.
• Queste sono la parte del modello e la chiave per un algoritmo di apprendimento automatico.

Iperparametri del modello:

Gli iperparametri sono quei parametri definiti esplicitamente dall'utente per controllare il processo di apprendimento. Alcuni punti chiave per i parametri del modello sono i seguenti:

• Questi vengono solitamente definiti manualmente dall'ingegnere del machine learning.
• Non è possibile conoscere il valore migliore esatto degli iperparametri per il problema specificato. Il valore migliore può essere determinato tramite la regola pratica o per tentativi ed errori.
• Alcuni esempi di iperparametri sono il tasso di apprendimento per addestrare una rete neurale, K nell'algoritmo KNN,

Categorie di iperparametri

In generale gli iperparametri possono essere suddivisi in due categorie, che sono riportate di seguito:

Iperparametro per l'ottimizzazione Iperparametro per modelli specifici

Iperparametro per l'ottimizzazione

Il processo di selezione degli iperparametri migliori da utilizzare è noto come ottimizzazione degli iperparametri e il processo di ottimizzazione è noto anche come ottimizzazione degli iperparametri. I parametri di ottimizzazione vengono utilizzati per ottimizzare il modello.

Di seguito sono riportati alcuni dei parametri di ottimizzazione più diffusi:

Tasso di apprendimento:Il tasso di apprendimento è l'iperparametro negli algoritmi di ottimizzazione che controlla quanto il modello deve cambiare in risposta all'errore stimato per ogni volta in cui i pesi del modello vengono aggiornati. È uno dei parametri cruciali durante la costruzione di una rete neurale e determina anche la frequenza del controllo incrociato con i parametri del modello. Selezionare il tasso di apprendimento ottimizzato è un compito impegnativo perché se il tasso di apprendimento è molto inferiore, potrebbe rallentare il processo di formazione. D'altra parte, se il tasso di apprendimento è troppo elevato, potrebbe non ottimizzare correttamente il modello.

Nota: la velocità di apprendimento è un iperparametro cruciale per l'ottimizzazione del modello, quindi se è necessario ottimizzare un solo iperparametro, si consiglia di ottimizzare la velocità di apprendimento.

Dimensione del lotto:Per velocizzare il processo di apprendimento, il training set è suddiviso in diversi sottoinsiemi, noti come batch. Numero di epoche: Un'epoca può essere definita come il ciclo completo per l'addestramento del modello di machine learning. Epoch rappresenta un processo di apprendimento iterativo. Il numero di epoche varia da modello a modello e vengono creati vari modelli con più di un'epoca. Per determinare il numero corretto di epoche, viene preso in considerazione un errore di convalida. Il numero di epoche viene aumentato finché non si verifica una riduzione dell'errore di convalida. Se non si riscontra alcun miglioramento nell'errore di riduzione per le epoche consecutive, indica di interrompere l'aumento del numero di epoche.

Iperparametro per modelli specifici

Gli iperparametri coinvolti nella struttura del modello sono noti come iperparametri per modelli specifici. Questi sono riportati di seguito:

Un certo numero di unità nascoste:Le unità nascoste fanno parte delle reti neurali, che si riferiscono ai componenti che comprendono gli strati di processori tra le unità di input e output in una rete neurale.

È importante specificare il numero di iperparametri di unità nascoste per la rete neurale. Dovrebbe essere compreso tra la dimensione del livello di input e la dimensione del livello di output. Più specificamente, il numero di unità nascoste dovrebbe essere pari a 2/3 della dimensione del livello di input, più la dimensione del livello di output.

Per funzioni complesse è necessario specificare il numero di unità nascoste, ma non deve adattarsi eccessivamente al modello.

Numero di strati:Una rete neurale è costituita da componenti disposti verticalmente, chiamati strati. Ci sono principalmente livelli di input, livelli nascosti e livelli di output . Una rete neurale a 3 livelli offre prestazioni migliori rispetto a una rete a 2 livelli. Per una rete neurale convoluzionale, un numero maggiore di strati costituisce un modello migliore.

Conclusione

Gli iperparametri sono i parametri definiti esplicitamente per controllare il processo di apprendimento prima di applicare un algoritmo di apprendimento automatico a un set di dati. Questi vengono utilizzati per specificare la capacità di apprendimento e la complessità del modello. Alcuni degli iperparametri vengono utilizzati per l'ottimizzazione dei modelli, come la dimensione del batch, la velocità di apprendimento, ecc., mentre altri sono specifici dei modelli, come il numero di livelli nascosti, ecc.