logo

TechCodeview

Incorporamento lineare locale nell'apprendimento automatico

LLE (Incorporamento lineare locale) è un approccio non supervisionato progettato per trasformare i dati dal loro spazio originale ad alta dimensione in una rappresentazione a dimensione inferiore, il tutto cercando di mantenere le caratteristiche geometriche essenziali della struttura di caratteristiche non lineari sottostanti. LLE opera in diversi passaggi chiave:

  • Innanzitutto, costruisce un grafico dei vicini più vicini per catturare queste relazioni locali. Quindi, ottimizza i valori del peso per ciascun punto dati, con l'obiettivo di ridurre al minimo l'errore di ricostruzione quando si esprime un punto come combinazione lineare dei suoi vicini. Questa matrice di peso riflette la forza delle connessioni tra i punti.
  • Successivamente, LLE calcola una rappresentazione dimensionale inferiore dei dati trovando autovettori di una matrice derivata dalla matrice dei pesi. Questi autovettori rappresentano le direzioni più rilevanti nello spazio ridotto. Gli utenti possono specificare la dimensionalità desiderata per lo spazio di output e LLE seleziona di conseguenza gli autovettori superiori.

A titolo illustrativo, si consideri a Set di dati del rotolo svizzero , che è intrinsecamente non lineare nel suo spazio ad alta dimensione. LLE, in questo caso, lavora per proiettare questa struttura complessa su un piano dimensionale inferiore, preservandone le proprietà geometriche distintive durante tutto il processo di trasformazione.



Tabella dei contenuti

Implementazione matematica dell'algoritmo LLE

L'idea chiave di LLE è che localmente, in prossimità di ciascun punto dati, i dati si trovano approssimativamente su un sottospazio lineare. LLE tenta di spiegare o srotolare i dati preservando queste relazioni lineari locali.

Ecco una panoramica matematica dell'algoritmo LLE:

Minimizzare: somma _{i} | x{_i} - sum _{j} w _{ij} x{_j}|^2



Soggetto a : somma {_j} w _{ij} = 1

domande fondamentali dell'intervista Java

Dove:

albero di ricerca binario]
  • Xiorappresenta l'i-esimo punto dati.
  • Inijsono i pesi che minimizzano l'errore di ricostruzione per il punto dati xioutilizzando i suoi vicini.

Mira a trovare una rappresentazione dei dati a dimensione inferiore preservando le relazioni locali. L'espressione matematica per LLE implica la minimizzazione dell'errore di ricostruzione di ciascun punto dati esprimendolo come una somma ponderata dei suoi k vicini più vicini ‘ contributi. Questa ottimizzazione è soggetta a vincoli che garantiscono che la somma dei pesi sia pari a 1 per ciascun punto dati. Locally Linear Embedding (LLE) è una tecnica di riduzione della dimensionalità utilizzata nell'apprendimento automatico e nell'analisi dei dati. Si concentra sulla preservazione delle relazioni locali tra i punti dati durante la mappatura di dati ad alta dimensione in uno spazio a dimensione inferiore. Qui spiegheremo l'algoritmo LLE e i suoi parametri.



Algoritmo di incorporamento localmente lineare

L'algoritmo LLE può essere suddiviso in diversi passaggi:

  • Selezione del quartiere: Per ogni punto dati nello spazio ad alta dimensionalità, LLE identifica i suoi vicini k-più vicini. Questo passaggio è cruciale perché LLE presuppone che ciascun punto dati possa essere ben approssimato da una combinazione lineare dei suoi vicini.
  • Costruzione della matrice del peso: LLE calcola un insieme di pesi per ciascun punto dati per esprimerlo come una combinazione lineare dei suoi vicini. Questi pesi sono determinati in modo tale da minimizzare l'errore di ricostruzione. Per trovare questi pesi viene spesso utilizzata la regressione lineare.
  • Conservazione della struttura globale: Dopo aver costruito la matrice dei pesi, LLE mira a trovare una rappresentazione a dimensione inferiore dei dati che preservi al meglio le relazioni lineari locali. Lo fa cercando un insieme di coordinate nello spazio a dimensione inferiore per ciascun punto dati che minimizzi una funzione di costo. Questo funzione di costo valuta quanto bene ogni punto dati può essere rappresentato dai suoi vicini.
  • Incorporamento dell'output: Una volta completato il processo di ottimizzazione, LLE fornisce la rappresentazione finale a dimensione inferiore dei dati. Questa rappresentazione cattura la struttura essenziale dei dati riducendone la dimensionalità.

Parametri nell'algoritmo LLE

LLE ha alcuni parametri che influenzano il suo comportamento:

  • k (Numero di vicini): Questo parametro determina quanti vicini più vicini vengono considerati durante la costruzione della matrice dei pesi. Un k più grande cattura più relazioni globali ma può introdurre rumore. Una k più piccola si concentra sulle relazioni locali ma può essere sensibile ai valori anomali. La selezione di un valore appropriato per k è essenziale per il successo dell’algoritmo.
  • Dimensionalità dello spazio di output: È possibile specificare la dimensionalità dello spazio dimensionale inferiore a cui verranno mappati i dati. Questo viene spesso scelto in base ai requisiti del problema e al compromesso tra complessità computazionale e conservazione delle informazioni.
  • Metrica della distanza: LLE si basa su una metrica di distanza per definire la vicinanza tra i punti dati. Le scelte comuni includono la distanza euclidea, la distanza di Manhattan o le funzioni di distanza definite dall'utente. La scelta della metrica della distanza può influire sui risultati.
  • Regolarizzazione (facoltativa): In alcuni casi, i termini di regolarizzazione vengono aggiunti alla funzione di costo per evitare un overfitting. La regolarizzazione può essere utile quando si ha a che fare con dati rumorosi o quando il numero di vicini è elevato.
  • Algoritmo di ottimizzazione (opzionale): LLE utilizza spesso tecniche di ottimizzazione come Scomposizione di un valore singolo (SVD) o metodi autovettoriali per trovare la rappresentazione dimensionale inferiore. Questi metodi di ottimizzazione possono avere parametri propri che possono essere regolati.

LLE (incorporamento lineare locale) rappresenta un progresso significativo nell'analisi strutturale, superando le tradizionali tecniche di modellazione della densità come quella locale PCA o miscele di analizzatori di fattori. Il limite dei modelli di densità risiede nella loro incapacità di stabilire in modo coerente un insieme di coordinate globali in grado di incorporare osservazioni sull’intera varietà strutturale. Di conseguenza, si rivelano inadeguati per compiti come la generazione di proiezioni a bassa dimensionalità del set di dati originale. Questi modelli eccellono solo nell'identificazione delle caratteristiche lineari, come illustrato nell'immagine seguente. Tuttavia, non riescono a catturare schemi curvi complessi, una capacità intrinseca di LLE.

Maggiore efficienza computazionale con LLE. LLE offre un'efficienza computazionale superiore grazie alla gestione di matrici sparse, surclassando altri algoritmi.

Implementazione dell'incorporamento localmente lineare

Importazione di librerie

Python3

#importing Libraries> import> numpy as np> import> matplotlib.pyplot as plt> from> sklearn.datasets>import> make_swiss_roll> from> sklearn.manifold>import> LocallyLinearEmbedding> 
>
>

Il codice inizia importando le librerie necessarie, incluso Numpy, matplotlib.pyplot , make_swiss_roll da sklearn.datasets e LocallyLinearEmbedding da sklearn.manifold .

Generazione di un set di dati sintetico (Swiss Roll)

Python3

# Code for Generating a synthetic dataset (Swiss Roll)> n_samples>=> 1000> # Define the number of neighbors for LLE> n_neighbors>=> 10> X, _>=> make_swiss_roll(n_samples>=>n_samples)> 
>
>

Genera un set di dati sintetico simile a uno Swiss Roll utilizzando la funzione make_swiss_roll di scikit-learn.

n_samples specifica il numero di punti dati da generare.
n_neighbors definisce il numero di vicini utilizzati nell'algoritmo LLE.

Applicazione dell'incorporamento lineare locale (LLE)

Python3

# Including Locally Linear Embedding> lle>=> LocallyLinearEmbedding(n_neighbors>=>n_neighbors, n_components>=>2>)> X_reduced>=> lle.fit_transform(X)> 
>
>

Un'istanza dell'algoritmo LLE viene creata con LocallyLinearEmbedding. Il parametro n_neighbors determina il numero di vicini da considerare durante il processo di incorporamento.

L'algoritmo LLE viene quindi adattato ai dati originali X utilizzando il metodo fit_transform metodo. Questo passaggio riduce il set di dati a due dimensioni (n_components=2).

L'attrice Sai Pallavi

Visualizzazione dei dati originali e ridotti

Python3

# Code for Visualizing the original Versus reduced data> plt.figure(figsize>=>(>12>,>6>))> plt.subplot(>121>)> plt.scatter(X[:,>0>], X[:,>1>], c>=>X[:,>2>], cmap>=>plt.cm.Spectral)> plt.title(>'Original Data'>)> plt.xlabel(>'Feature 1'>)> plt.ylabel(>'Feature 2'>)> plt.subplot(>122>)> plt.scatter(X_reduced[:,>0>], X_reduced[:,>1>], c>=>X[:,>2>], cmap>=>plt.cm.Spectral)> plt.title(>'Reduced Data (LLE)'>)> plt.xlabel(>'Component 1'>)> plt.ylabel(>'Component 2'>)> plt.tight_layout()> plt.show()> 
>
>

Produzione:


Incorporamento localmente lineare



Nella seconda sottotrama, i dati ridotti ottenuti da LLE (X_reduced) vengono visualizzati in modo simile ai dati originali. Il colore dei punti dati è ancora determinato dalla terza caratteristica dei dati originali (X[:, 2]). plt.tight_layout() La funzione viene utilizzata per garantire la corretta spaziatura tra le sottotrame.

Java è uguale a

Vantaggi di LLE

Il metodo di riduzione della dimensionalità noto come incorporamento lineare locale (LLE) presenta numerosi vantaggi per l'elaborazione e la visualizzazione dei dati. Di seguito sono riportati i principali vantaggi di LLE:

  • Conservazione delle strutture locali : LLE è eccellente nel mantenere le relazioni o le strutture locali nei dati. Cattura con successo la geometria intrinseca delle varietà non lineari mantenendo le distanze a coppie tra punti dati vicini.
  • Gestire la non linearità : LLE ha la capacità di catturare modelli e strutture non lineari nei dati, in contrasto con tecniche lineari come Analisi del componente principale (PCA). Quando si lavora con set di dati complicati, curvi o contorti, è particolarmente utile.
  • Riduzione della dimensionalità : LLE abbassa la dimensionalità dei dati preservandone le proprietà fondamentali. In particolare quando si lavora con set di dati ad alta dimensione, questa riduzione semplifica la presentazione, l'esplorazione e l'analisi dei dati.

Svantaggi di LLE

  • Maledizione della dimensionalità : LLE può sperimentare il maledizione della dimensionalità se utilizzato con dati estremamente dimensionali, proprio come molti altri approcci di riduzione della dimensionalità. Il numero di vicini necessari per catturare le interazioni locali aumenta con l’aumentare della dimensionalità, aumentando potenzialmente il costo computazionale dell’approccio.
  • Requisiti di memoria e computazionali : Per i set di dati di grandi dimensioni, la creazione di una matrice di adiacenza ponderata come parte di LLE potrebbe richiedere un utilizzo intensivo della memoria. La fase di scomposizione degli autovalori può anche essere gravosa dal punto di vista computazionale per i grandi set di dati.
  • Dati anomali e rumorosi : LLE è suscettibile ad anomalie e punti dati instabili. La qualità dell'inclusione potrebbe essere influenzata e le relazioni lineari locali potrebbero essere distorte da valori anomali.