L'esercitazione su SSIS fornisce concetti di base e avanzati di SQL Server Integration Services. Il nostro tutorial SSIS è progettato per principianti e professionisti.
Servizio di integrazione di SQL Server è uno strumento di data warehousing veloce e flessibile utilizzato per l'estrazione, la trasformazione e il caricamento dei dati. Semplifica il caricamento dei dati da un database a un altro database come SQL Server, Oracle, file Excel, ecc.
In questo tutorial, discuteremo i seguenti argomenti:
- Cos'è la SSIS
- Cos'è l'integrazione dei dati
- Perché la SSIS
- Come funziona l'SSIS
- Requisiti per il servizio di integrazione SQL Server
- Che cos'è il pacchetto SSIS
- Attività SSIS
- Esempio di attività flusso di dati
- Esempio di attività Esegui SQL
Cos'è l'SSIS?
- SSIS sta per SQL Server Integration Services.
- È un componente disponibile nel software di database Microsoft SQL Server utilizzato per eseguire un'ampia gamma di attività di integrazione.
- È uno strumento di data warehousing utilizzato per l'estrazione dei dati, il caricamento dei dati in un altro database, trasformazioni come la pulizia, l'aggregazione, l'unione dei dati, ecc.
- Lo strumento SSIS contiene anche strumenti grafici e funzioni del flusso di lavoro delle procedure guidate delle finestre come l'invio di messaggi di posta elettronica, operazioni ftp e origini dati.
- SSIS viene utilizzato per eseguire un'ampia gamma di attività di trasformazione e integrazione. Nel complesso, lo strumento SSIS viene utilizzato nella migrazione dei dati.
SSIS è uno strumento utilizzato principalmente per eseguire due funzionalità:
SSIS esegue l'integrazione dei dati combinando i dati provenienti da più origini e fornisce dati unificati agli utenti.
Il flusso di lavoro può essere utilizzato per eseguire diverse cose. A volte è necessario eseguire alcuni passaggi specifici o un percorso particolare basato sul periodo di tempo o sul parametro passato al pacchetto o sui dati richiesti dal database. Può essere utilizzato per automatizzare la manutenzione dei database SQL Server e fornisce l'aggiornamento ai dati analitici multidimensionali.
Cos'è l'integrazione dei dati?
L'integrazione dei dati è un processo che segui per integrare i dati provenienti da più fonti. I dati possono essere dati eterogenei o dati omogenei. I dati possono essere strutturati, semistrutturati o non strutturati. Nell'integrazione dei dati, i dati provenienti da origini dati diverse e diverse si integrano per formare alcuni dati significativi.
Alcuni metodi vengono utilizzati per ottenere l'integrazione dei dati:
Vantaggi dell'integrazione dei dati:
Riduce la complessità dei dati, il che significa che i dati possono essere consegnati a qualsiasi sistema. L'integrazione dei dati mantiene la complessità, semplifica le connessioni e semplifica la distribuzione dei dati a qualsiasi sistema.
L’integrità dei dati gioca un ruolo importante nell’integrazione dei dati. Si occupa della pulizia e della validazione dei dati. Tutti desiderano dati robusti e di alta qualità, quindi per raggiungere questo obiettivo viene utilizzato il concetto di integrazione dei dati. L'integrazione dei dati è utile per rimuovere errori, incoerenze e duplicazioni.
L'accessibilità rientra nella collaborazione dei dati. Accessibilità significa che i dati possono essere facilmente trasformati e le persone possono facilmente integrare i dati nei progetti, condividere i risultati e mantenere aggiornati i dati.
Ti consente inoltre di prendere decisioni più intelligenti. Un dato integrato si riferisce al processo di trasmissione all'interno di un'azienda in modo che possiamo comprendere le informazioni più facilmente. Un dato integrato è molto più semplice e informativo.
Perchè l'SSIS?
SSIS viene utilizzato per i seguenti motivi:
SSIS viene utilizzato per combinare i dati provenienti da più origini dati per generare un'unica struttura in una vista unificata. Fondamentalmente, è responsabile della raccolta dei dati, dell'estrazione dei dati da più origini dati e della fusione in un'unica origine dati.
SSSIS è una piattaforma che ha la capacità di caricare una grande quantità di dati da Excel a un database SQL Server.
Lo strumento SSSIS fornisce una stretta integrazione con altri prodotti Microsoft.
Lo strumento SSSIS è più economico della maggior parte degli altri strumenti. Può resistere ad altri prodotti base, alla loro gestibilità, alla business intelligence, ecc.
SSSIS consente di gestire l'errore complesso all'interno di un flusso di dati. È possibile avviare e arrestare il flusso di dati in base alla gravità dell'errore. Puoi anche inviare un'e-mail all'amministratore quando si verifica un errore. Quando un errore viene risolto, puoi scegliere il percorso tra il flusso di lavoro.
Come funziona l'SSIS?
Sappiamo che SSIS è una piattaforma per due funzioni, ovvero integrazione dei dati e flusso di lavoro. Sia le attività di trasformazione dei dati che la creazione del flusso di lavoro vengono eseguite utilizzando il pacchetto SSIS. Il pacchetto SSIS è costituito da tre componenti:
Dati operativi
I dati operativi sono un database utilizzato per integrare i dati provenienti da più origini dati per eseguire operazioni aggiuntive sui dati. È il luogo in cui vengono archiviati i dati per le operazioni correnti prima di essere inviati al data warehouse per la memorizzazione, il reporting o l'archiviazione.
comando chown
ETL
- ETL è il processo più importante nello strumento SSIS. ETL viene utilizzato per estrarre, trasformare e caricare i dati in un data warehouse.
- ETL è un processo responsabile dell'estrazione dei dati da più origini dati, della trasformazione dei dati in dati utili e quindi dell'archiviazione dei dati in un data warehouse. I dati possono essere in qualsiasi formato di file xml, file flat o qualsiasi file di database.
- Garantisce inoltre che i dati archiviati nel data warehouse siano pertinenti, accurati, di alta qualità e utili per gli utenti aziendali.
- È facilmente accessibile in modo che il data warehouse possa essere utilizzato in modo efficace ed efficiente.
- Aiuta inoltre l'organizzazione a prendere decisioni basate sui dati recuperando dati strutturati e non strutturati da più origini dati.
Un ETL è un concetto di tre parole, ma è diviso in quattro fasi:
Catturare: La fase di acquisizione è nota anche come fase di estrazione. In questa fase, seleziona i dati o i metadati di origine e i dati possono essere in qualsiasi formato, ad esempio file xml, file flat o qualsiasi file di database.
Macchia: In questa fase vengono controllati i dati originali. Controlla i dati, se contengono errori o meno. Verifica la presenza di errori o incoerenze dei dati utilizzando alcune tecniche di intelligenza artificiale. In breve, verifica se la qualità del prodotto è soddisfatta o meno.
Trasformare: È la terza fase dell'ETL. La trasformazione è il processo in cui il formato originale viene convertito nel formato richiesto desiderato. La trasformazione consiste nel modellare o modificare i dati in base alle esigenze dell'utente. Le modifiche possono riguardare il numero di colonne o righe.
Caricamento e indice: La quarta fase è Caricamento e indice. Carica i dati e convalida il numero di righe che sono state elaborate. Una volta completato il caricamento dei dati, viene utilizzata l'indicizzazione. L'indicizzazione ti aiuta a tenere traccia del numero di righe caricate nel data warehouse. L'indicizzazione aiuta anche a identificare i dati, indipendentemente dal fatto che siano nel formato corretto o meno.
Magazzino dati
Il data warehouse è un archivio di dati unico, completo e coerente formulato combinando i dati provenienti da più origini dati.
Differenza tra database e data warehouse
La risposta può essere sì così come no. Sia il database che il data warehouse dispongono di una grande unità di dati e di una rappresentazione fisica simile, ma il tempo di risposta di query complesse nel data warehouse è più rapido rispetto al database.
Requisiti per SQL Server Integration Services
Di seguito sono riportati i requisiti per installare SQL Server Integration Services:
- Installare SQL Server
- Installare gli strumenti dati di SQL Server
Seguire i passaggi seguenti per installare gli strumenti SQL Server Data:
Passo 1: Clicca sul link https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 per scaricare gli strumenti dati di SQL Server.
Passo 2: Quando si fa clic sul collegamento sopra, viene visualizzata la schermata mostrata di seguito:
Nella schermata sopra, seleziona la versione di SSDT che desideri installare.
Passaggio 3: Una volta completato il download, esegui il file scaricato. Quando si esegue il file scaricato, viene visualizzata la schermata mostrata di seguito:
Passaggio 4: Fare clic sul pulsante Avanti.
Passaggio 5: Seleziona l'istanza di Visual Studio e gli strumenti che desideri installare in Visual Studio 2017.
Passaggio 6: Clicca sul Installare pulsante.
Cos'è il pacchetto SSIS?
Il pacchetto è un blocco fondamentale in cui si codifica in SSIS. Qui, codice non significa che stai codificando in qualche linguaggio di programmazione; significa lo sviluppo che fai. Lo sviluppo viene eseguito nel pacchetto SSIS. SSIS viene utilizzato principalmente per il processo ETL e il processo ETL viene eseguito all'interno del pacchetto SSIS.
Il pacchetto SSIS è composto da tre parti:
Il pacchetto SSIS avrà alcune connessioni e queste connessioni verranno utilizzate per connettersi a varie origini dati.
Il pacchetto SSIS è composto da due elementi, ovvero elementi del flusso di controllo ed elementi del flusso di dati. Gli elementi del flusso di controllo gestiscono i flussi di lavoro. Flusso di lavoro significa che stiamo eseguendo alcune attività in passaggi, quindi la sequenza viene eseguita attraverso il flusso di controllo.
Gli elementi del flusso di dati eseguono trasformazioni.
Attività SSIS
Nel pacchetto SSIS, possiamo aggiungere le attività. Un'attività è un'unità di lavoro e avremo diversi tipi di attività per eseguire diversi tipi di lavoro. Esistono vari tipi di attività, ma discuteremo delle attività più comuni utilizzate in SSIS:
Viene utilizzato per eseguire le istruzioni SQL su un database relazionale.
Viene utilizzato principalmente per leggere i dati da una o più origini dati, trasformare i dati e può anche caricare i dati in una o più destinazioni.
Viene utilizzato per elaborare gli oggetti di un cubo SSAS o di un modello tabulare.
Questa attività viene utilizzata per chiamare gli altri pacchetti all'interno dello stesso progetto. Puoi anche passare i valori delle variabili al pacchetto chiamato.
Consente di eseguire un'applicazione o script batch come SQL Server Integration Services. Può essere utilizzato per aprire l'applicazione standard come Microsoft Excel, Microsoft Word, ecc. Viene utilizzato anche per decomprimere il file compresso.
Può essere utilizzato per eseguire manipolazioni nel file system come spostare file, eliminare file, rinominare file, modificare directory, ecc.
Le attività IFTP vengono utilizzate per eseguire operazioni su file e cartelle. Ad esempio, se si desidera inviare o ricevere il file dal server FTP alla directory locale, viene utilizzata l'attività FTP SSIS.
Questa attività ti consente di scrivere il codice .Net che desideri eseguire.
Questa attività viene utilizzata per inviare un'e-mail. Viene utilizzato principalmente quando si desidera notificare agli utenti lo stato dell'attività, sia che sia in esecuzione o che si sia verificato un errore.
Vediamo qualche esempio funzionante di un servizio di integrazione dati.
Esempio di attività flusso di dati
Passo 1: Innanzitutto, creiamo un file Excel in Microsoft Excel. Supponiamo di creare il database degli studenti in Microsoft Excel e che i campi nella tabella degli studenti siano ID_studente, nome_studente, voti e sesso.
Passo 2: Aprire Visual Studio (SQL Server Data Tools).
Passaggio 3: Fare clic sull'opzione File e quindi passare a Nuovo->Progetto.
Passaggio 4: Quando si fa clic sul progetto, viene visualizzata la schermata mostrata di seguito:
Nella schermata sopra, fai clic su Integration Services visualizzato sul lato più a sinistra del pannello, quindi fai clic su Integration Services Project.
Passaggio 5: Dopo aver cliccato su il progetto dei servizi di integrazione opzione, viene visualizzata la schermata mostrata di seguito:
La schermata precedente è composta da cinque schede, ad esempio Flusso di controllo, Flusso di dati, Parametri, Gestore eventi ed Esplora pacchetti. Abbiamo già discusso del flusso di controllo e del flusso di dati, sia il flusso di controllo che il flusso di dati esistono all'interno del pacchetto SSIS.
passaggio 6: Per importare i dati, dobbiamo prima creare il database in cui creiamo la tabella nel database SQL Server. Poiché sappiamo che i dati degli studenti sono disponibili nel file Excel e vogliamo importarli nel database SQL Server. Per raggiungere questo obiettivo, dobbiamo prima creare la tabella in SQL Server. Apri lo studio di gestione di SQL Server.
Passaggio 7: Crea il alunno Banca dati. Fare clic con il tasto destro sul database, quindi fare clic su Nuova banca dati opzione.
Passaggio 8: Inserisci il nome del database nello screenshot seguente:
Ho dato StudentWarehouse come nome del database.
Passaggio 9: Clicca sul OK pulsante.
Passaggio 10: Ora creiamo la tabella in a StudentWarehouse Banca dati. Fare clic con il pulsante destro del mouse sulle tabelle, quindi fare clic su Nuova tabella.
Passaggio 11: Ora aggiungiamo i campi in una tabella come student_id, student_name, voti e sesso. Impostiamo student_id come chiave primaria che identifica in modo univoco ogni riga.
La schermata sopra mostra che aggiungiamo quattro campi in una tabella. Dopo aver aggiunto tutti i campi in una tabella, salviamo la tabella fornendo un nome utile. Supponiamo di aver fornito lo studente come nome della tabella.
Passaggio 12: Torna allo studio visivo. Il flusso di controllo contiene l'attività Flusso di dati, trascina e rilascia l'attività Flusso di dati nella finestra principale.
chiama una funzione js da html
Passaggio 13: Quando facciamo doppio clic sull'attività del flusso di dati, il controllo si sposta automaticamente al flusso di dati dal flusso di controllo, quindi possiamo dire che il flusso di controllo è un contenitore di flusso di dati.
Passaggio 14: Ora possiamo eseguire le trasformazioni in Data Flow. Vogliamo estrarre i dati dal file Excel che abbiamo creato in precedenza, quindi trascina e rilascia la fonte Excel dalle altre fonti visualizzate sul lato più a sinistra del pannello.
Dalla schermata sopra, osserviamo che all'interno della Sorgente Excel appare la croce rossa, significa che il componente è configurato con la Sorgente Excel.
Passaggio 15: Per configurare il componente, fare clic con il pulsante destro del mouse sull'origine Excel e fare clic sull'opzione Modifica come mostrato nello screenshot seguente:
Passaggio 16: Compila i dettagli mostrati nello screenshot seguente:
Passaggio 17: Dopo aver inserito tutti i dettagli, appare la schermata mostrata di seguito:
Passaggio 18: Fare clic sulla fonte Excel.
La schermata sopra mostra due frecce, una rossa e una blu. La freccia blu definisce i dati effettivi che riceviamo dal file Excel e la freccia rossa indica gli errori che abbiamo. Ora dobbiamo eseguire le trasformazioni e, prima di eseguire le trasformazioni, dobbiamo caricare il database.
Passaggio 19: Per caricare il database, fare clic su Altre destinazioni e quindi fare clic su Destinazione.
Passaggio 20: Dopo aver aggiunto la destinazione, collega la sorgente alla Destinazione.
Passaggio 21: Nel passaggio precedente, abbiamo notato la croce rossa in ADO NET Destination, il che significa che non è configurato con un componente. Fare clic con il pulsante destro del mouse sulla destinazione ADO NET, quindi fare clic sull'opzione Modifica come mostrato nello screenshot seguente:
Passaggio 22: È necessario specificare il gestore della configurazione.
Passaggio 23: Clicca sul Nuovo pulsante per aggiungere la gestione connessione. Quando fai clic su Nuovo pulsante, appare la schermata mostrata di seguito:
Passaggio 24: Aggiungi il nome del server e seleziona il nome del database da SQL Server.
Passaggio 25: Fare clic sul pulsante OK.
Passaggio 26: Aggiungi il nome della tabella in cui desideri caricare i dati.
Passaggio 27: Nella schermata seguente, mappare il campo della sorgente di input al campo della sorgente di destinazione.
logica del primo ordine
Passaggio 28: Dopo aver aggiunto una mappatura, la sorgente è collegata alla Destinazione, come mostrato nello screenshot seguente:
Passaggio 29: Clicca sul Inizio pulsante per eseguire il progetto Integration Services. Quando esegui il progetto, i dati vengono caricati nella destinazione, ovvero server SQL .
Esempio di attività Esegui SQL
- Seguire i passaggi dal passaggio 2 al passaggio 5 dell'esempio precedente.
- Trascina e rilascia il file Esegui attività SQL che appare nel pannello più a sinistra della finestra principale.
Nella schermata sopra, osserviamo che la croce rossa appare nell'attività Esegui SQL, il che significa che il file Gestore della connessione non è configurato con il Esegui attività SQL . Per configurarlo, dobbiamo aggiungere il Connection Manager.
- Per aggiungere Connection Manager, fare clic con il pulsante destro del mouse su Connection Manager, quindi fare clic su New Connection Manager come mostrato nello screenshot seguente:
- Seleziona il OLEDB come tipo Connection Manager e quindi fare clic su Aggiungere pulsante come mostrato nello screenshot qui sotto:
- Dopo aver cliccato su Aggiungere pulsante, viene visualizzata la schermata mostrata nello screenshot seguente:
Nella schermata sopra, osserviamo che la connessione dati di StudentWarehouse il database è già disponibile come abbiamo creato nel passaggio precedente. Clicca sul OK pulsante.
- Quando si fa clic sul pulsante OK, la schermata appare come mostrato di seguito:
Nella schermata sopra, devi inserire i dettagli come il nome dell'attività, la descrizione, l'istruzione SQL (attività SQL che devi eseguire sulla tabella).
- Ho inserito i seguenti dettagli nello screenshot qui sopra:
Nel caso precedente, ho fornito il comando di inserimento in SQLStatement.
- Clicca sul OK pulsante.
- Quando configuri il componente con l'attività Esegui SQL, la croce rossa scompare come mostrato nello screenshot seguente:
- Eseguire il progetto facendo clic su Inizio .
- Quando fai clic su Inizio , la schermata appare come di seguito:
Nella schermata sopra, il segno di spunta mostra che l'attività SQL è stata completata con successo. L'istruzione insert che abbiamo aggiunto nei passaggi precedenti è stata eseguita e i dati sono stati aggiunti nella tabella. cioè studente1.
- L'output di questa attività è mostrato di seguito
Prerequisito
Prima di apprendere SSIS, è necessario avere una conoscenza di base di SQL Server.
Pubblico
Il nostro tutorial SSIS è progettato per aiutare principianti e professionisti.
Problema
Ti assicuriamo che non troverai alcun problema in questo tutorial SSIS. Ma se c'è qualche errore o errore, pubblica l'errore nel modulo di contatto.