ETL gör det möjligt för företag att samla in data från flera källor och konsolidera dem till en enda centraliserad plats. ETL gör det också möjligt för olika typer av data att arbeta tillsammans. En typisk ETL-process samlar in och förbättrar olika typer av data och levererar sedan data till ett datalager som Azure eller BigQuery.
ETL gör det också möjligt att migrera data mellan ett antal källor, destinationer och analysverktyg. Som ett resultat spelar ETL-processen en viktig roll för att producera affärsinformation och genomföra bredare datahanteringsstrategier.
Så här fungerar ETL
ETL-processen innehåller tre steg. Detta är datautvinning, datatransformation och datainläsning (extract, transform and load).
Steg 1: Extrahera
Mycket få företag väljer att förlita sig på en enda datatyp eller ett enda system. De flesta människor hanterar data från en mängd olika källor och använder en mängd dataanalysverktyg i sin affärsinformation. För att skapa en komplex datastrategi som denna måste data kunna flöda fritt mellan system och appar.
Innan data kan flyttas till en ny destination måste de först hämtas från källan. I det första steget i ETL-processen importeras och konsolideras strukturerad och ostrukturerad data i ett enda lager. Rådata kan erhållas från ett brett spektrum av källor, inklusive:
- Befintliga databaser och äldre system
- Moln, hybrid och lokala miljöer
- Försäljnings- och marknadsföringsapplikationer
- Mobila enheter och appar
- CRM-system
- Datalagringsplattformar
- Datalagring
- Analytics-verktyg
Även om detta är något som kan göras manuellt, kan handkodad datautvinning både vara tidskrävande och medföra en risk för fel. ETL-verktyg automatiserar utvinningsprocessen och skapar ett mer effektivt och pålitligt arbetsflöde.
Steg 2: Transformera
Under denna fas av ETL-processen läggs en uppsättning regler till de data som används för att säkerställa datakvalitet och tillgänglighet. Du kan också lägga till regler som gör det lättare för ditt företag att uppfylla rapporteringskraven. Processen för datatransformation består av flera delprocesser:
- Rensning – felaktiga data och saknade värden i data fixas
- Standardisering – formateringsregeln läggs till i datasetet
- De-duplicering – överflödiga data utesluts eller tas bort
- Verifiering – obrukbar data tas bort och avvikelser flaggas
- Sortering – data är ordnade efter typ
- Andra uppgifter – alla ytterligare / valfria regler kan användas för att förbättra datakvaliteten
Transformation anses vara den viktigaste delen av ETL-processen. Datatransformation förbättrar dataintegriteten och hjälper till att säkerställa att data når sin nya destination helt kompatibel och redo att användas.
Steg 3: Ladda
Det sista steget i ETL-processen är att ladda den nyligen transformerade data till ett nytt mål. Data kan laddas samtidigt (full laddning) eller med schemalagda intervall (steg för steg laddning).
Full laddning – I ett ETL-fulladdningsscenario går allt som kommer från omvandlingen till nya, unika poster i datalagret. Även om det kan finnas tillfällen där detta är användbart för forskningsändamål, producerar denna teknik datamängder som växer exponentiellt och kan därför snabbt bli svåra att underhålla.
Inkrementell laddning – Ett mindre omfattande men mer hanterbart tillvägagångssätt är inkrementell laddning. Inkrementell laddning jämför inkommande data med vad som redan är tillgängligt och ger bara ytterligare poster om ny och unik information hittas. Denna arkitektur gör det möjligt för mindre, billigare datalager att underhålla och hantera affärsinformation.