Data Warehouse används för datalagring och analys av data. Datalager skapas genom att olika datakällor som applikationer, databaser, molntjänster och övriga datageneratorer skapar information som lagras i databaser. All denna information aggregeras, bearbetas, förändras och förvaltas i datalagret. Business Intelligence (BI) funktioner används sedan för att läsa och presentera data ur olika vyer för att låta beslutsfattare ha rätt underlag när beslut ska tas.

Använder ni nu verktyg som PowerBI, Tableau, Qlik etc.? Är dataprecision och integritet speciellt viktigt för er verksamhet? Finns behov av att säkerställa dataintegriteten och att datan är korrekt? Vill ni ersätta manuella testprocesser med automation?

Traditionellt är detta en svår process att lyckas med manuellt, där omfattande komplexitet och stora jämförelsemängder av data behöver analyseras, inte sällan genom en kedja av transformation och algoritmer.

Frågor kan t.ex. vara om:

• Är inputdata intakt och korrekt?
• Kommer data från rätt datakällor?
• Finns regressionsproblem i E2E flödet?
• Skapas rapporter med korrekt data?
• Stämmer logiken i rapporten eller affärslogik runt omkring rapporteringen?
• Finns några problem gällande inläsning, förändring, utläsning eller presentation av data?
• …och framförallt, uppmärksammar ni om fel smyger sig in i data?

Automatiseringen för att lösa testning av Data Warehouse och BI-lösningar bör inte bara hitta fel, utan också bidra till att minimera att felen kommer ut i produktionen från börjar. I den bästa av världar så ska även automatiseringen täcka hela kedjan, från start till mål vad gäller datas livscykel och integritet.

Automatiseringen brukar delas in i tre viktiga delar:

• Vitala kontroller (Vital Checks) som kontrollerar områden som metadata, kompletthet, unikhet, referenser och att defaultvärden och nollvärden inte existerar.
• Transformationskontroller (Transformation Tests) genomförs för att säkerställa att logiken i transformationen är korrekt och att värden som erhålls från t.ex. flyttar till tabeller och dimensioner att skapar oväntade nollvärden, missade värden eller dubbla värden. Dessa typer av tester är typiskt återanvändningsbara under regressionstestning, då de kan användas för att säkerställa integrationstester mellan system.
• Profiletester (Profile Tests) kontrollerar att själva datat är korrekta. Dessa tester kan genomföras när metadata, transformation och datakällor är verifierade. Dessa tester omfattar de affärsregler som verksamheten använder. Som komplement till detta så finns även trendande tester som verifierar beteende i datatillväxt och förändringar med tillhörande variationer för att hitta diskrepanser.

I dagsläget så diskuteras ofta dataintegritet och dess kvalitet i förhållande till specifika databaser. Detta innebär i praktiken att även verktyg för underhåll och analys är kopplade till dessa specifika databaser, inte sällan med proprietära verktyg. Med Tosca BI så ges en möjlighet att få en helhetslösning som håller samman automatiseringen av testningen av datalager och BI-lösningar.

Läs mer på Tricentis webbsida här.

Läs även vårt white paper om automatiserad testning av Data Warehouse här.