Меню

Урок за тестване на хранилище на данни за ETL (Пълно ръководство)

etl testing data warehouse testing tutorial

Опитайте Нашия Инструмент За Премахване На Проблемите

ETL тестване / процес на съхранение на данни и предизвикателства:

Днес позволете ми да отделя малко време и да обясня моето тестващо братство за едно от много търсените и предстоящите умения за моите приятели тестери, т.е. ETL тестване (извличане, трансформиране и зареждане).

Този урок ще ви представи пълна идея за ETL тестване и какво правим, за да тестваме ETL процеса.

Пълен списък уроци в тази поредица:

  • Урок №1 : ETL Testing Data Warehouse Testing Въведение ръководство
  • Урок №2 : Тестване на ETL с помощта на инструмента Informatica PowerCenter
  • Урок №3 : ETL срещу DB тестване
  • Урок # 4 : Тестване на бизнес интелект (BI): Как да тестваме бизнес данни
  • Урок №5 : Топ 10 инструменти за тестване на ETL

Забелязано е, че независимата проверка и валидиране придобива огромен пазарен потенциал и много компании сега виждат това като потенциална печалба за бизнеса.

ETL тестване _ Тестване на хранилище на данни - съвети, техники, процес и предизвикателства

На клиентите се предлага различна гама от продукти по отношение на предлаганите услуги, разпределени в много области въз основа на технология, процес и решения. ETL или хранилището за данни е едно от предложенията, които се развиват бързо и успешно.

ETL процес

Чрез ETL процеса данните се извличат от системите източници, трансформират се според бизнес правилата и накрая се зареждат в целевата система (хранилище на данни). Хранилището за данни е магазин за цялото предприятие, който съдържа интегрирани данни, които помагат в процеса на вземане на бизнес решения. Това е част от бизнес разузнаването.

Какво ще научите:

Защо организациите се нуждаят от Data Warehouse?

Организации с организирани ИТ практики очакват с нетърпение да създадат следващото ниво на технологична трансформация. Сега те се опитват да станат много по-оперативни с лесни за взаимодействие данни.

След като казахме, че данните са най-важната част от всяка организация, това може да са ежедневни данни или исторически данни. Данните са гръбнакът на всеки доклад, а отчетите са изходното ниво, на което се вземат всички жизненоважни управленски решения.

Повечето от компаниите правят стъпка напред за изграждането на своето хранилище за данни, за да съхраняват и наблюдават данни в реално време, както и исторически данни. Изработването на ефективно хранилище за данни не е лесна работа. Много организации имат разпределени отдели с различни приложения, работещи по разпределена технология.

Инструментът ETL се използва, за да се направи безупречна интеграция между различни източници на данни от различни отдели. Инструментът ETL ще работи като интегратор, като извлича данни от различни източници; трансформирането му в предпочитания формат въз основа на правилата за бизнес трансформация и зареждането му в кохезивна DB, известни са Data Warehouse.

Добре планиран, добре дефиниран и ефективен обхват на тестване гарантира плавно преобразуване от проекта към продукцията. Бизнесът придобива истинска плаваемост, след като ETL процесите бъдат проверени и валидирани от независима група от експерти, за да се уверят, че хранилището на данни е конкретно и стабилно.

Тестването на ETL или хранилището на данни е категоризирано в четири различни ангажимента независимо от използваните технологии или ETL инструменти:

  • Тестване на нов склад за данни - Новият DW е изграден и проверен от нулата. Въвеждането на данни се взема от изискванията на клиента и различни източници на данни, а новото хранилище за данни се изгражда и проверява с помощта на ETL инструменти.
  • Тестване на миграцията - При този тип проект клиентът ще има съществуващ DW и ETL, изпълняващ работата, но се стреми да събере нов инструмент, за да подобри ефективността.
  • Искане за промяна - В този тип проект се добавят нови данни от различни източници към съществуващ DW. Също така може да има условие, при което клиентът трябва да промени съществуващото си бизнес правило или да интегрира новото правило.
  • Докладване Тестване - Отчетът е крайният резултат от всеки Хранилище на данни и основното предложение, за което DW изгражда. Отчетът трябва да бъде тестван чрез валидиране на оформлението, данните в отчета и изчислението.

ETL процес

( Забележка : Щракнете върху изображението за увеличен изглед)

ETL тестване

Техники за тестване на ETL

1) Тестване на трансформация на данни : Проверете дали данните се трансформират правилно в съответствие с различни бизнес изисквания и правила.

2) Тестване на източника към целевия брой : Уверете се, че броят на записите, заредени в целта, съвпада с очаквания брой.

3) Тестване на източника към целевите данни : Уверете се, че всички проектирани данни са заредени в хранилището за данни, без загуба на данни и съкращаване.

4) Тестване на качеството на данните : Уверете се, че приложението ETL подходящо отхвърля, заменя със стойности по подразбиране и отчита невалидни данни.

5) Тестване на производителността : Уверете се, че данните са заредени в хранилището за данни в рамките на предписаните и очаквани времеви рамки, за да потвърдите подобрена производителност и мащабируемост.

как да отворите dat файл на windows

6) Тестване за валидиране на производството: Проверете данните в производствената система и ги сравнете с данните източник.

7) Тестване на интеграция на данни : Уверете се, че данните от различни източници са били заредени правилно в целевата система и всички прагови стойности са проверени.

8) Тестване на миграцията на приложения : При това тестване се гарантира, че приложението ETL работи добре при преместване в нова кутия или платформа.

9) Проверка на данни и ограничения : В този случай се тестват типът данни, дължината, индексът, ограниченията и т.н.

10) Проверка на дублирани данни : Тествайте дали в целевите системи има дублирани данни. Дублирани данни могат да доведат до грешни аналитични отчети.

Освен горните методи за тестване на ETL, се провеждат и други методи за тестване като тестване за системна интеграция, тестване за приемане от потребителя, инкрементално тестване, регресивно тестване, повторно тестване и навигационно тестване, за да се гарантира, че всичко е гладко и надеждно.

ETL / Склад за данни Процес на тестване

Подобно на всяко друго тестване, което е под независима проверка и валидиране, ETL също преминава през същата фаза.

  • Разбиране на изискванията
  • Проверка
  • Тестова оценка въз основа на редица таблици, сложността на правилата, обема на данните и изпълнението на заданието.
  • Планиране на теста въз основа на данните от оценката на теста и бизнес изискванията. Тук трябва да идентифицираме какво е в обхвата и какво е извън обхвата. На тази фаза ние също така търсим зависимости, рискове и планове за смекчаване.
  • Проектиране на тестови случаи и тествайте сценарии от всички налични входове. Също така трябва да проектираме картографиране на документи за документи и SQL скриптове.
  • След като всички тестови случаи са готови и бъдат одобрени, екипът за тестване продължава да извършва проверка преди изпълнението и подготовка на данните от теста за тестване
  • И накрая, изпълнението се извършва, докато не бъдат изпълнени критериите за изход. И така, фазата на изпълнение включва стартиране на ETL задачи, проследяване на изпълнения на задачи, изпълнение на SQL скрипт, регистриране на дефекти, повторно тестване на дефекти и тестване на регресия.
  • След успешното завършване се изготвя обобщен доклад и се приключва процесът на закриване. В тази фаза се дава знак за повишаване на работата или кода до следващата фаза.

Първите две фази, т.е. разбирането на изискванията и валидирането, могат да се разглеждат като предварителни стъпки от тестовия процес на ETL.

И така, основният процес може да бъде представен по-долу:

основен процес

Необходимо е да се определи стратегия за тестване, която да бъде взаимно приета от заинтересованите страни, преди да започне действителното тестване. Добре дефинираната тестова стратегия ще гарантира, че е спазен правилен подход, отговарящ на стремежа на теста.

Тестването на ETL / Data Warehouse може да наложи обширно писане на SQL изрази от екип за тестване или може би приспособяване на SQL, предоставен от екипа за разработка. Във всеки случай екипът за тестване трябва да е наясно с резултатите, които се опитва да получи, използвайки тези SQL изрази.

Разлика между тестване на база данни и хранилище на данни

Има популярно недоразумение, че тестването на база данни и склад за данни е подобно, докато фактът е, че и двете имат различна посока при тестване.

  • Тестването на база данни се извършва с по-малък мащаб на данни, обикновено с тип бази данни OLTP (онлайн обработка на транзакции), докато тестването на хранилище на данни се извършва с голям обем с данни, включващи OLAP (онлайн аналитична обработка) бази данни.
  • При тестването на база данни обикновено данните се инжектират последователно от единни източници, докато при тестването на хранилището на данни повечето данни идват от различни видове източници на данни, които последователно са несъвместими.
  • Обикновено извършваме единствената операция CRUD (Създаване, четене, актуализиране и изтриване) при тестване на база данни, докато при тестване на хранилището на данни използваме операция само за четене (Select).
  • Нормализирани бази данни се използват при тестване на DB, докато деморализираната DB се използва при тестване на хранилище на данни.

Съществуват редица универсални проверки, които трябва да бъдат извършени за всякакъв вид тестване на хранилището на данни.

По-долу е списъкът на обектите, които се третират като съществени за валидиране при това тестване:

  • Проверете дали преобразуването на данни от източник в местоназначение работи както се очаква
  • Проверете дали очакваните данни са добавени към целевата система
  • Уверете се, че всички полета на DB и данните за полето са заредени без никакви съкращения
  • Проверете контролната сума за данни за съвпадение на броя на записите
  • Уверете се, че за отхвърлени данни се генерират правилни дневници за грешки с всички подробности
  • Проверете полетата за стойност NULL
  • Проверете дали дублираните данни не са заредени
  • Проверете целостта на данните

=> Знайте разлика между ETL / Data warehouse testing & Database Testing .

Предизвикателства за тестване на ETL

Това тестване е доста различно от конвенционалното тестване. Има много предизвикателства, с които се сблъскахме по време на тестването на хранилището на данни.

Ето няколко предизвикателства, които изпитах по проекта си:

  • Несъвместими и дублирани данни
  • Загуба на данни по време на ETL процес
  • Недостъпност на включителното тестово място
  • Тестерите нямат привилегии да изпълняват ETL задачи самостоятелно
  • Обемът и сложността на данните са много големи
  • Грешка в бизнес процеса и процедурите
  • Проблем с придобиването и изграждането на данни от тестове
  • Нестабилна среда за тестване
  • Липсва информация за бизнес потока

Данните са важни за бизнеса, за да вземат критичните бизнес решения. Тестването на ETL играе важна роля за валидиране и гарантиране, че бизнес информацията е точна, последователна и надеждна. Също така, минимизира опасността от загуба на данни в производството.

Надявам се, че тези съвети ще ви помогнат да гарантирате, че процесът ви на ETL е точен и изграждането на хранилище за данни от това е конкурентно предимство за вашия бизнес.

Пълен списък на уроци за тестване на ETL:

  • Урок №1 : ETL Testing Data Warehouse Testing Въведение ръководство
  • Урок №2 : Тестване на ETL с помощта на инструмента Informatica PowerCenter
  • Урок №3 : ETL срещу DB тестване
  • Урок # 4 : Тестване на бизнес интелект (BI): Как да тестваме бизнес данни
  • Урок №5 : Топ 10 инструменти за тестване на ETL

Това е гост публикация от Vishal Chhaperia, който работи в MNC в роля на ръководене на тестове. Той има богат опит в управлението на многотехнологични QA проекти, процеси и екипи.

Работили ли сте по тестване на ETL? Моля, споделете вашите ETL / DW съвети за тестване и предизвикателства по-долу.

Препоръчително четене

^