data warehouse testing tutorial with examples etl testing guide
Този урок покрива подробно цели и значение на тестването на хранилището на данни, отговорности за тестване на ETL, грешки в внедряването на DW и ETL:
В това Поредица от обучения за съхранение на данни в дълбочина , разгледахме Какво е ET L процес в хранилището на данни в подробности в предишния ни урок.
Този урок ще ви даде разбиране за това как може да се извърши тестване на хранилището на данни в една организация. Също така ще се запознаете с целите на тестването на DW, как и какъв вид тестване може да се извърши в бекенда, кои са всички участващи в този процес, DW грешки и внедряване на ETL в детайли.
=> Проверете ВСИЧКИ уроци за съхранение на данни тук.
Целева аудитория
- Разработчици и тестери на Data Warehouse / ETL.
- Професионалисти в базата данни с основни познания за концепции за бази данни.
- Администратори на бази данни / Експерти за големи данни, които искат да разберат концепциите за Data Warehouse / ETL.
- Завършили колеж / Участници, които търсят работа в хранилище за данни.
Какво ще научите:
Тестване на хранилище на данни (ETL)
Какво е значението на тестването на хранилището на данни и системите за бизнес разузнаване?
Тестването играе критична роля за успеха на която и да е от горните две системи, като гарантира точността на данните, които изграждат вярата на крайните потребители.
Като цяло, дефект, открит на по-късните етапи от жизнения цикъл на разработката на софтуер, струва повече, за да се отстрани този дефект. Тази ситуация в DW може да се влоши, тъй като по това време грешните данни, открити на по-късните етапи, може да са били използвани при важни бизнес решения.
По този начин поправката в DW е по-скъпа по отношение на процеса, хората и технологичните промени. Можете да започнете тестването на DW още от фазата на събиране на изискванията.
Изготвя се и се преразглежда матрица за проследяване на изискванията, която основно картографира характеристиките на DW със съответните им бизнес изисквания. Матрицата за проследяване действа като вход към плана за тестване на DW, изготвен от тестерите. Планът за изпитване описва тестовете, които трябва да се извършат за валидиране на DW системата.
Той също така описва видовете тестове, които ще се извършват в системата. След като планът на теста е готов, всички подробни тестови случаи ще бъдат подготвени за различни сценарии на DW. Тогава всички тестови случаи ще бъдат изпълнени и дефектите ще бъдат регистрирани.
В операционния свят има стандарт, който поддържа различни среди за разработка, тестване и производство. В света на DW, разработчиците и тестерите ще се уверят, че средите за разработка и тестване са достъпни с репликата на производствени данни, преди да започнат работата си.
Това се копира за списък на таблици с ограничени или пълни данни в зависимост от нуждите на проекта, тъй като производствените данни са наистина големи. Разработчиците разработват своя код в средата на разработчика и го доставят на тестерите.
Тестерите ще тестват кода, доставен в тестовите среди, за да се уверят дали всички системи работят. Тогава кодът ще се активира в производствените среди. DW кодът също се поддържа в различни версии въз основа на дефектите, фиксирани във всяка версия. Поддържането на множество среди и версии на кода помага да се изгради система с добро качество.
етапи от жизнения цикъл на разработката на софтуер
Цели на тестването на хранилището на данни (ETL)
Нека да разгледаме целите на тестването на хранилището на данни.
# 1) Пълнота на данните: Уверете се, че всички данни от различни източници са заредени в хранилище за данни. Екипът за тестване проверява дали всички DW записи са заредени срещу базата данни източник и плоските файлове, като следва следните примерни стратегии.
- Общият брой записи, качени от системата източник, трябва да съвпада с общия брой записи, заредени в DW. Ако има разлика, можете да помислите за отхвърлените записи.
- Сравнете данните, заредени във всяко поле на DW, с полетата за данни на системата източник. Това ще изведе грешки в данните, ако има такива.
# 2) Трансформация на данни: Докато качвате изходните данни в хранилището на данни, малко полета могат да бъдат директно заредени с изходните данни, но малко полета ще бъдат заредени с данните, които се трансформират според бизнес логиката. Това е сложната част от тестването на DW (ETL).
По-долу са примерните стратегии за тестване на това:
- Можете да тествате, като създавате и сравнявате данни в електронни таблици. Заредете преобразуваните данни от източника и DW данните в електронни таблици и направете сравнение. Не трябва да има несъответствие.
- Тестерите трябва да напишат заявките според логиката на преобразуване, за да сравнят данните DW с данните източник. Изпълнението на заявката ще гарантира, че проверката на данните за някое от полетата не липсва.
# 3) Качество на данните: Системата за съхранение на данни (ETL) трябва да осигури качеството на заредените в нея данни чрез отхвърляне (или) коригиране на данните.
DW може отхвърли няколко от системните данни, базирани на логиката на бизнес изискванията. Например, отхвърляне на запис, ако определено поле има нецифрени данни. Всички отхвърлени записи се зареждат в таблицата за отхвърляне за справка.
Отхвърлените данни се докладват на клиентите, тъй като няма шанс да се запознаят с тези пропуснати данни, тъй като те няма да бъдат заредени в системата DW. DW може правилно данните чрез зареждане на нула на мястото на нулеви стойности и т.н.
# 4) Мащабируемост и производителност: Хранилището за данни трябва да осигурява мащабируемост на системата с нарастващи натоварвания. С това не трябва да има влошаване на производителността по време на изпълнение на заявките, с очаквани резултати в конкретни времеви рамки. По този начин тестването на производителността разкрива всякакви проблеми и го отстранява преди производството.
По-долу са дадени примерни стратегии за тестване на производителност и скалируемост:
- Направете тестване на производителността, като заредите производствени обеми данни и се уверете, че времевите рамки не са пропуснати.
- Проверете ефективността на всяка заявка с групови данни. Тествайте производителността, като използвате прости съединения и множество съединения.
- Заредете двойно (или) тройно към обемите данни, които се очакват, за да се изчисли приблизително капацитетът на системата.
- Тествайте, като стартирате задания за всички изброени отчети едновременно.
# 5) Тестване на интеграцията: Хранилището за данни трябва да извършва Интеграционно тестване с други приложения нагоре и надолу. Ако е възможно, по-добре е да копирате производствените данни в тестовата среда за интеграционно тестване.
Всички системни екипи трябва да бъдат включени в тази фаза, за да преодолеят пропуските, като същевременно разбират и тестват всички системи заедно.
# 6) Тестване на единица: Това се извършва от отделните разработчици според техните резултати. Разработчиците ще подготвят сценарии за модулни тестове въз основа на разбирането им за изискванията, ще стартират модулните тестове и ще документират резултатите. Това помага на разработчиците да отстранят всички грешки, ако бъдат открити, преди да доставят кода на екипа за тестване.
# 7) Тестване на регресия: Потвърждава, че системата DW не работи неправилно след отстраняване на дефекти. Това се извършва многократно при всяка нова промяна на кода.
# 8) Тестване за приемане от потребителя: Това тестване се извършва от бизнес потребители за проверка на функционалността на системата. UAT средата се различава от QA средата. Изписването от UAT предполага, че сме готови да преместим кода в производствения.
как да напиша тестов случай в Excel лист
От гледна точка на Data Warehouse и Business Intelligence, бизнес потребителите могат да валидират различни отчети чрез потребителски интерфейс (UI). Те могат да валидират спецификациите на отчета спрямо изискванията, могат да валидират верността на данните в отчетите, могат да валидират колко бързо системата връща резултатите и т.н.
Диаграма на тестване на DW:
Отговорности за тестване на хранилището на данни
По-долу са изброени различните екипи, участващи в предоставянето на успешна DW система:
- Бизнес анализатори: Съберете всички бизнес изисквания за системата и документирайте тези за предпочитанията на всички.
- Екип по инфраструктура: Настройте различни среди, както се изисква както за разработчици, така и за тестери.
- Разработчици: Разработете ETL код според изискванията и изпълнете единични тестове.
- QA (осигуряване на качеството) / тестери: Разработване на план за тестване, тестови случаи и др. Идентифицира дефекти в системата чрез изпълнение на тестовите случаи. Извършвайте различни нива на тестване.
- DBA: DBA поемат отговорността за конвертиране на логически сценарии на базата данни ETL във физически сценарии на база данни ETL и също така участват в тестване на производителността.
- Бизнес потребители: Включете се в тестване за приемане от потребителя, изпълнете заявки и отчети в DW таблици.
Грешки в хранилището на данни
Когато извличате, трансформирате и зареждате (ETL) данни от множество източници, има шансове да получите лоши данни, които могат да прекъснат дългосрочните задачи.
Следват основните причини за повреда в системата DW:
# 1) Нарушения на бизнес правила (логически грешки): Логически грешни данни нарушават бизнес правилата. Такива данни могат да се обработват най-вече по време на фазите на трансформация или зареждане.
# 2) Нарушения на правилата за данни (грешки в данните): Грешки в данните възникват в системата на базата данни DW като несъответствия на типа данни, грешки в ограничението на данни и т.н.
Разгръщане на ETL
Това е фазата, в която всичките ви усилия отиват на живо. Всички документи за производствена помощ трябва да бъдат подготвени.
Документацията ще разкаже на другите за последователността на заданията, които трябва да се изпълняват, сценариите за възстановяване при отказ, учебни материали за екипите за поддръжка на DW за наблюдение на системата след внедряване и на екипа за административна поддръжка за изпълнение на отчетите.
Заключение
Научихме подробно за целите на тестването на хранилището на данни, отговорностите за тестване на ETL, грешките в DW и внедряването на ETL в този урок.
Надяваме се да имате представа за това как може да се направи подробно тестване в система за съхранение на данни (ETL).
=> Посетете тук, за да научите съхранението на данни от нулата.
Препоръчително четене
- Урок за тестване на хранилище на данни за ETL (Пълно ръководство)
- Урок за тестване на обем: Примери и инструменти за тестване на обем
- Въпроси и отговори за интервю за ETL тестване
- Най-добри инструменти за тестване на софтуер 2021 г. (Инструменти за автоматизация на QA теста)
- Функционално тестване срещу нефункционално тестване
- Учебник за тестване по двойки или за всички двойки с инструменти и примери
- Топ 10 инструменти за тестване на ETL през 2021 г.
- Как да извършите тестване на данни в SoapUI Pro - Урок SoapUI # 14