etl vs db testing closer look etl testing need
Софтуерното тестване има различни области, които трябва да бъдат концентрирани. Основните разновидности са функционални и нефункционални тестове. Функционалното тестване е процедурният начин да се гарантира, че разработената функционалност работи както се очаква. Нефункционалното тестване е подходът, чрез който могат да се осигурят нефункционални аспекти като подобрено или изпълнение на приемливо ниво.
Има още един вкус на тестване, наречен DB тестване . Данните са организирани в базата данни под формата на таблици. За бизнеса може да има потоци къде данните от множество таблици могат да бъдат обединени или обработени в една таблица и обратно.
ETL тестване е друг вид тестване, който се предпочита в бизнес случая, когато клиентите търсят вид необходимост от отчитане. Отчитането се търси, за да се анализират търсенията, нуждите и предлагането, така че клиентите, бизнесът и крайните потребители да бъдат много добре обслужвани и облагодетелствани.
Какво ще научите в този урок?
В този урок ще научите какво е тестване на база данни, какво е ETL тестване, разлика между DB тестване и ETL тестване и повече подробности за ETL тестване нужда, процес и планиране с реални примери.
Ние също така разгледахме ETL тестване по-подробно на страницата по-долу. Също така, погледнете го.
=> Съвети и техники за тестване на ETL / тестване на хранилище на данни
Какво ще научите:
- DB тестване срещу ETL тестване
- Сравнително изследване на ETL и DB тестване
- Защо бизнесът трябва да избере ETL?
- Планиране на ETL тестове
- Критични ETL нужди
- Основни въпроси при ETL тестване
- Точки за запомняне при планиране и изпълнение на ETL тестове
- Инструментите за ETL и тяхното значително използване
- Заключение
- Препоръчително четене
DB тестване срещу ETL тестване
Повечето от нас са малко объркани, като имат предвид, че както тестването на база данни, така и ETL тестването са сходни и еднакви. Факт е, че те си приличат, но не са еднакви.
DB тестване:
DB Testing обикновено се използва широко в бизнес потоците, където в приложението има множество потоци от данни от множество източници на данни в една таблица. Източникът на данни може да бъде таблица, плосък файл, приложение или нещо друго, което може да даде някои изходни данни.
На свой ред получените изходни данни все още могат да се използват като вход за последователния бизнес поток. Следователно, когато извършваме тестване на DB, най-важното нещо, което трябва да бъде уловено, е начинът, по който данните могат да се трансформират от източника, заедно с това как се запазват в местоназначението.
Синхронизацията е едно основно и съществено нещо, което трябва да се има предвид при извършване на DB тестване. Поради позиционирането на приложението в архитектурния поток може да има малко проблеми със синхронизирането на данни или DB. Следователно, докато извършвате тестването, трябва да се погрижите за това, тъй като това може да преодолее потенциала невалидни дефекти или бъгове.
Пример # 1:
Проект „А“ има интегрирана архитектура, при която конкретното приложение използва данни от няколко други разнородни източника на данни. Следователно целостта на тези данни с местоназначението трябва да се извърши заедно с валидациите за следното:
- Проверка на първичен външен ключ
- Целостта на стойностите на колоната
- Нулеви стойности за всякакви колони
Какво е ETL тестване?
ETL Testing е специален вид тестване, който клиентът иска да го направи за своето прогнозиране и анализ на своя бизнес. Това се използва най-вече за целите на отчитането. Например, ако клиентите трябва да са докладвали за клиентите, които използват или отиват за техния продукт въз основа на деня, в който са закупили, те трябва да се възползват от отчетите ETL.
Публикувай анализ и отчитане , тези данни са съхранявани данни в хранилище за данни, където старите исторически бизнес данни трябва да бъдат преместени.
пример за бинарно дърво за търсене c ++
Това е тестване на множество нива, тъй като данните от източника се трансформират в множество среди, преди да достигнат крайното предназначено място.
Пример # 2:
Ще разгледаме група „А“, която прави бизнес с клиенти на дребно чрез пазар за пазаруване, където клиентът може да закупи всякакви предмети от бита, необходими за ежедневното им оцеляване. Тук всички клиенти, които посещават, са снабдени с уникален идентификационен номер за членство, с който могат да печелят точки всеки път, когато дойдат да закупят неща от пазара за пазаруване.
Правилата, предвидени от групата, казват, че спечелените точки изтичат всяка година. И в зависимост от тяхното използване, членството може да бъде надстроено до член с по-висок клас или понижено до член с по-нисък клас сравнително с текущия клас.
След 5 години създаване на пазарен пазар, сега мениджмънтът търси увеличаване на бизнеса си заедно с приходите.
Следователно те се нуждаеха от малко бизнес отчети, за да могат да популяризират своите клиенти.
При тестване на база данни извършваме следното:
# 1) Проверки на целевите таблици, които са създадени с колони с логически изчисления, както е описано в логическия лист за картографиране и документа за маршрутизиране на данни.
# две) Манипулации като вмъкване, актуализиране и изтриване на клиентски данни могат да се извършват на всяко POS приложение на краен потребител в интегрирана система заедно с базата данни на заден край, така че същите промени да бъдат отразени в крайната система.
# 3) DB тестването трябва да гарантира, че няма данни за клиенти, които са били погрешно интерпретирани или дори съкратени. Това може да доведе до сериозни проблеми като неправилно картографиране на данните на клиентите с тяхната лоялност
При ETL тестване проверяваме за следното:
# 1) Ако приемем, че в източника има 100 клиенти, ще проверите дали всички тези клиенти заедно с техните данни от 100 реда са преместени от системата източник в целта. Това е известно като проверка на Проверка на пълнотата на данните.
# две) Проверка дали данните на клиента са били правилно манипулирани и демонстрирани в 100 реда. Това просто се нарича проверка на Проверка на точността на данните .
# 3) Отчети за клиентите, които са спечелили точки над x стойности в рамките на определен период.
Сравнително изследване на ETL и DB тестване
Тестването на ETL и DB има няколко аспекта, които се различават в себе си, което е по-важно да се разбере, преди да се извършат. Това ни помага да разберем стойностите и значението на тестването и начина, по който то помага на бизнеса.
Следва таблична форма, която описва основното поведение на двата тестови формата.
| DB тестване | ETL тестване | |
|---|---|---|
| Природа на данните | Тук се използват нормализирани данни | Тук се използват денормализирани данни |
| Основна цел | Интегриране на данни | BI отчитане |
| Приложимо място | Във функционалната система, където се случва бизнес потокът | Външно за средата на бизнес потока. входните данни са историческите бизнес данни |
| Инструмент за автоматизация | QTP, селен | Informatica, QuerySurge, COGNOS |
| Бизнес влияние | Тежки въздействия могат да доведат, тъй като това е интегрираната архитектура на бизнес потоците | Потенциални въздействия, както когато клиентите искат да направят прогнозата и анализа |
| Използвано моделиране | Взаимоотношения между субектите | Размери |
| Система | Обработка на онлайн транзакции | Онлайн аналитична обработка |
Защо бизнесът трябва да избере ETL?
На разположение са много бизнес нужди, за да обмислят ETL тестване. Всеки бизнес трябва да има своята уникална мисия и бизнес линия. Всеки бизнес има своя жизнен цикъл на продукта, който приема общата форма:
Ясно е, че всеки нов продукт излиза на пазара с огромен ръст на продажбите и до етап, наречен зрялост и след това намалява в продажбите. Тази постепенна промяна свидетелства за категоричен спад в растежа на бизнеса. Следователно е по-важно да се анализират нуждите на клиентите за растежа на бизнеса и други фактори, необходими, за да се направи организацията по-печеливша.
Така че в действителност клиентите искат да анализират историческите данни и да изготвят стратегически някои отчети.
Планиране на ETL тестове
Една от основните стъпки в тестването на ETL е планирането на теста, който ще бъде изпълнен. Ще бъде подобно на План за тестване на системното тестване което обикновено се извършва с изключение на няколко атрибута като изисквания и тестови случаи.
Тук изискванията не са нищо друго освен a лист за картографиране които ще имат вид картографиране между данни в различни бази данни. Тъй като сме наясно, че ETL тестването се извършва на множество нива, има различни съпоставяния, необходими за валидиране на това.
По-голямата част от времето данните се улавят от изходните бази данни не са директно. Всички изходни данни ще имат изглед на таблиците, откъдето могат да се използват данните.
Пример: Следва пример за това как могат да бъдат предоставени съпоставянията. Двете колони VIEW_NAME и TABLE_NAME могат да се използват за представяне на изгледите за четене на данни от източника и таблицата съответно в средата ETL.
Препоръчително е да се поддържа конвенцията за именуване, която може да ни помогне, докато планираме автоматизация. Родовата нотация, която може да се използва, е просто добавяне на префикс пред името на средата.
Най-важното нещо в ETL е идентифицирането на основните данни и таблиците от източника. Следващата съществена стъпка е картографирането на таблици от източника към средата ETL.
Следва пример за това как картографирането между таблиците от различните среди може да бъде свързано с целта ETL.
изпълнение на двойно свързан списък в java
Горното картографиране приема данните от таблицата източник към таблицата за подреждане. И оттам нататък към таблиците в EDW и след това към OLAP което е крайната среда за отчитане. Следователно по всяко време синхронизирането на данни е много важно за ETL.
Критични ETL нужди
Както разбираме, ETL е необходимостта от прогнозиране, отчитане и анализ на бизнеса с цел по-последователно улавяне на нуждите на клиентите. Това ще позволи на бизнеса да има по-високи изисквания, отколкото в миналото.
Ето няколко от критичните нужди, без които не може да се постигне тестване на ETL:
- Идентификация на данни и таблици : Това е важно, тъй като може да има много други неподходящи и ненужни данни, които могат да бъдат от най-малко значение при прогнозиране и анализ на нуждите на клиентите. Следователно съответните данни и таблиците трябва да бъдат избрани преди стартиране на ETL работи.
- Картографски лист : Това е една от критичните нужди при извършване на ETL работи. Картографирането на правилната таблица от източника до местоназначението е задължително и всички проблеми или неверни данни в този лист могат да повлияят на цялата доставка на ETL.
- Дизайн на таблици и данни, тип колона : Това е следващата важна стъпка, когато се обмисля картографирането на изходни таблици в предназначените таблици. Типът колона трябва да съвпада с таблиците на двете места и т.н.
- Достъп до база данни : Основното е достъпът до базата данни, в която продължава ETL. Всяко ограничение на достъпа ще има еквивалентно въздействие.
Отчитане и тестване на ETL
Отчитането в ETL е по-важно, тъй като обяснява и насочва клиентите, от които клиентите се нуждаят. По този начин те могат да прогнозират и анализират точните нужди на клиентите
Пример # 3:
Фирма, която произвежда копринени платове, иска да анализира годишните си продажби. При прегледа на годишните си продажби те откриха, че през август и септември е имало огромен спад в продажбите с помощта на генерирания от тях отчет.
Следователно те решиха да пуснат промоционалната оферта като борсата, отстъпките и т.н., която подобри продажбите им.
Основни въпроси при ETL тестване
По време на извършването на ETL тестване може да има редица проблеми, както следва:
- Или достъпът до изходните таблици, или изгледите няма да бъдат валидни.
- Името на колоната и типът данни от източника до следващия слой може да не съвпадат.
- Редица записи от таблицата-източник до изпратената таблица може да не съвпадат.
И може да има много повече.
Следва пример за лист за картографиране, където има колони като VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE и ТРАНСФОРМАЦИОННА ЛОГИКА.
Първите 3 колони представляват подробности за базата данни източник, а следващите 3 са подробности за непосредствено предходната база данни. Последната колона е много важна. Логиката на трансформацията е начинът, по който данните от източника се четат и съхраняват в определената база данни. Това зависи от нуждите на бизнеса и ETL.
Точки за запомняне при планиране и изпълнение на ETL тестове
Най-важното при тестването на ETL е зареждането на данни въз основа на критериите за извличане от изходната БД. Когато този критерий е невалиден или остарял, в таблицата няма да има данни за извършване на ETL тестване, което наистина води до повече проблеми.
Следват няколко точки, за които трябва да се внимава при планиране и изпълнение на ETL тестове:
# 1) Данните се извличат от разнородните източници на данни
# две) ETL обработка на процеси в интегрираната среда, които имат различни:
- СУБД
- ТИ
- Хардуер
- Комуникационни протоколи
# 3) Необходимост от наличието на логически лист за картографиране на данни, преди физическите данни да могат да бъдат трансформирани
# 4) Разбиране и проучване на източниците на данни
# 5) Първоначално и допълнително натоварване
# 6) Одитни колони
# 7) Зареждане на факти и измерения
Инструментите за ETL и тяхното значително използване
Инструментите ETL основно се използват за изграждане и конвертиране на логика на трансформацията като вземете данни от източника в друг, прилагайки логиката на трансформацията. Можете също да картографирате схемите от източника до местоназначението, което се случва по уникални начини, да трансформирате и изчистите данните, преди те да могат да бъдат преместени в местоназначението, заедно с ефективно зареждане в местоназначението.
Това може значително да намали ръчните усилия, тъй като може да се направи картографиране, което се използва за почти всички проверки и проверка на ETL.
- Информатика - PowerCenter - е един от популярните инструменти за ETL, въведен от корпорацията Informatica. Това има много добра клиентска база, покриваща широки площи. Основните компоненти на инструмента са неговите инструменти за клиенти и инструментите на хранилището и сървърите. За да научите повече за инструмента, моля кликнете тук
- IBM - Информационен сървър на Infosphere - IBM, който е лидер на пазара по отношение на компютърните технологии, разработи информационния сървър Infosphere, който се използва за интеграция и управление на информация през 2008 г. За да научите повече за инструмента, моля щракнете тук
- Oracle - Интегратор на данни - Oracle Corporation разработи своя ETL инструмент в името на Oracle - Data Integrator. Нарастващата им поддръжка на клиенти ги накара да актуализират своите ETL инструменти в различни версии. За да научите повече за инструмента, моля кликнете тук
Още примери за използването на ETL тестване:
Имайки предвид някои авиокомпании, които искат да пуснат промоции и оферти за стратегическо привличане на клиентите. Първо ще се опитат да разберат изискванията и нуждите на спецификациите на клиента. За да постигнат това, те ще изискват исторически данни, за предпочитане данните от предишните 2 години. Използвайки данните, те ще анализират и подготвят някои отчети, които ще бъдат полезни за разбирането на нуждите на клиентите.
Отчетите могат да бъдат от следния вид:
- Клиенти от регион А, който пътува до регион Б на определени дати
- Клиентите с конкретен възрастов критерий пътуват до град XX
И може да има много други доклади.
къде да гледате аниме безплатно
Анализът на тези отчети ще помогне на клиентите да идентифицират вида на промоциите и офертите, които ще бъдат от полза за клиентите и в същото време могат да се възползват от бизнеса, където това може да се превърне в печеливша ситуация. Това може лесно да бъде постигнато чрез ETL тестване и отчети.
Успоредно с това ИТ сегментът е изправен пред сериозен проблем с DB, който е забелязан, който е спрял множество услуги, от своя страна има потенциал да причини въздействия в бизнеса. При разследването беше установено, че някои невалидни данни са повредили няколко бази данни, които трябва да бъдат коригирани ръчно.
В първия случай ще са необходими ETL доклади и тестове.
Докато последният случай е, когато тестването на DB трябва да се извърши правилно, за да се преодолеят проблеми с невалидни данни.
Заключение
Надявам се горният урок да предостави прост и ясен преглед на това какво е ETL тестване и защо трябва да се прави заедно с бизнес въздействието или ползите, които те дават. Това не спира до тук, но може да се разшири, за да определи далновидност в растежа на бизнеса.
За автора: Този урок е написан от Nagarajan. Той е ръководител на теста с над 6 години опит в софтуерното тестване в различни функционални области като банковото дело, авиокомпаниите и телекомуникациите както по отношение на ръчното, така и по отношение на автоматизацията.
Моля, уведомете ни за вашите мисли / въпроси в коментарите по-долу.
Препоръчително четене
- Въпроси и отговори за интервю за ETL тестване
- Урок за тестване на хранилище на данни за ETL (Пълно ръководство)
- Топ 10 инструменти за тестване на ETL през 2021 г.
- Как да извършите ETL тестване с помощта на инструмента Informatica PowerCenter
- 31 Топ бази данни Тестване на интервюта Въпроси и отговори
- 40+ Най-добри инструменти за тестване на бази данни - Популярни решения за тестване на данни
- Пълно ръководство за тестване на база данни (Защо, какво и как да тестваме данни)
- Тестване на база данни за селен (Използване на WebDriver и JDBC API)