how perform post release testing effectively
Когато започнах кариерата си като QA, работех с компания, която предлагаше своите продукти като SaaS. Производствените версии бяха критични и имаше възможност да се повлияе на функционалността на клиентите на живо.
Тъй като клиентската ни база нарастваше, за да управлява риска и да сведе до минимум въздействието на освобождаването за живи клиенти, екипът на QA прие практиката за тестване след освобождаване.
Всичко това беше ново за мен и имах толкова много въпроси и съмнения в съзнанието си:
- Какво е тестване след издаване?
- Тествах всичко правилно, защо трябва да правим тестване след пускане?
- Да тествам ли всичко отначало? Какво точно правя при проверка след пускане?
- Какво ще стане, ако намеря проблем? И т.н.
Щастлив съм да призная, че намерих всичките си отговори в първите си няколко продуцентски издания.
Тук споделям това знание с всички вас. Избрах да напиша статията във формат за въпроси и отговори, за да ви покажа начина, по който открих отговорите.
Какво ще научите:
- Какво е проверка на издаване след публикуване?
- Какви задачи и дейности са включени във фазата на проверка след освобождаване?
- Трябва ли да тествам всичко отначало?
- Как да формулирам стратегия за потвърждаване на пускането в производство?
- Кой създава план за тестване на постпродукционната версия?
- Кой одобрява плана за тестване на постпродукционната версия?
- Кога да създам план за проверка на пускането в постпродукция?
- Попълних потвърждението за освобождаване след производство. Какво следва?
- Какво ще стане, ако намеря проблем?
- Какво още трябва да знам за процеса на потвърждаване на пускането в производство?
- Заключение:
- Препоръчително четене
Какво е проверка на издаване след публикуване?
По дефиниция, Публикувай означава След , Производство се отнася до разполагане да ЖИВЕЕ / производствени среди и Проверка включва уверете се, че освободените функции отговарят на изискванията .
Препоръчително четиво=> Как да подготвим ефективно „Тестова среда“, преди да започнем да тестваме
Целта е да се провери пускането в производствени / LIVE среди.
кой е най-добрият DVD рипър
Но тогава възникват въпросите:
- Защо трябва да правим тестване след издаване, когато тествах всичко в QA среда?
- Защо очакваме да възникнат проблеми при производството, въпреки че тествахме подробно версията в тестовата среда?
Има много причини, поради които бихме имали проблеми с производството, въпреки че може да сме го проследили напълно Процес на осигуряване на качеството (i.e. планиране на теста , преглед на план за изпитване, цикъл на изпитване, регресионни тестове и т.н.)
Причини, поради които ще имаме проблеми с производството:
1) Издаване на данни - Наличните данни за производствената и тестовата среда могат да варират. Това може да доведе до пропускане на някои ъглови проблеми в тестовите среди.
2) Проблем с внедряването - Ако вашата компания има процес на ръчно внедряване, вашето издание може да е по-податливо на проблеми с внедряването. Някои често срещани сценарии могат да бъдат, липсваща конфигурация или настройки на сайта, липсващи DB скриптове, неспазен ред на разполагане (първо код, след това DB и т.н.), неправилно инсталирани зависимости и т.н.
Прочетете също=> Какво трябва да знае QA тестерът за процеса на внедряване
3) Области на въздействие не са идентифицирани - Възможно е да има някои сценарии, при които засегнатите зони да не са били идентифицирани правилно и напълно от екипа.
Например, помислете за a SaaS заобикаляща среда.
Ако екипът не е идентифицирал въздействието на преработена DB таблица върху клиент, използвайки по-стара схема на таблицата (напр. Загуба на данни, нужда от миграция на данни преди пускане и т.н.) и т.н. Този проблем е по-малко вероятно да се случи при добре планирани проекти с точни изисквания. Но възможността все още съществува.
4) Неизвестни области на въздействие - Това може да се случи, ако обхватът и засегнатите области на освобождаването не са известни. Например, в компания с няколко софтуерни продукта, споделящи общи DB и архитектура, дори малка промяна може да наруши функционалността на много продукти.
Какви задачи и дейности са включени във фазата на проверка след освобождаване?
Задачите и дейностите за освобождаване след производство обикновено включват:
- Проверка на пускане след производство
- Отчетете резултатите от проверката
- Докладване на всички проблеми, открити в производството
- Изчистване на данните за проверка след публикуване
- Мониторинг след пускане (ако е приложимо)
Трябва ли да тествам всичко отначало?
Не е задължително. Това зависи от компилацията, която ще бъде пусната, и анализа на въздействието.
Подробни тестове трябва да се правят по време на редовния QA цикъл. Проверката след пускане следва да се извърши, като се следва планът за тестване на верификацията след пускане в експлоатация, който трябва да бъде производно на пълния план за тестване за това издание.
Как да формулирам стратегия за потвърждаване на пускането в производство?
Планирането на верификацията след пускане в експлоатация трябва да се извършва по подобен начин като вашето редовно планиране на тестове.
Стратегията трябва да е на същите линии като тестовия поток, следван по време на QA цикъла. Важно е да включите най-важните и критични стъпки, които позволяват максимално функционално покритие.
какво е .7z файл
Добрата стратегия за пускане на постпродукция трябва:
- Включете стъпки за тестване на нови функции, както и на основните съществуващи функции
- Проверете основните области на въздействие
- Позволява максимално функционално покритие
- По избор: Включете всички критични грешки, открити в тестовата среда
- По избор: Включете приоритет на тестовите случаи
Кой създава план за тестване на постпродукционната версия?
Това ще варира в различните компании и ще зависи от организационната структура.
Да вземем пример за следната организация на QA екипа.
В този сценарий QA, работещ по конкретния проект, ще формулира първоначалния план за тестване след пускане на продукцията.
Кой одобрява плана за тестване на постпродукционната версия?
Това ще варира в различните компании и ще зависи от организационната структура.
Отново като се има предвид същата организационна структура, както е показано в предишния въпрос, планът за тестване след пускане на продукта трябва да бъде преразгледан и одобрен от ръководителят на теста или QA Manager .
Кога да създам план за проверка на пускането в постпродукция?
Планът за тестване на следпроизводствената версия може да бъде създаден по всяко време по време на цикъла на разработване на софтуер, след като изискванията, обхватът на разработка и областите на въздействие бъдат идентифицирани и заключени. Обикновено QA е по-лесно да създаде план за тестване на постпродукционната версия по средата на спринта. Това гарантира, че има достатъчно време за преглед и одобрение.
Добра практика е да включите този план за изпитване заедно с всеки официални документи за подписване на QA преди проектът да влезе във фазата на внедряване и пускане.
Попълних потвърждението за освобождаване след производство. Какво следва?
След приключване на проверката след пускането следващите стъпки ще бъдат
1) Съобщаване на резултатите от проверката - Резултатите от проверката трябва да бъдат съобщени на заинтересованите страни, включително всички проблеми, които може да са били открити в производството.
2) Отчитане на всички проблеми, открити при производството в инструмента за управление на дефекти - Да се улесняват анализа на първопричината и проследимост .
3) Почистване на данните за проверка след публикуване - Почистването на данните трябва да се извърши след приключване на проверката.
Например, помислете за a издание за приложение за електронна търговия и кажете, че сте създали тестова поръчка за производство. Тази поръчка за тестване трябва да бъде отменена, след като проверката приключи.
4) Мониторинг на пускане след производство (ако е приложимо) - Някои издания изискват мониторинг на производството.
Например, ако екипът направи подобрения, за да подобри времето за зареждане на страницата в приложението, това ще трябва да бъде наблюдавано през известен период от време, за да се гарантира, че подобрението наистина се вижда след пускането. Отговорното (ите) лице (лица) за наблюдение трябва да бъде ясно идентифицирано и съобщено на него.
Какво ще стане, ако намеря проблем?
Всички проблеми трябва да бъдат докладвани в Инструмент за управление на дефекти и се съобщава на заинтересованите страни. Ако се открият някакви критични проблеми при производството, съобщението на резултатите трябва да се осъществи незабавно, тъй като трябва да се вземе решение, ако компилацията трябва да се върне, за да се проучи допълнително проблемът.
Важно е всички открити проблеми да бъдат докладвани в инструмента за проследяване на дефекти. Препоръчително е те да бъдат повдигнати като отделен тип издание (напр. Грешка в постпродукцията), за да се покаже отделяне от обикновените грешки на QA цикъла. Тези проблеми могат да бъдат филтрирани лесно, ако са необходими за целите на анализа на първопричината.
Какво още трябва да знам за процеса на потвърждаване на пускането в производство?
Освен действителния процес на проверка, план и стратегия за проверка на пускането по-долу, има няколко насоки:
как да отворите двоични файлове в Windows
- Важно е да се определят ясни очаквания относно обхвата и целта на проверката след пускането. Заинтересованите страни (вътрешни и външни) трябва да бъдат информирани за следното
- Екипът не може да тества всичко в производството
- Екипът не може да прецени дните на тестване на няколко часа, отделени за проверка след пускане
Следователно тестването на производството по същество ще се основава на одобрен план за тестване след пускане в експлоатация.
Ограничения:
Трябва да се внимава докато се решава степента на тестване на постпродукционната версия. Има ограничения за това какво и колко всъщност можем да тестваме на производството. Производствената среда има актуални клиентски данни и трябва да се работи много внимателно. Трябва да се направи допълнително планиране за промени, които включват миграция на данни, актуализиране, изтриване и т.н.
Пример # 1): За дадена компания за eSurvey, ако тестването включва отговори и подаване на анкетата, QA ще трябва да изпрати заявка за изтриване на тестовата анкета след проверка, за да не повлияе на данните от събирането на анкетите на клиентите и техните статистически данни.
Е пример # 2): За компания за електронна търговия, нека приемем, че актуализацията на цените SQL заданието се изпълнява в полунощ всеки ден и качва окончателната цена на уебсайта. Не можем да стартираме този SQL при поискване, няколко пъти с цел проверка след пускане, тъй като това може да доведе до изпращане на нефинализирани данни към производството.
Освен това може да увеличи шансовете за Блоки в DB и голямо потребление на ресурсите на процесора и паметта в пиковите работни часове, което може да повлияе на производителността на клиентското приложение.
- Усилията, необходими за тестването след пускане и всички свързани дейности, трябва да бъдат вградени и включени в плана на проекта. В зависимост от бизнес правилата и спецификата на проекта, това може да се разглежда като режийни разходи за проект или да се включи в цикъла за осигуряване на качеството или да се включи като част от плана за управление на освобождаването.
- За проблемите, за които се съобщава по време на проверката след освобождаването, трябва да се извърши анализ на първопричината, за да се установи причината, поради която проблемът не е бил засечен рано и какво може да се направи по-добре следващия път, за да се избегне изправянето пред проблема. Анализът на основната причина може да помогне на екипа да се поучи от тези минали проблеми и да запълни всички пропуски в изпълнението. Въз основа на организационната структура, Test Lead или QA Manager може да завърши анализа на основната причина с принос от екипа на проекта. Някои често срещани първопричини могат да бъдат проблем с кодирането, проблем с изискванията, проблем с дизайна, проблем с данни, ограничения на трети страни, липсващ тестов сценарий и т.н. Могат да бъдат създадени и проследявани съответни коригиращи и превантивни действия.
- Сървърни дневници може да се използва и за наблюдение на компилацията след пускане. Дневник на сървъра може да съдържа събития или проблеми, които може да не се виждат от клиента, но ще предизвикат проблеми в бекенда. Това наблюдение може да бъде възложено като елемент за действие на Dev lead и DevOps екип.
Пример:
Резюме на Проекта:
Следват промени в приложението за социални медии, по-специално в процеса на регистрация
- Проверката на полето на фамилното име трябва да бъде премахната. Преди това беше внедрено като „Фамилното име трябва да има минимум 4 знака“ (Подобрение за съществуващото поле)
- Внедрете превключващ бутон до имейл адреса, така че потребителят да може да зададе настройките за поверителност за имейл адрес да се показва в техния профил (нова заявка за функция)
- Потребителят трябва да може да избере своя аватар (заявка за нова функция)
- Намаляване на API повикванията по време на процеса на регистрация, за да се подобри производителността на приложението (подобрение)
План за потвърждаване на пускане след производство
S.No. | Описание | очакван резултат | Състояние | Коментари |
---|---|---|---|---|
1 | Отидете на Livesiteurl | Началната страница на уебсайта трябва да се зареди успешно | Подайте | |
две | Кликнете върху Регистрация като нов потребител | Потребителят трябва да бъде пренасочен към страницата за регистрация / регистрация | Подайте | |
3 | Попълнете задължителните полета и кликнете върху бутона Регистрация Забележка: -Въведете фамилното име като ‘Lee’ -Превключете бутона за поверителност, за да не се показва -Тънък аватар | -Потребителят трябва да бъде пренасочен към страницата на профила си след успешна регистрация. -Не трябва да се показва телефонният номер на потребителя -Потребителят трябва да показва Аватар | Частичен пропуск | Avatar не се изобразява правилно и се показва като счупено изображение. Съобщено в JIRA като BUG-1088 |
4 | Мониторинг - Проверете дали производителността на приложението се е подобрила след тази версия | Намаляването на API повикванията по време на процеса на регистрация трябва да подобри производителността на приложението | Постоянно | Действието е върху екипа на Dev Lead и Dev Ops, който да наблюдава приложението в продължение на 24 часа |
5 | Почистване след публикуване | Изтрийте създадения тестов акаунт | Свършен |
Заключение:
С повечето софтуерни компании сега възприемане на Agile методологията , броят на производствените издания се е увеличил.
Например, докато използвате Модел на водопад , екип може да има производствена версия на всеки 1,5 месеца, но с процеса Agile, същият екип вече може да има производствена версия на всеки 2-3 седмици.
С всяко издание на продукцията имаме възможност съзнателно или несъзнателно да повлияем на функционалността на клиентите на живо. Приемането на проверка на пускане на продукция веднага след пускането може да осигури допълнителна увереност в изданието, като същевременно осигури защитната мрежа за отмяна на изданието, преди нашите клиенти на живо да се натъкнат на някои проблеми.
За проекти с високо въздействие / риск , следпроизводственият план за проверка на изданието може да бъде структуриран въз основа на приоритета на тестовия сценарий. Тестът за критичен приоритет може да се изпълни първо и да се изпрати съобщение до заинтересованите страни за резултатите и всички проблеми. Ако не бъдат открити критични проблеми, тогава проверката на издаването след пускане може да продължи, в противен случай трябва да се вземе решението за връщане назад, за да се сведе до минимум прекъсването на приложението и въздействието върху действащите клиенти.
Освен това, тестването след издаване може да бъде автоматизирано и тестовите скриптове могат да се изпълняват при поискване след всяко издание като тест за регресия. Отново трябва да се внимава, докато се изпълняват автоматизираните тестови скриптове в производството, тъй като това може да повлияе на данните и функционалността на клиентите на живо.
Проверката след пускането в продажба е последна отбранителна линия за всяка софтуерна компания. Ако не уловим проблемите, нашите клиенти ще го направят и това може да бъде опустошително за репутацията на всяка софтуерна компания.
За да се запази надеждността на продукта, от съществено значение е да проверим промените, внедрени в производството, веднага след внедряването.
За автора: Тази полезна статия е написана от Неха Б. В момента тя работи като мениджър за осигуряване на качеството и е специализирана в ръководенето и управлението на вътрешни и офшорни екипи за осигуряване на качеството.
Споделете вашата стратегия / съвети / опит за тестване след издаване с нашите читатели.
Препоръчително четене
- Най-добри инструменти за тестване на софтуер 2021 г. [Инструменти за автоматизация на QA теста]
- Изтегляне на eBook за тестване на Primer
- 7-стъпково практическо внедряване на ръчно тестване преди пускане в производство
- Тестване на натоварване с уроци за HP LoadRunner
- Практически софтуер за тестване на QA процес (изисквания за освобождаване)
- Разлика между тестване на настолни компютри, клиентски сървър и уеб тестване
- Какво е гама тестване? Финален етап на изпитване
- Какво е ранно тестване: Тествайте рано, тествайте често НО как? (Практическо ръководство)