Несмотря на тысячи материалов о тестировании, путаница в этом противостоянии, на мой взгляд, все еще повсеместна. Тест-кейсы с чек-листами писать на курсах/в книжках учат, о наличии исследовательского тестирования так или иначе упоминают, ну а дальше как-то это, давайте сами
Так и я уяснил когда-то сам: есть сценарное, а есть исследовательское. При этом сценарное — безоговорочный чемпион: тест-кейсы с чек-листами пиши, а уже потом, если останется время (его не останется), можно посмотреть в сторону исследовательского. Или же строго наоборот — тестировать надо было вчера, о тест-кейсах думать некогда, поэтому применяем только околоисследовательские техники
По мере рассмотрения формирования исследовательского тестирования становится понятен не только конфликт, но и его решение (которое, кстати, было бы очевидно, если бы не волна формализации) — вот статья, которая расставляет все по своим местам
Кратко по этапам:
1.0: Восстание. Исследовательское воспринимается как противопоставление сценарному; отношение к исследовательскому тестированию как к отдельному виду, технике или подходу. Сценарное — для проверки того, что дефектов нет, а исследовательское — для поиска дефектов
1.5: Объяснение. Поиск пересечений исследовательского и сценарного, расширение сценарного с помощью эвристик; термин “ad hoc” (“для данного случая”) определяет неквалифицированное исследовательское тестирование. Предлагаются формальные схемы SBTM и TBTM — исследовательское тестирование может быть контролируемым
2.0: Интеграция. Прекращение восприятия исследовательского тестирования как техники; определение его как подхода, который может применяться в дополнение к любой из техник. Понимание того, что одно от другого отличает только уровнь контроля над процессом, при исследовательском — он всецело самостоятельный, при сценарном — нет
3.0: Нормализация. Сценарии — это техника, которая помогает исследовательскому тестированию, а исследовательское — любое настоящее тестирование. При этом “сценарий” — это не только какая-нибудь инструкция, а любой фактор, который лежит за пределами влияния тестировщика (предрассудки, организационная культура и т.п.)
В общем, выполнение одних только сценариев без исследования превращает тестирование в механический набор проверок, больше похожий на нестабильные автотесты из-за вмешательства человеческого фактора. Если мы тестируем по сценариям, мы всё равно исследуем, просто через эти самые сценарии