Проверить всё нельзя
Первое, что стоит принять: проверить всё нельзя. Не «долго», не «дорого» — нельзя в принципе, и это не про лень, а про арифметику.
| Что в форме | Сколько вариантов | Сочетаний с предыдущим |
|---|---|---|
| страна | 20 | 20 |
| тариф | 6 | 120 |
| срок | 4 | 480 |
| способ оплаты | 5 | 2 400 |
Четыре поля — уже две с половиной тысячи сочетаний. Если на каждое уходит полминуты, это двадцать часов подряд, и это только один экран одного раздела. А поле «имя» вообще не имеет конечного числа значений: туда можно ввести что угодно.
С другой стороны, это и есть хорошая новость: раз перебор невозможен, значит работа состоит не в том, чтобы кликать быстрее всех. Она состоит в том, чтобы из тысяч сочетаний выбрать десяток, в которых ошибки живут чаще всего, и уметь объяснить выбор. Техники такого выбора разбираются в третьем и четвёртом уроках, и они не секретные: им учат за два вечера, а применяют годами.
Отсюда главный вывод профессии: тестирование не доказывает, что ошибок нет. Оно показывает, что ошибки есть, — или что их не нашли теми проверками, которые сделали. Вторая формулировка звучит слабее первой, и именно она честная.
Что считается дефектом
Второе: дефект — это расхождение между тем, что есть, и тем, что должно быть. Первая половина видна на экране, вторая всегда откуда-то взята — и назвать источник обязан тот, кто заводит дефект.
| Источник | Пример | Насколько бесспорно |
|---|---|---|
| требование | «пароль не короче 8 знаков», а принимает 4 | бесспорно |
| общие правила | Esc не закрывает окно | обсуждается |
| здравый смысл | при ошибке платежа деньги списались | нужен довод |
Разница между строками практическая. Дефект по требованию чинят, не обсуждая: договорённость нарушена. Дефект по общим правилам обсуждают — и тут нужно уметь сказать, где так принято и почему это ожидание есть у пользователя. А дефект по здравому смыслу без объяснения выглядит придиркой, хотя обычно он самый дорогой.
И обратная сторона: расхождения, которых нет ни по одному источнику, дефектами не считаются. Иначе список наполняется вкусовщиной, и в нём тонет то, что правда сломано.
Что вы отдаёте команде
Третье — что тестировщик отдаёт команде. Не приговор «выпускать нельзя», а информацию, по которой решение принимает тот, кто за него отвечает.
| Вопрос команды | Что отвечает тестировщик |
|---|---|
| можно выпускать? | вот что работает, вот что сломано, вот чего не проверяли |
| насколько это страшно? | кого задевает и как часто случается |
| сколько ещё нужно? | что осталось непроверенным и сколько это займёт |
Разница принципиальная. Решение о выпуске — не техническое, а деловое: иногда выкатывают с известным дефектом, потому что срок дороже, и это нормально ровно до тех пор, пока дефект известен. Скрытый дефект лишает людей выбора; названный — оставляет.
Отсюда и мерка качества самой работы тестировщика. Она не в числе найденных дефектов: найденное считать легко, а ценно то, что решение приняли осознанно. Двадцать записей про отступы и ни слова про то, что оплата из-за границы не проверялась, — плохая работа, сколько бы строк в ней ни было.
И последнее из первого урока: работа не заканчивается находкой. Найденное надо описать так, чтобы другой человек воспроизвёл это с первого раза, — и этому посвящён отдельный урок, потому что здесь теряется больше, чем на поиске.