Руководство по Тестированию Настольных Игр

После 25 лет разработки Neutronium: Parallel Wars и проведения более 12 задокументированных сессий игрового тестирования я могу сказать вам разницу между игровым тестированием и профессиональным игровым тестированием. Просить друзей поиграть в вашу игру — это не тестирование. Это общение с вашей игрой на столе. Профессиональное игровое тестирование — это систематическая проверка баланса: определенные показатели, тестирование с одной переменной, сбор структурированных данных и дисциплина, позволяющая относиться к каждой сессии как к эксперименту, а не как к опыту.

В этом руководстве рассказывается, как это выглядит на практике: как настроить сеанс, что измерять, как определить конкретные категории проблем с балансировкой и — что особенно важно — когда прекратить тестирование и отправить продукт. Эти принципы применимы к любой сложной игре. Примеры взяты из 47 механик QZX и 13 уровней вселенной Neutronium: Parallel Wars, что обеспечивает достаточную сложность для стресс-тестирования каждой описанной здесь методологии.

Почему большинство игровых тестов терпят неудачу

Самая распространенная ошибка при тестировании: вопрос «было весело?» в конце сеанса. Слово «развлечение» слишком широкое, чтобы его можно было использовать. Fun не может сказать вам, какой механик нарушил баланс. Fun не может сказать вам, в какой момент сеанса снизилась вовлеченность. Веселье — это заключение, а не диагноз.

Вместо этого измерьте конкретные показатели: Коэффициент выигрыша на фракцию, Конфликты, возникающие первым , Разница в доходах при в середине игры, продолжительность сеанса на фазу. Эти цифры подскажут вам, где искать. «Весело» не расскажет вам ничего, о чем вы еще не подозревали.

Пример применения

The Nuclear Port Снежок — Вселенная 7

Nuclear Port в Neutronium: Parallel Wars приносят экспоненциальный доход: 1 порт дает 2 Nn за раунд, 10 портов дают 220 Nn за раунд. На первых сессиях игровые тестеры описывали экономику как «чувствующую несбалансированность». Бесполезно. Для исправления потребовалось измерение: какова была фактическая разница Nn между лидером и последним местом в конце Вселенной 6?

Отслеживание

MEQA выявило соотношение доходов лидера и последнего в 7-й сессии 14:1 — лидер накопил 6 портов, а отстающие игроки — 0. Это не «ощущение несбалансированности». Это определенное число, которое превышает порог контроля качества 5:1 и вызывает обязательное изменение конструкции. Без этого измерения решение было бы лишь догадкой. При этом исправление было целенаправленным: сделать порты разрушаемыми во время боя. Формула дохода без изменений. Проблема решена.

Основной недостаток неструктурированного игрового тестирования: без определенных показателей вы не сможете отличить проблему дизайна от адаптации игрока. Опытные игроки адаптируются к сломанной механике — строят стратегии вокруг этой поломки, перестают на нее жаловаться и делают так, чтобы это выглядело «так, как играют в игру». Измерение показывает, что скрывается за поведением.

Обзор платформы MEQA

Для Neutronium: Parallel Wars методологией систематического игрового тестирования является MEQA Framework — четырехкомпонентная структура, разработанная в течение 25 лет итераций. Каждый компонент предназначен для отдельной категории потребностей в тестировании:

M

Измеримость

Каждый сеанс имеет определенные числовые показатели, отслеживаемые до начала сеанса. Коэффициенты доходов, процент выигрышей, количество территорий, продолжительность сеанса на фазу.Если вы не можете определить для него номер, вы не сможете его протестировать.

E

Взаимодействие

Pacing отслеживается для каждого уровня юниверса. Время за этапом показывает, где игроки выходят из игры, прежде чем это сделает обратная связь после игры. Перерывы внимания у молодых игроков — это измеримые нарушения вовлеченности.

Q

Контроль качества

Определенные пороговые значения «годен/не годен» для каждой метрики, которые устанавливаются перед сбором каких-либо данных. Пересечение порога вызывает изменение дизайна — устранение субъективности из вопроса «когда что-то сломано настолько, чтобы его починить?» вопрос.

A

Адаптируемость

Метрики, отслеживаемые по разным группам игроков: возрастные диапазоны, уровни опыта, количество игроков. Механика, сбалансированная для опытных взрослых, может катастрофически выйти из строя в группах разного возраста.

Полная методология MEQA Framework, включая конкретные показатели, используемые для Neutronium: Parallel Wars, и пороговую систему контроля качества, подробно описана в документе MEQA Framework: проверенная методология тестирования баланса настольных игр. В этом руководстве основное внимание уделяется практическому применению на уровне сеанса.

Настройка сеанса игрового тестирования

Профессиональные сеансы игрового тестирования состоят из трех этапов: настройка перед сеансом, наблюдение во время сеанса и структурированный анализ после сеанса. У каждого этапа есть определенные требования, которые большинство неформальных игровых тестов полностью пропускают.

Предварительная сессия: Определите ровно одно механическое изменение, которое вы тестируете. Запишите это до того, как придут игроки. Если вы не можете сказать: «Сегодня мы проверяем, снижает ли разрушаемость Nuclear Port соотношение доходов лидера и последнего ниже 5:1» — вы не готовы запускать сессию. Гипотеза должна быть конкретной и фальсифицируемой. Запишите базовые показатели предыдущего сеанса для прямого сравнения.

Во время сеанса: Назначьте одного наблюдателя, который НЕ играет. Задача наблюдателя — записывать: продолжительность сеанса за фазу, время принятия решения за ход (в среднем), любые моменты замешательства или разъединения, состояние победы/проигрыша каждой фракции во вселенной. Наблюдатель не участвует в игре, не объясняет правила и не отвечает на вопросы — если у игрока есть вопрос, то это данные. Запишите, что их смутило и почему.

Подведение итогов после сессии: Максимум 15 минут. Только структурированные вопросы — конкретные поведенческие вопросы, а не «вам понравилось?» См. раздел часто задаваемых вопросов, чтобы узнать, какие именно вопросы следует использовать.По возможности собирайте письменные ответы — устные ответы теряют детали и приводят к социальной предвзятости (игроки не хотят напрямую говорить дизайнеру негативные вещи).

Данные для сбора каждого сеанса без исключения:

Выявление проблем с балансом

Проблемы с балансом делятся на пять категорий, каждая из которых имеет отдельный сигнал в данных:

Сбежавший лидер: Сигнал — ведущий игрок ни разу не проиграл после Вселенной 5 в 3 из 4 сессий. Порог: если лидер выигрывает с позиции, которую он занимал во Вселенной 4, более чем в 70% сессий, игра фактически заканчивается во Вселенной 4. Изучите механику доходов и территорий во Вселенных 1–4.

Анализный паралич: Сигнал — среднее время принятия решения за ход увеличивается по мере того, как вселенные развиваются быстрее, чем того требует сложность решения. 5-минутный средний поворот во Вселенной 3 становится 20-минутным средним поворотом во Вселенной 6 с добавлением всего двух новых механик, что предполагает проблему механического взаимодействия, а не проблему сложности. Выясните, какие конкретные решения занимают больше всего времени.

Доминирование фракции: Сигнал — одна фракция выигрывает 60% или более сессий в 5 или более тестах. Ожидаемый процент побед в сбалансированной игре с четырьмя фракциями составляет примерно 25%. При показателе 60% фракция не просто лучше — у нее есть структурное преимущество, которое другие фракции не могут преодолеть с помощью лучшей игры. Исследуйте уникальную механику доминирующей фракции на предмет непредвиденных эффектов взаимодействия.

Уменьшение вовлеченности: Сигнал — игроки становятся пассивными или заметно отстраняются от игры в определенной вселенной. Наблюдаемое поведение: игроки проверяют телефоны, отводят взгляд от доски, спрашивают: «Когда моя очередь?» Это измеримые события. Запишите, когда они происходят и какая вселенная находится в процессе.

Пример — доминирование фракции

Iit Дисбаланс экономики во Вселенной 6+

Iit, экономическая фракция, выиграла 7 из 10 сессий во Вселенной 6 и выше благодаря накоплению дохода Nuclear Port. Данные были ясны: 70% побед, что в 4 раза выше ожидаемого базового уровня в 25%. Было протестировано три исправления, по одному за сеанс, в соответствии с правилом одной переменной.

Тест 1: Уменьшите значения дохода Nuclear Port. Результат — винрейт Iit упал до 28%, что находится в пределах допустимого диапазона. Проблема: игроки Iit сообщали, что фракция чувствовала себя «пустой» из-за уменьшенной стоимости порта. Идентичность экономики была уничтожена. Откат.

Тест 2: Ограничение количества Nuclear Port на игрока. Результат — винрейт Iit 35%, ближе к сбалансированному. Проблема: игра в конце игры потеряла динамику экономической эскалации. Другие фракции сообщили о менее интересных решениях, когда Iit не ​​смог масштабироваться. Откат.

Тест 3: Сделайте Nuclear Port разрушаемыми во время боя. Результат — винрейт Iit 31%, в пределах допустимого. Никакого негативного воздействия на другие фракции. Формула дохода порта не изменилась — экономическая идентичность сохранена.Исправление подтверждено.

Правило одной переменной

Правило одной переменной — наиболее важный принцип при тестировании баланса и наиболее часто нарушаемый принцип. Правило: меняйте ровно одну вещь между сеансами.

Причина – ясность диагностики. Если вы измените три механики и игра улучшится, вы не узнаете, какое изменение было причиной. Возможно, вы решили одну проблему и создали две другие, которые еще не проявились. Возможно, вы устранили симптом, оставив основную причину. Вы не можете знать, потому что вы изменили три вещи одновременно.

Применительно к Neutronium: Parallel Wars: когда Вселенная 7 казалась «слишком быстрой» — сеансы длились короче, чем ожидалось, и игроки чувствовали спешку — в отдельных сеансах были исследованы три возможные причины:

Без тестирования каждого изменения отдельно, суть сеанса C — проблема механической кластеризации — была бы невидима. Совместное изменение B+C могло выглядеть так, будто «добавление механики помогло», тогда как фактическое исправление заключалось в изменении порядка того, что уже было.

Распространенная ошибка: Запуск сеанса, в котором вы изменили «всего две мелочи». В игре с взаимозависимой механикой нет мелких изменений. Каждое изменение потенциально является переменной. Возьмите на себя обязательство по одному за сеанс.

Тестирование в группах со смешанным опытом

Самая сложная задача баланса в дизайне настольных игр — это не баланс фракций или масштабирование доходов, а обеспечение того, чтобы опытные игроки не доминировали над новыми игроками в одной сессии. Большинство геймдизайнеров полностью игнорируют это и теряют свою семью и случайную аудиторию.

Для Neutronium: Parallel Wars компонент MEQA Адаптивность явно отслеживает процент побед в сессиях со смешанным опытом. Прежде чем решить проблему, опытные игроки выиграли 78% сессий в смешанных группах — серьезный дисбаланс, который не позволяет новым игрокам вернуться на сессию 2.

Решением стала система гандикапов Progress Journal: опытные игроки, ранее выигравшие вселенную, начинают с отрицательным балансом Nn, пропорциональным их преимуществу в опыте. Калибровка получена на основе данных сеанса MEQA:

.
Сыгранные сессии (опытный игрок) Стартовый гандикап Процент побед после гандикапа (эксп.игрок)
1–3 сеанса−5 Nn54%
4–7 сеансов−10 Nn52%
8+ сеансов−15 Nn51%

Целевой показатель выигрыша между опытными и новичками составляет 55–65%. Ниже 55% означает, что навыки не выражаются значимо — опытные игроки не имеют преимуществ от своих знаний. Уровень выше 65% означает, что опыт новых игроков фактически нарушен — они не могут соревноваться независимо от принятых решений.

Выявление пробелов в данных об опыте: отслеживайте количество сессий каждого игрока вместе с данными о победах/проигрышах. Если игрок с 10 сессиями выигрывает 75% игр против игроков с 2 сессиями, калибровку гандикапа необходимо скорректировать — или сама механика создает необратимые преимущества, которые накапливаются слишком быстро.

"Обрыв 12 сессий" в Neutronium: после того, как принимающие игроки накопили более 12 сессий, игра стала недоступна для новых игроков, присоединившихся впервые. Разрыв в знаниях в области механики был слишком велик, чтобы его можно было преодолеть в обычной игре. Исправление: система журнала прогресса, которая делала разницу в опыте видимой и применяла пропорциональную коррекцию. Без данных, конкретно показывающих обрыв в 12 сессий, эта проблема выглядела бы как «новые игроки не возвращаются», а не как «новые игроки в сессии 1 с хостами из 12 сессий имеют процент побед 23%».

Когда прекратить игровое тестирование

Одна из наиболее частых ошибок при разработке настольных игр — это бесконечное тестирование игры — использование фразы «мы все еще тестируем игру» в качестве причины для отказа от выпуска. Это реакция страха, замаскированная под строгость. В какой-то момент данные сообщат вам, что все готово.

Тест уменьшающего возврата : если три последовательных сеанса игрового тестирования не дают никаких данных, которые можно было бы использовать (ни один показатель не пересекает порог контроля качества, не регистрируются новые события путаницы, не выявляются падения вовлеченности) — вы достигли насыщения игрового тестирования для текущего состояния игры. Дополнительные сеансы производят подтверждение, а не обнаружение.

Критерии готовности корабля

Neutronium: Parallel Wars:

  1. Процент побед для всех 4 фракций находится в пределах 10 % от равного (цель: 25 % для каждой, приемлемый диапазон: 22–28 % для каждой фракции)
  2. Показатель вовлеченности остается выше 4 из 5 во всех сеансах во вселенных 1–6
  3. Не зафиксировано никаких событий путаницы в 3 последовательных сеансах во вселенных 1–3 (основная игра)
  4. Процент побед с разным опытом (опытные и новички) в диапазоне 55–65% за 3 последовательные сессии

Когда все четыре критерия соблюдены в течение трех последовательных сессий, игра находится в состоянии готовности. Не идеально — «идеально» не является значимым состоянием для игры. Состояние корабля означает, что данные больше не идентифицируют улучшения, которые могли бы изменить впечатления игрока измеримым образом.

Часто задаваемые вопросы

Сколько сеансов игрового тестирования вам нужно, прежде чем публиковать настольную игру?
Минимум 10–15 занятий с разными группами для игры низкой сложности. Для сложных игр с множеством фракций и глубокой механикой более реалистично 30–50+ сессий.Neutronium: Parallel Wars провел более 12 задокументированных сеансов проверки баланса — не считая 25 лет случайной игры в разработке. Количество имеет меньшее значение, чем качество: 12 структурированных сеансов с определенными показателями дают больше полезных данных, чем 100 неструктурированных сеансов, когда вы спрашивали: «Было ли весело?»
Должен ли дизайнер участвовать в плейтестах?
Нет, для соревновательного тестирования баланса. Присутствие дизайнера меняет поведение игроков двумя способами: игроки задают дизайнеру вопросы о правилах вместо того, чтобы записывать событие, вызывающее замешательство, и игроки модерируют свои отзывы, чтобы не показаться критическими. Запускайте сеансы только для наблюдателей для тестирования баланса — дизайнер наблюдает, записывает данные и не участвует. Дизайнер может участвовать в обычных сеансах обратной связи, но эти сеансы не должны быть основным источником данных о балансе.
Как написать хорошие вопросы для тестирования игры?
Избегайте фразы «Вам понравилось?» — слишком расплывчатые и социально предвзятые в сторону положительных ответов. Используйте конкретные поведенческие вопросы: «В какой момент вы почувствовали, что ваша стратегия больше нежизнеспособна?» показывает, когда механика догонялки дает сбой. «Когда вы решили перейти от расширения к защите?» выявляет динамику ритма и давления. «Какое решение показалось наиболее неясным по своим последствиям?» определяет механики, у которых отсутствует видимая обратная связь. Поведенческие вопросы выявляют механические проблемы; Вопросы о предпочтениях выявляют тематические проблемы. Это отдельные категории, и для них нужны отдельные вопросы.
Какие инструменты используют профессиональные геймдизайнеры для игрового тестирования?
Tabletop Simulator для удаленных сеансов и управления версиями — позволяет вернуться к предыдущим версиям игры, не теряя времени на физический прототип. Google Таблицы для отслеживания данных сеанса — создайте шаблон перед сеансом 1 и заполняйте одни и те же столбцы каждый сеанс. Бумажные прототипы (ни в коем случае не цифровые макеты) для раннего физического тестирования. Физические токены выявляют эргономические проблемы, которые скрывают цифровые макеты, в том числе скорость обработки компонентов, видимость в игровых условиях и ощущение стоимости решений при физическом использовании токенов. Голосовые записи итогов после сессии для последующего просмотра — игроки часто небрежно говорят важные вещи, которые в данный момент упускают из виду ведущие.

Прочитать полную версию MEQA Framework

Полная методология MEQA, включая пороговые значения контроля качества, определения показателей и полный практический пример Nuclear Port, документирована в статье MEQA Framework.

Читать MEQA Framework →