Pēc 25 gadu izstrādes Neutronium: Parallel Wars un vairāk nekā 12 dokumentētu atskaņošanas testēšanas sesiju, es varu pateikt atšķirību starp atskaņošanas testēšanu un A00testēšanu. Lūgšana draugiem spēlēt jūsu spēli nav spēles pārbaude. Tā ir socializēšanās ar savu spēli uz galda. Profesionālā spēļu testēšana ir sistemātiska līdzsvara validācija — definēti rādītāji, viena mainīgā pārbaude, strukturēta datu vākšana un disciplīna, lai katru sesiju uzskatītu par eksperimentu, nevis pieredzi.
Šajā rokasgrāmatā ir aprakstīts, kā tas izskatās praksē: kā iestatīt sesiju, ko izmērīt, kā identificēt noteiktas līdzsvara problēmu kategorijas un — kritiski — kad pārtraukt testēšanu un nosūtīt. Principi attiecas uz jebkuru sarežģītu spēli. Piemēri nāk no Neutronium: Parallel Wars 47 mehānikas un 13 Visuma līmeņiem, kas nodrošināja pietiekami sarežģītību, lai pārbaudītu katru šeit aprakstīto metodiku.
Kāpēc lielākā daļa atskaņošanas testu neizdodas
Vienīgā visizplatītākā kļūda spēles pārbaudē: jautājums "vai tas bija jautri?" sesijas beigās. "Jautra" ir pārāk plaša, lai to varētu izmantot. Jautrība nevar pateikt, kurš mehāniķis salauza līdzsvaru. Jautrība nevar pateikt, kurā sesijas brīdī iesaistīšanās samazinājās. Jautrība ir secinājums, nevis diagnoze.
Tā vietā mēriet konkrētus rādītājus: uzvaras rādītājs katrai grupai, Konflikts līdz pirmajam , QZXA0Xin06e midgame, Sesijas ilgums vienā fāzē. Šie skaitļi norāda, kur meklēt. “Jautrība” nepasaka neko, par kuru jums jau nebija aizdomas.
Sniega bumba Nuclear Port — Visums 7
Nuclear Port Neutronium: Parallel Wars rada eksponenciālus ienākumus: 1 ports dod 2 Nn vienā kārtā, 10 porti dod 220 Nn vienā kārtā. Sākotnējās sesijās spēļu testētāji ekonomiku raksturoja kā "nelīdzsvarotu sajūtu". Nav noderīgi. Lai veiktu labojumu, bija jāveic mērījumi: kāda bija faktiskā Nn atšķirība starp līderi un pēdējo vietu Universe 6 beigās?
MEQA izsekošana atklāja līderu un pēdējo ienākumu attiecību 14:1 7. sesijā — līderis bija uzkrājis 6 portus, pēdējiem spēlētājiem bija 0. Tā nav "nelīdzsvarota sajūta". Tas ir noteikts skaitlis, kas pārsniedz 5:1 kvalitātes kontroles slieksni un izraisa obligātu dizaina izmaiņu. Bez šī mērījuma labojums būtu bijis minējums. Ar to labojums bija mērķtiecīgs: padariet portus iznīcināmus kaujas laikā. Ienākumu formula nemainīga. Problēma atrisināta.
Nestrukturētas atskaņošanas pārbaudes galvenā kļūme: bez noteiktas metrikas nevar atšķirt dizaina problēmu no atskaņotāja adaptācijas. Pieredzējuši spēlētāji pielāgojas bojātajai mehānikai — viņi veido stratēģijas, ņemot vērā bojājumus, pārstāj par to sūdzēties un liek tai izskatīties kā “spēle tiek spēlēta”. Mērījums atklāj, ko uzvedība slēpj.
MEQA ietvara pārskats
Attiecībā uz Neutronium: Parallel Wars sistemātiskās atskaņošanas testēšanas metodika ir MEQA ietvars — četru pīlāru struktūra, kas izstrādāta 25 gadu atkārtošanas laikā. Katrs pīlārs attiecas uz citu testēšanas vajadzību kategoriju:
Izmērāmība
Katrā sesijā ir definēta skaitliskā metrika, kas tiek izsekota pirms sesijas sākuma. Ienākumu attiecības, laimestu likmes, teritoriju skaits, sesijas ilgums katrā fāzē.Ja nevarat tam definēt numuru, nevarat to pārbaudīt.
Saderināšanās
Pacing izsekots katrā Visuma līmenī. Laiks fāzē atklāj, kur spēlētāji izslēdzas, pirms tiek veikta atgriezeniskā saite pēc spēles. Uzmanības pārtraukumi gados jaunākiem spēlētājiem ir izmērāmas iesaistīšanās neveiksmes.
Kvalitātes kontrole
Definēti katras metrikas atbilstības/neveiksmes sliekšņi, kas iestatīti pirms datu apkopošanas. Pārkāpjot slieksni, tiek veiktas izmaiņas dizainā — tiek noņemta subjektivitāte no jautājuma "kad kaut kas ir pietiekami bojāts, lai to labotu?" jautājums.
Pielāgojamība
Metrika tiek izsekota dažādās spēlētāju grupās: vecuma diapazoni, pieredzes līmeņi, spēlētāju skaits. Mehāniķis, kas līdzsvarots pieredzējušiem pieaugušajiem, var katastrofāli piedzīvot neveiksmi jauktu vecumu grupās.
Pilna MEQA ietvara metodoloģija, tostarp specifiskie rādītāji, kas izmantoti Neutronium: Parallel Wars un kvalitātes kontroles sliekšņa sistēmai, ir detalizēti dokumentēti MEQA pārbaudes ietvarā. Bilance. Šajā rokasgrāmatā galvenā uzmanība ir pievērsta praktiskajai sesijas līmeņa lietojumprogrammai.
Play testēšanas sesijas iestatīšana
Profesionālajām spēļu testēšanas sesijām ir trīs fāzes: iestatīšana pirms sesijas, novērošana sesijas laikā un pēcsesijas strukturēta informācija. Katrai fāzei ir noteiktas īpašas prasības, kuras lielākā daļa neformālo spēļu testu pilnībā izlaiž.
Pirms sesijas: Definējiet tieši vienu mehānikas maiņu, kuru pārbaudāt. Pierakstiet to pirms spēlētāju ierašanās. Ja nevarat apgalvot, ka "šodien mēs pārbaudām, vai Nuclear Port iznīcināmu padarīšana samazina līderu un pēdējo ienākumu attiecību zem 5:1", jūs neesat gatavs vadīt sesiju. Hipotēzei jābūt konkrētai un falsificējamai. Ierakstiet iepriekšējās sesijas bāzes rādītājus tiešai salīdzināšanai.
Sesijas laikā: Norādiet vienu novērotāju, kurš NEspēlē. Novērotāja uzdevums ir reģistrēt: sesijas ilgumu katrā fāzē, lēmuma pieņemšanas laiku vienā gājienā (vidēji), visus apjukuma vai atslēgšanās mirkļus, katras frakcijas uzvaras/zaudējuma stāvokli katrā Visumā. Novērotājs nepiedalās spēlē, nepaskaidro noteikumus un neatbild uz jautājumiem - ja spēlētājam ir jautājums, tie ir dati. Ierakstiet, kas viņus mulsināja un kāpēc.
Pēc sesijas pārskats: ne ilgāk kā 15 minūtes. Tikai strukturēti jautājumi — konkrēti uzvedības vaicājumi, nevis "vai jums patika?" Skatiet sadaļu FAQ, lai uzzinātu precīzus izmantojamos jautājumus.Ja iespējams, apkopojiet rakstiskas atbildes — verbālās atbildes zaudē detaļas un ievieš sociālo aizspriedumu (spēlētāji nelabprāt saka negatīvas lietas tieši dizainerim).
Dati, lai apkopotu katru sesiju bez izņēmuma:
- Sesijas ilgums uz visuma līmeni
- Uzvara/zaudējums katrai frakcijai
- Pagriezienu skaits līdz pirmajai cīņai
- IIenākuma atšķirība starp līderi un pēdējo spēlētāju spēles vidū
- Spēlētāju apjukuma gadījumu skaits (definēts kā: spēlētājs uzdod jautājumu par noteikumiem vai veic nelikumīgu darbību)
ILīdzsvara problēmu identificēšana
Līdzsvara problēmas iedala piecās kategorijās, katrai no kurām ir atšķirīgs signāls datos:
Runaway līderis: Signal — vadošais spēlētājs pēc Universe 5 nekad nav zaudējis 3 no 4 sesijām. Slieksnis: ja līderis uzvar no pozīcijas, kas viņam bija Visumā 4 vairāk nekā 70% sesiju, spēle faktiski beidzas Visumā 4. Izpētiet ienākumu un teritorijas mehāniku Visumā 1–4.
Analīzes paralīze: Signāls — vidējais lēmuma pieņemšanas laiks vienā pagriezienā palielinās, jo Visums attīstās ātrāk, nekā to prasa lēmumu sarežģītība. 5 minūšu vidējais pagrieziens Visumā 3, kļūstot par 20 minūšu vidējo pagriezienu Visumā 6, pievienojot tikai 2 jaunas mehānikas, liecina par mehānikas mijiedarbības problēmu, nevis sarežģītības problēmu. Izpētiet, kuri konkrēti lēmumi aizņem visvairāk laika.
Frakciju dominēšana: signāls — viena frakcija uzvar 60% vai vairāk sesiju 5 vai vairāk testu laikā. Paredzamais uzvaras rādītājs līdzsvarotā četru frakciju spēlē ir aptuveni 25%. 60% frakcija ir ne tikai labāka — tai ir strukturāla priekšrocība, ko citas frakcijas nevar pārvarēt ar labāku spēli. Izpētiet dominējošās frakcijas unikālo mehānismu neparedzētiem mijiedarbības efektiem.
Iesaistīšanās samazināšanās: signāls — spēlētāji kļūst pasīvi vai manāmi atdalās noteiktā visumā. Novērojamā uzvedība: spēlētāji pārbauda tālruņus, paskatās prom no galda, jautā "kad ir mana kārta?" Tie ir izmērāmi notikumi. Ierakstiet, kad tie notiek un kurš Visums bija procesā.
Iit Ekonomiskā nelīdzsvarotība Visumā 6+
Iit, ekonomikas frakcija, uzvarēja 7 no 10 sesijām Universe 6 un jaunākā līmenī Nuclear Port ienākumu uzkrāšanas dēļ. Dati bija skaidri: 70% uzvaras līmenis, 4 reizes virs paredzamās 25% bāzes līnijas. Tika pārbaudīti trīs labojumi, viens katrā sesijā, ievērojot viena mainīgā kārtulu.
Pārbaude 1: Samaziniet Nuclear Port ienākumu vērtības. Rezultāts — Iit uzvaras līmenis samazinājās līdz 28%, pieņemamā diapazonā. Problēma: Iit spēlētāji ziņoja, ka frakcija jūtama "doba" ar samazinātu porta vērtību. Ekonomiskā identitāte tika iznīcināta. Atcelšana.
Pārbaude 2: ierobežojums Nuclear Port skaits vienam spēlētājam. Rezultāts — Iit uzvaras rādītājs 35%, tuvāk līdzsvarotajam. Problēma: spēle vēlīnā spēlē zaudēja savu ekonomiskās eskalācijas dinamiku. Citas frakcijas ziņoja par mazāk interesantiem lēmumiem, kad Iit nevarēja mērogot. Atcelšana.
Tests 3: Padariet Nuclear Port iznīcināmus kaujas laikā. Rezultāts — Iit uzvaras līmenis 31%, pieņemamā diapazonā. Nav negatīvas ietekmes uz citām frakcijām. Ostas ienākumu formula nemainīga — saglabāta ekonomiskā identitāte.Labojums apstiprināts.
Viena mainīgā noteikums
Viena mainīgā noteikums ir vissvarīgākais princips līdzsvara pārbaudē un visbiežāk tiek pārkāpts. Noteikums: starp sesijām mainiet tieši vienu lietu.
Iemesls ir diagnostikas skaidrība. Ja maināt trīs mehānikas un spēle uzlabojas, jūs nezināt, kura izmaiņas bija atbildīgas. Iespējams, esat novērsis vienu problēmu un izveidojis divas citas, kas vēl nav parādījušās. Iespējams, esat novērsis simptomu un atstājis galveno cēloni. Jūs nevarat zināt, jo jūs vienlaikus mainījāt trīs lietas.
Attiecas uz Neutronium: Parallel Wars: kad Universe 7 jutās "pārāk ātrs" — sesijas noritēja īsākā laikā, nekā gaidīts, un spēlētāji jutās sasteigti — atsevišķās sesijās tika pētīti trīs iespējamie cēloņi:
- Sesija A: Pagarināta stimulēšana — Universe 7 pievienots viens papildu bagātināšanas cikls. Rezultāts: sesijas ilgums palielinājās par 8 minūtēm. Iesaistīšanās rādītājs nemainīgs. Nav galvenais iemesls.
- B sesija: 7. Visumam pievienota papildu mehānika. Rezultāts: sesijas ilgums palielinājās par 5 minūtēm. Iesaistīšanās rādītājs ir palielināts. Identificēts daļējs cēlonis.
- Session C: Pārkārtota esošā mehānika, lai vienmērīgāk sadalītu lēmumu blīvumu. Rezultāts: sesijas ilgums palielinājās par 6 minūtēm UN iesaistes rādītājs ievērojami palielinājās. Identificēts galvenais iemesls — mehāniska klasterizācija Visuma beigās radīja sasteigtas galotnes.
Nepārbaudot katru izmaiņu atsevišķi, sesijas C ieskats — mehāniskās klasterizācijas problēma — būtu bijis neredzams. Apvienotā B+C maiņa varēja izskatīties tā, it kā “mehānikas pievienošana palīdzēja”, kad faktiskais labojums bija jau esošā satura pārkārtošana.
Testēšana ar jauktas pieredzes grupām
Visgrūtākais līdzsvara izaicinājums galda spēļu dizainā nav frakciju līdzsvars vai ienākumu mērogošana — tas nodrošina, ka pieredzējuši spēlētāji tajā pašā sesijā nedominē jaunajiem spēlētājiem. Lielākā daļa spēļu dizaineru to pilnībā ignorē un zaudē savu ģimeni un ikdienas auditoriju.
Attiecībā uz Neutronium: Parallel Wars MEQA pielāgojamības pīlārs skaidri izsekoja uzvaras rādītājus jauktas pieredzes sesijās. Pirms problēmas risināšanas pieredzējuši spēlētāji uzvarēja 78% jaukto grupu sesiju — tā ir nopietna nelīdzsvarotība, kas neļautu jauniem spēlētājiem atgriezties 2. sesijā.
Risinājums bija Progress Journal handikapa sistēma: pieredzējuši spēlētāji, kuri iepriekš ir uzvarējuši visumā, sāk ar negatīvu Nn bilanci, kas ir proporcionāla viņu pieredzes priekšrocībām. Kalibrēšana tika iegūta no MEQA sesijas datiem:
| Nospēlētās sesijas (pieredzējis spēlētājs) | Starta handikaps | Uzvaras koeficients pēc handikapa (paredzams.atskaņotājs) |
|---|---|---|
| 1–3 sesijas | −5 Nn | QZQZ54%QZ0XA5QZ025 |
| 4–7 sesijas | −10 Nn | 52% |
| 8+ sesijas | −15 Nn | QZQZ51%QZ6X27 |
Pieredzējušo pret jauno laimestu likmes mērķis ir 55–65%. Zem 55% nozīmē, ka nav jēgpilnas prasmju izpausmes — pieredzējušiem spēlētājiem nav nekādu priekšrocību no savām zināšanām. Ja rādītājs pārsniedz 65%, jaunā spēlētāja pieredze ir faktiski sabojāta — viņi nevar konkurēt neatkarīgi no pieņemtajiem lēmumiem.
IPieredzes nepilnību noteikšana datos: sekojiet katra spēlētāja sesiju skaitam kopā ar uzvaru/zaudējumu datiem. Ja spēlētājs ar 10 sesijām uzvar 75% spēļu pret spēlētājiem ar 2 sesijām, handikapa kalibrēšana ir jāpielāgo — vai arī paši mehāniķi rada neatgriezeniskas priekšrocības, kas savienojas pārāk ātri.
"12 sesiju klints" Neutronium: pēc 12+ sesiju uzkrātajām spēlēm spēle kļuva nepieejama jauniem spēlētājiem, kas pievienojās pirmo reizi. Mehāniķu zināšanu trūkums bija pārāk liels, lai pārvarētu parasto spēli. Labojums: Progresa žurnāla sistēma, kas padarīja redzamu pieredzes atšķirību un piemēroja proporcionālu korekciju. Bez datiem, kas īpaši parāda 12 sesiju klinti, šī problēma būtu parādījusies kā "jauni spēlētāji neatgriežas", nevis "jauni spēlētāji 1. sesijā ar 12 sesiju rīkotājiem ir ieguvuši 23% uzvaru."
Kad pārtraukt atskaņošanas testēšanu
Viena no visbiežāk pieļautajām kļūdām galda spēļu izstrādē ir spēļu testēšana bezgalīgi — izmantojot “mēs joprojām veicam spēles testēšanu” kā iemeslu, lai izvairītos no piegādes. Tā ir baiļu reakcija, kas ietērpta kā stingrība. Kādā brīdī dati norāda, ka esat pabeidzis.
samazināšanās atgriež testu: ja trīs secīgās spēles testēšanas sesijās netiek iegūti praktiski izmantojami datu punkti — neviena metrika nepārkāpj kvalitātes kontroles slieksni, netiek reģistrēti jauni sajaukšanas notikumi, netiek identificēti nekādi iesaistīšanās kritumi no pašreizējās spēles piesātinājuma stāvokļa. Papildu sesijas rada apstiprinājumu, nevis atklāšanu.
Neutronium: Parallel Wars kuģa gatavības kritēriji ir:
- Uzvaras līmenis visās 4 frakcijās ir 10% robežās no vienāda (mērķis: 25% katrai, pieņemamais diapazons: 22–28% katrai frakcijai)
- Iesaistīšanās rādītājs saglabājas virs 4 no 5 visās sesijās Universes 1–6
- Nav apjukuma notikumu, kas reģistrēts 3 secīgās sesijās Universes 1–3 (galvenā spēle)
- Jauktas pieredzes uzvaras līmenis (pieredzējis un jauns) 55–65% diapazonā 3 secīgās sesijās
Kad trīs secīgās sesijās ir izpildīti visi četri kritēriji, spēle ir kuģa stāvoklī. Nav ideāls — "ideāls" nav jēgpilns spēles stāvoklis. Nosūtīšanas stāvoklis nozīmē, ka datos vairs netiek identificēti uzlabojumi, kas izmērāmā veidā mainītu spēlētāja pieredzi.
Bieži uzdotie jautājumi
Izlasiet visu MEQA ietvaru
Pilnīga MEQA metodoloģija, tostarp kvalitātes kontroles sliekšņi, metrikas definīcijas un pilns Nuclear Port gadījuma pētījums, ir dokumentēts MEQA ietvara rakstā.
Izlasiet MEQA ietvaru →