Zwei Versionen vergleichen: Echter Unterschied oder Glück?
Gib jedem neuen Spieler zufällig eine der beiden Versionen, leg vor dem Start fest, wie viele du brauchst, und schau erst am Ende hin. Frag dann, wie oft Glück allein einen so großen Abstand liefern würde, denn eine Zahl, die sich bewegt hat, ist noch keine Zahl, die sich verändert hat.
Wie trennst du einen echten Abstand von Glück?
Pudding Rally ist ein erfundenes Rennspiel, die Zahlen sind für dieses Beispiel ausgedacht. Der Entwickler hielt das erste Boss-Rennen für zu schwer und baute eine sanftere Strecke. Version A ist die alte, Version B die neue. Jede neue Sitzung bekam zufällig eine davon. Das nennt man auch einen A/B-Test.
| Rennen gewonnen | Anteil | |
|---|---|---|
| Version A | 88 von 200 | 44 % |
| Version B | 104 von 210 | 50 % |
B liegt 5,5 Punkte vorn, und das sieht nach einem Erfolg aus. Stell also die eine nützliche Frage: Wenn A und B in Wahrheit gleich wären, wie oft würde Glück allein so einen Abstand liefern? Die Antwort für diese Tabelle: in etwa 28 % der Fälle, mehr als jeder vierte Versuch. Das kann also leicht Glück sein. Der wahre Abstand liegt sehr wahrscheinlich zwischen minus 4 und plus 15 Punkten, und das schließt „etwas schlechter gemacht“ ein.
Die übliche Hürde liegt bei 1 zu 20, also 5 %. Die Rechnung dahinter ist Fishers exakter Test, der auch bei kleinen Gruppen funktioniert.
Beachte, was das Ergebnis nicht sagt. Es sagt nicht, dass beide Strecken gleich sind. Es sagt, dass diese Datenmenge das nicht klären kann. Um einen Abstand dieser Größe zu sehen, bräuchte er etwa 1.280 Spieler pro Version.
Er machte also weiter bis zu dieser geplanten Zahl. Mit je 1.100 Spielern kam er auf 484 Siege gegen 561: 44 und 51 %. Jetzt würde Glück so einen Abstand in weniger als 1 % der Fälle liefern, und der wahre Abstand liegt sehr wahrscheinlich zwischen 3 und 11 Punkten. Eine echte Verbesserung, und eine kleine.
Wie viele Spieler braucht eine Änderung?
Das entscheidet die Größe der Änderung, und kleine Abstände sind teuer.
| Von | Auf | Spieler pro Version |
|---|---|---|
| 50 % | 80 % | 39 |
| 50 % | 70 % | 93 |
| 50 % | 60 % | 388 |
| 50 % | 55 % | 1.565 |
| 50 % | 52 % | 9.806 |
In einem kleinen Spiel testest du also nur große, mutige Änderungen.
Welche Regeln schützen dich?
- Zufällig, nicht vorher und nachher. Bekamen die Spieler der letzten Woche A und die dieser Woche B, vergleichst du auch die Wochen.
- Leg die Zahl vorher fest und spähe nicht. Evan Miller rechnet vor, was passiert, wenn du einen Test nach jedem Besucher prüfst und beim ersten guten Ergebnis stoppst. Im schlimmsten Fall lag die Quote falscher Alarme bei 26,1 % statt der 5 %, die du zu haben glaubst.
- Ändere eine Sache. Bei zwei Änderungen lernst du über keine etwas.
- Nimm eine Zahl. Prüfst du zwanzig zugleich, sieht etwa eine durch Glück echt aus. Musst du mehrere prüfen, teil die 5 % durch ihre Anzahl.
- Prüf die Aufteilung. 300 Spieler auf A und 180 auf B sind kein Zufall. Da ist etwas kaputt, und das reparierst du zuerst.
Eine ehrliche Grenze: Bei anonymen Daten kann jemand, der zweimal spielt, in beiden Gruppen landen. In einem kleinen Spiel macht das meist wenig aus, aber sag es, wenn ein Ergebnis knapp ist. Das Rezept für den Vergleich erledigt all das. Für den allerersten Blick auf eine Änderung reichen oft fünf Leute.
Das sagst du deiner KI
Hilf mir herauszufinden, ob eine Änderung an meinem Spiel wirklich geholfen hat. Die Änderung: [was]. Die Zahl, die sich bewegen soll: [zum Beispiel: Anteil, der den Boss besiegt].
Vor allen Daten:
1. Zeichne beide Versionen als Mermaid-Zustandsdiagramm, von der zufälligen Version einer neuen Sitzung bis zum Ergebnis. Markiere das eine, was sich unterscheidet.
2. Schreib auf, was passieren soll und welcher Abstand sich lohnen würde. Nimm get_recipe mit compare-two-versions, wenn Spielerando verbunden ist, und sag mir, wie viele Spieler das pro Version braucht. Sind das mehr, als ich bekommen kann, sag das jetzt.
3. Bau eine zufällige Wahl der Version pro neuer Sitzung ein und schreib die Version ins Ereignisprotokoll. Das Protokoll bleibt anonym.
Warte dann, bis diese Zahl erreicht ist. Zeig mir vorher keine Ergebnisse, auch wenn ich danach frage.
Zeig am Ende beide Zählungen, die Prüfung der Aufteilung, den Abstand, seinen 95-%-Bereich und wie oft Glück allein ihn liefern würde. Wenn es Glück sein kann, sag das, und nenn es weder einen Erfolg noch einen Beweis, dass sich nichts geändert hat.
Oder spar dir das und schließ den MCP an: Dann findet deine KI das alles von selbst.MCP anschließen
So prüfst du es
- Prüf zuerst die Aufteilung. Beide Gruppen sollten etwa gleich groß sein.
- Zähl eine Version von Hand nach, direkt aus dem Protokoll.
- Such nach einer zweiten Änderung, die mit derselben Fassung hineingerutscht ist.