Zwei Versionen vergleichen

Du hast etwas geändert, und eine Zahl hat sich bewegt: Deine KI ermittelt, ob das ein echter Unterschied ist oder Glück sein könnte und wie viele Spieler nötig wären, um es herauszufinden. Das klappt mit Anzahlen wie Siegen und mit Messwerten wie Sekunden, und bei zu wenigen Spielern nennt sie einen Abstand nicht echt.

Wann du das brauchst

Nachdem du ein Level, einen Boss oder ein Tutorial geändert hast und wissen willst, ob es geholfen hat. Leg fest, wie viele Spieler du willst, bevor du nachschaust, und gib jedem neuen Spieler zufällig eine Version.

Das sagst du deiner KI

Nimm compare-two-versions von Spielerando. Schreib vor allen Daten auf, was ich geändert habe, was dadurch passieren soll, wie viele Spieler jede Version braucht, und zeichne das als Mermaid-Zustandsdiagramm vom neuen Spieler bis zum Ergebnis. Gib dann jeder neuen Sitzung zufällig eine Version und prüfe die Aufteilung. Ist die Zahl erreicht, zeig mir beide Zählungen, den Bereich für den Abstand und wie oft Glück allein ihn liefern würde. Wenn es Glück sein kann, sag das und nenn es keinen Erfolg.

Oder spar dir das und schließ den MCP an: Dann findet deine KI das alles von selbst.MCP anschließen

Einstellungen

level (0.05): Die Wahrscheinlichkeit für Glück, unter der ein Abstand als echt gilt.
power (0.8): Wie wahrscheinlich du einen echten Abstand entdecken willst. Das fließt in die nötige Spielerzahl ein.
rounds (10000): Wie oft der Vergleich von Messwerten mischt.
minPlayers (30): Unter so vielen Spielern in einer Version sagt der Bericht: zu wenige.

Deine KI bekommt den Code

Der fertige Code und die Mathematik kommen über die Spielerando-Verbindung, damit deine KI sie sofort nutzen kann. KI verbinden

Häufige Fragen

hat meine änderung das spiel besser gemacht oder war es glück

Frag, wie oft Glück allein einen so großen Abstand liefern würde, wenn sich nichts geändert hätte. Unter 1 zu 20 nenn ihn echt. Darüber weißt du es noch nicht.

wie viele spieler brauche ich für einen a/b-test

Das hängt davon ab, wie kleine Abstände du sehen willst. 44 % von 50 % zu unterscheiden kostet rund 1.090 Spieler pro Version, der halbe Abstand etwa viermal so viele.

kann ich den test abbrechen sobald es gut aussieht

Nein. Wer immer wieder nachschaut und beim ersten guten Ergebnis stoppt, lässt Glück viel zu oft echt aussehen. Leg die Zahl vorher fest und schau am Ende.