Spieltest-Feedback mit KI lesen, ohne dich zu täuschen
Lass deine KI Kommentare aus dem Spieltest nach Themen sortieren, Personen statt Kommentare zählen und jeden wörtlich zitieren, damit nichts erfunden werden kann. Prüf dann, was Leute gesagt haben, gegen das, was dein Protokoll über ihr Handeln zeigt, denn beides weicht oft voneinander ab.
Was geht schief, wenn eine KI Feedback zusammenfasst?
Sie erzählt eine glatte Geschichte. Fügst du 46 Kommentare ein und fragst „Was denken die Spieler?“, bekommst du einen sauberen Absatz, der wahr klingt und den du nicht prüfen kannst. Der Text unten zwingt sie deshalb, ihre Arbeit zu zeigen.
Goblin Post Office ist ein erfundenes Spiel, die Kommentare und Zahlen sind für dieses Beispiel ausgedacht. 19 Testspieler haben 46 Kommentare hinterlassen. Der erste Durchgang sortierte sie so.
| Thema | Kommentare | Verschiedene Leute |
|---|---|---|
| Zu schwer | 14 | 6 |
| Liebe die Goblins | 12 | 9 |
| Zu lang | 7 | 5 |
| Will Mehrspieler | 5 | 1 |
| Sonstiges | 8 | 7 |
Schau, was passiert, wenn du quer liest. „Will Mehrspieler“ hat fünf Kommentare und sieht nach einer Forderung aus. Es ist eine begeisterte Person. „Liebe die Goblins“ kommt dagegen von 9 der 19, die größte Einigkeit in der Liste. Zähle Leute, sonst gewinnt die lauteste Stimme.
Öffne nun das größte Thema. „Zu schwer“ klingt nach einem Grund, das Spiel leichter zu machen. Aber in voller Länge zitiert drehen sich 9 der 14 Kommentare um eine Seilbrücke in Level 3: „Die Brücke wackelt und ich sehe meine Füße nicht.“ Das ist kein Schwierigkeitsproblem, sondern ein Kameraproblem auf einem Bildschirm, und eine viel kleinere Aufgabe.
Warum Kommentare mit dem Protokoll vergleichen?
Weil Reden und Handeln zwei verschiedene Dinge sind. Der Usability-Forscher Jakob Nielsen hat das in drei Regeln gefasst: Schau, was Leute wirklich tun, glaub nicht, was sie sagen, dass sie tun, und glaub erst recht nicht, was sie über ihr künftiges Tun vorhersagen.
Zwei Prüfungen an diesem Spiel, mit seinem anonymen Ereignisprotokoll:
| Sie sagten | Das Protokoll sagt | Lesart |
|---|---|---|
| „Level 4 hört nie auf“ (5 Leute) | Mittlere Zeit 11 Minuten, geplant waren 4 | Stimmt, und ist gemessen |
| „Ich habe immer die Karte benutzt“ (6 Leute) | 2 von 19 Sitzungen haben sie geöffnet | Das ist nicht passiert |
Das Erste ist bestätigt und kommt auf die Liste. Das Zweite zeigt, dass Leute glauben, eine Karte zu benutzen, die sie kaum öffnen. Wenn die Karte wichtig ist, hat sie ein Problem, und Lob verrät dir das nicht.
Ein Protokoll kann dir allerdings nicht sagen, wie sich etwas angefühlt hat. „Liebe die Goblins“ steht nirgends darin und ist vielleicht das Beste, was du diese Woche erfährst. Behalte das Lob: Es sagt dir, was du nicht kaputt machen darfst.
Bei 19 Leuten sind „6 fanden es zu schwer“ zwar 32 %, aber der wahre Anteil kann bei 15 bis 54 % liegen. Nutze Themen also, um zu finden, wo du hinschauen solltest, und zitiere sie nicht als Prozentzahlen.
Bevor du etwas in eine KI einfügst, entferne Namen, E-Mail-Adressen und Nutzernamen. Die Kommentare handeln vom Spiel, nicht davon, wer sie geschrieben hat.
Was machst du mit dem Ergebnis?
- Repariere, was mehrere trifft und was das Protokoll bestätigt.
- Behandle Wünsche als Symptome. „Baut Mehrspieler ein“ kann heißen: „Mir war in Level 2 einsam.“
- Geh hin und schau zu. Kommentare führen zum nächsten Test mit fünf Leuten.
Das sagst du deiner KI
Ich füge Kommentare aus dem Spieltest ein, jeder Person ist ein Kürzel wie P1 zugeordnet. Namen sind schon entfernt.
[Kommentare einfügen]
Mein Ereignisprotokoll liegt in [Datei oder Ordner].
1. Zeichne vor dem Sortieren aus dem Spiel als Mermaid-Zustandsdiagramm, was Spieler nach meiner Absicht tun sollen.
2. Gib jedem Kommentar eine Nummer. Sortiere sie in Themen, ein Kommentar darf in mehreren stehen.
3. Zeig eine Tabelle der Themen mit Kommentaren und verschiedenen Personen. Sortiere nach Personen.
4. Zitiere unter jedem Thema jeden Kommentar wörtlich mit seiner Nummer. Formuliere nichts um und füg nie ein Zitat hinzu, das nicht in meinem Text steht.
5. Such innerhalb jedes Themas nach einer kleineren, genauen Ursache, etwa einer Stelle im Spiel.
6. Vergleiche jede Aussage, die das Protokoll klären kann, mit dem Protokoll und dem Diagramm: was gesagt wurde, was passiert ist, die Zahlen dahinter.
Markiere jeden Fund: vom Protokoll bestätigt, vom Protokoll widerlegt oder reine Meinung. Schreib bei unter 30 Personen keine Prozentzahlen. Sag mir, was du aus diesen Daten nicht erkennen kannst, und fasse nichts über das hinaus zusammen, was die Zitate zeigen.
Oder spar dir das und schließ den MCP an: Dann findet deine KI das alles von selbst.MCP anschließen
So prüfst du es
- Nimm drei Zitate auf gut Glück und such sie in deiner Datei.
- Rechne die Tabelle zusammen. Decken die Kommentarnummern alles ab, was du eingefügt hast?
- Prüf selbst eine Protokoll-Aussage. Öffne die Datei und zähle.
- Lies den Stapel „Sonstiges“. Dort verstecken sich gute Überraschungen.