Neues Wertungssystem für Tests

[Hans]

Hast du mal ein Softwareprojekt in dieser Größe in deiner Freizeit realisiert?

Vermutlich nicht. Aber unter den alten Tests die alten Bewertungen anzuzeigen, sprengt sicher nicht eure technischen oder zeitlichen Möglichkeiten. Wenn ihr es vorzieht, die alten Werte umzurechnen, ist dagegen ja gar nichts zu sagen - nur das "technisch-nicht-möglich"-Argument halte ich für ziemlich dünn.

Anzeigen ist natürlich kein Problem. Trotzdem müssen die alten Tests (und so alt sind viele von diesen dann ja auch gar nicht) ja irgendwie im neuen System organisiert werden und da wir dort so viel wie möglich automatisieren wollen können wir nicht in derselben Kategorie zwei Bewertungssysteme parallel betreiben. Das ist ja auch eine "Altlast", die wir in der Zukunft dann mitschleppen müssten.

[Crow]

An Crow
Das Herr Dr kommt von einer Grundschule an denen man nicht mit den Kinder und deren Eltern redet oder?
Diesen "So aufwendig testen wir für sie" - Kram kann ich eigentlich nichts anfangen, außer die generelle Fähigkeit zu vernüftigen Testberichte zu schreiben. Ich muß aber zugeben das eine Erklärung des Wertungsystem notwendig werden würde, wenn mit den Konventionen bricht.

Ich bezog mich auf das Gutachten, nicht auf die Person, die dafür ihren Kopf hinhält!
Ansonsten ist es dein gutes Recht, mit einer Hintergrunderklärung nichts anfangen zu können. Wir leben in einem freien Land *räusper*, hier darf man sogar wählen gehen, ohne wissen zu müssen, was im Parteiprogramm steht. Wird zwar niemand nachvollziehen können, der schon mal in eine Situation geraten ist, in der mit zweierlei Maß gemessen wurde, aber ich respektiere eine solche "Meinung" zumindest. Deine Diskussionsführung lässt eine solche leider ein wenig vermissen. (oder ganz konventionell: 5 mit Sternchen für das Schweinchen)
Ich kann halt hingegen nichts mit einer Seite resp. ihren Wertungen anfangen, die mir nicht sagen möchte, wie sie zu deren Ergebnis gelangt sind. Wird schon seinen Grund haben, warum viele Seite zumindest eine Philosophie (wie z.B. Eurogamer hier) o.ä. ihres Test- bzw. Wertungssystems anbieten. (und sei es nur eine Auflistung der Wertungsbereiche wie bei IGN: http://de.ign.com/static/4587/So-wertet-IGN)

Ich habe übrigens inzwischen ein wenig recherchiert, wie andere Seiten testen und welche Systeme sie verwenden. Ist ganz interessant, was da so zum Vorschein kommt. Meistens wird eine 10er-Skala verwendet (10x), gefolgt von Prozenten (8x) und zuletzt die 5-Sterne-Version (5x). Eine Seite (http://gamecritics.com/) verdient dabei besondere Beachtung, da sie als einzige auf eine abschließende Wertung verzichtet! Die Hälfte aller Seiten hat übrigens eine Infoseite für ihr Wertungsschema. Die Anzahl der gesichteten Seiten darf sich gerne jeder selbst ausrechnen.

Aber der bisherigen Resonanz hier nach zu urteilen, ist das hier vermutlich uninteressant. Mein neuster Vorschlag: Einfach unter jeden Test das Gold-Logo drunter setzen und alle dürften zufrieden sein.

[Simon]

Aber der bisherigen Resonanz hier nach zu urteilen, ist das hier vermutlich uninteressant. Mein neuster Vorschlag: Einfach unter jeden Test das Gold-Logo drunter setzen und alle dürften zufrieden sein.

Nun mal nicht so empfindlich. Dass elfant etwas sagt, was dir nicht passt, heisst ja nicht, dass hier keiner was mit deinen Ideen und Gedanken anfangen kann.

[Aquarius]

Ich habe übrigens inzwischen ein wenig recherchiert, wie andere Seiten testen und welche Systeme sie verwenden. Ist ganz interessant, was da so zum Vorschein kommt. Meistens wird eine 10er-Skala verwendet (10x), gefolgt von Prozenten (8x) und zuletzt die 5-Sterne-Version (5x). Eine Seite (http://gamecritics.com/) verdient dabei besondere Beachtung, da sie als einzige auf eine abschließende Wertung verzichtet! Die Hälfte aller Seiten hat übrigens eine Infoseite für ihr Wertungsschema. Die Anzahl der gesichteten Seiten darf sich gerne jeder selbst ausrechnen.

Das ist doch mal eine interessante Information! Daß diese 3 Systeme den Löwenanteil unter allen Bewertungssystemen ausmachen, ist wohl kaum zu bezweifeln. Ich hätte allerdings gedacht, daß das 100er Prozentsystem immer noch weit vorne liegt.

[Crow]

Ach was, da schätzt du mich falsch ein, Simon. Das ist ganz einfach eine nüchterne Erkenntnis, nichts weiter. Und elfant hat auch nichts gesagt, was mir nicht passt, sondern sich für meinen Geschmack nur ein wenig im Ton vergriffen. (ich mag halt nicht, wenn jemand absichtlich meine Worte verdreht, um einer Denunzierung Platz zu machen) Aber ich denke, elfant wird das schon richtig einzuordnen wissen, wenn ich mich nicht komplett bei ihm täuschen sollte.

Das ist doch mal eine interessante Information! Daß diese 3 Systeme den Löwenanteil unter allen Bewertungssystemen ausmachen, ist wohl kaum zu bezweifeln. Ich hätte allerdings gedacht, daß das 100er Prozentsystem immer noch weit vorne liegt.

Wer Interesse daran hat: Ich habe das in einem Excel-Sheet zusammengetragen. Schicke ich gerne auf Anfrage via PM zu.

[Aquarius]

Poste die Liste doch einfach hier rein. Die 10+8+5 Zeilen sollten eigentlich niemanden stören.

[elfant]

Wird zwar niemand nachvollziehen können, der schon mal in eine Situation geraten ist, in der mit zweierlei Maß gemessen wurde, aber ich respektiere eine solche "Meinung" zumindest. Deine Diskussionsführung lässt eine solche leider ein wenig vermissen. (oder ganz konventionell: 5 mit Sternchen für das Schweinchen)

Das kann ich relativ einfach erklären: Ich komme auch einer anderen Streitkultur. Wenn ich Deine Meinung oder weit gefasster Dich nicht respektieren würde, hätte ich Deinen Betrag gar nicht aufgegriffen. Ich nehme an an, daß von Dir gemeinte Form des Respektierens bei mir erst in der Synthese stattfindet.

[Crow]

@aquarius: dabei geht leider die formatierung flöten. aber ich stelle es mal für alle pm-verweigerer als anhang ein, wenn mir jemand verrät, in welches hier erlaubte format ich xlsx konvertieren muss. edit: ok, hat sich erledigt. hab es als rar verpackt.

@elfant: damit kann ich leben. danke für deine ergänzung hierzu.


Nachtrag: Aktualisierte Liste befindet sich nun als Anhang im nächsten Beitrag von mir.

[elfant]

Nein die Ergänzung kommen erst jetzt:
Ich komme zu einer anderen Konsequenz als das Gutachten. Das Problem liegt für mich in den Lehrkräften.
Als gewalttätige Streberleiche weiß ich natürlich das Noten nicht objektiv sind, auch wenn dieses die Begründung gegen freiwillige Hilfskräfte erhoben wird.
Ich kenne die gesamtdeutsche Situation nicht, sondern nur die damalige Situation an meinen Schulen (was uns nicht wirklich weiterhilft da alle sylter Schulen im oberen Drittel des Bundeslandesdurchschnitt befanden / befinden) und den Schulen von Bekannten. Ich kenne Bayern, welche ohne einen Dreisatz verwenden zu können eine 3 in Mathe hatten und gleichaltrige Bremer mit einer 5, obwohl sie den Schuljahresstoff konnten.
Ich kenne auch keine Angst vor Noten. Schlechte Noten waren meinen Eltern ebenso scheinbar "egal" wie gute Noten. Wichtig war nur das ich mich angestrengt hatte.
Die Lehrer gaben ihre Noten in den unteren Klassenstufen auch immer mit dem geforderten Kontext ab.
Und ich kenne den schlechten Lehrer, welcher all das Kritisierte in der Untersuchung in sich vereint. Muß ich erwähne, daß wir auf dem Kriegsfuß miteinanderstanden?

All diese (meine) Punkte berühren aber nicht die Bewertung eines Spieles. Ein Testbericht liefert einem immer den Kontext, welchen man benötigt. Man erkundigt sich über den Autoren, in dem Testberichte von einem selbst bekannten Spielen ließt und versucht dann zwischen den Zeile zu lesen.
Wie ich nun eine Note lese, ist in der Tat schwieriger. Sind 7/10 jetzt gut oder eher mittelmaß? Dafür kann man eine Erklärung liefern oder man verlangt, daß der Leser es sich selbst erarbeitet in dem er den Test auch ließt (Lernkulturmäßig bin ich natürlich für das 2.).
Die "Wertungsphilisophie" von Eurogamer entspricht einem dem Ansatz dem (eiligem) Leser zusagen: "Ein durchschnittliches Spiel hat bei uns nur 5/10 und keine 70% beziehungsweise 7/10". Aber es kommt meiner Ansicht nach noch nicht einmal ansatzweise zu der von Dir geforderten Erklärung, wie man zu den Ergebnissen kommt.
Die Computerbild Spiele liefert zwar jenes sogar alibimäßig als Doppelseite, aber da sind die Testberichte niveaumäßig 3 Meter unter der Erde. (Hierdas Video damit man sich ncht das Heft kaufem muß)
Krawall (hier) gibt die Einzelwertungen in den Hauptkategorien bekannt.
Ich frage nun was Deiner Vorstellung jetzt am nächsten kommt?

Ach und Myst ich habe zu spät gelesen, daß ich Dich hätte enttäuschen können.

[Crow]

Auch wenn nun ich Dich vielleicht enttäuschen muss , aber ich möchte da jetzt gar nicht unbedingt auf die Suche nach den Schuldigen gehen. (die sehe ich nicht (nur) bei den Lehrkräften, mehr eine oder zwei Etagen höher) Wäre hier auch falsch aufgehoben. Mir ging es im Kontext zu Bewertungen bei Tests darum, dass ich es bei weniger gebildeten Lesern nicht nur pädagogisch für sinnvoller erachte, wenn sie sich die Wertung selber aus dem Text erschließen müssen. Gleichzeitig wird - wie es im Gutachten erwähnt wird, meine ich - durch eine Herausforderung und deren eigene erarbeitete Lösung das Belohnungszentrum bedient. (was auch der Grund dafür sein dürfte, warum heute in Spielen so gerne mit Achievements getrickst wird) Es fördert nicht nur den Lernprozess, sonder man fühlt sich auch noch gut danach und man kann eine Wertung gleich viel besser einschätzen.

Wie Du siehst, bin ich da auch völlig bei Dir: Ich persönlich lese eigentlich ausschließlich den Text und die Faktenbox. Aber man hat leider nicht immer die Zeit (oder bei einigen Spielen auch einfach nicht die Lust) und da wäre es schon schön, wenn man sich zumindest halbwegs auf die Wertung verlassen kann. Dabei kann es hilfreich sein, den Tester oder aber halt auch die Wertungsphilosophie etwas besser zu "kennen". Letztere ist in der Tat bei der CB Spiele vorbildlich, mit dem Rest hast Du aber leider auch recht. Aber zumindest hat sie gegenüber einer Website den Vorteil, dass sie sich prima als Beilage auf dem Klo - die Art der Nutzung bleibt dem Besetzer überlassen - eignet. (ich gebe ja zu, ich kaufe die gelegentlich wegen der Vollversion)
Was ich nun bevorzugen würde, weiß ich auch nicht genau. Eine Angabe der Gewichtung einzelner Kriterien wäre schön, aber eigentlich bin ich ja schon zufrieden, wenn überhaupt eine Infoseite vorhanden ist. Aber nun erstmal genug mit dem Myst hier.

Als Entschädigung für alle Anderen habe ich eine leicht aktualisierte Statistik angehangen.

[elfant]

Ok Archivments funktionieren sogar bei mir, wenn ich auch entsprechend gefordert wurde, was aber bei 99% der Archivments nicht der Fall ist, wenn ich Starcraft 2 und die Demo von Diablo 3 mir ansehe.
Aber eigenlich diente der Abschnitt nur dafür, warum Spiele keine Schüler sind und man den Spieler heute in jedem Genre heute weniger zutraut als früher. Wie einfach wäre ein Doom 2 auf Nightmare gewesen, wenn sich die Lebenspunkte generieren würden? Warum lasse ich einen Leser nicht den gesamten Test lesen und stelle oben eine Infobox mit den einzelnen Wertungen zusammen, wenn er es eilig hat?

Das Problem was das die CBS zu kaschieren versucht (welche ich regelmäßig lese... Asche über mich) hat aber jedes Wertungsschema: Was vergebe ich für Spielspaß?

PS: Eine nette Tabelle, auch wenn ich ein 10 - er System mit halben Punkten für ein verkapptes / getarntes Prozentsystem halte.

[Crow]

Bei mir funzen diese Steam Dinger nun wiederum gar nicht. Ein Achievement ist für mich z.B., ein Rätsel in einem Adventure ohne Hilfe (oder höchstens gaaanz dezent) gelöst zu haben, garniert mit einer schönen Cutscene oder ähnliches.
Heute wird dem Spieler immer weniger zugetraut und genau das halte ich für den falschen Ansatz. Man sollte sie wieder mehr vor echte Herausforderungen stellen! Macht auch viel mehr Spaß als so eine alberne Einblendung "Du bist jetzt der Suppenkasper!" und was es da nicht so alles gibt. Nur aus diesem Grund hatte ich das mit dem Gutachten aufgeführt, weil sonst hast du natürlich recht und das lässt sich jetzt nicht so 1:1 übertragen.

Und danke. Die 10er mit halben Schritten sind eigentlich 20er. (wenn wertungsrelevant) Ich gebe allerdings zu, dass ich dreisterweise 1 oder 2 Seiten mit verkappten Prozentsystem (weil faktisch nur eine Kommaverschiebung) zum 10er-System hinzu gerechnet habe. (weil kein Bock auf noch ne neue Rubrik) Und überhaupt erhebe ich keinen Anspruch auf 100% fehlerfrei! Die Liste darf auch gern von irgendwem erweitert werden, wem noch Seiten einfallen.

[elfant]

Bei mir funzen diese Steam Dinger nun wiederum gar nicht. Ein Achievement ist für mich z.B., ein Rätsel in einem Adventure ohne Hilfe (oder höchstens gaaanz dezent) gelöst zu haben, garniert mit einer schönen Cutscene oder ähnliches.

Wie gesagt, wenn ich auch gefordert wurde, wirken sie, was aber meistens fast der Fall ist.

Heute wird dem Spieler immer weniger zugetraut und genau das halte ich für den falschen Ansatz. Man sollte sie wieder mehr vor echte Herausforderungen stellen!

Genau jenes meinte ich.

Das war keine Kritik an Deiner Arbeit. Ich müßte es mir noch einzel ansehen, aber ich kenne die Ign und 7,5 halte ich eben für eine verkappte 75 %. Es sagt ja niemand, daß ich damit recht habe.

[Simon]

Zehnersysteme mit Halbschritten kann ich noch einigermaßen als eigenständig akzeptieren (auch wenn mir bei einer Umstellung für den Treff lieber wäre, mich auf volle Punkte zu beschränken). Zehnersysteme mit zehn Zwischenschritten halte ich aber auch für tatsächliche Prozentsysteme, weil es eben auch genau 100 Stufen gibt. Eine so feine Skala kann man für die Mittlung der Benutzerbewertungen benutzen, aber für unseren Zweck, sich von einer Prozentwertung zu entfernen, halte ich es sinnfrei.

[Crow]

Sehe ich genauso und war genau das, was ich mit der Verschiebung des Kommas meinte. Eine solche Pseudoumstellung wäre eher peinlich.

@elfant:
Bei IGN irrst Du Dich aber leider. Eine 7,5 kann dort genauso gut 73% wie auch 78% beinhalten, je nachdem, wie sie dort runden. Es sind halt rechnerisch nur 20 Stufen möglich, genau das ist ja der kleine, aber feine Unterschied. Genau das sagt eben die Infoseite aus. Es gibt allerdings in der Tat Seiten, die z.B. eine 7,3 vergeben und wo Du absolut recht hättest.