Gütekriterien

Jedes wissenschaftliche Verfahren muss sogenannten Gütekriterien genügen, damit verlässliche Schlussfolgerungen aus den Ergebnissen gezogen werden können. Diese Qualitätsanforderungen an Tests bzw. Messverfahren werden in die drei Hauptgütekriterien Objektivität, Reliabilität und Validität sowie weitere Nebengütekriterien unterteilt.

Objektivität

Unter Objektivität versteht man, dass die Messergebnisse unabhängig vom Testleiter sein müssen. Dieser darf keinen Einfluss auf die Durchführung, Auswertung oder Interpretation nehmen. Bei unterschiedlichen Testleitern müssten bei ein- und derselben Testperson also (annähernd) die gleichen Ergebnisse und Schlussfolgerungen herauskommen. Erreicht werden kann dies durch eine höchstmögliche Standardisierung des Verfahrens. Regeln für die Durchführung, Auswertung und Interpretation sollten hierzu in einem Testmanual festgehalten werden.

Die Objektivität unterteilt sich in die folgenden drei Unterformen:

  • Durchführungsobjektivität
  • Auswertungsobjektivität
  • Interpretationsobjektivität

Für weitere Informationen zu diesem Gütekriterium und dessen Unterformen klicken Sie hier.

Reliabilität (Zuverlässigkeit)

Die Reliabilität, oder auch Zuverlässigkeit, bildet die Messgenauigkeit eines Verfahrens ab. Jede Messung ist mit einem Messfehler behaftet, jedoch ist der wissenschaftliche Anspruch, diesen so gering wie möglich zu halten. An diesem Punkt greift das Gütekriterium Reliabilität ein. Denn: Je genauer eine Messung ist, desto geringer ist auch der Messfehler. Um ein Konstrukt so zuverlässig wie möglich zu erfassen, wird es anhand einer Vielzahl von Items erfasst. Dies liegt in der Annahme begründet, dass sich die Messfehler ausmitteln und so eine höhere Reliabilität erreicht werden kann. Als Voraussetzung für die Reliabilität muss Objektivität gegeben sein, da eine mangelhafte Objektivität den Messfehler stark erhöht.

Zur Erfassung und Überprüfung der Reliabilität stehen folgende Möglichkeiten zur Verfügung:

  • Retest-Reliabilität
  • Split-Half-Reliabilität
  • Paralleltest-Reliabilität
  • Interne Konsistenz

Möchten Sie mehr über die Reliabilität erfahren und wie diese erfasst werden kann, klicken Sie hier.

Validität (Gültigkeit)

Die Validität, oder auch Gültigkeit, erfasst, inwiefern ein Verfahren überhaupt das misst, was es messen soll. Sie kann somit als das wichtigste Gütekriterium aufgefasst werden. Denn auch wenn ein Verfahren objektiv und reliabel ist, bringt es dennoch keine aufschlussreichen Ergebnisse, wenn es gar nicht das erfasst, was man messen möchte, und dementsprechend nicht zur Fragestellung passt. Da die Validität schwieriger zu erfassen ist als beispielsweise die Objektivität, sollten mehrere Methoden in einen Validierungsprozess einbezogen werden. Zudem sollten Objektivität und Reliabilität gegeben sein, da andernfalls keine gültigen Schlüsse gezogen werden können.

Folgende Arten der Validität können unterschieden werden:

  • Inhaltsvalidität
  • Augenscheinvalidität
  • Kriteriumsvalidität
  • Konstruktvalidität

Klicken Sie hier, um nähere Informationen zur Validität und ihren Unterformen zu erhalten.

 

Im Folgenden wird eine Auswahl der wichtigsten Nebengütekriterien beschrieben.

Normierung

Um die Ergebnisse einer Testperson sinnvoll interpretieren zu können, wird ein Bezugssystem benötigt. Dies wird in Form einer repräsentativen Stichprobe ermöglicht. Repräsentativ bedeutet hierbei einerseits, dass die Normstichprobe ausreichend groß sein muss. Andererseits muss sie der Gesellschaftsstruktur entsprechen, also in Bezug auf relevante Kriterien wie z. B. das Alter, das Geschlecht oder den Bildungsstand vergleichbar mit der Zielgruppe des Verfahrens sein. Zudem ist es unabdingbar, die Normstichprobe aktuell zu halten. Die DIN 33430 gibt vor, dass die Aktualität spätestens alle acht Jahre überprüft wird. Daraufhin muss gegebenenfalls eine Neunormierung durchgeführt werden. Mit Hilfe von Normtabellen können die Testergebnisse dann beispielsweise in Form von Prozenträngen entnommen und sinnvoll interpretiert werden.

Unverfälschbarkeit

Bei der Unverfälschbarkeit geht es darum, dass die Testperson ihre Ergebnisse nicht in eine gewünschte Richtung verzerrt bzw. verzerren kann. Das dahinterstehende Phänomen nennt sich soziale Erwünschtheit und bedeutet, dass eine Testperson so antwortet, wie sie denkt, dass es von anderen Personen als wünschenswert angesehen wird. Um dem entgegen zu wirken, sollte das Verfahren so konstruiert sein, dass die Testperson nicht erkennt, wie sie antworten muss, um sich besonders gut darzustellen. Bei Leistungstests spielt dieses Gütekriterium eher eine untergeordnete Rolle, da hier ausdrücklich gefordert wird, das bestmögliche Ergebnis zu erreichen. Beispielsweise bei Persönlichkeitstests kann das Phänomen der sozialen Erwünschtheit jedoch ein großes Problem darstellen.

Nützlichkeit

Ist das genutzte Verfahren zur Beantwortung einer bestimmten Fragestellung tauglich? Mit dieser Frage beschäftigt sich das Gütekriterium der Nützlichkeit, auch Utilität genannt. Das Verfahren muss also praktisch bedeutsam sein, um als Grundlage für eine Entscheidung dienen zu können.

Akzeptanz

Das Verfahren sollte von der Testperson akzeptiert und positiv aufgenommen werden. Eine ablehnende Haltung könnte ansonsten beispielsweise zur Verweigerung des Verfahrens oder zum Überspringen von Aufgaben führen. Eine hohe Augenscheinvalidität und hohe Transparenz gegenüber der Testperson können die Akzeptanz fördern. Auch ein ausführliches Feedbackgespräch im Nachgang erhöht die Akzeptanz der Testperson wissenschaftlichen Methoden gegenüber im Allgemeinen.

Testfairness

Bei einem wissenschaftlichen Verfahren darf keine Personengruppe z. B. aufgrund ethnischer, soziokultureller oder geschlechtsspezifischer Aspekte benachteiligt werden. Die einzelnen Aufgaben dürfen sich über diese Personengruppen hinweg also nicht in Bezug auf ihre Schwierigkeit unterscheiden. Als Beispiel kann hier die Sprache genannt werden, die bei Personen mit unterschiedlichen soziokulturellen Hintergründen verschieden stark ausgeprägt ist. Aus diesem Grund werden einige Verfahren sprachunabhängig konstruiert. Aber auch die Nutzung von Computern stellt für Personen mit verschiedenen Altersstufen unterschiedliche Herausforderungen dar.

Testökonomie

Unter Ökonomie wird die Wirtschaftlichkeit eines Verfahrens verstanden. Konkret: Der Nutzen muss die Kosten übersteigen. Das bezieht sich vor allem auf zeitliche und finanzielle Kosten. In Bezug auf die zeitlichen Kosten muss der Aufwand für die Testdurchführung betrachtet werden. Hierunter fällt jedoch nicht nur die Zeit, die eine Testperson für die Durchführung benötigt. Auch der Aufwand des Testleiters in Form von Vorbereitungen, der Auswertung und der Rückmeldung der Ergebnisse fallen hierunter. Die finanziellen Kosten betreffen vor allem das Testmaterial, also die Kosten zur Beschaffung sowie eventuell anfallende Lizenzgebühren. Zwei Möglichkeiten, um den Nutzen zu erhöhen, sind die Verwendung von Computertests und das adaptive Testen. Beim letzteren werden weitere Aufgaben in Abhängigkeit von der Beantwortung vorheriger Aufgaben gestellt und dem Niveau der Testperson angepasst. Hierdurch kann die Zeit für die Testdurchführung ohne Informationsverlust verringert werden, da leichte oder unpassende Aufgaben übersprungen werden.

Zumutbarkeit

Während die Testökonomie sowohl den Testleiter als auch die Testperson betrifft, umschließt die Zumutbarkeit nur die Testperson. Diese darf nicht zu stark belastet werden, sowohl in Bezug zum Nutzen als auch absolut. Was als zumutbar gilt, wird maßgeblich von gesellschaftlichen Normen beeinflusst.

Skalierung

Dieses Gütekriterium spielt vor allem bei Leistungstests eine große Rolle. Gemeint ist, dass sowohl Differenzen zwischen Personen als auch innerhalb einer Person adäquat dargestellt werden. Besitzt Testperson A also eine höhere mathematische Kompetenz als Testperson B, sollte Testperson A bei einem mathematischen Kompetenztest auch besser abschneiden. Ebenso sollte eine Person, die eine ausgeprägtere sprachliche als mathematische Stärke aufweist, diese Stärke auch in einem Test entsprechend besser zeigen können.

 

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

KOSTENLOSES ERSTGESPRÄCH