Bezugsgruppenorientierte Tests

7 Schritte zur Konstruktion normorientierter Schulleistungstests

1 Analyse der Lehrpläne

  • Sicherung der inhaltlichen Validität: Lehrpläne nach Lehrzielen analysieren
  • Erfassung der Lehrziele durch ExpertInnenratings der Lehrpläne (curriculare Validität)
  • Erfassung der Lerngelegenheit durch Lehrer- & Schülerurteile, Klassenunterlagen
  • Erstellen einer Lehrzielmatrix: stellt Suchschema dar und erleichtert das Auffinden geeigneter Aufgaben (Auf welcher Höhe der Anforderungen sollen welche Inhalte eines Lehrziel erfasst werden?)
  • Dimensionen der Matrix: Inhalt (= Lehrziele) & Verhalten (Taxonomie von Bloom, 1976; Wissen , Verstehen, Anwenden, Analyse, Synthese, Beurteilung)

2 Entwurf von Testitems (Aufgaben)

  • allgemeine Regeln nach Ebel: keine doppelten Verneinungen, nicht zu viele Lücken in Lückentext, einfache Satzkonstruktion, eindeutige und möglichst klare Formulierungen, keine verdeckten Hinweise auf richtige Antwort usw.
  • formale Gestaltung:
    • - gebundene Antworten: + Auswahlantworten: richtig/falsch; multiple choice
    • + Ordnungsaufgaben: Zuordnungs-; Umordnungsaufgaben
    • - freie Antworten: + Ergänzungsaufgaben (Lückentext)
    • + Kurzantwortaufgaben
    • + Kurzaufsatzaufgaben
  • Festlegung der zugelassenen Hilfsmittel
  • Konstruktion von 50 – 100% mehr Aufgaben als für Endform nötig
  • Beurteilung der Aufgaben durch erfahrene LehrerInnen (ExpertInnenrating)
  • Aufgabenpool soll die Lehrzielbeschreibung abdecken

3 Vorerprobung an wenigen Fällen

  • Überprüfung der Verständlichkeit der Aufgabenformulierung

4 Testdurchführung an einer kleine Stichprobe (200 – 400 SS)

  • Überprüfung der Aufgaben- und Testlänge (SchülerInnen- & LehrerInnenkommentare)

5 Aufgaben- und Testanalyse mit den Daten der ersten Stichprobe.

  • Ermittlung der Aufgabenschwierigkeit (eigentlich: Lösungswahrscheinlichkeit; prozentualer Anteil der auf diese Aufgabe entfallenden richtigen Antworten)
    • bei normorientierten Tests zwischen 20 und 80 (kriteriumsorientiert 80 – 95)
  • Anordnung der Aufgaben nach ansteigender Schwierigkeit (Beginn: Eisbrecherfragen)
  • Distraktoranalyse bei gebundenem Antwortformat: Analyse der Wahlhäufigkeit der Distraktoren (wie oft werden Falschantworten angekreuzt?)
    • Distraktor sollte zwischen 10 – 15% liegen, p = 50% optimal für richtige Lösung
    • Beispiel bei gebundenem Antwortformat:
      • Erstellung einer Tabelle mit Spalten für Distraktoren der versch. Aufgaben, Zeile für Gruppe der besten und Zeile für Gruppe der schlechtesten Arbeiten
      • Anlegen einer Strichliste über die Wahlhäufigkeiten der einzelnen Antwortmöglichkeiten in den beiden Gruppen
    • ungünstige Distraktoren: werden von guter Gruppe ebenso häufig oder häufiger gewählt als von schlechter oder weder noch z.B.:
Distraktor 1 Distraktor 2 Distraktor 3
gute Gruppe 1 5 0
schlechte Gruppe 4 4 0
günstig ungünstig ungünstig
  • Berechnung der Trennschärfe: Wie gut trennt Aufgabe zw. guten & schlechten SchülerInnen?
    • Zweck des Tests ist ja Ermittlung der starken bzw. schwachen SchülerInnen
    • Korrelation zwischen Leistung einer Person bei einer Aufgabe (Aufgabenwert) vs. Leistung im Test insgesamt (Gesamtwert) sollte hoch sein
    • bei mittlerer Aufgabenschwierigkeit am höchsten:
      • zu leichte Aufgabe: gute & schlechte Schüler lösen sie richtig
      • zu schwere Aufgaben: zu wenige Schüler lösen sie richtig; zu geringe
    • Differenzierung im unteren Bereich, z.B. so:
      • Ordnen der Testbögen nach Gesamtwert
      • Entnahme der oberen und unteren 25%
      • Auszählung der richtigen Antworten bei guten 25% und schlechten 25% (z. B. 5 x richtig in guter Gruppe, 1 x richtig in schlechter Gruppe)
      • Anzahl der richtigen Antworten in guter Gruppe minus Anzahl der richtigen Antworten in schlechter Gruppe (z. B. 5 - 1 = 4)
      • Division der erhaltenen Zahl durch Gesamtzahl der richtigen Antworten in der guten und schlechten Gruppe (z. B. 5 + 1 = 6; 4 : 6 = 0,66)
    • Trennschärfe sollte möglichst nahe an +1 liegen, bei 0 oder negativen Zahlen ungünstig
  • erste Reliabilitätsschätzung
  • Berechnung der Verteilungskennwerte der Tests: Mittelwert, Streuung, Normalverteilung, usw.

(6) Testvalidierung

(7) Testeichung an einer für den Anwendungsbereich repräsentativen Stichprobe

  • Berechn. von Normwerten, die als Vergleichsgrundlage bei späterer Anwend. des Tests dienen
  • mögliche Normierungsarten:
    • Standardnormen: Mittelwert =0, Streuung =1 (wenn Rohwerte des Tests normal verteilt)
    • Standardnorm-Äquivalente: Standardnorm x 100
    • Prozentrangnormen: Wie viel Prozent der Eichstichprobe liegen oberhalb bzw.unterhalb der Leistung der SchülerInnen?
  • Problem: u.U. nicht repräsentative Stichprobe, da eher besonders motivierte und / oder gute Klassen und LehrerInnen teilnehmen
Sofern nicht anders angegeben, steht der Inhalt dieser Seite unter Lizenz Creative Commons Attribution-ShareAlike 3.0 License