Woran erkennt man ein seriöses Testverfahren? Die kurze Antwort: an drei Gütekriterien, die jedes Verfahren belegen muss. Objektivität, Reliabilität und Validität entscheiden darüber, ob ein Test tatsächlich misst, was er vorgibt zu messen, und ob das Ergebnis unabhängig von der Person ausfällt, die den Test durchführt oder auswertet. In der Praxis zeigt sich häufig, dass Verfahren nach ihrem Eindruck beurteilt werden, obwohl sie keinen dieser Nachweise erbringen. Dieser Ratgeber gibt Ihnen ein Prüfraster an die Hand, mit dem Sie jedes Verfahren einordnen können, bevor Sie eine Führungsentscheidung darauf stützen.
Ein seriöses Testverfahren ist objektiv, reliabel und valide. Objektivität heißt: Das Ergebnis hängt nicht davon ab, wer den Test durchführt oder auswertet. Reliabilität heißt: Wiederholt man die Messung unter gleichen Bedingungen, kommt ein ähnliches Ergebnis heraus. Validität heißt: Der Test misst die Merkmale, die für den Erfolg in der konkreten Position tatsächlich zählen.
Die Reihenfolge ist logisch aufgebaut. Ein Verfahren, das vom Prüfer abhängt, kann nicht verlässlich messen. Ein unzuverlässiges Verfahren kann nicht gültig sein. Objektivität ist also Voraussetzung für Reliabilität, und beide sind Voraussetzung für Validität. Wer ein Verfahren bewertet, sollte deshalb in dieser Reihenfolge prüfen.
Wichtig ist außerdem die Trennung zwischen Behauptung und Nachweis. Dass ein Anbieter ein Verfahren als wissenschaftlich fundiert bezeichnet, ersetzt keine Kennwerte. Erst die dokumentierten Werte für Reliabilität und Validität zeigen, wie viel Aussagekraft ein Ergebnis tatsächlich hat. Eine ausführliche Einordnung eines einzelnen Verfahrens finden Sie in unserem Beitrag zum Bochumer Inventar.
Objektivität verlangt drei Dinge: eine standardisierte Durchführung, eindeutige Auswertungsregeln und einen Ergebnisspielraum, der gegen null tendiert. Ein Test, bei dem jeder Prüfer die Aufgabe anders erklärt oder die Zeit anders stoppt, ist nicht objektiv. Das gilt ebenso für Interviews, deren Leitfragen von Gespräch zu Gespräch wechseln.
Auch die Auswertung muss ohne Ermessen auskommen. Bei Fragebögen ist das meist unproblematisch, weil Schlüssel und Summenwerte festgelegt sind. Bei offenen Aufgaben, Präsentationen oder Interviews entscheidet dagegen die Bewertungsskala. Seriöse Verfahren beschreiben Ankerbeispiele für jede Stufe, damit zwei Auswerter zum selben Urteil kommen.
Als Auftraggeber können Sie das leicht prüfen: Fragen Sie, ob Auswerter geschult sind, wie sie Abweichungen bei Bewertungen abgleichen und ob es schriftliche Auswertungsanleitungen gibt. Fehlt eine dieser Antworten, ist die Objektivität nicht gesichert, egal wie professionell das Verfahren wirkt. Typische Fehlerquellen wie Halo-Effekt oder Sympathie behandelt unser Ratgeber Beurteilungsfehler in der Personalauswahl ausführlich.
Reliabilität wird in der Regel über Kennwerte ausgewiesen, etwa über die interne Konsistenz einzelner Skalen oder über die Stabilität bei Wiederholung der Messung. Ein Wert allein sagt jedoch wenig. Entscheidend ist, ob der Anbieter die Stichprobe angibt, auf der er ermittelt wurde, und ob sie zu Ihren Kandidaten passt.
Validität ist schwieriger zu belegen, weil sie den Zusammenhang mit einem späteren Kriterium betrifft. Die Kriteriumsvalidität fragt, ob Testergebnisse mit der tatsächlichen Leistung oder dem Verbleib in der Position zusammenhängen. Die Inhaltsvalidität fragt, ob die Aufgaben die Anforderungen der Position abbilden. Beide Nachweise sollten Sie anfordern, nicht nur einen davon.
Ein häufiger Fehler liegt in der Übertragung. Ein Verfahren, das in einer Branche validiert wurde, muss nicht in einer anderen funktionieren. Fragen Sie deshalb nach den Untersuchungsgruppen. Ein Test, der für Vertriebsberufe belegt ist, sagt wenig über Führungskräfte in der Produktion.
Prüfen Sie außerdem die Größe der Stichprobe. Kleine Untersuchungsgruppen liefern Kennwerte mit großer Unsicherheit. Ein seriöser Anbieter nennt deshalb nicht nur den Wert, sondern auch die Spanne, in der er liegen kann.
Für strukturierte Interviews nennt die Auswertung von Sackett et al. (2022) im Journal of Applied Psychology einen Validitätswert von r=.42. Der Wert ist ein Durchschnitt, keine Garantie für den einzelnen Fall.
Dieser Wert hat eine Schwankungsbreite. Für ihn wird in Sekundärquellen eine sehr breite Glaubwürdigkeitsspanne genannt. Das bedeutet: Auch ein gutes Verfahren kann im Einzelfall danebenliegen. Deshalb kombinieren seriöse Anbieter mehrere Methoden, etwa Interview, Arbeitsprobe und Testverfahren, statt sich auf ein einziges Instrument zu verlassen.
Für Auftraggeber heißt das: Nicht die Methode mit dem höchsten Einzelwert zählt, sondern die Kombination, die für die Position sinnvoll ist. Einen Überblick über die gängigen Verfahren bietet unser Beitrag Assessment-Center oder Einzelassessment.
Ein Testergebnis ist nur so gut wie der Vergleichsmaßstab, an dem es gemessen wird. Die Normstichprobe liefert diesen Maßstab. Sie beschreibt, wie eine Gruppe vergleichbarer Personen im Test abgeschnitten hat. Ohne sie lässt sich nicht sagen, ob ein Wert hoch, durchschnittlich oder niedrig ist.
Für die Praxis zählen drei Fragen. Passt die Normgruppe zu Ihren Kandidaten nach Funktion, Erfahrung und Bildungsweg? Wie alt ist die Norm? Und gibt es Hinweise, dass sich die Werte seit der Erhebung verschoben haben? Ein veralteter Vergleichsmaßstab kann Kandidaten systematisch benachteiligen.
Die DIN 33430 fasst Anforderungen an berufsbezogene Eignungsdiagnostik zusammen. Sie verpflichtet niemanden gesetzlich, bietet aber einen klaren Prüfmaßstab. Fragen Sie Anbieter, ob sich ihre Verfahren daran orientieren und welche Nachweise sie dafür vorlegen können.
Mit einem kurzen Fragenkatalog lässt sich jedes Verfahren in einem Gespräch einordnen. Die Antworten zeigen, ob der Anbieter die Gütekriterien kennt und sie belegen kann. Die fünf Fragen lauten:
Die Frage nach dem Nutzen führt weiter als die Frage nach der Methode. Eine Eine Fehlbesetzung bindet Führungszeit, Teamkapazität und Budget. Was eine Fehlbesetzung kostet und wie Sie das Risiko senken, zeigt unser Ratgeber Kosten einer Fehlbesetzung in der Führung. Wer die Ergebnisse später nutzt, findet im Beitrag vom Testergebnis zum Entwicklungsplan einen Weg, sie in die Praxis zu übersetzen.
Wenn Sie ein konkretes Verfahren gemeinsam prüfen möchten, beginnen Sie mit diesen fünf Fragen. Die Antworten sagen mehr über die Qualität eines Anbieters als jede Werbeaussage.
Objektivität heißt, dass das Ergebnis unabhängig von Durchführung und Auswertung ist. Reliabilität meint die Verlässlichkeit bei Wiederholung. Validität beschreibt, ob der Test das misst, was für die Position zählt. Die drei Kriterien bauen aufeinander auf: Ohne Objektivität keine Reliabilität, ohne Reliabilität keine Validität.
Nein. Die DIN 33430 ist ein Standard mit Anforderungen an Verfahren der berufsbezogenen Eignungsdiagnostik und keine gesetzliche Pflicht. Sie dient als Maßstab für Anbieter und Auftraggeber. Entscheidend ist, dass ein Verfahren seine Gütenachweise dokumentiert und zu der konkreten Position passt.
Laut Sackett et al. (2022) liegt die Vorhersagekraft strukturierter Interviews bei r=.42 für die spätere Arbeitsleistung. Das ist ein Durchschnittswert über viele Studien mit großer Schwankungsbreite. Deshalb empfiehlt sich die Kombination mit weiteren Methoden statt eines einzelnen Instruments, etwa mit einer Arbeitsprobe oder einem geprüften Testverfahren.
Ein gutes Testhandbuch nennt Gütenachweise mit Kennwerten, beschreibt die Normstichprobe mit Erhebungsjahr und Zusammensetzung, benennt Einsatzgrenzen und enthält eine eindeutige Auswertungsanleitung. Fehlt einer dieser Bausteine, sollten Sie das Verfahren nicht als alleinige Entscheidungsgrundlage verwenden. Fragen Sie den Anbieter vorab danach, bevor Sie Kandidaten einladen.
Transparenz gegenüber Bewerbern gehört zu den Ansprüchen an ein seriöses Verfahren. Kandidaten sollten wissen, was getestet wird, wozu das Ergebnis dient und wie es ausgewertet wird. Wie Sie das im Prozess verankern, beschreibt unser Ratgeber Testverfahren gegenüber Kandidaten kommunizieren. Wer offen erklärt, senkt Rückfragen und Misstrauen im Prozess.
In der Regel nicht. Ein einzelner Test erfasst nur einen Ausschnitt der Anforderungen. Seriöse Auswahl kombiniert mehrere Verfahren und prüft jedes einzeln auf Gütekriterien. Ob und wie ein Persönlichkeitstest im Bewerbungsprozess eingesetzt werden darf, behandelt unser Beitrag zur Zulässigkeit von Persönlichkeitstests in Bewerbungen.
Sie möchten ein Testverfahren gemeinsam prüfen?
Im kostenlosen Erstgespräch zeigen wir Ihnen, welche Gütenachweise ein Verfahren für Ihre Position mitbringen sollte und welche Fragen Sie an Anbieter stellen. Münker & Partner wurde 2019 gegründet und arbeitet an den Standorten Düsseldorf und München.
