Abschlussnoten fair vergleichen? Das geht!
Für Recruiter wird es immer schwerer, Studienleistungen von Bewerbern einzuschätzen und miteinander zu vergleichen. Wir haben mit Katharina Lemmens und Dr. Philipp Karl Seegers von candidate select (CASE) darüber gesprochen, warum das so ist und unter welchen Voraussetzungen sich Abschlussnoten fair beurteilen lassen.
Warum ist es für Recruiter heutzutage so schwer, die Studienleistungen von Kandidaten miteinander zu vergleichen?
Philipp: In Deutschland existieren etwa 30.000 Studiengänge an knapp 500 Hochschulen. Die Anzahl ist in den letzten Jahren stark angestiegen: Es sind viele kleine Hochschulen neu entstanden, aber auch große Universitäten selbst haben das Angebot an Studiengängen erweitert. Und an jeder Hochschule herrscht eine andere Notenkultur.
Katharina: Selbst Studiengänge innerhalb einer Hochschule können sich von der Notenkultur her stark unterscheiden.
Philipp: Genau! Überall wird nach anderen Vorgaben benotet und es ist unmöglich – bei 30.000 Studiengängen – jeden einzelnen Abschluss einschätzen zu können. Aufgrund dieser Komplexität und Vielfalt ist es so enorm schwierig für Personalverantwortliche einen Überblick zu behalten, welcher Studiengang wie kompetitiv ist und wie benotet.
Wie sind Noten und Abschlüsse aus eurer Sicht mit Blick auf die Gesamtbeurteilung eines Bewerbers einzuordnen? Also, welche Gewichtung sollte dieser Aspekt bei der Bewerberauswahl haben?
Katharina: Die nominelle Note an sich hat überhaupt keine Aussagekraft. Das liegt an der eben angesprochenen Komplexität der Hochschullandschaft. Weil überall unterschiedlich benotet wird, sollte ein Recruiter dieser einzelnen Zahl an sich keinen Wert beimessen. Setzt man diese Zahl jetzt aber in Kontext, indem man die lokalen Notenverteilungen und das Ranking der einzelnen Studienprogramme einbezieht, dann existiert plötzlich eine klare Aussagekraft. Deshalb sagen wir von CASE: Die nominelle Note an sich spielt keine Rolle, wird aber mit den richtigen Kontextinformationen aussagekräftig und zu einer wichtigen, wertvollen Information.
Philipp: Jeder sollte sich vor Augen führen, dass die Abschlussnote die Bemühungen von im Durchschnitt sechs Studienjahren widerspiegelt. Außerdem wird man als erwachsener Mensch nie mehr im Leben so lange quasi anonym bewertet wie im Studium. Aus diesen Gründen sollte die Note nicht einfach ignoriert, sondern korrigiert werden. Studierende betreiben – im besten Fall – hohen Aufwand für gute Noten und investieren viel Zeit und Arbeit in Klausuren. Ihre Note wird mit den richtigen Kontextinformationen aussagekräftig.
Katharina: Wenn ich an dieser Stelle also nochmal zusammenfassen darf: Die nominelle Note an sich ist wertlos; Noten brauchen Kontext und werden dadurch zu einer wertvollen Recruiting-Komponente. Wir konnten in unseren Validierungsstudien aufzeigen, dass im Gegensatz zu Abschlussnoten unser CASE Score – welcher Leistung im Studium misst und hierfür Noten korrigiert – die spätere Arbeitsleistung vorhersagen kann.
Welche Informationen bräuchte ein Recruiter, um zu verstehen, was die Abschlussnote eines Bewerbers wirklich bedeutet?
Katharina: Philipp hat die Informationen eben schon kurz angesprochen: Der Recruiter bräuchte die lokalen Notenverteilungen aller Studienprogramme und ein aussagekräftiges Ranking der Leistungsfähigkeit der Studierenden aller Studienprogramme. Bei 30.000 Programmen in Deutschland eine nicht zu bewältigende Aufgabe für einzelne Personalabteilungen.
Philipp: Wir haben uns schon 2012 – damals noch als Forscher – mit diesem Problem beschäftigt und angefangen Daten zu sammeln. Diese Vorarbeiten haben uns bei der Gründung von CASE in 2016 sehr geholfen.
Welche Informationen bräuchte ein Recruiter denn konkret vom Bewerber, wenn er den CASE Score nutzen möchte, um die Abschlussnote in Kontext zu setzen?
Katharina: Der Recruiter braucht lediglich fünf Angaben: (1) Hochschule, (2) Abschlussart, (3) Studienfach, (4) Abschlussjahr und (5) Abschlussnote. Das sind Angaben, die jeder Absolvent im Schlaf kennt. Sie stellen demnach für den Bewerber keine Hürde dar, wie Online Tests oder Assessment Center. Außerdem muss er diese Daten meistens sowieso zu Beginn der Bewerbung angeben, sodass sie bereits im Bewerbungsprozess vorhanden sind. Im Gegensatz zu anderen Recruiting-Methoden hat der Bewerber hier keinen Aufwand.
Philipp: Stichwort: Candidate Journey!
Katharina: Genau. Und wenn wir uns jetzt von der Sicht der Bewerber abwenden hin zum Unternehmen, dann sehen wir noch einen klaren Vorteil …
Philipp: Es handelt sich bei den fünf Angaben nicht um personenbezogene Daten. Somit entsteht kein Konflikt hinsichtlich des Datenschutzes. Und, die Berechnung des CASE Scores läuft vollkommen automatisiert im Hintergrund. Sobald der zuständige Recruiter auf die Bewerbung schaut, existiert bereits ein objektives und prädiktives diagnostisches Kriterium. Es gibt bei dem Einsatz des CASE Scores also definitiv Vorteile für beide Seiten.
Ihr nutzt große Datensätze, um Abschlüsse fair zu vergleichen und eine Leistung aus vielen Jahren Studium messbar zu machen. Welche Erkenntnisse erhält ein Recruiter, wenn er mehrere Bewerber für eine Position einer CASE-Analyse unterzieht?
Philipp: Ich gehe erstmal kurz auf die Datensätze ein: Die relevanten Informationen, die einem einzelnen Recruiter nicht im notwendigen Umfang vorliegen – lokale Notenverteilungen und Bewertung der Studienprogramme – haben wir über Jahre hinweg gesammelt. Die lokalen Notenverteilungen für alle Hochschulen, Studiengänge und Abschlüsse liegen uns bis zurück ins Jahr 2004 vor; Daten zur Kompetitivität von Studiengängen erheben wir seit 2012, da wir in unserer Fachkraft-2030-Befragung auch den IQ und die Persönlichkeit von Studierenden messen. Neue Daten pflegen wir jedes Jahr, beziehungsweise Daten der Rankings jedes halbe Jahr ein. Das bedeutet, wir haben immer aktuelle Daten.
Katharina: Und genau diese Datensätze helfen dann konkret im Recruiting. Aus jeder Bewerbung, die einer CASE-Analyse unterzogen wird, gewinnt ein Recruiter drei Informationen: Zunächst erhält er immer Informationen über die lokale Notenverteilung. Er kann also auf einen Blick erkennen, wie der Bewerber in Relation zu seinen direkten Kommilitonen stand. Dann erhält er auch den CASE Subject Score, der den Bewerber uni-, aber nicht fächerübergreifend einordnet. Beispielsweise bedeutet das für einen BWLer mit einem CASE Subject Score von 27%, dass 27% aller BWL-Studenten in Deutschland besser und 73% schlechter waren. Aber eben nur im Vergleich mit den Studierenden des gleichen Studiengangs. Die dritte Information, der CASE Score, ordnet den Bewerber uni- und fächerübergreifend ein. Wer beispielsweise einen CASE Score von 27% hat, war besser als 73% aller deutschen Studierenden, unabhängig vom jeweiligen Studiengang und der jeweiligen Abschlussart. Dadurch, dass der CASE Score alle Studiengänge gewichtet, kann eine klare Aussage getroffen werden.
Philipp: Und wenn der Recruiter nun mehrere Bewerbungen für eine Position erhält, kann er diese Bewerbungen mit einem Blick fair vergleichen. Der CASE Score sagt, welche Kandidaten am leistungsstärksten sind. Da kann ein Bewerber mit einer Abschlussnote von 1,3 auch von einem Bewerber mit einer Note von 2,5 überholt werden, wenn dieser in einem sehr hart bewerteten Programm studiert hat. Uns liegt das Thema deshalb sehr am Herzen. Der letztgenannte Bewerber wird fair behandelt und seine Leistung findet auf den ersten Blick Anerkennung, ohne, dass er noch einen mehrstufigen Auswahlprozess durchlaufen muss oder – im schlimmsten Fall – gar nicht erst eine Einladung zum Vorstellungsgespräch erhält, wenn einfach nur nach Note ausgewählt wird.
Automatisierte Auswahlverfahren werden sowohl von Bewerbern als auch von Recruitern häufig kritisch gesehen. Das Argument: Recruiting ist ein tiefmenschlicher Prozess und das Bauchgefühl hat auf beiden Seiten eine Menge mitzureden. Wie bewertet ihr vor diesem Hintergrund das Zusammenspiel von Mensch und Maschine im Bewerbungsprozess?
Philipp: Bauchgefühl ist per Definition schlecht zu erklären und immer subjektiv. Wir wünschen uns Fairness im Bewerbungsprozess und das ist noch ein weiter Weg. Seit Anfang des Jahres arbeiten wir mit der Universität Köln im Rahmen des FAIR Projektes an diskriminierungsfreien Recruiting-Algorithmen und in diesem Kontext ist es schon erschreckend zu sehen, wie sehr unser Arbeitsmarkt weiterhin bestimmte Gruppen benachteiligt. Das passiert aber nicht absichtlich, sondern in großen Teilen unterbewusst und genau deswegen ist das oft beschworene Bauchgefühl gerade in frühen Prozessschritten gefährlich.
Katharina: Das soll aber nicht bedeuten, dass wir empfehlen nur auf die Note zu achten. Natürlich ist es aber auch wichtig, dass ein Bewerber ins Team passt, dass die zwischenmenschliche Komponente stimmt! Deshalb sollte am Ende die letzte Entscheidung immer von einem Menschen getroffen werden. Der CASE Score kann aber im ersten Schritt dabei unterstützen, Bewerbungen fair zu sortieren.
Philipp: Ein Personalvorstand eines großen Unternehmens hat mal in einem Interview gesagt: „Wir Menschen sind von unseren Erfahrungen geprägt. Als Recruiter lege ich manchmal eine Bewerbungsmappe oben auf den Stapel, weil der Bewerber an derselben Uni wie ich studiert hat oder aus dem Dorf meiner Eltern kommt. Das ist verständlich. Es ist menschlich.“
Katharina: Für einen Algorithmus sind solche Vorlieben irrelevant. Er gewichtet und bewertet die Bewerbungen allein nach den vorgegebenen Anforderungen. Das bedeutet nicht, dass Algorithmen nicht auch diskriminieren können, aber wir können darlegen, dass unser CASE Algorithmus das nicht tut. Damit schaffen wir Fairness und Transparenz und helfen den Recruitern, die richtigen Kandidaten in die weitere Auswahl zu bringen. Aber es ist uns ganz wichtig: Unser Algorithmus berät, indem weitere Informationen objektiv und diskriminierungsfrei zur Verfügung gestellt werden. Am Ende entscheidet der Mensch.
Philipp: Das sind doch schöne Schlussworte. Es geht um ein „harmonisches“ Zusammenspiel von Mensch und Maschine, für mehr Transparenz, Fairness und die besten Einstellungsentscheidungen.
Business Development Managerin bei CASE
Managing Director bei CASE
Über candidate select (CASE)
Die candidate select GmbH (CASE) entwickelt Algorithmen zur fairen Einschätzung von Abschlüssen in der Personalauswahl. Dafür werden unter anderem über 500.000 administrative Notenverteilungen sowie IQ- und Persönlichkeitswerte von ebenfalls mehr als 300.000 Studierenden mit einbezogen. CASE kann Absolvent*innen von über 25.000 Hochschulen weltweit vergleichen und ersetzt damit gröbere Verfahren, wie z. B. die Nutzung von Hochschullisten oder harte Notenkriterien. Zusammen mit der Universität zu Köln hat CASE das vorwettbewerbliche Forschungsprojekt FAIR ins Leben gerufen mit dem Ziel, weitere Lebenslaufinformationen diskriminierungsfrei mit Algorithmen auswerten zu können.
