Wie stark lassen sich Lehrende durch Learning Analytics in ihrer Bewertung von Studierenden beeinflussen? Welche diskriminierenden aber auch ungleichheits-reduzierenden Effekte gehen von Algorithmen aus? In diesem Beitrag stellen die Autor*innen das Potential und die Gefahren von Learning Analytics vor und werten die Forschungsergebnisse eines Conjoint-Experiments aus.

Learning Analytics in der Hochschullehre

Die Unterstützung des Lehrens und Lernens mit modernsten Technologien ist Alltag in Bildungseinrichtungen geworden (1). Damit verbunden ist die Nutzung von digitalen Lernplattformen, wie z.B. Moodle, die für Lehrende und Lernende Möglichkeiten des digitalen Lernens und des sozialen Austauschs bieten. Hochschulen nutzen diese Lernplattformen, um Studierenden Material zur Verfügung zu stellen, Lerngruppen und Tutorien zu organisieren und auch Tests durchzuführen. Durch das Nutzen von Lernplattformen werden stetig Daten generiert, die anschließend systematisch und computergestützt ausgewertet werden können.

Die Auswertung kann unter dem Begriff Learning Analytics (LA) zusammengefasst werden. LA wird von der Society for Learning Analytics Research als Messung, Sammlung, Analyse und Berichterstattung von Daten über Lernende und ihre Kontexte zum Zweck des Verständnisses und der Optimierung des Lernens und der Umgebungen, in denen es stattfindet, definiert. Das Ziel dieser Auswertung ist es, Lernprozesse besser zu verstehen, Abbrecher*innenquoten zu verringern und maßgeschneiderte Unterstützungsangebote zu entwickeln. Doch diese Möglichkeiten benötigen detaillierte Daten (2). 

Chancen und Risiken von Learning Analytics auf Lernplattformen

Diese Daten werden in speziell dafür eingerichteten Plattformen, den sogenannte Learning Management Systems (LMS), generiert. Ein Beispiel für ein LMS, welches häufig im Hochschulkontext verwendet wird, ist Moodle. LA bietet etwa in Moodle die Möglichkeit, das Lernverhalten auf Basis digitaler Spuren zu verstehen (3). Die Nutzung von LA verfolgt verschiedene Ziele, bspw. die automatisierte Benotung von Lernenden sowie die individuelle Prognose des Lernerfolgs. Dadurch ist eine Abstimmung der LA-gesteuerten Bildungstechnologien in der Lage, Bildungsinterventionen gezielt auf die Lernenden abzustimmen (4).

LA kann auch dafür genutzt werden um Diskriminierung zu reduzieren (5). Die Idee ist, Bewertungen durch Algorithmen objektiver zu gestalten, da Lehrende weniger stark beteiligt sind. Diskriminierung kann dabei als eine Form von differentialer, unfairer und/oder nachteiliger Behandlung von Menschen aufgrund ihrer Einstufung als Angehörige*r einer bestimmten sozialen Gruppe, verstanden werden. Obwohl die LA-Systeme stetig weiterentwickelt werden, bleibt die Möglichkeit der Diskriminierung bestehen. Algorithmen arbeiten auf bestehenden Daten und Datenmustern und spiegeln daher auch bestehende Diskriminierungen wider. Diskriminierung kann sich hierbei auf bekannte Kategorien wie Geschlecht oder Klasse beziehen oder auch auf unbekannte Kategorien, die sich aus den Daten ergeben. 

Die Juniorprofessur für BWL, insbesondere Unternehmensführung der Heinrich-Heine-Universität beschäftigt sich mit der Frage, wie stark sich Lehrende durch die Auswertung durch LA beeinflussen lassen. Ziel der experimentellen Untersuchungen ist es, herauszufinden, wie groß der Einfluss von LA-Empfehlungen auf Lehrende im Hochschulkontext ist. Dieser Blogbeitrag liefert erste Ergebnisse eines Experiments mit Lehrenden.

Relevanz von Learning Analytics

Immer mehr Lehrende in Hochschulen stellen Lernenden digitale Lehrinhalte auf Online-Plattformen zur Verfügung. Die COVID-19-Pandemie und der Umstellung auf die digitale Lehre zeigt, wie wichtig es ist, Lernprozesse in digitalen Räumen zu ermöglichen. Gleichzeitig hinterlassen Lernende mit jeder Nutzung Spuren und Informationen, die dann als Daten über den Lernprozess, den Lernfortschritt, das Lernergebnis sowie die Lernenden selbst gespeichert werden. Diese können mit Hilfe von LA ausgewertet werden, um so die Aktivität und den Lernerfolg der Lernenden zu interpretieren. Daraus kann ein Notenvorschlag basierend auf den Daten aus der Lernplattform resultieren. Aus Sicht der Lehrenden können im Vergleich zum analogen Lernen  zusätzliche Informationen über die Lernenden gewonnen werden.

Das Conjoint-Experiment

Um zu ermitteln, wie stark die Lehrenden von LA beeinflusst werden, wurde die Methode der „Adaptive Choice-Based Conjoint-Analyse“ (ACBC) gewählt. Die ACBC ist eine bekannte Methode der Psychologie. Sie findet überwiegend in der Marktforschung Anwendung, um anhand von Produktmerkmalen das Kaufverhalten zu prognostizieren (6). Zur Ermittlung von Marktwerten und Präferenzen wählt der/die Proband*in zwischen Produkten mit unterschiedlichen Merkmalsausprägungen. Übertragen auf den Kontext von Lehrenden, wurden die Proband*innen gebeten, die Merkmale von Lernenden zu bewerten und nach Wichtigkeit zu ordnen. Damit kann eine Entscheidungssituation simuliert und der Einfluss bestimmter Merkmalsausprägungen der Lernenden auf die Entscheidung von Lehrenden prognostiziert werden.

372 Personen aus Bildungseinrichtungen wurden als Proband*innen befragt. Es wurde ein fiktives Szenario der Leistungsbeurteilung geschaffen, bei der sie 16 Auswahlaufgaben beantworten mussten. Im Rahmen der Befragung wurden jeweils zwei Lernende zur Auswahl gestellt. Die Probandinnen mussten dabei die Entscheidung treffen, welche/r Lernende er als leistungsstärker beurteilt. Die aufgeführten Lernende unterschieden sich dabei durch einheitliche Attribute (Merkmale) mit folgenden Attributsausprägungen:

Durch die ACBC wird eine Hierarchie der individuellen Wichtigkeit für die Beurteilung der Lernenden ermittelt. Aus dieser Hierarchie lässt sich der Einfluss der einzelnen Attribute auf die Lehrenden, wie Name oder Lerntyp, ermitteln. 

Ergebnis: Von welchen Attributen werden Lehrende am stärksten beeinflusst?

Das Ergebnis der Conjoint-Analyse zeigt, dass einzelne Attribute deutlich mehr Relevanz für die Leistungsbeurteilung haben als andere. So hat die Anzahl der absolvierten Onlinetests die höchste Wichtigkeit für die Beurteilung der Lernenden. Das heißt eine höhere Durchführungsquote bei den Onlinetests führte bei den Proband*innen dazu, diese Lernenden leistungsstärker zu bewerten. Dieses Ergebnis hatten wir  erwartet, da die Anzahl der Onlinetests die einzig objektive Maßzahl für die Leistung der Lernenden in unserem Experiment war. 

Überraschend dagegen war das Ergebnis, dass die Lehrenden maßgeblich auf die Empfehlung der Lernplattform reagierten. Diese nahm die zweithöchste Wichtigkeit bei der Entscheidung über die Leistungsstärke der Lernenden ein. Demzufolge wurden Lernende mit einer positiven Auszeichnung durch die Lernplattform als leistungsfähiger beurteilt als andere Lernende. Die Proband*innen wussten nicht, auf welchen Merkmalen solche Auszeichnungen basierten. Ihnen wurde lediglich vorher erklärt, dass die Empfehlung der Plattform auf den Online-Aktivitäten der Lernende basiert, wie z. B. Leseaktivitäten, Einhalten von Fälligkeiten und Teilnahme an Diskussion in Foren. Für die Empfehlung der Plattform wurde jedoch nicht berücksichtigt, ob oder wie lange die Lernenden außerhalb der Lernplattform lernen.

Im Vergleich zu diesen zwei wichtigen Attributen (Onlinetests, Empfehlung der Lernplattform), zeigt das Attribut „Name und Bild“ der Lernenden kaum Einfluss auf die Bewertung durch die Lehrenden. Auch der Lerntyp bestimmte die Auswahl der Lehrenden nur mäßig, obwohl dies aus theoretischer Sicht ein Anzeichen für Fleiß und Lerneinsatz sein kann.

Diskussion und Empfehlungen

Diese Studie zielt darauf ab, ein Bewusstsein für die Auswirkungen von LA auf die Bewertung der Lehrenden zu schaffen. Für die Implementierung solcher Auswertungsmöglichkeiten ist es wichtig zu verstehen, ob und welche Attribute sich stärker auf die individuelle Bewertung auswirken und wie Lehrende grundsätzlich mit zusätzlichen Informationen über die Lernenden umgehen. Neben den wichtigen zusätzlichen Informationen durch Lernplattformen, die eine stärkere Binnendifferenzierung von Lernenden zulassen oder den Lernerfolg steigern können, lassen sich auch negative Konsequenzen erkennen. Die genannten Diskriminierungsmuster setzen sich auch in automatischen Bewertungen fort. 

Die Ergebnisse leiten zu der Erkenntnis, dass Lernende, die sich ihr Wissen analog und außerhalb der Lernplattform aneignen, möglicherweise von den Lehrenden benachteiligt werden könnten, wenn sich Lehrende auf die Richtigkeit und Fairness einer Empfehlung durch eine Lernplattform zu stark verlassen. Besonders im Hochschulkontext ist diese Frage besonders wichtig, da hier die persönliche Beziehung weniger stark ausgeprägt ist als in der Schule. Wenn gute Lernende, die hauptsächlich offline lernen, und/ oder limitierten Zugang haben, von den Lehrenden als schlechter eingestuft werden, dann sind Objektivität und Fairness bei der Bewertung gefährdet. 

Eine Lernplattform kann nicht alle Parameter einbeziehen, die zu einer gerechten oder objektiven Bewertung führen (7). Lehrende müssen sich deshalb bewusstmachen, dass die Empfehlung einer Lernplattform nur einen weiteren Anhaltspunkt in der Gesamtbewertung darstellen kann. Hier kann es hilfreich sein, dass Institutionen für Transparenz und Klarheit sorgen. Demnach sollten sich alle Verantwortlichen im Bildungskontext bei der Nutzung und Einführung von LA damit auseinandersetzen, welche Informationen in ein LA-System einfließen, welche statistischen Modelle zu den Empfehlungen und Prognosen durch LA führen und welche Diskriminierungspotenziale sich möglicherweise ergeben. 

Literaturverzeichnis 

Aguilar, S.J. (2018) ‚Learning analytics: At the nexus of big data, digital innovation, and social justice in education‘. TechTrends, 62 (1), 37-45.

Dyment, J., Stone, C. and Milthorpe, N. (2020) ‚Beyond busy work: rethinking the measurement of online student engagement‘. Higher Education Research & Development, 39 (7), 1440-1453.

Krantz, D.H. and Tversky, A. (1971) ‚Conjoint-measurement analysis of composition rules in psychology‘. Psychological review, 78 (2), 151.

Larusson, J.A. and White, B. (2014) Learning analytics: From research to practice. Springer.

Nguyen, Q., Rienties, B. and Richardson, J.T. (2020) ‚Learning analytics to uncover inequality in behavioural engagement and academic attainment in a distance learning setting‘. Assessment & Evaluation in Higher Education, 45 (4), 594-606. 

Siemens, G. and Baker, R.S.d. (2012) Published. ‚Learning analytics and educational data mining: towards communication and collaboration‘.  Proceedings of the 2nd international conference on learning analytics and knowledge, 2012. 252-254.