Wie können in Zeiten des #CoronaCampus digital Prüfungen abgelegt werden? Online-Proctoring bietet einen Lösungsansatz für die Beaufsichtigung von Fernprüfungen. In diesem Beitrag befragt unser Mitarbeiter Gino Krüger im Interview Dr. Matthias Baume von der Technischen Universität München. Schwerpunkt ist dieses Mal die Sicherheit von digitalen Formaten der Prüfungsbeaufsichtigung. Hierbei handelt es sich um den letzten Teil unserer Interviewserie zum Thema Online-Proctoring, Teil 1 und 2 des Interviews finden Sie hier.

Hochschulforum Digialisierung: Wie können mittels Online-Proctoring sichere und verlässliche Prüfungen erreicht werden? 

Dr. Matthias Baume: Ich denke, dass man in diesem Zusammenhang zweierlei unterscheiden muss. Nämlich einerseits die Sicherheit und andererseits die Zuverlässigkeit, dass es wirklich funktioniert. Letzteres hängt insbesondere von einer ordentlichen Planung sowie der vorausschauenden Inkenntnissetzung aller Beteiligten ab. Hierfür bietet es sich u.a. an, dass im Vorhinein eine Demo-Prüfung konzipiert sowie durchgeführt wird, sodass alle Beteiligten – v.a. aber die Dozierenden und Studierenden – konkrete Erfahrungen mit dem System sammeln und auf Basis dessen eine fundierte Einstellung entwickeln können. Zudem stellt eine solche Demo-Prüfung eine praktikable Option dar, um etwaige technische Probleme im Vorhinein zu eruieren und dann entsprechend zu lösen, sodass die technische Zuverlässigkeit gewährleistet werden kann.

Auf der anderen Seite geht es darum, dass wir geeignete Werkzeuge auswählen, um sicherzustellen, dass die Beaufsichtigungsstandards des jeweiligen Prüfungskontextes eingehalten werden. Jedoch ist mit der Entscheidung für oder gegen bestimmte Beaufsichtigungswerkzeuge immer ein gewisser ‚Spagat‘ verbunden. Denn je mehr Werkzeuge in Kombination zum Einsatz kommen, desto unwahrscheinlicher wird es zwar, dass Betrugsversuche unbemerkt bleiben. Doch zugleich sinkt auch die Zuverlässigkeit des Prüfungsszenarios, weil das System womöglich Teilnehmende, aufgrund von eigentlich unproblematischen Verhaltensmustern, von der Prüfung disqualifiziert. Dies könnte z.B. passieren, wenn ein automatisiertes System die Desktopaktivitäten von Prüfungsteilnehmenden beaufsichtigt und eine geprüfte Person die Updatebenachrichtigung von Windows oder dergleichen wegklickt. Daher ist es von zentraler Bedeutung, dass für das jeweilige Prüfungsszenario ein robustes Set von Beaufsichtigungsinstrumenten gewählt wird, d.h. ein solches das gewährleistet, dass in möglichst vielen Prüfungsfällen die Zuverlässigkeits- und Sicherheitsstandards nicht miteinander kollidieren.

Ein gangbarer Ansatz könnte auch darin bestehen, unsere etablierten Prüfungskonzepte dahingehend zu verändern, dass Betrug im engeren Sinne äußerst schwierig wird. Nämlich indem man Prüfungen – im Sinne so genannter Open-Book-Klausuren – derartig konzipiert, dass ein bestimmtes Spektrum von Hilfsmitteln zugelassen ist und der Fokus vielmehr auf Transferleistungen als auf Auswendiglernen gelegt wird. Denn hierdurch würde es möglich werden, die erforderliche Beaufsichtigung auf die Feststellung und Gewährleistung der Identität von Prüfungsteilnehmenden zu reduzieren. Jedoch gehen derartige Prüfungsformate mit einem hohen Maß an Vorbereitungs- und Auswertungsaufwand einher, sodass sich jene eher für kleinere Kohorten eigenen. Es sind aber bereits Bestrebungen erkennbar, welche die Skalierbarkeit von Open-Book-Prüfungen mittels Automatisierung und Modularisierung zu verbessern versuchen. 

Hochschulforum Digialisierung: Wie sicher ist Online-Proctoring im Vergleich zu regulären Prüfungsverfahren vor Ort?

Dr. Matthias Baume: Aus meiner Sicht ist ein direkter Vergleich aus mehreren Gründen nicht ganz einfach. Zunächst einmal gibt es keine 100%-ige Sicherheit, dass nicht betrogen wird, weder in konventionell noch in online beaufsichtigten Prüfungen. Nun ist es aber so, dass es zum Betrugsverhalten in Onlineprüfungen wenig bis keine belastbaren Studien gibt, während Studien zum Betrugsverhalten in konventionellen Prüfungskontexten darauf hindeuten, dass ca. 40-80% der befragten Personen bereits Betrugsversuche in irgendeiner Form unternommen haben. Folglich ist davon auszugehen, dass Betrug – ohne genaueres über den Erfolg bzw. Misserfolg der Betrugsversuche zu wissen – in regulären Prüfungsverfahren kein Ausnahmephänomen ist. [1]

Ferner gibt es bei der Onlinebeaufsichtigung zwei verschiedene Ausprägungen und damit auch unterschiedliche Sicherheitsprofile. Einerseits gibt es Dienstleistungen, in denen die Beaufsichtigung digital vermittelt durch andere Personen realisiert wird und andererseits solche, in denen die Beaufsichtigung automatisiert vonstattengeht. Bei ersteren hängt die Sicherheit stark von der jeweils beaufsichtigenden Person sowie der konkreten Anzahl der durch sie überwachten Prüfungsteilnehmer*innen ab und unterliegt daher einer hohen Variabilität. Dies gilt selbstverständlich ebenso für die reguläre Beaufsichtigung von Prüfungsverfahren vor Ort. Eine erfahrene Beaufsichtigungsperson kann Betrugsversuche binnen kürzester Zeit identifizieren und sofern ausreichend personelle Ressourcen zur Verfügung stehen, kann dies auch für Prüfungen mit einer großen Teilnehmerzahl gewährleistet werden.

Bei den automatisierten Beaufsichtigungslösungen ist es nun so, dass die Sicherheit von der jeweiligen Wahl und Kombination der Überwachungsinstrumente abhängt. Wird bspw. lediglich eine Videoaufzeichnung via Webcam durchgeführt, so gibt es das Risiko, dass der blinde Fleck dieses Beobachtungsmodus erkannt und systematisch ausgenutzt wird, um dort einen Spicker oder ähnliches zu platzieren. Andererseits hat man durch die Kopplung von verschiedenen KI-gestützten Beobachtungstools, die Möglichkeit einer lückenlosen sowie nahezu unbegrenzt skalierbaren Beaufsichtigung – sofern die erforderlichen Verarbeitungskapazitäten entsprechend funktionieren. Schließlich sind derartige Systeme immer online und haben alles gleichermaßen im Blick, während der Fokus eines menschlichen Proctors auf einzelne Teilnehmer*innen beschränkt ist. 

An der TU München führen wir gerade im Rahmen einer Bachelor-Arbeit eine Studie zu Betrug in online-beaufsichtigten Prüfungen durch, den ‚TUM Cheating Contest‘. In diesem Wettbewerb versuchen die Teilnehmer unter kontrollierten räumlichen Bedingungen im Rahmen eines realitätsnahen Prüfungsszenarios die automatische Aufsicht einer Proctoring-Lösung zu täuschen und mit unerlaubten Hilfsmitteln möglichst unauffällig und effektiv zu betrügen. Die angewendeten Methoden werden dann gemeinsam mit den Teilnehmern genau analysiert und dokumentiert. Und natürlich gibt es am Ende auch einen Preis für die besten und kreativsten Täuschungsversuche! Die Ergebnisse der Studie werden voraussichtlich im September 2020 verfügbar sein.

Insgesamt lässt sich sagen: Jedes Verfahren hat sein Für und Wider und deshalb lassen sich zum gegenwärtigen Zeitpunkt keine pauschalen Aussagen darüber treffen, ob die Onlinebeaufsichtigung deutlich sicherer oder unsicherer ist als reguläre Verfahren vor Ort. Daher muss sich mit derartigen Urteilen gedulden, bis es belastbare Studien gibt, welche diesbezüglich ein klares Bild vermitteln.

Hochschulforum Digialisierung: Welche Unsicherheiten treten beim Online-Proctoring auf und wie lassen sich diese reduzieren? 

Dr. Matthias Baume: Zunächst einmal muss mit der Unsicherheit der Identität von Prüfungsteilnehmenden umgegangen werden. Denn dadurch, dass die Prüfungen nicht auf dem Campus absolviert werden, herrscht Unsicherheit darüber vor, ob die Person, welche sich für die Prüfung registriert hat, auch dieselbe ist, welche die Prüfung im Endeffekt absolviert. Diese Unsicherheit lässt sich dahingehend handhaben, dass vor jeder Prüfung immer eine Authentifizierungsphase durchgeführt wird. In dieser müssen die Prüfungsteilnehmenden ein anerkanntes Ausweisdokument sichtlich neben ihrem Gesicht platzieren, sodass mittels einer Webcam festgestellt werden kann, ob es sich um dieselbe Person handelt. 

Darüber hinaus gibt es technische Unsicherheiten, welche sich aus der fortlaufenden Funktionstüchtigkeit der technischen Infrastruktur speisen. Diese lassen sich dadurch reduzieren, dass im Vorhinein Demoprüfungen mit exakt demselben technischen Rahmen durchgeführt werden, um etwaige Probleme frühzeitig zu eruieren sowie zu beheben. Zusätzlich bieten Online-Proctoring-Anbieter in der Regel Analysemöglichkeiten an, mittels deren vorab getestet werden kann, ob der verwendete Rechner ausreichend leistungsfähig ist und über die nötige Software verfügt, Kamera und Mikrofon funktionsfähig sind sowie der verfügbare Down- und Upstream des Internets ausreichend sind etc., um eine Prüfung reibungslos durchzuführen. Dies gelingt nicht immer zu 100%, doch die besagten Analyseinstrumente sind inzwischen derartig ausgereift, dass sie in den allermeisten Fällen zuverlässige Diagnosen gestatten. Ferner bietet es sich in diesem Zusammenhang an, ein Protokoll für den Umgang mit Störungsfällen während des jeweiligen Prüfungsszenarios zu entwickeln, sodass eine laufende Prüfung durch kurzweilige Störungen – z.B. bei kurzen Zusammenbrüchen der Internetverbindung – nicht gleich ihre Gültigkeit verliert. Außerdem stellen manche Online-Proctoring-Anbieter auch einen Live-Support zur Verfügung, welcher während der Prüfung konsultiert werden kann, um etwaige Probleme technischer Natur zu bewältigen.

Viel von dem, was heutzutage potenziell überprüfbar wäre, wird mittlerweile auch regelmäßig vorab getestet sowie während der Prüfung beaufsichtigt. Dies hat jedoch zur Konsequenz, dass immer mehr Eingriffe in die Hardware der Endbenutzer notwendig sind und somit einer Autorisierung bedürfen. Was wiederum die Unsicherheit mit sich bringt, dass die Eingriffe aufgrund ihres Umfangs und/oder ihrer Art für die Endbenutzer inakzeptabel erscheinen. Vor diesem Hintergrund gilt es im Dialog mit den Studierenden systematisch festzustellen, welche Eingriffe für Prüfungszwecke zustimmungsfähig sind.

Eine weitere Unsicherheit resultiert aus der Klassifikation des Verhaltens von Prüfungsteilnehmenden als ‚betrügerisch‘ oder ‚verdächtig‘. Denn jenseits von offensichtlichen Verhaltensweisen – z.B. der Nutzung einer nicht gestatteten Informationsquelle oder der Interaktion mit Dritten – es ist eine offene Frage, ob und wie eine bestimmte Aktivität als Betrugsversuch oder unproblematisches Verhalten zu deuten ist. Schließlich ließe sich eine Vielzahl unbewusster Verhaltensweisen – bspw. kurz in die Luft zu starren oder sich am Kopf zu kratzen – als Betrugsversuch fehlinterpretieren. Ferner stellt sich dieses Problem unabhängig davon, ob man mit menschlicher oder maschineller Onlinebeaufsichtigung arbeitet. Es variiert lediglich die Art und der Zeitpunkt der Entscheidung. Für den Umgang mit dieser Unsicherheit, könnte man auf Studien zurückgreifen, welche die unterschiedlichen Ausprägungen und Facetten von menschlichem Verhalten in Prüfungssituationen beschreiben, um daraus einen begründeten sowie nachvollziehbaren Katalog von unproblematischen Verhaltensmustern zu kondensieren. Doch auch auf einem solchen Wege, lässt sich die besagte Unsicherheit nicht vollständig auflösen. [2]

Schließlich gilt es mit der Unsicherheit des Prüfungsabschlusses umzugehen, denn es kommt nicht selten vor, dass eine geprüfte Person – meistens aus Nervosität und dergleichen – vergisst, dass die Abgabe der Prüfung explizit bestätigt werden muss und die erbrachte Prüfungsleistung somit ungültig wird. Ein Problem das wir in Moodle regelmäßig beobachteten. Jedoch lässt sich diese Unsicherheit dahingehend handhaben, dass man die Abgabe der Prüfung automatisiert.

HFD: Danke für das Interview!

Zum ersten und zweiten Teil des Interviews auf dem HFD-Blog. In diesen 6 Empfehlungen sind die Erkenntnisse aus unserer Serie zum Thema Online-Proctoring zusammengefasst.

[1] Siehe auch: Rodchua, Suhansa (2017): Effective Tools and Strategies to Promote Academic Integrity in e-Learning. In: IJEEEE 7 (3), S. 168–179. Online verfügbar unter http://www.ijeeee.org/vol7/424-EE005.pdf , zuletzt geprüft am 03.07.2020 sowie Sheard, Judy; Dick, Martin (2012): Directions and dimensions in managing cheating and plagiarism of IT students. In: Computing Education 2012.

[2] siehe Kolski, Tammi; Weible, Jennifer (2018): Examining the Relationship between Student Test Anxiety and Webcam Based Exam Proctoring. In: Online Journal of Distance Learning Administration 21 (3).