Vor dem Hintergrund der Corona-Krise spricht das HFD gegenwärtig mit Expert*innen und Pionier*innen der digitalen Beaufsichtigung und Durchführung von Prüfungen. Das Ziel: Ihre Erfahrungen und Wissensbestände für die Hochschul-Community zugänglich machen. Nach dem Auftaktinterview mit Dr. Matthias Baume von der TU München zum Thema Online-Proctoring ist unser Mitarbeiter Gino Krüger dieses Mal mit Stefanie Schweiger vom openHPI im Gespräch.

Sicherheit

Hochschulforum Digitalisierung: Wie können mittels Online-Proctoring sichere und verlässliche Prüfungen erreicht werden? 

Stefanie Schweiger: Die erste Frage, die sich hier stellt, ist: Wie sicher sind On-Campus Prüfungen? Hier sollte nicht mit zweierlei Maß gemessen werden und von Online-Prüfungen eine Sicherheit erwartet werden, die auch On-Campus Prüfungen oft nicht leisten können, z.B. Identitätsprüfungen in Massenprüfungsveranstaltungen,…

Die zweite Frage, die sich stellt, ist: Was ist eine sichere und verlässliche Prüfung? Wieviel Eingriff in die Privatsphäre der Teilnehmer*innen muss ich aufwenden, um eine sichere Prüfung zu gewährleisten. Bei dem Thema muss man abwägen und Kompromisse machen. Diese können je nach Kontext unterschiedlich aussehen, je nachdem, ob es sich  um ein berufsbegleitendes Lernangebot handelt oder ein Vollzeitstudium.

Die dritte Frage, die sich stellt, ist: Was ist überhaupt eine zeitgemäße Prüfung? Geht es darum, auswendig gelernte Inhalte zu reproduzieren oder Kompetenzen zu demonstrieren?

HFD: Wie sicher ist Online-Proctoring im Vergleich zu regulären Prüfungsverfahren vor Ort?

Stefanie Schweiger: Hier muss man die verschiedenen Online-Proctoring Verfahren unterscheiden. Im Großen und Ganzen kann man drei Formen unterscheiden:

1. Live Proctoring: Hier wird das Video des Prüflings direkt/live an einen Proctor in einem Assessmentcenter übertragen. Der Proctor monitored in Echtzeit was der Prüfling macht. In der Regel überwacht ein Proctor bis zu sechs Prüflinge. Daher ist eine Terminvereinbarung erforderlich. Mittels eines Kameraschwenks vor der Prüfung soll verhindert werden, dass Helfer*innen irgendwo versteckt sind. Darüber hinaus kann dies mit Audioüberwachungen kombiniert werden. (Beispieltool: ProctorU)
2. Prüfungsaufzeichnung: In diesem Fall findet das Proctoring nicht live statt, sondern es wird das, was die geprüfte Person macht, per Video aufgezeichnet. Dieses Video wird dann später vom Proctor begutachtet. Auch hier sollen Kameraschwenks vor der Prüfung verhindern, dass Helfer*innen irgendwo versteckt sind. Dies kann wiederum mit Audioüberwachungstools kombiniert werden. (Beispieltool: SoftwareSecure)
3. Gesichtserkennung: Es wird in erster Linie geprüft, ob der angemeldete Prüfling vor der Kamera sitzt. Da es sich hierbei um ein rein maschinelles Verfahren handelt, wird kein menschlicher Proctor benötigt. Derartige Verfahren bringen die geringsten Eingriffe in die Privatsphäre mit sich.

Bei openHPI nutzen wir das dritte Verfahren, da es unseren Anforderungen am besten entspricht. Wir wollen sicherstellen, dass die Person, welche sich anfangs als Nutzer*in registriert auch diejenige ist, welche die Prüfung ablegt. Dazu werden beim Registrierungsprozess drei Fotos aufgenommen. Während der Prüfung ist dann die Webcam angeschaltet und es werden in zufälligen Intervallen Fotos geschossen, um diese mit den Registrierungsfotos abzugleichen. Stimmen die Personen nicht überein oder sind mehrere Personen im Bild oder gar keiner, kommt es zu einer Fehlermeldung und der/die Prüfer*in wird informiert. In unserem Fall (openHPI) führen derartige Verstöße dazu, dass kein qualifiziertes Zertifikat ausgestellt wird. Folgende weitere Verstöße führen auf openHPI zu einem Proctoring-Fehler und somit dazu, dass kein Zertifikat ausgestellt wird:

• Andere Person vor der Kamera
• Mehrere Personen vor der Kamera
• Kamera ist verdeckt oder ausgeschaltet
• Niemand vor der Kamera
• Licht im Rücken (= Gesicht dunkel)
• Hüte, Sonnenbrillen, andere Accessoires, die das Gesicht teilweise verdecken
• Fotos oder andere Bilder vor der Kamera
• andere Tabs geöffnet
• andere Anwendungen greifen gleichzeitig auf die Kamera zu

All diese Parameter, sprich wie hoch die Toleranz gegenüber Fehlverhalten ist, können individuell konfiguriert werden. Schummeln kann online wie offline aber natürlich niemals ganz ausgeschlossen werden. Es geht am Ende darum, den Aufwand, der für das Schummeln erforderlich ist, so anzuheben, dass es sich nicht mehr lohnt. Oder eben auch mal kreativ darüber nachzudenken, wie man eigentlich Schummeln definiert. Das von uns eingesetzte Verfahren bietet in unserem Kontext ausreichend Schutz vor Schummeln. Dazu gehört allerdings auch, dass wir unsere Prüfungen als Open Book Exams definiert haben, da wir ein reines Abprüfen von auswendig gelernten Wissensbeständen für nicht zeitgemäß erachten. 

Neben dem Proctoring gibt es weitere Lösungen, um Prüfungen sicherer zu machen. Z.B. gibt es spezielle Browserversionen, die es einem Prüfling sehr erschweren, bis unmöglich machen, weitere Browserfenster oder andere Programme zu öffnen. Wir setzen dergleichen aber nicht ein.

HFD: Welche Unsicherheiten treten beim Online-Proctoring auf und wie lassen sich diese reduzieren? 

Stefanie Schweiger: Grundsätzliche Unsicherheiten stellen technische Probleme, Netzausfälle, unterschiedliche Browser sowie unterschiedliche Sicherheitseinstellungen der Betriebssysteme, Webcam, etc. dar. Daher stellen wir ein Testsystem zur Verfügung mittels dessen die Teilnehmenden jederzeit die Kompatibilität ihrer Technik mit unserem System prüfen können. Ferner setzen wir auf größtmögliche Transparenz und Offenheit in der Kommunikation mit den Teilnehmenden, so dass die Prüfungsteilnehmenden bestmöglich über die Prüfungssituation, deren spezifische Anforderungen und Regeln informiert sind. Zu diesem Zweck haben wir u.a. einen Helpdesk-Support.

HFD: Welche Risiken bringt die Verwendung von Online-Proctoring-Anwendungen mit sich und wie lassen sich diese ggf. reduzieren?

Stefanie Schweiger: Wie auch in Offline-Prüfungen gibt es immer Mittel und Wege um zu schummeln. Doch je sicherer das Schummeln verhindert werden soll, desto stärker muss in die Privatsphäre eingegriffen werden. Um dies zu bewerkstelligen, könnten Beaufsichtigungsinstrumente wie

• die regelmäßige Aufnahme von Fotos zur Gesichtserkennung
• durchgehende Videoaufnahmen
• zusätzliche Audioaufnahmen
• die virtuelle Durchsuchung des Zimmers der Teilnehmenden durch den Proctor
• die Verwendung von Rundumkameras
• das Sperren des Computers für andere Anwendungen

genutzt werden. Doch ob derartige Eingriffe in die Privatsphäre zielführend sowie für die jeweilige Prüfungssituation gerechtfertigt sind, muss im Einzelfall geprüft und entschieden werden.

Anwendungsmöglichkeiten

HFD: Für welche Art von Prüfungen bietet sich das Online-Proctoring besonders an?

Stefanie Schweiger: Prinzipiell lässt sich Online-Proctoring für alle Online-Prüfungen einsetzten, bei denen Antworten – unabhängig von spezifischen Fächern – am Computer eingegeben werden sollen. Hierbei ist jedoch der Kostenfaktor, welcher der in der Regel von der geproctorten Zeit abhängt, zu berücksichtigen. Maschinelles Proctoring ist hier günstiger als Live-Proctoring durch Personen.

HFD: Kann Online-Proctoring eingesetzt werden, um angesichts der Corona-Krise Online-Prüfungen auch im großen Stil durchzuführen?

Stefanie Schweiger: Das können wir schwer beurteilen. Bei uns am openHPI nutzt nur ein kleiner Teil der Lernenden die Möglichkeit des Online-Proctorings. Den meisten Lernenden reicht das reguläre Zeugnis (ohne Proctoring) aus.

Generell denken wir schon, dass es auch im großen Stil und damit auch während der Krise eingesetzt werden kann.Doch in diesem Zusammenhang muss man die Skalierbarkeit und damit auch den Kostenfaktor im Auge behalten. Maschinelles Proctoring, wie wir es verwenden, ist problemlos skalierbar. Beim Live-Proctoring durch Personen ist das nicht der Fall. Deswegen kostet Live-Proctoring auch in etwa das zehnfache des maschinellen Proctorings.

HFD: Gibt es bereits Best Practices, welche aufgrund ihrer Bewährtheit national adaptierbar und ggf. sogar EU-weit standardisierbar wären? 

Stefanie Schweiger: Theoretisch sollte das möglich sein. Praktisch gibt es solche Ansätze aus verschiedenen Richtungen. Einige Universitäten experimentieren bereits seit einiger Zeit mit großen E-Assessment-Centern. Doch mit Blick auf die COVID-19-Krise besteht das Problem darin, dass man die E-Assessment-Center in der aktuellen Situation nicht benutzen kann. Denn es wären schlicht zu viele Menschen in einem Raum und nach jeder Kohorte wäre eine intensive Desinfektion etc. notwendig. Ferner gibt es gerade auch im MOOC Bereich einige Ansätze. FUN arbeitet mit einem holländischen Anbieter, wir mit Smowl. Fun, EADTU, FutureLearn und einige andere Anbieter haben sich zum European MOOC Consortium zusammengeschlossen, um hier stärker zusammenzuarbeiten.

Praktisch sehe ich jede Menge Probleme, die zumeist eher politischer als technischer Natur sind. Durch Corona sehe ich aber durchaus eine Chance, dass das Thema vorwärtsgebracht wird, weil es an Alternativen mangelt.

Anforderungen an Mensch & Organisation

HFD: Welche Ressourcen braucht es, damit Hochschulen ihren Prüfungsbetrieb auf Online-Proctoring umstellen können? 

Stefanie Schweiger: Seitens der Studierenden wird ein internetfähiges Endgerät mit Webcam benötigt. Zudem muss ein Vertrag mit einem passenden Proctoring-Anbieter (Kostenpunkt von ca. 20 bis ca. 150 € pro Stunde Proctoring/Prüfling) ausgehandelt werden. In jedem Fall sollte es eine/n Ansprechpartner*in bzw. Proctoring-Beauftragte*n seitens der Hochschule geben, welche die Prüflinge bei technischen und organisatorischen Problemen sowie Fragen unterstützen kann.

HFD: Was müssen Lehrende bei der Erstellung und Durchführung von online beaufsichtigten Prüfungen im Vergleich zu Präsenz-Prüfungen beachten?

Stefanie Schweiger: Die Prüfung kann genauso erstellt werden wie eine Präsenzprüfung. Bei manchen Proctoringformen wären theoretisch sogar analoge Prüfungsformen vorstellbar, wenn auch nicht unbedingt empfehlenswert. Die Studierenden sollten lediglich im Vorhinein ausreichend über das genaue Prozedere der jeweiligen Online-Prüfung sowie etwaige Rahmenbedingungen – beispielsweise ob es ggf. nötig ist, sich einige Zeit vor der Prüfung dafür zu registrieren etc. –  informiert werden. Wir haben ausführliche sowie bebilderte Informationen zum Ablauf des Online-Proctoring auf unserer Webseite bereitgestellt.

HFD: Welche Kenntnisse, Fähigkeiten benötigen die Lernenden, um Prüfungen mittels Online-Beaufsichtigung zu absolvieren? 

Stefanie Schweiger: Die Studierenden müssen in der Lage sein, einen Browser zu bedienen und sich auch mit dessen Sicherheitseinstellungen auskennen. Sie sollten eine Webcam bedienen sowie einstellen können und über allgemeine Computergrundkenntnisse verfügen.

HFD: Sind online beaufsichtigte Prüfungen mit deutschem Prüfungsrecht kompatibel? 

Stefanie Schweiger: Das kann ich im Detail so nicht sagen und man sollte es im Einzrfall von einem Anwalt prüfen lassen. Neben dem Hochschulprüfungsrecht muss auch der Datenschutz beachtet werden. Daher hat sich openHPI für einen Partner aus der EU entschieden. Es gibt jedoch viele US-Anbieter und hier hat man dann das Problem mit dem weniger strengen Datenschutzrecht in den USA. Daher Vorsicht!

Datenschutz & Privatsphäre

HFD: Welche EU- bzw. deutschlandweiten Datenschutzbestimmungen gelten in Online-Testsituationen und wie können Institutionen und Anbieter von Proctoring-Lösungen diese Vorschriften einhalten?

Stefanie Schweiger: Wir arbeiten bewusst mit Smowl, einem Partner aus der EU zusammen. Man sollte genau darauf achten, welche Daten während der Prüfung tatsächlich, zum Zwecke der Beaufsichtigung, benötigt werden und nur diese übermitteln. Des Weiteren müssen die Nutzer*innen darüber informiert werden, was mit ihren Daten geschieht und dem zustimmen. Smowl erhält von uns z.B. nicht den Klarnamen der Nutzer*innen, sondern lediglich eine kryptographisch verschlüsselte Nutzer-ID und die entsprechenden Bilder.

Ferner muss bei der Auswahl des Anbieters unbedingt auch dessen Standort – insbesondere deren Serverstandort – beachtet werden. Denn amerikanische Anbieter sind datenschutzrechtlich schwieriger als europäische.

HFD: Welche Daten werden für die Durchführung von online beaufsichtigen Prüfungen benötigt?

Stefanie Schweiger: Das hängt von den Details des geplanten Proctorings ab. Das Minimum, welches der Anbieter der Prüfung erfassen muss ist: Name, Bild oder Identitätsprüfung, Adresse/Wohnort, Geburtsdatum, Matrikelnummer – also im Prinzip alles, was auch für eine offline Prüfung notwendig wäre.

Das Minimum, welches der Proctoringanbieter benötigt, ist eine Nutzerkennung sowie die jeweiligen Foto-, Video und/oder Audiodaten, die für den Zweck der Beaufsichtigung erhoben werden. Zusätzlich müssen in der Regel noch Thresholds gesetzt werden, die bestimmen, welche Menge an „Fehlverhalten“ noch toleriert ist bzw. wann sich Personen für das Absolvieren der Prüfung disqualifizieren.

HFD: Vielen Dank für das Interview!

Ein weiteres Interview zum Thema Online-Proctoring ist bereits auf unserem Blog erschienen und hier zu finden.