Was sind die Grenzen von KI in der Lehre und wie können Studierende diese Grenzen selbst ermitteln? Das war die Motivation an der RWTH Aachen, als an den Lehrstühlen für Mathematik, Bauingenieurwesen und Informatik eine Moodle-Erweiterung mit ChatGPT eingeführt wurde. Anhand von ausgewählten Beispielen stellt Prof. Aloys Krieg das Projekt „Proof of Concept“ vor, das künftig auch als Open Source zur Verfügung stehen soll.

Was war unsere Motivation?

Das Thema des Einsatzes von KI in der Lehre füllt täglich eine Vielzahl an Fachartikeln und Beiträgen in den Sozialen Medien. In diesem Kontext wollte die RWTH Aachen direkt einmal Nägel mit Köpfen machen.

Sprich: Wie können wir unseren Studierenden den Zugang zu ChatGPT in einem geschützten Raum eröffnen und sie dazu anregen, aktiv mit dem Tool zu experimentieren und so selbstständig herauszufinden, wo die Chancen aber auch Grenzen von KI in der Lehre sind?

Zu diesem Zweck hat die RWTH Aachen einen Proof-of-Concept-Prozess mit Unterstützung durch Microsoft angestoßen. Dazu wurde eine dedizierte Forschungsinstanz von Moodle bereitgestellt, auf der Dozierende ihre regulären Kursangebote und/oder Experimentierräume einrichten konnten, die via Azure anonymisiert an ChatGPT 3.5 angebunden wurden.

Die technische Umsetzung realisierten die scieneers GmbH als Microsoft Partner, die Abteilung Prozessunterstützung und Digitalisierung Studium & Lehre von Herrn Decker und die Abteilung Systeme & Betrieb von Frau Dittrich (beide IT Center der RWTH Aachen) sowie der UNESCO-Chair HydroChange des Kollegen Nacken (für die Moodle Forschungsinstanz).

Das Ziel des Proof of Concept war es festzustellen, ob eine Anbindung der Moodle-Kurse an GPT in der Regelinstanz der RWTH Aachen bei einer Freigabe durch die jeweiligen Dozierenden dazu führen würde, die Kompetenzen unserer Studierenden im Umgang mit derartigen KI-Werkzeugen zu steigern und die aktive Auseinandersetzung mit dem Thema in der Lehre zu ermöglichen.

Wie wurde der technische Aufbau realisiert?

Die Anbindung von Moodle an ChatGPT wurde auf einer dedizierten Forschungsinstanz von Moodle auf einem Server am UNESCO Chair HydroChange realisiert, um den Regelbetrieb nicht zu stören. Die Anbindung an ChatGPT wurde durch ein speziell entwickeltes Moodle Plug-in realisiert, über das sämtliche Anfragen via Azure an OpenAI weitergeleitet werden. Dadurch ist sichergestellt, dass keine personenbezogenen Daten die Server der RWTH Aachen verlassen.

Die Dozierenden konnten die Medieninhalte aus ihren Kursen zur Einbindung in die Antworten von ChatGPT bereitstellen. Dabei konnten neben PowerPoint Folien und Textdokumenten unterschiedlicher Formate auch Quizfragen im Moodle-Format sowie als H5P-Files verwendet werden. Die scieneers GmbH hat eine Softwareanwendung erstellt, welche die Daten mithilfe von Embeddings in Vektoren umwandelt und diese in einer Vektordatenbank speichert. Der Vorgang der Einbindung der Medien ist zurzeit noch nicht generisch, sondern erfordert, abhängig von der Art des digitalen Contents, noch händische Eingriffe.

Als Antwort auf die Prompts der Studierenden erhält man somit kursspezifische Antworten, bei denen auch Verweise auf das Quelldokument eingebunden werden, wenn diese zur Erstellung der Antwort verwendet wurden.

Welche Kurse wurden eingebunden?

In den Proof of Concept wurden Kurse aus den Bereichen Mathematik, Informatik, Bauingenieurwesen und Verfahrenstechnik eingebunden.

Im Bereich der Mathematik wurde ein HM4MINT-Intensivkurs ausgewählt, der zukünftigen Studierenden der RWTH Aachen offensteht, um sich auf ein Studium an der RWTH Aachen vorzubereiten. Nach dem Abschluss des Kurses können die Teilnehmenden eine Klausur schreiben. Wenn sie diese bestehen, erhalten sie dafür CP´s, die sie sich in den Studiengängen der RWTH Aachen direkt anrechnen lassen und die somit den Einstieg in einen Studiengang erleichtern können. Diesen Kursbereich hat mein Mitarbeiter, Herr Dr. Schaps, betreut.

Aus dem Fachkanon der Informatik wurde ein Doktorandensemiar ausgewählt, bei dem die Teilnehmenden sich über die Fragen der Vermittlung von Software Engineering in Studiengängen der Informatik unter Einbezug von ChatGPT austauschen. Der Kurs wird von dem Kollegen Rumpe betreut.

Die Verfahrenstechnik ist mit einem Kursangebot zu Membranverfahren beteiligt. Hierbei handelt es sich um eine Standardkursangebot aus dem Aufgabenbereich des Maschinenwesens. Der Dozent ist mein Kollege Wessling, seines Zeichens Prorektor für Forschung und Struktur.

Das Bauingenieurwesen ist mit einem Kursangebot von Kollegen Nacken aus dem Bereich der Wasserwirtschaft eingebunden. Kollege Nacken ist auch der Koordinator des Proof of Concept gegenüber der Firma Microsoft.

Welche Erfahrungen haben wir machen können?

Wir sind sicher noch nicht am Ende unseres Erkenntnisgewinns angekommen. Aber so viel kann man zurzeit schon festhalten: Es lohnt sich auf jeden Fall, die Möglichkeiten der generativen KI aktiv in die Lehre an der RWTH Aachen einzubinden.

Dazu ein konkretes Beispiel: Der Kollege Nacken hat seinen Studierenden im Rahmen einer Bonus-Aktion vor seiner Klausur die Möglichkeit gegeben, drei Klausurfragen zu entwerfen und die Aufgaben dabei einer Taxonomie-Stufe nach der Klassifikation von Anderson und Krathwohl zuzuordnen. Die Antworten auf die Prompts sollten sie im Rahmen eines Prompt-Engineering so lange modifizieren, bis sie keine erkennbaren Verbesserungen der Antworten feststellen konnten.

Der überwiegende Teil der Studierenden kam dabei von selbst auf den Rückschluss, dass die GPT Instanz qualitativ gute Antworten liefern kann, wenn die Anforderung auf den ersten drei Taxonomie-Ebenen (erinnern-verstehen-anwenden) angesiedelt waren. Sobald die höheren kognitiven Taxonomie-Ebenen (analysieren-bewerten-erschaffen) anvisiert wurden, brach die Qualität der Antworten massiv ein. Selbst bei noch so intensiven Versuchen, die Prompts zu modifizieren blieb am Ende nur die Schlussfolgerung: das kann das System nicht leisten.

Durch diese Art der Auseinandersetzung mit dem Thema des Prompt-Engineering haben sich die Studierenden eigenständig ein Verständnis der Technik erarbeiten können, das in dieser Form in einer klassischen Face-to-face-Veranstaltung entweder gar nicht oder nur sehr eingeschränkt erzeugt worden wäre.

Für den Bereich der Mathematik muss ich sagen, dass wir noch nicht wirklich zufrieden sind, da die verwendete Terminologie und Notation in den Antworten nicht passend waren. Die Erfahrungen des Kollegen Nacken treffen auch hier zu. Sobald mehrere logische Schritte vollzogen werden müssen, sinkt die Qualität der Antworten enorm.

Wenn man den Chatbot zur Überprüfung eigener Rechnungen einsetzen möchte, wäre eine Kopplung an ein Computeralgebrasystem eine sinnvolle Option.

Wie soll es weitergehen?

Die RWTH Aachen wird die gemachten Erfahrungen an andere Hochschulen weitergeben, indem eine Open-Source-Softwarelösung für die Anbindung des LMS Moodle an ChatGPT über Azure OpenAI bereitgestellt wird. Die Arbeiten dazu sind bereits angelaufen. Außerdem stellt der UNESCO Lehrstuhl des Kollegen Nacken auch weiterhin seinen Moodle Server für Dozierende anderer Hochschulen bereit, um sich mit der Anbindung vertraut zu machen.

Vor einer Einbindung in den Regelbetrieb an der RWTH Aachen sind noch Gespräche mit dem Datenschutz und dem Personalrat zu führen, die aber sicher in absehbarer Zeit zu einem positiven Ergebnis geführt werden können.

Wen kann ich bei Fragen kontaktieren?

Unser Rektoratsbeauftragter für Blended Learning, Prof. Heribert Nacken, steht Ihnen für weitergehende Fragen gerne zur Verfügung:

Univ.-Prof. Dr.-Ing. Heribert Nacken
nacken@lfi.rwth-aachen.de
0151-140 424 58 (auf Whatsapp, Signal und Threema)