Wie funktioniert Online-Proctoring?

Wer kann von der Nutzung der Online-Proctoring-Technologie profitieren? Jeder, der Fernprüfungen durchführen möchte, sei es im Bildungs- oder Organisationskontext.

Wie funktioniert es? In diesem Artikel werden wir einen tiefen Einblick in die Struktur und den Betrieb der Constructor's Proctor-Lösung, einer KI-gestützten Online-Proctoring-Plattform, sowie die wichtigsten Phasen für Online-Prüfungen geben.

Erste Schritte mit Proctor

Die Online-Proctoring-Erweiterung funktioniert über einen Browser, ohne dass zusätzliche Installationen erforderlich sind. Der Dienst ist in ein Testsystem integriert – LMS (Lernmanagementsystem). Der Proctor-Dienst wird als SaaS (Software as a Service) angeboten, und die gesamte Infrastruktur wird in Cloud-Diensten gespeichert. Studenten müssen nichts auf dem Computer installieren. Einfach den Browser öffnen, den angegebenen Link aufrufen, die System- und Identitätsauthentifizierung bestehen und mit der Prüfung beginnen.

Sollten Studenten während einer fernüberwachten Prüfung einen Computer oder ein Telefon verwenden? 

Basierend auf unserer Erfahrung ist die Desktop-Version das einzige Gerät, das zuverlässige Ergebnisse liefert, daher empfehlen wir sie unseren Kunden immer dringend. Die mobile Version bietet dem Benutzer zu viele Möglichkeiten, das System auszunutzen. Wir verstehen jedoch, dass es in einigen Fällen nicht möglich ist, einen Computer zu verwenden, z. B. wenn Feldarbeiter in einem abgelegenen Werk oder einer Fabrik sind.

Das Proctoring-System fordert den Zugriff auf die Kamera und das Mikrofon an und überprüft deren Funktionalität sowie die Stabilität der Internetverbindung, das Vorhandensein eines zweiten Bildschirms und alle Versuche, den Bildschirm zu simulieren oder zu imitieren. Wenn das System alle Tests besteht, müssen die Studenten den Identifikationsprozess durchlaufen: ein Foto von sich selbst mit einem Ausweisdokument (Führerschein, Studentenausweis oder Kreditkarte) aufnehmen und senden.

Anschließend kann der Student mit der Prüfung beginnen. Gleichzeitig erfasst das Online-Proctoring-System Informationen aus drei verschiedenen Quellen:

• Kamera
• Mikrofon
• Desktop

Nach Abschluss der Prüfung sammelt und kombiniert das Online-Proctoring-System Informationen aus allen Quellen zu einem einzigen kombinierten Datensatz.

Verstöße mit Proctor kennzeichnen

Während der Prüfung beobachtet die Proctor-Software die Aktionen der Studenten. Das System ist flexibel und ermöglicht es dem Gastgeber, die Regeln für jede Prüfung festzulegen. Zum Beispiel können in einigen Fällen Studenten einen Taschenrechner verwenden; in anderen Fällen benötigen sie möglicherweise Stift und Papier.

Während der Prüfung erkennt das System automatisch die folgenden Arten von Verstößen:

• Änderungen in der Blickrichtung, d. h. wenn der Benutzer woanders hinschaut.
• Fehlen des Gesichts im Bild, d. h. wenn der Benutzer nicht im Sichtfeld der Kamera ist oder das Gesicht nicht vollständig sichtbar ist.
• Das Vorhandensein anderer Figuren im Bild (Hinweis: Es wird auch empfohlen, alle Porträts von den Wänden zu entfernen, da sie automatisch markiert werden könnten).
• Substitution des Studenten, d. h. wenn die Person im Bild nicht dieselbe Person ist, die an der Prüfung teilnehmen soll.
• Jede menschliche Stimme im Bild, auch wenn es die Stimme des Studenten ist (z. B. der Student spricht die Fragen laut aus).
• Ändern der Fenster und Tabs auf dem Desktop, d. h. wenn der Benutzer vom Testfenster zu einer Suchmaschine wechselt oder eine Drittanbieteranwendung öffnet.

Im Online-Proctoring-Modus, wenn der gesamte Prozess von einer Person kontrolliert und überwacht wird, können andere Arten von Verstößen gemeldet werden: 

• Die Verwendung von Telefonen, Tablets und anderen Geräten
• Die Verwendung von TeamViewer, Skype, RemoteAdmin und anderer Desktop-Übertragungssoftware
• Die Verwendung von virtuellen Maschinen und Thin Clients, um eine Prüfung von einer dritten Partei bestehen zu lassen
• Die Verwendung von Büchern, Notizen und Entwürfen
• Die Verwendung von Taschenrechnern (wenn verboten)
• Alle nonverbalen Kommunikationen (Zwinkern, Handbewegungen, Nicken usw.)

Proctor markiert automatisch alle potenziellen Regelverstöße und fügt sie dem Bericht hinzu. Jeder markierte Eintrag enthält Informationen über die Art des Verstoßes, wie das Wegschauen vom Bildschirm oder das Öffnen eines neuen Tabs, und einen Zeitstempel.

Basierend auf den Ergebnissen der Prüfung berechnet Proctor die Gesamtwahrscheinlichkeit von Verstößen während der Prüfung: 

• die grüne Zone bedeutet eine geringe Wahrscheinlichkeit 
• die gelbe Zone bedeutet eine mittlere Wahrscheinlichkeit 
• die rote Zone bedeutet eine hohe Wahrscheinlichkeit

Mit anderen Worten, Proctor kann sofort bestimmen, welcher Prüfling zuerst überprüft werden muss.

Basierend auf den Ergebnissen der Prüfung können wir die folgenden Aktionen für jeden Prüfling durchführen:

• Betrachten und Anhören von Kamera-, Mikrofon- und Desktop-Aufnahmen
• Alle potenziellen Verstöße in chronologischer Reihenfolge anzeigen
• Die Aufzeichnungen dessen überprüfen, was zu diesem bestimmten Zeitpunkt passiert ist

Arten des Online-Proctorings

Automatisches Proctoring 

Alles wird von einem KI-Proctor erledigt. Der offensichtliche Vorteil dieses Modus ist, dass er die Gesamtkosten der Prüfung reduziert. In vielen Situationen ist jedoch die menschliche Beteiligung einfach unersetzlich, wie zum Beispiel:

• Im Falle von Prüfungen mit hohen Einsätzen kann der Überwachungs- und Entscheidungsprozess nicht der Maschine überlassen werden;
• Selbst das genaueste Automatisierungssystem kann bestimmte nicht offensichtliche Verstöße nicht verfolgen;
• Automatisierung ist sehr empfindlich und kann keine zufälligen Ergebnisse erkennen, wie z. B. eine Mutter, die die Tür in wenigen Sekunden öffnet und schließt; 
• Es gibt viele Fälle, in denen alle Phasen des Prüfungsprozesses von einem menschlichen Proctor kontrolliert werden müssen, z. B. muss eine Person möglicherweise eines der vordefinierten Protokolle verwenden, bevor sie einem Studenten Zugang zur Prüfung gewährt;
• Der Betreiber des Proctoring-Systems kann sicherstellen, dass der Student das Verfahren für eine bestimmte Prüfung befolgt. In einigen Fällen muss der Student zeigen, dass seine Handflächen nicht voller Hinweise und Antworten sind, während er für eine andere Art von Prüfung den Entwurf in kleine Stücke reißen muss.

3 Modi der menschlichen Beteiligung

Zusätzlich zum vollständig automatisierten KI-Proctoring gibt es drei Modi mit menschlicher Beteiligung:

1. Asynchroner Modus: Ein Operator wird die Aufzeichnung nach der Prüfung überprüfen;
2. Synchroner Modus: Fernüberwachung und -kontrolle des Prüfungsprozesses durch einen Operator des Proctoring-Systems;
3. Identifikationsmodus: Der Operator bestätigt nur die Identität des Studenten vor dem Betreten der Prüfung;

Jeder Modus hat seine eigene Benutzeroberfläche und Methodik für die Arbeit mit Operatoren, die wir in den folgenden Artikeln ausführlich besprechen werden.

Wir hoffen, dass Sie nun verstehen, wie das Online-Proctoring-System im Allgemeinen funktioniert. Unsere nächsten Artikel werden die Technologien hinter der Proctoring-Lösung für Online-Prüfungen erkunden.