Wir testen die “KI-Korrekturhilfe” von Fobizz: Neues Paper und 38C3-Vortrag

Chatbots im Schulunterricht? Wir testen ein Tool des deutschen Markführers Fobizz und finden gravierende Mängel.

Abstract: In unserer neuen Studie haben wir das KI-Tool „KI-Korrekturhilfe“ des Unternehmens Fobizz getestet. Die KI-Korrekturhilfe soll Lehrkräften bei der Bewertung und Rückmeldung von Schülerarbeiten unterstützen. Im gesellschaftlichen Kontext eines überlasteten Bildungssystems und wachsender Erwartungen an den Einsatz von künstlicher Intelligenz zur Lösung dieser Probleme analysiert die Untersuchung die funktionale Eignung des Tools anhand von zwei Testreihen. Dabei zeigen die Ergebnisse erhebliche Defizite: Die numerischen Bewertungen und qualitativen Rückmeldungen des Tools hängen häufig vom Zufall ab und verbessern sich nicht durch die Einarbeitung der Verbesserungsvorschläge des KI-Tools. Eine Bestbewertung ist nur mit Texten erreichbar, die von ChatGPT geschrieben sind. Falschbehauptungen und Nonsense-Abgaben werden häufig nicht erkannt, und die Umsetzung einiger Bewertungskriterien ist unzuverlässig und intransparent. Da diese Mängel aus den fundamentalen Einschränkungen großer Sprachmodelle (LLMs) resultieren, sind grundlegende Verbesserungen dieses oder ähnlicher Tools nicht unmittelbar zu erwarten. Die Studie kritisiert den allgemeinen Trend, KI als schnelle Lösung für systemische Probleme im Bildungswesen einzusetzen. Sie kommt zu dem Schluss, dass die Vermarktung des Tools durch Fobizz als objektive und zeitsparende Lösung irreführend und unverantwortlich ist und mahnt zu systematischer Evaluation und fachdidaktischer Prüfung des Einsatzes von KI-Tools im Schulkontext.

Zur Studie:

1. 

   Mühlhoff, Rainer, und Marte Henningsen. 2024. „Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben“. doi:10.48550/arXiv.2412.06651.

   Full text pre-print bibtex

   ×

   @online{Mü-Henningsen2024,
     title = {Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben},
     shorttitle = {Chatbots im Schulunterricht},
     author = {Mühlhoff, Rainer and Henningsen, Marte},
     date = {2024-12-10},
     eprint = {2412.06651},
     eprinttype = {arXiv},
     eprintclass = {cs},
     doi = {10.48550/arXiv.2412.06651},
     url = {http://arxiv.org/abs/2412.06651},
     urldate = {2024-12-11},
     pubstate = {prepublished},
     keywords = {Computer Science - Computers and Society},
     web_thumbnail = {/assets/images/publications/Mü-Henningsen2024.jpg},
     web_group = {aktuell},
     web_fulltext = {http://arxiv.org/pdf/2412.06651},
     web_preprint = {http://arxiv.org/abs/2412.06651}
   }
   

Materialanhang

Der Materialanhang (mit allen Testprotokollen) ist hier erhältlich.

Vortrag auf dem Jahreskongress des Chaos Computer Club – 38C3

Beim #38C3 am 29.12.2024 in Hamburg stellen Marte Henningsen und Rainer Mühlhoff die Studie vor. Videoaufzeichnung des Vortrags:

Event website

In den Medien

• Deutschlandfunk Kultur: Sendung Breitband am 28.12.2024 live vom 38c3, mit Vera Linß und Jenny Genzmer, ab Minute 24:30
• Netzpolitik.org: Artikel von Esther Menhard, 29.12.2024
• heise Online: Artikel von Marie-Claire Koch, 31.12.2024