Wir testen die “KI-Korrekturhilfe” von Fobizz: Neues Paper und 38C3-Vortrag

Chatbots im Schulunterricht? Wir testen ein Tool des deutschen Markführers Fobizz und finden gravierende Mängel.

In unserer neuen Studie haben wir das KI-Tool „KI-Korrekturhilfe“ des Unternehmens Fobizz getestet. Die KI-Korrekturhilfe soll Lehrkräften bei der Bewertung und Rückmeldung von Schülerarbeiten unterstützen. Im gesellschaftlichen Kontext eines überlasteten Bildungssystems und wachsender Erwartungen an den Einsatz von künstlicher Intelligenz zur Lösung dieser Probleme analysiert die Untersuchung die funktionale Eignung des Tools anhand von zwei Testreihen. Dabei zeigen die Ergebnisse erhebliche Defizite: Die numerischen Bewertungen und qualitativen Rückmeldungen des Tools hängen häufig vom Zufall ab und verbessern sich nicht durch die Einarbeitung der Verbesserungsvorschläge des KI-Tools. Eine Bestbewertung ist nur mit Texten erreichbar, die von ChatGPT geschrieben sind. Falschbehauptungen und Nonsense-Abgaben werden häufig nicht erkannt, und die Umsetzung einiger Bewertungskriterien ist unzuverlässig und intransparent. Da diese Mängel aus den fundamentalen Einschränkungen großer Sprachmodelle (LLMs) resultieren, sind grundlegende Verbesserungen dieses oder ähnlicher Tools nicht unmittelbar zu erwarten. Die Studie kritisiert den allgemeinen Trend, KI als schnelle Lösung für systemische Probleme im Bildungswesen einzusetzen. Sie kommt zu dem Schluss, dass die Vermarktung des Tools durch Fobizz als objektive und zeitsparende Lösung irreführend und unverantwortlich ist und mahnt zu systematischer Evaluation und fachdidaktischer Prüfung des Einsatzes von KI-Tools im Schulkontext.

Zur Studie:

1. 

   Mühlhoff, Rainer, und Marte Henningsen. 2024. „Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben“. doi:10.48550/arXiv.2412.06651.

   Full text pre-print bibtex

   ×

   @online{Mü-Henningsen2024,
     title = {Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben},
     shorttitle = {Chatbots im Schulunterricht},
     author = {Mühlhoff, Rainer and Henningsen, Marte},
     date = {2024-12-10},
     eprint = {2412.06651},
     eprinttype = {arXiv},
     eprintclass = {cs},
     doi = {10.48550/arXiv.2412.06651},
     url = {http://arxiv.org/abs/2412.06651},
     urldate = {2024-12-11},
     pubstate = {prepublished},
     keywords = {Computer Science - Computers and Society},
     web_thumbnail = {/assets/images/publications/Mü-Henningsen2024.jpg},
     web_group = {aktuell},
     web_fulltext = {http://arxiv.org/pdf/2412.06651},
     web_preprint = {http://arxiv.org/abs/2412.06651}
   }
   

Vortrag auf dem Jahreskongress des Chaos Computer Club – 38C3

Beim #38C3 am 29.12.2024 in Hamburg stellen Marte Henningsen und Rainer Mühlhoff die Studie vor. Der Vortrag wird auch als Video (live und Recording) verfügbar sein:

Event website