Kinder in Texas nehmen an staatlich vorgeschriebenen standardisierte Tests diese Woche statt, um ihre Kompetenz in Lesen, Schreiben, Naturwissenschaften und Sozialkunde zu messen. Aber diese Tests werden nicht mehr zwingend von menschlichen Lehrern bewertet. Tatsächlich wird die Texas Education Agency eine neue „automatisierte Bewertungsmaschine“ für offene Testfragen einführen. Und der Staat hofft mit dem neuen Programm Millionen einzusparen.
Die Technologie, die von der Texas Education Agency als „Auto-Scoring-Engine“ (ASE) bezeichnet wird, nutzt die Verarbeitung natürlicher Sprache, um Schüleraufsätze zu benoten, heißt es in der Texas Tribune. Nach der ersten Benotung durch das KI-Modell werden etwa 25 % der Testantworten zurück an menschliche Bewerter zur Überprüfung gesendet, so der San Antonio Bericht Nachrichtenagentur.
Texas erwartet mit dem neuen KI-Tool Einsparungen zwischen 15 und 20 Millionen US-Dollar, vor allem, weil weniger menschliche Prüfer über eine externe Vertragsagentur angeheuert werden müssen. Früher wurden etwa 6.000 Prüfer benötigt, doch diese Zahl wird laut Texas Tribune auf etwa 2.000 reduziert.
Eine veröffentlichte Präsentation auf der Website der Texas Education Agency Webseite scheint zu zeigen, dass Tests des neuen Systems zeigten, dass Menschen und das automatische System bei den meisten Kindern vergleichbare Ergebnisse erzielten. Es bleiben jedoch viele Fragen darüber offen, wie die Technologie genau funktioniert und welches Unternehmen dem Staat möglicherweise geholfen hat bei der Entwicklung der Software geholfen hat. Zwei Bildungsunternehmen, Cambium und Pearson, werden auf der Website der Texas Education Agency als Auftragnehmer erwähnt, die Agentur hat jedoch auf am Dienstag per E-Mail gestellte Fragen nicht geantwortet.
Die State of Texas Assessments of Academic Readiness (STAAR) wurden erstmals im Jahr 2011 eingeführt aber 2023 neu gestaltet, um mehr offene Fragen im Aufsatzstil aufzunehmen. Zuvor enthielt der Test viel mehr Fragen im Multiple Choice-Format, die selbstverständlich auch mit computergestützten Tools bewertet wurden. Der große Unterschied besteht darin, dass die Bewertung eines Antwortbogens anders ist als die Bewertung einer schriftlichen Antwort, was für Computer schwerer ist zu verstehen.
Als Zeichen dafür, wie toxisch KI-Tools im Mainstream-Technologiediskurs geworden sind, hat die Texas Education Agency offenbar alle Vergleiche mit generativen KI-Chatbots wie … schnell zurückgewiesen. ChatGPT, laut Texas Tribune. Und die PowerPoint-Präsentation auf der Website der Texas Education Agency scheint dieses Unbehagen bei Vergleichen mit Lösungen wie ChatGPT zu bestätigen.
„Diese Art von Technologie unterscheidet sich von KI darin, dass KI ein Computer ist, der sich mithilfe progressiver Lernalgorithmen anpasst, sodass die Daten die Programmierung übernehmen und sich im Wesentlichen selbst unterrichten“, erklärt die Präsentation. „Stattdessen handelt es sich bei der automatisierten Bewertungsmaschine um eine geschlossene Datenbank mit Daten zu den Antworten der Studenten, auf die nur TEA und – unter strikter vertraglicher Datenschutzkontrolle – seine Bewertungsauftragnehmer Cambium und Pearson zugreifen können.“
Jede Familie, die mit der Note ihres Kindes unzufrieden ist, kann verlangen, dass ein Mensch den Test noch einmal überprüft, heißt es in der San Antonio Bericht. Aber es kostet Sie 50 $.
