Kimberly Gasuras verwendet keine KI. „Ich brauche sie nicht“, sagte sie. „Ich arbeite seit 24 Jahren als Nachrichtenreporterin. Wie glauben Sie habe ich die ganze Arbeit geschafft?“ Diese Logik reichte nicht aus, um ihren Job zu retten.
Als Lokaljournalistin in Bucyrus, Ohio, ist Gasuras auf Nebenbeschäftigungen angewiesen, um ihre Rechnungen zu bezahlen. Eine Zeit lang verdiente sie gutes Geld auf einer Plattform für freiberufliche Autoren namens WritersAccess, wo sie Blogs und andere Inhalte für kleine und mittelgroße Unternehmen schrieb. Doch Mitte 2023 brachen ihre Einnahmen ein, da einige Kunden für ihre Schreibanforderungen zu ChatGPT wechselten. Es war bereits eine schwierige Zeit. Dann kam die E-Mail.
„Ich habe nur eine Warnung bekommen“, sagte Gasuras. „Ich habe diese Nachricht bekommen, dass sie meine Arbeit mithilfe eines Tools namens ‚Originalität‘ als KI gekennzeichnet haben.“ Sie war sprachlos. Gasuras schrieb zurück, um ihre Unschuld zu verteidigen, aber sie bekam nie eine Antwort. Originalität kostet Geld, aber Gasuras begann, ihre Arbeit durch andere KI-Tools laufen zu lassen. Sie hat vor dem Absenden Detektoren durchgeführt, um sicher zu stellen, dass sie nicht aus Versehen beschädigt wurde. Einige Monate später hat WritersAccess sie trotzdem von der Plattform geworfen. „Sie sagten, mein Konto wurde aufgrund übermäßiger Nutzung von KI gesperrt. Ich konnte es nicht glauben“, sagte Gasuras. WritersAccess antwortete auf eine Bitte um einen Kommentar nicht.
Als ChatGPT vor anderthalb Jahren die Welt in Aufruhr versetzte, löste dies eine fieberhafte Suche nach Möglichkeiten aus, Leute zu erwischen, die versuchen, KI-Texte als ihre eigenen Texte auszugeben. Zahlreiche Start-ups wurden gegründet, um diese Lücke mithilfe von KI-Erkennungstools zu füllen. Zu ihren Namen zählen Copyleaks, GPTZero, Originality.AI und Winston AI. In einer Landschaft voller KI-Schreckgespenster ist dies ein ordentliches Geschäft.
Diese Unternehmen werben mit Seelenfrieden und einer Möglichkeit, durch „Beweise“ und „Verantwortlichkeit“ die Kontrolle zurückzuerlangen. Einige werben mit Genauigkeitsraten von bis zu 99,98 %. Doch eine wachsende Zahl von Experten, Studien und Brancheninsidern argumentiert, dass diese Tools weitaus weniger zuverlässig sind, als ihre Hersteller versprechen. Es steht außer Frage, dass KI-Detektoren häufig Fehler machen und unbeteiligte Zuschauer ins Kreuzfeuer geraten. Unzählige Studenten wurden des KI-Plagiats beschuldigt, aber in der Berufswelt findet sich eine leise verbreitete Epidemie aus. Einige Schreibjobs gehen dank Chatbots verloren. Während die Menschen um das schwindende Arbeitsfeld kämpfen, verlieren Schriftsteller ihre Jobs aufgrund falscher Anschuldigungen von KI-Detektoren.
„Diese Technologie funktioniert nicht so, wie sie beworben wird“, sagte Bars Juhasz, Mitbegründer von Undetectable AI, das Tools entwickelt, mit denen Menschen KI-Texte vermenschlichen und sie so an Erkennungssoftware vorbeischmuggeln können. „Wir haben große Bedenken hinsichtlich der Zuverlässigkeit des Trainingsprozesses, der se KI-Detektoren verwenden. Diese Leute behaupten, sie hätten eine 99-prozentige Genauigkeit, und auf Grundlage unserer Arbeit halte ich das für unmöglich. Aber selbst wenn es wahr wäre, bedeutet das immer noch dass es pro 100 Personen einen False Fall gibt. Es geht um die Lebensgrundlage und um ihren Ruf der Menschen.“
Schutz oder Schlangenöl?
Im Allgemeinen funktionieren KI-Detektoren, indem sie die Kennzeichen der KI-Handschrift erkennen, wie etwa eine perfekte Grammatik und Zeichensetzung. Tatsächlich scheint es, dass eine der einfachsten Möglichkeiten, Ihre Arbeit kennzeichnen zu lassen, die Verwendung von Grammarly ist, einem Tool, das auf Rechtschreib- und Grammatikfehler prüft. Es schlägt sogar Möglichkeiten vor, Sätze umzuschreiben, indem man, Sie raten mal, edit, künstliche Intelligenz. Um das Ganze noch schlimmer zu machen, hat Gizmodo mit Autoren gesprochen, die sagten, sie seien von Plattformen gefeuert worden, die von ihnen die Verwendung von Grammarly verlangten. (Gizmodo hat die Details dieser Geschichten bestätigt, aber wir schließen die Namen bestimmter Plattformen für Freiberufler aus, da die Autoren Geheimhaltungsvereinbarungen unterzeichnet haben.)
Autoren, Experten und sogar KI-Erkennungsunternehmen selbst sagten, dass die Verwendung von Grammarly dazu führen kann, dass Ihre Texte als KI-generiert gekennzeichnet werden. Jenny Maxwell, Grammarlys Bildungsleiterin, bestritt diese Behauptungen jedoch. „Es gibt keine Beweise, die einen Zusammenhang zwischen KI-Erkennungsmarkierungen und der Verwendung von Grammarly-Suggestions herstellen.“ Vorschläge wie unsere Klarheits-Umschreibungen basieren nicht auf generativer KI“, sagte Maxwell. Grammarly bietet zwar generative KI-Tools, mit denen Inhalte von Grund auf neu geschrieben werden können, diese Vorschläge erscheinen jedoch nicht automatisch. Diese Funktionen „sollten und würden“ eine KI-Erkennung auslösen, sagte sie.
Detektoren suchen auch nach aussagekräftigeren Faktoren, wie etwa „Burstiness“. Menschliche Autoren verwenden bestimmte Wörter eher in Clustern oder Bursts wieder, während KI Wörter eher gleichmäßig über ein Dokument verteilt. KI-Detektoren können auch „Perplexität“ bewerten, was im Wesentlichen bedeutet, dass eine KI die Wahrscheinlichkeit, dass es angesichts der Trainingsdaten des Modells ein Stück Text produziert hätte. Einige Unternehmen, wie der Branchenführer Originaility.AI, trainieren ihre eigenen KI-Sprachmodelle, die speziell dafür entwickelt sind, die Arbeit anderer KIs zu erkennen und Muster erkennen sollen, die für den menschlichen Verstand zu komplex sind.
Allerdings ist keine dieser Techniken narrensicher, und viele große Institutionen haben sich von dieser Art von Tools abgewandt. OpenAI brachte 2023 seinen eigenen KI-Detektor auf den Markt, um die Bedenken hinsichtlich seiner Produkte zu zerstreuen, nahm das Tool jedoch nur wenige Monate später „aufgrund seiner niedrige Genauigkeit.” Die akademische Welt war die erste Welt, die KI-Detektoren einsetzte, aber falsche Anschuldigungen führten eine lange Liste von Universitäten zu den Verbot der Nutzung von KI-Erkennungssoftware, darunter Vanderbilt, Michigan State, Northwestern und die University of Texas in Austin.
KI-Erkennungsunternehmen „betreiben Schlangenöl“, sagte Debora Weber-Wulff, Professorin an der Hochschule für Technik und Wirtschaft in Berlin, die Mitautorin eines aktuelles Papier über die Wirksamkeit der KI-Erkennung. Laut Weber-Wulff zeigt die Forschung, dass KI-Detektoren ungenau und unzuverlässig sind und leicht zu täuschen. „Die Menschen möchten glauben, dass es eine magische Software geben kann, die ihre Probleme löst“, sagt sie. Aber „Computersoftware kann soziale Probleme nicht lösen. Wir müssen andere Lösungen finden.“
Die Hersteller von KI-Detektoren sagen, dass diese zwar ein notwendiges, aber unvollkommenes Werkzeug in einer Welt seien, die von robotergenerierten Texten überschwemmt werde. Es besteht eine erhebliche Nachfrage nach diesen Diensten, unabhängig davon, ob sie effektiv sind oder nicht.
Alex Cui, Chief Technology Officer des KI-Erkennungsunternehmens GPTZero, sagte, dass Detektoren zwar erhebliche Mängel aufweisen, die Vorteile jedoch die Nachteile überwiegen. „Wir sehen eine Zukunft, in der das Internet, wenn sich nichts ändert, immer mehr von der KI bestimmt wird, egal, ob es sich um Nachrichten, von Experten geprüfte Artikel oder Marketing handelt. Man weiß nicht einmal, ob die Person, mit der man in den sozialen Medien spricht, echt ist“, sagte Cui. „Wir brauchen eine Lösung, um Wissen en masse zu bestätigen und festzustellen, ob Inhalte qualitativ hochwertig, authentisch und von legitimer Urheberschaft sind.“
Ein notwendiges Übel?
Mark, ein anderer Werbetexter aus Ohio, der uns bat, seinen Namen nicht zu nennen, um berufliche Konsequenzen zu vermeiden, sagte, er habe einen Wartungsjob in einem örtlichen Geschäft annehmen müssen, nachdem ihn ein KI-Detektor seinen Job gekostet hatte.
„Ich habe eine E-Mail bekommen, in der stand, dass mein neuester Artikel mit 95 % Wahrscheinlichkeit von einer KI-Generation stammt“, sagte Mark. „Ich war schockiert. Es kam mir lächerlich vor, dass sie mich beschuldigten, nachdem wir drei Jahre lang zusammengearbeitet hatten, lange bevor ChatGPT verfügbar war.“
Er versuchte, sich zu wehren. Mark schickte seinem Kunden eine Kopie des Google-Dokuments, in dem er den Artikel verfasst hatte. Dieses enthielt Zeitstempel, die zeigten, dass er das Dokument von Hand geschrieben hatte. Das war jedoch nicht genug. Marks Beziehung zur Schreibplattform zerbrach. Er sagte, der Verlust des Jobs habe ihn 90 % seines Einkommens gekostet.
„Wir hören diese Geschichten häufiger, als wir es uns wünschen, und wir verstehen den Schmerz, den falsch-positive Ergebnisse Autoren bereiten, wenn die Arbeit, in die sie ihr ganzes Herzblut gesteckt haben, fälschlicherweise beschuldigt wird“, sagte Jonathan Gillham, CEO von Originality.AI. „Wir haben das Gefühl, ein Tool zu entwickeln, das Autoren hilft, aber wir wissen, dass dies manchmal Konsequenzen hat.“
Doch laut Gillham geht es bei dem Problem um mehr als nur darum, den Autoren zu helfen oder Verantwortung zu übernehmen. „Google geht aggressiv gegen KI-Spam vor“, sagte er. „Wir haben von Unternehmen gehört, deren gesamte Website von Google aus dem Index entfernt wurde und die sagten, sie hätten nicht einmal gewusst, dass ihre Autoren KI verwenden.“
Es stimmt, dass das Internet überschwemmt wird von Content-Farmen mit geringem Aufwand die minderwertige KI-Artikel ausspucken, um Suchergebnisse zu manipulieren, Klicks zu erhalten und mit diesen Augen Werbegeld zu verdienen. Google geht gegen diese Seiten vor, was einige Unternehmen glauben lässt, dass ihre Websites herabgestuft werden, wenn Google irgendwelche KI-Texte erkennt. Das ist ein Problem für webbasierte Unternehmen und zunehmend das wichtigste Verkaufsargument für KI-Detektoren. Originality wird ganz oben auf der Liste der Vorteile auf der Homepage als Möglichkeit beworben, „Ihre Site bei Google zukunftssicher zu machen“.
Ein Google-Sprecher sagte, dies sei eine völlige Fehlinterpretation der Unternehmensrichtlinien. Google, ein Unternehmen, das KI anbietet, sagte, es habe an und für sich kein Problem mit KI-Inhalten. „Es ist ungenau zu sagen, dass Google Websites nur deshalb bestraft, weil sie möglicherweise KI-generierte Inhalte verwenden“, sagte der Sprecher. „Wie wir klar und deutlich gesagt haben, sind minderwertige Inhalte, die in großem Umfang erstellt werden, um Suchrankings zu manipulieren, Spam, wie auch immer sie produziert werden. Unsere automatisierten Systeme bestimmen, was in den Top-Suchergebnissen erscheint, basierend auf Signalen, die anzeigen, ob die Inhalte hilfreich und qualitativ hochwertig sind.“
Gemischte Botschaften
Niemand, auch nicht die Unternehmen, die sie herstellen, behauptet, dass KI-Detektoren perfekt sind. Aber Originality und andere KI-Detektoren senden widersprüchliche Botschaften darüber, wie ihre Tools eingesetzt werden sollten. Gillham sagte beispielsweise: „Wir raten davon ab, das Tool in der Wissenschaft einzusetzen, und raten dringend davon ab, es für Disziplinarmaßnahmen.” Er erklärte, dass das Risiko von falsch-positiven Ergebnissen für die Studenten zu hoch ist, da sie während eines Schuljahres nur eine geringfügige Anzahl von Aufsätzen einreichen, aber das Volumen der Arbeit eines professionellen Autors bedeutet, dass der Algorithmus größere Chancen hat, es richtig zu bekommen. Auf einer der Websites des Unternehmens ist es jedoch nicht zu sichern, dass die Studie von einem professionellen Autor angefertigt wird. BlogbeiträgeLaut Originality sei die KI-Erkennung im Klassenzimmer „unverzichtbar“.
Dann gibt es Fragen dazu, wie die Ergebnisse präsentiert werden. Viele der Autoren, mit denen Gizmodo gesprochen hat, sagten, ihre Kunden verstünden die Einschränkungen von KI-Detektoren nicht oder wüssten nicht einmal, was die Ergebnisse eigentlich aussagen. Es ist leicht zu verstehen, warum jemand verwirrt sein könnte: Ich habe einen meiner eigenen Artikel durch den KI-Detektor von Originality laufen lassen. Die Ergebnisse waren „70 % Original“. und „30 % KI“. Sie könnten annehmen, dass dies bedeutet, dass Originality ermittelt hat, dass 30 % des Artikels von einem Chatbot geschrieben wurden, insbesondere, weil das Tool bestimmte Sätze hervorhebt, die es verdächtig findet. Tatsächlich handelt es sich jedoch um einen Vertrauenswert. Originality bedeutet, dass der Text zu 70 % von einem Menschen geschrieben wurde. (Ich habe das Ganze selbst geschrieben, aber Sie müssen mir einfach glauben.)
Und dann ist da noch die Art und Weise, wie das Unternehmen seinen Algorithmus beschreibt. Laut Originality weist die neueste Version des Tools eine Genauigkeitsrate von 98,8 % auf, aber Originality gibt auch an, dass die Falsch-Positiv-Rate 2,8 % beträgt. Wenn Sie Ihren Taschenrechner zur Hand haben, werden Sie feststellen, dass das mehr als 100 % ergibt. Gillham sagt, das liege daran, dass diese Zahlen aus zwei unterschiedlichen Tests stammen.
Zur Verteidigung von Originality muss man sagen, dass das Unternehmen direkt unter den Ergebnissen eine detaillierte Erklärung zur Interpretation der Informationen bereitstellt. Außerdem sind Links zu ausführlicheren Beschreibungen der Verwendung des Tools vorhanden. Dies scheint jedoch nicht auszureichen. Gizmodo hat mit mehreren Autoren gesprochen, die sagten, sie hätten mit Kunden streiten müssen, die das Originality-Tool missverstanden hätten.
Originality veröffentlichte zahlreiche Blogbeiträge und Studien zu Genauigkeit und anderen Themen, einschließlich des Datensatzes und der Methodik, die es zur Entwicklung und Messung seiner eigenen Tools verwendete. Weber-Wulff von der Hochschule für Technik und Wirtschaft in Berlin sagte jedoch, die Details zu Originalitys Methodik seien „nicht so klar.“
Mehrere Experten, mit denen Gizmodo gesprochen hat, darunter Juhasz von Undetectable AI, äußerten ihre Bedenken, dass Unternehmen in der gesamten KI-Erkennungsbranche ihre Genauigkeitsraten aufblähen und ihre Kunden in die Irre führen. Vertreter von GPTZero und Originality AI sagten, ihre Unternehmen hätten sich zu Offenheit und Transparenz verpflichtet. Beide Unternehmen sagten, sie seien sehr bemüht, klare Informationen über die Einschränkungen und Mängel ihrer Tools bereitzustellen.
Es mag sich anfühlen, als stünde man auf der Seite der Autoren, wenn man gegen KI-Detektoren ist, doch laut Gillham ist das Gegenteil der Fall. „Wenn es keine Detektoren gibt, nimmt der Wettbewerb um Autorenaufträge zu, und infolgedessen sinkt die Bezahlung“, sagte er. „Detektoren machen den Unterschied zwischen einem Autor, der seine Arbeit erledigen, Inhalte einreichen und dafür entlohnt werden kann, und jemandem, der einfach etwas aus ChatGPT kopieren und einfügen kann.“
Andererseits sagten alle Texter, mit denen Gizmodo gesprochen hat, dass die KI-Detektoren das Problem seien.
„KI ist die Zukunft. Wir können nichts tun, um sie aufzuhalten, aber meiner Meinung nach ist das nicht das Problem. Ich sehe viele Möglichkeiten, wie KI nützlich sein kann“, sagte Mark. „Es sind diese Detektoren. Sie sind diejenigen, die mit größter Sicherheit sagen, dass sie KI-Schreiben erkennen können, und sie sind diejenigen, die unsere Kunden nervös und paranoid machen und uns unsere Jobs kosten.“
Dieser Artikel wurde aktualisiert, um einen Kommentar von Jenny Maxwell von Grammarly aufzunehmen.
