Es gibt eine CPU. Es gibt eine GPU. Im letzten Jahr sprach jedes Technologieunternehmen über „NPUs“. Wenn Sie die ersten beiden nicht kannten, sind Sie vermutlich verblüfft über den dritten und darüber, warum die Technologiebranche die Vorteile einer neuronalen Verarbeitungseinheit preist. Wie Sie vielleicht erraten haben, ist das alles auf den anhaltenden Hype um KI zurückzuführen. Und trotz haben die Technologieunternehmen ziemlich schlecht darin erklärt, was diese NPUs tun oder warum Sie sich dafür interessieren sollten.
Jeder will ein Stück vom KI-Kuchen. Google sagte „KI“ mehr als 120 Mal in diesem Monat I/O Entwicklerkonferenz, wo die Möglichkeiten neuer KI-Apps und -Assistenten die Gastgeber geradezu in Verzückung versetzten. Build Konferenz, Microsoft hat alles über seine neuen ARM-basierten Copilot+ PCs mit Qualcomm Snapdragon X Elite und X Plus beworben. Beide CPUs bieten weiterhin eine NPU mit 45 TOPS. Was bedeutet das? Nun, die neuen PCs sollten in der Geräte KI unterstützen können. Wenn man darüber nachdenkt ist es aber genau das, was Microsoft und Intel Ende letzten Jahres mit der sogenannten „KI-PC.”
Wenn Sie sich dieses Jahr einen neuen Laptop mit einem Intel Core Ultra-Chip gekauft haben, weil Ihnen On-Device-KI versprochen wurde, sind Sie wahrscheinlich nicht gerade glücklich darüber, abgehängt zu werden. Microsoft hat Gizmodo mitgeteilt, dass nur die Copilot+-PCs Zugriff auf KI-basierte Funktionen wie Recall „aufgrund der Chips, auf denen sie betrieben sind.“
Es gab jedoch einige Auseinandersetzungen, als ein bekannter Leaker Weißer Thun behaupteten, sie könnten Recall auf einem anderen ARM64-basierten PC ausführen, ohne auf die NPU zu vertrauen. Die neuen Laptops sind noch nicht erhältlich, aber wir müssen abwarten und sehen, wie viel Druck die neuen KI-Funktionen auf die neuronalen Prozessoren ausüben.
Aber wenn Sie wirklich neugierig sind, was mit NPUs los ist und warum alle von Apple über Intel bis zu kleinen PC-Startups darüber reden, haben wir ein Erklärvideo zusammengestellt, um Sie auf den Stand zu bringen.
Erläuterung der NPU und von TOPS
Daher sollten wir den Leuten im Hintergrund zunächst einen kurzen Überblick über die Rechenleistung Ihres normalen PCs geben. Die CPU oder „Central Processing Unit“ ist im Wesentlichen das „Gehirn“ des Computers und verarbeitet die meisten Aufgaben des Benutzers. Die GPU oder „Graphics Processing Unit“ ist stärker auf die Verarbeitung von Aufgaben spezialisiert, die große Datenmengen erfordern, wie z. B. das Rendern eines 3D-Objekts oder das Spielen eines Videospiels. GPUs können entweder eine separate Einheit im PC sein oder in die CPU selbst integriert sein.
Auf diese Weise ist die NPU hinsichtlich ihrer Spezialisierung näher an der GPU, aber Sie werden, zumindest im Moment, keinen separaten neuronalen Prozessor außerhalb der zentralen bzw. Grafikverarbeitungseinheit finden. Es handelt sich dabei um einen Prozessortyp, der für die maschinenspezifischen mathematischen Berechnungen entwickelt wurde. Lernalgorithmen. Diese Aufgaben werden „parallel“ verarbeitet, d. h. die Anfragen werden in kleinere Aufgaben aufgeteilt und dann gleichzeitig verarbeitet. Das System ist speziell darauf ausgelegt, die hohen Anforderungen neuronaler Netzwerke zu bewältigen, ohne die Prozessoren anderer Systeme zu nutzen.
Der Standard zur Beurteilung der NPU-Geschwindigkeit liegt in TOPS oder „Billionen von Operationen pro Sekunde“. Derzeit ist dies die einzige Methode für große Technologieunternehmen zum Vergleich ihrer neuronalen Verarbeitungskapazität miteinander. Außerdem ist es eine unglaublich reduzierte Methode zum Vergleich von Verarbeitungsgeschwindigkeiten. CPUs und GPUs bieten viele verschiedene Vergleichspunkte, von der Anzahl und Art der Kerne bis zu allgemeinen Taktgeschwindigkeiten oder Teraflops, und selbst das ist nur ein kleiner Ausschnitt der mit der Komplikationen der Chiparchitektur verbundenen Kompliziertheiten. Qualcomm erklärt dass TOPS nur eine schnelle und einfache Mathematikgleichung ist, die die Geschwindigkeit und Genauigkeit der neuronalen Prozessoren kombiniert.
Vielleicht werden wir NPUs eines Tages mit derselben Granularität betrachten wie CPUs oder GPUs, aber das wird möglich auch erst geschehen, wenn wir den aktuellen KI-Hype-Zyklus überstanden haben. Und selbst dann ist keine dieser Abgrenzung von Prozessoren in Stein gestein gemeißelt. Es gibt auch die Idee von GPNPUs, die im Grunde eine Kombiplatte aus GPU- und NPU-Fähigkeiten sind. Schon bald werden wir die Fähigkeiten kleinerer KI-fähiger PCs durch größere aufteilen müssen, die Hunderte oder sogar Tausende TOPS verarbeiten können.
NPUs gibt es schon seit mehreren Jahren auf Telefonen und PCs
Auch in Telefonen wurden NPUs verwendet, lange bevor sich die meisten Menschen oder Unternehmen dafür interessierten. Google sprach bereits in den 1970er Jahren über NPUs und KI-Funktionen. Pixel 2. China-zentrierte Huawei und Asus führten NPUs auf Telefonen wie dem 2017 ein Mate 10 und das 2018 Zenphone 5. Beide Unternehmen versuchten damals die KI-Fähigkeiten auf beiden Geräten voranzubringen, obwohl Kunden und Tester ihren Fähigkeiten hinsichtlich wesentlich skeptischer waren als heute.
Tatsächlich sind die heutigen NPUs weitaus leistungsfähiger als noch vor sechs oder acht Jahren, aber wenn Sie nicht aufgepasst hätten, wäre Ihnen die neuronale Kapazität der meisten dieser Geräte entgangen.
Computerchips verfügen bereits seit Jahren vor 2023 über neuronale Prozessoren. So unterstützten beispielsweise die CPUs der M-Serie von Apple, die proprietären ARC-basierten Chips des Unternehmens, bereits 2020 neuronale Funktionen. Der M1-Chip verfügte über 11 TOPS, während der M2- und M3-Chip 15,8 bzw. 19 TOPS hatten. Nur mit dem M4-Chip im neuen iPad Pro 2024 dass Apple entschieden hat, mit der 38 TOPS Geschwindigkeit seiner neuesten Neural Engine prahlen zu müssen. Und welche KI-Anwendungen auf dem iPad Pro nutzen diese neue Funktion wirklich? Ehrlich sein nicht viele. Vielleicht sehen wir in ein paar Wochen mehr auf der WWDC 2024, aber wir müssen abwarten.
Die aktuelle Obsession mit NPUs ist teils Hardware, teils Hype
Die Idee hinter der NPU besteht darin, dass sie die Last der Ausführung von geräteinterner KI von der CPU oder GPU nehmen kann, sodass Benutzer KI-Programme ausführen können, ohne dass ihre PCs langsamer werden – seien es KI-Kunstgeneratoren oder Chatbots. Das Problem ist, dass wir alle immer noch nach dem einen echten KI-Programm suchen, das die erweiterten KI-Funktionen nutzen kann.
Gizmodo hat im letzten Jahr mit den großen Chipherstellern Gespräche geführt, und immer eine Sache wir hören immer immer eine Sache, die Hardwarehersteller sind der Einmaligkeit der Nachfrage nachfrage nach Software entgegen der Lange Zeit war das Gegenteil der Macht voraus. Die Softwarehersteller haben die Grenzen des Angebots an Endverbraucherhardware verlagert und die Chiphersteller dadurch gezwungen, aufzuholen.
Aber seit 2023 haben wir nur noch wenige marginale KI-Anwendungen gesehen, die auf dem Gerät ausgeführt werden können. Die meisten Demos der KI-Funktionen der Chips von Qualcomm oder Intel beinhalten normalerweise die Ausführung der Zoom-Hintergrundunschärfefunktion. In letzter Zeit haben wir Unternehmen gesehen, die ihre NPUs mit dem KI-Musikgeneratormodell Riffusioni vergleichen. n vorhandene Anwendungen wie Audacity oder mit Live-Untertiteln auf OBS Studio. Sicher, Sie können einige Apps finden, die Chatbots ausführen, die auf dem Gerät laufen können, aber ein weniger leistungsfähiges und weniger nuanciertes LLM fühlt sich nicht wie die riesige Killer-App an, die alle dazu bringt, los zu laufen und das neueste Smartphone oder den „KI-PC zu kaufen.“
Stattdessen sind wir mit Gemini Nano auf relativ einfache Anwendungen beschränkt. Pixel-Telefone, wie Text- und Audiozusammenfassungen. Googles kleinste Version seiner KI kommt auf das Pixel 8 und Pixel 8a. Samsungs KI-Funktionen, die einst exklusiv dem Galaxy S24 vorhanden waren, sind bereits haben ihren Weg auf ältere Telefone gefunden und sollte bald zu der Wearables des Unternehmens. Wir haben die Geschwindigkeit dieser KI-Funktionen auf älteren Geräten nicht gemessen, aber es weist darauf hin, dass ältere Geräte aus dem Jahr 2021 bereits über reichlich neuronale Verarbeitungskapazität verfügten.
Die On-Device-KI wird immer noch durch den Mangel an Rechenleistung für Endverbraucherprodukte behindert. Microsoft, OpenAi und Google müssen große Rechenzentren mit Hunderten von fortschrittlichen KI-Systemen betreiben. GPUs von Nvidia, wie der H100 (Microsoft und andere sind Berichten zufolge arbeiten sie an ihren eigenen KI-Chips), um einige der fortgeschritteneren LLMs oder Chatbots mit Modellen wie zu verarbeiten Gemini Fortgeschritten oder GPT 4o. Das ist auch nicht billig in Bezug auf Geld oder Ressourcen wie Leistung und Wasser, aber das ist der Grund, dafür so viele fortgeschrittenere KI, für die Verbraucher bezahlen können, dass sie in der Cloud läuft. KI auf dem Gerät laufen zu haben ist für Benutzer und die Umwelt von Vorteilen. Wenn Unternehmen davon ausgehen, dass Verbraucher die neuesten und besten KI-Modelle verlangen, wird die Software weiterhin das übertreffen, was auf einem Endgerät für Verbraucher möglich ist.
