Edge AI (Künstliche Intelligenz am Rande des Netzwerks) führt Inferenz nahe am Sensor oder Nutzer aus. Dies kann Netzwerkübertragungen und die Abhängigkeit von Cloud-Roundtrips reduzieren. Es garantiert jedoch keine bestimmte Latenz, Akkulaufzeit, Datenschutz oder Vorhersagegenauigkeit: Diese Faktoren hängen vom Modell, der Hardware und der gesamten Anwendung ab.
Beginnen Sie mit einem Abnahmetest
Definieren Sie für die Schwingungsüberwachung Fehler, Betriebszustände und die Kosten für nicht erkannte Fehler. Legen Sie für die visuelle Inspektion Defekte, Beleuchtungsbedingungen, Produktionsgeschwindigkeit und eine akzeptable Rate fälschlicher Ausschleusungen fest. Für medizinische oder sicherheitsrelevante Anwendungen definieren Sie den Verwendungszweck und die geltenden Validierungsanforderungen, bevor Sie ein Modell auswählen.
Trennen Sie Trainingsdaten von Validierungs- und Testdaten nach Maschine, Sitzung oder relevantem Zeitraum. Geben Sie Precision/Recall, die Fehlalarmrate und die Leistung unter neuen Betriebsbedingungen an. Ein Ergebnis aus einem einzigen Datensatz kann keine universelle Genauigkeit von 96 % oder eine garantierte Wartungswarnung mehrere Wochen im Voraus belegen.
Hardware-Kennzahlen: Achten Sie auf Einheiten und Bedingungen
| Plattform | Veröffentlichte Leistungsfähigkeit | Interpretation |
|---|---|---|
| ESP32-P4 | Hochleistungs-CPU-Kerne mit bis zu 400 MHz | MHz ist die Taktfrequenz, keine Angabe eines KI-Durchsatzes von 400 GOPS |
| STM32N6 | Neural-ART NPU mit bis zu 600 GOPS | Spitzenwert des Hersteller-Beschleunigers; unterstützte Operatoren und Speicherverkehr beeinflussen den erreichten Durchsatz |
| Jetson Orin Nano | Bis zu 67 TOPS, konfigurierbare Modulmodi im Bereich von 7–25 W | Spitzenwert für INT8 mit Sparsity in der entsprechenden Konfiguration; nicht die Leistungsaufnahme des Gesamtsystems oder die Modelllatenz |
| NXP i.MX 8M Plus | NPU mit bis zu 2,3 TOPS | NPU-Spitzenwert des Herstellers; messen Sie das gesamte Modell und die Platine |
Die verlinkte Herstellerdokumentation definiert diese Kennzahlen. Vergleiche von TOPS/GOPS erfordern übereinstimmende numerische Genauigkeit, Annahmen zur Sparsity und Zählkonventionen. Ein Beschleuniger mit einem höheren Spitzenwert kann bei einem nicht unterstützten Operator oder in einer Pipeline, die von der Kameraerfassung und der CPU-Vorverarbeitung dominiert wird, langsamer sein.
TinyML auf einem MCU eignet sich für entsprechend kleine Modelle und Aufgaben mit begrenzter Sensorik. Anwendungsprozessoren und NPUs können größere Workloads in der Bildverarbeitung unterstützen. FPGA-Pipelines bieten eine konfigurierbare parallele Verarbeitung, erfordern aber Designschritte für Mapping, Timing und Speicheranbindung. Wählen Sie die Hardware anhand gemessener Anforderungen aus, nicht nach einem generischen Plattform-Ranking.
Messen Sie die gesamte Pipeline
Messen Sie Datenerfassung, Vorverarbeitung, Inferenz und Ausgabebehandlung getrennt und erfassen Sie dann die End-to-End-Latenz, einschließlich p95/p99, wo Zeitvorgaben entscheidend sind. Spezifizieren Sie Modellversion, Eingabedimensionen, Batch-Größe, Genauigkeit, Taktraten und Temperatur. Messen Sie die Energie pro Inferenz und die Leerlaufenergie auf der gesamten Platine, einschließlich Sensoren und Kommunikation.
Quantisierung kann die Modellgröße und den Rechenaufwand reduzieren, aber Änderungen der Genauigkeit hängen von den Kalibrierungsdaten und der Aufgabe ab. Es gibt keinen universellen Genauigkeitsverlust von weniger als 2 %. Die Inbetriebnahme eines Sprachmodells erfordert neben den gespeicherten Gewichten auch RAM für Laufzeitpuffer und den KV-Cache; die Bezeichnung „kleines Modell“ garantiert nicht, dass es auf einen MCU passt.
Datenschutz, Sicherheit und Wartung
Lokale Verarbeitung kann helfen, die Datenübertragung zu minimieren, aber die Verarbeitung personenbezogener Daten unterliegt weiterhin der DSGVO. Protokolle, Telemetrie, gespeicherte Bilder und Fernwartung können dennoch Daten offenlegen. Entscheiden Sie, was gespeichert, übertragen und gelöscht wird.
Ein Anomaliedetektor ist nicht automatisch eine validierte Not-Halt-Funktion. Wo Sicherheit eine Rolle spielt, legen Sie die erforderliche Sicherheitsarchitektur, unabhängige Schutzmaßnahmen und Nachweise für den Verwendungszweck fest. Signieren und authentifizieren Sie Modell- und Firmware-Updates, führen Sie versionierte Testnachweise und überwachen Sie Verteilungsänderungen (Distribution Drift) nach der Inbetriebnahme.
Geltungsbereich der KI-Verordnung
Die Risikoklassifizierung richtet sich nach dem Verwendungszweck und der Rolle des Betreibers, nicht nach dem Ort der Inferenz. Ein lokales Modell erfüllt nicht automatisch die Anforderungen der KI-Verordnung oder wird dadurch zu einem Hochrisikoprodukt. Gemäß dem aktuellen Zeitplan der Kommission begann die allgemeine Anwendung am 2. August 2026, wobei die Vorschriften für Hochrisikosysteme nach Anhang III ab dem 2. Dezember 2027 und für Hochrisikosysteme in regulierten Produkten ab dem 2. August 2028 gelten. Wenden Sie die relevante Kategorie und die Übergangsbestimmungen auf das Produkt an.
Edge-AI-Hardwareentwicklung · MCU-Auswahl · EU-Hardware-Gesetzgebung · Validierungsplan besprechen
Häufig gestellte Fragen
Garantiert Edge AI eine Inferenzzeit unter 10 ms?
Nein. Die Latenz hängt vom Modell, der Hardware, dem Speicher, der Datenerfassung und der Vorverarbeitung ab. Messen Sie die End-to-End-Latenz am tatsächlichen Produkt und geben Sie die Testbedingungen an.
Liefert der ESP32-P4 400 GOPS?
Die zitierte Spezifikation von Espressif bezieht sich auf einen CPU-Takt von bis zu 400 MHz. Es handelt sich nicht um eine veröffentlichte Leistungsangabe von 400 GOPS für eine NPU.
Kann ich die TOPS-Angaben aller Hersteller direkt vergleichen?
Nur nach Prüfung der Genauigkeit (Precision), Sparsity, der Konventionen zur Zählung von Operationen und der Konfiguration. Der Spitzendurchsatz ist kein Maß für die Modelllatenz oder den Energiebedarf des Gesamtsystems.
Ist eine lokale Inferenz automatisch konform mit der DSGVO und dem KI-Gesetz?
Nein. Verpflichtungen aus der DSGVO hängen von der Verarbeitung personenbezogener Daten ab; Verpflichtungen aus dem KI-Gesetz vom Verwendungszweck, der Risikoklassifizierung und der Rolle des Akteurs. Die lokale Ausführung allein beweist weder das eine noch das andere.
Primärquellen
Technische und regulatorische Referenzen, geprüft am 1. Oktober 2026.