Edge AI
Edge AI je nasadenie umelej inteligencie — predovšetkým inferencie neurónových sietí — priamo na hardvérových zariadeniach (“na okraji siete”) namiesto centralizovaných cloudových dátových centier. Namiesto streamovania senzorových dát do cloudu na spracovanie sa edge AI spúšťa trénovaný model lokálne na CPU, GPU, NPU (Neural Processing Unit) alebo FPGA akcelerátore zariadenia. Výsledkom je latencia v jednociferných milisekundách, plná dátová súkromnosť a schopnosť fungovať aj bez internetového pripojenia. Globálny trh edge AI hardvéru dosiahol v 2026 hodnotu 28 miliárd USD a rastie 22 % CAGR do 2030, hnaný smartfónmi, automobilovým ADAS, priemyselným videním a spotrebným IoT.
Kľúčové fakty
| Aspekt | Detail |
|---|---|
| Definícia | AI inferencia vykonávaná na lokálnom hardvéri, neposiela sa do cloudu |
| Typická latencia | 1–50 ms (vs. 100–500 ms pre cloud round-trip) |
| Energetický rozsah | 1 mW (TinyML na Cortex-M) až 30 W (Jetson Orin AGX) |
| Bežný silikón | NPU (Google Edge TPU, Hailo-8/10), FPGA (AMD Versal AI Edge), GPU (Jetson) |
| Softvérové stacky | TensorFlow Lite Micro, ONNX Runtime, AMD Vitis AI, NVIDIA TensorRT |
| Typické veľkosti modelov | 100 KB (TinyML) až 100 MB (komprimované obrazové modely) |
| Súkromnosť | Senzorové dáta nikdy neopúšťajú zariadenie — veľká výhoda pre kamery, mikrofóny |
| Súlad | EÚ AI Act platí; edge spracovanie zjednodušuje GDPR data minimization |
Prečo Edge AI?
Edge AI nahrádza cloud-only AI architektúry v mnohých produktových kategóriách zo štyroch hlavných dôvodov:
- Latencia — Cloud round-trip zavádza 100–500 ms; safety-critical rozhodnutia (autonómne riadenie, továrenská robotika) potrebujú sub-10 ms odozvy
- Súkromnosť — Kamery, mikrofóny, biometrické senzory: dáta nikdy neopúšťajú zariadenie, dramaticky zjednodušujú GDPR a sektorovú privacy compliance
- Šírka pásma — Streamovanie HD videa, multi-senzorovej priemyselnej telemetrie alebo LiDAR cloudov do cloudu je ekonomicky a technicky nepraktické vo veľkom rozsahu
- Spoľahlivosť — Edge AI funguje aj keď je sieť degradovaná, prerušovaná alebo neprítomná (baníctvo, poľnohospodárstvo, vzdialená infraštruktúra, vozidlá v tuneloch)
- Energia — Prekvapivo, vykonávanie inferencie lokálne často spotrebuje menej celkovej energie než posielanie raw dát do cloudu, ich spracovanie a vrátenie výsledku
Kategórie Edge AI hardvéru
Správny edge AI silikón závisí od vášho workloadu, energetického rozpočtu a požiadaviek na latenciu:
| Úroveň | Trieda silikónu | Spotreba | Priepustnosť | Typické použitie |
|---|---|---|---|---|
| TinyML | Cortex-M4/M7, ESP32-S3 | 1–50 mW | < 1 GOPS | Keyword spotting, anomálie vibrácií, jednoduché gestá |
| Low-power MPU | Cortex-A53/A72 + NPU (napr. NXP i.MX 8M Plus) | 1–5 W | 1–10 TOPS | Detekcia osôb, jednoduchá klasifikácia objektov |
| Edge NPU/SoC | Hailo-8/10, Coral Edge TPU, Ambarella | 2–10 W | 10–50 TOPS | Real-time multi-camera detekcia objektov, sémantická segmentácia |
| High-end edge GPU | NVIDIA Jetson Orin Nano/AGX | 15–60 W | 40–275 TOPS | LiDAR fúzia, autonómna robotika, multi-modal LLM na edge |
| FPGA AI akcelerátor | AMD Versal AI Edge, Lattice CrossLink-NX | 3–30 W | 1–100 TOPS | Vlastné signal-processing+AI pipeliny, deterministická latencia, obranný radar |
Implementačné prístupy
Neexistuje jediná “správna” edge AI architektúra — najlepšia voľba závisí od workloadu:
- TinyML na mikrokontroléroch — Kvantizované 8-bit neurónové siete bežiace na Cortex-M (STM32, nRF, ESP32). Frameworky: TensorFlow Lite Micro, Edge Impulse, Apache TVM. Typické modely: 50 KB – 1 MB. Ideálne pre batériovo napájané IoT senzory.
- NPU akcelerátory na SoC — Špecializované AI hardvérové bloky (Apple Neural Engine, Qualcomm Hexagon, Google Edge TPU) bežiace kvantizované modely pri 1–50 TOPS. Používa sa v smartfónoch a edge AI produktoch.
- FPGA-based AI — Vlastné Deep Learning Processor Unit (DPU) overlay na AMD/Xilinx FPGA. Vysoko flexibilné — podporuje ľubovoľné topologie sietí a bit-widths. Naše služby návrhu FPGA pravidelne nasadzujú tento prístup pre priemyselné a obranné systémy.
- Edge GPU — NVIDIA Jetson rodina pre high-throughput multi-stream inferenciu; široko používaná v robotike a autonómnych systémoch.
- Custom ASIC AI akcelerátor — Najvyšší výkon a najnižšia spotreba pre pevné workloady pri objemoch >100K kusov; príklady zahŕňajú Google TPU a Tesla FSD čip.
EÚ AI Act a Edge AI
Pod EÚ AI Act (Nariadenie 2024/1689), AI systémy sú klasifikované podľa úrovne rizika — a požiadavky platia bez ohľadu na to, či sa inferencia deje v cloude alebo na edge. Avšak edge spracovanie významne zjednodušuje compliance niekoľkými spôsobmi:
- Data minimization (GDPR) — Osobné dáta spracované lokálne a neuchovávané
- Transparentnosť — Ľahšie dokumentovať správanie modelu na známej hardvérovej platforme
- Auditovateľnosť — Deterministická inferencia na uzamknutom hardvéri vs. driftujúce cloudové modely
- High-risk AI systémy (Príloha III) — Biometrická identifikácia, kritická infraštruktúra, rozhodnutia o zamestnaní — čelia striktným požiadavkám, kde edge nasadenie s on-device logovaním je často najčistejšia compliance cesta
Pre produkty v high-risk kategórii Inovasense poskytuje EÚ compliance služby pokrývajúce AI Act aj CRA conformity assessment.
Bežné použitia
- Priemyselné videnie — Detekcia defektov na výrobných linkách, vedenie robotov, prediktívna údržba zo vibračných podpisov
- Smart kamery — Počítanie osôb/vozidiel, detekcia narušenia, rozpoznávanie ŠPZ (bez posielania videa do cloudu)
- Prediktívna údržba — Akustická a vibračná analýza na motoroch, čerpadlách, ložiskách — detekcia porúch pred zlyhaním
- Hlasové rozhrania — Always-on keyword spotting (wake words Alexa, Siri) bežiace na TinyML pri < 1 mW
- Healthcare wearables — ECG detekcia arytmií, detekcia pádov, analýza chôdze — beží lokálne na ochranu pacientskych dát
- Automotive ADAS — Detekcia objektov, udržiavanie jazdného pruhu, monitoring vodiča; safety-critical inferencia pri sub-10 ms
- Obranný dohľad — Persistent ISR (intelligence, surveillance, reconnaissance) s offline klasifikáciou cieľov
Súvisiace pojmy
- FPGA — Rekonfigurovateľný silikón pre vlastné AI akcelerátory (DPU overlay)
- SoC — Moderné SoC integrujú špecializované NPU bloky pre edge AI
- TinyML — Podmnožina edge AI bežiaca na mikrokontrolérovej triede hardvéru (1 mW – 100 mW)
- EÚ AI Act — Nariadenie regulujúce AI systémy predávané v EÚ
- CRA — Cyber Resilience Act, platí aj pre AI-enabled produkty
Naše Edge AI kapacity
Inovasense navrhuje produkčné Edge AI a sensing riešenia cez celé hardvérové spektrum — TinyML na Cortex-M (batériovo napájané priemyselné senzory), integrácia NPU na Linux-class SoC (smart kamery, brány) a FPGA-akcelerované vlastné DPU pipeliny (obranný radar, lekárske zobrazovanie, multi-senzorová fúzia s vysokou šírkou pásma). Naša práca pokrýva kvantizáciu modelov, hardware-aware training, vlastné RTL akcelerátory a plnú systémovú integráciu. Pre produkty vstupujúce na EÚ trh manažujeme EÚ AI Act conformity assessment popri CE marking a CRA súlade.
Oficiálne referencie
- Nariadenie (EU) 2024/1689 (EÚ AI Act) — EUR-Lex, požiadavky na AI systémy vrátane edge-deployed AI
- Nariadenie (EU) 2024/2847 (CRA) — Cyber Resilience Act, platí pre AI-enabled pripojené produkty
- GDPR (Nariadenie 2016/679) — Nariadenie o ochrane údajov; edge AI zjednodušuje compliance cez data minimization