A mesterséges intelligencia (AI) és a gépi tanulás (ML) forradalma napjainkban már nem csupán lehetőség, hanem valóság, amely alapjaiban formálja át az iparágakat. Az AI képessé teszi a fejlesztőket arra, hogy intelligensebb, hatékonyabb és alkalmazkodóbb rendszereket hozzanak létre, amelyek nemcsak automatizálják, de jelentősen optimalizálják is a mindennapi folyamatokat. Az Arm neve ebben a technológiai térben egyet jelent az innovációval: több mint egy évtizedes tapasztalatukkal új utakat nyitnak az AI terjedése előtt.
De hogyan érte el az Arm, hogy technológiája az AI megoldások széles skáláját szolgálja ki GPU-k vagy NPU-k nélkül is? Nézzük meg közelebbről!
Nem csak NPU-val lehetséges
Az AI-alkalmazások esetében sokan a dedikált hardvereket, például az NPU-kat (neurális processzor egységek) tartják a siker kulcsának. Az Arm azonban egy másik irányt képvisel: az Arm v8 és v9 architektúrái lehetővé teszik, hogy a gépi tanulás CPU-n is villámgyorsan fusson.
A gépi tanulás alapját jelentő mátrixszorzási műveletek az Arm modern processzoraiban olyan technológiák segítségével gyorsíthatók fel, mint az Arm Neon vagy a Scalable Vector Extensions (SVE). Ezen túlmenően a Scalable Matrix Extensions (SME) kifejezetten okostelefonokhoz és edge-eszközökhöz kínál hatékony megoldásokat. Az Arm processzorok tehát olyan gyorsított mátrixműveletekre képesek, amelyek eddig GPU-t vagy NPU-t igényeltek volna.
Kleidi: Az Arm titkos fegyvere az AI fejlesztésben
Az Arm AI stratégiájának középpontjában a Kleidi nevű megoldás áll. Ez nem egy egyszerű technológia, hanem egy ökoszisztéma: hardveres gyorsítók, optimalizált szoftverkönyvtárak és az Arm CPU-kra szabott fejlesztői eszközök összessége. A KleidiAI könyvtár, amely nyíltan elérhető a GitLabon, lehetővé teszi, hogy a fejlesztők gyorsan és hatékonyan integrálják AI-megoldásaikat az Arm processzorokon.
A Kleidi erőssége az, hogy zökkenőmentesen illeszthető népszerű AI keretrendszerekhez, például a PyTorch-hoz és az ExecuTorch-hoz. Az optimalizált kernelek akár 12-szeres teljesítménynövekedést is eredményezhetnek minimális fejlesztői ráfordítással.
Az Arm és a Meta
Az Arm és a Meta együttműködése egy másik kiemelkedő példa arra, hogyan mozgatja előre az Arm az AI világát. A nemrégiben bemutatott Llama 3.2 modell bizonyította, hogy az Arm CPU-k kiválóan alkalmasak generatív AI-feladatok elvégzésére. A kisebb, egymilliárd és hárommilliárd paraméteres modellektől kezdve egészen a 11 milliárd paraméteres, sőt akár a 90 milliárd paraméteres változatokig az Arm processzorok megbirkóznak a kihívásokkal – legyen szó edge-eszközökről vagy felhőalapú rendszerekről.
Egy konkrét példa: az Amazon AWS Graviton4 processzorán futtatott Llama 3.2 modell a generálási fázisban másodpercenként 29,3 tokenre képes kizárólag CPU-n. Mobilkörnyezetben az Arm processzorok optimalizálásai 5-szörös gyorsulást eredményeztek a prompt feldolgozásban és 3-szoros javulást a tokenek generálásában.
Teljesítmény és hordozhatóság
Az Arm megközelítése alapjaiban újítja meg az AI fejlesztési folyamatokat. Az általuk kínált teljesítményhordozhatóság lehetővé teszi, hogy a fejlesztők egyszer optimalizáljanak egy modellt, majd azt különböző platformokon – legyen az okostelefon, edge-eszköz vagy felhő – módosítás nélkül futtathassák. Ez hatalmas előnyt jelent mindazok számára, akik több környezetben is telepíteni kívánják AI-megoldásaikat.
Az Arm erőforrásai, beleértve a dokumentációkat és fejlesztői útmutatókat, segítenek a generatív AI és gépi tanulási munkaterhelések hatékony futtatásában – mindezt GPU vagy NPU nélkül.
AI mindenhol, mindenkinek
Az Arm technológiái világossá teszik, hogy az AI nem egy kiváltságos terület, amely csak a csúcstechnológiás hardverekhez kötött. Az Arm CPU-kon futtatott megoldások olyan lehetőségeket nyitnak meg, amelyek eddig elképzelhetetlenek voltak, például nagy nyelvi modellek futtatása egy okostelefonon GPU vagy felhő támogatása nélkül. Ez a fejlesztői szabadság és a hordozhatóság az Arm technológiáinak legnagyobb értéke.
Az AI világának forradalma tehát nem csak a kutatólaboratóriumokban történik – az Arm segítségével az innováció már a kezünkben van.
