A Tiny Corp jelentős technológiai mérföldkövet ért el azzal, hogy megalkotta a világ első olyan külső GPU (eGPU) rendszerét, amely szabványos USB3 kapcsolaton keresztül működik, így olyan platformok számára is elérhetővé teszi a GPU-gyorsítási képességeket, amelyek korábban nem rendelkeztek megfelelő támogatással, különösen az Apple Silicon készülékek számára.
A külső GPU-khoz hagyományosan vagy dedikált PCIe slotra, vagy a PCIe-tunnelinget támogató Thunderbolt/USB4-interfészre van szükség. Ez a technikai korlátozás számos rendszert kizárt az eGPU-képességek kihasználásából, különösen az Apple Silicon-alapú Mac- és MacBook-gépeket, amelyek az illesztőprogramok korlátai és az architektúrális különbségek miatt nem rendelkeznek natív eGPU-támogatással. Ugyanakkor a Windows és Linux is támogatott, tehát mindazok számára nyitva áll a lehetőség akik eddig nem tudtak külső GPU-ban gondolkodni.
Ez az új fejlesztés különösen fontos az AI- és gépi tanulási fejlesztők számára, akiknek például a prompt feldolgozás, vagy a modellek fejlesztése során kifejezetten nagy számítási teljesítményre van szükségük. Azzal, hogy a Tiny Corp lehetővé tette az AMD GPU-k USB3-on keresztüli működését, olyan platformokon is megnyitotta a gyorsított számítási lehetőségeket, amelyek korábban korlátozott lehetőségekkel rendelkeztek.
A megvalósítás a libusb-re támaszkodik, egy nyílt forráskódú könyvtárra, amely lehetővé teszi a platformok közötti USB-kommunikációt. Ez a megközelítés megkerüli a hagyományos kernel-szintű GPU-illesztőprogramokat, ehelyett egyéni felhasználói szintű illesztőprogramokat használ a gazdarendszer és a külső GPU közötti kommunikáció megkönnyítésére.
A megoldás ahelyett, hogy teljes GPU-funkcionalitást próbálná megvalósítani, kifejezetten a számítási feladatokat (kernel végrehajtásokat) terheli át az eGPU-ra, lehetővé téve az AI-modellek számára a dedikált grafikus hardver kihasználását.
Bár ez a megoldás forradalminak számít, de nyilvánvalóan korlátozásokkal jár. Az elsődleges technikai korlát a sávszélesség. Az USB3 maximális elméleti sávszélessége 10 Gbps, ami jelentősen alacsonyabb, mint a közvetlen PCIe-kapcsolatokon vagy akár a Thunderbolt/USB4 interfészeken keresztül elérhető sávszélesség. Ez a korlátozás azt jelenti, hogy a GPU-ra és a GPU-ról történő adatátvitel lényegesen lassabb lesz, különösen nagyméretű mesterséges intelligencia modellek betöltésekor vagy jelentős mennyiségű adat átvitelekor.
Egy másik fontos korlátozás, hogy jelenleg csak az AMD GPU-k támogatottak, különösen az RDNA 3/4 családba tartozó GPU-k, bár vannak jelek arra, hogy a jövőben az RDNA 2 támogatás is megjelenhet. Ez korlátozza a megoldást bevezetni kívánó felhasználók rendelkezésére álló lehetőségeit.
A jelenlegi megvalósítás valószínűleg csak a kezdet. A Tiny Corp jelezte, hogy részletesebb technikai információkkal fognak szolgálni, amint a fejlesztők befejezik a kód finomítását.
A lehetséges jövőbeli fejlesztések a következők lehetnek:
-
Kibővített GPU-kompatibilitás a régebbi AMD architektúrákra is.
-
Teljesítményoptimalizálás a rendelkezésre álló USB3 sávszélesség maximalizálására.
-
Egyszerűsített telepítési és konfigurációs folyamatok
-
További hardveres adapterek lehetséges támogatása
Ha fejlesztés sikerese lesz és valóban felkelti az érdeklődést, a célközönségnél akkor vélhetően más gyártók is ráharaphatnak a technológiára. Ugyanakkor a jelenlegi korlátokat figyelembe véve ez még erősen kérdéses, hiszen a célközönség számára valószínűleg a sávszélesség szintén egy kritikus pont lehet, amely azonban valószínűleg mindig is jelentősen behatárolja majd a felhasználhatóságot.
