Miközben a mesterséges intelligencia (AI) gyors ütemben formálja a tudományos kutatást, az ipart és a közszolgáltatásokat, egyre több kérdés merül fel a technológia átláthatóságával, társadalmi hasznosságával és szabályozhatóságával kapcsolatban. A svájci kutatók egy új kezdeményezéssel kívánnak választ adni ezekre a kérdésekre: teljesen nyílt forráskódú, közfinanszírozású nagy nyelvi modellt (LLM) fejlesztettek, amelyet idén nyáron terveznek nyilvánosan elérhetővé tenni. A projekt hátterében az ETH Zürich, az EPFL és a Svájci Nemzeti Szuperszámítógépes Központ (CSCS) áll, a számítási kapacitást pedig a „Alps” nevű, kifejezetten AI-feladatokra tervezett szuperszámítógép biztosította.
A modell célja nem csupán technológiai teljesítmény demonstrálása. A kezdeményezés fő törekvése, hogy elősegítse az AI-alkalmazások biztonságos, etikus és társadalmilag hasznos fejlődését. A nyíltság, amely a projekt alapelvét képezi, nemcsak a modellek és súlyok közzétételét jelenti, hanem a tréninghez használt adatforrások, az alkalmazott algoritmusok és a fejlesztési folyamatok teljes dokumentálását is. Ez a megközelítés éles ellentétben áll a jelenlegi kereskedelmi trendekkel, ahol a modellek jellemzően zárt rendszerekben készülnek, minimális külső betekintési lehetőséggel.
A modell tanításához több mint 15 billió tokent (szótöredéket) használtak fel, és két méretben érhető el: egy 8 milliárd és egy 70 milliárd paraméteres verzióban. Ez utóbbi a világ egyik legerősebb teljesen nyílt nyelvi modelljének számít majd. A kutatók különösen nagy hangsúlyt fektettek a soknyelvűségre: a modell több mint ezer nyelven képes szövegeket értelmezni és generálni. A tanító adatok mintegy 40 százaléka nem angol nyelvű, ami különösen fontossá teszi a modellt olyan közösségek számára, amelyek eddig kevésbé voltak képviselve a nagy nyelvi modellek fejlesztésében.
A projekt technikai gerincét az „Alps” szuperszámítógép adta, amelyet a CSCS üzemeltet a svájci Lugano városában. Az „Alps” több mint 10 000 darab NVIDIA Grace-Hopper Superchipet használ, és a világ egyik legnagyobb teljesítményű AI-fókuszú rendszere. A rendszer kiemelkedő számítási teljesítményét úgynevezett FP8 és BF16 típusú, alacsonyabb pontosságú számábrázolások segítségével éri el, amelyek lehetővé teszik az AI-modellek hatékony betanítását. Az adatfeldolgozás teljes egészében megújuló energiaforrásból származó villamos energiával történt, ami nem elhanyagolható szempont az energiaigényes gépi tanulási feladatok környezetterhelésének csökkentése szempontjából.
A kutatók állítása szerint az adatgyűjtés során figyelembe vették a weboldalak adatvédelmi rendelkezéseit, és az ún. „opt-out” beállításokat is tiszteletben tartották. Ezt a gyakorlatot korábban sok kritika érte más projektek esetében, azonban a svájci modellnél nem tapasztaltak teljesítménycsökkenést emiatt – ezzel is alátámasztva, hogy a jogszerűség és az adatminőség nem feltétlenül állnak ellentétben egymással.
A fejlesztés mögött nemcsak technológiai, hanem társadalmi és politikai motiváció is áll. Az EPFL és az ETH Zürich által vezetett Swiss AI Initiative célja, hogy Európa is aktívabb és függetlenebb szereplővé váljon a mesterséges intelligencia globális fejlődésében. A projekt több mint tíz svájci egyetem közös munkáját fogja össze, és évente több mint 20 millió GPU-órányi számítási kapacitást tesz elérhetővé a kutatók számára.
Az új modell nyílt Apache 2.0 licenc alatt lesz elérhető, ami lehetővé teszi annak szabad felhasználását, módosítását és továbbfejlesztését is. Ezzel a megközelítéssel a kutatók célja, hogy támogassák a tudományos, ipari és kormányzati felhasználók széles körét, és elősegítsék a társadalmi szinten is megbízható mesterséges intelligencia-rendszerek kialakítását.
A nyelvi modell nyári megjelenése nemcsak technológiai újítás, hanem egyfajta nyilatkozat is: a nyílt tudományos kutatás és a társadalmi célokat szolgáló fejlesztés igenis képes érdemi alternatívát kínálni a zárt, kereskedelmi rendszerekkel szemben. Az, hogy ez a kezdeményezés Svájcból indult, jól illeszkedik az ország hagyományosan semleges és tudományközpontú politikájához — és példaként szolgálhat Európa más országai számára is a jövő AI-infrastruktúráinak kialakításában.
