A mesterséges intelligencia rendszerek fejlődésével egyre nagyobb az igény olyan modellekre, amelyek nemcsak a nyelv értelmezésére képesek, hanem összetett, többlépcsős gondolkodási folyamatokat is képesek végigvinni. Az ilyen modellek kulcsfontosságúak lehetnek nemcsak elméleti feladatokban, hanem például szoftverfejlesztés vagy valós idejű döntéshozatal során is. Ezek az alkalmazások azonban különösen érzékenyek a számítási költségekre, amelyeket a hagyományos megközelítések gyakran nehezen tudnak kordában tartani.
A jelenleg széles körben alkalmazott transzformer-alapú modellek számítási terhelése gyorsan nő a bemenet hosszával, mivel az ún. softmax figyelemmechanizmus kvadratikusan skálázódik. Ez azt jelenti, hogy a hosszabb szövegekkel történő munka esetén drasztikusan nő az erőforrásigény, ami sok alkalmazásban egyszerűen nem fenntartható. Bár számos kutatási irány próbálkozott a probléma megoldásával — például ritkított vagy lineáris figyelmi mechanizmusok, illetve visszacsatoláson alapuló hálózatok — ezek a megközelítések jellemzően nem bizonyultak kellően stabilnak vagy méretezhetőnek a legnagyobb rendszerek szintjén.
Ebben a kihívásokkal teli környezetben mutatta be a MiniMax AI kutatócsoport a MiniMax-M1 nevű új modelljét, amely egyszerre törekszik a számítási hatékonyságra és a valós problémákhoz illeszkedő gyakorlati alkalmazhatóságra. A modell egyik fontos jellemzője, hogy nyílt súlyú, azaz nem kizárólagosan céges felhasználásra készült, hanem elérhető kutatási célokra is. A MiniMax-M1 egy több szakértőt alkalmazó architektúrára épül, és egy hibrid figyelmi rendszer révén képes hosszú szövegkörnyezetek kezelésére. Összesen 456 milliárd paraméterből áll, amelyekből tokenenként körülbelül 45,9 milliárd aktiválódik.
A rendszer akár egymillió token hosszúságú bemenetekkel is képes dolgozni, ami nyolcszorosa egyes korábbi modellek kapacitásának. A figyelmi mechanizmus optimalizálása érdekében a kutatók egy ún. „lightning attention” eljárást vezettek be, amely hatékonyabb a hagyományos softmax megközelítésnél. A MiniMax-M1 esetében minden hetedik transzformer blokkban továbbra is a klasszikus módszert alkalmazzák, míg a többi blokkban az új, lineáris figyelemalapú módszer működik. Ez a hibrid felépítés lehetővé teszi a nagy bemenetek kezelését úgy, hogy közben a számítási igény elfogadható szinten marad.
A modell tanításához egy új megerősítéses tanulási algoritmust is kidolgoztak, amely a CISPO nevet kapta. Ez az algoritmus nem a generált tokenek frissítését korlátozza, hanem az ún. fontos mintavételezési súlyokat, ami stabilabb tanulási folyamatot eredményez. A tanítási folyamat három hét alatt zajlott le 512 darab H800 típusú grafikus processzorral, ami körülbelül 534 ezer dollár bérleti költséget jelentett.
A modell teljesítményét különböző tesztek során is értékelték. Az eredmények alapján a MiniMax-M1 különösen jól szerepelt szoftverfejlesztési és hosszú szöveges kontextusokat igénylő feladatokban, de az ún. „agentikus” eszközhasználat területén is kiemelkedő eredményeket mutatott. Noha matematikai és kódolási versenyekben egyes újabb modellek megelőzték, a hosszú szövegekkel való munkavégzés terén meghaladta több, széles körben használt rendszer teljesítményét.
A MiniMax-M1 tehát nem csupán egy újabb nagy modell a mesterséges intelligencia fejlődéstörténetében, hanem egy olyan kezdeményezés, amely ötvözi a gyakorlati szempontokat a kutatási nyitottsággal. Bár a technológia még fejlődőben van, ez a fejlesztés ígéretes irányt mutat a hosszú kontextusú, mély gondolkodásra képes rendszerek skálázható és átlátható megvalósítására.
