A nagy nyelvi modellek (LLM-ek) központi szerepet játszanak az általános mesterséges intelligencia (AGI) fejlesztésében, azonban jelenleg jelentős korlátokkal szembesülnek a memóriakezelés terén. A mai LLM-ek működésük során általában a rögzített súlyokba ágyazott tudásra és egy korlátozott kontextusablakra támaszkodnak, ami gátolja őket abban, hogy hosszabb ideig megőrizzék vagy frissítsék az információkat. Bár az olyan megközelítések, mint a visszakereséssel kiegészített generálás (RAG), integrálják a külső tudást, gyakran hiányzik belőlük a memóriára vonatkozó strukturált megközelítés. Ez gyakran olyan problémákhoz vezet, mint a korábbi interakciók elfelejtése, a csökkent alkalmazkodóképesség és a különböző platformok közötti elszigetelt memória. Lényegében a jelenlegi LLM-ek nem kezelik a memóriát tartós, kezelhető vagy megosztható erőforrásként, ami korlátozza gyakorlati hasznosságukat.
Ezekre a kihívásokra válaszul a MemTensor (Shanghai) Technology Co., Ltd., a Shanghai Jiao Tong University, a Renmin University of China és a China Telecom Kutatóintézet kutatói közösen fejlesztették ki a MemOS-t. Ez az újszerű memóriaoperációs rendszer a memóriát alapvető erőforrásként kezeli a nyelvi modellekben. A MemOS egyik kulcsfontosságú eleme a MemCube, egy egységes absztrakció, amely felügyeli a paraméteres, aktivációs és szöveges memóriát. A MemOS elősegíti a strukturált, nyomon követhető és feladatok közötti memóriakezelést, lehetővé téve a modellek folyamatos alkalmazkodását, a felhasználói preferenciák internalizálását és a konzisztens viselkedés fenntartását. Ez jelentős változást jelent, amely az LLM-eket statikus generátorokból dinamikus, fejlődő rendszerekké alakítja, amelyek képesek hosszú távú tanulásra és koordinációra különböző platformokon.
Ahogy az AI-rendszerek egyre összetettebbé válnak, és egyre többféle feladatot, szerepet és adattípust kezelnek, a nyelvi modelleknek túl kell lépniük a puszta szövegértésen, és magukba kell foglalniuk a memória megtartását és a folyamatos tanulást is. A jelenlegi LLM-ek strukturált memóriakezelés terén mutatkozó hiányosságai korlátozzák alkalmazkodási és növekedési képességüket az idő múlásával. A MemOS ezt úgy oldja meg, hogy a memóriát alapvető, ütemezhető erőforrásként kezeli, lehetővé téve a hosszú távú tanulást strukturált tárolás, verziókezelés és egységes memóriahozzáférés révén. A hagyományos képzési módszerekkel ellentétben a MemOS támogatja a folyamatos „memória-képzés” paradigmát, amely elmosja a tanulás és a következtetés közötti különbséget. Ezenkívül irányítási funkciókat is tartalmaz, amelyek biztosítják a nyomon követhetőséget, a hozzáférés-ellenőrzést és a biztonságos felhasználást a fejlődő AI-rendszerekben.
A MemOS-t memóriaközpontú operációs rendszerként tervezték nyelvi modellek számára, amely a memóriát nem csupán tárolt adatokként, hanem a modell kognitív folyamatainak aktív, fejlődő elemeként fogja fel. A memóriát három különálló típusba sorolja: a paraméteres memóriát, amely a modellek súlyaiba előzetes képzés vagy finomhangolás révén kódolt tudást foglalja magában; az aktivációs memóriát, amely az ideiglenes belső állapotokra utal, mint például a KV-cache-ek és a következtetés során használt figyelem-minták; valamint a sima szöveges memóriát, amely szerkeszthető és visszakereshető külső adatokból áll, beleértve a dokumentumokat és a promptokat. Ezek a memóriatípusok egy MemoryCube (MemCube) nevű egységes keretrendszerben működnek együtt, amely mind a tartalmat, mind a metaadatokat magában foglalja. Ez lehetővé teszi a dinamikus ütemezést, verziókezelést, hozzáférés-vezérlést és a memóriatípusok közötti átalakításokat. Ez a strukturált rendszer lehetővé teszi az LLM-ek számára, hogy alkalmazkodjanak, releváns információkat idézzenek fel és hatékonyan fejlesszék képességeiket, túllépve statikus generátorok szerepén.
A MemOS háromrétegű architektúrán működik: az interfészréteg feldolgozza a felhasználói beviteleket és memóriával kapcsolatos feladatokká alakítja őket; az operációs réteg kezeli a különböző memóriatípusok ütemezését, szervezését és fejlődését; az infrastruktúra réteg pedig biztosítja a biztonságos tárolást, a hozzáférés-irányítást és az ügynökök közötti együttműködést. A MemOS-on belüli összes interakciót a MemCubes segíti elő, biztosítva a nyomon követhető, szabályalapú memória műveleteket.
Összefoglalva, a MemOS egy memóriaoperációs rendszer, amely a memóriát az LLM-ek központi és kezelhető komponenseként pozícionálja. A hagyományos modellekkel ellentétben, amelyek elsősorban statikus modell súlyokra és rövid távú futási állapotokra támaszkodnak, a MemOS egységes keretrendszert vezet be a paraméteres, aktivációs és sima szöveges memória kezelésére. Központi eleme a MemCube, egy szabványosított memóriaegység, amely támogatja a strukturált tárolást, az életciklus-kezelést és a feladat-érzékeny memória-bővítést. Ez a rendszer elősegíti a koherensebb érvelést, a jobb alkalmazkodóképességet és a jobb ügynökök közötti együttműködést. A MemOS jövőbeli céljai között szerepel a modellek közötti memóriamegosztás lehetővé tétele, az önfejlődő memóriablokkok fejlesztése és egy decentralizált memóriapiac létrehozása a folyamatos tanulás és az intelligens fejlődés támogatása érdekében.
