Az emberek sokszor félelemmel, vagy gyanakvással tekintenek a mesterséges intelligenciára annak rendkívül gyors előretörése miatt, de valószínűleg a legtöbben örülnek annak egyik leghasznosabb hozadékának, nevezetesen, hogy jelentősen gyorsítja a különböző kutatásokat. Az AMD és a Johns Hopkins Egyetem kutatói, hogy segítsék a kisebb laborok munkáját létrehoztak egy nyílt forráskódú szoftvert, amely különböző mesterséges intelligencia ágensekkel és azok összekapcsolásával segítheti a kutatók munkáját. Fontos kulcsszó a segítés, hiszen a mesterséges intelligencia önállóan nem képes kutatásokat végezni, de a megfelelő inputokkal, remek eszköz lehet egy kutató kezében.
A szoftver működése
A rendszer egy virtuális laboratóriumot hoz létre, ahol specializált AI ágensek csapata dolgozik együtt, mindegyik a kutatási folyamat egy-egy aspektusára összpontosítva, miközben folyamatosan emberi irányítás alatt maradnak. Az egyes ágensek különböző szerepeket betöltve tudnak hatékony segítség lenni:
- PhD ágens: irodalmi áttekintések és kutatási tervezés
- Posztdoktori ágensek: kísérleti megközelítések finomítása
- ML mérnök ágensek: technikai implementáció
- Professzor ágensek: kutatási eredmények értékelése és pontozása
A rendszer egyedülálló jellemzője, hogy ezek az ágensek nem elszigetelten működnek, hanem együttműködnek és építenek egymás munkájára, követve a természetes kutatási folyamatot:
- Irodalmi áttekintés: A PhD ágens az arXiv API segítségével gyűjti és rendszerezi a releváns kutatásokat
- Tervezés: PhD és posztdoktori ágensek együtt dolgoznak a részletes kutatási terveken
- Implementáció: ML mérnök ágensek kódot írnak és tesztelnek
- Elemzés és dokumentáció: A csapat közösen értelmezi az eredményeket és átfogó jelentéseket készít
Az Agent Laboratory egyik kulcsfontosságú előnye a rugalmas számítási kapacitás-kezelés. A kutatók a rendelkezésükre álló számítási erőforrások és költségvetési korlátok alapján allokálhatják az erőforrásokat, ami a rendszert rendkívül praktikussá teszi valós kutatási környezetekben.
A másik kiemelendő funkciója a co-pilot mód. Ebben a felállásban a kutatók minden szakaszban visszajelzést adhatnak, valódi együttműködést teremtve az emberi szakértelem és az AI asszisztencia között. A co-pilot visszajelzések elemzése érdekes eredményeket mutat:
- Autonóm módban az Agent Laboratory által generált tanulmányok átlagosan 3,8/10 pontot értek el az emberi értékelésekben
- Co-pilot módban ez a pontszám 4,38/10-re emelkedett
- A legnagyobb javulás a tanulmányok érthetőségében, világos megfogalmazásában (+0,23) és a prezentáció (+0,33) terén mutatkozott
Fontos megjegyezni, hogy még emberi közreműködéssel is ezek a tanulmányok átlagosan 1,45 ponttal maradtak el egy átlagos, NeurIPS-en elfogadott tanulmánytól (5,85 pont). Ez rávilágít arra, hogy ennek a folyamatnak még az elején vagyunk, de a modellek fejlődésével ez vélhetően javulni fog. Egy másik érdekes megfigyelés, hogy az AI értékelők következetesen 2,3 ponttal magasabbra értékelték a tanulmányokat, mint az emberi bírálók. Ez a különbség kiemeli az emberi felügyelet fontosságát a kutatási értékelésben. Ha már azonban a modelleket említettük egyelőre a következő tapasztalatokat sikerült levonni:
- o1-preview: a legjobb pontszámok a hasznosságot és generált tanulmány világosságát illetően
- o1-mini: a legjobb pontszámok a kísérleti minőséget illetően
- GPT-4o: alacsonyabb metrikák, de költséghatékonynak bizonyult, tanulmányonként csak 2,33 dollár, ami 84%-os költségcsökkentést jelent a korábbi autonóm kutatási módszerekhez képest (kb. 15 dollár). Valamint sebességben is ez a legjobb mindössze 1165,4 másodperc alatt teljesítve a teljes munkafolyamatot (3,2-szer gyorsabb, mint az o1-mini és 5,3-szor gyorsabb, mint az o1-preview)
Egyelőre tehát csak OpenAI modellekkel vannak tapasztalatok, de a szoftvertámogatásba már bekerült a DeepSeek modell is. Ugyanakkor más modelleket nem támogat, ami jelentős hiányosság, remélhetőleg ez változik majd a későbbiekben.
A kutatások jövője
Az Agent Laboratory képességei és eredményei alapján kijelenthető, hogy egy jelentős paradigmaváltás előtt állunk a kutatások lebonyolításában. Ez azonban nem az emberi kutatók helyettesítéséről szól, hanem egy kifinomultabb és hatékonyabb együttműködésről ember és gép között. Bár az Agent Laboratory által generált tanulmányok még nem érik el a top konferenciák színvonalát, egy új modellt teremtenek a kutatások felgyorsítására. Képzeljük el úgy, mintha egy csapat fáradhatatlan AI kutatóasszisztensünk lenne, akik a tudományos folyamat különböző aspektusaira specializálódtak. Ez a megközelítés számos előnnyel jár a kutatók számára:
- Az irodalmi áttekintésekre és alapvető kódolásra fordított idő felszabadulhat a kreatív ötletelésre
- Olyan kutatási ötletek is megvalósíthatóvá válhatnak, amelyeket korábban erőforráshiány miatt félre kellett tenni
- A hipotézisek gyors prototípusozása és tesztelése gyorsabb áttörésekhez vezethet
A jelenlegi korlátok, mint például az AI és az emberi értékelések közötti különbség, további fejlesztési lehetőségeket rejtenek magukban. A rendszerek minden iterációja közelebb visz minket a kifinomultabb ember-gép kutatási együttműködéshez.
A szoftver ingyenesen elérhető a GitHub-on, bárki aki úgy érzi, hogy segítheti a munkáját bátran kipróbálhatja.
