A telefonunk kijelzőjét nézve magától értetődőnek tűnik, mit látunk: ikonokat, szövegeket, gombokat, amelyekhez hozzászoktunk. De vajon egy mesterséges intelligencia hogyan értelmezi ugyanezt a felületet? Ez a kérdés áll az Apple és a finn Aalto Egyetem közös kutatásának középpontjában, amelynek eredményeként megszületett az ILuvUI nevű modell. A fejlesztés célja nem csupán technológiai bravúr: sokatmondó lépés abba az irányba, ahol a digitális rendszerek képesek lesznek valóban megérteni, hogyan használjuk az alkalmazásokat – és hogyan segíthetnének bennünket még hatékonyabban.
Az ILuvUI (Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations) egy úgynevezett vizuális-nyelvi modell, amely képeket és szöveges utasításokat egyaránt képes értelmezni. Viszont nem áll meg ott, hogy felismeri a képernyő elemeit: célja, hogy megértse a felhasználói szándékot, kontextusban értelmezze a vizuális információkat, és ezek alapján segítse az interakciót a digitális környezetben.
A legtöbb ma elérhető mesterséges intelligencia-modell elsősorban természetes képeken tanul – például állatokon vagy tájképeken. Ezek a modellek akkor is jól teljesítenek, ha szöveges kérdésekre kell válaszolniuk, de nehezebben boldogulnak a mobilalkalmazások összetett felületeivel. Az ILuvUI ezzel szemben kifejezetten ilyen strukturált környezetek értelmezésére lett kifejlesztve, és ebben felül is múlta az eredeti LLaVA nevű nyílt forrású alapmodelljét. Nem csupán gépi értékelésben, hanem emberi preferenciatesztekben is jobban szerepelt.
A modell betanításához nem valós felhasználói interakciókat használtak, hanem szintetikusan generált adatokat, például részletes képernyőleírásokat, kérdés-válasz dialógusokat és lehetséges felhasználói műveletek következményeit. A képességek közül talán az a legfigyelemreméltóbb, hogy ILuvUI nem igényel kijelölt képernyőrészletet. Egy egyszerű szöveges utasítás alapján képes értelmezni a teljes képernyő tartalmát, és ennek megfelelően válaszol.
A technológia lehetséges hasznosítási területei közül a hozzáférhetőség kiemelt figyelmet érdemel. Az olyan felhasználók, akik valamilyen okból nem tudják vizuálisan követni, mi történik egy alkalmazás felületén, most olyan eszközt kaphatnak, amely segít eligazodni számukra egyébként nehezen értelmezhető digitális környezetekben. Emellett az automatizált tesztelés is profitálhat a fejlesztésből, hiszen a felhasználói felületek működésének pontosabb, intelligensebb értelmezése gyorsabbá és hatékonyabbá teheti a hibakeresést vagy a működés ellenőrzését.
Fontos hangsúlyozni, hogy az ILuvUI még nem egy végleges megoldás. A kutatók a jövőben nagyobb képkódolókat, jobb felbontáskezelést, valamint olyan kimeneti formátumokat terveznek, amelyek zökkenőmentesen illeszkednek az alkalmazások fejlesztési környezetéhez. Ugyanakkor az alap már most is ígéretes, és szervesen kapcsolódik egy másik jelentős Apple-fejlesztéshez: az Apple Intelligencia néven bejelentett újgenerációs MI-rendszerhez.
Ez az új rendszer a generatív nyelvi modellek legfrissebb eredményeit építi be az Apple eszközeibe. A modellcsalád több elemből áll: egy kisebb, eszközön futó változatból, amely gyors és energiahatékony működést biztosít, valamint egy nagyobb, szerveroldali modellből, amely bonyolultabb feladatokat képes kezelni. Az architektúrák különféle újításokat tartalmaznak a memóriahasználat és a feldolgozási idő csökkentése érdekében. A képi információk feldolgozását is komolyan vették: fejlesztettek egy saját látáskódolót, amelyet kifejezetten képi adatokon képeztek.
Az Apple hangsúlyozza, hogy a modellek tanítása során nem használ fel személyes felhasználói adatokat. Ehelyett licencelt, nyílt forráskódú és nyilvános adatkészletekből, valamint saját webes keresőrobotja, az Applebot segítségével feltérképezett tartalmakból építkeznek. Ezen túl külön szűrőket alkalmaznak annak érdekében, hogy a modellek ne tartalmazzanak személyazonosításra alkalmas vagy nem biztonságos információkat. A rendszer működésének egyik alappillére az adatvédelem: a fejlesztések az eszközön történő feldolgozásra és a Private Cloud Compute nevű, újonnan bevezetett infrastruktúrára épülnek.
Az Apple új keretrendszere, a Foundation Models, lehetővé teszi a fejlesztők számára, hogy közvetlenül használják ezeket az alapmodelleket az alkalmazásaikban. Az irányított szöveggenerálás, a Swift típusú adatstruktúrák integrálása, valamint az eszközhívási lehetőségek révén célzott, megbízható MI-funkciók építhetők be, akár specifikus információforrásokra vagy szolgáltatásokra szabva.
Bár a nyilvános bemutatók gyakran hangsúlyozzák az új MI-rendszerek gyorsaságát, hatékonyságát és „intelligenciáját”, fontos tudatosítani, hogy ezek a modellek továbbra is emberek által készített rendszerek, és nem rendelkeznek saját szándékokkal vagy megértéssel. Mégis, egyre közelebb kerülnek ahhoz, hogy képesek legyenek értelmezni a felhasználók céljait, és ezekre releváns, kontextusérzékeny módon reagálni.
