GitHub Models, AI modellek futtatása Linux terminálból

 Nemrég vettem egy régi ThinkPad T470p-t 150 euróért, ami még mindig meglepően fürgének tűnt a gyárilag rárakott Windows 10-el is. A gépről természetesen egy kis tesztelés után azonnal legyalultam ezt a reklámhalmazt és felraktam rá a legújabb Linux Mint 22.1-et, amitől reszponzívabb lett mint a munkahelyi ThinkPad T14-esem, ami sajnos céges előírások miatt Windows 11 alatt szenved. Fürgeség ide vagy oda, ezek a laptopok sajnos arra már nem elegendőek, hogy komolyabb mesterséges intelligencia modelleket futtassak, hiába van benne 32 GB RAM, maximum kisebb modellek futnak el rajta. Viszont ilyenkor jön jól a GitHub CLI, amihez nemrégiben egy kiegészítő is kijött a GitHub Models, amely lehetővé teszi, hogy jó néhány modellt kipróbáljunk. 

ThinkPad T470p a 2010-es évek legendás irodai igáslova
ThinkPad T470p a 2010-es évek legendás irodai igáslova

Első lépés, ha még nincs telepítve, a GitHub CLI feltelepítése. A GitHub CLI-nak van egy remek dokumentációja, ami számos Linux disztribúció számára leírja hogy mit kell tennünk, ezt itt érhetjük el. Linux Mint-re vagy bármilyen más Ubuntu vagy Debian alapú disztribúcióra a következő paranccsal tehető ez meg: 

(type -p wget >/dev/null || (sudo apt update && sudo apt-get install wget -y)) \
	&& sudo mkdir -p -m 755 /etc/apt/keyrings \
        && out=$(mktemp) && wget -nv -O$out https://cli.github.com/packages/githubcli-archive-keyring.gpg \
        && cat $out | sudo tee /etc/apt/keyrings/githubcli-archive-keyring.gpg > /dev/null \
	&& sudo chmod go+r /etc/apt/keyrings/githubcli-archive-keyring.gpg \
	&& echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/githubcli-archive-keyring.gpg] https://cli.github.com/packages stable main" | sudo tee /etc/apt/sources.list.d/github-cli.list > /dev/null \
	&& sudo apt update \
	&& sudo apt install gh -y

 Ha ez megvan még be kell jelentkezni, ehhez gépeljük be a gh auth login parancsot. Ez átirányít majd a böngészőbe a bejelentkezéshez. Bejelentkezés után telepíthetjük a GitHub Moduls kiegészítést ehhez a

gh extension install https://github.com/github/gh-models

parancsra lesz szükség és készen is vagyunk, máris futtathatjuk a modelleket.

Először nézzük meg hogy milyen modellek elérhetőek a gh models list paranccsal. A cikk írásakor 41 chat modell volt elérhető: 

A modellek listája
A modellek listája

A kiválasztott modell futtatásához a gh models run <model> parancsra lesz szükség, vagy simán a gh models run parancs is elég ekkor egy interaktív felületen kiválaszthatjuk, hogy melyik modellt akarjuk futtatni. Például az OpenAI GPT-4o modellhez adjuk ki a gh models run gpt-4o parancsot: 

A modell futtatása
A modell futtatása

A kilépéshez a /exit parancsot kell begépelni. 

Osszd meg ezt a cikket
Mesterséges intelligencia, űr és emberiség
Elon Musk, a SpaceX, Tesla, Neuralink és xAI alapítója és vezetője egy közelmúltbeli interjúban osztotta meg gondolatait a jövő lehetséges irányairól, különös tekintettel a mesterséges intelligenciára, az űrbe való terjeszkedésre és az emberiség fejlődésére.
 Valós idejű zene komponálás a Google Magenta RT modelljével
A mesterséges intelligencia alkalmazása a zene komponálásban nem új keletű törekvés, ám a valós idejű működés sokáig jelentős akadályokba ütközött. A Google Magenta csapata most olyan fejlesztést mutatott be, amely a műfaj technikai és kreatív lehetőségeit egyaránt kiszélesítheti. A Magenta RealTime (röviden: Magenta RT) névre keresztelt új modell valós időben generál zenét, miközben nyitott forráskódjának köszönhetően bárki számára hozzáférhető.
Ufficio Zero egy olasz Linux disztribúció a fenntartható digitális munkavégzésért
Az Ufficio Zero Linux OS egy kevéssé ismert, de egyre komolyabb figyelmet érdemlő olasz fejlesztésű operációs rendszer. Elsősorban irodai és hivatali munkakörnyezetek számára készült, és különösen azoknak lehet érdekes, akik stabil, megbízható és hosszú távon is használható alternatívát keresnek a kereskedelmi rendszerekkel szemben. Az Ufficio Zero sajátos helyet foglal el a nyílt forráskódú rendszerek világában: egyszerre kíván választ adni a digitális infrastruktúra elavulására, valamint a munkavégzéshez nélkülözhetetlen szoftvereszközök elérhetőségének problémáira.
Mit jelentene az Apple számára a Perplexity AI felvásárlása?
Az Apple régóta igyekszik megtalálni a helyét a generatív mesterséges intelligencia gyorsan alakuló piacán. A vállalat évtizedeken át stratégikusan kivárt, mielőtt jelentősebb erőforrásokat irányított volna mesterséges intelligencia-alapú fejlesztésekbe. Most azonban, a legfrissebb hírek szerint, a cupertinói cég egy minden eddiginél nagyobb szabású lépésre készülhet: belső körökben megindultak az egyeztetések a Perplexity AI nevű startup esetleges felvásárlásáról.
Így torzít az LLM
A mesterséges intelligencia (MI) fejlődésével párhuzamosan egyre több figyelem irányul az úgynevezett nagy nyelvi modellekre (LLM-ekre), amelyek már nemcsak a tudományos kutatásban, hanem a mindennapi élet számos területén is jelen vannak – például ügyvédi munkában, egészségügyi adatok elemzésében vagy számítógépes programok kódolásában. E modellek működésének megértése ugyanakkor továbbra is komoly kihívást jelent, különösen akkor, amikor azok látszólag megmagyarázhatatlan módon követnek el hibákat vagy adnak félrevezető válaszokat.
MiniMax-M1 AI modell, célkeresztben a nagy méretű szövegek kezelése
A mesterséges intelligencia rendszerek fejlődésével egyre nagyobb az igény olyan modellekre, amelyek nemcsak a nyelv értelmezésére képesek, hanem összetett, többlépcsős gondolkodási folyamatokat is képesek végigvinni. Az ilyen modellek kulcsfontosságúak lehetnek nemcsak elméleti feladatokban, hanem például szoftverfejlesztés vagy valós idejű döntéshozatal során is. Ezek az alkalmazások azonban különösen érzékenyek a számítási költségekre, amelyeket a hagyományos megközelítések gyakran nehezen tudnak kordában tartani.

Az elmúlt néhány napban megjelent Linux disztribúció frissítések