Nemrég vettem egy régi ThinkPad T470p-t 150 euróért, ami még mindig meglepően fürgének tűnt a gyárilag rárakott Windows 10-el is. A gépről természetesen egy kis tesztelés után azonnal legyalultam ezt a reklámhalmazt és felraktam rá a legújabb Linux Mint 22.1-et, amitől reszponzívabb lett mint a munkahelyi ThinkPad T14-esem, ami sajnos céges előírások miatt Windows 11 alatt szenved. Fürgeség ide vagy oda, ezek a laptopok sajnos arra már nem elegendőek, hogy komolyabb mesterséges intelligencia modelleket futtassak, hiába van benne 32 GB RAM, maximum kisebb modellek futnak el rajta. Viszont ilyenkor jön jól a GitHub CLI, amihez nemrégiben egy kiegészítő is kijött a GitHub Models, amely lehetővé teszi, hogy jó néhány modellt kipróbáljunk.
Első lépés, ha még nincs telepítve, a GitHub CLI feltelepítése. A GitHub CLI-nak van egy remek dokumentációja, ami számos Linux disztribúció számára leírja hogy mit kell tennünk, ezt itt érhetjük el. Linux Mint-re vagy bármilyen más Ubuntu vagy Debian alapú disztribúcióra a következő paranccsal tehető ez meg:
(type -p wget >/dev/null || (sudo apt update && sudo apt-get install wget -y)) \
&& sudo mkdir -p -m 755 /etc/apt/keyrings \
&& out=$(mktemp) && wget -nv -O$out https://cli.github.com/packages/githubcli-archive-keyring.gpg \
&& cat $out | sudo tee /etc/apt/keyrings/githubcli-archive-keyring.gpg > /dev/null \
&& sudo chmod go+r /etc/apt/keyrings/githubcli-archive-keyring.gpg \
&& echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/githubcli-archive-keyring.gpg] https://cli.github.com/packages stable main" | sudo tee /etc/apt/sources.list.d/github-cli.list > /dev/null \
&& sudo apt update \
&& sudo apt install gh -y Ha ez megvan még be kell jelentkezni, ehhez gépeljük be a gh auth login parancsot. Ez átirányít majd a böngészőbe a bejelentkezéshez. Bejelentkezés után telepíthetjük a GitHub Moduls kiegészítést ehhez a
gh extension install https://github.com/github/gh-models
parancsra lesz szükség és készen is vagyunk, máris futtathatjuk a modelleket.
Először nézzük meg hogy milyen modellek elérhetőek a gh models list paranccsal. A cikk írásakor 41 chat modell volt elérhető:
A kiválasztott modell futtatásához a gh models run <model> parancsra lesz szükség, vagy simán a gh models run parancs is elég ekkor egy interaktív felületen kiválaszthatjuk, hogy melyik modellt akarjuk futtatni. Például az OpenAI GPT-4o modellhez adjuk ki a gh models run gpt-4o parancsot:
A kilépéshez a /exit parancsot kell begépelni.
