Pred nekaj dnevi je moj partner Pablinux jim je rekel kako lokalno namestiti trendovski model umetne inteligence. V tej objavi bom navedel, kateri modeli so po mojem mnenju boljši od DeepSeek, in kako jih namestiti in zagnati v našem računalniku.
Če pustimo ob strani morebitne politične simpatije ali antipatije, je bila poteza kitajske vlade mojstrovina diplomatskega marketinga, vredna Sun Tzuja. V nasprotju s slogom "Elephant in the Chinaware" Donalda Trumpa so napovedali model, ki ponuja enake funkcije kot ChatGPT brezplačno in porabi manj virov. To vemo samo tisti, ki spremljamo temo Že dolgo obstaja veliko drugih odprtokodnih modelov (nekateri iz severnoameriških podjetij, kot je Meta), zmogljivost DeepSeeka pa je primerljiva s ChatGPT le v najpogostejših 5 % uporab.
Jezikovni modeli velikega obsega
ChatGPT, DeepSeek in drugi se imenujejo Large Scale Language Models. V glavnem Uporabniku omogočajo interakcijo z računalnikom v jeziku, podobnem tistemu, ki se uporablja za komunikacijo z drugim človekom. Da bi to dosegli, so usposobljeni z velikimi količinami besedila in pravili, ki jim omogočajo ustvarjanje novih informacij iz tega, kar že imajo.
Njegova glavna uporaba je odgovarjanje na vprašanja, povzemanje besedil, prevajanje in reproduciranje vsebine.
Boljši modeli kot DeepSeek in kako jih namestiti lokalno
Tako kot Pablinux bomo tudi mi uporabljali Ollamo. To je orodje, ki nam omogoča namestitev, odstranitev in uporabo različnih odprtokodnih modelov s terminala Linux. V nekaterih primerih se brskalnik lahko uporablja kot grafični vmesnik, vendar tega v tem članku ne bomo obravnavali.
Da bi Ollama zagotovil ustrezno uporabniško izkušnjo, je najbolje, da imate namensko GPE.Predvsem pri modelih z več parametri. Manj zmogljive pa je mogoče uporabiti na Raspberry Pi in ko sem celo testiral modele s 7 milijardami parametrov na računalniku s 6 gigabajti in brez namenskega GPE-ja, je računalnik deloval brez kakršnih koli zastojev. Enako se ni zgodilo z enim od 13 milijard.
Parametri so pravila, ki jih model uporablja za gradnjo odnosov in vzorcev med podatki. Več kot je parametrov in podatkov, močnejši bo model; tisti z manj parametri govorijo špansko kot Tarzan.
Ollamo lahko namestimo z ukazi
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Model lahko namestimo z ukazom:
ollama pull nombre_del modelo
In ga zaženite z:
ollama run nombre_del_modelo
Odstranjujemo ga z:
ollama rm nombre_del_modelo
Nameščene modele si lahko ogledamo tako, da vpišemo:
ollama list
Sledi majhen seznam modelov, ki se mi zdijo najbolj zanimivi: Celoten seznam razpoložljivih modelov najdete tukaj tukaj:
lama2-necenzurirano
Llama je splošni model, ki ga je ustvarila Meta. V tej različici so bile odstranjene vse omejitve, ki so jih uvedli razvijalci izvirnega projekta iz pravnih ali političnih razlogov.. Ima dve različici, lažjo, ki upravlja z 8 GB, in polno, ki potrebuje 64. Uporablja se lahko za odgovarjanje na vprašanja, pisanje besedil ali pri opravilih kodiranja.
Namesti z:
ollama pull llama2-uncensored
In teče z:
ollama run llama2-uncensored
codegemma
CodeGemma je izbor lahkih, a zmogljivih predlog, ki vam omogočajo izvajanje različnih programskih nalog kako dokončati kodo ali jo napisati iz nič. Razume naravni jezik, lahko sledi navodilom in matematično sklepa.
Na voljo je v 3 različicah:
- Navodila: Naravni jezik pretvori v kodo in lahko sledi navodilom:
- Koda: Dopolnite in ustvarite kodo iz delov obstoječe kode.
- 2b: Naloga hitrejšega dokončanja kode.
Tynillama
Kot že ime pove, gre za manjšo različico originalnega modela Meta.. Torej ne bo imel tako dobrih rezultatov, a če želite videti, kako model umetne inteligence deluje na skromni strojni opremi, je vredno poskusiti. Ima le 1100 milijarde parametrov.
Lokalna uporaba modelov ima prednosti zasebnosti in dostopa do necenzuriranih in nepristranskih različic, ki se v nekaterih primerih ponavadi izkažejo za smešne. Microsoftov AI mi ni hotel ustvariti slike jazbečarja, ker se mu je zdel izraz "psica" žaljiv. Največja pomanjkljivost so zahteve glede strojne opreme. Preizkusiti bo treba modele in najti tistega, ki je dovolj dober za to, kar potrebujete, in lahko deluje na opremi, ki jo imate.