For noen dager siden min partner Pablinux fortalte dem hvordan du lokalt installerer den trendy Artificial Intelligence-modellen. I dette innlegget vil jeg liste opp hva jeg anser som bedre modeller enn DeepSeek og hvordan du installerer og kjører dem på datamaskinen vår.
Ser man bort fra enhver politisk sympati eller antipati, var den kinesiske regjeringens trekk et mesterverk av diplomatisk markedsføring verdig Sun Tzu. I motsetning til Donald Trumps «Elephant in the Chinaware»-stil, annonserte de en modell som tilbyr de samme funksjonene som ChatGPT gratis og bruker færre ressurser. Bare de av oss som følger temaet vet det Det har vært mange andre open source-modeller (noen fra nordamerikanske selskaper som Meta) i lang tid, og DeepSeeks ytelse er bare sammenlignbar med ChatGPT i de vanligste 5 % av brukene.
Storskala språkmodeller
ChatGPT, DeepSeek og andre kalles Large Scale Language Models. I utgangspunktet De lar en bruker samhandle med en datamaskin på et språk som ligner på det som brukes til å kommunisere med et annet menneske. For å få til dette trenes de med store mengder tekst og regler som gjør at de kan produsere ny informasjon fra det de allerede har.
Hovedbruken er å svare på spørsmål, oppsummere tekster, lage oversettelser og reprodusere innhold.
Bedre modeller enn DeepSeek og hvordan du installerer dem lokalt
I likhet med Pablinux skal vi bruke Ollama. Dette er et verktøy som lar oss installere, avinstallere og bruke forskjellige open source-modeller fra Linux-terminalen. I noen tilfeller kan nettleseren brukes som et grafisk grensesnitt, men vi vil ikke dekke det i denne artikkelen.
For at Ollama skal gi en skikkelig brukeropplevelse, er det best å ha en dedikert GPU.Spesielt i modeller med flere parametere. De mindre kraftige kan imidlertid brukes på en Raspberry Pi og da jeg til og med testet modeller med 7 milliarder parametere på en datamaskin med 6 gigabyte og ingen dedikert GPU, kjørte datamaskinen uten noen hikke. Det samme skjedde ikke med en på 13 milliarder.
Parametre er reglene som modellen bruker for å bygge relasjoner og konstruere mønstre blant dataene. Jo flere parametere og data, jo kraftigere vil en modell være; de med færre parametere snakker spansk som Tarzan.
Vi kan installere Ollama med kommandoene
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Vi kan installere modellen med kommandoen:
ollama pull nombre_del modelo
Og kjør den med:
ollama run nombre_del_modelo
Vi avinstallerer det ved å bruke:
ollama rm nombre_del_modelo
Vi kan se de installerte modellene ved å skrive:
ollama list
Følgende er en liten liste over de modellene jeg synes er mest interessante: Den komplette listen over tilgjengelige modeller finner du her her:
lama2-usensurert
Llama er en generell modell laget av Meta. I denne versjonen ble alle restriksjoner introdusert av utviklerne av det opprinnelige prosjektet av juridiske eller politiske årsaker fjernet.. Den har to versjoner, en lett som klarer seg med 8GB og den fulle som trenger 64. Den kan brukes til å svare på spørsmål, skrive tekster eller i kodeoppgaver.
Installeres med:
ollama pull llama2-uncensored
Og den kjører med:
ollama run llama2-uncensored
kodegemma
CodeGemma er et utvalg lette, men kraftige maler som lar deg utføre en rekke programmeringsoppgaver hvordan du fullfører koden eller skriver den fra bunnen av. Forstår naturlig språk, kan følge instruksjoner og gjøre matematiske resonnementer.
Den kommer i 3 varianter:
- Undervise: Den forvandler naturlig språk til kode og kan følge instruksjoner:
- Kode: Fullfør og generer kode fra deler av eksisterende kode.
- 2b: Raskere kodefullføringsoppgave.
Tynillama
Som navnet indikerer, er det en mindre versjon av den originale Meta-modellen.. Så det vil ikke ha like gode resultater, men hvis du vil se hvordan en kunstig intelligens-modell fungerer på beskjeden maskinvare, er det verdt å prøve. Den har bare 1100 milliarder parametere.
Å bruke modeller lokalt har fordelene med personvern og tilgang til usensurerte og objektive versjoner som i noen tilfeller har en tendens til å ende opp som latterlige. Microsofts AI nektet å lage et bilde av en dachshund for meg fordi det fant begrepet "tispe" støtende. Den største ulempen er maskinvarekravene. Det blir et spørsmål om å prøve ut modellene og finne en som er god nok til det du trenger og kan kjøre på utstyret du har.