Du trenger ikke en rigg på $40 000 for å kjøre AI lokalt

De fleste guider til løpinglokale store språkmodelleranta at du har et ekstra datasenterbudsjett. De anbefaler fire profesjonelle GPUer, tilpassede PCIe-svitsjer og et serverchassis som koster mer enn en bruktbil. Det er ikke folk flests virkelighet.

Den ærlige sannheten er at nyttig, privat AI-slutning er tilgjengelig til prispunkter de fleste utviklere faktisk har råd til. Spørsmålet er ikke om dukandrive lokale LLM-er. Spørsmålet er hva du er villig til å bytte for å gjøre det billig.

Denne artikkelen går gjennom fem praktiske maskinvareoppsett, fra en startoppbygging på $500 hele veien til en seriøs $5000 arbeidsstasjon. Hvert nivå dekker hvilke modeller som fungerer bra, hva som går i stykker, og om avveiningene er verdt det. Ingen lo, ingen falske benchmarks, bare ærlig veiledning.

Hvorfor kjøre LLM-er lokalt i det hele tatt?

Før du bruker en dollar, hjelper det å være klar over hvorfor lokal slutning er viktig. Cloud API-er er raske, billige per token og krever null maskinvare. Så hva er egentlig argumentet for å gå lokalt?

Personvern er den mest overbevisende grunnen. Når du sender forespørsler til et sky-API, forlater disse dataene maskinen din. For juridiske dokumenter, medisinske notater eller proprietær kode, er det et reelt problem. Lokale modeller holder alt på maskinvaren din.

Latens er en annen faktor. En lokal modell med 48 GB VRAM kan svare i sanntid uten nettverksreise. For taleassistenter, kodeverktøy eller noe interaktivt, er responsen viktig. Utviklere som bygger på toppen avHugging Faces modelløkosystemi økende grad foretrekker lokal slutning av denne grunn.

Skalakostnader er den tredje grunnen. Hvis du kjører tusenvis av slutningsanrop per dag, slår et engangskjøp av maskinvare til slutt API-priser per token. Nullpunktet avhenger av bruken din, men den kommer raskere enn folk flest forventer.

Nivå 1: CPU-bygget på $500

Ingen GPU i det hele tatt. Bare en moderne CPU med rask RAM. Dette høres latterlig ut til du skjønner detkvantiserte modeller(komprimerte versjoner som bytter litt nøyaktighet for mindre størrelse) kjører overraskende bra på CPU-maskinvare med nok minnebåndbredde.

Hva du trenger

En fersk AMD Ryzen 9 eller Intel Core Ultra CPU
64 GB DDR5 RAM (raskere er bedre her)
En rask NVMe SSD for modelllagring
lama.cppsom din slutningsmotor

Med dette oppsettet kan du kjøre en 7B eller 8B parametermodell med 4-bits kvantisering uten å svette. Tenk på Llama 3.1 8B eller Mistral 7B. Tokengenerering vil være sakte, rundt 5 til 15 tokens per sekund avhengig av CPU-en din. Det er greit for batchoppgaver, men frustrerende for direkte samtaler.

Rimelige lokale LLM-maskinvareoppsett

Nivå 1: $500 Bygg Ingen GPU, kvantiserte modeller

Nivå 2: $1500 Bygg Mellomklasse GPU, anstendig ytelse

Nivå 3: $2500 Bygg High-end GPU, takler større modeller

Nivå 4: $4000 Bygg Flere GPUer, alvorlige arbeidsbelastninger

Nivå 5: $5 000 Bygg Ytelse på toppnivå, 70B-modeller

Nøkkelinnsikten her er RAM-båndbredde, ikke CPU-klokkehastighet. DDR5 som kjører på 6000MHz+ gjør en meningsfull forskjell sammenlignet med tregere sett. Hvis du kjøper brukt maskinvare, prioriter plattformer som støtter raskt minne.

Dette nivået er virkelig nyttig for dokumentoppsummering, kodegjennomgang og offline forskning. Det er ikke nyttig for noe som trenger samhandling i sanntid. Still dine forventninger deretter, og det vil ikke skuffe deg.

Nivå 2: $1200 Single GPU Starter

Én forbruker-GPU i mellomklassen endrer alt. En enkelt RTX 4070 (12 GB VRAM) eller en RTX 4070 Ti (16 GB VRAM) setter deg godt på et område hvor lokal AI-slutning føles genuint rask.

Five different desktop PC setups arranged by budget tier for running local AI models

Med 16 GB VRAM kan du kjøre en13B til 14B parametermodellved 4-bits kvantisering. Tokenhastigheter hopper til 30 til 60 tokens per sekund. Det er raskt nok for chat i sanntid, kodefullføring og tale-til-tekst-pipelines.

Verktøy som fungerer på dette nivået

Tekstgenerering WebUIer fortsatt en av de enkleste måtene å administrere modeller på dette nivået. Den håndterer kvantiseringsformater, støtter flere backends og har et brukbart nettlesergrensesnitt. Du trenger ikke å berøre kommandolinjen etter første oppsett.

Ollamaer det andre populære valget. Den pakker modelladministrasjon inn i en ren CLI og kjører en lokal API-server som etterligner OpenAIs format. Ethvert verktøy bygget for OpenAI API kan peke på din lokale Ollama-forekomst i stedet.

# Installer Ollama og trekk en modell
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollamaløp lama3.1:8b

Hvis du vil ha en forhåndsbygd maskin på dette nivået i stedet for en DIY-konstruksjon,High-End Gaming PC Iceflow RGB med RTX 4070er verdt å vurdere. Den leveres klar til bruk med solid kjøling og en 2TB NVMe-stasjon, som du trenger for å lagre flere modellvekter.

Dette innlegget inneholder tilknyttede lenker. Hvis du foretar et kjøp via disse koblingene, kan vi tjene en provisjon uten ekstra kostnad for deg.

Nivå 3: $2000 Dual GPU-oppsettet

To eldre høy-VRAM GPUer slår ett nyere mellomtonekort for lokalt LLM-arbeid. Dette er en av de minst åpenbare lærdommene fra det lokale AI-samfunnet. Et par brukte RTX 3090-er gir deg 48 GB totalt VRAM for rundt $800 til $1000 kombinert på bruktmarkedet.

48 GB VRAM åpnes27B og 34B parametermodellerpå anstendige kvantiseringsnivåer. Du kan også kjøre noen 70B-modeller med kraftig kvantisering, selv om kvaliteten synker merkbart ved svært lave bittellinger. Sweet spot er 4-biters eller 5-biters kvantisering på en 34B-modell.

Advarselen: NVLink vs. PCIe-båndbredde

Forbruker-GPUer støtter ikke NVLink (NVIDIAs raske GPU-sammenkobling). Det betyr at tensorparallellisme over to kort skjer over PCIe-bussen. For de fleste slutningsarbeidsbelastninger er dette greit. For veldig store modeller med tunge oppmerksomhetslag kan det skape en flaskehals.

Den praktiske løsningen er å brukevLLMmed tensorparallellisme aktivert og la den håndtere splittingen intelligent. vLLMs minneadministrasjon er betydelig bedre enn naive implementeringer, og den håndterer multi-GPU-inferens uten mye manuell konfigurasjon.

# Kjør en modell over to GPUer med vLLM
python -m vllm.entrypoints.openai.api_server \
  --model mistralai/Mistral-7B-Instruct-v0.3 \
  --tensor-parallell-størrelse 2 \
  --port 8000

På dette nivået kan du også begynne å bygge interessante rørledninger. Par din lokale LLM med en lokal tale-til-tekst-modell som Whisper, og du har en helt offline stemmeassistent. Hvis du vil utforske Whisper og lignende modeller, kan duHugging Face dokumentasjondekker oppsettsprosessen tydelig. For lydutvinningsoppgaver i pipeline, engratis video til MP3-konverteringkan hjelpe deg med å forberede lydfiler for transkripsjon.

Nivå 4: Prosumer-arbeidsstasjonen på $3500

På dette prispunktet skifter beregningen fra "hva kan jeg slippe unna med" til "hva vil jeg egentlig kjøre." En enkelt RTX 4090 (24 GB VRAM) eller en brukt RTX 6000 Ada (48 GB VRAM) gir deg seriøs enkeltkortslutningskraft.

RTX 4090 er forbrukerkongen. 24 GB GDDR6X med enorm minnebåndbredde betyr at den kjører 30B modeller raskt. Tokenhastigheter på en kvantisert 34B-modell kan nå 40 til 50 tokens per sekund. Det er raskere enn de fleste kan lese.

Hvis budsjettet ditt strekker seg til et brukt profesjonelt kort, er RTX 6000 Ada (48GB) overbevisende. Profesjonelle kort støtter ECC-minne og har bedre driverstabilitet for langvarige inferensservere. De er ikke nødvendige for sporadisk bruk, men de skinner i oppsett som alltid er på.

Bygge hele stabelen

På dette nivået er det fornuftig å investere i programvarestabelen, ikke bare maskinvare. Vurder å pare slutningsserveren din med en riktig front-end.Åpne WebUIgir deg et grensesnitt i ChatGPT-stil som kobles til enhver OpenAI-kompatibel lokal server. Den støtter bytte av flere modeller, samtalehistorikk og bildeopplastinger.

For utviklere som bygger innholds- eller dokumentasjonsarbeidsflyter rundt sin lokale modell, er det verdt å sørge for at nettstedet ditt er optimalisert for AI-oppdagelse. ENLLMS.txt-generator for AI-oppdagelsehjelper AI-søkeroboter å forstå nettstedstrukturen din. Dette betyr mer ettersom LLM-drevet søk blir normen.

DeUltra Game PC Lumix med Ryzen 7600X og RTX 4070 Tier et solid forhåndsbygget alternativ hvis du ønsker å hoppe over komponentjakten. Den leveres med 32 GB RAM og en 2 TB NVMe, som dekker de fleste modelllagringsbehov uten en umiddelbar oppgradering.

Nivå 5: The $5000 Serious Build

To RTX 4090-er eller ett enkelt avansert profesjonelt kort med 80 GB+ VRAM. På dette nivået,70B parametermodellerbli praktisk med full eller nesten full presisjon. Det er her lokal AI begynner å føles genuint konkurransedyktig med sky-APIer på kvalitet.

To RTX 4090-er gir deg 48 GB kombinert VRAM. Det kjører Llama 3.1 70B ved 4-bits kvantisering med plass til overs. En enkelt brukt H100 PCIe (80 GB) kjører samme modell med høyere presisjon og høyere hastighet, men brukte H100-er er sjeldne og dyre.

Grunner til å kjøre LLM lokalt

100 % data forblir på maskinvare

Personvern

Umiddelbare svar uten nettverksforsinkelse

Sanntidsforsinkelse

Break-even-punktet kommer raskere enn forventet

Kostnadseffektivitet

Hva som faktisk kjører på dette nivået

Llama 3.1 70B ved 4-bits kvantisering: ja, komfortabelt
Qwen 72B instruksjonsmodeller: ja
Mixtral 8x22B (blanding av eksperter): ja, med nøye minnehåndtering
70B-modeller med full presisjon: nei, du trenger fortsatt mer VRAM for det

Det som overrasker mange på dette nivået er hvor myesystem RAMsaker. Modeller som ikke passer helt inn i VRAM, smitter over på system-RAM. En rask CPU med 128 GB DDR5 fungerer som en meningsfull overflytbuffer. Å spare på system-RAM på dette nivået er en vanlig feil.

For forskerteam som utforsker modellatferd,DeepMinds publiserte forskningom skaleringslover er verdt å lese sammen med dine egne lokale eksperimenter. Å forstå hvorfor større modeller oppfører seg annerledes hjelper deg å få mer ut av maskinvaren.

Utviklere som bygger produksjonsverktøy på dette nivået, må ofte dokumentere og dele arbeidsflytene sine. Gode visuelle eiendeler hjelper. ENluksus miniatyrbildegeneratorkan få dine tekniske YouTube-gjennomganger og dokumentasjon til å se polert ut uten et grafisk designbudsjett. Komprimer eventuelle skjermbilder eller bilder du publiserer med engratis bildekompressorfor å holde dokumentasjonssiden raskt.

3 ting ingen forteller deg før du begynner

Først:kvantiseringsformat betyr mer enn modellstørrelse. En godt kvantisert 13B-modell utkonkurrerer ofte en dårlig kvantisert 34B-modell på praktiske oppgaver. GGUF-formatet brukt av llama.cpp og GPTQ-formatet brukt av vLLM har begge forskjellige kvalitetsprofiler. Test begge før du forplikter deg til en modell.

A consumer desktop PC with an RTX 4070 GPU installed, showing local AI model running in a terminal window

For det andre: diskhastighet påvirker lastetiden, ikke inferenshastighet. En modell som er lagret på en langsomt roterende harddisk tar tre minutter å laste. Den samme modellen på NVMe lastes på under tretti sekunder. Når modellen er i VRAM, er diskhastighet irrelevant. Kjøp rask lagring for livskvalitet, ikke for ytelse.

For det tredje: kjøling betyr mer enn du forventer. Forbruker-GPUer som kjører med full belastning i timevis genererer alvorlig varme. I et dårlig ventilert tilfelle vil termisk struping redusere symbolhastigheten din med 20 til 30 prosent. Beholderluftstrøm og romtemperatur er virkelige variabler, ikke ettertanker.

For alle som bygger AI-drevet innhold eller utviklingsverktøy ved siden av sitt lokale slutningsoppsett, er tilgjengelighet verdt å tenke på tidlig. DeA11Y-prosjektethar praktiske sjekklister for å gjøre nettgrensesnitt brukbare for alle. Det betyr noe om du bygger et offentlig verktøy eller et internt dashbord.

Velge nivået ditt: en rask beslutningsramme

Still deg selv tre spørsmål før du kjøper noe.

Hvilken modellstørrelse trenger du egentlig? De fleste oppgaver som betyr noe krever ikke 70B parametere. En god 14B-modell håndterer 80 prosent av brukssaker i den virkelige verden.
Er dette for batchbehandling eller live interaksjon? Batchoppgaver tåler trege CPUer. Live-interaksjon trenger minst en mellomtone-GPU.
Hvor viktig er personvern kontra kostnad? Hvis personvernet er kritisk, slår et hvilket som helst nivå cloud APIer. Hvis det er valgfritt, revurder om lokal slutning er verdt maskinvarekostnaden i det hele tatt.

DeTensorFlow dokumentasjonog bredere ML-økosystemressurser er nyttige for utviklere som ønsker å gå utover slutninger og finjustere sine egne modeller. Finjustering på lokal maskinvare er mulig på $3500-nivået og over, selv om det krever mer RAM og tålmodighet enn ren slutning.

Hvis du bygger videoinnhold rundt AI-prosjektene dine, agratis videokompressorvil spare deg for mye opplastingstid når du deler skjermopptak eller opplæringsvideoer. Lokale AI-arbeidsflyter produserer mye demoopptak som er verdt å dele.

Start i det små, skaler når du vet hva du trenger

Den største feilen folk gjør er å kjøpe for mye maskinvare før de forstår den faktiske brukssaken. Start på nivå 1 eller nivå 2. Kjør noen modeller. Finn ut hva som er sakte og hva som er raskt nok. Oppgrader deretter den spesifikke flaskehalsen.

Lokal LLM-slutning modnes raskt. Modellene som er tilgjengelige i dag med 7B og 14B parametere er virkelig imponerende. Verktøyene som Ollama og vLLM har gjort oppsettet dramatisk enklere enn det var for ett år siden. Du trenger ikke å bruke $40 000 for å kjøre nyttig AI lokalt i 2026.

Velg nivået ditt, sjekkSmashing Magazineutviklerfellesskap for arbeidsflytideer, og kom i gang. Det beste lokale AI-oppsettet er det du faktisk eier og driver, ikke den teoretisk perfekte riggen du fortsatt sparer til.