De techniek onder lokale AI.

Ubuntu Server LTS (22.04 / 24.04)

Voor AI-werkbelasting is stabiliteit belangrijker dan het laatste snufje. Ubuntu LTS heeft de driver-ondersteuning en lange levensduur die past bij infrastructuur die jaren meegaat.

NVIDIA driver + CUDA + cuDNN — gematcht

De meest voorkomende oorzaak van storingen bij lokale AI is een mismatch tussen driver, CUDA-versie en de versie die PyTorch, vLLM of llama.cpp verwacht. We stellen één geverifieerde combinatie vast en pinnen die.

Standaard zetten we nvidia-persistenced aan om driver-opstartlatentie bij inferentie-calls te voorkomen.

vLLM voor throughput, llama.cpp voor flexibiliteit

vLLM is geschikt voor veel parallelle requests, continuous batching en tensor-parallel over meerdere GPU's. llama.cpp is sterk voor GGUF-modellen, flexibele kwantisatie en kleinere servers.

Open modellen per taak gekozen

Voor Nederlandstalige documenten en vertaling werken Qwen, Mistral en Gemma vaak goed. De keuze hangt af van contextlengte, VRAM, gewenste latency en outputkwaliteit.

Voor spraak gebruiken we Whisper, waarbij regionale Nederlandse audio soms beter presteert op een ander model of fine-tune dan standaard benchmarks suggereren.

nginx reverse proxy + Python/Node.js services

Inferentie-servers staan niet direct publiek. nginx regelt TLS, routing, buffering en streaming. Daarachter draaien FastAPI, Flask of Node.js services.

Waar publieke bereikbaarheid nodig is, gebruiken we liever tunnels of reverse proxies dan openstaande poorten.

systemd services met restart-policies

Elke component krijgt een eigen systemd-service met duidelijke dependencies, restart-condities en logging. Na een reboot komt de stack in de juiste volgorde terug.

Kleine details maken groot verschil

PCIe-lanes controleren, GPU-klokken stabiliseren, batch-size afstemmen op werkelijk VRAM-gebruik, watchdogs zetten en hallucinatie-thresholds voor transcriptie bepalen. Dit zijn projectdetails die het verschil maken tussen demo en productie.