Antwoorden over lokale AI.

Bij lokale AI draaien de taalmodellen en de toepassing eromheen op infrastructuur die u zelf beheert of die voor u is afgeschermd, in plaats van via een publieke model-API. Zo houdt u zelf de regie over welke gegevens worden verwerkt en wie er toegang toe heeft.

Nee. Volledig offline kan wanneer het proces dat vraagt, maar private en hybride varianten zijn ook mogelijk. Bij hybride werken combineren we bewust lokale verwerking met externe diensten, met duidelijke grenzen.

We bouwen complete lokale AI-oplossingen voor bedrijven en organisaties: van modellen en infrastructuur tot documentverwerking, kennisassistenten, automatisering, gebruikersinterfaces en monitoring. Uw processen, documenten en gegevens bepalen de oplossing.

Onder meer kennisassistenten op uw eigen documenten (RAG), documentvertaling, transcriptie van audio, geautomatiseerde analyses en AI-workflows met ruimte voor menselijke controle. Op de projectenpagina staan lopende projecten en geanonimiseerde cases.

Nee. De gekozen omgeving helpt bij gegevenscontrole, maar grondslag, toegang, bewaartermijnen en werkwijze blijven bepalend. Lokale verwerking kan helpen om gevoelige inhoud buiten publieke model-API’s te houden, maar is geen garantie op naleving.

Dat hangt af van de gekozen omgeving: op uw eigen infrastructuur, in een afgeschermde private omgeving of hybride. Modellen en applicatie kunnen op eigen servers draaien, onder beheer van uw organisatie. We leggen vooraf vast waar verwerking plaatsvindt.

Bij kennisassistenten laten we bronnen zien bij de antwoorden, zodat u het document of de passage zelf kunt nalezen. Bij verwerking van bestanden of opnames blijft er ruimte voor menselijke controle. Een taalmodel kan zich vergissen; daarom testen we met echte gegevens voordat iets in productie gaat.

Niet helemaal. Lokale inferentie kan externe API-tokenkosten beperken of voorkomen, maar hardware, energie, beheer en onderhoud blijven onderdeel van de businesscase. Een eigen inferentieomgeving kan wel de afhankelijkheid van publieke modelproviders en hun tokenprijzen verkleinen.

Dat volgt uit taak, aantal gelijktijdige gebruikers, gewenste contextlengte en acceptabele responstijd. Als indicatie: een instapsysteem met één GPU van 24 GB is geschikt voor kleinere modellen en een tot drie gebruikers; voor productie met meer gebruikers zijn meerdere GPU’s nodig. We bepalen eerst wat de AI moet doen en kiezen daarna de hardware.

We kiezen open modellen per taak; voor Nederlandse documenten en vertaling werken bijvoorbeeld Qwen, Mistral en Gemma vaak goed, en voor spraak gebruiken we Whisper. Als inferentie-runtime gebruiken we vLLM voor veel gelijktijdige verzoeken of llama.cpp voor flexibiliteit en kleinere servers. De keuze hangt af van contextlengte, videogeheugen, latency en gewenste kwaliteit.

RAG staat voor retrieval-augmented generation. Documenten worden opgesplitst en geïndexeerd; bij een vraag haalt de applicatie de relevante passages op en geeft die als context aan het model. Het model antwoordt dan op basis van uw eigen bronnen in plaats van op algemene modelkennis, en kan naar die bronnen verwijzen.

We beginnen bij het probleem en het proces, bekijken daarna gegevens, toegangsrechten en randvoorwaarden en toetsen een ontwerp of proef op representatieve voorbeelden. Daarna bouwen en koppelen we de toepassing, testen we met echte gegevens en leggen we beheer, monitoring en documentatie vast.

Vaak wel. We koppelen bronnen zoals documenten en gedeelde mappen aan bestaande applicaties en API’s. Eerst brengen we interfaces, gegevensformaten en toegangsrechten in kaart.

Dat verschilt per toepassing en hangt af van de omvang, de gegevens, de koppelingen en de gekozen omgeving; een vaste prijs of doorlooptijd noemen we daarom niet vooraf. In een eerste gesprek bepalen we de haalbaarheid en een passende eerste stap.

Vertel welke taak u wilt verbeteren, welke gegevens daarbij horen en waar de oplossing moet draaien. Mail naar info@golditservices.nl of bel 0657677128; dan bespreken we de mogelijkheden.