Een lokaal gehoste AI die privé draait en geen datatraining uitvoert op externe systemen, is een AI-model dat volledig binnen de eigen serverinfrastructuur van een organisatie opereert, zonder netwerkverbindingen naar cloudplatforms van derden. Voor compliance officers en IT-beslissers in de overheid, juridische sector en andere gereguleerde omgevingen is dit onderscheid niet technisch maar juridisch fundamenteel: zodra data de eigen perimeter verlaat, gelden externe jurisdicties.
Waarom cloudgebaseerde AI-assistenten een juridisch risico vormen
Cloudgebaseerde AI-tools zoals Microsoft Copilot en ChatGPT verwerken prompts en documenten op servers van Amerikaanse bedrijven, en die servers vallen onder de Amerikaanse CLOUD Act (Clarifying Lawful Overseas Use of Data Act, 2018). Deze wet verplicht Amerikaanse technologiebedrijven om op bevel van Amerikaanse autoriteiten data te overleggen, ook als die data fysiek op Europese servers is opgeslagen.
Naast jurisdictionele risico’s is er het vraagstuk van modeltraining. Veel cloudgebaseerde AI-diensten bevatten clausules die toestaan dat gebruikersinput wordt ingezet voor het verbeteren van modellen, tenzij een organisatie dit expliciet uitschakelt via enterprise-instellingen. De Autoriteit Persoonsgegevens stelt hierover:
“Persoonsgegevens mogen alleen worden verwerkt op een manier die verenigbaar is met de doeleinden waarvoor ze zijn verzameld. Wanneer een AI-dienst die gegevens gebruikt voor modeltraining, is dat in de meeste gevallen een onverenigbaar gebruik.”
Een bijkomend fenomeen is zogenoemde shadow AI: werknemers die zonder IT-goedkeuring externe AI-tools inzetten. Volgens het Microsoft Work Trend Index 2024 gebruikt 55% van de werknemers AI-tools op het werk zonder expliciete goedkeuring van hun werkgever. Dit maakt het risicobeheer voor compliance officers aanzienlijk complexer.
Geschikte open-source modellen voor on-premise inzet
De markt voor open-source grote taalmodellen (LLM’s) heeft zich de afgelopen twee jaar snel ontwikkeld, en diverse modellen zijn geschikt voor inzet in gevoelige organisaties.
| Model | Aanbieder | Licentie (zakelijk) | Geschikt voor |
|---|---|---|---|
| LLaMA 3 (8B / 70B) | Meta AI | Meta LLaMA 3 Community License (zakelijk toegestaan onder 700M gebruikers) | Algemene teksttaken, samenvatting, codegeneratie |
| Mistral 7B / Mixtral 8x7B | Mistral AI (Frans bedrijf, Europees) | Apache 2.0 (volledig open) | Meertalige taken, documentanalyse, RAG-toepassingen |
| Mistral Small / Large (self-hosted) | Mistral AI | Mistral Research License / commercieel | Complexere redenering, gevoelige juridische context |
| Phi-3 (Microsoft) | Microsoft Research | MIT | Lichte hardware, snelle respons op eenvoudige taken |
Het Europese karakter van Mistral AI is voor Europese organisaties relevant: het bedrijf valt onder Frans en EU-recht, wat de jurisdictionele blootstelling aan de CLOUD Act elimineert voor het model zelf. De modelgewichten worden gedownload en draaien vervolgens volledig lokaal.
Technische opzet van een lokaal AI-systeem zonder externe datauitwisseling
De meest gebruikte runtime voor lokale LLM-inzet is Ollama, een open-source tool waarmee modellen als LLaMA en Mistral met één commando worden geïnstalleerd en lokaal worden bediend via een REST-API. Ollama draait op Linux, macOS en Windows en communiceert uitsluitend met het lokale netwerk.
Stap 1: Netwerkinsolatie
Installeer Ollama op een server die geen uitgaande internetverbinding heeft na de initiële modeldownload. Stel firewallregels in die uitgaand verkeer van de Ollama-service blokkeren (standaard poort 11434). Gebruik een intern DNS-systeem zodat de service alleen via het interne netwerk bereikbaar is. Na de initiële installatie heeft Ollama geen externe verbinding meer nodig om te functioneren.
Stap 2: Integratie met werkomgeving
Nextcloud biedt via de Nextcloud Assistant een directe integratie met Ollama-backends. Medewerkers kunnen via de vertrouwde Nextcloud-interface teksten samenvatten, e-mailconcepten opstellen en documenten doorzoeken, terwijl alle verwerking plaatsvindt op de eigen server. Dit maakt Nextcloud Assistant een praktisch alternatief voor Microsoft Copilot in een soevereine werkruimte.
Stap 3: Logging en audittrail
Activeer systeemniveau-logging van alle netwerkverbindingen op de AI-server (bijvoorbeeld via auditd op Linux of Windows Event Log). Bewaar deze logs minimaal 12 maanden. Dit audittrail vormt het technische bewijs dat de AI-server geen data naar externe systemen heeft verzonden.
Hardwarevereisten voor productief zelfhosten
De minimale hardware hangt sterk af van het gekozen model en de gewenste responstijd. Als richtlijn gelden de volgende minimumspecificaties voor productief gebruik:
| Modelgrootte | Minimale GPU VRAM | Alternatief (CPU-only) | Verwachte responstijd |
|---|---|---|---|
| 7B parameters (bijv. Mistral 7B) | 8 GB VRAM (bijv. NVIDIA RTX 4060) | 32 GB RAM, moderne server-CPU | 2-8 seconden per respons |
| 13B parameters | 16 GB VRAM (bijv. NVIDIA RTX 4080) | 64 GB RAM | 5-15 seconden |
| 70B parameters (bijv. LLaMA 3 70B) | 2x 40 GB VRAM (bijv. 2x NVIDIA A100) | Niet praktisch aanbevolen | 10-30 seconden (GPU) |
Voor de meeste overheidsdiensten en juridische organisaties volstaat een Mistral 7B of LLaMA 3 8B model op een server met een middenklasse datacenter-GPU. Kwantisatietechnieken (GGUF-formaat via llama.cpp) maken het mogelijk om modellen met minder VRAM te draaien, met een beperkte kwaliteitsafname.
AVG-compliance aantonen bij een lokale AI-inrichting
Een lokale AI-implementatie die aantoonbaar geen externe datastromen genereert, voldoet aan de kernvereisten van de AVG, maar compliance moet worden gedocumenteerd en aantoonbaar zijn voor toezichthouders zoals de Autoriteit Persoonsgegevens.
AVG Artikel 25: Privacy by Design en by Default
AVG Artikel 25 verplicht organisaties om technische en organisatorische maatregelen te nemen die gegevensbeschermingsbeginselen vanaf het ontwerp verankeren. Het European Data Protection Board (EDPB) stelt hierover in haar richtlijnen voor privacy by design:
“Privacy by design vereist dat gegevensbeschermingsbeginselen al bij de technische inrichting worden verankerd, niet pas achteraf als compliance-laag.”
Concreet betekent dit voor een lokale AI-inrichting: documenteer in het verwerkingsregister dat de AI-service lokaal draait, welk model wordt gebruikt, welke categorieën data als input kunnen worden ingevoerd, en dat er geen dataoverdracht naar derde landen plaatsvindt. Dit vormt de basis voor het aantoonbaar voldoen aan Artikel 25.
Gegevensbeschermingseffectbeoordeling (DPIA)
Bij het inzetten van AI-systemen die persoonsgegevens kunnen verwerken, is een Data Protection Impact Assessment (DPIA) doorgaans verplicht onder AVG Artikel 35. In een DPIA voor lokale AI documenteert u: het doel van de verwerking, de gegevensminimalisatiemaatregelen, de technische beveiligingsmaatregelen (netwerkinsolatie, toegangscontrole), en de risicobeoordeling van het model zelf (biases, onjuiste uitkomsten).
NIS-2 en de beveiliging van de AI-infrastructuur
Organisaties die onder NIS-2 (Richtlijn 2022/2555) vallen, zijn verplicht passende technische en organisatorische maatregelen te treffen voor de beveiliging van hun netwerk- en informatiesystemen. Een lokale AI-server valt hieronder als onderdeel van de kritieke IT-infrastructuur. Dit betekent: regelmatige patching van het besturingssysteem en de Ollama-runtime, toegangslogging, en incidentresponsplannen die ook de AI-service omvatten.
Volgens het ENISA Threat Landscape 2023 is ransomware de meest impactvolle cybercriminaliteitsdreiging voor EU-organisaties, met een sterk groeiend aantal aanvallen op cloudgekoppelde infrastructuur. Een lokale, netwerk-geïsoleerde AI-server verkleint dit aanvalsoppervlak aanzienlijk ten opzichte van cloudgebaseerde alternatieven.
Eurostat-data uit 2023 laat zien dat 69% van de Europese IT-beslissers dataprivacy en -soevereiniteit als primaire zorg beschouwt bij het gebruik van publieke clouddiensten, wat de bredere beweging naar soevereine infrastructuur weerspiegelt die ook de keuze voor lokale AI aanstuurt.
FAQ: Lokaal gehoste AI voor compliance-gevoelige organisaties
Stuurt Microsoft Copilot mijn bedrijfsdata naar externe servers voor modeltraining?
Microsoft stelt in haar servicevoorwaarden dat Copilot voor Microsoft 365 gegevens van zakelijke klanten niet gebruikt voor het trainen van het basismodel, maar verwerking vindt wel plaats op Microsofts cloudinfrastructuur, die juridisch onder de CLOUD Act valt. Dit betekent dat Amerikaanse autoriteiten onder bepaalde omstandigheden toegang kunnen eisen tot die data, ongeacht waar de servers fysiek staan.
Welk LLM is het meest geschikt voor gevoelige organisaties die lokaal willen draaien?
Mistral-modellen (Mistral 7B of Mixtral) en Meta’s LLaMA 3-familie zijn beide populaire keuzes. Mistral AI is een Europees bedrijf met opensourcemodellen onder Apache 2.0-licentie, wat volledige vrijheid geeft voor zakelijke inzet. LLaMA 3 van Meta staat zakelijk gebruik toe voor organisaties met minder dan 700 miljoen gebruikers. De keuze hangt af van beschikbare hardware, taalvereisten en de specifieke compliance-context.
Hoe weet ik zeker dat mijn lokale AI geen data verzendt?
Gebruik Ollama in een netwerk-geïsoleerde omgeving met strikte firewallregels en monitor al het uitgaande netwerkverkeer. Bewaar de netwerklogs als auditbewijs. Laat eventueel een externe partij een dataflow-audit uitvoeren die bevestigt dat er geen externe verbindingen worden gemaakt. Controleer ook regelmatig de Ollama-configuratie op eventuele remote endpoints.
Valt een lokaal gehoste AI automatisch onder de EU AI Act?
De EU AI Act classificeert systemen op basis van risico. Een intern ingezet taalmodel voor tekstverwerking of informatieretrieval valt doorgaans in de laag-risicoclassificatie, maar organisaties moeten het toepassingsdoel documenteren. Systemen die beslissingen nemen over individuen (in HR of kredietverlening) kunnen in een hogere risicoklasse vallen en vereisen aanvullende conformiteitsmaatregelen.
Is Nextcloud Assistant een volwaardig alternatief voor Microsoft Copilot?
Nextcloud Assistant is functioneel beperkter dan Copilot: het richt zich op tekstsamenvatting, e-mailconcepten en eenvoudige informatieretrieval binnen de Nextcloud-omgeving. Het onderscheidende voordeel is dat de AI-backend volledig lokaal kan draaien via een Ollama-koppeling, waardoor er geen data de organisatie verlaat. Voor gevoelige sectoren is deze functionele trade-off doorgaans aanvaardbaar in ruil voor volledige databescherming.
