Een lokale AI zonder cloudtraining is een taalmodel dat volledig op eigen hardware draait, waarbij geen enkel prompts, documenten of antwoorden de organisatiegrens verlaten. Voor compliance officers en IT-beslissers in de overheid, juridische sector en andere gereguleerde omgevingen is dit onderscheid niet abstract maar juridisch bepalend, omdat iedere datatransfer naar een externe AI-dienst een verwerkingshandeling is die onder de AVG verantwoord moet worden.
Waarom cloudgebaseerde AI een risico vormt voor vertrouwelijke informatie
De kern van het probleem is niet de kwaliteit van de AI, maar de jurisdictie van de servers waarop die AI draait en de gebruiksvoorwaarden die bepalen wat er met ingevoerde data gebeurt.
ChatGPT, gebaseerd op GPT-4 van OpenAI, verwerkt ingevoerde tekst op servers in de Verenigde Staten. De Amerikaanse CLOUD Act (2018) verplicht Amerikaanse technologiebedrijven om data op verzoek van Amerikaanse autoriteiten te verstrekken, ook als die data fysiek buiten de VS is opgeslagen. Europese organisaties die vertrouwelijke juridische documenten, medische dossiers of overheidsbesluiten invoeren in dergelijke systemen, geven daarmee feitelijk controle over die data op.
Concreet: volgens onderzoek van Cyberhaven uit 2023 bestond 11% van alle data die medewerkers in ChatGPT invoerden uit informatie die als vertrouwelijk was geclassificeerd door hun eigen organisatie. Dit betreft contracten, broncode, klantgegevens en interne strategiedocumenten.
Zoals Andrea Jelinek, voorzitter van de European Data Protection Board, stelde: “Organisaties die persoonsgegevens verwerken met AI-tools moeten kunnen aantonen dat er geen ongecontroleerde datatransfer plaatsvindt naar derde landen. De bewijslast ligt bij de verwerkingsverantwoordelijke.”
Hoe een lokaal gehost taalmodel technisch werkt
Een lokaal taalmodel draait als een softwareproces op een server binnen de eigen IT-infrastructuur en communiceert via een lokale API met gebruikersinterfaces of andere applicaties.
De meest gebruikte runtime-omgeving voor dit doel is Ollama, een open-source tool die het laden, beheren en aanroepen van taalmodellen vereenvoudigt tot een niveau dat vergelijkbaar is met het installeren van een gewone applicatie. Ollama biedt een lokale REST API waarmee andere systemen het model kunnen bevragen zonder internetverbinding.
Hardwarevereisten
De benodigde hardware hangt sterk af van de modelgrootte. Een bruikbaar richtlijn:
| Modelgrootte | Minimaal RAM / VRAM | Geschikt voor | Voorbeeldmodel |
|---|---|---|---|
| 7B parameters | 8 GB RAM of GPU-VRAM | Samenvatten, e-mail, eenvoudige Q&A | Mistral 7B |
| 13B parameters | 16 GB RAM of GPU-VRAM | Documentanalyse, vertaling, redenering | LLaMA 3 13B |
| 70B parameters | 40+ GB VRAM (meerdere GPU’s) | Complexe juridische of medische analyse | LLaMA 3 70B |
CPU-only inferentie is technisch mogelijk maar traag. Voor productiegebruik in een organisatie is een NVIDIA GPU met minimaal 16 GB VRAM praktisch noodzakelijk voor modellen van 13B parameters en hoger.
Geschikte open-source modellen voor professionele on-premise inzet
Niet elk open-source model is even geschikt voor een gereguleerde omgeving. Licentievoorwaarden, herkomst en prestatieniveau bepalen samen de keuze.
LLaMA 3, ontwikkeld door Meta en uitgebracht in 2024, is beschikbaar onder een community-licentie die zakelijk gebruik toestaat voor organisaties onder een bepaald gebruikersvolume. Het model presteert sterk op meertalige taken en gestructureerde output en is veelgebruikt in professionele on-premise omgevingen.
Mistral AI, een Frans bedrijf met Europese roots, brengt modellen uit onder de Apache 2.0-licentie, wat onbeperkt zakelijk gebruik toestaat zonder royaltyverplichtingen. De Mistral 7B en Mixtral 8x7B-modellen zijn bijzonder populair omdat ze efficiënt draaien op gangbare serverhardware terwijl ze goed scoren op juridische en technische tekstverwerkingstaken.
Gartner voorspelde in 2024 dat 40% van de enterprise-AI-implementaties in 2027 zal draaien op private of on-premise infrastructuur, tegenover minder dan 10% in 2023. Dit illustreert dat lokale AI geen randverschijnsel is maar een snel groeiende strategische keuze.
AVG-compliance en technische borging van dataisolatie
Een lokale AI is juridisch alleen waterdicht als de technische en organisatorische maatregelen aantoonbaar voorkomen dat data de organisatie verlaat.
AVG Artikel 25 (Privacy by Design) vereist dat gegevensbescherming al in de architectuur van een systeem is ingebakken. Ann Cavoukian, uitvinder van het Privacy by Design-concept en voormalig Information and Privacy Commissioner van Ontario, verwoordde dit als: “Privacy by design betekent dat gegevensbescherming al in de architectuur van een systeem moet zijn ingebakken, niet achteraf worden toegevoegd als laagje vernis.”
Concreet vertaalt dit zich naar de volgende maatregelen voor een lokale AI-implementatie:
- Netwerksegmentatie: de AI-server heeft geen uitgaand internetverkeer, geborgd via firewall-ACL’s.
- Geen telemetrie: Ollama en de gekozen modellen worden geconfigureerd zonder automatische updatechecks of gebruiksrapportages naar externe servers.
- Logging en audittrail: alle API-aanroepen worden lokaal gelogd ten behoeve van verwerkingsregisters onder AVG Artikel 30.
- Toegangsbeheer: alleen geautoriseerde gebruikers en systemen kunnen de API aanroepen, afgedwongen via authenticatietokens.
- Verwerkersovereenkomst: bij uitbesteding van de infrastructuur aan een Europese hostingpartij is een verwerkersovereenkomst conform AVG Artikel 28 vereist.
NIS-2, de herziene Europese richtlijn voor netwerk- en informatiebeveiliging, verplicht essentiële en belangrijke entiteiten (waaronder overheid, zorg, juridische dienstverlening en financiële instellingen) tot aantoonbaar risicobeheer van hun informatieverwerkende systemen. Een AI-tool die intern vertrouwelijke documenten verwerkt, valt binnen die scope. Lokale hosting met strikte netwerksegmentatie maakt auditbaarheid aanzienlijk eenvoudiger dan bij een cloudgebaseerde oplossing.
Functionele beperkingen ten opzichte van cloudgebaseerde AI
Eerlijkheid gebiedt te erkennen dat lokale modellen niet op alle punten gelijk presteren aan GPT-4 van OpenAI.
De primaire beperkingen zijn: minder sterke redenering bij complexe meertraps-vraagstukken, lagere kwaliteit bij creatief schrijven in meerdere talen tegelijk, en de afwezigheid van real-time internettoegang (wat overigens ook een beveiligingsvoordeel is). Voor taken als documentanalyse, samenvatten, gestructureerde rapportgeneratie en FAQ-beantwoording in één taal presteren 13B- en 70B-modellen echter op een professioneel acceptabel niveau.
Verder vereist onderhoud meer interne expertise: modelupdates, hardwarebeheer en promptoptimalisatie zijn taken die intern of bij een gespecialiseerde Europese partner belegd moeten worden. Dit is een reële kostenpost die meegewogen moet worden.
Integratie met een soevereine werkruimte via Nextcloud Assistant
Voor organisaties die Microsoft 365 vervangen door een soevereine Nextcloud-omgeving biedt Nextcloud Assistant een directe integratiemogelijkheid voor lokale taalmodellen.
Nextcloud Assistant is een ingebouwde AI-interface binnen Nextcloud die via een configureerbare backend verbinding kan maken met een lokale Ollama-instantie. Gebruikers kunnen vanuit de Nextcloud-interface documenten samenvatten, teksten herschrijven of vragen stellen aan bestanden in hun persoonlijke of gedeelde opslag, zonder dat er ook maar één byte de eigen server verlaat.
De technische integratie verloopt als volgt: de Nextcloud-server communiceert via de lokale API van Ollama (standaard op poort 11434) met het gekozen taalmodel. Nextcloud ondersteunt modellen die het OpenAI-compatibele API-formaat gebruiken, wat Ollama standaard biedt. Na configuratie van het API-adres en het modelnaam in de Nextcloud-beheeromgeving is de assistent direct beschikbaar voor alle gebruikers met de juiste rechten.
Microsoft 365 heeft een aandeel van circa 85% in de markt voor kantoorproductiviteitssoftware bij grote ondernemingen in Europa (Eurostat, 2023). De migratie naar Nextcloud gecombineerd met een lokale AI-stack stelt organisaties in staat dit marktleiderschap te doorbreken zonder in te leveren op gebruiksgemak, terwijl ze volledig voldoen aan de eisen van AVG, NIS-2 en sectorale toezichthouders.
Conclusie: soevereiniteit als architectuurkeuze
De keuze voor een lokale AI zonder cloudtraining is geen technische hobby maar een strategische architectuurkeuze met directe juridische en operationele gevolgen. Organisaties in de overheid, juridische sector en andere gereguleerde omgevingen die AVG Artikel 25 serieus nemen, kunnen bij cloudgebaseerde AI-diensten de bewijslast voor rechtmatige verwerking niet sluitend maken. Lokale modellen zoals LLaMA 3 en Mistral, ingezet via Ollama en geïntegreerd in Nextcloud Assistant, bieden een aantoonbaar privacyveilig alternatief dat functioneel volwassen genoeg is voor professioneel dagelijks gebruik.
Veelgestelde vragen
Is een lokaal taalmodel echt volledig afgesloten van het internet?
Dat hangt af van de configuratie. Modellen die via Ollama lokaal draaien, sturen op zichzelf geen data naar externe servers. Maar als de host-server internet-uitgaand verkeer toestaat, kan er alsnog onbedoeld contact zijn. Firewallregels en netwerksegmentatie zijn daarom noodzakelijk om technische afsluiting te garanderen.
Welk taalmodel is het meest geschikt voor juridische en overheidsomgevingen?
LLaMA 3 van Meta en de Mistral-modellen worden het meest ingezet in professionele on-premise omgevingen vanwege hun open licenties en aantoonbaar goede prestaties op gestructureerde taken. Mistral biedt ook modellen met een specifiek Europese herkomst, wat relevant kan zijn voor aantoonbaarheid onder de AVG.
Valt een lokale AI-implementatie onder de AVG en NIS-2?
Ja. De AVG is van toepassing op elke verwerking van persoonsgegevens, ongeacht of dat in de cloud of on-premise plaatsvindt. NIS-2 verplicht essentiële en belangrijke entiteiten tot beheersmaatregelen rondom hun informatiesystemen, inclusief AI-tools. Lokale hosting maakt compliance aantoonbaarder, maar ontslaat de organisatie niet van haar verplichtingen.
Kan een lokale AI net zo goed presteren als GPT-4?
Voor algemeen taalgebruik en complexe redenering scoort GPT-4 van OpenAI nog steeds hoger dan de meeste open-source modellen. Maar voor domeinspecifieke taken zoals documentanalyse, samenvatten of gestructureerde tekstgeneratie in één taal presteren LLaMA 3 en Mistral goed genoeg voor professioneel gebruik, zeker wanneer ze worden gefinetuned op sectorspecifieke data.
Hoe snel is een lokaal model te installeren en in gebruik te nemen?
Met Ollama is een werkend taalmodel op een geschikte server in minder dan een uur operationeel. De installatie bestaat uit het ophalen van het Ollama-pakket, het laden van een modelbestand en het activeren van de API. Integratie met Nextcloud Assistant vereist aanvullende configuratie maar is goed gedocumenteerd in de officiële Nextcloud-documentatie.
