In elk bedrijf zit kennis verstopt op plekken waar niemand hem terugvindt. Afspraken in oude documenten, beslissingen in verslagen, procedures die iemand ooit heeft opgeschreven. Nieuwe medewerkers stellen dezelfde vragen die vorig jaar ook al beantwoord zijn, en de mensen die het antwoord weten worden er de hele dag mee lastiggevallen. Ik heb dat opgelost met een chatbot die in onze teamchat leeft en die vragen beantwoordt uit onze eigen kennisbank. Met, en dat is belangrijk, de bron er netjes bij.

Het bijzondere zit niet in dat er een chatbot is. Iedereen kan tegenwoordig een vraag in een Ai-tool typen. Het bijzondere is dat deze chatbot volledig lokaal draait. Er gaat geen enkel bedrijfsgegeven naar een externe dienst. En dat maakt hem meteen een stuk interessanter voor elk bedrijf dat met vertrouwelijke of persoonsgegevens werkt.

Hoe het werkt, zonder jargon#

De techniek erachter heet RAG, maar de kern is simpel uit te leggen. Je gooit niet je hele kennisbank in het taalmodel (dat kan niet en dat wil je niet). In plaats daarvan knip je al je documenten in kleine stukjes en zet je die om in een soort zoekbare vingerafdruk. Als iemand een vraag stelt, zoekt het systeem eerst de paar stukjes op die het meest relevant zijn, en pas die paar stukjes geeft het aan het taalmodel mee met de opdracht: beantwoord de vraag op basis van deze tekst, en zeg erbij waar het vandaan komt.

Bij mij ging het om 164 bestanden, die samen in 1237 van die stukjes uiteenvielen. Het opbouwen van die zoekbare index kostte een paar minuten op een gewone processor, zonder dure videokaart. En dat gebeurt allemaal op eigen hardware. Zowel het model dat teksten omzet in die vingerafdrukken als het model dat de antwoorden schrijft, zijn gratis, open modellen die lokaal draaien. Nul kosten per vraag, en geen abonnement.

Dat de bron erbij staat is geen detail. Een Ai die stellig een antwoord geeft zonder te zeggen waar het op gebaseerd is, is gevaarlijk: je weet niet of het klopt of verzonnen is. Door bij elk antwoord te verwijzen naar het document waar het vandaan komt, kan de gebruiker het zelf natrekken. De chatbot is een wegwijzer naar de kennis, geen orakel dat je op zijn woord moet geloven.

Waarom lokaal draaien het verschil maakt#

De meest gestelde vraag als ik dit laat zien is: waarom niet gewoon een bestaande Ai-dienst gebruiken? Het antwoord is privacy, en daarmee ook de AVG.

Zodra je je kennisbank in een externe Ai-dienst stopt, verlaten die gegevens je bedrijf. Klantnamen, interne afspraken, misschien persoonsgegevens: het gaat allemaal naar de servers van een ander, vaak buiten Europa. Voor veel bedrijven is dat op zijn best een grijs gebied en op zijn slechtst een overtreding. Je moet dan verwerkersovereenkomsten regelen, nagaan waar de data staat, en maar hopen dat het model je informatie niet gebruikt om zichzelf te trainen.

Met een lokale opzet is die hele discussie er niet. De gegevens blijven op je eigen apparatuur, achter je eigen deur. Er is geen dienst die meeleest, geen data die het pand verlaat, geen model in de cloud dat jouw interne kennis binnenkrijgt. Dat is niet alleen juridisch een stuk rustiger, het is ook gewoon fatsoenlijk tegenover je klanten en je medewerkers. En als bonus: het kost per vraag helemaal niets, terwijl een externe dienst bij elke vraag de meter laat lopen.

De guardrails: wat hij absoluut niet mag#

Een chatbot die overal bij kan en alles mag, is een ongeluk dat op gebeuren staat. Daarom heeft deze harde grenzen die ik er bewust omheen heb gezet.

Hij wijzigt niets. Hij kan geen code aanpassen, geen bestanden veranderen, geen instellingen omgooien. Het enige wat hij naast antwoorden mag, is een item toevoegen aan onze takenlijst: als iemand in de chat een idee of een verbeterpunt aandraagt, kan de bot dat als los puntje op de backlog zetten. Meer niet. Toevoegen aan een lijstje is veilig en omkeerbaar; iets echt veranderen is dat niet.

Voor alles wat wél enig risico draagt, komt er eerst een bevestigingsknop tussen. De bot voert het niet zomaar uit, hij vraagt het eerst. En als een vraag echt te zwaar is voor het kleine lokale model, kan hij op een gecontroleerde manier opschalen naar een krachtiger, betaald model, maar dat is de uitzondering en niet de gewoonte. De standaard is gratis en lokaal; de dure route is er alleen voor de enkele vraag die het echt nodig heeft.

Een verrassende valkuil zat in de persoonlijkheid van de bot. Ik had hem bovenop mijn algemene Ai-opzet gebouwd, en die opzet had allerlei ingebakken gewoontes die op mijn werkplek handig zijn maar in een chatvenster totaal misplaatst. De bot begon bij de eerste de beste “hoi” voorstellen te doen om dingen op te slaan en aantekeningen te maken. Ik moest hem een eigen, aparte set instructies geven voor de chat: kort antwoorden, geen ongevraagde voorstellen, gewoon de vraag beantwoorden. De les: een bot die je op een bestaande opzet ent, erft de instincten van die opzet. Die moet je bewust uitzetten.

Wat ik leerde bij het afstellen#

De techniek werkte snel. Het goed laten werken kostte de meeste moeite, en dat zat in drie dingen.

Ten eerste: hoe je je documenten in stukjes knipt, doet er echt toe. Te grote stukken en het model krijgt te veel ruis mee; te kleine stukken en de context valt uiteen. Daar heb ik mee zitten schuiven tot de antwoorden scherp werden.

Ten tweede: bewaar de antwoorden op veelgestelde vragen. Sommige vragen komen keer op keer terug. Die elke keer opnieuw laten uitrekenen is zonde. Door de antwoorden op de meestgestelde vragen te onthouden, is de bot sneller en efficiënter.

Ten derde, en dat is de belangrijkste: leg een vaste set testvragen vast en draai die er telkens overheen. Als ik iets aan de bot verander, wil ik weten of hij de vragen die eerst goed gingen nog steeds goed beantwoordt. Zonder zo’n vaste testset verbeter je het ene en breek je stiekem het andere, zonder dat je het merkt. Die regressieset is mijn vangnet.

Wat betekent dit voor jouw bedrijf#

De belofte is aantrekkelijk: minder tijd kwijt aan dezelfde vragen, kennis die eindelijk terugvindbaar is, en dat zonder dat er een euro per vraag wegloopt of dat je gegevens het pand verlaten. Voor bedrijven die met gevoelige informatie werken is die lokale, AVG-vriendelijke opzet niet zomaar een leuk extraatje, maar vaak de enige verantwoorde manier om Ai op je eigen kennis los te laten.

Maar val niet voor de illusie dat je hem aanzet en klaar bent. De winst zit in drie dingen die niks met het model te maken hebben: strakke grenzen aan wat hij mag (bij mij: antwoorden en hooguit een puntje op een lijst, verder niets), altijd de bron erbij zodat niemand een verzonnen antwoord voor waar aanneemt, en een vaste set testvragen zodat je merkt wanneer je iets stukmaakt. Doe je dat, dan heb je een collega die alles weet en niks kapotmaakt.

Wil je verkennen of zo’n lokale kennisbot iets voor jouw bedrijf is, en waar de grenzen zouden moeten liggen, kijk dan op de consulting-pagina. En zo’n bot is maar zo goed als de kennisbank eronder: met de gratis kennisbank voor Ai in één dag zet je die basis snel op.