Er is een fout die zo menselijk is dat we hem klakkeloos in onze automatisering inbouwen: als twee dingen samen opvallen, moet het één het ander veroorzaken. Twee dingen tegelijk gezien is niet hetzelfde als het één veroorzaakt het ander. En toch trapte mijn eigen bewakingsagent er dagenlang in, met precies dezelfde stelligheid waarmee een mens dat zou doen.

Dit is het verhaal van vijf dagen achter de verkeerde schuldige aan rennen. Het gaat over een vol geheugen, een agent die elke dag hetzelfde advies gaf, en het onaangename moment waarop bleek dat de aangewezen oorzaak helemaal de oorzaak niet was. En het gaat over een tweede, subtielere les die me nog meer heeft geleerd: wat het betekent als je automatisering dag na dag hetzelfde advies geeft dat niemand opvolgt.

De situatie: geheugen dat maar vol bleef#

Op mijn server raakte het wisselgeheugen, de reserveruimte die het systeem gebruikt als het krappe werkgeheugen te vol wordt, langzaam helemaal vol. Niet acuut gevaarlijk, maar wel een teken dat er geen ruimte meer over was voor een plotselinge piek. Precies het soort sluipende probleem waar je een bewakingsagent voor wilt hebben.

Die agent keek naar de situatie, zocht naar wat er anders was, en vond een verdachte: een reeks oude, blijven hangende processen die samen een flinke hap geheugen leken vast te houden. De conclusie lag voor de hand. Het geheugen zit vol, hier staan geheugen-vretende oude processen, dus die zijn de boosdoener. Ruim ze op en het probleem is opgelost.

Dat advies gaf hij op dag één. En op dag twee. En op dag drie. Steeds dezelfde diagnose, steeds dezelfde aanbevolen oplossing. Het klonk logisch, het klonk consistent, en het was mis.

Het moment waarop de theorie instortte#

Op een gegeven moment verdwenen die oude processen. Niet omdat ik het advies opvolgde, maar omdat ze vanzelf afliepen. Het perfecte natuurlijke experiment: de aangewezen oorzaak was weg. Volgens de theorie van de agent had het probleem nu opgelost moeten zijn.

Het probleem bleef.

Het geheugen was nog steeds vol. De aangewezen schuldige was verdwenen, maar de storing bleef staan. En dat is het definitieve bewijs dat je met een correlatie te maken had en niet met een oorzaak: als je de vermeende oorzaak wegneemt en het gevolg blijft, dan was je oorzaak nooit de oorzaak. De oude processen en het volle geheugen waren twee symptomen die toevallig samen optraden. De echte druk kwam ergens anders vandaan, van langlopende diensten die het geheugen vasthielden. Mijn agent had vijf dagen lang met grote stelligheid naar het verkeerde ding gewezen.

De eerste les: laat je automatisering haar eigen theorie aanvallen#

Hoe voorkom je dit? Niet door je agent slimmer te maken, maar door hem wantrouwiger te maken tegenover zijn eigen conclusies. De fout was niet dat de agent een verkeerde hypothese had. Iedereen heeft wel eens een verkeerde hypothese. De fout was dat hij die hypothese vijf dagen lang herhaalde zonder hem ooit te toetsen.

Sindsdien laat ik dit soort agents adversarieel denken: niet “ik zie een verband, dus dit is de oorzaak”, maar “ik zie een verband, hoe zou ik kunnen bewijzen dat ik het mis heb?” Concreet betekent dat: doe eerst een goedkope, snelle test die je theorie kan onderuithalen, voordat je met stelligheid een oorzaak aanwijst. In dit geval was er een spotgoedkope proef die alles had kunnen ophelderen: haal die processen weg, of doe een simpele reset van het wisselgeheugen, en kijk of het probleem verdwijnt. Eén test van vijf minuten had vijf dagen verkeerde diagnose voorkomen.

De regel die ik eruit haalde: begin bij de goedkoopste diagnostiek die je theorie kan weerleggen, niet bij het bevestigen van je eerste vermoeden. Een verband is een startpunt voor onderzoek, geen eindconclusie.

De tweede les: herhaald genegeerd advies is zelf een signaal#

Nu het deel dat me nog meer aan het denken zette. Mijn agent gaf vijf dagen achter elkaar hetzelfde advies. Vijf dagen lang werd dat advies niet opgevolgd, deels door mij, deels omdat het systeem gewoon doordraaide. En vijf dagen lang bleef de agent hetzelfde herhalen alsof er niets aan de hand was.

Maar er was wél iets aan de hand. Een advies dat dag na dag terugkomt en dag na dag niet wordt opgevolgd, is zelf informatie. Het betekent één van twee dingen: óf het advies is niet uitvoerbaar of niet belangrijk genoeg om op te volgen, óf de diagnose klopt niet en daarom lost het advies niets op. In beide gevallen is “voor de vijfde keer hetzelfde zeggen” het verkeerde antwoord.

Een volwassen systeem zou op dag drie moeten opmerken: ik geef dit advies nu al drie keer en er verandert niets, dus óf mijn advies deugt niet, óf mijn diagnose deugt niet. Dat de fix genegeerd bleef terwijl het probleem aanhield, was in feite een terugkoppeling die de agent had moeten oppikken. In plaats daarvan bleef hij trouw dezelfde verkeerde conclusie herhalen.

Sindsdien bouw ik in mijn agents een besef van herhaling in. Zie je jezelf voor de zoveelste keer hetzelfde melden zonder dat er iets verandert? Stop met herhalen en begin met twijfelen. Herhaling zonder effect is geen ijver, het is een vastgelopen aanname.

Wat betekent dit voor jouw bedrijf?#

Je hebt geen server vol geheugenproblemen nodig om hier last van te hebben. Overal waar mensen of systemen conclusies trekken uit wat ze zien, ligt deze valkuil op de loer. De omzet daalde nadat je die ene wijziging doorvoerde, dus die wijziging is de schuldige. De klachten namen toe sinds de nieuwe medewerker begon, dus dat zal het wel zijn. Verband is geen bewijs.

Drie dingen om mee te nemen:

  1. Toets je theorie voordat je erop handelt. Vraag jezelf, of je automatisering, altijd: hoe zou ik kunnen bewijzen dat dit níet de oorzaak is? De goedkoopste test die je aanname kan omverwerpen, komt eerst.
  2. Neem de vermeende oorzaak weg en kijk wat er gebeurt. Als het probleem blijft nadat de schuldige weg is, had je de verkeerde schuldige. Dat is de meest overtuigende test die er is.
  3. Behandel herhaald, genegeerd advies als een signaal. Als hetzelfde advies keer op keer terugkomt zonder dat het iets oplost, is het advies of de diagnose fout. Blijven herhalen is dan geen deugd, maar een blinde vlek.

De les die het diepst is blijven hangen: een systeem dat stellig is over een verkeerde oorzaak, is gevaarlijker dan een systeem dat toegeeft het niet zeker te weten. Zekerheid zonder toetsing is precies hoe je vijf dagen de verkeerde kant op rent.

Wil je uitzoeken waar in jouw bedrijf conclusies worden getrokken uit verbanden die geen oorzaak zijn? Bekijk mijn gratis downloads of neem via de consulting-pagina contact op.