Introductie
Bij het Kadaster komen er ontzettend veel aktes binnen. Om tijd en kosten te besparen, zou het handig zijn als alle aktes allemaal volledig automatisch verwerkt kunnen worden. Er wordt al hard gewerkt door het AkteAI team om dit te kunnen realiseren, maar vooral bij de herkenning van rechtsfeiten lopen ze nog tegen problemen aan. De rechtsfeiten kunnen nu nog niet goed genoeg worden herkend en het is lastig om erachter te komen hoe modellen tot hun besluit komen. Deze twee punten moeten nog worden verbeterd, voordat volledige automatisatie mogelijk is.
Voor het verbeteren van zowel de prestaties als de uitlegbaarheid van een model is er een ontologie gemaakt voor zeven rechtsfeiten binnen het Kadaster. Een ontologie is een informatiemodel dat de semantiek van data kan vastleggen. Als een ontologie wordt toegevoegd aan een voorspelmodel, zou het beter moeten begrijpen hoe de rechtsfeiten precies in elkaar zitten.
Methoden
Er is eerst gekeken naar hoe goed een LLM rechtsfeiten kan herkennen uit aktes. Hiervoor is een open-source LLM gefine-tuned op een set van aktes met de bijbehorende rechtsfeitcodes. Het is belangrijk dat dit model open-source is, aangezien een akte normaal gesproken gevoelige persoonsgegevens zoals bankgegevens kan bevatten. Wanneer het model niet lokaal gerund wordt, kunnen de LLM’s deze informatie gebruiken om te trainen. In dit onderzoek is er gebruik gemaakt van Qwen3-32B vanwege de hoge beredeneringscapaciteiten. Qwen3-32B is gefine-tuned via QLoRA training. Door gebruik te maken van QLoRA kunnen de hardware specificaties in toom worden gehouden, zonder dat de resultaten beïnvloed worden.
Om de resultaten met elkaar te kunnen vergelijken is er gebruik gemaakt van de zogeheten Mel-score, waarbij geldt: $Mel-score = \frac{4*Recall + Precision}{5}$. Het belangrijkste is om de recall zo goed mogelijk te krijgen, maar het voorspellen van elke rechtsfeitcode bij elke akte geeft een recall van 1. De precision wordt nog meegenomen om het aantal voorspellingen te beperken.
Voor de uitlegbaarheid is er gekeken naar Chain of Thought (CoT) en SHAP. SHAP geeft aan elke zin in een akte een score van hoeveel invloed die heeft op het besluit van een model of een rechtsfeitcode bij een akte hoort of niet. Door SHAP te gebruiken wordt er een objectieve score aan elke zin gegeven, waardoor er geen sprake kan zijn van hallucinaties of andere zaken. Een nadeel is echter dat SHAP de impact van zinnen kan ontdoen. Het kan zijn dat er meerdere zinnen voorkomen in een akte die wijzen op een bepaalde rechtsfeitcode. Omdat elke zin los wordt beoordeeld, kan het lijken dat deze zinnen individueel weinig impact hebben. Hierom is er ook gekeken naar een andere methode, Chain of Thougt. Bij deze methode wordt er aan het model gevraagd om een reden te geven waarom het een rechtsfeitcode aan een akte heeft gekoppeld. Dit doet het model door een korte uitleg van één of twee zinnen te geven en één tot drie zinnen uit de akte te geven, die het besluit kunnen onderbouwen. Deze methode verliest wat objectiviteit omdat het model zichzelf beoordeelt, maar in de voorbeeldzinnen uit de akte is de kans groter dat zinnen die direct verbonden zijn aan een rechtsfeitcode worden weergegeven.
De ontologie is op twee manieren toegevoegd. Allereerst is de informatie meegegeven in de prompt wanneer het model voorspellingen maakt. Op die manier krijgt het bij elke voorspelling alle informatie van de ontologie mee. Nadat de voorspellingen zijn gemaakt, wordt er nog een post-hoc validatie uitgevoerd. Tijdens deze validatie wordt er aan het model gevraagd of de besluiten die het gemaakt heeft, consistent zijn met de informatie die in de ontologie staat. Na deze vraag gesteld is, kan het model zijn besluit nog aanpassen.
Resultaten
Zonder ontologie
Mel-score
De Mel-scores van de gefine-tunede Qwen3 zonder ontologie zijn terug te zien in tabel 1. Hier is ingezoomd op de zeven rechtsfeitcodes die voorkomen in de ontologie en op het gemiddelde. De volledige dataset bestaat uit 87 rechtsfeitcodes, dus niet alle rechtsfeitcodes kunnen worden weergegeven. Er is te zien dat er een groot verschil zit in hoe goed een rechtsfeit voorspeld kan worden. 537 en 606 worden in meer dan 98% van de tijd correct voorspeld, terwijl 539 en 642 geen enkele keer wordt voorspeld.
| Rechtsfeitcode | Mel-score |
|---|---|
| 537 | 0,988 |
| 538 | 0,950 |
| 539 | 0 |
| 560 | 0,100 |
| 572 | 0,735 |
| 606 | 0,983 |
| 642 | 0 |
| Gemiddeld | 0,865 |
Tabel 1: Resultaten van Qwen3 zonder ontologie
Uitlegbaarheid
CoT kan over het algemeen goed verklaren waarom het een besluit heeft gemaakt wanneer de voorspelling ook klopt, maar heeft er moeite mee wanneer de voorspelling incorrect is. Bij een foute voorspelling worden er vaak redenen voor een andere rechtsfeitcode genoemd dan dat er verklaard moet worden. In sommige gevallen worden er bij een foute voorspelling redenen gegeven voor de correcte rechtsfeitcode.
SHAP is soms wat lastig om te begrijpen, omdat er soms zinnen hoge scores krijgen die niks met een rechtsfeitcode te maken hebben. Zo heeft een algehele afsluitzin in een aantal gevallen de meeste impact op waarom een rechtsfeitcode bij een akte hoort. Wel komen er vaak een aantal zinnen voor die consistent zijn met wat de rechtsfeitcode die aan de akte is gekoppeld.
Met ontologie
Mel-score
In tabel 2 staan de Mel-scores van Qwen3 in combinatie met de ontologie. Er valt te zien dat er na het toevoegen van het model nog slechts 75,7% van de rechtsfeitcodes correct worden voorspeld, wat een daling van 10,8% is. De daling is bij de rechtsfeitcodes in de ontologie wat minder heftig, maar geen enkele rechtsfeitcode wordt beter herkend dan eerst.
| Rechtsfeitcode | Mel-score |
|---|---|
| 537 | 0,984 |
| 538 | 0,908 |
| 539 | 0 |
| 560 | 0,043 |
| 572 | 0,146 |
| 606 | 0,938 |
| 642 | 0 |
| Gemiddeld | 0,757 |
Tabel 2: Resultaten van Qwen3 met ontologie
Uitlegbaarheid
De uitlegbaarheid gaat er voor zowel CoT als SHAP op vooruit. Bij CoT komen nog wel vaak dezelfde problemen voor wanneer het model een verkeerde voorspelling maakt, maar het gebeurt iets minder. Ook worden de verklaringen nog duidelijker wanneer het model een correcte voorspelling maakt. De zinnen die SHAP geeft zijn over het algemeen nauwer verbonden met de voorspelde rechtsfeiten en relevante zinnen hebben meer impact op het gemaakte besluit.
Conclusies
Het toevoegen van de ontologie zorgt ervoor dat er beter te achterhalen is hoe een LLM zijn besluiten maakt. Dit gaat echter wel ten kosten van hoe goed het model de rechtsfeitcodes uit de aktes kan herkennen. De herkenning gaat er zo hard op achteruit dat het niet opweegt tegen het voordeel van de uitlegbaarheid.
Er kan nog wel op dit onderzoek voortgewerkt worden. Als de ontologie in de fine-tuning van Qwen3 mee wordt gegeven, komt de informatie uit de ontologie ook voor in de gewichten van de LLM. Dit zou ervoor kunnen zorgen dat de rechtsfeiten beter herkend worden dan nu.
Door: Joost Witsen