vak & mens
ChatGPT verovert de wereld in no time. Hebben advocaten er eigenlijk iets aan? Ja en nee, ondervinden journalist Carmen Geukers en advocaat Thomas ten Berge.
Na een reis van een kleine twee uur meld ik mij op maandagmiddag bij de Enschedese vestiging van Damsté advocaten en notarissen. Ik heb een afspraak met IT-rechtadvocaat Thomas ten Berge. Samen gaan we testen in hoeverre ChatGPT nuttig kan zijn voor advocaten.
Ten Berge (1995) is geboren en getogen in het Twentse dorp Enter. Hij studeerde IT-recht aan de Rijksuniversiteit Groningen en ging vervolgens in Groningen aan de slag bij het Agentschap Telecom (sinds 1 januari 2023: Rijksinspectie Digitale Infrastructuur) van de overheid. Via een oud-klasgenoot, nu tevens collega, hoorde hij dat Damsté op zoek was naar een advocaat-stagiair IT-recht. Dat paste helemaal in zijn straatje. Zo keerde Ten Berge na een positieve sollicitatie per november 2021 weer terug op Twentse bodem.
Laat me ook de derde partner van vandaag introduceren. ChatGPT is een kunstmatig intelligente chatbot met een grote taalkennis, die vragen kan beantwoorden en teksten kan schrijven. Kan handig zijn, maar omdat ChatGPT zijn antwoorden op jouw vragen niet begrijpt, kun je de antwoorden niet klakkeloos voor waar aannemen. Dat ontdekte ook Ten Berge toen hij ChatGPT in zijn vrije tijd testte. ‘Ik vroeg het programma: schrijf een tekst over de advocaat Thomas ten Berge.’ ChatGPT ging gelijk de fout in. ‘Het programma dacht dat ik me bezighoud met internationaal strafrecht, maar daar weet ik niets vanaf.’ Een andere beperking is dat ChatGPT slechts beperkte kennis heeft van gebeurtenissen na 2021.
Hoewel de website Engelstalig is, kan ChatGPT Nederlands begrijpen en in het Nederlands antwoorden. En dat Nederlands is lang niet slecht. Alleen met vervoegingen van werkwoorden lijkt ChatGPT wat moeite te hebben. Dat zien we maar door de vingers, het is tenslotte zijn tweede taal.
Overbelast
We zoeken een spreekkamer op en klappen onze laptops open. Gewapend met een kop koffie kunnen we aan de slag. Onderweg naar de website chat.openai.com dient zich meteen een spannend moment aan. Ons experiment hangt namelijk af van één belangrijke factor: toegang tot het programma. ChatGPT is ongekend populair en daardoor zijn de servers regelmatig overbelast. Een overbelaste server betekent: geen toegang. Zul je altijd zien, schiet het door mijn hoofd. Heb je ov-stakingen getrotseerd en ben je net goed en wel aangekomen in Twente, valt het hele experiment alsnog in duigen. En inderdaad: zoals we al vrezen, lukt het Ten Berge niet om in te loggen. Ik heb meer geluk. Al bij de eerste inlogpoging geraak ik binnen. Ook de advocaat heeft uiteindelijk succes.
‘Op tekstueel vlak kan ChatGPT een bijdrage leveren aan het schrijven van een pleitnotitie’
Het idee is dat we ChatGPT een aantal opdrachten geven in fictieve zaken. We besluiten te beginnen met een vraag over jurisprudentie. We vragen ChatGPT om een overzicht van de meest recente Nederlandse jurisprudentie over consumentenkoop op internet, en over dwaling. Volgens ChatGPT is er geen specifieke recente Nederlandse jurisprudentie over consumentenkoop op internet. Verder heeft de Hoge Raad volgens ChatGPT in recente uitspraken bevestigd dat de regels rond dwaling ook op consumentenkoop op internet van toepassing zijn.
Dat willen we uiteraard controleren. Daarom vragen we ChatGPT: in welke uitspraak heeft de Hoge Raad dat bevestigd? Een paar tellen later krijgen we ons antwoord. Volgens het systeem gaat het om ‘HR 18 februari 2017, ECLI:NL:HR:2017:145’. Zelfs de juridische schrijfwijze van de uitspraak is correct. Dit lijkt een veelbelovend antwoord. Een snelle zoekopdracht in Google zet ons weer met beide benen op de grond. Het ECLI-nummer brengt ons op de website van de Rechtspraak bij een uitspraak over belastingrecht van 3 februari. Geen dwaling dus, en de verkeerde datum. Voorlopige conclusie: jurisprudentieonderzoek blijft advocatenwerk.
Dagvaarding
Dan de volgende vraag. Kunnen advocaten ChatGPT gebruiken bij het schrijven van een dagvaarding? We verzinnen een eenvoudige casus en stellen het systeem een open vraag. A heeft iets gekocht van B, maar A betaalt niet. Hoe zit dit juridisch? ChatGPT kwalificeert de partijen voor ons: partij A is de verkoper, partij B is de koper. Wacht even, dat klopt toch niet? We ontdekken een fout in onze vraagstelling: we schreven per abuis ‘maar B betaalt niet’. Kennelijk is ChatGPT niet in staat onze fout te herkennen. Een betere reactie van het systeem zou zijn geweest: ‘dat kan niet’, of ‘dat is onlogisch’. Alertheid is dus geboden.
We corrigeren de vraag. Nu krijgen we al een veel vollediger antwoord. ‘Volgens het Nederlandse burgerlijk recht kan partij B via de rechter eisen dat partij A de verplichting tot betaling nakomt. Dat kan bijvoorbeeld door middel van een dagvaarding bij de rechter, of een executoriale incasso- of invorderingsprocedure,’ aldus ChatGPT.
Zonder dat wij ernaar vroegen, noemt de computer het juiste rechtsgebied. En inderdaad kan B via een procedure betaling vorderen van A. ChatGPT loopt wel enigszins op de zaken vooruit. Eerst moet partij B een schriftelijke aanmaning sturen aan partij A en partij A een redelijke termijn geven om alsnog te betalen. Pas als die termijn verloopt zonder betaling, kan B vervolgstappen nemen. Het antwoord van ChatGPT is niet uitgesproken onjuist. Uiteraard kan partij B een procedure starten zonder ingebrekestelling, maar die zal van korte duur zijn. In die zin is het antwoord dus onvolledig. En van de juridische termen ‘ingebrekestelling’ en ‘verzuim’ heeft het systeem al helemaal geen kaas gegeten.
We besluiten deze casus verder uit te bouwen. Stel dat B een procedure begint bij de rechter. Aan welke voorwaarden moet de dagvaarding voldoen? Het programma komt met een aantal erg algemene voorwaarden: de zittingsdatum, de reactietermijn van partij A, ondertekening van de dagvaarding.
Ter controle vragen we het systeem naar de bekende weg. Op de vraag ‘Waar kan ik de voorwaarden voor een dagvaarding vinden?’ antwoordt ChatGPT: ‘In de Wet burgerlijke rechtsvordering (Rv), een Nederlands wetboek voor civiele procedures.’ We nemen de verbastering van het Wetboek voor Burgerlijke Rechtsvordering voor lief, en vragen in welk artikel de informatie te vinden is. Volgens ChatGPT zijn de voorwaarden voor een dagvaarding opgenomen in verschillende artikelen van de Wet burgerlijke rechtsvordering (Rv), waaronder de artikelen 126, 127, 128, 131.
Klopt dit? Helaas niet. De artikelen 126, 127 en 131 Rv zijn zelfs al vervallen. Het artikel dat we zochten, artikel 111 lid 2 Rv, noemt het programma niet. Wellicht gebruiken we niet de juiste of onvoldoende specifieke zoektermen. ChatGPT lijkt ons in ieder geval niet te kunnen verwijzen naar de juiste wettelijke bepaling.
Ten Berge heeft nog even tijd. Als afsluiting besluiten we te onderzoeken of ChatGPT bruikbaar is bij het schrijven van een pleitnotitie. Lukt het ChatGPT om standpunten te benadrukken en wat emotie in de tekst te leggen? ‘In een pleitnotitie gaat het natuurlijk ook om de juridische onderbouwing,’ zegt Ten Berge. ‘Maar je wilt vooral de rechter overtuigen door de punten die je belangrijk vindt kracht bij te zetten. Daarbij gaat het vooral om de taal die je gebruikt.’
Als eerste vragen we ChatGPT een casus te schrijven over een zakelijk geschil waarbij de ene partij wanprestatie pleegt. Er rolt een casus uit de computer over een geschil tussen De Bouwonderneming BV (BBV) en Het Projectmanagement BV (HPM). Tijdens de uitvoering van een groot bouwproject ontstond vertraging doordat BBV (contractueel gezien verantwoordelijk voor de uitvoering van de bouwwerkzaamheden) niet aan de afgesproken levertermijn kon voldoen. HPM (verantwoordelijk voor het projectmanagement) moest hierdoor extra tijd en middelen in het project steken om de vertraging in te halen. HPM eist schadevergoeding vanwege de wanprestatie van BBV. BBV weigert betaling en stelt dat sprake is van onvoorziene omstandigheden.
Een heldere casus, waarbij Ten Berge vervolgens zelf een beknopte samenvatting schrijft van het fictieve procesdossier. Hij vertelt het systeem wat de vordering en onderbouwing van HPM in de dagvaarding is, en wat het verweer van BBV in de conclusie van antwoord is. Tenslotte vraagt Ten Berge ChatGPT een pleitnota te schrijven vanuit het perspectief van de advocaat van HPM. Op het moment dat hij de computer om een reactie vraagt, verschijnt de foutmelding ‘Too many requests in 1 hour’. Dat kan betekenen dat ons verzoek te ingewikkeld of te belastend is voor ChatGPT.
Pleitnota
We hevelen de casus via e-mail over naar mijn pc, waar we alsnog om een pleitnota vragen. Gelukkig volgt deze keer wel een reactie. ChatGPT begrijpt in ieder geval wat de bedoeling is, blijkt uit de eerste zin: ‘Als advocaat van HPM wil ik graag ons standpunt uiteenzetten’. Daarna volgt een vrij zakelijke uiteenzetting van de feiten en de onderbouwing van de standpunten van HPM. De pleitnotitie eindigt met ‘Gelet op de feiten en omstandigheden in deze zaak, is onze conclusie dat BBV verantwoordelijk is voor de schade en extra kosten die zijn ontstaan door de wanprestatie. Wij verzoeken de rechter daarom om BBV te veroordelen tot betaling van deze schade en extra kosten aan HPM.’ Hoewel het met iets meer sjeu geformuleerd zou kunnen worden, doet het systeem dit volgens Ten Berge best aardig.
De formuleringen van ChatGPT zijn vrij staccato en de alinea’s sluiten onderling niet goed op elkaar aan. Zo schrijft het systeem ‘BBV weigert echter verantwoordelijkheid te nemen voor deze gebreken en verwijst naar onvoorziene omstandigheden.’ In de volgende alinea komt het systeem bij de hiervoor genoemde conclusie: ‘Gelet op de feiten en omstandigheden in deze zaak, is onze conclusie…’ Een toelichting op de onvoorziene omstandigheden was daar volgens Ten Berge op zijn plaats geweest. Daarom vragen we ChatGPT om in een extra alinea uit te leggen waarom volgens HPM van onvoorziene omstandigheden geen sprake was.
ChatGPT geeft een opvallend sterk antwoord. ‘Er was een regeling in de contracten voor het geval er onvoorziene omstandigheden zouden optreden, zoals het verkrijgen van vergunningen of het uitvoeren van onderzoeken.’ De bewoording is wat vaag. ‘Maar juridisch inhoudelijk klopt dit wel,’ zegt Ten Berge. ‘Onvoorziene omstandigheden worden vaak verdisconteerd in de overeenkomst, waardoor ze niet langer onvoorzien zijn. Dat hebben we tijdens de coronaperiode veel gezien. Corona werd destijds gezien als een onvoorziene omstandigheid, terwijl pandemieën nu in veel gevallen niet langer als onvoorziene omstandigheid gelden.’
‘Ik kan me voorstellen dat een eenpitter een vraag voorlegt aan ChatGPT’
Afgezien van de juridisch inhoudelijke juistheid valt de formulering van de laatste zin op. Die luidt als volgt: ‘Het feit dat BBV zijn verantwoordelijkheid probeert af te schuiven op onvoorziene omstandigheden, is dan ook niet terecht.’ Ook dit is een goed voorbeeld van een overtuigende frase die je zou willen zien in een pleitnotitie. ‘Het is wel nodig om het systeem juridisch inhoudelijk te sturen,’ zegt Ten Berge, ‘maar op tekstueel vlak zou ChatGPT een bijdrage kunnen leveren aan het schrijven van een pleitnotitie’.
Leuk speelgoed
De middag loopt ten einde, tijd om de balans op te maken. Ik vraag naar Ten Berges afdronk. ‘Ik werk voor een groter kantoor,’ legt hij uit. ‘Als ik ergens niet uitkom, loop ik naar een collega. Ik kan me voorstellen dat een eenpitter een vraag dan toch eerst voorlegt aan ChatGPT. Gewoon om eens te kijken: met welke suggesties komt het programma?’
Voor het opstellen van inhoudelijke stukken, zoals een overeenkomst of een dagvaarding, zou Ten Berge ChatGPT niet gebruiken. Daarvoor is het systeem juridisch inhoudelijk onvoldoende onderlegd. ‘Ik ben ook huiverig om het te gebruiken voor werk vanwege de privacy. Dan moet je alle vertrouwelijke informatie weghalen en zorgen dat je echt alleen algemene informatie gebruikt in je vragen.’
Bij het schrijven van een pleitnotitie zou hij het gebruik van ChatGPT eerder overwegen. ‘Dan zou ik het bijvoorbeeld gebruiken om stukken tekst te herschrijven. Zodat je een betere formulering kunt vinden voor zinnen die niet lekker lopen, of uitdrukkingen waarvan je denkt: dat dekt niet helemaal de lading.’
Kortom: is ChatGPT nuttig voor de advocatuur? ‘Nee,’ concludeert Ten Berge, ‘ik vrees dat het voor de advocatuur niet erg bruikbaar is. Voor het schrijven van teksten of het opstellen van casusopdrachten werkt het al beter. Maar eigenlijk is het vooral gewoon leuk speelgoed.’