Patrick Duchateau (Adviseur informatiemanagement en Product Owner Datavirtualisatieproject gemeente Sittard-Geleen): 

Mijn naam is Patrick Duchateau. Ik ben werkzaam bij de gemeente Sittard-Geleen als adviseur informatiemanagement en ik ben ook de Product Owner van het datavirtualisatieproject wat wij samen met WeAreFrank! doen. Datavirtualisatie is een techniek waarbij je virtueel toegang krijgt tot allerlei data uit bronnen. En die data waar je toegang toe krijgt, die ga je fysiek niet verplaatsen. Dus je gaat geen kopieën maken. Je haalt die real time op bij de bron. Wij als gemeente, wij willen niet meer allerlei kopieën van data gaan maken en rechtstreeks die data bij de bron ophalen. Daarnaast scheelt het ook enorm veel werk dat we niet elke keer data moeten kopiëren van de ene naar de andere plek, maar die gewoon rechtstreeks bij de bron kunnen bevragen wat wij in de animatie laten zien. Je begint eigenlijk met het aanroepen van connectoren. Die connectoren, die maken een verbinding naar de data bij de bron, maakt niet uit welke bron dat is. Of dat nou een Oracle databases, een webservice of iets anders en hij draagt dan die data over naar data virtualisatie platform.

Patrick Duchateau: Virtueel en binnen dat platform is dan tot standaardtaal SQL. In ons geval bij onze oplossing, die dan vervolgens die vertaling maakt van al die bronnen om ze aan elkaar te kunnen combineren. Wat wij dan gaan doen als we die data combineren? Gaan we de logica ook vastleggen om ons data virtualisatie platform. En door die data te combineren en die logica te vast te leggen, publiceren we een soort datasets die we dan publiceren voor allerlei data producten. Denk daarbij aan analysetools en BI-tools. De meeste bekende voorbeelden zijn PowerBI, Cognos, Tableau, Quick View, wat gemeentes gebruiken. En doordat in die centrale plek te geven, maakt het ook voor ons als gemeente niet meer uit welk product je gebruikt. Je kunt heel makkelijk switchen tussen andere producten. Je hebt zeg maar één centrale plek waar al jouw data dadelijk bij elkaar zit.

Wat maakt het daadwerkelijke verschil? Bespaart het geld of tijd, is het veiliger of een combinatie van dat?

Patrick Duchateau: Het is een combinatie van allerlei factoren. Het gaat natuurlijk sneller omdat je niet hoeft te wachten tot je al die data zit te combineren, dus daar kun je snelheidswinst mee behalen als je producten gaat ontwikkelen.

Patrick Duchateau: En omdat het op één centrale plek staat, hoef je die logica niet meer bij alle andere producten na te bouwen. Je hebt gewoon één plek waar je data vandaan haalt en je hoeft niet voor elk product afzonderlijk logica op te gaan bouwen.

Charlotte Schoonbrood (Enterprise Architect gemeente Sittard-Geleen): Ik ben Charlotte Schoonbrood, enterprise architect binnen de gemeente Sittard-Geleen. Vooral bezig met de koers op het gebied van informatievoorziening. En in die zin ook betrokken bij het verhaal van data virtualisatie.

Waarom hebben jullie voor deze oplossingsrichting i.p.v. traditionele datawarehouse of datalake gekozen?

Charlotte Schoonbrood: Ja, wij vonden het in het begin ook lastig om een keuze te maken. Wat is nou een juiste oplossingsrichting? We hadden gewoon verschillende uitdagingen. Verschillende ontwikkelingen kwamen op ons af. Common Ground Want dat er uit de stad, maar ook dingen die we nu in het huidige landschap gewoon qua problemen hebben. En hoe ga je daar mee om? Ik had wel al eens een keer gelezen over een logisch datawarehouse constructie. Maar ja, is dat nou de oplossing of is het dat niet? Toen hebben we een fashion group gevraagd om een onderzoek te doen. Die hebben dat samen met Rick van der Land gedaan. En Rick van der Lans is een expert op het gebied van logisch data warehouse, moderne data architecturen en maar ook het verhaal van data virtualisatie. En dat hebben we extra gedaan in die combinatie, omdat het dan een soort objectief verhaal ook zou kunnen worden, waardoor het niet alleen de insteek logisch data warehouse werd, maar dat alle oplossingsrichtingen verkend werden.

Charlotte Schoonbrood: En het mooie is natuurlijk. We hebben dan drie oplossingsrichtingen gehad Enterprise Data Warehouse, een data leek constructie en een logische data warehouse. En dat hebben we allemaal tegen Die ontwikkelingen afgezet tegen de uitdagingen, etcetera. En daar is uitgekomen dat het eigenlijk een logisch datawarehouse beste optie is. En data virtualisatie is juist weer een techniek wat daar invulling aan geeft, of in ieder geval een belangrijke speler daarin is.

Waarom is er juist gekozen voor de Open Source variant?

Charlotte Schoonbrood: Ja, dat waren verschillende redenen natuurlijk. Één is. We zagen de common ground beweging en je kunt als gemeente denken van joh, ik wacht af dat andere gemeenten ons voorgaan en kijken dat daar oplossingen ontwikkeld zijn en die gaan we alleen gebruiken. Maar ja, weet je, de common ground beweging? Die gaat alleen vooruit als wij als overheid en ook als gemeente daar ook in participeren en ook onze bijdrage daaraan doen. Dus leek ons dat ook een goed idee op dat vlak. En we willen natuurlijk ook met data virtualisatie straks juist met andere gemeenten en andere overheidsinstanties gaan samenwerken en dan past open source daar natuurlijk eigenlijk heel erg goed bij.

Charlotte Schoonbrood: Je ziet natuurlijk ook nog het hele verhaal van afhankelijkheid van leveranciers, wat we als overheid minder willen krijgen. Het verhaal van digitale soevereiniteit wat steeds meer een thema wordt, ook steeds meer een politiek thema is. En ja, de overheid heeft ook open source, tenzij als beleid. Een hele belangrijke. En daarbij hebben we ook nog eens dat de wetgeving ook steeds meer daarop stuurt van je moet de voorkeur geven aan open source. Al met al waren dat hele belangrijke redenen om voor open source te gaan, waarbij ook nog een doorslaggevende factor het de financiën waren. Want data virtualisatie oplossingen zijn ontzettend duur. Tenminste de commerciële variant. En met deze variant werd het betaalbaar voor onze gemeente, maar ook betaalbaar voor andere middelgrote en kleine gemeenten. Ik denk dat ze met dezelfde uitdagingen te maken hebben als ons datagedreven werken. Een thema wat bij veel gemeenten speelt. Maar ook ik wil besluiten op basis van data. Ik wil analyses maken op basis van data. Dus ja, dan krijg je ook te maken met dat je heel veel verschillende bronnen moet combineren.

Charlotte Schoonbrood: Zoals Patrick al eerder heeft aangegeven, dat gaat om tegenwoordig over heel veel verschillende bronnen. Het gaat niet meer om relationele databases alleen, maar ook of ongestructureerde data en sensordata, noem maar op. Dus dan moet je eigenlijk een techniek hebben die dat heel makkelijk met elkaar kan combineren, wat data virtualisatie kan. En je hebt natuurlijk het verhaal van de logica, hè. Net zoals dat bij ons ook is. We slaan nu heel veel logica in een datavisualisatie en analysetools op. Dat moet je dan voor al die tools apart gaan doen. Nou, dat is best omslachtig als je dat voor elk doel apart gaat doen. Elke wijziging moet je het weer opnieuw gaan doen. dus. Niet erg efficiënt. Nu kunnen sommige gemeentes denken van ja maar dan kan ik daar een datawarehouse voor inzetten. Ja, logica zit daar ook al centraal en is er verder geen probleem. Dat klopt. Tuurlijk, daar kun je dat ook inbouwen, die logica. Maar je krijgt wel dat je al die data moet gaan. Of je gaat data repliceren.

Charlotte Schoonbrood: En die technieken. En dat is wat hier niet het geval is. We gaan rechtstreeks naar die bron toe, kopiëren de data niet, kunnen daardoor ook sneller iets ontwikkelen omdat je niet hoeft te wachten op wat data weer klaarstaat om verder te bewerken naar een volgende laag in zeg maar.

Kunnen andere gemeenten nu ook met datavirtualisatie aan de slag?

Patrick Duchateau: Data virtualisatie kun je gewoon op GitHub downloaden bij Apache Drill en dan kun je het gaan gebruiken.

• Documentatie: drill.apache.org/docs
• Broncode: github.com/apache/drill
• Helm Chart: wearefrank.github.io/charts/drill

De versie die nu wordt gebruikt, is vanuit performanceverbetering aangepast aan de structurele verankering. Via teruggave aan de community wordt Q1 2025 gewerkt. Neem voor dit deel tot die tijd contact op met WeAreFrank!.

Wat is de rol van WeAreFrank! geweest binnen deze realisatie? En wat kunnen zij als organisatie bijdragen?

Patrick Duchateau: WeAreFrank! is onze samenwerkingspartner, dus we hebben samen met WeAreFrank! echt het product gaan testen. We hadden zelf een hele set van eisen opgesteld waaraan we wilden dat data virtualisatie wilt voldoen. En samen met WeAreFrank! zijn we het product aan de tand gaan voelen. Of dat aan al die eisen kon voldoen. Dus we waren echt een soort een eenheid, een samenwerkings partijen met elkaar. Wat ik prettig vond om WeAreFrank! is de open communicatie die WeAreFrank! voert. We hebben het op een agile manier aangepakt, dus we zaten elke twee weken bij elkaar en gingen we stap voor stap kijken welke issues problemen we gingen oppakken of welke zaken we gingen testen. We hebben ook een een SLA en een een lifecycle management contract via WeAreFrank! afgesloten. Dat betekent dat als we een verstoring hebben of andere issues hebben met onze software, dat WeAreFrank! ons daarbij gaat helpen om die verstoringen op te lossen.

Waarom is het van belang om dergelijke projecten gezamenlijk uit te voeren en gezamenlijk te financieren?

Charlotte Schoonbrood: Of. Een van de belangrijke dingen is natuurlijk kennis en kunde met elkaar te delen. We kunnen als gemeente niet. Ja, je hebt natuurlijk altijd een bepaald inzicht als gemeente. Maar andere gemeenten hebben weer andere inzichten, andere dimensies. En dat combineren maakt altijd dat het een beter product wordt. Of dat je in ieder geval van elkaar kan leren dat dat je beter krijgt geïmplementeerd. Ja, geeft heel veel voordelen natuurlijk. Het financiële karakter is natuurlijk eentje dat klopt. Daarbij krijg je ook dat je met meerdere gemeentes dan ownership gaat nemen over het verhaal. En als natuurlijk meerdere gemeenten daaraan bijdragen en mee bezig zijn, geeft dat ook de markt een impuls omdat je samen daar natuurlijk aan werkt. En dan wordt het ook interessant voor andere partijen om daar weer diensten op aan te bieden. En dat is eigenlijk toch wat je met opensource wil. Dat de markt groter wordt, dat je meer marktwerking hebt, dat je samenwerkt met meerdere partijen daaraan, een soort community, dat is wat je wil ophouden.

Hoe zien jullie de samenwerking met andere gemeenten en wat is jullie daadwerkelijke verzoek?

Patrick Duchateau: We zijn echt op zoek naar gemeentes die actief met ons willen gaan samenwerken. Dus die echt met ons willen gaan kijken wat voor functionaliteiten missen we nog, hoe gaan we die prioriteren, zaken met ons willen testen. En uiteraard ook gemeentes die willen mee-financieren om een product door te ontwikkelen. Het doel is gewoon om een actieve community op te richten rondom data-virtualisatie.

Het project kent een doorlopende lifecycle. Toch de vraag of je ons kunt meenemen in een roadmap. Wat kan een gemeente verwachten?

Patrick Duchateau: We hebben een aantal functionaliteiten die we willen doorontwikkelen, waarbij de eerste focus ligt op een performance functionaliteit verbeteren. Die hebben we nu met een workaround opgelost gemaakt. Maar die willen we gewoon standaard maken en teruggeven aan de community, zodat iedereen die kan gebruiken. Daarnaast hebben we nog diverse andere functionaliteiten die we willen doorontwikkelen. En we hebben een soort standaard werkwijze voor hoe we dat aanpakken. We gaan eerst een onderzoek uitvoeren, welke oplossingsrichting daarin geschikt is. En als we de oplossingsrichting weten, dan gaan we die ook realiseren en in de praktijk uitvoeren. En dat is een soort cyclus die zich elke keer weer herhaalt. Eerst onderzoeken, dan uitvoeren. Onderzoeken, uitvoeren. En daarnaast willen we ook graag aansluiting zoeken op het GGM, het Gemeentelijk Gegevensmodel. We willen dat graag verankeren in ons data-virtualisatieproduct.

Hoe verankeren jullie het GGM, ofwel het Gemeentelijk Gegevens Model?

Charlotte Schoonbrood: Ja, we weten in ieder geval dat het Gemeentelijk Gegevensmodel te verankeren is in de data-virtualisatieoplossing die we hebben. Dat hebben we ook getest tijdens het MVP van het product. Maar ja, we kunnen helaas nog geen antwoord geven op hoe het exact te verankeren is. Dat gaan we juist nu uitproberen vanaf januari met een andere marktpartij dan WeAreFrank!. We doen dat wel in samenwerking tussen de nieuwe marktpartij en WeAreFrank!. En dan gaan we inderdaad onderzoeken wat de aanpak is om dat goed te verankeren. Daarbij gaan we ook een bron pakken uit onze gemeente, dus een applicatie. En dat conform het Gemeentelijk Gegevensmodel opbouwen, zodat we uiteindelijk ook kunnen laten zien dat het werkt en dat het geen theoretische aanpak is. Maar dat we ook weten: oké, die aanpak is goed, dit is hoe je het verder voort kan zetten.

Natuurlijk zijn er al aanpakken voor het Gemeentelijk Gegevensmodel gemaakt. Die zijn ook publiek toegankelijk, maar die zijn nog heel erg gericht op de wereld van een data warehouse en minder op data-virtualisatie. Wij willen hiermee starten op een goede manier, zodat het ook uitbouwbaar is. Dus dat we ergens beginnen zodat we dat straks steeds verder voor meer bronnen daarop op de juiste manier kunnen doen. Maar ook dat we kunnen gaan samenwerken met andere gemeentes daarin.

En de plan van aanpak ook kunnen inzien via GitHub, dat ze dat kunnen toepassen en dat we kunnen gaan delen. Dus dat er één stukje kan ontwikkelen vanuit het Gemeentelijk Gegevensmodel dat op GitHub beschikbaar kan stellen en dat weer iemand anders dat kan gebruiken.

Heb je geen Datawarehouse meer nodig?

Patrick Duchateau: Nee, het streven is om geen data warehouse meer te gebruiken. De enige uitzondering daarbij is als een bronsysteem geen historie kan opslaan, dan moet je daarover de historie kunnen plaatsen.

Heeft het dan wel zin Datavirtualisatie in te zetten als je het DWH nodig hebt voor systemen die geen historie opslaan?

Patrick Duchateau: Jazeker heeft het dan zin. Het data warehouse waar dan die historie in zit, vormt gewoon een van de bronnen waar data-virtualisatie op gaat aansluiten.

Nu gaan er verhalen dat Datavirtualisatie niet performt bij grote hoeveelheden informatie. Dat blijkt een misvatting?

Patrick Duchateau: Ja, dat is niet waar. Data-virtualisatie en ons product Apache Drill is juist bedoeld om een groot virtueel data lake te kunnen bevragen. Het is juist heel erg krachtig om hele grote datasets te bevragen en daarbij goed te performen. Complete onzin.

Hoeveel tijd/inzet - mensen is/zijn er vanuit de gemeente nodig die actief willen meehelpen?

Patrick Duchateau: Ja, dat hangt natuurlijk af van de rol die we nodig hebben. Als je denkt aan een informatieadviseur die zou eens kunnen helpen bij het opstellen van de roadmap, dan moet je denken aan ongeveer vier uur in de maand dat hij of zij daarmee bezig is. Heb je het over testwerkzaamheden en het echte testen van functionaliteiten, dan zijn we op zoek naar data-engineers of data-analisten en dan is het meer acht uur in de maand waar je aan moet denken. Daarnaast hebben we ook nog mensen nodig die mee willen helpen met het project te financieren.

En dat zal wat minder uren vragen, dan heb je meer over vier uur per kwartaal. In het begin van zo'n traject moet je natuurlijk opstarten en dan kan het zijn dat het in het begin meer uren van je vraagt en dat het straks dan natuurlijk minder uren gaat worden. Je hoeft niet bij elke sessie aanwezig te zijn. Dus stel er staan onderwerpen op de agenda bij de roadmap die voor jou niet interessant zijn, dan hoef je je niet aan te sluiten. Als je een keertje niet kunt testen of niet kunt meehelpen met functionaliteiten ontwikkelen, ook helemaal geen probleem.

Welke andere partijen willen jullie bij het project betrekken en waarom? Dit naast de open source oplossing vanuit WeAreFrank!

Charlotte Schoonbrood: Ja, WeAreFrank! blijft onze hoofdmaintainer op het product. We willen natuurlijk ook extensies dadelijk gaan ontwikkelen. Daar zullen we ook andere marktpartijen bij gaan betrekken, mits er partijen zijn die eraan mee willen doen. Wat betreft het functionele stuk zien we al dat we juist die stap aan het zetten zijn. Kijk naar het verhaal van het Gemeentelijk Gegevensmodel.

Daar willen we ook juist andere marktpartijen bij betrekken of diensten gaan laten leveren op het hele verhaal, met als doel een brede community aan marktpartijen te creëren.

Hoe kunnen eventueel geïnteresseerden zich bij jullie melden?

Charlotte Schoonbrood: Ik zou zeggen: neem contact op met de Product Owner, dat is Patrick Duchateau. Maar jullie mogen mij natuurlijk ook benaderen. De gegevens staan hieronder:

• patrick.duchateau@sittard-geleen.nl
• charlotte.schoonbrood@sittard-geleen.nl

Uiteraard kan er ook met WeAreFrank! contact opgenomen worden!