Data die het land drooghoudt
Bekijk de vacatures voor data engineersData engineer bij Rijkswaterstaat
In het archief van Rijkswaterstaat zit een meting uit 1737. Alles wat er sindsdien op of in het Nederlandse water is gemeten staat erin. En er komt elk jaar meer bij. Als data engineer maak jij die berg data bruikbaar.
Het gaat om 2 domeinen. Waterkwaliteit, dus hoe schoon het water is. En waterkwantiteit: hoeveel water er binnenkomt, wat de waterstanden zijn, hoe hard de zeespiegel stijgt.
Je zit daarbij tussen 2 werelden in. Aan de ene kant collega's die alles weten van chemie of van waterveiligheid, maar die nog nooit van Python hebben gehoord. Aan de andere kant de techniek waarin die data is opgeslagen.
Van een fles zeewater tot een rapportage aan Europa
Om te begrijpen wat je hier doet, helpt het om de hele keten te volgen. Die begint bij een collega met een vraag: hoeveel van een bepaalde chemische stof zit er in het water, midden op zee?
- Er wordt een schip op afgestuurd met een fles, die op de juiste plek in het water wordt gehouden.
- Die fles gaat naar het laboratorium in Lelystad, waar de metingen worden gedaan.
- De uitkomst wordt opgeslagen in ons archief met waterdata.
- Jij verzamelt die data, past de rekenmethodes toe en levert het antwoord op aan degene die de vraag stelde.
Bij de rapportage voor de Kaderrichtlijn Water worden zo honderden metingen van het Maaswater teruggebracht tot een getal. Dat moet herhaalbaar zijn, voldoen aan de normen en wetenschappelijk te onderbouwen, want er mag geen discussie ontstaan over de methode.
Wat eruit komt, heeft gevolgen. Er kunnen maatregelen volgen en een halfjaar later wordt er opnieuw gemeten om te zien of ze hebben gewerkt.
Zulke rapportages lopen het hele jaar door. Over de kwaliteit van het Maaswater, over het drinkwater bij de innamepunten in de Randstad, over hoe schoon het water op zee is en zelfs over hoeveel zeehonden er nog zijn.
Bijblijven hoort erbij
Naast het beantwoorden van vragen wordt van je verwacht dat je weet wat er speelt. Welke data er allemaal beschikbaar is en wat je daarmee kunt, want daar kun je klanten beter mee helpen. Maar ook wat er verandert in de datastandaarden en hoe de dataset groeit, want er komen voortdurend nieuwe meetpunten bij.
En wat er aan nieuwe technieken bij komt. Machine learning en AI horen daarbij, ook al is de tooling daarvoor binnen Rijkswaterstaat nog beperkt.
Het gaat niet om de meting, maar om wat eromheen staat
Een losse meting zegt weinig. Een getal krijgt pas betekenis door wat eromheen is vastgelegd: waar en wanneer er is gemeten, hoe, en in opdracht van wie.
Daar zit ook meteen het lastige van dit werk. Je moet begrijpen wat al die gegevens betekenen voordat je er een conclusie uit kunt trekken.
Wat je nodig hebt als data engineer
De verdeling is duidelijk: de techniek breng je mee, de inhoud leer je hier.
Je kent de tools. Python vooral, en verder wat je nodig hebt om met grote datasets te werken.
Hoe de keten van meting tot rapportage werkt en de chemie en hydrologie achter de data. Die inhoudelijke kennis bouwen we hier graag met je op.
Dit is volgens de collega's het belangrijkste en het is meteen de reden waarom de een hier goed landt en de ander niet.
Maar je moet die vraag wel stellen. Collega’s die inhoudelijk in een onderwerp zitten, nemen er graag de tijd voor. Wie wacht tot het vanzelf duidelijk wordt, kan lang wachten.
Tussen de civiele techniek en de ICT en soms zelfs tussen data engineers onderling. Dat betekent niet meteen de diepte in duiken, maar eerst checken of je op dezelfde golflengte zit. En beseffen dat iets wat voor jou een kleine aanpassing lijkt, verderop in de keten grote gevolgen kan hebben.
Dit noemen de collega's zelf als de belangrijkste eigenschap voor deze rol. Achter elke vraag zit iemand die verder wil, dat kan net zo goed een havenbedrijf zijn als een collega die een rapportage moet opleveren.
Elke meting in het archief begint met iemand die op het water een fles vult
Veelgestelde vragen
Met metingen van het Nederlandse water, zowel over de kwaliteit als over de hoeveelheid.
Dat archief groeit nog elk jaar, want er komen voortdurend nieuwe meetpunten bij.
Meer dan je zou denken. De rapportages die Rijkswaterstaat aan Europa levert over de waterkwaliteit worden gevoed door deze data. Zijn de uitkomsten niet goed, dan moet er worden ingegrepen.
Je werk heeft dus echt gevolgen buiten de organisatie. Daarom moet de methode tot op de komma kloppen.
Iedereen die dat wil, want Rijkswaterstaat publiceert zo veel mogelijk van deze data via een openbare website en een API.
Dat levert een opvallend gemengd publiek op: van ingenieursbureaus en kennisinstituten tot bewoners, recreatieondernemers en havenbedrijven. Iedereen die iets met water doet, kan erop bouwen.
Vooral Python. Voor de terugkerende rapportages werk je met scripts die je zorgvuldig bewaart, omdat je ze een jaar later opnieuw moet kunnen draaien met exact dezelfde uitkomst.
De grotere rapportages lopen via online portalen waar de data wordt geüpload en daarna automatisch verwerkt.
Eerlijk erbij: op het gebied van tooling valt er bij Rijkswaterstaat nog winst te behalen. Dat wordt intern ook zo gezien, het is een van de dingen waar dit team aan werkt.
De gevoeligheid van de data is hier geen belemmering, anders dan bij veel andere organisaties. Deze data is namelijk bedoeld om openbaar te zijn.
De beperking zit in de beschikbaarheid van tooling binnen Rijkswaterstaat. Dat is iets waar we aan werken.
Nee, dat is precies wat je hier leert. Wat je meebrengt is de techniek: Python en het vermogen om met grote datasets te werken.
De inhoudelijke kennis bouw je hier op, dat gaat sneller dan je denkt zolang je bereid bent om vragen te stellen.
2 dingen die collega's zelf noemen: je werkt in de eerste plaats aan maatschappelijke vragen die tastbaar zijn: waterkwaliteit, zeespiegelstijging, drinkwater.
Het tweede is minder voor de hand liggend. Omdat de data openbaar is, help je ook mensen buiten de organisatie.
Omdat de dataset bijna kwadratisch groeit. Er wordt veel meer en vaker gemeten dan vroeger, en hoe meer data er is, hoe uitgebreider de analyses kunnen worden die je erop loslaat.
Daar komt bij dat de maatschappelijke aandacht is toegenomen. Zeespiegelstijging en waterkwaliteit speelden 20 jaar geleden veel minder dan nu.
Wel eerlijk: er wordt tegelijk hard geautomatiseerd en geprofessionaliseerd. Dat drukt de behoefte weer wat.
Er bestaat een beeld van een grote, wat afstandelijke organisatie. En groot is Rijkswaterstaat zeker.
Maar juist de kleinere partijen die van onze data gebruikmaken staan er vaak van te kijken hoe persoonlijk hun vragen worden opgepakt. Collega's maken daar tijd voor vrij.
Vraag een gesprek aan met iemand uit het team. Wat collega’s hier het vaakst noemen is niet de techniek maar de onderlinge betrokkenheid en dat merk je pas als je er bent geweest.
