Data engineer DevOps real-time
Data engineer DevOps real-time
Werk mee aan een veiliger, beter bereikbaar en duurzamer Nederland door het bouwen van betrouwbare real-time dataproducten. Bij het Nationaal Dataportaal Wegverkeer (NDW) verwerken we elke minuut grote hoeveelheden real-time verkeersdata. Deze data gebruiken we voor verkeersmanagement, beleidsinformatie en datadiensten richting publieke en private partijen. Als data engineer in ons DevOps-team ben jij medeverantwoordelijk voor het bouwen, beheren en verbeteren van de datastromen en kwaliteitscontroles die de ruggengraat vormen van ons dataplatform. Interesse gewekt? Lees dan snel verder!
Hoe jij bijdraagt in je rol
Als data engineer ben je (mede-)verantwoordelijk voor het ontwerpen, beheren en optimaliseren van real-time datastromen en de datakwaliteit van onze producten. Je werkt aan dataverwerking in verschillende formats en protocollen, en zorgt ervoor dat onze data compleet, actueel en betrouwbaar is. Dit doe je zowel voor externe afnemers als voor interne teams die historische en analytische toepassingen bouwen.
Je dagelijkse werk omvat onder andere:
- Het testen en beheren van dataverbindingen: het uitvoeren van aansluittesten en valideren van de integratie van externe verkeersdataleveranciers met onze systemen.
- Het automatiseren van datakwaliteitscontroles: volledigheid, trendbreukdetectie, plausibiliteitschecks en latency-monitoring.
- Het ontwikkelen van Python-scripts en SQL-queries voor transformaties, validaties en analyses.
- Het monitoren en verbeteren van dataproducten, met gebruik van observability tools zoals Prometheus, Grafana en Loki.
- Het doen van incidentanalyses en herstel van datasets, inclusief replay- en herstelstrategieën.
- Het samenwerken met andere ontwikkelteams, onder meer teams die historische aggregaties en kaartvisualisaties bouwen.
- Het aanspreekpunt zijn voor binnenkomende meldingen over datastromen en die omzetten in acties of verbeteringen.
Dit is waar jij voldoening uit haalt
- Werken met hoogfrequente real time verkeersdata waarbij de maatschappelijke impact direct voelbaar is
- Zowel bouwen als bewaken van dataproducten waarbij je meewerkt aan datakwaliteit én productieomgevingen
- Samenwerken in een DevOps team dat end to end verantwoordelijk is voor de volledige dataketen van binnenkomst tot publicatie
- Het combineren van data engineering met moderne manieren van meten en sturen op betrouwbaarheid en prestaties
- De kans krijgen om te leren en te experimenteren met technologieën als Apache Kafka, Avro en Kubernetes waardoor je je technische vakmanschap verder verdiept
Vacaturenummer: 1223986
- Je hebt minimaal een afgeronde hbo-opleiding in een relevante richting, zoals (Geo)Informatica, Data Science of Software Engineering.
- Je hebt ervaring met Python (Pandas, bij voorkeur GeoPandas) en SQL.
- Je hebt ervaring met meerdere dataformaten (onder andere JSON, CSV, XML).
- Je hebt ervaring met datatransformatie en API-integratie.
- Je hebt ervaring in een DevOps-omgeving en met containertechnologie (Docker).
- Je hebt basiskennis van data-monitoring en alerting. Bereidheid om domeinkennis (verkeersdata, Datex II) en nieuwe technologieën snel eigen te maken.
Nice-to-haves (of bereid om te leren)
- Apache Kafka (liefst met Schema Registry en Avro), Kafka Connect.
- Kubernetes (AKS), Helm charts, CI/CD-pijplijnen.
- PostGIS, geospatial tooling (GeoPandas, shapely, pyproj).
- Kwaliteitsframeworks zoals Great Expectations.
- OAuth2/JWT, API-gateway, data governance & lineage tools (DataHub).
| Salarisniveau | Schaal 11 |
|---|---|
| Salaris | Min € 4.024 – Max € 6.110 bruto per maand. Het genoemde salaris is gebaseerd op een volledige werkweek. |
| Dienstverband | Tijdelijk met uitzicht op vast, 12 maanden |
| Minimaal aantal uur per week | 32 |
| Maximaal aantal uur per week | 36 |
Werken bij NDW betekent werken bij een platte, flexibele organisatie waar je direct bijdraagt aan maatschappelijke impact. We zijn Rijksoverheid, maar werken agile, in zelforganiserende teams en met veel ruimte voor eigen initiatief. Je krijgt de kans om met jouw kennis van ICT, data of mobiliteit elke dag impact te maken. Hier horen de volgende arbeidsvoorwaarden bij:
- 144 vakantie-uren per jaar op basis van 36 uur
- mobiele telefoon en laptop
- hybride werken met een thuiswerkvergoeding van € 2,40 per dag
- € 750,- voor het inrichten van je thuiswerkplek of het verduurzamen van jouw woning
- 100% OV-vergoeding met de 2e klas mobiliteitskaart, ook voor OV-fiets
- fietsreiskostenvergoeding van € 0,21 per kilometer
- elke 5 jaar € 500,- om fiets(accessoires) aan te schaffen
- voor je elektrische fiets kun je elke 3 jaar € 300,- gebruiken voor een nieuwe accu
- Individueel Keuzebudget van 16,5% van je salaris
- trainingen, cursussen, opleidingen: van persoonlijk leiderschap tot certificeringen op je vakgebied verlofregelingen per situatie, zoals zorgverlof, ouderschapsverlof, adoptieverlof en pleegzorgverlof
- sportdagen met collega’s en een gezonde keuze in het bedrijfsrestaurant
- Je standplaats is Utrecht (NDW).
- Vaste kantoordagen zijn dinsdag en woensdag.
- Bij voldoende geschikte reacties kan de vacature eerder sluiten.
- Om bij ons te werken, moet je een Verklaring Omtrent Gedrag (VOG) kunnen overhandigen, ook als je een interdepartementale transfer maakt. De kosten voor het aanvragen van een VOG worden door ons vergoed.
- Je wordt ingeschaald op basis van ervaring.
- Het inwinnen van referenties kan deel uitmaken van het sollicitatieproces, maar dit doen we altijd in overleg met jou.
- Het maken van een casus en (online) screening via onder meer databanken kunnen deel uitmaken van het sollicitatieproces.
Acquisitie naar aanleiding van deze vacature stellen wij niet op prijs.
Het Nationaal Dataportaal Wegverkeer (NDW) is een initiatief van het Rijk, provincies en gemeenten. Het verzamelt verkeersdata, bewaakt de kwaliteit en stelt deze beschikbaar voor diverse afnemers. Hiertoe maakt en beheert de NDW verkeers- en netwerkmanagementapplicaties voor en door wegbeheerders. Dit varieert van overheden tot navigatiediensten. Dankzij deze applicaties kunnen rijk, provincies en gemeenten ervoor zorgen dat het verkeer goed wordt geregeld. Zo draag jij bij aan een veilige en gezonde leefomgeving.
De dienstverlening omvat onder andere:
- een actueel en historisch overzicht van de situatie op wegen binnen jouw beheergebied
- het leveren van jouw data aan navigatiediensten
- het plannen en communiceren van wegwerkzaamheden
- het samenwerken aan en plannen van gedigitaliseerde regelscenario’s
- inzicht bieden in het fietsverkeer
- het beschikbaar maken van vindbare multimodale verkeersdata
Meer informatie is beschikbaar op www.ndw.nu
Vragen over de inhoud van deze vacature?
Sollicitatieprocedure
Solliciteren
Vertel ons wie je bent, wat je kunt en wat je wilt.
Kennismaken
We leren je graag beter kennen en laten zien wat voor mooie dingen wij doen voor Nederland. Samen bepalen we of we een match kunnen zijn!
Gesprekken
Jij leert meer over het werk dat wij doen en wij leren meer over de kennis en ervaring die je meeneemt als je bij ons komt werken. In maximaal 2 gesprekken komen we erachter of jouw kennis en competenties matchen met de functie die we beschikbaar hebben.
Arbeidsvoorwaarden
Zijn we een match? Dan nodigen we je graag uit om de arbeidsvoorwaarden te bespreken en afspraken te maken voor jouw start.
Wil je alvast meer weten over onze arbeidsvoorwaarden? Op de website van P Direkt vind je alle arbeidsvoorwaarden die gelden als je werkzaam bent binnen het Rijk.
In dienst
We kijken er naar uit om samen met jou Nederland elke dag een stukje mooier te maken!
E-assessment (Optioneel)
Voor sommige functies is een online assessment onderdeel van de procedure. We brengen dan samen met jou in kaart waar je goed in bent en waar je je nog (verder) in kunt ontwikkelen. In dat geval ontvang je per e-mail meer informatie over de procedure.
Vragen over de sollicitatieprocedure?
Worden dit jouw collega's?
'Niemand rijdt door een tunnel als de ICT niet werkt.'Warsha KoeldiepAdviseur informatievoorziening
'Op ons Big Data platform landt veel data die Rijkswaterstaat verzamelt.'Jeroen PaalmanTechnisch specialist
