Wat is een datawarehouse?
Een datawarehouse is een aparte database waarin de gegevens uit al je bedrijfssystemen worden verzameld, opgeschoond, op elkaar aangesloten en bewaard, zodat je ze kunt gebruiken voor rapportages, dashboards en analyses zonder je productiesystemen te belasten. Waar je ERP alleen de huidige voorraad kent, weet het datawarehouse ook wat de voorraad vorig jaar op dezelfde dag was. Waar Exact en je webshop elk een eigen klantnummer gebruiken, kent het datawarehouse één klant met beide nummers.
Een data lake is een variant waarin ruwe bestanden en data in hun oorspronkelijke vorm worden bewaard, meestal voor grotere volumes of ongestructureerde data. Een dataplatform is de bredere term voor het geheel: de opslag, de pipelines die data ophalen, de modellen die definities vastleggen en de tools die erbovenop draaien. Voor de meeste MKB-bedrijven is een compact datawarehouse in PostgreSQL of SQL Server ruim voldoende; een data lake wordt pas nodig bij sensordata, logbestanden of miljoenen transacties per dag.
Voor wie is een dataplatform interessant?
Een datawarehouse laten bouwen loont voor bedrijven die data uit drie of meer systemen combineren en daar structureel op willen sturen. Situaties uit onze praktijk:
- Een groothandel met een ERP, Exact, een webshop en een CRM die marge per klant wil zien over meerdere jaren, inclusief klanten die van naam of nummer zijn veranderd.
- Een holding met werkmaatschappijen die elk een ander boekhoudpakket gebruiken en die geconsolideerde cijfers wil zonder maandelijks Excel-werk.
- Een productiebedrijf dat machinedata, orders en kwaliteitsmetingen wil koppelen om uitval te verklaren.
- Een dienstverlener die AFAS, een planningspakket en een klanttevredenheidstool wil combineren tot productiviteit en tevredenheid per team over tijd.
- Een bedrijf dat van ERP wisselt en de historie van het oude systeem wil bewaren voor rapportages, in plaats van alles te migreren.
Wanneer is een datawarehouse nodig?
Drie signalen wijzen op de noodzaak van een datawarehouse. Ten eerste meerdere bronnen: zodra je gegevens uit drie of meer systemen combineert, wordt het samenvoegen in een BI-tool of in Excel onbeheersbaar. Ten tweede historie: als je wilt weten hoe de voorraad, de orderportefeuille of het aantal openstaande posten zich over tijd ontwikkelde, moet iemand dagelijks een momentopname bewaren, want je pakketten doen dat niet. Ten derde één waarheid: als verkoop en financiën andere omzetcijfers rapporteren omdat ze een andere bron of definitie gebruiken, heb je een plek nodig waar die definitie één keer vastligt.
Wanneer is het niet nodig? Bij één of twee bronnen zonder behoefte aan historie is een KPI-dashboard met een lichte datalaag goedkoper en sneller. En als de data aan de bron niet op orde is, lost een datawarehouse dat niet op; dan beginnen we met een data-scan. We zeggen dat ook als de conclusie is dat je nog geen datawarehouse nodig hebt.
Wat kost een datawarehouse laten bouwen?
De kosten worden bepaald door het aantal bronnen, de kwaliteit van hun API's, de complexiteit van de definities en de eisen aan historie en beveiliging. Indicatieve prijzen, exclusief btw en exclusief hosting en licenties:
- Compact datawarehouse op twee tot drie bronnen in PostgreSQL of SQL Server, met dagelijkse pipelines, historie en dbt-modellen: €12.500 tot €22.500
- Datawarehouse op vier tot zes bronnen met verrijking, geconsolideerde definities en dashboards per rol: €22.500 tot €40.000
- Dataplatform in Azure met Data Factory, meerdere werkmaatschappijen, rechtenstructuur en uurlijkse verversing: €40.000 tot €75.000
- Extra bron aansluiten: €2.000 tot €7.500, afhankelijk van de API en de complexiteit van de data
- Hosting: €50 tot €300 per maand op een Nederlandse of EU-server, in Azure afhankelijk van volume
- Beheer, bewaking van de pipelines en doorontwikkeling van de modellen: €250 tot €900 per maand
Je krijgt een vaste prijs per fase, en we starten meestal met de twee belangrijkste bronnen zodat je binnen zes weken de eerste betrouwbare cijfers ziet. Wat dat oplevert ten opzichte van losse dashboards lees je in wat kost een BI-dashboard.
Hoe wij een datawarehouse bouwen
We volgen een moderne, eenvoudige opzet die in het MKB goed te beheren is. Als opslag kiezen we PostgreSQL op een Nederlandse server of SQL Server als je al een Microsoft-omgeving hebt; voor bedrijven die in Azure werken bouwen we het platform daar, met Azure Data Factory voor de pipelines. De bronnen halen we op met Airbyte voor standaardpakketten en met maatwerk in Python voor API's van Exact, AFAS, Shopify of je eigen software. Ruwe data komt eerst ongewijzigd binnen, zodat we altijd kunnen terughalen wat een bron op een bepaald moment zei.
De definities leggen we vast in dbt: SQL-modellen in versiebeheer, met tests die bij elke run controleren of totalen kloppen, sleutels uniek zijn en er geen klanten of artikelen ontbreken. Zo is marge per klant geen formule in een dashboard die iemand ooit heeft ingetypt, maar een gedocumenteerd model dat je kunt nalezen. Historie bewaren we per dag of per wijziging, afhankelijk van de vraag. Bovenop het datawarehouse zetten we de BI-tool die past, of dat nu Power BI, Metabase of Looker Studio is; het datawarehouse is van de tool onafhankelijk.
De bouw doen we in sprints van twee weken. De eerste sprint levert de eerste bron en een controle tegen je boekhouding; elke volgende sprint een bron of een set modellen erbij. Na livegang draaien de pipelines 's nachts of elk uur, met bewaking die ons en jou waarschuwt als een bron uitvalt of als cijfers onverwacht afwijken. Het onderhoud van die pipelines kun je bij ons afnemen of zelf doen; de code en de modellen staan op jouw naam.
Datawarehouses in Tilburg, Brabant en heel Nederland
SuperCoders bouwt datawarehouses en dataplatforms vanuit Tilburg voor bedrijven in Brabant en heel Nederland. Onze eigen data-engineers doen de analyse graag op locatie en de bouw op afstand, met elke twee weken een werkende oplevering. Je bent eigenaar van het platform, de pipelines en de modellen, en er zit geen leverancier tussen jou en je data. Wil je weten of een datawarehouse voor jouw bedrijf loont? Bel 013 234 0782 of plan een gratis adviesgesprek; binnen twee werkdagen heb je een prijsindicatie.