Eind 2011 vroeg een regionale overheidsorganisatie ons of wij de kwaliteit en de marktconformiteit van hun ICT dienstverlening konden beoordelen. Het is namelijk zo dat deze ICT dienstverlening ook geleverd wordt aan enkele andere organisaties in een regionaal samenwerkingsverband. Deze organisaties hadden hun vraagtekens bij de ICT kosten en het niveau van dienstverlening dat geleverd werd.
Het meten van marktconformiteit is niet zo ingewikkeld: onderzoek welke kosten gemaakt worden, en vergelijk deze met cijfers uit de markt. Natuurlijk moeten appels zoveel mogelijk met appels en peren met peren vergeleken worden. Dat betekent dat naar de juiste posten gekeken moet worden, cijfers vergelijkbaar moeten zijn, en dat naar vergelijkbare organisaties gekeken moet worden. Dat vraagt wat onderzoek (gelukkig konden we cijfers uit eerdere onderzoeken gebruiken) en behoorlijk wat gereken, maar uiteindelijk levert dat bruikbare cijfers.
Hoe moet je echter de kwaliteit van ICT dienstverlening meten?
Wij gaan uit van de definitie dat kwaliteit de mate is waarin de geleverde dienst overeenkomt met de verwachtingen van de klant. Dat klinkt eenvoudig: vraag de klant wat er verwacht wordt, en onderzoek of de geleverde dienst daaraan voldoet. Zo makkelijk was het echter niet. In de eerste plaats weet de gemiddelde klant niet wat hij van ICT verwacht, en lukt het helemaal niet om dat in objectief meetbare grootheden uit te drukken. In de tweede plaats was in dit geval afgesproken om in eerste instantie niet met de andere organisaties te praten, maar een andere (objectieve) maatstaf te hanteren.
Om een objectieve maatstaf te vinden, hebben we gezocht naar bruikbare referentiekaders: kwaliteitsmodellen, best practices, volwassenheidsmodellen, etc. Daaruit hebben we drie modellen gekozen en deze uitgewerkt voor de situatie bij onze klant.
Ten eerste hebben we ITIL (versie 2) gepakt, omdat de ICT dienstverlening in de regionale samenwerking vooral gericht is op beheer en ondersteuning. Dit referentiekader voor IT-beheer beschrijft de processen die nodig zijn voor goed IT beheer. Door te onderzoeken in hoeverre de klant deze conform ITIL heeft ingericht, kan een indruk van de kwaliteit (van de inrichting) van de dienstverlening verkregen worden. Bij het trekken van conclusies moet wel rekening gehouden worden met het feit dat de ITIL best practices niet per definitie de beste oplossing voor de klant zijn.
Ten tweede is gekeken naar BiSL. Ook dit is een referentiekader voor IT-processen, maar richt zich meer op bedrijfsvoering en de aansluiting van ICT hierop. Uit de analyse van ITIL processen bleek dat juist hier een mogelijk zwak punt zat, vandaar dat hierop werd ingezoomd. Ook hier werden de BiSL beschrijvingen vergeleken met hoe de ICT dienstverlening bij de klant zijn ingericht. En omdat ook BiSL – net als ITIL – een verzameling best practices is, moet bij het trekken van conclusies rekening gehouden worden met de aangetroffen situatie.
Tenslotte is gebruik gemaakt van het IT-CMF model. Dit is een volwassenheidsmodel voor ICT organisaties / afdelingen. Op vier aandachtsgebieden wordt onderzocht op welk van de vijf niveaus de organisatie zich bevindt. Omdat het onderzoek vooral bestaat uit checklijsten en “ja/nee” vragen, kan redelijk objectief een oordeel gegeven worden. Hier moet wel goed nagedacht worden over het gewenste volwassenheidsniveau: dat is niet per definitie het hoogste niveau!
De resultaten van het onderzoek lieten zien dat de klant hun ICT dienstverlening behoorlijk goed op orde heeft, en de kosten zeer marktconform zijn. Waar het minder goed ging, was de aansluiting op de bedrijfsvoering – de “ICT Business Alignment”. Het afstemmen van het beleid tussen organisaties en ICT was onvoldoende, en het integreren van ICT in de bedrijfsvoering kon beter. Hierdoor wisten de organisaties (en met name het management hiervan) onvoldoende welke waarde ICT voor hen had, en dat heeft blijkbaar geleid tot vraagtekens.
Dankzij het gebruik van erkende modellen en best practices, werden de bevindingen goed ontvangen – ook door de organisaties die niet direct betrokken waren bij het onderzoek. De conclusies werden onderschreven en enkele aanbevelingen zijn al opgevolgd. De belangrijkste aanbeveling is om de afstemming tussen bedrijfsvoering en ICT (ICT Business Alignment) te verbeteren. Dat wordt in een vervolgproject opgepakt, waarbij wel alle organisaties van het regionale samenwerkingsverband betrokken worden.
helder overzicht in kwaliteit en governance