Learning from our projects: Evaluating and Improving Risk Management of the Flood Protection Program (HWBP) [thesis]

E. Hoseini
The Netherlands has a long history of protecting against flooding and high water levels. Due to the climate change and the sea level rise, the next flood could have a high impact on this small country. Hoogwaterbeschermingsprogramma (HWBP), the current largest flood defence program in the Netherlands, makes sure that all the flood defence facilities (dike, pomp, dune) in the Netherlands comply with the safety norms. HWBP has two objectives: 1. Increasing the pace of improving the flood defence
more » ... the flood defence facilities to 50 km per year. 2. Reducing the average costs of the flood defence improvement to 7 million euro per kilometre. To reach these objectives, special attention should be given to the management of risks in HWBP projects. Current risk management literature mentions that risk management contributes to project success. Despite the benefits of risk management, projects still lack a proper application of risk management. This highlights the importance of improving risk management application, not just in the case of HWBP, but also generally. HWBP is a running program without any defined end date. The older program, HWBP-2, is almost finished. The focus of this dissertation is, for a great deal, on HWBP-2 projects. The objective of this research is to improve the risk management practices in HWBP. Evaluating risk management practices, and the processes for estimating the project costs and cost contingency in HWBP-2 can provide Program Directorate of HWBP (PD-HWBP), waterboards and individuals involved in the realization of the flood defence projects insight about the current situation and possible improvements. The lessons learned in risk management of HWBP-2 projects can be collected and used in HWBP projects. To summarize, the research objective is: To improve risk management application in HWBP projects by identifying the areas of improvement and providing an overview of the common risks and the percentages of cost contingency in the projects. VI | Summary The main research question is: What are the lessons learned of applying risk management in HWBP-2 projects and how can these lessons be used to improve the risk management application in HWBP projects? The research is performed in four phases. Before starting phase I, Chapter 1 and Chapter 2 discuss the importance of this doctoral research and the role of risk management in the success of the projects. In chapter 1, background information about HWBP and HWBP-2 is given and the research questions and the research approach are defined. In chapter 2, the impact of risk management on project success is investigated by performing a literature survey. The available literature confirms the link between risk management and project success: even a moderate risk management application had positive effects on the project outcomes. Phase I is about measuring risk management maturity of the projects. Phase I of the research contains two chapters: Chapter 3 and Chapter 4. In Chapter 3, the concept of Risk Maturity Models (RMMs) as a tool to improve risk management application is discussed. To address the deficiencies in the other risk maturity models, a generic Risk Maturity Model (called RiskProve) is developed and validated to help improving risk management in construction projects. RiskProve uses a list of statements extracted from risk management literature using Qualitative Content Analysis (QCA). These statements are divided into two main categories (as shown in Figure I): 'Organizational' and 'Application and Process'. The Organizational category contains four aspects: 'Policy and Strategy', 'Top-management Commitment', 'Culture and Personnel Knowledge'. The category 'Application and Process' contains the aspects: 'Risk Assessment', 'Risk Treatment and Mitigation', and 'Monitor and Review'. The statements and the model are validated employing two focus group sessions. The experts agree with the aspects and statements in RiskProve and evaluate it as an easy to use tool that provides projects a clear picture of potential improvements regarding risk management. Summary | VII Figure I The RiskProve framework In Chapter 4, RiskProve has been applied in 16 projects of two public organizations. The objective was to help the projects improve their risk management practices. The aspects Risk Assessment has received the highest and Top-management Commitment the lowest risk management maturity scores. Both organizations see possibilities to improve in defi ning the objective of risk management, defi ning the risk appetite, and evaluating and collecting the lessons learned. Based on the results, recommendations are drawn for improving risk management application that are further validated in Chapter 8. Phase II of the research investigates the identifi ed and occurred risks in projects (Chapter 5). Learning from risks in previous projects could be a way to improve risk management, therefore, the identifi ed and occurred risks in 16 HWBP-2 projects from several waterboards are examined. Using a case study approach, the identifi ed risks are collected from the risk registers during the whole project lifecycle (Exploration phase, Plan Development phase, Tender & Award, and Execution phase). Occurred risks in these projects are collected by means of interviews with the project manager or the project controller of the projects. In total, 2157 risks were collected. The risks were divided VIII | Summary into the seven categories of the RISMAN method: Organizational, Political, Financial, Zoning, Technical, Legal, and Social. The results revealed that more risks were identified in the preparation phases (Exploration, Plan Development, and Tender & Award) than in the execution phase. In total, about 13% of identified risks have occurred, mostly in the execution phase. Most identified and occurred risks are related to the Organizational and Zoning categories. This information can help future similar projects better manage their risks by getting insight into the most common type of risks, the phase in which most risks are identified and have occurred and the risks that are identified and have never occurred. In phase III (Chapter 6 and Chapter 7), the cost and cost contingency (risk reservation) of HWBP-2 projects were investigated. Chapter 6 investigates the cost and cost contingency evolvement of the projects in the pre-construction phase of HWBP-2 projects. Applying a case study approach, the estimated total project costs in the pre-construction phases (Exploration, Plan Development and Tender & Award) of 29 HWBP-2 projects were investigated. On average, the cost estimates increased 11.51% compared to the initial estimates. According to literature, this increase can be due to 'technical' reasons, 'political' reasons, 'strategic misrepresentation', and 'optimism bias'. The outcome of the research was that the increase in the cost estimates of the flood defence projects can be explained by 'technical' reasons rather than 'optimism bias' or 'strategic misrepresentation'. When the examined projects started, they were relatively new for the responsible waterboards and they had limited experience with the cost estimation of this type of projects. Mistakes caused by a lack of historical data or lack of experience were unavoidable. The investigation of 'known unknown' and 'unknown unknown' contingencies of these projects shows that the percentage of 'unknown unknown' contingency has increased throughout the pre-construction phase while a reduction was expected. This increase suggests that the projects were not confident about their estimates and the increase can be explained by a lack of experience, organizations' culture or the phenomenon of 'pessimistic bias'. 'Pessimism bias' is when the estimator is conservative and underestimates the opportunities. The concept of 'pessimism bias' comes in contrast with 'optimism bias' as explained by Bent Flyvbjerg. In chapter 7, the cost and cost contingency performance of projects in the execution phase from the perspectives of client and contractor were studied. The projects of the contractor were also studied since the contractor is also involved in the execution phase. Similar to Chapter 5 and Chapter 6, this chapter benefits from a case study approach. Summary | IX In total 95 projects are investigated: 44 client projects (HWBP-2) and 51 contractor projects. The research investigated the realized costs (after project execution) and the estimated costs (before project execution). Comparing the total realized and estimated costs, the HWBP-2 projects faced about 16% cost underrun meaning that estimated costs were more than what actually was needed. In the 51 contractor projects, overruns up to 2% were faced. In the HWBP-2 projects, the estimated cost contingency was on average 2.64% more than the required cost contingency while the estimated cost contingency in the contractor's projects was on average 5.41% less than the required cost contingency. In general, it seems that the contractor was more optimistic in the estimates and has overestimated the opportunities while the client was more pessimistic with a tendency for overestimating the costs and underestimating the opportunities. These differences can be explained by 'pessimism bias' and 'technical' reasons at the client's side. At the contractor side, 'optimism bias', 'technical' and 'political' reasons play a role. Phase IV of the research (Chapter 8) presents the validation of the recommendations for improving risk management in HWBP projects. Based on the results of the previous chapters, a list of 20 recommendations is drawn. The importance and feasibility of these recommendations are tested by three expert sessions: one session with project controllers from the waterboards, one session with experts from the PD-HWBP who are involved in risk management, and one session with experts who have strategic and directorate roles in HWBP. It was observed that the experts from the waterboards and the PD-HWBP see opportunities for improving risk management. A Risk Management Map (RM-Map) is defined with five milestones including the role and responsibility of the PD-HWBP and the waterboards. (Figure I). The way to improve risk management should be followed by both the PD-HWBP and the waterboards, while each party has its own responsibilities. The RM-Map contains five milestones: 1. Defining the strategy of RM by the PD-HWBP and the waterboards 2. Creating the conditions to apply recommendations 3. Translating the defined strategy to objectives at waterboards and showing commitment 4. Improving the RM application in projects 5. Support, facilitate, and share the knowledge X | Summary From these five milestones, milestones one and two are the responsibility of both the waterboards and the PD-HWBP, milestones three and four are the responsibility of the waterboards, and milestone five is the responsibility of the PD-HWBP. The infinity form of the RM-Map emphasises the continuous process of evaluating and improving. Without a defined strategy for risk management (milestone 1), reaching the other milestones would be difficult. This study resulted in an answer to the main research question: What are the lessons learned of applying risk management in HWBP-2 projects and how can these lessons be used to improve the risk management application in HWBP projects? Summary | XI Figure II The RM-Map to improve risk management practices in HWBP projects XII | Summary Different lessons can be learned from the risk management application in HWBP-2 projects. Regarding the risk management maturity of the projects, it is concluded that the projects are more mature in risk assessment while risk treatment and review of projects still needs attention. Project teams must realize that 'managing risks' is about taking actions. Project members should give special attention to applying the control measures and evaluating the usefulness of them. Giving more attention to these steps and especially reviewing and collecting the lessons learned of the projects can improve the risk management application in HWBP projects. This information can be used in future projects. Periodic measurement of risk management maturity using RiskProve can check whether the HWBP projects are on the right path. Regarding the identified and occurred risks (Chapter 5), several lessons can be learned from the HWBP-2 projects. Firstly, most identified and occurred risks are related to the categories Organizational and Zoning. These two risk categories should receive extra attention in HWBP projects. An important lesson learned is that the projects should better document the occurred risks. The costs related to the occurred risks should be recorded as well. The database of risks made in this research can be used in the HWBP projects to check the completeness of their risk registers. A generic risk register containing the possible risks in each phase of HWBP projects can be drawn up. Practitioners can also learn from the control measures taken in other projects. Future projects could base their work on this generic risk register, carefully considering the specific applicability. Regarding the cost and cost contingency estimate of the projects (Chapter 6 and Chapter 7), an important lesson learned is that such information should regularly (e.g. at the end of each project phase) be collected and evaluated. Cost performance of the projects (comparing the realized and estimated costs) should be recorded and any reason for the deviation should be investigated. The consequences for overestimating the budget due to 'pessimistic bias' behaviour should be communicated to the waterboards and the importance of efficiently using public money should be emphasized. It is essential that the estimated and realized costs of the finished projects are collected, analysed and made available to the projects in the HWBP program. Future HWBP projects should strengthen the predictability of their estimates using the historical data. This is a way to make the cost estimate of the projects more objective. An important observation from investigating the HWBP-2 projects is that it was enormously difficult to collect the information. It took the author a long time to find the Summary | XIII data of the projects. One of the eye-opening conclusions was that for about one-third of the projects no trace of the risk registers or cost estimation documents could be found. Let us remember that these projects are not from the last centuries, but from the past few years. Fortunately, HWBP projects follow a better regime for collecting information, although this is not enough. Information of the realization phase is only available (if properly collected) in a single waterboard. This makes the process of evaluating all program's projects, learning and sharing the knowledge gained very difficult. The other issue is that there is no insight in the realized costs of the projects because in the current regulation of the HWBP the waterboards do not need to report the realized costs. The author flags a risk in this situation: Because the correct information is not collected, there would be insufficient information to evaluate future HWBP projects. The directors of HWBP and the board of the waterboards should be prepared to mitigate this risk. Regardless of the strategy of HWBP for financing the project (reimbursable or lump sum), project performance information should be collected properly, evaluated and shared regularly among the waterboards. The author believes that the current approach of HWBP for financing the projects, pre-financing the project costs, is better than the approach in HWBP-2, post-calculation of the costs, as pre-financing is an incentive for the waterboards to think in advance about the risks. Pre-financing, however, does not mean that the project should not report their realized costs. In the regulation of the HWBP is mentioned that: after finishing each phase, there will be no recalculation of the costs 1 . This part must be removed from the regulation of the projects. For learning purposes and transparency of the realized costs, projects should report their costs in any case. Attention should be given to the 'use' of the collected information from projects, not just 'collecting' the information. In the HWBP program, there is currently no process to collect and use the lessons learned of projects. In the past years, the TU Delft has taken important steps to help projects collecting and using their lessons learned. HWBP is a continuous program and investing in collecting and using the lessons learned can significantly help HWBP. It is time to learn from our projects. 1 Method for determining subsidised and not subsidised costs, based on the subsidy regulation of Flood Protection Program 2014 (version 2017), page 6: After completion of each phase, no settlement will take place based on recalculation of the costs. This working method limits the administrative burden and also provides an incentive for efficiency. XIV | Summary Samenvatting amenvatting Nederland heeft een lange geschiedenis van bescherming tegen overstromingen en hoge waterstanden. Door de klimaatverandering en de zeespiegelstijging kan een volgende overstroming grote gevolgen hebben voor dit kleine land. Het Hoogwaterbeschermingsprogramma (HWBP), het grootste waterkeringsprogramma van Nederland op dit moment, zorgt ervoor dat alle waterkeringen (dijk, gemaal, duin) in Nederland voldoen aan de veiligheidsnormen. Het HWBP heeft twee doelstellingen: 1. Het versnellen van de verbetering van de waterkeringen tot 50 km per jaar. 2. Het reduceren van de gemiddelde kosten van de verbetering van de waterkeringen tot 7 miljoen euro per kilometer. Om deze doelstellingen te bereiken, moet speciale aandacht worden besteed aan het beheersen van risico's in de HWBP-projecten. De huidige literatuur over risicomanagement vermeldt dat risicomanagement bijdraagt aan het succes van projecten. Toch ontbreekt een juiste toepassing van risicomanagement in veel projecten. Dit benadrukt het belang van het verbeteren van de toepassing van risicomanagement, niet alleen in het geval van HWBP projecten, maar ook in het algemeen. Het HWBP is een lopend programma zonder gedefinieerde einddatum. Het oudere programma, HWBP-2, is bijna afgerond. De focus van dit proefschrift ligt voor een groot deel op HWBP-2 projecten. Het doel van dit onderzoek is het verbeteren van de toepassing van risicomanagement in het HWBP. De evaluatie van de HWBP-2 projecten wat betreft toepassing van risicomanagement en inschatting projectkosten en onvoorziene kosten, kan inzicht geven in de huidige situatie. Ook geeft het de programmadirectie van HWBP (PD-HWBP), waterschappen en individuen, die betrokken zijn bij de realisatie van de waterkeringsprojecten, inzicht in mogelijke verbeteringen. De geleerde lessen op gebied van risicomanagement in HWBP-2-projecten worden verzameld en kunnen worden gebruikt in toekomstige HWBP-projecten. Samenvattend is het onderzoeksdoel: Het verbeteren van de toepassing van risicomanagement in HWBP-projecten door de verbeterpunten te identificeren en een overzicht te geven van de gemeenschappelijke risico's en de percentages van onvoorziene kosten in HWBP-2 projecten. Samenvatting | XV De hoofdvraag van dit onderzoek luidt: Wat zijn de geleerde lessen van het toepassen van risicomanagement in HWBP-2-projecten en hoe kunnen deze lessen worden gebruikt om de toepassing van risicomanagement in HWBP-projecten te verbeteren? Het onderzoek is opgedeeld in vier fasen. Voordat we beginnen met fase I, beschrijven hoofdstuk 1 en hoofdstuk 2 het belang van dit onderzoek en de vermeende rol van risicomanagement in het succes van projecten. In hoofdstuk 1 wordt achtergrondinformatie gegeven over HWBP en HWBP-2 en worden de onderzoeksvragen en de onderzoeksaanpak gedefinieerd. In hoofdstuk 2 wordt de impact van risicomanagement op projectsucces onderzocht door middel van een literatuuronderzoek.. De beschikbare literatuur bevestigt het verband tussen risicomanagement en projectsucces: zelfs een matige toepassing van risicomanagement had positieve effecten op projectresultaten. Fase I gaat over het meten van de volwassenheid van risicomanagement van projecten. Fase I van het onderzoek bestaat uit twee hoofdstukken: Hoofdstuk 3 en Hoofdstuk 4. Hoofdstuk 3 beschrijft het concept van Risk Maturity Modellen (RMM's) als een tool om toepassing van risicomanagement te verbeteren. Om de tekortkomingen in bestaande RMM's aan te pakken, wordt een generiek RMM (genaamd RiskProve) ontwikkeld en gevalideerd.. RiskProve bevat een lijst met stellingen/vragen met betrekking tot risicomanagement. Deze zijn middels kwalitatieve inhoudsanalyse (QCA) verkregen uit een literatuurstudie.. De stellingen/vragen zijn onderverdeeld in twee hoofdcategorieën (zoals weergegeven in figuur I): 'Organisatorisch' en 'Toepassing en proces'. De categorie Organisatie omvat vier aspecten: 'Beleid en Strategie', 'Topmanagement commitment', 'Cultuur & Persoonlijke Kennis'. De categorie 'Toepassing en Proces' bevat de aspecten: 'Risicobeoordeling', 'Risicobeheersing' en 'Monitoring & Review'. De stellingen en het model zijn gevalideerd aan de hand van twee sessies met experts. De experts herkennen de aspecten en de stellingen in RiskProve en zien RiskProve als een eenvoudig hulpmiddel dat projecten een duidelijk beeld kan geven van mogelijke verbeteringen met betrekking tot risicomanagement. XVI | Samenvatting Figuur I RiskProve In hoofdstuk 4 is RiskProve toegepast in 16 projecten van twee publieke organisaties. Het doel was om de toepassing van risicomanagement in deze projecten te onderzoeken. Het aspect Risicobeoordeling kreeg de hoogste volwassenheidsscore, het aspect Topmanagement Commitment kreeg de laagste risicomanagement volwassenheidsscores. Beide organisaties zien verbeteringsmogelijkheden in het defi niëren van de doelstelling van risicomanagement, het defi niëren van de risicobereidheid en het evalueren en verzamelen van de geleerde lessen. Op basis van de resultaten worden aanbevelingen gedaan om de toepassing van risicomanagement te verbeteren. De aanbevelingen en de validatie daarvan worden besproken in hoofdstuk 8. Fase II van deze study onderzoekt de geïdentifi ceerde en opgetreden risico's in HWBP-2 projecten (hoofdstuk 5). Leren van risico's uit eerdere projecten zou een manier kunnen zijn om risicomanagement te verbeteren. Daarom worden de geïdentifi ceerde en opgetreden risico's in 16 HWBP-2-projecten van verschillende waterschappen onderzocht. Met behulp van een casestudy aanpak worden de geïdentifi ceerde risico's uit de risicoregisters verzameld gedurende de hele levenscyclus van het project (verkenningsfase, planontwikkelingsfase, aanbesteding en toekenning en uitvoeringsfase). Samenvatting | XVII Opgetreden risico's bij deze projecten worden verzameld door middel van interviews met de projectmanager of de projectcontroller van de projecten. In totaal zijn er 2157 risico's verzameld. De risico's zijn onderverdeeld in de zeven categorieën van de RISMANmethode: Organisatorisch, Politiek, Financieel, Ruimtelijk, Technisch, Juridisch en Maatschappelijk. Uit de resultaten bleek dat in de voorbereidingsfasen (Verkenning, Planontwikkeling en Inschrijving & Toekenning) meer risico's zijn geïdentificeerd dan in de uitvoeringsfase. In totaal is ongeveer 13% van de geïdentificeerde risico's opgetreden, meestal in de uitvoeringsfase. De meeste geïdentificeerde en opgetreden risico's vallen in de categorieën Organisatie en Ruimtelijk. Deze informatie kan soortgelijke, toekomstige projecten helpen om hun risico's beter te beheersen. In fase III (hoofdstuk 6 en hoofdstuk 7) zijn de begroting en risicoreservering van de HWBP-2-projecten onderzocht. Hoofdstuk 6 richt zich op de ontwikkeling van de begroting en risicoreservering van de HWBP-2 projecten in de voorbereidingsfase. Met behulp van een casestudy aanpak zijn de geschatte totale projectkosten in de voorbereidingsfase (Verkenningsfase, Planstudiefase en Gunning) van 29 HWBP-2projecten onderzocht. Gemiddeld zijn de kostenramingen met 11,51% gestegen ten opzichte van de oorspronkelijke schattingen. Volgens de literatuur kan deze toename te wijten zijn aan technische redenen, politieke redenen, strategische verkeerde voorstelling van zaken of 'optimism bias'. De uitkomst van het onderzoek was dat de stijging van de kostenramingen van de waterkeringsprojecten kan worden verklaard door technische redenen, er lijkt geen sprake van 'optimism-bias' of strategische verkeerde voorstelling van zaken. Toen de onderzochte projecten van start gingen, waren ze relatief nieuw voor de verantwoordelijke waterschappen. De waterschappen hadden beperkte ervaring met de kostenraming van dit soort projecten. Fouten veroorzaakt door een gebrek aan historische gegevens of gebrek aan ervaring waren daarom onvermijdelijk. Het onderzoek naar 'bekende onbekende' en 'onbekende onbekende' onvoorziene gebeurtenissen van deze projecten toont aan dat het percentage van 'onbekende onbekende' onvoorziene omstandigheden tijdens de pre-constructiefase is gestegen terwijl een afname werd verwacht. Deze toename suggereert dat de projecten geen vertrouwen hadden in hun schattingen. De toename kan worden verklaard door een gebrek aan ervaring, de cultuur van de organisatie of het fenomeen van 'pessimism bias'. 'Pessimism bias' ontstaat wanneer de schatter conservatief is en de kansen onderschat. Het concept van 'pessimism-bias' staat in contrast met 'optimism-bias'. XVIII | Samenvatting In hoofdstuk 7 is gekeken naar de gerealiseerde kosten en de risicoreservering voor onvoorziene gebeurtenissen bij projecten in de uitvoeringsfase vanuit het perspectief van opdrachtgever en aannemer. De projecten van de aannemer zijn ook bestudeerd omdat juist de aannemer betrokken is bij de uitvoeringsfase. Net als Hoofdstuk 5 en Hoofdstuk 6 profiteert dit hoofdstuk van een casestudy aanpak. In totaal worden 95 projecten onderzocht: 44 vanuit het perspectief van de opdrachtgever (HWBP-2 projecten) en 51 projecten van een aannemer. De studie onderzocht de gerealiseerde kosten (na uitvoering van het project) en de geschatte kosten (vóór uitvoering van het project). Uit de vergelijking van de totaal gerealiseerde kosten en geschatte kosten blijkt dat de HWBP-2-projecten 16% goedkoper zijn gerealiseerd. Bij de 51 projecten van de aannemer zijn er juist lichte overschrijdingen gerapporteerd, tot 2%.. In de HWBP-2-projecten waren de geschatte risicoreservering gemiddeld 2,64% hoger dan de gerealiseerde onvoorziene kosten, terwijl de geschatte onvoorziene kosten in de projecten van de aannemer gemiddeld 5,41% lager waren dan de gerealiseerde risicoreservering. Over het algemeen lijkt de aannemer dus te optimistisch en heeft hij de kansen overschat, terwijl de opdrachtgever pessimistischer was met een neiging tot overschatting van de kosten en onderschatting van de kansen. Deze verschillen kunnen worden verklaard door 'pessimism bias' en 'technische' redenen aan de kant van de klant. Aan de kant van de aannemer spelen een opportunistische houding (optimism bias), 'technische' en 'politieke' redenen een rol. Fase IV van het onderzoek (hoofdstuk 8) presenteert de validatie van de aanbevelingen ter verbetering van het risicomanagement in HWBP-projecten. Op basis van de resultaten van de voorgaande hoofdstukken wordt een lijst met 20 aanbevelingen opgesteld. Het belang en de haalbaarheid van deze aanbevelingen worden getoetst door drie expertsessies: één sessie met projectcontrollers van de waterschappen, één sessie met experts van de PD-HWBP die zich bezighouden met risicomanagement, en één sessie met experts met strategische en directierollen. in het HWBP. Geconstateerd is dat de experts van de waterschappen en de PD-HWBP kansen zien om het risicomanagement te verbeteren. Een 'Risk Management Map' (RM-Map) is gedefinieerd met daarin vijf mijlpalen en een beschrijving van de rol en verantwoordelijkheid van de PD-HWBP en de waterschappen. (Figuur I). Samenvatting | XIX Zowel de PD-HWBP als de waterschappen zouden de weg van verbetering van het risicomanagement moeten volgen, waarbij elke partij zijn eigen verantwoordelijkheden heeft. De RM-Map omvat vijf mijlpalen: 1. Het definiëren van de strategie van RM door de PD-HWBP en de waterschappen 2. Het creëren van de voorwaarden om de aanbevelingen toe te kunnen passen 3. Het vertalen van de gedefinieerde strategie naar doelstellingen bij waterschappen en het tonen van commitment 4. Het verbeteren van de RM-toepassing in projecten 5. Ondersteunen, faciliteren en kennisdelen Van deze vijf mijlpalen zijn nummer één en twee de verantwoordelijkheid van zowel de waterschappen als de PD-HWBP, mijlpalen drie en vier vallen onder de verantwoordelijkheid van de waterschappen en mijlpaal vijf is de verantwoordelijkheid van de PD-HWBP. De oneindige vorm van de RM-Map benadrukt het continue proces van evalueren en verbeteren. Zonder een gedefinieerde strategie voor risicobeheer (mijlpaal 1) zou het moeilijk zijn om de andere mijlpalen te bereiken. Deze studie geeft een antwoord op de belangrijkste onderzoeksvraag: Wat zijn de geleerde lessen van het toepassen van risicomanagement in HWBP-2-projecten en hoe kunnen deze lessen worden gebruikt om de toepassing van risicomanagement in HWBP-projecten te verbeteren? XX | Samenvatting Figure II De RM-Map voor het verbeteren van risicomanagement toepassing in HWBP projecten Samenvatting | XXI Uit de toepassing van risicomanagement in HWBP-2-projecten kunnen verschillende lessen worden getrokken. Wat betreft de volwassenheid van het risicomanagement van de projecten wordt geconcludeerd dat de projecten volwassen zijn in risicobeoordeling, terwijl de risicobeheersing en monitoren en review meer aandacht behoeven. Projectteams moeten beseffen dat 'risicomanagement' over een proactieve houding gaat. Projectleden moeten speciale aandacht besteden aan het toepassen van de beheersmaatregelen en het evalueren van het nut ervan. Door meer aandacht te besteden aan deze stappen en vooral de geleerde lessen te verzamelen en te gebruiken kan de toepassing van risicomanagement in HWBP-projecten worden verbeterd. Deze verzamelde informatie kan worden gebruikt in toekomstige projecten. Periodieke meting van de volwassenheid van risicomanagement met behulp van RiskProve kan aangeven of de HWBP-projecten op de goede weg zijn. Wat betreft de geïdentificeerde en opgetreden risico's (hoofdstuk 5) kunnen uit de HWBP-2-projecten verschillende lessen worden getrokken. Ten eerste houden de meeste geïdentificeerde en opgetreden risico's verband met de categorieën Organisatie en Ruimtelijk. Deze twee risicocategorieën verdienen extra aandacht in HWBP-projecten. Een belangrijke les is dat de projecten de opgetreden risico's beter moeten documenteren. De kosten in verband met de opgetreden risico's moeten ook worden geregistreerd. De database van risico's die in dit onderzoek is gemaakt, kan in de HWBP-projecten worden gebruikt om de volledigheid van risicoregisters te controleren. Er kan een generiek risicoregister worden opgesteld met de potentiele risico's per projectfase. Het projectteam kan leren van de beheersmaatregelen die bij andere projecten zijn genomen. Toekomstige projecten zouden hun werk kunnen baseren op dit generieke risicoregister, zorgvuldig rekening houdend met de specifieke toepasbaarheid. Een belangrijke les omtrent de kostenrealisatie en de kostenramingen van de onderzochte projecten (hoofdstuk 6 en hoofdstuk 7) is dat dergelijke informatie regelmatig (bijvoorbeeld aan het einde van elke projectfase) moet worden verzameld.. Kostenprestaties van de projecten (de vergelijking van de gerealiseerde en geschatte kosten) moeten worden geregistreerd en geëvalueerd en elke reden voor afwijking moet worden onderzocht. De gevolgen voor het overschatten van het budget, als gevolg van 'pessimism bias', moeten worden gedeeld met de waterschappen en het belang van efficiënt gebruik van overheidsgeld moet worden benadrukt. Het is essentieel dat de geschatte en gerealiseerde kosten van voltooide projecten worden verzameld, geanalyseerd en beschikbaar gesteld aan de projecten in het HWBP-programma. Toekomstige HWBP-projecten moeten XXII | Samenvatting de voorspelbaarheid van hun schattingen versterken op basis van historische gegevens. Dit is een manier om de kostenraming van de projecten objectiever te maken. Tijdens het onderzoek van de HWBP-2-projecten bleek dat het verzamelen van de informatie enorm moeilijk was. Het kostte de auteur veel tijd om de gegevens van de projecten te vinden. Een van de in het oog springende conclusies is dat er voor ongeveer een derde van de projecten geen spoor van de risicoregisters of kostenramingsdocumenten is gevonden. Laten we niet vergeten dat deze projecten niet van de afgelopen eeuwen zijn, maar van de afgelopen jaren. De huidige HWBP-projecten volgen gelukkig een beter regime voor het verzamelen van informatie, hoewel het toch nog onvoldoende is. De informatie over de realisatiefase is namelijk alleen beschikbaar (mits goed verzameld) in het betreffende waterschap. Dit maakt het proces van het evalueren van alle programmaprojecten, het leren en het delen van de opgedane kennis erg moeilijk. Een ander probleem is het gebrek aan inzicht in de gerealiseerde kosten van de projecten, omdat de waterschappen in de huidige regeling van het HWBP de gerealiseerde kosten niet hoeven te rapporteren. De auteur markeert een risico in deze situatie: Omdat de juiste informatie niet wordt verzameld, zou er onvoldoende informatie zijn om toekomstige HWBP-projecten te evalueren. De directeuren van HWBP en het bestuur van de waterschappen moeten bereid zijn dit risico te mitigeren. Ongeacht de strategie van HWBP voor de financiering van het project (op basis van gemaakte kosten of op basis van vaste prijs), moet informatie over de projectprestaties correct worden verzameld, geëvalueerd en ook regelmatig worden gedeeld tussen de waterschappen. De auteur is van mening dat de huidige aanpak van HWBP met betrekking tot de financiering van de projecten (voorfinanciering van de projectkosten) beter is dan de aanpak in HWBP-2 (vergoeding op basis van nacalculatie), aangezien voorfinanciering een prikkel is voor de waterschappen om vooraf na te denken over de risico's. Voorfinanciering betekent echter niet dat het project de gerealiseerde kosten niet hoeft te rapporteren. In de HWBP-regeling wordt nu vermeld dat na het beëindigen van elke fase er geen herberekening van de kosten gedaan hoeft te worden 2 . Er wordt 2 Werkwijze bij het vaststellen van subsidiabele en nietsubsidiabele kosten, behorend bij de Regeling subsidies hoogwaterbescherming 2014 (versie 2017), pagina 6: Na afronding van de fase vindt geen verrekening op basis van nacalculatie plaats. Deze werkwijze beperkt de administratieve lasten en houdt tevens een prikkel tot doelmatigheid in. Samenvatting | XXIII aangeraden om dit deel te verwijderen uit de regeling. Voor leerdoeleinden en transparantie van de gerealiseerde kosten dienen projecten in ieder geval hun kosten te rapporteren. Er moet aandacht worden besteed aan het gebruiken van de verzamelde informatie van projecten, niet alleen aan het verzamelen van de informatie. In het HWBP-programma is er momenteel geen proces om de geleerde lessen van projecten te verzamelen om deze verder te kunnen gebruiken. De TU Delft heeft de afgelopen jaren belangrijke stappen gezet om geleerde lessen van projecten te helpen verzamelen en gebruiken. Het HWBP is een continu programma en investeren in het verzamelen en gebruiken van de geleerde lessen kan het HWBP aanzienlijk helpen. Het is tijd om te leren van onze projecten.
doi:10.4233/uuid:7ca82a4e-cb46-458c-a6cd-52c631aa7ed9 fatcat:bl6gohbkcvgixkoquuox4suezy