2013_CBS_10491 - Bestek GAC/2013/1913 - Evaluatiestudie van het strategisch ruimtelijk structuurplan Antwerpen. Gunning. - Goedkeuring

Naam

Motivering

Arcadis Belgium nv

De rolverdeling binnen het team is duidelijk. De samenwerking met ORG is verrassend omdat dit bureau voornamelijk een ontwerpbureau is.

Met studiebureau O2 heeft het team een grote deskundigheid m.b.t. procesbegeleiding en communicatietechnieken.

De cv’s getuigen van een multidisciplinariteit van de verschillende teamleden met elk een grote ervaring binnen hun vakgebied.

THV Omgeving cvba / KU Leuven research & development

De samenwerking van een praktijkbureau met een wetenschappelijke instelling geeft veel vertrouwen dat de evaluatie rigoureus gebeurt zonder de praktijk uit het oog te verliezen.

Uit de referentie-opdrachten blijkt een uitzonderlijke ervaring rond stadsregionale samenwerking en een goede kennis van de verschillende planningsinstrumentaria en de Antwerpse context.

THV Sum Research / IDEA Consult

Cv's en referenties aanwezig.

De samenwerking tussen beide bureaus koppelt wetenschappelijke expertise met praktijk gebaseerde sectorkennis. Het team is samengesteld uit personen met diverse expertise en een grote ervaring binnen hun vak.

De opgegeven referenties benadrukken voornamelijk hun ervaring op vlak van het beleidsplan ruimte Vlaanderen.

Tractebel Engineering

Het bureau selecteert een sterke projectleider die over de drie kerncompetenties beschikt die gevraagd worden binnen deze opdracht. Dit wordt als groot pluspunt beschouwd. Het bureau toont met de opgegeven referentieprojecten dat het alle gevraagde competenties in huis heeft.

Nr.

Naam

Motivering

Score

Gunningscriterium nr. 1: Plan van aanpak
Beoordeling op 60 punten
In het plan van aanpak beschrijft u minimaal:

1. De visie op de opdracht.
   Voorafgaand aan het eigenlijke uitwerken en uitvoeren van de evaluatie moet de concrete opdracht correct worden ingeschat. Daarom zal de inschrijver in de offerte zijn visie op de opdracht weergeven en beargumenteren, in functie van de uitgangspunten en onderzoeksvragen zoals geformuleerd in hoofdstuk III.4 “Omschrijving van de opdracht”. Hij beschrijft tevens op welke manier hij deze evaluatie kadert binnen de vaste randvoorwaarde van het behoud van de bestaande visie en de gewenste ruimtelijke structuur uit het s-RSA. Ook moet uit deze visie duidelijk worden dat de inschrijver een inzicht heeft op de structuur en werking van het Antwerpse stedelijk beleid en de bijhorende stedelijke diensten.
2. De wijze waarop u de evaluatieopdracht uitvoert.
   Hierbij geeft u aan welke evaluatietechniek u zal gebruiken en hoe u deze zal inzetten om een evaluatie op basis van de vier opgegeven invalshoeken (het document structuurplan, proces en organisatie, instrumentarium, stadsregionale werking), te kunnen voeren. U geeft een timing (op hoofdlijnen).
3. De procesbegeleiding.
   Hierbij geeft u uw visie over welke manier er een efficiënte betrokkenheid van een diversiteit aan actoren tot stand kan komen en welke overlegstructuren u aanraadt, rekening houdend met de lijst van de te betrekken actoren zoals vermeld in de uitvoeringsbepalingen. Aanvullingen op deze lijst zijn uiteraard mogelijk.
4. Een eerste visie op de structuur van de startnota met bijhorende timing om tot deze startnota te komen.
5. Een eerste visie op de structuur van het evaluatierapport.

Het plan van aanpak mag maximaal 30 pagina’s, A4 formaat, in beslag nemen. De beoordeling wordt verantwoord in het verslag van nazicht.

2

THV Omgeving cvba / KU Leuven research & development

De visie van de inschrijver op de opdracht toont aan dat deze de opdracht juist en duidelijk kan inschatten. De aanvankelijke offerte besteedde weinig aandacht aan de ex ante evaluatie. De jury meent dat deze toetsing echter een waardevolle bijdrage kan betekenen. Dit tekort is goed rechtgezet bij de indiening van de BAFO. De inschrijver benadrukt dat ze de gewijzigde en/of wijzigende context als vast aandachtspunt doorheen de bevragingen en reflecties zullen hanteren. Ze zullen nagaan of de bestaande acties en instrumenten, maar ook de wijze van doorwerking van het s-RSA bij de diverse stakeholders voldoende robuust is om met geïdentificeerde contextveranderingen om te gaan.

Het consortium stelt als evaluatietechniek voor: een beleidstheorie gedreven evaluatiebenadering op maat van het s-RSA. Een multidisciplinair team, samengesteld uit academici en praktijkmensen, garandeert de inbreng van verschillende kennisdomeinen. Maatwerk en dialoog staan centraal bij de evaluatieopdracht. Ze gebruiken een 'multi-method' aanpak waarbij niet gewerkt wordt met een één-op-één techniek per onderzoeksvraag maar gestreefd wordt naar een geïntegreerde benadering van de verschillende stakeholders over de onderzoeksvragen heen.

De offerte bevat een helder en gedetailleerd stappenplan met aanduiding van welke actoren op welk moment in het proces zullen betrokken worden, inclusief het precieze aantal van de overlegmomenten. Dit geeft de opdrachtgever het vertrouwen dat de ambitie die de inschrijver formuleert met betrekking tot de opdracht haalbaar is. Tegelijk zorgt deze gedetailleerde opgave voor een goede basis om controle te houden op financiële gevolgen.

Conform het bestek levert het consortium een startnota op na twee maanden. Zij stellen voor om in deze startnota de uitgewerkte evaluatiemethodiek, een ontwerp van vragenlijsten voor de volgende fasen en een projectstructuur op te nemen. De startnota wordt afgesloten met de verschillende beslispunten. Deze eerste visie op de structuur van de startnota geeft blijk van een krachtdadige aanpak van de opdracht die vertrouwen geeft dat het consortium in staat is om de strenge timing van 8 maanden te halen.

De eerste visie op de structuur van het evaluatierapport is reeds erg uitgewerkt. Dit toont aan dat het consortium een uitgesproken maar ook correcte visie heeft op de evaluatieopdracht.

Positief hierbij is dat de beslispunten mee opgenomen worden in de start- en eindnota.

48

4

Tractebel Engineering

Tractebel beschrijft een heldere visie op de opdracht. Ze houden zich hierin sterk aan de vaste randvoorwaarden en de gestelde onderzoeksvragen. De toelichting van de inschrijver maakte duidelijk dat het bureau een goede kennis heeft van het structuurplan en de geest van het plan zeer goed aanvoelt. Deze kennis komt echter niet terug in de eerste, noch in de finale offerte.

Als evaluatiemethodiek wordt de beleidstheorie gebruikt als startpunt om causale verbanden duidelijk te maken. De firma wil op die manier antwoord krijgen op de vraag in hoeverre de acties / projecten hebben bijgedragen tot de doelstellingen en visie zoals verwoord in het s-RSA. Dat wil zeggen dat zoveel als mogelijk inzicht verschaft zal worden in de effectiviteit van het s-RSA. Omdat voornamelijk kwalitatieve informatie voorhanden is, en omdat elke actie of elk project uit het s-RSA een heel verschillend traject kan afleggen, kiest het studiebureau er voor om de beleidsevaluatie uit te voeren op basis van cases (casestudie-evaluatie). De jury vreest dat deze inductieve werkwijze die slechts vijf cases zal onderzoeken geen representatieve resultaten zal kunnen genereren op niveau van de evaluatie van het structuurplan, waardoor het effectieve doel gemist wordt. Meer cases onderzoeken is echter niet mogelijk binnen de opgegeven tijdspanne. Daarnaast vraagt de evaluatie van een project een ander kader dan de evaluatie van een structuurplan. Hierover doet het bureau echter geen uitspraken. De jury oordeelt dat het bureau zich teveel baseert op projectevaluatie en niet op het structuurplan op zich.

De BAFO bevat enkele waardevolle toevoegingen ten opzichte van de oorspronkelijke offerte. Zo wordt het doel van de verschillende fasen duidelijker geformuleerd. Sommige aspecten die wel tijdens de toelichting van de inschrijver ter sprake kwamen werden slechts beperkt aangepast, zoals de ex ante evaluatie. De jury had hierover een meer uitgebreide uiteenzetting verwacht.

Grote zwakte in de offerte is het beperkte zicht op welke actoren, wanneer en hoe vaak, in het proces worden betrokken. Het bureau stelt voor om deze selectie pas bij aanvang van het project te maken. De offerte houdt dan ook enkel rekening met de actoren die reeds benoemd zijn in het bestek. Toch voorziet de inschrijver reeds half december, na anderhalve maand, een startnota met een plan van aanpak, een gedetailleerd tijdsschema, de te verwachten inzet van alle betrokken partijen en de samenstelling van de begeleidingsgroep, de verschillende actoren en de externe experts. De jury vraagt zich dan ook af of deze timing niet te ambitieus is.

39

3

THV Sum Research / IDEA Consult

In hun visie op de opdracht toont het consortium hun goede kennis over het structuurplan en geeft het blijk van een goed inzicht aangaande het stadsregionale gegeven. Dit thema wordt van bij de start van de opdracht onderzocht en is geïntegreerd in het ganse onderzoekstraject.

Om tot een resultaatsgerichte evaluatie te komen stelt het consortium voor om het s-RSA te vertalen in een evaluatiekader dat wordt opgezet vanuit de benadering van de interventielogica. Hierbij worden vier verschillende stappen (impact, resultaten, output en input) onderscheiden die gelinkt kunnen worden aan de generieke, specifieke en operationele doelstellingen van het programma. Een evaluatie vanuit deze interventielogica maakt het noodzakelijk om voorafgaandelijk het s-RSA eerst te ontleden en te plaatsen binnen dit evaluatieschema. De jury vreest dat deze zorgvuldige analyse reeds veel tijd zal innemen. Gezien de strikte timing acht de jury het beter om niet te trachten een allesomvattende analyse te maken van het document maar eerder doelgericht de evaluatieopdracht aan te vatten.

Het consortium beschouwt hun betrokkenheid bij de opmaak van het beleidsplan ruimte Vlaanderen een belangrijke troef binnen deze opdracht. De jury erkent de meerwaarde van deze ervaring maar is van mening dat deze weinig van belang is voor een evaluatieopdracht. Onder andere door de ervaring bij de Vlaamse overheid als troef te benoemen, vreest de jury dat de inschrijver geen zuivere evaluatie zal uitvoeren maar ook reeds zal werken aan een actualisatie.

De oorspronkelijke offerte deed geen uitspraken over ex ante evaluatie. In hun BAFO is dit aspect wel vernoemd maar is het verder niet uitgewerkt. Er is geen methodiek uitgewerkt om dit effectief te kunnen onderzoeken, wat een groot gemis is in de offerte.

Het consortium werkt een duidelijke structuur uit om tijdens de opdracht tot een efficiënte betrokkenheid van een mix aan actoren te komen, om zo het maatschappelijk en beleidsmatig draagvlak te verwerven voor bestendige ruimtelijke ontwikkelingen en dit te consolideren voor de toekomst. Hiervoor werken ze een project- en een procespiramide uit. Deze piramides tonen aan dat het consortium een goed zicht heeft op de te betrekken actoren. Echter is er geen rekening gehouden met de bestuurswissel en de nieuwe bezetting van bepaalde adviesorganen, met GECORO op kop. De jury bevestigt het grote belang om deze actoren intensief in het proces te betrekken maar het consortium geeft niet aan op welke manier de kennisoverdracht / lerend aspect wordt geïmplementeerd in het proces.

De structuur van de startnota is duidelijk. Hierin wordt het uitgewerkte evaluatiekader per beeld en strategisch actiegebied opgenomen samen met de overlegstructuur. Dit zijn echter enkel voorbereidende werken (zie eerdere opmerking i.v.m. evaluatiekader). De effectieve evaluatie start pas nadien, terwijl reeds een kwart van de beschikbare tijd verlopen is.

De structuur van het eindrapport is conform het bestek maar eerder beperkt.

36

1

Arcadis Belgium nv

De indiener zet sterk in op internationale benchmarking om tot een evaluatie van het huidige structuurplan te komen. Het doel is om hieruit relevante voorbeelden te distilleren met hun achterliggende proces. De jury is niet overtuigd van de meerwaarde die deze benchmarking zal opleveren binnen deze opdracht.

De evaluatie zal gebeuren in drie fasen (analyse-onderzoek-conclusie). Daarvoor lijst de inschrijver een zeer uitgebreide waaier van instrumenten op, o.a. literatuurstudie, interviews, participerende observatie, G100, 'world café', … die mogelijk gebruikt kunnen worden tijdens de evaluatie. Omdat hiertussen geen keuze wordt gemaakt, blijft het voorgestelde plan van aanpak eerder generiek en is het onmogelijk om een duidelijk beeld te geven van de reële kosten en de tijdsinvestering. Door pas bij de start van de opdracht een keuze te maken tussen deze verschillende technieken vreest de jury dat hierdoor teveel kostbare tijd verloren zal gaan. Gezien de krappe timing van de opdracht wordt gevreesd dat de evaluatie niet kan afgerond worden binnen de vooropgestelde 8 maanden. De opgesomde technieken geeft tot slot de indruk dat er te sterk zal worden ingezet op beleidsvorming in plaats van beleidsanalyse terwijl de opdracht duidelijk tot doel stelt om een evaluatie (beleidsanalyse) te maken ter voorbereiding van de actualisatie (beleidsvorming).

Net zoals voor de evaluatiemethodiek doet de inschrijver ook geen duidelijke uitspraken over de wijze om tot een efficiënte betrokkenheid te komen en welke actoren in welke fase zullen bevraagd worden. Ook hier stelt men voor om dit, samen met de opdrachtgever, bij aanvang van de opdracht, te formuleren.

Doorheen het evaluatieproces wordt een dagboek bijgehouden waarin de uitgevoerde acties en resultaten worden bijgehouden. Bij aanvang van het proces wordt aan dit dagboek een startnota toegevoegd. Op het einde van de opdracht zal het vergezeld worden met een evaluatienota. Een duidelijke structuur van de start- en evaluatienota zoals gevraagd in het bestek ontbreekt echter.

30

Titel: Prijs
Totaal van 40 punten

1

Arcadis Belgium nv

40

2

THV Omgeving cvba / KU Leuven research & development

39,44

3

THV Sum Research / IDEA Consult

38,62

4

Tractebel Engineering

38,1

Gunningscriterium nr. 2: Prijs
Beoordeling op 35 punten
In de inventaris geeft u de totale prijs op die u rekent voor het uitvoeren van de evaluatie. Deze totale prijs licht u toe in een detaillering waarin u minimaal de inzet van profielen, aantal uur en uurprijzen opneemt. De totaalprijzen worden beoordeeld op basis van de regel van drie.
Score offerte = (prijs laagste offerte / prijs offerte) * gewicht van het criterium prijs

1

Arcadis Belgium nv

(120.800/120.800)*35

35

2

THV Omgeving cvba / KU Leuven research & development

(120.800/122.740)*35

34,44

3

THV Sum Research / IDEA Consult

(120.800*123.700)*35

34,18

4

Tractebel Engineering

(120.800/125.610)*35

33,66

Gunningscriterium nr. 3: Prijs
Beoordeling op 5 punten
In de inventaris geeft u uw eenheidsprijs per dagdeel (4 uur) op voor de procesbegeleiding bij de actualisatie van de s-RSA. Dit is een voorwaardelijk deel van de opdracht. De prijs wordt beoordeeld op basis van de regel van drie.
Score offerte = (prijs laagste offerte / prijs offerte) * gewicht van het criterium prijs

1

Arcadis Belgium nv

5

2

THV Omgeving cvba / KU Leuven research & development

5

3

THV Sum Research / IDEA Consult

4,44

4

Tractebel Engineering

4,44

Nr.

Naam

Score

2

THV Omgeving cvba/KU Leuven research&development

87,44

4

Tractebel Engineering

77,1

3

THV Sum Research/IDEA Consult

74,62

1

Arcadis Belgium nv

70