|
Nr.
|
Naam
|
Motivering
|
Score
|
|
Gunningscriterium nr. 1: De kwaliteit van het onderzoeksvoorstel bij case 1
Beoordeling op 15 punten
|
|
1
|
Made4it nv
|
- Dit is het enige bureau dat spreekt over validiteit en betrouwbaarheid doorheen het hele onderzoeksproces. Uit deze offerte blijkt duidelijk dat het bureau veel aandacht besteedt aan de wetenschappelijkheid van onderzoek.
- Gaat uitgebreid in op representativiteit bij de keuze voor de methode en bij het steekproefdesign.
- Het bureau maakt een goede afweging van de verschillende bevragingsmethoden t.o.v. elkaar en geeft een goede motivatie voor de voorgestelde veldwerkmethodes.
- Dit bureau stelt de beste veldwerkmethodes voor om representativiteit te garanderen in deze case.
- Made4it geeft een ruimere breakdown weer van de problematiek en onderzoeksvraag, die goed vertaald wordt in de doelgroepen in de steekproefbepaling.
- Zij baseren zich op voorgaande onderzoeken en bestaande modellen (goed theoretisch onderbouwd) en uit die modellen worden bruikbare elementen samengevoegd tot een nieuw model dat wordt toegepast op deze specifieke case.
- Positief is ook, dat zij op basis van de output van de deskresearch, de vraag stellen of onderzoek wel nodig is. Het strategisch advies kan zijn dat onderzoek niet nodig is.
- Zij betrekken de interne stakeholders al zeer vroeg in het onderzoeksproces, nl. bij het definiëren van de onderzoeksvragen en ze motiveren duidelijk de redenen hiervoor.
- Ze stellen een duidelijk werkproces voor met voldoende feedbackloops, flexibel en met voldoende aandacht voor behoud van wetenschappelijkheid. Het is meer een wetenschappelijk werkproces, minder een management projectopvolging systeem.
|
13,5
|
|
2
|
Vaart 73
|
- We zien minder aandacht voor wetenschappelijke onderbouwing, steekproefdesign, steekproeftrekking en dataverzameling.
- Het bureau gaat weinig in op representativiteit, betrouwbaarheid en validiteit. In de offerte wordt weinig belang besteed aan de representativiteit in de steekproeftrekking en onderzoeksdesign. We zien nergens de afweging hoe representativiteit strikt of minder strikt moet worden opgevolgd.
- Algemeen: de verschillende onderzoeksmethodieken zijn wat onderbelicht, te weinig uitgewerkt. De keuzemogelijkheden worden onvoldoende met voor- en nadelen gepresenteerd.
- In de criteria om tot dataverzamelingsmethoden te komen, houden ze weinig rekening met de mate waarin ze de totale populatie kunnen bereiken.
- Positief is dat er een bestaand, gevalideerd model wordt gebruikt. Het wordt echter nogal standaard ingevuld, niet op maat gemoduleerd binnen het kader van dit specifieke onderzoek. We zien geen optimalisatie van verschillende modellen. De argumentatie waarom gekozen werd voor dit model mocht beter onderbouwd zijn. We lezen bv. geen alternatieven, geen afweging van voordelen / nadelen. Worden resultaten al niet teveel gestuurd binnen het kader van het model?
- De steekproefgrootte en voorstel van concentrisch model zijn goed.
- Verloop werkproces: via deskresearch heeft dit bureau ook gezien dat al veel onderzoeken en data voorhanden zijn. De eerste stap is steeds: is onderzoek wel nodig gegeven het feit dat er veel voorhanden is. Positief is dat ook dit bureau eerst de vraag stelt of onderzoek nodig is, en dat bijgevolg het niet voeren van onderzoek zeker ook een strategisch advies kan zijn.
- Zij spreken over een partnership, we vinden dat minder terug in de voorgestelde overlegmomenten binnen het onderzoeksproces.
|
7,5
|
|
3
|
WES vzw
|
- In de criteria om tot dataverzamelingsmethode te komen, houden ze weinig rekening met de mate waarin ze de totale populatie kunnen bereiken. We stellen ons dan ook vragen bij de gekozen methodiek.
- Het bureau legt de oplossing voor representativiteit in quota en disproportionele steekproeftrekkingen waarbij te weinig wordt melding gemaakt van de problematiek rond de scheeftrekking van de steekproef die bij de voorgestelde methode zeker kan opduiken. Bij deze methode dienen steeds wegingen toegepast te worden die de analyses complexer maken en de betrouwbaarheid en representativiteit minder transparant maken. De mondelinge toelichting bracht hier geen afdoend antwoord.
- Steekproefgrootte is goed.
- Het bureau maakt nergens melding van a-selectiviteit.
- Ze wegen wel de verschillende veldwerkmethoden af met voor- en nadelen, kosten/baten, etc.
- Het bureau stelt zich te weinig de vraag of er nu al voldoende antwoord kan gegeven worden op basis van bestaande onderzoeken, modellen,… Stelt focusgroepen voor terwijl die informatie misschien al ergens voorhanden is (wat in deze case wel degelijk het geval is). Ze voorzien wel een aantal gesprekken met experten om zich te verdiepen in de problematiek.
- Het werkproces wordt duidelijk belicht en opgevolgd in uitwerking van case 1.
- De inconsistentie tussen de doelgroep bepaling en de segmentatie achteraf (autogebruikers bezoekers versus mobiliteitssegmenten) is een negatief punt. Bij navraag tijdens de toelichting, gaf het bureau geen afdoend antwoord.
|
7,5
|
|
Gunningscriterium nr. 2: De kwaliteit van de vragenlijststructuur en van het analyseplan bij case 1
Beoordeling op 15 punten
|
|
1
|
Made4it nv
|
- Het bureau heeft duidelijke, expliciete, falsifieerbare hypothesen uitgebreid in de offerte uitgewerkt.
- De vragenlijststructuur geeft duidelijk naast elke onderzoeksconstruct de op te leveren kennis en inzichten weer. Is verder uitgewerkt tot en met de vraagconstructs zodat de schalen ook vermeld konden worden.
- We zien dat doorheen het proces om tot de vragenlijst te komen, de validiteit ervan heel erg bewaakt wordt en dat er goed op gelet wordt dat via de vragenlijst de vereiste informatie bekomen wordt (dat alle onderzoeksvragen beantwoord worden).
- Het rapportage- of analyseplan werd goed uitgewerkt, met vermelding van de verschillende stappen vanaf ruwe dataoplevering tot en met het rapport. Zij geven duidelijk aan welke basisanalyses en segmentatieanalyses zij zullen opleveren. Ook in de analysefase voorzien zij de nodige overlegmomenten met de opdrachtgever. En indien gevraagd, kunnen zij een werkgroep voorzien voor vertaling van de resultaten naar acties en communicatie. Interessant is dat zij een lange termijnvisie op rapporteren voorleggen.
|
13,5
|
|
2
|
Vaart 73
|
- In de offerte werden geen expliciete hypotheses verwoord en deze kunnen dus ook niet beoordeeld worden.
- De link tussen de onderzoeksvragen en de vragenlijststructuur werd minder uitgebreid uitgewerkt. De vragenlijststructuur volgt inhoudelijk het voorgestelde model en geeft per sub deel weer welke kennis vergaard zal worden. Het onderdeel ‘achtergrondkenmerken’ van de respondenten ontbreekt.
- Ze geven een aantal typevragen en schalen.
- Over validiteit wordt onvoldoende gesproken.
- Voorzien per doelgroep specifieke meetmomenten.
- Het analyseplan bevat analyses in functie van het voorgestelde model en geeft duidelijk weer welke basisanalyses en segmentaties ze zullen maken. Geeft de verschillende fases weer van data-oplevering t/m rapport.
- Zij voorzien in de mogelijkheid om een workshop te organiseren om samen met de stakeholders (ook burgers) vanuit de resultaten tot oplossingen en acties te komen.
|
7,5
|
|
3
|
WES vzw
|
- In de offerte werden geen expliciete hypotheses verwoord en deze kunnen dus ook niet beoordeeld worden.
- De link tussen de onderzoeksvragen en de vragenlijststructuur werd minder uitgebreid uitgewerkt. Ze is weinig geoperationaliseerd en het is niet duidelijk welke vragenlijstonderdelen een antwoord op welke onderzoeksconstructs geven. Een aantal voor dit onderzoek relevante achtergrondkenmerken van de respondenten ontbreekt.
- De schalen worden duidelijk vermeld.
- Over validiteit wordt onvoldoende gesproken.
- Zij voorzien wel een pre-test van de vragenlijst door het veldwerkbureau.
- Analyse start ook na data-oplevering. Weging nodig om steekproef te herleiden tot reële proporties. Opsomming tabellen, kruisingen en segmentaties.
- De tijd die nodig is voor analyse en rapportage is te lang.
|
7,5
|
|
Gunningscriterium nr. 3: De kwaliteit van het plan van aanpak van case 2
Beoordeling op 20 punten
|
|
1
|
Made4it nv
|
- Het bureau gaat ervan uit dat de beslissing van het stadsbestuur legitiem en onderzocht is en met cijfers onderbouwd.
- We zien een goede breakdown van de onderzoeksvraag, zeer ruim, en er is ook rekening gehouden met de economische impact.
- Het bureau heeft duidelijk verschillende onderzoekscenario’s uitgewerkt bij verschillende doelgroepen, met verschillende onderzoekdesigns en beschrijving van de soort informatie dat telkens vergaard kan worden.
- Goed uitgewerkte aanbevelingen met motivatie.
- Zij denken aan meer relevante vragen die we kunnen stellen wanneer we moeten nagaan wat het project de stad zal opleveren, welke impact het zal hebben. Made4it geeft het meest optimale antwoord en aanpak op de geformuleerde onderzoeksvraag in de case (juiste vertaalslag).
|
18
|
|
2
|
Vaart 73
|
- Geeft onvoldoende antwoord op de finale onderzoeksvraag, nl. wat levert het project de stad op, wat is de impact.
- Het bureau bespreekt verschillende onderzoekdesigns voor één onderzoekscenario.
- Het voorstel focust erg op co-creatie, inspraak en participatieproces (idee-creatie) en niet op wat het project gaat opleveren aan de stad. We zien geen voorstel voor economische impactmeting. De resultaten van het onderzoek zullen aangeven wat het potentieel is voor verschillende concepten van zwemparadijzen waardoor het stadsbestuur een geïnformeerde keuze kan maken met de grootste impact voor de stad.
- Ook tijdens de mondelinge toelichting bleek heel erg de focus van de werking van het bureau op co-creatie en het op een participatieve manier zoeken naar oplossingen en actie op basis van resultaten van onderzoek. De nadruk ligt dus vooral op het na-traject.
|
6
|
|
3
|
WES vzw
|
- Geeft onvoldoende antwoord op de finale onderzoeksvraag, nl. wat levert het project de stad op, wat is de impact.
- Het bureau bespreekt verschillende onderzoekdesigns voor één onderzoekscenario.
- Onderzoeken enkel optimalisatie van meer zwemmers en bezoekers, een vrij enge interpretatie van meeropbrengst, enkel binnen sportparticipatie en enkel aan de inkomstenzijde.
|
10
|
|
Gunningscriterium nr. 4: De kwaliteit van de manier waarop het advies, de ondersteuning en de continuïteit ervan worden gewaarborgd
Beoordeling op 20 punten
|
|
1
|
Made4it nv
|
- Made4it garandeert dat de opdrachten enkel zullen worden uitgevoerd door de oprichters van Made4it zelf. Deze ervaring en expertise blijkt duidelijk enerzijds uit de curricula vitae van de oprichters, anderzijds uit de sterke offerte die zij hebben uitgewerkt.
- Zij garanderen voldoende beschikbaarheid van beide consulenten en garanderen tevens dat geen andere consulenten worden ingeschakeld tenzij hiervoor uitdrukkelijke overeenstemming is met de opdrachtgever.
- Zij gaan het engagement aan voor een flexibele omgang en geven aan wat dit concreet inhoudt.
- Zij geven ook aan wat hun aanpak is bij eventuele discussies en hoe zij een ‘work untill it works’ engagement aangaan.
- Zij verzekeren ook dat ze mee zullen zorgen voor de versteviging van de competenties van de stedelijke onderzoek medewerkers, en dat ze zelf proactief optreden en de vooruitgang en kwaliteit van de projecten garanderen. Dit wordt in de offerte a.d.h.v. voorbeelden concreet gemaakt.
- Uit de offerte blijkt ook duidelijk de ernst en het realisme, en de kwaliteit en competenties van Made4it in functie van de opdracht.
- Zij voorzien back-ups van hoog niveau.
- Het beperkt aantal consultants van het bureau, wat enerzijds een sterkte is omwille van de garantie van de beste consultants op de projecten van de stad te hebben, is anderzijds ook een zwakker punt indien één van beide zou wegvallen.
|
14
|
|
2
|
Vaart 73
|
- De focus van Indiville (Vaart 73) ligt sterk op co-creatie, op participatieve trajecten om op basis van de resultaten tot oplossingen en actie te komen. Dat is op zich zeer nuttig, maar is geen onderzoeksopdracht en eigenlijk geen voorwerp van deze opdracht/van dit raamcontract.
- Indiville stelt een kwaliteitsvol team van 5 partners voor die op deze opdracht wordt gezet, waarvan 2 het aanspreekpunt zijn. De ervaring en expertise blijkt ook duidelijk uit de curricula vitae. Zo voorzien zij per onderzoek minstens één van de andere partners als aparte researcher.
- Zij voorzien verschillende mogelijkheden voor een goede informatie-uitwisseling met de opdrachtgever en zien de samenwerking als een partnership.
- Op verschillende wijzen zullen zij zorgen voor de versterking van de competenties van de stedelijke onderzoek medewerkers en voor kennisdeling, zowel met interne als externe partners van de stad.
- Hoe Indiville een "work untill it works" engagement aangaat en hoe zij omgaan met eventuele discussies wordt onvoldoende in de offerte belicht.
|
10
|
|
3
|
WES vzw
|
- WES stelt een uitgebreid team van 8 medewerkers voor met een variëteit aan competenties en expertises, zoals blijkt uit de curricula vitae. Deze worden intern ondersteund door meerdere junior medewerkers. Binnen het team van 8 medewerkers, fungeren 2 medewerkers als projectverantwoordelijken, met 1 back-up. De andere researchers worden afhankelijk van de thematische expertise en kennis van specifieke doelgroepen bij projecten betrokken.
- Zij hebben ook oog voor coaching van de stedelijke onderzoek medewerkers en hebben voldoende aandacht voor kennisoverdracht.
- WES garandeert een flexibele invulling van de projectactiviteiten, projectmanagement en projectplanning in functie van wijzigende omstandigheden.
- Hoe WES een "work untill it works" engagement aangaat en hoe zij omgaan met eventuele discussies wordt onvoldoende in de offerte belicht.
|
10
|
|
Gunningscriterium nr. 5: Prijs
Beoordeling op 30 punten
|
|
1
|
Made4it nv
|
- De totale kostprijs voor het onderzoek is 27.435,00 euro exclusief btw. Hierbij is inbegrepen (in grote lijnen): deskresearch, overlegmomenten, onderzoeksdesign, vragenlijst, dataverwerking, analyse, marktsegmentatie en rapportage, en het formuleren van marktinzichten en acties a.d.h.v. werkgroep met stakeholders (interventiedesignconsulting). Een aantal voorziene werksessies worden niet aangerekend. Bovendien moeten we ook vermelden dat in de dataverwerking ook de programmatie in Harmoni, een specifieke analyse database, inbegrepen is.
- Zeer gedetailleerde en duidelijke prijsopgave met prijsdifferentiatie volgens complexiteit onderzoek.
- In totaal voorziet Made4it 163 uur + 6 gratis uren voor dit marktonderzoek (of 21,1 mandagen).
|
21
|
|
2
|
Vaart 73
|
- De totale kostprijs voor het onderzoek is 15.170,00 euro exclusief btw. Hierbij is inbegrepen (in grote lijnen): onderzoeksdesign, vragenlijst, overlegmomenten, briefing veldwerkbureau, verwerking data, analyse en rapportage. Indien we de deskresearch mee in rekening brengen, dan komt dit op 18.970,00 euro exclusief btw. Nemen we de optionele workshop om tot formulering van acties te komen, mee in rekening, dan is de totale kostprijs 28.470,00 euro exclusief btw.
- De prijsopgave geeft de verschillende taken of deelopdrachten weer.
- In totaal voorziet Indiville (Vaart73) 30,6 mandagen voor dit onderzoek.
|
21
|
|
3
|
WES vzw
|
- De totale kostprijs voor het onderzoek is 44.110,00 euro exclusief btw. Hierbij is inbegrepen (in grote lijnen): deskresearch, voorbereide kwalitatieve fase (i.s.m. veldwerkbureau), onderzoeksdesign, vragenlijst, overlegmomenten, briefing veldwerkbureau, verwerking data, analyse en rapportering. Een bijkomende workshop voor het formuleren van acties is hier niet voorzien.
- De prijsopgave is gedetailleerd weergegeven.
- In totaal voorziet WES 65,25 mandagen voor dit onderzoek. Dat lijkt ons niet echt efficiënt. De lage uurprijs wordt eigenlijk overgecompenseerd door het aantal uren waardoor de totale prijs van een onderzoek tot het dubbele kan oplopen.
|
15
|