2014_CBS_00964 - Strategische cel - Stadsbrede monitoring. Optimalisaties Antwerpse monitor - Goedkeuring

1. Doelstellingen van de Antwerpse monitor als permanent meetinstrument
De Antwerpse monitor werd in 2009 ontwikkeld als permanent meetinstrument met verschillende doeleinden:

• het meten en rapporteren van indicatoren over perceptie en gedrag in functie van de strategische cyclus;
• zicht krijgen op de effecten van het stedelijk beleid en handelen, en op de kwaliteit van de stadsomgeving en dienstverlening in de beleving van de inwoners;
• effecten nagaan van onvoorziene gebeurtenissen en van het invoeren van nieuwe beleidsmaatregelen op de perceptie van de inwoners;
• onderzoeken van evoluties, profielen, verschillen tussen wijken en districten en zo gegevens voor nieuw beleid vergaren;
• op een snelle manier ad hoc onderzoeksvragen nagaan bij de Antwerpenaar.   

Bij de ontwikkeling van de Antwerpse monitor werd het volgende besluitvormingsproces gevolgd:

• op 17 juli 2009 (jaarnummer 9837) gaf het college de principiële goedkeuring voor het introduceren van de Antwerpse monitor als nieuwe werkwijze voor het meten van de indicatoren die bepaald zijn in functie van de strategische doelstellingen;
• op 16 september 2009 (jaarnummer 620) nam het managementteam kennis van de organisatie van de Antwerpse monitor;
• op 25 september 2009 (jaarnummer 13550) keurde het college de uitvoering van de Antwerpse monitor als nieuwe werkwijze voor het meten van de indicatoren uit de strategische doelstellingen goed;
• op 7 januari 2011 (jaarnummer 96) nam het college kennis van de vaste indicatoren;
• op 22 juni 2012 (jaarnummer 6488) besliste het college dat de variabele indicatoren per golf aan het college ter kennisgeving worden voorgelegd.

Aan de hand van de input van de bedrijfseenheden, de kabinetten en de verschillende feedbackrondes is de dienst ondernemen en stadsmarketing/strategie en onderzoek, samen met de studiedienst stadsobservatie, tot een indicatorenset gekomen die via de Antwerpse monitor gemonitord kunnen worden. Deze indicatorenset bestaat voor het grootste deel uit vaste indicatoren (die vast gedurende minstens één jaar bevraagd worden) en voor een deel uit variabele indicatoren (worden tijdens één of twee golven bevraagd). 

Ondertussen loopt de Antwerpse monitor vier jaar en een aantal vaststellingen en nieuwe beleidsbeslissingen nopen tot een optimalisatie van dit instrument.

2. Vaststellingen na vier jaar Antwerpen monitor
In de loop van de vier jaren dat de Antwerpse monitor actief is:

• is het aantal vragen opgelopen van 50 vragen in de allereerste golf naar 64 à 70 vragen in 2013;
• zijn bepaalde vragen in matrixvorm zeer uitgebreid.

hierdoor:

• daalt de responsgraad van 22% in 2010 en 2011 naar 19,5% in 2012 en 20% tot en met golf 6 van 2013 (de daling situeert zich voornamelijk bij de autochtonen);
• klagen respondenten over de lengte van de vragenlijst;
• neemt de kostprijs van het invoeren van de schriftelijke vragenlijst jaar na jaar, en zelfs golf na golf, toe (terwijl de respons daalt).

Daarnaast wordt vastgesteld dat:

• bepaalde vragen niet valide zijn, weinig gebruikt worden voor analyses of rapportering;
• sommige ad hoc vragen toch permanent in de enquête bleven;
• heel wat resultaten niet of te weinig gebruikt worden;
• bepaalde (zwakkere) groepen minder deelnemen aan de bevraging (kansarm, laaggeschoold, minder taalvaardig, andere origine);
• de vragenlijst vooral schriftelijk wordt ingevuld, terwijl het ook mogelijk is om digitaal in te vullen.

3. Doelstellingen optimalisatie Antwerpse monitor
Door de Antwerpse monitor te optimaliseren, is het doel ervoor te zorgen dat:

• de indicatoren van de strategische cyclus zo zuiver en valide mogelijk en met de meest optimale frequentie gemeten en gerapporteerd worden;
• meer Antwerpenaars de vragenlijst invullen (responsgraad verhogen);
• meer diverse Antwerpenaars deelnemen (respons verbreden);
• de resultaten beter en ruimer gebruikt worden, zowel binnen als buiten de stedelijke organisatie.

Omdat het stadsbestuur beslist heeft om meer digitaal te werken, wordt ook bekeken welke mogelijkheden er zijn om deze lijn door te trekken in de Antwerpse monitor, met behoud van wetenschappelijkheid (representativiteit, validiteit en betrouwbaarheid), neutraliteit en objectiviteit.

1. Aanbevelingen om de responsgraad te verhogen
Om ervoor te zorgen dat meer Antwerpenaren aan de enquête deelnemen, heeft de cel marktonderzoek binnen de bedrijfseenheid ondernemen en stadsmarketing, samen met de studiedienst stadsobservatie en Made4it (het onderzoeksbureau dat de stad bij marktonderzoek begeleidt) onderzocht welke mogelijke acties kunnen worden ondernomen. Deze acties worden hieronder kort besproken.

1.1 De vragenlijst aanpassen
Een aanbeveling is om de vragenlijst in te korten. Om de vragenlijst in te korten en om te bepalen welke indicatoren al dan niet en via welke frequentie in de Antwerpse monitor gemeten kunnen worden, zijn de volgende criteria gevolgd:

• opportuniteit: moet de indicator behouden blijven in functie van
  - meten en rapporteren van doelstellingen beleids- en beheerscyclus;
  - door andere overheden vereiste rapporteringen;
  - specifieke rapportagenoden, gebruikte indexen (zoals bijvoorbeeld de leefbaarheidsindex);
  - relevante achtergrondkenmerken van de respondent voor profielanalyses, segmentaties en contextinformatie;
• validiteit: wordt met die indicator/vraag wel degelijk gemeten wat men wil meten, is de meting zuiver?
• variatie: is het een indicator die sterk varieert en dus permanent gemeten moet worden?
• frequentie: leunt sterk aan bij criterium variatie; wat is meest ideale frequentie van rapporteren van de indicator;
• geografische spreiding: is het opportuun om de indicator tot op buurtniveau te analyseren?
• trendanalyse: zijn er indicatoren waarvan men wil nagaan of ze dalende of stijgende trends vertonen;
• meetmethode: kan/moet de indicator op een andere manier, via een ander meetinstrument gemeten worden?
• doelgroep: is de doelgroep van de indicator 'alle Antwerpenaren van 16 tot 80 jaar', met andere woorden, kan elke inwoner van de stad de vraag beantwoorden, ongeacht zijn woonplaats, leeftijd, enzovoort.

Op basis van deze criteria, komt men tot vijf categorieën van de huidige vragen in de Antwerpse monitor:

• categorie 1: vaste vraag die permanent vast behouden blijft, omwille van kwartaalindicatoren in de beleids- en beheerscyclus, basis van berekening van de leefbaarheidsindex en andere parameters zoals ambassadeurschap, sociale cohesie en dergelijke;
• categorie 2: vraag die tot nu permanent (in elke golf) vast in de monitor zat en die vanaf 2014 als ad hoc vraag wordt meegenomen;
• categorie 3: vaste vraag die om het andere jaar vast in elke golf meegenomen wordt, zodat om het andere jaar op die indicator kan gerapporteerd worden en ook ruimere analyses op die vraag kunnen gedaan worden;
• categorie 4: tot nu toe vaste vraag die via een andere methode gaat gemeten worden;
• categorie 5: te schrappen vraag omdat ze zelden of nooit gebruikt werd, noch voor rapportering, noch als achtergrondkenmerk.

Daarnaast worden de nieuwe indicatoren, bepaald in functie van de rapportering op de doelstellingen, opgenomen in de vragenlijst en blijft er (beperkte) ruimte om dringende onderzoeksvragen ad hoc, in één of twee golven, in de Antwerpse monitor op te nemen.

Hieronder volgt het voorstel van indicatoren per categorie: 

Categorie 1: 

• mening over wonen in Antwerpen en uw buurt;
• mening over voldoende aanbod buurtvoorzieningen;
• mening over buurt als woonomgeving;
• mening over evolutie leefkwaliteit in uw buurt en in Antwerpen;
• mening over evolutie werkgelegenheid in Antwerpen;
• hoe gelukkig in het algemeen;
• vrijetijdsbesteding (bib, musea, sport, boeken lezen,...);
• kennis van en deelname aan activiteiten en evenementen afgelopen twee maanden;
• verplaatsingsgedrag;
• mening over properheid stad en straat;
• mening over inspanningen stad en buurtbewoners voor propere straten;
• veiligheidsgevoel in buurt en stad;
• inschatting risico op slachtofferschap;
• last van specifieke problemen in de buurt (geluidsoverlast, graffiti,...);
• mediagebruik en digitaal mediagebruik;
• tevredenheid stadsbestuur;
• verhuisintentie en redenen;
• socio-demografica: geslacht, geboortejaar, postcode woonplaats, gezinssituatie, opleidingsniveau,...;
• open vraag;
• opt-in voor online onderzoekspanel.

Categorie 2:

• imago stad Antwerpen: één golf per jaar;
• kennis en contact wijkagent: één golf om het jaar of minder frequent;
• kennis en gebruik infolijn, Blauwe Lijn, ombudsvrouw, sluikstortlijn, telefonisch loket en e-loket: om de drie golven;
• waardenvraag (Schwartz): één golf om de twee jaar of minder frequent;
• werkgeverstevredenheid: hoe graag zou je werken bij stad Antwerpen, politie, ...: één golf per jaar of minder frequent.

Categorie 3:

• bezit en gebruik A-kaart;
• tevredenheid over verschillende levensaspecten (leven in het algemeen, woning, buurt, inkomen, tijdsbesteding, gezondheid, sociale contacten).   

Categorie 4:

• de campagnes (herinnering, media, call-to-action, appreciatie, ...): via specifieke campagnemetingen op het online stedelijk onderzoekspanel dat via de opt-in wordt opgebouwd.

Categorie 5:

• tevredenheid over hoeveelheid vrije tijd.

1.2 Resultaten communiceren
De vraag naar de resultaten van de enquête en over wat de stad ermee doet, keert vaak terug in de open antwoorden van de respondenten. De stad vraagt uiteindelijk een serieuze inspanning van de Antwerpenaar om de vragenlijst in te vullen, die via communicatie zouden kunnen gevaloriseerd worden.

De communicatie over de resultaten van de Antwerpse monitor enerzijds en over wat de stad ermee doet anderzijds, kan een hefboom zijn om de respons te verhogen. Op die manier merken de bewoners dat de stad daadwerkelijk aan de slag gaat met de resultaten van de enquête waar ze aan deelnamen.

Voorstellen:

• jaarrapporten op de website publiceren;
• beschikbaar stellen van rapporten en van de data via de buurtmonitor;
• bij communicatie over maatregelen van stadsdiensten die genomen worden op basis van resultaten van de Antwerpse monitor, dit ook zo vermelden in de communicatie;
• mogelijkheden A-platform onderzoeken:
  - wie interesse heeft in cijfers en resultaten, bijvoorbeeld de actuele rapporten van de Antwerpse monitor en actualisatie van de buurtmonitor bezorgen;
  - zoeken naar nieuwe manieren om resultaten en kerncijfers weer te geven, zoals bijvoorbeeld via infografieken, interactieve toepassingen, enzovoort.

1.3 Concrete meldingen aanpakken
Een aantal respondenten melden in hun open antwoord een concreet probleem in hun straat of buurt. Als deze concrete problemen doorgegeven worden aan de infolijn, dan kunnen ze ook opgelost worden.

Voorstel:

• één maal per week de open vraag bekijken uit de online ingevulde enquête en de concrete meldingen direct doorgeven aan de infolijn;
• na invoer van de papieren vragenlijsten de concrete meldingen er uit halen en doorgeven aan de infolijn.

1.4 Niet weerhouden acties
Volgende acties die de respons kunnen verhogen, werden nog onderzocht, maar werden geadviseerd om niet uit te voeren omwille van nadelige neveneffecten en te hoge kostprijs:

• werken met incentives of materiële beloningen;
• werken met herinneringen;
• face-to-face bevraging van de non-respons.

2. De respons verbreden
Om de respons te verbreden, worden voorlopig nog geen bijkomende acties ondernomen. Er wordt van uitgegaan dat de hierboven voorgestelde acties om de respons te verhogen, ervoor zullen zorgen dat de groepen die nu minder bereikt worden, ook meer zullen deelnemen.

3. Digitaal invullen van vragenlijst stimuleren
Het stadsbestuur kiest ervoor om meer digitaal te gaan werken, zeker ook in de communicatie met de bewoners.

Digitaal is de norm, wat echter niet zomaar door te trekken is naar marktonderzoek. Streefdoel is een zo representatief mogelijk onderzoek, wat inhoudt dat je moet werken met een zo representatief mogelijke steekproef. Dit wil zeggen dat elk lid van de populatie (bij de Antwerpse monitor is dit alle inwoners van 16 tot 80 jaar) evenveel kans moet hebben om in de steekproef terecht te komen. De enige manier om dit te bereiken, is door een steekproef ad random of willekeurig te trekken uit het bevolkingsregister en deze mensen aan te schrijven. Tot nu toe beschikt het bevolkingsregister enkel over adresgegevens als contactpunt. Zolang niet iedereen digitaal via een persoonlijk e-mailadres te bereiken is, is het niet aangeraden om voor de Antwerpse monitor volledig digitaal te gaan.

Wat wel een optie is, is om de respondenten te stimuleren om de vragenlijst die op papier toekomt, digitaal in te vullen. Deze mogelijkheid is nu al voorzien, maar tot nu toe wordt daar weinig gebruik van gemaakt. Wel is er stilaan een lichte toename van het aandeel respondenten dat online invult: van 13 à 15% in 2010 naar 17 à 19% in 2013.

Voorstel:
respondenten stimuleren de enquête online in te vullen door hiervoor wel een incentive te geven. Er wordt geopteerd voor een incentive die geen directe winst of materiaal voordeel voor de respondent zelf oplevert (omwille van de neveneffecten die hierboven werden beschreven bij het werken met incentives en omdat je hierdoor respondenten die de enquête niet online kunnen invullen, benadeelt).
Waar wel aan gedacht wordt, is een incentive ten voordele van een goed doel: per online ingevulde enquête schenkt het stadsbestuur 1,00 euro aan een goed doel. Dat goed doel wordt bepaald door het college en kan jaarlijks veranderen.

Op die manier bespaart men een deel op de kosten voor de retours en de data invoer van de papieren enquêtes. De oorspronkelijke kost van drukwerk en verzending blijft wel bestaan.
Wat wordt bespaard?

• huidige situatie: doordat 20% van de respondenten de vragenlijst online invult, wordt per jaar ongeveer 11.520,00 euro bespaard op kosten aan retours en data invoer;
• bij stijging online respons naar 30% wordt nog eens 4.224,00 euro extra per jaar bespaard. Hierbij is de schenking van 1,00 euro per enquête inbegrepen. De kostprijs van deze stimulans bedraagt bij 30% respons op 5.000 respondenten 1.500,00 euro aan een goed doel.   

4. Optimaal gebruik van de resultaten door de stadsdiensten
Door meer en betere interne communicatie over de resultaten van de Antwerpse monitor, wil men ervoor zorgen dat de stadsdiensten op een gebruiksvriendelijke manier hiermee aan de slag kunnen.

Voorstellen:

• grote rapporten van de Antwerpse monitor (jaarrapport, marktinzichten,...) op het digitaal medewerkersplatform plaatsen;
• de data ter beschikking stellen op de buurtmonitor via login, zodat medewerkers zelf aan de slag kunnen met basisanalyses;
• aanbevelingen formuleren (wat betekenen de cijfers voor mijn dienst en wat kan ik ermee doen);
• investeren in aantrekkelijke voorstellingswijzen (infografieken, interactieve toepassingen, ...);
• halfjaarlijkse rapportage van de open vragen aan het managementteam.