Steeds vaker worden culturele instellingen door hun subsidiegevers verplicht een bewijs te leveren van de impact van hun activiteiten. Voor zo’n effectmeting is in de bibliotheekwereld een methode ontwikkeld die ook bruikbaar is voor de erfgoedsector. Essentieel voor die methode is dat de gesubsidieerde organisatie zich in haar rapportage aansluit bij de specifieke doelen en termen van de subsidiegever en alleen de concrete directe effecten van haar activiteiten meet.
Gemeenten, provincies, of fondsen die culturele instellingen subsidiëren vragen bij de verantwoording van de subsidie veelal om aantallen van bijvoorbeeld voorstellingen of bezoekers. Steeds meer wordt daarnaast ook bewijs gevraagd van de maatschappelijke waarde die geleverd wordt, tegenwoordig vaak aangeduid als impact. Hoe dat bewijs eruit moet zien wordt vaak niet ingevuld. In een enkel geval wordt om meting van de klantentevredenheid gevraagd. De bewijslast ligt daarmee veelal bij de instellingen zelf. Dat is lastig, want impact is geen duidelijk gedefinieerd begrip en er is geen ingeburgerde methodiek voor het meten ervan. Toch kun je als organisatie maar beter zelf de regie nemen voor het meten van impact. Als je dat niet doet, loop je het risico van een subsidiegever die je maatschappelijke waarde niet erkent of onmogelijke eisen gaat stellen aan wat je moet gaan verantwoorden.
Dit vraagt om een methode voor de meting van de maatschappelijke opbrengsten (effecten) die jouw organisatie tot stand brengt, die eenvoudig is uit te voeren en die tegemoetkomt aan de eisen van je subsidiegever. Een dergelijke methode is in 2017 ontwikkeld door en voor bibliotheken. De methode is niet gebonden aan bibliotheken en is geschikt en beschikbaar geschikt voor iedere publieke organisatie die er gebruik van wil maken. De methode wordt hier kortweg aangeduid als ‘effectmeting’.
Effectmeting voor de publieke sector
Tijdens de ontwikkeling van de effectmeting kwam de werkgroep een voorbeeld tegen uit het Verenigd Koninkrijk waarmee de methode goed kan worden geïntroduceerd. Een museum lag aan de rand van een wijk met inwoners van verschillende culturele achtergronden. Zoals in veel van dergelijke wijken waren er de nodige vooroordelen over de inwoners met een niet-Britse achtergrond. Het museum is tegen deze achtergrond zijn programmering gaan aanpassen. Een van de eerste resultaten hiervan was een tentoonstelling over de culturele rijkdom van het oude Mesopotamië. Verschillende klassen van verschillende scholen kregen de gelegenheid deze tentoonstelling te bezoeken, begeleid met een gerichte rondleiding. Een effect dat van deze bezoeken werd verwacht was meer respect voor de culturele achtergrond van de bevolkingsgroepen in de wijk met een Arabische achtergrond. Dit werd gemeten met een korte vragenlijst vooraf en na afloop van het bezoek aan de tentoonstelling. De vragenlijst was samengesteld samen met de leerkrachten en bevatte een aantal typische kennisvragen. Tussen die vragen door waren 3 vragen opgenomen die het respect voor de genoemde bevolkingsgroepen probeerde te meten. Eén daarvan was bijvoorbeeld: ‘Welke woorden zou je gebruiken voor de Arabische cultuur?’. Er kon gekozen worden uit een aantal woorden of je kon zelf een woord invullen. Bij meer dan 95% van de kinderen die de vragen beantwoordden was er een positief verschil (meer respectvol) in de woorden die ze gebruikten als antwoord.
Geïnspireerd door dit soort voorbeelden is er een methode voor effectmeting ontwikkeld die zich kenmerkt door:
1. Aansluiting bij de doelen van de subsidiegever.
Dat betekent: de doelen en bijbehorende teksten van je organisatie niet leidend maken, maar je voor je metingen en rapportage aansluiten bij de specifieke doelen en termen van je subsidiegever.
2. Alleen meten wat je direct beïnvloedt met je activiteiten.
Dat betekent: je metingen niet koppelen aan abstracte doelen (‘sociale participatie’) of het kader van objectief, wetenschappelijk onderzoek, maar je richten op lokale en specifieke metingen.
3. Kleinschalig meten met zelfgemaakte instrumenten.
Dat betekent: geen grootschalig of langdurig onderzoek, maar eenvoudige, kleine metingen die aansluiten bij je aanbod.
De methode beschikt over hulpmiddelen voor bijvoorbeeld het ontwerpen van een meting, het maken van instrumenten voor metingen en het rapporteren van je resultaten. Binnen de culturele sector is effectmeting al toegepast, bijvoorbeeld bij een vereniging voor buurttheater. De gemeente die subsidie verleende had abstracte doelen als ‘zelfredzaamheid’. De theatervereniging is gaan meten in welke mate de deelnemers aan hun theater meer initiatief namen gedurende de ontwikkeling van hun voorstelling. Als instrument gebruikten ze een zelfgemaakte observatielijst, waarbij ze de deelnemers tijdens de voorbereiding van het stuk scoorden op zaken als: voorstellen doen, een klus oppakken, zichzelf aanbieden als vrijwilliger enz. Uit de scorelijst bleek bij de meerderheid van de deelnemers een duidelijke toename in initiatief nemen.
De methode gaat dus uit van het meten van directe effecten. De indirecte effecten blijven buiten beeld. Vertaald naar de erfgoedsector gaat het om voorbeelden in de blauw gekleurde delen van de effectenpiramide:
Figuur 1: De effectenpiramide
Toepassing van de methode in de erfgoedsector
Als we kijken naar toepassing van de methode effectmeting voor de erfgoed sector zijn er twee specifieke hindernissen. Ik loop ze kort langs en benoem op welke wijze de methode voor effectmeting kan helpen om deze hindernissen te overwinnen.
Hindernis 1: van doel naar effect
Bij het aantonen van de maatschappelijke waarde van erfgoed wordt het startpunt gevormd door erg abstracte doelen. De waarden van het Faro-verdrag (versterken van identiteit, saamhorigheid, kwaliteit van de leefomgeving) zijn zeer algemeen. De doelen van de Rijksdienst voor het Cultureel Erfgoed (voedingsbodem, uithangbord, ontmoetingsplaats, totempaal) bieden al iets meer houvast, maar ook hier is een vertaling naar concreet meetbare effecten nodig. Die vertaling lukt alleen als je, zoals in de effectenpiramide, durft af te dalen naar kleine directe effecten en je niet laat verleiden tot het bewijzen van de mate waarin erfgoed en erfgoedactiviteiten zorgen voor doelen als een hogere kwaliteit van leven. Die verleiding wordt bekrachtigd door het wetenschappelijke kader waarin de vraag naar het aantonen van de maatschappelijke waarde van cultuur en erfgoed vaak is gegoten.
Het overwinnen van deze hindernis vraagt om het inbrengen van een tweesprong: je meet alleen wat je direct tot stand brengt met je aanbod of activiteit, de relatie met de meer algemene doelen is een theoretisch aanname, je zogenaamde theory of change.
In de onderstaande figuur is een voorbeeld van de noodzakelijke beperking weergegeven.
Figuur 2: Wat kun je meten?
Hindernis 2: het doelgroepvraagstuk
Bij culturele activiteiten kan de doelgroep voor een effectmeting eenvoudig worden afgebakend tot de deelnemers aan die activiteit. Maar de waarde van erfgoed is niet altijd gebonden aan activiteiten; vaak gaat het om de bijdrage die erfgoed levert aan een hele gemeenschap of potentiële nieuwe toetreders tot die gemeenschap.
De eerste wijze waarop die hindernis kan worden overwonnen is meer te gaan samenwerken met partijen in de culturele en sociale domeinen en daar gezamenlijke activiteiten mee op te zetten. Het essay ‘Erfgoed als middel’ (2021) van Frans Soetenbroek bevat daar prachtige voorbeelden van. Je doelgroep wordt dan gevormd door de deelnemers aan één of meer activiteiten.
Een tweede manier om deze hindernis te overwinnen is een pragmatische inperking van je doelgroep, gekoppeld aan de wijze waarop je gaat meten. Als je met een korte vragenlijst wilt meten in welke mate een bepaald erfgoed bijdraagt aan de verbinding met een buurt of regio kun je je beperken tot één of meer straten waar je een vragenlijst verspreidt. Of je kunt korte interviews houden met iedere tiende bezoeker van een erfgoed.
Ter afsluiting
Ter illustratie van de bruikbaarheid van de methode voor effectmeting voor het aantonen van de maatschappelijke waarde van erfgoed sluit ik af met een voorbeeld. Tijdens een workshop effectmeting, waarin de methode werd geïntroduceerd bij professionals in de cultuursector, werd de volgende casus ingebracht:
In een gemeente was een aantal wijken met een sterk verouderende bevolking. Bij die ouderen kwam veel eenzaamheid voor. Een buurthuis wilde de eenzaamheid bij ouderen in hun buurt tegengaan. De medewerkers organiseerden daarvoor, samen met een museum, aan de rand van de wijk een fototentoonstelling over de geschiedenis van de wijk. Daarvoor zijn in de wijk huis aan huis mensen gevraagd of ze foto’s hadden waarop te zien was hoe de buurt vroeger was. In een serie bijeenkomsten is met de mensen die foto’s hadden een selectie gemaakt en zijn de bijbehorende verhalen verzameld. Zowel de bijeenkomsten als het bezoek aan de tentoonstelling zorgden voor erg veel onderlinge contacten tussen ouderen. Voor de effectmeting zijn die gemeten met een vragenlijst en gerapporteerd aan de subsidiërende gemeente.
