Opiniestuk door Durk Bosma, eerder gepubliceerd op marketingfacts (7-3-2023)
Binnenkort is het weer zover. Het Zweedse onderzoeksbureau Sustainable Brand Index (SBI) presenteert op 23 maart de uitkomsten van haar jaarlijkse onderzoek naar hoe duurzaam consumenten Nederlandse merken vinden. Waarschijnlijk zitten er een paar glunderende CEO’s aan tafel om te horen dat ze (weer) gewonnen hebben. Maar zouden ze wel zo blij moeten zijn?
Er is al enige jaren stevige kritiek op het onderzoek. Zie ook deze uitzending van het televisieprogramma Propaganda, dat zich afvroeg waarom Albert Heijn weer de winnaar was. Vorig jaar deed de Reclame Code Commissie een belangrijke uitspraak (ook over Albert Heijn), die het verdienmodel van SBI op losse schroeven zet.
Als SBI geen fundamentele verbeteringen aan haar onderzoek heeft doorgevoerd in 2023, kunnen alle verkozen winnaars die hierover communiceren, op hun vingers getikt worden door de Reclame Code Commissie
De uitspraak van de Reclame Code Commissie gaat niet alleen over Albert Heijn en Sustainable Brand Index. De implicaties zijn veel groter. Want vaak worden lijstjes gepubliceerd van de duurzaamste, de meest klantvriendelijke, etc.. De aandacht die zo’n verkiezing oplevert is natuurlijk heel prettig voor de winnaars en voor degene die het lijstje publiceert. Maar tegelijkertijd niet zo prettig voor degenen die niet op het lijstje staan. En vooral niet voor de consumenten die op basis van een dergelijk lijstje hun keuzes bepalen.
Iedereen met een beetje verstand van onderzoeksmethodologie, verbaast zich wel vaker over de gebrekkige kwaliteit van het onderzoek op basis waarvan dergelijke lijstjes worden geproduceerd. Maar SBI maakt het wel heel bont. De kritiek op hun methode op een rijtje:
- Hoe duurzaam een merk wordt gevonden, wordt vastgesteld op basis van slechts 2 vragen die aan een steekproef van consumenten worden voorgelegd. Daarbij worden de antwoorden ‘ goed’ en ‘heel goed’ ook nog eens op 1 hoop wordt gegooid. Een flinterdunne score dus.
- De vragen worden (ook) gesteld aan mensen die een merk alleen van naam kennen (en dus niets kunnen zeggen over hoe duurzaam het merk is).
- Er wordt een winnaar uitgeroepen, ook al is er geen sprake van een statistisch significant verschil met de nummer 2. Oftewel, we weten niet eens zeker of de winnaars wel winnaars zijn. Het uitroepen van een winnaar is publicitair interessanter dan een gedeelde winnaar, maar mag dus niet volgens de regels van goed onderzoek.
- De keuze van de merken die worden meegenomen in het onderzoek, is gebaseerd op vage criteria. Dit betekent dat er sprake kan zijn van willekeur bij de keuze (of juist dat er strategisch wordt gekozen). Bij de supermarkten leidt het ertoe dat een duidelijke kandidaat voor de winst, Ekoplaza, niet in het rijtje stond tot dusverre. Laat duidelijk zijn, welke merken meedoen, bepaalt uiteindelijk wie er wint. Ook duidelijk is dat een klein merk dat heel duurzaam is, door deze selectieprocedure nooit het meest duurzame merk kan worden.
- Het is voor consumenten niet direct duidelijk welke merken in een bepaalde sector wel of niet zijn meegenomen. Terwijl de consumenten ervanuit mogen gaan dat in elk geval alle relevante merken zijn meegenomen. In het geval van de supermarkten zou je mogen verwachten dat Ekoplaza meegenomen is, waardoor er sprake kan zijn van misleiding als Albert Heijn claimt het duurzaamst gevonden te worden.
De nieuwe richtlijnen die SBB heeft opgesteld over het communiceren over ‘winst’, lijken zich niets aan te trekken van de bovenstaande kritiekpunten. De richtlijnen gaan vooral over het feit dat men wordt geacht te melden dat het om de perceptie van consumenten gaat (en niet om daadwerkelijke duurzaamheid).
Een klacht bij de Reclame Code Commissie leverde vorig jaar een berisping op voor Albert Heijn*. De RCC stelt onder meer het volgende: ‘Wanneer een adverteerder een titel als “winnaar” gebruikt in een uiting of campagne, dan rust op adverteerder de verantwoordelijkheid om zich, in het kader van de professionele toewijding, ervan te vergewissen dat een dergelijke uitkomst en het onderliggende onderzoek wel kloppen. Dit geldt naar het oordeel van de Commissie temeer als het, zoals in dit geval, gaat om een onderzoek op het gebied van een actueel onderwerp, duurzaamheid, en de voor adverteerder gunstige uitkomst vervolgens wordt gebruikt in reclame waarbij direct dan wel indirect wordt aangehaakt bij de bijdrage van adverteerder aan het handhaven en bevorderen van een schoon en veilig leefmilieu in het algemeen. Aan dergelijke reclame worden strenge eisen gesteld op het gebied van aantoonbaarheid.’
Oftewel, Albert Heijn had zich beter moeten verdiepen in de kwaliteit van het uitgevoerde onderzoek en zich de vraag moeten stellen of het onderzoek wel goed genoeg was. Vooral omdat het om een claim op het gebied van duurzaamheid gaat.
Nuttige rankings die wel goed zijn
Rankings zijn nuttig omdat ze organisaties in beweging kunnen krijgen. Maar dan moeten die rankings wel gebaseerd zijn op gedegen en transparant onderzoek. En alle relevante merken moeten worden meegenomen. Bovendien moet de manier waarop resultaten worden gepresenteerd recht doen aan de beperkingen die aan surveyonderzoek kleven. Wie daar geen rekening mee wil houden, houdt de boel voor de gek.
En dit is dan ook mijn pleidooi, gericht aan alle marketeers die werkzaam zijn bij een merk dat als ‘winnaar’ uit de bus komt bij een dergelijke verkiezing. Ga, voordat je enthousiast een persbericht gaat typen, met een onderzoeksexpert aan tafel zitten om een oordeel te vellen over de kwaliteit van het onderzoek dat ten grondslag ligt aan de winst. In veel gevallen zul je er helaas achter komen dat het onderzoek onvoldoende is. Als je een dergelijke controle nalaat, loop je de kans het deksel op je neus te krijgen zoals dat bij Albert Heijn is gebeurd.
*De uitspraak heeft slechts betrekking op het feit het verschil tussen de nummer 1 en 2 in de supermarkten, te klein was en geen statistisch significant verschil bleek. De andere argumenten zijn niet eens meegenomen in het oordeel van de RCC.
