Mäter ni för att kunna rapportera en siffra eller för att kunna fatta välgrundade strategiska och operativa verksamhetsbeslut?

Av: Alf Brydolf-Berg, VD

Valet av svarsskala kan avgöra vilken kunskap ni får ut av era kundundersökningar

Inledning

Jag har arbetat med kund- och hyresgästundersökningar i många år. En fråga som jag återkommer till gång på gång är varför så många organisationer lägger så stort fokus på resultatet, siffran, men betydligt mindre fokus på hur resultaten faktiskt tas fram och mäts.

Det är naturligtvis ganska förståeligt. Det är ju resultatet som kunden/beställaren av undersökningen ser och det är resultatet som hamnar i årsredovisningen, rapporten till styrelsen, ledningsgruppen och i verksamhetsplanen. Men det väcker samtidigt en viktig fråga:

Ska undersökningen reduceras till en siffra, ett nyckeltal eller är vårt syfte med undersökningen att förstå kunderna och fatta bättre beslut. Om vi har ett större syfte med vår undersökning borde vi inte då rikta större uppmärksamhet mot själva mätinstrumentet och hur väl det uppfyller våra möjligheter att just kunna fatta välgrundade beslut?

Alla pratar om siffran. Få pratar om hur de skapas.

I många kundundersökningar redovisas kundnöjdheten som andelen nöjda kunder och resultaten uttrycks som ett procenttal.

Det är enkelt, det är tydligt, det är lätt att kommunicera och det finns absolut situationer där det är precis vad man behöver. Men samtidigt finns det också en intressant observation att göra.

Oavsett bransch, organisation eller marknad hamnar ofta resultaten inom ett relativt smalt intervall när man räknar andel / procent nöjda kunder. I fastighetsbranschen där jag i stor utsträckning verkar är det vanligt att man – särskilt bland bostadsbolag – mäter andel nöjda kunder. I de mätningarna ligger vanligen ”kundnöjdheten” på cirka 81 procent med en variation mellan bolagen på ungefär 3-4 procentenheter, dvs. mellan 77 och 85 procent nöjda kunder. Det här gäller företag som fungerar bra såväl som företag som brottas med ganska tydliga utmaningar.

Det här borde dock få oss att stanna upp och fundera.
Om kundupplevelsen egentligen skiljer sig åt, varför ser då resultaten så lika ut?

Den bedrägliga procenten

Bristen på variation ligger sällan i att det inte finns faktiska skillnader att studera utan i hur undersökningen från början har konstruerats och därmed resultaten kan beräknas.

I många undersökningar definieras ”nöjda kunder” som de respondenter som valt de högsta svarsalternativen på en relativt kort svarsskala. Resultatet sammanfattas sedan till ett procenttal.

Här händer det något intressant. När man sammanfattar svaren på detta sätt reduceras informationen till ett enda tal som blir ganska trubbigt. Det man i praktiken gör är att man tar bort huvuddelen av variationen i svaren. Man förlorar alltså precisionen som varje enskilt svar ger.

Två organisationer kan därför få nästan identiska resultat trots att kundernas upplevelser skiljer sig betydligt mer åt än vad siffrorna antyder. Det betyder inte att procenttalet i sig är fel men det betyder att denna undersökningsdesign kan vara begränsad som analysverktyg.

När förbättringar inte syns

Den kanske viktigaste konsekvensen uppstår när resultaten ska användas för utveckling och beslut.

Jag hör ibland kommentarer som:

”Vi har gjort omfattande förbättringsinsatser men kundnöjdheten står still.”

Eller:

”Vi har investerat mycket resurser, men ser ingen effekt i resultaten.”

Det kan naturligtvis bero på att insatserna inte fungerat. Men det kan också bero på att mätningen inte är tillräckligt känslig för att fånga förändringarna. Om undersökningen är designad för att redovisa ett övergripande procenttal blir det svårare att upptäcka mindre förflyttningar i kundernas upplevelse. Då uppstår också en ganska viktig fråga:

Om verkligheten förändras genom att vi genomför förbättringsinsatser utan att måttet reagerar, är det då våra insatser vi ska ifrågasätta eller borde vi ifrågasätta måttet?

”Förändringen finns där. Men måttet 81,1% fångar inte förbättringen.”

Vad säger forskningen?

Den vetenskapliga forskningen kring svarsskalor är omfattande. En av de mest citerade studierna genomfördes av Preston och Colman (2000).

Deras slutsats var inte att korta svarsskalor är fel. Men de visade att skalor med fler svarssteg generellt gav högre tillförlitlighet, bättre diskrimineringsförmåga dvs. precision och större möjlighet att särskilja olika uppfattningar.

Andra forskare har kommit fram till liknande slutsatser som visar att kortare svarsskalor ger grövre resultat som minskar precisionen och möjligheten att upptäcka såväl skillnader i respondenternas uppfattningar som förändringar över tid.

Det här är på intet sätt kontroversiellt utan fullt logiskt och samma princip gäller egentligen för alla typer av mätinstrument.

Om du skulle bygga ett hus, skulle du då använda en tumstock som saknade millimetermarkeringar och bara hade centimetermarkeringar?

Förmodligen inte.

Att bara använda centimeter som mått är inte nödvändigtvis fel. Men en högre precision ger bättre förutsättningar att göra rätt från början och att undvika risken att bygga in skevheter och svagheter i konstruktionen.

Ändå accepterar många att resultaten i deras kundundersökningar bygger på svarsskalor som grovt komprimerar kundernas upplevelser till ett fåtal kategorier. Resultatet blir ett beslutsunderlag med lägre upplösning, där viktiga skillnader mellan kunder, verksamheter och tidsperioder riskerar att gå förlorade.

Undersökningen som kommunikationsverktyg eller beslutsunderlag – kan man få både delarna?

Som jag försökt beskriva är det inte fel att använda korta svarsskalor och redovisa resultaten som andel nöjda kunder. Men vi förlorar många nyanser och mycket information om vad kunderna tycker längs vägen. Som kommunikationsverktyg är måttet ”81 procent nöjda kunder” alldeles utmärkt men för en djupare analys av vad som faktiskt driver kundnöjdheten, var vi ska sätta in våra förbättringsåtgärder eller göra våra investeringar är måttet vanskligt som beslutsunderlag.

Men det är ingen naturlag att vi måste välja mellan ett mått som är enkelt att kommunicera eller undersökningsresultat som kan ge stabila underlag för välgrundad analys och beslut. Faktum är att det finns etablerade metoder som klarar båda uppgifterna samtidigt. Den vanligast använda metoden och undersökningen är Nöjd Kund Index (NKI). NKI bygger på bredare svarsskalor (vanligen 9 eller 10 gradig skala) och möjliggör analyser av drivkrafter, samband och förändringar över tid.

Samtidigt som metodiken för NKI-undersökningar innehåller en analys av drivkrafterna för kundnöjdheten så sammanfattas resultaten i ett tydligt och vedertaget nyckeltal som är enkelt att kommunicera till ledning, styrelse, medarbetare och kunder. Nöjd Kund Index (NKI) som mått kan naturligtvis mätas fristående och användas för kommunikation men blir ett mer kraftfullt verktyg för analys och beslut om man även studerar övriga kvalitetsfaktorer som undersöks på samma svarsskala och med samma metod.

I grunden handlar alltså inte valet av undersökningsdesign om möjligheten att kommunicera kundnöjdheten eller att få underlag för djupare analys och beslut. Det handlar helt enkelt om att välja en undersökningsdesign som klarar båda.

”Du behöver inte välja.”

Från mätning till beslutsunderlag

Självklart vill vi veta hur nöjda våra kunder är när vi bestämmer oss för att göra en kundundersökning. Men den intressanta frågan är kanske inte till att börja med hur nöjda kunderna är utan vad vi faktiskt vill använda kunskapen om kundnöjdheten till och hur vi vill använda denna kunskap.

Om målet är att förstå vad som driver kundnöjdheten, prioritera förbättringsinsatser, fatta investeringsbeslut eller styra verksamheten – då måste undersökningen designas för det syftet redan från början. Då blir frågor om svarsskala, analysmetod och datakvalitet plötsligt strategiska frågor och inte en teknisk detalj som vi bara överlåter till den som ska genomföra undersökningen.

Många företag lägger stora resurser och stor energi på sina kundundersökningar.  Jag tror att det ibland skulle vara värdefullt att stanna upp fundera över och diskutera…

…har vi valt en undersökningsdesign som ger oss den precision som våra beslut faktiskt kräver?

För i slutändan avgör inte bara resultaten vilka beslut vi fattar.

Även sättet vi väljer att mäta formar vilka beslut som är möjliga att fatta.

Referenser

• Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales: reliability, validity, discriminating power, and respondent preferences. Acta Psychologica, 104(1), 1–15.
• Krosnick, J. A., & Presser, S. (2010). Question and Questionnaire Design.
• Dawes, J. (2008). Do data characteristics change according to the number of scale points used? International Journal of Market Research, 50(1), 61–77.