Hur avslöjar man en charlatan? Del 2/2

Mitt första blogginlägg om charlataner handlade om hur människor fattar beslut när det inte finns tillräckligt med kunskap, eller motivation, för att sätta sig in i ett komplicerat problem. Jag tog bland annat upp forskaren Robert Cialdinis beslutsmodell. Du kan läsa första delen här.

När vi köper in kunskapstjänster, som till exempel utbildning, rekrytering, mjukvaruutveckling, supporttjänster, administrativa tjänster, designtjänster, process- och organisationsförbättring, köper vi ofta tjänster vi vet väldigt lite om. Det gör det väldigt svårt att avgöra om vi köper en bra tjänst eller inte.

Ofta vet vi inte ens efteråt, därför att vi inte har några andra resultat att jämföra med. Även om vi gör en jämförelse, vet vi inte om vi jämför med någonting bra.

Det här gör det väldigt lätt för rena charlataner att smyga sig in. Det skall sägas, att de flesta som säljer dåliga, eller helt fejkade, tjänster vet själva inte om att de gör det. De jobbar för att klara brödfödan, och säljer någonting folk vill köpa. Om deras produkt fungerar eller inte, det har de aldrig funderat över ett ögonblick.

Jag skall ge två konkreta exempel.

Först, Net Promoter Score (NPS), senare omdöpt till Net Promoter System. År 2003 skrev management-experten Fred Reichheld en artikel för Harvard Business Review, "One Number You Need to Grow", där han beskrev ett enkelt sätt att mäta kundlojalitet.

Enligt Reichheld är kundlojalitetsfaktorn mycket starkt korrelerad med lönsamhet. Enligt Reichheld är NPS faktiskt bättre än allting annat, när det gäller att mäta kundlojalitet och förutsäga tillväxt.

Det behövs bara en fråga för att mäta kundlojaliteten: "På en skala från 0-10, hur sannolikt är det att du skulle rekommendera en vän att använda vår tjänst/produkt?"

Ofta följer man upp med ytterligare en öppen fråga om varför kunden svarade som han gjorde på första frågan. Den 11-gradiga skalan räknas om till en tre-gradig klassning: Detractors/Neutral/Promoters, vilket ger ett enkelt sätt att presentera resultat.

NPS används bland annat av E.ON, Apple Services och American Express. Reichheld forskar vid Bain & Company, en av världens mest prestigefyllda konsultfirmor.

Klappat och klart! Vi har sociala bevis: Några av världens framgångsrikaste företag använder NPS. Vill vi bli som de, skall vi förstås göra likadant. Dessutom är Reichheld en auktoritet. Det är inte vem som helst som får skriva för Harvard Business Review. Han har dessutom skrivit flera böcker och har ett toppjobb på B & C. Dessutom är NPS enkelt, bara två frågor. Farväl tjocka enkäter som ingen orkar svara på...

NPS är också väldigt poppis bland exekutiva chefer världen över. Jag använder själv en metod baserad på NPS när jag gör vissa typer av mätningar.

Men...och det är ett stort MEN, det finns anledning att tänka till och vara försiktig med NPS, annars kanske man inte får riktigt de framgångar man väntar sig.

Om man googlar lite, och läser på Wikipedia och andra ställen, får man reda på att:

* När man kalkylerar NPS-poäng, komprimeras den ursprungliga 11-gradiga skalan till en 3-gradig skala, vilket gör att mycket information går förlorad.

* Andra forskare har inte kunnat replikera Reichhelds resultat. Enligt en rapport av Timothy L. Keiningham, Bruce Cooil, Tor Wallin Andreassen och Lerzan Aksoy, ger NPS resultat som är jämförbara med ACSI (American Customer Satisfaction Index), men de påpekar också att korrelationen mellan kundlojalitet och tillväxt är mycket svagare än Reichheld har sagt.

* Mätskalan påverkar hur folk ger poäng, och hur väl poängen förutsäger faktiska rekommendationer. En 11-gradig skala gör att folk ger lägre poäng än en 5- eller 7-gradig skala, och har även sämre korrelation med faktiska rekommendationer, enligt en rapport som heter "Measuring Customer Satisfaction and Loyalty: Improving the 'Net-Promoter' Score" av Daniel Schneider, Matt Berent, Randall Thomas och Jon Krosnick

Det tar ca 10-15 minuter att hitta och läsa igenom den här informationen på Google. Väl använd tid, om man funderar på att använda NPS. Det är ju faktiskt meningen att man skall använda NPS för att fatta avgörande beslut om företagets framtid. Förståelse för NPS begränsningar kan vara skillnaden mellan att vinna eller försvinna.

Men, det finns mer. Den som kan googla kommer långt, men den som fått en grundläggande management-utbildning kommer längre:

Edward Deming, en av 1900-talets största tänkare inom management, definierade, utifrån vad en chef förväntas göra, vilka kunskaper en chef behöver. Enligt Deming måste en chef kunna följande:

• Systemtänkande (den vetenskapliga disciplinen, inget flummande)
• Variationslära
• Psykologi
• Kunskapslära

Låt oss använda insikter från Demings kunskapssystem för att utvärdera NPS:

Till att börja med ser vi organisationer som komplexa system. Det kan finnas många orsaker till att ett komplext system inte fungerar, och det syns inte alltid utifrån vad orsaken är. Att påstå att vi kan mäta hur frisk en organisation är med en enda mätpunkt, är ungefär som att påstå att vi kan mäta hur frisk en människa är med en enda mätpunkt.

Föga sannolikt! Det betyder inte att vi skall låta bli att mäta kundlojalitet med NPS, det betyder bara att vi knappast kan komma undan med att bara mäta kundlojalitet. Det kan faktiskt vara bra att mäta kundlojaliteten på mer än ett sätt, eftersom vi kan hitta mätfel genom att jämföra mätningarna.

Sedan använder vi våra kunskaper i variationslära. Vi ser direkt att det är hål i huvudet att reducera en 11-gradig skala till en 3-gradig. Vi tappar massor med information om förändringar i kundlojaliteten.

Om vi istället använder ett processkontrolldiagram, en baggis eftersom vi kan variationslära, så kan vi upptäcka mindre variationer, vilket gör det lättare att åtgärda problem, eller ta tillvara tillfällen, på ett tidigt stadium.

Vi kan också dra slutsatsen att man borde vara lite mer påläst på Harvard Business Review. (Lustigt nog en observation som även Dave Snowden, upphovsman till Cynefin, gjorde när han var keynote-talare vid XP 2012. Jag var där för att filma honom, och hade turen att få en kort pratstund.)

Vi kan också få insikter från våra kunskaper om psykologi och kunskapslära, men jag skall inte gå in på det nu. Poängen är redan klar:

Med Google, ett bra baspaket med grundkunskaper, och lite kritiskt tänkande, kommer man rätt långt.

Lägg märke till att vi har inte dömt ut NPS. Vi har skalat bort en massa hype, och rättat till ett grovt räknefel. Efter de fixarna (plus en psykologisk fix som jag lämnar åt den ambitiöse läsaren), så är NPS riktigt användbart.