Kan man lita på de sociala medieanalysverktygen?
Just nu sker en enorm utveckling inom området för övervakning av företags sociala medienärvaro. Det finns ett antal olika verktyg för detta och vi kommer förmodligen få se fler aktörer och definitivt bättre och bättre verktyg.
Men det finns också en risk att vi tillåter oss att tro för mycket på avlyssningsverktygen. Den risken ligger främst i de automatiserade processer som ofta finns inbyggda i verktygen. Ett av de tydligaste exemplen på detta är det som på engelska kallas sentiment, som innebär att programmet försöker avgöra ifall ett varumärke omnämns i positiva, negativa eller neutrala ordalag.
Tanken är god. För visst vore det praktiskt att enkelt kunna se att hälften av alla som nämner ditt varumärke på nätet är positiva till det, 25 % negativa och resten neutrala? Problemet är naturligtvis att vetenskapen ännu inte på långa vägar är i närheten av att tämja språkets komplexitet och få ner det till fungerande matematiska formler.
Låt oss ta ett exempel. Säg att något skriver “Jag älskar SJ!!!” på twitter. Ett lättolkat inlägg kan tyckas, det måste ju ändå bedömas som positivt. Och de flesta avlyssningsverktygen skulle förmodligen göra det också. Men säg att tweeten är ett svar på en väns tweet där denne skrivit “Nu har jag väntat 2 timmar på mitt tåg”. Är tweeten då fortfarande uppenbart positiv?
Men trots ironier, överdrifter, underdrifter och andra språkliga figurer kan säkert sentiment tillämpas med relativt pålitliga resultat på korta statusuppdateringar. Komplexiteten ökar dock markant när verktyget ska avlyssna och bedöma blogginlägg, forumdiskussioner och andra förekomster på nätet. Tänk er följande blogginlägg:
“Jag har rest med SJ i snart 20 år. Servicen brukar vara bra på tågen, jag gillar verkligen att det är ett miljövänligt resande och man får se mycket natur. Men vad spelar det för roll när man ALDRIG kommer fram i tid?”
Bryter vi ner det inlägget ser vi att det består av en neutral mening (”Jag har rest med SJ i snart 20 år”), en mening med tre positiva satser (”Servicen brukar vara bra … får se mycket natur”) och en negativ mening (”Men vad spelar det för roll när man ALDRIG kommer fram i tid?”). I det här fallet skulle ett avlyssningsverktyg förmodligen räknat stycket som neutralt. Det brukar vara standard om verktyget stöter på motsägelser som gör det osäkert. Enligt ett företag i branschen har sentimenten en felmarginal på 25 %, det vill säga att i tre fjärdedelar av fallen gör verktygen en korrekt bedömning. Men bör man inte egentligen räkna in alla neutrala omdömen i felmarginalen också? Det går ju inte att veta hur många av dessa som verkligen är neutrala och vilka som inte går att fastställa som positiva eller negativa.
Och då har vi ändå bara nosat lite på de eventuella felmarginalerna. För att få en rättvis bild av tyngden i ett positivt eller negativt omdöme måste vi till exempel veta vem som har gjort yttrandet. Är det en branschexpert som med sina stora kunskaper inom området har skrivit en recension? Eller är det en konsument som provat ett demoex i affären? Förmågan hos dessa två att kunna göra objektiva bedömningar är minst sagt skiftande.
Det är som sagt ett mycket komplext område och i slutändan finns det idag bara ett enda sätt att komma någorlunda tillrätta med problemen som följer. Genom manuell analys. Och jag räknar med att vi får leva med den ordningen ett bra tag framöver. Därmed inte sagt att avlyssningsverktygen inte är bra. De är i många avseenden en fantastisk hjälp. Men de kan inte ersätta den manuella innehållsanalysen.
Tags: analys, sentiment, smm, social media monitoring
Följ mig på twitter
Prenumerera på bloggen