Jeg har over de sidste 2 mdr lavet en test med en trustpilot widget box på vores site. Pointen er selvfølgelig at se hvordan det påvirker vores konverteringsrate, og ikke mindst ordrens størrelse.
Hvad har jeg testet?
Jeg har testet 3 varianter, hvor af 1 var originalen, altså sådan som siden så ud inden jeg gik igang med projektet.
Originalen:
På originalen har vi en box i venstre kolonne som det ses på billedet (market med en rød firkant, som ikke er på sitet):
Variation 1:
Placering i topbanneret, det her var faktisk min favorit til en vinder inden jeg startede testen:
Variation 2:
Kolonne placering af widgetbox i stedet for vores eget design:
Resultatet på ren konverteringsrate plan:
Resultatet er ret tydeligt, at der er en nedgang i konverteringsraten jo tydligere en placering trustpilot widget’et er på siden, det er for mig en kæmpe øjen åbner, jeg havde på ingen måder forventet det her resultat. Resultat er alene målt på konverteringsraten, altså hvor mange ordre der ryger i kassen, og den siger ikke noget om ordren størrelsen. Det har jeg særskilt målt, og her er der en rimelig stor stigning på den gennemsnitslige ordre størrelse, dog er den samlet indtjening i min test størst med vores originale version. Bemærk en nedgang på 13,7% og 15,3% i konverteringsraten, det er ret voldsomt! Antallet af ordre og ordre størrelsen holdes naturligvis som en forretningshemlighed
Hvordan måler du det?
Jeg bruger googles website optimizer, som styrer det hele for en. Groft sagt så deler den kunder op i 3 lige store dele og viser 3 forskellige version for de 3 grupper, herefter måler den på hvor mange fra hver gruppe der gennemfører et køb.
Testen her viser i særdeleshed at det er vigtigt at teste, teste og atter teste når man laver noget om. Selvom man har en klar overbevisning om at man forbedre brugervenligheden på sitet så er det langt fra sikkert at intuitionen er rigtigt.
Testen er lavet hos Verdious Wardrobe.
Spændende jeg gik selv med tanken om at gøre mere ved trustpilot men må da sige at dette er opsigtsvækkende….
Jeg tror jeg sparer pengene i første omgang
Det giver ihvertfald ikke mening at betale for trustpilot hvis det også er en udgift i form af mindre omsætning. Jeg ved ikke om det er branche afhængigt, så man bør jo nok selv lave en test. Det kan man jo passende bruge den gratis periode på 1 mdn til. Vi har iøvrigt 5 stjerner i widget boxen, så det er altså ikke derfor det konvertere dårligere. 🙂
Av av av – Jeg synes det er meget interessant at se resultaterne af dette. Men nu er der jo mange faktorer som spiller ind. Det undrer mig bare at firmaet ikke har flere muligheder for design af denne widget. Liked.dk kommer ud med en ny form for dette inden for et par måneder, så jeg håber da at dette vil hjælpe på webmasternes konvertering.
Er der flere som har lavet tests omkring brugen af disse widgets?
Det bliver rigtigt spændende og se hvad i kommer ud med 🙂
Man har mulighed for at style deres widget, men jeg synes egentlig at den her passede meget fint ind på sitet.
Overraskende – Især med jeres trustpilot-score på 9,6 🙂
Det har bestemt også overrasket mig!
Jeg forstår ikke helt hvorfor at du allerede nu har fundet en vinder, når GWO tydeligvis ikke har statistisk validitet? (No high-confidence winner found yet)
Så vidt jeg har forstået sker det når chance to beat original kommer under 5%, og de har ligget sådan her længe så derfor jeg har taget en beslutning så vi kan komme videre 🙂 Bare fordi de ikke har fundet et high confidence winner, så betyder det jo ikke at der ikke er nogen vinder?
Faktisk jo, der er endnu ikke nogen vinder (statistisk set), da datagrundlaget ikke er stort nok. Det er det samme som at lave et spørgeskema om kvaliteten af TV på DR 2, og så kun spørge kvinder.
Selvfølgelig sat lidt groft op 😉
Jeg er ikke helt enig. Fordi den fodkamp er tæt kan der sagtens være en vinder, men de vandt bare ikke overbevisende.
Fra Googles FAQ: “In some cases, your combinations will not show a significant difference and so Website Optimizer will not declare a high-confidence winner. Similarly, sometimes your experiment will need more data to be able to reach a level of high confidence. A tested combination typically needs about 200 conversions to get statistically significant results.”
Det er slet ikke sikkert google declare en overbevisende vinder, men jeg mener ikke at det er det sammen som at der ikke findes en vinder. Uanset så fremgår det jo af billederne, så kan folk jo danner sig deres eget indtryk 🙂 Debatten er dog meget interessant.
Hej Tim.
Hopper lige fra Amino og herover.
Tålmodighed er en dyd, når det gælder om at udrydde statistik insignifikans – håber vi kan overtale dig til at køre testen lidt længere, så vi kan få opdateret vores syn på værdien af diverse TrustPilot “stempler”. Lige nu er din konklusion stadig lidt løs i kanten.
Jeg har personligt svært at se en fornuftig payback på investering i TrustPilot, hvis det er som ren “tillidsvækker”.
Hvis feedback modulet bruges aktivt til forbedring af kundeoplevelsen, så er det muligvis en anden sag. Men igen, der er også andre systemer, som kan hjælpe shopejere med dette.
@Troels Kjems: Jeg synes bestemt at jeg har været tålmodig, men på et tidspunkt må man jo også komme videre. Jeg kan godt se at den fremgår lidt løs pga. googles statement, men jeg mener stadigvæk sagtens at der kan være en vinder, selvom den ikke er overbevisende. Jeg har jo endvidere også kigget på omsætningen, og se om ordre størrelsen er højere med trustpilot, så er den samlet omsætning målbart størrer med vores originale version. Vi bruger altid vores kunder mening og feedback til at gøre oplevelserne bedre, alt andet ville være dumt, det er jo gratis inputs. 🙂
@Lars Bo: Jeg kan af hensyn til konkurrenter ikke afslører antallet af konverteringer, men jeg tror godt at jeg kan sige at der er langt over 100 konverteringer på hver kombination.
Hvis du har cirka 100 konverteringer pr. kombination, så har du ret, så er resultatet fint.
Men ja, debatten om Trustpilot er helt sikkert god. Jeg tror det er meget forskelligt om det er positivt eller negativt at bruge den, det kommer an på om målgruppen er bekendt med Trustpilot eller ej. Ved en nørd som mig, er det helt sikkert positivt.
Hej
Der er jo henholdsvis 12,7 % og 10 % for at de to nye versioner slår den originale. Derfor kan du ikke udråbe en vinder – i hvert fald ikke på et statistisk grundlag. I så fald skal du være inden for et konfidensinterval på 95 %.
/ Rasmus
Tak for din kommentar Rasmus.
Som jeg skriver i en af de andre kommentare så har jeg også kigget på andre faktore, så som den samlet omsætning i test perioden, det er altså ikke kun konverteringsraten. 🙂
Kan du uddybe lidt, hvordan du har målt på omsætningen i forhold til de forskellige versioner?
Jo Rasmus, det kan jeg sagtens. Jeg har brugt custom variablerne i analytics til det 🙂 På den måde har jeg kunne se gennemsnits ordre størrelse, samlet omsætning osv. for hver enkel variation.
Det jeg fisker efter er, hvordan du sikrer dig, at det ikke blot er en tilfældighed, at gennemsnitsordrestørrelsen er højere.
Hej Rasmus.
Det kan jeg vel aldrig med sikkerhed vide. Over den målte periode er den gennemsnitslige ordre størrelsen målt til 100kr mere pr ordre på den bedste af trustpilot løsningerne, dog er den samlet omsætning større med vores originale løsning hvor konverteringsraten altså er bedst.
I teorien kan det hele være tilfælde, GWO anbefaler ca 200 konvertering på en test, det ligger jeg langt langt over, hvilket også er derfor jeg har tilladt mig at drage en konklussion. Jeg forstår godt at du forholder dig kritisk til testen, man skal helst danne sig sin egen mening, det kommer man længst med, hvilket er derfor jeg har vedhæftet billederne. Jeg er ikke ret meget for at spytte ud med præcis hvor mange konvertering der er lavet, det håber jeg at i kan leve med. Der kan trods alt være konkurrenter der læser med. Personligt gad jeg godt vide hvor meget konkurrenterne konverterel, så mon ikke det også gælder omvendt.
Som du selv skriver så er jeg 5% og 7,5% fra at finde en overbevisende vinder, i mine øjne har jeg fundet en vinder, også selvom den ikke synes overbevisende for jer andre. Men jeg har selvfølgelig også de nøjagtige antal konverteringer osv.
Hej Tim,
Med fare for at afspore debatten og primært af egen nysgerrighed.
Hvordan ville du bruge viden om konkurrenternes præcise konverteringsrate til at styrke dit eget website?
Hej Troels.
Jeg ved ikke om jeg desideret kan bruge det til at styrke vores website, men det siger jo lidt om hvor stærk konkurrencen er fra den konkurrent, og hvor meget økonomi de skaber sig selv og dermed har i kampen om kunderne. Der er selvfølgelig mange flere ting der spiller ind, men det siger måske også lidt om hvor mange penge de kan skyde af på fx adwords, SEO osv. Måske der også er noget nysgerrighed iblandet 🙂
Super artikel og fedt du gider dele resultatet med os andre.