• Strategier för affärstillväxt har tre variabler som kan dekonstrueras och mätas:topplinjeanvändartillväxt, retention och engagemang
• En enkel regressionsmodell, oftast via metoden Ordinary Least Squares, kan sedan fastställa riktmärket för "normal" tillväxt som företaget upplever. Detta kan testa en rad interna och externa krafter för deras inverkan på tillväxtprestanda.
• Behandla inte varje tillväxtstrategi som används som en isolerad händelse – en serie händelser kan ha olika prestanda vid varje tidpunkt, men deras totala effekt kan kombineras för att ge betydande resultat

Dels som en uppföljning av min tidigare artikel om hur man identifierar drivkrafterna för tillväxt i företag, vill jag nu gå längre ner i kaninhålet och titta på hur man sedan kan mäta effekten av tillväxtinitiativ. Jag kommer att tillhandahålla några verktyg för att bedöma effekten av åtgärder som produktuppdateringar, PR och marknadsföringskampanjer på kundtillväxt, retentionsmått och engagemang. Detta representerar reflektioner från mitt tidigare arbete som statistiker, och hjälper företag att bedöma effekten på deras värdering av interna och externa händelser via reaktionerna från deras handlade värdepapper.

Jag tror att statistiska effektverktyg, vanligare i hedgefond- och Wall Street-världen, kan vara till mycket mer användbara för teknikföretag för att hantera tillväxt än hur de används för närvarande. Tack vare tekniken som gör en rad högfrekvent information tillgänglig för oss om användar- eller klientbeteende, kan en skicklig statistik- eller dataanalytiker vara en riktig tillgång inom kommersiella team.

Det finns många sätt att mäta effekten av tillväxt

Som ett exempel på att mäta statistisk påverkan på värdering, låt oss anta att ett börsnoterat företag tillkännager en ny produkt och vill veta i vilken utsträckning den påverkade dess värdering. För att uppskatta den verkliga effekten måste man ta hänsyn till:

1. Hur marknaden själv presterade den dagen, i samband med säkerhetens korrelation med den.
2. Effekten av all annan företagsrelevant information som släpps samtidigt.
3. Det enkla faktum att värdepapperspriser och användarbeteende förändras dagligen från generella avvikelser, även i frånvaro av ny information.
4. Långsiktig påverkan, i form av en statistiskt signifikant trend i prisökning.

För ett privat företag kan samma analys göras på förändringen av aktiva användare, eller kunder, både på kort och lång sikt, vilket fungerar som en följd av aktiekursaktiviteten. Detta gäller även mätvärden för retention och engagemang.

Genom att etablera denna avrundade analysform kan företag styra sina begränsade resurser baserat på mycket starkare informationssignaler, snarare än att låta sig vilseledas av vad som kan tyckas vara en marknads- eller användarreaktion som i själva verket inte representerar något annat än slumpmässiga fluktuationer. Det inledande arbetet med att sätta upp den statistiska modellen som skiljer signalen från bruset kan ge enorma utdelningar via de insikter som den ger till ett företags tillväxtansträngningar. Det är också en iterativ process som enkelt (och ofta automatiskt) kan uppdateras och förfinas när ny data tas emot.

Välja det målvärde som ska testas

Varje mätinsats från ett företag bör inriktas på minst en av följande tillväxtdimensioner:

1. Tillväxt på topplinjen , definierat som förändringen av total försäljning eller aktiva användare/klienter över tiden.
2. Behållning av användare och klienter, definierat som den genomsnittliga livslängden för en given användare eller klient.
3. Djupet av engagemang av användare och klienter, definierat som antingen frekvensen av den kärnåtgärd som vidtas eller volymen av transaktioner via plattformen.

Alla tre dimensioner är kvantifierbara och företaget kan begreppsbilda sitt värde som arean av triangeln som bildas av dessa tre punkter. Om en kollapsar är värdepotentialen från de andra två kraftigt begränsade. Även om jag verkligen håller med många grundare och investerare om att "några användare som älskar dig är bättre än många som gillar dig", så tror jag inte att detta motsäger vikten av topplinjetillväxt utöver starkt engagemang och retention. Banan är mycket viktigare än nivån, och att börja med en mindre grupp av verkligt dedikerade användare sätter i första hand de initiala förutsättningarna för långsiktig tillväxt.

Nyckeluppgiften för företaget är att sedan upprätta det analytiska ramverket som gör det möjligt att mäta de verkliga effekterna av deras handlingar på en eller flera av dessa tre nyckelmått. Företaget kan antingen testa olika modeller för var och en eller använda verktyg som simultanekvationer för att länka dem mer direkt. Marknadsföring och PR-insatser, enligt min erfarenhet, tenderar att särskilt lida av bristen på rigorös analys av huruvida företaget får avkastning på sin investering. Vissa mätvärden, som totalt antal visningar, klick och andelar, registreras nästan alltid, men dessa är alla sätt att nå ett mål och nästa fråga om effekterna på kundernas konvertering och engagemang ges sällan seriös analys.

Välja benchmark och exempel på en engångshändelse

Vi börjar med den förenklade versionen av en engångshändelse. Låt oss anta att ett företag släpper en ny produktuppdatering eller publicerar en stor PR-berättelse på dag 0 och vill veta om det representerar ett steg i rätt riktning när det gäller effekt på tillväxt. För att avgöra om en riktig signal har mottagits om att företaget ska fortsätta med liknande ansträngningar krävs att man vet hur mycket den ökade, kontra hur mycket den skulle ha, frånvarande händelsen i fråga.

Benchmarktillväxten kan uppskattas via en regressionsmodell som förutsäger företagets tillväxt, retention eller engagemang baserat på externa och interna variabler. I vissa fall tillåter möjligheten att isolera de användare som påverkas av en produktuppdatering direkt A/B-testning med en kontrollgrupp. Detta är dock inte fallet för större produkt-, PR- och affärsinsatser som påverkar alla nuvarande och potentiella användare något enhetligt. Även om det finns några utmärkta resurser tillgängliga för sådana tester, kan många företag i ett tidigt skede tycka att de är dyra.

Variabler som kan övervägas för denna modell inkluderar:

Alla variabler bör specificeras som en förändringshastighet snarare än som absolut nivå, med logaritmer snarare än procentsatser.

Tidsramen för varje variabel måste också övervägas noggrant. Vissa variabler är ledande (t.ex. aktiemarknaden är starkt baserad på förväntningar), medan andra, t.ex. betyg om användarnöjdhet, baseras på tidigare erfarenheter men kan säkert ha relevans för förväntad tillväxt.

För själva regressionen rekommenderar jag att börja med Ordinary Least Squares (OLS) och sedan bara gå vidare till andra funktionella former av specifika skäl. OLS är mångsidig och möjliggör också mer direkt tolkning av resultaten än andra mer komplexa former. Modifieringar i OLS-sammanhang skulle inkludera en logaritmisk regression för icke-linjära variabler, interaktionsvariabler (till exempel kanske nuvarande kundnöjdhet och sociala medier-aktivitet) och kvadreringsvariabler som du tror har oproportionerliga effekter vid större värden. Eftersom tillväxten förhoppningsvis är exponentiell, kan logaritmiska regressioner säkert visa sig vara en stark passform.

När det gäller tidshorisonten för effekten av åtgärden, var noga med att överväga dina användares frekvens av åtgärder eller köp för att hjälpa dig att bestämma det rätta intervallet för att leta efter effekten. När du använder tidsramar som är längre än en dag, kom ihåg att veckoaktiva användare inte är summan av de dagliga aktiva användarna den veckan. Om jag aktivt använder din produkt varje dag den veckan, skulle jag räknas varje dag för en daglig analys. Om du sedan byter till en veckoanalys bör jag bara dyka upp en gång och därför skulle summering av de enskilda dagarna överräknas.

Denna modell låter dig sedan uppskatta förväntad tillväxt/retention/engagemang för varje givet ögonblick eller pågående tidsperiod baserat på prestandan för dessa förklarande variabler. Skillnaden mellan denna förväntade tillväxt och den faktiska tillväxten som observeras efter händelsen är då den onormala delen som kan indikera påverkan. Att dividera denna onormala tillväxt med standardavvikelsen för den förväntade tillväxten indikerar sedan hur sannolikt den onormala komponenten var att inträffa av en slump. Vanligtvis används ett resultat på 1,96 (som är ungefär två standardavvikelser från det förutsagda värdet) som gränsvärde för att bedöma att det inte inträffade av en slump.

I samband med kohorter kan retention och engagemang antingen betraktas i termer av förändring över på varandra följande kohorter (med andra ord, att hålla värdena fasta för varje kohort), eller förändringen över tiden av total retention och engagemang, utan att bryta ner den med kohort.

Kumulerad tillväxtpåverkan från en serie händelser

Tillväxtstrategier gör ofta en poäng med att implementera en serie händelser snarare än engångsinsatser, både för den mer omedelbara effekten av att ha flera insatser och den underliggande effekten av att visa kunderna själva mönstret. Konsekvensanalys kan därför även titta på kumulativ påverkan. En serie händelser som individuellt är obetydliga kan resultera i en betydande kumulativ påverkan, och omvänt kan en serie betydande händelser bli obetydliga.

Den första situationen kan ses som "långsam och stadig vinner loppet." Låt oss säga att din försäljning ökar med en bråkdel av en procent per vecka snabbare än din relevanta sektor. Under en kort tidsperiod skulle detta inte betyda något, eftersom ett givet företags tillväxt kommer att skilja sig något från riktmärket av en slump. Men om din lätta överprestation fortsätter tillräckligt länge kan du så småningom med tillförsikt konstatera att företagets tillväxttakt verkligen överstiger marknadens.

Den andra situationen är i princip vilken typ av omkastning som helst. De allt mer högfrekventa sätten med vilka människor kan reagera på utvecklingen innan de verkligen bearbetar informationen, såväl som kortsiktig flockmentalitet, medför utmaningen att se till att du överväger reaktionens verkliga storlek och varaktighet genom det mer omedelbara bruset. Under vissa omständigheter kan användare och marknader tendera att systematiskt överreagera på kort sikt (ny teknik, valutamarknader och ofta dåliga nyheter som inte utgör ett allvarligt hot mot ett företag) men sedan korrigera sig själva.

De två situationerna kan illustreras enligt följande. Konfidensintervallet anger de gränser inom vilka vi kan förvänta oss att 95 % av observationerna faller, vilket vanligtvis används som tröskeln för att bedöma något statistiskt signifikant.

Frånvaron av en betydande omsvängning kan ses som bevis på bestående inverkan. Man måste vara försiktig med denna logik eftersom den strider mot den normala regeln för empirisk skepticism att frånvaro av bevis inte är bevis på frånvaro, men det är det bästa vi kan göra.

Var försiktig när du jämför procentuella/logaritmiska förändringar över individuella tidsperioder. En minskning med 99 % följt av en ökning med 99 % leder inte precis till en obetydlig kumulativ förändring. Se till att överväga kumulativ förändring i slutändan.

Om du mäter den kumulativa effekten av en serie händelser som en specifik PR-kampanj inom en begränsad tidsperiod (d.v.s. en semesterperiod), kanske du vill spåra tillväxten över alla kalenderdagar eller veckor som ingår i tidsramen , oavsett om var och en har vidtagit en specifik åtgärd eller inte. Du hoppas fortfarande i grund och botten att 1-2-3-stöten ger en knockout inom en viss period även om det kan vara små förseningar mellan träffarna.

Om händelserna i fråga ligger längre ifrån varandra men du fortfarande vill bedöma den kumulativa effekten, kan du överväga att anpassa dem till en enda sammanhängande serie dagar och sedan köra samma analys. I det här säger du i huvudsak "Dag 1 är 5 januari, Dag 2 är 15 mars, Dag 3 är 10 april...") och testar deras kumulativa förändring jämfört med den som förutspås av riktmärket som om de i själva verket var helt sekventiella datum. Att testa signifikansen är då samma formel som med singularhändelser, förutom att höja standardavvikelsen till kvadratroten av antalet dagar/veckor som utgör den kumulativa perioden.

Hantera kontaminerad information när man mäter företagstillväxt

Världen ger oss sällan artighet av perfekta laboratorieförhållanden för att testa våra idéer, så när kärnmodellen väl är etablerad kommer den med största sannolikhet att behöva kontrollera för annan information som påverkar den förväntade tillväxttakten samtidigt som de åtgärder vi gör. försöker mäta.

Låt oss anta att samtidigt som en PR-händelse eller produktuppdatering, en toppchef tyvärr bestämmer sig för att lämna till en konkurrent under mycket fanfar från pressen och du blir orolig för att vissa användare kan ta detta som en signal om de relativa fördelarna med två produkter. En mycket snabb lösning är tyvärr att helt enkelt markera datapunkten som en förvirrad orelaterade händelse, med en indikatorvariabel.

Men om du kan få data om tidigare instanser av den "förvirrande" händelsen kan du göra en tvärsnittsanalys som låter dig förutsäga hur stor inverkan den specifika händelsen tenderar att ha under liknande omständigheter, och du kan ta bort den förväntade effekten från de slutliga resultaten. I exemplet ovan skulle data om användaraktivitet kring högprofilerade teammedlemmars avgångar i andra företag göra det möjligt för dig att uppskatta och separera effekten av den specifika faktorn för att isolera effekten av PR-händelsen eller produktuppdateringen som du hoppades utvärdera.

Många företag kan också möta säsongsvariationer baserat på tid på året eller vissa viktiga ögonblick som semester. Tilldela indikatorvariabler till den aktuella tiden på året för att kontrollera detta.

De icke-lineariteter av vissa effekter

När du överväger resultaten av din analys och strategier för tillväxtansträngningar är vissa olinjära effekter på hur människor har dokumenterats reagera på positiv utveckling värda att ha i åtanke.

Upp- kontra nedkänslighet kan vara väldigt olika. Om data och tid tillåter, överväg att uppskatta de förväntade effekterna av både positiva och negativa händelser, om båda är relevanta för dig. Tyvärr kan nedåtgående rörelser i många fall, allt från användarbeteende till finansmarknaderna, vara mycket mer abrupta och allvarliga än uppåtgående rörelser.

Den kombinerade effekten av att utföra flera åtgärder på en gång kanske inte är lika med den av att utföra dem i följd eftersom själva faktumet av det pågående mönstret i sig kan ha positiva eller negativa effekter. Mönstret med att ett företag släpper en produktuppdatering varje månad kan ingjuta förtroende hos användarna samtidigt som det tillkännager negativa händelser som uppsägningar eller nedskrivningar mer än en gång kan ha en enormt oproportionerlig effekt genom att orsaka oro för att företaget inte helt förstår sina egna. situation. Börshandlade företag kommer ofta att "ta ett bad" och släppa alla dåliga nyheter på en gång, eftersom det kan tendera att bli en initial "fixerad" träff från själva dåliga nyheter, med en marginell efterföljande effekt. "Torpedeffekten", till exempel, beskriver det empiriska fenomenet att blotta närvaron av dåliga nyheter kan stå för en meningsfull del av ett prisfall. Negativa fall kan därför brytas ner till en initial fixerad effekt som ger vika för en avtagande marginaleffekt från själva innehållet i nyheterna eller utvecklingen. PR-kampanjer fungerar bättre som en sekvens än en enda mega-event, eftersom målet är att positionera företaget över tid.

Varians kan naturligtvis bara mätas historiskt, men vissa händelser kan förändra den underliggande sanna variansen och sannolikheten för att den onormala tillväxten inträffade av en slump. Eftersom den nya variansen i sig är resultatet av händelsen i fråga, bör den tidigare variansen användas för att undvika det cirkulära resonemanget att avfärda händelsens betydelse baserat på den större variansen som följer med den. Men som alltid finns det debatt och varje situation kan vara olika.

Som tidigare nämnts kan både tillväxt eller en avmattning i tillväxten få liknande effekter ett tag, på grund av både mänsklig psykologi och mycket verkliga marknadsstrukturer. Även om det finns olika tjusiga autokorrelationstester tillgängliga för att mäta momentumeffekter, tycker jag att det mer "manuella" tillvägagångssättet att regressera tillväxtserien på en fördröjd version av sig själv är mer transparent och lättare att experimentera med.

Avslutande tankar om att närma sig maskininlärning i företag

När väl modellen som möjliggör sådan testning har tagits fram finns det ingen anledning till att företagets plattformar för att spåra användarbeteende, försäljning etc. inte kan kopplas direkt till sin kod för att kontinuerligt uppdatera koefficienterna allt eftersom nya data tas emot. Min personliga preferens har alltid varit att ha en rullande ettårig uppskattningsperiod när det är möjligt, genom att den balanserar datauppsättningens storlek med det högre värdet av nyare information och även naturligtvis inkluderar alla tider på året vid säsongsvariationer.

Förutsatt att inga strukturella avbrott i verksamhetens och produktens karaktär finns det ingen anledning att inte förlänga uppskattningsperioden längre än ett år, men unga snabbt växande företag tenderar att utvecklas snabbt. Mjukvarudrivna företag skulle kunna länka direkt till sin GitHub för att skapa processen genom vilken mjukvaruuppdateringar automatiskt testas för påverkan. Genom att skapa den här direktlänken och låta funktionerna utvecklas automatiskt har du tagit det första steget mot att implementera maskininlärning för ditt företag.

Det påpekas ofta hur information är världens mest värdefulla vara, men det nämns mer sällan att data inte är information. Tvärtom, företag är överväldigade med så mycket data som kan tyckas berätta konkurrerande berättelser, av vilka många bara kan vara falska mönster baserade på slumpmässighet. Statistik när den är som bäst är en minskningsprocess – att snabbt skärpa in på nyckelvariablerna och sambanden och använda dem för praktiska tester. Andan i denna form av analys är framför allt att ingjuta sund skepsis i beslutsprocessen genom att tvinga data att bevisa sig som verklig information innan du grundar ett beslut på det.