• Hlavní
  • >
  • marketing
  • >
  • Marketerův průvodce porozuměním statistické významnosti

Marketerův průvodce porozuměním statistické významnosti

Předložili jste někdy výsledky z marketingové kampaně a byli jste dotázáni: „Jsou tyto výsledky statisticky významné ?“ Pokud jste se cítili šokovaně, možná jste odpověděli: „Výsledky jsou odlišné od toho, co jsme viděli dříve. Není to tak významné? “

Všichni jsme odkázáni stranou, jako marketingoví pracovníci řízeni daty, a my jsme nejen požádáni, aby jsme změřili výsledky našich marketingových kampaní, ale také prokázali platnost údajů.

Nedávno jsem měl telefonát se zákazníkem, který se ptal na tu přesnou věc. Oba obchodníci si vytvořili verzi vstupní stránky a použili testovací funkci A / B SeoAnnuaire pro shromažďování výsledků. Měli přátelskou sázku, kterou by vyhráli. Po několika dnech měli výsledky; jeden měl mírně vyšší míru konverze, ale oni byli vlečení přemýšlel jestliže výsledky byly statisticky významné. (Hádám, že to byla osoba s nižší mírou konverze, která se ptala na tuto otázku.) Mám rád trochu přátelskou soutěž - moje rodina stále vypráví příběh o tom, jak jsem vyzvala svého bratra k soutěži o peeling na jablko "Dělat věci zajímavé" jedno díkůvzdání. Netřeba dodávat, že jsem ráda pomohl vyřešit tuto sázku.

I když existuje řada bezplatných nástrojů, které vám umožní vypočítat statistický význam pro vás (SeoAnnuaire má i zde), aby bylo možné skutečně pochopit, co vám tyto nástroje říkají, je užitečné pochopit, co vypočítávají a co to znamená. Pomocí číselných údajů, které vám pomohou pochopit statistickou významnost, se budeme věnovat číslům.

Jak vypočítat statistický význam

1. Určete, co byste chtěli otestovat

Nejprve se rozhodněte, co chcete otestovat. Mohlo by to být porovnání míry konverze na dvou vstupních stránkách s různými obrázky, mírou prokliku na e-mailech s různými řádky předmětu nebo mírou konverzí na různých tlačítkách volání na akci na konci příspěvku na blogu. Počet možností je nekonečný. Moje rada by byla, aby to bylo jednoduché; vyberte si obsah, který chcete vytvořit dvě různé varianty a rozhodněte se, jaký je váš cíl - lepší konverzní poměr nebo více zobrazení jsou dobrými místy ke spuštění.

Můžete určitě otestovat další varianty nebo dokonce vytvořit test s více proměnnými, ale pro účely tohoto příkladu budeme držet dvou variant vstupní stránky s cílem zvýšit míru konverze. Pokud se chcete dozvědět více o testování A / B a vícerozměrných testech, podívejte se na „Kritický rozdíl mezi testy A / B a vícerozměrnými testy“.

2. Začněte sbírat data

Nyní, když jste určili, co chcete otestovat, je čas začít sbírat data. Vzhledem k tomu, že tento test pravděpodobně používáte k určení, který obsah je nejlepší použít v budoucnu, budete chtít vytáhnout velikost vzorku. Pro vstupní stránku to může znamenat vybrání určitého času pro spuštění testu (např. Aby vaše stránka žila 3 dny). Pro něco jako e-mail můžete vybrat náhodný vzorek svého seznamu, abyste náhodně odeslali variace svých e-mailů. Stanovení správné velikosti vzorku může být složité a správná velikost vzorku se bude mezi jednotlivými testy lišit. Obecně platí, že chcete, aby očekávaná hodnota pro každou variantu byla větší než 5. (Budeme pokrývat očekávané hodnoty dále dolů.)

3. Vypočítejte Chi-Squared výsledky

Existuje řada různých statistických testů, které můžete spustit, abyste změřili význam na základě vašich dat. Určení, které je nejlepší použít, závisí na tom, co se snažíte testovat a jaký typ dat shromažďujete. Ve většině případů použijete test Chi-Squared, protože data jsou diskrétní. Diskrétní je fantastický způsob, jak říci, že existuje určitý počet výsledků, které mohou být vyrobeny. Návštěvník bude například konvertovat nebo ne převést; pro jednoho návštěvníka nejsou různé stupně konverze.

Než začnu sbírat data, považuji za užitečné uvést svou hypotézu na začátku testu a určit míru důvěry, kterou chci testovat. Vzhledem k tomu, že testuji vstupní stránku a chci zjistit, zda je lepší, moje hypotéza je, že existuje vztah mezi vstupní stránkou, kterou návštěvníci dostávají, a jejich mírou konverze . Můžete testovat na základě různých stupňů spolehlivosti (někdy označovaných jako alfa testu). Pokud chcete, aby byl požadavek na dosažení statistické významnosti vysoký, nižší bude hodnota alfa. Možná jste zaznamenali statistickou významnost uváděnou z hlediska důvěryhodnosti. Například "Výsledky jsou statisticky významné s 95% spolehlivostí." V tomto scénáři alfa bylo 0, 05 (spolehlivost je vypočtena jako 1 mínus alfa), což znamená, že existuje jedna z 20 šancí na chybu v uvedeném vztahu.

Poté, co jsem shromáždil údaje, dal jsem to do grafu, aby bylo snadné organizovat. Protože testuji 2 různé varianty (A a B) a existují 2 možné výsledky (převedené, nepřevedené), budu mít graf 2x2. Budu celkem každý sloupec a řádek, takže můžu snadno vidět výsledky v souhrnu.

Teď vypočítám, jaké jsou očekávané hodnoty. Pokud ve výše uvedeném příkladu neexistuje žádný vztah mezi tím, co viděli návštěvníci vstupní stránky a mírou konverze, očekáváme, že se zobrazí stejné míry konverzí jak u verze A, tak u verze B. Z celkového počtu můžeme vidět, že 1 945 lidí bylo převedeno z celkového počtu 4 935 návštěvníků, tj. zhruba 39% návštěvníků. Pro výpočet očekávaných frekvencí pro každou verzi vstupní stránky za předpokladu, že neexistuje žádný rozdíl, můžeme vynásobit součet řádků pro tuto buňku celkovým sloupcem pro tuto buňku a rozdělit ji celkovým počtem návštěvníků. V tomto příkladu bych pro nalezení očekávané hodnoty převodu na verzi A použil následující rovnici: (1945 * 2401) / 4935 = 946

Pro výpočet Chi-čtverce porovnám pozorované frekvence s očekávanými frekvencemi. Toto srovnání se provádí odečtením pozorovaného výsledku od očekávaného, ​​kvadratického výsledku a poté jeho vydělením hodnotou očekávané frekvence. V podstatě se snažím zjistit, jak jsou mé skutečné výsledky z toho, co bychom mohli očekávat. Vyrovnání rozdílu zesiluje vliv rozdílu a rozdělení podle očekávání normalizuje výsledky. Rovnice vypadá takto: (očekávané - pozorováno) ^ 2) / očekávané

Pak jsem shrnula čtyři výsledky, abych dostala své číslo Chi-Square. V tomto případě je to .95. Abych zjistil, zda se míra konverze pro mé vstupní stránky liší statistickou významností, porovnávám to s hodnotou z Chi-Squared distribuční tabulky založené na mém alfa (v tomto případě 0, 05) a stupních volnosti. Stupně volnosti jsou založeny na tom, kolik proměnných máte. S tabulkou 2x2, jako v tomto příkladu, jsou stupně volnosti 1.

V tomto případě by musela být hodnota Chi-Square rovna nebo vyšší než 3, 84, aby výsledky byly statisticky významné. Vzhledem k tomu, že .95 je menší než 3, 84, mé výsledky nejsou statisticky odlišné. To znamená, že neexistuje vztah mezi jakou verzí vstupní stránky, kterou návštěvník obdrží, a mírou konverze se statistickou významností.

Proč je statistický význam významný

Možná se ptáte, proč je to důležité, pokud můžete použít bezplatný nástroj ke spuštění výpočtu. Pochopení toho, jak je statistická významnost vypočítána, vám může pomoci určit, jak nejlepší výsledky testů z vašich vlastních experimentů. Mnoho nástrojů používá 95% spolehlivost, ale pro vaše experimenty by mohlo být rozumné použít nižší míru spolehlivosti, pokud nepotřebujete test tak přísný. Pochopení základních výpočtů vám také pomůže vysvětlit, proč mohou být vaše výsledky významné pro osoby, které se statistikami již neznají.

Pokud si přejete stáhnout tabulku, kterou jsem použil v tomto příkladu, abyste si mohli sami zobrazit výpočty, klikněte zde.

Obrazový kredit: Caitlinator

Předchozí Článek «
Následující Článek