Una guida per il marketing per comprendere il significato statistico

Hai mai presentato i risultati di una campagna di marketing e ti è stato chiesto "Ma questi risultati sono statisticamente significativi ?" Se ti sentivi irritata, potresti aver risposto "Bene, i risultati sono diversi da quelli che abbiamo visto prima. Non è significativo? "

A parte gli scherzi, come marketer basati sui dati, non ci viene solo chiesto di misurare i risultati delle nostre campagne di marketing, ma anche di dimostrare la validità dei dati.

Proprio di recente, ho avuto una chiamata con un cliente che chiedeva esattamente la cosa. I due marketer hanno creato ciascuno una versione di una landing page e hanno utilizzato la funzionalità di test A / B di SeoAnnuaire per raccogliere i risultati. Hanno avuto una scommessa amichevole su cui si sarebbe vinto. Dopo alcuni giorni, hanno avuto i risultati; uno aveva un tasso di conversione leggermente più alto, ma è stato lasciato a chiedersi se i risultati fossero statisticamente significativi. (Intendo dire che è stata la persona con il tasso di conversione più basso a fare questa domanda.) Adoro un po 'di competizione amichevole - la mia famiglia racconta ancora la storia di come ho sfidato mio fratello a un concorso di peeling alla mela "rendere le cose interessanti" un Ringraziamento. Inutile dire che sono stato felice di aiutare a sistemare questa scommessa.

Mentre ci sono un certo numero di strumenti gratuiti là fuori per calcolare la significatività statistica per voi (SeoAnnuaire ne ha anche uno qui), per capire veramente cosa questi strumenti vi stanno dicendo, è utile capire cosa stanno calcolando e cosa significa. Daremo un'occhiata ai numeri usando uno specifico esempio qui sotto per aiutarti a capire la significatività statistica.

Come calcolare il significato statistico

1. Determina cosa ti piacerebbe provare

In primo luogo, decidi cosa ti piacerebbe testare. È possibile confrontare i tassi di conversione su due pagine di destinazione con immagini diverse, percentuali di clic su email con diverse righe dell'oggetto o tassi di conversione su diversi pulsanti di invito all'azione alla fine di un post sul blog. Il numero di scelte è infinito. Il mio consiglio sarebbe di mantenerlo semplice; scegli un contenuto che desideri creare due diverse varianti e decidi quale sia il tuo obiettivo: un migliore tasso di conversione o più visualizzazioni sono dei buoni punti di partenza.

Puoi certamente testare ulteriori variazioni o persino creare un test multivariato, ma per lo scopo di questo esempio, ci limiteremo a due varianti di una pagina di destinazione con l'obiettivo di aumentare i tassi di conversione. Se desideri ulteriori informazioni sui test A / B e sui test multivariati, consulta "La differenza critica tra test A / B e multivariati".

2. Inizia a raccogliere i tuoi dati

Ora che hai determinato ciò che desideri testare, è ora di iniziare a raccogliere i tuoi dati. Poiché probabilmente eseguirai questo test per determinare quale parte di contenuto è meglio utilizzare in futuro, ti consigliamo di selezionare una dimensione di esempio. Per una pagina di destinazione, ciò potrebbe significare scegliere un determinato periodo di tempo per eseguire il test (ad esempio, rendere la tua pagina live per 3 giorni). Per qualcosa come un'e-mail, potresti scegliere un campione casuale del tuo elenco per inviare a caso le variazioni delle tue e-mail. Determinare la giusta dimensione del campione può essere complicato e la giusta dimensione del campione varia tra ogni test. Come regola generale, vuoi che il valore atteso per ogni variazione sia maggiore di 5. (Tratteremo i valori previsti più in basso).

3. Calcola i risultati del chi quadrato

Esistono diversi test statistici che è possibile eseguire per misurare il significato in base ai dati. Determinare qual è il migliore da utilizzare dipende da cosa stai provando a testare e dal tipo di dati che stai raccogliendo. Nella maggior parte dei casi, utilizzerai un test Chi-Squared poiché i dati sono discreti. Discreto è un modo elegante per dire che esiste un numero finito di risultati che possono essere prodotti. Ad esempio, un visitatore o convertirà o non convertirà; non ci sono diversi gradi di conversione per un singolo visitatore.

Prima di iniziare a raccogliere dati, trovo utile indicare la mia ipotesi all'inizio del test e determinare il livello di confidenza che voglio testare. Dal momento che sto testando una pagina di destinazione e voglio vedere se uno funziona meglio, la mia ipotesi è che esista una relazione tra la pagina di destinazione che i visitatori ricevono e il loro tasso di conversione . È possibile eseguire il test in base a diversi livelli di confidenza (a volte indicato come alfa del test). Se vuoi che il requisito per raggiungere la significatività statistica sia elevato, tanto più basso sarà il tuo alpha. Potresti aver visto la significatività statistica riportata in termini di sicurezza. Ad esempio, "I risultati sono statisticamente significativi con una confidenza del 95%". In questo scenario, l'alfa era 0, 05 (la fiducia è calcolata come 1 meno l'alfa), il che significa che c'è una possibilità su 20 di commettere un errore nella relazione dichiarata.

Dopo aver raccolto i dati, l'ho inserito in un grafico per semplificare l'organizzazione. Dato che sto testando 2 diverse varianti (A e B) e ci sono 2 possibili risultati (convertiti, non convertiti), avrò un grafico 2x2. Totalizzerò ogni colonna e riga in modo da poter vedere facilmente i risultati in forma aggregata.

Ora, calcolerò quali sono i valori attesi. Nell'esempio precedente, se non vi fosse alcuna relazione tra ciò che i visitatori della pagina di destinazione hanno visto e il loro tasso di conversione, ci aspettiamo di vedere gli stessi tassi di conversione sia con la versione A che con la versione B. Dai totali, possiamo vedere che 1.945 persone hanno convertito dei 4.935 visitatori totali, pari a circa il 39% dei visitatori. Per calcolare le frequenze attese per ciascuna versione della pagina di destinazione presumendo che non ci siano differenze, possiamo moltiplicare il totale di righe per quella cella per il totale della colonna per quella cella e dividerlo per il numero totale di visitatori. In questo esempio, per trovare il valore previsto della conversione sulla versione A, utilizzerei la seguente equazione: (1945 * 2401) / 4935 = 946

Per calcolare Chi-Square, confronto le frequenze osservate con le frequenze attese. Questo confronto viene effettuato sottraendo l'osservato dall'aspettato, squadrando il risultato e dividendolo per il valore della frequenza prevista. In sostanza, sto cercando di vedere quanto i miei risultati effettivi siano diversi da ciò che potremmo aspettarci. La quadratura della differenza amplifica gli effetti della differenza e la divisione per ciò che ci si aspetta normalizza i risultati. L'equazione si presenta così: (prevista - osservata) ^ 2) / attesa

Quindi somma i quattro risultati per ottenere il mio numero Chi-Square. In questo caso, è .95. Per vedere se i tassi di conversione per le mie pagine di destinazione sono diversi con significatività statistica, lo confronto con il valore di una tabella di distribuzione Chi-quadro basata sul mio alfa (in questo caso, .05) e sui gradi di libertà. I gradi di libertà si basano sul numero di variabili che hai. Con una tabella 2x2 come in questo esempio, i gradi di libertà sono 1.

In questo caso, il valore Chi-Square dovrebbe essere uguale o superare 3, 84 perché i risultati siano statisticamente significativi. Dal momento che .95 è inferiore a 3, 84, i miei risultati non sono statisticamente diversi. Ciò significa che non esiste una relazione tra quale versione della pagina di destinazione ricevuta da un visitatore e il tasso di conversione con significatività statistica.

Perché il significato statistico è significativo

Potresti chiederti perché questo è importante se puoi semplicemente utilizzare uno strumento gratuito per eseguire il calcolo. Capire come viene calcolata la significatività statistica può aiutare a determinare come testare i risultati migliori dai propri esperimenti. Molti strumenti usano un tasso di confidenza del 95%, ma per i tuoi esperimenti, potrebbe essere sensato usare un indice di fiducia più basso se non hai bisogno che il test sia così rigoroso. Comprendere i calcoli sottostanti aiuta anche a spiegare perché i risultati potrebbero essere significativi per le persone che non hanno già familiarità con le statistiche.

Se desideri scaricare il foglio di calcolo che ho utilizzato in questo esempio in modo da poter visualizzare i calcoli per conto tuo, fai clic qui.

Credito immagine: Caitlinator

Articolo Precedente «
Articolo Successivo