導(dǎo)讀 A/B實(shí)驗(yàn)是一種通過(guò)實(shí)驗(yàn)來(lái)做效果評(píng)估的方法，主要流程是將評(píng)估對(duì)象隨機(jī)抽樣成對(duì)照組和實(shí)驗(yàn)組，對(duì)實(shí)驗(yàn)組施加策略干預(yù)，然后通過(guò)兩組之間的效果對(duì)比，得出上線(xiàn)策略會(huì)產(chǎn)生的影響。本文分享的內(nèi)容不涉及具體的算法。

全文目錄：

1. 個(gè)人和Statsig公司介紹

(資料圖片)

2. Statsig公司的創(chuàng)始故事

3. 什么是民主化的A/B實(shí)驗(yàn)

4. Statsig如何推進(jìn)A/B實(shí)驗(yàn)民主化

分享嘉賓｜王家侃 Statsig Founding Engineer

編輯整理｜李冠 百維金科信息科技有限公司

出品社區(qū)｜DataFun

01

Statsig公司介紹

公司名稱(chēng)Statsig，取自于統(tǒng)計(jì)學(xué)顯著性的英文簡(jiǎn)稱(chēng)。我們提供A/B實(shí)驗(yàn)以及相應(yīng)的功能管理平臺(tái)，現(xiàn)在也開(kāi)始做一些用戶(hù)分析方面的內(nèi)容。公司使命就是民主化A/B實(shí)驗(yàn)，用數(shù)據(jù)來(lái)驅(qū)動(dòng)決策，脫離傳統(tǒng)的“老板說(shuō)了算”這種模式。服務(wù)的客戶(hù)中不乏著名的創(chuàng)業(yè)公司，如Figma、Notion、OpenAI等。

我們企業(yè)工程團(tuán)隊(duì)主要服務(wù)企業(yè)級(jí)用戶(hù)，宗旨是讓所有在Statsig簽約的用戶(hù)，跑更多更好的實(shí)驗(yàn)。我們的工作內(nèi)容橫跨售前和售后，比如幫助銷(xiāo)售介紹公司產(chǎn)品和實(shí)驗(yàn)文化，也會(huì)參加用戶(hù)的實(shí)驗(yàn)設(shè)計(jì)和結(jié)果評(píng)審等。

02

Statsig公司創(chuàng)始故事

Statsig在2021年2月創(chuàng)立于美國(guó)西雅圖，整個(gè)團(tuán)隊(duì)都是前Facebook西雅圖的員工，包含6名工程師和1名數(shù)據(jù)科學(xué)家。創(chuàng)立時(shí)正處于新冠高峰期，但還是要求全員去公司上班，因?yàn)樵缙诿刻於家龊芏嘈碌臎Q定，只有這樣才能有更強(qiáng)的執(zhí)行力。

我們的CEO，是前Facebook的副總裁，也是西雅圖分部的負(fù)責(zé)人。他在 Facebook 任職的10年內(nèi)，西雅圖分部從剛開(kāi)始十幾個(gè)員工，一直做到 8000 個(gè)員工。他在公司內(nèi)部也是一個(gè)比較有名的連續(xù)創(chuàng)業(yè)者，曾經(jīng)帶領(lǐng)過(guò)很多成功的項(xiàng)目，這些項(xiàng)目現(xiàn)在給公司貢獻(xiàn)了上百億美金的收入。

從第一天上班，到第一版產(chǎn)品上線(xiàn)，我們花了大概3-4周時(shí)間。之后我們又等了3周的時(shí)間，才有了第一個(gè)新加坡的注冊(cè)用戶(hù)。同年10月份，我們收到了第一筆用戶(hù)付款，雖然只有幾美金，但確是一個(gè)非常重要的里程碑。

03

什么是民主化的A/B實(shí)驗(yàn)

1.一個(gè)親身經(jīng)歷的小故事

我們?cè)?jīng)在Facebook做一款小游戲，一個(gè)項(xiàng)目經(jīng)理提出要花時(shí)間去優(yōu)化游戲的加載速度，從而提高玩家的轉(zhuǎn)化率。這聽(tīng)起來(lái)理所當(dāng)然，沒(méi)有任何問(wèn)題，當(dāng)天就開(kāi)會(huì)討論具體要做什么。討論出來(lái)的方案幾乎都是大工程，估計(jì)需要好幾個(gè)月才能完成。

其中有個(gè)成員就提出了一個(gè)大膽的想法，減少加載時(shí)間很困難，但人工增加游戲加載時(shí)間很簡(jiǎn)單，我們可以先測(cè)一下增加游戲加載時(shí)間對(duì)用戶(hù)帶來(lái)的影響，然后用這個(gè)結(jié)果來(lái)評(píng)估要不要投入幾個(gè)月時(shí)間去減少。最后的結(jié)論是這個(gè)優(yōu)化帶來(lái)的增益，遠(yuǎn)遠(yuǎn)不值得投入這么大的精力，然后我們就用這個(gè)時(shí)間去做更有效的事情了。

花了幾個(gè)小時(shí)工作量，省下了團(tuán)隊(duì)幾個(gè)月的時(shí)間，這件事情讓我深刻地認(rèn)識(shí)到，每個(gè)公司都應(yīng)該有這樣的實(shí)驗(yàn)平臺(tái)和文化，這也是我們后來(lái)創(chuàng)業(yè)的初衷。

2.民主化實(shí)驗(yàn)的四個(gè)特點(diǎn)

實(shí)驗(yàn)的門(mén)檻和開(kāi)銷(xiāo)要低。這是所有人都能夠去測(cè)試他們各種想法的必要條件，非常重要。 實(shí)驗(yàn)數(shù)據(jù)要容易獲取且透明。數(shù)據(jù)容易獲取，可以降低實(shí)驗(yàn)的門(mén)檻；數(shù)據(jù)透明，實(shí)驗(yàn)結(jié)果才可以讓大家信服。 決策結(jié)構(gòu)去中心化。在民主的實(shí)驗(yàn)文化下，任何意見(jiàn)都會(huì)被考慮，用實(shí)驗(yàn)一一去測(cè)試可行性，然后再用數(shù)據(jù)結(jié)果來(lái)做決定。 能夠自我學(xué)習(xí)和優(yōu)化的團(tuán)隊(duì)。當(dāng)結(jié)果和預(yù)期不一致時(shí)，這種看似失敗的實(shí)驗(yàn)，往往能帶來(lái)更多的思考價(jià)值。

3.民主化實(shí)驗(yàn)對(duì)不同的崗位帶來(lái)的好處

工程師

他們能夠放心地去發(fā)布新的功能，不需要很多的反復(fù)測(cè)試流程。如果你有自助化的數(shù)據(jù)，就可以觀察新功能是否達(dá)到預(yù)期，APP閃退頻率以及用戶(hù)延時(shí)的變化情況。各種內(nèi)部SDK的升級(jí)，在我們的實(shí)驗(yàn)平臺(tái)都可以輕易做到。

數(shù)據(jù)科學(xué)家

一方面減少了他們寫(xiě)SQL取數(shù)和驗(yàn)算實(shí)驗(yàn)結(jié)果的時(shí)間，這種事情往往繁瑣枯燥；另一方面由于實(shí)驗(yàn)結(jié)果都是自助化的，也省去了團(tuán)隊(duì)其他成員，因?yàn)椴辉敢庀嘈艑?shí)驗(yàn)結(jié)果所帶來(lái)的一些沖突和麻煩。他們可以把這些省下的時(shí)間和精力花在更有意義的事情上，比如通過(guò)數(shù)據(jù)去幫助團(tuán)隊(duì)尋找產(chǎn)品發(fā)展的方向，或者是推薦更有用的實(shí)驗(yàn)?zāi)繕?biāo)之類(lèi)的事情。

項(xiàng)目經(jīng)理

用數(shù)據(jù)結(jié)果說(shuō)話(huà)，可以減少一些非常主觀的辯論。當(dāng)大家對(duì)于一個(gè)新的想法意見(jiàn)不統(tǒng)一時(shí)，就跑一個(gè)實(shí)驗(yàn)，讓結(jié)果說(shuō)話(huà)。這樣還可以鼓勵(lì)團(tuán)隊(duì)去嘗試更多未知冒險(xiǎn)的想法，這些想法往往可以帶來(lái)出其不意的回報(bào)。

/B實(shí)驗(yàn)的現(xiàn)狀

好的實(shí)驗(yàn)運(yùn)作應(yīng)該像流水線(xiàn)一樣，是每天工作的一部分，可以讓員工的工作效率翻倍。但大部分公司做實(shí)驗(yàn)更像是科學(xué)研究，從實(shí)驗(yàn)設(shè)計(jì)實(shí)現(xiàn)到數(shù)據(jù)采集解讀，端到端做一個(gè)完整實(shí)驗(yàn)是一種奢侈，不可能作為日常工作的一部分。造成這種情況主要有以下三個(gè)原因：

大部分實(shí)驗(yàn)平臺(tái)的功能不全。比如只能支持后端的實(shí)驗(yàn)，或者只能支持用戶(hù)登錄以后跑的實(shí)驗(yàn)等等，這樣就很大程度限制了實(shí)驗(yàn)普及的可能性。 實(shí)驗(yàn)數(shù)據(jù)需要數(shù)據(jù)科學(xué)團(tuán)隊(duì)手動(dòng)計(jì)算。很多公司的實(shí)驗(yàn)瓶頸就出在這里，計(jì)算花費(fèi)大量人力，不是每個(gè)公司都可以有一個(gè)大的數(shù)據(jù)科學(xué)團(tuán)隊(duì)。導(dǎo)致大家對(duì)A/B實(shí)驗(yàn)缺乏主觀的意愿，一般做實(shí)驗(yàn)都是因?yàn)轭I(lǐng)導(dǎo)要求。 實(shí)驗(yàn)平臺(tái)不提供端到端的完整性。導(dǎo)致一個(gè)團(tuán)隊(duì)里面只有全都不出錯(cuò)，才能夠得到正確的實(shí)驗(yàn)結(jié)果。這樣會(huì)導(dǎo)致成員之間互相指責(zé)，不利于團(tuán)隊(duì)和睦，尤其是新人很容易遭到打擊。

5.市面上的其他產(chǎn)品

市面上的產(chǎn)品沒(méi)有真正為產(chǎn)品團(tuán)隊(duì)打造，具體如下： 大多數(shù)時(shí)候都是為營(yíng)銷(xiāo)或者市場(chǎng)團(tuán)隊(duì)打造功能，偏向于無(wú)代碼實(shí)驗(yàn)，主要是因?yàn)檫@些部門(mén)比較愿意花錢(qián)。 實(shí)驗(yàn)結(jié)果經(jīng)常是在黑匣子里面，導(dǎo)致用戶(hù)很難自己算出同樣的結(jié)果，實(shí)驗(yàn)平臺(tái)也不愿意給出具體計(jì)算邏輯。 在跑實(shí)驗(yàn)之前就要求把測(cè)試的2-3個(gè)指標(biāo)確定好，然后實(shí)驗(yàn)開(kāi)始跑以后就不讓加了，這也是非常有局限性的一面。 很多公司提供的客服團(tuán)隊(duì)沒(méi)有實(shí)戰(zhàn)經(jīng)驗(yàn)，并不能指導(dǎo)用戶(hù)進(jìn)行最佳實(shí)踐，所以也很難讓用戶(hù)去建立起一個(gè)好的實(shí)驗(yàn)文化。 還有一些非常低級(jí)的錯(cuò)誤，比如分組不穩(wěn)定等等。

03

Statsig如何推進(jìn)A/B實(shí)驗(yàn)民主化

現(xiàn)在企業(yè)對(duì)數(shù)據(jù)分析方面的需求，可以用下圖中的需求金字塔來(lái)描述， Statsig的重點(diǎn)在上面兩層：

第一層是無(wú)所不在的實(shí)驗(yàn)。簡(jiǎn)單來(lái)說(shuō)就是每個(gè)新功能都可以當(dāng)做實(shí)驗(yàn)來(lái)做，用實(shí)驗(yàn)的結(jié)果來(lái)決定下一步干什么，很少有公司能做到這一點(diǎn)，目前只有比較大的一些科技公司才行，而我們的目標(biāo)是普及到所有的公司。 第二層就是大家普遍理解的 A/B 實(shí)驗(yàn)，我們產(chǎn)品提供給用戶(hù)最基本的這個(gè)功能，就是能夠讓用戶(hù)全方面的了解這次產(chǎn)品改動(dòng)所帶來(lái)的影響，以及包括長(zhǎng)期指標(biāo)在內(nèi)的一個(gè)整體畫(huà)面。 下面兩層是市面上其他產(chǎn)品提供的一些解決方案，我們也在這些方面有一些功能，比較常見(jiàn)，在這里就不展開(kāi)細(xì)講了。

推動(dòng)A/B實(shí)驗(yàn)民主化，最重要的就是實(shí)驗(yàn)的極簡(jiǎn)化，Statsig在這方面下了非常大的功夫。從UI到SDK的設(shè)計(jì)，都盡量做到極簡(jiǎn)，下圖展示的就是我們產(chǎn)品里面的一個(gè)功能開(kāi)關(guān)。你做任何的新功能，只要一個(gè)功能開(kāi)關(guān)，把功能放到這個(gè)開(kāi)關(guān)里面，然后寫(xiě)基本的一個(gè)如果從句，就可以把它變成一個(gè)實(shí)驗(yàn)。

這個(gè)功能開(kāi)關(guān)只要設(shè)置到0-100之間的百分比，我們就會(huì)自動(dòng)把這個(gè)做成A/B 實(shí)驗(yàn)，給你分析這個(gè)功能的存在與否，對(duì)用戶(hù)行為上面產(chǎn)生的一些影響。只要把功能放到這個(gè)開(kāi)關(guān)，就可以看到你所關(guān)心的所有指標(biāo)。不需要數(shù)據(jù)科學(xué)家做任何額外的工作，就可以一目了然，看到這個(gè)產(chǎn)品或功能產(chǎn)生的效果。

對(duì)于稍微復(fù)雜一點(diǎn)的場(chǎng)景，也可以把實(shí)驗(yàn)的變量做成參數(shù)。我們的SDK可以讓你在一個(gè)參數(shù)上跑不同的實(shí)驗(yàn)，可以同時(shí)也可以不同時(shí)，這樣顯而易見(jiàn)的好處就是，測(cè)一個(gè)參數(shù)的不同數(shù)值，不需要再改動(dòng)代碼，不需要移動(dòng)端開(kāi)發(fā)的等待時(shí)間，直接在UI界面上改就生效了，就可以直接開(kāi)始新的實(shí)驗(yàn)。

至于實(shí)驗(yàn)的數(shù)據(jù)收集，不管是從我們的 SDK 直接發(fā)過(guò)來(lái)，還是通過(guò)數(shù)據(jù)采集器或者數(shù)據(jù)倉(cāng)庫(kù)，我們的宗旨就是數(shù)據(jù)存在哪里都可以兼容。而且無(wú)論是記錄原始事件，還是預(yù)先設(shè)計(jì)好的計(jì)算指標(biāo)，我們也都可以用。換而言之，數(shù)據(jù)在哪，實(shí)驗(yàn)結(jié)果就可以在哪。

逐步揭示數(shù)據(jù)的復(fù)雜性（Progressive Disclosure of Complexity），就是希望讓我們的平臺(tái)能夠適用于不同崗位、不同背景的用戶(hù)，而不僅僅是數(shù)據(jù)科學(xué)家。我們的實(shí)驗(yàn)結(jié)果面板，基本上都可以看懂。紅色的就是顯著的不好，綠色就是顯著的提升，灰色就是沒(méi)有顯著性。這里面數(shù)據(jù)指標(biāo)含義，也都是顧名思義、一目了然。所以普通的工程師和項(xiàng)目經(jīng)理也可以通過(guò)數(shù)據(jù)面板來(lái)讀懂實(shí)驗(yàn)結(jié)果。

我們的平臺(tái)還支持更多深層次的需求，比如指標(biāo)的具體計(jì)算邏輯，在實(shí)驗(yàn)中某個(gè)指標(biāo)每天的變化等等。還可以從平臺(tái)里面導(dǎo)出計(jì)算結(jié)果的原始數(shù)據(jù)，不少用戶(hù)都會(huì)這樣來(lái)驗(yàn)算顯示數(shù)據(jù)的正確性，或者拿到他們自己的數(shù)據(jù)倉(cāng)庫(kù)里面去做更多的分析。

很多用戶(hù)煩惱的問(wèn)題就是不知道怎么證明一個(gè)團(tuán)隊(duì)跑很多實(shí)驗(yàn)，是不是值得的，給公司帶來(lái)了怎么樣的業(yè)績(jī)?？梢栽囈幌挛覀兤脚_(tái)內(nèi)置的這個(gè)實(shí)驗(yàn)保留功能，可以隨機(jī)選擇一小部分用戶(hù)，讓他們不參與任何的一個(gè)產(chǎn)品實(shí)驗(yàn)。然后會(huì)自動(dòng)計(jì)算這一段時(shí)間以來(lái)你們產(chǎn)品里面所有的實(shí)驗(yàn)，所有的功能產(chǎn)生的總體影響。很多用戶(hù)用這個(gè)來(lái)當(dāng)作他們整個(gè)團(tuán)隊(duì)一段時(shí)間的業(yè)績(jī)面板。

再來(lái)著重介紹下我們企業(yè)工程團(tuán)隊(duì)，我們與其他平臺(tái)最大的不同可以總結(jié)為四點(diǎn)，這也是我們能夠推動(dòng)A/B 實(shí)驗(yàn)民主化一個(gè)非常重要的因素：

我們團(tuán)隊(duì)有非常豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)，會(huì)對(duì)所有的用戶(hù)進(jìn)行實(shí)驗(yàn)基礎(chǔ)、最佳實(shí)踐的培訓(xùn)和答疑。 我們甚至?xí)⑴c到實(shí)驗(yàn)的設(shè)計(jì)評(píng)審當(dāng)中，幫客戶(hù)去建立一個(gè)比較好的實(shí)驗(yàn)體系。 我們會(huì)跟客戶(hù)一起計(jì)劃實(shí)驗(yàn)文化上面想要達(dá)到一些目標(biāo)，并且把這個(gè)當(dāng)成我們自己的目標(biāo)來(lái)評(píng)測(cè)是否成功。 我們也會(huì)負(fù)責(zé)公司的一些定制化實(shí)驗(yàn)需求，然后進(jìn)行考量，評(píng)估是否可以迭代到我們的標(biāo)準(zhǔn)產(chǎn)品中。

最后介紹兩個(gè)民主化實(shí)驗(yàn)推行的成功案例：

Rec Room，這是一個(gè) VR 游戲公司。他們現(xiàn)在就是把每個(gè)新功能都做在一個(gè)功能開(kāi)關(guān)后面，然后把它跑成一個(gè)實(shí)驗(yàn)。有一次升級(jí)了UX，原本以為會(huì)大大增加用戶(hù)粘性，結(jié)果發(fā)現(xiàn)這個(gè)用戶(hù)發(fā)消息的指標(biāo)卻下降了。然后他們仔細(xì)看了下界面設(shè)計(jì)，發(fā)現(xiàn)在新版上面發(fā)消息這個(gè)按鈕確實(shí)是有點(diǎn)被隱藏起來(lái)了，以前是比較明顯的一個(gè)按鈕。于是他們把這個(gè)按鈕放到了上面，可以看到這個(gè)發(fā)消息指標(biāo)有了顯著的提升。如果他們沒(méi)有每一個(gè)功能都來(lái)做實(shí)驗(yàn)這個(gè)習(xí)慣的話(huà)，是不會(huì)發(fā)現(xiàn)這樣一個(gè)問(wèn)題的。 ancestry，這是一個(gè)做 DNA 檢測(cè)的公司。他們現(xiàn)在也把所有的功能都放在一個(gè)功能開(kāi)關(guān)之后，用Statsig把它跑成一個(gè)實(shí)驗(yàn)。下面這個(gè)圖說(shuō)明了在用了 Statsig 以后，實(shí)驗(yàn)數(shù)量的變化。現(xiàn)在跑實(shí)驗(yàn)的頻率大概是一個(gè)月 50 個(gè)，但他們之前用內(nèi)部的實(shí)驗(yàn)平臺(tái)，頻率基本上是一年 50 個(gè)。這也證明了我們公司平臺(tái)和其他產(chǎn)品的對(duì)比優(yōu)勢(shì)。

今天的分享就到這里，謝謝大家。

▌2023數(shù)據(jù)智能創(chuàng)新與實(shí)踐大會(huì)

? 時(shí)間 ：/22 9:00-17:00

地點(diǎn) ：北京朝陽(yáng)悠唐皇冠假日酒店

購(gòu)票 ：18301441917

會(huì)議亮點(diǎn)：

1. 4大體系，專(zhuān)業(yè)結(jié)構(gòu)數(shù)據(jù)智能

2. 16個(gè)主題論壇，覆蓋當(dāng)下熱點(diǎn)與趨勢(shì)

3. 70+演講，兼具創(chuàng)新與最佳實(shí)踐

4. 1000+專(zhuān)業(yè)觀眾，內(nèi)行人的技術(shù)盛會(huì)

點(diǎn)擊下方鏈接即可報(bào)名

免責(zé)聲明：本文不構(gòu)成任何商業(yè)建議，投資有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎！本站發(fā)布的圖文一切為分享交流，傳播正能量，此文不保證數(shù)據(jù)的準(zhǔn)確性，內(nèi)容僅供參考

關(guān)鍵詞：