全球速遞！火山引擎A/B測試：MAB智能調優實驗，企業活動效果提升新利器

2023-05-31 12:54:33來源：中關村在線

618臨近，各大電商APP的預熱活動已然拉開序幕。對企業而言，一場活動從策劃到上線，中間經過效果驗證，其業務成本很高。一個好的活動創意從策劃、開發、到最終發布，至少會經歷幾周實踐，如果中間還經歷A/B實驗的小流量效果驗證，會更加耗時耗力。但一個不容忽視的現狀是，很多短期的線上活動很可能前幾次的A/B實驗結果都是不顯著的，但由于活動排期緊湊、實驗調試時間短，常規A/B實驗能為活動優化帶來的收益常會收效甚微。

【資料圖】

企業在短周期的活動運營場景中，如何通過快速、低成本的A/B實驗，獲得更好的收益呢？火山引擎A/B測試DataTester推出的新功能——MAB智能調優實驗，可以解決企業短周期活動運營場景的A/B實驗痛點。

傳統A/B實驗依賴于統計顯著性的經典假設檢驗，在實驗期間不能夠變更每個子版本的流量；因此這類實驗需要至少7天的專門預留周期、要有足夠的樣本進入實驗，并且在實驗開始后不能有任何變動，才可能得出顯著結果。而不同于傳統的A/B實驗，DataTester的MAB智能調優實驗能支持1-2天的短期快速A/B實驗，實驗以整個活動收益最優為核心目標，可實現動態實時的流量調節。

以某款游戲APP促活活動實驗為例，該APP接入了火山引擎DataTester，希望驗證多文案push場景下，MAB智能調優策略能比均勻分流的策略帶來點擊率更高的收益。

該APP的運營團隊首先擬定了4款不同的推送文案：

● 標題1:巨量元寶限量發！！！

● 內容1:寶箱已滿，整整300顆元寶待領\n馬上點擊獲得>>

● 標題2:@你，有人偷偷給你送元寶啦

● 內容2:整整300顆元寶待領\n馬上點擊獲得>>

● 標題3:免費的元寶福利到啦～～

● 內容3:最高可獲得540顆元寶，還不趕緊來領取>

● 標題4:今天的元寶獎勵來啦～～～

● 內容4:元寶已經溢出來了！\n點擊領取才能繼續收集哦>>

在實驗設計時，他們將整個實驗層的流量（100%）均分為兩組，實驗總時長和活動時長一致，設為5天。對照組給50%流量，并在對照組流量中開設一個ABCD實驗。將流量等分為4份，分別分給上述4個文案。實驗組同樣給50%流量，對實驗組進行MAB智能調優實驗。

在為期5天的實驗結束后，可以看到對照組和實驗組的5日累計指標數據，發現基于DataTester MAB智能調優實驗進行流量分配的實驗組，在總體點擊率上獲得+9.1%的正向收益，且增長顯著（p value=0.002）。

通過上述案例可以發現，在兩組實驗中，實際觀測的點擊率（CTR）最高的文案并不太一樣。這意味著，受推送發布時間、用戶心理等多種不確定影響因素影響，假設以對照組策略（固定均勻分流實驗）作為先導實驗來選擇文案，最終獲得的實驗結論并不見得可靠。

而如果采用MAB智能調優實驗，企業只需接入DataTester并啟動所有的標題文案，DataTester會采用智能優化能力來進行流量的實時的調整和分配，企業的轉化效率平均可提升10%以上。而除去推送文案實驗場景之外，有多種營銷活動場景，如落地頁擇優、折扣策略擇優等，也都能通過DataTester MAB智能調優實驗實時開啟。

DataTester是火山引擎數智平臺旗下產品，能夠深度耦合推薦、廣告、搜索、UI、產品功能等多種行業場景需求，為業務增長、轉化、產品迭代，運營提效等各環節提供科學的決策依據，目前已服務了美的、得到、凱叔講故事等在內的上百家外部企業。

據了解，火山引擎DataTester目前推出了30天免費試用的活動，用戶只要在火山引擎A/B測試官網申請試用，無需企業認證，一鍵申請即刻開通！（作者：潘樺佑）

標簽：