設計效果檢驗之道

Hahn

設計效果檢驗,即針對設計師的設計方案進行數據驗證,通過客觀的數據來量化一部分設計方案中較為主觀或存在爭議的地方,以此判斷設計方案的優劣,從而得出檢驗結論。

眾所周知,每個人對設計的評判是主觀的,設計效果也不容易被直接量化。所以針對設計效果的數據檢驗變得很有必要,它可以輔助設計決策,沉澱出優秀的設計案例,並且進一步衍化出更好的方案,同時好的設計方法論得以傳承。從長遠角度來看,設計價值得以彰顯,設計師的說服力得到提升。

同時我們是在一家商業公司,好的設計除了為用戶帶來良好體驗,還要體現商業價值。而商業價值可較為直觀的從數據中體現,這也是設計效果檢驗的目的之一。

那麼,如何做好設計效果檢驗?換個說法,如何去除其他噪點,讓設計因素成為唯一的驗證點,從而得到嚴謹可靠的檢驗結論?且聽我一一道來:

 

一、檢驗結論的可靠性

我們先從一個例子說起:

臨近農曆春節,設計師為所在業務設計了一套春節氛圍,並在除夕前幾天發布上線。節後觀察數據,發現春節期間頁面頂部續費按鈕點擊率波動上升,相較春節前提升幅度很大:

因此,我們得出如下結論:

由於春節氛圍的設計充分渲染喜慶的感覺,用戶被情感化的設計所打動,並轉化為實際的付費行為。該設計為業務帶來了 XX 倍的數據提升,創造了 XX 的收入。後續氛圍設計都可以參考該風格。

看完上述結論後,你有何想法?你覺得它是否科學可靠?為什麼?

OK,相信你們內心已經有了答案。上述結論的論證過程不夠嚴謹,因此結論也不夠讓人信服,這裡列出幾點原因:

  • 從發布時間看:氛圍恰好在春節假期上線,流量激增
  • 從運營策略看:春節是運營活動推廣的高峰期,用戶的消費欲被大大刺激
  • 從用戶角度看:春節用戶的消費能力更強(年輕人有紅包、工薪族有獎金)
  • 從對比方式看:數據比較應該和上一年春節比(同比),而非和節前一段時間比(環比)

所以,想要得出一個科學可靠的檢驗結論,其論證過程就必須嚴謹可靠,那有哪些影響因素需要注意呢?

 

二、檢驗結論影響因素

通過日常工作中實踐與總結,我羅列了可能會對數據可靠性造成影響的因素:

  • 時間因素周末、月初月尾、節假日
  • 運營策略紅點、新增入口
  • 用戶屬性身份態、性別
  • 內容因素(內容、排序)
  • 其他因素(網頁訪問速度)

 

1、時間因素

一般來說,周末的流量相較於工作日會更高,用戶有更多的時間體驗產品,所以流量會提升,因此不應該拿周末的數據和工作日的數據做對比;節假日同理,而且節假日往往伴隨着消費能力的變化,正如上面提及的春節,用戶的消費能力更強;而月初月尾為什麼是一個納入考慮的時間因素,是因為 QQ 主要的用戶是年輕的群體,不管是中小學生或大學生,月初一般是父母給生活費、零花錢的時候,數據也表明月初的營收數據相較於月尾要更好。

2、運營策略

運營策略主要受產品側的人為影響,例如在 App 中為活動推送紅點消息引流,在頁面中新增運營 Banner 位等,導致流量大漲,數據波動。從而影響到設計方案的數據觀察。

舉個例子,為了縮短操作路徑,產品經理與設計師溝通在「好友克隆」的詳情頁里增加了一個底部按鈕,方便用戶直接在手機中實現克隆好友的操作,好友克隆是會員特權,可以觀察其帶動的會員開通來檢驗設計提升效果,發布後新增會員數量走勢如下:

原本以為這是由於路徑縮短(新增按鈕)所帶來的轉化率提升,但進一步了解產品的運營策略後發現,之所以數據上升,還有另外一個影響因素,即產品在會員中心頁面里新增了一個 Banner 位:

所以因為產品策略的影響,數據的提升並非完全來自於新增了一個按鈕,雖然也無法忽略其作用。但此時的結論已經無法做到嚴謹可靠了。

3、用戶屬性

用戶屬性即身份態和性別。性別大家都懂,什麼是身份態?QQ 會員、超級會員、年費會員、過期會員這些標識了 QQ 用戶屬性的狀態就是身份態。

用戶屬性對數據檢驗會有什麼影響?舉個例子,我們希望橫向對比兩個活動頁面中開通按鈕的設計效果對轉化率的影響,所以準備了兩個運營活動的數據來比較:

但上述兩個活動有明顯的性別傾向,如左側傾向於男性,右側傾向於女性(而且內容不一樣);在手 Q 中男女比例和消費能力都不一樣,所以橫向對比不具備嚴謹性。身份態同理,針對年費會員的活動數據,和針對過期迴流用戶的活動數據兩者不適合做比較,因為消費能力不同。

4、內容因素

內容本身以及它的排序也會影響數據,這常體現於列表或運營位中。舉個例子,我們希望分析運營圖顏色對其點擊率的影響。那麼必須確保其內容不變(免費領10元紅包),同時排序不變(保持在第一位)。

之所以排序需要特別拿出來說,是因為自從有了精細化運營之後,運營內容會針對不同的標籤用戶來差異化展示,這必然會影響到其排序和是否可見。由上圖可分析,運營圖顏色的改變短期會刺激用戶的點擊,但從長遠來看點擊率並無大幅的提升。

5、其他因素

其他因素如網頁的加載速度越快,用戶操作愉悅感更強,更能促成付費行為的成功率。改版前後若有頁面性能上的提升,也會影響到數據的準確度。

當然,要想在一次設計效果檢驗流程中做到完全規避上述影響也非易事,這裡需要設計師和產品經理溝通密切,明確目標,創造條件達成目的。說完影響因素,接下來說說怎麼樣去規避這些因素,做好數據校驗。

 

三、數據檢驗方法

簡單來說,檢驗方式可以概括為:灰度發布(A/B Test)新舊版對比。

1、灰度發布

灰度發布即非全量發布,一部分用戶體驗新版,一部分用戶仍然使用舊版。例如,針對某個新的設計方案,灰度 20% 的用戶(如 QQ 尾號是 01 的用戶)體驗到新的設計方案,剩下 80% 的用戶依舊使用的是原有設計。這裡以 QQ 尾號為例,當然也可以通過手機尾號,用戶獨立 ID 等信息來控制發布比例。

灰度發布包括了 A/B Test。和灰度發布不同的是,A/B Test 一般針對兩種不一樣的設計方案,均分給兩個群體的人使用。如針對 AB 兩種設計方案,50% 的用戶(QQ 尾號為 0-4)體驗到 A 方案,另外 50% 的用戶(QQ 尾號為 5-9)的用戶體驗到 B 方案。

使用灰度發布的好處體現在哪裡?它可以確保同一時間內,由不具備明顯身份屬性差異的隨機用戶來體驗同一個內容和排序不同設計方案,規避了時間因素、產品策略、用戶屬性、內容差異,這種情況下得到的數據是相對精準可靠的,灰度發布的驗證方式更加有針對性。

2、新舊版對比

若沒有條件進行灰度發布或 A/B Test(人力、時間、技術等條件不允許),則可以通過新舊版數據對比。以發布時間為分界點,進行前後數據對比。

灰度發布確保了單一變量的對比,而新舊版對比則可能接受到很多因素的影響,正如上面所列出來的影響因素。但也是有辦法做到盡量嚴謹可靠的。

其中時間因素是影響比較大的,為排除時間影響,可遵循原則如下:

  • 看同比不看環比
  • 看平均值不看峰值
  • 時間段內包含的周末數量一致
  • 去掉波動大的數據

同時還需注意:我們的原則是每次驗證一個小點(單一變量),若存在多種變化同時發終生,則結論無法保證嚴謹。所以多變量是我們在做數據檢驗時要規避的情況。

 

 四、總結

為什麼要做設計效果檢驗,在開頭已經強調,我們希望數據能更多的被考慮進用戶體驗設計流程中,輔助設計決策,為業務帶來價值同時提升設計效率,而嚴謹的論證過程可以幫助我們排除其他影響噪點,專註於對比不同的設計方案對數據的影響。當然,數據不是衡量設計好壞的唯一指標,數據也不是設計的目的。

這套設計效果檢驗方法論經過了一年多的實踐,也為我們沉澱了一些較為優質的設計案例,期待未來與各位分享。

Tags: , , , ,

Hahn
Hahn
用戶之聲
上一遍
web圖像的常見應用策略與技巧
下一遍
16,286
QQ空間 新浪微博 Facebook Google+

相關推薦

留下你的想法吧