導(dǎo)讀 本文將介紹一種基于神經(jīng)元級共享的 CTR、CVR 多任務(wù)聯(lián)合預(yù)估的方法。分享分為兩大部分：第一部分介紹多任務(wù)學(xué)習(xí)相關(guān)發(fā)展；第二部分具體介紹我們提出的一種多任務(wù)聯(lián)合預(yù)估的方法。

全文目錄如下：

1. 多任務(wù)學(xué)習(xí)的背景介紹

(資料圖)

2. 多任務(wù)經(jīng)典模型結(jié)構(gòu)

3. 一種基于神經(jīng)元級共享的 CTR、CVR 多任務(wù)聯(lián)合預(yù)估的方法

分享嘉賓｜陳華斌 阿里巴巴 算法工程師

編輯整理｜劉曉濤 深圳大學(xué)

出品社區(qū)｜DataFun

01

多任務(wù)學(xué)習(xí)的背景介紹

Stein 悖論是探索多任務(wù)學(xué)習(xí)（MTL）（Caruana，1997）的早期動(dòng)機(jī)。很多東西看起來表面上是不相關(guān)的，但其實(shí)它們會(huì)服從一個(gè)潛在的相似的模式，這就是多任務(wù)學(xué)習(xí)在統(tǒng)計(jì)學(xué)上的基礎(chǔ)。

在機(jī)器學(xué)習(xí)領(lǐng)域中，多任務(wù)學(xué)習(xí)是一種學(xué)習(xí)范式，其中來自多任務(wù)的數(shù)據(jù)被用來獲得優(yōu)于獨(dú)立學(xué)習(xí)每個(gè)任務(wù)的性能。即便是真實(shí)世界中看似無關(guān)的任務(wù)也因數(shù)據(jù)共享的過程而存在一定的依賴性或者相關(guān)性。

1. 多任務(wù)學(xué)習(xí)中的 CTR、CVR

在電商行業(yè)中，經(jīng)常會(huì)聽到點(diǎn)擊率（CTR，Click-Through-Rote）與轉(zhuǎn)化率（CVR，Conversion Rate）這兩個(gè)詞，都是代表某種行為轉(zhuǎn)化，同時(shí)它們也是業(yè)務(wù)分析的重要指標(biāo)。 CTR 和 CVR 的區(qū)別在于兩者表示著不同的廣告投放指標(biāo)， 可以從一定程度上反映廣告投放的效果。在廣告和推薦場景中，用戶首先會(huì)看到平臺(tái)給他生成的推薦結(jié)果，稱為曝光（impression），用戶會(huì)有一定的概率做點(diǎn)擊 CTR，公式是 CTR=（點(diǎn)擊量/展示量次數(shù)）* 100%。如果滿意就會(huì)購買產(chǎn)品，稱為 CVR，公式是 CVR =(轉(zhuǎn)化量/點(diǎn)擊量)*100%。

上圖是典型的推薦系統(tǒng)的示意圖， 候選池->召回->精排。很多公司會(huì)在精排之后增加重排機(jī)制最后給出推薦展示。展示之后會(huì)有點(diǎn)擊和觀看。在視頻推薦領(lǐng)域中，CVR 會(huì)根據(jù)觀看視頻時(shí)長來確定，即表示視頻觀看的完成度。CTR 預(yù)估和 CVR 預(yù)估是推薦系統(tǒng)中的經(jīng)典目標(biāo)。

多任務(wù)學(xué)習(xí)能夠減少資源壓力（計(jì)算成本和時(shí)間成本），充分利用各個(gè)任務(wù)的潛在關(guān)系校準(zhǔn)單任務(wù)（樣本選擇偏差、樣本稀疏）。但是可能會(huì)引入一些共享沖突問題。典型的粗粒度任務(wù)共享可能會(huì)引入共享沖突，用戶可能存在細(xì)粒度的內(nèi)容興趣偏好。比如一個(gè)用戶在電商平臺(tái)上因?yàn)闃?biāo)題或者封面因素點(diǎn)擊了一個(gè)商品但是并沒有購買，那么在 CTR 任務(wù)中它是一個(gè)正樣本，但在 CVR 任務(wù)中就可能是一個(gè)負(fù)樣本。很多時(shí)候 CTR 跟 CVR 存在一定的潛在興趣沖突。那沒有很好地去解決這些沖突，多任務(wù)帶來的效果可能是 CTR 和 CVR 都會(huì)下降。當(dāng)然我們這個(gè)工作主要是利用 CTR 來優(yōu)化 CVR，所以本篇也會(huì)重點(diǎn)把這個(gè)討論放在 CVR 的優(yōu)化上。

2. 多任務(wù)學(xué)習(xí)的潛在優(yōu)勢

① 隱式數(shù)據(jù)增強(qiáng)

每個(gè)任務(wù)都有自己的樣本，使用多任務(wù)學(xué)習(xí)，模型的樣本量會(huì)提升很多。而且數(shù)據(jù)都會(huì)有噪聲，如果單學(xué) A 任務(wù)，模型會(huì)把 A 數(shù)據(jù)的噪聲也學(xué)進(jìn)去。因此可以學(xué)到一個(gè)更精確的嵌入表達(dá)。

② 注意力聚焦

如果任務(wù)的數(shù)據(jù)噪聲非常多，數(shù)據(jù)很少且非常高維，模型對相關(guān)特征和非相關(guān)特征就無法區(qū)分。多任務(wù)學(xué)習(xí)可以幫助模型聚焦到有用的特征上，因?yàn)椴煌蝿?wù)都會(huì)反應(yīng)特征與任務(wù)的相關(guān)性。

③ 特征信息竊取

有些特征在任務(wù) B 中容易學(xué)習(xí)，在任務(wù) A 中較難學(xué)習(xí)，主要原因是任務(wù) A 與這些特征的交互更為復(fù)雜，且對于任務(wù) A 來說其他特征可能會(huì)阻礙部分特征的學(xué)習(xí)，因此通過多任務(wù)學(xué)習(xí)，模型可以高效地學(xué)習(xí)每一個(gè)重要的特征。

④ 表達(dá)偏差

MTL 使模型學(xué)到所有任務(wù)都偏好的向量表示。這也將有助于該模型推廣到未來的新任務(wù)，因?yàn)榧僭O(shè)空間對于足夠多的訓(xùn)練任務(wù)表現(xiàn)良好，對于學(xué)習(xí)新任務(wù)也表現(xiàn)良好。

⑤ 正則化

從機(jī)器學(xué)習(xí)角度來看，對于一個(gè)任務(wù)而言，其他任務(wù)的學(xué)習(xí)都會(huì)對該任務(wù)有正則化效果。

02

多任務(wù)經(jīng)典模型結(jié)構(gòu)

推薦領(lǐng)域中經(jīng)典的多任務(wù)模型包括 ESMM 系列和 MMOE 系列 。

1. ESMM 模型

ESMM 系列使用點(diǎn)擊信號（CTR）和點(diǎn)擊后信號（如點(diǎn) 贊、收藏等）來解決轉(zhuǎn)化率樣本稀疏問題。該系列主要是 share bottom 的結(jié)構(gòu)，底層的基礎(chǔ)特征 user embedding 和 item embedding 都是共享學(xué)習(xí)的。常規(guī)的 share bottom，分別學(xué)習(xí) CTR 和 CVR 任務(wù)，而作者認(rèn)為是 CTR 跟 CVR 不在一個(gè)樣本空間，CTR 是從曝光到點(diǎn)擊，CVR 是從點(diǎn)擊到轉(zhuǎn)化，那 CTR 和 CVR 就不是在同一個(gè)樣本空間，這樣整個(gè)學(xué)習(xí)可能會(huì)帶來一定的偏置。而 ESMM 的改進(jìn)方式就是同時(shí)學(xué) CTR 和 CVR，這樣就轉(zhuǎn)變成了一個(gè)是曝光到點(diǎn)擊，一個(gè)是曝光到轉(zhuǎn)化，整個(gè)的樣本空間是一致的，可以保證推薦系統(tǒng)的離線訓(xùn)練和線上推理兩個(gè)過程樣本空間的一致性。整個(gè)模型比較大的收益就是來自于這樣一個(gè) share bottom，即底層 embedding 的共享。

2. MMOE 模型

MMOE 系列，與 SNR 和 PLE 都屬于一大類，它們使用專家子網(wǎng)絡(luò)的多門混合對多任務(wù)學(xué)習(xí)進(jìn)行建模，在子網(wǎng)絡(luò)的粒度上提供有限程度的共享。比如對于任務(wù) A 和 B，它們在 Export 0 上共享得更多，Export 1 上共享得更少等類似這樣的操作。

03

一種基于神經(jīng)元級共享的 CTR、CVR 多任務(wù)聯(lián)合預(yù)估的方法

1. 模型結(jié)構(gòu)

本文的工作啟發(fā)來自于彩票假設(shè)理論，即一個(gè)隨機(jī)初始化的網(wǎng)絡(luò)包含一個(gè)小的子網(wǎng)絡(luò)（中獎(jiǎng)彩票），當(dāng)?shù)?xùn)練時(shí)可以與原始大型網(wǎng)絡(luò)的性能相當(dāng)（2019 ICLR 最佳論文）。我們在 base model 上通過迭代幅度剪枝， 自動(dòng)提取 CTR 和 CVR 的 mask，每個(gè)任務(wù)的 mask 僅用于自身任務(wù)，也就是說交替訓(xùn)練 CTR 子網(wǎng)絡(luò)和 CVR 子網(wǎng)絡(luò)，每個(gè)任務(wù)只更新其對應(yīng)子網(wǎng)的神經(jīng)元權(quán)重。最后通過原始模型（左圖）和 mask（中間）之間的哈達(dá)瑪乘積生成最終模型（右圖）。

這種共享和任務(wù)特定表征的方式準(zhǔn)確響應(yīng)了典型的多任務(wù)學(xué)習(xí)范式，它試圖最大化共享特征，同時(shí)減少?zèng)_突。由于自動(dòng)地學(xué)習(xí)了掩碼/子網(wǎng)絡(luò)，避免分析網(wǎng)絡(luò)的哪一部分應(yīng)該共享，哪一部分有沖突。

2. 訓(xùn)練推理

我們的 CTR 和 CVR 任務(wù)擁有相同的 base 網(wǎng)絡(luò) sNET ，利用這個(gè) base 網(wǎng)絡(luò)來進(jìn)行迭代訓(xùn)練，獲得每個(gè)任務(wù)（不同 task_id）特定的子網(wǎng)絡(luò)。對于 CTR/CVR 任務(wù)：

① 在初始階段， 我們給 weight 矩陣設(shè)計(jì)對應(yīng)的 mask 矩陣 mask[task_id][0]，初始化為全 1 矩陣。

② 接著 我們進(jìn)行迭代訓(xùn)練，將 weight 和 mask 做 mask 運(yùn)算。每訓(xùn)練一個(gè) epoch，我們將 weight 元素按照絕對值進(jìn)行排序，減去最小的 p% 權(quán)重，即將對應(yīng) weight 位置的 mask 設(shè)置為 0。

③ 繼續(xù) 訓(xùn)練一個(gè) epoch，由于這部分 weight 的 mask 設(shè)置為 0，該部分 weight 便沒有激活。使得前饋和反向傳播階段該 weight 失效。在剩余的 weight 中減去 %p 的權(quán)重，直到達(dá)到設(shè)置的迭代次數(shù)和剩余參數(shù)率。

④ 根據(jù)每輪選代完的測試結(jié)果，我們選擇性能最好的 masks[task id][best]。

得到這樣一個(gè) best mask 之后，就可以開始正式地去進(jìn)行 CTR、CVR 的一個(gè)訓(xùn)練。重新初始化 sNEt，根據(jù) task_id（CTR 或 CVR），然后加載對應(yīng)的 mask，就得到了對應(yīng)的子網(wǎng)絡(luò)，再訓(xùn)練這個(gè)子網(wǎng)絡(luò)。

在訓(xùn)練剪枝過程中，我們發(fā)現(xiàn)并不是用很寬很大的網(wǎng)絡(luò)效果就更好，適當(dāng)減少神經(jīng)元的數(shù)量對于 CTR、CVR 任務(wù)都是有提升效果的。當(dāng)然如果刪減得太多，效果自然也會(huì)下降。

3. 實(shí)驗(yàn)結(jié)果

本文使用的損失函數(shù)是 CTR 損失函數(shù)和 CVR 損失函數(shù)的加權(quán)融合，其中權(quán)重是超參數(shù)；

線上打分公式主要是 CTR、CVR 和視頻時(shí)長的乘積，其中 α、β 等均是超參數(shù)；

數(shù)據(jù)集使用的是一個(gè)較小的短視頻場景，用戶量一千萬左右，視頻一千一百萬左右。

對于離線實(shí)驗(yàn)，其中 hardsharing model 這是最經(jīng)典的 share bottom，對于 CVR 任務(wù) MSE 大概是 ，它大概能讓 MSE 下降 %；我們工作的一個(gè)基本結(jié)構(gòu)是 S_weight，它能讓 CVR 在 MSE 下降 3% 。

線上實(shí)驗(yàn)，包括 4 組實(shí)驗(yàn)：

① 單任務(wù)的 CTR * 單任務(wù)的 CVR* 時(shí)長；

② 單任務(wù)的 CTR * share bottom 的結(jié)構(gòu)學(xué) CVR* 時(shí)長；

③ 單任務(wù)的 CTR * S_weight 的 CVR（就是我們的工作）* 時(shí)長；

④ S_weight 的 CTR、CVR * 時(shí)長。

從瀏覽效果來看，單任務(wù)的 CTR * S_weight 的 CVR 效果是最好的，這也是符合預(yù)期的一個(gè)結(jié)果，因?yàn)?CTR 的樣本一般是比較充足的。但是如果用 S_weight 的 CTR、CVR 聯(lián)合上線，可以看到它的 CTR 還有 CVR 的指標(biāo)上效果會(huì)有一點(diǎn)提升。我們的推斷是這兩個(gè)任務(wù)有一定的協(xié)同性。

我們的方法與單任務(wù)模型和經(jīng)典的層級共享模型進(jìn)行了比較，分別證明了 CVR MSE 的相對減少 % 和 %。

04

總結(jié)

① 我們是業(yè)界第一個(gè)嘗試應(yīng)用神經(jīng)元連接級共享來解決 CVR 多任務(wù)學(xué)習(xí)的工作，緩解了共享沖突問題，自動(dòng)學(xué)習(xí)共享的神經(jīng)元權(quán)重，與之前的粗粒度子網(wǎng)絡(luò)/層級共享方法相比，這是一種范式轉(zhuǎn)變。

② 我們的方法部署到了某億級用戶視頻線上系統(tǒng)中，實(shí)現(xiàn)了比單任務(wù)方法顯著的性 能改進(jìn)。證明了其在實(shí)際工業(yè)應(yīng)用中的價(jià)值。

③ 該方法可以很容易地推廣到推薦系統(tǒng)中的其他任務(wù)中，例如點(diǎn)贊率、評論率等。

④ 相關(guān)工作已經(jīng)加入 onerec 項(xiàng)目： /xuanjixiao/onerec 。

以上就是本次分享的內(nèi)容，謝謝大家。

今日推薦

零距離對話全球頂尖技術(shù)專家、學(xué)者、業(yè)界領(lǐng)袖，與國內(nèi)外技術(shù)同行探討：大模型、生成式AI、敏捷數(shù)據(jù)分析、智能湖倉、數(shù)據(jù)安全與合規(guī)等熱門話題

? 活動(dòng)時(shí)間：6/27-28 9:00-17:00

?? 活動(dòng)地點(diǎn)：上海·世博中心

活動(dòng)亮點(diǎn)：

點(diǎn)擊鏈接報(bào)名參會(huì)：

關(guān)鍵詞：