↓跳到主要内容

DCN:Deep & Cross Network for Ad Click Predictions

目录

对Deep & Cross Network做一下总结

一、Background #

主要是为了解决特征工程问题，让模型自动化的完成高阶特征组合

二、Model #

image
模型整体结构

2.1 Embedding and Stacking Layer #

image
模型最底部是embbding层，对于连续值特征做normalize；对于离散值特征，先离线训练一个embbding模型。最后把所有特征拼起来。

2.2 Cross Network #

image
对于cross network，每一层跟前一层的计算关系，看起来w和b的学习目标是你和xl+1跟xl层之间的残差。

image
跟具体的可以参考这张图
cross network的特点是

  • 随着layer数增加，能够包含的交叉特征维度也在提升。层数为L,理论上包含1~L维的所有x的特征组合
  • 总共需要的参数量只有 dL2, d表示输入的维度，L表示层数，2表示w和b两个参数。是一种非常巧妙的方法。

2.3 Deep Network #

全连接网络

2.4 Combination Layer #

image
最后把cross和deep的输出拼在一起，过sigmoid

三、Main Contributions #

  • 模型能够自动组合特征
  • 随着cross的层数增加，组合特征的最高次项也在增加
  • 模型的参数量小，高效

四、open source tool #

待更新

Reference #

[1] 作者报告ppt https://drive.google.com/file/d/0BwF-hgLDpCD6cUJSV3hyTFZ5ZnM/view [2] 作者主页，很厉害的美女，http://ruoxiw.com/

38db85a4c595ca6