Word2Vec

8/2/2021 Word2Vec

# Embedding技术为何对深度学习推荐系统来说非常重要?

1)推荐场景中大量使用one-hot编码对类别、id型特征进行编码,导致样本特征向量极度稀疏,而深度学习的结构特点使其不利于稀疏特征向量的处理,因此几乎所有深度学习推荐模型都会由Embedding层负责将高维稀疏特征转换为低维稠密特征向量。因此,各类Embedding技术是构建深度学习推荐模型的基础性操作。

2)Embedding本身就是极其重要的特征向量。相比MF等传统方法产生的特征向量,Embedding的表达能力更强,特别是Graph Embedding技术被提出后,Embedding几乎可以引入任何信息进行编码,使其本身就包含大量有价值的信息。在此基础上,Embedding向量往往会与其他推荐系统特征连接后一同输入后续深度学习网络进行训练。

3)Embedding对物品、用户相似度的计算是常用的推荐系统召回层技术。在局部敏感哈希(Locality-Sensitive Hashing)等快速最近邻搜索技术应用于推荐系统后,Embedding更适用于对海量备选物品进行快速“初筛”,过滤出几百到几千的物品交由深度学习网络进行“精排”。

# 请简述Word2Vec的原理和结构。

# 为了加快Word2Vec的训练,采取了什么方法?