formath ·2023-03-15 Softmax近似方法（一） - Noise Contrastive Estimation理论详解 · Numerical-Optimization · Machine-Learning · Deep-Learning 超大规模多分类问题Softmax分母的Partition Function难以计算。比如，在推荐系统领域，预测用户下一次点击某个item的概率，需要累加全部item上的exp值，而item数量可能为千万甚至亿级。NCE通过概率模型和优化目标的改变，巧妙的解决了这个问题，本文详细介绍NCE的核心思想。
formath ·2017-09-06 广告CTR预估场景下的DNN调优实战 · 点击率预估 · Deep-Learning · CTR DNN模型的特征构造，性能优化，以及训练TGB级别的超大模型及在线托管大模型服务，秒级在线更新的DNN模型...