0%

决策树

主要 follw 教程:https://datawhale.feishu.cn/docs/doccndJC2sbSfdziNcahCYCx70W#

机器学习三要素

  1. 模型:根据具体问题,确定假设空间
  2. 策略:根据评价标准,确定选取最优模型的策略(通常会产出一个“损失函数”)
  3. 算法:求解损失函数,确定最优模型

算法原理

  • 从逻辑角度,就是一堆 if else 语句的组合
  • 从几何角度,根据某种准则划分特征空间
  • 最终目的:将样本越分越“纯”

策略

决策树建树算法有三种ID3、C4.5、CART,每个算法主要考虑的事情主要有三个问题:

  1. 如何选择最优划分属性?
  2. 条件判断的属性值是什么?
  3. 什么时候停止分裂,达到我们需要的决策?
阅读全文 »

线性回归

主要 follw 教程:https://datawhale.feishu.cn/docs/doccndJC2sbSfdziNcahCYCx70W#

机器学习三要素

  1. 模型:根据具体问题,确定假设空间
  2. 策略:根据评价标准,确定选取最优模型的策略(通常会产出一个“损失函数”)
  3. 算法:求解损失函数,确定最优模型

一元线性回归

以一元线性回归为例:求解发际线高度x和计算机水平y的关系。

  1. 模型:根据经验(或观察数据形态),呈线性关系,所以假设空间 $f(x)=wx+b$,而不是曲线关系。

    • 一元线性回归表达式:$ y = wx + b $
  2. 策略:所有点距离拟合的直线垂直距离最小,即均方误差小,最小二乘法。或者使用极大似然估计,假设$y=wx+b+\epsilon$,对$\epsilon$误差建模,能得出同样策略。

    • 损失函数为均方误差(最小二乘法):

  3. 算法:可以证明 $E_{(w, b)}$是凸函数(可以求2阶偏导数,证明Hessian矩阵半正定),所以能求出闭式解。(但机器学习算法通常没有闭式解,就要用梯度下降法、牛顿法近似求解)

    • 令一阶偏导等于0,可以求出闭式解(此处省略推导):

代码实现

阅读全文 »

Task02

  Task02:精排模型 DeepFM DIN

  参考资料:FunRec文档RecHub源码

推荐模型发展的时间线

image-20220618103615992

  这张图来自[1],放出这张图的原因是便于从时间线上感受这些模型的发展。本期学习的 DIN 还算是比较独立的存在,它在前面模型 DNN 思想的基础上加入了注意力机制。而 DeepFM ,从时间线上可以看到 DeepFM 模型是在 FM、FNN、PNN、Wide&Deep 之后推出的,其实也是对这些模型的改进,为了更好地理解 DeepFM,至少得先了解它们。

阅读全文 »

Task01

  Task01:熟悉Torch-RecHub框架设计与使用方法

  参考资料:0613晚直播讲解,直播ppt,RecHub源码

Torch-RecHub 简介

  一句话概括:一个轻量级的pytorch推荐模型框架(详见ppt)。

  比较认可的一点是:“模型训练与模型定义解耦,无basemodel概念,易拓展”,因为之前接触过 RUC 的开源框架 Recbole ,emm只能说对新手不是很友好(但不否认是一个伟大的开源项目),不友好主要就体现在各种 basemodel 的封装继承导致比较难修改。

阅读全文 »

image-20220405093804827


原paper:[2205.04181] Price DOES Matter! Modeling Price and Interest Preferences in Session-based Recommendation (arxiv.org)

作者本人解读:https://mp.weixin.qq.com/s/kSayir_jVwZbhEPm0qtYPA


中译:基于用户价格偏好及兴趣偏好的会话推荐

总结:

  异质超图=异质图+超图:异质图——融合异质特征,超图——捕捉高阶依赖

  双通道聚合:intra + inter ,聚合同类和异类信息,获得价格和兴趣偏好的初级表示

  协同指导学习:捕捉价格偏好和兴趣偏好之间的复杂联系,获得语义增强的价格和兴趣偏好的表示

阅读全文 »


任务9:多路召回实践

  • 基于任务3、任务5、任务6、任务7、任务8,总共5个召回模型,进行多路召回。
  • 可以考虑对每个召回模型的物品打分进行相加,也可以加权求和。
  • 分别计算每个模型 & 多路召回模型的Top10、Top20、Top50的命中率。

代码地址: https://github.com/Guadzilla/Basics-of-Recsys

阅读全文 »