西瓜书 周志华 2016 年 12 月第 14 次印刷
3.1 基本形式
线性模型的预测函数为： \[{f(x)=w_1x_1+w_2x_2+...+w_dx_d+b}\] 写成向量模式得到： \[{f(x)=w^Tx+b}\]
3.2 线性回归
线性回归能在给定数据集 \({D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}}\)，其中 \({x_i =\{x_{i1};x_{i2};...;x_{id}\},y_i\in\mathbb{R}}\)学到一个线性模型从而进行预测。
考虑最简单情况，当 \({x_i}\) 为一维时，问题转换为求下式： \[{f(x_i)=wx_i+b，使得f(x_i)\simeq y_i}\]
使用平方损失函数作为衡量线性规划模型性能的指标，\({f(x)}\) 与 \({y}\) 越接近，代表平方损失函数越小。即得到： 