回顾线性回归的公式：θ是系数，X是特征，h(x) 是预测值。

h(x) = θ₀ + θ₁x₁ + θ₂x₂ + … + θ_nx_n h(x) = Σ θ_ix_i（ i=0~n ） h(x) = θ^TX = [θ₁,θ₂,θ₃,…,θ_n] * [x₁,x₂,x₃,…,x_n]^T 最终要求是计算出θ的值，并选择最优的θ值构成算法公式，使预测值能够尽可能接近真实值。

求解线性回归的思路

线性回归主要用到两种方法：最大似然估计、最小二乘法。两种思路截然不同，但最终得到的结果是一致的。

1、

2、最小二乘求解

损失函数：

在公式中，x和y都是已知的。现在未知的是θ。

下面给出一个例子，房屋面积和房间数量是样本X，租赁价格是实际值Y，我们需要求出θ：

θ=(X^TX)^-1X^TY

在求解的过程中，矩阵的逆是求解的难点。