解析解 :
$$
E(w) = \frac{1}{N} ||Xw-y||^2=\frac{1}{N}(w^Tx^Txw-2w^Tx^Ty+y^Ty)
$$
$$
\nabla E_{in}(w)=\frac{2}{N}(X^TXW-X^Ty)
$$
$$
W_{LIN} = (X^TX)^{-1}X^T y
$$
程式碼在這 !!!
https://github.com/citya1472581234/machine_learning/tree/master/linear_regression
以下是實作 linear regression 的 曲線擬合的情形(設定多項式order 1~9)與 error的變化。
