ML

逻辑回归

ML

Posted by JAN on August 31, 2019

逻辑回归希望数据点被正确分类的概率最大化,这就是最大似然估计。

特征处理对逻辑回归和线性回归的影响比较大。

缺点:不能用于处理非线性问题。

损失函数

梯度计算

$\frac{∂J(\theta)}{∂\theta_j}=-\frac{1}{m}\sum_i^m{y^i\frac{1}{h(x^i)}\frac{∂h(x^i)}{\theta_j}-(1-y^i)\frac{1}{1-h(x^i)}\frac{∂h(x^i)}{\theta_j}}$

$=-\frac{1}{m}\sum_i^m{(y^i\frac{1}{h(x^i)}-(1-y^i)\frac{1}{1-h(x^i)})\frac{∂h(x^i)}{\theta_j}}$

$=-\frac{1}{m}\sum_i^m{\frac{y^i-g(\theta^Tx^i)}{g(\theta^Tx^i)(1-g(\theta^Tx^i))}g(\theta^Tx^i)(1-g(\theta^Tx^i))\frac{∂(\theta^Tx^i)}{∂\theta_j}}$

$=-\frac{1}{m}\sum_i^m{(y^i-h(x^i))x^i_j}$