JAN Blog

Thinking will not overcome fear but action will.

Solve Bugs

Bug，出来玩

RuntimeError: Function “CudnnConvolutionBackward” returned nan values in its 0th output 训练时，整个网络随机初始化，很容易出现nan。这时候需要把学习率调小，直到不出现nan为止，如果一直有nan，那可能是网络实现问题。学习率一般和网络层数呈反比，层数越多，学习率通常要减小。可以先用较小的学习率迭代50...

Posted by JAN on October 13, 2019

Effective Pytorch

条款01: parser '''utils.py''' def parse_command(): import argparse parser = argparse.ArgumentParser(description='JAN') parser.add_argument('--resume', default=None, type=str, metavar='PATH', he...

Posted by JAN on September 23, 2019

一些话

如果有人一直说个不停，你完全插不上嘴，掉个东西到地上，你弯腰下去捡，然后开始说话； 如果有人一直来你办公室烦你，你继续跟他讲话，但是起身，一起走回他的办公桌； 如果你突然想起N年前出的丑，并且感到很丢人的时候，停下来想想看到那件事的一个人，你能想起来发生在他身上的那些丢人额事吗？ 如果你对学习完全没有动力，告诉自己：...

Posted by JAN on September 12, 2019

神经网络

Inception v1 论文摘要中提到，Inception的最大特点是提升了网络计算资源的利用率。 想象一下，在一张图片中，一只小狗可能处在任意位置，而且可能是任意大小，由于位置信息的巨大差异，为卷积操作选择合适的卷积核大小就比较困难。信息分布更全局性的图片偏好更大的卷积核，信息分布更局部性的图片偏好较小的卷积核。 而简单地堆叠较大的卷积核非常消耗计算资源，inception替代了人...

Posted by JAN on September 12, 2019

集成学习

ML

集成学习分为哪几种？他们有何异同？ Boosting Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思想是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。Boosting能够提升弱分类器的性能的原因是降低了偏差。 Bagging Bagging方法训练基分类器时采用...

Posted by JAN on September 1, 2019

逻辑回归

ML

逻辑回归希望数据点被正确分类的概率最大化，这就是最大似然估计。 特征处理对逻辑回归和线性回归的影响比较大。 缺点：不能用于处理非线性问题。 损失函数 梯度计算 $\frac{∂J(\theta)}{∂\theta_j}=-\frac{1}{m}\sum_i^m{y^i\frac{1}{h(x^i)}\frac{∂h(x^i)}{\theta_j}-(1-y^i)\frac{1}...

Posted by JAN on August 31, 2019

损失函数

DL

优化方法 梯度下降法是最小化目标函数J的一种方法，利用目标函数关于参数的梯度∂J/∂w的反方向更新参数。 批梯度下降法 因为在执行更新的时候，需要在整个数据集上计算所有的梯度，所以BGD的速度较慢，同时，BGD无法处理超出内存容量限制的数据集。BGD也不能在线更新模型，即在运行的过程中，不能添加新的样本。 随机梯度下降法 因为数据集中有相似的样本，因此BGD会有冗余；SGD一次只对...

Posted by JAN on August 31, 2019

大小为n的数组中n-1个数的最大积

编程题

假设n个数的乘积为P， 如果P==0，计算除去0之后n-1个数的乘积设为Q，如果Q==0，说明数组中有2个0，那么n-1个数的积是0；如果Q<0，那么可以想到最大积是0；如果Q>0，那么Q是最大积； 如果P<0，除去最大的负数便能得到最大积； 如果P>0，除去最小的正数便能得到最大积； #define...

Posted by JAN on August 31, 2019

dp

算法

dp的关键在于状态转移方程。

Posted by JAN on August 31, 2019

图像滤波

传统算法

图像增强是对图像进行处理，使其比原始图像更适合特定的任务。 图像平滑是一种区域增强的算法。 邻域平均法 利用卷积运算对图像领域的像素灰度进行平均，从而达到减小噪声影响、降低图像对比度的目的。主要缺点是在降低噪声的同时使图像变得模糊，卷积核越大，去噪声能力强的同时图像也会越模糊。 out = cv2.blur(in, (5, 5)) 方框滤波的原理和邻域平均类似，区别在于函数层面，...

Posted by JAN on August 30, 2019

FEATURED TAGS
Coding ML
ABOUT ME

You are whom you think you are.

✉️ lijianan@zju.edu.cn