Deep Leaning (深度学习)学习笔记一

机器学习步骤

          例如图像识别、语音识别、自然语言理解、天气预测、基因表达等。目前我们通过机器学习去解决这些问题的思路都是这样的（以视觉感知为例）：

 

Low-level  sensing -->Preprocessing -->Feature extract -->Feature selection

     -->Inference;prediction;recognition

 

        从开始的通过传感器（例如CMOS)来获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。最后一个部分，也就是机器学习的部分，绝大部分的工作是在这方面做得。而中间这三个部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统的主要计算和测试工作都耗在这一大部分。但，这块实际中一般都是人工完成的，靠人工提取特征。

 

       然而，手工选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。既然手工选取特征不太好，那么能不能自动的学习一些特征呢？答案是能！Deep Leaning就是用来干这个事情的，不需要人参与特征的选取过程。

 

机器学习就是模拟人类的学习行为

       那它是怎么学习的呢？怎么知道哪些特征好哪些不好呢？我们说机器学习是一门专门研究计算机怎么模拟或实现人类的学习行为的学科，那么人类的视觉系统是怎么工作的呢？

 

       人类的视觉系统从原始信号，做低级抽象，逐渐像高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。例如，从原始信号摄入开始（瞳孔摄入像素pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。

 

       总的来说，人的视觉系统的信息处理是分级的，从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标，目标的行为等。也就是说高层的特征是底层特征的组合，从底层到高层的特征越来越抽象，越来越能表示语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。例如，单词集合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和意图的对应还是多对一的，这是个层级体系。

       分层，而Deep Leaning 的deep就是表示存在多少层，有多深。

      因为要学习的是特征的表达，那么关于特征，或者说是关于这个层级特征，我们需要了解更深入点，所以再说deep leaning 之前，我们有必要再啰嗦下特征~~