深度学习入门初认识

对于深度学习只能说我是个门外汉，开始学习，不过很多还搞不懂，做个记录和分享，基于《深度学习入门：基于 Python 的理论与实现》，
第一章 Python 入门就不介绍了，不是重点，不过完全没有 Python 基础的可以看下，我之前算是学过一点点，
第二章我觉得入门的方式比较不错，从感知机入手，有一些顾名思义，感知一些状态（输入），来做出反应，简单的就是比如通电了，我的灯就亮起来了，并且往后就是延伸到了计算机的最基础组成，与或门，与门与或门是最基础的，配合非门进行组成，可以作为计算机基础单元ALU 的组成基础，而更复杂的也可以由此进行搭建，这是个比较通俗的解释，根据书中的定义，感知机是具有输入和输出的算法。给定一个输入后，将输出一个既定的值，单层的感知机无法实现更复杂的异或门，但是可以通过 2 层感知机来实现，也就是一个与非门，一个或门，作为第一层的感知机，他们的输出作为与门的输入，就可以成为一个异或门。理论上多层感知机可以表示计算机。
而后第三章引出了激活函数，也就是在前面的与或门和基础的感知机的基础上加上了输出的条件，前面与门或门都是最基础的 0,1 游戏，现在可以加上更复杂的判断条件，在输入的基础上配以权重，再加上偏置参数，表示被激活的容易程度，这种激活函数可以被称为阶跃函数，如果超过了一定的值就代表被激活，没有则不激活，但是实际在神经元中被使用的主要是用 sigmoid 函数，相比阶跃函数，sigmoid 函数是一个平滑的曲线，随着输入变化而连续变化，因为相对感知机，神经元需要的信号是连续的实数值信号，再往后则是对输出层的介绍，如果是回归问题，也就是根据输入预测一个（连续的）数值的问题，属于回归问题，可以用恒等函数，而对于分类问题，则使用 softmax 函数，这个函数的一个重要的点在于也是区分于简单的二元分类器，softmax 是将多个结果概率进行数值处理（归一化），也叫做归一化指数函数，对于不同的结果概率是将概率最大的进行放大，凸显其中最大的值并抑制远低于最大值的其他分量。使得其他概率值也能够被使用，但是减弱其份额权重。