这里的神经网络是模仿人类的神经网路构建起来的，由神经元和神经元之间的种种连接构成
Activation Function 激活函数
像人类的神经元一样，如果想激活某一个 node，需要值达到某一个阈值，这里选择使用激活函数来进行判定？
阶跃函数 step function
逻辑函数 logistic sigmoid
ReLU
神经网络结构 Neural Network Structure
神经网络通过接受输入，经过其中的运算，得到输出，传给下一层神经元
梯度下降 Gradient Descent
梯度下降是一种降低 Loss 的计算方法
原理
感知器 Perceptron
这里的单层神经网络其实就是一个单层感知器（上节课讲过）
然而，如果要完成复杂的分类任务，需要使用高维的分隔边界，这需要使用多层感知器，也就是多层神经网络来实现
多层神经网络 Multilayer Neural Networks
具有输入层、输出层、和至少一层的隐藏层
这里的隐藏层接受前一层的输入，进行运算后传到下一层，直到输出层
反向传播 Backpropagation
这是用于训练多层神经网络的主要算法
从输出单元的 error（大概是误差？）开始，计算前一层weights 的梯度下降，直到输入层
伪代码
Overfitting 过拟合
为了避免过拟合，这里采用dropout的一个方法
dropout
顾名思义，这里需要丢掉一些节点
通过随机丢掉一些节点，可以避免过拟合，增强模型的泛化能力
TensorFlow
没想到 2024 年的课程竟然还用 tf
这里还是以上节课的“假币”问题为例，展示一下如何使用 tf 用神经网络完成
导入
读文件、加载文件
计算机视觉 Computer Vision
图像由像素组成，而每个像素由RGB三个值组成，大小在 0-255
我们可以把颜色值作为输入，创建一个神经网络
然而，如果仅仅观察像素，我们会损失很多较为宏观、结构上的信息，这些信息本可以辅助我们的任务（比如某种组合、结构）；同时，还会造成输入很大
图像卷积 Image Convolution
这里指的是往图像上套一个 filter，这个 filter 把当前值和相邻值用某种方式加和，得到新的值。
这个新的值可以某种程度上表示当前值与相邻值的关系
这里是只对中间 2x2 正方形作用，生成左下角新的矩阵
PIL
这里用 PIL 库完成图像卷积
池化
• 主要用于降低数据维度，同时保留关键信息，提高计算效率，减少过拟合。
• 通过对局部区域（如 2 x 2 或 3 x 3）的像素值进行降采样（如最大值或平均值），减少特征图的尺寸。
• 使网络对微小的平移、旋转和缩放变换更加鲁棒（不敏感）。
卷积神经网络 CNN
一种使用卷积的神经网络，主要用于分析图像
步骤
- 先使用 filter 提取特征
- 通过池化保留关键信息，降低维度
- 进行展平，将像素输入到神经网络中
示例：MNIST
循环神经网络 RNN
前面提到的都是前馈神经网络，是一个线性结构
而循环神经网络邮费线型结构组成，网络将自己的输出作为输入
这在处理序列是很有帮助，比如单词、视频文件等等
