©2020-2024 ioDraw All rights reserved
大致过程
准备数据：采集大量“特征/标签”数据
搭建网络：搭建神经网络结构
优化参数：训练网络获取最佳参数（反传）
应用网络：将网络保存为模型，输入新数据，输出分类或预测结果（前传）
1) 输入时有两个 一个是样本参数，一个是标准答案
2）神经网络前向过程实际就是求一个样本是各个答案的概率
公式 y=x*w+b
其中w、b都是随机值，神经网络的目的就是通过反向训练获得一个最优的w和b，从而让样本计算出是标准答案的概率最大
3）损失函数就是判断w和b的优劣性的函数，因此此时目的转化为求w和b使得损失函数最小
4）从而引出了梯度下降法，因为对损失函数各个参数求偏导以后，梯度下降的方向就是参数优化的方向
5）三个重要公式 是学习率，一个超参数
Tensorflow2.0常用函数学习
张量生成
张量的形状 看shape逗号隔开了几个数字 这个例子中只隔开了一个数字，所以是一维张量
2 代表里面有两个元素
1创建一个张量 constant
2将numpy数据转换为tensor类型 convert_to_tensor
3创建全为0张量zeros
4创建全为1张量ones
5创建全为指定值张量fill
6生成正态分布随机数random.normal
7生成截断式正态分布随机数random.truncated_normal
8生成均匀分布随机数random.uniform
常用函数汇总
这样就可以在反向传播了通过梯度下降更新参数 w 了
将特征与标签配对的函数
实现损失函数对参数w的求导操作
在with结构中使用GradientTape，实现某个函数对指定参数的求导运算，配合variable实现损失函数对参数w的求导操作
用独热码表示标签
此处表示百分之0可能是狗尾草鸢尾 百分之百可能是杂色鸢尾 百分之0可能是弗吉尼亚鸢尾
将待转换数据直接转换为独热码输出
交叉熵函数softmax将全连接层输出y转换成符合独热码形式输出（使输出符合概率分布）
参数的自更新，需要先标记为可训练variable
1强制类型转换cast
2计算张量维度上元素的最小值
3计算张量维度上元素的最大值
4理解axis axis=0代表经度（竖着的） axis=1代表维度（横着的）
5计算张量沿着指定维度的平均值reduce_mean
6计算张量沿着指定维度的和reduce_sum
7将变量标记为“可训练” variable
8加减乘除 add、subtract、multiply、divide
9计算某个张量的平方square
10计算某个张量的n次方pow
11计算某个张量的开方sqrt
12实现两个矩阵的相乘matmul
13将特征与标签配对的函数data.Dataset.from_tensor_slices
14实现损失函数对参数w的求导操作
在with结构中使用GradientTape，实现某个函数对指定参数的求导运算，配合variable实现损失函数对参数w的求导操作
15遍历每个元素，与for连用 enumerate
16独热编码（one-hot encoding）将数据转换为独热码形式输出one_hot
17交叉熵函数softmax将全连接层输出y转换成符合独热码形式输出（使输出符合概率分布）nn.softmax
18参数的自更新，需要先标记为可训练variable ，更新参数的值并返回assign_sub
19返回张量沿指定维度最大值的索引值（注意此处是索引值）argmax
鸢尾花数据分类神经网络实现
1导入的数据集是要乱序的，因为使用了同样的随机种子，打乱顺序后，特征和标签仍然是一一对应的
2训练集和测试集要求没有交集
3每32位输入特征标签对打包成一个batch，一会喂入神经网络时，会以batch为单位喂入
1定义所有参数 w1、b1 ，由于输入是4 输出是3 ,一层神经网络 所以~
2因为总数120 单batch是32 所以循环4次 ，输出每次step迭代的平均loss。
# -*- coding: UTF-8 -*- # 利用鸢尾花数据集，实现前向传播、反向传播，可视化loss曲线 # 导入所需模块 import
tensorflow as tf from sklearn import datasets from matplotlib import pyplot as
plt import numpy as np # 导入数据，分别为输入特征和标签 x_data = datasets.load_iris().data #
iris代表鸢尾花数据集 y_data = datasets.load_iris().target #
随机打乱数据（因为原始数据是顺序的，顺序不打乱会影响准确率） # seed:
随机数种子，是一个整数，当设置之后，每次生成的随机数都一样（为方便教学，以保每位同学结果一致） np.random.seed(116) #
使用相同的seed，保证输入特征和标签一一对应 np.random.shuffle(x_data) # 打乱特征 np.random.seed(116)
np.random.shuffle(y_data) # 打乱标签 tf.random.set_seed(116) #
将打乱后的数据集分割为训练集和测试集，训练集为前120行，测试集为后30行 # 以后30行为分界线划分数据集，并命名训练集和测试集 x_train =
x_data[:-30] y_train = y_data[:-30] x_test = x_data[-30:] y_test = y_data[-30:]
# 转换x的数据类型，否则后面矩阵相乘时会因数据类型不一致报错 x_train = tf.cast(x_train, tf.float32) x_test =
tf.cast(x_test, tf.float32) #
from_tensor_slices函数使输入特征和标签值一一对应。（把数据集分批次，每个批次batch组数据） #
每32位输入特征标签对打包成一个batch，一会喂入神经网络时，会以batch为单位喂入 train_db =
tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32) test_db =
tf.data.Dataset.from_tensor_slices((x_test, y_test)).batch(32) #
生成神经网络的参数，4个输入特征，故输入层为4个输入节点；因为3分类，故输出层为3个神经元 # 用tf.Variable()标记参数可训练“可训练” #
使用seed使每次生成的随机数相同（方便教学，使大家结果都一致，在现实使用时不写seed） w1 =
tf.Variable(tf.random.truncated_normal([4, 3], stddev=0.1, seed=1)) b1 =
tf.Variable(tf.random.truncated_normal([3], stddev=0.1, seed=1)) lr = 0.1 #
学习率为0.1 train_loss_results = [] # 将每轮的loss记录在此列表中，为后续画loss曲线提供数据 定义了一个数组
test_acc = [] # 将每轮的acc记录在此列表中，为后续画acc曲线提供数据 定义了一个数组 epoch = 500 # 循环500轮
定义了一个变量 loss_all = 0 # 每轮分4个step，loss_all记录四个step生成的4个loss的和 # 训练部分 for epoch
in range(epoch): # 数据集级别的循环，每个epoch循环一次数据集 for step, (x_train, y_train) in
enumerate(train_db): # batch级别的循环 ，每个step循环一个batch with tf.GradientTape() as
tape: # with结构记录梯度信息 y = tf.matmul(x_train, w1) + b1 # 神经网络乘加运算 y =
tf.nn.softmax(y) # 使输出y符合概率分布（此操作后与独热码同量级，可相减求loss） y_ = tf.one_hot(y_train,
depth=3) # 将标签值转换为独热码格式，方便计算loss和accuracy loss = tf.reduce_mean(tf.square(y_ -
y)) # 采用均方误差损失函数mse = mean(sum(y-out)^2) loss_all += loss.numpy() #
将每个step计算出的loss累加，为后续求loss平均值提供数据，这样计算的loss更准确 # 计算loss对各个参数的梯度（求导） grads =
tape.gradient(loss, [w1, b1]) # 实现梯度更新 w1 = w1 - lr * w1_grad b = b - lr *
b_grad w1.assign_sub(lr * grads[0]) # 参数w1自更新 b1.assign_sub(lr * grads[1]) #
参数b自更新 # 每个epoch，打印loss信息 print("Epoch {}, loss: {}".format(epoch, loss_all/4))
train_loss_results.append(loss_all / 4) # 将4个step的loss求平均记录在此变量中 loss_all = 0 #
loss_all归零，为记录下一个epoch的loss做准备 # 测试部分 # total_correct为预测对的样本个数,
total_number为测试的总样本数，将这两个变量都初始化为0 total_correct, total_number = 0, 0 for
x_test, y_test in test_db: # 使用更新后的参数进行预测 y = tf.matmul(x_test, w1) + b1 y =
tf.nn.softmax(y) pred = tf.argmax(y, axis=1) # 返回y中最大值的索引，即预测的分类 #
将pred转换为y_test的数据类型 pred = tf.cast(pred, dtype=y_test.dtype) #
若分类正确，则correct=1，否则为0，将bool型的结果转换为int型 correct = tf.cast(tf.equal(pred,
y_test), dtype=tf.int32) # 将每个batch的correct数加起来 correct =
tf.reduce_sum(correct) # 将所有batch中的correct数加起来 total_correct += int(correct) #
total_number为测试的总样本数，也就是x_test的行数，shape[0]返回变量的行数 total_number +=
x_test.shape[0] # 总的准确率等于total_correct/total_number acc = total_correct /
total_number test_acc.append(acc) print("Test_acc:", acc)
print("--------------------------") # 绘制 loss 曲线 plt.title('Loss Function
Curve') # 图片标题 plt.xlabel('Epoch') # x轴变量名称 plt.ylabel('Loss') # y轴变量名称
plt.plot(train_loss_results, label="$Loss$") #
逐点画出trian_loss_results值并连线，连线图标是Loss plt.legend() # 画出曲线图标 plt.show() # 画出图像 #
绘制 Accuracy 曲线 plt.title('Acc Curve') # 图片标题 plt.xlabel('Epoch') # x轴变量名称
plt.ylabel('Acc') # y轴变量名称 plt.plot(test_acc, label="$Accuracy$") #
逐点画出test_acc值并连线，连线图标是Accuracy plt.legend() plt.show()
神经网络优化
预备知识
两个一维数组叠加成二维数组
构成网格坐标点 ，等差数组，拉伸，间隔数值点配对
复杂度与学习率
学习率表征了参数每次更新的幅度！！！
指数衰减学习率
激活函数（提高系统非线性）
损失函数loss 均方误差、 自定义、 交叉熵
使用均方误差计算loss、认为预测多了或预测少了对系统造成的影响是一样的，但实际是不一样的，商人要利益最大化，所以可以使用自定义误差
通过交叉熵可以判断，哪个值离标准值更近
实际中通常是 softmax与交叉熵结合使用
欠拟合与过拟合
正则化缓解过拟合
正则化通常只给参数w添加，在损失函数中引入模型复杂度指标，利用给w加权值，弱化了训练数据的噪声
损失函数形式随之发生改变
过拟合例子 根据x1 和 x2 判断y值是取0还是取1
很明显，曲线不够圆滑 存在过拟合，则采用l2正则化操作，则曲线更平缓，有效缓解了过拟合
# 添加l2正则化 loss_regularization = [] # tf.nn.l2_loss(w)=sum(w ** 2) / 2
loss_regularization.append(tf.nn.l2_loss(w1))
loss_regularization.append(tf.nn.l2_loss(w2)) # 求和 #
例：x=tf.constant(([1,1,1],[1,1,1])) # tf.reduce_sum(x) # >>>6 #
loss_regularization = tf.reduce_sum(tf.stack(loss_regularization))
loss_regularization = tf.reduce_sum(loss_regularization) loss = loss_mse + 0.03
* loss_regularization #REGULARIZER = 0.03
神经网络参数优化器
不同的优化器实际上只是定义了不同的一阶动量和二阶动量
随机梯度下降法SGD
SGDM 在SGD基础上增加了一阶动量
mt这个公式表示各时刻梯度方向的指数滑动平均值
公式里多了，表示上一时刻的一阶动量
Adagrad 在SGD基础上增加二阶动量
RMSProp 在SDG 基础上增加了二阶动量 表征的是过去一段时间的平均值
曲线激荡 通过调小学习率可以解决，但此处在做对比实验，所以先不改
Adam 同时结合了SGDM一阶动量和RMSProp二阶动量 在此基础上增加了两个修正项
时间长但是收敛快啊，其实40次就差不多收敛了，后面460次都是不需要的，实际上设置迭代停止条件会快很多
使用Keras搭建神经网络（Keras是基于TensorFlow的一个架构）（tf.keras是Tensorflow的API）
神经网络搭建八股
第一步，导入相关依赖
第二步，告知要喂入网络的训练集和测试集是什么，也就是要指定训练集的输入特征x_train和训练集的标签y_train，还可以指定测试集的输入特征x_test和测试集的标签y_test
第三步，在Sequential()中搭建网络结构，逐层描述每层网络，相当于走了一遍前向传播
第四步，在compile配置训练方法，告知训练时选择哪种优化器，选择哪种损失函数，选择哪种评测指标
第五步，在fit中执行训练过程，告知训练集和测试集的输入特征和标签，告知每个batch是多少，告知要迭代多少次数据集
第六步，用summary()打印出网络的结构和参数统计
iris代码复现
MNIST数据集
训练MNIST数据集
Fashion数据集