©2020-2024 ioDraw All rights reserved
<>1. 实验目的
①掌握深度学习的基本原理；
②能够使用TensorFlow实现卷积神经网络，完成图像识别任务。
<>2. 实验内容
①设计卷积神经网络模型，实现对Mnist手写数字数据集的识别，并以可视化的形式输出模型训练的过程和结果；
②设计卷积神经网络模型，实现对Cifar10数据集的识别，并以可视化的形式输出模型训练的过程和结果。
<>3. 实验过程
<>题目一：
使用Keras构建和训练卷积神经网络，实现对Mnist手写数字数据集的识别，并测试模型性能，以恰当的形式展现训练过程和结果。
要求：
⑴编写代码，构建卷积神经网络，实现上述功能。
⑵调整超参数，记录实验过程和结果。
调整卷积神经网络的结构和训练参数，找出最佳的结构和超参数，记录和分析实验结果；
⑶保存最佳模型，计算各层参数个数和模型总参数；
⑷分析和总结：
你都调整了哪些参数？结合训练过程，说明各个超参数对模型性能的影响；
① 代码
import matplotlib.pyplot as plt import numpy as np import tensorflow as tf
import pandas as pd #加载数据集 mnist = tf.keras.datasets.mnist (train_x,train_y),(
test_x,test_y) = mnist.load_data()
#对属性进行归一化，使它的取值在0-1之间，同时转换为tensor张量，类型为tf.flost32 X_train = train_x.reshape(
60000,28,28,1) X_test = test_x.reshape(10000,28,28,1) X_train,X_test = tf.cast(
X_train/ 255.0,tf.float32),tf.cast(X_test / 255.0,tf.float32) y_train,y_test =
tf.cast(train_y,tf.int32),tf.cast(test_y,tf.int32) #建立模型 model = tf.keras.
Sequential([ #unit1 tf.keras.layers.Conv2D(16,kernel_size=(3,3),padding="same",
activation=tf.nn.relu,input_shape=(28,28,1)), tf.keras.layers.MaxPool2D(
pool_size=(2,2)), #unit2 tf.keras.layers.Conv2D(32,kernel_size=(3,3),padding=
"same",activation=tf.nn.relu), tf.keras.layers.MaxPool2D(pool_size=(2,2)),
#unit3 tf.keras.layers.Flatten(), #unit4 tf.keras.layers.Dense(128,activation=
"relu"), tf.keras.layers.Dense(10,activation="softmax") ]) #配置训练方法 model.compile
(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=[
'sparse_categorical_accuracy']) #训练模型 history = model.fit(X_train,y_train,
batch_size=64,epochs=5,validation_split=0.2) #评估模型 model.evaluate(X_test,y_test,
verbose=2) pd.DataFrame(history.history).to_csv("training_log.csv",index=False)
graph= pd.read_csv('training_log.csv') #使用模型 for i in range(10): num = np.random
.randint(1,10000) plt.subplot(2,5,i+1) plt.axis("off") plt.imshow(test_x[num],
cmap="gray") demo = tf.reshape(X_test[num],(1,28,28,1)) y_pred = np.argmax(model
.predict(demo)) plt.title("y="+ str(test_y[num])+"\ny_pred"+str(y_pred)) plt.
show()
② 结果记录
③ 实验总结
正确率98.88%，能够较好地预测实验结果。
<>题目二：
使用Keras构建和训练卷积神经网络，实现对Cifar10数据集的识别，并测试模型性能，以恰当的形式展现训练过程和结果。
要求：
⑴编写代码，构建卷积神经网络，实现上述功能。
⑵调整超参数，记录实验过程和结果。
调整卷积神经网络的结构和训练参数，找出最佳的结构和超参数，记录和分析实验结果；
⑶保存最佳模型，计算各层参数个数和模型总参数；
⑷分析和总结：
你都调整了哪些参数？结合训练过程，说明各个超参数对模型性能的影响；
① 代码
import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow as tf
import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt
import tensorflow.keras.layers as ly plt.rcParams['font.family'] = "SimHei" plt.
rcParams["axes.unicode_minus"] = False #加载数据集 cifar10 = tf.keras.datasets.
cifar10(x_train,y_train),(x_test,y_test) = cifar10.load_data() #数据预处理 x_train,
x_test= tf.cast(x_train,tf.float32) / 255.0,tf.cast(x_test,tf.float32) / 255.0
y_train,y_test = tf.cast(y_train,tf.int32),tf.cast(y_test,tf.int32) #建立模型 model
= tf.keras.Sequential([ #特征提取 ly.Conv2D(16,kernel_size=(3,3),padding="same",
activation=tf.nn.relu,input_shape=x_train.shape[1:]), ly.Conv2D(16,kernel_size=(
3,3),padding="same",activation=tf.nn.relu), ly.MaxPool2D(pool_size=(2,2)), ly.
Dropout(0.2), ly.Conv2D(32,kernel_size=(3,3),padding="same",activation=tf.nn.
relu), ly.Conv2D(32,kernel_size=(3,3),padding="same",activation=tf.nn.relu), ly.
MaxPool2D(pool_size=(2,2)), ly.Dropout(0.2), #分类识别 ly.Flatten(), ly.Dropout(0.2)
, ly.Dense(128,activation="relu"), ly.Dropout(0.2), ly.Dense(10,activation=
"softmax") ]) #查看摘要 print(model.summary()) #配置训练方法 model.compile(optimizer=
'adam',loss='sparse_categorical_crossentropy',metrics=[
'sparse_categorical_accuracy']) #训练模型 h = model.fit(x_train,y_train,batch_size=
64,epochs=5,validation_split=0.2) #评估模型 print(model.evaluate(x_test,y_test,
verbose=2)) #结果可视化 print(h.history) loss = h.history['loss'] acc = h.history[
'sparse_categorical_accuracy'] val_loss = h.history['val_loss'] val_acc = h.
history['val_sparse_categorical_accuracy'] plt.figure(figsize=(10,3)) plt.
subplot(121) plt.plot(loss,color = 'b',label = "train") plt.plot(val_loss,color
= 'r',label = 'test') plt.ylabel('loss') plt.legend() plt.subplot(122) plt.plot(
acc,color = 'b',label = "train") plt.plot(val_acc,color = 'r',label = 'test')
plt.ylabel('Accuracy') plt.legend() #预测数据 plt.figure() for i in range(10): num =
np.random.randint(1,10000) plt.subplot(2,5,i+1) plt.axis("off") plt.imshow(
x_test[num],cmap="gray") demo = tf.reshape(x_test[num],(1,32,32,3)) y_pred = np.
argmax(model.predict(demo)) plt.title("标签值"+str((y_test.numpy())[num,0])+'\n预测值'
+str(y_pred)) plt.show() model.save("CIFAR10_CNN_weigts.h5") model.load_weights(
"CIFAR10_CNN_weights.h5")
② 结果记录
③ 实验总结
<>4. 实验小结&讨论题
①和全连接网络相比，卷积神经网络有什么特点？卷积层和池化层的主要作用什么？是否卷积层和池化层的数量越多，模型的效果就越好？卷积核的大小对卷积神经网络性能有何影响？
卷积层：提取特征。“不全连接，参数共享”的特点大大降低了网络参数，保证了网络的稀疏性，防止过拟合。之所以可以“参数共享”，是因为样本存在局部相关的特性。
池化层：有MaxPool和AveragePool等。其中MaxPool应用广泛。因为经过MaxPool可以减小卷积核的尺寸，同时又可以保留相应特征，所以主要用来降维。
全连接层：在全连接的过程中丢失位置信息，可以理解为降低了学习过程中的参数敏感度；很多分类问题需要通过softmax层进行输出；进行非线性变换等等。
②比较题目一和题目二，所使用的网络结构有什么异同？比请对二者进行比较并分析原因。
相同点：都使用了卷积层和池化层，激活函数；
不同点：#数据预处理不同，数据格式也不同。x_train,x_test = tf.cast(x_train,tf.float32)/255.0,
tf.cast(x_test,tf.float32)/255.0
③卷积神经网络的优化方式有哪些？在题目一和题目二中，你使用了哪些优化方式，优化的效果如何？请对实验结果进行对比和分析。
一般来说，提高泛化能力的方法主要有以下几个：
正则化
增加神经网络层数
使用正确的代价函数
④ 卷积神经网络中的超参数有哪些？结合题目一和题目二，说明它们对模型性能的影响。
每一层的卷积是的输出大小编程n-5+1,每卷积一次，宽高的维度就会减少4，使用更大的卷积层会更快的减少输出的大小，在输入的宽和高
周围加入额外的行/列，控制输出形状的减少量，填充Ph行和Pw列，输出形状为：（Nh-Kh+Ph+1）*(Nw-Kw+Pw+1)，我们通常取Ph=Kh-1,Pw=Kw-1
这样保证了我们的输入和输出是一致的