欠拟合

underFitting

underFitting

过拟合

overFitting

overFitting

overFitting

实操模拟 欠拟合&过拟合

加载带有噪音的二分类数据集(训练集与验证集)

脚本原理

生成正态分布(高斯分布)的样本数据

1
2
3
4
5
6
7
8
9
10
11
function normalRandom(mean = 0, variance = 1) {
let v1, v2, s;
do {
v1 = 2 * Math.random() - 1;
v2 = 2 * Math.random() - 1;
s = v1 * v1 + v2 * v2;
} while (s > 1);

let result = Math.sqrt(-2 * Math.log(s) / s) * v1;
return mean + Math.sqrt(variance) * result;
}

正态分布两边低的数据看作噪音数据,中间高的数据视为正常数据

通过调整方差 调整噪音量

用脚本生成带有噪音的二分类数据集

1
2
3
4
5
6
7
8
import * as tf from '@tensorflow/tfjs';
import * as tfvis from '@tensorflow/tfjs-vis';
import { getData } from './data';

window.onload = async () => {
const data = getData(200, 3);

}

可视化数据集

1
2
3
4
5
6
7
8
9
10

tfvis.render.scatterplot(
{ name: '训练数据' },
{
values: [
data.filter(p => p.label === 1),
data.filter(p => p.label === 0),
]
}
);

可视化结果

使用不同神经网络演示 过拟合

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
const data = getData(200, 2);

tfvis.render.scatterplot(
{ name: '训练数据' },
{
values: [
data.filter(p => p.label === 1),
data.filter(p => p.label === 0),
]
}
);

const model = tf.sequential();

//第一层隐藏层
model.add(tf.layers.dense({
units: 10,
inputShape: [2], //长度为2的一维数组
activation: "tanh",
}));

//输出层
model.add(tf.layers.dense({
units: 1,
activation: 'sigmoid'
}));

//设置损失函数&优化器
model.compile({
loss: tf.losses.logLoss,
optimizer: tf.train.adam(0.1)
});

const inputs = tf.tensor(data.map(p => [p.x, p.y]));
const labels = tf.tensor(data.map(p => p.label));

await model.fit(inputs, labels, {
validationSplit: 0.2,
epochs: 200,
callbacks: tfvis.show.fitCallbacks(
{ name: '训练效果' },
['loss', 'val_loss'],
{ callbacks: ['onEpochEnd'] }
)
});

过拟合训练结果

过拟合应对法:早停法

在训练出现过拟合时及时手动停止训练

过拟合应对法:权重衰减法(设置L2正则化

将过于复杂的模型权重降低

1
2
3
4
5
6
model.add(tf.layers.dense({
units: 10,
inputShape: [2], //长度为2的一维数组
activation: "tanh",
kernelRegularizer: tf.regularizers.l2({ l2: 1 }) //设置权重衰减
}));

权重衰减法训练结果

过拟合应对法:丢弃法

在隐藏层和输出层之间添加一个丢弃层

1
2
//添加丢弃层,降低训练集复杂度
model.add(tf.layers.dropout({ rate: 0.9 }));

丢弃法训练结果


代码仓库