WELCOME

Ashley's blog

A stream of thoughts

Day: 2 9 月, 2026

GROKKING 论文阅读&复现

论文阅读 论文主要关注神经网络在过拟合点后继续训练突然泛化能力提升的现象,并探讨了泛化能力和数据集大小的关系 左侧红线为训练集准确度,在10310^3次训练处已经接近完美 左侧绿线为测试集准确度,在10610^6次训练处才能接近完美 中间的状态都是过拟合。 中间的图片展示了达到高测试集准确度所需训练时间随着训练数据的比例减少而增加 论文使用的数据集是一个形式类似a∘b=ca \circ b = c 的二进制运算表,二进制运算包括加法、置换组合、双变量多项式等。 论文特意将输入输出都符号化的原因在

Read More »