WELCOME

Ashley's blog

A stream of thoughts

Category: 未分类

TorchCode Part4

后面的题都有点长尾了感觉,等用到了回来研究一下 31_Gradient Accumulation Implement a training step with gradient accumulation — simulating large batches with limited memory. Signature Algorithm The key insight: dividing each loss by n before backward mak

Read More »

LeetCode刷题记录第六周

835. 图像重叠 给你两个图像 img1 和 img2 ,两个图像的大小都是 n x n ,用大小相同的二进制正方形矩阵表示。二进制矩阵仅由若干 0 和若干 1 组成。 转换 其中一个图像,将所有的 1 向左,右,上,或下滑动任何数量的单位;然后把它放在另一个图像的上面。该转换的 重叠 是指两个图像 都 具有 1&n

Read More »

LeetCode刷题记录第五周

3904. 最小稳定下标 II 这和3903的区别只在数据范围,不能接受O(n2)O(n^2)的解法,两题的O(n)O(n)解是一样的 1927. 求和游戏 Alice 和 Bob 玩一个游戏,两人轮流行动,Alice 先手 。 给你一个 偶数长度 的字符串 num ,每一个字符为数字字符或者 ‘?’ 。每一次操作中,如果 num 中至少有一个 ‘?’ ,那么玩家可以执行以下操作: 当&

Read More »

GROKKING 论文阅读&复现

论文阅读 论文主要关注神经网络在过拟合点后继续训练突然泛化能力提升的现象,并探讨了泛化能力和数据集大小的关系 左侧红线为训练集准确度,在10310^3次训练处已经接近完美 左侧绿线为测试集准确度,在10610^6次训练处才能接近完美 中间的状态都是过拟合。 中间的图片展示了达到高测试集准确度所需训练时间随着训练数据的比例减少而增加 论文使用的数据集是一个形式类似a∘b=ca \circ b = c 的二进制运算表,二进制运算包括加法、置换组合、双变量多项式等。 论文特意将输入输出都符号化的原因在

Read More »

TorchCode Part2

11_Sliding Window Attention Implement Sliding Window Attention — used in Longformer, Mistral, etc. for efficient long-context processing. Each position ii can only attend to positions jj where |i−j|≤w|i-j|\le w (the wind

Read More »