WELCOME

Ashley's blog

A stream of thoughts

Author: Ashley

TorchCode Part4

后面的题都有点长尾了感觉,等用到了回来研究一下 31_Gradient Accumulation Implement a training step with gradient accumulation — simulating large batches with limited memory. Signature Algorithm The key insight: dividing each loss by n before backward mak

Read More »

LeetCode刷题记录第六周

835. 图像重叠 给你两个图像 img1 和 img2 ,两个图像的大小都是 n x n ,用大小相同的二进制正方形矩阵表示。二进制矩阵仅由若干 0 和若干 1 组成。 转换 其中一个图像,将所有的 1 向左,右,上,或下滑动任何数量的单位;然后把它放在另一个图像的上面。该转换的 重叠 是指两个图像 都 具有 1&n

Read More »

TorchCode Part3

21_Gradient Norm Clipping Implement gradient norm clipping — a training stability technique. Signature Algorithm 梯度裁剪将梯度的第二范数上线卡到max_norm 返回原来的梯度范数作为监控信息提示供训练者判断情况 这里注意一定要使用原地改的写法 22_2D Convolution Implement 2D convolution from sc

Read More »

LeetCode刷题记录第五周

3904. 最小稳定下标 II 这和3903的区别只在数据范围,不能接受O(n2)O(n^2)的解法,两题的O(n)O(n)解是一样的 1927. 求和游戏 Alice 和 Bob 玩一个游戏,两人轮流行动,Alice 先手 。 给你一个 偶数长度 的字符串 num ,每一个字符为数字字符或者 ‘?’ 。每一次操作中,如果 num 中至少有一个 ‘?’ ,那么玩家可以执行以下操作: 当&

Read More »

GROKKING 论文阅读&复现

论文阅读 论文主要关注神经网络在过拟合点后继续训练突然泛化能力提升的现象,并探讨了泛化能力和数据集大小的关系 左侧红线为训练集准确度,在10310^3次训练处已经接近完美 左侧绿线为测试集准确度,在10610^6次训练处才能接近完美 中间的状态都是过拟合。 中间的图片展示了达到高测试集准确度所需训练时间随着训练数据的比例减少而增加 论文使用的数据集是一个形式类似a∘b=ca \circ b = c 的二进制运算表,二进制运算包括加法、置换组合、双变量多项式等。 论文特意将输入输出都符号化的原因在

Read More »

LeetCode刷题记录第四周

2948 交换得到字典序最小的数组 给你一个下标从 0 开始的 正整数 数组 nums 和一个 正整数 limit 。 在一次操作中,你可以选择任意两个下标 i 和 j,如果 满足 |nums[i] – nums[j]| <= limit ,则交换 nums[i] 和 nums[j] 。 返回执行任意次

Read More »

LeetCode刷题记录第三周

3069. 将元素分配到两个数组中 I 下面代码的执行用时要优于上面的,随机访问还是耽误时间。 1386. 安排电影院座位 语法细节有两点 但是执行时间是路边一条 这里可以用二进制方法优化,但依然只击败了34% 极致的2进制算法优化并降低重复计算的情况。但哈希表不能扔,数组会超内存上限。此版本击败56%。 不知道还能怎么优化了。 3718.缺失的最小倍数 给你一个整数数组 nums 和一个整数 k,请返回从 nums 中缺失的、最小的正整数&nb

Read More »

TorchCode Part2

11_Sliding Window Attention Implement Sliding Window Attention — used in Longformer, Mistral, etc. for efficient long-context processing. Each position ii can only attend to positions jj where |i−j|≤w|i-j|\le w (the wind

Read More »

TorchCode Part1

Tensor AutogradMeta中 字段 Python 层 装什么 grad_ x.grad backward 算完的梯度值。平时是空的,backward 才填 grad_fn_ x.grad_fn 指向反向节点的指针(伴随模型)。None = 叶子 grad_accumulator_ 不可见 叶子的梯度累加器——AccumulateGrad 节点 tensor本质是一个多维数组,shape方法可以查询每一个轴(dim)的长度。dim的角标以0开始,-1结束。 tensor运算时会进行广播

Read More »

Leetcode刷题记录 石子游戏专题

感觉一直都久仰minimax大名,但一直没有真正理解这个算法。这也许和我不管是玩棋类游戏还是德策都路边一条也有关系,只能看当前局势和当前最优,往后一步都联想不到。 minimax,一个深度优先的零和博弈树搜索算法,和DP常常一起出现(需要记录树中间节点的状态) f(i,j)=max(piles[i]−f(i+1,j),piles[j]−f(i,j−1))f(i,j)=max(piles[i]−f(i+1,j), piles[j]−f(i,j−1)) 877 Stone Game I Alice

Read More »