WELCOME

Ashley's blog

A stream of thoughts

Category: 技术随笔

TorchCode Part3

21_Gradient Norm Clipping Implement gradient norm clipping — a training stability technique. Signature Algorithm 梯度裁剪将梯度的第二范数上线卡到max_norm 返回原来的梯度范数作为监控信息提示供训练者判断情况 这里注意一定要使用原地改的写法 22_2D Convolution Implement 2D convolution from sc

Read More »

LeetCode刷题记录第三周

3069. 将元素分配到两个数组中 I 下面代码的执行用时要优于上面的,随机访问还是耽误时间。 1386. 安排电影院座位 语法细节有两点 但是执行时间是路边一条 这里可以用二进制方法优化,但依然只击败了34% 极致的2进制算法优化并降低重复计算的情况。但哈希表不能扔,数组会超内存上限。此版本击败56%。 不知道还能怎么优化了。 3718.缺失的最小倍数 给你一个整数数组 nums 和一个整数 k,请返回从 nums 中缺失的、最小的正整数&nb

Read More »

TorchCode Part1

Tensor AutogradMeta中 字段 Python 层 装什么 grad_ x.grad backward 算完的梯度值。平时是空的,backward 才填 grad_fn_ x.grad_fn 指向反向节点的指针(伴随模型)。None = 叶子 grad_accumulator_ 不可见 叶子的梯度累加器——AccumulateGrad 节点 tensor本质是一个多维数组,shape方法可以查询每一个轴(dim)的长度。dim的角标以0开始,-1结束。 tensor运算时会进行广播

Read More »

Leetcode刷题记录 石子游戏专题

感觉一直都久仰minimax大名,但一直没有真正理解这个算法。这也许和我不管是玩棋类游戏还是德策都路边一条也有关系,只能看当前局势和当前最优,往后一步都联想不到。 minimax,一个深度优先的零和博弈树搜索算法,和DP常常一起出现(需要记录树中间节点的状态) f(i,j)=max(piles[i]−f(i+1,j),piles[j]−f(i,j−1))f(i,j)=max(piles[i]−f(i+1,j), piles[j]−f(i,j−1)) 877 Stone Game I Alice

Read More »

Leetcode刷题记录第二周

2996 大于等于顺序前缀和的最小缺失整数 给你一个下标从 0 开始的整数数组 nums 。 如果一个前缀 nums[0..i] 满足对于 1 <= j <= i 的所有元素都有 nums[j] = nums[j – 1] + 1 ,那么我们称这个前缀是一个 顺序前缀 。特殊情况是,只包含 nums[0] 的前缀也是一个 顺序前缀&nb

Read More »

Tensor Puzzles 记录

https://github.com/srush/Tensor-Puzzles When learning a tensor programming language like PyTorch or Numpy it is tempting to rely on the standard library (or more honestly StackOverflow) to find a magic function for everything. But in practice, the te

Read More »

Leetcode刷题记录第一周

1 两数之和 给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target  的那 两个 整数,并返回它们的数组下标。 你可以假设每种输入只会对应一个答案,并且你不能使用两次相同的元素。 你可以按任意顺序返回答案。 主要考察的是哈希表的数据结构,在这里哈希表的key存的是数组内容,value存的是数组下标。 如果使用暴力计算的话,时间复杂度为O(n2)O(n^2) ,使用哈

Read More »

Transformer十问

1. Self-Attention 的参数量  一个 dmodel=512, dff=2048,h=8、最大序列长度 L=1024 的标准 Transformer Encoder Layer(一个 MHA + 一个 FFN),不包含 embedding 和 bias,它的总可训练参数量是多少? MHA部分,输入token嵌入向量转为KQV需要三个参数矩阵,其维度为dmodel×dmodeld_{model} \times d_{model}。 多

Read More »