A Survey of Transformers 笔记

2106.04554 A Survey of Transformers,这篇论文是复旦大学 NLP 组整理关于 Transformer 模型改进和应用的综述文章。由于不是主要搞这个方向的,大部分论文其实都没有看过,所以简单整理一些有启发的点。

Ref