Motivation

当你训练了一个效果非常好深度学习模型之后肯定想马上把它投入使用，但在现实环境下光是效果好还是不够的，模型需要应对来自黑客的恶意攻击。

Attack

What do we want do？

那么黑客是如何攻击机器学习模型的？假设我们有一个已经使用ImageNet数据集训练好的一个模型，给它看一张小虎斑猫的图片，它会识别出这是一只小虎斑猫。

怎么刚高考完就要考研了？上学期在很多杂事上浪费了很多时间，总感觉没有大一大二那么静心了，主要还是心飘了。不管是学习方面还是考研方面自己的状态都越来越差，慢慢又开始管不住自己了，本来安排满满的寒假却被游戏占去了大半的时间，人真的不能懈怠，一懈怠就全完了。好好努力吧！

不定期更新中… 别问，问就是在玩Rainbow Six Siege。

Transformer的并行性以及信息抽取能力可以在很大程度上提高模型的训练速度和训练效果，最近的一些研究也都围绕着Transformer展开(如Elmo,Bert)，LSTM的并行性差训练速度慢被淘汰也是迟早的事，虽然Transformer相对复杂对初学者来说并不好理解，但是理解并应用Transformer对一名NLPer来说是基本的要求，所以本文将结合The Illustrated Transformer和The Annotated Transformer两篇文章从采用图片和代码两种方式剖析Transformer。

考虑到读者的基础不同，文章的难易程度并不好掌控，所以阅读本文还是要求读者有一些基础知识如使用(Pytorch等等)，不过不用担心，我会在介绍的过程中提供一些比较好的博客和文档来帮助你补充基础知识。

本文翻译自The Illustrated Transformer,外加自己的理解与想法。

个人感觉原文作者在介绍decoder部分时讲的并不是很清楚，不妨将文章多读几遍，最好还是能够结合代码能方便于理解。

在前一篇文章中介绍了注意力(Attention)—一种在现代深度学习中无处不在的方法。注意力有助于提高神经机器翻译应用的性能。在这篇文章中我们将学习Transformer—一种使用注意力来提高训练速度的模型。Transformer在某些特定的任务中优于Google的神经机器翻译模型(Neural Machine Translation model), 然而Transformer最大的优点来自于他对并行化的贡献，Google也建议使用Transformer作为参考模型来使用他们的 Cloud TPU。那么就让我们拆开Transformer，看看它是如何工作的吧。

本文翻译自Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention), 外加自己的一点理解和补充。

Sequence-to-sequence模型是一种深度学习模型，它在机器翻译， 生成文字摘要，生成图像描述等任务中取得了一系列的成功，在2016年末Google翻译更是将这种模型投入使用，这些模型源于两篇开创性的论文(Sutskever et al., 2014,Cho et al., 2014)。

然而要想实现这样一个模型，就要解开一层一层相互堆叠的概念，如果能把这些概念可视化的展现出来那么我们理解和实现起来就会更加顺手，这也就是我写这篇文章的目的(也是我翻译的目的), 当然你还是需要一些深度学习的基础知识才能读懂这篇文章，我希望这篇文章可以成为你阅读上述两篇论文(和下面要提到的attention论文)的得力助手。

一个sequence-to-sequence模型就是吃一个序列(sequence)(一句话， 一封信， 图像的特征…等等)然后吐出一个序列， 一个训练好的模型就会像下图一样工作:

月初的时候打算做一个QA系统所以接触到了Attention机制，顺便也把这篇论文看了看期间参考过很多的很好的博客，最后也用Pytorch把Attention的代码实现了一遍，算是对Attention有了一个理解，由于大佬们的博客已经写的很好了，我这里就简单的做一个整理吧(懒)。

• 论文地址
• 代码地址

个人代码没有经过测试可能会有BUG

1. 下载TexLive2018
2. 安装其他环境

   1 2 3 4 5 6

   sudo apt-get install texlive-latex-base sudo apt-get install texlive-latex-extra sudo apt-get install texlive-fonts-recommended 字体 sudo apt-get install texlive-fonts-extra 更多字体，可选 sudo apt-get install texlive-xetex sudo apt-get install texlive-lang-chinese

论文下载

Abstract

Inception模块是位于普通卷积和深度可分卷积(Depthwise
Separable)中间的一种操作，深度可分卷积可以理解成Inception模块的极端化，Xception在ImageNet上的表现略好于InceptionV3，但在一个更大的数据集上Xception表现的要比InceptionV3好的多，Xception和InceptionV3的参数量差不多所以说明Xception的提升并不是因为参数量的增加而是因为参数的使用率得到了提升。

这个暑假还算挺充实，
学的话感觉是没学什么东西，倒是有点”旅历“了，去了一趟武汉去了一趟南京，还去公司实了习，没想到的是在暑假拿了一个一等奖和两个三等奖算是在这个阶段证明了自己的能力，但是离目标差的还很远。

去公司混日子敲代码的时候感觉是真无聊，跟学长聊了之后想转向研究方向，本科阶段不再想参加任何实习和工作，好好学英语好好看论文，希望能够在自己喜欢的方向有所成就。