蛋白质结构预测模型的训练比江铭的预计要慢了不少。

已经在服务器上跑了三天，竟然还没训练完。

搞得江铭有些焦虑，一天登上服务器看八百次loss曲线，祈祷着曲线赶紧收敛。

这焦虑的原因倒不是因为他自己，而是最近这两天也不知道高志师哥怎么回事，隔几个小时就跑过来问一次训练的怎么样了。

江铭正趴在实验室的桌子前，拿着笔在草稿纸上写写画画，冥思苦想能怎么改进一下transformer的模型。

不过系统设计的东西，岂会是那么好改的，江铭磨蹭了一个小时也没想好该怎么做。

忽然，他的肩膀被人拍了一下，江铭无奈地转过头去，果然是高志。

高志冲他露出一个和蔼微笑，开口道：训练得怎么...    训练得怎么样啊？

，江铭同步开口，两个人的声音直接重合到了一起。

额，你怎么知道我要说什么？

，高志挠了挠头，有些尴尬。

师哥，你最近是没有自己的事情做嘛？

，江铭无奈地叹气，道：而且，你到底是怎么进来的，简直是把我们实验室当你自己家一样。

还没有脚步声！

刚刚你都吓我一大跳你知道吗。

额...不用在意这些细节，这只是一个侦探的基操罢了。

，高志干脆搬了个椅子坐在江铭身边看他工作：你这个训练怎么花了这么久啊，就不能多用几台机器训练吗？

哎，我也想啊，但是做不到啊。

，江铭叹道：多台机器处理数据是可以的，但是最关键的训练那一步，还是只能在一台机器上训练的。

算了，说多了你也不懂。

高志却是来了兴趣：那你就给我讲讲呗，反正在这里等着训练也没事做。

江铭无奈，点了下头算是答应了高志的请求，拿出一张新的草稿纸，在上面画了起来。

蛋白质结构预测这个任务，我不知道你们生命科学界怎么分析。

从信息学的角度，我把他定义为一个高维输入输出，且具有超远距离依赖关系的一个序列预测问题。

而我画的这个图，是我为了解决这类问题专门...额，设计的。

我给他起名叫transformer。

为什么要叫它变形金刚？

，高志一脸疑惑地问。

变形金刚？

你在说什么，什么变形金刚？

就是那个机车人的动画片啊，老早之前就有了，最近还出了新作呢，里面的机车人甚至都能合体了。

，高志一边用嘴发出机械音，一边做了个机器人变形的动作：你的模型也能合体吗？

江铭只感觉话题被高志带的越来越偏，师哥在耍宝上的天赋似乎比在科研上的天赋还高。

不过他还是一本正经地回答道：模型的话肯定是不能合体的，这种序列预测问题，神经网络在时间步上需要一步步迭代，没法...    等等，不对！

江铭突然意识到自己之前陷入了误区！

他之前训练神经网络来解决序列预测问题的时候，用的都是LSTM、RNN这种循环神经网络，的确需要一步一步在时间方向做迭代。