在自然语言处理这个机器学习的典型方向引入预训练。
无疑等同于将部分优秀学生在学习中会用到的一种特殊的技巧“移植”过来。
这种思路无疑很是很巧妙。
思路固然很巧妙。
但正如路边李苦的道理一样。
为什么这种很巧妙的思路以前却没人尝试过呢？
尹芙·卡莉觉得未必是没人想过这方面。
但别人却无一例外的失败了。
涉及到知识的汲取，或许绝大多数人也知道先将80%有共性的知识搞定再搞定另外的20%可以省力。
但从过往的学业上看，尹芙·卡莉觉得她身边能够做到先将知识80%的共性找出来再去攻克疑难处的人少之又少。
甚至于除了尹芙·卡莉眼中的学霸之外根本没啥人能做到这一点。
尹芙·卡莉眼中的学霸又能有多少人呢？可以说是寥寥无几了。
也就是说这种先将80%有共性的知识搞定再搞定另外的20%这种很明智的做法实际很少有人应用。
明明是看起来更加容易的方式。
什么没多少人这么做？
尹芙·卡莉觉得主要原因是：
——大部分人并不善于找到知识的共性。
在不善于找到知识共性的情况下，一部分人虽然会尝试着找知识共性。
但实际上操作的时候找到80%知识的共性完全是奢望。
可能只能找到30%、20%甚至更少知识的共性。
如此一来这些人非但没有能够找到主体知识的共性。
反而在找共性的时候不知不觉将其余一些原本是普通的内容给异化成了这些人眼中的“非共性知识”。
而非共性知识在这些人心中又被这些尝试找共性的人心理暗示成了比较麻烦的知识。
这些原本并不是特别难的知识，在心理暗示的debuff下。
效率甚至比不找共性时的效率还要低。
如此，未找到共性的人反而有可能成为这些尝试寻找共性的人的所需要耗费大量时间去攻克的内容。
这种情况下，找知识的共性非但没对他们造成帮助。
反而成为了他们学习时候的拖累。
就很苦逼了。
与其出现这种情况，这些人干脆放弃了找知识的共性。
直接一视同仁，至少不会聪明反被聪明误。
类似于学习上这些人面对的窘境。
或许机器学习方面的学者也是因为同样的境遇才放弃了对训练数据共性的寻找。
至少在尹芙·卡莉这是因为这个原因。
纵然是现在知道了林灰在模型训练中引入了预训练方式。
尹芙·卡莉现在也不知道林灰究竟是如何做的。
按照林灰在论文中补充内容进行的阐述。
传统的训练机制下，文本摘要模型的产生思路是：
语料训练→模型
而按照林灰的思路引入预训练机制后。
文本摘要模型的产生思路是：
语料预训练→预训练模型→微调→模型
这个思路的本身是没问题的。
但尹芙·卡莉面对着这个全新的模型产生思路却满脑子全是问题。
具体应用的时候究竟引入何种的预训练方式才能够起到事半功倍的训练效率？
什么样的预训练模型才是预训练的目标？