此外，语义文本相似性计算也被广泛用于自然语言处理任务中，如抄袭检测、文本总结和机器翻译。
总之，对语义文本相似性算法为代表的相似度模型研究具有重要的应用价值。
如果不解决计算文本语义相似度这个问题的话，跟别提如何更进一步的文本处理了。
抛开让机器区分相似文本这个问题不谈。
仅仅是想要机器识别文本这件事情就极其困难了。
自然语言一般就是说人类能理解的语言，比如看到的文字就是自然语言。
但当我们需要机器或者说计算机处理自然语言时。
机器/计算机却没办法直接理解这些符号（汉字、字母、标点符号等）。
这些符号必须先被数值化，然后才能输入计算机进行后续处理。
仅仅只是数值化之后也用途不大。
必须引入其他的一些内容来反应出词的属性。
就像我们不能从一个普普通通的代号知道这串数字究竟表示的是订阅、收藏还是打赏。
总之，仅仅是一个代号是看不出来每串数字对应的属性的。
这个问题也是计算文本语义相似度的一个研究热门之一。
如何表示数值化的自然语言相对应的属性呢？
研究人员一般做法是将数值化的语言矢量化或者说向量化。
这章没有结束，请点击下一页继续阅读！向量相比于标量的话就是带方向的量。
事实上这种研究方向并不算新潮。
林灰记得前世早在1975年，就有研究人员首次提出向量空间模型(VSM)，试图利用该模型来处理数值化的自然语言。
林灰通过搜索相关信息，发现这个时空虽然慢了一点，但VSM向量空间模型这个方法在1977年也被提出来了。
所谓的VSM模型听起来或许挺高大上的。
其实没那么复杂。
其主要思想就是假设一个文本的语义只与该文本中的单词有关，而忽略其语序和单词之间的相互关系，然后通过基于词频统计的方法，将文本映射成向量，最后通过向量间的距离计算以表征文本间的相似度。
计算两个向量之间的距离？
这玩意是高中课本上的内容。
估计高考后脑子里知识还没忘记的一般考生都能拿过来利用这个模型算算文本相似度。
不过很多高中生学的时候可能根本不知道他们学的这玩意能做这个。
（ps：……高中学的东西很有用，不要觉得暂时看不到用途就放弃）
当然，也正是由于该模型简单高效。
在该模型提出来之后很长的一段时间里，它都是文本相似度计算领域的主流方法。
但该模型并不是没有缺点。
基于VSM的方法仍然有两点缺陷:
一方面当文本量很大时，生成的文本向量是非常稀疏的，这就导致了空间和计算资源的浪费;
另一方面VSM为达到简化模型的效果忽略了词语间的关系，但在很多情况下词语之间是存在联系的，因此简单地认为词语间相互独立是不合理的。
这两条缺陷尤其致命。
第一条直接影响处理相似度的效率，第二条直接影响词义相似度判别的准确度。
在这种情况下，VSM模型在使用了一段时间之后，研究人员就将这个模型抛弃了。
现在的人们具体应用什么计算文本相似度林灰也不是很清楚。
不过林灰注意到伊芙·卡莉先前发给他的邮件并没有提到向量有关的内容。
时下的研究人员似乎已经淡忘了向量化。
或许现在再说到利用向量化进行自然语言文本处理似乎是一个很复古的研究方向了。
但实际上向量化这个方向仍然有潜力可以挖掘。
应用分布式词向量完全可以进行文本相似度计算。
不过这个时空的人们不知道也很正常。
林灰记得前世涉及到自然语言处理这方面很多重要成果都是2013年、2014年这两年井喷出来的。
前世涉及到文本相似度模型的架构这方面。
用于计算语义文本相似度的分布式词向量这项技术就是就是在2013年诞生的。
前世正是在分布式词向量问世后，语义文本相似度才取得了突破性的进展。
这个时空节奏上慢了两年，应用分布式词向量计算文本相似度没被提出来也很正常。
一步落后，步步落后。
节奏上慢这两年时间的话，这个时空无疑很多方面都落后了。
这些对于林灰无疑是个好消息。
应用分布式词向量来构建计算文本相似度的方法虽然说起来容易。
但具体阐述起来这个问题其实还是比较复杂的。
因此林灰当初并没有在邮件中回复伊芙·卡莉。
如果这个时空涉及到文本相似度模型架构方面的研究都短腿的话。
那林灰岂不是很有义务援助一下？
看来跨时空之搬运工又要上线了。
当然了这种搬运不是无偿的。
眼下林灰更关心的还是论文。
在相关研究出现方向性偏差的情况下，林灰真要写论文的话岂不是很容易就能发表好几篇？
这样水平的论文林灰写起来很容易。
虽然林灰前世学术生涯上没有走太远，但前前后后发的论文加起来大概有七八篇了。
有几篇论文还是全英文的。
总之发表论文这样的事情，对林灰来说已然是轻车熟路。
这种情况下，林灰感觉他很容易就能把麻省理工学院学士学位所要求的附加分刷满。
尽管如此，林灰还是决定先跟伊芙·卡莉见面沟通一下再弄论文相关的事情。
毕竟林灰不是很清楚西方世界在文本相似度研究的具体进展，万一不小心撞车就尴尬了。
商业上的撞车可以美其名曰是商业竞争。
学术上的撞车可是一辈子的污点。
现在林灰只希望能够快点和伊芙·卡莉见面了。
好在林灰期待的见面没多久就发生了。
林灰在北域域北国际机场见到了“伊芙·卡莉”。
伊芙·卡莉先前怕林灰不相信她的身份，于是在邮件里附上了一堆能够佐证身份的证明。
林灰当初就看到过伊芙·卡莉的照片。
不得不说，伊芙·卡莉的样貌很有辨识度。
一头金色微卷的长发，身高目测一七六左右，身材比例很棒，曲线很S。
这章没有结束，请点击下一页继续阅读！尽管以挑剔的眼光来看，林灰觉得此时眼前的“伊芙·卡莉”的身材和样貌似乎也能在90分以上。
最关键的是给人一种很纯真的感觉，给人一种不染纤尘的那种感觉。
呃，这种感觉怎么说呢，反正很有保护欲那种。
不过林灰还没那么不淡定。
女人而已，只会影响他肝论文/敲代码的速度。
“伊芙·卡莉”似乎还没发现林灰。
林灰迎着走了上去，主动用英语打招呼道：“你是伊芙·卡莉么？我就是林灰，欢迎来到中国。”
呃，这几句程度的英文林灰还是能应付的。
不过眼前这人反应明显迟疑了一下。
林灰感到很奇怪，莫非是搞错了？
正在林灰很纠结的时候，突然身后传来的声音。
“你就是LIN HUI么？我是伊芙·卡莉，很高兴见到你！”
林灰心想，这下尴尬了。
第一次接人还认错人了。
不过，不应该啊，眼前之人很有辨识度的西方面孔，而且和伊芙·卡莉先前发来的证件照上那女的一模一样啊。
林灰不解地回过头，看向声音来源，又看到了一个“伊芙·卡莉”。
刚才说话的这个也是一头金色微卷的长发，同样身高很高，身材比例很棒，颜值90以上。
身前身后两个人一模一样，就很离谱。
最离谱的是两人身上气质特别像，都是很纯粹的那种。
林灰：Σ(っ°Д°;)っ
什么情况？？？
莫非是双胞胎不成么？
林灰又回过头看了一眼，发现两人虽然样貌上很相似。
但气质上其实是微微有些区别的。
两个人虽然都是很纯粹的气质。
但一个是天真无瑕那种惹人怜爱那种。
另一个则是书卷气让人敬重那种。
如此相似的一对双胞胎送上门来。
林灰当时就有一个很大胆的想法！
……
……
长得这么像的一对双胞胎姐妹以后在开发人脸识别算法时不用来做测试样本可惜了……
喜欢穿越：2014请大家收藏：穿越：2014本站更新速度全网最快。