天才一秒记住【三味小说网】地址:www.ourshanwei.com
己太多的时间。
凌志在线挂了一会儿,今天的第一个客户出现了。
“您好,在吗?”
“在的亲,请问您想要采集什么数据呢?”
“您好,请问可以帮忙分析数据吗?”
分析数据啊,凌志不是专门做数据分析的,但是能不能做要看情况。如果只是做一些简单的统计的话……
“您可以把您的需求发出来,我看看能不能做。”
“好的,我是想计算一下行业内每两个公司之间的相似度……”
凌志听着客户的需求,也不时提出一些疑问。回答完之后根据数据量给出了一个报价以及预期交付时间,客户并没有多砍价,就这么敲定了。
实际上计算文本相似度的方法有很多,比如统计两个文本中有没有词语同时出现,出现频率是否相近,标点符号使用频率是否一致等等。
但这些统计都是表层的统计,句子语义深层次的相似度没有办法通过这种办法来计算。
比如“开心”和“快乐”是同一语义,相似度为0.97,而“开心”和“伤心”则是相反语义,相似度为0.02。如果用最表层的统计方法是没办法得出上述结论的。
所以在当下,深度学习方法则成为主要的学习句子深层次语义的方法。
凌志并不想糊弄客户,他想既然要做那就尽量做到最好。
虽然客户在这一块并不是专业的,也并不知道计算相似度都有哪些方法,更没有去问凌志打算如何计算,但凌志依然想用深度学习方法来帮助客户准确计算每个公司的相似度。
凌志看着客户发来的每个公司的代表产品,找到了之前自己训练好的一份词向量表,先把产品名用分词工具分词,再对应到词向量表中,最终将两个公司之间的产品所对应的向量进行两两欧氏距离计算,最终一平均得到了每一对公司之间的相似度……
感觉也不复杂,但是不知不觉一天就过去了。凌志整理了一下数据,发给了客户。
“您好,相似度的计算已经搞好了,您看您还满意么?”
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!