关于我们

质量为本、客户为根、勇于拼搏、务实创新

< 返回新闻公共列表

云南大王-关键词匹配优化(第1篇)—— 测试计算过程

发布时间:2020-04-13 00:00:00
昨天大致把思路理清楚了,用one-hot的方式把关键词按字拆开编码,今天尝试可行性。 目前主流的文本向量化方式主要包括one-hot、tf (term-frequency)和tf-idf (term frequency–inverse document frequency)这三种,越往后准确度应该越高。 我的需求比较简单,只有一百多个相对较短的关键词,所以先用one-hot方式向量化,把整个流程跑通,再回来测试准确度的区别。 分词的话可以用python的jieba包,因为词语比较短,所以也先不分词了,按字拆分。 一百多个词拆下来一共200多个关键字,感觉也还ok。 思路的验证是在Excel中做的,毕竟数据量小,看起来也方便。 流程是:先用vba把词拆成字(用Excel公式也可以完成);用vba的字典功能把字去重放到首行;然后用countif公式得出one-hot编码。 后面遇到新词之后计算新词的编码,对比两个向量就可以计算相似度了。 向量的相似度用 余弦相似度 方法,不赘述,具体解释可以百度,公式如下。 找了一段用numpy计算余弦相似度的代码,进行测试。 import numpy as np def cos_sim(vector_a, vector_b): """ 计算两个向量之间的余弦相似度 :param vector_a: 向量 a :param vector_b: 向量 b :return: sim """ vector_a = np.mat(vector_a) vector_b = np.mat(vector_b) num = float(vector_a * vector_b.T) denom = np.linalg.norm(vector_a) * np.linalg.norm(vector_b) sim = num / denom return sim print( cos_sim(np.array([[1, 1, 1,1,1,1,1,1]]),np.array([[1, 2, 1,1,1,1,1,1]])) ) 成功计算出这两个测试向量的相似度 目前整个计算流程基本算是跑通了,接下来就是用C#实现以上功能。

相关阅读

js 判断手机版与PC版自适应跳转C#截取字符串的方法C# 中使用正则表达式验证手机号、身份证号码强制性修改div框里出现的css值VS2017调试代码显示“当前无法命中断点,还没有为该文档加载任何符号”js获取当前域名、Url、相对路径和参数以及指定参数JavaScript数组整理C# 对象和类型总结关于javascript跳转与返回和刷新页面Express中的中间件简介及用法JS的原型和继承webstorm的 Emmet 快捷方式什么是Redis缓存的雪崩、击穿、穿透Cookie的基本介绍和场景Vue.js中keep-alive缓存(页面+滚动条)HTML5在客户端是如何存储数据的?MySQL中多表操作有哪些?Cookie与Session的认识使用集合组织相关数据深入C#数据类型c#中的委托简单认识.NET框架密码学系列——常见的加密方式有哪些.NET 异步详解线程池的五种实现方式centos7系统中忘记了root管理员账号密码的解决方式公司管理必须的20条军规[参考]云南昆明天猫旗舰店如何开_怎么开_要什么条件云南大王-通俗理解spring源码(三)—— 获取xml的验证模式 云南大王-用户登录 云南大王-【Golang进阶】指针的详细讲解 云南大王-Java 单线程代码ThreadLocal串值问题 云南大王-Java 实例级别的锁和类级别的锁 云南大王-工作流引擎会签,加签,主持人,组长模式专题讲解 云南大王-Android连载5云南大王-NTP对时器(NTP对时服务器)重要性!京准电子科技 云南大王-关于redis单线程的分析 云南大王-CVE云南大王-PHP SESSION反序列化本地样例分析 云南大王-这不就是多线程ThreadPoolExecutor和阻塞队列吗 云南大王-Tomcat AJP 文件包含漏洞(CVE云南大王-讲真,这两款idea插件,能治愈你英语不好的病 云南大王-消息中间件ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、Kafka如何选型? 云南大王-JVM系列十三(类加载器). 云南大王-Win10安装MySQL8压缩包版 云南大王-初始WebApi(2) 云南大王-初识人工智能(二):机器学习(一):sklearn特征抽取 云南大王-Popup中ListBox的SelectChange事件关闭弹出窗体后主窗体点击无效BUG 云南大王-基础知识记录 云南大王-FastDFS搭建图片服务器 云南大王-git/sourcetree解决本地仓库历史合并到线上仓的历史数据合并问题_refusing to merge unrelated histories 云南大王-js判断字符是否在数组中【转】 云南大王-Python 云南大王-面向对象之多线程(可捎带电梯调度) 云南大王-Python练习题2.5求奇数分之一序列前N项和(存在问题) 云南大王-React 中的前端路由 react云南大王-VSCODE 远程开发树莓派 云南大王-React新闻网站云南大王-vs .net CS0006 C# 未能找到元数据文件 .dll 云南大王-Vue.js 技术揭秘 云南大王-流程控制语句云南大王-Python学习笔记:Python的时间操作(time,datetime,timedelta,calendar) 云南大王-流程控制语句云南大王-golang Gin framework with websocket 云南大王-多重判断if..else嵌套语句 云南大王-用户登录 云南大王-流程控制语句云南大王-密码类 云南大王-Unity2018发布WebGL注意事项总结 云南大王-web系统安全运营之基础云南大王- 流程控制语句云南大王-中型WPF客户端开发项目总结(3.3.4) 云南大王-流程控制语句云南大王-流程控制语句云南大王-流程控制语句云南大王-中型WPF客户端开发项目总结(4) 云南大王-流程控制语句云南大王-ASP.NET Core笔记(4) 云南大王-C# 基础知识系列云南大王-让 .NET 轻松构建中间件模式代码(二) 云南大王-基于 HTML5 WebGL 的 水泥工厂可视化系统 云南大王-.NET Core 3 WPF MVVM框架 Prism系列之导航系统 云南大王-《JavaScript异步编程》精读笔记 云南大王-合理使用CSS框架,加速UI设计进程 云南大王-CLSID 为 {000209FF云南大王-从零基础转行到前端大牛,需要经过哪几个阶段? 云南大王-一个简单的例子看明白 async await Task 云南大王-【目前】宇宙第一IDE Visual Studio 合并压缩css、js扩展组件云南大王-写一个通用的List集合导出excel的通用方法 云南大王-Bootstrap4 按钮组+徽章(Badges)+进度条+分页+列表组 云南大王-Web前端工程师需要学些什么? 云南大王-react嵌套路由 云南大王-【java框架】Struts2(2) 云南大王-javaSE笔记云南大王-.net core 集成 sentry 进行异常报警 云南大王-Java の 四种引用 云南大王-JVM 虚拟机&&类加载(一) 云南大王-使用Fastjson实现JSON与JavaBean之间互相转换 云南大王-Python操作Oracle数据库:cx_Oracle 云南大王-为什么要用内插字符串代替string.format
/template/Home/Zkeys/PC/Static