基于文本分类应用的贝叶斯算法的优化
基于文本分类应用的贝叶斯算法的优化
1 研究背景
伴随着信息技术的飞速发展， 在人类的生活中， 通信、网络和计算机相关技术可以说是已经
“ ” 无处不在， 大量的 信息 通过电子文本形式存储， 而且数量急剧增长；新闻、用户评论、电
子邮件等等， 这些都是以电子文本的形式存储在网络， 但是面对如此庞大的信息量， 通常人
们需要的仅仅只是其中的一小部分， 那么如何从海量的电子文本中挖掘出自己感兴趣或者说是
有价值的信息， 这是我们所面临的严重挑战。文本玩家技术就是为处理这类问题而诞生的一种
重要的信息处理技术， 文本挖掘技术是从文本中识别有效信息的一个过程。而文本挖掘又包
含：文本分类， 文本挖掘， 文本聚类分析等多个方向。而文本挖掘是指从海量的电子文本数
据中分离抽取出事先不知， 可理解， 而最终可用的知识的过程， 而运用这些知识可以更好的
组织信息帮助人们进行预测或判断以及计划调整与优化。
2 研究现状
文本挖掘在国外的研究开展较早， 50 年代， H.P.Luhn 在文本挖掘领域进行了开创性的研究，
他提出了词频统计以及自动分类。众多学者在这一领域进行了研究工作。而研究的范围主要有
文本挖掘模型、文本特征提取、文本挖掘算法、文本挖掘工具等。
我国引入文本挖掘概念并开展中文的文本挖掘只是从最近几年才开始的。目前我国文本挖掘研
究还处于对国外相关理论和技术的实验和论证阶段， 文本挖掘理论实际应用和适合中文的文本
挖掘技术及算法研究都处于初步阶段。目前还没有形成完整的或成体系的适合针对中文信息处
理的文本挖掘理论与技术框架。
3 文本挖掘
文本挖掘包含三个过程：文本预处理、特征信息提取以及数据挖掘。
（1 ） 文本预处理。文本信息资源最初是各种不同来源的原始数据类型， 而需要对原始数据进
行过滤和鉴别。根据数据来源的不同几数据类型的特征， 可以分为：结构化信息数据和非结构
化信息数据。数据过滤需要对不同类型的数据提供不同的文本过滤方案。结构化信息需要通过
预处理， 将不同形式的文本资源转换成新的相同 （或相似） 的形式；而对于非结构化稳定，
则需要通过文本预处理将非结构化信息文本转化为可以通过算法分析的形式， 转化为能够进行
特征信息提取的文本格式。
（2 ） 特征信息提取。特征信息提取是将非结构化数据转换成能够在数据库中存储的结构化数
据， 作为下一步文本挖掘处理的数据输入。特征提取主要是识别出文本中有特点业务价值特征
的词。天气的特征词多数是信息文本中表示的概念， 而这些概念包含了重要的业务信息， 因
此在做信息提取前就需要根据实际的业务识别出那些信息是需要被提取以及对于的提取策略。
（3 ） 数据挖掘。通过预处理几信息提取后， 就可以对文本进行挖掘分析了， 而常用的挖掘分
析技术有：文本结构分析、文本分类、文本聚类以及文本关联分析、趋势预测等等。
4 基于文本分类应用的贝叶斯算法的优化
（1 ） 文本分类。文本分类是利用计算机技术对文本信息按照特定的业务分类体系或标准进行
自动分类标记。属于一种分类体系的自动分类， 是朴素贝叶斯分类方法。
（2 ）贝叶斯算法优化应用。贝叶斯算法主要关注稳定类别归属的概率。文本的类别归属概率
=每个分类词属于对于类别的概率的综合表达式。我们可以用这个词在对应分类文本中出现的
次数来粗略统计， 这就体现了词频统计的计算成为可行。
朴素贝叶斯算法公式有很多。首先要计算分类样本中每个统计原始的先验概率，然后需要计算
出单个文本对于每个分类的概率， 而其中概率值最高的分类才会被作为有效分类被收纳。
摘要：
展开>>
收起<<
基于文本分类应用的贝叶斯算法的优化1研究背景伴随着信息技术的飞速发展，在人类的生活中，通信、网络和计算机相关技术可以说是已经“”无处不在，大量的信息通过电子文本形式存储，而且数量急剧增长；新闻、用户评论、电子邮件等等，这些都是以电子文本的形式存储在网络，但是面对如此庞大的信息量，通常人们需要的仅仅只是其中的一小部分，那么如何从海量的电子文本中挖掘出自己感兴趣或者说是有价值的信息，这是我们所面临的严重挑战。文本玩家技术就是为处理这类问题而诞生的一种重要的信息处理技术，文本挖掘技术是从文本中识别有效信息的一个过程。而文本挖掘又包含：文本分类，文本挖掘，文本聚类分析等多个方向。而文本挖掘是指从海量的...
相关推荐
-
2024年党建工作要点工作计划5篇供参考
2023-12-16 999+ -
2025年专题生活会对照带头严守政治纪律和政治规矩，维护党的团结统一等“四个带头方面”个人对照检查发言材料4110字文稿
2024-12-21 999+ -
2025年医保局局长、科技局领导干部专题“四个带头”方面对照检查材料2篇例文（附：反面典型案例剖析情况）
2025-02-09 453 -
2025年国有企业党委书记、市总工会党组书记民主生活会“四个带头”方面对照个人检查发言材料2篇文(附：典型案例、上年度整改+个人情况)
2025-02-09 504 -
2025年市委组织部部长、教育局党委书记生活会“四个带头”个人对照检查发言材料2篇文(典型案例+个人事项)
2025-02-09 622 -
2025年市财政局党组书记、局长、市检察院党组领导班子对照“四个带头”方面生活会个人对照检视发言材料2篇文（含以案为鉴反思、以案促改促治方面）
2025-02-09 505 -
市检察院党组、市财政局领导班子2025年生活会对照“四个带头”方面检视发言材料2份文【含以违纪行为为典型案例剖析】
2025-02-09 460 -
2025年市财政局领导对照“四个带头”生活会检视发言材料2篇例文【含以违纪行为为典型案例剖析】
2025-02-09 580 -
单位领导班子2025年聚焦“四个带头”生活会对照检查材料2篇文(含：典型案例剖析反思、落实意识形态责任制)
2025-02-09 753 -
2025年镇党委副书记、市科学技术局领导班子生活会对照“四个带头”检视材料2篇文【含违纪行为典型案例分析】
2025-02-09 254
作者：闻远设计
分类：其它行业资料
价格：免费
属性：2 页
大小：13.45KB
格式：DOCX
时间：2024-03-17
