Web数据挖掘的研究与应用（电子论文）
【摘要】目前，因特网已成为一个巨大的、分布广泛的和全球性的信息服务中心。人们已经习惯用Google、Baidu等搜索引擎来获取自己所需信息，Web数据挖掘在现实应用的价值日益提高。Web数据挖掘，是采用某些特定的算法，在对网络上大量的数据分析的基础上，对原始数据进行提炼，挖掘以及模式分析，最后转化为一般性规则，从而帮助改进管理。
Web数据挖掘是当前的一个极具研究和应用价值的领域。它通过对网页，记录日志，用户行为等信息进行分析、研究，利用得到的有用的结果，改进服务。本文介绍了服务器日志、用户页面行为、客户端信息的采集方法，并通过多维关联规则等经典算法对数据进行分析、处理，将处理结果应用到网站，从而改善网站的功能，使网站更加人性化，个性化。为此，论文作者开发了一个基于C#编程语言和Mircosoft SQL Server 2005数据库的软件，WKDD。它是一个多维关联规则挖掘软件，同时带有一些挖掘工具，如网页爬虫，网页捕手等等。
在开发WKDD软件的过程中，论文作者尽力做到用较少的用户操作来完成同样的多的事情，旨在方便数据采集、处理、规则发现等方面的工作。初步的实验表明WKDD能够完成数据挖掘相关功能，达到数据挖掘的基本要求。
【关键词】 Web数据挖掘；多维关联规则；日志挖掘
1 引言
近年来，互联网技术飞速发展，Internet已经成为世界上最大的信息集聚地。这些巨量的Web信息数据中，蕴含着巨大潜在价值的知识。Internet上的信息，是以网页形式存放的，而网页的内容又以文本方式来表示，但他们的结构更加复杂，风格多样，构成了一个异常庞大的具有异构性、开放性的分布式数据库[1]。如何开发、利用这些信息成为了当今热门的研究方向。
Web挖掘[2,3]是指从大量非结构化、异构的Web信息资源中发现有效的、新颖的、潜在可用的及最终可理解的知识（包括概念（Concepts）、模式、规则、规律、约束及可视化等形式）的非平凡过程[4]。Web数据挖掘[1,5,6]是目前信息技术中的研究热点，它是现代科学技术相互渗透与融合的必然结果。Web挖掘的分类及其所涉及的关键技术都处于初级阶段，互联网在技术和应用上的不断发展将会极大地促进数据库技术和数据挖掘技术的发展，并直接导致Web挖掘在技术和理论上的不断发展。在今后Web挖掘技术的发展趋势是Web知识库的动态维护、更新；半结构、结构的文本数据、图形图像数据、多媒体数据的高效挖掘算法;关联规则和序列模式在构造自组织站点的研究等等。虽然与理论研究的空前繁荣相对比, Web数据挖掘在实际中的应用还是相对冷淡，但Web数据挖掘的巨大价值是显而易见的，Web数据挖掘的应用必然越来越多。另外，近年来，商业智能(Business Intelligence)吸引了不少视线，商业智能将数据挖掘等技术应用到实际的商业项目，如果能够成功应用，未来将是一片新天地。
本文着重从实际应用出发，以Web数据挖掘的一般流程开始，对现实中的网页数据进行采集、处理和分析，并介绍和示例过程中用到的背景知识、使用的技术。本文使用的主要数据挖掘算法是经典的基于Apriori的关联规则挖掘算法，为了适应关系型数据库，在其基础上做出了一点变动，新的算法能够适应多维数据的挖掘。
本人目前在开发的WKDD软件，正使用了基于Apriori的多维关联规则挖掘算法，除此之外，还开发实现了一些挖掘工具，如网页爬虫，网页捕手等等。但Web数据挖掘涉及众多学科的知识和理论，WKDD目前还处于开发初级阶段，实现的功能非常有限。
目 录
1 引言 1
2 Web数据挖掘分类 3
2.1 Web内容挖掘 3
2.2 Web结构挖掘 3
2.3 Web用法挖掘 3
3 Web数据挖掘应用流程 5
3.1 数据来源及其应用范围 5
3.1.1 服务器日志分析 5
3.1.2 个性化日志分析 6
3.1.3 爬虫程序 9
3.2 数据处理算法与方法 11
3.2.1 数据处理工具 11
3.2.2 多维关联规则 15
3.3 数据的一些应用示例 18
3.3.1 软件下载类网站改进策略 18
3.3.2 一些应用功能 19
4 WKDD软件介绍 21
4.1 开发环境、工具与周边 21
4.2 WKDD软件使用步骤 21
4.2.1 对数据表进行预处理 22
4.2.2 配置WKDD数据源 26
4.2.3 配置关联规则选项 27
4.2.4 进行关联规则挖掘 27
5 结束语 29
参考文献 30
致 谢 30
附录A WKDD关联规则软件部分代码 30
