基于Web日志挖掘数据预处理技术的研究

维普资讯 http://www.cqvip.com ２００７年第６期　福建电脑　１９　基于Ｗｅｂ日志挖掘数据预处理技术的研究　（１．武夷学院（筹）现代教育技术中心福建武夷山３５４３００　．２．福州大学数学与计算机科学学院福建福州３５０００２）　陈荣旺１２　郭红　【摘要】：数据预处理是Ｗｅｂ日志挖掘中的关键和重要一步，文章分析了Ｗｅｂ日志挖掘的数据预处理过程，并给出基　于日志参引页的用户ｉｅ，￣ｌ、路径补全算法和基于一种时问窗口模型的会话划分算法。　【关键词】：Ｗｅｂ日志挖掘数据预处理算法　３志与站点结构，按以下启发式规则处理　互联网技术和应用的迅速发展使得可以从因特网获取的信　般常用的方法是结合１息量日益剧增．为此迫切需要一种新的技术从这些信息中快速、　日志中的每条记录：　及时地发现有用的知识，提高信息的利用率。Ｗｅｂ日志挖掘属于　３．２．１不同的ＩＰ地址代表着不同的用户：　３．２．２如果ＩＰ地址相同．但是代理１３志中表明用户的浏览　Ｗｅｂ使用挖掘的范畴，作为数据挖掘技术研究的一个重要领域，　是指采用数据挖掘的技术，通过对Ｗｅｂ服务器日志中大量的用　器或操作系统改变了。就应当认为每个不同的代理就表示不同　　户访问记录深入分析．发现用户的访问模式和兴趣爱好等有趣、　的用户：３．２Ｉ３针对由上得到的每一个暂定用户．根据访问１３志、引　新颖、潜在有用以及可理解的未知信息和知识，用于分析站点的　用１３志和站点拓扑结构．构造出他的浏览路径。如果当前请求的　页面的引用页不在已浏览的页面系列中，则认为存在另外具有　１．Ｗｅｂ日志挖掘的过程　Ｗｅｂ日志挖掘的过程一般分为数据预处理阶段、挖掘算法　相同ＩＰ地址与代理的用户。　下面给出的是ｉＤ和ａｇｅｎｔ均相同的访问序列基于日志参引　实施阶段（模式识别）、模式分析阶段。图１给出了日志挖掘的过　页面的用户识别算法。　／广设ｎ（１＜＝ｉ＜＝ｎ）为ｉｐ和ａｇｅｎｔ均相同且按时间升序排列的　某暂定用户访问序列，Ｌｉ．ｐｕｒｌ为Ｄ的参引页，Ｕｘ为识别后的用　使用情况．从而辅助管理和支持决策。　／　　＼　亟　巨　土　．　・＝二＝苎苎　兰＝＝　亟ｉ　．　户访问序列。　ｘ＝ｌ；Ｕｘ＝【Ｊ；ｉ＝ｌ：Ｕｘ＝Ｕｘ＋ＩＩｊｌ：　ｆｏｒ　ａ．２；ｋ－ｎ：ｉ¨）　｛ｆｏｒ　Ｏ　．Ｊ＞＝ｌ；＇－．）　图１：Ｗｅｂ日志挖掘过程　２．ＷＥＢ服务器日志记录　般Ｗｅｂ服务器日志文件中记录的是每个访问用户的信　一ｉｆ（ｉｎ（Ｌｉ．ｐｕｄ，ｕｊ））／／判断“的参引页面是否在Ｕｊ中　Ｉ　Ｕｊ＝Ｕｊ＋ＩＵ｝，＇／／￣Ｌｉ加入最近的Ｕｊ序列中　ｂｒｅａｋ；ｌ　ｘ＋＋　增加用户　Ｕｘ＝Ｕｘ＋｛Ｌｉ｝；　ｌ　息．由于服务器或参数设置不同，得到的Ｗｅｂ　１３志文件中记录　的信息也会有所不同，但其中都包含有访问用户的基本信息。如　如有某暂定用户访问序列（在此以请求的ＷＥＢ页面和参引　日期、时间、用户ＩＰ、服务器ＩＰ、方法、所请求的ＵＲＬ资源、用户　代理、参引页面、服务器响应状态等许多信息。　页面对表示）为：Ｌ＝ｆ（Ａ，一），（Ｂ，Ａ），（Ｌ，一），（Ｆ，Ｂ），（Ｒ，Ｌ），（０，　３．Ｗｅｂ日志挖掘的预处理过程　Ｆ），（Ｇ，Ｂ），（Ｄ，Ａ）ｌ，按上述算法有识别后用户访问序列Ｕ１＝ｆ（Ａ，　数据预处理的目的是将Ｗｅｂ使用日志转化成特定算法所　），（Ｂ，Ａ），（Ｆ，Ｂ），（０，　，（Ｇ’Ｂ），（Ｄ，Ａ）ｌ，ｕ２＝ｆ　一），　，Ｌ），ｌ。　需要的数据结构．预处理工作的好坏直接影响到后续工作是否　３＿３会话识别　个会话（ｓｅｓｓｉｏｎ）是指用户从进入到离开站点的一系列浏　得到理想的结果，同时也决定了最终挖掘出的知识可信度。因　一一此．数据预处理工作是很关键与重要的一步。　览请求．在跨越时间段较大的Ｗｅｂ服务器１３志中，用户可能多　Ｗｅｂ日志挖掘的预处理过程通常包括数据净化（清洗）、用　次访问了该站点．会话识别的任务就是将属于同一用户的同一　户识别、会话识别和路径补全等。　次访问请求识别出来。　３．１数据净化　会话的划分有许多算法，有的依据时间。有的依据站点拓扑　数据净化是指删除Ｗｅｂ日志中与挖掘算法无关的数据，多　结构．如一种常用的基于时间窗１３模型的会话划分规则为：给用　数情况只有日志中ＨＴＭＬ或ＡＳＰ文件与用户会话相关．一般不　户在整个站点停留时间一个上界．若超过这个域值Ｘ则认为新　会显示地请求页面上的图形文件．它是根据页面的超文本链接　会话开始。设ｔ０为会话初始页时间戳，一个ＵＲＬ请求的时间戳　自动下载的　因为Ｗｅｂ日志挖掘的目的是获得用户的行为模　ｔ，若满足ｔ－ｔＯ＜＝ｘ，则被加入这个会话，第一个满足ｔＯ＋ｘ＜ｔ的页　式，并不关心那些用户没有显示请求的文件，所以通过检查ＵＲＬ　面成为下一会话的初始页。ｘ一般取３０ｒａｉｎ。其算法描述如下：　的后缀删除认为不相关的数据。如将日志中文件的后缀名为　，，令一个用户的站点访问序列表示为用户请求的ＷＥＢ页　ｓｉｆ、ｊｐｅｇ、Ｊｏｇ、ｊｓ、ｓｗｆ和ｊｓ等请求项删除，具体到实际的系统可使　面和时间对（ｕｒｌ，ｔｉｍｅ）的集合，即Ｕ＝＜（ｕｒｌｌ，ｔｉｍｅ１），．－．，（ｕｒｉｎ，ｔｉｍｅｎ）＞，　用一个缺省的后缀名列表帮助删除文件．列表可根据正在分析　其中ｔｉｍｅｊ＞ｔｉｍｅｉ，当ｉ＞ｉ时　的站点类型进行修改。如对一个主要包括图形文档的站点，日志　／／－￣－Ｓｉ为一个用户在规定时间内请求的ＷＥＢ页面序列．即　中的图形文件可能代表了用户的显示请求．此时就不能将图形　基于时间窗口模型的会话　ｘ＝３Ｏｍｌｎ；ｔＯ＝ｔｉｍｅｌ；ｉ＝１；Ｓｉ＝＜（ｕｒｌｌ，ｔｉｍｅ１）＞；　文件删除　ｆ０ｒ　０【．２；ｋ＜＝ｎ；ｋ＋＋）　３．２用户识别　Ｉｔ＝ｔｉｒ￣ｋ；　由于本地缓存、代理服务器和防火墙的存在，使用户的识别　ｉｆ（ｔ－ｔｏ＜－－－￣）　变得复杂了。最佳的处理办法是依赖用户合作，但难以做到。一　将（ｕｒｉｋ，ａｍｅｋ）￣Ａ　Ｓｉ中；　（下转第１６页）　基金嘎目：武夷学院（筹）青年学术研究支持计划（顷目踌号：ＸＱＬ０￣１７）　维普资讯 http://www.cqvip.com １６　福建电脑　Ｒ￣ｕｌｔ：＝ＴＳｔｒｉｎｇｌ￣ｓｔ．Ｃｒｅａｔｅ；　ｆｏｒｉｙ：＝１　ｔｏＲｏｗＣｏｕｎｔ　ｄｏ　ｆｏｒ　：＝ｌ　ｔｏＣｏｌＣｏｕｎｔ　ｄｏ　２００７年第６期　Ｔｍａｔｒｉｘ。用以进行用户聚类。然后将其进行预处理。所有大于１　的值调整为１。　④利用对象之间的相似性（ｈａｍｍｉｎｇ距离），再次构建矩阵　Ｔｍａｔｒｉｘｌ。　ｂｅｇｉｎ　ｉｆ　Ｃ，ｅｔＣｅｌｌＤａｔａＥｘ（ｉｘ，ｉｙ）＝０　ｔｈｅｎ　Ｃｏｎｔｉｎｕｅ；　ｓＴｅｍｐ．－　⑤计算阈值。　⑥比较Ｍｌ中的元素与阈值Ｋ的大小，若Ｍｌ［ｉ，ｊ］＜Ｋ，则将ｉ　与ｉ归为一类。遍历所有满足条件的ｉ和ｉ，得到类的集合Ｇ。　ｆ０ｒｉｉ：：ｉｘ＋１ｔｏ　ＣｏｌＣｏｕｎｔ　ｄｏ　ｉｆ　ＧｅｔＣｅｌ／ＤａｔａＥｘ（ｉｉ。ｉｙ）＝０　ｔｈｅｎ　Ｃｏｎｔｉｎｕｅ　ｅｌｓｅ　程序算法基本思路参照文献『２１，并对导人数据源进行调整，使其　更有利于进行挖掘。开发出来的程序Ｗｅｂｌ０ｇｄｉｇＰ界面如图１。　ｆｉ　ＡＢＳ（ＧｅｔＣｅｌ／ＤａｔａＥｘ（ｉｘ，ｉｙ）一Ｃ，ｅｔＣｄｌＤａｔａＥｘ（ｉｉ．ｉｙ））＜＝Ｖａｌｕｅ　ｔｈｅｎ　ｂ￣ｇｉｎ　ｆｉ　ｓＴｅｍｐ　”ｔｈｅｎ　ｓＴｅｍｐ．－　ｒ＋ＦＳｔｏｒａｇ￣ｉｘ］．ｓ乜ｉｎ　ｏ］；　ｓＴｅｍｐ｜－ｓＴｅｍｐ＋　＋ＦＳｔｏｒａｇｅ［ｉｌ］．Ｓ乜ｉｒ　ｇｓ【０Ｊ；　ｅｎｄ；　ｆｉ　ｓＴｅｍｐｏ”ｔｈｅｎ　ｓＴｅｍｐ｜＝ｓＴｅｍｐ＋１　ｆｉ　ｓＴｅｍｐ　ｏ”ｔｈｅｎ　Ｒ￣ｕｌｔ．Ａｄｄ（ｓＴｅｍｐ）；　，，页面聚类结果的表达　ｅｎｄ；　４．结束语　图ｌ程序Ｗｅ￣ｏｇｄｉｇＰ界面　本程序ＷｅｂｌｏｇｄｉｇＰ已经开发并运行通过，经测试，其结果　有较高准确性；同时由于是直接操作虚拟表，因而快捷方便，没　有占用不必要的内存空间；其矩阵都是根据需要而动态生成的，　这样有利于日后程序的扩展与改进。作者在此提出的实现方案　和实例是可行有效的，可供有兴趣的同行参考和借鉴。　参考文献：　１．Ｊｉａｗｅｉ　Ｈａｒｔ．Ｍｉｃｈｅｌｉｎｅ　Ｋａｍｂｅｒ．Ｄａｔａ　Ｍｉｎｉｎｇ　Ｃｏｎｃｅｐｔｓ　ａｎｄ　Ｔｅｃｈｎｉｑｕｅｓ　［Ｍ１．机械工业出版社．年　２．宋擒豹，沈钧敷．Ｗｅｂ日志的高效多能挖掘算法【ｑ．计算机研究与发　展．２００１．３　部分核心代码　本文程序设计和运行的软件环境：Ｗｉｎｄｏｗｓ　ＸＰ＋Ｄｅｌｐｈｉ　７。　①建立虚拟表查询代码：　ｔｂＦｌｉｔｓ表：ＳＥＬＥＣＴ　ＵＲＬ，ＵｓｅｒｌＤ，ＵＲＬＬｅｖｅＬ　Ｃｏｕｎｔ（＊）ＡＳ　Ｈｉｔｓ　ＦＲＯＭ　ｔｂＰｒｉｍ—　Ｄａｔａ　ＧＲＯＵＰ　ＢＹ　ＵｓｅｒＩＤ．ＵＲＬ，ＵＲＬＬｅｖｅｌ　ＯＲＤＥＲ　ＢＹ　ＵｓｅｒｌＤ。ＵＲＩＬ￣ｖｅＬ　Ｕ　ｔｂＵＲＬ表：ＳＥＬＥＣＴ　ＤＩＳＴＩＮＣＴ　ＵＲＬ　ＵＲＩＬ￣ｖｅｌ　ＦＲＯＭ　ｔｂＰｒｉｍＤａｔａ　ＯＲＤＥＲ　ＢＹ　ＵＲＬＬｅｖｅｉ；　３．Ｊ．Ｓｆｉｖｍｍｖ￣Ｐ．Ｃｏｏｌｅｙ，Ｍ．Ｄｅｓｈｐａｎｄｅ　ａｎｄ　Ｐ．Ｔａｎ，Ｗｅｂ　ｕｓａｇｅ　ｍｉｎｉｎｇ￣ｄｉｓ－　ｒａ￣ｏｌｘｓ，１（２）：１２－２３．２ｏｏＯ．　ｙ　ａｎｄ　ａｐｐｆｉｃａｆｉｏｍ　ｏｆ　ｕｓａｇｅ　ｐａｔｔｅｒｎｓ　ｆｒｏｍ　ｗｅｂ　ｄａｔａ．ＳＩＧＫＤＤＥｘｐＩｏ－　ｔｂＵｓｅｒ表：ＳＥＬＥＣＴ　ＤＩＳＴＩＮＣＴ　Ｕｓｅｒｍ　ＦＲＯＭ　ｔｂＰｒｉｍＤａｔａ　ＯＲＤＥＲ　ＢＹ　ＵｓｅｒＩＤ：　ｃｏｖｅｒ②用户群体聚类算法源程序如下：　ｆｕｎｃｔｉｏｎ＂／＇Ｍａｔｒｉｘ．ＧｅｔＵｓｅｒＡｇｇｚｅｇａｔｅＲｅｓｕｈ（＇Ｖａｌｕｅ：Ｉｎｔｅｇｅｒ）：ＴＳｕ－ｌｎｇｓ；　Ｖｍ＂　４．涂承胜，陆玉昌．Ｗｃｂ使用挖掘技术研究［Ｃ】．小型饭型计算机系统。　２００４，７　ｉｉ，ｉｘ，ｉｙ：Ｉｎｔｅｇｅｒ；，　５．Ｓｉｍｏｎ　Ｃｏｕｒｔｅｍｇｅ。Ｓｔｅｖｅｎ　Ｗｉｌｌｉａｒｍ．Ｓｅｍａｎｔｉｃ—Ｂａｓｅｄ　Ｍａｔｃｈｉｎｇ　ａｎｄ　Ｐｅｒ－　ｓＴｅｍｐ：ＴＳｔｒｉｎｇｓ；／／ＶＸ方便遍历所有组合存储　ｂｅ　ｓｏｎａｌｉｚａｔｉｏｎ　ｉｎ　ＦＷＥＢ。ａ—Ｐｕｂｌｉｓｈ　Ｓｕｂｓｃｒｉｂｅ－Ｂａｓｅｄ　Ｗｅｂ［ＣＪ．Ｐｕｂｌｉｓｈ　Ｓｕｂ－　ｓｃｒｉｂｅ－Ｂａｓｅｄ　Ｗｅｂ．２Ｏｏ５．１Ｏ　（上接第１９页）　ｅｌｓｅ　修改新插入页面的访同时问：，，介于ｕｙ和ｕｙ＋ｌ的访问时阃　ｙ＝ｙ“一Ｉ叶ｌ；Ⅳ跳过新插入的页面　ｘ＋＋：　ｌｉＨ　增加会话　ｓｉ＝＜（ｕｒｌｋ．ｔｉｍｅｋ）＞；　ｔ０＝ｔｉｍｅ．ｋ；Ｊ　Ｊ　Ｊ　Ｊ　３．４路径补全　设有某用户会话访问序列为Ｕ＝｛（Ａ，一），（ＢＡ），（Ｃ，Ｂ）（Ｄ，Ｂ）　，　由于本地缓存和代理服务器缓存的存在．使得Ｗｅｂ服务器　Ｄ），（Ｆ，ＥＸＧ，Ｄ）｝，则按上述算法得到经路径补全后的用户会话序列　日志可能遗漏一些重要的页面请求．如最常见的一种利用”后　Ｕｎｅｗ＝｛（Ａ，一），（Ｂ，Ａ），（ｃ，Ｂ），（Ｂ，Ａ），（Ｉ），Ｂ），　，Ｄ），　Ｅ），　，Ｄ），（Ｄ，Ｂ）＇（Ｇ’Ｄ）｝。　退”按钮进行后退来进行缓存页面的读取　４．结束语　设当前页为Ｕｎ，其参引页为ＰＩｌ，后续页为Ｕｎ＋１，针对前面　随着网络的应用与普及．Ｗｅｂ日志挖掘已成为一个研究的　确定的每一个用户会话，根据参引页面实现Ｗｅｂ日志的用户访　热点。本文论述了Ｗｅｂ日志挖掘数据预处理的过程．给出了用　问序列路径补全规则描述为：如果Ｐｎ＋Ｉ＜￣Ｕｎ．但有Ｕｋ：Ｐｎ＋ｌ　户识别、会话识别和路径补全算法的一种简单有效实现。数据预　（１＜＝ｋ＜ｎ），则将Ｕｋ—Ｕｎ—ｌ反序插入Ｕｎ和Ｕｎ＋ｌ之间．得到Ｕｌ…　处理作为Ｗｅｂ日志挖掘重要且关键的一步．笔者还将作进一步　ＵｎＵｎ—ｌ…ＵｋＵｎ＋ｌ。其算法描述如下：　的研究与实践，并在此基础上进行挖掘算法实施和模式分析。　悛Ｕ为包含ｎ个页面的用户会话，ＩＩｘ为Ｕ中第ｘ个页面的ＵＲＬ，Ｄｘ为Ｕ　中第ｚ个页面的参引页ｐｕｒｌ　Ｕ＝“ｕ１．ｐ１），　ｐ２）。…（ｍ　ｐｎ）Ｊ；　．　Ｕｎｅｗ＝Ｕ＇ＪａＪｎｅｗ为存放路径补全后用户会话的页面序列　ｚ＝１：／／ｘ为Ｕ的指针　ｙ＝ｌ；　为Ｕｎｅｗ的指针　参考文献：　１．张小娣２０ｏ６．１７　一种改进的Ｗｅｂ日志挖掘预处理方法计算机工程与应用　２．陆丽■。等Ｗｅｂ日志挖掘中的数据预处理的研究　２０ｏ０．４　计算机工程　ｅ（（Ｉ＋１　＝ｎ）　Ｉｆｉ　６Ⅱ＋１＝　ｑ）ｃ『后一页的参引页面是前一页　ＩＩ＋＋；　处理下一页　３．王岚，等ｗｃｂ日志挖掘的预处理及路径补全算法的研究截电子擘　与计算机２００６．２３　４．侯亚丽，等Ｗｅｂ日志挖掘中的敷据预处理技术河北大学学报（自然　科学版）２ｏｏ５．３　５．朱明壕著敷据挖掘中国科学技术大学出版社　ｙ¨：ｌ　ｅｌｓｅ　Ｉ按Ｉｕｌｔ－－－　【一ｌｌ反序方式找等于ｐｘ＋ｌ的ｕｍＪ／ｌ＜－－－ｍ＜＝ｘ一１　Ｈｕｍ定能找到．因会话Ｕ已经过前面的用户识别处理　将ｕ￣ｕｍ＋ｌ９－－－，ＩｌＩ—ｌ反序插人到Ｕｎｅ－的ｕｙ和ｕｙ＋ｌ之间；