挖掘技术论文例1

随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（DataMining）技术由此应运而生。

一、数据挖掘的定义

数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。

二、数据挖掘的方法

1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。

2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。

3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。

4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。

5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。

6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。

7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。

8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。

事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。

三、结束语

挖掘技术论文例2

数据挖掘（Data Mining）是一项较新的数据库技术，它基于由日常积累的大量数据所构成的数据库，从中发现潜在的、有价值的信息——称为知识，用于支持决策。数据挖掘是一项数据库应用技术，本文首先对数据挖掘进行概述，阐明什么是数据挖掘，数据挖掘的技术是什么，然后介绍数据挖掘的常用技术，数据挖掘的主要过程, 如何进行数据挖掘,主要应用领域以及国内外现状分析。

一. 研究背景及意义

近十几年来，随着数据库系统的广泛流行以及计算机技术的快速发展，人们利用信息技术生产和搜集数据的能力大幅度提高。千万个数据库被用于商业管理、政府办公、科学研究和工程开发等，特别是网络系统的流行，使得信息爆炸性增长。这一趋势将持续发展下去。大量信息在给人们带来方便的同时也带来了一大堆的问题：第一是信息过量，难以消化；第二是信息真假难以辨认；第三是信息安全难以保证；第四是信息形式不一致，难以统一处理。面对这种状况，一个新的挑战被提出来：如何才能不被信息的大海所淹没，从中及时发现有用的知识，提高信息利用率呢？这时出现了新的技术——数据挖掘（Data Mining）技术便应用而生了。

面对海量的存储数据，如何从中发现有价值的信息或知识，成为一项非常艰巨的任务。数据挖掘就是为迎合这种要求而产生并迅速发展起来的。数据挖掘研究的目的主要是发现知识、使数据可视化、纠正数据。

二. 概述

1，数据挖掘

数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这些数据可以是结构化的,如关系数据库中的数据，也可以是半结构化的，如文本，图形，图像数据，甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的，可以是演绎的，也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以进行

数据自身的维护。数据挖掘借助了多年来数理统计技术和人工智能以及知识工程等领域的研究成果构建自己的理论体系，是一个交叉学科领域，可以集成数据数据库、人工智能、数理统计、可视化、并行计算等技术。 2，数据挖掘技术

数据挖掘就是对观测到的数据集进行分析，目的是发现未知的关系和以数据拥有者可以理解并对其有价值的新颖方式来总结数据。它利用各种分析方法和分析工具在大规模海量数据中建立模型和发现数据间关系的过程，这些模型和关系可以用来做出决策和预测。

数据挖掘的过程就是知识发现的过程，其所能发现的知识有如下几种：广义型知识，反映同类事物共同性质的知识；特征型知识，反映事物各方面的特征知识；差异型知识，反映不同事物之间属性差别的知识；关联型知识，反映事物之间依赖或关联的知识；预测型知识，根据历史的和当前的数据推测未来数据；偏离型知识，揭示事物偏离常规的异常现象。所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不同用户、不同层次决策的需要。

数据挖掘是涉及数据库、人工智能、数理统计、机械学、人工神经网络、可视化、并行计算等的交叉学科，是目前国际上数据库和决策支持领域的最前沿的研究方向之一。

3，数据挖掘的功能

数据挖掘通过预测未来趋势及行为，做出预测性的、基于知识的决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，按其功能可分为以 下几类。

3.1 关联分析（Association Analysis）

关联分析能寻找到数据库中大量数据的相关联系，常用的一种技术为关联规则和序列模式。关联规则是发现一个事物与其他事物间的相互关联性或相互依赖性。

3.2 聚类

输入的数据并无任何类型标记，聚类就是按一定的规则将数据划分为合理的集合，即将对象分组为多个类或簇，使得在同一个簇中的对象之间具有较高的相似度，而在不同簇中的对象差别很大。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。

3.3 自动预测趋势和行为

数据挖掘自动在大型数据库中进行分类和预测，寻找预测性信息，自动地提出描述重要数据类的模型或预测未来的数据趋势，这样以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。。

3.4 概念描述

对于数据库中庞杂的数据，人们期望以简洁的描述形式来描述汇集的数据集。概念描述就是对某类对象的内涵进行描述并概括出这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。生成一个类的特征性只涉及该类对象中所有对象的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。

3.5 偏差检测

数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是寻找观测结果与参照值之间有意义的差别。这常用于金融银行业中检测欺诈行为，或市场分析中分析特殊消费者的消费习惯。

三．目前的研究现状及存在的主要问题

自KDD一词首次出现在1989年8月举行的第11届国际联合人工智能学术会议以来。迄今为止,由美国人工智能协会主办的KDD国际研讨会已经召开了13次,规模由原来的专题讨论会发展到国际学术大会,人数由二三十人到超过千人,论文收录数量也迅速增加,研究重点也从发现方法逐渐转向系统应用直到转向大规模综合系统的开发,并且注重多种发现策略和技术的集成,以及多种学科之间的相互渗透。其他内容的专题会议也把数据挖掘和知识发现列为议题之一,成为当前计算机科学界的一大热点。

与国外相比，国内对DMKD的研究稍晚，没有形成整体力量。1993年国家自然科学基金首次支持我们对该领域的研究项目。目前，国内的许多科研单位和高等院校竞相开展知识发现的基础理论及其应用研究，这些单位包括清华大学、中科院计算技术研究所、空军第三研究所、海军装备论证中心等。其中，北京系统工程

研究所对模糊方法在知识发现中的应用进行了较深入的研究，北京大学也在开展对数据立方体代数的研究，华中理工大学、复旦大学、浙江大学、中国科技大学、中科院数学研究所、吉林大学等单位开展了对关联规则开采算法的优化和改造；南京大学、四川联合大学和上海交通大学等单位探讨、研究了非结构化数据的知识发现以及Web数据挖掘。

四. 研究内容

1，数据挖掘的过程

数据挖掘是指一个完整的过程，该过程从大型数据库中挖掘先前未知的、有效的、可实用的信息，并使用这些信息做出决策或丰富知识。

数据挖掘的一般过程如下流程图所示：

图1，数据掘的一般过程

2.1 神经网络

神经网络方法是模拟人脑神经元结构，以MP模型和Hebb学习规则为基础。它主要有三种神经网络模型：前馈式网络、反馈式网络、自组织网络。为

2.2决策树

决策树学习着眼于从一组无次序、无规则的事中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较并根据不同的属性值判断从该结点向下的分支，在决策树的叶结点得到结论。

2.3 遗传算法

遗传算法是一种优化技术，是模拟生物进化过程的算法。基于进化理论，并采用遗传结合、遗传变异以及自然选择等设计方法。由三个基本算子组成：繁殖、交叉、变异。

2.4 传统统计分析

这类技术建立在传统的数理统计的基础上。在数据库字段项之间存在两种关系：函数关系（能用函数公式表示的确定性关系）和相关关系（不能用函数公式表示，但仍是相关确定性关系），对它们的分析可采用判别分析、因子分析、相关分析、多元回归分析及偏最小二乘回归方法等。

2.5 关联规则

关联规则是发现一个事物与其他事物间的相互关联性或相互依赖性。关联规则是展示属性: 值频繁地在给定数据集中一起出现的条件，是数据挖掘中作用比较广泛的知识之一。

2.6 可视化技术

可视化技术是利用计算机图形学和图像技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。可视化数据挖掘技术将可视化有机地融合到数据挖掘之中，使用户对于数据挖掘有一个更加直接直观清晰的了解，提供让用户有效、主动参与数据挖掘过程的方法。

3，数据挖掘的应用领域

数据挖掘技术从一开始就是面向应用的。它不仅是面向特定数据库的简单检索查询调用，而且要对这些数据进行微观、中观乃至宏观的统计，分析，综合和推理，以指导实际问题的求解，企图发现事件间的相互关联，甚至利用已有的数据对未来的活动进行预测。

一般Data Mining较长被应用的领域包括金融业、保险业、零售业、直效行销业、通讯业、制造业以及医疗服务业等。更广义的说法是：数据挖掘意味着在一些事实或观察数据的集合中寻找模式的决策支持过程。

4，数据挖掘的发展方向

目前，数据挖掘的研究方面主要有：数据库知识发现方面，将知识发现（KDD）与数据库系统、数据仓库系统和Web数据库系统紧密结合，力图充分利用Web中的丰富资源；机器学习方面，进一步研究知识发现方法，希望克服现存算法的计算性瓶颈，如注重对Bayes（贝叶斯）方法以及Boosting算法的研究和提高；统计领域，加大传统统计方法在数据挖掘中的应用。数据挖掘研究正蓬勃开展，在今后还会掀起更大的波澜，其研究焦点集中到以下几个方面：研究专门用于知识发现的数据挖掘语言，也许会像SQL语言一样走向形式化和标准化；寻求数据挖掘过程中的可视化方法，使得知识发现的过程能够被用户理解，也便于在知识发现过程中的人机交互；研究在网络环境下的数据挖掘技术，特别是在Internet上建立数据挖掘服务器，与数据库服务器配合，实现数据挖掘；加强对各种非结构化数据的挖掘，如文本数据、图形图像数据、多媒体数据。

5，数据挖掘的新技术

Web数据挖掘技术首要解决半结构化数据源模型和半结构化数据模型的查询与集成问题。这就必须要有一个模型来清晰地描述Web上的数据，而寻找一个半结构化的数据模型是解决问题的关键所在。除此之外，还需要一种半结构化模型抽取技术，即自动地从现有数据中抽取半结构化模型的技术。

XML可看作一种半结构化的数据模型，可以很容易地将XML的文档描述与关系数据库中的属性对应起来，实施精确地查询与模型抽取。利用XML.Web设计人员不仅能创建文字和图形，而且还能构建文档类型定义的多层次、相互依存的系统、数据树、元数据、超链接结构和样式表。

6，数据挖掘面临的问题和挑战

虽然数据挖掘技术已经在各方面都得到了广泛的应用，但数据挖掘技术的研究还不够成熟，在应用上有很大的局限性。正是这些局限性，促使数据挖掘技术进一步的发展：

（1）挖掘的对象 数据库更大，维数更高，属性之间更复杂，数据挖掘处理的数据通常十分巨大。

（2）数据丢失问题 因大部分数据库不是为知识发现而定做的，那么它就有可能会存在一些重要的数据和属性丢失的问题。

（3）多种形式的输入数据 目前数据挖掘工具能处理的数据形式有限，一般只能处理数值型的结构化数据。

（4）网络与分布式环境的KDD问题 随网络的发展，资源的丰富，技术人员各自独立处理分离数据库的工作方式应是可协作的。

五.研究达到的预期结果

系统的介绍数据挖掘技术，使更多的研究人员在数据库中发现有用的，有潜在价值的数据知识。

六.小结

通过各方面资料的查找，理解了基本的数据挖掘概念、数据挖掘技术、数据挖掘的实际应用及国内外现状。在论文中将对数据挖掘的概念以及发展概况进行介绍，并总结数据挖掘中使用的技术，主要结合当前的研究成果，分析了数据挖掘领域的。研究领域方面,可能主要集中在网络信息中的主要应用。

七.毕业论文进程安排

序号 论文各阶段安排内容 日期

1 资料调研及方案设计 1.4-1.10

2 数据挖掘的概论研究 1.11-1.25

4 数据挖掘常用技术研究 1.26-2.15

5 数据挖掘的应用研究 2.15-3.1（中期检查）

6 数据挖掘的新技术研究 3.1-3.10

7 数据挖掘的发展方向 3.11-3.16

挖掘技术论文例3

二、Web数据挖掘技术的工作流程

Web数据挖掘技术的主要工作流程可以分为以下几个步骤：第一步，确立目标样本，这一步是用户选取目标文本，以此来作为提取用户的特征信息；第二步，提取特征信息，这一步就是根据第一步得到的目标样本的词频分布，从现有的统计词典中获取所要挖掘的目标的特征向量，并计算出其相应的权值；第三步，从网络上获取信息，这一步是利用通过搜索引擎站点选择采集站点，然后通过Robot程序采集静态的Web页面，最后再获取这些被访问站点的网络数据库中的动态信息，然后生成WWW资源库索引；第四步，进行信息特征匹配，通过提取源信息的特征向量，去和目标样本的特征向量进行匹配，最后将符合阈值条件的信息返回个用户。

三、Web数据挖掘技术在高校数字图书馆中的应用

高校数字图书馆为师生主要提供以下功能：查找图书、期刊论文、会议文献等数字资源；图书借阅、归还等服务；图书信息、管理制度；导航到图书光盘、视频资源等数据库系统。师生时常登录到网站中查找其需要的信息，根据师生所学专业、研究方向不同，关注目标也不同。通常这类师生会到常用的图书馆网站上，查找自己所需要的特定领域的资源；浏览一下有哪些内容发生变化，是否有新知识增加，而且所有改变常常是用户所关注的内容；另外，当目标网页所在的位置有所改变或这个网站的组织结构、层次关系有所变动时，所有这些问题只要稍加改动，容易使用户难以找到所需内容。本课题采用Web挖掘技术与搜索技术相结合。首先允许用户对感兴趣的内容进行定制，构造数据挖掘的先验知识，然后通过构造浏览器插件，捕获用户在浏览器上的行为数据，采用Web数据挖掘的方法，深入分析用户的浏览行为数据，获得用户的信息资料集，最终为用户提供不同的个性化服务页面，并提供用户对站内信息进行搜索功能，同时可以满足师生对于图书馆资源进行查找访问的需求，实现高校图书馆网站资源真正意义上的个性化服务。

1、为开发网络信息资源提供了工具

数字图书馆需要的是一种可以有效的将信息进行组织管理，同时还能够对信息进行深层的加工管理，提供多层次的、智能化的信息服务和全方位的知识服务，提供经过加工、分析综合等处理的高附加值的信息产品和知识产品的工具。目前许多高校数字图书馆的查询手段还只局限于一些基本的数据操作，对数据只能进行初步的加工，不具有从这些数据中归纳出所隐含的有用信息的功能，也使得这些信息不为人知，从而得不到更好的使用，这些都是对网络信息资源的一种浪费。而通过Web数据挖掘技术科研有效的解决这一问题。这种技术可以用于挖掘文档的隐含的有用的内容，或者可以在其他工具搜索的基础上进一步进行处理，得到更为有用和精确的信息。通过Web数据挖掘技术科研对数字图书关注中的信息进行更加有效地整合。

2、为以用户为中心的服务提供帮助

通过浏览器访问数字图书馆后，可被记载下来的数据有两类，一类是用户信息，另一类是用户访问记录。其中用户信息包括了用户名，用户访问IP地址，用户的职业、年龄、爱好等。用户名师用户登录图书馆时输入，用户访问IP地址通过程序获得，其他的信息都是用户在注册时所填写的，访问记录则是在用户登录时所记录的，也是由程序获得。对这些用户信息进行分析可以更加有效的了解用户的需求通过分析服务器中用户请求失败的数据，结合聚集算法，可以发现信息资源的缺漏，从而指导对信息资源采集的改进，让高校数字图书馆的信息资源体系建设的更加合理。对数字图书馆系统的在线调查、留言簿、荐书条等的数据进行收集整理，并使之转化为标准的结构化数据库，然后在通过数据挖掘，皆可以发现用户所感兴趣的模式，同时还可以预先发现用户群体兴趣的变迁，调整馆藏方向，提前做好信息资源的采集计划。通过Web数据挖掘，可以对用户的信息需求和行为规律进行总结，从而为优化网络站点的结构提供参考，还可以适当各种资源的配置更加的合理，让用户可以用更少的时间找到自己所需要的资源。例如可以通过路径分析模式采掘捕捉确定用户频繁浏览访问的路径，调整站点结构，并在适当处加上广告或荐书条。

3、Web数据挖掘技术在图书馆采访工作中的应用

在图书馆的工作中有一步十分的重要，这就是采访工作，采访工作的做的好坏程度会直接的对图书馆的服务质量产生影响。通常情况图书馆的工作人员会根据图书馆的性质、服务对象及其任务来决定采访的内容。但是这种采访局限性很大，很多时候会受采访人员的主观意识的影响，同时这种方式也会显得死板不灵活。很多时候会出现应该购进的文献没有买，不应该买的文献却买了很多等与读者的需求不符的现象。这些现象的产生都是因为缺乏对读者需求的了解和分析。要解决这些问题就必须对读者的需求进行全面的了解和分析，而Web数据挖掘则为解决该问题提供了一种较好的方法。通过对各种日志文件和采访时获得的数据进行分析，可以很清楚的得到读者需要的是什么样的书籍、不需要的又是什么样的书籍，从而为采购提供各种科学合理的分析报告和预测报告。根据对分析还能帮组图书馆管理人员确定各种所需书籍的比例，从而确定哪些文献应该及时的进行补充，哪些文献应该进行剔除，对馆藏机构进行优化，真正的为高校里的师生提供所需要的文献和资料。

4、使用Web数据挖掘技术提供个性化服务

挖掘技术论文例4

[摘 要] 本文从反倾销预警内涵入手，指出其核心所在，并在此基础上，较为详尽地论述了如何运用数据挖掘技术对无序的和表层的反倾销预警构成数据进行运算与推断，旨在为国家有关部门构建反倾销预警系统提供一种新思路。 【论文关键词】 反倾销；预警系统；数据挖掘 近20年来，经济全球化使世界各国、各地区之间经济相互依赖程度日益加深，贸易保护主义抬头，贸易纷争日益激烈，作为GATT/WTO法律体系重要组成部分的反倾销规则，正在为世贸组织各成员越来越频繁地使用。中国作为世界上最大的发展中国家和主要贸易大国，从1995年至今，己经连续12年成为遭受反倾销最多的国家，见表。 面对国外接踵而来的反倾销，建立出口预警机制，即利用数据挖掘技术将具体商品和市场进行分级分类，提出分级预警防范和应对措施，以引导企业有序出口，是应对来自国外反倾销的当务之急。 一、 反倾销预警 目前，国内对反倾销预警有两种理解。一种是以进口国为发起方，将“反倾销预警”理解为反对别国在本国倾销的预警；另一种是以出口国为发起方，将“反倾销预警”理解为对别国向本国发起的反倾销的预警。前后二者实施主体可能同一，但扮演的角色却不同。本文将站在出口国的角度给予研判。即我们认为，反倾销预警是指一国以出口国的身份，以WTO相关规则和出口国家相关法律、法规为依据，运用经济学原理、研究方法和信息技术手段，通过采集各国海关数据、政府或行业协会发展预测数据，跟踪各国各类贸易救济措施潜在信息，向本国政府、企业、行业协会和专业服务机构提供预警服务，包括国内产业产销量、产能变化、技术进步及生产企业生产经营状况变化信息，国内市场价格信息、本国出口到各国产品数量和价格走势、产品倾销幅度、产业损害程度等，通过对国内产品整体出口情况进行监控，及时发现和制止不正当出口竞争，为避免遭受国外反倾销等指控提供支撑。 基于上述分析，不难看出，反倾销预警的核心在于能否通过对重点、敏感产品的出口数量、价格以及国外同类产品生产经营情况等重要参数变化的监测，准确地研判出对进口方产业的影响，以及其受到实质性损害(威胁)程度或阻碍产业建立程度的预警信息。 二、数据挖掘技术 数据挖掘(Data mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。挖掘出的知识通常被表示为概念、规则、规律、模式、约束或可视化等形式，用以辅助决策过程或修正已有的知识体系。 1.数据挖掘的功能 数据挖掘的功能常分可成5类：关联分析、概括分析、分类分析、聚类分析、预测与评价。(1)关联分析，即利用关联规则进行数据挖掘。分析表面上不相关数据之间的内在联系，揭示各事件之间的依赖性和相关性，分析范围包括简单关联、因果关联等。(2)概括分析，即提取数据库中指定的数据集合的一般特性，找出普遍性规律。(3)分类分析，设置分类规则，把各个事务或实体按照性质和特征的不同进行归类训练，把数据层次化和规整化，从而建立数据的分类模型，对于没有分类的数据进行分类。(4)聚类分析，聚类是对记录分组，把相似的记录归在一个聚集里，是通过分析和归纳实体之间的特征差异，选出具有相同特征的实体聚合成为一个类，并用某种规则来描述该类的相同属性，形成一种聚类规则。(5)预测与评价，对历史数据进行综合分析和归纳，推理出数据分布的时效性和规律性，从而对未来事件发展的趋势和结果进行预测和评估，这种预测是需要时间来验证的。 2.数据挖掘的过程 数据挖掘一般由三个阶段组成：数据准备、数据挖掘、结果的表达和验证。数据准备是指先明确数据挖掘的对象和商业应用主题，再针对商业主题收集数据源，并对数据做整理和转换等技术处理，最后装进数据仓库。数据挖掘是创建正确的数据挖掘模型，并选择合适的挖掘算法，从数据集合中析取有价值的商业知识，例如商业规则、营销模式、带来最多利润的顾客群分布模型、顾客购买的商品之间的关联程度等等。结果的表达和验证是在原始数据经过挖掘算法处理之后，将产生一系列有价值的结果，必须用简单易懂的语言或图表把它表达出来，并集成到 电子商务中心，融合专家知识与领域规则，为商业活动提供决策支持，并在商业实践中来检验它。 3.数据挖掘的方法 数据挖掘的方法，可粗分为：统计方法、机器学习方法、神经网络方法和数据库方法。统计方法可细分为：回归分析、判别分析、聚类分析、探索性分析以及模糊集、粗糙集、支持向量集等。机器学习可细分为：归纳学习方法、基于范例的推理CBR、遗传算法、贝叶斯信念网络等。神经网络方法可细分为：前向神经网络、自组织神经网络等。其中，模糊和粗糙集方法已经被广泛地应用在各行业中了。如：用基于粗糙集——主成分分析方法进行企业创新能力评价，用模糊逻辑规则进行企业生产决策，用模糊算法进行供应链合作伙伴的选择，利用遗传算法实现客户关系的管理，等等。 三、数据挖掘技术在反倾销预警系统中的应用 在反倾销预警系统中的数据挖掘就是从大量的有关产业出口企业资料信息库以及Web的数据中，收集产品的出口数量、价格以及国外同类产品生产经营情况、产业政策等重要参数变化信息，然后借助各种分析方法，透过无序的、表层的信息挖出内在的知识和规律，系统就可以根据这些规律或用这些信息设计数学模型，对未发生行为做出结果分析和预测，并及时给相关企业，从而为企业的综合经营决策、市场策划提供依据。具体来说，就是根据WTO《反倾销协议》对倾销的认定条件规定，运用数据挖掘技术对无序的和表层的反倾销预警构成数据，进行运算与推断，研判出口价格、出口数量及增率是否正常，对进口国有无实质性损害或损害威胁，甚至阻碍其产业建立。因此，数据挖掘技术在反倾销预警系统中的应用具体反映在数据挖掘技术在出口产品价格动态分析预警系统、出口产品数量动态分析预警系统以及损害动态分析预警系统等三个预警系统中的应用。 1.出口产品价格动态分析预警系统 根据WTO《反倾销协议》对倾销的认定条件规定，产品以低于正常价值向另一国销售，即存在倾销产品。因此，出口产品价格动态分析预警系统主要功能是通过产品价格监控系统，动态跟踪出口产品价格，并根据正常价格，检测其波动幅度，进而预测产品出口价格是否正常。为此，其程序设计的基本思路是：根据出口产品的正常价值(成本+合理费用+合理利润)并结合进口国对该产品反倾销的历史数据确定出该产品正常区间值[a，b]，即“绿色安全区域”。如果出口产品价格低于“绿色安全区域”上限a这一阀值，一旦出口数量增长超过一定量，随时将可能会被进口国厂商或政府提起反倾销诉讼。此时，系统会给出预警，并根据其差距给出不同信号。如处于[0.85a，a]区间，则给出“黄色”信号。该数值范围就是“黄色反倾销区域”；处于[0.65a，0.85a]区间，则给出“橙色”信号。该数值范围就是“橙色反倾销区域”；处于[0，0.65a]区间，则给出“红色”信号。该数值范围就是“红色反倾销区域”。无论何种预警信号出现，行业协会应对出口该产品的企业进行有关信息通报，以便企业作出合理的决策；当预警信号处于“橙色”以上，行业协会必须出面协调相关出口企业，对出口到该国产品进行一定的限制，否则出口企业将会招致被诉“倾销”，如图所示。如果出口产品价格高于“绿色安全区域”下限b这一阀值，预示着该产品出口价格相对过高，即意味着在某一国外市场上本国还有降价销售空间。 通过上述分析，不难看出，出口价格的确定十分关键。然而，出口产品价格的确定相当复杂，各个国家规定的确定方法也不相同。所以，这方面的数据构成应当严格根据本国和它国的相关规定，确定数据的考虑范围和内容。常通过收集大量国内外的同行业、相同产品的时点价格动态信息及综合性价格信息，建立起产品价格监控系统。即可以通过运用数据挖掘的概念描述，从出口反倾销数据信息系统(海关报关系统)中选定特定行业及其中某一产品，并运用分类分析法和聚类分析法从中析取该类产品单个企业出口时点价格动态信息及综合性价格信息，全国出口平均时点价格动态信息及综合性价格信息，进口国的时点价格动态信息及综合性价格信息，其他国家出口到该进口国的时点价格动态信息及综合性价格信息等。在对以上数据进行分类和聚类的基础上，确定出正常的价值，并运用偏差检测法计算产 品价格偏差度。 2.出口产品数量动态分析预警系统 根据WTO《反倾销协议》对倾销的认定条件规定，销售量在一段时间内猛增是裁定某类产品是否构成倾销的条件之一。因此，必须构建出口产品数量动态分析预警系统，用以动态跟踪出口产品数量及其变化，并根据反倾销历史数据研判其增幅是否正常。其工作原理是：通过数据挖掘技术中的概念描述，从出口反倾销数据信息系统(海关报关系统)中选定特定行业及其中某一产品，并运用分类分析法和聚类分析法从中析取该类产品出口地、出口的数量、在进口国所占的市场份额等相关的时点数据及综合性数据、进口国相同产品的国内生产量、国内产品销售量或市场份额及其他国家在该国同类产品的出口数量等相关的时点数据及综合性数据等信息到出口产品数量监控系统中。系统再定时调用相应模型，通过汇总、分类等方法对本国企业出口产品数量信息库中的出口到同一国家的商品数据进行动态分析、比较，并结合反倾销历史数据，按一定规律将本国出口到它国商品数量区分为红、黄、绿三个区域。其中：(1)“绿色安全区域”，表示出口产品数量及其变化处于正常值的范围，也意味着在某一国外市场上本国还有出口空间。(2)“红色反倾销区域”，则表示出口产品在进口国的出口销售量及市场占有率达到一般会被进口国厂商或政府提起反倾销诉讼的范围。一旦出口产品价格低于正常的价格，即随时会被外国政府反倾销。行业协会必须对相关出口企业出口该产品数量进行协调，对出口到该国产品的出口价格进行一定的限制，否则出口企业将会招致被诉“倾销”。(3)“黄色警示区域”，则处于“绿色安全区域”和“红色反倾销区域”之间，表示产品出口量或增量已超过正常值的范围，可能会导致国外政府反倾销。此时，行业协会必须对出口该产品的企业进行有关信息通报，以便企业作出合理的决策。 3.损害动态分析预警系统 根据世贸组织的规定，确定实质性损害威胁有以下几个条件：(1)倾销进口产品以极大的增长速度进入进口国市场；(2)出口商有能力扩大生产、增加出口，或者出口商有大量库存产品可以出口；(3)倾销产品的出口价格是否会打击国内产品价格；(4)进口国尚有新的市场可以吸收扩大的倾销出口产品。所以，确定实质损害应考虑出口产品的数量对进口国相同产品价格和产品生产商造成的影响，它主要依赖于出口国产品倾销的输入量、倾销输入对价格的影响、对进口国同种产品国内生产价格的影响，但在规则中使用了模糊概念、倾销输入量有相当程度增加对进口国国内价格有相当程度压制等，使得损害的确定极具主观性。 由于损害的确定极具主观性，预警系统的设置应当经过系统全面的调查分析，设计出了一个完整的产业损害指标体系，可以用层次分析法同灰色评判模型，或者同模糊理论相结合，对产业损害程度进行综合考虑。同时根据行业和企业的特点选取不同的损害评价指标，确定出它们的权重。并运用经济学中的弹性概念确定倾销对国内产业的影响、运用单层次模糊综合评判方法进行损害分析，以提供预警依据。 四、结论 加入WTO后，我国出口产品越来越多地遭到反倾销调查和起诉。这些都是企业在决策时不得不面对的情况。在严峻的形势下，我们应当在构筑由政府、中介组织和企业共同组成的反倾销应诉体系的基础上， 立足于数据挖掘这一数据库和信息决策领域的理论前沿，通过构造更为先进的数据采集和处理模型，从多种信息源中提取出高质量的、及时的信息，建立一个完善、科学、准确的反倾销预警系统，以应对新时期市场对企业的挑战，为企业的战略决策提供有力的、科学的依据，保证企业的可持续和谐发展。

挖掘技术论文例5

2、纺织业电子商务面向Web挖掘的新型架构

2.1Web数据挖掘的流程

采用数据挖掘技术流程为特征信息的识别制定目标问题的描述关联分析聚类决策树等。纺织业电子商务网络在挖掘数据中首先需要记录调库眼特征，包括购买历史、广告历史等信息。目标制定流程是寻找不同的隐含模式，关联分析主要是发现顾客喜爱的商品组合，聚类则是找到能够提供访问者特征的报告，决策树就是流程图，采用最少的步骤解决问题。先记录访问者的条款特征，当访问者访问网站时能够逐渐积累访问者的数据，交互信息包括广告历史等。在网上进行交易的最大优点在于能够有效的评估访问者的反应，采用数据挖掘技术能够得到更好的效果。电子商务网站想要将顾客购买信息这些信息集中在一起，容易出现浏览中出现遗漏的情况，在流程设计中采用聚类，能够确定网站的数据，向不同的访问者提供相应的报告。

2.2纺织业电子商务面向Web挖掘的新型架构

2.2.1Web挖掘关键技术

Web服务的体系结构主要动作构成包括服务注册中心、服务请求者、服务提供者等，服务提供者就是一种可通过网络地址访问的实体，服务请求者是一个应用程序的服务，服务注册中心是联系服务提供者和请求者。Web服务协议可以分为网络传输层、消息层、模型层等。网络传输层是Web服务协议栈的基础，可以采用任何格式，要求具有安全性、性能以及可靠性。数据表示层主要是提供数据描述手段，标准数据建模语言主要是XML。基于XML的消息层提供一个松散的、分布环境，是在分布式的环境中交换信息的轻量级协议。服务描述层主要是提供认识机制，服务分线层在实现中创建一个独立的开放框架，发现Web服务的功能，Web服务工作流语言是协议栈顶层的标准语言。Web服务的关键技术主要包括SOAP协议、WSDL描述方式等，SOAP协议是分布式环境中交换信息的简单协议，能够与现有通信技术最大程度地兼容，独立于应用程度对象模型、语言和运行平台等，本身不定义任何应用语义，一个SOAP信息是一个XML文档，AOAP规范主要由信封、编码规则、绑定等组成，AOAP信封定义整体的消息表示框架。移动Agent技术应用到电子商务中有非常大的优势，移动Agent技术具有响应性、自主性以及主动性等特征，应用到电子商务系统中能够减少电子商务活动的通信代价，减少网上原始数据的流量。电子商务中的教育要求包括访问流程信息，要求系统对环境的变化做出实时的反应，由中央处理器将移动Agent派遣到系统局部点激活消除隐患。

2.2.2Web挖掘平台设计

产品的功能实现在Web数据挖掘平台的设计中至关重要，要求数据挖掘平台具有动态、可伸缩性，能够根据市场需求的变化而随之变化，还要求具有足够的稳定性和可靠性。在进行架构设计时，需要注意架构的合理性、简洁性和可扩展性。根据数据挖掘、Web服务和相关结束，设计数据挖掘架构，见图1所示，Web服务的组合由Agent负责，待返回结果后，能够有效解决数据的分布性、可扩展性等，负责服务之间的通信，降低网络通信的负担，减少相应时间，实现挖掘算法库的动态管理。在挖掘平台的设计中，各种挖掘算法均采用采用Web服务封装，实现挖掘系统与算法的耦合。各个Agent模块之间相互独立。架构逻辑层主要分为4层，数据存储层为最底层，数据处理层主要包括Web服务的架构和数据挖掘的是吸纳，在Agent环境中将XML文件转换，将查询结果再打包成XML文档，形成模式集合最后提供给客户信息，把访问层和逻辑层设计为数据访问的功能封装。客户端的设计主要包括胖客户端和瘦客户端，大部分的系统功能集中在胖客户端。典型的Agent结构应用到Web服务，其他的Agent搜寻和定位这些系统。移动Agent应用到Web数据挖掘中能够弥补很多的不足。在Web挖掘架构设计中，独立出了搜索引擎，使得搜索引擎更加具有灵活性。传统的数据挖掘引擎主要包括算法调用模块和算法管理模块等，算法分布Agent子模块股则命令的传输，向UDDI请求，删除已有的挖掘算法等功能，UDDI服务器与Agent相互交换信息生成算法的WSDL文档，将信息保存到UDDI服务器上，完成任务。

挖掘技术论文例6

Web使用的挖掘一般情况下指的是对web日志的挖掘。其挖掘的对象是用户与互联网交互过程中所抽取出来的各种信息，例如访问记录、用户名、用户注册信息以及用户所进行的操作等。在这一方面的研究已经比较成熟，同时也有很多较为成熟的产品例如NETPERCERPION公司的Netpercerptions，Accrue公司的AccrueInsight和AccrueHitList等都是技术较为成熟的产品。

二、Web数据挖掘技术的工作流程

Web数据挖掘技术的主要工作流程可以分为以下几个步骤：第一步，确立目标样本，这一步是用户选取目标文本，以此来作为提取用户的特征信息；第二步，提取特征信息，这一步就是根据第一步得到的目标样本的词频分布，从现有的统计词典中获取所要挖掘的目标的特征向量，并计算出其相应的权值；第三步，从网络上获取信息，这一步是利用通过搜索引擎站点选择采集站点，然后通过Robot程序采集静态的web页面，最后再获取这些被访问站点的网络数据库中的动态信息，然后生成www资源库索引；第四步，进行信息特征匹配，通过提取源信息的特征向量，去和目标样本的特征向量进行匹配，最后将符合阈值条件的信息返回个用户。

三、Web数据挖掘技术在高校数字图书馆中的应用

1、为开发网络信息资源提供了工具

数字图书馆需要的是一种可以有效的将信息进行组织管理，同时还能够对信息进行深层的加工管理，提供多层次的、智能化的信息服务和全方位的知识服务，提供经过加工、分析综合等处理的高附加值的信息产品和知识产品的工具。目前许多高校数字图书馆的查询手段还只局限于一些基本的数据操作，对数据只能进行初步的加工，不具有从这些数据中归纳出所隐含的有用信息的功能，也使得这些信息不为人知，从而得不到更好的使用，这些都是对网络信息资源的一种浪费。而通过web数据挖掘技术科研有效的解决这一问题。这种技术可以用于挖掘文档的隐含的有用的内容，或者可以在其他工具搜索的基础上进一步进行处理，得到更为有用和精确的信息。通过web数据挖掘技术科研对数字图书关注中的信息进行更加有效地整合。

2、为以用户为中心的服务提供帮助

通过浏览器访问数字图书馆后，可被记载下来的数据有两类，一类是用户信息，另一类是用户访问记录。其中用户信息包括了用户名，用户访问IP地址，用户的职业、年龄、爱好等。用户名师用户登录图书馆时输入，用户访问IP地址通过程序获得，其他的信息都是用户在注册时所填写的，访问记录则是在用户登录时所记录的，也是由程序获得。对这些用户信息进行分析可以更加有效的了解用户的需求通过分析服务器中用户请求失败的数据，结合聚集算法，可以发现信息资源的缺漏，从而指导对信息资源采集的改进，让高校数字图书馆的信息资源体系建设的更加合理。对数字图书馆系统的在线调查、留言簿、荐书条等的数据进行收集整理，并使之转化为标准的结构化数据库，然后在通过数据挖掘，皆可以发现用户所感兴趣的模式，同时还可以预先发现用户群体兴趣的变迁，调整馆藏方向，提前做好信息资源的采集计划。通过web数据挖掘，可以对用户的信息需求和行为规律进行总结，从而为优化网络站点的结构提供参考，还可以适当各种资源的配置更加的合理，让用户可以用更少的时间找到自己所需要的资源。例如可以通过路径分析模式采掘捕捉确定用户频繁浏览访问的路径，调整站点结构，并在适当处加上广告或荐书条。

3、web数据挖掘技术在图书馆采访工作中的应用

在图书馆的工作中有一步十分的重要，这就是采访工作，采访工作的做的好坏程度会直接的对图书馆的服务质量产生影响。通常情况图书馆的工作人员会根据图书馆的性质、服务对象及其任务来决定采访的内容。但是这种采访局限性很大，很多时候会受采访人员的主观意识的影响，同时这种方式也会显得死板不灵活。很多时候会出现应该购进的文献没有买，不应该买的文献却买了很多等与读者的需求不符的现象。这些现象的产生都是因为缺乏对读者需求的了解和分析。要解决这些问题就必须对读者的需求进行全面的了解和分析，而web数据挖掘则为解决该问题提供了一种较好的方法。通过对各种日志文件和采访时获得的数据进行分析，可以很清楚的得到读者需要的是什么样的书籍、不需要的又是什么样的书籍，从而为采购提供各种科学合理的分析报告和预测报告。根据对分析还能帮组图书馆管理人员确定各种所需书籍的比例，从而确定哪些文献应该及时的进行补充，哪些文献应该进行剔除，对馆藏机构进行优化，真正的为高校里的师生提供所需要的文献和资料。

4、使用web数据挖掘技术提供个性化服务

挖掘技术论文例7

随着科技的进步，现代挖掘机一般都采用了机电液一体化控制模式，我们在排除一些故障时，解决的多是发动机、液压泵、分配阀、外部负荷的匹配问题。一般在挖掘机作业中，这几方面不能匹配，经常会表现为：发动机转速下降，工作速度变慢，挖掘无力以及一些常见问题。

1发动机转速下降

首先要测试发动机本身输出功率，如果发动机输出功率低于额定功率，则产生故障的原因可能是燃油品质差、燃油压力低、气门间隙不对、发动机的某缸不工作、喷油定时有错、燃油量的调定值不对、进气系统漏气、制动器及其操纵杆有毛病和涡轮增压器积炭。如果发动机输出动力正常，就需要查看是否因为液压泵的流量和发动机的输出功率不匹配。

液压挖掘机在作业中速度与负载是成反比的，就是流量和泵的输出压力乘积是一个不变量，泵的输出功率恒定或近似恒定。如果泵控制系统出现了故障，就不能实现发动机、泵及阀在不同工况区域负荷优化匹配状态，挖掘机从而将不能正常工作。此类故障要先从电器系统入手，再检查液压系统，最后检查机械传动系统。

2工作速度变慢

挖掘机工作速度变慢主要原因是整机各部磨损造成发动机功率下降与液压系统内泄。挖掘机的液压泵为柱塞变量泵，工作一定时间后，泵内部液压元件（缸体、柱塞、配流盘、九孔板、龟背等）不可避免的产生过度磨损，会造成内漏，各参数据不协调，从而导致流量不足油温过高，工作速度缓慢。这时就需要整机大修，对磨损超限的零部件进行修复更换。

但若不是工作时间很长的挖掘机突然变慢，就需要检查以下几方面。先查电路保险丝是否断路或短路，再查先导压力是否正常，再看看伺服控制阀-伺服活塞是否卡死以及分配器合流是否故障等，最后将液压泵拆卸进行数据测量，确认挖机问题所在。

3挖掘机无力

挖掘无力是挖掘机典型故障之一。对于挖掘无力可分为两种情况：一种为挖掘无力，发动机不憋车，感觉负荷很轻；第二种为挖掘无力，当动臂或斗杆伸到底时，发动机严重憋车，甚至熄火。

①挖掘无力但发动机不憋车。挖掘力的大小由主泵输出压力决定，发动机是否憋车取决于油泵吸收转矩与发动机输出转矩间的关系。发动机不憋车说明油泵吸收转矩较小，发动机负荷轻。如果挖掘机的工作速度没有明显异常，则应重点检查主泵的最大输出压力即系统溢流压力。如果溢流压力测量值低于规定值，表明该机构液压回路的过载溢流阀设定值不正确，导致该机构过早溢流，工作无力。则可以通过转动调整螺丝来调整机器。②挖掘无力，发动机憋车。发动机憋车表明油泵的吸收转矩大于发动机输出转矩，致使发动机超载。这种故障应首先检查发动机速度传感系统是否正常，检查方法与前文所述发动机检查方法类似。经过以上细致的检查与排除故障，发动机速度传感系统恢复正常功能，发动机憋车现象消失，挖掘力就会恢复正常。

4挖掘作业过程中的常见故障

挖掘机在施工作业中经常出现的一些普遍的故障，如：挖机行走跑偏，原因可能为行走分配油封（又称中心回转接头油封）损坏；两个液压泵流量大小不一；一边行走马达有问题。液压缸快速下泄则可能为安全溢流阀封闭不严，或缸油封严重损坏等等。多智网校诚招全国各地市独家线下商，共同开发网上教育市场。多智教育()！

5挖掘机的日常保养

挖掘技术论文例8

中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2015）11-0000-00

随着我国网络技术的快速发展，大数据挖掘技术越来越成为影响影响网络信息发展的重要因素，而大数据挖掘技术的主要内容以及经常采用的主要方法直接影响了我国未来网络技术的发展方向。因此，这一技术的发展直接影响了网络的发展。本文从大数据挖掘技术的角度出发，研究大数据挖掘技术的应用情况。

1大数据挖掘技术的概念分析

大数据挖掘及时是KDD的一个重要的过程，这种技术是从许多数据中还有一些不完整的应用中，以及一些比较纯净的应用或者是模糊不清的应用中随机抽取出来的。这些抽取出来的数据都是潜在存在的，但是不为人所发现的信息内容。那么什么叫做KDD（Knowledge Discovery In Database）呢？KDD是发现知识的一个过程。

通常情况下，大数据挖掘系统主要包含七方面的内容：用户图形界面接口、模式评估、数据挖掘引擎、数据库或数据仓库服务器、数据基地、数据仓库以及知识储备库（如图1所示）。由图1可知，数据库还有数据仓库服务器有大量的信息和数据，这些数据对很多用户都有着吸引力。图1中的知识储存库是一个简单的应用，用这个知识储存库来进行知识的探索和评价，从而确定总体的模式是不是有意义。数据挖掘引擎是整个大数据挖掘系统中十分重要的组成内容。它能够对数据的特征、关联、类别、价值等进行分类。模式评估的主要功能是在对数据进行评价的同时还要和大数据挖掘技术相互联系，从而把大数据挖掘的技术全面的应用到系统中。模型的进口是用户图形界面的接口。能够方便使用者使用这一模型。并且利用大数据挖掘技术进行信息的查询和分析。

2大数据挖掘技术的应用与挑战

2.1挖掘对象

大数据的挖掘技术面对的主要对象为大的数据库。这样一来能够有效的进行信息的搜索和查询。

2.2大数据挖掘技术体现形式局限性

当前，大数据挖掘技术在处理数据以及信息的时候所使用的方法比较有限，具有一定的局限性。通常情况下，这种技术能够分析数值型的数据，数据内容比较简单，可是仍然不能够对文本文件、公式、图片等这种没有结构或者是无结构的数据形式开展数据挖掘的工作。

2.3使用人员参加的过程和相关领域的信息

通常情况下，大数据挖掘技术的过程常常要进行信息和数据的交流。当前，所实用的数据挖掘系统很难让使用者参与到信息以及数据的筛选过程中。使用人员自身的知识能力以及经验对挖掘的开展速度有着直接的影响。而且能够顺利的获取大量的利用度十分高的数据信息等。

2.4进行知识的表现和内容的解析

很多应用程序中主要的内容都是用户自己发现并分析出来的知识。这就需要大数据技术在挖掘信息的时候不但要有分析数字还有符号的能力还需要对图片、语言等理解分析的技术。

2.5帮助保护知识内容和信息的更新换代

伴随着知识量的增多，以往旧的知识会逐渐的失去自己的作用，被新的知识内容所取代。所以知识需要不断的保护和进行及时的更新换代。当前采取的主要更新知识的方法包括维护关联规则的增量算法等。

2.6支持局限性的系统发展

当前的大数据挖掘系统还不能够在广大的系统平台上进行推广使用。一些应用程序是应用在PC上面的，还有一些应用是针对大型的主机系统中的。除此之外，还有一些是专门针对用户的。

3结语

数据挖掘技术是近几年新产生的网络技术，可是它的广泛应用性受到了很多公司以及研究人员的喜爱。这些年来，伴随着时间的推移以及网络技术的不断发展大数据挖掘技术不断的被更新，开发，而且在金融、管理、教学等行业中都得到了广泛的应用。我相信随着网络技术的不断发展，大数据挖掘技术的应用面将会越来越广。

参考文献

[1]吕竹筠，张兴旺，李晨晖 等.信息资源管理与云服务融合的内涵即共性技术体系研究[J].情报理论与实践，2012，35（09）：26-32.

[2]《中国电子科学研究院学报》编辑部.大数据时代[J].中国电子科技研究院学报，2013（01）：41-43.

[3]淮晓永，熊范伦，赵星.一种基于粗集理论的增量式分类规则知识挖掘方法.南京大学学报（自然科学版，计算机专辑），2000，（11）：203～209.

挖掘技术论文例9

关键词： 数据挖掘技术；课程；教学

Key words: data mining technology；course；teaching

中图分类号：G642.0 文献标识码：A 文章编号：1006-4311（2011）25-0155-01

0 引言

数据挖掘技术是电子商务专业的一门重要专业课程，它是信息化时代对信息与数据管理的必然要求。一方面，在生产、生活和商业活动中，我们产生了海量的数据，这些数据有着不同的表现形式，如最常见的超市记录单、各种各样的公司或商业数据库，还包括音频、视频等；另一方面，我们需要从这些数据中寻求规律，对数据进行“挖掘”，使数据发挥更大的作用[1]。数据挖掘正是从大量的数据中提取出隐含的、以前不为人所知的、可信而有效的知识[2]。数据挖掘技术教学的目的就是要使学生掌握典型的数据挖掘技术，并能够运用数据挖掘技术解决实际问题，为今后运用数据挖掘技术解决实际问题打下扎实的基础。

1 数据挖掘技术课程特点

数据挖掘技术具有自己独特的课程特点：

1.1 新颖性 1995年，在加拿大召开了第一届知识发现和数据挖掘国际学术会议（International Conference on Knowledge Discovery and Data Mining），由于把数据库中的数据形象地比喻为“矿床”，“数据挖掘”一词很快流传开来[3]。数据挖掘的发展仅有10余年的时间，数据挖掘技术课程是一门新兴学科。

1.2 内容广 数据挖掘包括关联规则挖掘、分类规则挖掘、特征规则挖掘、时序规则挖掘、偏差规则挖掘、聚类规则挖掘和预测这七大任务，相应的，每种任务都有自己专门的挖掘技术[4]，如关联规则挖掘的典型技术为Apriori算法及其衍生技术，分类规则挖掘的典型技术为ID3或C4.5决策树算法及其改进算法等。

1.3 有深度 数据挖掘技术作为一门计算机与数据处理相结合的新兴学科，具有一定的难度。其中的任何一个技术都可以独立成篇，如粗糙集分类算法自原理至实例推广就是一门单独的课程；作为数据处理的重要内容，聚类算法同样可以独立成籍。

1.4 交叉性 诚如前面所述，数据挖掘技术有着广泛的支撑背景，既包括信息论方法和集合论方法等归纳学习类技术，又包括神经网络方法、遗传算法方法、蚁群算法等仿生物技术，还包括成熟的统计分析技术和模糊数学技术，此外还有公式发现类技术和可视化技术等。可以这样说，数据挖掘总是在广泛吸取其他各门学科的先进技术，并加以转化、发展的。

2 数据挖掘技术教学过程存在的问题剖析

数据挖掘技术作为一门新学科、新课程，发展迅速，但是其缺点也是不言而喻的，主要包括：

2.1 课程教材不统一 目前，数据挖掘技术的教材层出不穷，这些教材尽管总体涵盖内容相近，均自成体系，但是有的细节却并不一致，如多数教材主张采用E-R图进行数据仓库（数据挖掘通常总是与数据仓库连接在一起的）设计，但也有教材持反驳态度[3]；对数据仓库系统的体系结构说法也不尽一致，不同的教材给出不同的体系结构，有的甚至将数据结构等同于体系结构[5]。这主要是由于学科和课程的新颖性导致的，使得教材的编写多带有研究探索的性质，未能达成统一。

2.2 教学重点不统一 教材的不统一和学时的不统一（如有的院校是36课时，有的是48课时）导致教学重点也不统一，有的考虑到学生掌握知识的浅显性，将重点放在统计分析技术，而对神经网络技术和遗传算法技术等相对较难的技术一笔带过；有的则考虑到体系的完整性，对所有数据挖掘技术等同对待，均匀笔墨。

2.3 教学方式不统一 数据挖掘技术是一门实验技术较强的课程，但是有的教师在安排授课时，仅设置理论课时，没有实验课时；有的教师则将课程直接放在实验室来上，偏重于对学生实验技巧的掌握。当然，更多的是将实验课时与理论课时交错进行的。对实验安排的处理也不尽相同，有的分组进行，有的则由学生独立完成。

3 提高数据挖掘技术课程效果的对策建议

3.1 精心编排课程讲义 课程教材是授课的首要基础，一本好的教材不仅便于教师的备课、授课，更有利于学生的理解。当然，教材与课时、教学大纲有着密切关系，教师在选择教材时应充分考虑学生的学科基础、授课课时数、教学大纲规定的培养目标等各种因素，从大量层出不穷的教材中选择最理想的教材，适当的时候也可根据相关教材，整理一份恰当的讲义教材，组织学生使用。

3.2 合理安排教学内容 数据挖掘技术的教学内容应考到学科体系的完整性，既要为学生打牢理论基础，又要突出学生实践能力的培养。因此要以“掌握理论、强化应用、突出能力”作为数据挖掘技术课程的培养目标，通过精选具有充分代表性、源于实际问题的典型例题与案例，使它们能基本覆盖在实际中最常见的数据挖掘问题，在讲解这些从实践中抽取并经过精心改造和设计的例题和案例的过程中，逐步地建立起学生应该掌握的数据挖掘技术理论框架。

4 结束语

数据挖掘技术教学具有十分重要的现实意义，通过科学讲述数据挖掘技术，有助于培养学生对理论知识的现实应用转化能力，培养学生从现实世界出发提出问题、分析问题和解决问题的能力。数据挖掘技术的教学应以培养学生能力为主线，精心组织教学内容，有效采用多种方式，增进学生对知识的理解与掌握，显著提高教学效果与质量。

参考文献：

[1]陈文伟.数据仓库与数据挖掘教程[M].北京:清华大学出版社，2006.

[2]Jiawei Han，Micheline Kamber著.范明，孟小峰译.数据挖掘：概念与技术[M].北京:机械工业出版社，2007.

挖掘技术论文例10

中图分类号：TP223 文献标识码：A 文章编号：1009-914X（2014）35-0247-01

伴随着计算机技术的不断提升，岩土工程的数据处理也逐渐向信息化的方向发展。就目前的数据库系统来看，已经拥有了高效地数据录入、修改、查询、统计等等功能，但还缺少对未来数据发展趋势的预测，缺乏挖掘数据背后的知识手段，以便岩土工程的后期数据转化提供资源。实际的岩土工程施工中因存在很多的不确定性，好很多的工程设计取决于工程师的经验与判断，而为了提高工程设计与施工的效率与质量，就必须进行数据挖掘与知识发现措施，对岩土工程各个领域进行分析，扩充知识积累，构建良好的岩土工程信息化设计、施工决策平台。

一、 岩土工程中的数据挖掘技术

1.1 常用的数据挖掘技术方法

通常数据挖掘的主要对象就是结构化的关系数据库或者半结构化的网络数据，数据挖掘的任务则是特征规则、关联规则、辨识规则等规则的挖掘，根据不同的任务来分，数据挖掘主要有聚类法、决策树与规则推理法、神经网络法、遗传算法，还有关联规则算法以及粗糙集方法等等的算法。就这些方法来看，都有其一定的优越性，因此在岩土工程中要根据不同的因素来进行数据挖掘方法的选择。

1.2 数据挖掘的一般步骤

岩土工程的数据挖掘原理就是通过对岩土工程的一些历史数据进行分类与聚类、推理记忆或者归纳、拟合等，并找出这些数据、与事实之间存在的潜在知识的过程。实现数据挖掘的一般步骤主要包括以下几个。首先，需要定义问题，先确定好数据挖掘的目的是解决岩土工程实际设计与施工、预测事实间存在的规律、关系与知识问题，并提出这些问题的阶段。然后需要建立数据库并进行有效的管理，建立数据库就是以便对数据进行分期、分类以及统一管理。其次，对数据的预处理主要包括归纳、孤立点分析以及数据变幻三个方面的数据整理，也是整个数据挖掘过程中最为关键的步骤之一。实际的岩土工程中的数据肯定是不完整的、不一致的，因此这个过程需要特别的注意。然后就是进行模型的搜索与管理，利用已经选择好的挖掘工具与技术，让系统自动进行数据处理。另外，要将数据挖掘发现的知识与已有的基础理论相比较、全面进行分析、推理、检验与验证，确保其合理性并进行评价，最后才能进行知识运用。

二、 实际中的岩土工程数据挖掘应用

前面提到，岩土工程伴随着计算机技术的不断进步与发展，背后的许多重要信息也需要挖掘出来加以利用。传统的关系数据库能够满足日常的数据事物处理，但不能准确的预测未来的发展，因此，就需要取长补短，通过数据挖掘技术对地质因素进行内涵处理，彻底的改变传统的建模假设。

1、 数据挖掘在岩土工程的规律统计与关联规则中的应用。

岩土工程的勘察组要大量的工民建、市政以及桥梁、铁路等各阶段的各类测试与室内试验数据的基础。勘察工作完成后会提供给一些勘察报告，而这些勘察数据中有大量的数据没有被利用起来，而这些勘察报告中的数据其实还是存在很大的价值的，就经验取值来按，这种数据包含了不少主观的因素。对此，有一些研究者也做了很多的尝试，在基于土工试验中产生的数据上提出了应用关联规则挖掘数据预处理的技术，还有利用判定书归纳法等等方法试图发掘岩土工程报告数据潜在价值的研究。当前我国岩土工程数据挖掘与知识发现技术主要要求就是可视化、智能化发展要求，对于此，基于GIS的地震砂土液化可视化评价系统应运而生，从设计准则与系统结构来说，该系统都是可以实现这些要求的技术。此外，在工程设计中，设计方案通常还要受很多的直接或者间接因素的影响，再加上这些因素的不确定性与复杂关联性，使得数据更加难以描述与挖掘。同样，在岩土工程设计与关联规则中，也有不少的数据挖掘研究。例如，新版的《岩土勘察规范》中就提到，是通过不同于传统的随机变量理论的随机场理论，更好地去模拟土的空间变异性与相关性。在完善测定分析方法的同时，加大相关数据挖掘工作，通过适当的方法去寻找工程的风险与变形数据特征，给判别与评价工程提供依据。

2、 数据挖掘在岩土工程中的监测与检测应用。

当数据挖掘技术运用在岩土工程的边坡处理中时，因要受边坡稳定性的地质因素与工程因素的综合影响，其随机性、模糊性与可变性等不确定性影响是变化的，这些因素之间又存在复杂的非线性关系，因此数据挖掘就可以用分析边坡的稳定性与变形的预测。通过运用基于粗糙集理论数据挖掘技术，来分析边坡稳定性数据，能够实现从复杂的参数中提取有用决策规则，从而达到准确分析边批稳定性的目的。另外，在环境水文方面，当前也有相关研究是基于水文数据库的全局性多因素数据挖掘，但其研究现状还不成熟，因此，需要在此基础上，进一步对水文序列的相似性、周期性以及序列模式进行研究。总之，数据挖掘技术是融合人工智能、信息融合与数据统计等几方面的研究成功，但数据挖掘的目标必须是可靠的结果，因此要克服其他的辅助技术缺点，尽量避开这些弊端与缺陷。严格要求挖掘过程的数据样本与数据质量，保证高质高效的数据与处理技术，确保挖掘结果的准确性与可靠性、实用性。

结语：事实上，岩土工程中的数据挖掘技术是综合多年来的数理统计与人工智能与知识领域的研究成果的，数据挖掘不仅是一个集成数据库、人工智能、信息融合、可视化的计算机技术，也是挖掘岩土工程背后隐藏知识的一种重要手段。对于数据挖掘的未来发展，仍然需要我们不断的研究与探索，为岩土工程研究提供更准确、可靠的依据。

参考文献

[1]薛祥，孙宏伟，沈滨，于玮，张权益. 岩土工程中的数据挖掘和知识发现探讨[J]. 工程勘察，2007，10：11-16+28.

[2]李德仁，王树良，史文中，王新洲. 论空间数据挖掘和知识发现[J]. 武汉大学学报（信息科学版），2001，06：491-499.