数据分析分析技术例1

0 引言

 

新世纪以来，随着互联网及信息技术的飞速发展和应用，使我国的信息化得到前所未有的爆炸式增长，各个行业相继完成信息化改造，极大地提升了人们的生活水平与生产效率。同时，也使各行业进入到信息化发展的轨道上，进一步提升了企业生产效益。正是由于经济的飞速发展，各行业发展都已积累了海量的数据信息。但是传统的数据分析方法和工具仅仅能实现简单的录入、查询、更改、统计、输出等非常低等的功能，无法及时快速地发现数据跟数据之间存在的关系与规则，无法根据已有的海量数据有效预测未来的发展趋势，不能及时为企业决策提供有力的数据支持。

 

数据挖掘技术的出现技术填补了大量企业的这一需求，数据挖掘技术可以高效地挖掘数据背后隐藏的关系跟规则，非常方便地把这些海量信息予以统计、分析及利用成为当前各行业需要解决的首个问题。为企业决策提供及时准确的统计学数据支持，为企业发展壮大提供很好的数据分析工具。而海量数据挖掘技术的出现，保证了海量数据信息的合理利用，同时加快了我国信息化技术的发展。

 

1 数据挖掘技术定义

 

数据挖掘技术起源于情报分析，其过程是一个从大量的、不完整的、有噪声的、模糊的随机数据被从隐含在大量数据中提取的过程，数据挖掘的情报资料是人们事先不知道的，但可能是有用的信息和知识。在大多数情况下，人们利用计算机等信息工具的时候只知道，存储数据，数据被存储的越来越多，但不知道这些海量数据中隐藏着很多重要的规律、规则等信息，数据挖掘技术就是一种可以从大量的数据中挖掘出有用重要信息的一种数据分析工具。如图1所示。

 

2 数据挖掘常用的方法

 

数据统计分析中的数据挖掘技术主要有以下方法：分类法、回归分析法、聚类法、关联规则法、特征法、变化和偏差分析法、Web页挖掘等相关方法，这些方法从不同的角度对数据进行挖掘分析，得出需要的信息数据。

 

3 统计分析和数据挖掘的主要区别

 

从实践应用的角度来看，这个问题并没有很大的意义，正如“不管白猫还是黑猫，抓住老鼠才是好猫”一样，在实际的应用中，数据分析师分析问题时，首先要考虑的是思路，其次才会对与思路匹配的分析挖掘技术惊醒筛选，而不是优先考虑到底是用统计分析方法还是利用数据挖掘技术来解决这个问题。

 

统计分析和数据挖掘的主要的区别在以下几个方面：

 

统计分析在预测中应用常表现为一个或一组函数关系式，而数据挖掘在预测应用中的重点在于预测结果，很多时候并不会从结果中产生明确的函数关系式，有时候甚至不知道到底哪些变量在起作用，又是如何起作用的。最经典的例子就是“神经网络”挖掘技术，它里面的隐藏层就是一个黑箱，没有人能在所有的情况下读懂里面的非线性函数是如何对自变量进行组合的，在实践应用中，这种情况常会让习惯统计分析公式的分析师感到困惑，这也确实影响了模型在实践应用中的课理解性和可接受度。

 

统计分析的基础之一就是概率论，在对数据进行统计时，分析人员常常需要对数据分布和变量之间的关系进行假设，确定用什么概率函数来描述变量之间的关系，以及如何检验参数的统计显著性;但是数据挖掘的应用中，分析人员不需要对数据分布做任何假设，数据挖掘中的算法会自动寻找变量间的关系，因此，相对于海量、杂乱的数据，数据挖掘技术有明显的应用优势。

 

在实践应用中，统计分析常常需要分析人员先做假设或判断，然后利用数据分析技术来验证该假设的正误。但是，在数据挖掘中，分析人员并不需要对数据的内在关系做任何假设，而是会让挖掘工具中的算法自动去寻找数据中隐藏的关系或规律。

 

两者的思维方式并不相同，这给数据挖掘带来了更灵活、更宽广的思路和舞台。

 

4 数据挖掘的一般流程

 

海量数据挖掘技术指的是把海量数据信息有针对性地进行提炼、分类和整理，从而将隐含在最深层次的信息挖掘出，为各行业发展提供可靠的数据信息支持。换言之，海量数据挖掘技术利用当前最先进的数据分析工具从海量数据信息内部挖掘数据信息以及模型间的关系的一种技术统称，更加深入的认识与了解数据模型，并对各自模型件关系的对应关系予以深入分析，从而更好地指导各行业的生产与发展，同时为其提供更多决策性的技术支持。

 

事实上，数据挖掘过程不能够自动生成，必须通过人工建模来实现，因此，人需要完成大部分的工作。其中，主要包含数据采集、数据预处理、数据选择、建立挖掘模型及评估模型等。

 

首先，通常海量数据挖掘技术应用在各行业的生产和发展决策方面，也就是说数据挖掘工作将面临着巨大的数据信息，并且此类数据信息多数为模糊的、无规律的;其次，建立高效、易理解的数据模型有助于实现海量数据挖掘;再次，数据挖掘模型的构建主要目的是帮助用户解决实际存在的问题，在经过对海量数据信息进行挖掘之后，从中找出利用价值高的信息，再对此类信息予以统计、整理和分析，最终用于指导各行业的生产与发展;最后，开展数据挖掘工作主要是为从海量数据信息里找出有价值的数据信息，这并不是单纯的数学性研究，其根本目的是从各行业的海量数据信息中找出有价值的数据信息，它具有相应的约束条件，且面向的是针对性较强的数据挖掘模型。

 

数据挖掘的一般流程如图2所示。

 

5 数据挖掘技术实现

 

现如今，尽管海量数据挖掘属于一种新技术，但由于该技术发展速度较快，因此，已被广泛应用到计算机发展领域当中。近年来，由于数据挖掘理论的逐步趋于完善化，并且在实践中取得了较好成效。其中，最常用的海量数据挖掘技术主要包含以下几种：决策树、神经网络以及统计学模糊。

 

①决策树算法通常应用到分析分类问题当中，同时它也是分类与预测的一主要技术。其中，类别属于因变量，而决策树可从众多预测变量当中，再相关理论的指导下，预测变量的发展趋势及变化关系，同时可对其进行双向分析，即包含正向分析和反推分析，根据最终的结果去寻找问题的原因。

 

②神经网络的建立。事实上，人工神经网络法指的是模拟人脑神经元结构的一种算法。其中，改善神经网络算法的关键在于知识的表达与获取。神经网络可实现并行处理，这是因为神经网络应用的是自适应函数估计器，因此，它的学习能力是极强的，在短时间内能学会新知识，同时它的纠错能力与适应性也是非常可观的。

 

③统计学模糊学习。该方法属于一种预测法，常被应用到谈及机器学习规律当中，而且只可应用到小样本情形中。另外，该方法是对观测数据进行深入的研究，通过对原理的分析，找出其中不予通用的规律。再结合已找出的规律进行更深层次的分析与探究，再结合实践中存在的现象予以预测，这样可提前预测出数据的发展趋势。

 

6 数据挖掘的应用

 

目前数据挖掘的应用领域主要包括以下这些方面：

 

金融、医疗保健、市场业、零售业、制造业、司法、工程和科学、保险业、网络舆情监控系统、企业竞争情报系统、全文检索、企业搜索、数据分析、数据库，可以用在各个需要数据分析的行业。

 

6.1 生物科技

 

在生物科技领域，如人的大脑与机器这一层面上，利用数据挖掘技术可加速发展生化义肢这一产品，很多这方面的专家学者普遍认为利用数据挖掘技术快速发展生化义肢这方面是大有潜力可供挖掘的。

 

6.2 信息科技

 

数位权利管理愈来愈受重视，以便保护知识财产，由全录公司Palo Alto研究中心创出的Content Guard公司，利用加密技术保护知识财产。

 

6.3 商务智能

 

数据挖掘技术可以用来支持广泛的商务智能应用，如顾客分析、定向营销、工作流管理、商店分布和欺诈检测等。数据挖掘还能帮助零售商回答一些重要的商务问题，如“谁是最有价值的顾客?”“什么产品可以交叉销售或提升销售?”“公司明年的收入前景如何?”这些问题催生了一种新的数据分析技术——关联分析。如图3所示。

 

6.4 资料发掘与生物测定学

 

数据挖掘是利用数学演算法，在庞大的资料库中寻找方式，例如目前应用在掌纹、脸孔等图像辨识，或者是语言辨识处理等方面。

 

6.5 塑料芯片

 

塑料芯片是最新的前沿科学，塑料以其价格便宜、容易制造等特点被很多科研机构以及大学所青睐。很多大学科学家及机构在利用数据挖掘技术致力于研究塑料代替硅半导体，如IBM公司、朗讯科技、麻省理工大学、剑桥大学、Penn State大学都在大量研究与开发塑料或有机物质芯片。

 

6.6 微光学技术

 

专家利用可反射光线的水晶、玻璃等物质，让光纤传输资料的速度，不会因为通过路由器、交换器时而降低速度。

 

6.7 司法

 

在司法领域，数据挖掘技术分析的对象一般分为两大类：一类是基于监控对象的系统，它能够帮助分析专家跟踪某个犯罪嫌疑人;另一类是基于行为模式的系统，它可以在多种活动方式中搜寻可疑的可能涉及犯罪的行为，或者可能是犯罪分子才会产生的行为。基于监控对象的数据挖掘技术又称作关联分析法，是司法机构重点开发的技术。这种方法能利用相关数据，在表面上没有关系的人或事件之间建立关联。比如，如果某人是犯罪嫌疑人，那么就可以使用关联软件发现嫌疑人可能正在影响的其他人，从相关人那里获取破案线索。

 

6.8 微应用流体学

 

科学家正试图利用物理原则做实验，只利用极微量的水，加快原本需要费时费金钱的实验。加州理工学院的应用物理学家Stephen Quake，以微应用流体学发展了一套DNA分析装置，比传统的分析装置快。Technology Review的编辑指出，微应用流体学将为生物科技提供巨大的帮助，就像当初电晶体提高了电子产品。

 

7 案例分析

 

基于统计分析的数据挖掘在工程造价管理中的实例应用分析，在工程造价管理系统中，可通过选择工程单方造价指标、造价核减率、竣工结算价、工程结构形式、招标方式、竣工结算审核单位、竣工结算日期等因素等进行数据筛选，通过后台数据库统计分析后选出符合目标值的数据类型。

 

比如，选取出2010年1-7月某市市区竣工结算审定价超过100万元的工程计三十二项。其中，六层以下砖混结构住宅楼七项，六层以下框架混凝土结构住宅楼六项，十八层框剪住宅楼两项，框架综合楼五项，框架厂房三项，内装饰工程五项，外装饰工程两项，普通沥青路两项。

 

经过对建设成本的测算可以清楚，六层及以下的砖混结构住宅楼平均单方造价为801.65元/m2，六层以下框架住宅楼平均单方造价为941.39元/m2，十八层框剪住宅楼平均单方造价为1080.37元/m2，框架综合楼平均单方造价为1326.36元/m2，框架厂房平均单方造价为852.70元/m2，内装平均单方造价为24.58元/m2，外装平均单方造价为824.94元/m2，普通沥青路平均单方造价为354.55元/m2。

 

此市市区2010年1-7月竣工工程单方造价指标如上所示的典型工程造价指标信息，是此市定期的，具有代表性、以审定的工程结算为主的住宅(含经济适用房或廉租房)、公共建筑、市政道路等工程造价实例信息，它为社会和造价管理机构提供可参考的、较详细的实际工程造价经济指标和消耗量指标信息。

 

总的来说，数据分析处理，可以简单快捷地从繁重冗杂的工程造价数据中找出共性或者异性的数据。有效加强了工程造价的全过程动态管理，强化了工程造价的约束机制，为维护有关各方的经济利益，规范价格行为，促进微观效益和宏观效益的统一提供广阔的平台。

 

8 结束语

 

数据分析分析技术例2

云计算技术可以给提供计算机数据传递与共享的条件，融合软硬件数据保存，促进计算机处理工作更好的开展。云计算技术可以给用户提供良好的网络环境与保存空间，处理数据传递环节的各项问题。与传统大数据分析技术相比，云计算计算可以提高大数据分析质量。人们借助云计算技术获得云终端的数据，切实满足人们对于数据的需求。现阶段计算机市场形成完善的结构体系，围绕云计算技术推动计算机大数据分析工作的开展，奠定后期云计算技术发展的基础。目前，人们生活中全面运用云计算技术，基于云计算技术研发的服务器及操作系统方便人们处理各类信息技术。同时，云计算技术数据保存有着较强的安全性，极小可能出现数据丢失情况，满足人们的实际需求，直接体现出云计算技术的优势。优化云计算环境下计算机的数据处理中心，就可以不断提升计算机的云计算能力，让云计算不仅为网络信息所用，还在计算机网络安全中发挥极为重要的作用。目前，计算机的使用人群更为注重的是在高速发达的信息社会，自己的信息，也就是使用计算机网络的安全性能是否能得到保障，这时候考验的就是云计系统的完善性。目前存在的最主要计算机安全问题就是黑客问题和系统漏洞问题。系统漏洞这一人为因素可以通过不断检索进行漏洞的发现和修补，面对黑客的攻击，能够做的就是防患于未然，不断地升级和优化系统，最终达到完善的数据处理效果。

2云计算技术下计算机大数据分析面临的问题

2.1网络技术安全

由于相关技术的不断发展，云计算环境下的网络安全技术正在朝着稳定和成熟的方向发展，但在具体的应用过程中依然表现出一定的网络安全问题，因此用户在使用过程中应该做好相关的应对工作。网络安全问题具体表现在用户在使用信息传输的过程中，一旦出现服务性中断问题，难以保证数据的安全性，启动被动保护模式的情况使信息的安全性更加难以保障，这也成为云计算模式下的网络技术安全中的重点问题，一旦得不到及时有效的解决，用户在使用过程中就会受到不同程度的威胁。

2.2网络环境安全

网络环境安全是保证网络正常使用，信息传输质量有保证的重要前提，一旦网络环境存在不安全因素，将会引发病毒的入侵和黑客的攻击。因此网络环境安全也是云计算技术价值得以发挥的重要前提。计算机在使用过程中如果长期受到病毒的困扰和黑客的威胁，将会降低人们对计算机的信赖性，甚至在工作和生活中将会在网络环境安全方面投入更多的成本。

3计算机大数据分析中云计算技术的具体应用

3.1数据传输安全分析

在云计算的作用下，云安全含义逐渐形成，具体来说，云安全主要指在用户借助云计算技术来实现计算机大数据分析时，让数据安全性得到了保证。用户端数据和数据安全往往呈现出正比关系，随着应用群体数量的增多，涉及的计算机数据范畴将不断扩充，假设计算机遭受病毒的攻击，可以在云计算技术的作用下实现病毒的拦截，以此让计算机数据安全性得到保证。从云计算技术自身角度来说，其提供的各个服务均是由IaaS基础设施级服务以及PaaS平台级服务两项内容构建而成。首先，IaaS基础设施级服务其作用在于，可以给用户提供对应的服务，也就是对各个计算机基础设备进行操作和应用，其中包含了CPU处理、数据保存、数据传递等。其次，PaaS平台级服务则是指，把云计算中各个服务器及开发环境当作服务，通过PaaS平台用户能够结合自身需求实现对应操作流程的部署和应用。

3.2监督数据资源共享

网络资源在传输过程中遭遇到的安全威胁是用户时时刻刻关注的问题，因此在具体的工作和管理中，需要提高云计算网络安全技术的应用程度，通过不断创新安全模式，完善相应的防护体系，从而有效消除安全性问题，提升数据传输的安全性和稳定性。具体在应用过程中，可以借助云计算技术的优势，对数据传输的整个路径进行监控，保证传输通道环境的安全性，一旦出现问题及时进行预警，有效预防黑客的攻击，降低网络安全事故发生的概率。对此，有关部门应该提高重视程度，同时完善相应的监督管理制度，采用科学的管理方式，实现预期的监测目标。

3.3提高数据使用安全

计算机用户本身的安全意识也是当前需要关注的重要方面，为了进一步提升用户数据信息和计算机系统的安全系数，需要重视身份认证工作的提升，具体可以使用实名制的方式进行认证处理，从而不断提升整个网络结构的安全性。对于网络应用过程中涉及到的安全问题，可以通过实名追踪的方式进行可疑目标锁定，从而有效控制恶意攻击情况的发生。但在应用过程中也需要重视假人名情况的出现，提高网络数据信息窃取的预防水平。计算机网络环境算是一种相对开放的环境，在使用过程中会面向大量的用户，通过重视用户的身份认证，可以有效避免用户对数据的非法访问。同时在使用者进行计算机登录和使用的时候，需要对用户名和密码进行核实。按照权限的不同，确保数据库信息的安全有效性。通过对数据库信息加密处理，可以确保数据库信息的安全性。这种加密处理可以在原有数据信息的基础上进行算法的处理改进，使用者可以通过自身的权限获取想要了解的信息，如果没有解密方式，不法分子将会难以获取数据的原始信息。

3.4网络安全等级防护

在云计算环境下的安全管理中心具备系统管理、安全管理和安全审计等功能，能够满足不同云计算环境下不同安全等级的保护要求，并且通过服务层的安全保护框架，实现对不同等级云服务客户端的安全保护，为使用者提供安全可靠的资源访问服务。在访问云服务商时，用户可通过通信网络、API接口和Web服务方式访问云服务器，但是用户终端系统的安全防护不在网络安全等级保护框架体系内。在保护框架体系内，资源层和服务层安全是云计算环境安全保护的重点，资源层包括物理资源安全和虚拟资源安全，应按照安全设计要求构建资源层安全保护框架。云计算环境下的网络安全等级保护要针对不同等级云计算平台确定不同的安全目标，一般情况下安全保护等级最低为二级，并根据安全目标和等级要求实施安全设计步骤，具体包括：第一步，根据云平台的租户数量和业务系统情况确定云计算安全保护标准，制定云计算平台的安全保护策略，以避免在云计算平台上发生安全事件；第二步，细化安全技术要求，针对安全计算环境、安全区域边界、安全通信网络以及安全管理中心制定出相应的安全保护策略；第三步，根据云计算功能框架中的各层功能和保护要求，制定安全技术机制，使其满足云计算功能框架的安全保护要求。在完成云计算环境下的网络安全等级保护设计之后，还应增加虚拟化安全、镜像安全、接口安全等安全控制点，并采用访问控制技术、身份识别技术等安全防护技术，实现与云计算平台上各功能层次的对接，提出各层的安全保护措施。

3.5重视相应程序开发

数据分析分析技术例3

随着现代技术的不断发展与进步，各个企业为了提高知名度和企业的创新能力，都积极的采用了信息自动化管理体质。但是，要想很好的运用这种管理体制，企业必须充分运用现代化信息技术，其中，最为重要的手段就是数据库技术。而且，要想使企业的信息系统高效、安全地运行，至关重要的是数据库应用系统正常、高效地运行。因此，分析数据库优化技术是非常有意义的。

一、良好数据库性能的标准

对于同一个系统的实施可以设计出多个数据库模型，但是，这些模型由于性能目标的差异而显示出不同的效果。而且，对于同一需求、不同数据库的设计人员来说，也会设计出不同的模型。其中，数据库性能的高低一般用两个方面的指标来衡量：响应时间和吞吐量。而且，响应越快，吞吐量越大，数据库性能越好。下面是一般大型系统数据库的性能标准：（1）单条记录的更新应当在1秒之内。而多条记录的更新不超过10秒。（2）对于少于4个表的数据有一定限度的查询应在5秒内完成。（3）对于有一定限度的查询多表查询应在10秒内完成。但是，整个表的查询时间应在30秒内完成。

二、数据库优化应遵循的方法

数据库优化是指进行有目的地调整组件及改善性能，使得数据库的吞吐量增加，减少相应处理时间。下面是数据库性能优化所遵循的一些方法：1、设立合理的性能目标。在优化之前，需要确定专门合理的目标。而且，设立目标最重要的一点是可量化和可达到。其中，可量化是指在量化中需要的性能值。而可达到是指必须定义当前性能指标。2、确定影响数据库性能的瓶颈。当数据库运行了一段时间后，会发生性能低下，此时不能猜测并随便做一些更改，这可能造成更大的瓶颈或资源浪费。3、弄清影响数据库性能的因素。由于改善数据库性能所采用的方法都可能带来严重的负面影响，因此在达到预定目标时，应停止所有的工作。

三、数据库优化技术的方法

数据库优化技术的方法有很多，而且，不同的数据库又有不同的方法。下面具体列出几种主要的技术方法。

1、数据库服务器内存空间的分配。足够的内存可以加快数据库的运行速度和提高CPU的利用率。而且，内存不够的话将会严重降低CPU的利用率。

2、合理的物理存储路径。数据库在处理海量数据时，首先要考虑物理存储路径。其中，物理存储路径主要包括：数据在磁盘组上的分布状态、索引文件的组织、日志文件的分布等。而且，数据在磁盘组上的分布有几种方法：静态数据与业务数据相分离。其中，数据库中的静态数据主要是一些数据字典，这些数据修改的频率比较低，但是，查询率较高。其中，使用索引有助于快速访问表中的数据，它可以大大减少找到特定数据行所需的I/0操作。设计索引时应遵循如下原则：①在建立索引时，如果对一个经常被更新的列建立索引，则会严重影响数据库性能。一张表的索引过多会影响该表的更新性能，因为一旦发生更新行为，该表所有的索引都必须作相应的调整，这就会延误运行时间。②对小型表不必建立索引，因为对于小表来说直接扫描往往更快而且维护费用低。③对重复值非常大的列，应建立位图索引，不要建立普通索引。因为为这样的列建立普通索引，其查询效率不高，反而增加索引的维护量。

3、使用SQL语句的优化技术来提高数据库运行效率。SQL语句的运用可以大大优化数据库的性能。一个良好的应用程序允许数据库支持上万个并发用户，由于网络上的传输是会话式的传输，在数据库与客户端之间传送每个批处理和结果集，为了减轻客户端与数据库系统间过量的网络传输，必须采用大型数据库所提供的存储过程和触发器来最小化信息的往来传输，以减轻网络I/0的负载。

数据分析分析技术例4

中图分类号：TN915 文献标识码：A 文章编号：1674-7712 （2013） 02-0015-01

数据通信是以“数据”业务为主的一种通信系统，数据是预先约定好的具有含义的数字以及字母和符号等。计算机的发展，数据通信应运而生，实现了计算机与计算机之间的传递。电信技术的发展，使其数据交换的技术也随之出现。

交换即转接，是交换通信网中不可缺少的技术。交换是指按照某种方式对传输线路的资源进行分配，交换技术主要包含了报文的交换、分组的交换、线路的交换以及分组的交换等几个方面。

目前的宽带数据通信网出现了两种不同的技术，即IP与ATM，IP的网络核心节点为太位路电器；ATM的网络核心节点为ATM交换机，其目的为了实现信元的高速交换。

一、目前数据通信的几种交换方式

（一）电路交换：能为任意一个入网的用户提供一条临时使用的物理信道，这种方式被称为电路交换，是由通路的各节点内部早空间上完成的信道接续而形成。这条物理信道始终被用于信息的传输，因此不允许被用于其他的计算机。

（二）分组交换：分组交换，同时也被称作为包交换。它的主要作用是将用户发来的数据分割成相同长度的数据包，因此被称为打包或者分组。分组交换是指在每个数据包前面加一个分组头，作为将发往何处的地址标志，然后分组交换机会根据不同的地址标志对其转发到目的地。

（三）报文交换：报文交换，同时也被称为信息交换方式。报文交换是将用户之间不直接存在的信息进行接收以及发送的特殊物理信道。同时还将用户正在进行交换的报文进行存储，当输出电路出现空闲的情况时，再将报文发送到需要接收的交换机。

二、DDN

（一）DDN的工作方式：DDN作为高质量、高宽带的数字数据通信网，数字信道为信息传输的主要信道，因此不具有交换的功能。用户的数据信息应该根据之前约定好的协议，采用同步转移的模式对数字进行分复用的技术，所以必须在固定的时间内对通信宽带和速率传输进行事先设定。

（二）DDN提供的业务：DDN网作为全透明的网络，因此可以为分组交换网和互联网提供中继电路；不仅可以对一点对提供多量的业务；同时还可提供图像、G3传真以及语音和智能等多种业务来满足用户的要求。

三、FR

（一）FR的工作方式：FR的主要任务是将在原来的交换基础上进行分组交换做出相对简化数据传输新技术。它在OSI第二层主要采用简化的方式进行数据的传送和交换。因为FR仅完成OSI的物理层与核心层的功能，将控制流量以及纠错等任务留给终端来完成，因此不仅使节点机之间的协议简化，同时还提高了传送的效率。

（二）FR的特点：1.传输效率高。2.产生的费用低。3.兼容性好以及组网的功能性强。4.网络资源的使用率高。

（三）FR提供的业务：FR主要使用的面向连接交换技术，虽然能够提供需要交换的PVC和SVC，但目前只能采用交换虚电路的方式。

四、IP

（一）IP的工作方式：IP交换是一种高效的IPoverATM技术，同时也被称为三层交换技术。简单来讲，三层交换技术即“二层交换技术加上路由转发技术。”IP只对数据流中的第一个数据包进行路由地址的处理，由路由转发，继而按照已经计算好的路由在ATM网建立虚电路VC。这样的处理方式使数据包在今后不用经过路由器，可以直接沿着VC的方式进行传输，提高传输的效率。

（二）IP的交换的特点：1.因为彼此之间不存在连接建立时延，因此IP在进行交换的时候不需要事先建立通信线路，可以随时将信息发送出去。2.通信的双方可以不使用固定的通信线路，因此，提高了对通信线路的使用率。

（三）IP提供的业务：适合多种业务的环境，目前主要使用于宽带以及IP骨干的传输。

五、X.25

（一）X.25的工作方式：X.25的交换方式主要体现在传统储存转发方式的基础上，进而发展的一种新型交换方式。X.25的主要工作是将用户发送的数据进行分割，每个分割后的分组都有一个分组头，而分组头的主要目的是为了指明将要发往的地址，最后按照地址的排列顺序挨个进行交换网的发送。

（二）X.25的特点：因为X.25的交换动态主要为分配线路资源和传输的效率高，因此能为不同种类的终端提供互通的便捷。其具体内容如下：1.交织传输。2.统计时分可复用：采用动态的方式对线路资源进行分配。3.逻辑信道：在分组的交换方式中，每条逻辑信道在一次呼叫过程中都有相应的逻辑信道号。因此被用于用户的区分。4.虚电路：虚电路是根据报文的需要，以及占用多个时隙相应的缓冲空间而来的，因此，进行呼叫时不需要建立固定的物理通道。5.分组多路的通信：因为每个分组都有控制信息，所以分组型的终端可以做到与多个用户终端同时通信。

（三）X.25提供的业务：分组交换可以提供永久虚电路，同时还能开发以及提供增值的数据业务。

六、ATM

（一）ATM的工作方式：ATM的转移模式是立于电路交换和分组交换的基础上，主要目的是将数据分解成固定长度53B的信息，目前将这样的分组叫做信元。而ATM主要以信元为单位进行复接、交换等工作。复用的时候只要具备信元就可以进行信息的发送工作。

（二）ATM的特点：1.不仅可以建立虚电路来进行数据的传输，同时支持无连接的业务。2.因为采用的数据包属于固定长度的模式，因此有利于宽带的交换。3.采用异步术同时能够采用服用技术。4.ATM技术使其协议以及网络功能得到简化。

数据分析分析技术例5

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）03-0006-03

为了提升大学物理公共课程的教学水平，更好地了解学生的学习情况，需要引用联机数据技术，通过科学建立模型对教学数据进行处理和分析。维度模型的建立是为了能够全方位地剖析数据。

1 建立数据模型

建立模型是为了更加直观地表达数据和事实。对于同一批数据，人们总是会以不同的角度对其进行观察，这就是维度。维度模型从不同的角度分析数据，最终得出一张事实表。

如图1所示，维度模型包括了教材维度表，学期维度表，教师维度表，学生维度表和教学事实表。为了更好地分析教学效果，维度模型从四个不同的角度进行分析，每一张维度表上都注明了详细的数据内容。最后，在总结四张维度表的基础上，概括了最终的教学事实表。

2 OLAP技术

2.1 数据的采集

原有的Visual和SQL数据库上储存了学生的信息，教师的信息以及教学的数据等等。如图二所示，教务数据库中包含了课程信息表，学生信息表以及选课成绩表。DTS工具能够从不同的数据库中自动抽取需要进行分析的数据，并且将其全部集中在一个新的数据库中。新的SQL数据库既可以储存信息，还能够对信息进行管理。联机分析处理技术从不同的角度分析数据，有助于全面了解学生的学习情况和教师的教学质量。

2.2 数据分析的结构

从图2中可以看出，数据分析的结构包括了四层，其中最底层的是各种信息数据库和文本文件，在此基础上建立数据ETL，然后建立相应的维度模型，最后利用联机分析技术对数据进行分析。采集数据和转换数据是使用联机分析技术的基础，也是必不可少的一步。多维度分析是该结构中的最后一步，最终的结果将会把数据转换成图表的形式呈现出来。

2.3 转换数据

由于不同数据的语法可能存在差异，因此，把不同的数据转换成相同的结构显得尤为必要。在联机分析技术应用的过程中，转换数据是关键的一步，能否成功转换数据，决定了维度模型的建立是否具有科学性与全面性。转换数据是为了解决语法，语义结构不同引起的问题。

和数据语义不同相比，处理不同语法的数据显得更为简单。如果数据本身和目标数据之间存在语法结构不同的问题，那么只需要通过函数对其进行转换即可。一般来说，数据本身的内容并不会影响转换过程，只要建立原数据和目标数据之间的对应关系，就能解决数据名称存在冲突的问题。例如，学生数据库本身的信息包括了学生的ID和班级，这就相当于最终目标数据中学生对应的名称和班别。如果数据类型不同，可以运用相应的函数对其进行转换，例如trim（）函数就能完成数据的转换。下面是利用函数对原数据中学生的ID，专业以及院名进行转换的过程，其转换代码如下：

Function Main（）

DTSDestination（“ID”）=trim（DTSSourse（“名称”））

DTSDestination（“专业”）=cstr（DTSSourse（“专业”））

DTSDestination（“院名”）=trim（DTSSourse（“学院”））

Main=DTSTransformStat_OK

End Function

转换不同语义结构的数据是一个复杂的过程，它需要重视数据本身的信息和内容。因此，仅仅通过一步完成数据转换的过程是几乎不可能的，它需要将原数据进行一次次转换，才能得到最终的目标数据。例如每一个教师都有以及开展项目，在原数据中只能看到项目的名称和论文的名称，如果需要将其转换成教师的论文数量和项目数量，则需要经过两步的数据转换。

2.4 数据结果分析

原数据从SQL中提取出来，然后通过函数对其进行转换，最后利用联机分析技术进行数据管理和分析，从不同的角度研究数据，从而全面分析学生的学习情况和教师的教学情况。数据分析的方法有很多种，其目的都是为了全方位地剖析数据。

2.4.1 高校教师教学质量的对比分析

在教师维度表中，我们已经按照教师的从业年龄，学历以及职称对其进行划分，不同职称的教师，其教学质量有着明显的区别。教师的学历不同，教龄有所差异，这都和教学效果息息相关。

2.4.2 不同时期对教学质量的影响分析

联机分析处理技术能够从多角度分析数据，教学质量不可能是一成不变的，它与多个因素密不可分，时间也是其中一个因素。在不同的时期，由于政策的变动和外界因素的影响，教师的教学质量也会随之而受到不同程度的影响。

2.4.3 教学质量和其他因素息息相关

除了时间和教师的水平会对教学质量造成一定的影响，还有其他因素同样会影响教学效果，例如：学生的学习能力，学校选用的课本等。综合考虑各个因素对教学效果的影响，有利于教育部门更好地作出相应的政策调整。

3 计算机分析处理技术中的数据处理方法分析

无可置疑，计算机技术的出现颠覆了人们传统的思想和工作模式。如今，计算机技术已经全面渗透到我们生活中和工作中的各个方面。不管是在工业生产还是科研数据处理中，计算机技术都发挥着不可替代的作用。如今我们需要处理的数据正与日俱增，这就意味着传统的数据处理方法已经无法满足人们的需求了。仪表生产和系统控制要求数据具有高度精确性，这些数字在显示之前，都必须经过一系列的转换，计算以及处理。首先，数据会以一种形式经过转换器，然后变成另一种新的形式，只有这样计算机才能对数据进行处理和分析。处理数据是一个复杂多变的过程，它的方法并不是单一的，根据数据处理的目标不同，需要选择不同的数据处理方法。例如，有的数据需要进行标度转换，但有些数据只需要进行简单计算即可，计算机技术的不断进步是为了更好地应对人们对数据处理新的需要。

计算机数据处理技术的应用离不开系统，它比传统的系统更加具有优越性：

1）自动更正功能，计算机系统在处理数据时，对于计算结果出现的误差能够及时修正，确保结果的准确度。

2）传统模拟系统只能进行数据的简单计算，而计算机系统则能够处理复杂多变的数据，其适用范围和领域更加广。

3）计算机系统不需要过多的硬件，只需要编写相应的程序就能够完成数据的处理，在节省空间的同时也降低了数据处理的成本。

4）计算机系统特有的监控系统，能够随时监测系统的安全性，从而确保数据的准确度。

对于不同的数据，往往需要采用不同的处理方式，处理数据的简单方法包括查表，计算等。除此之外，标度转换，数字滤波同样是应用十分广的处理技术。

3.1 数据计算

在各种数据处理方法中，计算法是最为简单的一种，利用现有的数据设置程序，然后直接通过计算得出最终的目标数据。一般来说，利用这种方法处理数据需要遵循一个过程：首先，求表达式，这是计算法最基本的一步；其次，设计电路，在此之前必须将转换器的位数确定下来；最后，利用第一步已经求出的表达式运算数据。

3.2 数据查表

3.2.1 按顺序查表格

当需要搜索表格中的数据时，往往需要按照一定的顺序和步骤。首先，明确表格的地址和长度，然后再设置关键词，最后按照顺序进行搜索。

3.2.2 通过计算查表格

这是一种较为简单的方法，适用范围并不广。只有当数据之间表现出明显的规律或者数据之间存在某种关系时，才能够使用这种方法查表格。

3.2.3 利用程序查表格

相比于上述的两种方法，利用程序查表格是一种相对复杂的方法，但是这种方法的优点在于查找效率高，并且准确度高。

3.3 数据滤波处理

采集数据并不难，但是确保每一个数据的真实性却十分困难，尤其是在工业系统中，数据的测量难以确保绝对准确，因为在测量的过程中，外界环境对数据的影响往往是难以预估的。为了提高数据处理的精确度和准确率，需要借助检测系统对采集的数据进行深加工。尽可能地让处理的数据接近真实的数据，并且在数据采集的过程中最大限度地减少外界因素对其的影响，从而提高计算结果的准确度。

滤波处理技术的应用首先要确定数据的偏差，一般来说，每两个测量数据之间都会存在一定的误差，首先需要计算数据与数据之间可能出现的最大误差。一旦超出这一数值，可以认定数据无效，只有符合偏差范围内的数据，才能进行下一步的处理。

为了减少由于外界影响导致数据失真的情况，利用程序过滤数据是很有必要的。滤波技术有几种，根据不同的需要可以选择相应的数据处理技术，每一种数据滤波技术都有其适用范围和优点。数据滤波技术包括算术平均值滤波，加权平均值滤波，中值滤波，限幅滤波，限速滤波以及其他类型的滤波技术。

3.4 转换量程和标度

在测量数据的过程中，每一种参数都有相应的单位，为了方便数据处理，需要使用转换器把数据转换为统一的信号。标度转换是必不可少的，为了加强系统的管理和监测，需要不同单位的数字量。转换方法包括非线性参数标度变换，参数标度变换，量程转换，这几种转换方法在数据处理的过程中较为常见。当计算过程遇到困难，可以结合其他的标度转换方法进行数据处理。

3.5 非线性补偿计算法

3.5.1 线性插值计算方法

信号的输入和输出往往会存在一定的关系。曲线的斜率和误差之间存在正相关关系，斜率越大，误差越大。由此可见，这一计算方法仅仅适用于处理变化不大的数据。当曲线绘制选用的数据越多，曲线的准确程度越高，偏差越小。

3.5.2 抛物线计算方法

抛物线计算方法是一种常用的数据处理方法，只需要采集三组数据，就可以连成一条抛物线。相比于直线，抛物线更加接近真实的曲线，从而提高数据的准确度。抛物线计算法的过程，只需要求出最后两步计算中的M值，就能够直接输入数据得出结果。

3.6 数据长度的处理

当输入数据和输出数据的长度不一，需要对其进行转换，使数据长度达到一致。由于采集数据所使用的转换器和转换数据所选择的转换器不同，因此，当输入位数大于输出位数，可以通过移位的方法使位数变成相同。相反，当输入位数少于输出位数时，可以使用填充的方法将其转换成相同的位数。

4 结语

本文对联机分析技术进行了详细的论述，该技术的应用对于评价教学效果有着重要的意义。在物理公共课程中，教学数据数量巨大，如果利用传统的方法对其进行分析，将会耗费大量的人力物力，而采用OLAP技术则能更加快速准确地分析处理数据。数据分析是评估教学质量必经的过程，而使用QLAP技术是为了能够多层次，全方位地分析各个因素对教学质量的影响，从而更好地改进高校教育中存在的不足。除了分析物理课程数据，联机分析技术同样适用于其他课程的数据处理和分析。

参考文献：

数据分析分析技术例6

1大数据技术应用于网络安全分析中的重要性

大数据技术具有有数据量大、种类繁多、速度快、价值密度低等特点，在网络安全分析中有着较高的应用价值，其重要性具体体现在以下几方面。第一，大数据技术可以拓宽数据存储容量，满足海量数据安全分析需求，并且在对多源数据和多阶段组合进行分析时，在保证运算效率的同时，还能确保数据的完整性。第二，大数据技术能够对网络数据进行多层级、多精度分析，理清数据间的复杂关系，找出其中潜在的安全隐患和风险，网络安全分析精度大幅提升。第三，利用大数据分析技术，可以对异构数据进行存储和分析，显著提高了网络安全分析速率，能够在更短时间内发现并解决网络安全问题[1]。第四，传统网络安全平台为结构化数据库，而基于大数据技术的网络安全平台为分布式数据库，具有良好的经济效益，设备成本较低且性能良好，减少了系统维修费用，降低了网络安全平台构建成本。

2网络安全分析的大数据技术实践

将大数据技术应用于网络安全分析方面，可以实现对日志和流量的集中化存储与分析，深层挖掘数据之间的关系，增强了网络安全检测及防防护能力。

2.1数据采集

网络安全分析需要依托全面、完整的信息数据，在应用大数据技术时，应先完成数据采集。对于每秒数百兆的日志信息来讲，可以利用Chukwa等工具对其进行采集；对于全数量数据来讲，可以使用传统数镜向方式对其进行采集[2]。

2.2数据存储

完成数据采集后，需依托数据库对其进行集中存储，在大数据技术的帮助下，数据类型存在差异时，可以采用与其相匹配的方式完成存储，不仅能够保证数据之间的明确分类，又可以方便数据查询。数据类型为即时数据时，可采用列式存储方法，先运用流式计算方式进行分析，然后存储所得结果。数据类型为日志时，为提高数据查询效率，可选用列式存储方法完成存储。另外，当数据经过标准化处理后，需要先对其进行处理，所用方法为分布式计算方法，然后再采用列式存储方法进行存储。

2.3数据查询

将大数据技术应用于网络安全分析中去，就数据查询来讲，可依托MapReduce完成[3]。系统发出查询指令后，在对应的节点位置完成处理，并将多种结果加以整合，然后可以通过检索得到自己所需数据信息。相较于传统网络安全分析平台，这种数据查询方式的指令反应及处理更为迅速，大大提高了查询效率。

2.4数据分析

基于大数据技术的网络安全分析平台，当数据类型不同时，所用分析处理方法也是不一样的。首先，如果数据类型为实时数据时，在对其进行分析和处理时，主要用到了流式计算方式、CEP技术、关联分析算法等，可以及时发现潜在的安全隐患及威胁。其次，如果数据类型为历史数据、统计结果时，在实效性方面要求并不严格，可对其进行离线处理，完成更为深入、全面的分析，所用方法主要为分布式存储与计算，既能够发现其中的风险隐患，又可以找出攻击来源。

2.5复杂数据处理

面对越来越复杂以及关联性越来越强的数据，以大数据技术为依托的网络安全分析平台，也可以更加迅速、精准地对其进行处理，包括多源异构数据、系统安全隐患以及关联性攻击行为等。以网络安全问题中常见的僵尸网络为例，借助大数据技术，不但能够从流量和DNS访问特性出发，而且能进行发散性关联分析，同时结合多方面的数据信息，可对数据进行多维度、深层次、全方位分析，确保了数据处理的有效性。

3大数据技术背景下网络安全平台建设

基于大数据技术所体现出的多方面优势，已经在网络安全分析方面得到了越来越广泛的应用，在构建网络安全平台时，需要科学设计其基础构架，并严格把控关键技术环节，充分发挥其应用价值。

3.1平台构架

以大数据技术为依托，所搭建的网络安全平台分为四个层级，包括数据采集层、数据存储层、数据挖掘分析层、数据呈现层，四个层级功能各不相同，需要分别对其进行分析。首先，数据采集层主要负责采集各种类型数据，包括即时数据、用户身份信息、日志等，实现方式为分布式采集。其次，数据存储层的能够实现海量信息的长期保存，并采用结构化、半结构化、非结构化方式对其进行统一存储，使用均衡算法将现实数据均匀分布在分布式文件系统上[4]。另外，网络安全异常的发现及溯源，则是在数据挖掘分析层完成，具体方法包括特征提取、情境分析、关联分析等，可通过检索查询对异常网络行为进行准确定位。最后，数据呈现层则可以通过可视化形式将大数据分析结果呈现出来，通过多种维度展现网络安全状态。

3.2关键技术

构建网络安全平台时，所用到的关键技术主要有数据采集技术、数据存储技术、数据分析技术等。此次研究所用数据采集技术包括Flume、Kafka、Storm等，Flume能够采用分布式方式，对来源不同的数据进行收集和整理，经过处理后将其传输至定制方。Kafka中应用了Zookeeper平台，可实现数据的集群配置管理，能够作为一个高吞吐量的分布式订阅系统应用，平衡数据处理环节的系统负荷。完成数据采集后，采用HDFS分布式文件系统对其进行存储，其容错性和吞吐量都比较高，使用元数据管理节点文件系统对空间命名，数据文件保存至数据节点，基本存储单位为64兆字节的数据块。数据文件会随着元数据节点的增多而减少，两者之间呈反比关系，多个文件同时被访问时，会对系统性能造成影响，而HDFS分布式文件系统的应用可有效避免这种问题。在数据分析环节，该平台所用技术为Hivc，对于非结构化数据的检索，所用语言为HiveQL，与HDFS和HBase匹配性良好。API的封装则是采用Hive完成，使用定制的插件开发和实现各种数据的处理、分析与统计。

4结束语

将大数据技术应用于网络安全分析领域，不仅能够提高分析速率、分析精准度，而且还可以降低技术成本，有着多方面显著优势，是未来网络安全防护的必然发展方向。在实际应用时，应采用层级结构构建网络安全平台，就数据采集、数据存储、数据分析等关键技术环节进行重点把控，以此来改善当前网络安全分析中的缺陷与不足，提高网络安全等级。

参考文献：

[1]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017.

数据分析分析技术例7

中图分类号：TP311

文献标识码：A

文章编号：1009-3044（2017）10-0025-01

数据信息作为时代的信息管理标志其安全性必须收到更大的重视，数据信息的安全存储系统尤为重要，防止信息数据的丢失的管理备份系统更为重要。因此能够将数据信息妥善管理，保证其正常工作的技术相当重要，但当数据真正丢失或不可避免地出现问题以后能够尽快地将其找回或者是在有效的时间内将其完整地恢复，以确保整个计算机系统能够正常工作的技术更是必不可少的。

1.数据备份概念及其特点

数据备份指的是将计算机系统的所有数据或者是部分重要数据借助某一种或多种手段从计算机一个系统复制到另一个系统，或者是从本地计算机存储系统中复制到其他的存储系统中。其目的就是保障系统可用或者是数据安全。防止由于人为的失误或者是系统故障问题亦或是自然灾害等方面的原因造成系统数据的安全性无法保障的问题。数据备份更重要的原因是数据信息的多重保存以备不时之需。

数据备份按照备份的实现方式可以分为单机和网络两种备份方式，传统的备份就是单机备份针对计算机本身将数据进行异地存储，现代比较流行的就是网络备份。这是针对整个网络而言的，这种方式的备份较为复杂，是通过网络备份软件对存储介质和基础硬件存储设备的数据进行保存和管理。由于网络备份是在网络中进行数据备份的，因此也就不同于普通的传统单机备份，是包含需要备份的文件数据和网络系统中使用到的应用程序以及系统参数和数据库等内容的。

数据备份的作用在于：一方面，在数据受到损害时对数据进行还原和恢复；另一方面，数据信息的历史性、长久保存，方便数据的归档。

2.数据备份存储技术

备份换言之就是数据的再存储，因此备份技术是存储技术的重要内容之一，但是数据备份存储作为计算机系统技术与简单的备份区别很大。计算机数据备份存储技术时更为全面、完整、稳定安全的数据信息的备份，是网络系统高效数据存储的，也是安全性较高的网络备份。

文件存储作为最基础的数据类型是随机存储在硬盘上的数据片段和文档资料，这些存储的数据文档、报表甚至是作为数据库文件的应用程序等等在存储一定的量就会出现超出容量的情况因此对其的整合是必要的。这样的整合是将存储的各类数据或者是数据库以一个顺序和程序的形式出现，帮助人们解决备份存储的空间问题，技术问题以及成本问题。更能将工作人员的连续数据维护和监控从繁重的工作中解放出来。

3.保障计算机数据网络备份的安全性策略

通过网络传输的备份数据在传输过程和传输路径方面必须确保数据的安全性。若不能保证数据的安全那么一些企业的关键数据和重要应用程序就会受损，甚至是失去了备份的意义。因此相比单机备份而言网络备份更要确保安全传输和安全存储。

首先确保备份数据的机密性。数据信息的网络备份不能被非法用户随意获得，因此在数据备份过程和传输过程中必须防止数据的机密性被破坏。一般数据备份常用的方法是加密。必须保证是数据拥有者才能使用这些数据信息，关键的数据信息的加密工作相比更加严格。数据内容不容有失，甚至是数据的相关名称和代码等也不能随便被非法进入系统的人获得才是最能保障数据安全的方式。

此外，在数据网络传输存储之前一定要确认接受信息一方的真实性，核实双方信息是否匹配，一定要在双方身份确认之后才能对网络的数据信息进行发送和接受，这样既避免了欺诈行为又确保了网络中间不可信的因素存在使数据信息遭到破坏。

其次。确保备份数据的完整性。数据备份存储不是一个简单的过程，数据信息是通过设备和网络之间传输来完成备份数据存储的。这一个成必须要保障所传输的信息完整地被上传而且这些数据信息不能被其他方拦截和篡改，以破坏备份数据信息的内容和属性等。此外在存储时也要保障数据信息的正确无误完整保存。

数据分析分析技术例8

1.前言

电力作为特殊商品，为国家经济建设及人类生活提供了诸多便利与支持。电力营销的理念引入，促使电力市场发生巨大变化，以客户需求与服务满意度为中心的电力营销根据市场导向的原则，成为供电企业的核心业务，电力所有生产、经营性活动均服务于营销业务的需要。电力营销有效开展需要对用户及需求市场进行大量研究，需要具备完善的售前和售后服务保障体系，需要分析大量的各种业务数据，提升电力供应安全及服务水平，这就要求电力企业运用大数据技术，大力推动数据分析技术的升级，开展数据采集、检测、处理、分析、实现企业内部数据的应用、共享、标准化、集约化、一体化，完善企业风险评价，提升企业运行效率，增强企业核心竞争力，实现企业经营效益最大化。因此，本文研究大数据挖潜技术在电力营销系统中的应用，具有一定的现实意义。

2.大数据发展应用现状

大数据技术得益于计算技术及网络通信技术的快速发展，而迅速发展的智能技术之一。1989年8月，第11届国际人工智能会议在美国底特律召开，这次会议上有科学家提出了Knowledge Discoveryin Databases（KDD），即知识发现的概念，随后一些大学教授和研究机构展开相应研究，1995年KDD&DataMining国际学术研讨会议正式举行，随后每年举行一次，会议主题是对人工智能数据挖潜等领域成果进行讨论及推广，促使数据挖潜技术快速发展，并取得了很多有价值的成果。目前国际上从理论、技术、应用维度方面对数据挖掘展开分析与研究，科学家们运用数据统计分析及概率相关理论、模糊技术、量子技术等多种理论与方法进行技术融合，解决复杂问题[1]。

我国数据挖掘技术研究开始于1993年，中科院合肥分院当时承担了一项国家自然科学基金项目，即开展人工智能领域的数据挖掘技术的研究。随后的一些年大数据研究逐步步入正轨，由大学教授、科研人员组成的团队开展一些学习算法、相关理论、数据挖掘技术际应用等研究。随着云计算、智能工程、mapreduce hadoop等技术应用日益广泛，大数据挖潜技术也应用到电力营销、网店运营、经济数据分析、餐饮服务、航空航天、铁路运输等很多领域。伴随着网络信息技术的快速发展，许多电力企业都积累了海量的、有价值的、多种形式的数据，，因此如何利用数据挖潜技术智能地、自动地发掘数据中的有效价值，为电力企业经营管理提供最佳决策，成为急需解决的问题。

3.电力大数据技术

3.1电力大数据特征

2006年，国家电网公司制定了“SG186”和“SG-ERP'信息系统规划，运用电力企业信息系统平台，通过8大主模块组装模式覆盖电力企业全部业务，并且构建了6个业务保障子系统。国家电网公司数据中心多年运营中，积累了海量的数据。这些电力大数据的特征归纳为灵活度高（Vitality），主要是数据动态变化，市场千变万化；体量大（Volume），目前电力数据的数据流GB ，TB级无法满足需要，已经达到PB ，EB ，ZB级别；类型多（Variety），主要包含结构化、半结构化、非结构化类型数据；价值大（value），电力数据蕴含着巨大的潜在价值；速度快（Velocity），电力数据以数据流的形态快速、动态的产生，数据处理的速度要求达到高速实时处理的特征；这称为“5V”特点，同时具有复杂度高（Complexity）的“1C”特点，总结起来就是“5C1V”。在分析和处理数据模型方面灵活度高，速度快，能够适应快速市场变化需求；在新的处理方法适应异构数据统一接入及实时数据处理的需求方面，系统复杂度高；从数据体量特征和技术范畴方面来看，电力大数据有着重要的、广义的背景，随着国家大数据平台建设完成和逐步应用，大量的企业运营数据得以积累应用及开发，为电力市场分析决策提供了必要的数据基础[2]。

3.2电力大数据分析技术

电力大数据的分析技术从海量的、模糊的、随机的、片断性的、原始的一些电力数据中，运用统计学、计算机科学等学科中的算法、分析理论等技术挖掘出内在的模态和规律，为电力企业决策人员提供必要的决策帮助。统计学分析在于使用均值、比例、众数、中位数、四分位数、极值、方差、标准差等统计分析方法对数据形态进行分析；采用泊松分布、均匀分布、二项分布、正态分布进行数据描述，采用二项分布假设检验、T检验、K-S检验、F检验、卡方检验、游程检验等判定检验方法对分布情况进行分析，从而发现数据结构、数据分析模型，掌握电力数据的稳定性情况及电力数据分布情况。如图1所示数据挖潜技术与统计学分析技术的关系。

3.3系统支撑平台技术

电力大数据的信息处理技术是基于查询发现有价值的信息。这主要运用数据库技术、分布式计算技术、流处理技术、内存储计算技术。底层存储技术HDFS/Hbase等进行超级规模数据的存储和处理；运用MapReduce进行分布式计算；流处理Storm/S4/Spark等技术解决电力数据的高效读取和在线的实时计算，离线处理框架MapReduce及Hive/Impala相关技术处理实时到达的、速度和规模不受控制的数据。如图2所示电力大数据平台结构图。

图2中构建了基于Hadoop文件的电力大数据平台分布式存储环境。数据采集服务按照预定规则将数据写入数据交换区，数据传输应用程序规划在HDFS之上，将交换区数据写入“数据存储区’，由“结构化数据抽取应用程序”将结构化指标数据抽取到“结构化分析数据存储区”，并作为HIVE服务的数据存储，由HIVE服务将数据以结构化数据服务的形式。

在电力营销数据分析中，主要对营销业务的指标体系的电费业务风险、客户停电信息、风电风险、电力服务、大客户服务等数据进行梳理、收集，对电力营销系统数据、TMR系统数据、客户服务系统数据等进行分析，从而研究电力营销业务关注的数据维度、统计周期，并收集相关业务数据。

电力营销大数据分析系统通过模型分析，运用数据挖据工具，选取适合的算法及模型，并对构建的模型进行符合度验证，再将分析模型封装，研究WebService、服务、算法三种调用方式，实现数据挖掘平台接入、调用的可行性及难易程度，快速响应分析需求，并确定系统的分析方案，最后数据系统利用可视化技术直接呈现给决策层，最终实现模型分析功能。以实现电力营销业务趋势预测、营销策略制订等，从而提高电力企业的经营发展水平以及经济效益。

4.电力营销系统技术架构设计

电力营销系统技术架构如图3所示，运用电力公司数据中心的系统集成，Hadoop平台实现数据采集；系统通过自身的高效传输、抽取、计算的特点，完成数据清洗、加载，最后利用数据挖掘软件平台，进行在线分析，完成营销业务分析报告，为电网企业提升营销服务品质，强化风险管理提供支撑，进一步提升企业的运营效益[3]。

根据电力营销系统特点及功能要求，基于J2EE框架，按照分布式处理架构、多层结构和面向服务架构（SOA）的开发思路，严格按照成熟、规范技术路线实现程序设计。系统开发按照数据挖掘的典型流程进行程序架构的设计，如图4所示。

5.结论

大数据时代背景已经形成，基于计算机及网络通信技术的大数据挖潜技术必将颠覆传统数据处理及分析的模式，在分析大数据发展应用现状基础上，对电力营销大数据特征，电力大数据技术特点进行分析，对电力营销大数据应用平台进行设计，提出具体技术架构及软件技术的实现思路，有利于提供合理的电力营销策略，提高电力营销业务的服务能力和质量，提升企业经济效益。

参考文献

数据分析分析技术例9

中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2017）03-0104-02

1 综述

1.1 简介

在数字化时代，需要新一代系统架构提升业务创新能力。在新一代系统架构中，大数据是核心要素。业务应用能否自主发现与自助获得高质量的大数据，就成为业务创新成败的关键。这就要在搭建大数据平台时，就着手大数据治理相关建设。

1.2 需求和意义

从某种意义上说大数据治理架构需要以元数据为核心、提高大数据质量、透明化大数据资产、自助化数据开发、自动化数据、智能化数据安全，提升大数据平台服务能力，让大数据平台变得易使用、易获得、高质量。

但是，目前很多技术解决方案存在诸多安全和效率隐患：业务系统多，监管力度大；数据量庞大且呈碎片化分布，急需提升大数据质量；数据格式不规范、难以在短时间内找到所需数据；数据在各阶段的应用角度不同，需要降低系统间的集成复杂度。

2 功能设计

2.1 总体架构

本文讲述的数据分析方法及实现技术是建立在Hadoop/Spark技术生态圈的基础之上，以实现用户集成处理、、清理、分析的一个统一的数据处理平台；按数据类别分为线数据、归档数据；按数据格式分为非结构化数据、结构化数据；按数据模型分类为范式化模型数据、维度模型数据；按数据采集频度分为非实时数据、准实时数据处理架构；并提供数据中心平台与安全管理方案，为企业级用户建立一个通用数据处理和分析中心。如图1所示。

2.2 在线数据

在线数据在线通过接口去获得的数据，一般要求为秒级或速度更快。首先应当将数据进行区分：在线数据、或归档数据。本平台中采用：Storm或Spark Streaming框架进行实现。Spark Streaming将数据切分成片段，变成小批量时间间隔处理，Spark抽象一个持续的数据流称为DStream（离散流），一个DStream是RDD弹性分布式数据集的micro-batch微批次，RDD是分布式集合能够并行地被任何函数操作，也可以通过一个滑动窗口的数据进行变换。

2.3 归档数据

归档数据是在线存储周期超过数据生命周期规划的数据，处理的要求一般在分钟级或速度更慢。通常归档数据的计算量、数据量、数据复杂度均超过试试数据处理。本平台中采用：Hadoop、Spark技术生态体系内的框架进行计算，这里不详细阐述。

2.4 非结构化数据

通常非结构化的数据不一定具备字段，即使具备字段其长度也不固定，并且字段的又可是由可不可重复和重复的子字段组成，不仅可以包含结构化数据，更适合处理非结构化数据。常见的非结构化数据包括XML、文本、图象、声音、影音、各类应用软件产生的文件。

针对包含文字、数据的为结构化数据应当先利用数据清洗、数据治理工具进行提取，这项工作目前仍依赖技术员进行操作，由于格式的复杂性所以难以使用自动化方式进行较为高效的批处理。在治理数据的过程中，需要根据情况对数据本身额外建立描述数据结构的元数据、以及检索数据的索引服务，以便后续更佳深度利用数据。

2.5 结构化数据

结构化数据具备特定的数据结构，通常可以转换后最终用二维的结构的数据，并且其字段的含义明确，是挖掘数据价值的主要对象。

本平台中主要使用Hadoop Impala和Spark SQL来进行结构化数据的处理。Impale底层采用C++实现，而非Hadoop的基于Java的Map-Reduce机制，将性能提高了1-2个数量级。而Spark SQL提供很好的性能并且与Shark、Hive兼容。提供了对结构化数据的简便的narrow-waist操作，为高级的数据分析统一了SQL结构化查询语言与命令式语言的混合使用。

结构化数据根据采集频度可以继续分类为：非实时数据、准实时数据。

2.6 准实时数据

通常准实时数据是指数据存储在平台本身，但更新频率接近于接口调用数据源的数据。适合用于支持数据和信息的查询，但数据的再处理度不高，具有计算并发度高、数据规模大、结果可靠性较高的特点。通常使用分布式数据处理提高数据规模、使用内存数据进行计算过程缓冲和优化。本平台主要采用Spark SQL结合高速缓存Redis的技术来实现。Spark SQL作为大数据的基本查询框架，Redis作为高速缓存去缓存数据热区，减小高并发下的系统负载。

2.7 非实时数据

非实时数据主要应用于支持分析型应用，时效性较低。通常用于数据的深度利用和挖掘，例如：因素分析、信息分类、语义网络、图计算、数值拟合等。

非实时数据根据数据模型可继续分类为：范式化模型数据、维度模型数据。

2.8 范式化模型

范式化模型主要是针对关系型数据库设计范式，通常稻菔遣捎玫谌范式3NF或更高范式。面向近源数据查询、数据主题的整合。范式化模型数据的数据存储区，建议使用并行MPP数据库集群，既具备关系型数据库的优点，又兼顾了大数据下的处理。

2.9 基于维度模型

维度模型数据主要应用于业务系统的数据挖掘和分析。过去多维度数据处理主要依赖OLAP、BI等中间件技术，而在大数据和开源框架的时代下，本技术平台采用Hadoop Impala来进行实现。Impala并没有使用MapReduce这种不太适合做SQL查询的范式，而是参考了MPP并行数据库的思想另起炉灶，省掉不必要的shuffle、sort等开销，使运算得到优化。

3 应用效果

本系统在不同的业务领域上都可以应用，以2016年在某银行的应用案例为例：该银行已完成数据仓库建设，但众多数据质量问题严重影响了数据应用的效果，以不同的数据存储方式，以更高的要求去进行数据的统一管理。通过组织、制度、流程三个方面的实施，以元数据、数据标准、数据质量平台为支撑，实现了数据管控在50多个分支，60个局，1000余处的全面推广，实现了全行的覆盖；管理了120个系统和数据仓库，显著提升了新系统的快速接入能力；通过14个数据规范和流程明确了数据管控的分工；数据考核机制的实施，使其在数据质量评比中名列前茅。

4 结语

本文介绍了大数据下数据分析方法及实现技术的大体设计和思路，从需求分析、总体架构和数据处理以及数据分析这几个方面来介绍。文章在最后介绍出了这种平台的应用效果。笔者相信这些思路和技术能够在业务中能得到很好的应用。

数据分析分析技术例10

中图分类号：TP311.13 文献标识码：A 文章编号：1674-7712 （2013） 12-0000-02

随着决策理论、计算机技术、人工智能、信息技术等各项先进技术的出现与发展，决策支持系统作为电子数据处理系统也有了得到了较快的发展。为了满足决策支持系统的发展需要，数据挖掘与数据仓库技术应运而生。可以说数据仓库与数据挖掘技术是建立在关系数据库、处理分布式技术以及网络技术的基础上而不断发展起来的，它能够通过分散的易购环境来解决数据源，并得到准确可靠的信息。要想解决信息技术在发展中的问题，就需要拥有大量的、准确可靠的信息。此时数据挖掘与数据仓库技术就发挥着非常重要的作用。以下就这两项技术的应用与发展前景进行分析。

一、 数据挖掘技术的概述

（一）数据挖掘技术的含义

所谓数据挖掘及时也就是在数据库中获得最有效的、潜在有用的、最有价值的以及最后能够被理解的模式的一种过程，从简单的含义来讲，数据挖掘技术也就是在大量的数据中获取更加有用的知识。它主要是建立在机器学习、模式识别等领域上发展起来的，并受到人们的广泛关注与青睐。在数据挖掘及时当中，数据分析是一项非常重要的技术，其中最为常见的分析方法有领悟式分析、相关关系分析、聚类分析等。其中聚类分析是最重要的一种分析方法。数据挖掘技术主要是为了满足用户的需要，将数据库当中的知识信息按照某种规律排列并提取出来的一项技术。在数据挖掘与分析的过程中，采用聚类分析法可以将含有一些主观因素的信息准确无误的传达给用户，满足用户的需要。

与传统支持查询为主的事务性操作数据库有着本质区别，具备以下四个特征：（1）面向主题。主题是一个抽象的概念。基于主题组织的数据，根据领域的逻辑内涵，分为独立的领域，互不交叉，并形成相应的数据视图，汇总表等，因此适于联机分析处理（OLAP）。（2）集成化。当数据从面向应用提取到数据仓库时，由于命名冲突、数据结构转换等的冲突，需要对原有数据进行抽取、清理、加工，形成一致的命名、变量度量、编码结构、物理属性等。（3）非违约性。由于数据仓库中的数据是历史数据，当数据集成到数据仓库后，不需要更改。仅限于装数据和访问数据；并不存在数据恢复，数据同步，修复死锁等复杂问题。（4）时变性。出于决策的需要，数据仓库中的数据需要标明时间参数，并随时间不断变化，即随着时间变化，不断有新的数据内容添加；不断导出和删除没用的数据内容；不断地重新综合数据。

（二）数据挖掘技术的具体步骤

在实际工作中，为了满足用户的需要，我们需要将数据挖掘技术运用在实际工作中，其主要工作流程为：首先需要对某一个问题进行定义；其次需要进行数据准备，并对一些数据进行预处理，了解其范围；再次，需要对数据库采取挖掘技术，获得需要的信息；最后，对获取的结果进行评估与解释、从狭义的角度来讲，数据挖掘也可以被定义为数据挖掘算法，它只是整个过程中的某一个步骤而已。

（三）数据挖掘技术的应用与发展前景

在实际工作中，数据挖掘技术所涉及到的理论知识有很多歌方面，其中主要包括模式发现构架、规则发现构架、微观经济学观点、基本概率和统计理论、基本数据压缩理论以及基于鬼马数据可理论等。其中模式发现构架也就是在整个源数据库当中发现只是模式的一个过程；规则发现构架也就是将去啊觉的信息与目标分为几个方面进行处理，以此来发现其中所蕴含的规则；基本概率和统计理论也就是将知识在一个源数据库当中通过概率进行随机分布的一个过程；微观经济学观点的存在主要是为了优化数据挖掘技术；基本数据压缩理论也就是需要将其当作压缩数据的一门技术；而基于归纳数据库理论也就是将数据挖掘技术当中一个对数据库的归纳方面。

在实际工作中，数据挖掘技术是近年来发展起来的一门新的技术，企业的快速发展、商业利益的不断强大会对其起到强烈的推动作用。根据统计，每年都会有新的数据挖掘方法与模型出现，越来越多的研究者也投入了该方面的研究。但是在其过程中，也有很多亟需解决的问题，例如数据挖掘方法的效率问题等。

二、 数据仓库技术的概述

（一）数据仓库技术的含义

随着社会的发展以及技术水平的不断提高，数据仓库技术也得到了飞速的发展。数据仓库技术主要是讲数据库中大量的数据通过整理分类，并将其贵纳入一个中央仓库当中，此时中央仓库可以对这些数据进行深入分析，最后满足用户的需要，以此支持管理者的决策。事实上，数据仓库属于一个整合式的、面向主题的一个数据整合，具有历史性与只读性的特点，它的主要目的也就是为了给企业管理者提供依据，以供他们决策。与数据挖掘技术相比，数据仓库技术可以使用户在很短的时间内从大量的数据库当中获得所需要的数据，而数据挖掘技术知识将数据库中有价值的信息挖掘出来。总而言之，数据仓库技术的运用使我们以全新的视角来认识数据的价值，使其充分发挥作用。

（二）数据仓库技术的组织形式

数据仓库技术是数据存储组织形式中的一项技术，根据其优先级别可以将数据仓库中所收录的数据分为四个层次，即：高度综合级、中度综合级、当前基本数据级以及历史数据级。在实际工作中，我们可以在多个数据库当中对一些原有的数据进行综合整理，使之进入当前基本数据级；在按照决策者的辅助决策来将数据进入到综合数据级中，经过实践的推移，这些原始的数据就会进入到历史数据级。不管是哪一级的数据，他们都是由元数据库进行组织并管理。所谓元数据库也就是对某一项数据进行阐释的其他数据，可以说是数据的字典。在数据仓库的基础上，我们可以将元数据库分为两个方面，由数据仓库的管理人员所操作的技术数据，技术数据是在数据环境由操作型向数据仓库转变的过程中所创建的，其内容为数据库端的源数据信息，包括了源数据名、属性和数据仓库中对应的转换数据，这些数据是管理员在数据仓库维护时明确数据信息的来源和位置的依据；用户与数据仓库之间采用的多维度商业模型中建立的客户端与服务器端的源数据映射，是由数据仓库用户使用的业务数据。这种业务数据能够提供给用户端直接的访问信息，而不必通过对数据库底层的开发技术进行了解。业务数据信息在业务运行过程中产生的与实际业务相关的数据，常用来开发决策支持工具。

（三）数据仓库技术的应用

将浏览器-服务器与客户机-浏览器两种应用模式有机结合而形成的一种应用模式也就是数据仓库技术在社会中的应用。数据仓库的客户端具有数据查询、交易、结果生成、报表形成等各种功能，而数据仓库的服务器就会向决策者提供相应的辅助服务，例如数据库的查询等。目前，在社会当中数据仓库技术应用最为普遍的形式是三层结构形式，也就是在客户机与服务器之间设置一个多维度的数据分析服务器，它的所用主要是为了规范与强化决策信息，并对两者之间的数据进行简化并处理，在整个过程中，它能够有效的减少数据传输的量，提高整个数据仓库的运行效率。

（四）数据仓库的发展前景。

近年来，随着社会的发展以及技术水平的提高，数据仓库技术也得到了飞跃的发展，并在社会的各个领域当中得到了广泛的关注与应用，在现代化、信息化的企业中充分发挥了该项技术的功能。数据仓库技术并不是将企业的数据库所代替，而是辅助数据库充分发挥其功能。数据仓库技术不仅能够满足用户的基本需求，还可以服务于高层领导者的决策，在领导者决策的过程中，数据仓库技术能够向他们提供更多丰富的信息资源，并对这些数据信息进行深入的分析，从而保证领导者的决策。但是从另一个方面来讲，正因为数据仓库技术的服务质量非常高，这就给数据仓库的建立加大的难度，即使数据仓库建立完毕，后期的维修与保养也必会造成更大的经济成本。

三、结束语

近年来，数据挖掘与数据仓库技术在我国得到了飞跃的发展，各个研究者也开始投入到该项目的研究当中，并取得了不错的成果。这两项技术在企业的信息处理当中发挥着非常重要的作用。随着社会的发展，数据挖掘与数据仓库技术在社会各个领域当中得到了广泛的应用，例如保险行业、营销行业、保健行业等领域当中用。随着各种计算机技术，如数据模型、数据库技术和应用开发技术的不断进步，数据挖掘技术和数据仓库技术也必将不断发展，以更科学优化的算法为各个领域提供数据分析的重要服务。

参考文献：

[1]张昀.数据挖掘技术研究[J].软件导刊，2009，9.