大数据分析毕业论文:多媒体大数据分析与搜索

现代社会中，大数据来源丰富，使得交通、医疗卫生、教育、安全等都发生了变化，而在智慧城体系中，监控视频是体量最大的大数据。基于此，我主要分享媒体大数据的三个挑战问题。第一，存不下，24小时产生的数据量积累得很大。第二，看不清，用眼睛看，横看竖看，还是看不清楚，可能有时候都要猜来猜去，还需要很有经验的人才能看出来大概。为什么？存的时候做了压缩，压缩时不知将来作何用，为了节省存储量，压得太狠了，再把它解开时基本看不清。第三，找不到。现在摄像头到处都是，摄像头拍到了，但是不是想要找的？不知道，即使看清楚了，一跨摄像头也就找不到了。所以摄像机网络跨摄像头搜索问题也是个难题。

超高效视频编码

解决压缩问题

第一个挑战，我们想办法找到最高效的编码来应对这个挑战。视频流是图像序列，在每个单独的图像里是有冗余的，通常叫“空间冗余”。相邻的像素或图像块会有一些相关性，这些相关性即是“冗余”，这种冗余可以通过滤波器的算法进行估算。如果参数对了，就可以用它去做预测，继而找到一些更简洁的表达方式，不需要那么多比特就可以压缩了，这就是空间冗余。其次是“时间冗余”，即一个图像序列，第一帧和第二帧有很多是连续的，背景几乎是一样的，它有很多东西是重复的，这个重复的就是冗余，我们管它叫“时间冗余”。第三种是“感知冗余”，行业里的人把它叫“编码冗余”。比如26个字母要怎么表达？给出8个bit或7bit，每个字母给的bit是一样的，学计算机的人都知道这种分法是不科学的，应该怎么分？按照它的信息熵来分，图像也是一样，每个像素表达的亮度、颜色在每类里分布不均匀，最好把出现概率高的那些单体给它比较短的码，把出现概率低的给长码，统计上面就会比较合理，对此我们称之为“熵编码”。如果这三种用好了，就有办法把图像或视频完美地压缩下去。

现在图像压缩实际达到的现状和理论有很大差别，但同时空间也很大。到现在为止，编码技术离理论上限大概还有百分之八九十的空间可以改进，因为在数学上我们很容易证明理论上限，若干个上限中可以取最低的上限，就很容易计算出有多大空间可以继续改进。这就是为什么视频编码领域这些年还在不停地发展，并且，每十年编码效率就会提高1倍。

在这样每十年翻一番的情况下，算法变得更复杂了，计算的复杂度换取了编码的效率。当然，这里有很多新的算法，以前因为硬件比较贵，不能让编码的器件成本太高，所以有些算法还行，只要算法太复杂就基本不用。现在不在乎这个，因为集成电路发展以后，算法愈来愈多，编码放进去后视频效果会越来越好。针对监控视频我们会有更好的方法，使它的效率更高。

从编码的角度，去空间冗余、去时间冗余和去编码冗余这三种技术可以把视频流里的冗余去掉，这三种技术包含了许多算法，有变换、滤波、运动补偿、熵编码等。去空间冗余最主要的工具是变化，把时域变到频域上再进行处理，对于空间的冗余主要是采用预测编码的方式去除，对于感知主要是通过熵编码去除。

面向对象检测、跟踪与识别解决模式识别问题

第二个挑战，对象检测、跟踪识别挑战。模式识别率再高、人脸识别再准，识别的准和不准取决于算法的好坏，还取决于在编码那端能不能提供支持。以往这两个系统像轨道一样完全平行，我们希望编码和识别能合作，把中间那堵墙翻过去或者拆掉。怎么拆掉？编码时要考虑怎么办。现在我们提出个支持是ROI（Region of Internet），就是编码时识别出来哪个区域可能是识别要用的区域，把这个区域定义成感兴趣区域，对于感兴趣区域要描绘出来，现在语法里对感兴趣区域有专门的描述，除了这个区域以外还包括其他的，比如GPS信息、摄像机参数信息。有了这个以后，在后面编码时，会针对编码参数进行调整，ROI区域压得轻一点，这样关键的信息丢失的会少一点。

有了这样的知识，可以用它架构友好的智能监控识别体系。现在即使有个算法很好，比如266，它编码的效率和AVS2是一样的，我说那也不行，为什么？因为你压完以后还有解，解的时候才知道哪个地方是可识别的。现在压的时候就知道哪个东西有用，哪个东西没有用，有用的可以压得轻一点，这样构建分析架构，底层是完全的视频流，视频流上面可以构架一个区域描述，不是有ROI么，这个“R”就是Region，根据区域描述，若干的区域构成个对象，它们的关联就可以构成事件，只要处理能力足够强，我就把这个东西表述出来了，这对识别非常有用。

以大规模视觉搜索

解决跨摄像头搜索问题

第三个挑战，跨摄像头怎么办？我们可以对跨摄像头的数据进行矫正，然后再进行一些后续的工作。这方面有很多工作已经开始做了，比如我们试验室学生搭了一个系统，你在北大校园的一个地方走，其他几个框是别的几个摄像头，从一个摄像头跨到另外一个摄像头的时候，现在有一个专门技术是再认证，一个人在一个摄像头里出现过，当他出现在第二个摄像头的时候，就可以被识别出来。因为有时候可能不是正脸，靠人脸识别已经不管用了，就要靠颜色、身体、步态、外形等综合识别。

要做好这个系统有一个重要的技术是能做到大规模的搜索。大规模的搜索这一块我们组有个很好的工作叫CDVS，它可以用很少的特征去搜索你要的东西，比如我用手机拍一张照片或者拍一个景色，拍完以后传送到服务器，搜索后会告诉你拍的是哪里。这个过程它需要你的特征选得非常好、非常准，然后有代表性，这样才能搜索得比较准。

可以用一组特征，这组特征我们把它命名叫“CDVS”，CD是一个紧缩的描述词，就是面向视觉搜索的紧缩描述词，这也是在国际标准化框架下面做的。前一段时间有个多媒体描述标准是MEPG7。

这里面的关键技术，一个是选择特征点，然后是选择特征，把这些特征进行聚合、压缩、进行点压缩，最后变得非常小。举例来说有多小，比如你照了个照片，这个照片有三、四兆大的尺寸，我们从中提出来大概500个bit，连1k都不到，就可以进行搜索了，最高可以到16k，16k检索的效率就更高，我们判断特征好不好是用召回率来判断，我们都希望召回率达到90%，低于90%就认为这个特征没有选好。什么叫召回率90%？我用完整的照片到库里搜出来的东西，和我用521个去搜，是不是有90%都在我搜的100个里面，如果是的话那你这个特征是可以的，这是一个准则。

后台的技术会涉及到数据压缩、计算机视觉特征提取以及机器学习和视觉挖掘。和特征、视觉有关的主要是局部描述，模式识别里有个非常好的描述词叫“SIFT特征”，它可以保持平移不变、旋转不变、伸缩尺度不变等。但是这个特征也有问题，一个是专利问题，另一个是耗费存储比较大，耗费计算时间比较大。

大数据分析毕业论文:综采工作面大数据分析初探

[摘 要]大数据时代对人类的生活、工作与思维产生变革性影响，深刻改变着商业及各个领域的面貌，“大数据”日渐成为各行业创新的助推器。作为煤炭行业也同样顺应时代，跟着时代的步伐前行，那么综采工作面又是煤炭行业发展的充分体现，更需要大量的数据分析，形成一套完整的、统一的管理系统，当前国内综采工作面复杂，数据记录不完善、分析不统一，对综采工作面的采煤机、支护形式等的选择不能达到最优化，所以综采工作面的大数据分析尤为重要。

[关键词]综采工作面 数据分析

1.引言：本文主要从综采工作面大数据的支撑下如何选择综采“三机”（三机指采煤机、刮板机、液压支架）展开探讨，综采工作面“三机”配套不能停留在简单的“经验类比”上，而应开发研制综采设备选型的大数据系统，避免在选型设计中受决策者个人偏见或感情色彩的影响。同时还要对系统中的主要环节进行动态优化设计，使其设计参数与实际运行参数得到统一。目前的综采工作面“三机”选型设计还是以“经验类比”为主，虽然基本上能够满足生产需要，但在某些环节上还存在着严重的不合理现象。

2.综采工作面大数据分析影响着综采“三机”的合理配套选择

2.1 采煤机的机型选择

采煤机机型选择之前要考虑一下数据：首先考虑地质条件，主要包括综采工作面内断层断距、走向、煤层倾角、煤质硬度等判断是否具备选择采煤机的条件，在地质条件适合综采的情况下再考虑其他因素如采高、每月计划产量、每刀生产能力、截深、功率、牵引方式，实际生产能力主要取决于采高、截深、牵引速度以及工作时间利用系数。采高由滚筒直径、调高形式和摇臂摆角等决定，滚筒直径是滚筒采煤机采高的主要调节变量，每种采煤机都有几种滚筒直径供选择，滚筒直径应满足最大采高及卧底量的要求。截深的选取与煤层厚度、煤质软硬、顶板岩性以及移架步距有关。截割速度是指滚筒截齿齿尖的圆周切线速度，由截割部传动比、滚筒转速和滚筒直径确定，对采煤机的功率消耗、装煤效果、煤的块度和煤尘大小等有直接影响。牵引速度的初选是通过滚筒最大切削厚度和液压支架移架追机速度验算确定。牵引力是由外载荷决定的，其影响因素较多，如煤质、采高、牵引速度、工作面倾角、机身自重及导向机构的结构和摩擦系数等，没有准确的计算公式，一般取采煤机电机功率消耗的10%～25%。滚筒采煤机电机功率常用单齿比能耗法或类比法计算，然后参照生产任务及煤层硬度等因素确定。

2.2 刮板机的选择

在选型时要确定的刮板输送机的参数主要包括输送能力、电机功率和刮板链强度等。输送能力要大于采煤机生产能力并有一定备用能力，输送能力应大于采煤机的最大生产能力，一般取1.2倍；电机功率主要根据工作面倾角、铺设长度及输送量的大小等条件确定；刮板链的强度应按恶劣工况和满载工况进行验，要根据刮板链的质量情况确定链条数目，结合煤质硬度选择链子结构型式。

2.3 液压支架的选择

液压支架的选型就是要确定支架类型（支撑式、掩护式、支撑掩护式）、支护阻力（初撑力和额定工作阻力）、支护强度与底板比压以及支架的结构参数（立柱数目、最大最小高度、顶梁和底座的尺寸及相对位置等）及阀组性能和操作方式等。此外还要考虑矿井采区工作面的煤层、顶底板及地质条件数据，依据不同类级顶板选取架型。

液压支架具备最基本的特点是（1）要顶得住：它的初撑力和工作阻力要适应直接和老顶岩层移动所产生的压力，使控顶区的顶板下沉量限制到最小程度；（2）要移得走：它的结构形式和支护特性要适应直接顶下部的岩层冒落特点，尤其要注意顶板在暴露后未支护下的破碎状态，要尽量保持该处顶板的完整性，支架底座的比压要适应底板岩石的抗压强度，以防止底板松软而使底板下陷不能移架。

2.4 “三机”合理配套选择工程复杂

从采煤机、液压支架、刮板输送机的选型参数中看到，综采设备的合理配套是很复杂的系统工程。满足生产能力要求采煤机生产能力要与综采工作面的生产任务相适应，工作面刮板输送机的输送能力应大于采煤机的生产能力，液压支架的移架速度应与采煤机的牵引速度相适应，而乳化液泵站输出压力与流量应满足液压支架初撑力及其动作速度要求；满足设备性能要求输送机的结构形式及附件必须与采煤机的结构相匹配，如采煤机的牵引机构、行走机构、底托架及滑靴的结构，电缆及水管的拖移方法以及是否连锁控制等。输送机的中部槽应与液压支架的推移千斤顶连接装置的间距和连接结构相匹配；采煤机的采高范围与支架的最大和最小结构尺寸相适应，而其截深应与支架推移步距相适应。如果综采没有大量数据的支持，“三机”的合理选择无从下手。如下图三机配套关系图（见图1）

3.综采工作面大数据分析的意义

3.1 经济效益方面

工作面生产前期需要决策“三机”选择，不同的决策者往往站在自己的专业领域考虑设备，这样在缺乏综合数据分析下往往造成“三机”设备不配套，不仅会造成大量资金的浪费，短时间内不能满足高产高效，又影响煤矿企业经济效益。

3.2 安全生产方面

井下作业条件特殊，尤其是工作面，时刻都面临着危险，如果没有工作面大量数据分析的支持，错误的选择“三机”，不能很好的配合工作，这样很可能会造成液压支架支撑不住顶板压力而造成顶板事故，工作面进度跟不上可能会诱发火灾、一氧化碳等事故，还有“三机”的机械故障也容易造成人员伤害等等。

小结

综采工作面既包括包括静态因素，井下温度、顶板淋水、顶板松软、底板松软、断层、瓦斯、煤层厚度、倾角等是静态因素，又包括动态因素，顶板状态随着采煤速度、采高以及支架的状态随时变化，顶板的初次来压、周期来压，受采动影响活化上部断层、岩层等等，大量的数据需要综合分析，才能总结出本地区综采工作面综采“三机”配套设备的形式、型号及技术特征，并提出了三机配套优选方案及注意事项，而在实际生产中，即使采用相同综采设备的不同工作面或不同矿井，其实际生产能力和全员效率可能有较大差距，如果客观条件不具备，即使选择生产能力很高的配套设备，也远不能达到提高生产能力的目的。高产高效综采工作面的三机选型应从实际出发，因地制宜，以数据分析为基础，具备什么档次的开采条件，就选用相应档次的配套设备。

实际工作中如何做到选型正确、先进配套、合理的“三机”选型，大数据分析可以起到非常重要的作用，但是大数据分析工作也是一项复杂的系统工程，涉及地质学、岩石力学、采矿学、机电和机制等多门学科以及各种现场数据，这就需要我们煤炭工作人员共同努力，将工作面大数据分析应用到矿山行业，减少辅助作业环节，提高集中生产化的程度。

大数据分析毕业论文:天津市教育信息化公有云及大数据分析平台设计与实现

摘 要随着科技的发展，公有云的需求越来越广泛。本文对天津市教育信息化公有云及大数据分析平台进行了设计与研究。

【关键词】公有云 平台设计 大数据

1 项目背景

1.1 公有云平台技术背景

从部署方式来看，云计算一般分为公有云、私有云和混合云三大类。其中公有云是指运营者建设用以提供给外部非特定用户的公共云服务平台；私有云平台仅为单一客户提供服务，其数据中心软硬件的所有权为客户所有，能够根据客户的特定需求在设备采购、数据中心构建方面做定制，并满足在合规性方面的要求。

1.2 国内发展趋势

包括中央电教馆在内的国内各大政府机构和省级政府，都在致力或倾向于将大型应用类业务向社会公有云/混合云转移。谋求更高效率、更低成本、更及时服务和更安全环境的云平台托管，是当今信息化系统服务的发展趋势。寻求广泛的服务托管、安全托管和运维托管是大势所趋。

1.3 天津市教育数据资源中心的现状

经过“十一五”、“十二五”两期建设，随着信息中心工作的不断发展，当前数据中心的数据量比“十一五”翻了两番，运维工作量更是翻了数番，这对数据中心运维人员的安全运维能力也提出了前所未有的高要求。目前，中心机房和工大机房的承载能力已接近饱和，结合国际和国内信息化的发展趋势看，未来单靠单个IDC数据中心已经难以满足未来天津市教育信息化发展需求。参照中央电教馆等云平台系统运维模式，我市教育信息化的发展迫切需要社会上有实力的企业建设的混合云解决方案，需要更加专业的团队，协助完成“十三五”各类海量资源类系统的承载工作，进一步助力我市教育系信息化工作上一个新台阶。

2 项目目标及分项需求

2.1 项目建设目标

本方案拟建设如下混合云模式：即由天津市教委教育信息化管理中心IDC机房构建未来各类系统的核心数据库、统一身份认证平台和数据分析和统计平台，由公有云企业提供公有云业务承载空间，负责提供海量视频和图片文件优化存储、对外、信息安全和数据灾备服务。公有云服务提供商需提供不少于三个异地灾难备份数据中心，提供24小时不间断同步和异步灾备服务。

2.2 云平台服务需求

云平台提供方应该参照本需求，提供整体的云平台解决方案，包含云主机、关系型数据库、非关系型数据库、简单缓存服务、负载均衡、内容分发网络、对象存储、大数据平台服务、多媒体平台服务、云安全服务、带宽等方面。

相关术语如下解释：

云主机：是一种简单高效、安全可靠、处理能力可弹性伸缩的计算服务。用户无需提前购买硬件，即可迅速创建或释放任意多台云服务器，有效降低IT成 本，提升运维效率，为用户快速构建稳定可靠的应用，降低网络规模计算的难度，使用户更专注于核心业务创新

非关系型数据库：数据库中的非关系型数据库，通常情况下指支持NoSQL的数据库服务或者云数据库，提供高效、实时、稳定的数据检索服务。

大数据平台服务：通过对数据收集、存储、变形、分析等过程，结合公有云分布式并行计算集群、机器学习集群、数据仓库联机分析集群实现数据智能推荐、应用定制开发、在线报表等需求。

3 项目建设技术路线及实现手段

3.1 公有云平台技术路线及实现

公有云厂商核心基础架构需具备10年以上的技术积累，需有上万名国内顶尖技术专家，并具有多款国内领先互联网产品的经验。公有云厂商需在数据中心技术，网络技术，安全技术，分布式存储技术，大数据处理能力方面有丰富的经验，形成了领先的技术能力和平台。

3.2 上线安检服务技术路线及实现

根据上线安检服务需求内容，制定内容检查清单，逐一进行核对和检查，确保系统正常上线。

3.3 多网络带宽服务、CDN服务技术路线及实现

当用户访问天津教委云平台时，浏览器将DNS域名解析请求发至本地DNS，本地DNS如果有缓存结果就直接返回IP，否则解析请求最终会到达CDNDNS服务器，它会根据本地DNS IP返回一个离用户最近的CDN边缘节点的IP给用户。

4 项目部署与实施

项目建设、系统部署和实施的具体时间安排如表1。

5 验收指标

验收的内容包括以下几个部分：

（1）验收内容一般包括软件验收（按功能要求的可执行软件、开发计划文档、 详细设计文档、质量保证计划、设备相应附件、设备运行、网络运行等）；

（2）验收评测工作主要包括：文档分析、方案制定、现场测试、问题单提交、测试报告；

（3）验收测试内容主要包括：功能度、安全可靠性、易用性、可扩充性、兼容性、效率、资源占用率、用户文档；

（4）文档验收标准一般包括：文档完备性、内容针对性、内容充分性、内容一致性、文字明确性、图表详实性、易读性、文档价值等；

（5）软件、硬件验收标准要符合国家和相关标准。

大数据分析毕业论文:破解多媒体大数据分析难点

智慧城市建设中，尽管我们布设了很多摄像头，但在多媒体数据处理方面还存在一些问题和挑战，需要理论、系统、技术等多领域专家共同协同，才能真正实现城市“智慧”。

智慧城市建设涉及多个领域、不同层面的数据资源获取、处理和分析。这些数据应用于医疗卫生，能够实现精准医疗；数据应用于教育行业，可以实施个性化教学；而城市监控数据为城市管理者所用，能够提升管理效率、改善民生服务。

目前，以北京为例，覆盖全城、多点布局的摄像头数量达2000万之多，而这些摄像头捕捉到的数据信息往往是在“睡大觉”。一般1～2个星期、最多1～2个月为一个周期， 过往信息就会被覆盖掉。

如何从这些信息中抓取有用数据、扔掉无用数据，是我们当前面临的难题。这类音视频多媒体数据要真正实现有效应用，面临三大挑战，即“存不下”、“看不清”、“找不到”。

优化编码技术研究

这三大挑战背后对应的技术问题是指我们的编码算法技术还有提升的潜力和空间。

一方面，随着摄像头数量不断增加，获取的信息量不断增长，可能导致“存不下”这一问题；另一方面，计算机识别图像与我们人眼看东西不同，需要较高的清晰度。目前，我们城市摄像头的数量基本已达到5米或10米一个，但人脸识别率还是较低，就存在“看不清”的问题。此外，摄像头物理参数的不同也会导致出现这一现象：我们肉眼看某人从A点走到B点，A点摄像头捕捉到这个人，但到了B点可能就“找不到”了，这就存在跨摄像头搜索的问题。

针对这三个问题，我们需要三种不同的技术来应对它。

针对“存不下”问题，我们需要从更新编码技术这个思路去寻找破解之道。高效视频编码是应对这一问题的直接技术手段。因为数字视频其实是一个数字图像序列，数字图像表现的是数字信号，而数字信号我们可以对其进行处理。经过分析，我们发现数字图像序列中有三类信息冗余，一是时间冗余，二是空间冗余，三是感知冗余，当然也有知识冗余等其他冗余。如果我们能够把这些冗余挤掉，就能更有效地压缩数字视频。

针对不同类别的冗余，我们必须采用不同的方法。理论上，我们通过矩阵运算或通过矩阵分析可以找到视频编码的上界即最大压缩程度。例如，针对2000×2000像素这样尺寸的图像，理论上我们能压缩2000倍，即压缩到2000：1，但实际上我们能做到的是600：1，中间还有很大空间，需要采用各种不同技术来突破。

编码技术变革

1993年第一代编码技术通过优化能把高清视频压缩到了1/75，2003年第二代编码技术把编码性能提高了一倍，2013年有了第三代编码技术，压缩能力又提升了一倍。以此类推，2023年将产生第四代编码技术，其压缩能力将达到1/600。我们把这种规律视为编码领域的摩尔定律，十年性能翻一番。

其实，从第一代到第三代编码技术，都是遵循最基本的编码框架结构，即从视频信号进来，切成块变换处理，再进行滤波运能估计。但基于这一架构，编码性能却能十年翻一番。如何实现？主要是采用多种数学工具，如预测编码、算术编码等，或者多种工具混合利用使得编码效率不断提升。通过观察分析，我们看到，在三代编码技术不断演变过程中，真正的变化是在预测与运动估计这一项上，每一代都不一样。这也会给我们提供启发，为寻找更高的编码效率，预测与运动应该是我们关注的重点。那么，为何预测可以得到更高的编码效率？因为预测主要解决的是空域冗余，随着时间推移，它一帧一帧往前处理。我们知道图像处理中很多东西不变化，这些不变化有效利用起来，就能获得较高的编码效率。

以监控视频为例，一般而言，在会议活动中，演讲人只有身体会偶尔摇动；在自然环境中，整片森林除了每天光照变化、叶子生长变化，其他都基本不变。因此，如果针对这些不变的因素实现建模，就能获得很高的编码效率。

因此，针对视频监控应用，我们提出了背景建模技术，通过背景建波计算出背景模型，之后做预测时，用这套模型去做计算效率就会很高。在国际三个主流编码技术团队中，中国技术团队在这一领域作出了较大贡献，并已有了实际应用。

AVS2有效提升编码效率

从性能上来看，以数字视频广播应用为例，中国超高清标准AVS2与目前H.265标准性能相当，而以监控视频应用为例，AVS2标准相比H.265标准，性能为\41.77%，即码率节省了41.77，性能提升了一倍。

对于监控视频而言，AVS2已经迈入新时代。

2015年1月，广电总局广播电视、计量检测中心针对AVS2标准和H.265标准专门做了一个对比实验，并得出这样的结论：AVS做超高清视频很有优势。对比视频编码标准HEVC，图像质量下降的平均值是：AVS2为2.9%，HEVC为3%。一般而言，下降的值越低越好，这也表明了AVS2的优势。

目前，已经有一些主流企业开始布局，准备用AVS2进军全球市场。而AVS2能够有效提高编码效率和精度，能够应对我们提到的第一个挑战――“存不下”。

针对“看不清”即识别不准这一问题，传统的做法是产生编码和识别编码是完全平行的两套，彼此不通气。通过背景建模技术，可以在编码时把前景测出来，这样的好处是可以进行分析、识别、提取。具体如何实现？以监控视频码流为例，我们可以理解为它是由两个码流构成的，一是背景码流，二是前景码流。测出前景后，我们可以处理、识别，并且跟踪分析我们关注的对象。基于这个想法，AVS2也就支持感兴趣区域（RCH），就是语法里面对前景手段你可以对其进行描述，这种描述可以采用特殊参数的编码，背景一次性接过去就可以。基于这样的构建我们可以很好地识别编码模型，从感兴趣的区域可以得到对象，根据对象之间的关联，以及它们失去关系时构建的时间，我们可以在编码的同时做运动分析、目标检测、对象行为分析等。

传统的方式下，识别时我们需要在视频流上找，但是通过背景建模技术，任务就变得简单很多。我们只需要知道背景是什么，就很容易把前景表述出来。AVS2国外版命名为HE1857，基于这一标准，可以对感兴趣的区域提取对于对象的表达，对动作和行为检测等。

针对跨摄像头检索“找不到”的问题，我们采用了CDVS（即紧缩描述式）技术。我们要想办法达成这些目标：描述能力强、紧凑，检索较快，特征规范化。这里面涉及到计算机视觉技术、机器学习技术等，最核心的就是兴趣点提取和表述，一开始我们用的是（SIFT）特征，也是近期最好用的一个特征。

但（SIFT）特征在具体使用中有很多问题，后来我们对其做了改进，改进之后的效果比较好，所以我们把这一特征又分成局部和全局。改进的倍数CDVS比SIFT好三倍，特征大小好一百倍。针对一千万幅图像库进行搜索，采用CDVS只需要500毫秒就能完成搜索，就是说如果我们要在一千万张图片中去找一张图片，半秒钟就能解决问题，搜索速度非常快，这只是在英特尔CPU上面就可以做到的。

总的来说，在智慧城市建设过程中，如果你要考虑多媒体大数据分析的时候，有三个比较大的挑战。

第一个压缩问题我们可以通过AVS2去应对，当然你可以有其他的办法。第二个模式识别问题可以通过支持感兴趣区域的AVS2、面向监控的AVS2来解决。第三个跨摄像头搜索、视频搜索问题，其实可以用CDVS这一标准去解决，当然也有其他更好的技术来解决。在智慧城市建设方面，尽管我们现在装了很多摄像头，但离具体的应用还是有一段距离，所以需要理论、系统、技术等多领域专家共同协同，才会有一个较好的结果。

大数据分析毕业论文:大数据时代下数据分析理念探究

【摘 要】人类已经步入到信息化时代，大规模的数据信息传递业已被广泛运用。传统意义上的信息不对等形成的差距条件不见了，大数据背景下的数据分析可以为各个组织带来更大价值。本位分析了大数据的相关概念及大数据时代背景下进行数据分析的相关理念。

【关键词】大数据时代；数据分析理念

前言

国内外在信息技术领域突飞猛进，越来越多地运用信息技术，大规模的信息与数据信息借助移动互联设备、互联网、社交工具、云终端以及物联网等进行传递，人类业已步入到大数据时代，数据信息的大批量传递对各个组织的决策成本产生了较大影响。

一、大数据概述

1.大数据的定义。如今人们尚未就大数据的概念取得一致意见，主要存在着下列三种看法。首先，它指的是运用相关信息技术，分析、整合大量数据，并获得举足轻重的信息汇总成果，为用户提供相关资讯。其次，认为大数据指的是一台计算机，其处理能力比较强大。第三，它指的是在限定时间内拆解与分析数据中的相关信息，获取关键信息的信息处理技术。

2.特点。第一是具有鲜明的社会性。它能够汇集全部数据与信息，以互联网方式连接绝大多数领域，以信息劳动取代了传统的手工劳动，借助大数据处理技术创造更大的价值。第二是其运用范围非常广泛。大数据时代朝着纵深方向持续发展，信息技术业已对人们的生产生活产生了较大影响，在整理、储存、融合与处理大数据方面都出现了较大变化，推动了社会经济的快速发展。第三是大数据是公开的，在当前的大数据背景下，能够公开所汇总的信息与数据，将诸多领域交换以及运用这些信息。既能够确保数据用户的相关隐私，也可以为相关机构和组织更好地利用大数据环境的优势，满足人们在工作、生活以及学习领域的需求。第四，体现出强烈的动态性。人们可以从大数据处理的结果中得到关键性的信息，然而外部环境随时都可能会发生这样那样的变化，且任何时间都会形成诸多信息和数据，因此大数据时代具有强烈的动态性。

二、大数据时代下数据分析理念探究

1.挖掘数据价值的理念。以匹配广告为作为研究事例，重点涵盖了两种类型的数据，首先是广告库，它涵盖了广告库与相关广告的具体客户信息。这种方式适宜于运用在传统类型的数据库中。其次是顾客观看了广告后的相关行为。人们可以有效地结合上述两种数据，借助相关算法来表现其价值。在具体实践中，能够充分地感受到信息与数据分析的优势。可以为顾客提供所需要的数据与信息，借助群体行为、群体智能技术，将其与以往顾客的具体使用效果做出比较和分析，采取相关的信息反馈机制，向用户提供最优质的数据与信息，或者是查询与搜索相关信息。

2.深层处理与去伪存真的理念。在具体数据分析时，应该严格按照相关的数据分析流程，对相关数据进行深层处理以及去伪存真。大数据业已运用到生产生活的方方面面，在不同地区以及不同行业间发生着相应的转化，逐步取代了传统形式的信息数据处理方式和技术。在大数据背景下，借助先进的数据分析技术，将搜集到的多种复杂信息变换成计算机能够识别的信息和数据，并对其进行分类与整合，在具体的整合分类中，剔除完全不具备实用价值的信息，深层次处理余下的信息与数据，将获得的处理结果转换到具体运用中。受到了大数据背景的强烈影响，庞大的数据规模非但会影响数据的具体处理结果，反而会为用户带来更具有价值的信息。且在数据分析与处理过程中要逐步搜集与积累相关数据。

3.把握数据分析的相关变量。之前的数据分析技术均是先假设相关变量，然后对相关结果实施线性分析。这是传统意义上的数据规模非常小，处理方法也比较简单。然而，大数据背景下，出现了庞大的数据规模，只采取线性处理技术来处理与分析显得不太现实。计算机和大数据的关系非常密切，虽然数据的数量和相关变量持续变化，然而这些变量是明确的、有规律的，不必再假设相关变量，借助数据分析技术就可以获得所需结果。

4.合理地运用统计学思想。在大数据背景下，传统意义上的抽样分析不能满足大数据分析的要求，应该采取统计学思想，更新抽样理念，将总体当作样本，探讨与某物有关的全部数据，不再依赖极少数数据样本，如此方能充分地把握事物的具体变更与发展过程，有效地处理数据表露出的相关信息。更倾向于从纷繁芜杂、不合乎常理的信息与数据中把握事务的具体状况，进一步理解数据分析的严谨性，而不再局限于只追求精确的数据。通过分析数据网络的彼此联系，不必把握反复变化的因果关系，通过分析处理相关数据，更准确地反映数据变更背后的真实状况。采取统计学思想，对收集到的相关信息与数据实施针对性较强的分类处理，更好地把握事物的具体变化情况，为人们做出正确决策提供可靠的依据。

结语

大数据涵盖了海量的信息和数据，通过云计算平台实施规模化的处理和收集活动，构建相应的数据库，对数据进行分流；数据分析理念可以进一步阐述世界、感官享受以及物质领域中的复杂网络关系，借助数据挖掘等在内的多种方法进行分析与处理，使相关数据结果有效地契合实际状况。为人们满足实际需要而进行数据分析与做出决策提供可靠的依据。

大数据分析毕业论文:基于大数据分析指导风景园林研究方法

【摘要】：随着大数据时代到来，城市已变成“信息城市”拥有更高覆盖面和高精度的、即时且多维的数据正在改变我们对城市复杂性的认识方式，并带来新的契机来理解以人为本的设计方法。在新的数据环境下，对现有的风景园林分析方法存在的问题解决提供了一种数据增强的分析方法和工作框架。风景园林专业中传统的设计分析框架来指导园林景观设计已经远不能满足瞬息万变的时展。传统的设计分析架构中如历史文脉分析、竖向分析、区位分析、功能分析等从大数据概念的角度去看其分析内容以及分析数据来源都是极其匮乏片面不能反映规划设计区域内各种问题。单从传统分析框架中数据来源数量的单位是家用电脑常用单位MB而大数据分析所提供的数据量是以PB到EB反映了数据来源质的飞跃，而分析内容因互联网高速发展以及广泛普及人们的参与体验增加传统的单方面区域功能分析以不能符合以人为本的设计理念，其分析内容应当更加以人的视角来做分析所做分析更加多元化。

【关键词】：大数据分析、景观分析、研究方法。

解决问题途径

新的数据环境下对风景园林分析体系是一种定量认识，并体现为4个方面的变革（空间尺度、时间维度、研究单位、以及研究方法）这些变革促进了风景园林设计的变革，并提供了一个民主公平开放的公共平台。将大数据应用到风景园林分析中首先应明确所分析内容类别种类，其次根据从所分析内容删选整合出大数据中有用信息并将其数字化这些数据包括传统数据以及动态数据，再通过科学分析法对分析内容进行可视化分析和建模输出可视化成果【2】。通过成果分析、情景假设又将有所调整各项分析成果将在比对中得到最终检验。

大数据分析内容制定方法

随着信息互联网普遍率增高人们可以轻松分享各类信息这对风景园林设计分析的开拓是至关重要的，设计分析中最小单位可以统计到个人，以及每个人的思想变化对待不同问题的看法都可以通过大数据来提供。这些就可以大大的扩展风景园林分析的内容可以从人视的角度分析问题而不仅仅是以区域空间功能上单方面的片面分析。所以其所分析内容更加具有生活性多元性，这对设计分析的内容是具有变革性的影响，因为设计师设计的好坏需要接受民意的考察，再根据民意最关心的设计内容作为风景园林设计分析内容的选项所以每一项分析内容都是根据实践而得来的。实地调研也不会掌握全部数据，但是大数据可以帮助我们了解当时的情况，借助大数据分析指导风景园林设计具有针对性、多元性同时因互联网具有即时性其所分析的内容也具有即时性客观性。

大数据信息来源筛选方法

地球轨道上的遥感卫星，全球定位系统，配有三维激光扫面设备的无人机，无处不在的摄像头，便携式数码照相机，全球将近20亿的智能手机用户【1】。在今天大量涌现的城市数船不仅是可供分析的新材料， 更是探知未来方向的共具。大量来自云端的历史数据和即时的关于景观和社会文化背景的大数据，为我们有效的设计以及管理景观带来无限景观数据的机会。但是必须清楚这些量的大数据是一把双刃剑。首先因为数据本身并不系统均衡而带有偏差歧视。其次数据如此之多有用信息如同珍珠埋藏在泥沙里。第三数据信息最多只能反映当下告诉我们过去的状态，并不能告诉我们未来。因此我们必须要理性看待这些海量数据，突破传统数据统计的方法处理这些数据最终帮助我们在景观设计时借组有用数据分析进行科学的设计。因此我个人总结出大数据结合风景观园林设计几点意见和创想。

首先我们需要在风景园林定量研究中流理一种价值伦理。风景园林研究的的成果， 特别是可视化成果帮助设计更加理性准确快捷，其外表给他人一种可争辩”的印象。然而一个看似客观的数据， 却也十分容易被其他目的利用而塑造一种权威 。 因此，对于数据分析的应用需要更多的基于社会学的思考， 以明确不同数据定量分析服务的主体是谁， 目的是什么 。

其次，我们仍需警惕定量分析的滥用有可能导致一种庸俗。数据无法驱动所有的风景园林设计活动，许多时候定量分析和定性存在角力。定量研究中注重数据的准确性、单位统一性关注于实证的研究。但这就存在一些解释力不足的维度，比如环境美学方面定量无法用数据准确性阐述美的观点，这是也就需要定性具有一定感性的介入。

大数据整合分析内容可视化方法

将收集到的大数据可视化分析对于风景园林分析问题是一种新的表达方式，这样的分析结果将完全打破传统区域空间功能简单的分析。而是第一次站在人的视角看待分析结果，比如通过大数据分析出区域内人们对景观要素的兴趣点、通过谷歌地图近几年内区域内路况程度、以及区域内城市扩建面积增大对于村庄的影响、或通过社交评论平台人们对于建成景点的关注程度等等的分析成果都是对原有传统分析的突破。

但对于基于大数据新的分析结果应用于分景园林分析需要有突破原有在整合数据是观念才能适应于分析整合大数据的观念思想。传统的数据分析思想应做三大转变，一是转变抽样思想，大数据时代，我们面对的数据样本就是过去资料的总和，样本就是总体，通过对所有与事物相关的数据进行分析，既有利于了解总体，又有利于了解局部。二是转变数据测量的思想，要乐于接受数据的纷繁芜杂，不再追求精确的数据。我们应该接受纷繁芜杂的各类数据，不应一味追求数据的精确性，以免因小失大，比如都对于城市某条道路路况分析不能只单纯调研近期路况而查看近10年这一带的路况。三是不再探求难以捉摸的因果关系，转而关注事物的相关关系。由于数据规模巨大"数据结构复杂以及数据变量错综复杂，预设因果关系以及分析因果关系相对复杂于是在大数据时代分析数据不再探求难以琢磨的因果关系转而关注事物的相关关系。

结语

信息城市的复杂性迫切地要求不同以往的解读方式， 以确保不同规划设计手段干预下的城市发展的可持续性 。新的数据时代到来风景园林设计与城市可持续发展新的契机。借助于大数据分析作为一种规划设计的工具理性在城市中从人的角度定量理性研究展现出了其巨大的潜力，并直接颠覆了传统设分析问题价值看法。大数据时代总结出一套从问题中筛选出分析内容，再通过大数据中有用信息筛选后进行可视化成果研究的科学套路流程，这为大数据分析景观设计带来了新的思路。

大数据分析毕业论文:大数据分析在医院管理中的应用

摘要：随着医院信息系统的快速发展，为医院带来了海量数据。对这些数据的有效利用、分析，挖掘其中隐含的信息，能为医院管理提供更好的决策支持。本文从临床信息数据分析出发，在资源配置、医疗监管、临床决策支持、健康体检分析等方面进行大数据应用分析。

关键词：大数据分析；医院管理；应用

1 概述

根据卫计委公布的数字，2014年前11个月全国医疗卫生服务机构诊疗量（门诊和住院）达到67.7亿人次，其中三级医院达到12.1 亿人次。这些医院信息数据量十分巨大，它涵盖了患者的人员信息、诊疗信息、用药信息和费用信息，而这些信息又为流行病学研究、临床医学研究、医保控费标准制定、临床路径和药品研究及精准医疗提供了数据基础。

如何合理利用这些数据，分析、挖掘出其中隐含的信息，并加以应用，实现为患者提供更好的诊疗及保健，帮助医生找到更好的诊疗方案、提高医疗质量，帮助医院决策者调整策略、减少风险，降低医疗费用等需求方面，将是未来医院面临的挑战之一。

2 大数据的产生

当前大多数医院都已完成了医院信息系统的建设，各专业的医疗信息以结构化和非结构化的形式存在于各子系统中，如HIS、LIS、EMR、PACS等。

医院信息主要包含HIS（医院信息系统）和CIS（临床信息系统）两大系统中。HIS的主要目标是支持医院的经营管理与查询业务，提高医院的工作效率，包括门诊收费、药房药库、住院收费、人力资源、财务查询等。CIS的主要目标是支持医院医护人员的临床活动，收集和处理患者的临床医疗信息，为患者提供更好的服务，包括门急诊和住院医生工作站系统、电子病历系统（EMR）、护士工作站系统、护理病历系统（NIS）、影像归档和通信系统（PACS）、实验室系统（LIS）、药物咨询系统等。

2.1数据量的计算

2.1.1业务交易规模计算 按中等规模二甲综合医院测算，医院预计的日均2000人次，如平均每人次在挂号、医生诊间、收费、医技科室等16个科室各发生1笔业务，则每天的业务量就是：2000×16×1=3.2万笔。门诊部分信息系统按每业务数据库交易数10计算，则每天的数据库交易数为：3.2万×10=32万次。

假设医院住院患者400人次，每人次主管医生、护士或会诊医生各发生20笔业务，药房、收费、手术、麻醉、医技科室等各发生3笔业务，则每天的业务量就是：400×3×20+400×18×3=4.56万笔。住院部分信息系统按每业务数据库交易数10计算，则每天的数据库操作数为：4.56万×10=45.6万次。

由上，总的日数据库交易次数是：32万+45.6万=77.6万次，则10年的交易次数为776万次。

2.1.2结构化数据量计算 以二甲综合医院门诊量2000人/d，住院量400人/d计算。

每门诊人次含挂号收费信息、处方信息、检查信息、输液信息、处置信息、门诊病历信息等系统数据估算量为0.1M，则每日门诊数据量=0.1M×2000=200M。

每住院人次每日含收费信息、医嘱信息、护理信息、药品信息、检查信息、输液信息、处置信息、住院病历信息等系统数据估算量为0.5M，则每日住院数据量=0.5M×400=200M。10年总数据量为（200M+200M）×365×10=1.46TB。

2.1.3医学影像数据（非结构化数据）计算 以二甲综合医院门诊量2000人/d，住院量400人/d计算。

如门诊25%患者平均每人次在医学影像科室-X线、MRI、CT、心电、超声、胃肠镜、病理等部门进行图像采集1次，平均数据估算量为：5MB，则每日门诊数据量=5MB×1×2000×0.3=2500MB。

如住院20%患者平均每人次在医学影像科室-X线、MRI、CT、心电、超声、胃肠镜、病理等部门进行图像采集1次，平均数据估算量为：5MB，则每日门诊数据量=5MB×1×400×0.2=400MB。10年数据量为（2500MB +400MB）×365×10=10.6TB。

以上二甲综合性医院10年结构及非结构化数据量总和为1.46TB + 10.6TB = 12.06TB。

2.2大数据的可用性

2.2.1大数据静悄悄的躺在各自系统的结构中，除了定向的查询，几乎没得到好的使用。能否将这些大量分散的信息进行整合，把这些以结构化形式存在的数据准确地识别，并且赋予他们词、词组和数字等逻辑关系，将是推进大数据分析的关键。这种全结构化的数据库由于覆盖信息面广，数据结构程度高，可以按照患者、药剂、检验、检查和管理的不同需求提供更精准的信息，从而更好地帮助制定医疗提高服务。

2.2.2数据本身不直接带来价值，对于数据的应用来说，最终的产品不管是临床决策辅助系统还是医保控费系统，能否得到临床一线工作者和医药经济学家的认可，是区分产品优劣的关键点。

2.2.3达到一定的信息系统的覆盖率，打通各信息系统之间的孤岛。单一系统的数据虽然有价值，但是由于它不能反应出连续的医疗记录，往往不能作为决策参考二次利用，这时如能取得多个系统的数据进行协作分析，提升医疗数据分析变现的可能性。

3 大数据分析的应用

通过分析临床信息数据，运用相关数据挖掘算法和统计学知识，从数据中挖掘出潜在有价值的诊疗模式、决策知识，帮助医生找到更好的诊疗方式和临床路径，提高医疗质量；帮助医院决策者调整策略，做出正确决策。

3.1分析患者来源，调整资源配置。根据患者的就医记录大数据，分析出患者就诊时段，相应的该时段就诊患者的诊断、年龄层、性别、同药理药品使用量、复诊次数、复诊周期等来确定相对患者属性，并针对这些属性，按正态分布进行医疗资源合理优化配置，按诊断配置医生，按用药做好药品准备，按年龄层、性别调整服务细节，按复诊人群自动分配诊间等，从而达到相应服务资源在各个层面的投放。

3.2大数据用于临床决策支持 临床决策支持系统分析医生输入的诊断、医嘱、处方等，将其与临床知识库相比较，从多个属性上比较其差异，从而提醒医生防止潜在的错误，如用药辅助支持系统。通过部署这些系统，医院可以降低医疗事故率和差错。

大数据分析可以使用图像分析和识别技术，识别医疗影像（X光、CT、MRI）数据，将相近或相识的图像进行对比，并将其他的医疗影像诊断展示出来，从而给医生提出诊断建议。

3.3健康体检 健康体检的目的是发现潜在隐患。体检机构对受检人员健康数据进行采集、初检、总检，从而得到当前的健康状况；进一步对健康数据的分析，能针对不同区域、人群分析出区域受检人员中的慢病特征、风险预测等信息，并辅助以健康相关危险因素及制作健康监测评估图；通过全基因组测序数据分析，可明确个体的患病风险。

健康体检机构对每一位受检单位进行个性化的健康体检套餐设计，并从个人体检数据所反映出的健康问题，通过大数据分析，给予个体受检人员以后的体检套餐规划。

3.4医疗效益分析 对同一患者来说，医疗机构不同，医疗护理方法和效果就不同，治疗成本也存在着很大的差异。

效益分析通过对患者体征数据、医疗费用数据和各诊断的治疗结果数据在内的大型数据集的分析对比，可以帮助医生判断最有效和最具有成本效益的治疗方案，有可能减少过度治疗或治疗不足的情况发生。

数据分析也可以带来业务流程的精简，通过分析成本，提高质量并给患者带来更好的体验，也给医疗服务机构带来额外的业绩增长潜力。

4 大数据分析的其他相关考虑

4.1大数据分析的模型建立 大数据分析建模方法繁多，面向过程建模、面向数据建模、以信息为中心建模，决策分析方法也多种多样，DEA方法、树形决策、风险决策、模糊决策等，所得到的结论可能会千差万别，因此，需再依据回归分析法计算相关性，确定是否存在线性因果关系，否则经分析得到的结论与大数据分析的初衷背道而驰了。

4.2用于临床支持的局限性 由于患者复合病关系复杂，在诊断过程中医生对某些病症给出确切诊断有时会有差别，利用大数据分析，对相同主诉和病征进行分门别类区分，其与分析的样本数量密切相关，样本越大，分析的可靠性越高，但样本量如何才算大，很难界定，这样分析出来的结论与实际情况有偏差，反而给大数据分析的作用造成负面影响。

5 结论

大数据分析的应用，必定能给医疗行业造成积极地影响，随着技术的不断进步，医院数据量不断提高的基础上，大数据分析技术在医疗领域的作用必定越来越明显。

大数据分析毕业论文:浅谈大数据时代的数据分析与挖掘

摘 要：随着改革开放的进一步深化，以及经济全球化的快速发展，我国各行各业都有了质的飞跃，发展方向更加全面。特别是近年来科学技术的发展和普及，更是促进了各领域的不断发展，各学科均出现了科技交融。在这种社会背景下，数据形式和规模不断向着更加快速、精准的方向发展，促使经济社会发生了翻天覆地的变化，同时也意味着大数据时代即将来临。就目前而言，数据已经改变传统的结构模式，在时代的发展推动下积极向着结构化、半结构化，以及非结构化的数据模式方向转换，改变了以往的只是单一地作为简单的工具的现象，逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论，并论述了建设数据分析与挖掘体系的原则，希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示，仅供参考。

关键词：大数据；数据分析；数据挖掘；体系建设

引言

进入21世纪以来，随着高新科技的迅猛发展和经济全球化发展的趋势，我国国民经济迅速增长，各行业、领域的发展也颇为迅猛，人们生活水平与日俱增，在物质生活得到极大满足的前提下，更加追求精神层面以及视觉上的享受，这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代，数据信息的作用和地位是不可小觑的，处理和归类数据信息是达到信息传递的基础条件，是发展各学科科技交融的前提。

然而，世界上的一切事物都包含着两个方面，这两个方面既相互对立，又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性，我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件，促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时，还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷，需要其客观、正确地使用、处理数据信息，完善和健全数据分析技术和数据挖掘手段，通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据，做好数据挖掘技术工作。

1 实施数据分析的方法

在经济社会快速发展的背景下，我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步，使其发展更加全面化、科学化、专业化，切实提升了我国经济的迅猛发展，从而形成了一个最佳的良性循环，我国也由此进入了大数据时代。对于大数据时代而言，数据分析环节是必不可少的组成部分，只有科学准确地对信息量极大的数据进行处理、筛选，才能使其更好地服务于社会，服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知，大数据具有明显的优势，在信息处理的过程中，需要对大容量数据、分析速率，以及多格式的数据三大问题进行详细的分析和掌握。

1.1 Hadoop HDFS

HDFS，即分布式文件系统，主要由客户端模块、元数据管理模块、数据存储服务模块等模块组成，其优势是储存容量较大的文件，通常情况下被用于商业化硬件的群体中。相比于低端的硬件群体，商业化的硬件群体发生问题的几率较低，在储存大容量数据方面备受欢迎和推崇。Hadoop，即是分布式计算，是一个用于运行应用程序在大型集群的廉价硬件设备上的框架，为应用程序的透明化的提供了一组具有稳定性以及可靠性的接口和数据运动，可以不用在价格较高、可信度较高的硬件上应用。一般情况下，面对出现问题概率较高的群体，分布式文件系统是处理问题的首选，它采用继续运用的手法进行处理，而且还不会使用户产生明显的运用间断问题，这是分布式计算的优势所在，而且还在一定程度上减少了机器设备的维修和维护费用，特别是针对于机器设备量庞大的用户来说，不仅降低了运行成本，而且还有效提高了经济效益。

1.2 Hadoop的优点与不足

随着移动通信系统发展速度的不断加快，信息安全是人们关注的重点问题。因此，为了切实有效地解决信息数据安全问题，就需要对大量的数据进行数据分析，不断优化数据信息，使数据信息更加准确，安全。在进行数据信息的过程中，Hadoop是最常用的解决问题的软件构架之一，它可以对众多数据实行分布型模式解决，在处理的过程中，主要依据一条具有可信性、有效性、可伸缩性的途径进行数据信息处理，这是Hadoop特有的优势。但是世界上一切事物都处在永不停息地变化发展之中，都有其产生、发展和灭亡的历史，发展的实质是事物的前进和上升，是新事物的产生和旧事物的灭亡，因此，要用科学发展的眼光看待问题。Hadoop同其他数据信息处理软件一样，也具有一定的缺点和不足。主要表现在以下几个方面。

首先，就现阶段而言，在企业内部和外部的信息维护以及保护效用方面还存在一定的不足和匮乏，在处理这种数据信息的过程中，需要相关工作人员以手动的方式设置数据，这是Hadoop所具有的明显缺陷。因为在数据设置的过程中，相关数据信息的准确性完全是依靠工作人员而实现的，而这种方式的在无形中会浪费大量的时间，并且在设置的过程中出现失误的几率也会大大增加。一旦在数据信息处理过程中的某一环节出现失误，就会导致整个数据信息处理过程失效，浪费了大量的人力、物力，以及财力。

其次，Hadoop需求社会具备投资构建的且专用的计算集群，在构建的过程中，会出现很多难题，比如形成单个储存、计算数据信息和储存，或者中央处理器应用的难题。不仅如此，即使将这种储存形式应用于其他项目的上，也会出现兼容性难的问题。

2 实施数据挖掘的方法

随着科学技术的不断发展以及我国社会经济体系的不断完善，数据信息处理逐渐成为相关部门和人们重视的内容，并且越来越受到社会各界的广泛关注和重视，并使数据信息分析和挖掘成为热点话题。在现阶段的大数据时代下，实施数据挖掘项目的方法有很多，且不同的方法适用的挖掘方向不同。基于此，在实际进行数据挖掘的过程中，需要根据数据挖掘项目的具体情况选择相应的数据挖掘方法。数据挖掘方法有分类法、回归分析法、Web数据挖掘法，以及关系规则法等等。文章主要介绍了分类法、回归分析法、Web数据挖掘法对数据挖掘过程进行分析。

2.1 分类法

随着通信行业快速发展，基站建设加快，网络覆盖多元化，数据信息对人们的生产生活影响越来越显著。计算机技术等应用与发展在很大程度上促进了经济的进步，提高了人们的生活水平，推动了人类文明的历史进程。在此背景下，数据分析与挖掘成为保障信息安全的基础和前提。为了使得数据挖掘过程更好地进行，需要不断探索科学合理的方法进行分析，以此确保大数据时代的数据挖掘进程更具准确性和可靠性。分类法是数据挖掘中常使用的方法之一，主要用于在数据规模较大的数据库中寻找特质相同的数据，并将大量的数据依照不同的划分形式区分种类。对数据库中的数据进行分类的主要目的是将数据项目放置在特定的、规定的类型中，这样做可以在极大程度上为用户减轻工作量，使其工作内容更加清晰，便于后续时间的内容查找。另外，数据挖掘的分类还可以为用户提高经济效益。

2.2 回归分析法

除了分类法之外，回顾分析法也是数据挖掘经常采用的方法。不同于分类法中对相同特质的数据进行分类，回归分析法主要是对数据库中具有独特性质的数据进行展现，并通过利用函数关系来展现数据之间的联系和区别，进而分析相关数据信息特质的依赖程度。就目前而言，回归分析法通常被用于数据序列的预计和测量，以及探索数据之间存在的联系。特别是在市场营销方面，实施回归分析法可以在营销的每一个环节中都有所体现，能够很好地进行数据信息的挖掘，进而为市场营销的可行性奠定数据基础。

2.3 Web数据挖掘法

通讯网络极度发达的现今时代，大大地丰富了人们的日常生活，使人们的生活更具科技性和便捷性，这是通过大规模的数据信息传输和处理而实现的。为了将庞大的数据信息有目的性地进行分析和挖掘，就需要通过合适的数据挖掘方法进行处理。Web数据挖掘法主要是针对网络式数据的综合性科技，到目前为止，在全球范围内较为常用的Web数据挖掘算法的种类主要有三种，且这三种算法涉及的用户都较为笼统，并没有明显的界限可以对用户进行明确、严谨的划分。随着高新科技的迅猛发展，也给Web数据挖掘法带来了一定的挑战和困难，尤其是在用户分类层面、网站公布内容的有效层面，以及用户停留页面时间长短的层面。因此，在大力推广和宣传Web技术的大数据时代，数据分析技术人员要不断完善Web数据挖掘法的内容，不断创新数据挖掘方法，以期更好地利用Web数据挖掘法服务于社会，服务于人们。

3 大数据分析挖掘体系建设的原则

随着改革开放进程的加快，我国社会经济得到明显提升，人们物质生活和精神文化生活大大满足，特别是二十一世纪以来，科学信息技术的发展，更是提升了人们的生活水平，改善了生活质量，计算机、手机等先进的通讯设备比比皆是，传统的生产关系式和生活方式已经落伍，并逐渐被淘汰，新的产业生态和生产方式喷薄而出，人们开始进入了大数据时代。因此，为了更好地收集、分析、利用数据信息，并从庞大的数据信息中精准、合理地选择正确的数据信息，进而更加迅速地为有需要的人们传递信息，就需要建设大数据分析与挖掘体系，并在建设过程中始终遵循以下几个原则。

3.1 平台建设与探索实践相互促进

经济全球化在对全球经济发展产生巨大推力的同时，还使得全球技术竞争更加激烈。为了实现大数据分析挖掘体系良好建设的目的，需要满足平台建设与探索实践相互促进，根据体系建设实际逐渐摸索分析数据挖掘的完整流程，不断积累经验，积极引进人才，打造一支具有专业数据分析与挖掘水准的队伍，在实际的体系建设过程中吸取失败经验，并适当借鉴发达国家的先进数据平台建设经验，取其精华，促进平台建设，以此构建并不断完善数据分析挖掘体系。

3.2 技术创新与价值创造深度结合

从宏观意义上讲，创新是民族进步的灵魂，是国家兴旺发达的不竭动力。而对于数据分析挖掘体系建设而言，创新同样具有重要意义和作用。创新是大数据的灵魂，在建设大数据分析挖掘体系过程中，要将技术创新与价值创造深度结合，并将价值创造作为目标，辅以技术创新手段，只有这样，才能达到大数据分析挖掘体系建设社会效益与经济效益的双重目的。

3.3 人才培养与能力提升良性循环

意识对物质具有反作用，正确反映客观事物及其发展规律的意识，能够指导人们有效地开展实践活动，促进客观事物的发展。歪曲反映客观事物及其发展规律的意识，则会把人的活动引向歧途，阻碍客观事物的发展。由此可以看出意识正确与否对于大数据分析挖掘体系平台建设的重要意义。基于此，要培养具有大数据技术能力和创新能力的数据分析人才，并定期组织教育学习培训，不断提高他们的数据分析能力，不断进行交流和沟通，培养数据分析意识，提高数据挖掘能力，实现科学的数据挖掘流程与高效的数据挖掘执行，从而提升数据分析挖掘体系平台建设的良性循环。

4 结束语

通过文章的综合论述可知，在经济全球化趋势迅速普及的同时，科学技术不断创新与完善，人们的生活水平和品质都有了质的提升，先进的计算机软件等设备迅速得到应用和推广。人们实现信息传递的过程是通过对大规模的数据信息进行处理和计算形成的，而信息传输和处理等过程均离不开数据信息的分析与挖掘。可以说，我国由此进入了大数据时代。然而，就我国目前数据信息处理技术来看，相关数据技术还处于发展阶段，与发达国家的先进数据分析技术还存在一定的差距和不足。所以，相关数据分析人员要根据我国的基本国情和标准需求对数据分析技术进行完善，提高思想意识，不断提出切实可行的方案进行数据分析技术的创新，加大建设大数据分析挖掘体系的建设，搭建可供进行数据信息处理、划分的平台，为大数据时代的数据分析和挖掘提供更加科学、专业的技术，从而为提高我国的科技信息能力提供基本的保障和前提。

大数据分析毕业论文:试论建设基于“SAP HANA”技术的公安大数据分析应用平台

[摘要]大数据时代公安部门所掌握的各项数据越来越多，传统的结构化数据库系统面对越来越纷繁复杂的非结构化数据越来越吃力，在时效性上难以起到预期的作用，因此更高效、更便捷的SAP HANA内存数据厍运算技术应运而生，本文将试论在公安大数据分析平台引入“SAP HANA”技术的可行性和优越性，以及该技术将对公安工作产生的变化与影响。

[关键词]公安大数据；SAP HANA；数据分析

1引言

近年来，大数据这个概念被越来越多的提及，信息大爆炸的时代已经到来，现阶段建设新的能够匹配公安业务场景的大数据系统是公安部门的迫切需求。公安工作与大数据也已然开始产生密切的联系，基于各种技术的大数据平台也在被建立起来，本文就基于“SAP HANA”技术的公安大数据分析平台做一个展望。

2公安工作对大数据平台的需求

公安部门掌握的数据越来越多，对于这些不同来源、不同类型、不同格式的数据，现有的公安警务数据平台无论是规模还是架构都很难适应在海量数据场景下的数据管理和分析，直接影响了公安形势预判和重大决策，因此，在现阶段建设新的能够匹配公安业务场景的大数据系统是公安部门的迫切需求。新建设的公安大数据系统，需要做到：PB级数据存储管理，多种数据类型与协议支持，高质量的数据整合，高效的数据分析能力，可管理和开放性，安全可靠，自主可控。

3现有大数据平台的缺陷

对于数据可以划分为两类：结构化数据和非结构化数据，非结构化数据没有统一的大小和格式，给分析和挖掘带来了很大的挑战。而现有的数据平台对非结构化的数据处理起来就非常的吃力。面对冗杂无序的庞大数据，简单的人海战术已经跟不上社会发展的步伐，因此更高效、更便捷的SAP HANA内存数据库运算技术应运而生，它的产生让数据存储、运算速度得到了极大的提高，让TB乃至PB级数据分析、处理和存储变得更加快捷稳定，也让大数据分析平台的搭建有了新的选择途径。

4 SAP HANA技术

HANA（High-Performance Analytic Appliance）是德国SAP软件公司开发的是一个软硬件结合体。它能够提供高性能的数据查询功能，可以直接对大量实时业务数据进行查询和分析，不需要对业务数据进行建模、聚合。

4.1 SAP HANA技术特点

4.1.1软件方面

相对于Oracle等传统关系型数据库，SAP HANA内存数据库不仅在维护数据的完整性、一致性方面做到了最好，而且在传统关系型数据库并不擅长的领域――难以顾及数据处理实效要求方面实现了突破。追本溯源，之所以SAP HANA实现了对Oracle等传统关系型数据库的超越，是因为其采用了改进的数据压缩、行列式数据存储和内存计算技术。将海量数据经过高效压缩存储至HANA的大内存数据厍，提高查询和分析效率。

数据压缩：SAP HANA采用数据字典的方法对数据进行压缩，用整数来代表相应的文本。对于数据格式相对单一的结构化数据源，这种压缩方式非常有效，数据读写速度也因此得到提升。

行列式存储：有人曾形象的比喻，HANA可以“识别”用户在插入数据和输出数据时的真正意图。实际上这是因为HANA采用了行列式存储方式，即增量更新（插入数据）时，HANA将它视为行式数据库；而输出数据时，HANA又充分利用其列式结构适合数据压缩的优点稳定快速的输出数据。而传统关系型数据库则需要牺牲其中一种方式来保证速度。

内存数据库计算技术：根据计算机组成原理我们知道数据是从磁盘->通过数据总线和控制器（RAID，I/O hub等）―->内存―->CPU Cache-->CPU进行数据处理（CPU寄存器）。HANA内存数据库，就是将数据放在内存中直接操作，跨过了数据总线和控制器，直接与CPU cache进行数据传输，数据读写速度比磁盘读写速度高出几个数量级，极大地提高了计算速度，缩短了时间。内存的访问速度比磁盘快1，000，000倍。传统磁盘读取是5毫秒，内存读取是5纳秒，比SSD和闪存快1000倍。虽然寄存器和Cache的读取数据的速度比内存快，但在实际的数据处理中却应用较少。

在传统的数据库中，由于内存存储的数据有易失性，系统断电或重启后内存中的数据就会丢失，对此SAP HAHA采取后台异步进程savepoint（Data persistence）定时把内存数据存储到磁盘中，大大降低了因故障导致数据存储丢失的问题。

4.1.2硬件方面

SAP不仅在软件领域独树一帜，在硬件研发方面也积极创新，和多个国际硬件厂商开展了合作，开发了多款支持HANA的高性能服务器，包括DellR910、Fujitsu RX600 S6、HP DL980 G7、IBM x3850等服务器。

4.2 SAP HANA技术应用

正是基于对SAP HANA高性能的认同，SAP内存计算技术正在全球内广泛应用，不断的转变人们的思考、重新规划着人们的生活和工作方式。

以亚太区第一家上线HANA技术的某快速消费品企业为例，该企业年销售额近百亿元，业务涉及生产、销售、计划、调度、物流、市场营销等多个方面，这对企业的综合管理和整体运营能力提出了很高的要求。同时，作为一个快速消费品行业企业，准确实时的数据对于企业来说非常重要，企业高管如果要对瞬息万变的市场行情做出准确的判断，就必须依据准确实时的数据进行科学决策。

该企业在应用了HANA技术后，确实提高了数据查询、处理的能力。数据展现能力快速提高。据测试，商业智能报表快25～30倍，逻辑计算能力速度提高了约150倍，而且，越是复杂的运算，HANA的逻辑运算能力就越突出，数据实时、同步真正实现。

5公安工作应用hana技术的可行性

公安部门的各类信息来源（公安管控信息、社会管理信息和社会公开信息等）中，人口信息、水电煤气信息、通讯信息、网络账号、图像、声音以及视频等信息绝大部分是非结构化数据。在这个“非结构化数据时代”，主要用于管理结构化数据的传统关系型数据库受限明显，尤其是运算速度过慢被人所诟病。而采用擅长大数据运算的SAP HANA技术无疑是明智的选择。

首先，从数据采集及存储方面来看，作为内存数据库，SAP HANA可以将庞大的公安数据，通过高效的数据压缩和行列式存储功能进行优化，存储在HANA大内存数据库中，进而为侦察员提供高效便捷的案事件信息查询功能。值得一提的是，HANA技术采用的数据压缩和行列式存储不会破坏数据原有格式，而且可还原性非常高，非常适合侦察员保留案件原始资料和数据，提高自主分析比对不同案事件的能力。其次，从分析应用来看，作为综合应用分析平台，SAP HANA依靠其高速的逻辑运算模式，可以有效支撑TB级别以上的大数据运算，将大幅提高公安整体工作效率和水平。

综上所述，公安部门为了在“大数据时代”脱颖而出，加强信息化建设，提高公安办案水平，强化预警节点突发情况能力，不断升级服务公共决策水平，为顶层设计提供可靠依据。而以SAP HANA技术为基础数据库应用的设想，无疑是目前公安部门破解大数据难题的理想选择。

大数据分析毕业论文:智能电表故障大数据分析探究

摘 要：电力行业贸易结算用智能电表功能多，故障类型多样。随着运行时间的延长，故障发生的概率增加。本文是针对智能电表故障类型、发生概率等数据的分析和总结，探究智能电表数据仓库模型建立，对进一步做好智能表质量评估和运行电能表故障预测提出解决方法。

关键词：智能电表；故障；数据；分析

1 故障数据整理及数据仓库的构建

1.1 故障数据整理

通过已有的SG186系统、MDS系统、拆回表分拣系统，对智能电表故障数据进行汇总。通过整理发现，智能电表故障数据维度高，信息条目数多。在众多维度中选择和电表故障问题关系比较紧密的影响因子信息，并且将它们整合在一起。对数据本身的一些问题进行清理，对缺失值、不合理数据以及不符合书写规范的数据。

通过对各维度离散化标称数据的数目，并将他们进行编号，最后以编号的形式存入数据仓库中。对于日期型的数据，统一成天、月、年三种纬度来进行储存。电表的使用寿命长度以天为单位计算，电表的读数统一为小数点后两位。

1.2 建立数据仓库

通过对已有故障数据的汇总分类，初步建立数据库。数据库包含7个维度表、2个事件表。维度表分别为通讯接口表（CommunicationInterface）、芯片厂商表（ChipManufactory）、电流型号表（ElectricCurrent）、电表厂商表（ElectricMeterManufactory）、时间表（Time）、电表故障表（MeterFault）、地区表（DArea）。事件表是电表信息表（Meter）和坏表信息表（BadMeter）。

故障数据仓库各表字段包括条形码编号、表故障编号、安装时间、拆除时间、地区编号、电池使用时间、电池电压、开盖次数、电表读数、芯片型号编号、芯片型号、通讯接口编号、通讯接口型号、地区名称、建档日期、故障类型、故障编号。

各表中的数据，根据对于旧表数据的统计，共有7个芯片型号、8种通讯接口、5种电流型号、30个电表厂家和28种电表故障。按照天津区域分布，将天津分为10个区域，把时间分为日、月、年三个维度，在决策时可以按照不同时间纬度来进行统计工作。

2 故障分布与相关性分析

2.1 各个厂商电表的故障分布分析

针对各电表生产厂商的故障电表，进行以下三项分析：

各电表生产厂商内部的故障分布比例；各电表厂商的易发生故障列表（采用基于t检验的评分机制）；各电表厂商的特有故障列表（厂商的特有故障为相对于其他电表生产厂商，该厂商更易出现的故障，采用tf/idf法分析）。

从分析结果发现，多数厂商和地区的故障分布均具有一定特殊性，可以通过深入分析找到某厂商或地区区别于其他地区的特有故障类型。

2.2 故障之间的相关性分析

对各故障之间的相关程度进行分析（采用经过t检验的斯皮尔曼等级相关系数，保留相关度>0.9的高度相关故障，共20对）。

从分析结果中我们可以看到，部分故障类型之间存在极高的相关性。

3 故障/参数间因果关系检验

3.1 Granger因果检验原理及方法

Granger因果检验通过比较“已知上一时刻所有信息，这一时刻X的概率分布情况”和“已知上一时刻除Y以外的所有信息，这一时刻X的概率分布情况”来进行假设检验，进而判断Y对X是否存在因果关系。

在本任务中，我们首先对芯片型号、电流型号、通讯接口型号、地区、生产厂家、电表使用时间、电表读数、电表故障组成的矩阵进行单位根检验，以判断序列是否是平稳的。如果平稳则进一步两列两列之间进行Granger因果检验。

3.2 Granger因果检验结果

在进行单位根检验后，ADF-Fisher Chi-square的P值为0，小于0.05，因此序列是平稳的。在进行Granger因果检验后得到如下实验结果。

①对于电表故障来说，芯片型号、使用地区、电表生产厂商、通讯接口型号、电流型号、电表读数、使用时间都是影响的原因。

②对于电表寿命来说，芯片型号、使用地区、电表生产厂商、通讯接口型号、电流型号、电表读数都是影响的原因。

③同时我们发现使用地区的不同，对于电表完整的生存周期中的读数有因果关系。我们由此可以猜测不同地区的用电习惯可能会有不同。

4 故障预测

在因果分析中，我们验证了和电表故障与寿命相关的影响因素，现在我们用这些影响因素来训练基础的分类器。在原始数据中，我们总共统计出了28种故障。故障类型过于细化且各种故障发生的数量相差极大，对于我们分类器的分类精度造成了非常大的影响。因此我们参照《智能电能表故障原因分类表.xls》，将28种故障分为3大类。我们的分类工作主要是针对这3大类进行分类。

第一类，也可以称作管理问题，主要包括外观有污迹和无载波模块两类。

第二类是等待报废的问题，主要包括表壳损坏、按键失灵、铭牌损坏、铅封损坏、接线端子损坏等。

剩下的问题都包含在第三种中，主要包括ERR-01到ERR-08、RS485通讯故障、继电器故障、黑屏白屏花屏、卡槽坏、密钥恢复不成功、日计时误差不合格、液晶显示故障等等。

接下来我们就针对这三种故障进行了分类器的训练。目标有两个：

一是在电表入库时就预先判断该电表的可能故障。

二是对已使用电表可能发生故障的预测。

4.1 朴素贝叶斯模型

4.1.1 朴素贝叶斯原理

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯分类器基于一个简单的假定：给定目标值时属性之间相互条件独立。贝叶斯公式是：

P（C|X）=（P（X|C）P（C））/P（X）

其中C代表的是我们需要判断的类别，而X代表的各维参数所组成的向量。

基于假定我们可以把P（Ci|X）的概率转化为P（Ci|X）=P（x1|Ci）P（x2|Ci）...P（xn|Ci）P（Ci）。然后我们比较所得的概率大小，选取概率最大的类别作为我们分类器的预测类别。

4.1.2 朴素贝叶斯的实现

首先我们从数据仓库中把我们所需要纬度的数据提取出来，并按照我们需要的格式编排完毕。然后分别统计我们需要的各种先验知识并训练模型。

4.1.3 朴素贝叶斯模型的结果

①入库电表故障预测

经检验我们的朴素贝叶斯模型的分类准确度是65.2216%。（如表1）

表1 入库电表故障预测

[A＼&B＼&C＼&Classified as＼&17301＼&323＼&17461＼&A=1＼&2467＼&243＼&2376＼&B=2＼&13418＼&576＼&51133 C=3＼&C=3＼&]

从表格中可以看出我们的朴素贝叶斯分类器对于第三类故障的分类准确度最高，对于第一类的分类准确度次之，对于第二类的分类准确度最差。

以下是分类器工作的示意范例，我们将规范化的芯片型号、地区、生产厂商、通讯接口型号、电流型号构建成一个向量。例如我们选择一块芯片型号是东软4.0、地区是城南、生产厂家是浙江万胜电力仪表有限公司、通讯接口型号是东软载波，电流型号是5（60）A的电表将各维信息转化为（2，7，25，3，5）的向量输入我们的模型，经过模型计算输出结果是3，表示模型预测这块表以后发生第3类故障的概率最高。

关于具体的模型数据，可参考《电表故障朴素贝叶斯结果.doc》以及《TJDW_Problem_NaiveBayes.model》

②已用电表故障预测

经检验我们的朴素贝叶斯模型的分类准确度是65.288%。（如表2）

从表格中可以看出我们的朴素贝叶斯分类器对于第三类故障的分类准确度最高，对于第一类的分类准确度次之，对于第二类的分类准确度最差。

以下是分类器工作的示意范例，我们将规范化的芯片型号、地区、生产厂商、通讯接口型号、电流型号、电表使用时间、电表读数构建成一个向量。例如我们选择一块芯片型号是东软4.0、地区是城南、生产厂家是浙江万胜电力仪表有限公司、通讯接口型号是东软载波，电流型号是5（60）A、已使用寿命400～800天、已读1000～10000字的电表，将各维信息转化为（2，7，25，3，5，2，2）的向量输入我们的模型中，经过模型计算输出结果是3，表示模型预测这块表如果将会发生故障那么发生第三类故障的可能性最高。

关于朴素贝叶斯模型分类器训练模型及参数的具体信息，可参考《电表故障朴素贝叶斯结果预测.doc》以及《TJDW_Problem_NaiveBayes_Prediction.model》。

4.2 决策树模型

4.2.1 决策树原理简介

决策树是在已知各种情况发生概率的基础上，通过构成决策树来评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。

4.2.2 决策树实现

首先通过统计工作以及数据变换，我们需要构造出输出数据。然后按照计算信息熵，以信息熵衰减程度从大到小的顺序构建树结构。最后在叶子节点中，通过投票多数通过的方式决定分类结果

4.2.3决策树模型结果分析

①入库电表故障预测

经检验我们的决策树模型分类准确率为68.0%。其中对第三类故障的分类准确度较高，第一类次之，对第二类的分类效果较差。

表3 决策树入库电表故障预测结果

以下是分类器工作的示意范例，我们将规范化的芯片型号、地区、生产厂商、通讯接口型号、电流型号构建成一个向量。例如我们选择一块芯片型号是东软4.0、地区是城东、生产厂家是浙江万胜电力仪表有限公司、通讯接口型号是东软载波，电流型号是5（60）A的电表，将各维信息转化为（2，6，25，3，5）的向量输入我们的模型中，经过模型计算输出得出故障为第一类的概率是0.22、第二类的概率是0.05、第三类的概率是0.73，那么我们预测这块表将来发生第三类故障的概率最高。

②已用电表故障预测

经检验我们的决策树模型分类准确率为69.1%。其中对第三类故障的分类准确度较高，第一类次之，对第二类的分类效果较差。

表4 决策树已用电表故障预测结果

以下是分类器工作的示意范例，我们将规范化的芯片型号、地区、生产厂商、通讯接口型号、电流型号、电表使用时间、电表读数构建成一个向量。例如我们选择一块芯片型号是东软4.0、地区是城东、生产厂家是浙江万胜电力仪表有限公司、通讯接口型号是东软载波，电流型号是5（60）A、已使用寿命400～800天、已读1000～10000字的电表，将各维信息转化为（2，6，25，3，5，2，2）的向量输入我们的模型中，经过模型计算输出得出故障为第一类的概率是0.38、第二类的概率是0.13、第三类的概率是0.49，那么我们预测这块表将来发生第三类故障的概率最高。

4.3 softmax神经网络

4.3.1 softmax神经网络简介

神经网络是一种应用类似于大脑神经突触连接的结构进行信息处理的数学模型。我们所采用的多层感知器是一种前馈神经网络模型，可以将输入的多个数据集映射到单一的输出的数据集上。我们在输出层的激活函数选择了softmax回归函数。Softmax回归函数是Logistic回归模型在多分类问题上的推广，可以将目标变量分为K类。最后我们可以得到样本属于各个类的概率分别是多少。

4.3.2 softmax神经网络实现

首先进行数据变换，将数据变换成我们需要的格式，然后初始化我们的多层感知机并应用调整的共轭梯度下降算法反复迭代更新神经网络中每个节点的权值，输出结果使用softmax回归函数进行激活。等参数收敛后，我们就得到了一个softmax神经网络模型。

4.3.3 softmax神经网络结果分析

①入库电表故障预测

我们选择芯片型号、地区、生产厂商、通讯接口型号、电流型号作为纬度，将各个可取的属性值改为0-1表示的布尔值，这样我们就构建了有60个节点的输入层，有两个节点数分别为12和9的隐藏层以及有3个输出节点的输出层的softmax多层感知机。（如表5）

可以看出，在入库电表故障预测中我们的softmax多层感知机模型对于第三类故障分类准确率最高，对于第一类次之，对于第二类效果最差。

以下是分类器工作的示意范例，我们将规范化的芯片型号、地区、生产厂商、通讯接口型号、电流型号构建成一个60维0-1向量。例如我们选择一块芯片型号是东软4.0、地区是城东、生产厂家是浙江万胜电力仪表有限公司、通讯接口型号是东软载波，电流型号是5（60）A，将各维信息转化为向量输入我们的模型中，经过模型计算输出得出故障为第一类的概率是0.155、第二类的概率是0.030、第三类的概率是0.815，那么我们预测这块表将来发生第三类故障的概率最高。

②已用电表故障预测

我们选择芯片型号、地区、生产厂商、通讯接口型号、电流型号、电表使用时间、电表读数作为纬度，将各个可取的属性值改为0-1表示的布尔值，这样我们就构建了有70个节点的输入层，有两个节点数分别为13和10的隐藏层以及有3个输出节点的输出层的softmax多层感知机。（表6）

可以看出在已用电表故障预测中，我们的softmax多层感知机模型对于第三类故障分类准确率最高，对于第一类次之，对于第二类效果最差。

以下是分类器工作的示意范例，我们将规范化的芯片型号、地区、生产厂商、通讯接口型号、电流型号、电表使用时间、电表读数构建成一个70维0-1向量。例如我们选择一块芯片型号是东软4.0、地区是城东、生产厂家是浙江万胜电力仪表有限公司、通讯接口型号是东软载波，电流型号是5（60）A、已使用寿命400～800天、已读1000～10000字的电表，将各维信息转化为向量输入我们的模型中，经过模型计算输出得出故障为第一类的概率是0.307、第二类的概率是0.022、第三类的概率是0.672，那么我们预测这块表将来发生第三类故障的概率最高。

5 结论

两种方案唯一的区别在于RS485总线、低压电力线载波混合抄表系统增加了一层物理设备，即采集终端，使得系统由主站、集中器、采集终端和RS485总线电能表四层物理设备构成。

①综合性能（性价比），方案1占优；

②在通信性能、远程断送电控制、抗扰能力方面，方案1优势明显；

③在功能扩展、设备成本方面，方案2占优；

④方案2最大缺点是安装、调试和维护工作量大，且RS485总线抗干扰能力相对较弱；

⑤方案1最大缺点是一体化载波电能表成本相对较高。

大数据分析毕业论文:大数据分析在作战指挥中的困局与对策

摘 要：当前，大数据分析在作战指挥中的作用越来越突出。然而，大数据分析有时也会对作战指挥产生不利影响。该文针对大数据分析的特点和作战指挥对大数据分析的需求，对大数据分析在作战指挥中可能存在的困局进行了简要分析，并提出了破解困局相应的对策。

关键词：大数据分析 作战指挥 困局 对策

目前，很多国家已把大数据上升到国家战略加以推动，夺取“数据主导权”的重要性日益突出。未来影响、决定军事行动的核心是数据。在信息化战场上，不同侦察平台搜集的情报、作战指挥中心的各条指令、作战力量的实时反馈信息等，都是以数据的形式存在并发挥作用，这些数据不仅量很大，而且类型多样，来自多源，且以实时、迭代的方式来实现[1]。正因为如此，数据的积累、数据存储能力、数据分析和处理能力无疑将成为获取战场优势的决定性因素。因此，大数据分析已成作战指挥的核心要素之一。但是，正如条形码的应用存在缺陷一样，最新的大数据分析也可能导致误入歧途[2]。

1 作战指挥中大数据分析的特点与作用

一般来说，大数据具有数据类型多样、数据处理高速、数据规模海量和数据价值密度低等特点[3]。在作战指挥中，从数据到决策的时效性要求高，要求在规定的时限内挖掘出高价值的辅助决策信息，这对其大数据分析提出了严峻挑战。

作战决策是作战指挥的核心，大数据之所以引起作战指挥领域的高度重视，其重要原因在于大数据直接瞄准作战指挥的核心。作战决策过去是科学技术较难渗透的领域，基于指挥员直觉和经验判断的决策模式一直占据主导地位，这也被一些人认为是作战指挥的“软肋”。大数据分析通过创新式挖掘海量数据，形成从数据到决策的快速反应链路，从而构建以诸军兵种、战场环境间数据共享为基础的自主式决策支持系统，化数据优势为决策优势，以技术驱动指挥决策模式的变革。目前，在作战指挥领域，针对作战数据的分析处理能力还很薄弱，加强大数据分析不仅能为作战指挥提供有价值的决策信息，而且有助于快速建立从数据到决策的指挥链路、有效解决指挥信息流通的一些“瓶颈”问题，以确保夺取作战的“数据主导权”。

2 大数据分析在作战指挥中可能存在的困局

在信息化战场上，事物之间的关联性越来越普遍;但许多关联隐藏很深，仅靠直觉和经验判断难以发现。相关关系是大数据分析的核心。一般来说，两种数据的相关关系可通过当一种数据产生变化时引起另一种数据的变化程度来衡量，变化程度越高，说明这两种数据的关联度就越高。大数据分析通过识别有用的关联物来进行分析，关联物数量越多，种类越丰富，分析的综合程度就越高，判断预测的准确性也就越高。在作战指挥领域，大数据分析主要通过对战场大量的、相互关联的终端产生的数据进行相关关系的分析，进而形成判断、得出结论，并做出预测。

然而，在作战指挥中，由于从数据到决策的高时效性和高对抗性，大数据分析可能存在以下困局：

由于全样本数据需要更多的时间去分析，采用全样本数据分析有时难以满足作战决策的高时效性要求[4];此外，作战数据难免会包含一些不良信息;因此，如何动态地组织数据样本既使其数据价值密度提升又使其分析能满足作战决策的时效性要求是一个十分棘手的问题。

大数据样本不仅耗费更多的时间去分析，它们往往还包含所含个体的许多不同信息，从统计学的角度讲，这意味着这些样本是“高维的”，而更多的维度增加了获得欺骗性关联的风险。在作战指挥中，一旦大数据分析得出的分析结论包含了欺骗性关联的信息，可能给作战决策造成严重的不利影响，而发现欺骗性关联绝非易事。因此，防范欺骗性关联是作战指挥中大数据分析面临的一个难点问题。

上述两个问题是作战指挥中大数据分析迫切需要解决的问题，否则作战指挥中大数据分析的可靠性难免将遭受质疑。

3 破解作战指挥中大数据分析困局的对策

作战指挥产生大量、异质结构的数据集，为了提高大数据分析的时效性，应在作战决策知识情景库的引导下动态地组织样本数据集。作战决策知识情景库应该包含战场态势的框架性信息。一般来说，为便于激活数据关联，作战决策知识情景库包括主题关键词表、子主题关键词表和配属关键词表。一个主题关键词代表战场情况的一个重要方面，它对应若干子主题关键词，而一个子主题关键词又对应若干配属关键词，配属关键词通常代表局部的细节。对作战决策来说，一条高价值的预测结论通常有一个主题，并且还与其它主题相关;因此，用于分析的样本数据集应包含与所涉及主题所有配属关键词相关的数据，并过滤掉失效或虚假的信息。作战决策知识情景库既是动态组织样本数据集的牵引，也为样本数据集的数据挖掘提供了导向性信息[5]。利用作战决策知识情景库动态组织样本数据集提高了数据质量和整体一致性，避免了无关数据的干扰，无疑使数据分析更有针对性，也更有效率。

在作战指挥的大数据分析中，为了避免分析结论包含欺骗性关联的情况发生，需要对分析结论进行检验，以证实结论中每一项关联的真实性。竞争假设分析法是一个有效的证伪方法，它将结论中每一项关联看作一个假设，平等地对待各个假设，通过寻找证据反驳假设的方法来识别假设，只有不能被驳倒的假设才被接受是真实的。竞争假设分析比较适合用于对分析结论进行检验[5]。客观地说，利用竞争假设分析法对大数据分析结论进行检验需要建立相应的评判标准、规则和知识库，并设计相应的数据挖掘算法;这本身就是一项具有挑战性的工作。值得强调的是，对分析结论中的关联进行识别不仅能有效防范因数据的多维度产生欺骗性关联的风险，而且能避免因过度关注某一类数据（如最新的数据）而陷入“一维”视角。对作战指挥的大数据分析而言，对分析结论进行检验无疑会提高其质量，也是其不可缺少的一部分。

4 结语

在信息化战争中，指挥人员可以有效利用大数据探寻信息化战争的内在规律，而不是“淹没”在海量数据中一筹莫展。因此，大数据分析在作战指挥中的作用越来越突出。为了快速为作战决策提供高价值的情报，大数据分析必须解决动态组织样本数据和对分析结论进行检验的难题。当前，作战指挥领域大数据分析的研究方兴未艾，有许多难题尚待解决。面对诸多困难与挑战，只有调动多方力量，充分吸收并借鉴各相关领域研究的方法或成果，勇于探索和创新，才能实现大数据分析有效服务于作战指挥的目标。

大数据分析毕业论文:大数据背景下军队审计数据分析初探

摘 要：大数据是当今世界信息化建设发展的大趋势，它带来了一场工作、生活和思维上的大变革，也引发了对大数据背景下军队审计数据分析的思考。文章基于大数据发展趋势和军队审计工作现状，指出应从数据基础式审计、研判数据结构、运用挖掘型技术、构建安全体系等方面入手，加强大数据背景下军队审计数据与信息化建设。

关键词：大数据 军队审计 数据分析

大数据是以云计算为基础，通过信息存储、分享和挖掘，将大量、高速、多变的终端数据存储下来并分析计算，寻求解决问题的有效方法。随着军队信息化建设的不断推进，未来军事经济活动都将以数据信息流的形式展现和保存，产生的数据量增长迅速，数据种类和格式日渐丰富。面对一个个数量庞大、种类繁杂的数据信息源，审计机关不仅要具备对海量数据的采集和存储的能力，更重要的是能够迅速分析和挖掘数据，从中找出审计线索、发现问题、寻求对策。

一、大数据的定义与特征

根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。对于大数据，美国著名的顾能公司给出了这样的定义：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着大数据研究的深入，大数据概念的内涵和外延不断地产生变化，业界对其定义尚未完全统一。目前主流的定义基本是从大数据的特征出发，试图通过阐述和归纳这些特征来给出大数据的定义，其中比较有代表性的是4V。大数据的4个“V”有四个层面：一是数据体量巨大。从TB级别，跃升到PB级别。二是数据类型繁多。包括网络日志、视频、图片、地理位置等信息。三是处理速度快。1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。四是只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”――Volume（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点，强调将数据结合到业务流程和决策过程中，部分类型的数据必须实时分析才能对业务产生价值。

二、大数据背景给军队审计数据分析带来的机遇和挑战

（一）大数据背景给军队审计数据分析带来的机遇

1.军队审计数据分析的认同感大为增强。军队审计部门作为综合性的经济监督部门，一直秉承数据说话的传统。审计报告中无论是综合评价，还是揭示问题，无一不是以数据为支撑的。在大数据背景下，海量数据离散地存储于不同信息系统中。可充分利用数据仓库、联机分析、数据挖掘和数据可视化等技术，对这些数据进行关联并深度挖掘分析，科学评估经费的使用情况和法规的实施效果，从而得出客观的审计结论。所有这一切都将得到各级党委和被审计单位的高度认同，从而进一步提升军队审计自身的地位。

2.军队审计数据分析所需的基础数据的获取将变得更为便利。在破除了军队内部协同思想理念上的障碍后，随着大数据技术发展，跨越系统、跨越平台、跨越数据流结构的技术将使军队内部纵向、横向部门得以流畅协同。军队审计部门不再需要“点对点”地与被审计单位进行联网，在内部局域网设定的许可权限内，可以直接查询和利用相关数据信息，极大地节约了审计成本；同时由于利用大数据技术，数据处理及分析响应时间将大幅减少，审计工作的效率将明显提高，可以同时对多个类别、多种领域的数据进行分析、处理。

3.军队审计数据分析将有助于提高党委决策的科学性和准确性，推动预测预警和应急响应机制建设，更加有效地规范军事经济活动。审计人员可以通过对历年海量数据的统计分析，挖掘出军事经济活动的特点规律，对各类违规违纪行为进行总结归纳，为党委建章立制提供参考依据；同时还能科学地评估管理规章的执行效果，从而帮助各级党委不断发现问题、整改落实。随着审计分析的进一步深化，审计分析将超越传统的数据分析方法，不但是对纯数据可以进行分析挖掘，对财务账表、报告等都可以进行深度挖掘、人工智能。

（二）大数据背景给军队审计数据分析带来的挑战

大数据在给军队审计信息化带来机遇的同时，也带来前所未有的挑战：一是实现资源统一规划和使用，必须以数据编码和信息标准统一、相互之间兼容互联为前提。由于目前缺乏制度依据，部门间横向协同难，原有的“信息孤岛”将给审计机关获取审计数据以及进行持续化审计造成困难。二是面对数量庞大、种类繁杂的数据信息源，审计机关不仅要具备对海量数据的采集和存储的能力，更重要的是能够迅速分析和挖掘数据，从传统的“经验依赖”转化为“数据依赖”，审计人员的数据驾驭能力将受到考验。三是审计业务流程大多以数据信息形式展现，资金流向更多体现为数据信息流的交换，使得违规违纪行为更加隐蔽和多样，微小的数据变动就可能造成经济损失。以往仅限于重点人员和财务的审计已经不能满足需要，抽样分析以及单一的财务账目分析也难以发现微小数据异常，这就要求审计机关对审计对象进行全面覆盖。四是审计机关作为军事经济运行安全的免疫系统，不仅要对已存在的问题进行查处和修补，还要对潜在的风险进行及时的揭示和抵御，更要通过大数据这个金矿，从更高层面、更全范围、更广视角为上级党委提供系统性、综合性、前瞻性的审计建议。

三、大数据背景下军队审计数据分析的策略

（一）明确工作目标导向，实施数据基础式审计

传统的以审计组划分的分散式审计模式已不能适应大数据背景下审计数据分析工作要求。首先，当前军队审计工作要建立健全制度、整合审计资源，结合审计人员的专业理论素养、实践工作经验、数据处理能力等因素，着手组建数据集中分析模式团队。其次，明确审计工作目标导向，按照“总体全面分析、重点业务分析、重点事项分析”逐层递进的思路，以系统全面的数据信息源为基础，坚持“面向业务需求、指导审计实践、推动数据分析”的原则开展审计数据分析工作。最后，要理清军队审计数据分析的工作思路，运用信息系统实施数据基础式审计方法，全面分析被审计单位在经济活动中存在的问题与不足，为军队审计工作的顺利开展提供数据支撑和技术保证。

（二）研判后台数据结构，掌握重点数据资源

在大数据时代，军事经济数据将呈现指数增长，挖掘重点及敏感数据审计的难度日益加大。做好审计数据的掘取、存储、处理与应用，对提高审计效率、实现分析结果的精准化具有重要作用。通过检查被审计单位内部控制制度，审查单位内部对不同业务数据的使用管理是否到位，数据库管理和安全操作制度是否完善，重点领域数据库常态监管措施是否严格，移动设备安全使用规程是否执行；依据数据库设计文档和数据注释等媒介，研究论证后台数据结构，确定重点、敏感信息数据库范围；采取穿行测试法、重新执行法、代码审查法、文档审查法等技术手段深入挖掘，切实掌握重点事项、信息、账表和报告间的勾稽关系。

（三）运用挖掘型分析技术，开展数据深度分析

目前军队审计中应用较多的是查询型分析和验证型分析，无法满足深刻揭示军事经济活动内在规律的现实需要，必须要引入挖掘型分析技术。挖掘型分析是利用数据仓库和数据挖掘工具进行的审计分析，主要有分类、回归分析、聚类、关联规则等方法。运用挖掘型数据分析技术，首先要做好审计数据的分类、存储、快速调用等工作，整合分析数据资源，搭建云数据存储平台，完善数据整理和研判机制，实现重点数据库间的兼容互联，共享审计云平台服务器运算能力资源。其次，要研发数据审计方法和分析工具，运用移动办公、云计算等技术对海量数据进行远程分析，深度分析审计疑点及问题线索，进而实现数据分析结果的精确化。

（四）把握系统运行特点，构建数据安全体系

大数据在给军队审计工作创新发展带来机遇的同时，也为信息资源安全带来了挑战。军队审计部门掌握了大量关系到国家安全和国防实力的经济数据，这些宝贵的数据资源一旦损失，将会对国家安全造成无法挽回的损失和后果。要确保数据资源安全，必须全面了解被审计单位信息系统的管理体制、总体架构、规划设计、管理水平等特点，重点调研审计信息系统的数据资源，尤其是清楚掌握后台数据库的的项目、数量、功能模块、版本、管理维护部门、访问模式、数据存储和备份等信息。要重视审计数据及其信息安全系统的建设，创新大数据信息安全审计技术的研发，加强对重点领域敏感审计数据的监管，运用大数据技术应对高级可持续攻击，并精心培养一大批既具备军队审计业务知识又具备数据挖掘和应用开发能力的专业技术人才，着力构建完善的数据安全体系。

（责编：若佳）

大数据分析毕业论文:基于大数据分析下的数学课堂教学研究

摘要：随着大数据时代的到来，大数据分析也应运而生。将大数据分析应用于数学课堂教学是一种全新的尝试。本文简要分析了大数据分析的概念，从不同方面对基于大数据分析下的教学课堂教学进行了深入研究，结合笔者丰富的教学实践，最终提出了一些基于大数据分析下的数学课堂教学的策略。希望通过本文的分析研究，能够为更好地进行数学课堂教学，提供一些有益的借鉴与参考。

关键词：大数据分析;数学课堂;教学研究

如今，我们已经进入到了一个“数据驱动学校、分析改革教育”的大数据时代，大数据正影响着传统教育与传统教学，未来大数据必将改变传统教育的面貌[1]。随着大数据时代的到来，大数据分析也相应地产生。因而，研究基于大数据分析下的数学课堂教学具有较为重要的理论意义和现实意义。

一、大数据分析的概念

1.大数据的概念。就数据本身而言，其是记载信息的一种载体，当然，也是知识的来源。数据的不断增加，表示其相应的记录范围、测量范围和分析范围在不断扩大，表示人类获取的知识越来越多，获取的信息量越来越大，而知识的边界也在相应地不断扩展与延伸。所谓大数据，可以从宏观和围观两个角度来进行理解，有不少国内外学者选择从宏观角度理解和研究大数据，其对于大数据的概念做了以下定义，即需要新处理模式才可以具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，大数据具有4V特点，分别是Volume（数据量大）、Velocity（实时性强）、Variety（种类多样）、Veracity（真实性），另外还有一部分学者认为应当再加两个V，即Value（价值）和Visualization（可视化）[2]。而维基百科给出的定义则是无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

2.大数据分析的概念。所谓大数据分析，即对规模巨大、数量庞大的数据进行分析。其具有四个非常显著的特征：首先，数据量大;其次，速度很快;再次，种类繁多;最后，真实性。而大数据分析的目的就是要通过对历史数据的分析和挖掘，科学总结与发现其中蕴藏的规律和模式，并结合源源不断的动态流式数据去预测事物未来的发展趋势[3]。

二、基于大数据分析下的数学课堂教学策略

1.更新教学观念，构建数据分析观念。物质决定意识，意识是物质的反映。在高中数学教学中，教师在课堂教学的过程中，教学方法、教学模式难免会受其自身教学观念的影响，因而数学教师首先必须先更新教学观念，构建数据分析观念。在新课标中提出了“数据分析观念”一词，这一词是由“统计观念”变更而来。由此可见，随着大数据时代的来临，数据分析也日益受到人们的关注与重视。因而，有必要在数学课堂教学构建相应的背景，构建数据分析观念，使学生树立数据分析的意识，并对其予以重视[4]。

2.勇于探索，在数学教学中尝试分层教学。在现行的高中数学课堂教学上，一般采取班级统一上课的模式，这样的教学模式比较固定，缺乏新意，不利于培养和发展学生的个性，更不利于挖掘学生的潜能。我国古代教育师祖孔子曾提出“因材施教”，就是要求教师根据每个学生不同的情况，对学生进行不同类型的教育。在高中数学课堂教学中，教师可以对学生尝试分层教学。一个班有众多的学生，学生与学生之间存在着个体、个性差异，对不同的学生进行不同类型的教学，能够促进有效教学。对于个性化差异和个体化差异比较明显的小学生，也可以尝试不同的教学方法，尝试全新的教学模式，对于不同基础和不同背景下的学生，要正视其存在的个体差异，对他们进行分层次的教学，这样有利于促进学生更好地学习数学，也有利于充分挖掘学生的数学潜能。

3.学会运用大数据分析和获取数据中的有用信息。在高中数学教学中，教师应注意引导和帮助学生学会运用大数据分析和获取数据中的有用信息，充分调动学生学习数学的积极性和主动性。通过激发学生的学习兴趣，帮助学生提高他们的学习效率，这样既有助于促进学生全面发展，也有助于提升高中数学课堂教学的效率[5]。举例来说，教师可以结合高中数学教材内容，大数据分析工具制定教学计划，例如在学习《空间向量》这一章时，教师可以引导学生结合实际生活，充分发挥想象力，对空间向量进行思考，还可以引入与空间向量相关的内容，通过相关数据分析，帮助学生加深对知识的理解。同时，带动学生主动思考，积极参与课堂互动。此外，教师还应教学生学会获取数据中的有用信息。以高中数学《统计》这一章为例，在学习《统计》这一章时涉及抽样方法以及总体分布的估计，教师可以在具体教学过程中，引导学生利用大数据对相关数据进行分析，然后从中获取有用的信息，以帮助解题。

4.引入数据挖掘算法，提升数学运算能力。数学教师除了按照教学大纲要求完成教学任务之外，还要注意在数学课堂中引入数据挖掘算法，注意提升学生的数学运算能力。一方面，数学教师要利用大数据分析工具密切关注学生对所学数学知识的掌握情况;另一方面，还要密切关注学生对于数学运算能力的掌握。引导和帮助学生学会收集数据和使用数据，利用大数据中的数据挖掘算法，培养数学解题能力。对于高中学生而言，数学运算能力是其必须掌握的，数学运算能力是学好数学的前提和基础。因而，数学运算能力非常重要。举例来说，在高中数学的运算中，涉及函数、指数和向量等计算，而这些计算相对而言又比较复杂，如果在计算过程中出现失误，将导致整个运算结果错误。这就要求学生具备较强的运算能力，在运算过程中保持细心、认真和严谨的态度进行运算。在高中数学教学中，教师要教学生运用不同的数学方法进行解题，让学生学会举一反三。

5.学会分类，重视数学知识的积累。高中数学学科是一门具有较强的抽象性和较强的逻辑性的学科，知识点还比较多，这就要求学会分类，对各类数学知识进行分门别类，这样有助于加深对知识的理解，也有助于理清数学知识的脉络，促进学生更好地进行下一阶段的数学学习。此外，还应重视数学知识的积累。高中数学知识具有较强的连贯性和衔接性，学生在学习过程中如果出现知识点断层问题，很容易影响下一阶段的数学知识学习，致使前期所学的知识与后期将要学习的知识无法较好地衔接，影响学生的学习积极性，也会在一定程度上影响学生的整体成绩。因而，在高中数学教学过程中，教师要注意帮助学生做好相关知识点的复习和巩固，加深学生对前期所学知识的印象。例如：在初中的数学学习过程中，教师对十字相乘法已经不作要求了，同时对三次或三次以上多项式因式分解也不作要求了，但是到了高中教材中却多处要用到。另外二次根式中对分子、分母有理化这也是初中不作要求的内容，但是分子、分母有理化却是高中函数、不等式常用的解题技巧，特别是分子有理化应用更加广泛。所以，教师在教学过程中，应该多复习以前学生学过的知识，将其进行一定的积累，同时，也能为其今后数学知识的学习奠定良好的基础。此外，还要养成良好的数学学习习惯和数学知识积累意识，在实际学习过程中，充分重视数学知识的积累，通过各种不同的方式促进对数学知识的理解，并且学会运用自己所学的数学方法来解决数学问题，通过这种方法能够使学生不断地巩固所学的数学知识，提升数学解题能力，提升整体数学素质。

6.感悟数字化的便利，学以致用，提升数学应用意识。大数据时代的来临，改变了人们以往的生活方式，改变了人们生活的方方面面，也在一定程度上改变了数学课堂教学，举例来说，大数据时代的来临改变了高中数学课堂教学的形式、方法等。教师可以通过大数据提供的数字化信息，运用多媒体设备进行备课以及给学生布置作业，还可以利用大数据分析班里每位同学的学习情况。在数学学习过程中，学生在感悟数字化的便利的同时，还要学会将所学的数学知识融会贯通，学以致用。当然，有一点必须强调的是，无论哪一学科，都有其自身的特性及作用。以高中数学学科为例，数学是一门科学性与综合性较强的学科，其作用之一就是能够培养人的逻辑思维推算能力。并且，数学还是一门与我们生活息息相关的学科。因而，在学习数学这门课程时，教师要当好向导的角色，注意培养学生的数学学习意识，要让学生学以致用，注重提升他们的数学应用意识。

三、结束语

综上所述，基于大数据分析下的数学课堂教学策略主要有：第一，更新教学观念，构建数据分析观念。第二，勇于探索，在数学教学中尝试分层教学。第三，培养数学学习兴趣，学会获取数据中的有用信息。第四，引入数据挖掘算法，提升数学运算能力。第五，学会分类，重视数学知识的积累。第六，感悟数字化的便利，学以致用，提升数学应用意识。笔者希望有更多的有志之士，能够投身到这个课题的研究之中，指出笔者在文中的不足之处，同时也可以为基于大数据分析下的数学课堂教学这一课题的研究，做出自己应有的一份贡献。

大数据分析毕业论文:大数据分析下的互联网金融风险预警研究

摘要：从近几年的经济发展来看，我国金融已经从以前的传统金融迈进了互联网金融时代，在政府的大力支持下，促使了互联网行业蓬勃的发展，同时也有力地推进了我国传统金融行业的改革。虽然互联网金融行业可以更快捷、更有效地处理大量数据而被广泛的使用，但是这也给金融行业带来了新的挑战和风险，如风险控制、预警及金融稳定等。因此，为了能够使得互联网金融行业安全、快速地发展起来，我们必须建立起一个健全的互联网金融风险预警体系，才能保证互联网金融顺利地进行。

关键词：大数据 互联网金融 金融风险 风险预警

近几年来，我国互联网行业不断发展，互联网金融也蓬勃地发展起来，2015年中国的互联网金融行业规模已经突破了14万亿元，互联网金融已经遍及全中国。虽然如此，互联网金融中仍然存在着很多的不足和风险，为了能够更好地控制和发现互联网金融中存在的风险，我们必须有建立一个健全的互联网金融预警系统。本文就是以大数据为基础，结合互联网金融自身独有的特点，建立大数据分析下的互联网金融风险预警系统。运用这个系统能提前发现互联网金融中的各种风险及不足，可以让企业提前做好准备及防范，保证互联网金融更安全地发展起来。

一、概念

互联网金融是指依托互联网工具及通信工具来实现资金互转、支付等业务的新兴行业模式。这种互联网金融模式主要依托的是互联网技术水平，然而随着互联网络技术水平的提高，互联网金融也在快速地发展。

二、大数据及其特点

（一）数据分类

在互联网金融行业中，数据贯穿了整个网络金运转过程。在互联网金融交易中主要有：参与者（客户）、互联网金融企业及相关的金融产品和服务。互联网金融不仅仅可以输入、保存参与者（客户）信息数据以及提供产品信息数据，甚至还可以保留参与者（客户）在对互联网平台进行操作时的各种数据信息，这些数据信息正是互联网金融大数据库，是网络金融的基础。根据互联网金融数据的操作过程，可将其分类为：用户信息数据、成交信息数据、用户操作数据等。

用户信息数据是指每个参与者（客户）在建立账户时要填写的基本资料，这些资料被保存后就会被自动储存到企业的信息系统里。用户资料数据关系到每个用户的私人资料，所以企业必须对此数据进行严格保密，进行统一的管理，不能被泄露。

成交信息数据是指互联网金融行业为用户提供了商品及服务，然后用户对此商品或服务进行购买成交时，有成交信息数据，可以保留你成交过程中的整个操作，作为你安全成交的凭证和依据，防止交易过程中产生的风险。用户操作数据，是记录用户在对互联网金融行业平台进行操作时相应过程的记录。

（二）数据特点

互联网金融数据分为以下特点：规模广、多样化、高效性。首先，规模广是指互联网金融数据涉及广泛，覆盖广。其次，多样化是指互联网数据涉及种类多，信息数据的多元化。最后，高效性是指对互联网金融数据信息处理及时、准确、高效。

三、互联网金融风险

在互联网金融发展过程中，存在不少风险，主要体现如下：第一，用户对互联网金融与传统金融概念不清晰，投资风险意识不强，有人认为互联网金融是创新投资，与传统金融不同，其实互联网金融与改变传统金融并没有本质上的区别；第二，存在技术不足与人为破坏导致的风险，互联网金融虽然已经被广泛使用，但是互联网技术风险还是存在的，例如计算机故障与其他类型的风险，例如：黑客、病毒等。

第三，经营多样化导致监管风险。互联网金融的多样化导致风险监管难度更大，涉及到银行业务、证券业务、保险业务等，业务交叉性强。第四，互联网金融市场在一定程度上与传统金融市场相冲击。

互联网金融的兴起与传统商业银行业在一定程度上是相冲击的，使得银行间的竞争增大，相互抬高利率，而且还改变负债的结构。

四、互联网金融风险预警系统

（一）以数据为基础

在互联网金融风险预警系统建立的过程中，我们必须注意以下几点：

第一，可操作性，在互联网金融风险预警系统建立时，要结合本企业实际情况，方便、安全、易操作；在对数据进行分析时，要有利于操作，这样才能快速识别风险，作出防范。

第二，及时性，对于互联网金融行业的数据我们必须及时处理，具有高效性，所以在进行建立该系统的时候必须要注意时限性，确保能够及时地发现风险及不足，这样才能有充足的时间去预防，避免出错，造成不良损失。

第三，准确性，在建立该预警系统的过程中要保证数据的准确性，才能避免对风险作出错误的判断，造成不必要的损失。

（二）系统数据分级

在互联网金融预警系统分为四个级别，分别如下：

1、数据管理

互联网金融预警系统是以数据为基础的，预警系统对数据进行分析与处理，所以要对数据的管理建立健全系统。这样可以更方便地对数据进行导出、整理及存储。

2、数据整合

数据整合主要是风险预警系统对数据进行整体的分析，进行风险预警。

3、数据分析

风险预警系统进行数据整合后，对所有的数据进行分析和处理，从而来判定风险。所以，风险预警系统必须具备智能性。

4、数据结果

数据解释就是数据分析能够对风险进行解释及反应，并且分析结果。

五、结论与建议

综上所述，互联网金融风险预警系统主要作用是降低企业经营过程中的失误，对风险能过提早进行预警，及时作出防范，减少不必要的损失。在互联网金融风险预警系统运行过程中，我们提出几点建议：第一，企业应对员工建立健全的考核评价体系，“人”是万事的主导者，所以建立完整的考核评价体系是必然的；第二，企业应该制定科学的金融风险预警系统操作规范。为了确保该系统能实现规范性的操作，企业应该制定一套科学规范的程序，同时还要制定该系统的使用规范及流程，以便明确操作人员的权责及范围，对风险进行及时处理与实时监测。