期刊在线咨询服务,发表咨询:400-888-9411 订阅咨询:400-888-1571股权代码(211862)

期刊咨询 杂志订阅 购物车(0)

大学数学统计学模板(10篇)

时间:2023-09-08 16:59:07

大学数学统计学

大学数学统计学例1

二、统计模型的建立与求解

上一例题中,试验结果可以用服从两点分布随机变量来表示,X=1取到白球0{取到红球,X~B(1,p),p为白球的比例,p的可能取值为:{05,15,25,35,45,55}.而试验的结果是:白球、红球、白球的可能性为p(X1=1,X2=0,X3=1)=p2(1-p),如果要使这一结果的出现可能性最大,即p2(1-p)要取值最大,则估计p^=35,即估计白球有3个。把这一模型用更抽象语言来描述就是X1,X2,…Xn为一个容量为n的简单随机样本,来自总体分布F(θ),其中θ为未知参数,在θ的取值空间上找到一点^θ,使的样本取值发生的概率最大,则^θ为θ的极大似然估计值。其中样本取值的发生的概率,离散型的数据用样本的联合分布率来表示,连续型的数据用样本联合密度函数来表示,统称为似然函数。最后模型求解就转化为在θ的取值空间上求似然函数的极大值问题,常见的求函数极值方法有:如上一例题中的代入法;考虑函数单调性,导数为零的点有可能是极值点;函数定义域的边界点有可能是极值点,等等。

三、容易出现的理解误区

极大似然估计方法中,在求似然函数极大值时候,由于似然函数是边缘分布的连乘形式,因此在对似然函数直接求导讨论其单调性时,其求导结果较为复杂,不容易直接讨论。往往需要先对似然函数取对数,把连乘形式改成连加形式,然后再求导,求导结果相对简单,利于讨论单调性。这样做只是数学上的一个处理技巧,因为对数似然函数是一个复合函数,外层对数函数是单增函数,不改变里层似然函数的单调性。而同学们可能对这个数学处理技巧理解出现误区,把极大似然估计理解为一套算法,一组公式,死记硬背,时间长了就没有印象了。这样的学习效果对以后的进一步学习或应用此方法解决问题起不到良好的作用。相反的是,应让同学对极大似然估计的基本思想掌握牢固,并且极大似然估计的想法本身也很自然直接,而求似然函数的极值问题只不过是数学上的处理技巧,各种手段都可能用上,多加锻炼几次即可。如果同学对极大似然估计的想法理解透彻,不拘于具体数学解法,则有助于长时间和进一步地理解更为深刻的知识点,为将来学习和工作需要打下良好的基础。

大学数学统计学例2

[中图分类号]G42[文献标志码]A[文章编号]2096-0603(2015)24-0038-01

教育部于2003年出台了《普通高中数学课程标准》,从课程理念、内容与框架角度出发,新标准相对于传统教学标准发生的变化较大。而相对于中学数学而言,大学数学的改革较为滞后,尤其是在中学与高校的改革过程均属独立,因此,大学数学与中学数学必然在教学内容等方面出现严重的脱轨或重复现象。在这种情况下,高校势必要做好大学数学与中学数学的衔接工作。

一、概率内容的衔接

(一)高中概率教学内容分析

高中新课标概率教学部分主要包括五部分构成:随机变量的数字特征、概率应用、集合概型与古典概型、随机事件与概率、条件概率与事件的独立性。针对于高中概率部分,新课标提出的教学任务有:实际教学中,学生要充分了解随机事件发生频率的稳定性和不确定性,并掌握概率的意义,同时能够区分概率及频率的本质。

(二)大学概率教学内容分析

大学概率教学部分主要包括以下几部分构成:随机变量及其分布、概率论基本概念、中心极限定理、随机变量的数字特征、多维随机变量及其分布、大数定律。针对于大学概率部分,提出的教学任务有:学生要对样本空间及随机试验进行深入的了解,并掌握随机事件的运算和概念,能够清晰地对概率和频率的公理化概念以及统计概念有所了解,认识到概率的基本性质。

二、统计内容的衔接

(一)高中统计教学内容分析

高中新课标统计教学部分主要包括四部分构成:变量的相关性、随机抽样、统计案例、用样本估计总体。针对高中统计部分,新课标提出的教学任务有:学生要具备从其他学科或实际生活中抽象出具有统计价值的相关问题能力,并能够对具体的实际问题情境进行有效结合,随即了解了抽样学习的重要意义以及必要意义。在统计问题的解决中,学生要掌握从总体中抽取样本的简单随机抽样方法。

(二)大学统计教学内容分析

大学统计教学部分主要包括六部分构成:参数估计、回归分析、样本、抽样分布、方差分析、假设检验。针对于大学统计部分,提出的教学任务有:大学生要掌握样本、总体、统计量与个体的概念,并对两重点估计的定义以及区间估计的定义进行深入理解。与此同时,大学生还要具备计算单个总体的方差的置信区间与均值,能够解出两个总体的方差比的置信区间与均值差。并对假设检验的基本思想进行深入了解,掌握单个正态总体的均值的假设检验。

三、大学概率统计教学与中学数学教学内容衔接的注意事项

(一)概率部分

通过上文的大学与中学概率教学任务来看,有许多重复的内容,部分中学概率教学任务要求相对较低,主要体现在概率概念中仅对概率的概念以及区别概率与频率提出了要求,不要求较为严密的概率的公理化定义。从数字特征角度出发,只对取值有限的离散型随机变量的方差与均值的计算与理解提出了要求。大学与高中概率内容讲解最大的区别体现在全概率公式、对偶率、贝叶斯公式以及差事件上。由此可见,在概率教学中的概率论基本概念部分,大学教学主要是对重复的内容进行复习。例如,中学古典概型问题讲解也很细致,题目的难度系数也能满足教学要求,那么大学概率教学在这部分就没必要花费过多的时间。针对几何概型问题,学生在高中阶段普遍掌握得较好,为此,大学教师仅需要列举几个相关的教学实例即可。另外,大学概率教学阶段涉及数学期望、有限个离散型随机变量的分布律可以简单讲授。但相对其上述两项内容而言,高中阶段方差的练习还是较少的,那么,大学任课教师就要正常讲解有关方差的内容。

(二)统计部分

中学统计教学任务倾向于实践应用,不要求统计理论的掌握,对大学统计部门的教学体系建立基本不产生影响。在这种情况下,高中介绍数理统计基本概念相对于大学而言,系统性和详细性较为逊色,因此,大学统计教学的执行应该基本以原大纲为导向。综上所述,针对大学概率统计教学,任课教师要采取最佳教学策略,避免出现教学内容重复的现象,并以学生的实际统计概率掌握情况出发,不断探索大学概率统计教学与中学数学教学内容相衔接的方法,精心设计教学流程,促进大学概率统计教学水平的提升。

参考文献:

大学数学统计学例3

【基金项目】贵州省科技厅、贵州民族大学联合基金(黔科合J字LKM[2011]09号)

【中图分类号】G642 【文献标识码】A 【文章编号】2095-3089(2014)08-0235-01

1.引言

“大数据”时代的来临和“大数据”处理技术的发展深深的影响着统计学的发展。能否利用传统的统计理论和统计方法对海量的数据做出快速、准确的处理并获取相关信息?如何对传统的统计理论与方法进行改进或探索新的统计理论和方法来对大数据进行挖掘与处理以获取信息?如何在“大数据”时代背景下培养符合市场需求的统计分析师或数据分析师?如何将“大数据”处理技术融入相关统计学课程教学以促进数据处理与分析技术的发展?这些都是我们在统计学相关课程教学过程中必须思考的一个问题。

2.大数据与统计学

“大数据”随着社交网络、物联网、云计算等的兴起而产生。一般认为大数据具有规模性、多样性、实时性及价值性四个基本特征,包含分析、带宽和内容三个要素。“大数据”在数据来源、数据结构和处理方法方面对传统的统计分析方法产生了冲击。第一,在大数据背景下,数据来源不再是原来的简单抽样,而是“样本即总体”,直接将总体作为研究对象。第二,在大数据时代,研究对象也不是原来单一的结构化数据,由于数据的多样化与规模化,我们更多的是研究非结构数据,采用人工智能来进行数据挖掘和信息获取。第三,数据处理方法也不是简单的采用传统的假设检验方法进行研究,特别是对于统计学中的异常点,不再采取以往的丢弃或者平滑处理方式。

“大数据”处理技术对统计学的发展提出了巨大挑战,但我们必须认识到学科之间的发展是相互交融的,“大数据处理技术”其本质上是数据处理与分析技术,其发展对统计学学科的发展也有积极的一面,同时统计学作为一门独立的学科,有其自身独特的学科优势。首先,海量的数据有利于提高各类统计分析的精度,如减小抽样误差等。其次,较之于传统的统计学方法,现有的“大数据”分析方法难度较大、成本较高、耗时较长。而在实际的应用中,我们关心的不是数据量的多少,而是数据量所蕴含的信息。传统的统计学分析方法是以较少的数据进行精确度相对较高的统计分析,这是“大数据”分析所无法替代的。另一方面,统计学在数据收集方法、模型选择、模型假设以及模型诊断方面有很大优势。而且并不是所有的问题都具有海量的数据,并不是每一个“大数据”问题都适合用现有的“大数据处理技术”来处理。

3.对策与建议

3.1 夯实基础教学

针对以上的分析我们可以看出,大数据对统计学的发展既是机遇,又是挑战。因此我们在教学过程中要夯实统计学基础知识的教学,讲清楚统计学的基本原理与基本方法,特别是数据分析与数据处理的基本原理与方法。对于许多传统领域,如生物、医药以及质量与可靠性工程等,我们面对的多是“小数据”而不是大数据,因此基于样本的统计分析方法仍然是进行此类问题研究的最有效的科学手段。

另一方面,我们要结合大数据技术的特点,对统计学的基本知识进行拓展教育,引导学生思考怎样将已有的统计学基本原理与方法运用到大数据处理的技术研究中。如在大数据环境下怎样进行数据的收集、筛选与甄别、存储与分析等,如何分析并厘清可能的数据来源与范围,如何建立相关指标体系并对数据进行分类,如何制定或调整相应的统计参考标准,以及如何对依靠非传统数据源加工生产的统计数据进行规范的统计推断等。

随着大数据时代的来临,各行各业对具有统计背景知识人才的需求必定越来越多。因此,在统计学教学过程中,一定要结合各专业的特点,特别是“大数据”的特点,切实加强统计学的基础知识教学与拓展教学。

3.2 加强统计学专业软件教学

“大数据”环境下,对统计人才需求也发生了变化。面对海量的数据与多样化的数据,一名合格的统计人才或数据分析人才不单需要良好的统计素养与扎实的统计基础知识,更需要具有数据的存储与整理能力、计算能力以及数据分析与处理能力等。这就要求在教学过程中,加强统计软件或数学软件的教学。

针对传统的“数学证明+手工计算”或“重理论轻专业统计软件”的统计学课程教学模式,可将统计软件或数学软件融入课堂教学并安排一定的课时上机学习统计软件,以此提高学生数据处理能力,加深对统计学基本原理的理解与掌握。

在加强统计软件或数学软件,如SPSS、R、SAS以及Matlab的教学过程中,要摈弃“会软件的操作即会统计技术”的思维,要让学生真正掌握相关操作与相关算法,深入思考算法的实现与相关理论的应用。同时引导学生思考对“大数据处理”的技术要求,包括数据搜集、发掘、存储以及计算分析过程中的算法与设备要求等,引导学生针对大数据进行软件升级与开发。

3.3 突出案例教学与实践教学

大数据的产生和发展源于规模经济问题或超规模经济问题的研究。每一个大数据问题的研究都是与实际经济或社会问题紧密相联的,因此,在实际教学过程中,要突出案例教学与实践教学,由易到难,通过案例教学逐步引入大数据的概念以及大数据处理的基本技术,提高学生的分析全局观以及进行实际数据分析与处理的能力。

教学改革的目的是培养在“大数据”时代背景下,符合市场需求的专业统计人才,而合格的专业统计人才必须具备良好的统计实践能力。案例教学与统计实践活动是培养学生统计实践能力的有效途径。因此,在教学过程中,一方面,教师可融合各种与实际问题相关的案例进行分析和讲解,加深学生对相关统计理论知识的理解,激发学生的学习兴趣,培养学生解决实际问题的能力。另一方面,教师可以组织多种形式的课堂或课堂外的统计实践活动以培养学生统计实践。如,指导学生针对他们感兴趣的与经济、社会发展相关的统计实际问题展开统计研究,设计调查问卷,收集数据、整理和分析数据,撰写研究报告,实现对实际问题的分析和解决等。

4.结束语

总之,在“大数据”环境下我们既要积极面对挑战,又要紧紧抓住机遇,切实结合“大数据”的特点和“大数据处理技术”发展的需求,既加强对传统的统计学方法、统计理论的教学,又积极开展 “大数据“环境下的拓展教学,推动统计学的发展,在数据收集、数据分析以及统计制度等方面进行改革和创新。

参考文献:

[1]李国杰. 大数据研究的科学价值[J]. 中国计算机学会通讯,2012,8(9) .

[2]姜奇平. 2013 全球大数据-大数据的时代变革力量[J]. 互联网周刊,2013,1.

大学数学统计学例4

大部分传统的统计方法只适合分析单个计算机存储的数据。而目前大数据的环境包括以下要素。1.流数据:数据快速地不断涌来,现有存储设备和计算能力难以应付这种数据流(比如欧洲高能粒子对撞机所产生的数据,每秒钟可以达到500TB)。2.磁盘存储限制:数据已不能完全存储在内存中,需要硬盘存储。3.分布存储状态:数据分布存储在多个计算机中。4.多线条状态:数据存储在一个计算机中,多个处理器共享内存。大数据的发展就是对数据产生的机制进行探索,将所产生的数据转变为人们所需要的知识,进而对相关政策的制定产生影响。这个过程是一个漫长的过程。一个小孩子随着年龄的增长可能会掌握更多的单词,但是根据一个孩子的年龄确定他掌握的单词多少则并不科学。进一步来说,大数据有记录保存自然与社会现状的功能。现在大家收集着海量数据,尽管他们还不清楚如何分析大量的数据,但是他们相信需要保存现今社会经济高速发展的过程,期待着今后能够分析和解释这段历史。还有些人将百岁老人的血液和其他各种生物的标本等存放在冰箱里,他们认为当今的技术还不足以测试和分析这些资源,期待今后更先进的测试技术能够做到。大数据就如同自然和社会的血液那样记录着社会的现状和发展过程。17世纪望远镜以及显微镜的发明使人类看到了以前从来没有看到过的宇宙空间和微生物,扩大了人类对自然的基本认识。大数据就像“望眼镜”和“显微镜”那样,使得人们能够通过数据来观察和分析自然、经济、社会的现象。借助于互联网数据,可以及时了解疾病的疫情、科学的动态、社会的动态。谷歌借助频繁检索的词条能及时判断流感从哪传播,哪些人可能已经感染了流感。大数据将形成自然和人文社会的历史长河,不但能用于探索当代的科学问题,将来也可以用于研究人们食用转基因食品对子孙后代的影响等追踪研究问题,为未来留下当前的历史资料。

二、大数据带来的变革

时代的进步有赖于大数据的发展,大数据的发展给时代变革增加了更多的不确定性。就当前研究来看,数据的搜集很大程度上依靠所研究问题的出现来推动其向前发展。不过在不久的将来,随着大数据时代的到来,人们对于问题的研究将会由“数据”来驱动。例如,如果我们想去某地旅行或出差,会首先查询目的地的交通情况、天气情况以及住宿情况等信息,但是将来我们可以根据所查询的数据信息来决定所要去的目的地。在古希腊时代,当时的哲学家无所不知,号称百科全书,到了文艺复兴时代,随着学科的不断细化,不同学科出现了各自的专家。随着大数据时代的到来,大百科全书式的人物将有可能再次出现,而不同领域的专家的权威性将被逐步消弱,随着大数据的不断发展,很有可能会逐渐将学科专家消亡掉。例如,随着计算机专家和统计学家对数据的搜集越来越多并且处理能力不断增强,他们将逐步成为生命科学方面的专家。再比如,如果我们掌握了足够数量的相关专业书籍和日文译本,就算我们对日文一无所知,我们也可以采取有效的方法将所需要的中文翻译成为日文,因为我们有很多非常可靠的翻译软件,如谷歌翻译软件等。大数据已经在各个领域和学科得到了应用,例如医疗领域,大数据可以指导人们健康饮食,适时进行身体检查,并且确定检查项目,帮助医生对患者进行疾病诊断等。

三、大数据时代统计学专业教学现状

随着科技的不断发展和进步,人们获取信息和数据的途径也发生了很大的变化,电子商务的发展和各种多媒体信息技术的飞速发展和应用,给传统的统计学应用和教学带来了机遇的同时也带来了非常大的挑战。一方面,由于各种信息和数据的不断涌入,人们在被动搜集着各种数据。统计学的教学也需要不断探索新的模式。另一方面,人们在被动接受数据的同时也在主动搜集数据信息,不同学科有不同的数据需要。例如经济学领域的专家每天都在搜集各自的调查数据和观察数据,而自然科学领域的专家学者则不仅搜集宏观天文数据,还在搜集微观基因数据。不同的人们搜集数据的方法也各不相同,有的在实验室通过试验进行数据搜集,有的人则通过网络进行数据搜集和研究。对于当前大数据给统计学带来的挑战,美国科学院“大数据分析委员会”给出了分析,他们认为这些挑战在于对不同格式和结构的数据的处理方面、对于数据来源的追踪方面、对于共享数据的安全性问题和完整性问题方面、对于样本异质性和偏倚性处理方面、在对问题进行处理时的决策和分析方面以及对分布式和并行式在开发时的算法方面的问题等。国内相关部门也对这一问题进行了研讨,最早一次是2012年5月在香山召开的“大数据科学与工程”会议,第二次是在2013年5月召开的对于大数据原理以及发展前景的探讨会,并同时制定了相关的科研计划。但关于大数据背景下统计学专业教学的探索还非常稀缺。

四、统计学专业课程改革

针对以上所述大数据时代的特点和变革意义以及目前统计学专业教学的现状,本文进行了相应的初步探索。

(一)改革的总体思路

将现有的统计学顶级杂志或著名文献中的成熟的大数据分析方法逐步凝练,形成教学内容;将使用R软件中的函数包实现这些大数据分析方法。

(二)改革的具体内容

1.在《数据挖掘原理与方法》课程中引入大数据分析方法及其R语言的代码实现。2.在《非参数统计》课程中引入多元非参数统计方法(诸如多元符号、多元秩、多元符号秩等)、非参数回归模型、半参数回归模型及其R语言的代码实现。3.在《回归分析》课程中引入回归树、boosting回归、bagging回归、随机森林回归等用来处理大数据的回归方法、高维回归变量选择方法(比如LASSO回归、动态LASSO回归等)及其R语言的代码实现。4.在《多元统计分析》课程中引入高维统计分析方法及其R语言的代码实现。5.在工科《概率论与数理统计》课程中引入R语言的代码实现。

大学数学统计学例5

伴随着社会经济的飞速发展,信息和数据的重要作用日益凸显出来,特别是伴随着“大数据”时代的到来,“大数据”已经成为当今最热门的关键词。“大数据”在各行各业中都掀起了变革的巨浪,在教育领域中也掀起了对教学模式的深刻探讨。那么,从统计学的角度来说,“大数据”可以说是基于现代的信息技术和工具从而可以自动记录、储存和连续扩充的一切类型的数据,它已经大大的超出了传统统计记录与储存能力,对统计学的教学产生了巨大的冲击。

一、“大数据”时代对传统统计教学的冲击

统计的研究对象是大量社会经济现象总体的数量方面,可以说统计就是研究“量”的,“大数据”时代恰恰是以数据为中心的,所以说统计人员必须学会用数据去思考问题。如何适应“大数据”时展的要求,如何在这样的背景下对统计学教学进行改革,是急需解决的问题。除了普查这种调查方式以外,许多传统的统计方法都是基于小样本数据而建立起来的,因此它并不适用于“大数据”分析的需要。在如今这样的“大数据”时代,这些传统内容的相对重要性也会随之发生改变。比如,传统统计的数据搜集,通常是根据研究目的,在已知来源的数据当中搜集,记录者的身份是确定的,而“大数据”时代,数据的来源是很难追溯的,而且对记录者的身份也很难确定。再如,传统的抽样推断是在概率保证的前提之下,以分布理论为基础,用样本的特征推断总体特征的,而在“大数据”背景下,分布状况是实际的,判断也是基于总体特征进行的。

二、“大数据”时代下的传统统计教学必要性分析

“大数据”一词是由统计学家提出来的,可见“大数据”与统计渊源甚深。目前“大数据”时代致使统计学的教学内容发生了重大改变,但是其中最基本的原理保持不变,因此在统计学的教学过程中,要能够让学生应用基本原理进行新的教学内容的理解。在教学过程中要能够采取理论与实际并重的教学模式,将基础理论以及实际应用进行紧密的结合。“大数据”虽然对传统的统计教学产生了近乎颠覆性的影响,但并不是所有的问题都有海量的数据,不是说传统的统计理论和方法就不能用了,也不是所有的数据问题都适合用现有的大数据处理技术来处理。

(一)统计基础理论的重要性

在教学过程中,理论教学的作用非常重要。应该强调统计学理论基础,并分析基本理论在实践当中的应用。虽然一些统计学中的概念在“大数据”背景下变得不再是普遍性问题,比如样本的概念。但是在淡化了类似样本和总体概念的同时,似是模糊了抽样推断这一传统统计分析方法,但事实上却是强调了归纳,本质来说仍是推断(归纳推断)。

(二)传统统计调查、整理方法的重要性

传统统计学在数据搜集、模型的选择方面,有相当的独特之处。虽然已经进入了“大数据”的时代,但是并不是所有的问题都有海量的数据。传统的统计数据搜集、整理的方法仍然适用,因此,相关知识的传统统计教学十分重要。

(三)传统统计分析方法的重要性

较之传统的统计分析方法,现有的“大数据”分析方法更为复杂。“大数据”背景下,要强化分析统计软件的使用,同时要能够考量方法的适用性以及解决问题的可用性,使得学生能够掌握应用统计学基本原理解决实际问题的能力。“大数据”统计学对传统统计学是补充,而不是替代。以样本统计和预测分析为基础的传统统计学仍将会在经济分析和社会统计的很多领域中继续发挥重要的作用。因此,不难看出相关的基础知识、理论的教学的重要性。

三、结束语

在以数据为驱动、以数据为中心的时代,作为研究数据的统计学面临的挑战和机遇十分重大。“大数据”背景之下,数据的搜集、整理、分析处理技术对统计学的发展、统计学的教学提出了巨大挑战。尽管如此,统计学中的基本原理始终不变,加之传统统计方法在统计搜集、整理当中的独特的不可替代之处,另外基于不能使用“大数据”进行分析的情形也不少见等问题出发考虑的话,传统统计教学的重要之处显而易见。

总之,在大数据时代,作为统计学的教学人员,我们既要面对挑战,也要抓住机遇。在强化传统统计学教学的基础之上,对教学形式、方法进行改革与创新,推动统计学的发展。

参考文献:

[1]李金昌.大数据与统计新思维[J].统计研究,2014(1)

[2]赵伟.大数据在中国[M].江苏文艺出版社,第1版,4014年6月1日

大学数学统计学例6

[中图分类号] O21 [文献标识码] A [文章编号] 2095-3437(2015)11-0183-02

一、引言

2009年8月5日的《纽约时报》刊登题为“当今大学毕业生唯一关键词:统计学”文章。[1]文中介绍,哈佛大学人类学家格赖姆斯改行就职Google,从事海量数据的分析工作,整天就是和数学、计算机打交道,用数据分析方法改善Google搜索引擎。文中援引Google首席经济师范里安的话说:“我坚持认为今后10年最性感的工作是当统计师,我可没开玩笑!”麻省理工学院经济学家布林约夫森说:“我们进入了一个一切都可以被监测器和科学仪器数字化和记录的时代(大量数据在不断产生),但最大的问题是我们有没有能力利用、分析这些数据,让其为我们服务。”数据中有大量的珍宝。IBM组织了200名数学家、统计学家和其他数据分析大师为商业分析和优化服务,在数据中探宝,他们计划将探宝队伍扩充到4000人。网络数据的样本量打开了一个新世界,康奈尔大学克莱因伯格说,社会统计中,相比传统采访和问卷调查等形式的抽样,数百万计的网民的网络互动产生的样本量是令人惊奇的。专家警告,统计学面临着严重的危机,单就网络数据的体量就足以使得传统统计模型丧失能力,而且,数据的强相关性未必就有因-果关系。

数据在爆炸,我们在惊梦中进入了大数据(Big Data)时代,大数据正在引起一场革命,它将改变我们的生活、工作和思维[2],统计学是关于数据的科学,它迎来了一场变革,是机遇也是挑战。[3] [4]

二、大数据的产生及其特征

数据化是大数据时代到来的标志。社会网络、电子商务、移动通信、深空探测、卫星遥感、基因测序以及其他科学测量仪器时时刻刻都在自动测量和记录着数据,而且这一趋势在不断增强。2007年所有数据中只有7%是存储在报纸、书籍、图片等介质上,其余全部都是数字数据。Google每天要处理超过24PB2的数据,它是美国国家图书馆所有纸质出版物所含数据量的上千倍。科尔尼公司科学家统计结果显示,仅2012年就产生了2.5ZB的数据,并且数据产生量以每年40%的速度递增,2011、2012两年产生了全球90%的数据,到2020年将达到45ZB,这是天文数字。

我们用中国移动公司为例大致描述一下大数据的产生。2015年中国移动已经达到12.93亿个用户,用户数近似12G,给用户提供通话、短信、上网等服务。若网络流量包月30MB,每天1MB,平均每天网络数据流量达到12PB,若每天还记录用户信息(姓名、身份、职业、位置等),通话(时刻、时长、内容),短信(内容)等,保守估计所产生的数据可以达到300PB,一年将超过100EB=0.1ZB。再看这些数据的形式,它们有文字、表格、符号、图片、语音、数字、影像、上网轨迹等等,如果还考虑这些数据时时刻刻都在改变,每个用户有自己的偏好,可以想象这些数据的体量、变化性、复杂性,如果移动公司利用这些数据进行市场分析和行业规划,这些数据还具有巨大价值。图1描述了大数据的产生及其演化过程。[5]

人们从不同的方面对大数据进行了描述和定义。从特征来看,大数据具有“4V”:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。[6]Volume:由于当今数据的体量大,其处理和管理只能依靠专门的技术,驾驭这些先进技术是开启大数据宝藏的钥匙;Velocity:快速处理大数据并获取有用信息;Variety:要开发利用的大数据的数据类型庞杂、数据源众多;Value:大数据中隐含着商机,隐含着企业、行业乃至国家战略决策的依据,它是煤、石油、金属矿产、水等之外的一种新型资源。

图1 大数据的演化图(据科尼尔分析修改[5])

从统计的角度,李金昌认为大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据,而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据。[6]

从技术的角度,维基百科的定义是,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。从产业角度,常常把这些数据与采集它们的工具、平台、分析系统一起被称为“大数据”。

三、大数据时代的大学统计教学

大数据时代是以数据为中心的时代,是数据驱动的时代。作为关于数据的科学,统计学面临着重大的机遇和挑战,大学统计学教学面临着重大变革。20世纪中叶计算机技术的进步为统计应用的腾飞插上了有力的翅膀,使其应用范围遍及自然科学、社会科学的各个领域,无所不在,使得统计学趋向成熟。如今计算机、互联网、云计算电子商务和社会网络等的发展又将统计学推到了风口浪尖,国际、国内很多统计学家纷纷撰文对统计学为适应新时代的发展所需的变革进行了论述。

孟生旺和袁卫[7]根据2014年11月美国统计学会的统计学本科专业指导性教学纲要,强调了4个方面:(1)数据科学日益重要,统计专业人才不仅需要扎实的数学和统计基础,还要有强大的统计计算和编程能力,可以熟练使用专业统计软件和数据库;(2)真实数据是统计专业教育的重要组成部分;(3)需要更加多样化的统计模型和方法;(4)通过语言、图表和动画等用户易于理解的方式表达数据分析结论的能力。他们还从统计方法与统计理论、数据操作与统计计算、数学基础、实践训练等几个方面对课程设置提出了具体要求。

结合他人的思想,我们认为在教学过程中必须思考几个方面的问题并进行思想方法和教学方法的转变。

(1)对数据的认识,传统统计数据类型包括时间序列数据、截面数据、面板数据以及空间面板数据等,结构性强,针对每类数据都有有效的统计分析方法和模型。然而,如上文提到的通信数据,还有社交网络记录的数据、电子商务记录的客户数据等等,它们往往是传统数据类型的混杂体,既有静态的也有动态的,既有结构性的也有非结构性的。另外,数据库与数据库之间存在大量数据交换与关联,这些数据都不适合传统统计模型,要想在这些数据中挖掘到有用信息,要进行市场分析与决策。面对这些因素,我们在教学中该如何处理,如何思考?另外,这些数据中的变量可能是一个Word文档,可能是一段语音,可能是一幅图片,是不是需要将它们都转化成数字再处理呢?

(2)关于抽样,首先由于网络和科学仪器的进步,数据获取技术得到了前所未有的提高,加上强大的计算机处理能力,通过抽取样本推断总体的属性是不是造成信息浪费呢?维克托主张,当数据处理技术已经发生了翻天覆地的变化时,抽样技术就像汽车时代骑马一样,一切都变了,我们需要的是全部数据而不是样本,统计需要“全数据模式”:样本=总体。

(3)精确与简单,维克托估计大数据中只有5%的数据是结构化的,是可以用传统统计学模型进行分析的,然而其余95%的数据是混杂的,其中隐含的信息不仅多而且可能是更有用的,如果因为追求精确性而拒绝混杂数据将是资源的巨大浪费。他认为,大数据的简单算法比小数据的复杂算法更有效,我们不应该拒绝混杂性,而要以混杂性为标准设计新型数据库进而快速有效地获取有用信息。

(4)因果与相关,相关性回答的是“是什么”,因果关系回答的是“为什么”。维克托主张,大数据时代,我们不必一定要知道现象背后的原因,而是要让数据自己“说话”,知道是什么就够了,知道了是什么就可以创造巨大的社会价值,大数据时代探索世界的方法需要改变。然而,维克托的《大数据时代》中译本作者周涛对“相关关系比因果关系更重要”观点不认同,认为放弃对因果关系的追求就是放弃了人类凌驾于计算机之上的智力优势,是人类自身的放纵和堕落。我们同意周涛的观点,在巨大的利益面前尽快、尽量多的知道是什么是很重要的,尤其是对商业界来说。探索事物之间的因果关系是统计学的重要使命之一,然而与小数据相比,大数据中的因果关系可能被大量的混杂性掩埋,望远镜和显微镜如何有效地配合使用也是我们不能回避的问题。

统计这门学科的发展一方面必须适应社会的发展,满足社会的需求,另一方面要不断完善其理论、方法体系。这样一来,大学的统计教学既要让学生掌握传统统计学知识,又要激发和培养学生们大胆探索适应大数据时代的新思想、新方法和新应用。

[ 注 释 ]

[1] STEVE LOHR, For Today’s Graduate, Just One Word:Statistics[N].New York Times,2009-08-05.

[2] 维克托著.周涛译.大数据时代――生活、工作与思维的大变革[M].杭州:浙江人民出版社,2013.

[3] 耿直,大数据时代统计学面临的机遇与挑战[J].统计研究,2014(1):5-9.

[4] 邱东,大数据时代对统计学的挑战[J].统计研究,2014(1):16-17.

大学数学统计学例7

二十一世纪属于信息爆炸的年代,我们的生活当中随处都涉及到大数据,例如图书馆、高校学生档案管理、企业的财务数据等各个场所都拥有庞大的信息量。大数据不断发展,给统计学带来了挑战和机遇,利用传统的统计学方法,对于大数据的处理无法有效的利用,有关于大数据的各种处理需求无法得到满足,处理大数据的基础就是统计学。因此需要分析大数据影响下统计学面临的各种挑战进行论述。

一、大数据时代给统计学带来的挑战

(一)对于教学内容带来的挑战

针对统计学的专业教学,主要包括概率论、数理统计、抽样抽查等,其面临的处理对象就是结构化的数据,但是却不够重视非结构化和半结构化的数据,也很少进行利用。在大数据时代当中,高端人士的对于数据处理提出了更高的要求,当前的统计学内容无法满足含量数据研究和商业运用的需求。实施统计学教学需要结合时展情况,核心内容就是统计专业人士的各种现实需要,从而将其科目内容进行提升,适当的开设新的课程,这样才可以满足大数据时代的发展需求。

(二)对于教育方法提出的挑战

我国长期利用的统计学教育模式的中心就是课堂教育,主要以教师的讲解为主要内容,理论知识的讲解比较注重,但是实际应用却没有重视,教师只是在讲解理论知识,却没有培养学生的技能。利用的方式比较单一,而教学方法也比较单调。利用这样的统计学教育方法对于大数据时代的要求无法得到满足,无法培养人才的素养,因此需要改革其教学方法。

(三)对于人才培养提出的挑战

统计学教育方式面临着重大的统计任务,其主要内容就是实现统计教育和研究人员,很多教师的综合素养比较低,没有研究专业之外的知识,更新实验室相关设施的速度比较慢,培养学生比较注重理论知识,形成的知识构架的主要内容就是数理认知,对于其他领域的知识缺乏认知,无法将实际困难进行解决。在大数据时代,对于统计学人才提出了更高的要求,需要在海量的数据当中将市场机遇进行掌控,从而将其中的商业价值挖掘出来,从而可以将行业的内在潜力进行制造,具备探究精神。

二、大数据时代统计学的改革策略

(一)提高统计人员的综合素质

在当前大数据背景的影响下,统计学对于统计人员提出了更高的要求,统计人员需要具备良好的道德素质和职业素质,这样才可以更好的应对大数据时代带来的挑战。企业需要定期开展岗位培训和思想道德教育,使统计人员的专业技能得到增强,使统计人员的思想认识进行提高,使统计人员不断学习新的统计知识,可以学会更多的统计方法,对于各种新型的统计工具的实际操作流程进行熟练的掌握,企业应该为统计人员提供良好的工作氛围,从而全面的提升统计人员的素质。针对学校的教育需要采取措施提升学生的素质,统计学专业课在实践过程中,需要营造良好的学习氛围,加强引导和教育学生,不断学习统计学的专业课程,不断掌握统计学的展业理论知识,使学生深入的认识和理解统计学,从而可以更好的和时代接轨,以社会的实际需求为基础,让学生形成自主的意识,将自身素质不断提升。

(二)加强统计人员掌握新技术

在当前的时代影响下,总是会出现各种新的数据处理技术和分析工具等等,利用这些新的处理工具和技术,对于当今的统计学来说这是一种挑战,因为统计人员不够了解这些新的技术和工具,这些新的技术也不够熟悉,但是可以有效利用这些新计划,可以使统计学更好的适应大数据时代的发展。这就需要统计人员了解这些新技术。在大数据的影响下,需要改革统计学,重视培训统计人员的新技术,加强统计人员掌握新技术。企业需要将各种新的数据处理技术和设备进行引进,通过专题讲座和实训的方式,为统计人员提供学习的平台,使他们可以学习更多的数据处理技术,从而可以对于大数据时代提供更好的服务。

(三)加强统计学课程教学改革

高职教育机构需要做的哦啊与时俱进,大数时代不断发展,统计学课程需要实现改革,将落后的教学理念和教学方式进行抛弃,将统计学的相关设备设施进行完善,使统计学的教学环境和教学条件进行改善,将各种先进的统计学教学方法进行有效的引进,在实际改革的过程中,充分融合统计学教学内容和大数据信息,协调统计学教学内容和教学方法。改革统计学课程,不仅需要实现课程改革,还要实现教学改革,需要在课程和教学两个方面进行,从而使统计学更好的适应大数据时代,将大数据时代带来的各种挑战进行有效的应对,更好的掌握大数据时代带来的各种机遇。

改革统计学教学,需要有效的整改课程教学模式和课程目标以及课程结构安排等,从而将课程结构的合理性得到有效的提升,使课程目标具备科学性,使课程内容实现完整性,将统计学课程的重点内容进行突出。改革统计学内容,需要提高教师自身的教学水平,将传统的教学理念进行转变,从而利用新的教学方法和科学的教学模式,重视实训教学,使学生的实践操作能力得到有效的提高。

三、结束语

大数据和统计学在探究目标。数据处理对象等各个方面具有一定的联系,但是也具有一定的差异。大数据时展的速度不断提高,冲击了统计学的固定探究方式和价值观念,统计学教育的教学结构和教育方式等各个方面都带来了各种挑战,要想对于大数据时代的发展潮流更好的适应,培育胡高素质、适应能力很强的统计专业人才,统计学教师和统计教育需要做到与时俱进,从而实现有效的调整和改革、

大学数学统计学例8

大数据时代以迅雷不及掩耳之势席卷世界,在全球范围内掀起了前所未有的数据革命浪潮。相对于政府单位的统计数据来说,大数据主要利用的是多层次、多样化的数据采集方式,整合了多种数据的开发优势,并且利用现代科学技术手段和高速处理以及信息架构数据等资源,兼具极高的使用价值和判断决策能力。一方面,统计调查数据的多样化发展趋势和电子商务产业的不断发展,为统计数据的使用方式和生产方式制造了不小的麻烦,不断地挑战者政府部门数据管理系统和统计数据的概念。另一方面,信息技术、网络发展以及空间信息技术的不断进步,为统计生产力的升级发展提供了广阔的视角和空间。数据量急剧增长的电子化、信息化和产业化数据,都成为了统计数据发展的重要来源。种类不断增多的“大数据”资源,正在成为政府统计部门利用研究的重要领域。

一、大数据与统计学的区别

统计知识在大数据的利用研究中有多样化的应用形式,主要是对“大数据”进行肢解,对爆炸增长的数据信息进行搜索、分类以及整合主要依赖于统计学。因此,大数据的相关研究在一定程度上运用了统计学的知识。但是,大数据的使用尚未被统计学这门学科充分利用,这主要是因为大数据的运用方式,使用模式和统计学之间存在着重要差异。统计学主要利用的是样本统计资源,样本主要在根据既定的概率标准从总体中抽样调查,但是随机抽样调查是带有成本属性的,例如消耗时间、资本投入的成本等。在样本数量逐渐增加的情况下,样本估计的误差范围是伴随着总体样本数量的增大而逐渐增加的,这是样本统计学不能忽视的缺点。大数据时代最具代表性的就是海量的信息数据化以及即时电子商务信息,大数据在整体上呈现出“总体样本数据化”的趋势,这样的特征恰好可以补充样本统计的弊端。大数据环境下的整体样本统计即使可以囊括全部的样本容量,但是因为很多情况下数据具有非结构性和半数据化的特征,而且大量的数据资源呈现的是重视尾部分布的状态,方差、标准差等标准化的方法变得毫无意义,整体依靠性和不稳定性经常会超越经典时间内的时间序列的整体假设性,所以概率论的应用范围呈现狭窄化的发展趋势。因此,统计学在利用大数据进行样本统计的过程中,可以对整体上的数据资源进行融合和选择,这和样本统计中的数据化处理技术存在异曲同工之妙。

二、大数据时代统计学教育的发展

1.全面培养人才素质

统计学专业的学生需要具备良好与人交往能力。统计学的学生很多都是理科出身的学生,不善于交际。但是在日常的工作中,有数据经验的科学家应该经常和每个部门的工作人员交流,协同工作。怎么样才能让颇具专业性的数据分析结果让普通的老百姓也可以读懂,让每个部门的工作人员都能无障碍地理解,这是不容易做到的。要训练自己的交往能力和沟通技能,主动地参加演讲活动是不错的渠道,演讲活动锻炼了演讲者的自信,在整个演讲的过程中,能否清晰地表达自己的思想以及给人以信服力是至关重要的。需要培养数据常识,广其见闻。数据科学家经常面对各种各样的海量数据,并需要从这些数据中挖掘出有价值的信息,这就需要数据科学家具有强烈的数据敏感性。对数据的敏感程度的训练不是一蹴而就的,要经过长时间的积累和数据分析工作的磨练,同时也可以根据阅读数据分析材料积累阅历,提升对数据资源的敏感程度。

2.培养应用型人才

大数据时代培养的数据科学家需要两方面的基本素质,第一是概念性,也就前面所说的数据科学家需要掌握的基本素养和专业知识;第二是实践性,也就是本文中我们提及的应用型人才,也就是实际操作中处理数据的能力。在高校开展大数据分析研究生学科,最大的问题是没有可用的数据,这就需要高效与大数据企业合作,进行研究生的联合培养,注重学生的实际操作能力,这里面涉及到我们的应用统计学专业硕士的双导师培养制度,一名校内导师一名校外导师,校内导师注重学生的概念性,校外导师注重学生的实践性,学生通过在校外导师单位的实习,从而熟悉并且掌握实际工作中所需要的技能。

3.促进统计与数学、计算机学科合作

“大数据”时代需要的海量数据分析资源仅仅凭借统计学科单一学科的发展是不能满足发展需求的,大数据的数据结构性特征已经抛弃了传统意义上的数据分析模式的非智能化框架,而且数据分析需要利用新型的数据运算方式以及计算机技能分析,这也是进行数据分析工作的拦路虎。所以,数据科学家的成长仅仅依靠单一的统计学科知识的学习是远远不够的,其需要的是数学、计算机和统计学三门学科融合发展,紧密结合。三门学科之间交叉发展,融会贯通,这样既可以发挥学科的优势资源,同时也能弥补其他学科的弊端。

三、结语

数据信息的爆炸式增长使我们在使用统计数据处理信息时需要更多的数据资源,更有甚者,在很多情况下可以利用全面化的数据,数据资源不再是制约统计分析的唯一因素,大数据前提下的统计学效用和粘合度预测的准确程度不断提升,而且可以发现诸多在样本统计基础上未能显现的细节。统计学关键优势就是“见微知著”,也是统计学在数据环境下的约束性妥协。在海量数据汹涌袭来的年代,充分发挥统计学的优势,和大数据资源整合发展,实现“以小见大”和“由繁入简”的有效结合。

参考文献:

[1]田茂再.大数据时代统计学重构研究中的几个热点问题[J].统计研究,2015,05:3-12.

大学数学统计学例9

顾名思义,统计学几乎是对所有领域的数据进行统计与研究、分析筛选,因而统计学在如今的大数据时代几乎涉及到各行各业,其表现方式为,统计出来的数据进行科学的研究与分析,可以有效的帮着企业获取有效信息,探索其中数量规律行,进而企业可以更高效、更精准的进行工作。而如今随着现代信息技术以及数字科学技术的不断发展,统计学也得到了更多的应用,也被人们更加重视,应用最多的为企业管理系统中,统计学中的理论及其分析方式帮助企业进行对数据数量规律性的探以及定性分析,为企业寻找自身的管理经营的基础进行有效地夯实,奠定企业向更加稳定方向进行发展。而如今计算机软件的不断发展与更新,大数据时代的到来,统计学的应用也会得到更为广泛的发展,其中有政府和企业利用计算机对相关数据的采集、整理、统计进行综合的分析。统计学相关的软件开发商也将软件设计的更为简易化、便捷化,使得非统计学专业的人员也可以使用。当今社会经济高速发展,统计学的应用及其发展趋势将会迎合时代的到来进行改革改变,促进社会经济的快速提高。

一、大数据时代的内涵及其意义

(一)大数据时代的内涵

大数据是指在一定时间内对信息的捕捉、管理、处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力、流程优化能力的海量、高增长率和多样化的信息资产。针对这些信息资产,利用统计学原理对其进行数据分析、提炼、分解。也可以从另一个方面理解大数据,它涉及各行各业,是多个领域数据的集中区域,涉及到的有自然科学、人文科学、社会经济学等等相关的混合数据,它们之间相互参杂,互相融合,形成非常庞大的数据系统。目前传统统计学中的统计方法是分析单个计算机系统的数据储备,无法分析多台计算机的数据,在数据统计中产生了局限性、单一性、不稳定性和客观性等,但是目前大数据时代的到来,改变了如今这一现象,改变了大数据环境下数据流、磁盘存储、分布存储、多线条等环境。大数据环境主要起到的作用为,将庞大而复杂的数据进行转换,转换成为简单易懂、显而易见的内容,进而使工作人员对数据进行源头和机制的追述,从而研究出适合自身并有效的应对策略。因将数据转换成需要的知识需要相对缓慢的时间,所以工作人员将当前庞大复杂的数据分别存放在不同的储备空间里,有些工作人员将目前无法分析的或是不需要的数据进行整体精准的记录储存,记录成一整套的数据发展史,已供日后应用,以备不时之需,为今后科研做出充分准备。

(二)大数据时代给社会带来的改革

大数据在一夜之间成为各大互联网上的讨论话题,成为一个包含性非常强的概念,大数据时代也成为人们关注的话题,它的到来已然成为不争的事实,从本质上来看,它是当今中新型的产业,通过对海量的数据进行统计分析追踪发现庞大的市场,通过对人们行为喜好进行科学分析,获取营销手段。大数据使得广告投放精准化、医疗卫生体系精密化、社会安全管理有序化等多方面优势,同时大数据时代的到来随着带来了新的新业市场,大数据将为全球带来440万个IT岗位和上千万个非IT岗位,提供了更多的就业岗位。大数据时代到来的变革之大,影响着人们传统的工作方式,各行各业的人利用研究问题来驱动收据数据,然后再利用收集来的数据进行分析,从而解决问题,从这一行为来讲,人们会慢慢适应通过大数据进行统计学的研究分析来解决问题,利用通过统计学理论开发的软件搜索、分析一些研究性成果。目前统计学家通过数据的收集、数据的处理以及个人分析能力进行科学探索,如今大数据的到来将会威胁的他们的领域,大数据将我们难以理解的内容翻译成我们一看便知的统计成果,优化了人们工作的便捷性、舒适性等。

二、大数据时代统计学的发展研究

大数据发展如今,渗透社会的各个角落,分析大数据需要多个领域的结合,它并非单一的科学领域,自成一体,现如今的统计学家不仅需要研究探讨计算机对数据的实时决策,更是要将其与统计学理论及其方法相互结合,同时,计算机专家也要不断学习统计学的一些知识,统计学与大数据相互结合才能顺应时代的发展。获取大数据之后,研究探讨大数据时,针对数据分析的高难问题,利用统计学原理对其进行数据分析、提炼、分解时,需创新出新的更便捷更高效的统计处理方法,在压缩提炼过程中,解决数据混杂的问题,在分解数据中,解决精准问题,使得大数据与统计理论更好的沟通合作,构造全局统计结果。统计学主要是对海量的数据进行整理分类,结合计算机进行科学分析,探究出数据的数量规律性,从而得出结论,由于目前统计学中的统计学理论和统计方法与时代稍有差距,如今更是大数据时代,而大数据随机或非随机的误差比较大,所以传统的统计学理论及方法无法满足如今变革,也无法更好的获取大数据背景下所带来的各种机遇。现在的统计学家应该更加努力专研统计学理论以及对数据压缩、分解的方法,舍弃无法适应当前时代的陈旧理论及方法,必须去学习如何迎合新的事物的到来进行改革改变,只有这样才能顺势而行。

作者:宋瑞雪 周晏羽 黄扬艺 单位:沈阳理工大学

参考文献:

大学数学统计学例10

一、大数据时代下统计学概念概述

教科书上对统计学给出了这样的定义“有效搜集整理分析随机性数据,对考察问题给出推断与预测,最终为行动提供数据支持”,这就是统计学。从根本上看,统计学是一门与数据有关的学科。众所周知,美国总统奥巴马通过数据团队的帮助得到连任的机会,阿里巴巴的马云很早就把大数据作为企业发展战略。随着我们走进大数据时代,网络科技给搜集数据带来方便,传统的设备已经无法容纳大量的数据,我们对其进行更新,通过对大数据的分析,我们为社会传递出有效的、有价值的信息,这一切为社会的发展起到了不可替代的推动作用。

统计是社会各界乃至各环节不可或缺的因素,在商品交换过程中,统计有先导作用,市场经济信息也需要统计学的帮助,大数据时代,我们的统计数据不再局限于随机抽样调查,电话调查等高成本的搜集方式,通过互联网及移动终端,我们可以获得更多数据样本,可以说我们的社会进入高速发展的时期,大数据时代下的统计学也进入全新的发展阶段。

二、统计学在大数据时代影响下的变革

1.从样本的角度看,样本概念得到深化

我们知道统计学离不开样本,有效的样本能够正确反映情况,大数据时代样本概念与传统不再相同,通常我们得到诸多网络数据,一种为静态,即直接在客户端创建的数据,无需提取即可使用,成本低,另一种为动态数据,即数据随着时间的推移而变化,最终表现为所有数据的总和,可见此时的样本不局限于随机抽样,直接可以做选定分析。

2.从类型方面看,呈扩大之势

在过去数据通常指结构化数据,有固定的标准,大数据时代数据不仅局限于固定的结构,还有异构数据,再有存储方式也发生了改变,大数据可以直接将探测的信号容纳进去,由网络系统作为工具,可以识别各类结构或非结构的数据并进行快速存储。

3.收集概念得到扩展

传统的统计过程中,我们有目的的进行数据收集,效率低,成本高,随着大数据时代来临,我们将收集步骤化,第一预先处理好数据的识别与处理,第二做好分析,提炼出所需要的信息,最后做好存储,就这么简单。面对大量的数据,我们的分析、识别等都需要注意,大数据不代表万能,我们还是要注意数据的安全性,尽量控制收集成本。

4.数据来源较传统不同

曾经我们根据研究目的去做统计收集数据,这些数据源都是已知的,在核对方面相对容易。大数据时代,我们得到数据变得容易,但通过互联网收集数据后,目的性变弱,大多数记录没有源头,很难识别记录身份,可见,大数据时代做好数据来源登记开始变得重要。

5.量化方式也发生变化

对于传统的结构化数据,量化方式是成熟的,可以将收集到数据直接分析得出结果,大数据时代,很多异化结构数据几乎无法做直接分析取得结论,当下,很多结算及专家在研究处理非机构化数据,力争将大数据时代统计推向新的高端。

6.分析思维发生改变

从分析过程看,传统分析需要进行三步走,即定性、定量,最终定性。大数据时代,统计分析过程仅需要两步即定量、定性;从证实分析方面看,传统思路为假设、验证,事实证明传统证实分析有很大误差,而大数据时代,我们的思维为发现,总结,这是整合,发现最终定论的过程,在此过程中会有很多发现。

7.统计软件变得越来越多

传统统计学中,我们比较熟悉的软件有SPSS、SAS、STATA等,大数据时代,我们分析技术为非关系型,主要以数据中心为基础,将软件与大数据结合,分析过程得到很大简化。综上,大数据时代给了我们更多的主动权,这些更促使我们推动大数据时代统计的发展进步。

三、大数据时代下统计学面临的挑战

大数据时代给我们带来了更多的好处,统计学的大数据化是大势所趋,但传统与更新的交错间还有一些不相容的方面,对于革新我们还是要从各个方面做谨慎考虑与慎重调整。

首先从样本标准的角度看,大数据时代我们可以轻松得到很多样本,此量大到可以视为总体,随着互联网科技的不断发展,大样本标准也应随着发展,传统统计学将界限定在30,大于30为大样本,小于30为小样本,大数据时代这个界限略显低,没办法清除干净干扰信息,这会影响分析结果,因此,加强数据来源的同时还要更新大样本标准,将更大规模的样本数量代替旧有的数量,以适应大数据时代的要求。

其次从样本选取与形式的角度看,传统统计学固定结构化数据内藏着一定的统计规律,尽管我们能够发现研究对象的数量关系,但并不是所有的事物都有量化指标,一些被量化的指标也不一定能够清楚的解读研究对象,目前大数据采集数据超过80%为有结构数据,传统的统计数据库没有办法对这些数据做很好的处理,而大数据通过建立非结构数据库,对数据做有效转化,发挥多元化分析作用,无形中降低了样本的选取标准,将统计范围扩大化。

最后统计软件的开发是一项挑战。我们常用的统计软件主要以构建模型之间的变量与数量关系的方式分析研究对象,如我们熟悉的SPSS等。大数据时代,我们很多以数据为基础做非关系分析技术,谷歌利用MAPREDUCE实现了月处理400PB数据的工作量,雅虎也利用云计算平台实现了100PB的存储工作,未来大量的数据处理需要更快捷更科学的软件,对于软件的研发与升级将是一种挑战。

四、大数据时代下统计学的发展与机遇

1.大数据时代下统计质量更高

从国际数据标准SDDS中得到的统计质量标准可以看到,适用、准确、时效、平衡是统计质量的内涵。其中适用是指统计信息符合要求,统计信息最大化的满足客户的用途,大数据的覆盖很大程度上促进适用功能的提升;传统角度我们说时效性主要指统计的时间更短,让客户及时了解统计信息,大数据时代网络化完全满足时效性各类要求;准确是指估值与真值之间的差别,数据中存在误差在一定范围内属于正常,大数据时代我们的全面性最大程度包容了误差,也缩小的了误差,统计更加真实可信;平衡性也被称之为协调性,大数据时代,数据结果的核对与检验都经得起客户的不断核查,可以使数据的平衡性得到很大提升。

2.大数据时代统计成本降低

首先,从数据收集角度看,大数据时代可以不再依靠人力做电话调查或问卷调查,甚至有些普查动用全国力量,耗费大量人力财力,通过互联网、移动通信等,我们大大降低人力成本,数据收集快,成本低,准确性也高;其次从数据利用角度看,传统统计过程中,一旦资料过期就需要再起启动抽样分析过程,对外公布手段也有局限性,大数据时代,我们收集数据更轻松,且数据可多次被利用,综合比算,数据的成本大大降低。

3.大数据时代统计学作用范围扩大

传统统计学有各种局限性,比如受成本、观念等影响,统计学主要用于行业与部分统计,随着大数据时代的来临,统计学被应用到各行各业,比如、金融、医学、计算机行业等,从这个角度看,社会的新计划让信息传递发生质变,统计学作用价值得到认可并服务扩大,这样推动自身发展的同时更服务社会服务人民,为整个国家发展进步起到不可估量的作用。