关键词：云计算 spark docker 机器学习 参数调优 

摘要：目前基于Spark的应用十分广泛,合理的参数配置会使Spark作业具备较高的执行效率,很多学者对虚拟机集群上的Spark参数调优进行了深入研究。近年来,容器作为一种新兴的云计算基础设施越来越广泛地被应用于服务集群中,因而对基于容器集群的Spark参数调优进行研究也具有重要意义。文章研究了Docker容器集群中Spark的参数配置问题,提出了一种新型的参数调优方法(ContainerOpt),使用机器学习方法学习并预测作业在不同参数组合下的性能,同时引入节点自动伸缩机制,使输入规模较大的作业可以获得更优的性能。文章还提出了由时间和资源共同决定的性能表示模型,代替传统的基于单一执行时间的性能表示模型,从而在作业执行时间和资源占用之间达到较好的平衡。实验结果表明,相较于默认配置,该参数调优方法可提升50%的执行效率。

信息网络安全杂志要求:

{1}文内有关特定内容的注释以尾注形式写明，序号用带圆圈的阿拉伯数字表示。

{2}编辑委员会对来稿可提出修改意见，但除了技术性的处理之外，不代为作者修改，文责自负。

{3}题名。题名一般不宜超过20个汉字，应紧扣文章主题，用语用词严谨规范且利于网络检索。不得使用非公知公用、同行不熟悉的外来语、缩写词、符号和代号。

{4}作者简介在50字以内，如果作者是国际著名科学奖获得者、两院院士、部级名师、长江学者以及中小学、幼儿园特级教师，请注明。

{5}论文所涉及的课题若取得国家或部、省级、校级以上基金资助或属攻关项目，请务必注明基金编号。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社