图形图像实训总结例1

飞机蒙皮是包围在飞机骨架结构外且用粘接剂或铆钉固定于骨架上，形成飞机气动力外形的维形构件，在飞机正常工作状态下扮演着重要的角色，一旦飞机蒙皮出现缺陷等问题，需要及时的反馈出来并且维修。传统的飞机表面缺陷检测方式大多数是由人工来完成，会存在效率低、成本高等缺点，甚至会出现检测失误的情况。本文就针对铝合金表面缺陷检测方面，提出一种基于ROS的飞机表面缺陷检测系统，采用移动机器人底盘定位和导航技术，结合深度学习、图像处理等技术检测出存在缺陷的位置并标记出来，通过机器代替传统人工的方式，旨在提高检测效率和检测精度，为飞机表面缺陷检测提供一种方式。

1系统的总体设计

飞机表面缺陷检测系统主要由检测模块、ROS机器人模块、图像处理模块三大部分组成，系统的总体结构框图如图1所示。系统的具体工作原理为：在某一区域范围内，检测模块以树莓派为核心控制器，通过检测模块中的图像采集系统对铝合金材料表面进行图像采集，将采集到的图像通过TCP通信传输到图像处理模块上[4]。图像处理模块利用深度学习中设计的卷积神经网络进行数据训练，得到检测模型，将检测模型应用到图像预处理上。此时，OpenCV对检测模块得到的图像进行图像处理[5]，最终得到缺陷出现的位置。当前区域检测完毕后，通过ROS机器人模块的定位和导航功能，驱动运动执行机构工作，并移动到相邻下一块检测区域，直到所有位置都检测完毕。上述工作原理可实现飞机表面缺陷检测系统，下文将对其包括的三大模块进行说明介绍。

2检测模块设计

如图2所示，系统的检测模块主要是包括树莓派和摄像头，其中树莓派作为检测模块的处理器，搭建的有Ubuntu系统，是系统实现的重要组成部分。树莓派可以提供普通计算机的功能，并且功耗低。可直接在树莓派上安装Keil进行开发，具有很好的开发效果，运行稳定。本次飞机表面缺陷检测系统实现了树莓派将摄像头拍摄的图片发送到图像处理模块上，同时也搭载ROS系统实现了移动底盘的定位和导航功能。

3ROS机器人模块设计

ROS随着机器人技术发展愈发受到关注，采用分布式框架结构来处理文件，这种方式允许开发者单独设计和开发可执行文件。ROS还以功能包的形式封装功能模块，方便移植和用户之间的共享。下面将介绍其建图和导航功能的实现。

3.1建图设计

本文在ROS系统中使用Gmapping算法软件包实现建图[7]，在ROS系统中设计了建图过程中各节点及节点间的话题订阅/的关系如图3所示。在图3建图节点话题关系图上，其中椭圆形里代表节点，矩形基于ROS的飞机表面缺陷检测系统胡浩鹏（纽约大学NewYorkUniversity纽约10003）框里代表的是主题，节点指向主题代表着该节点了主题消息，主题指向节点代表着该节点订阅了主题消息。在建图过程中，主要涉及激光雷达节点、键盘控制节点、底盘节点、Gmapping节点和地图服务节点。

3.2导航设计

ROS提供的Navigation导航框架结构如图4所示，显然MOVE_BASE导航功能包中包括全局路径规划和局部路径规划两部分，即在已构建好的地图的基础上，通过配置全局和局部代价地图，从而支持和引导路径规划的实施。为了保证导航效果的准确，通过AMCL定位功能包进行护理床的位置定位[8]。获取目标点的位置后，MOVE_BASE功能包结合传感器信息，在路径规划的作用下，控制指令，控制护理床完成相应的运动。

4图像处理模块设计

图像处理模块设计主要分为图像预处理、模型训练和卷积神经网络三大部分，通过TCP通信协议进行通信，TCP通信是一种面向连接的通信，可完成客户端（树莓派）和服务端（PC）的信息传递[9]。下面主要对卷积神经网络部分进行介绍。

4.1卷积神经网络训练流程

通过相机采集到的缺陷和问题图像作为训练样本，这部分是检测飞机表面缺陷的关键一步，然后对训练样本进行训练，具体步骤如下所示。（1）训练标记数据：首先使用图像预处理中标记好的道路故障提取出来，通过卷积神经网络对标记框内的目标数据进行训练；（2）提取特征数据：将道路故障的类型统计并归纳；（3）误差反馈学习：对测试样本进行误差反馈学习，并进行测试；（4）优化训练数据：将得到的测试结果与设定的故障分类结果进行误差对比，不断优化训练集，最终得到理想的训练数据。

4.2缺陷检测流程

缺陷检测流程如图5所示，首先输入缺陷原始图像，通过特征提取网络，将处理后的图像使用检测器进行检测，其中检测器里为卷积神经网络训练后得到的模型，最终缺陷检测后得到的识别后的图像，并反馈出来。

4.3实验测试

铝合金表面缺陷主要有碰伤、刮花、凸粉、脏点等常见的缺陷，下面将以这四种为主要对象进行检测训练，各自训练集数量为1000张。通过卷积神经网络对缺陷的特征进行提取和分类，最终实现了缺陷的检测。本次实验测试的样本为200张，每种缺陷50张，均采集自铝合金材料表面且与训练样本一致，实验结果如表1所示。由表1可知，检测脏点的准确率高达98%，刮花和凸粉的准确率也达到94%，但碰伤的准确率相对较低，只有88%。可能造成的原因是：①硬件原因导致采集的图像清晰度比较低；②碰伤缺陷不明显，无人机难以识别；③训练的数据集较少，特征学习误差大；但最后结果是满足了设计需求，还需进一步改进。

图形图像实训总结例2

中图分类号：TP391.9 文献标识码：B

文章编号：1671-489X（2016）04-0042-04

1 引言

现代飞机科技含量越来越高、结构越来越复杂、造价越来越昂贵。对于承担歼强、轰炸、运输、教练和直升机等多种机型机务人员培训任职教育院校，期望利用实装开展装备维修训练面临诸多困难：一是新型飞机首先满足部队训练需要，院校一般难以同步配备，即使配备，其数量有限，也不能满足培训需求；二是轰炸、运输等大型飞机对训练场地配套设施建设要求高，装备教学场所扩容难，且花费大；三是现代飞机结构系统庞大，技术保密，模拟训练装备开发费用高。所以，针对多机型航空维修保障训练需求，急需探索多机型装备教学条件建设的新路子。

2 解决方案

面对多机型维修训练条件建设难题，综合考虑仿真效果、培训员额和经费效益等因素，提出基于“CAVE系统”与“ZSPACE桌面展示平台”相结合的飞机虚拟维修实验室建设解决方案。即将飞机数字模型取代实体原型进行飞机原理构造教学和维修保障科目程序训练，面向机、军、特、电等航空机务各专业学员，既有满足多人协同训练的CAVE沉浸式训练系统，又有满足单人的便携式桌面训练平台，统一建设、统一开发、统一管理。

其中，CAVE（Cave Automatic Virtual Environment）

系统[1-2]是一种基于立体投影的沉浸式虚拟交互系统，它是以计算机图形学为基础，把高分辨率的立体投影显示技术、多通道视景同步技术、音响技术、传感器技术等完美地融合在一起的沉浸式虚拟环境。典型的CAVE虚拟现实系统是由3个面以上（含3面）硬质背投影墙组成的高度沉浸的虚拟演示环境，配合三维跟踪器，使人能完全沉浸在计算机创造的三维图形世界里，从而获得带有震撼性的身临其境的沉浸感受。其优点是沉浸感强，缺点是成本相对较高，只能满足5～8人同时使用。

为解决30人左右教学班人员培训需要，实验室配套多台ZSPACE桌面展示平台。ZSPACE平台是由加州Infinitez公司开发专门用于单人单桌的交互式展示平台，主要由带位置追踪的3D显示屏、立体眼镜、操作光笔和图形工作站等组成。与传统的桌面三维视景系统不同，它可以跟踪用户的头转动和手的动作，实时调整用户看到的3D图像，利用光笔可以实现对飞机数字模型的操作和维护过程的训练学习。

3 详细设计

飞机虚拟维修实验室除了通用教学基本设施外，实验室总体设计如图1所示，主要由三通道CAVE立体投影系统、ZSPACE桌面展示平台、总控系统和Quazar3D集成开发环境四部分组成。

CAVE投影系统 CAVE投影系统硬件主要由立体投影显示系统、几何校正模块、渲染管理工作站和位置跟踪交互系统等部分组成，如图2所示。

1）立体投影显示系统。实验室选择了双机被动立体投影方案。被动立体也称光学偏振显示技术，是指通过两台投影机经偏振化方向互相垂直偏振镜片后，同时把两个经过特殊处理的图像或影片同步放映显示三维立体效果的图像。被动立体投影的优势在于亮度高、立体感强、3D眼镜价格便宜。投影机选用型号：NEC PX750U+。分辨率：1920×1200（16：10）。投影幕布采用3面C型布置，单面投影幕有效尺寸：3200 mm×2000 mm。以上配置实现了8000流明亮度及大屏幕下像素颗粒边长1.67 mm，较好保证了图像的亮度、清晰度。

2）几何校正模块。被动立体每通道由两台投影机投射的画面叠加而成。为实现两台投影机画面的完全重合，左右视差的准确性依据通道间图像的自然拼接。每台投影机配备了大视电子MG200纯硬件几何校正模块。该模块内部硬件采用大视电子的第二代高精度及高保真调整技术、非线性多滤波器技术和纹理补偿技术，能够对输入的图像信号进行实时的弧形、桶形、球面和其他多异形图像校正，可完全保证画质的完美。

3）渲染管理工作站。因飞机模型数据量大，为提高虚拟维修系统的运行速度，系统采用基于Windows平台的千兆分布式图形工作站集群架构，它包括一个管理节点工作站和三个图形渲染工作站。管理节点工作站主要运行虚拟维修仿真软件，三台渲染节点工作站用于分布式图形渲染与展示。图形工作站均选择HP Z820系列图形工作站。

4）位置跟踪交互系统。为实现CAVE系统中对场景和三维模型的漫游、平移、旋转、缩放、隐藏和操作等交互功能，实验室配备了ART位置跟踪系统、Flystick漫游手柄和带有头部跟踪的立体眼镜等跟踪交互系统。其中，ART位置跟踪系统是德国生产的一种光学跟踪系统，是一种基于反射式的捕捉系统。当ART的摄像机发出的红外光打到反光球表面上时，反光球会反射同样波长的红外光给摄像机，从而捕捉摄像机可以确定每个反光球的2D坐标，经过ART的控制软件处理便可以得到它的3D坐标[3-4]。获得人体头、手等部位的三维坐标后，再经编程设计，就可使场景发生相应变化。Flystick漫游手柄内嵌了被动式的反光球，集成了5个按钮和一个操纵杆的交互设备，可完美实现虚拟维修的交互、漫游功能。

ZSPACE桌面展示平台 ZSPACE桌面展示平台拓扑结构如图3所示，主要由主控机（讲师）和教学机（学生）组成，通过网络交换机把所有设备连接一起，组成封闭的局域网。在每一个机位配备独立的图形工作站和ZSPACE展示交互系统，通过网络交换机与讲师机相连。讲师机位安装集中控制管理软件和虚拟维修交互展示内容，整个培训过程既可以实现集中统一培训，也可以实现学生的独立学习[5]。

ZSPACE立体展示系统集成了立体显示器、跟踪摄像头、跟踪立体眼镜、操作光笔和工作站等设备。

总控系统 总控系统主要用于CAVE投影系统和ZSPACE桌面展示平台的开关机、显示模式切换、环境灯光及音响等系统的集中控制与调节，主要包括控制柜台、监控显示器、调音台、调光台和UPS电源等设备。

Quazar3D集成开发环境 Quazar3D集成开发环境是波兰新开发上市的虚拟现实实时交互平台。与Virtools、Unit3D等其他平台相比，在图形引擎的实时渲染质量、64位操作系统支持、开发接口的便捷性、未来技术发展潜力上等都具备明显的优势。配套的Quazar3D CAVE是Quazar3D

的辅助软件，主要用于支持3～6屏的洞穴结构、器头盔显示、运动跟踪系统和其他支持VRPN（虚拟现实的外设网络库）等外设。

4 难点及解决办法

Quazar3D视景大模型加载 飞机是极其复杂的航空装备，与机务维修保障作业相关的部件、零件成千上万。这些数字化模型如果一次性全部加载到虚拟维修交互场景中，势必引起图形工作站处理的负担，造成模型加载时间长，运行速度慢等问题。为此采取以下方法。

一是根据虚拟操作进程，将操作模型选择性轻量化。例如：当进行起落架维护操作时，起落架部件模型采用较高细节级别的渲染模型，而机身其他部位模型就是一个简易轻量化结构模型。

二是将Quazar3D视景模型加载采用动态方式。Quazar3D

软件中模型动态加载体系是与视点相关的，即随着视点的移动，数据模型网格才被动态更新加载。相对于静态地形来说，这是一种更为先进的算法。这种方式建立起来的场景、模型等更加符合人的视觉特性，可以节省大量的存储和加载空间。

显示系统光路设计 为增强CAVE立体投影系统的大规格图像、高分辨率、高亮度、高对比度、立体能力和高沉浸感，系统采用了3屏C型被动立体投影方式，这种投影方式对光路的设计、安装提出更高要求。为此，实验室设计定制了全封闭一体化铝合金结构投影机房体，可支持幕布安装、灰尘隔绝和消减投影机的噪音等功能。房体同时包括投影机的支撑结构，使投影机和幕布一体化。在每投影面支撑安装2台投影机，上下排列，上位投影机中轴对准屏幕中心，下位投影机与上位投影机机身相距250 mm，利用镜头的垂直位移（±50%）来实现光斑的位移，两台投影机的图像在屏幕完全重合。为了减少投影距离，减小投影系统所占空间，投影机选用投射比0.76：1的短焦镜头。

位置跟踪系统设计 ART位置跟踪系统是虚拟维修系统交互的核心，必须合理设计ART位置跟踪摄像机的安装位置。ART位置跟踪系统理论上需要至少有两个摄像机捕捉到一个单一反光球的三自由度跟踪，或者至少三个反光球组成的六自由度刚体的六自由度跟踪。为满足手部和头部在CAVE操作区域内的有效追踪，采用3D有效区域设计手段，如图4所示。在有效区域会以绿色显示，绿色区域的颜色越深，表示这个区域被摄像机跟踪到的重叠次数越多。每个红色区域指的是只能被一台摄像机跟踪到，代表不能提供有效的跟踪。系统设计4个捕捉摄像机，它们位于系统顶部四角，面向内。从图中可以看出，在高度在1 m以上已能全部覆盖CAVE操作区域，实际安装高度2 m，完全满足系统要求。

5 结束语

基于CAVE系统和ZSPACE桌面展示平台的飞机虚拟维修实验室建成后，已在多机型机务虚拟维修训练方面发挥重要作用。和实装训练相比，维修仿真训练系统特点为[6]：1）不受装备数量、场地的限制；2）可根据装备教学规律，开展多样化、个性化训练；3）可供多人同时进行训练，易于规模化；4）可统一平台，适应不同的机型、专业和培训内容；5）便于训练实时评估，使受训者及时掌握自身维修技能水平；6）与实装训练、模拟训练相比，效费比高。

参考文献

[1]Yuen K K， Chao S H， Yang X B. A Full-immersive CAVE-based VR Simulation System of Forklift Truck Operations for Safety Training[J].Computer-Aided Design and Applicati0ns（S1686-4360），2010，7（2）：235-245.

[2]林柏纬，潘志庚，等.基于PC构架的高性能CAVE系统[J].计算机辅助设计与图形学学报，2003，15（6）：724-729.

[3]赵琼.基于视频和三维动作捕捉数据的人体动作识别方法的研究[D].合肥：中国科学技术大学，2013.

[4]蔡芝蔚，叶晓琴.动作捕捉带来的人机交互设计分析[J].电子技术与软件工程，2014（27）.

图形图像实训总结例3

中图分类号：TN911.73 文献标识码：A 文章编号：1007-9599 （2012） 15-0000-01

图像的超分辨率复原技术是通过超分辨率算法处理一幅或者一组序列图像获得高质量高分辨率的图像。本文介绍了一种基于SVR的空域超分辨率图像复原算法，该算法是基于学习的算法，并且获得了较好的实验效果。

1 SVR

支持向量机（Support Vector Machine）是Cortes和Vapnik首先提出的，它适用于解决小样本、非线性和高维模式识别等问题，并且能够应用在函数拟合等其他的机器学习问题中。SVR则是支持向量机的理论在函数拟合问题上的应用。支持向量机方法的理论基础是统计学习理论的VC维理论和结构风险最小原理，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中，以期获得更好的泛化能力。

2 基于SVR的空域超分辨率算法

将SVR用于超分辨率技术中，可应用在空域中。超分辨率技术就是通过算法利用低分辨率图像获得真实的高分辨率图像。从某种意义上来说，超分辨率技术相当于插值技术，即对低分辨率图片进行某种插值，从而获得高分辨率图片。基于SVR的超分辨率图像就是利用SVR来学习高分辨率图片中的填充像素值与低分辨率图片中的小块之间的关系，从而预测出高分辨率图像中像素的值。这种关系具体来说，就是从低分辨率图像中获得N×N的小块，然后找出该小块中心像素在高分辨率图像中所对应的扩展出来的四个像素，在小块与高分辨图片中这扩展出来的四个像素之间的关系作为学习模型的输入。

（a）：低分辨率图片；（b）：高分辨率图片

其中N×N的低分辨率图片中的3×3的灰色区域与高分辨率图片中的6×6的灰色区域相对应。低分辨率图像中的像素点x对应的是高分辨率中的x1，x2，x4，x4四个像素点，这四个像素点是未知的，也就是超分辨率技术所要求解的问题。作为SVR训练的输入为低分辨率图像中3×3的矩阵，与其对应的label值为高分辨图像中蓝色方块对应的2×2的区域的值，由于共有4个值，所以要训练出4个模型用于对这四个值进行估计。

用公式可以这样描述，输入的数据可以表示成 ，其中 为 的小块， 则表示将一个矩阵所有的列向量表示成为一个行向量，在图1所示的条件下， 为3，则 是一个长度为9的向量，输出的label值为 ，而 的值是复原后高分辨率图像中蓝色方块所在的红色格子内的四个像素值。

由于这是一个多类的问题，我们可以将问题转化为多个一类的问题，即我们将 变形为 ；而输入形式不变。

在该算法中，核函数的选择特别关键。我们一般采用的是径向基核函数。

3 实验

本次实验是在Matlab环境中，利用Libsvm3.0版本。

本次实验以512×512的图片“vase.tif”作为原始高分辨率图片。其中，我们从中截取一部分作为SVR的输入集，由此来获得高分辨率的图像。将512×512作为理想的高分辨率图像尺寸，对其依次截取，获得尺寸分别为384×384，200×200，112×112，60×60的实验图片。

首先对60×60的图片进行下采样，获得30×30的低分辨率图像，以低分辨率图像中3×3的小块的集合作为训练数据，以原图像中相应的小块所对应的高分辨率图像点周围的三个像素作为三个训练值集合。训练数据与训练值共构成训练集。用SVR对此训练集的输入进行训练，获得训练模型。之后再对待测试的其他尺寸图像进行参数为2的下采样，获得相应的低分辨率图像，之后将这些低分辨率图像作为测试集，利用之前训练好的模型进行预测，获得高分辨率图像。

实验结果如表1所示。

根据实验图像来看，经过SVR空域实验预测出的高分辨率图像视觉效果很好，而且随着训练集与测试集的比例的缩小，并不影响图片的质量。通过表1可以得出SVR空域超分辨率算法具有较高的保真度，而且适用于较小的样本集。

图形图像实训总结例4

DOIDOI：10.11907/rjdk.171167

中图分类号：TP301

文献标识码：A 文章编号：1672-7800（2017）006-0015-04

0 引言

在计算机视觉领域，场景标注[1]作为图像分析的一个重要环节受到广泛关注。场景标注的主要任务是识别图像中每个像素所属类别。由于图像常会受到不同光照强度、对象遮挡以及对象种类繁多和复杂的场景问题，导致像素标注错误，无法很好地标注对象轮廓，最终导致场景标注效果不理想。因此，如何有效提取图像中对象的整体信息，描述图像对象轮廓，一直都是值得研究的问题。

当前的场景标注方法是直接在图像像素的基础上训练模型，而单纯在像素上训练模型很难描述对象轮廓，从而使场景标注难以获得理想效果。基于此，本文提出一种基于支持向量机的场景标注方法SVM-SLM（Scene labeling method based on support vector machine），通^训练图像块，有效解决了基于图像中对象轮廓的描述问题，在像素精确度上也有良好表现。

2 SVM-SLM方法描述

传统的基于像素训练的场景标注模型无法描述对象轮廓，会出现预测对象丢失和对象不完整的问题，从而影响像素精度。文献[2]、[ 3]、[4]研究的场景标注方法时间开销过大，并且精确度不高。针对以上问题本文提出了SVM-SLM方法，具体步骤如下：①采用结构森林方法[5]生成图像的边缘概率图；②将上述生成的边缘概率图用分水岭方法将图像划分为初始图像块；③为防止分水岭方法过度分割并且减少接下来的训练开支，通过UCM算法选取阈值，优化图像块；④对图像块提取特征，利用支持向量机训练图像块得到场景标注结果，并实现具有良好精确度及轮廓效果的场景标注方法。

3 生成图像块

边缘检测是计算机视觉系统中的一个重要环节，包括对象检测[6]、目标预测[7-8]以及场景分析[9]。边缘形状是目标对象几何形态描述的重要表现内容，图像中对象的轮廓往往来自于图像的边缘信息，所以有效提取图像边缘信息方法是关键。

传统的水平集模型需把轮廓曲线演化的能量方程转化为微分方程，进而借助梯度下降法求得方程最优解。这一过程不仅耗时，而且导致计算结果不稳定。考虑到一般图像块对图像的局部特征表现效果很好，本文利用图像块对边缘学习能力很强的特点，提出结构森林[5]与分水岭相结合的方法。首先利用结构森林的学习方法建立随机决策森林，学习每个像素的边缘概率，生成边缘概率图，此过程不但解决了耗时问题还取得了良好的边缘检测效果；再将边缘概率带入分水岭方法生成初始图像块，得到包含轮廓信息的初始图像块，效果如图2所示（彩图见封二）。图2（a）和图2（d）测试为图像，图2（b）和图2（e）为对应的边缘概率图，图2（c）和图2（f）为初始图像块。

4 训练SVM模型

传统的像素训练无法保留图像中对象的轮廓信息，训练时单纯对像素提取特征，忽略了像素之间的局部空间信息，不能很好表达图像中像素之间的区域结构信息。本文通过对带有对象轮廓信息的图像块进行训练，在进行语义标注的同时保留了对象轮廓信息。

采用核描述、核匹配方法，通过2*2网格模型提取像素的纹理特征、颜色特征和梯度特征，对应于同一图像块的像素特征加权合并为图像块特征。随机提取10块图像块生成特征图，利用支持向量机算法对图像块进行训练，如图4所示。

5 实验结果及分析

为了验证方法的有效性，图像数据集采用Stanford Background数据库[11]，数据库共715幅复杂的户外场景图片，每张图像大小为320×240像素，附有标注好的正确语义图片。每个像素划分为一类，共8个类别，总计5 491万多像素标记样本，类别分别为天空、树、马路、草地、水、建筑物、山脉和前景对象。

实验随机提取五组训练集和测试集依次带入公共图像块阈值[0.1，0.2，0.3，0.4，0.5]进行评估，每组训练集提取572个图片，运用本文方法分割成若干图像块，平均每组图片被分割成5万多块图像块，运用支持向量机对这些图像块进行训练。用剩余143个图片作为测试集，平均分割成1万多个图像块进行测试，并对每个像素进行语义标注。实验效果如图5所示（彩图见封二）。图5（a）为部分测试图像，图5（b）为数据库正确标注图像，图5（c）为本文方法的场景标注图像，图5（d）为标注失准图，标注错误的像素呈黑色，正确的为白色。图5下方8个色块分别代表8个不同的类别。

利用结构森林生成边缘概率图，将图像边缘作为对象轮廓候选区，提高了场景标注对对象轮廓的标注能力。再通过UCM算法优化图像块，最终场景标注结果如图6所示。图6表明，本文方法在人物、车辆、动物等重要的前景对象轮廓细节上有较好的描述。

6 结语

场景标注是计算机视觉技术的关键步骤。针对像素训练模型容易忽略图像空间结构信息，无法描述对象轮廓的问题，提出一种基于支持向量机的场景标注方法。通过结构森林/UCM生成图像块，构建支持向量机模型，训练得到场景标注结果。实验表明该方法较好地描述了图像中的对象轮廓，获得了良好的精确度和标注效果。但是，由于特征描述采用核描述提取特征，对部分图像块不能有效提取特征，导致部分图像块标注不正确，影响了总体精确度。下一步的工作目标是提高有效特征的提取，以获取更高的精确度及场景标注效果。

参考文献：

[1]顾广华，韩晰瑛，陈春霞，等.图像场景语义分类研究进展综述[J].系统工程与电子技术，2016 （4）：936-948.

[2]马成虎，董洪伟.一种基于深度学习的多尺度深度网络的场景标注算法[J].计算机工程与科学，2016，38（7）：58-63.

[3]MUNOZ D，BAGNELL J，HEBERT M.Stacked hierarchical labeling[C].European Conference on Computer Vision，2010：57-70.

[4]TIGHE J，LAZEBNIK S.Superparsing：scalable nonparametric image parsing with superpixels[J].European Conference on Computer Vision，2010，63（15）：352-365.

[5]DOLLAR P，ZITNICK C L.Structured forests for fast edge detection[C].The IEEE International Conference on Computer Vision （ICCV），2013：1841-1848.

[6]GALL J，LEMPITSKY V.Class-specific hough forests for object detection[C].The IEEE Conference on Computer Vision and Pattern Recognition，2009：143-157.

[7]ARBELAEZ P，JORDI P T，T BARRON J，et al.Multiscale combinatorial grouping[C].The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2014：328-335.

[8]JORDI P T，ARBELAEZ P，BARRON J，et al.Multiscale combinatorial grouping for image segmentation and object proposal generation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016.

图形图像实训总结例5

中图分类号： TP751.1

文献标志码：A

0引言

光学遥感图像通常是指可见光和部分红外波段传感器获取的影像数据，其直观易理解，空间分辨率通常比较高，在有光照和晴朗的天气条件下，图像内容丰富，目标结构特征明显，便于目标分类识别。随着遥感技术和模式识别技术的发展，对光学遥感图像多目标分类和识别的研究已引起了广泛关注，它的发展对对地观测、军事侦察等领域有广泛的意义[1]。

基于光学遥感图像的多目标检测与识别研究主要涉及目标分割检测、特征提取和目标识别3个阶段。目标的检测分割阶段是提取遥感图像信息的重要准备环节，在目标点检测的基础上，依据特征把图像划分成多个区域[2]。文献[3]对纯海洋背景和海陆背景两种情况下的舰船目标分别用区域生长法和先验法完成目标分割；文献[4]对传统的圆形检测Hough变换方法作了改进，首先是计算目标梯度场检测油库圆心坐标，然后通过计算梯度值加权估计半径值以便对目标准确定位；文献[5]首先用小波分析建筑物目标，然后结合马尔可夫随机场（Markov Random Field，MRF）完成检测分割。

目标的特征提取阶段对识别结果有至关重要的作用，通过提取图像的某些直观自然特征或变换得到的构造特征在实现数据压缩的同时，提高目标之间的特征差异性。文献[6]提出了一种通过对遥感图像提取局部纹理特征的纹理分类算法；文献[7]提出了一种新的圆形目标提取方法，该方法耗时低、检出率高、抗噪能力强；文献[8]提出了一种新的由粗到细的飞机识别方法，采用Sobel算子提取边缘特征和加权像素位置后识别效果明显改善了。以上方法由于选取特征单一，对遥感图像目标的准确识别具有一定的局限性。

文献[9]综合轮廓、小波系数和原来的位图等特征对飞机型号进行识别；文献[10]提出了一种基于光学遥感图像形状和纹理特征融合的舰船识别方法，取得了良好的效果；文献[11]融合点特征和表观特征，提高目标的正确识别率。

目标识别阶段是对光学遥感图像中的目标通过某种分类器准确定位识别。文献[12]提出主从神经元结构的模糊神经网络用于大型舰船的分类识别；文献[13]采用主成分分析（Principal Components Analysis， PCA）降维方法和有向无环支持向量机（Support Vector Machine， SVM）分类器对飞机识别取得了较高的识别率；文献[14]提出稀疏矩阵形式为特征的目标识别方法，既对不完整的遥感图像具有更好的鲁棒性，在小样本低采样率情况下也能具备良好的识别性能。

目前，基于光学遥感图像的多目标检测及识别方法存在以下问题： 1）选用的特征对于目标旋转的适应性较差；2）检测和识别方法大多只能处理一种特定类别目标的检测和识别，无法实现多种目标的同时检测和识别。

针对以上问题，本文提出一种光学遥感图像的多目标检测及识别算法，首先采用自适应阈值分割算法实现多目标检测与分割，然后在特征提取阶段将图像金字塔的分层思想与基于尺度不变特征变换的特征包（Bag of FeatureScale Invariant Feature Transform， BoFSIFT）特征有效结合，提出了一种分层的BoFSIFT特征，最后选用基于SVM的AdaBoost算法对多目标遥感图像进行分类识别。该算法实现简单，可以同时实现光学遥感图像的多目标准确分类。

第11期

姬晓飞等：光学遥感图像多目标检测及识别算法设计与实现

计算机应用 第35卷

1算法的总体框架

如图1所示为本文算法的总体框架：在训练过程中，采用手动分割得到目标的图像，并进行归一化处理，之后对其提取分层的BoFSIFT特征并训练支持向量机得到分类器；在测试过程中，将包含多个待识别目标的光学遥感图像通过自适应阈值分割得到待识别的目标图像，进行归一化处理后同样提取分层的BoFSIFT特征，送入训练过程得到的SVM分类器，然后采用基于支持向量机的Adaboost算法实现目标识别的准确识别。

图片

图1本文算法的总体框架

2分割算法

阈值分割法是一种基于全局的图像分割方法[15-17]，典型的有：分水岭分割、区域跟踪分割、聚类分割等。传统的阈值分割法效果多依赖于图像灰度分布良好的双峰性质。由于本文的遥感图像均属于光学遥感图像，因此分割算法应该对光照天气有一定的适应性。由于图像背景往往比较复杂，多个目标间的灰度级存在较大差异，因此采用固定阈值进行多目标的同时分割是很难实现的。

基于以上分析本文采用局部自适应阈值分割算法[18-20]对光学遥感图像多目标进行分割，通常这类算法具有较强的适应性，它是根据像素所在邻域块的像素值分布来确定该像素位置上的二值化阈值。对于一幅大小为H×H的光学遥感图像f， f（x，y）表示第x行、第y列的像素点灰度值，本文对图像中的每一个邻域块高斯加权求取一个阈值，从而构造出整幅图像的一个阈值平面，记为T（x，y），然后利用这个阈值平面对图像完成二值化操作，阈值化后的像素点灰度值g（x，y）用式（1）表示：

g（x，y）=black，f（x，y）≤T（x，y）

white，f（x，y）>T（x，y） （1

经典的局部自适应阈值分割算法主要有Bernsen法、Niblack法以及Sauvola法等。本文选取其中的Sauvola法[21]，是通过计算图像当前点在窗口w×w内的加权均值m（x，y）和标准差s（x，y）得出相应的阈值，以一种自适应的方式调节方差的贡献，对w×w窗口中心像素点，给定参数k，标准差s（x，y）的最大值R，则该阈值计算公式为：

T（x，y）=m（x，y）1+ks（x，y）R-1（2

式（2）涉及到的第1个参数w的选择对阈值分割效果影响较大： 若w取值过大，自适应程度低，则有可能失去局部处理的意义，导致算法运行速度较慢； 若w选择过小，自适应程度高，则可能导致前景或背景内部产生噪声干扰。第2个参数k对图像的分割效果也有着一定的影响： 随着k取值的增大，目标的宽度变粗； 随着k取值的减小，目标的宽度变细。第3个参数R取标准差的最大值，局部加权均值m（x，y）和标准差s（x，y）根据像素局部邻域的对比度调节阈值的选取。当图像的一些区域具有较高的对比度时s（x，y）≈R使得T（x，y）=m（x，y），当局部邻域的对比度较低时阈值T（x，y）往往低于平均值，因而可以成功地消除背景中的阴影部分。

在复杂的光学遥感图像上采用自适应阈值算法得到的图像分割效果如图2所示。

图片

图2分割效果示意图

由图2可以看出，图2（a）的分割效果较图2（b）的分割效果要好，观察图2（b）可以发现分割框与目标有匹配不够准确的现象，如船舰分割中其中一艘船的背景信息比较多，汽车分割中未能将紧挨着的多辆汽车逐一分开，油罐分割中目标由于阴影的干扰未能完全分割出来，之后可以采用滑窗法对目前初步分割出来的区域进行特征提取和识别，给出更加精确的目标区域。飞机分割中跑道也作为目标被分割出来，后期的识别方法可以很容易地对目标和非目标作一个分类处理，剔除分割出来的背景图像。

阈值分割本身没有将图像的空间信息考虑在内，并且当图像前景与背景或目标与目标之间灰度信息可区分性不高时，可能会有冗余信息或是部分目标被遗漏。鉴于本文分割操作的出发点是将目标尽可能全部检测出来，对于不够准确的区域可以在后期的识别中进行进一步的精确处理。

3特征提取

由于BoFSIFT [22-24]特征不仅仅满足其他特征所具有的尺度缩放、亮度变化不变性，最重要的是它具备一定的旋转鲁棒性，被广泛地用于目标图像的特征表示。它的不足之处是对目标的分布特性不能很好地表征，而基于图像金字塔思想的分层特征能弥补BoFSIFT特征的不足，因此本文将分层思想与BoFSIFT特征有效结合，提出了一种新的分层BoFSIFT特征用于目标图像的特征表示。

生成BoFSIFT描述子的步骤是：1）将所有训练集图像的SIFT描述子进行KMeans++聚类[25]，形成K个基础词汇的单词表；2）将图像SIFT特征点向单词表作投影，统计单词表中每个词汇获得的票数，构成一个表征这幅图像的K维向量。

在BoFSIFT特征基础上再加入空间金字塔[26]思想，形

成的分层的BoFSIFT特征，能有效地表示图像的局部特征和全局特征，并能表示图像关键点的分布特性。分层的BoFSIFT特征整个提取过程为：

1）生成图像BoFSIFT特征描述子： 样本数为m幅图像，聚类中心数为K，最终提取的BoFSIFT特征是K维；

2）构造图像金字塔： 将原图像分成不同的块，构造一个三层的图像金字塔，第一层为整个图像，第二层将整个图像划分为2×2个子块，第3层将整个图像划分为4×4个子块；

3）基于金字塔结构的特征表示： 在图像金字塔中的每一层子块中生成K个视觉码字的BoFSIFT描述子，将每层的直方图描述子等比例组合构造21个K维特征列向量。分层的BoFSIFT特征提取算法过程如图3所示。

图4中的直方图第1行为四类目标（74×4）的特征值叠加后的表示，第2行和第3行分别为四类目标第一幅原图像和旋转10°后图像的特征表示，横向分析表明不同目标的特征可区分性较强；纵向分析表明同一目标的特征具有较高的相似度，该特征对于一定范围的目标旋转具有适应性。

图片

图3分层的BoFSIFT特征提取算法示意图

不同目标分层的BoFSIFT特征表示如图4所示。

图片

图4不同目标分层的BoFSIFT特征表示

4识别算法

支持向量机[27]是一种在处理小样本、非线性及高维模式识别中有很大优势的分类算法，能有效地克服样本数对传统的统计模式识别方法的依赖。SVM实际中解决的大多数分类问题属于非线性，它通过选择合适的核函数变换样本到高维空间，使得变换后的样本线性可分。AdaBoost[28]是最著名的Boosting算法之一，是一种通过训练多个弱分类器最后级联成强分类器的迭代算法，其算法是经过多次判断训练样本的分类正确与否以及观察上次的总体分布准确率来确定下一次每个样本的权值，并将新的数据集送给下层分类器进行训练，多次训练得到最终分类器。

本文选用基于径向基核函数（Radial Basis Function，RBF）的SVM作为AdaBoost算法的弱分类器。

5实验结果

本文在新建立的遥感图像库上对本文所提出算法进行了测试。本文的数据库包含在军事和民用方面发挥重大作用的4类目标，分别是舰船、飞机、汽车和油罐，数据库总共包含74×4幅图像，图例如图5所示。

图片

图5遥感图像库的部分目标样本图像

5.1参数设置

1）训练样本数和聚类中心数对识别率的影响。

首先确定实验训练集和测试集的数目。设定训练样本Tr分别为68、108、148、188张图像，测试样本为108张图像；其次设定聚类中心数K分别为10、20、30、40，金字塔层数为L=3。在不同训练样本数和聚类中心数下利用RBF核支持向量机进行识别，得到的识别率变化曲线如图6所示，从图中可以看到，当训练样本数为188时，聚类中心数为20时系统的识别率达到最大值。

图片

图6不同训练样本数和聚类中心数的平均识别率

从图6可以看到，当训练样本数一定时随着聚类中心数的变化识别率曲线在K=20时达到最大值；当聚类中心数一定时随着训练样本数的变化平均识别率在Tr=188时达到最大值，因此当训练样本数为188时，聚类中心数为20时系统的识别率达到最大值。

2）金字塔层数对识别率的影响。

在以上得到的最优参数下，即Tr=188，K=20，用训练样本和测试样本的图像金字塔多层特征（并非最高层特征）分别采用支持向量机进行训练和识别，得到平均识别率如表1所示。

表格（有表名）

表1图像金字塔各层的识别率

金字塔层数特征向量维数平均识别率/%

12082.41

220+8090.73

320+80+32090.74

实验结果表明，金字塔层数越多识别率越高，即当L=3时识别率最高，虽然L=3下的识别率相比L=2识别率的提高很微小，但总体意义上证明了分层的BoFSIFT特征可以有效表示目标的全局和局部特性。

5.2目标识别结果比较

1）本文所提特征与常用的遥感图像特征的识别结果比较。

本文对光学遥感图像的目标提取了多种特征进行表示，统计了基于RBF核的SVM识别方法的平均识别率，如表2所示。

表格（有表名）

表2多种特征识别结果比较

实验序号特征平均识别率/%耗时/s

1Shape Context59.260.057483

2Hu不变矩64.810.080390

3BoFSIFT82.410.018427

4分层的BoFSIFT90.740.095406

以上结果表明，同样的识别方法下的不同特征对识别结果有着极大的影响，由于形状上下文（Shape Context， SC）特征极大地依赖目标的形状的精确检测，因此对于复杂背景下的遥感目标的识别准确性不理想，需要做许多前期处理操作来保证提高识别率；Hu不变矩的特征维数（7维）较少，特征的表述能力有限；BoFSIFT特征很详细地表示了目标的局部特性，但未考虑到目标特征的分布特性；而分层的BoFSIFT特征既克服了过于依赖前期处理的不足，又综合考虑了目标的局部特征和分布特性，得到了最优的识别效果。

2）多种识别方法识别结果比较。

利用5.1节得出的最优参数，Tr=188，K=20，L=3，在本文所提特征的基础上比较了以下识别方法的识别结果，如表3所示。

表格（有表名）

表3多种识别方法识别结果比较

实验序号识别方法平均识别率/%耗时/s

4分层的BoFSIFT特征+RBF核SVM90.740.095406

5分层的BoFSIFT特征+（AdaBoost+RBF核SVM）93.520.028114

实验结果表明，实验5的AdaBoost+SVM识别方法较实验4的SVM识别方法识别率有显著的提高且耗时极短，说明了本文算法的可行性。本文提出的识别方法即实验5的平均识别率混淆矩阵如图7所示。

图片

图7本文方法的平均识别率混淆矩阵

分析图7可以看出舰船的识别结果是最好的，由机和汽车阴影比较严重，背景和前景对比度差异较小因此识别结果较差，油罐的特征点不明显导致识别结果最差，总体来说识别结果是令人满意的。

6结语

本文提出了一种遥感图像多目标检测与识别方法，算法设计中采用自适应阈值算法分割多目标遥感图像，构建的分层BoFSIFT特征能够很好地表示目标图像的局部和全局特性，并且具有一定的旋转适应性，基于支持向量机的AdaBoost算法既能提高识别率也提高了运行速度，总体分析所提出算法对复杂背景下的遥感图像多目标分类识别具有一定的可行性。在分割阶段基于局部邻域块的方法至今还没有一致的选取邻域块大小的策略，且块与块之间存在不连续现象，此部分还需要进一步的研究，使算法具有更好的复杂背景的适应性。

参考文献：

[1]JI X， QIN N. A review of target detection classification and recognition method based on optical remote sensing image[J]. Journal of Shenyang Aerospace University， 2015， 32（1）： 23-31.（姬晓飞，秦宁丽.基于光学遥感图像的目标检测与分类识别方法综述[J].沈阳航空航天大学学报，2015，32（1）：23-31.）

[2]CHEN Y. Research on segmentation and extraction in optical remote sensing image[D]. Hefei： University of Science and Technology of China， 2010.（陈雁. 可见光遥感图像分割与提取研究[D]. 合肥：中国科学技术大学， 2010.）

[3]WANG Y， MA L， TIAN Y. Stateoftheart of ship detection and recognition in optical remotely sensed imagery[J]. Acta Automatica Sinica， 2011， 37（9）： 1029-1039.（王彦情， 马雷， 田原. 光学遥感图像舰船目标检测与识别综述[J]. 自动化学报， 2011， 37（9）： 1029-1039.）

[4]HAN X， FU Y，LI G. Oil depots recognition based on improved Hough transform and graph search[J]. Journal of Electronics and Information Technology， 2011， 33（1）： 66-72.（韩现伟， 付宜利， 李刚. 基于改进 Hough 变换和图搜索的油库目标识别[J]. 电子与信息学报， 2011， 33（1）： 66-72.）

[5]ZHANG Y. Object segmentation of remote sensing image based on MRF model[J]. Microcomputer and Its Applications， 2013， 32（2）： 44-47.（张彦. 基于MRF模型的遥感图像建筑物分割研究[J]. 微型机与应用， 2013， 32（2）： 44-47.）

[6]YANG B， ZHAO H， ZHAO Z， et al.A removed texture classification and distinction algorithm of remoted sensing martial object[J]. Microelectronics and Computer， 2004， 21（9）： 111-113.（杨斌，赵红漫，赵宗涛，等.一个改进的遥感图像目标纹理分类识别算法[J].微电子学与计算机，2004，21（9）： 111-113.）

[7]CHEN Z， LIU J， WANG G. A new circle targets extraction method from high resolution remote sensing imagery[C]// Proceedings of the 2011 4th International Workshop on Advanced Computational Intelligence. Piscataway： IEEE， 2011： 529-533.

[8]LIU G， SUN X， FU K， et al.Aircraft recognition in highresolution satellite images using coarsetofine shape prior[J]. Geoscience and Remote Sensing Letters， 2013， 10（3）： 573-577.

[9]HSIEH J， CHEN J， CHUANG C H， et al.Aircraft type recognition in satellite images[J]. IEE Proceedings： Vision， Image and Signal Processing， 2005， 152（3）： 307-315.

[10]ZHU C， ZHOU H， WANG R， et al.A novel hierarchical method of ship detection from spaceborne optical image based on shape and texture features[J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（9）： 3446-3456.

[11]LI X， SUN H， WANG H， et al.High resolution imaging target detection for multiclass correlation vector machine[J]. Science of Surveying and Mapping， 2014， 39（12）： 128-133.（李湘眷， 孙皓， 王洪伟， 等. 多核多类关联向量机的高分辨率影像目标检测[J]. 测绘科学， 2014， 39（12）： 128-133.）

[12]QU J， QU S， WANG Z. Featurebased fuzzyneural network approach for target classification and recognition in remote sensing images[J]. Journal of Remote Sensing， 2009， 13（1）： 67-74.（瞿继双， 瞿松柏， 王自杰. 基于特征的模糊神经网络遥感图像目标分类识别[J]. 遥感学报， 2009，13（1）： 67-74.）

[13]WANG D， HE X， WEI Z， et al.A method of aircraft image target recognition based on modified PCA features and SVM[C]// Proceedings of the 9th International Conference on Electronic Measurement and Instruments. Piscataway： IEEE， 2009： 177-181.

[14]YIN F， JIAO L. Robust remote sensing image target recognition based on extending training set by rotation and sparse representation[J]. Pattern Recognition and Artificial Intelligence， 2012， 25（1）： 89-95.（殷飞， 焦李成. 基于旋转扩展和稀疏表示的鲁棒遥感图像目标识别[J]. 模式识别与人工智能， 2012， 25（1）： 89-95.）

[15]XI Y. Research and implementation of Kmean clustering and watershed segmentation algorithm for remote sensing image[D]. Nanjing： Nanjing University of Science and Technology， 2011.（席英. 遥感图像的K均值聚类和分水岭分割算法的研究与实现[D]. 南京： 南京理工大学，2011.）

[16]YI L， ZHANG G， WU Z. A scalesynthesis method for high spatial resolution remote sensing image segmentation[J]. IEEE Transactions on Geoscience and Remote Sensing， 2012， 50（10）： 4062-4070.

[17]GAO X， ZHANG S. Theory method and application of image segmentation[D]. Changchun： Jilin University， 2006.（高秀娟， 张树功. 图像分割的理论， 方法及应用[D]. 长春： 吉林大学， 2006.）

[18]LONG J， SHEN X， ZANG H， et al.An adaptive thresholding algorithm by background estimation in Gaussian scale space[J]. Acta Automatica Sinica， 2014， 40（8）： 1773-1782.（龙建武， 申铉京， 臧慧， 等. 高斯尺度空间下估计背景的自适应阈值分割算法[J]. 自动化学报， 2014， 40（8）： 1773-1782.）

[19]SUN Y， CAI Z. An improved character segmentation algorithm based on local adaptive thresholding technique for Chinese NvShu documents[J]. Journal of Networks， 2014， 9（6）： 1496-1501.

[20]JAIN P， TYAGI V. An adaptive edgepreserving image denoising technique using tetrolet transforms[J]. Visual Computer， 2015，31（5）： 657-674.

[21]SAUVOLA J， PIETIK？INEN M. Adaptive document image binarization[J]. Pattern Recognition， 2000， 33（2）： 225-236.

[22]LOWE D. Object recognition from local scaleinvariant features[C]// Proceedings of the 7th IEEE International Conference on Computer Vision. Piscataway： IEEE， 1999： 1150-1157.

[23]LOWE D. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[24]SHARMA G， CHAUDHURY S， SRIVASTAVA J. Bagoffeatures kernel eigen spaces for classification[C]// Proceedings of the 19th International Conference on Pattern Recognition. Piscataway： IEEE， 2008： 1-4.

[25]ARTHUR D， VASSILVITSKII S. kmeans++： the advantages of careful seeding[C]// Proceedings of the 18th annual ACMSIAM Symposium on Discrete Algorithms Society for Industrial and Applied Mathematics. New York： ACM， 2007： 1027-1035.

图形图像实训总结例6

是怎样运用“任务驱动”教学法的。

在《PhotoShop》这门课程中运用“任务驱动”教学法，便于学生循序渐进地学习。教师在这门课程的总体学习目标的框架上，可以将其细分为一个个子目标，再将每一个子目标细化成一个个容易完成的任务，通过这些任务来体现总的学习目标。

对于《PhotoShop》这门课程，根据课程的总体目标，可将其分解为：（1）《PhotoShop》概述；（2）《PhotoShop》的基础；（3）《PhotoShop》的进阶；（4）《PhotoShop》的综合应用。然后将这些子目标细化成一个个任务，在这些任务的引领下，学生自发地学习计算机相关知识，完成学习任务。

对于《PhotoShop》概述，应重点放在图像基本概念的理解、图像文件的基本操作、转换图像的色彩模式上。教学时，首先让学生欣赏图像作品，了解平面图的设计流程、常规设置；图像的基本概念、常用图形格式及主要参数；图像文件的基本操作；单位与标尺、参考线的使用。然后给出任务：1.图像文件的基本操作，如文件的打开、新建、保存等；2.如何将图像文件格式进行转换。

对于《PhotoShop》的基础，教学时，教师在总机上演示，学生在学生机上按以下任务进行同步操作：

一是图像大小的调整、图像的裁切；如何创建选区、选区工具的应用。运用实训案例：1.“骑牛架云”实训。掌握基本选区工具的使用，熟悉选区的建立、多个图像合成。2.“中国工商银行”标志制作实训。掌握图像的建立及基本编辑，选区工具的使用及选区的描边、标尺与网格线的应用。

二是如何使用绘图工具、渐变工具、图像处理工具、修复画笔工具。

三是图层的基本操作。如，图层的新建、移动、删除、命名；如何链接、合并图层，调整图层的透明度，使用图层组、图层样式及图层混合模式等。

四是文字工具的应用；图层蒙版的应用；文字图层混合。可采用实训案例“枫叶的特效”使学生掌握蒙版的应用。

五是路径的创建、编辑、复制；用钢笔工具创建图形轮廓；填充路径与路径描边。通过实训案例“文字环绕路径”效果使学生掌握文字与路径的应用、路径的描边及应用自由变换工具旋转对象。

对于《PhotoShop》的进阶，在教学时，先展示事先已经进行处理过的图像文件，通过这些优美、惊奇的画面，吸引学生，让学生产生想去了解更深层次的PhotoShop知识的欲望，再将目标分解成一个个任务融入实训练习中，让学生去完成任务。

例如，制作“水晶球”实训练习，我先将制作好的“水晶球”展示给学生看，漂亮的“水晶球”里还有一个手镯，这让“水晶球”带着魔法视觉效果。对此，学生产生强烈的学习欲望，制作过程中自觉完成以下任务：一是选区工具的应用；二是自由变形工具的应用；三是“扭曲”滤镜、“模糊”滤镜的应用；第四个任务是色彩调整的操作。正是通过这一个个任务，学生学会了自己去分析情景、理解知识、完成任务。这样，学生对PhotoShop知识也更加理解，而且能够运用自如。

图形图像实训总结例7

中图分类号：G712文献标识码：A文章编号：2095-4115（2014）03-229-1虚拟现实技术作为图形图像领域的一种新型虚拟交互媒体，目前在国内已经引起了人们的极大关注。国内许多高校及研究所开始了对虚拟现实技术的应用研究。作为IT领域创意产业的图形图像制作专业，应该将虚拟现实这项前沿技术的学习和应用纳入到教学中。

一、 虚拟现实技术创新图形图像制作专业教学的现状

目前，众多开设了图形图像制作专业的高职院校就该专业的教学体系及教学模式等进行了一些探索。但就如何根据图形图像制作专业的特点开展有针对性的项目实践教学研究，还存在着一些不足。

首先，因专业定位不明确，造成图形图像制作专业教学的针对性不强。图形图像制作专业应该是一个技术与艺术相结合的专业，偏注于技或艺都将有违本专业人才的培养目标。如“三维动画基础”课程的教与学中，普遍的教学状况是：学生将大量的时间用于对设计软件的追风逐流中，忽视了软件只是一个工具，更重要的是运用这些工具去表现自己的设计意图。

其次是教学中的项目案例与社会脱节。目前，高职院校的教学模式大多已经使用工学结合一体化教学模式，但在使用案例教学、项目教学时，所选案例不够经典，或者题材与表现手段太过陈旧，与当前行业实际应用不匹配。

再次，学生职业能力形成的重要手段就是实训，而实训设施的数量和质量直接影响到工学结合技能训练的效果。建好实训室后又因设备的更新换代、耗材、管理等问题，面向学生开放的实训时间也有限，从而大大地制约了工学结合模式的教学效果。

以上的诸多问题表明，图形图像制作专业的教学改革势在必行。

二、 虚拟现实技术创新图形图像制作专业教学的改进方法

首先，在教学内容上打破传统的课程教学序列，通过项目教学整合相关课程。图形图像制作专业课程可以将专业基础课程如素描、色彩、摄影等课程整合到“虚拟三维校园”的资料收集子项目中；将图形图像处理软件的学习整合到资料的整理与优化子项目中；将三维动画基础课程的讲解直接纳入到三维校园模型的创建子项目中，以此解决表现技术问题；将图形创意、VI设计、印刷工艺等课程整合到虚拟三维校园导视系统的设计与制作项目中，着重解决创意与艺术地表现等问题；将网页设计与制作、多媒体技术等课程整合到虚拟三维校园的网络任务中等。在各个子项目教学中，打破以前传统的基础课、专业基础课、专业课三段式教学模式，根据项目要求直接或并行地按所需学习的相关专业知识和技能。

其次，在教学方法上，运用虚拟现实技术实现互动体验式教学。体验式教学，即是在项目教学过程中，学生先体验相似项目的虚拟作品，使教学富有趣味性，形成感性认识；然后学生尝试制作出来该作品，初步形成基本表现能力；再反复体验自己或同学制作出来的虚拟作品以寻求不足并予以完善，最后将虚拟作品在常规实训室里按传统的实训方式制作出来，完成对设计作品的最终检验。

最后，在图形图像制作专业的课程教学中，众多的设计项目都可以制作成虚拟作品，教师在讲解时学生即可进行自主体验，以增强学生的感性认识。学生还可根据老师的提示，归纳相关的专业知识，有利于学生自我学习能力的提高。

三、 虚拟现实技术创新图形图像制作专业教学的意义

首先，虚拟现实技术是图形图像领域的最新成果，并将随着IT的发展而涉足各行业各领域。课程整合充分体现了以实践为主、理论够用为度的职业教育特色。从项目教学模式、教学内容和教学手段，都体现出一个新字。

其次，在项目教学内容上，虚拟现实技术及其应用一直贯穿于整个教学体系；在教学方法上运用虚拟现实技术的沉浸感和体验式教与学，将虚拟技术的运用、虚拟作品体验或虚拟实训设备的操作，与常规实训室的具体实训相结合，更有助于促成学生职业能力的形成。学生在设计作品的表现手段上，也运用虚拟现实技术。如作品的最终结果都以互动式的虚拟现实作品形式进行呈现。

最后，学生的学习方式为体验式学习、互助式学习。学生的学习不再是枯燥单调的接受。老师的教授也不再是机械的你问我答的表面互动式教学，而是体验式的学习，在玩中受教。学生最初由互动作品体验而产生兴趣，由模仿制作而获得表现技能，再反复互动体验而强化技能，最后实际制作出成品以检验其技能。

四、 总结

将传统的图形图像制作教学与虚拟现实技术的结合运用势必使该专业的教学内容与教学手段得到前瞻性的进步。而学生从虚拟现实技术的操作中得到了与实践相符合的体验，使他们的实践能力也得到了进一步提高。因此图形图像制作专业教学与虚拟现实技术的结合能够为培养适合社会需要的图形图像制作专业的高级应用型人才提供重要的保障。

参考文献：

[1]陈. 图形、图像与虚拟现实技术研究[J]. 改革与开放，2010，（12）.

[2]李伟群，于斌. 虚拟现实技术在高职教学中的应用[J]. 中国职业技术教育，2010，（07）.

图形图像实训总结例8

 

人脸区域检测是驾驶员疲劳检测系统的基础部分，也是模式识别和计算机视觉领域持续的研究热点。本文采用AdaBoost算法，并对其样本训练方法进行改进，提出了一种新的权值更新方法，并把训练结果应用于驾驶员疲劳检测系统中，取得了较好效果。

1.图像预处理

为了减少噪声和不均匀光照对检测性能的影响，首先需要进行图像分析。本文采用了像素水平投影和垂直投影的方法，以及灰度直方图方法来分析图像，根据分析的结果给出图像适合的阈值。考虑到传统单阈值图像处理的结果都不是很好的现状，本文根据统计信息选取了多个阈值，在每个阈值下分别得到不同的人脸细节特征，然后把得出的细节信息综合起来从而找出人脸区域。当图像进行二值化之后，可能会存在很多与区域信息无关的噪声点，此时采取腐蚀方法对图像进行处理，从而消除这些噪声点。

2. 基于AdaBoost的人脸检测算法

AdaBoost算法是一种迭代方法，它本身是通过改变数据分布来实现的。根据每轮训练中每个样本的分类是否正确，以及上轮的总体分类准确率，来确定每个样本的权值。然后将每次训练得到的分类器级连起来，作为最后的决策分类器。在AdaBoost算法中，每个训练样本都被赋予一个权重，表明它被某个弱分类器选入训练集的概率。如果某个样本没有被正确的分类，那么在构造下一个训练集时，它被选中的概率就会增加，如果相反，它被选中的概率就会降低。通过这样的方式，AdaBoost算法能够“聚焦“于那些较困难(更富信息) 的样本上。具体实现中，最初令每个样本的权重都相等，对于第t次迭带操作，就根据这些权重来选取样本点，进而训练分类器。然后根据这个分类器，来提高被它错分的那些样本点的权重，并降低被正确分类的样本的权重。经权重更新后的样本集被用来训练下一个分类器。整个训练过程如此循环。

3.使用Haar2like特征构造弱分类器

特征一般是对待分类对象所拥有的知识进行编码得到，这些知识从原始像素中很难得到。特征对人脸图像进行建模有利于减小人脸和非人脸的类内距离，同时可以增加人脸与非人脸的类间距离，有利于判别函数的建立。另外，特征更容易形式化，形式化了的特征计算更加方便快捷，有利于人脸检测速度的提高。Harr2like特征最早由Papageorgion等人[1]应用于人脸的表示。Viola 等[2]在此基础上作了扩展，使用3种类

A B C D

图1 　4种特征形式

型4种形式的特征。3种类型分别为2-矩形特征、3-矩形特征、4-矩形特征，4种形式，如图1所示。

对于图1中的A 、B 和D 这类特征,特征数值计算公式为：

v = Sum白-Sum黑 (1)

而对C来说,计算公式为:

v = Sum白–2*Sum黑 (2)

通过改变特征模版的大小和位置，可在图像子窗口中穷举出大量的特征。为了描述的方便，将图1的特征模版称为“特征原型”：特征原型在图像子窗口中扩展得到的特征称为“矩形特征”；矩形特征的特征数值称为“特征值”。

假设训练检测窗口大小为W×H个像素；w ，h分别为特征原型的长、宽，图1所4种特征原型对应的长宽比分别为:2/ 1、1/ 2、3/ 1、2/ 2。

令：X = (~W)/w，Y = (~H)/h。“~”表示取整。一个w×h 的特征原型在W×H 子窗口产生的矩形特征数量可用下面公式计算[5]：

由于训练样本通常有近万个，并且矩形特征的数量特别庞大，如果每次计算特征值都需要统计矩形内所有像素之和，将会降低训练和检测速度。所以本系统采用Paul Viola 引入的积分图像法[3]快速计算矩形特征。

Viola基于矩形特征,采用了一种计算量小，结构简单的弱分类器[3]，其形式如下：

4.AdaBoost

这个算法的主要特点是在训练分类器的同时进行特征选择。它使得每个特征对应于一个弱分类器，弱分类器的数目是与矩形特征数目相等。训练过程中从大量的弱分类器中选择一个在当前样本权重分布情况下分类错误最小的弱分类器作为本轮训练结果，这样经过T次迭代，选择出了T个特征(弱分类器)，最终按照加权投票的方式组合成一个强分类器。

定义X为样本空间，Y= {0 ,1}为样本类别标识集合,1和0分别对应样本的正(人脸)和负(非人脸)；假定共有K个矩形特征；ωt，j为第t轮循环第i个样本的权重；训练强分类器具体算法描述如下：

1)给定一个系列训练样本( x1，y1 )，…，(xn，yn )。式中；xi∈X；yi∈Y。论文参考。假设样本集中共有l个样本，m个负样本，l +m = n。

2) 初始化样本权重。

3) 对于t = 1，…，T ( T为循环次数) 。

(1) 归一化样本权重分布；

其中j = 1，2，…，K；i = 1，2，…，n。 （6）

(3) 选择第t轮最优弱分类器ht( x)：令k = arg minεt ，j ，则ht，j = f t，k(x)，并且对样本集的分类错误率取为εt =εt，k。

(4) 按照这个最优的弱分类器更新样本权重：wt + 1，i = wt，βt1 –ei

ei = 0表示xi被ht (x)正确分类，ei = 1表示xi被错误分类。

4) 最终强分类器为：

5.级联分类器

图2 　级联分类器结构示意图

级提高检测精度。首先使用结构较简单的强分类器进行非人脸窗口的排出，后续的强

分类器的弱分类器进行非人脸窗口的排除，后续的强分类器的弱分类器数目越来越多，检测精度越来越高，但需要检测的子窗口越来越少，从而达到提高检测速度的目的。

设级联分类器共有L层。Hi(x)为各层分类器；Ti为各级强分类器中弱分类器个数( i = 1，…，L)； hi, j ( x)为第i层强分类器的第j个弱分类器,αi , j器为其对应的权值( j = 1，…，Ti)。联分类器的结构如图2所示。

级联分类器的结构事实上就是一个退化的决策树，前面一层的分类器对于子窗口的图像进行分类后，如果分类结果为“是”，那么可能包含人脸的窗口就传递到下一个分类器，并且触发下一个分类器进行处理，如此下去直到最后一个分类器。这样可以先排除大量的不包含人脸的子窗口，提高检测速度。

6.系统实现

系统由USB接口的CCD摄像头以及图像处理设备(计算机)组成。论文参考。整个系统运行过程是：CCD摄像头将物体的光学信息转换为视频数字信号。数字信号通过USB接口传入计算机，计算机把通过USB接口到的信号进行处理，完成分析过程，定位人脸区域。论文参考。软件方面，采用WindowsXP操作系统以及Visual Studio 2005集成开发环境。

7.实现过程

软件系统流程如图3所示。

图3 　系统流程图

8. 结　语

基于AdaBoost算法训练得到一个具有较强鲁棒性的分类器。试验证明，系统可以达到1帧/ 200ms的处理速度，满足了系统需求。

参考文献

[1]Papageorgiou C，Oren M，Poggio T．A general framework for object detection[R]．In InternationalConference on Computer Vision，1998.

[2]Voila P ，Jones M．Robust real-time facediction[J]．InternationalJournal of Computer Vision．2004，57(2)：137－154.

[3]Viola P，Jones M．Robust real-time face detection[J]．International Journal of Computer Vision．2004，57(2)：137－154.

[4]Viola P ，Jones M．Rapid object diction usinga boosted cascade of simple features [C]．Proceedings IEEE conf．on Computer Vision and PatternRecognition，Kauai，Hawaii，USA ，2001：511－518.

图形图像实训总结例9

1 用hog算法进行特征提取的原理及优点

方向梯度直方图（Histogram of Oriented Gradient， HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征，其主要思想是在一副图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。具体的实现方法是：首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。

与其他的特征描述方法相比hog算法有以下优点：首先，由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要观测物体大体上能够保持直立的姿势，可以容许有一些细微的动作，这些细微的动作可以被忽略而不影响检测效果。

2 SVM分类器原理

数据分类是指在已有分类的训练数据的基础上，根据某种原理，经过训练形成一个分类器，然后使用分类器判断没有分类的数据的类别。支持向量机（SVM）是一种基于分类边界的方法。它的基本原理是（以二维数据为例）：如果训练数据分布在二维平面上的点，它们按照其分类聚集在不同的区域。基于分类边界的分类算法的目标是，通过训练，找到这些分类之间的边界（直线的DD称为线性划分，曲线的DD称为非线性划分）。对于多维数据（如N维），可以将它们视为N维空间中的点，而分类边界就是N维空间中的面，称为超面（超面比N维空间少一维）。线性分类器使用超平面类型的边界，非线性分类器使用超曲面。

3 滑动窗口检测框架

滑动窗口检测是采用固定大小窗口对所给图像的缩放进行扫描的方式。其流程结构如图1所示。

4 以“道路裂缝”为例具体介绍本款软件的制作及检测过程

4.1 图像数据库建立阶段

总样本数量1913张，分为正样本和负样本。正样本选择没有裂缝的正常道路图像，数量1334张；负样本选择道路裂缝图像，负样本必须覆盖裂缝的全部类型，样本数量579张。所有样本图像要求“大小128X128 ；同一裂缝需要进行角度变换，每10°采样一次；每个样本做灰度处理”。

4.2 hog算法进行图像特征提取

取579张正样本与1334张负样本，从1～1913排序，将1913张样本通过matlab进行hog算法提取图像特征，形成hogtraindata.mat文件。另外建立一个mat文件，取正样本为1，负样本为-1，令前579个数为1，后1334个数为-1，形成hogtrainlabel.mat文件。

4.3 SVM数据训练

结合hogtraindata.mat文件和hogtrainlabel.mat文件，用SVM进行训练：

完成训练过程。

4.4 SVM数据测试

4.4.1 为验证SVM训练后的效果，进行SVM数据测试

另找不同的156张正样本和278张负样本，按照步骤（二），形成hogtestdata.mat和hogtestlabel.mat两个文件，用SVM进行测试：

SVM测试完成。

4.4.2 SVM训练后效果分析

由SVM数据测试所得准确率为93%，此训练效果一般。

4.5 滑动窗口检测及其成果

输入一段无人机航拍视频，进行隔帧滑动窗口算法检测，纵步距为50，横步距为50，窗口大小为128*128，从检测结果中选取两张异常图像（图2，图3）。

5 总结

此软件制作思路及过程仍存在以下缺点：

（1）由于时间有限及实验仪器的使用受限，数据库中样本图像的数量太少，还需要继续丰富。

（2）特征提取算法太过单一，制作过程中未将hog算法与其他算法进行效果的比较分析，寻找检测效果更佳的特征提取算法。

（3）滑动窗口检测涉及的运算量很大，并且道路异常情况分很多种，每一种异常情况都采用SVM二分类的思想来进行分类，涉及的运算量对于系统的运算速度要求十分高。

总之，若想要实现无人机自动检测道路异常情况，必须要提高检测的准确率，目前本软件的检测准确率低于95%，究其原因，在于此软件需要一个强大的数据库支持，而本项目所建立的数据库还远远没有达到目标。因此，此论文更侧重于检测软件制作思路的介绍，而此软件的实用性与有效性，还需要进一步提高。

参考文献

[1]傅志勇.HOG+SVM行人检测算法在DM6437上的实现与优化[D].华南理工大学， 2012.

图形图像实训总结例10

精细化管理理念是一种文化，其基本原则是“精、准、细、严”，通过提升员工素质，加强企业内部控制，强化协作管理来提高企业整体效益。由于管道施工涉及领域较广，而技术管理工作作为企业管理的核心组成部分，如何去充分的发掘技术资源，实现技术沟通互补，提高技术坚实保障，发挥技术创造性已成为技术细化管理工作的一个新课题。

1技术方案模块细化

施工技术方案储备是技术管理工作的一项重要内容，它涵盖了施工企业大部分的施工技术知识和施工经验。由于技术方案涵盖范围较广，为便于技术人员了解、学习现场施工经验，编制有针对性的施工措施，需将方案中纯粹的施工技术部分提取出来单独编制成模块，整合后下发给每个技术管理人员。

2技术制图模块细化

作为一个管道施工企业，技术人员要在投标、编制方案、技术交底和技术培训等工作中绘制大量的图形文件，制图不仅浪费了大量的时间，同时绘图质量也良莠不齐。为保证技术人员劳动时间分配合理化以及制图的规范化，应组织有经验的技术人员对施工用图进行搜集、整理、绘制及软件集成。在总结归纳施工制图种类之后，最终通过AUTOCAD、photoshop及AbleSoftwareR2V（图形矢量化工具）等常用制图工具对其进行绘制，最终通过软件集成形成工程制图库。为便于公司技术人员使用，制图工具一般以入门较低的AUTOCAD为主。通过技术人员的集中整理和绘制，制图库中不仅要归纳总结正规的施工通用图系列，还应针对施工中的一些简易的工具制作、施工流程、现场作业示意、施工设备模型以及一些制图单元分别进行了绘制，以达到扩大适用范围，提高实用意义的目的。

3影像资料图库化

施工影像资料是反映工程现场施工情况的第一手材料，它真实的记录着现场施工流程，有着强烈的直观性。施工影像资料库的建立，对技术人员学习、总结现场施工经验有着极其重要的意义。按以往的经验，新增技术人员理论培训后需到施工现场进行实习，由于理论培训不具有直观性以及管道工程施工本身性质的局限性，技术人员想系统的掌握施工技术知识，往往需要一个很长的周期，甚至要工作三年以上才能掌握相关知识。为了缩短技术人员培训周期，系统性提高其业务能力，应组织技术骨干对企业原有的影像资料按施工性质进行筛选及整理，同时将缺失的部分资料重新进行采集，最终建立一个全面的，精细化的影像资料库。资料库建立完成后，直接应用于在新增技术人员的培训工作中。一般情况下，利用标准化手段对现场施工图片和录像进行采集、整理，之后分别使用会声会影、windosmedia等常用影像处理工具对视频影像进行剪辑处理，使用photoshop等制图工具对施工图片进行局部整合处理，使用PowerPoint对施工流程部分进行幻灯片制作处理，部分涉及特殊地形地貌施工区域使用googleearth工具进行标记处理，最后使用影像管理软件对其进行命名和分类，最终形成影像资料库。

4动漫教学模块细化

虽然施工影像资料可直观的再现施工现场的作业流程，但是由于其水平视角局限及不可穿透性等原因，涉及到一些特殊工序（如三穿工程、山区工程及隐蔽工程）的大型的施工时，技术人员无法全面理解施工的工作原理，对于技术人员来说，由于其从事的工作均为指导性工作，“知其然而不知其所以然”的后果对企业来讲是不可承受的。因此，建立一个系统的动漫培训模块对施工原理进行剖析的重要性不言而喻。动漫教学模块的制作完全依托于技术方案进行。对于一些特殊工序，如：定向钻、顶管穿越、隧道施工、河流开挖及盾构施工等工程内容，一般采用的是3D动漫制作方式。3D动漫的优势在于表达效果明显，施工设备及操作流程均按实物比例进行建模，演示效果逼真，表达内容更加直观。对于一些常规施工，如：平原地区流水作业流程、山区作业流程、沼泽预制发送流程等工程内容，由于其工序相对简单，一般采用的是FLASH动漫制作方式。FLASH动漫表达效果要逊于3D动漫制作效果，但是由于常规施工作业形式简单，且工艺设备更新速度较快，其制作成本低廉的优势比较突出。