煤矿多聚焦图像融合研究
何远清，程德强**
作者简介：何远清，（1987-），男，广东惠州人，硕士研究生，研究方向为数字视频
通信联系人：程德强，(1979-)，男，博士研究生，副教授，主研方向:视频信息，传输控制，内容检索. E-mail:
hyq9003@163.com
（中国矿业大学信息与电气工程学院，江苏 徐州 221008）
5 摘要：本文针对煤矿监控图像由于场景中目标和传感器距离的不同导致聚焦点不一样而产生
的图像清晰度局部差异，改进了NSCT 图像融合方法并与PCNN 相结合提出适合煤矿图像的融
合方法，实验结果表明，该方法可以改善图像的清晰度，增强图像的可读性，为矿区图像的
后续处理奠定基础。
关键词：多聚焦图像融合；非下采样Contourlet 变换；脉冲耦合神经网络；煤矿图像融合
10 中图分类号：TP392
Multi focus image fusion of coal mine
HE Yuanqing, CHENG Deqiang
(Department of Information and Electrical Engineering, China University of Mining and
15 Technology, JiangSu XuZhou 221008)
Abstract: According to coal mine monitoring image will have the contrast differences because of
image sensor focus at the different goals and the distance is not the same, in this paper improves
the Nonsubsampled Contourlet Transfrom image fusion method and proposed the image fusion
method suitable for coal mine by combining it with Pulse Coupled Neural Network. The
20 experimental results show that this method can improve the clarity of the image, enhance the
image and readability, meet the image quality requirements of the mine.
Keywords: muti focus image fusion; Nonsubsampled Contourlet transform; Pulse Coupled Neural
Network; coal mine image fusion
25 1 煤矿图像融合意义
随着科学技术的发展，煤矿工业电视监控系统在各大煤矿系统中得到了非常广泛的实
际应用。由于工作环境所限，井下环境中的摄像器材一般会安装于巷道墙壁上，略高于工
人的身高，是以一定的角度俯视摄像，有时会因摄像机的视觉太窄，图像聚焦不一样，造
成图像清晰度的局部差异，或是由于煤矿的环境较为恶劣，光照不足，亮度低，粉尘较多等
30 因素的影响使得摄像机的镜头常常会覆盖一层粉尘，成像质量较差，导致图像的可分辨性
能较差，这样增加了监控人员识别判断的难度，同时严重制约了智能视频技术在煤矿安全
监控中的应用[1]。
本文本着改善煤矿监控图像质量的目的，针对煤矿监控多聚焦图像的特点与其融合意
义，改进NSCT 融合方法并和PCNN 相结合提出适合煤矿图像的融合方法，为矿区图像的
35 后续处理奠定基础。
2 多聚焦图像融合
多聚焦图像是指成像条件相同，而镜头聚焦目标不同的同一图像[2]。由于光学传感器
（如数码相机）的景深有限，场景中目标与传感器距离的不同，因而图像中有清晰区域和模
糊区域，产生图像清晰的局部差异。
 40 2.1 改进的NSCT 图像融合
本文提出的非下采样contourlet 变换（Nonsubsampled Contourlet Transfrom, NSCT）
的融合步骤和以往的基于小波变换的融合所采用的分解方法不同，还有就是高低频所选用
的融合规则不一样[3]。
1. 低频子带系数的融合规则—方向模值取大
45 对两幅要融合的源图像进行非下采样contourlet 变换后会得到高频和低频子带系数。根
据多聚焦图像的特点，得出只要比较同一尺度下高频系数模值的大小就可以确定聚焦部分
和离焦部分，又由于低频子带系数包含了图像的主要能量，所以低频系数得融合规则可以
采用聚焦部分的系数，即模值大的一方。低频子带系数的融合规则为：
0
0 0 0
0
( , ) ,| | | |
( , ) ( , ) 0.5 ( , ) 0.5 ,| | | |
( , ) ,| | | |
A A B
j
D A B A B
j j j
B B A
j
C mn C C
C mn C mn C mn C C
C mn C C
θ
θ
θ
⎧ − >
⎪⎪
= × + × − ≤ ⎨⎪
⎩⎪ − <
50 其中，θ 为实验的阈值，其下限值为0，上限值要根据具体的融合实验来确定。
2. 高频系数的融合规则—能量方向对比度
由于人眼的视觉系统对局部的对比度比较敏感，又因为通过分解得到的高频系数反映
出来的是图像的细节信息，且在细节特征显著的地方，区域能量会表现的比较大，结合这
两方面的特性，高频系数的融合规则采用基于能量方向对比度的融合规则，融合规则如下：
55 (1)选择一个矩形窗口L×K(一般取3×3或5×5的矩形窗口)，计算各子带系数的均值
μ 和方差σ 2 。
(2)计算单个像素点对L K × 窗口的能量贡献率( , ) rj
m x y ：
2
2
2
( ( , ) ( , ))
, ( 0 )
( , ) ( , )
1 ,
r
j
r
j
W x y x y
m x y x y
o th e r
L K
μ
σ
σ
⎧ −
≠ ⎪⎪
= ⎨⎪⎪
⎩ ×
(3)计算以( , ) x y 中心窗口能量( , ) rj
E x y :
2
,
r( , ) r( , ) r( , )
j j j
x y D
E x y m x y W x y
∈
60 = Σ
式中D 表示以点(x, y)为中心的L×K大小的邻域窗口，则图像的局部能量方向对比
度定义为：
2
,
,
2
,
| ( , )|
, ( , ) 0
( , ) ( , )
| ( , )| , ( , ) 0
r
j jr rj
rjj
r
r r
j jr j
m W x y
E x y
R x y E x y
m W x y E x y
⎧
⎪ ≠
=⎨⎪
⎩ =
通过以上分析得出高频系数的融合规则如下：
, , ,
,
, , ,
( , ) , ( , ) ( , )
( , )
( , ) , ( , ) ( , )
A A B
F j r j r j r
j r B A B
j r j r j r
C xy R xy R xy
C xy
C xy R xy R xy
=⎧⎨⎪ ≥
⎩⎪ <
65
式中, A ( , )
j r C x y 表示图像A的分解系数，根据本文所提出的融合规则，得出融合后图像
 的系数，再经过非下采样的逆变换，就可以重构出图像F。
2.2 煤矿多聚焦图像融合
设两幅待融合的煤矿源图像为A和B，F 为融合后的图像，本文针对煤矿图像特点及其
70 产生的清晰度局部差异问题，将上述改进的NSCT 图像融合方法和PCNN 的图像融合算法[4]
结合起来，融合步骤如图1 所示。
图1 煤矿多聚焦图像融合流程
75
1. 对已配准好的图像进行分别进行非下采样的Contourlet 分解，分解后得到( , ) A f x y
和( , ) B f x y 。
2. 对得到的( , ) A f x y 和( , ) B f x y 系数里的高频采用上述改进NSCT 能量方向对比度融
合规则和低频采用基于神经网络的融合规则进行处理。
设, ( , ) A J I xy 和, ( , ) B J I xy 为源图像在J 层的分解系数， , ( , , ) k J 80 T x yn 表示(x, y) 神经元
在第J 层分解后的系数经n 次迭代后产生的脉冲总数，低频系数的PCNN 的融合规则如
下：
1）归一化, ( , ) A J I xy和 , ( , ) B J I xy ，使得, ( , ) A J I xy和 , ( , ) B J I xy 值在[0，1]之间，并将
此值作为F 通道的输入来激励PCNN。
2）初始化( , ,0) ( , ,0) 0 J J L x y =U x y = ， ( , ,0) 0 J T x y = 。计算i ( , , )
J L x y n ， ( , , ) iJ
85 U x y n ，
i( , , )
J T x y n 和i( , , )
J Y x y n 。利用( , , ) ( , , 1) ( , , ) J J J T x y n =T x y n− +Y x y n 来计算脉冲次数。
3）如果n = max N （ max N 为实验所设的最大迭代次数），则迭代结束；如果n < max N 则
回到步骤3，继续迭代。融合系数的选取按照脉冲权数规则进行选择，设源图像的脉冲权
数分别为A ω 和B ω ，具体的计算式如下：
, ma x
, ma x , ma x
( , , )
( , , ) ( , , )
1
A J
A
A J B J
B A
T x y N
T x y N T x y N
ω
ω ω
⎧
= ⎪ + ⎨⎪
⎩ = −
90
则融合系数的算式为： , , , ( , ) ( , ) ( , ) F J A A J B B J I xy =ω ⋅I xy +ω ⋅I xy
3. 将, ( , ) F J I xy（ i =0，1，2，3…）进行非下采样Contourlet 系数的逆变换，得到融合
后的图像F。
 3 仿真结果及分析
95 本文在MATLAB7.1 平台上进行仿真，实验源图像采用煤矿上的（由于摄像头位置及取
景深度不同）两幅聚焦侧重点不一样的传感器所获取的两幅图像，实验融合图像都是经过严
格配准后的图像，尺寸都为256× 256 。
图2 给出了几种算法的融合图像。其中图(c)是NSCT 的融合方法，采用的融合规则
是：低频系数采用“mean”即平均值法，高频系数采用基于区域能量的融合规则。图(d)是
100 改进 NSCT 的融合方法，分解层数为3 层，采用的融合规则是：低频系数采用模值取大
法，高频系数采用基于方向能量的方法。图(e)是在改进的NSCT与PCNN结合的融合方法，
对图像NSCT 分解，采用低频神经网络融合规则，和基于方向能量NSCT 的高频融合规则。
105 (a) 左边聚焦的图像 (b) 右边聚焦的图像 (c) NSCT 融合的图像
(d) 改进 NSCT 的融合图像 (e) 基于NSCT 和PCNN 的融合图像
图2 不同算法融合图像
110 表1给出了图2鉴于以上算法和融合方法所得到的融合图像的信息熵、平均梯度、标准
差和均值。从表中数据可以直观的看出，基于本文融合算法的图像的信息熵（图像信息量的
直观表示）、标准差（图像灰度分布情况的直观表示）、平均梯度（也叫清晰度，代表图像
的边缘、反差、纹理等细节信息）和均值（代表图像的像素值）都相对于其它所选算法有所
改进，特别是代表图像清晰度的平均梯度和代表图像信息量的信息熵（标准差、信息熵和平
115 均梯度的值越大说明融合质量越好）。
表1 融合图像客观评价数据
融合算法 信息熵 标准差 平均梯度 均值
NSCT 4.3811 72.1958 35.0322 196.6994
改进NSCT 4.3896 72.2361 37.0434 195.1004
本文方法 4.5362 72.8266 38.4862 196.3258
综合考虑主观视觉效果和客观数值量的评价标准，可以判断出本文改进的Contourlet 变
 120 换融合方法有比较好的效果，而改进后的Contourlet 变换融合方法与PCNN 相结合后的算法
的融合效果更好，由此可以说明此方法是一种行之有效的图像融合方法。
4 结束语
根据煤矿图像的特点，提出了基于非下采样Contourlet 变换和脉冲耦合神经网络相结合
的煤矿图像融合方法。鉴于本文所提出算法的步骤总结如下：首先采用非下采样Contourlet
125 变换对煤矿图像进行分解，然后对分解出的低频系数采用PCNN 的方法进行融合，高频系
原创学术论文网Tag：代写论文 代写代发论文 电子论文代写 电子论文发表