一种基于距离可分性镜头边界检测的方法#
杨倩1，谢刚2，雷少帅2，段豪22**
基金项目：山西省回国留学人员基金项目（2009-31）；山西省国际科技合作计划项目（2008081026）
作者简介：杨倩，（1986-），女，硕士研究生，图像处理
通信联系人：谢刚，（1972-），男，教授，智能信息处理. E-mail: xiegang@tyut.edu.cn
（1. 太原理工大学测控技术研究所，太原 030024；
5 2. 太原理工大学信息工程学院，太原 030024）
摘要：针对现有镜头边界检测算法的不足，本文直接采用了每帧图像的颜色直方图作为特征，
保持了视频帧之间的独立性，保留了视频帧的绝对信息。本文采用滑动窗口,并计算当前帧
的前后两组视频帧的类间距离和类内距离，利用新构造的距离可分性判据检测出可能变化镜
头边界，然后利用自适应双阈值区分切变与渐变镜头。实验能够有效避免因闪光和镜头/物
10 体移动造成的误判。结果表明对切变和渐变有良好的检测能力，本文算法有较高的查全率和
查准率。
关键词：镜头边界检测；距离可分性；类间距离；类内距离；自适应阈值
 0 引言
镜头是整段视频中的基本单位, 由摄像机一次连续拍摄的帧序列组成, 镜头内的各帧画
35 面在时间和空间上都是连续的. 直观上, 在同一拍摄镜头中相邻帧之间有高的相似性, 在不
同的拍摄镜头, 相似性低. 很多文献中提出了不少对镜头边界检测方法[1]. 该镜头边界检测
原理的方法是计算相邻帧之间的差异, 并比较这些差异给定的阈值. 当超过阈值时, 镜头的
边界被检测出来. 常用的图像特征有像素法､直方图法､提取信息熵法等. 然而由于物体与相
机的运动, 相邻帧之间的差异可能会被放大,从而引起误判[2].
40 帧间差法是一种通过对视频图像序列中相邻两帧作差异度来获得运动目标轮廓
的方法, 由于帧间差的方法对样本的依赖性较大, 它不能提取出对象的完整区域, 只
能提取出边界;同时依赖于选择的帧间时间间隔. 对快速运动的物体, 需要选择较小
的时间间隔, 如果选择不合适, 当物体在前后两帧中没有重叠时, 会被检测为两个分
 开的物体:而对慢速运动的物体, 应该选择较大的时间差, 如果时间选择不适当, 当
45 物体在前后两帧中几乎完全重叠时, 则检测不到物体.
针对以上问题, 本文提取每一帧的颜色特征空间的直方图, 利用基于距离的可分性线性
判据构造公式进行判别, 从而检测出镜头边界处, 然后再通过自适应阈值区分出镜头边界的
切变与渐变.
1 视频特征提取
50 颜色特征是一种全局特征, 描述了图像或图像所对应的景物的表面性质. HSV 颜色空间
比较其他颜色空间更接近人眼视觉特性.经过试验的比较, 文中选择把色度, 饱和度和亮度
分成8,2 和2 三个量化级数[3]. 量化完成后, 将三个颜色分量合成为一维特征向量, 如公式
(1-1).其中L 的取值范围为[0 ~ 31]. 即根据量化后的图像可以统计得到32 柄的一维直方图.
L = 4H + 2S +V (1-1)
55 2 基于距离可分性的检测算法
基于距离的可分性判据其基本原理就是两类类样本之间的距离越大､类内散度越小, 则
可分性越好[4]. 建立一个长度为2L +1的滑动窗口2L+1 W , 设滑动窗口中前L 帧为样本集
( , ..., ) 1 ( − ) ( − +1) ( −1) = i L i L i V H H H , 后L 帧为样本集( , ..., ) 2 (i 1) (i 2) (i L) V H H H + + + = , 并计算前
后两类样本类间距离､类内距离. 逐帧往后移动滑动窗, 寻找前后两类样本类间距离最大､类
60 内距离最小之处, 便可找到镜头变化的边界帧.
2.1 前期准备
2.1.1 计算样本集的均值向量
计算样本集均值向量i m , i m 是各个类的均值,如式(2-1) 所示:
2 , 1 , 1 = = Σ∈
H i
L
m
i Vi
i i (2-1)
65 2.1.2 计算样本集类的内离散矩阵与类间离散度矩阵
计算样本集1 V 的类内离散度矩阵1 S , 2 V 的类内离散度矩阵2 S , 总类内离散度矩阵W S ,
如式(2-2) , 式 (2-3) , 式 (2-4) 所示:
1 2 S S S W = + (2-2)
其中:
2 , 1 , ) )( ( = − − =Σ∈
S H m H m i
i Vi
T
70 i i i (2-3)
样本集1 V ､2 V 类间离散度矩阵b S ,
T
b S (m m )(m m ) 1 2 1 2 = − − (2-4)
2.2 构建评判函数
滑动窗内两类样本的类间距离最大､类内距离最小时即为镜头的变化之处. 由距离可分
75 性准则可知, 要保证两类样本类间距离最大､类内距离最小, 此时需满足类间离散度矩阵的
( ) b trace S 最大，并且总类内离散度矩阵的( ) W trace S 最小. 因此由距离可分性可构造新的
 评判函数, 如式(2-5)所示.
( )
( )
W
b
trace S
F = trace S (2-5)
2.3 计算镜头F 值曲线
80 逐帧向后移动滑动窗口, 并计算F 值. 当整个滑动窗处于同一镜头时, F 值基本不变, 理
想的情况下是趋近于零;当滑动窗逐帧进入下个子镜头时, F 的取值逐渐变大, 当后L 帧全
部进入后一个子镜头, 前L 帧仍处于前一个子镜头时, F 的取值最大, 然后又逐渐变小, 直至
前L 帧也全部进入下一个子镜头. 因此, 可以利用F 的特征曲线中极大值对应的帧号作为
子镜头分割边界.
85 以视频标准库OPENVIDEO中的视频Anni005 的片段为例, 为进一步直观地展示本方法
的效果, 现将包含切变处(帧1214/1215; 1248/1249; 1267/1268)视频片段的F 值曲线和相应的
视频帧通过图1､图2 分别给出, 将包含渐变处(帧2720~2750)视频片段的F 值曲线及相应的
视频帧通过图3､图4 分别给出.
90 图1 视频Anni005 片段F 值曲线（含有切变帧）
… …
… …
图2 视频Anni005 片段切边处相应视频帧
95
图3 视频Anni005 片段F 值曲线（含有渐变帧）
 图4 视频Anni005 片段渐变处相应的视频帧
2.4 自适应阈值的选取
通过大量实验可知,除了镜头切渐变处存在较大F值外, 还存在很多毛刺, 这些毛刺是由
105 于镜头中存在物体､镜头运动造成的, 这些毛刺的存在会影响切渐变的检测. 由于本算法利
用的是两个样本之间的离散程度比值, 可以很大程度上抑制物体､镜头运动带来的噪音, 我
们只需利用阈值设置即可有效地消除这些毛刺的影响[5].
本文算法中的双阈值H T , L T 的选取按式(2-6), 式(2-7)计算, 其中F m 表示F 的均值与
F S 代表F 值的标准差. 若H F > T , 则判断此处发生切变;若L H T < F < T , 则判断发生渐
110 变.
( ) H F F T = K m + nS (2-6)
L F T = Km (2-7)
其中, K 和n 的选择根据视频类型的不同可自行调整[6]. 区分了切渐变镜头后, 为进一步
探测镜头边界的起始帧, 本文将F 值进行了0､1 量化并用V 表示, 当H F > T 时取V=1. 当
L H 115 T < F < T 时, V=0.5;否则取V=0. 如图5,图6 所示F 值经阈值量化处理后, 不仅去除了噪
声影响､区分了切渐变镜头, 而且能通过有效地检测出切渐变的发生区域. 经大量实验表明,
V 值取1 处为2 帧, 即上一个镜头的最末一帧及下一镜头的起始帧;V 值取0.5 处相对比较密
集, 为镜头渐变的起始帧和结束帧处[7].
120 图5 视频Anni005 片段阈值处理后F 值曲线（含有切变帧）
 图6 视频Anni005 片段阈值后处理F 值曲线（含有渐变帧）
125 3 实验结果及分析
为了测试本文算法的鲁棒性, 本文对视频中的闪光和镜头物体移动做了大量的测试. 所
有数据均来自开源库Open Video 与TRECVID2001, 实验环境在Matlab7.9.0.
在上述实验中, 本文计算使用了查全率和查准率. 实验结果如表1 如下:
查全率=正确检测数/(正确检测数+漏检数);
130 查准率=正确检测数/(正确检测数+误检数).
表1 镜头边界检测结果
视频 切变 渐变 正确检测数 漏检数 误检数 查全率% 查准率%
1 21 4 21 4 2 85 91.3
2 19 0 18 1 2 94.7 90
3 20 8 25 3 0 89.3 100
4 15 5 16 4 3 80 84.2
5 47 3 47 4 1 92.2 97.9
据表1,本文算法有较高的查全率和查准率, 并且对于不同题材具有较强的通用性. 实验
135 中的漏检与误检, 对光照影响和物体的运动不敏感. 实验结果表明对切变和渐变有良好的分
辨与检测能力. 在本文中, 漏检的主要原因是由于镜头渐变处帧间亮度和颜色变化小, 致使
分区直方图方法产生漏检而直接影响到最终结果.误检的原因主要是由于在同一镜头内, 场
景变化复杂, 加之镜头快速不规则运动造成.
4 结论
140 镜头检测为视频片段处理的第一步, 也是关键的一步. 本文直接采用了每帧图像的颜色
直方图作为特征, 保持了视频帧之间的独立性, 保留了视频帧的绝对信息. 采用了滑动窗口
有效的消除了闪光, 引入了自适应阈值, 避免了运动造成的干扰. 本文算法对于切变､渐变
检测准确率较高, 但没有仔细区分渐变类型. 未来将对渐变的类型做进一步的区分, 并不断
提高其准确率.