WO2015165092A1 - 大范围优先的跨摄像机视觉目标再识别方法 - Google Patents

Abstract

本发明涉及一种大范围优先的跨摄像机视觉目标再识别方法，所述方法包括：步骤S1，获得单场景目标的初始轨迹；步骤S2，计算每条轨迹的分段主颜色谱直方图特征，得到轨迹特征表达；步骤S3，利用最小化不确定度的方法得到任意两条轨迹间匹配度的计算公式，从而得到任意两条轨迹间匹配度；步骤S4，对所有轨迹采用最大后验概率的方法进行全局数据融合得到跨场景的跟踪结果。本发明目标再试别方法，识别正确率高。

Description

大范围优先的跨摄像机视觉目标再识别方法 技术领域

本发明涉及视频监控与模式识别领域， 尤其涉及一种大范围优先的跨摄 像机视觉目标再识别方法。 背景技术

随着社会现代化建设的快速发展， 人们对社会安全的关注也越来越高， 特别是对于一些公共场所， 如学校， 医院和政府机关等的监控。 如今数以千 计的摄像机被用于公共场所的日常监控， 这些摄像机每天产生着大量的视频 数据。 但是， 作为传统的视频监控系统由于需要人为的监视， 因而存在着很 多难以克服的问题。

首先， 现有的视频监控都需要有人在视频前实时监视， 没法实现自动监 控报警， 很容易长时间监视而造成人员的过度疲劳。 同时， 由于监控范围的 原因， 通常需要监控人员同时进行多路监控， 往往会应接不暇。 这就需要智 能化视频监控。

而智能视频监控的核心技术， 大范围监控场景下的视觉目标再识别技术 也一直是计算机视觉领域的研究热点之一， 基于多场景目标跟踪的视觉目标 再识别也是吸引了很多学者的研究。 多场景下的目标跟踪不仅能实现对公共 场所行人的监控跟踪， 同时， 也为进一步的高级处理（如行为识别）提供了 更有用的价值信息。 传统的多场景目标跟踪算法主要分两步： 第一步是先完 成单场景下多目标的跟踪， 得到每个单场景下各个目标的完整轨迹； 第二步 跨场景目标接力， 通过场景间的时空信息实现场景间的轨迹连接， 完成目标 接力。 从这两步可以看出， 跨场景目标接力是以单场景的目标跟踪为基础的， 其输入来源于单场景跟踪的结果。 也就是说， 当单场景跟踪结果达不到一定 标准时， 跨场景接力效果直接会受到很大的影响。 而现今的单场景目标跟踪 算法在实际应用中都会长生大量的断裂的零碎轨迹和错误的干扰轨迹， 都还 没有达到可以用于跨场景接力的标准。 这就使得跨场景接力算法的效果无法 得到保证， 最终导致实际场景中的多场景的目标跟踪难以实现。 传统的跨场 景接力算法都是假设单场景跟踪效果已经足够理想， 以此作为算法输入， 因 而其在实际应用中接力效果相对较差。 那么如何在单场景目标跟踪效果不好 的情况下， 提高跨场景接力准确率， 从而完成基本的多场景目标跟踪以实现 目标的再识别成为了一个急需解决的问题。 发明内容

本发明的目的是针对现有技术的缺陷， 提供一种大范围优先的跨摄像机 视觉目标再识别方法， 解决大范围监控场景下的目标再识别问题， 识别正确 率高。

为实现上述目的， 本发明提供了一种大范围优先的跨摄像机视觉目标再 识别方法， 所述方法包括：

步骤 S1， 获得单场景目标的初始轨迹；

步骤 S2，计算每条轨迹的分段主颜色谱直方图特征，得到轨迹特征表达； 步骤 S 3， 利用最小化不确定度的方法得到任意两条轨迹间匹配度的计算 公式， 从而得到任意两条轨迹间匹配度；

步骤 S4， 对所有轨迹釆用最大后验概率的方法进行全局数据融合得到跨 场景的跟踪结果。

进一步的， 所述步骤 S 1中， 对每一轨迹， 所有帧的置信度的平均值 被用来表示该轨迹的轨迹准确度：

其中， 置信度 表示对于每一帧的跟踪结果， 0.2表示跟踪目标丟 失， _s和 _β分别为该轨迹的起始帧和结束帧；

最后形成的所有目标轨迹的集合为 £ = /₂,... }， N为轨迹综述， 每一 条轨迹 /,= [ ί,,ς.Α, ,,Ω,] , 分别表示轨迹的位置， 准确度， 所属场景， 时间和 表观特征。

进一步的， 所述步骤 S2具体包括：

计算每帧中目标的颜色直方图，然后根据其 Η和 S值，将颜色分为 16*2 个颜色， 从中选取前 η个颜色值作为该目标该帧的特征：

h = {C_l,C₂,..,C ( 2 )

其中， ς为前 w种像素数之和占总像素数比例的 90%以上的颜色，每一 条轨迹的总特征为：

H=∑: , ( 3)

其中， m_¾为轨迹 的长度；

对总特征 H中的所有特征 ， 利用计算相互间的相似度 Λ = )， 通过其轨迹中每帧间的相似度信息找到运动周期， 利用周期对原来轨迹特 征 H进行重新分段， 通过下式得到总特征 H中可能存在的周期性信息； p = argmax Τ Λ ( 4 ) 利用周期性信息 p对将轨迹重新进行均匀分段， 至此得到轨迹的分段 主颜色谱直方图特征：

H = {H₁,H₂,...,H ( 5 )

其中， i/ =「m_¾/ /^表示轨迹分段的段数。

进一步的， 所述步骤 S3具体包括：

计算两条轨迹间相似度指导轨迹间的匹配， 在最大化相似度的同时最 小化不确定度， 由此使得得到的相似度匹配值能反映两轨迹间的真实相似 关系， 匹配公式为： , _R max Sim(H , H ) - min Sz'm(H,^A , H_V ^B ) ( _r、

Dis{H\H^B) = \ ' ( 6 )

max Sim H ,Hj ) + min Sim H_u ^A , H_v ^B )

其中， ⁴和 ^£为两段不同轨迹的分段主颜色谱直方图特征， H 和 H】 分别为其中的某一段， i = {l,2,...,d_A},j = {l,2,...,d

进一步的， 所述步骤 S4具体包括：

步骤 S4_l， 每一条全局融合后的轨迹为 Γ ={/.,/.,...,/. }， 那么总的融合 后的轨迹集合为 = {7 , ₂,...,7 }， m为融合后的轨迹数目；在给定轨迹集合 L 和融合后轨迹间无重叠的条件下， 集合 Γ的最大后验概率为：

Γ* = arg max Π P \Τ) Π P(T_k )

其中， \T)为轨迹 ii的相似度， τ )为可能的融合后的轨迹的先验概 率， 它可以表示为一条包含转移概率 Π P(l_kM \l V_k )的马尔科夫链；

步骤 S4-2，建立图结构，其中每个节点表示一个轨迹片段 /,，其值为 c,， 每条边表示先验概率 /¾_→^)， 从整个图中最小的代价函数流得到使得 Γ* 最大的集合， 对于每条流的代价能量 用负对数函数表示：

e^-logPi l^l^Pil^l^ _{( g )}

= -log( _m*^* J

其中， 和 分别表示轨迹间的运动信息和时间信息的匹配概率， 表 示轨迹表观特征间的匹配概率， 匹配相似度公式为：

得到每条流的代价能量， 遍历最终得到使后验概率最大的集合 Γ即为多 场景目标跟踪和再识别的结果。

本发明跨摄像机的视觉目标再试别方法， 识别正确率高。 附图说明

图 1为本发明大范围优先的跨摄像机视觉目标再识别方法的流程图。 具体实施方式

下面通过附图和实施例， 对本发明的技术方案做进一步的详细描述。 跨场景的目标接力效果很大程度上依赖于单场景跟踪结果的好坏， 本 发明为一种基于全局轨迹融合的目标跟踪再识别方法， 该方法能在单场景 跟踪轨迹不是很好的情况下得到相对较好的跨场景接力结果。 同时， 本方 法提出一个新的轨迹特征表达， 使其能在非重叠场景下完成多场景的目标 艮踪和再识别。

本发明优先解决大范围监控场景下的目标再识别问题。 该方法依靠对 多摄像机所有轨迹的全局优化实现多场景下的视觉目标再识别， 并形成完 整的目标轨迹。 釆用具有周期性的分段主颜色谱直方图特征作为轨迹特征 表达， 利用最小化不确定度的方法实现轨迹的匹配， 进一步提高目标再识 别的准确率。

图 1为本发明大范围优先的跨摄像机视觉目标再识别方法的流程图，如 图所示， 本发明具体包括如下步骤：

步骤 101， 获得单场景目标的初始轨迹；

具体的， 通过行人检测和单目标的行人跟踪， 得到每个场景下每个行 人的初始轨迹片段。 行人检测方法釆用基于行人头肩检测， 单目标跟踪算 法则利用自适应多特征融合的方法。 用置信度 表示对于每一帧的跟踪结 果， < 0.2表示跟踪目标丟失。 对每一轨迹， 其所有帧的 的平均值被用 来表示该轨迹的轨迹准确度： c = （1 )

其中， ^和^分别为该轨迹的起始帧和结束帧。 则最后形成的所有目标轨迹的集合为 = ,/₂,... }， N为轨迹综述。每 一条轨迹 /,= [ c,,_C,,s,, ,, ,]， 分别表示轨迹的位置， 准确度， 所属场景， 时间 和表观特征。

步骤 102， 计算每条轨迹的分段主颜色谱直方图特征， 得到轨迹特征 表达；

对 MCSHR特征， 首先计算每帧中目标的 HSV颜色直方图， 然后根据其 H和 S值， 将颜色分为 16*2个颜色， 从中选取前 w个颜色值作为该目标该 帧的 MCSHR特征表达： h = {C_l,C₂,..,C ( 2 ) 其中， C,为前 w种像素数之和占总像素数比例的 90%以上的颜色， 这 样， 针对每条轨迹， 得到所需的总得 MCSHR特征：

H = y^mih. ( 3 ) 其中， m_¾为轨迹 的长度。 对 H中的所有/^ 利用其论文中的方法计 算相互间的相似度 Λ = Simih^hj)。 由于行人在运动过程中其步伐存在着明显 的周期性， 这里的想法是通过其轨迹中每帧间的相似度信息找到这种运动 的周期。 利用周期对原来轨迹特征 H进行重新分段。 即通过如下公式找到 H中可能存在的周期性信息 p：

1

P = arg max Τ Λ ( ) 利用 ρ对将轨迹重新进行均勾分段， 至此得到轨迹的分段主颜色谱直 方图特征：

H = {H_l,H₂,...,H ( 5 ) 其中， =「 / /^表示轨迹分段的段数。

步骤 103， 利用最小化不确定度的方法得到任意两条轨迹间匹配度的 计算公式， 从而得到任意两条轨迹间匹配度； 在轨迹匹配的过程中， 两轨迹间相似度的不确定性在一定程度上也是 很重要的； 通过计算两轨迹间相似度的这种不确定性来指导轨迹间的匹 配， 即在最大化相似度的同时最小化不确定度， 这样使得得到的相似度匹 配值更能反映两轨迹间的真实相似关系。 具体的匹配公式为：

, _R max Szm(H.^A ,Hf)-min Szm(H,^A ,H^B) , _r ,

Dis{H H^B) = \ ' A B ( ⁶ )

max Sim{H ,Hj ) + min Sim H_u ^A , H_v ^B ) 其中， ⁴和 ^£为两段不同轨迹的分段主颜色谱直方图特征。 H,^A和 H 分别为其中的某一段， i = {l,2,...,d_A},j = {l,2,...,d_B}。

步骤 104， 对所有轨迹釆用最大后验概率的方法进行全局数据融合得 到跨场景的跟踪结果。

在得到所有轨迹的集合 £ = /₂,... }以及其中每条轨迹的各项属性

局优化。

首先， 可以将每一条全局融合后的轨迹表示为 η ={Ζ, , /,,...,/,}， 那么总 的融合后的轨迹集合为 = {7 ,7 ,...,7 }， m为融合后的轨迹数目。 目标就是 在给定轨迹集合 L和融合后轨迹间无重叠的条件下， 求集合 Γ的最大后验 概率：

这里 Ζ,.|Γ)为轨迹 Ζ,.的相似度， 即之前的准确度 ς. ; Ρ(Γ_λ)为可能的融合 后的轨迹的先验概率， 它可以表示为一条包含转移概率 Π P(l_ki+i

)的马尔科 夫链。

建立一个图结构， 其中每个节点表示一个轨迹片段 /,， 其值为 c,， 每条 边表示先验概率 ^,→^)。 那么， 通过求整个图中最小的代价函数流可以 得到使得 最大的集合， 因此将 （7 ) 式转化为一个求最小代价函数的问 题。 对于每条流的代价能量 ， 用负对数函数表示：

e^-XogPiLU^l^Pil^l^ _{( g} )

= -log( ^QP。）

其中， 和 分别表示轨迹间的运动信息和时间信息的匹配概率， 具 体计算过程可参考最小流方法 （J. Liu, P. Carr, R. T. Collins, and Y. Liu Tracking sports players with context—conditioned mot ion models, " CVPR 2013 ) 。 尸。表示轨迹表观特征间的匹配概率， 利用之前 求得的分段主颜色谱直方图特征作为轨迹的表观特征表达。 同时， 为了区 分来自于不同场景的轨迹片段， 引入了一个调整因子 A， 这里取 2.5。 则 具体的匹配相似度公式为：

Z^(H^A,H^S)的计算方法如（6 )式所示。 则将（9)式代入到（⁸)式中， 即可求得每条流的代价能量。 通过遍历最终得到使后验概率最大的集合 r 即为所求的多场景目标跟踪和再识别的结果。

本发明延用单场景轨迹数据融合的思想， 将其扩展到多场景全局的轨 迹数据融合， 区分对待来自于同一场景或者不同场景的轨迹匹配。 简化了 传统的两步的多目标跟踪方法， 将其统一在一个统一的数据融合过程中。 釆用分段的主颜色谱直方图特征， 并利用最小化不确定度的方法提高了目 标再识别的准确率。

本发明跨摄像机的视觉目标再识别方法在单场景算法效果不理想的 情况下， 也能得到较好的接力效果， 实现多场景下视觉目标再识别。 适用 于非重叠场景。 利用新的特征表达及相似度计算方法进一步提高再识别的 准确率。

专业人员应该还可以进一步意识到， 结合本文中所公开的实施例描述的 各示例的单元及算法步骤， 能够以电子硬件、 计算机软件或者二者的结合来 实现， 为了清楚地说明硬件和软件的可互换性， 在上述说明中已经按照功能 一般性地描述了各示例的组成及步骤。 这些功能究竟以硬件还是软件方式来 执行， 取决于技术方案的特定应用和设计约束条件。 专业技术人员可以对每 个特定的应用来使用不同方法来实现所描述的功能， 但是这种实现不应认为 超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、 处理 器执行的软件模块， 或者二者的结合来实施。 软件模块可以置于随机存储器 ( RAM ) 、 内存、 只读存储器（ROM ) 、 电可编程 R0M、 电可擦除可编程 R0M、 寄存器、 硬盘、 可移动磁盘、 CD-ROM , 或技术领域内所公知的任意其它形式 的存储介质中。

以上所述的具体实施方式， 对本发明的目的、 技术方案和有益效果进行 了进一步详细说明， 所应理解的是， 以上所述仅为本发明的具体实施方式而 已， 并不用于限定本发明的保护范围， 凡在本发明的精神和原则之内， 所做 的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求 书

1、 一种大范围优先的跨摄像机视觉目标再识别方法， 其特征在于， 所述 方法包括：

步骤 Sl， 获得单场景目标的初始轨迹；

步骤 S2， 计算每条轨迹的分段主颜色谱直方图特征， 得到轨迹特征表 达；

步骤 S 3，利用最小化不确定度的方法得到任意两条轨迹间匹配度的计 算公式， 从而得到任意两条轨迹间匹配度；

步骤 S4，对所有轨迹釆用最大后验概率的方法进行全局数据融合得到 跨场景的跟踪结果。

2、 根据权利要求 1所述的方法， 其特征在于， 所述步骤 S1中， 对每 一轨迹， 所有帧的置信度的平均值被用来表示该轨迹的轨迹准确度：

其中， 置信度 表示对于每一帧的跟踪结果， <0.2表示跟踪目标丟 失， _s和 _β分别为该轨迹的起始帧和结束帧；

最后形成的所有目标轨迹的集合为 £ = /₂,… }， N为轨迹综述， 每一 条轨迹

, 分别表示轨迹的位置， 准确度， 所属场景， 时间和 表观特征。

3、根据权利要求 1所述的方法， 其特征在于， 所述步骤 S2具体包括： 计算每帧中目标的颜色直方图，然后根据其 Η和 S值，将颜色分为 16*2 个颜色， 从中选取前 η个颜色值作为该目标该帧的特征：

h = {C_l,C₂,..,C ( 2 )

其中， ς为前 w种像素数之和占总像素数比例的 90%以上的颜色，每一 条轨迹的总特征为：

H=∑: , ( 3 )

其中， m_¾为轨迹 的长度；

对总特征 H中的所有特征 ， 利用计算相互间的相似度 A = S_Z'm(/^, )， 通过其轨迹中每帧间的相似度信息找到运动周期， 利用周期对原来轨迹特 征 H进行重新分段， 通过下式得到总特征 H中可能存在的周期性信息 p：

利用周期性信息 p对将轨迹重新进行均勾分段， 至此得到轨迹的分段 主颜色谱直方图特征：

H={H₁,H₂,...,H_ii} ( 5 )

其中， =「 / /^表示轨迹分段的段数。

4、根据权利要求 3所述的方法， 其特征在于， 所述步骤 S3具体包括： 计算两条轨迹间相似度指导轨迹间的匹配， 在最大化相似度的同时最 小化不确定度， 由此使得得到的相似度匹配值能反映两轨迹间的真实相似 关系， 匹配公式为：

其中， ⁴和 ^£为两段不同轨迹的分段主颜色语直方图特征， H 和 H】 分别为其中的某一段， i = {1,2,...,^}, j' = {l,2,...,d_B}。

5、根据权利要求 4所述的方法， 其特征在于， 所述步骤 S4具体包括： 步骤 S4-l， 每一条全局融合后的轨迹为 η ={/,,/,,...,/, }， 那么总的融合 后的轨迹集合为 = {7 ,7 ,...,7 }， m为融合后的轨迹数目；在给定轨迹集合 L 和融合后轨迹间无重叠的条件下， 集合 Γ的最大后验概率为： r* = argmaxn (,|r) Π P(T_k)

Ί Γ Ί] = ,\/ί≠ j

其中， \T)为轨迹 的相似度， τ; )为可能的融合后的轨迹的先验概 率， 它可以表示为一条包含转移概率 ΠΡ . V.)的马尔科夫链；

步骤 S4-2，建立图结构，其中每个节点表示一个轨迹片段 /,，其值为 c,， 每条边表示先验概率 ^,→^)， 从整个图中最小的代价函数流得到使得 Γ* 最大的集合， 对于每条流的代价能量 用负对数函数表示：

e^-XogPiLU^l^Pil^l^ _{( g} )

= -log( _m*^* J

其中， 和 分别表示轨迹间的运动信息和时间信息的匹配概率， 表 示轨迹表观特征间的匹配概率， 匹配相似度公式为：

得到每条流的代价能量， 遍历最终得到使后验概率最大的集合 Γ即为 多场景目标跟踪和再识别的结果。