JP6474126B2 - オブジェクト追跡方法、装置およびプログラム - Google Patents

オブジェクト追跡方法、装置およびプログラム Download PDF

Info

Publication number
JP6474126B2
JP6474126B2 JP2015038594A JP2015038594A JP6474126B2 JP 6474126 B2 JP6474126 B2 JP 6474126B2 JP 2015038594 A JP2015038594 A JP 2015038594A JP 2015038594 A JP2015038594 A JP 2015038594A JP 6474126 B2 JP6474126 B2 JP 6474126B2
Authority
JP
Japan
Prior art keywords
occlusion
objects
curve
unassigned
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015038594A
Other languages
English (en)
Other versions
JP2016162075A (ja
Inventor
ホウアリ サビリン
ホウアリ サビリン
浩嗣 三功
浩嗣 三功
内藤 整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2015038594A priority Critical patent/JP6474126B2/ja
Publication of JP2016162075A publication Critical patent/JP2016162075A/ja
Application granted granted Critical
Publication of JP6474126B2 publication Critical patent/JP6474126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、映像上で人物に代表される動的なオブジェクトを追跡するオブジェクト追跡方法、装置およびプログラムに係り、特に、オブジェクトを個別認識できるRGBカラー画像を利用せず、オブジェクトを個別認識できない奥行データの映像のみを用いて、動的なオブジェクトをオクルージョンに関わらず正確に追跡できるオブジェクト追跡方法、装置およびプログラムに関する。
監視カメラ映像や、スポーツ映像を対象としたオブジェクト追跡に関する手法がこれまでに数多く提案されている。これらのほとんどは、一定の撮影条件が満たされることを前提に、映像のカラー情報に基づく追跡を行っている。
一方、防犯やマーケティングの用途において、監視カメラ映像を用いた人物検出・追跡に関する需要が急速に高まっているが、解像度不足や照明条件の観点からカラー情報の利用が困難なケースが少なくない。また、プライバシーの観点から、人物を特定できてしまうカラー情報の利用が制限されており、代わりに人物を特定できない奥行映像のみからオブジェクト追跡を行う技術に対する期待が高まっている。
非特許文献1には、Microsoft Kinectに代表される奥行センサを用いた奥行データにおけるオブジェクト領域の検出に基づき追跡を行う手法が提案されている。非特許文献2には、カラー情報と奥行データとを組み合わせる形で追跡性能の向上を実現する技術が開示されている。
特許文献1には、距離データを利用して移動体を追跡する際、多平面図を有効にするために距離データから3次元点群を作成する技術が開示されている。特許文献2には、色情報と距離データとを組み合わせ、移動体をリアルタイムで追跡する技術が開示されている。特許文献3には、二重差分法に基づいて距離データを抽出し、物体を検出する技術が開示されている。特許文献4には、背景差分方法により距離画像から移動体を抽出する際に、前フレームと現在のフレームの距離データを比較して、最も類似の対応情報を抽出する技術が開示されている。
非特許文献3には、Kinectセンサから取得された距離データに基づいて人数を算出し、距離データを2次元に投影することで、部屋の入口や出口に対する人物の位置を推定する技術が開示されている。非特許文献4には、熱赤外線センサから距離データを取得し、フレーム間で検出された移動体の中心の類似性を判定することで歩行者を追跡する技術が開示されている。
非特許文献5には、Kinectセンサが出力するRGB-D画像に基づく2次元の頭輪郭モデルと3次元の頭表面モデルとを併用することにより人物を検出し、検出された移動体を識別してマーカーを作成する技術が開示されている。非特許文献6には、距離画像を8×8(ピクセル)のブロックに分割して移動体を検出する技術が開示されている。非特許文献7には、赤外線センサで移動体を検出して追跡し、検出された物体の中心で類似性を計算してラベリングする技術が開示されている。
US 7003136 B1 US 7590262 B2 US 8831285 B2 US 20120195471 A1 特願2014-198941号
Parvizi and Wu, " Multiple Object Tracking Based on Adaptive Depth Segmentation," Canadian conference on Computer and Robot Vision 2008, pp.273-277, 2008 Tran and Harada, " Depth-Aided Tracking Multiple Objects under Occlusion," Journal of Signal and Information processing, vol. 4, pp.299-307, 2013 C.-T. Hsieh, H.-C. Wang, Y.-K. Wu, L.-C. Chang, and T.-K. Kuo, A Kinect-Based People-Flow Counting System, Int. Symp. on Intelligent Signal Processing and Communications Systems, pp. 146-150, 2012. J. Li and W. Gong, Real Time Pedestrian Tracking using Thermal Infrared Imagery, Journal of Computers, 5(10):1606-1614, 2010. L. Xia, C.-C. Chen, and J. K. Aggarwal, Human Detection Using Depth Information by Kinect, IEEE Conf. on CVPR Workshops, pp. 15-22, 2011. S. Ikemura and H. Fujiyoshi, Real-Time Human Detection Using Relational Depth Similarity Features, Proc. of the 10th Asian Conference on Computer Vision, 2010 L. J. Latecki, R. Miezianko, and D. Pokrajac, Tracking Motion Objects in Infrared Videos, IEEE Conf. on Advanced Video and Signal Based Surveillance, pp. 99-104, 2005
非特許文献1では、奥行データのみを用いたオブジェクト追跡手法が提案されているが、オブジェクト同士が重なるオクルージョン時の追跡に関する言及がされておらず、実利用の観点では性能低下が予想される。非特許文献2では、カラー情報との組み合わせ手法であり、奥行データのみを用いるという利用シーンには対応していない。
非特許文献1−7および特許文献1−4では、オブジェクト同士が重なるオクルージョンが発生するとオブジェクトの追跡が困難になる。
このような技術課題に対して、本発明の発明者等は、オクルージョン前後での各オブジェクトの同一性を、各オブジェクトの位置、サイズおよび動きベクトルから計算される類似度に基づいて判断することにより、オクルージョンの発生にかかわらずオブジェクトの正確な追跡を可能にする技術を発明し、特許出願した(特許文献5)。
しかしながら、特許文献5では図15(a)に示したように、オブジェクトBの移動方向がオブジェクトAとのオクルージョン前後で大きく異なる場合、あるいは同図(b)に示したように、停止しているオブジェクトBにオブジェクトAが接近してオクルージョンが発生したのち、オブジェクトAは停止してオブジェクトBが同一方向へ移動してオクルージョンが解消する場合にように、オクルージョン後における各オブジェクトの移動方向がオクルージョン前の動きベクトルから予測し得ないような場合にオブジェクトの正確な追跡が困難になるという技術課題があった。
なお、図15において各オブジェクトA,Bに外接する点線枠は、後に図8を参照して詳述するように、オブジェクト間のオクルージョを、オブジェクト同士の重なりではなく、オブジェクトに外接する矩形枠の重なりで判断することでオクルージョンの発生を事前に予測できるようにするために設けられている。
本発明の目的は、上記の技術課題を解決し、奥行映像のみを用いることでオブジェクトのプライバシーを尊重しながら、オクルージョンの解消後もオブジェクトを正確に追跡できるオブジェクト追跡方法、装置およびプログラムを提供することにある。
上記の目的を達成するために、本発明は、奥行映像上でオブジェクトを追跡するオブジェクト追跡装置において、以下の構成を具備した点に特徴がある。
(1) 奥行映像上でオブジェクトを検知する手段と、オブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出する手段と、オブジェクト間のオクルージョンを判定する手段と、オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定し、対応するオブジェクト同士に同一IDを割り当てるID割当手段とを具備した。
(2) ID割当手段は、オクルージョンの発生前および解消後でオブジェクト曲線の類似度が所定の閾値を超えるオブジェクト同士に同一IDを割り当てるようにした。
(3) オブジェクトの向きと当該向きで抽出されたオブジェクトの左側および右側の各オブジェクト曲線との対応関係を学習する手段と、抽出されたオブジェクト曲線を前記学習した対応関係と照合してオブジェクトの向きを推定する手段とをさらに具備し、ID割当手段は、オクルージョンの発生前および解消後で向きの推定結果が一致するオブジェクト同士に同一IDを割り当てるようにした。
本発明によれば、以下のような効果が達成される。
(1) 各オブジェクトの輪郭に沿ったオブジェクト曲線をフレーム間で比較することにより各オブジェクトを対応付けるので、オクルージョン後における各オブジェクトの移動方向がオクルージョン前の移動ベクトルから予測し得ないような場合もオブジェクトの正確な追跡が可能になる。
(2) オブジェクトの向きとオブジェクト曲線との対応関係を予め学習しておき、オブジェクト曲線から推定される向きに基づいて各オブジェクトを対応付けることができるので、オクルージョンの前後で各オブジェクトの向き・姿勢が一致していれば、オブジェクト曲線の類似度が関わらず両者を対応付けられる。したがって、向き・姿勢が同一とみなせる範囲内でオブジェクトの輪郭が変化しても正確な追跡が可能になる。
(3) オブジェクトを具体的に識別可能なRGBカラー映像を用いることなく、オブジェクトを具体的に識別できない奥行映像のみを用いてオブジェクトを追跡できるので、各オブジェクトのプライバシーを尊重したオブジェクト追跡が可能になる。
(4) オクルージョンの有無を、オブジェクト同士が重なって認識できなくなるよりも前に、オブジェクトに外接する矩形オクルージョン領域の重なりの有無に基づいて予測するようにしたので、その後にオクルージョンの関係となるオブジェクトを正確に識別できるようになる。
本発明の一実施形態に係るオブジェクト追跡装置の機能ブロック図である。 奥行映像の一例を示した図である。 矩形オブジェクト領域の設定例を示した図である。 形状フィルタ処理を説明するための図である。 オブジェクト曲線を説明するための図である。 オクルージョンの判定方法を示した図である。 オブジェクト追跡映像の一例を示した図である。 オブジェクト追跡方法を説明するための図である。 本発明の一実施形態の動作を示したフローチャートである。 ID割当処理の動作を示したフローチャートである。 オブジェクト曲線の比較方法を示した図である。 本発明の第2実施形態の機能ブロック図である。 オブジェクト曲線の学習結果の例を示した図である。 例外処理を説明するための図である。 先行技術の課題を説明するための図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の一実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
オブジェクト検知部10は、図2に示したように、オブジェクトを具体的に識別できない奥行(距離)データのみの映像(奥行映像)の各映像フレーム上でオブジェクトを検知する。本実施形態では、オブジェクトが存在しない環境下で撮影した背景画像を蓄積しておき、奥行映像の各フレームと前記背景画像とを比較して奥行データの差分が所定の閾値以上となる閉領域がオブジェクトとして検知される。
オブジェクト領域設定部20は、図3に示したように、各オブジェクトに対して、その輪郭に外接あるいは包含する矩形のオブジェクト領域を設定する。オブジェクト曲線抽出部30は、形状フィルタ処理部31およびエッジスキャン部32を含み、検知されたオブジェクトごとに、その左側および右側の各輪郭に沿った左右一対のオブジェクト曲線Cleft,Crightを抽出する。
前記形状フィルタ処理部31は、オブジェクトの輪郭を正確に識別するための前処理として形状フィルタ処理を行う。本実施形態では、図4に示したように、初めに奥行データから4×4の画素ブロックを認識し、画素ブロックごとに奥行データの平均値を計算する。次いで、高域フィルタ処理により、平均値が最大濃淡値(ここでは、255)の半分以下(128未満)の画素ブロックを削除する。
前記エッジスキャン部32は、前記形状フィルタ処理後の奥行データを対象に、ラスタ走査によるエッジスキャンを実施して輪郭部分の画素ブロックを特定する。オブジェクト曲線抽出部30は、図5に示したように、オブジェクトの輪郭部分の各画素ブロックの中心(以下、参照点と表現する)を通る左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightを抽出する。
本実施形態では、左右の各輪郭部の参照点をY座標値の降順でそれぞれ連結することで各オブジェクト曲線Cleft,Crightが得られる。各オブジェクト曲線Cleft,Crightは、図5に示したように、オブジェクト曲線上で隣接する次の画素ブロックの参照点の方向(傾斜度)の系列で表現される。図示の例では、次の画素ブロックの参照点が垂直方向であれば傾斜度の値は「0」、右下方向であれば正の値、左下方向であれば負の値となり、いずれも水平方向に近いほど傾斜度の絶対値は大きくなる。
ID割当処理部40は、映像フレーム間で各オブジェクトの位置、大きさおよび動きベクトルを比較し、更には映像フレーム間で各オブジェクトの左右のオブジェクト曲線Cleft,Crightをそれぞれ比較し、類似度が所定の閾値を上回るオブジェクト同士を、対応する同一オブジェクトとみなして同一IDを割り当てる。各オブジェクトの位置は、たとえばオブジェクトの中心座標で代表される。
オクルージョン処理部60において、オクルージョン判定部61は、図6に示したように、オブジェクト領域Ka,Kbの少なくとも一部が重なっているオブジェクトA,B間にオクルージョンが生じる可能性があると判定する。そして、各オブジェクトに固有のIDをオクルージョンリスト62へ登録し、さらにオクルージョンフラグ(Foc)63をセットする。
前記ID割当処理部40において、オクルージョン発生時割当部41は、今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在し、前回フレームから今回フレームにかけてオブジェクト数が減少し、かつ未割当オブジェクトの現在位置がオクルージョンリスト62に登録されている候補オブジェクトA,Bの位置および動きベクトルに基づいて予測される現在位置からの予測誤差範囲内であれば、前記未割当オブジェクトがオクルージョン中のオブジェクトA,Bであると判定して、当該未割当オブジェクトに対して固有のオクルージョンIDを割り当てる。
第1オクルージョン解消時割当部42は、今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在し、前回フレームから今回フレームにかけてオブジェクト数が増加し、未割当オブジェクトの大きさがオクルージョンリストに登録されている候補オブジェクトA,Bに類似し、かつ未割当オブジェクトの現在位置がオクルージョンリストに登録されているオブジェクトA,Bの位置および動きベクトルに基づいて予測される現在位置からの予測誤差範囲内であれば、オブジェクトA,B間のオクルージョンが解消したと判定する。そして、オクルージョンリストに登録されている候補オブジェクトA,BのIDを当該各未割当オブジェクトに割り当てる。
第2オクルージョン解消時割当部43は、前記第1オクルージョン解消時割当部42によってもIDを割り当てられない未割当オブジェクトが今回フレームに残っていると、未割当オブジェクトの左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightを、オクルージョンリストに登録されている各候補オブジェクトからオクルージョン直前に抽出された左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightと比較する。その結果、左オブジェクト曲線Cleft同士および右オブジェクト曲線Cright同士の類似度がいずれも所定の閾値を上回ると、オブジェクトA,B間のオクルージョンが解消したと判定し、オクルージョンリストに登録されている候補オブジェクトA,Bの各IDを当該各未割当オブジェクトに割り当てる。
前記類似度判定には、動的時間伸縮法(DWT:Dynamic Time Warping)をベースにした曲線マッチングを利用できる。本実施形態では、類似度を代表するコスト関数Cost(cur,ref)を次式(1)で定義する。
ここで、g(cur)は未割当オブジェクトの左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightの対応する各参照点における傾斜度g(cur)left,g(cur)rightを代表する。同様に、g(ref)はオクルージョンリストに登録されている候補オブジェクトの左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightの対応する各参照点における傾斜度g(ref)left,g(ref)rightを代表する。
本実施形態では、対応するP個の参照点に関して前記コスト関数を計算し、その計算結果を次式(2)に適用することによりP個の参照点におけるコストの総和を求める。そして、コストの総和が最小値を示した未割当オブジェクトおよび候補オブジェクトのペアが同一オブジェクトとして対応付けられる。
動線表示部50は、図7に示したように、フレーム間で同一IDを割り当てられたオブジェクトを同一オブジェクトとみなして、各オブジェクトの移動軌跡をディスプレイ上に表示する。本実施形態では、各オブジェクトが丸印のシンボルマークで表現され、色を異ならせて表示される。
このようなオブジェクト追跡装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション(プログラム)を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。
次いで、図8に示したように、3つのオブジェクトA,B,Cが検知され[同図(a)]、それぞれにオブジェクトIDとしてIDa,IDb,IDcが割り当てられた後、オブジェクトA,B間にオクルージョンが生じ[同図(b)],[同図(c)]、その後、オクルージョンが解消する場合[同図(d)],[同図(e)]のオブジェクト追跡動作を、図9,10のフローチャートに沿って説明する。
初めに図9のフローチャートを参照し、第n周期のステップS1では、図8(a)に示した奥行映像フレームが取り込まれる。ステップS2では、3つのオブジェクトA,B,Cが前記オブジェクト検知部10により検知される。ステップS3では、各オブジェクトA,B,Cに外接する矩形オブジェクト領域Ka,Kb,Kcが、前記オブジェクト領域設定部20によりそれぞれ設定される。
ステップS4では、各オブジェクトの輪郭を正確に検出するための前処理として、前記オブジェクト曲線抽出部30の形状フィルタ処理部31により形状フィルタ処理が行われる。本実施形態では、初めに奥行データから4×4の画素ブロックが識別され、画素ブロックごとに奥行データの平均値が計算される。次いで、前記図4を参照して説明したように、高域フィルタ処理により、平均値が最大濃淡値の半分以下の画素ブロックが削除される。
ステップS5では、前記フィルタ処理後の奥行データを対象に、前記エッジスキャン部32がエッジスキャンを実行してエッジ部分の画素ブロックを特定する。さらに、各画素ブロックを結ぶ左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightをオブジェクトごとに抽出して記憶する。
ステップS6では、前記ID割当処理部40により、オブジェクトA,B,Cに対してオブジェクトIDが割り当てられる。図10は、ID割当処理の動作を示したフローチャートであり、ステップS101では、最初のフレームであるか否かが判定される。ここでは最初のフレームと判断されるのでステップS114へ進み、前記ステップS2で検出されたオブジェクトA,B,Cに対して、オブジェクトIDとしてそれぞれIDa,IDb,IDcが新規に割り当てられる。
続く第(n+1)周期のステップS1では、図8(b)に示した奥行映像フレームが取り込まれる。このフレームでは、2つのオブジェクトA,Bが近接しているが、未だオブジェクト同士は重なっていないので、ステップS2では、3つのオブジェクトA,B,Cが検知される。
ステップS3では、各オブジェクトA,B,Cに、それぞれ矩形オブジェクト領域Ka,Kb,Kcが設定される。ステップS4では、各オブジェクト領域に対して形状フィルタ処理が実施される。ステップS5では、各オブジェクトから左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightが抽出される。
ステップS6では、前記ステップS2で検知されたオブジェクトA,B,Cに対して、全フレームを通じて一貫した追跡用のオブジェクトIDを割り当てるID割当処理が、前記ID割当処理部40により実行される。
図10のフローチャートを参照し、ステップS101では、最初のフレームであるか否かが判定され、ここでは最初の映像フレームではないと判定されるのでステップS102へ進む。
ステップS102では、前回の映像フレームにおいて検知された各オブジェクトと今回の映像フレームにおいて検知された各オブジェクトとが、オブジェクト間の距離(位置)、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算される類似度に基づいて対応付けられる。本実施形態では、オブジェクトA,B,Cに対して、それぞれ対応するオブジェクトIDa,IDb,IDcが割り当てられる。
ステップS103では、対応IDの割り当てに成功したオブジェクトA,B,Cに関するオブジェクト情報が更新される。本実施形態では、各オブジェクトの現在位置が更新され、さらにその動きベクトルが、前回フレームから今回フレームまでの各オブジェクトA,B,Cの移動の量及び方向に基づいて更新される。ステップS104では、IDを割り当てられなかった未割当オブジェクトが存在するか否かが判定され、ここでは存在しないと判定されるので当該処理を終了する。
図9へ戻り、ステップS7では、オクルージョンの有無が判定され、ここではオブジェクトAの矩形オブジェクト領域Kaの一部とオブジェクトBの矩形オブジェクト領域Kbの一部とが重なっているので、オブジェクトA,B間にオクルージョンの生じる可能性があると判定されてステップS8へ進む。
ステップS8では、オブジェクトA,BのオブジェクトID(IDa,IDb)がオクルージョンリスト62へ登録される。ステップS9では、オクルージョンフラグFocがセットされる。ステップS10では、オブジェクトA,B,Cの動線(軌跡)が、前記動線表示部50により表示出力される。
このように、本実施形態ではオブジェクト自身が重なっていなくても、オブジェクト領域の一部が重なっていればオクルージョンの生じる可能性があると判定して各オブジェクトの情報が蓄積される。したがって、その後に各オブジェクトが重なって両者を識別できなくなっても、各オブジェクトのオクルージョン直前のサイズやオブジェクト曲線を取得できるようになる。
続く第(n+2)周期のステップS1では、図8(c)に示したような第(n+2)映像フレームが取り込まれる。この映像フレームでは、オブジェクトA,Bが重なって見かけ上一体化しており、各オブジェクトを個別に判別できない。したがって、ステップS2では2つのオブジェクトC,D(=A+B)が検知されることになる。ステップS3では、各オブジェクトC,Dに、それぞれ矩形オブジェクト領域Kc,Ka+bが設定される。
ステップS4では、各オブジェクトC,Dの領域に対して形状フィルタ処理が実施される。ステップS5では、各オブジェクトから左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightが抽出される。ステップS6では、各オブジェクトC,Dに対するID割当処理が実行される。
図10のフローチャートを参照し、ステップS101では、最初の映像フレームではないと判定されるとステップS102へ進み、前回の映像フレームにおいて検知された各オブジェクトと今回の映像フレームにおいて検知された各オブジェクトとの類似度が、各オブジェクトの位置、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算され、類似度の高いオブジェクトに同一のIDが割り当てられる。
ここでは、オブジェクトCにIDcが割り当てられるが、オブジェクトDにはIDが未割当となるのでステップS104からステップS105へ進み、オクルージョンフラグFocに基づいてオクルージョン中であるか否かが判定される。ここではオクルージョン中と判定されるのでステップS106へ進む。
ステップS106では、前回フレームから今回フレームにかけてオブジェクト数が減少しているか否かが判定される。ここでは、オブジェクト数が「3」から「2」に減少していると判定されるのでステップS107へ進み、前記第1オクルージョン発生時割当部41により未割当オブジェクトDへのID割当が行われる。
本実施形態では、未割当オブジェクトDの現在位置が、オクルージョンリスト62に登録されている候補オブジェクトA,Bの動きベクトルに基づいて予測される現在位置から予測誤差範囲内であるか否かが判断される。その結果、予測誤差範囲内であれば、未割当オブジェクトDをオブジェクトA,Bが一体化したオクルージョン中のオブジェクトであると判断して固有のID(IDa+b)を割り当てる。
これに対して、未割当オブジェクトDの現在位置が予測誤差範囲外であれば、新規なオブジェクトIDが割り当てられる。ステップS108では、オブジェクトA,Bのオブジェクト情報が更新される。
続く第(n+3)周期のステップS1では、図8(d)に示した映像フレームが取り込まれる。この映像フレームでは、オブジェクトA,B間のオクルージョンが解消し始めており、ステップS2では、オブジェクトA,Bを個別に認識できるので、3つのオブジェクトA,B,Cが改めて検出される。ステップS3では、各オブジェクトA,B,Cに、それぞれ矩形オブジェクト領域Ka,Kb,Kcが設定される。
ステップS4では、各オブジェクトA,B,Cの領域に対して形状フィルタ処理が実施される。ステップS5では、各オブジェクトから左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightが抽出される。ステップS6では、各オブジェクトA,B,Cに対するID割当処理が実行される。
図10のフローチャートを参照し、ステップS101では、最初の映像フレームではないと判定されるのでステップS102へ進み、前回の映像フレームにおいて検知されていたオブジェクトC,Dと今回の映像フレームにおいて検知されたオブジェクトA,B,Cとの類似度が、各オブジェクトの位置、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算され、類似度の高いオブジェクトに同一IDが割り当てられる。
ここでは、オブジェクトCに対してはオブジェクトIDcが割り当てられるが、オブジェクトA,Bについては、ステップS104において、対応するオブジェクトが前回の映像フレームにおいて検知されていないと判定されるのでステップS105へ進む。
ステップS105では、オクルージョンフラグFocがセットされていると判定されるのでステップS106へ進み、ここでは、オブジェクト数が「2」から「3」に増加しているのでステップS109からステップS110へ進み、前記第1オクルージョン解消時割当部42により、未割当オブジェクトへのID割当が行われる。
本実施形態では、未割当オブジェクトの大きさがオクルージョンリストに登録されている候補オブジェクトA,Bに類似し、かつ未割当オブジェクトの現在位置が候補オブジェクトA,Bの動きベクトルに基づいて予測される現在位置から予測誤差範囲内であるか否かが判断される。
予測誤差範囲内であれば、候補オブジェクトA,BのID(IDa,IDb)が、それぞれ対応する各未割当オブジェクトに割り当てられる。本実施形態では、オブジェクトAにオブジェクトIDaが割り当てられ、オブジェクトBにオブジェクトIDbが割り当てられる。
ステップS111では、未割当オブジェクトが残っているか否かが判定され、全ての未割当オブジェクトに対してIDを割り当てることができればステップS108へ進み、未割当オブジェクトが残っていればステップS112へ進む。
ステップS112では、前記第2オクルージョン解消時割当部43により未割当オブジェクトへのID割当が改めて行われる。本実施形態では、図11に示したように、全ての未割当オブジェクトの左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightと、オクルージョンリストに登録されている全ての候補オブジェクトの各左オブジェクト曲線Cleftおよび右オブジェクト曲線Crightとが総当たりで比較される。そして、類似度が所定の閾値を上回るオブジェクト同士が対応付けられ、各未割当オブジェクトに対して、対応するオブジェクトのIDが割り当てられる。
これにより、図15(b)に示した形態のオクルージョンであれば、オクルージョン前のオブジェクトAから抽出されたオブジェクト曲線は、オクルージョン後のオブジェクトBから抽出されるオブジェクト曲線よりもオクルージョン領域内のオブジェクトAから抽出されるオブジェクト曲線により類似する。
同様に、オクルージョン前のオブジェクトBから抽出されたオブジェクト曲線は、オクルージョン後のオクルージョン領域内のオブジェクトAから抽出されるオブジェクト曲線よりもオクルージョン領域外のオブジェクトBから抽出されるオブジェクト曲線により類似する。したがって、オクルージョンの前後で正確なオブジェクト追跡が可能になる。
一方、図15(a)に示した形態のオクルージョンでは、オブジェクトAからオクルージョンの前後で抽出されるオブジェクト曲線が類似するので、両者を対応付けることは容易である。これに対して、オブジェクトBからオクルージョンの前後で抽出されるオブジェクト曲線は相違するので、両者をオブジェクト曲線に基づいて対応付けることは難しい。しかしながら、オブジェクトAを対応付けられれば、残りはオブジェクトBと推定できるので、未割当オブジェクトをオブジェクトBと認識するようにしても良い。
ステップS113では、未割当オブジェクトが残っているか否かが判定され、全ての未割当オブジェクトに対してIDを割り当てることができればステップS108へ進む。未割当オブジェクトが残っていればステップS114へ進み、依然として未割当のオブジェクトに新規なオブジェクトIDが割り当てられる。
本実施形態によれば、各オブジェクトの左右の輪郭に沿ったオブジェクト曲線をフレーム間で比較することにより各オブジェクトを対応付けるので、オクルージョンの解消後における各オブジェクトの移動方向がオクルージョンの発生前の移動ベクトルから予測し得ないような場合もオブジェクトの正確な追跡が可能になる。
また、本実施形態によれば、オブジェクトを具体的に識別可能なRGBカラー映像を用いることなく、オブジェクトを具体的に識別できない奥行映像のみを用いてオブジェクトを追跡できるので、各オブジェクトのプライバシーを尊重したオブジェクト追跡が可能になる。
さらに、本実施形態によれば、オクルージョンの有無を、オブジェクト同士が重なって認識できなくなるよりも前に、オブジェクトに外接する矩形オクルージョン領域の重なりの有無に基づいて予測するようにしたので、その後にオクルージョン関係となる各オブジェクトを正確に識別できるようになる。
図12は、本発明の第2実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。
上記の第1実施形態では、未割当オブジェクトの左右のオブジェクト曲線とオクルージョンリストに登録されている候補オブジェクトの左右のオブジェクト曲線とを総当たりで比較し、類似度の最も高いオブジェクト同士を同一オブジェクトとみなしてIDを割り当てていた。
これに対して、本実施形態ではオブジェクトの向きや姿勢ごとに左右のオブジェクト曲線Cleft,Crightを学習しておき、検出されたオブジェクトの向き・姿勢を、そのオブジェクト曲線Cleft,Crightに基づいて推定し、これに基づいて未割当オブジェクトとオクルージョンリストに登録されている候補オブジェクトとを対応付けるようにしている。
学習データDB70には、図13に示したように、オブジェクトが所定の向きにある状態で抽出した左右のオブジェクト曲線がテンプレートとして学習、記憶されている。本実施形態では、45度間隔で8方向(上下左右方向、右上下方向、左上下方向)の向きについてテンプレートが学習されている。
向き・姿勢推定部80は、奥行データに基づいて検出された各オブジェクトのオブジェクト曲線を前記テンプレートと比較して、その向き・姿勢を推定する。そして、未割当オブジェクトの向き・姿勢とオクルージョンリストに登録されている候補オブジェクトの向き・姿勢とを比較し、一致するオブジェクト同士を対応付ける。
本実施形態によれば、オクルージョンの前後で各オブジェクトの向き・姿勢が類似していれば、オブジェクト曲線の類似度が関わらず両者を対応付けられるので、向き・姿勢が同一とみなせる範囲内でオブジェクトの輪郭形状が変化しても、正確な追跡が可能になる。
なお、オブジェクトが商品等を指し示すために腕を上下するジェスチャを示すと、図14に示したように、オブジェクト本体ではなく腕の左右輪郭に沿った曲線が抽出され得る。この場合、オブジェクト曲線に基づく対応付けが困難になり、場合によっては誤った対応付けが行われる場合がある。
そこで、本実施形態では、他の部位で検知されたエッジ間隔に対して十分に狭いエッジ間隔(例えば、五分の一程度)が同時に検知されている場合には、当該オブジェクトを追跡対象としないようにしている。
10…オブジェクト検知部,20…オブジェクト領域設定部,30…オブジェクト曲線抽出部30,31…形状フィルタ処理,32…エッジスキャン部,40…ID割当処理部,41…オクルージョン発生時割当部,42…第1オクルージョン解消時割当部,43…第2オクルージョン解消時割当部,50…動線表示部,60…オクルージョン処理部

Claims (8)

  1. 奥行映像上でオブジェクトを追跡するオブジェクト追跡装置において、
    奥行映像上でオブジェクトを検知する手段と、
    オブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出する手段と、
    オブジェクト間のオクルージョンを判定する手段と、
    オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定し、対応するオブジェクト同士に同一IDを割り当てるID割当手段とを具備したことを特徴とするオブジェクト追跡装置。
  2. 前記ID割当手段は、オクルージョンの発生前および解消後でオブジェクト曲線の類似度が所定の閾値を超えるオブジェクト同士に同一IDを割り当てることを特徴とする請求項1に記載のオブジェクト追跡装置。
  3. オブジェクトの向きと当該向きで抽出されたオブジェクトの左側および右側の各オブジェクト曲線との対応関係を学習する手段と、
    抽出されたオブジェクト曲線を前記学習した対応関係と照合してオブジェクトの向きを推定する手段とを具備し、
    前記ID割当手段は、オクルージョンの発生前および解消後で向きの推定結果が一致するオブジェクト同士に同一IDを割り当てることを特徴とする請求項1に記載のオブジェクト追跡装置。
  4. 前記ID割当手段は、
    今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在するか否かを判定する手段と、
    今回フレームに未割当オブジェクトが存在し、かつ前回フレームから今回フレームにかけてオブジェクト数が増加し、かつ未割当オブジェクトのオブジェクト曲線とオクルージョン判定されたオブジェクトのオブジェクト曲線とが類似していると、当該未割当オブジェクトに前記オクルージョン判定されたオブジェクトのIDを割り当てる手段とを含むことを特徴とする請求項2に記載のオブジェクト追跡装置。
  5. 前記ID割当手段は、
    今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在するか否かを判定する手段と、
    今回フレームに未割当オブジェクトが存在し、かつ前回フレームから今回フレームにかけてオブジェクト数が増加し、かつ未割当オブジェクトの向きの推定結果とオクルージョン判定されたオブジェクトの向きの推定結果とが一致すると、当該未割当オブジェクトに前記オクルージョン判定されたオブジェクトのIDを割り当てる手段とを含むことを特徴とする請求項3に記載のオブジェクト追跡装置。
  6. 各オブジェクトに外接する矩形のオブジェクト領域を設定する手段を具備し、
    前記オクルージョンを判定する手段は、オブジェクト領域の少なくとも一部が重なるオブジェクト間にオクルージョンが生じる可能性があると判定して当該各オブジェクトのオブジェクト曲線を抽出することを特徴とする請求項1ないし5のいずれかに記載のオブジェクト追跡装置。
  7. コンピュータが奥行映像上でオブジェクトを追跡する方法において、
    奥行映像上で検知したオブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出する手順と、
    オブジェクト間のオクルージョンを判定する手順と、
    オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定する手順と、
    前記対応するオブジェクトに同一IDを割り当てる手順とを含むことを特徴とするオブジェクト追跡方法。
  8. 奥行映像上でオブジェクトを追跡するオブジェクト追跡プログラムにおいて、
    奥行映像上で検知したオブジェクトの左右の各輪郭に沿ったオブジェクト曲線をそれぞれ抽出する手順と、
    オブジェクト間のオクルージョンを判定する手順と、
    オクルージョンの発生前および解消後の各オブジェクトのオブジェクト曲線に基づいて各オブジェクトの対応関係を判定する手順と、
    前記対応するオブジェクトに同一IDを割り当てる手順とを、コンピュータに実行させるオブジェクト追跡プログラム。
JP2015038594A 2015-02-27 2015-02-27 オブジェクト追跡方法、装置およびプログラム Active JP6474126B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015038594A JP6474126B2 (ja) 2015-02-27 2015-02-27 オブジェクト追跡方法、装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015038594A JP6474126B2 (ja) 2015-02-27 2015-02-27 オブジェクト追跡方法、装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2016162075A JP2016162075A (ja) 2016-09-05
JP6474126B2 true JP6474126B2 (ja) 2019-02-27

Family

ID=56847063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015038594A Active JP6474126B2 (ja) 2015-02-27 2015-02-27 オブジェクト追跡方法、装置およびプログラム

Country Status (1)

Country Link
JP (1) JP6474126B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018201121A1 (en) * 2017-04-28 2018-11-01 Cherry Labs, Inc. Computer vision based monitoring system and method
WO2019163212A1 (ja) * 2018-02-22 2019-08-29 コニカミノルタ株式会社 監視システムおよび監視システムの制御方法
CN110360999B (zh) * 2018-03-26 2021-08-27 京东方科技集团股份有限公司 室内定位方法、室内定位系统和计算机可读介质
WO2020090111A1 (ja) * 2018-11-02 2020-05-07 日本電気株式会社 動線補正装置、動線補正方法、および記録媒体
CN109460077B (zh) * 2018-11-19 2022-05-17 深圳博为教育科技有限公司 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
CN111241872B (zh) * 2018-11-28 2023-09-22 杭州海康威视数字技术股份有限公司 视频图像遮挡方法及装置
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
KR102266432B1 (ko) * 2021-01-14 2021-06-17 국방과학연구소 표적의 위치 추적 방법 및 표적의 위치 보정 방법
WO2023132225A1 (ja) * 2022-01-05 2023-07-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2024042705A1 (ja) * 2022-08-26 2024-02-29 日本電気株式会社 映像処理システム、映像処理方法、及び映像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3750184B2 (ja) * 1996-04-03 2006-03-01 松下電器産業株式会社 移動物体の抽出装置及び抽出方法
JP2009025910A (ja) * 2007-07-17 2009-02-05 Sumitomo Electric Ind Ltd 障害物検出装置、障害物検出システム及び障害物検出方法
JP2010057105A (ja) * 2008-08-29 2010-03-11 Tokyo Institute Of Technology オブジェクトの3次元追跡方法およびシステム
JP5397103B2 (ja) * 2009-09-03 2014-01-22 アイシン精機株式会社 顔位置検出装置、顔位置検出方法及びプログラム
JP6336872B2 (ja) * 2014-09-29 2018-06-06 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム

Also Published As

Publication number Publication date
JP2016162075A (ja) 2016-09-05

Similar Documents

Publication Publication Date Title
JP6474126B2 (ja) オブジェクト追跡方法、装置およびプログラム
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
Ryan et al. Crowd counting using group tracking and local features
Asaari et al. Hand gesture tracking system using Adaptive Kalman Filter
Fujisawa et al. Pedestrian counting in video sequences based on optical flow clustering
JP6336872B2 (ja) オブジェクト追跡方法、装置およびプログラム
WO2017064838A1 (ja) 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法
CN111145223A (zh) 多摄像头识别人员行为轨迹分析方法
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
JP2010057105A (ja) オブジェクトの3次元追跡方法およびシステム
Saito et al. People detection and tracking from fish-eye image based on probabilistic appearance model
JP6290760B2 (ja) 作業類似度算出方法、装置およびプログラム
Dittrich et al. People counting in crowded and outdoor scenes using a hybrid multi-camera approach
JP6558831B2 (ja) オブジェクト追跡装置、方法およびプログラム
KR20120091970A (ko) 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체
CN111325073B (zh) 基于运动信息聚类的监控视频异常行为检测方法
Karamiani et al. Detecting and tracking moving objects in video sequences using moving edge features
Jaijing et al. Object detection and modeling algorithm for automatic visual people counting system
Dan et al. A multi-object motion-tracking method for video surveillance
JP2021077177A (ja) 動作認識装置、動作認識方法及び動作認識プログラム
Do Region based detection of occluded people for the tracking in video image sequences
Abbaspour et al. Robust approach for people detection and tracking by stereo vision
Naik et al. Robust real time face recognition and tracking on GPU using fusion of RGB and depth image
Mohammed et al. An improved CAMShift algorithm for object detection and extraction
Wang et al. Efficient feature aided multi-object tracking in video surveillance

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190125

R150 Certificate of patent or registration of utility model

Ref document number: 6474126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150