JP7243372B2 - 物体追跡装置および物体追跡方法 - Google Patents

物体追跡装置および物体追跡方法 Download PDF

Info

Publication number
JP7243372B2
JP7243372B2 JP2019060877A JP2019060877A JP7243372B2 JP 7243372 B2 JP7243372 B2 JP 7243372B2 JP 2019060877 A JP2019060877 A JP 2019060877A JP 2019060877 A JP2019060877 A JP 2019060877A JP 7243372 B2 JP7243372 B2 JP 7243372B2
Authority
JP
Japan
Prior art keywords
feature amount
tracking
frame
index
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019060877A
Other languages
English (en)
Other versions
JP2020160901A (ja
Inventor
信二 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019060877A priority Critical patent/JP7243372B2/ja
Publication of JP2020160901A publication Critical patent/JP2020160901A/ja
Application granted granted Critical
Publication of JP7243372B2 publication Critical patent/JP7243372B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、動画像中の物体を追跡する技術に関する。
動画像(時系列画像)のあるフレームにおいて検出された物体を追跡する物体追跡は、コンピュータビジョン分野において重要な技術である。
物体追跡の方法として、所定のフレーム数または所定の時間が経過すると、検出と追跡とを切り替える方法が知られている。この方法では、追跡に失敗(ロスト)した場合、所定のフレーム数になるまで、追跡対象の追跡処理が続けられる。この結果、ロストしてから所定の時間が経過するまでの間、誤った追跡結果が出力されたり、余剰な計算の負荷が生じたりするという課題があった。
これに対して、非特許文献1は、相関フィルタモデルと呼ばれるオンライン学習を行う追跡アルゴリズムを提案し、このアルゴリズムが物体追跡に好適な手法であることを示している。さらに、この文献では、PSR(Peak to sidelobe ratio、ピーク対サイドローブ比)という応答マップの質を表す指標を定義し、フレームごとに指標を算出し、指標の値が閾値未満であれば追跡に失敗したと判定する方法を開示する。この方法は、即時性はあるものの、追跡しているにもかかわらず、失敗と判定することがある旨が報告されている。
また、特許文献1は、初期テンプレート画像と入力画像との類似度、および更新テンプレート画像と入力画像との類似度に基づいて、追尾被写体位置を特定することを開示する。この方法では、テンプレート画像との類似度に基づいてロストの判定と被写体追尾処理の再開を行う。フレームごとに追跡対象の検出有無を判定する方法であり、非特許文献1
と同様に時系列的な変化を利用していない。特に、カメラの視点がトップ・ビューである場合、追跡対象は移動にともない、初期テンプレートとも更新テンプレートとも異なる見えになることがあり適さない。
ところで、ビルディングオートメーション(BA)やファクトリーオートメーション(FA)の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適制御するアプリケーションが必要とされている。このような用途では、できるだけ広い範囲の画像情報を取得するために、魚眼レンズ(フィッシュアイレンズ)を搭載した超広角のカメラ(魚眼カメラ、全方位カメラ、全天球カメラなどと呼ばれるが、いずれも意味は同じである。本明細書では「魚眼カメラ」の語を用いる)を利用することが多い。さらに、上記の用途では、できるだけ広い範囲の画像情報を取得するために、天井などの高所に取り付けたカメラをカメラの視点がトップ・ビューになるようにして配置する。この配置のカメラで撮影された画像は、人物が画像の周辺にいるときには正面像になり、画像の中央にいるときには上面図となる。
魚眼カメラで撮影された画像は、撮影面内の位置により撮影対象の見た目が歪みのため変形する。さらに、カメラの視点がトップ・ビューである場合、人物が画像の周辺から中央に移動すると正面像から上面図へと見た目が変化する。このカメラの視点にともなう物体の変形によって、追跡に成功している場合であっても応答マップの質は低下する。オンライン学習アルゴリズムの追跡手法に対して応答マップの指標が閾値未満であればロストと判定する従来技術では、精度良くロストを判定できない場合がある。
特開2014-036429号公報
David S. Bolme, et al. "Visual Object Tracking using Adaptive Correlation Filters",(米),Computer Science Department Colorado State University, 2010, p.1-10
本発明は上記実情に鑑みなされたものであって、動画像中の物体の追跡処理において、追跡対象のロストを精度良く判定する技術を提供することを目的とする。
上記目的を達成するために本発明は、以下の構成を採用する。
本発明の第一側面は、動画像に含まれるフレーム画像において対象物を追跡する物体追跡装置であって、前記フレーム画像の対象領域から特徴量を抽出する特徴量抽出手段と、前記フレーム画像の前記対象領域において前記対象物が存在する確からしさを表す応答マップを前記特徴量に基づいて求める応答マップ算出手段と、前記応答マップから前記フレーム画像に対応する指標を算出し、前記動画像に含まれる各フレーム画像に対応する応答マップから算出した指標の時系列データに基づいて、前記対象物の追跡に失敗したか否かを判定する判定手段と、を備え、前記判定手段は、前記時系列データにおいて指標が極小となる極小フレームを検出し、前記極小フレームの前後における指標の変化に基づいて、前記対象物の追跡に失敗したか否かを判定する、ことを特徴とする物体追跡装置を提供する。
追跡の対象とする物体、すなわち「対象物」は、任意の物体であってよく、人体、顔、動物、車両などがその一例である。「対象領域」はフレーム画像における対象物の探索を行う領域であり、典型的には、前のフレーム画像における対象物の位置に基づいて決定される部分領域である。
応答マップ算出部によって求められる応答マップは、対象物が存在する領域の中心で最大値を取ることが期待される。応答マップから算出される「指標」は、実施形態においては応答マップの最大値であるが、PSRなどのフィルタの質を測定するための応答マップに基づく指標を採用することも可能である。
指標の時系列データは、動画像に含まれる各フレーム画像から算出した指標の時間的変化を示す。時系列データにおける指標の値は、応答マップの質を表す。応答マップの質は、追跡対象にオクルージョンが発生したり、追跡対象が大きく変形したりすると急速に減少する。応答マップにおける質が低い状況下では、追跡対象の中心以外の位置において応答が最大となるケースが頻発する。これは、追跡を続けるうちに追跡の推定位置が徐々に追跡対象から離れていくドリフト現象を引き起こし、結果として追跡の失敗となる。相関フィルタモデルなどのオンライン学習を行う追跡手法では、直前のフレームを用いて推定した位置を正解とみなして現在のフレームに対する学習処理を行うため、ドリフトによる追跡失敗後には、背景などを学習用画像として学習がなされる。この際に、相関フィルタなどのオンライン学習を行う追跡手法では、フィルタの更新を行うときに、前回のフィルタと今回のフィルタとの重みづけ和で更新を行う。特徴量の変化が見られない背景にドリフトが発生する場合では、現在のフレームにおける応答マップの最大値は同じ値および同
じ位置になりやすい。つまり、背景、特に静止した背景、にドリフトした後では応答マップの質は安定する。上記のため、指標の値は、背景へドリフトする際に低下し、その後、背景、特に静止した背景、にドリフトが発生すると急速に上昇し、上昇後の値で安定する。「極小フレーム」は、指標の時系列データにおいて極小となるフレームであり、以下の説明では「谷」とも称される。物体追跡装置は、指標の時系列データにおいて谷を検出し、谷の前後の指標の変化に基づいて、ロストの判定をすることにより、単一のフレームにおける指標に基づいてロストを判定する従来技術よりもロストの誤判定を抑制することができる。
本発明の判定手段は、極小フレームの前後における指定フレーム数分のフレーム画像の指標を取得し、取得した指標の変化の度合いを算出し、変化の度合いに基づいて、対象物の追跡に失敗したか否かを判定してもよい。
極小フレームの前後における指定フレーム数は、谷の前後における指標の変化(差分)の度合いを算出できるフレーム数であればよい。指標の変化(差分)の度合いは、谷の前後における指定フレーム数分の指標から算出される。指標の変化の度合いは、谷の前後における指標の変化の急峻度合いを判定できるものであればよく、例えば、谷の前後における指定フレーム数分の指標の変化量(減少量および上昇量の合算)としてもよい。このように、物体追跡装置は、谷の前後の指標の変化の度合いに基づいて、ロストの判定をすることにより、誤判定を抑制することができる。
本発明においてフレーム画像から抽出される特徴量は、形状に関する特徴量、色に関する特徴量または輝度に関する特徴量の少なくともいずれかである。形状に関する特徴量の例として、HOG特徴量、LBP特徴量、SHIFT特徴量、SURF特徴量の少なくともいずれかが挙げられる。色に関する特徴量として、色ヒストグラム、Color Names特徴
量の少なくともいずれか、輝度に関する特徴量として、輝度ヒストグラムが挙げられる。
本発明の特徴量抽出手段は、形状に関する特徴量である第1特徴量と、色に関する特徴量または輝度に関する特徴量である第2特徴量とを抽出し、判定手段は、第1特徴量、前記第2特徴量、または前記第1特徴量と前記第2特徴量とを組み合わせた特徴量に基づいて求めた応答マップから算出される指標の変化、および前記極小フレームの前後の指定フレームにおける前記第1特徴量または前記第2特徴量の類似度に基づいて、対象物の追跡に失敗したか否かを判定してもよい。BAやFAの分野においてレンズを魚眼レンズとしカメラの視点をトップ・ビューとして人物の追跡を行う場合では、形状は人物の歩行や作業に伴い変形しやすいが、服装や頭髪などの色は変化しにくいため、判定手段に用いる特徴量としては第2特徴量を用いることが望ましい。
判定手段は、形状に関する特徴量に基づいて求めた応答マップから算出される指標の変化に加え、谷の前後の指定フレームの色の特徴量の類似度に基づいてロストを判定してもよい。例えば、対象物が急に向きを変え直後に停止する場合、形状に関する特徴量を用いた追跡手法による応答マップでは、向きの変化にともない応答マップの質が低くなり、その直後に停止すると画像情報に変化が乏しいため、静止した背景にドリフトが発生する場合と同様な指標の時系列的な変化になる。このため、適切に追跡をしている場合であっても指標の時系列的な変化だけを利用すると誤ってロストと判定する可能性がある。しかし、室内の人物を追跡する場合、服装や頭髪などの色情報は谷の前後の指定フレーム間であっても類似していると想定できる。このため、形状に関する特徴量より求めた応答マップにおける指標の時系列データに加え、谷の前後の指定フレームの色の特徴量の類似度も考慮することで、ロストでないことを正しく判断することができる。色に関する特徴量の類似度は、色に関する特徴ベクトルを抽出し、ヒストグラムインタセクション、バタチャリヤ係数、Earth Mover’s Distanceの少なくともいずれかに基づい
て測定する方法を採用することができる。このように、判定手段は、形状に関する特徴量に加え、色に関する特徴量または輝度に関する特徴量を用いて判定するため、精度よくロストを判定することができる。
さらに、本発明の判定手段は、対象物が他の対象物と重なっている場合に、対象物における他の対象物と重なる領域の割合、または、重なっている他の対象物の数の少なくともいずれかに基づいて、対象物の追跡に失敗したか否かを判定してもよい。
複数の対象物を追跡する場合、対象物同士が重なり合う場合がある。他の対象物と重なる領域が増加すると、谷の前後の時系列データに基づいて通常のロストの判定をした場合、誤判定が生じるおそれがある。通常のロストの判定に加え、他の対象物と重なる割合や重なっている他の対象物の数に基づいてロストを判定することで、判定手段は、複数の対象物が重なりあう場合においても、精度よくロストを判定することができる。
また、本発明において処理対象とされる画像は、魚眼カメラにより得られた魚眼画像であってよい。「魚眼カメラ」は、魚眼レンズを搭載したカメラであり、通常のカメラに比べて超広角での撮影が可能なカメラである。全方位カメラ、全天球カメラおよび魚眼カメラはいずれも超広角カメラの一種であり、いずれも意味は同じである。魚眼カメラは、検出対象エリアの上方から検出対象エリアを見下ろすように設置されていればよい。典型的には魚眼カメラの光軸が鉛直下向きとなるように設置されるが、魚眼カメラの光軸が鉛直方向に対して傾いていても構わない。魚眼画像はひずみが大きいため、フレーム間での物体の特徴変化が大きく、背景へのドリフトが多発する。さらに、カメラの光軸を鉛直下向きとなるように設置すると、画像における対象物の位置により対象物を撮影する視点が変化するため、物体が大きく変形し追跡の失敗を検出するのは困難である。しかし、本発明によればそのような魚眼画像においても、精度良くロストを判定し、誤判定を抑制することができる。もっとも、本発明が処理対象とする画像は、魚眼画像に限られず、通常の画像(歪みの少ない画像)であっても構わない。
本発明の第二側面は、動画像に含まれるフレーム画像において対象物を追跡する物体追跡方法であって、前記フレーム画像の対象領域から特徴量を抽出する特徴量抽出ステップと、前記フレーム画像の前記対象領域において前記対象物が存在する確からしさを表す応答マップを前記特徴量に基づいて求める応答マップ算出ステップと、前記応答マップから前記フレーム画像の指標を算出し、前記動画像に含まれる各フレーム画像から算出した指標の時系列データに基づいて、前記対象物の追跡に失敗したか否かを判定する判定ステップと、を含み、前記判定ステップは、前記時系列データにおいて指標が極小となる極小フレームを検出するステップと、前記極小フレームの前後における指標の変化に基づいて、前記対象物の追跡に失敗したか否かを判定するステップと、を含むことを特徴とする物体追跡方法を提供する。
本発明は、上記手段の少なくとも一部を有する物体追跡装置として捉えてもよいし、画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む物体追跡方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、動画像中の物体の追跡処理において、追跡対象のロストを精度良く判定する技術を提供することができる。
図1は、本発明に係る人追跡装置の適用例を示す図である。 図2は、応答マップの最大値の時間的変化について説明する図である。 図3は、応答マップの最大値の時間的変化について説明する図である。 図4は、人追跡装置を備える監視システムの構成を示す図である。 図5は、人追跡装置が実施する全体処理のフローチャートである。 図6は、学習処理のフローチャートである。 図7は、追跡処理のフローチャートである。 図8は、実施形態1に係るロスト判定処理のフローチャートである。 図9は、学習処理および学習結果を用いた追跡処理を説明する図である。 図10は、応答マップの例を示す図である。 図11は、応答マップの最大値の時間的変化について説明する図である。 図12は、実施形態1の変形例に係るロスト判定処理のフローチャートである。 図13は、実施形態2に係る人追跡装置が実施する全体処理のフローチャートである。 図14は、実施形態2に係るロスト判定処理のフローチャートである。
<適用例>
図1を参照して、本発明に係る物体追跡装置の適用例を説明する。物体追跡装置(人追跡装置1)は、追跡対象エリア11の上方(例えば天井12など)に設置された魚眼カメラ10により得られた魚眼画像を解析して、追跡対象エリア11内に存在する人13を検出・追跡する装置である。この人追跡装置1は、例えば、オフィスや工場などにおいて、追跡対象エリア11を通行する人13の検出、認識、追跡などを行う。図1の例では、魚眼画像から検出された4つの人体それぞれの領域がバウンディングボックスで示されている。人追跡装置1の検出結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視および動線分析などに利用される。
物体追跡は、前フレーム画像において特定された対象物の位置近傍の現フレームのターゲット領域(対象領域)を対象として、対象物と同様の特徴を有する領域の位置を特定することにより行われる。人追跡装置1は、現フレームのターゲット領域内で対象物らしさを表す尤度が最大となる位置を、対象物の位置として特定する。ターゲット領域内で、対象物らしさを表す応答マップは、信頼度マップ、尤度の分布とも称される。各フレームに対する応答マップにおける最大値(対象物の位置と特定された位置での尤度)は、追跡状況に応じて、時間の経過とともに変化する。
ここで、図2および図3を参照して、応答マップの最大値の時間的変化について説明する。図2は、対象物の追跡に成功している場合に、応答マップの最大値が徐々に減少していく様子を例示する。図2に示すグラフの縦軸は応答マップの最大値、横軸はフレーム番号である。応答マップの最大値は、各フレームの応答マップにおいて、対象物の位置として特定された位置での尤度である。応答マップの最大値は、時間の経過とともに変化し、応答マップの最大値が所定の閾値を下回った場合、対象物をロストしたものと考えられる。なお、図2および図3の説明では、応答マップから算出される指標は、応答マップの最大値であるものとして説明されるが、PSRなどの他の指標が用いられてもよい。
図2で示されるように、応答マップの最大値は、時間の経過とともに徐々に減少していく。これは、人追跡装置1が対象物を含む画像領域として学習する画像に、エラーが蓄積されていくためである。人追跡装置1は、時系列画像の各フレームにおいて、対象物を含む画像領域を学習する。人追跡装置1が学習した画像は、背景の画像情報などのノイズを
含む。人追跡装置1は、ノイズを含む画像についても、対象物を含む画像領域とみなして学習を進める。このため、ノイズによるエラーは、時間の経過とともに学習画像に蓄積されていく。各フレームにおいて、対象物を含む画像領域は、エラーが蓄積された学習画像と比較されることになる。したがって、応答マップの最大値は、時間の経過とともに徐々に減少していく。
図2の例で、ロストが発生したか否かを判定する閾値を0.35とした場合、人追跡装置1は、対象物の追跡に成功しているにもかかわらず、L1のフレームにおいてロストが発生したものと誤判定をしてしまう。しかし、実際にロストが生じたのは、閾値0.35を下回ってから10フレーム以上経過後のL2で示されるフレームである。応答マップの最大値は、対象物の追跡に成功している場合でも、ノイズが蓄積されて徐々に減少するため、ロストが発生していなくても閾値0.35を下回る場合がある。このように、応答マップの最大値における時間的変化は、対象物の追跡に成功している場合でも徐々に減少し、エラーが蓄積されていくという特性を有する。
図3は、対象物の追跡に失敗し、その後、静止した背景にドリフトする場合を例示するグラフである。応答マップの最大値は減少し所定の閾値を下回り谷において背景にドリフトし、その後、上昇していく。図3に示すグラフの縦軸は応答マップの最大値、横軸はフレーム数である。
図3で示されるように、応答マップの最大値は、フレームL3で所定の閾値を下回る。フレームごとにロストの判定をする場合、人追跡装置1は、フレームL3でロストしたと判定することができる。しかし、フレームL3より10フレーム程度経過後まで追跡に成功しているため、実際には追跡できているにもかかわらず早いタイミングでロストと判定してしまうことになる。図3では、その後、静止した背景にドリフトが発生する。人追跡装置1は、静止した背景などへのドリフトにより、背景を追跡対象物として特定し、学習する場合がある。この場合、背景には変化が少ないため、図3に示すように応答マップの最大値は、閾値以上の値で安定する。このように、応答マップの最大値の時間的変化は、対象物の追跡に失敗し、背景、特に静止した背景にドリフトする場合、失敗する直前までは減少し、失敗後には上昇するという性質がある。
図3の例において、フレームごとに応答マップに基づく指標を算出し、各フレームの指標の値および指標の時系列変化を考慮する方法では、人追跡装置1は、適切なタイミングでロストを検出することができる。しかし、フレームごとにロストを判定する方法では、追跡ができているにもかかわらずロストと判定したり、適切なタイミングでロストを判定できなかったりすることがある。一方で、所定の時間間隔で対象物を再検出する方法(Tracking-by-detection方式)では、追跡に失敗していても所定の時間が経過するまで追跡処理を継続するため、ロストした結果を出力し続けたり、追跡せずともよい対象を追跡し続けることによる余剰な計算が発生したりする可能性がある。
本発明に係る人追跡装置1は、動画像に含まれる各フレームの応答マップから、応答マップの最大値またはPSRなどの応答マップに基づく指標を求め、時系列データとして人追跡装置1の記憶部に記録する。人追跡装置1は、各フレームの応答マップから算出した指標が、閾値未満であり、指標の時系列データの谷(各フレームにおける応答マップの最大値が極小となる位置、極小フレーム)に位置する場合、谷の前後の指標データ(指標の時系列データ)を用いて、谷の前後における変化(差異)の度合いを求める。変化の度合いは、谷の前後における指標の変化の急峻度合いを判定できるものであればよい。人追跡装置1は、変化の度合いが閾値以上であれば、追跡対象をロストしたと判定することができる。このように、人追跡装置1は、谷の前後のフレームの指標の変化に基づいて、ロストの判定をすることで、単一のフレームに対応する指標を用いて即時にロストの判定をす
る場合よりも、追跡対象のロストを精度良く判定することができる。
なお、人追跡装置1は、谷の後のフレームの指標データを用いて、ロストの判定をするようにしてもよい。追跡に成功している場合、指標データは、谷の後でも徐々に減少する。これに対し、ロストした場合には、指標データは、ドリフトに起因して谷の直後から上昇に転じ、上昇した値で安定することが考えられる。このため、人追跡装置1は、谷の後の指標データを用いてロストの判定をすることが可能である。
<実施形態1>
(監視システム)
図4を参照して、本発明の実施形態を説明する。図4は、本発明の実施形態に係る人追跡装置1を適用した監視システムの構成を示すブロック図である。監視システム2は、魚眼カメラ10と人追跡装置1とを備えている。
魚眼カメラ10は、魚眼レンズを含む光学系と撮像素子(CCDやCMOSなどのイメージセンサ)を有する撮像装置である。魚眼カメラ10は、例えば図1に示すように、追跡対象エリア11の天井12などに、光軸を鉛直下向きにした状態で設置され、追跡対象エリア11の全方位(360度)の画像を撮影するとよい。魚眼カメラ10は人追跡装置1に対し有線(USBケーブル、LANケーブルなど)または無線(WiFiなど)で接続され、魚眼カメラ10で撮影された画像データは人追跡装置1に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、約24fps(1秒あたり24枚)で取り込まれるカラー(RGB)画像を用いることを想定している。
本実施形態の人追跡装置1は、画像入力部20、人体検出部21、学習部22、記憶部23、追跡部24、出力部28を有している。
画像入力部20は、魚眼カメラ10から画像データを取り込む機能を有する。取り込まれた画像データは人体検出部21および追跡部24に引き渡される。この画像データは、記憶部23にも格納される。
人体検出部21は、人体を検出するアルゴリズムを用いて、魚眼画像から人体を検出する機能を有する。人体検出部21によって検出された人体が、追跡部24による追跡処理の対象となる。なお、人体検出部21は、画像内に新たに現れた人物のみを検出してもよく、追跡対象の人物が存在している位置の近くは検出処理の対象から除外してもよい。さらに、一定の時間間隔またはフレーム間隔により、画像全体に人体検出部21による人物の検出を行い、その後、追跡部24による追跡処理をするTracking-by-detection方式にしてもよい。
学習部22は、人体検出部21が検出した、あるいは追跡部24が特定した人体の画像から、追跡対象の人体の特徴を学習して学習結果を記憶部23に記憶する。ここでは、学習部22は、形状特徴に基づく評価を行うための相関フィルタを求める。学習部22は、毎フレーム学習を行い、現フレームから得られる学習結果を所定の係数(学習係数)で過去の学習結果に反映させて更新する。
記憶部23は、魚眼カメラ10から取り込まれた画像データ、各フレームに対応する応答マップの最大値、および学習部22によって学習された学習結果を記憶する。記憶部23は、また、利用する特徴量、各特徴量のパラメータ、学習係数など、学習処理および追跡処理のハイパーパラメータも記憶する。さらに、記憶部23は、ロスト判定に用いる特徴量、応答マップから求める指標の算出方法、ロスト判定の閾値、「谷」の前後を比較す
るためのフレーム数、指標の変化の度合いを比較する方法、変化の度合いの閾値など、ロスト判定のためのパラメータも記憶する。
追跡部24は、追跡対象の人物の現フレーム画像中での位置を特定する。追跡部24は、最初は人体検出部21による検出位置を含む領域をターゲット領域(対象領域)として、そのターゲット領域内から検出された人物と同様の特徴を有する物体位置を特定する。それ以降は、前フレーム画像について追跡部24が特定した位置の付近をターゲット領域として、現フレーム画像中から追跡対象の人物の位置を特定する。
特徴量抽出部25は、ターゲット領域から物体の形状に関する特徴量を抽出する。特徴量抽出部25は、形状に関する特徴としてHOG特徴量を抽出する。
応答マップ生成部26は、抽出された特徴量と、記憶部23に記憶されている相関フィルタおよび色ヒストグラムを用いて、ターゲット領域の各位置について追跡対象物が存在する確からしさを表す応答マップを生成する。応答マップ生成部26は、各フレームの応答マップの最大値を、記憶部23に格納する。なお、応答マップは信頼度マップ、尤度の分布とも称される。
ロスト判定部27は、尤度のマップの最大値の時間的変化に基づいて、対象物の追跡に失敗したか否かを判定するロストの判定をする。具体的には、ロスト判定部27は、尤度の最大値またはPSRなどの指標が閾値以下であり、時系列データの谷に位置している場合、谷の前後の指標を比較する。ロスト判定部27は、指標の変化の度合いが前後のデータを比較するための閾値以上であれば、追跡対象をロストしたと判定する
出力部28は、魚眼画像や検出結果・追跡結果などの情報を外部装置に出力する機能を有する。例えば、出力部28は、外部装置としてのディスプレイに情報を表示してもよいし、外部装置としてのコンピュータに情報を転送してもよいし、外部装置としての照明装置や空調やFA装置に対し情報や制御信号を送信してもよい。
人追跡装置1は、例えば、CPU(プロセッサ)、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図4に示す構成は、ストレージに格納されたプログラムをメモリにロードし、CPUが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図4に示す構成の全部または一部を、ASICやFPGAなどで構成してもよい。あるいは、図4に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
(全体処理)
図5は、人追跡装置が実施する全体処理のフローチャートである。図5に沿って人追跡処理の全体的な流れを説明する。
まず、ステップS101において、ユーザが人追跡装置1に対して学習および追跡のハイパーパラメータ、ロスト判定のパラメータの設定を行う。ハイパーパラメータの例として、利用する特徴量、各特徴量のパラメータ、学習係数などが挙げられる。ロスト判定におけるハイパーパラメータとして利用する特徴量、応答マップに基づく指標、指標に対する閾値、「谷」の前後を比較するためのフレーム数、指標の変化の度合いを比較する方法、変化の度合いの閾値などが挙げられる。入力されたハイパーパラメータは記憶部23に記憶される。
次に、ステップS102において、人追跡装置1は、ターゲット領域(対象領域)を取得する。ターゲット領域は、追跡対象の人物が存在する領域とその周辺をあわせた領域であり、追跡対象の人物が存在する可能性が高い領域である。ターゲット領域は、追跡部24によって処理対象とされる領域ともいえる。本実施形態では、追跡対象人物の初期位置は人体検出部21によって検出される。ただし、追跡対象人物の初期位置は、例えば、ユーザによって入力されるなどしてもよい。
以下、ステップS104からS109の処理が繰り返し実施される。ステップS103の終了判定において終了条件を満たしたら処理を終了する。終了条件は、例えば、追跡対象人物の喪失(フレームアウト)や動画の終了とすることができる。
ステップS104において、画像入力部20が魚眼カメラ10から1フレームの魚眼画像を入力する。この際、魚眼画像の歪みを補正した平面展開画像を作成して以降の処理を行ってもよいが、本実施形態の監視システム2では、魚眼画像をそのまま(歪んだまま)検出や追跡の処理に用いる。
ステップS105では、現在のフレームが最初の画像であるか否かが判定される。ここで、最初の画像とは、追跡対象人物の初期位置が与えられたフレーム画像のことであり、典型的には人体検出部21によって追跡対象人物が検出されたフレーム画像のことである。
現在のフレームが最初の画像である場合には(ステップS105-YES)、ステップS109に進む。現在のフレームが最初の画像でない場合には(ステップS105-NO)、ステップS106に進む。
ステップS106では、追跡部24が追跡処理を実行する。追跡処理の詳細は後述する。ステップS107では、ロスト判定部27がロスト判定処理を実行する。ロスト判定処理の詳細は後述する。
ステップS108では、ロスト判定部27が、追跡部24による追跡処理が失敗した(ロストした)か否かを判定する。ロスト判定部27がロストしたと判定した場合には、処理を終了する。ロスト判定部27がロストしていないと判定した場合には、ステップS109に進む。
ステップS109では、現在のフレーム画像において対象人物が存在する領域に基づいて、学習部22が学習処理を実行する。学習処理の詳細は後述する。
このように、追跡処理S106による追跡対象人物の位置特定が毎フレーム行われて、追跡が実現される。また、本実施形態の追跡手法は、追跡対象人物の特徴を毎フレーム学習する逐次学習型の追跡アルゴリズムを採用している。
(学習処理)
図6は、ステップS109の学習処理の詳細を示すフローチャートである。また、図9は学習処理および学習結果を用いた追跡処理を説明する図である。以下、図6および図9を参照して学習処理について説明する。
学習部22は、まず、現フレーム画像からターゲット領域74を切り出す(ステップS201)。図9に示すように、ターゲット領域74は、人物の前景領域72および背景領域73を含む領域である。前景領域72は追跡対象人物が存在する領域であり、背景領域
は追跡対象人物が存在しない領域である。背景領域73の大きさは、前景領域72の大きさに応じて決定されている。例えば、前景領域72のサイズがターゲット領域74の全体サイズの所定の比率(例えば1/3)となるように、背景領域73のサイズが決定されている。なお、ターゲット領域74は中心が追跡対象人物の位置となるように追跡処理の最後に更新されている(図5のステップS304)ので、ターゲット領域74の中心は追跡対象人物の中心位置と等しい。
学習部22は、ターゲット領域74内のHOG特徴量を取得する(ステップS202)。HOG特徴量は、局所領域の輝度勾配方向をヒストグラム化した特徴量であり、物体の形状・輪郭を表す特徴量と捉えられる。ここでは、HOG特徴量を採用しているが、物体の形状・輪郭を表す他の特徴量、例えば、LBP特徴量、SHIFT特徴量、SURF特徴量を採用してもよい。
学習部22は、応答がターゲットの中心にピークを持つような相関フィルタ76を求める(ステップS203)。具体的には、ターゲット領域よりHOG特徴量を抽出した後に、典型的にはガウス分布を所望の出力と想定して、特徴量と相関フィルタとの乗算および所望の出力との差を最小化する最適問題を解くことによって相関フィルタを求める。相関フィルタの計算をフーリエ空間において行う際には、不連続性を滑らかにするために、特徴量に窓関数を乗じても良い。想定する所望の出力はガウス分布以外の任意の分布であってよい。HOG特徴量は、次フレームの追跡処理で相関フィルタをかける際に使用するため、記憶部23に記憶する。
今回の学習が最初の学習であれば(ステップS204-YES)、ステップS203で生成した相関フィルタ76をそのまま記憶部23に記憶する。一方、今回の学習が2回目以降の学習であれば(ステップS204-NO)、処理はステップS205に進む。
学習部22は、ステップS205において、前回求めた相関フィルタ(記憶部23に記憶されている相関フィルタ)と今回ステップS203で求めた相関フィルタを合成することで新たな相関フィルタ76を求め、記憶部23に記憶する。合成の際の重み(学習係数)は適宜決定すればよい。
(追跡処理)
図7は、ステップS106の追跡処理の詳細を示すフローチャートである。また、図9は学習処理および学習結果を用いた追跡処理を説明する図である。以下、図7および図9を参照して追跡処理について説明する。
追跡部24は、現フレーム画像からターゲット領域75を切り出す(ステップS301)。なお、ターゲット領域は中心が追跡対象人物の位置となるように前回の追跡処理の最後に更新されている(図7のステップS304)ので、ターゲット領域74の中心は追跡対象人物の中心位置と等しい。図9において、追跡部24の処理対象がT+1フレーム目の画像である場合、Tフレーム目において特定された追跡対象人物の位置を中心とするターゲット領域74に対応するターゲット領域75が切り出される。
特徴量抽出部25は、ターゲット領域75内の各セルからHOG特徴量を抽出する(ステップS302)。応答マップ生成部26は、ターゲット領域75内のHOG特徴量に対して相関フィルタ76をかけて応答マップ78を求める。(ステップS303)。図10のグラフ81がHOG特徴量に基づく応答マップ78の例である。なお、応答マップ78は、ターゲット領域75内のそれぞれの位置についての追跡対象人物である確からしさ(尤度)を表すマップである。
追跡部24は、応答マップ78において最大値をとる位置を現フレーム画像における追跡対象人物の中心位置であると決定する。追跡部24は、ターゲット領域の中心を、決定された追跡対象人物の中心位置に更新し(ステップS304)、ターゲット領域のサイズを更新する(ステップS305)。このように、追跡処理が完了した後に、ターゲット領域の中心は追跡対象人物の中心位置に更新され、また、ターゲット領域のサイズも追跡結果に応じて更新される。ターゲット領域の更新サイズは、DSST(Discriminative Scale Space Tracking)のように画像のピラミッドを用いる方法で推定してもよいし、前フ
レームにおけるターゲット領域のサイズ、レンズ歪みの特性、カメラの視点、カメラの配置およびターゲット領域の画像における位置の少なくともいずれかに基づいて決定されてもよい。追跡処理完了後のターゲット領域の中心が追跡対象人物の中心位置であり、ターゲット領域中の前景領域が追跡対象人物の存在領域(バウンディングボックス)である。
(ロスト判定処理)
図8は、ステップS107のロスト判定処理の詳細を示すフローチャートである。図8のロスト判定処理では、HOG特徴量に関する応答マップ78を使用した場合について説明するが、ロスト判定部27は、色の特徴量に関する応答マップを使用してロストの判定をしてもよい。
ロスト判定部27は、現在のフレームの応答マップ78から指標を算出する(ステップS401)。指標は、応答マップ78の最大値、PSRなどである。ロスト判定部27は、算出した指標を、記憶部23に記憶する。
ロスト判定部27は、算出した指標が閾値(例えば、1を基準として0.35)以上であるか否かを判定する。指標が閾値以上であれば(ステップS402-YES)処理は終了する。指標が閾値未満であれば(ステップS402-NO)、処理はステップS403に進む。
ロスト判定部27は、応答マップ78の時系列データの谷を検出する(ステップS403)。具体的には、ロスト判定部27は、ステップS401で記憶部23に記憶された指標の時系列データを取得する。現フレームの前後において、谷(指標が極小値をとるフレーム)を検出する。
ロスト判定部27は、応答マップ78の時系列データにおいて、指標が閾値未満であり、谷となるフレームがあるか否かを判定する。指標が閾値未満であり、谷となるフレームがある場合(ステップS404-YES)、処理はステップS405に進む。指標が閾値未満でない、または谷となるフレームがない場合(ステップS404-NO)処理は終了する。
ロスト判定部27は、指標が閾値未満で谷となるフレームを検出した場合、谷の前の指定フレーム数分の指標を取得する(ステップS405)。また、ロスト判定部27は、谷の後の指定フレーム数分の指標を取得する(ステップS406)。指定フレーム数は、所定の時間間隔(1秒から数秒)で対象物を再検出するTracking-by-detection方式での再検出の間隔よりも短い時間内のフレーム数であることが好ましい。例えば、ロスト判定部27は、前後それぞれ10フレーム分を取得すればよい。また、谷の後の指標データのみ利用してロストを判定する場合、ロスト判定部27は、指定フレーム数として、谷の前は0フレーム、谷の後は10フレームと指定すればよい。
ロスト判定部27は、取得した谷の前後の指定フレーム数分の指標の変化の度合いを算出する(ステップS407)。ロスト判定部27は、例えば、谷の前後の各フレームでの
指標データの傾き(指標の値の時間変化率)から変化の度合いを算出することができる。具体的には、谷の後の各フレームにおける傾きの平均値から谷の前の各フレームにおける傾きの平均値を減算した値を、変化の度合いとして算出してもよい。また、ロスト判定部27は、谷の前後の指定フレーム数分の指標データに基づいて算出されるハミング距離を変化の度合いとしてもよい。ハミング距離は、例えば、谷の前の各フレームでの傾きを正負に応じて0、1に変換したビット列と、谷の後の各フレームでの傾きを正負に応じて0、1に変換したビット列との距離(差分)として算出することができる。算出した変化の度合いが大きいほど、谷の前後における指標は、急上昇または急降下したことを示す。なお、変化の度合いは、谷の前後における指標データの変化が急峻であることが判定できればよく、上記以外の方法で算出されてもよい。
ロスト判定部27は、ステップS407で算出した変化の度合いが閾値以上であるか否かを判定する(ステップS408)。ロスト判定部27は、変化の度合いが閾値以上であれば(ステップS408-YES)、ロストと判定し(ステップS409)、変化の度合いが閾値未満であれば(ステップS408-NO)、処理を終了する。
(実施形態1の作用効果)
上記の実施形態1において、人追跡装置1は、動画像中の追跡処理において、各フレームの応答マップから算出した指標および指標の時系列データを解析することにより、追跡対象物のロストを判定する。人追跡装置1は、フレームごとに、指標が所定の閾値未満であるか否かを判定する。指標が所定の閾値未満である場合、人追跡装置1は、現フレームまたは現フレームの前後で指標が極小となる谷を検出する。人追跡装置1は、谷の前後における指標の変化(差分)の度合いを算出し、変化の度合いが閾値以上であれば、対象物の追跡に失敗(ロスト)したと判定する。人追跡装置1は、応答マップから算出した指標が閾値未満であるか否かだけではなく、谷となるフレームを検出し、谷の前後のフレームの指標の変化の度合いを考慮してロストの判定をする。これにより、人追跡装置1は、対象物の追跡に成功しているにもかかわらず、エラーの蓄積により指標が閾値未満となった場合でもロストの誤検出を抑制することができる。したがって、人追跡装置1は、動画像中の物体の追跡処理において、追跡対象のロストを精度良く判定することができる。
<実施形態1の変形例>
上述の実施形態1では、人追跡装置1は、応答マップ78の最大値またはPSRなどの指標の時間的変化を利用してロストを判定する。具体的には、実施形態1は、応答マップ78の時系列データにおいて谷を検出し、谷の前後のフレームの指標データから算出した変化の度合いに基づいて、ロストを判定する。しかし、追跡に成功している場合であっても、追跡対象が急に向きを変えた場合には、谷が検出される場合がある。図11に示すように、L11のフレームで追跡対象が向きを変えたことにより、応答マップ78の時系列データは一時的に減少して谷となるが、向きを変えた後の追跡対象を学習部22が学習することで、谷の後の時系列データは安定する。
そこで、実施形態1の変形例では、人追跡装置1は、実施形態1と同様にロストの判定をした後、さらに谷の前後の指定フレームにおける画像情報(例えば、色ヒストグラム)を利用して、再度ロストの判定をする。追跡対象が向きを変えた場合に、追跡対象の形状が変化しても、同じ対象物であれば、谷の前後における色の特徴量は、類似していることが考えられる。したがって、谷の前後における色ヒストグラムの類似度が閾値以上であれば、ロスト判定部27は、形状に関する特徴量に基づいてロストしたと誤判定された場合でも、追跡に成功していると判定することができる。これにより、追跡対象が急に向きを変えたような場合でも、人追跡装置1は、精度よくロストを判定し、ロストの誤判定を抑制することができる。
図12を参照して、実施形態1の変形例に係るロスト判定処理を説明する。なお、変形例の全体処理は、図5に示す処理とほぼ同様であるため、図5と異なる部分について説明する。
図12は、変形例におけるステップS107のロスト判定処理の詳細を示すフローチャートである。ロスト判定部27は、実施形態1と同様に、応答マップ78の時系列データにおいて谷を検出し、谷の前後の指標に基づきロストしたか否かを判定する(ステップS501)。ステップS501の処理の詳細は、図8のフローチャートのステップS401からS409までの処理と同様であるため説明は省略する。
なお、図8のステップS408において変化の度合いが閾値以上となり、ステップS409でロストしたと判定された場合、処理はステップS502に進む。また、テップS408において変化の度合いが閾値未満であった場合、図12に示す処理は終了する。
ロスト判定部27は、谷の前の指定フレームの色ヒストグラムを算出する(ステップS502)。谷の前の指定フレームは、谷の前であればいずれのフレームであってもよい。例えば、谷の前の指定フレームは、図8のステップS405で取得した指定フレーム数分のいずれかのフレームとすることができる。また、色ヒストグラムには、時間の経過とともに背景色などのノイズが蓄積されるため、谷の前の指定フレームは、図5のステップS105における最初の画像(フレーム)としてもよい。
また、ロスト判定部27は、谷の後の指定フレームの色ヒストグラムを算出する(ステップS503)。谷の後の指定フレームは、例えば、図8のステップS406で取得した指定フレーム数分のいずれかのフレームとすることができる。
ロスト判定部27は、ステップS502およびS503で算出した2つの色ヒストグラムの類似度を算出する(ステップS504)。色ヒストグラムの類似度は、色に関する特徴ベクトルを抽出し、ヒストグラムインタセクション、バタチャリヤ係数、Earth Mover’s Distanceの少なくともいずれかに基づいて測定する方法を採用することができる。
なお、図12に示す例では、ステップS502からステップS505において、色ヒストグラムにより類似度を算出する例を示したがこれに限られない。ロスト判定部27は、指定フレームのフレーム画像において追跡対象を含む画像の平均色、平均輝度、代表色のようにスカラーで表される画像情報の少なくともいずれかを特徴量として、差、差の絶対値、差の二乗の少なくともいずれかを類似度の尺度とする方法を採用してもよい。さらに、ロスト判定部27は、形状に関する特徴量、輝度に関する特徴量に基づいて類似度を算出してもよい。
また、ステップS501で求める応答マップ78は、形状に関する特徴量に基づいて求められる場合に限られない。応答マップ78は、色に関する特徴量に基づいて求められてもよく、形状に関する特徴量と色に関する特徴量とを組み合わせた特徴量に基づいて求められてもよい。
ロスト判定部27は、ステップS504で算出した類似度が閾値未満か否かを判定する。ロスト判定部27は、類似度が閾値未満であれば(ステップS505-YES)、ロストと判定し(ステップS506)、類似度が閾値以上であれば(ステップS505-NO)、処理を終了する。
(変形例の作用効果)
上記の実施形態1の変形例において、人追跡装置1は、実施形態1と同様にロストの判定をした後、さらに谷の前後の指定フレームにおける色ヒストグラムなどの画像情報を利用して、再度ロストの判定をする。これにより、追跡対象が急に向きを変えたり停止したりしたような場合でも、人追跡装置1は、精度よくロストを判定し、ロストの誤判定を抑制することができる。
<実施形態2>
実施形態2は、複数の追跡対象(以下、ターゲットとも称される)に対してロストの判定をするものである。人追跡装置1は、複数のターゲットを追跡する場合、ターゲット同士が重なることにより応答マップから求める指標の値が低くなり、誤ってロストと判定する可能性がある。この場合、ロスト後に他の追跡対象にドリフトすると指標の値が上昇する可能性がある。実施形態2では、人追跡装置1は、ターゲット同士の重なりを考慮してロストの判定をする。実施形態2に係る監視システム2の構成は、図4に示す実施形態1の構成と同様であるため、説明は省略する。図13を参照して、実施形態2に係る人追跡装置が実施する全体処理について説明する。
図13は、実施形態2に係る人追跡装置1が実施する全体処理のフローチャートである。ステップS601からステップS604までの処理は、図5のステップS101からステップS104までの処理と同様である。
ステップS605では、現在のフレームが最初の画像であるか否かが判定される。実施形態2では、最初の画像は、複数の追跡対象人物(ターゲット)の初期位置が与えられたフレーム画像であり、典型的には人体検出部21によって、複数の追跡対象人物(ターゲット)が検出されたフレーム画像のことである。
現在のフレームが最初の画像である場合には(ステップS605-YES)、ステップS609に進む。現在のフレームが最初の画像でない場合には(ステップS605-NO)、最初の画像で検出された全てのターゲットに対して、ステップS606の追跡処理が実施される。
ステップS607では、ロスト判定部27がロスト判定処理を実行する。ロスト判定処理の詳細は後述する。ステップS608およびS609の処理は、図5のステップS108およびステップS109の処理と同様である。なお、ステップS609において、学習部22は、最初の画像で検出されたターゲットごとに、ステップS109で説明した学習処理を実施する。
(実施形態2:ロスト判定処理)
図14は、ステップS607のロスト判定処理の詳細を示すフローチャートである。図14のロスト判定処理では、ロスト判定部27は、ステップS605の最初の画像で検出された各ターゲットi(i=1,…,n)に対して、ステップS701からS704までの処理を実施する。
ロスト判定部27は、実施形態1と同様に、ターゲットiに対する応答マップ78より算出する指標の時系列データにおいて谷を検出し、谷の前後の指標に基づきロストしたか否かを判定する(ステップS701)。ステップS701の処理の詳細は、図8のフローチャートのステップS401からS409までの処理と同様であるため説明は省略する。
なお、図8のステップS408において変化の度合いが閾値以上となり、ステップS409でロストと判定された場合、処理はステップS702に進む。また、ステップS408において変化の度合いが閾値未満であった場合、図14の処理では、次のターゲットi
に対してステップS701からS704までの処理が実施される。
ロスト判定部27は、現在のターゲットiに対して、既にステップS701においてロストの判定をしたターゲットj(j=1,…,i-1)との重なりの状況を求める。ロスト判定部27は、まず、現在のターゲットiがターゲットjと重なる割合を求める(ステップS702)。ターゲットiがターゲットjと重なる割合は、ターゲットiが占める領域に対する、ターゲットiがターゲットjと重なる領域の割合である。次に、ロスト判定部27は、各ターゲットjについてステップS702で求めた割合を積算していく(ステップS703)。また、ロスト判定部27は、現在のターゲットiとターゲットjとが重なっているかを判定し、現在のターゲットiと重なる人数(ターゲット数)をカウントする(ステップS704)。
ロスト判定部27は、各ターゲットi(i=1,…,n)に対して、ステップS701からS704までの処理を実施する。ロスト判定部27は、ターゲットごとに、ステップS703で求めた重なる割合の和、およびステップS704でカウントした重なる人数から指標を算出する(ステップS705)。ロスト判定部27は、例えば、重なる割合の和の値、および重なる人数をそのまま個別の指標として使用してもよい。また、S705での指標は、重なる割合の和と重なる人数とを、所定の係数により重みづけをして加算することにより算出されてもよい。
ロスト判定部27は、ステップS705で算出した指標が閾値以上のターゲットiが存在するか否かを判定する。算出した指標が閾値以上のターゲットiが存在する場合(ステップS706-YES)、ロストと判定し(ステップS707)、算出した指標が閾値以上のターゲットiが存在しない場合、処理は終了する。
(実施形態2の作用効果)
上記の実施形態2において、人追跡装置1は、複数のターゲットを追跡対象とする。ターゲット間で重なりが生じた場合、追跡に成功しているにもかかわらず、応答マップ78の最大値の時系列データは、閾値を下回るおそれがある。そこで、人追跡装置1は、重なる割合の和および重なる人数から算出した指標が閾値より大きい場合に、ロストしたものと判定する。これにより、人追跡装置1は、ターゲット同士が重なり合う場合におけるロストの誤判定を抑制することができる。
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
例えば、上記の実施形態では魚眼画像を平面展開せずに処理しているが、魚眼画像を平面展開した画像を処理対象としてもよいし、通常のカメラにより撮影された画像を処理対象としてもよい。
<付記1>
(1)動画像に含まれるフレーム画像において対象物を追跡する物体追跡装置(1)であって、
前記フレーム画像の対象領域(74)から特徴量を抽出する特徴量抽出手段(25)と、
前記フレーム画像の前記対象領域において前記対象物が存在する確からしさを表す応答マップを前記特徴量に基づいて求める応答マップ算出手段(26)と、
前記応答マップから前記フレーム画像の指標を算出し、前記動画像に含まれる各フレー
ム画像から算出した指標の時系列データに基づいて、前記対象物の追跡に失敗したか否かを判定する判定手段(27)と、を備え、
前記判定手段は、
前記時系列データにおいて指標が極小となる極小フレームを検出し、
前記極小フレームの前後における指標の変化に基づいて、前記対象物の追跡に失敗したか否かを判定する、
ことを特徴とする物体追跡装置。
(2)動画像に含まれるフレーム画像において対象物を追跡する物体追跡方法であって、
前記フレーム画像の対象領域から特徴量を抽出する特徴量抽出ステップ(S302)と、
前記フレーム画像の前記対象領域において前記対象物が存在する確からしさを表す応答マップを前記特徴量に基づいて求める応答マップ算出ステップ(S303)と、
前記応答マップから前記フレーム画像の指標を算出し、前記動画像に含まれる各フレーム画像から算出した指標の時系列データに基づいて、前記対象物の追跡に失敗したか否かを判定する判定ステップ(S107)と、を含み、
前記判定ステップは、
前記時系列データにおいて指標が極小となる極小フレームを検出するステップ(S403)と、
前記極小フレームの前後における指標の変化に基づいて、前記対象物の追跡に失敗したか否かを判定するステップ(S408、S409)と、を含む
ことを特徴とする物体追跡方法。
1:人追跡装置
2:監視システム
10:魚眼カメラ
11:追跡対象エリア
12:天井
13:人

Claims (9)

  1. 動画像に含まれるフレーム画像において対象物を追跡する物体追跡装置であって、
    前記フレーム画像の対象領域から特徴量を抽出する特徴量抽出手段と、
    前記フレーム画像の前記対象領域において前記対象物が存在する確からしさを表す応答マップを前記特徴量に基づいて求める応答マップ算出手段と、
    前記応答マップから前記フレーム画像の指標を算出し、前記動画像に含まれる各フレーム画像から算出した指標の時系列データに基づいて、前記対象物の追跡に失敗したか否かを判定する判定手段と、を備え、
    前記判定手段は、
    前記時系列データにおいて指標が極小となる極小フレームを検出し、
    前記極小フレームの前後における指標の変化に基づいて、前記対象物の追跡に失敗したか否かを判定する、
    ことを特徴とする物体追跡装置。
  2. 前記判定手段は、前記極小フレームの前後における指定フレーム数分の前記フレーム画像の指標を取得し、前記取得した指標の変化の度合いを算出し、前記変化の度合いに基づいて、前記対象物の追跡に失敗したか否かを判定する、
    ことを特徴とする、請求項1に記載の物体追跡装置。
  3. 前記特徴量は、形状に関する特徴量、色に関する特徴量または輝度に関する特徴量の少なくともいずれかである
    ことを特徴とする、請求項1または2に記載の物体追跡装置。
  4. 前記形状に関する特徴量は、HOG特徴量、LBP特徴量、SHIFT特徴量、SURF特徴量の少なくともいずれかであり、
    前記色に関する特徴量は、色ヒストグラム、Color Names特徴量の少なくともいずれか
    であり、
    前記輝度に関する特徴量は、輝度ヒストグラムである、
    ことを特徴とする、請求項3に記載の物体追跡装置。
  5. 前記特徴量抽出手段は、前記フレーム画像の前記対象領域から、前記形状に関する特徴量である第1特徴量と、前記色に関する特徴量または前記輝度に関する特徴量である第2特徴量とを抽出し、
    前記判定手段は、前記第1特徴量、前記第2特徴量、または前記第1特徴量と前記第2特徴量とを組み合わせた特徴量に基づいて求めた前記応答マップから算出される指標の変化、および前記極小フレームの前後の指定フレームにおける前記第1特徴量または前記第2特徴量の類似度に基づいて、前記対象物の追跡に失敗したか否かを判定する、
    ことを特徴とする、請求項3または4に記載の物体追跡装置。
  6. 前記判定手段は、前記対象物が他の対象物と重なっている場合に、前記対象物における前記他の対象物と重なる領域の割合、および重なっている他の対象物の数の少なくともいずれかに基づいて、前記対象物の追跡に失敗したか否かを判定する、
    ことを特徴とする、請求項1から5のいずれか1項に記載の物体追跡装置。
  7. 前記フレーム画像は、魚眼カメラにより得られた魚眼画像である、
    ことを特徴とする、請求項1から6のいずれか1項に記載の物体追跡装置。
  8. 動画像に含まれるフレーム画像において対象物を追跡する物体追跡方法であって、
    前記フレーム画像の対象領域から特徴量を抽出する特徴量抽出ステップと、
    前記フレーム画像の前記対象領域において前記対象物が存在する確からしさを表す応答マップを前記特徴量に基づいて求める応答マップ算出ステップと、
    前記応答マップから前記フレーム画像の指標を算出し、前記動画像に含まれる各フレーム画像から算出した指標の時系列データに基づいて、前記対象物の追跡に失敗したか否かを判定する判定ステップと、を含み、
    前記判定ステップは、
    前記時系列データにおいて指標が極小となる極小フレームを検出するステップと、
    前記極小フレームの前後における指標の変化に基づいて、前記対象物の追跡に失敗したか否かを判定するステップと、を含む
    ことを特徴とする物体追跡方法。
  9. 請求項8に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
JP2019060877A 2019-03-27 2019-03-27 物体追跡装置および物体追跡方法 Active JP7243372B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019060877A JP7243372B2 (ja) 2019-03-27 2019-03-27 物体追跡装置および物体追跡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019060877A JP7243372B2 (ja) 2019-03-27 2019-03-27 物体追跡装置および物体追跡方法

Publications (2)

Publication Number Publication Date
JP2020160901A JP2020160901A (ja) 2020-10-01
JP7243372B2 true JP7243372B2 (ja) 2023-03-22

Family

ID=72643578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019060877A Active JP7243372B2 (ja) 2019-03-27 2019-03-27 物体追跡装置および物体追跡方法

Country Status (1)

Country Link
JP (1) JP7243372B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439784B2 (ja) * 2021-03-12 2024-02-28 オムロン株式会社 画像処理装置および画像処理方法
CN113516481B (zh) * 2021-08-20 2024-05-14 支付宝(杭州)信息技术有限公司 刷脸意愿的确认方法、装置和刷脸设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223434A (ja) 2008-03-13 2009-10-01 Secom Co Ltd 移動物体追跡装置
JP2016085487A (ja) 2014-10-22 2016-05-19 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2016126624A (ja) 2015-01-06 2016-07-11 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
JP2018077807A (ja) 2016-11-11 2018-05-17 Kddi株式会社 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2914170B2 (ja) * 1994-04-18 1999-06-28 松下電器産業株式会社 映像変化点検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223434A (ja) 2008-03-13 2009-10-01 Secom Co Ltd 移動物体追跡装置
JP2016085487A (ja) 2014-10-22 2016-05-19 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2016126624A (ja) 2015-01-06 2016-07-11 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
JP2018077807A (ja) 2016-11-11 2018-05-17 Kddi株式会社 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
都築 勇司,SIFT特徴量に基づくMean-Shift探索による特徴点追跡,情報処理学会論文誌 第49巻 No.SIG6(CVIM20) IPSJ,日本,社団法人情報処理学会,2008年03月15日,Vol. 49 No. SIG 6 (CVIM 20) Mar. 2008,P.35-45

Also Published As

Publication number Publication date
JP2020160901A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
CN110782483A (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
CN111583118B (zh) 图像拼接方法、装置、存储介质及电子设备
US20110091074A1 (en) Moving object detection method and moving object detection apparatus
JPWO2016104395A1 (ja) 群集監視システム
JP7255173B2 (ja) 人検出装置および人検出方法
JP2020149111A (ja) 物体追跡装置および物体追跡方法
TW201931206A (zh) 影像物件追蹤方法及其系統與電腦可讀取儲存媒體
CN105469054B (zh) 正常行为的模型构建方法及异常行为的检测方法
JP2005174353A (ja) オブジェクト検出
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
US11074698B2 (en) Object tracking device and object tracking method
JP7271373B2 (ja) 映像処理装置、映像処理システムおよび映像処理方法
JP7488674B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
JP6893812B2 (ja) 物体検出装置
WO2013136395A1 (ja) 検知装置、検知方法、プログラムが格納された記憶媒体
JP7374632B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018185623A (ja) 物体検出装置
CN107067411A (zh) 一种结合密集特征的Mean‑shift跟踪方法
CN112633496A (zh) 一种检测模型的处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R150 Certificate of patent or registration of utility model

Ref document number: 7243372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150