JP7065557B2 - 人物を追跡する映像解析装置、プログラム及び方法 - Google Patents
人物を追跡する映像解析装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP7065557B2 JP7065557B2 JP2018228581A JP2018228581A JP7065557B2 JP 7065557 B2 JP7065557 B2 JP 7065557B2 JP 2018228581 A JP2018228581 A JP 2018228581A JP 2018228581 A JP2018228581 A JP 2018228581A JP 7065557 B2 JP7065557 B2 JP 7065557B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- cost
- recognition
- flow line
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
また、人物領域の動線を見失った場合であっても、前後の人物領域に映る行動クラスから、動線を補完する技術もある(例えば特許文献1参照)。この技術によれば、例えば、最後に推定された行動クラス「商品を手に取る」の追跡結果と、最初の行動クラス「商品を棚に戻す」の追跡結果とを結合する。
また、特許文献1に記載の技術によれば、人物間オクルージョンや人物検出の失敗等による追跡情報の欠損を補完するための他の追跡情報は正確であることを前提としている。即ち、追跡情報自体が誤った場合、それを補正する機能はなく、誤った追跡結果同士を結合する恐れもある。
即ち、人物間オクルージョンが発生した場合や人物検出に失敗した場合に、頑健(ロバスト)に人物を追跡することは難しい。
画像フレーム毎に、人物領域を検出し、人物検出のスコアを距離関数として負値化した第1の人物検出のコストを出力する第1の人物検出手段と、
2つの画像フレームの組毎に、人物領域の変化に対する人物検出のスコアを距離関数として負値化した第2の人物検出のコストを出力する第2の人物検出手段と、
画像フレーム毎に、各人物領域から実人物を認識し、人物認識のスコアを距離関数として負値化した第1の人物認識のコストを出力し、当該人物領域に人物ID(IDentifier)を付与する第1の人物認識手段と、
画像フレームの組毎に、人物領域の人物認識の変化に対する人物認識のスコアを距離関数として負値化した第2の人物認識のコストを出力する第2の人物認識手段と、
当該画像フレーム内の各人物領域に対して、画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのコストとを用いて、動線IDを付与すると共に、人物IDを対応付ける人物追跡手段と
を有することを特徴とする。
第1の人物検出手段は、深層学習エンジンであり、
第1の人物認識手段は、人物認識学習エンジンである
ことも好ましい。
人物追跡手段は、第1の人物検出のコスト、第2の人物検出のコスト、第1の人物認識のコスト及び第2の人物認識のコストの和が最小となるように、動線ID及び人物IDを対応付けることも好ましい。
人物追跡手段は、連続する画像フレーム(N=1)毎に、オンライン処理として動線ID及び人物IDを対応付けることも好ましい。
人物追跡手段は、全てのコストからなるコスト行列を、ハンガリアンアルゴリズムによって最もコストが低くなるように、動線ID及び人物IDを対応付けることも好ましい。
人物追跡手段は、所定数の画像フレーム(N>1)の内で2つの画像フレームの組毎に、オフライン処理として動線ID及び人物IDを対応付けることも好ましい。
人物追跡手段は、画像フレームの組について、第1の動線ID及び第1の人物IDが対応付けられた人物領域が発生した後、新たな第2の動線IDと第1の人物IDが対応付けられた人物領域が発生した際に、新たな第2の動線IDを第1の動線IDに置き換えることも好ましい。
第1の動線IDにおける第1の人物検出のコスト及び第2の人物検出のコストの和が、第2の動線IDにおける第1の人物検出のコスト及び第2の人物検出のコストの和よりも小さい場合にのみ、新たな第2の動線IDを第1の動線IDに置き換えることも好ましい。
人物追跡手段は、画像フレームの組について、第1の動線ID及び第1の人物IDが対応付けられた人物領域が発生した後、第1の動線IDと新たな第2の人物IDが対応付けられた人物領域が発生した際に、新たな第2の人物IDを第1の人物IDに置き換えることも好ましい。
第1の人物IDにおける第1の人物認識のコスト及び第2の人物認識のコストの和が、第2の人物IDにおける第1の人物認識のコスト及び第2の人物認識のコストの和よりも小さい場合にのみ、新たな第2の人物IDを第1の人物IDに置き換えることも好ましい。
画像フレーム毎に、人物領域を検出し、第1の人物検出のスコアを出力する第1の人物検出手段と、
2つの画像フレームの組毎に、人物領域の変化に対する第2の人物検出のスコアを出力する第2の人物検出手段と、
画像フレーム毎に、各人物領域に対して人物行動を検出し、第1の行動認識のスコアを出力し、当該人物領域に行動IDを付与する第1の行動認識手段と、
画像フレームの組毎に、人物領域の人物行動の変化に対する第2の行動認識のスコアを出力する第2の行動認識手段と
当該画像フレーム内の各人物領域に対して、画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのスコアとを用いて、動線IDを付与すると共に、行動IDを対応付ける人物追跡手段と
を有することを特徴とする。
第1の行動認識手段は、畳み込みニューラルネットワークであり、
第1の行動認識手段は、第1の行動認識のスコアを距離関数として負値化した第1の行動認識のコストを出力し、
第2の行動認識手段は、第2の人物検出のスコアを距離関数として負値化した第2の行動認識のコストを出力することも好ましい。
第1の人物検出手段は、第1の人物検出のスコアを距離関数として負値化した第1の人物検出のコストを出力し、
第2の人物検出手段は、第2の人物検出のスコアを距離関数として負値化した第2の人物検出のコストを出力し、
人物追跡手段は、第1の人物検出のコスト、第2の人物検出のコスト、第1の人物認識のコスト、第2の人物認識のコスト、第1の行動認識のコスト、第2の行動認識のコストの和が最小となるように、動線ID及び行動IDを対応付ける
ことも好ましい。
人物追跡手段は、連続する画像フレーム(N=1)毎に、オンライン処理として動線ID及び行動IDを対応付けることも好ましい。
人物追跡手段は、全てのコストからなるコスト行列を、ハンガリアンアルゴリズムによって最もコストが低くなるように、動線ID及び行動IDを対応付けることも好ましい。
人物追跡手段は、所定数の画像フレーム(N>1)の内で2つの画像フレームの組毎に、オフライン処理として動線ID及び行動IDを対応付けることも好ましい。
人物追跡手段は、画像フレームの組について、第1の動線ID及び第1の行動IDが対応付けられた人物領域が発生した後、新たな第2の動線IDと第1の行動IDが対応付けられた人物領域が発生した際に、新たな第2の動線IDを第1の動線IDに置き換えることも好ましい。
第1の動線IDにおける第1の人物検出のコスト及び第2の人物検出のコストの和が、第2の動線IDにおける第1の人物検出のコスト及び第2の人物検出のコストの和よりも小さい場合にのみ、新たな第2の動線IDを第1の動線IDに置き換える
ことも好ましい。
人物追跡手段は、画像フレームの組について、第1の動線ID及び第1の行動IDが対応付けられた人物領域が発生した後、第1の動線IDと新たな第2の行動IDが対応付けられた人物領域が発生した際に、新たな第2の行動IDを第1の行動IDに置き換えることも好ましい。
第1の行動IDにおける第1の行動認識のコスト及び第2の行動認識のコストの和が、第2の行動IDにおける第1の行動認識のコスト及び第2の行動認識のコストの和よりも小さい場合にのみ、新たな第2の行動IDを第1の行動IDに置き換えることも好ましい。
画像フレーム毎に、人物領域を検出し、人物検出のスコアを距離関数として負値化した第1の人物検出のコストを出力する第1の人物検出手段と、
2つの画像フレームの組毎に、人物領域の変化に対する人物検出のスコアを距離関数として負値化した第2の人物検出のコストを出力する第2の人物検出手段と、
画像フレーム毎に、各人物領域から実人物を認識し、人物認識のスコアを距離関数として負値化した第1の人物認識のコストを出力し、当該人物領域に人物ID(IDentifier)を付与する第1の人物認識手段と、
画像フレームの組毎に、人物領域の人物認識の変化に対する人物認識のスコアを距離関数として負値化した第2の人物認識のコストを出力する第2の人物認識手段と、
当該画像フレーム内の各人物領域に対して、画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのコストとを用いて、動線IDを付与すると共に、人物IDを対応付ける人物追跡手段と
してコンピュータを機能させることを特徴とする。
装置は、
画像フレーム毎に、人物領域を検出し、人物検出のスコアを距離関数として負値化した第1の人物検出のコストを出力する第1のステップと、
2つの画像フレームの組毎に、人物領域の変化に対する人物検出のスコアを距離関数として負値化した第2の人物検出のコストを出力する第2のステップと、
画像フレーム毎に、各人物領域から実人物を認識し、人物認識のスコアを距離関数として負値化した第1の人物認識のコストを出力し、当該人物領域に人物ID(IDentifier)を付与する第3のステップと、
画像フレームの組毎に、人物領域の人物認識の変化に対する人物認識のスコアを距離関数として負値化した第2の人物認識のコストを出力する第4のステップと、
当該画像フレーム内の各人物領域に対して、画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのコストとを用いて、動線IDを付与すると共に、人物IDを対応付ける第5のステップと
を実行することを特徴とする。
Tf=(tf 1,tf 2,・・・):あるフレームfにおける追跡情報の集合
t=(box,lid,gid,act):追跡情報
box=(x,y,w,h):人物領域の左上点の(x,y)座標、幅w、高さh
lid:動線ID(人物領域に対して仮に付与された形式的なID)
gid:人物ID(実人物と対応したID)
act:行動ID(人物領域に映る人物から推定された行動フラグ)
動線IDを結ぶことによって、前後のフレーム間で、各人物領域を対応付けて追跡することができる。
動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである
動線ID:2の人物は、人物ID:107であり、行動ID:Readingである
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである
このとき、時系列に結ばれた同一の動線IDについて、人物IDは同一であって、行動IDは変移すると考えるべきである。また、同一の画像フレーム内に同じ動線IDは存在せず、同じ人物IDも存在しない。
ここで、第1の人物認識部121及び第2の人物認識部122と、第1の行動認識部131及び第2の行動認識部132とは、いずれか一方のみ有するものであってもよいし、両方とも有するものであってもよい。
これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。尚、これら機能構成部の処理の流れは、人物追跡する映像解析方法としても理解できる。
第1の人物検出部11は、画像フレーム毎に、人物領域BOXf=(boxf 1,boxf 2,・・・)を検出すると共に、「第1の人物検出のスコア」を出力する。ここで、boxf 1とは、ある画像フレームfにおける1番目の人物領域を意味する。人物領域とは、画像フレームの中で、当該人物が占める輪郭を表すバウンダリボックスである。
SSDによれば、画像フレームをグリッドで分割し、各グリッドに対するバウンディングボックスの当てはまり具合から、人物領域が検出される。SSDでは、畳み込み層を用いて、特徴マップの分割領域数をスケールダウンさせ、分割領域それぞれに対し、いくつかのデフォルトボックスを当てはめて、解に近い人物領域を選択している。
第2の人物検出部112は、連続する画像フレームの中から選択された2つの画像フレームの組毎に、人物領域の変化(人物領域のペア毎)に対する「第2の人物検出のスコア」を出力する。
重複率は、例えば以下のように算出される。
S12=(A1∩A2)/(A1∪A2)
S12:人物領域A1とA2との一致度(重複率)
A1∩A2:人物領域A1とA2との重複領域の面積
A1∪A2:人物領域A1とA2との包含領域の面積
第1の人物認識部121は、画像フレーム毎に、各人物領域から実人物を認識し、「第1の人物認識のスコア」を出力し、当該人物領域に人物IDを付与するものである。
第1の人物認識部121は、画像フレームfの人物領域(boxf 1,boxf 2,・・・)毎に、人物ID(gidf 1,gidf 2,・・・)を推定する。
第1の人物認識部121は、人物認識学習エンジンであって、予め学習モデルを構築したものであってもよい(例えば非特許文献1参照)。例えば人物認識として顔認識を用いる場合は、SSD(例えば非特許文献3参照)に基づくバウンダリボックスから、顔を検出する。顔自体を検出できなかった際に、その人物領域に対して、例えば人物ID「Noface」が付与される。
そのために、第1の人物認識部121は、その顔画像が学習されているか否かを判定することも好ましい。具体的には、例えば、第1の人物認識のスコアが所定閾値よりも低い場合は、その人物IDの人物認識モデルは学習されていないと判定し、人物ID「Unknown」を付与する。
第2の人物認識部122は、画像フレームの組毎に、人物領域の人物認識の変化に対する「第2の人物認識のスコア」を出力する。
例えば、2つの人物領域について、同一人物と認識するほど高いスコアを出力し、異なる人物であると認識するほど低いスコアを出力する。
第1の行動認識部131は、画像フレーム毎に、各人物領域に対して人物行動を検出し、「第1の人物検出のスコア」を出力し、当該人物領域に行動IDを付与する。
第1の行動認識部131は、画像フレームfの人物領域(boxf 1,boxf 2,・・・)毎に、行動ID:ACT f=(actf 1,actf 2,・・・)を推定する。
第1の行動認識部131は、例えばTSN(Temporal Segment Network)に基づく畳み込みニューラルネットワークであってもよい(例えば非特許文献5参照)。行動認識におけるスコアが、所定閾値以下となる場合、例えば行動ID「Unknown」が付与される。
第2の行動認識部132は、画像フレームの組毎に、人物領域の人物行動の変化に対する「第2の行動認識のスコア」を出力する。画像フレームから認識される2つの人物行動が強く関連するほど(例えば類似するほど、又は、続けて生起するほど)、高いスコアを出力する。
人物追跡部は、当該画像フレーム内の各人物領域に対して、画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのスコアとを用いて、動線IDを付与すると共に、人物IDを対応付ける。
「全てのスコア」としては、第1の人物検出のスコア及び第2の人物検出のスコアと、第1の人物認識のスコア及び第2の人物認識のスコアと、第1の行動認識のスコア及び第2の行動認識のスコアとなる。尚、第1の人物認識のスコア及び第2の人物認識のスコアと、第1の行動認識のスコア及び第2の行動認識のスコアとは、両方を用いるものであってもよいし、いずれか一方を用いるものであってもよい。
人物追跡部14は、時系列の画像フレーム毎に検出された人物領域毎に、人物IDを、アプリケーションへ出力する。その際に、行動IDも一緒に出力するものであってもよい。
c(boxf):第1の人物検出のコスト
c(boxf-1,boxf):第2の人物検出のコスト
c(gidf):第1の人物認識のコスト
c(gidf-1,gidf):第2の人物認識のコスト
c(actf):第1の行動認識のコスト
c(actf-1,actf):第2の行動認識のコスト
cf-1,f:全てのコストの和
cf-1,f=c(boxf)+c(boxf-1,boxf)+c(gidf)+c(gidf-1,gidf)
+c(actf)+c(actf-1,actf)
このとき、人物追跡部14は、全てのコストの和cf-1,fが最小となるように、動線ID、人物ID及び行動IDを対応付ける。
<オンライン処理形態>としては、連続する画像フレーム(N=1)毎に、リアルタイム処理的に動線ID及び人物IDを対応付ける。その都度、前の画像フレームの人物領域と後の画像フレームの人物領域とを対応付けていく。
<オフライン処理形態>としては、所定数の画像フレーム(N>1)の内で2つの画像フレームの組毎に、バッチ処理的に動線ID及び人物IDを対応付ける。所定数のフレームを蓄積した後、前の1つ以上の画像フレームの蓄積結果と、後の1つ以上の画像フレームの蓄積結果とを対応付けていく。
N=1とするリアルタイム処理と、N>1とするバッチ処理とは、リアルタイム性や対応付け精度との間で、トレードオフの関係となる。
これに対し、後述するオフライン処理形態の場合、バッファすべきNの画像フレーム数範囲内であれば、人物が一時的に画像フレーム枠外に移動したとしても、同じ動線IDを付与することができる。
図3は、オンライン処理形態であって、人物IDを修正する説明図である。
(f-1)動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである。
動線ID:2の人物は、人物ID:107であり、行動ID:Readingである。
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである。
(f) 動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである。
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである。
動線ID:2の人物は、人物ID:Nofaceであり、行動ID:Unknownである。
人物追跡部14は、画像フレームの組について、動線ID:2(第1の動線ID)及び人物ID:107(第1の人物ID)が対応付けられた人物領域が発生した後、動線ID:2(第1の動線ID)と新たな人物ID:Noface(第2の人物ID)が対応付けられた人物領域が発生した際に、新たな人物ID:Noface(第2の人物ID)を人物ID:107(第1の人物ID)に置き換える。
人物追跡部14は、人物ID:107(第1の人物ID)における第1の人物認識のコスト(-0.8)と第2の人物認識のコスト(0、図3不示、人物ID:107とNoFaceとの類似度に対するコスト)との和(-0.8)が、新たな人物ID:Noface(第2の人物ID)における第1の人物認識のコスト(0、Nofaceのコストを0とした)及び第2の人物認識のコスト(0、前述のとおり)の和(0)よりも小さい場合にのみ、新たな人物ID:Noface(第2の人物ID)を人物ID:107(第1の人物ID)に置き換える。
人物追跡部14は、動線ID:2(第1の動線ID)における第1の行動認識のコスト(-0.8)と第2の行動認識のコスト(0、図3不示、動線ID:2とUnknownとの連続生起確率に対するコスト)との和(-0.8)が、新たな行動ID:Unknown(第2の人物ID)における第1の人物検出のコスト(0、Unknownのコストを0とした)及び第2の人物検出のコスト(0、前述のとおり)の和(0)よりも小さい場合にのみ、新たな行動ID:Unknown(第2の人物ID)を行動ID:Reading(第1の行動ID)に置き換える。
図4は、オンライン処理形態であって、ハンガリアンアルゴリズムを適用した説明図である。
また、図4によれば、ハンガリアンアルゴリズムを適用した後、カルマンフィルタによって、人物領域を平滑化している。
ここで、「ハンガリアンアルゴリズム」とは、割当問題について、最もコストが低くなるように割り当てるアルゴリズムをいう。例えば図4の(a)のように、第1の人物検出のコスト、第2の人物検出のコスト、第1の人物認識のコスト、第2の人物認識のコスト、第1の行動検出のコスト及び第2の行動検出のコストを行列として表す。そして、図4(b)のように、各動線には1つの動線IDしか割り当てられないとしたとき、最もコストが低くなる動線IDを選択することができる。
図5は、オフライン処理形態であって、動線IDを修正する説明図である。
(f-2)動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである。
動線ID:2の人物は、人物ID:107であり、行動ID:Readingである。
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである。
(f-1)動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである。
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである。
(f) 動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである。
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである。
動線ID:5の人物は、人物ID:107であり、行動ID:Readingである。
人物追跡部14は、画像フレームの組について、動線ID:2(第1の動線ID)及び行動ID:Reading(第1の行動ID)が対応付けられた人物領域が発生した後、新たな動線ID:5(第2の動線ID)と行動ID:Reading(第1の行動ID)が対応付けられた人物領域が発生した際に、新たな動線ID:5(第2の動線ID)を動線ID:2(第1の動線ID)に置き換える。
このとき、人物追跡部14は、動線ID:2(第1の動線ID)における第1の人物検出のコスト及び第2の人物検出のコストの和(=-0.8)が、新たな動線ID:5(第2の動線ID)における第1の人物検出のコスト及び第2の人物検出のコストの和(=-0.2)よりも小さい場合にのみ、新たな動線ID:5(第2の動線ID)を動線ID:2(第1の動線ID)に置き換える。
図6は、オフライン処理形態であって、人物IDを修正する説明図である。
(f-2)動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである。
動線ID:2の人物は、人物ID:107であり、行動ID:Readingである。
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである。
(f-1)動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである。
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである。
(f) 動線ID:3の人物は、人物ID:105であり、行動ID:Eatingである。
動線ID:4の人物は、人物ID:103であり、行動ID:Walkingである。
動線ID:2の人物は、人物ID:Nofaceであり、行動ID:Readingである。
このとき、人物追跡部14は、人物ID:107(第1の人物ID)における第1の人物認識のコスト及び第2の人物認識のコストの和が、新たな人物ID:Noface(第2の人物ID)における第1の人物認識のコスト及び第2の人物認識のコストの和よりも小さい場合にのみ、新たな人物ID:Noface(第2の人物ID)を人物ID:107(第1の人物ID)に置き換える。
図6(b)によれば、新たな人物IDがNofaceとなっているが、例えばフレームf-2の先の人物ID=107に基づく人物認識のコスト和=-0.8が、フレームfの新たな人物ID=109に基づく人物認識のコスト和=0りも小さい場合、新たな人物ID=109を、先の人物ID=107に置き換える。
11 第1の人物検出部
112 第2の人物検出部
121 第1の人物認識部
122 第2の人物認識部
131 第1の行動認識部
132 第2の行動認識部
14 人物追跡部
Claims (22)
- カメラによる連続的な画像フレームの中から人物を追跡する映像解析装置において、
画像フレーム毎に、人物領域を検出し、人物検出のスコアを距離関数として負値化した第1の人物検出のコストを出力する第1の人物検出手段と、
2つの画像フレームの組毎に、前記人物領域の変化に対する人物検出のスコアを距離関数として負値化した第2の人物検出のコストを出力する第2の人物検出手段と、
画像フレーム毎に、各人物領域から実人物を認識し、人物認識のスコアを距離関数として負値化した第1の人物認識のコストを出力し、当該人物領域に人物ID(IDentifier)を付与する第1の人物認識手段と、
前記画像フレームの組毎に、前記人物領域の人物認識の変化に対する人物認識のスコアを距離関数として負値化した第2の人物認識のコストを出力する第2の人物認識手段と、
当該画像フレーム内の各人物領域に対して、前記画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのコストとを用いて、動線IDを付与すると共に、前記人物IDを対応付ける人物追跡手段と
を有することを特徴とする映像解析装置。 - 第1の人物検出手段は、深層学習エンジンであり、
第1の人物認識手段は、人物認識学習エンジンである
ことを特徴とする請求項1に記載の映像解析装置。 - 前記人物追跡手段は、第1の人物検出のコスト、第2の人物検出のコスト、第1の人物認識のコスト及び第2の人物認識のコストの和が最小となるように、動線ID及び人物IDを対応付ける
ことを特徴とする請求項1又は2に記載の映像解析装置。 - 前記人物追跡手段は、連続する画像フレーム(N=1)毎に、オンライン処理として動線ID及び人物IDを対応付ける
ことを特徴とする請求項3に記載の映像解析装置。 - 前記人物追跡手段は、全てのコストからなるコスト行列を、ハンガリアンアルゴリズムによって最もコストが低くなるように、動線ID及び人物IDを対応付ける
ことを特徴とする請求項4に記載の映像解析装置。 - 前記人物追跡手段は、所定数の画像フレーム(N>1)の内で2つの画像フレームの組毎に、オフライン処理として動線ID及び人物IDを対応付ける
ことを特徴とする請求項3に記載の映像解析装置。 - 前記人物追跡手段は、前記画像フレームの組について、第1の動線ID及び第1の人物IDが対応付けられた人物領域が発生した後、新たな第2の動線IDと第1の人物IDが対応付けられた人物領域が発生した際に、新たな第2の動線IDを第1の動線IDに置き換える
ことを特徴とする請求項6に記載の映像解析装置。 - 第1の動線IDにおける第1の人物検出のコスト及び第2の人物検出のコストの和が、第2の動線IDにおける第1の人物検出のコスト及び第2の人物検出のコストの和よりも小さい場合にのみ、前記新たな第2の動線IDを前記第1の動線IDに置き換える
ことを特徴とする請求項7に記載の映像解析装置。 - 前記人物追跡手段は、前記画像フレームの組について、第1の動線ID及び第1の人物IDが対応付けられた人物領域が発生した後、第1の動線IDと新たな第2の人物IDが対応付けられた人物領域が発生した際に、新たな第2の人物IDを第1の人物IDに置き換える
ことを特徴とする請求項4又は6に記載の映像解析装置。 - 第1の人物IDにおける第1の人物認識のコスト及び第2の人物認識のコストの和が、第2の人物IDにおける第1の人物認識のコスト及び第2の人物認識のコストの和よりも小さい場合にのみ、新たな第2の人物IDを第1の人物IDに置き換える
ことを特徴とする請求項9に記載の映像解析装置。 - カメラによる連続的な画像フレームの中から人物を追跡する映像解析装置において、
画像フレーム毎に、人物領域を検出し、第1の人物検出のスコアを出力する第1の人物検出手段と、
2つの画像フレームの組毎に、前記人物領域の変化に対する第2の人物検出のスコアを出力する第2の人物検出手段と、
画像フレーム毎に、各人物領域に対して人物行動を検出し、第1の行動認識のスコアを出力し、当該人物領域に行動IDを付与する第1の行動認識手段と、
前記画像フレームの組毎に、前記人物領域の人物行動の変化に対する第2の行動認識のスコアを出力する第2の行動認識手段と
当該画像フレーム内の各人物領域に対して、前記画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのスコアとを用いて、動線IDを付与すると共に、前記行動IDを対応付ける人物追跡手段と
を有することを特徴とする映像解析装置。 - 第1の行動認識手段は、畳み込みニューラルネットワークであり、
第1の行動認識手段は、第1の行動認識のスコアを距離関数として負値化した第1の行動認識のコストを出力し、
第2の行動認識手段は、第2の人物検出のスコアを距離関数として負値化した第2の行動認識のコストを出力する
ことを特徴とする請求項11に記載の映像解析装置。 - 第1の人物検出手段は、第1の人物検出のスコアを距離関数として負値化した第1の人物検出のコストを出力し、
第2の人物検出手段は、第2の人物検出のスコアを距離関数として負値化した第2の人物検出のコストを出力し、
前記人物追跡手段は、第1の人物検出のコスト、第2の人物検出のコスト、第1の人物認識のコスト、第2の人物認識のコスト、第1の行動認識のコスト、第2の行動認識のコストの和が最小となるように、動線ID及び行動IDを対応付ける
ことを特徴とする請求項12に記載の映像解析装置。 - 前記人物追跡手段は、連続する画像フレーム(N=1)毎に、オンライン処理として動線ID及び行動IDを対応付ける
ことを特徴とする請求項13に記載の映像解析装置。 - 前記人物追跡手段は、全てのコストからなるコスト行列を、ハンガリアンアルゴリズムによって最もコストが低くなるように、動線ID及び行動IDを対応付ける
ことを特徴とする請求項14に記載の映像解析装置。 - 前記人物追跡手段は、所定数の画像フレーム(N>1)の内で2つの画像フレームの組毎に、オフライン処理として動線ID及び行動IDを対応付ける
ことを特徴とする請求項13に記載の映像解析装置。 - 前記人物追跡手段は、前記画像フレームの組について、第1の動線ID及び第1の行動IDが対応付けられた人物領域が発生した後、新たな第2の動線IDと第1の行動IDが対応付けられた人物領域が発生した際に、新たな第2の動線IDを第1の動線IDに置き換える
ことを特徴とする請求項16に記載の映像解析装置。 - 第1の動線IDにおける第1の人物検出のコスト及び第2の人物検出のコストの和が、第2の動線IDにおける第1の人物検出のコスト及び第2の人物検出のコストの和よりも小さい場合にのみ、新たな第2の動線IDを第1の動線IDに置き換える
ことを特徴とする請求項17に記載の映像解析装置。 - 前記人物追跡手段は、前記画像フレームの組について、第1の動線ID及び第1の行動IDが対応付けられた人物領域が発生した後、第1の動線IDと新たな第2の行動IDが対応付けられた人物領域が発生した際に、新たな第2の行動IDを第1の行動IDに置き換える
ことを特徴とする請求項14又は16に記載の映像解析装置。 - 第1の行動IDにおける第1の行動認識のコスト及び第2の行動認識のコストの和が、第2の行動IDにおける第1の行動認識のコスト及び第2の行動認識のコストの和よりも小さい場合にのみ、新たな第2の行動IDを第1の行動IDに置き換える
ことを特徴とする請求項19に記載の映像解析装置。 - カメラによる連続的な画像フレームの中から人物を追跡する装置に搭載されたプログラムを機能させる映像解析プログラムにおいて、
画像フレーム毎に、人物領域を検出し、人物検出のスコアを距離関数として負値化した第1の人物検出のコストを出力する第1の人物検出手段と、
2つの画像フレームの組毎に、前記人物領域の変化に対する人物検出のスコアを距離関数として負値化した第2の人物検出のコストを出力する第2の人物検出手段と、
画像フレーム毎に、各人物領域から実人物を認識し、人物認識のスコアを距離関数として負値化した第1の人物認識のコストを出力し、当該人物領域に人物ID(IDentifier)を付与する第1の人物認識手段と、
前記画像フレームの組毎に、前記人物領域の人物認識の変化に対する人物認識のスコアを距離関数として負値化した第2の人物認識のコストを出力する第2の人物認識手段と、
当該画像フレーム内の各人物領域に対して、前記画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのコストとを用いて、動線IDを付与すると共に、前記人物IDを対応付ける人物追跡手段と
してコンピュータを機能させることを特徴とするプログラム。 - カメラによる連続的な画像フレームの中から人物を追跡する装置の映像解析方法において、
前記装置は、
画像フレーム毎に、人物領域を検出し、人物検出のスコアを距離関数として負値化した第1の人物検出のコストを出力する第1のステップと、
2つの画像フレームの組毎に、前記人物領域の変化に対する人物検出のスコアを距離関数として負値化した第2の人物検出のコストを出力する第2のステップと、
画像フレーム毎に、各人物領域から実人物を認識し、人物認識のスコアを距離関数として負値化した第1の人物認識のコストを出力し、当該人物領域に人物ID(IDentifier)を付与する第3のステップと、
前記画像フレームの組毎に、前記人物領域の人物認識の変化に対する人物認識のスコアを距離関数として負値化した第2の人物認識のコストを出力する第4のステップと、
当該画像フレーム内の各人物領域に対して、前記画像フレーム内の既に付与された各人物領域の動線IDと当該画像フレーム毎及び当該画像フレームの組における全てのコストとを用いて、動線IDを付与すると共に、前記人物IDを対応付ける第5のステップと
を実行することを特徴とする映像解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228581A JP7065557B2 (ja) | 2018-12-05 | 2018-12-05 | 人物を追跡する映像解析装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228581A JP7065557B2 (ja) | 2018-12-05 | 2018-12-05 | 人物を追跡する映像解析装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091664A JP2020091664A (ja) | 2020-06-11 |
JP7065557B2 true JP7065557B2 (ja) | 2022-05-12 |
Family
ID=71013794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018228581A Active JP7065557B2 (ja) | 2018-12-05 | 2018-12-05 | 人物を追跡する映像解析装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7065557B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112435277B (zh) * | 2020-12-11 | 2022-09-02 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种监控场景下限定区域内目标跟踪方法及系统 |
JP2022122498A (ja) | 2021-02-10 | 2022-08-23 | 富士通株式会社 | 移動履歴変更方法及び移動履歴変更プログラム |
JP7259880B2 (ja) | 2021-03-24 | 2023-04-18 | いすゞ自動車株式会社 | 積載率推定装置 |
WO2022254890A1 (ja) | 2021-06-04 | 2022-12-08 | パナソニックIpマネジメント株式会社 | 動線解析装置、動線解析方法及びコンピュータプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016139906A1 (ja) | 2015-03-04 | 2016-09-09 | パナソニックIpマネジメント株式会社 | 人物追跡方法および人物追跡装置 |
-
2018
- 2018-12-05 JP JP2018228581A patent/JP7065557B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016139906A1 (ja) | 2015-03-04 | 2016-09-09 | パナソニックIpマネジメント株式会社 | 人物追跡方法および人物追跡装置 |
Non-Patent Citations (3)
Title |
---|
Mengmeng Wang;Xiaofeng Li;Peixin Liu;Kai Xu;Zhizhong Fu,Multiple object tracking by multi-feature combination based on min-cost network flow,2016 IEEE 13th International Conference on Signal Processing (ICSP),IEEE,2016年11月06日,714-718,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7877925 |
行動特徴に基づく人物追跡,情報処理学会研究報告 コンピュータビジョンとイメージメディア(CVIM) No.172 No.36,Vol.2010,2010年06月15日 |
追跡軌跡の再同定を用いたオンライン複数物体追跡,画像電子学会誌 Vol.47 No.4,2018年10月30日,391~400 |
Also Published As
Publication number | Publication date |
---|---|
JP2020091664A (ja) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7065557B2 (ja) | 人物を追跡する映像解析装置、プログラム及び方法 | |
Pernici et al. | Object tracking by oversampling local features | |
CN112639873A (zh) | 基于单对象姿态估计器的多个对象的姿态跟踪设备和方法 | |
CN113674328A (zh) | 一种多目标车辆跟踪方法 | |
US8731238B2 (en) | Multiple view face tracking | |
Basso et al. | Fast and robust multi-people tracking from RGB-D data for a mobile robot | |
CN110782483A (zh) | 基于分布式相机网络的多视图多目标跟踪方法及系统 | |
JP2008250999A (ja) | 対象物追跡方法、対象物追跡装置および対象物追跡プログラム | |
WO2011151999A1 (ja) | 動線検出システム、動線検出方法および動線検出プログラム | |
CN111354022B (zh) | 基于核相关滤波的目标跟踪方法及系统 | |
JP7438684B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Xing et al. | DE‐SLAM: SLAM for highly dynamic environment | |
CN112528730B (zh) | 一种匈牙利算法下基于空间约束的成本矩阵优化方法 | |
CN110555867B (zh) | 一种融合物体捕获识别技术的多目标物体跟踪方法 | |
Urdiales et al. | An improved deep learning architecture for multi-object tracking systems | |
Kim et al. | Online multiple object tracking based on open-set few-shot learning | |
CN113379795B (zh) | 一种基于条件卷积和光流特征的多目标跟踪与分割方法 | |
Lao et al. | Minimum delay object detection from video | |
Mittal et al. | Pedestrian detection and tracking using deformable part models and Kalman filtering | |
JP7459949B2 (ja) | 学習装置、学習方法、追跡装置及びプログラム | |
JP7310904B2 (ja) | 学習装置、学習方法、及び、プログラム | |
Sadli et al. | Aggregated Euclidean distances for a fast and robust real-time 3D-MOT | |
JP6040825B2 (ja) | 物体追跡プログラム、物体追跡方法及び物体追跡装置 | |
Weng et al. | AutoSelect: Automatic and dynamic detection selection for 3D multi-object tracking | |
CN115331120A (zh) | 一种无人机目标人员跟踪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7065557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |