JP7327645B2 - 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムが格納される非一時的なコンピュータ可読媒体に関する。特に映像中の物体を高精度に追跡することが可能な画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムが格納される非一時的なコンピュータ可読媒体に関する。

映像中の物体の追跡を行う技術は、欠陥検査や映像監視など様々な産業で応用が期待されている。特に、映像監視の分野では、不審物や不審人物を長時間追跡することが重要であり、そのために、見失いや乗り移りに対して頑健な手法が求められている。また、レーダーを用いて撮影された物体の追跡においても、長時間追跡は重要である。追跡技術の開発は古くから行われており、なかでも非特許文献１および非特許文献２に記載のＳｔｒｕｃｋやＴＬＤ（Tracking Learning Detection）などの手法が、見失いや乗り移りに対して頑健な手法として知られている。非特許文献１および非特許文献２に記載の追跡技術は、追跡に使用する見えの特徴量の表現力が小さく、追跡精度は限定的であった。

一方、近年、深層学習の発展により、より豊富な画像特徴を取得することが可能となり、検出や認識の精度が向上している。非特許文献３には、これらの利点を活かす形で、深層学習を活用したSiamese構造（双子構造）のネットワークアーキテクチャーを取り入れた追跡手法（追跡技術）が開示されている。

Hare, Sam, et al. "Struck: Structured output tracking with kernels." IEEE transactions on pattern analysis and machine intelligence 38.10 (2015): 2096-2109. Zhong, Wei, Huchuan Lu, and Ming-Hsuan Yang. "Robust object tracking via sparsity-based collaborative model." 2012 IEEE Conference on Computer vision and pattern recognition. IEEE, 2012. Li, Bo, et al. "High performance visual tracking with siamese region proposal network." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. Shibata, Takashi, Masayuki Tanaka, and Masatoshi Okutomi. "Accurate joint geometric camera calibration of visible and far-infrared cameras." Electronic Imaging 2017.11 (2017): 7-13. Shibata, Takashi, Masayuki Tanaka, and Masatoshi Okutomi. "Unified Image Fusion Framework With Learning-Based Application-Adaptive Importance Measure. " IEEE Transactions on Computational Imaging 5.1 (2018): 82-96. Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 (2004): 91-110.

非特許文献３に記載の追跡手法は、豊富な画像特徴を活用することで高い精度で追跡が可能である。しかしながら、非特許文献３に記載の追跡手法は、各フレームの画像特徴のみを用いて追跡をしているだけであり、見失いや乗り移りに対して脆弱であり、長時間追跡、特に映像中の物体を高精度に追跡することが難しいという課題があった。これは、具体的には、追跡対象の変形、遮蔽、すれ違い等が原因である。

本開示の目的は、上述した課題を解決するためになされたものであり、このような乗り移りや見失いに対して頑健に物体を追跡することで、特に映像中の物体を高精度に追跡することが可能な画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムが格納される非一時的なコンピュータ可読媒体を提供することにある。

本開示に係る画像処理装置は、
物体の時系列画像を用いて前記物体の画像特徴を出力する画像特徴算出手段と、
前記画像特徴と前記物体の追跡結果とを用いて前記物体を識別した識別結果を出力する物体識別手段と、
前記識別結果と前記追跡結果とに基づいて複数の運動モデルのうちから適切な運動モデルを選択する運動モデル選択手段と、
前記識別した前記物体から、時系列に前記物体を追跡して前記追跡結果を算出する物体追跡手段と、
を備える。

本開示に係る画像処理システムは、
物体の時系列画像を出力する時系列画像入出力装置と、
前記物体の時系列画像が入力する画像処理装置と、
前記物体ごとの運動モデルと物体情報とを紐づけて格納する運動モデル辞書と、
前記物体の識別結果を出力する識別結果出力装置と、
前記物体の追跡結果を出力する追跡結果出力装置と、
を備え、
前記画像処理装置は、
前記物体の前記時系列画像を用いて前記物体の画像特徴を出力する画像特徴算出手段と、
前記画像特徴と前記物体の前記追跡結果とを用いて前記物体を識別した前記識別結果を出力する物体識別手段と、
前記識別結果と前記追跡結果とに基づいて複数の前記運動モデルのうちから適切な運動モデルを選択する運動モデル選択手段と、
前記識別した前記物体から、時系列に前記物体を追跡して前記追跡結果を算出する物体追跡手段と、を有する。

本開示に係る画像処理方法は、
物体の時系列画像を用いて前記物体の画像特徴を出力することと、
前記画像特徴と前記物体の追跡結果とを用いて前記物体を識別した識別結果を出力することと、
前記識別結果と前記追跡結果とに基づいて複数の運動モデルのうちから適切な運動モデルを選択することと、
前記識別した前記物体から、時系列に前記物体を追跡して前記追跡結果を算出することと、
を備える。

本開示に係る非一時的なコンピュータ可読媒体は、
物体の時系列画像を用いて前記物体の画像特徴を出力することと、
前記画像特徴と前記物体の追跡結果とを用いて前記物体を識別した識別結果を出力することと、
前記識別結果と前記追跡結果とに基づいて複数の運動モデルのうちから適切な運動モデルを選択することと、
前記識別した前記物体から、時系列に前記物体を追跡して前記追跡結果を算出することと、
をコンピュータに実行させる画像処理プログラムが格納される。

本開示によれば、乗り移りや見失いに対して頑健に物体を追跡することで、特に映像中の物体を高精度に追跡することが可能な画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムが格納される非一時的なコンピュータ可読媒体を提供することができる。

実施の形態に係る画像処理装置の構成を例示するブロック図である。 実施の形態に係る画像処理システムの構成を例示するブロック図である。 実施の形態に係る物体位置予測手段の動作を説明する模式図である。 実施の形態に係る物体位置予測手段の動作を説明する模式図である。 実施の形態に係る仮説生成手段の動作を説明する模式図である。 実施の形態に係る仮説選択手段の動作を説明する模式図である。 実施の形態に係る画像処理システムの動作を例示するフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。

［実施の形態］
＜構成＞
実施の形態の構成を説明する。
図１は、実施の形態に係る画像処理装置の構成を例示するブロック図である。
図２は、実施の形態に係る画像処理システムの構成を例示するブロック図である。

図１及び図２に示すように、実施の形態に係る画像処理システム１０Ｓは、時系列画像入出力装置１０と、画像処理装置２０と、運動モデル辞書２１と、識別結果出力装置３０と、追跡結果出力装置３１と、を備える。画像処理装置２０は、プログラム制御により動作するコンピュータなどで実現可能である。画像処理装置を、中央処理装置、プロセッサ、又は、データ処理装置と称することもある。

画像処理装置２０は、画像特徴算出手段２０１と物体識別手段２０２と運動モデル選択手段２０３と物体追跡手段２０４とを備える。物体追跡手段２０４は、物体位置予測手段２０４１と仮説生成手段２０４２と信頼度算出手段２０４３と仮説選択手段２０４４とを備える。

画像処理システム１０Ｓの時系列画像入出力装置１０は、時系列画像（動画）を取得し、取得した時系列画像を画像処理装置２０に出力する。時系列画像とは、例えば、ビデオカメラ等で撮影された画像であってもよいし、一定時間おきに撮影された画像の列であってもよい。時系列画像入出力装置１０は、例えば、カメラや測定用のセンサなどによって取得した１枚以上の画像や測定値を、画像処理装置２０に出力する。画像は、例えば、二次元画像であってもよい。二次元画像、または測定値は、可視画像に限定されない。二次元画像、または測定値は、例えば、センサから取得した画像でもよい。具体的には、温度画像や深度画像などでもよい。時系列画像入出力装置１０は、取得した二次元画像、または測定値を、メモリ（図示せず）等に記憶する。

なお、二次元画像は、カメラから取得した可視画像やセンサから取得したセンサ画像に限定されない。時系列画像入出力装置１０が取得する二次元画像は、例えば、深層学習の途中の処理結果を多チャンネルの画像として取得してもよい。或いは、数値シミュレーションなどを用いて算出したベクトルデータ（速度場、密度場など）を多チャンネルの画像として取得してもよい。時系列画像入出力装置１０は、取得した画像または測定値をメモリ（図示せず）等に記録する。

時系列画像入出力装置１０に入力する画像は、単一のカメラを使用して得られた画像でなくてもよい。たとえば、可視画像と遠赤外画像など、複数のモーダル（modal）の画像を動画像として入力してもよい。その場合には、例えば、非特許文献４の方法などを用いて、これらの画像の位置を合わせてもよい。または、非特許文献５の方法などを用いて、これらの画像から一枚の画像を合成してもよい。

識別結果出力装置３０は、後述する物体識別手段２０２で識別した物体の識別結果を出力する。出力する形式は、出力結果をディスプレイに表示してもよいし、メモリなどの記録装置に出力（記憶）してもよい。

追跡結果出力装置３１は、後述する仮説選択手段２０４４で得られた物体の追跡結果を出力する。出力する形式としては、出力結果をディスプレイに表示してもよいし、メモリなどの記録装置に出力（記憶）してもよい。

画像特徴算出手段２０１は、時系列画像入出力装置１０から入力した画像列（時系列画像）から、画像特徴を抽出する。画像特徴算出手段２０１は、さらに、画像特徴から物体が存在しそうな領域を、物体候補の位置として出力する。

具体的には、画像特徴算出手段２０１は、例えば、非特許文献３に記載の手法のように、双子構造のニューラルネットワークを用いて、画像特徴を抽出してもよい。画像特徴算出手段２０１は、画像特徴を抽出する際に、ニューラルネットワークを用いた特徴抽出を行うのではなく、例えば、非特許文献６に記載の方法のように、勾配ヒストグラムを用いた方法を用いて、画像特徴を抽出してもよい。画像特徴算出手段２０１は、これら画像特徴から、追跡対象としている物体が、現在存在しそうな位置を検出し、これらの位置座標を出力する。

なお、画像特徴算出手段２０１における画像特徴の抽出方法は、これには限定されない。画像特徴算出手段２０１は、例えば、異なる時系列の画像から画像特徴を抽出してもよいし、例えば、ニューラルネットワークを用いた画像特徴抽出の手法と、勾配ヒストグラムを用いた画像特徴抽出の方法とを併用して、画像特徴を抽出してもよい。

物体識別手段２０２は、画像特徴算出手段２０１にて抽出した画像特徴と、後述する仮説選択手段２０４４にて得られた追跡結果とを用いて、追跡対象としている物体を識別する。ここでいう物体の識別とは、例えば、人、車、犬、自転車のようなオブジェクトの種類に関することを識別することを指してもよい。または、赤い服、青い鞄、年齢、性別などの属性情報を識別することを指してもよい。

液体中の泡や異物などという微小物体の種類のことを、オブジェクトの種類と称してもよい。または、走っている、止まっているといった運動の状態のことをオブジェクトの種類と称してもよい。

物体識別手段２０２は、これらオブジェクトの種類や属性情報を、画像特徴と追跡結果とを用いて識別する。以下、これらオブジェクトの種類や属性情報を、物体情報と称する。また、各カテゴリを分ける用語をクラスと称することとする。

ここで、具体的に、画像特徴と追跡結果とを用いて物体情報を取得する方法について説明する。

画像特徴に関しては、例えば、抽出した画像特徴をＤ次元とすると、Ｄ次元の特徴から物体情報を取得するために、例えば、サポートベクターマシンやランダムフォレストといった識別手法を用いて物体情報を取得してもよい。または、全結合によるニューラルネットワークを用いて、物体情報を取得してもよい。なお、一般的に、サポートベクターマシンやランダムフォレストといった識別手法、または、ニューラルネットワークを用いた識別手法では、物体の識別結果における（付随した）信頼度スコア（または確率）を得ることができる。これらの信頼度スコアを、以下では画像特徴信頼度スコアと称する。

一方、追跡結果より物体情報を取得する方法としては、画像特徴と同様に、追跡結果の動きをベクトル化し、これらのベクトルを特徴とし、例えば、サポートベクターマシンやランダムフォレストといった識別手法を用いて物体情報を取得してもよい。または、全結合によるニューラルネットワークを用いて物体情報を取得してもよい。なお、一般的に、サポートベクターマシンやランダムフォレストといった識別手法、または、ニューラルネットワークを用いた識別手法では、識別結果に付随した信頼度を得ることができる。これらの信頼度を、以下では追跡結果信頼度と称することにする。

物体識別手段２０２は、これら画像特徴より得られた物体情報と、追跡結果より得られた物体情報を統合し、物体情報を取得する。なお、ここで、統合とは、例えば、画像特徴信頼度と追跡結果信頼度とを、加算、または積算することを意味し、これらの統合したスコアが最も高いクラスを物体情報として出力する。

運動モデル辞書２１は、複数の物体の物体情報ごとに運動モデルを格納する。例えば、物体情報が液体中の泡や異物である場合、泡は液体の上に有り、異物は下に沈むといった運動特性がある。このような運動特性をモデル化した運動モデルを運動モデル辞書２１に格納する。また、例えば、物体情報の物体が、車や人である場合、人は移動速度が遅い、車は移動速度が速い、または、両方ともに静止している状態もあるという運動特性をモデル化した運動モデルを運動モデル辞書２１に格納する。なお、運動モデル辞書２１は、各運動モデルの物体情報と運動状態（運動特性）を特徴ベクトルで表し、これら特徴ベクトルと運動モデルを紐付ける形で格納してもよい。

運動モデル選択手段２０３は、物体識別手段２０２で得られた（物体の）識別結果と、仮説選択手段２０４４で得られた追跡結果とに基づいて、運動モデル辞書に格納されている複数の運動モデルのうちから適切な運動モデルを選択する。具体的には、運動モデル選択手段２０３は、物体識別手段２０２にて識別された物体情報と、仮説選択手段２０４４にて選択された追跡結果と、に基づいて得られる運動状態を特徴ベクトルとして算出する。運動モデル選択手段２０３は、該特徴ベクトルと最も近い距離にある運動モデル辞書２１中の特徴ベクトルに紐付いた運動モデルを、適切な運動モデルとして選択してもよい。

物体追跡手段２０４は、識別した物体から、時系列に物体を追跡して、物体の追跡結果を算出する。

物体位置予測手段２０４１は、運動モデル選択手段２０３にて選択された適切な運動モデルを用いて、対象となるフレームの前フレームにおける物体の検出位置から、対象となるフレームにおける物体位置（物体の位置）を予測する。

ここで、物体位置予測手段２０４１の動作を詳細に説明する。
図３は、実施の形態に係る物体位置予測手段の動作を説明する模式図である。
図４は、実施の形態に係る物体位置予測手段の動作を説明する模式図である。

図３は、ｔ－３番目のフレーム、ｔ－２番目のフレーム、ｔ－１番目のフレーム、ｔ番目のフレームを示し、矢印は追跡の後を示す。
図３の左側の図は、画像特徴算出手段２０１にて、ｔ番目のフレームの物体候補の位置を検出した様子を示し、図３の右側の図は、物体位置予測手段２０４１にて、ｔ番目のフレームの動きを、ｔ－１番目のフレームの検出位置と運動モデルに基づいて予測した様子を示す。
図３に示す黒点と白点は、それぞれ異なる種類の物体情報を示す。
図３において、ｔ番目のフレームには、画像特徴算出手段２０１にて画像特徴を算出した結果、複数個（合計７個）の物体候補が追跡の候補として検出されている様子を示す。

図３の右側の図に示すように、物体位置予測手段２０４１は、ｔ－１番目のフレームにて選択されている運動モデルを用いて、ｔ番目の物体の位置を予測する。具体的には、例えば、ｔ－１番目のフレームにおける黒点Ｐｔ－１は、ｔ番目のフレームにおいて楕円形の領域Ｃｔのどこかに存在する確率が高いと運動物体モデルから予測される。一方で、ｔ－１番目のフレームにおける白点Ｑｔ－１は、ｔ番目のフレームにおいて、円状の領域Ｄｔのどこかに存在する確率が高いと運動物体モデルから予測される。

なお、物体位置予測手段２０４１は、上記の動作に限定されない。物体位置予測手段２０４１は、対象となるフレームの前フレームにおける物体の位置を、対象となるフレームにおける物体の位置から予測してもよい。

例えば、図４に示すように、物体位置予測手段２０４１は、図４の右側の図に示すように、ｔ番目のフレームにて選択されている運動モデルを用いてｔ－１番目の物体の位置を予測してもよい（ｔ－１番目のフレームの動きを、ｔ番目の検出位置と運動モデルから予測）。すなわち、ｔ番目のフレームにおける黒点Ｐｔは、ｔ－１番目のフレームにおいて楕円形の領域Ｃｔ－１のどこかに存在する確率が高いと運動物体モデルより予測される。このような動作を、ｔ番目のすべてのフレームについて行ってもよい。

また、物体位置予測手段２０４１は、上記の動作に限定されない。例えば、物体位置予測手段２０４１は、ｔ番目のフレームにて選択されている運動モデルを用いて、ｔ－１番目の物体の位置を予測し、さらにｔ－１番目のフレームにて選択されている運動モデルを用いて、ｔ番目の物体の位置を予測し、これらの予測結果を統合して、物体位置の予測を行ってもよい。

仮説生成手段２０４２は、物体位置予測手段２０４１にて予測された物体位置から物体の軌跡の候補を仮説として生成する。

ここで、仮説生成手段２０４２の動作を詳細に説明する。
図５は、実施の形態に係る仮説生成手段の動作を説明する模式図である。
図５の左側の図は、ｔ番目のフレームで検出された物体の動き（具体的には、ｔ番目のフレームにおける領域Ｃｔと領域Ｄｔ）を、ｔ－１番目のフレームにて選択された運動モデルを用いて予測した結果を示す。ここで、領域Ｃｔおよび領域Ｄｔは、運動モデルを用いた結果、ｔ番目のフレームで追跡対象が存在する確率が高いと算出された領域である。

仮説生成手段２０４２は、上述した追跡対象が存在する確率が高いと算出され予測された領域Ｃｔ内に有り、かつ、同一の種類の物体であるとされた点（検出対象）を選択し、軌跡の候補として結んで仮説（軌跡の候補）を生成する。具体的には、図５の右側の図に示すように、ｔ－１番目のフレームにおける黒点Ｐｔ－１は、ｔ番目のフレームにおける領域Ｃｔ内の２つの黒点が軌跡の候補として結ばれる。また、ｔ－１番目のフレームにおける白点Ｑｔ－１は、ｔ番目のフレームにおける領域Ｄｔ内の３つの白点が、軌跡の候補として結ばれる。

なお、ｔ－１番目のフレームにおける黒点Ｐｔは、ｔ番目のフレームにおいても同一種類の検出物体（すなわち黒点）としか結ばれない。このため、ｔ番目のフレームで追跡対象が存在する確率が高いとされた領域内に白点が存在しても、追跡対象の軌跡の候補として白点とは結ばれない。

信頼度算出手段２０４３は、物体の識別結果における信頼度を物体信頼度として算出し、物体位置予測手段２０４１が予測した物体の位置と、対象となる当該フレームにおける物体の検出位置と、の距離に応じた信頼度を、動き信頼度として算出する。信頼度算出手段２０４３は、物体信頼度と動き信頼度とを統合することで各仮説の信頼度を算出する。

具体的には、物体信頼度とは、物体識別手段２０２にて出力される識別結果に付随した信頼度スコア（または確率）に基づいた値を指す。すなわち、これらの画像特徴信頼度スコアに対する単調増加関数を物体信頼度として用いる。

動き信頼度は、物体位置予測手段２０４１にて予測された物体位置の領域（範囲）と、予測先のフレームの検出位置の距離に応じて、その距離が近いほど動き信頼度の値が大きくなる量として算出する。例えば、物体位置予測手段２０４１にて予測された物体位置の領域（範囲）と、予測先のフレームの検出位置の距離を算出し、この距離の単調減少関数として動き信頼度を定義すればよい。信頼度算出手段２０４３は、最後に、これらの物体信頼度と動き信頼度を統合し信頼度を算出する。

仮説選択手段２０４４は、信頼度算出手段２０４３が算出した仮説の信頼度について、すべてのフレームでの仮説の信頼度を積算する。仮説選択手段２０４４は、積算した累積信頼度が最も高い仮説を、得られた仮説の信頼度のうちから、追跡結果として選択する。尚、すべてのフレームではなく、所定のフレームとしてもよい。

ここで、仮説選択手段２０４４の動作を詳細に説明する。
図６は、実施の形態に係る仮説選択手段の動作を説明する模式図である。
図６の左側の図は、仮説生成手段２０４２により、予測された領域内にある検出対象を選択し、これらから、仮説（すなわち、軌跡の候補）を生成する様子を示す。

図６の右側の図に示すように、仮説選択手段２０４４は、信頼度算出手段２０４３が算出した各仮説（軌跡の候補）の信頼度のうち、信頼度が最も大きい仮説を、追跡対象の軌跡として選択する。その結果、ｔ番目のフレームにおいても軌跡を確立する。この確立した軌跡を追跡結果とする。

＜動作＞
実施の形態の動作を説明する。
図７は、実施の形態に係る画像処理システムの動作を例示するフローチャートである。

図７に示すように、時系列画像入出力装置１０は、時系列画像（動画）を入力（取得）し、取得した時系列画像を画像特徴算出手段２０１に出力する（ステップＳ２０１）。

運動モデル辞書２１は、物体ごとの運動モデルを格納する（ステップＳ２０２）。

画像特徴算出手段２０１は、時系列画像を用いて画像特徴を抽出する（ステップＳ２０３ａ）。物体識別手段２０２は、画像特徴算出手段２０１が抽出した画像特徴と、仮説選択手段２０４４で得られた追跡結果と、に基づいて物体を識別する（ステップＳ２０３ｂ）。

運動モデル選択手段２０３は、物体識別手段２０２で得られた識別結果と、仮説選択手段２０４４で得られた追跡結果とから、運動モデル辞書２１に格納されている運動モデルのうち適切な運動モデルを選択する（ステップＳ２０４）。

物体位置予測手段２０４１は、運動モデル選択手段２０３が選択した適切な運動モデルを用いて、フレームの物体位置を予測する（ステップＳ２０５）。

仮説生成手段２０４２は、物体位置予測手段２０４１が予測した予測位置領域内に有る（存在する）物体を結んで仮説を生成する（ステップＳ２０６）。

信頼度算出手段２０４３は、物体の識別結果と予測された物体位置（物体の位置）とから信頼度を算出する（ステップＳ２０７）。

仮説選択手段２０４４は、ステップＳ２０６で得られた仮説のうち、積算した累積信頼度が（最も）高い仮説を、追跡結果として選択する（ステップＳ２０８）。

識別結果出力装置３０は、識別結果を出力する（ステップＳ２０９）。

追跡結果出力装置３１は、追跡結果を出力する（ステップＳ２１０）。

＜効果＞
実施の形態の効果を説明する。
実施の形態に係る画像処理装置２０は、
物体の時系列画像を用いて物体の画像特徴を出力する画像特徴算出手段２０１と、
画像特徴と物体の追跡結果とを用いて物体を識別した識別結果を出力する物体識別手段２０２と、
識別結果と追跡結果とに基づいて複数の運動モデルのうちから適切な運動モデルを選択する運動モデル選択手段２０３と、
識別した物体から、時系列に物体を追跡して追跡結果を算出する物体追跡手段２０４と、を備える。

また、物体追跡手段２０４は、
適切な運動モデルを用いて、対象となるフレームの前フレームにおける物体の位置から、対象となるフレームにおける物体の位置を予測する物体位置予測手段２０４１と、
予測された物体の位置から物体の軌跡の候補を仮説として生成する仮説生成手段２０４２と、
物体の識別結果における信頼度を物体信頼度として算出し、予測した物体の位置と、フレームにおける物体の検出位置と、の間の距離に応じた信頼度を、動き信頼度として算出し、物体信頼度と動き信頼度とを統合することで仮説の信頼度を算出する信頼度算出手段２０４３と、
所定のフレームでの仮説の信頼度を積算し、積算した累積信頼度が最も高い仮説を、複数の仮説のうちから、追跡結果として選択する仮説選択手段２０４４と、
を有する。

上記のような構成を有することにより、特に映像中の物体を高精度に追跡することが可能な画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムが格納される非一時的なコンピュータ可読媒体を提供することができる。

理由は、実施の形態では、物体識別手段２０２は、画像特徴算出手段２０１が算出（抽出）した画像特徴と、仮説選択手段２０４４が算出した追跡結果と、を用いて物体を識別する。そして、物体識別手段２０２で得られた識別結果と、仮説選択手段２０４４で得られた追跡結果とから、運動モデル選択手段２０３にて、運動モデル辞書２１に格納された複数の運動モデルのうちから適切な運動モデルを選択する。これにより、追跡を行う際、物体の種類や属性に応じて最適な運動モデルを用いて追跡を行うことができるからである。

具体的には、同じような動きをしている追跡対象であるが画像特徴が大きく異なる２つ以上の追跡対象が存在していた場合、または、同じような画像特徴ではあるが動きが大きく異なる２つ以上の追跡対象が存在していた場合であっても、実施の形態を用いることでより、正確に追跡が可能となるからである。

尚、上記の実施の形態では、本発明をハードウェアの構成として説明したが、本発明はこれに限定されるものではない。本発明は、各構成要素の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

また、具体的には、画像処理システムの各装置は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（Random Access Memory）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（Central Processing Unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。

上記の実施の形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実態のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（具体的にはフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（具体的には光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（具体的には、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ(Erasable PROM)）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

尚、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０：時系列画像入出力装置
１０Ｓ：画像処理システム
２０：画像処理装置
２１：運動モデル辞書
２０１：画像特徴算出手段
２０２：物体識別手段
２０３：運動モデル選択手段
２０４：物体追跡手段
２０４１：物体位置予測手段
２０４２：仮説生成手段
２０４３：信頼度算出手段
２０４４：仮説選択手段
３０：識別結果出力装置
３１：追跡結果出力装置
Ｐｔ－１、Ｐｔ：黒点
Ｑｔ－１：白点
Ｃｔ、Ｃｔ－１、Ｄｔ、：領域

Claims (6)

1. 物体の時系列画像を用いて前記物体の画像特徴を出力する画像特徴算出手段と、
   前記画像特徴と前記物体の追跡結果とを用いて前記物体を識別した識別結果を出力する物体識別手段と、
   前記識別結果と前記追跡結果とに基づいて複数の運動モデルのうちから適切な運動モデルを選択する運動モデル選択手段と、
   前記識別した前記物体から、時系列に前記物体を追跡して前記追跡結果を算出する物体追跡手段と、
   を備え、
   前記物体追跡手段は、
   前記適切な運動モデルを用いて、対象となるフレームの前フレームにおける前記物体の位置から、前記対象となるフレームにおける前記物体の位置を予測する物体位置予測手段と、
   前記予測された前記物体の位置から前記物体の軌跡の候補を仮説として生成する仮説生成手段と、
   前記物体の前記識別結果における信頼度を物体信頼度として算出し、前記予測した前記物体の位置と、前記フレームにおける前記物体の検出位置と、の間の距離に応じた信頼度を、動き信頼度として算出し、前記物体信頼度と前記動き信頼度とを統合することで仮説の信頼度を算出する信頼度算出手段と、
   所定のフレームでの前記仮説の信頼度を積算し、前記積算した累積信頼度が最も高い前記仮説を、複数の前記仮説のうちから、前記追跡結果として選択する仮説選択手段と、
   を有する、
   画像処理装置。
2. 前記物体位置予測手段は、
   前記前フレームにおける前記物体の位置を、前記対象となるフレームにおける前記物体の位置から予測する、
   請求項１に記載の画像処理装置。
3. 前記運動モデル選択手段は、
   前記識別結果である物体情報と前記追跡結果とに基づいて特徴ベクトルを算出し、
   前記複数の運動モデルに紐づけられた特徴ベクトルのうち、前記算出した特徴ベクトルと最も近い距離にある特徴ベクトルに紐付いた運動モデルを、前記適切な運動モデルとして選択する、
   請求項１または２に記載の画像処理装置。
4. 物体の時系列画像を出力する時系列画像入出力装置と、
   前記物体の時系列画像が入力する画像処理装置と、
   前記物体ごとの運動モデルと物体情報とを紐づけて格納する運動モデル辞書と、
   前記物体の識別結果を出力する識別結果出力装置と、
   前記物体の追跡結果を出力する追跡結果出力装置と、
   を備え、
   前記画像処理装置は、
   前記物体の前記時系列画像を用いて前記物体の画像特徴を出力する画像特徴算出手段と、
   前記画像特徴と前記物体の前記追跡結果とを用いて前記物体を識別した前記識別結果を出力する物体識別手段と、
   前記識別結果と前記追跡結果とに基づいて複数の前記運動モデルのうちから適切な運動モデルを選択する運動モデル選択手段と、
   前記識別した前記物体から、時系列に前記物体を追跡して前記追跡結果を算出する物体追跡手段と、を有し、
   前記物体追跡手段は、
   前記適切な運動モデルを用いて、対象となるフレームの前フレームにおける前記物体の位置から、前記対象となるフレームにおける前記物体の位置を予測する物体位置予測手段と、
   前記予測された前記物体の位置から前記物体の軌跡の候補を仮説として生成する仮説生成手段と、
   前記物体の前記識別結果における信頼度を物体信頼度として算出し、前記予測した前記物体の位置と、前記フレームにおける前記物体の検出位置と、の間の距離に応じた信頼度を、動き信頼度として算出し、前記物体信頼度と前記動き信頼度とを統合することで仮説の信頼度を算出する信頼度算出手段と、
   所定のフレームでの前記仮説の信頼度を積算し、前記積算した累積信頼度が最も高い前記仮説を、複数の前記仮説のうちから、前記追跡結果として選択する仮説選択手段と、
   を有する、
   画像処理システム。
5. 物体の時系列画像を用いて前記物体の画像特徴を出力することと、
   前記画像特徴と前記物体の追跡結果とを用いて前記物体を識別した識別結果を出力することと、
   前記識別結果と前記追跡結果とに基づいて複数の運動モデルのうちから適切な運動モデルを選択することと、
   前記識別した前記物体から、時系列に前記物体を追跡して前記追跡結果を算出することと、
   を備え、
   前記追跡結果を算出することは、
   前記適切な運動モデルを用いて、対象となるフレームの前フレームにおける前記物体の位置から、前記対象となるフレームにおける前記物体の位置を予測することと、
   前記予測された前記物体の位置から前記物体の軌跡の候補を仮説として生成することと、
   前記物体の前記識別結果における信頼度を物体信頼度として算出し、前記予測した前記物体の位置と、前記フレームにおける前記物体の検出位置と、の間の距離に応じた信頼度を、動き信頼度として算出し、前記物体信頼度と前記動き信頼度とを統合することで仮説の信頼度を算出することと、
   所定のフレームでの前記仮説の信頼度を積算し、前記積算した累積信頼度が最も高い前記仮説を、複数の前記仮説のうちから、前記追跡結果として選択することと、
   を有する、
   画像処理方法。
6. 物体の時系列画像を用いて前記物体の画像特徴を出力することと、
   前記画像特徴と前記物体の追跡結果とを用いて前記物体を識別した識別結果を出力することと、
   前記識別結果と前記追跡結果とに基づいて複数の運動モデルのうちから適切な運動モデルを選択することと、
   前記識別した前記物体から、時系列に前記物体を追跡して前記追跡結果を算出することと、
   をコンピュータに実行させる画像処理プログラムであって、
   前記追跡結果を算出することは、
   前記適切な運動モデルを用いて、対象となるフレームの前フレームにおける前記物体の位置から、前記対象となるフレームにおける前記物体の位置を予測することと、
   前記予測された前記物体の位置から前記物体の軌跡の候補を仮説として生成することと、
   前記物体の前記識別結果における信頼度を物体信頼度として算出し、前記予測した前記物体の位置と、前記フレームにおける前記物体の検出位置と、の間の距離に応じた信頼度を、動き信頼度として算出し、前記物体信頼度と前記動き信頼度とを統合することで仮説の信頼度を算出することと、
   所定のフレームでの前記仮説の信頼度を積算し、前記積算した累積信頼度が最も高い前記仮説を、複数の前記仮説のうちから、前記追跡結果として選択することと、
   を有する、
   画像処理プログラム。

Images