JPWO2009113231A1

JPWO2009113231A1 - 画像処理装置および画像処理方法

Info

Publication number: JPWO2009113231A1
Application number: JP2009527636A
Authority: JP
Inventors: 渉一池上
Original assignee: Sony Interactive Entertainment Inc; Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2008-03-14
Filing date: 2009-01-28
Publication date: 2011-07-21
Anticipated expiration: 2029-01-28
Also published as: JP4756660B2; US20100128927A1; US8331619B2; WO2009113231A1

Abstract

対象物の輪郭を画像の内容に関わらず高速に抽出し、さらに撮影環境が変化しても高精度に視覚追跡を行うことを目的とした対象物追跡装置である。まず、前景抽出や顔検出などの手法により入力画像から追跡対象の領域を検出し、重心、大きさ、傾きなどの特徴量を取得する（Ｓ１４０）。次に、仮に設定した内部パラメータの値を用いて、エッジ画像生成、パーティクル生成、遷移を行い、尤度を観測することにより確率密度分布を求めて輪郭を推定する（Ｓ１４２、Ｓ１４４、Ｓ１４６）。推定した輪郭から得られる特徴量と、Ｓ１４０で取得した、追跡対象の領域の特徴量とを比較し（Ｓ１４８）、両者の一致の度合いが基準値より小さい場合は仮設定の値が不適切であると判断し、仮設定をし直す（Ｓ１５０のＮ、Ｓ１４２）。一致の度合いが基準値より小さい場合は、当該パラメータの値を最終値として決定する（Ｓ１５０のＹ、Ｓ１５２）。

Description

本発明は情報処理技術に関し、特に画像を解析して特徴を抽出する画像処理装置およびそこで実行される画像処理方法に関する。

近年の画像処理技術、情報処理装置の発達により、画像を生成する技術はもとより、画像解析を用いた様々な技術が提案されている。中でも対象物の輪郭を抽出する技術は、視覚追跡、コンピュータビジョン、医療画像の解析、レタッチなど幅広い分野でキーとなる技術である。画像内の対象物の輪郭線は、エッジの一部として捉えることができるため、輪郭線の抽出にエッジ抽出フィルタを用いる場合も多い。例えば視覚追跡技術におけるCondensation(Conditional Density Propagation)アルゴリズムでは、有限個のパーティクルを用いて追跡対象の存在確率分布を表現し、一のパーティクルによって定まる、追跡対象と同一形状を有する候補の輪郭線を、エッジ画像とマッチングすることにより、各パーティクルの尤度を観測し、次の存在確率分布を推定する（例えば非特許文献１から３参照）。

一方、輪郭線を抽出する技術として、対象物の輪郭線のモデルを閉曲線で表現し、あらかじめ定義したエネルギー関数が最小となるように当該閉曲線を変形していくことにより対象物の輪郭を推定する動的輪郭モデル（スネークス）も提案されている（特許文献１または２参照）。
Contour tracking by stochastic propagation of conditional density, Michael Isard and Andrew Blake, Proc. European Conf. on Computer Vision, vol. 1, pp.343-356, Cambridge UK (1996) CONDENSATION - conditional density propagation for visual tracking, Michael Isard and Andrew Blake, Int. J. Computer Vision, 29, 1, 5-28 (1998) ICondensation: Unifying low-level and high-level tracking in a stochastic framework, Michael Isard and Andrew Blake, Proc 5th European Conf. Computer Vision, 1998 特開平９−１３８４７１号公報特開平８−３２９２５４号公報

一般的なエッジ抽出フィルタでは、撮影条件や設定パラメータによって、輪郭以外の詳細な影や模様が抽出されたり、輪郭線が途切れたり抽出されなかったり、といったことが往々にして発生する。これはエッジ抽出フィルタにおいて、フィルタリングで得られた中間値に対するしきい値によってエッジ領域を決定するため、しきい値の設定によって画面全体のエッジ抽出頻度が変化してしまい、輪郭線のみを抽出するのが困難な場合があることに起因する。一方、動的輪郭モデルでは、対象物ごとに輪郭モデルの初期設定が必要であったり、最終結果が初期設定に影響される、といった問題がある。さらに計算量が多いため、上述の視覚追跡技術など、動画における対象物の輪郭を逐次求める場合に、対象物の形状の変化に追従できないなどの問題もある。

また、Condensationアルゴリズムを用いて対象物の追跡を行うためには、様々な内部パラメータを設定する必要がある。例えば、遷移後のパーティクルの尤度を観測するためには、候補の輪郭線と真の輪郭線とのマッチングをとるため入力画像のエッジ画像を生成するが、その際のエッジ抽出条件を事前に設定する必要がある。その他、パーティクルの初期分布や運動モデルを規定するパラメータなども設定する必要がある。これらの内部パラメータは、入力画像の明るさや対象物の初期位置、動きなどの状態に応じて最適値が変化するため、様々な撮影環境に対して追跡精度を維持するためには、撮影環境に応じた調整が必要となる。ところが内部パラメータであるが故、画面の明るさ調整などのようにユーザが感覚に基づき容易に調整できるものではなく、いかなる環境で撮影した画像にも適応できる追跡装置を実現することは困難であった。

本発明はこのような課題に鑑みてなされたものであり、その目的は対象物の輪郭を画像の内容に関わらず高速に抽出する技術を提供することにある。さらに撮影環境が変化しても高精度に視覚追跡を行うことのできる技術を提供することにある。

本発明のある態様は対象物追跡装置に関する。この対象物追跡装置は、追跡したい対象物を撮影した動画像を構成する第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける対象物の推定存在確率分布に基づき、第２の画像フレームにおける対象物の候補輪郭を定め、第２の画像フレームのエッジ画像とマッチングして候補輪郭の尤度を観測し、第２の画像フレームにおける対象物の存在確率分布を推定することにより対象物の追跡処理を行う追跡処理部と、第１の画像フレームにおける対象物の領域を所定の分析手法により検出し、当該領域を表す所定の特徴量を取得する追跡対象領域検出部と、追跡処理部が追跡処理に用いるパラメータの少なくともいずれかの値を仮に設定して第１の画像フレームにおける対象物の推定存在確率分布を求め、それに基づき対象物の輪郭を推定する初期輪郭推定部と、初期輪郭推定部が推定した輪郭に基づく対象物の領域の特徴量と、追跡対象領域検出部が取得した特徴量とを比較し、比較結果が所定の条件を満たすとき、初期輪郭推定部が仮に設定したパラメータの値を適用して追跡処理部に追跡処理を開始させる初期値判定部と、を備えたことを特徴とする。

ここで「第１の画像フレーム」と「第２の画像フレーム」は、画像ストリームにおいて隣接する画像フレームでもよいし、離れて位置する画像フレームでもよい。時間軸の順方向へ追跡していく一般的な対象物追跡においては、「第１の画像フレーム」は「第２の画像フレーム」より時間的に前の画像フレームであるが、本実施の形態はこれに限らない。

「存在確率分布」は、対象物の画像フレーム内の位置座標に対する存在確率分布であってもよいし、形状、色、大きさなど対象物の有する属性のいずれかまたはそれらの組み合わせを表すパラメータが張る空間に対する存在確率分布であってもよい。「候補輪郭」は対象物の一部または全体の輪郭線の候補を表す図形である。また「尤度」は候補輪郭がどの程度対象物と近い態様となっているかを表す度合いであり、例えば対象物との重なり具合、対象物との距離などを数値で示したものなどである。

本発明の別の態様は対象物追跡方法に関する。この対象物追跡方法は、コンピュータが、追跡したい対象物を撮影した動画像を構成する第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける対象物の推定存在確率分布に基づき、第２の画像フレームにおける対象物の候補輪郭を定め、第２の画像フレームのエッジ画像とマッチングして候補輪郭の尤度を観測し、第２の画像フレームにおける対象物の存在確率分布を推定することにより対象物の追跡処理を行う方法であって、動画像を記憶したメモリから第１の画像フレームを読み出し、当該画像フレームにおける対象物の領域を所定の分析手法により検出し、当該領域を表す所定の特徴量を取得するステップと、追跡処理に用いるパラメータの少なくともいずれかの値を仮に設定して第１の画像フレームにおける対象物の推定存在確率分布を求め、それに基づき対象物の輪郭を推定するステップと、特徴量を取得するステップにおいて取得した特徴量と、輪郭を推定するステップにおいて推定した輪郭に基づく対象物の領域の特徴量とを比較し、比較結果が所定の条件を満たすとき、仮に設定したパラメータの値を適用して追跡処理を開始するステップと、を含むことを特徴とする。

本発明のさらに別の態様は画像処理装置に関する。この画像処理装置は、画像の階調数を下げた低階調画像を生成する低階調化部と、低階調化部が生成した低階調画像からエッジを抽出して、元の画像における被写体の輪郭線を強調した輪郭画像を生成する輪郭画像生成部と、を備えたことを特徴とする。

この画像処理装置は、追跡したい対象を撮影した動画像データを構成する画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける追跡対象物の推定存在確率分布に基づき、第２の画像フレームにおける追跡対象物の候補輪郭を決定する候補輪郭決定部と、候補輪郭決定部が決定した候補輪郭と、輪郭画像生成部が生成した第２の画像フレームの輪郭画像とをマッチングして、候補輪郭の尤度を観測する観測部と、観測部が観測した尤度に基づき、第２の画像フレームにおける対象物の存在確率分布を推定する追跡結果取得部と、をさらに備えてもよい。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、メモリに保存された画像を読み出し、階調数を下げた低階調画像を生成するステップと、低階調画像からエッジを抽出して、元の画像における被写体の輪郭線を強調した輪郭画像を生成するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、入力画像の撮影環境に適応する視覚追跡装置を実現できる。

人物を追跡対象とした場合の視覚追跡手法を説明するための図である。パーティクルフィルタを用いた確率密度推定の手法を説明する図である。実施の形態１における視覚追跡システムの構成例を示す図である。実施の形態１における追跡装置の構成を詳細に示す図である。実施の形態１における追跡処理の手順を示すフローチャートである。実施の形態１における観測部の構成をより詳細に示す図である。実施の形態１において画像記憶部に格納された輪郭画像から、切り出された領域の画像データを各ローカルメモリにコピーする様子を模式的に示す図である。実施の形態１において輪郭探索部の第１処理部、第２処理部、・・・、第Ｎ処理部が輪郭探索処理を行う際の処理の推移を模式的に示す図である。実施の形態１における輪郭画像生成部の詳細な構成を示す図である。一般的なエッジ抽出処理と本実施の形態における輪郭画像生成処理との差を説明するための図である。処理対象である原画像の例を示す図である。図１１の原画像に対し一般的なエッジ画像生成手法で生成したエッジ画像を示す図である。図１１の原画像に対し一般的なエッジ画像生成手法で生成したエッジ画像を示す図である。実施の形態１において図１１で示した原画像に本実施の形態の輪郭画像生成処理を施した際、中間画像として得られる低階調化画像を示す図である。図１４の低階調化画像にエッジ抽出処理を施して生成される輪郭画像を示す図である。実施の形態２における追跡装置の構成を詳細に示す図である。実施の形態２における追跡処理の手順を示すフローチャートである。実施の形態２において環境依存パラメータ設定の処理手順を示すフローチャートである。実施の形態２における追跡環境設定部が環境依存パラメータを決定する様子を模式的に示す図である。実施の形態２の追跡環境設定部において環境依存パラメータを仮に設定する際の設定順序について説明するための図である。

符号の説明

１０視覚追跡システム、１２撮像装置、１４追跡装置、１６表示装置、２０画像取得部、２２輪郭画像生成部、２４画像記憶部、２６追跡処理部、２８追跡開始終了判定部、２９サンプリング部、３０観測部、３４結果取得部、３６結果記憶部、４０出力制御部、５０輪郭画像切り出し部、５２輪郭探索タスクキュー、５４尤度取得部、５６輪郭探索部、５８ａ第１処理部、６０ａローカルメモリ、６２平滑化フィルタ、６４低階調化部、６６エッジ抽出フィルタ、１２０画像処理部、１２４追跡環境設定部、１２６追跡対象領域検出部、１２８初期輪郭推定部、１３０初期値判定部、１３２追跡処理部、１３６観測部、１３８結果取得部。

実施の形態１
初めに、本実施の形態の特徴および効果を明らかにするために、パーティクルフィルタによる視覚追跡について概説する。図１は人物を追跡対象とした場合の視覚追跡手法を説明するための図である。人物画像１５０は実写した動画像やコンピュータグラフィックスなどにより生成された動画像の画像ストリームを構成する画像フレームのひとつであり、追跡対象である人物１５２が写っている。

この人物１５２の動きを追跡するために、人物１５２の頭部輪郭の形状を近似するΩ形の曲線１５４を既知の表現で記述する。一方、人物１５２を含む人物画像１５０にはエッジ抽出処理を施し、エッジ画像を取得しておく。そして曲線１５４を規定するパラメータを変化させながら形状および位置を変化させて、その近傍にあるエッジを探索することにより、人物１５２の頭部輪郭と最もマッチすると推定されるパラメータの値を特定する。以上の処理をフレームごとに繰り返すことにより人物１５２の追跡が進捗する。ここでエッジとは一般的には画像の濃度や色に急な変化を有する箇所のことである。

様々な曲線１５４と人物１５２の頭部輪郭とのマッチングを行うために、パーティクルフィルタによる確率分布予測技術を導入する。すなわち、ひとつ前のフレームにおけるパラメータ空間上の対象物の確率分布に応じて曲線１５４のサンプリング数を増減させ、追跡候補の絞り込みを行う。これにより存在確率の高い部分に対しては重点的に探索を行うことができ、精度のよいマッチングが効率的に行える。

対象物の輪郭に着目した追跡に対するパーティクルフィルタの適用手法は、例えば非特許文献３（ICondensation: Unifying low-level and high-level tracking in a stochastic framework, Michael Isard and Andrew Blake, Proc 5th European Conf. Computer Vision, 1998）に詳述されている。ここでは本実施の形態に係る点に着目して説明する。

まずΩ形の曲線１５４を、Ｂスプライン曲線で記述する。Ｂスプライン曲線はｎ個の制御点列（Ｑ０，・・・，Ｑｎ）とノット列（ｓ０，・・・，ｓｎ）とから定義される。そして基本となる曲線形状、この場合はΩ形の曲線となるように、それらのパラメータをあらかじめ設定しておく。このときの設定によって得られる曲線を以後、テンプレートＱ０と呼ぶ。なお、図１で示した人物画像１５０における人物１５２の追跡を行う場合は、テンプレートＱ０はΩ形であるが、その形状は追跡対象によって変化させる。すなわち追跡対象がボールであれば円形、手のひらであれば手の形状などとなる。

次にテンプレートの形状を変化させるための変換パラメータとして、形状空間ベクトルｘを準備する。形状空間ベクトルｘは以下のような６つのパラメータで構成される。

ここで（shift_ｘ，shift_ｙ）は（ｘ，ｙ）方向への並進量、（extend_ｘ，extend_ｙ）は倍率、θは回転角である。そして形状空間ベクトルｘをテンプレートＱ_０に作用させるための作用行列Ｗを用いると、変形後の曲線、すなわち候補曲線Ｑは以下のように記述できる。

式２を用いれば、形状空間ベクトルｘを構成する６つのパラメータを適宜変化させることにより、テンプレートを並進、伸縮、回転させることができ、組み合わせによって候補曲線Ｑの形状や位置を種々変化させることができる。

そして、制御点列、およびノット列の間隔といったテンプレートＱ_０のパラメータや、形状空間ベクトルｘを構成する６つのパラメータを変化させることによって表現される複数の候補曲線について、各ノットの近傍にある人物１５２のエッジを探索する。その後、エッジとの距離などから各候補曲線の尤度を求めることにより、形状空間ベクトルｘを構成する６つのパラメータが張る６次元空間における確率密度分布を推定する。

図２はパーティクルフィルタを用いた確率密度分布推定の手法を説明する図である。同図では理解を簡単にするために、形状空間ベクトルｘを構成する６つのパラメータのうち、あるパラメータｘ１の変化を横軸に表しているが、実際には６次元空間において同様の処理が行われる。ここで確率密度分布を推定したい画像フレームが時刻ｔの画像フレームであるとする。

まず、時刻ｔの画像フレームのひとつ前のフレームである時刻ｔ−１の画像フレームにおいて推定された、パラメータｘ１軸上の確率密度分布を用いて（Ｓ１０）、時刻ｔにおけるパーティクルを生成する（Ｓ１２）。それまでにフィルタリングを行い、すでにパーティクルが存在する場合は、その分裂、および消滅を決定する。Ｓ１０において表した確率密度分布は、パラメータ空間上の座標に対応して離散的に求められたものであり、円が大きいほど確率密度が高いことを表している。

パーティクルはサンプリングするパラメータｘ１の値とサンプリング密度とを実体化したものであり、例えば時刻ｔ−１において確率密度が高かったパラメータｘ１の領域は、パーティクル密度を高くすることで重点的にサンプリングを行い、確率密度の低かった範囲はパーティクルを少なくすることでサンプリングをあまり行わない。これにより、例えば人物１５２のエッジ近傍において候補曲線を多く発生させて、効率よくマッチングを行う。

次に所定の運動モデルを用いて、パーティクルをパラメータ空間上で遷移させる（Ｓ１４）。所定の運動モデルとは例えば、ガウシアン型運動モデル、自己回帰予測型運動モデルなどである。前者は、時刻ｔにおける確率密度は時刻ｔ−１における各確率密度の周囲にガウス分布している、とするモデルである。後者は、サンプルデータから取得した２次以上の自己回帰予測モデルを仮定する手法で、例えば人物１５２がある速度で等速運動をしているといったことを過去のパラメータの変化から推定する。図２の例では、自己回帰予測型運動モデルによりパラメータｘ１の正方向への動きが推定され、各パーティクルをそのように遷移させている。

次に、各パーティクルで決定される候補曲線の近傍にある人物１５２のエッジを、時刻ｔのエッジ画像を用いて探索することにより、各候補曲線の尤度を求め、時刻ｔにおける確率密度分布を推定する（Ｓ１６）。前述のとおり、このときの確率密度分布はＳ１６に示すように、真の確率密度分布４００を離散的に表したものになる。以降、これを繰り返すことにより、各時刻における確率密度分布がパラメータ空間において表される。例えば確率密度分布が単峰性であった場合、すなわち追跡対象が唯一であった場合は、得られた確率密度を用いて各パラメータの値に対し重み付けした和を最終的なパラメータとすることにより、追跡対象に最も近い輪郭の曲線が得られることになる。

Ｓ１６において推定される時刻ｔにおける確率密度分布p(x_t ⁱ)は以下のように計算される。

ここでｉはパーティクルに一意に与えられた番号、p(x_t ⁱ|x_t ⁱ, u_t-1)は所定の運動モデル、p(y_t|x_t ⁱ)は尤度である。

図３は本実施の形態における視覚追跡システムの構成例を示している。視覚追跡システム１０は、追跡対象１８を撮像する撮像装置１２、追跡処理を行う追跡装置１４、撮像装置１２が撮像した画像のデータや追跡結果のデータを出力する表示装置１６を含む。追跡対象１８は人、物、それらの一部など、視覚追跡システム１０の使用目的によって異なっていてよいが、以後の説明では上記の例同様、人であるとする。

追跡装置１４と、撮像装置１２あるいは表示装置１６との接続は、有線、無線を問わず、また種々のネットワークを介していてもよい。あるいは撮像装置１２、追跡装置１４、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また使用環境によっては、撮像装置１２と表示装置１６は同時に追跡装置１４に接続されていなくてもよい。

撮像装置１２は追跡対象１８を含む画像、または追跡対象１８の有無に関わらずある場所の画像のデータを、所定のフレームレートで取得する。取得された画像データは追跡装置１４に入力され、追跡対象１８の追跡処理がなされる。処理結果は出力データとして追跡装置１４の制御のもと、表示装置１６へ出力される。追跡装置１４は別の機能を実行するコンピュータを兼ねていてもよく、追跡処理の結果得られたデータ、すなわち追跡対象１８の位置情報や形状情報などを利用して様々な機能を実現してよい。

図４は本実施の形態における追跡装置１４の構成を詳細に示している。追跡装置１４は、撮像装置１２から入力される入力画像データを取得する画像取得部２０、当該入力画像データや輪郭画像データを記憶する画像記憶部２４、入力画像データから輪郭画像を生成する輪郭画像生成部２２、追跡の開始および終了を判定する追跡開始終了判定部２８、パーティクルフィルタを用いて追跡処理を行う追跡処理部２６、最終的な追跡結果のデータを記憶する結果記憶部３６、追跡結果の表示装置１６への出力を制御する出力制御部４０を含む。

図５において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

輪郭画像生成部２２は追跡対象の輪郭線を入力画像の画像フレームから抽出し、輪郭画像を生成する。当該輪郭画像は画像記憶部２４に格納され、後に追跡処理部２６の観測部３０において候補曲線の尤度観測に用いられる。通常、「輪郭線」はエッジ画像における「エッジ」として扱われるため、従来の技術では「エッジ画像」を用いた尤度観測が行われていた。しかし一般的なエッジ抽出フィルタでは、入力画像によっては物の輪郭線以外にも多くのエッジが抽出されるため、輪郭線以外のエッジとのマッチングにより尤度観測が正確に行われないことが考えられる。また、エッジ抽出のしきい値を高く設定してエッジの数を減らすと、輪郭線がとぎれてしまい、やはり尤度観測が正確に行われない可能性がある。

そこで本実施の形態の輪郭画像生成部２２は、一般的な「エッジ画像」ではなく、特に入力画像中の物の「輪郭」に着目し、尤度観測を精度よく行うことのできる画像を生成する。具体的な手法は後に述べるが、以後の説明では、輪郭画像生成部２２が生成する画像を「輪郭画像」として一般的な「エッジ画像」と区別する。また輪郭画像生成部２２は、背景差分を利用した前景抽出器（図示せず）を実装していてもよい。そして輪郭画像生成処理の前処理として入力画像から追跡対象を含む前景を抽出することにより、追跡対象の輪郭を効率的に抽出するようにしてもよい。

追跡開始終了判定部２８は、例えば輪郭画像生成部２２によって得られた輪郭線または前景の形状を評価し、所定の条件によって、追跡を開始するか終了するかを判定する。なおここでの「終了」はオクルージョンなどによる追跡の一時停止を含んでもよい。追跡は、追跡対象が撮像装置の視野角内に現れた場合や、物陰などから現れた場合などに開始し、追跡対象が撮像装置の視野角内から去った場合や物陰などに入った場合などに終了する。追跡を開始すると判定した場合は、追跡処理部２６にその旨の通知をし、追跡処理を開始させる。

追跡処理部２６は、サンプリング部２９、観測部３０、および結果取得部３４を含む。サンプリング部２９は、一つ前の時刻ｔ−１における画像フレームに対して推定された確率密度分布に基づき、パーティクルの生成および消滅の処理を行う。そして全てのパーティクルに対し所定の運動モデルを適用して、パーティクルをパラメータ空間上で遷移させる。これにより、時刻ｔの画像フレームにおける複数の候補曲線が決定する。サンプリング部２９は、追跡開始終了判定部２８から追跡開始を示す信号を受けたら処理を開始し、追跡終了を示す信号を受けたら処理を終了する。

観測部３０はサンプリング部が生成・消滅、遷移させた各パーティクルが定める候補曲線の尤度を観測する。例えば各パーティクルが定める候補曲線をそれぞれＢスプライン曲線で表現した場合、当該Ｂスプライン曲線のノットごとに、輪郭画像生成部２２が生成した輪郭画像において最近傍にある輪郭線を探索し距離を求めることにより、所定のルールでノットをスコアリングする。そして候補曲線を構成する全ノットのスコアに基づき当該候補曲線の尤度を求める。観測部３０は、複数のプロセッサユニットを利用してこの探索処理を並列に実行する。

詳細な手法は後に述べるが、本実施の形態では、輪郭線の探索処理をノットごとに分割したものを一の処理単位とし、複数のプロセッサユニットで並列処理する。各プロセッサユニットは、一のノットの最近傍にある輪郭線を探索するために、輪郭画像のうち、当該ノットとその探索領域を含む一部の領域の画像データのみを配下のローカルメモリにコピーする。この処理を複数のプロセッサで繰り返すことにより、一の追跡対象につき、（パーティクルの数）×（候補曲線を構成するノットの数）の個数の処理単位を短時間で処理する。それぞれのプロセッサユニットが並列に取得した各ノットのスコアは候補曲線ごとに統合し、尤度を算出する。スコアリングや尤度算出の手法は従来技術を採用できる。

結果取得部３４は、観測部３０が観測した尤度に基づき式３で示すような確率密度分布p(x_t ⁱ)を算出し、それにより重み付け平均したパラメータによって得られる曲線のデータなどの追跡結果を算出し、結果記憶部３６に格納する。また次の時刻ｔ＋１における追跡処理に使用するため、サンプリング部２９にそのデータを返す。結果記憶部３６に格納するデータは、重み付け平均した各パラメータの値でもよいし、それにより定まる曲線のみで構成される画像や、曲線と入力画像とを合成してできた画像のデータなどのいずれでもよい。

追跡対象が複数存在する場合、結果取得部３４はさらに、それぞれに用意したテンプレートを用いて、追跡対象ごとに追跡を行い、それらの追跡結果を合成することによりひとつの追跡結果としてもよい。また複数の追跡対象が重なるような場合を追跡結果によって検出し、後ろに隠れる追跡対象については所定のタイミングで追跡処理対象からはずすなどの措置を講じる。これにより追跡対象が別の追跡対象の背後に回ったことによって観測尤度が一時的に低下しても、不適当な追跡結果を出力するのを避けることができる。

輪郭画像生成部２２、追跡処理部２６における上述の処理を、各フレームに対して行うことにより、結果記憶部３６には例えば追跡結果を含む動画像のデータが記憶される。この場合、出力制御部４０の制御のもと、当該動画像のデータを表示装置１６に出力することにより、テンプレートの曲線が追跡対象の動きと同様に動く様を表示することができる。なお上述のとおり、追跡結果は動画として表示する以外に、追跡の目的に応じて別の演算モジュールに出力するなどの処理を適宜行ってよい。

次にこれまで述べた構成による追跡装置１４の動作について説明する。以下、例としてある場所にいる人物を追跡する場合について説明する。このとき撮像装置１２は、撮影対象の場所を所定のフレームレートで撮影する。撮影された画像は入力画像データとして追跡装置１４の画像取得部２０へ入力され、画像記憶部２４に格納される。このような状態において以下に述べる追跡処理が行われる。

図５は本実施の形態における追跡処理の手順を示すフローチャートである。この例の場合、追跡対象は人物であるため、追跡装置１４には前述のとおりΩ型のテンプレートを用意する。なおテンプレートの表現手法はＢスプライン曲線に限らず、所望の曲線を表現できる記述形式であればよい。またテンプレート形状の変形手法も、その記述形式に適合し、数種類のパラメータを変化させることによって上述のような柔軟な変形を行うことのできる手法を適宜選択してよい。

まず追跡開始終了判定部２８は、画像記憶部２４に格納された入力画像データをフレームごとに読み出し、追跡を開始するかどうかの判定を行う（Ｓ２０、Ｓ２２）。例えば、画像フレームから抽出した前景として、人物と推定できる所定のサイズ、形を有する対象が出現した場合には、追跡を開始する判定を行う。判定基準となる前景のサイズや形はあらかじめ論理的にまたは実験的に定めておく。前景の抽出処理は、輪郭画像生成部２２に実装された図示しない前景抽出器を利用してもよい。この場合は、追跡開始終了判定部２８が、輪郭画像生成部２２に対し前景抽出処理の要求を行う。あるいは追跡開始終了判定部２８が前景抽出器を実装していてもよい。

追跡開始と判定されるまでＳ２０とＳ２２を繰り返し、追跡開始と判定されたら（Ｓ２２のＹ）、追跡処理部２６が追跡処理を開始する。ここで、追跡開始を判定された画像フレームに対応する時刻をｔ＝０とし、以後の画像フレームは時刻ｔ＝１，２，３，・・・にそれぞれ対応するとする。まず、サンプリング部２９が輪郭画像生成部２２に対し、輪郭画像生成処理の要求を行うことにより、輪郭画像生成部２２はｔ＝０画像フレームの輪郭画像を生成する（Ｓ２６）。このときサンプリング部２９は、後続フレームの輪郭画像生成処理要求も行い、輪郭画像生成部２２は順次処理を行ってよい。

そしてサンプリング部２９は、例えばパラメータ空間の所定領域に均等にパーティクルを配置してサンプリングを行い、観測部３０が各パーティクルが定める候補曲線と輪郭画像とをマッチングすることにより尤度を観測し、結果取得部３４が式３により率密度分布の初期値p(x₀ ⁱ)を算出する（Ｓ２８、Ｓ３０、Ｓ３２）。

一方、輪郭画像生成部２２は、画像記憶部２４より時刻ｔ＝１の画像フレームを読み出し輪郭画像を生成する（Ｓ３４のＮ、Ｓ２６）。サンプリング部２９は、生成した確率密度分布の初期値p(x₀ ⁱ)に対応した数のパーティクルをパラメータ空間上に発生させ、所定の運動モデルに基づきパーティクルをそれぞれ遷移させることによりサンプリングを行う（Ｓ２８）。発生させるパーティクルの数は、追跡装置１４が有する演算リソースの量や、求められる結果出力速度などに基づき、処理の負荷を考慮して制御する。運動モデルは追跡対象の種類に応じてガウシアン型運動モデル、自己回帰予測型運動モデルなどから追跡精度が高く得られるものをあらかじめ決定しておく。

すると観測部３０は、遷移後のパーティクルが定める各候補曲線の尤度p(y_t|x_t ⁱ)を観測する（Ｓ３０）。尤度の観測は、輪郭画像生成部２２が生成した時刻ｔ＝１の輪郭画像を用いて、各候補曲線近傍にある輪郭線を探索することにより行われる。このとき上述のとおり、探索処理をノットごとに複数のプロセッサに割り振る。詳細は後に述べる。

次いで結果取得部３４は、観測された尤度に基づき時刻ｔ＝１の確率密度分布p(x₁ ⁱ)を求める。複数の追跡対象が存在する場合は、上記の処理を全ての追跡対象について行う。そして結果取得部３４は、時刻ｔ＝１における追跡対象の形状および位置として、確率密度分布p(x₁ ⁱ)によって各パラメータを重み付け平均して得られるΩ型の曲線を最終的に決定し、元の入力画像フレームに重ねた画像フレームのデータを生成するなど、所望の追跡結果データを生成して結果記憶部に保存する（Ｓ３２）。

追跡開始終了判定部２８は、追跡処理をこれ以上続行するか終了するかの判定を行う（Ｓ３４）。例えば人物と推定できる所定のサイズ、形を有する対象が前景として現れない状態が所定時間継続した場合に追跡終了の判定を行う。あるいは、実空間上においてある追跡対象が別の追跡対象の背後に回った場合など、オクルージョンの状態が所定時間継続した場合に追跡終了の判定を行う。オクルージョンの状態は、過去の追跡処理結果から推定してもよいし、図示しない距離計測系などによって検出してもよい。さらに、追跡対象が撮像装置１２の画角から外れた状態が所定時間継続した状況も、オクルージョンと同様の手法で検出し、追跡終了の判定を行う。

Ｓ３４において追跡処理を終了しないと判定した場合は（Ｓ３４のＮ）、時刻ｔ＝２の画像フレームから輪郭画像を生成するとともに、Ｓ３２で得られた時刻ｔ＝１のときの確率密度分布p(x₁ ⁱ)を用いて、パーティクルの生成または消滅、および運動モデルによる遷移を行い、時刻ｔ＝２のフレームに対する尤度観測、確率密度分布算出を行う（Ｓ２６〜Ｓ３２）。以降、Ｓ３４で追跡開始終了判定部２８が追跡終了の判定を行うまでＳ２６からＳ３２までの処理を、各フレームに対して繰り返す。これにより、Ω型の曲線が追跡対象の来訪者の頭部と同じ動きおよび形状で、時間に対して変化していくような動画のデータが結果記憶部３６に格納される。出力制御部４０が当該データを、表示装置１６や別の機能を提供するモジュールなどに出力することにより、ユーザは所望の形態で追跡結果を利用することができる。

次にＳ３０において観測部３０が候補曲線と輪郭画像上の輪郭線とをマッチングして尤度を観測する処理について説明する。図６は観測部３０の構成をより詳細に示している。観測部３０は、輪郭画像切り出し部５０、輪郭探索タスクキュー５２、輪郭探索部５６、尤度取得部５４を含む。輪郭画像切り出し部５０は、候補曲線を表す曲線のノットの座標に基づき、各ノットに対応する領域を輪郭画像から切り出す。ここで各ノットに対応する領域とは、当該ノットとそのノットのための探索領域を含む領域である。探索領域と等しくてもよく、以後の説明では「探索領域」とも呼ぶ。そしてノットの座標情報と、対応する領域に係る情報とを含む輪郭探索の処理要求を発行する。発行された処理要求は輪郭探索タスクキュー５２における処理待ち行列に加えられる。

輪郭探索部５６は、第１処理部５８ａ、第２処理部５８ｂ、第３処理部５８ｃ、・・・、第Ｎ処理部５８ｎのＮ個の処理ユニットと、それぞれに接続するローカルメモリ６０ａ、６０ｂ、６０ｃ、・・・、６０ｄを含む。各処理ユニットは、輪郭探索タスクキュー５２より輪郭探索処理要求を順次読み出し、要求されたノットに対して輪郭探索処理を実行する。具体的には、画像記憶部２４に格納された輪郭画像から、処理要求で指定された領域の画像データを配下のローカルメモリにコピーする。そして指定されたノットの座標に基づき、当該ノットの最近傍にある輪郭線を、ローカルメモリにコピーした領域内で探索し、所定の規則に則りスコアリングする。

輪郭の探索には一般的に用いられるエッジ探索の手法を利用することができる。そして探索領域は、選択した探索手法やマッチングに求められる精度により決定することができる。第１処理部５８ａ、第２処理部５８ｂ、第３処理部５８ｃ、・・・、第Ｎ処理部５８ｎは各自、１つの処理要求を実行すると、得られたスコアを尤度取得部５４に出力する。そして次の輪郭探索処理要求を輪郭探索タスクキュー５２より読み出し、同様の処理を繰り返す。

尤度取得部５４は、輪郭探索部の第１処理部５８ａ、第２処理部５８ｂ、第３処理部５８ｃ、・・・、第Ｎ処理部５８ｎからそれぞれ入力された各ノットのスコアを統合して、候補曲線ごとの尤度を算出する。具体的には候補曲線を構成する全ノットのスコアを集めて合計したり、平均値を算出したり、所定の変換式に代入する。輪郭探索部５６の各処理ユニットからはノットに対するスコアが次々出力されるが、ノットの識別情報と、そのノットが属する候補曲線の識別情報とを対応付けた情報を、観測部３０内で共通に保持しておき、処理要求やスコアの出力時に、必要な識別情報を含めることにより、候補曲線ごとに結果を統合できる。

図７は、輪郭探索部５６の第１処理部５８ａ、第２処理部５８ｂ、第３処理部５８ｃ、・・・、第Ｎ処理部５８ｎが輪郭探索処理要求に従い、画像記憶部２４に格納された輪郭画像から、指定された領域の画像データを各自のローカルメモリ６０ａ、６０ｂ、６０ｃ、・・・、６０ｄにコピーする様子を模式的に示している。まず画像記憶部２４には、輪郭画像生成部２２が生成した輪郭画像９０が格納されている。そしてサンプリング部２９が決定したパーティクルによって、候補曲線の各ノット９２の座標が定められる。

輪郭画像切り出し部５０はノット９２の座標を取得すると、そのノットの探索領域９４をノットごとに切り出す。探索領域の決定の仕方は、精度、メモリ容量、処理速度などに鑑み決定する。図７の例では、ノット９２の座標を重心とする正方形を探索領域９４として切り出している。探索精度の観点から、探索領域９４の大きさは、候補曲線の大きさによって変化させることが望ましい。例えば、候補曲線がとり得る最大サイズに対する探索領域９４の最大データサイズを、ローカルメモリ６０ａ、６０ｂ、６０ｃ、・・・、６０ｄのコピー領域に格納できる最大データサイズと等しくなるように設定する。そして探索領域９４を、候補曲線の大きさの比率に応じて変化させることにより正方形の大きさを決定する。候補曲線の大きさは、各パーティクルが有するパラメータのうち倍率（extend_ｘ，extend_ｙ）に基づき決定できる。

探索領域９４の決定の仕方は図７で示したものに限らない。後に述べるように当該領域の画像データをローカルメモリ６０ａ、６０ｂ、６０ｃ、・・・、６０ｄにコピーする時間や、探索処理に要する時間などを考慮して増減させてもよい。また、探索領域９４の重心にノットがなくてもよい。例えばパーティクルを運動モデルによって遷移させた際用いた自己回帰予測モデルによって追跡対象の動きを推定し、動くと推定される方向に探索領域９４を広く設けるようにしてもよい。また探索領域９４は正方形でなくてもよく、探索手法や追跡対象の動きの特徴などによってその他の矩形や菱形、横や縦一列の画素などでもよい。

輪郭画像切り出し部５０は、ノット９２の座標とそれに対応する探索領域９４の情報、例えば正方形の一角の座標と一辺の長さの情報、を含む輪郭探索処理要求を輪郭探索タスクキュー５２に入れる。輪郭探索部の第１処理部５８ａ、第２処理部５８ｂ、第３処理部５８ｃ、・・・、第Ｎ処理部５８ｎは、輪郭探索タスクキュー５２から輪郭探索処理要求を１つ読み込むと、当該要求に含まれる正方形の情報に基づき画像記憶部２４に格納された輪郭画像９０から正方形の領域の画像データのみを、配下のローカルメモリにコピーする。

本実施の形態では、処理単位をノットごととすることにより、一の処理単位に必要なデータの量を限定的にしている。すなわち一の候補曲線に対する輪郭線の探索を処理単位とした場合などと比較し、ノットごとに処理を分割することにより探索領域のデータ量が格段に小さくなるうえ、候補曲線の大きさに影響をうけにくい。これにより、追跡対象がいかなる大きさであっても、ローカルメモリへの格納が可能となる。ローカルメモリは一般的に、容量が小さい一方で高速アクセスが可能である。そのため、ノットごとに探索領域を定め、その領域の画像データのみをコピーするようにすることで、並列処理による効果とともに、高速な追跡処理が可能となる。この効果は、複数のプロセッサを有するいかなる情報処理装置でも得ることができる。特にこのような構成とすると、「ヘテロジニアスマルチコア」を実装する情報処理装置への適用が容易となる。

「ヘテロジニアスマルチコア」は異種のコアを実装する情報処理装置であり、各コアが使用するメモリ容量が小さい、各コアのメモリに処理に必要なデータをコピーする必要がある、といった特徴を有する。上述のように探索領域９４を定めると、その画像データのサイズは、各コアが有するメモリ容量より小さくできる。これにより本実施の形態をヘテロジニアスマルチコアに適用することが可能となり、装置を限定せずに高速な追跡処理を実現できる。

なお輪郭探索部５６に含まれる第１処理部５８ａ〜第Ｎ処理部５８ｎの機能を実現する複数のプロセッサユニットのいずれかが、輪郭画像切り出し部５０および尤度取得部５４を兼ねていてもよい。さらに追跡装置１４に含まれる観測部３０以外の各機能も、複数のプロセッサユニットのいずれかが実現するようにしてよい。

図８は輪郭探索部５６の第１処理部５８ａ、第２処理部５８ｂ、・・・、第Ｎ処理部５８ｎが輪郭探索処理を行う際の処理の推移を模式的に示している。図の右方向を時間軸とし、時刻Ｔ１から、第１処理部５８ａ〜第Ｎ処理部５８ｎのＮ個の処理部が、ある候補曲線のノット１、ノット２、・・・、ノットＮについての探索処理要求を実行する。輪郭探索タスクキュー５２から探索処理要求を読み出すと、各処理部は画像記憶部２４の輪郭画像から、当該探索処理要求が指定する領域の画像データを配下のローカルメモリにコピーし、探索処理を開始する。図８では、コピーに要する時間と探索に要する時間をそれぞれ矩形で表している。

本実施の形態では、あるノットについて輪郭の探索を行っている間に、次に輪郭探索タスクキュー５２から読み出した探索処理要求が指定する領域のコピーを開始するようにパイプライン処理することでさらなる処理時間の短縮を実現する。同図の例では、時刻Ｔ１において、第１処理部５８ａがノット１に対応する領域、第２処理部５８ｂがノット２に対応する領域、・・・、第Ｎ処理部５８ｎがノットＮに対応する領域の画像データのコピーをそれぞれ開始する。そしてコピーが終了した時刻Ｔ２において、コピーした領域内での輪郭線の探索を開始する。このとき第１処理部５８ａ、第２処理部５８ｂ、・・・、第Ｎ処理部５８ｎは、ノットＮの次に探索処理要求が発行されているノットＮ＋１、ノットＮ＋２、・・・、ノット２Ｎの探索領域のコピーを、パイプライン処理により開始する。

そして前のノットの探索処理が終了し、かつ、次のノットの探索領域のコピーが終了した時刻Ｔ３から、コピーした領域内での輪郭線の探索を開始する。以後、ノット２Ｎ＋１〜３Ｎ、ノット３Ｎ＋１〜４Ｎ、・・・について、それぞれの処理部がコピー、探索の処理を、探索時間中に次の領域のコピーを開始するようにして繰り返す。これにより、探索処理を並列化することによって発生するコピー処理の時間を最小限に抑えることができ、並列処理、ローカルメモリに対する高速アクセスといった構成による処理速度の向上をより効果的に実現できる。

図８はコピーに要する時間と探索処理に要する時間がほぼ同一の場合を示しているが、本実施の形態をそれに限る趣旨ではない。すなわち、ある領域について輪郭探索処理を行っている時間帯のいずれかのタイミングで次の処理対象の領域のコピーを開始し、前の探索が終了しコピーも終了したら当該領域について探索処理を行うような態様であればよい。ただし図８に示したようにコピー時間と探索処理時間がほぼ等しいと、コピーの完了を待ちにより探索処理が開始されないといったオーバーヘッドを吸収することができる。輪郭画像全体をコピーして全ノットに対し連続的に輪郭探索を行うようにした場合、最初に大きなサイズの画像データをコピーする時間が必要となるため、このような場合と比較しても、上述のようにすると処理時間が短縮できる。

そのため、コピーに要する時間と探索処理に要する時間が同程度となるように、探索領域の大きさを調整するようにしてもよい。例えば実際の追跡処理前に、同様の画像構成を有するテスト画像を用いて様々なサイズの探索領域で実験を行って、各処理の所用サイクル数を実測し、それらがおよそ等しくなるように切り出す領域のサイズを決定するようにしてもよい。このとき、輪郭画像切り出し部５０が輪郭探索部５６を制御して実際に探索処理を行わせ、コピーおよび探索処理に要する時間を取得することで、最も効率のよい探索領域のサイズを決定するようにフィードバック制御してもよい。

同様に、切り出す領域のサイズを別の観点から調整するようにしてもよい。例えば撮影中の画像における対象物をリアルタイムで追跡する場合など、尤度観測にかけることのできる時間が限られている場合がある。このような状況下では、追跡対象の数が多くなる程、一のノットに対する輪郭探索を短縮する必要がある。このような場合も、実際の追跡処理に先んじて実験することにより領域のサイズを調整し、サイズを小さくすることによってコピーおよび探索処理の時間を短縮できる。あるいは、様々な追跡対象の数に対して探索領域の最適サイズを設定したテーブルをあらかじめ準備しておき、追跡開始後、追跡対象の数を取得したら輪郭画像切り出し部５０が当該テーブルを参照することにより探索領域のサイズを決定するようにしてもよい。

追跡対象の数以外に、候補曲線の形状、動作の複雑性、画像のコントラストなど、追跡のしやすさを決定づけるパラメータと、求められる追跡精度など多角的な要素から探索領域のサイズを決定できるテーブルを準備してもよい。

次に輪郭画像生成部２２による輪郭画像の生成処理について説明する。図９は輪郭画像生成部２２の詳細な構成を示している。輪郭画像生成部２２は、平滑化フィルタ６２、低階調化部６４、エッジ抽出フィルタ６６を含む。輪郭画像生成部２２は、画像記憶部２４に格納された入力画像の画像フレームを読み出し、平滑化フィルタ６２による平滑化、低階調化部６４による低階調化、エッジ抽出フィルタ６６によるエッジ抽出をこの順で施すことにより、輪郭画像を生成する。

輪郭画像生成部２２が輪郭画像を生成する原理は次の通りである。図１０は一般的なエッジ抽出処理と本実施の形態における輪郭画像生成処理との差を説明するための図である。同図におけるグラフの横軸は全て、画像の位置、すなわち画素の並びを表し、範囲は共通とする。最上段のグラフは、入力画像である原画像の輝度値の分布を表している。同図は一例として、矢印で表す領域１１０に追跡対象の像があり、画素Ａと画素Ｂに追跡対象の輪郭があるような画素列を示している。

この原画像の輝度値の分布をみると、画素Ａ近傍の輝度値の変化は画素Ｂ近傍の輝度値の変化より位置に対してなだらかである。このようなことは、画素Ａ近傍で追跡対象と背景の色が似通っていたり、画素Ａ側だけ日影に入っていたりすることにより、頻繁に起こりうる。また、追跡対象の像の領域１１０内においても色が変化していたり影ができていたりしてその輝度値は一定ではなく、凹凸１１２のような輝度値の変動がある。

このような輝度値の分布を示す原画像のエッジ画像を生成する場合、一般的にはラプラシアンフィルタなどのエッジ抽出フィルタでフィルタリングすることによってエッジを抽出する。このとき、輝度値の画像平面に対する変化の大きさに対してあるしきい値を設定し、そのしきい値を超えるような変化が見られる箇所をエッジとして抽出する。図１０の２段目はそのようにエッジ画像を生成した場合のグラフを示している。すなわち当該グラフに示すような輝度値の変化量の大きさがエッジ値として算出され、あらかじめ設定されたしきい値１１６を上回るエッジ値を有する箇所、すなわち画素Ｂ近傍の画素がエッジとして抽出される。

しかし図１０の例では、もう一方の輪郭である画素Ａ近傍は、そのエッジ値がしきい値１１６より小さいためエッジとして抽出されない。画素Ａ近傍をエッジとして抽出するためにはしきい値１１６を小さく設定することになるが、そのようにすることで、輪郭と関係しないが輝度値の凹凸１１２によって比較的大きなエッジ値を有する箇所１１４もエッジとして抽出されてしまう。本実施の形態では、追跡対象の輪郭に対して候補曲線を設定し、実際の輪郭とマッチングすることにより尤度を観測して追跡対象の位置を推定する。したがって、輪郭線に抽出されない箇所が存在したり、逆に輪郭以外の線が多く抽出されたりすると、当然、追跡精度が低くなる。そのため精度よい追跡を行うためには、これらの状況を回避できるしきい値１１６の最適値を見つけ出す必要があるが、画像ごとに最適値が変化するほか、画像によってはそもそも最適値といえるしきい値がない、といった状況が発生し得る。

そこで本実施の形態では、画像中の線やグラデーションなどの詳細な情報より、物を面として大まかに捉えることにより、「画像中のエッジ」というより「物の輪郭」を抽出できるようにする。具体的には、図１０の３段目に示すように、原画像の輝度値を低階調化した低階調画像を生成する。同図では理解を容易にするために原画像の輝度値を３階調で表している。すると、輝度値の画像平面上の変化と関わりなく、追跡対象が存在する領域１１０の輝度値は、他の領域の輝度値から不連続に変化し、領域として追跡対象の存在を表す情報となる。

この低階調画像にエッジ抽出フィルタを施すと、低階調化した輝度値が不連続に変化した箇所にのみ値を有する図１０の４段目に示すようなエッジ値が得られる。このようなエッジ値の場合、エッジ値が突出した箇所が限定的となるため、しきい値１１８を詳細に最適化する必要もなく、輪郭画像を容易に得ることができる。

図９に示した構成において輪郭画像生成部２２はまず、入力画像の画像フレームを平滑化フィルタ６２により平滑化する。平滑化フィルタ６２としては、ガウシアンフィルタ、メディアンフィルタ、単純平均化フィルタ、ローパスフィルタなど一般的な平滑化フィルタを用いることができる。これにより余分な高周波成分を除去して、物の面を領域として捉えやすくする。次に低階調化部６４によって、上述のような低階調化画像を生成する。低階調化部６４は一般的なビットシフト操作で実現でき、あらかじめ定めた境界で輝度値を区分けし、各区分内の輝度値を一の輝度値に変換する。このとき、輝度値を下から均等に区分けしてもよいし、画像フレームのカラーヒストグラムを作成し、区分けした際、画素の数が均等になるような輝度値を境界としてもよい。一般的なポスタリゼーションの手法を用いてもよい。低階調画像の階調数は例えば８〜３２階調程度とすることができる。

また追跡対象や背景、画像の内容、種別などによって、低階調画像の階調数を設定し直すようにしてもよい。この場合、実際の追跡時と同様のテスト画像などによって様々な階調の低階調画像を生成し、最も精度よく輪郭画像が生成できる、または追跡を失敗しない階調を求める。次に、低階調化部６４によって得られた低階調画像にエッジ抽出フィルタ６６を施すことにより輪郭画像を生成する。エッジ抽出フィルタ６６として、ラプラシアンフィルタ、ソーベルフィルタ、キャニーエッジフィルタなど一般的なエッジ抽出フィルタを利用することができる。これにより、輪郭部分とその他の部分で値の異なる２値画像が輪郭画像として得られる。

次に本実施の形態の輪郭画像生成手法を実際の画像に適用した結果を、一般的なエッジ画像とともに示す。まず図１１は処理対象である原画像の例を示す。図１２、１３は、当該原画像に対し一般的なエッジ画像生成手法でエッジ画像を生成した結果を示しており、図１２はしきい値が低い場合、図１３はしきい値が高い場合のエッジ画像である。まず図１２では、被写体である人物の輪郭の他に、服の模様、しわや顔の部位など、多くのエッジが抽出され、輪郭との区別がつきにくい。また人物の頭部左側の影となっている部分などはエッジがほとんど抽出されていない。しきい値を大きくすると、図１３に示すように、抽出されるエッジが少なくなり、輪郭もほとんど抽出されなくなってしまう。

図１４は、本実施の形態における輪郭画像生成部２２の平滑化フィルタ６２、低階調化部６４が図１１で示した原画像を処理することによって得られた低階調画像を示している。同図に示すように低階調画像では、図１２のエッジ画像で見られるような、服の模様などの詳細な情報は省かれ、人物や物の面を領域として捉えた画像となっている。図１５はエッジ抽出フィルタ６６によって当該低階調画像にエッジ抽出処理を施して生成される輪郭画像を示す。同図では、人物や物の輪郭がおよそ連続した線で表されており、図１２ではエッジが抽出されなかった、人物の頭部左側も輪郭線が抽出されている。

本実施の形態は画像内の人物や物の動きを追跡することを主な目的としているため、画素レベルでの画像の詳細な情報より、輪郭線の存在およびおよその位置の情報を優先して取り出すことにより、追跡対象を取り違えたり見失ったりすることなくその動きを正しく検出することができる。低階調化の処理は、輝度値に基づき画像を粗く領域に分割する意味を持ち、これにより発生する領域の境界を輪郭ととらえるため、途中で線がとぎれることが少なく、探索が容易となる。

また一般的なエッジ画像は、エッジ値がしきい値を上回る画素がある幅をもって表れる場合が多い。これは図１０の２段目に示したように、通常のエッジ値が多階調でおよそ連続的に変化し、ある幅をもってピークに到達するためである。さらにエッジを確実に抽出しようとしきい値１１６を低く設定するほど抽出されるエッジの幅も広くなる。一方、本実施の形態の輪郭画像は、隣り合う画素でも階調が大きく変化し、１つの画素でエッジ値がピークとなるため、抽出される箇所が画素単位となり、結果として抽出結果が線状になる。エッジが幅をもっていると、候補曲線とマッチングするためにエッジを細線化する処理が必要となるが、本実施の形態における輪郭線の場合はその処理が必要なくなり、より簡素な構成で高速に追跡処理を行うことができる。

以上述べた本実施の形態によれば、パーティクルフィルタを用いた視覚追跡装置において各パーティクルの尤度を観測する際、パーティクルが定める候補曲線のノットに着目し、ノットごとに輪郭探索の処理を分割して複数のプロセッサに割り当て、並列に処理する。輪郭探索の処理はノットごとに独立であるため、プロセッサへの割り振りや結果の統合が容易である。また、一のノットに対する輪郭探索処理に必要な画像データは、当該ノットの近傍の限られた領域であるため、そのデータサイズが小さく、各プロセッサは当該データをローカルメモリへコピーして輪郭探索処理を実行できる。そのため輪郭画像データへのアクセスを高速に行え、処理速度をさらに向上できる。

元の動画の輪郭画像からローカルメモリへのコピーが可能なサイズの領域を切り出すことにより、ヘテロジニアスマルチコアのように、データを各コアにコピーして処理を遂行することを前提とした構造を有する情報処理装置への適用が可能となる。これにより、特にハイビジョン映像など高画質画像に対する追跡処理でも、装置の構造を問わず高速に処理できるようになる。

例えば追跡対象ごとに探索処理を分割して並列処理した場合、追跡対象の数によって必要となるプロセッサの数が変動するため、追跡対象の数がプロセッサの数より小さいと装置の処理能力を十分使い切れなくなる。逆に追跡対象の数がプロセッサの数より大きいと、割り振れなかった一部の処理を後から実行することになり、結局は処理能力を余らせてしまう可能性がある。また、追跡対象の大きさによって個々の探索処理に必要な画像データサイズが大きく変動するため、メモリ容量不足やデータ転送時間の変動などが起こりうる。このように入力画像の内容によって処理時間や必要なメモリサイズが大きく変動すると、装置の仕様を決定するうえでの障害となりうるほか、汎用性に乏しくなる。

一方本実施の形態では、ノットごとに探索処理を分割して処理単位の粒度を細かく、処理単位の数を多くしたことにより、追跡人数や追跡対象の大きさなど追跡条件が変化しても、処理時間や必要なメモリサイズへの影響が少なく、それらのパラメータを見積もりやすい。そのため装置の仕様を容易に決定でき、入力画像の内容に関わらず好適な環境で追跡処理を行うことができる。同様に、プロセッサの数によらず同様の処理手順で並列処理が可能であり、１フレームにつき数千個オーダー以上の処理単位が生成されるため、各プロセッサへ容易に割り振ることができるうえ、一の処理単位は比較的短時間で終了するためスケーラビリティが高い。

またノットごとの探索処理を処理単位とすることで、処理単位同士に依存関係がないため、あるノットについて輪郭探索処理を行っている間に、次の処理対象である領域のコピーを開始するようにパイプライン処理が可能となる。これにより、ローカルメモリへのコピー時間を探索処理時間で吸収することができ、処理の並列化との相乗効果により、より高速な処理が可能になる。特に、輪郭画像から切り出す領域のサイズを変化させることにより、コピーに要する時間と探索処理に要する時間、およびそれらのバランスを調整することができ、追跡精度と処理時間のいずれを優先させるかといったユーザの意志を反映させることが容易にできる。

さらに輪郭画像を生成する際は、まず元の画像を平滑化、低階調化することにより撮像対象の面を大まかに捉えて領域分けしてからエッジ抽出を行う。これにより、面と面との境界を輪郭線として抽出することができる。通常のエッジ抽出処理では、抽出のためのしきい値によって輪郭線以外の余分なエッジが多く抽出されたり、輪郭線がとぎれてしまったり、といったことが起こり、追跡精度に影響を与えていた。本実施の形態では、上述のとおり面と面との境界が強調されるため、しきい値の許容範囲が広く、輪郭線を容易に抽出できる。

また、低階調化する前処理として画像を平滑化することにより、面を捉えるのに有効な情報を抽出し、より正確に低階調画像、ひいては精度のよい輪郭画像を生成できる。例えば上記のように、輪郭画像生成に用いられる平滑化フィルタ、低階調部、エッジ抽出フィルタはいずれもラスタースキャンでの処理が可能であり、かつラインごとに独立した処理であるため、高速処理が可能となる。また、本実施の形態で生成する輪郭画像は、その輪郭が１画素分の幅を有する線状に表れるため、尤度観測のための細線化処理の必要もなくなる。

実施の形態２
視覚追跡システム１０によって、上述したパーティクルフィルタによる視覚追跡を精度よく行うためには、エッジ画像として追跡対象の輪郭線が適切に得られていることが重要である。また、候補曲線の初期配置や運動モデルが実際の追跡対象の位置や動きから乖離していないことが望ましい。しかしながら最適なエッジ抽出条件は入力画像の明るさによって変化し、追跡対象の位置や動きは追跡対象が異なれば大きく変わることがあり得る。そこで本実施の形態の視覚追跡システム１０は、実際の入力画像を用いてエッジ抽出条件や候補曲線の初期配置、運動モデルの内部パラメータなどを調整し、どのような環境下でも最適な状態で追跡処理を行えるようにする。

図１６は本実施の形態における追跡装置１４の構成を詳細に示している。なお実施の形態１と同様の機能を有する構成には同じ符号を付し、その説明を適宜省略する。追跡装置１４は、撮像装置１２から入力される入力画像データを取得する画像取得部２０、当該入力画像データを記憶する画像記憶部２４、追跡対象の検出や各種パラメータの調整を行う追跡環境設定部１２４、入力画像からエッジ画像を生成する画像処理部１２０、パーティクルフィルタを用いて追跡処理を行う追跡処理部１３２、最終的な追跡結果のデータを記憶する結果記憶部３６、追跡結果の表示装置１６への出力を制御する出力制御部４０を含む。

図４において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

追跡環境設定部１２４は、追跡対象領域検出部１２６、初期輪郭推定部１２８、および初期値判定部１３０を含み、入力画像に含まれる追跡対象を検出するとともに、入力画像を利用して、追跡処理部１３２が追跡処理を行うために必要な各種パラメータの調整を行う。追跡環境設定部１２４が調整するパラメータは、その設定値が追跡の精度や効率に影響を与えるものであり、かつ入力画像の撮影環境や追跡対象ごとに最適値が変化するものである。例えば上述のとおり、エッジ画像を生成する際のエッジ抽出条件であるエッジ抽出パラメータや、形状空間ベクトルｘの初期値の範囲、運動モデルの内部パラメータなどがこれにあたる。以後、このようなパラメータを「環境依存パラメータ」と呼ぶ。

環境依存パラメータのうちエッジ抽出パラメータは、それによってエッジ画像中のエッジの密度が変化するようなパラメータである。例えばエッジ抽出前の画像平滑化処理においてガウシアンフィルタを用いる場合は、そのカーネルの大きさや標準偏差がそれにあたる。エッジ画像は、追跡対象の輪郭線のみが連続的に表れている状態に近いことが望ましく、エッジとして表れる線が少な過ぎるとエッジ探索に失敗する可能性が大きくなり、多すぎると輪郭線以外の線とのマッチングによって尤度の信頼性が低下する。

形状空間ベクトルｘの初期値の範囲は、確率密度分布を初回に求める際に遷移させるパーティクルをパラメータ空間において配置する範囲である。パーティクルが表す候補輪郭が追跡対象の位置や大きさと全く異なっていれば、当然そのパーティクルの尤度は低く観測されるが、そのようなパーティクルを最初から発生させずに追跡対象の近傍のみにパーティクルを配置させることにより、追跡開始時点から精度のよい追跡処理を行える。

運動モデルの内部パラメータは、フレーム間で追跡対象が移動する距離などによってその最適値が変化する。例えばガウシアン型運動モデルを適用する場合は、ガウス分布の標準偏差などがこれにあたる。追跡対象がほとんど移動しない場合は標準偏差を小さくし、大きく移動する場合は標準偏差を大きくすることにより、追跡対象の動きを網羅しつつ可能性の高い範囲にのみパーティクルを遷移させることができ、パーティクルを効率的に使用することができる。

環境依存パラメータは上記のパラメータに限定されるものではなく、エッジ画像生成や追跡処理に用いるパラメータであればよく、エッジ抽出手法や運動モデルなどによって適宜決定してよい。例えばエッジ抽出時に画像の低階調化処理を行う場合は最終的な階調数を、観測した尤度を何らかの基準で補正する場合は当該基準を、環境依存パラメータとしてよい。低階調化と尤度の補正については後に説明する。

追跡対象領域検出部１２６は、画像記憶部２４が記憶した入力画像データの画像フレームごとに画像分析を行って追跡対象の領域を検出し、追跡を開始するか、または終了するかを判定する。例えば背景差分を利用した前景抽出器（図示せず）を実装し、画像フレームから抽出した前景の形状から追跡対象の有無を判断したうえその領域を検出する。その際、追跡対象が人間の頭部であれば、顔検出技術をさらに適用してもよい。あるいは色検出器により背景色と異なる色や特定の色を有する領域を追跡対象として検出してもよい。または、あらかじめ設定した対象物の形状とのパターンマッチングによって追跡対象の領域を検出してもよい。

そのほか視覚追跡システム１０に、撮像装置１２の他に撮影対象の空間の熱分布を測定する温度センサや、追跡対象の接触領域を２次元的に取得する圧電センサを設け、熱分布や圧力分布によって追跡対象の領域を検出してもよい。温度センサや圧電センサによる対象物の検知は既存の技術を適用できる。

追跡対象領域検出部１２６は、追跡対象の領域が検出されたら、追跡開始を判定するとともに、検出した領域の特徴を表す所定の情報（以後、特徴量と呼ぶ）を取得する。例えば前景抽出器によって追跡対象の領域を検出する場合は、追跡対象の輪郭線が取得されているため、当該領域の重心位置、当該領域が存在する画像内の範囲、当該領域の傾きを特徴量として取得する。特徴量としてはそのほか、領域のカラーヒストグラム、テクスチャ、温度分布などでもよく、追跡対象の領域の検出手法に応じて適宜決定してよい。特徴量は環境依存パラメータの調整に使用する。

なお追跡対象領域検出部１２６が判定する追跡の「終了」は、オクルージョンなどによる追跡の一時停止を含んでもよい。追跡は、追跡対象が撮像装置の視野角内に現れた場合や、物陰などから現れた場合などに開始と判定し、追跡対象が撮像装置の視野角内から去った場合や物陰などに入った場合などに終了と判定する。

初期輪郭推定部１２８は、各環境依存パラメータを仮に設定したうえで、上述した通常の視覚追跡手法と同様の処理手順によりパーティクルフィルタを用いて追跡対象の輪郭を推定する。具体的には、仮に設定したエッジ抽出パラメータを用いて対象の入力画像のエッジ画像を生成し、仮に設定した形状空間ベクトルｘの初期値の範囲内でパーティクルを均等に配置する。そして配置したパーティクルを、仮に設定した運動モデルの内部パラメータを適用した運動モデル、例えばガウシアン型運動モデルで遷移させ、生成したエッジ画像を用いて尤度を観測する。その結果を基に確率密度分布を算出し、輪郭を推定する。

初期値判定部１３０は、初期輪郭推定部１２８が推定した追跡対象の輪郭から得られる特徴量と、追跡対象領域検出部１２６が検出した追跡対象の領域の特徴量とを比較し、その一致の度合いを評価する。そして一致の度合いがあらかじめ定めた条件を満たさない場合、初期輪郭推定部１２８に、パラメータの設定し直しおよび追跡対象の輪郭推定を要求する。

初期値判定部１３０が比較する特徴量は、追跡対象の領域のうち同じ部位の領域の特徴量である。例えば図１で示した人物画像１５０における人物１５２の追跡を行う場合、頭部の形状をΩ型の曲線１５４で表して追跡を行うため、初期輪郭推定部１２８が推定する輪郭は頭部の輪郭となる。したがって追跡対象領域検出部１２６は、追跡対象の領域、すなわち人物１５２の体で構成される領域のうち、頭部の部分の特徴量を取得する。

あるいは、頭部とその他の部位の位置関係をあらかじめ定義しておき、推定した輪郭から特定部位の領域を導出するようにしてもよい。例えば頭部の輪郭を推定し、それに基づき上半身の領域を導出することにより、推定された上半身の特徴量と追跡対象領域検出部１２６が検出した実際の上半身の特徴量を比較してもよい。

特徴量の一致の度合いの算出手法はその特徴量によって当然異なる。例えば特徴量を領域の重心とした場合は重心同士の距離、領域の範囲とした場合は当該領域に外接する矩形の位置および大きさ、傾きとした場合は角度の差、カラーヒストグラムとした場合はヒストグラムインターセクションなど、特徴量に応じた尺度をあらかじめ設定しておく。複数の特徴量で一致の度合いを算出する場合も、ポイントを付与したり重み付けを行ったりと、あらかじめ定めた規則によって各特徴量の一致の度合いを総合的に評価する。

初期輪郭推定部１２８が推定した輪郭から得られる特徴量と、追跡対象領域検出部１２６が検出した追跡対象の領域の特徴量との一致の度合いが基準値以上となったら、初期値判定部１３０はそのときの環境依存パラメータの値を最終的な設定値とする。そして環境依存パラメータのうちエッジ抽出パラメータは画像処理部１２０に送信する。また運動モデルの内部パラメータや尤度の補正基準など、パーティクル遷移、観測に必要なパラメータは追跡処理部１３２に送信する。また初期輪郭推定部１２８が輪郭を推定する際に算出した確率密度分布も、次の時刻のパーティクル発生、消滅に用いるように追跡処理部１３２に送信する。

なお上述の例では、追跡対象領域検出部１２６が追跡対象を新たに検出したら環境依存パラメータを設定する態様であったが、追跡処理部１３２がある追跡対象を追跡中であっても、常に実際の追跡対象の特徴量と推定された輪郭内部の特徴量とを比較するようにしてもよい。そして、特徴量の一致の度合いが基準値を下回ったら、環境依存パラメータを同様の手法で設定し直すようにしてもよい。この際、推定輪郭による特徴量は、追跡処理部１３２によって取得された結果を用いることができる。環境依存パラメータの設定値を随時更新するようにすると、追跡開始時ばかりでなく、追跡対象が場所を移動したり、天候の変化、カーテンを開けたなどの状況の変化によって画像の明るさが変化しても、追跡精度を維持することができる。

画像処理部１２０は入力画像からエッジ画像を生成する。具体的には、追跡環境設定部１２４から取得したエッジ抽出パラメータを使用して、画像記憶部２４が記憶した入力画像データの画像フレームごとにエッジ抽出処理を施す。ここではガウシアンフィルタ、メディアンフィルタ、単純平均化フィルタ、ローパスフィルタなど一般的な平滑化フィルタのいずれかと、ラプラシアンフィルタ、ソーベルフィルタ、キャニーエッジフィルタなど一般的なエッジ抽出フィルタのいずれかを用いることができる。また画像処理部１２０は、追跡対象領域検出部１２６から前景のデータを取得し、当該前景にのみエッジ抽出処理を施すことにより追跡対象の輪郭線を効率的に抽出するようにしてもよい。

先に述べたように、本実施の形態におけるエッジ画像は追跡対象の輪郭線を得るために生成される。しかし画像やエッジ抽出条件によっては、エッジとして輪郭線が抽出されない箇所が存在したり、輪郭以外の線が多く抽出されたりすることがあり得る。このような状況の発生を抑制するために、画像処理部１２０は実施の形態１の輪郭画像生成部２２と同一の構成とし、平滑化フィルタとエッジ抽出フィルタに加え、画像を低階調化する処理を施してもよい。例えば平滑化フィルタによって入力画像を平滑化した後、８〜３２階調程度へ低階調化させたうえでエッジ抽出フィルタを施す。

エッジ抽出を行う前に画像を低階調化することにより、追跡対象の領域の輝度値は、他の領域の輝度値から不連続に変化するようになるため、追跡対象の領域を面として表すことができる。すると、元の画像で輪郭線における輝度値の変化が乏しい場合でも、エッジ抽出フィルタによって輪郭線を抽出しやすくなる。低階調化は一般的なビットシフト操作で実現でき、あらかじめ定めた境界で輝度値を区分けし、各区分内の輝度値を一の輝度値に変換する。

このとき、輝度値を下から均等に区分けしてもよいし、画像フレームのカラーヒストグラムを作成し、区分けした際、画素の数が均等になるような輝度値を境界としてもよい。一般的なポスタリゼーションの手法を用いてもよい。エッジ画像を生成する際、画像の低階調化処理を行う場合は上述のとおり、環境依存パラメータに最終的な階調数を含めることができる。

一方、画像処理部１２０は、上述した一般的なエッジ抽出手法以外の手法で追跡対象の輪郭を抽出してもよい。例えば前景の外周を構成する曲線を当該輪郭として抽出してもよいし、複数の手法を組み合わせてもよい。以降の説明ではそれらの手法によって抽出された輪郭も全て、「エッジ」に含めるものとする。したがって画像処理部１２０が生成する「エッジ画像」は「輪郭線抽出画像」と同義とする。

追跡処理部１３２は、サンプリング部２９、観測部１３６、および結果取得部１３８を含む。サンプリング部２９の機能は実施形態１で説明したのと同様である。

観測部１３６は上述のとおり全てのパーティクルに対し運動モデルを適用してパーティクルをパラメータ空間上で遷移させるとともに、各パーティクルが定める候補曲線の尤度を観測する。ここで用いる運動モデルの内部パラメータと初期の確率密度分布は、追跡環境設定部１２４から取得したものを用いる。

観測部１３６は、得られた尤度に対してあらかじめ定めた規則により補正を施してもよい。例えば、実際の追跡対象とかけ離れた形状の候補曲線であっても、偶然、近傍にエッジが存在したばかりに高い尤度を観測してしまう場合がある。このような尤度が確率密度分布の算出に悪影響を与えないように尤度の補正を行う。例えば、推定輪郭の大きさや縦横比に許容範囲を設定し、そこから逸脱した推定輪郭の尤度が所定のしきい値を超えた場合は、所定の割合でその尤度を減ずる補正を行う。このような補正を行う場合、設定する許容範囲を環境依存パラメータに含めることができる。

結果取得部１３８は実施の形態１における結果取得部３８と同様の機能を有する。追跡環境設定部１２４が設定するパラメータを随時更新する際は、結果取得部３８はさらに、追跡対象の推定輪郭のデータを追跡環境設定部１２４に送信する。

画像処理部１２０、追跡処理部１３２における上述の処理を、各フレームに対して行うことにより、結果記憶部３６には例えば追跡結果を含む動画像のデータが記憶される。この場合、出力制御部４０の制御のもと、当該動画像のデータを表示装置１６に出力することにより、テンプレートの曲線が追跡対象の動きと同様に動く様を表示することができる。なお上述のとおり、追跡結果は動画として表示する以外に、追跡の目的に応じて別の演算モジュールに出力するなどの処理を適宜行ってよい。

次に追跡処理を行う際の追跡装置１４の動作について説明する。以下、例としてある場所にいる人物を追跡する場合について説明する。このとき撮像装置１２は、撮影対象の場所を所定のフレームレートで撮影する。撮影された画像は入力画像データとして追跡装置１４の画像取得部２０へ入力され、画像記憶部２４に格納される。このような状態において以下に述べる追跡処理が行われる。

図１７は本実施の形態における追跡処理の手順を示すフローチャートである。この例の場合、追跡対象は人物であるため、追跡装置１４には前述のとおりΩ型のテンプレートを用意する。なおテンプレートの表現手法はＢスプライン曲線に限らず、所望の曲線を表現できる記述形式であればよい。またテンプレート形状の変形手法も、その記述形式に適合し、数種類のパラメータを変化させることによって上述のような柔軟な変形を行うことのできる手法を適宜選択してよい。

まず追跡環境設定部１２４の追跡対象領域検出部１２６は、画像記憶部２４に格納された入力画像データをフレームごとに読み出し、追跡を開始するかどうかの判定を行う（Ｓ１２０、Ｓ１２２）。例えば、画像フレームから抽出した前景として、人物と推定できる所定のサイズ、形を有する対象が出現した場合には、追跡を開始する判定を行う。判定基準となる前景のサイズや形はあらかじめ論理的にまたは実験的に定めておく。人物の検出には前景抽出のほか、前述のとおり、色検出、パターンマッチング、顔検出、熱分布検出、接触領域検出など既知の手法により行ってもよい。

追跡開始と判定されるまでＳ１２０とＳ１２２を繰り返し、追跡開始と判定されたら（Ｓ１２２のＹ）、追跡環境設定部１２４は、環境依存パラメータを調整して最適値を取得し、画像処理部１２０や追跡処理部１３２に対し設定を行う（Ｓ１２４）。環境依存パラメータを設定する処理手順は図１８を参照して後述する。

次に、追跡環境設定部１２４が環境依存パラメータを決定する際に取得した確率密度分布p(x₀ ⁱ)を利用して、サンプリング部２９がパーティクルを発生させる（Ｓ１２８）。ここで、追跡開始時の画像フレームに対応する時刻をｔ＝０とし、以後の画像フレームは時刻ｔ＝１，２，３，・・・にそれぞれ対応するとする。

次に観測部１３６は、所定の運動モデルに基づき、パーティクルをそれぞれ遷移させ、遷移後のパーティクルが定める各候補曲線の尤度p(y_t|x_t ⁱ)を観測する（Ｓ１３０）。運動モデルを規定する内部パラメータは、追跡環境設定部１２４が決定した値を用いる。尤度の観測は、画像処理部１２０が生成した時刻ｔ＝１のエッジ画像を用いて、各候補曲線近傍にあるエッジを探索することにより行う。エッジの探索はコンデンセーションアルゴリズムなどで一般的に用いられる手法を用いてよい。

結果取得部１３８は、観測された尤度に基づき時刻ｔ＝１の確率密度分布p(x₁ ⁱ)を求める。複数の追跡対象が存在する場合は、上記の処理を追跡対象ごとに行う。そして結果取得部１３８は、時刻ｔ＝１における追跡対象の形状および位置として、確率密度分布p(x₁ ⁱ)によって各パラメータを重み付け平均して得られるΩ型の推定輪郭を最終的に決定し、元の入力画像フレームに重ねた画像フレームのデータを生成するなど、所望の追跡結果データを生成して結果記憶部に保存する（Ｓ１３２）。

追跡対象領域検出部１２６は、追跡処理をこれ以上続行するか終了するかの判定を行う（Ｓ１３４）。例えば人物と推定できる所定のサイズ、形を有する対象が前景として現れない状態が所定時間継続した場合に追跡終了の判定を行う。このとき追跡対象領域検出部１２６には図示しないタイマーを設け、前景がなくなった時点からの経過時間を計測する。そして実験などによってあらかじめ定めた所定時間を経過した時点でフラグを立てるなどすることにより、フラグが立った直後の判定タイミングで追跡終了を判定する。

Ｓ１３４において追跡処理を終了しないと判定した場合は（Ｓ１３４のＮ）、Ｓ１３２で得られた時刻ｔ＝１のときの確率密度分布p(x₁ ⁱ)を用いて、時刻ｔ＝２のフレームに対するサンプリングを行うため、パーティクルの生成または消滅を行う（Ｓ１２８）。以降、追跡対象領域検出部１２６が追跡終了の判定を行う（Ｓ１３４のＮ）までＳ１２８からＳ１３２までの処理を、各フレームに対して繰り返す。これにより、Ω型の曲線が追跡対象の来訪者の頭部と同じ動きおよび形状で、時間に対して変化していくような動画のデータが結果記憶部３６に格納される。出力制御部４０が当該データを、表示装置１６や別の機能を提供するモジュールなどに出力することにより、ユーザは所望の形態で追跡結果を利用することができる。

図１８は図１７のＳ１２４における環境依存パラメータ設定の処理手順を示すフローチャートである。まず、追跡対象領域検出部１２６は、自らが検出した追跡対象の領域について、重心、大きさ、傾きなどの特徴量を取得する（Ｓ１４０）。特徴量は前述の通り、追跡対象の検出手法や追跡対象によって、追跡対象の領域のカラーヒストグラム、テクスチャ、温度分布などでもよい。一方、初期輪郭推定部１２８は、各環境依存パラメータの値を仮に設定する（Ｓ１４２）。このとき設定する値は、後述するように環境依存パラメータごとにあらかじめ定めておいてもよい。

次に初期輪郭推定部１２８は、仮に設定したエッジ抽出パラメータを用いて、追跡開始と判定された画像からエッジ画像を生成し、仮に設定した形状空間ベクトルｘの初期値の範囲内でパーティクルを生成する。（Ｓ１４４）。そして仮に設定した内部パラメータで規定される運動モデルによりパーティクルを遷移させ、Ｓ１４４で生成したエッジ画像を用いて尤度を観測することにより確率密度分布を求めて、輪郭を推定する（Ｓ１４６）。

次に初期値判定部１３０は、初期輪郭推定部１２８がＳ１４６で推定した輪郭から得られる特徴量と、追跡対象領域検出部１２６がＳ１４０で取得した、追跡対象の領域の特徴量とを比較し（Ｓ１４８）、両者の一致の度合いを確認する（Ｓ１５０）。一致の度合いが基準値より小さい場合は（Ｓ１５０のＮ）、現在の環境依存パラメータの値が不適切であると判断し、初期輪郭推定部１２８に環境依存パラメータの値の仮設定のし直しを要求する（Ｓ１４２）。一致の度合いが基準値以上の場合は（Ｓ１５０のＹ）、仮決定した環境依存パラメータが適切であると判断し、当該環境依存パラメータの値を最終値として決定する（Ｓ１５２）。

上記の例では時刻ｔ＝０の画像について特徴量の一致の度合いを比較したが、複数の画像フレームについて確認を行うようにしてもよい。この場合は、追跡処理部１３２が行う処理と同様に、前の時刻における確率密度分布を利用してパーティクルの生成・消滅を行い、遷移・観測を行って次の時刻の輪郭を推定する。そして次の時刻の追跡対象の領域の特徴量と比較する。このような態様では、追跡対象の動きに対しても推定輪郭の精度を評価することができるため、設定する環境依存パラメータの信頼性が増すうえ、適用する運動モデル自体も環境依存パラメータに加えることができる。

図１９は追跡環境設定部１２４が環境依存パラメータを決定する様子を模式的に示している。エッジ画像１６０は、図１８のＳ１４２において仮に設定したエッジ抽出パラメータを用いて、Ｓ１４４で生成されたものである。そして領域１６２は、Ｓ１４４でパーティクルを生成する際、各パーティクルが定める候補曲線を配置する範囲である。当該範囲は、例えば追跡対象領域検出部１２６が検出した追跡対象の領域を定数倍した領域を含む矩形とする。形状空間ベクトルｘは、各候補曲線が領域１６２内に位置するように考慮したうえで仮設定する。

そのように生成したパーティクルを用いて図１８のＳ１４６で推定した輪郭が、Ω型の推定輪郭１６４である。追跡対象領域検出部１２６がＳ１４０で取得した追跡対象の顔領域の重心が破線１７０の交点、初期輪郭推定部１２８がＳ１４６で求めた推定輪郭１６４に基づく顔領域の重心が実線１６６の交点だとすると、同図のように両者の交点が近いほど、現在算出した確率密度分布が真の値に近い、すなわち、現在の仮の環境依存パラメータの値が適切である、と判断できる。

図１８のＳ１５０で一致の度合いが基準に満たないうちは、環境依存パラメータの値を順次変化させていく必要がある。例えばガウシアンフィルタのカーネルの大きさであれば３×３、５×５、７×７、９×９、といった値で仮設定を行う。カーネルの標準偏差は０．０１〜１０．０、低階調化処理時の色情報は、元の画像が８ビットカラーであれば１〜７ビットの階調のいずれかで仮設定する。ここで、２つ以上の環境依存パラメータを同時に変化させていくようにしてもよい。例えばカーネルの標準偏差と大きさの組を記載したテーブルを用意しておき、調整時は当該テーブル通りに両者の値を変化させていく。

このとき、仮に設定する値とともに、設定順序を適切に定めておくことにより、効率的な調整を行うことができる。図２０は、追跡環境設定部１２４において環境依存パラメータを仮に設定する際の設定順序について説明するための図である。同図は一例として、ガウシアンフィルタにおけるカーネルの標準偏差を設定する場合を示している。横軸を標準偏差、縦軸をエッジ抽出頻度にとると、両者の関係は線１８０に示されるとおり、標準偏差が大きいほどエッジ抽出頻度が小さく、標準偏差が小さくなるとエッジ抽出頻度が大きくなる傾向を有する。ここでエッジ抽出頻度とはエッジの抽出されやすさのことであり、例えば画素値の変化の割合がしきい値以上である箇所をエッジとして抽出する場合は、そのしきい値を低くするほどエッジ抽出頻度が大きくなる。

一方、エッジ抽出頻度が線１８０のように変化すると、各パーティクルが定める候補曲線近傍で検出されるエッジの数、ひいては尤度の平均値が線１８２のように変化する。すなわち、エッジの抽出頻度が小さく、エッジ画像中にエッジがほとんどない状態においては候補曲線近傍にエッジが存在することが少ないため尤度の平均値は小さく、エッジの抽出頻度が大きくなるほどエッジの密度が上がり、尤度の平均値が大きくなる。しかしエッジ抽出頻度が大きくなるほど、エッジ画像に対象物の輪郭以外のエッジ線が多く含まれることとなり、尤度の信頼性が低下する。

以上のことから、対象物の輪郭線がエッジとして抽出される最小限の抽出頻度でエッジ抽出が行われることが望ましい。そのようなエッジ抽出頻度となる標準偏差を効率よく見つけるために、同図グラフ下の矢印の方向、すなわち、標準偏差が大きい方から小さい方へ順に仮設定を行う。このように標準偏差を変化させていくと、エッジ抽出頻度は単調増加していく。すると尤度の信頼性が低下する前に、適度なエッジ抽出頻度で特徴量の一致の度合いが基準を超え、標準偏差の最適値が求められる。

上記はカーネルの標準偏差の例であったが、他のエッジ抽出パラメータも同様である。例えばエッジ抽出時に画像を低階調化する場合は、最終的な階調数を低い方から順に設定していくことによりエッジ抽出頻度は単調増加していく。エッジ抽出パラメータを単調に変化させたときにエッジ抽出頻度が単調に変化しない場合であっても、エッジ抽出頻度が単調増加するような順序をあらかじめ求めておく。複数のパラメータを同時に設定する場合も同様である。

以上述べた本実施の形態によれば、パーティクルフィルタを用いた視覚追跡において、実際の入力画像を利用して、エッジ抽出パラメータ、形状空間ベクトルｘの初期値の範囲、運動モデルの内部パラメータなどの環境依存パラメータの調整を行う。このとき、まず入力画像に前景抽出、顔検出、パターンマッチング、熱分布、圧力分布などを適用して対象物の領域を取得する。一方、仮に設定したエッジ抽出パラメータで生成したエッジ画像と、仮に設定したその他の環境依存パラメータを用いて、パーティクルフィルタによって追跡対象の輪郭を推定する。推定した輪郭が定める領域と、実際に検出した追跡対象の領域との一致の度合いを、それらの特徴量を比較することにより見積もり、仮に設定したパラメータの是非を判定する。

これにより、実際の入力画像に基づき環境依存パラメータを調整することができ、画像の明るさなど撮影環境の変化に対して追跡精度を維持することができる。また、パラメータ空間でのパーティクルの配置の範囲を絞ることができるため、効率よく精度の高い追跡を行うことができる。

仮に設定した環境依存パラメータが基準を満たさない場合は、その他の値を設定し直したうえで同様の判定を行う。このときエッジ抽出パラメータは、エッジの抽出頻度が単調増加するような方向で設定順を決める。これにより、エッジが過度に抽出されて尤度の信頼性が損なわれる前にパラメータの最適値を取得することができ、計算負荷を多大にかけることなく高精度な追跡を実現できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、実施の形態１において、輪郭画像生成部２２は、図９に示すように平滑化フィルタ６２、低階調化部６４、エッジ抽出フィルタ６６を含み、これらの処理により輪郭画像を生成した。一方、輪郭画像生成部２２は、一般的なエッジ抽出器であってもよく、例えば平滑化フィルタ６２とエッジ抽出フィルタ６６のみの構成としてもよい。例えば追跡対象の表面や背景が複雑な変化をしていない場合はエッジ抽出器での輪郭画像生成も可能である。この場合も、生成されたエッジ画像を用いてエッジ探索を行うことにより尤度を観測できる。そして処理の並列化などによって高速の追跡処理が可能となる。

また、輪郭画像生成部２２は図示しない前景抽出器によって輪郭画像を生成してもよい。例えばサッカーの試合の映像を入力画像として、選手の動きを追跡するような場合、主な背景はグラウンドであり、選手はユニフォームを着ているため、それぞれの画素値が限定的である。このような場合は、一般的な前景抽出処理により、精度よく追跡対象の輪郭を抽出することができる。輪郭画像生成部２２が上記したどの処理を行うかを、入力画像の種類などにより決定できるように、それらを対応付けたテーブルを準備しておいてもよい。あるいはユーザが設定を変更できるようにしてもよい。

さらに、輪郭画像生成部２２を追跡装置１４以外の画像処理装置に備えてもよい。例えば、自動で写真撮影を行う装置に備え、被写体の画像を一旦取り込み、輪郭画像生成部２２によって被写体の輪郭画像を生成してもよい。この場合、輪郭画像から被写体の位置を算出し、その情報をカメラの向きや位置の制御装置へフィードバックすることにより、被写体が写真の真ん中など所望の位置に写るように自動調整を行う。あるいはレタッチ装置に備え、入力された画像において被写体の輪郭線を抽出することにより、特定の物以外の領域あるいは物の内部の領域のみに所望の加工を施すなどの機能を実現できる。

さらに、ＦＡＸで送信された書面や、ダビングされた録画テープに記録された映像内のテロップなど、字の輪郭が不明確になるような状況において、それらを画像として取り込み輪郭画像生成部２２に入力することにより、不明確な部分に境界を設けることができ、結果として字の輪郭がはっきりする。したがって、ＯＣＲ（Optical Character Reader）やデータ形式変換器などに備えることも有効である。

実施の形態２では、効率よくエッジ抽出パラメータの最適値を求めるために、エッジ抽出頻度が単調増加するように各パラメータを変化させつつ特徴量を比較していき、一致の度合いが基準値を超えたときのパラメータを最適値として決定した。一方、環境依存パラメータをあらかじめ定めた全ての値で設定してみて、特徴量の一致率が最もよいパラメータの値を最適値として決定してもよい。この場合も本実施の形態と同様、撮影環境や対象物の変化に応じた適切なパラメータで追跡処理を行うことができ、結果として、いかなる環境下でも追跡精度が維持できる。

以上のように本発明は視覚追跡装置、コンピュータ、ゲーム機、撮像装置、動画再生装置などの情報処理装置に利用可能である。

Claims

追跡したい対象物を撮影した動画像を構成する第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける対象物の推定存在確率分布に基づき、前記第２の画像フレームにおける対象物の候補輪郭を定め、前記第２の画像フレームのエッジ画像とマッチングして前記候補輪郭の尤度を観測し、前記第２の画像フレームにおける対象物の存在確率分布を推定することにより対象物の追跡処理を行う追跡処理部と、
前記第１の画像フレームにおける対象物の領域を所定の分析手法により検出し、当該領域を表す所定の特徴量を取得する追跡対象領域検出部と、
前記追跡処理部が追跡処理に用いるパラメータの少なくともいずれかの値を仮に設定して前記第１の画像フレームにおける対象物の推定存在確率分布を求め、それに基づき対象物の輪郭を推定する初期輪郭推定部と、
前記初期輪郭推定部が推定した輪郭に基づく対象物の領域の前記特徴量と、前記追跡対象領域検出部が取得した前記特徴量とを比較し、比較結果が所定の条件を満たすとき、前記初期輪郭推定部が仮に設定したパラメータの値を適用して前記追跡処理部に追跡処理を開始させる初期値判定部と、
を備えたことを特徴とする対象物追跡装置。
前記初期輪郭推定部が値を仮に設定するパラメータは、画像フレームのエッジ画像を生成する際に用いるエッジ抽出パラメータを含むことを特徴とする請求項１に記載の対象物追跡装置。
前記追跡処理部が尤度を観測するために前記候補輪郭とマッチングするエッジ画像を生成する画像処理部をさらに備え、
前記画像処理部は、
対象となる画像フレームの階調数を下げた低階調画像を生成する低階調化部と、
前記低階調化部が生成した低階調画像からエッジを抽出して、元の画像における被写体の輪郭線を強調したエッジ画像を生成する輪郭画像生成部と、
を備え、
前記初期輪郭推定部が値を仮に設定するパラメータは、前記低階調化部が生成する低階調画像における階調数を含むことを特徴とする請求項１に記載の対象物追跡装置。
前記画像処理部は、
対象となる画像フレームの周波数帯域幅を低くして前記低階調化部へ出力する平滑化フィルタをさらに備えたことを特徴とする請求項３に記載の画像処理装置。
前記初期輪郭推定部は、前記初期値判定部において比較結果が所定の条件を満たすまで、パラメータの値を変化させて対象物の輪郭推定を繰り返し、当該パラメータが前記エッジ抽出パラメータであった場合は、エッジ画像生成時のエッジの抽出頻度が増加する方向で当該パラメータの値を変化させることを特徴とする請求項２に記載の対象物追跡装置。
前記比較結果が所定の条件を満たすとき、前記初期値判定部は、前記初期輪郭推定部が求めた推定存在確率分布を、前記第１の画像フレームにおける推定存在確率分布として前記追跡処理部に追跡処理を開始させることを特徴とする請求項１に記載の対象物追跡装置。
前記追跡処理部は、前記第１の画像フレームにおける対象物の推定存在確率分布に基づき発生させた曲線を所定の運動モデルに従い遷移させることにより前記第２の画像フレームにおける対象物の候補輪郭を定め、
前記初期輪郭推定部が値を仮に設定するパラメータは、前記運動モデルを規定するパラメータを含むことを特徴とする請求項１に記載の対象物追跡装置。
前記初期値判定部が比較する特徴量は、対象物の領域の重心、画像内での範囲、傾き、カラーヒストグラム、の少なくともいずれかを含むことを特徴とする請求項１に記載の対象物追跡装置。
前記追跡対象領域検出部は、背景差分、顔検出、パターンマッチング、温度分布検出、接触領域検出のいずれかにより対象物の領域を検出することを特徴とする請求項１に記載の対象物追跡装置。
前記初期輪郭推定部は、前記追跡対象領域検出部が検出した対象物の領域を含む所定の大きさの領域内に発生させた曲線を、所定の運動モデルに従い遷移させることにより対象物の候補輪郭を定め、尤度を観測して対象物の推定存在確率分布を求めることを特徴とする請求項１に記載の対象物追跡装置。
コンピュータが、追跡したい対象物を撮影した動画像を構成する第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける対象物の推定存在確率分布に基づき、前記第２の画像フレームにおける対象物の候補輪郭を定め、前記第２の画像フレームのエッジ画像とマッチングして前記候補輪郭の尤度を観測し、前記第２の画像フレームにおける対象物の存在確率分布を推定することにより対象物の追跡処理を行う方法であって、
動画像を記憶したメモリから前記第１の画像フレームを読み出し、当該画像フレームにおける対象物の領域を所定の分析手法により検出し、当該領域を表す所定の特徴量を取得するステップと、
追跡処理に用いるパラメータの少なくともいずれかの値を仮に設定して前記第１の画像フレームにおける対象物の推定存在確率分布を求め、それに基づき対象物の輪郭を推定するステップと、
前記特徴量を取得するステップにおいて取得した特徴量と、前記輪郭を推定するステップにおいて推定した輪郭に基づく対象物の領域の前記特徴量とを比較し、比較結果が所定の条件を満たすとき、前記仮に設定したパラメータの値を適用して追跡処理を開始するステップと、
を含むことを特徴とする対象物追跡方法。
コンピュータに、
追跡したい対象物を撮影した動画像を構成する第１の画像フレームおよび第２の画像フレームのうち、第１の画像フレームにおける対象物の推定存在確率分布に基づき、前記第２の画像フレームにおける対象物の候補輪郭を定め、前記第２の画像フレームのエッジ画像とマッチングして前記候補輪郭の尤度を観測し、前記第２の画像フレームにおける対象物の存在確率分布を推定することにより、対象物の追跡処理を実現させるコンピュータプログラムであって、
動画像を記憶したメモリから前記第１の画像フレームを読み出し、当該画像フレームにおける対象物の領域を所定の分析手法により検出し、当該領域を表す所定の特徴量を取得する機能と、
追跡処理に用いるパラメータの少なくともいずれかの値を仮に設定して前記第１の画像フレームにおける対象物の推定存在確率分布を求め、それに基づき対象物の輪郭を推定する機能と、
前記特徴量を取得する機能が取得した特徴量と、前記輪郭を推定する機能が推定した輪郭に基づく対象物の領域の前記特徴量とを比較し、比較結果が所定の条件を満たすとき、前記仮に設定したパラメータの値を適用して追跡処理を開始する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
画像の階調数を下げた低階調画像を生成する低階調化部と、
前記低階調化部が生成した低階調画像からエッジを抽出して、元の画像における被写体の輪郭線を強調した輪郭画像を生成する輪郭画像生成部と、
を備えたことを特徴とする画像処理装置。
画像データの周波数帯域幅を低くして前記低階調化部へ出力する平滑化フィルタをさらに備えたことを特徴とする請求項１３に記載の画像処理装置。
追跡したい対象を撮影した動画像データを構成する画像ストリームに含まれる第１の画像フレームおよび第２の画像フレームのうち、前記第１の画像フレームにおける追跡対象物の推定存在確率分布に基づき、前記第２の画像フレームにおける追跡対象物の候補輪郭を決定する候補輪郭決定部と、
前記候補輪郭決定部が決定した候補輪郭と、前記輪郭画像生成部が生成した前記第２の画像フレームの輪郭画像とをマッチングして、前記候補輪郭の尤度を観測する観測部と、
前記観測部が観測した尤度に基づき、前記第２の画像フレームにおける対象物の存在確率分布を推定する追跡結果取得部と、
をさらに備えたことを特徴とする請求項１３または１４に記載の画像処理装置。
メモリに保存された画像を読み出し、階調数を下げた低階調画像を生成するステップと、
前記低階調画像からエッジを抽出して、元の画像における被写体の輪郭線を強調した輪郭画像を生成するステップと、
を含むことを特徴とする画像処理方法。
メモリに保存された画像を読み出し、階調数を下げた低階調画像を生成する機能と、
前記低階調画像からエッジを抽出して、元の画像における被写体の輪郭線を強調した輪郭画像を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
メモリに保存された画像を読み出し、階調数を下げた低階調画像を生成する機能と、
前記低階調画像からエッジを抽出して、元の画像における被写体の輪郭線を強調した輪郭画像を生成する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。