JP6647134B2

JP6647134B2 - 被写体追跡装置及びそのプログラム

Info

Publication number: JP6647134B2
Application number: JP2016095717A
Authority: JP
Inventors: 真介横澤; 高橋　正樹; 正樹高橋; 山内　結子; 結子山内
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2016-05-12
Filing date: 2016-05-12
Publication date: 2020-02-14
Anticipated expiration: 2036-05-12
Also published as: JP2017204757A

Description

本発明は、可視画像と非可視画像とを用いて、被写体を追跡する被写体追跡装置及びそのプログラムに関する。

従来、可視画像及び赤外画像を同時に撮影する発明が提案されている（例えば、特許文献１〜３）。また、同時に撮影した可視画像及び赤外画像を組み合わせて、被写体を追跡することも可能である（以後、「従来技術」と呼ぶ）。すなわち、この従来技術は、被写体に貼り付けた赤外線マーカを検出できた場合には、赤外画像により被写体を追跡し、赤外線マーカを検出できない場合には、赤外画像から可視画像に切り替えて追跡を継続する。

特開２００５−７９７７３号公報特開２００６−２７０７９８号公報特開２００７−３３４３１１号公報

しかしながら、従来技術では、赤外画像による追跡から可視画像による追跡に切り替えたとき、被写体の追跡ができない場合がある。従来技術では、例えば、被写体の動きがフレームレートを超える場合や被写体が別の物体に隠れてしまう場合には、赤外画像の赤外線マーカと、被写体の追跡を切り替えた後の可視画像の被写体との位置ずれが大きくなってしまい、被写体の追跡ができない場合がある。

そこで、本発明は、被写体を頑健に追跡できる被写体追跡装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係る被写体追跡装置は、可動域を有する被写体を可視光により撮影した可視画像と、可視画像と同一の光軸及び同一の画角で被写体を非可視光により撮影した非可視画像とを用いて、被写体を追跡する被写体追跡装置であって、非可視画像追跡部と、追跡制御部と、学習部と、可視画像追跡部と、を備える構成とした。

かかる構成によれば、被写体追跡装置は、非可視画像追跡部によって、非可視画像を入力し、入力した非可視画像から、被写体に付した非可視光マーカを検出し、検出した非可視光マーカを被写体として追跡する。
ここで、可視画像とは、可視光（肉眼で見える波長の光）で撮影した画像のことである。また、非可視画像とは、非可視光（肉眼で見えない波長の光）で撮影した画像のことである。

被写体追跡装置は、追跡制御部によって、非可視画像で被写体を追跡できたか否かを判定する。
被写体追跡装置は、学習部によって、非可視画像で被写体を追跡できた場合には、非可視画像の非可視光マーカに対応した位置にある可視画像の被写体の画像特徴量をオンライン学習することで、被写体の識別器を生成する。

被写体追跡装置は、可視画像追跡部によって、非可視画像で被写体を追跡できなかった場合には、識別器により可視画像から被写体を検出し、可視画像から検出した被写体を追跡する。
被写体追跡装置は、追跡制御部によって、非可視画像で被写体を追跡できた場合には、非可視画像で追跡した被写体の位置を出力し、非可視画像で被写体を追跡できなかった場合には、可視画像で追跡した被写体の位置を出力する。

つまり、被写体追跡装置は、非可視画像による追跡中に可視画像の被写体をオンライン学習し、非可視画像による追跡が行えない場合には、可視画像により被写体を追跡する。このとき、被写体追跡装置は、可視画像による追跡にオンライン学習した識別器を用いるので、例えば、被写体の動きが激しい場合や被写体が別の物体に隠れてしまう場合でも、可視画像で被写体を追跡することができる。

なお、被写体追跡装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる被写体追跡プログラムで実現することもできる。

本発明によれば、以下のような優れた効果を奏する。
本発明に係る被写体追跡装置は、非可視画像による追跡中に可視画像の被写体をオンライン学習し、非可視画像による追跡が行えない場合、オンライン学習した識別器を用いて、可視画像による追跡を行うので、頑健な被写体追跡を実現することができる。

実施形態における被写体追跡システムの概略構成図である。赤外線マーカの説明図である。図１の被写体追跡装置の構成を示すブロック図である。図１の被写体追跡装置の動作を示すフローチャートである。赤外画像の一例を示す図である。図４の被写体検出処理を示すフローチャートである。２値化した赤外画像の一例を示す図である。可視画像の一例を示す図である。図４のオンライン学習処理を示すフローチャートである。可視画像に設定した正例及び負例のパッチの説明図である。色ヒストグラムの説明図であり、（ａ）は可視画像の一例を示し、（ｂ）はＲ画像の画素値のヒストグラムを示し、（ｃ）はＧ画像の画素値のヒストグラムを示し、（ｄ）はＢ画像の画素値のヒストグラムを示す。ＬＢＰの説明図であり、（ａ）は画像領域内の画素値を示し、（ｂ）は周辺画素への割当結果を示し、（ｃ）は周辺画素の重みを示す。ＳＶＭの説明図である。確率的勾配降下法のアルゴリズムの説明図である。確率的勾配降下法による線形ＳＶＭのアルゴリズムの説明図である。図４の追跡処理を示すフローチャートである。追跡対象領域の設定の説明図である。（ａ）は可視画像の一例を示す画像であり、（ｂ）は（ａ）の可視画像をグレースケール化した画像であり、（ｃ）は赤外画像の一例を示す画像であり、（ｄ）は（ｃ）の赤外画像を２値化した画像である。（ａ）は可視画像の一例を示す画像であり、（ｂ）は（ａ）の可視画像をグレースケール化した画像であり、（ｃ）は赤外画像の一例を示す画像であり、（ｄ）は（ｃ）の赤外画像を２値化した画像である。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の手段には同一の符号を付し、説明を省略した。

［被写体追跡システムの構成］
図１を参照し、実施形態における被写体追跡システム１の構成について説明する。
被写体追跡システム１は、可視画像及び赤外画像を用いて、動いている被写体９を追跡するものであり、図１に示すように、赤外線投光部１０と、撮影部２０と、被写体追跡装置３０とを備える。
本実施形態では、被写体追跡システム１は、非可視光として赤外線（赤外光）を利用することとする。また、被写体追跡システム１は、フェンシングの試合を撮影し、選手が使用する剣の先端が高速で可動な被写体９を追跡する。

赤外線投光部１０は、被写体９が反射した赤外線を撮影して赤外画像（非可視画像）を生成するために、被写体９に赤外線を投光する。本実施形態では、赤外線投光部１０は、後述する撮影部２０と同一光軸であることが好ましいので、一般的な赤外線ＬＥＤ（Light Emitting Diode）を撮影部２０のレンズの周囲に同心円状に配置した。赤外線は、人間の視覚で知覚されないため、赤外画像を撮影するために赤外線投光部１０が常時投光したとしても、人間に不快感を与えることがない。

ここで、被写体９は、図２に示すように、赤外線投光部１０が放射する赤外線を反射するため、赤外線を反射する赤外線マーカ（非可視光マーカ）１２を付している。本実施形態では、１人の選手が持つフェンシングの剣の先端部に、赤外線マーカ１２を貼り付けている。この赤外線マーカ１２は、追跡対象となる被写体９を赤外画像で特定するためのマーカである。赤外線マーカ１２は、例えば、この赤外線マーカ１２に入射した赤外線を、その赤外線が入射してきた方向に反射する再帰性反射材である。これにより、被写体追跡システム１は、赤外画像を撮影する際、外乱となる赤外線の影響を低減することができる。

なお、赤外線マーカ１２は、可視画像から被写体９を検出する基準となるので、被写体９の特徴部分（例えば、被写体９の先端）に付すことが好ましい。
また、赤外線マーカ１２は、その形状や大きさが特に制限されず、被写体９の先端部を一周するように環状に貼り付けてもよい。

撮影部２０は、被写体９の可視画像及び赤外画像を同時に撮影する。ここで、撮影部２０は、単一のレンズに入射した光をプリズム（不図示）で分光し、同一光軸及び同一画角で同一画素数の可視画像及び赤外画像を撮影し、被写体追跡装置３０に出力する。これにより、可視画像及び赤外画像は、座標変換等の演算を行うことなく、両画像間で画素位置を対応づけることができる。さらに、撮影部２０は、可視画像の撮影素子の前段に、赤外線をカットするためのフィルタ（不図示）を備える。
なお、撮影部２０の詳細は、例えば、特開２００６−２７０７９８号公報に記載されているため、これ以上の説明を省略する。

ここで、可視画像とは、被写体９を可視光（例えば、３６０ｎｍ〜８３０ｎｍの波長領域）で撮影した画像のことである。
また、赤外画像とは、被写体９を赤外線（例えば、０．７μｍ〜１ｍｍの波長領域）で撮影した画像のことである。

被写体追跡装置３０は、撮影部２０から入力した可視画像及び赤外画像を用いて、被写体９を追跡する。つまり、被写体追跡装置３０は、赤外画像による追跡に加え、可視画像による追跡を補助的に行う。具体的には、被写体追跡装置３０は、赤外画像により追跡を行うと共に、赤外画像による追跡中、可視画像の被写体９をオンライン学習する。そして、被写体追跡装置３０は、赤外画像による追跡が行えない場合には、オンライン学習した識別器を用いて、可視画像による追跡を行う。

［被写体追跡装置の構成］
図３を参照し、被写体追跡装置３０の構成について説明する。
図３に示すように、被写体追跡装置３０は、赤外画像追跡部（非可視画像追跡部）３１０と、追跡制御部３２０と、可視画像追跡部３３０と、学習部３４０と、出力部３５０とを備える。

赤外画像追跡部３１０は、撮影部２０より入力した赤外画像から、被写体９に付した赤外線マーカ１２を検出し、検出した赤外線マーカ１２を被写体９として追跡する。

追跡制御部３２０は、赤外画像で被写体９（赤外線マーカ１２）を追跡できたか否かを判定し、判定結果に基づいて、赤外画像又は可視画像の何れを用いて追跡するように、可視画像追跡部３３０及び学習部３４０の制御を行う。

可視画像追跡部３３０は、赤外画像で被写体９を追跡できなかった場合には、撮影部２０より入力した可視画像から被写体９を検出し、検出した被写体９を追跡する。また、可視画像追跡部３３０は、後述する色ヒストグラム生成部３３１と、ＬＢＰ（Local Binary Pattern）算出部３３３とを備える。
学習部３４０は、赤外画像の赤外線マーカ１２に対応した位置にある可視画像の被写体９の多次元画像特徴量をオンライン学習することで、被写体９の識別器を生成する。

出力部３５０は、追跡制御部３２０から被写体９の追跡結果を入力し、任意の形式で出力する。例えば、出力部３５０は、被写体９の追跡結果を、画像内における被写体９の座標値で出力する。この他、出力部３５０は、被写体９の軌跡を可視画像にＣＧ合成し、ＣＧ合成した画像を出力してもよい。
なお、被写体追跡装置３０の各手段は、その詳細を後述する。

［被写体追跡装置の全体動作］
図３，図４を参照し、被写体追跡装置３０の動作について説明する。
図４に示すように、追跡制御部３２０は、初期化処理を行う。この初期化処理は、可視画像追跡部３３０が行う被写体９の検出処理を初期化すると共に、撮影部２０から可視画像及び赤外画像を入力可能な初期状態に戻す処理である（ステップＳ１）。
被写体追跡装置３０は、撮影部２０から赤外画像を入力し、後述する赤外画像による被写体検出処理を行う（ステップＳ２）。

追跡制御部３２０は、赤外画像から被写体９を検出できたか否かを判定する（ステップＳ３）。
ここで、追跡制御部３２０は、赤外画像追跡部３１０から入力した被写体９の位置が赤外画像内での座標である場合には、赤外画像から被写体９を検出できたと判定する。
一方、追跡制御部３２０は、赤外画像追跡部３１０から入力した被写体９の位置が赤外画像内での座標でない場合、又は、ヌルの場合には、赤外画像から被写体９を検出できなかったと判定する。

被写体９を検出できた場合には（ステップＳ３でＹｅｓ）、赤外画像追跡部３１０は、検出した被写体９を追跡する（ステップＳ４）。
被写体追跡装置３０は、後述する可視画像によるオンライン学習処理を行う（ステップＳ５）。

出力部３５０は、ステップＳ４又はステップＳ８における被写体９の追跡結果を出力する（ステップＳ６）。
追跡制御部３２０は、終了フラグの有無を判定する（ステップＳ７）。例えば、被写体追跡装置３０のユーザがキーボードやマウス等の入力手段を操作することで、この終了フラグの有無を手動で設定できる。

終了フラグが無しの場合には（ステップＳ７でＮｏ）、被写体追跡装置３０は、ステップＳ２の処理に戻る。
終了フラグが有りの場合には（ステップＳ７でＹｅｓ）、被写体追跡装置３０は、処理を終了する。

被写体９を検出できない場合には（ステップＳ３でＮｏ）、被写体追跡装置３０は、後述する可視画像による追跡処理を行う（ステップＳ８）。

追跡制御部３２０は、可視画像で被写体９を追跡できたか否かを判定する（ステップＳ９）。
ここで、追跡制御部３２０は、可視画像追跡部３３０から入力した被写体９の位置が可視画像内での座標である場合には、可視画像で被写体９を追跡できたと判定する。
一方、追跡制御部３２０は、可視画像追跡部３３０から入力した被写体９の位置が可視画像内での座標でない場合、又は、ヌルの場合には、可視画像で被写体９を追跡できなかったと判定する。

可視画像で追跡できない場合には（ステップＳ９でＮｏ）、被写体追跡装置３０は、ステップＳ２の処理に戻る。
可視画像で追跡できた場合には（ステップＳ９でＹｅｓ）、被写体追跡装置３０は、ステップＳ６の処理を行う。

［赤外画像による被写体検出処理］
図３，図５〜図７を参照し、図４の赤外画像による被写体検出処理について説明する。
赤外画像は、図５に示すように、赤外線マーカ１２の領域で反射光が強くなるので輝度が高くなる一方、赤外線マーカ１２以外の領域では赤外線が散乱するので輝度が低くなる。従って、赤外画像では、この輝度差により赤外線マーカ１２の領域と赤外線マーカ１２以外の領域とを識別できる。なお、図５では、輝度が低くなる赤外線マーカ１２以外の領域を破線で図示した。

図６に示すように、赤外画像追跡部３１０は、撮影部２０から入力した赤外画像を予め設定した閾値により２値化する（ステップＳ２０）。この閾値は、赤外画像における赤外線マーカ１２からの反射光の検出感度に応じて設定する。

赤外画像追跡部３１０は、モルフォロジー処理によりノイズを除去する（ステップＳ２１）。例えば、赤外画像を２値化し、注目画素の周辺に１画素でも白い画素があれば白に置き換え、逆に周辺に１画素でも黒い画素があれば黒に置き換える処理を行う。具体的には、図５の赤外画像に２値化処理及びモルフォロジー処理を施すと、図７のように、赤外線マーカ１２の領域が高輝度なので白くなり、赤外線マーカ１２以外の領域が低輝度なので黒くなる。これにより、赤外画像追跡部３１０は、ノイズによる赤外線マーカ１２の誤検出を防ぎ、赤外線マーカ１２からの反射光を安定して検出することができる。

赤外画像追跡部３１０は、赤外画像で被写体９の反射光を検出した領域に対し、後述するラベリング処理を施し、反射光を検出した領域毎の重心位置又は中心位置を算出する（ステップＳ２２）。
なお、ラベリング処理とは、反射光を検出した各領域を一意に識別するラベル（例えば、１，２，…のような連番）を各領域に付加する処理のことである。

赤外画像追跡部３１０は、検出した領域数が１であるか否かを判定する（ステップＳ２３）。つまり、検出した領域数が１の場合には、反射光を検出した領域を赤外線マーカ１２の領域として扱う。一方、検出した領域数が０の場合には、赤外線マーカ１２からの反射光が検出できなかったとして扱う。さらに、反射光を検出した領域数が２以上の場合には、赤外線の外乱等によるノイズの影響のため、赤外線マーカ１２の領域を特定できないとして扱う。

検出した領域数が１の場合には（ステップＳ２３でＹｅｓ）、赤外画像追跡部３１０は、検出した領域の位置を被写体９の位置として追跡制御部３２０に出力し、処理を終了する（ステップＳ２４）。
検出した領域数が１でない場合には（ステップＳ２３でＮｏ）、赤外画像追跡部３１０は、被写体９の位置を検出できなかった旨の通知（例えば、被写体９の位置がヌル）を追跡制御部３２０に出力し、処理を終了する（ステップＳ２５）。

［可視画像によるオンライン学習処理］
図３，図８〜図１０を参照し、図４の可視画像によるオンライン学習処理について説明する。
図８に示すように、撮影部２０は、可視画像を赤外画像と同一光軸及び同一画角で同時に撮影する。これにより、追跡制御部３２０は、赤外画像から得た被写体９の位置を可視画像に対応付けることができる。また、赤外画像を得るために赤外線を被写体９に照射しているが、撮影部２０が備えるフィルタによって可視画像には影響を与えないようになっている。

図９に示すように、可視画像追跡部３３０は、赤外画像で追跡した被写体９の位置を基準として、正例のパッチＡ（図１０）を可視画像に設定する（ステップＳ５０）。また、可視画像追跡部３３０は、図１０に示すように、正例のパッチＡを含まないように負例のパッチＢを可視画像に設定する。例えば、可視画像追跡部３３０は、負例のパッチＢを、可視画像で正例のパッチを含まない箇所にランダムに設定する。

ここで、正例のパッチＡ及び負例のパッチＢは、予め設定したサイズを有する矩形領域である。また、正例のパッチＡ及び負例のパッチＢは、その個数が特に制限されないが、例えば、１個ずつ設定できる。

可視画像追跡部３３０は、正例のパッチＡ及び負例のパッチＢから、画像特徴量を算出する（ステップＳ５１）。例えば、可視画像追跡部３３０は、正例のパッチＡ及び負例のパッチＢについて、後述する色ヒストグラム及びＬＢＰからなる多次元画像特徴量を算出する。

学習部３４０は、正例のパッチＡ及び負例のパッチＢについての画像特徴量をオンライン学習し、後述する被写体９の識別器を生成する（ステップＳ５２）。

＜多次元画像特徴量＞
図３，図１１，図１２を参照し、可視画像追跡部３３０が算出する多次元画像特徴量について詳細に説明する。
ここで、可視画像追跡部３３０は、被写体９の形状と色に注目し、色ヒストグラム及びＬＢＰからなる多次元画像特徴量を算出する。

色ヒストグラム生成部３３１は、各原色の画像における画素値（輝度値）のヒストグラムを求める。
まず、色ヒストグラム生成部３３１は、図１１（ａ）の可視画像から、赤色成分を抽出したＲ画像、緑色成分を抽出したＧ画像、及び、青色成分を抽出したＢ画像を生成する。そして、色ヒストグラム生成部３３１は、図１１（ｂ）〜（ｄ）に示すように、Ｒ画像、Ｇ画像及びＢ画像において、それぞれの画素値の分布を表したヒストグラムを算出する。例えば、色ヒストグラム生成部３３１は、画素値が０〜２５５の範囲となる場合には、この範囲を４等分し、０〜６３、６４〜１２７、１２８〜１９１、１９２〜２５５のグループに分割する。そして、色ヒストグラム生成部３３１は、Ｒ画像、Ｇ画像及びＢ画像のそれぞれで、各グループに含まれる画素値の数を格納した配列を生成する。例えば、色ヒストグラム生成部３３１は、Ｒ画像について、０〜６３のグループに対応したＲ［０］と、６４〜１２７のグループに対応したＲ［１］と、１２８〜１９１のグループに対応したＲ［２］と、１９２〜２５５のグループに対応したＲ［３］とを格納した配列を生成する（Ｇ画像及びＢ画像も同様）。そして、色ヒストグラム生成部３３１は、Ｒ［０］〜Ｒ［３］、Ｇ［０］〜Ｇ［３］、Ｂ［０］〜Ｂ［３］を要素とする色ヒストグラムを生成する。

ＬＢＰ算出部３３３は、所定サイズの画素領域において、中心画素と周辺画素との画素値（輝度値）の差を算出し、その正負に応じて、‘０’又は‘１’を割り当てる。
図１２（ａ）に示すように、可視画像に含まれる３×３の画素領域を一例として考える。図１２（ａ）の数値は、画素領域の各画素の画素値を表す。ここで、ＬＢＰ算出部３３３は、中心画素の画素値‘６’を各周辺画素の画素値から減算した値を求め、図１２（ｂ）に示すように、その値が０以上なら‘１’、その値が負なら‘０’を割り当てる。ここで、ＬＢＰ算出部３３３は、図１２（ｃ）に示すように、左上の周辺画素から時計回りで順番に２^ｎの重みを予め設定しておき（ｎ＝０，…，７）、図１２（ｂ）の値と図１２（ｃ）の重みを乗じ、その総和をＬＢＰ特徴量として求める。例えば、図１２の例であれば、ＬＢＰ特徴量は、１＋１６＋３２＋６４＋１２８＝２４１となる。

なお、ＬＢＰの詳細は、以下の参考文献に詳細に記載されているため、これ以上の説明を省略する。
参考文献：長谷川修,"Local Binary Patternとその周辺,"情処研報,Vol.2012-CG-149,no.3,pp.1-6,Dec,2012.

＜オンライン学習＞
図３，図１３〜図１５を参照し、学習部３４０が行うオンライン学習について詳細に説明する。
本実施形態では、学習部３４０は、例えば確率的勾配降下法（ＳＧＤ：Stochastic Gradient Descent）による線形ＳＶＭ（Support Vector Machine）を用いて、オンライン学習する。

ＳＶＭでは、クラスＡとクラスＢとの真ん中を定義すべく、サポートベクトルとマージンという２つの概念を導入する。図１３に示すように、サポートベクトルとは、分離超平面Ｃから一番近い各クラスのデータのことであり、サポートベクトルから分離超平面Ｃまでの距離をマージンと呼ぶ。

２次元の特徴空間において、●で図示したクラスＡの訓練サンプル（例えば、正例のパッチＡから算出した画像特徴量）と、■で図示したクラスＢの訓練サンプル（例えば、負例のパッチＢから算出した画像特徴量）とを与えたこととする。この場合、ＳＶＭでは、マージンが最大となるように、クラスＡとクラスＢとの真ん中に分離超平面Ｃを引く。そして、ＳＶＭでは、分離超平面Ｃを境界として、クラスＡとクラスＢとの訓練サンプルを識別（分類）する。

確率的勾配降下法による線形ＳＶＭは、下記式（１）で定義したＳＶＭの目的関数について、図１４の確率的勾配降下法のアルゴリズムを適用する手法である。ここで、式（１）が、図１４で３行目のｌ（ｘ^（ｔ）,ｙ^（ｔ）,ｗ^（ｔ））に対応する。

図１４の３行目において、▽ｌ（ｘ^（ｔ）,ｙ^（ｔ）,ｗ^（ｔ））で式（１）の勾配を算出する。このとき、式（１）がｍａｘ関数を含むため、場合分けが必要になる。また、１−ｙ^（ｔ）ｗ^Ｔｘ^（ｔ）＝０となる点で微分不可能になるため、劣勾配を用いる。従って、下記式（２）〜式（５）のように場合分けを行って、式（１）の勾配を算出することになる。

その後、算出した勾配を確率的勾配降下法に適用し、図１５のような学習アルゴリズムを構築する。図１５では、３〜７行目のｉｆ文が、勾配算出時の場合分けに相当する。また、図１５では、３行目のｙ^（ｔ）ｗ^Ｔ（ｔ）ｘ^（ｔ）≦１が式（５）の右辺上段に相当し、５行目のｅｌｓｅが式（５）の右辺下段に相当する。

［可視画像による追跡処理］
図３，図１６を参照し、可視画像による追跡処理について説明する。
図１６に示すように、追跡制御部３２０は、可視画像追跡部３３０が初期化済みであるか否かを判定する（ステップＳ８０）。

この可視画像追跡部３３０は、可視画像による追跡が実行中であるか否かを判定するために、初期化が行われる。具体的には、可視画像追跡部３３０が初期化済みでない場合には、現フレームの可視画像から追跡を開始する。一方、可視画像追跡部３３０が初期化済みの場合には、可視画像による追跡を継続する。

可視画像追跡部３３０が初期化済みでない場合には（ステップＳ８０でＮｏ）、追跡制御部３２０は、直前の被写体９の位置（つまり、１フレーム前の赤外画像で追跡した被写体９の位置）を表した被写体位置情報を生成する。そして、可視画像追跡部３３０は、図１７に示すように、被写体位置情報を参照し、被写体９の位置を中心として、追跡対象領域Ｄを可視画像に設定する（ステップＳ８１）。この追跡対象領域Ｄは、正例のパッチＡ（図１０）と同一の形状及びサイズとなる。

可視画像追跡部３３０は、追跡対象領域Ｄについて、正例のパッチＡと同一の画像特徴量を算出する。そして、可視画像追跡部３３０は、算出した画像特徴量を学習部３４０の識別器に入力する。すると、学習部３４０の識別器は、追跡対象領域Ｄが被写体９を含む場合に正値を出力し、追跡対象領域Ｄが被写体９を含まない場合に負値を出力する。従って、可視画像追跡部３３０は、この出力値に応じて、追跡対象領域Ｄが被写体９を含むか否かを判定できる（ステップＳ８２）。

追跡対象領域Ｄが被写体９を含まない場合には（ステップＳ８２でＮｏ）、可視画像追跡部３３０は、コーナー検出アルゴリズムを可視画像に適用し、可視画像からコーナーを検出する（ステップＳ８３）。このコーナー検出アルゴリズムは、物体が先端等の特徴を有するという前提に基づく手法であり、例えば、ＳｈｉとＴｏｍａｓｈｉの手法を適用できる。このＳｈｉとＴｏｍａｓｈｉの手法は、ウィンドウ領域内の画像を微小シフトさせたとき、画素値（輝度値）の差の二乗和（ＳＳＤ：Sum of Squared difference）が大きくなる点を検出する。

なお、ＳｈｉとＴｏｍａｓｈｉの手法は、以下の参考文献に詳細に記載されているため、これ以上の説明を省略する。
参考文献：J. Shi and C. Tomasi,"Good features to track,"Proc.CVPR'94,pp.593-600,Seattle,United States,June,1994.DOI:10.1109/CVPR.1994.323794

可視画像追跡部３３０は、検出した各コーナーを中心とした新たな追跡対象領域Ｄを設定し、この追跡対象領域Ｄの画像特徴量を算出する。そして、可視画像追跡部３３０は、算出した画像特徴量を学習部３４０の識別器に入力する。このようにして、可視画像追跡部３３０は、検出したコーナーの領域（追跡対象領域Ｄ）が被写体９を含むか否かを判定する（ステップＳ８４）。

追跡対象領域Ｄが被写体９を含む場合（ステップＳ８２でＹｅｓ）、又は、コーナーの領域が被写体９を含む場合には（ステップＳ８４でＹｅｓ）、追跡制御部３２０は、可視画像追跡部３３０を初期化する（ステップＳ８５）。

可視画像追跡部３３０が初期化済みの場合（ステップＳ８０でＹｅｓ）、又は、ステップＳ８５の処理に続いて、可視画像追跡部３３０は、任意の追跡アルゴリズムを追跡対象領域Ｄに適用する（ステップＳ８６）。例えば、追跡アルゴリズムとしては、特に高速な処理を実現したＭＯＳＳＥ（Minimum Output Sum of Squared Error）が挙げられる。このＭＯＳＳＥは、単一のフレームで初期化した相関フィルタを用いる手法である。

なお、ＭＯＳＳＥは、以下の参考文献に詳細に記載されているため、これ以上の説明を省略する。
参考文献：D.S.Bolme,J.R.Beveridge,B.A.Draper and Y.M.Lui,"Visual object tracking using adaptive correlation filters,"Proc.CVPR 2010,pp.2544-2550,San Francisco,United States,June,2010.DOI:10.1109/CVPR.2010.5539960

可視画像追跡部３３０は、追跡結果として、追跡した被写体９の重心位置又は中心位置を出力する（ステップＳ８７）。
なお、コーナーの領域が被写体９を含まない場合には（ステップＳ８４でＮｏ）、可視画像追跡部３３０は、ステップＳ８７の処理において、追跡結果として、追跡失敗（例えば、被写体９の位置がヌル）を出力する。

以上のように、実施形態に係る被写体追跡システム１は、赤外線を効率よく反射する赤外線マーカ１２を被写体９に貼り付け、赤外線を照射することで、赤外線マーカ１２からの反射光を得ることができる。このとき、被写体追跡システム１は、赤外線マーカ１２に再帰性反射材を用いることで赤外線を照射する撮影方向からの赤外線のみが効率よく反射するため、赤外画像中で赤外線マーカ１２を容易に識別することが可能となる。

これにより、被写体追跡装置３０は、赤外線マーカ１２からの反射光を得られていれば、被写体９の頑健な追跡が可能となる。特に赤外画像による追跡は、可視画像による追跡では難しい被写体９の高速な移動や被写体９の変形に対して有効である。

また、被写体追跡装置３０は、撮影部２０が赤外線マーカ１２からの反射光を得られない場合、又は、照明等の赤外線を発する物体が撮影範囲に入った場合には、正確な追跡が困難となる。そこで、被写体追跡装置３０は、赤外画像だけでなく、これら要因に左右されない可視画像による追跡を併用する。このとき、被写体追跡装置３０は、可視画像が含む被写体９の画像特徴量が刻々変化するため、赤外画像による追跡中に被写体９の画像特徴量をオンライン学習する。このオンライン学習の結果は、赤外画像による追跡から可視画像による追跡への切替判定や、可視画像による追跡中に追跡アルゴリズムが失敗した際の被写体９の再検出に利用できる。

以上、各実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、非可視光として赤外線を利用することとして説明したが、本発明は、赤外線以外の不可視光を利用することもできる。

前記した実施形態では、赤外線マーカに赤外線を投光することとして説明したが、本発明は、これに限定されない。例えば、被写体追跡システムでは、赤外線を能動的に発光する赤外線マーカを被写体に取り付けてもよい。この場合、被写体追跡システム１は、赤外線投光部が不要になると共に、赤外線マーカからより強い赤外光が得られるため、より頑健な被写体追跡を行うことができる。

前記した実施形態では、被写体の位置（座標）を出力することとして説明したが、本発明は、これに限定されない。例えば、被写体追跡システムでは、被写体の追跡結果を利用してＣＧ描画することで、被写体の動きを可視化する映像表現を実現することができる。

前記した実施形態では、可視画像を１フレーム入力する毎にオンライン学習を行うこととして説明したが、本発明は、これに限定されない。可視画像において、被写体の見た目が変化する場合には、正例のパッチの画像特徴量も大きく変化することになる。従って、予め設定した範囲のフレームのみをオンライン学習の対象とすることで、オンライン学習の対象となる可視画像の間で被写体の見た目の変化が小さくなり、被写体をより正確に識別することができる。

前記した実施形態では、オンライン学習として、確率的勾配降下法による線形ＳＶＭを用いることとして説明したが、本発明は、これに限定されない。例えば、被写体追跡システムは、パーセプトロンやニューラルネットワークを用いて、オンライン学習を行ってもよい。

前記した実施形態では、被写体追跡装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、被写体追跡装置として協調動作させる被写体追跡プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

図１８，図１９を参照し、本発明の実施例について説明する。
図１８は、被写体追跡装置における可視画像による追跡処理の実験結果例である。ｘ及びｙの数値が画像中の被写体の位置を表す。図１８（ａ）の可視画像中の点は、赤外画像による追跡処理結果を表す。図１８（ａ）の可視画像をグレースケール化すると、図１８（ｂ）のようになる。また、図１８（ｃ）の赤外画像を２値化すると、図１８（ｄ）のようになる。図１８の場合、被写体に貼り付けた赤外線マーカから十分な反射光を得られるため、赤外画像による追跡処理を行うことができた。

図１９（ｃ）のように、赤外線マーカからの反射光の強度が弱い場合を考える。この場合、赤外画像を２値化すると、図１９（ｄ）のように、反射光から追跡対象の位置を特定できない。従って、図１９（ａ）の可視画像による追跡処理を実行することになる。なお、図１９（ａ）の可視画像中の点が可視画像による追跡処理結果を表し、四角形の領域が追跡対象領域を表す。

１被写体追跡システム
１０赤外線投光部
２０撮影部
３０被写体追跡装置
３１０赤外画像追跡部（非可視画像追跡部）
３２０追跡制御部
３３０可視画像追跡部
３３１色ヒストグラム生成部
３３３ＬＢＰ算出部
３４０学習部
３５０出力部

Claims

可動域を有する被写体を可視光により撮影した可視画像と、前記可視画像と同一の光軸及び同一の画角で前記被写体を非可視光により撮影した非可視画像とを用いて、前記被写体を追跡する被写体追跡装置であって、
前記非可視画像を入力し、入力した前記非可視画像から、前記被写体に付した非可視光マーカを検出し、検出した前記非可視光マーカを前記被写体として追跡する非可視画像追跡部と、
前記非可視画像で前記被写体を追跡できたか否かを判定する追跡制御部と、
前記非可視画像で前記被写体を追跡できた場合、前記非可視画像の前記非可視光マーカに対応した位置にある前記可視画像の被写体の画像特徴量をオンライン学習することで、前記被写体の識別器を生成する学習部と、
前記非可視画像で前記被写体を追跡できなかった場合、前記識別器により前記可視画像から前記被写体を検出し、前記可視画像から検出した前記被写体を追跡する可視画像追跡部と、を備え、
前記追跡制御部は、前記非可視画像で前記被写体を追跡できた場合、前記非可視画像で追跡した前記被写体の位置を出力し、前記非可視画像で前記被写体を追跡できなかった場合、前記可視画像で追跡した前記被写体の位置を出力することを特徴とする被写体追跡装置。
前記学習部は、前記オンライン学習として、確率的勾配降下法による線形ＳＶＭを行うことを特徴とする請求項１に記載の被写体追跡装置。
前記可視画像追跡部は、前記非可視光マーカの位置を基準として所定サイズの正例画像領域を前記可視画像に設定し、前記正例画像領域と同一サイズで前記正例画像領域を含まない負例画像領域を前記可視画像に設定し、設定した前記正例画像領域及び前記負例画像領域の画像特徴量を算出し、
前記学習部は、算出した前記正例画像領域及び前記負例画像領域の画像特徴量を前記オンライン学習することを特徴とする請求項１又は請求項２に記載の被写体追跡装置。
前記可視画像追跡部は、前記正例画像領域及び前記負例画像領域の画像特徴量として、色ヒストグラム及びＬＢＰからなる多次元画像特徴量を算出することを特徴とする請求項３に記載の被写体追跡装置。
コンピュータを、請求項１から請求項４の何れか一項に記載の被写体追跡装置として機能させるための被写体追跡プログラム。