JP5429885B2 - 特徴点追跡方法及び特徴点追跡装置 - Google Patents

Description

本発明は、対象者の画像に基づいて対象者の特徴点を追跡する特徴点追跡方法及び特徴点追跡装置に関するものである。

従来から、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させたり、運転者の眠気を検知したりする目的において、対象者の瞳孔等の特徴点を追跡する技術が開発されている。例えば、時系列のフレーム画像から瞳孔等の特徴点を検出する技術が知られている（下記特許文献１及び下記特許文献２参照）。

下記特許文献１に開示された瞳孔検出方法では、瞳孔を検出するために時間的に連続する２つの画像の差分を取る際に、鼻孔の位置のずれ量を検出してそのずれ量に対応する分だけずれを打ち消す方向に画像の位置補正を行った後に２つの画像を差分するとするものである。また、下記特許文献２に開示された瞳孔検出方法では、角膜反射位置のずれ量に対応する分だけ画像の位置補正を行った後に上記と同様にして２つの画像を差分するというものである。これらの位置補正は画像を撮影するタイミング間の時間差の補正を目的としている。

特開２００７−２６８０２６号公報 特開２００８−０２９７０２号公報

しかしながら、鼻孔の位置のずれ量を利用して画像補正する場合には、頭部の回転時には鼻孔の移動量と瞳孔の移動量が一致しないために瞳孔の検出精度が十分でない場合がある。また、角膜反射のずれ量を利用して画像補正する場合は、視線方向がカメラの光軸方向と大きくずれていると角膜反射が現れないため、画像の補正が機能しない傾向にあった。

そこで、本発明は、かかる課題に鑑みて為されたものであり、時系列の画像フレームにおける特徴点の移動予測を高精度に行うことで、特徴点の追跡のロバスト性を向上させることが可能な特徴点追跡方法及び特徴点追跡装置を提供することを目的とする。

上記課題を解決するため、本発明の特徴点追跡方法は、対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡方法であって、対象者の３つの特徴点の組み合わせである特徴部位群の２次元位置を撮像手段によって撮像し、特徴部位群の３次元位置を時系列で検出する位置検出ステップと、過去の撮像タイミングにおける特徴部位群の３次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出ステップと、当該算出された顔座標系の基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける顔座標系の回転角度及び変位を予測する変換係数予測ステップと、当該予測された回転角度及び変位に基づいて、現在の撮像タイミングの特徴部位群の３次元予測位置を算出する予測位置算出ステップとを備え、位置検出ステップでは、当該算出された特徴部位群の３次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの特徴部位群用のウィンドウを設定し、それぞれのウィンドウを対象にして特徴部位群の画像を検出する。

或いは、本発明の特徴点追跡装置は、対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡装置であって、対象者の３つの特徴点の組み合わせである特徴部位群の２次元位置を撮像手段によって撮像し、特徴部位群の３次元位置を時系列で検出する位置検出手段と、過去の撮像タイミングにおける特徴部位群の３次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出手段と、当該算出された顔座標系の基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける顔座標系の回転角度及び変位を予測する変換係数予測手段と、当該予測された回転角度及び変位に基づいて、現在の撮像タイミングの特徴部位群の３次元予測位置を算出する予測位置算出手段とを備え、位置検出手段は、当該算出された特徴部位群の３次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの特徴部位群用のウィンドウを設定し、それぞれのウィンドウを対象にして特徴部位群の画像を検出する。

このような特徴点追跡方法及び特徴点追跡装置によれば、対象者の３つの特徴点の組み合わせである特徴部位群が撮像されてその３次元位置が時系列で検出され、過去の撮像タイミングでの特徴部位群の３次元位置に基づいて、特徴部位群を基準にした顔座標系の基準座標系からの回転角度及び変位が算出され、この回転角度及び変位に基づいて現在の撮影タイミングでの顔座標系の回転角度及び変位が予測されて特徴部位群の現在の撮影タイミングでの３次元予測位置が算出された後、現在の特徴部位群の画像の検出に際しては、この算出された３次元予測位置に基づいて画像フレーム上にウィンドウが設定される。これにより、対象者の頭部の任意の動きに対しても時系列の画像フレーム中の特徴部位群の位置を予測することができ、時系列の画像フレーム中の特徴部位群を正確に追跡することが可能になる。その結果、対象者の頭部を対象にした特徴点追跡処理のロバスト性を向上させることができる。

本発明による特徴点追跡方法及び特徴点追跡装置によれば、時系列の画像フレームにおける特徴点の移動予測を高精度に行うことで、特徴点の追跡のロバスト性を向上させることができる。

本発明の好適な一実施形態である特徴点追跡装置を示す平面図である。 図１のカメラの撮像レンズの主点を原点とした２次元座標系における画像平面と特徴点の３次元座標との関係を示す図である。 図１の画像処理装置で設定されるカメラ座標系と顔座標系との位置関係を示す図である。 図３のカメラ座標系から顔座標系への座標変換を説明するための図である。 図３のカメラ座標系から顔座標系への座標変換を説明するための図である。 図３のカメラ座標系から顔座標系への座標変換を説明するための図である。 図３のカメラ座標系から顔座標系への座標変換を説明するための図である。 本実施形態の特徴点追跡方法による左右の瞳孔の検出結果を示すグラフである。 従来の瞳孔検出方法による左右の瞳孔の検出結果を示すグラフである。 図１の画像処理装置で設定される２値化閾値と、検出される連結成分の最大面積との関係を示すグラフである。 顔座標系における鼻孔方向ベクトルの方向及び位置を示す図である。 顔座標系における鼻孔方向ベクトルの方向及び位置を示す図である。 顔座標系における鼻孔方向ベクトルの方向及び位置を示す図である。

以下、図面を参照しつつ本発明に係る特徴点追跡方法及び特徴点追跡装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

まず、本発明にかかる特徴点追跡方法を実施するための特徴点追跡装置の構成について、図面を参照しながら説明する。本発明の特徴点追跡装置は、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させるポインティングデバイスや、瞳孔の動きを監視して運転者の眠気を検知する眠気検知システム等として利用される。

図１は、本発明の好適な一実施形態である特徴点追跡装置１０を示す平面図である。同図に示すように、特徴点追跡装置１０は、対象者Ａの顔画像を撮像する１台のカメラ（撮像手段）２と、カメラ２の前面２ａの撮像レンズの近傍に設けられた光源３ａと、カメラ２の前面２ａから離れた位置に設けられた光源３ｂと、カメラ２及び光源３ａ，３ｂと接続された画像処理装置１とを備えている。この画像処理装置１は、特徴点追跡処理における位置検出手段、変換係数算出手段、変換係数予測手段、予測位置算出手段として機能する。

カメラ２は、対象者Ａの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、ＣＣＤ、ＣＭＯＳ等の撮像素子を内蔵するデジタルカメラを用いる。このカメラ２は、対象者Ａがカメラ２の撮像レンズ（図示せず）の光軸Ｌ１上に位置するように配置されている。

光源３ａは、カメラ２の光軸Ｌ１に沿って、光軸Ｌ１上に位置する対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源３ｂは、光軸Ｌ１からの距離が光源３ａよりも離れた位置に固定され、光軸Ｌ１に沿って対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、２つの光源３ａ，３ｂから照射される照明光が瞳孔の部分に輝度差を生じさせるような異なる波長成分（例えば、中心波長が850nmと950nm）を有するように設定され、かつ、光源３ｂは光軸Ｌ１からの距離が光源３ａと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。

なお、カメラ２及び光源３ａ，３ｂは、対象者Ａが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Ａの鼻孔を検出し易くする目的で、対象者Ａの顔の高さよりも低い位置（例えば、光軸Ｌ１の水平面に対する傾斜角が２０〜３５度となり、光軸Ｌ１が対象者Ａの方向を向くような位置）に設けられることが好ましい。

画像処理装置１は、カメラ２による撮像、及び光源３ａ，３ｂによる照明光の照射を制御するとともに、カメラ２によって取得された対象者Ａの頭部画像に基づいて、対象者Ａの瞳孔、鼻孔等の特徴点を追跡する処理を実行する（詳細は後述する。）。

次に、上述した特徴点追跡装置１０の動作について説明するとともに特徴点追跡装置１０を用いた特徴点追跡方法について説明する。

まず、対象者Ａの左右の瞳孔中心及び左右の鼻孔中心の４つの各特徴点（特徴部位群）間の距離を実測しておく。次に、対象者Ａをカメラ２の光軸Ｌ１上に位置させ、画像処理装置１によって撮像タイミング及び照明タイミングが制御されることにより、任意の方向を向いた対象者Ａの顔画像が時系列で撮像される。このようにしてカメラ２によって生成された時系列の画像フレームは画像処理装置１に送られ、画像処理装置１によってそれぞれのフレーム画像上の左右の瞳孔中心の２次元座標、及び左右の鼻孔中心の中間点の２次元座標が検出される。その後、画像処理装置１によって、これらの２次元座標が３次元座標に変換される（以上、位置検出ステップ）。

ここで、位置検出ステップにおける処理について、詳細に説明する。

（位置検出ステップ）
対象者Ａの撮像時には、画像処理装置１は、光源３ａ，３ｂを交互に点灯させて、それぞれの点灯に同期した顔画像を交互に生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源３ａの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源３ｂの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの２種類の画像は、２つの光源３ａ，３ｂからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。例えば、フィールド走査を採用するカメラの場合は、光源３ａ，３ｂをカメラ２のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離することができる。そして、画像処理装置１は、明瞳孔画像と暗瞳孔画像のそれぞれの所定位置にウィンドウを設定し、互いのウィンドウ内の画像間で明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。これらのウィンドウは、後述するように、過去の撮像タイミングにおける瞳孔中心の３次元位置に基づいてその位置が設定される。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。

その後、画像処理装置１は、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施された画像を用いて、その画像を２値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開２００５−３４８８３２号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。

さらに、画像処理装置１は、左右の鼻孔中心の２次元座標及びそれらの中間点の２次元座標を、明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Ａが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、画像の大ウィンドウ内を対象にＰ−ｔｉｌｅ法により輝度が低いほうから０．８％の画素を検出し、ＨＩＧＨ画素及びＬＯＷ画素からなる２値化画像に変換する。その後、検出された２値化画像の膨張処理及び収縮処理（モルフォロジー処理）を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから２つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、２値画像中で対象画素の近傍の８画素の１つでもＨＩＧＨ画素がある場合に、対象画素をＨＩＧＨ画素に変換する処理であり、収縮処理とは、２値画像中で対象画素の近傍の８画素の１つでもＬＯＷ画素がある場合に、対象画素をＬＯＷ画素に変換する処理である。そして、縦横比が０．５より小さいか０．７より大きく、かつ、全体の画像サイズが６４０×２４０画素に対して面積が１００画素より小さいか３００画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に３０×３０画素の小ウィンドウを設定し、もとの画像の小ウィンドウ内を対象に、Ｐ−ｔｉｌｅ法により輝度が低いほうから５％の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が１３０画素以上か７０画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、２つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。

上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる２つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。

ここで、対象者Ａを撮像する特徴点追跡装置１０におけるカメラ光学系は、図２に示すように焦点距離ｆのピンホールモデルと仮定することができる。同図に示すように、画像処理装置１が検出したフレーム画像上の右瞳孔、左瞳孔、左鼻孔、及び右鼻孔の中心点の２次元座標を、それぞれ、Ｑ_１（ｘ_１，ｙ_１）、Ｑ_２（ｘ_２，ｙ_２）、Ｑ_３（ｘ_３，ｙ_３）、及びＱ_４（ｘ_４，ｙ_４）とする。この場合、ピンホールを原点Ｏとしたカメラ座標系（基準座標系）Ｘ−Ｙ−Ｚにおける各特徴点の３次元座標Ｑ_ｎは、（ｘ_ｎ，ｙ_ｎ，ｆ）（ｎ＝１，２，３，４）で表される。また、ピンホールＯから各特徴点へ向かう位置ベクトルに対応した単位ベクトルは、下記式（１）；

で表され、各特徴点の位置ベクトルは定数ａ_ｎ（ｎ＝１，２，３，４）を用いて下記式（２）；

で表される。

なお、各特徴点間の距離Ｌ_ｍｎ（ｍ，ｎ＝１，２，３，４）は予め測定され既知であるので、両瞳孔Ｐ_１，Ｐ_２と左鼻孔Ｐ_３を組み合わせた三角形について考えると、下記式（３）；

が成立する。従って、画像処理装置１は、３つの特徴点Ｐ_１，Ｐ_２，Ｐ_３についての次の連立方程式（４）を解くことにより、カメラ座標系における位置ベクトルＰ_１，Ｐ_２，Ｐ_３を求めることができる。同様に、位置ベクトルＰ_４及び左右の鼻孔中心の中間点の位置ベクトルＰ_０も算出することができる。さらに、画像処理装置１は、特徴点Ｐ_０，Ｐ_１，Ｐ_２の重心Ｇ（ｘ_Ｇ，ｙ_Ｇ，ｚ_Ｇ）、及び特徴点Ｐ_０，Ｐ_１，Ｐ_２を通る平面の法線ベクトルＶ_Ｆ＝（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を求める。この法線ベクトルＶ_Ｆは、対象者Ａの顔方向を示している。

上記位置検出ステップを時間的に連続した画像フレームで実行する毎に、画像処理装置１は、過去の画像フレームで検出した特徴点Ｐ_０，Ｐ_１，Ｐ_２の３次元位置に基づいて顔座標系のカメラ座標系からの回転角度及び変位を算出する（変換係数算出ステップ）。

（変換係数算出ステップ）
図３に示すように、カメラ座標系ＸＹＺに対して特徴点Ｐ_０，Ｐ_１，Ｐ_２及びそれらの重心Ｇを基準にした顔座標系ｘｙｚを定義する。このｘ軸、ｙ軸、ｚ軸は、顔座標系の原点が重心Ｇとなるように設定される。また、同図に示すように、ｙ軸上にあって負値をとるように設定された鼻孔間中点Ｐ_００、及びｘｙ平面上に位置するように設定された瞳孔位置Ｐ_１０，Ｐ_２０に対応する姿勢を顔座標系ｘｙｚに対応する基準姿勢と定義する。

画像処理装置１は、以下のようにして、ある撮像タイミングにおける特徴点Ｐ_０，Ｐ_１，Ｐ_２に対応した顔座標系を求めることができる。まず、図４に示すように、法線ベクトルＶ_ＦのＹ軸のまわりの回転角αは、Ｚ軸からＸ軸へ向かう角度を正とすると、下記式（５）；

によって求まる。

次に、図５に示すように、Ｙ軸周りに回転角αだけ回転させたＸ軸及びＺ軸をＸ’軸及びＺ’軸とすると、法線ベクトルＶ_ＦのＸ’軸周りの回転角βは、Ｙ軸からＺ’軸へ向かう角度を正とすると、下記式（６）；

によって求まる。

さらに、図６に示すように、Ｘ’軸周りに回転角βだけ回転させたＹ軸及びＺ’軸をＹ’軸及びＺ’’軸とすると、Ｚ’’軸と法線ベクトルＶ_Ｆは一致することになる。このようにして得られたＸ’軸，Ｙ’軸Ｚ’’軸が任意の時点での法線ベクトルＶ_Ｆに対応する顔座標系となる。画像処理装置１は、上記のようにして、顔座標系のカメラ座標系からの回転角度α、β及び原点の変位を算出することができる。

従って、画像処理装置１は、カメラ座標系の特徴点の３次元座標Ｐ_ｎ（ｎ＝０，１，２）を、下記式（７）；

を用いて顔座標系における座標Ｐ_ｎ’に変換することができる。ここで、Ｔ_ｘ（β）及びＴ_ｙ（α）は下記式（８）；

によって定義される。

このようにして得られた顔座標系における対象者Ａの基準姿勢の特徴点座標をＰ_００，Ｐ_１０，Ｐ_２０とすると、対象者Ａの特徴点座標Ｐ_０’，Ｐ_１’，Ｐ_２’は顔座標系のｘｙ平面上に位置するため、画像処理装置１は、任意のタイミングでの対象者Ａの姿勢に関する基準姿勢からのｚ軸周りの回転角γを算出することができる。顔座標系のｚ軸の正方向から見た基準姿勢の特徴点座標と、対象者Ａの特徴点座標との関係を図７に示す。なお、回転角γは、ｘ軸からｙ軸へ向かう方向を正とする。例えば、基準姿勢の特徴点座標Ｐ_００と検出された対象者Ａの特徴点座標Ｐ_０’に基づいて、下記式（９）；

を用いて回転角γを算出する。

これにより、画像処理装置１は、顔座標系における顔重心Ｇの周りの任意の点の位置ベクトルを、下記式（１０）及び（１１）で計算される変換行列を用いて、カメラ座標系における位置ベクトルに変換できる。

また、画像処理装置１は、カメラ座標系上の任意点の位置ベクトルを、下記式（１２）；

により顔座標系上の位置ベクトルに変換することもできる。

上記変換係数算出ステップの後に、画像処理装置１は、過去のタイミングの画像フレームに対して算出された回転角度（α，β，γ）及び重心位置Ｇに基づいて、処理対象の撮像タイミングにおける顔座標系の回転角度（α，β，γ）及び原点の変位を予測する（変換係数予測ステップ）。

（変換係数予測ステップ）
具体的には、画像処理装置１は、時間的に連続するフィールド画像間で対象者Ａの顔方向と顔重心は連続的に変化するので、処理対象の画像フレームの顔姿勢の回転角度及び顔重心を、過去のフィールド画像から予測することができる。例えば、画像処理装置１は、ｍ番目のフィールド画像の回転角度（α，β，γ）及び重心位置Ｇと、その直前のｍ−１番目のフィールド画像の回転角度（α，β，γ）及び重心位置Ｇとを利用して、カルマンフィルター等の予測手法を用いることによって、ｍ＋１番目のフィールド画像の予測回転角度（α_ｐ，β_ｐ，γ_ｐ）及び予測重心位置Ｇ_ｐを予測する。

（予測位置算出ステップ）
その後、画像処理装置１は、変換係数予測ステップによって予測された処理対象のフィールド画像の予測回転角度（α_ｐ，β_ｐ，γ_ｐ）及び予測重心位置Ｇ_ｐを参照して顔座標系の基準姿勢における特徴点座標を求めることによって、左右の瞳孔中心及び左右の鼻孔中心の３次元予測位置の座標を算出する。さらに、画像処理装置１は、算出した３次元予測位置の座標に対して、式（１０）により与えられる変換行列を適用した後重心Ｇだけ変位させることにより、カメラ座標系における特徴点の予測３次元座標Ｐ_ｎ１を算出する。

（位置検出ステップでの瞳孔検出用ウィンドウの設定）
画像処理装置１は、位置検出ステップでｍ＋１番目のフィールド画像における瞳孔画像を検出するために、連続するｍ番目及びｍ＋１番目のフィールド間で明瞳孔画像と暗瞳孔画像とを差分する際には、ｍ＋１番目のフィールド画像上のウィンドウに対して、左右の瞳孔中心の予測３次元座標Ｐ_１１，Ｐ_２１の移動分に応じた位置補正を施す。すなわち、画像処理装置１は、カメラ座標系における特徴点の予測３次元座標Ｐ_ｎ１＝（Ｘ_ｎ１，Ｙ_ｎ１，Ｚ_ｎ１）を、下記式（１３）；

を用いて、撮像平面ＰＬ（図２参照）上の予測２次元座標Ｑ_ｎ１に変換する。そして、画像処理装置１は、ｍ＋１番目のフィールド画像の予測２次元座標Ｑ_１１，Ｑ_２１を中心にして、左右の瞳孔検出用の小ウィンドウを設定する。一方、ｍ番目のフィールド画像に関しては、既に位置検出ステップで検出された２次元座標Ｑ_１，Ｑ_２を中心にして正方形の小ウィンドウを設定し、２つの小ウィンドウ間で差分画像を生成することによって、瞳孔画像の検出を行う。

この際、画像処理装置１は、設定する小ウィンドウのサイズを、直前のフィールド画像において検出した瞳孔像の直径に応じて調整する。例えば、瞳孔の直径が１６ピクセルであった場合は、小ウィンドウの幅として１６＋５０＝６６ピクセルと設定される。

また、画像処理装置１は、ｍ番目のフィールド画像で一方の瞳孔像の検出が失敗した場合は、すぐにウィンドウサイズを大きくするのではなくて、瞳孔の予測座標をそのフィールド画像での位置と仮定して、ｍ＋１番目のフィールド画像での顔姿勢を予測する。ただし、２回連続して一方の瞳孔像の検出が失敗した場合は、該当する瞳孔用のウィンドウのサイズを少しずつ大きくして次フレーム画像での検出を試みる。例えば、１つのフィールドを処理する度に１画素ずつウィンドウサイズを大きくし、１０回連続して検出が失敗した場合は、１５０×６０ピクセル等の大きさの中ウィンドウによる瞳孔の検出を行う。

また、ｍ番目のフィールド画像で両方の瞳孔像の検出が失敗した場合（例えば、瞬きをした場合）は、瞳孔の予測座標をそのフィールド画像での位置と仮定して、ｍ＋１番目のフィールド画像での顔姿勢を予測する。ただし、１０回連続して検出が失敗した場合は、中ウィンドウより大きいサイズの大ウィンドウによる瞳孔の検出を行う。

以上説明した特徴点追跡装置１０及び特徴点追跡装置１０を用いた特徴点追跡方法によれば、対象者Ａの３つの特徴点Ｐ_０，Ｐ_１，Ｐ_２の組み合わせである特徴部位群が撮像されてその３次元位置Ｐ_０，Ｐ_１，Ｐ_２が時系列で検出され、過去の撮像タイミングでの特徴部位群の３次元位置Ｐ_０，Ｐ_１，Ｐ_２に基づいて、特徴部位群を基準にした顔座標系ｘ−ｙ−ｚのカメラ座標系Ｘ−Ｙ−Ｚからの回転角度（α，β，γ）及び変位が算出される。そして、この回転角度（α，β，γ）及び変位に基づいて現在の撮影タイミングでの顔座標系ｘ−ｙ−ｚの予測回転角度（α_ｐ，β_ｐ，γ_ｐ）及び原点Ｇ_ｐが予測されて特徴部位群の現在の撮影タイミングでの予測３次元座標Ｐ_ｎ１が算出される。その後、現在の特徴部位群の画像の検出に際しては、この算出された予測３次元座標Ｐ_ｎ１に基づいて画像フレーム上にウィンドウが設定される。これにより、対象者Ａの頭部の任意の動きに対しても時系列の画像フレーム中の特徴部位群の位置を予測することができ、時系列の画像フレーム中の特徴部位群を正確に追跡することが可能になる。その結果、対象者Ａの頭部を対象にした特徴点追跡処理のロバスト性を向上させることができる。

より具体的に言えば、対象者Ａがカメラ２の方向から大きくずれた方向を向いた場合であって角膜反射が検出しにくい場合であっても、異なる撮影タイミング間での位置補正が機能するので、画像差分により特徴点を追跡する際の精度が向上する。

また、瞳孔と鼻孔の位置が正確に予測されるため、特徴点検出用の小ウィンドウのサイズを小さくしても瞳孔の一部がウィンドウからはみ出す確率が小さくなり、特徴点の中心及び面積の検出のロバスト性が向上するとともに、処理速度も向上する。

また、各特徴点のウィンドウが残りの３個の特徴点のウィンドウに、いわば引っ張られるために、個々のウィンドウが分離されてしまう現象が低減する。その結果、眼鏡フレームにおける反射光等のノイズが瞳孔の近傍を横切った時でも、それに引きずられることなく実際の瞳孔に近い位置にウィンドウが付与されて、瞳孔の誤検出が極めて少なくなる。

さらに、ある画像フレームで片方の瞳孔が何らかの理由で検出できなくなっても、そのまま瞳孔が検出できるまで瞳孔位置を予測しながら小ウィンドウを付与し続けることで、特徴点の誤検出が少なくなる。特に、眼鏡における反射光が瞳孔近辺を横切っても、その後に即座に瞳孔に小ウィンドウを与えることができる。

また、過去に検出された瞳孔像の大きさに合わせて小ウィンドウのサイズを設定することで、より効率的かつ高速な追跡処理が実現できる。

また、特徴点の画像の検出が連続して失敗した場合にはウィンドウのサイズが大きくされるので、特徴点の検出率を効果的に向上させることができる。

なお、最初に与えられる対象者Ａの特徴点間距離は，厳密に実測する必要はない。正確でない特徴点間距離が与えられると、各特徴点の3次元位置は誤って決定されるため顔重心も顔方向も誤って検出される。しかし、その誤って検出された値に基づいて与えられる２次元画像上のウィンドウ位置は正しく与えられる。具体的には、与えた特徴点間距離よりもすべてが一定割合だけ短い対象者Ａの場合、顔方向はほとんど変わらず顔重心だけがカメラから実際よりも離れた位置に認識される。このように顔重心が遠くにあると認識されると、各特徴点間距離も２次元画像上では短く換算されるために、結果的にウィンドウ位置は2次元画像上で正しく与えられる。また，２つの瞳孔間の距離が与えた値よりも短い対象者Ａの場合も、実際の顔方向よりも顔が上向き気味に認識されるだけであって、ウィンドウ位置は正しく与えられる。このように、特徴点間距離の誤差は、顔重心位置や顔方向のずれに吸収されてしまい、ウィンドウ位置の誤差を生じさせることはない。極端に言えば、カメラレンズを25mmから16mmに変えるなどして顔画像のサイズが変化しても、提案する方法は問題なく機能する。

図８は、本実施形態の特徴点追跡方法による左右の瞳孔の検出結果を示すグラフ、図９は、従来の瞳孔検出方法によるによる左右の瞳孔の検出結果を示すグラフである。なお、この従来法では、特開２００８−０２９７０２号公報に開示されたように、鼻孔移動量を利用した差分位置補正及び角膜反射移動量を利用した差分位置補正を用いている。また、小ウィンドウの大きさは、一辺が７０，６６，５６，４６，３６ピクセルで固定の正方形とした。測定に際しては、被験者が眼鏡をかけた状態で顔を左右に３往復振る、上下に３往復振る、斜めに３往復振るという動作を２６秒間行った。測定結果における「正検出率」とは、全フィールド数に対する、瞳孔像がウィンドウ内に収まっており、かつ、瞳孔が正しく検出されているフィールド数の割合である。また、「ウィンドウ外率」とは、瞳孔は正しく検出されているが、瞳孔像がウィンドウ内に収まっていないフィールド数の割合であり、「誤検出率」とは、瞳孔でないもの（眼鏡反射や白目反射）を瞳孔として検出しているフィールド数の割合である。

この結果により、本実施形態によれば、従来法に比してあらゆるウィンドウサイズにおいて正検出率が高く保たれていることが分かる。また、ウィンドウサイズが大きくなっても、誤検出率が大きく低減されており、ウィンドウサイズが小さくなっても、ウィンドウ外率が大きく低減されていることが分かる。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明の特徴点追跡装置１０においては、左右の瞳孔中心及び左右の鼻孔中心の中間点を基準にして顔座標系が設定されているが、左右の鼻孔中心の中間点に代えて左右の鼻孔中心を基準にしてもよい。

また、本発明の特徴点追跡装置１０においては、現在の撮影タイミングにおいて予測された左右の鼻孔中心の予測３次元座標Ｐ_３１，Ｐ_４１を用いて、左右の鼻孔中心を中心にして小ウィンドウを設定した後に、鼻孔像を検出するようにしてもよい。

また、本発明の特徴点追跡装置１０においては、位置検出ステップで、ウィンドウを対象にしてｐ−ｔｉｌｅ法により所定の閾値を用いて画像フレームを２値化画像に変換して、２値化画像を基に左右の鼻孔画像を検出し、そのとき用いる閾値を、２値化画像内の連結エリアの最大面積の微分値が最大になるような閾値との関係に基づいて自動決定してもよい。このようにして鼻孔画像を検出することで、対象者Ａに最も適した閾値を決定することができる。つまり、鼻孔の形状には対象者毎に個人差があり、全ての対象者に同一の比率の画素を２値化するように閾値を決定する場合には検出が不安定になる場合がある。また、同一の対象者の場合でも顔が動くと鼻孔の見え方が変化し、画像中の鼻孔の形状や面積が変動するため、一定の比率を用いる場合では顔の角度が基準姿勢からずれるほど鼻孔検出が不安定になることがある。上述のように閾値を決定することで、対象者の違いや顔の動きに対しても、鼻孔検出を最適化することができる。

詳細には、画像処理装置１は、対象者Ａに関する明瞳孔画像又は暗瞳孔画像中に設定されたウィンドウ内の画像に対し、閾値を255から1まで1ずつ減らしながらその閾値と画素値を比較することにより２値化画像に変換した後に、各閾値に対応して得られた２値化画像に孤立点除去処理、膨張処理、収縮処理、及びラベリング処理を施す。そこで、画像処理装置１は、２値化画像内の同一画素値からなる連結成分（連結エリア）の最大面積を閾値毎に算出し、その最大面積の閾値に関する微分値が最大値をとる場合の閾値Ｔｈ_ｍａｘを特定する。また、閾値Ｔｈ_ｍａｘから閾値を上げていった時に最初に最大面積が０になる閾値Ｔｈ_ｍｉｎも特定する。例えば、図１０に示すような閾値と最大面積との関係が得られた場合には、Ｔｈ_ｍａｘ＝176、Ｔｈ_ｍｉｎ＝227と求められる。そして、画像処理装置１は、閾値Ｔｈ_ｍａｘと閾値Ｔｈ_ｍｉｎとの関係から下記式（１４）；
Ｔｈ ＝ （Ｔｈ_ｍａｘ＋Ｔｈ_ｍｉｎ）／２ …（１４）
を用いて閾値Ｔｈを決定し、この閾値を用いてウィンドウ内から２値化画像を得て左右の鼻孔像を検出する。なお、閾値Ｔｈのときの鼻孔２値化画像から検出された最大面積を持つラベルの面積をＳ_ｍａｘ［pixel］、２値化画像全体の面積をＳ_ｗ［pixel］とすると、鼻孔を検出する際の２値化閾値を決定する基準となるＰタイル値Ｐは、Ｐ＝Ｓ_ｍａｘ／Ｓ_ｗで求めることができる。

一方、上記のような閾値の自動決定処理は、255個の閾値に対して２値化、孤立点除去、膨張収縮、およびラベリングを行うので処理に時間がかかり、１フレームごとにこの処理を行おうとすると処理時間が長くなりリアルタイム性に欠ける。そのため、処理は最初に一度、例えば、後述するような鼻孔基準画像の取得時に行うことが好適である。

また、本発明の特徴点追跡装置１０においては、位置検出ステップで、ウィンドウを対象にしてｐ−ｔｉｌｅ法により画像フレームの所定割合（Ｐタイル値）の画素を２値化することで２値化画像に変換して、その２値化画像を基に鼻孔画像を検出し、変換係数予測ステップで予測された顔座標系の予測回転角度（α_ｐ，β_ｐ，γ_ｐ）に基づいて鼻孔の画像フレーム上の鼻孔推定像を予測し、鼻孔推定像を基にｐ−ｔｉｌｅ法におけるＰタイル値を決定してもよい。これにより、対象者Ａの顔の動きによって画像中の鼻孔の形状や面積が変動しても、鼻孔検出を安定化させることができる。

以下、鼻孔推定像によるＰタイル値の決定の原理及びその処理の詳細について説明する。

まず、鼻孔を孔状ではなく鼻孔の部分に黒い平面が張り付いているようなモデルを考える。このときの鼻孔が張り付いている平面を鼻孔平面ＰＬ１と定義する。瞳孔と鼻孔の位置関係は対象者Ａに関して一定であり、それらが作る顔平面に対する鼻孔平面ＰＬ１の角度も一定である。図１１，図１２に示すように、鼻孔平面ＰＬ１は顔平面を顔座標系のｘ軸周りに一定角度δだけ回転し、鼻孔間中点Ｐ_０を通る平面と考えることができる。また、鼻孔平面ＰＬ１の法線ベクトルで鼻孔間中点Ｐ０を通るものを鼻孔方向ベクトルｋ_Ｆと定義する。鼻孔方向ベクトルｋ_Ｆは顔平面と鼻孔平面ＰＬ１との関係と同様に顔方向ベクトルＶ_Ｆをｘ軸周りに角度δだけ回転したものを鼻孔間中点Ｐ_０を通るように平行移動させたものである（図１３）。顔座標系ｘｙｚでの鼻孔方向ベクトルｋ_Ｆは、顔座標系での顔方向ベクトルＶ_Ｆ＝（０，０，１）より下記式（１５）；

により求めることができる。さらに、顔座標系ｘｙｚでの鼻孔方向ベクトルｋ_Ｆから、座標変換によりカメラ座標系ＸＹＺでの鼻孔方向ベクトルｋ_Ｃを求めることができる。すなわち、鼻孔方向ベクトルｋ_Ｃは、顔座標系の回転角度（α，β，γ）を反映した式（１０），式（１１）で計算される変換行列を用いて計算することができる。また、鼻孔方向ベクトルｋ_Ｃの水平角α_Ｎ、垂直角β_Ｎ、および回転角γ_Ｎは、下記式（１６）；

によって求めることができる。

そこで、画像処理装置１は、上述した２値化閾値の自動決定処理時に対象者Ａに関する鼻孔像を保存する。このとき、画像処理装置１は、２値化閾値自動決定時の鼻孔像を変形することで、鼻孔方向ベクトルがカメラ座標系のＺ軸と平行になる状態、つまり鼻孔が最大面積に見える状態の鼻孔像を取得する。具体的には、２値化閾値自動決定処理を行うとき、対象者Ａはカメラ２に対して正対し、カメラ２の光軸Ｌ１より角度ζ（約６０度）だけ上方を向いているとする。ただし、画像処理装置１が対象者Ａに自分の正面と思われる方向を向いてもらった時に計測した回転角度βから、ζ＝−βとして角度ζを求めてもよい。そして、鼻孔方向ベクトルの水平角αおよび回転角γは０度であると仮定する。この場合、画像処理装置１は、変形前の鼻孔ラベル内の画素（鼻孔画素）の座標を（Ｘ_１，Ｙ_１）とすると、変形後の鼻孔画素の座標（Ｘ_２，Ｙ_２）を、下記式（１７）；

によって算出する。すなわち、画像処理装置１は、鼻孔像のｙ成分を１／ｃｏｓ（δ−ζ）倍に拡大する。

このようにして変形した鼻孔像は鼻孔基準像とされ、鼻孔方向ベクトルの水平角α_Ｎ、垂直角β_Ｎ、および回転角γ_Ｎがそれぞれ０度であるときの鼻孔像であると捉えることができる。よって、画像処理装置１は、変換係数予測ステップで予測された顔座標系の予測回転角度（α_ｐ，β_ｐ，γ_ｐ）に基づいて鼻孔方向ベクトルの水平角α_Ｎ、垂直角β_Ｎ、および回転角γ_Ｎを算出し、鼻孔基準像を三次元空間で回転させることによって次フレームの鼻孔像を推定することができる。具体的には、まず、画像処理装置１は、二次元座標系の鼻孔標準像を三次元座標系に展開する。すなわち、鼻孔像の２値化画像における重心を原点とした二次元画像上の画素の座標をＮ_２Ｄ（Ｘ_１，Ｙ_１）とし、それを三次元座標系のＸＹ平面上に展開した座標をＮ_３Ｄ（ｘ_１，ｙ_１，ｚ_１）とすると、（ｘ_１，ｙ_１，ｚ_１）＝（Ｘ_１，Ｙ_１，０）と表すことができる。ここで、画像処理装置１は、鼻孔方向ベクトルの水平角α_Ｎ、垂直角β_Ｎ、および回転角γ_Ｎを用いて、三次元画像系の鼻孔標準像を三次元空間で回転させる。回転後の鼻孔標準像の座標Ｎ’_３Ｄは、式（１０），式（１１）の変換行列を用いて、下記式（１８）；
Ｎ’_３Ｄ（ｘ_２，ｙ_２，ｚ_２）＝Ｔ（−α，−β，−γ）Ｎ_３Ｄ（ｘ_１，ｙ_１，ｚ_１） …（１８）
によって求められる。さらに、画像処理装置１は、得られた鼻孔標準像の画素の座標Ｎ’_３Ｄを撮像平面ＰＬに投影することにより、座標Ｎ’_２Ｄ（Ｘ_２，Ｙ_２）＝（ｘ_２×ｆ／ｚ_２，ｙ_２×ｆ／ｚ_２）を得る。この変換処理を鼻孔標準像中の画素全てに対して行うことにより、鼻孔標準像から次フィールドの左右の鼻孔の推定像を予測することができる。なお、このようにして得られた鼻孔推定像は、カメラ２から鼻孔までの距離による鼻孔サイズの変化についても考慮されている。そして、画像処理装置１は、鼻孔推定像を基に鼻孔領域の画素数を算出し、その画素数とウィンドウサイズの関係に基づいて、実際に鼻孔を検出する際のＰタイル値を決定する。例えば、Ｐタイル値がＰ［％］の場合には、ウィンドウ内の画像を対象に、輝度の低いほうから割合Ｐ［％］までの画素を検出して２値化閾値を設定する。

ここで、位置検出ステップでは、過去の撮像タイミングにおいて検出された特徴部位群の画像の大きさに応じて、特徴部位群用のウィンドウのサイズを調整する、ことが好ましい。この場合、過去の特徴部位群の画像の大きさに合わせてウィンドウを設定することで、より効率的かつ高速な追跡処理が実現できる。

また、位置検出ステップでは、過去の撮像タイミングにおいて特徴部位群の画像の検出が失敗した場合には、特徴部位群用のウィンドウのサイズを大きくする、ことも好ましい。こうすれば、特徴部位群の検出率を効果的に向上させることができる。

本発明は、対象者の画像に基づいて対象者の特徴点を追跡する特徴点追跡方法及び特徴点追跡装置を使用用途とし、時系列の画像フレームにおける特徴点の移動予測を高精度に行うことで、特徴点の追跡のロバスト性を向上させることができるものである。

１０…特徴点追跡装置、１…画像処理装置、２…カメラ（撮像手段）、Ａ…対象者、Ｐ_０，Ｐ_１，Ｐ_２…特徴点（特徴部位群）、Ｑ_ｎ…２次元位置、α，β，γ…回転角度、ＸＹＺ…カメラ座標系（基準座標系）、ｘｙｚ…顔座標系。

Claims (6)

1. 対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡方法であって、
   前記対象者の３つの特徴点の組み合わせである特徴部位群の２次元位置を撮像手段によって撮像し、前記特徴部位群の３次元位置を時系列で検出する位置検出ステップと、
   過去の撮像タイミングにおける前記特徴部位群の前記３次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出ステップと、
   当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測ステップと、
   当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の３次元予測位置を算出する予測位置算出ステップとを備え、
   前記位置検出ステップでは、当該算出された前記特徴部位群の３次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
   ことを特徴とする特徴点追跡方法。
2. 前記位置検出ステップでは、過去の撮像タイミングにおいて検出された特徴部位群の画像の大きさに応じて、前記特徴部位群用のウィンドウのサイズを調整する、
   ことを特徴とする請求項１記載の特徴点追跡方法。
3. 前記位置検出ステップでは、過去の撮像タイミングにおいて前記特徴部位群の画像の検出が失敗した場合には、前記特徴部位群用の前記ウィンドウのサイズを大きくする、
   ことを特徴とする請求項１又は２に記載の特徴点追跡方法。
4. 前記位置検出ステップでは、前記ウィンドウを対象にして所定の閾値を用いて前記画像フレームを２値化画像に変換して、前記２値化画像を基に前記特徴部位群のいずれかを検出し、前記２値化画像内の連結エリアの最大面積の微分値が、最大になるような前記所定の閾値との関係に基づいて、前記所定の閾値を決定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の特徴点追跡方法。
5. 前記位置検出ステップでは、前記ウィンドウを対象にして前記画像フレームの所定割合の画素を２値化することで２値化画像に変換して、前記２値化画像を基に前記特徴部位群のいずれかを検出し、前記変換係数予測ステップで予測された前記顔座標系の前記回転角度に基づいて前記特徴部位群のいずれかの前記画像フレーム上の推定像を予測し、前記推定像を基に前記所定割合の値を決定する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の特徴点追跡方法。
6. 対象者の頭部画像に基づいて、該対象者の特徴点の位置を追跡する特徴点追跡装置であって、
   前記対象者の３つの特徴点の組み合わせである特徴部位群の２次元位置を撮像手段によって撮像し、前記特徴部位群の３次元位置を時系列で検出する位置検出手段と、
   過去の撮像タイミングにおける前記特徴部位群の前記３次元位置に基づいて、該特徴部位群を基準とした顔座標系の所定の基準座標系からの回転角度及び変位を算出する変換係数算出手段と、
   当該算出された前記顔座標系の前記基準座標系からの回転角度及び変位に基づいて、現在の撮像タイミングにおける前記顔座標系の回転角度及び変位を予測する変換係数予測手段と、
   当該予測された前記回転角度及び前記変位に基づいて、現在の撮像タイミングの前記特徴部位群の３次元予測位置を算出する予測位置算出手段とを備え、
   前記位置検出手段は、当該算出された前記特徴部位群の３次元予測位置に基づいて、現在の撮像タイミングの画像フレーム上にそれぞれの前記特徴部位群用のウィンドウを設定し、それぞれの前記ウィンドウを対象にして前記特徴部位群の画像を検出する、
   ことを特徴とする特徴点追跡装置。

Images