JP5004099B2 - カーソル移動制御方法及びカーソル移動制御装置 - Google Patents

Description

本発明は、対象者の画像に基づいてコンピュータのディスプレイ上のカーソルを移動させるカーソル移動制御方法及びカーソル移動制御装置に関するものである。

従来から、パーソナルコンピュータのモニター画面上のカーソルを、対象者の顔を撮影することによって検出される瞳孔等の特徴点に応じて移動させる方法について種々検討されている（下記特許文献１〜４参照）。このような方法には、対象者の画像内の瞳孔の絶対位置を画面上のカーソル位置に反映させる方法と、時間的に前後する画像フレーム間の瞳孔位置の変化をカーソルの位置変化に対応させる方法とが存在する。
特開２００５−１８２２４７号公報 特開２００５−３５２５８０号公報 特開２００６−１６７２５６号公報 特開２００６−３０９２９１号公報

特徴点の絶対位置をカーソル位置に反映させる方法では、対象者のカメラに対する初期位置がカーソルの初期位置に反映されるため、カメラ前での対象者の座った位置によっては、ディスプレイ上の端部等の不都合な位置にカーソルが現れる場合がある。これに対して、特徴点の位置変化をカーソルの位置変化に対応させる方法によれば、このようなカーソルの初期位置の不都合は防ぐことができる。しかしながら、この場合でも何らかの理由により画面上のカーソル位置が対象者の正面から大きくずれると、カーソル位置を正面側に移動させるために余計な操作が必要になりユーザの使い勝手が悪くなる。

そこで、本発明は、かかる課題に鑑みて為されたものであり、対象者が意識しなくても表示画面上のカーソル位置を対象者の正面に導くように制御することにより、ユーザの使い勝手を向上させることが可能なカーソル移動制御方法及びカーソル移動制御装置を提供することを目的とする。

上記課題を解決するため、本発明のカーソル移動制御方法は、対象者の頭部画像に基づいて、コンピュータの表示画面上のカーソルの移動量を制御するカーソル移動制御方法であって、対象者の左右の瞳孔及び左右の鼻孔のうちの少なくとも３つの組み合わせである特徴部位群の２次元位置を撮像手段によって撮像し、特徴部位群の３次元位置を時系列で検出する位置検出ステップと、特徴点部位群の３次元位置に基づいて対象者の顔方向ベクトルと該顔方向ベクトルに基づいた顔正面ベクトルを算出する顔正面ベクトル算出ステップと、特徴点部位群の少なくとも１つの２次元位置の変位量に対して変換係数を乗ずることによって、カーソルの移動量を決定する移動量決定ステップとを備え、移動量決定ステップでは、表示画面上のカーソルの位置である第１の座標と、顔正面ベクトルが示す表示画面上の第２の座標との位置関係を算出し、位置関係に応じて変換係数を変化させる。

或いは、本発明のカーソル移動制御装置は、対象者の頭部画像に基づいて、コンピュータの表示画面上のカーソルの移動量を制御するカーソル移動制御装置であって、対象者の左右の瞳孔及び左右の鼻孔のうちの少なくとも３つの組み合わせである特徴部位群の２次元位置を撮像手段によって撮像し、特徴部位群の３次元位置を時系列で検出する位置検出手段と、特徴点部位群の３次元位置に基づいて対象者の顔方向ベクトルと該顔方向ベクトルに基づいた顔正面ベクトルを算出する顔正面ベクトル算出手段と、特徴点部位群の少なくとも１つの２次元位置の変位量に対して変換係数を乗ずることによって、カーソルの移動量を決定する移動量決定手段とを備え、移動量決定手段は、表示画面上のカーソルの位置である第１の座標と、顔正面ベクトルが示す表示画面上の第２の座標との位置関係を算出し、位置関係に応じて変換係数を変化させる。

このようなカーソル移動制御方法及びカーソル移動制御装置によれば、撮像手段によって生成された対象者の画像から瞳孔及び鼻孔のうちの少なくとも３つの特徴部位群の３次元位置が検出され、その特徴部位群の３次元位置に基づいて対象者の顔方向ベクトルとそれに基づく顔正面ベクトルが算出され、特徴部位群の２次元位置の変位量に変換係数が乗算されることによりカーソルの移動量が決定される。このとき、表示画面上のカーソルの位置と顔正面ベクトルが示す表示画面上の位置との位置関係に応じて変換係数を変化させるので、カーソルの操作時に対象者が意識しなくても、顔正面の位置との関係に基づいてカーソルの位置を円滑に顔正面の位置に近づけることができる。これにより、ユーザの使い勝手を向上させることができる。

移動量決定ステップでは、表示画面上での第２の座標の移動方向において第１の座標が第２の座標よりも前方に進んでいると判別された場合には、変換係数を減少させ、第２の座標の移動方向において第１の座標が第２の座標よりも後方に遅れている場合には、変換係数を増加させる、ことが好ましい。この場合、カーソルの操作時に頭の移動方向に対してカーソルが先に進んでいる場合にカーソルの移動速度を落とし顔正面がカーソルに追いつくようにし、カーソルが後に遅れている場合にはカーソルの移動速度が上げられてカーソルが顔正面に追いつくように制御されるので、対象者が意識しなくてもカーソル位置と顔正面の位置とをスムーズに合わせることができる。

また、移動量決定ステップでは、変換係数が上限値及び下限値を超えないように変換係数を調整する、ことも好ましい。こうすれば、変換係数が大きくなりすぎたり、小さくなりすぎたりすることによるユーザのカーソルの操作性の低下を防止することができる。

本発明によるカーソル移動制御方法及びカーソル移動制御装置によれば、対象者が意識しなくても表示画面上のカーソル位置を対象者の正面に導くように制御することにより、ユーザの使い勝手を向上させることができる。

以下、図面を参照しつつ本発明に係るカーソル移動制御方法及びカーソル移動制御装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

まず、本発明にかかるカーソル移動制御方法を実施するためのカーソル移動制御装置の構成について、図面を参照しながら説明する。なお、本発明のカーソル移動制御装置は、パーソナルコンピュータ、サーバ装置やプロジェクタ装置等の情報表示機能を有する情報処理装置に広く適用される。

図１は、本発明のカーソル移動制御装置の好適な一実施形態であるコンピュータシステム１０を示す平面図である。同図に示すように、コンピュータシステム１０は、対象者Ａの顔画像を撮像する１台のカメラ（撮像手段）２と、カメラ２の前面２ａの撮像レンズの近傍に設けられた光源３ａと、カメラ２の前面２ａから離れた位置に設けられた光源３ｂと、カメラ２の上方において対象者Ａと対面するように設けられた表示画面４と、カメラ２、光源３ａ，３ｂ、及び表示画面４と接続された制御装置１とを備えている。この制御装置１は、カーソル移動制御における位置検出手段、顔正面ベクトル算出手段、移動量決定手段として機能する。

カメラ２は、対象者Ａの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、ＣＣＤ、ＣＭＯＳ等の撮像素子を内蔵するデジタルカメラを用いる。対象者Ａは、コンピュータシステム１０の操作時にはこのカメラ２の撮像レンズ（図示せず）の光軸Ｌ１上に位置するようにする。

光源３ａは、カメラ２の光軸Ｌ１に沿って、光軸Ｌ１上に位置する対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源３ｂは、光軸Ｌ１からの距離が光源３ａよりも離れた位置に固定され、光軸Ｌ１に沿って対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、２つの光源３ａ，３ｂから照射される照明光が瞳孔の部分に輝度差を生じさせるような異なる波長成分（例えば、中心波長が850nmと950nm）を有するように設定され、かつ、光源３ｂは光軸Ｌ１からの距離が光源３ａと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。

なお、カメラ２及び光源３ａ，３ｂは、対象者Ａが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Ａの鼻孔を検出し易くする目的で、対象者Ａの顔の高さよりも低い位置（例えば、光軸Ｌ１の表示画面４の垂線に対する傾斜角が２０〜３５度となり、光軸Ｌ１が対象者Ａの方向を向くような位置）に設けられることが好ましい。

表示画面４は、制御装置１から出力された画像データや文字データ等に基づいて、対象者Ａに対して各種の画像を表示し、その画像の中に対象者Ａに情報を選択させるためのカーソルも含めて表示する。

制御装置１は、カメラ２による撮像、光源３ａ，３ｂによる照明光の照射、及び表示画面４における画像表示を制御し、ＣＰＵ及びＲＡＭ、ＲＯＭ等のメモリによって構成されている。具体的には、制御装置１は、カメラ２によって生成された対象者Ａの画像データに基づいて表示画面４上のカーソルの移動を制御する。

次に、上述したコンピュータシステム１０の動作について説明するとともに、コンピュータシステム１０を用いたカーソル移動制御方法について説明する。

まず、対象者Ａの左右の瞳孔中心及び左の鼻孔中心（第１基準部位群）の３つの各特徴部位間の距離を実測しておく。また、対象者Ａの左右の瞳孔中心及び右の鼻孔中心（第２基準部位群）の３つの各特徴部位間の距離、及び左右の鼻孔中心間の距離も併せて実測しておく。ただし、これらの距離情報は概算でもよく多少実際の値からずれていても問題ない。なぜならば、この距離のずれによって生じる顔正面ベクトルと顔方向ベクトルと顔正面ベクトルとのずれは、後述する方法によって補正されるからである。

次に、対象者Ａをカメラ２の光軸Ｌ１上に位置させ、制御装置１によって撮像タイミング及び照明タイミングが制御されることにより、任意の方向を向いた対象者Ａの顔画像が時系列で撮像される。このようにしてカメラ２によって生成された時系列の画像フレームは制御装置１に送られ、制御装置１によってそれぞれのフレーム画像上の左右の瞳孔中心の２次元座標、及び左右の鼻孔中心の２次元座標が検出される。その後、制御装置１によって、第１基準部位群及び第２基準部位群の２次元座標が３次元座標に変換される（以上、位置検出ステップ）。そして、制御装置１によって、変換された３次元座標に基づいて対象者Ａの顔方向ベクトル及びそれに基づく顔正面ベクトルが算出される（顔正面ベクトル算出ステップ）。

ここで、位置検出ステップ及び顔正面ベクトル算出ステップについて詳細に説明する。

（位置検出ステップ）
対象者Ａの撮像時には、制御装置１は、光源３ａ，３ｂを交互に点灯させて、それぞれの点灯に同期した顔画像を交互に生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源３ａの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源３ｂの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの２種類の画像は、２つの光源３ａ，３ｂからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。例えば、フィールド走査を採用するカメラの場合は、光源３ａ，３ｂをカメラ２のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離することができる。そして、制御装置１は、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。

その後、制御装置１は、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施された画像を用いて、その画像を２値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開２００５−３４８８３２号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。

さらに、制御装置１は、左右の鼻孔中心の２次元座標を、明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Ａが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、画像の大ウィンドウ内を対象にＰ−ｔｉｌｅ法により輝度が低いほうから０．８％の画素を検出し、ＨＩＧＨ画素及びＬＯＷ画素からなる２値化画像に変換する。その後、検出された２値化画像の膨張処理及び収縮処理（モルフォロジー処理）を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから２つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、２値画像中で対象画素の近傍の８画素の１つでもＨＩＧＨ画素がある場合に、対象画素をＨＩＧＨ画素に変換する処理であり、収縮処理とは、２値画像中で対象画素の近傍の８画素の１つでもＬＯＷ画素がある場合に、対象画素をＬＯＷ画素に変換する処理である。そして、縦横比が０．５より小さいか０．７より大きく、かつ、全体の画像サイズが６４０×２４０画素に対して面積が１００画素より小さいか３００画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に３０×３０画素の小ウィンドウを設定し、もとの画像の小ウィンドウ内を対象に、Ｐ−ｔｉｌｅ法により輝度が低いほうから５％の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が１３０画素以上か７０画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、２つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。

上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる２つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。

対象者Ａを撮像するコンピュータシステム１０におけるカメラ光学系は、図２に示すように焦点距離ｆのピンホールモデルと仮定することができる。同図に示すように、制御装置１が検出したフレーム画像上の右瞳孔、左瞳孔、左鼻孔、及び右鼻孔の２次元座標を、それぞれ、Ｑ_０（ｘ_０，ｙ_０）、Ｑ_１（ｘ_１，ｙ_１）、Ｑ_２（ｘ_２，ｙ_２）、及びＱ_３（ｘ_３，ｙ_３）とする。この場合、ピンホールを原点Ｏとしたカメラ座標系Ｘ−Ｙ−Ｚにおける各特徴点の３次元座標Ｑ_ｎは、（ｘ_ｎ，ｙ_ｎ，ｆ）（ｎ＝０，１，２，３）で表される。また、ピンホールＯから各特徴点へ向かう位置ベクトルに対応した単位ベクトルは、下記式（１）；

で表され、各特徴点の位置ベクトルは定数ａ_ｎ（ｎ＝０，１，２，３）を用いて下記式（２）；

で表される。

ここで、各特徴点間の距離Ｌ_ｍｎ（ｍ，ｎ＝０，１，２，３）は予め測定され既知であるので、両瞳孔Ｐ_０，Ｐ_１と左鼻孔Ｐ_２を組み合わせた三角形について考えると、下記式（３）；

が成立する。従って、制御装置１は、３つの特徴点Ｐ_０，Ｐ_１，Ｐ_２についての次の連立方程式（４）を解くことにより、位置ベクトルＰ_０，Ｐ_１，Ｐ_２を求めることができる。

（顔正面ベクトル算出ステップ）
そして、制御装置１は、特徴点Ｐ_０，Ｐ_１，Ｐ_２の重心、及び特徴点Ｐ_０，Ｐ_１，Ｐ_２を通る平面の法線ベクトルを求める。さらに、制御装置１は、Ｐ_０，Ｐ_１と右鼻孔Ｐ_３を組み合わせた三角形についても、同様の手順によって重心と法線ベクトルとを求めた後、２つの三角形の重心の中間位置を顔位置Ｇ（ｘ_Ｇ，ｙ_Ｇ，ｚ_Ｇ）として求め、２つの法線ベクトルの平均を顔方向ベクトルＶ_Ｆ＝（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）として求める。また、制御装置１は、この顔方向ベクトルＶ_Ｆのカメラ座標系における水平角α_Ｈ及び垂直角β_Ｖを、下記式（５）及び（６）により算出する。

上述のようにして顔方向ベクトルを計算した後に、制御装置１は、表示画面４におけるカーソルの移動量を決定し（移動量決定ステップ）、その移動量に基づいて表示画面４上に表示されているカーソルを移動するように表示画面４を出力制御する。

この移動量決定ステップに先立って、制御装置１は、世界座標系における顔正面から表示画面４に向かう顔正面ベクトル、及びこのベクトルの表示画面４上の交点である顔正面ポイントを求める。図３に示すように、カメラ２はその光軸Ｌ１が表示画面４の垂線に対して所定角度（例えば、３５度）上方を向くように配置され、表示画面４はカメラ２を原点とする世界座標系ｘ−ｙ−ｚのｘｙ平面に平行で、かつｘｙ平面から距離Ｌの位置に配置されているものとする。

まず、制御装置１は、対象者Ａに表示画面４の中央などの基準点Ｃが顔の正面になるように頭部を向けさせた状態で、カメラ座標系Ｘ−Ｙ−Ｚにおける顔位置Ｇ_Ｃと顔方向ベクトルＶ_ＦＣを求める。そして、制御装置１は、この顔位置Ｇ_Ｃと顔方向ベクトルＶ_ＦＣを世界座標系における顔位置Ｇ_Ｗと顔方向ベクトルＶ_ＦＷに変換し、世界座標系における顔位置Ｇ_Ｗから表示画面４の中央Ｃへ向かうベクトルである顔正面ベクトルＶ_ＧＣを算出する。次に、制御装置１は、顔方向ベクトルＶ_ＦＷと顔正面ベクトルＶ_ＧＣとのなす角である水平角度α_Ｈ１及び垂直角度β_Ｖ１を求める。以降、制御装置１は、対象者Ａに任意の方向を向かせたときの世界座標系における顔方向ベクトルＶ_ＦＷを水平角度α_Ｈ１及び垂直角度β_Ｖ１の分だけ回転させることにより、顔正面ベクトルＶ_Ｆ１に補正する。このように顔方向ベクトルＶ_ＦＷを補正することにより、対象者Ａが正面であると意識している方向を示す顔正面ベクトルＶ_Ｆ１を求めることができる。

さらに、対象者Ａに任意の方向を向かせた際の顔正面ベクトルＶ_Ｆ１＝（ｎ_ｘ１，ｎ_ｙ１，ｎ_ｚ１）の表示画面４上の交点、すなわち顔正面ポイントＦ（ｘ_Ｆ，ｙ_Ｆ，ｚ_Ｆ）は、下記式（７）；

によって定数ｋを用いて表されるので、制御装置１は、ｚ_Ｆ＝−Ｌの条件から顔正面ポイントＦの３次元座標を求めることができる。その後、制御装置１は、求めた３次元座標を表示画面４上の２次元座標に変換して、表示画面上４上の顔正面ポイントＦ_１を算出する。

（移動量決定ステップ）
その後、制御装置１は、時間的に連続する２つのフレーム画像間の瞳孔のｘ軸及びｙ軸に沿った変位量（ΔＰ_ｘ，ΔＰ_ｙ）に対して変換係数である可変ゲイン（ｋ_ｘ，ｋ_ｙ）を乗ずることによって、表示画面４上におけるカーソルのｘ軸及びｙ軸に沿った移動量（Ｍ_ｘ，Ｍ_ｙ）を算出する。具体的には、制御装置１は、変位量（ΔＰ_ｘ，ΔＰ_ｙ）に閾値（Ｔｈ_ｘ，Ｔｈ_ｙ）を設け、それぞれの変位量の絶対値が閾値を超えている場合は、下記式（８）及び（９）；

を用いて、移動量（Ｍ_ｘ，Ｍ_ｙ）を求める。これに対して、それぞれの変位量の絶対値が閾値を超えていない場合は、対応する移動量Ｍ_ｘ，Ｍ_ｙを０と設定する。これにより、頭部や目の振動によるカーソルのふらつきを防ぐことができる。

この際、制御装置１は、表示画面４上の現在のカーソルの位置と顔正面ベクトルＶ_Ｆ１が示す表示画面４上の顔正面ポイントＦ_１との位置関係を算出して、その位置関係に応じて可変ゲイン（ｋ_ｘ，ｋ_ｙ）を変化させる。

詳細には、現フレーム画像の直前のタイミングの前フレーム画像の顔正面ポイントがＦ_ｎ−１（Ｆ_{ｎ−１，ｘ}，Ｆ_{ｎ−１，ｙ}）であり、現フレーム画像の顔正面ポイントがＦ_ｎ（Ｆ_ｎ，ｘ，Ｆ_ｎ，ｙ）であり、前フレーム画像のカーソルの座標をＣ_ｎ−１（Ｃ_{ｎ−１，ｘ}，Ｃ_{ｎ−１，ｙ}）である場合を考える。そこで、制御装置１は、現フレーム画像と前フレーム画像の顔正面ポイントの移動量ΔＦ_ｎ（ΔＦ_ｎ，ｘ，ΔＦ_ｎ，ｙ）を、ΔＦ_ｎ，ｘ＝Ｆ_ｎ，ｘ−Ｆ_{ｎ−１，ｘ}，ΔＦ_ｎ，ｙ＝Ｆ_ｎ，ｙ−Ｆ_{ｎ−１，ｙ}により計算する。また、制御装置１は、前フレーム画像における顔正面ポイントとカーソル位置との位置誤差Ｒ（Ｒ_ｘ，Ｒ_ｙ）を、Ｒ_ｘ＝Ｆ_{ｎ−１，ｘ}−Ｃ_{ｎ−１，ｘ}，Ｒ_ｙ＝Ｆ_{ｎ−１，ｙ}−Ｃ_{ｎ−１，ｙ}により計算する。

そして、制御装置１は、（i）ΔＦ_ｎ，ｘ＞０かつＲ_ｘ＞０、又は（ii）ΔＦ_ｎ，ｘ＜０かつＲ_ｘ＜０の場合は、下記式（１０）；

を用いて、可変ゲインｋ_ｘを計算する（ａは正の定数）。つまり、顔正面ポイントの移動方向においてカーソルの座標が顔正面ポイントの座標よりも後に遅れていると判別された場合には、可変ゲインｋ_ｘを位置誤差Ｒ_ｘに応じて増加させる。

一方、制御装置１は、（iii）ΔＦ_ｎ，ｘ＞０かつＲ_ｘ＜０、又は（iv）ΔＦ_ｎ，ｘ＜０かつＲ_ｘ＞０の場合は、上記式（１０）においてａを負の定数に置き換えて可変ゲインｋ_ｘを計算する。つまり、顔正面ポイントの移動方向においてカーソルの座標が顔正面ポイントの座標よりも先に進んでいると判別された場合には、可変ゲインｋ_ｘを位置誤差Ｒ_ｘに応じて減少させる。

同様にして、制御装置１は、移動量ΔＦ_ｎ，ｙと位置誤差Ｒ_ｙを参照することにより、顔正面ポイントの移動方向とカーソル位置との関係を判別して、下記式（１１）；

を用いて、可変ゲインｋ_ｙを計算する（ａは正又は負の定数）。

また、可変ゲイン（ｋ_ｘ，ｋ_ｙ）が大きくなりすぎたり、小さくなりすぎたりすることによるカーソルの操作性の低下を防止するために、制御装置１は、可変ゲイン（ｋ_ｘ，ｋ_ｙ）に上限値（ｋ_ｘｍａｘ，ｋ_ｙｍａｘ）及び下限値（ｋ_ｘｍｉｎ，ｋ_ｙｍｉｎ）を設ける。図４は、可変ゲイン（ｋ_ｘ，ｋ_ｙ）の位置誤差Ｒ_ｘ，Ｒ_ｙに対する変化を示すグラフである。同図に示すように、制御装置１は、位置誤差Ｒ_ｘ，Ｒ_ｙの絶対値がある程度増加した場合には、上限値（ｋ_ｘｍａｘ，ｋ_ｙｍａｘ）及び下限値（ｋ_ｘｍｉｎ，ｋ_ｙｍｉｎ）を超えないように可変ゲイン（ｋ_ｘ，ｋ_ｙ）を飽和させることにより、可変ゲイン（ｋ_ｘ，ｋ_ｙ）を調整する。

以上説明したコンピュータシステム１０及びコンピュータシステム１０を用いたカーソル移動制御方法によれば、カメラ２によって生成された対象者Ａの画像から瞳孔及び鼻孔の４つの特徴部位群の３次元位置が検出され、その特徴部位群の３次元位置に基づいて対象者Ａの顔方向ベクトルＶ_Ｆ及びそれに基づいた顔正面ベクトルＶ_Ｆ１が算出され、特徴部位群の２次元位置の変位量（ΔＰ_ｘ，ΔＰ_ｙ）に可変ゲイン（ｋ_ｘ，ｋ_ｙ）が式（８）及び（９）に基づいて乗算されることによりカーソルの移動量（Ｍ_ｘ，Ｍ_ｙ）が決定される。このとき、表示画面４上のカーソルの位置と顔正面ベクトルＶ_Ｆ１が示す表示画面４上の顔正面ポイントＦ_１との位置関係に応じて変換係数を変化させるので、カーソルの操作時に対象者Ａが意識しなくても、顔正面の位置との関係に基づいてカーソルの位置を円滑に顔正面の位置に近づけることができる。これにより、ユーザの使い勝手を向上させることができる。

また、表示画面４においてカーソルが顔正面の移動よりも進んでいる場合には変換係数を減少させ、カーソルが顔正面の移動よりも遅れている場合には変換係数を増加させるので、何らかの理由でカーソルが顔の正面からずれた場合でも、カーソルの操作時に頭の移動方向に対してカーソルが先に進んでいる場合にカーソルの移動速度を落とし顔正面がカーソルに追いつくようにし、カーソルが後に遅れている場合にはカーソルの移動速度が上げられてカーソルが顔正面に追いつくように制御される。これにより、カーソルを操作していると自然に顔の正面付近にカーソルが戻ってくることになり、操作時に対象者が意識しなくてもカーソル位置と顔正面の位置とをスムーズに合わせることができる。

図５は、本実施形態のコンピュータシステム１０における表示画面４上のカーソル及び顔正面ポイントの軌跡を示す図であり、図６は、図５の場合の顔正面ポイントとカーソルとの距離の時間変化を示すグラフである。また、図７は、コンピュータシステム１０においてゲイン（ｋ_ｘ，ｋ_ｙ）を固定値に設定した場合の表示画面４上のカーソル及び顔正面ポイントの軌跡を示す図であり、図８は、図７の場合の顔正面ポイントとカーソルとの距離の時間変化を示すグラフである。これらの結果より、対象者Ａが瞳孔を適当に移動させたとき（例えば回転させたとき）、可変ゲインの場合は時間の経過に伴ってカーソルが顔正面に次第に近づいていることが分かる。これに対して、固定ゲインの場合はいったんカーソルが顔正面から外れてしまうと、時間が経過しても顔正面の位置とカーソル位置とは離れたままであることがわかる。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明のカーソル移動制御方法においては、顔方向ベクトルＶ_Ｆを算出する際には左右の瞳孔及び鼻孔のうちの最低３つの特徴部位を検出すればよく、その組み合わせは任意の組み合わせを選択することができる。

また、本実施形態においては１台のカメラ２によって特徴部位の位置を検出していたが、２台のカメラによってその３次元位置を検出してもよい。

また、本実施形態においては瞳孔の変位量（ΔＰ_ｘ，ΔＰ_ｙ）に基づいてカーソルの移動量（Ｍ_ｘ，Ｍ_ｙ）を算出していたが、鼻孔の変位量や重心位置の変化に基づいてカーソルの移動量を算出してもよい。

本発明のカーソル移動制御装置の好適な一実施形態であるコンピュータシステムを示す平面図である。 図１のカメラの撮像レンズの主点を原点とした２次元座標系における画像平面と対象者との位置関係を示す図である。 図１のカメラ及び表示画面と対象者との位置関係を示す図である。 図１の制御装置が算出する可変ゲインを示すグラフである。 図１のコンピュータシステムにおける表示画面上のカーソル及び顔正面ポイントの軌跡を示す図である。 図５の場合の顔正面ポイントとカーソルとの距離の時間変化を示すグラフである。 本発明の比較例における表示画面上のカーソル及び顔正面ポイントの軌跡を示す図である。 図７の場合の顔正面ポイントとカーソルとの距離の時間変化を示すグラフである。

符号の説明

１…制御装置、２…カメラ（撮像手段）、４…表示画面、１０…コンピュータシステム、ｋ_ｘ，ｋ_ｙ…可変ゲイン（変換係数）、ΔＰ_ｘ，ΔＰ_ｙ…変位量、Ｍ_ｘ，Ｍ_ｙ…カーソル移動量、Ｒ_ｘ，Ｒ_ｙ…位置誤差、Ｖ_Ｆ…顔方向ベクトル、Ｖ_Ｆ１…顔正面ベクトル、Ａ…対象者。

Claims (4)

1. 対象者の頭部画像に基づいて、コンピュータの表示画面上のカーソルの移動量を制御するカーソル移動制御方法であって、
   前記対象者の左右の瞳孔及び左右の鼻孔のうちの少なくとも３つの組み合わせである特徴部位群の２次元位置を撮像手段によって撮像し、前記特徴部位群の３次元位置を時系列で検出する位置検出ステップと、
   前記特徴点部位群の前記３次元位置に基づいて前記対象者の顔方向ベクトルと該顔方向ベクトルに基づいた顔正面ベクトルを算出する顔正面ベクトル算出ステップと、
   前記特徴点部位群の少なくとも１つの２次元位置の変位量に対して変換係数を乗ずることによって、前記カーソルの移動量を決定する移動量決定ステップとを備え、
   前記移動量決定ステップでは、前記表示画面上の前記カーソルの位置である第１の座標と、前記顔正面ベクトルが示す前記表示画面上の第２の座標との位置関係を算出し、前記位置関係に応じて前記変換係数を変化させる、
   ことを特徴とするカーソル移動制御方法。
2. 前記移動量決定ステップでは、前記表示画面上での前記第２の座標の移動方向において前記第１の座標が前記第２の座標よりも前方に進んでいると判別された場合には、前記変換係数を減少させ、前記第２の座標の移動方向において前記第１の座標が前記第２の座標よりも後方に遅れている場合には、前記変換係数を増加させる、
   ことを特徴とする請求項１記載のカーソル移動制御方法。
3. 前記移動量決定ステップでは、前記変換係数が上限値及び下限値を超えないように前記変換係数を調整する、
   ことを特徴とする請求項１又は２に記載のカーソル移動制御方法。
4. 対象者の頭部画像に基づいて、コンピュータの表示画面上のカーソルの移動量を制御するカーソル移動制御装置であって、
   前記対象者の左右の瞳孔及び左右の鼻孔のうちの少なくとも３つの組み合わせである特徴部位群の２次元位置を撮像手段によって撮像し、前記特徴部位群の３次元位置を時系列で検出する位置検出手段と、
   前記特徴点部位群の前記３次元位置に基づいて前記対象者の顔方向ベクトルと該顔方向ベクトルに基づいた顔正面ベクトルを算出する顔正面ベクトル算出手段と、
   前記特徴点部位群の少なくとも１つの２次元位置の変位量に対して変換係数を乗ずることによって、前記カーソルの移動量を決定する移動量決定手段とを備え、
   前記移動量決定手段は、前記表示画面上の前記カーソルの位置である第１の座標と、前記顔正面ベクトルが示す前記表示画面上の第２の座標との位置関係を算出し、前記位置関係に応じて前記変換係数を変化させる、
   ことを特徴とするカーソル移動制御装置。

Images