JP6468755B2 - 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム - Google Patents

Description

本発明の一側面は、特徴点検出システム、特徴点検出方法、および特徴点検出プログラムに関する。

従来から、対象者の瞳孔および鼻孔を検出する技術が知られている。この技術は、よそ見運転の検出、運転者の眠気の検出、商品の興味の度合いの調査、コンピュータへのデータ入力などに応用することが可能である。

この検出技術に関して、下記特許文献１には、顔画像上の左右の瞳孔中心の２次元座標、及び左右の鼻孔中心の２次元座標を検出する手法が記載されている。この手法では、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。そして、左右の瞳孔中心の中点より下の位置に大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。

特許第４４３１７４９号明細書

しかしながら、光源を備えるカメラから得られる顔画像中に、瞳孔であると誤検出してしまうほどに明るい部分が生じたり、鼻孔であると誤検出してしまうほどに暗い部分が生じたりすることがある。このようなノイズの例として、対象者がいくらか上を向いている画像において耳の上に生ずる明るい部分や、その画像において鼻の左右に生ずる影（暗い部分）などが挙げられる。

そこで、顔画像にノイズが含まれる場合でも瞳孔または鼻孔を正しく検出することが望まれている。

本発明の一側面に係る特徴点検出システムは、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出部であって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出部と、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定部であって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定部と、第１顔画像と、第２顔画像と、第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出部と、１以上の候補座標のうち設定部で設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定部とを備える。

本発明の一側面に係る特徴点検出方法は、プロセッサを備える特徴点検出システムにより実行される特徴点検出方法であって、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出ステップであって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出ステップと、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定ステップであって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定ステップと、第１顔画像と、第２顔画像と、第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出ステップと、１以上の候補座標のうち設定ステップにおいて設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定ステップとを含む。

本発明の一側面に係る特徴点検出プログラムは、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出部であって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出部と、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定部であって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定部と、第１顔画像と、第２顔画像と、第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出部と、１以上の候補座標のうち設定部で設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定部としてコンピュータを機能させる。

このような側面においては、瞳孔および鼻孔のうちのどちらか一方の特徴点（第１特徴点）の位置を基準に他方の特徴点（第２特徴点）の存在範囲が設定され、その存在範囲内にある座標に第２特徴点が位置すると判定される。このように、瞳孔（または鼻孔）の位置を基準として鼻孔（または瞳孔）の位置を検査することで、顔画像にノイズが含まれる場合でも瞳孔または鼻孔を正しく検出することができる。

本発明の一側面によれば、顔画像にノイズが含まれる場合でも瞳孔または鼻孔を正しく検出することができる。

実施形態に係る検出システムを示す斜視図である。 カメラのレンズ部分を示す平面図である。 実施形態に係る画像処理装置のハードウェア構成を示す図である。 実施形態に係る検出システムの機能構成を示すブロック図である。 鼻孔の存在範囲の設定の例を説明するための図である。 鼻孔の存在範囲の設定の例を説明するための図である。 鼻孔の存在範囲の設定の例を説明するための図である。 鼻孔の存在範囲の設定の例を説明するための図である。 鼻孔の存在範囲の設定の例を説明するための図である。 鼻孔の存在範囲の設定の例を説明するための図である。 鼻孔の探索範囲（大ウィンドウ）の設定の例を説明するための図である。 鼻孔候補の設定の例を説明するための図である。 実施形態に係る検出システムの動作を示すフローチャートである。 実施形態に係る検出プログラムの構成を示す図である。 変形例に係る検出システムの機能構成を示すブロック図である。 偽の瞳孔および鼻孔について説明するための図である。 更なる変形例に係る検出システムを示す斜視図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。以下の各実施形態では、本発明に係る特徴点検出システムを検出システム１に適用する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

［検出システムの構成］
図１〜４を用いて、実施形態に係る検出システム１の構成を説明する。検出システム１は、対象者の特徴点を検出するコンピュータシステムであり、このシステムにより、本実施形態に係る特徴点検出方法が実施される。対象者とは、特徴点を検出する対象となる人であり、被験者ともいうことができる。特徴点とは、検出する対象となる器官またはその位置を示す点である。本実施形態では特徴点として瞳孔および鼻孔を例示する。検出システム１および特徴点検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者の眠気の検出、商品の興味の度合いの調査、コンピュータへのデータ入力などに検出システム１を利用することができる。

検出システム１は、ステレオカメラとして機能する一対のカメラ１０と画像処理装置２０とを備える。以下では、必要に応じて、一対のカメラ１０を、対象者Ａの左側にある左カメラ（第１カメラ）１０_Ｌと、対象者Ａの右側にある右カメラ（第２カメラ）１０_Ｒとに区別する。本実施形態では、検出システム１は、対象者Ａが見る対象であるディスプレイ装置３０をさらに備える。しかし、検出システム１の利用目的は限定されないので、対象者Ａの視線の先にある物はディスプレイ装置３０に限定されず、例えば自動車のフロントガラスでもあり得る。したがって、ディスプレイ装置３０は検出システム１における必須の要素ではない。カメラ１０は画像処理装置２０と無線または有線により接続され、カメラ１０と画像処理装置２０との間で各種のデータまたは命令が送受信される。カメラ１０に対しては予めカメラ較正が行われる。

カメラ１０は対象者Ａの顔（少なくとも眼および鼻）を撮影するために用いられる。一対のカメラ１０は水平方向に沿って所定の間隔をおいて配され、かつ、対象者Ａが眼鏡をかけているときの顔画像における反射光の写り込みを防止する目的で対象者Ａの顔より低い位置に設けられる。水平方向に対するカメラ１０の仰角は、眼の確実な検出と対象者Ａの視野範囲の妨げの回避との双方を考慮して、例えば２０〜３５度の範囲に設定される。それぞれのカメラ１０は、画像処理装置２０からの命令に応じて対象者Ａを撮像し、画像データを画像処理装置２０に出力する。

カメラ１０のレンズ部分を図２に模式的に示す。この図に示すように、カメラ１０では、対物レンズ１１が円形状の開口部１２に収容され、開口部１２の外側に光源１３が設けられる。光源１３は、対象者Ａの顔に向けて照明光を照射するための機器であり、複数の発光素子１３ａと複数の発光素子１３ｂとから成る。発光素子１３ａは、出力光の中心波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の中心波長が９４０ｎｍの半導体発光素子であり、発光素子１３ａの外側に等間隔でリング状に配される。したがって、カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は図２に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。

画像処理装置２０は、カメラ１０の制御と、対象者Ａの特徴点の検出とを実行するコンピュータである。画像処理装置２０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置２０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

画像処理装置２０の一般的なハードウェア構成を図３に示す。画像処理装置２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。

後述する画像処理装置２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

図４に示すように、画像処理装置２０は機能的構成要素として画像取得部２１、瞳孔算出部（第１算出部）２２、および鼻孔算出部（設定部、第２算出部、および判定部）２３を備える。画像取得部２１は、カメラ１０の撮影タイミングとカメラ１０の光源１３の発光タイミングとを制御することで、少なくとも対象者Ａの眼および鼻が写った顔画像データをカメラ１０から取得する機能要素である。本明細書における「顔画像」とは、少なくとも対象者Ａの眼および鼻を含む領域が写った画像である。瞳孔算出部２２は、顔画像データに基づいて対象者Ａの瞳孔の位置を算出する機能要素である。鼻孔算出部２３は、顔画像データに基づいて対象者Ａの鼻孔の位置を算出する機能要素である。本実施形態では「瞳孔位置」または「瞳孔座標」は瞳孔中心の位置（座標）を意味し、「鼻孔位置」または「鼻孔座標」は鼻孔中心の位置（座標）を意味するものとするが、中心以外の点の位置（座標）を用いて瞳孔および鼻孔の位置（座標）を表してもよい。

瞳孔および鼻孔の位置を示す情報の出力先は何ら限定されない。例えば、画像処理装置２０はその情報を画像、図形、またはテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。あるいは、画像処理装置２０がその情報に基づいて更なる任意の処理を実行してもよい。

［特徴点検出方法］
次に、図５〜１３を用いて、検出システム１の動作について説明するとともに、本実施形態に係る特徴点検出方法について説明する。本実施形態では、検出システム１はまず瞳孔の位置を検出し、その瞳孔位置に基づいて鼻孔の位置を判定する。したがって、本実施形態では瞳孔が第１特徴点に相当し、鼻孔が第２特徴点に相当する。

（顔画像の取得）
少なくとも瞳孔および鼻孔を検出するために、検出システム１は瞳孔および鼻孔をなるべく良好に撮影する必要がある。そこで、瞳孔および鼻孔の撮影について説明する。

瞳孔の撮影に関して言うと、眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。

本実施形態では瞳孔だけでなく鼻孔も写った顔画像を用いるので、以下では、上記の明瞳孔画像および暗瞳孔画像に相当する画像をそれぞれ「明画像」「暗画像」と表すこととする。

本実施形態では、透過率が高い波長の光（中心波長が８５０ｎｍ）を発する発光素子１３ａが開口部１２に隣接した位置に設けられ、透過率が低い波長の光（中心波長が９４０ｎｍ）を発する発光素子１３ｂが開口部１２から離れた位置に設けられる。画像取得部２１は、カメラ１０の奇数フィールドに合わせて発光素子１３ａを点灯させて明画像を撮影し、カメラ１０の偶数フィールドに合わせて発光素子１３ｂを点灯させて暗画像を撮影する。画像取得部２１は二つのカメラ１０の間で作動タイミングをわずかにずらし、個々のカメラ１０の露光時間はそのずらし時間以下に設定される。画像取得部２１は、各カメラ１０の露光時間中に、対応する発光素子１３ａおよび発光素子１３ｂを交互に発光させることで、一方のカメラ１０の光源１３からの光が他方のカメラ１０の画像に影響を与えないようにする（クロストークが起こらないようにする）。そして、画像取得部２１は、左カメラ（第１カメラ）１０_Ｌから第１顔画像を取得し、右カメラ（第２カメラ）１０_Ｒから第２顔画像を取得する。より具体的には、画像取得部２１は左カメラ１０_Ｌおよび右カメラ１０_Ｒのそれぞれから、明画像および暗画像を交互に取得する。画像取得部２１は取得した画像を瞳孔算出部２２に出力する。

（瞳孔位置の検出）
瞳孔算出部２２は、画像取得部２１から入力された顔画像に基づいて、対象者Ａの両眼の瞳孔位置を求める。

ｉ番目に得られる明画像（または暗画像）と（ｉ＋１）番目に得られる暗画像（または明画像）とが得られたとして、この２画像が得られる間に対象者Ａの頭部が動かなければ、単純に明画像および暗画像の差を取ることで、瞳孔部分が浮かび上がった差分画像を生成することができる。しかし、それら２画像が撮影されるまでの間のわずかな時間に対象者Ａの頭部が動くと、その２画像の間で瞳孔の位置にずれが生じ、その結果、良好な差分画像を得ることができない。そこで、瞳孔算出部２２は、差分画像を得る前に明画像および暗画像に対して角膜反射に基づく位置補正を実行してもよい。

角膜反射に基づく位置補正は、ｉ番目の画像および（ｉ＋１）番目の画像のそれぞれから検出した角膜反射点の位置が一致するようにｉ番目の画像をずらしてから２画像の差分を取るという処理である。この処理により得られる差分画像から瞳孔を良好に検出することができる。より具体的には、瞳孔算出部２２は角膜反射および瞳孔を含む領域に対して位置補正を実行して差分画像を生成する。この領域をウィンドウという。ウィンドウの設定方法は限定されないが、一例として、角膜反射の位置を中心とし、かつ瞳孔を含む小領域をウィンドウとして設定してもよい。位置補正は、角膜反射の位置を一致させるように二つのウィンドウ内の画像のうちの一方をずらす処理である。続いて、瞳孔算出部２２は、前の画像から輝度が大きく変化しないことを利用して、前の画像で検出された瞳孔の輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を２値化し、ラベリングを行う。続いて、瞳孔算出部２２は、瞳孔らしい面積、サイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔候補を選択する。そして、瞳孔算出部２２は瞳孔候補の中で面積が最も大きいものを瞳孔として決定し、その瞳孔の位置を求める。

瞳孔算出部２２は、左カメラ１０_Ｌから得られた明画像および暗画像のペア（第１顔画像）から両眼の瞳孔座標を求めると共に、右カメラ１０_Ｒから得られた明画像および暗画像のペア（第２顔画像）からも両眼の瞳孔座標を求める。これらの瞳孔座標は２次元座標である。瞳孔算出部２２はステレオ法（ステレオマッチング）を用いて両眼の瞳孔の３次元座標を求める。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。３次元座標の計算に必要なこれらの内部パラメータおよび外部パラメータは、キャリブレーションデータとして予め取得されて瞳孔算出部２２に記憶される。ステレオ法を用いて３次元座標を求める方法そのものは周知技術であり、例えば下記の参考文献１，２でも紹介されている。
（参考文献１）国際公開第２０１２／０７７７１３号パンフレット
（参考文献２）国際公開第２０１２／０２０７６０号パンフレット

瞳孔算出部２２は、２台のカメラ１０からの出力データ（第１および第２の顔画像）を基に検出した画像座標系における瞳孔座標と、世界座標系における瞳孔座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、瞳孔算出部２２は、２つの関係式から世界座標系における瞳孔の３次元座標を求める。瞳孔算出部２２は、対象者Ａの左右の瞳孔のそれぞれについて３次元座標を求め、その計算結果を顔画像データと共に鼻孔算出部２３に出力する。

（鼻孔の存在範囲の設定）
鼻孔算出部２３は、瞳孔算出部２２から入力された左右の瞳孔の３次元座標に基づいて、鼻孔が存在すると予想される範囲を存在範囲として設定する。この存在範囲は、鼻孔の正しい３次元座標が存在すべき範囲であると言い換えることができる。

例えば、鼻孔算出部２３は、左右の瞳孔の３次元座標とその瞳孔の可動範囲とに少なくとも基づいて存在範囲を設定してもよい。瞳孔の可動範囲は、左右の眼球そのものが回転する範囲と言い換えることができる。存在範囲の設定方法を図５〜１０を用いて説明する。これらの図では、理解を容易にするために座標軸を示す。対象者Ａの幅方向に沿って延びる軸をＸ軸とし、対象者Ａの高さ方向に沿って延びる軸をＹ軸とし、対象者Ａの前後に沿って延びる軸をＺ軸とする。

まず、水平方向における鼻孔の存在範囲を考える。図５は、対象者Ａの顔を前から見たと仮定した場合の瞳孔および鼻孔の位置と、対象者Ａの頭部を上から見たと仮定した場合の眼球の左右方向の回転との関係を模式的に示す図である。眼球の左右方向の回転角度は眼球中心ｂ_Ｐと瞳孔中心ｃ_Ｐとを通るベクトルｖで表すものとし、対象者Ａが正面を向いた場合の眼球の回転角度を０°とする。この図に示すモデルを単純化するために、左瞳孔Ｐ_Ｌおよび右瞳孔Ｐ_Ｒを通る直線と、左鼻孔Ｎ_Ｌおよび右鼻孔Ｎ_Ｒを通る直線が平行であり、かつそれぞれの直線が水平であるとする。さらに顔が左右対称であり、水平方向における瞳孔中点Ｐ_Ｍと鼻孔中点Ｎ_Ｍとの位置が一致するものとする。なお、瞳孔中点Ｐ_Ｍは左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒとを結ぶ線分の中間点であり、鼻孔中点Ｎ_Ｍは左鼻孔Ｎ_Ｌと右鼻孔Ｎ_Ｒとを結ぶ線分の中間点である。左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒとの距離をｌ_Ｐとし、左鼻孔Ｎ_Ｌと右鼻孔Ｎ_Ｒとの距離をｌ_Ｎとする。

このようなモデルにおいて対象者Ａが右方向に角度αだけ眼球のみを回転させたとすると、左右の瞳孔はそれぞれ水平方向に沿って距離ａだけずれ（位置Ｐ’_Ｌ，Ｐ’_Ｒを参照）、左瞳孔Ｐ_Ｌと瞳孔中点Ｐ_Ｍとの間の距離がｌ_Ｐ／２から（ｌ_Ｐ／２−ａ）に変化する。対象者Ａが左方向に角度αだけ眼球のみを回転させたとすれば、左瞳孔Ｐ_Ｌと瞳孔中点Ｐ_Ｍとの間の距離は（ｌ_Ｐ／２＋ａ）に変化する。このように瞳孔が動く代わりに鼻孔が水平方向に距離±ａの範囲で動くとみなしたとすると、水平方向における左鼻孔Ｎ_Ｌの存在範囲は図６の網掛け部分Ｓａで示される。右鼻孔Ｎ_Ｒの存在範囲は、左鼻孔Ｎ_Ｌの存在範囲と同様に考えることができ、図７の網掛け部分Ｓｂで示される。

次に、垂直方向における鼻孔の存在範囲を考える。図８は、対象者Ａの顔を横から見たと仮定した場合の眼球の垂直方向の回転を模式的に示す図である。眼球の垂直方向の回転を上記のベクトルｖで表すものとし、対象者Ａが正面を向いた場合の眼球の回転角度を０°とする。また、眼球が上方向に回転したときの角度を正数で表し、眼球が下方向に回転したときの角度を負数で表すとする。この場合、カメラの仰角との関係で、瞳孔を検出可能な眼球の垂直方向の回転角度は＋βから−γまでの範囲である。このような眼球の回転に伴って、ＹＺ平面上に投影した左瞳孔（または右鼻孔）と左鼻孔（または右鼻孔）とを結ぶ線分と平行な方向に瞳孔の位置が変化すると考える。この場合、瞳孔と鼻孔との距離ｌ_ｐｎは、眼球が上方向に＋βだけ回転した場合には値ｂだけ長くなり、眼球が下方向に−γだけ回転した場合には値ｃだけ短くなる。水平方向および垂直方向における眼球そのものの回転に加えて、垂直方向における対象者Ａの頭部の回転を考慮すると、鼻孔は図９で示される網掛け部分Ｓｃ内に存在すると推定される。

鼻孔算出部２３は３次元空間における鼻孔の存在範囲を設定する。図１０は３次元形状の存在範囲の例を示し、存在範囲Ｓ_Ｌは上記網掛け部分Ｓａ，Ｓｂ，Ｓｃから導かれる。

鼻孔の存在範囲の設定方法はこれに限定されない。例えば、鼻孔算出部２３は水平方向における対象者Ａの頭部の回転もさらに考慮してその存在範囲を設定してもよい。あるいは、鼻孔算出部２３は水平方向における眼球そのものの回転を考慮することなく、左右の瞳孔の３次元座標と垂直方向における眼球そのものの回転とに少なくとも基づいて存在範囲を設定してもよい。あるいは、鼻孔算出部２３は垂直方向における眼球そのものの回転を考慮することなく、左右の瞳孔の３次元座標と水平方向における眼球そのものの回転とに少なくとも基づいて存在範囲を設定してもよい。あるいは、鼻孔算出部２３は左右の瞳孔の３次元座標のみに基づいて存在範囲を設定してもよい。３次元座標上での存在範囲の形状は図１０に示すような複雑なものでなくてもよく、四角錐台や直方体などのより単純な形状であってもよい。鼻孔のための存在範囲については、左鼻孔用のものと右鼻孔用のものとを個別に設定してもよいし、両鼻孔で共通の単一の存在範囲を設定してもよい。上記の存在範囲Ｓ_Ｌは、両鼻孔で共通の単一の存在範囲の例である。

（鼻孔候補の抽出）
鼻孔算出部２３は、瞳孔算出部２２から入力された顔画像データおよび瞳孔座標に基づいて、対象者Ａの左右の鼻孔候補の位置を求める。本実施形態では、鼻孔算出部２３は左カメラ１０_Ｌからの顔画像（第１顔画像）と右カメラ１０_Ｒからの顔画像（第２顔画像）を被選択顔画像として取得し、該被選択顔画像に基づいて鼻孔候補の位置を求める。鼻孔候補とは、顔画像から得られ、かつ真の鼻孔か否かを判定する対象となる像である。

前回の処理で左右の鼻孔の双方を検出できなかった場合には、鼻孔算出部２３は瞳孔の位置に基づいて顔画像内に大ウィンドウを設定し、その大ウィンドウ内の輝度を反転させ、Ｐタイル法によって設定された閾値で２値化を行った後、孤立点除去、収縮処理、膨張処理、およびラベリングを行う。続いて、鼻孔算出部２３はラベルづけされた画素の連結成分から、鼻孔らしい面積および大ウィンドウ内での位置に基づいて１以上の鼻孔候補を選択し、各鼻孔候補の座標を算出する。本明細書では鼻孔候補の座標を「候補座標」ともいう。

鼻孔算出部２３は、３次元空間における存在範囲を顔画像（撮像平面）上に投影して得られる範囲を大ウィンドウとして設定してもよい。この投影の概念を図１１に示す。説明を簡単にするために、図１１では、３次元座標上での存在範囲Ｓ_Ｌ’の形状が、頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈを有する四角錐台であるとする。鼻孔算出部２３は、その存在範囲Ｓ_Ｌ’を規定するいくつかの点（例えば頂点Ａ〜Ｈ）の３次元座標を２次元座標に変換して得られる点に基づいて顔画像ＦＩ上での存在範囲を設定する。この座標変換は、ピンホールモデルを用いて３次元座標を撮像平面に投影する処理である。３次元座標Ｃ_３＝（ｘ，ｙ，ｚ）に対応する撮像平面上の２次元位置Ｃ_２は、カメラの焦点距離ｆを用いて下記式（１）で得られる。
Ｃ_２＝（ｘ（ｆ／ｚ），ｙ（ｆ／ｚ）） …（１）

鼻孔算出部２３は、３次元空間上の存在範囲を顔画像に投影して得られる図形を大ウィンドウとして設定してもよい。あるいは、鼻孔算出部２３は投影して得られる図形の外接矩形を大ウィンドウとして設定してもよい。図１１の例でいうと、鼻孔算出部２３は頂点Ａ，Ｅ，Ｆ，Ｈ，Ｄ，Ｃを有する多角形Ｗａを大ウィンドウとして設定してもよいし、その多角形の外接矩形Ｗｂを大ウィンドウとして設定してもよい。鼻孔算出部２３はこのような大ウィンドウの設定を左カメラ１０_Ｌからの顔画像と右カメラ１０_Ｒからの顔画像との双方について実行する。

前回の処理で左右の鼻孔の双方を検出できた場合には、鼻孔算出部２３は前回の鼻孔位置からカルマンフィルタによって今回の鼻孔位置を予測し、予測された鼻孔位置を中心しかつ大ウィンドウよりも小さい小ウィンドウを顔画像内に設定する。そして、鼻孔算出部２３は大ウィンドウに対する処理と同様の手順で、１以上の鼻孔候補の座標を算出する。

前回の処理で片方の鼻孔のみ検出された場合には、鼻孔算出部２３は、二つの瞳孔座標と、検出できた一つの鼻孔座標と、瞳孔と鼻孔との位置関係に関する拘束条件とに基づいて、前回検出できなかった鼻孔座標を推定する。例えば、鼻孔算出部２３は、両瞳孔をつなぐ直線と両鼻孔をつなぐ直線とが平行であるという条件と、瞳孔間の距離と鼻孔間の距離との比とを拘束条件として用いる。そして、鼻孔算出部２３は、推定された鼻孔座標を中心に上記と同様の小ウィンドウを顔画像内に設定し、大ウィンドウに対する処理と同様の手順で、１以上の鼻孔候補の座標を算出する。

なお、鼻孔検出については下記の参考文献３に記載の手法を用いることも可能である。
（参考文献３）深澤諒亮，海老澤嘉伸、「顔方向に基づく瞳孔と鼻孔の検出改善」、ＶｉＥＷビジョン技術の実利用ワークショップ講演論文集、２００９、２００９年１２月３日、ＰＰ．３３１−３３６

このように、鼻孔算出部２３は前回の処理における鼻孔検出の結果に応じて、今回の鼻孔候補、すなわち現時点での鼻孔候補の座標を算出する。しかし、鼻孔算出部２３が個々の顔画像から左右の鼻孔の双方を確実に検出する保証はなく、どちらか一方の鼻孔についてのみ鼻孔候補を検出することがあり得る。そこで、鼻孔算出部２３は、二つの瞳孔座標と、画像処理により検出できた鼻孔候補（検出点）の座標と、瞳孔と鼻孔との位置関係に関する拘束条件とに基づいて、該検出点の左側および右側に所定の位置だけ延ばした位置を新たな鼻孔候補（推定点）として追加してもよい。検出点は、画像処理により検出できた特徴点の候補である。推定点は、画像処理を用いることなく検出点の位置に基づいて設定された特徴点の候補である。拘束条件の例としては、両瞳孔を結ぶ線分と両鼻孔を結ぶ線分とが平行であること、瞳孔間の距離と鼻孔間の距離との比、および鼻孔間の距離が挙げられる。

例えば図１２に示すように、鼻孔算出部２３は画像処理によって得られた鼻孔候補（検出点）Ｎ_ＬおよびＮ_Ｄから拘束条件に基づいて複数の新たな鼻孔候補（推定点）Ｎ_Ｈを追加する。鼻孔算出部２３はこの処理を左カメラ１０_Ｌからの顔画像と右カメラ１０_Ｒからの顔画像との双方について実行する。検出点の左右の双方に新たな鼻孔候補を追加するので、追加する鼻孔候補の中には明らかに誤りの鼻孔候補が含まれるが、後述するように存在範囲と比較してその鼻孔候補を取捨選択するので問題ない。ただし、後述するステレオ法の総当たり数を減らすために、新たな鼻孔候補点は、図１１で示した大ウィンドウの範囲内に絞ってからでもよい。図１２では上記の大ウィンドウＷｂを例示している。

鼻孔算出部２３は、左カメラ１０_Ｌから得られた明画像（第１顔画像）から１以上の左鼻孔候補および１以上の右鼻孔候補の座標を求めると共に、右カメラ１０_Ｒから得られた明画像（第２顔画像）からも１以上の鼻孔候補の座標を求める。あるいは、鼻孔算出部２３は左カメラ１０_Ｌから得られた暗画像（第１顔画像）と右カメラ１０_Ｒから得られた暗画像（第２顔画像）とのそれぞれから１以上の鼻孔候補の座標を求めてもよい。これらの鼻孔座標は２次元座標である。

（存在範囲を用いた鼻孔の検出）
続いて、鼻孔算出部２３はステレオ法を用いて、１以上の鼻孔候補についての３次元座標を求める。この処理を行おうとする時点で、鼻孔算出部２３は、第１顔画像から得られた１以上の鼻孔候補の２次元座標（第１座標群）と、第２顔画像から得られた１以上の鼻孔候補の２次元座標（第２座標群）とを得ている。

鼻孔算出部２３は第１座標群および第２座標群から一つずつ選択した２次元座標を上記のステレオ法に適用することで、その二つの２次元座標から３次元座標を求める。鼻孔算出部２３は第１座標群の２次元座標と第２座標群の２次元座標とのすべての組合せについてステレオ法による３次元座標の算出を実行することで、鼻孔候補についての１以上の３次元座標を求める。この３次元座標も候補座標である。例えば、第１座標群が３個の２次元座標から成り第２座標群が４個の２次元座標から成るならば、鼻孔算出部２３は１２個（＝３×４）の３次元座標（候補座標）を求める。

続いて、鼻孔算出部２３はそれぞれの候補座標と鼻孔算出部２３から入力された存在範囲とを比較して、候補座標がその存在範囲内にある鼻孔候補を選択し、選択した３次元座標に鼻孔が位置すると判定する。この判定により左右の鼻孔の位置が特定される。鼻孔算出部２３は、存在範囲内に位置しない鼻孔候補を除外する。

鼻孔算出部２３は、特定した左右の鼻孔の３次元座標を上記式（１）により２次元座標に変換してもよい。鼻孔算出部２３は、左カメラ１０_Ｌから得られた顔画像と右カメラ１０_Ｒから得られた顔画像のそれぞれについてこの座標変換を実行することで、各画像上での左右の鼻孔の位置を求める。鼻孔の２次元座標は、次の顔画像内での鼻孔を特定するための小ウィンドウの設定に用いられてもよい。

（他の基準も用いた探索）
鼻孔算出部２３は、存在範囲を用いた判定だけでなく他の基準も用いて左右の鼻孔を判定してもよい。他の基準を用いる処理は、存在範囲を用いた判定を行う前または後に実行可能である。他の基準は、左右の鼻孔の位置に基づく数値を用いた基準であってもよいし、左右の鼻孔の位置と左右の瞳孔の位置とに基づく数値を用いた基準であってもよい。以下に他の基準の例をいくつか示すが、以下の記述は他の基準をその例に限定することを意図しない。

例えば、鼻孔算出部２３は鼻孔間の距離が所定の範囲内にある鼻孔候補のペアのみを選択してもよい。この処理は、左右の鼻孔の位置に基づく数値を用いた基準の一例である。具体的には、鼻孔算出部２３は抽出された鼻孔候補から２個の鼻孔候補を選択してその鼻孔間距離を算出する。そして、鼻孔算出部２３は、鼻孔間距離が所定の範囲内にある鼻孔候補のペアを選択し、その条件を満たさないペアを除外する。鼻孔算出部２３は、鼻孔候補のすべてのペアについてこの処理を行う。鼻孔間距離と比較する「所定の範囲」は、ヒトの一般的な鼻孔間距離に基づいて設定されてもよいし、予め測定された対象者Ａの鼻孔間距離に基づいて設定されてもよい。「所定の範囲」の下限および上限の具体的な数値は限定されない。

別の例として、鼻孔算出部２３は瞳孔中点と鼻孔中点との間の距離が所定の範囲内にある鼻孔候補のペアのみを選択してもよい。この処理は、左右の鼻孔の位置と左右の瞳孔龍心の位置とに基づく数値を用いた基準の一例である。具体的には、鼻孔算出部２３は入力された左右の瞳孔の３次元座標から瞳孔中点の３次元座標を求める。続いて、鼻孔算出部２３は抽出された鼻孔候補から２個の鼻孔候補を選択してそれらの鼻孔候補の中点の３次元座標を求め、瞳孔中点と鼻孔中点との距離（中点間距離）を求める。そして、鼻孔算出部２３はその中点間距離が所定の範囲内にある鼻孔候補のペアを選択し、その条件を満たさないペアを除外する。鼻孔算出部２３は、鼻孔候補のすべてのペアについてこの処理を行う。中点間距離と比較する「所定の範囲」は、ヒトの一般的な中点間距離に基づいて設定されてもよいし、予め測定された対象者Ａの中点間距離に基づいて設定されてもよい。「所定の範囲」の下限および上限の具体的な数値は限定されない。

さらに別の例として、鼻孔算出部２３は左瞳孔と鼻孔中点との間の距離と、右瞳孔と鼻孔中点との間の距離との差または比が所定の範囲内にある鼻孔候補のペアのみを選択してもよい。この処理は、左右の鼻孔の位置と左右の瞳孔龍心の位置とに基づく数値を用いた基準の一例である。具体的には、鼻孔算出部２３は抽出された鼻孔候補から２個の鼻孔候補を選択してそれらの鼻孔候補の中点の３次元座標を求め、その鼻孔中点と、入力された左右の瞳孔のそれぞれとの距離を求める。そして、鼻孔算出部２３は求めた二つの距離の差または比が所定の範囲内にある鼻孔候補のペアを選択し、その条件を満たさないペアを除外する。鼻孔算出部２３は、鼻孔候補のすべてのペアについてこの処理を行う。この処理における「所定の範囲」は、ヒトの一般的な左右の瞳孔と鼻孔中点との距離に基づいて設定されてもよいし、予め測定された対象者Ａの左右の瞳孔と鼻孔中点との距離に基づいて設定されてもよい。「所定の範囲」の下限および上限の具体的な数値は限定されない。

あるいは、鼻孔算出部２３は、左右の瞳孔を通る直線と二つの鼻孔候補を通る直線との成す角度が所定の範囲内にあるか否か、またはそれら二つの直線が平行であるか否かという基準を用いてもよい。これらの処理は、２直線のねじれの有無または程度を基準に鼻孔の位置を判定する処理であるともいえる。

鼻孔算出部２３は、存在範囲を用いた判定をまず実行し、この判定で残った左右の鼻孔候補に対して他の基準を用いた判定を実行することで最終的に左右の鼻孔を特定してもよい。鼻孔算出部２３は、他の基準を用いた判定をまず実行し、この判定で残った左右の鼻孔候補に対して存在範囲を用いた判定を実行することで最終的に左右の鼻孔を特定してもよい。あるいは、鼻孔算出部２３は上述した他の基準のうちの２以上を用いてもよく、この場合に、それぞれの他の基準と存在範囲を用いた判定との実行順序は任意に決めてよい。

もし、最終的にどの鼻孔候補も残らなかった場合には、鼻孔算出部２３は鼻孔を特定できなかったと判定する。

上述した検出システム１の一連の動作は図１３のフローチャートにまとめることができる。すなわち、まず画像取得部２１が第１顔画像および第２顔画像を取得し（ステップＳ１１）、瞳孔算出部２２がそれらの顔画像から両瞳孔の位置を算出する（ステップＳ１２、第１算出ステップ）。続いて、鼻孔算出部２３が両瞳孔の位置に基づいて鼻孔の存在範囲を設定し（ステップＳ１３、設定ステップ）、第１顔画像および第２顔画像から鼻孔候補の座標（候補座標）を算出し（ステップＳ１４、第２算出ステップ）、その存在範囲内にある座標に鼻孔が位置すると判定する（ステップＳ１５、判定ステップ）。なお、ステップＳ１３，Ｓ１４の実行順序は任意に決めてよい。画像処理装置２０は、一対のカメラ１０から顔画像が送られてくる度にステップＳ１１〜Ｓ１５の処理を繰り返すことで瞳孔および鼻孔の位置を追跡してもよい。

［検出プログラム］
次に、図１４を用いて、画像処理装置２０を実現するための検出プログラム（特徴点検出プログラム）Ｐ１を説明する。

検出プログラムＰ１は、メインモジュールＰ１０、画像取得モジュールＰ１１、瞳孔算出モジュールＰ１２、および鼻孔算出モジュールＰ１３を備える。

メインモジュールＰ１０は、特徴点検出機能を統括的に制御する部分である。画像取得モジュールＰ１１、瞳孔算出モジュールＰ１２、および鼻孔算出モジュールＰ１３を実行することにより実現される機能はそれぞれ、上記の画像取得部２１、瞳孔算出部２２、および鼻孔算出部２３の機能と同様である。

検出プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。また、検出プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

以上説明したように、本発明の一側面に係る特徴点検出システムは、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出部であって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出部と、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定部であって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定部と、第１顔画像および第２顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出部と、１以上の候補座標のうち設定部で設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定部とを備える。

本発明の一側面に係る特徴点検出方法は、プロセッサを備える特徴点検出システムにより実行される特徴点検出方法であって、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出ステップであって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出ステップと、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定ステップであって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定ステップと、第１顔画像および第２顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出ステップと、１以上の候補座標のうち設定ステップにおいて設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定ステップとを含む。

本発明の一側面に係る特徴点検出プログラムは、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出部であって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出部と、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定部であって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定部と、第１顔画像および第２顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出部と、１以上の候補座標のうち設定部で設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定部としてコンピュータを機能させる。

このような側面においては、瞳孔および鼻孔のうちのどちらか一方の特徴点（第１特徴点）の位置を基準に他方の特徴点（第２特徴点）の存在範囲が設定され、その存在範囲内にある座標に第２特徴点が位置すると判定される。このように、瞳孔（または鼻孔）の位置を基準として鼻孔（または瞳孔）の位置を検査することで、顔画像にノイズが含まれる場合でも瞳孔または鼻孔を正しく検出することができる。

他の側面に係る特徴点検出システムでは、設定部が、少なくとも第１特徴点の座標と第１特徴点の可動範囲とに基づいて存在範囲を設定してもよい。第１特徴点の可動範囲も考慮して存在範囲を設定することで、正しい第２特徴点の位置をより確実に検出することが可能になる。

他の側面に係る特徴点検出システムでは、判定部が、複数の候補座標から選択した二つの候補座標に少なくとも基づいて算出される数値が所定の範囲内であり、かつ該選択した二つの候補座標の双方が存在範囲内に位置する場合に、該二つの候補座標のそれぞれに第２特徴点が位置すると判定してもよい。候補座標が存在範囲内に位置するかだけでなく、二つの候補座標の関係も検証することで、正しい第２特徴点の位置をより確実に検出することが可能になる。

他の側面に係る特徴点検出システムでは、第２算出部が、第１顔画像および第２顔画像に対して画像処理を実行することで得られる１以上の検出点と、該画像処理を実行することなく各検出点から所定の距離だけ離れた位置に設定した１以上の推定点とについて、候補座標を算出してもよい。画像処理だけではすべての第２特徴点を検出できない可能性がある。そこで、検出できた第２特徴点（検出点）を基準に別の第２特徴点を推定点として設定し、これらの検出点および推定点の双方について候補座標を求めることで、第２特徴点の候補座標を増やす。このように候補座標を増やすことで、正しい第２特徴点の位置をより確実に検出することが期待できる。

他の側面に係る特徴点検出システムでは、第１算出部が、第１顔画像および第２顔画像に基づいてステレオ法により第１特徴点の３次元座標を算出し、設定部が、３次元空間における存在範囲を設定し、第２算出部が、第１顔画像および第２顔画像に基づいて、ステレオ法により１以上の３次元座標を１以上の候補座標として算出し、判定部が、存在範囲内にある３次元座標に第２特徴点が位置すると判定してもよい。

他の側面に係る特徴点検出方法では、第１算出ステップでは、第１顔画像および第２顔画像に基づいてステレオ法により第１特徴点の３次元座標を算出し、設定ステップでは、３次元空間における存在範囲を設定し、第２算出ステップでは、第１顔画像および第２顔画像に基づいて、ステレオ法により１以上の３次元座標を１以上の候補座標として算出し、判定ステップでは、存在範囲内にある３次元座標に第２特徴点が位置すると判定してもよい。

他の側面に係る特徴点検出プログラムでは、第１算出部が、第１顔画像および第２顔画像に基づいてステレオ法により第１特徴点の３次元座標を算出し、設定部が、３次元空間における存在範囲を設定し、第２算出部が、第１顔画像および第２顔画像に基づいて、ステレオ法により１以上の３次元座標を１以上の候補座標として算出し、判定部が、存在範囲内にある３次元座標に第２特徴点が位置すると判定してもよい。

このような側面においては、３次元空間上で第２特徴点の位置が判定されるので、正しい第２特徴点の位置をより確実に検出することが可能になる。

他の側面に係る特徴点検出システムでは、新たな第１顔画像および新たな第２顔画像が取得される度に第１算出部、設定部、第２算出部、および判定部による処理が実行されることで、第２特徴点の検出が繰り返され、前回の処理で第２特徴点が検出されなかった場合に、第２算出部が、存在範囲を第１顔画像および第２顔画像のそれぞれに投影して各顔画像上にウィンドウを設定し、各顔画像の該ウィンドウ内で検出した第２特徴点の２次元座標に基づいて、ステレオ法により第２特徴点についての１以上の３次元座標を算出してもよい。

他の側面に係る特徴点検出方法では、新たな第１顔画像および新たな第２顔画像が取得される度に第１算出ステップ、設定ステップ、第２算出ステップ、および判定ステップが実行されることで、第２特徴点の検出が繰り返され、前回の処理で第２特徴点が検出されなかった場合に、第２算出ステップでは、存在範囲を第１顔画像および第２顔画像のそれぞれに投影して各顔画像上にウィンドウを設定し、各顔画像の該ウィンドウ内で検出した第２特徴点の２次元座標に基づいて、ステレオ法により第２特徴点についての１以上の３次元座標を算出してもよい。

他の側面に係る特徴点検出プログラムでは、新たな第１顔画像および新たな第２顔画像が取得される度に第１算出部、設定部、第２算出部、および判定部による処理が実行されることで、第２特徴点の検出が繰り返され、前回の処理で第２特徴点が検出されなかった場合に、第２算出部が、存在範囲を第１顔画像および第２顔画像のそれぞれに投影して各顔画像上にウィンドウを設定し、各顔画像の該ウィンドウ内で検出した第２特徴点の２次元座標に基づいて、ステレオ法により第２特徴点についての１以上の３次元座標を算出してもよい。

このような側面においては、第２特徴点を検出できなかった場合に、次の第１特徴点の座標に基づいて設定された存在範囲を顔画像上に投影してウィンドウを設定し、そのウィンドウ内で第２特徴点が検出される。このように、正しい第２特徴点が存在すると予想される範囲内で第２特徴点を探索することで、第２特徴点の追尾がいったん中止された場合にも正しい第２特徴点を再び検出することが可能になる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

（顔姿勢の検出）
検出システム１は、上記の手法により求めた瞳孔座標および鼻孔座標を用いて顔姿勢を求めてもよい。図１５は、画像取得部２１、瞳孔算出部２２、および鼻孔算出部２３に加えて、顔姿勢算出部２４をさらに備える画像処理装置２０Ａを示すブロック図である。顔姿勢算出部２４の機能（顔姿勢の計算）そのものは、例えば下記参考文献４に記載されている。
（参考文献４）特開２００７−２７１５５４号公報

顔姿勢算出部２４の機能を実現するためのモジュールを上記の検出プログラムＰ１に追加することで、コンピュータを画像処理装置２０Ａとして機能させることができる。

したがって、他の側面に係る特徴点検出システムでは、第１算出部により算出された第１特徴点の３次元座標と、判定部により判定された第２特徴点の３次元座標とに基づいて顔姿勢を算出する顔姿勢算出部をさらに備えてもよい。

他の側面に係る特徴点検出方法では、第１算出ステップにおいて算出された第１特徴点の３次元座標と、判定ステップにおいて判定された第２特徴点の３次元座標とに基づいて顔姿勢を算出する顔姿勢算出ステップをさらに含んでもよい。

他の側面に係る特徴点検出プログラムでは、第１算出部により算出された第１特徴点の３次元座標と、判定部により判定された第２特徴点の３次元座標とに基づいて顔姿勢を算出する顔姿勢算出部としてコンピュータをさらに機能させてもよい。

このような側面においては、第２特徴点が正しく検出されるので、その第２特徴点に基づく対象者の顔姿勢の算出も正確に行うことができる。

（瞳孔位置の予測への適用）
画像処理装置２０Ａは、次回の瞳孔位置を検出する際に、角膜位置に基づく位置補正に加えて、今回検出した鼻孔位置から得られる顔姿勢に基づく位置補正を実行してもよい。

顔姿勢の予測に基づく位置補正では、顔姿勢算出部２４はｉ番目の画像における瞳孔位置Ｐ_ｉおよび鼻孔Ｎ_ｉに基づいて、（ｉ＋１）番目の画像における瞳孔位置Ｐ_ｉ＋１および鼻孔Ｎ_ｉ＋１を予測することで、次画像での顔姿勢（顔の変位および回転角度）を推定する。顔姿勢算出部２４はこの推定を行うことで、次画像での瞳孔位置を予測する。そして、瞳孔算出部２２がｉ番目の画像をその予測に従ってずらした上で、２画像の差分を取る。顔姿勢の予測に基づく位置補正には、顔が回転した場合でも補正ができ、しかも、顔の速い動きに対応できるという有利な点がある。瞳孔および鼻孔の位置から顔姿勢を判定して該顔姿勢に基づいて位置補正を行うという処理そのものは周知であり、例えば上記の参考文献３に記載されている。顔姿勢検出の方法は上記参考文献４にも記載されている。従来技術と異なるこの変形例の特徴は、顔姿勢の前提となる鼻孔位置を上記実施形態の手法により求める点にある。

２段階の位置補正を行う場合には、瞳孔算出部２２は、顔姿勢算出部２４から入力された予測瞳孔位置に基づいて、明画像および暗画像に対する位置補正（顔姿勢に基づく位置補正）を実行する。続いて、瞳孔算出部２２は、位置補正された２画像から差分画像を生成し、その差分画像から仮の瞳孔位置を検出する。続いて、瞳孔算出部２２は仮の瞳孔位置に基づいて明画像および暗画像に小ウィンドウを設定して角膜反射点を検出し、その角膜反射点に基づいて２画像に対する位置補正を実行する。そして、瞳孔算出部２２は明画像および暗画像から差分画像を生成し、その差分画像から瞳孔位置を算出する。これら一連の処理により瞳孔位置が確定する。

したがって、他の側面に係る特徴点検出システムでは、第１算出部が、顔姿勢算出部により算出された顔姿勢に基づいて次の顔画像における第１特徴点の位置を予測し、予測結果に基づいて次の第１顔画像および次の第２顔画像から第１特徴点の次の座標を算出してもよい。

他の側面に係る特徴点検出方法では、第１算出ステップでは、顔姿勢算出ステップにおいて算出された顔姿勢に基づいて次の顔画像における第１特徴点の位置を予測し、予測結果に基づいて次の第１顔画像および次の第２顔画像から第１特徴点の次の座標を算出してもよい。

他の側面に係る特徴点検出プログラムでは、第１算出部が、顔姿勢算出部により算出された顔姿勢に基づいて次の顔画像における第１特徴点の位置を予測し、予測結果に基づいて次の第１顔画像および次の第２顔画像から第１特徴点の次の座標を算出してもよい。

このような側面においては、第２特徴点が正しく検出されてその第２特徴点に基づく対象者の顔姿勢の算出も正確に行われるので、顔姿勢に基づく次の第１特徴点の位置の予測もより正確に為されることが期待できる。

（瞳孔検出のための存在範囲の設定）
上記実施形態では、検出システム１は瞳孔位置を確定した後にその瞳孔位置に基づいて鼻孔の存在範囲を設定し、その存在範囲内に位置する鼻孔を正しい鼻孔として検出した。すなわち、上記実施形態では第１特徴点が瞳孔であり第２特徴点が鼻孔であった。しかし、特徴点検出システムはまず鼻孔位置を確定した後にその鼻孔位置に基づいて瞳孔の存在範囲を設定し、その存在範囲内に位置する瞳孔を正しい瞳孔として検出してもよい。すなわち、第１特徴点が鼻孔であり第２特徴点が瞳孔であってもよい。瞳孔のための存在範囲については、左瞳孔用のものと右瞳孔用のものとを個別に設定してもよいし、両瞳孔で共通の一つの存在範囲を設定してもよい。

鼻孔および瞳孔のどちらについても、画像の特徴だけからは判別が難しい偽の像が顔画像上に写り得る。図１６は偽の像の例を示し、点Ｄ_Ｎは偽の鼻孔を、点Ｄ_Ｐは偽の瞳孔を、それぞれ意味する。例えば、対象者が少し上を向いた場合には、顔画像ＦＩ上の鼻の左右の位置に影（点Ｄ_Ｎ）が生じやすく、Ｐタイル法、孤立点除去、ラベリング、および形状パラメータを用いた画像処理によりその影が偽の鼻孔として検出される可能性がある。また、上記のカメラ１０のように、明画像を得るための光源（発光素子１３ａ）の位置と暗画像を得るための光源（発光素子１３ｂ）の位置とが異なると、顔の表面に輝度の低い部分が生じやすく、やはり画像処理によりその部分が偽の鼻孔として検出され得る。あるいは、対象者が手を顔の前にもってきたような場合に、その動きにより生ずる影が偽の鼻孔として検出され得る。また、カメラ１０の２種類の光源（発光素子１３ａ，１３ｂ）の位置が異なると、顔画像ＦＩ上の左右の耳の上に明るい部分（点Ｄ_Ｐ）が生じやすく、画像処理によりその部分が偽の瞳孔として検出され得る。

このように偽の瞳孔または鼻孔が顔画像上に現れる態様は様々である。しかし、本発明に係る特徴点検出システムは、点Ｄ_Ｎ，Ｄ_Ｐのような偽の像が鼻孔候補または瞳孔候補として得られたとしてもその偽の像を存在範囲と比較することで排除するので、正しい瞳孔または鼻孔を検出することができる。

（瞳孔の検出に関する変形例）
上記実施形態では、瞳孔算出部２２が明画像および暗画像から差分画像を生成し、その差分画像から瞳孔座標を求めたが、瞳孔算出部２２は差分画像を生成することなく、画像取得部２１から入力された１枚の瞳孔座標（明画像または暗画像）から瞳孔位置を求めてもよい。具体的には、瞳孔算出部２２は１枚の顔画像に対して２値化およびラベリングを実行し、瞳孔らしい面積、サイズ、面積比、正方形度、および特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔を選択し、その瞳孔の位置を算出する。

（瞳孔用カメラおよび鼻孔用カメラを設ける例）
上記実施形態では、各カメラ１０が、瞳孔および鼻孔の双方を含む顔画像を撮影したが、瞳孔を写すためのカメラ（鼻孔用カメラ）と鼻孔を写すためのカメラ（瞳孔用カメラ）とを別々に用意してもよい。図１７に示すように、このような変形例に係る検出システム（特徴点検出システム）１Ｂは、ステレオカメラとして機能する一対の瞳孔用カメラ４０と、一つの鼻孔用カメラ５０と、画像処理装置２０Ｂと、ディスプレイ装置３０を備える。一対の瞳孔用カメラ４０は、対象者Ａの左側にある左カメラ４０_Ｌと、対象者Ａの右側にある右カメラ４０_Ｒとから成る。一対の瞳孔用カメラ４０は第１カメラおよび第２カメラに相当し、鼻孔用カメラ５０は、第１カメラおよび第２カメラとは異なるカメラに相当する。上記実施形態と同様に、この検出システム１Ｂでもディスプレイ装置３０を省略できる。３台のカメラ４０，５０はいずれも画像処理装置２０Ｂと無線または有線により接続され、各カメラ４０，５０と画像処理装置２０Ｂとの間で各種のデータまたは命令が送受信される。各カメラ４０，５０に対しては予めカメラ較正が行われる。

瞳孔用カメラ４０および鼻孔用カメラ５０はいずれも対象者Ａの顔を撮像する装置であるが、瞳孔用カメラ４０は特に対象者Ａの瞳孔およびその周辺を撮影するために用いられ、鼻孔用カメラ５０は特に対象者Ａの瞳孔、鼻孔、およびこれらの周辺を撮影するために用いられる。この変形例では、瞳孔用カメラ４０により得られる画像を瞳孔画像（明瞳孔画像または暗瞳孔画像）といい、鼻孔用カメラ５０により得られる画像を鼻孔画像というが、これらの瞳孔画像および鼻孔画像は顔画像の一種である。

瞳孔用カメラ４０は上記実施形態におけるカメラ１０と同じ構成であり、したがって光源を備える。一方、鼻孔用カメラ５０は光源を備えず、瞳孔用カメラ４０の光源により照らされた対象者Ａの顔を撮影する。すなわち、鼻孔用カメラ５０は光源１３からの光を利用して撮影を行う。画像処理装置２０Ｂの画像取得部は、瞳孔用カメラ４０および鼻孔用カメラ５０の撮影タイミングと瞳孔用カメラ４０の光源１３の発光タイミングとを制御することで、瞳孔用カメラ４０および鼻孔用カメラ５０から画像データを取得する。

検出システム１Ｂは、カメラのコストを抑えつつ視線および顔姿勢を高い精度で検出することを目的とするものであり、このシステムの具体的な構成および処理は下記の参考文献５に記載されている。
（参考文献５）鈴木 巧他，「光源無し鼻孔検出用カメラを伴う３カメラ視線・頭部姿勢同時計測装置」、第２０回画像センシングシンポジウム、２０１４年６月１１日、ｐｐ．ＩＳ２−０５−１〜８

画像処理装置２０Ｂの瞳孔算出部は、一対の瞳孔用カメラ４０により撮影された瞳孔画像（第１顔画像および第２顔画像）に基づいて、対象者Ａの両眼の瞳孔位置を求める。この処理は上記実施形態における瞳孔算出部２２での処理と同様である。

画像処理装置２０Ｂの鼻孔算出部は、瞳孔算出部から入力された左右の瞳孔の３次元座標に基づいて存在範囲を設定する。この設定方法は上記実施形態と同様である。また、鼻孔算出部は、画像取得部から入力された鼻孔画像に基づいて対象者Ａの左右の鼻孔候補の位置を求める。すなわち、鼻孔算出部は、第１カメラおよび第２カメラとは異なる一つのカメラである鼻孔用カメラ５０から得られた鼻孔画像を被選択顔画像として取得し、その被選択顔画像と両瞳孔の３次元座標とに基づいて鼻孔候補の位置（候補座標）を求める。各鼻孔候補の３次元座標を求める方法については、上記参考文献５に記載の技術を用いることができる。存在範囲と鼻孔候補の位置とを求めると、鼻孔算出部は、候補座標がその存在範囲内にある鼻孔候補を選択し、存在範囲内に位置しない鼻孔候補を除外することで、選択した３次元座標に鼻孔が位置すると判定する。この判定方法は上記実施形態と同様である。

このように、本発明に係る特徴点検出を上記参考文献５に記載の技術に適用することができる。

なお、この変形例では鼻孔用カメラ５０が１台だけであったが、検出システム１Ｂは２台以上の鼻孔用カメラを備えてもよい。この場合には、瞳孔座標を用いることなく二つの鼻孔画像からステレオ法により各鼻孔候補の３次元座標を求めることができる。

この変形例に関しても、特徴点検出システムはまず鼻孔位置を確定した後にその鼻孔位置に基づいて瞳孔の存在範囲を設定し、その存在範囲内に位置する瞳孔を正しい瞳孔として検出してもよい。すなわち、第１特徴点が鼻孔であり第２特徴点が瞳孔であってもよい。

この変形例を考慮すると、本発明は下記の側面を有する。

本発明の一側面に係る特徴点検出システムは、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出部であって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出部と、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定部であって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定部と、第１顔画像と、第２顔画像と、第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出部と、１以上の候補座標のうち設定部で設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定部とを備える。

本発明の一側面に係る特徴点検出方法は、プロセッサを備える特徴点検出システムにより実行される特徴点検出方法であって、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出ステップであって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出ステップと、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定ステップであって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定ステップと、第１顔画像と、第２顔画像と、第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出ステップと、１以上の候補座標のうち設定ステップにおいて設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定ステップとを含む。

本発明の一側面に係る特徴点検出プログラムは、第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出部であって、第１特徴点が対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出部と、第２特徴点の存在範囲を少なくとも第１特徴点の座標に基づいて設定する設定部であって、第２特徴点が対象者の瞳孔および鼻孔のうち第１特徴点として指定されなかった方の特徴点である、該設定部と、第１顔画像と、第２顔画像と、第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて第２特徴点についての１以上の候補座標を算出する第２算出部と、１以上の候補座標のうち設定部で設定された存在範囲内にある候補座標に第２特徴点が位置すると判定する判定部としてコンピュータを機能させる。

このような側面においても、瞳孔および鼻孔のうちのどちらか一方の特徴点（第１特徴点）の位置を基準に他方の特徴点（第２特徴点）の存在範囲が設定され、その存在範囲内にある座標に第２特徴点が位置すると判定される。このように、瞳孔（または鼻孔）の位置を基準として鼻孔（または瞳孔）の位置を検査することで、顔画像にノイズが含まれる場合でも瞳孔または鼻孔を正しく検出することができる。

１，１Ｂ…検出システム（特徴点検出システム）、１０…カメラ、２０，２０Ａ，２０Ｂ…画像処理装置、２１…画像取得部、２２…瞳孔算出部（第１算出部）、２３…鼻孔算出部（設定部、第２算出部、および判定部）、２４…顔姿勢算出部、４０…瞳孔用カメラ、５０…鼻孔用カメラ、Ｐ１…検出プログラム、Ｐ１０…メインモジュール、Ｐ１１…画像取得モジュール、Ｐ１２…瞳孔算出モジュール、Ｐ１３…鼻孔算出モジュール。

Claims (17)

1. 第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出部であって、前記第１特徴点が前記対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出部と、
   第２特徴点の存在範囲を少なくとも前記第１特徴点の座標に基づいて設定する設定部であって、前記第２特徴点が前記対象者の瞳孔および鼻孔のうち前記第１特徴点として指定されなかった方の特徴点である、該設定部と、
   前記第１顔画像と、前記第２顔画像と、前記第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて前記第２特徴点についての１以上の候補座標を算出する第２算出部と、
   前記１以上の候補座標のうち前記設定部で設定された前記存在範囲内にある候補座標に前記第２特徴点が位置すると判定する判定部と
   を備え、
   前記第２算出部が、
   前記１以上の被選択顔画像に対して画像処理を実行することで複数の検出点を取得し、
   前記画像処理を実行することなく、前記複数の検出点のそれぞれについて、所定の距離だけ離れた位置に複数の推定点を設定し、
   前記複数の検出点のそれぞれと前記複数の推定点のそれぞれとについて前記候補座標を算出する、
   特徴点検出システム。
2. 前記設定部が、少なくとも前記第１特徴点の座標と前記第１特徴点の可動範囲とに基づいて前記存在範囲を設定する、
   請求項１に記載の特徴点検出システム。
3. 前記判定部が、複数の前記候補座標から選択した二つの候補座標に少なくとも基づいて算出される数値が所定の範囲内であり、かつ該選択した二つの候補座標の双方が前記存在範囲内に位置する場合に、該二つの候補座標のそれぞれに前記第２特徴点が位置すると判定する、
   請求項１または２に記載の特徴点検出システム。
4. 前記第１算出部が、前記第１顔画像および前記第２顔画像に基づいてステレオ法により前記第１特徴点の３次元座標を算出し、
   前記設定部が、３次元空間における前記存在範囲を設定し、
   前記第２算出部が、前記１以上の被選択顔画像に基づいて、前記ステレオ法により１以上の３次元座標を前記１以上の候補座標として算出し、
   前記判定部が、前記存在範囲内にある前記３次元座標に前記第２特徴点が位置すると判定する、
   請求項１〜３のいずれか一項に記載の特徴点検出システム。
5. 新たな前記第１顔画像および新たな前記第２顔画像が取得される度に前記第１算出部、前記設定部、前記第２算出部、および前記判定部による処理が実行されることで、前記第２特徴点の検出が繰り返され、
   前回の処理で前記第２特徴点が検出されなかった場合に、前記第２算出部が、前記存在範囲を二つの前記被選択顔画像のそれぞれに投影して各顔画像上にウィンドウを設定し、各顔画像の該ウィンドウ内で検出した前記第２特徴点の２次元座標に基づいて、前記ステレオ法により前記第２特徴点についての前記１以上の３次元座標を算出する、
   請求項４に記載の特徴点検出システム。
6. 前記第１算出部により算出された前記第１特徴点の３次元座標と、前記判定部により判定された前記第２特徴点の３次元座標とに基づいて顔姿勢を算出する顔姿勢算出部をさらに備える請求項４または５に記載の特徴点検出システム。
7. 前記第１算出部が、前記顔姿勢算出部により算出された顔姿勢に基づいて次の顔画像における前記第１特徴点の位置を予測し、予測結果に基づいて次の前記第１顔画像および次の前記第２顔画像から前記第１特徴点の次の座標を算出する、
   請求項６に記載の特徴点検出システム。
8. プロセッサを備える特徴点検出システムにより実行される特徴点検出方法であって、
   第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出ステップであって、前記第１特徴点が前記対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出ステップと、
   第２特徴点の存在範囲を少なくとも前記第１特徴点の座標に基づいて設定する設定ステップであって、前記第２特徴点が前記対象者の瞳孔および鼻孔のうち前記第１特徴点として指定されなかった方の特徴点である、該設定ステップと、
   前記第１顔画像と、前記第２顔画像と、前記第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて前記第２特徴点についての１以上の候補座標を算出する第２算出ステップと、
   前記１以上の候補座標のうち前記設定ステップにおいて設定された前記存在範囲内にある候補座標に前記第２特徴点が位置すると判定する判定ステップと
   を含み、
   前記第２算出ステップでは、
   前記１以上の被選択顔画像に対して画像処理を実行することで複数の検出点を取得し、
   前記画像処理を実行することなく、前記複数の検出点のそれぞれについて、所定の距離だけ離れた位置に複数の推定点を設定し、
   前記複数の検出点のそれぞれと前記複数の推定点のそれぞれとについて前記候補座標を算出する、
   特徴点検出方法。
9. 前記第１算出ステップでは、前記第１顔画像および前記第２顔画像に基づいてステレオ法により前記第１特徴点の３次元座標を算出し、
   前記設定ステップでは、３次元空間における前記存在範囲を設定し、
   前記第２算出ステップでは、前記１以上の被選択顔画像に基づいて、前記ステレオ法により１以上の３次元座標を前記１以上の候補座標として算出し、
   前記判定ステップでは、前記存在範囲内にある前記３次元座標に前記第２特徴点が位置すると判定する、
   請求項８に記載の特徴点検出方法。
10. 新たな前記第１顔画像および新たな前記第２顔画像が取得される度に前記第１算出ステップ、前記設定ステップ、前記第２算出ステップ、および前記判定ステップが実行されることで、前記第２特徴点の検出が繰り返され、
    前回の処理で前記第２特徴点が検出されなかった場合に、前記第２算出ステップでは、前記存在範囲を二つの前記被選択顔画像のそれぞれに投影して各顔画像上にウィンドウを設定し、各顔画像の該ウィンドウ内で検出した前記第２特徴点の２次元座標に基づいて、前記ステレオ法により前記第２特徴点についての前記１以上の３次元座標を算出する、
    請求項９に記載の特徴点検出方法。
11. 前記第１算出ステップにおいて算出された前記第１特徴点の３次元座標と、前記判定ステップにおいて判定された前記第２特徴点の３次元座標とに基づいて顔姿勢を算出する顔姿勢算出ステップをさらに含む請求項９または１０に記載の特徴点検出方法。
12. 前記第１算出ステップでは、前記顔姿勢算出ステップにおいて算出された顔姿勢に基づいて次の顔画像における前記第１特徴点の位置を予測し、予測結果に基づいて次の前記第１顔画像および次の前記第２顔画像から前記第１特徴点の次の座標を算出する、
    請求項１１に記載の特徴点検出方法。
13. 第１カメラにより撮影された対象者の第１顔画像と第２カメラにより撮影された該対象者の第２顔画像とに基づいて第１特徴点の座標を算出する第１算出部であって、前記第１特徴点が前記対象者の瞳孔および鼻孔のどちらか一方の特徴点である、該第１算出部と、
    第２特徴点の存在範囲を少なくとも前記第１特徴点の座標に基づいて設定する設定部であって、前記第２特徴点が前記対象者の瞳孔および鼻孔のうち前記第１特徴点として指定されなかった方の特徴点である、該設定部と、
    前記第１顔画像と、前記第２顔画像と、前記第１カメラおよび第２カメラとは異なる１以上のカメラから得られた顔画像とのうち１以上の顔画像を被選択顔画像として取得し、１以上の該被選択顔画像に基づいて前記第２特徴点についての１以上の候補座標を算出する第２算出部と、
    前記１以上の候補座標のうち前記設定部で設定された前記存在範囲内にある候補座標に前記第２特徴点が位置すると判定する判定部と
    してコンピュータを機能させ、
    前記第２算出部が、
    前記１以上の被選択顔画像に対して画像処理を実行することで複数の検出点を取得し、
    前記画像処理を実行することなく、前記複数の検出点のそれぞれについて、所定の距離だけ離れた位置に複数の推定点を設定し、
    前記複数の検出点のそれぞれと前記複数の推定点のそれぞれとについて前記候補座標を算出する、
    特徴点検出プログラム。
14. 前記第１算出部が、前記第１顔画像および前記第２顔画像に基づいてステレオ法により前記第１特徴点の３次元座標を算出し、
    前記設定部が、３次元空間における前記存在範囲を設定し、
    前記第２算出部が、前記１以上の被選択顔画像に基づいて、前記ステレオ法により１以上の３次元座標を前記１以上の候補座標として算出し、
    前記判定部が、前記存在範囲内にある前記３次元座標に前記第２特徴点が位置すると判定する、
    請求項１３に記載の特徴点検出プログラム。
15. 新たな前記第１顔画像および新たな前記第２顔画像が取得される度に前記第１算出部、前記設定部、前記第２算出部、および前記判定部による処理が実行されることで、前記第２特徴点の検出が繰り返され、
    前回の処理で前記第２特徴点が検出されなかった場合に、前記第２算出部が、前記存在範囲を二つの前記被選択顔画像のそれぞれに投影して各顔画像上にウィンドウを設定し、各顔画像の該ウィンドウ内で検出した前記第２特徴点の２次元座標に基づいて、前記ステレオ法により前記第２特徴点についての前記１以上の３次元座標を算出する、
    請求項１４に記載の特徴点検出プログラム。
16. 前記第１算出部により算出された前記第１特徴点の３次元座標と、前記判定部により判定された前記第２特徴点の３次元座標とに基づいて顔姿勢を算出する顔姿勢算出部として前記コンピュータをさらに機能させる請求項１４または１５に記載の特徴点検出プログラム。
17. 前記第１算出部が、前記顔姿勢算出部により算出された顔姿勢に基づいて次の顔画像における前記第１特徴点の位置を予測し、予測結果に基づいて次の前記第１顔画像および次の前記第２顔画像から前記第１特徴点の次の座標を算出する、
    請求項１６に記載の特徴点検出プログラム。

Images