JP4735361B2 - 車両乗員顔向き検出装置および車両乗員顔向き検出方法 - Google Patents

Description

本発明は、運転者などの車両乗員の顔向きを検出するための車両乗員顔向き検出装置および車両乗員顔向き検出方法に関する。

従来より、撮像した運転者の顔画像に基づいて運転者の顔向きを検出（推定）する装置が多く提案されている（例えば、特許文献１参照）。前記特許文献１の装置では、候補特定手段で特定した顔部品の画像上の絶対位置を用いて、撮像手段に対する顔の向きを検出するようにしている。
特開平１０−３０７９２３号公報

ところで、前記特許文献１の装置のように、１つのカメラ（単眼）によって顔向きを検出する構成では、顔の向き変えにより、処理対象とする顔部位が撮像される範囲内において存在する場合のみ顔向きの検出が可能であるが、予め求めたモデルとのマッチングを行う方法であるため、一般に２台のカメラによる３次元計測ほどの精度は期待できない。

そこで、本発明は、顔の向き変え角度が小さい場合でも顔の向き変え角度が大きい場合においても、顔向きを安定して精度よく検出することができる車両乗員顔向き検出装置および車両乗員顔向き検出方法を提供することを目的とする。

前記目的を達成するために本発明に係る車両乗員顔向き検出装置は、車両乗員の顔をその正面前方側の左右から撮像するための少なくとも２台の撮像手段と、前記各撮像手段により撮像された顔画像をそれぞれ取り込む複数の画像取込手段と、前記各画像取込手段からそれぞれ取り込んだ顔画像から顔特徴点を抽出して出力する複数の顔特徴点出力手段と、前記各顔特徴点出力手段から前記顔特徴点を入力し、以降の処理を３次元座標によって行うか２次元座標によって行うかを判断する処理判断手段と、前記処理判断手段による判断で３次元座標の推定を行う場合に、前記各顔特徴点出力手段で得られた前記顔特徴点の３次元座標を推定する３次元座標推定手段と、前記３次元座標推定手段で推定された３次元座標から前記車両乗員の顔向きを計算する顔向き計算手段と、前記処理判断手段による判断で２次元座標を用いる場合に、前記各顔特徴点出力手段で得られた２次元座標情報から前記車両乗員の顔向きを推定する顔向き推定手段と、前記顔向き推定手段で推定された顔向きが複数の場合に、適切な１つの顔向きを選択する顔向き設定手段と、入力される前記顔向き計算手段および前記顔向き設定手段で求められた顔向き結果に基づき、顔の左右方向の回転角に応じて前記顔向き計算手段と前記顔向き設定手段のいずれか一方の顔向き結果を出力する顔向き出力手段と、を備えたことを特徴としている。

本発明に係る車両乗員顔向き検出装置および車両乗員顔向き検出方法によれば、処理判断手段による判断に基づいて、運転者の顔向き変え角度が小さいときには、２台の各撮像手段による３次元計測による精度の高い顔向き計算を行い、運転者の顔向き変え角度が大きいときには、２台の各撮像手段のいずれか一方の撮像手段による顔向き推定を行うことにより、顔の向き変え角度が小さい場合でも顔の向き変え角度が大きい場合においても、顔の向きを安定して精度よく検出することができる。

以下、本発明を図示の実施形態に基づいて説明する。図１は、本発明の実施形態に係る車両乗員顔向き検出装置の構成を示すブロック図、図２は、本発明の実施形態に係る車両乗員顔向き検出装置を備えた車両（自動車）の運転席付近を示す模式図である。

図１に示すように、本実施形態に係る運転者顔向き検出装置１は、運転者の顔を撮像するための撮像手段としての２台の第１、第２カメラ２ａ，２ｂと、装置本体３を有しており、装置本体３は車両内に設置されている。装置本体３は、演算を行うマイクロプロセッサ、該マイクロプロセッサに所定の処理を実行させるためのプログラム等を記憶しているＲＯＭ、演算結果などの各種データを記憶するＲＡＭ等により構成されている。

装置本体３は、第１、第２カメラ２ａ，２ｂにより撮像された顔画像をそれぞれ取り込む第１、第２画像取込部４ａ，４ｂと、第１、第２画像取込部４ａ，４ｂからそれぞれ取り込んだ顔画像から顔特徴点を抽出して出力する第１、第２顔特徴点出力部５ａ，５ｂと、第１、第２顔特徴点出力部５ａ，５ｂから顔特徴点を入力し、以降の処理を３次元座標によって行うか２次元座標によって行うかを判断する処理判断部６と、処理判断部６による判断で３次元座標の推定を行う場合に、第１、第２顔特徴点出力部５ａ，５ｂで得られた顔特徴点の３次元座標を推定する３次元座標推定部７と、処理判断部６による判断で２次元座標を用いる場合に、第１、第２顔特徴点出力部５ａ，５ｂで得られた２次元座標情報から運転者の顔向きを推定する顔向き推定部８と、３次元座標推定部７で推定された３次元座標から運転者の顔向きを計算する顔向き計算部９と、顔向き推定部８で推定された顔向きが複数の場合に、適切な１つの顔向きを選択する顔向き設定部１０と、運転者の顔向きの変化に応じて、顔向き計算部９および顔向き設定部１０（顔向き推定部８）で得られたいずれか一方の顔向きを出力する顔向き出力部１１と、を主要構成部として備えている。

２台の第１、第２カメラ２ａ，２ｂは、車室内の運転席に着座している運転者（車両乗員）の顔の正面側を撮像するためのカメラであり、本実施形態では図２に示すように、ステアリングハンドル２０を間にして略左右対称位置となるようにして、インストルメントパネルの上面２１に運転席の運転者側に向けて設置されている。よって、着座している運転者の顔の垂直中心線が存在すると想定される位置を境に左右方向に分け、かつ同条件下で運転者の同一顔部位が撮像できるような向きに第１、第２カメラ２ａ，２ｂが設置されている。

これにより、車両乗員の顔の向き変えや、光環境等が変化した場合でも、いずれかのカメラ（第１カメラ２ａまたは第２カメラ２ｂ）により顔画像を撮像できる可能性が高く、顔の向き変え変化および光環境等の変化に対して安定性の高い顔向き出力を行うことができる。

また、運転席のシート位置調整機構やステアリングハンドル２０のチルト角調整機構、またはルームミラー等からの調整位置情報に基づいて、運転者の頭部が存在しうる位置を推定し、第１、第２カメラ２ａ，２ｂの左右方向の向きと上下方向の向きの補正を行う補正機構（不図示）を設けてもよい。

なお、第１、第２カメラ２ａ，２ｂの位置は、ステアリングハンドル２０を中心にして左右対称位置から多少ずれていれも差し支えない。第１、第２カメラ２ａ，２ｂは、筐体にＣＣＤやＣＭＯＳセンサなどの撮像素子とレンズ、フィルタ等を組み合わせたビデオカメラであり、時系列に順次撮像した画像を出力する。

図３は、第１、第２カメラ２ａ，２ｂと運転者の顔（頭部）Ａとの位置を示した模式図であり、第１、第２カメラ２ａ，２ｂの撮像範囲（図３の斜線部分）に、運転者の顔（頭部）Ａが存在するように第１、第２カメラ２ａ，２ｂの位置および向きを設定する。なお、図３では、第１、第２カメラ２ａ，２ｂを、顔（頭部）Ａの中心（左右の眼の中間）にして左右対称位置に同じ角度で設置している。

一般に、カメラによる運転者の顔の特徴追跡では、顔の向き変えにより顔の特徴が撮像されなくなるまでが、顔の特徴の追跡可能な撮像範囲（追跡可能範囲）となる。例えば、図４（ａ）に示すように、顔（頭部）Ａの真正面前方に１台のカメラ２を設置した場合、顔（頭部）Ａが右側を向いている状況では、θまで顔（頭部）Ａの右眼ａを撮像可能範囲である。

一方、本実施形態では、図３に示したように、顔（頭部）Ａの中心線に対して略左右対称位置に設置した第１、第２カメラ２ａ，２ｂは、それぞれ少し内側を向いてる。よって、例えば図４（ｂ）に示すように、第１カメラ２ｂを顔（頭部）Ａの中心線Ｌに対してθ２だけオフセットして設置した場合、顔（頭部）Ａが右を向いている状況では、θ１＋θ２までが顔（頭部）Ａの右眼ａの撮像可能範囲となり、前記図４（ａ）の場合よりも撮像可能範囲が広くなる。なお、第２カメラ２ｂにおいても同様である。

第１顔特徴点出力部５ａは、図５に示すように、第１画像取込部４ａから顔画像情報を入力して顔特徴点検出結果を出力する顔特徴点検出部１２と、前記顔画像情報と顔特徴点検出部１２で検出された顔画像特徴点検出結果とを入力して顔特徴点情報を出力する顔特徴点追跡部１３を備えている。なお、第２画像取込部４ｂから顔画像情報を入力する第２顔特徴点出力部５ｂにおいても、同様の構成である。

次に、前記した本実施形態に係る車両乗員顔向き検出装置１による顔向き検出方法について説明する。

図２に示すように、インストルメントパネルの上面２１に設置した２つの第１、第２カメラ２ａ，２ｂにより、運転者の顔をそれぞれ正面前方側の左右から撮像する。そして、第１、第２画像取込部４ａ，４ｂは、第１、第２カメラ２ａ，２ｂでそれぞれ撮像された各顔画像を、デジタル画像としてキャプチャしメモリ内に取り込む。第１、第２画像取込部４ａ，４ｂにそれぞれ取り込まれた顔画像情報は、第１、第２顔特徴点出力部５ａ，５ｂの顔特徴点検出部１２（図５参照）にそれぞれ出力される。

第１、第２顔特徴点出力部５ａ，５ｂの各顔特徴点検出部１２は、入力される顔画像情報に基づいて顔特徴点検出結果を出力する。顔特徴点検出部１２の処理を、図６に示すフローチャートを参照して説明する。
〈顔特徴点検出部１２の処理〉

先ず、入力される顔画像情報に対して横エッジ検出を行う（ステップＳ１）。この横エッジ検出では、顔画像の各列について、濃度値が極小となる極小値（極小点）を検出する。図７（ａ）は、横エッジ検出結果の一例を示した図である。

そして、ステップＳ１での横エッジ検出によって得られたエッジ画像に対してノイズ除去を行う（ステップＳ２）。このノイズ除去処理は、極小点のうち濃度値が設定値未満のものと、極小点の周囲８近傍（上下左右、右斜め上、左斜め上、右斜め下、左斜め下）に他の極小点が存在しない点（つまり独立点）を削除する。図７（ｂ）は、ノイズ除去結果の一例を示した図である。

そして、ノイズ除去後に顔特徴点候補の選択処理を行う（ステップＳ３）。この顔特徴点候補の選択処理では、個々の極小点と周囲８近傍で検出された点との連接を調べて、その連接の傾きの大きい点を削除し、横方向への広がりが設定値以上のものについては濃度値の最も小さい極小点を削除することにより特徴点の分割を行い、顔特徴点候補とする。図７（ｃ）は、顔特徴点候補の選択結果の一例を示した図である。

そして、顔特徴点候補の数が予め設定している最小候補数（設定値）未満の場合（ステップＳ４：ＮＯ）、即ち、例えば、左右の眉や左右の眼は検出できているが、鼻が検出できていない場合などの場合は、現顔画像においては正確に顔の検出ができていないと判定（ステップＳ５）して、この顔特徴点検出処理を終了する。

そして、顔特徴点候補の数が予め設定している最小候補数（設定値）以上の場合（ステップＳ４：ＹＥＳ）、即ち、例えば、左右の眉，左右の眼、鼻、口などが検出できて、正確に顔が検出されている場合は、各顔特徴点候補にラベル（数字や番号）を付すラベリング処理を行う（ステップＳ６）。図８（ａ）は、顔特徴点候補に対するラベリング結果の一例を示した図である。

そして、次にグラフマッチング処理を行う（ステップＳ７）。このグラフマッチング処理では、予め用意している顔特徴点と顔特徴点間の関係を、ラベル付きの顔特徴点候補の組み合わせで照合する（この顔特徴点と顔特徴点間の関係については、後述する）。図８（ｂ）は、グラフマッチング結果の一例を示した図である。そして、前記照合の数が０（ゼロ）の場合（ステップＳ８：ＮＯ）は、現顔画像においては正確に顔の検出ができていないと判定（ステップＳ５）して、この顔特徴点検出処理を終了する。

そして、前記照合の数が１つまたは複数の場合（ステップＳ８：ＹＥＳ）、次に顔特徴点検出処理を行う（ステップＳ９）。この顔特徴点検出処理では、１つまたは複数の顔特徴点の組み合わせ結果のうち、予め用意している顔特徴点と最も一致しているデータを顔特徴点して選択する。図８（ｃ）は、顔特徴点検出結果の一例を示した図である。そして、ステップＳ９で選択した顔特徴点の一致の度合いを表す評価値が予め設定している最小評価値（設定値）未満の場合（ステップＳ１０：ＮＯ）、現顔画像においては正確に顔の検出ができていないと判定（ステップＳ５）して、この顔特徴点検出処理を終了する。

そして、ステップＳ９で選択した顔特徴点の一致の度合いを表す評価値が予め設定している最小評価値（設定値）以上の場合（ステップＳ１０：ＹＥＳ）、正確に顔の検出ができたと判定（ステップＳ１１）して、この顔特徴点検出処理を終了する。

〈顔特徴点と顔特徴点間の関係〉
本実施形態においては、顔特徴点として、例えば図９に示すように、右眼（ＥｙｅＲ）、左眼（ＥｙｅＬ）、右眉（ＢｒｏｗＲ）、左眉（ＢｒｏｗＬ）、右鼻孔（ＮｏｓｅＲ）、左鼻孔（ＮｏｓｅＬ）、口または唇（Ｌｉｐ）、顎（Ｃｈｉｎ）、右上眼鏡フレーム（ＧｌａｓＢＬ）、眼鏡フレーム中心（ＧｌａｓＣ）という１３個の点を規定することができる。なお、以下においては、右鼻孔（ＮｏｓｅＲ）と左鼻孔（ＮｏｓｅＬ）との中点位置を鼻（の位置）として一つにまとめ、顔特徴点の数を１２個の点として説明する。

そして、前記した各顔特徴点の位置は、右眼の位置を基準（原点座標（０，０））とした相対位置で示すと、図１０（ａ）のようになり、左眼の位置を基準（原点座標（０，０））とした相対位置で示すと、図１０（ｂ）のようになる。なお、図１０（ａ），（ｂ）は、それぞれ顔画像サイズ（横：３２０画素、縦：２４０画素）を５分の１にしたサイズで、相対位置関係を示している。

これらの各顔特徴点の位置は、グラフマッチング（図６に示したフローチャートのステップＳ７の処理）を行うため一定の範囲を有しており、グラフマッチングの際に、右眼もしくは左眼を基準としてその範囲内に存在する顔特徴点の個数をカウントすることで、顔特徴点の位置の照合が行われる。

また、各顔特徴点は、顔特徴点検出結果評価用の係数を有しており、前記グラフマッチング結果に対して、マッチングした顔特徴点の係数を合計した値を前記した評価値とする。なお、前記係数は、距離関係の重要性が高い顔特徴点間ほど大きい値に設定され、距離関係の重要性が低い顔特徴点間ほど小さい値に設定される。

ところで、眼の特徴点座標については、例えば図１１に示すように、眼の付近の画像に対して、各列（縦）方向に画像の濃淡を調べて、淡（白）→濃（黒）と変化する点（図中の○印で表記した部分）と、濃（黒）→淡（白）と変化する点（図中の×印で表記した部分）を検出する。淡（白）→濃（黒）と変化する点の横方向への連続を調べることにより眼の左端と右端を確定して、座標位置が最も高い点を上端とし、また濃（黒）→淡（白）と変化する点の最も低い点を下端とし、これらを顔特徴点に追加更新する。

〈顔特徴点追跡部１３の処理〉
顔特徴点追跡部１３による顔特徴点追跡処理を、図１２に示すフローチャートを参照して説明する。

先ず、最初の処理（メモリ１３ａ（図５参照）に格納されているこの顔特徴点追跡部１３による前回の顔特徴点追跡処理もしくは顔特徴点検出部１２による顔特徴点検出処理）が実行された場合（ステップＳ２１：ＹＥＳ）、例えば図１３（ａ）に示すように、検出された顔特徴点の近辺の範囲から前回の基準となる顔特徴点（基準顔特徴点：図では右眼）が検出できた場合（ステップＳ２２：ＹＥＳ）、例えば図１３（ｂ）に示すように、ステップＳ２２で検出された基準顔特徴点（この場合は右眼）に基づいて、前回の顔特徴点追跡処理もしくは顔特徴点検出部１２による顔特徴点検出処理により検出された顔特徴点間の距離を求めて、次の顔特徴点の検出範囲を設定し、この検出範囲から次の顔特徴点（この場合は左眼）の検出を行う（ステップＳ２３）。

また、ステップＳ２２で、基準顔特徴点（例えば、右眼）が検出できない場合（ステップＳ２２：ＮＯ）には、次の顔特徴点（例えば、左眼）が有ると（ステップＳ２４：ＹＥＳ）、この次の顔特徴点を基準顔特徴点に変えて（ステップＳ２５）、ステップＳ２２で再び基準顔特徴点の検出を行う。なお、ステップＳ２４で、他の基準となる顔特徴点がない場合（ステップＳ２４：ＮＯ）には、顔特徴点追跡に失敗と判断して（ステップＳ２６）、この顔特徴点追跡処理を終了する。

そして、ステップＳ２３で次の顔特徴点の検出を行って、次の顔特徴点（この場合は左眼）を検出できた場合（ステップＳ２７：ＹＥＳ）、そのときの座標に基づいて次の顔特徴点の座標を更新して（ステップＳ２８）、この顔特徴点追跡処理を終了する。

また、ステップＳ２７で、次の顔特徴点を検出できない場合（ステップＳ２７：ＮＯ）、前回の顔特徴点と基準顔特徴点との距離（位置関係）を求め、基準顔特徴点の座標をこの距離相当移動して次の顔特徴点の座標として更新して（ステップＳ２９）、この顔特徴点追跡処理を終了する。

そして、他の残りの顔特徴点についても、前記同様の顔特徴点追跡処理を順次繰り返すことにより、全ての顔特徴点の座標位置を更新することができる。そして、前記第１、第２顔特徴点出力部５ａ，５ｂからの各顔特徴点出力は処理判断部６に入力される。
〈処理判断部６の処理〉

処理判断部６は、以降の処理を３次元座標推定部７または顔向き推定部８のいずれかで行うかを判断する。この判断は、以下のように行うことができる。

第１、第２顔特徴点出力部５ａ，５ｂの両方から顔特徴点出力が入力される場合は３次元座標推定部７に進み、いずれか一方から顔特徴点出力が入力される場合は顔向き推定部８に進む。即ち、この車両乗員顔向き検出装置１の顔向き出力部１１による前回の顔向き出力結果から、例えば図１４に示すように、運転者の顔（頭部）Ａの向きを変えた場合でも第１、第２カメラ２ａ，２ｂの両方で撮像可能な範囲Ａにある場合は３次元座標推定部７に進み、第１、第２カメラ２ａ，２ｂのいずれか一方で撮像可能な範囲Ｂ１，Ｂ１（斜線部分）にある場合は顔向き推定部８に進むように判断する。

また、図１５に示すように、前記車両乗員顔向き検出装置１の装置本体３に車両情報取得部１４を更に設けて、車体側に設置されている複数のセンサ（不図示）などから車両情報（例えば、車両の走行状況、車両周囲環境情報等）を取り込むようにしてもよい。この場合、処理判断部６は、これらの車両情報に基づいて、以降の処理を３次元座標推定部７または顔向き推定部８のいずれかで行うかを判断する。

例えば、ナビゲーションシステムから走行道路がほぼ直線道路であることを検出し、かつ車両速度がほぼ一定速度である場合、処理判断部６は、運転者が略真正面を向いている時間が長くなると判断して３次元座標推定部７に進む。また、例えば、ナビゲーションシステムから交差点であることを検出し、車両速度情報と方向指示器情報から右折待ちであることを検出した場合、処理判断部６は、運転者の顔の向き変え角度が大きくなると判断して顔向き推定部８に進む。このように、ナビゲーションシステム等から得られる車両情報を取り込むことによって、より精度の高い判断処理を行うことが可能となる。

次に、処理判断部６による前記した判定条件によって、以降の処理を３次元座標推定部７で行う場合について説明する。

〈３次元座標推定部７の処理〉
３次元座標推定部７は、少なくとも２つの顔特徴点の座標から３点測量の要領にて顔特徴点の３次元座標を推定し、顔特徴点の３次元座標を出力する。図１６（ａ）、（ｂ）を参照して、２台のカメラ（前記第１、第２カメラ２ａ，２ｂに相当）による顔特徴点の３次元座標の推定方法の一例について説明する。

図１６（ａ）に示すように、仮想撮像面上の座標ＰＡとカメラ座標原点Ａを結ぶ直線ＡＰの延長上、および仮想撮像面上の座標ＰＢとカメラ座標原点Ｂを結ぶ直線ＢＰの延長上に顔の特徴点（観測点）Ｃが存在すると仮定する。このように、２台のカメラ（カメラ座標原点Ａ、カメラ座標原点Ｂ）で未知の特徴点（観測点）Ｃを観測することにより、図１６（ｂ）に示すように、３点測量の要領にて原点０に対する点（観測点）Ｃの３次元座標を推定することができる。

図１６（ｂ）において、Ａ、Ｂはカメラの位置、Ｖ１はＡＣの単位直線ベクトル、Ｖ２はＢＣの単位ベクトルとすると、点Ｃは以下の式（１）〜（３）でそれぞれ０Ｃ１，０ｃ２として求められる。ただし、ｓ、ｔは媒介変数である。

０Ｃ１＝ｓＶ１＋０Ａ…式（１）
０Ｃ２＝ｔＶ２＋０Ｂ…式（２）

０Ｃ１と０Ｃ２の差を表すベクトルＣ１Ｃ２をＶ３とすると、以下の関係が成り立つ。ただし、ｕは媒介変数である。

（ｓＶ１＋０Ａ）−（ｔＶ２＋０Ｂ）＝Ｖ３
Ｖ３＝ｕ（Ｖ１×Ｖ２）
よって、この関係から以下の式が成立する。
ｓＶ１−ｔＶ２−ｕ（Ｖ１×Ｖ２）＝０Ｂ−０Ａ…式（３）

各ベクトル（Ｖ１，Ｖ２，Ｖ３）は３次元で表されるため、媒介係数ｓ、ｔ、ｕを算出することができ、これにより、点Ｃの３次元座標を推定することが可能である。このような方法によって推定された顔特徴点の３次元座標は、顔向き計算部９に出力される。

〈顔向き計算部９の処理〉
顔向き計算部９は、３次元座標推定部７から入力される顔特徴点の３次元座標に基づいて顔の向きを計算（推定）する。以下、顔向き計算部９での顔の向き計算方法の一例を、図１７を参照して説明する。

図１７に示すように、少なくとも３点（図では、左右の眼と鼻）の各特徴点の３次元座標によって形成される面の法線ベクトルを求めることにより、顔の向きを計算することができる。

即ち、図１７に示すように、右眼の位置をＲ、左眼の位置をＬ、鼻の位置をＮとすると、法線ベクトルは、ＬＮ×ＲＮによって得ることができる（ＬＮ、ＲＮは、ベクトルである）。これによって得られる法線ベクトルの向きが、顔の向きとすることができる。なお、このような方法以外にも、例えば、顔の３次元モデルを予め用意し、この３次元モデルと前記３次元座標推定部７で得られた結果とのマッチングを行うことで、顔の向きを求めることも可能である。

次に、前記処理判断部６による前記した判定条件によって、以降の処理を顔向き推定部８で行う場合について説明する。

〈顔向き推定部８の処理〉
顔向き推定部８は、顔特徴点の２次元座標から顔の向きを推定する。以下にその推定方法の一例について説明する。一般に顔は左右対称に近い形状をしており、顔を左右に回転させると顔の特徴点の見かけの位置がずれる。そこで、このときに顔の対称性に生じる歪を用いることにより、顔の向きを推定することができる。

即ち、例えば図１８（ａ）に示すように、右眼の座標をＡ、左眼をＢ、鼻をＣ、右耳をＥ’、左耳をＦ’として、線分ＡＢに対してＣ（鼻）より下ろした垂線の交点をＤし、また、顔の右端をＥ、顔の左端をＦとしたときに、以下の式（４）〜（６）が成り立つ。ただし、式（４）〜（６）において、パラメータｓ、ｔ、ｕは顔の対称性を評価するためのパラメータである。なお、これらのパラメータｓ、ｔ、ｕは、前記式（１）〜（３）における媒介変数媒介変数ｓ、ｔ、ｕとは異なる。

ＡＤ：ＢＤ＝ｓ：（１−ｓ）…式（４）
ＣＥ：ＣＦ＝ｔ：（１−ｔ）…式（５）
ＡＥ：ＢＦ＝ｕ：（１−ｕ）…式（６）

式（４）〜（６）は、図１８（ｂ）のように表すことができる。そして、顔の向き変えに対して、前記パラメータ（ｓ、ｔ、ｕ）の理論値を予め求めると、図１９に示すように、顔の回転角（ヨー運動）に連動して値が変化することが分かる。よって、第１、第２顔特徴出力部５ａ，５ｂのいずれか一方からの出力結果により得た顔の特徴点の２次元座標から前記パラメータ（ｓ、ｔ、ｕ）を求めることにより、図１９に示した理論値に基づいて顔の向きを推定することができる。

また、前記２台の第１、第２カメラ２ａ，２ｂは、その設置位置と向きが異なるため、顔向き推定部８で推定した顔の角度を補正する必要があるが、正面方向をヨー角の０度とした場合、図４（ｂ）に示したように、推定した顔の角度θ１に角度θ２を加えるだけでよい。そして、顔向き推定部８で推定された顔の向き情報は顔向き設定部１０に入力される。

〈顔向き設定部１０の処理〉
顔向き設定部１０は、顔向き推定部８で推定される顔向きが１つのみの場合はその値を出力する値とし、顔向き推定部８で推定される顔向きが複数の場合はいずれか１つの値を選択するか、もしくは複数の結果から出力する値を計算し、その計算結果に基づいて設定する。以下、顔向き推定部８で推定される顔向きが複数の場合における選択方法について説明する。

前記第１、第２顔特徴点出力部５ａ，５ｂの処理において、顔特徴点に対するパターンマッチングによる類似度（差分や二乗誤差など）を評価値として顔向きを設定する。例えば、第１、第２顔特徴点出力部５ａ，５ｂの処理において、前記グラフマッチング結果（図６に示したフローチャートのステップＳ７の処理）に対して、マッチングした顔特徴点の係数を合計した値（評価値）を用い、この値（評価値）の最も高い結果を用いた顔向き推定部８による推定結果を顔向きとして設定する。

例えば、前回の顔向き推定結果から、図４（ｂ）や図１４に示した第１、第２カメラ２ａ，２ｂの両方で撮像可能な範囲（追跡可能範囲）に照らして、運転者の顔の正対方向に近いカメラ（第１、第２カメラ２ａ，２ｂのいずれか一方のカメラ）の第１顔特徴点出力部５ａもしくは第２顔特徴点出力部５ｂの出力を用いた顔向き推定部８の推定結果を顔向きとして設定する。このとき、運転者の顔が第１、第２カメラ２ａ，２ｂに対して正対方向に近いと判断される場合は、それらの平均値を求めて出力する。

また、図１５に示したように、顔向き設定部１０は、車両情報取得部１４から車速、操舵角等の車両状態情報や、ナビゲーションシステムから周囲環境情報を取得して、走行状態に応じて顔向きを設定することもできる。例えば、ナビゲーションシステムにより交差点であることを検出し、また車速と方向指示器情報から、右折待ちであることを検出した場合には、運転者は右方向への顔の向き変え時間が長くなることから、運転者に対して右側に設置した第２カメラ２ｂの第２顔特徴点出力部５ｂの出力を用いた顔向き設定部１０の結果を、顔向きとして設定する。このように、ナビゲーションシステム等から得られる車両情報を取り込むことによって、顔向きを精度よく設定することが可能となる。

前記顔向き計算部９および顔向き設定部１０で求められた顔向き結果は、顔向き出力部１１に出力される。

〈顔向き出力部１１の処理〉
顔向き出力部１１は、入力される顔向き計算部９および顔向き設定部１０で求められた顔向き結果に基づき、顔の左右方向の回転角に応じて顔向き計算部９と顔向き設定部１０のいずれか一方の顔向き結果を出力する。

図２０は、顔向き計算部９および顔向き設定部１０で求められた顔向き結果の一例を示す図である。なお、図２０の横軸は撮像した画像のフレーム番号、縦軸は顔のＹ軸回転角（左右方向の回転角）である。

図２０において、ａは顔向き計算部９で求められた顔向き結果（３次元推定）、ｂ１，ｂ２は顔向き設定部１０で求められた顔向き結果である。なお、ｂ１は顔の正面右側から撮像する第１カメラ２ａによる顔向き推定部８の結果であり、ｂ２は顔の正面左側から撮像する第２カメラ２ｂによる顔向き推定部８の結果である。

図２０に示したような顔向き結果に基づいて、顔向き出力部１１は顔向き結果を出力する。図２１は、顔向き出力結果（図のｃ）の一例を示す図である。なお、図２１の横軸は撮像した画像のフレーム番号、縦軸は顔のＹ軸回転角（左右方向の回転角）である。

図２１に示したように、本実施形態では、運転者の顔向きが左右方向に±２０度程度以内の場合には３次元座標による顔向き計算部９の結果を採用した。また、運転者の顔向きが＋２０度程度より大きい場合には第１カメラ２ａによる顔向き推定部８の結果（図２０のｂ１）を採用を採用し、運転者の顔向きが−２０度程度より小さい場合には第２カメラ２ｂによる顔向き推定部８の結果（図２０のｂ２）を採用した。

更に、運転者の顔向きが左右方向に±２０度程度以内のときにおいて、３次元座標による顔向き計算部９の結果が使えない場合（即ち、第１カメラ２ａもしくは第２カメラ２ｂのいずれか一方側による顔特徴点出力しが得られない場合）は、いずれか一方から出力された顔特徴点を用いて、顔向き推定部８により顔向きを求めるようにする。

顔向き出力部１１は、本実施形態では図２１に示したように、運転者の顔向きが約５０度を超える場合でも追従性よく顔向き情報を出力することができ、更に、運転者の顔向きが左右方向に±２０度程度近辺での処理判断部６による３次元座標推定部７もしくは顔向き推定部８への切替えにおいても、滑らかに顔向きが繋がっている。

このように、本実施形態に係る車両乗員顔向き検出装置１によれば、処理判断部６による判断に基づいて、運転者の顔向き変え角度が小さいときには、２台の第１、第２カメラ２ａ，２ｂによる３次元計測による精度の高い顔向き計算を行い、運転者の顔向き変え角度が大きいときには、第１、第２カメラ２ａ，２ｂのいずれか一方のカメラによる顔向き推定を行うことにより、運転者の左右方向の顔向き変え変化に対して安定性の高い顔向き出力を行うことができる。

本発明の実施形態に係る車両乗員顔向き検出装置の構成を示すブロック図。 本発明の実施形態に係る車両乗員顔向き検出装置を備えた車両（自動車）の運転席付近を示す模式図。 運転者の正面前方側の左右に設置した２台の第１、第２カメラの撮像範囲を示す図。 （ａ），（ｂ）は、運転者の顔向き変えに対するカメラの追跡可能な撮像範囲（追跡可能範囲）を説明するための図。 第１、第２顔特徴点出力部の構成を示すブロック図。 顔特徴点検出部による顔特徴点検出処理を示すフローチャート。 （ａ），（ｂ），（ｃ）は、第１、第２顔特徴点出力部の顔特徴点検出部における顔特徴点の選択過程を説明するための図。 （ａ），（ｂ），（ｃ）は、第１、第２顔特徴点出力部の顔特徴点検出部における顔特徴点点候補にラベリングを行い顔の特徴点候補を絞り込む過程を説明するための図。 第１、第２顔特徴点出力部の顔特徴点検出部における、顔特徴点と顔特徴点間の関係を説明するための図。 第１、第２顔特徴点出力部の顔特徴点検出部における、顔特徴点と顔特徴点間の関係を説明するための図。 眼の顔特徴点座標の取得方法を説明するための図。 顔特徴点追跡部による顔特徴点追跡処理を示すフローチャート。 第１、第２顔特徴点出力部の顔特徴点追跡部における、基準特徴点の検出と基準特徴点から次特徴点を検出する様子を説明するための図。 運転者の顔向き変えに対する２台の第１、第２カメラの追跡可能な撮像範囲（追跡可能範囲）を説明するための図。 本発明の実施形態の変形例に係る車両乗員顔向き検出装置の構成を示すブロック図。 （ａ），（ｂ）は、２台のカメラによる特徴点の３次元座標を推定方法を説明するための図。 顔特徴点の３次元座標からの顔向き計算を説明するための図。 （ａ），（ｂ）は、顔特徴点の座標から顔向きを推定するためのパラメータを説明するための図。 顔向きを、眼と鼻との関係、鼻と顔の端との関係、眼と顔の端との関係とから推定するするためのグラフを説明するための図。 顔向き計算部および顔向き推定部で求められた顔向き結果の一例を示す図。 顔向き出力部による顔向き出力結果の一例を示す図である。

符号の説明

１ 車両乗員顔向き検出装置
２ａ 第１カメラ（撮像手段）
２ｂ 第２カメラ（撮像手段）
３ 装置本体
４ａ 第１画像取込部（画像取込手段）
４ｂ 第２画像取込部（画像取込手段）
５ａ 第１顔特徴点出力部（顔特徴点出力手段）
５ｂ 第２顔特徴点出力部（顔特徴点出力手段）
６ 処理判断部（処理判断手段）
７ ３次元座標推定部（３次元座標推定手段）
８ 顔向き推定部（顔向き推定手段）
９ 顔向き計算部（顔向き計算手段）
１０ 顔向き設定部（顔向き設定手段）
１１ 顔向き出力部（顔向き出力手段）
１２ 顔特徴点検出部
１３ 顔特徴点追跡部

Claims (10)

1. 車両乗員の顔をその正面前方側の左右から撮像するための少なくとも２台の撮像手段と、
   前記各撮像手段により撮像された顔画像をそれぞれ取り込む画像取込手段と、
   前記各画像取込手段からそれぞれ取り込んだ顔画像から顔特徴点を抽出して出力する顔特徴点出力手段と、
   前記各顔特徴点出力手段から前記顔特徴点を入力し、以降の処理を３次元座標によって行うか２次元座標によって行うかを判断する処理判断手段と、
   前記処理判断手段による判断で３次元座標の推定を行う場合に、前記各顔特徴点出力手段で得られた前記顔特徴点の３次元座標を推定する３次元座標推定手段と、
   前記３次元座標推定手段で推定された３次元座標から前記車両乗員の顔向きを計算する顔向き計算手段と、
   前記処理判断手段による判断で２次元座標を用いる場合に、前記各顔特徴点出力手段で得られた２次元座標情報から前記車両乗員の顔向きを推定する顔向き推定手段と、
   前記顔向き推定手段で推定された顔向きが複数の場合に、適切な１つの顔向きを選択する顔向き設定手段と、
   入力される前記顔向き計算手段および前記顔向き設定手段で求められた顔向き結果に基づき、顔の左右方向の回転角に応じて前記顔向き計算手段と前記顔向き設定手段のいずれか一方の顔向き結果を出力する顔向き出力手段と、を備えた、
   ことを特徴とする車両乗員顔向き検出装置。
2. 前記各撮像手段は、車両乗員の着座位置で正面方向を注視したときの顔の垂直中心線が存在すると想定される位置を境に左右方向に分け、かつ同条件下で車両乗員の同一顔部位が撮像できるような向きにして設置されている、
   ことを特徴とする請求項１に記載の車両乗員顔向き検出装置。
3. 前記処理判断手段は、前記顔特徴点出力手段により得られた顔特徴点の数をカウントして、カウント値が２以上であれば以降の処理を前記３次元座標推定手段で行うように判断し、カウント値が１であれば以降の処理を前記顔向き推定手段で行うように判断し、更に、カウント値が０であれば前回の値に基づいて判断する、
   ことを特徴とする請求項１に記載の車両乗員顔向き検出装置。
4. 前記処理判断手段は、前回の前記顔向き出力手段により得られた顔向きと、前記各撮像手段の設置位置と向き、および前記各撮像手段の内部パラメータにより設定される撮像範囲とに基づいて、以降の処理を前記３次元座標推定手段によって行うか前記顔向き推定手段によって行うかを判断する、
   ことを特徴とする請求項１に記載の車両乗員顔向き検出装置。
5. 前記顔向き設定手段は、前記各顔特徴点出力手段で得られた結果から１つの顔向きを選択する、
   ことを特徴とする請求項１に記載の車両乗員顔向き検出装置。
6. 前記顔向き設定手段は、前回の前記顔向き出力手段により得られた顔向きと、前記各撮像手段の設置位置と向き、および前記各撮像手段の内部パラメータにより設定される撮像範囲とに基づいて、前記各顔特徴点出力手段で得られた結果から１つの顔向きを選択する、
   ことを特徴とする請求項１に記載の車両乗員顔向き検出装置。
7. 前記処理判断手段は、車両情報取得手段によって得られる車両情報に基づいて、車両が略直線道路を略一定速度で走行していることを検出し、車両乗員が略真正面を向いている時間が長くなると判断した場合には、以降の処理を前記３次元座標推定手段によって行うようにし、また、車両情報取得手段によって得られる車両情報に基づいて、車両が交差点を走行中であることを検出し、かつ車両速度情報と方向指示器情報から交差点で曲がることを検出して、車両乗員の顔の向き変え角度が大きくなると判断した場合には、以降の処理を前記顔向き推定手段によって行うようにする、
   ことを特徴とする請求項１に記載の車両乗員顔向き検出装置。
8. 前記顔向き設定手段は、車両情報取得手段によって得られる車両情報に基づいて、車両が交差点を走行中であることを検出し、かつ車両速度情報と方向指示器情報から交差点で曲がることを検出した場合には、前記各顔特徴点出力手段で得られた結果から、前記交差点で曲がる側に向いた車両乗員の顔向きを選択する、
   ことを特徴とする請求項１に記載の車両乗員顔向き検出装置。
9. 前記各撮像手段の設置位置および向きは、車両乗員のシート位置、操作装置の位置に基づいて設定される、
   ことを特徴とする請求項１に記載の車両乗員顔向き検出装置。
10. 車両乗員の顔の正面前方側の左右にそれぞれ設置した少なくとも２台の各撮像手段により撮像された顔画像をそれぞれ取り込む画像取込みステップと、
    前記画像取込みステップにより取り込んだ顔画像から顔特徴点を抽出して出力する顔特徴点出力ステップと、
    前記顔特徴点出力ステップで抽出された前記顔特徴点を入力し、以降の処理を３次元座標によって行うか２次元座標によって行うかを判断する処理判断ステップと、
    前記処理判断ステップによる判断で３次元座標の推定を行う場合に、前記各顔特徴点出力手段で得られた前記顔特徴点の３次元座標を推定する３次元座標推定ステップと、
    前記３次元座標推定ステップで推定された３次元座標から前記車両乗員の顔向きを計算する顔向き計算ステップと、
    前記処理判断ステップによる判断で２次元座標を用いる場合に、前記各顔特徴点出力ステップで得られた２次元座標情報から前記車両乗員の顔向きを推定する顔向き推定ステップと、
    前記顔向き推定ステップで推定された顔向きが複数の場合に、適切な１つの顔向きを選択する顔向き設定ステップと、
    入力される前記顔向き計算ステップおよび前記顔向き設定ステップで求められた顔向き結果に基づき、顔の左右方向の回転角に応じて前記顔向き計算ステップと前記顔向き設定ステップのいずれか一方の顔向き結果を出力する顔向き出力ステップと、を有する、
    ことを特徴とする車両乗員顔向き検出方法。