JP4989762B2 - 運転者監視装置、運転者監視方法及び車両 - Google Patents

Description

本発明は、車両に搭載され、運転者の顔画像をカメラにより取得し、運転者の状態を検出する運転者監視装置及び運転者監視方法に関する。

従来より、運転者の顔を撮影し、撮影により得られた画像を用いて画像処理を行うことで運転者の顔向きを検出し、検出結果を用いて運転者の脇見や居眠りを判定する装置が提案されている。

例えば、特許文献１に示す技術によれば、カメラを用いて、所定の時間間隔（サンプリング間隔）で順次運転者を撮影し、取得画像と１サンプリング前の取得画像との差分演算により時間差分値を演算する。この時間差分値より得られる画像はサンプリング間隔における運転者の動きであり、この動きから運転者の顔位置を検出し、顔向き等を演算により求めている。

また、特許文献２に示す技術では、異なる位置に配置された２つのカメラ（第１のカメラ及び第２のカメラ）を用いて運転者の顔画像を取得することで、顔向きを検出している。

第１のカメラは、ステアリングコラム等に配置され、運転者を撮影する。第２のカメラは、ルームミラー等に配置され、第１のカメラとは異なる方向から運転者を撮影する。第２のカメラの取得画像には、第１のカメラとの位置関係が既知である参照物体と運転者とが同時に撮影される。参照物体は、例えば、第１のカメラそのもの、又は、ステアリングコラムなどである。

次に、運転者の顔位置と参照物体の位置とを画像処理により求める。そして、参照物体と第１のカメラとの位置情報を用いて、第２のカメラの取得画像より、第１のカメラから運転者の顔までの距離を演算で求める。求めた距離に応じて第１のカメラのズーム比を、運転者の顔画像が適切になるように調整し、適切に撮影された顔画像をもとに顔向き等を検出するものである。

また、特許文献３に示す技術によれば、特許文献２に示す技術と同様に、異なる位置に配置された２つのカメラを用いて運転者の顔画像を取得することで、顔向きを検出している。

２つのカメラは、例えば、ダッシュボードの上（インストルメントパネルの両脇）などの左右の離れた位置に配置され、運転者を左右から撮影する。２つの撮影した画像から顔部品の特徴点の位置を推定し、推定した位置に基づいて顔向きを検出する。

特開平１１−１６１７９８号公報 特開２００６−２１３１４６号公報 特開２００７−２５７３３３号公報

しかしながら、上記従来技術では、外乱などの影響を受けることなく、十分な精度で顔向きの検出を行うことができないという課題がある。

例えば、特許文献１に示す技術では、差分画像を基に運転者の顔位置を切り出すため、顔が動いていなくても太陽光等の外光によって、差分画像が変化し、運転者が動いたものと誤検出してしまう。

また、特許文献２に示す技術では、第２のカメラで撮影された画像の位置関係から、顔向き検出の第１のカメラに写る顔画像のサイズを適切にするために、顔を円筒形モデルと単純化している。このため、脇見やドアミラーの確認など大きく顔を振っている状態を検出するようなシーン等では正しく検出できない。さらに、カメラで撮影した運転者の顔の２次元情報を基にエッジ抽出等の画像処理で顔部品を検出し、その結果に基づいて顔向き等を検出しているため、太陽光等の外光によって、顔の明るさが場所によって異なる場合、目や口元、顔の輪郭のエッジ以外に、外光による明暗の境界にも不要なエッジが発生してしまい、正しく顔向きを検出することが困難となる。

また、特許文献３に示す技術では、運転者を左右の方向から撮影して得られた画像から、顔部品の特徴点を算出しているが、人間の顔部品は、一般的に横方向（左右方向）に特徴を有する部品が多く、正確な顔部品の特徴点の位置を推定することができない。また、精度を向上させるためには、２つのカメラの基線方向を長くしなければならないが、狭い車両内では必ずしも十分な基線長を確保することができるとはいえない。

そこで、本発明は、カメラの基線長を長く設定することなく、かつ、外乱の影響に妨げられずに十分な精度で運転者の顔向きを検出することができる運転者監視装置及び運転者監視方法を提供することを目的とする。

上記目的を達成するために、本発明の運転者監視装置は、運転者の顔向きを監視する運転者監視装置であって、前記運転者に対して近赤外光を照射する照明と、複数のレンズと当該複数のレンズのそれぞれに対応する撮像領域を有する撮像素子とを有し、前記運転者の顔を撮影する複眼カメラと、前記複眼カメラで撮影することで得られる画像を処理し、前記運転者の顔の特徴点の３次元位置を検出することで、前記運転者の顔向きを推定する処理手段とを備え、前記複眼カメラは、前記複数のレンズの並ぶ方向である基線方向が鉛直方向に一致するように配置される。

これにより、複数のレンズの基線方向が、正常に車両を運転している時の運転者の顔の上下方向（鉛直方向）と一致するため、横方向（左右方向）に特徴のある顔部品の位置を精度良く推定することができる。また、専用の照明を備えることにより、太陽光などの外部からの照明環境の影響を受けずに顔向きを検出することができる。よって、レンズの基線長を長く設定することなく、かつ、外乱の影響に妨げられずに十分な精度で運転者の顔向きを検出することができる。また、レンズの基線長を長く設定することがないため、カメラなどを非常に小型化することができる。

また、前記処理手段は、前記運転者の顔の特徴点として、左右方向に特徴を有する顔部品の３次元位置を検出してもよい。

これにより、人間の顔の中でも特に横方向に特徴のある部品を利用することで、複眼カメラによって取得された画像から、容易に、かつ、精度良く顔部品を検出することができる。

例えば、前記処理手段は、前記左右方向に特徴を有する顔部品として、前記運転者の眉、目尻及び口元の少なくとも１つの３次元位置を検出してもよい。

また、前記処理手段は、前記複眼カメラで撮影することで得られる複数の第１画像の視差を用いて前記運転者の顔の特徴点の３次元位置を演算する顔モデル演算部と、前記顔モデル演算部で演算することで得られる顔モデルと、前記複眼カメラが所定の時間間隔で前記運転者の顔を順次撮影することで得られる複数の第２画像とを用いて、前記運転者の顔向きを推定する顔追跡演算部とを有してもよい。

これにより、複数の第１画像から１つを基準画像として他の画像との視差を算出することで、実際に顔部品までの距離を測定し、顔の３次元位置情報を演算するため、運転者が大きく顔を振った場合などでも正しく顔向きを検出することができる。

また、前記顔モデル演算部は、前記第１画像の視差として、前記複数の撮像領域の基線方向の視差を用いて前記３次元位置を演算してもよい。

これにより、複数のレンズの基線方向の視差を読み出すことで、横方向に特徴のある顔部品の位置を精度良く検出することができる。

また、前記処理手段は、さらに、前記第２画像を３０フレーム／秒以上のフレームレートで前記顔追跡演算部に出力するように前記複眼カメラを制御する制御部を有してもよい。

これにより、顔向きを逐次的に検出することができる。

また、前記制御部は、さらに、前記第２画像の画素数が、前記第１画像の画素数より少なくなるように前記複眼カメラを制御してもよい。

これにより、顔向きを逐次的に推定する場合には、複眼カメラから出力される画素数を小さくすることで、３０フレーム／秒以上のフレームレートを維持することができる。

また、本発明は、上記の運転者監視装置を備える車両として実現することもできる。また、本発明の車両は、前記複眼カメラと前記照明とを前記車両のステアリングコラムの上部に備えてもよい。

これにより、運転者の視界を妨げることなく、常に運転者の顔を撮影することができ、運転者の顔向きを常に監視することができる。

本発明によれば、カメラの基線長を長く設定することなく、かつ、外乱の影響に妨げられずに十分な精度で運転者の顔向きを検出することができる。

図１は、実施の形態１の運転者監視装置の構成を示すブロック図である。 図２は、実施の形態１の運転者監視装置の複眼カメラユニットが配置される位置の一例を示す外観図である。 図３は、実施の形態１の複眼カメラユニットの正面図である。 図４は、実施の形態１の複眼カメラの側面断面図である。 図５は、実施の形態１の運転者監視装置の動作を示すフローチャートである。 図６は、実施の形態１の複眼カメラによる取得画像の一例を示す模式図である。 図７Ａは、基線方向に水平な成分を有する被写体を撮影した場合の取得画像の一例を示す図である。 図７Ｂは、基線方向に垂直な成分を有する被写体を撮影した場合の取得画像の一例を示す図である。 図８Ａは、人間の顔の模式図である。 図８Ｂは、探索方向による精度の違いを示す図である。 図９は、実施の形態２の運転者監視装置の構成を示すブロック図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
本実施の形態の運転者監視装置は、複数のレンズの基線方向が鉛直方向に一致するように配置された複眼カメラを用いて運転者を撮影する。そして、撮影により得られた画像を処理し、前記運転者の顔の特徴点の３次元位置を検出することで、運転者の顔向きを監視する。複数のレンズの基線方向を鉛直方向に一致させることで、正常な運転時の運転者の顔の上下方向と基線方向とを一致させることができる。

図１は、本実施の形態の運転者監視装置１０の構成を示すブロック図である。同図に示すように、運転者監視装置１０は、複眼カメラユニット２０と、ＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３０とを備える。

複眼カメラユニット２０は、複眼カメラ２１と補助照明２２とを備える。図２は、運転者監視装置１０の複眼カメラユニット２０が配置される位置を示す外観図である。同図に示すように、複眼カメラユニット２０は、例えば、車両４０内部のステアリングコラム４２の上に配置される。複眼カメラユニット２０は、ステアリングホイール４１を通して運転者５０を正面から見上げるように撮影する。なお、複眼カメラユニット２０を配置する位置は、運転者５０の顔を撮影できる場所であれば、ステアリングコラム４２の上には限られない。例えば、フロントガラスの上部若しくは上方、又はダッシュボードの上部などに配置してもよい。

複眼カメラ２１は、ＥＣＵ３０から出力される、撮影を許可する信号が入力され、当該信号に基づいて運転者５０を正面から２５度程度見上げるように撮影する。なお、複眼カメラユニット２０が配置される位置によっては、運転者５０を正面から、又は見下げるように撮影することになるが、いずれの場合でもよい。

補助照明２２は、上記の撮影を許可する信号に同期して、運転者５０に対して近赤外光を照射する。ここで、運転者５０を照射する光を近赤外光としているのは、例えば、可視光などを照射した場合は正常な運転を阻害する恐れがあるためである。

なお、複眼カメラユニット２０、複眼カメラ２１及び補助照明２２の構造については、後述する。

ＥＣＵ３０は、複眼カメラ２１で撮影された画像を処理し、運転者５０の顔の特徴点の３次元位置を検出することで、運転者５０の顔向きを検出する処理部である。ＥＣＵ３０は、全体制御部３１と、照明発光制御部３２と、顔モデル作成演算部３３と、顔追跡演算部３４と、顔向き判定部３５と、顔向き出力部３６とを備える。なお、ＥＣＵ３０は、例えば、車両４０のダッシュボードの内部などに備えられる（図２には示していない）。

全体制御部３１は、複眼カメラ２１の撮影条件などの制御を含め、運転者監視装置１０全体を制御する。例えば、複眼カメラ２１に対して撮影を許可する信号を出力する。また、全体制御部３１は、照明発光制御部３２を制御することで、補助照明２２の発光に同期させて複眼カメラ２１が撮影を行うように複眼カメラ２１を制御する。これは、補助照明２２を常に発光させていると、発光強度が低下してしまい、画像を処理するのに十分な明るさを得ることができないためである。

照明発光制御部３２は、補助照明２２の発光を制御する。照明発光制御部３２は、全体制御部３１からの制御に基づいて、照明の発光のタイミングなどを制御する。

顔モデル作成演算部３３は、複眼カメラ２１で撮影された画像に基づいて、顔モデルを作成する。なお、顔モデルを作成するとは、複数の顔部品の特徴点の３次元位置を演算することである。すなわち、顔モデルとは、顔部品の特徴点の３次元位置（複眼カメラ２１からの距離など）に関する情報である。顔モデル作成演算部３３の詳細については後述する。

顔追跡演算部３４は、運転者５０の顔を順次撮影した画像から顔向きを逐次的に推定する。例えば、顔追跡演算部３４は、パーティクルフィルタを用いて顔向きを逐次的に推定する。

具体的には、顔追跡演算部３４は、１フレーム前の顔向きの確率密度及び運動履歴などに基づいて、１フレーム前の顔の位置からある方向に顔が動いたとして顔向きを予測する。そして、顔モデル作成演算部３３によって取得された顔部品の３次元位置情報を基に、顔追跡演算部３４は、予測した動きによる顔部品が移動した位置を推定し、その推定した位置での現在の取得画像と、顔モデル作成演算部３３によって取得済みの顔部品の周辺の画像とをテンプレートマッチングにより相関をとる。さらに、顔追跡演算部３４は、複数の顔向きを予測し、その予測した複数の顔向き毎に、上述と同様にテンプレートマッチングによる複数の相関値を得る。例えば、相関値は、ブロック内の画素の差分絶対値和などを算出することで得ることができる。

顔向き判定部３５は、推定した顔向きと、その顔の向きでのパターンマッチングの相関値とから顔向きを判定することで、判定された顔向きを現在の運転者の顔向きとして検出する。例えば、顔向き判定部３５は、一番高い相関値に対応する顔向きを検出する。

顔向き出力部３６は、顔向き判定部３５により検出された顔向きを基にして、車両情報及び車両の周辺情報などを基にして、必要に応じて外部に顔向きに関する情報を出力する。例えば、顔向き判定部３５により検出された顔向きが脇見運転をしている場合の顔向きであった場合、顔向き出力部３６は、運転者に対して注意を促すための警報を鳴らす、車内照明を点灯させる、又は、車両の速度を減少させるなどを行う。

続いて、本実施の形態の複眼カメラユニット２０、複眼カメラ２１及び補助照明２２の詳細について説明する。図３は、本実施の形態の複眼カメラユニット２０を運転者５０から見た場合の正面図である。

複眼カメラユニット２０は、ステアリングコラム４２の上に配置されており、ステアリングホイール４１の間を通して運転者５０（図３には示されていない）を撮影する。上述したように、複眼カメラユニット２０は、複眼カメラ２１と補助照明２２とを備えている。

複眼カメラ２１は、一体で樹脂成型された２つのレンズ２１１ａ及び２１１ｂを有する。２つのレンズ２１１ａ及び２１１ｂは、上下方向（鉛直方向）に配置されている。なお、ここでいう上下方向とは、運転者５０の顔の上下方向（額とあごとを結ぶライン）とほぼ同じ方向である。

補助照明２２は、運転者５０に対して近赤外光を照射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などである。図３には一例として、複眼カメラ２１の両側に２つずつのＬＥＤを備える構成を示す。

次に、複眼カメラ２１の構成について説明する。

図４は、複眼カメラ２１の側面断面図である。図４の左側が図３の上側に対応し、図４の右側が図３の下側に対応する。図４に示すように、複眼カメラ２１は、レンズアレイ２１１と、鏡筒２１２と、上鏡筒２１３と、撮像素子２１４と、遮光壁２１５と、光学絞り２１６ａ及び２１６ｂと、光学フィルタ２１７とを備える。

レンズアレイ２１１は、ガラス又はプラスチックなどの材料を用いて一体に形成される。レンズアレイ２１１は、２つのレンズ２１１ａ及び２１１ｂを有し、２つのレンズ間隔（基線長）は、Ｄ（ｍｍ）離れて配置されている。例えば、Ｄは２〜３の値である。

鏡筒２１２は、上鏡筒２１３とレンズアレイ２１１とを組み立てたものを保持及び固定する。

撮像素子２１４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像センサであり、縦横方向に２次元配列された多数の画素を備えている。撮像素子２１４の有効撮像領域は、遮光壁２１５によって２つの撮像領域２１４ａ及び２１４ｂに分けられている。２つの撮像領域２１４ａ及び２１４ｂは、２つのレンズ２１１ａ及び２１１ｂの各光軸上にそれぞれ配置されている。

光学フィルタ２１７は、特定の波長のみを透過させるためのフィルタである。ここでは、補助照明２２から照射される近赤外光の波長のみを透過させる。

運転者５０から複眼カメラ２１に入射した光は、上鏡筒２１３に設けた各光学絞り２１６ａ及び２１６ｂ、並びに、レンズ２１１ａ及び２１１ｂをそれぞれ通過し、設計した波長のみを透過させるための光学フィルタ２１７を透過し、撮像領域２１４ａ及び２１４ｂに結像される。そして、撮像素子２１４は、運転者５０からの光を光電変換し、光の強度に応じた電気信号（図示せず）をそれぞれ出力する。撮像素子２１４から出力された電気信号は、様々な信号処理及び画像処理を施すために、ＥＣＵ３０へ入力される。

次に、本実施の形態の運転者監視装置１０の動作について具体的に説明する。

図５は、本実施の形態の運転者監視装置１０の動作を示すフローチャートである。

まず、ＥＣＵ３０の全体制御部３１から複眼カメラ２１へ撮影を許可する信号が出力され、当該信号に基づいて複眼カメラ２１は運転者５０を撮影する（Ｓ１０１）。顔モデル作成演算部３３は、撮影により得られた画像に基づいて顔モデルを作成する（Ｓ１０２）。具体的には、顔モデル作成演算部３３は、取得した画像より眉、目じり、口元などの複数の顔部品の３次元位置を演算により求める。

次に、顔モデル作成演算部３３は、作成した顔モデルをテンプレートとして登録し、顔追跡演算部３４に出力する（Ｓ１０３）。

顔モデルのテンプレートが登録されると、複眼カメラ２１は、予め定められたフレームレートで運転者５０を撮影した画像を顔追跡演算部３４に出力する（Ｓ１０４）。

顔追跡演算部３４は、顔向きを逐次的に推定し、かつ、顔モデル作成演算部３３で登録されたテンプレートを用いたテンプレートマッチングを実行することで、顔追跡を実行する（Ｓ１０５）。顔追跡演算部３４は、入力される画像に対して、逐次的に、推定した顔向きと、テンプレートマッチングにより得られる相関値とを顔向き判定部３５に出力する。

顔向き判定部３５は、推定した顔向きと相関値とを用いて、顔向きを判定する（Ｓ１０６）。そして、必要に応じて、顔向き出力部３６は、上述したように、判定された顔向きに基づいて外部に顔向きに関する情報を出力する。

なお、以上の処理は、例えば、運転者５０が大きく顔を振った場合など、顔追跡演算部３４で正しい相関値が得られない場合などが生じる。この場合に備えて、全体制御部３１は、顔追跡が失敗したか否かを判断する（Ｓ１０７）。顔追跡が失敗していない場合（Ｓ１０７でＮｏ）、所定のフレームレートでの運転者５０の撮影（Ｓ１０４）から、顔向き判定（Ｓ１０６）を繰り返す。

顔追跡が失敗した場合は（Ｓ１０７でＹｅｓ）、顔モデルの作成のための運転者５０の撮影を行い（Ｓ１０１）、上述の処理を繰り返す。なお、顔追跡が失敗したか否かの判断は、画像の撮影間隔と同じ割合で行われる。なお、顔向き判定部３５が、推定した顔向きと相関値とを基にして、顔追跡が失敗か否かの判断を実行してもよい。

本実施の形態の運転者監視装置１０は、上述したような構成及び方法により、運転者の顔向きを精度良く検出することができる。

続いて、本実施の形態の運転者監視装置１０が備える複眼カメラ２１の基線方向を運転者の顔の上下方向に一致させるように複眼カメラ２１を配置することで、精度良く運転者の顔向きを検出することができる理由について説明する。

まず、顔モデル作成演算部３３が、複眼カメラ２１で撮影して得られた２枚の画像を基にして、被写体（運転者）までの距離を測定し、顔部品の特徴点の３次元位置を算出する処理について説明する。

図６は、本実施の形態の複眼カメラ２１による取得画像の一例を示す図である。２つのレンズ２１１ａ及び２１１ｂで運転者５０を撮影するため、複眼カメラ２１で取得した画像は、撮像素子２１４の２つの撮像領域２１４ａ及び２１４ｂで運転者５０が撮影された、独立した２つの画像である。

ここで、撮像領域２１４ａから得られる画像を基準画像、撮像領域２１４ｂから得られる画像を参照画像とする。基準画像に対し参照画像は、基線方向つまり上下方向に、視差の影響で、ある量だけずれて撮影される。そして、顔モデル作成演算部３３は、基準画像内のある大きさのブロック内に写る顔部品、例えば左の目尻の一部を、参照画像内で基線方向に探索することで、基準画像のブロックと相関を有する領域を特定する。つまり、顔モデル作成演算部３３は、いわゆるブロックマッチングと呼ばれる手法を用いて視差を算出する。そして、算出した視差を用いて顔部品の３次元位置情報を演算で求めることが可能となる。

例えば、顔モデル作成演算部３３は、式１を用いて複眼カメラ２１から顔部品までの距離Ｌ（ｍｍ）を算出する。

Ｌ＝Ｄ×ｆ／（ｚ×ｐ） ・・・（式１）
ここで、Ｄ（ｍｍ）は、レンズ２１１ａ及び２１１ｂのレンズの間隔である基線長である。ｆ（ｍｍ）は、レンズ２１１ａ及び２１１ｂの焦点距離である。なお、レンズ２１１ａ及び２１１ｂは同一のレンズとする。ｚ（画素）は、ブロックマッチングにより算出された画素ブロックの相対的なズレ量、すなわち、視差量である。ｐ（ｍｍ／画素）は、撮像素子２１４の画素ピッチである。

なお、ブロックマッチングにより視差を算出する際、ステレオ視するレンズの基線方向と撮像素子の読み出し方向とを合わせているため、基線方向にブロックを１画素ずつずらして探索することで演算時間を短縮することができる。

以上のように、本実施の形態では、探索方向と基線方向とを合わせているため、探索ブロック内の画像は、基線方向に対して垂直方向の成分が多く含まれている場合に視差検出精度を向上させることができる。

図７Ａ及び図７Ｂは、本実施の形態のブロックマッチングをより詳細に説明するための図である。図７Ａは、基線方向（探索方向）に水平な成分を有する被写体を撮影した場合の取得画像の一例を示す図である。図７Ｂは、基線方向（探索方向）に垂直な成分を有する被写体を撮影した場合の取得画像の一例を示す図である。

まず、図７Ａを用いて、基線方向に水平な成分を有する被写体５１の視差を探索する場合を説明する。顔モデル作成演算部３３は、撮像領域２１４ａで撮影された基準画像内のブロック６０と同じ画像を撮像領域２１４ｂで撮影された参照画像内より探索する。参照画像内で基線方向に１画素ずつブロックをずらして探索する。図７Ａには、あるずらし量でのブロック６１と、さらにある量をずらしたときのブロック６２とを示している。

このとき、被写体５１は、基線方向と同じ方向の成分から構成されているため、各ブロック内の画像は全て同じに写り、正しく視差を検出することできない。例えば、基準画像のブロック６０内の画像は、参照画像のブロック６１内の画像とブロック６２内の画像との双方と同じであると判断されてしまう。このため、顔モデル作成演算部３３は、正しく視差を検出することができない。これにより、被写体５１までの距離を正しく算出することができない。

次に、図７Ｂを用いて、基線方向に垂直な成分を有する被写体５２の視差を探索する場合を説明する。顔モデル作成演算部３３は、撮像領域２１４ａで撮影された基準画像内のブロック６０と同じ画像を撮像領域２１４ｂで撮影された参照画像内より探索する。図７Ａの場合と同様に、顔モデル作成演算部３３は、参照画像内で基線方向に１画素ずつブロックをずらして探索する。

このとき、被写体５２は、基線方向に垂直な方向の成分から構成されているため、各ブロック内の画像は全て異なるため、正しく視差を検出することができる。例えば、ブロック６０に写る画像は、ブロック６１内の画像とブロック６２内の画像と異なり、決まったずらし量のときに確実にブロック６０内の画像と同じ画像を得ることができる。よって、顔モデル作成演算部３３は、正しく視差を検出し、被写体５２までの距離を正しく算出することができる。

以上のように、正しく被写体までの距離を算出するためには、複眼カメラ２１の基線方向は、被写体が有する特徴的な部品の方向と垂直であることが望ましい。

ここで、人間の顔部品を観察すると、図６に示すように眉、目、口は水平方向のエッジ成分を多く有していることが分かる。したがって、複眼カメラ２１を用いて運転者５０の複数の顔部品の３次元位置をブロックマッチングの手法により精度よく得るためには、複眼カメラ２１の基線方向を顔の上下方向と合致するように配置する必要がある。本実施の形態の運転者監視装置では、図３に示すように、複眼カメラ２１のレンズ２１１ａ及び２１１ｂを上下に配置し、撮像素子の読み出し方向を基線方向とし、顔の上下方向と基線方向が一致するように配置させていることが分かる。

図８Ａ及び図８Ｂは、本実施の形態の運転者監視装置について基線方向の差異による精度の違いを説明するための図である。図８Ａは、被写体である人間の顔の模式図である。図８Ｂは、探索方向による精度の違いを示す図である。なお、図８Ａに示す１〜６の破線の四角で囲まれた領域が、図８Ｂに示す横軸の測定箇所を示している。

図８Ｂに示すように、探索方向を顔の上下方向（垂直方向）に設定した場合は、真値からの誤差は約−２％〜＋２％の範囲内である。これに対して、探索方向を顔の左右方向（水平方向）に設定した場合は、真値からの誤差は約−７％〜＋３％の範囲内である。このことから、明らかに、探索方向を顔の上下方向に設定した場合の方が、左右方向に設定した場合に比べて誤差の値そのものが小さくなり、また、誤差の範囲のばらつきも抑えられている。

以上のことからも、ブロックマッチングの探索方向、すなわち、複眼カメラ２１の基線方向を運転者５０の顔の上下方向と一致させるように配置することで、非常に精度良く、運転者５０までの距離を測定することができることが分かる。

以上のように、本実施の形態の運転者監視装置１０によれば、レンズアレイ２１１を有する１つの複眼カメラ２１を用いてステレオ視することで、運転者５０の顔部品の３次元位置を正確に求めることができる。また、レンズアレイ２１１の基線方向を運転者５０の顔の上下方向と一致するように配置することで、短い基線長であっても正確に顔部品の３次元位置情報を取得することが可能となる。

さらに、顔部品の３次元位置情報をもとに顔向き判定を行うため、顔モデルを単純化したシステムと比べ、太陽光などの影響により照明が大きく変動した場合や大きく顔を振った場合でも正しく顔向きを判定することができる。また、１つの複眼カメラを用いた場合でも十分な精度を得ることができるため、カメラそのものを小型化することができる。

（実施の形態２）
本実施の形態の運転者監視装置は、顔モデルを作成する場合に用いられる運転者を撮影した画像と、顔追跡演算を行う場合に用いられる運転者を撮影した画像とが、異なる画素数及び異なるフレームレートで入力されるように制御する装置である。

図９は、本実施の形態の運転者監視装置７０の構成を示すブロック図である。同図の運転者監視装置７０は、図１の運転者監視装置１０と比較して、複眼カメラ２１の代わりに複眼カメラ８１を備え、さらに、全体制御部３１の代わりに全体制御部９１を備える点が異なっている。以下では、実施の形態１と同様の点は説明を省略し、異なる点を中心に説明する。

複眼カメラ８１は、図４に示す複眼カメラ２１と同じ構成である。複眼カメラ８１は、複眼カメラ２１の動作に加えて、さらに、全体制御部９１からの制御により、撮像素子の読み出し画素数を変更することができる。具体的には、複眼カメラ８１は、複眼カメラ８１の撮像素子の全画素を読み出す全画素モードと、画素を間引いて読み出す画素間引きモードとを選択することができる。また、複眼カメラ８１は、画像を撮影する間隔であるフレームレートを変更することもできる。なお、画素間引きモードは、例えば、４画素を混合することで画素を間引くモード（４画素混合モード）などである。

全体制御部９１は、全体制御部３１の動作に加えて、複眼カメラ８１を制御することで、複眼カメラ８１から顔モデル作成演算部３３及び顔追跡演算部３４に入力される画像を制御する。具体的には、顔モデル作成演算部３３が複数の顔部品までの３次元位置を演算することで顔モデルを作成する場合は、全体制御部９１は、複眼カメラ８１の撮像素子の駆動モードを全画素モードに変更するように複眼カメラ８１を制御する。また、顔追跡演算部３４が顔モデルから顔追跡演算を行う場合は、全体制御部９１は、複眼カメラ８１の撮像素子の駆動モードを画素間引きモードに変更するように複眼カメラ８１を制御する。

さらに、全体制御部９１は、複眼カメラ８１を制御することで、複眼カメラ８１から顔モデル作成演算部３３又は顔追跡演算部３４に入力される画像のフレームレートを制御する。具体的には、複眼カメラ８１から顔追跡演算部３４に画像を入力する場合は、３０フレーム／秒以上のフレームレートで画像を入力する必要がある。これは、正確に顔追跡を実行するためである。

以上のようにすることで、運転者の顔向きの検出の精度をさらに向上させることができる。この理由は次の通りである。

まず、顔追跡演算部３４は、上述したように、パーティクルフィルタを用いて顔向きを逐次的に推定する。このため、画像が入力される間隔が短ければ短いほど動きを予測しやすい。通常、正確に顔追跡を実行するためには、３０フレーム／秒以上のフレームレートで画像を取得し、顔追跡を行う必要がある。

一方、顔モデル作成演算部３３は、複数の顔部品の３次元位置、すなわち、複眼カメラ８１から複数の顔部品までの距離を正確に演算で求めなければいけない。顔部品までの距離Ｌは、上述の式１を用いて求めることができる。

式１から分かるように、複眼カメラ８１の形状を変更せずに、距離の精度を上げるためには、撮像素子の画素ピッチｐを小さくして、視差量ｚを大きくすることで精度向上できることがわかる。

しかしながら、複眼カメラ８１の画角は変更しないため、撮像素子の画素ピッチｐを小さくすると画像サイズが大きくなり３０フレーム／秒のフレームレートで画像を出力することができず、顔追跡が不可能となる。

したがって、以上のように、顔モデルを作成する場合に用いられる画像と、顔追跡を行う場合に用いられる画像とでは、フレームレートを変更して出力しなければならない。そして、フレームレートを変更するためには、フレームレートに応じて画像サイズを変更する必要がある。以上のことから、顔モデル作成演算と顔追跡演算とでフレームレートを変更してそれぞれの処理部に画像を入力するように全体制御部９１が制御することで、運転者の顔向きの検出の精度をさらに向上させることができる。

以上のように、全体制御部９１は、顔部品の３次元位置を演算する際には、顔モデル作成演算部３３に入力する画像を、撮像素子の駆動モードを全画素モードで撮像素子を駆動することで、３次元位置情報の演算精度を向上させることができる。さらに、３次元位置情報を取得した後、顔追跡を行う際には、撮像素子の駆動モードを画素間引きモードで駆動させ、３０フレーム／秒以上のフレームレートで画像を顔追跡演算部３４に画像を入力することで、顔向き判定精度を確保することができる。

以上のように、撮像素子の駆動モードを適宜に切り替えて制御することで、撮像素子の選択の自由度をあげることができ、不要に高コストな撮像素子を使用することなく、市場で流通している撮像素子も使用することができる。これにより、複眼カメラ８１のコスト低減につなげることが可能となる。

以上、本発明の運転者監視装置及び運転者監視方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、本実施の形態では、顔向き判定の結果を脇見判定に使用する例を示したが、取得した画像から黒目の３次元位置を検出して、視線方向を検出することも可能である。これにより、運転者の視線方向を判定することができるため、様々な運転支援システムへ顔向き判定結果及び視線方向判定結果を利用することも可能である。

また、運転者５０を照射する補助照明２２を複眼カメラ２１の近傍に配置して複眼カメラユニット２０として配置しているが、補助照明２２の配置位置はこの例に限らず、運転者５０を照射できる位置であれば、配置位置は問わない。すなわち、補助照明２２と複眼カメラ２１とは、複眼カメラユニット２０のように一体化して構成される必要はない。

また、顔モデル作成演算部３３は、顔部品の特徴点として、眉、目尻、口元を検出したが、目元や鼻などの他の顔部品を特徴点として検出してもよい。なお、このとき、他の顔部品は、水平成分を有することが望ましい。

また、本発明では、小型の複眼カメラを用いているため、複数のレンズ間の距離である基線長が短い。通常、基線長が短くなると精度が悪くなるため、より精度を向上させるために、顔追跡演算部３４は、サブピクセル単位で相関値の演算を行ってもよい。顔モデル作成演算部３３についても同様である。例えば、ピクセル単位で得られる相関値のピクセル間を補間することで、サブピクセル単位で相関値を得ることができる。

なお、本発明は、上述した運転者監視方法をコンピュータに実行させるプログラムとして実現することもできる。また、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体として実現し、若しくは、当該プログラムを示す情報、データ又は信号として実現することもできる。そして、これらプログラム、情報、データ及び信号を、インターネットなどの通信ネットワークを介して配信してもよい。

本発明は、車両に搭載することで、運転者を監視する運転者監視装置として適用でき、例えば、運転者の脇見運転を防止する装置などに利用することができる。

１０、７０ 運転者監視装置
２０ 複眼カメラユニット
２１、８１ 複眼カメラ
２２ 補助照明
３０ ＥＣＵ
３１、９１ 全体制御部
３２ 照明発光制御部
３３ 顔モデル作成演算部
３４ 顔追跡演算部
３５ 顔向き判定部
３６ 顔向き出力部
４０ 車両
４１ ステアリングホイール
４２ ステアリングコラム
５０ 運転者
５１、５２ 被写体
６０、６１、６２ ブロック
２１１ レンズアレイ
２１１ａ、２１１ｂ レンズ
２１２ 鏡筒
２１３ 上鏡筒
２１４ 撮像素子
２１４ａ、２１４ｂ 撮像領域
２１５ 遮光壁
２１６ａ、２１６ｂ 光学絞り
２１７ 光学フィルタ

Claims (12)

1. 運転者の顔向きを監視する運転者監視装置であって、
   前記運転者に対して近赤外光を照射する照明と、
   光軸に略垂直な方向に配置された複数のレンズと、当該複数のレンズのそれぞれに対応する撮像領域を有する撮像素子とを有し、前記運転者の顔を撮影する複眼カメラと、
   前記複眼カメラで撮影することで得られる画像の中から、前記運転者の顔の特徴点として、左右方向に特徴を有する顔部品の３次元位置を検出することで、前記運転者の顔向きを推定する処理手段とを備え、
   前記複眼カメラでは、
   前記複数のレンズの並ぶ方向である基線方向が鉛直方向に配置され、
   前記処理手段は、前記左右方向に特徴を有する顔部品として、前記運転者の眉、目尻及び口元の少なくとも１つの３次元位置を検出する
   運転者監視装置。
2. 前記複数のレンズは、同一の鏡筒で保持されている
   請求項１記載の運転者監視装置。
3. 前記複数のレンズは、レンズアレイとして一体に形成されている
   請求項１記載の運転者監視装置。
4. 前記処理手段は、
   前記複眼カメラで撮影することで得られる複数の第１画像の視差を用いて前記運転者の顔の特徴点の３次元位置を演算する顔モデル演算部と、
   前記顔モデル演算部で演算することで得られる顔モデルと、前記複眼カメラが所定の時間間隔で前記運転者の顔を順次撮影することで得られる複数の第２画像とを用いて、前記運転者の顔向きを推定する顔追跡演算部とを有する
   請求項１記載の運転者監視装置。
5. 前記顔モデル演算部は、前記第１画像の視差として、前記複数の撮像領域の基線方向の視差を用いて前記３次元位置を演算する
   請求項４記載の運転者監視装置。
6. 前記処理手段は、さらに、
   前記第２画像を３０フレーム／秒以上のフレームレートで前記顔追跡演算部に出力するように前記複眼カメラを制御する制御部を有する
   請求項４記載の運転者監視装置。
7. 前記制御部は、さらに、前記第２画像の画素数が、前記第１画像の画素数より少なくなるように前記複眼カメラを制御する
   請求項６記載の運転者監視装置。
8. 請求項１記載の運転者監視装置を備える車両。
9. 前記複眼カメラと前記照明とを前記車両のステアリングコラムの上部に備える
   請求項８記載の車両。
10. 運転者の顔向きを監視する運転者監視方法であって、
    前記運転者に対して近赤外光を照射する照射ステップと、
    光軸に略垂直な方向に配置された複数のレンズと、当該複数のレンズのそれぞれに対応する撮像領域を有する撮像素子とを有する複眼カメラにより、前記運転者の顔を撮影する撮影ステップと、
    前記複眼カメラで撮影することで得られる画像の中から、前記運転者の顔の特徴点として、左右方向に特徴を有する顔部品の３次元位置を検出することで、前記運転者の顔向きを推定する処理ステップとを含み、
    前記複眼カメラでは、
    前記複数のレンズの並ぶ方向である基線方向が鉛直方向に配置され、
    前記処理ステップでは、前記左右方向に特徴を有する顔部品として、前記運転者の眉、目尻及び口元の少なくとも１つの３次元位置を検出する
    運転者監視方法。
11. 前記複数のレンズは、同一の鏡筒で保持されている
    請求項１０記載の運転者監視方法。
12. 前記複数のレンズは、レンズアレイとして一体に形成されている
    請求項１０記載の運転者監視方法。

Images