JP4552636B2

JP4552636B2 - ドライバモニタシステムおよびその処理方法

Info

Publication number: JP4552636B2
Application number: JP2004355375A
Authority: JP
Inventors: 治夫松尾; 雅之金田; 欣也岩本
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2004-12-08
Filing date: 2004-12-08
Publication date: 2010-09-29
Anticipated expiration: 2024-12-08
Also published as: JP2006163900A

Description

本発明は、車両運転者の状態をモニタするドライバモニタシステムおよびその処理方法に係り、特に、車両運転者にカメラ姿勢の調整作業を負担させることなく、また、車両運転者の顔の向く方向が水平方向または垂直方向に大きく傾いた状態であっても、眼の位置を正確に検出することができ、カメラ設置位置の自由度の高いドライバモニタシステムおよびその処理方法に関する。

車室内にカメラを設置して、運転者の顔部位を撮影することにより運転者の状態を検出するドライバモニタシステムが種々開発されており、カメラの設置位置については、例えば以下に示すとおり複数の提案がなされている。

特開２００４−４１４８５号公報に開示の「開閉眼モニタ装置」では、インナーミラー内にカメラと近赤外照明を設置し、運転者の顔画像を撮像して、運転者の眼を検出追跡し、眼の開閉状態を判断する装置が提案されている。この従来例によると、撮像手段が車両のインナーミラーに設けられているため、例えばステアリングホイールやモニタ対象となる乗員の腕等の影響、運転姿勢変化の影響が小さく、該乗員の眼を含む顔の部分を確実に撮像することができる。

また、特許第３３１２５６２号に開示の「居眠り状態検出装置」では、自動車のインストルメントパネルに、運転者の顔部分を正面から撮影するＴＶカメラを用いて、運転者の眼を検出追跡し眼の開閉状態を判断することにより居眠りを検出する装置が提案されている。

さらに、特許第３３１６７２５号に開示の「顔画像撮像装置」では、運転者の顔面を含む所定領域を撮像する２次元撮像手段として、７６８×４９３の計３８万画素のＣＣＤ、映像信号処理回路、撮像レンズ、可視光カットフィルタからなるカメラ部は運転席のダッシュボード上あるいはインスツルメントパネル部等に配置され、運転者の前方より顔縦方向が７６８画素となる向きで運転者の顔を含めた所定の領域を撮像する。このときの撮影角度を顔の正面やや斜め下からとするのが目領域抽出のために最も有利とある。
特開２００４−４１４８５号公報特許第３３１２５６２号特許第３３１６７２５号

しかしながら、上述した特許文献１に開示された技術のように、インナーミラー内にカメラを設置する場合には、運転者がインナーミラーを調整することによりカメラの位置と姿勢が決定されるので、常に顔画像を撮影するのに適した位置にカメラを設置することはできるが、カメラの姿勢を運転者が調整しない場合には処理が行えず、また、運転者に煩わしい調整作業を負担させるといった課題があった。

また、従来技術では、車両運転者の顔の向く方向が予め想定している方向から水平方向または垂直方向に大きく傾いた状態にあるときは、眼の位置を正確に検出することができず、処理不可能か或いは居眠り状態と誤検出してしまうおそれがある。

さらに、上述した特許文献２および特許文献３に開示された実施例のように、運転者正面やや下方にカメラを設置する場合には、例えばステアリングコラム上やインストルメンタルパネル、或いはメータ内に設置することになるが、この場合、機器類が非常に多いため、車室内のデザインやメータの視認性の問題により、カメラを設置できない可能性も考えられる。また、設置できたとしても、眼の位置検出はカメラ設置位置の影響を受けやすいため、カメラ設置位置の自由度がないという課題があった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、車両運転者にカメラ姿勢の調整作業を負担させることなく、また、車両運転者の顔の向く方向が水平方向または垂直方向に大きく傾いた状態であっても、眼の位置を正確に検出することができ、カメラ設置位置の自由度の高いドライバモニタシステムおよびその処理方法を提供することにある。

上記目的を解決するため、本発明は、車両運転者の頭部を撮影する撮像装置を備え、前記撮像装置による映像信号および該撮像装置の位置情報であるカメラ位置情報に基づき車両運転者をモニタするドライバモニタシステムであって、前記映像信号および前記カメラ位置情報に基づき車両運転者の顔画像情報を生成する画像取込手段と、前記カメラ位置情報および前記顔画像情報に基づき、車両運転者の顔の部位を考慮して車両運転者の眼の位置を検出し、該眼の座標情報を出力する眼の位置検出手段と、前記カメラ位置情報、前記顔画像情報および前記眼の座標情報に基づき、前記車両運転者の顔の部位を考慮して前記眼の座標情報を元に前記顔画像情報から車両運転者の眼の位置を検出して眼の座標情報を更新し、該眼の移動情報を出力する眼の追跡手段と、前記顔画像情報、前記眼の座標情報および前記眼の移動情報に基づき、顔画像上に眼の座標と眼の移動情報を重ねて表示する表示情報を出力する表示処理手段と、を備えることを特徴とする。

本発明に係るドライバモニタシステムおよびその処理方法では、眼の位置検出手段により、車両運転者の顔の部位を考慮して車両運転者の眼の位置を検出し、眼の追跡手段により、車両運転者の顔の部位を考慮して眼の座標情報を元に顔画像情報から車両運転者の眼の位置を検出して眼の座標情報を更新し、該眼の移動情報を得るので、車両運転者にカメラ姿勢の調整作業を負担させることなく、また、車両運転者の顔の向く方向が水平方向または垂直方向に大きく傾いた状態であっても、眼の位置を正確に検出することができ、カメラ設置位置の自由度の高いドライバモニタシステムを実現できる。

以下、本発明のドライバモニタシステムの実施例について、図面を参照して詳細に説明する。ドライバモニタシステムは、カメラにより運転者顔画像を撮像して、顔画像中から運転者の眼の位置を検出、追跡することにより、運転者のまばたきの検出や視方向の検出などを行い、これら検出結果から、運転者の運転行動判断、居眠りの検出、脇見の検出、安全未確認の検出等を行うものである。ここでは、本発明の特徴である運転者の眼の位置検出および追跡を中心に説明を行い、該検出結果を元に行う判断または検出の処理については、公知のものと同等であるとしてその説明を省略する。

図１は本発明の一実施例に係るドライバモニタシステムの構成図である。同図において、本実施例のドライバモニタシステムは、車両５１、近赤外光照明５３、顔画像用カメラ（撮像装置）５５、ドライバ顔画像処理装置５７および車両信号処理装置５９を備えて構成されている。

顔画像用カメラ（撮像装置）５５としては、可視光から近赤外光までの範囲で撮像可能なＣＣＤやＣＭＯＳの撮像素子を用いたカメラを使用する。顔画像用カメラ５５の水平画角はおおむね２０度〜２５度であり、車両のインスト面に取り付けて、運転者の顔全体が画面に大きく写るように調整されたものを使用する。なお、顔画像用カメラ５５の作動やカメラ位置は、車両信号処理装置５９からのカメラパラメータ変更指示１０４に基づき行われる。

また、顔画像用カメラ５５の撮像可能な波長帯にマッチした近赤外照明装置５３を用いる。これは、昼間でも、ビル影、木陰などの照度の不足した箇所や明暗の変化の激しい個所を走行する場合、トンネル等の暗所を走行する場合、或いは、夜間走行する場合などに運転者の顔を照らすものである。なお、ここにあげた状況下であっても、処理の必要がなければ近赤外照明装置５３による照明は必要ない。なお、近赤外照明装置５３の作動（点灯／消灯）は、車両信号処理装置５９からの点灯／消灯指示１０５に基づき行われる。

車両信号処理装置５９は、車両５１に搭載されている各種センサ等からの車両情報１０６や車両運転者の操作指示に基づいて運転制御や各種電子機器の制御を行う。ここでは、ドライバモニタシステムに関わる機能および動作についてのみ説明することとし、それ以外のものについては省略する。

車両信号処理装置５９は、車両５１に搭載されている各種センサから、車両情報１０６として車速、ブレーキスイッチ、操舵角、ウィンカースイッチ、シフトポジション等の情報を取得する。車速および操舵角等の車両情報１０３は、ドライバ顔画像処理装置５７に送られて、当該ドライバモニタシステムにおける処理の中断等の制御に供される。例えば、車速が０ｋｍ／ｈの（車両停止状態にある）場合や、操舵角が４５度以上ある（操舵中である）場合には、眼の位置検出や眼の追跡処理を中断するか、或いは、当該ドライバモニタシステムが出力するデータの信頼性を下げるといった動作制御に使用する。

また、ライトスイッチのオン／オフに合わせて、近赤外照明装置５３に点灯／消灯指示１０５を出力して、近赤外照明装置５３を点灯／消灯したり、さらに、顔画像用カメラ５５にカメラパラメータ変更指示１０４を出力して、顔画像用カメラ５５のパラメータを昼間用／夜間用に切り替えたりする制御も行う。

ドライバ顔画像処理装置５７は、顔画像用カメラの映像信号１０１と、カメラ位置情報１０２と、車両情報１０３を入力して、運転者の顔画像を処理し眼の位置や開閉の状態を検出するものである。ドライバ顔画像処理装置５７は、ＣＰＵ、ＭＰＵ（マイクロプロセッサ）またはＤＳＰ（ディジタル信号処理プロセッサ）等のプロセッサおよびＲＡＭ，ＲＯＭ等のメモリによって実現されるものであり、以下に詳述する各手段は、メモリに記憶されてプロセッサ上で実行されるプログラムである。

図２にドライバ顔画像処理装置５７の構成図を示す。同図において、ドライバ顔画像処理装置５７は、映像信号１０１およびカメラ位置情報１０２に基づき車両運転者の顔画像情報１１１を生成する画像取込手段１０と、カメラ位置情報１０２および顔画像情報１１１に基づき、車両運転者の顔の部位を考慮して車両運転者の眼の位置を検出し、該眼の座標情報１１２を出力する眼の位置検出手段２０と、カメラ位置情報１０２、顔画像情報１１１および眼の座標情報１１２に基づき、車両運転者の顔の部位を考慮して眼の座標情報１１２を元に顔画像情報１１１から車両運転者の眼の位置を検出して眼の座標情報を更新し、該眼の移動情報１１３を出力する眼の追跡手段３０と、顔画像情報１１１、眼の座標情報１１２および眼の移動情報１１３に基づき、顔画像上に眼の座標と眼の移動情報を重ねて表示する表示情報１２１を出力する表示処理手段４０とを備えて構成されている。

画像取込手段１０は、運転者の顔全体を含む頭部を撮像し得た映像信号１０１を、ディジタル画像としてドライバ顔画像処理装置５７内の記憶領域に格納する。この記憶領域に格納したディジタルデータを顔画像情報１１１と呼ぶ。本実施例においては、映像信号１０１を、横幅６４０画素、縦幅４８０画素、1画素あたり２５６階調の濃淡データを示すディジタルデータに変換して記憶領域に格納する。

また、眼の位置検出手段２０は、カメラ位置情報１０２を元に顔画像情報１１１から眼の位置を検出し眼の座標情報１１２を出力する。また、車両情報１０３により車両停止状態や操舵中にあるときは、眼の位置検出を中断する等の制御を行う。図３には、眼の位置検出手段２０の構成図を示す。同図において、眼の位置検出手段２０は、カメラ位置情報１０２および顔画像情報１１１に基づき、車両運転者の顔の部位を考慮して車両運転者の片眼の候補の座標を検出して片眼候補情報１１４を出力する片眼候補検出手段２１と、カメラ位置情報１０２、顔画像情報１１１および片眼候補情報１１４に基づき、車両運転者の顔の部位を考慮して片眼候補の座標データを元に顔画像情報１１１から両眼の位置を検出し眼の座標情報１１２を出力する両眼確定処理手段２２とを備えて構成されている。

また、眼の追跡手段３０は、カメラ位置情報１０２と前回の眼の座標情報１１２、前回の眼の移動情報１１３を元に、顔画像情報１１１から現在の眼の位置を検出し、眼の座標情報１１２と眼の移動情報１１３を出力する。また、車両情報１０３により車両停止状態や操舵中にあるときは、眼の追跡が困難であるとして中断或いは眼の検出に遷移する等の制御を行う。

さらに、表示処理手段４０は、顔画像情報１１１、眼の座標情報１１２および眼の移動情報１１３を入力して、表示のためのデータ（顔画像情報１１１に検出した眼の座標を重ねたデータ）を作成して、システムの利用者に表示情報を出力する。

次に、図４〜図１０を参照して、カメラ設置位置、カメラ位置情報、車両運転者の顔の部位（眼間距離および両眼の傾き角）、カメラ設置位置と顔の部位（眼間距離および両眼の傾き角）の関係、並びに、眼の検出領域の補正処理について説明する。図４は顔画像用カメラ５５の設置位置を説明する説明図、図５は顔画像用カメラ５５のカメラ位置情報を説明する説明図、図６はカメラ設置位置と顔の部位の関係表を作成するために予め行われる計測について説明する説明図、図７は車両運転者の顔の部位（眼間距離および両眼の傾き角）を説明する説明図、図８はカメラ設置位置と眼の傾き角の関係を説明する説明図、図９はカメラ設置位置と眼間距離の関係を説明する説明図、図１０は顔画像用カメラ５５の光軸方向の回転について説明する説明図である。

まず、顔画像用カメラ５５の設置位置については、図４に示すように、メータパネル内（図中Ａ）、ハンドルの外のインスト面上（図中Ｂ）、ナビ画面等のセンターパネル上（図中Ｃ）、オーディオやエアコンの操作パネル上（図中Ｄ）、運転者側ピラー付け根（図中Ｅ）等が考えられる。

また、顔画像用カメラ５５のカメラ位置情報１０２の内、設置姿勢を示すものとしては、図５に示すように、ロール（光軸方向）、ピッチ（垂直方向回転角）およびヨー（水平方向回転角）がある。

また、本実施例で眼の検出領域の補正処理を行うために使用する車両運転者の顔の部位は、図７に示すように、車両運転者の両眼を結ぶ線が水平線となす角度である両眼の傾き角と両眼間の距離である眼間距離である。この両眼の傾き角と眼間距離は、カメラ位置情報１０２である顔画像用カメラ５５の車室内での設置位置の３次元情報および顔画像用カメラ５５の設置姿勢、即ちロール、ピッチおよびヨーの少なくとも1つ以上の値に対して、あらかじめ計測されているそれぞれの関係表から推定する。

カメラ設置位置と顔の部位の関係表を作成するために予め行われる計測は、図６に示すような条件の下で行った。つまり、運転者のアイポイント(眼の位置)を基準に、運転者から７００ｍｍ離れた位置に、水平画角２０度の映像が撮影されるように調整された顔画像用カメラ（ＣＣＤカメラ）５５を、水平方向０度〜３０度と垂直方向１０度〜３０度と変えて設置し、顔画像用カメラ５５のヨーおよびピッチを調整し運転者頭部が画角内に撮像できるようにする。このとき、顔画像用カメラ５５の設置位置によって撮影される運転者の眼の傾き、並びに、眼間距離について運転者正面で撮影したときの眼間距離に対する比を計測した。

図８には、カメラ設置位置と眼の傾き角の関係として、垂直方向角度ｖ１＝１０度、ｖ２−２０度およびｖ３＝３０度のそれぞれについて、水平方向角度に対する眼の傾き角をプロットした。また、図９には、カメラ設置位置と眼間距離の関係として、同じく垂直方向角度ｖ１＝１０度、ｖ２−２０度およびｖ３＝３０度のそれぞれについて、水平方向角度に対する眼間距離比をプロットした。なお、図８および図９において、Ａ，Ｂ，ＣおよびＤは図４で示した車両内でのカメラの設置位置である。これら関係表がマッピングデータとして記憶領域に記憶される。

カメラ位置情報１０２として、カメラ設置時にヨー角とピッチ角、アイポイントを基準としたカメラの水平方向角度、カメラの垂直方向位置、運転者からカメラまでの距離およびカメラ画角が与えられると、これらの条件から図７および図８の関係表にマッピングして、それぞれ運転者の眼の傾き角および（正面撮影の眼間距離との）眼間距離比を推定できる。

次に、眼の検出領域の補正処理について説明する。眼の検出領域の補正処理には、両眼の傾き角による補正と、眼間距離による補正がある。

両眼の傾き角による補正として、第１の補正は、マッピングにより推定された両眼の傾き角が所定角以上のとき、顔画像用カメラ５５を光軸周りに両眼の傾き角だけ回転させて撮影し、画像取込手段１０が生成した顔画像情報１１１において眼の傾き角がほぼ水平になるようにするものである（図１０参照）。眼の位置検出手段２０および眼の追跡手段３０は、この第１の補正後の顔画像情報１１１について処理することになる。なお、第１の補正は、ドライバ顔画像処理装置５７から車両信号処理装置に推定された両眼の傾き角を通知して、カメラパラメータ変更指示１０４により顔画像用カメラ５５のロール角を変更して撮影するようにすればよい。

また、両眼の傾き角による補正としての第２の補正は、推定された両眼の傾き角が所定角以上のとき、画像取込手段１０が生成した顔画像情報を両眼の傾き角だけ回転させて、眼の傾き角がほぼ水平の顔画像情報１１１について、眼の位置検出手段２０および眼の追跡手段３０による処理を行うようにするものである。

さらに、両眼の傾き角による補正としての第３の補正は、眼の位置検出手段２０および眼の追跡手段３０において、顔画像情報１１１について、推定された両眼の傾き角を考慮した位置に眼の検出領域を設置するものである。

また、眼間距離による補正として、第１の補正は、マッピングにより推定された眼間距離比が所定値以下のとき、顔画像用カメラ５５のズーム機能を用いるか或いは顔画像用カメラ５５において画角を補正したレンズを用いて撮影し、画像取込手段１０により生成される顔画像情報１１１の眼間距離を補正するものである。なお、ズームの倍率やレンズの種別は測定データから経験的に設定しておけばよい。

また、眼間距離による補正としての第２の補正は、画像読込手段１０が生成した顔画像情報を拡大した顔画像情報１１１について、眼の位置検出手段２０および眼の追跡手段３０による処理を行うようにするものである。

さらに、眼間距離による補正としての第３の補正は、眼の位置検出手段２０および眼の追跡手段３０において、顔画像情報１１１について、推定された眼間距離比を考慮して、片眼候補を検出した座標から反対眼の座標を推定し、顔画像中で反対眼の存在する可能性のある位置に眼の検出エリアを設置するものである。

次に、本実施例のドライバモニタシステムにおける眼の位置検出処理および眼の追跡処理の手順について、図１１〜図１５を参照して説明する。ここで、図１１は本実施例のドライバ顔画像処理装置５７における処理手順を説明するフローチャート、図１２は眼の位置検出処理の手順を説明するフローチャート、図１３は片眼の検出を説明する説明図、図１４は眼の追跡処理の手順を説明するフローチャート、図１５は眼の検出領域の設定を説明する説明図である。

まず、図１１に沿って、本実施例のドライバ顔画像処理装置５７における処理手順を説明する。

まず、内部情報である顔画像情報１１１、眼の座標情報１１２および眼の移動情報１１３等の初期化（ステップＳ１０１）を行った後、画像取込手段１０により顔画像用カメラ５５から映像信号１０１およびカメラ位置情報１０２を読み込んで顔画像情報１１１を生成する（ステップＳ１０２）。

次に、眼の位置検出処理または眼の追跡処理を行うか否かの判断をし（ステップＳ１０３，Ｓ１０４）、処理しない場合にはステップＳ１０７に進み、眼の位置検出処理の処理を行う場合にはステップＳ１０５に進み、眼の追跡処理を行う場合にはステップＳ１０６に進む。

車両運転者の顔の部位を考慮して顔画像情報１１１から車両運転者の眼の位置を検出し、該眼の座標情報１１２を出力する眼の位置検出処理（ステップＳ１０５）、或いは、車両運転者の顔の部位を考慮して眼の座標情報１１２を元に顔画像情報１１１から車両運転者の眼の位置を検出して眼の座標情報１１２を更新し、該眼の移動情報１１３を出力する眼の追跡処理（ステップＳ１０６）を行った後、顔画像情報１１１、眼の座標情報１１２および眼の移動情報１１３に基づき、顔画像上に眼の座標と眼の移動情報を重ねて表示する表示情報を出力する（ステップＳ１０７）。

以上のステップＳ１０２からステップＳ１０７までの処理は繰り返し実行され、所定条件下（例えば、車両停止状態になったときなど）で終了する（ステップＳ１０８）。なお、図示しないが、車両情報１０３により車両停止状態や操舵中にあるときは、眼の位置検出を中断するか、或いは、眼の追跡が困難であるとして中断または眼の検出に遷移する等の制御を行う。

次に、眼の位置検出処理（ステップＳ１０５）について、図１２を参照して詳細に説明する。

図１２（ａ）に沿って概略を説明すると、位置検出がスタートすると、片眼候補検出手段２１による片側候補の検出処理か、或いは両眼確定処理手段２２による両側確定処理かを判断し（ステップＳ２０１）、カメラ位置情報１０２および顔画像情報１１１に基づき、車両運転者の顔の部位を考慮して車両運転者の片眼の候補の座標を検出して片眼候補情報１１４を出力する片眼候補検出処理（ステップＳ２１１）、或いは、カメラ位置情報１０２、顔画像情報１１１および片眼候補情報１１４に基づき、車両運転者の顔の部位を考慮して片眼候補の座標データを元に顔画像情報１１１から両眼の位置を検出し眼の座標情報１１２を出力する両眼確定処理（ステップＳ２２１）を行う。

片眼候補検出処理（図１２（ｂ）参照）では、まず、図１３（ａ）に示すように、顔画像情報１１１の画像右半分または左半分に片眼候補のための検出処理エリアを切る（ステップＳ２１２）。次に、図１３（ｂ）に示すように、検出処理エリア内で連続データを求め（ステップＳ２１３）、片眼候補を絞り込み（ステップＳ２１４）、さらに、次フレームで片眼候補検出処理を行うか或いは両眼確定処理を行うかの判断を行う（ステップＳ２１５）。

ここで、連続データとは、検出領域を横方向に１０画素毎に縦１ラインずつ走査し、画素の明るさが明・暗・明と変化するポイントを検出し、横方向に隣接する点を集めてグループ化したものである。この連続データの形状を眼の上瞼の形状特徴とマッチングしたとき、湾曲した上凸の形状であって、あらかじめ設定された曲率の範囲内にある場合に、片眼候補として選択されることになる。

次に、両眼確定処理（図１２（ｃ）参照）では、まず、片眼候補検出処理の結果、得られる片眼候補情報１１４によって顔画像情報１１１に両眼確定用に処理エリアを設定する（ステップＳ２２２）。次に、カメラ位置情報１０２に基づき眼の傾き角および眼間距離比を推定し、該推定された眼の傾き角および眼間距離比を考慮して、片眼候補を検出した座標から反対眼の座標を推定し、顔画像中で反対眼の存在する可能性のある位置に眼の検出エリアを設置する（ステップＳ２２３）。

図１５に示す例では、眼の検出領域ＡＲ０で片眼の検出位置ＡＲ１が得られると、反対眼の検出領域（補正前）としてＡＲ２ａが得られるが、眼間距離比分だけ左側に移動し、眼の傾き角分だけ上側に移動した反対眼の検出領域ＡＲ２ｂが補正後の領域として得られることになる。

そして、処理エリア内で連続データを求め（ステップＳ２２４）、両眼候補を検出したと判定してパターン認識し（ステップＳ２２５）、さらに、次フレームで片眼候補検出処理を行うか或いは両眼確定処理を行うかの判断を行う（ステップＳ２２６）。

次に、眼の追跡処理（ステップＳ１０６）について、図１４を参照して説明する。まず、初期化（ステップＳ３０１）を行い、眼の検出（ステップＳ３０２）、鼻の検出（ステップＳ３０３）、眉の検出（ステップＳ３０４）を行う。

つまり、眼の追跡処理は、眼の位置検出処理の結果により検出された眼の座標情報１１２を元にその周辺について眼の検出処理を行うことにより眼の追跡処理を行うものであるが、補助的に、鼻(鼻孔)、即ち両眼の中心下方に存在する２つ並んだ黒い点、眉、即ち眼の上に存在する黒く長いものを、それぞれ検出することにより眼の追跡を保障するものである。もちろん、鼻や眉が検出されない場合もあるため、絶対的な眼の評価として用いることはしない。

さらに、以上説明した本実施例のドライバモニタシステムにより、車両運転者の顔の向く方向が水平方向または垂直方向に大きく傾いた状態であっても眼の位置を正確に検出可能であることを、評価データ（図１６および図１７の）対比により示す。図１６には、従来の運転者正面やや下方に設置したカメラで撮影した顔画像情報を用いて運転者の眼の検出と追跡を行うことを前提に開発した眼の検出・追跡手段により、カメラ設置位置に応じた眼の位置検出および追跡可能な範囲を示す。また、図１７には、本実施例のドライバモニタシステムによる眼の位置検出および追跡手段による眼の位置検出および追跡可能な範囲を示す。

この評価データは、図６に示すように、被験者の顔の向きを水平方向に０，１０，２０，２５，３０度と変えて顔画像を撮影し、また、カメラの位置を垂直方向に１０，２０，３０度と変えて顔画像を撮影したものである。よって、1名の被験者に対して水平方向５個所、垂直方向３個所について顔画像を撮影したものであり、計１５パターンを撮影している。また、被験者には、撮影開始から３０秒間は何もせずに前を向いた状態を維持していただき、３０秒経過後は１秒〜２秒程度のゆっくりした閉眼(瞬目)を繰り返していただくようにお願いし、1パターンにつき６０秒の動画像を撮影した。本評価においては、延べ８名の被験者についてこのような撮影を行った。

カメラの設置場所を変更した場合に、眼の位置検出および追跡が評価用に撮影した顔画像をプログラムに入力として与え、処理結果を１．０点(問題なく処理できるレベル)、０．５点(かろうじて処理できるレベル)、０．０点(処理不能なレベル)の３段階に主観評価した。延べ８名の被験者の顔画像に対して評価を行い、各角度別に平均を算出した。なお、眼の位置検出および追跡が０．５点(かろうじて処理できるレベル)以上の領域を処理可能範囲、０．５未満の領域を処理不可能範囲とした。

図１６および図１７を比較すると、本実施例のドライバモニタシステムにおいて、処理可能範囲が大きく広がっていることを確認することができた。

以上説明したように、本実施例のドライバモニタシステムでは、映像信号１０１およびカメラ位置情報１０２に基づき車両運転者の顔画像情報１１１を生成する画像取込手段１０と、カメラ位置情報１０２および顔画像情報１１１に基づき、車両運転者の顔の部位を考慮して車両運転者の眼の位置を検出し、該眼の座標情報１１２を出力する眼の位置検出手段２０と、カメラ位置情報１０２、顔画像情報１１１および眼の座標情報１１２に基づき、車両運転者の顔の部位を考慮して眼の座標情報１１２を元に顔画像情報１１１から車両運転者の眼の位置を検出して眼の座標情報を更新し、該眼の移動情報１１３を出力する眼の追跡手段３０と、顔画像情報１１１、眼の座標情報１１２および眼の移動情報１１３に基づき、顔画像上に眼の座標と眼の移動情報を重ねて表示する表示情報１２１を出力する表示処理手段４０とを備えて構成し、眼の位置検出手段２０により、車両運転者の顔の部位を考慮して車両運転者の眼の位置を検出し、眼の追跡手段３０により、車両運転者の顔の部位を考慮して眼の座標情報を元に顔画像情報から車両運転者の眼の位置を検出して眼の座標情報を更新し、該眼の移動情報を得るので、車両運転者にカメラ姿勢の調整作業を負担させることなく、また、車両運転者の顔の向く方向が水平方向または垂直方向に大きく傾いた状態であっても、眼の位置を正確に検出することができ、カメラ設置位置の自由度の高いドライバモニタシステムを実現できる。

また、本実施例では、眼の位置検出手段２０を、カメラ位置情報１０２および顔画像情報１１１に基づき、車両運転者の顔の部位を考慮して車両運転者の片眼の候補の座標を検出して片眼候補情報１１４を出力する片眼候補検出手段２１と、カメラ位置情報１０２、顔画像情報１１１および片眼候補情報１１４に基づき、車両運転者の顔の部位を考慮して片眼候補の座標データを元に顔画像情報１１１から両眼の位置を検出し眼の座標情報１１２を出力する両眼確定処理手段２２を備えた構成とし、片眼候補検出手段２１において顔画像全体から片眼の候補を検出し候補を絞り込んだ状態で、両眼確定処理手段２２により両眼の形状を判断するため、処理負荷を低減する効果が期待できる。

また、本実施例では、車両運転者の顔の部位を、車両運転者の両眼を結ぶ線が水平線となす角度である両眼の傾き角と両眼間の距離である眼間距離とし、該両眼の傾き角と眼間距離を、カメラ位置情報１０２である前記撮像装置の車室内での設置位置の３次元情報および撮像装置の設置姿勢、即ちロール、ピッチおよびヨーの少なくとも1つ以上の値に対して、あらかじめ計測されているそれぞれの関係表から推定することとしたので、カメラ設置位置に応じた最適な補正パラメータを得ることができ、車両運転者の顔の向く方向が水平方向または垂直方向に大きく傾いた状態であっても、眼の位置を正確に検出することができ、カメラ設置位置の自由度の高いドライバモニタシステムを実現できる。

また、本実施例では、両眼の傾き角による補正（第１の補正）として、マッピングにより推定された両眼の傾き角が所定角以上のとき、顔画像用カメラ５５を光軸周りに両眼の傾き角だけ回転させて撮影し、画像取込手段１０が生成した顔画像情報１１１において眼の傾き角がほぼ水平になるようにするので、常に運転者の両眼がほぼ水平ライン上に存在することとなり、眼の検出領域を設定する処理負荷を低減することができる。

また、両眼の傾き角による補正（第２の補正）として、推定された両眼の傾き角が所定角以上のとき、画像取込手段１０が生成した顔画像情報を両眼の傾き角だけ回転させて、眼の傾き角がほぼ水平の顔画像情報１１１について、眼の位置検出手段２０および眼の追跡手段３０による処理を行うようにするので、常に運転者の両眼がほぼ水平ライン上に存在することとなり、眼の検出領域を設定する処理負荷を低減することができる。

さらに、両眼の傾き角による補正（第３の補正）として、眼の位置検出手段２０および眼の追跡手段３０において、顔画像情報１１１について、推定された両眼の傾き角を考慮した位置に眼の検出領域を設置するので、運転者が正面を向いている状態において、眼の検出領域をあらかじめ得られる補正値によって検出領域を設定することができ、画面全体から両眼を検出する場合に比べて処理負荷を低減すると共に検出時間を短縮する効果が期待できる。

また、本実施例では、眼間距離による補正（第１の補正）として、マッピングにより推定された眼間距離比が所定値以下のとき、顔画像用カメラ５５のズーム機能を用いるか或いは顔画像用カメラ５５において画角を補正したレンズを用いて撮影し、画像取込手段１０により生成される顔画像情報１１１の眼間距離を補正するので、運転者が正面を向いている状態において、両眼の眼間距離が常にほぼ一定の範囲内に存在するため眼の検出領域を設定する処理負荷を低減することができる。

また、眼間距離による補正（第２の補正）として、画像読込手段１０が生成した顔画像情報を拡大した顔画像情報１１１について、眼の位置検出手段２０および眼の追跡手段３０による処理を行うようにするので、運転者が正面を向いている状態において、両眼の眼間距離が常にほぼ一定の範囲内に存在するため眼の検出領域を設定する処理負荷を低減することができる。

さらに、眼間距離による補正（第３の補正）として、眼の位置検出手段２０および眼の追跡手段３０において、顔画像情報１１１について、推定された眼間距離比を考慮して、片眼候補を検出した座標から反対眼の座標を推定し、顔画像中で反対眼の存在する可能性のある位置に眼の検出エリアを設置するので、運転者が正面を向いている状態において、眼の検出領域をあらかじめ得られる補正値によって検出領域を設定することができるため、画面全体から両眼を検出する場合に比べて処理負荷を低減すると共に検出時間を短縮する効果が期待できる。

また、本実施例では、当該車両の状態を示す車両情報１０３に基づき、当該車両の停止状態または極低速走行状態を検出したとき、或いは操舵角が一定以上の状態を検出したときは、眼の位置検出手段２０または眼の追跡手段３０は、それぞれ眼の位置検出処理または眼の座標情報更新処理を中断するので、車両が極低速走行時や操舵操作時に運転者が正面を向いていない可能性ある場面で、眼の位置検出処理や追跡処理を行わないようにすることで、眼の誤検出や誤追跡を減らす効果が期待できる。

また、本実施例では、顔画像用カメラ５５を、運転席のヘッドレストのラインが水平に撮像されるように光軸周りに回転して設置するようにしても良い。この場合、運転席のヘッドレストのラインが水平に撮像されるということは、運転者が正面を向いているときに両眼が同一水平ライン上に撮像されることを示しており、眼の傾きの補正と眼間距離の補正の2つの補正のうち眼の傾きを補正する必要がなくなる効果が期待できる。さらに、画像取込手段１０において、運転席のヘッドレストのラインが水平になるように回転した顔画像情報を生成するようにしても、同等の効果を期待できる。

本発明の一実施例に係るドライバモニタシステムの構成図である。実施例のドライバ顔画像処理装置５７の構成図である。眼の位置検出手段２０の構成図である。顔画像用カメラ５５の設置位置を説明する説明図である。顔画像用カメラ５５のカメラ位置情報を説明する説明図である。カメラ設置位置と顔の部位の関係表を作成するために予め行われる計測について説明する説明図である。車両運転者の顔の部位（眼間距離および両眼の傾き角）を説明する説明図である。カメラ設置位置と眼の傾き角の関係を説明する説明図である。カメラ設置位置と眼間距離の関係を説明する説明図である。顔画像用カメラ５５の光軸方向の回転について説明する説明図である。実施例のドライバ顔画像処理装置５７における処理手順を説明するフローチャートである。眼の位置検出処理の手順を説明するフローチャートである。片眼の検出を説明する説明図である。眼の追跡処理の手順を説明するフローチャートである。眼の検出領域の設定を説明する説明図である。従来のドライバモニタシステムにおける評価データの説明図である。実施例のドライバモニタシステムにおける評価データの説明図である。

符号の説明

１０画像取込手段
２０眼の位置検出手段
２１片眼候補検出手段
２２両眼確定処理手段
３０眼の追跡手段
４０表示処理手段
５１車両
５３近赤外光照明
５５顔画像用カメラ（撮像装置）
５７ドライバ顔画像処理装置
５９車両信号処理装置
１０１映像信号
１０２カメラ位置情報
１１１顔画像情報
１１２眼の座標情報
１１３眼の移動情報
１１４片眼候補情報
１２１表示情報

Claims

車両運転者の頭部を撮影する撮像装置を備え、前記撮像装置による映像信号および該撮像装置の位置情報であるカメラ位置情報に基づき車両運転者をモニタするドライバモニタシステムであって、
前記映像信号および前記カメラ位置情報に基づき車両運転者の顔画像情報を生成する画像取込手段と、
前記カメラ位置情報および前記顔画像情報に基づき、車両運転者の顔の部位を考慮して車両運転者の眼の位置を検出し、該眼の座標情報を出力する眼の位置検出手段と、
前記カメラ位置情報、前記顔画像情報および前記眼の座標情報に基づき、前記車両運転者の顔の部位を考慮して前記眼の座標情報を元に前記顔画像情報から車両運転者の眼の位置を検出して眼の座標情報を更新し、該眼の移動情報を出力する眼の追跡手段と、
前記顔画像情報、前記眼の座標情報および前記眼の移動情報に基づき、顔画像上に眼の座標と眼の移動情報を重ねて表示する表示情報を出力する表示処理手段と、
を有することを特徴とするドライバモニタシステム。
前記眼の位置検出手段は、
前記カメラ位置情報および前記顔画像情報に基づき、車両運転者の顔の部位を考慮して車両運転者の片眼の候補の座標を検出して片眼候補情報を出力する片眼候補検出手段と、
前記カメラ位置情報、前記顔画像情報および前記片眼候補情報に基づき、車両運転者の顔の部位を考慮して前記片眼候補の座標データを元に前記顔画像情報から両眼の位置を検出し眼の座標情報を出力する両眼確定処理手段と、
を有することを特徴とする請求項1に記載のドライバモニタシステム。
前記車両運転者の顔の部位は、車両運転者の両眼を結ぶ線が水平線となす角度である両眼の傾き角と両眼間の距離である眼間距離であり、該両眼の傾き角と眼間距離は、前記カメラ位置情報である前記撮像装置の車室内での設置位置の３次元情報および撮像装置の設置姿勢、即ちロール、ピッチおよびヨーの少なくとも1つ以上の値に対して、あらかじめ計測されているそれぞれの関係表から推定されることを特徴とする請求項1または請求項２の何れか１項に記載のドライバモニタシステム。
前記推定された両眼の傾き角が所定角以上のとき、前記眼の位置検出手段または前記眼の追跡手段は、撮像装置を光軸周りに所定角度回転させて撮影して前記画像取込手段が生成した顔画像情報、或いは、前記画像取込手段が生成した顔画像情報を所定角度回転した顔画像情報について処理することを特徴とする請求項３に記載のドライバモニタシステム。
前記眼の位置検出手段または前記眼の追跡手段は、前記顔画像情報において、前記推定された両眼の傾き角を考慮して眼の検出領域を補正し設置することを特徴とする請求項３または請求項４の何れか１項に記載のドライバモニタシステム。
前記推定された眼間距離が所定値以下のとき、前記眼の位置検出手段または前記眼の追跡手段は、前記撮像装置のズーム機能を用いるか或いは画角を補正したレンズを用いて撮影し前記画像取込手段が生成した顔画像情報、或いは、前記画像読込手段が生成した顔画像情報を拡大した顔画像情報について処理することを特徴とする請求項３〜請求項５の何れか１項に記載のドライバモニタシステム。
前記眼の位置検出手段または前記眼の追跡手段は、前記顔画像情報において、前記推定された眼間距離を考慮して眼の検出領域を補正し設置することを特徴とする請求項３〜請求項６の何れか１項に記載のドライバモニタシステム。
当該車両の状態を示す車両情報に基づき、当該車両の停止状態または極低速走行状態を検出したとき、或いは操舵角が一定以上の状態を検出したときは、前記眼の位置検出手段または前記眼の追跡手段は、それぞれ眼の位置検出処理または眼の座標情報更新処理を中断することを特徴とする請求項１〜請求項７の何れか１項に記載のドライバモニタシステム。
前記撮像装置は、運転席のヘッドレストのラインが水平に撮像されるように光軸周りに回転して設置されることを特徴とする請求項１〜請求項８の何れか１項に記載のドライバモニタシステム。
前記画像取込手段は、運転席のヘッドレストのラインが水平になるように回転した顔画像情報を生成することを特徴とする請求項１〜請求項８の何れか１項に記載のドライバモニタシステム。
車両運転者の頭部を撮影する撮像装置を備え、前記撮像装置による映像信号および該撮像装置の位置情報であるカメラ位置情報に基づき車両運転者をモニタするドライバモニタシステムの処理方法であって、
前記映像信号および前記カメラ位置情報に基づき車両運転者の顔画像情報を生成する画像取込ステップと、
前記カメラ位置情報および前記顔画像情報に基づき、車両運転者の顔の部位を考慮して車両運転者の眼の位置を検出し、該眼の座標情報を出力する眼の位置検出ステップと、
前記カメラ位置情報、前記顔画像情報および前記眼の座標情報に基づき、前記車両運転者の顔の部位を考慮して前記眼の座標情報を元に前記顔画像情報から車両運転者の眼の位置を検出して眼の座標情報を更新し、該眼の移動情報を出力する眼の追跡ステップと、
前記顔画像情報、前記眼の座標情報および前記眼の移動情報に基づき、顔画像上に眼の座標と眼の移動情報を重ねて表示する表示情報を出力する表示処理ステップと、
を有することを特徴とするドライバモニタシステムの処理方法。
前記眼の位置検出ステップは、
前記カメラ位置情報および前記顔画像情報に基づき、車両運転者の顔の部位を考慮して車両運転者の片眼の候補の座標を検出して片眼候補情報を出力する片眼候補検出ステップと、
前記カメラ位置情報、前記顔画像情報および前記片眼候補情報に基づき、車両運転者の顔の部位を考慮して前記片眼候補の座標データを元に前記顔画像情報から両眼の位置を検出し眼の座標情報を出力する両眼確定処理ステップと、
を有することを特徴とする請求項１１に記載のドライバモニタシステムの処理方法。
前記車両運転者の顔の部位は、車両運転者の両眼を結ぶ線が水平線となす角度である両眼の傾き角と両眼間の距離である眼間距離であり、該両眼の傾き角と眼間距離は、前記カメラ位置情報である前記撮像装置の車室内での設置位置の３次元情報および撮像装置の設置姿勢、即ちロール、ピッチおよびヨーの少なくとも1つ以上の値に対して、あらかじめ計測されているそれぞれの関係表から推定されることを特徴とする請求項１1または請求項１２の何れか１項に記載のドライバモニタシステムの処理方法。
前記推定された両眼の傾き角が所定角以上のとき、前記眼の位置検出ステップまたは前記眼の追跡ステップは、撮像装置を光軸周りに所定角度回転させて撮影して前記画像取込ステップで生成した顔画像情報、或いは、前記画像取込ステップで生成した顔画像情報を所定角度回転した顔画像情報について処理することを特徴とする請求項１３に記載のドライバモニタシステムの処理方法。
前記眼の位置検出ステップまたは前記眼の追跡ステップは、前記顔画像情報において、前記推定された両眼の傾き角を考慮して眼の検出領域を補正し設置することを特徴とする請求項１３または請求項１４の何れか１項に記載のドライバモニタシステムの処理方法。
前記推定された眼間距離が所定値以下のとき、前記眼の位置検出ステップまたは前記眼の追跡ステップは、前記撮像装置のズーム機能を用いるか或いは画角を補正したレンズを用いて撮影し前記画像取込ステップで生成した顔画像情報、或いは、前記画像読込ステップで生成した顔画像情報を拡大した顔画像情報について処理することを特徴とする請求項１３〜請求項１５の何れか１項に記載のドライバモニタシステムの処理方法。
前記眼の位置検出ステップまたは前記眼の追跡ステップは、前記顔画像情報において、前記推定された眼間距離を考慮して眼の検出領域を補正し設置することを特徴とする請求項１３〜請求項１６の何れか１項に記載のドライバモニタシステムの処理方法。
当該車両の状態を示す車両情報に基づき、当該車両の停止状態または極低速走行状態を検出したとき、或いは操舵角が一定以上の状態を検出したときは、前記眼の位置検出ステップまたは前記眼の追跡ステップは、それぞれ眼の位置検出処理または眼の座標情報更新処理を中断することを特徴とする請求項１１〜請求項１７の何れか１項に記載のドライバモニタシステムの処理方法。
前記撮像装置は、運転席のヘッドレストのラインが水平に撮像されるように光軸周りに回転して設置されることを特徴とする請求項１１〜請求項１８の何れか１項に記載のドライバモニタシステムの処理方法。
前記画像取込ステップは、運転席のヘッドレストのラインが水平になるように回転した顔画像情報を生成することを特徴とする請求項１１〜請求項１８の何れか１項に記載のドライバモニタシステムの処理方法。