JP5206190B2

JP5206190B2 - ドライバー監視装置

Info

Publication number: JP5206190B2
Application number: JP2008186353A
Authority: JP
Inventors: 祥一早坂
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2008-07-17
Filing date: 2008-07-17
Publication date: 2013-06-12
Anticipated expiration: 2028-07-17
Also published as: JP2010023626A

Description

本発明は、ドライバーの顔の状態を監視するドライバー監視装置に関する。

従来、運転者の顔の状態を監視する装置として、例えば特許文献１に記載されているものが知られている。特許文献１に記載の装置は、運転者の顔画像を撮像するカメラと、運転者の顔に近赤外光を照射する近赤外光源とを備え、近赤外光源から照射された近赤外光が運転者の眼鏡のレンズによって反射された場合に、その反射光がカメラの撮像レンズに直接入射しない位置に赤外線光源が設けられている。
特開平９−２１６１１号公報

しかしながら、上記従来技術では、運転者（ドライバー）の正面に配置されたカメラの光軸方向に対して、近赤外光が所定の角度を有して照射されるので、運転者の顔に影ができてしまうといった問題がある。また、運転者の顔の向きによっては、運転者が近赤外光源を直視することが考えられ、例えば運転者の眼鏡上に反射像が生じるといった問題もある。そのため、撮像された運転者の顔画像において、影や光の反射像等の影響によって顔の特徴点（例えば、目尻や鼻腔等）の判別が困難になるおそれがあった。

そこで、本発明の目的は、ドライバーの顔の特徴点検出の精度向上を図ることができるドライバー監視装置を提供することである。

本発明は、ドライバーの顔の状態を監視するドライバー監視装置において、ドライバーに対して互いに異なる方向から光を照射する複数の光源と、ドライバーの顔を含む領域を撮像してドライバーの顔画像を取得する撮像器と、撮像器によって取得されたドライバーの顔画像からドライバーの顔向きを検出する顔向き検出手段と、顔向き検出手段によって検出されたドライバーの顔向きに基づいて、光源の照度を制御する照度制御手段とを備えることを特徴とする。

本発明に係わるドライバー監視装置においては、撮像器によって取得されたドライバーの顔画像からドライバーの顔向きを検出し、そのドライバーの顔向きに基づいて、光源によりドライバーに対して照射する光の照度を制御する。このとき、例えば眼鏡を掛けたドライバーが光源の方向を向いているときには、当該光源から照射される光の照度を下げるようにすることで、光の照射によって眼鏡上に生じる反射像を小さくすることができる。その結果、顔の目周辺の特徴量（視線や瞬き等）が検出しやすくなる。また、複数の光源により互いに異なる方向からドライバーの顔を分散的に照射するので、特徴点の検出に不利になる余分な陰影が少なくなる。これにより、ドライバーの顔の特徴点検出の精度向上を図ることができる。

また、好ましくは、照度制御手段は、ドライバーの顔向きの方向に配設された光源の照度を下げるように制御すると共に、ドライバーの顔向きとは反対側の方向に配設された光源の照度を上げるように制御する。この場合、複数の光源によるドライバーの顔の照明に対する分散化が促進されるので、顔の特徴点の抽出時に余分な陰影や反射光が更に抑制される。これにより、ドライバーの顔の特徴点検出の更なる精度向上を図ることができる。

本発明によれば、ドライバーの顔の特徴点検出の精度向上を図ることができる。これにより、例えばドライバーの居眠りや脇見等の監視を良好なものとすることができる。

以下に、本発明に係わるドライバー監視装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わるドライバー監視装置の一実施形態を示す概略構成図である。同図において、本実施形態のドライバー監視装置１は、顔画像撮像カメラ（撮像器）２と、ＥＣＵ３と、複数（本実施形態では４つ）のＬＥＤ（光源）４〜７とを備えている。

顔画像撮像カメラ２は、例えばコラムカバーの上面に設置され、ドライバーＤの顔画像を取得する。顔画像撮像カメラ２は、例えば近赤外線カメラであり、ドライバーＤの顔を含む領域を撮像して、顔画像を取得し、これを画像信号としてＥＣＵ３に送出する。

ＥＣＵ３は、顔画像撮像カメラ２から送出された画像信号に基づいて、ドライバーＤの顔向き角度を検出する。顔向き角度の検出処理は、従来の検出処理と同様であり、例えばドライバーＤの鼻の中心を検出し、その鼻の中心が正面中心からずれる度合いを求め、その度合いからドライバーＤの顔向き角度を検出する。また、ＥＣＵ３は、ドライバーＤの顔向き角度に基づいて、ＬＥＤ４〜７の照度を制御する。

ＬＥＤ４〜７は、ドライバーＤの前方に配設されている。ＬＥＤ４，５は、顔画像撮像カメラ２の光軸方向とＬＥＤ４，５の光軸方向とが同軸になるように、顔画像撮像カメラ２の左右に隣接して配設されている。また、ＬＥＤ６，７は、ＬＥＤ４，５を挟んで所定の間隔を有するように左右に配設されている。つまり、ＬＥＤ４〜７は、ドライバーＤに対して互いに異なる方向から分散化して光を照射することになる。ＬＥＤ４〜７の照度は、ＥＣＵ３によって制御される。

図２は、ＥＣＵ３により実行される処理手順の詳細を示すフローチャートである。

図２において、まず顔画像撮像カメラ２から画像信号が入力される（手順Ｓ０１）。そして、その画像信号に基づいて所定の画像処理が実施され、ドライバーＤの顔向き角度が検出される（手順Ｓ０２）。

次に、検出されたドライバーＤの顔向き角度に基づいて、そのドライバーＤの顔向き角度が、ＬＥＤ４〜７の光がドライバーＤが装着した眼鏡（メガネ）に反射する顔向き角度か否かが判定される（手順Ｓ０３）。ＬＥＤ４〜７の光がメガネに反射する顔向き角度であると判定された場合には、ドライバーＤの顔向き角度の方向（光がメガネに反射して反射像が生じる得る方向）に配設されたＬＥＤ４〜７の照度が下げられる（手順Ｓ０４）。一方、ＬＥＤ４〜７の光がメガネに反射する顔向き角度でないと判定された場合には、手順Ｓ０５に進む。

手順Ｓ０５では、手順Ｓ０２において検出されたドライバーＤの顔向き角度に基づいて、ドライバーＤの顔向き角度が右向きであるか否かが判定される。ドライバーＤの顔向き角度が右向きである場合には、左側（ドライバーＤから見て左側）に配設されたＬＥＤ７の照度が上げられる（手順Ｓ０６）。一方、ドライバーＤの顔向き角度が右向きでない場合には、手順Ｓ０７に進む。

手順Ｓ０７では、手順Ｓ０２において検出されたドライバーＤの顔向き角度に基づいて、ドライバーＤの顔向き角度が左向きであるか否かが判定される。ドライバーＤの顔向き角度が左向きである場合には、右側（ドライバーＤから見て右側）に配設されたＬＥＤ６の照度が上げられる（手順Ｓ０６）。一方、ドライバーＤの顔向き角度が左向きでない場合には、処理が終了する。

以上において、ＥＣＵ３の上記手順Ｓ０１，Ｓ０２は、顔画像撮像カメラ２によって取得されたドライバーＤの顔画像からドライバーＤの顔向きを検出する顔向き検出手段を構成する。ＥＣＵ３の上記手順Ｓ０３〜Ｓ０８は、顔向き検出手段によって検出されたドライバーＤの顔向きに基づいて、ＬＥＤ４〜７の照度を制御する照度制御手段を構成する。

図３は、従来のドライバー監視装置により取得されたドライバーの顔画像の一例を示す図である。従来のドライバー監視装置においては、顔向き角度に応じてＬＥＤの照度の制御を行わない、つまり常時一定の照度でドライバーを照射しているので、ドライバーがＬＥＤの方向を向いている場合には、図３に示すように、ドライバーＤの眼鏡Ｇ上に反射像Ｒ１，Ｒ２が生じ、目領域の輝度情報が取得できないといった問題が生じ得る。そのため、目頭や瞼等を検出することが困難になっていた。

これに対し、本実施形態のドライバー監視装置１によれば、顔画像撮像カメラ２によって取得されたドライバーＤの顔画像からドライバーＤの顔向き角度を検出し、そのドライバーＤの顔向き角度に基づいて、ＬＥＤ４〜７によりドライバーＤに対して照射する光の照度を制御する。このとき、ドライバーＤの顔向き角度がＬＥＤ４〜７の配設された方向と一致する方向である場合には、それに該当するＬＥＤ４〜７から照射される光の照度を下げるようにするので、光の照射によって眼鏡Ｇ上に生じる反射像Ｒ１，Ｒ２の写りこみを軽減したり白飛びを抑制することができる。その結果、顔の目周辺の輝度情報を好適に取得することができ、特徴量（視線や瞬き等）が検出しやすくなる。

また、複数のＬＥＤ４〜７により互いに異なる方向からドライバーＤの顔を分散的に照射するので、特徴点の検出に不利になる鼻やまつげ等の立体物の余分な陰影が少なくなり、純粋なドライバーＤの顔の特徴を捉えやすくなる。

また、ドライバーＤの顔向き角度とは反対側の方向、つまりドライバーＤの顔向き角度とは一致しない方向に配設されたＬＥＤ４〜７の照度を上げるように制御するので、ＬＥＤ４〜７によるドライバーＤの顔の照明に対する分散化が促進される。

以上により、本実施形態のドライバー監視装置１では、ドライバーの顔の特徴点検出の精度向上を図ることができる。その結果、例えばドライバーＤの居眠りや脇見等の監視を良好なものとすることができる。

本発明に係わるドライバー監視装置の一実施形態を示す概略構成図である。ＥＣＵにより実行される処理手順の詳細を示すフローチャートである。従来のドライバー監視装置により取得されたドライバーの顔画像の一例を示す図である。

符号の説明

１…ドライバー監視装置、２…顔画像撮像カメラ（撮像器）、３…ＥＣＵ（顔向き検出手段、照度制御手段）、４〜７…ＬＥＤ（光源）、Ｄ…ドライバー。

Claims

ドライバーの顔の状態を監視するドライバー監視装置において、
前記ドライバーに対して互いに異なる方向から光を照射する複数の光源と、
前記ドライバーの顔を含む領域を撮像して前記ドライバーの顔画像を取得する撮像器と、
前記撮像器によって取得された前記ドライバーの顔画像から前記ドライバーの顔向きを検出する顔向き検出手段と、
前記顔向き検出手段によって検出された前記ドライバーの顔向きに基づいて、前記光源の照度を制御する照度制御手段とを備え、
前記照度制御手段は、前記ドライバーの顔向き角度が当該ドライバーが装着した眼鏡に前記光が反射する顔向き角度であるか否かを判定し、
前記光が前記眼鏡に反射する顔向き角度であると判定された場合には、前記ドライバーの顔向きの方向に配設された前記光源の照度を下げるように制御し、
前記光が前記眼鏡に反射する顔向き角度でないと判定された場合には、前記ドライバーの顔向きの方向に配設された前記光源の照度を下げるように制御すると共に、前記ドライバーの顔向きとは反対側の方向に配設された前記光源の照度を上げるように制御することを特徴とするドライバー監視装置。