JP6119136B2 - 状態監視装置 - Google Patents

Description

本発明は、画像を生成する状態監視装置に関する。

従来、車両に搭載され、当該車両の安全な走行を実現することを目的として、当該車両の乗員の状態を監視する状態監視装置（いわゆるドライバーモニタリングシステム）が知られている（例えば、特許文献１参照）。

この種の状態監視装置は、画像を生成する撮像システムと、その撮像システムで生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視部とを備えている。撮像システムは、少なくとも近赤外を含む波長の光（以下、照明光と称す）を発光する少なくとも一つの投光器と、投光器により照明光が照射される領域から反射しカメラレンズに入射される光を、複数の画素を有する撮像素子にて結像することで画像を生成するカメラとを備えている。

撮像システムに用いられるカメラは、自車両のシートに着座した平均的な体型（例えば「ＪＩＳ Ｄ ００２１ 自動車の運転者アイレンジ」に規定されアイリプス９９パーセンタイル）の乗員が、運転時の通常動作において姿勢変化することを考慮して、顔面が位置する可能性の高い領域を撮像領域とするような画角を有するレンズとともに、適切な位置に設置される。このようなカメラを用いて乗員の状態を安定して監視するためには、撮像領域に対して、状態監視部での画像処理に適した明るさ及びコントラストの画像を連続して取得できるように、非撮像物に対する光の強さとして予め規定された強度基準値以上の強さの照明光をなるべく均一に照射することが求められる。

特開２００５−２７１８７６号公報

上述したように、撮像領域に対して強度基準値以上の強さかつ均一な照明光を照射する場合、複数の投光器にて実現することが考えられる。この場合、投光器の各々を複数箇所に設置したり、一箇所に設置する場合でも、投光器を構成する光源、例えばＬＥＤ光源をアレイ状に複数設置したりすることが考えられる。

しかしながら、このような方法では、撮像システムにおいて投光器の占める面積が大きくなり、システム全体の構成が大型化するという問題や、投光器の数が増加することにより、投光器にて消費する電力が増加するという問題があった。

つまり、従来の状態監視装置では、撮像領域に対して強度基準値以上の強さかつ均一な照明光を照射するために、撮像領域ではない領域に対しても投光するなどシステムにとって不要な投光をするために投光器の数が増加するなど、装置全体の構成が大型化すると共に、投光器にて消費する電力の増加を低減できないという問題があった。

そこで、本発明は、状態監視装置において、撮像領域に対して可能な限り強度基準値以上の強さかつ均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することを目的とする。

上記目的を達成するためになされた本発明は、車両に搭載される状態監視装置に関する。
本発明の状態監視装置では、少なくとも一つの発光手段が、自車両の車室内空間において乗員の顔面が位置する領域として予めアイリプス等から設計上規定された規定領域に、少なくとも近赤外波長を含む照明光を照射する。そして、規定領域を含む車室内の領域を撮像領域とし、撮像手段が、撮像領域から入射する光を、複数の画素を有する撮像素子にて結像することで画像を生成する。その撮像手段で生成された画像を画像処理した結果に基づいて、状態監視手段が、自車両の乗員の状態を検知、推定し、その状態に応じてアクチュエーションを実行する。

さらに、本発明の状態監視装置では、撮像手段の撮像素子における受光面の少なくとも一部の領域であって、規定領域に対応する撮像素子上の領域を撮像規定領域とし、光制御手段が、撮像規定領域を構成する各画素に入射する光の強さが、状態監視手段での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように配光を制御する。なお、ここで言う分布とは、少なくとも、制御されたばらつきを含むものである。

本発明の状態監視装置によれば、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となることを、従来の状態監視装置から発光手段の数を増加させることなく実現できる。

この結果、本発明の状態監視装置によれば、従来の状態監視装置に比べて、状態監視装置全体の構成が大型化することを可能な限り抑制できると共に、発光手段にて消費する電力の増加を可能な限り抑制することができる。

換言すれば、本発明の状態監視装置によれば、撮像領域に対して可能な限り強度基準値以上の強さかつ必要最小限に均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することができる。

なお、規定領域に存在する乗員の顔面の各部品（眼、鼻、口など）は、発光手段から照射される照明光が照射される位置に存在する可能性が高い。この照明光が顔に照射されると顔面からその光を反射することになるが、反射するポイントまでの発光手段における光源からの距離が遠いと、照明光がコヒーレントでない散乱光の場合、当該ポイントにて反射された光は、撮像素子の受光面に入射するまでに散乱することで減衰する。

この減衰する光の強さを考慮すると、本発明における光制御手段は、規定領域において存在する可能性が高い乗員の顔面の各部品のうち、発光手段における光源からの距離が遠いポイントほど、当該ポイントに到達する照明光の強さが強くなるように配光を制御しても良い。

通常、光は、距離の２乗に反比例して減衰するため、本発明の光制御手段においては、撮像規定領域に規定の光が届くように、予め距離に応じた強度分布を考慮して配光するように設計すると良い。

さらに、光の減衰は、距離だけでなく、撮像系レンズの周辺光量比にも影響を受ける。すなわち、同一距離同一輝度の光が異なる角度から撮像素子に入射する場合、撮像素子の中央に到達する光の強さは、周辺に到達する光の強さより強くなる。このため、本発明の光学制御手段は、その光量比を考慮して光学中心から離れることに応じて強くするように配光しても良い（配光に補正を加えても良い）。また、撮像レンズへの入射角度によっては、表面反射の影響で大きく減衰する場合があるので、本発明の光制御手段においては、それを考慮した配光特性になるように制御すると効果的である。

このような光制御手段によれば、状況監視手段にて画像処理を実行する画像について、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布を第一基準範囲内とすることができる。

ただし、上記画像は、規定領域に仮想的な平面（実施形態における照射面）を想定した場合における画像について説明したものである。このような画像は、規定領域に乗員が存在する場合には、例えば、眉毛のように反射率が低い部位や、鼻の穴のように照射光の光軸に対して陰となる部位については、局所的に暗くなり、陰影がはっきりとした画像となる。この画像であれば、画像処理により適したものとなる。

また、本発明においては、乗員の顔面中心が位置する可能性が高い規定領域での領域を中心存在領域とし、受光面において中心存在領域に対応する領域を撮像規定領域としても良い。この場合、本発明における中心存在領域は、車両の種類によって異なるアイリプスとして定義される楕円内に目が存在するときの顔全体が撮像規定領域から外れない領域を包含する領域であることが好ましい。なお目位置を基準にした顔の大きさについてはＡＩＳＴから公開されている「人体寸法データベース（ｈｔｔｐ：／／ｒｉｏｄｂ．ｉｂａｓｅ．ａｉｓｔ．ｇｏ．ｊｐ／ｄｈｂｏｄｙｄｂ／９１−９２／）」などを参照して決定しても良い。

さらに、本発明における光制御手段は、中心存在領域に対しては鉛直方向に沿った照明光の強さの分布が、それ以外の方向と比較して鉛直方向に均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように配光を制御しても良い。

このような光制御手段によれば、中心存在領域に対応する各画素のうち垂直方向に沿った画素における輝度値の分布を垂直以外の方向と比較して均一化することができる。なお、ここで言う垂直方向とは、水平面に対して鉛直である方向を含み、さらには、水平面に対する垂直軸から所定の角度範囲内を含む方向である。

このような状態監視装置では、状態監視手段による画像処理として、乗員の顔向き検出、乗員の眠気検出，乗員の視線検出などを実施することが一般的であり、これらの検出を行う場合には、乗員の顔及び顔部品（目、鼻、口など）の少なくとも一つの検出が必要となる。

乗員の顔向きを検出する処理では、人の頭部を模擬した頭部モデルを用いることが一般的である。頭部モデルは、前記人体寸法データベース等を用いて標準顔とした３次元モデルもあれば、図１２に示すように、単純な円筒モデルで表されることもある。光が照射された円筒モデルは、通常、中心軸に近いほど明るく、径方向に沿って中心軸から離れるほど暗くなり、陰影が明確になるという性質があり、それを折り込んだ検出アルゴリズム（または前処理）になっていることが多い。

この性質を考慮すると、本発明における光制御手段は、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど照明光の強さが弱くなるように配光を制御しても良い。これにより、陰影がより顕著になるが、他の軸方向に照明分布を作るよりも検知性能の低下を抑制することができる。

このような光制御手段によって実現される配光は、頭部モデルの性質に合致したものとなる。この結果、必要以上に強い照明光を撮像領域全体に対して照射することなく、状態監視手段における画像処理に適した画像を生成することができる。なお、ここで言う水平方向とは、水平面に対して平行である方向を含み、さらには、水平面に対して水平な軸から所定の角度範囲内での方向を含む。
また、前記発光手段は、前記照明光を発光する投光器それぞれを備え、前記光制御手段は、前記規定領域において存在する可能性が高い前記乗員の顔面の各ポイントのうち、前記発光手段における光源からの距離が遠いポイントほど、当該ポイントに到達する前記照明光の強さが強くなるように配置した複数の前記投光器であっても良い。
この場合、前記投光器は、高い直進性を有した光を前記照明光として発光するものであっても良い。そして、前記乗員の顔面における中心が位置する可能性が高い前記規定領域での領域を中心存在領域とし、前記光制御手段は、前記中心存在領域に対しては鉛直方向に沿った前記照明光の強さの分布が、均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように水平方向に比して鉛直方向に沿って密に配置した複数の前記投光器であっても良い。

本発明が適用された状態監視装置の設置位置を示す図である。 状態監視装置の概略構成を示すブロック図である。 撮像システムの構造を示す斜視図である。 光学（フィルタ）部材における減衰部の構造を示す図である。 光学部材によって制御される配光特性を示す図である。 状態監視ＥＣＵの機能ブロック図である。 状態監視処理の処理手順を示すフローチャートである。 露光タイミング及び発光タイミングを示す説明図である。 補正制御の実行開始基準を示す説明図である。 投光器の配置に関する変形例を示す説明図である。 状態監視装置の設置位置の変形例を示す図である。 頭部モデルを説明する説明図である。 規定領域の設定方法の変形例を示す説明図である。

以下、本発明の実施形態を図面と共に説明する。
〈状態監視装置〉
図１に示すように、状態監視装置１は、自動車ＡＭの安全な走行または乗員の快適な運転環境を実現することを目的として、自車両ＡＭの乗員（本実施形態では、運転者）Ｈｍの頭部を含む画像に基づいて、乗員Ｈｍの状態を監視する、いわゆるドライバモニタリングシステムである。

この状態監視装置１は、図２に示すように、画像ＰＩを生成する撮像システム５と、画像ＰＩに対して画像認識処理を実行して乗員Ｈｍの状態を監視する状態監視ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）４０とを備えている。さらに、状態監視装置１には、自車両ＡＭに搭載された各種装置を含むアクチュエータ部５０が接続されている。

撮像システム５は、少なくとも近赤外領域の波長を含む波長の光（以下、照明光と称す）を発光すると共に、画像ＰＩを生成するシステムである。撮像システム５は、図３に示すように、撮像部７と、発光部９と、光学部材１１と、光学部材１３と、基板２１とを備えている。

そして、撮像システム５は、自車両ＡＭの乗員Ｈｍの頭部が位置する可能性のある車室内空間での領域（以下、規定領域ＰＡ（図１参照）と称す）含む領域を撮像領域とするように予め規定された設置位置に設置される。本実施形態における規定領域ＰＡとは、例えば、通常の運転姿勢をとっている運転者の目が存在する位置を表す楕円状の領域（即ち、アイリプス）内を包含する領域である。この規定領域ＰＡは、例えば、予めアイリプスから設計上規定すれば良く、撮像部７から見た場合、運転席ＤＳのヘッドレスト近傍の領域となる。規定領域ＰＡが包含する領域は、アイリプスの９９パーセンタイルであったり、９５パーセンタイルであっても良い。

通常、アイリプスは、シート位置によって一義的に決定される。このため、シート位置を設定可能な位置の範囲が一般的な位置の範囲とは異なる車両に対しては、乗員Ｈｍの頭部が実際に位置しない領域を規定領域ＰＡとして決定している可能性があった。

そこで、規定領域ＰＡの決定方法は、アイリプスから設計上決定する方法に限らず、実験により、運転時の通常姿勢にて乗員Ｈｍ（被験者）をシートに着座させた場合に、各乗員Ｈｍの頭部が位置する領域の分布から決定しても良い（図１３参照）。具体的には、例えば、各乗員Ｈｍの頭部が位置する領域の分布において、規定された割合以上の領域を包含する範囲を規定領域ＰＡとして決定することが考えられる。ただし、ここで言う多くの乗員Ｈｍ（被験者）は、人種や性別、年齢などが異なる様々な人物であることが好ましい。

なお、図１３においては、破線にて示した矩形の領域のそれぞれが、様々な人種、性別、年齢の被験者が各々の運転に適した姿勢にドライビングポジションをセットしたときの撮像結果から、当該被験者の頭部が位置する領域を囲んだものであり、一点鎖線にて示した矩形の領域が、自車両ＡＭの乗員Ｈｍの頭部が位置する可能性のある領域（即ち、規定領域ＰＡ）である。

この方法にて規定領域ＰＡを決定すれば、乗員Ｈｍの頭部が実際に位置しない領域が規定領域ＰＡとして決定されることを低減できる。ただし、規定領域ＰＡは、通常の運転姿勢に限定するのではなく、運転動作に伴うある程度の顔移動を見込んで規定しておくことが好ましい。

なお、本実施形態における設置位置は、ステアリングホイールＳＨが接続されるステアリングコラムＳＣの上側外表面である。このような設置位置に撮像システム５を設置する場合、撮像システム５の中心軸（照射基準軸：図５参照）は、水平軸（図５参照）との間に所定の角度（仰角）を有する。

撮像部７は、撮像素子（いわゆるＣＣＤやＣＭＯＳなどイメージセンサ）、光学レンズ、光学フィルタ、発振器、インターフェース回路、電源等の周辺電子回路を有した周知の撮像装置であり、光学レンズを介して撮像素子に入射した光を各画素が受光して、光の強弱に応じた陰影のある画像ＰＩを生成する。

本実施形態における撮像部７は、周囲の環境に応じてゲインや露光時間などをオートまたはマニュアルによってアクティブに制御されるよう構成されており、また、撮像タイミングも任意に設定できるように通信機能を備えている。なお、撮像素子は近赤外光に対する感度が高い素子が好ましい。

発光部９は、状態監視ＥＣＵ４０からの制御指令ＣＯに従って、照明光を発光する発光器である。本実施形態における発光器は、２つの発光ダイオード（ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ））の各々である。

光学部材１１は、発光部９からの照明光を集光、反射すると共に、その集光した照明光を規定領域ＰＡに対して配光する。
基板２１は、電子部品が実装され、配線が形成されたプリント基板であり、基板のほぼ中央部に撮像部７が固定され、撮像部７から適度に離れた位置に、１つ以上の発光部９が固定される。

部品２３は、基板２１に接続する機構を有している。この部品２３には、基板２１において撮像部７が固定される位置と対向する位置に、撮像部７が挿通する孔（以下、第一挿通孔と称す）２５が形成されている。さらに、部品２３には、基板２１において発光部９が固定される位置と対向する位置に、光学部材１１を所定の位置関係を保持する保持構造を備えている。発光部９と光学部材１１の位置関係は、投光器の照射特性として重要であり、これらが位置ズレを起こすと十分な性能が得られないため、基板２１と部品２３は位置決めピンなどで位置ズレ精度が補償されるようにする。なお、部品２３と光学部材１１は一体成型で構成されていても良い。

光学部材１３は、光学部材１１を通過した照明光のうち不要光を除去すると共に、発光部９から発せられた光が内部反射により撮像部７に入射しないように遮蔽する部材である。光学部材１３は、可視光カットフィルタ３０と、シェード３１とを備え、２色成形等により一体化されている。

可視光カットフィルタ３０は、全体として、矩形の板状に形成された光学フィルタであり、状態監視ＥＣＵ４０での画像処理に適した光の成分として予め定められた光の成分（例えば、近赤外領域の波長）、すなわち投光器の波長成分の光の多くを少なくとも透過するとともに、撮像部７にとって不要であり、かつ、発光部９を運転者Ｈｍが直接見えにくくすることを目的として可視光をできるだけカットするような材料で作られる。

シェード３１は、可視光カットフィルタ３０を保持する保持構造を有している。このシェード３１には、基板２１において撮像部７が固定される位置と対向する位置に撮像部７が挿通する孔（以下、第二挿通孔と称す）３３が形成されていると共に、光学部材１１から出射された光を通すようにそれぞれと対向する位置に開口３５が形成されている。

なお、光学部材１３は、発光部９から規定領域ＰＡまでの照明光の経路上にて、撮像部７及び発光部９（光学部材１１）を覆うように配置される。
さらに、シェード３１は、近赤外光を含む光を通さない遮光材料で作られており、発光部９にて発光した照明光が表面反射や内部伝搬等により撮像部７に必要以上に強い光として入射することを防止する遮光部１５を備えている。

本実施形態では、遮光部１５の一つとして、撮像部７の周囲を覆うように、第一挿通孔２５に嵌挿される筒状の遮光部１７を備えている。また、本実施形態では、遮光部１５の一つとして、図４に示すように、光学部材１３内を意図せず伝播する照明光を減衰させる減衰部１９を備えている。この減衰部１９は、可視光カットフィルタ３０の上辺及び下辺の少なくとも一方における、シェード３１の開口３５それぞれから第二挿通孔３３までの間の部位それぞれに形成されている。この減衰部１９は、可視光カットフィルタ３０が一定厚さの板状である場合、特定の方向から入射された光に対し、可視光カットフィルタ３０の媒質界面で直進と反射を繰り返し規則的に内部伝搬していくが、この経路を遮る意味でラビリンス形状とも呼ばれ、その設置間隔は可視光カットフィルタの厚みや光の入射角度の関係から設計的に形状が決められる。また、減衰部１９の深さは深いほうが好ましい場合もあるが、可視光カットフィルタ３０の機械的強度が弱くならない範囲で設計する必要がある。図４においては、ハッチングを施した部位が空間または異なる屈折率をもった部材で形成される。

なお、減衰部１９は、図示したように等間隔に形成された空間に限らず、光学部材１３内に形成された鋸歯状の切り欠きでも良いし、光学部材１３内に形成された照明光を反射する反射率を高めることで形成されていても良いし、これらの組み合わせによって構成されていても良い。
〈光学部材による配光〉
光学部材１１による配光は、撮像規定領域を構成する各画素に入射する光の強さが、状態監視ＥＣＵ４０での画像処理に適した画像ＰＩとなる光の強さとして予め規定された強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるようになされる。なお、ここで言う撮像規定領域とは、撮像部７の撮像素子における受光面において、規定領域ＰＡからの光が入射する領域である。規定領域ＰＡに存在する被写体の形状や反射率により撮像規定領域における受光量は異なるため、便宜上、規定領域ＰＡには鉛直でどの角度から見ても一定な反射率を為す平板が存在すると仮定して説明している。また、ここで言う第一基準範囲とは、光の強さの分布が、画像処理に適した最低限度のばらつきであるとみなせる範囲である。

撮像素子の受光面において、上述したような光の入射を実現するために、本実施形態の光学部材１１による配光は、図５に示すように、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるようになされている。

ここで言う中心存在領域とは、照射面において、乗員の顔面中心（中心軸）が位置する可能性が高い領域である。なお、照射面とは、例えば、規定領域ＰＡを含む領域を分割する鉛直面であり、車両の進行方向に対し前後に分割する仮想的な平面である。規定領域ＰＡは、３次元的な空間であるが、照射面は便宜上２次元平面であり、平板正面の反射特性は指向性を持たないものとして説明する。この照射面には、規定領域ＰＡにて乗員Ｈｍの顔面（頭部）が存在する可能性が高い。

さらに、光学部材１１による中心存在領域内に対する配光は、規定領域ＰＡにおける鉛直方向に沿った照明光の強さの分布が均一となるようになされる。この均一とは、例えば、照明光の強さの分布が、予め規定された第二基準範囲内となることである。

なお、図５においては、到達する照明光の強さが強い領域ほど、ハッチングの濃度を濃くし、到達する照明光の強さが弱い領域ほど、ハッチングの濃度を薄くしている。
また、図５に示す例では、中心存在領域をはじめとした、照明光の強さが段階的に変化する範囲を、楕円形状にて表した。しかし、図５に示す照明光の強さが段階的に変化する範囲は、一例であって、楕円形状に限るものではない。さらには、図５に示す例では、照明光の強さの変化を段階的に示しているが、実際には、照明光の強さの変化は、連続的に滑らかとなるようになされる。

このような配光を実現するために、本実施形態の光学部材１１は、照射面を構成する複数の微小領域（以下、構成ポイントと称す）のうち、発光部９（または、撮像部７）からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるように、発光部９から入射された照明光を配光する出射部を備える。

本実施形態における光学部材１１の出射部は、発光部９（または、撮像部７）からの距離が遠い構成ポイントほど、到達する光量が多くなるように構成されている。
本実施形態における光学部材１１は、光学素子によって構成されるものであり、例えば、周知のレンズやプリズム、鏡、回折格子のうちの少なくとも一つや、これらの組み合わせによって実現すれば良い。

以上説明したように撮像システム５では、発光部９にて発光された照明光は、光学部材１１を通して、規定領域ＰＡに対して配光される。この規定領域ＰＡに対する配光は、照射面に到達する照明光の強さが基準値以上となり、かつ発光部９からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるようになされる。

一方、撮像システム５の撮像部７では、光学レンズを介して撮像素子に入射した光を結像して画像ＰＩを生成する。本実施形態の撮像システム５は、規定領域ＰＡを撮像領域としているため、撮像部７が生成する画像ＰＩには、通常、自車両ＡＭの乗員Ｈｍの頭部（顔面）が含まれる。

しかも、撮像システム５では、上述したように照明光を配光するため、撮像規定領域を構成する各画素に入射する光の強さは、強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となる。
〈状態監視ＥＣＵ〉
図２に示すように状態監視ＥＣＵ４０は、ＲＯＭ４１と、ＲＡＭ４２と、ＣＰＵ４３とを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。

ＲＯＭ４１は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する記憶装置である。ＲＡＭ４２は、データを一時的に格納するメモリであり、ＣＰＵ４３は、ＲＯＭ４１またはＲＡＭ４２に記憶されたプログラムに従って処理を実行する演算処理装置である。

ＲＯＭ４１には、乗員Ｈｍの状態を監視した結果、自車両ＡＭの運転に対する乗員Ｈｍの安全性が低い状態である場合に注意喚起や警告を行うことで自車両ＡＭの安全な走行が実現されるようにアクチュエータ部５０を制御して乗員Ｈｍに働きかける状態監視処理を、ＣＰＵ４３が実行するためのプログラムが格納されている。

つまり、本実施形態の状態監視ＥＣＵ４０は、撮像部７にて生成した画像ＰＩに対して画像処理を実行した結果に基づいて、自車両ＡＭの乗員Ｈｍの状態を監視すると共に、撮像システム５を制御する。さらに、状態監視ＥＣＵ４０は、自車両ＡＭの乗員Ｈｍの状態を監視した結果に基づいて、アクチュエータ部５０を制御する。

アクチュエータ部５０には、報知部５１と、振動部５２と、空調制御装置５３とが含まれている。
振動部５２は、自車両ＡＭのシート（本実施形態では、運転席のシートＤＳを含む）に内蔵され、状態監視ＥＣＵ４０からの制御信号ＣＳに従ってシートを振動させるシート振動部や、ステアリングホイールＳＨを制御信号ＣＳに従って振動させるステアリング振動部（図示せず）を含む。空調制御装置５３は、自車両ＡＭに搭載された空調装置を制御する。

報知部５１は、状態監視ＥＣＵ４０からの制御信号ＣＳに従って報知する機構であり、スピーカ部５４と、表示部５５とを含む。スピーカ部５４は、音を出力する機構であり、表示部５５は、異なる内容の情報を表示態様の変更によって示す機構（例えば、液晶ディスプレイやインジケータ）である。

状態監視処理を実行した状態監視ＥＣＵ４０は、図６に示すように、発光部９による照明光の発光、及び撮像部７による画像ＰＩの生成のうちの少なくとも一方を制御する制御部４５と、画像ＰＩに対して画像処理を実行する画像処理部４６と、画像処理部４６にて画像処理が実行された画像ＰＩに基づいて、自車両ＡＭの乗員Ｈｍの状態を推定する状態推定部４７と、状態推定部４７での推定結果に基づいて、アクチュエータ部５０を制御する警報判定部４８として機能する。
〈状態監視処理について〉
次に、状態監視処理は、状態監視装置１に電力が供給されると（本実施形態では、イグニッションスイッチがオンされると）起動されるものである。

この状態監視処理は、起動されると、図７に示すように、発光部９の制御値及び撮像部７の制御値を、予め定められた初期値に設定する（Ｓ１１０）。
ここで言う発光部９の制御値には、少なくとも、発光部９が出力する照明光のレベル（強度）が含まれる。より具体的には、投光器に通電する単位時間あたりのエネルギーや通電時間により制御する。この照明光のレベルの制御値は、一定の制御範囲を有しており、少なくとも、制御範囲の上限値が、乗員Ｈｍの顔面への到達時点で、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｉｓｓｉｏｎ）６２４７１に規定されたＥｘｅｍｐｔレベル以下となるように予め定められている。

さらに、撮像部７の制御値には、露光時間やゲインなどが含まれており、画像処理に適した画像ＰＩが撮像されるように予め実験などによって求められた制御値の設定範囲が規定されている。

続いて、発光部９に対して制御指令ＣＯを出力する（Ｓ１２０）。これにより、発光部９が発光し、規定領域ＰＡに照明光を照射する。
続いて、または同時に撮像部７に撮像させ、画像ＰＩを取得する（Ｓ１３０）。

本実施形態において、発光部９が発光するタイミング、及び撮像部７が画像ＰＩを撮像するタイミングは、図８に示すように、発光部９から照明光を発光する期間（図中、発光タイミング）が、撮像部７の露光期間（図中、露光タイミング）よりも長く規定されている。その上で、撮像部７による画像ＰＩの撮像（露光開始から露光終了まで）は、発光部９が近赤外光の発光期間中に実行される。なお、図中の符号ｔａは、撮像部７による画像ＰＩの撮像間隔を表しており、図７におけるＳ１２０〜Ｓ２００までの一連のサイクルにて、Ｓ１５０が実行される間隔である。ここで、発光期間が露光期間より長いと説明したのは、発光開始を指示してから実際に１００%パワーで投光器が発光するまでのタイムラグを考慮したためであり、投光器の立ち上がり遅延がなく急峻に立ち上がる発光デバイスであれば同時としても問題ない。また、発光部の消灯タイミングについては上記と同様の理由で必ずしも遅らす必要がなく同時もしくは露光終了よりも早いタイミングであっても構わない。

さらに、Ｓ１３０で撮像した画像ＰＩに対して、乗員Ｈｍの状態を監視することを目的とした画像処理を実行する（Ｓ１４０）。このＳ１４０にて実行される画像処理には、画像ＰＩにおける乗員Ｈｍの頭部の位置を特定する周知の画像処理（以下、顔位置特定処理と称す）や、乗員Ｈｍの目の開度を導出する周知の画像処理、乗員Ｈｍの視線の方向を検出する周知の画像処理が含まれる。

なお、本実施形態の顔位置特定処理では、画像ＰＩに写り込んだ乗員のＨｍの顔面における左右の端部を検出し、その検出した左右の端部によって挟まれる領域に存在し、顔を構成する各部（ここでは、目や口、鼻など）を検出することがなされる。そして、各部の位置関係を特定すると共に、画像ＰＩ上における乗員Ｈｍの顔面中心を検出し、乗員Ｈｍの頭部の位置を特定することがなされる。なお、顔位置特定処理では、人の頭部を円筒状に模した頭部モデル（図１２参照）を用いて、乗員Ｈｍの頭部の位置を特定することも一般的になされている。

そして、Ｓ１４０での画像処理の結果に基づいて、乗員Ｈｍの覚醒度を推定する周知の処理や、運転者が脇見運転をしているか否か等を判定する周知の処理を、乗員Ｈｍの状態を判定する状態判定として実行する（Ｓ１５０）。

続いて、Ｓ１５０での状態判定の結果に基づいて、自車両ＡＭの車室内に警告を出力する必要の有無を判定する（Ｓ１６０）。本実施形態におけるＳ１６０での判定では、例えば、乗員Ｈｍの覚醒度が予め規定された閾値未満であれば（すなわち、乗員Ｈｍが眠気を感じている場合）や、乗員Ｈｍが脇見運転を実施している場合に、警告を出力する必要があるものとする。

そして、Ｓ１６０での判定の結果、警告を出力する必要があれば（Ｓ１６０：ＹＥＳ）、アクチュエータ部５０に対して制御信号ＣＳを出力して警告を出力する（Ｓ１７０）。
乗員Ｈｍの覚醒度が閾値未満である場合に本実施形態のＳ１７０にて出力される警告としては、例えば、休息を促す旨を報知部５１から出力することや、振動部５２を介して運転席ＤＳやステアリングホイールＳＨを振動させること、空調制御装置５３を介して乗員Ｈｍに向けて冷風を吹き付けることなどがある。また、乗員Ｈｍが脇見運転を実施している場合に本実施形態のＳ１７０にて出力される警告としては、音声による報知を報知部５１から出力することや、振動部５２を介して運転席ＤＳやステアリングホイールＳＨを振動させること、空調制御装置５３を介して乗員Ｈｍに向けて冷風を吹き付けることなどがある。その後、Ｓ１８０へと移行する。

なお、Ｓ１６０での判定の結果、警告を出力する必要が無ければ（Ｓ１６０：ＮＯ）、Ｓ１７０を実行することなく、Ｓ１８０へと移行する。
このＳ１８０では、先のＳ１４０にて実施した顔位置特定処理にて特定した画像ＰＩ上における乗員Ｈｍの頭部（以下、顔位置領域と称す）を構成する全ての画素が、撮像規定領域に対応する撮像素子上の領域内であるか否かを判定する。このＳ１８０での判定の結果、顔位置領域を構成する全ての画素が、撮像規定領域に対応する撮像素子上の領域内でなければ（Ｓ１８０：ＮＯ）、Ｓ１９０へと進む。

そのＳ１９０では、次のサイクルのＳ１３０にて生成する画像ＰＩにおける顔位置領域の輝度値が、画像処理に適した画像を取得できるように、所定の輝度値となるように撮像部７のデジタルゲイン付加等の後処理により演算する補正制御を実行する。本来は、このデジタルゲイン等による補正は、Ｓ１４０処理の前に実行すべきであるが、認識処理した結果により補正値を演算するため、フレーム遅れで実行する。連続した撮像を高速（例えば３０ｆｐｓ）で実施する本システムの場合、その遅延はほとんど問題にならない。

本実施形態における補正制御は、図９に示すように、画像処理することによって得られた顔位置領域のうち、撮像規定領域に対応する撮像素子上の領域外となる領域ＲＴを構成する全ての画素の輝度値が、次回の撮像において、所定の輝度値となるように、デジタルゲインを演算し撮像画像を加工処理する。なお、本実施形態における所定の輝度値とは、顔位置領域を構成する全ての画素の輝度値が、強度基準値に対応する輝度値以上であり、かつ、各画素の輝度値の分布が第一基準範囲内となる輝度値である。

また、補正制御は、図７におけるＳ１２０〜Ｓ２００までの一連のサイクルを繰り返す過程で、段階的に収束するように実行しても良い。このように実行する理由は、実車環境では様々な要因により、最適な撮像条件が撮像フレームごとに大きく変更になる場合があり、制御テーブル上の設定値を一気に変更することでハンチングのような現象が起きる可能性があるからである。

その後、Ｓ２００へと移行する。
一方、Ｓ１８０での判定の結果、顔位置領域を構成する全ての画素が撮像規定領域に対応する撮像素子上の領域内であれば（Ｓ１８０：ＹＥＳ）、Ｓ１９０を実行することなく、Ｓ２００へと進む。

このようにして移行したＳ２００では、発光部９の制御値、及び撮像部７の制御値のうち、少なくとも一方について最適値を導出する。このＳ２００にて導出される制御値とは、例えば、露光時間、画素値を出力する際に付加するアナログゲイン値、発光強度などである。このＳ２００での制御値の導出は、予め実験などで求めた、画像ＰＩの状態と制御値の最適値との関係を対応付けたテーブルなどに従って実行すれば良い。

その後、Ｓ１２０へと戻り、Ｓ１９０にて演算されたデジタルゲインや、Ｓ２００にて導出した制御値を設定して、Ｓ１２０へと移行する。これにより、設定された制御値により新たに撮像される画像にデジタルゲインの演算値を付加して画像ＰＩが生成される。

そして、乗員Ｈｍによりイグニッションスイッチがオフされるまで、Ｓ１２０〜Ｓ２００を繰り返す。
［実施形態の効果］
ところで、上述した設置位置に撮像システム５を設置した場合、鉛直方向及び水平方向の平面である照射面における構成ポイントは、それぞれ、撮像システム５からの距離が異なる。

このような照射面における構成ポイントの一部は、規定領域ＰＡに存在する乗員Ｈｍの顔面の各部品（眼、鼻、口など）である可能性が高く、発光部９から照射される照明光を反射するポイントとなる可能性が高い。通常、この照明光を反射する構成ポイントまでの発光部９からの距離が遠いと、当該構成ポイントにて反射された光は、撮像素子の受光面に入射するまでに散乱することで減衰する。このため、従来の状態監視装置にて生成される画像は、状態監視ＥＣＵにおける状態監視処理の実行に適した画像ＰＩとならない可能性がある。

これに対し、本実施形態の状態監視装置１では、発光部９からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるように、光学部材１１を構成している。しかも、光学部材１１のより具体的な配光特性は、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となるようになされている。

このような状態監視装置１によれば、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が均一な画像ＰＩを生成でき、状態監視処理の実行に適した画像ＰＩを生成できる。

しかも、状態監視装置１によれば、状態監視処理の実行に適した画像ＰＩの生成を、従来の状態監視装置と比較して無駄な領域への発光を抑止できることから、発光器の数を増加させることなく照明の効果を高めることができる。したがって、状態監視装置１によれば、従来の状態監視装置に比べて、状態監視装置１全体の構成が大型化することを可能な限り抑制できると共に、発光器にて消費する電力の増加を可能な限り抑制することができる。

換言すれば、状態監視装置１によれば、撮像領域に対して可能な限り強度基準値以上の強さかつ均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することができる。

なお、光学部材１１の配光特性は、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるようになされている。
このような配光特性のもとで生成された画像ＰＩは、陰影がより顕著になるが、他の軸方向に照明分布を作るよりも検知性能の低下を抑制することができる。よって、画像ＰＩは、顔位置特定処理に用いられる頭部モデルの性質に合致したものとなる。

この結果、状態監視装置１によれば、必要以上に強い照明光を撮像領域全体に対して照射することなく、状態監視ＥＣＵ４０での状態監視処理に適した画像ＰＩを生成することができる。

さらに、状態監視装置１では、顔位置領域のうち、撮像規定領域の範囲外となる領域ＲＴを構成する全ての画素の輝度値が、次回の撮像において、所定の輝度値となるように補正制御を実行している。この補正制御により、状態監視装置１によれば、状態監視処理の実行に最適な画像ＰＩを高い確率で生成することができる。

さらには、状態監視装置１には、光学部材１３に遮光部１５が設けられている。このため、状態監視装置１によれば、発光部９にて発光した照明光が撮像部７に必要以上に入射することが防止され、状態監視処理の実行に最適な画像ＰＩを高い確率で生成することができる。

これらにより、状態監視装置１によれば、乗員Ｈｍの状態の監視精度を高いものとすることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、撮像システム５における発光部９の各々を、ＬＥＤにて構成したが、本発明における発光部９はこれに限るものではなく、照明光を発光する発光器であればどのようなものでも良い。

また上記実施形態では、発光部９の数を２つとしていたが、本発明における発光部９の数は、これに限るものではない。すなわち、図１０に示すように、発光部６７は、水平方向に比して鉛直方向に沿って密に配置した３つ以上の投光器であっても良い。この場合、発光部６７のそれぞれは、高い直進性を有した光を照明光として発光する装置であることが好ましい。

このような発光部９の構造であっても、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内とした画像ＰＩを生成でき、状態監視処理の実行に適した画像ＰＩを生成できる。

さらに、発光部６７のそれぞれを、直進性を有した光を照明光として発光する発光器によって構成する場合、状態監視装置には、各発光部６７を、複数の発光器が発光する照明光を集光して規定領域ＰＡに配光する光学部材を設けても良い。

また、上記実施形態のＳ１９０では、補正制御として、顔位置領域を構成する全ての画素が撮像規定領域に対応する領域内でない場合に、次のサイクルにて生成する画像ＰＩにおける顔位置領域の輝度値が、所定の輝度値となるように撮像部７のデジタルゲインを調整する補正制御を実行していたが、補正制御の内容は、これに限るものではない。例えば、補正制御は、顔位置領域が撮像規定領域に対応する領域内であるか否かに拘わらず実行しても良い。この場合、補正制御の実行内容は、顔位置領域に対応する画素の輝度値が、強度基準値に対応する輝度値以上であり、かつ、各画素の輝度値の分布が第一基準範囲内となるようにデジタルゲインを調整することでも良い。

なお、補正制御は、画像ＰＩを撮像するタイミングで実施しても良いし、画像ＰＩを撮像した後に、当該画像ＰＩの輝度値に補正を加えることで実施しても良い。
また、上記実施形態では、発光部９が照明光を発光するタイミングと、撮像部７が画像ＰＩを撮像するタイミングとの関係を、発光部９が照明光を発光する期間を撮像部７の露光期間よりも長く規定した上で、撮像部７による画像ＰＩの撮像（露光開始から露光終了まで）を、発光部９が照明光の発光期間中に実行していたが、照明光を発光するタイミングと、画像ＰＩの撮像タイミングとの関係は、これに限るものではない。つまり、撮像部７の露光期間が、発光部９が照明光を発光する期間よりも長くとも良い。

さらには、状態監視ＥＣＵ４０は、発光部９が、照明光を常時発光するように制御しても良い。
ところで、上記実施形態における設置位置は、ステアリングホイールＳＨが接続されるステアリングコラムＳＣの上部の外表面であったが、設置位置は、これに限るものではない。この場合、設置位置は、例えば、図１１に示すように、車室内のインナーリアビューミラーの近傍であっても良いし、ダッシュボード上や、メータ表面、メータ内部などであっても良い。

また、上記実施形態における状態監視装置１は、光学部材１３を備えていたが、本発明の状態監視装置１においては、光学部材１３を備えていなくとも良い。
上記実施形態では、状態監視処理の起動条件を、イグニッションスイッチがオンされた場合としたが、状態監視処理の起動条件はこれに限るものではなく、例えば、自車両ＡＭが開錠された場合であっても良いし、専用のスイッチがオンされた場合であっても良い。

なお、上記実施形態では、状態監視装置１の設置対象を自動車としたが、状態監視装置１の設置対象は、自動車に限るものではなく、自転車や鉄道車両であっても良い。つまり、状態監視装置１の設置対象は、車両であればどのようなものでも良い。

１…状態監視装置 ５…撮像システム ７…撮像部 ９，６７…発光部 １１…光学部材 １３…フィルタ部材 １５…遮光部 １７…遮光部 １９…減衰部 ２１…基板 ２３…部材 ２７…嵌合孔 ３０…可視光カットフィルタ ３１…シェード ３５…開口 ４０…状態監視ＥＣＵ ４１…ＲＯＭ ４２…ＲＡＭ ４３…ＣＰＵ

Claims (8)

1. 車両に搭載され、
   自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する少なくとも一つの発光手段（９，６７）と、
   前記規定領域から入射する光を、複数の画素を有した撮像素子にて受光することで画像を生成する撮像手段（７）と、
   前記撮像手段で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視手段（４０，Ｓ１４０〜Ｓ１５０）と、
   前記撮像手段の撮像素子における受光面の少なくとも一部の領域であって、前記規定領域に対応する領域を撮像規定領域とし、前記撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視手段での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように配光を制御する光制御手段（１１，６７）と、を備え、
   前記乗員の顔面における中心軸が位置する可能性が高い前記規定領域での領域を中心存在領域とし、
   前記受光面において前記中心存在領域に対応する領域を含む領域を前記撮像規定領域とし、
   前記光制御手段は、
   前記中心存在領域に対しては鉛直方向に沿った前記照明光の強さの分布が、均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように配光を制御し、
   更に、前記光制御手段は、
   前記中心存在領域に近いほど前記照明光の強さが強く、前記中心存在領域から水平方向に沿って離れた領域ほど前記照明光の強さが弱くなるように配光を制御する
   ことを特徴とする状態監視装置。
2. 前記光制御手段は、
   前記規定領域において存在する可能性が高い前記乗員の顔面の各ポイントのうち、前記発光手段における光源からの距離が遠いポイントほど、当該ポイントに到達する前記照明光の強さが強くなるように配光を制御する
   ことを特徴とする請求項１に記載の状態監視装置。
3. 前記光制御手段は、
   少なくとも一つの光学素子（１１）によって構成される
   ことを特徴とする請求項１又は請求項２に記載の状態監視装置。
4. 前記乗員の顔面が存在する位置が前記規定領域の範囲内であるか否かを判定する位置判定手段（４０，Ｓ１８０）と、
   前記位置判定手段での判定の結果、前記乗員の顔面が存在する位置が前記規定領域の範囲外であれば、前記画像において前記乗員の顔面が存在する位置に対応する領域を構成する各画素の輝度値が大きくなるように補正する補正制御を実行する輝度補正手段（４０，Ｓ１９０）と
   を備え、
   前記輝度補正手段にて補正制御が実行された画像を、前記撮像手段で生成した画像とする
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の状態監視装置。
5. 前記輝度補正手段は、
   前記撮像手段にて前記画像を生成する場合に前記補正制御を実行する
   ことを特徴とする請求項４に記載の状態監視装置。
6. 前記輝度補正手段は、
   前記撮像手段にて生成した前記画像に対して前記補正制御を実行する
   ことを特徴とする請求項４に記載の状態監視装置。
7. 前記発光手段から前記規定領域までの前記照明光の経路上に配置され、かつ近赤外波長を含む波長の光を透過するフィルタを有したフィルタ手段（１３）と、
   前記フィルタ手段を介して撮像素子に入射する前記発光手段からの光を低減する入射低減手段（１５，１７，１９）と
   を備えることを特徴とする請求項１から請求項６のいずれか一項に記載の状態監視装置。
8. 前記入射低減手段は、
   前記フィルタ内に配置され、かつ当該フィルタ内を伝播する前記照明光を減衰させる減衰手段（１９）である
   ことを特徴とする請求項７に記載の状態監視装置。