JP6106979B2 - 状態監視装置,及び光学部材 - Google Patents

状態監視装置,及び光学部材 Download PDF

Info

Publication number
JP6106979B2
JP6106979B2 JP2012164973A JP2012164973A JP6106979B2 JP 6106979 B2 JP6106979 B2 JP 6106979B2 JP 2012164973 A JP2012164973 A JP 2012164973A JP 2012164973 A JP2012164973 A JP 2012164973A JP 6106979 B2 JP6106979 B2 JP 6106979B2
Authority
JP
Japan
Prior art keywords
light
illumination light
intensity
area
state monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012164973A
Other languages
English (en)
Other versions
JP2014026047A (ja
Inventor
大見 拓寛
拓寛 大見
高広 山本
高広 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012164973A priority Critical patent/JP6106979B2/ja
Priority to CN201380038808.2A priority patent/CN104488257B/zh
Priority to PCT/JP2013/004432 priority patent/WO2014017061A1/ja
Priority to US14/408,397 priority patent/US9679209B2/en
Priority to EP13822127.0A priority patent/EP2860960B1/en
Publication of JP2014026047A publication Critical patent/JP2014026047A/ja
Application granted granted Critical
Publication of JP6106979B2 publication Critical patent/JP6106979B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Stroboscope Apparatuses (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
  • Studio Devices (AREA)

Description

本発明は、乗員の状態を監視する状態監視装置,及びその状態監視装置に用いられる光学部材に関する。
従来、車両に搭載され、当該車両の安全な走行を実現することを目的として、当該車両の乗員の状態を監視する状態監視装置(いわゆるドライバーモニタリングシステム)が知られている(例えば、特許文献1参照)。
この種の状態監視装置は、画像を生成する撮像システムと、その撮像システムで生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視部とを備えている。撮像システムは、少なくとも近赤外を含む波長の光(以下、照明光と称す)を発光する少なくとも一つの投光器と、投光器により照明光が照射される領域から反射しカメラレンズに入射される光を、複数の画素を有する撮像素子にて結像することで画像を生成するカメラとを備えている。
撮像システムに用いられるカメラは、自車両のシートに着座した平均的な体型(例えば「JIS D 0021 自動車の運転者アイレンジ」に規定されアイリプス99パーセンタイル)の乗員が、運転時の通常動作において姿勢変化することを考慮して、顔面が位置する可能性の高い領域を撮像領域とするような画角を有するレンズとともに、適切な位置に設置される。このようなカメラを用いて乗員の状態を安定して監視するためには、撮像領域に対して、状態監視部での画像処理に適した明るさ及びコントラストの画像を連続して取得できるように、非撮像物に対する光の強さとして予め規定された強度基準値以上の強さの照明光をなるべく均一に照射することが求められる。
特開2005−271876号公報
上述したように、撮像領域に対して強度基準値以上の強さかつ均一な照明光を照射する場合、複数の投光器にて実現することが考えられる。この場合、投光器の各々を複数箇所に設置したり、一箇所に設置する場合でも、投光器を構成する光源、例えばLED光源をアレイ状に複数設置したりすることが考えられる。
しかしながら、このような方法では、撮像システムにおいて投光器の占める面積が大きくなり、システム全体の構成が大型化するという問題や、投光器の数が増加することにより、投光器にて消費する電力が増加するという問題があった。
つまり、従来の状態監視装置では、撮像領域に対して強度基準値以上の強さかつ均一な照明光を照射するために、撮像領域ではない領域に対しても投光するなどシステムにとって不要な投光をするために投光器の数が増加するなど、装置全体の構成が大型化すると共に、投光器にて消費する電力の増加を低減できないという問題があった。
そこで、本発明は、状態監視装置において、乗員の状態を安定して監視可能な画像を生成しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することを目的とする。
上記目的を達成するためになされた本発明は、車両に搭載される状態監視装置に関する。
本発明の状態監視装置では、少なくとも一つの発光手段が、自車両の車室内空間において乗員の顔面が位置する領域として予めアイリプス等から設計上規定された規定領域に、少なくとも近赤外波長を含む照明光を照射する。そして、規定領域を含む車室内の領域を撮像領域とし、撮像手段が、撮像領域から入射する光を、複数の画素を有する撮像素子にて結像することで画像を生成する。その撮像手段で生成された画像を画像処理した結果に基づいて、状態監視手段が、自車両の乗員の状態を検知、推定し、その状態に応じてアクチュエーションを実行する。
さらに、本発明の状態監視装置は、光学手段を備えている。この光学手段は、入射部と、出射部とを備えている。
入射部は、発光手段のそれぞれにて発光された照明光を集光し、出射部は、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように、入射部のそれぞれにて集光した照明光を車室内空間に出射する出射面にて配光する。なお、撮像規定領域とは、撮像手段の撮像素子における受光面の少なくとも一部の領域であって規定領域に対応する撮像素子上の領域であり、強度基準値とは、状態監視手段での画像処理に適した画像となる光の強さとして予め規定されたものである。
なお、ここで言う分布とは、少なくとも、制御されたばらつきを含むものである。
本発明の状態監視装置によれば、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布を第一基準範囲内とすることができる。つまり、本発明の状態監視装置によれば、乗員の状態を安定して監視することが可能な画像を生成でき、しかも、従来の状態監視装置から発光手段の数を増加させることなく実現できる。
この結果、本発明の状態監視装置によれば、従来の状態監視装置に比べて、状態監視装置全体の構成が大型化することを可能な限り抑制できると共に、発光手段にて消費する電力の増加を可能な限り抑制することができる。
換言すれば、本発明の状態監視装置によれば、撮像領域に対して可能な限り強度基準値以上の強さかつ必要最小限に均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することができる。
なお、規定領域に存在する乗員の顔面の各部品(眼、鼻、口など)は、発光手段から照射される照明光が照射される位置に存在する可能性が高い。この照明光が顔に照射されると顔面からその光を反射することになるが、反射するポイントまでの発光手段における光源からの距離が遠いと、照明光がコヒーレントでない散乱光の場合、当該ポイントにて反射された光は、撮像素子の受光面に入射するまでに散乱することで減衰する。
この減衰する光の強さを考慮すると、本発明における出射部は、規定領域において存在する可能性が高い乗員の顔面の各部品のうち、発光手段における光源からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるように配光する構成としても良い。
通常、光は、距離の2乗に反比例して減衰するため、本発明の光制御手段においては、撮像規定領域に規定の光が届くように、予め距離に応じた強度分布を考慮して配光するように設計すると良い。
さらに、光の減衰は、距離だけでなく、撮像系レンズの周辺光量比にも影響を受ける。すなわち、同一距離同一輝度の光が異なる角度から撮像素子に入射する場合、撮像素子の中央に到達する光の強さは、周辺に到達する光の強さより強くなる。このため、本発明の光学制御手段は、その光量比を考慮して光学中心から離れることに応じて強くするように配光しても良い(配光に補正を加えても良い)。また、撮像レンズへの入射角度によっては、表面反射の影響で大きく減衰する場合があるので、本発明の光制御手段においては、それを考慮した配光特性になるように制御すると効果的である。
このような出射部によれば、状況監視手段にて画像処理を実行する画像について、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布を第一基準範囲内とすることができる。
ただし、上記画像は、規定領域に乗員などが存在していない場合における画像について説明したものである。このような画像は、規定領域に乗員が存在する場合には、例えば、眉毛のように反射率が低い部位や、鼻の穴のように照射光の光軸に対して陰となる部位については、局所的に暗くなり、陰影がはっきりとした画像となる。この画像であれば、画像処理により適したものとなる。
また、本発明においては、乗員の顔面中心が位置する可能性が高い規定領域での領域を中心存在領域とし、受光面において中心存在領域に対応する領域を撮像規定領域としても良い。この場合、本発明の出射部は、中心存在領域に対しては垂直方向に沿った照明光の強さの分布が、均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように配光する構成としても良い。
このような出射部によれば、中心撮像領域を構成する各画素のうち垂直方向に沿った画素における輝度値の分布を垂直以外の方向と比較して均一化することができる。なお、ここで言う垂直方向とは、水平面に対して鉛直である方向を含み、さらには、水平面に対する垂直軸から所定の角度範囲内を含む方向である。
なお、本発明における中心存在領域は、車両の種類によって異なるアイリプスとして定義される楕円内に目が存在するときの顔全体が撮像規定領域から外れない領域を包含する領域であることが好ましい。なお目位置を基準にした顔の大きさについてはAISTから公開されている「人体寸法データベース(http://riodb.ibase.aist.go.jp/dhbodydb/91−92/)」などを参照して決定しても良い。
このような状態監視装置では、状態監視手段による画像処理として、乗員の顔向き検出、乗員の眠気検出,乗員の視線検出などを実施することが一般的であり、これらの検出を行う場合には、乗員の顔及び顔部品(目、鼻、口など)の少なくとも一つの検出が必要となる。
乗員の顔向きを検出する処理では、人の頭部を模擬した頭部モデルを用いることが一般的である。頭部モデルは、前記人体寸法データベース等を用いて標準顔とした3次元モデルもあれば、図1に示すように、単純な円筒モデルで表されることもある。光が照射された円筒モデルは、通常、中心軸に近いほど明るく、径方向に沿って中心軸から離れるほど暗くなり、陰影が明確になるという性質があり、それを折り込んだ検出アルゴリズム(または前処理)になっていることが多い。
そこで、本発明の出射部は、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるように配光する構成としても良い。
このような配光は、陰影がより顕著になるが、他の軸方向に照明分布ができた濃淡画像よりも検知性能の低下を抑制することができる。
このような出射部によって実現される配光は、頭部モデルの性質に合致したものとなる。この結果、必要以上に強い照明光を撮像領域全体に対して照射することなく、状態監視手段における画像処理に適した画像を生成することができる。なお、ここで言う水平方向とは、水平面に対して平行である方向を含み、さらには、水平面に対する水平軸から所定の角度範囲内を含む。
本発明における光学手段は、入射部に形成された平面である接続面に、出射部が接続された光学部材によって実現できる。
光学手段が光学部材によって実現される場合、出射部は、シリンドリカル形状を出射面の少なくとも一部分として有し、かつ自車両の鉛直方向に軸方向に沿った軸が一致するように、接続面に配置されたシリンドリカルレンズを備えていても良い。さらに、出射部は、三角柱状に形成され、複数の面のうちの一つの面を出射面の少なくとも一部分とし、かつ当該複数の面のうちの一つの面が鉛直方向に沿って傾斜する傾斜面となるように接続面に配置された、少なくとも一つのプリズムを備えていても良い。
出射部をこのように構成すれば、上位請求項に係る発明を実現でき、上位請求項と同様の効果を得ることができる。
なお、本発明は、少なくとも一つの発光手段と、撮像手段と、状態監視手段とを有した状態監視装置に用いられる光学部材としてなされていても良い。
本発明が適用された状態監視装置の設置位置を示す図である。 状態監視装置の概略構成を示すブロック図である。 撮像システムの内部構造を示す図である。 光学部材の構造を示す図である。 光学部材の配光特性を説明する説明図である。 光学部材の外観を示す斜視図である。 光学部材の構造を示す図である。 光学部材による配光の様子を説明する説明図である。 光学部材による配光の様子を説明する説明図である。 状態監視ECUの機能ブロック図である。 光学部材の変形例を示す図である。 状態監視装置の設置位置の変形例を示す図である。 頭部モデルを説明する説明図である。 規定領域の設定方法の変形例を示す説明図である。
以下、本発明の実施形態を図面と共に説明する。
〈状態監視装置〉
図1に示すように、状態監視装置1は、自動車AMの安全な走行または乗員の快適な運転環境を実現することを目的として、自車両AMの乗員(本実施形態では、運転者)Hmの頭部を含む画像に基づいて、乗員Hmの状態を監視する、いわゆるドライバモニタリングシステムである。
この状態監視装置1は、図2に示すように、画像PIを生成する撮像システム5と、画像PIに対して画像認識処理を実行して乗員Hmの状態を監視する状態監視ECU(Electronic Control Unit)40とを備えている。さらに、状態監視装置1には、自車両AMに搭載された各種装置を含むアクチュエータ部50が接続されている。
撮像システム5は、少なくとも近赤外領域の波長を含む波長の光(以下、照明光と称す)を発光すると共に、画像PIを生成するシステムである。撮像システム5は、図3に示すように、撮像部7と、発光部9と、光学部材11と、光学部材13と、基板21とを備えている。
そして、撮像システム5は、自車両AMの乗員Hmの頭部が位置する可能性のある車室内空間での領域(以下、規定領域PA(図1参照)と称す)を含む領域を撮像領域とするように予め規定された設置位置に設置される。本実施形態における規定領域PAとは、例えば、通常の運転姿勢をとっている運転者の目が存在する位置を表す楕円状の領域(即ち、アイリプス)内を包含する領域である。この規定領域PAは、例えば、予めアイリプスから設計上規定すれば良く、撮像部7から見た場合、運転席DSのヘッドレスト近傍の領域となる。規定領域PAが包含する領域は、アイリプスの99パーセンタイルであったり、95パーセンタイルであったりしても良い。
通常、アイリプスは、シート位置によって一義的に決定される。このため、シート位置を設定可能な位置の範囲が一般的な位置の範囲とは異なる車両に対しては、乗員Hmの頭部が実際の運転時に位置し得ない領域を規定領域PAとして決定している可能性があった。
そこで、規定領域PAの決定方法は、アイリプスから設計上決定する方法に限らず、実験により、運転時の通常姿勢にて乗員Hm(被験者)をシートに着座させた場合に、各乗員Hmの頭部が位置する領域の分布から決定しても良い(図14参照)。具体的には、例えば、各乗員Hmの頭部が位置する領域の分布において、規定された割合以上の領域を包含する範囲を規定領域PAとして決定することが考えられる。ただし、ここで言う多くの乗員Hm(被験者)は、人種や性別、年齢などが異なる様々な人物であることが好ましい。
なお、図1においては、破線にて示した矩形の領域のそれぞれが、様々な人種、性別、年齢の被験者が各々の運転に適した姿勢にドライビングポジションをセットしたときの撮像結果から、当該被験者の頭部が位置する領域を囲んだものであり、一点鎖線にて示した矩形の領域が、自車両AMの乗員Hmの頭部が位置する可能性のある領域(即ち、規定領域PA)である。
この方法にて規定領域PAを決定すれば、乗員Hmの頭部が実際に位置しない領域が規定領域PAとして決定されることを低減できる。ただし、規定領域PAは、通常の運転姿勢に限定するのではなく、運転動作に伴うある程度の顔移動を見込んで規定しておくことが好ましい。
なお、本実施形態における設置位置は、ステアリングホイールSHが接続されるステアリングコラムSCの上側外表面である。このような設置位置に撮像システム5を設置する場合、撮像システム5の中心軸(照射基準軸:図5参照)は、水平軸(図5参照)との間に所定の角度(仰角)を有する。
撮像部7は、撮像素子(いわゆるCCDやCMOSなどイメージセンサ)、光学レンズ、光学フィルタ、発振器、インターフェース回路、電源等の周辺電子回路を有した周知の撮像装置であり、光学レンズを介して撮像素子に入射した光を各画素が受光して、光の強弱に応じた濃淡のある画像PIを生成する。
本実施形態における撮像部7は、周囲の環境に応じてゲインや露光時間などをオートまたはマニュアルによってアクティブに制御されるよう構成されており、また、撮像タイミングも任意に設定できるように通信機能を備えている。なお、撮像素子は近赤外光に対する感度が高い素子が好ましい。
発光部9は、状態監視ECU40からの制御指令COに従って、照明光を発光する発光器である。本実施形態の状態監視装置1は、2つの発光部9を備えている。また、本実施形態において、発光部9を構成する発光器は、1つの発光ダイオード(LED(Light Emitting Diode))である。
光学部材11は、詳しくは後述するように、発光部9からの照明光を集光、反射すると共に、その集光した照明光を規定領域PAに対して配光する。
基板21は、電子部品が実装され、配線が形成されたプリント基板であり、基板のほぼ中央部に撮像部7が固定され、撮像部7から適度に離れた位置に、1つ以上の発光部9が固定される。
部品23は、基板21に接続する機構を有している。この部品23には、基板21において撮像部7が固定される位置と対向する位置に、撮像部7が挿通する孔(以下、第一挿通孔と称す)25が形成されている。さらに、部品23には、基板21において発光部9が固定される位置と対向する位置に、光学部材11を所定の位置関係を保持する保持構造を備えている。発光部9と光学部材11の位置関係は、投光器の照射特性として重要であり、これらが位置ズレを起こすと十分な性能が得られないため、基板21と部品23は位置決めピンなどで位置ズレ精度が補償されるようにする。なお、部品23と光学部材11は一体成型で構成されていても良い。
光学部材13は、光学部材11を通過した照明光のうち不要光を除去すると共に、発光部9から発せられた光が内部反射により撮像部7に入射しないように遮蔽する部材である。光学部材13は、可視光カットフィルタ30と、シェード31とを備え、2色成形等により一体化されている。
図4に示すように、可視光カットフィルタ30は、全体として、矩形の板状に形成された光学フィルタであり、状態監視ECU40での画像処理に適した光の成分として予め定められた光の成分(例えば、近赤外領域の波長)、すなわち投光器の波長成分の光の多くを少なくとも透過するとともに、撮像部7にとって不要であり、かつ、発光部9を運転者Hmが直接見えにくくすることを目的として可視光をできるだけカットするような材料で作られる。
シェード31は、可視光カットフィルタ30を保持する保持構造を有している。このシェード31には、基板21において撮像部7が固定される位置と対向する位置に撮像部7が挿通する孔(以下、第二挿通孔と称す)33が形成されていると共に、光学部材11から出射された光を通すようにそれぞれと対向する位置に開口35が形成されている。
なお、光学部材13は、発光部9から規定領域PAまでの照明光の経路上にて、撮像部7及び発光部9(光学部材11)を覆うように配置される。
さらに、シェード31は、近赤外光を含む光を通さない遮光材料で作られており、発光部9にて発光した照明光が表面反射や内部伝搬等により撮像部7に必要以上に強い光として入射することを防止する遮光部15を備えている。
本実施形態では、遮光部15の一つとして、撮像部7の周囲を覆う筒状に形成され、第一挿通孔25に嵌挿される遮光部17を備えている。
拡散板37,38は、それぞれ、シェード31の開口35,36を覆う形状に形成されたレンズ拡散板である。この拡散板37,38は、それぞれ、開口35,36を通過した照明光を、予め規定された角度範囲(例えば、5度から20度)に拡散させるフィルタである。拡散板37,38には、規定された角度範囲への照明光の拡散を実現することを目的として、例えば、シート状に形成された基板の表面に凹凸を有したマイクロレンズアレイが形成されている。
〈光学部材による配光〉
光学部材11による配光は、撮像規定領域を構成する各画素に入射する光の強さが、状態監視ECU40での画像処理に適した画像PIとなる光の強さとして予め規定された強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるようになされる。なお、ここで言う撮像規定領域とは、撮像部7の撮像素子における受光面において、規定領域PAからの光が入射する領域である。規定領域PAに存在する被写体の形状や反射率により撮像規定領域における受光量は異なるため、便宜上、規定領域PAには鉛直でどの角度から見ても一定な反射率を為す平板が存在すると仮定して説明している。また、ここで言う第一基準範囲とは、光の強さの分布が、画像処理に適した最低限度のばらつきであるとみなせる範囲である。
撮像素子の受光面において、上述したような光の入射を実現するために、本実施形態の光学部材11による配光は、図5に示すように、照明光の強さが、中心存在領域に近い領域ほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるようになされている。
ここで言う中心存在領域とは、規定領域PAにて乗員Hmの顔面(頭部)が存在する可能性のある平面(以下、照射面と称す)において、乗員の顔面中心(中心軸)が位置する可能性が高い領域である。なお、照射面とは、例えば、規定領域PAを含む領域を分割する鉛直面であり、車両の進行方向に対し前後に分割する仮想的な平面である。規定領域PAは、3次元的な空間であるが、照射面は便宜上2次元平面であり、平板正面の反射特性は指向性を持たないものとして説明する。この照射面には、規定領域PAにて乗員Hmの顔面(頭部)が存在する可能性が高い。
さらに、光学部材11による中心存在領域内に対する配光は、規定領域PAにおける鉛直方向に沿った照明光の強さの分布が均一となるようになされる。この均一とは、例えば、照明光の強さの分布が、予め規定された第二基準範囲内となることである。
なお、図5においては、到達する照明光の強さが強い領域ほど、ハッチングの濃度を濃くし、到達する照明光の強さが弱い領域ほど、ハッチングの濃度を薄くしている。
また、図5に示す例では、中心存在領域をはじめとした、照明光の強さが段階的に変化する範囲を、楕円形状にて表した。しかし、図5に示す照明光の強さが段階的に変化する範囲は、一例であって、楕円形状に限るものではない。さらには、図5に示す例では、照明光の強さの変化を段階的に示しているが、実際には、照明光の強さの変化は、連続的に滑らかとなるようになされる。
〈光学部材の構成〉
上述した配光を実現するため、本実施形態における光学部材11は、図6,図7に示すように、発光部9からの照明光が入射される入射部60と、入射部60にて集光した照明光を規定領域PAに対して配光する出射部75とを備えている。光学部材11は、照明光が通過する平面(以下、接続面と称す)68にて、入射部60と出射部75とが接続され、一体に成型されたレンズである。接続面68には、当該接続面68から突出する板状の部位であり、かつ、部品23に設けられた嵌合孔27の周縁と係合する係合部87が設けられている。
光学部材11は、照明光を透過する材料、例えば、ガラスや,樹脂などによって形成されている。樹脂材料で形成する場合、発光部9の近傍に設置されるため高温に耐える材料、例えば、COC(Cyclic Olefin Copolymer:環状オレフィンコポリマー)、COP(Cyclic Olefin Polymer:環状オレフィンポリマー)、PC(ポリカーボネート)など高いガラス転移温度を有し、高光学特性(高透明性、低複屈折)を有する材料が好ましい。
なお、図6(A)は、光学部材11を出射部75から斜視した斜視図であり、図6(B)は、光学部材11を入射部60から斜視した斜視図である。また、図7(A)は、光学部材11を出射部75から視た正面図であり、図7(B)は、光学部材11の側面図である。図7(C)は、図7(A)におけるA−A断面図であり、図7(D)は、光学部材11を入射部60から視た正面図である。
入射部60は、凸部62と、導入部64と、反射部66とを備えている。
反射部66は、延出面70から接続面68に渡って拡径する円柱状に形成された部位である。延出面70とは、入射部60内に仮想的に規定した平面であり、凸部62及び導入部64が設けられる反射部66の面である。本実施形態においては、図7(C)に記載した一点鎖線での断面が延出面70に該当する。
凸部62は、錐体に形成された部位であり、反射部66の延出面70における中央部から突出するように設けられている。本実施形態において、凸部62の形状を表す錐体とは、例えば、円錐である。なお、凸部62の側面は、凸部62の頂部から延出面70に渡って連続して変化する曲面であっても良い。ここで言う曲面には、非球面を含む。
そして、凸部62の開口径は、照射面における鉛直方向の上方へと向かう光量と照射面全体を照射する光量の比が、鉛直方向に均一な配光となるように調整されている。
導入部64は、凸部62を周方向に沿って囲む環状に形成された部位であり、反射部66の延出面70から突出するように設けられている。この当該導入部64の頂点は、凸部62の頂点よりも高くなるように設けられている。
この導入部64において、延出面70から突出する部分の断面形状は、例えば、三角形や、その他の形状である。三角形状には、頂点部分が面取りされたほぼ三角形状を含む。
導入部64の外周面は、延出面70において、反射部66の外周と一致するように設けられていると共に、導入部64の頂点から延出面70に渡って拡径するように設けられている。
以下、導入部64の外周面と、反射部66の外周面とによって形成される入射部60の側面を、集光外周面74と称す。
その集光外周面74は、接続面68から導入部64の頂点に渡って連続して変化する曲面に形成されている。そして、集光外周面74の曲面は、導入部64の内周面(本発明の透過面に相当)72から入射した照明光を接続面68へと全反射するような臨界角を備えた曲率を有している。
なお、導入部64の内周面72は、円筒の側面に相当する形状に形成されていても良いし、当該内周面で屈折した光線が反射部66にて、効率よく出射面へと光線を導く形状に形成されていても良い。
また、凸部62は、入射光量の割合が、導入部64に対して、例えば、1.0〜3.0倍となるように構成されていても良い。
次に、出射部75は、入射部60のそれぞれにて集光した照明光を出射面から出射して配光する部位である。本実施形態における出射部75は、シリンドリカル部77と、プリズム部79,83とを備えている。
シリンドリカル部77は、シリンドリカル面89が出射面の少なくとも一部分となるように、接続面68の中央部分に接続された周知のシリンドリカルレンズである。このシリンドリカル部77(シリンドリカルレンズ)の接続面68への接続は、シリンドリカルレンズの軸方向に沿った軸が、自車両の鉛直方向に沿った軸に一致するようになされている。
なお、本実施形態におけるシリンドリカル面89は、非球面である。この非球面の形状を実現する削り量zは、周知の下記(1),(2)式によって表される。
ただし、(1)式中のcは、基準となる曲率半径の逆数であり、kは、円錐係数であり、C2nは、非球面係数である。また、rは、レンズ中心から該当箇所までの距離である。
ただし、シリンドリカル面89は、非球面に限らず、球面であっても良い。また、シリンドリカル面89の曲率は、シリンドリカル面89を通過する照射光が屈折して規定領域PAへと照射されるように、撮像システム5の設置位置と中心存在領域との位置関係に応じて適宜決定すれば良い。
なお、凸部62の側面における曲率、及び集光外周面74の曲面の曲率を実現する削り量zについては、上記(1),(2)式に基づいて決定しても良い。
このように、シリンドリカル面89、及び凸部62の側面を、上記(1),(2)式に基づいて決定する場合、それぞれの曲率や非球面係数C2nは、照射面のアスペクト比に基づいて決定すれば良い。具体的には、シリンドリカル面89であれば、照射面のアスペクト比が大きければ、曲率を小さく設定する。これにより、水平(左右)方向に陰影を与えることができる。
プリズム部79,83は、それぞれ、三角柱状に形成されたプリズムである。プリズム部79,83(プリズム)は、シリンドリカルレンズ部77を挟み込むように、シリンドリカルレンズ部77に一辺が当接して接続面68に接続されている。
さらに、プリズム部79,83(プリズム)は、それぞれのプリズムが有する複数の面のうちの一つの面が、自車両AMの鉛直方向に沿って傾斜する傾斜面81,85となるように接続面68に配置される。傾斜面81,85における鉛直方向に沿った傾斜は、自車両AMの天板に近いほど接続面68からの高さが高くなり、自車両AMの天板から離れるほど接続面68からの高さが低くなるように設けられている。
この傾斜面81,85における鉛直方向に沿った傾斜は、仰角が20°〜30°である場合には、例えば、10°から50°に設計することが好ましい。
さらに、傾斜面81,85は、それぞれ、自車両の水平方向に沿った傾斜を有している。この水平方向に沿った傾斜は、シリンドリカル部77から離れるほど、接続面68からの高さが低くなり、シリンドリカル部77に近づくほど、接続面68からの高さが高くなるように形成されている。
なお、傾斜面81,85の傾斜角は、それぞれ、傾斜面81,85を通過する照射光が屈折して規定領域PAへと照射されるように、撮像システム5の設置位置と中心存在領域との位置関係に応じて決定すれば良い。
具体的には、撮像システム5の設置位置と中心存在領域との位置関係として、撮像システム5の基準軸と水平軸とがなす角(仰角)の照射中心に対して、均一性が必要となる照射面における領域(即ち、中心存在領域)の上方部分までの距離と、光学部材11から照射面までの距離とを用いても良い。
すなわち、上述した配光特性の実現は、上記(1)式における各係数、及び傾斜面81,85の傾斜角、凸部62の開口径、光学部材11自体のレンズ径、レンズ面寸法を適宜変更することでなされる。
上述したように形成された光学部材11では、図8,図9に示すように、発光部9にて発光された照明光のうち、入射部60の凸部62から入射した照明光は、接続面68を経て、出射部75のシリンドリカル部77へと導かれる。そして、シリンドリカル部77へと導かれた照明光は、シリンドリカル面89を通過する際に屈折し、規定領域PAの中心存在領域に照射される。
また、発光部9にて発光された照明光のうち、導入部64の内周面72から入射した照明光は、反射部66の外周面または導入部64の外周面にて反射し接続面68を経て、出射部75へと導かれる。この導入部64の内周面72を透過して出射部75へと導かれた照明光のうち、シリンドリカル部77へと導かれた照明光は、規定領域PAの中心存在領域に照明光が集中し、中心存在領域から離れる程、照射される照明光が少なくなるように、シリンドリカル面89を通過する際に屈折される。
一方、プリズム部79,83へと導かれた照明光は、規定領域PAの中心存在領域に照明光が集中し、中心存在領域から離れる程、照射される照明光が少なくなるように、傾斜面81,85の水平方向に沿った傾斜に従って屈折される。さらに、プリズム部79,83へと導かれた照明光は、規定領域PAにおける鉛直方向に沿って均一の強さとなるように、傾斜面81,85の鉛直方向に沿った傾斜に従って屈折される。
以上説明したように規定領域PAに配光される照明光は、照射面に到達する照明光の強さが基準値以上となり、かつ発光部9からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなる。さらに、規定領域PAに対する配光は、中心存在領域における鉛直方向に沿った構成ポイントに入射する光の強さの分布が第二基準範囲内となり、かつ、中心存在領域から水平方向に沿って離れた領域ほど照明光の強さが弱くなる。
一方、撮像システム5の撮像部7では、光学レンズを介して撮像素子に入射した光を結像して画像PIを生成する。本実施形態の撮像システム5は、規定領域PAを撮像領域としているため、撮像部7が生成する画像PIには、通常、自車両AMの乗員Hmの頭部(顔面)が含まれる。
しかも、撮像システム5では、上述したように照明光を配光するため、撮像規定領域を構成する各画素に入射する光の強さは、強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布が第一基準範囲内となる。
〈状態監視ECU〉
図2に示すように状態監視ECU40は、ROM41と、RAM42と、CPU43とを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。
ROM41は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する記憶装置である。RAM42は、データを一時的に格納するメモリであり、CPU43は、ROM41またはRAM42に記憶されたプログラムに従って処理を実行する演算処理装置である。
ROM41には、乗員Hmの状態を監視した結果、自車両AMの運転に対する乗員Hmの安全性が低い状態である場合に注意喚起や警告を行うことで自車両AMの安全な走行が実現されるようにアクチュエータ部50を制御して乗員Hmに働きかける状態監視処理を、CPU43が実行するためのプログラムが格納されている。
つまり、本実施形態の状態監視ECU40は、撮像部7にて生成した画像PIに対して画像処理を実行した結果に基づいて、自車両AMの乗員Hmの状態を監視すると共に、撮像システム5を制御する。さらに、状態監視ECU40は、自車両AMの乗員Hmの状態を監視した結果に基づいて、アクチュエータ部50を制御する。
アクチュエータ部50には、報知部51と、振動部52と、空調制御装置53とが含まれている。
振動部52は、自車両AMのシート(本実施形態では、運転席のシートDSを含む)に内蔵され、状態監視ECU40からの制御信号CSに従ってシートを振動させるシート振動部や、ステアリングホイールSHを制御信号CSに従って振動させるステアリング振動部(図示せず)を含む。空調制御装置53は、自車両AMに搭載された空調装置を制御する。
報知部51は、状態監視ECU40からの制御信号CSに従って報知する機構であり、スピーカ部54と、表示部55とを含む。スピーカ部54は、音を出力する機構であり、表示部55は、異なる内容の情報を表示態様の変更によって示す機構(例えば、液晶ディスプレイやインジケータ)である。
図10に示すように、状態監視処理を実行した状態監視ECU40は、発光部9による照明光の発光、及び撮像部7による画像PIの生成を制御する制御部45と、画像PIに対して画像処理を実行する画像処理部46と、画像処理部46にて画像処理が実行された画像PIに基づいて、自車両AMの乗員Hmの状態を推定する状態推定部47と、状態推定部47での推定結果に基づいて、アクチュエータ部50を制御する警報判定部48として機能する。
なお、本実施形態における画像処理とは、画像PIにおける乗員Hmの頭部の位置を特定する周知の処理(以下、顔位置特定処理と称す)や、乗員Hmの目の開度を導出する周知の処理、乗員Hmの視線の方向を検出する周知の処理が含まれる。
顔位置特定処理では、図13に示すような、人の頭部を円筒状に模した頭部モデルを用いて、乗員Hmの頭部の位置を特定する周知の処理が一般的になされている。この顔位置特定処理では、例えば、画像PIに写り込んだ乗員のHmの顔面における左右の端部を検出し、その検出した左右の端部によって挟まれる領域に存在し、顔を構成する各部(ここでは、目や口、鼻など)を検出することがなされる。そして、各部の位置関係を特定すると共に、画像PI上における乗員Hmの顔面中心を検出し、乗員Hmの頭部の位置を特定することがなされる。
そして、状態監視処理では、画像処理の結果、乗員Hmの覚醒度が予め規定された閾値未満である場合(すなわち、乗員Hmが眠気を感じている場合)や、乗員Hmが脇見運転を実施している場合に、アクチュエータ部50を制御する。
例えば、乗員Hmの覚醒度が閾値未満である場合のアクチュエータ部50の制御としては、例えば、休息を促す旨を報知部51から出力することや、振動部52を介して運転席DSやステアリングホイールSHを振動させること、空調制御装置53を介して乗員Hmに向けて冷風を吹き付けることなどがある。また、乗員Hmが脇見運転を実施している場合のアクチュエータ部50の制御としては、音声による報知を報知部51から出力することや、振動部52を介して運転席DSやステアリングホイールSHを振動させること、空調制御装置53を介して乗員Hmに向けて冷風を吹き付けることなどがある。
[実施形態の効果]
本実施形態の状態監視装置1では、発光部9からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなるように、光学部材11の出射面を構成している。
具体的には、光学部材11の出射面の一部である傾斜面81,85を、鉛直方向に沿って傾斜させている。この傾斜面81,85により、当該傾斜面81,85を透過する照明光を屈折させ、中心存在領域に照明光を集中させることができる。これにより、光学部材11によれば、撮像規定領域における鉛直方向に沿った各画素に入射する光の強さの分布が第二基準範囲内となる照明光の配光特性を実現できる。
また、光学部材11の出射面の一部としてシリンドリカル面89を設けている。さらに、傾斜面81,85を、水平方向に沿って傾斜させている。これらシリンドリカル面89及び傾斜面81,85により、当該傾斜面81,85を透過する照明光を屈折させ、中心存在領域に近いほど照明光の強さが強く、中心存在領域から水平方向に沿って離れるほど照明光の強さが弱くなる照明光の配光特定を実現できる。
このような状態監視装置1によれば、撮像規定領域を構成する各画素に入射する光の強さが強度基準値以上であり、かつ、撮像規定領域を構成する各画素に入射する光の強さの分布を第一基準範囲内とした画像PIを生成できる。すなわち、状態監視装置1が生成する画像PIを、状態監視処理による乗員Hmの顔面の位置を検出することに適した、ひいては、乗員Hmの状態を安定して監視可能な画像PIとすることができる。
しかも、状態監視装置1によれば、上述した効果を従来の状態監視装置と比較して無駄な領域への発光を抑止できることから、発光器の数を増加させることなく照明の効果を高めることができる。したがって、状態監視装置1によれば、従来の状態監視装置に比べて、状態監視装置1全体の構成が大型化することを可能な限り抑制できると共に、発光器にて消費する電力の増加を可能な限り抑制することができる。
換言すれば、状態監視装置1によれば、撮像領域に対して可能な限り強度基準値以上の強さかつ均一な照明光を照射しつつ、装置全体の構成が大型化することを可能な限り抑制すると共に、投光器にて消費する電力の増加を可能な限り抑制することができる。
光学部材11の配光特性は、照明光の強さが、中心存在領域に近いほど強く、中心存在領域から水平方向に沿って離れた領域ほど弱くなるようになされている。
このような配光特性のもとで生成された画像PIは、濃淡がより顕著になるが、他の軸方向に照明分布を作るよりも検知性能の低下を抑制することができる。よって、画像PIは、顔位置特定処理に用いられる頭部モデルの性質に合致したものとすることができる。
なお、照明光は、一般的に、距離に比例して減衰する。例えば、照射面に到達する照明光を均一な強さとなる配光特定とした場合、発光部から各構成ポイントまでの距離や、各構成ポイントから撮像素子の受光面までの距離によって、本来、同等の輝度値であるべき画素であっても、輝度値にばらつきが生じる。
このため、従来技術によって生成する画像は、中心存在領域内であっても濃淡が大きくなり、乗員Hmの状態を安定して監視可能な画像PIとならない可能性がある。
これに対し、状態監視装置1によれば、乗員Hmの状態を安定して監視可能な画像PIを生成できる。
ところで、従来の状態監視装置では、発光部が強い照明光を発光すると、フィルタが変色してしまい、乗員Hmが違和感を覚えることがあるという問題があった。
これに対し、状態監視装置1では、発光部9それぞれと光学部材13との間に拡散板を設けている。このため、状態監視装置1によれば、乗員Hmが違和感を覚える可能性を低減できる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
例えば、上記実施形態における光学部材13は、可視光カットフィルタ30と、シェード31と、拡散板37,38とを備えていたが、本発明における光学部材13の構成はこれに限るものではない。すなわち、本発明における光学部材13は、図11に示すように、可視光カットフィルタ30と、シェード31とを備え、拡散板37,38が省略されていても良い。
さらには、本発明の状態監視装置においては、光学部材13自体が省略されていても良い。
また、上記実施形態では、一つの発光部9を構成する発光器の数を一つとしていたが、一つの発光部9を構成する発光器の数は、一つに限るものではない。例えば、一つの発光部9を複数の発光器にて構成しても良い。この場合、複数の発光器(LED)を近接して配置し、一つの発光器として機能させることが好ましい。
撮像システム5における発光部9の各々は、LEDにて構成されていたが、本発明における発光部9の構造は、これに限るものではなく、照明光を発光する発光器であればどのようなものでも良い。
ところで、上記実施形態における撮像システム5の設置位置は、ステアリングホイールSHが接続されるステアリングコラムSCの上部の外表面であったが、撮像システム5の設置位置は、これに限るものではない。撮像システム5の設置位置は、例えば、図12に示すように、車室内のインナーリアビューミラーの近傍であっても良い。
撮像システム5の設置位置を、車室内のインナーリアビューミラーの近傍とする場合、光学部材11の傾斜面81,85は、自車両AMの天板から離れるほど、接続面68から傾斜面81,85までの高さが高くなり、自車両AMの天板に近づくほど、接続面68から傾斜面81,85までの高さが低くなるように、鉛直方向に沿った傾きを有するように形成される。
また、撮像システム5の設置位置は、ダッシュボード上や、メータ表面、メータ内部などであっても良い。すなわち、光学部材11は、上記実施形態に記載された、照射面に到達する照明光が、強度基準値に対応する値として規定された基準値以上となり、かつ、構成ポイントのうち、発光部9からの距離が遠い構成ポイントほど、当該構成ポイントに到達する照明光の強さが強くなることを実現できれば、どのように構成されていても良い。
なお、上記実施形態では、状態監視装置1の設置対象を自動車としたが、状態監視装置1の設置対象は、自動車に限るものではなく、自転車や鉄道車両であっても良い。つまり、状態監視装置1の設置対象は、車両であればどのようなものでも良い。
1…状態監視装置 5…撮像システム 7…撮像部 9…発光部 11…光学部材 13…光学部材 15…遮光部 30…可視光カットフィルタ 31…シェード 37,38…拡散板 40…状態監視ECU 41…ROM 42…RAM 43…CPU 45…制御部 46…画像処理部 47…状態推定部 48…警報判定部 50…アクチュエータ部 60…入射部 62…凸部 64…導入部 66…反射部 68…接続面 70…延出面 72…内周面 74…集光外周面 75…出射部 77…シリンドリカル部 79,83…プリズム部 81,85…傾斜面 87…係合部 89…シリンドリカル面

Claims (9)

  1. 車両に搭載され、
    自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する少なくとも一つの発光手段(9)と、
    前記規定領域から入射する光を、複数の画素を有した撮像素子にて受光することで画像を生成する撮像手段(7)と、
    前記撮像手段で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視手段(40)と、
    前記発光手段のそれぞれにて発光された照明光を集光する入射部(60)と、前記撮像手段の撮像素子における受光面の少なくとも一部の領域であって前記規定領域に対応する領域である撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視手段での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように、前記入射部のそれぞれにて集光した照明光を前記車室内空間に出射する出射面にて配光する出射部(75)とを有した光学手段(11)と
    を備え
    前記光学手段は、
    前記入射部に形成された平面である接続面に、前記出射部が接続された光学部材であり、
    前記出射部は、
    シリンドリカル面を前記出射面の少なくとも一部分として、かつ前記自車両の鉛直方向に軸方向の軸が一致するように、前記接続面に配置されるシリンドリカルレンズ(77)と、
    三角柱状に形成され、複数の面のうちの一つの面を前記出射面の少なくとも一部分とし、かつ当該複数の面のうちの一つの面が鉛直方向に沿って傾斜する傾斜面となるように前記接続面に配置される、2つのプリズム(79,83)と、を備え、
    前記2つプリズムは、
    前記シリンドリカルレンズを挟み込むように配置されることを特徴とする、状態監視装置。
  2. 前記出射部は、
    前記規定領域において前記乗員の顔面が存在する可能性が高い平面を構成する複数の微小領域の各々である構成ポイントのうち、前記発光手段からの距離が遠い構成ポイントほど、当該構成ポイントに到達する前記照明光の強さが強く、かつ、前記発光手段からの距離が近い構成ポイントから遠い構成ポイントに掛けて、当該構成ポイントに到達する前記照明光の強さが滑らかに変化するように配光する
    ことを特徴とする請求項1に記載の状態監視装置。
  3. 前記乗員の顔面における中心軸が位置する可能性が高い前記規定領域での領域を中心存在領域とし、
    前記出射部は、
    前記中心存在領域に対しては鉛直方向に沿った前記照明光の強さの分布が、均一であるものとみなせる範囲として予め規定された第二基準範囲内となるように配光する
    ことを特徴とする請求項1または請求項2に記載の状態監視装置。
  4. 前記出射部は、
    前記中心存在領域に近いほど前記照明光の強さが強く、前記中心存在領域から水平方向に沿って離れた領域ほど前記照明光の強さが弱くなるように配光を制御する
    ことを特徴とする請求項3に記載の状態監視装置。
  5. 前記傾斜面は、
    前記出射部の中心に向かうほど前記接続面からの高さが高くなるように、水平方向に沿って傾斜している
    ことを特徴とする請求項1から請求項4のいずれか一項に記載の状態監視装置。
  6. 前記入射部は、
    錐体状に形成され、かつ前記発光手段からの照明光の一部が透過し、その透過した照明光の一部を前記出射部へと導く凸部(62)と、
    前記凸部を周方向に沿って囲むように環状に形成され、かつ前記発光手段からの照明光の一部が透過する面である透過面を有した導入部(64)と、
    前記凸部及び前記導入部が延出される面から前記接続面に掛けて拡径する柱体状に形成され、かつ前記導入部の透過面を透過した前記照明光の少なくとも一部を、前記出射部へと導くように反射する側面を有した反射部(66)と
    を備えることを特徴とする請求項1から請求項5のいずれか一項に記載の状態監視装置。
  7. 前記反射部の側面は、
    前記導入部の透過面を透過した前記照明光を全反射する曲面に形成されている
    ことを特徴とする請求項に記載の状態監視装置。
  8. 前記発光手段から前記規定領域までの前記照明光の経路上に配置され、かつ前記照明光を透過するフィルタを有したフィルタ手段(30)と、
    前記光学手段と前記フィルタ手段との間に配置され、前記光学手段を通過した照明光を拡散させる拡散手段(37,38)と
    を備えることを特徴とする請求項1から請求項のいずれか一項に記載の状態監視装置。
  9. 車両に搭載され、
    自車両の車室内空間において乗員の顔面が位置する領域として規定された規定領域に、少なくとも近赤外波長を含む波長の光である照明光が照射されるように発光する少なくとも一つの発光手段(9)と、
    前記規定領域から入射する光を、複数の画素を有した撮像素子にて受光することで画像を生成する撮像手段(7)と、
    前記撮像手段で生成された画像を画像処理した結果に基づいて、自車両の乗員の状態を監視する状態監視手段(40)と、
    前記発光手段のそれぞれにて発光された照明光を集光する入射部(60)と、前記撮像手段の撮像素子における受光面の少なくとも一部の領域であって前記規定領域に対応する領域である撮像規定領域を構成する各画素に入射する光の強さが、前記状態監視手段での画像処理に適した画像となる光の強さとして予め規定された強度基準値以上であり、かつ、前記撮像規定領域を構成する各画素に入射する光の強さの分布が予め規定された第一基準範囲内となるように、前記入射部のそれぞれにて集光した照明光を前記車室内空間に出射する出射面にて配光する出射部(75)とを有する光学部材であって、
    前記光学部材は、
    前記入射部に形成された平面である接続面に、前記出射部が接続され、
    前記出射部は、
    シリンドリカル面を前記出射面の少なくとも一部分として、かつ前記自車両の鉛直方向に軸方向の軸が一致するように、前記接続面に配置されるシリンドリカルレンズ(77)と、
    三角柱状に形成され、複数の面のうちの一つの面を前記出射面の少なくとも一部分とし、かつ当該複数の面のうちの一つの面が鉛直方向に沿って傾斜する傾斜面となるように前記接続面に配置される、2つのプリズム(79,83)と、を備え、
    前記2つプリズムは、
    前記シリンドリカルレンズを挟み込むように配置されることを特徴とする、前記光学部材。
JP2012164973A 2012-07-25 2012-07-25 状態監視装置,及び光学部材 Active JP6106979B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012164973A JP6106979B2 (ja) 2012-07-25 2012-07-25 状態監視装置,及び光学部材
CN201380038808.2A CN104488257B (zh) 2012-07-25 2013-07-22 状态监视装置
PCT/JP2013/004432 WO2014017061A1 (ja) 2012-07-25 2013-07-22 状態監視装置
US14/408,397 US9679209B2 (en) 2012-07-25 2013-07-22 State monitoring apparatus
EP13822127.0A EP2860960B1 (en) 2012-07-25 2013-07-22 State monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012164973A JP6106979B2 (ja) 2012-07-25 2012-07-25 状態監視装置,及び光学部材

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016256089A Division JP6278106B2 (ja) 2016-12-28 2016-12-28 状態監視装置,及び光学部材

Publications (2)

Publication Number Publication Date
JP2014026047A JP2014026047A (ja) 2014-02-06
JP6106979B2 true JP6106979B2 (ja) 2017-04-05

Family

ID=50199753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012164973A Active JP6106979B2 (ja) 2012-07-25 2012-07-25 状態監視装置,及び光学部材

Country Status (1)

Country Link
JP (1) JP6106979B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679209B2 (en) 2012-07-25 2017-06-13 Denso Corporation State monitoring apparatus
JP2018069912A (ja) * 2016-10-28 2018-05-10 三菱電機株式会社 ドライバモニタリング装置
JP6914091B2 (ja) * 2017-04-25 2021-08-04 三菱電機株式会社 光源装置及び照明装置
JP2018188038A (ja) * 2017-05-09 2018-11-29 カルソニックカンセイ株式会社 車両用撮影装置
JP2019061112A (ja) * 2017-09-27 2019-04-18 アイシン精機株式会社 カメラモジュール
CN108223988A (zh) * 2017-11-15 2018-06-29 广州雅隆自动化设备有限公司 一种新型安全防卫装置
JP7336345B2 (ja) * 2019-10-02 2023-08-31 株式会社小糸製作所 車両用ランプ

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3604441B2 (ja) * 1995-03-03 2004-12-22 浜松ホトニクス株式会社 パターン認識装置及びその方法
JPH1078562A (ja) * 1996-09-02 1998-03-24 Canon Inc 立体ディスプレイ装置
JP4059224B2 (ja) * 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
US7946744B2 (en) * 2007-02-02 2011-05-24 Denso Corporation Projector and image pickup apparatus
JP2009071404A (ja) * 2007-09-11 2009-04-02 Casio Comput Co Ltd 被写体照明制御装置及びそのプログラム
JP2011069893A (ja) * 2009-09-24 2011-04-07 Nikon Corp 照明装置およびカメラシステム

Also Published As

Publication number Publication date
JP2014026047A (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
JP6278106B2 (ja) 状態監視装置,及び光学部材
WO2014017061A1 (ja) 状態監視装置
JP6106979B2 (ja) 状態監視装置,及び光学部材
JP6119136B2 (ja) 状態監視装置
US9120464B2 (en) Sensor system in a motor vehicle
US20070120691A1 (en) Device for determining the driving capability of a driver in a vehicle
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
KR20160055623A (ko) 차량의 집약형 오버헤드 콘솔 조립체
US10286921B2 (en) Drowsiness prevention system for vehicle
JP6433383B2 (ja) 投光装置
JP2016049259A (ja) 視線検出装置
EP3462237B1 (en) Camera module
JP7018634B2 (ja) 眼球運動測定装置及び眼球運動解析システム
CN111016912B (zh) 用于检测驾驶员的面部的系统及其相关方法
JP7200546B2 (ja) 乗員監視装置
JP6945150B2 (ja) 表示システム
JP6434708B2 (ja) 可視情報提示装置
KR102320030B1 (ko) 차량의 내부 감시용 카메라 시스템
JP6774854B2 (ja) 表示装置、及び、内装部材ユニット
JP2020082974A (ja) 車室内撮像装置
JP2020079879A (ja) 表示制御装置
US11895441B2 (en) Device for monitoring vehicle occupant(s)
US20220172489A1 (en) Systems and methods for object detection in the interior of a motor vehicle
WO2021220722A1 (ja) 画像生成装置及びヘッドアップディスプレイ
JP2018181025A (ja) 視線検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161228

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R151 Written notification of patent or utility model registration

Ref document number: 6106979

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250