JP7537366B2

JP7537366B2 - 乗員撮像装置

Info

Publication number: JP7537366B2
Application number: JP2021086938A
Authority: JP
Inventors: 智也山下
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2021-05-24
Filing date: 2021-05-24
Publication date: 2024-08-21
Anticipated expiration: 2041-05-24
Also published as: JP2022180043A

Description

本発明は、乗員撮像装置に関する。

従来より、ドライバの状態を監視するシステムとしてドライバ監視モニタが供されている。ドライバ監視モニタは、カメラの撮像方向が運転席側に向けられた姿勢で例えばインスツルメントパネルの上面に配置される。ドライバ監視モニタは、光源により光が照射されたドライバの顔をカメラにより撮像し、その撮像した顔画像を解析してドライバの状態を監視する。ドライバ監視モニタは、顔画像から例えば脇見、閉眼、眠気、体位等を判定し、その判定結果を例えば自動運転を制御する電子制御装置（以下、ＥＣＵ（Electronic Control Unit）と称する）等に逐次出力する（例えば特許文献１参照）。

特開２０１９－３８４７１号公報

ドライバだけを撮像するのではなく、ドライバ及びパッセンジャの両方を撮像する乗員撮像装置においては、ドライバ及びパッセンジャの両方を同時に撮像可能な広角なカメラが用いられる。その場合、ドライバ及びパッセンジャのそれぞれに十分な光を照射するには、照明部にリフレクターやディフューザ等の光を拡散させる機構を取り付けたり、照明灯数を増やしたり、照射範囲を拡大したりする等の対応が必要であった。しかしながら、そのような対応では、照明部のサイズが大型化したり、発熱量が増大したりする等の問題があり、装置全体を小型化することが困難である。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、装置全体を小型化することができる乗員撮像装置を提供することにある。

請求項１に記載した発明によれば、筐体内に設けられ、ドライバ及びパッセンジャの両方を同時に撮像可能なカメラ（３）と、光軸がドライバに向いて筐体内に設けられ、投じられた光の一部がパッセンジャに照射されるような半値角特性を有する第１照明部（４）と、光軸がパッセンジャに向いて筐体内に設けられ、投じられた光の一部がドライバに照射されるような半値角特性を有する第２照明部（５）と、を備える。前記カメラの前方に設けられ、前記第１照明部及び前記第２照明部から投じられた光の波長を透過可能な第１フィルタ（９）と、前記第１照明部の前方に設けられ、前記第１照明部から投じられた光の波長を透過可能な第２フィルタ（１１）と、前記第２照明部の前方に設けられ、前記第２照明部から投じられた光の波長を透過可能な第３フィルタ（１３）と、前記第１フィルタと前記第２フィルタとの間に設けられ、前記第１照明部から投じられた光の一部を反射させる第１遮蔽壁部（１４）と、前記第１フィルタと前記第３フィルタとの間に設けられ、前記第２照明部から投じられた光の一部を反射させる第２遮蔽壁部（１５）と、を備える。

第１照明部から投じられた光の照射範囲がドライバだけでなくパッセンジャも網羅すると共に、第２照明部から投じられた光の照射範囲がパッセンジャだけでなくドライバも網羅することで、照明部のサイズの大型化及び発熱量の増大を回避しつつ、装置全体を小型化することができる。

第１実施形態を模式的に示す図ドライバの顔が照射されている態様を示す図パッセンジャの顔が照射されている態様を示す図ドライバ及びパッセンジャの両方の顔が照射されている態様を示す図第２実施形態を示す模式的に示す図

以下、幾つかの実施形態について図面を参照して説明する。以下に示す各実施形態において、先行する実施形態で説明した内容に対応する部分には同一の参照符号を付し、重複する説明を省略することがある。尚、以下では、車両前進方向を向いてドライバ席が左側に設けられている自動車に乗員撮像装置が搭載されていることを前提として説明する。又、水平方向とは車両の左右方向を意味し、垂直方向とは車両の上下方向を意味する。

（第１実施形態）
第１実施形態について図１から図４を参照して説明する。乗員撮像装置１は、ドライバの状態を監視するドライバステータスモニタ（登録商標）（以下、ＤＳＭ（Driver Status Monitor）と称する）の構成要素の一つである。ＤＳＭは、光源により光が照射されたドライバの顔をカメラにより撮像し、その撮像した顔画像を解析してドライバの状態を監視する。ＤＳＭは、顔画像から例えば脇見、閉眼、眠気、体位等を判定し、その判定結果を例えば自動運転を制御するＥＣＵ等に逐次出力する。

乗員撮像装置１は、主にドライバ及びパッセンジャを撮像する装置であり、例えば車室内においてセンターディスプレイやダッシュボード上にドライバ席とパッセンジャ席との中心付近と対向する箇所に配置されている。乗員撮像装置１は、筐体の一部を構成する前面パネル２の裏側に、カメラ３と、ドライバ側ＬＥＤ４と、パッセンジャ側ＬＥＤ５とを備える。前面パネル２の裏側とは、ドライバ席及びパッセンジャ席が存在する方向とは反対側の方向である。ドライバ側ＬＥＤ４は第１照明部に相当し、パッセンジャ側ＬＥＤ５は第２照明部に相当する。乗員撮像装置１が横向きに配置されている状態ではドライバ側ＬＥＤ４及びパッセンジャ側ＬＥＤ５が水平方向に並ぶ態様となる。

カメラ３は、カメラ基板６の表面側に実装されている。カメラ基板６の裏面側にはデータ通信線（図示せず）を接続可能なコネクタ７が実装されている。カメラ３により撮像された撮像データは、コネクタ７に接続されているデータ通信線を介して信号処理回路（図示せず）に入力される。尚、コネクタ７が省かれている構成でも良く、カメラ３により撮像された撮像データは、コネクタ７を介さずにカメラ基板６を介して信号処理回路に入力されても良い。カメラ３は、画角が１８０度を超えない広角レンズ８を有し、その広角レンズ８が前面パネル２の裏側となるように配置されている。前面パネル２にあって広角レンズ８の前方に対応する部位にはＬＥＤ４，５から投じられた光の波長を透過可能なフィルタ９が設けられている。カメラ３の光軸は、図１中Ａ０にて示す軸であり、ドライバ席とパッセンジャ席との中心付近に向いている。カメラ３の画角は、フィルタ９の面方向のサイズに依存し、図１中Ａ１，Ａ２にて示す範囲であり、ドライバ席のヘッドレスト周辺とパッセンジャ席のヘッドレスト周辺との両方を含むようになっている。即ち、カメラ３は、ドライバがドライバ席に着座し、パッセンジャがパッセンジャ席に着座している状態では、ドライバの顔とパッセンジャの顔との両方を同時に撮像可能であり、ドライバの顔画像とパッセンジャの顔画像顔との両方を含む撮像データをデータ通信線を介して信号処理回路に出力する。

ドライバ側ＬＥＤ４は、ドライバ側ＬＥＤ基板１０の表面側に実装され、電源が電源線（図示せず）を介して供給されることで駆動して近赤外光を投じる。前面パネル２にあってドライバ側ＬＥＤ４の前方に対応する部位には可視光を遮断し且つドライバ側ＬＥＤ４から投じられた光の波長を透過可能なフィルタ１１が設けられており、ドライバ側ＬＥＤ４から投じられた光の一部はフィルタ１１を透過して筐体の外部に照射される。ドライバ側ＬＥＤ４の光軸は、図１中Ｂ０にて示す軸であり、垂直方向ではカメラ３の光軸と同じ角度であり、水平方向ではドライバ席に向いている。ドライバ側ＬＥＤ４の照射範囲は、フィルタ１１の面方向のサイズに依存し、図１中Ｂ１，Ｂ２にて示す範囲であり、ドライバ席のヘッドレスト周辺を含むようになっている。即ち、ドライバ側ＬＥＤ４から投じられた光のうちフィルタ１１を通過した光の照射範囲が、ドライバ側ＬＥＤ４の照射範囲となる。ドライバ側ＬＥＤ４は、ドライバ席に着座しているドライバの顔を照射可能である。

ドライバ側ＬＥＤ４の照射範囲の外端、即ち、ドライバ側ＬＥＤ４から投じられた光の外側の光線は、カメラ３の画角と略平行となっている。又、ドライバ側ＬＥＤ４は、光の一部がパッセンジ席に照射されるような半値角特性を有し、ドライバ側ＬＥＤ４の照射範囲の端部、即ち、視野角が最大の部位では光エネルギーの半分以上の明るさを保持するようになっている。前面パネル２の裏側であってフィルタ９とフィルタ１１との間には遮蔽壁部１４が設けられている。ドライバ側ＬＥＤ４から投じられた光の一部が遮蔽壁部１４で反射することで、ドライバ側ＬＥＤ４から投じられた光の一部がフィルタ１１以外の他のフィルタを透過しないようになっており、光漏れを防いでいる。

パッセンジャ側ＬＥＤ５は、パッセンジャ側ＬＥＤ基板１２の表面側に実装され、電源が電源線（図示せず）を介して供給されることで駆動して近赤外光を投じる。前面パネル２にあってパッセンジャ側ＬＥＤ５の前方に対応する部位には可視光を遮断し且つパッセンジャ側ＬＥＤ５から投じられた光の波長を透過可能なフィルタ１３が設けられており、パッセンジャ側ＬＥＤ５から投じられた光の一部はフィルタ１３を透過して筐体の外部に照射される。パッセンジャ側ＬＥＤ５の光軸は、図１中Ｃ０にて示す軸であり、垂直方向ではカメラ３の光軸と同じ角度であり、水平方向ではパッセンジャ席に向いている。パッセンジャ側ＬＥＤ５の照射範囲は、フィルタ１３の面方向のサイズに依存し、図１中Ｃ１，Ｃ２にて示す範囲であり、パッセンジャ席のヘッドレスト周辺を含むようになっている。即ち、パッセンジャ側ＬＥＤ５から投じられた光のうちフィルタ１３を通過した光の照射範囲が、パッセンジャ側ＬＥＤ５の照射範囲となる。パッセンジャ側ＬＥＤ５は、パッセンジャ席に着座しているパッセンジャの顔を照射可能である。

パッセンジャ側ＬＥＤ５の照射範囲の外端、即ち、パッセンジャ側ＬＥＤ５から投じられた光の外側の光線は、カメラ３の画角と略平行となっている。又、パッセンジャ側ＬＥＤ５は、光の一部がドライバ席に照射されるような半値角特性を有し、パッセンジャ側ＬＥＤ５の照射範囲の端部、即ち、視野角が最大の部位では光エネルギーの半分以上の明るさを保持するようになっている。前面パネル２の裏側であってフィルタ９とフィルタ１３との間には遮蔽壁部１５が設けられている。パッセンジャ側ＬＥＤ５から投じられた光の一部が遮蔽壁部１５で反射することで、パッセンジャ側ＬＥＤ５から投じられた光の一部がフィルタ１３以外の他のフィルタを透過しないようになっており、光漏れを防いでいる。

又、ドライバ側ＬＥＤ４から投じられた光のうち内側の光線とパッセンジャ側ＬＥＤ５から投じられた光のうち内側の光線との交点Ｘ０は、カメラ３の前面から近い位置となっている。

上記した構成では、ドライバがドライバ席に着座している状態でドライバ側ＬＥＤ４が駆動した状態では、図２に示すように、ドライバ側ＬＥＤ４から投じられた光がドライバの顔に照射され、ドライバの顔が明瞭となる。パッセンジャがパッセンジャ席に着座している状態でパッセンジャ側ＬＥＤ５が駆動した状態では、図３に示すように、パッセンジャ側ＬＥＤ５から投じられた光がパッセンジャの顔に照射され、パッセンジャの顔が明瞭となる。ドライバがドライバ席に着座し且つパッセンジャがパッセンジャ席に着座している状態ドライバ側ＬＥＤ４及びパッセンジャ側ＬＥＤ５の両方が駆動した状態では、図４に示すように、ドライバ側ＬＥＤ４から投じられた光がドライバの顔に照射され、ドライバの顔が明瞭となると同時に、パッセンジャ側ＬＥＤ５から投じられた光がパッセンジャの顔に照射され、パッセンジャの顔が明瞭となる。

以上は、車両前進方向を向いてドライバ席が左側に設けられている自動車に乗員撮像装置が搭載されていることを前提として説明したが、車両前進方向を向いてドライバ席が右側に設けられている自動車に乗員撮像装置が搭載されている場合には、左右の関係が逆になる。又、乗員撮像装置１が横向きに配置されている状態でドライバ側ＬＥＤ４及びパッセンジャ側ＬＥＤ５が水平方向に並ぶ態様を説明したが、乗員撮像装置１が縦向きに配置されている状態ではドライバ側ＬＥＤ４及びパッセンジャ側ＬＥＤ５が垂直方向に並ぶ態様となり、例えばドライバ側ＬＥＤ４の光軸及びパッセンジャ側ＬＥＤ５の光軸のうち一方が上向きに傾くと共に他方が下向きに傾くように調整される。

以上に説明したように第１実施形態によれば、次に示す作用効果を得ることができる。
ドライバ側ＬＥＤ４から投じられた光の照射範囲がドライバだけでなくパッセンジャも網羅すると共に、パッセンジャ側ＬＥＤ５から投じられた光の照射範囲がパッセンジャだけでなくドライバも網羅することで、光をドライバ及びパッセンジャに照射するための照明部のサイズの大型化及び発熱量の増大を回避しつつ、装置全体を小型化することができる。

又、ドライバ側ＬＥＤ４及びパッセンジャ側ＬＥＤ５の各々から投じられた光のうち外側の光線がカメラ３の画角と略平行となることで、フィルタ１１，１３のサイズの増大を抑えることができ、装置全体を小型化することができる。

又、ドライバ側ＬＥＤ４から投じられた光のうち内側の光線とパッセンジャ側ＬＥＤ５から投じられた光のうち内側の光線との交点Ｘ０がカメラ３の前面から近い位置となることで、光の隙間を極力小さくすることができ、カメラ３の前面から近い位置で行われるドライバやパッセンジャの挙動を適切に認識することができる。

（第２実施形態）
第２実施形態について図５を参照して説明する。第１実施形態は、カメラ３の画角が１８０度を超えない構成であるが、第２実施形態は、カメラの画角が１８０度を超える構成である。この場合、乗員撮像装置２１は、ドライバ及びパッセンジャを撮像するだけでなく、リア席の乗員も撮像する装置であり、例えば車室内においてオーバーヘッドコンソールやルームミラーの裏側に配置されている。乗員撮像装置２１は、筐体の一部を構成する前面パネル２２に嵌合される態様でカメラ２３を備え、前面パネル２２の裏側に、ドライバ側ＬＥＤ２４と、パッセンジャ側ＬＥＤ２５とを備える。ドライバ側ＬＥＤ２４は第１照明部に相当し、パッセンジャ側ＬＥＤ２５は第２照明部に相当する。この場合も、乗員撮像装置２１が横向きに配置されている状態ではドライバ側ＬＥＤ２４及びパッセンジャ側ＬＥＤ２５が水平方向に並ぶ態様となる。

カメラ２３は、カメラ基板２６の表面側に実装されている。カメラ基板２６の裏面側にはデータ通信線（図示せず）を接続可能なコネクタ２７が実装されている。この場合も、コネクタ２７が省かれている構成でも良い。カメラ２３は、画角が１８０度を超える魚眼レンズ２８を有し、第１実施形態で説明した広角レンズ８とは異なり、魚眼レンズ２８が前面パネル２の表側となるように、即ち、魚眼レンズ２８が前面パネル２の表側に突出するように配置されている。カメラ２３の光軸は、図５中Ａ１０にて示す軸であり、ドライバ席とパッセンジャ席との中心付近に向いている。カメラ２３の画角は、図５中Ａ１１，Ａ１２にて示す範囲であり、ドライバ席のヘッドレスト周辺とパッセンジャ席のヘッドレスト周辺との両方を含むようになっている。即ち、カメラ２３は、第１実施形態で説明したカメラ３と同様に、ドライバ席に着座しているドライバの顔とパッセンジャ席に着座しているパッセンジャの顔との両方を同時に撮像可能である。

ドライバ側ＬＥＤ２４は、ドライバ側ＬＥＤ基板２９の表面側に実装され、電源が電源線（図示せず）を介して供給されることで駆動して近赤外光を投じる。前面パネル２２にあってドライバ側ＬＥＤ２４の前方に対応する部位には可視光を遮断し且つドライバ側ＬＥＤ２４から投じられた光の波長を透過可能なフィルタ３０が設けられており、ドライバ側ＬＥＤ２４から投じられた光の一部はフィルタ３０を透過して筐体の外部に照射される。ドライバ側ＬＥＤ２４の光軸は、図５中Ｂ１０にて示す軸であり、垂直方向ではカメラ３の光軸と同じ角度であり、水平方向ではドライバ席に向いている。ドライバ側ＬＥＤ２４の照射範囲は、フィルタ３０の面方向のサイズに依存し、図５中Ｂ１１，Ｂ１２にて示す範囲であり、ドライバ席のヘッドレスト周辺を含むようになっている。即ち、ドライバ側ＬＥＤ２４から投じられた光のうちフィルタ３０を通過した光の照射範囲が、ドライバ側ＬＥＤ２４の照射範囲となる。ドライバ側ＬＥＤ２４は、ドライバ席に着座しているドライバの顔を照射可能である。

ドライバ側ＬＥＤ２４の照射範囲の外端、即ち、ドライバ側ＬＥＤ２４から投じられた光の外側の光線は、カメラ２３の画角と略平行となっている。又、ドライバ側ＬＥＤ２４は、光の一部がパッセンジ席に照射されるような半値角特性を有し、ドライバ側ＬＥＤ２４の照射範囲の端部、即ち、視野角が最大の部位では光エネルギーの半分以上の明るさを保持するようになっている。

パッセンジャ側ＬＥＤ２５は、パッセンジャ側ＬＥＤ基板３１の表面側に実装され、電源が電源線（図示せず）を介して供給されることで駆動して近赤外光を投じる。前面パネル２２にあってパッセンジャ側ＬＥＤ２５の前方に対応する部位には可視光を遮断し且つパッセンジャ側ＬＥＤ２５から投じられた光の波長を透過可能なフィルタ３２が設けられており、パッセンジャ側ＬＥＤ２５から投じられた光の一部はフィルタ３２を透過して筐体の外部に照射される。パッセンジャ側ＬＥＤ２５の光軸は、図５中Ｃ１０にて示す軸であり、垂直方向ではカメラ２３の光軸と同じ角度であり、水平方向ではパッセンジャ席に向いている。パッセンジャ側ＬＥＤ２５の照射範囲は、フィルタ３２の面方向のサイズに依存し、図５中Ｃ１１，Ｃ１２にて示す範囲であり、パッセンジャ席のヘッドレスト周辺を含むようになっている。即ち、パッセンジャ側ＬＥＤ２５から投じられた光のうちフィルタ３２を通過した光の照射範囲が、パッセンジャ側ＬＥＤ２５の照射範囲となる。パッセンジャ側ＬＥＤ２５は、パッセンジャ席に着座しているパッセンジャの顔を照射可能である。

パッセンジャ側ＬＥＤ２５の照射範囲の外端、即ち、パッセンジャ側ＬＥＤ２５から投じられた光の外側の光線は、カメラ２３の画角と略平行となっている。又、パッセンジャ側ＬＥＤ２５は、光の一部がドライバ席に照射されるような半値角特性を有し、パッセンジャ側ＬＥＤ２５の照射範囲の端部、即ち、視野角が最大の部位では光エネルギーの半分以上の明るさを保持するようになっている。

第２実施形態では、上記したように魚眼レンズ２８が前面パネル２の表側となるように配置されているので、第１実施形態で説明した遮蔽壁部１４，１５に相当する部材が省かれている。又、この場合も、ドライバ側ＬＥＤ２４から投じられた光のうち内側の光線とパッセンジャ側ＬＥＤ２５から投じられた光のうち内側の光線との交点Ｘ１０は、カメラ２３の前面から近い位置となっている。カメラ２３から当該交点までの距離は例えば１００［ｍｍ］以内である。

以上に説明したように第２実施形態によれば、次に示す作用効果を得ることができる。
ドライバ側ＬＥＤ２４から投じられた光の照射範囲がドライバだけでなくパッセンジャも網羅すると共に、パッセンジャ側ＬＥＤ２５から投じられた光の照射範囲がパッセンジャだけでなくドライバも網羅することで、第１実施形態と同様に、光をドライバ及びパッセンジャに照射するための照明部のサイズの大型化及び発熱量の増大を回避しつつ、装置全体を小型化することができる。

（その他の実施形態）
本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

図面中、１，２１は乗員撮像装置、３，２３はカメラ、４，２４はドライバ側ＬＥＤ（第１照明部）、５，２５はパッセンジャ側ＬＥＤ（第２照明部）である。

Claims

乗員を撮像する乗員撮像装置であって、
筐体内に設けられ、ドライバ及びパッセンジャの両方を同時に撮像可能なカメラ（３，２３）と、
光軸が前記ドライバに向いて前記筐体内に設けられ、投じられた光の一部が前記パッセンジャに照射されるような半値角特性を有する第１照明部（４，２４）と、
光軸が前記パッセンジャに向いて前記筐体内に設けられ、投じられた光の一部が前記ドライバに照射されるような半値角特性を有する第２照明部（５，２５）と、
前記カメラの前方に設けられ、前記第１照明部及び前記第２照明部から投じられた光の波長を透過可能な第１フィルタ（９）と、
前記第１照明部の前方に設けられ、前記第１照明部から投じられた光の波長を透過可能な第２フィルタ（１１）と、
前記第２照明部の前方に設けられ、前記第２照明部から投じられた光の波長を透過可能な第３フィルタ（１３）と、
前記第１フィルタと前記第２フィルタとの間に設けられ、前記第１照明部から投じられた光の一部を反射させる第１遮蔽壁部（１４）と、
前記第１フィルタと前記第３フィルタとの間に設けられ、前記第２照明部から投じられた光の一部を反射させる第２遮蔽壁部（１５）と、を備える乗員撮像装置。
前記第１照明部及び前記第２照明部は、前記カメラを挟むように配置されている請求項1に記載した乗員撮像装置。
前記第１照明部及び前記第２照明部の各々から投じられた光の外側の光線が前記カメラの画角に対して平行となる請求項１又は２に記載した乗員撮像装置。
前記第１照明部及び前記第２照明部の各々から投じられた光の内側の光線の交点がカメラ３の前面から近い位置である請求項１から３の何れか一項に記載した乗員撮像装置。
前記カメラは、画角が１８０度を超えていない請求項１から４の何れか一項に記載した乗員撮像装置。
前記カメラは、画角が１８０度を超えている請求項１から４の何れか一項に記載した乗員撮像装置。