JP7446545B2 - 乗員監視装置、および、乗員監視方法 - Google Patents

Description

本開示は、車両の乗員を監視する乗員監視技術に関する。

乗員監視技術の中には、後席の乗員を検出して監視するものがある。このような乗員監視技術においては、例えば、後席の乗員が座っているかどうかを監視しており、その監視範囲は、一般に、後席における乗員が座る高さ（以下、「着座高さ」と記載する。）より上の領域である。
ところで、特許文献１には、後席に着座している乗員の表面温度を検出し、検出した表面温度に基づき空調ユニットを制御する発明が開示されている。表面温度の検出範囲は、具体的には、後席に着座している乗員の膝、太股、胸、肩といった、着座高さより上の領域である。

特開２００５－２９７９０４号公報

後席を監視する従来の乗員監視技術は、監視範囲が着座高さより上の領域であり、着座高さより下の領域を着目していない、という課題があった。
特許文献１に開示された発明は、そもそも表面温度の検出範囲が後席における着座高さより上の領域であって、上記課題を解決できるものではない。

本開示は、上記課題を解決するもので、着座高さより下の領域を監視する乗員監視装置を提供することを目的とする。

本開示の乗員監視装置は、車両における乗員を監視する乗員監視装置であって、乗員監視装置は、前記車両における前席と後席との間の画像を含む画像データを撮像部から取得するデータ取得部と、前記データ取得部により取得された画像データを用いて、前記後席の着座位置の高さより下の領域における乗員を検出する乗員検出部と、前記着座位置の高さより下の領域に乗員が検出された場合、前記乗員検出部により検出された乗員に関する情報である提示情報を提示部へ出力する出力制御部と、を備え、後席用の表示装置には、前記撮像部が撮像する際に撮像対象範囲を照明する照明用発光部、および、音出力装置に対して光を用いて音信号を送信する音出力用発光部、が備えられており、前記乗員監視装置は、前記データ取得部により取得された画像データを用いて、画像の明るさが不足している場合に、前記照明用発光部および前記音出力用発光部に対して発光を指令する発光制御部をさらに備え、前記発光制御部は、前記音出力用発光部が使用されていない場合、前記音出力用発光部に発光させると判定する照明判定部と、前記照明判定部による判定結果を用いて、前記音出力用発光部に発光させるよう指令する発光指令部と、を備えた。

本開示によれば、上記のように構成したので、後席の着座高さより下の領域を監視する乗員監視装置を提供できる。

本開示に係る乗員監視装置の構成およびこれに関連する構成の一例を示す図である。 実施の形態１に係る乗員監視装置の処理の一例を示すフローチャートである。 実施の形態１に係る乗員監視装置の監視範囲を説明する図である。 実施の形態１に係る撮像装置の配置例を説明する図である。 乗員監視装置における乗員検出部の構成例を示す図である。 図５に示す乗員検出部の処理の一例を示すフローチャートである。 乗員監視装置における出力制御部の構成例を示す図である。 図７に示す出力制御部の処理の一例を示すフローチャートである。 実施の形態２に係る乗員監視装置の監視範囲を説明する図である。 実施の形態２に係る撮像装置の配置例を説明する図である。 実施の形態３に係る撮像装置の配置例を説明する図である。 実施の形態４に係る乗員監視装置の構成およびこれに関連する構成の一例を示す図である。 実施の形態４に係る発光制御部の構成例を示す図である。 図１２に示す発光制御部の処理の一例を示すフローチャートである。 実施の形態４に係る乗員監視装置の監視範囲を説明する図である。 実施の形態４に係る撮像装置の第１の配置例を説明する図である。 実施の形態４に係る撮像装置の第２の配置例を説明する図である。 本開示に係る機能を実現するためのハードウェア構成の第１の例を示す図である。 本開示に係る機能を実現するためのハードウェア構成の第２の例を示す図である。

以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、本開示に係る乗員監視装置２００の構成およびこれに関連する構成の一例を示す図である。
乗員監視装置２００は、車両における乗員を監視する装置である。
特に、乗員監視装置２００は、車両における後席の乗員を監視する。
乗員監視装置２００は、撮像装置１００、センサ部１５０、記憶装置３００、提示装置４００、発光装置５００、とそれぞれ通信可能に接続されている。
乗員監視装置２００の各構成部については、後述する。

撮像装置１００は、例えば撮像素子を有するカメラである。
撮像装置１００は、車両の内部である車室内を撮像する。
撮像装置１００（撮像部）は、例えば車両の天井に配置される撮像装置１００である。
この場合、本開示の乗員監視装置２００は、撮像部から取得する画像において死角が少なくなり、死角が少ない画像に基づいて乗員を検出できるので、監視の精度が向上する。
また、撮像装置１００は、例えば車両の天井に設置された非開閉部と開閉部とからなる表示装置が備える撮像装置１００であって、非開閉部に配置される撮像装置１００である。
この場合、本開示の乗員監視装置２００は、撮像部から取得する画像において死角が少なくなり、死角が少ない画像に基づいて乗員を検出できるので、監視の精度が向上する。
また、この場合、本開示の乗員監視装置２００は、表示装置の方向に乗員の顔が向きやすくなることにより、撮像装置１００が乗員の顔を撮像しやすくなり、乗員を検出する精度が向上する、という効果を奏する。
撮像装置１００は、本開示において撮像部とも記載する。
なお、撮像装置１００は、乗員監視装置２００の内部に構成してもよい。

センサ部１５０は、乗員監視装置２００が監視の処理のために用いるセンサデータを出力する。
センサ部１５０は、複数の異なる種類のセンサを含む。
センサ部１５０は、例えば車両の状況に関して計測し、計測結果を示すセンサデータを出力する。
センサ部１５０が計測する車両の状況は、例えば、車室内の表面温度である。
また、センサ部１５０が計測する車両の状況は、例えば、車両が走行中であるか停止中であるか、車両にいる乗員の数、エンジン動作、車両のドアの開閉動作、車両のドアのロック状態、といった状況である。
車両が走行中であるか停止中であるかの状況は、例えば車両の速度から得られる。
車両にいる乗員の数の状況は、例えば、前席の乗員の監視結果、および、後席の乗員の監視結果から得られる。前席の乗員の監視および後席の乗員の監視は、それぞれ、本開示の乗員監視装置２００で行うようにしてもよい。
エンジン動作、車両のドアの開閉動作、および、車両のドアのロック状態はそれぞれ、直接計測される。
センサ部１５０は、乗員監視装置２００の内部に構成してもよい。

記憶装置３００は、乗員監視装置２００において用いるデータベース等のデータを記憶する。
図に示す記憶装置３００は、乗員監視装置２００の外部に配置されている。
記憶装置３００は、乗員監視装置２００の外部に構成される場合、例えば、車両の外部に設けられるサーバであってもよい。
記憶装置３００は、本開示において記憶部とも記載する。
なお、記憶装置３００は、乗員監視装置２００の内部に構成してもよい。

提示装置４００は、乗員監視装置２００による監視結果を提示する。
提示装置４００は、例えば音出力装置である。音出力装置は、例えばスピーカ、クラクションである。
提示装置４００は、例えばハザードランプ、提示専用のランプである。
提示装置４００は、例えば携帯端末である。携帯端末は、例えばスマートフォンである。
提示装置４００は、例えば表示装置である。表示装置は、具体的には、例えばディスプレイである。
提示装置４００は、上記の例を複数組み合わせて構成してもよい。
提示装置４００は、本開示において提示部とも記載する。
なお、提示装置４００は、乗員監視装置２００の内部に構成してもよい。

図１に示す発光装置５００は、撮像装置１００による撮像範囲を照明する照明用発光装置である。照明用発光装置は、本開示において照明用発光部とも記載する。
発光装置５００は、例えば赤外線を発光する。
発光装置５００は、例えば撮像装置１００が撮像を開始すると発光する。
または、発光装置５００は、例えば撮像装置１００により撮像された画像において明るさが不足している場合に発光する。
図１に示す発光装置５００は、撮像装置１００からの指令により発光を開始し、または、発光を終了する。

乗員監視装置２００の構成部を説明する。
乗員監視装置２００は、データ取得部２１０、乗員検出部２２０、出力制御部２３０、図示しない制御部、および、図示しない記憶部を含む。

データ取得部２１０は、データ取得処理を実行する構成部である。
データ取得部２１０は、撮像装置１００から画像データを取得する。
データ取得部２１０は、車両の車室内が撮像された画像データを取得する。
具体的には、データ取得部２１０は、車両の後席の画像を含む画像データを取得する。
さらに具体的には、本開示に係るデータ取得部２１０は、車両における前席と後席との間の画像を含む画像データを撮像装置１００から取得する。
また、データ取得部２１０は、センサ部１５０における複数の異なる種類のセンサからそれぞれ、車両における状況に関するセンサデータを取得する。センサデータは、車両における状況に関して計測された結果を示すデータである。

乗員検出部２２０は、乗員検出処理を実行する構成部である。
乗員検出部２２０は、データ取得部２１０により取得された画像データを用いて、後席の乗員を検出する。
本開示に係る乗員検出部２２０は、さらに、データ取得部２１０により取得された画像データを用いて、後席の着座高さより下の領域における乗員を検出する。
乗員検出部２２０は、例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の技術を用いて乗員を検出する。この場合、予め、画像中における生体の目の位置、画像中における生体の動きといった特徴を学習させておき、学習結果を用いて、画像データから乗員を検出する。

乗員検出部２２０は、さらに、センサデータを用いて、乗員を検出するものであってもよい。
この場合、具体的には、乗員検出部２２０は、例えば、さらに車室内の表面温度を用いて生体であるかを判定する。

出力制御部２３０は、出力制御処理を実行する構成部である。
出力制御部２３０は、乗員検出部２２０により検出された乗員に関する情報である提示情報を提示装置４００へ出力する。
出力制御部２３０は、さらに、着座位置より下の領域に乗員が検出された場合、乗員検出部２２０により検出された乗員に関する情報である提示情報を提示部へ出力する。
出力制御部２３０は、例えば、着座位置より下の領域に乗員がいることを示す提示情報を出力する。

図示しない制御部は、乗員監視装置２００の全体の制御を行う。
図示しない制御部は、例えば、乗員監視装置２００を起動させる。
図示しない制御部は、例えば、乗員監視装置２００を停止させる。
図示しない制御部は、例えば、乗員監視装置２００における各処理を開始させる。
図示しない制御部は、例えば、乗員監視装置２００における各処理を終了させる。
また、図示しない制御部は、撮像装置１００から出力された画像データ、センサ部１５０におけるセンサから出力されたセンサデータに基づいて、撮像装置１００による撮像を開始させるように構成してもよい。具体的には、制御部は、例えば、車両に乗員が乗車したことを契機にして撮像装置１００による撮像を開始させる。
また、図示しない制御部は、撮像装置１００から出力された画像データ、センサ部１５０におけるセンサから出力されたセンサデータに基づいて、撮像装置１００による撮像を終了させるように構成してもよい。具体的には、制御部は、例えば、車両から全ての乗員が降車したと判断できる状況において撮像装置１００に撮像を終了させる。

図示しない記憶部は、例えばメモリで構成される。
図示しない記憶部は、乗員監視装置２００において用いるデータを記憶する。
図示しない記憶部は、例えば、データ取得部２１０における、ある処理の途中で算出されたデータを、次の処理を実行する前に一時的に記憶する。
図示しない記憶部は、例えば、乗員検出部２２０における、ある処理の途中で算出されたデータを、次の処理を実行する前に一時的に記憶する。
図示しない記憶部は、例えば、出力制御部２３０における、ある処理の途中で算出されたデータを、次の処理を実行する前に一時的に記憶する。

乗員監視装置２００の処理の一例を説明する。
図２は、実施の形態１に係る乗員監視装置２００の処理の一例を示すフローチャートである。
図２に示した処理は、乗員監視装置２００が実行する乗員監視処理における、後席の着座高さより下の領域における乗員を監視する処理の一例である。

乗員監視装置２００は、車両に乗員が乗車したことを検出すると、処理を開始する。
具体的には、乗員監視装置２００は、例えば、車両における扉のロックが解除されると、外部から処理の開始を指令する制御信号を受けることにより、処理を開始する。
また、乗員監視装置２００は、例えば、前記制御信号を受けると、撮像部による撮像を開始させ、撮像装置１００が画像データを出力すると、出力された画像データを受けて処理を開始する。

データ取得部２１０は、画像取得処理を実行する（ステップＳＴ１００）。
データ取得部２１０は、車両の車室内における後席の画像を撮像装置１００から取得する。このとき、データ取得部２１０は、車両における前席と後席との間の画像を含む画像データを撮像部から取得する。

乗員検出部２２０は、乗員検出処理を実行する（ステップＳＴ２００）。
乗員検出部２２０は、データ取得部２１０により取得された画像データを用いて、後席の着座高さより下の領域における乗員を検出する。

出力制御部２３０は、出力制御処理を実行する（ステップＳＴ３００）。
出力制御部２３０は、着座位置より下の領域に乗員が検出された場合、乗員検出部２２０により検出された乗員に関する情報である提示情報を提示部へ出力する。

図３は、実施の形態１に係る乗員監視装置２００の監視範囲を説明する図である。
図４は、実施の形態１に係る撮像装置１００の配置例を説明する図である。
乗員監視装置２００は、図３または図４に示すように配置された撮像装置１００により撮像された画像を用いて乗員を監視する。
撮像装置１００は、リアシートエンタテインメント装置１０００に配置されている。
リアシートエンタテインメント装置１０００は、車両の天井に設けられた表示装置である。
リアシートエンタテインメント装置１０００は、開閉式の構造を有し、本体部１０１０および表示部１０２０を含む。
本体部１０１０は、非開閉部であり、表示部１０２０は、開閉部である。
撮像装置１００は、車両の天井の位置から、後席２０２０における乗員の着座位置から後方Ａと、前席２０００と後席２０２０との間Ｂとを撮像する。
撮像装置１００は、着座高さより下の領域２１００の画像を含む画像データを出力する。
図４は、リアシートエンタテインメント装置１０００を正面から見た場合の図を示している。
表示部１０２０には、ディスプレイ１０２１が設けられている。
撮像装置１００は、本体部１０１０における前面の略中央に配置されている。
発光装置５００は、本体部１０１０における前面に配置され、撮像装置１００に対し、距離ｄの間隔を空けて配置されている。
図４に示す距離ｄは、発光装置５００から発した光が、少なくとも後席２０２０に着座している状態における乗員の網膜を介して撮像装置１００に正反射しないように、発光装置５００と撮像装置１００とを配置するための間隔である。
図４に示す本体部１０１０には、ＩＲフィルタ１０１１が設けられている。ＩＲフィルタ１０１１は、赤外光のみを透過させるフィルタである。

乗員監視装置２００における乗員検出部２２０の詳細な一例を説明する。
図５は、乗員監視装置２００における乗員検出部２２０の構成例を示す図である。
図６は、図５に示す乗員検出部２２０の処理の一例を示すフローチャートである。
乗員検出部２２０は、領域判定部２２１、および、生体検出部２２２、を含む。

領域判定部２２１は、データ取得部２１０により取得された画像データを用いて、前席と後席との間の領域を判定する。
領域判定部２２１は、例えば、画像における後席の前端より前の領域を、前席と後席との間の領域であると判定し、前席と後席との間の領域の画像を出力する。
また、領域判定部２２１は、例えば、画像における後席に着座している乗員の膝の位置を検出し、膝の位置より前（前席側）の領域を、前席と後席との間の領域であると判定し、前席と後席との間の領域の画像を出力する。
領域判定部２２１を含む乗員監視装置２００は、上記処理により、少ない数（１つ）の撮像装置１００からの画像であっても本開示を実現できる。

生体検出部２２２は、領域判定部２２１による判定結果に基づき、前席と後席との間の画像データを用いて、後席の着座高さより下の領域における乗員を検出する。
生体検出部２２２は、例えば、ＡＩの技術を用いて、画像内に生体の特徴が存在するかを見つけ出す。生体検出部２２２は、画像内に生体の目が存在する場合、生体の目の位置に基づいて乗員が存在することおよび乗員の位置を示す生体情報を出力する。
また、生体検出部２２２は、例えば、画像データに加え、センサデータを用いて、画像内に生体が存在することを検出するものであってもよい。この場合、生体検出部２２２は、例えば、データ取得部２１０を介して画像データと車室内の表面温度であるセンサデータとを取得する。生体検出部２２２は、画像データと表面温度とを重ね合わせて、画像内の生体の存在および位置を取得し、これに基づき乗員が存在することおよび乗員の位置を示す生体情報を出力する。

図５に示す乗員検出部２２０の処理の一例を、図６を用いて説明する。
乗員検出部２２０は、例えば、データ取得部２１０から画像データを取得すると、処理を開始する。

領域判定部２２１は、前席と後席との間の領域を判定する（ステップＳＴ２１０）。
具体的には、領域判定部２２１は、データ取得部２１０により取得された画像データを用いて、前席と後席との間の領域を判定する。領域判定部２２１は、前席と後席との間の領域の画像を生体検出部２２２へ出力する。

生体検出部２２２は、領域判定部２２１により判定された領域における生体を検出する（ステップＳＴ２２０）。
具体的には、生体検出部２２２は、領域判定部２２１から前席と後席との間の領域の画像データを取得する。生体検出部２２２は、前席と後席との間の領域の画像データを用いて、後席の着座高さより下の領域における乗員を検出する。

生体検出部２２２は、生体があるかないかを判定する（ステップＳＴ２３０）。
生体検出部２２２において生体がないと判定した場合（ステップＳＴ２３０“ＮＯ”）、乗員検出処理は終了する。

生体検出部２２２において生体があると判定した場合（ステップＳＴ２３０“ＹＥＳ”）、生体検出部２２２は、生体情報を生成して出力する（ステップＳＴ２４０）。

乗員検出処理において、ステップＳＴ２４０の処理が終わると処理を終了する。

乗員監視装置２００における出力制御部２３０の詳細な一例を説明する。
図７は、乗員監視装置２００における出力制御部２３０の構成例を示す図である。
図８は、図７に示す出力制御部２３０の処理の一例を示すフローチャートである。
出力制御部２３０は、状況判別部２３１、および、提示指令部２３２、を含む。

状況判別部２３１は、車両の状況を判別する。
具体的には、状況判別部２３１は、センサ部１５０から出力されたセンサデータを取得し、車両における状況を判別する。状況判別部２３１は、センサデータを用いて、車両が走行中であるか停止中であるか、車両にいる乗員の数、エンジン動作、車両のドアの開閉動作、車両のドアのロック状態、といった状況を判別する。

状況判別部２３１は、車両の状況が乗員情報を提示すべき状況であるかを判定する。
状況判別部２３１は、例えば、着座位置より下の領域に検出された乗員が取り残された状況であるかを判定する。状況判別部２３１は、着座位置より下の領域に検出された乗員が取り残された状況であると判定した場合に、乗員情報を提示すべき状況であると判定する。
また、状況判別部２３１は、例えば、乗員の位置が着座位置の高さの領域から着座位置より下の領域に変化したかを判定する。状況判別部２３１は、乗員の位置が着座位置の高さの領域から着座位置より下の領域に変化した場合、着座位置より下の領域に検出された乗員が転落した状況であると判定する。

提示指令部２３２は、状況判別部２３１による判別結果を用いて、状況に応じた提示先に提示情報を提示するよう指令する。
具体的には、提示指令部２３２は、状況判別部２３１により提示すべき状況であると判定された乗員を示す生体情報を取得するとともに、提示すべき状況を示す状況情報を取得する。
提示指令部２３２は、状況情報が示す状況に応じて、提示先を決定する。
提示指令部２３２は、生体情報に基づき、提示情報を生成する。
提示指令部２３２は、決定した提示先へ提示情報を提示するよう指令する。

図７に示す出力制御部２３０の処理の一例を、図８を用いて説明する。
出力制御部２３０は、乗員検出部２２０において、着座位置より下の領域に乗員が検出された場合、処理を開始する。
具体的には、出力制御部２３０は、例えば、生体検出部２２２が生体情報を出力し、生体情報を受けると、出力制御処理を開始する。

状況判別部２３１は、車両における状況を判別する（ステップＳＴ３１０）。
具体的には、状況判別部２３１は、画像データおよびセンサ部１５０から出力されたセンサ信号に基づき、車両における状況を判別する。

状況判別部２３１は、状況に応じて車両の状況が提示すべき状況であるかを判定する（ステップＳＴ３２０）。
状況判別部２３１は、例えば、着座位置より下の領域に検出された乗員が取り残された状況であるかを判定する。
状況判別部２３１は、例えば、着座位置より下の領域に検出された乗員が転落した状況であると判定する。

状況判別部２３１は、ステップＳＴ３２０の処理において、提示すべき状況でないと判定された場合（ステップＳＴ３２０“ＮＯ”）、ステップＳＴ３１０の処理に戻る。

状況判別部２３１により、ステップＳＴ３２０の処理において、取り残された状況であると判定された場合（ステップＳＴ３２０“ＹＥＳ”）、提示指令部２３２は、提示信号を生成する（ステップＳＴ３３０）。
具体的には、提示指令部２３２は、状況判別部２３１による判別結果を用いて、状況に応じた提示先に提示情報を提示するよう指令する。
具体的には、提示指令部２３２は、状況判別部２３１により提示すべき状況であると判定された乗員を示す生体情報を取得するとともに、提示すべき状況を示す状況情報を取得する。

提示指令部２３２は、次に、出力先を決定する（ステップＳＴ３４０）。
具体的には、提示指令部２３２は、状況情報が示す状況に応じて、提示先を決定する。

提示指令部２３２は、次に、決定した出力先へ提示信号を出力する（ステップＳＴ３５０）。
具体的には、提示指令部２３２は、生体情報に基づき、提示情報を生成する。
提示指令部２３２は、決定した提示先へ提示情報を提示するよう指令する指令信号を出力する。

ステップＳＴ３５０の処理を終了すると、出力制御部２３０は、出力制御処理を終了する。
これにより、乗員監視装置２００は、車両の状況に応じた提示先に提示させることができる。

本開示に係る乗員監視装置は、車両における乗員を監視する乗員監視装置であって、前記車両における前席と後席との間の画像を含む画像データを撮像部から取得するデータ取得部と、前記データ取得部により取得された画像データを用いて、前記後席の着座高さより下の領域における乗員を検出する乗員検出部と、前記着座位置より下の領域に乗員が検出された場合、前記乗員検出部により検出された乗員に関する情報である提示情報を提示部へ出力する出力制御部と、を備えるように構成した。
これにより、着座高さより下の領域を監視する乗員監視装置を提供できる、という効果を奏する。

本開示に係る乗員監視装置において、前記乗員検出部は、前記データ取得部により取得された画像データを用いて、前席と後席との間の領域を判定する領域判定部と、前記領域判定部による判定結果に基づき、前記前席と前記後席との間の画像データを用いて、前記後席の着座高さより下の領域における乗員を検出する生体検出部と、を備えるように構成した。
これにより、乗員監視装置は、撮像部の数を少なくすることができる乗員監視装置を提供することができる、という効果を奏する。

本開示に係る乗員監視装置において、前記出力制御部は、前記車両の状況（車両が走行中であるか停止中であるか、車両にいる乗員の数、エンジン動作、車両のドアの開閉動作、車両のドアのロック状態）を判別する状況判別部と、前記状況判別部による判別結果を用いて、状況に応じた提示先（ディスプレイ、クラクション、ハザードランプ、スマートフォン、携帯端末）に提示情報を提示するよう指令する提示指令部と、を備えるように構成した。
これにより、乗員監視装置は、車両の状況に応じた提示先に提示させる乗員監視装置、を提供することができる、という効果を奏する。

本開示に係る乗員監視装置において、前記撮像部は、前記車両の天井に配置される撮像装置である、ように構成した。
これにより、乗員監視装置は、撮像部から取得する画像において死角が少なくなり、死角が少ない画像に基づいて乗員を検出できるので、監視の精度が向上する、という効果を奏する。

本開示に係る乗員監視装置において、前記撮像部は、車両の天井に設置された非開閉部と開閉部とからなる表示装置が備える撮像装置であって、前記非開閉部に配置される前記撮像装置である、ように構成した。
これにより、乗員監視装置は、撮像部から取得する画像において死角が少なくなり、死角が少ない画像に基づいて乗員を検出できるので、監視の精度が向上する、という効果を奏する。
また、乗員監視装置は、表示装置の方向に乗員の顔が向きやすくなることにより、乗員を検出する精度が向上する、という効果を奏する。

本開示に係る乗員監視装置において、前記撮像部と前記照明用発光部とは、前記照明用発光部から発した光が、少なくとも後席に着座している状態における乗員の網膜を介して前記撮像部に正反射しないように、一定の間隔を空けて配置されている、ように構成した。
これにより、乗員監視装置は、撮像した画像における赤目現象を抑制することができ、乗員を検出する精度をさらに向上させることができる、という効果を奏する。

本開示に係る乗員監視装置において、前記撮像部を備え、前記撮像部は、前記車両に乗員が乗車したことを契機にして撮像を開始し、前記データ取得部は、前記撮像部から画像データの取得を開始し、前記撮像部は、前記車両から全ての乗員が降車したと判断できる状況において撮像を終了する、ように構成した。
これにより、乗員監視装置は、車両の内部に乗員がいる場合のみ、動作することによりエネルギー消費量を抑えることができる、という効果を奏する。

本開示に係る乗員監視方法は、乗員監視装置を用いて車両における乗員を監視する乗員監視方法であって、前記乗員監視装置のデータ取得部が、前記車両における前席と後席との間の画像を含む画像データを撮像部から取得するデータ取得ステップと、前記乗員監視装置の乗員検出部が、前記データ取得部により取得された画像データを用いて、前記後席の着座高さより下の領域における乗員を検出する乗員検出ステップと、前記着座位置より下の領域に乗員が検出された場合、前記乗員監視装置の出力制御部が、前記乗員検出部により検出された乗員に関する情報である提示情報を提示部へ出力する出力制御ステップと、
を備える方法にした。
これにより、乗員監視装置は、着座高さより下の領域を監視する乗員監視方法を提供できる、という効果を奏する。

実施の形態２．
実施の形態２は、本開示に係る乗員監視装置が用いる画像を撮像する撮像装置の配置を変更した形態である。
実施の形態２の説明においては、実施の形態１において説明した構成についての説明を、適宜省略する。

図９は、実施の形態２に係る乗員監視装置２００の監視範囲を説明する図である。
図１０は、実施の形態２に係る撮像装置１００の配置例を説明する図である。
乗員監視装置２００は、図９または図１０に示すように配置された撮像装置１００および撮像装置１００ａにより撮像された画像を用いて乗員を監視する。
図９および図１０は、撮像装置１００に加え、撮像装置１００ａを備えている。
撮像装置１００ａおよび撮像装置１００はそれぞれ、リアシートエンタテインメント装置１０００に配置されている。
リアシートエンタテインメント装置１０００は、車両の天井に設けられた表示装置である。
リアシートエンタテインメント装置１０００は、開閉式の構造を有し、本体部１０１０および表示部１０２０を含む。
本体部１０１０は、非開閉部であり、表示部１０２０は、開閉部である。
撮像装置１００ａは、開閉式のリアシートエンタテインメント装置１０００ａにおいて、表示部１０２０である開閉部に配置されている。
撮像装置１００は、開閉式のリアシートエンタテインメント装置１０００ａにおいて、本体部１０１０である非開閉部に配置されている。

撮像装置１００ａは、表示部１０２０が開かれた状態において、前席２０００と後席２０２０との間Ｂとを撮像する。
撮像装置１００は、車両の天井により近い位置から、後席２０２０における乗員の着座位置より後方Ａを撮像する。
撮像装置１００ａは、着座高さより下の領域２１００の画像を含む画像データを出力する。
図１０は、リアシートエンタテインメント装置１０００を正面から見た場合の図を示している。
撮像装置１００ａは、表示部１０２０におけるディスプレイ１０２１表面の近傍の位置であって、表示部１０２０を正面に見た状態において下方の略中央に配置されている。
撮像装置１００は、本体部１０１０における前面の略中央に配置されている。
発光装置５００は、本体部１０１０における前面に配置され、撮像装置１００に対し、距離ｄ_１の間隔を空けて配置されている。
発光装置５００は、また、表示部１０２０におけるディスプレイ１０２１表面の近傍の位置であって、表示部１０２０を正面に見た状態において下方に配置され、撮像装置１００ａに対し、距離ｄ_２の間隔を空けて配置されている。
図１０に示す距離ｄ_１および距離ｄ_２は、発光装置５００から発した光が、少なくとも後席２０２０に着座している状態における乗員の網膜を介して撮像装置１００に正反射しないように、発光装置５００と撮像装置１００とを配置するための間隔である。
図１０に示す本体部１０１０には、ＩＲフィルタ１０１１が設けられている。
ＩＲフィルタ１０１１は、赤外光のみを透過させるフィルタである。

このような構成により、乗員監視装置は、撮像部から取得する画像において乗員を監視する領域の死角が少なくなる。

本開示に係る乗員監視装置において、前記撮像部は、前記車両の天井に設置された非開閉部と開閉部とからなる表示装置が備える撮像装置であって、前記開閉部に配置される前記撮像装置である、ように構成した。
これにより、乗員監視装置は、撮像部から取得する画像において死角が少なくなり、死角が少ない画像に基づいて乗員を検出できるので、監視の精度が向上する、という効果を奏する。
乗員監視装置は、また、表示装置の方向に乗員の顔が向きやすくなることにより、乗員を検出する精度が向上する、という効果を奏する。

実施の形態３．
実施の形態３は、本開示に係る乗員監視装置が用いる画像を撮像する撮像装置の配置を変更したさらに別の形態である。
実施の形態３においては、実施の形態１および実施の形態２において説明した構成についての説明を、適宜省略する。

図１１は、実施の形態３に係る撮像装置１００の配置例を説明する図である。
乗員監視装置２００は、図１１に示すように配置された撮像装置１００により撮像された画像を用いて乗員を監視する。
撮像装置１００は、前席２０００のヘッドレストに配置される。
具体的には、撮像装置１００は、リアシートエンタテインメント装置１０００の表示部１０２０に備えられている。
図１１に示す表示部１０２０は、前席２０００それぞれのヘッドレストの背面側に配置されている。
図１１に示す撮像装置１００は、前席２０００の背面側に向かって見て、左側のヘッドレストに配置されている。
図１１に示す発光装置５００は、前席２０００の背面側に向かって見て、右側のヘッドレストに配置されている。
図１１に示す距離ｄ_３は、発光装置５００から発した光が、少なくとも後席２０２０に着座している状態における乗員の網膜を介して撮像装置１００に正反射しないように、発光装置５００と撮像装置１００とを配置するための間隔である。
図１１においては図示していないが、撮像装置１００および発光装置５００が配置されている領域にはＩＲフィルタを設けるようにしてもよい。ＩＲフィルタは、赤外光のみを透過させるフィルタである。

本開示に係る乗員監視装置において、前記撮像部は、前席のヘッドレストに配置される表示装置に備えられた撮像装置である、ように構成した。
これにより、乗員監視装置は、前席のヘッドレストの位置から撮像された画像を用いて乗員を検出する、乗員監視装置を提供することができる、という効果を奏する。
乗員監視装置は、また、表示装置の方向に乗員の顔が向きやすくなることにより、乗員を検出する精度が向上する、という効果を奏する。

実施の形態４．
実施の形態４は、照明用発光部５１０と音出力用発光部５２０とを併用して、監視精度を高める形態である。
実施の形態４においては、実施の形態１、実施の形態２または実施の形態３に加えて、機能を追加した形態であり、実施の形態１、実施の形態２および実施の形態３において説明した構成についての説明を、適宜省略する。

図１２は、実施の形態４に係る乗員監視装置２００ａの構成およびこれに関連する構成の一例を示す図である。
図１２に示す乗員監視装置２００ａは、図１に示す乗員監視装置２００に加えて、発光制御部２４０をさらに備えている。また、乗員監視装置２００ａの発光制御部２４０は、発光装置５００に接続されている。発光制御部２４０は、発光装置５００に対する発光制御処理を実行する。

発光装置５００は、照明用発光部５１０および音出力用発光部５２０を含む。
照明用発光部５１０は、撮像装置１００による撮像範囲を照明する。
照明用発光部５１０は、例えば赤外光を発光する。
照明用発光部５１０は、例えば撮像装置１００が撮像を開始すると発光する。
または、照明用発光部５１０は、例えば撮像装置１００により撮像された画像において明るさが不足している場合に発光する。
図１２に示す照明用発光部５１０は、乗員監視装置２００ａにおける発光制御部２４０からの指令により発光を開始し、または、発光を終了する。

音出力用発光部５２０は、ヘッドフォン等に対して光を用いて音を出力する。
音出力用発光部５２０は、例えば赤外光を発光する。
音出力用発光部５２０は、リアシートエンタテインメント装置１０００における図示しない音出力制御部２３０により制御されるとともに、乗員監視装置２００ａの発光制御部２４０により制御される。

乗員監視装置２００ａの発光制御部２４０は、データ取得部２１０により取得された画像データを用いて、画像の明るさが不足している場合に、照明用発光部５１０に対して発光を指令する。
撮像した画像において乗員を検出するために必要な明るさを得ることができ、乗員を検出する精度をさらに向上させることができる。
乗員監視装置２００ａの発光制御部２４０は、データ取得部２１０により取得された画像データを用いて、画像の明るさが不足している場合に、照明用発光部５１０および音出力用発光部５２０に対して発光を指令する。

発光制御部２４０の構成の一例を説明する。
図１３は、実施の形態４に係る発光制御部２４０の構成例を示す図である。
発光制御部２４０は、照明判定部２４１と、発光指令部２４２とを含む。
照明判定部２４１は、音出力用発光部５２０が使用されていない場合、音出力用発光部５２０に発光させると判定する。
具体的には、照明判定部２４１は、音出力用発光部５２０の動作を示す情報を取得して、音出力用発光部５２０が使用されているかいないかを判定し、照明を行うかを判定する。照明判定部２４１は、音出力用発光部５２０が使用されていないと判定した場合、照明判定信号を発光指令部２４２へ出力する。

発光指令部２４２は、照明判定部２４１による判定結果を用いて、音出力用発光部５２０に発光させるよう指令する。
具体的には、発光指令部２４２は、照明判定部２４１から照明判定信号を取得すると、発光を指令する信号である発光指令信号を出力する。

図１４は、図１２に示す発光制御部２４０の処理の一例を示すフローチャートである。
発光制御部２４０は、例えば撮像装置１００からデータ取得部２１０が画像データを取得した場合に処理を開始する。
また、発光制御部２４０は、例えばデータ取得部２１０が取得した画像データにおける画像の明るさ（輝度）が予め定められた閾値未満である場合、処理を開始する。

照明判定部２４１は、音出力用発光部５２０が使用中であるかを判定する（ステップＳＴ４１０）。
具体的には、照明判定部２４１は、音出力用発光部５２０の動作状態を確認して、音出力用発光部５２０が使用中であるかを判定する。

照明判定部２４１は、音出力用発光部５２０が使用中である場合（ステップＳＴ４１０“ＹＥＳ”）、ステップＳＴ４１０の処理に戻り、引き続き、音出力用発光部５２０が使用中であるかを判定する。

音出力用発光部５２０が使用中でない場合（ステップＳＴ４１０“ＮＯ”）、発光指令部２４２は、音出力用発光部５２０を照明用に切替え、発光指令する（ステップＳＴ４２０）。
具体的には、照明判定部２４１は、音出力用発光部５２０が使用中でないと判定した場合、照明を行うことを決定し、照明判定信号を発光指令部２４２へ出力する。
発光指令部２４２は、音出力用発光部５２０に対し発光を指令する信号である発光指令信号を出力する。発光指令信号には、出力レベルを調整できる情報が含まれていてもよい。

発光指令部２４２は、発光指令信号を出力した後、音出量用発光部に対する使用要求があるかを判定する（ステップＳＴ４３０）。

発光指令部２４２は、音出量用発光部に対する使用要求があった場合（ステップＳＴ４３０“ＹＥＳ”）、音出力用発光部５２０への発光指令を終了する（ステップＳＴ４５０）。

発光指令部２４２は、音出量用発光部に対する使用要求がない場合（ステップＳＴ４３０“ＮＯ”）、次に、乗員検出処理が終了したかを判定する（ステップＳＴ４４０）。

発光指令部２４２は、乗員検出処理が終了していないと判定した場合（ステップＳＴ４４０“ＮＯ”）、ステップ４３０からの処理に戻り、引き続き、音出量用発光部に対する使用要求があるかを判定する。

発光指令部２４２は、乗員検出処理が終了したと判定した場合（ステップＳＴ４４０“ＹＥＳ”）、音出力用発光部５２０への発光指令を終了する（ステップＳＴ４５０）。

ステップＳＴ４５０の処理を実行すると、発光制御処理は、終了する。

これにより、乗員監視装置２００ａは、乗員がヘッドフォンなどを利用している際に利用を妨げることがなく、乗員にとっての利便性を維持しつつ、監視の精度を向上させることができる。

図１５は、実施の形態４に係る乗員監視装置２００ａの監視範囲を説明する図である。
図１６は、実施の形態４に係る撮像装置１００の第１の配置例を説明する図である。
図１７は、実施の形態４に係る撮像装置１００の第２の配置例を説明する図である。

乗員監視装置２００ａは、図１５、図１６または図１７に示すように配置された撮像装置１００および撮像装置１００ａにより撮像された画像を用いて乗員を監視する。
図１５、図１６または図１７に示す発光装置５００ａにおいては、照明用発光部５１０に加え、さらに、音出力用発光部５２０が配置されている。
音出力用発光部５２０は、本体部１０１０における前面に配置され、撮像装置１００に対し、距離ｄ_４または距離ｄ_５の間隔を空けて配置されている。
図１６に示す距離ｄ_４は、照明用発光部５１０から発した光が、少なくとも後席２０２０に着座している状態における乗員の網膜を介して撮像装置１００に正反射しないように、照明用発光部５１０と撮像装置１００とを配置するための間隔である。
図１７に示す距離ｄ_５は、音出力用発光部５２０から発した光が、少なくとも後席２０２０に着座している状態における乗員の網膜を介して撮像装置１００に正反射しないように、音出力用発光部５２０と撮像装置１００とを配置するための間隔である。
図１７においては、撮像装置１００および発光装置５００が配置されている領域にＩＲフィルタ２０１１を設けている。ＩＲフィルタ２０１１は、赤外光のみを透過させるフィルタである。

本開示に係る乗員監視装置において、前記表示装置には、前記撮像部が撮像する際に撮像対象範囲を照明する照明用発光部が備えられており、前記データ取得部により取得された画像データを用いて、画像の明るさが不足している場合に、前記照明用発光部に対して発光を指令する発光制御部を備えるように構成した。
これにより、乗員監視装置は、撮像した画像において乗員を検出するために必要な明るさを得ることができ、乗員を検出する精度をさらに向上させることができる、という効果を奏する。

本開示に係る乗員監視装置において、前記表示装置には、音出力装置に対して光を用いて音信号を送信する音出力用発光部がさらに備えられており、前記発光制御部は、前記データ取得部により取得された画像データを用いて、画像の明るさが不足している場合に、前記照明用発光部および前記音出力用発光部に対して発光を指令するように構成した。
これにより、乗員監視装置は、撮像した画像において乗員を検出するために必要な明るさを得ることができ、乗員を検出する精度をさらに向上させることができる、という効果を奏する。

本開示に係る乗員監視装置において、前記発光制御部は、前記音出力用発光部が使用されていない場合、前記音出力用発光部に発光させると判定する照明判定部と、前記照明判定部による判定結果を用いて、前記音出力用発光部に発光させるよう指令する発光指令部と、を備えるように構成した。
これにより、乗員監視装置は、乗員がヘッドフォンなどを利用している際に利用を妨げることがなく、乗員にとっての利便性を維持できる。

本開示に係る乗員監視装置において、前記撮像部と、前記照明用発光部および前記音出力用発光部とは、前記照明用発光部および前記音出力用発光部による光が少なくとも後席に着座している状態における乗員の網膜を介して前記撮像部に正反射しないように、一定の間隔を空けて配置されているように構成した。
これにより、乗員監視装置は、撮像した画像における赤目現象を抑制することができ、乗員を検出する精度をさらに向上させることができる、という効果を奏する。

ここで、本開示に係る乗員監視装置２００、乗員監視装置２００ａの機能を実現するハードウェア構成を説明する。
図１８は、本開示に係る機能を実現するためのハードウェア構成の第１の例を示す図である。
図１９、本開示に係る機能を実現するためのハードウェア構成の第２の例を示す図である。
本開示の乗員監視装置２００または、乗員監視装置２００ａは、図１８または図１９に示されるようなハードウェアにより実現される。

乗員監視装置２００または乗員監視装置２００ａは、図１８に示すように、プロセッサ１０００１、メモリ１０００２により構成される。
プロセッサ１０００１、メモリ１０００２は、例えば、コンピュータに搭載されているものである。
メモリ１０００２には、当該コンピュータを、データ取得部２１０、乗員検出部２２０、領域判定部２２１、生体検出部２２２、出力制御部２３０、状況判別部２３１、提示指令部２３２、発光制御部２４０、照明判定部２４１、発光指令部２４２、および、図示しない制御部として機能させるためのプログラムが記憶されている。メモリ１０００２に記憶されたプログラムをプロセッサ１０００１が読み出して実行することにより、データ取得部２１０、乗員検出部２２０、領域判定部２２１、生体検出部２２２、出力制御部２３０、状況判別部２３１、提示指令部２３２、発光制御部２４０、照明判定部２４１、発光指令部、および、図示しない制御部の機能が実現される。
また、メモリ１０００２または図示しない他のメモリにより、図示しない記憶部、または、記憶装置３００が実現される。
プロセッサ１０００１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
メモリ１０００２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
プロセッサ１０００１とメモリ１０００２とは、相互にデータを伝送することが可能な状態に接続されている。また、プロセッサ１０００１とメモリ１０００２とは、入出力インタフェース１０００３を介して他のハードウェアと相互にデータを伝送することが可能な状態に接続されている。

または、データ取得部２１０、乗員検出部２２０、領域判定部２２１、生体検出部２２２、出力制御部２３０、状況判別部２３１、提示指令部２３２、発光制御部２４０、照明判定部２４１、発光指令部２４２、および、図示しない制御部の機能は、図１９に示すように、専用の処理回路１０００４により実現されるものであっても良い。
処理回路１０００４は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）またはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等を用いたものである。
また、メモリ１０００５または図示しない他のメモリにより、図示しない記憶部、または、記憶装置３００が実現される。
メモリ１０００５は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｃ）等の光ディスクであってもよいし、光磁気ディスクであってもよい。
処理回路１０００４とメモリ１０００５とは、相互にデータを伝送することが可能な状態に接続されている。また、処理回路１０００４とメモリ１０００５とは、入出力インタフェース１０００６を介して他のハードウェアと相互にデータを伝送することが可能な状態に接続されている。
なお、データ取得部２１０、乗員検出部２２０、領域判定部２２１、生体検出部２２２、出力制御部２３０、状況判別部２３１、提示指令部２３２、発光制御部２４０、照明判定部２４１、発光指令部２４２、および、図示しない制御部の機能をそれぞれ別の処理回路で実現しても良いし、まとめて処理回路で実現しても良い。

または、データ取得部２１０、乗員検出部２２０、領域判定部２２１、生体検出部２２２、出力制御部２３０、状況判別部２３１、提示指令部２３２、発光制御部２４０、照明判定部２４１、発光指令部２４２、および、図示しない制御部のうちの一部の機能がプロセッサ１０００１およびメモリ１０００２により実現され、かつ、残りの機能が処理回路１０００４により実現されるものであっても良い。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

本開示に係る乗員監視装置は、後席における着座高さより下の領域を監視することができるように構成したので、後席の乗員を監視する、車載用の乗員監視装置等に用いるのに適している。

１００，１００ａ 撮像装置、１５０ センサ部、２００，２００ａ 乗員監視装置、２１０ データ取得部、２２０ 乗員検出部、２２１ 領域判定部、２２２ 生体検出部、２３０ 出力制御部、２３１ 状況判別部、２３２ 提示指令部、２４０ 発光制御部、２４１ 照明判定部、２４２ 発光指令部、３００ 記憶装置、４００ 提示装置、５００，５００ａ 発光装置、５１０ 照明用発光部、５２０ 音出力用発光部、１０００ リアシートエンタテインメント装置、１０１０ 本体部、１０１１，２０１１ ＩＲフィルタ、１０２０，１０２０ａ，１０２０ｂ 表示部、１０２１ ディスプレイ、２０００ 前席、２０１１ ＩＲフィルタ、２０２０ 後席、２１００ 着座高さより下の領域、１０００１ プロセッサ、１０００２ メモリ、１０００３ 入出力インタフェース、１０００４ 処理回路、１０００５ メモリ、１０００６ 入出力インタフェース。

Claims (11)

1. 車両における乗員を監視する乗員監視装置であって、
   前記乗員監視装置は、
   前記車両における前席と後席との間の画像を含む画像データを撮像部から取得するデータ取得部と、
   前記データ取得部により取得された画像データを用いて、前記後席の着座位置の高さより下の領域における乗員を検出する乗員検出部と、
   前記着座位置の高さより下の領域に乗員が検出された場合、前記乗員検出部により検出された乗員に関する情報である提示情報を提示部へ出力する出力制御部と、
   を備え、
   後席用の表示装置には、前記撮像部が撮像する際に撮像対象範囲を照明する照明用発光部、および、音出力装置に対して光を用いて音信号を送信する音出力用発光部、が備えられており、
   前記乗員監視装置は、
   前記データ取得部により取得された画像データを用いて、画像の明るさが不足している場合に、前記照明用発光部および前記音出力用発光部に対して発光を指令する発光制御部をさらに備え、
   前記発光制御部は、
   前記音出力用発光部が使用されていない場合、前記音出力用発光部に発光させると判定する照明判定部と、
   前記照明判定部による判定結果を用いて、前記音出力用発光部に発光させるよう指令する発光指令部と、
   を備えた、
   ことを特徴とする、乗員監視装置。
2. 前記乗員検出部は、
   前記データ取得部により取得された画像データを用いて、前席と後席との間の領域を判定する領域判定部と、
   前記領域判定部による判定結果に基づき、前記前席と前記後席との間の画像データを用いて、前記後席の前記着座位置の高さより下の領域における乗員を検出する生体検出部と、
   を備えた請求項１に記載の乗員監視装置。
3. 前記出力制御部は、
   前記車両の状況を判別する状況判別部と、
   前記状況判別部による判別結果を用いて、状況に応じた提示先に提示情報を提示するよう指令する提示指令部と、
   を備えたこと、を特徴とする請求項１または請求項２に記載の乗員監視装置。
4. 前記撮像部は、前記車両の天井に配置される撮像装置である、
   ことを特徴とする請求項１に記載の乗員監視装置。
5. 前記撮像部は、
   前記車両の天井に設置された非開閉部と開閉部とからなる前記表示装置が備える撮像装置であって、前記非開閉部に配置される前記撮像装置である、
   ことを特徴とする請求項１に記載の乗員監視装置。
6. 前記撮像部は、
   前記車両の天井に設置された非開閉部と開閉部とからなる前記表示装置が備える撮像装置であって、前記開閉部に配置される前記撮像装置である、
   ことを特徴とする請求項１に記載の乗員監視装置。
7. 前記撮像部は、
   前席のヘッドレストに配置される前記表示装置に備えられた撮像装置である、
   ことを特徴とする請求項１に記載の乗員監視装置。
8. 前記撮像部と前記照明用発光部とは、前記照明用発光部から発した光が、少なくとも後席に着座している状態における乗員の網膜を介して前記撮像部に正反射しないように、一定の間隔を空けて配置されていること、
   を特徴とする請求項１から請求項７のうちのいずれか１項に記載の乗員監視装置。
9. 前記撮像部と、前記照明用発光部および前記音出力用発光部とは、前記照明用発光部および前記音出力用発光部による光が少なくとも後席に着座している状態における乗員の網膜を介して前記撮像部に正反射しないように、一定の間隔を空けて配置されていること、
   を特徴とする請求項１から請求項７のうちのいずれか１項に記載の乗員監視装置。
10. 前記撮像部を備え、
    前記撮像部は、
    前記車両に乗員が乗車したことを契機にして撮像を開始し、
    前記データ取得部は、
    前記撮像部から画像データの取得を開始し、
    前記撮像部は、
    前記車両から全ての乗員が降車したと判断できる状況において撮像を終了する、
    ことを特徴とする請求項１から請求項９のうちのいずれか１項に記載の乗員監視装置。
11. 乗員監視装置を用いて車両における乗員を監視する乗員監視方法であって、
    前記乗員監視方法は、
    前記乗員監視装置のデータ取得部が、前記車両における前席と後席との間の画像を含む画像データを撮像部から取得するデータ取得ステップと、
    前記乗員監視装置の乗員検出部が、前記データ取得部により取得された画像データを用いて、前記後席の着座位置の高さより下の領域における乗員を検出する乗員検出ステップと、
    前記着座位置の高さより下の領域に乗員が検出された場合、前記乗員監視装置の出力制御部が、前記乗員検出部により検出された乗員に関する情報である提示情報を提示部へ出力する出力制御ステップと、
    を備え、
    後席用の表示装置には、前記撮像部が撮像する際に撮像対象範囲を照明する照明用発光部、および、音出力装置に対して光を用いて音信号を送信する音出力用発光部、が備えられており、
    前記乗員監視方法は、
    前記乗員監視装置の発光制御部が、前記データ取得部により取得された画像データを用いて、画像の明るさが不足している場合に、前記照明用発光部および前記音出力用発光部に対して発光を指令する発光制御ステップをさらに備え、
    前記発光制御ステップは、
    前記音出力用発光部が使用されていない場合、前記音出力用発光部に発光させると判定する照明判定ステップと、
    前記照明判定ステップによる判定結果を用いて、前記音出力用発光部に発光させるよう指令する発光指令ステップと、
    を備えた、
    ことを特徴とする、乗員監視方法。

Images