JP6804416B2

JP6804416B2 - 監視システム

Info

Publication number: JP6804416B2
Application number: JP2017183383A
Authority: JP
Inventors: 勝又　健一; 健一勝又; 清那須; 英和大橋
Original assignee: Yazaki Corp; Hitachi Industry and Control Solutions Co Ltd
Current assignee: Yazaki Corp; Hitachi Industry and Control Solutions Co Ltd
Priority date: 2017-09-25
Filing date: 2017-09-25
Publication date: 2020-12-23
Anticipated expiration: 2037-09-25
Also published as: DE102018216026A1; CN109561277A; US10949688B2; JP2019061329A; CN109561277B; US20190095734A1

Description

本発明は、監視システムに関する。

車両に搭載される従来の監視システムとして、例えば、特許文献１には、検出手段と、判定手段と、通知手段と、停車手段とを備える運転者監視装置が開示されている。検出手段は、カメラにより撮影された車両の運転席の画像に基づいて、運転者の姿勢崩れを検出する。判定手段は、検出手段により検出された運転者の姿勢崩れが、運転者の癖による姿勢崩れか否か判定する。通知手段は、判定手段により癖による姿勢崩れと判定された場合と、判定手段により癖以外の姿勢崩れと判定された場合とで、異なる態様により運転者に姿勢崩れに関する通知を行う。停車手段は、通知手段により注意を喚起した後に運転者の姿勢が改善されず、かつ、予め定められた条件が成立した場合に、車両を安全に停車させる信号を車両制御装置へ出力する。

特開２０１６−０３８７９３号公報

ところで、上述の特許文献１に記載の運転者監視装置は、例えば、適正な監視を確保すべく、監視対象者等に対してシステムの現在の動作状態を適正に把握させることができる構成が望まれている。

本発明は、上記の事情に鑑みてなされたものであって、動作状態を把握させることができる監視システムを提供することを目的とする。

上記目的を達成するために、本発明に係る監視システムは、車両の室内の監視対象者を含む画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に基づいて前記監視対象者の監視対象部位を検出し、検出した前記監視対象部位の位置である対象部位検出位置に基づいて前記監視対象者の状態を監視する監視部と、前記車両の室内に設けられ、予め設定された監視適正位置に対する前記対象部位検出位置の相対位置を表す視覚情報を表示する表示部とを備え、前記表示部は、前記視覚情報として、前記監視適正位置に対する前記対象部位検出位置の相対位置に応じて表示色が変化する状態表示画像に加えて、前記監視適正位置に対して前記対象部位検出位置の相対位置が相対的に離れていることを報知するための報知図形を構成する報知画像を表示することを特徴とする。

また、上記監視システムでは、前記表示部は、前記監視適正位置に対する前記対象部位検出位置の相対位置が相対的に近い場合、前記報知画像を前記状態表示画像と同化して表示し、前記監視適正位置に対する前記対象部位検出位置の相対位置が相対的に離れている場合、前記報知画像を前記状態表示画像に重畳し当該状態表示画像から浮き出したように表示するものとすることができる。

また、上記監視システムでは、前記表示部は、前記視覚情報として、前記監視適正位置を表す適正位置画像に、前記対象部位検出位置を表す検出位置画像を組み合わせて表示するものとすることができる。

また、上記監視システムでは、前記車両の天井の前記室内側の面に設けられ、前記撮像部、前記監視部、及び、前記表示部が組み付けられる筐体を備えるものとすることができる。

本発明に係る監視システムは、監視部が撮像部によって撮像された画像に基づいて監視対象者の監視対象部位を検出し、検出した監視対象部位の対象部位検出位置に基づいて監視対象者の状態を監視する。そして、監視システムは、表示部が予め設定された監視適正位置に対する対象部位検出位置の相対位置を表す視覚情報を表示する。この結果、監視システムは、当該視覚情報によって監視部が適正に監視対象者の監視対象部位を検出しているか否かを把握させることができるので、監視対象者に対して動作状態を把握させることができる、という効果を奏する。

図１は、実施形態に係る監視システムが適用される車両の室内の概略構成を表す模式図である。図２は、実施形態に係る監視システムの概略構成を表すブロック図である。図３は、実施形態に係る監視システムの外観を表す斜視図である。図４は、実施形態に係る監視システムの表示部における表示態様の一例を表す模式図である。図５は、実施形態に係る監視システムの表示部における表示色の変化の一例を表す模式図である。図６は、実施形態に係る監視システムの表示部における報知画像の一例を表す模式図である。図７は、実施形態に係る監視システムの表示部における報知画像の一例を表す模式図である。図８は、実施形態に係る監視システムの表示部における表示態様の一例を表す模式図である。図９は、実施形態に係る監視システムの表示部における表示態様の一例を表す模式図である。

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

［実施形態］
図１、図２、図３に示す本実施形態に係る監視システム１は、車両１００に搭載され、当該車両１００の室内１０１の監視対象者ＯＢを監視し、監視対象者ＯＢが異常である場合に様々な処理を行う車載システム（車室内監視システム）である。監視対象者ＯＢは、監視システム１による監視の対象者である。監視対象者ＯＢは、車両１００の室内１０１に乗車した搭乗者であり、車両１００の運転者や運転者以外の同乗者を含む。本実施形態の監視対象者ＯＢは、一例として、運転者であるものとして説明する。そして、本実施形態の監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、種々の機能を統合したオーバーヘッドモジュール（ＯＨＭ：Ｏｖｅｒ−ＨｅａｄＭｏｄｕｌｅ）を構成する。以下、各図を参照して監視システム１の構成について詳細に説明する。

具体的には、監視システム１は、筐体２と、撮像部３と、出力部４と、照明部５と、操作部６と、外部接続部７と、制御部８とを備える。なお、オーバーヘッドモジュールを構成する監視システム１は、この他、例えば、無線通信部、アンテナ、電源分配部等を備えていてもよい。

筐体２は、監視システム１を構成する各部を収容するものである。筐体２は、複数の部材が組み合わさって全体として中空箱状に形成される。筐体２は、絶縁性を有する合成樹脂によって形成される。ここでは、筐体２は、内部に撮像部３、出力部４、照明部５、操作部６、外部接続部７、及び、制御部８が組み付けられこれらを収容し、オーバーヘッドモジュールとしてユニット化する。筐体２は、内部に収容した撮像部３、出力部４、照明部５、操作部６、外部接続部７の一部が外面に露出している。そして、本実施形態の筐体２は、車両１００の天井（ルーフパネル）１０２の室内１０１側の面に設けられる。天井１０２は、ピラー等を介して車両ボデー本体に連結され当該車両ボデー本体の鉛直方向上側に支持された構造体である。車両１００は、天井１０２を鉛直方向上側の境界として、室内１０１と室外とに領域分けされる。ここでは、筐体２は、例えば、天井１０２とウインドシールド１０３との交差部分でかつ車両１００の車幅方向の略中央位置に設けられる。ウインドシールド１０３は、車両１００の前部に設けられ室内１０１と室外との境界となるものであり、フロントガラスとも呼ばれる。典型的には、筐体２は、車両１００を操舵するための操舵部材であるステアリング１０４と対面する運転席１０５に着座した監視対象者ＯＢである運転者から手が届く位置に設けられる。

撮像部３は、車両１００の室内１０１の監視対象者ＯＢである運転者を含む画像を撮像するものである。本実施形態の撮像部３は、監視対象者ＯＢの状態として、運転席１０５に着座した運転者の３次元位置を計測可能な３次元画像を撮像する機能を有する。撮像部３は、例えば、ステレオカメラ等の撮像装置によって構成される。撮像部３は、例えば、ステレオカメラのレンズが筐体２の外面に露出し、光軸が室内１０１の運転席１０５側を向くようにして当該筐体２に設けられる。撮像部３は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。例えば、撮像部３は、撮像した画像を制御部８に出力する。なお、撮像部３は、ステレオカメラの他、３次元画像を撮像する機能を有するＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）カメラやその他の単眼カメラによって構成されてもよい。

出力部４は、車両１００の室内１０１に向けて、種々の情報を出力するものである。ここでは、出力部４は、表示部４１と、スピーカ４２とを含んで構成される。表示部４１は、視覚情報（図形情報、文字情報）を出力する視覚情報表示装置であり、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。表示部４１は、視覚情報を表示する表示面が筐体２の外面に露出し、室内１０１の運転席１０５側を向くようにして当該筐体２に設けられる。表示部４１は、典型的には、監視対象者ＯＢから目視可能な位置に設けられる。スピーカ４２は、聴覚情報（音声情報、音情報）を出力する聴覚情報出力装置である。出力部４を構成する表示部４１、スピーカ４２は、それぞれ、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。例えば、表示部４１は、撮像部３から制御部８を介して出力された画像等の視覚情報を表示する。なお、出力部４は、表示部４１、スピーカ４２の他、例えば、車両１００のハンドル振動、座席振動、ペダル反力などの触覚情報等を出力する触覚情報出力装置等を含んで構成されてもよい。

照明部５は、車両１００の室内１０１を照明するものであり、例えば、マップランプ等である。照明部５は、例えば、白色光、赤色光、青色光、緑色光等、種々の発光色で発光するＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）素子等の光源を含んで構成される。照明部５は、例えば、照明光を照射する照射面が筐体２の外面に露出し、室内１０１側を向くようにして当該筐体２に設けられる。照明部５は、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。例えば、照明部５は、制御部８によって操作部６に対する操作入力に応じて制御され点灯、あるいは、消灯する。

操作部６は、車両１００の室内１０１側から種々の操作を入力可能な操作子である。操作部６は、例えば、押しボタン、静電容量式タッチスイッチや赤外線センサ等の非接触式センサ等によって構成される。操作部６は、操作が入力される部分が筐体２の外面において搭乗者の手が届く位置に露出し、室内１０１側を向くようにして当該筐体２に設けられる。ここでは、操作部６は、一例として、照明部５の点灯、消灯を切り替える照明操作部６１、表示部４１による表示内容を切り替える表示操作部６２、監視システム１の各種設定を行う設定操作部６３等を含んで構成される。操作部６を構成する照明操作部６１、表示操作部６２、設定操作部６３は、それぞれ、制御部８に電気的に接続され、相互に電気信号を授受可能であり、当該制御部８によって各部の動作が制御される。例えば、操作部６は、操作入力に応じて操作信号を制御部８に出力する。

外部接続部７は、筐体２の外部の電気機器が電気的に接続される部分である。外部接続部７は、種々の形式のコネクタやインターフェース部によって構成される。ここでは、外部接続部７は、例えば、車両１００の各部を統括的に制御する車両ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）や車両１００の天井１０２の室内１０１側の面の後部座席側の位置に設けられるリヤモジュール等が電気的に接続される。外部接続部７は、制御部８、及び、筐体２の外部の電気機器に電気的に接続され、相互に電気信号を授受可能である。

制御部８は、監視システム１の各部を統括的に制御する部分である。制御部８は、監視対象者ＯＢの状態監視や様々な支援に関する種々の演算処理を実行する。制御部８は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の中央演算処理装置、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部８は、撮像部３、出力部４、照明部５、操作部６、及び、外部接続部７が電気的に接続される。制御部８は、撮像された画像に対応した画像信号、各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。

具体的には、制御部８は、機能概念的に、記憶部８１、及び、処理部８２を含んで構成される。記憶部８１、及び、処理部８２は、電気的に接続されている各種機器との間で種々の情報を授受することができる。記憶部８１は、メモリ等の記憶装置である。記憶部８１は、制御部８での各種処理に必要な条件や情報、制御部８で実行する各種プログラム等が格納されている。そして、記憶部８１は、表示部４１に表示する一部の画像等の視覚情報やスピーカ４２で出力する音声等の聴覚情報も記憶している。また、記憶部８１は、撮像部３が撮像した画像に関する情報や外部接続部７を介して取得された各種情報を一時的に記憶することもできる。記憶部８１は、処理部８２（後述する監視部８３（検出部８３ａ、判定部８３ｂ）、動作制御部８４）等によってこれらの情報が必要に応じて読み出される。処理部８２は、各種入力信号等に基づいて、記憶部８１に記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する。処理部８２は、より詳細には、機能概念的に、監視部８３、及び、動作制御部８４を含んで構成される。

監視部８３は、監視処理を実行可能な部分である。監視処理とは、撮像部３によって撮像された画像に基づいて監視対象者ＯＢの状態を監視する処理である。監視部８３は、撮像部３によって撮像された画像に基づいて監視対象者ＯＢの監視対象部位ＴＧを検出する。そして、監視部８３は、検出した監視対象部位ＴＧの位置である対象部位検出位置に基づいて監視対象者ＯＢの状態を監視する。ここで、監視部８３が検出する監視対象部位ＴＧは、監視対象者ＯＢにおいて監視の対象となる部位であり、例えば、監視対象者ＯＢの頭部であるがこれに限らない。

より具体的には、監視部８３は、機能概念的に、検出部８３ａ、及び、判定部８３ｂを含んで構成される。検出部８３ａ、及び、判定部８３ｂは、それぞれ相互に電気的に接続されると共に、記憶部８１、動作制御部８４とも電気的に接続される。さらに、検出部８３ａは、撮像部３とも電気的に接続される。検出部８３ａは、撮像部３によって撮像された画像に基づいて監視対象者ＯＢの監視対象部位ＴＧ、ここでは、頭部の３次元位置（位置座標）を検出する部分である。検出部８３ａは、種々の公知の画像処理技術や画像認識技術を用いて、監視対象部位ＴＧとして監視対象者ＯＢの頭部を検出し３次元位置を検出する。検出部８３ａは、撮像部３によって撮像された画像に基づいてリアルタイムで監視対象者ＯＢの監視対象部位ＴＧとして頭部の３次元位置を検出する。判定部８３ｂは、検出部８３ａが検出した監視対象部位ＴＧの３次元位置である対象部位検出位置に基づいて監視対象者ＯＢの状態を判定する部分である。判定部８３ｂは、検出部８３ａが検出した監視対象部位ＴＧの対象部位検出位置や当該対象部位検出位置の動きに基づいて種々の公知の手法を用いて監視対象者ＯＢの状態を判定する。判定部８３ｂは、例えば、監視対象者ＯＢの状態として、正常状態、異常状態等を区別して判定する。つまり、判定部８３ｂは、例えば、監視対象者ＯＢの頭部の位置や当該頭部の動きに基づいて、監視対象者ＯＢの正常状態や、監視対象者ＯＢの異常状態を区別して判定する。判定部８３ｂは、例えば、対象部位検出位置（言い換えれば頭部の位置）が異常な動き方をした場合に監視対象者ＯＢが異常状態であるものと判定する。

動作制御部８４は、動作制御処理を実行可能な部分である。動作制御処理とは、撮像部３、出力部４、照明部５、及び、操作部６等の監視システム１の各部の動作を制御する処理である。動作制御部８４は、撮像部３、出力部４（表示部４１、スピーカ４２）、照明部５、操作部６（照明操作部６１、表示操作部６２、設定操作部６３）、外部接続部７、記憶部８１、監視部８３（検出部８３ａ、判定部８３ｂ）と電気的に接続される。動作制御部８４は、撮像部３に駆動信号を出力することで撮像部３の動作を制御し、監視対象者ＯＢを含む画像の撮像を開始させたり当該撮像を終了させたりすることができる。また、動作制御部８４は、出力部４（表示部４１、スピーカ４２）に駆動信号を出力することで出力部４の動作を制御し、表示部４１に視覚情報を表示させたりスピーカ４２に聴覚情報を出力させたりすることができる。また、動作制御部８４は、照明部５に駆動信号を出力することで照明部５の動作を制御し、照明部５を点灯させたり照明部５を消灯させたりすることができる。さらに、動作制御部８４は、操作部６（照明操作部６１、表示操作部６２、設定操作部６３）から入力された操作信号に基づいて操作部６に対する操作入力を受け付け、照明部５の点灯、消灯を切り替えたり表示部４１による表示内容を切り替えたり各種設定を行ったりすることができる。また、動作制御部８４は、例えば、判定部８３ｂによる監視対象者ＯＢの状態の判定結果に基づいて出力部４等の各部の動作を制御することもできる。この場合、動作制御部８４は、例えば、判定部８３ｂによる監視対象者ＯＢの状態の判定結果に基づいて、出力部４を制御し、注意喚起や警告を含む種々の情報を出力させるようにしてもよい。例えば、動作制御部８４は、判定部８３ｂによって監視対象者ＯＢの状態が正常状態であるものと判定された場合、出力部４から監視に関する情報の出力を行わないようにしてもよい。一方、動作制御部８４は、判定部８３ｂによって監視対象者ＯＢの状態が異常状態であるものと判定された場合、出力部４を制御し、監視対象者ＯＢに対して注意喚起や警告を表す情報を出力するようにしてもよい。また、動作制御部８４は、出力部４に警告を出力させた後、予め定められた支援開始条件（例えば、所定時間の経過等）が成立したら、外部接続部７を介して車両ＥＣＵに支援要求信号を出力し、車両１００の自動減速や自動停止、緊急連絡先への通報等の各種支援を行わせるようにしてもよい。

そして、本実施形態の動作制御部８４は、表示部４１を制御し、動作状態表示処理を実行可能である。動作状態表示処理とは、予め設定された監視適正位置に対する対象部位検出位置の相対位置を表す視覚情報（以下、「動作状態視覚情報」という場合がある。）を表示部４１に表示させる処理である。表示部４１は、動作制御部８４によって当該動作状態表示処理が実行されることで、図４、図８、図９に例示するように、監視適正位置に対する対象部位検出位置の相対位置を表す当該動作状態視覚情報を表示する。ここで、監視適正位置は、監視部８３によって監視対象者ＯＢの状態監視を適正に行うことができる位置として、当該監視対象者ＯＢの着座位置等に応じて車両１００の室内１０１に設定される仮想の位置であり、所定の範囲を有する空間領域である。監視適正位置は、例えば、実車評価等に応じて予め設定される。監視適正位置は、例えば、監視対象者ＯＢである運転者が運転席１０５に着座し正常に車両１００を運転している状態における頭部の位置の分布を統計的に把握しこれを基準として予め設定される。対象部位検出位置は、上述したように、撮像部３が撮像した監視対象者ＯＢを含む画像に基づいて検出部８３ａによって検出された監視対象部位ＴＧ、ここでは頭部の３次元位置である。動作制御部８４は、表示部４１に動作状態視覚情報を常時表示させてもよいし、操作部６に対する操作入力に応じて要求に応じて適宜表示させてもよい。

表示部４１は、例えば、図４に例示するように、動作状態視覚情報として、監視適正位置に対する対象部位検出位置の相対位置に応じて表示色が変化する状態表示画像Ｉ１を表示するようにしてもよい。状態表示画像Ｉ１は、例えば、表示部４１の表示面に略矩形帯状に表示される画像である。状態表示画像Ｉ１は、例えば、図５に例示するように、監視適正位置に対する対象部位検出位置の相対位置が相対的に近いほど濃い表示色（図５中の「良」側の表示色）で表示される。一方、状態表示画像Ｉ１は、監視適正位置に対する対象部位検出位置の相対位置が相対的に離れるほど薄い表示色（図５中の「悪」側の表示色）で表示される。言い換えれば、状態表示画像Ｉ１は、濃い表示色で表示されることで監視適正位置に対する対象部位検出位置の相対位置が相対的に近いことを表し、薄い表示色で表示されることで監視適正位置に対する対象部位検出位置の相対位置が相対的に離れていることを表す。動作制御部８４は、記憶部８１に記憶されている状態表示画像Ｉ１を読み出し、予め設定されている監視適正位置と、検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置との相対的な位置関係に応じた表示色で表示部４１に表示させる。動作制御部８４は、撮像部３によって撮像され検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置の変化に応じてリアルタイムで状態表示画像Ｉ１の表示色を変化させて表示部４１に表示させる。

またさらに、表示部４１は、例えば、図６、図７に例示するように、動作状態視覚情報として、上述の状態表示画像Ｉ１に加えて、報知画像Ｉ１ａを表示するようにしてもよい。報知画像Ｉ１ａは、予め設定された監視適正位置に対して対象部位検出位置の相対位置が相対的に離れていることを報知するための報知図形を構成する画像である。報知画像Ｉ１ａは、例えば、運転者等に直感的に認識させ易い比較的に簡便な形体の図形であることが好ましく、図７等の例では「×」の形状を模した図形であるがこれに限らない。ここでは、動作制御部８４は、例えば、記憶部８１に記憶されている報知画像Ｉ１ａを読み出し、監視適正位置に対する対象部位検出位置の相対位置が相対的に近い場合の濃い表示色（図５中の「良」側の表示色）で報知画像Ｉ１ａを表示部４１に表示させる。この場合、報知画像Ｉ１ａは、図６に示すように、状態表示画像Ｉ１が濃い表示色で表示されている場合、すなわち、監視適正位置に対する対象部位検出位置の相対位置が相対的に近い場合には、当該状態表示画像Ｉ１と同化して表示され、ほぼ視認できない状態となる。一方、報知画像Ｉ１ａは、図７に示すように、状態表示画像Ｉ１が薄い表示色で表示されている場合、すなわち、監視適正位置に対する対象部位検出位置の相対位置が相対的に離れている場合には、当該状態表示画像Ｉ１に重畳され当該状態表示画像Ｉ１から浮き出したように表示され、相対的に視認しやすい状態となる。上記のように、表示部４１は、状態表示画像Ｉ１に報知画像Ｉ１ａを組み合わせて表示することで、監視適正位置に対する対象部位検出位置の相対位置を表す動作状態視覚情報を、より直感的に素早く認識させ易く表示するこができる。

また、表示部４１は、例えば、図８に例示するように、動作状態視覚情報として、監視適正位置を表す適正位置画像Ｉ２１に、対象部位検出位置を表す検出位置画像Ｉ２２を組み合わせて表示してもよい。図８に例示する適正位置画像Ｉ２１は、監視適正位置を囲う枠状の画像である。検出位置画像Ｉ２２は、監視対象者ＯＢの監視対象部位ＴＧである頭部を模した画像であり、ここでは、略楕円形状の画像である。適正位置画像Ｉ２１は、基本的には、表示位置が固定された静止画像である。これに対して、検出位置画像Ｉ２２は、撮像部３によって撮像され検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置の変化に応じて表示位置が変化する動画像である。表示部４１は、適正位置画像Ｉ２１と検出位置画像Ｉ２２との相対的な位置関係によって監視適正位置に対する対象部位検出位置の相対位置を平面表示する。ここでは、表示部４１は、適正位置画像Ｉ２１、検出位置画像Ｉ２２に組み合わせてステアリング１０４を模したステアリング画像Ｉ２３や運転席１０５を模したシート画像Ｉ２４も合わせて表示する。これにより、監視システム１は、監視適正位置に対する対象部位検出位置の相対位置を、より感覚的に分かり易いようにすることができる。検出位置画像Ｉ２２は、適正位置画像Ｉ２１内に表示されることで対象部位検出位置が監視適正位置内にあることを表し、適正位置画像Ｉ２１外に表示されることで対象部位検出位置が監視適正位置外にあることを表す。動作制御部８４は、記憶部８１に記憶されている適正位置画像Ｉ２１、検出位置画像Ｉ２２、ステアリング画像Ｉ２３、シート画像Ｉ２４を読み出し、予め設定されている監視適正位置と、検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置との相対的な位置関係に応じて表示部４１に表示させる。動作制御部８４は、撮像部３によって撮像され検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置の変化に応じてリアルタイムで検出位置画像Ｉ２２の表示位置を変化させて表示部４１に表示させる。

また、表示部４１は、例えば、図９に例示するように、動作状態視覚情報として、監視適正位置を表す適正位置画像Ｉ３１に、対象部位検出位置を表す検出位置画像Ｉ３２を組み合わせて表示してもよい。図９に例示する適正位置画像Ｉ３１は、監視適正位置を囲う枠状の画像である。検出位置画像Ｉ３２は、監視対象者ＯＢの監視対象部位ＴＧである頭部の位置を表すポインタ画像である。適正位置画像Ｉ３１は、適正位置画像Ｉ２１と同様に、基本的には、表示位置が固定された静止画像である。これに対して、検出位置画像Ｉ３２は、検出位置画像Ｉ２２と同様に、撮像部３によって撮像され検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置の変化に応じて表示位置が変化する動画像である。ここでは、表示部４１は、適正位置画像Ｉ３１と検出位置画像Ｉ３２との相対的な位置関係によって監視適正位置に対する対象部位検出位置の相対位置を立体表示する。ここでは、表示部４１は、適正位置画像Ｉ３１、検出位置画像Ｉ３２に組み合わせて、撮像部３によって撮像された画像（動画像）自体も合わせて表示する。これにより、監視システム１は、監視適正位置に対する対象部位検出位置の相対位置を、より感覚的に分かり易いようにすることができる。検出位置画像Ｉ３２は、適正位置画像Ｉ３１内に表示されることで対象部位検出位置が監視適正位置内にあることを表し、適正位置画像Ｉ３１外に表示されることで対象部位検出位置が監視適正位置外にあることを表す。動作制御部８４は、記憶部８１に記憶されている適正位置画像Ｉ３１、検出位置画像Ｉ３２、撮像部３によって撮像された画像を読み出し、予め設定されている監視適正位置と、検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置との相対的な位置関係に応じて表示部４１に表示させる。またこの場合、動作制御部８４は、撮像部３によって撮像された画像をそのまま表示部４１に表示させるようにしてもよい。動作制御部８４は、撮像部３によって撮像され検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置の変化に応じてリアルタイムで検出位置画像Ｉ３２の表示位置を変化させて表示部４１に表示させる。

以上で説明した監視システム１は、監視部８３が撮像部３によって撮像された画像に基づいて監視対象者ＯＢの監視対象部位ＴＧを検出し、検出した監視対象部位ＴＧの対象部位検出位置に基づいて監視対象者ＯＢの状態を監視する。そして、監視システム１は、表示部４１が予め設定された監視適正位置に対する対象部位検出位置の相対位置を表す視覚情報を表示する。この結果、監視システム１は、当該視覚情報によって監視対象者ＯＢ等に対して監視部８３が適正に監視対象者ＯＢの監視対象部位ＴＧを検出しているか否かを把握させることができる。例えば、監視システム１は、監視対象者ＯＢが監視対象部位ＴＧを意図的に動かした際にこれに応じて動作状態視覚情報が変化する場合には、監視部８３が監視対象者ＯＢの監視対象部位ＴＧを適正に検出していることを把握させることができる。一方、監視システム１は、監視対象者ＯＢが監視対象部位ＴＧを意図的に動かしているにもかかわらず動作状態視覚情報に変化がない場合には、監視対象者ＯＢ等に対して監視部８３が監視対象者ＯＢの監視対象部位ＴＧを適正に検出していないことを把握させることができる。この結果、監視システム１は、監視対象者ＯＢに対して動作状態を把握させることができる。これにより、監視システム１は、例えば、監視対象者ＯＢが検出部８３ａによる監視対象部位ＴＧの検出の妨げになるようなもの（例えば、ツバの大きな帽子、マスク、大きなサングラス等）を身に着けているような場合にこれらを外すように促すことができる。また、監視システム１は、例えば、監視対象者ＯＢに対して監視対象部位ＴＧを監視適正位置に位置させるように促すことができる。これにより、監視システム１は、監視部８３による監視対象者ＯＢの状態監視をより適正に行うことができる。

例えば、以上で説明した監視システム１は、表示部４１が、視覚情報として、監視適正位置に対する対象部位検出位置の相対位置に応じて表示色が変化する状態表示画像Ｉ１を表示する。これにより、監視システム１は、状態表示画像Ｉ１の表示色によって監視適正位置に対する対象部位検出位置の相対位置の変化を簡易的に表すことができる。つまり、監視システム１は、監視対象部位ＴＧの動きに伴って撮像部３によって撮像され検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置が適正に変化しているか否かを簡易的に表し認識させることができる。この結果、監視システム１は、監視対象者ＯＢに対して簡易的に動作状態を把握させることができる。

また例えば、以上で説明した監視システム１は、表示部４１が、視覚情報として、監視適正位置を表す適正位置画像Ｉ２１、Ｉ３１に、対象部位検出位置を表す検出位置画像Ｉ２２、Ｉ３２を組み合わせて表示してもよい。この場合、監視システム１は、適正位置画像Ｉ２１、Ｉ３１と検出位置画像Ｉ２２、Ｉ３２との相対的な位置関係によって監視適正位置に対する対象部位検出位置の相対位置を分かり易く表すことができる。つまり、監視システム１は、監視対象部位ＴＧの動きに伴って撮像部３によって撮像され検出部８３ａによって検出された監視対象部位ＴＧの対象部位検出位置が適正に変化しているか否かを分かり易く表し認識させることができる。この結果、監視システム１は、監視対象者ＯＢに対して動作状態をより分かり易く把握させることができる。

さらに、以上で説明した監視システム１は、撮像部３、出力部４、照明部５、操作部６、外部接続部７、制御部８を含む各部が筐体２に設けられるので、当該監視システム１全体をオーバーヘッドモジュールとしてユニット化することができる。この構成により、監視システム１は、車両１００に対する搭載性を向上することができる。

なお、上述した本発明の実施形態に係る監視システムは、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。

以上の説明では、監視部８３は、一例として車両１００の室内１０１の監視対象者ＯＢとして、運転席１０５に着座した運転者の状態を監視するものとして説明したがこれに限らない。監視対象者ＯＢは、車両１００の運転者以外の同乗者であってもよい。また、監視対象部位ＴＧは、監視対象者ＯＢの頭部であるものとして説明したがこれに限らず、例えば、腕等であってもよい。

以上の説明では、監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、オーバーヘッドモジュールを構成するものとして説明したがこれに限らない。監視システム１は、例えば、制御部８が筐体２の外部に設けられ、配索材を介して各部と電気的に接続される構成であってもよく、例えば、制御部８が車両１００の各部を統括的に制御する車両ＥＣＵによって兼用されて構成されてもよい。また、表示部４１、スピーカ４２は、例えば、車両１００に搭載されたナビゲーションシステムのディスプレイやスピーカ等が兼用されてもよい。

１監視システム
２筐体
３撮像部
４１表示部
８３監視部
１００車両
１０１室内
１０２天井
Ｉ１状態表示画像
Ｉ２１、Ｉ３１適正位置画像
Ｉ２２、Ｉ３２検出位置画像
ＯＢ監視対象者
ＴＧ監視対象部位

Claims

車両の室内の監視対象者を含む画像を撮像する撮像部と、
前記撮像部によって撮像された前記画像に基づいて前記監視対象者の監視対象部位を検出し、検出した前記監視対象部位の位置である対象部位検出位置に基づいて前記監視対象者の状態を監視する監視部と、
前記車両の室内に設けられ、予め設定された監視適正位置に対する前記対象部位検出位置の相対位置を表す視覚情報を表示する表示部とを備え、
前記表示部は、前記視覚情報として、前記監視適正位置に対する前記対象部位検出位置の相対位置に応じて表示色が変化する状態表示画像に加えて、前記監視適正位置に対して前記対象部位検出位置の相対位置が相対的に離れていることを報知するための報知図形を構成する報知画像を表示することを特徴とする、
監視システム。
前記表示部は、前記監視適正位置に対する前記対象部位検出位置の相対位置が相対的に近い場合、前記報知画像を前記状態表示画像と同化して表示し、前記監視適正位置に対する前記対象部位検出位置の相対位置が相対的に離れている場合、前記報知画像を前記状態表示画像に重畳し当該状態表示画像から浮き出したように表示する、
請求項１に記載の監視システム。
前記表示部は、前記視覚情報として、前記監視適正位置を表す適正位置画像に、前記対象部位検出位置を表す検出位置画像を組み合わせて表示する、
請求項１又は請求項２に記載の監視システム。
前記車両の天井の前記室内側の面に設けられ、前記撮像部、前記監視部、及び、前記表示部が組み付けられる筐体を備える、
請求項１乃至請求項３のいずれか１項に記載の監視システム。