以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車室内監視装置を、車室モニタリングシステム1に適用した場合を例にして説明する。
図1は、本実施形態に係る車室内監視装置100を備える車室モニタリングシステム1のブロック構成を示す図である。車室内監視装置100及びこれを含む車室モニタリングシステム1は、車両に搭載されている。車室モニタリングシステム1は、自車両の車室内の様子を監視する。車室内監視装置100は、車室内の乗員や荷物が、置き忘れられないように乗員の注意を喚起するために注意喚起情報を出力する。本実施形態の車室内監視装置100は、注意喚起情報を出力する出力媒体として、乗員が携帯可能であり、画像・音声情報の出力が可能な携帯端末装置300、又は車両に搭載され、画像・音声情報の出力が可能な出力装置30を用いることができる。
図1に示すように、車室モニタリングシステム1は、車室内監視装置100と、車載装置200と、携帯端末装置300を有する。車載装置200は、車両コントローラ50と、各種機器60と、ナビゲーション装置70とを備える。車室内監視装置100と各車載装置200とは、相互に情報の授受を行うためにCAN(Controller Area Network)その他の車載LANによって接続されている。携帯端末装置300は、通信装置310を備え、車室内監視装置100の通信装置120と相互に情報の授受を行う。携帯端末装置300と車室内監視装置100との通信は、Bluetooth(登録商標)やWi-Fi(登録商標)などの無線通信であってもよいし有線通信であってもよい。
本実施形態の各種機器60は、シフトレバーの位置を検出し、出力するシフトレバー61と、車両のドアの開閉を検出し、検出結果を出力するドア装置62と、車両の速度を検出して出力する車速センサ63と、車両の施錠状態を検出してドアロック信号とドアロック解除信号とを出力する施錠装置64と、車載装置200内の時間を計時する時計65と、車両のシートベルトの使用状況を検出し出力するシートベルト装置66と、ドライバの操作に応じてイグニッションのオンオフを検出し出力するイグニッションキー67と、今回の走行で車両に搭乗した乗員を特定する乗員特定装置68と、を有する。これらの各種機器群60は、車両コントローラ50を介して又は直接に、検出された情報を車室内監視装置100へ出力する。
シフトレバー61により検出されたシフトポジション情報は、走行開始の判断処理又は走行終了の判断処理に用いられる。
ドア装置62は、ドライバの乗車を判断し、各ドアの開閉フラグを基に、ドライバが乗車したかを判断する。判断結果は走行開始終了判断処理に用いられる。
施錠装置64は、施錠装置64への入力に基づいてドアロック、ドアロック解除信号を検出し、その検出結果を制御装置10へ送出する。各施錠情報(解錠情報)は、ドア開閉操作の検出処理と、第2注意喚起の実行処理において利用される。また、施錠装置64は、ドアの開閉操作の検出を行い、キー操作部から得られる乗員のキー操作信号検出後、ドア装置62から得られる、各ドアの開閉信号に基づいて、各ドアが開閉されたかを判断する。判断結果はドライバの乗車判断処理、ドライバの降車準備判断処理(第1降車状態)、降車完了判断処理(第2降車状態)、施錠完了判断処理(第3降車状態)に用いられる。
乗員特定装置68は、施錠装置64に入力された鍵識別子や、車両のシート位置設定装置に入力された位置情報などに基づいて今回の走行で車両に搭乗した乗員を特定する。特定結果は制御装置10へ送出され、注意喚起情報の出力指令の出力先の選択に用いられる。一つの車両を複数人が共用する場合に、乗車中の乗員に対して注意喚起をするためである。
車両コントローラ50は、エンジン作動状態を示す信号を検出し、エンジンECUから得られる信号を基に、エンジンが作動中か否かを判断する。判断結果は走行開始終了の判断処理に用いられる。
本実施形態のナビゲーション装置70は、位置検出装置71と、地図情報72とを備え、自車両の現在位置から目的地までの経路を示してドライバを誘導する。ナビゲーション装置70は、地図情報72に記憶された道路属性や地点属性にアクセスし、走行中の道路の道路属性や、現在位置のPOIの属性を求めて、ドライバに提示する。また、本実施形態のナビゲーション装置70は、外部との通信が可能であり、走行中の道路の道路属性や、現在位置のPOIの属性を取得し、乗員にこれらの情報を提供する情報提供機能73を備える。
本実施形態の携帯端末装置300は、車両の乗員が携帯可能な携帯電話、スマートフォン、タブレット型端末などの可搬装置である。携帯端末装置300は、通信装置310と、振動器320と、振動検出器330とを備える。振動器320は、振動機構を備え、携帯端末装置300を振動させて、携帯端末装置300を所持する者にその振動を感知させることにより注意喚起を行う。携帯端末装置300が着信を報知するためのバイブレーション機構を備える場合には、このバイブレーション機構を本実施形態の振動器320として利用する場合には、乗員の携帯端末装置300の通信装置310に電話をかける又は無線で振動動作命令を送るなどの手法により、乗員の携帯電話のバイブレーション機構を動作させる。この振動器320は、振動を発生させ、発生した振動を携帯端末装置300へ伝達し、携帯端末装置300自体を振動させる。
振動検出器330は、携帯端末装置300の振動を検出する。携帯端末装置300の振動を検出する手法は特に限定されないが、本実施形態の振動検出器330は、携帯端末装置300の姿勢を検出するジャイロセンサ331、携帯端末装置300の振動を検出する加速度センサ332を含む。ジャイロセンサ331又は加速度センサ332は、携帯端末装置300の振動に応じた姿勢又は加速度の変化に対応する検出結果を得る。携帯端末装置300が人間に携帯されているか、車両のシート上、ダッシュボード上、各ボックス内に州法されているかに応じて形態端末装置300の振動態様は変化し、それに応じて姿勢又は加速度について異なる検出結果を得る。振動検出器330は検出した信号を、通信装置310、120を介して車室内監視装置100の制御装置10へ出力する。
本実施形態の車室内監視装置100は、制御装置10と、カメラ20と、通信装置120と、出力装置30とを備える。通信装置120は、各携帯端末装置300の電話番号やメールアドレスなどの通信識別子を用いて、乗員の携帯端末装置300と情報の授受を行う。
本実施形態のカメラ20は、CCD等の撮像素子を用いたカメラであり、車室内の後席を撮像する。図2は、カメラ20の設置例を示す図である。図2(A)は車両Vを上方から見た場合のカメラ20の設置位置を示し、図2(B)は車両Vを側方から見た場合のカメラ20の設置位置を示す。カメラ20の数や配置場所は特に限定されず、本実施形態では、図2に示すように、車両Vの車室内天井付近に広角のカメラ20を一つ設置する。
図3は、カメラ20により撮像された後席映像の一例を示す。図3に示すように、カメラ20は、撮像領域Pの中に、カメラ20は前席の運転席STFRと助手席STFL、及び後席の右側座席STRRと左側座席STRLの像が含まれるように撮像する。この映像には、後席の左側座席STRLに着座する乗員(子供)PS1の像が含まれる。
出力装置30は、車両に装備され、乗員に注意喚起情報を出力することができるディスプレイ31、スピーカ32、ハザードランプ34、ヘッドライト、ウィンカライトなどの照灯35、外部スピーカ36を含む。ディスプレイ31は、車両のドライバが視認可能なダッシュボード周囲に設置され、車室内の後席の撮像画像やナビゲーション装置70の案内情報などを提示する。車室内のスピーカ32は、ナビゲーション装置70や車内オーディオ装置に用いられ、注意喚起情報の出力時に乗員の聴覚に刺激を与える音声を発生する。ハザードランプ34、ヘッドライトなどの照灯35は、注意喚起情報の出力時に点灯又は点滅する。外部スピーカ36は、車室外に設けられた、車両ドア開錠および施錠時の通知などに用いられる装置であり、注意喚起情報の出力時に音声を出力する。
続いて、本実施形態の制御装置10について説明する。本実施形態の車室内監視装置100の制御装置10は、カメラ20の撮像画像に基づいて後席上の物体を検出し、その物体を監視して、乗員が物体を車室内に置き忘れそうな場合には、乗員の注意を喚起するプログラムが格納されたROM(Read Only Memory)12と、このROMに格納されたプログラムを実行することで、車室内監視装置100と車室モニタリングシステム1として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えるコンピュータである。
本実施形態に係る車室内監視装置100の制御装置10は、画像取得機能と、車両情報取得機能と、物体検出機能と、判断機能と、第1報知機能と、第2報知機能と、注意喚起機能と、を有する。さらに、本実施形態の制御装置10は、実施態様に応じて、降車状態判断機能と、乗員特定機能とをさらに有する。本実施形態の制御装置10は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行するコンピュータである。
以下、本実施形態に係る車室内監視装置100の各機能について説明する。
まず、本実施形態の制御装置10の画像取得機能について説明する。制御装置10は、カメラ20が撮像した自車両の車室内の撮像画像を取得する。取得した撮像画像は、後席の乗員の検出処理に利用されるとともに、後席の映像として表示装置としてのディスプレイ31に提示される画像として利用される。本実施形態では、乗員に置き忘れの可能性を通知する注意喚起情報に、後席の映像を含める。つまり、乗員が荷物や他の乗員を車室内に残したまま車両を離れようとしたときには、後席の映像をディスプレイ31に表示することができる。
本実施形態の制御装置10の車両情報取得機能について説明する。制御装置10は、車両において、車両コントローラ50、各種機器60、ナビゲーション装置70により検出された車両情報を取得する。車両情報は車両コントローラ50、各種機器60、ナビゲーション装置70からそれぞれ直接に取得してもよいし、各種機器から車両コントローラ50を介して取得してもよい。各種機器60から得られる車両情報としては、シフトレバー61から取得するシフトレバー情報、ドア装置62から取得するドア開閉情報、車速センサ63から取得する自車両の車速、施錠装置64から取得する施錠情報、時計65から取得する時刻情報、シートベルト装置66から取得するシートベルトの着脱情報、イグニッションキー67から取得するイグニッションのオン/オフ状態、乗員特定装置68から取得から取得する乗員の特定情報、ナビゲーション装置70の位置検出装置71から取得する現在位置の位置情報などを例示することができる。
本実施形態の制御装置10の物体検出機能について説明する。制御装置10は、カメラ20により撮像された撮像画像について差分比較を行い、画像の差分値より車室内に存在する物体を検出する。制御装置10は、異なる時刻で取得された撮像画像の差分に所定の特徴が抽出された場合には、特徴が抽出された場所に物体が存在すると判断する。
ドライバ以外の乗員の存否判断の手法は特に限定されないが、本実施形態の制御装置10は、車両が走行中である判定されたタイミングでカメラ20により撮像した画像を比較画像として取得し、この比較画像と車両開錠時に取得した基準画像との画素毎の濃淡差分処理により画像間の違いを比較する。そして車両開錠時に取得した乗員がいない場合の基準画像に対して、比較画像と比較した結果に違いがあれば乗員がいると予測できるので、ドライバ以外の乗員がいると判定する。
さらに車室内に乗員を置き忘れているか否かの判断手法は特に限定されないが、上述の手法によりドライバ以外の乗員がいると判定されている場合において、乗員の降車準備が完了したタイミング、乗員の降車が完了したタイミング、又は車両の施錠がされたタイミングで、ドライバ以外の乗員が車室内に残っているか否かの判定を行う。特に限定されないが、本実施形態では、運転席のドアが施錠されたタイミングで、車室内に乗員を置き忘れているか否かの判断を行う。本実施形態では、各タイミングで車室内カメラ20により撮像した画像を比較画像として取得し、この比較画像と降車準備中に取得した基準画像との画素毎の濃淡差分処理により画像間の違いを比較する。そして降車準備中に取得した乗員がいる場合の基準画像に対して、比較画像と比較した結果に違いがなければ乗員は残されたままであるため、置き忘れ状態であると判定する。
続いて、本実施形態の制御装置10の第1報知機能、第2報知機能について説明する。制御装置10は、車両の乗員の携帯端末装置300に、検出された車室内の物体に関する注意喚起情報を報知させる。具体的には制御装置10が、着信音を出力させる指令、自動発話によりメッセージを出力させる指令、振動器320を動作させる(振動させる)指令を携帯端末装置300に送出する。また、制御装置10は、車両の出力装置30に、検出された車室内の物体に関する注意喚起情報を報知させる。具体的には制御装置10が、車両のディスプレイ31に画像やテキストを表示する指令、スピーカ32にメッセージを出力させる指令、ハザードランプ34を点灯させる指令、照灯35を点灯させる指令、車両外部スピーカ36に音声を出力させる指令を各出力装置30に送出する。
本実施形態の乗員特定機能について説明する。制御装置10は、車両情報に基づいて乗員を特定する。特に限定されないが、制御装置10は、車両のイグニッションキー67が取得した解錠鍵の識別子に基づいて、その解錠鍵を携帯する乗員を特定することができる。また、制御装置10は、車両のシートポジション情報を車両情報として取得し、シートポジション情報に基づいて乗員を特定することができる。乗員を特定する特定情報は、上述した物品や乗員の置き忘れが発生した場合に注意喚起情報を出力させる携帯端末装置300の通信識別子(通信先)を特定するために用いる。このように、乗員を特定し、その乗員が携帯する携帯端末装置300を特定することにより、車両を複数人で共有する場合であっても、運転手の携帯端末装置300に注意喚起情報を出力させることができる。
次に、本実施形態の降車状態判断機能について説明する。制御装置10は、車両情報に基づいて、乗員が降車準備中である第1降車状態と、乗員が降車中である第2降車状態と、乗員が降車を完了した第3降車状態とを識別し、前記車両の降車状態をそれぞれ判断する。降車状態判断機能は、上記第1〜第3降車状態のすべてを判断する必要はなく、これらのうち一つ以上の降車状態を判断することができる。制御装置10は、物体検出機能、乗員数判断機能の判断結果、走行状態判断機能の判断結果、車両コントローラ50から取得したエンジンの動作情報、シフトレバー61から取得したシフトポジション情報、ドア装置62から取得したドア開閉情報、速度センサ63から取得した速度情報、施錠装置64から取得した施錠情報、シートベルト装置66から取得したシートベルト着脱情報、イグニッションキー67から取得したイグニッションのオンオフ情報、乗員特定装置68から取得した乗員特定処理の終了情報に基づいて、乗員が車両に乗り込み走行を開始したか、乗員が走行を終了したか、降車準備を開始したか、降車準備が完了したか、乗員が降車を完了したか、を判断し、出力する。
図4は、本実施形態における第1降車状態、第2降車状態、及び3降車状態を示す図である。図4に示すように、本実施形態では乗員が降車準備中であると判断された時間帯の状態を第1降車状態と定義し、乗員が降車中であると判断された時間帯の状態を第2降車状態と定義し、乗員の降車が完了したと判断された後の時間帯の状態を第3降車状態と定義する。第1降車状態は、車両のイグニッションスイッチがオン状態からオフ状態に変化し、その車両の運転席のドアが開扉されるまでの降車準備中の状態であり、第2降車状態は、車両の運転席のドアが開扉されてからそのドアが閉扉されるまでの降車中の状態であり、第3降車状態は、車両のドアが施錠される施錠時及び施錠後の状態である。第1降車状態は、イグニッション情報、ドアの開扉情報に基づいて判断し、第2降車情報はドアの開扉情報に基づいて判断し、第3降車情報はドアの施錠情報に基づいて判断する。なお、各状態の定義は限定されるものではなく、運転席ドアが閉扉されるまでを降車準備中とし、運転席ドアの閉扉から施錠時までを降車完了とし、その後を降車後としてもよい。
このように、各車両情報に基づいて乗員が降車をしようと準備している状態、降車のための行動を実際にしている状態、降車が完了し、車両から離隔しようとしている状態を検出することができるので、携帯端末装置100の状態を判断するタイミングや注意喚起情報を出力するタイミングを適切に設定することができる。
最後に、本実施形態の注意喚起機能について説明する。制御装置10は、検出した携帯端末装置300の状態に応じて第1報知機能又は第2報知機能のいずれかを選択し、選択した第1報知機能又は第2報知機能を動作させる。第1報知機能は、乗員の携帯端末装置300を用いて車室内の物体に対する注意喚起情報を出力させて乗員の注意喚起を実行し、第2報知機能は、車両の出力装置30を用いて車室内の物体に対する注意喚起情報を出力させて乗員の注意喚起を実行する。このように、携帯端末装置300の状態に基づいて注意喚起情報を乗員に伝えるための最適な出力媒体を選択するので、車室内に忘れ物がある旨の通知を乗員に確実に伝えることができる。たとえば、乗員が車室内に携帯端末装置300を置き忘れて携帯していない場合であっても、車両の出力装置30を介して乗員に注意喚起をすることができる。
本実施形態において検出される携帯端末装置300の状態は、携帯端末装置300の所在に係る状態であり、携帯端末装置300が車両の車室内に存在する状態であるか、又は携帯端末装置300が車両の車室内に存在しない状態を含む。制御装置10は、携帯端末装置300が車両の車室内に存在する状態であるか、又は携帯端末装置300が車両の車室内に存在しない状態であるかを検出する。特に限定されないが、制御装置10は、降車準備中である第1降車状態と判定されている時間帯に、上記検出を行う。
また、本実施形態の制御装置10は、携帯端末装置300の状態に基づいて、その携帯端末装置300が車室内に置き忘れられている状態であるか否かを判断し、携帯端末装置300が車室内に置き忘れられている状態であると判断された場合には、第2報知機能を機能させ、注意喚起情報を車両の出力装置30に出力させる。携帯端末装置300が車室内に置き忘れられている状態である場合には、携帯端末装置300に注意喚起情報を出力させても、降車した乗員には伝わらない。本実施形態では、携帯端末装置300が車室内に置き忘れられている状態である場合には、この携帯端末装置300を用いずに、車両の出力装置30を用いて注意喚起情報を出力させるので、携帯端末装置300が車室内に置き忘れられている場合であっても、注意喚起情報を降車した乗員に確実に伝えることができる。
本実施形態の制御装置10は、携帯端末装置300にその振動器320を動作させる命令を含む注意喚起情報を出力させ、携帯端末装置300を振動させる。制御装置10は、この命令により携帯端末装置300が振動しているタイミングにおいて振動検出器330の検出結果に基づいて、携帯端末装置300が車室内に置き忘れられているか否かの状態を判断する。
本実施形態の制御装置10は、振動検出器330の検出結果を取得し、携帯端末装置300の振動の態様に基づいて、携帯端末装置300が車両の車室内に存在する状態であるか、又は携帯端末装置300が車両の車室内に存在しない状態であるかを判断する。ちなみに、車室内の座席上やダッシュボードやコンソールボックスなどに置かれた状態の携帯端末装置300の振動と、人間の着衣のポケットやバッグに収納された状態の携帯端末装置300の振動とは異なり、振動検出器300が検出する振動に関する検出信号は異なる。携帯端末装置300の振動の態様の相違により、携帯端末装置300のジャイロセンサ331又は加速度センサ332の出力信号も異なる。本実施形態の制御装置10は、ジャイロセンサ331又は加速度センサ332などの振動検出器330の検出結果に基づいて、携帯端末装置300の状態を判断する。
携帯端末装置300の状態の判断手法は特に限定されないが、本実施形態では人間が携帯端末装置300を所持している状態におけるジャイロセンサ331及び/又は加速度センサ332の出力信号を基準信号とし、検出されたジャイロセンサ331及び/又は加速度センサ332の出力信号との差異に基づいて、携帯端末装置300が人間に所持されているか否かを判断する。具体的には、、携帯端末装置300が人間の着衣のポケットに収納されている場合、携帯端末装置300がバッグなどに収納されている場合などの人間が携帯端末装置300を所持している状態ごとに、ジャイロセンサ331及び/又は加速度センサ332の出力信号の基準信号を準備し、各基準信号との相関度に基づいて、携帯端末装置300が人間に所持されているか否かを判断する。もちろん、上述した人間が携帯端末装置300を所持している状態におけるジャイロセンサ331及び/又は加速度センサ332の出力信号の特徴を抽出し、検出された出力信号がその特徴を備えているか否かによって携帯端末装置300の状態を判断してもよい。携帯端末装置300の振動の態様は、振動器320の出力や携帯端末装置300自体の構造に応じて異なるので、携帯端末装置300ごと又は携帯端末装置300の構造ごと(タイプごと)に基準信号を準備してもよい。
また、振動検出器330が所定値以上の振動を検出した場合には、携帯端末装置300が車室内に置き忘れられている可能性が高いと判断してもよい。なお、本実施例では携帯端末装置300の状態(置き忘れ)をその振動に基づいて検出するが、車両側の通信装置120との無線通信の通信強度の変化や携帯端末装置300のGPSの位置情報の変化に基づいて携帯端末装置300の状態(置き忘れ)を検出してもよい。これらの場合は、携帯端末装置300の置き忘れを検出できるタイミングが、振動を用いる場合に比べ遅くなってしまうが、電話回線等を用いてドライバの家族等の別のユーザに連絡が入るよう手当する。
このように、本実施形態では、携帯端末装置300の振動の態様により、携帯端末装置300が乗員に所持された状態であるか、又は車室内に置き忘れられている状態であるかを判断することができるので、携帯端末装置300が車室内に置き忘れられた場合の対応を行うことができる。また、スマートフォンなどの携帯端末装置300に、振動器320、ジャイロセンサ331及び/又は加速度センサ332が搭載されている場合には、新たなコストをかけることなく上記判断を簡易に行うことができる。
本実施形態の制御装置10は、上述した乗員の第1〜第3降車状態のうち、適切なタイミングで携帯端末装置300の状態を判断し、適切なタイミングで注意喚起情報を出力する。具体的に、乗員が第1降車状態である時間帯に、携帯端末装置300が車室内に置き忘れられているか否かの状態を判断する。乗員が降車をしようと準備中の第1降車状態において、携帯端末装置300が乗員に携帯されずに車室内に置き忘れられている場合には、第1報知機能により携帯端末装置300の注意喚起情報を出力させることにより、乗員に携帯端末装置300の存在を認識させることができ、携帯端末装置300を含めた物品及び他の乗員の置き忘れを防止することができる。
なお、乗員が携帯端末装置300を持とうとしたときに注意喚起がされないように、第1降車状態の初期ではなく、第1降車状態の末期のタイミングで携帯端末装置300の置き忘れを判断することが好ましい。携帯端末装置300を持とうとしたときに注意喚起がされると、注意喚起が煩わしく感じられるからである。具体的には、第1降車状態であり、かつイグニッションがオンからオフに変更されてから所定時間が経過したタイミング、又は運転席ドアの開扉が開始されたタイミングに、携帯端末装置300の置き忘れを判断することが好ましい。これにより、携帯端末装置300を忘れる確率が高い状態で乗員の注意を喚起できるので、注意喚起が煩わしくなく、有用な情報として乗員に受け入れられることが期待できる。
本実施形態の制御装置10は、携帯端末装置300が車室内に置き忘れられている状態であると判断された場合には、乗員が第2降車状態である時間帯に、第2報知手段を機能させて注意喚起情報を車両の出力装置30に出力させる。必要な荷物をとりまとめ、降車準備の完了を確認し、ドアを開扉して降車するという動作を実際に開始した乗員には、携帯端末装置300により注意喚起情報を出力するよりも、車両のディスプレイ31などを用いて注意喚起情報を出力したほうが、適切に注意を喚起することができると考えられる。また、本実施形態の第2降車状態は運転席ドアが開扉されるまでであるので、ドアが閉扉される前に乗員の注意を喚起することが好ましい。
このため、本実施形態では、乗員が降車の準備を完了し、運転席のドアを開扉して、降車の動作を行っている降車中において、注意喚起情報を車両の出力装置30を介して出力する。これにより、降車準備が完了し、車室内の忘れ物を正確に判断できるタイミングの後であって、ドアが閉扉する前に、車両の出力装置30を用いて、乗員の注意を喚起することができる。
さらに、本実施形態の制御装置10は、乗員が第2降車状態である時間帯に、携帯端末装置300が車室内に置き忘れられているか否かの状態を判断し、携帯端末装置300が車室内に置き忘れられている状態であると判断された場合には、乗員が第3降車状態において、第2報知機能を機能させて注意喚起情報を車両の出力装置30に出力させる。
携帯端末装置300が車室内に置き忘れられているという判断は、乗員が降車の準備をしているときよりも、実際に降車の動作をしているときのほうが正確に行うことができる。また、携帯端末装置300が車室内に置き忘れられているという判断が正確な方が、出力する注意喚起情報の有用性も高まる。このため、本実施形態では、乗員が降車の動作を実際にしている第2降車状態において携帯端末装置300が車室内に置き忘れられているか否かを判断する。
また、ドアを施錠したタイミングにおいては、乗員は車両の外に存在しているので、車室内に置き忘れた携帯端末装置300で注意喚起情報を出力しても、乗員の注意を喚起することはできない。このため、本実施形態では、車両の出力装置30により注意喚起情報を出力させる。特に、車両外部に設けられたs車両のハザードランプ34、ヘッドライトなどの照灯35の点灯/点滅動作、車両外部スピーカ36の報知動作は車外の乗員が認識できるので、効果的にその注意を喚起することができる。また、車室内のディスプレイ31がドアガラス越しに見える場合には、ディスプレイ31への表示によっても乗員の注意を喚起することができる。これにより、降車準備が完了し、車室内の忘れ物を正確に判断できる降車中の第2降車状態において携帯端末装置300の置き忘れを検出し、ドアが閉扉した後の第3降車状態においては車両の出力装置30を用いて、乗員の注意を喚起することができる。この結果、乗員が携帯端末装置300を車室内に置き忘れても、車室内に置き忘れた物品や他の乗員に対する注意を喚起することができる。
このように、本実施形態の車室内監視装置100によれば、車室内への残存乗員がいる場合には、乗員に対する最適な報知方法を選択することができる。具体的には、携帯端末装置300が車室内に置き忘れられていない場合には、携帯端末装置300を用いて注意喚起情報を出力する。一方、携帯端末装置300が車室内に置き忘れられている場合には、携帯端末装置300の車室内置き忘れを含めて車室内の置き忘れを降車中の乗員に知らせるため、車両側の出力装置30であるディスプレイ31、車室内スピーカ32を選択し、注意喚起情報を出力させる。また、運転席ドアの閉扉から施錠時までの期間で、携帯端末装置300の車室内置き忘れ状態が解消されなければ、携帯端末装置300の車室内置き忘れを車室外のドライバに知らせるため、その期間中においては車両の車室内スピーカ32などの出力装置30を選択する。さらに、施錠時の段階で、携帯端末装置300の車室内置き忘れ状態が解消されておらず、かつ、車室内の乗員置き忘れが発生している場合は、乗員および携帯端末装置300が車室内に置き忘れられていることを車室外の乗員に知らせるため、車両の車室外スピーカ36、ヘッドライトなどの照灯35、ハザードランプ35を選択し、注意喚起情報を出力させる。
本実施形態において、携帯端末装置300に注意喚起情報を出力させる場合には、乗員とその乗員の携帯端末装置300の電話番号や電子メールアドレスなどの通信識別子を対応づけた対応情報を参照し、特定された乗員の携帯端末装置300の通信識別子を用いて、注意喚起情報の出力指令を送出する。置き忘れをした乗員に対して注意喚起を行うため、対応情報を参照し、運転者である乗員の携帯端末装置300を特定する。これにより、一つの車を複数人で共有する場合であっても、その場に居合わせない者に注意喚起を実行することなく、置き忘れをした乗員に対して注意喚起を実行することができる。
続いて、本実施形態の車室モニタリングシステム1の監視制御手順を、図5のフローチャートに基づいて説明する。図5には、車室内の乗員が置き去られた場合に注意喚起を実行する処理を示す。なお、図5に示す処理内容は、所定周期で連続的に行われる。
図4に示すように、ステップS1において、本装置の電源の起動および以降の処理の実行に使用するタイマーやカウンタ、フラグを初期設定する初期化の処理を実行する。
ステップS2において、車両情報であるイグニッション情報のオンオフ信号に基づいて分岐処理を行う。イグニッション情報がONからOFFに変化した場合には、降車準備中の第1降車状態と判断して次のステップS3に進み、そうでなければイグニッション情報の監視を続けるためステップS2を繰り返す。
そして、ステップS3において、制御装置10は、車室内に居るドライバ以外の乗員の有無を検出する。この乗員検出処理は公知技術でよく、例えば車室内に設けられたカメラ20撮像画像の時間的な変化(差分処理)から座席ごとの移動物体の有無を判断し、この判断結果から乗員(特に後部座席にいる乗員)を検出してもよいし、シートベルト装置66から取得したシートベルト情報に基づくシートベルトの着脱状況からドライバ以外の乗員の有無を検出してもよい。
ステップS4において、制御装置10は、ステップS3で検出したドライバ以外の乗員有無に基づいて分岐処理を行う。ステップ3において、ドライバ以外の乗員が検出されている場合には次のステップS4に進み、検出されていない場合には乗員の置き忘れは発生しないためステップS18へ進む。
ステップS5において、ステップS3でドライバ以外の乗員が検出されているので乗員の置き忘れの注意喚起に備えて、携帯端末装置300(例えばスマートフォン)に内蔵されている加速度センサ332またはジャイロセンサ331の出力を監視する処理を開始する。
ステップS6において、車両情報であるドア装置62の開閉情報に基づいて分岐処理を行う。ドアの開閉情報がクローズ(閉扉)からオープン(開扉)に変化した場合には、降車中の第2降車状態であると判断し、次のステップS7に進み、そうでなければドア開閉情報の監視を続けるためにステップS6を繰り返す。
ステップS7において、ステップS5で開始した携帯端末装置300の各振動検出器330の出力に基づいて分岐処理を行う。携帯端末装置300の各振動検出器330の検出結果に基づいて、乗員が携帯端末装置300を身に着けているときに検知される振動信号が検出された場合には、携帯端末装置300は乗員が携帯しており、つまり置き忘れは無い場合にはステップS9に進み、乗員が携帯端末装置300を身に着けているときに検知される振動信号が検出されない場合には、携帯端末装置300は乗員が携帯されておらず、つまり車室内に置き忘れられていると判断された場合にはステップS8へ進む。携帯端末装置300が乗員に携帯されているか(車室内から持ち出されているか)携帯端末装置300が車室内に置き忘れられているかの判断手法は、上述した各種の手法を用いることができる。
ステップS8においては、携帯端末装置300の車室内置き忘れを降車中のドライバに報知するため、ディスプレイ31及び車室内スピーカ32を用いて注意喚起情報を出力して、ステップS9に進む。
次にステップS9において、車両情報であるドアの開閉情報に基づいて分岐処理を行う。ドアの開閉情報がオープンからクローズに変化した場合には、第3降車状態であると判断し、次のステップS10に進み、そうでなければドアの開閉情報の監視を続けるため本ステップS9を繰り返す。
ステップS10において、ステップS5で開始した携帯端末装置300の振動検出処理の振動検出器330の出力に基づいて分岐処理を行う。携帯端末装置300の振動検出器330が、乗員が携帯端末装置300を身に着けているときの振動の信号と相関性のある信号を検出した場合には、ステップS12に進み、そうでなければステップS11へ進む。
ステップS11において、携帯端末装置300は車室内への置き忘れられている可能性が高いため、携帯端末装置300の車室内置き忘れを車室外にいるドライバに報知する。制御装置10は、車室外スピーカ36を用いて注意喚起情報を出力させてステップS12に進む。
ステップS12において、車両情報である施錠情報に基づいて分岐処理を行う。施錠情報により車両が施錠された場合には、降車完了の第3降車状態であると判断して次のステップS13に進み、そうでなければ施錠装置64の監視を続けるため本ステップS12を繰り返す。
ステップS13において、制御装置10は、施錠時の車室内に、ドライバ以外の乗員(残存乗員)が存在するか否かを判断する。この乗員検出処理は出願時に知られた手法を適宜に適用することができる。例えば、ステップS5の時点でのカメラ20で撮像した撮像画像を基準画像として取得し、本ステップS13でカメラ20により撮像した撮像画像を比較画像として取得し、この比較画像と基準画像との画素毎の濃淡差分処理により画像間の違いを比較する。そして乗員がいる場合の基準画像に対して、比較画像と比較した結果に違いがなければ乗員はいるままであるため、残存乗員ありと判定するようにしてもよい。
ステップS14において、ステップS13の検出結果である残存乗員の有無に基づいて分岐処理を行う。ステップS13で残存乗員が検出されている場合には次のステップS15に進み、検出されていない場合には乗員の置き忘れは発生しないためステップS18へ進む。
ステップS15において、ステップS5で開始した携帯端末装置300の振動検出器330に基づいて分岐処理を行う。振動検出器330のセンサ出力として、乗員が携帯端末装置300を所持しているときの振動信号と所定値以上の相関値を持つ信号が検知された場合には、乗員が携帯端末装置300を携帯していると判断して次のステップS16に進み、そうでなければステップS17へ進む。
ステップS16において、これまでの処理により残存乗員が検出されており、かつ、携帯端末装置300は車室内に置き忘れていないと判断されているため、ドライバへの車室内の残存乗員に対する注意喚起情報を携帯端末装置300に出力させてステップS18へ進む。
ステップS17において、これまでの処理により残存乗員が検出されており、かつ、携帯端末装置300は車室内に置き忘れていると判断されているため、車室内の残存乗員に対する注意喚起情報を車載の出力装置30により行う。具体的、制御装置10は、車室外スピーカ36、ヘッドライト、ウィンカなどの照灯35、ハザードランプ34等を介して注意喚起情報を出力させてステップS18へ進む。つまり、乗員が施錠時である第3降車状態であるときに、携帯端末装置300が車室内に置き忘れられているか否かの状態を判断し、携帯端末装置300が車室内に置き忘れられている状態であると判断された場合には、乗員が第3降車状態であるときに、車両側の出力装置30に注意喚起情報を出力させる。
なお、上述したステップS15の判断を行うことなく、ステップS10の判断結果に基づいて、ステップ17の車室内の残存乗員に対する注意喚起情報を車載の出力装置30により行う処理を行うことができる。つまり、乗員が降車中である第2降車状態であるときに、携帯端末装置300が車室内に置き忘れられているか否かの状態を判断し、携帯端末装置300が車室内に置き忘れられている状態であると判断された場合には、乗員が第3降車状態であるときに、車両側の出力装置30に注意喚起情報を出力させる。
最後にステップS18において、本装置の電源をOFFにして全体の処理を終了する。
上記のように本実施形態においては、車室内への乗員の置き忘れが発生した場合に、携帯端末装置300が車室内に置き忘れられているか否かを判定し、携帯端末装置300が車室内に置き忘れている場合には、携帯端末装置300を含めた物体の存在を報知するとともに、車載のスピーカやライトなどの出力装置30を用いて注意喚起情報を出力するので、車室内置き忘れに対して乗員の注意を適切に喚起することができる。
本実施形態の車室内監視装置100によれば、以下の効果を奏する。
[1]本実施形態の車室内監視装置100によれば、携帯端末装置300の状態に応じて第1報知機能又は第2報知機能のいずれかを選択し、乗員の携帯端末装置300又は車両の出力装置30の何れかを用いて車室内の物体に対する注意喚起情報を出力させて乗員の注意喚起を実行するので、車室内に忘れ物がある旨の通知を乗員に確実に伝えることができる。たとえば、乗員が車室内に携帯端末装置300を携帯していない場合であっても、車両の出力装置30を介して乗員に注意喚起をすることができる。
[2]本実施形態の車室内監視装置100によれば、携帯端末装置300の状態に基づいて、その携帯端末装置300が車室内に置き忘れられている状態であるか否かを判断し、携帯端末装置300が車室内に置き忘れられている状態であると判断された場合には、第2報知機能を機能させ、注意喚起情報を車両の出力装置30に出力させる。携帯端末装置300が車室内に置き忘れられている状態である場合には、携帯端末装置300に注意喚起情報を出力させても、降車した乗員には伝わらない。本実施形態では、携帯端末装置300が車室内に置き忘れられている状態である場合には、この携帯端末装置300を用いずに、車両の出力装置30を用いて注意喚起情報を出力させるので、携帯端末装置300が車室内に置き忘れられている場合であっても、注意喚起情報を降車した乗員に確実に伝えることができる。
[3]本実施形態の車室内監視装置100によれば、携帯端末装置300の振動の態様により、携帯端末装置300が乗員に所持された状態であるか、又は車室内に置き忘れられている状態であるかを判断することができるので、携帯端末装置300が車室内に置き忘れられた場合の対応を行うことができる。また、スマートフォンなどの携帯端末装置300に、振動器320、ジャイロセンサ331及び/又は加速度センサ332が搭載されている場合には、新たなコストをかけることなく上記判断を簡易に行うことができる。
[4]本実施形態の車室内監視装置100によれば、乗員が第1降車状態である時間帯に、携帯端末装置300が車室内に置き忘れられているか否かの状態を判断する。乗員が降車をしようと準備中の第1降車状態において、携帯端末装置300が乗員に携帯されずに車室内に置き忘れられている場合には、第1報知機能により携帯端末装置300の注意喚起情報を出力させることにより、乗員に携帯端末装置300の存在を認識させることができ、携帯端末装置300を含めた物品及び他の乗員の置き忘れを防止することができる。
[5]本実施形態の車室内監視装置100によれば、乗員が降車の準備を完了し、運転席のドアを開扉して、降車の動作を行っている降車中において、注意喚起情報を車両の出力装置30を介して出力する。これにより、降車準備が完了し、車室内の忘れ物を正確に判断できるタイミングの後であって、ドアが閉扉する前に、車両の出力装置30を用いて、乗員の注意を喚起することができる。また、通常の注意喚起情報の出力において用いる携帯端末装置300を車室内に置き忘れている場合には、ドライバが降車する降車中に車室内の出力装置30によって注意喚起情報を出力するので、ドライバに対して車室内に携帯端末装置300を置き忘れていることについても注意を喚起することができる。
[6]本実施形態の車室内監視装置100によれば、降車準備が完了し、車室内の忘れ物を正確に判断できる降車完了(施錠時)の第3降車状態において携帯端末装置300の置き忘れを検出し、ドアが閉扉した後の第3降車状態においては車両の出力装置30を用いて乗員の注意を喚起することができる。この結果、乗員が携帯端末装置300を車室内に置き忘れても、車室内に置き忘れた物品や他の乗員に対する注意を喚起することができる。
[7]本実施形態の車室内監視装置100によれば、降車準備が完了し、車室内の忘れ物を比較的正確に判断できる降車中の第2降車状態において携帯端末装置300の置き忘れを検出し、ドアが閉扉した後の第3降車状態においては車両の出力装置30を用いて、乗員の注意を喚起することができる。この結果、乗員が携帯端末装置300を車室内に置き忘れても車室内に置き忘れた物品や他の乗員に対する注意を喚起することができる。この場合には、第3降車状態において携帯端末装置300の置き忘れの処理負荷を低減することができる。施錠時をトリガとして開始する第3降車状態は短い期間であるので、処理負荷が少ないことにより適時に注意喚起を出力することができる。
[8]本実施形態の車室内監視装置100によれば、各車両情報に基づいて乗員が降車をしようと準備している状態、降車のための行動を実際にしている状態、降車が完了し、車両から離隔しようとする状態を検出することができるので、携帯端末装置100の状態を判断するタイミングや注意喚起情報を出力するタイミングを適切に設定することができる。
[9]本実施形態の車室内監視装置100によれば、乗員を特定し、その乗員が携帯する携帯端末装置300を特定することにより、車両を複数人で共有する場合であっても、運転手の携帯端末装置300に注意喚起情報を出力させることができる。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
すなわち、本明細書では、本発明に係る車室内監視装置100と車載装置200と、携帯端末装置300とを備える車室モニタリングシステム1を例にして説明するが、本発明はこれに限定されるものではない。
本明細書では、本発明に係る車室内監視装置の一態様として、制御装置10と、カメラ20と、出力装置30とを備える車室内監視装置100を一例として説明するが、これに限定されるものではない。
本明細書では、画像取得手段と、車両情報取得手段と、物体検出手段と、第1報知手段と、第2報知手段と、注意喚起手段と、を備える本発明に係る車室内監視装置の一例として、画像取得機能と、車両情報取得機能と、物体検出機能と、第1報知機能と、第2報知機能と、注意喚起機能と、を実行する制御装置10を備える車室内監視装置100を一例として説明するが、これに限定されるものではない。
本明細書では、上記手段に加えて、降車状態判断手段、乗員特定手段とをさらに備える本発明に係る車室内監視装置の一例として、上記機能に加えて降車状態判断機能、乗員特定機能とを実行する制御装置10を有する車室内監視装置100を一例として説明するが、これに限定されるものではない。