JP6217172B2 - 車室内監視装置 - Google Patents

Description

本発明は、車室に設けられたカメラの撮像画像に基づいて、車室内を監視する車室内監視装置に関する。

この種の装置に関し、シフトポジションが「Ｐ」の状態で車室内の忘れ物を検知し、ドアが開扉の状態で忘れ物があることを乗員に通知する装置が知られている（特許文献１）。

特開２００９−７５７５６号公報

しかしながら、従来の装置では、乗員が居合わせるシーンに関わらず、開扉操作を条件に同じ手法により報知をするので、乗員に煩わしさを感じさせることや乗員の注意喚起が不十分になるという問題がある。

本発明が解決しようとする課題は、乗員に煩わしさを感じさせることがないようにしつつも、乗員の注意が十分に喚起されるようにすることである。

本発明は、位置情報と車室内の物品や乗員などの物体の置き忘れが発生する可能性に関する情報を予め対応づけた登録情報を参照し、現在位置における状況下で乗員が車室内の物品や乗員を置き忘れる可能性を判断し、取得した車両情報と置き忘れが発生する可能性に係る判断結果とに基づいて、注意喚起情報を車両の乗員に出力することにより、上記課題を解決する。

本発明によれば、自車両の現在位置における状況下で置き忘れが発生する可能性を判断し、置き忘れが発生する可能性が高いほど注意喚起を行う際の注意喚起レベルを高く変更するので、置き忘れが発生しにくい地点ではドライバに煩わしさを感じさせることがないようにしつつも、置き忘れが発生しやすい地点では注意喚起レベルを高く変更して乗員の注意を十分に喚起することができる。この結果、ドライバに煩わしさを感じさせることなく、車室内に乗員や物品を置き忘れることを防止することができる。

本実施形態に係る車室モニタリングシステム１のブロック構成図である。 本実施形態のカメラの設置例を示す図である。 後席の映像の一例を示す図である。 登録情報の一例を示す図である 注意喚起レベルの一例を示す図である。 第１注意喚起レベルの一例を示す図である。 第２注意喚起レベルの一例を示す図である。 本実施形態に係る車室モニタリングシステム１の制御手順を説明するためのフローチャートである。 車室内における乗員等の有無の判断手法を説明するための図である。 車室内における乗員等の置き忘れの判断手法を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車室内監視装置を、車室モニタリングシステム１に適用した場合を例にして説明する。

図１は、本実施形態に係る車室内監視装置１００を備える車室モニタリングシステム１のブロック構成を示す図である。車室内監視装置１００及びこれを含む車室モニタリングシステム１は、車両に搭載されている。車室モニタリングシステム１は、自車両の車室内の様子を監視する。車室内監視装置１００は、車室内の乗員や荷物が、置き忘れられないように乗員の注意を喚起する。

図１に示すように、車室モニタリングシステム１は、車室内監視装置１００と、車載装置２００と、サーバ３００を有する。車載装置２００は、車両コントローラ５０と、各種機器６０と、ナビゲーション装置７０とを備える。車室内監視装置１００と各車載装置２００とは、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。サーバ３００は、通信装置３２０を備え、車室内監視装置１００の通信装置１２０と相互に情報の授受を行う。

本実施形態の各種機器６０は、シフトレバーの位置を検出し、出力するシフトレバー６１と、車両のドアの開閉を検出し、検出結果を出力するドア装置６２と、車両の速度を検出して出力する車速センサ６３と、車両の施錠状態を検出してドアロック信号とドアロック解除信号とを出力する施錠装置６４と、車載装置２００内の時間を計時する時計６５と、車両のシートベルトの使用状況を検出し出力するシートベルト装置６６と、ドライバの操作に応じてイグニッションのオンオフを検出し出力するイグニッションキー６７と、今回の走行で車両に搭乗した乗員を特定する乗員特定装置６８と、を有する。これらの各種機器群６０は、車両コントローラ５０を介して又は直接に、検出された情報を車室内監視装置１００へ出力する。

シフトレバー６１により検出されたシフトポジション情報は、走行開始の判断処理又は走行終了の判断処理に用いられる。

ドア装置６２は、ドライバの乗車を判断し、各ドアの開閉フラグを基に、ドライバが乗車したかを判断する。判断結果は走行開始終了判断処理に用いられる。

施錠装置６４は、施錠装置６４への入力に基づいてドアロック、ドアロック解除信号を検出し、その検出結果を制御装置１０へ送出する。各施錠情報（解錠情報）は、ドア開閉操作の検出処理と、第２注意喚起の実行処理において利用される。また、施錠装置６４は、ドアの開閉操作の検出を行い、キー操作部から得られる乗員のキー操作信号検出後、ドア装置６２から得られる、各ドアの開閉信号に基づいて、各ドアが開閉されたかを判断する。判断結果はドライバの乗車判断処理、ドライバの降車準備判断処理（第１降車状態）、降車完了判断処理（第２降車状態）、施錠完了判断処理（第３降車状態）に用いられる。

乗員特定装置６８は、施錠装置６４に入力された鍵識別子や、車両のシート位置設定装置に入力された位置情報などに基づいて今回の走行で車両に搭乗した乗員を特定する。特定結果は制御装置１０へ送出され注意喚起の実行履歴の作成に用いられる。乗員の特定情報を含む実行履歴を参照することにより、各乗員の実行履歴を取得することができる。

車両コントローラ５０は、エンジン作動状態を示す信号を検出し、エンジンECUから得られる信号を基に、エンジンが作動中か否かを判断する。判断結果は走行開始終了の判断処理に用いられる。

本実施形態のナビゲーション装置７０は、位置検出装置７１と、地図情報７２とを備え、自車両の現在位置から目的地までの経路を示してドライバを誘導する。ナビゲーション装置７０は、地図情報７２に記憶された道路属性や地点属性にアクセスし、走行中の道路の道路属性や、現在位置のＰＯＩの属性を求めて、ドライバに提示する。本実施形態の地図情報７２は、緯度経度などの位置情報にその位置のＰＯＩ情報が対応づけられている。このため、位置情報が特定されれば、その位置が属する施設（公園、娯楽施設、スーパーなど）を特定することができる。また、本実施形態のナビゲーション装置７０は、外部との通信が可能であり、走行中の道路の道路属性や、現在位置のＰＯＩの属性を取得し、乗員にこれらの情報を提供する情報提供機能７３を備える。このように、現在位置の情報はその地点に存在する車両及び乗員の状況と対応づけることができる。たとえば、娯楽施設に対応づけられた地点と車両の現在位置とが略一致する場合には、その車両の乗員が娯楽施設を利用しようとしている状況であると判断することができる。

本実施形態の車室内監視装置１００は、制御装置１０と、カメラ２０と、出力装置３０と、通信装置１２０とを備える。通信装置１２０は、サーバ３００と情報を授受し、サーバ３００が記憶する登録情報の読み込みを可能にする。

本実施形態のカメラ２０は、ＣＣＤ等の撮像素子を用いたカメラであり、車室内の後席を撮像する。図２は、カメラ２０の設置例を示す図である。図２（Ａ）は車両Ｖを上方から見た場合のカメラ２０の設置位置を示し、図２（Ｂ）は車両Ｖを側方から見た場合のカメラ２０の設置位置を示す。カメラ２０の数や配置場所は特に限定されず、本実施形態では、図２に示すように、車両Ｖの車室内天井付近に広角のカメラ２０を一つ設置する。

図３は、カメラ２０により撮像された後席映像の一例を示す。図３に示すように、カメラ２０は、撮像領域Ｐの中に、カメラ２０は前席の運転席ＳＴＦＲと助手席ＳＴＦＬ、及び後席の右側座席ＳＴＲＲと左側座席ＳＴＲＬの像が含まれるように撮像する。この映像には、後席の左側座席ＳＴＲＬに着座する乗員(子供)ＰＳ１の像が含まれる。

出力装置３０は、車両に装備され、乗員に注意喚起情報を出力することができるディスプレイ３１、スピーカ３２、振動装置３３、ハザードランプ３４、照灯３５、外部スピーカ３６を含む。ディスプレイ３１は、車両のドライバが視認可能なダッシュボード周囲に設置され、車室内の後席の撮像画像やナビゲーション装置７０の案内情報などを提示する。車室内のスピーカ３２、車室外のスピーカ３６は、注意喚起情報の出力時に乗員の聴覚に刺激を与える音声を発生する。さらに、ハザードランプ３４、ヘッドライトなどの照灯３５は、注意喚起情報の出力時にランプを点滅させて乗員の視覚に刺激を与える光を提示するものである。振動装置３３は、バイブレーション機能を有する携帯電話などであり、注意喚起情報の出力時に乗員の触覚に刺激を与える振動を発生する。

続いて、本実施形態の制御装置１０について説明する。本実施形態の車室内監視装置１００の制御装置１０は、カメラ２０の撮像画像に基づいて後席上の物体を検出し、その物体を監視して、乗員が物体を車室内に置き忘れる可能性に応じて乗員の注意を喚起するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、車室内監視装置１００と車室モニタリングシステム１として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。

本実施形態に係る車室内監視装置１００の制御装置１０は、画像取得機能と、車両情報取得機能と、物体検出機能と、判断機能と、注意喚起機能と、を有する。さらに、本実施形態の制御装置１０は、実施態様に応じて、降車状態判断機能と、更新機能と、乗員特定機能とをさらに有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行するコンピュータである。

以下、本実施形態に係る車室内監視装置１００の各機能について説明する。

まず、本実施形態の制御装置１０の画像取得機能について説明する。制御装置１０は、カメラ２０が撮像した自車両の車室内の撮像画像を取得する。取得した撮像画像は、後席の乗員の検出処理に利用されるとともに、後席の映像として表示装置としてのディスプレイ３１に提示される画像として利用される。本実施形態では、乗員に置き忘れの可能性を通知する注意喚起情報に、後席の映像を含める。つまり、乗員が荷物や他の乗員を車室内に残したまま車両を離れようとしたときには、後席の映像をディスプレイ３１に表示することができる。

本実施形態の制御装置１０の車両情報取得機能について説明する。制御装置１０は、車両において、車両コントローラ５０、各種機器６０、ナビゲーション装置７０により検出された車両情報を取得する。車両情報は車両コントローラ５０、各種機器６０、ナビゲーション装置７０からそれぞれ直接に取得してもよいし、各種機器から車両コントローラ５０を介して取得してもよい。各種機器６０から得られる車両情報としては、シフトレバー６１から取得するシフトレバー情報、ドア装置６２から取得するドア開閉情報、車速センサ６３から取得する自車両の車速、施錠装置６４から取得する施錠情報、時計６５から取得する時刻情報、シートベルト装置６６から取得するシートベルトの着脱情報、イグニッションキー６７から取得するイグニッションのオン／オフ状態、乗員特定装置６８から取得から取得する乗員の特定情報、ナビゲーション装置７０の位置検出装置７１から取得する現在位置の位置情報などを例示することができる。

本実施形態の制御装置１０の物体検出機能について説明する。制御装置１０は、カメラ２０により撮像された撮像画像について差分比較を行い、画像の差分値より車室内に存在する物体を検出する。制御装置１０は、異なる時刻で取得された撮像画像の差分に所定の特徴が抽出された場合には、特徴が抽出された場所に物体が存在すると判断する。

ドライバ以外の乗員の存否判断の手法は特に限定されないが、本実施形態の制御装置１０は、車両が走行中である判定されたタイミングでカメラ２０により撮像した画像を比較画像として取得し、この比較画像と車両開錠時に取得した基準画像との画素毎の濃淡差分処理により画像間の違いを比較する。そして車両開錠時に取得した乗員がいない場合の基準画像に対して、比較画像と比較した結果に違いがあれば乗員がいると予測できるので、ドライバ以外の乗員がいると判定する。

さらに車室内に乗員を置き忘れているか否かの判断手法は特に限定されないが、上述の手法によりドライバ以外の乗員がいると判定されている場合において、乗員の降車準備が完了したタイミング、乗員の降車が完了したタイミング、又は車両の施錠がされたタイミングで、ドライバ以外の乗員が車室内に残っているか否かの判定を行う。特に限定されないが、本実施形態では、運転席のドアが施錠されたタイミングで、車室内に乗員を置き忘れているか否かの判断を行う。本実施形態では、各タイミングで車室内カメラ２０により撮像した画像を比較画像として取得し、この比較画像と降車準備中に取得した基準画像との画素毎の濃淡差分処理により画像間の違いを比較する。そして降車準備中に取得した乗員がいる場合の基準画像に対して、比較画像と比較した結果に違いがなければ乗員は残されたままであるため、置き忘れ状態であると判定する。

続いて、本実施形態の制御装置１０の判断機能について説明する。制御装置１０は、位置情報と車室内の物品や乗員の置き忘れが発生する可能性に関する情報を予め対応づけた登録情報を参照し、車両の現在位置における車室内の物品や乗員の置き忘れが発生する可能性を判断する。

図４に登録情報の一例を示す。図４に示すように、本実施形態の位置情報は、位置情報と施設情報とが対応づけられた情報、位置情報と運転行動とが対応づけられた情報、及び位置情報と置き忘れの履歴とが対応づけられた情報とを含む。本実施形態の登録情報は、置き忘れが発生する可能性が高い施設、運転行動、履歴とが対応づけられている。もちろん、登録情報に置き忘れが発生する可能性が中程度又は低い施設、運転行動、履歴とが対応づけて記憶してもよい。本実施形態では、車室内の物品や乗員の置き忘れが発生する可能性の程度に応じて置き忘れの可能性を判断する。

本実施形態では、施設ごとに車室内の物品や乗員の置き忘れが発生する可能性が異なるという観点から、施設を特定する位置情報ごとに物品や乗員の置き忘れが発生する可能性を定義する。図４に示すように、娯楽施設、ショッピングセンター、コンビニ、高速道路ＳＡ，ＰＡなどにおいては物品や乗員の置き忘れが発生する可能性が高いと定義づけられている。

本実施形態では、運転行動ごとに車室内の物品や乗員の置き忘れが発生する可能性が異なるという観点から、運転行動ごとに物品や乗員の置き忘れが発生する可能性を定義する。図４に示すように、乗員が経路誘導により目的地に至った場合の目的地においては物品や乗員の置き忘れが発生する可能性が高いと定義づけられている。

本実施形態では、乗員自身又は他人の置き忘れの履歴ごとに車室内の物品や乗員の置き忘れが発生する可能性が異なるという観点から、置き忘れの発生履歴ごとに物品や乗員の置き忘れが発生する可能性を定義する。図４に示すように、乗員自身が置き忘れをしたことがある地点、他者が置き忘れをした回数が所定値以上の地点、他者が置き忘れをした頻度が所定値以上の地点においては物品や乗員の置き忘れが発生する可能性が高いと定義づけられている。

制御装置１０は、このような登録情報を参照して、自車両の現在位置における車室内の物品や乗員の置き忘れが発生する可能性を判断する。登録情報を参照することにより、ある地点における状況下で、乗員の置き忘れの可能性を判断することができる。ある状況下における乗員の行動や判断には習慣性があるという観点から、ある地点で荷物や乗員を置き忘れた経験のある乗員は、同じ場所で再び荷物や乗員を置き忘れる可能性があると考えられる。特に、乗員が興味を持つ遊戯施設を利用するときや、乗員が短時間で済むと判断する用事を処理しているときは、荷物や乗員を車両に乗せていることを一時的に忘れてしまう又は意識的に放置する可能性がある。つまり、乗員によっては、興味のある遊戯施設では、車両内の荷物や乗員の存在をつい忘れてしまうことや、用事を実行するための時間を短めに見積もるといったことを繰り返す傾向がある。このような地点と置き忘れの可能性とを対応づけた登録情報を参照することにより、各地点の状況下において乗員が物品や乗員を置き忘れる可能性を判断する。

さらに、後述する乗員を特定する処理を行うことにより、制御装置１０は、特定された乗員の登録情報を参照し、特定された乗員に応じた現在位置における車室内の物品や乗員の置き忘れが発生する可能性を判断することができる。これにより、ある地点の個人の習慣や趣向などに応じて生じる車室内の物品や乗員の置き忘れを精度よく判断することができる。

続いて、登録情報に関連する更新機能について説明する。本実施形態の制御装置１０は、注意喚起手段により注意喚起が実行された場合には、その注意喚起が実行された旨と注意喚起が実行された場所とを対応づけて登録情報に記憶する。そして制御装置１０は、追加した登録情報をも考慮して、車室内の物品や乗員の置き忘れが発生する可能性に関する情報を再計算して登録情報を更新する。これにより、登録情報を最新の状態に保つことができる。物品や乗員の置き忘れが発生した事実を登録情報に反映させることにより、この登録情報を用いて物品や乗員の置き忘れが発生する可能性を正確に求めることができる。

本実施形態の乗員特定機能について説明する。制御装置１０は、車両情報に基づいて乗員を特定する。特に限定されないが、制御装置１０は、車両のイグニッションキー６７が取得した解錠鍵の識別子に基づいて、その解錠鍵を携帯する乗員を特定することができる。また、制御装置１０は、車両のシートポジション情報を車両情報として取得し、シートポジション情報に基づいて乗員を特定することができる。乗員を特定する特定情報は、上述した物品や乗員の置き忘れが発生した事実に付して記憶される。つまり、登録情報は、位置情報と車室内の物品や乗員の置き忘れが発生する可能性に関する情報とを乗員の属性ごとに記憶する。このように、乗員を特定することにより、自分と他人を識別して、自分自身が物品や乗員の置き忘れをした履歴の登録情報、第三者が物品や乗員の置き忘れをした履歴の登録情報を作成することができる。

次に、本実施形態の降車状態判断機能について説明する。制御装置１０は、車両情報に基づいて、乗員が降車準備中である第１降車状態と、乗員が降車中である第２降車状態と、乗員が降車を完了した第３降車状態とを識別し、前記車両の降車状態をそれぞれ判断する。降車状態判断機能は、上記第１〜第３降車状態のすべてを判断する必要はなく、これらのうち一つ以上の降車状態を判断することができる。制御装置１０は、物体検出機能、乗員数判断機能の判断結果、走行状態判断機能の判断結果、車両コントローラ５０から取得したエンジンの動作情報、シフトレバー６１から取得したシフトポジション情報、ドア装置６２から取得したドア開閉情報、速度センサ６３から取得した速度情報、施錠装置６４から取得した施錠情報、シートベルト装置６６から取得したシートベルト着脱情報、イグニッションキー６７から取得したイグニッションのオンオフ情報、乗員特定装置６８から取得した乗員特定処理の終了情報に基づいて、乗員が車両に乗り込み走行を開始したか、乗員が走行を終了したか、降車準備を開始したか、降車準備が完了したか、乗員が降車を完了したか、を判断し、出力する。

特に限定されないが、本実施形態では乗員の降車準備中の時間帯を第１降車状態、乗員の降車中の時間帯を第２降車状態、乗員の降車が完了した後の時間帯を第３降車状態として定義する。第１降車状態は、車両のイグニッションスイッチがオン状態からオフ状態に変化し、その車両の運転席のドアが開扉されるまでの降車準備中の状態であり、第２降車状態は、車両の運転席のドアが開扉されてからそのドアが閉扉されるまでの降車中の状態であり、第３降車状態は、車両のドアが施錠される施錠時及び施錠後の状態である。第１降車状態は、イグニッション情報、ドアの開扉情報に基づいて判断し、第２降車情報はドアの開扉情報に基づいて判断し、第３降車情報はドアの施錠情報に基づいて判断する。なお、各状態の定義は限定されるものではなく、運転席ドアが閉扉されるまでを降車準備中とし、運転席ドアの閉扉から施錠時までを降車完了とし、その後を降車後としてもよい。

最後に、本実施形態の注意喚起機能について説明する。制御装置１０は、取得した車両情報と、車室内の物品や乗員の置き忘れが発生する可能性に係る判断結果とに基づいて、検出された車室内の物体に対する注意喚起情報を車両の乗員に出力して注意喚起を実行する。具体的に、本実施形態の制御装置１０は、現在位置における車室内の物品や乗員の置き忘れが発生する可能性が高いほど、注意喚起を行う際の注意喚起レベルを高く変更する。これにより、車室内の物品や乗員の置き忘れが発生する可能性を考慮した態様で注意喚起を実行することができるので、置き忘れが発生しにくい地点ではドライバに煩わしさを感じさせることがないようにしつつも、置き忘れが発生しやすい地点では注意喚起レベルを高く変更して乗員の注意を十分に喚起することができる。つまり、ドライバに煩わしさを感じさせることなく、車室内に乗員や物品を置き忘れることを防止し、車室内の物品や乗員の置き忘れの可能性に応じた適切な注意喚起を実行することができる。

本実施形態において、制御装置１０は、乗員の降車準備が完了した第１降車状態（降車は完了していない）を判断したときに車室内に物品や乗員が存在する場合には、第１の注意喚起を実行する。他方、乗員が降車を完了した第３降車状態を判断したときに車室内に物品や乗員が存在する場合には、第１注意喚起とは異なる第２注意喚起を実行する。つまり、乗員がドアを閉扉する前の、降車準備が完了したタイミング（第１降車状態）で第１の注意喚起を行い、乗員が車外に出て、ドアを閉扉した後に施錠して降車が完了した後の降車が完了したタイミング（第３降車状態）で第２の注意喚起を行う。本実施形態の制御装置１０は、注意喚起を二度以上行う。なお、第２の注意喚起は、ドアが閉扉されたことをトリガとして第２降車状態において行うこともできる。

本実施形態の制御装置１０は、乗員の注意を喚起する際に、判断機能により現在位置における車室内の物品や乗員の置き忘れが発生する可能性が所定の第１閾値よりも高いと判断された場合には、第２注意喚起を行う際の注意喚起レベルを、予め設定された通常の注意喚起レベルよりも高く変更する。

本実施形態の制御装置１０は、車室内の物品や乗員の置き忘れが発生する可能性が第１閾値よりも高いと判断された場合には、今回の注意喚起を行う際に、第２注意喚起レベルを通常の注意喚起レベルよりも高く変更する。第２注意喚起レベルを高くすることにより、乗員の注意を強く喚起することができる。乗員の注意は、通常時とは異なる手法で乗員の五感に刺激を与えたり、通常時とは異なる出力強度で乗員の五感に刺激を与えることにより、通常時よりも強く喚起される。先述したように、物品や乗員の置き忘れが発生しやすい場所や状況においいては、再び物品や乗員の置き忘れが発生する可能性が高いと考えられるからである。このように、過去の注意喚起の実行履歴に基づいて今回の注意喚起のレベルを変更することにより、乗員の行動の傾向に応じたレベルで注意喚起を実行することができる。

また、本実施形態では、登録情報に定義された「車室内の物品や乗員の置き忘れが発生する可能性」に基づいて注意喚起を行う際に、物品や乗員の置き忘れが発生する可能性が所定の第１閾値よりも高い場合には第２注意喚起レベルを高く変更する。車室内の物品や乗員の置き忘れが発生する可能性が高いということは、注意喚起の対象となる乗員も車室内に忘れ物をする又は他の乗員を残したまま車を離れるという可能性が高いといえる。このため、本実施形態では、車室内に乗員や物体を残したまま降車する可能性が高い地点、状況、履歴による可能性に応じて異なる注意喚起レベルで注意を促す。乗員の降車完了時（第３降車状態又は第２降車状態）において第２注意喚起レベルを高く変更することにより、いつもと同じ注意喚起を行うよりも強く乗員の注意を喚起できる効果を期待することができる。つまり、注意喚起に対する慣れによる乗員の認識度の低下を防いで、乗員の注意喚起を効果的に実行することができる。

特に限定されないが、図５に注意喚起レベルの一例を示す。図５に示すように、通常は、車室内のディスプレイ３１に車室内画像を表示することにより、第１注意喚起を行うのに対して、室内の物品や乗員の置き忘れが発生する可能性が高く注意喚起レベルを高く変更する場合には、車室内のディスプレイ３１に車室内画像を表示することに加えて、スピーカ３２から注意喚起をする音声メッセージを出力する。また、同図に示すように、通常は、スピーカ３２から断続的な報知音を出力するとともに、ハザードランプ３４を三回点灯することにより、第２注意喚起を行うのに対して、室内の物品や乗員の置き忘れが発生する可能性が高く注意喚起レベルを高く変更する場合には、スピーカ３２から連続的な報知音を出力することに加えて、ハザードランプ３４を５回点灯する。これにより、室内の物品や乗員の置き忘れが発生する可能性が高い場合に、効果的に乗員の置き忘れを防止することができる。

特に限定されないが、図６に第１注意喚起動作を行う際の注意喚起レベルに応じて定義された出力処理の一例を示す。注意喚起レベルごとに、出力させる情報及び出力の手段が定義される。第１注意喚起動作は、乗員が降車準備を完了したタイミング、つまり乗員が車室内に居る状態で実行されるので、主に車室内の出力機器を用いて注意喚起情報を出力する。

特に限定されないが、本実施形態における乗員の注意を喚起する第１注意喚起動作の強度の定義例を図７に示す。本例の注意喚起は、ディスプレイ３１を利用したモニタ映像の表示、ディスプレイ３１を利用したテキスト表示、スピーカ３２を利用したビープ音の出力、振動装置３３を利用したバイブレーション動作、スピーカ３２を利用した音声出力により行われる。第１の注意喚起動作は乗員が降車準備完了時点において行われるので、主に車室内の設備を用いて乗員の注意を喚起する。乗員の注意を喚起する手段は特に限定されず、車室内のランプの点灯・点滅、車室内への芳香剤の噴出、車室内への冷気又は暖気の送風などの乗員の五感に刺激を与える手段を採用することができる。

図６に示すように、本実施形態では、レベルごとにモニタ映像、テキスト表示、ビープ音、バイブレーション、及び音声出力の手段ごとに実行／非実行を定義する。また、本実施形態ではレベルごとに各手段の出力強度の度合を変化させる。例えば、テキスト表示については、文字を拡大表示する、文字のフォントを強調フォントに変更する、文字の色を強調色に変更する。文字の表示を点滅表示するなどの手法によりその出力強度の度合を変化させる。ビープ音については、音量をアップさせる、音の周波数を変更するなどの手法によりその出力強度の度合を変化させる。音声出力については、音量をアップさせる、音声の周波数を変更する、音声のトーンを変更する、音声の種類、例えば発話者（男／女，大人／子供など）を変更する、メッセージ内容（注意内容／警告内容など）を変更するなどの手法によりその出力強度の度合を変化させる。各注意喚起の手段と各手段の強度を変更することにより、総合的に乗員の注意を喚起させる強度を調節することができる。
なお、各注意喚起レベルとその出力情報及び出力態様の組み合わせは、図６に示すものに限定されず、適宜に編集することができる。

特に限定されないが、本実施形態における乗員の注意を喚起する第２注意喚起動作の強度の定義例を図７に示す。本例の注意喚起は、ディスプレイ３１を利用したモニタ映像の表示、ディスプレイ３１を利用したテキスト表示、ハザードランプ３４やウィンカランプ、ヘッドライトなどの照灯３５を利用した点灯表示、ホーンを含む車両外部スピーカ３６を利用した警報の出力により行われる。乗員の注意を喚起する手段は特に限定されず、車両外からも確認できる車室内のランプの点灯・点滅、ディスプレイ３１の点灯などの手段を採用することができる。第２の注意喚起動作は乗員がドアの閉扉時やドアの施錠時などの降車完了時点、つまり、乗員が車室外に居るタイミングにおいて行われるので、主に車室外の設備又は車室外からでも確認できる手段を用いて乗員の注意を喚起する。

図７に示すように、本実施形態では、レベルごとに報知音、モニタ表示、ハザードランプ点灯、前灯及びハザードランプの点灯、ウィンカーランプの点灯などの照灯３５の手段ごとに実行／非実行を定義する。また、本実施形態ではレベルごとに各手段の出力強度の度合を変化させる。例えば、報知音については断続的な報知音又は連続的な報知音とする、ハザードの点灯周期を変える。各注意喚起の手段と各手段の強度を変更することにより、総合的に乗員の注意を喚起させる強度を調節することができる。なお、各注意喚起レベルとその出力情報及び出力態様の組み合わせは、図７に示すものに限定されず、適宜に編集することができる。

また、本実施形態の制御装置１０は、現在位置における車室内の物品や乗員の置き忘れが発生する可能性が所定の第２閾値よりも低い又は現在位置が登録情報に含まれていない場合には、第１注意喚起を実行しない。第２閾値は、前出の第１閾値と同じ値であってもよいし、異なる値であってもよい。このように、現在位置における車室内の物品や乗員の置き忘れが発生する可能性が比較的低い場面においては、第１注意喚起を不実行とし、置き忘れをしない可能性が高い状況下で、乗員に煩わしさを感じさせないようにすることができる。なお、この第１注意喚起の不実行は乗員の選択入力により起動させてもよい。

このように、本実施形態の車室内監視装置１００は、車室内の物品や乗員の置き忘れの可能性に応じて注意喚起の手法を変更するとともに、車室内の物品や乗員の置き忘れの可能性が低い場合には注意喚起を不実行とすることにより、状況に応じて注意喚起の実行と不実行とを制御することができる。これにより、必要な場面での注意喚起の実行と不要な場面での煩わしさの低減を両立することができる。

続いて、本実施形態の車室モニタリングシステム１の監視制御手順を、図８のフローチャートに基づいて説明する。図８には、車室内の乗員が置き去られた場合に注意喚起を実行する処理を示す。なお、図８に示す処理内容は、所定周期で連続的に行われる。

図４に示すように、ステップＳ１において、以降の処理の実行に使用するタイマーやカウンタ、フラグを初期設定する初期化の処理を実行する。

ステップＳ２において、車両情報である施錠信号、開錠信号、シフトポジション信号、車速信号などの車両情報を取得し、取得した車両情報に基づいて現在の車両状態の判定を行う。車両状態の判定には、車両の走行状態、乗員の降車状態の判定、さらには第１乃至第３降車状態のいずれの降車状態であるかの判定を含む。こ判定では、開錠信号に基づいてロック解除された後にシフトポジションがパーキング位置以外であり、車速信号が0km/hでない場合に車両が走行中であると判定する。同様に車速信号が0km/hとなり、シフトポジションがパーキング位置となった場合に降車準備中、その後にシートベルトの解除信号、ドアの開扉信号を取得したら乗員の降車準備が完了した第１降車状態と判定する。その後、ドアが閉扉された状態を第２降車状態であると判定する。さらに、車両が施錠されて施錠信号を取得したら、乗員の降車が完了した第３降車状態であると判定する。

ステップＳ３において、ステップＳ２で判定した降車状態を含む車両状態に基づいて、車両が走行中ではないと判断された場合にはステップＳ６へ進む。他方、車両が走行中であると判断された場合には、ステップＳ４に進み、カメラ２０で撮像した画像を基準画像として取り込み、ステップＳ５において以降の処理に用いる基準画像としてメモリに記憶する。ステップＳ５において記憶される基準画像の例を図９（ａ）に示す。基準画像の撮像時は車両の開錠時なので、基準画像は乗員を含まない。

ステップＳ６において、ステップＳ２で判定した車両状態に基づいて分岐処理を行う。ここではステップＳ３で車両が開錠時ではないと判定されており、ステップＳ６において車両状態が走行開始であると判定されている場合には次のステップＳ７に進み、走行開始でなければステップＳ１３へ進む。

ステップＳ７において、カメラ２０の撮像画像を比較画像として処理領域に取り込み、次のステップに進む。ここで取得される比較画像の例を図９に示す。図９（ｂ）は乗員がいない場合、図９（ｃ）は乗員がいる場合である。ステップＳ８において、ステップＳ７で取り込んだ比較画像とステップＳ５で記憶した基準画像とを比較する。比較の手法は特に限定されないが、例えば比較画像と基準画像の画素毎の濃淡差分を処理領域で算出し、所定値以上の濃度差がある画素の数をカウントするようにする。

次にステップＳ９において、ステップＳ８の処理結果に基づいて分岐処理を行う。ステップＳ８で算出した比較画像と基準画像の差であるカウント値（すなわち画像中の面積に相当）が所定値ＴＨ＿Ｅ（例えば画像全体の１／８）以上であれば基準画像との差がある、すなわち乗員がいると判定してステップＳ１０に進み、所定値ＴＨ＿Ｅよりも小さければ基準画像との差がない、すなわち乗員はいないと判定してステップＳ１２へ進む。ステップＳ１２において、ドライバ以外の乗員はいないと判定されているので、以降の処理のために乗員フラグに０をセットし、ステップＳ２へ戻り車両状態の判定を実施する。車室内に存在する物体の検出処理に対応する。

ステップＳ１０においては、ドライバ以外の乗員がいると判定されているので、以降の処理のために乗員フラグに１をセットし、次のステップへ進む。ステップＳ１１において、サーバ３００に記憶された、位置情報と車室内の物品や乗員の置き忘れが発生する可能性に関する情報を予め対応づけた登録情報（図４参照）を読み込み、ステップＳ２へ戻り車両状態の判定を実施する。

ステップＳ１３において、ステップＳ２で判定した車両状態に基づいて分岐処理を行う。ここではステップＳ６で車両状態は走行中ではないと判定されており、ステップＳ２において車両状態が降車準備中であると判定されている場合には次のステップＳ１４に進み、降車準備中でなければステップＳ２３へ進む。

ステップ１４において、ステップＳ１０またはステップＳ１２で設定した乗員フラグに基づいて分岐処理を行う。乗員フラグが１、すなわちドライバ以外の乗員がいる場合には次のステップＳ１５に進む。他方、乗員フラグが０、すなわちドライバ以外の乗員がいない場合には、物品や乗員の置き忘れに対する注意喚起の必要がないと判断して全体の処理を終了する。

ステップＳ１５において、カメラ２０で撮像した画像を基準画像として処理領域に取り込み、次のステップに進む。このとき車室内のカメラ２０の設置位置により、助手席と後席とを一つの画像として撮像して座席ごとのドライバ以外の乗員の置き忘れを判定することも可能であるが、本実施例では、置き忘れの可能性が高い後席のみについて判定を行う場合の処理について説明する。なお、本処理においては、図２で示すように車室の天井に設置されたカメラ２０で撮像した後席の画像のうち、図１０に示すように、後席の左右どちらか片側の座席について処理をする例を説明するが、後席の左右両方の座席について処理をする場合も同様に処理を行うことができる。

ステップＳ１６において、ステップ１５で処理領域に取り込んだ画像を以降の処理のため基準画像としてメモリに記憶し、次のステップＳ１６に進む。ここで記憶される基準画像の例を図１０（ａ）に示す。これまでの処理でドライバ以外の乗員がいると判定されているので、基準画像は乗員がいる状態となる。

ステップＳ１７において、ステップＳ１１で読み込んだ登録情報を参照して物体の置き忘れの可能性を判断する。本例の登録情報は、位置情報と車室内の物品や乗員の置き忘れが発生する可能性が高い施設等の情報を予め対応づけた登録情報である。次にステップＳ１８において、ステップＳ１７で参照した登録情報に基づいて分岐処理を行う。参照した登録情報に車両の現在位置に対応する位置情報が含まれていれば、現在位置は車室内に物体の置き忘れの発生頻度が高く、今回も物体の置き忘れが発生する可能性が高いｓ地点であると判断して次のステップに進み、そうでなければステップＳ２０へ進む。

ステップＳ１９において、これまでの処理でドライバ以外の乗員がいると判定されており、かつ、ステップＳ１８で現在地点は置き忘れの発生頻度が高い地点であると判断されているので、ドライバに対して同乗者がいることに対して強く注意を喚起するため、図５に示すように車室内カメラ２０の画像をディスプレイ３１に表示するとともに、車室内のスピーカ３２に音声メッセージを出力させるフラグを設定してステップＳ２２へ進む。

ステップＳ２０において、ドライバの入力操作により第１注意喚起機能の実行がキャンセルされているか否かにより分岐処理を行う。ここでは、ドライバに対する注意喚起の煩わしさ低減のため、置き忘れの発生頻度が高い地点でなければ、乗員の意思を優先して第１注意喚起機能をキャンセルすることを許容する。第１注意喚起機能がキャンセルされていなければ次のステップＳ２１に進み、キャンセルされていれば第１注意喚起を実行する必要がないためステップＳ２へ戻り車両状態の判定を実施する。

次にステップＳ２１において、これまでの処理でドライバ以外の乗員がいると判定されているため、ドライバに対して同乗者がいることについて注意喚起するために、図５に示すようにカメラ２０の撮像画像をディスプレイ３１に表示するフラグを設定してステップＳ２２へ進む。

ステップＳ２２において、ステップＳ１９またはステップＳ２１において設定された注意喚起の態様に基づいて、ドライバに対して同乗者がいる旨の第１注意喚起を実行してステップＳ２へ戻り、車両状態の判定を実施する。

ステップＳ２３において、ステップＳ２で判定した車両状態に基づいて分岐処理を行う。ここではステップＳ６で車両状態は走行中ではない、かつ、ステップＳ１３で降車準備中ではないと判定されており、ステップＳ２において車両が施錠中であると判定されている場合には、次のステップＳ２４に進む。車両が施錠中でなければステップＳ２へ戻り車両状態の判定を実施する。施錠中の状態には、施錠前に閉扉がされた第２降車状態、閉扉後施錠がされた第３降車状態を含む。

次にステップＳ２４において、ステップＳ１４と同様に、ステップＳ１０またはステップＳ１２で設定した乗員フラグに基づいて分岐処理を行う。乗員フラグが１、すなわちドライバ以外の乗員がいる場合には次のステップＳ２５に進み、乗員フラグが０、すなわちドライバ以外の乗員がいない場合には、第２注意喚起の必要がないと判断して全体の処理を終了する。

そしてステップＳ２５において、車室内カメラ２０で撮像した画像を比較画像として処理領域に取り込み、次のステップに進む。ここで取得される比較画像の例を図１０に示す。図１０（ｂ）は乗員がいない場合、図５（ｃ）は乗員がいる場合となる。

次にステップＳ２６において、ステップＳ２５で取り込んだ比較画像とステップＳ１６で記憶した基準画像とを比較する。比較方法は特に限定されず、例えば比較画像と基準画像の画素毎の濃淡差分を処理領域で算出し、所定値以上の濃度差がある画素の数をカウントするようにする。

ステップＳ２７において、ステップＳ２６の処理結果に基づいて分岐処理を行う。ステップＳ２６で算出した比較画像と基準画像の差であるカウント値（すなわち画像中の面積に相当）が所定値ＴＨ＿Ｒ（例えば画像全体の１／８）以下であれば基準画像との差がない、すなわち乗員がいると判定して次のステップＳ２８に進む。他方、ステップＳ２６で算出した比較画像と基準画像の差であるカウント値（すなわち画像中の面積に相当）が所定値ＴＨ＿Ｒよりも大きければ基準画像との差がある、すなわち乗員はいないと判定する。乗員が居ない場合には、置き忘れの注意喚起の必要がないと判断して全体の処理を終了する。

ステップＳ２８において、ステップＳ２７でドライバ以外の乗員が車室内に残っていると判定されているため、サーバ３００の登録情報を現在の位置情報を用いて更新するとともに、更新された登録情報を読み込んで次のステップＳ２９に進む。

最後に、ステップＳ２９において、ステップＳ２７でドライバ以外の乗員が車室内に残っていると判定されているため、第２注意喚起としてホーンなどを含む車室外のスピーカ３６、ハザードランプ３４、又は照灯３５を用いて車室外のドライバに荷物の置き忘れの発生を報知し、ドライバの注意を喚起して全体の処理を終了する。本実施例では注意喚起を実行して直ぐに終了するようにしているが、車室内の荷物の置き忘れが解消されるまで、または、ドライバが意思をもって荷物を報知していることをドライバからの入力信号（例えば再度の施錠動作）により確認できるまで、注意喚起の実行を継続してもよい。

本実施の形態においては、カメラ２０の撮像画像から乗員の置き忘れを報知する際に、置き忘れが発生する可能性に応じて注意喚起の手法を変更するとともに、置き忘れの可能性が低い場合には煩わしい注意喚起を実行しないことにより、不要な注意喚起による煩わしさを低減させながらも状況に応じて乗員の注意を惹きつける態様で注意喚起を行うことができる。

本実施形態の車室内監視装置１００によれば、以下の効果を奏する。

[１]本実施形態の車室内監視装置１００によれば、取得した車両情報と、車室内の物品や乗員の置き忘れが発生する可能性に係る判断結果とに基づいて、現在位置における車室内の物品や乗員の置き忘れが発生する可能性が高いほど、注意喚起を行う際の注意喚起レベルを高く変更するので、車室内の物品や乗員の置き忘れが発生する可能性を考慮した態様で注意喚起を実行することができる。つまり、置き忘れが発生する可能性が低い地点ではドライバに煩わしさを感じさせることがないようにしつつも、置き忘れが発生する可能性が高い地点では注意喚起レベルを高く変更して乗員の注意を十分に喚起することができる。この結果、ドライバに煩わしさを感じさせることなく、車室内に乗員や物品や乗員を置き忘れることを防止して、車室内の物品や乗員の置き忘れの可能性に応じた適切な注意喚起を実行することができる。

[２]本実施形態の車室内監視装置１００によれば、登録情報に定義された「車室内の物品や乗員の置き忘れが発生する可能性」が第１閾値よりも高い場合には、第２注意喚起の注意喚起レベルを通常よりも高く変更する。車室内の物品や乗員の置き忘れが発生する可能性が高いということは、注意喚起の対象となる乗員も車室内に忘れ物をする又は他の乗員を残したまま車を離れるという可能性が高いといえる。このため、本実施形態では、車室内に乗員や物体を残したまま降車する可能性が高い地点、状況、履歴による可能性に応じて異なる注意喚起レベルで注意を促す。注意喚起レベルを変更することにより、いつもと同じ注意喚起を行うよりも強く乗員の注意を喚起できる効果を期待することができる。つまり、注意喚起に対する慣れによる乗員の認識度の低下を防いで、乗員の注意喚起を効果的に実行することができる。

[３]本実施形態の車室内監視装置１００によれば、現在位置における車室内の物品や乗員の置き忘れが発生する可能性が所定の第２閾値よりも低い又は現在位置が登録情報に含まれていない場合には、第１注意喚起を実行しない。現在位置における車室内の物品や乗員の置き忘れが発生する可能性が比較的低い場面においては、第１注意喚起を不実行とし、置き忘れをしない可能性が高い状況下において乗員に煩わしさを感じさせる注意喚起を実行しないようにすることができる。

[４]本実施形態の車室内監視装置１００によれば、注意喚起が実行された場合には、その注意喚起が実行された旨と注意喚起が実行された場所とを対応づけて登録情報に記憶・更新するので、登録情報を最新の状態に保つことができる。物品や乗員の置き忘れが発生した事実を登録情報に反映させることにより、この登録情報を用いて物品や乗員の置き忘れが発生する可能性を正確に求めることができる。

[５]本実施形態の車室内監視装置１００によれば、乗員を特定する処理を行うことにより、特定された乗員の登録情報を参照して、現在位置における車室内の物品や乗員の置き忘れが発生する可能性を判断することができる。これにより、個人の習慣や趣向などに応じて生じる車室内の物品や乗員の置き忘れを精度よく判断することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る車室内監視装置１００と車載装置２００とサーバ３００とを備える車室モニタリングシステム１を例にして説明するが、本発明はこれに限定されるものではない。

本明細書では、本発明に係る車室内監視装置の一態様として、制御装置１０と、カメラ２０と、ディスプレイ３１と、スピーカ３２と、振動装置３３と、ハザードランプ３４、照灯３５、車両外部スピーカ３６を備える車室内監視装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、画像取得手段と、車両情報取得手段と、物体検出手段と、判断手段と、注意喚起手段と、を備える本発明に係る車室内監視装置の一例として、画像取得機能と、車両情報取得機能と、物体検出機能と、判断機能と、注意喚起機能と、を実行する制御装置１０を備える車室内監視装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、上記手段に加えて、降車状態判断手段、更新手段、乗員特定手段とをさらに備える本発明に係る車室内監視装置の一例として、上記機能に加えて降車状態判断機能、更新機能、乗員特定機能とを実行する制御装置１０を有する車室内監視装置１００を一例として説明するが、これに限定されるものではない。

１…車室モニタリングシステム
１００…車室内監視装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…カメラ
３１…ディスプレイ
３２…スピーカ
３３…振動装置
３４…ハザードランプ
３５…照灯
３６…スピーカ
２００…車載装置
５０…車両コントローラ
６０…各種機器
６１…シフトレバー
６２…ドア装置
６３…車速センサ
６４…施錠装置
６５…時計
６６…シートベルト装置
６７…イグニッションキー
６８…乗員特定装置
７０…ナビゲーション装置
３００…サーバ
３１０…登録情報
３１１…地図情報
３１２…報知実行履歴

Claims (5)

1. 車両の車室内を撮像するカメラから撮像画像を取得する画像取得手段と、
   前記車両において検出された現在位置を含む車両情報を取得する車両情報取得手段と、
   前記撮像画像に基づいて、前記車室内に存在する物体を検出する物体検出手段と、
   位置情報と前記車室内の物体の置き忘れが発生する可能性に関する情報を予め対応づけた登録情報を参照し、前記現在位置における前記車室内の物体の置き忘れが発生する可能性を判断する判断手段と、
   前記取得した車両情報と、前記車室内の物体の置き忘れが発生する可能性に係る判断結果とに基づいて、前記検出された前記車室内の物体に対する注意喚起情報を前記車両の乗員に出力して注意喚起を実行する注意喚起手段と、を有し、
   前記注意喚起手段は、前記判断手段により前記現在位置における前記車室内の物体の置き忘れが発生する可能性が高いほど、前記注意喚起を行う際の注意喚起レベルを高く変更することを特徴とする車室内監視装置。
2. 前記車両情報に基づいて、前記乗員の降車準備が完了した第１降車状態と、前記乗員が降車を完了した第２降車状態とを識別し、前記車両の降車状態をそれぞれ判断する降車状態判断手段をさらに有し、
   前記注意喚起手段は、前記第１降車状態を識別した場合には、第１注意喚起を実行し、前記第２降車状態を識別した場合には、前記第１注意喚起とは異なる第２注意喚起を実行し、
   前記乗員の注意を喚起する際に、前記判断手段により前記現在位置における前記車室内の物体の置き忘れが発生する可能性が所定の第１閾値よりも高いと判断された場合には、前記第２注意喚起を行う際の注意喚起レベルを、予め設定された通常の注意喚起レベルよりも高く変更することを特徴とする請求項１に記載の車室内監視装置。
3. 前記注意喚起手段は、前記判断手段により前記現在位置における前記車室内の物体の置き忘れが発生する可能性が所定の第２閾値よりも低い又は前記現在位置が前記登録情報に含まれていない場合には、前記第１注意喚起を実行しないことを特徴とする請求項２に記載の車室内監視装置。
4. 前記注意喚起手段により前記注意喚起が実行された場合には、当該注意喚起が実行された旨と前記注意喚起が実行された場所とを対応づけて前記登録情報に記憶するとともに、前記車室内の物体の置き忘れが発生する可能性に関する情報を再計算して前記登録情報を更新する更新手段をさらに備える請求項１〜３の何れか一項に記載の車室内監視装置。
5. 前記車両情報に基づいて前記乗員を特定する乗員特定手段をさらに備え、
   前記登録情報は、位置情報と前記車室内の物体の置き忘れが発生する可能性に関する情報とを前記乗員ごとに記憶し、
   前記判断手段は、前記特定された前記乗員に対応する前記登録情報を参照し、前記乗員に応じた前記現在位置における前記車室内の物体の置き忘れが発生する可能性を判断することを特徴とする請求項１〜４の何れか一項に記載の車室内監視装置。

Images