JP6690871B2 - 車内監視装置及び車内監視方法 - Google Patents

Description

この発明は、荷物の置き忘れを監視する車内監視装置及び車内監視方法に関するものである。

特許文献１に係る発明において、乗員は、車両を離れた後で荷物の置き忘れに気付いた場合、端末を操作することによって車両制御装置から車室の撮像画像を取得する。乗員は、撮像画像に忘れ物が写っている場合、この忘れ物を隠蔽するための指示を端末を介して車両制御装置に与える。車両制御装置は、この指示に従い、例えば座席の状態を制御することで忘れ物を隠蔽し盗難を防止する。

特開２００５−４７３４３号公報

特許文献１に係る発明は、乗員が置き忘れに気付いた後に隠蔽指示の操作をすることで初めて置き忘れが隠蔽されるものに過ぎず、置き忘れ自体を防止できないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、荷物の置き忘れを防ぐことを目的とする。

この発明に係る車内監視装置は、車両の内部を撮像した撮像画像を取得する撮像画像取得部と、撮像画像取得部により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成する乗員識別部と、撮像画像取得部により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成する荷物識別部と、乗員識別情報及び荷物識別情報を用いて、乗員識別部により識別された乗員の中から荷物識別部により識別された荷物の所有者を決定して荷物所有者情報を作成する荷物所有者決定部と、乗員識別部により乗員の降車が検出された場合、降車する乗員に関する荷物所有者情報を用いて降車する乗員が所有する荷物の車両への置き忘れを判定する荷物置き忘れ判定部と、荷物置き忘れ判定部により降車する乗員が所有する荷物の車両への置き忘れが判定された場合に警告する警告部とを備えるものである。

この発明によれば、荷物の所有者である乗員を決定し、乗員が降車する場合にその乗員が所有する荷物の車両への置き忘れを判定して警告するようにしたので、荷物の置き忘れを防ぐことができる。

実施の形態１に係る車内監視装置の構成例を示すブロック図である。 実施の形態１における乗員識別部の動作例を示すフローチャートである。 実施の形態１における乗員識別情報の一例を示す図である。 実施の形態１における荷物識別部の動作例を示すフローチャートである。 実施の形態１における荷物識別情報の一例を示す図である。 実施の形態１における荷物所有者決定部の動作例を示すフローチャートである。 実施の形態１における荷物所有者情報の一例を示す図である。 実施の形態１における、荷物識別情報の所在位置と、所有者である可能性が高い乗員識別情報の座席位置の優先度との関係が定義された情報の一例を示す図である。 実施の形態１における、荷物所有者情報の作成例を示す図である。 実施の形態１における荷物置き忘れ判定部及び警告部の動作例を示すフローチャートである。 実施の形態１において表示部が表示する荷物置き忘れを警告する画面例を示す図である。 実施の形態２に係る車内監視装置の構成例を示すブロック図である。 実施の形態２において表示部が表示する、荷物所有者を変更する画面例を示す図である。 実施の形態２において表示部が表示する、荷物所有者を変更する画面例を示す図である。 実施の形態２において表示部が表示する、荷物所有者を変更する画面例を示す図である。 実施の形態２において表示部が表示する、荷物所有者を変更する画面例を示す図である。 実施の形態３における乗員識別情報の一例を示す図である。 実施の形態３における荷物識別情報の一例を示す図である。 実施の形態３における荷物所有者情報の一例を示す図である。 実施の形態３における荷物所有者決定部の動作例を示すフローチャートである。 図２１Ａ及び図２１Ｂは、各実施の形態に係る車内監視装置のハードウェア構成例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る車内監視装置１の構成例を示すブロック図である。車内監視装置１は、撮像画像取得部２、乗員識別部３、乗員識別情報記憶部４、荷物識別部５、荷物識別情報記憶部６、荷物所有者決定部７、荷物所有者情報記憶部８、荷物置き忘れ判定部９、及び警告部１０を備える。

撮像画像取得部２は、車室内に設置された１台以上のカメラが撮像した撮像画像を取得する。例えば、カメラ及びセンサ等を用いて運転者等の状態を監視するＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）が車両に搭載されている場合、撮像画像取得部２は、ＤＭＳの近赤外線カメラ等を利用可能である。撮像画像取得部２は、取得した撮像画像を乗員識別部３及び荷物識別部５へ出力する。

乗員識別部３は、撮像画像取得部２により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成する。乗員識別部３は、作成した乗員識別情報を乗員識別情報記憶部４に記憶させる。また、乗員識別部３は、降車する乗員を検出した場合、この乗員の乗員識別情報を乗員識別情報記憶部４から取得して荷物置き忘れ判定部９へ出力する。

より具体的には、乗員識別部３は、車両に乗り込んだ人及び車両から降りようとしている人の有無、並びに車両に乗り込んだ人が座った座席位置を検出し、その人の顔又は体格といった身体的特徴に基づいて個人の識別を行う。乗員識別部３による上記機能は、例えば、近赤外線カメラを利用したＤＭＳによって実現できる。なお、乗員識別部３は、乗員の乗車動作の有無、降車動作の有無、及び座席位置の検出を、ＤＭＳによる乗員の追跡のみに基づいて行う必要はなく、車両ドアの開閉状態を示す車両情報等と組み合わせて行ってもよい。

荷物識別部５は、撮像画像取得部２により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成する。荷物識別部５は、作成した荷物識別情報を荷物識別情報記憶部６に記憶させる。また、荷物識別部５は、荷物を検出した場合、この荷物の荷物識別情報を荷物識別情報記憶部６から取得して荷物所有者決定部７へ出力する。

より具体的には、荷物識別部５は、車内に存在する荷物の有無を検出し、検出した荷物の車内における所在位置を検出する。そして、荷物識別部５は、検出した荷物の所在位置に基づいて、乗員による荷物の車内への持ち込み、及び降車動作をしている乗員による荷物の車外への持ち出しの有無を検出する。また、荷物識別部５は、車内に存在する荷物の外形、大きさ、及び特徴点等を抽出して個々の荷物を認識して識別する。なお、荷物識別部５は、乗員が持ち込み済み荷物又は着用中の服等の中から取り出した別の荷物を検出し、当該別の荷物を、車内に持ち込まれた荷物として扱ってもよい。また、荷物識別部５は、乗員が持ち込み済み荷物又は着用中の服等の中に仕舞った別の荷物を検出し、当該別の荷物を、車外へ持ち出される荷物として扱ってもよい。さらに、荷物識別部５は、乗員が着用中の服を脱いで車内のいずれかの場所に置いた場合、当該服を、車内に持ち込まれた荷物として扱ってもよく、乗員が持ち込み済みの服を着用した場合、当該服を、車外へ持ち出される荷物として扱ってもよい。

荷物所有者決定部７は、乗員識別情報及び荷物識別情報を用いて、乗員識別部３により識別された乗員の中から荷物識別部５により識別された荷物の所有者を決定して荷物所有者情報を作成する。荷物所有者決定部７は、作成した荷物所有者情報を荷物所有者情報記憶部８に記憶させる。

荷物置き忘れ判定部９は、乗員識別部３により乗員の降車が検出された場合にこの乗員の乗員識別情報を受け取る。荷物置き忘れ判定部９は、乗員識別部３から受け取った乗員識別情報を用いて、降車する乗員に関する荷物所有者情報を荷物所有者情報記憶部８から取得する。そして、荷物置き忘れ判定部９は、荷物所有者情報を用いて、降車する乗員が所有する荷物の車両への置き忘れを判定し、判定結果を警告部１０へ出力する。例えば、荷物置き忘れ判定部９は、降車動作をしている状態の乗員が、当該乗員の所有する荷物を持っていない状況、つまり荷物を置き忘れそうな状況である場合、置き忘れと判定する。

警告部１０は、荷物置き忘れ判定部９により、降車する乗員が所有する荷物の車両への置き忘れが判定された場合、荷物の置き忘れを警告する。警告部１０は、音声出力部１１から警告音を出力させる。または、警告部１０は、降車する乗員と置き忘れ荷物とを表す画像を表示部１２に表示させる。なお、警告部１０は、警告音の出力と画像の表示と両方実施してもよいし、いずれか一方のみ実施してもよい。この警告部１０は、上記「降車する乗員」が車両から降りきる前に、上記「降車する乗員」に対して荷物の置き忘れを警告することが望ましい。また、警告部１０は、上記「降車する乗員」以外の乗員が車内に残っている場合、上記「降車する乗員」が車両から降り切った後に、車内に残っている乗員に対して上記「降車する乗員」の荷物が置き忘れられていることを警告することも可能である。

次に、車内監視装置１の詳細な動作を説明する。
まず、乗員識別部３の動作を説明する。図２は、実施の形態１における乗員識別部３の動作例を示すフローチャートである。図３は、実施の形態１における乗員識別情報の一例を示す図である。図３に示される乗員識別情報は、乗員画像、乗員ＩＤ、乗降状態、及び座席位置を含む。

ステップＳＴ１０１において、乗員識別部３は、撮像画像取得部２から受け取った撮像画像を用いて、乗員の乗車の有無を検出する。乗員識別部３は、乗員の乗車を検出した場合（ステップＳＴ１０１“ＹＥＳ”）、ステップＳＴ１０２へ進み、それ以外の場合（ステップＳＴ１０１“ＮＯ”）、ステップＳＴ１０６へ進む。

ステップＳＴ１０２において、乗員識別部３は、ステップＳＴ１０１で検出した乗員を識別して乗員識別情報のインスタンスを作成し、固有の乗員ＩＤを付与すると共に乗降状態を「乗車」に設定する。

ステップＳＴ１０３において、乗員識別部３は、例えば、撮像画像における乗員が写っている領域を抜き出した乗員の画像データを作成し、上記乗員識別情報の乗員画像に設定する。

ステップＳＴ１０４において、乗員識別部３は、撮像画像を用いて乗員が座った座席位置を検出し、上記乗員識別情報の座席位置に設定する。

ステップＳＴ１０５において、乗員識別部３は、乗員画像、乗員ＩＤ、乗降状態、及び座席位置を設定した上記乗員識別情報を、乗員識別情報記憶部４に格納する。

ステップＳＴ１０６において、乗員識別部３は、撮像画像取得部２から受け取った撮像画像を用いて、乗員の降車の有無を検出する。乗員識別部３は、乗員の降車を検出した場合（ステップＳＴ１０６“ＹＥＳ”）、ステップＳＴ１０７へ進み、それ以外の場合（ステップＳＴ１０６“ＮＯ”）、ステップＳＴ１０１へ戻る。

ステップＳＴ１０７において、乗員識別部３は、ステップＳＴ１０６で降車が検出された乗員を識別し、この乗員の乗員識別情報を乗員識別情報記憶部４から読み出す。そして、乗員識別部３は、読み出した乗員識別情報の乗降状態を「降車」に更新する。

ステップＳＴ１０８において、乗員識別部３は、上記乗員識別情報の座席位置を「座席位置不定」に更新する。

ステップＳＴ１０９において、乗員識別部３は、上記乗員識別情報を荷物置き忘れ判定部９へ出力する。荷物置き忘れ判定部９は、乗員の降車を意味する上記乗員識別情報を乗員識別部３から受け取ったことをトリガとして、後述する図１０に示される荷物置き忘れ判定動作を実施する。

ステップＳＴ１１０において、乗員識別部３は、上記乗員識別情報を乗員識別情報記憶部４から削除する。乗員識別部３は、ステップＳＴ１１０の後、ステップＳＴ１０１へ戻る。

以上のように、乗員識別部３は、図２に示される動作を行うことによって、乗員の乗降管理を行う。

続いて、荷物識別部５の動作を説明する。図４は、実施の形態１における荷物識別部５の動作例を示すフローチャートである。図５は、実施の形態１における荷物識別情報の一例を示す図である。図５に示される荷物識別情報は、荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置を含む。

ステップＳＴ２０１において、荷物識別部５は、撮像画像取得部２から受け取った撮像画像を用いて、荷物の車内への持ち込みを検出する。荷物識別部５は、荷物の持ち込みを検出した場合（ステップＳＴ２０１“ＹＥＳ”）、ステップＳＴ２０２へ進み、それ以外の場合（ステップＳＴ２０１“ＮＯ”）、ステップＳＴ２０７へ進む。

ステップＳＴ２０２において、荷物識別部５は、ステップＳＴ２０１で検出した荷物を識別して荷物識別情報のインスタンスを作成し、固有の荷物ＩＤを付与すると共に持ち込み状態を「持ち込み」に設定する。

ステップＳＴ２０３において、荷物識別部５は、例えば、撮像画像における荷物が写っている領域を抜き出した荷物の画像データを作成し、上記荷物識別情報の荷物画像に設定する。

ステップＳＴ２０４において、荷物識別部５は、撮像画像を用いて荷物が置かれた所在位置を検出し、上記荷物識別情報の所在位置に設定する。

ステップＳＴ２０５において、荷物識別部５は、荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置を設定した上記荷物識別情報を、荷物識別情報記憶部６に格納する。

ステップＳＴ２０６において、荷物識別部５は、上記荷物識別情報を荷物所有者決定部７へ出力する。荷物所有者決定部７は、ステップＳＴ２０６又は後述するステップＳＴ２１０で荷物識別部５から出力された荷物識別情報を受け取ったことをトリガとして、後述する図６に示される荷物所有者決定動作を実施する。

ステップＳＴ２０７において、荷物識別部５は、撮像画像取得部２から受け取った撮像画像を用いて、荷物の車外への持ち出しを検出する。荷物識別部５は、荷物の持ち出しを検出した場合（ステップＳＴ２０７“ＹＥＳ”）、ステップＳＴ２０８へ進み、それ以外の場合（ステップＳＴ２０７“ＮＯ”）、ステップＳＴ２０１へ戻る。

ステップＳＴ２０８において、荷物識別部５は、ステップＳＴ２０７で検出した荷物を識別し、この荷物の荷物識別情報を荷物識別情報記憶部６から読み出す。そして、荷物識別部５は、読み出した荷物識別情報の持ち込み状態を「持ち出し」に更新する。

ステップＳＴ２０９において、荷物識別部５は、上記荷物識別情報の所在位置を「持ち込み位置不定」に更新する。

ステップＳＴ２１０において、荷物識別部５は、上記荷物識別情報を荷物所有者決定部７へ出力する。

ステップＳＴ２１１において、荷物識別部５は、上記荷物識別情報を荷物識別情報記憶部６から削除する。荷物識別部５は、ステップＳＴ２１１の後、ステップＳＴ２０１へ戻る。

以上のように、荷物識別部５は、図４に示される動作を行うことによって、荷物の所在管理を行う。

続いて、荷物所有者決定部７の動作を説明する。図６は、実施の形態１における荷物所有者決定部７の動作例を示すフローチャートである。図７は、実施の形態１における荷物所有者情報の一例を示す図である。図７に示される荷物所有者情報は、荷物画像、荷物ＩＤ、持ち込み状態、所在位置、所有者画像、所有者ＩＤ、乗降状態、及び座席位置を含む。

ステップＳＴ３０１において、荷物所有者決定部７は、荷物識別部５から荷物識別情報を受け取った場合（ステップＳＴ３０１“ＹＥＳ”）、ステップＳＴ３０２へ進み、それ以外の場合（ステップＳＴ３０１“ＮＯ”）、ステップＳＴ３０１へ戻る。

ステップＳＴ３０２において、荷物所有者決定部７は、上記荷物識別情報の持ち込み状態が「持ち込み」である場合（ステップＳＴ３０２“ＹＥＳ”）、ステップＳＴ３０３へ進み、持ち込み状態が「持ち出し」である場合（ステップＳＴ３０２“ＮＯ”）、ステップＳＴ３０８へ進む。

ステップＳＴ３０３において、荷物所有者決定部７は、荷物所有者情報のインスタンスを作成し、上記荷物識別情報の荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置を、それぞれ、荷物所有者情報の荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置にコピーする。

ステップＳＴ３０４において、荷物所有者決定部７は、乗員識別情報記憶部４に格納されている、車両に乗車している全乗員の乗員識別情報を読み出す。

ステップＳＴ３０５において、荷物所有者決定部７は、荷物の所在位置とその荷物の所有者が存在する可能性が高い座席位置の優先度との関係が定義された情報を用いて、車両に乗車している全乗員の中から上記荷物識別情報の荷物の所有者を決定する。

ここで、図８に、実施の形態１における、荷物識別情報の所在位置と、所有者である可能性が高い乗員識別情報の座席位置の優先度との関係が定義された情報の一例を示す。図８に示されるテーブルは、特定の所在位置に荷物を置く可能性が高い座席に座っている乗員ほど所有者候補としての優先度が高くなるように定義されたものである。図８の例では、車内に持ち込まれた荷物の荷物識別情報の所在位置が「運転席」である場合、荷物所有者決定部７は、運転席に座っている乗員がその荷物の所有者であると決定する。また、車内に持ち込まれた荷物の荷物識別情報の所在位置が「助手席」である場合、荷物所有者決定部７は、運転席と助手席にそれぞれ乗員が座っていればより優先度の高い助手席に座っている乗員がその荷物の所有者であると決定し、運転席にのみ乗員が座っていれば運転席に座っている乗員がその荷物の所有者であると決定する。

ステップＳＴ３０６において、荷物所有者決定部７は、荷物の所有者であると決定した乗員の乗員識別情報の乗員画像、乗員ＩＤ、乗降状態、及び座席位置を、それぞれ、上記荷物所有者情報の所有者画像、所有者ＩＤ、乗降状態、及び座席位置にコピーする。

ここで、図９に、実施の形態１における、荷物所有者情報の作成例を示す。上述したように、荷物所有者決定部７は、図８に示される情報に従い、荷物識別情報の所在位置と乗員識別情報の座席位置とを比較し、荷物の所有者を決定する。そして、荷物所有者決定部７は、荷物の荷物識別情報と、その荷物の所有者であると決定された乗員の乗員識別情報とを結合し、荷物所有者情報を作成する。

ステップＳＴ３０７において、荷物所有者決定部７は、上記荷物所有者情報を荷物所有者情報記憶部８へ格納する。荷物所有者決定部７は、ステップＳＴ３０７の後、ステップＳＴ３０１へ戻る。

ステップＳＴ３０８において、荷物所有者決定部７は、荷物識別部５から受け取った荷物識別情報の荷物ＩＤと一致する荷物ＩＤを持つ荷物所有者情報を荷物所有者情報記憶部８から読み出す。

ステップＳＴ３０９において、荷物所有者決定部７は、上記荷物識別情報の荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置を、それぞれ、荷物所有者情報記憶部８から読み出した荷物所有者情報の荷物画像、荷物ＩＤ、持ち込み状態、及び所在位置にコピーする。

ステップＳＴ３１０において、荷物所有者決定部７は、上記荷物所有者情報を荷物所有者情報記憶部８に書き戻す。荷物所有者決定部７は、ステップＳＴ３１０の後、ステップＳＴ３０１へ戻る。

以上のように、荷物所有者決定部７は、図６に示される動作を行うことによって、どの荷物がどの乗員の所有物であるかを関係付ける。

続いて、荷物置き忘れ判定部９及び警告部１０の動作を説明する。図１０は、実施の形態１における荷物置き忘れ判定部９及び警告部１０の動作例を示すフローチャートである。

ステップＳＴ４０１において、荷物置き忘れ判定部９は、乗降状態が「降車」である乗員識別情報を乗員識別部３から受け取った場合（ステップＳＴ４０１“ＹＥＳ”）、ステップＳＴ４０２へ進み、それ以外の場合（ステップＳＴ４０１“ＮＯ”）、ステップＳＴ４０１へ戻る。

ステップＳＴ４０２において、荷物置き忘れ判定部９は、上記乗員識別情報の乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報が荷物所有者情報記憶部８に格納されているか否かを判定する。乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報が１つ以上荷物所有者情報記憶部８に存在する場合、上記乗員ＩＤが付与された乗員は乗車時に荷物所有者情報の数と同数の荷物を持ち込んだということであり、持ち込んだ荷物を置き忘れたまま降車する可能性がある。一方、乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報が荷物所有者情報記憶部８に存在しない場合、上記乗員ＩＤが付与された乗員は乗車時に荷物を持ち込まなかったということであり、降車時の荷物の置き忘れは発生しない。荷物置き忘れ判定部９は、乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報が１つ以上荷物所有者情報記憶部８に存在する場合（ステップＳＴ４０２“ＹＥＳ”）、ステップＳＴ４０３へ進み、存在しない場合（ステップＳＴ４０２“ＮＯ”）、ステップＳＴ４０１へ戻る。

ステップＳＴ４０３において、荷物置き忘れ判定部９は、上記乗員識別情報の乗員ＩＤと一致する所有者ＩＤを持つ荷物所有者情報の持ち込み状態が「持ち出し」であるか否かを判定する。荷物所有者情報の持ち込み状態が「持ち出し」である場合、降車した乗員と共に所有の荷物も持ち出されたということであり、降車時の荷物の置き忘れは発生しない。一方、荷物所有者情報の持ち込み状態が「持ち込み」である場合、降車した乗員は所有する荷物を車内に置き忘れているということである。荷物置き忘れ判定部９は、上記荷物所有者情報の持ち出し状態が「持ち出し」である場合（ステップＳＴ４０３“ＹＥＳ”）、ステップＳＴ４０４へ進み、持ち出し状態が「持ち込み」である場合（ステップＳＴ４０３“ＮＯ”）、ステップＳＴ４０５へ進む。

ステップＳＴ４０４において、荷物置き忘れ判定部９は、不要となった上記荷物所有者情報を荷物所有者情報記憶部８から削除する。

ステップＳＴ４０５において、荷物置き忘れ判定部９は、荷物の置き忘れがある旨と上記荷物所有者情報とを、警告部１０へ出力する。表示部１２は、上記荷物所有者情報の荷物画像及び所有者画像を表示する。また、表示部１２は、荷物画像及び所有者画像に加え、荷物の置き忘れを警告する旨のメッセージを表示してもよい。

ステップＳＴ４０６において、音声出力部１１は、警告音を出力することによって、荷物の置き忘れを報知する。なお、音声出力部１１は、警告音の代わりに、荷物の置き忘れを警告する旨のメッセージを音声出力してもよい。

ステップＳＴ４０５及びステップＳＴ４０６における置き忘れの警告は、ステップＳＴ４０２で荷物所有者情報記憶部８に存在が確認された全ての荷物所有者情報の持ち込み状態が「持ち込み」から「持ち出し」へ変化するまで継続される。

以上のように、荷物置き忘れ判定部９及び警告部１０は、図１０に示される動作を行うことによって、乗員が降車するときにこの乗員が所有する荷物の置き忘れを警告する。

ここで、図１１に、実施の形態１において表示部１２が表示する荷物置き忘れを警告する画面例を示す。表示部１２は、例えば、インストルメントパネルに設置されたセンタディスプレイ、ナビゲーション装置のディスプレイ、又はリアエンターテイメントシステムのディスプレイ等、車内に存在するディスプレイであれば何でもよい。図１１の例では、表示部１２の画面上に、降車した乗員の所有者画像２１と、降車した乗員が所有する置き忘れ荷物の荷物画像２２と、「左の人の以下の持ち物が残ったままです。」というメッセージ２３と、この警告画面の表示を止める閉じるボタン２４とが表示される。この例の置き忘れ荷物は硬貨である。

以上のように、実施の形態１の撮像画像取得部２は、車両の内部を撮影した撮像画像を取得する。乗員識別部３は、撮像画像取得部２により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成する。荷物識別部５は、撮像画像取得部２により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成する。荷物所有者決定部７は、乗員識別情報及び荷物識別情報を用いて、乗員識別部３により識別された乗員の中から荷物識別部５により識別された荷物の所有者を決定して荷物所有者情報を作成する。荷物置き忘れ判定部９は、乗員識別部３により乗員の降車が検出された場合、降車する乗員に関する荷物所有者情報を用いて降車する乗員が所有する荷物の車両への置き忘れを判定する。警告部１０は、荷物置き忘れ判定部９により降車する乗員が所有する荷物の車両への置き忘れが判定された場合に警告する。この構成により、車内監視装置１は、乗員が降車する場合にその乗員が所有する荷物の置き忘れを警告でき、荷物の置き忘れを防ぐことができる。

また、実施の形態１の乗員識別部３は、識別した乗員の座席位置を含む乗員識別情報を作成し、荷物識別部５は、識別した荷物の所在位置を含む荷物識別情報を作成する。荷物所有者決定部７は、乗員識別情報に含まれる座席位置と荷物識別情報に含まれる所在位置との関係に基づいて、荷物の所有者を決定する。この構成により、荷物所有者決定部７は、荷物と乗員との位置関係に基づいて、どの荷物がどの乗員の所有物であるかを関係付けることができる。

また、実施の形態１の荷物所有者決定部７は、荷物の所在位置と、荷物の所有者が存在する可能性が高い座席位置の優先度との関係が定義された図８のような情報を用いて、荷物の所有者を決定する。この構成により、荷物所有者決定部７は、単純な参照処理により、荷物の所有者を決定できる。

実施の形態２．
実施の形態１の車内監視装置１は、荷物の所有者を自動的に決定する構成である。実施の形態２の車内監視装置１は、乗員の操作に基づいて、荷物の所有者を変更する構成である。

図１２は、実施の形態２に係る車内監視装置１の構成例を示すブロック図である。実施の形態２に係る車内監視装置１は、図１に示された実施の形態１の車内監視装置１に対して荷物所有者変更部１３が追加された構成である。図１２において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。

荷物所有者変更部１３は、荷物所有者決定部７により作成され荷物所有者情報記憶部８に記憶済みの荷物所有者情報に含まれる荷物とその荷物の所有者である乗員との対応関係を、外部から入力される情報に基づいて変更する。外部から入力される情報とは、図示しないタッチパネル、機械ボタン、又はキーパッド等の入力装置から荷物所有者変更部１３へ入力される情報であり、乗員が入力装置に対して行った操作内容を示す情報である。

図１３、図１４、図１５、及び図１６は、実施の形態２において表示部１２が表示する、荷物所有者を変更する画面例を示す図である。荷物所有者変更部１３は、乗員が乗車して車両ドアが閉じた後であって車両が走行を開始するより前、車両の停止中、荷物識別部５により新たに荷物が検出されたとき、又は乗員が表示を指示したとき等に、図１３のような荷物所有者変更画面を表示するよう表示部１２に指示する。なお、実施の形態１の表示部１２と実施の形態２の表示部１２とは、同じディスプレイを利用してもよいし、異なるディスプレイを利用してもよい。

図１３の例では、荷物所有者変更部１３が表示部１２の画面上に、乗員Ａの所有者画像３１、乗員Ｂの所有者画像３２、乗員Ａの所有者画像３３、乗員Ｃの所有者画像３４、荷物Ｏの荷物画像３５、荷物Ｐの荷物画像３６、荷物Ｑの荷物画像３７、及び荷物Ｒの荷物画像３８を表示させる。荷物Ｏは硬貨、荷物Ｐはスマートフォン、荷物Ｑは領収書、荷物Ｒは段ボール箱である。荷物所有者情報によれば、乗員Ａは荷物Ｏ，Ｑを所有し、乗員Ｂは荷物Ｐを所有し、乗員Ｃは荷物Ｒを所有している。荷物所有者変更部１３は、上記荷物所有者情報に基づき、乗員Ａの所有者画像３１と荷物Ｏの荷物画像３５とを縦一列に配置し、乗員Ｂの所有者画像３２と荷物Ｐの荷物画像３６とを縦一列に配置し、乗員Ａの所有者画像３３と荷物Ｑの荷物画像３７とを縦一列に配置し、乗員Ｃの所有者画像３４と荷物Ｒの荷物画像３８とを縦一列に配置することによって、所有関係を表現している。したがって、図１３の画面により、乗員は荷物の所有者を確認できる。

乗員が荷物と所有者との所有関係を変更したい場合、図示しない入力装置を操作し、変更したい乗員の所有者画像の位置へポインタ３９を移動させ確定させる。図１４の例では、乗員がポインタ３９を乗員Ｂの所有者画像３２の位置に移動させ確定させたため、荷物所有者変更部１３は、乗員Ｂの所有者画像３２の横に、乗員Ｂに代わる所有者候補を示す乗員画像一覧４０を表示させる。乗員は、図示しない入力装置を操作し、変更したい乗員の画像の位置へポインタ４１を移動させ確定させる。図１５の例では、乗員がポインタ４１を乗員Ｃの画像の位置に移動させ確定させたため、荷物所有者変更部１３は、荷物Ｐの所有者を乗員Ｂから乗員Ｃへ変更する。そして、荷物所有者変更部１３は、図１６の例のように、荷物Ｐの荷物画像３６と乗員Ｃの所有者画像４２とを縦一列に配置する。

なお、図１３、図１４、図１５、及び図１６に示される荷物所有者変更の画面及び操作方法は一例であり、乗員の操作によって荷物の所有者を変更できればどのような画面及び操作方法であってもよい。

上記例のように、荷物Ｐの所有者が乗員Ｂから乗員Ｃへ変更された場合、荷物所有者変更部１３は、荷物Ｐの荷物識別情報と乗員Ｂの乗員識別情報とが結合された荷物所有者情報のうち、乗員Ｂの乗員識別情報を乗員Ｃの乗員識別情報に書き換える。その際、荷物所有者変更部１３は、乗員Ｃの乗員識別情報を、荷物所有者情報記憶部８に記憶されている荷物所有者情報から抽出してもよいし、乗員識別情報記憶部４から取得してもよい。荷物所有者変更部１３は、書き換え後の荷物所有者情報を荷物所有者情報記憶部８に記憶させる。

以上のように、実施の形態２の荷物所有者変更部１３は、荷物所有者決定部７により作成された荷物所有者情報に含まれる荷物とこの荷物の所有者である乗員との対応関係を、外部から入力される情報に基づいて変更する。この構成により、乗員は、荷物所有者情報に齟齬があった場合にこの齟齬を修正することができる。

実施の形態３．
実施の形態１の車内監視装置１は、荷物の所在位置と、荷物の所有者が存在する可能性が高い座席位置の優先度との関係が定義された情報を用いて、荷物の所有者を決定する構成であった。実施の形態３の車内監視装置１は、荷物に最も近い乗員を所有者と決定する構成である。

実施の形態３に係る車内監視装置１の構成は、実施の形態１の図１又は実施の形態２の図１２に示された構成と図面上は同一であるため、以下では図１及び図１２を援用する。この実施の形態３において、撮像画像取得部２は、車室内に設置されたステレオカメラが撮像した撮像画像を取得する。このステレオカメラは、例えば、ＤＭＳに利用されるステレオカメラである。

図１７は、実施の形態３における乗員識別情報の一例を示す図である。実施の形態３における乗員識別情報は、座席位置が「［ｘ，ｙ，ｚ］座標」である以外、実施の形態１の図３に示された乗員識別情報と同じである。実施の形態３の乗員識別部３は、ステレオカメラが撮像した撮像画像を用いた三角測量の原理により、３次元の直交座標系（以下、「３次元座標系」と称する。）における乗員の［ｘ，ｙ，ｚ］座標を算出し、座席位置に設定する。また、乗員の［ｘ，ｙ，ｚ］座標は、例えば顔の中心又は身体の中心を示す座標である。

図１８は、実施の形態３における荷物識別情報の一例を示す図である。実施の形態３における荷物識別情報は、所在位置が「［ｘ，ｙ，ｚ］座標」である以外、実施の形態１の図５に示された荷物識別情報と同じである。実施の形態３の荷物識別部５は、ステレオカメラが撮像した撮像画像を用いた三角測量の原理により、上記３次元座標系における荷物の［ｘ，ｙ，ｚ］座標を算出し、所在位置に設定する。荷物の［ｘ，ｙ，ｚ］座標は、例えば荷物の中心を示す座標である。

図１９は、実施の形態３における荷物所有者情報の一例を示す図である。実施の形態３における荷物所有者情報は、所在位置及び座席位置が「［ｘ，ｙ，ｚ］座標」である以外、実施の形態１の図７に示された荷物所有者情報と同じである。

図２０は、実施の形態３における荷物所有者決定部７の動作例を示すフローチャートである。図２０のステップＳＴ３０１〜ＳＴ３０４，ＳＴ３０６〜ＳＴ３１０は、図６のステップＳＴ３０１〜ＳＴ３０４，ＳＴ３０６〜ＳＴ３１０と同じ動作であるため、説明を省略する。

ステップＳＴ３０５ａにおいて、荷物所有者決定部７は、ステップＳＴ３０４で乗員識別情報記憶部４から読み出した全乗員の乗員識別情報の座席位置である［ｘ，ｙ，ｚ］座標と、ステップＳＴ３０１で荷物識別部５から受け取った荷物識別情報の所在位置である［ｘ，ｙ，ｚ］座標とを比較する。そして、荷物所有者決定部７は、全乗員の中から、３次元座標系において荷物の［ｘ，ｙ，ｚ］座標に最も近い［ｘ，ｙ，ｚ］座標の乗員を所有者と決定する。

以上のように、実施の形態３の乗員識別情報に含まれる座席位置は、識別した乗員の３次元座標系の座標であり、荷物識別情報に含まれる所在位置は、識別した荷物の３次元座標系の座標である。荷物所有者決定部７は、３次元座標系において荷物の座標に最も近い座標の乗員を所有者と決定する。この構成により、荷物所有者決定部７は、荷物に最も近い位置に存在する乗員を所有者と決定できる。

なお、実施の形態３の荷物所有者決定部７により作成された荷物所有者情報は、実施の形態２の荷物所有者変更部１３によって変更可能である。

最後に、各実施の形態に係る車内監視装置１のハードウェア構成例を説明する。
図２１Ａ及び図２１Ｂは、各実施の形態に係る車内監視装置１のハードウェア構成例を示す図である。車内監視装置１における乗員識別情報記憶部４、荷物識別情報記憶部６、及び荷物所有者情報記憶部８は、メモリ１０２である。車内監視装置１における音声出力部１１及び表示部１２は、スピーカ１１１及びディスプレイ１１２である。車内監視装置１における撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の各機能は、処理回路により実現される。即ち、車内監視装置１は、上記各機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。

図２１Ａに示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。

図２１Ｂに示されるように、処理回路がプロセッサ１０１である場合、撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の各機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、車内監視装置１は、プロセッサ１０１により実行されるときに、図２等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の手順又は方法をコンピュータに実行させるものであるとも言える。

ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、撮像画像取得部２、乗員識別部３、荷物識別部５、荷物所有者決定部７、荷物置き忘れ判定部９、及び荷物所有者変更部１３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、車内監視装置１における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。

この発明に係る車内監視装置は、乗員が降車するときにその乗員が所有する荷物の置き忘れを警告するようにしたので、車両だけでなく、鉄道、船舶又は航空機等における乗員の荷物の置き忘れを警告する監視装置等に用いるのに適している。

１ 車内監視装置、２ 撮像画像取得部、３ 乗員識別部、４ 乗員識別情報記憶部、５ 荷物識別部、６ 荷物識別情報記憶部、７ 荷物所有者決定部、８ 荷物所有者情報記憶部、９ 荷物置き忘れ判定部、１０ 警告部、１１ 音声出力部、１２ 表示部、１３ 荷物所有者変更部、２１ 降車した乗員の所有者画像、２２ 置き忘れ荷物の荷物画像、２３ メッセージ、２４ 閉じるボタン、３１ 乗員Ａの所有者画像、３２ 乗員Ｂの所有者画像、３３ 乗員Ａの所有者画像、３４ 乗員Ｃの所有者画像、３５ 荷物Ｏの荷物画像、３６ 置荷物Ｐの荷物画像、３７ 荷物Ｑの荷物画像、３８ 荷物Ｒの荷物画像、３９，４１ ポインタ、４０ 乗員画像一覧、４２ 乗員Ｃの所有者画像、１００ 処理回路、１０１ プロセッサ、１０２ メモリ、１１１ スピーカ、１１２ ディスプレイ。

Claims (7)

1. 車両の内部を撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像画像取得部により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成する乗員識別部と、
   前記撮像画像取得部により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成する荷物識別部と、
   前記乗員識別情報及び前記荷物識別情報を用いて、前記乗員識別部により識別された乗員の中から前記荷物識別部により識別された荷物の所有者を決定して荷物所有者情報を作成する荷物所有者決定部と、
   前記乗員識別部により乗員の降車が検出された場合、降車する乗員に関する前記荷物所有者情報を用いて前記降車する乗員が所有する荷物の前記車両への置き忘れを判定する荷物置き忘れ判定部と、
   前記荷物置き忘れ判定部により前記降車する乗員が所有する荷物の前記車両への置き忘れが判定された場合に警告する警告部とを備える車内監視装置。
2. 前記乗員識別部は、識別した乗員の座席位置を含む乗員識別情報を作成し、
   前記荷物識別部は、識別した荷物の所在位置を含む荷物識別情報を作成し、
   前記荷物所有者決定部は、前記乗員識別情報に含まれる座席位置と前記荷物識別情報に含まれる所在位置との関係に基づいて、荷物の所有者を決定することを特徴とする請求項１記載の車内監視装置。
3. 前記荷物所有者決定部は、荷物の所在位置と、前記荷物の所有者が存在する可能性が高い座席位置の優先度との関係が定義された情報を用いて、荷物の所有者を決定することを特徴とする請求項２記載の車内監視装置。
4. 前記乗員識別情報に含まれる座席位置は、前記識別した乗員の３次元座標系の座標であり、前記荷物識別情報に含まれる所在位置は、前記識別した荷物の前記３次元座標系の座標であり、
   前記荷物所有者決定部は、前記３次元座標系において荷物の座標に最も近い座標の乗員を所有者と決定することを特徴とする請求項２記載の車内監視装置。
5. 前記荷物所有者決定部により作成された荷物所有者情報に含まれる荷物と前記荷物の所有者である乗員との対応関係を、外部から入力される情報に基づいて変更する荷物所有者変更部を備えることを特徴とする請求項１記載の車内監視装置。
6. 前記乗員識別部は、識別した乗員の撮像画像を含む乗員識別情報を作成し、
   前記荷物識別部は、識別した荷物の撮像画像を含む荷物識別情報を作成し、
   前記警告部は、前記荷物置き忘れ判定部により前記降車する乗員が所有する荷物の前記車両への置き忘れが判定された場合、前記降車する乗員の撮像画像及び前記荷物の撮像画像を表示することを特徴とする請求項１記載の車内監視装置。
7. 撮像画像取得部が、車両の内部を撮像した撮像画像を取得するステップと、
   乗員識別部が、前記撮像画像取得部により取得された撮像画像を用いて乗員の乗降を検出し、乗車した乗員を識別して乗員識別情報を作成するステップと、
   荷物識別部が、前記撮像画像取得部により取得された撮像画像を用いて荷物の有無を検出し、検出した荷物を識別して荷物識別情報を作成するステップと、
   荷物所有者決定部が、前記乗員識別情報及び前記荷物識別情報を用いて、前記乗員識別部により識別された乗員の中から前記荷物識別部により識別された荷物の所有者を決定して荷物所有者情報を作成するステップと、
   荷物置き忘れ判定部が、前記乗員識別部により乗員の降車が検出された場合、降車する乗員に関する前記荷物所有者情報を用いて前記降車する乗員が所有する荷物の前記車両への置き忘れを判定するステップと、
   警告部が、前記荷物置き忘れ判定部により前記降車する乗員が所有する荷物の前記車両への置き忘れが判定された場合に警告するステップとを備える車内監視方法。

Images