JP2024011131A - 忘れ物通知装置および忘れ物通知方法 - Google Patents

Abstract

【課題】忘れ物が発生したことを適切に通知する。【解決手段】実施形態の忘れ物通知装置は、車室内に放置された忘れ物を検出する検出部と、検出部によって検出された忘れ物の種類を判定する判定部と、検出部によって忘れ物が検出された場合に、当該忘れ物に関する通知処理を行う通知処理部と、を備え、通知処理部は、判定部によって判定された忘れ物の種類に応じて通知処理の態様を切り替える。【選択図】図２

Description

本発明の実施形態は、忘れ物通知装置および忘れ物通知方法に関する。

従来、電車内に設置された監視カメラにより撮像された画像から忘れ物およびその所有者を特定し、特定した所有者が改札機を通過した際に取得される個人ＩＤに基づいて、その所有者の携帯端末に対して電子メールを送信する技術が知られている。

特開２０２２－０１２９５０号公報

しかしながら、上述した従来技術では、忘れ物が携帯端末である場合に、所有者に対して忘れ物をしたことを知らせることが困難である。

そこで、本発明の実施形態は、忘れ物が発生したことを適切に通知することができる忘れ物通知装置および忘れ物通知方法を提供することを課題とする。

本発明の実施形態の忘れ物通知装置は、たとえば、車室内に放置された忘れ物を検出する検出部と、検出部によって検出された忘れ物の種類を判定する判定部と、検出部によって忘れ物が検出された場合に、忘れ物に関する通知処理を行う通知処理部と、を備え、通知処理部は、判定部によって判定された忘れ物の種類に応じて通知処理の態様を切り替える。

上記構成によれば、判定部によって判定された忘れ物の種類に応じて通知処理の態様を切り替えることで、忘れ物が発生したことを適切に通知することができる。

判定部は、忘れ物が携帯端末であるか否かを判定し、通知処理部は、忘れ物が携帯端末である場合と携帯端末以外である場合とで、通知処理の態様を切り替えてもよい。

上記構成によれば、忘れ物が携帯端末である場合、すなわち、その携帯端末への通知では所有者に忘れ物が発生したことを知らせることができない場合であっても、忘れ物が発生したことを適切に通知することができる。

通知処理部は、忘れ物が携帯端末である場合、車室内に設置された表示部または音声出力部を用いた通知処理を行ってもよい。

上記構成によれば、携帯端末の所有者以外の乗車者に対して忘れ物の存在を知らせることができる。これにより、たとえば、車室内に設置された忘れ物回収ボックスに忘れ物である携帯端末を入れてもらうことができる。

本発明の実施形態の忘れ物通知装置は、携帯端末との通信によって携帯端末の識別情報を取得する取得部を備え、通知処理部は、忘れ物が携帯端末である場合に、取得部によって取得された識別情報に関連付けられた利用者の連絡先であって、忘れ物である携帯端末とは別の携帯端末で受信可能な連絡先に対して通知を行ってもよい。

上記構成によれば、忘れ物である携帯端末への通知では所有者に忘れ物が発生したことを知らせることができない状況であっても、その携帯端末とは別の携帯端末に対して通知を行うことで、忘れ物が発生したことを適切に通知することができる。

本発明の実施形態の忘れ物通知装置は、忘れ物の所有者を特定する特定部を備え、判定部は、所有者以外の人物が忘れ物に近付いたか否かを判定し、通知処理部は、判定部によって所有者以外の人物が忘れ物に近付いたと判定された場合に、車室内に設置された表示部または音声出力部を用いた通知処理を行ってもよい。

上記構成によれば、所有者以外の人物が忘れ物に近付いた場合に、車室内に設置された表示部または音声出力部を用いた通知処理を行うことで、忘れ物に近付いた人物に、忘れ物の存在を気付いてもらいやすくすることができる。これにより、たとえば、車室内に設置された忘れ物回収ボックスに忘れ物を入れてもらうことができる。また、たとえば、所定の警報音を音声出力部から出力させたり、忘れ物に近付いた人物の映像を表示部に表示させたりすることで、忘れ物の盗難を抑制することができる。

車室は、無人走行車両に設けられた車室であって、無人走行車両の利用者を認証する認証処理部を備えていてもよい。

上記構成によれば、運転手や車掌が乗車していないことから忘れ物が長時間放置されることで所有者への通知に遅れが生じやすい無人走行車両において、忘れ物が発生したことを所有者に対して早期に気付かせることができる。また、認証処理部を備えることで、忘れ物の所有者やその連絡先を容易に特定することができる。

図１は、無人バスに搭載される忘れ物通知装置を含む車両制御システムの構成の例示的なブロック図である。 図２は、実施形態にかかる車両制御システムが有するＥＣＵの機能構成の一例を示すブロック図である。 図３は、実施形態に係る利用者情報の一例を示す図である。 図４は、車内カメラによる撮像画像に設定される物体領域の一例を示す図である。 図５は、車内カメラによる撮像画像に設定される物体領域の他の一例を示す図である。 図６は、実施形態に係るＥＣＵが実行する処理手順の一例を示すフローチャートである。 図７は、実施形態にかかる忘れ物通知装置を実現するための情報処理装置のハードウェア構成を示した例示的かつ模式的なブロック図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

実施形態に係る忘れ物通知装置は、複数の利用者が乗降可能な車両、たとえば、路線バス（以下、単に「バス」という）において忘れ物が発生した場合に、その所有者に対して忘れ物に関する通知処理を行う。忘れ物通知装置が搭載されるバスは、たとえば、自動運転機能を備えたバス、いわゆる無人バスであってもよい。無人バスには、通常、運転手や車掌が乗車していない。このため、無人バスにおいては、忘れ物が長期間に亘って放置され易く、これにより所有者への連絡が遅れるおそれがある。このような事情から、忘れ物が発生したことを所有者に早期に気付かせることができる忘れ物通知装置の無人バスへの搭載が期待されている。

ここで、特許文献１には、忘れ物が発生した場合に、その所有者の携帯に対して電子メールを送信することで、その所有者に対して忘れ物をしたことを気付かせる技術が開示されている。

しかしながら、特許文献１に記載の技術は、忘れ物が携帯端末である場合に、所有者に対して忘れ物をしたことを知らせることが困難である。

実施形態に係る忘れ物通知装置は、忘れ物の種別に応じて通知処理の態様を切り替えることで、忘れ物が携帯端末である場合であっても所有者に対して忘れ物をしたことを適切に通知することが可能である。

また、実施形態に係る忘れ物通知装置は、所有者以外の人物が忘れ物に接近した場合にも所定の通知処理を行うことで、たとえば、無人バスに設置された忘れ物ボックスに忘れ物を入れてもらうことができたり、あるいは、盗難を防止したりすることができる。

以下、実施形態に係る忘れ物通知装置の具体的な構成および動作について図面を参照しつつ説明する。

図１は、無人バスに搭載される忘れ物通知装置を含む車両制御システム１００の構成の例示的なブロック図である。

実施形態に係る車両制御システム１００は、車内ネットワーク５０を介して互いに接続された、ＥＣＵ１０、車内カメラ１１、情報読取部１２、表示部１３、音声出力部１４、自動運転制御部１５、通信部１６、車外カメラ１７、測位センサ１８、測距センサ１９等を備える。車内ネットワーク５０は、たとえば、ＣＡＮ（Controller Area Network）として構成されている。

車内カメラ１１、情報読取部１２、表示部１３および音声出力部１４は、無人バスの車室内に設けられる。

車内カメラ１１は、たとえば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。車内カメラ１１は、所定のフレームレートで動画データを逐次取得し、画像データとして出力する。車内カメラ１１は、たとえば車室の天井面等に設置され、車室内を撮像する。車両制御システム１００は、１台の車内カメラ１１で車室内全体を撮像してもよい。また、車両制御システム１００は、複数台の車内カメラ１１を備えていてもよい。この場合、車両制御システム１００は、車室内のそれぞれ異なる場所を撮像する複数台の車内カメラ１１を用いて車室内全体を撮像してもよい。

情報読取部１２は、無人バスの乗降口近くに設置される。情報読取部１２は、無人バスの利用者を認証するために利用者の情報を読み取るデバイスである。たとえば、情報読取部１２は、顔認証用のカメラであってもよい。また、情報読取部１２は、利用者が所持するＩＣカードまたは携帯端末等と非接触通信を行う読取機（リーダ・ライタ）であってもよい。

表示部１３は、たとえば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力部１４は、たとえば、スピーカである。

自動運転制御部１５は、無人バスの運転を自動制御する。自動運転制御部１５による自動運転制御の手法としては、いずれの公知技術が用いられてよい。たとえば、自動運転制御部１５は、通信部１６を介して取得される経路情報、車外カメラ１７によって撮像された無人バスの周囲の映像、測位センサ１８によって取得される現在位置情報、測距センサ１９によって取得される距離情報等に基づいて、無人バスのアクセル、ブレーキおよびハンドル等を制御してもよい。

通信部１６は、車外通信部１６ａと、車内通信部１６ｂとを有する。車外通信部１６ａは、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網を介してネットワークＮ（図２参照）に接続する。ネットワークＮは、たとえば、インターネットなどのＷＡＮ（Wide Area Network）である。車外通信部１６ａは、ネットワークＮを介して外部の管理サーバ２００（図２参照）と相互に通信可能に接続される。

車内通信部１６ｂは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）などの近距離無線通信を介して車室内に存在する携帯端末３００と相互に通信可能に接続される。携帯端末３００は、通信機能を有する携帯可能な端末装置、たとえば、スマートフォン、タブレット端末、ノート型ＰＣ（Personal Computer）、スマートウォッチ等である。

車外カメラ１７は、無人バスの車外を撮影する。車外カメラ１７は、たとえば、無人バスのフロントガラスの近傍に設置される。車外カメラ１７によって撮影された無人バスの周囲の映像は、自動運転制御部１５による無人バスの自動運転制御に用いられ得る。

測距センサ１９は、無人バスとその周辺に存在する障害物との距離や相対速度を検出する。たとえば、測距センサ１９は、超音波センサ、ミリ波レーダ、ＬｉＤＡＲ（Light Detection and Ranging）センサまたはカメラセンサ等である。測距センサ１９によって取得された距離情報は、たとえば、自動運転制御部１５による無人バスの自動運転制御に用いられ得る。

測位センサ１８は、無人バスの位置情報を取得する。測位センサ１８としては、たとえば、ＧＮＳＳ（Global Navigation Satellite System）センサ、ＧＰＳ（Global Positioning System）センサ等が用いられ得る。測位センサ１８によって取得された現在位置情報は、自動運転制御部１５による無人バスの自動運転制御に用いられ得る。また、測位センサ１８によって取得された現在位置情報は、忘れ物の検出処理にも用いられ得る。この点については後述する。

ＥＣＵ１０は、たとえば、ＣＰＵ１０ａ（Central Processing Unit）、表示制御部１０ｂ、音声制御部１０ｃ、ＳＳＤ１０ｄ（Solid State Drive、フラッシュメモリ）、ＲＯＭ１０ｅ（Read Only Memory）、ＲＡＭ１０ｆ（Random Access Memory）等を有する。ＣＰＵ１０ａは、忘れ物通知装置を実現する。ＣＰＵ１０ａは、ＲＯＭ１０ｅ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１０ｆは、ＣＰＵ１０ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部１０ｂは、表示部１３で表示するための画像データを処理する。音声制御部１０ｃは、ＥＣＵ１０での演算処理のうち、主として、音声出力部１４で出力される音声データの処理を実行する。

ＳＳＤ１０ｄは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１０の電源がオフされた場合にあってもデータを記憶することができる。

なお、ＣＰＵ１０ａ、ＲＯＭ１０ｅおよびＲＡＭ１０ｆ等は、同一パッケージ内に集積されてもよい。ＥＣＵ１０は、ＣＰＵ１０ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。ＥＣＵ１０は、ＳＳＤ１０ｄに替えてＨＤＤ（Hard Disk Drive）を備える構成であってもよい。ＳＳＤ１０ｄやＨＤＤは、ＥＣＵ１０とは別に設けられてもよい。

図２は、実施形態にかかる車両制御システム１００が有するＥＣＵ１０の機能構成の一例を示すブロック図である。ＥＣＵ１０は、忘れ物通知装置の一例であり、忘れ物通知方法を実行する。ＥＣＵ１０のＣＰＵ１０ａは、ＲＯＭ１０ｅから読み出した忘れ物通知プログラムを実行することにより忘れ物通知部を実現する。

ＥＣＵ１０は、たとえば、ＲＯＭ１０ｅに格納された忘れ物通知プログラムを読み込むことによって、認証処理部１０１、取得部１０２、検出部１０３、特定部１０４、判定部１０５および通知処理部１０６として機能する。なお、認証処理部１０１、取得部１０２、検出部１０３、特定部１０４、判定部１０５および通知処理部１０６の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）を含む回路等のハードウェアによって実現されてもよい。

認証処理部１０１は、情報読取部１２によって読み取られた情報に基づいて無人バスの利用者の認証処理を行う。

たとえば、認証処理部１０１は、情報読取部１２によって読み取られた利用者の顔画像、無人バスの識別情報、現在時刻情報および現在位置情報等を含んだ認証要求を車外通信部１６ａおよびネットワークＮを介して管理サーバ２００へ送信する。管理サーバ２００は、利用者の氏名、利用者ＩＤ等の個人情報と顔画像とを関連づけた利用者情報２０１を予め記憶している。管理サーバ２００は、ＥＣＵ１０から認証要求を受信すると、認証要求に含まれる顔画像と利用者情報２０１に含まれる複数の顔画像との照合を行う。

管理サーバ２００は、利用者情報２０１に含まれる複数の顔画像の中に、認証要求に含まれる顔画像と一致する顔画像が存在する場合、利用者を認証する旨の認証結果をネットワークＮを介してＥＣＵ１０に送信する。認証処理部１０１は、利用者を認証する旨の認証結果を受信した場合、その利用者の乗車を許可する。たとえば、認証処理部１０１は、情報読取部１２に設けられた発光部を青色に発光させたり、情報読取部１２に設けられた音声出力部から乗車を許可する音声等を出力させたりしてもよい。また、無人バスの乗降口にフラッパーゲート等のゲートが設けられている場合、認証処理部１０１は、利用者を認証する旨の認証結果を受信したことを条件としてゲートを開いてもよい。

一方、管理サーバ２００は、利用者情報２０１に含まれる複数の顔画像の中に、認証要求に含まれる顔画像と一致する顔画像が存在しない場合、利用者を認証しない旨の認証結果をネットワークＮを介してＥＣＵ１０に送信する。認証処理部１０１は、利用者を認証しない旨の認証結果を受信した場合、その利用者の乗車を拒否する。たとえば、認証処理部１０１は、情報読取部１２に設けられた発光部を赤色に発光させたり、情報読取部１２に設けられた音声出力部から乗車を拒否する音声等を出力させたりしてもよい。

認証処理部１０１による認証処理は、乗車時だけでなく降車時にも行われてもよい。管理サーバ２００は、利用者を認証した場合、認証要求に含まれる無人バスの識別情報、現在時刻情報および現在位置情報を含んだ乗降情報を利用者情報２０１に格納してもよい。これにより、管理サーバ２００は、どの無人バスにどの利用者が乗車しているか、どの利用者がどこから乗車してどこで降車したかといった情報を管理することができるとともに、これらの情報をネットワークＮを介してＥＣＵ１０に提供することができる。

管理サーバ２００によって管理される利用者情報２０１には、利用者の連絡先が予め登録されている。ここで、利用者情報２０１の内容について図３を参照して説明する。図３は、実施形態に係る利用者情報２０１の一例を示す図である。なお、図３では、利用者情報２０１に含まれる複数の項目のうち一部のみを示している。たとえば、利用者情報２０１には、上述した顔画像や乗降情報等が含まれるが、図３では、これらの項目を省略して示している。

図３に示すように、利用者情報２０１は、「利用者ＩＤ」項目、「氏名」項目、「端末ＩＤ」項目および「連絡先」項目等を含む。

「利用者ＩＤ」項目には、利用者の識別する識別情報（以下、「利用者ＩＤ」と記載する）が格納される。「氏名」項目には、利用者の氏名が格納される。「端末ＩＤ」項目には、利用者または利用者の関係者（たとえば家族）が保有する携帯端末を識別する識別情報（以下、「端末ＩＤ」と記載する）が格納される。「連絡先」項目には、上記携帯端末で受信可能な連絡先が格納される。連絡先は、たとえば、電子メールアドレスまたは電話番号等である。

たとえば、図３には、利用者ＩＤ「００１」、氏名「山田太郎」、端末ＩＤ「Ｘ０１」,「Ｘ０２」、連絡先「ｔａｒｏ＠ａａａ．ｃｏｍ」，「０９０－ｘｘｘｘ－ｘｘｘｘ」を含んだ利用者情報２０１が例示されている。ここで、連絡先「ｔａｒｏ＠ａａａ．ｃｏｍ」は、端末ＩＤ「Ｘ０１」と関連づけられており、連絡先「０９０－ｘｘｘｘ－ｘｘｘｘ」は、端末ＩＤ「Ｘ０２」と関連づけられている。これは、端末ＩＤ「Ｘ０１」で受信可能な連絡先が「ｔａｒｏ＠ａａａ．ｃｏｍ」であり、端末ＩＤ「Ｘ０２」で受信可能な連絡先が「０９０－ｘｘｘｘ－ｘｘｘｘ」であることを示している。一例として、端末ＩＤ「Ｘ０１」の携帯端末は、利用者自身が保有する携帯端末であり、端末ＩＤ「Ｘ０２」の携帯端末は、利用者の関係者が保有する携帯端末であるものとする。

取得部１０２は、携帯端末３００との通信によって携帯端末３００の端末ＩＤを取得する。具体的には、取得部１０２は、車内通信部１６ｂを介して、無人バスの車室内に存在する携帯端末３００から端末ＩＤを取得する。取得部１０２によって取得された端末ＩＤは、たとえば、ＳＳＤ１０ｄに記憶される。また、取得部１０２によって取得された端末ＩＤは、利用者情報２０１に格納されてもよい。

取得部１０２は、端末ＩＤに代えて、もしくは、端末ＩＤとともに、携帯端末３００の位置情報を取得してもよい。携帯端末３００の位置情報は、車内通信部１６ｂを介して取得されてもよいし、車外通信部１６ａおよびネットワークＮを介して取得されてもよい。

検出部１０３は、無人バスの車室内から追跡対象となる物体を検出し、検出した物体を追跡する。たとえば、検出部１０３は、車内カメラ１１によって撮像された画像を画像解析することにより、車室内に存在する物体を検出してもよい。画像解析の手法としては、種々の公知技術が用いられ得る。

検出部１０３は、追跡対象の属性と一致する属性を有する物体が写り込んだ領域（以下、「物体領域」と記載する）を検出する。物体領域は、追跡対象の属性の物体が写り込んだ領域であればよい。一例として、物体領域は、追跡対象の属性の物体を矩形状に囲む領域（いわゆるバウンディングボックス）である。

図４は、車内カメラ１１による撮像画像に設定される物体領域の一例を示す図である。図４に示すように、物体領域Ｂ１，Ｂ２は、追跡対象の属性の物体を矩形状に囲む領域である。

実施形態において、追跡対象は、人物および人物以外の物体である。人物以外の物体は、人物が無人バスに持ち込んだバッグ等の荷物である。検出部１０３は、公知の方法を用いて、撮像画像に含まれる追跡対象の属性を有する物体の各々について、物体領域を検出する。追跡対象の属性を示す情報は、たとえば、ネットワークＮを介して管理サーバ２００から取得してもよいし、ＳＳＤ１０ｄから取得してもよい。

検出部１０３は、撮像画像から物体領域を検出するために予め学習された検出器を用いて物体領域の検出を行ってもよい。検出器には、公知の抽出器が用いられ得る。たとえば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ： ＣＮＮ）や、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ： ＲＮＮ）や、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）などのアルゴリズムの深層学習（ディープラーニング）が用いられ得る。一例として、検出部１０３は、ＳＳＤ（Single Shot Multibox Detector）またはＹＯＬＯ（You Only Look Once）を用いた物体検出を行ってもよい。

検出部１０３は、各物体領域Ｂ１，Ｂ２の位置や大きさの経時変化を示す追跡情報を、たとえば、ＳＳＤ１０ｄに記憶させる。なお、検出部１０３は、追跡情報をネットワークＮを介して管理サーバ２００に送信してもよい。

検出部１０３は、かかる追跡情報に基づいて、無人バスの車室内に放置された忘れ物を検出することができる。この点について図４および図５を参照して説明する。図５は、車内カメラ１１による撮像画像に設定される物体領域の他の一例を示す図である。

図４に示す例では、人物の属性を示す物体領域Ｂ１と、人物以外（荷物）の属性を示す物体領域Ｂ２とが撮像画像中に存在している。物体領域Ｂ１は、後述する特定部１０４によって物体領域Ｂ２と関連づけられているものとする。すなわち、物体領域Ｂ２に位置する物体は、物体領域Ｂ１に位置する人物の荷物であることが関連づけられているものとする。

このような場合において、図５に示すように、物体領域Ｂ１および物体領域Ｂ２のうち物体領域Ｂ２のみが撮像画像中に存在する状態が予め設定された時間（たとえば、３分間）継続したとする。この場合、検出部１０３は、物体領域Ｂ２に位置する物体を忘れ物として検出する。

また、検出部１０３は、車内カメラ１１による撮像画像を用いることなく、無人バスの車室内に放置された忘れ物を検出することも可能である。たとえば、検出部１０３は、認証処理部１０１によって得られた利用者の乗降情報と、取得部１０２によって定期的に取得される車室内に存在する携帯端末３００の端末ＩＤとに基づいて、携帯端末３００の忘れ物を検出することができる。

具体的には、たとえば、取得部１０２によって端末ＩＤ「Ｘ０１」（図３参照）が取得されている状況において、端末ＩＤ「Ｘ０１」に関連づけられた利用者ＩＤ「００１」の利用者（山田太郎）が降車したことが乗降情報によって示されたとする。この場合、検出部１０３は、端末ＩＤ「Ｘ０１」の携帯端末３００を忘れ物として検出することが可能である。

また、検出部１０３は、認証処理部１０１によって得られた利用者の乗降情報と、携帯端末３００から取得される携帯端末３００の位置情報と、測位センサ１８から取得される無人バスの位置情報とに基づいて、携帯端末３００の忘れ物を検出してもよい。

具体的には、たとえば、利用者ＩＤ「００１」の利用者（山田太郎）が降車した後、端末ＩＤ「Ｘ０１」の位置情報と無人バスの位置情報とが同じである状態が予め設定された時間（たとえば、３分間）継続した場合、検出部１０３は、端末ＩＤ「Ｘ０１」の携帯端末３００を忘れ物として検出してもよい。

特定部１０４は、検出部１０３によって検出された人物以外の物体（たとえばバッグ等の荷物）の所有者を特定する。

ここで、特定部１０４による所有者の特定処理について図４を参照して説明する。

特定部１０４は、検出部１０３によって検出された物体領域のうち、人物を示す物体領域と、人物以外の物体（荷物）を示す物体領域とを関連づける処理を行う。たとえば、図４に示す例では、人物を示す物体領域Ｂ１と、人物以外（荷物）を示す物体領域Ｂ２とが重なっている。この場合、特定部１０４は、物体領域Ｂ１と物体領域Ｂ２とを関連づける。すなわち、特定部１０４は、物体領域Ｂ１に対応する人物を、物体領域Ｂ２に対応する物体の所有者として特定する。

なお、人物以外の物体を示す物体領域に対し、人物に対応する複数の物体領域が重なっている場合がある。このような場合、特定部１０４は、たとえば、人物に対応する複数の物体領域のうち、人物以外の物体を示す物体領域と重なっている面積が最も大きい物体領域を、人物以外の物体を示す物体領域と関連づけてもよい。また、特定部１０４は、人物に対応する複数の物体領域のうち、人物以外の物体を示す物体領域と重なっている時間が最も長い物体領域を、人物以外の物体を示す物体領域と関連づけてもよい。また、特定部１０４は、人物以外の物体を示す物体領域と重なっている面積および時間を総合的に考慮して、人物を示す物体領域と人物以外の物体を示す物体領域との関連づけを行ってもよい。

特定部１０４は、人物を示す物体領域と人物以外の物体を示す物体領域とを関連づけた所有者情報をＳＳＤ１０ｄに記憶させる。また、特定部１０４は、所有者情報をネットワークＮを介して管理サーバ２００に送信して、管理サーバ２００に所有者情報を管理させてもよい。

特定部１０４は、管理サーバ２００に記憶されている利用者情報２０１に基づいて忘れ物の所有者を特定してもよい。たとえば、端末ＩＤ「Ｘ０１」の携帯端末３００が忘れ物として検出された場合に、特定部１０４は、利用者情報２０１に基づいて、端末ＩＤ「Ｘ０１」に関連づけられた利用者、すなわち、利用者ＩＤ「００１」の利用者「山田太郎」を所有者として特定することができる。

特定部１０４は、物体領域Ｂ１に位置する人物の顔画像を利用者情報２０１に登録された複数の顔画像と照合することにより、忘れ物の所有者を特定してもよい。この手法によれば、忘れ物が携帯端末３００であるか否かにかかわらず所有者を特定することができる。

判定部１０５は、検出部１０３によって検出された忘れ物の種類を判定する。具体的には、判定部１０５は、忘れ物が携帯端末であるか否かを判定する。

たとえば、上述したように、検出部１０３は、携帯端末３００との通信に基づいて携帯端末３００の忘れ物を検出することができる。判定部１０５は、検出部１０３によって忘れ物が検出された場合に、その忘れ物が、携帯端末３００との通信に基づいて検出されたものである場合に、その忘れ物が携帯端末３００であると判定することができる。一方、判定部１０５は、検出部１０３によって検出された忘れ物が、携帯端末３００との通信に基づいて検出されたものでない場合に、その忘れ物が携帯端末３００以外であると判定する。

また、判定部１０５は、所有者以外の人物が忘れ物に近付いたか否かを判定する。たとえば、忘れ物が携帯端末３００である場合、その携帯端末３００の所有者は、既に無人バスを降車しているため、判定部１０５は、携帯端末３００に近付いた人物が誰であるかに関わらず、所有者以外の人物が忘れ物に近付いたと判定してもよい。また、判定部１０５は、忘れ物の物体領域に対し、その忘れ物の物体領域と関連づけられた物体領域（人物を示す物体領域）以外の物体領域（人物を示す物体領域）が重なった場合、または、両物体領域の距離が閾値以下となった場合に、所有者以外の人物が忘れ物に近付いたと判定してもよい。

通知処理部１０６は、検出部１０３によって忘れ物が検出された場合に、検出された忘れ物に関する通知処理を行う。通知処理部１０６は、判定部１０５によって判定された忘れ物の種類に応じて通知処理の態様を切り替える。具体的には、通知処理部１０６は、忘れ物が携帯端末３００である場合と携帯端末３００以外である場合とで、通知処理の態様を切り替える。

忘れ物が携帯端末３００以外である場合、通知処理部１０６は、特定部１０４によって特定された所有者の携帯端末３００に対して、忘れ物をした旨の通知を送信する処理を行ってもよい。たとえば、忘れ物の所有者が利用者ＩＤ「００１」の「山田太郎」である場合、通知処理部１０６は、「山田太郎」本人が保有する携帯端末、ここでは端末ＩＤ「Ｘ０１」の携帯端末に関連づけられた連絡先「ｔａｒｏ＠ａａａ．ｃｏｍ」に対して忘れ物をした旨のメッセージ（電子メール）を送信する。

これにより、利用者（ここでは、山田太郎）は、端末ＩＤ「Ｘ０１」の携帯端末に届いた電子メールを確認することで、忘れ物をしたことに早期に気付くことができる。

一方、忘れ物が携帯端末３００である場合、通知処理部１０６は、忘れ物が携帯端末３００以外である場合の連絡先とは異なる連絡先に対して通知処理を行ってもよい。たとえば、忘れ物の所有者が利用者ＩＤ「００１」の「山田太郎」である場合、通知処理部１０６は、「山田太郎」の関係者（たとえば家族）が保有する携帯端末、ここでは端末ＩＤ「Ｘ０２」の携帯端末に関連づけられた連絡先「０９０－ｘｘｘｘ－ｘｘｘｘ」に対して忘れ物をした旨のメッセージ（たとえば、ＳＭＳ：Short Message Service）を送信する。

このように、通知処理部１０６は、忘れ物が携帯端末３００である場合に、取得部１０２によって取得された端末ＩＤに関連付けられた利用者の連絡先であって、忘れ物である携帯端末３００とは別の携帯端末で受信可能な連絡先に対して通知を行ってもよい。

これにより、忘れ物をした本人に連絡が取れない状況であっても、その関係者に対して忘れ物が発生したことを早期に知らせることができる。

なお、忘れ物が携帯端末３００である場合、通知処理部１０６は、利用者情報２０１に登録されている複数の連絡先に対してメッセージを送信してもよい。たとえば、忘れ物の所有者が利用者ＩＤ「００１」の「山田太郎」である場合、通知処理部１０６は、「山田太郎」に関連づけられた全ての連絡先、ここでは、「ｔａｒｏ＠ａａａ．ｃｏｍ」および「０９０－ｘｘｘｘ－ｘｘｘｘ」に対して忘れ物をした旨のメッセージを送信してもよい。

また、通知処理部１０６は、検出部１０３によって忘れ物が検出された場合に、車室内に設置された表示部１３または音声出力部１４を用いた通知処理を行ってもよい。たとえば、通知処理部１０６は、忘れ物が発生した旨のメッセージを表示部１３に対して表示させてもよい。この際、通知処理部１０６は、忘れ物が発生した旨のメッセージとともに、車内カメラ１１によって撮像された忘れ物の画像を表示部１３に対して表示させてもよい。これにより、乗車者は、無人バスのどの辺りに忘れ物があるかを容易に把握することができる。また、通知処理部１０６は、忘れ物が発生した旨の音声を音声出力部１４から出力させてもよい。

なお、「忘れ物が発生した旨のメッセージ」は、たとえば、無人バスに設置された忘れ物回収ボックスに忘れ物を入れるように依頼するメッセージであってもよい。

表示部１３または音声出力部１４を用いた通知処理は、忘れ物が携帯端末３００である場合および携帯端末３００以外である場合の両方において行われてもよい。また、表示部１３または音声出力部１４を用いた通知処理は、忘れ物が携帯端末３００である場合および携帯端末３００以外である場合のいずれか一方においてのみ行われてもよい。

通知処理部１０６は、判定部１０５によって所有者以外の人物が忘れ物に近付いたと判定された場合に、車室内に設置された表示部１３または音声出力部１４を用いた通知処理を行ってもよい。たとえば、通知処理部１０６は、忘れ物が発生した旨のメッセージを表示部１３に表示させたり音声出力部１４から出力させたりしてもよい。また、通知処理部１０６は、所定の警報音を音声出力部１４から出力させたり、忘れ物に近付いた人物の映像を表示部１３に表示させたりしてもよい。これにより、忘れ物の盗難を抑制することができる。

次に、ＥＣＵ１０の具体的な動作について図６を参照して説明する。図６は、実施形態に係るＥＣＵ１０が実行する処理手順の一例を示すフローチャートである。

図６に示すように、ＥＣＵ１０は、車内カメラ１１によって撮像された画像から物体を検出する（ステップＳ１０１）。具体的には、ＥＣＵ１０は、人物を示す物体領域および人物以外の物体（荷物）を示す物体領域を検出する。

つづいて、ＥＣＵ１０は、荷物の所有者を特定する（ステップＳ１０２）。たとえば、ＥＣＵ１０は、荷物を示す物体領域と人物を示す物体領域との関連づけを行うことにより、荷物の所有者を特定してもよい。また、ＥＣＵ１０は、管理サーバ２００に記憶されている利用者情報２０１に基づいて忘れ物の所有者を特定してもよい。

つづいて、ＥＣＵ１０は、忘れ物を検出したか否かを判定する（ステップＳ１０３）。たとえば、ＥＣＵ１０は、物体領域の追跡情報に基づいて忘れ物を検出してもよい。また、ＥＣＵ１０は、利用者の乗降情報と、車室内に存在する携帯端末３００の端末ＩＤとに基づいて、携帯端末３００の忘れ物を検出してもよいし、利用者の乗降情報と、携帯端末３００の位置情報と、無人バスの位置情報とに基づいて、携帯端末３００の忘れ物を検出してもよい。

ステップＳ１０３において忘れ物を検出したと判定した場合（ステップＳ１０３，Ｙｅｓ）、ＥＣＵ１０は、忘れ物が携帯端末であるか否かを判定する（ステップＳ１０４）。

ステップＳ１０４において忘れ物が携帯端末であると判定した場合（ステップＳ１０４，Ｙｅｓ）、ＥＣＵ１０は、第１通知処理を行う（ステップＳ１０５）。たとえば、ＥＣＵ１０は、忘れ物の所有者に関連づけられた連絡先であって、所有者自身が保有する携帯端末で受信可能な連絡先以外に、所有者の関係者が保有する携帯端末で受信可能な連絡先に対して通知を行う。

一方、ステップＳ１０４において忘れ物が携帯端末以外であると判定した場合（ステップＳ１０４，Ｎｏ）、ＥＣＵ１０は、第２通知処理を行う（ステップＳ１０６）。たとえば、ＥＣＵ１０は、所有者自身が保有する携帯端末で受信可能な連絡先に対して通知を行う。

ステップＳ１０５またはステップＳ１０６の処理を終えると、ＥＣＵ１０は、所有者以外の人物が忘れ物に近付いたか否かを判定する（ステップＳ１０７）。この処理において、所有者以外の人物が忘れ物に近付いたと判定した場合（ステップＳ１０７，Ｙｅｓ）、ＥＣＵ１０は、第３通知処理を行う（ステップＳ１０８）。たとえば、ＥＣＵ１０は、第３通知処理として、車室内に設置された表示部１３または音声出力部１４を用いた通知処理を行ってもよい。

つづいて、ＥＣＵ１０は、所有者以外の人物によって忘れ物が持ち去られたか否かを判定する（ステップＳ１０９）。たとえば、ＥＣＵ１０は、車内カメラ１１による撮像画像に基づいて所有者以外の人物によって忘れ物が持ち去られたか否かを判定してもよい。この場合、ＥＣＵ１０は、所有者以外の人物を示す物体領域と忘れ物を示す物体領域とが重なった状態で撮像画像から消失した場合に、所有者以外の人物によって忘れ物が持ち去られたと判定してもよい。また、忘れ物が端末装置である場合、ＥＣＵ１０は、その端末装置の位置情報と無人バスの位置情報とを比較し、端末装置の現在位置と無人バスの現在位置とが予め設定された距離以上離れたならば、所有者以外の人物によって忘れ物が持ち去られたと判定してもよい。

ステップＳ１０９において、所有者以外の人物によって忘れ物が持ち去られたと判定した場合（ステップＳ１０９，Ｙｅｓ）、ＥＣＵ１０は、第４通知処理を行う。たとえば、ＥＣＵ１０は、第４通知処理として、所有者以外の人物によって忘れ物が持ち去られたことを示す持ち去り情報をネットワークＮを介して管理サーバ２００に送信してもよい。持ち去り情報には、たとえば、忘れ物の画像、忘れ物を持ち去った人物の画像、忘れ物が携帯端末である場合には、端末ＩＤや所有者の情報が含まれていてもよい。また、ＥＣＵ１０は、第４通知処理として、忘れ物の所有者に関連づけられた他の端末装置で受信可能な連絡先に対して持ち去り情報を送信してもよい。

ステップＳ１０３において忘れ物を検出していない場合（ステップＳ１０３，Ｎｏ）、ステップＳ１０７において所有者以外の人物が忘れ物に近付いていない場合（ステップＳ１０７，Ｎｏ）、ステップＳ１０９において忘れ物が持ち去られていない場合（ステップＳ１０９，Ｎｏ）、または、ステップＳ１１０の処理を終えた場合、ＥＣＵ１０は、処理をステップＳ１０１へ戻す。

上述してきたように、実施形態に係る忘れ物通知装置（一例として、ＥＣＵ１０）は、検出部（一例として、検出部１０３）と、判定部（一例として、判定部１０５）と、通知処理部（一例として、通知処理部１０６）とを備える。検出部は、車室内に放置された忘れ物を検出する。判定部は、検出部によって検出された忘れ物の種類を判定する。通知処理部は、検出部によって忘れ物が検出された場合に、当該忘れ物に関する通知処理を行う。通知処理部は、判定部によって判定された種類に応じて通知処理の態様を切り替える。

上記構成によれば、判定部によって判定された忘れ物の種類に応じて通知処理の態様を切り替えることで、忘れ物が発生したことを適切に通知することができる。

判定部は、忘れ物が携帯端末（一例として、携帯端末３００）であるか否かを判定し、通知処理部は、忘れ物が携帯端末である場合と携帯端末以外である場合とで、通知処理の態様を切り替えてもよい。

上記構成によれば、忘れ物が携帯端末である場合、すなわち、その携帯端末への通知では所有者に忘れ物が発生したことを知らせることができない状況であっても、忘れ物が発生したことを適切に通知することができる。

通知処理部は、忘れ物が携帯端末である場合、車室内に設置された表示部（一例として、表示部１３）または音声出力部（一例として、音声出力部１４）を用いた通知処理を行ってもよい。

上記構成によれば、携帯端末の所有者以外の乗車者に対して忘れ物の存在を知らせることができる。これにより、たとえば、車室内に設置された忘れ物回収ボックスに忘れ物である携帯端末を入れてもらうことができる。

実施形態に係る忘れ物通知装置は、携帯端末との通信によって当該携帯端末の識別情報（一例として、端末ＩＤ）を取得する取得部（一例として、取得部１０２）を備え、通知処理部は、忘れ物が携帯端末である場合に、取得部によって取得された識別情報に関連付けられた利用者の連絡先であって、忘れ物である携帯端末とは別の携帯端末で受信可能な連絡先に対して通知を行ってもよい。

上記構成によれば、忘れ物である携帯端末への通知では所有者に忘れ物が発生したことを知らせることができない状況であっても、その携帯端末とは別の携帯端末に対して通知を行うことで、忘れ物が発生したことを適切に通知することができる。

実施形態に係る忘れ物通知装置は、忘れ物の所有者を特定する特定部（一例として、特定部１０４）を備え、判定部は、所有者以外の人物が忘れ物に近付いたか否かを判定し、通知処理部は、判定部によって所有者以外の人物が忘れ物に近付いたと判定された場合に、車室内に設置された表示部または音声出力部を用いた通知処理を行ってもよい。

上記構成によれば、所有者以外の人物が忘れ物に近付いた場合に、車室内に設置された表示部または音声出力部を用いた通知処理を行うことで、忘れ物に近付いた人物に、忘れ物の存在を気付いてもらいやすくすることができる。これにより、たとえば、車室内に設置された忘れ物回収ボックスに忘れ物を入れてもらうことができる。また、たとえば、所定の警報音を音声出力部から出力させたり、忘れ物に近付いた人物の映像を表示部に表示させたりすることで、忘れ物の盗難を抑制することができる。

車室は、無人走行車両（一例として、無人バス）に設けられた車室であって、無人走行車両の利用者を認証する認証処理部（一例として、認証処理部１０１）を備えていてもよい。

上記構成によれば、運転手や車掌が乗車していないことから忘れ物が長時間放置されることで所有者への通知に遅れが生じやすい無人走行車両において、忘れ物が発生したことを所有者に対して早期に気付かせることができる。また、認証処理部を備えることで、忘れ物の所有者やその連絡先を容易に特定することができる。

なお、実施形態にかかる忘れ物通知装置は、たとえば次の図７に示されるような、一般的なコンピュータと同様のハードウェア構成を有する情報処理装置８００によって実現される。

図７は、実施形態にかかる忘れ物通知装置を実現するための情報処理装置８００のハードウェア構成を示した例示的かつ模式的なブロック図である。

図７に示されるように、実施形態にかかる情報処理装置８００は、プロセッサ８１０と、メモリ８２０と、ストレージ８３０と、入出力インターフェース（Ｉ／Ｆ）８４０と、通信インターフェース（Ｉ／Ｆ）８５０と、を備えている。これらのハードウェアは、バス８６０に接続されている。

プロセッサ８１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として構成され、情報処理装置８００の各部の動作を統括的に制御する。

メモリ８２０は、たとえばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、プロセッサ８１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ８１０がプログラムを実行するための作業領域の提供などを実現する。

ストレージ８３０は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含み、各種のデータを不揮発的に記憶する。

入出力インターフェース８４０は、情報処理装置８００へのデータの入力および情報処理装置８００からのデータの出力を制御する。

通信インターフェース８５０は、情報処理装置８００が他の装置と通信を実行することを可能にする。

実施形態において、図２に示されるＥＣＵ１０が有する機能モジュール群は、プロセッサ８１０がメモリ８２０またはストレージ８３０などに記憶された忘れ物通知プログラムを実行した結果として、ハードウェアとソフトウェアとの協働により実現される。ただし、実施形態では、図１に示されるＥＣＵ１０が有する機能モジュール群のうち少なくとも一部が、専用のハードウェア（回路：ｃｉｒｃｕｉｔｒｙ）により実現されてもよい。

なお、実施形態にかかる忘れ物通知プログラムは、メモリ８２０またはストレージ８３０などの記憶装置に予め組み込まれた状態で提供されてもよいし、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

また、実施形態にかかる忘れ物通知プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる忘れ物通知プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、当該コンピュータからネットワーク経由でダウンロードする、といった形で提供されてもよい。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで例であっ
て、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１０…ＥＣＵ、１１…車内カメラ、１２…情報読取部、１３…表示部、１４…音声出力部、１５…自動運転制御部、１６…通信部、１７…車外カメラ、１８…測位センサ、１９…測距センサ、５０…車内ネットワーク、１００…車両制御システム、１０１…認証処理部、１０２…取得部、１０３…検出部、１０４…特定部、１０５…判定部、１０６…通知処理部、２００…管理サーバ、２０１…利用者情報、３００…携帯端末。

Claims (7)

1. 車室内に放置された忘れ物を検出する検出部と、
   前記検出部によって検出された前記忘れ物の種類を判定する判定部と、
   前記検出部によって前記忘れ物が検出された場合に、当該忘れ物に関する通知処理を行う通知処理部と、
   を備え、
   前記通知処理部は、前記判定部によって判定された前記忘れ物の種類に応じて前記通知処理の態様を切り替える、忘れ物通知装置。
2. 前記判定部は、前記忘れ物が携帯端末であるか否かを判定し、
   前記通知処理部は、前記忘れ物が携帯端末である場合と携帯端末以外である場合とで、前記通知処理の態様を切り替える、請求項１に記載の忘れ物通知装置。
3. 前記通知処理部は、前記忘れ物が携帯端末である場合、前記車室内に設置された表示部または音声出力部を用いた通知処理を行う、請求項２に記載の忘れ物通知装置。
4. 携帯端末との通信によって当該携帯端末の識別情報を取得する取得部
   を備え、
   前記通知処理部は、前記忘れ物が携帯端末である場合に、前記取得部によって取得された前記識別情報に関連付けられた利用者の連絡先であって、前記忘れ物である携帯端末とは別の携帯端末で受信可能な連絡先に対して通知を行う、請求項２に記載の忘れ物通知装置。
5. 前記忘れ物の所有者を特定する特定部
   を備え、
   前記判定部は、前記所有者以外の人物が前記忘れ物に近付いたか否かを判定し、
   前記通知処理部は、前記判定部によって前記所有者以外の人物が前記忘れ物に近付いたと判定された場合に、前記車室内に設置された表示部または音声出力部を用いた通知処理を行う、請求項２に記載の忘れ物通知装置。
6. 前記車室は、無人走行車両に設けられた車室であって、
   前記無人走行車両の利用者を認証する認証処理部を備える、請求項１～５のいずれか一つに記載の忘れ物通知装置。
7. 車室内に放置された忘れ物を検出する工程と、
   検出された前記忘れ物の種類を判定する工程と、
   前記忘れ物が検出された場合に、当該忘れ物に関する通知処理を行う工程と、
   を含み、
   前記通知処理を行う工程は、前記判定する工程によって判定された前記忘れ物の種類に応じて前記通知処理の態様を切り替える、忘れ物通知方法。

Images