JP7561531B2 - 忘れ物検出システム及び忘れ物検出プログラム - Google Patents

Description

本発明は、忘れ物検出システム及び忘れ物検出プログラムに関するものである。

特許文献１には、検知エリア（ＡＴＭエリア３０）内にエリア撮影カメラ３００及び顔撮影カメラ４００が設置され、エリア撮影カメラ３００で撮影されたエリア撮影画像３０１によって物体２０の置き去りが検知された場合、その物体２０を置き去りにした人物１０と物体２０とのそれぞれの画像を、エリア撮影画像３０１と、顔撮影カメラ４００で撮影された顔撮影画像４０１とから取得し、取得された画像を対応付けて表示装置１７０に表示することが開示されている。これによって、置き去りにされた物体２０、即ち忘れ物と、その持ち主である人物１０とを一目で把握できるので、忘れ物を人物１０が取りに来た場合、その人物１０がその忘れ物の持ち主かどうかを容易に識別できる。

特開２０１０－８８０７２号公報（例えば、段落００１５－００５９，図５）

しかし特許文献１では、忘れ物と人物１０とを表示するのみなので、人物１０自身が忘れ物をしたことに気づき、忘れ物を管理する管理室等に取りに来るまでは、忘れ物を人物１０に返却できないという問題点があった。

本発明は、上述した問題点を解決するためになされたものであり、忘れ物をした旨を持ち主に通知することで、忘れ物を持ち主へ早期に返却できる忘れ物検出システム及び忘れ物検出プログラムを提供することを目的としている。

この目的を達成するために本発明の忘れ物検出システムは、監視エリアの映像を取得する監視映像取得手段と、その監視映像取得手段で取得された映像から忘れ物を検出する忘れ物検出手段と、前記忘れ物検出手段により忘れ物が検出された場合に、前記監視映像取得手段で取得された映像から前記忘れ物に基づいて前記忘れ物の持ち主であるユーザを検出する持主検出手段と、ユーザ操作によりユーザの個人ＩＤを照合する照合装置の周辺の映像を取得する照合映像取得手段と、前記持主検出手段によりユーザが検出された場合に、前記照合映像取得手段で取得された映像から、前記照合装置で個人ＩＤを照合したユーザのうち、前記持主検出手段で検出されたユーザと同一のユーザを特定する特定手段と、その特定手段で特定されたユーザについて、前記照合装置で照合された個人ＩＤを特定するＩＤ特定手段と、そのＩＤ特定手段で特定された個人ＩＤのユーザに忘れ物に関する通知を行う通知手段とを備えるものである。

本発明の忘れ物検出プログラムは、監視エリアの映像を取得する監視映像取得ステップと、その監視映像取得ステップで取得された映像から忘れ物を検出する忘れ物検出ステップと、前記忘れ物検出ステップにより忘れ物が検出された場合に、前記監視映像取得ステップで取得された映像から前記忘れ物に基づいて前記忘れ物の持ち主であるユーザを検出する持主検出ステップと、ユーザ操作によりユーザの個人ＩＤを照合する照合装置の周辺の映像を取得する照合映像取得ステップと、前記持主検出ステップによりユーザが検出された場合に、前記照合映像取得ステップで取得された映像から、前記照合装置で個人ＩＤを照合したユーザのうち、前記持主検出ステップで検出されたユーザと同一のユーザを特定する特定ステップと、その特定ステップで特定されたユーザについて、前記照合装置で照合された個人ＩＤを特定するＩＤ特定ステップと、そのＩＤ特定ステップで特定された個人ＩＤのユーザに忘れ物に関する通知を行う通知ステップとを、コンピュータに実行させるものである。

請求項１記載の忘れ物検出システムによれば、監視エリアで取得された映像から、忘れ物検出手段によって忘れ物が検出され、忘れ物が検出された場合に、持主検出手段によって忘れ物に基づいて忘れ物の持ち主であるユーザが検出される。ユーザ操作によりユーザの個人ＩＤを照合する照合装置の周辺の映像が取得される。持主検出手段によりユーザが検出された場合に、照合装置の周辺の映像から、照合装置で個人ＩＤを照合したユーザのうち、持主検出手段で検出されたユーザと同一のユーザの個人ＩＤが特定され、その特定された個人ＩＤのユーザに忘れ物に関する通知が行われる。これにより、忘れ物を検出した時点でその忘れ物をしたユーザにその旨を通知できるので、忘れ物をユーザへ早期に返却できるという効果がある。

請求項２記載の忘れ物検出システムによれば、請求項１記載の忘れ物検出システムの奏する効果に加え、次の効果を奏する。忘れ物検出手段は、監視映像取得手段で取得された映像を遡って忘れ物を検出する。これにより、過去における監視エリアでの忘れ物を適切に検出し、忘れ物の持ち主にその旨を通知できるという効果がある。

請求項３記載の忘れ物検出システムによれば、請求項１又は２記載の忘れ物検出システムの奏する効果に加え、次の効果を奏する。ＩＤ特定手段で特定された個人ＩＤのユーザに、忘れ物に関するメッセージを電子的に送信することで忘れ物に関する通知が行われる。ユーザに送信された忘れ物に関するメッセージによって、ユーザに忘れ物をしたことを好適に認識させることができる。これにより、忘れ物をユーザへ早期に返却できるという効果がある。なお、メッセージを電子的に送信する手段としては、電子メール、ショート・メッセージ・サービス（ＳＭＳ）、ソーシャル・ネットワーキング・サービス（ＳＮＳ）等を例示できる。

請求項４記載の忘れ物検出システムによれば、請求項１から３のいずれかに記載の忘れ物検出システムの奏する効果に加え、次の効果を奏する。照合装置は出力手段を有し、通知手段は照合装置に対して、ＩＤ特定手段で特定された個人ＩＤが照合された場合に、出力手段に忘れ物に関する旨の出力を行うことで、忘れ物に関する通知が行われる。これにより、忘れ物をしたユーザが照合装置で照合した際に、その照合と同時に忘れ物に関する旨が出力されるので、ユーザに忘れ物をした旨を確実に認識させ、早期に忘れ物を返却できるという効果がある。

請求項５記載の忘れ物検出システムによれば、請求項１から４のいずれかに記載の忘れ物検出システムの奏する効果に加え、次の効果を奏する。特定手段は、照合映像取得手段で取得した映像から、改札機でＩＣ乗車券を利用したユーザのうち、持主検出手段で検出されたユーザと同一のユーザを特定する。これにより、鉄道車両内の忘れ物の持ち主が、鉄道車両を利用する際に通過する改札機の周辺の映像により特定されるので、鉄道車両内で忘れ物が検出された場合でも、その旨を持ち主に通知できるという効果がある。

また、ユーザは鉄道車両の乗車前または乗車後に、改札機でＩＣ乗車券を利用するので、照合映像取得手段で取得された映像には、忘れ物をする直前または忘れ物をした直後のユーザが撮影される。即ち持主検出手段で検出された忘れ物の持ち主との差異の小さなユーザが、照合映像取得手段で取得された映像に含まれる。このような照合映像取得手段で取得された映像を用いて、特定手段でユーザを特定することで、忘れ物を通知するユーザを精度良く特定できるという効果がある。

請求項６記載の忘れ物検出プログラムによれば、請求項１記載の忘れ物検出システムと同様の効果を奏する。

忘れ物検出装置を表す模式図である。 （ａ）は、鉄道車両の監視カメラから取得された映像において忘れ物を検出する場合を表す図であり、（ｂ）は、鉄道車両の監視カメラから取得された映像において忘れ物及びその持ち主であるユーザを検出する場合を表す図であり、（ｃ）は、改札機の監視カメラで取得された映像からユーザが入出場した改札機を特定する場合を表す図である。 忘れ物検出装置の電気的構成を示すブロック図である。 （ａ）は、車内映像データを模式的に示す図であり、（ｂ）は、改札映像データを模式的に示す図であり、（ｃ）は、入出場データを模式的に示す図であり、（ｄ）は、個人情報データを模式的に示す図である。 メイン処理のフローチャートである。 （ａ）は、個人情報登録処理のフローチャートであり、（ｂ）は、改札データ処理のフローチャートである。

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、忘れ物検出装置１を表す模式図である。忘れ物検出装置１は、監視エリアである鉄道車両Ｔ内の忘れ物Ｌを検出し、その忘れ物Ｌの持ち主であるユーザＨを特定し、ユーザＨに忘れ物をした旨のメッセージを含む電子メールを送信する装置（忘れ物検出システム）である。忘れ物検出装置１には、オペレータ（図示せず）からの指示が入力される入力装置２と、忘れ物Ｌの画像等が表示される表示装置３とが設けられる。

忘れ物Ｌを検出する鉄道車両Ｔの客室における天井には、監視カメラＣｔが設けられる。監視カメラＣｔは、車両（号車）毎に設けられ、鉄道車両Ｔ内の映像Ｐｔ（図２（ａ），（ｂ）参照）を取得する装置である。監視カメラＣｔで取得された映像Ｐｔは、ネットワークＮ（図３参照）経由で忘れ物検出装置１に送信され、その映像Ｐｔに基づいて忘れ物Ｌが検出される。

鉄道車両Ｔへの乗降が行われる各駅Ｓｔには、入出場するための照合装置である改札機Ｇ１，Ｇ２，・・・（以下まとめて「改札機Ｇ」と略す）が設けられる。改札機ＧにユーザＨからＩＣカード式の乗車券（以下「ＩＣ乗車券」と略す）がタッチされた場合に、そのＩＣ乗車券による入出場情報がネットワークＮ経由で忘れ物検出装置１に送信される。入出場情報には、ＩＣ乗車券に予め割り当てられている識別番号である個人ＩＤが含まれる。

駅Ｓｔには、更に改札機Ｇ及び改札機Ｇを入出場する人物の映像Ｐｇ（図２（ｃ）参照）を取得する監視カメラＣｇが設けられる。映像Ｐｇは、駅Ｓｔ毎および改札機Ｇ毎に区別して撮影される。映像ＰｇもネットワークＮ経由で忘れ物検出装置１に送信される。

忘れ物検出装置１においては、鉄道車両Ｔの監視カメラＣｔから取得された映像Ｐｔから、忘れ物Ｌとその持ち主であるユーザＨを検出し、監視カメラＣｇから取得された映像ＰｇからユーザＨが入出場した改札機Ｇが特定される。特定された改札機ＧをユーザＨが入出場した際の入出場情報からそのユーザＨの個人ＩＤが取得され、その個人ＩＤに対応付けられているメールアドレスに忘れ物をした旨の電子メールが送信される。ユーザＨは自身の携帯端末２０で受信した電子メールを確認する。これにより、忘れ物Ｌを検出した時点で、その忘れ物Ｌの持ち主であるユーザＨの携帯端末２０にその旨が通知されるので、ユーザＨへ忘れ物Ｌを早期に返却できる。

次に図２を参照して、鉄道車両Ｔの監視カメラＣｔから取得された映像Ｐｔからの忘れ物Ｌ及び持ち主であるユーザＨの検出と、検出された持ち主であるユーザＨが入出場した改札機Ｇを監視カメラＣｇで取得された映像Ｐｇから特定する方式を説明する。図２（ａ）は、鉄道車両Ｔの監視カメラＣｔから取得された映像Ｐｔにおいて忘れ物Ｌを検出する場合を表す図であり、図２（ｂ）は、鉄道車両Ｔの監視カメラＣｔから取得された映像Ｐｔにおいて忘れ物Ｌ及びその持ち主であるユーザＨを検出する場合を表す図であり、図２（ｃ）は、改札機Ｇの監視カメラＣｇで取得された映像ＰｇからユーザＨが入出場した改札機Ｇを特定する場合を表す図である。

まず、鉄道車両Ｔの監視カメラＣｔから取得された映像Ｐｔから、忘れ物Ｌを特定する（図２（ａ））。本実施形態では、映像Ｐｔから忘れ物Ｌを特定する方式は、映像Ｐｔにおいて、ユーザＨを伴わない物体が一定時間（例えば５分間）、同一の位置に留まっている場合に、その物体が忘れ物Ｌであると特定される。

映像Ｐｔから忘れ物Ｌが特定された場合は、忘れ物Ｌが特定された時点から映像Ｐｔを遡り、忘れ物Ｌの持ち主のユーザＨを特定する（図２（ｂ））。具体的には、映像Ｐｔを遡ることで、忘れ物Ｌに伴うユーザＨを検出した場合は、そのユーザＨが忘れ物Ｌの持ち主であると特定される。そして、特定されたユーザＨの顔付近の画像である持主画像Ｐｈｔが取得される。

次に、改札機Ｇの監視カメラＣｇで取得された映像Ｐｇから、ユーザＨが入出場した改札機Ｇが特定される。具体的には、図２（ｃ）に示す通り、映像Ｐｇから、改札機Ｇを通過したユーザＨの顔付近の画像である顔画像Ｐｈｇが取得され、その顔画像Ｐｈｇと、映像Ｐｔから取得した持主画像Ｐｈｔとを照合する。その結果、顔画像ＰｈｇのユーザＨと持主画像ＰｈｔのユーザＨとが同一であると判定された場合は、映像Ｐｇで顔画像Ｐｈｇが取得された時点において、ユーザＨが入出場した改札機Ｇの入出場情報から該当する個人ＩＤが取得される。そして、取得された個人ＩＤに該当するメールアドレスに、忘れ物を取得した旨の電子メールが送信される。

次に図３，４を参照して、忘れ物検出装置１の電気的構成を説明する。図３は、忘れ物検出装置１の電気的構成を示すブロック図である。図３に示す通り、忘れ物検出装置１は、ＣＰＵ１０と、ハードディスクドライブ（以下「ＨＤＤ」という）１１と、ＲＡＭ１２とを有し、これらはバスライン１３を介して入出力ポート１４にそれぞれ接続されている。入出力ポート１４には更に、上記した入力装置２及び表示装置３と、通信装置１５とが接続される。

ＣＰＵ１０は、バスライン１３により接続された各部を制御する演算装置である。ＨＤＤ１１は、書き換え可能な不揮発性の記憶装置であり、忘れ物検出プログラム１１ａと、車内映像データ１１ｂと、改札映像データ１１ｃと、入出場データ１１ｄと、個人情報データ１１ｅと、忘れ物データ１１ｆとがそれぞれ保存される。ＣＰＵ１０によって忘れ物検出プログラム１１ａが実行されると、図５のメイン処理が実行される。

車内映像データ１１ｂには、鉄道車両Ｔの監視カメラＣｔで取得された映像Ｐｔが記憶され、改札映像データ１１ｃには、駅Ｓｔの監視カメラＣｇで取得された映像Ｐｇが記憶される。図４（ａ），（ｂ）を参照して、車内映像データ１１ｂと改札映像データ１１ｃとを説明する。

図４（ａ）は、車内映像データ１１ｂを模式的に示す図であり、図４（ｂ）は、改札映像データ１１ｃを模式的に示す図である。図４（ａ）に示す通り、車内映像データ１１ｂには、鉄道車両Ｔの監視カメラＣｔで取得された映像Ｐｔが、取得された日付、運行情報（始発時刻および発着地）および号車毎に対応付けられて記憶される。

また図４（ｂ）に示す通り、改札映像データ１１ｃには、改札機Ｇの監視カメラＣｇで取得された映像Ｐｇが、取得された日付、時間、および改札機Ｇの場所（図４（ｂ）では「場所」と表す）毎に対応付けられて記憶される。図４（ｂ）及び後述の図４（ｃ）においては、「場所」を「Ｔ駅・改札機Ｇ」等と表す。

図３に戻る。入出場データ１１ｄには、改札機Ｇで入出場された際の個人ＩＤが記憶される。図４（ｃ）を参照して、入出場データ１１ｄを説明する。

図４（ｃ）は、入出場データ１１ｄを模式的に表す図である。入出場データ１１ｄには、改札機Ｇで入出場した場合の日付、時刻、改札機Ｇの場所および個人ＩＤが記憶される。個人ＩＤには、改札機ＧでＩＣ乗車券を用いて入出場した際に、そのＩＣ乗車券に割り振られている個人ＩＤが記憶される。切符やプリペイド式の乗車券等、個人ＩＤが取得できない手段で改札機Ｇの入出場がされた場合は、その旨を表す「－」が記憶される。

図３に戻る。個人情報データ１１ｅには、ユーザＨの個人ＩＤ毎に、ユーザＨのメールアドレス等の個人情報が記憶される。図４（ｄ）を参照して、個人情報データ１１ｅを説明する。

図４（ｄ）は、個人情報データ１１ｅを模式的に表す図である。個人情報データ１１ｅには、ユーザＨの個人ＩＤ毎に、その氏名およびメールアドレスが記憶される。なお、個人情報データ１１ｅには、これに加え、任意でユーザＨの電話番号や定期券の区間等の他の個人情報を記憶しても良い。

図３に戻る。忘れ物データ１１ｆには、忘れ物Ｌに関する情報が記憶される。具体的に忘れ物データ１１ｆには、検出された忘れ物Ｌの画像と、その忘れ物Ｌが検出された日付、時刻および場所とが対応付けられて記憶され、更にこれらに加え、その忘れ物Ｌの持ち主であるユーザＨが特定された場合には、そのユーザＨの持主画像Ｐｈｔ、個人ＩＤ、メールアドレス及び氏名も対応付けられて記憶される。

ＲＡＭ１２は、ＣＰＵ１０が忘れ物検出プログラム１１ａの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリであり、図２で上記した忘れ物Ｌの画像が記憶される忘れ物画像メモリ１２ａと、図２で上記した持主画像Ｐｈｔが記憶される持主画像メモリ１２ｂとが設けられる。

通信装置１５は、外部の機器と情報を送受信するための装置である。通信装置１５はネットワークＮに接続され、そのネットワークＮには、鉄道車両Ｔ、駅Ｓｔ及びインターネットＷに接続される。これにより、鉄道車両Ｔの監視カメラＣｔで取得された映像Ｐｔや、駅Ｓｔの監視カメラＣｇで取得された映像Ｐｇや改札機Ｇで取得された個人ＩＤが、ネットワークＮ及び通信装置１５を介して、忘れ物検出装置１に送信される。一方で、忘れ物検出装置１からユーザＨに送信した電子メールが通信装置１５、ネットワークＮ及びインターネットＷを介してユーザＨの携帯端末２０（図１参照）に送信される。

次に図５，６を参照して、忘れ物検出装置１のＣＰＵ１０で実行されるメイン処理を説明する。図５は、メイン処理のフローチャートである。メイン処理は、忘れ物検出装置１の電源投入後に実行される処理である。メイン処理はまず、個人情報登録処理（Ｓ１）を行う。ここで図６（ａ）を参照して、個人情報登録処理を説明する。

図６（ａ）は、個人情報登録処理のフローチャートである。個人情報登録処理はまず、入力装置２から個人情報の登録または更新の指示があったかを確認する（Ｓ３０）。Ｓ３０の処理において、個人情報の登録または更新の指示があった場合は（Ｓ３０：Ｙｅｓ）、入力装置２から、ＩＣ乗車券に割り振られている個人ＩＤと、ユーザＨの氏名およびメールアドレスとを、個人情報データ１１ｅに登録する（Ｓ３１）。一方で、Ｓ３０の処理において、個人情報の登録または更新の指示がなかった場合は（Ｓ３０：Ｎｏ）、Ｓ３１の処理をスキップする。Ｓ３０，Ｓ３１の処理の後、個人情報登録処理を終了する。

図５に戻る。Ｓ１の個人情報登録処理の後、ネットワークＮ及び通信装置１５を介して、鉄道車両Ｔの監視カメラＣｔから映像Ｐｔを取得する（Ｓ２）。Ｓ２の処理の後、取得した映像Ｐｔを、映像Ｐｔを取得した日付、鉄道車両Ｔの運行情報および号車に対応付けて車内映像データ１１ｂに保存する（Ｓ３）。

Ｓ３の処理の後、改札データ処理（Ｓ４）を行う。図６（ｂ）を参照して、改札データ処理を説明する。

図６（ｂ）は、改札データ処理のフローチャートである。改札データ処理はまず、ネットワークＮ及び通信装置１５を介して、駅Ｓｔの監視カメラＣｇから映像Ｐｇを取得する（Ｓ４０）。Ｓ４０の処理の後、取得した映像Ｐｇを、映像Ｐｇを取得した日付、時間および改札機Ｇの場所に対応付けて改札映像データ１１ｃに保存する（Ｓ４１）。

Ｓ４１の処理の後、ネットワークＮ及び通信装置１５を介して、駅Ｓｔの改札機Ｇから入出場情報を取得し（Ｓ４２）、取得した入出場情報の個人ＩＤと、入出場した日付および時刻と、入出場した改札機Ｇの場所とを対応付けて入出場データ１１ｄに保存する（Ｓ４３）。

具体的には、改札機ＧにＩＣ乗車券がタッチされた場合、または切符が投入された場合に、それぞれに応じた入出場情報が改札機Ｇから取得され、入出場データ１１ｄに保存される。この際、上記した通り、改札機ＧにＩＣ乗車券がタッチされた場合は、そのＩＣ乗車券の個人ＩＤが取得されて入出場データ１１ｄに記憶され、一方で、改札機Ｇに切符が投入される等して個人ＩＤが取得できない場合は、入出場データ１１ｄに「－」が記憶される。なお、改札機Ｇから個人ＩＤが取得できない場合は、入出場データ１１ｄへの入出場情報の追加自体を省略しても良い。Ｓ４３の処理の後、改札データ処理を終了する。

図５に戻る。Ｓ４の改札データ処理の後、車内映像データ１１ｂの映像Ｐｔから忘れ物Ｌを検出したかを確認する（Ｓ５）。具体的には、車内映像データ１１ｂの映像Ｐｔを遡ることで検出されたユーザＨを伴わない物体が、一定時間、同一の位置に留まっている場合に、その物体が忘れ物Ｌであると検出される。

Ｓ５の処理において、車内映像データ１１ｂから忘れ物Ｌを検出した場合は（Ｓ５：Ｙｅｓ）、その忘れ物Ｌの画像を忘れ物画像メモリ１２ａに保存する（Ｓ６）。Ｓ６の処理の後、車内映像データ１１ｂの映像Ｐｔから、忘れ物画像メモリ１２ａの忘れ物Ｌの持ち主であるユーザＨを特定できたかを確認する（Ｓ７）。

具体的には、Ｓ５の処理で忘れ物Ｌが検出された車内映像データ１１ｂの映像Ｐｔを、忘れ物画像メモリ１２ａの画像を参照しながら遡ることで、忘れ物Ｌに伴うユーザＨが特定される。Ｓ７の処理において、車内映像データ１１ｂの映像Ｐｔから忘れ物画像メモリ１２ａの忘れ物Ｌの持ち主であるユーザＨを特定できた場合は（Ｓ７：Ｙｅｓ）、そのユーザＨの顔画像である持主画像Ｐｈｔを、持主画像メモリ１２ｂに保存する（Ｓ８）。

Ｓ８の処理の後、持主画像メモリ１２ｂの持主画像Ｐｈｔと、改札映像データ１１ｃに記憶される映像Ｐｇとを照合することで、映像Ｐｇから持主画像メモリ１２ｂの持主画像ＰｈｔのユーザＨと同一の人物が撮影された顔画像Ｐｈｇを検索する（Ｓ９）。Ｓ９の処理による検索としては、持主画像メモリ１２ｂに記憶される画像データをそのまま映像Ｐｇと比較することが挙げられるが、例えば、持主画像メモリ１２ｂに記憶される画像データからユーザＨの顔の輪郭等の特徴量を抽出し、その特徴量に基づいて映像Ｐｇから同一人物の顔画像を検索しても良い。或いは、周知の顔認証技術を用いても良い。

Ｓ９の処理の後、Ｓ９の処理において同一人物の顔画像Ｐｈｇが検索されたかを確認する（Ｓ１０）。Ｓ１０の処理において、同一人物の顔画像Ｐｈｇが検索された場合は（Ｓ１０：Ｙｅｓ）、入出場データ１１ｄに、ユーザＨが改札機Ｇを通過したデータが存在するかを確認する（Ｓ１１）。具体的には、検索された映像Ｐｇにおいて、その顔画像Ｐｈｇが撮影された日付および時刻と、改札機Ｇの場所とを改札映像データ１１ｃから取得し、取得された日付および時刻と改札機Ｇの場所とを、入出場データ１１ｄで参照し、一致するものがあるかを確認する。

Ｓ１１の処理において、入出場データ１１ｄに、一致した顔画像ＰｈｇのユーザＨが改札機Ｇを通過したデータが存在する場合は（Ｓ１１：Ｙｅｓ）、入出場データ１１ｄからその個人ＩＤを取得する（Ｓ１２）。これによって、忘れ物Ｌの持ち主であるユーザＨの個人ＩＤが特定される。

Ｓ１２の処理の後、個人情報データ１１ｅからＳ１２の処理で取得した個人ＩＤに該当するメールアドレスを取得し、そのアドレスに忘れ物Ｌを検出した旨の電子メールを送信する（Ｓ１３）。この際、送信する電子メールにＳ６の処理で取得された忘れ物Ｌの画像や、Ｓ７又はＳ８の処理で特定された持主画像Ｐｈｔを添付しても良いし、Ｓ７又はＳ８の処理で、持ち主であるユーザＨが特定された日時を車内映像データ１１ｂから取得して、電子メールの文面に加えても良い。

以上より、鉄道車両Ｔの監視カメラＣｔで取得された映像Ｐｔから忘れ物Ｌが特定され、その忘れ物Ｌの持ち主であるユーザＨが特定される。そして、駅Ｓｔの監視カメラＣｇで取得された映像ＰｇからユーザＨを検索し、ユーザＨが検索された場合は、映像ＰｇにそのユーザＨが撮影された時点で、改札機Ｇで取得された個人ＩＤが取得される。そして、その個人ＩＤに該当するメールアドレスに忘れ物をした旨の電子メールが送信される。これにより、鉄道車両Ｔ内の忘れ物Ｌを検出した時点でその旨が持ち主であるユーザＨに通知されるので、忘れ物Ｌを持ち主へ早期に返却できる。

また、ユーザＨは、鉄道車両Ｔの乗車前または乗車後に改札機ＧにＩＣ乗車券をタッチするので、駅Ｓｔの監視カメラＣｇで取得される映像Ｐｇには、忘れ物をする直前または忘れ物をした直後のユーザＨが撮影される。従って、かかる映像Ｐｇと、忘れ物Ｌの持ち主であるユーザＨを検出する映像Ｐｔとの撮影時間の差を小さくできる。即ち持主画像メモリ１２ｂの持主画像Ｐｈｔとの服装や顔色等の差異の小さなユーザＨを、映像Ｐｇに含めることができる。このような映像Ｐｇを用いて、Ｓ８の処理で持主画像メモリ１２ｂの持主画像Ｐｈｔと同一人物の顔画像Ｐｈｇを検索することで、忘れ物を検出した旨を通知するユーザＨを精度良く検索できる。

Ｓ７の処理において、車内映像データ１１ｂの映像Ｐｔから忘れ物画像メモリ１２ａの忘れ物Ｌの持ち主であるユーザＨを特定できなかった場合（Ｓ７：Ｎｏ）、Ｓ１０の処理において同一人物の顔画像Ｐｈｇが検索されなかった場合（Ｓ１０：Ｎｏ）、Ｓ１１の処理において入出場データ１１ｄに一致した顔画像ＰｈｇのユーザＨが改札機Ｇを通過したデータが存在しない場合（Ｓ１１：Ｎｏ）、またはＳ１３の処理の後、忘れ物を検出した旨を作業員に通知する（Ｓ１４）。忘れ物検出装置１から通知を受けた作業員は、忘れ物を検出した鉄道車両Ｔから忘れ物を回収し、保管場所へ保存する。

Ｓ１４の処理の後、忘れ物Ｌに関する情報を忘れ物データ１１ｆへ追加する（Ｓ１５）。具体的には、忘れ物データ１１ｆに、忘れ物画像メモリ１２ａの忘れ物Ｌの画像と、その忘れ物Ｌが検出された日付、時刻および場所とを対応付けて記憶し、Ｓ７の処理でその忘れ物Ｌの持ち主であるユーザＨが特定された場合は（Ｓ７：Ｙｅｓ）、これらに加え、持主画像メモリ１２ｂの持主画像Ｐｈｔも忘れ物データ１１ｆに記憶する。更にＳ１１の処理で入出場データ１１ｄに、一致した顔画像ＰｈｇのユーザＨが改札機Ｇを通過したデータが存在した場合は（Ｓ１１：Ｙｅｓ）、これらに加え、Ｓ１２，１３の処理で取得したそのユーザＨの個人ＩＤ及びメールアドレスと、個人情報データ１１ｅから取得したそのユーザＨの個人ＩＤに該当する氏名とを、忘れ物データ１１ｆに対応付けて記憶する。

忘れ物データ１１ｆに記憶された忘れ物Ｌに関する情報を、表示装置３に表示する等して出力することで、作業員は今回および過去に検出された忘れ物Ｌに関する情報を容易に参照することができる。なお、Ｓ１５の処理は、忘れ物データ１１ｆに持主画像Ｐｈｔを記憶するものに限られず、例えば、忘れ物データ１１ｆにユーザＨの顔画像Ｐｈｇを記憶しても良いし、持主画像Ｐｈｔと顔画像Ｐｈｇとを両方記憶しても良い。

Ｓ５の処理において車内映像データ１１ｂから忘れ物Ｌを検出されない場合（Ｓ５：Ｎｏ）、またはＳ１５の処理の後、Ｓ１以下の処理を繰り返す。

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

上記実施形態では、個人情報データ１１ｅ（図４（ｄ）参照）の個人ＩＤ毎にメールアドレスを記憶し、図５のＳ１２の処理で、特定された個人ＩＤのメールアドレスに電子メールを送信した。しかし、特定された個人ＩＤへの通知手段は、電子メールに限られず、例えば、ショート・メッセージ・サービス（ＳＭＳ）やソーシャル・ネットワーキング・サービス（ＳＮＳ）でも良いし、ファクシミリや電話でも良いし、他の手段を用いても良い。その場合は、個人情報データ１１ｅには、メールアドレスの代わりに、ＳＭＳのアドレスやＳＮＳのアカウント、電話番号等の通知手段に応じた連絡先を記憶すれば良い。

また、図６（ｂ）のＳ４２，Ｓ４３の処理において、改札機Ｇで取得された入出場情報の個人ＩＤが、過去の図５のＳ１１の処理によって忘れ物Ｌの持ち主であるユーザＨと特定されている場合は、改札機Ｇにその個人ＩＤが取得された時点で、改札機Ｇの表示装置に忘れ物Ｌに関するメッセージを表示しても良い。これにより、忘れ物Ｌの持ち主に、改札機Ｇで忘れ物Ｌに関する旨を通知できるので、持ち主に忘れ物Ｌをした旨を確実に認識させ、早期に忘れ物Ｌを返却できる。

上記実施形態では、図５のＳ７の処理によって特定された忘れ物Ｌの持ち主に対して、Ｓ１２の処理で該当する個人ＩＤのメールアドレスに、忘れ物Ｌを検出した旨の電子メールを送信した。しかし、これに限られず、例えば、Ｓ７の処理で持ち主が複数特定された場合、忘れ物Ｌと特定された持ち主との距離が最も近い持ち主のみに、忘れ物Ｌを検出した旨の電子メールを送信しても良いし、特定された持ち主全員に電子メールを送信しても良いし、いずれの持ち主にも電子メールを送信しなくても良い。

また、Ｓ８の処理において、映像Ｐｇから持主画像メモリ１２ｂの持主画像Ｐｈｔと同一人物が複数検出された場合も、持主画像Ｐｈｔに最も近似するユーザＨに電子メールを送信しても良いし、検出されたユーザＨ全員に電子メールを送信しても良いし、いずれの持ち主にも電子メールを送信しなくても良い。

上記実施形態では、図５のＳ５の処理において、車内映像データ１１ｂからの忘れ物Ｌを演算により検出した。これに限られず、作業員が車内映像データ１１ｂの映像Ｐｔを遡って確認することで、忘れ物Ｌを検出しても良い。その際、作業員によって検出された忘れ物Ｌの画像を、忘れ物画像メモリ１２ａに記憶すれば良い。この場合、作業員によって検出された忘れ物Ｌの画像を取得して忘れ物画像メモリ１２ａに記憶することが、特許請求の範囲における「忘れ物検出手段」及び「忘れ物検出ステップ」に該当する。

また、Ｓ７の処理においても演算により持ち主を特定したが、これに限られず、作業員が車内映像データ１１ｂの映像Ｐｔを遡って確認することで、忘れ物Ｌの持ち主を特定しても良い。この場合も、作業員によって特定された持ち主の顔画像を持主画像メモリ１２ｂに記憶すれば良い。この場合、作業員によって特定された持ち主の顔画像を取得して持主画像メモリ１２ｂに記憶することが、特許請求の範囲における「持主検出手段」及び「持主検出ステップ」に該当する。

上記実施形態では、図６（ａ）の個人情報登録処理によって、個人情報データ１１ｅに個人ＩＤ毎のメールアドレスを登録した。しかしこれに限られず、ＩＣ乗車券に個人ＩＤと共にメールアドレスが記憶されている場合は、ＩＣ乗車券を改札機Ｇにタッチした場合にＩＣ乗車券から個人ＩＤとメールアドレスとを取得し、取得したメールアドレスを個人情報データ１１ｅに記憶しても良い。

上記実施形態では、改札機ＧにＩＣ乗車券をタッチすることで、改札機ＧでＩＣ乗車券の個人ＩＤを取得した。改札機ＧでＩＣ乗車券の個人ＩＤを取得する手法は、これに限られず、例えば、ユーザＨがＩＣ乗車券を持って改札機Ｇを通過するだけで、ＩＣ乗車券から個人ＩＤを取得しても良いし、ユーザＨを表すＩＣ乗車券以外のものをタッチしたり、ユーザＨを表す券面等を改札機Ｇに投入することで、そのユーザＨに該当する個人ＩＤを取得しても良い。また、改札機Ｇを通過するユーザＨの画像に基づいて、そのユーザＨに該当する個人ＩＤを取得しても良いし、改札機Ｇで指紋や静脈、虹彩等のユーザＨの生体情報を読み取ることで、該当するユーザＨの個人情報を取得しても良い。

上記実施形態では、鉄道車両Ｔに監視カメラＣｔを設け、駅Ｓｔの改札機Ｇ付近に監視カメラＣｇを設けた。しかし、監視カメラＣｔおよび監視カメラＣｇを設ける場所は、これらに限られず、例えば、監視カメラＣｔを路線バスの客室に設置し、監視カメラＣｇを路線バスの料金箱付近に設置しても良い。これにより、路線バスの客室における忘れ物Ｌを検出し、その持ち主であるユーザＨに忘れ物Ｌを検出した旨の連絡をすることができる。更にこの場合、路線バスの客室と料金箱付近とを１台のカメラで撮影し、撮影された映像のうち客室の映像を映像Ｐｔ、料金箱付近の映像を映像Ｐｇとして用いても良い。また、監視カメラＣｔを駅Ｓｔ構内や駅Ｓｔのホームに設置しても良い。

上記実施形態では、忘れ物検出装置１によって、図５のＳ２，Ｓ３，Ｓ５～Ｓ７の処理による監視カメラＣｔからの映像Ｐｔの取得と、忘れ物Ｌの検出および持ち主の特定とを実行した。しかし、Ｓ２，Ｓ３，Ｓ５～Ｓ７の処理を行うのは忘れ物検出装置１に限られず、例えば、鉄道車両Ｔで実行しても良い。この場合、図３の忘れ物検出プログラム１１ａ及び車内映像データ１１ｂと、忘れ物画像メモリ１２ａ及び持主画像メモリ１２ｂとをそれぞれ鉄道車両Ｔに設け、鉄道車両ＴでＳ２，Ｓ３，Ｓ５～Ｓ７の処理を実行することで取得された忘れ物Ｌの画像と持ち主の画像とを合わせて忘れ物検出装置１に送信し、忘れ物検出装置１において鉄道車両Ｔから受信した忘れ物Ｌの画像と持ち主の画像とを用いて、図５のＳ８以降の処理を実行すれば良い。

上記実施形態では、忘れ物検出プログラム１１ａが組み込まれた忘れ物検出装置１を例示したが、これに限られず、パーソナルコンピュータやスマートフォン、タブレット端末等の情報処理装置（コンピュータ）で忘れ物検出プログラム１１ａを実行する構成としても良い。また、忘れ物検出装置１又は忘れ物検出プログラム１１ａが組み込まれた情報処理装置に表示装置３を複数設け、これら忘れ物検出装置１又は情報処理装置を、各駅Ｓｔや、鉄道車両Ｔ内や駅Ｓｔ内の忘れ物Ｌや落とし物の管理を行う所謂「落とし物センター」に設置しても良い。これにより、各駅Ｓｔや落とし物センターにおいても、忘れ物データ１１ｆの忘れ物Ｌに関する情報を参照することができる。

１ 忘れ物検出装置（忘れ物検出システム）
１１ａ 忘れ物検出プログラム
Ｔ 鉄道車両（監視エリア）
Ｇ 改札機（照合装置）
Ｌ 忘れ物
Ｈ ユーザ
Ｐｔ，Ｐｇ 映像
Ｓ２ 監視映像取得手段、監視映像取得ステップ
Ｓ５，Ｓ６ 忘れ物検出手段、忘れ物検出ステップ
Ｓ７ 持主検出手段、持主検出ステップ
Ｓ４０ 照合映像取得手段、照合映像取得ステップ
Ｓ９～Ｓ１１ 特定手段、特定ステップ
Ｓ１２ ＩＤ特定手段、ＩＤ特定ステップ
Ｓ１３ 通知手段、通知ステップ

Claims (6)

1. 監視エリアの映像を取得する監視映像取得手段と、
   その監視映像取得手段で取得された映像から忘れ物を検出する忘れ物検出手段と、
   前記忘れ物検出手段により忘れ物が検出された場合に、前記監視映像取得手段で取得された映像から前記忘れ物に基づいて前記忘れ物の持ち主であるユーザを検出する持主検出手段と、
   ユーザ操作によりユーザの個人ＩＤを照合する照合装置の周辺の映像を取得する照合映像取得手段と、
   前記持主検出手段によりユーザが検出された場合に、前記照合映像取得手段で取得された映像から、前記照合装置で個人ＩＤを照合したユーザのうち、前記持主検出手段で検出されたユーザと同一のユーザを特定する特定手段と、
   その特定手段で特定されたユーザについて、前記照合装置で照合された個人ＩＤを特定するＩＤ特定手段と、
   そのＩＤ特定手段で特定された個人ＩＤのユーザに忘れ物に関する通知を行う通知手段とを備えていることを特徴とする忘れ物検出システム。
2. 前記忘れ物検出手段は、前記監視映像取得手段で取得された映像を遡って忘れ物を検出することを特徴とする請求項１記載の忘れ物検出システム。
3. 前記通知手段は、前記ＩＤ特定手段で特定された個人ＩＤのユーザに忘れ物に関するメッセージを電子的に送信することで、忘れ物に関する通知を行うことを特徴とする請求項１又は２に記載の忘れ物検出システム。
4. 前記照合装置は、出力手段を有し、
   前記通知手段は、前記照合装置に対して、前記ＩＤ特定手段で特定された個人ＩＤが前記照合装置で照合された場合に、前記照合装置の出力手段に忘れ物に関する旨を出力することで、忘れ物に関する通知を行うことを特徴とする請求項１から３のいずれかに記載の忘れ物検出システム。
5. 前記監視エリアは、鉄道車両の客室内であり、
   前記照合装置は、駅に設置された改札機であり、
   その改札機は、ＩＣ乗車券から個人ＩＤを取得して照合するものであり、
   前記特定手段は、前記照合映像取得手段で取得した映像から、前記改札機でＩＣ乗車券を利用したユーザのうち、前記持主検出手段で検出されたユーザと同一のユーザを特定することを特徴とする請求項１から４のいずれかに記載の忘れ物検出システム。
6. 監視エリアの映像を取得する監視映像取得ステップと、
   その監視映像取得ステップで取得された映像から忘れ物を検出する忘れ物検出ステップと、
   前記忘れ物検出ステップにより忘れ物が検出された場合に、前記監視映像取得ステップで取得された映像から前記忘れ物に基づいて前記忘れ物の持ち主であるユーザを検出する持主検出ステップと、
   ユーザ操作によりユーザの個人ＩＤを照合する照合装置の周辺の映像を取得する照合映像取得ステップと、
   前記持主検出ステップによりユーザが検出された場合に、前記照合映像取得ステップで取得された映像から、前記照合装置で個人ＩＤを照合したユーザのうち、前記持主検出ステップで検出されたユーザと同一のユーザを特定する特定ステップと、
   その特定ステップで特定されたユーザについて、前記照合装置で照合された個人ＩＤを特定するＩＤ特定ステップと、
   そのＩＤ特定ステップで特定された個人ＩＤのユーザに忘れ物に関する通知を行う通知ステップとを、コンピュータに実行させることを特徴とする忘れ物検出プログラム。

Images