以下、実施形態の監視システムを、図面を参照して説明する。
図1は、監視システム1の構成の一例を示す図である。本実施形態の監視システム1は、例えば、鉄道の駅における入出場を管理するために用いられる。また、一例として、複数の駅を代表して、2つの駅について説明する。監視システム1は、例えば、複数の自動改札機100と、駅サーバ装置200−1および200−2と、複数の上方カメラ300と、列車TRと、列車サーバ装置400と、中央サーバ装置500と、端末装置600とを備える。以下、駅サーバ装置200−1と200−2とを区別しない場合は、単に駅サーバ装置200という。
自動改札機100は、例えば、駅の改札口に複数台設けられる。駅に改札口が複数存在する場合、自動改札機100は、この改札口ごとに設けられる。自動改札機100は、図示しない券売機等により発行された乗車券TIXから情報を読み取ることによって、利用者の入出場を制限する。本実施形態において、この乗車券TIXを、券の表面あるいは裏面に磁気記録面を有する磁気券として説明する。例えば、この磁気記録面には、乗車券情報が記録される。乗車券情報には、例えば、有効期間、乗車駅(発駅)、乗車可能区間、乗車券のそれぞれを識別する乗車券識別情報(乗車券ID)、乗車時刻、駅構内からの出場、或いは駅構内への入場を示す入出場情報等の情報が含まれる。
駅サーバ装置200は、例えば駅ごとに設けられ、無線や有線によって上述した自動改札機100と通信を行う。駅サーバ装置200は、自動改札機100から取得した情報を処理し、LAN(Local Area Network)やWAN(Wide Area Network)等を含むネットワークNWを介して、他駅に設けられた駅サーバ装置200、列車サーバ装置400、または中央サーバ装置500に処理した情報を送信する。
上方カメラ300は、例えば、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを有する。上方カメラ300は、例えば、自動改札機100の主機110と従機130との間に形成された通路の上部(例えば天井)に配置される。上方カメラ300は、例えば、自動改札機100の主機110と従機130との間に形成された通路を通過する利用者を撮像する。上方カメラ300は、専用線やLAN等を介して俯瞰的に撮像した画像を駅サーバ装置200または中央サーバ装置500に送信する。
列車TRは、列車の車両の内部に設置されたカメラにより撮像された画像の画像データや、利用者および利用者が所持する荷物を検出するセンサの検出結果を、列車サーバ装置400に無線通信を用いて送信する。
列車サーバ装置400は、例えば、アンテナ410を用いて無線通信することによって上述した列車TRと通信を行う。列車サーバ装置400は、列車TRから取得した情報を処理し、ネットワークNWを介して他駅に設けられた駅サーバ装置200または中央サーバ装置500に処理した情報を送信する。
中央サーバ装置500は、無線や有線によって上述した駅サーバ装置200または列車サーバ装置400と通信を行い、駅サーバ装置200または列車サーバ装置400から取得した情報を処理し、処理した結果を駅サーバ装置200、列車サーバ装置400、または駅の施設を監視する駅係員が操作する端末装置600に送信する。
以下、上述した自動改札機100、列車TR、および中央サーバ装置500について説明する。まず自動改札機100について説明を行う。
図2は、自動改札機100を上方から見た図である。自動改札機100は、例えば、通路を挟んで対向配置される主機110と従機130とを備える。主機110は、例えば、読取部111と、上面表示部112と、正面表示部113と、扉部114および115と、乗車券投入口116と、乗車券排出口117と、カメラ118と、接近センサScと、正面側距離センサ120と、改札機側制御部150とを備える。また、従機130は、例えば、読取部131と、上面表示部132と、正面表示部133と、扉部134および135と、乗車券投入口136と、乗車券排出口137と、カメラ138と、接近センサScと、正面側距離センサ140とを備える。
主機110の読取部111は、図2に示すa方向に通過しようとする利用者によって乗車券投入口116に投入された乗車券TIXに記録された乗車券情報を読み取り、読み取った乗車券情報を改札機側制御部150に送信する。また、読取部111は、改札機側制御部150により出力された情報に基づいて、乗車券TIXの乗車券情報を書き換え、乗車券排出口117から排出する。上面表示部112は、乗車券投入口116に乗車券TIXが投入された場合に、改札機側制御部150によって処理された結果、または駅サーバ装置200から受信した情報に基づく画像を表示する。正面表示部113は、図2に示すa方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部113の表示内容または表示の有無は、改札機側制御部150によって決定される。
一方、従機130の読取部131は、図2に示すb方向に通過しようとする利用者によって乗車券投入口136に投入された乗車券TIXに記録された乗車券情報を読み取り、読み取った乗車券情報を改札機側制御部150に送信する。また、読取部131は、改札機側制御部150により出力された情報に基づいて、乗車券TIXの乗車券情報を書き換え、乗車券排出口137から排出する。上面表示部132は、乗車券投入口136に乗車券TIXが投入された場合に、改札機側制御部150によって処理された結果、または駅サーバ装置200から受信した情報に基づく画像を表示する。正面表示部133は、図2に示すb方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部133の表示内容または表示の有無は、改札機側制御部150によって決定される。
改札機側制御部150は、図2に示すa方向への利用者の通過を制御する動作モードに自動改札機100が設定されている場合、扉部115および135を開放状態に維持すると共に、扉部114および134を開放状態または閉止状態に制御することで、a方向の利用者の通過を許可または禁止する。また、改札機側制御部150は、図2に示すb方向への利用者の通過を制御する動作モードに自動改札機100が設定されている場合、扉部114および134を開放状態に維持すると共に、扉部115および135を開放状態または閉止状態に制御することで、b方向の利用者の通過を許可または禁止する。
また、自動改札機100の動作モードには、図2に示すa方向の通過とb方向の通過との双方を制御する動作モードが含まれていてもよい。この場合、改札機側制御部150は、例えば、利用者が通過中でなければ正面表示部113と正面表示部133の双方に通過を許可することを示すマークや図形、文字等を表示させる制御を行う。また、改札機側制御部150は、例えば、利用者がa方向およびb方向のいずれかの側から進入し、乗車券投入口116と乗車券投入口136とのいずれか一方に乗車券TIXが投入されると、他方の乗車券投入口の開口を閉ざして乗車券TIXの投入を禁止すると共に、利用者が進入してきていない側の表示部(正面表示部113または正面表示部133)に、通過を禁止することを示すマークや図形、文字等を表示させる制御を行う。
なお、図2では、自動改札機100は、乗車券情報が磁気記録面に記録された磁気券の専用機であるものとして説明したが、自動改札機100は、更に、QRコード(登録商標)等の二次元コードが印刷された紙券や、電子マネー等の情報を記憶することができる交通系ICカードを処理可能な装置であってもよい。また、自動改札機100は、利用者が双方向に通過可能なものに限らず、主機と補機により構成される、利用者が一方向にのみ通過可能なものであってもよい。
接近センサScは、自動改札機100に接近する利用者を検出する。接近センサScは、例えば赤外線センサや、発光素子と受光素子を用いたセンサなどにより実現される。接近センサScは、自動改札機100に接近する利用者を検出した場合、利用者を検出したことを示す検出信号を改札機側制御部150に出力する。
カメラ118は、例えば、CCDやCMOS等のイメージセンサを有する。図3は、自動改札機100の主機110を通路側から見た図である。例えば、カメラ118のアングルは、接近センサScの検出結果に基づいて、乗車券投入口116に乗車券TIXを投入する利用者の顔が視野角FOV内に収まるように設定される。カメラ118は、改札機側制御部150の制御によって、乗車券投入口116に乗車券TIXを投入しようとする、あるいは投入した利用者を撮像する。カメラ118は、例えば、5から10程度のfps(frame per second)によって、時系列に連続した画像、すなわち動画を撮像する。カメラ118は、撮像した動画データ(画像データ)を改札機側制御部150に出力する。なお、従機130のカメラ138も、カメラ118と同様に、アングルが乗車券投入口136に乗車券TIXを投入する利用者の顔が視野角FOV内に収まるように設定される。これによって、カメラ138は、改札機側制御部150の制御によって、乗車券投入口136に乗車券TIXを投入しようとする、あるいは投入した利用者を撮像する。カメラ138は、撮像した動画データ(画像データ)を改札機側制御部150に出力する。
また、自動改札機100の主機110は、透過型光電センサStと、正面側距離センサ120と、通路側距離センサ122とを更に備える。図4は、透過型光電センサStと、正面側距離センサ120と、通路側距離センサ122とについて説明するための図である。透過型光電センサStは、例えば、主機110の筐体面のうち、通路側の筐体面に等間隔に複数個設けられる。本実施形態では、投光器として機能する透過型光電センサStと、受光器として機能する透過型光電センサStとを1対として用いる。例えば、主機110に設けられる透過型光電センサStが投光器である場合、従機130側に設けられる透過型光電センサStは、受光器として機能する。後述する改札機側制御部150は、この複数の透過型光電センサStの検出信号と、配置位置とに基づいて、利用者が通路内のどの位置にいるのかを特定する。
正面側距離センサ120(140)は、例えば主機110(従機130)の筐体面のうち、通路側の筐体面に設けられる。正面側距離センサ120(140)は、投光部と受光部とを有する。正面側距離センサ120(140)は、投光部が自動改札機100の長手方向に対して投光した光が対象物に当たって反射光として受光部に受光されるまでの時間を測定する。対象物とは、例えば自動改札機を通過する利用者または利用者が所持する荷物である。正面側距離センサ120(140)は、検出結果を改札機側制御部150のセンサ制御部156に出力する。
通路側距離センサ122(142)は、例えば主機110(従機130)の筐体面のうち、通路側の筐体面に設けられる。正面側距離センサ122(142)は、投光部が従機130の筐体に対して投光した光が対象物に当たって反射光として受光部に受光されるまでの時間を測定する。正面側距離センサ122(142)は、検出結果を改札機側制御部150のセンサ制御部156に出力する。
図5は、自動改札機100の機能構成の一例を示す図である。自動改札機100は、図2に示す構成の他、改札機側制御部150の指示に従って、音声を出力するスピーカ148と、種々の情報を格納する改札機側記憶部170とを更に備える。また、改札機側制御部150は、改札機側通信部152と、利用者検出部153と、撮像制御部154と、センサ制御部156と、通過可否判定部158と、データ管理部160とを備える。
改札機側制御部150の機能部のうち一部または全部は、CPU(Central Processing Unit)等のプロセッサが図示しない記憶部に記憶されたプログラムを実行することにより実現される。プログラムは、例えば、ネットワークNWを介してアプリケーションサーバからダウンロードされてもよいし、SDカードなどの可搬型記憶媒体に格納されたものが自動改札機100にインストールされてもよい。また、改札機側制御部150の機能部のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよい。
改札機側記憶部170は、例えば、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)、SDカード等の不揮発性の記憶媒体と、RAM(Random Access Memory)、レジスタ等の揮発性の記憶媒体とによって実現される。改札機側記憶部170は、プロセッサが実行するプログラムや、各駅間の運賃が記憶された運賃テーブルを格納する他、後述する改札機識別情報等を格納する。
改札機側通信部152は、例えば、カメラ118(138)によって撮像された動画と、正面側距離センサ120(140)または通路側距離センサ122(142)により検出された検出結果に関する情報と、改札機側制御部150の処理結果を示す情報とを、互いに対応付けて駅サーバ装置200に送信する。例えば、駅構内に入場する利用者の通過を制御する動作モードに自動改札機100が設定されている場合、この自動改札機100の改札機側通信部152は、処理対象の乗車券TIXの乗車券識別情報と、入場を許可したか否かを示す入場ステータス情報と、処理を行った時刻情報と、自動改札機を識別する改札機識別情報とを含む入場改札処理情報を、改札機側制御部150の処理結果を示す情報として送信する。改札機識別情報は、例えば、予め改札機側記憶部170に格納される。
また、駅構内から出場する利用者の通過を制御する動作モードに自動改札機100が設定されている場合、この自動改札機100の改札機側通信部152は、処理対象の乗車券TIXの乗車券識別情報と、出場を許可したか否かを示す出場ステータス情報と、処理を行った時刻情報と、自動改札機を識別する改札機識別情報とを含む出場改札処理情報を、改札機側制御部150の処理結果を示す情報として送信する。
利用者検出部153は、接近センサScにより検出された結果に基づいて、利用者が自動改札機100に接近したタイミングを検出する。利用者検出部153は、利用者が自動改札機100に接近したタイミングを撮像制御部154またはセンサ制御部156に出力する。
また、利用者検出部153は、透過型光電センサStにより検出された結果に基づいて、利用者が自動改札機100の通路内のどの位置にいるかを特定する。利用者検出部153は、利用者が存在する位置を示す情報を含む信号をセンサ制御部156に送信する。
撮像制御部154は、利用者が自動改札機100に接近したタイミングで、カメラ118(138)に動画の撮像を開始させる。また、撮像制御部154は、例えば読取部111(131)による乗車券TIXの読み取り処理が開始されてから、通過可否判定部158による判定処理が終了するまでの一連の処理に応じて、カメラ118(138)の動画の撮像を終了させる。
センサ制御部156は、利用者が自動改札機100に接近したタイミングで、正面側距離センサ120(140)を動作させる。また、センサ制御部156は、利用者が自動改札機100に接近したタイミングで、透過型光電センサStを動作させる。センサ制御部156は、透過型光電センサStの検出結果に基づいて、利用者が自動改札機100の通路の所定の位置に存在する場合、通路側距離センサ122(143)を動作させる。
センサ制御部156は、例えば利用者が自動改札機100に接近してから、または読取部111(131)による乗車券TIXの読み取り処理が開始されてから、乗車券TIXを投入部116(136)に投入した利用者が自動改札機100を通過するまでの間において、正面側距離センサ120(140)または通路側距離センサ122(143)から検出結果を取得する。
通過可否判定部158は、読取部111(131)により読み取られた乗車券情報に基づいて、利用者の通過を許可、あるいは禁止する制御を行う。例えば、通過可否判定部158は、乗車券情報に含まれる有効期間、乗車駅(発駅)、乗車可能区間等の情報と運賃テーブルとを照合することにより、自装置である自動改札機100が設置された駅と乗車駅とが一致するか否か、自動改札機100が設置された駅が乗車可能区間内か否か、すなわち利用者の乗車区間が乗車券時の購入金額に見合うか否か、乗車券TIXが乗車券投入口116(136)に投入された時刻が有効期間内か否か等といったことを判定し、全ての判定条件を満たす場合に利用者の通過を許可し、いずれか1つ以上の判定条件を満たさない場合に利用者の通過を禁止する。通過可否判定部158は、通過の許可または禁止の判定に応じて、扉部114、115、134、135、スピーカ148、上面表示部112、132、正面表示部113、133、またはこれらを組み合わせたものを制御する。
データ管理部160は、正面側距離センサ120(140)または通路側距離センサ122(143)の検出結果に関する情報、およびカメラ118(138)により検出された画像情報、および読取部111(131)に読み取られた情報のうち、同一の利用者に関する情報を互いに対応付けて、自装置の記憶領域に記憶させる。データ管理部160は、カメラ118(138)により撮像された動画から、利用者が自動改札機100の乗車券投入口116(136)に乗車券TIXを投入した際の姿を収めたフレーム画像をカメラ118(138)により検出された画像情報として選択する。ここで、「乗車券TIXを投入した姿」とは、例えば、人の胸部より上側の身体であり、さらに好ましくは利用者の顔を含む頭部である。
図6は、データ管理部160により対応付けられた同一の利用者に関する情報Dの一例を示す図である。情報Dは、距離検出結果情報D1、画像情報D2、および読取情報D3が対応付けられた情報である。距離検出結果情報D1は、正面側距離センサ120(140)または通路側距離センサ122(143)の検出結果ごとに、当該検出結果が取得された取得時刻と、自動改札機や位置の識別情報とが対応付けられたデータ列の集合である。カメラ118(138)により撮像された画像情報D2は、フレーム画像ごとに、当該フレーム画像が撮像された撮像時刻と、改札機識別情報とが対応付けられたデータ列の集合である。読取部111(131)に読み取られた読取情報D3は、例えば、乗車券識別情報(乗車券ID)ごとに、入出場のステータスと、各自動改札機の処理時刻と、自動改札機や位置の識別情報(位置ID)とが対応付けられたデータ列の集合である。
上述した自動改札機100における各機能部の処理の詳細な内容については、後にシーケンス図およびフローチャートを用いて説明する。
以下、列車TRの説明を行う。列車TRは、例えば、車内カメラCAMa−1、CAMb−1、CAMa−2、およびCAMb−2と、車内距離センサ480−1から480−4と、列車制御装置450とを搭載する。
図7は、列車TRの車内配置の一例を示す図である。列車TRの車内には、車内カメラCAMa−1、CAMb−1、CAMa−2、およびCAMb−2と、車内距離センサ480−1から480−4とが配置される。以下、車内カメラCAMa−1、CAMb−1、CAMa−2、およびCAMb−2を区別しない場合は車内カメラCAMといい、車内距離センサ480−1から480−4を区別しない場合は車内距離センサ480という。
車内カメラCAMは、例えば、列車TRに乗車し、または列車TRから降車する利用者を撮像する。車内カメラCAMは、撮像した画像、車内カメラCAMに予め付与された車内カメラ識別情報、および撮像時刻を互いに対応付けて列車制御装置450に送信する。
車内カメラCAMa−1およびCAMa−2が、列車TRの側面の両側のうち、列車TRの一側面に設けられた乗降口を列車TRの内側から撮像し、車内カメラCAMb−1およびCAMb−2が列車TRの他側面に設けられた乗降口を列車TRの内側から撮像する。以下、代表してCAMa−1およびCAMb−1について説明する。
車内カメラCAMa−1は、例えば、列車TR内の天井面に設けられ、対向する位置に設置された乗降口のドアDR1およびDR3のうち、B側のドアDR3を背にしてドアDR1の方向を撮像する。また、車内カメラCAMb−1は、例えば、列車TR内の天井面に設けられ、対向する位置に設置された乗降口のドアDR1およびDR3のうち、A側のドアDR1を背にしてドアDR3の方向を撮像する。
例えば、列車TRが駅に停車する際に駅のプラットフォームがA側に位置する場合、乗降口のドアDR1が開閉する。この場合、車内カメラCAMb−1は、乗降口のドアDR1から乗車してくる利用者を背面から撮像するとともに、ドアDR1から降車する利用者を正面から撮像する。また、車内カメラCAMa−1は、乗降口のドアDR1から乗車してくる利用者を正面から撮像するとともに、ドアDR1から降車する利用者を背面から撮像する。従って、A側の乗降口のドアDR1が開閉する場合、車内カメラCAMb−1によって撮像される画像には、列車TRから降車する利用者の顔等が写りこみ、車内カメラCAMa−1によって撮像される画像には、列車TRから乗車する利用者の顔等が写りこむ。
一方、駅のプラットフォームがB側に位置する場合、車内カメラCAMa−1およびCAMb−1の役割は互いに切り替わる。すなわち、車内カメラCAMa−1は、乗降口のドアDR3から乗車してくる利用者を背面から撮像するとともに、ドアDR3から降車する利用者を正面から撮像する。また、車内カメラCAMb−1は、乗降口のドアDR3から乗車してくる利用者を正面から撮像するとともに、ドアDR3から降車する利用者を背面から撮像する。
また、乗降車の判定手法は、前述した手法に限らず、例えば時系列画像における移動方向に基づいて判定してもよい。
車内距離センサ480は、例えば列車の出入口DR付近の天井や壁に配置される。車内距離センサ480は、投光部が床面に対して投光した光が対象物に当たって反射光として受光部に受光されるまでの時間を測定する。車内距離センサ480は、検出結果を列車制御装置450に出力する。
図8は、列車制御装置450の機能構成の一例を示す図である。列車制御装置450は、例えば、列車側通信部452と、列車側情報管理部454とを備える。列車側通信部452は、列車制御装置450が取得した情報を列車サーバ装置400に送信する。列車側通信部452は、例えば列車サーバ装置400と無線通信する無線通信モジュールである。
列車側情報管理部454は、車内カメラCAMにより撮像された画像の画像データを取得する。また、列車側情報管理部454は、車内距離センサ480の検出結果を取得する。車内距離センサ480は、例えば、乗降車口などに存在する利用者を異なる角度から撮像できるように複数個配置されている。列車側情報管理部454は、車内カメラCAMにより撮像された画像の画像データと、車内距離センサ480の検出結果とを、互いに対応付けて記憶領域に記憶させる。列車側情報管理部454は、車内カメラCAMにより画像が撮像された時刻と、車内距離センサ480により検出された距離のデータが検出された時刻とに基づいて、画像および検出結果を互いに対応付ける。
以下、中央サーバ装置500の説明を行う。図9は、中央サーバ装置500の機能構成の一例を示す図である。中央サーバ装置500は、例えば、中央サーバ側制御部510と、中央サーバ側記憶部530とを備える。
中央サーバ側制御部510は、例えば、中央サーバ側通信部512と、情報管理部514と、画像処理部516と、センサ情報処理部518と、荷物判定部520とを備える。
中央サーバ側記憶部530は、プロセッサが実行するプログラムを格納する他、例えば、上方カメラ300により撮像された動画や、中央側利用者データベースDB、後述する荷物増減リスト等を格納する。中央側データベースDBは、前述した同一の利用者に関する情報Dと同様の情報に、更に列車制御装置450から送信された情報、および上方カメラ300から送信された情報を加えたデータベースである。
中央サーバ側通信部512は、自動改札機100によって送信された情報を受信する。また、中央サーバ側通信部512は、中央サーバ側制御部510の処理結果、または中央サーバ側記憶部530に記憶された情報を、駅サーバ装置200や、端末装置600に送信する。
情報管理部514は、自動改札機100または列車TRから送信された情報を中央サーバ側記憶部530に格納し、駅構内に入場した利用者、駅構内から出場した利用者、列車TRに乗車した利用者、列車TRから降車した利用者を特定するための中央側利用者データベースDBを構築する。
画像処理部516は、自動改札機100のカメラ118(138)、上方カメラ300、または列車TRの車内カメラCAMにより撮像された画像の画像データに基づいて、利用者の顔の特徴を抽出する。顔の特徴とは、例えば、耳、鼻、口、目等の特徴点や顔の輪郭(エッジ)等である。
画像処理部516は、各カメラにより撮像されたフレーム画像内の人物との間において、特徴点や輪郭等の位置関係を比較することによって、合致(類似)する人物が存在しているか否かを判定する。例えば、異なるフレーム画像間の人物において特徴点や輪郭等の位置関係が完全一致している場合を、合致すると定義してもよいし、アフィン変換等を施すことによって一致する、或いは所定割合以上一致することを合致すると定義してもよい。
画像処理部516は、例えば、各カメラにより撮像された駅構内に入場した利用者、駅構内から出場した利用者、列車TRに乗車した利用者、および列車TRから降車した利用者の画像をそれぞれ比較することによって、顔の特徴が合致する利用者が存在しているか否かを判定する。顔の特徴が合致する利用者が存在する場合、画像処理部516は、比較対象とした画像を、同一の利用者が撮像された画像と判定する。
センサ情報処理部518は、自動改札機100の正面側距離センサ120(140)、自動改札機100の通路側距離センサ122(142)の検出結果、および上方カメラ300の画像、または列車TRの車内距離センサ480の検出結果に基づいて、利用者が所持する荷物の数を検出する。以下、正面側距離センサ120(140)、通路側距離センサ122(142)、および上方カメラ300を区別しない場合は、単に荷物検出用センサという。
ここで、センサ情報処理部518が、利用者が所持する荷物の数を検出する手法について説明する。センサ情報処理部518は、例えば、荷物検出用センサの検出結果を統合し、利用者と荷物を含めた立体物の立体モデルを生成する。そして、センサ情報処理部518は、予め設定された人の形状を簡易化した簡易モデルを立体モデルに当てはめ、立体モデルから人の簡易モデルに相当する空間を切り取る。簡易モデルとは、例えば、人の形状を頭部と胴体の二つに分けて考え、頭部を示す楕円球と、胴体を示す楕円柱とを結合させた立体モデルである。センサ情報処理部518は、簡易モデルに対して拡大、縮小、または回転処理を施すことによって、立体モデルに最も合致する簡易モデルを生成する。
更に、センサ情報処理部518は、簡易モデルに相当する空間を切り取った後の立体モデルの形状を補正する。センサ情報処理部518は、例えば、簡易モデルに相当する空間を立体モデルから切り取った後、残存する空間領域に簡易モデルの一部と合致する凹部が形成された場合、凹部を復元する補正を行う。そして、センサ情報処理部518は、復元後の立体モデルが所定の条件を満たす場合、復元後の立体モデルが荷物であると判定する。所定の条件とは、例えば、物体の床面に対する高さや、物体の大きさ等に関する条件である。例えば、所定の条件は、高さが数十[cm]から百数十[cm]、物体の大きさ(体積)が数[L]から数千[L]というふうに設定される。
図10は、上方カメラ300により撮像された画像とセンサ情報処理部518による処理結果とを対比して示す図である。センサ情報処理部518は、上記説明した手法によって、簡易モデルHを生成する(左図)。センサ情報処理部518は、立体モデルから簡易モデルHに相当する空間を切り取り取った後、補正することで荷物Lの形状を検出する(右図)。
図11は、正面側距離センサ120の検出結果とセンサ情報処理部518による処理結果とを対比して示す図である。センサ情報処理部518は、上記説明した手法によって、簡易モデルHを生成する(左図)。センサ情報処理部518は、立体モデルから簡易モデルHに相当する空間を切り取り取った後、補正することで荷物Lの形状を検出する(右図)。
図12は、通路側距離センサ122の検出結果とセンサ情報処理部518による処理結果とを対比して示す図である。センサ情報処理部518は、上記説明した手法によって、簡易モデルHを生成する(左図)。センサ情報処理部518は、立体モデルから簡易モデルHに相当する空間を切り取り取った後、補正することで荷物Lの形状を検出する(右図)。
また、センサ情報処理部518は、上記の処理を行った結果、物理的に分離した複数の空間領域、或いは、結合しているが結合部が他の部分に比して小さい複数の空間領域が残存する場合、複数の荷物を検出したものとして扱う。
センサ情報処理部518は、検出した利用者が所持する荷物の数を、中央側利用者データベースDBに記憶された利用者の情報に対応付けて記憶させる。図13は、利用者が所持する荷物の数D4が記憶された中央側利用者データベースDBの一例を示す図である。中央側利用者データベースDBには、距離検出結果情報D1、画像情報D2、読取情報D3、および利用者が所持する荷物の数D4が互いに対応付けられて記憶される。
情報管理部514は、自動改札機が保持する情報Dを取得し、駅構外から駅構内への入場時、および駅構内から駅構外への出場時における距離検出結果情報D1に、距離検出結果情報D1が取得された時刻と同時刻に上方カメラ300により撮像された画像データを追加し、ステータスとして列車乗車、列車降車等の情報を追加し、更にセンサ情報処理部518により検出された荷物の個数を付加して中央側利用者データベースDBを構築する。図中、SIG−11およびSIG−12は、それぞれ列車内の車内距離センサ480により検出された検出データおよび車内カメラCAMにより撮像された画像を示すデータ列である。ここには、自動改札機周辺で取得された検出データは含まれず、車内距離センサ480により取得された検出データが含まれる。また、荷物の個数は、車内距離センサ480の検出結果により得られたものである。
荷物判定部520は、画像処理部516により、同一の利用者を撮像したと判定された画像に対応する利用者が所持する荷物の数を比較し、比較結果に基づいて荷物増減リストLSを生成する。荷物判定部520は、駅構内への入場時、駅構内から駅構外への出場時、列車TRへの乗車時、または列車TRからの降車時に利用者が所持していた荷物の数に増減があった場合、中央側データベースDBに記憶された当該利用者に関する情報を荷物増減リストLSに記憶させる。
図14は、荷物増減リストLSの一例を示す図である。荷物増減リストLSは、中央側利用者データベースDBにおいて、顔の特徴から同一の利用者であると推定される利用者であって、荷物が増減した利用者に関するデータ列を抽出したものである。荷物増減リストLSのデータ列C1は、駅構外から駅構内への入場時における距離検出結果情報D1、画像情報D2、読取情報D3、および利用者が所持する荷物の数D4が、対応付けられた情報である。データ列C2は、列車乗車時における距離検出結果情報D1、画像情報D2、読取情報D3、および利用者が所持する荷物の数D4が、対応付けられた情報である。データ列C3は、列車降車時における距離検出結果情報D1、画像情報D2、読取情報D3、および利用者が所持する荷物の数D4が、対応付けられた情報である。データ列C4は、駅構内から駅構外への出場時における距離検出結果情報D1、画像情報D2、読取情報D3、および利用者が所持する荷物の数D4が、対応付けられた情報である。
上述した中央サーバ装置500における各機能部の処理の詳細な内容については、後にシーケンス図およびフローチャートを用いて説明する。
図15は、監視システム1の処理の流れの一例を示すシーケンス図である。まず、自動改札機100が、同一の利用者に関する情報を取得し、取得した同一の利用者に関する情報を互いに対応付ける(ステップS100)。次に、自動改札機100は、対応付けた同一利用者に関する情報を中央サーバ装置500に送信する(ステップS102)。
次に、中央サーバ装置500が、ステップS102で取得した自動改札機100から受信した同一の利用者に関する情報を中央利用者データベースDBに記憶させる(ステップS104)。次に、上方カメラ300が、利用者および利用者が所持する荷物を撮像する(ステップS106)。次に、上方カメラ300が、自装置が撮像した画像を、撮像時刻および予め設定された自装置の識別情報と共に中央サーバ装置500に送信する(ステップS108)。
次に、中央サーバ装置500が、ステップS102で送信された自動改札機100から送信された同一の利用者に関する情報に対して、ステップS108で送信された上方カメラ300により撮像された画像を対応付けて中央利用者データベースDBに記憶させる(ステップS110)。中央サーバ装置500は、例えば、利用者が自動改札機100の主機110と従機130とにより形成された通路の所定の位置を通過した時刻を基準に、上方カメラ300に撮像された画像の対応付けを行う。次に、中央サーバ装置500は、ステップS110で中央利用者データベースDBに記憶された情報に基づいて、利用者が所持する荷物の数を検出する(ステップS112)。
次に、列車TRは、車内カメラCAMにより利用者を撮像し、車内距離センサ480により利用者および利用者が所持する荷物を検出する(ステップS114)。次に、列車TRは、車内カメラCAMにより撮像された画像の画像データ、および車内距離センサ480の検出結果を互いに対応付けて中央サーバ装置500に送信する(ステップS116)。
次に、中央サーバ装置500は、ステップS116で送信された車内距離センサ480の検出結果に基づいて、利用者が所持する荷物の数を検出する(ステップS118)。次に、中央サーバ装置500は、車内カメラCAMにより撮像された画像の画像データ、車内距離センサ480の検出結果、およびステップS118で検出した荷物の数を対応付けて中央側利用者データベースDBに記憶させる(ステップS120)。
図16は、自動改札機100の処理の流れの一例を示すフローチャートである。まず、自動改札機100の利用者検出部153が、利用者が自動改札機100に接近してきたか否かを判定する(ステップS200)。利用者が自動改札機100に接近すると、撮像制御部154が、カメラ118(138)に接近してきた利用者を撮像させる(ステップS202)。次に、センサ制御部156が、正面側距離センサ120(140)および通路側距離センサ122(142)に利用者および利用者が所持する荷物の検出を開始させる(ステップS204)。次に、読取部111(131)が、利用者に投入された乗車券TIXを読み取る(ステップS206)。
次に、通過可否判定部158が、ステップS206で読み取られた乗車券TIXに記憶された乗車券情報に基づいて、利用者の通過を許可するか、または不許可とするか否かを判定する(ステップS208)。利用者の通過を不許可とする場合、通過可否判定部158が、扉部114および134(115、135)を閉止状態に制御する(ステップS210)。利用者の通過を許可する場合、通過可否判定部158が、読取部111(131)を制御して乗車券TIXの乗車券情報に入場を許可した旨を示す情報を書き込ませる(ステップS212)。次に、通過可否判定部158は、扉部114および134(115、135)を開放状態に制御する(ステップS214)。
次に、データ管理部160が、ステップS202で撮像された画像の画像データ、ステップS204で検出された検出結果、およびステップS212で処理された乗車券情報を互いに対応付ける(ステップS216)。次に、改札機側通信部152が、ステップS216で対応付けられた同一の利用者に関する情報を中央サーバ装置500に送信する(ステップS218)。これにより本フローチャートの1ルーチンの処理は終了する。
図17は、中央サーバ装置500により実行される処理の流れの一例を示すフローチャートである。まず、中央サーバ装置500が、自動改札機100から同一の利用者に関する情報および上方カメラ300により撮像された画像、または列車TRから画像データおよび車内距離センサ480の検出結果を取得するまで待機する(ステップS300)。ステップS300で情報を取得すると、情報管理部514が、ステップS300で取得した情報を中央利用者データベースDBに記憶させる(ステップS302)。
次に、センサ情報処理部518が、ステップS302で中央利用者データベースDBに記憶された情報に基づいて、利用者が所持する荷物の数を検出し(ステップS304)、検出した荷物の数を中央利用者データベースDBに記憶された利用者の情報に対応付けて記憶させる(ステップS306)。
次に、画像処理部516は、中央利用者データベースDBに記憶された自動改札機100のカメラ118(138)、列車TRの車内カメラCAMにより撮像された画像の画像データを解析し(ステップS308)、顔の特徴が合致(類似)する利用者が存在しているか否かを判定する(ステップS310)。
顔の特徴が合致する利用者が存在していない場合、画像処理部516は、ステップS312の処理をスキップする。顔の特徴が合致する利用者が存在する場合、画像処理部516は、顔の特徴が合致する利用者の情報を抽出する(ステップS312)。
次に、荷物判定部520が、抽出された利用者の荷物の数を比較して、時系列で利用者が所持する荷物の数が減少しているか否かを判定する(ステップS314)。利用者が所持する荷物の数が減少していない場合、本フローチャートの処理は終了する。利用者が所持する荷物の数が減少している場合、荷物の数が減少している利用者に関する情報を荷物増減リストLSに記憶させ、利用者に関する情報を他装置に送信する(ステップS316)。これにより本フローチャートの1ルーチンの処理は終了する。
図18は、荷物判定部520により実行される詳細な処理(ステップS312)の流れを示すフローチャートである。まず、荷物判定部520が、利用者が自動改札機を通過し駅構内に入場するときに所持していた荷物の数(以下、入場時の荷物数)が、利用者が列車TRに乗車するときに所持していた荷物の数(以下、乗車時の荷物数)に比して多いか否かを判定する(ステップS400)。入場時の荷物数が、乗車時の荷物数に比して多い場合、荷物判定部520は、利用者が入場するときに所持していた荷物が入場駅の構内に存在すると判定する(ステップS402)。例えば利用者が、所持していた荷物を出場駅の施設に置き忘れていたり、放置していたりする可能性があるためである。
入場時の荷物数が、乗車時の荷物数と同じ、または少ない場合、荷物判定部520は、入場時の荷物数が、利用者が列車TRを降車するときに所持していた荷物の数(以下、降車時の荷物数)に比して多いか否かを判定する(ステップS404)。入場時の荷物数が、降車時の荷物数に比して多い場合、荷物判定部520は、利用者が入場するときに所持していた荷物が列車TRの車内に存在すると判定する(ステップS406)。例えば利用者が、所持していた荷物を列車の車内に置き忘れていたり、放置していたりする可能性があるためである。
入場時の荷物数が、降車時の荷物数と同じ、または少ない場合、荷物判定部520は、入場時の荷物数が、利用者が駅構内から自動改札機を通過し駅構外に出場しようとするときに所持していた荷物の数(以下、出場時の荷物数)に比して多いか否かを判定する(ステップS408)。入場時の荷物数が、出場時の荷物数に比して多い場合、荷物判定部520は、利用者が入場するときに所持していた荷物が出場駅の構内に存在すると判定する(ステップS410)。例えば利用者が、所持していた荷物を出場駅の構内に置き忘れていたり、放置していたりする可能性があるためである。
次に、情報管理部514が、上述したステップS400からステップS410の判定結果を荷物増減リストLSに記憶させ、駅サーバ装置200や、列車サーバ装置400、端末装置600に送信する(ステップS412)。情報管理部514は、例えば利用者により置かれた荷物が存在する駅の駅サーバ装置200や、列車TRと通信する列車サーバ装置400に判定結果を送信する。図19は、端末装置600の表示部に表示される画像IMの一例である。情報管理部514が、荷物を鉄道の施設に置き忘れたり、放置したりした利用者の情報および荷物が存在していると場所を、利用者の現在位置と共に端末装置600の表示部に表示させる。端末装置600の表示部には、例えば、利用者および利用者が所持していた荷物の画像、乗車中の列車、利用者が入場駅に入場したときに所持していた荷物の数、利用者が列車に乗車したときに所持していた荷物の数が対比可能な態様で表示される。
なお、本フローチャートの処理では、入場時の荷物数と、乗車時の荷物数、降車時の荷物数、または出場時の荷物数を比較するものとしたが、入場時の荷物数、乗車時の荷物数、降車時の荷物数、および出場時の荷物数のうち、2つ以上の時点における荷物数を比較してもよい。
以上説明した実施形態の監視システム1によれば、荷物判定部520が、センサ情報処理部518により検出された利用者が所持する荷物の数を参照し、画像処理部516により抽出された同一の利用者が所持する荷物の数の増減を判定することで、利用者が所持する荷物の所持状況を監視することができる。また、荷物判定部520は、例えば、同一の利用者が所持する荷物の数が減少した場合、端末装置600の表示部に所持する荷物の数が減少した利用者の情報を表示させる。これにより監視装置1は、利用者や、利用者が所持していた荷物を追跡することができる。
また、本実施形態で例示した、利用者や荷物の立体的形状を認識するための構成は、あくまで一例であり、ステレオカメラ、各種レーダ装置、超音波センサなど、如何なるものを使用してもよい。
また、中央サーバ装置500が備える情報管理部514と、画像処理部516と、センサ情報処理部518と、荷物判定部520とは、複数の装置に分散されていてもよいし、一部の機能部が他の装置に搭載されていてもよい。これらの機能部が含まれる複数の装置は、例えばネットワークNWを介して通信することで、監視システム1と同様の機能を実現してもよい。
以上説明した少なくともひとつの実施形態によれば、駅構外から自動改札機を通過し駅構内に向かう利用者の第1画像を撮像する第1撮像部と、前記第1撮像部により撮像された利用者が所持する荷物の数を検出する第1荷物検出部と、鉄道施設内において利用者の第2画像を撮像する第2撮像部と、前記第2撮像部により撮像された利用者が所持する荷物の数を検出する第2荷物検出部と、第1撮像部により撮像された第1画像と第2撮像部により撮像された第2画像とを比較して、同一の利用者を撮像した画像を抽出する利用者抽出部と、前記第1荷物検出部および前記第2荷物検出部により検出された利用者が所持する荷物の数を参照し、前記利用者抽出部により抽出された同一の利用者が所持する荷物の数の増減を判定する判定部とを持つことにより、利用者が所持する荷物の所持状況を監視することができる。
上記説明した実施形態は、以下のように表現することができる。
駅構外から自動改札機を通過し駅構内に向かう利用者の第1画像を撮像する第1撮像部と、
前記利用者が処理する荷物の外形を測定するセンサの検出結果に基づいて立体モデルを生成することにより、前記第1撮像部により撮像された利用者が所持する荷物の数を検出する第1荷物検出部と、
鉄道施設内において利用者の第2画像を撮像する第2撮像部と、
前記利用者が処理する荷物の外形を測定するセンサの検出結果に基づいて立体モデルを生成することにより、前記第2撮像部により撮像された利用者が所持する荷物の数を検出する第2荷物検出部と、
前記第1撮像部により撮像された第1画像と前記第2撮像部により撮像された第2画像とにおける顔の特徴が合致するか否かを判定し、顔の特徴が合致する場合に、前記第1画像と前記第2画像とを同一の利用者を撮像した画像として抽出する利用者抽出部と、
前記第1荷物検出部および前記第2荷物検出部により検出された利用者が所持する荷物の数を参照し、前記利用者抽出部により抽出された同一の利用者が所持する荷物の数の増減を判定する判定部と、
を備える監視システム。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。