以下、実施形態の改札監視システムを、図面を参照して説明する。
図1は、実施形態における改札監視システム1の構成の一例を示す図である。本実施形態の改札監視システム1は、例えば、鉄道の駅における入出場を監視するために用いられる。改札監視システム1は、例えば、複数の自動改札機100と、複数の駅サーバ装置200−1から200−nと、複数の車両サーバ装置300−1から300−mとを備える。符号nおよびmは、任意の自然数である。なお、改札監視システム1は、上述した例の他、例えば、バスやフェリーといった乗り物の乗車(乗船)や降車(降船)を監視するものに適用されてもよい。
自動改札機100は、例えば、駅の改札口に複数台設けられる。図示のように、駅に改札口が複数存在する場合、自動改札機100は、この改札口ごとに設けられる。自動改札機100は、図示しない券売機等により発行された乗車券TIXから情報を読み取ることによって、利用者の入出場を制限する。本実施形態における乗車券TIXは、一時的に駅の構内に入場するための入場券、片道、往復等の普通乗車券、一定の回数利用可能な回数乗車券、および通勤通学等の定期乗車券等の券種に分類される。上述した乗車券TIXは、例えば、券の表面あるいは裏面に磁気記録面を有する磁気券であってもよいし、QRコード(登録商標)等の二次元コードが印刷された紙券であってもよい。以下、乗車券TIXを磁気券として説明する。例えば、乗車券TIXの磁気記録面には、乗車券情報が記録される。乗車券情報には、例えば、有効期間、乗車駅(発駅)、乗車可能区間、乗車券のそれぞれを識別する乗車券識別情報(乗車券ID)、乗車時刻、駅構内からの出場、或いは駅構内への入場を示す入出場コード、乗車券の券種等の情報が含まれる。
駅サーバ装置200−1から200−nのそれぞれは、例えば駅ごとに設けられ、無線や有線によって上述した自動改札機100と通信を行い、自動改札機100から取得した情報を処理する。例えば、駅サーバ装置200−1から200−nは、処理した情報を、LAN(Local Area Network)やWAN(Wide Area Network)等を含むネットワークNWを介して、車両サーバ装置300−1から300−m等に送信する。駅サーバ装置200−1から200−nは、情報処理装置の一例である。以下、駅サーバ装置200−1から200−nを特段区別しない場合、単に駅サーバ装置200と称して説明する。
車両サーバ装置300−1から300−mのそれぞれは、例えば列車T1からTmごとに設けられ、上述したネットワークNWと接続された無線基地局BSと無線通信を行う。本実施形態における列車T1からTmは、例えば、新幹線等の特急列車である。車両サーバ装置300−1から300−mは、無線基地局BSを介して、駅サーバ装置200から情報を受信し、列車単位で種々の処理を行う。以下、車両サーバ装置300−1から300−m、および列車T1からTmを特段区別しない場合、それぞれを単に車両サーバ装置300および列車Tと称して説明する。
以下、上述した自動改札機100、駅サーバ装置200、および車両サーバ装置300について説明する。まず自動改札機100について説明を行う。
図2は、実施形態における自動改札機100を上方から見た図である。自動改札機100は、例えば、通路を挟んで対向配置される主機110と従機130とを備える。主機110は、例えば、読取部111と、上面表示部112と、正面表示部113と、扉部114および115と、乗車券投入口116と、乗車券排出口117と、カメラ118と、改札機側制御部150とを備える。また、従機130は、読取部131と、上面表示部132と、正面表示部133と、扉部134および135と、乗車券投入口136と、乗車券排出口137と、カメラ138と、を備える。
主機110の読取部111は、例えば磁気券リーダライタである。読取部111は、図2に示すa方向に通過しようとする利用者によって乗車券投入口116に投入された乗車券TIXに記録された乗車券情報を読み取り、読み取った乗車券情報を改札機側制御部150に送信する。また、読取部111は、改札機側制御部150により出力された情報に基づいて、乗車券TIXの乗車券情報を書き換え、乗車券排出口117から排出する。上面表示部112は、乗車券投入口116に乗車券TIXが投入された場合に、改札機側制御部150によって処理された結果、または駅サーバ装置200から受信した情報に基づく画像を表示する。正面表示部113は、図2に示すa方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部113の表示内容または表示の有無は、改札機側制御部150によって決定される。
一方、従機130の読取部131は、例えば磁気券リーダライタである。読取部131は、図2に示すb方向に通過しようとする利用者によって乗車券投入口136に投入された乗車券TIXに記録された乗車券情報を読み取り、読み取った乗車券情報を改札機側制御部150に送信する。また、読取部131は、改札機側制御部150により出力された情報に基づいて、乗車券TIXの乗車券情報を書き換え、乗車券排出口137から排出する。上面表示部132は、乗車券投入口136に乗車券TIXが投入された場合に、改札機側制御部150によって処理された結果、または駅サーバ装置200から受信した情報に基づく画像を表示する。正面表示部133は、図2に示すb方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部133の表示内容または表示の有無は、改札機側制御部150によって決定される。
改札機側制御部150は、図2に示すa方向への利用者の通過を許可する動作モードに自動改札機100が設定されている場合、扉部115および135を開放状態に維持すると共に、扉部114(115)および134(135)を開放状態または閉止状態に制御することで、a方向の利用者の通過を許可または禁止する。また、改札機側制御部150は、図2に示すb方向への利用者の通過を許可する動作モードに自動改札機100が設定されている場合、扉部114(115)および134(135)を開放状態に維持すると共に、扉部115および135を開放状態または閉止状態に制御することで、b方向の利用者の通過を許可または禁止する。
また、自動改札機100の動作モードには、図2に示すa方向の通過とb方向の通過との双方を許可する動作モードが含まれていてもよい。この場合、改札機側制御部150は、例えば、利用者が通過中でなければ正面表示部113と正面表示部133の双方に通過を許可することを示すマークや図形、文字等を表示させる制御を行う。また、改札機側制御部150は、例えば、利用者がa方向およびb方向のいずれかの側から進入し、乗車券投入口116と乗車券投入口136とのいずれか一方に乗車券TIXが投入されると、他方の乗車券投入口の開口を閉ざして乗車券TIXの投入を禁止すると共に、利用者が進入してきていない側の表示部(正面表示部113または正面表示部133)に、通過を禁止することを示すマークや図形、文字等を表示させる制御を行う。
なお、図2では、自動改札機100は、乗車券情報が磁気記録面に記録された磁気券の専用機であるものとして説明したが、自動改札機100は、更に、QRコード等の二次元コードが印刷された紙券や、電子マネー等の情報を記憶することができる交通系ICカードを処理可能な装置であってもよい。また、自動改札機100は、利用者が双方向に通過可能なものに限らず、主機と補機により構成される、利用者が一方向にのみ通過可能なものであってもよい。
図3は、実施形態の自動改札機100の主機110を通路側から見た図である。主機110は、上述した扉部114および115と、カメラ118とに加え、透過型光電センサStと、反射型光電センサSrとを更に備える。透過型光電センサStは、例えば、主機110の筐体面のうち、通路側の筐体面に等間隔に複数個(図3の例の場合は26個)設けられる。本実施形態では、投光器として機能する透過型光電センサStと、受光器として機能する透過型光電センサStとを1対として用いる。例えば、主機110に設けられる透過型光電センサStが投光器である場合、従機130側に設けられる透過型光電センサStは、受光器として機能する。後述する改札機側制御部150は、この複数の透過型光電センサStの検出信号と、配置位置とに基づいて、利用者が通路内のどの位置にいるのかを特定する。また、反射型光電センサSrは、透過型光電センサStと同様に、例えば、主機110の筐体から上方に突出する仕切部の通路側の面に、等間隔に複数個(図3の例の場合は3個)設けられる。反射型光電センサSrは、所定の方向に光を投射する。反射型光電センサSrは、光を投射した後、投射した方向から反射された光を受光する。反射型光電センサSrは、受光した光の強度に基づいて、通路に光を反射する利用者の身体が存在しているか否かを示す検出信号を生成する。反射型光電センサSrは、主に、通路に存在している利用者の身長を特定するために用いられる。後述する改札機側制御部150は、例えば、利用者の身長に応じて、利用者が大人であるのか子供であるのかを区別する。なお、上述した反射型光電センサSrは、主機110に設けられるものとして説明したがこれに限られず、従機130に設けられてもよいし、主機110および従機130の双方に設けられてもよい。
カメラ118は、例えば、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを有する。例えば、カメラ118のアングルは、乗車券投入口116に乗車券TIXを投入する利用者の顔が視野角FOV内に収まるように設定される。カメラ118は、改札機側制御部150の制御によって、乗車券投入口116に乗車券TIXを投入しようとする、あるいは乗車券TIXを投入した利用者を撮像する。カメラ118は、例えば、5から10程度のfps(frame per second)によって、時系列に連続した画像、すなわち動画を撮像する。カメラ118は、撮像した動画(画像)を改札機側制御部150に出力する。なお、従機130のカメラ138も、カメラ118と同様に、アングルが乗車券投入口136に乗車券TIXを投入する利用者の顔が視野角FOV内に収まるように設定される。これによって、カメラ138は、改札機側制御部150の制御によって、乗車券投入口136に乗車券TIXを投入しようとする、あるいは投入した利用者を撮像する。カメラ138は、撮像した動画(画像)を改札機側制御部150に出力する。なお、カメラ118(138)は、入場監視カメラの一例である。
図4は、実施形態における自動改札機100の機能構成の一例を示す図である。自動改札機100は、図2に示す構成の他、改札機側制御部150の指示に従って、音声を出力するスピーカ140と、種々の情報を格納する改札機側記憶部170とを更に備える。また、改札機側制御部150は、改札機側通信部152と、撮像制御部154と、通過可否判定部156とを備える。
改札機側制御部150の機能部のうち一部または全部は、CPU(Central Processing Unit)等のプロセッサが改札機側記憶部170に記憶されたプログラムを実行することにより実現される。プログラムは、例えば、ネットワークを介してアプリケーションサーバからダウンロードされてもよいし、SDカードなどの可搬型記憶媒体に格納されたものが自動改札機100にインストールされてもよい。また、改札機側制御部150の機能部のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよい。
改札機側記憶部170は、例えば、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)、SDカード等の不揮発性の記憶媒体と、RAM(Random Access Memory)、レジスタ等の揮発性の記憶媒体とによって実現される。改札機側記憶部170は、プロセッサが実行するプログラムを格納する他、後述する運賃テーブル等を格納する。
改札機側通信部152は、例えば、カメラ118(138)によって撮像された動画と、処理対象の乗車券TIXから読み取った乗車券情報とを対応付けて駅サーバ装置200に送信する。
また、改札機側通信部152は、駅サーバ装置200により送信された情報を受信し、この情報を通過可否判定部156に出力する。
なお、改札機側通信部152は、利用者が駅構内に入場する際、あるいは駅構内から出場する際に、透過型光電センサStまたは反射型光電センサSrによって検出された検出信号を駅サーバ装置200に送信してもよい。
撮像制御部154は、例えば、主機110や従機130の筐体面に設けられた人感センサSc等によって、利用者の接近が検出できた場合、カメラ118(138)に動画の撮像を開始させる。また、撮像制御部154は、読取部111(131)による乗車券TIXの読み取り処理が開始されてから、通過可否判定部156による判定処理が終了するまでの一連の処理に応じて、カメラ118(138)の動画の撮像を終了させる。
通過可否判定部156は、読取部111(131)により読み取られた乗車券情報に基づいて、利用者の通過を許可、あるいは禁止する制御を行う。例えば、通過可否判定部156は、乗車券情報に含まれる有効期間、乗車駅(発駅)、乗車可能区間等の情報と運賃テーブルとを照合することにより、自装置である自動改札機100が設置された駅と乗車駅とが一致するか否か、自動改札機100が設置された駅が乗車可能区間内か否か、すなわち利用者の乗車区間が乗車券時の購入金額に見合うか否か、乗車券TIXが乗車券投入口116(136)に投入された時刻が有効期間内か否か等といった判定条件を判定し、全ての判定条件を満たす場合に利用者の通過を許可し、いずれか1つ以上の判定条件を満たさない場合に利用者の通過を禁止する。
また、通過可否判定部156は、使用された乗車券TIXが入場券である場合には、当該駅の入場券であるか否か、乗車券TIXが乗車券投入口116(136)に投入された時刻が有効期間内か否か等といった判定条件を判定し、全ての判定条件を満たす場合に利用者の通過を許可し、いずれか1つ以上の判定条件を満たさない場合に利用者の通過を禁止する。
通過可否判定部156は、通過の許可または禁止の判定に応じて、扉部114、115、134、135、スピーカ140、上面表示部112、132、正面表示部113、133、またはこれらを組み合わせたものを制御する。
また、通過可否判定部156は、乗車券投入口116(136)に乗車券TIXが投入されずに、規定の透過型光電センサStの位置まで利用者が通路を進行した場合、利用者の通過を禁止する。
以下、駅サーバ装置200の説明を行う。図5は、実施形態における駅サーバ装置200の機能構成の一例を示す図である。駅サーバ装置200は、例えば、駅サーバ側制御部210と、駅サーバ側記憶部230とを備える。
駅サーバ側制御部210は、例えば、駅サーバ側通信部212と、画像選択部214と、情報管理部216と、を備える。これらの機能部のうち一部または全部は、CPU等のプロセッサが駅サーバ側記憶部230に記憶されたプログラムを実行することにより実現される。プログラムは、例えば、LANやWAN等を含むネットワークを介してアプリケーションサーバからダウンロードされてもよいし、SDカードなどの可搬型記憶媒体に格納されたものが駅サーバ装置200にインストールされてもよい。また、駅サーバ側制御部210の機能部のうち一部または全部は、LSI、ASIC、FPGA等のハードウェアによって実現されてもよい。
駅サーバ側記憶部230は、例えば、ROM、フラッシュメモリ、HDD、SDカード等の不揮発性の記憶媒体と、RAM、レジスタ等の揮発性の記憶媒体とによって実現される。駅サーバ側記憶部230は、プロセッサが実行するプログラムを格納する他、例えば、カメラ118(138)により撮像された動画(画像の時系列データ)や、後述する利用者データベースDB、入場券利用者ウォッチリストWL、および時刻表情報TTBを格納する。
駅サーバ側通信部212は、自動改札機100によって送信された情報を受信する。また、駅サーバ側通信部212は、駅サーバ側制御部210の処理結果を、車両サーバ装置300に送信する。
画像選択部214は、自動改札機100の処理時刻に基づいて、カメラ118(138)により撮像された動画から、利用者が駅構内に入場する際に乗車券TIXを利用した姿を収めたフレーム画像を選択する。例えば、画像選択部214は、自動改札機100の処理時刻を中心として、時間的に前後する所定フレーム数の画像を選択する。その上で、画像選択部214は、利用者が駅構内から出場する際に乗車券TIXを利用した姿を収めたフレーム画像を選択する。ここで、「乗車券TIXを利用した姿」とは、例えば、人の胸部より上側の身体であり、さらに好ましくは利用者の顔を含む頭部である。画像選択部214は、パターンマッチング等の手法によって人の頭部のうち最も多くの部分が収まっているフレーム画像を選択する。
なお、「自動改札機100の処理時刻」とは、例えば、乗車券投入口116(136)に乗車券TIXが投入された時刻、または通過可否判定部156により通過可否の判定がなされた時刻である。また、「自動改札機100の処理時刻」とは、自動改札機100の透過型光電センサSt、または反射型光電センサSrの検出信号が発生した時刻であってもよい。
情報管理部216は、駅サーバ側通信部212により受信された乗車券情報と、画像選択部214により選択されたフレーム画像とを対応付けて駅サーバ側記憶部230に格納し、乗車券TIXを利用する利用者を監視するための利用者データベースDBを構築する。
図6は、実施形態における駅サーバ側記憶部230に格納される利用者データベースDBの一例を示す図である。利用者データベースDBは、例えば、乗車券識別情報(乗車券ID)ごとに、券種情報と、自動改札機の処理時刻と、改札機識別情報(改札機ID)と、利用条件と、フレーム画像とが対応付けられたデータ列の集合である。
情報管理部216は、利用者データベースDBから、入場券を示す券種情報を有するデータ列のみを抽出し、入場券を利用した利用者のみを選別した入場券利用者ウォッチリストWLを生成する。情報管理部216は、生成部の一例である。
図7は、実施形態における情報管理部216により生成される入場券利用者ウォッチリストWLの一例を示す図である。図示するように、情報管理部216は、上述した図6の利用者データベースDBから、入場券を示す券種情報を有する乗車券識別情報IDt−CおよびIDt−Eを抽出して入場券利用者ウォッチリストWLを生成している。
上述した駅サーバ側通信部212は、駅サーバ側記憶部230に予め格納された時刻表情報TTBを参照して、情報管理部216により生成された入場券利用者ウォッチリストWLを、入場券を利用した利用者が乗車可能な列車Tに搭載された車両サーバ装置300に送信する。入場券利用者ウォッチリストWLの送信先である車両サーバ装置300の選択方法については、後にシーケンス図やフローチャートを用いて説明する。
以下、車両サーバ装置300の説明を行う。図8は、実施形態における車両サーバ装置300の機能構成の一例を示す図である。車両サーバ装置300は、例えば、車両サーバ側制御部310と、車両サーバ側記憶部330とを備える。
車両サーバ側制御部310は、例えば、車両サーバ側通信部312と、特徴抽出部314と、移動判定部316とを備える。これらの機能部のうち一部または全部は、CPU等のプロセッサが車両サーバ側記憶部330に記憶されたプログラムを実行することにより実現される。プログラムは、例えば、LANやWAN等を含むネットワークを介してアプリケーションサーバからダウンロードされてもよいし、SDカードなどの可搬型記憶媒体に格納されたものが車両サーバ装置300にインストールされてもよい。また、車両サーバ側制御部310の機能部のうち一部または全部は、LSI、ASIC、FPGA等のハードウェアによって実現されてもよい。
車両サーバ側記憶部330は、例えば、ROM、フラッシュメモリ、HDD、SDカード等の不揮発性の記憶媒体と、RAM、レジスタ等の揮発性の記憶媒体とによって実現される。車両サーバ側記憶部330は、プロセッサが実行するプログラムを格納する他、例えば、各駅に設置された駅サーバ装置200ごとに生成された入場券利用者ウォッチリストWLを格納する。例えば、車両サーバ側記憶部330は、駅サーバ装置200−1から200−nのそれぞれにより生成された入場券利用者ウォッチリストWL1からWLnを格納する。
車両サーバ側通信部312は、駅サーバ装置200ごとに生成された入場券利用者ウォッチリストWLを受信する。また、車両サーバ側通信部312は、乗降車監視カメラCAMa、CAMbによって撮像された画像を示す情報を受信する。乗降車監視カメラCAMa、CAMbは、例えば、列車内に設けられ、列車が駅に停車する際に開閉する乗降口を撮像する。
図9は、乗降車監視カメラCAMaおよびCAMbの配置例を示す図である。図9に示す例では、乗降車監視カメラCAMa−1およびCAMa−2が、列車Tの側面の両側のうち、列車Tの一側面に設けられた乗降口を列車Tの内側から撮像し、乗降車監視カメラCAMb−1およびCAMb−2が列車Tの他側面に設けられた乗降口を列車Tの内側から撮像する。以下、代表してCAMa−1およびCAMb−1について説明する。
乗降車監視カメラCAMa−1は、例えば、列車T内の天井面に設けられ、対向する位置に設置された乗降口のドアDR1およびDR3のうち、B側のドアDR3を背にしてドアDR1の方向を撮像する。また、乗降車監視カメラCAMb−1は、例えば、列車T内の天井面に設けられ、対向する位置に設置された乗降口のドアDR1およびDR3のうち、A側のドアDR1を背にしてドアDR3の方向を撮像する。
例えば、列車Tが駅に停車する際に駅のプラットフォームがA側に位置する場合、乗降口のドアDR1が開閉する。この場合、乗降車監視カメラCAMb−1は、乗降口のドアDR1から乗車してくる利用者を背面から撮像するとともに、ドアDR1から降車する利用者を正面から撮像する。また、乗降車監視カメラCAMa−1は、乗降口のドアDR1から乗車してくる利用者を正面から撮像するとともに、ドアDR1から降車する利用者を背面から撮像する。従って、A側の乗降口のドアDR1が開閉する場合、乗降車監視カメラCAMb−1によって撮像される画像には、列車Tから降車する利用者の顔等が写りこみ、乗降車監視カメラCAMa−1によって撮像される画像には、列車Tから乗車する利用者の顔等が写りこむ。
一方、駅のプラットフォームがB側に位置する場合、乗降車監視カメラCAMa−1およびCAMb−1の役割は互いに切り替わる。すなわち、乗降車監視カメラCAMa−1は、乗降口のドアDR3から乗車してくる利用者を背面から撮像するとともに、ドアDR3から降車する利用者を正面から撮像する。また、乗降車監視カメラCAMb−1は、乗降口のドアDR3から乗車してくる利用者を正面から撮像するとともに、ドアDR3から降車する利用者を背面から撮像する。
特徴抽出部314は、乗降車監視カメラCAMaおよびCAMbによって撮像された画像から利用者の顔の特徴を抽出する。顔の特徴とは、例えば、耳、鼻、口、目等の特徴点や顔の輪郭(エッジ)等である。また、特徴抽出部314は、入場券利用者ウォッチリストWLに含まれるフレーム画像から利用者の顔の特徴を抽出する。以下、入場券利用者ウォッチリストWLに含まれるフレーム画像から抽出された利用者の顔の特徴を、第1の特徴と称し、乗降車監視カメラCAMaおよびCAMbによって撮像された画像から抽出された利用者の顔の特徴を、第2の特徴と称して説明する。
移動判定部316は、乗降車監視カメラCAMaおよびCAMbにより撮像された利用者の画像を解析して、利用者が乗車したのか、或いは降車したのかを判定する。例えば、移動判定部316は、乗降車監視カメラCAMaおよびCAMbの撮像方向と、乗降口のうち駅ごとにいずれの側の乗降口が開閉されるかの情報とに基づいて、乗降車監視カメラにより撮像された画像が、乗車時に撮像された画像であるか、降車時に撮像された画像であるかを判定する。なお、これに限らず、移動判定部316は、時系列で撮像される画像における利用者の移動方向に基づいて、乗車時に撮像された画像であるか、降車時に撮像された画像であるかを判定してもよい。
そして、移動判定部316は、入場券利用者ウォッチリストWLに含まれるフレーム画像の利用者と同一人を撮像したと推定される画像が、列車Tへの乗車時に撮像された画像に含まれ、列車Tへの降車時に撮像された画像に含まれない場合に、入場券を利用した利用者が列車Tで移動していると判定する。
例えば、移動判定部316は、入場券利用者ウォッチリストWLに含まれるフレーム画像から特徴抽出部314により抽出された第1の特徴を代表する特徴点や輪郭等の位置関係と、乗降車監視カメラCAMaおよびCAMbにより撮像された画像から特徴抽出部314により抽出された第2の特徴を代表する特徴点や輪郭等の位置関係とが合致する場合に、第2の特徴を有する画像が入場券利用者ウォッチリストWLに含まれるフレーム画像の利用者と同一人を撮像した画像であると推定する。ここで「合致する」とは、第1の特徴を代表する特徴点や輪郭等の位置関係が、第2の特徴を代表する特徴点や輪郭等の位置関係に完全一致している場合であってもよいし、ある一定の割合で一致している場合であってもよい。
また、移動判定部316は、入場券利用者ウォッチリストWLに含まれるフレーム画像と同一人を撮像したと推定される画像が、乗降車監視カメラCAMaおよびCAMbにより撮像された画像の双方に含まれない場合に、入場券を利用した利用者が列車Tで移動していないと判定する。
また、移動判定部316は、入場券利用者ウォッチリストWLに含まれるフレーム画像と同一人を撮像したと推定される画像が、列車Tへの乗車時に乗降車監視カメラCAMaおよびCAMbにより撮像された撮像された画像に含まれ、且つ列車Tへの降車時に乗車時に乗降車監視カメラCAMaおよびCAMbにより撮像された画像にも含まれる場合に、入場券を利用した利用者が列車Tで移動していないと判定する。
図10は、実施形態における改札監視システム1の処理の流れの一例を示すシーケンス図である。
まず、自動改札機100は、カメラ118(138)によって利用者を撮像しながら、乗車券TIXから乗車券情報を読み取る(ステップS100)。次に、自動改札機100は、カメラ118(138)により撮像された動画と、乗車券TIXから読み取った乗車券情報とを駅サーバ装置200に送信する(ステップS102)。
次に、駅サーバ装置200は、自動改札機100から受信した動画および乗車券情報に基づいてフレーム画像を選択し、入場券利用者ウォッチリストWLを生成する(ステップS104)。次に、駅サーバ装置200は、生成した入場券利用者ウォッチリストWLを車両サーバ装置300に送信する(ステップS106)。
次に、車両サーバ装置300は、乗降車監視カメラCAMaおよびCAMbにより撮像された利用者の画像から第2の特徴を抽出し、入場券利用者ウォッチリストWLに含まれるフレーム画像から第1の特徴を抽出する(ステップS108)。次に、車両サーバ装置300は、第1の特徴および第2の特徴が合致する場合に、第2の特徴を有する画像が入場券利用者ウォッチリストWLに含まれるフレーム画像の利用者と同一人を撮像した画像であると推定し、同一人を撮像した画像が、列車Tへの乗車時に撮像された画像に含まれるか否か、或いは、列車Tへの乗車時に撮像された画像に含まれ、列車Tへの降車時に撮像された画像に含まれるか否かに応じて、入場券を利用した利用者が列車Tで移動しているか否かを判定する(ステップS110)。
次に、入場券を利用した利用者が列車Tで移動している場合、車両サーバ装置300は、入場券を利用した利用者が列車Tに不正に乗車している旨を示す情報(以下、不正乗車情報と称する)を乗務員端末400に送信する(ステップS112)。乗務員端末400は、例えば、車掌等の乗務員が操作する端末であり、車両サーバ装置300により出力された情報に基づく画像を表示する。乗務員端末400は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイ等の表示装置を含む。乗務員端末400は、車両サーバ装置300により送信された不正乗車情報に基づいて画像を表示する(ステップS114)。これによって、乗務員端末400を操作する乗務員は、列車T内に不正乗車している利用者が存在していることを認識することができる。
以下、実施形態における改札監視システム1の各装置の処理の流れを、フローチャートを用いて説明する。図11は、実施形態における自動改札機100の処理の流れの一例を示すフローチャートである。
まず、撮像制御部154は、人感センサSc等によって利用者の接近を検出すると(ステップS200)、カメラ118(138)に撮像を開始させる(ステップS202)。次に、読取部111(131)は、乗車券投入口116(136)に投入された乗車券TIXから乗車券情報を読み取る(ステップS204)。次に、通過可否判定部156は、読取部111(131)によって読み取られた乗車券情報に基づいて、利用者の通過を許可するか否かを判定する(ステップS206)。
通過可否判定部156は、利用者の通過を許可しない場合、上面表示部112(132)、正面表示部113(133)および/またはスピーカ140に、乗車券TIXを利用できないことを表すエラー情報を出力させ、扉部114(115)および134(135)を閉止状態に制御して利用者の通過を禁止し、投入された乗車券TIXを乗車券投入口116(136)から排出させる(ステップS208)。
一方、通過可否判定部156は、利用者の通過を許可する場合、所定時間経過するのを待機した後(ステップS210)、読取部111(131)を制御して乗車券TIXの入出場コードに入場を許可した旨を示す情報を書き込ませる(ステップS212)。所定時間は、例えば、カメラ118(138)が、改札を通過しようとする利用者の顔を撮像するのに十分な時間に設定される。これによって、利用者は、カメラ118(138)の撮像範囲(視野角FOV)内に所定時間留まることなり、カメラ118(138)は、利用者の顔を含む画像を複数枚撮像することができる。
次に、通過可否判定部156は、扉部114(115)および134(135)を開放状態に制御して利用者の通過を許可し、乗車券排出口117(137)から乗車券TIXを排出させる(ステップS214)。次に、改札機側通信部152は、読取部111(131)によって読み取られた乗車券情報と、乗車券TIXが読取部111(131)によって読み取られた時刻までにカメラ118(138)により撮像された動画とを対応付けて駅サーバ装置200に送信する(ステップS216)。次に、撮像制御部154は、カメラ118(138)に撮像を終了させる(ステップS218)。これによって、本フローチャートの処理が終了する。
以下、駅サーバ装置200の処理の流れについて説明する。図12は、実施形態における駅サーバ装置200の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、駅サーバ装置200が、自動改札機100から乗車券情報および動画を受信すると開始される。
まず、画像選択部214は、駅サーバ側通信部212により受信された動画からフレーム画像を選択する(ステップS300)。次に、情報管理部216は、画像選択部214により選択されたフレーム画像と、駅サーバ側通信部212により受信された乗車券情報とを対応付けて駅サーバ側記憶部230に格納し、利用者データベースDBを構築する(ステップS302)。次に、情報管理部216は、利用者データベースDBから、入場券を示す券種情報を有するデータ列のみを抽出し、入場券利用者ウォッチリストWLを生成する(ステップS304)。
次に、駅サーバ側通信部212は、駅サーバ側記憶部230に予め格納された時刻表情報TTBを参照して、情報管理部216により生成された入場券利用者ウォッチリストWLを、入場券を利用した利用者が乗車可能な列車Tに搭載された車両サーバ装置300に送信する(ステップS306)。
図13は、入場券利用者ウォッチリストWLの送信方法を説明するための図である。例えば、B駅において、時刻14:00から15:00の期間に入場券が利用された場合、B駅の駅サーバ装置200は、入場券が利用された時刻以降にB駅に停車する予定の列車T3からT5のぞれぞれの車両サーバ装置300に入場券利用者ウォッチリストWLを送信する。これによって、列車T3からT5のぞれぞれの車両サーバ装置300は、B駅に停車する際に、入場券利用者ウォッチリストWLを参照して、入場券を利用した利用者が自列車Tで移動しているか否かを判定する。なお、A駅やC駅等の他の駅で入場券が利用された場合も同様に、他の駅の駅サーバ装置200は、入場券が利用された時刻以降に当駅に停車する予定の全列車Tの車両サーバ装置300に入場券利用者ウォッチリストWLを送信する。
以下、車両サーバ装置300の処理の流れについて説明する。図14は、実施形態における車両サーバ装置300の処理の流れの一例を示すフローチャートである。まず、移動判定部316は、車両サーバ側通信部312により入場券利用者ウォッチリストWLが受信されると(ステップS400)、次に停車する予定の駅が、入場券利用者ウォッチリストWLを送信してきた駅サーバ装置200に対応した駅に停車するか否かを判定する(ステップS402)。次に停車する予定の駅が、入場券利用者ウォッチリストWLを送信してきた駅サーバ装置200に対応した駅である場合、車両サーバ側制御部310は、この駅に停車する際に乗降車監視カメラCAMaおよびCAMbに撮像を開始させる(ステップS404)。なお、乗降車監視カメラCAMaおよびCAMbによる撮像の終了タイミングについては、例えば、以下に説明するステップS410やステップS416の処理が行われたタイミングなど、任意に定めてよい。
移動判定部316は、乗降車監視カメラCAMaおよびCAMbにより撮像された利用者の画像を解析して、画像に写る利用者が列車に乗車したのか、或いは列車から降車したのかを判定する。例えば、駅に停車する際に開閉する乗降口のドアを正面方向から撮像する乗降車監視カメラによって撮像された画像から、特徴抽出部314により利用者の顔の特徴が一定以上抽出された場合、移動判定部316は、この画像に写る利用者が乗降口から乗車してきた人であると推定する。一方、駅に停車する際に開閉する乗降口のドアに対向するドア、すなわち、停車中に閉止状態を保つドアを正面方向から撮像する乗降車監視カメラによって撮像された画像から、特徴抽出部314により利用者の顔の特徴が一定以上抽出された場合、移動判定部316は、この画像に写る利用者が乗降口から降車しようとする人であると推定する。また、移動判定部316は、乗降車監視カメラCAMaおよびCAMbにより撮像された時系列に連続した利用者の画像に基づいて、オプティカルフロー等の動きベクトル(移動量)を導出し、この動きベクトルから利用者の移動方向を検出することによって、利用者が乗降口から乗車してきた人であるのか、或いは乗降口から降車しようとする人であるのかを推定してもよい。
移動判定部316は、ある利用者が列車Tに乗車した場合、この利用者の顔の特徴と、停車駅の駅サーバ装置200から受信した入場券利用者ウォッチリストWLに含まれるフレーム画像の顔の特徴とが合致するか否かを判定し、入場券を利用した利用者が列車Tに乗車したか否かを判定する(ステップS406)。移動判定部316は、例えば、乗降車監視カメラCAMaおよびCAMbの画像から抽出された第2の特徴(顔の特徴点等)の位置関係と、入場券利用者ウォッチリストWLに含まれるフレーム画像から抽出された第1の特徴(顔の特徴点等)の位置関係とが合致する場合に、乗車した利用者と入場券を利用した利用者とが同一人物である、すなわち、入場券を利用した利用者が乗車したと判定し、合致しない場合に、乗車した利用者と入場券を利用した利用者とが同一人物でない、すなわち、入場券を利用した利用者が乗車していないと判定する。
停車した列車Tが駅から発車するまで(ステップS408)、入場券を利用した利用者が乗車していない場合、移動判定部316は、入場券を利用した利用者が列車Tで移動していないと判定し、停車駅の駅サーバ装置200から受信した入場券利用者ウォッチリストWLを、車両サーバ側記憶部330から消去して(ステップS410)、本フローチャートの処理を終了する。例えば、移動判定部316は、停車した列車Tが駅から発車するまでの時間(期間)を、駅サーバ装置200から受信された時刻表情報TTBを参照することによって計時してもよいし、予め時刻表情報TTBを車両サーバ側記憶部330に格納しておくことで計時してもよい。
一方、入場券を利用した利用者が乗車した場合、移動判定部316は、停車した列車Tが駅から発車するまで、入場券を利用した利用者が降車したか否かを判定する(ステップS412)。例えば、この判定は、上述した利用者が列車Tに乗車したか否かの判定手法と同様に行われる。例えば、移動判定部316は、ある利用者が列車Tから降車した場合、第2の特徴と第1の特徴とが合致する場合に、降車した利用者と入場券を利用した利用者とが同一人物である、すなわち、入場券を利用した利用者が降車したと判定し、合致しない場合に、降車した利用者と入場券を利用した利用者とが同一人物でない、すなわち、入場券を利用した利用者が降車せず乗車し続けていると判定する。
移動判定部316は、停車した列車Tが駅から発車するまで(ステップS414)、入場券を利用した利用者が降車しない場合、入場券を利用した利用者は、当該列車Tで移動していると判定する(ステップS416)。次に、移動判定部316は、乗降車監視カメラCAMaおよびCAMb、或いは座席等の上方から車内を監視する監視カメラ(不図示)等を含む車内カメラにより撮像された画像に写る利用者の顔の特徴と、入場券利用者ウォッチリストWLに含まれるフレーム画像の第1の特徴とが合致するか否かを判定し(ステップS418)、入場券を利用した利用者を車内から捜索する。
車内カメラにより撮像された画像に写る利用者の顔の特徴と、入場券利用者ウォッチリストWLに含まれるフレーム画像の第1の特徴とが合致しない場合、移動判定部316は、上述したステップS406の画像処理による判定が誤りであったと判定し(ステップS420)、上述したステップS410の処理を行って、本フローチャートの処理を終了する。
一方、車内カメラにより撮像された画像に写る利用者の顔の特徴と、入場券利用者ウォッチリストWLに含まれるフレーム画像の第1の特徴とが合致する場合、車両サーバ側通信部312は、第1の特徴を有するフレーム画像および車内カメラの位置情報を合わせた情報を、不正乗車情報として乗務員端末400に送信する(ステップS422)。これによって、乗務員は、入場券を利用した利用者に対して不正乗車であるか否かの確認を行うことができる。なお、車両サーバ側通信部312は、時刻表情報TTBを参照し、この不正乗車情報を、停車する可能性のある駅の駅サーバ装置200に送信してもよい。この場合、不正乗車情報を受信した駅サーバ装置200は、自動改札機100に搭載されたカメラ118(138)による画像と、不正乗車情報に含まれるフレーム画像とを比較して、入場券を利用した利用者が駅の構外に出場する際に、この利用者の通過を禁止するように制御してもよい。
以上説明した実施形態における改札監視システム1によれば、自動改札機100に搭載されたカメラ118(138)により撮像された利用者の画像に基づく情報と、読取部111(131)により乗車券TIXから読み取られた乗車券情報のうち、券種情報が入場券を表している乗車券情報とを対応付けた入場券利用者ウォッチリストWLを生成する情報管理部216と、列車Tを乗り降りする利用者を撮像する乗降車監視カメラCAMaおよびCAMbと、入場券利用者ウォッチリストWLと、列車Tが駅に停車してから発車するまでの期間において乗降車監視カメラCAMaおよびCAMbにより撮像された画像に基づく情報とに基づいて、入場券を利用した利用者が列車Tで移動しているか否かを判定する移動判定部316と、を備えることにより、入場券を利用した利用者による不正乗車の発生を抑制することができる。
また、実施形態における改札監視システム1によれば、入場券を利用した利用者が列車Tで移動している場合、乗車券TIXを利用した利用者を車内から捜索し、不正乗車情報を、乗務員が操作する乗務員端末400に送信することにより、この不正乗車情報を確認した乗務員は、入場券を利用した利用者に対して不正乗車であるか否かの確認を行うことができる。
以上説明した少なくとも一つの実施形態によれば、自動改札機100に搭載されたカメラ118(138)により撮像された利用者の画像に基づく情報と、読取部111(131)により乗車券TIXから読み取られた乗車券情報のうち、券種情報が入場券を表している乗車券情報とを対応付けた入場券利用者ウォッチリストWLを生成する情報管理部216と、列車Tを乗り降りする利用者を撮像する乗降車監視カメラCAMaおよびCAMbと、入場券利用者ウォッチリストWLと、列車Tが駅に停車してから発車するまでの期間において乗降車監視カメラCAMaおよびCAMbにより撮像された画像に基づく情報とに基づいて、入場券を利用した利用者が列車Tで移動しているか否かを判定する移動判定部316と、を備えることにより、入場券を利用した利用者による不正乗車の発生を抑制することができる。
上記実施形態は、以下のように表現することができる。
駅の構内に入場する利用者の画像を撮像する入場監視カメラと、
前記利用者により利用された入場券から前記入場券を識別する入場券の識別情報を磁気的手法により読み取る読取部と、
前記入場監視カメラにより撮像された利用者の画像に基づく情報と、前記読取部により読み取られた前記入場券の識別情報とを対応付けた対応情報を生成する生成部と、
列車を乗り降りする利用者を撮像する乗降車監視カメラと、
前記生成部により生成された対応情報に含まれる画像と同一人を撮像したと推定される画像が、前記列車への乗車時に撮像された画像に含まれ、且つ前記列車への降車時に撮像された画像に含まれない場合に、前記入場券を利用した利用者が前記列車で移動していると判定する移動判定部と、
を備える改札監視システム。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。