以下、実施形態の改札監視システムを、図面を参照して説明する。
(第1の実施形態)
図1は、第1の実施形態における改札監視システム1の構成の一例を示す図である。本実施形態の改札監視システム1は、例えば、鉄道の駅における自動改札機を介した入出場を監視するために用いられる。改札監視システム1は、例えば、複数の自動改札機100と、サーバ装置200−1から200−nとを備える。なお、改札監視システム1は、上述した例の他、例えば、バスやフェリーといった乗り物の乗車(乗船)や降車(降船)を監視するものに適用されてもよい。
自動改札機100は、例えば、駅の改札口に複数台設けられる。図示のように、駅に改札口が複数存在する場合、自動改札機100は、改札口ごとに設けられる。自動改札機100は、図示しない券売機等により発行された乗車券TIXから情報を読み取ることによって、利用者の入出場を制限する。本実施形態において、この乗車券TIXを、券の表面あるいは裏面に磁気記録面を有する磁気券として説明する。例えば、この磁気記録面には、乗車券情報が記録される。乗車券情報には、例えば、有効期間、乗車駅(発駅)、乗車可能区間、乗車券のそれぞれを識別する乗車券識別情報(乗車券ID)、乗車時刻、駅構内からの出場、或いは駅構内への入場を示す入出場コード等の情報が含まれる。
サーバ装置200−1から200−nは、例えば駅ごとに設けられ、無線や有線によって上述した自動改札機100と通信を行い、自動改札機100から取得した情報を処理し、LAN(Local Area Network)やWAN(Wide Area Network)等を含むネットワークNWを介して、他駅に設けられたサーバ装置に送信する。以下、サーバ装置200−1から200−nを特段区別しない場合は、単にサーバ装置200と称して説明する。サーバ装置200は、情報処理装置の一例である。
以下、上述した自動改札機100、およびサーバ装置200について説明する。まず自動改札機100について説明を行う。
図2は、第1の実施形態における自動改札機100を上方から見た図である。自動改札機100は、例えば、通路を挟んで対向配置される主機110と従機130とを備える。主機110は、例えば、読取部111と、上面表示部112と、正面表示部113と、扉部114および115と、乗車券投入口116と、乗車券排出口117と、カメラ118と、改札機側制御部150とを備える。また、従機130は、読取部131と、上面表示部132と、正面表示部133と、扉部134および135と、乗車券投入口136と、乗車券排出口137と、カメラ138と、を備える。
主機110の読取部111は、例えば磁気券リーダライタである。読取部111は、図2に示すa方向に通過しようとする利用者によって乗車券投入口116に投入された乗車券TIXに記録された乗車券情報を読み取り、読み取った乗車券情報を改札機側制御部150に送信する。また、読取部111は、改札機側制御部150により出力された情報に基づいて、乗車券TIXの乗車券情報を書き換え、乗車券排出口117から排出する。上面表示部112は、乗車券投入口116に乗車券TIXが投入された場合に、改札機側制御部150によって処理された結果、またはサーバ装置200から受信した情報に基づく画像を表示する。正面表示部113は、図2に示すa方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部113の表示内容または表示の有無は、改札機側制御部150によって決定される。
一方、従機130の読取部131は、例えば磁気券リーダライタである。読取部131は、図2に示すb方向に通過しようとする利用者によって乗車券投入口136に投入された乗車券TIXに記録された乗車券情報を読み取り、読み取った乗車券情報を改札機側制御部150に送信する。また、読取部131は、改札機側制御部150により出力された情報に基づいて、乗車券TIXの乗車券情報を書き換え、乗車券排出口137から排出する。上面表示部132は、乗車券投入口136に乗車券TIXが投入された場合に、改札機側制御部150によって処理された結果、またはサーバ装置200から受信した情報に基づく画像を表示する。正面表示部133は、図2に示すb方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部133の表示内容または表示の有無は、改札機側制御部150によって決定される。
改札機側制御部150は、図2に示すa方向への利用者の通過を許可する動作モードに自動改札機100が設定されている場合、扉部115および135を開放状態に維持すると共に、扉部114(115)および134(135)を開放状態または閉止状態に制御することで、a方向の利用者の通過を許可または禁止する。また、改札機側制御部150は、図2に示すb方向への利用者の通過を許可する動作モードに自動改札機100が設定されている場合、扉部114(115)および134(135)を開放状態に維持すると共に、扉部115および135を開放状態または閉止状態に制御することで、b方向の利用者の通過を許可または禁止する。
また、自動改札機100の動作モードには、図2に示すa方向の通過とb方向の通過との双方を許可する動作モードが含まれていてもよい。この場合、改札機側制御部150は、例えば、利用者が通過中でなければ正面表示部133と正面表示部133の双方に通過を許可することを示すマークや図形、文字等を表示させる制御を行う。また、改札機側制御部150は、例えば、利用者がa方向およびb方向のいずれかの側から進入し、乗車券投入口116と乗車券投入口136とのいずれか一方に乗車券TIXが投入されると、他方の乗車券投入口の開口を閉ざして乗車券TIXの投入を禁止すると共に、利用者が進入してきていない側の表示部(正面表示部113または正面表示部133)に、通過を禁止することを示すマークや図形、文字等を表示させる制御を行う。
扉部114、115、134、および135には、それぞれトルクセンサ114A、115A、134A、および135A等の物理センサが取り付けられてよい。物理センサは、検出結果を改札機側制御部150を介してサーバ装置200に送信する。
なお、図2では、自動改札機100は、乗車券情報が磁気記録面に記録された磁気券の専用機であるものとして説明したが、自動改札機100は、更に、QRコード(登録商標)等の二次元コードが印刷された紙券や、電子マネー等の情報を記憶することができる交通系ICカードを処理可能な装置であってもよい。また、自動改札機100は、利用者が双方向に通過可能なものに限らず、主機と補機により構成される、利用者が一方向にのみ通過可能なものであってもよい。
図3は、第1の実施形態の自動改札機100の主機110を通路側から見た図である。主機110は、上述した扉部114および115と、カメラ118とに加え、透過型光電センサStと、反射型光電センサSrとを更に備える。透過型光電センサStは、例えば、主機110の筐体面のうち、通路側の筐体面に等間隔に複数個(図3の例の場合は26個)設けられる。本実施形態では、投光器として機能する透過型光電センサStと、受光器として機能する透過型光電センサStとを1対として用いる。例えば、主機110に設けられる透過型光電センサStが投光器である場合、従機130側に設けられる透過型光電センサStは、受光器として機能する。後述する改札機側制御部150は、この複数の透過型光電センサStの検出信号と、配置位置とに基づいて、利用者が通路内のどの位置にいるのかを特定する。また、反射型光電センサSrは、透過型光電センサStと同様に、例えば、主機110の筐体から上方に突出する仕切部の通路側の面に、等間隔に複数個(図3の例の場合は3個)設けられる。反射型光電センサSrは、所定の方向に光を投射する。反射型光電センサSrは、光を投射した後、投射した方向から反射された光を受光する。反射型光電センサSrは、受光した光の強度に基づいて、通路に光を反射する利用者の身体が存在しているか否かを示す検出信号を生成する。反射型光電センサSrは、主に、通路に存在している利用者の身長を特定するために用いられる。後述する改札機側制御部150は、例えば、利用者の身長に応じて、利用者が大人であるのか子供であるのかを区別する。なお、上述した反射型光電センサSrは、主機110に設けられるものとして説明したがこれに限られず、従機130に設けられてもよいし、主機110および従機130の双方に設けられてもよい。
カメラ118は、例えば、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを有する。例えば、カメラ118のアングルは、乗車券投入口116に乗車券TIXを投入する利用者の顔が視野角FOV内に収まるように設定される。カメラ118は、改札機側制御部150の制御によって、乗車券投入口116に乗車券TIXを投入しようとする、あるいは乗車券TIXを投入した利用者を撮像する。カメラ118は、例えば、5から10程度のfps(frame per second)によって、時系列に連続した画像、すなわち動画を撮像する。カメラ118は、撮像した動画(画像)を改札機側制御部150に出力する。なお、従機130のカメラ138も、カメラ118と同様に、アングルが乗車券投入口136に乗車券TIXを投入する利用者の顔が視野角FOV内に収まるように設定される。これによって、カメラ138は、改札機側制御部150の制御によって、乗車券投入口136に乗車券TIXを投入しようとする、あるいは投入した利用者を撮像する。カメラ138は、撮像した動画(画像)を改札機側制御部150に出力する。
図4は、第1の実施形態における自動改札機100の機能構成の一例を示す図である。自動改札機100は、図2に示す構成の他、改札機側制御部150の指示に従って、音声を出力するスピーカ140と、種々の情報を格納する改札機側記憶部170とを更に備える。また、改札機側制御部150は、改札機側通信部152と、撮像制御部154と、通過可否判定部156とを備える。
改札機側制御部150の機能部のうち一部または全部は、CPU(Central Processing Unit)等のプロセッサが改札機側記憶部170に記憶されたプログラムを実行することにより実現される。プログラムは、例えば、ネットワークNWを介してアプリケーションサーバからダウンロードされてもよいし、SDカードなどの可搬型記憶媒体に格納されたものが自動改札機100にインストールされてもよい。また、改札機側制御部150の機能部のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよい。
改札機側記憶部170は、例えば、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)、SDカード等の不揮発性の記憶媒体と、RAM(Random Access Memory)、レジスタ等の揮発性の記憶媒体とによって実現される。改札機側記憶部170は、プロセッサが実行するプログラムを格納する他、後述する改札機識別情報や運賃テーブル等を格納する。
改札機側通信部152は、例えば、カメラ118(138)によって撮像された動画と、改札機側制御部150の処理結果を示す情報とを対応付けてサーバ装置200に送信する。例えば、駅構内に入場する利用者の通過を制御するモードに自動改札機100が設定されている場合、この自動改札機100の改札機側通信部152は、処理対象の乗車券TIXの乗車券識別情報と、入場を許可したか否かを示す入場ステータス情報と、処理を行った時刻情報と、自動改札機を識別する改札機識別情報とを含む入場改札処理情報を、改札機側制御部150の処理結果を示す情報としてサーバ装置200に送信する。改札機識別情報は、例えば、予め改札機側記憶部170に格納されている。
また、駅構内から出場する利用者の通過を制御するモードに自動改札機100が設定されている場合、この自動改札機100の改札機側通信部152は、処理対象の乗車券TIXの乗車券識別情報と、出場を許可したか否かを示す出場ステータス情報と、処理を行った時刻情報と、自動改札機を識別する改札機識別情報とを含む出場改札処理情報を、改札機側制御部150の処理結果を示す情報としてサーバ装置200に送信する。以下、駅構内に入場する利用者の通過を制御するモードに設定されている自動改札機100を、入場側自動改札機100−1と称し、駅構内から出場する利用者の通過を制御するモードに設定されている自動改札機100を、出場側自動改札機100−2と称して説明する。なお、入場側自動改札機100−1のカメラ118(138)は、第1のカメラの一例であり、出場側自動改札機100−2のカメラ118(138)は、第2のカメラの一例である。また、入場側自動改札機100−1の通過可否判定部156は、第1の通過可否判定部の一例であり、出場側自動改札機100−2の通過可否判定部156は、第2の通過可否判定部の一例である。
また、改札機側通信部152は、サーバ装置200により送信された情報を受信し、この情報を通過可否判定部158に出力する。
なお、改札機側通信部152は、利用者が駅構内に入場する際、あるいは駅構内から出場する際に、透過型光電センサStまたは反射型光電センサSrによって検出された検出信号をサーバ装置200に送信してもよい。
撮像制御部154は、例えば、主機110や従機130の筐体面に設けられた人感センサSc等によって、利用者の接近が検出できた場合、カメラ118(138)に動画の撮像を開始させる。また、撮像制御部154は、読取部111(131)による乗車券TIXの読み取り処理が開始されてから、通過可否判定部158による判定処理が終了するまでの一連の処理に応じて、カメラ118(138)の動画の撮像を終了させる。
通過可否判定部156は、読取部111(131)により読み取られた乗車券情報に基づいて、利用者の通過を許可、あるいは禁止する制御を行う。例えば、通過可否判定部156は、乗車券情報に含まれる有効期間、乗車駅(発駅)、乗車可能区間等の情報と運賃テーブルとを照合することにより、自装置である自動改札機100が設置された駅と乗車駅とが一致するか否か、自動改札機100が設置された駅が乗車可能区間内か否か、すなわち利用者の乗車区間が乗車券時の購入金額に見合うか否か、乗車券TIXが乗車券投入口116(136)に投入された時刻が有効期間内か否か等といったことを判定し、全ての判定条件を満たす場合に利用者の通過を許可し、いずれか1つ以上の判定条件を満たさない場合に利用者の通過を禁止する。通過可否判定部156は、通過の許可または禁止の判定に応じて、扉部114、115、134、135、スピーカ140、上面表示部112、132、正面表示部113、133、またはこれらを組み合わせたものを制御する。
また、通過可否判定部156は、透過型光電センサStにより検出された検出信号に基づいて、利用者の通過を許可、あるいは禁止する制御を行う。例えば、通過可否判定部156は、上述した乗車券情報に基づき利用者の通過を許可した際に、透過型光電センサStの検出信号によって通路内に利用者が複数(例えば2名)存在していることが特定できた場合、先行する利用者のみの通過を許可すると共に、後続する利用者の通過を禁止する制御を行う。例えば、通過可否判定部156は、透過型光電センサStの検出信号によって先行の利用者が通路を通過したことが確認できると、扉部114、134、または扉部115、135を閉止状態にして後続の利用者の通過を禁止する。また、通過可否判定部156は、通路内に利用者が複数存在している際に、反射型光電センサSrの検出信号によって通路内の利用者が子供であることが特定できた場合、この複数の利用者の通過を許可してもよい。
また、通過可否判定部156は、乗車券投入口116(136)に乗車券TIXが投入されずに、規定の透過型光電センサStの位置まで利用者が通路を進行した場合、利用者の通過を禁止する。
以下、サーバ装置200の説明を行う。図5は、第1の実施形態におけるサーバ装置200の機能構成の一例を示す図である。サーバ装置200は、例えば、サーバ側制御部210と、サーバ側記憶部230とを備える。
サーバ側制御部210は、例えば、サーバ側通信部212と、画像選択部214と、情報管理部216と、特徴抽出部218と、不正判定部220と、を備える。これらの機能部のうち一部または全部は、CPU等のプロセッサがサーバ側記憶部230に記憶されたプログラムを実行することにより実現される。プログラムは、例えば、ネットワークNWを介してアプリケーションサーバからダウンロードされてもよいし、SDカードなどの可搬型記憶媒体に格納されたものがサーバ装置200にインストールされてもよい。また、サーバ側制御部210の機能部のうち一部または全部は、LSI、ASIC、FPGA等のハードウェアによって実現されてもよい。
サーバ側記憶部230は、例えば、ROM、フラッシュメモリ、HDD、SDカード等の不揮発性の記憶媒体と、RAM、レジスタ等の揮発性の記憶媒体とによって実現される。サーバ側記憶部230は、プロセッサが実行するプログラムを格納する他、例えば、カメラ118(138)により撮像された動画(画像の時系列データ)や、後述する入出場データベースDBおよび不正者ウォッチリストWL等を格納する。
サーバ側通信部212は、自動改札機100によって送信された情報を受信する。また、サーバ側通信部212は、サーバ側制御部210の処理結果を、自動改札機100に送信する。なお、サーバ側通信部212は、サーバ側制御部210の処理結果を、例えば、駅係員等が操作する端末装置300に送信してもよい。端末装置300は、例えば、サーバ装置200により出力された情報に基づく画像を表示する。端末装置300は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイ等の表示装置を含む。
画像選択部214は、入場側自動改札機100−1の処理時刻に基づいて、カメラ118(138)により撮像された動画から、利用者が駅構内に入場する際に乗車券TIXを利用した姿を収めたフレーム画像を選択する。例えば、画像選択部214は、入場側自動改札機100−1の処理時刻を中心として、時間的に前後する所定フレーム数の画像を選択する。その上で、画像選択部214は、利用者が駅構内から出場する際に乗車券TIXを利用した姿を収めたフレーム画像を選択する。ここで、「乗車券TIXを利用した姿」とは、例えば、人の胸部より上側の身体であり、さらに好ましくは利用者の顔を含む頭部である。画像選択部214は、パターンマッチング等の手法によって人の頭部のうち最も多くの部分が収まっているフレーム画像を選択する。
なお、「入場側自動改札機100−1の処理時刻」とは、例えば、乗車券投入口116(136)に乗車券TIXが投入された時刻、または通過可否判定部156により通過可否の判定がなされた時刻である。また、「入場側自動改札機100−1の処理時刻」とは、自動改札機100の透過型光電センサSt、または反射型光電センサSrの検出信号が発生した時刻であってもよい。以下、駅構内に入場する際の利用者の姿を収めたフレーム画像を、第1のフレーム画像と称する。また、駅構内から出場する際の利用者の姿を収めたフレーム画像を、第2のフレーム画像と称する。
情報管理部216は、サーバ側通信部212により受信された入場改札処理情報および出場改札処理情報と、画像選択部214により選択された第1のフレーム画像および第2のフレーム画像とをサーバ側記憶部320に格納し、駅構内に入場した利用者と駅構内から出場した利用者とを特定するための入出場データベースDBを構築する。
図6は、第1の実施形態におけるサーバ側記憶部230に格納される入出場データベースDBの一例を示す図である。入出場データベースDBは、例えば、乗車券識別情報(乗車券ID)ごとに、入出場のステータス情報と、各自動改札機の処理時刻と、改札機識別情報(改札機ID)とが対応付けられたデータ列の集合と、フレーム画像ごとに、当該フレーム画像が撮像された撮像時刻と、改札機識別情報とが対応付けられたデータ列の集合とを含む。なお、入出場データベースDBは、これら2つのデータ列が、乗車券IDに対応付けられて集合したデータ集合であってもよい。
情報管理部216は、後述する不正判定部220による判定結果に基づいて、入出場データベースDBから、不正を行った利用者を監視するための不正者ウォッチリストWLを生成する。
特徴抽出部218は、第1のフレーム画像、および第2のフレーム画像のそれぞれから、利用者の顔の特徴を抽出する。顔の特徴とは、例えば、耳、鼻、口、目等の特徴点や顔の輪郭(エッジ)等である。
不正判定部220は、入場改札処理情報と、特徴抽出部218により第1のフレーム画像から抽出された特徴と、および特徴抽出部218により第2のフレーム画像から抽出された特徴との一部または全部に基づいて、利用者による駅構内への入場、または駅構外への出場が不正であるか否かを判定する。
図7は、第1の実施形態における改札監視システム1の処理の流れの一例を示すシーケンス図である。以下の説明では、入場側自動改札機100−1が設けられた駅に配置されたサーバ装置を、入場側サーバ装置200−1と称し、出場側自動改札機100−2が設けられた駅に配置されたサーバ装置を、出場側サーバ装置200−2と称して説明する。
まず、入場側自動改札機100−1は、カメラ118(138)によって利用者を撮像しながら、通過可否判定を行う(ステップS100)。次に、入場側自動改札機100−1は、カメラ118(138)により撮像された動画と、入場改札処理情報とを入場側サーバ装置200−1に送信する(ステップS102)。
次に、入場側サーバ装置200−1は、入場側自動改札機100−1から受信した動画および入場改札処理情報に基づいて、利用者による駅構内への入場が不正であるか否かを判定する(ステップS104)。次に、入場側サーバ装置200−1は、不正であると判定した場合に、不正者ウォッチリストWLを生成し、他駅の出場側サーバ装置200−2に配信する(ステップS106)。ここで、入場側サーバ装置200−1は、不正であると判定したことを示す情報(例えば不正者ウォッチリストWL)を、他の複数の駅のサーバ装置200にブロードキャストしてもよいし、乗車券TIXの乗車券情報から推定される行先の駅に絞って、不正であると判定したことを示す情報を送信してもよい。
上述したようにして駅構内に入場した利用者は、入場駅から電車に乗って他の駅まで移動した後、この移動先の駅から駅構外に出場する場合、移動先の駅に設けられた出場側自動改札機100−2の乗車券投入口116(136)に乗車券TIXを投入する。この場合、改札監視システム1は、以下に示すような処理を行う。
出場側自動改札機100−2は、入場側自動改札機100−1と同様に、カメラ118(138)によって利用者を撮像しながら、通過可否判定を行う(ステップS108)。次に、出場側自動改札機100−2は、カメラ118(138)により撮像された動画と、出場改札処理情報とを出場側サーバ装置200−2に送信する(ステップS110)。
次に、出場側サーバ装置200−2は、出場側自動改札機100−2から受信した動画および出場改札処理情報に基づいて、利用者による駅構外への出場が不正であるか否かを判定する(ステップS112)。次に、出場側サーバ装置200−2は、不正であると判定した場合に、出場側自動改札機100−2に利用者の通過を禁止する旨の情報を送信する(ステップS114)。以下、不正である場合に利用者の通過を禁止する旨の情報を、不正検出情報と称して説明する。出場側自動改札機100−2は、この不正検出情報を受けると、利用者の通過を禁止する制御を行う(ステップS116)。
以下、第1の実施形態における改札監視システム1の各装置の処理の流れを、フローチャートを用いて説明する。図8は、第1の実施形態における入場側自動改札機100−1の処理の流れの一例を示すフローチャートである。
まず、撮像制御部154は、人感センサ等によって利用者の接近を検出すると(ステップS200)、カメラ118(138)に撮像を開始させる(ステップS202)。なお、カメラ118(138)の撮像停止タイミングについては、例えば、以下に説明するステップS204の処理が行われたタイミングなど、任意に定めてよい。次に、読取部111(131)は、乗車券投入口116(136)に投入された乗車券TIXから乗車券情報を読み取る(ステップS204)。次に、通過可否判定部156は、読取部111(131)によって読み取られた乗車券情報に基づいて、利用者の通過を許可するか否かを判定する(ステップS206)。
通過可否判定部156は、利用者の通過を許可する場合、読取部111(131)を制御して乗車券TIXの入出場コードに入場を許可した旨を示す情報を書き込ませる(ステップS208)。次に、改札機側通信部152は、入場改札処理情報と、カメラ118(138)により撮像された動画とを、入場側サーバ装置200−1に送信する(ステップS210)。
一方、通過可否判定部156は、利用者の通過を禁止する場合、上面表示部112(132)、正面表示部113(133)および/またはスピーカ140に、乗車券TIXを利用できないことを表すエラー情報を出力させ、扉部114(115)および134(135)を閉止状態に制御して利用者の通過を禁止し、投入された乗車券TIXを乗車券投入口116(136)から排出させる(ステップS218)。なお、通過可否判定部156は、乗車券投入口116(136)に乗車券TIXが投入されず、規定の透過型光電センサStの位置まで利用者が通路を進行した場合、扉部114(115)および134(135)を閉止状態に制御して利用者の通過を禁止してもよい。これによって、本フローチャートの処理が終了する。
次に、通過可否判定部156は、透過型光電センサStにより検出された検出信号に基づいて、通路内に複数の利用者が存在しているか否かを判定する(ステップS212)。通過可否判定部156は、通路内に複数の利用者が存在していない場合、すなわち、通路内に存在する利用者が1人である場合に、扉部114(115)および134(135)を開放状態に制御して利用者の通過を許可し、乗車券排出口117(137)から乗車券TIXを排出させる(ステップS214)。これによって、本フローチャートの処理が終了する。
一方、通過可否判定部156は、通路内に複数の利用者が存在している場合、透過型光電センサStの検出信号によって先行の利用者が通路を通過したことが確認できると(ステップS216)、上述したステップS218の処理を行って、後続の利用者の通過を禁止し、本フローチャートの処理を終了する。
以下、出場側自動改札機100−2の処理の流れについて説明する。図9は、第1の実施形態における出場側自動改札機100−2の処理の流れの一例を示すフローチャートである。
まず、撮像制御部154は、人感センサ等によって利用者の接近を検出すると(ステップS300)、カメラ118(138)に撮像を開始させる(ステップS302)。なお、カメラ118(138)の撮像停止タイミングについては、例えば、以下に説明するステップS304の処理が行われたタイミングなど、任意に定めてよい。次に、読取部111(131)は、乗車券投入口116(136)に投入された乗車券TIXから乗車券情報を読み取る(ステップS304)。次に、改札機側通信部152は、例えば乗車券情報が読み取られた時刻までの動画と、乗車券情報とを出場側サーバ装置200−2に送信する(ステップS306)。以下、乗車券情報が読み取られた時刻までの動画を、一時判定動画と称して説明する。
次に、通過可否判定部156は、改札機側通信部152により、出場側サーバ装置200−2から不正検出情報が受信されたか否かを判定する(ステップS308)。通過可否判定部156は、出場側サーバ装置200−2から不正検出情報が受信された場合、上面表示部112(132)、正面表示部113(133)および/またはスピーカ140に、乗車券TIXを利用できないことを表すエラー情報を出力させ、扉部114(115)および134(135)を閉止状態に制御して利用者の通過を禁止し、投入された乗車券TIXを乗車券投入口116(136)から排出させる(ステップS322)。これによって、本フローチャートの処理が終了する。
一方、通過可否判定部156は、出場側サーバ装置200−2から不正検出情報が受信されていない場合、読取部111(131)によって読み取られた乗車券情報に基づいて、通過を許可するか否かを判定する(ステップS310)。通過可否判定部156は、通過を禁止する場合、上述したステップS322の処理を行って、本フローチャートの処理を終了する。
一方、通過可否判定部156は、通過が許可された場合、出場改札処理情報および動画を出場側サーバ装置200−2に送信し(ステップS312)、乗車券投入口116(136)に投入された乗車券TIXを図示しない回収部に回収する(ステップS314)。次に、通過可否判定部156は、透過型光電センサStにより検出された検出信号に基づいて、通路内に複数の利用者が存在しているか否かを判定する(ステップS316)。通過可否判定部156は、通路内に複数の利用者が存在していない場合、すなわち、通路内に存在する利用者が1人である場合に、扉部114(115)および134(135)を開放状態に制御して利用者の通過を許可する(ステップS318)。これによって、本フローチャートの処理が終了する。
一方、通過可否判定部156は、通路内に複数の利用者が存在している場合、透過型光電センサStの検出信号によって先行の利用者が通路を通過したことが確認できると(ステップS320)、上述したステップS322の処理を行って、後続の利用者の通過を禁止し、本フローチャートの処理を終了する。
以下、入場側自動改札機100−1から情報を受信した際の入場側サーバ装置200−1の処理の流れについて説明する。図10は、第1の実施形態における入場側サーバ装置200−1の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、入場側サーバ装置200−1が、入場側自動改札機100−1から入場改札処理情報および動画を受信すると開始される。
まず、画像選択部214は、サーバ側通信部212により受信された動画から第1のフレーム画像を選択する(ステップS400)。次に、特徴抽出部218は、画像選択部214により選択された第1のフレーム画像から利用者の顔の特徴を抽出する(ステップS402)。次に、情報管理部216は、サーバ側通信部212により受信された入場改札処理情報と、画像選択部214により選択された第1のフレーム画像(特徴を含む)とをサーバ側記憶部320に格納し、入出場データベースDBを構築する(ステップS404)。
次に、不正判定部220は、入場改札処理情報および動画に基づいて、利用者による駅構内への入場が不正であるか否かを判定する(ステップS406)。本実施形態における不正とは、以下のことを表す。通常、利用者は、乗車券TIXを自動改札機100に投入して駅構内に入場したり、駅構外に出場したりする。ここで、利用者が乗車券TIXを投入せず改札口を通過しようとすると、自動改札機100は、扉部114、134、または扉部115、135を閉止状態にして利用者の通過を禁止する。この際、利用者User−Yが自身の直前を進行している利用者User−Xに密接している場合、透過型光電センサStが2人の利用者を個々に検出することができず、この2人の利用者を1人の利用者だと誤認識してしまう場合があった。この状況において、例えば、密接した2人の利用者のうち、直前の利用者User−Xに対して自動改札機100が通過を許可した場合、後続の利用者User−Yが乗車券TIXを投入していないにも関わらず通過できてしまう場合があった。従って、自動改札機100の透過型光電センサStにより、複数名の利用者が1人であると誤認識されてしまう状況であっても、個々の利用者を認識する必要が生じる。
本実施形態における自動改札機100は、カメラ118(138)を備えていることにより、上述した通路内に利用者が複数存在する状況を撮像することができる。このような状況の場合、カメラ118(138)により撮像された動画には、乗車券TIXが処理された時刻に複数の利用者が写りこんでいる。従って、画像選択部214は、複数の利用者の顔画像が含まれる第1のフレーム画像を選択することになる。この場合、特徴抽出部218は、第1のフレーム画像から、写りこむ利用者の顔の数に応じて、数パターンの異なる特徴を抽出する。情報管理部216は、この数パターンの異なる特徴を、単一の乗車券識別情報を含む入場改札処理情報に対応付けてサーバ側記憶部230に記憶させる。この結果、入出場データベースDBには、複数の顔の特徴を有するデータが格納される。
図11は、入出場データベースDBに格納されるデータの一例を示す図である。図示するように、利用者が正当に駅構内に入場した場合、乗車券識別情報には、利用者が1人であることから、顔の特徴を示す情報が1つのみ対応付けられる。一方、利用者が不正に駅構内に入場した場合、乗車券識別情報には、利用者が複数人であることから、顔の特徴を示す情報が複数対応付けられる。図示の例では、同時通過する利用者が2人のときを表している。
不正判定部220は、上述したように、単一の乗車券識別情報に複数の顔の特徴を示す情報が対応付けられている場合、利用者による駅構内への入場が不正であると判定する。不正判定部220は、駅構内への入場が不正であると判定した場合、乗車券識別情報ごとに付与された不正判定フラグを、不正であることを示す情報に書き換える(ステップS408)。一方、不正判定部220は、駅構内への入場が不正でないと判定した場合、乗車券識別情報ごとに付与された不正判定フラグを保持する(ステップS410)。なお、不正判定フラグの規定値には、「正当」といった不正でないことを示す情報が予め格納されるものとする。
次に、情報管理部216は、入出場データベースDBから、不正判定フラグが不正であることを示す情報に書き換えられたデータ列を収集して、不正行為を行った利用者を監視するための不正者ウォッチリストWLを生成する(ステップS412)。
図12は、第1の実施形態における情報管理部216により生成される不正者ウォッチリストWLの一例を示す図である。図示の例では、乗車券識別情報ごとに、2種類の顔の特徴を示す情報が対応付けられている。なお、乗車券識別情報に対応付けられる顔の特徴を示す情報は、3種類以上であってもよい。
次に、サーバ側通信部212は、情報管理部216により生成される不正者ウォッチリストWLを、他の駅に設けられたサーバ装置200に配信する(ステップS414)。これによって、本フローチャートの処理が終了する。
以下、出場側自動改札機100−2から情報を受信した際の出場側サーバ装置200−2の処理の流れについて説明する。図13は、第1の実施形態における出場側サーバ装置200−2の処理の流れの他の例を示すフローチャートである。本フローチャートの処理は、例えば、他駅のサーバ装置200から不正者ウォッチリストWLを受信した状態で、開始される。
まず、不正判定部220は、サーバ側通信部212が出場側自動改札機100−2から一時判定動画および乗車券情報を受信すると(ステップS500)、一時判定動画内のフレーム画像の特徴と不正者ウォッチリストWL内のフレーム画像の特徴とが合致する否かを判定する(ステップS502)。例えば、不正判定部220は、一時判定動画内のフレーム画像と不正者ウォッチリストWL内のフレーム画像との間において、特徴点や輪郭等の位置関係を比較することによって、合致(類似)するフレーム画像が存在しているか否かを判定する。例えば、異なるフレーム画像間において特徴点や輪郭等の位置関係が完全一致している場合を、合致すると定義してもよいし、ある一定の割合で一致している場合を合致していると定義してもよい。
サーバ側通信部212は、一時判定動画内のフレーム画像の特徴と、不正者ウォッチリストWL内のフレーム画像の特徴とが合致する場合、不正検出情報を、特徴が合致したフレーム画像と共に出場側自動改札機100−2および端末装置300に送信する(ステップS504)。端末装置300は、不正検出情報に基づいて、フレーム画像を駅係員に向けて表示する。これによって、改札監視システム1は、入場時に不正行為を行った利用者の通過を阻止すると共に、駅係員に通知することができる。
一方、画像選択部214は、一時判定動画内のフレーム画像の特徴と、不正者ウォッチリストWL内のフレーム画像の特徴とが合致しない場合に、出場改札処理情報と動画とがサーバ側通信部212により受信されると(ステップS506)、受信された動画から第2のフレーム画像を選択する(ステップS508)。次に、特徴抽出部218は、画像選択部214により選択された第2のフレーム画像から利用者の顔の特徴を抽出する(ステップS510)。次に、情報管理部216は、サーバ側通信部212により受信された入場改札処理情報と、画像選択部214により選択された第2のフレーム画像(特徴を含む)とをサーバ側記憶部320に格納し、入出場データベースDBを構築する(ステップS512)。
次に、不正判定部220は、出場改札処理情報および動画に基づいて、利用者による駅構外への出場が不正であるか否かを判定する(ステップS514)。上述した入場時の例と同様に、不正判定部220は、単一の乗車券識別情報に複数の顔の特徴を示す情報が対応付けられている場合、利用者による駅構外への出場が不正であると判定する。
不正判定部220は、駅構外への出場が不正でないと判定した場合、乗車券識別情報ごとに付与された不正判定フラグを保持する(ステップS516)。一方、不正判定部220は、駅構外への出場が不正であると判定した場合、乗車券識別情報ごとに付与された不正判定フラグを、不正であることを示す情報に書き換える(ステップS518)。次に、情報管理部216は、不正判定フラグが書き換えられたデータ列を、現在参照している不正者ウォッチリストWLに加えて更新する(ステップS520)。次に、サーバ側通信部212は、情報管理部216により更新された不正者ウォッチリストWLを、他の駅に設けられたサーバ装置200に配信する(ステップS522)。これによって、本フローチャートの処理が終了する。
以上説明した第1の実施形態における改札監視システム1によれば、第1のフレーム画像の特徴と、入場側自動改札機100−1における通過可否判定部156の通過可否の判定結果と、第2のフレーム画像の特徴との一部または全部に基づいて、利用者による駅の構内への入場、または駅の構外への出場が不正であるか否かを判定する不正判定部220と、不正判定部220による判定結果に応じて、駅の構内から駅の構外への通過の可否を利用者ごとに判定する出場側自動改札機100−2の通過可否判定部156と、を備えることにより、交通機関の不正乗車を抑制することができる。
(第2の実施形態)
以下、第2の実施形態における改札監視システム1について説明する。第2の実施形態における改札監視システム1では、扉部114、134、または扉部115、135を閉止状態にして利用者の通過を禁止しているにも関わらず、利用者がこの扉部を強制的に開放状態にして通過する不正行為(強行突破)が行われる場合に、この不正行為を検知して種々の処理を行う点で、第1の実施形態における改札監視システム1と相違する。従って、係る相違点を中心に説明し、共通する部分についての説明は省略する。
第2の実施形態における不正判定部220は、入場側自動改札機100−1の通過可否判定部156によって通過が禁止されたにも関わらず、利用者が駅構内に強行して入場した場合、利用者による駅構内への入場が不正であると判定する。また、不正判定部220は、出場側自動改札機100−2の通過可否判定部156によって通過が禁止されたにも関わらず、利用者が駅構外に強行して出場した場合、利用者による駅構外への出場が不正であると判定する。
利用者が駅構内に強行して入場、または利用者が駅構外に強行して出場したことは、例えば前述したトルクセンサ114A、115A、134A、および135A等の物理センサの検出結果を参照して判定することができる。物理センサの他の例としては、透過型光電センサSt、反射型光電センサSr、または重量センサ等が考えられる。
以下、第2の実施形態における入場側自動改札機100−1の処理の流れについて説明する。図14は、第2の実施形態における入場側自動改札機100−1の処理の流れの一例を示すフローチャートである。本フローチャートにおけるステップS600からステップS610は、上述した図8に示すフローチャートのステップS200からステップS210の処理と同様であるため、説明を省略する。
次に、通過可否判定部156は、扉部114(115)および134(135)を開放状態に制御して利用者の通過を許可し、乗車券排出口117(137)から乗車券TIXを排出させる(ステップS612)。これによって、本フローチャートの処理が終了する。
一方、通過可否判定部156は、通過を禁止する場合、上面表示部112(132)、正面表示部113(133)および/またはスピーカ140に、乗車券TIXを利用できないことを表すエラー情報を出力させ、扉部114(115)および134(135)を閉止状態に制御して利用者の通過を禁止し、投入された乗車券TIXを乗車券投入口116(136)から排出させる(ステップS614)。なお、通過可否判定部156は、乗車券投入口116(136)に乗車券TIXが投入されず、規定の透過型光電センサStの位置まで利用者が通路を進行した場合、扉部114(115)および134(135)を閉止状態に制御して利用者の通過を禁止してもよい。
次に、通過可否判定部156は、扉部114(115)および134(135)を閉止状態に制御した状況で、利用者が改札機を通過したか否か、すなわち強行突破されたか否かを判定する(ステップS616)。強行突破されていない場合、改札機側制御部150は、本フローチャートの処理を終了する。一方、強行突破された場合、改札機側通信部152は、自動改札機100が強行突破されたことを示す改札突破情報と、強行突破されるまでに撮像された動画とを入場側サーバ装置200−1に送信する(ステップS618)。改札突破情報には、例えば、突破された自動改札機の改札機識別情報と、突破された時刻とが含まれる。これによって、本フローチャートの処理が終了する。
以下、第2の実施形態における出場側自動改札機100−2の処理の流れについて説明する。図15は、第2の実施形態における出場側自動改札機100−2の処理の流れの一例を示すフローチャートである。本フローチャートにおけるステップS700からステップS704は、上述した図9に示すフローチャートのステップS300からステップS304の処理と同様であるため、説明を省略する。
次に、通過可否判定部156は、読取部111(131)によって読み取られた乗車券情報に基づいて、通過を許可するか否かを判定する(ステップS706)。改札機側通信部152は、通過が許可された場合、出場改札処理情報および動画を出場側サーバ装置200−2に送信し(ステップS708)、乗車券投入口116(136)に投入された乗車券TIXを図示しない回収部に回収する(ステップS710)。次に、通過可否判定部156は、扉部114(115)および134(135)を開放状態に制御して利用者の通過を許可する(ステップS712)。これによって、本フローチャートの処理が終了する。
一方、通過可否判定部156は、通過を禁止する場合、上面表示部112(132)、正面表示部113(133)および/またはスピーカ140に、乗車券TIXを利用できないことを表すエラー情報を出力させ、扉部114(115)および134(135)を閉止状態に制御して利用者の通過を禁止し、投入された乗車券TIXを乗車券投入口116(136)から排出させる(ステップS714)。なお、通過可否判定部156は、乗車券投入口116(136)に乗車券TIXが投入されず、規定の透過型光電センサStの位置まで利用者が通路を進行した場合、扉部114(115)および134(135)を閉止状態に制御して利用者の通過を禁止してもよい。
次に、通過可否判定部156は、扉部114(115)および134(135)に取り付けられたトルクセンサ114A、115A、134A、および135等の物理センサの出力等を参照し、扉部114(115)および134(135)を閉止状態に制御した状況で、人が通過したか否か、すなわち強行突破されたか否かを判定する(ステップS716)。また、通過可否判定部156は、透過型光電センサStや反射型光電センサSrの出力によって、許可がされていないにも関わらず人が通過したことが認識される場合に、強行突破されたと判定してもよい。
強行突破されていない場合、改札機側制御部150は、本フローチャートの処理を終了する。一方、強行突破された場合、改札機側通信部152は、自動改札機100が強行突破されたことを示す改札突破情報と、強行突破されるまでに撮像された動画とを出場側サーバ装置200−2に送信する(ステップS718)。これによって、本フローチャートの処理が終了する。
以下、第2の実施形態における入場側サーバ装置200−1の処理の流れについて説明する。図16は、第2の実施形態における入場側サーバ装置200−1の処理の流れの一例を示すフローチャートである。まず、不正判定部220は、改札突破情報と動画とがサーバ側通信部212により受信されると(ステップS800)、利用者による駅構内への入場が不正であると判定する(ステップS802)。次に、画像選択部214は、強行突破された時刻を基準に、動画から第1のフレーム画像を選択する(ステップS804)。
次に、特徴抽出部218は、画像選択部214により選択された第1のフレーム画像から利用者の顔の特徴を抽出する(ステップS806)。次に、情報管理部216は、サーバ側通信部212により受信された改札突破情報と、画像選択部214により選択された第1のフレーム画像(特徴を含む)とをサーバ側記憶部320に格納し、入出場データベースDBを構築する(ステップS808)。
次に、情報管理部216は、強行突破された時刻を基準に選択された第1のフレーム画像を入出場データベースDBから収集し、強行突破の不正行為を行った利用者を監視するための不正者ウォッチリストWLを生成する(ステップS810)。
図17は、第2の実施形態における不正者ウォッチリストWLの一例を示す図である。図示するように、強行突破時に生成される不正者ウォッチリストWLには、改札機識別情報ごとに、突破された時刻と、第1のフレーム画像の特徴とが対応付けられる。
次に、サーバ側通信部212は、情報管理部216により生成された不正者ウォッチリストWLを、他の駅に設けられたサーバ装置200に配信する(ステップS812)。これによって、本フローチャートの処理が終了する。
以下、第2の実施形態における出場側サーバ装置200−2の処理の流れについて説明する。図18は、第2の実施形態における出場側サーバ装置200−2の処理の流れの他の例を示すフローチャートである。本フローチャートの処理は、例えば、他駅のサーバ装置200から不正者ウォッチリストWLを受信した状態で、開始される。
まず、不正判定部220は、改札突破情報と動画とがサーバ側通信部212により受信されると(ステップS900)、利用者による駅構外への出場が不正であると判定する(ステップS902)。次に、画像選択部214は、強行突破された時刻を基準に、動画から第2のフレーム画像を選択する(ステップS904)。次に、特徴抽出部218は、画像選択部214により選択された第2のフレーム画像から利用者の顔の特徴を抽出する(ステップS906)。
次に、不正判定部220は、第2のフレーム画像の特徴と、不正者ウォッチリストWLに含まれるフレーム画像の特徴とが合致するか否かを判定する(ステップS908)。第2のフレーム画像の特徴と、不正者ウォッチリストWLに含まれるフレーム画像の特徴とが合致する場合、サーバ側通信部212は、不正検出情報を出場側自動改札機100−2および端末装置300に送信する(ステップS910)。
一方、第2のフレーム画像の特徴と、不正者ウォッチリストWLに含まれるフレーム画像の特徴とが合致しない場合、強行突破された時刻を基準に選択された第2のフレーム画像を、現在参照している不正者ウォッチリストWLに加えて更新する(ステップS912)。次に、サーバ側通信部212は、情報管理部216により更新された不正者ウォッチリストWLを、他の駅に設けられたサーバ装置200に配信する(ステップS914)。これによって、本フローチャートの処理が終了する。
以上説明した第2の実施形態における改札監視システム1によれば、出場側自動改札機100−2が通過を禁止したにも関わらず、利用者が駅の構内に入場したことが、トルクセンサ114A、115A、134A、および135や透過型光電センサSt、反射型光電センサSr等の物理センサの出力から認識できる場合、利用者による駅の構内への入場が不正であると判定することにより、上述した第1の実施形態と同様に、交通機関の不正乗車を抑制することができる。
以下、その他の実施形態(変形例)について説明する。
図19は、上述した実施形態における改札監視システム1の構成の他の例を示す図である。改札監視システム1は、例えば、上述した複数の自動改札機100と、サーバ装置200とを備える構成に加え、さらに監視カメラ400を備える。監視カメラ400は、例えば、上述した複数の自動改札機100と同様に、改札口ごとに設けられ、駅の天井や壁面等に固定される。監視カメラ400は、駅構内に入場する利用者、あるいは駅構内から出場する利用者を撮像する。監視カメラ400は、撮像した動画(あるいは画像)をサーバ装置200に送信する。これにより、サーバ装置200は、自動改札機100のカメラ118(138)によって撮像された動画を用いるのと同様に、監視カメラ400の動画に基づいて、利用者による駅構内への入場、または駅構外への出場が不正であるか否かを判定することができる。
以上説明した少なくとも一つの実施形態によれば、第1のフレーム画像と、入場側自動改札機100−1における通過可否判定部156の通過可否の判定結果と、第2のフレーム画像との一部または全部に基づいて、利用者による駅の構内への入場、または駅の構外への出場が不正であるか否かを判定する不正判定部220と、不正判定部220による判定結果に応じて、駅の構内から駅の構外への通過の可否を利用者ごとに判定する出場側自動改札機100−2の通過可否判定部156と、を備えることにより、不正乗車の発生を抑制することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。