以下、実施形態の通行制御装置および通行制御システムを、図面を参照して説明する。
図1は、実施形態の通行制御システム1の一例を示す図である。通行制御システム1は、例えば、一以上のユーザ端末装置100と、一以上の自動改札機300と、DBサーバ装置500とを備える。自動改札機300は、例えば、鉄道施設に設置され、利用者の通過を許可または禁止する。自動改札機300は、実施形態の通行制御装置の一例である。これに限られず、実施形態の通行制御装置は、遊園地や映画館等の施設の入場口に設置され、これら施設への入場の可否を判定する装置であってもよい。
一以上のユーザ端末装置100と、一以上の自動改札機300とは、ネットワークNWを介してDBサーバ装置500と接続されている。なお、ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local1 Area Network)、プロバイダ装置、無線基地局などを含む。
ユーザ端末装置100は、利用者が所有する通信端末であって、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等である。利用者は、ユーザ端末装置100を用いて、自動改札機300を利用するために必要な情報をDBサーバ装置500に事前に登録しておく。
例えば、ユーザ端末装置100は、利用者からの各種登録に関する情報(以下、各種登録情報と記す)を取得し、取得した各種登録情報をDBサーバ装置500に送信する。各種登録情報には、例えば、以下に説明する登録顔画像データと、乗車券の購入条件を示す情報とが含まれる。
例えば、ユーザ端末装置100は、自身が備えるカメラを用いて利用者の顔を撮像し、撮像された利用者の顔の画像(以下、登録顔画像と記す)データを、各種登録情報の一部としてDBサーバ装置500に送信する。なお、登録顔画像は、ユーザ端末装置100のカメラに撮像された画像に限られず、事前に用意された証明写真用の画像やその他の写真画像等であってもよい。また、ユーザ端末装置100は、自身が備える操作部を用いて、乗車券の購入条件の指定を利用者から受け付ける。乗車券の購入条件には、例えば、購入する乗車券の種別、乗車券の利用区間、乗車券の利用期間、乗車券の購入指示等が含まれる。
DBサーバ装置500は、ユーザ端末装置100から受信した各種登録情報を自身の記憶部に格納するとともに、ユーザ端末装置100から受信した登録顔画像データに基づいて顔の特徴量に関する特徴量データ(以下、第1特徴量データと記す)を生成し、記憶部に格納する。
自動改札機300は、例えば、自身が備えるカメラを用いて、駅の構内に入場する通行者や、駅の構外に出場する通行者の顔を撮像し、撮像した顔画像データに基づいて、顔の特徴量に関する特徴量データ(以下、第2特徴量データと記す)を算出する。また、自動改札機300は、算出した第2特徴量データを、DBサーバ装置500に送信する。
DBサーバ装置500は、自動改札機300から受信した第2特徴量データに基づいて、通行者の顔認証処理を実行し、顔認証処理の結果等を自動改札機300に送信する。
自動改札機300は、顔認証処理の結果等を示す情報をDBサーバ装置500から受信し、受信した情報に基づいて通行者の通過の可否を判定し、通過が許可された場合、通過判定結果をDBサーバ装置500に送信する。通行判定結果には、例えば、入場が許可されたことを示す情報および自動改札機300が設置されている入場駅の識別情報、あるいは、出場が許可されたことを示す情報および自動改札機300が設置されている出場駅の識別情報などが含まれる。
[自動改札機300]
図2は、自動改札機300の斜視図である。自動改札機300は、主機310と従機330とを備える。主機310と従機330の上面であって、自動改札機300の通路方向の両端には、それぞれ、カメラユニット310Aとカメラユニット330Aとが搭載されている。
図3は、カメラユニット330Aの斜視図である。以下、カメラユニット330Aについて説明するが、カメラユニット310Aも同様の構成を有する。カメラユニット330Aは、例えば、第1カメラ331と、通路表示部332と、通路スピーカ333と、照明装置334と、案内ラベル335とを含む。第1カメラ331は、例えば通路表示部332の表示面と並行な面を備えるカメラカバーCCの内側に設置され、カメラカバーCCの向こう側であって自動改札機300の通路側を撮像する位置に設置されている。
通路表示部332は、例えば、第1カメラ331の下部に設置されている。通路スピーカ333は、例えば、第1カメラ331の近傍であって、第1カメラ331と通路表示部332との間に設置されている。照明装置334は、第1カメラ331の近傍に配置され、例えば、第1カメラ331のレンズ前を覆うカメラカバーCCの周りを囲むようにして配置されている。第1カメラ331と通路表示部332との間には、案内ラベル335がシールで張り付けてある。案内ラベル335には、例えば、第1カメラ331に視線を向けるように案内する文言(例えば、「ここを見てください」など)が印刷されている。
図示の通り、第1カメラ331の位置と通路表示部332の位置とが縦方向にずれており、第1カメラ331と通路表示部332とは少し離れた位置に設置されている。ここで、第1カメラ331で撮影された画像が、通路表示部332にリアルタイムに表示される場合がある。このケースでは、多くの通行人が通路表示部332に視線を向けてしまい、第1カメラ331のレンズに視線が合わないことから、正規の登録者が通行している場合であっても顔認証が正しくできないおそれがある。
図4は、自動改札機300を上方から見た図である。主機310と従機330は、1つの通路を形成する筐体である。例えば、主機310と従機330は、対向配置されることで、互いに区画された第1領域と第2領域を接続する通路400を形成する。例えば、第1領域は駅の構外であり、第2領域は駅の構内である。主機310と従機330は、LAN通信や近距離通信等により無線接続されているが、ケーブルを介して接続されてもよい。
主機310は、例えば、第2カメラ311と、通路表示部312と、通路スピーカ313と、照明装置314と、正面表示部316と、扉部317および318と、通過センサ319-1から319-4と、制御部320とを備える。第2カメラ311、通路表示部312、通路スピーカ313、および照明装置314は、カメラユニット310Aに含まれる構成である。カメラユニット310Aは、主機310の第1領域の端部であって、言い換えると、通路400を第2領域から第1領域へ通過する第2進路bにおける出口側の端部に設置されている。
従機330は、例えば、上述した第1カメラ331、通路表示部332、通路スピーカ333、および照明装置334を含むカメラユニット330Aに加え、正面表示部336と、扉部337および338とを備える。カメラユニット330Aは、従機330の第2領域の端部であって、言い換えると、通路400を第1領域から第2領域へ通過する第1進路aにおける出口側の端部に設置されている。
さらに、自動改札機300は、例えば複数の通過センサ319-1から319-4を備える。以下、通過センサ319-1から319-4を、区別しない場合は、ハイフン(-)以下の符号を省略し、単に通過センサ319と表記する。
第1カメラ331および第2カメラ311は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を備える。第1カメラ331は、通路400を第1進路aに通行しようとする通行者の顔を撮像し、撮像した撮像画像データを従機330を介して制御部320へ送信する。第2カメラ311は、通路400を第2進路bに通行しようとする通行者の顔を撮像し、撮像により得られた撮像画像データを制御部320に出力する。
例えば、第1カメラ331および第2カメラ311は、通路400の通行者の顔の高さに相当する所定範囲(例えば、通路400の地上から140~180[cm]の範囲)を撮像する高さや角度に設置されている。
正面表示部316は、第1進路aの方向に通過可能であるか否かを示すマークや図形、文字等を表示し、正面表示部336は、第2進路bの方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部316および336の表示内容または表示の有無は、制御部320によって決定される。
制御部320は、第1進路aを進入してくる利用者の通過を許可する第1動作モード(つまり、駅の構内への入場のみを許可するモード)に設定されている場合には、第1カメラ331が撮像した撮像画像を用いた顔認証処理の結果に基づいて、第1進路aを進入してくる利用者の通行の可否を判定する。この第1動作モードに設定されている場合、制御部320は、扉部318および338を開放状態に維持すると共に、通行の判定結果に基づいて、扉部317および337を開放状態または閉止状態に制御する。
一方、制御部320は、第2進路bを進入してくる利用者の通過を許可する第2動作モード(つまり、駅の構外への出場のみを許可するモード)に設定されている場合には、第2カメラ311が撮像した撮像画像を用いた顔認証処理の結果に基づいて、第2進路bを進入してくる利用者の通行の可否を判定する。この第2動作モードに設定されている場合、制御部320は、扉部317および337を開放状態に維持すると共に、通行の判定結果に基づいて、扉部318および338を開放状態または閉止状態に制御する。
これに限られず、自動改札機300は、第1進路aの通過と第2進路bの通過の双方を許可する第3動作モードが設定されてもよい。この第3動作モードが設定されている場合、制御部320は、利用者が通過中でなければ、正面表示部316および336の双方に通過を許可することを示すマークや図形、文字等を表示させる制御を行う。この状態で、利用者がいずれかの側から進入し、第1カメラ331と第2カメラ311とのいずれか一方により通行人の顔が認識されると、制御部320は、他方のカメラによる顔認識を無効化すると共に、利用者が進入してきていない側の正面表示部316または正面表示部336に、通過を禁止することを示すマークや図形、文字等を表示させる制御を行う。
以下の説明では、第1動作モードか第2動作モードのどちらかが設定されている場合について説明する。第3動作モードに設定された場合について処理は、通過センサ319が第1領域から通路400に進入してくる通行者を検知したならば、第1動作モードに設定されている場合と同様の処理を実行し、通過センサ319が第2領域から通路400に進入してくる通行者を検知したならば、第2動作モードに設定されている場合と同様の処理を実行すると読み替えればよい。
通過センサ319は、例えば主機310の通路側の側面に複数個設けられる。通過センサ319は、自動改札機300により形成された通路400内の利用者を検出する。通過センサ319は、例えば赤外線センサや、光センサなどで実現される。通過センサ319は、対向する従機330に設けられた通過センサと連携して通路内の利用者を検出するものであってもよい。
図5は、制御部320を中心とした自動改札機300の構成図である。制御部320は、上述した構成要素に加え、さらに、通信部340および記憶部350と接続される。なお、主機310と従機330との無線通信による接続については、図示を簡略化している。
通信部340は、例えば、NIC等の通信インターフェースを含む。通信部340は、制御部320による制御によって、LANなどの通信ネットワークを介し、DBサーバ装置500と通信を行う。記憶部350は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)などによって実現される。記憶部350は、プロセッサが実行するプログラムを格納する他、各駅の識別情報などを含む駅情報351や、区間ごとの運賃情報を含む運賃テーブル352等を格納する。
制御部320は、例えば、画像処理部321と、通信処理部322と、入出場処理部325と、扉制御部326と、出力制御部327とを備える。これらの機能部のうち一部または全部は、例えば、CPU(Central Processing Unit)などのプロセッサが、記憶部350に記憶されたプログラム(ソフトウェア)を実行することで実現される。また、これらの構成要素の機能のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部:circuitryを含む)によって実現されていてもよいし、ソフトウェアとハードウェアの協働によって実現されていてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
画像処理部321は、第1カメラ331あるいは第2カメラ311により撮像された撮像画像に対して、所定の画像処理を実行する。例えば、画像処理部321は、第1カメラ331あるいは第2カメラ311により撮像された撮像画像に含まれる顔の特徴を示す第2特徴量データを算出する。画像処理部321による所定の画像処理の詳細については後述する。
通信処理部322は、通信部340を用いて、画像処理部321により算出された第2特徴量データを、ネットワークNWを介してDBサーバ装置500に送信する。一方、通信処理部322は、通信部340を用いて、DBサーバ装置500から送信された顔認証処理の結果等をネットワークNWを介して受信し、入出場処理部325に出力する。
入出場処理部325は、DBサーバ装置500による顔認証処理の結果等に基づいて、入出場の可否を判定する入出場処理を実行する。例えば、自動改札機300が第1進路aの利用者の通過を許可する動作モードに設定されている場合、入出場処理部325は、入場の可否を判定する入場処理を実行する。一方、自動改札機300が第2進路bの利用者の通過を許可する動作モードに設定されている場合、入出場処理部325は、出場の可否を判定する出場処理を実行する。
例えば、入出場処理部325は、第1カメラ331により撮像された撮像画像に基づく通行者の顔認証処理により、通行者が登録者であることが認証された場合、登録者に与えられた権限(ここでは、鉄道利用に関する権限)に基づいて入出場の可否を判定する。具体的には、入出場処理部325は、DBサーバ装置500から受信した乗車券効力を示す情報、乗車券状態を示す情報、チャージ残高等に基づいて、入出場の可否を判定する。例えば、入場処理において、入出場処理部325は、乗車券効力に含まれる利用区間に入場駅が含まれ、且つ、乗車券状態が未使用である場合、入場を許可する。例えば、出場処理において、入出場処理部325は、乗車券状態が入場済であって、且つ、入場駅から出場駅までの運賃をチャージ残高で精算可能な場合、出場を許可する。
また、入出場処理部325は、画像処理部321による画像処理の結果等や、通過センサ319による検知結果等に基づいて、通行者が通路400に進入して来て通過するまでの期間(以下、通過期間と記す)に含まれる所定のタイミングを検出する。所定のタイミングは、出力制御部327に所定の情報を出力させるタイミングとして予め決められている。詳細については後述する。
また、入出場処理部325は、通過センサ319-1が他の通過センサよりも先に通行者を検知した場合、第1領域から通路400に進入してくる通行者があると判定する。一方、通過センサ319-4が他の通過センサよりも先に通行者を検知した場合、入出場処理部325は、第2領域から通路400に進入してくる通行者があると判定する。
扉制御部326は、通路400の通行を制限する制限機構であって、入出場処理部325から出力された扉制御信号に応じて扉部317,337あるいは扉部318,338を動作させる。
出力制御部327は、例えば入出場処理部325により検出された所定のタイミングに合わせて、所定の情報を、音声あるいは画像のうち少なくとも一方を出力する出力部から出力させる。例えば、出力制御部327は、第1カメラ331あるいは第2カメラ311に視線を向けるように案内する案内情報を、通路表示部312または332、通路スピーカ313または333、あるいは照明装置314または334から出力させる。例えば、出力制御部327は、入出場処理部325による処理結果に応じた画像を生成し、通路表示部312または332に表示させる。また出力制御部327は、入出場処理部325による処理結果に応じた音声を、通路スピーカ313あるいは333から出力させる。さらに出力制御部327は、入出場処理部325による処理結果に応じたパターンで、照明装置314あるいは334を点灯あるいは点滅させる。
[DBサーバ装置500]
図6は、DBサーバ装置500の構成図である。DBサーバ装置500は、例えば、通信部510と、制御部530と、記憶部550とを備える。通信部510は、例えば、NIC等の通信インターフェースを含む。通信部510は、制御部530による制御に従い、インターネットなどの通信ネットワークを介して、ユーザ端末装置100および自動改札機300と通信を行う。記憶部550は、例えば、RAM、ROM、HDDなどによって実現される。記憶部550は、プロセッサが実行するプログラムを格納する他、乗車券DBテーブル551や、精算DBテーブル552等を格納する。
制御部530は、例えば、データ管理部531と、画像処理部532と、顔認証処理部533と、検索部534と、精算処理部535とを備える。これらの機能部のうち一部または全部は、例えば、CPUなどのプロセッサが、記憶部550に記憶されたプログラム(ソフトウェア)を実行することで実現される。また、これらの構成要素の機能のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部:circuitryを含む)によって実現されていてもよいし、ソフトウェアとハードウェアの協働によって実現されていてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
データ管理部531は、通信部510を用いて、ネットワークNWを介してユーザ端末装置100や自動改札機300から送信された情報を受信する。例えば、データ管理部531は、ユーザ端末装置100から受信した各種登録情報、自動改札機300から受信した通過情報、画像処理部532による画像処理の結果を示す情報等を、記憶部550の乗車券DBテーブル551や精算DBテーブル552の一部として格納する。
図7は、乗車券DBテーブル551の内容の一例を示す図である。乗車券DBテーブル551は、例えば、ユーザIDに、顔特徴量と、乗車券効力と、乗車券状態とを対応付けた情報群である。ユーザIDは、各ユーザを識別する識別情報である。ユーザIDは、DBサーバ装置500により割り当てられる情報であって、利用者を特定するためにユーザ端末装置100から各種情報と共に送信される情報である。顔特徴量は、例えば、ユーザ端末装置100からの各種登録情報に含まれる登録顔画像データに基づいて、画像処理部532により生成された第1特徴量データである。
乗車券効力は、利用者に与えられた権限を示す情報の一例であって、乗車券の効力を示す情報である。乗車券の効力には、例えば、乗車券の種別(一日乗車券、あるいは定期券であることを示す情報)、鉄道の利用可能区間を示す情報、乗車券が購入された日時(購入日時)、乗車券の有効期限などの情報が含まれる。乗車券の効力は、ユーザ端末装置100からの各種登録情報に含まれる乗車券の購入条件に基づく情報である。
乗車券状態は、利用者の乗車券を用いた鉄道の利用状態を示す情報である。乗車券状態には、例えば、乗車券が利用されていない状態(未使用)、駅の構内に入場している状態(入場)、駅の構外に出場している状態(出場)、入場した駅の識別情報、出場した駅の識別情報等が含まれる。乗車券状態は、データ管理部531により更新される情報である。
図8は、精算DBテーブル552の内容の一例を示す図である。精算DBテーブル552は、例えば、ユーザIDに、チャージ残高と、クレジット情報と、個人属性情報とを対応付けた情報群である。クレジット情報と個人属性情報は、ユーザ端末装置100から受信した各種登録情報の一部である。クレジット情報は、乗車券の精算に用いるクレジットカードに関する情報である。個人属性情報には、例えば、利用者の氏名、性別、年齢等が含まれる。チャージ残高は、チャージされている電子マネーの残高であって、例えば、利用した運賃を精算した後の残高である。チャージ残高は、精算処理部535により更新される情報である。
画像処理部532は、ユーザ端末装置100から受信した登録顔画像データに対して所定の画像処理を実行し、第1特徴量データを算出する。算出された第1特徴量データは、データ管理部531によって乗車券DBテーブル551に格納される。なお、画像処理部532により第1特徴量データを算出する手法と、自動改札機300により第2特徴量データを算出する手法とは、同じ手法である。
顔認証処理部533は、自動改札機300から通行者の顔の特徴量(第2特徴量データ)を受信した場合、記憶部550の乗車券DBテーブル551を参照し、通行者が事前に登録されている利用者(以下、登録者と記す)であることを証明するための顔認証処理を行う。例えば、顔認証処理部533は、乗車券DBテーブル551に登録されている全ての登録者の第1特徴量データと、通行者の第2特徴量データとが類似する程度を示す照合スコアを登録者ごとに算出し、算出された照合スコアに基づいて、通行者と同一人物であると認められる登録者を判定する。これに限られず、顔認証処理部533は、顔認証処理において一般的に用いられるいずれかの手法を用いて、特徴量データを算出してよい。
検索部534は、顔認証処理部533による処理結果に基づいて記憶部550を検索して、顔認証処理により通行者と同一人物であると認められた登録者と関連付けられた情報を、検索結果として得る。そして、検索部534は、検索により得られた登録者と関連付けられた情報を、通信部510を用いて、ネットワークNWを介して自動改札機300に送信する。例えば、顔認証処理により通行人が登録者のうちのいずれか一人と同一人物であると認められた場合、検索部534は、登録者のユーザIDに基づいて、乗車券DBテーブル551から、乗車券効力を示す情報と、乗車券状態を示す情報とを読み出し、第2特徴量データを送信してきた自動改札機300に送信する。一方、顔認証処理により通行人が登録者のうちのいずれか一人と同一人物でないと認められた場合、検索部534は、顔認証により通行人が登録者であると認められなかったことを示す情報を、第2特徴量データを送信してきた自動改札機300に送信する。
精算処理部535は、ユーザ端末装置100から受信した乗車券の購入条件を示す情報に基づいて、乗車券購入処理を実行する。乗車券購入処理は、例えば、購入条件に応じた乗車券の料金を精算するための精算処理や、購入した乗車券の効力を示す情報に基づいて乗車券DBテーブル551を更新する処理等が含まれる。
また、精算処理部535は、自動改札機300から通過判定結果を示す情報を受信した場合、精算DBテーブル552を参照し、通行者が利用した運賃を精算するための精算処理を実行してもよい。例えば、出場が許可されたことを示す情報や、出場が許可された駅の識別情報等に基づいて、精算処理部535は、乗車券DBテーブル551の乗車券状態を参照し、入場した駅から出場が許可された駅までの運賃を算出し、算出した運賃をチャージ残高から減算する。精算処理部535は、利用者により指定された場合、クレジット情報に基づいて精算処理を実行してもよい。
また、自動改札機300から通過判定結果を示す情報を受信した場合、データ管理部531は、通過判定結果に基づいて、乗車券DBテーブル551に含まれる乗車券状態を更新する。例えば、入場が許可された場合、データ管理部531は、乗車券状態を、乗車券が利用されていない状態(未使用)から、駅の構内に入場している状態(入場)と入場駅の識別情報とを含む情報に書き換える。また、出場が許可された場合、データ管理部531は、乗車券状態を、駅の構内に入場している状態(入場)から、駅の構外に出場している状態(出場)と出場駅の識別情報とを含む情報に書き換える。
[処理概要]
次に、概要図を用いて、各構成同士の処理の概要について簡単に説明する。図9は、事前登録時の処理概要の一例を示す図である。まず、ユーザ端末装置100は、(1)各種登録情報を取得する。例えば、ユーザ端末装置100は、自身のカメラで利用者の顔を撮像し、登録顔画像データを取得するとともに、利用者が指定した乗車券の購入条件を示す情報を取得する。次いで、ユーザ端末装置100は、(2)これら取得した情報を含む各種登録情報をDBサーバ装置500に送信する。
DBサーバ装置500は、(3)受信した登録顔画像データに対して所定の画像処理を実行し、利用者ごとに第1特徴量データを算出する。例えば、DBサーバ装置500は、顔静止画から顔の特徴点(目、鼻、口等の位置)を特定することで顔を検出する顔検出処理と、検出された顔の視線が合っている画像(以下、顔認証の対象画像と記す)を検出する対象画像検出処理と、検出された顔の角度や大きさごとに決められた所定条件に基づいてベスト画像を顔認証の対象画像の中から選択するベストショット選択処理と、検出された顔の特徴量を算出して利用者の第1特徴量データを取得する特徴量算出処理とを実行する。特徴量算出処理では、検出された顔からサングラスやマスクなどの付属品を検出する付属品検出処理等が含まれてよい。
次いで、DBサーバ装置500は、(4)ユーザIDに対応付けて、算出した第1特徴量データを乗車券DBテーブル551に格納する。ここで、DBサーバ装置500は、乗車券の購入条件に基づいて乗車券を購入するための各種処理を実行し、乗車券DBテーブル551と精算DBテーブル552を更新してもよい。例えば、乗車券の料金を精算して精算DBテーブル552を書き換えるととともに、購入した乗車券の効力情報を乗車券DBテーブル551に書き込む。
そして、DBサーバ装置500は、(5)登録結果を示す情報をユーザ端末装置100に送信する。登録結果には、例えば、利用者の顔で自動改札機300を通過することが可能になることを示す情報、乗車券の購入が完了したことを示す情報、購入した乗車券の効力を示す情報などが含まれる。そして、ユーザ端末装置100は、(6)DBサーバ装置500から受信した登録結果を自身のディスプレイに表示させる。
図10は、入出場時の処理概要の一例を示す図である。まず、自動改札機300は、(11)通行者の顔を撮像し、(12)撮像した顔画像データに対して所定の画像処理を実行し、通行者の第2特徴量データを算出する。例えば、自動改札機300は、第1カメラ331あるいは第2カメラ311により撮像された動画から静止画を切り出す切り出し処理と、切り出した静止画から顔の特徴点を特定することで顔を検出する顔検出処理と、検出された顔の視線が合っている画像(顔認証の対象画像)を検出する対象画像検出処理と、検出された顔の角度や大きさごとに決められた所定条件に基づいてベスト画像を顔認証の対象画像の中から選択するベストショット選択処理と、検出された顔の特徴量を算出して通行者の第2特徴量データを取得する特徴量算出処理を実行する。特徴量算出処理では、検出された顔からサングラスやマスクなどの付属品を検出する付属品検出処理等が含まれてよい。そして、自動改札機300は、(13)算出した第2特徴量データをDBサーバ装置500に送信する。
DBサーバ装置500は、(14)第2特徴量データに基づく顔認証処理を実行し、通行者と同一人物であると認められる登録者を判定する。顔認証により通行人が登録者のうちのいずれかと同一人物であると認められた場合、DBサーバ装置500は、(15)判定された登録者のユーザIDに基づいて、通行者の乗車券効力や通行者の乗車券状態を示す情報を検索するデータベース検索処理を実行する。
そして、DBサーバ装置500は、(16)顔認証処理の結果に応じた情報を自動改札機300に送信する。例えば、顔認証により通行人が登録者のうちのいずれかと同一人物であると認められた場合、DBサーバ装置500は、データベース検索処理により得られた情報を自動改札機300に送信する。一方、顔認証により通行人が登録者のうちのいずれかと同一人物であると認められない場合、DBサーバ装置500は、その旨を示す情報を自動改札機300に送信する。
次いで、自動改札機300は、(17)DBサーバ装置500から受信した情報と(12)の画像処理の結果とに基づいて、顔認証処理の結果を示す情報を生成し、(18)生成した情報に基づいて入出場処理を行う。
[通行者に提供される各種情報]
図11は、自動改札機300から通行者に提供される各種情報の一例を示す図である。ここでは、自動改札機300が第1進路aを進入してくる利用者の通過を許可する第1動作モードに設定されている場合について説明する。なお、第2進路bを進入してくる利用者の通過を許可する第2動作モードに設定されている場合については、カメラユニット330Aがカメラユニット310Aに入れ替わることを除いて第1動作モードに設定されている場合と同様の処理を実行するため、説明は省略する。なお、第3動作モードに設定されている場合において、通過センサ319が第1領域から通路400に進入してくる通行者を検知した場合、以下に説明する第1動作モードに設定されている場合と同様の処理を実行する。一方、通過センサ319が第2領域から通路400に進入してくる通行者を検知した場合、第2動作モードに設定されている場合と同様の処理を実行する。
例えば、出力制御部327は、第1カメラ331により撮像された動画G1を、通路表示部332から出力している。動画G1は、第1カメラ331からリアルタイムに出力されるライブビュー動画である。この状態で、第1タイミングに到達したことを検出した場合、出力制御部327は、第1カメラ331に視線を向けるように案内する案内情報を生成して、通路表示部332、通路スピーカ333、および照明装置334のうち少なくとも一部から出力させる。
第1タイミングとは、通行者が通路400を通過するタイミングである。例えば、出力制御部327は、第1カメラ331により撮像された撮像画像に含まれる通行者の顔の大きさが所定サイズ以上になったことと、通路400に進入する通行者を検知する通過センサ319により通行者が検知されたことと、のうち少なくとも一方を検知した場合、第1タイミングに到達したと判定する。
例えば、出力制御部327は、第1タイミングになった場合、通路表示部332に表示させる画像を、撮像画像である動画G1から案内画像G2あるいは案内画像G3に切り替える。こうすることにより、通路表示部332に映る自分の姿を見ていた通行者であっても、視線を通路表示部332から第1カメラ331の方に移すようになる。
案内画像G2は、通路表示部332の上に配置される第1カメラ331の方を指す矢印のイラストと「ここを見てください」という文字とを表示する画像である。これに限られず、出力制御部327は、案内画像G2に代えて案内画像G3を通路表示部332に表示させてもよく、案内画像G2と案内画像G3とを交互に表示させてもよく、案内画像G2の次に案内画像G3を表示させてもよくその逆でもよい。案内画像G3は、通路表示部332から第1カメラ331の方を仰ぎ見る顔のアニメーションと「視線を上のカメラにあわせてください」という文字とを表示する画像である。
また、出力制御部327は、案内画像G2やG3等を通路表示部332に表示させると共に、第1カメラ331に視線を向けるように案内するため、照明装置334を点灯あるいは点滅させてもよい。こうすることにより、通行者の関心が照明装置334に向くため、視線を第1カメラ331に合わせるようになる。
さらに、出力制御部327は、案内情報として「視線を上のカメラに合わせてください」「モニターの上のカメラに視線を合わせてください」「顔認証をします、カメラを見てください」等の音声を通路スピーカ333から出力させる。こうすることにより、通行者は、顔認識のために視線をカメラに合わせる必要があることに気が付くため、視線を第1カメラ331に合わせるようになる。
また、案内ラベル335には、常時「ここを見てください」という文言が表示されている。
このように、通路表示部332の案内画面を表示することに加え、通路スピーカ333からの音声、照明装置314の点灯、案内ラベルのメッセージのうち少なくとも一つを併用することで、通行者が第1カメラ331に視線を合わせやすくなる。
次いで、第2タイミングに到達したことを検出した場合、出力制御部327は、第1カメラ331により撮像された撮像画像のうち認証に用いられた撮像画像(以下、認証画像と記す)G4を通路表示部332に表示させる。第2タイミングは、例えば、第1カメラ331により撮像された撮像画像に基づく顔認証処理により、通行者が登録者と同一人物であることが認証されたタイミングである。図示において認証画像G4は、顔認証処理により特定された顔をフレームで囲った画像であるが、これに限られず、第1カメラ331により撮像された撮像画像のままであってもよい。
その後、第3タイミングに到達したことを検出した場合、出力制御部327は、入出場処理部325による通過の可否の判定結果を示す判定結果画像G5を通路表示部332に表示させる。第3タイミングは、例えば、顔認証処理された通行者の通過の可否が入出場処理部325により判定されたタイミングである。
図示において、第3タイミングは、通行者の通過が許可されたタイミングであり、判定結果画像G5は、通過が許可されたことを示す画像である。この場合、扉制御部326は、第3タイミングで、扉部317および337を開放状態に制御する。
図示は省略するが、第3タイミングは、通行者の通過が禁止されたタイミングであってもよく、判定結果画像G5は、通過が禁止されたことを示す画像であってもよい。この場合、扉制御部326は、第3タイミングで、扉部317および337を閉止状態に制御する。
なお、出力制御部327は、判定結果画像G5を一定時間表示した後、第1カメラ331により撮像された動画G1を表示してもよい。
このようにして、通行者が通路400を通過する第1タイミングになった場合、通路表示部332に案内画像G2や案内画像G3を表示させることにより、通行者は、通路表示部332の方ではなく、第1カメラ331の方を見るようになる。よって、通行者の視線が第1カメラ331のレンズの方を向くため、視線が合っている通行者を撮像した顔画像データに基づいて顔認証を行うことができるようになる。従って、顔認証の誤認識やリトライの発生を防止し、顔認証の正確性を向上させることができる。また、自動改札機300のスループットが向上し、信頼性を向上させることができる。
[フローチャート]
図12は、ユーザ端末装置100のよる登録処理の流れを示すフローチャートである。まず、ユーザ端末装置100は、登録と乗車券の購入をするための専用アプリを起動する(ステップS101)。以下の処理は、専用アプリが起動することで順次実行される処理である。
ユーザ端末装置100は、利用者の属性情報を取得し、DBサーバ装置500に送信する(ステップS103)。利用者の属性情報には、氏名、性別、年齢、クレジットカード番号、IC乗車券の識別情報などが含まれる。次いで、ユーザ端末装置100は、顔認証を行うための情報を登録するか否かを利用者に確認する情報を自身のディスプレイに表示し(ステップS105)、顔認証を行うための情報を登録することが利用者から指示された場合、例えば、自身のカメラを用いて利用者の顔を撮像する(ステップS107)。そして、ユーザ端末装置100は、撮像した利用者の顔画像のデータ(登録顔画像データ)を、DBサーバ装置500に送信する(ステップS109)。
次いで、乗車券を購入するか否かを利用者に確認する情報を自身のディスプレイに表示し(ステップS111)、乗車券を購入することが利用者から指示された場合、例えば、乗車券の種類や利用日等を含む乗車券購入の各種条件を受け付け、DBサーバ装置500に送信する(ステップS113)。
図13は、自動改札機300のよる入出場処理の流れを示すフローチャートである。ここでは、自動改札機300が第1進路aを進入してくる利用者の通過を許可する第1動作モードに設定されている場合について説明する。なお、第2進路bを進入してくる利用者の通過を許可する第2動作モードに設定されている場合については、同様の処理を実行しているため、説明は省略する。
まず、出力制御部327は、第1カメラ331が撮像した動画を、通路表示部332に表示させる(ステップS201)。次いで、入出場処理部325は、通行者が通路400を通過する第1タイミングになったか否かを判定する(ステップS203)。第1タイミングになった場合、出力制御部327は、出力部から案内情報を出力させる(ステップS205)。例えば、出力制御部327は、通路表示部332に案内画像を表示させる。
次いで、画像処理部321は、第1カメラ331が撮像した動画に基づいて所定の画像処理を実行し(ステップS207)、画像に含まれる人間の顔が検出されたか否かを判定する(ステップS209)。人間の顔が検出されない場合、ステップS201の処理に戻る。
一方、ステップS209において人間の顔が検出された場合、画像処理部321は、人間の顔が検出された撮像画像が顔認証の対象画像となるか否かを判定する(ステップS211)。撮像画像が顔認証の対象画像とならないと判定された場合、出力制御部327は、顔認証のリトライを通知する情報を、通路表示部332や通路スピーカ333から出力させ(ステップS213)、ステップS205に戻る。
一方、ステップS211において撮像画像が顔認証の対象画像となると判定された場合、画像処理部321は、顔認証の対象画像と判定された撮像画像に基づいて、検出された顔の特徴量を算出して第2特徴量データを取得し、通信処理部322は、第2特徴量データをDBサーバ装置500に送信する(ステップS215)。次いで、自動改札機300は、顔認証処理の結果等を、DBサーバ装置500から受信する(ステップS217)。
続きを、図14を参照して説明する。図14は、図13の処理の流れの続きを示すフローチャートである。入出場処理部325は、DBサーバ装置500から受信した顔認証処理の結果が肯定的であったか否かを判定する(ステップS219)。ステップS219において結果が肯定的でなかった場合(つまり、通行者が登録者と同一人物であることが認証されなかった場合)、入出場処理部325は、入場を禁止すると判定する(ステップS221)。次いで、扉制御部326は、扉部317および337を閉止状態に維持し(ステップS223)、出力制御部327は、通過が禁止されたことを示す画像を通路表示部332に表示させる(ステップS225)。
一方、ステップS219において結果が肯定的であった場合(つまり、通行者が登録者と同一人物であることが認証された場合)、第2タイミングに到達したとして、出力制御部327は、認証画像を通路表示部332に表示させる(ステップS227)。そして、入出場処理部325は、DBサーバ装置500から受信した乗車券効力と乗車券状態とに基づいて、入場の可否を判定する(ステップS229)。
入場を許可する場合(ステップS231-YES)、扉制御部326は、扉部317および337を開放状態に制御し(ステップS233)、入場が許可されたことを示す情報と入場駅の識別情報とを、DBサーバ装置500に送信する(ステップS235)。そして、自動改札機300は、通過が許可されたことを示す画像を通路表示部332に表示させる(ステップS237)。
一方、出場を禁止する場合(ステップS221-NO)、ステップS223に移行する。
図15は、DBサーバ装置500による事前登録時の処理の流れを示すフローチャートである。まず、DBサーバ装置500は、利用者の属性情報をユーザ端末装置100から受信したか否かを判定する(ステップS301)。利用者の属性情報には、クレジット情報や個人属性情報等が含まれる。DBサーバ装置500は、利用者の属性情報を受信した場合、受信した情報を記憶部550に登録する(ステップS303)。
次いで、DBサーバ装置500は、登録顔画像データをユーザ端末装置100から受信したか否かを判定する(ステップS305)。登録顔画像データを受信した場合、DBサーバ装置500は、登録顔画像データに対して所定の画像処理を実行し、第1特徴量データを算出し、記憶部550に登録する(ステップS307)。
次いで、DBサーバ装置500は、乗車券の購入条件をユーザ端末装置100から受信したか否かを判定する(ステップS309)。乗車券の購入条件を受信した場合、DBサーバ装置500は、乗車券購入処理を実行する(ステップS311)。そして、DBサーバ装置500は、処理結果をユーザ端末装置100に送信する(ステップS313)。
図16は、DBサーバ装置500による入出場時の処理の流れを示すフローチャートである。まず、DBサーバ装置500は、第2特徴量データを自動改札機300から受信したか否かを判定する(ステップS401)。第2特徴量データを受信した場合、DBサーバ装置500は、第2特徴量データに基づいて顔認証処理を実行する(ステップS403)。ステップS403における顔認証処理により、通行者と同一人物であると認められる登録者が得られたか否かを判定する(ステップS405)。
ステップS405において、通行者と同一人物であると認められる登録者が得られた場合、DBサーバ装置500は、記憶部550を検索し、顔認証処理により通行者と同一人物であると認められた登録者と関連付けられた情報を検索結果として得る(ステップS407)。次いで、DBサーバ装置500は、ステップS403における顔認証処理の結果と、ステップS407における検索結果を、自動改札機300に送信する(ステップS409)。
一方、ステップS405において、通行者と同一人物であると認められる登録者が得られない場合、DBサーバ装置500は、ステップS403における顔認証処理の結果を、自動改札機300に送信する(ステップS411)。
次いで、DBサーバ装置500は、入出場の可否を判定する判定結果を自動改札機300から受信したか否かを判定する(ステップS413)。判定結果を受信した場合、DBサーバ装置500は、受信した判定結果に基づいて、記憶部550における乗車券状態を更新し(ステップS415)、必要であれば精算処理を実行してよい(ステップS417)。
以上説明した実施形態によれば、通行者の視線がカメラに向くようになるため、顔認証の正確性が向上し、通行の可否を判定する処理をスムーズに行うことができる。
以上説明した少なくとも一つの実施形態によれば、通路を通行しようとする通行者の顔を撮像するカメラと、前記通路の通行を制限する制限機構と、前記カメラにより撮像された撮像画像に基づく前記通行者の顔認証処理により、前記通行者が登録者であることが認証された場合、前記登録者に与えられた権限に基づいて前記制限機構を動作させる制御部と、音声あるいは画像のうち少なくとも一方を出力する出力部と、前記通行者が通過する所定のタイミングであるか否かを判定し、所定のタイミングであると判定した場合、前記カメラに視線を向けるように案内する案内情報を前記出力部に出力させる出力制御部と、を備えることにより、通行の可否を判定する処理をスムーズに行うことができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
例えば、自動改札機300による一部の処理をDBサーバ装置500に搭載させてもよく、DBサーバ装置500による一部の処理を自動改札機300に搭載させてもよい。例えば、自動改札機300は、DBサーバ装置500の顔認証処理部533、検索部534、乗車券DBテーブル551等を備え、第2特徴量データに基づいて顔認証処理やデータベース検索処理を実行してもよい。また、自動改札機300のカメラによって撮像された画像データをDBサーバ装置500に送信し、DBサーバ装置500が第2特徴量データを生成してもよい。また、自動改札機300が実行する入出場判定処理を、DBサーバ装置500が実行してもよい。
また、実施形態の通行制御システムは、ユーザ端末装置100で実行される処理の一部または全部を実行する駅務機器を、さらに備えていてもよい。
なお、自動改札機300は、従機330に代えて、扉の開閉を制御する機構だけを備える補機を備えるものであってもよい。この場合、カメラユニット330Aを主機310の上面に設置し、カメラユニット310Aを撤去してもよい。