JP5349080B2 - 入場管理システム、入場管理装置、および入場管理方法 - Google Patents

入場管理システム、入場管理装置、および入場管理方法 Download PDF

Info

Publication number
JP5349080B2
JP5349080B2 JP2009046512A JP2009046512A JP5349080B2 JP 5349080 B2 JP5349080 B2 JP 5349080B2 JP 2009046512 A JP2009046512 A JP 2009046512A JP 2009046512 A JP2009046512 A JP 2009046512A JP 5349080 B2 JP5349080 B2 JP 5349080B2
Authority
JP
Japan
Prior art keywords
visitor
image information
regular
area
gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009046512A
Other languages
English (en)
Other versions
JP2010204719A (ja
Inventor
賢二 馬場
孝明 榎原
彰 澤田
信孝 西村
美彦 鈴木
雄介 高橋
和美 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009046512A priority Critical patent/JP5349080B2/ja
Publication of JP2010204719A publication Critical patent/JP2010204719A/ja
Application granted granted Critical
Publication of JP5349080B2 publication Critical patent/JP5349080B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Alarm Systems (AREA)
  • Lock And Its Accessories (AREA)

Description

本発明は、管理対象の建物や敷地内への不正侵入状況を監視する入場管理システム、入場管理装置、および入場管理方法に関する。
従来、管理対象の建物や敷地内へ出入りする人を監視するため、フラッパーゲートや電子錠付き扉などのセキュリティゲートの設置、個人情報照合装置や認証装置などのセキュリティコンポーネントの導入などが行われている。
これらの技術を個々にあるいは組み合わせて導入することにより、不正侵入を監視することができる。
例えば特許文献1には、個人情報の照合システムとフラッパーゲートなどの物理ゲートとを組み合わせて管理対象の会場への入場を監視するセキュリティシステムが記載されている。このシステムでは、管理対象の会場の入場ゲートに設置された非接触ICリーダでユーザが携帯するICタグに記録されたユーザIDを読み取り、この読み取ったユーザIDが予め記憶したユーザ情報データベースに登録されているかを照合し、登録されているときにはフラッパーゲートを一定時間開いてユーザを入場させる。
このフラッパーゲートを利用したセキュリティシステムは壁などの間仕切りを必要としないため、近年では集合型オフィスビルのエントランスなどのオープンスペースにおいて広く利用されており、高い通過効率でユーザの入場管理をすることができる。
特開2006−323453号公報
しかし、このフラッパーゲートや照合装置などのセキュリティコンポーネントでは、入場者が正常に利用しているときには効率的に入場管理を行うことができるが、これらのセキュリティを強行に突破して不正侵入する人を検知することができないという問題があった。
例えば、フラッパーゲートを利用したセキュリティシステムでは、ゲートを飛び越えられたり走りこみにより高速でゲートを強行突破されたりすると人間の通過を検知することができず、個人情報の照合が行われないまま比較的簡単に不正侵入されてしまうおそれがあるという問題があった。
また、災害時などには在室者を避難させるためにこれらのセキュリティ機能を解除したパニックオープンモードにすることがあるが、この状態のときにはセキュリティ管理を行うことができず、避難する退場方向とは逆に入場するような不正侵入者を検知することができないという問題があった。
通常はこのゲートの飛び越えや走りこみによる不正侵入を検知したり、パニックオープンモードにおける不正侵入を検知するため、ゲート付近に警備員を配置し、常時警備員の目視により入場者を監視することが行われているが、より簡易にこれらの不正侵入を監視可能なシステムが望まれていた。
本発明は上記事情に鑑みてなされたもので、管理対象エリアへ入場する入場者を、高い精度で監視する入場管理システム、入場管理装置、および入場管理方法を提供することを目的とする。
上記目的を達成するための本発明の入場管理システムは、管理対象エリアの入口に設置された第1ゲートと、前記管理対象エリア内の部分管理対象エリアの入口に設置された第2ゲートと、前記管理対象エリアへの入場者を識別する識別情報を取得する識別情報取得部と、正規の入場者を識別する正規入場者情報を予め記憶し、前記識別情報取得部で取得された識別情報と前記正規入場者情報とを照合し、前記識別情報取得部で取得した識別情報が前記正規入場者情報に含まれているときには当該入場者を正規の入場者として認定し、前記識別情報取得部で取得した識別情報が前記正規入場者情報に含まれていないときには当該入場者を正規の入場者として認定されないと判断する照合部と、前記照合部で当該入場者が正規の入場者として認定されたときには前記第1ゲートをオープン状態とし、当該入場者が正規の入場者として認定されないと判断されたときには前記第1ゲートをクローズ状態とする第1ゲート制御部と、前記管理対象エリアの入口付近を撮影するエリア監視カメラで撮影された画像を第1画像情報として取得する第1画像情報取得部と、前記第1画像情報取得部で取得された第1画像情報を解析して人物領域部分を抽出する画像解析処理部と、前記画像解析処理部で抽出した人物領域部分の所定時間前からの移動の軌跡に基づいて、当該人物領域部分に対応する人物が前記第1ゲートを通過するときに前記照合部で正規の入場者としての認定が行われているか否かを判定し、当該認定が行われていないと判断したときに当該入場者を、不正に前記管理対象エリアに入場した不正侵入者と判断する第1判定部と、前記第1判定部において、前記抽出した人物領域部分に対応する人物が不正侵入者であると判定されたときに、当該抽出された人物領域部分の特徴を示す特徴量情報を前記第1画像情報から抽出する特徴量抽出部と、前記部分管理対象エリアの入口付近を撮影する部分エリア監視カメラで撮影された画像を第2画像情報として取得する第2画像情報取得部と、前記第2画像情報取得部で取得された第2画像情報に前記特徴量抽出部で抽出された特徴量情報が含まれるか否かを判定する第2判定部と、前記第2判定部において、前記特徴量情報が含まれると判断されたときには前記第2ゲートをクローズ状態とする第2ゲート制御部とを有することを特徴とする。
また、本発明の入場管理装置は、管理対象エリアの入口に設置された第1ゲートと、前記管理対象エリア内の部分管理対象エリアの入口に設置された第2ゲートと、前記管理対象エリアの入口付近を撮影するエリア監視カメラと、前記部分管理対象エリアの入口付近を撮影する部分エリア監視カメラとに接続され、前記管理対象エリアへの入場管理を行う入場管理装置において、前記管理対象エリアへの入場者を識別する識別情報を取得する識別情報取得手段と、正規の入場者を識別する正規入場者情報を予め記憶し、前記識別情報取得手段で取得された識別情報と前記正規入場者情報とを照合し、前記識別情報取得手段で取得した識別情報が前記正規入場者情報に含まれているときには当該入場者を正規の入場者として認定し、前記識別情報取得手段で取得した識別情報が前記正規入場者情報に含まれていないときには当該入場者を正規の入場者として認定されないと判断する照合手段と、前記照合手段で当該入場者が正規の入場者として認定されたときには前記第1ゲートをオープン状態とし、当該入場者が正規の入場者として認定されないと判断されたときには前記第1ゲートをクローズ状態とする第1ゲート制御手段と、前記エリア監視カメラで撮影された画像を第1画像情報として取得する第1画像情報取得部と、前記第1画像情報取得部で取得された第1画像情報を解析して人物領域部分を抽出する画像解析処理部と、前記画像解析処理部で抽出した人物領域部分の所定時間前からの移動の軌跡に基づいて、当該人物領域部分に対応する人物が前記第1ゲートを通過するときに前記照合手段で正規の入場者としての認定が行われているか否かを判定し、当該認定が行われていないと判断したときに当該入場者を、不正に前記管理対象エリアに入場した不正侵入者と判断する第1判定部と、前記第1判定部において、前記抽出した人物領域部分に対応する人物が不正侵入者であると判定されたときに、当該抽出された人物領域部分の特徴を示す特徴量情報を前記第1画像情報から抽出する特徴量抽出部と、前記部分エリア監視カメラで撮影された画像を第2画像情報として取得する第2画像情報取得部と、前記第2画像情報取得部で取得された第2画像情報に前記特徴量抽出部で抽出された特徴量情報が含まれるか否かを判定する第2判定部と、前記第2判定部において、前記特徴量情報が含まれると判断されたときには前記第2ゲートをクローズ状態とする第2ゲート制御部とを備えることを特徴とする。
また、本発明の入場管理方法は、管理対象エリアの入口に設置された第1ゲートと、前記管理対象エリア内の部分管理対象エリアの入口に設置された第2ゲートと、前記管理対象エリアの入口付近を撮影するエリア監視カメラと、前記部分管理対象エリアの入口付近を撮影する部分エリア監視カメラとに接続され、前記管理対象エリアへの入場管理を行う入場管理装置が、前記管理対象エリアへの入場者を識別する識別情報を取得する識別情報取得ステップと、正規の入場者を識別する正規入場者情報を予め記憶し、前記識別情報取得ステップで取得された識別情報と前記正規入場者情報とを照合し、前記識別情報取得ステップで取得した識別情報が前記正規入場者情報に含まれているときには当該入場者を正規の入場者として認定し、前記識別情報取得ステップで取得した識別情報が前記正規入場者情報に含まれていないときには当該入場者を正規の入場者として認定されないと判断する照合ステップと、前記照合ステップで当該入場者が正規の入場者として認定されたときには前記第1ゲートをオープン状態とし、当該入場者が正規の入場者として認定されないと判断されたときには前記第1ゲートをクローズ状態とする第1ゲート制御ステップと、前記エリア監視カメラで撮影された画像を第1画像情報として取得する第1画像情報取得ステップと、前記第1画像情報取得ステップで取得された第1画像情報を解析して人物領域部分を抽出する画像解析処理ステップと、前記画像解析処理ステップで抽出した人物領域部分の所定時間前からの移動の軌跡に基づいて、当該人物領域部分に対応する人物が前記第1ゲートを通過するときに前記照合ステップで正規の入場者としての認定が行われているか否かを判定し、当該認定が行われていないと判断したときに当該入場者を、不正に前記管理対象エリアに入場した不正侵入者と判断する第1判定ステップと、前記第1判定ステップにおいて、前記抽出した人物領域部分に対応する人物が不正侵入者であると判定されたときに、当該抽出された人物領域部分の特徴を示す特徴量情報を前記第1画像情報から抽出する特徴量抽出ステップと、前記部分エリア監視カメラで撮影された画像を第2画像情報として取得する第2画像情報取得ステップと、前記第2画像情報取得ステップで取得された第2画像情報に前記特徴量抽出ステップで抽出された特徴量情報が含まれるか否かを判定する第2判定ステップと、前記第2判定ステップにおいて、前記特徴量情報が含まれると判断されたときには前記第2ゲートをクローズ状態とする第2ゲート制御ステップとを有することを特徴とする。
本発明の入場管理システム、入場管理装置、および入場管理方法によれば、管理対象エリアへ入場する入場者を、高い精度で監視することができる。
本発明の第1実施形態による入場管理システムを示す全体図である。 本発明の第1実施形態による入場管理システムの構成を示すブロック図である。 本発明の第1実施形態による入場管理システムの動作を示すフローチャートである。 本発明の第1実施形態による入場管理システムにおいて不正侵入者がフラッパーゲート装置を飛び越えにより入場するときの、時間の経過とともに遷移する第1画像情報の一例を示す画面構成図である。 本発明の第1実施形態による入場管理システムにおいて不正侵入者がフラッパーゲート装置を高速での走りこみにより強行突破して入場するときの、時間の経過とともに遷移する第1画像情報の一例を示す画面構成図である。 本発明の第2実施形態による入場管理システムを示す全体図である。 本発明の第2実施形態による入場管理システムの構成を示すブロック図である。 本発明の第2実施形態による入場管理システムの動作を示すフローチャートである。 本発明の第3実施形態による入場管理システムの動作を示すフローチャートである。 本発明の第3実施形態による入場管理システムを示す全体図である。
《第1実施形態》
〈第1実施形態による入場管理システム1の構成〉
本発明の第1実施形態による入場管理システム1の構成について、図1および図2を参照して説明する。
本実施形態による入場管理システム1は、図1および図2に示すように、管理対象エリアAの入口付近の撮影エリアBを撮影するエリア監視カメラ10と、管理対象エリアAの入口に設置されたフラッパーゲート装置20とが、中央の監視センタに設置された入場管理装置30aにネットワーク40を介して接続されることにより構成されている。
フラッパーゲート装置20は、正規入場者情報DB21と、識別情報取得部22と、照合部23と、ゲート部24と、第1ゲート制御部25とを有する。
正規入場者情報DB21は、正規の入場者を識別するための情報を格納する。
識別情報取得部22は、管理対象エリアAへの入場者から、当該入場者を識別する識別情報を取得する。識別情報としては、入場者が携帯するIDカードに記録された識別子や、指紋などの生体識別情報などが用いられる。
照合部23は、識別情報取得部22で取得した識別情報と正規入場者情報DB21に格納された情報とを照合し、識別情報取得部22で取得した識別情報が正規入場者情報DB21に含まれているときには当該入場者を正規の入場者として認定し、識別情報取得部22で取得した識別情報が正規入場者情報DB21に含まれていないときには当該入場者を正規の入場者として認定しない。
ゲート部24は可動式の扉であり、管理対象エリアAへの入場を制限するために開閉する。
第1ゲート制御部25は、照合部23で当該入場者が正規の入場者として認定されたときにはゲート部24を開いてオープン状態とし、照合部23で当該入場者が正規の入場者として認定されなかったときにはゲート部24を閉じてクローズ状態となるように制御する。
入場管理装置30aは、第1画像情報取得部31と、画像解析処理部32と、第1判定部33と、第1警告部34とを有する。
第1画像情報取得部31は、エリア監視カメラ10で撮影された画像情報を第1画像情報として所定時間周期で順次取得する。
第1判定部33は、第1画像情報取得部31で取得された第1画像情報を解析して人物領域部分を抽出し、抽出した人物領域部分の移動の軌跡および移動速度を特定する。そして、第1画像情報の解析により抽出した人物領域部分の移動の軌跡から、当該人物領域部分に該当する入場者がフラッパーゲート装置20を通過したか否かを監視する。
また第1判定部33は、フラッパーゲート装置20の照合部23で行われた、通過する入場者を正規の入場者として認定したか否かの判断結果を順次受信する。
さらに第1判定部33では、第1画像情報の解析により抽出した人物領域部分の移動の軌跡から、当該人物領域部分に該当する入場者がフラッパーゲート装置20を通過したことを検知したときに、この通過したタイミングでフラッパーゲート装置20の照合部23で正規の入場者としての認定が行われているか否かを判定する。この結果、第1判定部33において入場者がフラッパーゲート装置20を通過したと検知したタイミングで、フラッパーゲート装置20の照合部23で正規の入場者としての認定が行われていないと判断したときには当該入場者を不正侵入者と判断し、当該人物領域部分の移動の軌跡および移動速度から、当該入場者がフラッパーゲートの飛び越えや走りこみにより侵入したか否かをさらに判定する。
第1警告部34は、第1判定部33において当該入場者が不正侵入者であると判定されたときには、警告を報知する。
〈第1実施形態による入場管理システム1の動作〉
次に、本実施形態による入場管理システム1の動作について、図3のフローチャートを参照して説明する。
本実施形態の入場管理システム1においては、フラッパーゲート装置20における個人情報の照合処理と、入場管理装置30aにおける不正侵入者検出処理とが並行して行われる。
まず、フラッパーゲート装置20における個人情報の照合処理について説明する。フラッパーゲート装置20において個人情報の照合処理が開始されると、管理対象エリアAへの入場者が通過する度に、識別情報取得部22において当該入場者を識別する識別情報として当該入場者が携帯するIDカードに記録された識別子や指紋などの生体識別情報等が取得される(S1)。
識別情報取得部22において入場者の識別情報が取得されると、この識別情報と正規入場者情報DB21に格納された正規入場者を識別するための情報とが照合部23において照合される(S2)。
照合の結果、識別情報取得部22で取得した識別情報が正規入場者情報DB21に含まれているときには当該入場者が正規の入場者として認定され(S3の「YES」)、第1ゲート制御部25の制御によりゲート部24がオープン状態にされる(S4)。これにより、当該入場者は管理対象エリアAへの入場が可能となる。また、ここで当該入場者が正規の入場者として認定されたことが、ネットワーク40を介して入場管理装置30に送信される。
また、識別情報取得部22で取得した識別情報が正規入場者情報DB21に含まれていないときには当該入場者は正規の入場者として認定されず(S3の「NO」)、第1ゲート制御部25の制御によりゲート部24がクローズ状態にされる(S5)。これにより、当該入場者は管理対象エリアAへの入場が不可能となる。また、ここで当該入場者が正規の入場者として認定されなかったことが、ネットワーク40を介して入場管理装置30に送信される。
このステップS1〜S5の処理は、入場管理システム1が稼動している間、繰り替えし行われる。
次に、入場管理装置30aにおける不正侵入者検出処理について説明する。入場管理装置30aにおいて不正侵入者検出処理が開始されると、エリア監視カメラ10で撮影された、管理対象エリアAの入口付近の撮影エリアBの画像情報である第1画像情報が所定時間周期で順次ネットワーク40を介して第1画像情報取得部31において取得される(S11)。この所定時間周期とは、連続して撮影された第1画像情報から歩行による人間の移動軌跡を特定できる程度の時間間隔であり、例えば100ms周期である。
次に、第1画像情報取得部31で取得された第1画像情報が、第1判定部33において解析されて人物領域部分が抽出される(S12)。人物領域部分の抽出処理は既知の技術で実行可能であり、例えば以下の人物領域部分抽出処理(1)〜(3)がある。
[人物領域部分抽出処理(1)]
予め保持する背景となる基準画像情報と抽出対象の画像情報とを比較し、差分として抽出した領域部分を人物領域部分とみなす。
[人物領域部分抽出処理(2)]
一間隔前に取得された画像情報を基準画像情報とし、この基準画像情報と最新に取得された抽出対象の画像情報とを比較し、差分として抽出した領域部分を人物領域部分とみなす。
[人物領域部分抽出処理(3)]
異なる方向から対象エリアを撮影するように2台の監視カメラを装備し、それぞれの監視カメラで撮影された画像情報から三角測量の原理を用いたステレオ画像処理により画像情報内の物体の三次元的形状を把握し、この形状に基づいて人物領域部分を抽出する。
次に、所定時間前から現在までの第1画像情報において上記のような方法で抽出された人物領域部分の情報から、人物領域部分に対応する人物の移動の軌跡および移動速度が第1判定部33において特定される(S13)。
ここで、人物領域部分に対応する人物の移動の軌跡および移動速度を特定する際には、この人物領域部分の中の基準となる一点を基準点として予め特定し、この基準点の軌跡および移動速度を当該人物の移動の軌跡および移動速度として特定する。この基準点としては、例えば人物領域部分の中心位置や、人物領域部分の上から1/3の位置、人物領域部分の最上部(頭部)などに特定することが考えられる。
また、第1判定部33では、フラッパーゲート装置20の照合部23からネットワーク40を介して、フラッパーゲート装置20を通過する入場者が正規の入場者として認定されたか否かの判断結果が順次受信される。
そして、第1画像情報の解析により抽出した人物領域部分の移動の軌跡から、当該人物領域部分に該当する入場者がフラッパーゲート装置20を通過したことを検知したとき(S14の「YES」)に、この通過したタイミングでフラッパーゲート装置20の照合部23で正規の入場者としての認定が行われているか否かが判定される(S15)。
この結果、第1判定部33において入場者がフラッパーゲート装置20を通過したと検知したタイミングで、フラッパーゲート装置20の照合部23で正規の入場者としての認定が行われていると判定されたとき(S15の「YES」)には、正規の入場者が正常な処理で入場したものとみなされ、ステップS11に戻り不正侵入者検出処理が継続して繰り返される。
また、第1判定部33において入場者がフラッパーゲート装置20を通過したと認識したタイミングで、フラッパーゲート装置20の照合部23で照合処理自体が行われていないかまたは、実行された照合処理により正規の入場者としての認定が行われていないと判断されているとき(S15の「NO」)には、当該入場者が不正侵入者であると判断される。
当該入場者が不正侵入者であると判断されると、第1警告部34によりブザーやアナウンス等での警告が報知されるとともに、第1判定部33において当該入場者に対応する第1画像情報の人物領域部分の移動の軌跡および移動速度から、当該入場者がフラッパーゲート装置20を飛び越えたかまたは高速で走り込んだかが判定され不正侵入者の侵入方法の履歴として記録される(S16)。そして、ステップS11に戻り不正侵入者検出処理が継続して繰り返される。
第1判定部33において、取得した第1画像から不正侵入者の侵入方法が判定されるときの処理について図4を参照して説明する。不正侵入者の侵入方法の典型的な例として、本実施形態においてはフラッパーゲート装置20の飛び越え、およびフラッパーゲート装置20への高速での走りこみによる強行突破を検出する。
まず、第1画像情報を解析することによりフラッパーゲート装置20の飛び越えを検出する場合について図4を参照して説明する。図4(a)〜(c)は、不正侵入者がフラッパーゲート装置20を飛び越えにより入場するときの、時間の経過とともに遷移する第1画像情報の一例である。
図4(a)の第1画像情報は、入場者がフラッパーゲート装置20に向かっているときのものであり、当該入場者に対応する人物領域部分として上述した人物領域部分抽出処理等により人物領域61が抽出され、また当該入場者の移動の軌跡および移動速度を特定するための基準点として、この人物領域61の中心位置62が特定されている。
図4(b)の第1画像情報は、図4(a)のときから所定時間経過し入場者がフラッパーゲート装置20にさらに近づいたときのものであり、図4(a)の時点から図4(b)の時点に至るまでの中心位置62の軌跡Rが点線で示されたように特定されている。
この軌跡Rから、この第1画像情報の画面の横方向をv軸方向、縦方向をu軸方向としたときの、v軸方向の遷移に対するu軸方向の中心位置62の単位時間あたりの変動量(Δu)が監視され、この変動量(Δu)が通常歩行による変動範囲であるとして予め設定された変動許容量を超えるような縦方向の移動(上下方向の移動)があったか否かが判定される。図4(b)においては軌跡Rの変動量(Δu)が予め設定された変動許容量を超えておらず、通常歩行が行われているものと判断される。
図4(c)の第1画像情報は、図4(b)のときからさらに所定時間が経過したときのものであり、図4(a)の時点から図4(b)の時点を経過して当該図4(c)の時点に至るまでの中心位置62の軌跡Rが点線で示されたように特定されている。
この軌跡Rから、上述した処理と同様に変動許容量を超えるような縦方向の移動(上下方向の移動)があったか否かが判定される。図4(c)においては中心位置62が急激に変化し、軌跡Rの変動量(Δu)が予め設定された変動許容量を超えたと判定され、これにより当該入場者がフラッパーゲート装置20の飛び越えにより不正侵入されたものと判定される。
次に、第1画像情報を解析することによりフラッパーゲート装置20への高速での走りこみによる強行突破を検出する場合について図5を参照して説明する。図5(a)〜(c)は、不正侵入者がフラッパーゲート装置20を高速での走りこみにより強行突破して入場するときの、時間の経過とともに遷移する第1画像情報の一例である。
図5(a)の第1画像情報は、入場者がフラッパーゲート装置20に向かっているときのものであり、図4に基づいて説明した処理と同様に人物領域61および中心位置62が特定されている。
図5(b)の第1画像情報も、図4に基づいて説明した処理と同様に、図5(a)の時点から図5(b)の時点に至るまでの中心位置62の軌跡Rが点線で示されたように特定されている。
図5(c)の第1画像情報も、図4に基づいて説明した処理と同様に、図5(a)の時点から図5(b)の時点を経過して当該図5(c)の時点に至るまでの中心位置62の軌跡Rが点線で示されたように特定されている。
また図5(b)、(c)の第1画像情報においては、特定された軌跡Rから、任意のサンプリング間隔で中心位置62の単位時間あたりの移動速度が算出されることにより当該入場者の移動速度が推測される。
ここで、1台のエリア監視カメラ10で撮影された第1画像情報により算出された中心位置62の単位時間あたりの移動速度からは、実空間における当該入場者の正確な移動速度を算出できないため、予め設定された画像情報上のピクセル数と実空間内の距離とをマッピングするテーブルを用いるなどして当該入場者の移動速度が推測される。そして、この推測された移動速度が所定値以上のときに、走りぬけによる強行突破で不正侵入されたと判定される。
また他の判定方法として、異なる方向に設置された2台のエリア監視カメラ10で撮影された第1画像情報により中心位置62の軌跡Rが特定されるときには、ステレオ画像処理により三次元の空間座標を管理することが可能であるため、実空間における当該入場者の正確な移動時の高さ変動並びに移動速度が算出され、この算出された高さ変動が変動許容量を超えた場合に飛び越えた不正侵入であると判定されるようにしてもよく、また移動速度が所定値以上のときに、走りぬけによる強行突破で不正侵入されたと判定されるようにしてもよい。
また他の判定方法として、予め設定された単位時間あたりの正常歩行の相対移動量を基準とし、上記のように推定または算出された当該入場者の移動速度がこの基準のn倍(n=単位時間あたりの高速の走りによる相対移動量/単位時間あたりの正常歩行の相対移動量)以上のときに、走りぬけによる強行突破で不正侵入されたと判定されるようにしてもよい。
これらの処理により判定された不正侵入者の侵入方法の情報は、該当する画像情報とともに入場管理装置30a内に記録されることで、管理対象エリアに関する入場者の管理情報として利用される。
このステップS11〜S16の処理は、入場管理システム1が稼動している間、繰り替えし行われる。
以上の第1実施形態によれば、管理対象エリアの入口のフラッパーゲート装置における入場者の識別情報の照合処理だけでなく、この入口付近を撮影する監視カメラの監視画像の解析処理によっても不正侵入者の検出処理を行っているため、フラッパーゲート装置では検出できないような、識別情報の照合処理を行うことなくフラッパーゲート装置を飛び超えたり高速で強行突破して通り抜けたりすることにより不正に侵入しようとする人を検知することができ、精度の高い監視を行うことができる。
《第2実施形態》
〈第2実施形態による入場管理システム2の構成〉
本発明の第2実施形態による入場管理システム2の構成について、図6および図7を参照して説明する。
本実施形態による入場管理システム2は、図6および図7に示すように、管理対象エリアAの入口付近を撮影するエリア監視カメラ10と、管理対象エリアAの入口に設置されたフラッパーゲート装置20と、管理対象エリアA内の一部分である部分管理対象エリアA1の入口付近を撮影する部分エリア監視カメラ40−1と、管理対象エリアA内の一部分である部分管理対象エリアA2の入口付近を撮影する部分エリア監視カメラ40−2と、管理対象エリアA内の一部分である部分管理対象エリアA3の入口付近を撮影する部分エリア監視カメラ40−3と、部分管理対象エリアA1の入口に設置された物理ゲートである電子錠付き扉50−1と、部分管理対象エリアA2の入口に設置された物理ゲートである電子錠付き扉50−2と、部分管理対象エリアA3の入口に設置された物理ゲートである電子錠付き扉50−3とが、中央の監視センタに設置された入場管理装置30bにネットワーク40を介して接続されることにより構成されている。
このうち、エリア監視カメラ10およびフラッパーゲート装置20の機能は第1実施形態の場合と同様であるため、詳細な説明は省略する。
入場管理装置30bは、第1画像情報取得部31と、画像解析処理部32と、第1判定部33と、第1警告部34と、特徴量抽出部35と、第2画像情報取得部36と、第2判定部37と、第2警告部38とを有する。
このうち、第1画像情報取得部31〜第1警告部34の機能は第1実施形態の場合と同様であるため、詳細な説明は省略する。
特徴量抽出部35は、第1判定部33において抽出された人物領域部分に対応する人物が不正侵入者であると判定されたときに、当該抽出された人物領域部分の特徴を示す特徴量情報を第1画像情報から抽出する。
第2画像情報取得部36は、部分エリア監視カメラ40−1〜40−3で撮影された画像情報をそれぞれ第2画像情報として所定時間周期で順次取得する。
第2判定部37は、第2画像情報取得部36で取得された複数の第2画像情報の中に、前記特徴量抽出部35で抽出された特徴量情報が含まれる第2画像情報があるか否かを判定する。
第2警告部38は、第2判定部37において特徴量情報が含まれる第2画像情報があると判定されたときには、当該第2画像情報として撮影された部分管理対象エリアの入口付近に不正侵入者がいるものとして警告を報知するとともに、この判定された第2画像情報に対応する部分管理対象エリアの入口に設置された電子錠付き扉に不正侵入者の存在を知らせる通知を送信する。
電子錠付き扉50−1〜50−3は、それぞれ部分管理対象エリアA1〜A3への入場を制限するために開閉する電子錠部51と、入場管理装置30bの第2警告部38から不正侵入者の存在を知らせる通知が送信されたときに電子錠部51を閉じてクローズ状態となるように制御する電子錠制御部52とをそれぞれ有する。
〈第2実施形態による入場管理システム2の動作〉
次に、本実施形態による入場管理システム2の動作について、図6のフローチャートを参照して説明する。
本実施形態においても、監視対象エリアAへの入口では第1実施形態と同様にフラッパーゲート装置20における個人情報の照合処理と入場管理装置30aにおける不正侵入者検出処理とが並行して行われている。
本実施形態の監視対象エリアAへの入口で実行されるフラッパーゲート装置20における個人情報の照合処理(ステップS1〜S5)と、入場管理装置30bにおける不正侵入者検出処理(ステップS11〜S16)は、第1実施形態で実行される場合と同様であるため、詳細な説明は省略する。
本実施形態においては、入場管理装置30bにおいて、ステップS11〜S16の不正侵入者検出処理後にさらに、ステップS15で検出された不正侵入者を監視対象エリアA内に設置された各電子錠付き扉50−1〜50−3の入口においても監視する。
ステップS15において入場者が不正侵入者として判断され(S15の「NO」)、ステップS16において警告が報知されると、この不正侵入者に対応する第1画像情報の人物領域部分から、当該人物領域部分の特徴を示す特徴量情報が、入場管理装置30bの特徴量抽出部35において抽出される。
この特徴量情報とは、当該不正侵入者の体型、服の色や柄、持ち物などを示す情報であり、既知の画像解析技術を利用して形状、色彩情報等に基づいて抽出されるものである。
一方、部分エリア監視カメラ40−1〜40−3では、それぞれ撮影対象の部分管理対象エリアA1〜A3の入口付近が撮影され、各部分エリア監視カメラ40−1〜40−3で撮影された画像情報である第2画像情報が所定時間周期で順次ネットワーク40を介して第2画像情報取得部36において取得される(S18)。この所定時間周期も第1画像情報と同様に、歩行による人間の移動軌跡を特定できる程度の時間間隔であり、例えば100ms周期である。
次に第2判定部37において、第2画像情報取得部36で取得された複数の第2画像情報の中に、前記特徴量抽出部35で第1画像情報から抽出された特徴量情報が含まれる第2画像情報があるか否が判定される(S19)。
第2判定部37において、第1画像情報から抽出された特徴量情報が含まれる第2画像情報があると判定されたとき(S19の「YES」)には、当該第2画像情報として撮影された部分管理対象エリアの入口付近に不正侵入者がいるものとして警告が報知されるとともに、この判定された第2画像情報に対応する部分管理対象エリアの入口に設置された電子錠付き扉に不正侵入者の存在を知らせる通知が送信される。
本実施形態においては、フラッパーゲート装置20を通過するときに不正侵入者であると判定された人物が図6に示すように不正侵入者Pが部分管理対象エリアA1の入口付近におり、第1画像情報から抽出された特徴量情報が、第2判定部37において部分エリア監視カメラ40−1で撮影された第2画像情報に含まれていると判定されたものとする。これにより、部分管理対象エリアA1の入口付近に不正侵入者がいるものとして第2警告部38から警告が報知されるとともに、電子錠付き扉50−1に不正侵入者Pの存在を知らせる通知が送信される。そして、電子錠付き扉50−1の電子錠制御部52により電子錠部51を閉じてクローズ状態となるように制御される(S20)。
このステップS11〜S20の処理は、入場管理システム2が稼動している間、繰り替えし行われる。
以上の第2実施形態によれば、第1実施形態に加えて監視対象エリア内部の部分エリアの入口においても不正侵入者の監視を行っているため、フラッパーゲート装置付近で不正侵入者を検知しながらも見失った場合にも、監視対象エリア内でさらに当該不正侵入者の検出を行うことができる。
また、上記の第2実施形態の入場管理システム2に、管理対象エリアAを監視する監視員が携帯する携帯端末(図示せず)をさらに接続し、第2判定部37において第2画像情報内に不正侵入者に対応する人物領域部分があると判定されたときに、この判定された第2画像情報に対応する部分管理対象エリアの位置情報および当該特徴量情報を、当該携帯端末に送信するようにしてもよい。
このように構成することで、監視員が不正侵入者として検知された人物の位置の最新情報を取得しながら当該不正侵入者の追跡を行うことができる。
《第3実施形態》
〈第3実施形態による入場管理システム3の構成〉
本発明の第3実施形態による入場管理システム3の構成は、第1実施形態による入場管理システム1の構成と同様であるため、同一機能部分の詳細な説明は省略する。
本実施形態の入場管理装置30aの第1判定部33は、第1画像情報取得部31で取得された第1画像情報を解析して人物領域部分を抽出し、抽出した人物領域部分の移動の軌跡を特定する。そして、第1画像情報の解析により抽出した人物領域部分の移動の軌跡から、管理対象エリアAへ入場する方向に移動する人物領域部分があるか否かを判定し、管理対象エリアAへ入場する方向に移動する人物領域部分があったときには当該人物領域部分に対応する人物を不正侵入者と判断する。
〈第3実施形態による入場管理システム3の動作〉
本実施形態による入場管理システム3の動作について、図9のフローチャートを参照して説明する。
本実施形態の入場管理システム3においては、地震や火災などの災害時に管理対象エリアA内にいる人を避難させるため、フラッパーゲート装置20が個人情報の照合処理を行わないパニックオープンモードに設定されているものとする。
このパニックオープンモードにおいては、フラッパーゲート装置20においては個人情報の照合処理は行なわれないが、入場管理装置30aにおいては図9のような不正侵入者検出処理が行われる。
図9のステップS11〜S13の処理は、第1実施形態で実行される場合と同様であるため、詳細な説明は省略する。
ステップS13において、人物領域部分に対応する人物の軌跡が第1判定部33で特定されると、第1画像情報の解析により抽出された人物領域部分の移動の軌跡から、管理対象エリアAへ入場する方向に移動する人物領域部分があるか否かが判定される。判定の結果、管理対象エリアAへ入場する方向に移動する人物領域部分があったときには当該人物領域部分に対応する人物が不正侵入者と判断され、第1警告部34において警告が報知される(S16)。
以上の第3実施形態によれば、入場管理システムが地震や火災などの災害時に管理対象エリアA内にいる人を避難させるためのパニックオープンモードに設定されているときにも、管理対象エリアA内に不正に侵入しようとする人の検出を行うことができる。
1〜3…入場管理システム
10…エリア監視カメラ
20…フラッパーゲート装置
21…正規入場者情報DB
22…識別情報取得部
23…照合部
24…ゲート部
25…第1ゲート制御部
30a、30b…入場管理装置
31…第1画像情報取得部
32…画像解析処理部
33…第1判定部
34…第1警告部
35…特徴量抽出部
36…第2画像情報取得部
37…第2判定部
38…第2警告部
40…ネットワーク
40−1〜40−3…部分エリア監視カメラ
50−1〜50−3…扉
51…電子錠部
52…電子錠制御部
61…人物領域
62…中心位置

Claims (5)

  1. 管理対象エリアの入口に設置された第1ゲートと、
    前記管理対象エリア内の部分管理対象エリアの入口に設置された第2ゲートと、
    前記管理対象エリアへの入場者を識別する識別情報を取得する識別情報取得部と、
    正規の入場者を識別する正規入場者情報を予め記憶し、前記識別情報取得部で取得された識別情報と前記正規入場者情報とを照合し、前記識別情報取得部で取得した識別情報が前記正規入場者情報に含まれているときには当該入場者を正規の入場者として認定し、前記識別情報取得部で取得した識別情報が前記正規入場者情報に含まれていないときには当該入場者を正規の入場者として認定されないと判断する照合部と、
    前記照合部で当該入場者が正規の入場者として認定されたときには前記第1ゲートをオープン状態とし、当該入場者が正規の入場者として認定されないと判断されたときには前記第1ゲートをクローズ状態とする第1ゲート制御部と、
    前記管理対象エリアの入口付近を撮影するエリア監視カメラで撮影された画像を第1画像情報として取得する第1画像情報取得部と、
    前記第1画像情報取得部で取得された第1画像情報を解析して人物領域部分を抽出する画像解析処理部と、
    前記画像解析処理部で抽出した人物領域部分の所定時間前からの移動の軌跡に基づいて、当該人物領域部分に対応する人物が前記第1ゲートを通過するときに前記照合部で正規の入場者としての認定が行われているか否かを判定し、当該認定が行われていないと判断したときに当該入場者を、不正に前記管理対象エリアに入場した不正侵入者と判断する第1判定部と、
    前記第1判定部において、前記抽出した人物領域部分に対応する人物が不正侵入者であると判定されたときに、当該抽出された人物領域部分の特徴を示す特徴量情報を前記第1画像情報から抽出する特徴量抽出部と、
    前記部分管理対象エリアの入口付近を撮影する部分エリア監視カメラで撮影された画像を第2画像情報として取得する第2画像情報取得部と、
    前記第2画像情報取得部で取得された第2画像情報に前記特徴量抽出部で抽出された特徴量情報が含まれるか否かを判定する第2判定部と、
    前記第2判定部において、前記特徴量情報が含まれると判断されたときには前記第2ゲートをクローズ状態とする第2ゲート制御部とを有する入場管理システム。
  2. 前記管理対象エリアを監視する監視員が携帯する携帯端末が接続され、
    前記第2判定部において前記第2画像情報に前記特徴量抽出部で抽出された特徴量情報が含まれると判定されたときに、この判定された第2画像情報に対応する部分管理対象エリアの位置情報および特徴量情報を、前記携帯端末に送信する不正侵入者情報送信部をさらに有することを特徴とする請求項1に記載の入場管理システム。
  3. 管理対象エリアの入口に設置された第1ゲートと、
    前記管理対象エリア内の部分管理対象エリアの入口に設置された第2ゲートと、
    前記管理対象エリアの入口付近を撮影するエリア監視カメラと、
    前記部分管理対象エリアの入口付近を撮影する部分エリア監視カメラと、
    に接続され、前記管理対象エリアへの入場管理を行う入場管理装置において、
    前記管理対象エリアへの入場者を識別する識別情報を取得する識別情報取得手段と、
    正規の入場者を識別する正規入場者情報を予め記憶し、前記識別情報取得手段で取得された識別情報と前記正規入場者情報とを照合し、前記識別情報取得手段で取得した識別情報が前記正規入場者情報に含まれているときには当該入場者を正規の入場者として認定し、前記識別情報取得手段で取得した識別情報が前記正規入場者情報に含まれていないときには当該入場者を正規の入場者として認定されないと判断する照合手段と、
    前記照合手段で当該入場者が正規の入場者として認定されたときには前記第1ゲートをオープン状態とし、当該入場者が正規の入場者として認定されないと判断されたときには前記第1ゲートをクローズ状態とする第1ゲート制御手段と、
    前記エリア監視カメラで撮影された画像を第1画像情報として取得する第1画像情報取得部と、
    前記第1画像情報取得部で取得された第1画像情報を解析して人物領域部分を抽出する画像解析処理部と、
    前記画像解析処理部で抽出した人物領域部分の所定時間前からの移動の軌跡に基づいて、当該人物領域部分に対応する人物が前記第1ゲートを通過するときに前記照合手段で正規の入場者としての認定が行われているか否かを判定し、当該認定が行われていないと判断したときに当該入場者を、不正に前記管理対象エリアに入場した不正侵入者と判断する第1判定部と、
    前記第1判定部において、前記抽出した人物領域部分に対応する人物が不正侵入者であると判定されたときに、当該抽出された人物領域部分の特徴を示す特徴量情報を前記第1画像情報から抽出する特徴量抽出部と、
    前記部分エリア監視カメラで撮影された画像を第2画像情報として取得する第2画像情報取得部と、
    前記第2画像情報取得部で取得された第2画像情報に前記特徴量抽出部で抽出された特徴量情報が含まれるか否かを判定する第2判定部と、
    前記第2判定部において、前記特徴量情報が含まれると判断されたときには前記第2ゲートをクローズ状態とする第2ゲート制御部と
    を備えることを特徴とする入場管理装置。
  4. 前記管理対象エリアを監視する監視員が携帯する携帯端末がさらに接続され、
    前記第2判定部において前記第2画像情報に前記特徴量抽出部で抽出された特徴量情報が含まれると判定されたときに、この判定された第2画像情報に対応する部分管理対象エリアの位置情報および特徴量情報を、前記携帯端末に送信する不正侵入者情報送信部をさらに有することを特徴とする請求項3に記載の入場管理装置。
  5. 管理対象エリアの入口に設置された第1ゲートと、
    前記管理対象エリア内の部分管理対象エリアの入口に設置された第2ゲートと、
    前記管理対象エリアの入口付近を撮影するエリア監視カメラと、
    前記部分管理対象エリアの入口付近を撮影する部分エリア監視カメラと、
    に接続され、前記管理対象エリアへの入場管理を行う入場管理装置が、
    前記管理対象エリアへの入場者を識別する識別情報を取得する識別情報取得ステップと、
    正規の入場者を識別する正規入場者情報を予め記憶し、前記識別情報取得ステップで取得された識別情報と前記正規入場者情報とを照合し、前記識別情報取得ステップで取得した識別情報が前記正規入場者情報に含まれているときには当該入場者を正規の入場者として認定し、前記識別情報取得ステップで取得した識別情報が前記正規入場者情報に含まれていないときには当該入場者を正規の入場者として認定されないと判断する照合ステップと、
    前記照合ステップで当該入場者が正規の入場者として認定されたときには前記第1ゲートをオープン状態とし、当該入場者が正規の入場者として認定されないと判断されたときには前記第1ゲートをクローズ状態とする第1ゲート制御ステップと、
    前記エリア監視カメラで撮影された画像を第1画像情報として取得する第1画像情報取得ステップと、
    前記第1画像情報取得ステップで取得された第1画像情報を解析して人物領域部分を抽出する画像解析処理ステップと、
    前記画像解析処理ステップで抽出した人物領域部分の所定時間前からの移動の軌跡に基づいて、当該人物領域部分に対応する人物が前記第1ゲートを通過するときに前記照合ステップで正規の入場者としての認定が行われているか否かを判定し、当該認定が行われていないと判断したときに当該入場者を、不正に前記管理対象エリアに入場した不正侵入者と判断する第1判定ステップと、
    前記第1判定ステップにおいて、前記抽出した人物領域部分に対応する人物が不正侵入者であると判定されたときに、当該抽出された人物領域部分の特徴を示す特徴量情報を前記第1画像情報から抽出する特徴量抽出ステップと、
    前記部分エリア監視カメラで撮影された画像を第2画像情報として取得する第2画像情報取得ステップと、
    前記第2画像情報取得ステップで取得された第2画像情報に前記特徴量抽出ステップで抽出された特徴量情報が含まれるか否かを判定する第2判定ステップと、
    前記第2判定ステップにおいて、前記特徴量情報が含まれると判断されたときには前記第2ゲートをクローズ状態とする第2ゲート制御ステップと
    を有することを特徴とする入場管理方法。
JP2009046512A 2009-02-27 2009-02-27 入場管理システム、入場管理装置、および入場管理方法 Expired - Fee Related JP5349080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009046512A JP5349080B2 (ja) 2009-02-27 2009-02-27 入場管理システム、入場管理装置、および入場管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009046512A JP5349080B2 (ja) 2009-02-27 2009-02-27 入場管理システム、入場管理装置、および入場管理方法

Publications (2)

Publication Number Publication Date
JP2010204719A JP2010204719A (ja) 2010-09-16
JP5349080B2 true JP5349080B2 (ja) 2013-11-20

Family

ID=42966176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009046512A Expired - Fee Related JP5349080B2 (ja) 2009-02-27 2009-02-27 入場管理システム、入場管理装置、および入場管理方法

Country Status (1)

Country Link
JP (1) JP5349080B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985171B (zh) * 2014-05-12 2016-05-11 深圳市威富多媒体有限公司 一种云端门禁道闸管理方法及装置
CN105844740A (zh) * 2016-03-11 2016-08-10 王洋 一种新型遥感控制方法及装置
WO2018119668A1 (zh) * 2016-12-27 2018-07-05 深圳大学 一种行人头部识别方法及系统
WO2019017439A1 (ja) * 2017-07-21 2019-01-24 株式会社村田製作所 入退場管理システムおよび入退場管理方法
JPWO2019188928A1 (ja) * 2018-03-28 2020-12-03 シャープ株式会社 監視装置および制御装置
DE212020000603U1 (de) * 2019-04-25 2022-01-25 Guangxi Xijao Rail Transit Industry Technology R&D Co., Ltd. Offenes intelligentes Screening-Kanal-System
JP7244135B2 (ja) * 2019-10-29 2023-03-22 株式会社 テクノミライ デジタルセフティ・レスポンスセキュリティシステム、方法及びプログラム
CN114937303B (zh) * 2022-06-07 2023-03-24 慧之安信息技术股份有限公司 基于人脸识别的景区登记监控方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330415A (ja) * 1996-06-10 1997-12-22 Hitachi Ltd 画像監視方法および画像監視システム
JP2002230653A (ja) * 2001-02-05 2002-08-16 Nec Eng Ltd 警報送信装置
JP2004070564A (ja) * 2002-08-05 2004-03-04 Nippon Denka:Kk セキュリティシステム
JP4135484B2 (ja) * 2002-12-05 2008-08-20 沖電気工業株式会社 入出管理方法および入出管理システム
JP4928299B2 (ja) * 2007-02-16 2012-05-09 三菱プレシジョン株式会社 共連れ検知システム

Also Published As

Publication number Publication date
JP2010204719A (ja) 2010-09-16

Similar Documents

Publication Publication Date Title
JP5349080B2 (ja) 入場管理システム、入場管理装置、および入場管理方法
JP4751442B2 (ja) 映像監視システム
JP5370927B2 (ja) 行動監視システム、及び、行動監視方法
CA2481250C (en) Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
KR101387628B1 (ko) 출입 통제 통합 영상 저장 장치
US20070268145A1 (en) Automated tailgating detection via fusion of video and access control
JP5212839B2 (ja) 監視システム、及び監視方法
KR101838858B1 (ko) 생체인식 기능을 이용한 출입통제 시스템 및 이를 이용한 출입구 제어방법
CN105405186B (zh) 一种安防管理方法及装置
US20060225352A1 (en) Method and device for pass-through control and/or singling-out of persons
JP2009098814A (ja) 入退場管理方法および顔画像認識セキュリティシステム
JP2006236183A (ja) 入退場管理システム
JP4747611B2 (ja) 入退室管理装置
JP5550974B2 (ja) 不審者検知装置
US8941484B2 (en) System and method of anomaly detection
KR101492799B1 (ko) 감시영역 입퇴실자 추적을 통한 출입 통제 기능을 가지는 출입 통제 통합 영상 저장 시스템 및 그 방법
JP2013109779A (ja) 監視システム及び共連れ侵入監視方法
KR101964374B1 (ko) 출입 통제 시스템 및 방법
CN103443008B (zh) 具有至少一个摄像单元的入口监控设备
JP2003109129A (ja) 通行管理装置、通行管理システム、及び通行管理方法
JP2009108575A (ja) 入退室管理システム
JP5955056B2 (ja) 顔画像認証装置
JP2006209585A (ja) 防犯システム
JP4493521B2 (ja) 出入管理装置
EP3109837A1 (en) System and method of smart incident analysis in control system using floor maps

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130820

LAPS Cancellation because of no payment of annual fees