JP5024012B2 - Door device and door system - Google Patents

Door device and door system Download PDF

Info

Publication number
JP5024012B2
JP5024012B2 JP2007318489A JP2007318489A JP5024012B2 JP 5024012 B2 JP5024012 B2 JP 5024012B2 JP 2007318489 A JP2007318489 A JP 2007318489A JP 2007318489 A JP2007318489 A JP 2007318489A JP 5024012 B2 JP5024012 B2 JP 5024012B2
Authority
JP
Japan
Prior art keywords
door
camera
biometric
biometric information
visitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007318489A
Other languages
Japanese (ja)
Other versions
JP2009138490A (en
Inventor
佳典 星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2007318489A priority Critical patent/JP5024012B2/en
Publication of JP2009138490A publication Critical patent/JP2009138490A/en
Application granted granted Critical
Publication of JP5024012B2 publication Critical patent/JP5024012B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lock And Its Accessories (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、顔画像等の生体情報を取得するカメラを備え、その生体情報により本人であることを確認する生体認証を行って扉の開閉を制御する扉装置および扉システムに関する。   The present invention relates to a door device and a door system that include a camera that acquires biometric information such as a face image, and that performs biometric authentication that confirms the identity of the person based on the biometric information and controls opening and closing of the door.

従来の扉装置および扉システムは、通用門や建屋の入口の近傍に入場しようとする者の顔画像を撮影するカメラを設置し、そのカメラで撮影した顔画像を登録者の顔画像と照合する生体認証を行い、その結果により入場を許可するようにしている(例えば、特許文献1参照)。
このような従来の扉装置および扉システムにおいては、図8に示すように生体認証の精度を向上させるため、入場者の正面から撮影し、また入場者の通行を妨げないように入場者の進行方向(矢印Bが示す方向)に対して直角を成すように扉101の近傍にカメラ100を設置するようにしている。この場合、入場者は自己の身長に合わせて顔がカメラ100の正面に位置するように顔の高さや角度を調整するようにしている。
Conventional door devices and door systems are equipped with a camera that captures the face image of a person who is about to enter in the vicinity of the entrance of a common gate or building, and the face image captured by the camera is collated with the face image of the registrant. Biometric authentication is performed, and admission is permitted based on the result (see, for example, Patent Document 1).
In such a conventional door device and door system, as shown in FIG. 8, in order to improve the accuracy of biometric authentication, shooting is performed from the front of the visitor, and the progress of the visitor so as not to disturb the passage of the visitor The camera 100 is installed in the vicinity of the door 101 so as to be perpendicular to the direction (direction indicated by the arrow B). In this case, the attendant adjusts the height and angle of the face so that the face is positioned in front of the camera 100 according to his / her height.

また、入場者が自己の身長に合わせて顔がカメラの正面に位置するように顔の高さや角度を調整することを不要にするため、図9に示すように上下方向に複数のカメラ100を設置し、入場者の顔画像を撮影するようにしている。
さらに、図10に示すように1台のカメラ100を接近する入場者に向けて扉101の近傍に設置し、被写体となる入場者までの距離を大きくすることで顔の高さや角度を調整することを不要にしている。
特開2006−309490号公報(段落「0016」〜段落「0025」、図1、図3)
Also, in order to eliminate the need for an attendee to adjust the height and angle of the face so that the face is positioned in front of the camera in accordance with his / her height, a plurality of cameras 100 are vertically arranged as shown in FIG. It is set up to capture the face images of visitors.
Furthermore, as shown in FIG. 10, a single camera 100 is placed near the door 101 toward an approaching visitor, and the height and angle of the face are adjusted by increasing the distance to the subject attendee. That makes it unnecessary.
JP 2006-309490 A (paragraphs “0016” to “0025”, FIGS. 1 and 3)

しかしながら、上述した従来の技術において、入場者の進行方向に対して直角を成すように扉101の近傍にカメラ100を設置するようにした場合、図11(a)に示すようにカメラ100から被写体となる入場者までの距離が極めて短いため、身長の高い入場者はカメラの高さに合わせて屈む必要があり、またカメラの画角に収まらない身長の低い利用者は本システムを利用することができないという問題がある。   However, in the conventional technique described above, when the camera 100 is installed near the door 101 so as to be perpendicular to the direction of travel of the visitors, the subject from the camera 100 as shown in FIG. Because the distance to the visitors is extremely short, it is necessary for high-height visitors to bend according to the height of the camera, and for users who do not fit within the angle of view of the camera to use this system There is a problem that can not be.

また、図11(b)に示すように入場者の身長に合わせて上下方向に複数のカメラ100を設置した場合、上記問題を解決することができるようになるが複雑な機構や制御が必要になるとともに装置が高価になるという問題がある。
さらに、図11(c)に示すように接近する入場者に向けて扉101の近傍にカメラ100を設置した場合、カメラ100から入場者までの距離を長くとることにより、1台のカメラ100で身長の高低に関わらず入場者の顔画像を撮影することができるようになるが、図11(d)に示すように接近する入場者を斜め前方から撮影するため、生体認証を行うために必要な顔画像の品質を得ることができず、生体認証の精度が低下するという問題がある。また、撮影した顔画像の揺らぎについての閾値を調整して生体認証を行うようにしてもその生体認証の処理に多くの時間を必要とするという問題がある。
Also, as shown in FIG. 11B, when a plurality of cameras 100 are installed in the vertical direction according to the height of the attendee, the above problem can be solved, but complicated mechanisms and controls are required. In addition, there is a problem that the apparatus becomes expensive.
Furthermore, when the camera 100 is installed in the vicinity of the door 101 toward an approaching visitor as shown in FIG. 11C, the distance from the camera 100 to the attendee can be increased so that one camera 100 can Although it is possible to shoot face images of visitors regardless of their height, it is necessary to perform biometric authentication because the approaching visitors are photographed obliquely from the front as shown in FIG. There is a problem that the quality of the face image cannot be obtained and the accuracy of biometric authentication is lowered. In addition, there is a problem that much time is required for the biometric authentication process even when the threshold for fluctuation of the captured face image is adjusted to perform biometric authentication.

本発明は、このような問題を解決することを目的とし、1台のカメラで入場者の身長の高低に関わらず生体認証を行うために充分な品質の顔画像を撮影することができるようにすることを課題とする。   An object of the present invention is to solve such problems, so that a single face camera can capture a face image having a quality sufficient for performing biometric authentication regardless of the height of a visitor. The task is to do.

そのため、本発明は、入場者の顔画像を生体情報として読取る生体情報読取機と、その生体情報読取機で読取った生体情報で行う生体認証の結果に基づいて開放および閉塞させる扉を有する扉装置において、生体情報読取機を支持するとともに扉を閉塞したとき生体情報読取機を扉の中央部近傍へ移動させ、扉を開放したとき生体情報読取機を扉の側部へ移動させる生体情報読取機支持部を設け、前記生体情報読取機支持部は、開閉する扉の近傍に摺動自在に支持され、生体情報読取機が固着された端部を扉の開閉とともに扉の中央部近傍と扉の側部との間を移動させ、扉を閉塞させたとき扉の中央部近傍に移動した生体情報読取機で扉に向かう入場者の顔画像を始めとする正面からの生体情報画像を撮影できるようにしたことを特徴とする。 Therefore, the present invention provides a door device having a biometric information reader that reads a face image of a visitor as biometric information, and a door that is opened and closed based on the result of biometric authentication performed using the biometric information read by the biometric information reader. The biological information reader that supports the biological information reader and moves the biological information reader to the vicinity of the center of the door when the door is closed, and moves the biological information reader to the side of the door when the door is opened The living body information reader support section is slidably supported in the vicinity of the door that opens and closes, and the end to which the living body information reader is fixed is attached to the vicinity of the central portion of the door and the door. The biological information image from the front, including the face image of the visitors heading to the door, can be taken with the biological information reader moved to the vicinity of the central part of the door when the door is closed and the door is closed. Characterized by

このようにした本発明は、1台のカメラで身長の高い入場者から身長の低い入場者の顔画像等の生体情報を撮影することができるようになるという効果が得られる。
また、進入してくる入場者の顔画像等の生体情報を正面から撮影することができるようになり、生体認証を行う上で品質が良好な入場者の顔画像等の生体情報を撮影することができるようになるという効果が得られる。
According to the present invention as described above, it is possible to capture biometric information such as a face image of a visitor with a short height from a tall visitor with a single camera.
In addition, it is possible to capture biometric information such as a face image of an entering visitor from the front, and to capture biometric information such as a face image of a visitor with good quality when performing biometric authentication. The effect of being able to do is obtained.

以下、図面を参照して本発明による扉装置および扉システムの実施例を説明する。   Hereinafter, embodiments of a door device and a door system according to the present invention will be described with reference to the drawings.

図1は実施例における扉システムの構成を示す平面図、図2は実施例における扉システムの構成を示す正面図、図3は実施例における扉システムの構成を示す側面図である。
図において、1は入口扉であり、扉システムの入口に設けられた扉である。この入口扉1は図示しない超音波センサ等で構成された近接センサで入場者の接近を検知すると開放してその入場者が扉システムに入場できるようにするものである。入口扉1は、2枚の板状の扉板で構成され、それぞれの扉板は扉システムの入口の両側に設けられた支柱に回動自在に支持されている。
1 is a plan view showing a configuration of a door system in the embodiment, FIG. 2 is a front view showing a configuration of the door system in the embodiment, and FIG. 3 is a side view showing a configuration of the door system in the embodiment.
In the figure, reference numeral 1 denotes an entrance door, which is a door provided at the entrance of the door system. The entrance door 1 is opened when an approach of a visitor is detected by a proximity sensor composed of an ultrasonic sensor or the like (not shown) so that the visitor can enter the door system. The entrance door 1 is composed of two plate-like door plates, and each door plate is rotatably supported by support columns provided on both sides of the entrance of the door system.

2は出口扉であり、扉システムの出口に設けられた扉である。この出口扉2は開放された入口扉1から入場した入場者の顔をカメラで撮影し、その顔画像で行う生体認証の結果、既に登録されていると判定されたとき、開放してその入場者の通過を許可するためのものである。
3は出口扉2の上方に設けられたカメラアーム(生体情報読取機支持部)であり、4はカメラアーム3に載置された生体情報読取機としてのカメラである。カメラ4は、CCD(Charge Coupled Dvives)付カメラ等で構成され、開放された入口扉1から入場する入場者の顔を撮影して生体情報である顔画像(イメージデータ)を取得するためのものである。
Reference numeral 2 denotes an exit door, which is a door provided at the exit of the door system. The exit door 2 is opened when the face of the entrant who has entered through the opened entrance door 1 is photographed with a camera, and it is determined that biometric authentication is performed on the face image. This is to allow the person to pass.
Reference numeral 3 denotes a camera arm (biological information reader support unit) provided above the exit door 2, and reference numeral 4 denotes a camera as a biometric information reader placed on the camera arm 3. The camera 4 is composed of a camera with a CCD (Charge Coupled Devices) or the like, and captures a face of a visitor who enters from the opened entrance door 1 to acquire a face image (image data) as biometric information. It is.

5は側面パネルであり、入口扉1から出口扉2の間の側面を形成して入場者の不正な入退を防止するためのものである。したがって、この側面パネル5は入口扉1から入場する入場者を出口扉2へ導く通路7を形成し、図中矢印Aが示す方向に入場者を進行させるように誘導する。
6は扉装置であり、入口扉1、出口扉2、カメラアーム3、およびカメラ4を制御するものである。この扉装置6は、入場者の接近を検知して入口扉1を解放して入場者を通路7に誘導するとともにその入場者の顔をカメラ4で撮影して入場者の顔画像を取得し、取得した顔画像により本人であることが確認できると出口扉2を開放して入場者の通過を許可する制御を行うものである。なお、扉装置6の構成は後述する。
Reference numeral 5 denotes a side panel for forming a side surface between the entrance door 1 and the exit door 2 to prevent unauthorized entry and exit of visitors. Accordingly, the side panel 5 forms a passage 7 that guides the visitors who enter from the entrance door 1 to the exit door 2, and guides the visitors to advance in the direction indicated by the arrow A in the figure.
A door device 6 controls the entrance door 1, the exit door 2, the camera arm 3, and the camera 4. The door device 6 detects the approach of the visitor, releases the entrance door 1 to guide the visitor to the passage 7 and captures the visitor's face with the camera 4 to obtain a face image of the visitor. When the person can be confirmed from the acquired face image, the exit door 2 is opened to allow the passage of the visitors. The configuration of the door device 6 will be described later.

ここで、出口扉2およびカメラ4を載置するカメラアーム3の構成を図4の実施例における出口扉およびカメラアームの動作の説明図に基づいて説明する。
図4の(a)は出口扉2が閉塞されている状態を示し、(b)は出口扉2が半開している状態を示し、(c)は出口扉2が全開している状態を示している。なお、(a)〜(c)は出口扉2の近傍の平面図を示している。
Here, the configuration of the camera arm 3 on which the exit door 2 and the camera 4 are placed will be described on the basis of the operation diagrams of the exit door and the camera arm in the embodiment of FIG.
4A shows a state where the exit door 2 is closed, FIG. 4B shows a state where the exit door 2 is half-opened, and FIG. 4C shows a state where the exit door 2 is fully opened. ing. In addition, (a)-(c) has shown the top view of the vicinity of the exit door 2. FIG.

出口扉2は、図4に示すように2枚の板状の扉板で構成され、それぞれの扉板は通路7の出口の両側に設けられた支柱に回動自在に支持されている。カメラアーム3は一方の扉板が支持される支柱に回動自在に支持され、その扉板と連動して回動できるように構成されている。
したがって、出口扉2が閉塞されているとき、カメラ4は通路7の中央部の近傍に位置するように移動自在に構成され、出口扉2に向かって進行する入場者8の顔を正面から撮影した顔画像を取得することができるようになっている。また、出口扉2を開放するとき、その出口扉2とともにカメラ4は通路7の側部(あるいは出口扉2の側部)に移動して退避するため、入場者8の進行の妨げにならないようになっている。
As shown in FIG. 4, the exit door 2 is composed of two plate-like door plates, and each door plate is rotatably supported by support columns provided on both sides of the exit of the passage 7. The camera arm 3 is rotatably supported by a support column on which one door plate is supported, and is configured to be able to rotate in conjunction with the door plate.
Therefore, when the exit door 2 is closed, the camera 4 is configured to be movable so as to be located in the vicinity of the central portion of the passage 7, and the face of the visitor 8 moving toward the exit door 2 is photographed from the front. The acquired face image can be acquired. Further, when the exit door 2 is opened, the camera 4 together with the exit door 2 moves to the side of the passage 7 (or the side of the exit door 2) and retreats, so that it does not hinder the progress of the visitors 8. It has become.

図5は実施例における扉システムの制御系の構成を示すブロック図である。
図5において、11は入場者検知部であり、入口扉1の近傍に設けられた図示しない近接センサで入場者の接近を検知するものである。
12は入口扉開閉部であり、図示しないモータ等の駆動手段、入口扉1を回動させて開放または閉塞させる扉開閉手段等で構成されたものである。この入口扉開閉部12は、入場者検知部11で入場者を検知したとき、その入場者を通路7に誘導するために入口扉1を開放し、図示しないセンサ等で入場者が入口扉1を通過して通路7に侵入したことを検知したとき、入口扉1を閉塞させる。
FIG. 5 is a block diagram showing the configuration of the control system of the door system in the embodiment.
In FIG. 5, reference numeral 11 denotes a visitor detection unit that detects the approach of a visitor by a proximity sensor (not shown) provided in the vicinity of the entrance door 1.
Reference numeral 12 denotes an entrance door opening / closing section, which is composed of a driving means such as a motor (not shown), a door opening / closing means for rotating the entrance door 1 to open or close it, and the like. The entrance door opening / closing section 12 opens the entrance door 1 in order to guide the entrance person to the passage 7 when the entrance detection section 11 detects the entrance person, and the entrance door 1 opens the entrance door 1 with a sensor or the like (not shown). The entrance door 1 is closed when it is detected that it has entered the passage 7 after passing through.

13は生体情報読取部であり、入口扉1を通過して通路7に侵入した入場者の顔をカメラ4で撮影し、入場者の顔画像を取得するものである。
14は出口扉開閉部であり、図示しないモータ等の駆動手段、出口扉2を回動させて開放または閉塞させる扉開閉手段等で構成されたものである。この出口扉開閉部14は、後述する生体認証サーバから入場者の顔画像で行う生体認証の結果、その生体認証に成功した旨、すなわち入場者の顔画像が既に登録されていると判定された旨の通知を受信したとき、その入場者の通過を許可するために出口扉2を開放し、図示しないセンサ等で入場者が出口扉2を通過したことを検知したとき、出口扉2を閉塞させる。
A biometric information reading unit 13 captures the face of the visitor who has entered the passage 7 through the entrance door 1 with the camera 4 and acquires the face image of the visitor.
Reference numeral 14 denotes an exit door opening / closing section, which is composed of a driving means such as a motor (not shown), a door opening / closing means for rotating the exit door 2 to open or close it, and the like. As a result of biometric authentication performed on the face image of the visitor from a biometric authentication server, which will be described later, the exit door opening / closing unit 14 determines that the biometric authentication has been successful, that is, the face image of the visitor has already been registered. When the notification of the effect is received, the exit door 2 is opened to allow the visitor to pass, and the exit door 2 is closed when it is detected by a sensor (not shown) that the visitor has passed the exit door 2. Let

15は記憶部であり、半導体メモリや磁気ディスク等で構成され情報を記憶し、記憶した情報を読取ることができるものである。この記憶部15には扉装置6全体の動作を制御する制御プログラム(ソフトウェア)等を記憶する。
16は制御部であり、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の演算および制御手段等で構成されたものである。この制御部16は入場者検知部11、入口扉開閉部12、生体情報読取部13、出口扉開閉部14、記憶部15、および後述する生体認証サーバとの間の通信の制御を行う図示しない通信部を含めて扉装置6全体の動作を記憶部15に格納された制御プログラム(ソフトウェア)に基づいて制御する。
Reference numeral 15 denotes a storage unit which is composed of a semiconductor memory, a magnetic disk, or the like, stores information, and can read the stored information. The storage unit 15 stores a control program (software) for controlling the operation of the door device 6 as a whole.
Reference numeral 16 denotes a control unit, which is composed of arithmetic and control means such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit). The control unit 16 controls communication among the visitor detection unit 11, the entrance door opening / closing unit 12, the biometric information reading unit 13, the exit door opening / closing unit 14, the storage unit 15, and a biometric authentication server described later. The entire operation of the door device 6 including the communication unit is controlled based on a control program (software) stored in the storage unit 15.

20は生体認証サーバであり、CPU等の演算および制御手段である制御部、磁気ディスク、半導体メモリ等の記憶手段である記憶部および通信手段である通信部等を備えるものであり、通信回線30を介して扉装置6と相互に通信可能に接続されている。
21は生体情報データベースであり、生体認証サーバ20の記憶部に備えられたものである。この生体情報データベース21は扉システムの通過を許可された入場者の顔画像を予め記憶させておくものである。
A biometric authentication server 20 includes a control unit that is a calculation and control unit such as a CPU, a storage unit that is a storage unit such as a magnetic disk and a semiconductor memory, a communication unit that is a communication unit, and the like. Via the door device 6 so as to be able to communicate with each other.
A biometric information database 21 is provided in the storage unit of the biometric authentication server 20. The biometric information database 21 stores face images of visitors who are permitted to pass through the door system in advance.

生体認証サーバ20の制御部は、記憶部に記憶された生体認証処理プログラム(ソフトウェア)に基づいて扉装置6から受信した入場者の顔画像と生体情報データベース21に記憶された顔画像とを照合してその入場者が扉システムの通過を許可された者であることを確認する生体認証処理を行い、その生体認証処理の結果を扉装置6へ通知する。
このように扉システムは、扉装置6、生体認証サーバ20、生体情報サーバ21等で構成されている。なお、本実施例においては生体認証サーバ20と生体情報データベース21は扉装置6と離れた場所に設置されている別装置として記載されているが、生体認証サーバ20と生体情報データベース21を扉装置6内に含めるようにしても構わない。さらには、生体認証サーバ20と生体情報データベース21とを生体情報読取部13と一体の構成としても構わない。
The control unit of the biometric authentication server 20 collates the face image of the visitor received from the door device 6 with the face image stored in the biometric information database 21 based on the biometric authentication processing program (software) stored in the storage unit. Then, a biometric authentication process for confirming that the visitor is permitted to pass through the door system is performed, and the result of the biometric authentication process is notified to the door device 6.
Thus, the door system includes the door device 6, the biometric authentication server 20, the biometric information server 21, and the like. In the present embodiment, the biometric authentication server 20 and the biometric information database 21 are described as separate devices installed at a location away from the door device 6, but the biometric authentication server 20 and the biometric information database 21 are connected to the door device. 6 may be included. Furthermore, the biometric authentication server 20 and the biometric information database 21 may be integrated with the biometric information reading unit 13.

上述した構成の作用を図6の実施例における扉システムの動作を示すフローチャートの図中Sで表すステップにしたがって説明する。
なお、以下に説明する各部の動作は、図示しないメモリや磁気ディスク等の記憶手段に格納されたプログラム(ソフトウェア)に基づいて図示しない中央処理装置等の制御手段により制御される。
The operation of the above-described configuration will be described according to the step represented by S in the flowchart of the operation of the door system in the embodiment of FIG.
The operation of each unit described below is controlled by a control unit such as a central processing unit (not shown) based on a program (software) stored in a storage unit such as a memory or a magnetic disk (not shown).

S1:まず、扉装置6の制御部16の指示により入口扉開閉部12は入口扉1を閉塞し、また出口扉開閉部14は図4(a)に示すように出口扉2を閉塞させ、その出口扉2とともにカメラアーム3を回動させてカメラ4を通路7の中央部に配置するようにしておくものとする。
扉装置6の入場者検知部11が入口扉1に接近する入場者を検知すると制御部16の指示により入口扉開閉部12は入口扉1を開放する。
S1: First, according to an instruction from the control unit 16 of the door device 6, the entrance door opening / closing part 12 closes the entrance door 1, and the exit door opening / closing part 14 closes the exit door 2 as shown in FIG. It is assumed that the camera arm 3 is rotated together with the exit door 2 so that the camera 4 is arranged at the center of the passage 7.
When the visitor detection unit 11 of the door device 6 detects a visitor approaching the entrance door 1, the entrance door opening / closing unit 12 opens the entrance door 1 according to an instruction from the control unit 16.

入口扉1が開放されると入場者は入口から通路7に進入するものとする。
このとき、カメラ4は通路7の中央部に配置されているため、進入してくる入場者の顔画像を正面から撮影することができるようになっている。
S2:入口扉開閉部12が入口扉1を開放すると制御部16の指示により生体情報読取部13はカメラ4で入場者の画像の撮影を開始し、その画像に入場者の顔が存在することを確認する顔検出を行う。
When the entrance door 1 is opened, a visitor enters the passage 7 from the entrance.
At this time, since the camera 4 is arranged at the center of the passage 7, it is possible to take a face image of the entering entrant from the front.
S2: When the entrance door opening / closing unit 12 opens the entrance door 1, the biometric information reading unit 13 starts to take an image of the visitor with the camera 4 according to an instruction from the control unit 16, and the face of the visitor exists in the image. Perform face detection to confirm.

ここで、顔検出は、例えば複数人の顔画像から生成しておいた平均顔画像と撮影した画像との相関を求め、その相関値が所定の閾値を超えているとき撮影した画像に入場者の顔が存在することを確認するものとするが、その他の公知の顔検出技術を採用してもよい。
なお、本実施例では、顔検出を生体情報読取部13で行うようにしたが制御部16で行うようにしてもよい。
Here, for face detection, for example, a correlation between an average face image generated from face images of a plurality of people and a captured image is obtained, and a visitor enters the captured image when the correlation value exceeds a predetermined threshold value. However, other known face detection techniques may be employed.
In the present embodiment, the face detection is performed by the biological information reading unit 13, but may be performed by the control unit 16.

また、入場者が入口扉1を通過したことを図示しないセンサ等で検知すると制御部16の指示により入口扉開閉部12は入口扉1を閉塞させ、新たな入場者の入場を抑制するものとする。
S3:生体情報読取部13が行う顔検出の結果、撮影した画像に入場者の顔が存在することが確認できると処理をS4へ移行する。一方、撮影した画像に入場者の顔の存在を確認できない場合、処理をS2へ移行して入場者の画像の撮影および顔検出を継続する。
In addition, when it is detected by an unillustrated sensor or the like that a visitor has passed through the entrance door 1, the entrance door opening / closing unit 12 closes the entrance door 1 according to an instruction from the control unit 16 and suppresses the entrance of new visitors. To do.
S3: As a result of the face detection performed by the biometric information reading unit 13, if it can be confirmed that the face of the visitor exists in the captured image, the process proceeds to S4. On the other hand, if it is not possible to confirm the presence of the visitor's face in the photographed image, the process proceeds to S2 and the photographing of the visitor's image and face detection are continued.

S4:撮影した画像に入場者の顔が存在することが確認できると制御部16はその画像を入場者の顔画像として記憶部15に記憶させて保存するととものその顔画像の品質を確認する。
この顔画像の品質の確認は、撮影した顔画像が生体認証に適する品質を有するか否かを判別することを目的とし、撮影した顔画像の明るさ、コントラストや顔画像による生体認証に必要になる目、鼻、口等の顔の構成物(特徴点)が捕捉されていること、顔の正面からの揺らぎ(例えば、上下左右のずれ)等の項目を数値化し、それぞれの項目およびこれらの組み合わせの数値が所定の閾値を超えていることを確認するものとする。
S4: When it can be confirmed that the face of the visitor exists in the photographed image, the control unit 16 stores the image in the storage unit 15 as the face image of the visitor and saves it, and confirms the quality of the face image. .
The confirmation of the quality of the face image is intended to determine whether the captured face image has quality suitable for biometric authentication, and is necessary for biometric authentication based on the brightness, contrast, and face image of the captured face image. Quantify items such as eyes, nose, mouth and other facial components (feature points), fluctuations from the front of the face (eg vertical and horizontal shifts), It shall be confirmed that the numerical value of the combination exceeds a predetermined threshold value.

S5:顔画像の品質を確認した結果、品質が確保できていると判定されると入場者の撮影を終了して処理をS6へ移行し、一方品質が不十分であると判定されると処理をS3へ移行して入場者の画像の撮影および顔検出を継続する。
S6:顔画像の品質が確保できていると判定されると制御部16は記憶部15に記憶させておいた顔画像とともにその顔画像による生体認証を行うことを依頼する通知を生体認証サーバ20へ送信する。
S5: As a result of confirming the quality of the face image, if it is determined that the quality has been secured, the shooting of the attendee is terminated and the process proceeds to S6. If the quality is determined to be insufficient, the process is performed. The process proceeds to S3, and the image capturing and face detection of the visitors are continued.
S6: When it is determined that the quality of the face image can be secured, the control unit 16 sends a notification requesting biometric authentication using the face image together with the face image stored in the storage unit 15 to the biometric authentication server 20. Send to.

生体認証サーバ20は受信した顔画像と生体情報データベース21に予め登録された入場者の顔画像とを照合する生体認証処理を行う。なお、この生体認証処理は、テンプレートと呼ばれる生体認証用の形式に変換された情報を用いる処理としてもよく、公知の顔画像による生体認証処理を採用することができる。
生体認証処理を行った生体認証サーバ20は、撮影された入場者の顔画像が生体情報データベース21に予め登録されているか否か、すなわち入場者が扉システムの通過を許可された者であるか否かの生体認証処理の結果を扉装置6へ送信する。
The biometric authentication server 20 performs a biometric authentication process for collating the received face image with the face image of the visitor registered in advance in the biometric information database 21. This biometric authentication process may be a process using information converted into a biometric authentication format called a template, and a known biometric authentication process using a face image may be employed.
The biometric authentication server 20 that has performed the biometric authentication process determines whether the photographed face image of the visitor is registered in the biometric information database 21 in advance, that is, whether the visitor is permitted to pass through the door system. The result of the biometric authentication process of no is transmitted to the door apparatus 6.

S7:生体認証処理の結果を受信した扉装置6の制御部16は、その生体認証処理の結果により撮影された入場者の顔画像が生体情報データベース21に予め登録されていると判定すると処理をS8へ移行し、登録されていないと判定すると処理をS9へ移行する。
S8:撮影された入場者の顔画像が生体情報データベース21に予め登録されていると判定されると制御部16の指示により出口扉開閉部14は図4(c)に示すように出口扉2を開放するとともにカメラアーム3を回動させてカメラ4を通路7の側部に退避させる。このように入場者の顔画像を撮影するためのカメラ4は通路7から退避するため、入場者の進行を妨げないようになっている。
S7: Upon receiving the result of the biometric authentication process, the control unit 16 of the door device 6 determines that the face image of the visitor photographed based on the result of the biometric authentication process is registered in advance in the biometric information database 21. If the process proceeds to S8 and it is determined that it is not registered, the process proceeds to S9.
S8: When it is determined that the photographed face image of the visitor is registered in advance in the biometric information database 21, the exit door opening / closing unit 14 is instructed by the control unit 16 as shown in FIG. And the camera arm 3 is rotated to retract the camera 4 to the side of the passage 7. As described above, the camera 4 for taking a face image of the attendee is retracted from the passage 7, so that it does not hinder the progress of the attendee.

入場者は開放された出口扉2を通過し、本扉システムを退出するものとする。図示しないセンサ等により出口扉2を通過したことを検知した制御部16の指示により出口扉2を閉塞するともにカメラアーム3を回動させてカメラ4を通路7の中央部に配置して次の入場者を待機する。
S9:撮影された入場者の顔画像が生体情報データベース21に登録されていないと判定されると制御部16の指示により出口扉開閉部14は出口扉2を開放することなく閉塞させたままとして入場者の通過を許可しない認証NG処理を行うものとする。
The visitors pass through the opened exit door 2 and leave the door system. When the control unit 16 detects that the exit door 2 has been passed by a sensor or the like (not shown), the exit door 2 is closed and the camera arm 3 is rotated to place the camera 4 in the central portion of the passage 7. Wait for visitors.
S9: When it is determined that the photographed face image of the visitor is not registered in the biological information database 21, the exit door opening / closing unit 14 is left closed without opening the exit door 2 according to the instruction of the control unit 16. It is assumed that an authentication NG process that does not allow a visitor to pass is performed.

このとき、制御部16の指示により入口扉1を開放して入場者を入口から退出させるようにしてもよく、また入口扉1を閉塞させたままとしてその入場者を退出できないようにしてもよい。
このようにして扉システムは許可された入場者だけを扉システムを通過させるようにするが、入場者の顔画像を撮影するときの作用を図7の実施例における顔画像撮影の説明図に基づいて説明する。
At this time, the entrance door 1 may be opened according to an instruction from the control unit 16 so as to leave the entrance from the entrance, or the entrance door 1 may be left closed so that the entrance cannot be exited. .
In this way, the door system allows only authorized visitors to pass through the door system. The action when photographing the face image of the visitor is based on the explanatory diagram of face image photographing in the embodiment of FIG. I will explain.

本実施例では、図7(a)の扉システムの側面図に示すように出口扉2の近傍から入口扉1の方向に向けてカメラ4を配置するようにしたため、カメラ4から被写体である入場者8までの距離を長く取ることができ、1台のカメラ4で身長の高い入場者から身長の低い入場者の顔画像を撮影することができるようになる。
また、図7(b)扉システムの平面図に示すようにカメラ4を通路7の中央部に配置するようにしたため、進入してくる入場者8の顔画像を正面から撮影することができ、品質が良好な入場者8の顔画像を撮影することができるようになる。
In this embodiment, the camera 4 is arranged from the vicinity of the exit door 2 toward the entrance door 1 as shown in the side view of the door system in FIG. The distance to the person 8 can be increased, and a single camera 4 can capture a face image of a person with a short height from a person with a high height.
Also, as shown in the plan view of the door system in FIG. 7 (b), the camera 4 is arranged in the central part of the passage 7, so that the face image of the entering participant 8 can be taken from the front, The face image of the visitor 8 with good quality can be taken.

なお、本実施例では、生体認証サーバ20で入場者の生体認証処理を行うようにしたが扉装置6の記憶部15に生体情報データベース21を備え制御部16で入場者の生体認証処理を行うようにしてもよい。
また、本実施例では、顔画像を生体情報とする例で説明したが顔の検出を必要とする虹彩の画像、顔皮膚の画像としてもよい。
In this embodiment, the biometric authentication server 20 performs the biometric authentication process for the visitor, but the storage unit 15 of the door device 6 includes the biometric information database 21 and the control unit 16 performs the biometric authentication process for the visitor. You may do it.
Further, in the present embodiment, the example in which the face image is biometric information has been described. However, an iris image and face skin image that require face detection may be used.

さらに、本実施例では、出口扉2の上方にカメラアーム3およびカメラ4を設けるようにしたが出口扉2の上部にカメラ4を埋め込むようにしてもよい。
また、カメラアーム3が回動してカメラ4が通路7から退避するように構成したが、カメラアーム3を開閉する扉の近傍に摺動自在に支持し、出口扉2が閉塞したときカメラアーム3を摺動することでカメラ4が通路7の中央部近傍に移動させ、出口扉2が開放したときカメラアーム3を摺動することでカメラ4が通路7の側部へ退避するようにしてもよい。
Furthermore, in this embodiment, the camera arm 3 and the camera 4 are provided above the exit door 2, but the camera 4 may be embedded in the upper part of the exit door 2.
Further, although the camera arm 3 is rotated and the camera 4 is retracted from the passage 7, the camera arm 3 is slidably supported in the vicinity of the door for opening and closing, and the camera arm 3 is closed when the exit door 2 is closed. 3, the camera 4 is moved to the vicinity of the center of the passage 7, and the camera 4 is retracted to the side of the passage 7 by sliding the camera arm 3 when the exit door 2 is opened. Also good.

以上説明したように、本実施例では、出口扉2の近傍から入口扉1の方向に向けてカメラ4を配置するようにしたため、カメラ4から被写体である入場者8までの距離を長く取ることができ、複雑な機構や制御を必要とすることなく1台のカメラ4で身長の高い入場者から身長の低い入場者の顔画像を撮影することができるようになるという効果が得られる。   As described above, in this embodiment, since the camera 4 is arranged from the vicinity of the exit door 2 toward the entrance door 1, the distance from the camera 4 to the entrant 8 as the subject is increased. Thus, it is possible to obtain an effect that a single camera 4 can shoot a face image of a short stature visitor from a tall streak without requiring a complicated mechanism or control.

また、カメラ4を通路7の中央部に配置するようにしたため、進入してくる入場者8の顔画像を正面から撮影することができ、品質が良好な入場者8の顔画像を撮影することができるようになるという効果が得られる。
さらに、出口扉2を開放するとともにカメラアーム3を回動させてカメラ4を通路7の側部に退避させるようにしため、入場者8の進行を妨げることがないという効果が得られる。
In addition, since the camera 4 is arranged in the central portion of the passage 7, the face image of the entering participant 8 can be taken from the front, and the face image of the visitor 8 having good quality can be taken. The effect of being able to do is obtained.
Furthermore, since the exit door 2 is opened and the camera arm 3 is rotated so that the camera 4 is retracted to the side portion of the passage 7, the effect of not obstructing the progress of the visitors 8 can be obtained.

実施例における扉システムの構成を示す平面図The top view which shows the structure of the door system in an Example 実施例における扉システムの構成を示す正面図The front view which shows the structure of the door system in an Example. 実施例における扉システムの構成を示す側面図The side view which shows the structure of the door system in an Example. 実施例における出口扉およびカメラアームの動作の説明図Explanatory drawing of operation | movement of the exit door and camera arm in an Example 実施例における扉システムの制御系の構成を示すブロック図The block diagram which shows the structure of the control system of the door system in an Example 実施例における扉システムの動作を示すフローチャートThe flowchart which shows operation | movement of the door system in an Example. 実施例における顔画像撮影の説明図Explanatory drawing of face image shooting in the embodiment 従来の扉システムの構成を示す説明図Explanatory drawing which shows the structure of the conventional door system 従来の扉システムの構成を示す説明図Explanatory drawing which shows the structure of the conventional door system 従来の扉システムの構成を示す説明図Explanatory drawing which shows the structure of the conventional door system 従来の扉システムの問題を示す説明図Explanatory diagram showing problems with conventional door systems

符号の説明Explanation of symbols

1 入口扉
2 出口扉
3 カメラアーム
4 カメラ
5 側面パネル
6 扉装置
7 通路
8 入場者
11 入場者検知部
12 入口扉開閉部
13 生体情報読取部
14 出口扉開閉部
15 記憶部
16 制御部
20 生体認証サーバ
21 生体情報データベース
DESCRIPTION OF SYMBOLS 1 Entrance door 2 Exit door 3 Camera arm 4 Camera 5 Side panel 6 Door apparatus 7 Passage 8 Visitor 11 Visitor detection part 12 Entrance door opening / closing part 13 Biometric information reading part 14 Exit door opening / closing part 15 Memory | storage part 16 Control part 20 Living body Authentication server 21 Biometric information database

Claims (6)

入場者の顔画像を生体情報として読取る生体情報読取機と、その生体情報読取機で読取った生体情報で行う生体認証の結果に基づいて開放および閉塞させる扉を有する扉装置において、
生体情報読取機を支持するとともに扉を閉塞したとき生体情報読取機を扉の中央部近傍へ移動させ、扉を開放したとき生体情報読取機を扉の側部へ移動させる生体情報読取機支持部を設け、
前記生体情報読取機支持部は、開閉する扉の近傍に摺動自在に支持され、生体情報読取機が固着された端部を扉の開閉とともに扉の中央部近傍と扉の側部との間を移動させ、
扉を閉塞させたとき扉の中央部近傍に移動した生体情報読取機で扉に向かう入場者の顔画像を始めとする正面からの生体情報画像を撮影できるようにしたことを特徴とする扉装置。
In a door device having a biometric information reader that reads a face image of a visitor as biometric information, and a door that is opened and closed based on the result of biometric authentication performed with the biometric information read by the biometric information reader.
A biological information reader support unit that supports the biological information reader and moves the biological information reader to the vicinity of the center of the door when the door is closed, and moves the biological information reader to the side of the door when the door is opened. Provided,
The biological information reader support section is slidably supported in the vicinity of the door to be opened and closed, and the end portion to which the biological information reader is fixed is located between the vicinity of the central portion of the door and the side portion of the door together with the opening and closing of the door. Move
A door device characterized in that a biological information image from the front including a face image of a visitor heading to the door can be photographed by a biological information reader moved near the center of the door when the door is closed. .
場者の顔画像を生体情報として読取るカメラと、そのカメラで読取った生体情報で行う生体認証の結果に基づいて開放および閉塞させる扉を有する扉装置において、
カメラを支持するとともに扉を閉塞したときカメラを扉の中央部近傍へ移動させ、扉を開放したときカメラを扉の側部へ移動させるカメラ支持部を設け、
前記カメラ支持部は、開閉する扉の近傍に摺動自在に支持され、カメラが固着された端部を扉の開閉とともに扉の中央部近傍と扉の側部との間を移動させ、
扉を閉塞させたとき扉の中央部近傍に移動したカメラで扉に向かう入場者の顔画像を始めとする正面からの生体情報画像を撮影できるようにしたことを特徴とする扉装置。
A camera for reading the input field's face image as the biometric information, in the door device having an open and a door that is closed based on a result of biometric authentication performed by the biometric information read by the camera,
Provide a camera support that supports the camera and moves the camera to the vicinity of the center of the door when the door is closed, and moves the camera to the side of the door when the door is opened,
The camera support portion is slidably supported in the vicinity of the door to be opened and closed, and moves the end portion to which the camera is fixed between the vicinity of the center portion of the door and the side portion of the door together with the opening and closing of the door,
A door device characterized in that when a door is closed, a biological information image from the front including a face image of a visitor facing the door can be taken with a camera moved to the vicinity of the center of the door.
入場者の顔画像を生体情報として読取る生体情報読取機と、その生体情報読取機で読取った生体情報で行う生体認証の結果に基づいて開放および閉塞させる扉を有する扉装置において、In a door device having a biometric information reader that reads a face image of a visitor as biometric information, and a door that is opened and closed based on the result of biometric authentication performed with the biometric information read by the biometric information reader.
一方が前記扉の側部の支柱に回動自在に支持され、他方に生体情報読取機が固着された生体情報読取機支持部を設け、One is pivotally supported on the side column of the door, and the other is provided with a biological information reader support portion to which a biological information reader is fixed,
前記生体情報読取機支持部は、The biological information reader support unit is
前記扉の閉塞動作とともに回動して前記生体情報読取機を前記扉装置の中央部近傍に移動させ、前記扉の開放動作とともに回動して前記生体情報読取機を前記扉装置の側部へ移動させ、The biological information reader is rotated with the closing operation of the door to move the biological information reader to the vicinity of the center of the door device, and the biological information reader is rotated with the opening operation of the door to the side of the door device. Move
前記扉を閉塞させたとき前記扉の中央部近傍に移動した生体情報読取機で前記扉に向かう入場者の正面からの生体情報画像を撮影できるようにするとともに、前記扉を閉塞させたときには、入場者の進行を妨げないようにしたことを特徴とする扉装置。When the door is closed, the biological information reader moved to the vicinity of the central portion of the door can be used to capture a biological information image from the front of the visitors heading to the door, and when the door is closed, A door device characterized by not obstructing the progress of visitors.
入場者の顔画像を生体情報として読取るカメラと、そのカメラで読取った生体情報で行う生体認証の結果に基づいて開放および閉塞させる扉を有する扉装置において、In a door device having a camera that reads a face image of a visitor as biometric information, and a door that is opened and closed based on the result of biometric authentication performed using the biometric information read by the camera.
一方が前記扉の側部の支柱に回動自在に支持され、他方にカメラが固着されたカメラ支持部を設け、One is rotatably supported by the column on the side of the door, and the other is provided with a camera support portion to which the camera is fixed.
前記カメラ支持部は、The camera support is
前記扉の閉塞動作とともに回動して前記カメラを前記扉装置の中央部近傍に移動させ、前記扉の開放動作とともに回動して前記カメラを前記扉装置の側部へ移動させ、Rotating with the door closing operation to move the camera to the vicinity of the center of the door device, rotating with the door opening operation to move the camera to the side of the door device,
前記扉を閉塞させたとき前記扉の中央部近傍に移動したカメラで前記扉に向かう入場者の正面からの生体情報画像を撮影できるようにするとともに、前記扉を閉塞させたときには、入場者の進行を妨げないようにしたことを特徴とする扉装置。When the door is closed, a camera moved to the vicinity of the center of the door can be used to capture a biometric information image from the front of the visitor toward the door, and when the door is closed, A door device characterized by not obstructing the progress.
請求項1または請求項3の扉装置において、
生体情報読取機で読取った入場者の生体情報を生体認証サーバへ送信し、該生体認証サーバから受信した生体認証の結果に応じて扉を開閉するようにしたことを特徴とする扉装置。
In the door apparatus of Claim 1 or Claim 3 ,
A door device that transmits biometric information of a visitor read by a biometric information reader to a biometric authentication server, and opens and closes the door according to the result of biometric authentication received from the biometric authentication server.
入場者の顔画像を生体情報として取得し、その生体情報に基づいて予め登録されている入場者であることを認証すると扉を開放する扉システムにおいて、
入場が許可された入場者の生体情報を予め登録しておく生体情報データベースを備え、受信した生体情報を該生体情報データベースに登録された生体情報と照合して登録されていることを確認する生体認証を行い、その結果を返送する生体認証サーバと、
請求項1、請求項3または請求項5のいずれか1項に記載の扉装置を備え、
扉装置が生体情報読取機で読取った入場者の生体情報を生体認証サーバへ送信し、該生体認証サーバから受信した生体認証の結果に応じて扉を開閉するようにしたことを特徴とする扉システム。
In the door system that acquires the face image of the visitor as biometric information and opens the door when authenticating that the visitor is registered in advance based on the biometric information,
A biometric information database that pre-registers biometric information of visitors who are permitted to enter, and a biometric information that is registered by checking the received biometric information against the biometric information registered in the biometric information database A biometric authentication server that authenticates and returns the results;
A door device according to any one of claims 1, 3 or 5 ,
A door characterized in that a door device transmits biometric information of a visitor read by a biometric reader to a biometric authentication server, and opens and closes the door according to the result of biometric authentication received from the biometric authentication server. system.
JP2007318489A 2007-12-10 2007-12-10 Door device and door system Expired - Fee Related JP5024012B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007318489A JP5024012B2 (en) 2007-12-10 2007-12-10 Door device and door system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007318489A JP5024012B2 (en) 2007-12-10 2007-12-10 Door device and door system

Publications (2)

Publication Number Publication Date
JP2009138490A JP2009138490A (en) 2009-06-25
JP5024012B2 true JP5024012B2 (en) 2012-09-12

Family

ID=40869380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007318489A Expired - Fee Related JP5024012B2 (en) 2007-12-10 2007-12-10 Door device and door system

Country Status (1)

Country Link
JP (1) JP5024012B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997443B2 (en) 2016-08-24 2021-05-04 Advanced New Technologies Co., Ltd. User identity verification method, apparatus and system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7038293B2 (en) * 2019-03-04 2022-03-18 パナソニックIpマネジメント株式会社 Gate open / close control device and gate open / close control method
US20220279095A1 (en) 2019-12-24 2022-09-01 Nec Corporation Gate apparatus, control method of same, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0349553U (en) * 1989-09-22 1991-05-15
JP3617373B2 (en) * 1999-06-03 2005-02-02 オムロン株式会社 Gate device
JP3755343B2 (en) * 1999-06-30 2006-03-15 オムロン株式会社 Pedestrian observation device, pedestrian recognition system using the device, door opening / closing control system, and building

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997443B2 (en) 2016-08-24 2021-05-04 Advanced New Technologies Co., Ltd. User identity verification method, apparatus and system

Also Published As

Publication number Publication date
JP2009138490A (en) 2009-06-25

Similar Documents

Publication Publication Date Title
JP6151582B2 (en) Face recognition system
ES2822293T3 (en) Device to control the passage of people
KR101218296B1 (en) Management System for Entrance and Method thereof
JP7075702B2 (en) Entry / exit authentication system and entry / exit authentication method
KR20090034765A (en) Face authenticating apparatus, face authenticating method and face authenticating system
JP2013069155A (en) Face authentication database construction method, face authentication device, and face authentication program
JP2013214276A (en) Access control system structure and its apparatus
KR102077523B1 (en) Information communication system for Entrance and exit management
JP2006235718A (en) Facial authentication device, its facial authentication method, electronic equipment integrated with the facial authentication device and recording medium with the facial authentication program stored thereon
JP2009265769A (en) Biometrics device and access control system
KR101596363B1 (en) Access Control Apparatus and Method by Facial Recognition
JP2018077552A (en) Gate control system and method thereof
JP5024012B2 (en) Door device and door system
JP2006309562A (en) Biological information registering device
JP2005146709A (en) Apparatus for managing entry into/exit from room
JP2007285006A (en) Opening-closing control device of automatic door
JP2006215858A (en) Entrance and exit management system and entrance and exit management method
KR20110006971A (en) Method for extracting front face in entrance control system for entrance and exit admittance
JP6387259B2 (en) Security system
JP2004185484A (en) Method for managing entry/exit and entry/exit management system
KR101011272B1 (en) Method for restricting plurality of user in entrance control system
JP2006219826A (en) System and method for managing entry into/exit from room
US20220028197A1 (en) Access control solution for a passage device
JP5984171B2 (en) Entrance / exit management device
JP5533488B2 (en) Automatic gate system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees