JP5001195B2 - Entrance management system - Google Patents
Entrance management system Download PDFInfo
- Publication number
- JP5001195B2 JP5001195B2 JP2008038661A JP2008038661A JP5001195B2 JP 5001195 B2 JP5001195 B2 JP 5001195B2 JP 2008038661 A JP2008038661 A JP 2008038661A JP 2008038661 A JP2008038661 A JP 2008038661A JP 5001195 B2 JP5001195 B2 JP 5001195B2
- Authority
- JP
- Japan
- Prior art keywords
- face image
- face
- room
- enter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Description
この発明は、複数人の入室希望者を同時に認証する複数人同時顔認証装置を用いた入室管理システムに関するものである。 The present invention relates to an entry management system that uses a plurality's co-face authentication equipment to authenticate more than one person of entry seekers at the same time.
従来より、ビルなどに設けられた入室管理システムでは、個人の身体的特徴、例えば顔や目の虹彩を読み取って本人確認を行い、予め登録されている入室許可者である場合にのみ、その人の入室を許可するようにしている。この入室管理システムでは、複数人が一度に入室するような場合、1人ずつ身体的特徴を読み取って本人確認を行うために、その人数が多いと、後方に位置する人の待ち時間が長くなるという問題がある。 Conventionally, in an entrance management system provided in a building or the like, an individual's physical characteristics, for example, the iris of the face or eyes are read to confirm the identity of the person, and only when the person is a pre-registered admitted person Is allowed to enter. In this room management system, when a plurality of people enter the room at a time, the physical characteristics are read one by one to confirm the identity of the person. There is a problem.
これに対し、1人の本人確認を行うだけで、複数人の入室を一度に許可するということが考えられる。しかしながら、1人の本人確認を行うだけで、複数人の入室を一度に許可すると、その複数人の中に不審者が紛れ込む虞れがある。そこで、例えば特許文献1に示された入室管理システムでは、入室する人数を入力する入力手段と、実際に入室する人数を計数する計数手段とを設け、1人の本人確認が得られた後に入室扉を解錠し、その後、計数手段によって計数された人数が入力手段から入力された人数に達した時に入室扉を施錠するようにしている。
On the other hand, it is conceivable to allow a plurality of people to enter the room at the same time only by confirming one person's identity. However, if multiple persons are allowed to enter the room at the same time only by confirming one person's identity, there is a possibility that a suspicious person will be mixed into the plurality of persons. Therefore, for example, in the entrance management system disclosed in
しかしながら、上述した特許文献1に示された入室管理システムでは、1人の本人確認は行うが、他の人は本人確認を行わず、入室する人の数をチェックしているだけで、本人確認を行わなかった人が入室許可者として登録されているかどうかはチェックしていないので、セキュリティ上問題がある。更に、入室許可者として登録されていない人が入室した場合にその人を特定する証拠が何も残らないので、その人を以後監視したり、特定したりすることができないという不都合が生じる。
However, in the entrance management system disclosed in
本発明は、このような課題を解決するためになされたもので、その目的とするところは、複数人の入室を一度に許可するか否かチェックする際、入室許可者として登録されていない人が混在していても入室をそれほど厳しくすることなく制限することができるとともに、入室許可者として登録されていない入室者の特定情報を記憶することができる入室管理システムを提供することにある。 The present invention has been made in order to solve such problems, and the object of the present invention is a person who is not registered as an entry permitter when checking whether or not to permit entry of a plurality of persons at once. in but it is possible to limit without much stricter entry be mixed, to provide the incoming room management system that Ru can store specific information of entry who are not registered as entry permitter .
このような目的を達成するために、本発明の入室管理システムは、複数人の入室希望者の顔画像を同時に撮像する撮像手段と,この撮像手段によって撮像された画像からその画像に含まれる全員の顔画像を抽出する顔画像抽出手段と,この顔画像抽出手段によって抽出された各顔画像を予め登録されている入室許可者の顔画像と照合する顔画像照合手段とを備える複数人同時顔認証装置と、この複数人同時顔認証装置によって認証成功と判断された場合にのみ入室扉を解錠する制御装置と、入室扉の前の所定のエリアに位置している入室希望者の実人数を検知する実人数検知手段とを備え、複数人同時顔認証装置は、顔画像抽出手段によって抽出された全員の顔画像の数と実人数検知手段によって検知された入室希望者の実人数とが一致していない場合、認証不成功と判断する手段と、顔画像抽出手段によって抽出された全員の顔画像の数と実人数検知手段によって検知された入室希望者の実人数とが一致しており、かつ顔画像抽出手段によって抽出された全ての顔画像について顔画像照合手段によって入室許可者の顔画像との一致が確認された場合に認証成功と判断する第1の認証手段と、顔画像抽出手段によって抽出された全員の顔画像の数と実人数検知手段によって検知された入室希望者の実人数とが一致しており、かつ顔画像照合手段によって入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在することが確認された場合、少なくとも一致しない顔画像を記録したうえ、認証成功と判断する第2の認証手段とを備えることを特徴とする。 In order to achieve such an object, an entrance management system according to the present invention includes an imaging unit that simultaneously captures a face image of a plurality of applicants, and all members included in the image from the images captured by the imaging unit. Multiple-person simultaneous face comprising: a face image extracting means for extracting a face image of the person and a face image collating means for collating each face image extracted by the face image extracting means with a face image of a person permitted to enter the room The authentication device, the control device that unlocks the entrance door only when it is determined that the authentication is successful by the multiple face authentication device, and the actual number of people who want to enter the room located in a predetermined area in front of the entrance door The simultaneous face authentication apparatus for detecting the number of persons includes a number of face images extracted by the face image extracting means and a real number of persons who wish to enter the room detected by the real number detecting means. Match If not, the means for determining that authentication is unsuccessful, the number of face images of all the members extracted by the face image extracting means, and the actual number of people who want to enter the room detected by the actual number detecting means match, and the face A first authentication unit that determines that the authentication is successful when the face image collation unit confirms a match with the face image of the person permitted to enter the room for all the face images extracted by the image extraction unit, and the face image extraction unit extracts The number of face images of all the persons and the actual number of persons who wish to enter the room detected by the actual number detection means match, and the face image matching means does not match the face image of the person permitted to enter the room. When it is confirmed that a face image is mixed, at least a face image that does not match is recorded, and a second authentication unit that determines that authentication is successful is provided.
この発明によれば、入室扉の前の所定のエリアに位置している入室希望者の実人数が検知される一方、複数人の入室希望者の顔画像が同時に撮像され、この撮像された画像からその画像に含まれる全員の顔画像が抽出され、この抽出された各顔画像が予め登録されている入室許可者の顔画像と照合される。ここで、抽出された全員の顔画像の数と検知された入室希望者の実人数とが一致しており、かつ抽出された全ての顔画像について入室許可者の顔画像との一致が確認されると、認証成功と判断され、入室扉が解錠される。なお、抽出された全ての顔画像について入室許可者の顔画像との一致が確認されず、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在している場合には、少なくとも一致しない顔画像が記録されたうえ、認証成功と判断され、入室扉が解錠される。これにより、抽出された全員の顔画像が入室許可者の顔画像と一致した場合だけではなく、一致する顔画像と一致しない顔画像とが混在している場合にも条件付きで認証成功と判断され、複数人の入室を一度に許可するか否かチェックする際、入室許可者として登録されていない人が混在しても入室をそれほど厳しくすることなく制限することができるようになる。
また、本発明では、抽出された全員の顔画像の数と検知された入室希望者の実人数とが一致していない場合、認証不成功と判断される。このようにすることにより、複数人の入室希望者の顔画像を同時に撮像する際に、例えば、人の影に隠れたり、しゃがみ込んでわざと写らないようにした人がいたような場合、抽出された全員の顔画像の数と入室希望者の実人数とが一致しないので、撮像された画像から抽出された全員の顔画像が入室許可者の顔画像と一致したとしても、また入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していたとしても、認証成功と判断されることがない。
According to the present invention, the actual number of people who want to enter the room located in a predetermined area in front of the entrance door is detected, while the face images of a plurality of people who want to enter the room are taken at the same time. The face images of all the members included in the image are extracted from the images, and each of the extracted face images is collated with the face image of the person permitted to enter the room registered in advance. Here, it is confirmed that the number of extracted face images of all the persons coincides with the detected actual number of people who want to enter the room, and that all the extracted face images match the face images of the person permitted to enter the room. Then, it is determined that the authentication is successful, and the entrance door is unlocked. In addition, when the match with the face image of the person permitted to enter is not confirmed for all the extracted face images, and the face image that matches the face image of the person permitted to enter the room is mixed, At least a face image that does not match is recorded, it is determined that the authentication is successful, and the entrance door is unlocked. As a result, not only when the extracted face images of all persons match the face image of the person permitted to enter the room, but also when there are mixed face images that do not match and face images that do not match, it is determined that authentication is successful. Therefore, when checking whether or not to allow a plurality of people to enter the room at once, even if there are people who are not registered as entry permitters, it is possible to restrict entry without making it so severe.
In the present invention, it is determined that the authentication is unsuccessful when the number of the extracted face images of all the members does not match the detected actual number of people who want to enter the room. In this way, when capturing the face images of multiple people who want to enter the room at the same time, for example, if there is a person who is hidden in the shadow of the person or crouched so that it does not appear intentionally Since the number of face images of all the members and the actual number of people who wish to enter the room do not match, even if the face images of all the members extracted from the captured images match the face image of the person who has entered the room, Even if a face image that matches the face image and a face image that does not match are mixed, it is not determined that the authentication is successful.
本発明の入退室管理システムにおいて、複数人同時顔認証装置は、第2の認証手段として、顔画像照合手段によって入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在することが確認された場合、その一致する顔画像が予め登録されている特定の人の顔画像であった場合に、少なくとも一致しない顔画像を記録したうえ、認証成功と判断する手段を設けるようにしてもよい。このようにすると、例えば特定の人として管理者の顔画像が確認された場合にのみ、認証成功と判断させるようにすることが可能となるとともに、入室許可者として登録されていない入室者の特定情報を記憶することができる。 In the entrance / exit management system of the present invention , the multiple face authentication device includes a face image matching means and a face image that does not match the face image of the person permitted to enter the room by the face image matching means as the second authentication means. If the matching face image is a face image of a specific person registered in advance, at least a face image that does not match is recorded, and a means for determining that authentication is successful is provided. Also good. In this way, for example, only when the administrator's face image is confirmed as a specific person, it can be determined that the authentication is successful, and identification of a room resident who is not registered as a room admitted person Information can be stored.
本発明の入退室管理システムにおいて、複数人同時顔認証装置は、撮像された画像からその画像に含まれる全員の顔画像を抽出するが、この顔画像は2次元の顔画像であってもよく、3次元の顔画像であってもよい。2次元の顔画像の場合、例えば壁に貼ってあるポスタの中の人物像の顔を誤って顔画像として抽出してしまう虞れがある。これに対して、3次元の顔画像とすると、凹凸のある実際の人間の顔しか抽出されず、ポスタの中の人物像の顔を誤って顔画像として抽出してしまう虞れがなくなる。 In the entrance / exit management system of the present invention , the multiple face authentication device extracts the face images of all persons included in the image from the captured image, but the face image may be a two-dimensional face image. It may be a three-dimensional face image. In the case of a two-dimensional face image, for example, there is a possibility that the face of a person image in a poster pasted on a wall is erroneously extracted as a face image. On the other hand, when a three-dimensional face image is used, only an actual human face having irregularities is extracted, and there is no possibility that the face of the person image in the poster is erroneously extracted as a face image.
抽出する画像を3次元の顔画像とする場合、撮像手段として、複数人の入室希望者の顔画像を一方向から同時に撮像する第1撮像手段と、この第1撮像手段とは別の方向から複数人の入室希望者の顔画像を同時に撮像する第2撮像手段とを設け、顔画像抽出手段として、第1撮像手段が撮像した画像と第2撮像手段が撮像した画像とから3次元の画像を作成する3次元画像作成手段と、この3次元画像作成手段によって作成された3次元の画像からその画像に含まれる全ての3次元の顔画像を全員の顔画像として抽出する3次元顔画像抽出手段とを設けるようにするとよい。 When the image to be extracted is a three-dimensional face image, as imaging means, a first imaging means for simultaneously imaging face images of a plurality of people who want to enter the room from one direction, and a direction different from the first imaging means. A second imaging unit that simultaneously captures face images of a plurality of people who want to enter the room, and as a face image extracting unit, a three-dimensional image from an image captured by the first imaging unit and an image captured by the second imaging unit; 3D image creation means for creating the image, and 3D face image extraction for extracting all 3D face images included in the image from the 3D image created by the 3D image creation means as the face images of all members Means may be provided.
本発明によれば、入室扉の前の所定のエリアに位置している入室希望者の実人数を検知する一方、複数人の入室希望者の顔画像を同時に撮像し、この撮像した画像からその画像に含まれる全員の顔画像を抽出し、この抽出した各顔画像を予め登録されている入室許可者の顔画像と照合するようにし、抽出した全員の顔画像の数と検知された入室希望者の実人数とが一致しており、かつ抽出した全ての顔画像について入室許可者の顔画像との一致が確認された場合に認証成功と判断し、また、抽出した全ての顔画像について入室許可者の顔画像との一致が確認されず、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在している場合には、少なくとも一致しない顔画像を記録したうえ、認証成功と判断し、抽出された全員の顔画像の数と検知された入室希望者の実人数とが一致していない場合には認証不成功と判断するようにしたので、抽出された全員の顔画像が入室許可者の顔画像と一致した場合だけではなく、一致する顔画像と一致しない顔画像とが混在している場合にも条件付きで認証成功と判断するようにして、複数人の入室を一度に許可するか否かチェックする際、入室許可者として登録されていない人が混在していても入室をそれほど厳しくすることなく制限することができるようになる。 According to the present invention, while detecting the actual number of people who want to enter the room in the predetermined area in front of the entrance door, the face images of a plurality of people who want to enter the room are picked up at the same time. All face images included in the image are extracted, and each extracted face image is collated with the face image of the person permitted to enter the room in advance. If the person's actual number matches and all the extracted face images match the face image of the person permitted to enter the room, it is determined that the authentication is successful, and all the extracted face images enter the room. If a match with the face image of the permitter is not confirmed, and a face image that matches the face image of the person permitted to enter the room is mixed with a face image that does not match, at least the face image that does not match is recorded and authenticated. Faces of all who are judged successful and extracted If the number of people detected and the actual number of people who want to enter the room do not match, it is determined that the authentication is unsuccessful. Not only when matching face images and face images that do not match are mixed, it is determined that authentication is successful, and when checking whether to allow multiple people to enter the room at the same time, Even if there are people who are not registered as entry permitters, it is possible to restrict entry without making it so severe.
以下、本発明を図面に基づいて詳細に説明する。 Hereinafter, the present invention will be described in detail with reference to the drawings.
〔参考例1〕
図1はこの発明に係る複数人同時顔認証装置を用いた入室管理システムの実施の形態の説明に入る前の参考例(参考例1)の要部を示す図である。同図において、1は複数人同時顔認証装置、2は制御装置、3は入室扉、4は入室扉に対して設けられた電気錠である。複数人同時顔認証装置1と電気錠3とは制御装置2を介して接続されている。
[ Reference Example 1 ]
FIG. 1 is a diagram showing a main part of a reference example (reference example 1) before entering into the description of an embodiment of a room entrance management system using a multiple-person simultaneous face authentication apparatus according to the present invention. In the figure, 1 is a multiple face recognition device, 2 is a control device, 3 is an entrance door, and 4 is an electric lock provided for the entrance door. The multi-person simultaneous
この入室管理システムにおいて、複数人同時顔認証装置1は、CPU1Aと、RAM1Bと、ROM1Cと、記憶装置1Dと、CCDカメラ1Eと、表示装置1Fと、インタフェース1G〜1Iとを備えている。
In this room entry management system, the multiple-person simultaneous
CPU1Aは、RAM1Bにアクセスしながら、ROM1Cに格納されているプログラムに従って動作する。ROM1Cには、複数人同時顔認証プログラムが格納されている。また、記憶装置1Dには、予め登録された入室許可者の顔画像が保存されている。この例では、登録された入室許可者の数をN人とし、このN人の入室許可者のそれぞれについて2次元の顔画像が1つずつ格納されている。
The
図8にこの参考例1の入室管理システムにおける複数人同時顔認証装置1の要部の機能ブロック図を示す。この入室管理システムにおいて、複数人同時顔認証装置1は、複数人の入室希望者の顔画像を同時に撮像するカメラからなる撮像部1−1と、この撮像部1によって撮像された画像からその画像に含まれる全員の顔画像を抽出する顔画像抽出部1−2と、予め登録されている入室許可者の2次元の顔画像を記憶する記憶部1−3と、顔画像抽出部1−2によって抽出された各顔画像(抽出顔画像)を記憶部1−3に記憶されている入室許可者の顔画像(登録顔画像)と照合する顔画像照合部1−4と、全ての抽出顔画像について登録顔画像との一致が確認された場合に認証成功と判断する第1の認証部1−5と、登録顔画像と一致する抽出顔画像と一致しない抽出顔画像とが混在することが確認された場合、少なくとも一致しない抽出顔画像をメモリ1−7に記録したうえ、認証成功と判断する第2の認証部1−6とを備えている。この複数人同時顔認証装置1において、顔画像抽出部1−2,顔画像照合部1−4、第1の認証部1−5および第2の認証部1−6はCPU1Aの処理機能として実現される。
FIG. 8 shows a functional block diagram of the main part of the multiple-person simultaneous
以下、図2に示すフローチャートを参照して、複数人同時顔認証プログラムに従ってCPU1Aが実行する処理動作について説明する。
Hereinafter, with reference to the flowchart shown in FIG. 2, the processing operation executed by the
今、複数人の入室希望者がCCDカメラ1Eの前に立って、複数人同時顔認証装置1に対して入室したい旨の操作を行ったとする。これを受けて、CPU1Aは、CCDカメラ1Eに撮像指令を送り、CCDカメラ1Eの前に立っている複数人の入室希望者の顔画像を同時に撮像する(ステップS101)。
Now, it is assumed that a plurality of people who wish to enter the room stand in front of the
CPU1Aは、このCCDカメラ1Eによって撮像された画像を取り込み、この取り込んだ画像からその画像に含まれる全員の顔画像を抽出する(ステップS102)。この例では、例えば特許文献2に示された技術を用いて、その画像に含まれる2次元の顔画像を抽出する。この時の抽出された2次元の顔画像(以下、抽出顔画像と呼ぶ)の数をt個とする。
The
次に、CPU1Aは、n=1とし(ステップS103)、記憶装置1Dに保存されているN個の入室許可者の顔画像(2次元の顔画像(以下、登録顔画像と呼ぶ))を読み出す(ステップS104)。そして、n>tでないことを確認のうえ(ステップS105のNO)、n=1番目の抽出顔画像とN個の登録顔画像との照合(1:N照合)を行う(ステップS106)。
Next, the
このn=1番目の抽出顔画像とN個の登録顔画像との照合において、その照合スコアが閾値thを超えるものがあれば(ステップS107のYES)、N個の登録顔画像の中にn=1番目の抽出顔画像と一致する顔画像が確認されたものとみなし、そのn=1番目の抽出顔画像のNO.をOK画像のNO.として記憶したうえ(ステップS108)、n=n+1=2とし(ステップS109)、ステップS105へ戻り、n=2番目の抽出顔画像とN個の登録顔画像との照合を行う(ステップS106)。 In the collation between the n = 1 extracted face image and the N registered face images, if the collation score exceeds the threshold th (YES in step S107), n of the N registered face images = It is considered that a face image matching the first extracted face image has been confirmed, and the NO. OK image NO. (Step S108), n = n + 1 = 2 (step S109), the process returns to step S105, and the n = 2nd extracted face image is compared with the N registered face images (step S106).
このn=2番目の抽出顔画像とN個の登録顔画像との照合において、その照合スコアが閾値thを超えるものがあれば(ステップS107のYES)、N個の登録顔画像の中にn=2番目の抽出顔画像と一致する顔画像が確認されたものとみなし、そのn=2番目の抽出顔画像のNO.をOK画像のNO.として記憶したうえ(ステップS108)、n=n+1=3とし(ステップS109)、ステップS105へ戻る。 In the collation between the n = 2nd extracted face image and the N registered face images, if the collation score exceeds the threshold th (YES in step S107), n of the N registered face images = It is considered that a face image matching the second extracted face image is confirmed, and the NO. OK image NO. (Step S108), n = n + 1 = 3 (step S109), and the process returns to step S105.
このn=2番目の抽出顔画像とN個の登録顔画像との照合において、その照合スコアが閾値thを超えるものがなければ(ステップS107のNO)、N個の登録顔画像の中にn=2番目の抽出顔画像と一致する顔画像が確認されなかったものとみなし、n=2番目の抽出顔画像のNO.をNG画像のNO.として記憶したうえ(ステップS110)、n=n+1=3とし(ステップS109)、ステップS105へ戻る。 In the collation between the n = 2nd extracted face image and the N registered face images, if the collation score does not exceed the threshold th (NO in step S107), n of the N registered face images = It is considered that a face image matching the second extracted face image has not been confirmed, and n = NO of the second extracted face image. No. of NG image. (Step S110), n = n + 1 = 3 (step S109), and the process returns to step S105.
ここで、例えば、抽出顔画像の数tを2個とすると、n>tとなるので(ステップS105のYES)、CPU1AはステップS111の処理へと進む。
Here, for example, if the number t of extracted face images is 2, n> t (YES in step S105), the
ステップS111において、CPU1Aは、全ての抽出顔画像について登録顔画像との一致が確認されれば(ステップS111のYES)、認証が成功したと判断し、「認証OK」を表示装置1Fの画面に表示する(ステップS112)。また、所定の信号を制御装置2へ送信し、認証が成功したことを知らせる(ステップS113)。この認証成功の知らせを受けて、制御装置2は、電気錠4へ解錠指令を送り、入室扉3を解錠する。また、CPU1Aは、ステップS108で記憶したOK画像のNO.を読み出し、この読み出したOK画像のNO.に対応する抽出顔画像に撮影日時などの情報を付し、入室を許可した人の顔画像の履歴としてファイル化する(ステップS114)。
In step S111, if the match of all the extracted face images with the registered face image is confirmed (YES in step S111), the
ステップS111において、CPU1Aは、全ての抽出顔画像について登録顔画像との一致が確認されなければ(ステップS111のNO)、その抽出顔画像の中に入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在するか否かをチェックする(ステップS115)。
In step S111, if the match with the registered face image is not confirmed for all the extracted face images (NO in step S111), the
ここで、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していることが確認されれば(ステップS115のYES)、認証が成功したと判断し、「認証OK」を表示装置1Fの画面に表示する(ステップS116)。また、所定の信号を制御装置2へ送信し、認証が成功したことを知らせる(ステップS117)。この認証成功の知らせを受けて、制御装置2は、電気錠4へ解錠指令を送り、入室扉3を解錠する。
Here, if it is confirmed that a face image that matches the face image of the person permitted to enter the room and a face image that does not match are mixed (YES in step S115), it is determined that the authentication is successful, and “authentication OK”. Is displayed on the screen of the
また、CPU1Aは、ステップS108で記憶したOK画像のNO.およびステップS110で記憶したNG画像のNO.を読み出し、この読み出したOK画像のNO.に対応する抽出顔画像とNG画像のNO.に対応する抽出顔画像とを対として撮影日時やOK画像/NG画像を区別する情報などを付し、入室を許可した人の顔画像の履歴としてファイル化する(ステップS118)。また、警報を発し、入室許可者と入室許可者として登録されていない人が混在することを知らせる(ステップS119)。
Further, the
これに対し、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在せず、全ての抽出顔画像が入室許可者の顔画像と一致しなかったことが確認された場合には(ステップS115のNO)、CPU1Aは、認証不成功と判断し、「認証NG」を表示装置1Fの画面に表示する(ステップS120)。また、ステップS110で記憶したNG画像のNO.を読み出し、この読み出したNG画像のNO.に対応する抽出顔画像を撮影日時などの情報を付し、入室を拒否した人の顔画像の履歴としてファイル化する(ステップS121)。また、警報を発し、入室許可者が誰もいないことを知らせる(ステップS122)。
On the other hand, when it is confirmed that the face image that matches the face image of the person permitted to enter the room is not mixed with the face image that does not match, and that all the extracted face images do not match the face image of the person permitted to enter the room. (NO in step S115), the
この例では、抽出顔画像の数tを2個としたが、t≧3の場合にも同様にして、全ての抽出顔画像について登録顔画像との一致が確認された場合および登録顔画像と一致する顔画像と一致しない顔画像とが混在する場合に認証成功と判断され、全ての抽出顔画像が登録顔画像と一致しなかった場合に認証不成功と判断される。 In this example, the number t of the extracted face images is two. Similarly, when t ≧ 3, all the extracted face images are confirmed to match the registered face images, and the registered face images It is determined that the authentication is successful when a matching face image and a non-matching face image are mixed, and when all the extracted face images do not match the registered face image, it is determined that the authentication is unsuccessful.
また、この認証成功/不成功の判断において、登録顔画像と一致する顔画像と一致しない顔画像とが混在する場合には、一致しないと判断された顔画像がNG画像として残される。この場合、認証成功と判断されるが、NG画像として記憶された顔画像を守衛所等に設けられた監視装置に送って、正当な来訪者か否か判断できるようにしたり、後で問題が起きた場合には、その残されたNG画像を参照することによって、その人物を特定する手がかりとなる。また、このNG画像にはOK画像が対として記憶されているので、一緒に入室した入室許可者を割り出すこともできる。 Further, in this authentication success / failure determination, when a face image that matches the registered face image and a face image that does not match are mixed, the face image determined not to match is left as an NG image. In this case, it is determined that the authentication is successful, but the face image stored as an NG image is sent to a monitoring device provided in a guardhouse or the like so that it can be determined whether or not it is a legitimate visitor. When it happens, it becomes a clue to identify the person by referring to the remaining NG image. In addition, since the OK image is stored as a pair in this NG image, it is possible to determine the person who has entered the room together.
このようにして、参考例1では、抽出された全員の顔画像が入室許可者の顔画像と一致した場合だけではなく、一致する顔画像と一致しない顔画像とが混在している場合にも条件付きで認証成功と判断し、抽出された全員の顔画像が入室許可者の顔画像と一致しない場合にのみ認証不成功と判断するようにして、複数人の入室を一度に許可するか否かチェックする際、入室許可者として登録されていない人が混在する場合でも入室をそれほど厳しくすることなく制限するとともに、入室許可者として登録されていない入室者の特定情報を記憶することができる。 In this way, in Reference Example 1 , not only when the extracted face images of all persons match the face image of the person permitted to enter the room, but also when the matching face image and the non-matching face image are mixed. Whether or not to allow multiple people to enter the room at a time by judging that authentication has succeeded with conditions and judging that the authentication is unsuccessful only when the extracted face images of all the members do not match the face image of the person permitted to enter the room In such a case, even if there are people who are not registered as entry permitters, it is possible to limit entry without making it so severe, and it is possible to store the specific information of those who are not registered as entry permitters.
なお、図2に示したフローチャートでは、ステップS111において、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していることが確認された場合、すぐに認証成功と判断するようにした。これに対し、図3に示すフローチャートのように、ステップS115とステップS116との間にステップS123を設け、入室許可者の顔画像と一致する顔画像が管理者であるか否かを確認するようにし、管理者であった場合に認証成功と判断するようにしてもよい。 In the flowchart shown in FIG. 2, if it is confirmed in step S111 that a face image that matches the face image of the person permitted to enter the room and a face image that does not match are mixed, it is immediately determined that the authentication is successful. I did it. On the other hand, as in the flowchart shown in FIG. 3, step S123 is provided between step S115 and step S116, and it is confirmed whether or not the face image that matches the face image of the person permitted to enter the room is an administrator. If the user is an administrator, it may be determined that the authentication is successful.
また、図2に示したフローチャートでは、ステップS114やステップS118でOK画像を残すようにしたが、必ずしもOK画像を残すようにしなくてもよい。すなわち、ステップS118やステップS121で、NG画像を残すのみとするようにしてもよい。 In the flowchart shown in FIG. 2, the OK image is left in step S114 or step S118. However, the OK image is not necessarily left. In other words, only the NG image may be left in step S118 or step S121.
また、図2に示したフローチャートでは、ステップS102において、CCDカメラ1Eによって撮像された画像から2次元の顔画像を抽出するようにしたが、2次元の顔画像ではなく、3次元の顔画像を抽出するようにしてもよい。2次元の顔画像の場合、例えば壁に貼ってあるポスタの中の人物像の顔を誤って顔画像として抽出してしまう虞れがある。これに対して、抽出する顔画像を3次元の顔画像とすると、凹凸のある実際の人間の顔しか抽出されず、ポスタの中の人物像の顔を誤って顔画像として抽出してしまう虞れがなくなる。
In the flowchart shown in FIG. 2, a two-dimensional face image is extracted from the image captured by the
〔参考例2〕
図4に、参考例2として、3次元の顔画像を抽出するようにした場合の入室管理システムの要部を示す。3次元の顔画像を抽出する場合、2台のCCDカメラ1E1,1E2を設け、CCDカメラ1E1によって複数人の入室希望者の顔画像を一方向から同時に撮像し、CCDカメラ1E2によってCCDカメラ1E1とは別の方向から複数人の入室希望者の顔画像を同時に撮像するようにする。
[ Reference Example 2 ]
FIG. 4 shows a main part of the room entry management system when a three-dimensional face image is extracted as Reference Example 2 . In the case of extracting a three-dimensional face image, two CCD cameras 1E1 and 1E2 are provided. The CCD camera 1E1 simultaneously captures face images of a plurality of people who want to enter the room from one direction, and the CCD camera 1E2 and the CCD camera 1E1. Takes images of the faces of a plurality of applicants from different directions at the same time.
また、CPU1Aの複数人同時顔認証プログラムに従う処理において、例えば特許文献3に示された技術を用いて、CCDカメラ1E1が撮像した画像とCCDカメラ1E2が撮像した画像とから3次元の画像を作成し、この作成された3次元の画像からその画像に含まれる全ての3次元の顔画像を全員の顔画像として抽出するようにする。また、記憶装置1Dには、登録顔画像として3次元の顔画像を保存する。この参考例2でも、参考例1と同様にして、図2や図3に示したフローチャートに従って、認証成功/不成功の判断を行う。
Further, in the process according to the simultaneous face authentication program of the
図9にこの参考例2の入室管理システム(図4)における複数人同時顔認証装置1の要部の機能ブロック図を示す。この入室管理システムおいて、複数人同時顔認証装置1は、複数人の入室希望者の顔画像を一方向から同時に撮像するカメラからなる第1撮像部1−9と、この第1撮像部1−9とは別の方向から複数人の入室希望者の顔画像を同時に撮像するカメラからなる第2撮像部1−10と、第1撮像部1−9が撮像した画像と第2撮像部1−10が撮像した画像とから3次元の画像を作成する3次元画像作成部1−11と、3次元画像作成部1−11によって作成された3次元の画像からその画像に含まれる全ての3次元の顔画像を全員の顔画像として抽出する3次元顔画像抽出部1−12と、予め登録されている入室許可者の3次元の顔画像を記憶する記憶部1−13と、3次元顔画像抽出部1−9によって抽出された各顔画像(抽出顔画像)を記憶部1−10に記憶されている入室許可者の顔画像(登録顔画像)と照合する顔画像照合部1−14と、全ての抽出顔画像について登録顔画像との一致が確認された場合に認証成功と判断する第1の認証部1−15と、登録顔画像と一致する抽出顔画像と一致しない抽出顔画像とが混在することが確認された場合、少なくとも一致しない抽出顔画像をメモリ1−17に記録したうえ、認証成功と判断する第2の認証部1−16とを備えている。この複数人同時顔認証装置1において、3次元画像作成部1−11,3次元顔画像抽出部1−12,顔画像照合部1−14、第1の認証部1−15および第2の認証部1−16はCPU1Aの処理機能として実現される。また、3次元画像作成部1−11と3次元顔画像抽出部1−12とによって本発明でいう顔画像抽出手段が構成される。
FIG. 9 shows a functional block diagram of a main part of the multiple-person simultaneous
〔実施の形態〕
上述した参考例1,2では、複数人の入室希望者の顔画像を同時に撮像する際に、例えば、人の影に隠れたり、しゃがみ込んでわざと写らないようにした人がいたような場合、認証成功と判断されてしまうことがある。これに対し、図5に示すように、入室扉3の前の所定のエリアAR1に位置している入室希望者の実人数tRを検知する実人数検知手段5を設け、複数人同時顔認証装置1において、撮像された顔画像から抽出された全員の顔画像の数tと実人数検知手段5によって検知された入室希望者の実人数tRとを比較し、両者が一致していない場合に認証不成功と判断するようにすれば、認証成功と判断されてしまうことがないようにすることができる。このような構成としたシステムが本実施の形態の入室管理システムである。
Embodiment
In the reference examples 1 and 2 described above, when simultaneously capturing the face images of a plurality of people who want to enter the room, for example, when there is a person who hides in the shadow of the person or crouches so that it does not appear intentionally, It may be determined that authentication is successful. On the other hand, as shown in FIG. 5, the real number detection means 5 for detecting the real number tR of the person who wants to enter the room located in the predetermined area AR1 in front of the
例えば、実人数検知手段5として、エリアAR1の上面にCCDカメラを設ける。このCCDカメラの撮像画像から入室希望者の頭部の画像を抽出し、その抽出した頭部の画像からエリアAR1に位置している入室希望者の実人数tRをカウントする。複数人同時顔認証装置1では、CPU1Aの複数人同時顔認証プログラムに従う処理(図2)において、例えば図6に示すように、ステップS105とステップS111との間にステップS124を設け、抽出顔画像の数tと入室希望者の実人数tRとを比較し、抽出顔画像の数tと入室希望者の実人数tRとが一致していない場合(ステップS124のNO)、認証不成功と判断する(ステップS120,S121,S122)。これにより、全員の抽出顔画像が登録顔画像と一致したとしても、また入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していたとしても、認証成功と判断されてしまうことがなく、不審者の入室を防ぐことができる。
For example, as the real number detection means 5, a CCD camera is provided on the upper surface of the area AR1. An image of the head of the person who wants to enter the room is extracted from the image captured by the CCD camera, and the actual number tR of persons who wish to enter the room located in the area AR1 is counted from the extracted image of the head. In the multiple-person simultaneous
なお、図6では、ステップS105とステップS111との間にステップS124を設けるようにしたが、図7に示すように、ステップS102とステップS103との間にステップS124設けるようにしてもよい。このようにすると、CCDカメラ1Eによって撮像された画像から顔画像を抽出した後に、抽出した顔画像の数tと入室希望者の実人数tRとが一致しなければ、直ちに認証不成功と判断されるものとなる。
In FIG. 6, step S124 is provided between step S105 and step S111. However, as shown in FIG. 7, step S124 may be provided between step S102 and step S103. In this way, after the face image is extracted from the image captured by the
1…複数人同時顔認証装置、1A…CPU、1B…ROM、1C…RAM、1D…記憶装置、1E,1E1,1E2…CCDカメラ、1F…表示装置、1G〜1J…インタフェース、2…制御装置、3…入室扉、4…電気錠、5…実人数検知部、AR1…所定のエリア、1−1…撮像部、1−2…顔画像抽出部、1−3…記憶部、1−4…顔画像照合部、1−5…第1の認証部、1−6…第2の認証部、1−7…メモリ、1−9…第1撮像部、1−10…第2撮像部、1−11…3次元画像作成部、1−12…3次元顔画像抽出部、1−13…記憶部、1−14…顔画像照合部、1−15…第1の認証部、1−16…第2の認証部、1−17…メモリ。
DESCRIPTION OF
Claims (3)
この複数人同時顔認証装置によって認証成功と判断された場合にのみ入室扉を解錠する制御装置と、
前記入室扉の前の所定のエリアに位置している入室希望者の実人数を検知する実人数検知手段とを備え、
前記複数人同時顔認証装置は、
前記顔画像抽出手段によって抽出された全員の顔画像の数と前記実人数検知手段によって検知された入室希望者の実人数とが一致していない場合、認証不成功と判断する手段と、
前記顔画像抽出手段によって抽出された全員の顔画像の数と前記実人数検知手段によって検知された入室希望者の実人数とが一致しており、かつ前記顔画像抽出手段によって抽出された全ての顔画像について前記顔画像照合手段によって前記入室許可者の顔画像との一致が確認された場合に認証成功と判断する第1の認証手段と、
前記顔画像抽出手段によって抽出された全員の顔画像の数と前記実人数検知手段によって検知された入室希望者の実人数とが一致しており、かつ前記顔画像照合手段によって前記入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在することが確認された場合、少なくとも一致しない顔画像を記録したうえ、認証成功と判断する第2の認証手段と
を備えることを特徴とする入室管理システム。 By means of imaging means for simultaneously capturing the face images of a plurality of people who wish to enter the room, face image extracting means for extracting the face images of all members included in the images from the images taken by the imaging means, and the face image extracting means A multiple-person simultaneous face authentication device comprising face image matching means for matching each extracted face image with a face image of a person permitted to enter the room registered in advance;
A control device that unlocks the entrance door only when it is determined that the authentication is successful by the multiple face authentication device;
An actual number detecting means for detecting the actual number of persons who want to enter the room located in a predetermined area in front of the entrance door;
The multiple-person simultaneous face authentication device
Means for determining that the authentication is unsuccessful if the number of face images of all persons extracted by the face image extraction means and the actual number of persons who wish to enter the room detected by the real number detection means do not match;
The number of face images of all persons extracted by the face image extracting means matches the actual number of people who want to enter the room detected by the real number detecting means, and all the face images extracted by the face image extracting means First authentication means for determining that authentication is successful when the face image collation means confirms a match with the face image of the person permitted to enter the room,
The number of face images of all persons extracted by the face image extracting means matches the actual number of people who want to enter the room detected by the actual number detecting means, and the person permitted to enter the room by the face image checking means. A second authentication unit that records at least a face image that does not match and determines that the authentication is successful when it is confirmed that a face image that matches the face image matches a face image that does not match. An entrance management system .
この複数人同時顔認証装置によって認証成功と判断された場合にのみ入室扉を解錠する制御装置と、
前記入室扉の前の所定のエリアに位置している入室希望者の実人数を検知する実人数検知手段とを備え、
前記複数人同時顔認証装置は、
前記顔画像抽出手段によって抽出された全員の顔画像の数と前記実人数検知手段によって検知された入室希望者の実人数とが一致していない場合、認証不成功と判断する手段と、
前記顔画像抽出手段によって抽出された全員の顔画像の数と前記実人数検知手段によって検知された入室希望者の実人数とが一致しており、かつ前記顔画像抽出手段によって抽出された全ての顔画像について前記顔画像照合手段によって前記入室許可者の顔画像との一致が確認された場合に認証成功と判断する第1の認証手段と、
前記顔画像抽出手段によって抽出された全員の顔画像の数と前記実人数検知手段によって検知された入室希望者の実人数とが一致しており、かつ前記顔画像照合手段によって前記入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在することが確認され、その一致する顔画像が予め登録されている特定の人の顔画像であった場合、少なくとも一致しない顔画像を記録したうえ、認証成功と判断する第2の認証手段と
を備えることを特徴とする入室管理システム。 By means of imaging means for simultaneously capturing the face images of a plurality of people who wish to enter the room, face image extracting means for extracting the face images of all members included in the images from the images taken by the imaging means, and the face image extracting means A multiple-person simultaneous face authentication device comprising face image matching means for matching each extracted face image with a face image of a person permitted to enter the room registered in advance;
A control device that unlocks the entrance door only when it is determined that the authentication is successful by the multiple face authentication device;
An actual number detecting means for detecting the actual number of persons who want to enter the room located in a predetermined area in front of the entrance door;
The multiple-person simultaneous face authentication device
Means for determining that the authentication is unsuccessful if the number of face images of all persons extracted by the face image extraction means and the actual number of persons who wish to enter the room detected by the real number detection means do not match;
The number of face images of all persons extracted by the face image extracting means matches the actual number of people who want to enter the room detected by the real number detecting means, and all the face images extracted by the face image extracting means First authentication means for determining that authentication is successful when the face image collation means confirms a match with the face image of the person permitted to enter the room,
The number of face images of all persons extracted by the face image extracting means matches the actual number of people who want to enter the room detected by the actual number detecting means, and the person permitted to enter the room by the face image checking means. If the face image that matches the face image and the face image that does not match are mixed, and the matching face image is a face image of a specific person registered in advance, at least a face image that does not match A room entry management system comprising: a second authentication unit that records and determines that authentication is successful .
前記撮像手段は、
前記複数人の入室希望者の顔画像を一方向から同時に撮像する第1撮像手段と、
この第1撮像手段とは別の方向から前記複数人の入室希望者の顔画像を同時に撮像する第2撮像手段とを備え、
前記顔画像抽出手段は、
前記第1撮像手段が撮像した画像と前記第2撮像手段が撮像した画像とから3次元の画像を作成する3次元画像作成手段と、
この3次元画像作成手段によって作成された3次元の画像からその画像に含まれる全ての3次元の顔画像を前記全員の顔画像として抽出する3次元顔画像抽出手段と
を備えることを特徴とする入室管理システム。 In the entrance management system according to claim 1 or 2,
The imaging means includes
First imaging means for simultaneously imaging the face images of the plurality of people who want to enter the room from one direction;
A second imaging unit that simultaneously captures the face images of the plurality of people who want to enter the room from a direction different from the first imaging unit;
The face image extraction means includes
3D image creation means for creating a 3D image from the image captured by the first imaging means and the image captured by the second imaging means;
3D face image extracting means for extracting all 3D face images included in the 3D image created by the 3D image creating means as the face images of all the members. Entrance management system .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008038661A JP5001195B2 (en) | 2008-02-20 | 2008-02-20 | Entrance management system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008038661A JP5001195B2 (en) | 2008-02-20 | 2008-02-20 | Entrance management system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009199223A JP2009199223A (en) | 2009-09-03 |
JP5001195B2 true JP5001195B2 (en) | 2012-08-15 |
Family
ID=41142671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008038661A Expired - Fee Related JP5001195B2 (en) | 2008-02-20 | 2008-02-20 | Entrance management system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5001195B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5001194B2 (en) * | 2008-02-20 | 2012-08-15 | アズビル株式会社 | Entrance management system |
JP2013069155A (en) * | 2011-09-22 | 2013-04-18 | Sogo Keibi Hosho Co Ltd | Face authentication database construction method, face authentication device, and face authentication program |
JP6438693B2 (en) * | 2014-07-09 | 2018-12-19 | ワム・システム・デザイン株式会社 | Authentication apparatus, authentication method, and program |
WO2017146161A1 (en) * | 2016-02-26 | 2017-08-31 | 日本電気株式会社 | Facial verification system, facial verification device, facial verification method, and recording medium |
JP2019028936A (en) * | 2017-08-03 | 2019-02-21 | 日本電気株式会社 | Information processing device, person identification information determination method, person identification information registration method, and program |
JP6521029B2 (en) * | 2017-11-09 | 2019-05-29 | キヤノンマーケティングジャパン株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM |
CN109118616A (en) * | 2018-07-09 | 2019-01-01 | 深圳市商汤科技有限公司 | access control method and access control device |
US20230117261A1 (en) * | 2020-04-07 | 2023-04-20 | Nec Corporation | Information processing apparatus, information processing method, and storagemedium |
CN116563982A (en) * | 2023-06-26 | 2023-08-08 | 武汉科益未来医学检验实验室有限公司 | Laboratory access right control method and device based on electronic door lock |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4525351B2 (en) * | 2005-01-05 | 2010-08-18 | オムロン株式会社 | Security equipment |
JP4589224B2 (en) * | 2005-12-16 | 2010-12-01 | 株式会社山武 | 3D pattern matching device |
JP5001194B2 (en) * | 2008-02-20 | 2012-08-15 | アズビル株式会社 | Entrance management system |
-
2008
- 2008-02-20 JP JP2008038661A patent/JP5001195B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009199223A (en) | 2009-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5001195B2 (en) | Entrance management system | |
JP4751442B2 (en) | Video surveillance system | |
JP4357521B2 (en) | Unauthorized passing person detection device and unauthorized passing person recording system using the same | |
KR101079891B1 (en) | Elevator security system | |
JP5443110B2 (en) | Intercom system | |
KR100965428B1 (en) | The system and operating method using two different positioned intelligent cameras for automatic verification of authenticated person's entrance | |
EP2131321B1 (en) | Imaging device, imaging method, and imaging program | |
CN106429660B (en) | A kind of intelligent elevator safety management system and method | |
CN107688775A (en) | Binocular camera recognition of face right discriminating system and method based on elevator scene | |
JP2005242775A (en) | Gate system | |
JP2006309491A (en) | Biometrics system | |
CN105630277B (en) | Unlocking screen method and tripper for terminal | |
JP7054331B2 (en) | Room occupancy monitoring system | |
JP2009265769A (en) | Biometrics device and access control system | |
JP5314294B2 (en) | Face recognition device | |
KR102153880B1 (en) | Entering and Leaving Management System by Face Certification at office and Method thereof | |
JP4521086B2 (en) | Face image recognition apparatus and face image recognition method | |
JP5349080B2 (en) | Admission management system, admission management device, and admission management method | |
JP5001194B2 (en) | Entrance management system | |
US12019722B2 (en) | System, device and method for authentication with use of information code | |
JP5777310B2 (en) | Image security system and authentication method | |
JP2006209585A (en) | Crime prevention system | |
CN109147108A (en) | A kind of method and apparatus of entrance guard management | |
CN106157417B (en) | A kind of iris identification method, device, smart lock and intelligent identifying system | |
WO2021176593A1 (en) | Stay management device, stay management method, non-transitory computer-readable medium in which program is stored, and stay management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120517 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |