JP5261009B2 - Face image registration device - Google Patents
Face image registration device Download PDFInfo
- Publication number
- JP5261009B2 JP5261009B2 JP2008107201A JP2008107201A JP5261009B2 JP 5261009 B2 JP5261009 B2 JP 5261009B2 JP 2008107201 A JP2008107201 A JP 2008107201A JP 2008107201 A JP2008107201 A JP 2008107201A JP 5261009 B2 JP5261009 B2 JP 5261009B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- registration operation
- registration
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
Description
本発明は、顔画像登録装置に関するものである。 The present invention relates to a face image registration apparatus.
従来から、認証の対象者を撮像した画像から対象者の顔部分を抽出し、抽出された顔部分の画像（以下、「顔画像」と呼ぶ。）を、予め登録された登録者の顔画像と比較することにより、認証を行う顔認証装置が提供されている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, a face part of a target person is extracted from an image obtained by capturing the person to be authenticated, and the extracted face part image (hereinafter referred to as “face image”) is a face image of a registrant registered in advance. Compared with the above, a face authentication device that performs authentication is provided (see, for example, Patent Document 1).
この種の顔認証装置は、例えば電気錠やパソコンと組み合わせて、対象者が登録者であると認証されたときのみ電気錠を開錠したりログインを許可するといったようなセキュリティー用途に使用される。また、その設置場所は、一般に、認証による制御の対象（上記の電気錠で施錠される扉や、パソコン）の近くとされる。 This type of face authentication device is used for security purposes such as unlocking an electric lock or permitting login only when the subject is authenticated as a registrant in combination with an electric lock or a personal computer. . Further, the installation location is generally close to an object to be controlled by authentication (a door locked by the electric lock or a personal computer).
上記のような顔認証装置は、新規登録者の登録時に新規登録者の顔画像を撮像する顔画像登録装置を兼ねていることが多い。 The face authentication apparatus as described above often also serves as a face image registration apparatus that captures a face image of a new registrant when a new registrant is registered.
ここで、上記の顔認証装置が、上記の電気錠によって施錠される扉の前で顔認証を行うことを考えた場合、上記の扉の前の通路を右から来たとき、左から来たとき、正面から来たによって顔認証装置のカメラを見る顔の向きが変わる場合がある。また、登録画像を撮像する登録時に、顔認証装置のカメラの前で静止した状態の顔の向きは正対した、かしこまった顔になっている場合が多い。特に登録時は、顔認証装置に対して初めて触れる機会であり、装置に対する不慣れによって、顔がこわばっていることも十分に考えられる。しかし、顔認証装置に慣れてくると、顔の向きに関してルーズになって正対しなくなったりする。また、通路を歩いてくる方向によって上記のように顔向きが変わったり、さらに顔認証装置に慣れてくると、顔認証装置の反応時間（顔を検出してから扉が自動で開くまで、あるいは電気錠が開錠されるまで）に合わせて、顔認証装置のカメラの前で静止せずに歩く速度を緩めるだけで認証されることを望むようになり、顔の向きが登録時の正対とは大きく異なるようになる。 Here, when considering the face authentication in front of the door locked by the electric lock, the face authentication device came from the left when the passage in front of the door came from the right Sometimes, the direction of the face when looking at the camera of the face authentication device may change depending on whether it comes from the front. Further, at the time of registration for capturing a registered image, the orientation of the face that is stationary in front of the camera of the face authentication device is often a confronted face. Especially when registering, it is the first opportunity to touch the face authentication device, and it is quite possible that the face is stiff due to inexperience with the device. However, when getting used to the face authentication device, the face orientation becomes sloppy and may not face up. Also, if the face changes as described above depending on the direction of walking along the passage, or if you become more familiar with the face authentication device, the reaction time of the face authentication device (until the door automatically opens after detecting the face, or (Until the electric lock is unlocked), the user will want to be authenticated just by slowing the walking speed without standing still in front of the camera of the face authentication device. And will be very different.
そこで、上記のような顔の向きの変化に対応するために、登録者を登録する際に、複数台のカメラを用いて、顔の向きがそれぞれ異なる複数枚の顔画像を撮像するものがあった（例えば、特許文献１参照）。
しかし、上記のように複数台のカメラを用いると、設備コストが高くなってしまう。 However, when a plurality of cameras are used as described above, the equipment cost increases.
本発明は、上記事由に鑑みて為されたものであり、その目的は、顔の向きがそれぞれ異なる複数枚の顔画像の撮像が可能であってカメラが１台でよい顔画像登録装置を提供することにある。 The present invention has been made in view of the above-described reasons, and an object of the present invention is to provide a face image registration apparatus that can capture a plurality of face images having different face orientations and that requires only one camera. There is to do.
請求項１の発明は、顔認証に用いられる顔画像を登録者毎に１枚以上ずつ登録する顔画像登録装置であって、顔画像を登録する登録動作の開始の指示が識別情報とともに入力される入力部と、画像をデジタルデータとして出力するカメラ及びカメラが出力した画像から顔と判定される部分である顔画像を抽出して出力する顔抽出装置を有する撮像部と、撮像部によって撮像された顔画像が格納される記憶部と、登録者への指示を行う指示部と、入力部に識別情報とともに登録動作の開始の指示が入力されたときに、撮像部を制御して登録者の顔画像を複数枚撮像させる登録動作を開始するとともに、登録動作中に得られた顔画像のうち１枚以上の顔画像を、登録動作の開始時に入力部に入力された識別情報に関連付けられた登録画像として記憶部に格納することにより登録する制御部とを備え、制御部は、登録動作中、それぞれ顔の向きが異なる複数枚の顔画像が得られるように、指示部を制御して顔の向きを変えるように登録者に対して指示させ、登録動作の終了後、登録動作と同様にして複数枚の登録画像を得る第２登録動作を行うとともに、前記登録動作中に得られた各登録画像について、それぞれ前記第２登録動作中に撮像された各顔画像との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、前記登録動作中に得られた各登録画像の有効・無効を判断するとともに、前記登録動作中に得られた各登録画像が無効と判断された場合には前記登録動作中に得られた全ての登録画像を破棄する一方、前記登録動作中に得られた各登録画像が有効と判定された場合には、前記第２登録動作中に得られた各登録画像について、それぞれ前記第２登録動作中に得られた他の各顔画像との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、前記第２登録動作中に得られた各登録画像の有効・無効を判断するとともに、前記第２登録動作中に得られた各登録画像が無効と判断された場合には前記第２登録動作中に得られた全ての登録画像を破棄する一方、前記第２登録動作中に得られた各登録画像が有効と判定された場合には、前記登録動作で得られた登録画像と前記第２登録動作で得られた登録画像とのどちらが本人判断する性能が高いかを判断して本人判断する性能が高い一方のみを登録画像として残すことを特徴とする。 The invention of claim 1 is a face image registration apparatus for registering one or more face images used for face authentication for each registrant, and an instruction to start a registration operation for registering a face image is input together with identification information. An imaging unit having an input unit, a camera that outputs an image as digital data, a face extraction device that extracts and outputs a face image that is determined as a face from an image output by the camera, and an imaging unit A storage unit for storing the face image, an instruction unit for instructing the registrant, and when an instruction to start the registration operation is input together with the identification information to the input unit, the imaging unit is controlled to A registration operation for capturing a plurality of face images is started, and one or more face images among the face images obtained during the registration operation are associated with the identification information input to the input unit at the start of the registration operation. Mark as registered image A control unit that registers by storing in the unit, and the control unit controls the instruction unit to change the orientation of the face so that a plurality of face images having different face orientations can be obtained during the registration operation. The registrant is instructed to perform a second registration operation for obtaining a plurality of registered images in the same manner as the registration operation after the registration operation is completed, and for each registered image obtained during the registration operation, Each of the face images captured during the second registration operation is determined to match / not match, and the validity / non-match of each registered image obtained during the registration operation is determined according to the result of the match / mismatch determination. In addition to determining invalidity, if it is determined that each registered image obtained during the registration operation is invalid, all the registered images obtained during the registration operation are discarded while being obtained during the registration operation. Each registered image was determined to be valid In this case, for each registered image obtained during the second registration operation, a match / mismatch with each other face image obtained during the second registration operation is determined. In accordance with the determination result, whether each registered image obtained during the second registration operation is valid / invalid is determined, and when each registered image obtained during the second registration operation is determined to be invalid Discards all registered images obtained during the second registration operation, while each registered image obtained during the second registration operation is determined to be valid and is obtained by the registration operation. It is characterized in that it is determined which one of the registered image and the registered image obtained by the second registration operation has higher performance for judging the person and only one having the higher performance for judging the person is left as a registered image .
この発明によれば、顔の向きがそれぞれ異なる複数枚の顔画像の撮像が可能である。このような複数枚の顔画像を用いて認証を行う顔認証装置は、例えば移動中に顔の向きを変えることなく認証を受けることができるといったように、使い勝手のよいものとなる。また、顔の向きは登録者に対して指示を出すことにより変化させるから撮像部にはカメラは１台でよい。また、動作確認が出来ると同時に、登録者にとってさらに認証性能が向上する登録画像を得ることができる。登録者にとって、最初の登録動作の段階では顔登録装置自体に不慣れなために、最初の登録動作で得られた登録画像よりは第２登録動作で得られた登録画像のほうがより自然に慣れた顔であったり動作をするので、第２登録動作を行うことには効果がある。 According to the present invention, it is possible to capture a plurality of face images having different face orientations. Such a face authentication device that performs authentication using a plurality of face images is easy to use, such as being able to receive authentication without changing the orientation of the face during movement. Further, since the orientation of the face is changed by giving an instruction to the registrant, only one camera is required for the imaging unit . In addition, it is possible to obtain a registered image that can confirm the operation and improve the authentication performance for the registrant. Because the registrant is not accustomed to the face registration device itself at the stage of the first registration operation, the registration image obtained by the second registration operation is more naturally used than the registration image obtained by the first registration operation. Since it is a face or moves, it is effective to perform the second registration operation .
請求項２の発明は、請求項１の発明において、記憶部には、それぞれ顔の向きが異なる平均的な顔画像である複数枚の平均顔画像が予め格納されていて、制御部は、登録動作中に撮像部に撮像された顔画像のうち、いずれかの平均顔画像との相関値が所定の登録相関値以上であって平均顔画像毎に相関値が最も高い１枚ずつの顔画像のみを登録画像として記憶部に格納することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the storage unit stores in advance a plurality of average face images that are average face images having different face orientations, and the control unit registers One face image having a correlation value with one of the average face images that is greater than or equal to a predetermined registered correlation value and having the highest correlation value for each average face image among the face images captured by the imaging unit during operation Is stored in the storage unit as a registered image.
この発明によれば、いずれの平均顔画像からも大きく異なるような顔画像が登録されることが防止される。ここで平均顔画像は、眼鏡をかけていない、髭がない、目眉が明確に判断できる、特殊な化粧をしていない顔画像とする。 According to the present invention, it is possible to prevent registration of a face image that greatly differs from any average face image. Here, the average face image is a face image that is not wearing spectacles, has no wrinkles, and can clearly determine the eyebrows and does not have a special makeup.
請求項３の発明は、請求項２の発明において、平均顔画像のうち少なくとも１枚は必須顔画像とされていて、制御部は、登録動作の終了時、必須顔画像との相関値が登録相関値以上である登録画像が全ての必須顔画像について得られていなければ、登録動作を再度行うことを特徴とする。 The invention of claim 3 is the invention of claim 2, wherein at least one of the average face images is an essential face image, and the control unit registers a correlation value with the essential face image at the end of the registration operation. If a registered image having a correlation value or higher is not obtained for all the essential face images, the registration operation is performed again.
この発明によれば、様々な顔向きや変化に対応した顔画像が登録できるので、認証時にいずれかの登録画像に一致すれば本人と判断することにすれば、本人拒否率が低下する。一方、最低でも１枚を顔画像として登録できていないと、顔認証装置自体が正しく動作しないので、少なくとも１枚を必須顔画像とすることで、必要最低限の顔画像の登録を行うことができる。必須顔画像として正面の正対した顔画像が一般的だが、顔認証装置の設置場所によっては正面でなくともよい。 According to the present invention, since face images corresponding to various face orientations and changes can be registered, if the identity is determined to match one of the registered images at the time of authentication, the identity rejection rate decreases. On the other hand, if at least one face cannot be registered as a face image, the face authentication apparatus itself does not operate correctly. Therefore, by setting at least one face as an essential face image, the minimum necessary face image can be registered. it can. A face image facing the front is generally used as the essential face image, but it may not be the front depending on the installation location of the face authentication device.
請求項４の発明は、請求項２又は請求項３の発明において、制御部は、登録動作中、撮像部が撮像した顔画像に基いて登録者の動きを検出し、登録者の動きが検出されないときに指示部を制御して登録者に対し動きを促すことで様々な方向を向かせることを特徴とする。 According to a fourth aspect of the present invention, in the second or third aspect of the invention, during the registration operation, the control unit detects the registrant's movement based on the face image captured by the imaging unit, and the registrant's movement is detected. When it is not performed, the pointing unit is controlled to prompt the registrant to move in various directions.
この発明によれば、顔の向きを様々に変化させたり、カメラ前の立ち位置を様々に変化させることを促すので、平均顔画像との相関値が登録相関値以上となるような顔画像が、より多くの平均顔画像について得られやすくなる。 According to the present invention, it is urged to change the orientation of the face in various ways or to change the standing position in front of the camera in various ways, so that a face image whose correlation value with the average face image is equal to or greater than the registered correlation value can be obtained. It becomes easier to obtain more average face images.
請求項５の発明は、請求項１〜４のいずれかの発明において、制御部は、登録動作中に得られた顔画像において顔の器官が隠れる要因となる隠蔽要素のうち少なくとも１種類について有無を判定するとともに、隠蔽要素があると判定された場合には、指示部を制御し、隠蔽要素を排除するように指示させるとともに、得られた顔画像は、あると判定された隠蔽要素に関連付けた上で登録画像として記憶部に格納することを特徴とする。 According to a fifth aspect of the present invention, in any one of the first to fourth aspects of the present invention, the control unit determines whether or not there is at least one type of concealment element that causes a facial organ to be concealed in the face image obtained during the registration operation. And if it is determined that there is a concealment element, the instruction unit is controlled to instruct to exclude the concealment element, and the obtained face image is associated with the concealment element determined to be present. In addition, it is stored in a storage unit as a registered image.
この発明によれば、隠蔽要素を排除するように指示することで、顔の器官が全て現れた顔画像の登録が可能となる。一般的に顔認証は顔の器官が全て現れた顔画像の使用が想定されているので、上記のような顔画像であれば正しく認証が行なえる。一方で、隠蔽要素を除去できない人、そのような嗜好の人に対して、認証時に除外を促すのも使い勝手が悪い。そこで、識別情報及び隠蔽要素と関連付けた登録画像として登録することで、登録時と同じ隠蔽要素であれば認証が可能であるので使い勝手が向上する。 According to the present invention, it is possible to register a face image in which all facial organs appear by instructing to exclude the concealment element. In general, it is assumed that the face authentication uses a face image in which all facial organs appear, so that the face image as described above can be correctly authenticated. On the other hand, it is also inconvenient to prompt a person who cannot remove the concealment element or a person with such preference to be excluded at the time of authentication. Therefore, by registering as a registered image associated with the identification information and the concealment element, the same concealment element as that at the time of registration can be authenticated, so that usability is improved.
請求項６の発明は、請求項１〜５のいずれかの発明において、制御部は、カメラが出力した画像における面積が所定の範囲外である顔画像は登録画像とはしないことを特徴とする。 The invention of claim 6 is the invention according to any one of claims 1 to 5 , wherein the control unit does not make a face image whose area in the image output by the camera is outside a predetermined range be a registered image. .
この発明によれば、小さすぎる顔、つまり、カメラから遠い時には登録しない。大きい顔つまりカメラに近すぎる顔は登録しない、という制限を設けることによって、認証時の動作の安定性を保証できる。 According to the present invention, registration is not performed when the face is too small, that is, when it is far from the camera. By providing a restriction that large faces, that is, faces that are too close to the camera, are not registered, it is possible to guarantee the stability of the operation during authentication.
請求項７の発明は、請求項１〜６のいずれかの発明において、制御部は、輝度を示す画素値の平均値が所定の登録画素値未満である顔画像は登録画像とはしないことを特徴とする。 According to a seventh aspect of the invention, in any one of the first to sixth aspects of the invention, the control unit determines that a face image whose average pixel value indicating luminance is less than a predetermined registered pixel value is not a registered image. Features.
この発明によれば、周囲照度が不足しているときや、設置している照明からの距離が遠い時には登録しないという制限を設けることによって、認証時の動作の安定性を保証できる。 According to the present invention, it is possible to guarantee the stability of the operation at the time of authentication by providing a restriction that registration is not performed when the ambient illuminance is insufficient or when the distance from the installed illumination is long.
請求項８の発明は、請求項１〜７のいずれかの発明において、動作状態を表示する表示装置を備え、撮像部のカメラと表示装置とが互いに近接配置されていることを特徴とする。 According to an eighth aspect of the present invention, in any one of the first to seventh aspects of the present invention, a display device that displays an operation state is provided, and the camera of the imaging unit and the display device are arranged close to each other.
この発明によれば、登録動作の終了などの動作状態を表示する表示手段が、撮像部のカメラに近接配置されているので、登録者は表示手段によって、例えば登録動作中なのか待機中なのかを確認するので、登録者はカメラを略直視することになる。つまり、様々に動いてもらいつつカメラを見ている顔画像が登録できる。 According to the present invention, since the display means for displaying the operation state such as the end of the registration operation is arranged close to the camera of the imaging unit, whether the registrant is in the registration operation or on standby by the display means. Therefore, the registrant looks almost directly at the camera. That is, it is possible to register a face image looking at the camera while moving variously.
請求項９の発明は、請求項１〜８のいずれかの発明において、登録動作中に撮像部において１枚の画像中に顔と判定される領域が２箇所以上あった場合、制御部は登録動作を中止することを特徴とする。 According to a ninth aspect of the present invention, in the invention according to any one of the first to eighth aspects, the control unit registers when there are two or more areas that are determined to be faces in one image in the imaging unit during the registration operation. The operation is stopped.
この発明によれば、誤って他人を登録しないようにできる。 According to this invention, it is possible to prevent others from being registered by mistake.
請求項１０の発明は、請求項１〜９のいずれかの発明において、入力部は登録動作の開始の指示と識別情報の入力とともに識別情報とは異なる第２の識別情報の入力を受け付けるものであって、制御部は、各登録画像を、該登録画像が得られた登録動作の開始時に入力部に入力された第２の識別情報にもそれぞれ関連付けて記憶部に格納することを特徴とする。 The invention of claim 10 is the invention according to any one of claims 1 to 9 , wherein the input unit receives an input of second identification information different from the identification information together with an instruction to start the registration operation and the input of the identification information. The control unit stores each registered image in the storage unit in association with the second identification information input to the input unit at the start of the registration operation from which the registered image is obtained. .
この発明によれば、第２の識別情報が、認証段階でカメラ入力以外の入力系統から入力されることがあるときに、第２の識別情報を用いることで認証性能が向上する。 According to the present invention, when the second identification information is input from an input system other than the camera input at the authentication stage, the authentication performance is improved by using the second identification information.
請求項１の発明によれば、顔の向きがそれぞれ異なる複数枚の顔画像の撮像が可能である。このような複数枚の顔画像を用いて認証を行う顔認証装置は、例えば移動中に顔の向きを変えることなく認証を受けることができるといったように、使い勝手のよいものとなる。また、顔の向きは登録者に対して指示を出すことにより変化させるから撮像部にはカメラは１台でよい。また、動作確認が出来ると同時に、登録者にとってさらに認証性能が向上する登録画像を得ることができる。登録者にとって、最初の登録動作の段階では顔登録装置自体に不慣れなために、最初の登録動作で得られた登録画像よりは第２登録動作で得られた登録画像のほうがより自然に慣れた顔であったり動作をするので、第２登録動作を行うことには効果がある。 According to the first aspect of the present invention, it is possible to capture a plurality of face images having different face orientations. Such a face authentication device that performs authentication using a plurality of face images is easy to use, such as being able to receive authentication without changing the orientation of the face during movement. Further, since the orientation of the face is changed by giving an instruction to the registrant, only one camera is required for the imaging unit . In addition, it is possible to obtain a registered image that can confirm the operation and improve the authentication performance for the registrant. Because the registrant is not accustomed to the face registration device itself at the stage of the first registration operation, the registration image obtained by the second registration operation is more naturally used than the registration image obtained by the first registration operation. Since it is a face or moves, it is effective to perform the second registration operation .
請求項２の発明によれば、記憶部には、それぞれ顔の向きが異なる平均的な顔画像である複数枚の平均顔画像が予め格納されていて、制御部は、登録動作中に撮像部に撮像された顔画像のうち、いずれかの平均顔画像との相関値が所定の登録相関値以上であって平均顔画像毎に相関値が最も高い１枚ずつの顔画像のみを登録画像として記憶部に格納するので、いずれの平均顔画像からも大きく異なるような顔画像が登録されることが防止される。ここで平均顔画像は、眼鏡をかけていない、髭がない、目眉が明確に判断できる、特殊な化粧をしていない顔画像とする。 According to the second aspect of the present invention, the storage unit stores in advance a plurality of average face images, which are average face images having different face orientations, and the control unit captures the imaging unit during the registration operation. Among the face images captured in the above, only one face image whose correlation value with any of the average face images is equal to or higher than a predetermined registered correlation value and has the highest correlation value for each average face image is registered as a registered image. Since it is stored in the storage unit, it is possible to prevent registration of a face image that greatly differs from any average face image. Here, the average face image is a face image that is not wearing spectacles, has no wrinkles, and can clearly determine the eyebrows and does not have a special makeup.
請求項３の発明によれば、様々な顔向きや変化に対応した顔画像が登録できるので、認証時にいずれかの登録画像に一致すれば本人と判断することにすれば、本人拒否率が低下する。一方、最低でも１枚を顔画像として登録できていないと、顔認証装置自体が正しく動作しないので、少なくとも１枚を必須顔画像とすることで、必要最低限の顔画像の登録を行うことができる。必須顔画像として正面の正対した顔画像が一般的だが、顔認証装置の設置場所によっては正面でなくともよい。 According to the invention of claim 3, since face images corresponding to various face orientations and changes can be registered, the identity rejection rate decreases if it is determined that the person is the identity if it matches any of the registered images at the time of authentication. To do. On the other hand, if at least one face cannot be registered as a face image, the face authentication apparatus itself does not operate correctly. Therefore, by setting at least one face as an essential face image, the minimum necessary face image can be registered. it can. A face image facing the front is generally used as the essential face image, but it may not be the front depending on the installation location of the face authentication device.
請求項４の発明によれば、顔の向きを様々に変化させたり、カメラ前の立ち位置を様々に変化させることを促すので、平均顔画像との相関値が登録相関値以上となるような顔画像が、より多くの平均顔画像について得られやすくなる。 According to the invention of claim 4, since it is urged to change the orientation of the face in various ways or to change the standing position in front of the camera in various ways, the correlation value with the average face image is equal to or greater than the registered correlation value. Face images can be easily obtained for more average face images.
請求項５の発明によれば、隠蔽要素を排除するように指示することで、顔の器官が全て現れた顔画像の登録が可能となる。一般的に顔認証は顔の器官が全て現れた顔画像の使用が想定されているので、上記のような顔画像であれば正しく認証が行なえる。一方で、隠蔽要素を除去できない人、そのような嗜好の人に対して、認証時に除外を促すのも使い勝手が悪い。そこで、識別情報及び隠蔽要素と関連付けた登録画像として登録することで、登録時と同じ隠蔽要素であれば認証が可能であるので使い勝手が向上する。 According to the invention of claim 5, by instructing to exclude the concealment element, it is possible to register a face image in which all facial organs appear. In general, it is assumed that the face authentication uses a face image in which all facial organs appear, so that the face image as described above can be correctly authenticated. On the other hand, it is also inconvenient to prompt a person who cannot remove the concealment element or a person with such preference to be excluded at the time of authentication. Therefore, by registering as a registered image associated with the identification information and the concealment element, the same concealment element as that at the time of registration can be authenticated, so that usability is improved.
請求項６の発明によれば、小さすぎる顔、つまり、カメラから遠い時には登録しない。大きい顔つまりカメラに近すぎる顔は登録しない、という制限を設けることによって、認証時の動作の安定性を保証できる。 According to the invention of claim 6 , when the face is too small, that is, when it is far from the camera, it is not registered. By providing a restriction that large faces, that is, faces that are too close to the camera, are not registered, it is possible to guarantee the stability of the operation during authentication.
請求項７の発明によれば、周囲照度が不足しているときや、設置している照明からの距離が遠い時には登録しないという制限を設けることによって、認証時の動作の安定性を保証できる。 According to the invention of claim 7 , the stability of the operation at the time of authentication can be ensured by providing a restriction that registration is not performed when the ambient illuminance is insufficient or when the distance from the installed illumination is long.
請求項８の発明によれば、登録動作の終了などの動作状態を表示する表示手段が、撮像部のカメラに近接配置されているので、登録者は表示手段によって、例えば登録動作中なのか待機中なのかを確認するので、登録者はカメラを略直視することになる。つまり、様々に動いてもらいつつカメラを見ている顔画像が登録できる。 According to the invention of claim 8 , since the display means for displaying the operation state such as the end of the registration operation is arranged close to the camera of the imaging unit, the registrant waits for the registration operation, for example, by the display means. Since the user confirms whether it is in the middle, the registrant almost directly looks at the camera. That is, it is possible to register a face image looking at the camera while moving variously.
請求項９の発明によれば、登録動作中に撮像部において１枚の画像中に顔と判定される領域が２箇所以上あった場合、制御部は登録動作を中止するので、誤って他人を登録しないようにできる。 According to the ninth aspect of the present invention, when there are two or more areas determined to be faces in one image in the image pickup unit during the registration operation, the control unit stops the registration operation. You can choose not to register.
請求項１０の発明によれば、入力部は登録動作の開始の指示と識別情報の入力とともに識別情報とは異なる第２の識別情報の入力を受け付けるものであって、制御部は、各登録画像を、該登録画像が得られた登録動作の開始時に入力部に入力された第２の識別情報にもそれぞれ関連付けて記憶部に格納するので、第２の識別情報が、認証段階でカメラ入力以外の入力系統から入力されることがあるときに、第２の識別情報を用いることで認証性能が向上する。 According to the tenth aspect of the present invention, the input unit accepts the input of the second identification information different from the identification information together with the instruction for starting the registration operation and the input of the identification information. Are stored in the storage unit in association with the second identification information input to the input unit at the start of the registration operation from which the registered image is obtained, so that the second identification information other than the camera input at the authentication stage The authentication performance is improved by using the second identification information when it is input from the input system.
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
本実施形態は、図１に示すように、顔画像を登録する登録動作の開始の指示が入力される入力部１と、登録者Ｍ（図６参照）の顔画像を撮像する撮像部２と、撮像部２によって撮像された顔画像が格納される記憶部３と、登録者Ｍへの指示を行う指示部４と、入力部１への入力に応じて撮像部２と指示部４とをそれぞれ制御する制御部５とを備える。 In the present embodiment, as shown in FIG. 1, an input unit 1 for inputting an instruction to start a registration operation for registering a face image, an imaging unit 2 for capturing a face image of a registrant M (see FIG. 6), The storage unit 3 in which the face image captured by the imaging unit 2 is stored, the instruction unit 4 that gives an instruction to the registrant M, and the imaging unit 2 and the instruction unit 4 according to the input to the input unit 1 And a control unit 5 for controlling each of them.
また、本実施形態は、図２に示すように、壁面に埋込配設される第１のハウジングＨ１と、天井面から吊下支持される第２のハウジングＨ２とを有する。入力部１を構成するキーボード１１やＩＣタグリーダ１２は第１のハウジングＨ１に保持され、撮像部２のカメラ２１と、指示部４を構成する発光ダイオード４３及びスピーカ４２とはそれぞれ第２のハウジングＨ２に保持されている。 Further, as shown in FIG. 2, the present embodiment includes a first housing H1 embedded in a wall surface and a second housing H2 supported by being suspended from the ceiling surface. The keyboard 11 and the IC tag reader 12 configuring the input unit 1 are held in the first housing H1, and the camera 21 of the imaging unit 2, the light emitting diode 43 and the speaker 42 configuring the instruction unit 4 are each in the second housing H2. Is held in.
本実施形態の入力部１は、登録者Ｍに一対一に対応付けられるＩＤ番号のような識別情報の入力を、該識別情報に対応付けて顔画像を登録する登録動作の開始の指示とともに受け付ける。このような入力部１としては、例えば、図２に示すように押操作による識別情報の入力を受け付けるキーボード１１やタッチパネル（図示せず）のほか、カードや名札に保持されたＩＣタグから識別情報を読み取る周知のＩＣタグリーダ１２や、磁気帯付きカードなどのカード型の記憶媒体から識別情報を読み取る各種の周知のカードリーダ（図示せず）を用いることができる。さらに、入力部１が、登録動作の開始の指示とともに、識別情報の入力に加えて、識別情報とは異なる第２の識別情報の入力を受け付けてもよい。第２の識別情報としては、例えば年齢や性別の他、登録者の任意に決定可能なキーワードや暗証番号やパスワードなどが考えられる。この場合、例えば識別情報としてのＩＤ番号がＩＣタグリーダ１２から入力され、第２の識別情報としての暗証番号がキーボード１１から入力されるといったように、各識別情報が互いに異なる入力手段から入力されるようにしてもよい。 The input unit 1 of the present embodiment accepts input of identification information such as an ID number associated with the registrant M on a one-to-one basis together with an instruction to start a registration operation for registering a face image in association with the identification information. . As such an input unit 1, for example, as shown in FIG. 2, in addition to a keyboard 11 or a touch panel (not shown) that accepts input of identification information by a push operation, identification information is obtained from an IC tag held on a card or a name tag. Various known card readers (not shown) that read identification information from a card-type storage medium such as a card with a magnetic band or a well-known IC tag reader 12 that reads the card can be used. Further, the input unit 1 may receive an input of second identification information different from the identification information in addition to the input of the identification information together with an instruction to start the registration operation. As the second identification information, for example, a keyword, a personal identification number, a password, or the like that can be arbitrarily determined by the registrant can be considered in addition to age and gender. In this case, each identification information is input from different input means, for example, an ID number as identification information is input from the IC tag reader 12 and a personal identification number as second identification information is input from the keyboard 11. You may do it.
撮像部２は、ＣＣＤ（Charge Coupled Device）などの撮像素子を用いて濃淡画像をデジタルデータとして出力する周知のカメラ２１（いわゆるデジタルカメラ）と、カメラ２１が出力した濃淡画像から周知技術により顔部分を抽出して顔画像として制御部５に入力する顔抽出装置（図示せず）とからなる。このような撮像部２は周知技術で実現可能であるので、詳細な図示並びに説明は省略する。 The imaging unit 2 includes a known camera 21 (so-called digital camera) that outputs a grayscale image as digital data using an imaging device such as a CCD (Charge Coupled Device), and a facial part from the grayscale image output by the camera 21 using a known technique. And a face extraction device (not shown) that inputs the image as a face image to the control unit 5. Since such an imaging unit 2 can be realized by a well-known technique, detailed illustration and description thereof are omitted.
記憶部３としては、各種の周知の記憶媒体を用いることができる。 As the storage unit 3, various known storage media can be used.
指示部４としては、例えば、液晶パネルを用いたディスプレイ４１（図８及び図９参照）や電光掲示板などを有して矢印等の記号や文字やアニメーションを表示することにより指示を行うもの、スピーカ４２を有して音声により指示を行うもの、発光ダイオード４３を有して発光ダイオードの点灯・消灯の別や光色によって指示を示すもの、などが考えられる。 The instruction unit 4 includes, for example, a display 41 (see FIGS. 8 and 9) using a liquid crystal panel, an electronic bulletin board, and the like for giving instructions by displaying symbols, characters, and animations such as arrows, speakers, and the like. For example, there may be a device having an instruction by voice with 42, a device having a light emitting diode 43 to indicate whether the light emitting diode is turned on or off, or a light color.
制御部５は、周知のコンピュータで実現可能であるので、詳細な図示並びに説明は省略する。 Since the control unit 5 can be realized by a known computer, detailed illustration and description thereof will be omitted.
次に、制御部５の動作を説明する。 Next, the operation of the control unit 5 will be described.
入力部１に識別情報が入力されて登録動作の開始の指示が入力されたとき、制御部５は、撮像部２を制御して複数枚の顔画像を撮像させ、撮像された顔画像のうち複数枚を、それぞれ上記の識別情報に関連付けて記憶部３に登録画像として格納することにより登録する登録動作を開始する。登録動作は、例えば、所定の登録時間にわたり、登録者Ｍの顔を撮像した顔画像を撮像部２から定期的に得て、得られた顔画像のうち所定の条件を満たしたものを、それぞれ上記の識別情報に関連付けて登録画像として記憶部３に格納するものである。制御部５は、登録動作の開始時、指示部４を制御し、音声や文字表示やアニメーションによって、適切な立ち位置を指示する。これにより、カメラ２１に近すぎる顔画像やカメラ２１から遠すぎる顔画像が撮像される可能性が低くなる。 When the identification information is input to the input unit 1 and an instruction to start the registration operation is input, the control unit 5 controls the imaging unit 2 to capture a plurality of face images, and among the captured face images A registration operation for registering a plurality of sheets by associating them with the above-described identification information as a registered image in the storage unit 3 is started. In the registration operation, for example, a face image obtained by capturing the face of the registrant M over a predetermined registration time is periodically obtained from the imaging unit 2, and the obtained face images satisfying a predetermined condition are respectively obtained. The image is stored in the storage unit 3 as a registered image in association with the identification information. At the start of the registration operation, the control unit 5 controls the instruction unit 4 to instruct an appropriate standing position by voice, character display, or animation. Thereby, the possibility that a face image that is too close to the camera 21 or a face image that is too far from the camera 21 is captured is reduced.
また、制御部５は、登録動作中、それぞれ顔の向きが異なる複数枚の顔画像を得るために、撮像部２が出力した画像に基いて登録者Ｍの動きの有無を検出し、登録者Ｍの動きが検出されないときに指示部４を制御して登録者Ｍに対して動きを促す。 In addition, during the registration operation, the control unit 5 detects the presence or absence of movement of the registrant M based on the image output by the imaging unit 2 in order to obtain a plurality of face images having different face orientations. When the movement of M is not detected, the instruction unit 4 is controlled to prompt the registrant M to move.
さらに、記憶部３には、予め、それぞれ顔の向きが異なる平均的な顔画像である平均顔画像が複数枚格納されており、制御部５は、登録動作中、撮像部２によって顔画像が撮像される度に、撮像された顔画像を各平均顔画像とそれぞれ比較し、いずれかの平均顔画像との相関値が所定の登録相関値以上であれば該顔画像を平均顔画像との相関値に関連付けて登録画像として記憶部３に格納し、全ての平均顔画像との相関値が登録相関値未満であれば該顔画像を無効と判定し登録画像とはしない。また、制御部５は、同じ平均顔画像について相関値が登録相関値以上となるような顔画像が複数回得られた場合、それらの顔画像のうちで最も相関値が高い１枚のみを登録画像として記憶部３に残す。ここで、平均顔画像としては、顔に髭や化粧等が無く、眉目がはっきりしている顔画像が用いられる。これにより、いずれの平均顔画像からも大きく異なるような顔画像が登録されてしまうことを防ぐことができる。 Furthermore, a plurality of average face images, which are average face images with different face orientations, are stored in the storage unit 3 in advance, and the control unit 5 detects the face images by the imaging unit 2 during the registration operation. Each time an image is captured, the captured face image is compared with each average face image. If the correlation value with any average face image is equal to or greater than a predetermined registered correlation value, the face image is compared with the average face image. It is stored in the storage unit 3 as a registered image in association with the correlation value, and if the correlation value with all the average face images is less than the registered correlation value, the face image is determined to be invalid and is not registered. In addition, when a face image having a correlation value equal to or greater than the registered correlation value is obtained a plurality of times for the same average face image, the control unit 5 registers only one of the face images having the highest correlation value. It remains in the storage unit 3 as an image. Here, as the average face image, a face image having no eyebrows or makeup and having clear eyebrows is used. Thereby, it is possible to prevent a face image that is greatly different from any of the average face images from being registered.
また、記憶部３において、平均顔画像のうち少なくとも１枚は必須顔画像として設定されており、制御部５は、登録動作の終了時、相関値が登録相関値以上となるような顔画像が得られていない必須顔画像が１枚でもあれば、指示部４を制御し、登録が完了していないことを登録者Ｍに対して通知する。すなわち、最低でも１枚を顔画像として登録できていないと、顔認証装置自体が正しく動作しないので、少なくとも１枚を必須顔画像とすることで、必要最低限の顔画像の登録を行うことができる。必須顔画像として正面の正対した顔画像が一般的だが、顔認証が行われる環境によっては正面でなくともよい。 Further, at least one of the average face images is set as an indispensable face image in the storage unit 3, and the control unit 5 determines that a face image whose correlation value is equal to or higher than the registered correlation value at the end of the registration operation. If there is at least one essential face image that has not been obtained, the instruction unit 4 is controlled to notify the registrant M that registration has not been completed. In other words, if at least one face cannot be registered as a face image, the face authentication apparatus itself does not operate correctly. Therefore, by making at least one face an essential face image, the minimum necessary face image can be registered. it can. A face image facing the front is generally used as the essential face image, but it may not be the front depending on the environment in which face authentication is performed.
さらに、制御部５は、登録動作中、目・口・鼻といった顔の器官が隠れる要因となる隠蔽要素の有無を、撮像部２が出力した顔画像に基き周知技術によって検出するとともに、隠蔽要素があると判定されたときには、指示部４を制御して隠蔽要素を排除するように指示を出させる。隠蔽要素としては、例えば、目を隠す前髪や、口を隠すマスクや、片目が隠れるような顔の向きなどが考えられる。隠蔽要素としてのマスクや顔の向きは、それぞれ周知技術で検出可能であるので説明は省略する。隠蔽要素としての前髪の有無を検出する方法としては、例えば、本発明者が特願２００７−０１７０８７で提案したように、顔画像（例えば図４（ａ））において前髪ａが存在しうる所定の上下位置（例えば目の上）に設定された前髪検出領域での左右方向での画素値（輝度値）の分布に近似した図５（ａ）に示すような２次曲線Ｘを、図４（ｂ）に示すように前髪が存在しない顔画像から同様にして得られた図５（ｂ）に示す２次曲線Ｘと比較し、これらの２次曲線Ｘ間のずれ量が一定以上であったときに前髪ａが有ると判定し、前記ずれ量が一定未満であったときに前髪ａが無いと判定するという方法がある。また、指示部４によって出される指示としては、例えば、検出された隠蔽要素に応じて、「前髪を目から除けて下さい」「マスクを取り外して下さい」「カメラの方を向いて下さい」といった指示が考えられる。さらに、隠蔽要素があると判定された顔画像についても登録画像として識別情報に関連付けて記憶部３に格納するようにすれば、撮像時と同じ隠蔽要素がある状態（例えばマスクをつけた状態）でも認証が可能となるために本人拒否率が低下して利便性が向上する。さらに、認証に用いる際に、隠蔽要素の有無や隠蔽要素の種類に応じて異なる扱いとすることができるように、隠蔽要素があると判定された登録画像については、あると判定された隠蔽要素に関連付けて（具体的には例えば該隠蔽要素を示す番号に関連付けて）記憶部３に格納してもよい。ただし、隠蔽要素としてサングラスがあると検出された画像については登録画像とはしないことが望ましい。 Further, the control unit 5 detects the presence / absence of a concealment element that causes the facial organs such as eyes, mouth, and nose to be concealed during the registration operation based on the face image output by the imaging unit 2 and When it is determined that there is, the instruction unit 4 is controlled to issue an instruction to exclude the concealment element. Possible concealment elements include, for example, bangs that conceal eyes, masks that conceal mouth, and face orientations that conceal one eye. The mask and face orientation as the concealment elements can be detected by well-known techniques, and the description thereof will be omitted. As a method for detecting the presence or absence of bangs as a concealing element, for example, as proposed by the inventor in Japanese Patent Application No. 2007-017087, a predetermined image in which a bangs a can exist in a face image (for example, FIG. 4A) is used. A quadratic curve X as shown in FIG. 5A approximated to the distribution of pixel values (luminance values) in the left-right direction in the bangs detection region set at the vertical position (for example, above the eyes) is shown in FIG. Compared with the quadratic curve X shown in FIG. 5 (b) obtained in the same manner from a face image without bangs as shown in b), the amount of deviation between these quadratic curves X was more than a certain value. There is a method in which it is sometimes determined that there is bangs a, and it is determined that there is no bangs a when the deviation is less than a certain amount. In addition, as an instruction issued by the instruction unit 4, for example, an instruction such as “please remove the bangs from the eyes”, “remove the mask”, or “turn toward the camera” according to the detected concealment element Can be considered. Furthermore, if a face image determined to have a concealment element is also stored in the storage unit 3 in association with identification information as a registered image, the same concealment element as that at the time of imaging (for example, a state with a mask) However, since authentication is possible, the rejection rate for the person is reduced and convenience is improved. Further, when used for authentication, the concealment element determined to be present for the registered image determined to have the concealment element so that it can be treated differently depending on the presence or absence of the concealment element and the type of the concealment element. (Specifically, for example, associated with a number indicating the concealment element) and stored in the storage unit 3. However, it is desirable that an image detected with sunglasses as a concealment element is not a registered image.
また、登録動作中に撮像部２において１枚の画像中に周知技術によって顔と判定される領域が複数箇所存在したときには、制御部５は、登録動作を中止するとともに指示部４を制御して登録者Ｍのみが撮像部２の画角内に入るように登録者Ｍに対して指示させる。これにより、誤って他人を登録しないようにできる。 Further, when there are a plurality of regions that are determined to be a face by a well-known technique in one image in the image pickup unit 2 during the registration operation, the control unit 5 stops the registration operation and controls the instruction unit 4. The registrant M is instructed so that only the registrant M falls within the angle of view of the imaging unit 2. This prevents other people from being registered by mistake.
さらに、制御部５は、登録動作中、撮像部２のカメラ２１が出力した画像における（つまり顔の範囲として切り出されたのみで拡大や縮小の変換をされていない）顔画像の面積や、輝度を示す画素値の顔画像全体での平均値（以下、「平均画素値」と呼ぶ。）を、所定の登録最小面積や登録最大面積や登録画素値と比較し、面積が登録最小面積未満である（すなわち登録者Ｍが撮像部２のカメラ２１から遠すぎる状態で撮像された）顔画像や、面積が登録最大面積以上である（すなわち登録者Ｍが撮像部２のカメラ２１に近すぎる状態で撮像された）顔画像や、平均画素値が登録画素値未満である（すなわち画像が暗く不明瞭である）顔画像を、それぞれ無効と判定して登録画像とはしない。さらに、この際、制御部５が、上記比較の結果に応じて指示部４を制御し、上記顔画像が無効とされた理由を解消すること、すなわち、撮像部２のカメラ２１に近づくことや、撮像部２のカメラ２１から離れることや、周囲を明るくすることを指示させるようにしてもよい。これにより、図６に示すように登録者Ｍが撮像部２のカメラ２１から離れすぎた状態で撮像され面積が小さい顔画像ＦＤや、逆に登録者Ｍが撮像部２のカメラ２１に近すぎる状態で撮像され適切な大きさの顔画像ＦＮよりも面積が大きい顔画像や、図７に示すようにやや明るい顔画像ＦＷや適切な明るさの顔画像ＦＮよりも画像が暗く不明瞭な顔画像ＦＢなど、認証に適さない顔画像が登録画像とされてしまうことを避け、得られた登録画像を用いた認証の動作の安定性を保証することができる。 Furthermore, during the registration operation, the control unit 5 determines the area of the face image in the image output by the camera 21 of the image pickup unit 2 (that is, the face image area that has been cut out as a face range but not enlarged or reduced) and the luminance. Is compared with a predetermined minimum registration area, maximum registration area, or registration pixel value, and the area is less than the minimum registration area. A certain face image (that is, the registrant M is captured too far from the camera 21 of the imaging unit 2), or the area is equal to or greater than the registered maximum area (that is, the registrant M is too close to the camera 21 of the imaging unit 2 The face image (captured in step 1) and the face image having an average pixel value less than the registered pixel value (that is, the image is dark and unclear) are determined to be invalid and are not registered images. Further, at this time, the control unit 5 controls the instruction unit 4 in accordance with the result of the comparison to eliminate the reason that the face image is invalid, that is, to approach the camera 21 of the imaging unit 2 Further, it may be instructed to leave the camera 21 of the imaging unit 2 or to brighten the surroundings. As a result, as shown in FIG. 6, the registrant M is captured in a state where the registrant M is too far away from the camera 21 of the imaging unit 2 and the face area FD is small, and conversely, the registrant M is too close to the camera 21 of the imaging unit 2. A face image that is captured in a state and has a larger area than the face image FN of an appropriate size, or a face that is darker and unclear than the face image FW that is slightly brighter or the face image FN of appropriate brightness as shown in FIG. It is possible to avoid a face image that is not suitable for authentication, such as the image FB, from being a registered image, and to guarantee the stability of the authentication operation using the obtained registered image.
また、制御部５は、登録動作の終了後、登録動作と同様にして複数枚の登録画像を得る第２登録動作を行う。第２登録動作中には、制御部５は、登録画像とされる可能性がない顔画像もそれぞれ比較用画像として第２登録動作の終了時まで記憶部３に格納する。なお、識別情報や隠蔽要素への登録画像の関連付けは、第２登録動作でも、登録動作と同様に行なわれる。 Further, after the registration operation is completed, the control unit 5 performs a second registration operation for obtaining a plurality of registered images in the same manner as the registration operation. During the second registration operation, the control unit 5 stores face images that are not likely to be registered images as comparative images in the storage unit 3 until the end of the second registration operation. Note that the registration image is associated with the identification information and the concealment element in the second registration operation in the same manner as the registration operation.
さらに、制御部５は、第２登録動作中、撮像された各顔画像について、上記の登録動作中に得られた各登録画像との一致・不一致を判定する。上記の顔画像と登録画像とのような２枚の顔画像の一致・不一致の判定の方法としては、具体的には例えば、顔画像間の相関値を演算し、相関値が所定の認証閾値未満であった場合には不一致と判定し、相関値が認証閾値以上であった場合には一致と判定する。そして、制御部５は、これらの一致の判定の結果に応じて、上記の登録動作中に得られた各登録画像の有効・無効を判断する確認動作を行う。具体的には、上記顔画像がいずれかの登録画像において一致が判定された回数（以下、「一致回数」と呼ぶ。）が所定の規定回数に満たなかったときには、制御部５は、上記登録動作中に得られた各登録画像を無効と判断し、指示部４を制御して登録動作中に得られた各登録画像が無効である旨を登録者Ｍに対して通知させるとともに、上記登録動作中に得られた全ての顔画像（登録画像）を無効として破棄（削除）し、登録動作をやり直す。上記の規定回数は、例えば第２登録動作において撮像される顔画像の総数が１０枚であれば８回とし、第２登録動作の継続時間が２分であれば１０回とする。 Furthermore, during the second registration operation, the control unit 5 determines whether each captured face image matches or does not match each registered image obtained during the registration operation. As a method for determining the match / mismatch between two face images such as the face image and the registered image, specifically, for example, a correlation value between the face images is calculated, and the correlation value is a predetermined authentication threshold value. If the correlation value is greater than or equal to the authentication threshold value, it is determined that they match. And the control part 5 performs the confirmation operation | movement which judges validity / invalidity of each registration image obtained during said registration operation | movement according to the determination result of these coincidence. Specifically, when the number of times that the face image is determined to match in any of the registered images (hereinafter referred to as “number of matches”) does not reach a predetermined number of times, the control unit 5 performs the registration. Each registered image obtained during the operation is determined to be invalid, and the instruction unit 4 is controlled to notify the registrant M that each registered image obtained during the registration operation is invalid. All face images (registered images) obtained during the operation are invalidated and discarded (deleted), and the registration operation is performed again. The prescribed number of times is, for example, 8 if the total number of face images captured in the second registration operation is 10, and 10 if the duration of the second registration operation is 2 minutes.
また、制御部５は、上記の登録動作中に得られた各登録画像が有効と判定された場合には、第２登録動作の終了後、第２登録動作中に得られた各登録画像について、それぞれ第２登録動作中に得られた他の各顔画像（すなわち、他の登録画像及び比較用画像）との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、第２登録動作中に得られた各登録画像の有効・無効を判断する。一致・不一致の判定方法及び有効・無効の判定方法は、それぞれ上記の登録動作中に得られた登録画像に対して第２登録動作中に行われたものと同様であるので説明は省略する。そして、第２登録動作中に得られた各登録画像が無効と判断された場合には、制御部５は、第２登録動作中に得られた各登録画像を無効と判断し、指示部４を制御して第２登録動作中に得られた各登録画像が無効である旨を登録者Ｍに対して通知させるとともに、第２登録動作中に得られた全ての顔画像（登録画像）を無効として破棄（削除）し、上記の登録動作中に得られた各登録画像を最終的な登録画像とする。 In addition, when it is determined that each registered image obtained during the above registration operation is valid, the control unit 5 determines each registered image obtained during the second registration operation after the end of the second registration operation. , Each of the other face images obtained during the second registration operation (that is, other registered images and comparison images) are determined to match or mismatch, and according to the result of the determination of the match / mismatch, It is determined whether each registered image obtained during the second registration operation is valid or invalid. The match / mismatch determination method and valid / invalid determination method are the same as those performed during the second registration operation for the registered images obtained during the registration operation, and the description thereof will be omitted. When it is determined that each registered image obtained during the second registration operation is invalid, the control unit 5 determines that each registered image obtained during the second registration operation is invalid, and the instruction unit 4 And registrant M is notified that each registered image obtained during the second registration operation is invalid, and all face images (registered images) obtained during the second registration operation are displayed. Discarded (deleted) as invalid, and makes each registered image obtained during the above registration operation a final registered image.
一方、第２登録動作中に得られた各登録画像が有効と判定された場合には、上記の登録動作で得られた登録画像と第２登録動作で得られた登録画像とのどちらが本人判断する性能が高いかを判断して本人判断する性能が高い一方のみを登録画像として残し他方を破棄（削除）する検討動作を開始する。具体的には、制御部５は、一致・不一致の判定時に演算された各相関値をそれぞれ記憶部３に格納しており、上記の登録動作中に得られた登録画像と、第２登録動作中に得られた登録画像とのうち、記憶部３に格納された相関値の最大値が高かった一方を、本人判断する性能がより高いと判断して登録画像として残し、他方は削除する。上記のような確認動作によって動作確認が出来ると同時に、検討動作により、登録者Ｍにとってさらに認証性能が向上する登録画像を得ることができる。登録者Ｍにとって、最初の登録動作の段階では顔登録装置自体に不慣れなために、最初の登録動作で得られた登録画像よりは第２登録動作で得られた登録画像のほうがより自然に慣れた顔であったり動作をするので、第２登録動作を行うことには効果がある。 On the other hand, when it is determined that each registered image obtained during the second registration operation is valid, which of the registered image obtained by the registration operation and the registration image obtained by the second registration operation is determined by the person. The examination operation is started to determine whether the performance to be performed is high and to leave only one of the high performance of the person's judgment as a registered image and to discard (delete) the other. Specifically, the control unit 5 stores each correlation value calculated at the time of determination of coincidence / non-coincidence in the storage unit 3, respectively, and the registration image obtained during the above registration operation and the second registration operation Among the registered images obtained in the middle, the one having the highest correlation value stored in the storage unit 3 is determined to have higher performance for determining the identity, and is left as a registered image, and the other is deleted. The operation can be confirmed by the confirmation operation as described above, and at the same time, a registration image can be obtained that further improves the authentication performance for the registrant M by the examination operation. Since the registrant M is unfamiliar with the face registration device itself at the stage of the first registration operation, the registration image obtained by the second registration operation is more naturally used than the registration image obtained by the first registration operation. It is effective to perform the second registration operation because it is a face or motion.
上記構成によれば、それぞれ顔の向きが異なる複数枚の顔画像の撮像が可能でありながらも、顔の向きは登録者Ｍに対して指示を出すことにより変化させるから撮像部２にはカメラ２１は１台でよいので、従来例のように複数台のカメラを用いる場合に比べて設備コストが低減される。 According to the above configuration, although it is possible to capture a plurality of face images having different face orientations, the orientation of the face is changed by issuing an instruction to the registrant M. Since only one camera 21 is required, the equipment cost is reduced as compared with the case of using a plurality of cameras as in the conventional example.
また、入力部１において登録動作の開始の指示とともに識別情報の入力だけでなく第２の識別情報の入力も受け付けられる場合、第２の識別情報も識別情報と同様に登録画像や更新画像に関連付けるようにしておけば、第２の識別情報を認証に使用可能となる。具体的には例えば、識別情報としてのＩＤ番号が格納されたＩＣタグの呈示とともに、第２の識別情報としての暗証番号の入力を求め、入力された暗証番号が正しいことも認証成功の条件とする（すなわち第２の識別情報による認証と顔認証との論理積をとる）ようにすれば、他人受入率の低減が可能となる。 Further, when the input unit 1 accepts not only the input of identification information but also the input of second identification information together with the instruction to start the registration operation, the second identification information is associated with the registered image or the updated image in the same manner as the identification information. By doing so, the second identification information can be used for authentication. Specifically, for example, along with the presentation of the IC tag storing the ID number as the identification information, the input of the personal identification number as the second identification information is requested, and the fact that the inputted personal identification number is correct is also a condition for successful authentication. By doing so (that is, taking the logical product of authentication based on the second identification information and face authentication), it becomes possible to reduce the acceptance rate of others.
なお、図２の例のように２個のハウジングＨ１，Ｈ２を用いる代わりに、図８に示すように１個のハウジングＨ１に全ての構成が保持されるようにしてもよい。ただし、図２と図８とのいずれの場合であっても、指示部４においてディスプレイ４１や発光ダイオード４３のように視覚情報によって指示を与えるもの（以下、「視覚指示装置」と呼ぶ。）は撮像部２のカメラ２１に近接配置したほうが、視覚指示装置によってカメラ２１の方向に登録者Ｍの眼を向けさせることになる。また、図２の例や図８の例において、指示以外の情報の表示を行う表示装置を設ける場合、上記と同様の理由で、表示装置も上記の視覚指示装置と同じく撮像部２のカメラ２１に近接配置することが望ましい。表示装置としては、例えば、点灯・消灯の区別や光色の別によって情報を表示する発光ダイオードが考えられる。指示以外の上記情報としては、電源のオンオフや動作状態（待機中、登録動作中、確認動作中、など）や判定・判断の結果（登録動作の有効・無効など）などが考えられる。また、視覚指示装置や表示装置を少しでもカメラ２１の近くに配置するため、視覚指示装置以外の指示部４や入力部１は、視覚指示装置や表示装置と撮像部２のカメラ２１との間には配置しないことが望ましい。上記のように登録動作の終了などの動作状態を表示する表示装置を撮像部２のカメラ２１に近接配置すれば、登録者Ｍは表示手段によって、例えば登録動作中なのか待機中なのかを確認するので、登録者Ｍはカメラ２１を略直視することになる。つまり、様々に動いてもらいつつカメラ２１を見ている登録画像が得られる。 Instead of using the two housings H1 and H2 as in the example of FIG. 2, all the configurations may be held in one housing H1 as shown in FIG. However, in either case of FIG. 2 or FIG. 8, the instruction unit 4 that gives an instruction by visual information such as the display 41 or the light emitting diode 43 (hereinafter referred to as “visual instruction device”). The closer to the camera 21 of the imaging unit 2, the registrant M's eyes are directed toward the camera 21 by the visual instruction device. In the example of FIG. 2 and the example of FIG. 8, when a display device that displays information other than instructions is provided, the display device is also the camera 21 of the imaging unit 2 for the same reason as described above. It is desirable to place them close to each other. As the display device, for example, a light-emitting diode that displays information according to the distinction between lighting and extinguishing and light colors can be considered. Examples of the information other than instructions include power on / off, operation status (standby, registration operation, confirmation operation, etc.), determination / judgment results (validity / invalidity of registration operation, etc.), and the like. Further, since the visual instruction device and the display device are arranged as close as possible to the camera 21, the instruction unit 4 and the input unit 1 other than the visual instruction device are arranged between the visual instruction device and the display device and the camera 21 of the imaging unit 2. It is desirable not to arrange in. If the display device that displays the operation state such as the end of the registration operation as described above is disposed close to the camera 21 of the imaging unit 2, the registrant M confirms, for example, whether the registration operation is in progress or on standby by the display means. Therefore, the registrant M looks at the camera 21 almost directly. That is, a registered image in which the camera 21 is viewed while being moved in various ways is obtained.
また、図２の例や図８の例において、指示部４の視覚指示装置を上記の表示装置として兼用してもよい。つまり、指示部４の例えばディスプレイ４１や発光ダイオード４３のような視覚指示装置によって、指示だけでなく、例えば「登録動作中」や「登録終了」といったような動作状態が表示されるようにしてもよい。 Further, in the example of FIG. 2 and the example of FIG. 8, the visual instruction device of the instruction unit 4 may be used as the display device. In other words, not only the instruction but also an operation state such as “registration operation” or “registration end” is displayed by a visual instruction device such as the display 41 or the light emitting diode 43 of the instruction unit 4. Good.
さらに、図９に示すように、例えば撮像部２のカメラ２１の左右両側に、それぞれ、撮像時の照明用の照明部６が設けてもよい。照明部６には、例えば、放電灯や、発光ダイオードや、有機ＥＬを用いた面状発光体など、周知の光源を用いることができる。照明部６の制御は、制御部５によって自動で行われるものとしてもよいし、手動操作で行なわれるものとしてもよい。 Furthermore, as shown in FIG. 9, for example, illumination units 6 for illumination during imaging may be provided on both the left and right sides of the camera 21 of the imaging unit 2, respectively. For the illumination unit 6, for example, a known light source such as a discharge lamp, a light emitting diode, or a planar light emitter using an organic EL can be used. The control of the illumination unit 6 may be performed automatically by the control unit 5 or may be performed manually.
本実施形態は、図１０に示すような集合住宅用セキュリティシステムにおいて、顔認証装置Ａに一体化して用いることができる。つまり、図１０の顔認証装置Ａは、上記の顔登録装置と同様の基本構成を有し、図１１に示すように、始動後（ステップＳ１）、通常は、入力部１に何らかの入力がされるまで待機し、認証のために入力部１に識別情報が入力されたとき（ステップＳ３においてＹＥＳ）、記憶部３において該識別情報に対応付けられた各顔画像と、撮像部２に撮像された認証の対象者の顔画像とを比較することによる認証動作を開始する（ステップＳ４）という、認証モードで動作する。また、顔認証装置Ａは、登録動作の開始を指示する入力（例えばシステム管理者の識別情報と登録者Ｍの識別情報との入力）が入力部１に受け付けられる（ステップＳ２においてＹＥＳ）と、既に説明したように登録動作（ステップＳ５）を行い、必須顔画像による判定（ステップＳ６）や、第２登録動作（ステップＳ７）、並びに、その後の確認動作（ステップＳ８）を経ても、再度の登録動作が不要と判断されれば（ステップＳ６とステップＳ８においてともにＹＥＳ）、検討動作（ステップＳ９）を行なって最終的な登録画像を確定した後、認証モードに復帰する。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、顔認証装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。 The present embodiment can be used in an integrated manner with the face authentication apparatus A in a housing system for security as shown in FIG. That is, the face authentication apparatus A in FIG. 10 has the same basic configuration as the face registration apparatus described above. As shown in FIG. 11, after starting (step S1), some input is usually made to the input unit 1. Until identification information is input to the input unit 1 for authentication (YES in step S3), each face image associated with the identification information in the storage unit 3 and the imaging unit 2 are captured. The authentication operation starts by comparing the face image of the person to be authenticated (step S4). Further, the face authentication apparatus A receives an input (for example, input of identification information of the system administrator and identification information of the registrant M) that is instructed to start a registration operation by the input unit 1 (YES in step S2). As described above, the registration operation (step S5) is performed, and the determination by the essential face image (step S6), the second registration operation (step S7), and the subsequent confirmation operation (step S8) are performed again. If it is determined that the registration operation is unnecessary (YES in both step S6 and step S8), the examination operation (step S9) is performed to finalize the final registered image, and then the authentication mode is restored. This apartment house security system is installed in an apartment house such as a condominium. In addition to the face authentication device A, the lobby intercom B, the alarm monitoring panel C, the electric lock control device D, the elevator control panel E, It includes a delivery box control panel F, a system control panel G, and a housing information panel (not shown) installed in each dwelling unit.
ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関の扉Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。なお、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。 The lobby intercom B is equipped with a camera for imaging visitors, a telephone device for making calls with the alarm monitoring panel C and the housing information panel, and a numeric keypad for the visitors to enter the dwelling unit number of the visited unit. It is installed outside the common entrance door J of the apartment house. When a visitor operates the numeric keypad of the lobby intercom B and inputs the dwelling unit number of the visited residence unit, the lobby intercom B passes through the alarm monitoring panel C to the housing information panel installed in the dwelling unit of that dwelling unit number. Thus, a call signal and a visitor image captured by the camera of the lobby intercom B are transmitted. And in the house information board which received the calling signal, the image received from the lobby intercom B is displayed on the display and the calling sound is emitted from the speaker. When the resident of the dwelling unit presses the response button on the housing information board, a communication path is formed between the housing information board and the lobby intercom B, and the visitor and the resident use the lobby intercom B and the housing information board, respectively. You can make a call. Since this type of lobby interphone B, alarm monitoring panel C, and house information panel are well known in the art, detailed illustration and description thereof will be omitted.
電気錠制御盤Ｄは、共同玄関の扉Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や顔認証装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人が当該住人に割り当てられている識別情報としてのＩＤ番号を顔認証装置ＡのＩＣタグリーダ１２から入力するとともにキーボード１１において第２の識別情報（暗証番号など）を正しく入力すると、顔認証装置Ａでは、ＩＣタグリーダ１２に入力されたＩＤ番号に対応付けられた顔画像を用いて当該住人の顔認証（認証動作）を行い、認証できれば（つまり認証動作の結果として当該住人が登録者であると判断されれば）システム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、顔認証装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに共同玄関の扉Ｊの電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、顔認証装置Ａによる認証が不可であった場合（つまり認証動作の結果として当該住人が登録者ではないと判断された場合）、システム制御盤Ｇでは、顔認証装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに共同玄関の扉Ｊの電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。なお、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。なお、図９のように入力部１としてキーボード１１のみを備える場合、ＩＤ番号などの識別情報はキーボード１１から入力されるようにしてもよい。また、制御部５が、上記顔認証（認証動作）の終了時に、表示装置や指示部４を制御し、認証の対象となった当該住人に対して認証の結果を報知させてもよい。 The electric lock control panel D controls locking / unlocking of an electric lock (not shown) provided on the door J of the common entrance. The elevator control panel E controls the operation of an elevator (not shown) installed in the apartment house. The delivery box control panel F controls locking / unlocking of delivery boxes installed in the apartment house. The system control panel G causes the electric lock control panel D to unlock the electric lock or causes the elevator control panel E to operate the elevator according to the control command transmitted from the house information panel and the authentication result of the face authentication device A. Or let the delivery box control panel F unlock the delivery box. That is, a resident of any dwelling unit inputs an ID number as identification information assigned to the resident from the IC tag reader 12 of the face authentication apparatus A and correctly inputs second identification information (such as a password) on the keyboard 11. Upon input, the face authentication apparatus A performs face authentication (authentication operation) of the resident using the face image associated with the ID number input to the IC tag reader 12, and if authentication is possible (that is, as a result of the authentication operation, If the resident is determined to be a registrant, the authentication control information is transmitted to the system control board G. When the system control board G receives the information that can be authenticated from the face authentication apparatus A, the system control board G causes the electric lock control board D to unlock the electric lock of the door J of the common entrance, or causes the elevator control board E to operate the elevator. The delivery box control panel F is used to unlock the delivery box. On the other hand, when the authentication by the face authentication device A is impossible (that is, when the resident is determined not to be a registrant as a result of the authentication operation), the system control panel G receives information that cannot be authenticated from the face authentication device A. , The electric lock control panel D does not unlock the electric lock of the door J of the common entrance, the elevator control panel E does not operate the elevator, and the delivery box control panel F does not unlock the delivery box. Since the electric lock control device D, the elevator control panel E, and the delivery box control panel F are well known in the art, detailed illustration and description thereof are omitted. When only the keyboard 11 is provided as the input unit 1 as shown in FIG. 9, identification information such as an ID number may be input from the keyboard 11. Further, the control unit 5 may control the display device and the instruction unit 4 at the end of the face authentication (authentication operation) to notify the resident who has been authenticated of the authentication result.
ここで、上記の顔認証装置Ａは、扉Ｊの前で顔認証を行うのだが、通路を右から来たとき、左から来たとき、正面から来たによってカメラ２１を見る顔の向きが変わる場合がある。登録時に、カメラ２１の前で静止した状態の顔の向きは正対した、かしこまった顔になっている場合が多い。特に登録時は、顔認証装置Ａに対して初めて触れる機会であり、装置に対する不慣れによって、顔がこわばっていることも十分に考えられる。しかし、顔認証装置Ａに慣れてくると、顔の向きに関してルーズになって正対しなくなったりする。また、通路を歩いてくる方向によって上記のように顔向きが変わったり、さらに顔認証装置Ａに慣れてくると、顔認証装置Ａの反応時間（顔を検出してから扉Ｊが自動で開くまで、あるいは電気錠が解除されるまで）に併せて、扉Ｊの前で静止せずに歩く速度を緩めるだけで認証されることを望むようになり、顔の向きが登録時の正対とは大きく異なるようになる。そこで、登録時に多く試みるであろう正対した顔画像以外に、実際の運用時に顔認証装置Ａのカメラ２１の近くに来た時の顔向きとなるであろう図３の顔向きの顔画像を登録段階で登録する。なお、図３の様々な顔向きの顔画像を登録するために、ある程度身体を動かしてもらいながら、一方でカメラ２１を見ている顔画像を撮影すれば、図３の顔向きの顔画像が撮影しやすくなる。請求項４に示すように動きを要求しつつ、請求項９に示すようにカメラをほぼ直視するための仕組みを加えることによって、より、図３の顔向きの顔画像を撮影し、登録しやすくなる。 Here, the face authentication apparatus A performs face authentication in front of the door J, but when it comes from the right, when it comes from the left, when it comes from the left, when it comes from the front, the direction of the face looking at the camera 21 is changed. May change. At the time of registration, the orientation of the face that is stationary in front of the camera 21 is often a confronted face. In particular, during registration, it is an opportunity to touch the face authentication device A for the first time, and it is fully possible that the face is stiff due to inexperience with the device. However, if you become accustomed to the face authentication device A, the face orientation becomes loose and you may not face it. Further, when the face direction changes as described above depending on the direction of walking in the passage, or when the user gets used to the face authentication device A, the reaction time of the face authentication device A (the door J automatically opens after detecting the face) (Or until the electric lock is released), it will be desired to be authenticated just by slowing the walking speed without standing still in front of the door J. Will be very different. Therefore, in addition to the face image that would face many at the time of registration, the face image in the face direction of FIG. 3 that would be the face when it came close to the camera 21 of the face authentication device A during actual operation. Is registered at the registration stage. In order to register the face images of various faces in FIG. 3 while moving the body to some extent while photographing the face image looking at the camera 21, the face images of FIG. Easier to shoot. By adding a mechanism for viewing the camera almost directly as shown in claim 9 while requesting movement as shown in claim 4, it is easier to capture and register the face image of the face in FIG. Become.
１ 入力部
２ 撮像部
３ 記憶部
４ 指示部
５ 制御部
２１ カメラ
４１ ディスプレイ（請求項における表示手段）
４３ 発光ダイオード（請求項における表示手段）
d
DESCRIPTION OF SYMBOLS 1 Input part 2 Imaging part 3 Memory | storage part 4 Instruction part 5 Control part 21 Camera 41 Display (Display means in a claim)
43 Light emitting diode (display means in claims)
d
Claims (10)
顔画像を登録する登録動作の開始の指示が識別情報とともに入力される入力部と、
画像をデジタルデータとして出力するカメラ及びカメラが出力した画像から顔と判定される部分である顔画像を抽出して出力する顔抽出装置を有する撮像部と、
撮像部によって撮像された顔画像が格納される記憶部と、
登録者への指示を行う指示部と、
入力部に識別情報とともに登録動作の開始の指示が入力されたときに、撮像部を制御して登録者の顔画像を複数枚撮像させる登録動作を開始するとともに、登録動作中に得られた顔画像のうち１枚以上の顔画像を、登録動作の開始時に入力部に入力された識別情報に関連付けられた登録画像として記憶部に格納することにより登録する制御部とを備え、
制御部は、登録動作中、それぞれ顔の向きが異なる複数枚の顔画像が得られるように、指示部を制御して顔の向きを変えるように登録者に対して指示させ、登録動作の終了後、登録動作と同様にして複数枚の登録画像を得る第２登録動作を行うとともに、前記登録動作中に得られた各登録画像について、それぞれ前記第２登録動作中に撮像された各顔画像との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、前記登録動作中に得られた各登録画像の有効・無効を判断するとともに、前記登録動作中に得られた各登録画像が無効と判断された場合には前記登録動作中に得られた全ての登録画像を破棄する一方、前記登録動作中に得られた各登録画像が有効と判定された場合には、前記第２登録動作中に得られた各登録画像について、それぞれ前記第２登録動作中に得られた他の各顔画像との一致・不一致を判定し、これらの一致・不一致の判定の結果に応じて、前記第２登録動作中に得られた各登録画像の有効・無効を判断するとともに、前記第２登録動作中に得られた各登録画像が無効と判断された場合には前記第２登録動作中に得られた全ての登録画像を破棄する一方、前記第２登録動作中に得られた各登録画像が有効と判定された場合には、前記登録動作で得られた登録画像と前記第２登録動作で得られた登録画像とのどちらが本人判断する性能が高いかを判断して本人判断する性能が高い一方のみを登録画像として残すことを特徴とする顔画像登録装置。 A face image registration device that registers one or more face images used for face authentication for each registrant,
An input unit in which an instruction to start a registration operation for registering a face image is input together with identification information;
An imaging unit having a camera that outputs an image as digital data, and a face extraction device that extracts and outputs a face image that is determined as a face from an image output by the camera;
A storage unit for storing a face image captured by the imaging unit;
An instruction unit for giving instructions to the registrant;
When an instruction for starting the registration operation is input together with the identification information to the input unit, the registration unit starts controlling the imaging unit to capture a plurality of registrant face images, and the face obtained during the registration operation A control unit that registers one or more face images of the image by storing in the storage unit as a registered image associated with the identification information input to the input unit at the start of the registration operation;
During the registration operation, the control unit controls the instruction unit to instruct the registrant to change the face direction so that a plurality of face images with different face directions are obtained , and the registration operation is completed. Thereafter, in the same manner as the registration operation, a second registration operation for obtaining a plurality of registered images is performed, and for each registered image obtained during the registration operation, each face image captured during the second registration operation. And whether or not each registered image obtained during the registration operation is valid / invalid according to the result of the match / mismatch determination, and obtained during the registration operation. When it is determined that each registered image is invalid, all registered images obtained during the registration operation are discarded, while when each registered image obtained during the registration operation is determined to be valid, Each registered image obtained during the second registration operation Then, it is determined whether each face image obtained during the second registration operation matches or does not match, and is obtained during the second registration operation according to the result of the match / mismatch determination. Determines whether each registered image is valid or invalid, and discards all registered images obtained during the second registration operation when each registered image obtained during the second registration operation is judged invalid. On the other hand, if it is determined that each registered image obtained during the second registration operation is valid, which one of the registered image obtained by the registration operation and the registered image obtained by the second registration operation is A face image registration apparatus characterized by determining whether or not the performance for judging a person is high and leaving only one having a high performance for judging the person as a registered image .
制御部は、登録動作中に撮像部に撮像された顔画像のうち、いずれかの平均顔画像との相関値が所定の登録相関値以上であって平均顔画像毎に相関値が最も高い１枚ずつの顔画像のみを登録画像として記憶部に格納することを特徴とする請求項１記載の顔画像登録装置。 The storage unit stores in advance a plurality of average face images, which are average face images with different face orientations,
The control unit has a correlation value with one of the average face images of the face images captured by the imaging unit during the registration operation that is equal to or higher than a predetermined registration correlation value and has the highest correlation value for each average face image. The face image registration apparatus according to claim 1, wherein only the face image for each sheet is stored in the storage unit as a registered image.
制御部は、登録動作の終了時、必須顔画像との相関値が登録相関値以上である登録画像が全ての必須顔画像について得られていなければ、登録動作を再度行うことを特徴とする請求項２記載の顔画像登録装置。 At least one of the average face images is considered an essential face image,
The control unit re-executes the registration operation at the end of the registration operation if a registration image having a correlation value with the essential face image equal to or greater than the registration correlation value is not obtained for all the essential face images. Item 3. The face image registration device according to Item 2.
撮像部のカメラと表示装置とが互いに近接配置されていることを特徴とする請求項１〜７のいずれか１項に記載の顔画像登録装置。 Provided with a display device that displays the operating status,
The face image registration device according to claim 1, wherein the camera of the imaging unit and the display device are arranged close to each other .
制御部は、各登録画像を、該登録画像が得られた登録動作の開始時に入力部に入力された第２の識別情報にもそれぞれ関連付けて記憶部に格納することを特徴とする請求項１〜９のいずれか１項に記載の顔画像登録装置。 The input unit receives an input of second identification information different from the identification information together with an instruction to start the registration operation and the input of identification information,
The control unit stores each registered image in the storage unit in association with the second identification information input to the input unit at the start of the registration operation from which the registered image is obtained. face image registration apparatus according to any one of to 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008107201A JP5261009B2 (en) | 2008-04-16 | 2008-04-16 | Face image registration device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008107201A JP5261009B2 (en) | 2008-04-16 | 2008-04-16 | Face image registration device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009258991A JP2009258991A (en) | 2009-11-05 |
| JP5261009B2 true JP5261009B2 (en) | 2013-08-14 |
Family
ID=41386330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008107201A Expired - Fee Related JP5261009B2 (en) | 2008-04-16 | 2008-04-16 | Face image registration device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5261009B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190070179A (en) * | 2017-12-12 | 2019-06-20 | 삼성전자주식회사 | Device and method to register user |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2203865A2 (en) | 2007-09-24 | 2010-07-07 | Apple Inc. | Embedded authentication systems in an electronic device |
| US8600120B2 (en) | 2008-01-03 | 2013-12-03 | Apple Inc. | Personal computing device control using face detection and recognition |
| WO2012029150A1 (en) * | 2010-09-01 | 2012-03-08 | 富士通株式会社 | Biometric authentication system, biometric authentication method and program |
| JP5801601B2 (en) | 2011-05-10 | 2015-10-28 | キヤノン株式会社 | Image recognition apparatus, image recognition apparatus control method, and program |
| JP5755046B2 (en) | 2011-06-22 | 2015-07-29 | キヤノン株式会社 | Image recognition apparatus, image recognition method, and program |
| US9002322B2 (en) | 2011-09-29 | 2015-04-07 | Apple Inc. | Authentication with secondary approver |
| JP2013167986A (en) * | 2012-02-15 | 2013-08-29 | Hitachi Ltd | Image recognition system and image recognition method |
| US9898642B2 (en) | 2013-09-09 | 2018-02-20 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US9483763B2 (en) | 2014-05-29 | 2016-11-01 | Apple Inc. | User interface for payments |
| JP6365671B2 (en) * | 2014-07-24 | 2018-08-01 | 富士通株式会社 | Face authentication device, face authentication method, and face authentication program |
| US9940637B2 (en) | 2015-06-05 | 2018-04-10 | Apple Inc. | User interface for loyalty accounts and private label accounts |
| US20160358133A1 (en) | 2015-06-05 | 2016-12-08 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
| JP6515852B2 (en) * | 2016-03-31 | 2019-05-22 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, personal identification system, control method thereof, personal identification method, program thereof |
| DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
| US10621581B2 (en) | 2016-06-11 | 2020-04-14 | Apple Inc. | User interface for transactions |
| DK201670622A1 (en) | 2016-06-12 | 2018-02-12 | Apple Inc | User interfaces for transactions |
| JP2017224186A (en) * | 2016-06-16 | 2017-12-21 | 株式会社 日立産業制御ソリューションズ | Security system |
| US20180068313A1 (en) | 2016-09-06 | 2018-03-08 | Apple Inc. | User interfaces for stored-value accounts |
| US10496808B2 (en) | 2016-10-25 | 2019-12-03 | Apple Inc. | User interface for managing access to credentials for use in an operation |
| JP6801577B2 (en) * | 2017-05-17 | 2020-12-16 | Ｊｆｅスチール株式会社 | Authentication system, authentication method, and gate |
| KR102185854B1 (en) | 2017-09-09 | 2020-12-02 | 애플 인크. | Implementation of biometric authentication |
| JP6736686B1 (en) | 2017-09-09 | 2020-08-05 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Implementation of biometrics |
| US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
| US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
| US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
| US11328352B2 (en) | 2019-03-24 | 2022-05-10 | Apple Inc. | User interfaces for managing an account |
| US11816194B2 (en) | 2020-06-21 | 2023-11-14 | Apple Inc. | User interfaces for managing secure operations |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3337913B2 (en) * | 1996-06-19 | 2002-10-28 | 沖電気工業株式会社 | Iris imaging method and imaging device thereof |
| JP2003317100A (en) * | 2002-02-22 | 2003-11-07 | Matsushita Electric Ind Co Ltd | Information terminal device, authentication system, and registering and authenticating method |
| JP2005084824A (en) * | 2003-09-05 | 2005-03-31 | Toshiba Corp | Face image collation apparatus and face image collation method and passage controller |
| JP2006308375A (en) * | 2005-04-27 | 2006-11-09 | Matsushita Electric Ind Co Ltd | Infrared ray using type eye position detection device |
-
2008
- 2008-04-16 JP JP2008107201A patent/JP5261009B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190070179A (en) * | 2017-12-12 | 2019-06-20 | 삼성전자주식회사 | Device and method to register user |
| US10860875B2 (en) | 2017-12-12 | 2020-12-08 | Samsung Electronics Co., Ltd. | Device and method to register user |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009258991A (en) | 2009-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5261009B2 (en) | Face image registration device | |
| WO2021000587A1 (en) | Vehicle door unlocking method and device, system, vehicle, electronic equipment and storage medium | |
| US7006672B2 (en) | Entrance management apparatus and entrance management method | |
| US8174555B2 (en) | Portable video communication system | |
| JP2006259930A (en) | Display device and its control method, electronic device equipped with display device, display device control program, and recording medium recording program | |
| KR101682311B1 (en) | Face recognition digital door lock | |
| JP5123037B2 (en) | Face authentication apparatus and face authentication method | |
| TW201532940A (en) | Elevator control system | |
| JP2008523650A (en) | Wireless imaging device with biometric reader | |
| CN110678871A (en) | Face authentication device and face authentication method | |
| KR20170033534A (en) | Face recognition digital door lock | |
| JP5314294B2 (en) | Face recognition device | |
| JP4772509B2 (en) | Doorphone and ringing tone control method for doorphone | |
| JP2009206784A (en) | Security system for dwelling house | |
| RU2321068C1 (en) | Method for video control and access management | |
| WO2021176593A1 (en) | Stay management device, stay management method, non-transitory computer-readable medium in which program is stored, and stay management system | |
| JP2008140319A (en) | Personal identification device and personal identification system | |
| KR20160005204A (en) | Security system and method using detecting face or shape of human in doorlock | |
| JP2022177247A (en) | Face authentication device and method for controlling face authentication device | |
| JP4981700B2 (en) | Face recognition device | |
| JP2008236698A (en) | Interphone device | |
| JP2010062797A (en) | Intercom system | |
| JP2013190992A (en) | Information processing terminal, and authentication method and authentication program of the same | |
| JP2011077832A (en) | Intercom system | |
| JP7390670B2 (en) | Image output method and program for communal entrance handsets, communal entrance handsets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100811 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110124 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130426 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |