JP6852779B2 - Image recognition device, image recognition method, and image recognition program - Google Patents

Image recognition device, image recognition method, and image recognition program Download PDF

Info

Publication number
JP6852779B2
JP6852779B2 JP2019224879A JP2019224879A JP6852779B2 JP 6852779 B2 JP6852779 B2 JP 6852779B2 JP 2019224879 A JP2019224879 A JP 2019224879A JP 2019224879 A JP2019224879 A JP 2019224879A JP 6852779 B2 JP6852779 B2 JP 6852779B2
Authority
JP
Japan
Prior art keywords
face image
image
region
shielding
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019224879A
Other languages
Japanese (ja)
Other versions
JP2020038731A (en
Inventor
昭裕 早坂
昭裕 早坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2019224879A priority Critical patent/JP6852779B2/en
Publication of JP2020038731A publication Critical patent/JP2020038731A/en
Priority to JP2021039200A priority patent/JP7124912B2/en
Application granted granted Critical
Publication of JP6852779B2 publication Critical patent/JP6852779B2/en
Priority to JP2022121851A priority patent/JP7302719B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、遮蔽領域を含む顔画像を識別する技術に関する。 The present invention relates to a technique for identifying a face image including a shielded area.

顔画像を識別する画像認識装置が良く知られている。このような画像認識装置では、入力された顔画像または登録されている顔画像において顔の一部が眼鏡やサングラス、マスクなどの装着物によって遮蔽されている場合、認識精度が低下する。 An image recognition device that identifies a face image is well known. In such an image recognition device, the recognition accuracy is lowered when a part of the face in the input face image or the registered face image is shielded by an attachment such as glasses, sunglasses, or a mask.

このような問題に関連する技術の１つが、特許文献１に記載されている。特許文献１に記載の関連技術は、入力画像における複数の各小領域と、各小領域に対応する位置にある登録画像の各小領域との間で、パターン間距離値を算出する。そして、この関連技術は、パターン間距離値のうち小さい順に所定数だけを用いて算出した統合距離値に基づいて、入力画像を識別する。この関連技術では、入力画像および登録画像間でパターン間距離値が大きい小領域は識別に寄与しない。このため、この関連技術は、遮蔽によって入力画像および登録画像が大きく異なる小領域については、その小領域を避けて照合することができる。 One of the techniques related to such a problem is described in Patent Document 1. The related technique described in Patent Document 1 calculates an inter-pattern distance value between each of a plurality of small regions in an input image and each small region of a registered image at a position corresponding to each small region. Then, this related technique identifies the input image based on the integrated distance value calculated by using only a predetermined number of the inter-pattern distance values in ascending order. In this related technique, a small region having a large inter-pattern distance value between the input image and the registered image does not contribute to the identification. Therefore, this related technique can avoid and collate a small area in which the input image and the registered image differ greatly due to shielding.

また、このような問題に関連する他の技術が、特許文献２に記載されている。特許文献２に記載の関連技術は、利用者ごとに、装着物（眼鏡など）の装着状態が異なる複数の顔情報をあらかじめ登録しておく。そして、この関連技術は、複数の顔情報のうち、入力顔画像と類似する候補顔情報を特定する。さらに、この関連技術は、候補顔情報に対応する利用者について登録された複数の顔情報のうち、候補顔情報とは装着状態が異なる別種顔情報を特定する。そして、この関連技術は、装着物の装着領域以外の領域において、入力顔画像および別種顔情報が類似する場合に、入力顔画像が、候補顔情報に対応する利用者を表すと判定する。このように、この関連技術は、入力顔画像における装着物の装着状態がどちらの場合であっても、照合を行うことができる。 Further, other techniques related to such a problem are described in Patent Document 2. In the related technology described in Patent Document 2, a plurality of face information having different wearing states (glasses, etc.) is registered in advance for each user. Then, this related technique identifies candidate face information similar to the input face image among the plurality of face information. Further, this related technology identifies different types of face information whose wearing state is different from that of the candidate face information among a plurality of face information registered for the user corresponding to the candidate face information. Then, this related technique determines that the input face image represents the user corresponding to the candidate face information when the input face image and the different type face information are similar in the area other than the wearing area of the wearing object. As described above, this related technique can perform collation regardless of the wearing state of the attached object in the input face image.

また、このような問題に関連する他の技術が、特許文献３に記載されている。特許文献３に記載の関連技術は、顔画像について装着物ありと判定した場合、装着物領域を回避した領域から第1特徴量を抽出する。そして、この関連技術は、第１特徴量とともに、装着物ありの顔画像を登録しておく。また、この関連技術は、顔画像について装着物なしと判定した場合、第1特徴量に加えて、想定される装着物領域を含む領域から第２特徴量を抽出する。そして、この関連技術は、第１特徴量および第２特徴量とともに、装着物なしの顔画像を登録しておく。また、この関連技術は、入力顔画像から第１特徴量または第２特徴量を抽出し、登録画像の第１特徴量または第２特徴量との照合を行う。このように、この関連技術は、登録顔画像に装着物があり入力顔画像に装着物がない場合や、登録顔画像に装着物がなく入力顔画像に装着物がある場合も、照合を行うことができる。 Further, other techniques related to such a problem are described in Patent Document 3. In the related technique described in Patent Document 3, when it is determined that the face image has an attachment, the first feature amount is extracted from the region avoiding the attachment region. Then, in this related technique, a face image with an attachment is registered together with the first feature amount. Further, in this related technique, when it is determined that there is no attachment for the face image, the second feature amount is extracted from the area including the assumed attachment area in addition to the first feature amount. Then, in this related technique, a face image without an attachment is registered together with the first feature amount and the second feature amount. Further, this related technique extracts the first feature amount or the second feature amount from the input face image and collates it with the first feature amount or the second feature amount of the registered image. As described above, this related technology performs collation even when the registered face image has an attachment and the input face image has no attachment, or when the registered face image has no attachment and the input face image has an attachment. be able to.

また、このような問題に関連する他の関連技術が、特許文献４に記載されている。特許文献４に記載の関連技術は、入力顔画像および基準顔画像を、特徴点を頂点とする複数の小領域に分割し、対応する小領域ごとに比較する。そして、この関連技術は、比較結果に基づいて、入力顔画像の小領域ごとに、遮蔽領域であるか否かを判定する。 Further, other related techniques related to such a problem are described in Patent Document 4. The related technique described in Patent Document 4 divides an input face image and a reference face image into a plurality of small regions having feature points as vertices, and compares each of the corresponding small regions. Then, this related technique determines whether or not it is a shielding region for each small region of the input face image based on the comparison result.

また、このような問題に関連する他の関連技術が、特許文献５に記載されている。特許文献５に記載の関連技術は、入力顔画像の部分的な遮蔽領域を、事前に学習させた連想記憶回路によって補完する。そして、この関連技術は、補完された想起画像を利用して照合を行う。このように、この関連技術は、全ての画像を遮蔽領域の無い画像として照合を行う。 Further, other related techniques related to such a problem are described in Patent Document 5. The related technique described in Patent Document 5 complements a partially shielded region of an input face image with a pre-learned associative memory circuit. Then, this related technique performs collation using the complemented recall image. As described above, this related technique collates all images as images without a shielded area.

特許第４８０３２１４号Patent No. 4803214 特開２０１４−１１５７８４号公報Japanese Unexamined Patent Publication No. 2014-115784 特開２００７−２８０２５０号公報Japanese Unexamined Patent Publication No. 2007-280250 特開２０１１−６００３８号公報Japanese Unexamined Patent Publication No. 2011-60038 特開２００７−１４８８７２号公報JP-A-2007-148872

しかしながら、上述の関連技術には、以下の課題がある。 However, the above-mentioned related technology has the following problems.

特許文献１に記載の関連技術では、入力画像および登録画像のそれぞれ表す顔の人物が異なる場合であっても、各画像における遮蔽領域の配置や内容が類似する場合がある。このような場合、この関連技術は、パターン間距離値が小さい遮蔽領域を照合に用いてしまう。そのため、この関連技術は、実際には異なる人物を示す入力画像および登録画像を、同一人物を示すと判定してしまう場合がある。 In the related technique described in Patent Document 1, even if the person with the face represented by the input image and the registered image is different, the arrangement and contents of the shielding region in each image may be similar. In such a case, this related technique uses a shielded area having a small inter-pattern distance value for collation. Therefore, this related technique may determine that the input image and the registered image showing different persons actually indicate the same person.

また、特許文献２に記載の関連技術では、利用者ごとに、装着状態の異なる複数の顔画像を登録する必要がある。しかしながら、どのような利用者も、そのような複数の顔画像を登録可能であるとは限らない。また、想定される装着物の種類が増えると、利用者は、装着物ごとに装着状態の異なる顔画像を登録しなければならない。これは、利便性の面での問題を生じる。 Further, in the related technique described in Patent Document 2, it is necessary to register a plurality of facial images having different wearing states for each user. However, not all users can register such a plurality of facial images. In addition, as the number of possible types of wearable items increases, the user must register a face image having a different wearable state for each wearable item. This raises a convenience issue.

また、特許文献３に記載の関連技術では、想定される装着物の種類が増えると、各装着物について、想定される装着物領域を回避した第１特徴量を抽出する必要が生じる。したがって、この関連技術は、想定される装着物の種類数だけ異なるパターンの第１特徴量を抽出しなければならず、処理負荷が増加する。なお、想定される全ての装着物の装着物領域を避けた領域から第１特徴量を抽出すれば、想定される装着物の種類が増加しても、第１特徴量のパターン数は増加しない。しかしながら、この場合、想定される装着物の種類の増加に伴い、顔を表す領域のうちで照合に用いることができる領域が減少してしまう。その結果、認識精度が低下する。また、想定される装着物の種類の増加に応じて、装着物の有無を判定する機能の事前学習にかかるコストも増大する。 Further, in the related technique described in Patent Document 3, as the types of expected attachments increase, it becomes necessary to extract the first feature amount avoiding the assumed attachment area for each attachment. Therefore, in this related technique, it is necessary to extract the first feature amount of the pattern different by the number of expected types of attachments, which increases the processing load. If the first feature amount is extracted from the area avoiding the attachment area of all the expected attachments, the number of patterns of the first feature amount does not increase even if the types of the expected attachments increase. .. However, in this case, as the number of types of attachments assumed increases, the area representing the face that can be used for collation decreases. As a result, the recognition accuracy is lowered. In addition, as the expected types of attachments increase, the cost of pre-learning the function of determining the presence or absence of attachments also increases.

また、特許文献４に記載の関連技術は、入力画像の小領域ごとに、基準顔画像の小領域との輝度の差分に基づき遮蔽領域であるかないかを判定している。しかし、照明変動の影響により、小領域によっては、遮蔽領域でなくても基準顔画像との輝度の差分が大きい場合がある。この場合、この関連技術は、遮蔽領域でない小領域を遮蔽領域であると判定してしまう。また、入力顔画像の小領域がテクスチャの少ない遮蔽物によって遮蔽されており、対応する基準顔画像の小領域におけるテクスチャがもともと少ないことがある。このとき、そのような小領域間では、輝度の差分が少なくなる場合がある。この場合、この関連技術は、遮蔽領域である小領域を遮蔽領域でないと判定してしまう。例えば、白いマスクをした人物のマスクの一部と基準顔の肌との輝度の差分は少ない可能性がある。この場合、この関連技術は、マスクで遮蔽されている領域を遮蔽領域でないと判定してしまう。このように、この関連技術は、小領域ごとの遮蔽領域の判定精度に問題がある。 Further, the related technique described in Patent Document 4 determines whether or not the input image is a shielding region based on the difference in brightness from the small region of the reference face image for each small region of the input image. However, due to the influence of illumination fluctuation, the difference in brightness from the reference face image may be large depending on the small area even if it is not the shielded area. In this case, this related technique determines that a small area that is not a shielded area is a shielded area. Further, a small area of the input face image is shielded by a shield having a small texture, and the texture in the small area of the corresponding reference face image may be originally small. At this time, the difference in brightness may be small between such small areas. In this case, the related technique determines that the small area, which is the shielding area, is not the shielding area. For example, the difference in brightness between a part of the mask of a person wearing a white mask and the skin of the reference face may be small. In this case, the related technique determines that the area shielded by the mask is not a shielded area. As described above, this related technique has a problem in the determination accuracy of the shielded area for each small area.

また、特許文献５に記載の関連技術は、登録画像に遮蔽領域がある場合に対応できない。これは、部分的な遮蔽領域を補完する想起画像生成のための学習には、遮蔽領域のない登録画像が必要となるからである。また、この関連技術は、登録画像の表す人物以外の人物を表す入力顔画像が入力された場合、登録画像の表す人物に近い想起画像を生成してしまう。そのため、この関連技術は、そのような入力顔画像について、実際には異なる人物を示す登録顔画像と同一人物を示すと判定してしまう可能性がある。 Further, the related technique described in Patent Document 5 cannot cope with the case where the registered image has a shielding region. This is because learning for generating a recall image that complements a partially shielded area requires a registered image without a shielded area. Further, this related technique generates a recall image close to the person represented by the registered image when an input face image representing a person other than the person represented by the registered image is input. Therefore, this related technique may determine that such an input face image actually shows the same person as the registered face image showing a different person.

本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、システム構築にかかるコストおよび識別時の処理負荷を増大させることなく、遮蔽領域を含む画像の認識精度をより向上させる技術を提供することを目的とする。 The present invention has been made to solve the above-mentioned problems. That is, an object of the present invention is to provide a technique for further improving the recognition accuracy of an image including a shielded area without increasing the cost for system construction and the processing load at the time of identification.

本発明の画像認識装置は、顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定部と、前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別部と、を備える。 The image recognition device of the present invention is a determination unit that determines a face shielding pattern in the face image by comparing an image representing a face (face image) with an image representing a standard face (standard face image). And an identification unit for identifying the face image by excluding the region based on the shielding pattern in the face image.

また、本発明の画像認識方法は、顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定し、前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う。 Further, the image recognition method of the present invention determines a face shielding pattern in the face image by comparing an image representing a face (face image) with an image representing a standard face (standard face image). , The area based on the shielding pattern in the face image is excluded, and the face image is identified.

また、本発明の画像認識プログラムは、顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定ステップと、前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別ステップと、をコンピュータ装置に実行させる。 Further, the image recognition program of the present invention determines a face shielding pattern in the face image by comparing an image representing a face (face image) with an image representing a standard face (standard face image). A computer device is made to execute the determination step and the identification step of identifying the face image by excluding the region based on the shielding pattern in the face image.

本発明は、システム構築にかかるコストおよび識別時の処理負荷を増大させることなく、遮蔽領域を含む画像の認識精度をより向上させる技術を提供することができる。 INDUSTRIAL APPLICABILITY The present invention can provide a technique for further improving the recognition accuracy of an image including a shielded area without increasing the cost for system construction and the processing load at the time of identification.

本発明の第１の実施の形態としての画像認識装置の機能ブロック図である。It is a functional block diagram of the image recognition apparatus as the 1st Embodiment of this invention. 本発明の第１の実施の形態としての画像認識装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the image recognition apparatus as the 1st Embodiment of this invention. 本発明の第１の実施の形態としての画像認識装置の動作を説明するフローチャートである。It is a flowchart explaining the operation of the image recognition apparatus as the 1st Embodiment of this invention. 本発明の第２の実施の形態としての画像認識装置の機能ブロック図である。It is a functional block diagram of the image recognition apparatus as the 2nd Embodiment of this invention. 本発明の第２の実施の形態において顔画像が分割された小領域の一例を模式的に示す図である。It is a figure which shows typically an example of the small area where the face image was divided in the 2nd Embodiment of this invention. 本発明の第２の実施の形態において顔画像が分割された小領域の他の一例を模式的に示す図である。It is a figure which shows another example of the small area where the face image was divided in the 2nd Embodiment of this invention schematically. 本発明の第２の実施の形態において顔画像が分割された小領域の他の一例を模式的に示す図である。It is a figure which shows another example of the small area where the face image was divided in the 2nd Embodiment of this invention schematically. 本発明の第２の実施の形態において顔画像が分割された小領域の他の一例を模式的に示す図である。It is a figure which shows another example of the small area where the face image was divided in the 2nd Embodiment of this invention schematically. 本発明の第２の実施の形態としての画像認識装置の動作を説明するフローチャートである。It is a flowchart explaining the operation of the image recognition apparatus as the 2nd Embodiment of this invention. 本発明の第３の実施の形態としての画像認識装置の機能ブロック図である。It is a functional block diagram of the image recognition apparatus as the 3rd Embodiment of this invention. 本発明の第３の実施の形態としての画像認識装置の動作を説明するフローチャートである。It is a flowchart explaining the operation of the image recognition apparatus as the 3rd Embodiment of this invention. 本発明の第４の実施の形態としての画像認識装置の機能ブロック図である。It is a functional block diagram of the image recognition apparatus as the 4th Embodiment of this invention. 本発明の第４の実施の形態としての画像認識装置の動作を説明するフローチャートである。It is a flowchart explaining the operation of the image recognition apparatus as the 4th Embodiment of this invention.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（第１の実施の形態）
本発明の第１の実施の形態としての画像認識装置１の構成を図１に示す。図１において、画像認識装置１は、判定部１１と、識別部１２とを含む。 (First Embodiment)
FIG. 1 shows the configuration of the image recognition device 1 as the first embodiment of the present invention. In FIG. 1, the image recognition device 1 includes a determination unit 11 and an identification unit 12.

ここで、画像認識装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１００１と、ＲＡＭ（Random Access Memory）１００２と、ＲＯＭ（Read Only Memory）１００３と、ハードディスク等の記憶装置１００４と、撮像装置１００５と、出力装置１００６とを含むコンピュータ装置によって構成可能である。ＲＯＭ１００３および記憶装置１００４は、コンピュータ装置を本実施の形態の画像認識装置１として機能させるためのコンピュータ・プログラムおよび各種データを記憶している。撮像装置１００５は、人物の顔を撮像することにより顔を表す画像を生成するカメラやビデオカメラ等の装置である。出力装置１００６は、情報を出力するディスプレイ等の装置である。ＣＰＵ１００１は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行することにより、コンピュータ装置の各部を制御する。 Here, as shown in FIG. 2, the image recognition device 1 includes a CPU (Central Processing Unit) 1001, a RAM (Random Access Memory) 1002, a ROM (Read Only Memory) 1003, and a storage device 1004 such as a hard disk. It can be configured by a computer device including an image pickup device 1005 and an output device 1006. The ROM 1003 and the storage device 1004 store a computer program and various data for causing the computer device to function as the image recognition device 1 of the present embodiment. The image pickup device 1005 is a device such as a camera or a video camera that generates an image representing a face by taking a picture of a person's face. The output device 1006 is a device such as a display that outputs information. The CPU 1001 controls each part of the computer device by reading the computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executing the data.

この場合、判定部１１は、撮像装置１００５と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、識別部１２は、出力装置１００６と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。なお、画像認識装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。 In this case, the determination unit 11 is composed of an image pickup device 1005, a computer program stored in the ROM 1003 and the storage device 1004, and a CPU 1001 that reads various data into the RAM 1002 and executes the data. Further, the identification unit 12 is composed of an output device 1006 and a CPU 1001 that reads a computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executes the data. The hardware configuration of the image recognition device 1 and its functional blocks is not limited to the above configuration.

次に、画像認識装置１の各機能ブロックについて説明する。 Next, each functional block of the image recognition device 1 will be described.

判定部１１は、顔画像および標準顔画像を比較することにより、顔画像における顔の遮蔽パターンを判定する。ここで、顔画像は、顔を表す画像である。例えば、判定部１１は、顔画像を、撮像装置１００５を介して取得する。また、標準顔画像は、標準的な顔を表す画像である。なお、標準顔画像は、あらかじめ定められており、例えば、記憶装置１００４に記憶されているものとする。また、顔画像および標準顔画像は、該当する画像から顔を表す領域が切り出された画像であるものとする。また、本実施の形態では、顔画像および標準顔画像は、サイズや顔の向きなどが略同一であることを前提とする。 The determination unit 11 determines the face shielding pattern in the face image by comparing the face image and the standard face image. Here, the face image is an image representing a face. For example, the determination unit 11 acquires a face image via the image pickup apparatus 1005. The standard face image is an image representing a standard face. It should be noted that the standard face image is predetermined and is stored in, for example, the storage device 1004. Further, the face image and the standard face image are assumed to be images in which a region representing a face is cut out from the corresponding image. Further, in the present embodiment, it is assumed that the face image and the standard face image have substantially the same size, face orientation, and the like.

また、遮蔽パターンとは、顔に対してどのような遮蔽物によりどの領域に遮蔽が発生しているかを表す情報である。具体的には、遮蔽パターンは、マスクで口が隠れている、サングラスで目が隠れている、といった情報であってもよい。例えば、判定部１１は、顔画像および標準顔画像を比較することにより、顔が遮蔽物により遮蔽されている遮蔽領域を推定し、推定した遮蔽領域の分布を考慮して、遮蔽パターンを判定してもよい。 Further, the shielding pattern is information indicating what kind of shielding is generated on the face in which area. Specifically, the shielding pattern may be information such as the mouth being hidden by a mask or the eyes being hidden by sunglasses. For example, the determination unit 11 estimates the shielding area where the face is shielded by the shield by comparing the face image and the standard face image, and determines the shielding pattern in consideration of the estimated distribution of the shielding area. You may.

識別部１２は、顔画像中の遮蔽パターンに基づく領域を除外して、顔画像の識別を行う。除外領域は、想定される遮蔽パターンに応じてあらかじめ定められているものとする。なお、除外領域は、判定部２１によって遮蔽パターンを判定する過程で推定された遮蔽領域と必ずしも一致していなくてもよい。また、顔画像の識別技術については、公知の技術を採用可能である。そして、識別部１２は、識別結果を、出力装置１００６に出力する。 The identification unit 12 identifies the face image by excluding the region based on the shielding pattern in the face image. The exclusion area shall be predetermined according to the assumed shielding pattern. The exclusion area does not necessarily have to match the shielding area estimated in the process of determining the shielding pattern by the determination unit 21. Further, as the face image identification technique, a known technique can be adopted. Then, the identification unit 12 outputs the identification result to the output device 1006.

以上のように構成された画像認識装置１の動作について、図３を参照して説明する。 The operation of the image recognition device 1 configured as described above will be described with reference to FIG.

まず、判定部１１は、入力された顔画像（入力顔画像）および標準顔画像を比較する（ステップＳ１）。 First, the determination unit 11 compares the input face image (input face image) with the standard face image (step S1).

次に、判定部１１は、ステップＳ１の比較結果に基づいて、入力顔画像における遮蔽パターンを判定する（ステップＳ２）。 Next, the determination unit 11 determines the shielding pattern in the input face image based on the comparison result in step S1 (step S2).

次に、識別部１２は、入力顔画像中で、ステップＳ２で判定された遮蔽パターンに基づく領域を除外して、入力顔画像の識別を行う。そして、識別部１２は、識別結果を出力する（ステップＳ３）。 Next, the identification unit 12 identifies the input face image by excluding the region based on the shielding pattern determined in step S2 from the input face image. Then, the identification unit 12 outputs the identification result (step S3).

以上で、画像認識装置１は動作を終了する。 With the above, the image recognition device 1 ends the operation.

次に、本発明の第１の実施の形態の効果について述べる。 Next, the effect of the first embodiment of the present invention will be described.

本発明の第１の実施の形態としての画像認識装置は、システム構築にかかるコストおよび識別処理の負荷を増大させることなく、遮蔽領域を含む画像の認識精度をより向上させることができる。 The image recognition device as the first embodiment of the present invention can further improve the recognition accuracy of the image including the shielded area without increasing the cost for constructing the system and the load of the identification process.

その理由は、判定部が、顔画像および標準顔画像を比較することにより、顔画像の遮蔽パターンを判定し、識別部が、顔画像中の遮蔽パターンに基づく領域を除外して、顔画像の識別を行うからである。 The reason is that the determination unit determines the shielding pattern of the face image by comparing the face image and the standard face image, and the identification unit excludes the region based on the shielding pattern in the face image to exclude the region of the face image. This is because the identification is performed.

このように、本実施の形態は、顔画像を標準顔画像と比較して、顔画像における遮蔽領域の分布を考慮して遮蔽パターンを判定する。また、本実施の形態は、標準顔画像との比較により遮蔽されていると推定した遮蔽領域そのものを除外するのではなく、遮蔽領域の分布を考慮して判定した遮蔽パターンに対して定めておいた領域を除外して識別を行う。これにより、本実施の形態は、遮蔽領域の判定エラーに頑健な遮蔽検出を実現する。また、本実施の形態は、遮蔽領域の判定エラーに伴う認証精度の低下を防ぐことができ、顔画像の認識精度を向上させることができる。 As described above, in the present embodiment, the face image is compared with the standard face image, and the shielding pattern is determined in consideration of the distribution of the shielding region in the face image. Further, in the present embodiment, the shielding pattern itself determined by considering the distribution of the shielding area is defined, instead of excluding the shielding area itself estimated to be shielded by comparison with the standard face image. Identification is performed by excluding the existing area. As a result, the present embodiment realizes shielding detection robust to the determination error of the shielding area. Further, in the present embodiment, it is possible to prevent the authentication accuracy from being lowered due to the determination error of the shielded area, and it is possible to improve the recognition accuracy of the face image.

また、本実施の形態は、遮蔽物の種類ごとに遮蔽物の有無を判定する機能の事前学習を必要としない。また、本実施の形態は、利用者毎の遮蔽有無に対応する複数画像の事前登録を必要としない。また、本実施の形態は、遮蔽物の種類数分の特徴量の抽出を必要としない。そして、本実施の形態は、標準顔画像をあらかじめ用意しておき、想定される遮蔽パターンに応じて除外する領域を定めておけばよく、システム構築のコストおよび識別処理の負荷を増大させることがない。 Further, the present embodiment does not require prior learning of the function of determining the presence or absence of the shield for each type of shield. Further, the present embodiment does not require pre-registration of a plurality of images corresponding to the presence or absence of shielding for each user. Further, the present embodiment does not require extraction of feature quantities for the number of types of shields. Then, in the present embodiment, a standard face image may be prepared in advance and an area to be excluded may be determined according to an assumed shielding pattern, which may increase the cost of system construction and the load of identification processing. Absent.

（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described in detail with reference to the drawings. In each drawing referred to in the description of the present embodiment, the same components as those of the first embodiment of the present invention and the steps operating in the same manner are designated by the same reference numerals, and the details in the present embodiment are given. The description is omitted.

まず、本発明の第２の実施の形態としての画像認識装置２の構成を図４に示す。図４において、画像認識装置２は、本発明の第１の実施の形態としての画像認識装置１に対して、判定部１１に替えて判定部２１と、識別部１２に替えて識別部２２とを備え、さらに、分割部２３と、信頼度算出部２４とを有する。 First, FIG. 4 shows the configuration of the image recognition device 2 as the second embodiment of the present invention. In FIG. 4, the image recognition device 2 replaces the determination unit 11 with the determination unit 21 and the identification unit 12 with the identification unit 22 with respect to the image recognition device 1 as the first embodiment of the present invention. Further, it has a division unit 23 and a reliability calculation unit 24.

ここで、画像認識装置２は、図２を参照して説明した本発明の第１の実施の形態の画像認識装置１と同様のハードウェア要素によって構成可能である。この場合、分割部２３は、撮像装置１００５と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、信頼度算出部２４は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。なお、画像認識装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。 Here, the image recognition device 2 can be configured by the same hardware elements as the image recognition device 1 of the first embodiment of the present invention described with reference to FIG. In this case, the division unit 23 is composed of an image pickup apparatus 1005 and a CPU 1001 that reads and executes a computer program and various data stored in the ROM 1003 and the storage apparatus 1004 into the RAM 1002. Further, the reliability calculation unit 24 is composed of a CPU 1001 that reads and executes a computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002. The hardware configuration of the image recognition device 2 and its functional blocks is not limited to the above configuration.

次に、画像認識装置２の各機能ブロックについて説明する。 Next, each functional block of the image recognition device 2 will be described.

分割部２３は、顔画像を小領域（パッチともいう）に分割する。なお、分割部２３は、撮像装置１００５を介して顔画像を取得してもよい。例えば、分割部２３は、顔画像を、同一形状の小領域に分割してもよい。また、分割部２３は、顔画像を、ある小領域の形状が他の少なくとも一部と異なるように分割してもよい。また、分割された各小領域は、他の小領域と重なり合う部分があってもよい。なお、分割部２３は、顔画像を、標準顔画像と同様の配置および形状の小領域に分割することが望ましい。例えば、分割部２３は、あらかじめ標準顔画像を小領域に分割しておき、入力された顔画像を同様の小領域に分割すればよい。あるいは、分割部２３は、小領域にあらかじめ分割された標準顔画像の情報を取得し、取得した小領域と同様の小領域に顔画像を分割してもよい。 The division unit 23 divides the face image into small areas (also referred to as patches). The division unit 23 may acquire a face image via the image pickup device 1005. For example, the division unit 23 may divide the face image into small regions having the same shape. Further, the division unit 23 may divide the face image so that the shape of a small region is different from that of at least a part of the other. In addition, each of the divided subregions may have a portion that overlaps with other subregions. It is desirable that the division unit 23 divides the face image into small regions having the same arrangement and shape as the standard face image. For example, the division unit 23 may divide the standard face image into small areas in advance, and divide the input face image into similar small areas. Alternatively, the division unit 23 may acquire the information of the standard face image previously divided into the small areas, and divide the face image into the same small areas as the acquired small areas.

なお、分割部２３は、顔画像を分割する前に、顔画像を正規化する処理を行ってもよい。これは、画像認識装置２に入力される顔画像が、正規化されていない場合に対応するためである。具体的には、分割部２３は、顔画像中の顔を正規化した顔画像を生成する。なお、ここでいう正規化とは、顔の角度、大きさ等が、所定の角度や大きさになるよう変形処理することをいうものとする。例えば、分割部２３は、入力顔画像中の目や口などの特徴点を検出し、その特徴点が所定の位置にくるよう幾何変換をすればよい。また、分割部２３は、画像認識装置２に入力される画像が顔より広い範囲を表す画像であった場合、該当する画像から顔画像を切り出してから、正規化を行ってもよい。例えば、分割部２３は、顔画像の正規化処理に、特許４６５３６０６号の手法を採用してもよい。なお、分割部２３は、その他の手法を用いて入力顔画像を正規化してもよい。 The division unit 23 may perform a process of normalizing the face image before dividing the face image. This is to cope with the case where the face image input to the image recognition device 2 is not normalized. Specifically, the division unit 23 generates a face image in which the face in the face image is normalized. The normalization referred to here means that the angle, size, etc. of the face are deformed so as to have a predetermined angle and size. For example, the dividing unit 23 may detect feature points such as eyes and mouth in the input face image and perform geometric transformation so that the feature points come to a predetermined position. Further, when the image input to the image recognition device 2 is an image representing a wider range than the face, the division unit 23 may perform normalization after cutting out the face image from the corresponding image. For example, the division unit 23 may adopt the method of Japanese Patent No. 4653606 for the normalization process of the face image. The division unit 23 may normalize the input face image by using another method.

具体例として、例えば、分割部２３は、正規化した顔画像を、図５に示すように、格子状の等サイズの矩形の小領域に分割してもよい。あるいは、図６に示すように、一部または全部の小領域が、他の小領域に重なるように分割されていても構わない。図６では、太線の実線の矩形が示す小領域は、破線の矩形が示す４つの小領域と重なっている。あるいは、分割部２３は、正規化した顔画像を、図７に示すように、ある小領域のサイズが他の少なくとも一部の小領域のサイズと異なるよう分割してもよい。あるいは、分割部２３は、正規化した顔画像を、図８に示すように、矩形以外の形状（例えば、三角形）の小領域に分割してもよい。分割部２３は、信頼度算出部２４および識別部２２の処理に支障のない範囲であれば、任意の形状やサイズの小領域に分割を行ってよい。 As a specific example, for example, the division unit 23 may divide the normalized face image into small rectangular regions of equal size in a grid pattern as shown in FIG. Alternatively, as shown in FIG. 6, a part or all of the small areas may be divided so as to overlap the other small areas. In FIG. 6, the small area indicated by the thick solid line rectangle overlaps with the four small areas indicated by the broken line rectangle. Alternatively, the dividing unit 23 may divide the normalized face image so that the size of a small area is different from the size of at least a part of the other small areas, as shown in FIG. Alternatively, the dividing unit 23 may divide the normalized face image into small regions having a shape other than a rectangle (for example, a triangle) as shown in FIG. The dividing unit 23 may be divided into small areas having an arbitrary shape and size as long as the processing of the reliability calculation unit 24 and the identification unit 22 is not hindered.

信頼度算出部２４は、顔画像を構成する小領域と、標準顔画像を構成する小領域とで、対応する小領域同士を比較する。そして、信頼度算出部２４は、顔画像の小領域毎に、比較結果に基づいて信頼度を算出する。信頼度は、その小領域が、遮蔽物により顔が隠されている遮蔽領域であるか否かの可能性を表す。なお、信頼度は、その小領域が遮蔽領域である可能性が高いほど小さく、低いほど大きい値であってもよい。逆に、信頼度は、その小領域が遮蔽領域である可能性が高いほど大きく、低いほど小さい値であってもよい。 The reliability calculation unit 24 compares the corresponding small areas with each other in the small area forming the face image and the small area forming the standard face image. Then, the reliability calculation unit 24 calculates the reliability for each small area of the face image based on the comparison result. Confidence represents the possibility that the small area is a shielded area where the face is hidden by a shield. The reliability may be smaller as the small area is more likely to be a shielding area, and may be higher as the area is lower. On the contrary, the reliability may be higher as the small area is more likely to be a shielding area, and may be smaller as the small area is lower.

また、標準顔画像は、あらかじめ記憶装置１００４に記憶されている。また、標準顔画像は、あらかじめ正規化されているものとする。例えば、標準顔画像は、遮蔽領域を含まない一般的な証明写真のような顔を表すものであってもよい。また、標準顔画像としては、より多くの顔画像と照合されやすい顔画像を採用するのが望ましい。例えば、標準顔画像としては、複数の人物の顔が平均化された平均顔を表す画像を利用してもよい。また、標準顔画像としては、ウルフ／ラム（複数の人物の顔との類似度が所定条件を満たすサンプル）を表す画像を利用してもよい。また、標準顔画像としては、複数の人物の顔と類似するよう人工的に作り出された物体（人工物）を表す画像を利用してもよい。また、標準顔画像は、あらかじめ小領域に分割されていてもよい。この場合、標準顔画像を構成する小領域は、分割部２３によって分割されたものであってもよい。 Further, the standard face image is stored in the storage device 1004 in advance. In addition, it is assumed that the standard face image is normalized in advance. For example, the standard face image may represent a face like a general ID photo that does not include a shielding area. Further, as the standard face image, it is desirable to adopt a face image that can be easily collated with more face images. For example, as a standard face image, an image showing an average face in which the faces of a plurality of people are averaged may be used. Further, as the standard face image, an image representing a wolf / ram (a sample in which the degree of similarity with the faces of a plurality of persons satisfies a predetermined condition) may be used. Further, as the standard face image, an image representing an object (artificial object) artificially created so as to resemble the faces of a plurality of persons may be used. Further, the standard face image may be divided into small areas in advance. In this case, the small area constituting the standard face image may be divided by the dividing unit 23.

例えば、信頼度算出部２４は、対応する小領域間で、輝度値の差分の総和により信頼度を算出するようにしてもよい。ただし、輝度値を用いた信頼度は、照明変動の影響を受けやすい。そこで、信頼度算出部２４は、小領域毎に特徴量ベクトルを用いて信頼度を算出してもよい。特徴量ベクトルは、例えば、顔認証でよく用いられるＧａｂｏｒフィルタやＬＢＰ（Local Binary Pattern）のような特徴抽出処理によって得られる情報であってもよい。あるいは、特徴量ベクトルは、顔検出でよく用いられるＨａａｒ−ｌｉｋｅフィルタのような特徴抽出処理によって得られる情報であってもよい。そして、この場合、信頼度算出部２４は、対応する小領域同士で、特徴量ベクトル間の距離または相関に基づき信頼度を算出可能である。このような特徴量ベクトルに基づくことにより、信頼度算出部２４は、照明変動などの影響を低減した信頼度を算出できる。なお、特徴量ベクトル間の距離に基づく信頼度を算出した場合、信頼度は、値が大きいほど、遮蔽領域である可能性が高いことを表すことになる。また、特徴量ベクトル間の相関に基づく信頼度を算出した場合、信頼度は、値が小さいほど、遮蔽領域である可能性が高いことを表すことになる。例えば、信頼度算出部２４は、特徴量ベクトル間の正規化相関値を計算し、各小領域の信頼度としてもよい。この場合、信頼度が１に近いほど非遮蔽領域である可能性が高く、０に近いほど遮蔽領域である可能性が高いとみなせる。以下では、信頼度が、正規化相関値である例を中心に説明する。 For example, the reliability calculation unit 24 may calculate the reliability based on the sum of the differences in the brightness values between the corresponding small regions. However, the reliability using the brightness value is easily affected by the illumination fluctuation. Therefore, the reliability calculation unit 24 may calculate the reliability by using the feature amount vector for each small area. The feature amount vector may be information obtained by a feature extraction process such as a Gabor filter or LBP (Local Binary Pattern) that is often used in face recognition. Alternatively, the feature amount vector may be information obtained by a feature extraction process such as a Haar-like filter often used in face detection. Then, in this case, the reliability calculation unit 24 can calculate the reliability between the corresponding small regions based on the distance or the correlation between the feature vector. Based on such a feature amount vector, the reliability calculation unit 24 can calculate the reliability with reduced influences such as lighting fluctuations. When the reliability is calculated based on the distance between the feature vectors, the larger the value, the higher the possibility that the area is a shield. Further, when the reliability based on the correlation between the feature vector is calculated, the smaller the value of the reliability, the higher the possibility that it is a shielding region. For example, the reliability calculation unit 24 may calculate the normalized correlation value between the feature vector and set the reliability of each small region. In this case, it can be considered that the closer the reliability is to 1, the higher the possibility of the unshielded region, and the closer the reliability is to 0, the higher the possibility of the shielded region. In the following, an example in which the reliability is a normalized correlation value will be mainly described.

判定部２１は、顔画像における小領域別の信頼度の分布に基づいて、遮蔽パターンを判定する。ここで、判定部２１は、所定範囲の小領域群をまとめた中領域に対して、中領域を構成する小領域群の信頼度の分布が遮蔽条件を満たすか否かを判定してもよい。そして、遮蔽条件を満たす場合、判定部２１は、その中領域が遮蔽領域であると推定してもよい。そして、判定部２１は、推定した遮蔽領域の分布に基づいて、遮蔽パターンを判定してもよい。 The determination unit 21 determines the shielding pattern based on the distribution of reliability for each small area in the face image. Here, the determination unit 21 may determine whether or not the reliability distribution of the small region group constituting the medium region satisfies the shielding condition with respect to the medium region in which the small region group in the predetermined range is grouped. .. Then, when the shielding condition is satisfied, the determination unit 21 may estimate that the middle region thereof is the shielding region. Then, the determination unit 21 may determine the shielding pattern based on the estimated distribution of the shielding region.

例えば、判定部２１は、中領域を構成する各小領域の信頼度が閾値より高いか低いかを判別してもよい。そして、判定部２１は、周囲の小領域の判別結果と異なる判別結果となった小領域の信頼度をノイズであるとみなしてもよい。具体的には、判定部２１は、中領域を構成する小領域群の信頼度が閾値よりも低くなる小領域がその小領域群の過半数以上であるという遮蔽条件を満たす場合に、その中領域を遮蔽領域であると推定してもよい。なお、遮蔽条件は、その他の条件であってもよい。そして、判定部２１は、遮蔽領域と推定された中領域の分布に基づいて、遮蔽パターンを判定してもよい。なお、中領域は、段階的に設定されていてもよい。例えば、判定部２１は、所定範囲の小領域群をまとめた中領域をさらに所定範囲でまとめて大領域とするような構成にしてもよい。このような場合、判定部２１は、大領域を構成する中領域のうち遮蔽領域であると推定されたものの分布が遮蔽条件を満たす場合に、大領域が遮蔽領域であると推定してもよい。そして、この場合、判定部２１は、遮蔽領域であると推定された大領域の分布に基づいて、遮蔽パターンを判定すればよい。また、小領域、中領域、大領域の３段階に限らず、小領域から大領域までがさらに多段に設計されていてもよい。 For example, the determination unit 21 may determine whether the reliability of each small region constituting the middle region is higher or lower than the threshold value. Then, the determination unit 21 may consider the reliability of the small region whose discrimination result is different from the discrimination result of the surrounding small region to be noise. Specifically, when the determination unit 21 satisfies the shielding condition that the reliability of the small region group constituting the medium region is lower than the threshold value is more than half of the small region group, the middle region thereof. May be presumed to be a shielded area. The shielding condition may be other conditions. Then, the determination unit 21 may determine the shielding pattern based on the distribution of the middle region estimated to be the shielding region. The middle region may be set in stages. For example, the determination unit 21 may be configured such that the medium region in which the small region group in the predetermined range is grouped is further grouped in the predetermined range to form a large area. In such a case, the determination unit 21 may presume that the large area is the shielding area when the distribution of the medium area constituting the large area, which is estimated to be the shielding area, satisfies the shielding condition. .. Then, in this case, the determination unit 21 may determine the shielding pattern based on the distribution of the large region estimated to be the shielding region. Further, the design is not limited to the three stages of the small area, the medium area, and the large area, and the small area to the large area may be designed in more stages.

例えば、判定部２１は、顔画像中で鼻よりも上側の小領域群をまとめた顔上部領域を中領域に設定してもよい。この場合、判定部２１は、顔上部領域における小領域群の信頼度の分布が遮蔽条件を満たす場合に、サングラスによる遮蔽パターンであると判定してもよい。また、判定部２１は、鼻よりも下側の小領域群をまとめた顔下部領域を中領域に設定してもよい。この場合、判定部２１は、顔下部領域における小領域群の信頼度の分布が遮蔽条件を満たす場合に、マスクによる遮蔽パターンであると判定してもよい。その他、判定部２１は、想定される各種の遮蔽パターンに応じて中領域を設定しておけばよい。 For example, the determination unit 21 may set the upper face region, which is a collection of small regions above the nose in the face image, as the middle region. In this case, the determination unit 21 may determine that the pattern is a shielding pattern by sunglasses when the distribution of the reliability of the small area group in the upper face region satisfies the shielding condition. In addition, the determination unit 21 may set the lower face region, which is a collection of small regions below the nose, as the middle region. In this case, the determination unit 21 may determine that the masking pattern is a masking pattern when the reliability distribution of the small area group in the lower face region satisfies the shielding condition. In addition, the determination unit 21 may set the middle region according to various expected shielding patterns.

ここで、小領域の信頼度の分布または遮蔽領域の分布に基づいて遮蔽パターンを判定することのメリットについて説明する。小領域毎に算出した信頼度は、撮影状況などにより結果が不安定になりやすい。そのため、仮に、小領域毎に、信頼度による遮蔽判定を行ったとすると、エラーが生じる可能性が高くなる。なお、ここでいうエラーとは、本来遮蔽領域である小領域を遮蔽領域でないと判定したり、本来遮蔽領域でない小領域を遮蔽領域であると判定することをいう。また、そのようなエラーを発生しうる信頼度は、ノイズであるといえる。仮に、このような小領域毎の遮蔽判定に基づき遮蔽領域以外を識別に用いるとすると、本来、識別の対象に適していない小領域（遮蔽領域）を遮蔽領域でないとして識別に利用する可能性がある。また、本来、識別の対象に適している小領域（遮蔽領域でない領域）を遮蔽領域であるとして識別に利用しない可能性がある。したがって、小領域毎の信頼度による遮蔽判定は、認証精度を低減してしまう。 Here, the merit of determining the shielding pattern based on the distribution of the reliability of the small region or the distribution of the shielding region will be described. The reliability calculated for each small area tends to be unstable depending on the shooting conditions. Therefore, if the shielding determination based on the reliability is performed for each small area, there is a high possibility that an error will occur. The error referred to here means that a small area that is originally a shielding area is determined not to be a shielding area, or a small area that is not originally a shielding area is determined to be a shielding area. Moreover, it can be said that the reliability that can cause such an error is noise. If a small area other than the shielding area is used for identification based on such a shielding determination for each small area, there is a possibility that a small area (shielding area) that is not originally suitable for the identification target is used for identification as not being a shielding area. is there. In addition, there is a possibility that a small area (area that is not a shielding area) that is originally suitable for the identification target is regarded as a shielding area and is not used for identification. Therefore, the shielding determination based on the reliability of each small area reduces the authentication accuracy.

一方、日常生活でよく起こり得る顔の遮蔽パターンとしては、マスクやサングラスが代表的である。これらの遮蔽パターンは、顔の１／３ないしは１／２程度の非常に大きい範囲を遮蔽するものである。このような遮蔽パターンの特性を考慮すると、信頼度にノイズがないと仮定すれば、閾値より高い（あるいは低い）信頼度の小領域群の中に、閾値より低い（あるいは高い）信頼度の小領域がわずかに存在する可能性は低い。したがって、周囲の小領域の信頼度と明らかに異なる信頼度が算出された場合には、その信頼度はノイズであると考えることができる。 On the other hand, masks and sunglasses are typical as a face shielding pattern that can often occur in daily life. These shielding patterns shield a very large area of about 1/3 or 1/2 of the face. Considering the characteristics of such a shielding pattern, assuming that there is no noise in the reliability, the reliability is lower (or higher) than the threshold in the small region group of the reliability higher (or lower) than the threshold. It is unlikely that there will be a small area. Therefore, when a reliability that is clearly different from the reliability of the surrounding small area is calculated, the reliability can be considered to be noise.

そこで、前述のように、判定部２１は、このようなエラー（ノイズ）を考慮して、所定範囲の小領域群をまとめた中領域における信頼度の分布が遮蔽条件を満たすか否かに基づいて、中領域が遮蔽領域であるか否かを推定する。これにより、判定部２１は、小領域毎に信頼度のみを用いて遮蔽領域であるか否かを判定する場合と比べて、精度よく遮蔽領域を推定することができる。その結果、判定部２１は、精度よく遮蔽パターンを判定可能となる。 Therefore, as described above, the determination unit 21 considers such an error (noise) and is based on whether or not the reliability distribution in the middle region, which is a collection of the small region groups in the predetermined range, satisfies the shielding condition. It is estimated whether or not the middle region is a shielding region. As a result, the determination unit 21 can estimate the shielded region more accurately than in the case of determining whether or not the shielded region is a shielded region by using only the reliability for each small region. As a result, the determination unit 21 can accurately determine the shielding pattern.

識別部２２は、入力された顔画像中で、遮蔽パターンに基づく除外領域以外において、小領域毎に識別を行う。除外領域は、本発明の第１の実施の形態と同様に、遮蔽パターンに応じてあらかじめ定められているものとする。例えば、マスクによる遮蔽パターンであれば、顔の下半分の領域を除外領域として定めておいてもよい。また、サングラスによる遮蔽パターンであれば、顔の上半分の領域を除外領域として定めておいてもよい。なお、除外領域は、判定部２１による遮蔽パターンの判定の過程で推定された遮蔽領域と必ずしも一致していなくてよい。 The identification unit 22 identifies each small area in the input face image other than the exclusion area based on the shielding pattern. The exclusion area shall be predetermined according to the shielding pattern, as in the first embodiment of the present invention. For example, in the case of a mask shielding pattern, the lower half area of the face may be defined as an exclusion area. Further, if it is a shielding pattern by sunglasses, the area of the upper half of the face may be defined as an exclusion area. The exclusion region does not necessarily have to coincide with the shielding region estimated in the process of determining the shielding pattern by the determination unit 21.

そして、識別部２２は、除外領域以外の小領域毎の識別結果に基づいて、顔画像の識別を行う。例えば、識別部２２は、顔画像中の遮蔽パターンに基づく除外領域以外において、小領域毎に識別スコアを算出してもよい。その場合、識別部２２は、算出した各小領域別の識別スコアを統合した統合スコアを算出し、統合スコアを、識別結果として出力してもよい。 Then, the identification unit 22 identifies the face image based on the identification result for each small area other than the exclusion area. For example, the identification unit 22 may calculate the identification score for each small area other than the exclusion area based on the shielding pattern in the face image. In that case, the identification unit 22 may calculate an integrated score that integrates the calculated identification scores for each small area, and output the integrated score as an identification result.

具体的には、識別部２２は、入力された顔画像が分割された各小領域と、登録顔画像を構成する各小領域との間で、対応する小領域同士を照合することにより、識別スコアを算出してもよい。この場合、識別部２２は、入力顔画像中および登録画像中の各遮蔽パターンに基づくいずれの除外領域にも含まれない領域において、対応する小領域同士の比較を行う。そして、識別部２２は、各小領域間の比較結果に基づいて、除外領域以外の小領域毎に識別スコアを算出する。そして、識別部２２は、識別スコアを統合して統合スコアを算出し、識別結果として出力する。 Specifically, the identification unit 22 identifies by collating the corresponding small areas between each small area in which the input face image is divided and each small area constituting the registered face image. The score may be calculated. In this case, the identification unit 22 compares the corresponding small regions with each other in the regions not included in any of the exclusion regions based on the shielding patterns in the input face image and the registered image. Then, the identification unit 22 calculates the identification score for each small area other than the exclusion area based on the comparison result between the small areas. Then, the identification unit 22 integrates the identification scores, calculates the integrated score, and outputs it as the identification result.

ここで、登録顔画像は、あらかじめ記憶装置１００４に記憶されているものとする。また、記憶装置１００４には、登録顔画像とともに、その登録顔画像の遮蔽パターンを表す情報が記憶されていてもよい。また、記憶装置１００４には、登録顔画像とともに、登録顔画像を構成する小領域を表す情報が記憶されていてもよい。なお、登録顔画像の遮蔽パターンについては、登録顔画像が登録される際に判定部２１によって判定された情報であってもよい。また、登録顔画像を構成する小領域については、登録顔画像が登録される際に分割部２３によって分割された情報であってもよい。 Here, it is assumed that the registered face image is stored in the storage device 1004 in advance. Further, the storage device 1004 may store information representing the shielding pattern of the registered face image together with the registered face image. Further, the storage device 1004 may store information representing a small area constituting the registered face image together with the registered face image. The shielding pattern of the registered face image may be the information determined by the determination unit 21 when the registered face image is registered. Further, the small area constituting the registered face image may be information divided by the dividing unit 23 when the registered face image is registered.

また、識別部２２は、対応する小領域間の識別スコアとして、特徴量ベクトル間の距離ないし相関に基づく値を用いてもよい。この場合、各小領域の特徴量ベクトルは、例えば、ＧａｂｏｒフィルまたはＬＢＰのような特徴抽出処理によって得られる情報であってもよい。ただし、識別部２２は、登録顔画像との識別処理に、標準顔画像との信頼度算出時に用いられた特徴量ベクトルよりも識別能力が高い特徴量ベクトルを利用するのが望ましい。例えば、識別部２２は、学習データから抽出した特徴量ベクトルに対して線形判別分析(Linear Discriminant Analysis)を行うことにより、低次元への変換行列を学習しておいてもよい。この場合、学習データは、人物ごとに正しくラベル付けされた顔画像であってもよい。そのような学習データは、登録顔画像であってもよい。例えば、画像認識装置２の利用者が全員特定可能なケース（例えば、入退場管理に用いられるケース）では、学習データとして、システム利用者全員の登録顔画像を用いることが望ましい。あるいは、学習データは、登録顔画像に限らず、その他のラベル付けされた顔画像であってもよい。例えば、画像認識装置２が不特定多数の人物の認証に用いられるケース（例えば、不審者検出に用いられるケース）であれば、学習データとしては、システム利用者か否かにかかわらず、ラベル付された多数の人物の顔画像を用いることが望ましい。そして、識別部２２は、入力顔画像および登録顔画像の小領域毎の特徴量ベクトルに対して、前述の変換行列を作用させることにより、識別能力を高めた低次元特徴量ベクトルを生成すればよい。 Further, the identification unit 22 may use a value based on the distance or correlation between the feature amount vectors as the identification score between the corresponding small regions. In this case, the feature amount vector of each small region may be information obtained by a feature extraction process such as Gabor fill or LBP. However, it is desirable that the identification unit 22 uses a feature vector having a higher discrimination ability than the feature vector used when calculating the reliability with the standard face image for the identification process with the registered face image. For example, the identification unit 22 may learn the transformation matrix to a lower dimension by performing linear discriminant analysis on the feature vector extracted from the training data. In this case, the learning data may be a face image correctly labeled for each person. Such learning data may be a registered face image. For example, in a case where all users of the image recognition device 2 can be identified (for example, a case used for entrance / exit management), it is desirable to use registered face images of all system users as learning data. Alternatively, the learning data is not limited to the registered face image, and may be another labeled face image. For example, if the image recognition device 2 is used to authenticate an unspecified number of people (for example, a case used to detect a suspicious person), the learning data is labeled regardless of whether it is a system user or not. It is desirable to use facial images of a large number of people. Then, if the identification unit 22 generates a low-dimensional feature amount vector with enhanced discrimination ability by applying the above-mentioned transformation matrix to the feature amount vector for each small area of the input face image and the registered face image. Good.

以上のように構成された画像認識装置２の動作について、図９を参照して説明する。なお、記憶装置１００４には、標準顔画像および登録顔画像があらかじめ記憶されているものとする。また、標準顔画像は、あらかじめ小領域に分割されているものとする。また、登録顔画像も、あらかじめ小領域に分割されているものとする。また、登録顔画像は、遮蔽パターンを表す情報とともに記憶されているものとする。 The operation of the image recognition device 2 configured as described above will be described with reference to FIG. It is assumed that the standard face image and the registered face image are stored in the storage device 1004 in advance. Further, it is assumed that the standard face image is divided into small areas in advance. Further, it is assumed that the registered face image is also divided into small areas in advance. Further, it is assumed that the registered face image is stored together with the information representing the shielding pattern.

図９において、まず、分割部２３は、入力された顔画像（入力顔画像）を正規化する（ステップＳ２１）。 In FIG. 9, first, the division unit 23 normalizes the input face image (input face image) (step S21).

次に、分割部２３は、ステップＳ２１で正規化した入力顔画像を小領域に分割する（ステップＳ２２）。 Next, the division unit 23 divides the input face image normalized in step S21 into small areas (step S22).

次に、信頼度算出部２４は、ステップＳ２２で分割された顔画像の各小領域と、標準顔画像の各小領域との間で、対応する小領域同士を比較する。これにより、信頼度算出部２４は、各小領域の信頼度を算出する（ステップＳ２３）。 Next, the reliability calculation unit 24 compares the corresponding small areas between each small area of the face image divided in step S22 and each small area of the standard face image. As a result, the reliability calculation unit 24 calculates the reliability of each small area (step S23).

次に、判定部２１は、中領域を構成する小領域群について信頼度の分布が遮蔽条件を満たすか否かに基づいて、入力顔画像の遮蔽パターンを判定する（ステップＳ２４）。 Next, the determination unit 21 determines the shielding pattern of the input face image based on whether or not the reliability distribution satisfies the shielding condition for the small region group constituting the middle region (step S24).

具体的には、前述のように、判定部２１は、顔の上半分または下半分を表す中領域の信頼度の分布が遮蔽条件を満たせば、その中領域が遮蔽領域であると推定する。一方、判定部２１は、顔の上半分または下半分を表す中領域の信頼度の分布が遮蔽条件を満たさなければ、その中領域が遮蔽領域でないと推定する。そして、そのような中領域が遮蔽領域であると推定した場合、判定部２１は、設定した中領域に対応する遮蔽パターンを判定すればよい。例えば、判定部２１は、上半分領域が遮蔽領域であると推定した場合、サングラスによる遮蔽パターンであると判定する。また、判定部２１は、下半分領域が遮蔽領域であると推定した場合、マスクによる遮蔽パターンであると判定する。 Specifically, as described above, the determination unit 21 estimates that the middle region is the shielding region if the reliability distribution of the middle region representing the upper half or the lower half of the face satisfies the shielding condition. On the other hand, the determination unit 21 estimates that the middle region is not the shielding region if the reliability distribution of the middle region representing the upper half or the lower half of the face does not satisfy the shielding condition. Then, when it is estimated that such a middle region is a shielding region, the determination unit 21 may determine the shielding pattern corresponding to the set middle region. For example, when the determination unit 21 estimates that the upper half region is a shielding region, it determines that it is a shielding pattern by sunglasses. Further, when the determination unit 21 estimates that the lower half region is a shielding region, the determination unit 21 determines that the masking pattern is a mask.

次に、識別部２２は、入力顔画像が分割された各小領域と、登録顔画像を構成する各小領域との間で、対応する小領域同士を照合する。これにより、識別部２２は、各小領域間の識別スコアを算出する（ステップＳ２５）。 Next, the identification unit 22 collates the corresponding small areas between each small area in which the input face image is divided and each small area constituting the registered face image. As a result, the identification unit 22 calculates the identification score between each small area (step S25).

前述のように、識別部２２は、識別スコアを、特徴量ベクトルまたは低次元特徴量ベクトル間の距離ないしは相関から算出すればよい。 As described above, the identification unit 22 may calculate the identification score from the distance or correlation between the feature amount vector or the low-dimensional feature amount vector.

次に、識別部２２は、ステップＳ２４で判定した遮蔽パターンに基づく領域を除外して、ステップＳ２５で算出した各小領域間の識別スコアを統合した統合スコアを算出する（ステップＳ２６）。 Next, the identification unit 22 excludes the region based on the shielding pattern determined in step S24, and calculates an integrated score in which the identification scores between the small regions calculated in step S25 are integrated (step S26).

ここでは、識別部２２は、入力顔画像および登録顔画像間で、対応する小領域の一方または両方が、各画像の遮蔽パターンに基づく除外領域に含まれる場合、その小領域間の識別スコアを統合に用いない。そして、識別部２２は、対応する小領域の両方が、各画像の遮蔽パターンに基づく除外領域に含まれない場合、その小領域間の識別スコアを統合に用いる。 Here, when one or both of the corresponding small areas between the input face image and the registered face image are included in the exclusion area based on the occlusion pattern of each image, the identification unit 22 determines the identification score between the small areas. Not used for integration. Then, when both the corresponding small regions are not included in the exclusion region based on the occlusion pattern of each image, the identification unit 22 uses the identification score between the small regions for integration.

例えば、識別部２２は、該当する小領域の識別スコアの平均値を統合スコアとしてもよい。もし、入力顔画像および登録顔画像の双方について、いずれの遮蔽パターンも判定されていない場合、識別部２２は、すべての小領域の識別スコアの平均値を統合スコアとする。例えば、入力顔画像および登録顔画像の一方または両方でマスクの遮蔽パターンが判定されている場合、識別部２２は、顔の下半分を除外領域として、上半分の小領域の識別スコアについて、その平均値を統合スコアとしてもよい。また、例えば、識別部２２は、対象となる各小領域の識別スコアに各小領域の信頼度を乗じた上で平均をとり、重み付き平均値を統合スコアとしてもよい。 For example, the identification unit 22 may use the average value of the identification scores of the corresponding small areas as the integrated score. If neither the shielding pattern is determined for both the input face image and the registered face image, the identification unit 22 uses the average value of the identification scores of all the small areas as the integrated score. For example, when the mask shielding pattern is determined in one or both of the input face image and the registered face image, the identification unit 22 sets the lower half of the face as an exclusion area and determines the identification score of the small area in the upper half. The average value may be used as the integrated score. Further, for example, the identification unit 22 may take the average value after multiplying the identification score of each target small area by the reliability of each small area, and use the weighted average value as the integrated score.

以上で、画像認識装置２は、動作を終了する。 With the above, the image recognition device 2 ends the operation.

次に、本発明の第２の実施の形態の効果について述べる。 Next, the effect of the second embodiment of the present invention will be described.

本発明の第２の実施の形態としての画像認識装置は、システム構築にかかるコストおよび識別処理の負荷を増大させることなく、遮蔽領域を含む顔画像の認識精度をさらに向上させることができる。 The image recognition device as the second embodiment of the present invention can further improve the recognition accuracy of the face image including the shielded area without increasing the cost for constructing the system and the load of the identification process.

その理由は、分割部が、顔画像を小領域に分割し、信頼度算出部が、顔画像および標準顔画像間で、対応する小領域同士を比較することにより小領域毎の信頼度を算出するからである。そして、判定部が、小領域毎の信頼度の分布に基づいて、顔画像の遮蔽領域を推定し、遮蔽領域の分布に基づいて遮蔽パターンを判定するからである。そして、識別部が、顔画像中の遮蔽パターンに基づき定められた領域を除外して、小領域毎に識別を行い、各識別結果に基づいて、顔画像全体の識別を行うからである。 The reason is that the division unit divides the face image into small areas, and the reliability calculation unit calculates the reliability for each small area by comparing the corresponding small areas between the face image and the standard face image. Because it does. Then, the determination unit estimates the shielding region of the face image based on the distribution of the reliability for each small region, and determines the shielding pattern based on the distribution of the shielding region. This is because the identification unit excludes the region determined based on the shielding pattern in the face image, identifies each small region, and identifies the entire face image based on each identification result.

このように、本実施の形態は、顔画像を構成する個々の小領域についてその信頼度のみで遮蔽領域であるか否かを判定するのではなく、より広い範囲の信頼度の分布に基づいて、遮蔽領域を推定する。その結果、本実施の形態は、小領域毎の遮蔽判定のエラーの影響を少なくすることができ、より正確な遮蔽領域を推定することができる。そして、本実施の形態は、推定した遮蔽領域の分布に基づいて遮蔽パターンを判定するので、遮蔽判定のエラーの影響をさらに少なくして、より高精度に遮蔽パターンを判定できる。そして、本実施の形態は、遮蔽領域として推定した領域をそのまま除外するのではなく、判定した遮蔽パターンに応じて定められた領域を除外して識別を行う。このため、本実施の形態は、遮蔽判定エラーに対してさらに頑健である。そして、本実施の形態は、そのような領域を除外して、小領域毎の識別結果に基づいて、顔画像の識別を行う。これにより、本実施の形態は、遮蔽領域の判定エラーに頑健な遮蔽検出を実現し、顔画像の認識精度を向上させることができる。 As described above, in the present embodiment, it is not determined whether or not each small region constituting the face image is a shielded region only by its reliability, but based on a wider range of reliability distribution. , Estimate the shielded area. As a result, in the present embodiment, the influence of the error of the shielding determination for each small area can be reduced, and the shielding area can be estimated more accurately. Then, in the present embodiment, since the shielding pattern is determined based on the estimated distribution of the shielding area, the influence of the error of the shielding determination can be further reduced, and the shielding pattern can be determined with higher accuracy. Then, in the present embodiment, the region estimated as the shielding region is not excluded as it is, but the region determined according to the determined shielding pattern is excluded for identification. Therefore, this embodiment is more robust against shielding determination errors. Then, in the present embodiment, such a region is excluded, and the face image is identified based on the identification result for each small region. As a result, the present embodiment can realize the shielding detection robust to the determination error of the shielding region and improve the recognition accuracy of the face image.

さらには、本実施の形態は、標準顔１枚との比較で遮蔽領域および遮蔽パターンの判定を行うため、既存の技術では遮蔽領域や遮蔽パターンの判定のために必要であった大量の学習データを必要としない。その結果、本実施の形態は、システム構築のコストを大幅に低減することができる。 Furthermore, since the present embodiment determines the shielding area and the shielding pattern by comparing with one standard face, a large amount of learning data required for determining the shielding area and the shielding pattern in the existing technique. Does not need. As a result, the present embodiment can significantly reduce the cost of system construction.

なお、本実施の形態において、登録画像は、その遮蔽パターンおよび分割された小領域の情報とともにあらかじめ記憶装置に記憶されている例を中心に説明した。これに限らず、本実施の形態は、入力顔画像の識別時に、登録画像についても分割および遮蔽パターンの判定を行ってもよい。 In the present embodiment, the registered image has been mainly described as an example in which the registered image is stored in the storage device in advance together with the shielding pattern and the information of the divided small area. Not limited to this, in the present embodiment, when the input face image is identified, the registered image may also be divided and the shielding pattern may be determined.

（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。 (Third Embodiment)
Next, a third embodiment of the present invention will be described in detail with reference to the drawings. In each drawing referred to in the description of the present embodiment, the same components as those of the third embodiment of the present invention and the steps operating in the same manner are designated by the same reference numerals, and the details in the present embodiment are given. The description is omitted.

まず、本発明の第３の実施の形態としての画像認識装置３の構成を図１０に示す。図１０において、画像認識装置３は、本発明の第２の実施の形態としての画像認識装置２と同一の構成に加えて、全体識別部３５と、切替部３６とを有する。 First, FIG. 10 shows the configuration of the image recognition device 3 as the third embodiment of the present invention. In FIG. 10, the image recognition device 3 has the same configuration as the image recognition device 2 as the second embodiment of the present invention, and also has an overall identification unit 35 and a switching unit 36.

ここで、画像認識装置３は、図２を参照して説明した本発明の第１の実施の形態の画像認識装置１と同様のハードウェア要素によって構成可能である。この場合、全体識別部３５は、出力装置１００６と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、切替部３６は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。なお、画像認識装置３およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。 Here, the image recognition device 3 can be configured by the same hardware elements as the image recognition device 1 of the first embodiment of the present invention described with reference to FIG. In this case, the overall identification unit 35 is composed of an output device 1006 and a CPU 1001 that reads a computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executes the data. Further, the switching unit 36 is composed of a CPU 1001 that reads and executes a computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002. The hardware configuration of the image recognition device 3 and its functional blocks is not limited to the above configuration.

次に、画像認識装置３の各機能ブロックについて説明する。 Next, each functional block of the image recognition device 3 will be described.

全体識別部３５は、顔画像における顔の全域を表す情報を用いて、顔画像の識別を行う。具体的には、例えば、全体識別部３５は、顔の全域から特徴抽出を行って特徴量ベクトルを求める。また、全体識別部３５は、登録顔画像からも、顔の全域についての特徴量ベクトルを求める。そして、全体識別部３５は、入力顔画像の顔全域の特徴量ベクトルおよび登録顔画像の顔全域の特徴量ベクトルに基づいて、全体識別スコアを算出してもよい。この場合、全体識別部３５は、全体識別スコアを、識別結果として出力する。 The overall identification unit 35 identifies the face image by using the information representing the entire area of the face in the face image. Specifically, for example, the overall identification unit 35 performs feature extraction from the entire area of the face to obtain a feature amount vector. In addition, the overall identification unit 35 also obtains a feature amount vector for the entire area of the face from the registered face image. Then, the overall identification unit 35 may calculate the overall identification score based on the feature amount vector of the entire face of the input face image and the feature amount vector of the entire face of the registered face image. In this case, the overall identification unit 35 outputs the overall identification score as the identification result.

切替部３６は、判定部２１による遮蔽パターンの判定結果に基づいて、入力された顔画像の識別に、識別部２２を用いるか全体識別部３５を用いるかを切り替える。 The switching unit 36 switches between using the identification unit 22 and the overall identification unit 35 for identifying the input face image based on the determination result of the shielding pattern by the determination unit 21.

以上のように構成された画像認識装置３の動作を、図１１を用いて説明する。なお、以下では、登録顔画像は、遮蔽パターンおよび小領域を表す情報とともに記憶装置１００４に記憶されているものとする。 The operation of the image recognition device 3 configured as described above will be described with reference to FIG. In the following, it is assumed that the registered face image is stored in the storage device 1004 together with the information representing the shielding pattern and the small area.

図１１において、まず、画像認識装置３は、ステップＳ２１〜Ｓ２４まで、本発明の第２の実施の形態としての画像認識装置２と同様に動作して、入力顔画像の遮蔽パターンを判定する。 In FIG. 11, first, the image recognition device 3 operates in the same manner as the image recognition device 2 as the second embodiment of the present invention from steps S21 to S24 to determine the shielding pattern of the input face image.

次に、切替部３６は、判定された遮蔽パターンに基づいて後続の処理を切り替える。具体的には、切替部３６は、入力顔画像および登録顔画像の少なくともいずれかに、種類は問わず遮蔽パターンがあると判定されているか否かを判断する（ステップＳ３１）。 Next, the switching unit 36 switches the subsequent processing based on the determined shielding pattern. Specifically, the switching unit 36 determines whether or not at least one of the input face image and the registered face image is determined to have a shielding pattern regardless of the type (step S31).

ここで、少なくともいずれかに遮蔽パターンがあると判定されている場合、切替部３６は、識別部２２を制御して、本発明の第２の実施の形態と同様にステップＳ２５〜Ｓ２６を実行させる。 Here, when it is determined that at least one of them has a shielding pattern, the switching unit 36 controls the identification unit 22 to execute steps S25 to S26 as in the second embodiment of the present invention. ..

一方、入力顔画像および登録顔画像のいずれにも遮蔽パターンがないと判定されている場合、切替部３６は、全体識別部３５を制御して、以下のステップＳ３２を実行させる。 On the other hand, when it is determined that neither the input face image nor the registered face image has a shielding pattern, the switching unit 36 controls the overall identification unit 35 to execute the following step S32.

ここでは、全体識別部３５は、入力顔画像の顔の全域の情報と、登録顔画像の顔の全域の情報とを用いて識別を行う。具体的には、全体識別部３５は、入力顔画像の顔全域から求めた特徴量ベクトルと、登録顔画像の顔全域から求めた特徴量ベクトルとを用いて、全体識別スコアを算出する（ステップＳ３２）。 Here, the overall identification unit 35 identifies using the information on the entire face of the input face image and the information on the entire face of the registered face image. Specifically, the overall identification unit 35 calculates the overall identification score using the feature amount vector obtained from the entire face of the input face image and the feature amount vector obtained from the entire face of the registered face image (step). S32).

例えば、全体識別部３５は、ＧａｂｏｒフィルタやＬＢＰのような特徴抽出処理によって、各画像の顔全域からの特徴量ベクトルを求めればよい。そして、全体識別部３５は、入力顔画像および登録顔画像それぞれの顔全域の特徴量ベクトルおよび間の距離または相関から、全体識別スコアを算出すればよい。 For example, the overall identification unit 35 may obtain a feature amount vector from the entire face of each image by a feature extraction process such as a Gabor filter or LBP. Then, the overall identification unit 35 may calculate the overall identification score from the feature amount vectors of the entire face of each of the input face image and the registered face image and the distance or correlation between them.

以上で、画像認識装置３は、動作を終了する。 With the above, the image recognition device 3 ends the operation.

次に、本発明の第３の実施の形態の効果について述べる。 Next, the effect of the third embodiment of the present invention will be described.

本発明の第３の実施の形態としての画像認識装置は、本発明の第２の実施の形態と同様の効果に加えて、さらに、遮蔽領域がない場合に顔画像の認証精度を低下させないようにすることができる。 The image recognition device as the third embodiment of the present invention has the same effect as that of the second embodiment of the present invention, and further, does not lower the authentication accuracy of the face image when there is no shielding area. Can be.

その理由は、切替部が、入力顔画像または登録顔画像のいずれにも遮蔽パターンがない場合には、小領域毎の識別結果を用いずに、顔全域の情報を用いて識別を行うよう処理を切り替えるからである。また、切替部が、入力顔画像または登録顔画像の少なくともいずかに遮蔽パターンがある場合には、小領域毎の識別結果を用いて識別を行うよう処理を切り替えるからである。 The reason is that when the switching unit does not have a shielding pattern in either the input face image or the registered face image, the switching unit processes the identification using the information of the entire face without using the identification result for each small area. This is because it switches. Further, when the switching unit has a shielding pattern at least in the input face image or the registered face image, the processing is switched so as to perform the identification using the identification result for each small area.

ここで、遮蔽パターンがなく領域を除外する必要がない場合には、顔全域の情報を用いた識別結果のほうが、小領域毎の識別結果の統合より精度がよい傾向がある。したがって、本実施の形態は、両画像の少なくとも一方に遮蔽パターンがある場合の高い認証精度を維持しつつ、両画像ともに遮蔽パターンがない場合にも照合精度を低下させることがない。 Here, when there is no shielding pattern and it is not necessary to exclude the area, the identification result using the information of the entire face tends to be more accurate than the integration of the identification result for each small area. Therefore, the present embodiment maintains high authentication accuracy when at least one of both images has a shielding pattern, and does not lower the matching accuracy even when both images do not have a shielding pattern.

なお、本実施の形態において、識別部および全体識別部は、特徴量ベクトル間の距離や相関に基づき識別スコアを算出する例について説明したが、識別部は、その他の技術を採用して識別を行ってもよい。 In the present embodiment, the identification unit and the overall identification unit have described an example of calculating the identification score based on the distance and the correlation between the feature quantity vectors, but the identification unit employs other techniques for identification. You may go.

（第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。 (Fourth Embodiment)
Next, a fourth embodiment of the present invention will be described in detail with reference to the drawings. In each drawing referred to in the description of the present embodiment, the same components as those of the third embodiment of the present invention and the steps operating in the same manner are designated by the same reference numerals, and the details in the present embodiment are given. The description is omitted.

まず、本発明の第４の実施の形態としての画像認識装置４の構成を図１２に示す。図１２において、画像認識装置４は、本発明の第３の実施の形態としての画像認識装置３に対して、識別部２２に替えて識別部４２と、信頼度算出部２４に替えて信頼度算出部４４と、全体識別部３５に替えて全体識別部４５とを備え、さらに、特徴抽出部４７を備える点が異なる。 First, FIG. 12 shows the configuration of the image recognition device 4 as the fourth embodiment of the present invention. In FIG. 12, the image recognition device 4 replaces the identification unit 22 with the identification unit 42 and the reliability calculation unit 24 with respect to the image recognition device 3 as the third embodiment of the present invention. The difference is that the calculation unit 44 and the overall identification unit 45 are provided instead of the overall identification unit 35, and the feature extraction unit 47 is further provided.

ここで、画像認識装置４は、図２を参照して説明した本発明の第１の実施の形態の画像認識装置１と同様のハードウェア要素によって構成可能である。この場合、特徴抽出部４７は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。なお、画像認識装置４およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。 Here, the image recognition device 4 can be configured by the same hardware elements as the image recognition device 1 of the first embodiment of the present invention described with reference to FIG. In this case, the feature extraction unit 47 is composed of a computer program stored in the ROM 1003 and the storage device 1004, and a CPU 1001 that reads various data into the RAM 1002 and executes the program. The hardware configuration of the image recognition device 4 and its functional blocks is not limited to the above configuration.

特徴抽出部４７は、分割部２３により分割された顔画像の小領域毎に、特徴量ベクトルを抽出する。特徴量ベクトルの抽出には、前述の各種フィルタや技術を用いればよい。例えば、特徴抽出部４７は、Ｇａｂｏｒフィルタを使ったＧａｂｏｒ特徴量を抽出してもよい。具体的には、特徴抽出部４７は、入力顔画像について、分割部２３によって正規化・分割された小領域毎に特徴量ベクトルを算出し、記憶装置１００４に記憶しておく。また、特徴抽出部４７は、標準顔画像および登録顔画像についても、小領域毎にあらかじめ特徴量ベクトルを算出しておいてもよい。本実施の形態では、標準顔画像は、小領域毎の特徴量ベクトルとして記憶装置１００４に記憶されていればよく、顔画像自体のデータは記憶されていなくてもよい。同様に、登録顔画像は、小領域毎の特徴量ベクトルとして記憶装置１００４に記憶されていればよく、登録顔画像自体のデータは記憶されていなくてもよい。 The feature extraction unit 47 extracts a feature amount vector for each small area of the face image divided by the division unit 23. The various filters and techniques described above may be used to extract the feature vector. For example, the feature extraction unit 47 may extract a Gabor feature amount using a Gabor filter. Specifically, the feature extraction unit 47 calculates a feature amount vector for each small area normalized / divided by the division unit 23 for the input face image, and stores it in the storage device 1004. Further, the feature extraction unit 47 may calculate the feature amount vector in advance for each small area for the standard face image and the registered face image. In the present embodiment, the standard face image may be stored in the storage device 1004 as a feature amount vector for each small area, and the data of the face image itself may not be stored. Similarly, the registered face image may be stored in the storage device 1004 as a feature amount vector for each small area, and the data of the registered face image itself may not be stored.

信頼度算出部４４は、本発明の第２〜第３の実施の形態における信頼度算出部２４と略同様に構成される。すなわち、信頼度算出部４４は、入力顔画像および標準顔画像の間で、対応する小領域間ごとに特徴量ベクトルを用いて信頼度を算出する。ただし、信頼度算出部４４は、入力顔画像および標準顔画像について各小領域の特徴量ベクトルを、算出する代わりに記憶装置１００４から取得する点が、信頼度算出部２４と異なる。 The reliability calculation unit 44 is configured in substantially the same manner as the reliability calculation unit 24 in the second to third embodiments of the present invention. That is, the reliability calculation unit 44 calculates the reliability between the input face image and the standard face image by using the feature amount vector for each corresponding small area. However, the reliability calculation unit 44 differs from the reliability calculation unit 24 in that the feature amount vector of each small region is acquired from the storage device 1004 for the input face image and the standard face image instead of being calculated.

識別部４２は、本発明の第２〜第３の実施の形態における識別部２２と略同様に構成される。すなわち、識別部４２は、入力顔画像および登録顔画像の間で、対応する小領域間ごとに特徴量ベクトルを用いて識別スコアを算出する。ただし、識別部４２は、入力顔画像および登録顔画像について各小領域の特徴量ベクトルを、算出する代わりに記憶装置１００４から取得する点が、識別部２２と異なる。また、識別部４２は、本発明の第２〜第３の実施の形態と同様に、事前に特徴量ベクトルを低次元へ変換する変換行列を学習しておいてもよい。その場合、識別部４２は、小領域毎の特徴量ベクトルを低次元に変換したものを用いて、識別スコアを算出する。例えば、識別部４２は、入力顔画像および登録顔画像について、対応する各小領域の低次元特徴量ベクトル間の正規化相関値を、識別スコアとして算出すればよい。そして、識別部４２は、入力顔画像および登録顔画像の遮蔽パターンに基づくいずれの領域も除外した上で、小領域毎の識別結果を統合して統合スコアを算出する。 The identification unit 42 is configured in substantially the same manner as the identification unit 22 in the second to third embodiments of the present invention. That is, the identification unit 42 calculates the identification score between the input face image and the registered face image by using the feature amount vector for each corresponding small area. However, the identification unit 42 differs from the identification unit 22 in that the feature amount vector of each small region is acquired from the storage device 1004 for the input face image and the registered face image instead of being calculated. Further, the identification unit 42 may learn in advance a transformation matrix for converting the feature amount vector to a lower dimension, as in the second to third embodiments of the present invention. In that case, the identification unit 42 calculates the identification score by converting the feature amount vector for each small area into a lower dimension. For example, the identification unit 42 may calculate the normalized correlation value between the low-dimensional feature amount vectors of the corresponding small regions for the input face image and the registered face image as the identification score. Then, the identification unit 42 excludes any region based on the shielding pattern of the input face image and the registered face image, and then integrates the identification results for each small region to calculate the integrated score.

全体識別部４５は、入力顔画像の連結特徴量ベクトルと、登録顔画像の連結特徴量ベクトルとに基づいて、全体識別スコアを算出する。ここで、連結特徴量ベクトルとは、各小領域の特徴量ベクトルを連結して生成される。例えば、３つの小領域についてｎ１行１列、ｎ２行１列、ｎ３行１列の特徴量ベクトルがそれぞれ抽出されているとする。ｎ１、ｎ２、ｎ３は、それぞれ正の整数である。これらは、全て同じ値であってもよいし、少なくとも一部が他と異なる値であってもよい。この場合、全体識別部４５は、各特徴量ベクトルを連結し、（ｎ１＋ｎ２＋ｎ３）行１列の連結特徴量ベクトルを生成可能である。つまり、連結特徴量ベクトルは、各小領域の特徴量ベクトルより次元数が増加している。なお、連結の順序は任意である。 The overall identification unit 45 calculates the overall identification score based on the connected feature amount vector of the input face image and the connected feature amount vector of the registered face image. Here, the concatenated feature vector is generated by concatenating the feature vectors of each small region. For example, it is assumed that the feature vector of n1 row and 1 column, n2 row and 1 column, and n3 row and 1 column are extracted for each of the three small regions. n1, n2, and n3 are positive integers, respectively. These may all have the same value, or at least a part of them may have different values. In this case, the overall identification unit 45 can concatenate the feature quantity vectors to generate a (n1 + n2 + n3) row / column concatenated feature quantity vector. That is, the number of dimensions of the connected feature vector is larger than that of the feature vector of each small region. The order of connection is arbitrary.

また、全体識別部４５は、連結特徴量ベクトルについても、事前に、学習データに対する線形判別分析により、連結特徴量ベクトルを低次元の連結特徴量ベクトルへと変換する変換行列を学習しておいてもよい。この場合、全体識別部４５は、低次元連結特徴量ベクトル同士の正規化相関値を、全体識別スコアとして算出すればよい。 Further, the overall identification unit 45 also learns in advance a transformation matrix for converting the linked feature vector into a low-dimensional linked feature vector by linear discriminant analysis of the training data for the linked feature vector. May be good. In this case, the overall identification unit 45 may calculate the normalized correlation value between the low-dimensional connected feature vectors as the overall identification score.

以上のように構成された画像認識装置４の動作について、図１３を参照して説明する。なお、以下では、標準顔画像の小領域毎の特徴量ベクトルが、記憶装置１００４に記憶されているものとする。また、登録顔画像の小領域毎の特徴量ベクトルが、あらかじめ判定部２１により判定された遮蔽パターンと共に、記憶装置１００４に記憶されているものとする。 The operation of the image recognition device 4 configured as described above will be described with reference to FIG. In the following, it is assumed that the feature amount vector for each small area of the standard face image is stored in the storage device 1004. Further, it is assumed that the feature amount vector for each small area of the registered face image is stored in the storage device 1004 together with the shielding pattern previously determined by the determination unit 21.

図１３では、まず、分割部２３は、本発明の第２の実施の形態と同様にステップＳ２１〜Ｓ２２を実行し、入力顔画像を正規化・分割する。 In FIG. 13, first, the division unit 23 executes steps S21 to S22 in the same manner as in the second embodiment of the present invention to normalize and divide the input face image.

次に、特徴抽出部４７は、入力顔画像の小領域毎に特徴量を抽出し、記憶装置１００４に記憶する（ステップＳ４１）。 Next, the feature extraction unit 47 extracts the feature amount for each small area of the input face image and stores it in the storage device 1004 (step S41).

次に、信頼度算出部４４は、ステップＳ４１で記憶装置１００４に記憶された入力顔画像の各小領域の特徴量ベクトルと、記憶装置１００４に記録されている標準顔画像の各小領域の特徴量ベクトルとで、対応する各小領域間の信頼度を算出する（ステップＳ４２）。 Next, the reliability calculation unit 44 determines the feature amount vector of each small area of the input face image stored in the storage device 1004 in step S41 and the feature of each small area of the standard face image recorded in the storage device 1004. The reliability between the corresponding small regions is calculated with the quantity vector (step S42).

次に、判定部２１は、本発明の第２の実施の形態と同様にステップＳ２４を実行し、遮蔽パターンを判定する。 Next, the determination unit 21 executes step S24 in the same manner as in the second embodiment of the present invention to determine the shielding pattern.

次に、切替部３６により入力顔画像および登録顔画像の一方または両方で遮蔽パターンありと判断された場合、識別部４２は、ステップＳ４３、Ｓ２６を実行する。 Next, when the switching unit 36 determines that one or both of the input face image and the registered face image has a shielding pattern, the identification unit 42 executes steps S43 and S26.

ここでは、識別部４２は、入力顔画像および登録顔画像について、記憶装置１００４に記憶されている小領域の特徴量ベクトルを用いて、対応する小領域間の識別スコアを算出する（ステップＳ４３）。 Here, the identification unit 42 calculates the identification score between the corresponding small areas for the input face image and the registered face image by using the feature amount vector of the small area stored in the storage device 1004 (step S43). ..

例えば、前述のように、識別部４２は、対応する各小領域の特徴量ベクトルを低次元に変換した低次元特徴量ベクトル間で、正規化相関値を識別スコアとして算出してもよい。そして、識別部４２は、本発明の第２の実施の形態と同様にステップＳ２６を実行し、統合スコアを算出する。 For example, as described above, the identification unit 42 may calculate the normalized correlation value as the identification score between the low-dimensional feature amount vectors obtained by converting the feature amount vectors of the corresponding small regions into low dimensions. Then, the identification unit 42 executes step S26 in the same manner as in the second embodiment of the present invention, and calculates the integrated score.

一方、切替部３６により入力顔画像および登録顔画像のどちらにも遮蔽パターンなしと判断された場合、全体識別部４５は、ステップＳ４４〜Ｓ４５を実行する。 On the other hand, when the switching unit 36 determines that neither the input face image nor the registered face image has a shielding pattern, the overall identification unit 45 executes steps S44 to S45.

ここでは、全体識別部４５は、入力顔画像および登録顔画像について、記憶装置１００４に記憶されている小領域の特徴量ベクトルを連結した連結特徴量ベクトルをそれぞれ生成する（ステップＳ４４）。 Here, the overall identification unit 45 generates a connected feature amount vector in which the feature amount vectors of the small areas stored in the storage device 1004 are connected to each of the input face image and the registered face image (step S44).

そして、全体識別部４５は、入力顔画像および登録顔画像について、連結特徴量ベクトル間の比較により、全体識別スコアを算出する（ステップＳ４５）。 Then, the overall identification unit 45 calculates the overall identification score for the input face image and the registered face image by comparing the connected feature amount vectors (step S45).

例えば、前述のように、全体識別部４５は、連結特徴量ベクトルを低次元に変換してから、低次元連結特徴量ベクトル間の正規化相関値を、全体識別スコアとして算出してもよい。 For example, as described above, the overall identification unit 45 may convert the linked feature vector to a lower dimension and then calculate the normalized correlation value between the low-dimensional linked feature vectors as the overall identification score.

以上で、画像認識装置４は、動作を終了する。 With the above, the image recognition device 4 ends the operation.

次に、本発明の第４の実施の形態の効果について述べる。 Next, the effect of the fourth embodiment of the present invention will be described.

本発明の第４の実施の形態としての画像認識装置は、遮蔽領域を含む顔画像について高い認証精度を保ちながら、さらに処理を効率化し高速化を実現する。 The image recognition device as the fourth embodiment of the present invention further improves the efficiency and speeds up the processing while maintaining high authentication accuracy for the face image including the shielded area.

その理由は、特徴抽出部が、入力顔画像、標準顔画像、および、登録顔画像を構成する各小領域について、特徴量ベクトルを抽出して記憶しておくからである。これにより、信頼度算出部、識別部、および、全体識別部は、既に抽出された特徴量ベクトルを共通で利用することができ、各処理を効率化・高速化できる。 The reason is that the feature extraction unit extracts and stores the feature amount vector for each small area constituting the input face image, the standard face image, and the registered face image. As a result, the reliability calculation unit, the identification unit, and the overall identification unit can use the already extracted feature vector in common, and each process can be made more efficient and faster.

なお、上述した本発明の第２から第４の各実施の形態において、識別部および全体識別部が、登録画像との照合により入力顔画像を識別する例を中心に説明した。これに限らず、各実施の形態の識別部および全体識別部は、登録画像を用いずに、入力顔画像の表す人物の性別推定、姿勢推定、表情認識等を行ってもよい。このように、各実施の形態は、遮蔽領域を含む顔画像について、登録画像を用いない各種識別処理を行う用途にも適用可能である。 In each of the second to fourth embodiments of the present invention described above, an example in which the identification unit and the overall identification unit identify the input face image by collating with the registered image has been mainly described. Not limited to this, the identification unit and the overall identification unit of each embodiment may perform gender estimation, posture estimation, facial expression recognition, and the like of the person represented by the input face image without using the registered image. As described above, each embodiment can also be applied to an application in which various identification processes using a registered image are performed on a face image including a shielded area.

また、上述した本発明の第２から第４の各実施の形態において、判定部、識別部、および、全体識別部が、特徴量ベクトル間の距離または相関を用いて遮蔽パターンの判定および入力顔画像の識別を行う例を中心に説明した。これに限らず、各実施の形態のこれらの機能ブロックは、その他の手法により領域間を比較して信頼度または識別スコアを算出してもよい。なお、その場合、本発明の第４の実施の形態の特徴抽出部は、該当する画像の小領域について、比較に用いる情報を算出して記憶しておけばよい。 Further, in each of the second to fourth embodiments of the present invention described above, the determination unit, the identification unit, and the overall identification unit determine the shielding pattern and input the face using the distance or correlation between the feature amount vectors. An example of identifying an image has been mainly described. Not limited to this, these functional blocks of each embodiment may be compared between regions to calculate reliability or identification score by other methods. In that case, the feature extraction unit of the fourth embodiment of the present invention may calculate and store information used for comparison for a small area of the corresponding image.

また、上述した本発明の各実施の形態において、遮蔽パターンの一例としてマスクやサングラスによる遮蔽を説明したが、遮蔽パターンの種類を限定するものではない。 Further, in each of the above-described embodiments of the present invention, masking with a mask or sunglasses has been described as an example of the shielding pattern, but the type of the shielding pattern is not limited.

また、上述した本発明の各実施の形態において、入力顔画像、標準顔画像、登録顔画像とは、該当する画像に含まれる顔を表す領域の部分を指すものとする。これらの顔画像は、あらかじめ顔の領域が切り出されたものであってもよいし、処理時に切り出されたものであってもよい。 Further, in each of the above-described embodiments of the present invention, the input face image, the standard face image, and the registered face image refer to a portion of a region representing a face included in the corresponding image. These face images may have a face region cut out in advance, or may be cut out at the time of processing.

また、上述した本発明の各実施の形態において、画像認識装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。 Further, in each of the above-described embodiments of the present invention, an example in which each functional block of the image recognition device is realized by a CPU that executes a computer program stored in a storage device or a ROM has been mainly described. Not limited to this, a part, all, or a combination thereof of each functional block may be realized by dedicated hardware.

また、上述した本発明の各実施の形態において、画像認識装置の機能ブロックは、複数の装置に分散されて実現されてもよい。 Further, in each of the above-described embodiments of the present invention, the functional blocks of the image recognition device may be realized by being distributed to a plurality of devices.

また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した画像認識装置の動作を、本発明の画像認識プログラムとしてコンピュータの記憶装置（記憶媒体）に格納しておいてもよい。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。 Further, in each of the above-described embodiments of the present invention, the operation of the image recognition device described with reference to each flowchart may be stored in a computer storage device (storage medium) as the image recognition program of the present invention. Good. Then, the CPU may read and execute the computer program. Then, in such a case, the present invention is composed of the code or storage medium of the computer program.

また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。 In addition, each of the above-described embodiments can be implemented in combination as appropriate.

また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。 Further, the present invention is not limited to the above-described embodiments, and can be implemented in various embodiments.

また、上述した各実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定部と、
前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別部と、
を備えた画像認識装置。
（付記２）
前記判定部は、前記顔画像を構成する各小領域と、前記標準顔画像において前記顔画像の各小領域に対応する小領域との比較に基づく信頼度の分布に基づいて、前記遮蔽パターンを判定することを特徴とする付記１に記載の画像認識装置。
（付記３）
前記判定部は、所定範囲の前記小領域群をまとめた中領域に対して、その中領域を構成する小領域群の信頼度の分布が所定の遮蔽条件を満たす場合に、その中領域に基づき遮蔽パターンを判定することを特徴とする付記２に記載の画像認識装置。
（付記４）
前記判定部は、前記顔画像中で鼻よりも上側の小領域群をまとめた顔上部領域を前記中領域として、該中領域において前記信頼度の分布が前記遮蔽条件を満たす場合に、サングラスによる遮蔽パターンであると判定することを特徴とする付記３に記載の画像認識装置。
（付記５）
前記判定部は、前記顔画像中で鼻よりも下側の小領域群をまとめた顔下部領域を前記中領域として、該中領域において前記信頼度の分布が前記遮蔽条件を満たす場合に、マスクによる遮蔽パターンであると判定することを特徴とする付記３または付記４に記載の画像認識装置。
（付記６）
前記顔画像を前記小領域に分割する分割部と、
前記顔画像および前記標準顔画像について、対応する前記小領域間を比較することにより前記信頼度を算出する信頼度算出部と、
をさらに備えることを特徴とする付記２から付記５のいずれか１つに記載の画像認識装置。
（付記７）
前記識別部は、前記顔画像中の前記遮蔽パターンに基づく領域以外における前記小領域毎に識別を行い、前記小領域毎の識別結果に基づいて、前記顔画像の識別を行うことを特徴とする付記２から付記６のいずれか１つに記載の画像認識装置。
（付記８）
前記顔画像について、顔全域の情報を用いて識別を行う全体識別部と、
前記判定部の判定結果に基づいて、前記識別部および前記全体識別部のいずれを用いるかを切り替える切替部と、
をさらに備えることを特徴とする付記１から付記７のいずれか１つに記載の画像認識装置。
（付記９）
前記標準顔画像として、複数の人物の顔が平均化された平均顔を表す顔画像を用いることを特徴とする付記１から付記８のいずれか１つに記載の画像認識装置。
（付記１０）
前記標準顔画像として、複数の人物の顔画像との類似度が所定条件を満たす顔画像を用いることを特徴とする付記１から付記８のいずれか１つに記載の画像認識装置。
（付記１１）
前記標準顔画像として、標準的な顔の人工物を表す顔画像を用いることを特徴とする付記１から付記８のいずれか１つに記載の画像認識装置。
（付記１２）
前記顔画像および前記標準顔画像として、特徴量ベクトルで表された情報を用いることを特徴とする付記１から付記１１のいずれか１つに記載の画像認識装置。
（付記１３）
顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定し、
前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う画像認識方法。
（付記１４）
顔を表す画像（顔画像）と、標準的な顔を表す画像（標準顔画像）とを比較することにより、前記顔画像における顔の遮蔽パターンを判定する判定ステップと、
前記顔画像中の前記遮蔽パターンに基づく領域を除外して、前記顔画像の識別を行う識別ステップと、
をコンピュータ装置に実行させる画像認識プログラム。 Further, a part or all of the above-described embodiments may be described as in the following appendix, but the present invention is not limited to the following.
(Appendix 1)
A determination unit that determines a face shielding pattern in the face image by comparing an image representing a face (face image) with an image representing a standard face (standard face image).
An identification unit that identifies the face image by excluding the region based on the shielding pattern in the face image, and
Image recognition device equipped with.
(Appendix 2)
The determination unit determines the shielding pattern based on the distribution of reliability based on the comparison between each small region constituting the face image and the small region corresponding to each small region of the face image in the standard face image. The image recognition device according to Appendix 1, wherein the determination is made.
(Appendix 3)
The determination unit is based on the middle region when the reliability distribution of the small region groups constituting the middle region satisfies a predetermined shielding condition with respect to the middle region in which the small region groups in a predetermined range are put together. The image recognition device according to Appendix 2, wherein the shielding pattern is determined.
(Appendix 4)
The determination unit uses sunglasses when the reliability distribution satisfies the shielding condition in the middle region, with the upper face region, which is a collection of small regions above the nose in the face image, as the middle region. The image recognition device according to Appendix 3, wherein the image recognition device is determined to have a shielding pattern.
(Appendix 5)
The determination unit uses the lower face region, which is a collection of small regions below the nose in the face image, as the middle region, and masks when the reliability distribution satisfies the shielding condition in the middle region. The image recognition device according to Appendix 3 or Appendix 4, wherein the image recognition device is determined to have a shielding pattern according to the above.
(Appendix 6)
A division portion that divides the face image into the small areas, and
A reliability calculation unit that calculates the reliability of the face image and the standard face image by comparing the corresponding small areas.
The image recognition device according to any one of Supplementary note 2 to Supplementary note 5, further comprising.
(Appendix 7)
The identification unit is characterized in that identification is performed for each of the small regions other than the region based on the shielding pattern in the face image, and the face image is identified based on the identification result for each small region. The image recognition device according to any one of Supplementary note 2 to Supplementary note 6.
(Appendix 8)
An overall identification unit that identifies the face image using information on the entire face,
A switching unit that switches whether to use the identification unit or the overall identification unit based on the determination result of the determination unit.
The image recognition device according to any one of Supplementary note 1 to Supplementary note 7, further comprising.
(Appendix 9)
The image recognition device according to any one of Supplementary note 1 to Supplementary note 8, wherein a face image representing an averaged face of a plurality of persons is used as the standard face image.
(Appendix 10)
The image recognition device according to any one of Supplementary note 1 to Supplementary note 8, wherein a face image having a degree of similarity with a plurality of persons' face images satisfying a predetermined condition is used as the standard face image.
(Appendix 11)
The image recognition device according to any one of Supplementary note 1 to Supplementary note 8, wherein a face image representing a standard facial artificial object is used as the standard face image.
(Appendix 12)
The image recognition device according to any one of Supplementary note 1 to Supplementary note 11, wherein information represented by a feature amount vector is used as the face image and the standard face image.
(Appendix 13)
By comparing an image representing a face (face image) with an image representing a standard face (standard face image), a face shielding pattern in the face image is determined.
An image recognition method for identifying a face image by excluding a region based on the shielding pattern in the face image.
(Appendix 14)
A determination step of determining a face shielding pattern in the face image by comparing an image representing a face (face image) with an image representing a standard face (standard face image).
An identification step of identifying the face image by excluding the region based on the shielding pattern in the face image, and
An image recognition program that causes a computer device to execute.

１、２、３、４ 画像認識装置
１１、２１ 判定部
１２、２２、４２ 識別部
２３ 分割部
２４、４４ 信頼度算出部
３５、４５ 全体識別部
３６ 切替部
４７ 特徴抽出部
１００１ ＣＰＵ
１００２ ＲＡＭ
１００３ ＲＯＭ
１００４ 記憶装置
１００５ 撮像装置
１００６ 出力装置 1, 2, 3, 4 Image recognition device 11, 21 Judgment unit 12, 22, 42 Identification unit 23 Division unit 24, 44 Reliability calculation unit 35, 45 Overall identification unit 36 Switching unit 47 Feature extraction unit 1001 CPU
1002 RAM
1003 ROM
1004 Storage device 1005 Imaging device 1006 Output device

Claims (10)

顔を表す画像である入力顔画像において遮蔽されている遮蔽領域を判定する判定部と、
前記遮蔽領域の分布に基づく遮蔽パターンと関連付けられている除外領域を前記入力顔画像から除外して、前記入力顔画像の識別を行う識別部と、
を備えた画像認識装置。 A determination unit that determines a shielded area that is shielded in an input face image, which is an image representing a face,
An identification unit that identifies the input face image by excluding the exclusion area associated with the shielding pattern based on the distribution of the shielding area from the input face image, and
Image recognition device equipped with. 前記判定部は、前記入力顔画像を構成する複数の小領域と、標準的な顔を表す画像である標準顔画像において前記入力顔画像の各小領域に対応する小領域との比較に基づく信頼度の分布に基づいて、前記遮蔽パターンを判定する請求項１に記載の画像認識装置。 The determination unit determines reliability based on comparison between a plurality of small regions constituting the input face image and small regions corresponding to each small region of the input face image in a standard face image which is an image representing a standard face. The image recognition device according to claim 1, wherein the shielding pattern is determined based on the distribution of degrees. 前記判定部は、所定範囲の前記小領域をまとめた小領域群である中領域について、当該中領域を構成する前記小領域の信頼度の分布が所定の遮蔽条件を満たす場合に、前記遮蔽パターンを判定する請求項２に記載の画像認識装置。 The determination unit determines the shielding pattern for a medium region, which is a group of small regions in which the small regions in a predetermined range are grouped, when the reliability distribution of the small regions constituting the medium region satisfies a predetermined shielding condition. The image recognition device according to claim 2. 前記判定部は、前記入力顔画像における鼻よりも上側の前記小領域をまとめた顔上部領域を前記中領域とし、当該中領域において前記信頼度の分布が前記遮蔽条件を満たす場合に、サングラスによる遮蔽パターンであると判定する請求項３に記載の画像認識装置。 The determination unit uses sunglasses when the upper face region, which is a collection of the small regions above the nose in the input face image, is defined as the middle region, and the reliability distribution satisfies the shielding condition in the middle region. The image recognition device according to claim 3, wherein the image recognition device determines that the pattern is a shielding pattern. 前記判定部は、前記入力顔画像における鼻よりも下側の前記小領域をまとめた顔下部領域を前記中領域とし、当該中領域において前記信頼度の分布が前記遮蔽条件を満たす場合に、マスクによる遮蔽パターンであると判定する請求項３または請求項４に記載の画像認識装置。 The determination unit uses the lower face region, which is a collection of the small regions below the nose in the input face image, as the middle region, and masks the middle region when the reliability distribution satisfies the shielding condition. The image recognition device according to claim 3 or 4, which is determined to be a shielding pattern according to the above. 前記入力顔画像を前記小領域に分割する分割部と、
前記入力顔画像および前記標準顔画像について、対応する前記小領域間を比較することにより前記信頼度を算出する信頼度算出部と、
をさらに備える請求項２から請求項５のいずれか１項に記載の画像認識装置。 A division portion that divides the input face image into the small areas, and
A reliability calculation unit that calculates the reliability of the input face image and the standard face image by comparing the corresponding small areas.
The image recognition device according to any one of claims 2 to 5, further comprising. 前記識別部は、前記入力顔画像における前記遮蔽パターンに基づいて定めた領域以外における前記小領域毎に識別を行い、前記小領域毎の識別結果に基づいて、前記入力顔画像の識別を行う請求項２から請求項６のいずれか１項に記載の画像認識装置。 The identification unit identifies each of the small areas other than the area defined based on the shielding pattern in the input face image, and identifies the input face image based on the identification result of each small area. The image recognition device according to any one of claims 2 to 6. 前記入力顔画像について、顔全域の情報を用いて識別を行う全体識別部と、
前記判定部の判定結果に基づいて、前記識別部および前記全体識別部のいずれを用いるかを切り替える切替部と、
をさらに備える請求項１から請求項７のいずれか１項に記載の画像認識装置。 An overall identification unit that identifies the input face image using information on the entire face,
A switching unit that switches whether to use the identification unit or the overall identification unit based on the determination result of the determination unit.
The image recognition device according to any one of claims 1 to 7, further comprising. 顔を表す画像である入力顔画像において遮蔽されている遮蔽領域を判定し、
前記遮蔽領域の分布に基づく遮蔽パターンと関連付けられている除外領域を前記入力顔画像から除外して、前記入力顔画像の識別を行う画像認識方法。 The shielded area that is shielded in the input face image, which is an image representing a face, is determined.
An image recognition method in which an exclusion region associated with a shielding pattern based on the distribution of the shielding region is excluded from the input face image to identify the input face image. 顔を表す画像である入力顔画像において遮蔽されている遮蔽領域を判定する処理と、
前記遮蔽領域の分布に基づく遮蔽パターンと関連付けられている除外領域を前記入力顔画像から除外して、前記入力顔画像の識別を行う処理と、
をコンピュータ装置に実行させる画像認識プログラム。 The process of determining the shielded area that is shielded in the input face image, which is an image representing a face,
A process of excluding the exclusion region associated with the shielding pattern based on the distribution of the shielding region from the input face image to identify the input face image, and
An image recognition program that causes a computer device to execute.
JP2019224879A 2019-12-12 2019-12-12 Image recognition device, image recognition method, and image recognition program Active JP6852779B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019224879A JP6852779B2 (en) 2019-12-12 2019-12-12 Image recognition device, image recognition method, and image recognition program
JP2021039200A JP7124912B2 (en) 2019-12-12 2021-03-11 Information processing device, information processing method, and information processing program
JP2022121851A JP7302719B2 (en) 2019-12-12 2022-07-29 Information processing device, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019224879A JP6852779B2 (en) 2019-12-12 2019-12-12 Image recognition device, image recognition method, and image recognition program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014210530A Division JP6630999B2 (en) 2014-10-15 2014-10-15 Image recognition device, image recognition method, and image recognition program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021039200A Division JP7124912B2 (en) 2019-12-12 2021-03-11 Information processing device, information processing method, and information processing program

Publications (2)

Publication Number Publication Date
JP2020038731A JP2020038731A (en) 2020-03-12
JP6852779B2 true JP6852779B2 (en) 2021-03-31

Family

ID=69738579

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019224879A Active JP6852779B2 (en) 2019-12-12 2019-12-12 Image recognition device, image recognition method, and image recognition program
JP2021039200A Active JP7124912B2 (en) 2019-12-12 2021-03-11 Information processing device, information processing method, and information processing program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021039200A Active JP7124912B2 (en) 2019-12-12 2021-03-11 Information processing device, information processing method, and information processing program

Country Status (1)

Country Link
JP (2) JP6852779B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115886A (en) * 2020-09-22 2020-12-22 北京市商汤科技开发有限公司 Image detection method and related device, equipment and storage medium
KR102563153B1 (en) * 2021-01-25 2023-08-04 상명대학교산학협력단 Method and system for robust face recognition system to wearing a mask

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4161659B2 (en) * 2002-02-27 2008-10-08 日本電気株式会社 Image recognition system, recognition method thereof, and program
KR100473598B1 (en) * 2002-11-04 2005-03-11 삼성전자주식회사 System and method for detecting veilde face image
JP4696857B2 (en) * 2005-11-02 2011-06-08 オムロン株式会社 Face matching device
JP4957056B2 (en) * 2006-04-11 2012-06-20 パナソニック株式会社 Face authentication system and face authentication method
JP5480532B2 (en) 2009-04-30 2014-04-23 グローリー株式会社 Image processing apparatus, image processing method, and program for causing computer to execute the method
JP2011060038A (en) * 2009-09-10 2011-03-24 Seiko Epson Corp Image processing apparatus
WO2011065952A1 (en) * 2009-11-30 2011-06-03 Hewlett-Packard Development Company, L.P. Face recognition apparatus and methods
JP5726596B2 (en) * 2011-03-30 2015-06-03 セコム株式会社 Image monitoring device
JP6150491B2 (en) 2012-10-26 2017-06-21 セコム株式会社 Face recognition device

Also Published As

Publication number Publication date
JP7124912B2 (en) 2022-08-24
JP2020038731A (en) 2020-03-12
JP2021103538A (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP6630999B2 (en) Image recognition device, image recognition method, and image recognition program
JP4156430B2 (en) Face verification method and system using automatic database update method
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
BR122018007961B1 (en) METHOD IMPLEMENTED BY COMPUTER AND SYSTEM
Iqbal et al. Facial expression recognition with neighborhood-aware edge directional pattern (NEDP)
KR100940902B1 (en) The biometrics using finger geometry information
JP5153434B2 (en) Information processing apparatus and information processing method
KR20120069922A (en) Face recognition apparatus and method thereof
KR20160066380A (en) Method and apparatus for registering face, method and apparatus for recognizing face
JP7151875B2 (en) Image processing device, image processing method, and program
Raut Facial emotion recognition using machine learning
JP6852779B2 (en) Image recognition device, image recognition method, and image recognition program
Wei et al. Fixation and saccade based face recognition from single image per person with various occlusions and expressions
JP2006244365A (en) Biometrics collation method
CN116457824A (en) Authentication method, information processing device, and authentication program
Gowda Fiducial points detection of a face using RBF-SVM and adaboost classification
Ban et al. Gender Classification of Low‐Resolution Facial Image Based on Pixel Classifier Boosting
JP7302719B2 (en) Information processing device, information processing method, and information processing program
El-Bashir et al. Face Recognition Model Based on Covariance Intersection Fusion for Interactive devices
Mohammad Multi-Modal Ocular Recognition in Presence of Occlusion in Mobile Devices
KR20200119586A (en) Identification system and method based on ear recognition
Shaikh et al. Human Face Detection and Facial Expression Identification
Naseem et al. An approach to occluded face recognition based on dynamic image-to-class warping using structural similarity index
Amirgaliyev et al. On one approach to recognizing fuzzy images of faces based on an ensemble
Tran et al. Simple signature verification sub-system for identity recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210222

R150 Certificate of patent or registration of utility model

Ref document number: 6852779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150