WO2013132695A1 - Information processing device, information processing method and recording medium - Google Patents

Information processing device, information processing method and recording medium Download PDF

Info

Publication number
WO2013132695A1
WO2013132695A1 PCT/JP2012/079070 JP2012079070W WO2013132695A1 WO 2013132695 A1 WO2013132695 A1 WO 2013132695A1 JP 2012079070 W JP2012079070 W JP 2012079070W WO 2013132695 A1 WO2013132695 A1 WO 2013132695A1
Authority
WO
WIPO (PCT)
Prior art keywords
score
face image
unit
integration
information processing
Prior art date
Application number
PCT/JP2012/079070
Other languages
French (fr)
Japanese (ja)
Inventor
昭裕 早坂
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014503416A priority Critical patent/JP6194880B2/en
Publication of WO2013132695A1 publication Critical patent/WO2013132695A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data

Abstract

An information processing device (100) comprises: a first comparison section (101) that calculates a first score corresponding to an input facial image, using a recogniser corresponding to a facial image picked up in a first condition; a second comparison section (102) that calculates a second score corresponding to an input facial image using a recogniser corresponding to a facial image picked up in a second condition different from the first condition; a holding section (106) that holds a combination coefficient employed for combining the first score and second score in association with the relationship of the first score and the second score; a decision section (103) that selects a combination coefficient corresponding to the relationship of the first score and the second score, of the combination coefficients held in the holding section (106); and a combination section (104) that calculates a combined score combining the first score and the second score, utilising the selected combination coefficient.

Description

情報処理装置、情報処理方法および記録媒体Information processing apparatus, information processing method, and recording medium
　本発明は、顔画像の照合技術に関するものである。 The present invention relates to a face image matching technique.
　姿勢の異なる顔画像の照合は、顔照合において大きな技術課題のひとつとなっている。複数のアルゴリズムを統合することで姿勢変動に対応する顔照合手法として提案されているものには、文献「Fu Jie Huang，Zhihua Zhou，Hong-Jiang Zhang，Tsuhan Chen，“Pose invariant face recognition”，Automatic Face and Gesture Recognition，2000」や特開平１１－２５３４２７号公報、特開２００６－０１８７０７号公報に開示された技術がある。 Matching face images with different postures is one of the major technical issues in face matching. Some of the proposed face matching methods that deal with posture variations by integrating multiple algorithms include the literature “Fu Jie Huang, Zhihua Zhou, Hong-Jiang Zhang, Tsuhan Chen,“ Pose invariant face recognition ”, Automatic There are techniques disclosed in “Face and Gesture Recognition, 2000”, Japanese Patent Application Laid-Open No. 11-253427, and Japanese Patent Application Laid-Open No. 2006-018707.
　Huang他の上記の文献に開示された技術は、顔の細かい角度ごとの辞書データを利用し、それらすべての照合結果を学習により統合する手法である。
　特開平１１－２５３４２７号公報に開示された技術は、複数の異なる生体認証部から得られた照合スコアを統合し、照合スコアの個数を次元数とする照合スコアベクトルを生成し、照合スコアベクトル空間に基づいて「正当」または「不当」のいずれかのカテゴリを特定する手法である。
　特開２００６－０１８７０７号公報に開示された技術は、目的とする被写体に応じて各識別器を設定する手法である。 The technique disclosed in the above document by Huang et al. Is a method of using dictionary data for each fine angle of the face and integrating all the matching results by learning.
The technique disclosed in Japanese Patent Laid-Open No. 11-253427 integrates verification scores obtained from a plurality of different biometric authentication units, generates a verification score vector having the number of verification scores as the number of dimensions, and a verification score vector space This is a method for identifying either “legitimate” or “unfair” category based on the above.
The technique disclosed in Japanese Patent Laid-Open No. 2006-018707 is a method for setting each discriminator according to a target subject.
　Huang他の上記の文献に開示された技術の場合、入力された顔画像の姿勢によって角度ごとの識別器あるいは照合スコアが大きく異なる挙動を示すため、すべての照合結果を学習により統一的に統合するのは限界がある。例えば、入力画像が右向きの顔画像の場合には右向きの顔画像用の識別器の出力が高く左向きの顔画像用の識別器の出力が低いという識別結果を返し、逆に左向きの顔画像が入力された場合には左向きの顔画像用の識別器の出力が高く右向きの顔画像用の識別器の出力が低いという識別結果を返すため、すべての姿勢の顔画像を入力として識別結果の統合を学習しようとすると、結果として右向きの顔画像用および左向きの顔画像用の識別器の出力の重要性が低くなってしまう。 In the case of the technique disclosed in the above-mentioned document by Huang et al., The behavior of the classifier or matching score for each angle varies greatly depending on the posture of the input face image, so all matching results are unified by learning. There is a limit. For example, if the input image is a right-facing face image, an identification result that the output of the discriminator for the right-facing face image is high and the output of the discriminator for the left-facing face image is low is returned. When input, it returns an identification result that the output of the discriminator for the face image facing left is high and the output of the discriminator for the face image facing right is low. As a result, the importance of the output of the discriminator for the right-facing face image and the left-facing face image becomes low.
　照合スコアの挙動についても同様のことがいえるため、特開平１１－２５３４２７号公報に開示された技術のように照合スコアを統合した照合スコアベクトル空間で識別境界を学習する場合でも所望の学習結果を得るのが難しい。
　また、特開２００６－０１８７０７号公報に開示された技術では、目的とする被写体に応じて各識別器を設定するので、目的と異なる姿勢の顔画像が入力されると顔画像の検出精度が低下してしまうという問題点があった。 Since the same can be said for the behavior of the matching score, a desired learning result can be obtained even when learning an identification boundary in a matching score vector space in which matching scores are integrated as in the technique disclosed in Japanese Patent Laid-Open No. 11-253427. Difficult to get.
Further, in the technique disclosed in Japanese Patent Application Laid-Open No. 2006-018707, each classifier is set according to a target subject. Therefore, when a face image having a posture different from the target is input, the detection accuracy of the face image decreases. There was a problem of doing.
　本発明は、上記課題を解決するためになされたもので、姿勢の異なる顔画像であっても高い精度で照合することができる情報処理装置、情報処理方法および記録媒体を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to provide an information processing apparatus, an information processing method, and a recording medium that can collate with high accuracy even face images with different postures. To do.
　本発明の情報処理装置は、第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合手段と、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合手段と、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持する保持手段と、この保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を選択する判定手段と、この判定手段が選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合手段とを備えることを特徴とするものである。 The information processing apparatus according to the present invention includes a first matching unit that calculates a first score for an input face image using a first discriminator corresponding to the face image captured in the first state; Second collating means for calculating a second score for the input face image using a second discriminator corresponding to the face image captured in a second state different from the first state; Holding means for previously holding the integration coefficient used for integrating the score and the second score in association with the relationship between the first score and the second score, and the integration held in the holding means Among the coefficients, determination means for selecting an integration coefficient corresponding to the relationship between the first score and the second score, and using the integration coefficient selected by the determination means, the first score and the An integrated hand that calculates an integrated score integrating the second score It is characterized in further comprising and.
　また、本発明の情報処理方法は、第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを備えることを特徴とするものである。 In addition, the information processing method of the present invention includes a first collation step of calculating a first score for an input face image using a first discriminator corresponding to the face image captured in the first state; A second collation step of calculating a second score for the input face image using a second discriminator corresponding to a face image captured in a second state different from the first state; From the holding means that holds in advance the integration coefficient used for integrating the first score and the second score in association with the relationship between the first score and the second score, the first score A determination step of obtaining an integration coefficient corresponding to a relationship between the first score and the second score, and an integration score obtained by integrating the first score and the second score using the integration coefficient selected in the determination step And an integration step for calculating And it is characterized in and.
　また、本発明のコンピュータ読み取り可能な記録媒体は、第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを、コンピュータに実行させることを特徴とするものである。 Further, the computer-readable recording medium of the present invention uses the first identifier for calculating the first score for the input face image using the first discriminator corresponding to the face image captured in the first state. And a second collation step of calculating a second score for the input face image using a second discriminator corresponding to the face image captured in a second state different from the first state And from the holding means that holds in advance the integration coefficient used for integration of the first score and the second score in association with the relationship between the first score and the second score, A determination step of acquiring an integration coefficient corresponding to the relationship between the score of 1 and the second score, and the integration coefficient selected in the determination step is used to integrate the first score and the second score Calculated integrated score And if step, it is characterized in causing a computer to execute.
　本発明によれば、第１の状態で撮像された顔画像に対応する第１の識別器を用いて入力顔画像に対する第１のスコアを算出すると共に、第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて入力顔画像に対する第２のスコアを算出し、第１のスコアと第２のスコアの統合に用いる統合係数を、第１のスコアと第２のスコアとの関係と対応付けて予め保持している保持手段から、第１のスコアと第２のスコアとの関係に対応する統合係数を取得し、この統合係数を利用して、第１のスコアと第２のスコアを統合した統合スコアを算出することにより、姿勢の異なる顔画像であっても高い精度で照合することができる。 According to the present invention, the first score for the input face image is calculated using the first discriminator corresponding to the face image captured in the first state, and the second score different from the first state is calculated. The second score for the input face image is calculated using the second discriminator corresponding to the face image captured in the state, and the integration coefficient used for the integration of the first score and the second score is set as the first coefficient. An integration coefficient corresponding to the relationship between the first score and the second score is acquired from the holding means previously stored in association with the relationship between the score and the second score, and the integration coefficient is used. By calculating an integrated score obtained by integrating the first score and the second score, even face images with different postures can be collated with high accuracy.
図１は、本発明の第１実施例に係る情報処理装置の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of the information processing apparatus according to the first embodiment of the present invention. 図２は、本発明の第１実施例に係る情報処理装置の動作を示すフローチャートである。FIG. 2 is a flowchart showing the operation of the information processing apparatus according to the first embodiment of the present invention. 図３は、本発明の第２実施例に係る情報処理装置の構成を示すブロック図である。FIG. 3 is a block diagram showing the configuration of the information processing apparatus according to the second embodiment of the present invention. 図４は、本発明の第２実施例に係る情報処理装置の動作を示すフローチャートである。FIG. 4 is a flowchart showing the operation of the information processing apparatus according to the second embodiment of the present invention. 図５は、本発明の第３実施例に係る情報処理装置の構成を示すブロック図である。FIG. 5 is a block diagram showing the configuration of the information processing apparatus according to the third embodiment of the present invention. 図６は、本発明の第３実施例に係る情報処理装置の動作を示すフローチャートである。FIG. 6 is a flowchart showing the operation of the information processing apparatus according to the third embodiment of the present invention. 図７は、本発明の第４実施例に係る情報処理装置の構成を示すブロック図である。FIG. 7 is a block diagram showing the configuration of the information processing apparatus according to the fourth embodiment of the present invention. 図８は、本発明の第５実施例に係る情報処理装置の構成を示すブロック図である。FIG. 8 is a block diagram showing the configuration of the information processing apparatus according to the fifth embodiment of the present invention. 図９は、本発明の第５実施例に係る情報処理装置の別の構成を示すブロック図である。FIG. 9 is a block diagram showing another configuration of the information processing apparatus according to the fifth embodiment of the present invention. 図１０は、本発明の第５実施例に係る情報処理装置の別の構成を示すブロック図である。FIG. 10 is a block diagram showing another configuration of the information processing apparatus according to the fifth embodiment of the present invention. 図１１は、本発明の第５実施例に係る情報処理装置の別の構成を示すブロック図である。FIG. 11 is a block diagram showing another configuration of the information processing apparatus according to the fifth embodiment of the present invention.
　以下に、図面を参照して、本発明の実施例について例示的に詳しく説明する。ただし、以下の実施例に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the constituent elements described in the following embodiments are merely examples, and are not intended to limit the technical scope of the present invention only to them.
［第１実施例］
［構成の説明］
　本発明の第１実施例に係る情報処理装置１００について、図１を用いて説明する。情報処理装置１００は顔画像の照合を行うための装置である。
　図１に示すように、情報処理装置１００は、第１の照合部１０１（第１の照合手段）と、第２の照合部１０２（第２の照合手段）と、判定部１０３（判定手段）と、統合部１０４（統合手段）と、データベース部１０５と、保持部１０６（保持手段）とを含んでいる。 [First embodiment]
[Description of configuration]
An information processing apparatus 100 according to a first embodiment of the present invention will be described with reference to FIG. The information processing apparatus 100 is an apparatus for collating face images.
As shown in FIG. 1, the information processing apparatus 100 includes a first collation unit 101 (first collation unit), a second collation unit 102 (second collation unit), and a determination unit 103 (determination unit). And an integration unit 104 (integration unit), a database unit 105, and a holding unit 106 (holding unit).
　第１の照合部１０１は、ある特定の第１の姿勢の顔画像を用いて事前に学習されている識別器１０１０を用いて、入力顔画像Ａとデータベース部１０５に記録されている登録顔画像とを照合し、入力顔画像Ａと登録顔画像との類似度を示す照合スコアを算出する。
　第２の照合部１０２は、前記第１の姿勢と異なる第２の姿勢の顔画像を用いて事前に学習されている識別器１０２０を用いて、入力顔画像Ａとデータベース部１０５に記録されている登録顔画像とを照合し、照合スコアを算出する。 The first collation unit 101 uses the classifier 1010 learned in advance using a face image of a specific first posture, and the registered face image recorded in the input face image A and the database unit 105. And a matching score indicating the similarity between the input face image A and the registered face image is calculated.
The second collation unit 102 is recorded in the input face image A and the database unit 105 using a classifier 1020 that has been learned in advance using a face image in a second posture different from the first posture. The registered face image is collated, and a collation score is calculated.
　このように、第１の照合部１０１と第２の照合部１０２とは、それぞれ異なる姿勢の顔画像照合に特化した識別器１０１０，１０２０を用いることが望ましい。また、照合部は必ず２つでなければならないわけではなく、３つ以上の照合部を備えていてもよい。 Thus, it is desirable that the first collation unit 101 and the second collation unit 102 use classifiers 1010 and 1020 specialized for collation of face images with different postures. Further, the number of collation units is not necessarily two, and three or more collation units may be provided.
　判定部１０３は、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアの大小関係を判定し、この照合スコアの大小関係に基づいて、保持部１０６に記録されている照合スコアの統合係数の中から適切な統合係数を選択する。
　統合部１０４は、判定部１０３が選択した統合係数を利用して、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアとを統合して、統合照合スコアＳＴを出力する。 The determination unit 103 determines the magnitude relationship between the matching score calculated by the first matching unit 101 and the matching score calculated by the second matching unit 102, and the holding unit 106 based on the magnitude relationship of the matching score. An appropriate integration coefficient is selected from the integration coefficients of the matching scores recorded in the above.
The integration unit 104 integrates the verification score calculated by the first verification unit 101 and the verification score calculated by the second verification unit 102 by using the integration coefficient selected by the determination unit 103. The verification score ST is output.
　データベース部１０５には、照合対象となる人物の登録顔画像が予め記録されている。なお、第１の照合部１０１および第２の照合部１０２の構成によっては、顔画像ではなく特徴量ベクトルをデータベース部１０５に記録しておいてもよい。 In the database unit 105, registered face images of persons to be collated are recorded in advance. Depending on the configuration of the first collation unit 101 and the second collation unit 102, a feature quantity vector may be recorded in the database unit 105 instead of a face image.
　保持部１０６には、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアを統合する際に掛ける統合係数（統合重み）が予め記録されている。本実施例では、登録顔画像を正面顔の画像に制限して入力顔画像Ａを特定の顔向きの画像に制限した状況で、統合部１０４から所望のスコアが得られる最適な統合係数を決定する学習を予め行っておく。そして、このような学習を入力顔画像Ａに映っている人物の顔向きを変えて繰り返すことで、人物の異なる姿勢に対応する異なる複数パターンの統合係数を決定し、これら複数パターンの統合係数を保持部１０６に登録しておけばよい。つまり、本実施例においては、保持部１０６は、統合係数を、入力顔画像Ａの顔向き情報（照合スコアの大小関係）と対応付けて予め記憶している。 In the holding unit 106, an integration coefficient (integration weight) to be applied when integrating the verification score calculated by the first verification unit 101 and the verification score calculated by the second verification unit 102 is recorded in advance. In the present embodiment, the optimum integration coefficient for obtaining a desired score is determined from the integration unit 104 in a situation where the registered face image is limited to a front face image and the input face image A is limited to an image with a specific face orientation. Learning to perform is performed in advance. Then, by repeating such learning while changing the face orientation of the person shown in the input face image A, the integration coefficients of different patterns corresponding to different postures of the person are determined, and the integration coefficients of these patterns are determined. It may be registered in the holding unit 106. That is, in the present embodiment, the holding unit 106 stores the integration coefficient in advance in association with the face orientation information of the input face image A (matching score magnitude relationship).
　なお、データベース部１０５と保持部１０６は同一の記憶媒体を利用するように構成してもよい。
　以上の構成によれば、より精度の高い顔照合を実現することができる。 Note that the database unit 105 and the holding unit 106 may be configured to use the same storage medium.
According to the above configuration, face matching with higher accuracy can be realized.
［動作の説明］
　次に、本実施例の情報処理装置１００の動作を図２を用いて説明する。まず、第１の照合部１０１および第２の照合部１０２は、入力顔画像Ａを取得する（ステップＳ１０１）。具体的には、第１の照合部１０１および第２の照合部１０２は、デジタルカメラやビデオカメラにより実空間中の静止画像または動画像を入力顔画像Ａとして取得する。あるいは、第１の照合部１０１および第２の照合部１０２は、静止画像または動画像が蓄積された記録媒体から入力顔画像Ａを取得する。 [Description of operation]
Next, the operation of the information processing apparatus 100 according to this embodiment will be described with reference to FIG. First, the first collation unit 101 and the second collation unit 102 acquire the input face image A (step S101). Specifically, the first collation unit 101 and the second collation unit 102 acquire a still image or a moving image in the real space as the input face image A using a digital camera or a video camera. Or the 1st collation part 101 and the 2nd collation part 102 acquire the input face image A from the recording medium with which the still image or the moving image was accumulate | stored.
　続いて、第１の照合部１０１および第２の照合部１０２は、それぞれステップＳ１０１で取得した入力顔画像Ａとデータベース部１０５に予め記録された登録顔画像とを照合し、照合スコアを算出する（ステップＳ１０２）。第１の照合部１０２および第２の照合部１０３で用いられる顔照合手法は任意の顔照合手法を利用してよく、例えば、Ｍ．Ｔｕｒｋにより提案されている固有顔（Eigenface）法などを用いてもよい。 Subsequently, the first collation unit 101 and the second collation unit 102 collate the input face image A acquired in step S101 with the registered face image recorded in advance in the database unit 105, and calculate a collation score. (Step S102). The face matching method used in the first matching unit 102 and the second matching unit 103 may use any face matching method. The Eigenface method proposed by Turk may be used.
　次に、判定部１０３は、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアの大小関係を判定する。そして、判定部１０３は、取得した照合スコアの大小関係情報に基づき、保持部１０６に予め記録されている複数の統合係数パターンの中から対応する統合係数を選択する（ステップＳ１０３）。仮に第１の照合部１０１が左向きの顔の照合に特化し、第２の照合部１０２が右向きの顔の照合に特化していたとすると、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアの大小関係から入力顔画像Ａに映っている人物の大まかな姿勢（顔向き）を推定することができる。 Next, the determination unit 103 determines the magnitude relationship between the verification score calculated by the first verification unit 101 and the verification score calculated by the second verification unit 102. Then, the determination unit 103 selects a corresponding integration coefficient from a plurality of integration coefficient patterns recorded in advance in the holding unit 106 based on the acquired collation score magnitude relation information (step S103). Assuming that the first matching unit 101 specializes in matching a face facing left and the second matching unit 102 specializes in matching a face facing right, the matching score calculated by the first matching unit 101 and the first The rough posture (face orientation) of the person shown in the input face image A can be estimated from the magnitude relationship of the matching scores calculated by the second matching unit 102.
　上記のとおり、第１の照合部１０１が左向きの顔の照合に特化し、第２の照合部１０２が右向きの顔の照合に特化していたとし、入力顔画像Ａが左向き顔の画像であったとすると、第１の照合部１０１で算出された照合スコアの方が第２の照合部１０２で算出された照合スコアよりも大きくなる。この場合、判定部１０３は、入力顔画像Ａが左向き顔の画像であると推定し、左向き顔の画像に対応する統合係数を選択する。また、第１の照合部１０１で算出された照合スコアの方が第２の照合部１０２で算出された照合スコアよりも小さい場合、判定部１０３は、入力顔画像Ａが右向き顔の画像であると推定し、右向き顔の画像に対応する統合係数を選択する。 As described above, it is assumed that the first collation unit 101 specializes in left-facing face collation and the second collation unit 102 specializes in right-facing face collation, and the input face image A is a left-facing face image. If so, the collation score calculated by the first collation unit 101 is larger than the collation score calculated by the second collation unit 102. In this case, the determination unit 103 estimates that the input face image A is a left-facing face image, and selects an integration coefficient corresponding to the left-facing face image. When the collation score calculated by the first collation unit 101 is smaller than the collation score calculated by the second collation unit 102, the determination unit 103 determines that the input face image A is a right-facing face image. And the integration coefficient corresponding to the image of the face facing right is selected.
　最後に、統合部１０４は、判定部１０３が選択した統合係数を利用して、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアとを統合し、最終的な照合スコアを出力する（ステップＳ１０４）。第１の照合部１０１で算出された照合スコアをＳ１、第２の照合部１０２で算出された照合スコアをＳ２、選択された統合係数のうち照合スコアＳ１に対して作用させる統合係数をｗ１、選択された統合係数のうち照合スコアＳ２に対して作用させる統合係数をｗ２とすると、統合部１０４は、統合照合スコアＳＴを例えば次式のように算出する。
　ＳＴ＝ｗ１×Ｓ１＋ｗ２×Ｓ２　　　　　　　　　　　　　・・・（１） Finally, the integration unit 104 uses the integration coefficient selected by the determination unit 103 to integrate the verification score calculated by the first verification unit 101 and the verification score calculated by the second verification unit 102. The final matching score is output (step S104). S1 is a collation score calculated by the first collation unit 101, S2 is a collation score calculated by the second collation unit 102, and w1 is an integration coefficient that acts on the collation score S1 among the selected integration coefficients. Assuming that the integrated coefficient to be applied to the matching score S2 among the selected integrated coefficients is w2, the integrating unit 104 calculates the integrated matching score ST as in the following equation, for example.
ST = w1 × S1 + w2 × S2 (1)
　以上、本実施例によれば、顔画像の姿勢（顔向き）の違いに対しても最適な照合スコアの統合を実現することができる。 As described above, according to the present embodiment, it is possible to realize the optimal matching of the matching scores even for the difference in the posture (face orientation) of the face image.
［第２実施例］
［構成の説明］
　次に、本発明の第２実施例に係る情報処理装置２００について、図３を用いて説明する。本実施例の情報処理装置２００は、図１に示した第１実施例の情報処理装置１００の構成に加えて、推定部２０７（推定手段）をさらに備えており、また判定部１０３とデータベース部１０５の代わりに、判定部２０３（判定手段）とデータベース部２０５を備えている。他の構成については上記第１実施例と同様であるため、ここでは詳しい説明を省略する。 [Second Embodiment]
[Description of configuration]
Next, an information processing apparatus 200 according to the second embodiment of the present invention will be described with reference to FIG. The information processing apparatus 200 according to the present embodiment further includes an estimation unit 207 (estimation means) in addition to the configuration of the information processing apparatus 100 according to the first embodiment illustrated in FIG. Instead of 105, a determination unit 203 (determination means) and a database unit 205 are provided. Since other configurations are the same as those of the first embodiment, detailed description thereof is omitted here.
　データベース部２０５には、照合対象となる人物の登録顔画像と共に、この登録顔画像に映っている人物の顔向きを示す顔向き情報が予め記録されている。第１の照合部１０１および第２の照合部１０２の構成によっては、顔画像ではなく特徴量ベクトルをデータベース部２０５に記録しておいてもよい。 In the database unit 205, face orientation information indicating the face orientation of the person shown in the registered face image is recorded in advance together with the registered face image of the person to be collated. Depending on the configuration of the first collation unit 101 and the second collation unit 102, a feature quantity vector may be recorded in the database unit 205 instead of a face image.
　推定部２０７は、入力顔画像Ａに映っている人物の顔の向きを推定する。顔の向きの推定手法としては、任意の手法を利用すればよく、例えば、文献「山田貢己，中島朗子，福井和広，“因子分解法と部分空間法による顔向き推定”，電子情報通信学会技術研究報告，１０１（５６８），２００２年」に開示されている手法などを用いればよい。推定部２０７は、推定した顔の向きを示す顔向き情報を出力する。 The estimation unit 207 estimates the face orientation of the person shown in the input face image A. Any method can be used to estimate the orientation of the face. For example, the literature “Kitomi Yamada, Ayako Nakajima, Kazuhiro Fukui,“ Estimation of Face Orientation by Factorization Method and Subspace Method ”, IEICE The technique disclosed in “Technical Research Report, 101 (568), 2002” may be used. The estimation unit 207 outputs face orientation information indicating the estimated face orientation.
　判定部２０３は、推定部２０７で推定された入力顔画像Ａの顔向き情報とデータベース部２０５に予め記録された登録顔画像の顔向き情報を基に、保持部１０６に予め記録されている複数の統合係数パターンの中から最適な統合係数を選択する。具体的には、事前に統合係数を学習する際に学習データの顔向きを制限して複数パターンの統合係数を学習しておき、照合の際には入力顔画像Ａの顔向き情報と登録顔画像の顔向き情報を基に対応する統合係数を選択する。 Based on the face orientation information of the input face image A estimated by the estimation unit 207 and the face orientation information of the registered face image recorded in the database unit 205 in advance, the determination unit 203 stores a plurality of information recorded in advance in the holding unit 106. The optimum integration coefficient is selected from among the integration coefficient patterns. Specifically, when learning the integration coefficient in advance, the face direction of the learning data is limited to learn a plurality of patterns of the integration coefficient, and the face orientation information of the input face image A and the registered face are used for matching. A corresponding integration coefficient is selected based on the face orientation information of the image.
　例えば、登録顔画像を正面顔の画像に制限して入力顔画像Ａを右向き顔の画像に制限した状況で学習された統合係数の組をＷａ、登録顔画像を正面顔の画像に制限して入力顔画像Ａを左向き顔の画像に制限した状況で学習された統合係数の組をＷｂとする。判定部２０３は、照合の際に登録顔画像の顔向き情報から登録顔画像が正面顔の画像であることが分かり、入力顔画像Ａの顔向き情報から入力顔画像Ａが右向き顔の画像であることが分かった場合、統合係数Ｗａを選択するようにする。つまり、本実施例においては、保持部１０６は、統合係数を、照合スコアの大小関係と入力顔画像Ａの顔向き情報と登録顔画像の顔向き情報と対応付けて予め記憶している。 For example, the set of integration coefficients learned in a situation where the registered face image is limited to the front face image and the input face image A is limited to the right face image is set to Wa, and the registered face image is limited to the front face image. A set of integration coefficients learned in a situation where the input face image A is limited to a left-facing face image is defined as Wb. The determination unit 203 knows that the registered face image is a front face image from the face direction information of the registered face image at the time of collation, and the input face image A is an image of the right face from the face direction information of the input face image A. If it is found, the integration coefficient Wa is selected. That is, in the present embodiment, the holding unit 106 stores the integration coefficient in advance in association with the collation score magnitude relationship, the face orientation information of the input face image A, and the face orientation information of the registered face image.
　また、顔向き情報だけでなく、第１の照合部１０１と第２の照合部１０２で算出される照合スコアも考慮して統合係数を選択するように判定部２０３を構成してもよい。例えば、第１の照合部１０１が正面顔の照合に特化した照合部であり、第２の照合部１０２が右向き顔の照合に特化した照合部であったとき、照合の際に登録顔画像が正面顔の画像であり、入力顔画像Ａが右向き顔の画像であったとすると、入力顔画像Ａの顔の角度によって第１の照合部１０１と第２の照合部１０２の照合スコアの大小関係が変化する。このような場合には、顔向き情報だけでなく照合スコアの大小関係も考慮して統合係数を決定する。 Also, the determination unit 203 may be configured to select the integration coefficient in consideration of not only the face orientation information but also the matching score calculated by the first matching unit 101 and the second matching unit 102. For example, when the first matching unit 101 is a matching unit specialized for front face matching and the second matching unit 102 is a matching unit specialized for right-facing face matching, Assuming that the image is a front face image and the input face image A is a right-facing face image, the collation scores of the first collation unit 101 and the second collation unit 102 depend on the face angle of the input face image A. The relationship changes. In such a case, the integration coefficient is determined in consideration of not only the face orientation information but also the collation score magnitude.
［動作の説明］
　次に、本実施例の情報処理装置２００の動作を図４を用いて説明する。図４のステップＳ２０１の処理は、図２のステップＳ１０１と同様である。
　推定部２０７は、入力顔画像Ａに映っている人物の顔の向きを推定する（ステップＳ２０２）。 [Description of operation]
Next, the operation of the information processing apparatus 200 according to this embodiment will be described with reference to FIG. The process in step S201 in FIG. 4 is the same as that in step S101 in FIG.
The estimation unit 207 estimates the face orientation of the person shown in the input face image A (step S202).
　ステップＳ２０３の処理は、図２のステップＳ１０２と同様である。判定部２０３は、ステップＳ２０２で推定された入力顔画像Ａの顔向き情報とデータベース部２０５に予め記録された登録顔画像の顔向き情報とを基に、保持部１０６に予め記録されている複数の統合係数パターンの中から最適な統合係数を選択する（ステップＳ２０４）。ステップＳ２０５の処理は、図２のステップＳ１０４と同様である。
　以上の構成によれば、統合係数をより正確に選択することができるため、姿勢の異なる顔画像を高精度に照合することができる。 The process of step S203 is the same as step S102 of FIG. Based on the face orientation information of the input face image A estimated in step S202 and the face orientation information of the registered face image recorded in the database unit 205 in advance, the determination unit 203 stores a plurality of information recorded in the holding unit 106 in advance. The optimum integration coefficient is selected from the integration coefficient patterns (step S204). The process of step S205 is the same as step S104 of FIG.
According to the above configuration, since the integration coefficient can be selected more accurately, face images with different postures can be collated with high accuracy.
［第３実施例］
［構成の説明］
　次に、本発明の第３実施例に係る情報処理装置３００について、図５を用いて説明する。本実施例の情報処理装置３００は、図３に示した第２実施例の情報処理装置２００の構成に加えて、選択部３０８（選択手段）をさらに備えており、またデータベース部２０５の代わりにデータベース部３０５を備えている。他の構成については上記第２実施例と同様であるため、ここでは詳しい説明を省略する。 [Third embodiment]
[Description of configuration]
Next, an information processing apparatus 300 according to the third embodiment of the present invention will be described with reference to FIG. The information processing apparatus 300 according to the present embodiment further includes a selection unit 308 (selection means) in addition to the configuration of the information processing apparatus 200 according to the second embodiment illustrated in FIG. A database unit 305 is provided. Since other configurations are the same as those of the second embodiment, detailed description thereof is omitted here.
　データベース部３０５には、照合対象となる人物の登録顔画像と、この登録顔画像の顔向き情報に加えて、登録顔画像を左右反転した反転登録顔画像と、この反転登録顔画像に映っている人物の顔向きを示す顔向き情報とが予め記録されている。第１の照合部１０１および第２の照合部１０２の構成によっては、顔画像ではなく特徴量ベクトルをデータベース部３０５に記録しておいてもよい。言うまでもなく、反転登録顔画像の顔向きは登録顔画像の顔向きと逆になる。登録顔画像の顔向きが右向きであれば、反転登録顔画像の顔向きは左向きになる。 In the database unit 305, in addition to the registered face image of the person to be collated and the face orientation information of the registered face image, the registered face image is reversed to the left and right, and the reversed registered face image is reflected in the reversed registered face image. Face orientation information indicating the face orientation of a person is recorded in advance. Depending on the configuration of the first collation unit 101 and the second collation unit 102, a feature quantity vector may be recorded in the database unit 305 instead of a face image. Needless to say, the face orientation of the inverted registered face image is opposite to the face orientation of the registered face image. If the face orientation of the registered face image is rightward, the face orientation of the inverted registered face image is leftward.
　選択部３０８は、推定部２０７で推定された入力顔画像Ａの顔向き情報に基づき、データベース部３０５に予め記録された登録顔画像と反転登録顔画像のうち入力顔画像Ａの顔向きと同じ顔向きの画像を選択する。 The selection unit 308 is based on the face orientation information of the input face image A estimated by the estimation unit 207, and is the same as the face orientation of the input face image A among the registered face image and the inverted registered face image recorded in the database unit 305 in advance. Select a face-oriented image.
　［動作の説明］
　次に、本実施例の情報処理装置３００の動作を図６を用いて説明する。図６のステップＳ３０１の処理は、図２のステップＳ１０１と同様である。ステップＳ３０２の処理は、図４のステップＳ２０２と同様である。
　選択部３０８は、ステップＳ３０２で推定された入力顔画像Ａの顔向き情報に基づき、データベース部３０５に予め記録された登録顔画像と反転登録顔画像のうち入力顔画像Ａの顔向きと同じ顔向きの画像を選択する（ステップＳ３０３）。 [Description of operation]
Next, the operation of the information processing apparatus 300 according to this embodiment will be described with reference to FIG. The process in step S301 in FIG. 6 is the same as step S101 in FIG. The process of step S302 is the same as step S202 of FIG.
Based on the face orientation information of the input face image A estimated in step S302, the selection unit 308 has the same face orientation as that of the input face image A among the registered face image and the inverted registered face image recorded in advance in the database unit 305. An orientation image is selected (step S303).
　ステップＳ３０４の処理は、図２のステップＳ１０２と同様である。ただし、第１の照合部１０１および第２の照合部１０２は、それぞれステップＳ３０１で取得した入力顔画像Ａと選択部３０８がステップＳ３０３で選択した画像とを照合することになる。 The process of step S304 is the same as step S102 of FIG. However, the first collation unit 101 and the second collation unit 102 collate the input face image A acquired in step S301 and the image selected by the selection unit 308 in step S303, respectively.
　ステップＳ３０５の処理は、図４のステップＳ２０４と同様である。ただし、判定部２０３は、ステップＳ３０２で推定された入力顔画像Ａの顔向き情報と、選択部３０８が選択した画像に対応してデータベース部３０５に予め記録されている顔向き情報とを基に、保持部１０６に予め記録されている複数の統合係数パターンの中から対応する統合係数を選択することになる。ステップＳ３０６の処理は、図２のステップＳ１０４と同様である。 The process of step S305 is the same as step S204 of FIG. However, the determination unit 203 is based on the face orientation information of the input face image A estimated in step S302 and the face orientation information recorded in advance in the database unit 305 corresponding to the image selected by the selection unit 308. The corresponding integration coefficient is selected from a plurality of integration coefficient patterns recorded in advance in the holding unit 106. The process in step S306 is the same as step S104 in FIG.
　以上の構成によれば、入力顔画像Ａにより近い顔向きの登録顔画像を照合に利用することができるため、姿勢の異なる顔画像を高精度に照合することができる。 According to the above configuration, a registered face image having a face orientation closer to the input face image A can be used for collation, so that face images with different postures can be collated with high accuracy.
［第４実施例］
［構成の説明］
　次に、本発明の第４実施例に係る情報処理装置４００について、図７を用いて説明する。図７に示すように、情報処理装置４００は、正面顔照合部４０１と、右向き顔照合部４０２と、左向き顔照合部４０３と、判定部４０４と、統合部４０５と、データベース部４０６と、保持部４０７とを含んでいる。本実施例は、第１実施例の具体例を示すものである。情報処理装置４００の処理の流れは図２に示した情報処理装置１００の処理の流れと同様である。 [Fourth embodiment]
[Description of configuration]
Next, an information processing apparatus 400 according to the fourth embodiment of the present invention will be described with reference to FIG. As illustrated in FIG. 7, the information processing apparatus 400 includes a front face matching unit 401, a right-facing face matching unit 402, a left-facing face matching unit 403, a determination unit 404, an integration unit 405, a database unit 406, and a storage Part 407. This embodiment shows a specific example of the first embodiment. The processing flow of the information processing apparatus 400 is the same as the processing flow of the information processing apparatus 100 shown in FIG.
　正面顔照合部４０１は、正面顔の顔画像を用いて事前に学習されている識別器４０１０を用いて、入力顔画像Ａとデータベース部４０６に記録されている登録顔画像とを照合し、入力顔画像Ａと登録顔画像との類似度を示す照合スコアを算出する。 The front face collation unit 401 collates the input face image A with the registered face image recorded in the database unit 406 using the discriminator 4010 learned in advance using the front face image. A collation score indicating the degree of similarity between the face image A and the registered face image is calculated.
　右向き顔照合部４０２は、右向き顔の顔画像を用いて事前に学習されている識別器４０２０を用いて、入力顔画像Ａとデータベース部４０６に記録されている登録顔画像とを照合し、照合スコアを算出する。 The right-facing face collation unit 402 collates the input face image A with the registered face image recorded in the database unit 406 using the discriminator 4020 learned in advance using the face image of the right-facing face. Calculate the score.
　左向き顔照合部４０３は、左向き顔の顔画像を用いて事前に学習されている識別器４０３０を用いて、入力顔画像Ａとデータベース部４０６に記録されている登録顔画像とを照合し、照合スコアを算出する。
　このように、正面顔照合部４０１と右向き顔照合部４０２と左向き顔照合部４０３とは、それぞれ異なる姿勢の顔画像照合に特化した識別器４０１０，４０２０，４０３０を用いる。 The left-facing face collation unit 403 collates the input face image A with the registered face image recorded in the database unit 406 using the discriminator 4030 that has been learned in advance using the left-facing face image. Calculate the score.
As described above, the front face collation unit 401, the right face collation unit 402, and the left face collation unit 403 use discriminators 4010, 4020, and 4030 specialized for face image collation with different postures.
　データベース部４０６には、照合対象となる人物の登録顔画像が予め記録されている。登録顔画像は１人物につき正面、右向き、左向きの３姿勢分記録されていることが望ましい。この場合、正面顔照合部４０１は、入力顔画像Ａと正面顔の登録顔画像とを照合し、右向き顔照合部４０２は、入力顔画像Ａと右向き顔の登録顔画像とを照合し、左向き顔照合部４０３は、入力顔画像Ａと左向き顔の登録顔画像とを照合することになる。 In the database unit 406, registered face images of persons to be collated are recorded in advance. It is desirable that registered face images are recorded for three postures of front, right, and left for each person. In this case, the front face collation unit 401 collates the input face image A and the registered face image of the front face, and the right-facing face collation unit 402 collates the input face image A and the registered face image of the right-facing face. The face collation unit 403 collates the input face image A and the registered face image of the left-facing face.
　ただし、１人物につき正面の登録顔画像１枚をデータベース部４０６に予め記録しておき、右向き顔照合部４０２は、画像を照合する際にデータベース部４０６に記録されている正面顔の登録顔画像から右向き顔の顔画像を生成して入力顔画像Ａと照合し、左向き顔照合部４０３は、画像を照合する際にデータベース部４０６に記録されている正面顔の登録顔画像から左向き顔の顔画像を生成して入力顔画像Ａと照合するようにしてもよい。 However, one registered face image of the front for each person is recorded in the database unit 406 in advance, and the right-facing face matching unit 402 stores the registered face image of the front face recorded in the database unit 406 when matching the images. A face image of a right-facing face is generated from the image and collated with the input face image A, and the left-facing face collating unit 403 generates a left-facing face from the registered face image of the front face recorded in the database unit 406 when collating the images. An image may be generated and collated with the input face image A.
　判定部４０４は、右向き顔照合部４０２で算出された照合スコアと左向き顔照合部４０３で算出された照合スコアの大小関係を判定し、入力顔画像Ａに映っている人物の顔向きを判定する。仮に入力顔画像Ａが右向き顔の画像だった場合には右向き顔照合部４０２の出力が高い照合スコアとなり、入力顔画像Ａが左向き顔の画像だった場合には左向き顔照合部４０３の出力が高い照合スコアとなる。したがって、入力顔画像Ａに映っている人物の顔向きを判定することができる。 The determination unit 404 determines the magnitude relationship between the matching score calculated by the right-facing face matching unit 402 and the matching score calculated by the left-facing face matching unit 403, and determines the face orientation of the person shown in the input face image A. . If the input face image A is a right-facing face image, the output of the right-facing face matching unit 402 is a high matching score. If the input face image A is a left-facing face image, the output of the left-facing face matching unit 403 is High matching score. Therefore, the face orientation of the person shown in the input face image A can be determined.
　保持部４０７には、正面顔照合部４０１で算出された照合スコアと右向き顔照合部４０２で算出された照合スコアと左向き顔照合部４０３で算出された照合スコアとを統合する際に用いる統合係数（統合重み）が予め記録されている。具体的には、登録顔画像を正面顔の画像に制限して入力顔画像Ａを右向き顔の画像に制限した状況で、統合部４０５から所望のスコアが得られる最適な統合係数を決定する学習を行い、学習した統合係数を保持部４０７に記録しておく。 In the holding unit 407, an integration coefficient used when integrating the matching score calculated by the front face matching unit 401, the matching score calculated by the right face matching unit 402, and the matching score calculated by the left face matching unit 403 (Integrated weight) is recorded in advance. Specifically, in the situation where the registered face image is limited to a front face image and the input face image A is limited to a right-facing face image, learning for determining an optimum integration coefficient that can obtain a desired score from the integration unit 405 The learned integration coefficient is recorded in the holding unit 407.
　正面顔照合部４０１で算出された照合スコアに対して作用させる係数をｗ１、右向き顔照合部４０２で算出された照合スコアに対して作用させる係数をｗ２、左向き顔照合部４０３で算出された照合スコアに対して作用させる係数をｗ３とし、これら統合係数ｗ１，ｗ２，ｗ３の組を保持部４０７に記録しておく。さらに、正面顔の顔画像を入力した場合の各照合スコアを学習データとした統合係数の組も保持部４０７に記録するようにしてもよい。 The coefficient to be applied to the collation score calculated by the front face collation unit 401 is w1, the coefficient to be applied to the collation score calculated by the right face collation unit 402 is w2, and the collation calculated by the left face collation unit 403 A coefficient to be applied to the score is w3, and a set of these integrated coefficients w1, w2, and w3 is recorded in the holding unit 407. Furthermore, a set of integration coefficients using each matching score when learning a face image of a front face as learning data may be recorded in the holding unit 407.
　そして、判定部４０４は、入力顔画像Ａに映っている人物の顔向き（照合スコアの大小関係）に基づいて、保持部４０７に記録されている照合スコアの統合係数の中から適切な統合係数を選択する。具体的には、判定部４０４は、入力顔画像Ａが右向き顔の画像であると推定した場合には、右向き顔の画像に対応する統合係数を選択する。また、判定部４０４は、入力顔画像Ａが左向き顔の画像であると推定した場合には、右向き顔の画像に対応する統合係数を選択した上で、右向き顔照合部４０２で算出された照合スコアと左向き顔照合部４０３で算出された照合スコアを入れ替えるよう統合部４０５に対して指示を出す。 Then, the determination unit 404 selects an appropriate integration coefficient from the verification score integration coefficients recorded in the holding unit 407 based on the face orientation of the person shown in the input face image A (matching score magnitude relationship). Select. Specifically, when determining that the input face image A is a right-facing face image, the determination unit 404 selects an integration coefficient corresponding to the right-facing face image. If the determination unit 404 estimates that the input face image A is a left-facing face image, the determination unit 404 selects an integration coefficient corresponding to the right-facing face image, and then calculates the matching calculated by the right-facing face matching unit 402. The integration unit 405 is instructed to replace the score with the matching score calculated by the left-facing face matching unit 403.
　統合部４０５は、判定部４０４が選択した統合係数を利用して、正面顔照合部４０１で算出された照合スコアと右向き顔照合部４０２で算出された照合スコアと左向き顔照合部４０３で算出された照合スコアとを統合し、最終的な照合スコアを出力する。正面顔照合部４０１で算出された照合スコアをＳ１、右向き顔照合部４０２で算出された照合スコアをＳ２、左向き顔照合部４０３で算出された照合スコアをＳ３とすると統合部４０５は、統合照合スコアＳＴを例えば次式のように算出する。
　ＳＴ＝ｗ１×Ｓ１＋ｗ２×ｍａｘ（Ｓ２，Ｓ３）＋ｗ３×ｍｉｎ（Ｓ２，Ｓ３）　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２） The integration unit 405 uses the integration coefficient selected by the determination unit 404 and is calculated by the matching score calculated by the front face matching unit 401, the matching score calculated by the right face matching unit 402, and the left face matching unit 403. And the final matching score is output. If the collation score calculated by the front face collation unit 401 is S1, the collation score calculated by the right face collation unit 402 is S2, and the collation score calculated by the left face collation unit 403 is S3, the integration unit 405 For example, the score ST is calculated as follows.
ST = w1 * S1 + w2 * max (S2, S3) + w3 * min (S2, S3) (2)
　式（２）の関数ｍａｘ（Ｓ２，Ｓ３）はＳ２，Ｓ３のうち大きい方を選択する関数であり、ｍｉｎ（Ｓ２，Ｓ３）はＳ２，Ｓ３のうち小さい方を選択する関数である。
　本実施例では、事前に入力顔画像Ａを右向き顔の画像に制限した状況で統合係数を学習しているため、ｗ１、ｗ２、ｗ３の大小関係はそれぞれｗ２＞ｗ１＞＞ｗ３となる。照合時に入力顔画像Ａが右向き顔の画像だった場合には照合スコアの大小関係がＳ２＞Ｓ１＞＞Ｓ３となるため、右向き顔の画像に対応する統合係数をそのまま各照合スコアへ作用させて統合照合スコアＳＴを算出すればよい。一方、照合時に入力顔画像Ａが左向き顔の画像だった場合には照合スコアの大小関係がＳ３＞Ｓ１＞＞Ｓ２となるため、右向き顔の画像に対応する統合係数をそのまま各照合スコアへ作用させると所望の統合照合スコアＳＴが得られない。ところが、右向きと左向きの顔画像を入力して統合係数を学習したとしてもｗ２とｗ３がおおよそ均等の重みとなってしまい、最適な統合とはいえない。 The function max (S2, S3) in Expression (2) is a function for selecting the larger one of S2 and S3, and min (S2, S3) is a function for selecting the smaller one of S2 and S3.
In this embodiment, since the integration coefficient is learned in advance in a situation where the input face image A is limited to a right-facing face image, the magnitude relationship between w1, w2, and w3 is w2> w1 >> w3, respectively. When the input face image A is a right-facing face image at the time of collation, the magnitude relationship of the collation scores is S2 >> S1 >> S3. Therefore, the integration coefficient corresponding to the right-facing face image is directly applied to each collation score. The integrated verification score ST may be calculated. On the other hand, if the input face image A is a left-facing face image at the time of collation, the magnitude relationship of the collation scores is S3 >> S1 >> S2, so that the integration coefficient corresponding to the right-facing face image is directly applied to each collation score. If it does, desired integrated collation score ST will not be obtained. However, even if a right face image and a left face image are input to learn the integration coefficient, w2 and w3 become approximately equal weights, which is not an optimal integration.
　そこで、統合係数学習の際に入力顔画像Ａを右向き顔の画像に制限することで特定の顔向きに特化した統合係数を学習しておき、入力顔画像Ａが統合係数学習時と異なる顔向きの画像だった場合には照合スコアを入れ替えて対応する。つまり、照合時に入力顔画像Ａが右向き顔の画像だった場合には照合スコアの大小関係がＳ２＞Ｓ１＞＞Ｓ３となるため、式（２）のｍａｘ（Ｓ２，Ｓ３）＝Ｓ２、ｍｉｎ（Ｓ２，Ｓ３）＝Ｓ３となる。一方、照合時に入力顔画像Ａが左向き顔の画像だった場合には照合スコアの大小関係がＳ３＞Ｓ１＞＞Ｓ２となるため、ｍａｘ（Ｓ２，Ｓ３）＝Ｓ３、ｍｉｎ（Ｓ２，Ｓ３）＝Ｓ２となる。このように、入力顔画像Ａが統合係数学習時と異なる顔向きの画像だった場合には照合スコアを入れ替えて対応することにより、所望の統合照合スコアを算出することが可能となるだけでなく、右向きまたは左向きのどちらか一方の顔向きの入力顔画像Ａのみで統合係数学習を実施しておけばよいため、事前処理の軽減が期待できる。 Therefore, an integration coefficient specialized for a specific face direction is learned by restricting the input face image A to a right-facing face image during integration coefficient learning, and the input face image A is a different face from that during integration coefficient learning. If the image is oriented, the matching score is replaced. That is, if the input face image A is a right-facing face image at the time of matching, the magnitude relationship of the matching score is S2> S1 >> S3, and therefore, max (S2, S3) = S2, min ( S2, S3) = S3. On the other hand, if the input face image A is a left-facing face image at the time of collation, the magnitude relationship of the collation score is S3> S1 >> S2, and therefore max (S2, S3) = S3, min (S2, S3) = S2. As described above, when the input face image A is an image having a face orientation different from that at the time of learning the integration coefficient, it is possible not only to calculate a desired integrated matching score by replacing the matching score. Since the integration coefficient learning has only to be carried out with only the input face image A facing in either the right direction or the left direction, reduction of the pre-processing can be expected.
　実際に登録顔画像が正面顔の画像で、入力顔画像Ａが正面に対して右３０度、上２０度から撮影された左向き顔の画像であった場合、正面、右向き、左向きのすべての姿勢の顔画像を利用して学習した統合係数を用いて３つの照合スコアＳ１，Ｓ２，Ｓ３を統合する手法では認証エラー率（他人受入率を０．１％とした場合の本人拒否率）が約１３％であった。これに対して、３つの照合スコアＳ１，Ｓ２，Ｓ３の最大値を選択する手法では認証エラー率が約９％となり、正面と右向きの姿勢の顔画像のみを利用して学習した統合係数を用いて３つの照合スコアＳ１，Ｓ２，Ｓ３を適応的に統合する手法では認証エラー率が約４．６％となった。このように、本実施例の有効性を確認できた。 When the registered face image is actually a front face image and the input face image A is a left face image taken from 30 degrees right and 20 degrees above the front face, all front, right and left postures In the method of integrating the three matching scores S1, S2, and S3 using the integration coefficient learned using the face image of the person, the authentication error rate (the individual rejection rate when the other person acceptance rate is 0.1%) is about 13%. On the other hand, in the method of selecting the maximum value of the three matching scores S1, S2, and S3, the authentication error rate is about 9%, and an integrated coefficient learned using only face images in the front and right postures is used. In the method of adaptively integrating the three verification scores S1, S2, and S3, the authentication error rate is about 4.6%. Thus, the effectiveness of the present example was confirmed.
　なお、本実施例では、入力顔画像Ａが統合係数学習時と異なる顔向きの画像だった場合には照合スコアを入れ替えて対応するが、統合部４０５は、統合係数を入れ替えるようにしてもよい。
　ＳＴ＝ｗ１×Ｓ１＋ｗ２×Ｓ２＋ｗ３×Ｓ３　　　　　　　・・・（３）
　ＳＴ＝ｗ１×Ｓ１＋ｗ２×Ｓ３＋ｗ３×Ｓ２　　　　　　　・・・（４） In the present embodiment, when the input face image A is an image with a face orientation different from that at the time of integration coefficient learning, the collation score is replaced. However, the integration unit 405 may replace the integration coefficient. .
ST = w1 * S1 + w2 * S2 + w3 * S3 (3)
ST = w1 * S1 + w2 * S3 + w3 * S2 (4)
　統合係数学習の際に入力顔画像Ａを右向き顔の画像に制限した場合、照合時に入力顔画像Ａが右向き顔の画像だったときには式（３）を用いて統合照合スコアＳＴを算出すればよく、照合時に入力顔画像Ａが左向き顔の画像だったときには式（４）を用いて統合照合スコアＳＴを算出すればよい。 When the input face image A is limited to a right-facing face image during integration coefficient learning, if the input face image A is a right-facing face image at the time of matching, the integrated matching score ST may be calculated using Equation (3). When the input face image A is a left-facing face image at the time of collation, the integrated collation score ST may be calculated using Expression (4).
［第５実施例］
　情報処理装置１００，２００，３００，４００は、統合照合スコアＳＴに基づいて、入力顔画像Ａに映っている人物が、登録顔画像に映っている人物と同一であるか否かを判定した結果を出力する出力部１０７（出力手段）を備えていてもよい。すなわち、出力部１０７は、統合照合スコアＳＴが所定の閾値以上の場合、入力顔画像Ａに映っている人物が登録顔画像に映っている人物と同一であることを示す判定結果を出力し、統合照合スコアＳＴが閾値未満の場合、入力顔画像Ａに映っている人物が登録顔画像に映っている人物と別人であることを示す判定結果を出力する。出力部１０７を第１実施例に適用した場合の構成を図８に示し、出力部１０７を第２実施例に適用した場合の構成を図９に示し、出力部１０７を第３実施例に適用した場合の構成を図１０に示し、出力部１０７を第４実施例に適用した場合の構成を図１１に示す。 [Fifth embodiment]
Information processing apparatuses 100, 200, 300, and 400 determine whether or not the person shown in input face image A is the same as the person shown in the registered face image based on integrated verification score ST The output unit 107 (output means) may be provided. That is, the output unit 107 outputs a determination result indicating that the person shown in the input face image A is the same as the person shown in the registered face image when the integrated matching score ST is equal to or greater than a predetermined threshold. When the integrated matching score ST is less than the threshold value, a determination result indicating that the person shown in the input face image A is different from the person shown in the registered face image is output. The configuration when the output unit 107 is applied to the first embodiment is shown in FIG. 8, the configuration when the output unit 107 is applied to the second embodiment is shown in FIG. 9, and the output unit 107 is applied to the third embodiment. FIG. 10 shows a configuration in the case where the output is performed, and FIG. 11 shows a configuration in a case where the output unit 107 is applied to the fourth embodiment.
　以上、本発明の実施例について詳述したが、それぞれの実施例に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
　第１実施例～第５実施例で説明した情報処理装置１００，２００，３００，４００は、例えばＣＰＵ、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御する情報処理プログラムによって実現することができる。ＣＰＵは、記憶装置に格納された情報処理プログラムに従って第１実施例～第５実施例で説明した処理を実行する。 Although the embodiments of the present invention have been described in detail above, a system or an apparatus that combines various features included in each embodiment in any way is also included in the scope of the present invention.
The information processing apparatuses 100, 200, 300, and 400 described in the first to fifth embodiments are realized by, for example, a computer having a CPU, a storage device, and an interface, and an information processing program that controls these hardware resources. can do. The CPU executes the processes described in the first to fifth embodiments according to the information processing program stored in the storage device.
　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、各実施例の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した、コンピュータ読み取り可能な非一時的記録媒体、そのプログラムをダウンロードさせるＷＷＷ（World Wide Web）サーバも、本発明の範疇に含まれる。 Further, the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention is also applicable to cases where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to implement the functions of the present invention on a computer, a program installed in the computer, a non-transitory computer-readable recording medium storing the program, or a WWW (World Wide Web) server for downloading the program Are also included in the scope of the present invention.
　上記の実施例の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 Some or all of the above embodiments may be described as in the following supplementary notes, but are not limited to the following.
　（付記１）第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合手段と、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合手段と、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持する保持手段と、この保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を選択する判定手段と、この判定手段が選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合手段とを備えることを特徴とする情報処理装置。 (Additional remark 1) The 1st collation unit which calculates the 1st score with respect to an input face image using the 1st discriminator corresponding to the face image imaged in the 1st state, The said 1st state Using a second discriminator corresponding to a face image captured in a different second state, a second collating means for calculating a second score for the input face image, the first score and the A holding unit that holds in advance the integration coefficient used for integration of the second score in association with the relationship between the first score and the second score, and among the integration coefficients held in the holding unit, A determination unit that selects an integration coefficient corresponding to a relationship between the first score and the second score, and the integration coefficient selected by the determination unit is used to determine the first score and the second score. And an integration means for calculating an integrated score. The information processing apparatus according to claim.
　（付記２）付記１記載の情報処理装置において、前記第１の状態及び前記第２の状態は、顔画像に映っている人物の顔の向きの状態であることを特徴とする情報処理装置。 (Supplementary note 2) The information processing device according to supplementary note 1, wherein the first state and the second state are states of a face of a person shown in a face image.
　（付記３）付記１記載の情報処理装置において、照合対象となる人物の登録顔画像を予め記憶するデータベースをさらに備え、前記第１の照合手段は、前記入力顔画像と前記登録顔画像とを照合して前記第１のスコアを算出する手段を含み、前記第２の照合手段は、前記入力顔画像と前記登録顔画像とを照合して前記第２のスコアを算出する手段を含むことを特徴とする情報処理装置。 (Supplementary note 3) The information processing apparatus according to supplementary note 1, further comprising a database that stores in advance a registered face image of a person to be collated, wherein the first collating unit includes the input face image and the registered face image. Means for collating and calculating the first score, and the second collating means includes means for calculating the second score by comparing the input face image and the registered face image. A characteristic information processing apparatus.
　（付記４）付記３記載の情報処理装置において、前記入力顔画像に映っている人物の顔の向きを推定する推定手段をさらに備え、前記データベースは、前記登録顔画像と共に、この登録顔画像の顔向き情報を予め記憶し、前記保持手段は、前記統合係数を、前記第１のスコアと前記第２のスコアとの関係と前記入力顔画像の顔向き情報と前記登録顔画像の顔向き情報とに対応して保持する手段を含み、前記判定手段は、前記保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係と前記推定手段で推定された入力顔画像の顔向き情報と前記登録顔画像の顔向き情報とに対応する統合係数を選択する手段を含むことを特徴とする情報処理装置。 (Supplementary note 4) The information processing apparatus according to supplementary note 3, further comprising estimation means for estimating a face direction of a person shown in the input face image, wherein the database includes the registered face image together with the registered face image. Face orientation information is stored in advance, and the holding unit calculates the integration coefficient, the relationship between the first score and the second score, the face orientation information of the input face image, and the face orientation information of the registered face image. The determination means is estimated by the estimation means and the relationship between the first score and the second score among the integration coefficients held by the holding means. An information processing apparatus comprising: means for selecting an integration coefficient corresponding to the face orientation information of the input face image and the face orientation information of the registered face image.
　（付記５）付記４記載の情報処理装置において、前記推定手段で推定された入力顔画像の顔向き情報に基づき、前記データベースに予め記録された登録顔画像のうち入力顔画像の顔向きと同じ顔向きの登録顔画像を選択する選択手段をさらに備え、前記データベースは、照合対象となる人物の登録顔画像とこの登録顔画像の顔向き情報に加えて、前記登録顔画像を左右反転した登録顔画像とこの登録顔画像の顔向き情報を予め記憶し、前記判定手段は、前記保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係と前記推定手段で推定された入力顔画像の顔向き情報と前記選択手段が選択した登録顔画像の顔向き情報とに対応する統合係数を選択する手段を含むことを特徴とする情報処理装置。 (Supplementary note 5) In the information processing device according to supplementary note 4, based on the face orientation information of the input face image estimated by the estimation means, the same face orientation of the input face image among the registered face images recorded in advance in the database The database further comprises selection means for selecting a registered face image for face orientation, and the database includes a registered face image of a person to be collated and face orientation information of the registered face image, as well as a registered image obtained by inverting the registered face image. A face image and face orientation information of the registered face image are stored in advance, and the determination unit includes the relationship between the first score and the second score among the integration coefficients held in the holding unit, and the An information processing apparatus comprising: means for selecting an integration coefficient corresponding to face orientation information of an input face image estimated by an estimation means and face orientation information of a registered face image selected by the selection means.
　（付記６）付記１記載の情報処理装置において、前記第１のスコアと前記第２のスコアとの関係は、前記第１のスコアと前記第２のスコアの大小関係であることを特徴とする情報処理装置。 (Supplementary note 6) In the information processing apparatus according to supplementary note 1, the relationship between the first score and the second score is a magnitude relationship between the first score and the second score. Information processing device.
　（付記７）付記３記載の情報処理装置において、前記統合スコアに基づいて、前記入力顔画像に映っている人物が、前記登録顔画像に映っている人物と同一であるか否かを判定した結果を出力する出力手段をさらに備えることを特徴とする情報処理装置。 (Supplementary note 7) In the information processing apparatus according to supplementary note 3, based on the integrated score, it is determined whether or not the person shown in the input face image is the same as the person shown in the registered face image An information processing apparatus further comprising output means for outputting a result.
　（付記８）第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを備えることを特徴とする情報処理方法。 (Additional remark 8) The 1st collation step which calculates the 1st score with respect to an input face image using the 1st discriminator corresponding to the face image imaged in the 1st state, The said 1st state, Uses a second discriminator corresponding to a face image captured in a different second state to calculate a second score for the input face image, the first score, The first score and the second score are obtained from holding means that holds in advance an integration coefficient used for integration of the second score in association with the relationship between the first score and the second score. A determination step of acquiring an integration coefficient corresponding to the relationship between the first score and an integration step of calculating an integration score obtained by integrating the first score and the second score using the integration coefficient selected in the determination step; Characterized by comprising Management method.
　（付記９）第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを、コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。 (Additional remark 9) The 1st collation step which calculates the 1st score with respect to an input face image using the 1st discriminator corresponding to the face image imaged in the 1st state, The said 1st state, Uses a second discriminator corresponding to a face image captured in a different second state to calculate a second score for the input face image, the first score, The first score and the second score are obtained from holding means that holds in advance an integration coefficient used for integration of the second score in association with the relationship between the first score and the second score. A determination step of acquiring an integration coefficient corresponding to the relationship between the first score and an integration step of calculating an integration score obtained by integrating the first score and the second score using the integration coefficient selected in the determination step; To run on a computer A computer-readable recording medium characterized and.
　以上、上記実施例を参照して本発明を説明したが、本発明は、上記実施例だけに限定されるものではない。本発明の構成や詳細は、上記実施例を適宜組み合わせて用いてもよく、さらに本発明の請求の範囲内において、適宜変更することもできる。
　この出願は、２０１２年３月９日に出願された日本出願特願２０１２－０５３１８７号を基礎とする優先権を主張し、その開示の内容を全てここに取り込む。 Although the present invention has been described with reference to the above-described embodiment, the present invention is not limited to the above-described embodiment. The configuration and details of the present invention may be used by appropriately combining the above-described embodiments, and may be modified as appropriate within the scope of the claims of the present invention.
This application claims priority based on Japanese Patent Application No. 2012-053187 filed on Mar. 9, 2012, the entire contents of which are incorporated herein.
　本発明は、顔画像の照合技術に適用することができる。 The present invention can be applied to face image matching technology.
　１００，２００，３００，４００…情報処理装置、１０１…第１の照合部、１０２…第２の照合部、１０３，２０３，４０４…判定部、１０４，４０５…統合部、１０５，２０５，３０５，４０６…データベース部、１０６，４０７…保持部、１０７…出力部、２０７…推定部，３０８…選択部、４０１…正面顔照合部、４０２…右向き顔照合部、４０３…左向き顔照合部、１０１０，１０２０，４０１０，４０２０，４０３０…識別器。 DESCRIPTION OF SYMBOLS 100,200,300,400 ... Information processing apparatus, 101 ... 1st collation part, 102 ... 2nd collation part, 103,203,404 ... Determination part, 104,405 ... Integration part, 105,205,305, 406 ... Database unit, 106, 407 ... Holding unit, 107 ... Output unit, 207 ... Estimation unit, 308 ... Selection unit, 401 ... Front face collation unit, 402 ... Right face collation unit, 403 ... Left face collation unit, 1010, 1020, 4010, 4020, 4030 ... classifiers.

Claims (9)

  1. 　第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合手段と、
    　前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合手段と、
    　前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持する保持手段と、
    　この保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を選択する判定手段と、
    　この判定手段が選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合手段とを備えることを特徴とする情報処理装置。     First collating means for calculating a first score for the input face image using a first discriminator corresponding to the face image imaged in the first state;
    Second collating means for calculating a second score for the input face image using a second discriminator corresponding to a face image captured in a second state different from the first state;
    Holding means for previously holding an integration coefficient used for integration of the first score and the second score in association with the relationship between the first score and the second score;
    A determination unit that selects an integration coefficient corresponding to a relationship between the first score and the second score among the integration coefficients held in the holding unit;
    An information processing apparatus comprising: an integration unit that calculates an integrated score obtained by integrating the first score and the second score using the integration coefficient selected by the determination unit.
  2. 　請求項１記載の情報処理装置において、
    　前記第１の状態及び前記第２の状態は、顔画像に映っている人物の顔の向きの状態であることを特徴とする情報処理装置。     The information processing apparatus according to claim 1,
    The information processing apparatus according to claim 1, wherein the first state and the second state are states of a person's face reflected in a face image.
  3. 　請求項１記載の情報処理装置において、
    　照合対象となる人物の登録顔画像を予め記憶するデータベースをさらに備え、
    　前記第１の照合手段は、前記入力顔画像と前記登録顔画像とを照合して前記第１のスコアを算出する手段を含み、
    　前記第２の照合手段は、前記入力顔画像と前記登録顔画像とを照合して前記第２のスコアを算出する手段を含むことを特徴とする情報処理装置。     The information processing apparatus according to claim 1,
    A database that stores in advance registered face images of persons to be collated;
    The first collating means includes means for collating the input face image and the registered face image to calculate the first score,
    The information processing apparatus, wherein the second collating unit includes a unit that collates the input face image with the registered face image to calculate the second score.
  4. 　請求項３記載の情報処理装置において、
    　前記入力顔画像に映っている人物の顔の向きを推定する推定手段をさらに備え、
    　前記データベースは、前記登録顔画像と共に、この登録顔画像の顔向き情報を予め記憶し、
    　前記保持手段は、前記統合係数を、前記第１のスコアと前記第２のスコアとの関係と前記入力顔画像の顔向き情報と前記登録顔画像の顔向き情報とに対応して保持する手段を含み、
    　前記判定手段は、前記保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係と前記推定手段で推定された入力顔画像の顔向き情報と前記登録顔画像の顔向き情報とに対応する統合係数を選択する手段を含むことを特徴とする情報処理装置。     The information processing apparatus according to claim 3,
    An estimation means for estimating the orientation of the face of the person shown in the input face image;
    The database previously stores face orientation information of the registered face image together with the registered face image,
    The holding means holds the integration coefficient corresponding to the relationship between the first score and the second score, the face orientation information of the input face image, and the face orientation information of the registered face image. Including
    The determination unit includes a relationship between the first score and the second score among the integration coefficients held in the holding unit, face orientation information of the input face image estimated by the estimation unit, and the registration An information processing apparatus comprising means for selecting an integration coefficient corresponding to face orientation information of a face image.
  5. 　請求項４記載の情報処理装置において、
    　前記推定手段で推定された入力顔画像の顔向き情報に基づき、前記データベースに予め記録された登録顔画像のうち入力顔画像の顔向きと同じ顔向きの登録顔画像を選択する選択手段をさらに備え、
    　前記データベースは、照合対象となる人物の登録顔画像とこの登録顔画像の顔向き情報に加えて、前記登録顔画像を左右反転した登録顔画像とこの登録顔画像の顔向き情報を予め記憶し、
    　前記判定手段は、前記保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係と前記推定手段で推定された入力顔画像の顔向き情報と前記選択手段が選択した登録顔画像の顔向き情報とに対応する統合係数を選択する手段を含むことを特徴とする情報処理装置。     The information processing apparatus according to claim 4.
    Selection means for selecting a registered face image having the same face direction as the face direction of the input face image from the registered face images recorded in advance in the database based on the face orientation information of the input face image estimated by the estimation means; Prepared,
    In addition to the registered face image of the person to be collated and the face orientation information of the registered face image, the database stores in advance a registered face image obtained by horizontally inverting the registered face image and the face orientation information of the registered face image. ,
    The determination means includes the relationship between the first score and the second score, the face orientation information of the input face image estimated by the estimation means, and the selection among the integration coefficients held in the holding means. An information processing apparatus comprising: means for selecting an integration coefficient corresponding to face orientation information of a registered face image selected by the means.
  6. 　請求項１記載の情報処理装置において、
    　前記第１のスコアと前記第２のスコアとの関係は、前記第１のスコアと前記第２のスコアの大小関係であることを特徴とする情報処理装置。     The information processing apparatus according to claim 1,
    The information processing apparatus characterized in that the relationship between the first score and the second score is a magnitude relationship between the first score and the second score.
  7. 　請求項３記載の情報処理装置において、
    　前記統合スコアに基づいて、前記入力顔画像に映っている人物が、前記登録顔画像に映っている人物と同一であるか否かを判定した結果を出力する出力手段をさらに備えることを特徴とする情報処理装置。     The information processing apparatus according to claim 3,
    The image processing apparatus further comprises output means for outputting a result of determining whether or not the person shown in the input face image is the same as the person shown in the registered face image based on the integrated score. Information processing apparatus.
  8. 　第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、
    　前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、
    　前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、
    　この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを備えることを特徴とする情報処理方法。     A first collation step of calculating a first score for the input face image using a first discriminator corresponding to the face image captured in the first state;
    A second collation step of calculating a second score for the input face image using a second discriminator corresponding to the face image captured in a second state different from the first state;
    From the holding means that holds in advance the integration coefficient used for integrating the first score and the second score in association with the relationship between the first score and the second score, the first score A determination step of obtaining an integration coefficient corresponding to a relationship between the score and the second score;
    An information processing method comprising: an integration step of calculating an integrated score obtained by integrating the first score and the second score using the integration coefficient selected in the determination step.
  9. 　第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、
    　前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、
    　前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、
    　この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを、コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。     A first collation step of calculating a first score for the input face image using a first discriminator corresponding to the face image captured in the first state;
    A second collation step of calculating a second score for the input face image using a second discriminator corresponding to the face image captured in a second state different from the first state;
    From the holding means that holds in advance the integration coefficient used for integrating the first score and the second score in association with the relationship between the first score and the second score, the first score A determination step of obtaining an integration coefficient corresponding to a relationship between the score and the second score;
    Using the integration coefficient selected in this determination step, causing the computer to execute an integration step of calculating an integration score obtained by integrating the first score and the second score. recoding media.
PCT/JP2012/079070 2012-03-09 2012-11-09 Information processing device, information processing method and recording medium WO2013132695A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014503416A JP6194880B2 (en) 2012-03-09 2012-11-09 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012053187 2012-03-09
JP2012-053187 2012-03-09

Publications (1)

Publication Number Publication Date
WO2013132695A1 true WO2013132695A1 (en) 2013-09-12

Family

ID=49116197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/079070 WO2013132695A1 (en) 2012-03-09 2012-11-09 Information processing device, information processing method and recording medium

Country Status (2)

Country Link
JP (1) JP6194880B2 (en)
WO (1) WO2013132695A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016006616A (en) * 2014-06-20 2016-01-14 ヤフー株式会社 Learning device, learning method and learning program
JP2022136179A (en) * 2020-02-12 2022-09-15 日本電気株式会社 Control apparatus, detection apparatus, control method, and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178651A (en) * 2004-12-21 2006-07-06 Toshiba Corp Person recognition apparatus and method, and passage control apparatus
JP2006343791A (en) * 2005-06-07 2006-12-21 Hitachi Ltd Face image database preparation method
JP2010061465A (en) * 2008-09-04 2010-03-18 Sony Corp Image processing apparatus, image pickup apparatus, image processing method and program
JP2011128916A (en) * 2009-12-18 2011-06-30 Fujifilm Corp Object detection apparatus and method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5554984B2 (en) * 2009-12-24 2014-07-23 キヤノン株式会社 Pattern recognition method and pattern recognition apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178651A (en) * 2004-12-21 2006-07-06 Toshiba Corp Person recognition apparatus and method, and passage control apparatus
JP2006343791A (en) * 2005-06-07 2006-12-21 Hitachi Ltd Face image database preparation method
JP2010061465A (en) * 2008-09-04 2010-03-18 Sony Corp Image processing apparatus, image pickup apparatus, image processing method and program
JP2011128916A (en) * 2009-12-18 2011-06-30 Fujifilm Corp Object detection apparatus and method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016006616A (en) * 2014-06-20 2016-01-14 ヤフー株式会社 Learning device, learning method and learning program
JP2022136179A (en) * 2020-02-12 2022-09-15 日本電気株式会社 Control apparatus, detection apparatus, control method, and program
JP7444204B2 (en) 2020-02-12 2024-03-06 日本電気株式会社 Control device, detection device, control method, and program

Also Published As

Publication number Publication date
JP6194880B2 (en) 2017-09-13
JPWO2013132695A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
KR102486699B1 (en) Method and apparatus for recognizing and verifying image, and method and apparatus for learning image recognizing and verifying
JP6921694B2 (en) Monitoring system
CN105868677B (en) Living body face detection method and device
JP4947769B2 (en) Face collation apparatus and method, and program
JP4353246B2 (en) Normal information estimation device, registered image group creation device, image collation device, and normal information estimation method
JP5910631B2 (en) Information processing apparatus, information processing method, and information processing program
JP2006338092A (en) Pattern collation method, pattern collation system and pattern collation program
JP4979480B2 (en) Face recognition device
EP3142040A1 (en) Information processing apparatus, method of controlling the same, and program
JP4858612B2 (en) Object recognition system, object recognition method, and object recognition program
JP6194880B2 (en) Information processing apparatus, information processing method, and recording medium
US10762133B2 (en) Information processing apparatus, method of controlling the same, and storage medium
CN108596079B (en) Gesture recognition method and device and electronic equipment
JP6287827B2 (en) Information processing apparatus, information processing method, and program
US20090123077A1 (en) Coefficient determining method, feature extracting method, system, and program, and pattern checking method, system, and program
JP6065842B2 (en) Dictionary learning device, pattern matching device, dictionary learning method, and computer program
JP6164284B2 (en) Authentication apparatus, authentication method, and computer program
JP6003367B2 (en) Image recognition apparatus, image recognition method, and image recognition program
WO2021038788A1 (en) Robustness evaluation device, robustness evaluation method and recording medium
WO2009096208A1 (en) Object recognition system, object recognition method, and object recognition program
JP2007140695A (en) Suspicious face detection system, suspicious face detection method and suspicious face detection program
JP2022028912A (en) Verification processing device, verification processing method, and recording medium storing verification processing program
JP6763408B2 (en) Information processing equipment, information processing methods, and programs
Gambhir et al. Person recognition using multimodal biometrics
WO2021241166A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12870750

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014503416

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12870750

Country of ref document: EP

Kind code of ref document: A1