JP4029413B2 - データ照合方法、データ照合装置及びデータ照合プログラム - Google Patents

データ照合方法、データ照合装置及びデータ照合プログラム Download PDF

Info

Publication number
JP4029413B2
JP4029413B2 JP2006524549A JP2006524549A JP4029413B2 JP 4029413 B2 JP4029413 B2 JP 4029413B2 JP 2006524549 A JP2006524549 A JP 2006524549A JP 2006524549 A JP2006524549 A JP 2006524549A JP 4029413 B2 JP4029413 B2 JP 4029413B2
Authority
JP
Japan
Prior art keywords
state
data
collation
component
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006524549A
Other languages
English (en)
Other versions
JPWO2006009043A1 (ja
Inventor
敦 丸亀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Application granted granted Critical
Publication of JP4029413B2 publication Critical patent/JP4029413B2/ja
Publication of JPWO2006009043A1 publication Critical patent/JPWO2006009043A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Description

本発明は、状態変化が生じる物体に対して、ある時点における状態変化物体のデータからその物体の別の時点におけるデータを照合するデータ照合方法及びデータ照合システム（装置）に関する。また、本発明は、状態変化が生じる物体に対して、ある時点における状態変化物体のデータからその物体の別の時点におけるデータの画像を照合するデータ照合プログラムに関する。特に、ある時点における人物の顔、声紋などバイオメトリクス情報の画像、音声からそのバイオメトリクス情報の別の時点における画像、音声を照合するデータ照合方法及びデータ照合システム（装置）に関し、ある時点における人物の顔、声紋などバイオメトリクス情報の画像、音声からそのバイオメトリクス情報の別の時点における画像、音声を照合するデータ照合プログラムに関する。
状態変化が生じる物体についてのデータを照合する場合、ある時点におけるデータから別の時点におけるデータを照合しようとすると、照合の障害になることがある。例えば、人物の顔や声などバイオメトリクス情報に代表されるような状態変化が生ずるものに関するデータの場合、加齢により若年時の特徴が失せ加齢時の特徴が現たり、感情の変化により顔や声のある特徴が目立たなくなり別の特徴が目立つようになったりする。そのため、ある時点における状態のデータは、同一物体のデータであっても別の時点における状態のデータと異なり、照合時の障害になることがある。
ある時点におけるデータから特徴の付加によって状態変化後のデータを作成する方法の例として、顔画像に経年変化を加える場合に若年時の顔から加齢時の顔画像を作成する方法がある。例えば、コンピュータグラフィックス（ＣＧ）を用いて、若年時の顔に皺などの加齢時の特徴を書き込むことによって、若年時の顔から加齢時の顔画像を作成することが行われる。
また、米国特許第６５５６１９６号明細書には、顔画像を処理するケースで、３次元モデルを用いて経年特徴や表情特徴の画像への付加を洗練化し、不明確な特徴も画像に付加することができる画像処理方法が記載されている。この画像処理方法では、顔データベースが記憶する３次元の顔データから変形可能な顔の一般的なモデルを作成し、作成したモデルに入力顔画像を張り付ける。そして、状態変化も含めた特徴変化を与えるために、モデラを用いてモデルを変形させている。
特開２０００‐１３２６７５号公報には、撮影条件または撮影時期の違いによる画像変動の特徴を分類されたクラス毎に予め学習しておき、撮影条件または撮影時期の少なくとも１つが異なる２枚の顔画像の差からクラスを選択し、その２枚の顔画像から選択されたクラスの画像変動の特徴量が小さくなる特徴量をそれぞれ求め、その２枚の顔画像の特徴量により顔識別・照合を行うことを特徴とする顔識別・照合方法が記載されている。
特開２００３‐２３３６７１号公報には、対象者の身体外面部位における少なくとも１つの状態の進展を予測する方法であって、その少なくとも１つの状態を表す第１のデータを受け取り、身体外面のその少なくとも１つの状態が時間の経過に伴ってどのように進展すると期待されるかを反映する第２のデータを受け取り、その第１のデータとその第２のデータに基づき、その少なくとも１つの状態の予測進展を生成し、その予測進展を対象者に送ることを含む方法が記載されている。
特徴の付加によって状態変化データを作成してデータを照合する場合、経年変化や表情変化で生じる特徴変化を作成する手順が必ずしも確立しているとは限らない。特徴変化の作成手順が確立していない場合、現実に存在する特徴を人が模倣してデータに書き込まなければならない。そのため、手動による作業、または手動による作業に近い労力を要する半自動処理を行わなければならない。
また、特徴の付加によって状態変化データを作成してデータを照合する場合、局所的で比較的明確な特徴を書き込むのと異なり、大域で直感的に把握しにくい状態変化を書き込みのような形で付加すること自体が困難である。そのため、大域で直感的に把握しにくい状態変化に対する対応が困難である。
米国特許第６５５６１９６号明細書に記載された画像処理方法では、予め用意された雛形を用いて画像に状態特徴を与える。そのため、誰の顔画像を作成する場合であっても、同じところに同じ状態変化の特徴が生じてしまう。例えば、誰の顔画像を作成する場合であっても、同じところに同じ皺ができてしまう。
また、米国特許第６５５６１９６号明細書に記載された画像処理方法では、照会顔に適した状態特徴を付加する用途を想定していないので、作成した雛形が照会顔に適した状態特徴のものであるか否か不明である。そのため、不自然な状態特徴を付加した顔画像が作成される可能性がある。
また、米国特許第６５５６１９６号明細書に記載された画像処理方法では、どの程度の状態の時にどのような変化を画像に与えるかを決定して状態変化を画像に付加するという用途を想定していない。そのため、画像に付加する状態変化を決定する際のユーザの作業負担が大きい。
そこで、本発明は、状態変化データを作成する際に、同一物体の相関関係にもとづいて物体の独自性を考慮した状態変化データを照合に用いることによって、状態変化を伴うデータの照合性能を向上できるデータ照合方法、データ照合装置及びデータ照合プログラムを提供することを目的とする。
また、本発明は、統計的な状態変化を状態変化前のデータに付加し、大域的な状態変化の特徴も付加した状態変化データを照合に用いることによって、状態変化を伴うデータの照合性能を向上できるデータ照合方法、データ照合装置及びデータ照合プログラムを提供することを目的とする。
また、本発明は、各状態カテゴリ間での構成成分の対応を与え、状態変化前のデータに各年代の一般的な状態変化を付加した状態変化データを照合に用いることによって、特定状態でのデータの照合性能を向上できるデータ照合方法、データ照合装置及びデータ照合プログラムを提供することを目的とする。
さらに、本発明は、統計的な状態変化を状態変化前のデータに付加し、照合時に作成する状態変化データを自動的に作成でき、データ照合時の作業者の負担を軽減できるデータ照合方法、データ照合装置及びデータ照合プログラムを提供することを目的とする。
本発明によるデータ照合方法は、物体の測定量を所定の方法によって分解することによって得られる構成成分を物体が取る複数の状態の各々と対応づけて蓄積する構成成分蓄積ステップと、照合対象物体の測定量を複数の状態のうちの所定状態における構成成分に分解する成分分解ステップと、所定状態における構成成分に対応するパラメータを、複数の状態のうちの所定状態とは異なる第２状態における変換後パラメータに変換するパラメータ変換ステップと、構成成分蓄積ステップにおいて蓄積され第２状態に対応する構成成分と変換後パラメータとを用いて、照合対象物体のデータに所定の状態変化を与えた状態変化データを作成する状態変化データ作成ステップと、状態変化データと予め蓄積された照合データとを照合する照合ステップとを含む。そのような構成により、入力データに状態情報を付加したデータを用いて照合が行われる。その結果、状態変化を伴うデータの照合性能が向上する。
本発明によるデータ照合方法において、所定の方法は主成分分析である。
本発明によるデータ照合方法は、物体の測定量を所定の方法によって分解することによって得られる構成成分を物体が取る複数の状態の各々と対応づけて蓄積する構成成分蓄積ステップと、複数の状態のうちの第１状態における構成成分に対応するパラメータと第２状態における構成成分に対応するパラメータとを学習を用いた変換によって結びつける結合ステップと、第１状態における照合対象物体のデータに対して学習を用いた変換を用いて第２状態におけるデータである状態変化データを作成する状態変化データ作成ステップと、状態変化データと予め蓄積された照合データとを照合する照合ステップとを含む。そのような構成によれば、状態変化を伴うデータの照合性能が向上する。更に、データ照合装置の構成が簡単化される。「学習」とは、例えば、同一人物の状態別データを学習データとして、ニューラルネットワークを用いた変換によって顔画像を作成することである。
本発明によるデータ照合方法において、照合対象の物体のデータは人物のバイオメトリクスデータである。バイオメトリクスデータとは、例えば、顔及び指紋に例示される人体の部位の画像、声など音声の一次元データ、顔形状の三次元データである。
本発明によるデータ照合方法において、複数の状態の各々は、経年変化における異なった時点の状態に対応する。
本発明によるデータ照合方法において、物体の測定量は顔の画像である。
本発明によるデータ照合装置は、本発明によるデータ照合方法に含まれるステップの各々を実行する機能を有するコンピュータである。本発明によるデータ照合プログラムは、本発明によるデータ照合方法をコンピュータに実行させる。
本発明によるデータ照合方法は、照合対象の物体のデータを、データ群に含まれる照合対象の物体に対応するデータと照合するデータ照合方法であって、照合用に登録されたデータ群を予め蓄積する照合データ蓄積ステップと、照合対象のデータを所定の状態時の構成成分に分解する成分分解ステップと、所定の状態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時のパラメータ（構成成分の係数ｃｉ，ｄｉによって実現される）に変換するパラメータ変換ステップと、状態別に分けられたデータの構成成分を蓄積し、蓄積する構成成分とパラメータ変換ステップで変換したパラメータとを用いて、照合対象のデータに所定の状態変化を与えた状態変化データを作成する状態変化データ作成ステップと、状態変化データ作成ステップで作成した状態変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合する照合ステップとを含むことを特徴とする。
また、データ照合方法は、照合対象の物体のデータを、データ群に含まれる照合対象の物体に対応するデータと照合するデータ照合方法であって、照合用に登録されたデータ群を予め蓄積する照合データ蓄積ステップと、状態別に分けられたデータによる学習を用いた変換によって、所定の状態のデータを所定の状態とは別の状態のデータに変化させた状態変化データを作成する状態変化データ作成ステップと、状態変化データ作成ステップで作成した状態変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合する照合ステップとを含むものであってもよい。
また、データ照合方法は、人物のバイオメトリクスデータを、データ群に含まれる人物に対応するバイオメトリクスデータと照合するデータ照合方法であって、照合用に登録されたデータ群を予め蓄積する照合データ蓄積ステップと、照合対象のバイオメトリクスデータを所定の状態時の構成成分に分解する成分分解ステップと、所定の状態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時のパラメータに変換するパラメータ変換ステップと、状態別に分けられたバイオメトリクスデータの構成成分を蓄積し、蓄積する構成成分とパラメータ変換ステップで変換したパラメータとを用いて、照合対象のバイオメトリクスデータに所定の状態変化を与えた状態変化データを作成する状態変化データ作成ステップと、状態変化データ作成ステップで作成した状態変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合する照合ステップとを含むものであってもよい。
また、データ照合方法は、人物のバイオメトリクスデータを、データ群に含まれる人物に対応するバイオメトリクスデータと照合するデータ照合方法であって、照合用に登録されたデータ群を予め蓄積する照合データ蓄積ステップと、状態別に分けられたバイオメトリクスデータによる学習を用いた変換によって、所定の状態のバイオメトリクスデータを所定の状態とは別の状態のバイオメトリクスデータに変化させた状態変化データを作成する状態変化データ作成ステップと、状態変化データ作成ステップで作成した状態変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合する照合ステップとを含むものであってもよい。
また、データ照合方法は、成分分解ステップで、バイオメトリクスデータを所定の経年時の構成成分に分解し、パラメータ変換ステップで、所定の経年時の構成成分に対応するパラメータを、所定の経年時とは別の経年時のパラメータに変換し、状態変化データ作成ステップで、経年別に分けられたバイオメトリクスデータの構成成分を蓄積し、蓄積する構成成分とパラメータ変換ステップで変換したパラメータとを用いて、バイオメトリクスデータに所定の経年変化を与えた経年変化データ（状態変化データによって実現される）を作成し、照合ステップで、状態変化作成ステップで作成した経年変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合するものであってもよい。
また、データ照合方法は、状態変化データ作成ステップで、経年別に分けられたバイオメトリクスデータによる学習を用いた変換によって、所定の経年時のバイオメトリクスデータを所定の経年時とは別の経年時のバイオメトリクスデータに変化させた経年変化データを作成し、照合ステップで、状態変化作成ステップで作成した経年変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合するものであってもよい。
また、データ照合方法は、照合対象の人物の顔画像を、顔画像群に含まれる人物に対応する顔画像と照合するデータ照合方法であって、照合用に登録された顔画像群を予め蓄積する照合データ蓄積ステップと、顔画像を所定の表情時の構成成分に分解する成分分解ステップと、所定の表情時の構成成分に対応するパラメータを、所定の表情時とは別の表情時のパラメータに変換するパラメータ変換ステップと、表情別に分けられた顔画像の構成成分を蓄積し、蓄積する構成成分とパラメータ変換ステップで変換したパラメータとを用いて、顔画像に所定の表情変化を与えた表情変化データ（状態変化データによって実現される）を作成する表情変化データ作成ステップと、表情変化データ作成ステップで作成した表情変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合する照合ステップとを含むものであってもよい。
また、データ照合方法は、照合対象の人物の顔画像を、顔画像群に含まれる人物に対応する顔画像と照合するデータ照合方法であって、照合用に登録された顔画像群を予め蓄積する照合データ蓄積ステップと、表情別に分けられた顔画像による学習を用いた変換によって、所定の表情時の顔画像を所定の表情時とは別の表情時の顔画像に変化させた表情変化データを作成する表情変化データ作成ステップと、表情変化データ作成ステップで作成した表情変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合する照合ステップとを含むものであってもよい。
本発明によるデータ照合装置は、照合対象の物体のデータを、データ群に含まれる照合対象の物体に対応するデータと照合するデータ照合装置であって、照合対象のデータを所定の状態時の構成成分に分解する成分分解手段（成分分析手段１０１によって実現される）と、所定の状態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時のパラメータに変換するパラメータ変換手段（成分係数変換手段１０３によって実現される）と、状態別に分けられたデータの構成成分を蓄積し、蓄積する構成成分とパラメータ変換手段が変換したパラメータとを用いて、照合対象のデータに所定の状態変化を与えた状態変化データを作成する状態変化データ作成手段（状態変化データ作成手段１０２によって実現される）と、照合用に登録されたデータ群を予め蓄積する照合データ蓄積手段（照合データ蓄積手段１０４によって実現される）と、状態変化データ作成手段が作成した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照合手段（照合手段１０５によって実現される）とを備えたことを特徴とする。
また、データ照合装置は、照合対象の物体のデータを、データ群に含まれる照合対象の物体に対応するデータと照合するデータ照合装置であって、状態別に分けられたデータによる学習を用いた変換によって、所定の状態のデータを所定の状態とは別の状態のデータに変化させた状態変化データを作成する状態変化データ作成手段（状態変化データ作成手段１０２ｂによって実現される）と、照合用に登録されたデータ群を予め蓄積する照合データ蓄積手段と、状態変化データ作成手段が作成した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照合手段とを備えたものであってもよい。そのような構成によれば、状態変化を伴うデータの照合性能を向上させることができるとともに、データ照合装置の構成を簡単化することができる。
また、データ照合装置は、人物のバイオメトリクスデータを、データ群に含まれる人物に対応するバイオメトリクスデータと照合するデータ照合装置であって、照合対象のバイオメトリクスデータを所定の状態時の構成成分に分解する成分分解手段と、所定の状態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時のパラメータに変換するパラメータ変換手段と、状態別に分けられたバイオメトリクスデータの構成成分を蓄積し、蓄積する構成成分とパラメータ変換手段が変換したパラメータとを用いて、照合対象のバイオメトリクスデータに所定の状態変化を与えた状態変化データを作成する状態変化データ作成手段と、照合用に登録されたデータ群を予め蓄積する照合データ蓄積手段と、状態変化データ作成手段が作成した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照合手段とを備えたものであってもよい。
また、データ照合装置は、人物のバイオメトリクスデータを、データ群に含まれる人物に対応するバイオメトリクスデータと照合するデータ照合装置であって、状態別に分けられたバイオメトリクスデータによる学習を用いた変換によって、所定の状態のバイオメトリクスデータを所定の状態とは別の状態のバイオメトリクスデータに変化させた状態変化データを作成する状態変化データ作成手段と、照合用に登録されたデータ群を予め蓄積する照合データ蓄積手段と、状態変化データ作成手段が作成した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照合手段とを備えたものであってもよい。
また、成分分解手段は、バイオメトリクスデータを所定の経年時の構成成分に分解し、パラメータ変換手段は、所定の経年時の構成成分に対応するパラメータを、所定の経年時とは別の経年時のパラメータに変換し、状態変化データ作成手段は、経年別に分けられたバイオメトリクスデータの構成成分を蓄積し、蓄積する構成成分とパラメータ変換手段が変換したパラメータとを用いて、バイオメトリクスデータに所定の経年変化を与えた経年変化データを作成し、照合手段は、状態変化作成手段が作成した経年変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合するものであってもよい。
また、状態変化データ作成手段は、経年別に分けられたバイオメトリクスデータによる学習を用いた変換によって、所定の経年時のバイオメトリクスデータを所定の経年時とは別の経年時のバイオメトリクスデータに変化させた経年変化データを作成し、照合手段は、状態変化作成手段が作成した経年変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合するものであってもよい。
また、データ照合装置は、照合対象の人物の顔画像を、顔画像群に含まれる人物に対応する顔画像と照合するデータ照合装置であって、顔画像を所定の表情時の構成成分に分解する成分分解手段と、所定の表情時の構成成分に対応するパラメータを、所定の表情時とは別の表情時のパラメータに変換するパラメータ変換手段と、表情別に分けられた顔画像の構成成分を蓄積し、蓄積する構成成分とパラメータ変換手段が変換したパラメータとを用いて、顔画像に所定の表情変化を与えた表情変化データを作成する表情変化データ作成手段（状態変化データ作成手段１０２によって実現される）と、照合用に登録された顔画像群を予め蓄積する照合データ蓄積手段と、表情変化データ作成手段が作成した表情変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照合手段とを備えたものであってもよい。
また、データ照合装置は、照合対象の人物の顔画像を、顔画像群に含まれる人物に対応する顔画像と照合するデータ照合装置であって、表情別に分けられた顔画像による学習を用いた変換によって、所定の表情時の顔画像を所定の表情時とは別の表情時の顔画像に変化させた表情変化データを作成する表情変化データ作成手段（状態変化データ作成手段１０２ｂによって実現される）と、照合用に登録された顔画像群を予め蓄積する照合データ蓄積手段と、表情変化データ作成手段が作成した表情変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照合手段とを備えたものであってもよい。
本発明によるデータ照合プログラムは、照合対象の物体のデータを、データ群に含まれる照合対象の物体に対応するデータと照合するためのデータ照合プログラムであって、照合用に登録されたデータ群を予め蓄積する照合データ蓄積手段を備えたコンピュータに、照合対象のデータを所定の状態時の構成成分に分解する処理と、所定の状態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時のパラメータに変換する処理と、状態別に分けられたデータの構成成分を蓄積し、蓄積する構成成分と変換したパラメータとを用いて、照合対象のデータに所定の状態変化を与えた状態変化データを作成する処理と、作成した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する処理とを実行させることを特徴とする。
また、データ照合プログラムは、照合対象の物体のデータを、データ群に含まれる照合対象の物体に対応するデータと照合するためのデータ照合プログラムであって、照合用に登録されたデータ群を予め蓄積する照合データ蓄積手段を備えたコンピュータに、状態別に分けられたデータによる学習を用いた変換によって、所定の状態のデータを所定の状態とは別の状態のデータに変化させた状態変化データを作成する処理と、作成した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する処理とを実行させるものであってもよい。そのような構成によれば、状態変化を伴うデータの照合性能を向上させることができるとともに、データ照合装置の構成を簡単化することができる。
本発明によれば、状態変化データを作成して照合を行うので、状態変化物体に対して、ある時点における物体のデータのみを用いて精度の高い照合を行うことができる。従って、状態変化データを作成する際に、同一物体の相関関係にもとづいて物体の独自性を考慮した状態変化データを照合に用いることによって、状態変化を伴うデータの照合性能を向上させることができる。
本発明によれば、ある状態における画像や音声などのバイオメトリクスデータしかない場合であっても、状態変化時のデータを作成して登録情報と照合することによって、セキュリティシステムにおける本人識別や犯罪捜査、学術調査時の照合等の性能を向上させることができる。
本発明によるデータ照合装置の構成の一例を示すブロック図である。 データ照合装置が顔画像を照合するデータ照合処理の一例を示す流れ図である。 データ照合装置の他の構成例を示すブロック図である。 データ照合装置が顔画像を照合するデータ照合処理の他の例を示す流れ図である。 成分分析装置の構成の一例を示すブロック図である。 状態変化作成装置の構成の一例を示すブロック図である。 成分係数変換装置の構成の一例を示すブロック図である。 状態変化データ作成装置の構成の一例を示すブロック図である。
実施の形態１．
以下、本発明の第１の実施の形態を図面を参照して説明する。図１は、本発明によるデータ照合装置の構成の一例を示すブロック図である。ここでは、状態変化の種類が経年変化であり、状態変化データとして顔画像を用い、データ照合装置を用いて、ある時点における顔画像と別の時点における顔画像とを照合する場合を説明する。
なお、状態変化が経年変化である場合に限らず、データ照合装置は、顔の表情変化など他の状態変化を伴うデータを照合するものであってもよい。また、状態変化データは、顔画像に限らず、指紋など人体の他の部位の画像や、声など音声の一次元データ、顔形状の三次元データなどのバイオメトリクスデータであってもよい。また、状態変化データは、人間以外の動物や植物のデータ、生物と同様に個別の特性を持ちながら経年変化をする物体に関するデータであってもよい。
図１に示すように、データ照合装置は、入力データ１１の成分を分析する成分分析手段１０１と、入力データ１１の状態（経年）変化データを作成する状態変化データ作成手段１０２と、状態（経年）別データベース間を関連づける成分係数変換手段１０３と、照合用データを予め蓄積する照合データ蓄積手段１０４と、状態（経年）変化データと照合データ蓄積手段１０４が蓄積するデータとを照合する照合手段１０５とを含む。
また、状態変化データ作成手段１０２は、状態（経年）別に分類されたデータの構成成分を蓄積した複数の状態（経年）別データベースＤＢ１，・・・，ＤＢｉ，・・・，ＤＢｎを有する。それらのデータベースの各々には、物体の測定量を主成分分析などの所定の方法によって分解することによって得られる構成成分が蓄積される。以下、状態別データベースＤＢ１〜ＤＢｎを包括的に表現する場合、または、いずれかの状態別データベースを指す場合に、単に状態別データベースという。
本実施の形態において、照合データ蓄積手段１０４は、例えば、磁気ディスク装置によって実現される。成分分析手段１０１、成分係数変換手段１０３及び照合手段１０５は、例えば、コンピュータにおける中央処理部及び中央処理部が実行するプログラムによって実現される。状態変化データ作成手段１０２は、例えば、磁気ディスク装置、コンピュータにおける中央処理部及び中央処理部が実行するプログラムによって実現される。
成分分析手段１０１は、入力データ１１である顔画像の状態（経年）情報１２に対応した状態別データベースＤＢｉ中の構成成分を用いて、最も誤差が小さくなるように顔画像を再構成する機能を備える。本実施の形態では、成分分析手段１０１は、例えば、状態変化データ作成手段１０２が入力した状態情報１２にもとづいて、入力データ１１の顔画像の状態に対応した状態別データベースＤＢｉを選択し、顔画像を再構成する。
例えば、成分分析を行う場合、主成分分析などの線形成分分析が用いられることが多い。顔画像を主成分の線形結合で構成した場合、顔画像は、式（１）で表される。
式（１）
Ｉｐ＝ｃ１Ｐ１＋ｃ２Ｐ２＋・・・＋ｃｍＰｍ（Ｐｉ：主成分、ｃｉ：係数）
本実施の形態では、成分分析手段１０１として、式（１）で表される顔画像のうち、入力顔画像Ｉ０との誤差が最も小さくなる最小誤差係数組ｃｉが選択される。成分分析手段１０１は、選択した最小誤差係数選択組ｃｉを、状態変化データ作成手段１０２の状態別データベースＤＢｉを介して、成分係数変換手段１０３に送る。
状態変化データ作成手段１０２は、状態（経年）別に分類されたデータの構成成分を蓄積する複数の状態別データベースＤＢ１，・・・，ＤＢｉ，・・・，ＤＢｎを有する。また、状態変化データ作成手段１０２は、成分分析手段１０１が計算した各状態別データベースに対する係数組ｃｉを、成分係数変換手段１０３に渡す機能を備える。
また、状態変化データ作成手段１０２は、成分分析手段１０１が選択した状態別データベースとは別の状態別データベース用に成分係数変換手段１０３が変換した係数組ｄｉと、その別の状態別データベース内の構成成分とを用いて顔画像を再構成する機能を備える。また、状態変化データ作成手段１０２は、再構成顔画像Ｊｐを状態（経年）変化データとして照合手段１０５に送る機能を備える。再構成顔画像Ｊｐは、主成分分析を用いる場合、状態別データベース内の主成分Ｑｉの係数組ｄｉによる線形結合として、式（２）を用いて表される。
式（２）
Ｊｐ＝ｄ１Ｑ１＋ｄ２Ｑ２＋・・・＋ｄｍＱｍ
状態別データベースＤＢｉは、所定の計算によって、ある年代の顔画像｛Ａ１，Ａ２，・・・，Ａｉ，・・・，Ａｐ｝から各画像を構成する要素のうちの重要要素｛Ｕ１，Ｕ２，・・・，Ｕｊ，・・・，Ｕｐ｝に変換して作成した成分を構成成分として蓄積する。例えば、主成分分析を用いる場合、状態別データベースは、各画像の画素Ａｉ（ｘ，ｙ）を列ベクトルとして並べた行列を特異値分化した値を構成成分として蓄積する。この場合、各画像の画素Ａｉ（ｘ，ｙ）を列ベクトルとして並べた行列は、式（３）で表される。
Figure 0004029413
状態別データベースは、式（３）で表される行列を、式（４）で表される特異値分解によって求めた直交行列の前半のｐ個の列ベクトル｛Ｕ１，Ｕ２，・・・，Ｕｊ，・・・，Ｕｐ｝を構成成分として蓄積する。
式（４）
Ａ＝ＵＳＶｔ
なお、式（４）において、Ｓは、対角成分以外の要素が０であり、対角成分が絶対値の降順に並べた行列である。
また、各状態別データベースを対応付けるため、２つの状態別データベース間において、それぞれ同一人物の顔画像を使用する成分数だけ予め用意する。例えば、構成成分を３０個使用する場合、２つの状態別データベースにおいて、３０人以上分の両状態（経年）時の顔画像を用意してそれぞれの状態別データベースの構成成分を作成し、予め蓄積させる。
成分係数変換手段１０３は、状態別データベースの構成成分に乗ずる係数を変換する機能を備える。例えば、主成分分析を用いる場合を例に説明する。
例えば、２つの状態別データベースＤＢｉ，ＤＢｊを用い、データベースＤＢｉ，ＤＢｊの主成分をそれぞれＰｉ（ｉ＝１，・・・，ｎ）及びＱｊ（ｊ＝１，・・・，ｎ）とし、それら主成分の係数をそれぞれｃｉ（ｉ＝１，・・・，ｎ）及びｄｊ（ｊ＝１，・・・，ｎ）とする。この場合、係数ｃｉから係数ｄｊへの変換を行うために、同一人物の顔でデータベースＤＢｉ及びＤＢｊにそれぞれ対応する状態（経年）双方に属する複数の顔画像Ｉｐ，Ｊｐを用いる。ここで、顔画像Ｉｐ，Ｊｐは、式（１）を用いて、それぞれ式（５）及び式（６）で表される。
式（５）
Ｉｐ＝ｃ１Ｐ１＋ｃ２Ｐ２＋・・・＋ｃｎＰｎ
式（６）
Ｊｐ＝ｄ１Ｑ１＋ｄ２Ｑ２＋・・・＋ｄｎＱｎ
従って、係数ｃｉから係数ｄｊへの変換を線形変換Ｔと仮定し、人物Ａの係数組｛ＣｉＡ，ＤｊＡ｝及び人物Ｂの係数組｛ＣｉＢ，ＤｊＢ｝，・・・とすると、人物Ｂの係数組｛ＣｉＢ，ＤｊＢ｝，・・・は、式（７）で表される。
式（７）
［ＤｊＡ，ＤｊＢ，・・・］＝Ｔ［ＣｉＡ，ＣｉＢ，・・・］
ここで、式（７）において、ＣｉＡ，ＤｊＡは、式（４）及び式（５）における係数ｃｉ，ｄｊを縦に並べた列ベクトルである。よって、線形変換Ｔは、Ｃ＝［ＣｉＡ，ＣｉＢ，・・・］，Ｄ＝［ＤｊＡ，ＤｊＢ，・・・］とすると、式（８）を用いて計算できる。
式（８）
Ｔ＝ＤＣｔ（ＣＣｔ）−１
なお、成分係数変換手段１０３は、ｃｉからｄｊへの変換を非線形な変換を用いて行ってもよい。例えば、成分係数変換手段１０３は、同一人物の顔でデータベースＤＢｉ及びＤＢｊにそれぞれ対応する係数組｛ｃｉ，ｄｊ｝を学習データとして、ニューラルネットワークを用いて係数変換を行ってもよい。
照合データ蓄積手段１０４は、照合用のデータを蓄積するデータベースであり、予め照合用に登録されたデータを蓄積する。照合データ蓄積手段１０４は、例えば、通常の照合用装置のデータストレージ部によって実現される。照合データ蓄積手段１０４は、例えば、照合用データとして、人物の現在の顔画像や無表情の顔画像のデータ群を予め蓄積する。
照合手段１０５は、状態変化データ作成手段１０２が作成した状態変化データと、照合データ蓄積手段１０４が蓄積する登録データとを比較して照合し、照合結果１８を出力する機能を備える。例えば、照合手段１０５は、状態（経年）変化データと登録データとの差分を求め、求めた差分が最も小さいデータを本人のデータと判断する。なお、差分を求める方法に限らず、照合手段１０５は、他の照合方法を用いて照合を行ってもよい。
また、照合手段１０５は、図１に示すように、状態変化データ作成手段１０２が作成した複数の状態変化データを登録データと照合する。従って、照合手段１０５は、複数の状態変化データと登録データとを照合し、全体で最も差分が小さいデータを本人のデータとみなすことによって、状態（経年）変化に対応した照合を行うことができる。なお、照合データベース（照合データ蓄積手段１０４）が蓄積するデータの状態（経年）が既知である場合、照合手段１０５は、登録データに対応する状態（年代）だけの状態変化データを登録データと照合するようにしてもよい。そのようにすれば、照合時間を短縮することができる。
次に、動作について説明する。図２は、データ照合装置が顔画像を照合するデータ照合処理の一例を示す流れ図である。成分分析手段１０１は、ユーザの入力操作に従って、照合対象の入力データ１１を入力する（ステップＳ１０１）。本例では、成分分析手段１０１は、入力データ１１として照合対象の顔画像を入力する。
また、状態変化データ作成手段１０２は、ユーザの入力操作に従って、入力データ１１の状態を示す状態情報１２を入力する（ステップＳ１０２）。例えば、状態変化データ作成手段１０２は、状態情報１２として、入力データ１１の顔画像の人物の年齢や年齢帯（年代）を入力する。また、例えば、状態変化データ作成手段１０２は、状態情報１２として、喜怒など入力データ１１の顔画像の表情を示す情報を入力する。
成分分析手段１０１は、状態変化データ作成手段１０２の状態別データベースＤＢのうち、状態情報１２にもとづいて照合対象の入力データ１１の状態に対応する状態別データベースＤＢｉを選択する（ステップＳ１０３）。また、成分分析手段１０１は、選択した状態別データベースから構成成分を抽出して入力データ１１を分析し、構成成分係数を計算する（ステップＳ１０４）。また、成分分析手段１０１は、計算した構成成分係数を、状態変化データ作成手段１０２の状態別データベースを介して、成分係数変換手段１０３に送る。
成分係数変換手段１０３は、成分分析手段１０１が計算した構成成分係数を、成分分析手段１０１が選択した状態別データベースとは別の状態別データベースに対応する構成成分係数に変換する（ステップＳ１０５）。状態変化データ作成手段１０２は、変換後の構成成分係数に対応する状態別データベースから構成成分を抽出し、成分係数変換手段１０３が変換した構成成分係数と抽出した構成成分とにもとづいて状態変化データを作成する（ステップＳ１０６）。
照合手段１０５は、照合データ蓄積手段１０４から登録データを抽出する。そして、照合手段１０５は、状態変化データ作成手段１０２が作成した状態変化データと、照合データ蓄積手段１０４が蓄積する登録データとを照合して、照合結果１８を出力する（ステップＳ１０８）。
以上のように、本実施の形態によれば、状態変化前や状態変化後のデータを作成して照合を行うので、状態変化物体に対して、ある時点における物体のデータのみを用いて精度の高い照合を行うことができる。従って、状態変化データを作成する際に、同一物体の相関関係にもとづいて物体の独自性を考慮した状態変化データを照合に用いることによって、状態変化を伴うデータの照合性能を向上させることができる。
また、本実施の形態では、物体の特徴を構成成分に分解するので、手動では表現しにくい統計的な状態特徴も利用して精度の高い照合を行うことができる。従って、統計的な状態変化を状態変化前のデータに付加し、大域的な状態変化の特徴も付加した状態変化データを照合に用いることによって、状態変化を伴うデータの照合性能を向上させることができる。
また、本実施の形態によれば、時間軸に関係なく処理できるので、状態変化として経年変化を与える処理を行う場合に、加齢変化だけでなく、若くなる方向への経年変化など他の経年変化に対しても精度の高い照合を行うことができる。
また、本実施の形態によれば、複数の状態の状態変化データを作成して照合に用いることができるので、複数の状態変化に対応することによって精度の高い照合を行うことができる。また、本実施の形態によれば、各状態カテゴリ間での構成成分の対応を与え、状態変化前のデータに各年代の一般的な状態変化を付加した状態変化データを照合に用いることによって、特定状態でのデータの照合性能を向上させることができる。
また、本実施の形態によれば、照合時に作成される状態変化の付加を自動で行えるので、照合時の作業者の負担を軽減できる。従って、統計的な状態変化を状態変化前のデータに付加し、照合時に作成する状態変化データを自動的に作成でき、データ照合時の作業者の負担を軽減することができる。
さらに、本実施の形態によれば、既存の多くの照合システムを利用してデータ照合装置を実現できるので、容易にシステム（データ照合装置）を組み立てたり、システムを変更したりすることができる。
実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。図３は、データ照合装置の他の構成例を示すブロック図である。本実施の形態において、データ照合装置は、図１で示した構成要素のうち、成分分析手段１０１及び成分係数変換手段１０３を含まない点において第１の実施の形態と異なる。また、本実施の形態では、データ照合装置の状態変化データ作成手段１０２ｂの処理内容が、第１の実施の形態で示した状態変化データ作成手段１０２の処理内容と異なる。
本実施の形態では、状態変化データ作成手段１０２ｂは、入力データ１１である顔画像を、その入力データ１１の状態（経年）情報１２に対応する状態別データベースに対して入力する。状態変化データ作成手段１０２ｂは、入力データ１１に対応する状態別データベース以外の他の状態別データベースに入力データ１１を直接送り、入力データ１１の状態以外の他の状態（経年）の顔画像（状態変化データ）を作成する。そして、状態変化データ作成手段１０２ｂは、作成した顔画像を照合手段１０５に送る。
本実施の形態では、状態変化データ作成手段１０２ｂは、構成成分を用いずに、ある状態から他の状態に顔画像を直接変換して状態変化データを作成する。そのため、各状態別データベース間において、同一人物の状態（経年）別に分類されたデータを予め蓄積してニューラルネットワークを形成しておく。そして、状態変化データ作成手段１０２ｂは、予め形成されたニューラルネットワークを用いて、変換した顔画像を作成する。本実施の形態では、例えば、状態変化データ作成手段１０２ｂは、予め蓄積する同一人物の状態別データを学習データとして、ニューラルネットワークを用いて変換処理を行うことによって顔画像を作成する。
本実施の形態では、第１の実施の形態と比較して、ニューラルネットワークにおいて学習するために大量の同一人物の状態別データが必要となるが、データ照合装置の構成を簡単化することができる。
次に、動作について、説明する。図４は、データ照合装置が顔画像を照合するデータ照合処理の他の例を示す流れ図である。状態変化データ作成手段１０２ｂは、ユーザの入力操作に従って、照合対象の入力データ１１を入力する（ステップＳ２０１）。本例では、状態変化データ作成手段１０２ｂは、入力データ１１として照合対象の顔画像を入力する。
また、状態変化データ作成手段１０２ｂは、ユーザの入力操作に従って、入力データ１１の状態を示す状態情報１２を入力する（ステップＳ２０２）。例えば、状態変化データ作成手段１０２ｂは、入力データ１１の顔画像の人物の年齢や年齢帯（年代）を入力する。また、例えば、状態変化データ作成手段１０２ｂは、状態情報１２として、喜怒など入力データ１１の顔画像の表情を示す情報を入力する。
状態変化データ作成手段１０２ｂは、入力データ１１を、入力データ１１の状態以外の状態（年代）の状態変化データに変換する（ステップＳ２０３）。この場合、状態変化データ作成手段１０２ｂは、状態情報１２にもとづいて、学習済みニューラルネットワークを用いて状態変化データを作成する。
照合手段１０５は、照合データ蓄積手段１０４から登録データを抽出する。そして、照合手段１０５は、状態変化データ作成手段１０２ｂが作成した状態変化データと、照合データ蓄積手段１０４が蓄積する登録データとを照合して、照合結果１８を出力する（ステップＳ２０４）。
以上のように、本実施の形態によれば、データ照合装置は、第１の実施の形態で示した成分分析手段１０１及び成分係数変換手段１０３を備えなくても、第１の実施の形態で示したデータ照合装置と同様の効果を得ることができる。従って、状態変化を伴うデータの照合性能を向上させることができるとともに、データ照合装置の構成を簡単化することができる。
実施の形態３．
次に、本発明の第３の実施の形態を図面を参照して説明する。本実施の形態は、第１の実施の形態におけるデータ照合装置を具体的に装置化したものに相当する。本実施の形態おいて、データ照合装置は、成分係数変換手段１０３を装置化した成分係数変換装置と、状態変化データ作成手段１０２を装置化した状態変化作成装置と、成分分析手段１０１を装置化した成分分析装置と、照合データ蓄積手段１０４を装置化した照合データ蓄積装置と、照合手段１０５を装置化した照合装置とを含む。
図５は、成分分析手段１０１を装置化した成分分析装置１０１ａの構成の一例を示すブロック図である。図５に示すように、成分分析装置１０１ａは、演算装置１０１ｂ、入力データストレージ装置１０１ｃ及び構成成分ストレージ装置１０１ｄを含む。
入力データストレージ装置１０１ｃは、具体的には、メモリや磁気ディスク装置によって実現される。入力データストレージ装置１０１ｃは、入力データ１１である顔画像を蓄積する機能を備える。構成成分ストレージ装置１０１ｄは、具体的には、メモリや磁気ディスク装置によって実現される。構成成分ストレージ装置１０１ｄは、状態変化データ作成手段１０２を装置化した状態変化作成装置１０２ａから送られる構成成分を蓄積する機能を備える。
演算装置１０１ｂは、具体的には、プログラムに従って動作するＣＰＵによって実現される。演算装置１０１ｂは、入力データ１１及び構成成分を用いたデータ処理を行う。演算装置１０１ｂは、入力データストレージ装置１０１ｃが蓄積する顔画像と、構成成分ストレージ装置１０１ｄが蓄積する構成成分とにもとづいて、第１の実施の形態で示した成分分析手段１０１と同様の計算処理を実行し構成成分係数を求める。そして、演算装置１０１ｂは、求めた構成成分係数を状態変化作成装置１０２ａに送る。
図６は、状態変化データ作成手段１０２を装置化した状態変化作成装置１０２ａの構成の一例を示すブロック図である。図６に示すように、状態変化作成装置１０２ａは、演算装置１０２ｃ、状態別構成成分ストレージ装置１０２ｄ及び状態選別装置１０２ｅを含む。
状態選別装置１０２ｅは、具体的には、切り替え用の半導体回路などによって実現される。状態選別装置１０２ｅは、状態情報１２にもとづいて、成分分析装置１０１ａに送る構成成分を抽出する状態別データベースを選択する機能を備える。状態別構成成分ストレージ装置１０２ｄは、具体的には、メモリや磁気ディスク装置によって実現される。状態別構成成分ストレージ装置１０２ｄは、状態別に顔画像の構成成分を蓄積する機能を備える。演算装置１０２ｃは、具体的には、プログラムに従って動作するＣＰＵによって実現される。演算装置１０２ｃは、状態別の顔画像の構成成分と構成成分係数とにもとづいて状態変化データを作成する機能を備える。
本実施の形態では、状態選別装置１０２ｅは、状態情報１２に対応する状態別データベースを選択し、その選択したデータベースから構成成分を抽出して成分分析装置１０１ａに送る。また、状態選別装置１０２ｅは、成分分析装置１０１ａが計算した構成成分係数を、成分係数変換手段１０３を装置化した成分係数変換装置１０３ａに送る。演算装置１０２ｃは、成分係数変換装置１０３ａが変換した構成成分係数と、その変換後の構成成分係数に対応する状態別データベースの構成成分とにもとづいて、式（２）を用いて計算し状態変化データを作成する。
図７は、成分係数変換手段１０３を装置化した成分係数変換装置１０３ａの構成の一例を示すブロック図である。図７に示すように、成分係数変換装置１０３ａは、演算装置１０３ｂを含む。演算装置１０３ｂは、具体的には、プログラムに従って動作するＣＰＵによって実現される。演算装置１０３ｂは、状態変化作成装置１０２ａからの構成成分係数を、その構成成分係数に対応する状態別データベースとは別の状態別データベースに対応する構成成分係数に変換する機能を備える。なお、演算装置１０３ｂは、第１の実施の形態で示した成分係数変換手段１０３と同様の変換方法を用いて、構成成分係数を変換する。
照合データ蓄積手段１０４を装置化した照合データ蓄積装置は、具体的には、メモリや磁気ディスク装置などストレージ装置によって実現される。
照合手段１０５を装置化した照合装置１０５ａは、照合方法によって装置の構成が多少異なりうるが、具体的には、メモリや磁気ディスク装置などストレージ装置、及びプログラムに従って動作するＣＰＵなど演算装置を備えた計算機によって実現される。
実施の形態４．
次に、本発明の第４の実施の形態を図面を参照して説明する。本実施の形態は、第２の実施の形態におけるデータ照合装置を具体的に装置化したものに相当する。本実施の形態において、データ照合装置は、状態変化データ作成手段１０２ｂを装置化した状態変化作成装置と、照合データ蓄積手段１０４を装置化した照合データ蓄積装置と、照合手段１０５を装置化した照合装置とを含む。
本実施の形態において、照合データ蓄積装置及び照合装置の構成は、第３の実施の形態で示した照合データ蓄積装置及び照合装置１０５ａの構成と同様である。
図８は、状態変化データ作成手段１０２ｂを装置化した状態変化データ作成装置１０２ｆの構成の一例を示すブロック図である。図８に示すように、状態変化データ作成装置１０２ｆは、状態選別装置１０２ｇ及び演算装置１０２ｉを含む。
状態選別装置１０２ｇは、具体的には、切り替え用の半導体回路などによって実現される。状態選別装置１０２ｇは、入力データ１１及び状態（経年）情報１２を入力すると、演算装置１０２ｉのうち、状態情報１２で示す状態以外の他の状態に入力データ１１を変換するニューラルネットワーク演算を行う演算装置１０２ｉに入力画像（入力データ）１１を送る。演算装置１０２ｉは、具体的には、プログラムに従って動作するＣＰＵによって実現される。演算装置１０２ｉは、それぞれ入力データ１１を状態情報１２で示す状態とは別の状態の顔画像に変換して状態変化データを作成し、照合装置１０５ａに出力する。
なお、第１の実施の形態において、データ照合装置が行うデータ照合方法を計算機上で実行可能なデータ照合プログラムによって実現してもよい。そして、そのデータ照合プログラムを計算機で読み取り自在な情報記録媒体に格納して、計算機に読み込ませることによって、計算機上において第１の実施の形態で示したデータ照合処理を実行するようにしてもよい。
例えば、コンピュータに、照合対象のデータを所定の状態時の構成成分に分解する処理と、所定の状態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時のパラメータに変換する処理と、状態別に分けられたデータの構成成分を蓄積し、蓄積する構成成分と変換したパラメータとを用いて、照合対象のデータに所定の状態変化を与えた状態変化データを作成する処理と、作成した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する処理とを実行させるためのデータ照合プログラムを計算機に読み込ませることによって、データ照合処理を実行するようにしてもよい。
また、第２の実施の形態において、データ照合装置が行うデータ照合方法を計算機上で実行可能なデータ照合プログラムによって実現してもよい。そして、そのデータ照合プログラムを計算機で読み取り自在な情報記録媒体に格納して、計算機に読み込ませることによって、計算機上において第２の実施の形態で示したデータ照合処理を実行するようにしてもよい。
例えば、コンピュータに、状態別に分けられたデータによる学習を用いた変換によって、所定の状態のデータを所定の状態とは別の状態のデータに変化させた状態変化データを作成する処理と、作成した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する処理とを実行させるためのデータ照合プログラムを計算機に読み込ませることによって、データ照合処理を実行するようにしてもよい。

Claims (14)

  1. 物体が取る複数の状態のそれぞれに対して前記物体の測定量を所定の方法によって構成成分に分解し、前記複数の状態の各々に対して得られた前記構成成分を前記複数の状態の各々と対応づけて状態別データベースに蓄積する構成成分蓄積ステップと、
    照合対象物体が取る前記複数の状態のうちの第１状態を入力する入力ステップと、
    前記照合対象物体の測定量を前記第１状態に対応する前記状態別データベースに蓄積された前記構成成分により分解したときの前記構成成分の各々に係るパラメータである照合対象物体パラメータを算出する成分分解ステップと、
    予め蓄積した学習用対象物体の前記第１状態におけるデータと前記第１状態と異なる第２状態におけるデータとを用いて、前記学習用対象物体の前記第１状態における前記構成成分の各々に係る前記パラメータを前記第２状態における前記構成成分の各々に係る前記パラメータに変換する変換則を予め計算して蓄積するパラメータ変換則蓄積ステップと、
    前記照合対象物体の前記第１状態における前記構成成分の各々に係る前記パラメータを、前記変換則を用いて前記複数の状態のうちの前記第１状態とは異なる第２状態における前記構成成分の各々に係る変換後パラメータに変換するパラメータ変換ステップと、
    前記構成成分蓄積ステップにおいて蓄積され前記第２状態に対応する前記構成成分と前記変換後パラメータとを用いて、前記照合対象物体の測定量に前記第１状態から前記第２状態への状態変化を与えた状態変化データを作成する状態変化データ作成ステップと、
    前記状態変化データと予め蓄積された照合データとを照合する照合ステップ
    とを具備するデータ照合方法。
  2. 前記所定の方法は主成分分析である
    請求項１に記載のデータ照合方法。
  3. 物体が取る複数の状態のそれぞれに対して前記物体の測定量を所定の方法によって構成成分に分解し、前記複数の状態の各々に対して得られた前記構成成分を前記複数の状態の各々と対応づけて状態別データベースに蓄積する構成成分蓄積ステップと、
    照合対象物体が取る前記複数の状態のうちの第１状態を入力する入力ステップと、
    予め蓄積した複数の学習用対象物体の第１状態におけるデータと第２状態におけるデータとを用いて、前記第１状態における前記構成成分の各々に係るパラメータと前記第２状態における前記構成成分の各々に係るパラメータとを学習によって結びつける結合ステップと、
    前記第１状態における前記照合対象物体の測定量に対して前記学習を用いた変換により前記第２状態におけるデータである状態変化データを作成する状態変化データ作成ステップと、
    前記状態変化データと予め蓄積された照合データとを照合する照合ステップ
    とを具備するデータ照合方法。
  4. 前記照合対象の物体のデータは人物のバイオメトリクスデータである
    請求項１乃至３のいずれかに記載のデータ照合方法。
  5. 前記複数の状態の各々は、経年変化における異なった時点の状態に対応する
    請求項１乃至４のいずれかに記載のデータ照合方法。
  6. 前記物体の測定量は顔の画像である
    請求項１乃至５のいずれかに記載のデータ照合方法。
  7. 物体が取る複数の状態のそれぞれに対して前記物体の測定量を所定の方法によって構成成分に分解し、前記複数の状態の各々に対して得られた前記構成成分を前記複数の状態の各々と対応づけて状態別データベースに蓄積する構成成分蓄積部と、
    照合対象物体が取る前記複数の状態のうちの第１状態を入力する入力部と、
    前記照合対象物体の測定量を前記第１状態に対応する前記状態別データベースに蓄積された前記構成成分により分解したときの前記構成成分の各々に係るパラメータである照合対象物体パラメータを算出する成分分解部と、
    予め蓄積した学習用対象物体の前記第１状態におけるデータと前記第１状態と異なる第 ２状態におけるデータとを用いて、前記学習用対象物体の前記第１状態における前記構成成分の各々に係る前記パラメータを前記第２状態における前記構成成分の各々に係る前記パラメータに変換する変換則を予め計算して蓄積し、前記照合対象物体の前記第１状態における前記構成成分の各々に係る前記パラメータを、前記変換則を用いて前記複数の状態のうちの前記第１状態とは異なる第２状態における前記構成成分の各々に係る変換後パラメータに変換するパラメータ変換部と、
    前記構成成分蓄積部において蓄積され前記第２状態に対応する前記構成成分と前記変換後パラメータとを用いて、前記照合対象物体の測定量に前記第１状態から前記第２状態への状態変化を与えた状態変化データを作成する状態変化データ作成部と、
    前記状態変化データと予め蓄積された照合データとを照合する照合部
    とを具備するデータ照合装置。
  8. 前記所定の方法は主成分分析である
    請求項７に記載のデータ照合装置。
  9. 物体が取る複数の状態のそれぞれに対して前記物体の測定量を所定の方法によって構成成分に分解し、前記複数の状態の各々に対して得られた前記構成成分を前記複数の状態の各々と対応づけて状態別データベースに蓄積する構成成分蓄積部と、
    照合対象物体が取る前記複数の状態のうちの第１状態を入力する入力部と、
    予め蓄積した複数の学習用対象物体の第１状態におけるデータと第２状態におけるデータとを用いて、前記第１状態における前記構成成分の各々に係るパラメータと前記第２状態における前記構成成分の各々に係るパラメータとを学習によって結びつける結合部と、
    前記第１状態における前記照合対象物体の測定量に対して前記学習を用いた変換により前記第２状態におけるデータである状態変化データを作成する状態変化データ作成部と、
    前記状態変化データと予め蓄積された照合データとを照合する照合部
    とを具備するデータ照合装置。
  10. 前記照合対象の物体のデータは人物のバイオメトリクスデータである
    請求項７乃至９のいずれかに記載のデータ照合装置。
  11. 前記複数の状態の各々は、経年変化における異なった時点の状態に対応する
    請求項７乃至１０のいずれかに記載のデータ照合装置。
  12. 前記物体の測定量は顔の画像である
    請求項７乃至１１のいずれかに記載のデータ照合装置。
  13. 物体が取る複数の状態のそれぞれに対して前記物体の測定量を所定の方法によって構成成分に分解し、前記複数の状態の各々に対して得られた前記構成成分を前記複数の状態の各々と対応づけて状態別データベースに蓄積する構成成分蓄積ステップと、
    照合対象物体が取る前記複数の状態のうちの第１状態を入力するステップと、
    前記照合対象物体の測定量を前記第１状態に対応する前記状態別データベースに蓄積された前記構成成分により分解したときの前記構成成分の各々に係るパラメータである照合対象物体パラメータを算出する成分分解ステップと、
    予め蓄積した学習用対象物体の前記第１状態におけるデータと前記第１状態と異なる第２状態におけるデータとを用いて、前記学習用対象物体の前記第１状態における前記構成成分の各々に係る前記パラメータを前記第２状態における前記構成成分の各々に係る前記パラメータに変換する変換則を予め計算して蓄積するパラメータ変換則蓄積ステップと、
    前記照合対象物体の前記第１状態における前記構成成分の各々に係る前記パラメータを、前記変換則を用いて前記複数の状態のうちの前記第１状態とは異なる第２状態における前記構成成分の各々に係る変換後パラメータに変換するパラメータ変換ステップと、
    前記構成成分蓄積ステップにおいて蓄積され前記第２状態に対応する前記構成成分と前記変換後パラメータとを用いて、前記照合対象物体の測定量に前記第１状態から前記第２状態への状態変化を与えた状態変化データを作成する状態変化データ作成ステップと、
    前記状態変化データと予め蓄積された照合データとを照合する照合ステップ
    とを具備する方法をコンピュータに実行させるためのデータ照合プログラム。
  14. 物体が取る複数の状態のそれぞれに対して前記物体の測定量を所定の方法によって構成成分に分解し、前記複数の状態の各々に対して得られた前記構成成分を前記複数の状態の各々と対応づけて状態別データベースに蓄積する構成成分蓄積ステップと、
    照合対象物体が取る前記複数の状態のうちの第１状態を入力する入力ステップと、
    予め蓄積した複数の学習用対象物体の第１状態におけるデータと第２状態におけるデータとを用いて、前記第１状態における前記構成成分の各々に係るパラメータと前記第２状態における前記構成成分の各々に係るパラメータとを学習によって結びつける結合ステップと、
    前記第１状態における前記照合対象物体の測定量に対して前記学習を用いた変換により前記第２状態におけるデータである状態変化データを作成する状態変化データ作成ステップと、
    前記状態変化データと予め蓄積された照合データとを照合する照合ステップ
    とを具備する方法をコンピュータに実行させるためのデータ照合プログラム。
JP2006524549A 2004-07-15 2005-07-13 データ照合方法、データ照合装置及びデータ照合プログラム Active JP4029413B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004208603 2004-07-15
JP2004208603 2004-07-15
PCT/JP2005/012952 WO2006009043A1 (ja) 2004-07-15 2005-07-13 データ照合方法、データ照合装置及びデータ照合プログラム

Publications (2)

Publication Number Publication Date
JP4029413B2 true JP4029413B2 (ja) 2008-01-09
JPWO2006009043A1 JPWO2006009043A1 (ja) 2008-05-01

Family

ID=35785157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006524549A Active JP4029413B2 (ja) 2004-07-15 2005-07-13 データ照合方法、データ照合装置及びデータ照合プログラム

Country Status (6)

Country Link
US (1) US20080247639A1 (ja)
EP (1) EP1768064A4 (ja)
JP (1) JP4029413B2 (ja)
KR (1) KR100845634B1 (ja)
CN (1) CN100437641C (ja)
WO (1) WO2006009043A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742193B2 (ja) 2009-04-28 2011-08-10 Ｎｅｃソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
US9886945B1 (en) * 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422961A (en) * 1992-04-03 1995-06-06 At&T Corp. Apparatus and method for improving recognition of patterns by prototype transformation
JP2000113197A (ja) * 1998-10-02 2000-04-21 Victor Co Of Japan Ltd 個人識別装置
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
JP2000357221A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
US6937744B1 (en) * 2000-06-13 2005-08-30 Microsoft Corporation System and process for bootstrap initialization of nonparametric color models
DE60239930D1 (de) * 2001-04-25 2011-06-16 Panasonic Corp Videoanzeigevorrichtung und videoanzeigeverfahren

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11455864B2 (en) 2018-07-25 2022-09-27 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Also Published As

Publication number Publication date
CN100437641C (zh) 2008-11-26
CN1842823A (zh) 2006-10-04
EP1768064A4 (en) 2008-01-02
US20080247639A1 (en) 2008-10-09
EP1768064A8 (en) 2007-06-20
KR100845634B1 (ko) 2008-07-10
WO2006009043A1 (ja) 2006-01-26
KR20060054477A (ko) 2006-05-22
EP1768064A1 (en) 2007-03-28
JPWO2006009043A1 (ja) 2008-05-01

Similar Documents

Publication Publication Date Title
JP7317050B2 (ja) 異なるデータモダリティの統計モデルを統合するためのシステムおよび方法
US6876755B1 (en) Face sub-space determination
JP4721052B2 (ja) 特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラム
JP2000081894A (ja) 音声評価方法
CN111126233B (zh) 基于距离值的通话通道构建方法、装置和计算机设备
CN113723288B (zh) 基于多模态混合模型的业务数据处理方法及装置
JP4029413B2 (ja) データ照合方法、データ照合装置及びデータ照合プログラム
WO2021003813A1 (zh) 基于神经网络模型的答案生成方法及相关设备
Coviello et al. The variational hierarchical EM algorithm for clustering hidden Markov models
CN111161880B (zh) 基于分类模型的医疗信息分类方法、装置和计算机设备
CN113609388A (zh) 基于反事实用户行为序列生成的序列推荐方法
EP2115737B1 (en) Method and system to improve automated emotional recognition
CN112464786A (zh) 一种视频的检测方法及装置
CN111626346A (zh) 数据分类方法、设备、存储介质及装置
JP2021021978A (ja) 情報処理装置及びプログラム
CN111950592B (zh) 一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法
CN112084944A (zh) 一种动态演化表情的识别方法与系统
JP2020139914A (ja) 物質構造分析装置、方法及びプログラム
US20240013357A1 (en) Recognition system, recognition method, program, learning method, trained model, distillation model and training data set generation method
JPWO2006030687A1 (ja) データ照合システム、データ照合装置、及びデータ照合方法
CN112949307A (zh) 预测语句实体的方法、装置和计算机设备
CN105740885A (zh) 基于多核鉴别线性表示的分类方法
KR20210107261A (ko) 잠재 벡터를 이용하여 군집화를 수행하는 방법 및 장치
KR20200092469A (ko) 명시적 메모리 사용 신경망 기반의 패션 코디네이션 지식 제공 장치 및 방법
CN117520209B (zh) 代码评审方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071004

R150 Certificate of patent or registration of utility model

Ref document number: 4029413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111026

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131026

Year of fee payment: 6