JPWO2006030687A1 - データ照合システム、データ照合装置、及びデータ照合方法 - Google Patents

データ照合システム、データ照合装置、及びデータ照合方法 Download PDF

Info

Publication number
JPWO2006030687A1
JPWO2006030687A1 JP2006535811A JP2006535811A JPWO2006030687A1 JP WO2006030687 A1 JPWO2006030687 A1 JP WO2006030687A1 JP 2006535811 A JP2006535811 A JP 2006535811A JP 2006535811 A JP2006535811 A JP 2006535811A JP WO2006030687 A1 JPWO2006030687 A1 JP WO2006030687A1
Authority
JP
Japan
Prior art keywords
data
state
collation
state information
state change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006535811A
Other languages
English (en)
Inventor
丸亀　敦
敦 丸亀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2006030687A1 publication Critical patent/JPWO2006030687A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

照合の対象物のデータを入力データ１０１として取得する取得装置２０と、登録装置３０から入力される物体のオリジナルデータ１０２Ａと前記物体の状態を示す状態情報１０２Ａとを関連付けて保持し、オリジナルデータ１０１Ａを基に、別の状態を示す状態情報１０２Ｂに対応する状態変化データ１０６を作成するデータ照合装置１０とを備え、データ照合装置１０は、入力データ１０１と状態変化データ１０６とを照合し、照合結果データ１０８を照合結果出力装置４０に送信し、照合結果を出力する。

Description

本発明は、データ照合システム、データ照合装置、及びデータ照合方法に関し、特に状態変化を生じる照合対象を照合するためのデータ照合システム、データ照合装置、及びデータ照合方法に関する。
人物の顔や声のようなバイオメトリクス情報に代表される状態変化が生ずるものに関するデータは、状態の変化により特徴の生成消滅が生じる。例えば、人物の顔では、加齢により若年時の特徴が失せ加齢時の特徴が現たり、感情によりある特徴が目立たなくなり別の特徴が目立つようになる。そのため、ある状態のデータは、同一物体のデータであっても別の状態のデータと異なり、照合時の障害になることがある。
照合用のデータとして同一人物のデータを状態別に取得して、状態対応データベースを作ることは通常困難である。そのため、状態変化への対策としては、データベース内のある状態のデータからその物体の別状態の推定データを作成することが考えられる。ある時点のデータから状態変化後のデータを作成する方法として、データが顔画像で状態変化が経年変化の場合、例えば、若年時の顔に皺などの加齢時の特徴をＣＧで書き込んで加齢時の顔画像を作成する方法がある。
米国特許第６５５６１９６号に、顔画像の場合の方法が開示されている。この方法では、３Ｄモデルを用いて経年特徴や表情特徴の付加を洗練化し、不明確な特徴の付加を実施している。この方法では、３Ｄの顔データベースから変形可能な顔の一般的なモデルを作り、入力顔画像をこのモデルに貼り付け、状態変化を含めた特徴変化をモデラーにより変形している。
経年変化や表情変化で起こる特徴変化は必ずしも作成手順が確立しているとは限ららない。確立していない場合、現実にあるものを人が模倣する必要がある。このため、特徴付加によって状態変化データを作成し照合する方式では、手動もしくはそれに近い労力を要する半自動処理を行なう必要が生じる。又、局所的で比較的明確な特徴とは異なり、書き込みのような形で付加すること自体が困難であるため、直感的に把握しにくい大域の状態変化への対応は困難である。
米国特許第６５５６１９６号に開示されている方法では、状態特徴はあらかじめ用意された状態変化の特徴（例えば皺の発生位置）を用いるため、誰であろうと同じところに同じ状態変化特徴が生じる（同じ位置に皺が発生する）。又、その状態変化特徴（雛形）が照合の対象顔に適した状態特徴かはどうかは想定されていない。
関連する技術として特開２００３−４４８５８号公報に個人認証装置および方法が開示されている。この個人認証装置は、生体情報１入力手段と、生体情報１信頼度決定手段と、生体情報１照合手段と、生体情報２入力手段と、生体情報２信頼度決定手段と、生体情報２照合手段と、複合判定手段とを備える。生体情報１入力手段は、第１の生体情報を取得する。生体情報１信頼度決定手段は、前記生体情報１入力手段によって取得された第１の生体情報と前記第１の生体情報の入力環境情報とに基づいて前記第１の生体情報の信頼度を決定する。生体情報１照合手段は、前記生体情報１入力手段によって取得された第１の生体情報と前記第１の生体情報を含む情報が予め登録された生体情報１登録データとを照合する。生体情報２入力手段は、第２の生体情報を取得する。生体情報２信頼度決定手段は、前記生体情報２入力手段によって取得された第２の生体情報と前記第２の生体情報の入力環境情報とに基づいて前記第２の生体情報の信頼度を決定する。生体情報２照合手段は、前記生体情報２入力手段によって取得された第２の生体情報と前記第２の生体情報を含む情報が予め登録された生体情報２登録データとを照合する。複合判定手段は、前記生体情報１信頼度決定手段によって決定された信頼度、前記生体情報２信頼度決定手段によって決定された信頼度、前記生体情報１照合手段による照合結果、および前記生体情報２照合手段による照合結果に基づいて本人か否かの判定である本人判定を行う。
特開平１０−１７１９８８号公報にパターン認識・照合装置が開示されている。このパターン認識・照合装置は、モデルパターン入力手段と、入力パターン入力手段と、モデルベクトル共分散入力手段と、モデル−入力変動共分散入力手段と、共分散加重平均生成手段と、第１の対角化手段と、第２の対角化手段と、特徴抽出手段と、判定手段とを具備する。モデルパターン入力手段は、モデルパターンＭ（モデルべクトルとも呼ぶ）を入力する。入力パターン入力手段は、認識対象の入力パターンＩ（入力ベクトルとも呼ぶ）を入力する。モデルベクトル共分散入力手段は、モデルベクトルの共分散行列Ｃｍを入力する。
モデル−入力変動共分散入力手段は、個々のモデルパターンから対応する入力パターンへの変動の共分散行列Ｃｐを予め学習させ入力する。共分散加重平均生成手段は、前記モデルベクトル共分散入力手段から入力されたモデルベクトル共分散行列と前記モデル−入力変動共分散入力手段から入力されたモデル−入力変動共分散行列との加重平均を、
Ｃｓ≡αＣｍ＋（１−α）Ｃｐ （αは０＜α＜１の実数） ・・・（１）
に従ってとり、新たに行列Ｃｓを生成する。第１の対角化手段は、前記共分散加重平均生成手段の出力の行列Ｃｓを、
Ｃｓ＝（ＡＱ１／２）（Ｑ１／２ＡＴ） ・・・（２）
（ＡはＣｓの正規化固有ベクトル行列、Ｑは対応する固有値よりなる対角行列、Ｑ１／２はＱの平方根行列、ＡＴはＡの転置行列）のようにスペクトル分解し、これより行列Ｄ≡Ｑ−１／２ＡＴ、（Ｑ−１／２は行列Ｑの平方根行列の逆行列）を得る。第２の対角化手段は、モデルパターン共分散行列Ｃｍを行列Ｄによって変換した行列ＤＣｍＤＴを、
ＤＣｍＤＴ＝ＢＰＢＴ ・・・（３）
（ＢはＤＣｍＤＴの正規化固有ベクトル行列、Ｐは対応する固有値よりなる対角行列）のようにスペクトル分解し、行列Ｂを得る。特徴抽出手段は、前記第１及び第２の対角化手段の出力Ｑ−１／２ＡＴ、Ｂを用いて、
Ｈ≡ＷＢＴＱ−１／２ＡＴ ・・・（４）
（Ｗ≡ｄｉａｇ（α１，α２，・・・αｎ）、（αｉは適当な非負の数））に従って行列Ｈを生成・保持し、認識のランタイムにモデルパターンＭと入力パターンＩから、
Ｍ’≡ＨＭ、Ｉ’≡ＨＩ ・・・（５）
に従ってそれぞれの特徴ベクトルＭ’、Ｉ’を抽出する。判定手段は、前記特徴抽出手段が抽出した入力パターンＩの特徴ベクトルＩ’とモデルパターンＭの特徴ベクトルＭ’との距離、
‖Ｍ’−Ｉ’‖ （‖＊‖はユークリッド距離） ・・・（６）
が最も小さい特徴ベクトルを有するモデルパターンを見い出し、これによって入力パターンがどのモデルに対応するかを判定（認識）する。
本発明の目的は、状態変化を生じる物体の情報を精度良く照合するデータ照合システム、データ照合装置、及びデータ照合方法を提供することにある。
本発明の他の目的は、照合時の作業者の負担を軽減するデータ照合システム、データ照合装置、及びデータ照合方法を提供することにある。
上記課題を解決するために本発明のデータ照合装置は、オリジナルデータ蓄積部と、状態変化データ作成部と、照合部とを具備する。オリジナルデータ蓄積部は、物体のオリジナルデータと、その物体の状態を表す第１の状態情報とを関連付けて保持する。状態変化データ作成部は、そのオリジナルデータに基づいて、複数のその物体の別の状態を表す複数の第２の状態情報に関連付けられる複数の状態変化データを作成する。照合部は、入力される照合の対象物のデータである入力データとその複数の状態変化データの各々とを比較し、その複数の状態変化データのうちその入力データとの差分が最小である状態変化データを抽出する。
上記のデータ照合装置において、その複数の状態変化データを記憶する状態変化データ蓄積部を更に具備する。そのオリジナルデータとその複数の状態変化データは、複数の照合データとしてその照合部に送信される。その照合部は、その入力データとその複数の照合データの各々とを比較し、その入力データとの差分が最小である照合データを抽出する。
上記のデータ照合装置において、その照合部は、その抽出を、その差分が最小である場合に加えて、その差分が閾値以下である場合に行う。
上記のデータ照合装置において、その状態変化データ作成部は、状態変化演算装置と状態別バッファとを備える。状態変化演算装置は、その第１の状態情報及びその複数の第２の状態情報の各々別に分けられたデータで学習したニューラルネットワークを用いて、その第１の状態情報に対応するそのオリジナルデータからその複数の第２の状態情報に対応するその複数の状態変化データを作成する。状態別バッファは、各々がその複数の状態変化データのうちの対応する状態変化データを記憶する。
上記のデータ照合装置において、複数の状態別構成成分データバッファと、成分分析部と、成分変換部とを更に具備する。複数の状態別構成成分データバッファは、その第１の状態情報及びその複数の第２の状態情報の各々としての第３の状態情報を示す状態ラベルとその第３の状態情報に対応する構成成分データとを保持し、その第１の状態情報及びその複数の第２の状態情報の各々ごとに設けられている。成分分析部は、その複数の状態別構成成分データバッファのうちその第１の状態情報に一致する状態ラベルを持つ状態別構成成分データバッファからその構成成分データを抽出し、その構成成分データに基づいてそのオリジナルデータを分析し、その第１の状態情報に対応する第１の分析結果データを出力する。成分変換部は、その第１の分析結果データに基づいて、その複数の第２の状態情報に対応する複数の第２の分析結果データに変換する。その状態変化データ作成部は、その複数の第２の分析結果データと、その複数の状態別構成成分データバッファのうちその複数の第２の状態情報に一致する状態ラベルを持つ複数の状態別構成成分データバッファの複数の構成成分データとに基づいて、その複数の状態変化データを作成する状態変化演算装置を備える。
上記のデータ照合装置において、その入力データ及びそのオリジナルデータは、バイオメトリクスデータである。
上記のデータ照合装置において、その第１の状態情報及びその複数の第２の状態情報は、その物体の経年変化に対応する状態の情報である。
上記のデータ照合装置において、その対象物及びその物体は人物の顔である。その入力データ及びそのオリジナルデータは顔画像データである。その第１の状態情報及びその複数の第２の状態情報は、その顔の表情を表す情報である。
上記課題を解決するために本発明のデータ照合システムは、照合の対象物のデータを入力データとして取得する取得装置と、物体のオリジナルデータとその入力データとを照合するデータ照合装置とを具備する。そのデータ照合装置は、オリジナルデータ蓄積部と、状態変化データ作成部と、照合部とを備える。オリジナルデータ蓄積部は、そのオリジナルデータと、その物体の状態を表す第１の状態情報とを関連付けて保持する。状態変化データ作成部は、そのオリジナルデータに基づいて、複数のその物体の別の状態を表す複数の第２の状態情報に関連付けられる複数の状態変化データを作成する。照合部は、その入力データとその複数の状態変化データの各々とを比較し、その複数の状態変化データのうちその入力データとの差分が最小である状態変化データを抽出する。
上記のデータ照合システムにおいて、そのデータ照合装置は、その複数の状態変化データを記憶する状態変化データ蓄積部を更に備える。そのオリジナルデータとその複数の状態変化データは、複数の照合データとしてその照合部に送信される。その照合部は、その入力データとその複数の照合データの各々とを比較し、その入力データとの差分が最小である照合データを抽出する。
上記のデータ照合システムにおいて、その照合部は、その抽出を、その差分が最小である場合に加えて、その差分が閾値以下である場合に行う。
上記のデータ照合システムにおいて、その状態変化データ作成部は、状態変化演算装置と、状態別バッファとを含む。状態変化演算装置は、その第１の状態情報及びその複数の第２の状態情報で学習したニューラルネットワークを用いて、その第１の状態情報に対応するそのオリジナルデータからその複数の第２の状態情報に対応するその複数の状態変化データを作成する。状態別バッファは、各々がその複数の状態変化データのうちの対応する状態変化データを記憶する。
上記のデータ照合システムにおいて、
そのデータ照合装置は、複数の状態別構成成分データバッファと、成分分析部と、成分変換部とを更に備える。複数の状態別構成成分データバッファは、その第１の状態情報及びその複数の第２の状態情報の各々としての第３の状態情報を示す状態ラベルとその第３の状態情報に対応する構成成分データとを保持し、その第１の状態情報及びその複数の第２の状態情報の各々ごとに設けられている。成分分析部は、その複数の状態別構成成分データバッファのうちその第１の状態情報に一致する状態ラベルを持つ状態別構成成分データバッファからその構成成分データを抽出し、その構成成分データに基づいてそのオリジナルデータを分析し、その第１の状態情報に対応する第１の分析結果データを出力する。成分変換部は、その第１の分析結果データに基づいて、その複数の第２の状態情報に対応する複数の第２の分析結果データに変換する。その状態変化データ作成部は、その複数の第２の分析結果データと、その複数の状態別構成成分データバッファのうちその複数の第２の状態情報に一致する状態ラベルを持つ状態別構成成分データバッファのその構成成分データとに基づいて、その複数の状態変化データを作成する状態変化演算装置を含む。
上記のデータ照合システムにおいて、その入力データ及びそのオリジナルデータは、バイオメトリクスデータである。
上記のデータ照合装置において、その第１の状態情報及びその複数の第２の状態情報は、その物体の経年変化に対応する状態の情報である。
上記のデータ照合システムにおいて、その対象物及びその物体は人物の顔である。その入力データ及びそのオリジナルデータは顔画像データである。その第１の状態情報及びその複数の第２の状態情報は、その顔の表情を表す情報である。
上記のデータ照合システムにおいて、そのオリジナルデータをその物体から読み取り、その第１の状態情報と関連付けてそのデータ照合装置に入力する登録装置を更に具備する。
上記のデータ照合システムにおいて、そのデータ照合装置から出力されたその照合結果データに基づいて、照合結果を出力する照合結果出力装置を更に具備する。
上記課題を解決するために本発明のデータの照合方法は、（ａ）物体のオリジナルデータをその物体の状態を表す第１の状態情報とともに取得するステップと、（ｂ）そのオリジナルデータに基づいて、複数のその物体の別の状態を表す複数の第２の状態情報に関連付けられる複数の状態変化データを作成するステップと、（ｃ）照合の対象物のデータである入力データとその複数の状態変化データの各々とを照合するステップと、（ｄ）その照合の結果を出力するステップとを具備する。
上記のデータの照合方法において、その（ｃ）ステップは、（ｃ１）そのオリジナルデータ及びその複数の状態変化データを複数の照合データとして、その入力データとその複数の照合データの各々とを照合するステップを備える。
上記のデータの照合方法において、その（ｂ）ステップは、（ｂ１）その第１の状態情報及びその複数の第２の状態情報の各々別に分けられたデータで学習した変換方法により、そのオリジナルデータからその複数の状態変化データを作成するステップを更に備える。
上記のデータの照合方法において、その（ｂ）ステップは、（ｂ２）そのオリジナルデータをその第１の状態情報に対応する構成成分データに分解し、第１の分析結果データを作成するステップと、（ｂ３）その第１の分析結果データとその複数の第２の状態情報に対応する複数の構成成分データとに基づいて、その複数の状態変化データを作成するステップを更に備える。
上記課題を解決するために本発明のるコンピュータプログラム製品は、コンピュータ上で使用したときに、上記各項のいずれかに記載されたデータの照合方法の全てのステップを実行するプログラムコード手段を有する。
上記課題を解決するために本発明のるコンピュータプログラム製品は、コンピュータにより読み取り可能な記憶手段に記憶された、上記各項のいずれかに記載されたデータの照合方法の全てのステップを実行するプログラムコード手段を有する。
本発明のデータ照合システム、データ照合装置、及びデータ照合方法によれば、状態変化を生じる物体の情報を精度良く照合することができる。又、照合時の作業者の負担を軽減することができる。
図１は、本発明のデータ照合システムにおける第１の実施の形態の構成を示すブロック図である。 図２Ａは、本発明のデータ照合システムの第１の実施の形態における照合部１１の構成を示すブロック図である。 図２Ｂは、本発明のデータ照合システムの第２の実施の形態における照合部１１の構成を示すブロック図である。 図３は、本発明のデータ照合システムの第１の実施の形態における状態変化データ作成部１４の構成を示すブロック図である。 図４は、本発明によるデータ照合システムの第１の実施の形態における動作を示すフロー図である。 図５は、本発明によるデータ照合システムの第２の実施の形態における構成を示すブロック図である。 図６は、本発明によるデータ照合システムの第２の実施の形態における動作を示すフロー図である。 図７は、本発明によるデータ照合システムの第３の実施の形態における構成を示すブロック図である。 図８は、本発明のデータ照合システムの第３の実施の形態における成分分析部１３の構成を示すブロック図である。 図９は、本発明のデータ照合システムの第３の実施の形態における状態変化データ作成部１４’の構成を示すブロック図である。 図１０は、本発明のデータ照合システムの第３の実施の形態における成分変換部１５の構成を示すブロック図である。 図１１は、本発明によるデータ照合システムの第３の実施の形態における動作を示すフロー図である。 図１２は、本発明によるデータ照合システムの第４の実施の形態における構成を示すブロック図である。 図１３は、本発明のデータ照合システムの第４の実施の形態における状態変化データ作成部１４”の構成を示すブロック図である。 図１４は、本発明によるデータ照合システムの第４の実施の形態における動作を示すフロー図である。
以下、添付図面を参照して、本発明によるデータ照合システムの実施の形態を説明する。
本発明によるデータ照合システムは、状態変化を起こす対象に対する照合を実施するシステムである。データ照合システムは、例えば、セキュリティシステムでの本人識別、犯罪捜査や学術調査時の照合等に用いられる。本実施の形態では、経年変化を起こす人物の顔画像、あるいは、音声情報等による照合を一例に説明する。尚、照合に用いられる入力データ１０１やデータ照合装置１０に登録されるオリジナルデータ１０２Ａは、顔、指紋等の人体の部位の画像、声の音声などの一次元のデータ、顔形状などの三次元データ等のバイオメトリクスデータ、植物や人間以外の動物のデータ、生物と同様に個別の特性を持ちながら状態変化をする人工物に関するデータでも良い。又、状態変化を起こす状態情報１０２Ｂとしては経年変化の情報である年齢の他、顔の表情変化情報や、体調不良による音声情報等でも構わない。
（第１の実施の形態）
図１から図４を参照して本発明によるデータ照合システムの第１の実施の形態を説明する。
図１は、本発明のデータ照合システムにおける第１の実施の形態の構成を示すブロック図である。本発明によるデータ照合システムは、データ照合装置１０と、取得装置２０と、登録装置３０と、照合結果出力装置４０とを備え、それぞれの装置はデータ照合装置１０に接続されている。
事前に登録装置３０に入力される、照合の対象となる人物の顔画像や音声情報等のデータは、オリジナルデータ１０２Ａとしてデータ照合装置１０に登録される。データ照合装置１０は、登録されたオリジナルデータ１０２Ａに付随する状態情報１０２Ｂに基づいて、オリジナルデータ１０２Ａを状態変化データ１０６に変換する。この際、状態情報１０２Ｂとは、照合の対象となる人物の状態変化に起因する状態の情報である（例えば、経年変化の場合は年齢情報）。データ照合装置１０は、取得装置２０で読み取られる顔画像等の入力データ１０１と、オリジナルデータ１０２Ａや状態変化データ１０６である照合データ１０７との照合を行なう。照合の結果は、照合結果データ１０８として照合結果出力装置４０に送信される。照合出力装置４０は、照合結果データ１０８に基づき照合結果を表示する。
取得装置２０は、顔画像を読み取るスキャナ、あるいは、音声情報を取得するレコーダを備える。取得装置２０は、取得した顔画像や音声情報から顔や音声の特徴部分を検出し、入力データ１０１としてデータ照合装置１０に送信する。取得装置２０に用いられるスキャナは、読み込むデータが画像であれば、２Ｄあるいは３Ｄスキャナである。取得装置２０に用いられるレコーダは、音声情報をコンピュータで利用できるデータに変更できる。読み込む各種データの圧縮形式は、限定しない。
登録装置３０は、顔画像を読み取るスキャナ、あるいは、音声情報を取得するレコーダを備える。登録装置３０は、取得した顔画像や音声情報から顔や音声の特徴部分を検出する処理を施し、オリジナルデータ１０２Ａを作成する。この際、キーボード等の入力装置を用いて登録日時や照合の対象となる人物の年齢や体調等のデータを状態情報１０２Ｂとして入力する。作成されるオリジナルデータ１０２Ａと、作成時に入力される状態情報１０２Ｂは関連付けられて、状態情報付オリジナルデータ１０２としてデータ照合装置１０に送信される。
データ照合装置１０は、ワークステーションやパーソナルコンピュータに例示される情報処理装置である。データ照合装置１０は、照合部１１と、照合データ蓄積部１２と、状態変化データ作成部１４とを備える。照合部１１及び状態変化データ作成部１４は、それぞれ照合データ蓄積部１２に接続されている。尚、照合データ蓄積部１２及び状態変化データ作成部１４は、遠隔地に置かれ、通信回線あるいはネットワークによって照合部１１と接続されていてもよい。
照合部１１は、通信回線あるいはネットワーク等を介し取得装置２０に接続されている。照合部１１は、取得装置２０から入力される照合の対象となる入力データ１０１と、照合データ蓄積部１２から受信する照合データ１０７とを照合し、照合結果データを照合結果出力部４０に送信する。図２Ａは、本発明のデータ照合システムの第１の実施の形態における照合部１１の構成を示すブロック図である。照合部１１は、入力データバッファ１１１と、照合データバッファ１１２と、照合演算装置１１３とを備える。入力データバッファ１１１は、取得装置２０から受信する入力データ１０１を保持する。照合データバッファ１１２は、照合データ蓄積部１２から受信する照合データ１０７を保持する。照合演算装置１１３は、入力データバッファ１１１と照合データバッファ１１２に接続される。
照合演算装置１１３は、照合データバッファ１１２にある照合データ１０７を読み出す。そして、照合データ１０７と入力データバッファ１１１にある入力データ１０１とを比較し、照合結果データ１０８を照合結果出力部４０に出力する。照合演算装置１１３は、照合データ１０７と入力データ１０１との差分を取る。その差分が最も小さい時、その差分と設定された閾値とを比較する。差分が閾値以下である場合、本人と認定する照合結果データ１０８を照合結果出力装置４０に送信する。あるいは、照合データ１０７と入力データ１０１との差分を取る。そして、その差分が最も小さい照合データ１０７を抽出し、照合結果データ１０８として照合結果出力装置に送信する。尚、本発明では照合に使用する比較の方式は限定せず、入力データ１０１と照合データ１０７とを照合できれば上記方法に限定されない。又、照合演算装置１１３は、照合データバッファ１１２を介さずに直接照合データ蓄積部１２から、照合データ１０７を抽出し照合を実施しても構わない。
照合データ蓄積部１２は、メモリやディスク等のストレージ装置である。照合データ蓄積部１２は、オリジナルデータ蓄積部１２Ａと、状態変化データ記憶部１２Ｂとを備える。オリジナルデータ蓄積部１２Ａは、登録装置３０に接続され、登録装置３０から登録される状態情報付オリジナルデータ１０２を記憶する。状態変化データ記憶部１２Ｂは、状態変化データ作成部１４から受信する状態変化データ１０６を対応する状態情報１０２Ｂと関連付けて記憶する。
照合データ蓄積部１２は、登録装置３０から状態情報付オリジナルデータ１０２が入力されると、状態変化データ１０６を作成するため、その状態情報付オリジナルデータ１０２を状態変化データ作成部ヘ送信する。又、照合部１１からの指令により、保持しているオリジナルデータ１０２Ａや状態変化データ１０６を照合データ１０７として照合部１１に送信する。
図３は、本発明のデータ照合システムの第１の実施の形態における状態変化データ作成部１４の構成を示すブロック図である。状態変化データ作成部１４は、相互に接続される複数の状態別バッファ１４１−１から１４１−ｎと、複数の状態別バッファ１４１−１から１４１−ｎに接続される状態変化演算装置１４２とを備える。複数の状態別バッファ１４１−１から１４１−ｎの各々（以下、「状態別バッファ１４１」ともいう）は、メモリやディスク等のストレージ装置であり、状態変化演算装置１４２は、ＣＰＵ等の演算装置又はプログラムあるいは演算装置とプログラムの組合せである。
状態別バッファ１４１と状態変化演算装置１４２は、それぞれ照合データ蓄積部１２に接続されている。複数の状態別バッファ１４１−１から１４１−ｎの各々は、互いに異なる状態情報１０２Ｂに対応している（関連付けられている）。状態別バッファ１４１は、自身の状態情報１０２Ｂに対応する状態ラベルを持つ。状態変化演算装置１４２は、状態変化演算装置１４２と各状態別バッファ１４１と間において、同一人物の複数の状態の各々別に分類された複数のデータで学習済みのニューラルネットワークを形成している。
状態別バッファ１４１−ｉ（１≦ｉ≦ｎ、ｎは自然数）の状態ラベルに対応する状態情報１０２Ｂを持つ状態情報付オリジナルデータ１０２が、状態変化演算装置１４２に入力される場合を考える。この場合、状態変化演算装置１４２は、そのオリジナルデータ１０２Ａを状態別バッファ１４１−ｉに入力する。そして、そのオリジナルデータ１０２Ａからニューラルネットワークを用いて別の状態の状態変化データ１０６を作成する。ここで、「別の状態」は、そのオリジナルデータ１０２Ａに付属の状態情報１０２Ｂとは異なる状態情報１０２Ｂに対応する状態をいう。ここでは、複数の状態別バッファ１４１−１から１４１−ｎ（但し、状態別バッファ１４１−ｉを除く）に対応する状態情報１０２Ｂの状態である。したがって、別の状態の状態変化データ１０６として、「別の状態」に対応して、複数の状態変化データ１０６−１から１０６−ｎ（状態変化データ１０６−ｉを除く）が生成される。
作成された複数の状態変化データ１０６−１から１０６−ｎ（状態変化データ１０６−ｉを除く）の各々は、それぞれの状態情報１０２Ｂに対応する状態ラベルを持つ状態別バッファ１４１に入力される。すなわち、状態変化データ１０６−ｊ（１≦ｊ≦ｎ、ｉ≠ｊ、ｊは自然数）は、状態別バッファ１４１−ｊに入力される。複数の状態別バッファ１４１−１から１４１−ｎ（但し、状態別バッファ１４１−ｉを除く）は、それぞれの状態情報１０２Ｂと関連付けた複数の状態変化データ１０６−１から１０６−ｎ（状態変化データ１０６−ｉを除く）を照合データ蓄積部１２の状態変化データ蓄積部１２Ｂに送信する。
照合結果出力部４０は、パーソナルコンピュータに例示される情報処理装置である。照合結果出力部４０は、受信する照合結果データ１０８に基づき、照合結果を表示画面に表示する表示部を備える。照合結果データ１０８は、照合対象である人物がデータ照合装置１０に登録済みの人物であることを示す本人認証や、照合データ１０８である状態情報付オリジナルデータ１０２又は状態変化データ１０６（状態情報１０２Ｂも付随）である。照合結果出力部４０は、本人認証の有無に基づきゲートの開閉を行なう開閉装置や、施錠の開閉をする施錠装置を備えることもでき、照合結果データ１０８が本人認証であれば、この照合結果によって、施設の入退場を管理することができる。又、照合結果データ１０８が照合データ１０７である場合、データ照合装置１０の状態情報付オリジナルデータ１０２又は状態変化データ１０６によって、照合対象となる物体や人物の特定を行なうことができる。
なお、上記のオリジナルデータ１０２Ａ、状態情報付きオリジナルデータ１０２、そのオリジナルデータ１０２Ａに基づいて生成された状態変化データには、同一の認識番号を付加してある。したがって、認識番号からそのデータの元、及びその関連データ（図示されず）を取り出すことが出来る。関連データは、例えば、オリジナルデータ１０２Ａが顔画像であれば、その人物の情報に例示される。
次に、本発明によるデータ照合システムの第１の実施の形態における動作を説明する。図４は、本発明によるデータ照合システムの第１の実施の形態における動作を示すフロー図である。
照合用データ１０７を作成及び登録するため、照合を実施する前に登録装置３０により照合の対象となる人物の顔画像をスキャン（撮影）してデータ照合装置１０にオリジナルデータ１０２Ａとして入力する。この際、状態情報１０２Ｂ−ｉとして登録日時と人物の年齢を入力する。入力されたオリジナルデータ１０２Ａと状態情報１０２Ｂ−ｉは関連付けられて、状態情報付オリジナルデータ１０２として照合蓄積部１２のオリジナルデータ蓄積部１２Ａに蓄積される（ステップＳ２）。
オリジナルデータ蓄積部１２Ａの状態情報付オリジナルデータ１０２は、その状態情報１０２Ｂ−ｉに対応する状態ラベルを持つ状態別バッファ１４１（例えば、状態別バッファ１４１−ｉ）に入力される（ステップＳ４）。状態変化データ作成部１４の状態変化演算装置１４２は、状態別バッファ１４１−ｉに入力されたオリジナルデータ１０２Ａを、ニューラルネットワークを用いて変換し、複数の他の状態における複数の状態変化データ１０６−１から１０６−ｎを作成し、複数の状態別バッファ１４１−１から１４１−ｎ（状態別バッファ１４１−ｉは除く）のうち、それぞれの状態情報１０２Ｂに対応するものへ記録される（ステップＳ６）。すなわち、状態変化データ１０６−ｊは、状態別バッファ１４１−ｊに入力される。
この際、オリジナルデータ１０２Ａに付随する状態情報１０２Ｂ−ｉと、他の状態情報１０２Ｂ−ｊとの関係に基づいて、他の状態変化データ１０６への変化率や、変化領域等の変化パラメータが決定される。例えば、入力された状態情報１０２Ｂ−ｉが２５才を表す状態情報である場合、まず、２０才や５０才に対応する状態情報１０２Ｂ−ｊ１、１０２Ｂ−ｊ２との関係に基づき、２５才を基準に経年変化（若年変化も含む）する顔の変化を計算する。そして、その変化分をオリジナルデータ１０２Ａに付加して、各状態情報１０２Ｂ−ｊ１（２０才）、１０２Ｂ−ｊ２（５０才）における状態変化データ１０６−ｊ１、１０６−ｊ２を作成する。
複数の状態別バッファ１４１−１から１４１−ｎ（状態別バッファ１４１−ｉは除く）の各々の状態変化データ１０６は、対応する状態情報１０２Ｂと関連付けられて状態変化データ蓄積部１２Ｂへ送信され、蓄積される（ステップＳ８）。すなわち、複数の状態変化データ１０６−１から１０６−ｎ（状態変化データ１０６−ｉを除く）は、状態変化データ蓄積部１２Ｂに蓄積される。
同様にして、データ照合装置１０に複数の人物の顔画像の状態情報付オリジナルデータ１０２Ａと、状態変化データ１０６が照合用の照合データ１０７として蓄積される。
次に、取得装置２０が照合の対象となる人物の顔画像をスキャン（撮影）し、入力データ１０１としてデータ照合装置１０の照合部１１へ入力する（ステップＳ１０）。入力データ１０１が入力されると、照合部１１は照合データ蓄積部１２から照合データ１０７として状況情報付オリジナルデータ１０２や状態変化データ１０６を抽出し、照合演算装置１１３において比較処理を行ない、照合結果データ１０８を照合結果出力装置３０に送信する（ステップＳ１２）。照合では、入力データ１０１との差分が最小、且つ、設定している閾値を越えない照合データ１０６を本人であると認定する。尚、閾値を設けず、差分が最小の照合データを本人と認定しても構わない。この際、閾値を設けることで、データ照合装置１０に登録されている人物と照合対象である人物との精度の高い本人判定ができ、セキュリティチェック等の本人確認に使用することができる。又、閾値を設けない場合は、類似の照合データを本人として抽出するため、照合対象となる人物写真等からデータ照合装置１０に登録されている犯人の特定等に使用できる。
照合結果出力部３０は、受信する照合結果データ１０８に基づき、照合結果を表示画面に表示する。表示結果は、照合対象である人物が、データ照合装置１０に登録済みの人物であることを示す本人認証表示や、照合データ１０８である状態情報付オリジナルデータ１０２又は状態変化データ１０６（状況情報１０２Ｂも付随）を画像やテキストとして表示する（ステップＳ１４）。
以上のように、さまざまな状態情報１０２Ｂ−１から１０１Ｂ−ｎに対応する状態変化データ１０６−１からデータ１０６−ｎを作成して照合を行なうため、状態変化物体に対してある状態（状態情報１０２Ｂ−ｉ）の物体のオリジナルデータ１０２Ａのみで精度の高い照合を行なうことが可能となる。又、状態変化データ１０６を作成する方式は時間軸に関係なく処理が可能であるため、状態変化が経年変化の場合、加齢変化だけでなく、若くなる方向、いかなる経年変化に対しても精度の高い照合を行なうことを可能となる。
（第２の実施の形態）
図２Ｂ、図３、図５及び図６を参照して本発明によるデータ照合システムの第２の実施の形態を説明する。図５は、本発明によるデータ照合システムの第２の実施の形態における構成を示すブロック図である。
第２の実施の形態における本発明によるデータ照合システムは、データ照合装置１０と、取得装置２０と、登録装置３０と、照合結果出力装置４０とを備える。それぞれの装置はデータ照合装置１０に接続されている。
事前に登録装置３０に入力される、照合の対象となる人物の顔画像や音声情報等のデータは、オリジナルデータ１０２Ａとしてデータ照合装置１０に登録される。データ照合装置１０は、登録されたオリジナルデータ１０２Ａに付随する状態情報１０２Ｂに基づいて、オリジナルデータ１０２Ａを状態変化データ１０６に変換する。この際、状態情報１０２Ｂとは、照合の対象となる人物の状態変化に起因する状態の情報である。データ照合装置１０は、取得装置２０で読み取られる顔画像等の入力データ１０１と状態変化データ１０６との照合を行なう。照合の結果は、照合結果データ１０８として照合結果出力装置４０に送信され、照合出力装置４０は、照合結果データ１０８に基づき照合結果を表示する。
取得装置２０、登録装置３０、照合結果出力装置４０の構成は、第１の実施の形態と同じであるので説明を省略する。
データ照合装置１０は、ワークステーションやパーソナルコンピュータに例示される情報処理装置である。データ照合装置１０は、照合部１１と、オリジナルデータ蓄積部１２Ａ’と、状態変化データ作成部１４とを備える。照合部１１は状態変化データ作成部１４に接続されている。状態変化データ作成部１４はオリジナルデータ蓄積部１２Ａ’に接続されている。尚、オリジナルデータ蓄積部１２Ａ’、状態変化データ作成部１４は、遠隔地に置かれ、通信回線あるいはネットワークによって照合部１１と接続されていてもよい。
照合部１１は、通信回線あるいはネットワーク等を介し取得装置２０に接続されている。照合部１１は、取得装置２０から入力される照合の対象となる入力データ１０１と、状態変化データ作成部１４から受信する状態変化データ１０６とを照合し、照合結果データ１０８を照合結果出力部４０に送信する。図２Ｂは、本発明のデータ照合システムの第２の実施の形態における照合部１１の構成を示すブロック図である。照合部１１は、入力データバッファ１１１と、照合データバッファ１１２’と、照合演算装置１１３とを備える。入力データバッファ１１１は、取得装置２０から受信する入力データ１０１を保持する。照合データバッファ１１２’は、状態変化データ作成部１４から受信する状態変化データ１０６を保持する。照合演算装置１１３は、入力データバッファ１１１と照合データバッファ１１２’に接続される。
照合演算装置１１３は、照合データバッファ１１２’にある状態変化データからなる照合データ１０７’を読み出す。そして、照合データ１０７’と入力データバッファ１１１にある入力データ１０１とを比較し、照合結果データ１０８を照合結果出力部４０に出力する。照合演算装置１１３は、照合データ１０７’と入力データ１０１との差分を取る。その差分が最も小さい時、その差分と設定した閾値とを比較する。差分が閾値以下である場合、本人と認定する照合結果データ１０８を照合結果出力装置に送信する。又は、照合データ１０７’と入力データ１０１との差分を取る。そして、その差分が最も小さい照合データ１０７’を抽出し、照合結果データ１０８として照合結果出力装置に送信する。尚、本発明では特に照合方式は限定せず、入力データ１０１と照合データ１０７’とを照合できれば上記方法に限定されない。又、照合演算装置１１３は、照合データバッファ１１２’を介さずに直接状態変化データ作成部１４から、状態変化データ１０６を照合データ１０７’として抽出し、照合を実施しても構わない。
オリジナルデータ蓄積部１２Ａ’は、メモリやディスク等のストレージ装置である。オリジナルデータ蓄積部１２Ａ’は、登録装置３０に接続され、登録装置３０から登録される状態情報付オリジナルデータ１０２を記憶する。オリジナルデータ蓄積部１２Ａ’は、照合部１１に入力データ１０１が入力されると、状態変化データ１０６を作成するため、登録されている状態情報付オリジナルデータ１０２を状態変化データ作成部１４ヘ送信する。
図３は、本発明のデータ照合システムの第２の実施の形態における状態変化データ作成部１４の構成を示すブロック図である。状態変化データ作成部１４の構成及び動作は、第１の実施の形態と同じであるが、作成される状態変化データ１０６は照合部１１に送信される。
次に、本発明によるデータ照合システムの第２の実施の形態における動作を説明する。図６は、本発明によるデータ照合システムの第２の実施の形態における動作を示すフロー図である。
照合用データ１０７’を作成及び登録するため、照合を実施する前に登録装置３０により照合の対象となる人物の顔画像をスキャン（撮影）してデータ照合装置１０にオリジナルデータ１０２Ａとして入力する。この際、状態情報１０２Ｂとして登録日時と人物の年齢を入力する。入力されたオリジナルデータ１０２Ａと状態情報１０２Ｂは関連付けられて、状態情報付オリジナルデータ１０２として照合蓄積部１２’のオリジナルデータ蓄積部１２Ａ’に蓄積される（ステップＳ１６）。
次に、取得装置２０が照合の対象となる人物の顔画像をスキャン（撮影）し、入力データ１０１としてデータ照合装置１０の照合部１１へ入力する（ステップＳ１８）。入力データ１０１が入力されると、オリジナルデータ蓄積部１２Ａ’に蓄積されている状態情報付オリジナルデータ１０２は状態変化データ作成部１４に送信され、その状態情報１０２Ｂ−ｉに対応する状態ラベルを持つ状態別バッファ１４１−ｉに記憶される（ステップＳ２０）。状態変化演算装置１４２は、状態別バッファ１４１−ｉからオリジナルデータ１０２Ａを抽出し、他の複数の状態情報１０２Ｂ−１から１０２Ｂ−ｎ（１０２Ｂ−ｉを除く）に対応する複数の状態変化データ１０６−１から１０６−ｎ（１０６−ｉを除く）に変換する（ステップＳ２２）。変換の動作については第１の実施の形態と同じであるので説明を省略する。
作成された複数の状態変化データ１０６−１から１０６−ｎ（１０６−ｉは除く）は、それぞれの状態情報１０２Ｂに対応する、複数の状態別バッファ１４１−１から１４１−ｎ（１４１−ｉは除く）に記憶され、状態変化演算装置１４２の指令により照合部１１へ送信される。尚、状態変化データ１０６は、照合部１１からの制御を受けて抽出される方式でも構わない。照合部１１は、複数の状態別バッファ１４１−１から１４１−ｎ（１４１−ｉは除く）から送信される複数の状態変化データ１０６−１から１０６−ｎ（１０６−ｉは除く）を照合データ１０７’として、照合演算装置１１３において入力データ１０１と比較処理を行なう。そして、照合部１１は、比較処理結果としての照合結果データ１０８を照合結果出力装置３０に送信する（ステップＳ２４）。照合の動作は、第１の実施の形態と同じである。
照合結果出力部３０は、受信する照合結果データ１０８に基づき、照合結果を表示画面に表示する。表示結果は、照合対象である人物が、データ照合装置１０に登録済みの人物であることを示す本人認証表示や、照合データ１０８である状態変化データ１０６（状況情報１０２Ｂも付随）を画像やテキストとして表示する（ステップＳ２６）。照合された状態変化データ１０６とその状況情報１０２Ｂが表示されることで、照合の対象である人物の特定を行なうことができる。
以上のように、第２の実施の形態では、第１の実施の形態における状態変化データ蓄積部１２Ｂを構成する必要がなく、状態変化データ作成部１４から直接、状態変化データ１０６を照合部１１に送信して照合を行なうため、蓄積スペースを削減でき、オリジナルデータ１０２Ａを照合の対象外にして照合データ１０７’の候補を減らすことができる。又、入力データ１０１とともにその時の状態情報１０２Ｂを入力すると、その状態情報１０２Ｂに対応する状態変化データ１０６のみと照合するため、更に照合候補を減じることができる。
（第３の実施の形態）
図２Ａ及び図７から図１１を参照して本発明によるデータ照合システムの第３の実施の形態を説明する。図７は、本発明によるデータ照合システムの第３の実施の形態における構成を示すブロック図である。
第３の実施の形態における本発明によるデータ照合システムは、データ照合装置１０と、取得装置２０と、登録装置３０と、照合結果出力装置４０とを備え、それぞれの装置はデータ照合装置１０に接続されている。
事前に登録装置３０に入力される照合の対象となる人物の顔画像や音声情報等のデータは、オリジナルデータ１０２Ａとしてからデータ照合装置１０に登録される。データ照合装置１０は、登録されたオリジナルデータ１０２Ａに付随する状態情報１０２Ｂに基づいて、オリジナルデータ１０２Ａを状態変化データ１０６に変換する。この際、状態情報１０２Ｂとは、照合の対象となる人物の状態変化に起因する状態の情報である。データ照合装置１０は、取得装置２０で読み取られる顔画像等の入力データ１０１と、オリジナルデータ１０２Ａや状態変化データ１０６である照合データ１０７との照合を行なう。照合の結果は、照合結果データ１０８として照合結果出力装置４０に送信される。照合出力装置４０は、照合結果データ１０８に基づき照合結果を表示する。
取得装置２０、登録装置３０、照合結果出力装置４０の構成は、第１の実施の形態と同じであるので説明を省略する。
データ照合装置１０は、ワークステーションやパーソナルコンピュータに例示される情報処理装置である。データ照合装置１０は、照合部１１、照合データ蓄積部１２’、成分分析部１３、状態変化データ作成部１４’、成分分析部１５とを備える。
照合データ蓄積部１２’は、照合部１１、成分分析部１３、状態変化データ作成部１４’に接続されている。成分分析部１３と状態変化データ作成部１４’と成分変換部１５とは相互に接続されている。尚、照合データ蓄積部１２’及び状態変化データ作成部１４’は、遠隔地に置かれ、通信回線又はネットワークによって照合部１１と接続されていてもよい。
照合部１１の構成は第１の実施の形態と同じであるので説明を省略する。
照合データ蓄積部１２’は、メモリやディスク等のストレージ装置である。照合データ蓄積部１２’は、オリジナルデータ蓄積部１２Ａ”と、状態変化データ記憶部１２Ｂとを備える。オリジナルデータ蓄積部１２Ａ”は、登録装置３０に接続され、登録装置３０から登録される状態情報付オリジナルデータ１０２を記憶する。状態変化データ記憶部１２Ｂは、状態変化データ作成部１４’から受信する状態変化データ１０６を対応する状態情報１０２Ｂと関連付けて記憶する。
照合データ蓄積部１２’は、登録装置３０から状態情報付オリジナルデータ１０２が入力されると、状態変化データ１０６を作成するため、その状態情報付オリジナルデータ１０２を成分分析部１３及び状態変化データ作成部１４’ヘ送信する。又、照合部１１からの指令により、保持しているオリジナルデータ１０２Ａや状態変化データ１０６を照合データ１０７として照合部１１に送信する。
図８は、本発明のデータ照合システムの第３の実施の形態における成分分析部１３の構成を示すブロック図である。成分分析部１３は、オリジナルデータバッファ１３１と、構成成分データバッファ１３３、状態情報照合部１３２、分析演算装置１３４を備える。オリジナルデータバッファ１３１及び構成成分データバッファ１３３は、メモリやディスク等のストレージ装置である。状態情報照合部１３２及び分析演算装置１３４は、ＣＰＵ等の演算装置又はプログラムあるいは演算装置とプログラムの組合せである。各装置はそれぞれ相互に接続されている。
オリジナルデータバッファ１３１は、オリジナルデータ蓄積部１２Ａ”に接続され、オリジナルデータ蓄積部１２Ａ”から入力されるオリジナルデータ１０２Ａを一時記憶し、分析演算装置１３４からの指令により、オリジナルデータ１０２Ａを分析演算装置１３４に送信する。
状態情報照合部１３２は、オリジナルデータ蓄積部１２Ａ”と状態変化データ作成部１４’とに接続され、オリジナルデータ蓄積部１２Ａ”から入力される状態情報１０２Ｂと状態変化データ作成部１４’から入力される状態ラベルを比較し、状態情報１０２Ｂに対応する状態ラベルを持つ状態別構成成分データバッファ１４１’から構成成分データ１０３を抽出し、構成成分データバッファ１３３に送信する。
構成成分データバッファ１３３は、状態情報照合部１３２から入力される構成成分データ１０３を一時記憶し、分析演算装置１３４からの指令により、構成成分データ１０３を分析演算装置１３４に送信する。
分析装置１３４は、オリジナルデータバッファ１３１から入力されるオリジナルデータ１０２Ａと、構成成分データバッファ１３３から入力される構成成分データ１０３とを用いて後述する演算により、分析結果データ１０４Ａを作成する。又、オリジナルデータ蓄積部１２Ａ”と成分変換部１５に接続され、分析結果データ１０４Ａとオリジナルデータ蓄積部１２Ａ”から入力される状態情報１０２Ｂとを関連付けて、状態情報付分析結果データ１０４として成分変換部１５に送信する。
図９は、本発明のデータ照合システムの第３の実施の形態における状態変化データ作成部１４’の構成を示すブロック図である。状態変化データ作成部１４’は、相互に接続される複数の状態別構成成分データバッファ１４１−１’から１４１−ｎ’と、複数の状態別構成成分データバッファ１４１−１’から１４１−ｎ’に接続される状態変化演算装置１４２’とを備える。
複数の状態別構成成分データバッファ１４１−１’から１４１−ｎ’の各々（以下、「状態別構成成分データバッファ１４１’」ともいう）は、互いに異なる状態情報１０２Ｂに対応している（関連付けられている）。状態別構成成分データバッファ１４１’は、自身の常態情報１０２Ｂに対応する状態ラベルを持ち、成分分析部１３に接続されている。状態別構成成分データバッファ１４１’は、自身の状態ラベルに対応した構成成分データ１０３を記憶している。すなわち、状態別構成成分データバッファ１４１’−ｊは、自身の状態ラベル（状態情報１０２Ｂ−ｊ）に対応した構成成分データ１０３−ｊを記憶している。
状態情報付オリジナルデータ１０２を受信する状態変化演算装置１４２’からの指令により、複数の状態別構成成分データバッファ１４１−１’から１４１−ｎ’の各々は、それぞれの状態ラベルを成分分析装置１３に送信してリクエストをかける。オリジナルデータ１０２Ａに対応する状態情報１０２Ｂと一致する状態ラベルを持つ状態別構成成分データバッファ１４１’は、自身が保有する構成成分データ１０３を成分分析装置１３に送信する。又、状態変化演算装置１４２’の指令に基づき、複数の状態別構成成分データバッファ１４１−１’から１４１−ｎ’の各々は、状態変化データ１０６を作成するため、それぞれが保有する構成成分データ１０３を状態変化演算装置１４２’に送信する。
状態変化演算装置１４２’は、オリジナルデータ蓄積部１２Ａ”から状態情報付オリジナルデータ１０２を受信すると、状態別構成成分データバッファ１４１’の状態ラベルを抽出して、成分分析部１３に送信しリクエストをかける。又、成分変換部１５から受信する状態情報付変換分析結果データ１０４と、その状態情報１０２Ｂに対応する状態ラベルを持つ状態別構成成分データバッファ１４１’の状態情報付構成分データ１０３とから後述する演算により、各状態情報１０２Ｂに対応する状態変化データ１０６を作成し、状態変化データ蓄積部１２Ｂに送信する。
図１０は、本発明のデータ照合システムの第３の実施の形態における成分変換部１５の構成を示すブロック図である。成分変換部１５は、ＣＰＵ等の演算装置又はプログラムあるいは演算装置とプログラムの組合せである変換演算装置１５１と、変換演算装置１５１が演算を実行する際の信号やデータを一時記憶するメモリ１５２とを備える。
変換演算装置１５１は成分分析部１３に接続され、成分分析部１３から入力される状態情報付分析結果データ１０４を基に、以下に示す演算により他の複数の状態情報１０２Ｂ−１から１０２Ｂ−ｎ（１０２−ｉを除く）に対応した複数の変換分析結果データ１０５Ａ−１から１０５Ａ−ｎ（１０５−ｉを除く）を作成する。
変換演算装置１５１は、状態変化データ作成部１４’に接続され、作成した変換分析結複数の変換分析結果データ１０５Ａ−１から１０５Ａと、対応する複数の状態情報１０２Ｂ−１から１０２Ｂ−ｎ（１０２−ｉを除く）とを関連付けて状態情報付変換分析結果データ１０５として状態変化データ作成部１４’に送信する。
次に、本発明によるデータ照合システムの第３の実施の形態における動作を説明する。図１１は、本発明によるデータ照合システムの第３の実施の形態における動作を示すフロー図である。
照合用データ１０７を作成及び登録するため、照合を実施する前に登録装置３０により照合の対象となる人物の顔画像をスキャン（撮影）してデータ照合装置１０にオリジナルデータ１０２Ａとして入力する。この際、状態情報１０２Ｂとして登録日時と人物の年齢を入力する。入力されたオリジナルデータ１０２Ａと状態情報１０２Ｂは関連付けられて、状態情報付オリジナルデータ１０２として照合データ蓄積部１２’のオリジナルデータ蓄積部１２Ａ”に蓄積される（ステップＳ３２）。
オリジナルデータ蓄積部１２Ａ”の状態情報付オリジナルデータ１０２は、成分分析部１３と状態変化データ作成部１４’に送信される。成分分析部１３は受信する状態情報付オリジナルデータ１０２をオリジナルデータバッファ１３１に一時記憶する（ステップＳ３４）。又、状態変化作成部１４’は、状態情報付オリジナルデータ１０２を受信すると、複数の状態別構成成分データバッファ１４１−１’から１４１−ｎ’の状態ラベルを成分分析部１３に送信する。成分分析部１３は、入力される状態情報１０２Ｂと一致する状態ラベルを持つ状態別構成成分データバッファ１４１−ｉ’から、構成成分データ１０３−ｉを抽出し、構成成分バッファ１３３に一時記憶する（ステップＳ３６）。
成分分析部１３の分析演算装置１３４は、構成成分データ１０３−ｉからオリジナルデータ１０２Ａを分析し、その状態情報１０２Ｂに対応する状態情報付分析結果データ１０４−ｉを出力し、成分変換部１５に送信する（ステップＳ３８）。
成分変換部１５では、受信する状態情報付分析結果データ１０４−ｉを、状態情報付分析結果データ１０４−ｉの状態情報１０２Ｂと異なる他の複数の状態情報１０２Ｂ−１から１０２Ｂ−ｎ（１０２Ｂ−ｉを除く）に対応する複数の変換分析結果データ１０５Ａ−１から１０５Ａ−ｎ（１０５Ａ−ｉを除く）に変換する。成分変換部１５は作成した複数の変換分析結果データ１０５Ａ−１から１０５Ａ−ｎ（１０５Ａ−ｉを除く）とそれに対応する複数の状態情報１０２Ｂ−１から１０２Ｂ−ｎ（１０２Ｂ−ｉを除く）とを関連付けて、状態情報付変換分析結果データ１０５−１から１０５−ｎ（１０５−ｉは除く）として状態変化データ作成部１４’に送信する（ステップＳ４０）。
状態変化データ作成部１４’では、成分変換部１５から受信される状態情報付変換分析結果データ１０５−１から１０５−ｎ（１０５−ｉは除く）と、それぞれの状態情報１０２Ｂに対応する状態ラベルを持つ状態別構成成分データバッファ１４１−１’から１４１−ｎ’（１４１−ｉ’は除く）の構成成分１０３−１から１０３−ｎ（１０３−ｉは除く）とから、状態変化データ１０６−１から１０６−ｎ（１０６−ｉは除く）を作成する（ステップＳ４２）。
ここで、本発明によるデータ照合システムの第３の実施の形態のデータ照合装置１０におけるオリジナルデータ１０２Ａを用いて状態変化データを作成するまでの演算の一例を、成分分析に一般的に用いられる主成分分析のような線形成分分析で説明する。
状態変化データ作成部１４’の状態別構成成分データバッファ１４１’が保有する構成成分データ１０３は、ある状態のデータＡ１、Ａ２、…、Ａｉ、…、Ａｐからなんらかの計算により、各データを構成する要素で重要な要素Ｕ１、Ｕ２、…、Ｕｊ、…、Ｕｐに変換して作成される。主成分分析では、各データの点要素Ａｉ（ｘ，ｙ）を列ベクトルとして並べた行列は次式のようになる。
Figure 2006030687
上式を特異値分解Ａ＝ＵＳＶｔ（Ｓは対角成分以外０で対角成分は絶対値の降順に並べる）によってできた直交行列の前半のｐ個の列ベクトルが構成成分データ１０３（Ｕ１、Ｕ２、…、Ｕｊ、…、Ｕｐ）となる。
この際、状態別構成成分データバッファ１４１’間を関係づけるため、２つの状態別構成成分データバッファ１４１’間では、同一人物（物体）のオリジナルデータ１０２Ａを使用する成分数だけ用意する。例えば、構成成分データ１０３の次数を３０個使用するならば、２つの状態別構成成分データバッファ１４１’では両状態時のデータを３０個（人）以上分用意して、それぞれの状態別データベースの構成成分を作成することになる。
成分分析部１３の分析演算装置１３４が行なう演算において、構成成分データ１０３（主成分）の線形結合で構成されたデータをＩｐとすると、Ｉｐは次式で表される。
Ｉｐ＝ｃ１Ｐ１＋ｃ２Ｐ２＋…ｃｍＰｍ（Ｐｉは主成分、ｃｉは係数） …（１）
このうち、オリジナルデータ１０２Ａ（Ｉｏ）との誤差が最も小さくなる最小誤差係数組ｃｉを選び、この最小誤差係数組ｃｉが分析結果データ１０４Ａとなる。この分析結果データ１０４Ａは、オリジナルデータ１０２Ａに対応する状態情報１０２Ｂと関連付けられ、状態情報付分析結果１０４として、成分変換部１５に送信される。
成分変換部１５において、分析結果データ１０４Ａである最小誤差係数組ｃｉを、他の状態情報１０２Ｂに対応する変換分析結果データ１０５Ａである係数組ｄｊに変換する場合について以下に示す。
状態変化データ作成部１４’中の２つの状態別状態構成成分データバッファ１４１−ｉ’、１４１−ｊ’における構成成分データ１０３を、それぞれＰｉ（ｉ＝１、…、ｎ）、Ｑｊ（ｊ＝１、…、ｎ）とし、その係数をそれぞれｃｉ（ｉ＝１、…、ｎ）、ｄｊ（ｊ＝１、…、ｎ）としてｃｉからｄｊへの変換を考える。この変換には、同一人物で状態別状態構成成分データバッファ１４１−ｉ’、１４１−ｊ’に対応する状態情報１０２Ｂの双方に属するデータＩｐ、Ｊｐの複数を用いる。Ｉｐ、Ｊｐは、それぞれ次式で表される。
Ｉｐ＝ｃ１Ｐ１＋ｃ２Ｐ２＋…＋ｃｎＰｎ …（２）
Ｊｐ＝ｄ１Ｑ１＋ｄ２Ｑ２＋…＋ｄｎＱｎ …（３）
ｃｉからｄｊへの変換を線形変換Ｔとし、データ照合装置１０に登録される人物Ａの係数組を｛Ｃｉ（Ａ）、Ｄｊ（Ａ）｝、人物Ｂの係数組｛Ｃｉ（Ｂ）、Ｄｊ（Ｂ）｝、…、人物Ｎの係数組｛Ｃｉ（Ｎ）、Ｄｊ（Ｎ）｝とすると、変換の関係式は次式のように表される。
［Ｄｊ（Ａ）、Ｄｊ（Ｄ）、…、Ｄｊ（Ｎ）］＝Ｔ［Ｃｉ（Ａ）、Ｃｉ（Ｄ）、…、Ｃｉ（Ｎ）］ …（４）
ただし、Ｃｉ（Ａ）、Ｄｊ（Ａ）は（２）式、（３）式の係数ｃｉ、ｄｊを縦に並べた列ベクトルである。従って、Ｃ＝［Ｃｉ（Ａ）、Ｃｉ（Ｄ）、…、Ｃｉ（Ｎ）］、Ｄ＝［Ｄｊ（Ａ）、Ｄｊ（Ｄ）、…、Ｄｊ（Ｎ）］として次式により線形変換Ｔを求めることができる。
Ｔ＝ＤＣｔ（ＣＣｔ）−１ …（５）
上式に示す線形変換Ｔによって、変換演算装置１５１は、分析結果データ１０４Ａから他の状態情報１０２Ｂに対応する変換分析結果データ１０５Ａを作成することができる。
又、ｃｉからｄｊへの変換を非線形な変換とした時は、例えばデータ照合装置１０に登録される人物Ａで状態別状態構成成分データバッファ１４１−ｉ’、１４１−ｊ’に対応する係数組｛ｃｉ（Ａ）、ｄｊ（Ａ）｝を学習データとしてニューラルネットワークを使って、変換を決めることができる。
成分変換部１５から状態別構成成分データバッファ１４１’に入力される変換分析結果データ１０５Ａである係数組をｄｊ、状態別構成成分データバッファ１４１内の構成成分データ１０３を主成分Ｑｊ（添え字のｊはｄｊに対応する）、状態変化演算装置１４２’における演算により再構成された状態変化データ１０６を線形結合Ｊｐとすると、Ｊｐは次式で表される。
Ｊｐ＝ｄ１Ｑ１＋ｄ２Ｑ２＋…＋ｄｍＱｍ …（６）
以上のように作成された他の状態の状態変化データ１０６は、それに対応する状態情報１０２Ｂに関連付けられて照合蓄積部１２’の状態変化データ蓄積部１２Ｂに記録される（ステップＳ４４）。
次に、取得装置２０によって照合の対象となる人物の顔画像をスキャン（撮影）し、入力データ１０１としてデータ照合装置１０の照合部１１に入力される（ステップＳ４６）。入力データ１０１が入力されると、照合部１１は照合データ蓄積部１２’から状況情報付オリジナルデータ１０２や状態変化データ１０６の照合データ１０７を抽出し、照合演算装置１１３において比較処理を行ない、照合結果データ１０８を照合結果出力装置３０に送信する（ステップＳ４８）。照合の動作は、第１の実施の形態と同じである。
照合結果出力部３０は、受信する照合結果データ１０８に基づき、照合結果を表示画面に表示する。表示結果は、照合対象である人物が、データ照合装置１０に登録済みの人物であることを示す本人認証表示や、照合対象に類似する照合データ１０８等を画像やテキストとして表示し、人物の特定を行なう（ステップＳ５０）。
以上のように、物体の特徴を構成成分に分解し、状態情報１０２Ｂに対応した構成成分と、オリジナルデータ１０２Ａからの分析結果データ１０４Ａを基に状態変化データ１０６を作成して照合に用いるため、手動で表現しづらい統計的な状態特徴も利用して精度の高い照合を行なうことを可能にする。
尚、照合データ蓄積部１２’、状態変化データ作成部１４’は、照合部１１とネットワークによって接続され遠隔地に置かれて使用しても、通信回線で接続され、近接地で使用されてもその限りではない。
（第４の実施の形態）
図２Ｂ、図１２から図１４を参照して本発明によるデータ照合システムの第４の実施の形態を説明する。図１２は、本発明によるデータ照合システムの第４の実施の形態における構成を示すブロック図である。
第４の実施の形態における本発明によるデータ照合システムは、データ照合装置１０と、取得装置２０と、登録装置３０と、照合結果出力装置４０とを備える。それぞれの装置はデータ照合装置１０に接続されている。
事前に登録装置３０に入力される、照合の対象となる人物の顔画像や音声情報等のデータは、オリジナルデータ１０２Ａとしてデータ照合装置１０に登録される。データ照合装置１０は、登録されたオリジナルデータ１０２Ａに付随する状態情報１０２Ｂに基づいて、オリジナルデータ１０２Ａを状態変化データ１０６に変換する。この際、状態情報１０２Ｂとは、照合の対象となる人物の状態変化に起因する状態の情報である。データ照合装置１０は、取得装置２０で読み取られる顔画像等の入力データ１０１と状態変化データ１０６との照合を行なう。照合の結果は、照合結果データ１０８として照合結果出力装置４０に送信され、照合出力装置４０は、照合結果データ１０８に基づき照合結果を表示する。
取得装置２０、登録装置３０、照合結果出力装置４０の構成は、第１の実施の形態と同じであるので説明を省略する。
データ照合装置１０は、ワークステーションやパーソナルコンピュータに例示される情報処理装置である。データ照合装置１０は、照合部１１、オリジナルデータ蓄積部１２’’’、成分分析部１３、状態変化データ作成部１４”、成分分析部１５とを備える。状態変化データ作成部１４’は、オリジナルデータ蓄積部１２Ａ’’’及び照合部１１と接続されている。状態変化データ作成部１４’、オリジナルデータ蓄積部１２Ａ’’’は、遠隔地に置かれ、通信回線又はネットワークによって照合部１１と接続されていてもよい。
照合部１１は、通信回線あるいはネットワーク等を介し取得装置２０に接続されている。照合部１１は、取得装置２０から入力される照合の対象となる入力データ１０１と、状態変化データ作成部１４”から受信する状態変化データ１０６とを照合し、照合結果データ１０８を照合結果出力部４０に送信する。
照合部１１の構成は第２の実施の形態と同じであり、成分分析部１３、成分分析部１５の構成は第３の実施の形態と同じであるので説明を省略する（ただし図８におけるオリジナルデータ蓄積部１２Ａ”はオリジナルデータ蓄積部１２Ａ’’’である）。
オリジナルデータ蓄積部１２Ａ’’’は、メモリやディスク等のストレージ装置である。オリジナルデータ蓄積部１２Ａ’’’は、登録装置３０に接続され、登録装置３０から登録される状態情報付オリジナルデータ１０２を記憶する。オリジナルデータ蓄積部１２Ａ’’’は、照合部１１に入力データ１０１が入力されると、状態変化データ１０６を作成するため、登録されている状態情報付オリジナルデータ１０２を成分分析部１３と状態変化データ作成部１４”ヘ送信する。
図１３は、本発明のデータ照合システムの第４の実施の形態における状態変化データ作成部１４”の構成を示すブロック図である。状態変化データ作成部１４”の構成は、第３の実施の形態と同じであるが、状態変化演算装置１４２”は、照合部１１に接続され、作成する状態変化データ１０６を照合部１１に送信する。
次に、本発明によるデータ照合システムの第４の実施の形態における動作を説明する。図１４は、本発明によるデータ照合システムの第４の実施の形態における動作を示すフロー図である。
照合用データ１０７’を作成及び登録するため、照合を実施する前に登録装置３０により照合の対象となる人物の顔画像をスキャン（撮影）してデータ照合装置１０にオリジナルデータ１０２Ａとして入力する。この際、状態情報１０２Ｂとして登録日時と人物の年齢を入力する。入力されたオリジナルデータ１０２Ａと状態情報１０２Ｂは関連付けられて、状態情報付オリジナルデータ１０２として照合蓄積部１２のオリジナルデータ蓄積部１２Ａ’’’に蓄積される（ステップＳ５２）。
次に、取得装置２０によって照合の対象となる人物の顔画像をスキャン（撮影）し、入力データ１０１としてデータ照合装置１０の照合部１１に入力される（ステップＳ５４）。入力データ１０１が入力されると、オリジナルデータ蓄積部１２Ａ’’’の状態情報付オリジナルデータ１０２は、成分分析部１３と状態変化データ作成部１４”に送信される。成分分析部１３は受信する状態情報付オリジナルデータ１０２をオリジナルデータバッファ１３１に一時記憶する（ステップＳ５６）。又、状態変化作成部１４”は、状態情報付オリジナルデータ１０２を受信すると、複数の状態別構成成分データバッファ１４１−１’から１４１−ｎ’の状態ラベルを成分分析部１３に送信する。成分分析部１３は、入力される状態情報１０２Ｂと一致する状態ラベルを持つ状態別構成成分データバッファ１４１−ｉ’から、構成成分データ１０３−ｉを抽出し、構成成分バッファ１３３に一時記憶する（ステップＳ５８）。
成分分析部１３の分析演算装置１３４は、構成成分データ１０３−ｉからオリジナルデータ１０２Ａを分析し、その状態情報１０２Ｂに対応する状態情報付分析結果データ１０４−ｉを出力し、成分変換部１５に送信する（ステップＳ６０）。
成分変換部１５では、受信する状態情報付分析結果データ１０４−ｉを、状態情報付分析結果データ１０４−ｉの状態情報１０２Ｂと異なる他の複数の状態情報１０２Ｂ−１から１０２Ｂ−ｎ（１０２Ｂ−ｉを除く）に対応する複数の変換分析結果データ１０５Ａ−１から１０５Ａ−ｎ（１０５Ａ−ｉを除く）に変換する。成分変換部１５は作成した複数の変換分析結果データ１０５Ａ−１から１０５Ａ−ｎ（１０５Ａ−ｉを除く）とそれに対応する複数の状態情報１０２Ｂ−１から１０２Ｂ−ｎ（１０２Ｂ−ｉを除く）とを関連付けて状態情報付変換分析結果データ１０５−１から１０５−ｎ（１０５−ｉは除く）として状態変化データ作成部１４”に送信する（ステップＳ６２）。
状態変化データ作成部１４”では、成分変換部１５から受信される状態情報付変換分析結果データ１０５Ａ−１から１０５Ａ−ｎ（１０５Ａ−ｉは除く）と、それぞれの状態情報１０２Ｂに対応する状態ラベルを持つ状態別構成成分バッファ１４１−１’から１４１−ｎ’（１４１−ｉ’は除く）の構成成分１０３−１から１０３−ｎ（１０３−ｉは除く）とから、状態変化データ１０６−１から１０６−ｎ（１０５Ａ−ｉは除く）を作成する（ステップＳ６４）。変換の動作については第３の実施の形態と同じであるので説明を省略する。
作成された他の状態の状態変化データ１０６は、状態変化演算装置１４２”の指令により対応する状態情報１０２Ｂに関連付けられて照合部１１’へ送信される。尚、状態変化データ１０６は、照合部１１からの制御を受けて抽出される方式でも構わない。照合部１１は、状態変化データ作成部１４から送信される状態変化データ１０６を照合データ１０７’として、照合演算装置１１３において入力データ１０１と比較処理を行ない、照合結果データ１０８を照合結果出力装置３０に送信する（ステップＳ６６）。照合の動作は、第２の実施の形態と同じである。
照合結果出力部３０は、受信する照合結果データ１０８に基づき、照合結果を表示画面に表示する。表示結果は、照合対象である人物が、データ照合装置１０に登録済みの人物であることを示す本人認証表示や、照合データ１０８である状態変化データ１０６（状況情報１０２Ｂも付随）を画像やテキストとして表示する（ステップＳ２６）。照合された状態変化データ１０６とその状況情報１０２Ｂが表示されることで、照合の対象である人物の特定を行なうことができる。
以上のように、第４の実施の形態では、第３の実施の形態における状態変化データ蓄積部１２Ｂを構成する必要がなく、状態変化データ作成部１４”から直接、状態変化データ１０６を照合部１１に送信して照合を行なうため、蓄積スペースを削減でき、オリジナルデータ１０２Ａを照合の対象外にして照合データ１０７’の候補を減らすことができる。又、入力データ１０１とともにその時の状態情報１０２Ｂを入力すると、その状態情報１０２Ｂに対応する状態変化データ１０６のみと照合するため、更に照合候補を減じることができる。
尚、照合データ蓄積部１２、成分分析部１３、状態変化データ作成部１４、成分変換部１５は、照合部１１とネットワークによって接続され遠隔地に置かれて使用しても、通信回線で接続され、近接地で使用されてもその限りではない。
本発明のデータ照合システムによれば、状態が変化する物体の照合に際し、照合時に使用される登録データの状態変化の付加を自動で行うため、照合時の作業者の負担が軽減される。又、既存の取得装置２０や、登録装置３０、照合結果出力装置４０を利用でき、容易にシステムの組み立て、変更が可能になる。更に、新たな状態情報に対応する状態別バッファ１４１’（第１、２の実施の形態）あるいは状態別構成成分データバッファ１４１’（だい３、４の実施の形態）を状態変化データ作成部１４へ追加するだけで、簡易に照合制度精度の向上や状態変化の条件を変更することが可能である。

Claims (22)

  1. 物体のオリジナルデータと、前記物体の状態を表す第１の状態情報とを関連付けて保持するオリジナルデータ蓄積部と、
    前記オリジナルデータに基づいて、複数の前記物体の別の状態を表す複数の第２の状態情報に関連付けられる複数の状態変化データを作成する状態変化データ作成部と、
    入力される照合の対象物のデータである入力データと前記複数の状態変化データの各々とを比較し、前記複数の状態変化データのうち前記入力データとの差分が最小である状態変化データを抽出する照合部と
    を具備する
    データ照合装置。
  2. 請求項１に記載のデータ照合装置において、
    前記複数の状態変化データを記憶する状態変化データ蓄積部を更に具備し、
    前記オリジナルデータと前記複数の状態変化データは、複数の照合データとして前記照合部に送信され、
    前記照合部は、前記入力データと前記複数の照合データの各々とを比較し、前記入力データとの差分が最小である照合データを抽出する
    データ照合装置。
  3. 請求項１又は２に記載のデータ照合装置において、
    前記照合部は、前記抽出を、前記差分が最小である場合に加えて、前記差分が閾値以下である場合に行う
    データ照合装置。
  4. 請求項１から３のいずれか１項に記載のデータ照合装置において、
    前記状態変化データ作成部は、
    前記第１の状態情報及び前記複数の第２の状態情報の各々別に分けられたデータで学習したニューラルネットワークを用いて、前記第１の状態情報に対応する前記オリジナルデータから前記複数の第２の状態情報に対応する前記複数の状態変化データを作成する状態変化演算装置と、
    各々が前記複数の状態変化データのうちの対応する状態変化データを記憶する状態別バッファと
    を備える
    データ照合装置。
  5. 請求項１から３のいずれか１項に記載のデータ照合装置において、
    前記第１の状態情報及び前記複数の第２の状態情報の各々としての第３の状態情報を示す状態ラベルと前記第３の状態情報に対応する構成成分データとを保持し、前記第１の状態情報及び前記複数の第２の状態情報の各々ごとに設けられた複数の状態別構成成分データバッファと、
    前記複数の状態別構成成分データバッファのうち前記第１の状態情報に一致する状態ラベルを持つ状態別構成成分データバッファから前記構成成分データを抽出し、前記構成成分データに基づいて前記オリジナルデータを分析し、前記第１の状態情報に対応する第１の分析結果データを出力する成分分析部と、
    前記第１の分析結果データに基づいて、前記複数の第２の状態情報に対応する複数の第２の分析結果データに変換する成分変換部と
    を更に具備し、
    前記状態変化データ作成部は、前記複数の第２の分析結果データと、前記複数の状態別構成成分データバッファのうち前記複数の第２の状態情報に一致する状態ラベルを持つ複数の状態別構成成分データバッファの複数の構成成分データとに基づいて、前記複数の状態変化データを作成する状態変化演算装置を備える
    データ照合装置。
  6. 請求項１から５のいずれか１項に記載のデータ照合装置において、
    前記入力データ及び前記オリジナルデータは、バイオメトリクスデータである
    データ照合装置。
  7. 請求項１から６のいずれか１項に記載のデータ照合装置において、
    前記第１の状態情報及び前記複数の第２の状態情報は、前記物体の経年変化に対応する状態の情報である
    データ照合装置。
  8. 請求項１から７のいずれか１項に記載のデータ照合装置において、
    前記対象物及び前記物体は人物の顔であり、
    前記入力データ及び前記オリジナルデータは顔画像データであり、
    前記第１の状態情報及び前記複数の第２の状態情報は、前記顔の表情を表す情報である
    データ照合装置。
  9. 照合の対象物のデータを入力データとして取得する取得装置と、
    物体のオリジナルデータと前記入力データとを照合するデータ照合装置と
    を具備し、
    前記データ照合装置は、
    前記オリジナルデータと、前記物体の状態を表す第１の状態情報とを関連付けて保持するオリジナルデータ蓄積部と、
    前記オリジナルデータに基づいて、複数の前記物体の別の状態を表す複数の第２の状態情報に関連付けられる複数の状態変化データを作成する状態変化データ作成部と、
    前記入力データと前記複数の状態変化データの各々とを比較し、前記複数の状態変化データのうち前記入力データとの差分が最小である状態変化データを抽出する照合部と
    を備える
    データ照合システム。
  10. 請求項９に記載のデータ照合システムにおいて、
    前記データ照合装置は、前記複数の状態変化データを記憶する状態変化データ蓄積部を更に備え、
    前記オリジナルデータと前記複数の状態変化データは、複数の照合データとして前記照合部に送信され、
    前記照合部は、前記入力データと前記複数の照合データの各々とを比較し、前記入力データとの差分が最小である照合データを抽出する
    データ照合システム。
  11. 請求項９又は１０に記載のデータ照合システムにおいて、
    前記照合部は、前記抽出を、前記差分が最小である場合に加えて、前記差分が閾値以下である場合に行う
    データ照合システム。
  12. 請求項９から１１のいずれか１項に記載のデータ照合システムにおいて、
    前記状態変化データ作成部は、
    前記第１の状態情報及び前記複数の第２の状態情報で学習したニューラルネットワークを用いて、前記第１の状態情報に対応する前記オリジナルデータから前記複数の第２の状態情報に対応する前記複数の状態変化データを作成する状態変化演算装置と、
    各々が前記複数の状態変化データのうちの対応する状態変化データを記憶する状態別バッファと
    を含む
    データ照合システム。
  13. 請求項９から１１のいずれか１項に記載のデータ照合システムにおいて、
    前記データ照合装置は、
    前記第１の状態情報及び前記複数の第２の状態情報の各々としての第３の状態情報を示す状態ラベルと前記第３の状態情報に対応する構成成分データとを保持し、前記第１の状態情報及び前記複数の第２の状態情報の各々ごとに設けられた複数の状態別構成成分データバッファと、
    前記複数の状態別構成成分データバッファのうち前記第１の状態情報に一致する状態ラベルを持つ状態別構成成分データバッファから前記構成成分データを抽出し、前記構成成分データに基づいて前記オリジナルデータを分析し、前記第１の状態情報に対応する第１の分析結果データを出力する成分分析部と、
    前記第１の分析結果データに基づいて、前記複数の第２の状態情報に対応する複数の第２の分析結果データに変換する成分変換部と
    を更に備え、
    前記状態変化データ作成部は、前記複数の第２の分析結果データと、前記複数の状態別構成成分データバッファのうち前記複数の第２の状態情報に一致する状態ラベルを持つ状態別構成成分データバッファの前記構成成分データとに基づいて、前記複数の状態変化データを作成する状態変化演算装置を含む
    データ照合システム。
  14. 請求項９から１３のいずれか１項に記載のデータ照合システムにおいて、
    前記入力データ及び前記オリジナルデータは、バイオメトリクスデータである
    データ照合システム。
  15. 請求項９から１４いずれか１項に記載のデータ照合装置において、
    前記第１の状態情報及び前記複数の第２の状態情報は、前記物体の経年変化に対応する状態の情報である
    データ照合システム。
  16. 請求項９から１５のいずれか１項に記載のデータ照合システムにおいて、
    前記対象物及び前記物体は人物の顔であり、
    前記入力データ及び前記オリジナルデータは顔画像データであり、
    前記第１の状態情報及び前記複数の第２の状態情報は、前記顔の表情を表す情報である
    データ照合システム。
  17. 請求項９から１６のいずれか１項に記載のデータ照合システムにおいて、
    前記オリジナルデータを前記物体から読み取り、前記第１の状態情報と関連付けて前記データ照合装置に入力する登録装置を更に具備する
    データ照合システム。
  18. 請求項９から１７のいずれか１項に記載のデータ照合システムにおいて、
    前記データ照合装置から出力された前記照合結果データに基づいて、照合結果を出力する照合結果出力装置を更に具備する
    データ照合システム。
  19. （ａ）物体のオリジナルデータを前記物体の状態を表す第１の状態情報とともに取得するステップと、
    （ｂ）前記オリジナルデータに基づいて、複数の前記物体の別の状態を表す複数の第２の状態情報に関連付けられる複数の状態変化データを作成するステップと、
    （ｃ）照合の対象物のデータである入力データと前記複数の状態変化データの各々とを照合するステップと、
    （ｄ）前記照合の結果を出力するステップと
    を具備する
    データの照合方法。
  20. 請求項１９に記載のデータの照合方法において、
    前記（ｃ）ステップは、
    （ｃ１）前記オリジナルデータ及び前記複数の状態変化データを複数の照合データとして、前記入力データと前記複数の照合データの各々とを照合するステップを備える
    データの照合方法。
  21. 請求項１９又は２０に記載のデータの照合方法において、
    前記（ｂ）ステップは、
    （ｂ１）前記第１の状態情報及び前記複数の第２の状態情報の各々別に分けられたデータで学習した変換方法により、前記オリジナルデータから前記複数の状態変化データを作成するステップを更に備える
    データの作成方法。
  22. 請求項１９又は２０に記載のデータの照合方法において、
    前記（ｂ）ステップは、
    （ｂ２）前記オリジナルデータを前記第１の状態情報に対応する構成成分データに分解し、第１の分析結果データを作成するステップと、
    （ｂ３）前記第１の分析結果データと前記複数の第２の状態情報に対応する複数の構成成分データとに基づいて、前記複数の状態変化データを作成するステップを更に備える
    データの照合方法。
JP2006535811A 2004-09-14 2005-09-08 データ照合システム、データ照合装置、及びデータ照合方法 Pending JPWO2006030687A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004267183 2004-09-14
JP2004267183 2004-09-14
PCT/JP2005/016503 WO2006030687A1 (ja) 2004-09-14 2005-09-08 データ照合システム、データ照合装置、及びデータ照合方法

Publications (1)

Publication Number Publication Date
JPWO2006030687A1 true JPWO2006030687A1 (ja) 2008-07-31

Family

ID=36059940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006535811A Pending JPWO2006030687A1 (ja) 2004-09-14 2005-09-08 データ照合システム、データ照合装置、及びデータ照合方法

Country Status (4)

Country Link
US (1) US20070220044A1 (ja)
EP (1) EP1791088A4 (ja)
JP (1) JPWO2006030687A1 (ja)
WO (1) WO2006030687A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546359A (zh) * 2009-04-28 2009-09-30 上海银晨智能识别科技有限公司 人体生物信息整理系统及整理方法
KR101862128B1 (ko) * 2012-02-23 2018-05-29 삼성전자 주식회사 얼굴을 포함하는 영상 처리 방법 및 장치
CN110213071B (zh) * 2018-04-16 2021-11-02 腾讯科技（深圳）有限公司 数据核对方法、装置、系统、计算机设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) * 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
US5422961A (en) * 1992-04-03 1995-06-06 At&T Corp. Apparatus and method for improving recognition of patterns by prototype transformation
US5638502A (en) * 1992-12-25 1997-06-10 Casio Computer Co., Ltd. Device for creating a new object image relating to plural object images
TW359781B (en) * 1993-05-25 1999-06-01 Casio Computer Co Ltd Animal image display controlling devices and method thereof
IT1277993B1 (it) * 1994-09-30 1997-11-12 Ist Trentino Di Cultura Procedimento per memorizzare e ritrovare immagini di persone, ad esempio in archivi fotografici e per la costruzione di identikit e
US6356650B1 (en) * 1997-05-07 2002-03-12 Siemens Ag Method for computer-adaptation of a reference data set on the basis of at least one input data set
US6137903A (en) * 1997-06-03 2000-10-24 Linotype-Hell Ag Color transformation system based on target color image
JP3580129B2 (ja) * 1998-05-06 2004-10-20 オムロン株式会社 本人識別装置
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
JP2000357221A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
FR2806814B1 (fr) * 2000-03-22 2006-02-03 Oce Ind Sa Procede de reconnaissance et d'indexation de documents
US6734858B2 (en) * 2000-12-27 2004-05-11 Avon Products, Inc. Method and apparatus for use of computer aging to demonstrate a product benefit
JP2003067339A (ja) * 2001-08-27 2003-03-07 Mitsubishi Electric Corp ログイン個人認証方法、ログイン個人認証装置及び記録媒体
DE60230192D1 (de) * 2002-04-12 2009-01-15 Agency Science Tech & Res Robuste gesichtsregistrierung über mehrfach-gesichtsprototypensynthese
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
US7203346B2 (en) * 2002-04-27 2007-04-10 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
JP3920747B2 (ja) * 2002-09-04 2007-05-30 株式会社国際電気通信基礎技術研究所 画像処理装置
GB2402536B (en) * 2003-06-05 2008-04-02 Canon Kk Image processing

Also Published As

Publication number Publication date
EP1791088A4 (en) 2009-04-15
WO2006030687A1 (ja) 2006-03-23
EP1791088A1 (en) 2007-05-30
US20070220044A1 (en) 2007-09-20

Similar Documents

Publication Publication Date Title
Salim et al. Class attendance management system using face recognition
Sawhney et al. Real-time smart attendance system using face recognition techniques
JP4951995B2 (ja) 顔照合装置
US6219639B1 (en) Method and apparatus for recognizing identity of individuals employing synchronized biometrics
JPH1055444A (ja) Ｄｃｔをベースとするフィーチャー・ベクトルを使った顔の認識
JP6897793B2 (ja) 人物照合装置、方法、及びプログラム
Haji et al. Real time face recognition system (RTFRS)
Meenakshi Real-Time Facial Recognition System—Design, Implementation and Validation
Rufai et al. A biometric model for examination screening and attendance monitoring in Yaba College of Technology
JPWO2006030687A1 (ja) データ照合システム、データ照合装置、及びデータ照合方法
Żarkowski Identification-driven emotion recognition system for a social robot
KR100845634B1 (ko) 데이터 대조 방법, 데이터 대조 장치 및 데이터 대조 프로그램을 기록한 기록 매체
JP5873959B2 (ja) ホワイトリスト内外判定装置及び方法
Salah Machine learning for biometrics
Kekre et al. Ageing adaptation for multimodal biometrics using adaptive feature set update algorithm
Charishma et al. Smart Attendance System with and Without Mask using Face Recognition
Ozkaya et al. Intelligent face mask prediction system
SAĞIROĞLU et al. An intelligent face features generation system from fingerprints
Singh et al. Automated Attendance System using Face Recognition
Kohli et al. Attendance System using Face Recognition–A Review
JP4068888B2 (ja) アイリス推定装置およびアイリス照合装置
KR20090026879A (ko) 칼라 영상을 기반으로 한 얼굴 인식을 위한 특징 추출 장치및 방법
JP4645301B2 (ja) 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置
KR20070119156A (ko) 치열영상을 이용한 생체인식 시스템과 그 인식 방법 및이를 기록한 기록매체
JP3322208B2 (ja) パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090625