JP5805040B2 - 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム - Google Patents

人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム Download PDF

Info

Publication number
JP5805040B2
JP5805040B2 JP2012211273A JP2012211273A JP5805040B2 JP 5805040 B2 JP5805040 B2 JP 5805040B2 JP 2012211273 A JP2012211273 A JP 2012211273A JP 2012211273 A JP2012211273 A JP 2012211273A JP 5805040 B2 JP5805040 B2 JP 5805040B2
Authority
JP
Japan
Prior art keywords
biometric information
similarity
information
person
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012211273A
Other languages
English (en)
Other versions
JP2014067171A (ja
Inventor
恭二 平田
恭二 平田
雄史 川崎
雄史 川崎
美知太郎 宮田
美知太郎 宮田
和弥 古川
和弥 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biglobe Inc
Original Assignee
Biglobe Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biglobe Inc filed Critical Biglobe Inc
Priority to JP2012211273A priority Critical patent/JP5805040B2/ja
Priority to US14/429,572 priority patent/US20150234881A1/en
Priority to PCT/JP2013/070257 priority patent/WO2014050281A1/ja
Publication of JP2014067171A publication Critical patent/JP2014067171A/ja
Application granted granted Critical
Publication of JP5805040B2 publication Critical patent/JP5805040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2308Concurrency control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本発明は、人物の顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報などの生体情報を用いて、当該人物を認識する人物認識方法および人物認識装置に関し、より具体的には、人物認証のために蓄積保存する人物認証用辞書を更新するための方法及び装置に関する。
セキュリティ管理などにおいて、人物の顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報などの生体情報を用いて、当該人物を認識(認証)する人物認識装置(人物認証装置)並びにサービスは数多く提案され、実際に運用されている。
一般にこの種の人物認証装置は、認識対象となる人物の生体情報を取得し、この取得した生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保存する登録情報蓄積手段に保持されている登録情報と照合することにより、両者の類似度を求め、この求めた類似度に基づき当該人物を認識(認証)するようになっている(例えば、特許文献1−3参照)。
このような人物認証装置においては、システム運用継続に際して対象となる人物の風貌等の生体情報が変化していくことにより新規に入力された生体情報が登録情報保持手段に保持された登録情報と異なってしまうという経年変化や、入力条件(撮影方向、環境、姿勢)変動に起因する入力ばらつきにより、本人を誤排除してしまう問題があった。このような問題を軽減するために、あらかじめ本人の生体的な特徴情報が登録情報として記録されている辞書(登録情報保持手段)の更新に関する技術が提案されている。
たとえば、認証閾値とは別に、当該認証閾値より高い再登録用閾値を設定しておき、照合時に求めた類似度が、当該再登録用閾値よりも高いときに登録情報(辞書)の更新を行う技術が開示されている(例えば、特許文献4参照)。
また、ID番号や暗証番号の入力と組み合わせて認証閾値を下げる仕組みを持ち、認証閾値を下げずに照合成功したときに、登録情報(辞書)の更新を行う技術が開示されている(例えば、特許文献5参照)。
また、特許文献6では、照合時の類似度があらかじめ所定の更新範囲内にあるときに、登録情報(辞書)の更新を行う技術を開示している。特許文献6では、仮の登録情報が作成されると、履歴情報記憶部に保存されている過去に入力された1つまたは複数の顔の特徴情報との類似度を計算する。同様に、登録情報保存部に保存されている既存の登録情報も同じ処理を行なって類似度を計算する。その結果、過去に入力された1つまたは複数の特徴情報との平均類似度が、仮の登録情報の方が高くなるようであれば、登録情報保持部に保存されている登録情報を仮の登録情報と置き換え、仮の登録情報を本来の辞書として登録する。
また、静止画像からの顔特徴量の抽出方法並びに顔特徴量を用いた類似度算出方法に関しては、多くの方法が提案されている。一例として、特許文献7は、顔特徴量の抽出方法並びに顔特徴量を用いた類似度算出方法を記載している。
特許文献8は、生体情報認証において、生体情報を改竄する方法にかかわらず、本人以外の第三者が成りすまして認証されることを防止する技術を開示している。この特許文献8では、問い合わせ入力と辞書データの類似度が一定以上のときに同一人物判定を行うが、過去の問い合わせのスコアの最大値を越えた場合に(あまりに似すぎているので)成りすましであると判定している。
また、特許文献9は、顔照合用の辞書内に類似する顔パターンが存在する場合であっても、一定の照合性能及びセキュリティレベルを維持することが可能な技術を開示している。特許文献9では、顔画像の履歴データを残す点を記載しているが、その履歴データは、保存用PCのディスプレイに履歴データに基づく顔画像を表示させ、管理者が不審者や不正アクセスのいたずらの常習者を選別するためのものである。
特許文献10は、動画像を利用して、複数の顔画像を辞書データとして登録する技術を開示している。特許文献10では、入力動画像から、正面顔を抽出した後に同一の動画から(トラッキングによる一致性を利用して)、顔向き、ひげの有無などのバリエーションのある画像を辞書データの候補として抽出し保存している。また、特許文献10では、顔画像辞書に登録されている顔画像と、あらたに抽出した登録用顔画像とのうち、どちらが顔認証に適しているかを認識信頼度の比較を用いて判定している。そして、特許文献10では、あらたに抽出した顔画像の方が、顔認証に適していると判定したとき、既存の顔画像を、あらたに抽出した顔画像によって置き換えている。ここで、「認識信頼度」とは、ピックアップ条件の満たし具合を数値化したもので、顔の向きなら、5度、8度である。
特許文献11は、被写体を撮影するときの撮影条件が被写体ごとに異なっていても誤認証を抑えられるようにした技術を開示している。特許文献11では、あらかじめさまざまな撮影条件(環境/方向を含む)で撮影したデータを辞書データとして蓄えておき、入力された問い合わせ画像の撮影条件を抽出し、もっとも似ている撮影条件のものと照合することにより誤認識を抑えている。
特開2003−058508号公報 特開平11−161790号公報 特開2005−032051号公報 特開平11−167632号公報 特開平10−312462号公報 特開2004−157602号公報(段落[0072]) 特開2002−157595号公報 特開2011−059791号公報 特開2008−071366号公報 特開2007−249588号公報(段落[0142]) 特開2007−164401号公報
中長期的に認証を行うシステムにおいては、対象人物の加齢や特性の変化に起因する中長期的な経年変化に伴い、辞書情報として登録している生体情報を更新し、証明条件や入力方向、タイミングを含む入力状況のばらつきに起因する変化や、顔へのペインティング等に代表される短期的な変化に対しては生体情報を更新しないことが望ましい。
しかしながら、上述した提案されている認識システムにおいては、辞書登録情報と入力させた生体情報との類似度のみが評価されるため、このような、中長期的な経年変化に伴う変化と、入力状況のばらつきに起因する変化や短期的な変化を区別した上で辞書情報を更新することが困難であるという問題がある。
[発明の目的]
本発明はこのような状況を鑑みてなされたものである。本発明の目的は、人物認識(認証)に用いられる辞書情報を、利用者の中長期的な経年変化に対してのみ更新を行うことで、入力状況のばらつきや短期的な変化に認識(認証)精度が変更されることなく、現在の利用者の生体情報の状況に則した辞書情報更新を実現することにある。
本発明の一形態は、認識対象となる人物の生体情報を保存する人物認証用辞書を更新する方法であって、所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段に蓄積する蓄積工程と、蓄積された問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された問い合わせ生体情報の対、類似度が高い生体情報の対とする履歴情報照合工程と、類似度が高い生体情報の対の数が、あらかじめ定めた数以上であったときに、類似度が高い生体情報の対をなす少なくとも一つの生体情報を用いて、人物認証用辞書を更新する更新工程と、を含むことを特徴とする。
また、本発明の一形態は、認識対象となる人物の生体情報を保存する人物認証用辞書を更新する方法であって、所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段に蓄積する蓄積工程と、蓄積された問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された問い合わせ生体情報の対を、類似度が高い生体情報の対とする履歴情報照合工程と、類似度が高い生体情報の対のうち、どちらかの生体情報と同じ生体情報を有する類似度が高い生体情報の対は同じグループとし、各グループに含まれる類似度が高い生体情報の対の数の最大値が、あらかじめ定めた数以上であったときに、類似度が高い生体情報の対の数が最大値のグループに含まれる生体情報のうち少なくとも一つの生体情報を用いて、人物認証用辞書を更新する更新工程と、を含むことを特徴とする。
本発明の効果は、人物認証用辞書の情報を、対象となる人物の中長期的な変動(経年変化等の)を反映して更新することができることである。これにより、中長期の運用に対して安定して人物の認識(認証)を高精度に行うことが可能になる。また、入力のばらつきや短期的な特徴変動の影響を受けることなく、安定した特徴のみを用いた辞書構築が可能になり、高精度の人物認識(認証)を実現することができる。
本発明の第1の実施の形態における人物認証装置のブロック図である。 図1に示した人物認証装置の第1の人物認証用辞書更新方法を説明するフローチャートである。 問い合わせ履歴に基づく辞書更新の仕組みを模式的に示した図である。 辞書の更新の可否判定に関して説明した図である。 辞書の更新の可否判定に関して説明した図である。 本発明の第2の実施の形態における人物認証装置のブロック図である。 図6に示した人物認証装置の第2の人物認証用辞書更新方法を説明するフロチャートである。 問い合わせ履歴の更新の方式の一例を模式的に示した図である。 問い合わせ履歴の更新基準の一例を示した図である。 本発明の第3の実施の形態における人物認証システムのブロック図である。 図10に示した人物認証システムを用いたサービス利用方法の一例を示す図である。
[第1の実施の形態]
本発明を実施するための第1の実施の形態について、図面を参照して説明する。
図1を参照すると、本発明の第1の実施の形態に係る人物認証装置は、問い合わせ入力手段10010と、登録情報蓄積手段10020と、照合手段10030と、人物判定手段10040と、問い合わせ履歴蓄積手段10050と、履歴情報照合手段10060と、更新可否判定手段10070と、更新手段10080と、より構成される。
問い合わせ入力手段10010は、認識のために人物の生体情報を入力する。登録情報蓄積手段10020は、あらかじめ認識対象となる人物の生体情報を登録情報として保存する。照合手段10030は、問い合わせ入力手段10010により入力された生体情報と、登録情報蓄積手段10020に保持されている生体情報の類似度を計算し照合を行う。人物判定手段10040は、照合手段10030の算出する類似度に基づき対象人物を特定する。問い合わせ履歴蓄積手段10050は、問い合わせ入力手段10010により入力された生体情報を蓄積する。履歴情報照合手段10060は、問い合わせ履歴蓄積手段10050に保持される生体情報間の類似度を計算する。更新可否判定手段10070は、履歴情報照合手段10060の照合結果に基づき更新可否を判定する。更新手段10080は、更新可否判定手段10070の判定結果に基づき登録情報蓄積手段10020に保持される登録情報を更新する。
問い合わせ入力手段10010は、一例として、カメラ/ビデオカメラといった撮影装置がある。カメラ/ビデオカメラは、利用される生体情報が顔、シルエット、指紋などの視覚的情報のときに特によく用いられる。使用される生体情報が音声である場合、問い合わせ入力手段10010として、マイクロフォン等を用いてもよい。また生体情報が指紋等であった場合、問い合わせ入力手段10010としてタッチコントロールセンサを用いてもよい。
登録情報蓄積手段10020は、一例として、ハードディスク・フラッシュメモリなどの記憶装置からなる。登録情報蓄積手段10020は、専用の蓄積装置であっても、他の蓄積装置との兼用であってもかまわない。登録情報蓄積手段10020は、生体情報のみを蓄積する形態であってもよいし、生体情報の対象となる人物の所属・年齢等の属性情報を記録するデータベース等を有する形式であってもかまわない。
従って、登録情報蓄積手段10020は、認識対象となる人物の生体情報を保存する人物認証用辞書(10020)として作用する。
照合手段10030は、一例として、あらかじめ定められたルールにて動作するプログラムを搭載したCPUからなる。照合手段10030は、問い合わせ入力手段10010から受け取った入力情報と、登録情報蓄積手段10020に蓄積されている生体情報を直接照合して類似度を算出するように動作する。問い合わせ入力手段10010からの入力が画像・音響情報といったメディア情報である場合、照合手段10030は、入力されたメディア情報から生体情報(生体特徴量)を抽出した上で照合を行うように動作してもよい。また、登録情報蓄積手段10020の蓄積形態によっては、照合手段10030は、登録情報蓄積手段10020に蓄積された蓄積情報に対しても加工を施した上で照合を行うように動作してもよい。
人物判定手段10040は、一例として、あらかじめ定められたルールにて動作するプログラムを搭載したCPUからなる。人物判定手段10040は、照合手段10030が算出した類似度が、あらかじめ定めた閾値よりも大きい場合に、対応する登録情報蓄積手段10020からよみだして照合した人物であると判定するよう動作する。人物判定手段10040は、出力手段と結びついて、該人物の名前を表示するように動作してもよい。また、あらかじめ特定の人物を検知したいというサービスにおいては、人物判定手段10040は、アラーム等の出力装置と連携して、該当した際に音をならすという動作を行うようにしてもよい。
また、照合手段10030および人物判定手段10040は、登録情報蓄積手段10020に蓄積されている複数の人物に対する生体情報を次々と読み出し、おのおのに対して問い合わせ入力からの生体情報との間の類似度を測定し、人物判定手段10040は、その中でもっとも類似度の高い登録辞書蓄積手段中の人物を対象人物として出力するように動作してもよい。
問い合わせ履歴蓄積手段10050は、一例として、ハードディスク・フラッシュメモリなどの記憶装置からなる。問い合わせ履歴蓄積手段10050は、専用の蓄積装置であっても、他の蓄積装置との兼用であってもかまわない。問い合わせ履歴蓄積手段10050は、画像あるいは動画といった入力されたメディア情報をそのまま蓄積する形態であってもよいし、あらかじめ生体情報を抽出し、抽出した生体情報のみを蓄積する形態であってもよい。問い合わせ履歴蓄積手段10050は、生体情報にあわせて時間情報を保存し、一定期間の問い合わせ情報のみを蓄積するように動作してもよいし、新規に入力があった場合に最も古い生体情報を消去し、常に一定の個数だけを蓄積するように動作してもよい。
換言すれば、問い合わせ入力手段10010は、所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段(10050)に蓄積する蓄積手段(10010)として働く。
履歴情報照合手段10060は、一例として、あらかじめ定められたルールにて動作するプログラムを搭載したCPUからなる。履歴情報照合手段10060は、問い合わせ履歴蓄積手段10050からこれまでに入力された問い合わせ生体情報をうけとり、生体情報の類似度を算出するように動作する。問い合わせ履歴蓄積手段10050で蓄積される情報が画像・音響情報といったメディア情報である場合、履歴情報照合手段10060は、入力されたメディア情報から生体情報(生体特徴量)を抽出した上で照合を行うように動作する。履歴情報照合手段10060は、蓄積された生体情報のすべての組み合わせに対して類似度を算出するように動作してもよいし、全ての組み合わせから選択された複数の組み合わせに対して類似度を算出するように動作してもよい。
CPUは、履歴情報照合手段10060のみを行うようになっていてもよいし、照合手段10030等の他の手段も実行するようになっていてもよい。
類似度の算出に際しては、生体情報Aからみた生体情報Bの類似度と、生体情報Bからみた生体情報Aの類似度とが異なる値を示すことがある。この場合には、履歴情報照合手段10060は、生体情報Aからみた生体情報Bの類似度と、生体情報Bからみた生体情報Aの類似度とから生体情報AB間の相互の類似度を算出し、代用しても良い。一例として双方の算術平均をとるなどがあるが、それ以外の方法であっても構わない。
従って、履歴情報照合手段10060は、問い合わせ履歴蓄積手段(10050)に蓄積された問い合わせ生体情報同士の類似度を測定して、生体情報の対毎の類似度を作成する作成手段(10060)として働く。
更新可否判定手段10070は、一例として、あらかじめ定められたルールにて動作するプログラムを搭載したCPUからなる。更新可否判定手段10070は、履歴情報照合手段10060が生体情報の対の類似度が算出したあらかじめ定めた閾値よりも大きい場合にカウントを行い、履歴情報照合手段10060が行った類似度算出の中で、類似度があらかじめ定めた閾値よりも高い対がどの程度あるかを測定し、閾値よりも多かった場合に更新の判定を行うように動作する。判定に際して、閾値は高い類似度のペアの出現数であってもよいし、出現確率であってもよい。更新可否判定手段10070は、入力手段を有し、閾値を利用者またはシステム管理者により設定できるような構成になっていてもよい。
CPUは更新可否判定手段10070のみを行うようになっていてもよいし、照合手段10030等の他の手段も実行するようになっていてもよい。
更新手段10080は、一例として、あらかじめ定められたルールにて動作するプログラムを搭載したCPUからなる。更新手段10080は、更新可否判定手段10070より類似度の高い生体情報の対をうけとり、問い合わせ履歴蓄積手段10050に蓄積された対応する生体情報を用いて登録情報蓄積手段10020中の辞書情報を更新する。更新に際しては、更新手段10080は、複数の生体情報の一つを選択して辞書情報の最も古いデータと置き換えるように動作してもよいし、複数の生体情報を用いて置き換えるあるいは演算により値を変更するといったように動作してもよい。
CPUは、更新手段10080のみを行うようになっていてもよいし、照合手段10030等の他の手段も実行するようになっていてもよい。
従って、更新可否判定手段10070と更新手段10080との組み合わせは、類似度が高いと判定された生体情報の対に基づき、人物認証用辞書(10020)を更新する更新部(10070,10080)として働く。
次に、図1及び図2のフローチャートを参照して、本発明の第1の実施の形態に係る人物認証装置の全体の動作例について説明する。
ここでは、生体情報を人物の顔特徴情報とし、入力はカメラにて撮影された静止画像であり、登録情報として蓄積されている情報は、静止画像から抽出した顔特徴量とする。
静止画像からの顔特徴量の抽出方法並びに顔特徴量を用いた類似度算出方法に関しては多くの方法が提案されている。一例として、前述した特許文献7に記載された顔特徴量の抽出方法並びに顔特徴量を用いた類似度算出方法がある。特徴量抽出並びに類似度算出に関しては、画像または映像などのコンテンツから顔特徴量を抽出し、類似度または一致度が測定できれば、特許文献7に記載された特徴量でなくても構わない。
本発明の第1の実施の形態に係る人物認証装置の動作例の説明では、生体情報が顔特徴情報であるとして説明するが、生体情報の抽出が実行でき、蓄積された生体情報間で類似度または一致度が算出できれば、同様のフローで実現可能である。したがって、例えば、本発明の第1の実施の形態に係る人物認証装置は、指紋画像、虹彩情報、掌形画像、指画像、音声情報といった生体情報にもそのまま適用することが可能であることは明らかである。
登録情報蓄積手段10020には、あらかじめ利用者の顔特徴量(生体情報)が、利用者のIDと結び付けられて登録されている。登録情報の蓄積に際しては、利用者の写真から顔領域を抽出し、抽出した顔領域の視覚的特徴に基づいて抽出したものを利用することができる。これには、照合手段10030を用いて、問い合わせ画像から特徴量を抽出するのと同じ方法で抽出することができるが、これ以外の方法を用いて抽出、蓄積しても構わない。
登録情報蓄積手段10020に登録される顔特徴量(生体情報)は、あらかじめ定めたただ一人の特定人物の顔特徴量(生体情報)であって、入力の問い合わせがあらかじめ指定した前記特定人物であるか否かを判定するというものであってもよい。或いは、登録情報蓄積手段10020に登録される顔特徴量(生体情報)は、複数の人物の顔特徴量(生体情報)が登録されてあって、入力の問い合わせに対して誰で該当するかを判定するというものであってもよい。ここでは、複数の人物の顔特徴量(生体情報)が登録されているとして説明する。
先ず、問い合わせ入力手段10010により、問い合わせ画像を入力する(ステップS10010)。
照合手段10030は、問い合わせ画像を解析し、画像照合のために入力画像から顔特徴量(生体情報)を抽出する(ステップS10020)。一例として、上記特許文献7に記載の方法を用いて行ってもよいが、これ以外の方法を用いてもよい。また、特徴量の抽出なく、直接画像を照合する場合には、本ステップはスキップしてもかまわない。この場合、登録情報にも画像が蓄積されていることになる。
照合手段10030は、登録情報蓄積手段10020に蓄積された、顔特徴量(生体情報)を次々と読み出し、上記問い合わせ画像中の顔特徴量との類似度を算出する(ステップS10030)。一例として、上記特許文献7に記載の方法を用いて行ってもよいが、これ以外の方法を用いてもよい。
人物判定手段10040は、上記照合手段10030が算出した各顔特徴量(生体情報)との類似度を受け取り、あらかじめ定めた閾値よりも類似度が高かったときに、対応する人物であると判定し、登録情報蓄積手段10020から、顔特徴量(生体情報)に付随する利用者IDを抽出し出力する(ステップS10040)。
照合の結果、該当人物があったか否かを判定し該当人物がなかった場合には、問い合わせ入力を用いて辞書(10020)を更新することはないので、処理を終了する。該当人物があった場合に、該当する利用者IDと該顔特徴量(生体情報)を問い合わせ履歴蓄積手段10050に蓄積する(ステップS10050)。
従って、蓄積手段(10010)は、認証を行う対象となる人物毎に問い合わせ生体情報を履歴蓄積手段(10050)に蓄積する。
履歴情報照合手段10060は、問い合わせ履歴蓄積手段10050に蓄積されている顔特徴量(生体情報)のうちで、人物判定手段10040にて問い合わせ画像に含まれる人物と判定された利用者IDと同一の利用者IDをもつ顔特徴量(生体情報)の中で、組み合わせ可能な顔特徴量(生体情報)の対を検出する(ステップS10060)。そして、履歴情報照合手段10060は、検出された顔特徴量(生体情報)の対の顔特徴量(生体情報)間の類似度を算出し(ステップS10070)、その算出した類似度があらかじめ定めた閾値より大きいか否かを判定する。算出した類似度が閾値以上であった場合、履歴情報照合手段10060は、その顔特徴量(生体情報)の対を類似度の高い顔特徴量の対として記憶する(ステップS10080)。
ここで、閾値は、照合手段10030で採用した閾値と同じ値でもよいし、異なる値でもよい。照合手段10030で採用した閾値より高い値を採用することにより、類似度が高いもののみが抽出されるため、更新の信頼度が増すという利点がある。ステップS10060〜S10080の処理を、すべての顔特徴量(生体情報)の対に対して実施する。
このように、作成手段(10060)は、対象人物毎に、問い合わせ履歴蓄積手段(10050)に蓄積された問い合わせ生体情報同士の類似度を測定して、生体情報の対毎の類似度を作成する。
更新可否判定手段10070は、履歴情報照合手段10060から類似する顔特徴量(生体情報)の対を記憶した結果を受け取り、更新を行うか否かを判定する(ステップS10090)。一例として、更新可否判定手段10070は、類似度が閾値より高かった対の数を算出し、あらかじめ定めた数より多かった場合に、類似する顔特徴量(生体情報)が多いとして、更新すると判定する。単に数で判定するだけでなく、顔特徴量(生体情報)の対の総数で正規化してもよい。
更新手段10080は、ステップS10090にて、更新判定が行われた場合に、登録情報蓄積手段10020に登録された登録情報を更新し(ステップS10100)、その後、処理を終了する。一例として、更新手段10080は、類似度が高いと判定された顔特徴量(生体情報)の対を構成する顔特徴量(生体情報)群の中から1つを採用して、登録情報蓄積手段10020に蓄積されている顔特徴量(生体情報)を置き換える。また、登録情報蓄積手段10020が複数の顔特徴量(生体情報)を蓄積している場合は、あらたに追加するという処理としてもよい。また、単に顔特徴量(生体情報)の中の1つを採用するのではなく、類似度が高いと判定された顔特徴量(生体情報)の対を構成する顔特徴量(生体情報)群の中で、対として選ばれたものが最も多いものを採用してもよい。さらには、更新手段10080は、1つの顔特徴量(生体情報)ではなく、複数の顔特徴量(生体情報)を追加するあるいは置き換えるとしてもよく、算術平均等の処理が可能であれば、顔特徴量(生体情報)の算術平均をもって更新としてもよい。
このように、更新部(10070,10080)は、類似する生体情報の対の総数があらかじめ定めた数以上であったときに、類似度が高いと判定された生体情報の対をなす少なくとも一つの生体情報を用いて、人物認証用辞書(10020)を更新する。
更新がないと判定された場合には、そのまま処理を終了する。
電子機器で第1の実施の形態に係る人物認証装置を構成する場合、人物認証装置は、プログラム制御により動作するコンピュータで実現可能である。図示はしないが、この種のコンピュータは、周知のように、データを入力する入力装置と、データ処理装置と、データ処理装置での処理結果を出力する出力装置と、種々のデータベースとして働く補助記憶装置とを備えている。そして、データ処理装置は、プログラムを記憶するリードオンリメモリ(ROM)と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ(RAM)と、ROMに記憶されたプログラムに従って、RAMに記憶されているデータを処理する中央処理装置(CPU)とから構成される。
この場合、入力装置が問い合わせ入力手段10010として働く。データ処理装置は、照合手段10030、人物判定手段10040、履歴情報照合手段10060、更新可否判定手段10070、および更新手段10080として動作する。そして、補助記憶装置が、登録情報蓄積手段10020および問い合わせ履歴蓄積手段10050として働く。
換言すれば、第1の実施の形態に係る人物認証装置の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された人物認証プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該人物認証プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された人物認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第1の実施の形態を別の表現で説明すれば、人物認証装置として動作させる情報処理装置を、ROMに記憶された人物認証プログラムに基づき、照合手段10030、人物判定手段10040、履歴情報照合手段10060、更新可否判定手段10070、および更新手段10080として制御部(CPU)を動作させることで実現することが可能である。
次に、本発明の第1の実施の形態に係る人物認証装置の効果について説明する。
問い合わせ画像として、特定期間内に問い合わせされた画像の中から、類似度が高いと判定された顔特徴量の対が一定数以上ある場合にのみ更新の行うことで、特定期間内で安定して観測された顔特徴量がある場合のみに、その顔特徴量を用いて更新をかけることができる。一時的な入力変動に伴う問い合わせ画像のブレや、短期的な対象の変化などの影響を除外することができ、加齢等の経年変化を含む中長期に観測される顔特徴量により画像を更新するという、発明の目的を達成することができる。また、短期的な対象の変化などの影響を除外することができるので、辞書情報の品質を保つことができるという、別の効果をえることもできる。
本発明を実施するための第1の実施の形態では、人物認証装置という立場から、照合手段10030および人物判定手段10040を配置した。しかしながら、登録情報蓄積手段10020に蓄積された辞書情報の更新という観点からは、照合手段10030および人物判定手段10040は必須ではなく、他の手段のみで成立することに注意されたい。
この場合、登録情報蓄積手段10020は、前述したように人物認証用辞書(10020)として動作するので、照合手段10030および人物判定手段10040の無い人物認証装置は、人物認証用辞書更新装置として動作する。
ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された人物認証用辞書更新プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。人物認証用辞書更新装置として動作させる情報処理装置を、ROMに記憶された人物認証用辞書更新プログラムに基づき、履歴情報照合手段10060、更新可否判定手段10070、および更新手段10080として制御部(CPU)を動作させることで実現することが可能である。
また、該人物認証用辞書更新プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された人物認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
次に、図3を用いて、本発明の第1の実施の形態に係る人物認証装置の動作例について、説明する。
ある人物を認証するために登録情報蓄積手段10020に保存されている顔特徴量(生体情報)を、第1乃至第3の顔特徴量(生体情報)50010、50020、50030とする。これらの顔特徴量(生体情報)は、それぞれ2009年5月、2010年7月、2011年5月に、登録情報蓄積手段10020に辞書情報として取り込まれたとする。ここでは、説明を簡単にするために、画像表示しているが、実際には、顔特徴量(生体情報)を保存する形式でよい。蓄積された顔特徴量(生体情報)は、完全に一致しているわけではなく、撮影の環境や方向、表情などが異なっており、また、2009年から2011年の間に起こった加齢等の経年変化も含んでいる。
その後に入力され、問い合わせ履歴蓄積手段10050に登録されている画像(生体情報)を、第1乃至第7の登録画像(生体情報)50110、50120、50130、50140、50150、50160、50170とする。図3では、対象者はこの間に、体重が増加し顔の丸みが増したとしている。ただし、目の鼻、口の位置関係や、形などは類似しているため、辞書として蓄積されている第1乃至第3の顔特徴量(生体情報)50010、50020、50030のいずれかと類似しており、対象者であると判定できているとする。この際に、問い合わせ履歴蓄積手段10050の中では、入力時の状況により、さまざまなタイプの変動が含まれている。一例として、カメラが顔の下から撮影された(第4の登録画像50140)、顔が右を向いてしまった(第5の登録画像50150)、顔にペイントを施した(第6の登録画像50160)、撮影時の照明が異なった(第7の登録画像50170)などである。このほか、表情の違いなども含めて問い合わせ履歴にはさまざまなタイプの顔特徴量(生体情報)が蓄積される。
このような、変動のため登録情報蓄積手段10020との間の類似度では、対象者と認識できるが、より閾値を厳しくした問い合わせ画像内の顔特徴量(生体情報)の対をなす顔特徴量(生体情報)の類似度では、(50110,50120)、(50110,50130)、(50120,50130)の3対しか類似すると判定されたものがない。更新ための対の閾値を仮に「5」としたときに、現在3対しか類似する顔特徴量(生体情報)の対がないため、更新処理はおこらない。
ここであらたに、問い合わせ画像(生体情報)50200が入力されたとする。問い合わせ画像から抽出された顔特徴量(生体情報)は、方向、表情、照明などが比較的安定した状況で撮影されたもので、この結果、この入力問い合わせ画像50200は、第1乃至第3の登録画像50110、50120、50130と類似する。この結果、問い合わせ履歴蓄積手段10050内で類似する顔特徴量(生体情報)の対が「3」から「6」に増加し、あらかじめ定めた更新のための顔特徴量(生体情報)の対の閾値「5」を超える。このため、更新手段10080は、閾値を超えた対の構成要素、第1乃至第3の登録画像50110、50120、50130、入力問い合わせ画像50200のうちの一つまたは複数の顔特徴量(生体情報)を用いて登録情報蓄積手段(人物認証用辞書)10020の更新をかける。
一例として、更新手段10080は、もっとも古い時期に入力された第1の顔特徴量50010を入力問い合わせ画像50200で置き換えるという処理を行う。あるいは、更新手段10080は、入力問い合わせ画像50200と第1乃至第3の顔特徴量50010、50020、50030との類似度を測定し、もっとも類似度の高いものと置き換える、あるいは、もっとも類似度の低いものと置き換えるという方法でもよい。さらには、更新手段10080は、類似している(50110、50120、50130、50200)と(50010、50020、50030)の類似度を測定し、平均の類似度を算出し、もっとも平均の類似度が高いもの、あるいはもっとも平均類似度が低いものと置き換えるという方法でもよい。更新の仕方に関しては個々で提示したものはあくまで一例にすぎず、新規採用特徴量を用いて既存特徴量を更新する際の一般的な方法が適用可能であることは明らかである。
このように、類似度の高い顔特徴量の対が一定の数を超えた場合のみに更新を行うことで、中長期的な特徴に基づく変動を反映した、安定した顔特徴量に基づいて更新を行うことができる。
問い合わせ履歴蓄積手段10050に蓄積される画像を一定にする、すなわち、新規の顔特徴量(ここでは、50200)が入力された際に、もっとも古くに入力された顔特徴量(ここでは仮に、第4の登録画像50140)を問い合わせ履歴蓄積手段10050から消去するということを行うと、特定期間で一定の安定した特徴が得られた場合のみに登録情報蓄積手段(人物認証用辞書)10020の更新を行うことができる。
図4は、問い合わせ履歴蓄積手段10050内での類似する顔特徴量(生体情報)の対の判定のバリエーションを模式的に説明した図である。
図4では、類似度の高い顔特徴量(生体情報)の対により、(1、2)と(3、5)(4、5)(5、6)(6、7)の二つのグループが構成されている。この場合、類似度の高い顔特徴量(生体情報)の対の数を、グループ(1、2)の対の総数1と、グループ(3、5)(4、5)(5、6)(6、7)の対の総数4の総和として「5」と定義してもよい(ケース1とする)。又は、類似度の高い顔特徴量の対の数を、類似度の高い顔特徴量(生体情報)の対のグループのうち最大の数を採用して、「4」としてもよい(ケース2とする)。
新規に入力した問い合わせ画像10が、2及び5と類似した場合、ケース1、ケース2どちらの場合でも、類似度の高い顔特徴量(生体情報)の対は、「7」になる。ケース1の場合、総和をとるので、いくつかの入力パターンが存在した場合に類似度の高い顔特徴量の対の総数が多くなる。これに対して、ケース2では、いくつかの入力パターンが存在しても、類似する顔特徴量(生体情報)の対の数が多くならないという特徴がある。更新したいケースに応じて、システム管理者等の実行者が、類似度の高い顔特徴量(生体情報)の対の数を設定することができる。
従って、ケース2を採用した場合、更新部(10070,10080)は、類似度の高い生体情報の対が含まれるグループのうち類似度の高い生体情報の対の数の最大値があらかじめ定めた数以上であったときに、上記の最大値を与えるグループに含まれる生体情報のうち少なくとも一つの生体情報を用いて、人物認証用辞書(10020)を更新する。
図5は、問い合わせ履歴蓄積手段10050内での更新に用いる顔特徴量(生体情報)の選択方法に関して模式的に説明した図である。
図5において、更新に用いる画像を1枚選ぶ場合に、3、4、5、6、9のいずれかから選択することができる。1から9までの順で問い合わせがなされたとき、1枚を選ぶ方法として、
一番古くに問い合わせをされた顔特徴量 3
一番新しく問い合わせをされた顔特徴量 9
もっとも類似度の対に関与している顔特徴量 5
といった選び方がある。また、このほかに、任意に選択する方法や、対の中でもっとも類似度が高い対のいずれかの顔特徴量(生体情報)など、各種の方法が考えられる。
[第2の実施の形態]
次に、本発明を実施するための第2の実施の形態について図面を参照して説明する。
図6を参照すると、本発明の第2の実施の形態に係る人物認証装置は、問い合わせ入力手段20010と、登録情報蓄積手段20020と、特徴量抽出手段20090と、照合手段20030と、人物判定手段20040と、問い合わせ履歴蓄積手段20050と、履歴蓄積判定手段20100と、問い合わせ履歴更新手段20110と、履歴情報照合手段20060と、更新可否判定手段20070と、更新可否利用者確認手段20120と、更新手段20080とよりなる。 問い合わせ入力手段20010は、認識(認証)のために人物の生体情報を入力する。登録情報蓄積手段(人物認証用辞書)20020は、あらかじめ認識対象となる人物の生体情報の特徴量を登録情報として保存する。特徴量抽出手段20090は、問い合わせ入力手段20010により入力された問い合わせ入力中に含まれる対象物の特徴量(生体情報)を抽出する。照合手段20030は、特徴量抽出手段20090より入力された生体情報の特徴量と、登録情報蓄積手段(人物認証用辞書)20020に保持されている生体情報の特徴量の類似度を計算し、照合を行う。人物判定手段20040は、照合手段20030の算出する類似度に基づき、対象人物を特定する。問い合わせ履歴蓄積手段20050は、問い合わせ入力履歴の生体情報の特徴量を蓄積する。履歴蓄積判定手段20100は、照合手段20030の照合結果に基づいて、問い合わせ入力の特徴量を蓄積するかどうか判定する。問い合わせ履歴更新手段20110は、履歴蓄積判定手段20100の結果に基づき、問い合わせ履歴蓄積手段20050に蓄積された問い合わせ履歴を更新する。履歴情報照合手段20060は、問い合わせ履歴蓄積手段20050に保持される生体情報間の類似度を計算する。更新可否判定手段20070は、履歴情報照合手段20060の照合結果に基づき更新可否を判定する。更新可否利用者確認手段20120は、更新可否判定の際に、利用者の判定結果を入力する。更新手段20080は、更新可否判定手段20070の判定結果に基づき、登録情報蓄積手段20020に保持される登録情報を更新する。
図6では、問い合わせ入力手段20010、登録情報蓄積手段20020、照合手段20030、人物判定手段20040、問い合わせ履歴蓄積手段20050、履歴情報照合手段20060、更新可否判定手段20070、および更新手段20080は、それぞれ図1における、問い合わせ入力手段10010、登録情報蓄積手段10020、照合手段10030、人物判定手段10040、問い合わせ履歴蓄積手段10050、履歴情報照合手段10060、更新可否判定手段10070、および更新手段10080と、同一あるいはほとんど同一の構成で実現できるため、それらの説明を割愛する。
特徴量抽出手段20090は、問い合わせ入力手段20010により入力された問い合わせ入力中に含まれる人物に関連する生体情報を検出し、検出した生体情報から特徴量を抽出する。一例として、特徴量抽出手段20090は、あらかじめ定められたルールにて動作するプログラムを搭載したCPUからなる。入力が画像で、特徴量が顔特徴量である場合、特徴量抽出手段20090は、前述した特許文献7に記載の方法を用いて行ってもよい。指紋、虹彩、音声などさまざまな抽出方法が提案、世の中に広く知られているので、特徴量抽出手段20090は、これらの方法をプログラムとして記述し、動作するCPUという形態や、それを回路で実現したものなどが考えられる。
履歴蓄積判定手段20100は、照合手段20030の照合結果に基づいて、問い合わせ入力の特徴量を蓄積するかどうかを判定する。一例として、履歴蓄積判定手段20100は、あらかじめ定められたルールにて動作するプログラムを搭載したCPUからなる。履歴蓄積判定を行うために、履歴蓄積判定手段20100は、過去の照合結果を一時的にためておく、メモリ等の記憶手段や環境を判定するためのセンサーなどを同時に有しておくこともできる。
問い合わせ履歴更新手段20110は、履歴蓄積判定手段20100の結果に基づき、問い合わせ履歴蓄積手段20050に蓄積された問い合わせ履歴を更新する。一例として、問い合わせ履歴更新手段20110は、あらかじめ定められたルールにて動作するプログラムを搭載したCPUからなる。
従って、問い合わせ入力手段20010と特徴量抽出手段20090と履歴蓄積判定手段20100と問い合わせ履歴更新手段20110との組み合わせは、照合手段(20030)において算出された受け付けた問い合わせ生体情報の類似度が所定の類似度より高いと判定された場合に、上記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として問い合わせ履歴蓄積手段(20050)に蓄積する蓄積手段(20010,20090,20100,20110)として働く。
更新可否利用者確認手段20120は、更新可否判定の際に、利用者の判定結果を入力する。一例として、更新可否利用者確認手段20120は、更新可否判定の第一の結果を表示するディスプレイと、キーボードやマウスといった入力手段を備えた端末で実現可能である。
すなわち、更新可否利用者確認手段20120は、更新に用いる問い合わせ生体情報が選択された際に、利用者または管理者に対して更新の有無の確認を行う確認手段(20120)として動作する。
次に図6及び図7のフローチャートを参照して、本発明の第2の実施の形態に係る人物認証装置の全体の動作例について説明する。
本発明の第2の実施の形態に係る人物認証装置の動作例の説明でも、上述した第1の実施の形態のときの説明と同様に、入力がビデオ、カメラ等の画像であり生体情報が顔特徴情報であるとして説明する。しかしながら、本発明の第2の実施の形態に係る人物認証装置は、入力からの生体情報抽出が実行でき、蓄積された生体情報間で類似度または一致度が算出できれば同様のフローで実現可能である。たとえば、指紋画像、虹彩情報、掌形画像、指画像、音声情報といった生体情報にもそのまま適用することが可能であることは明らかである。
登録情報蓄積手段(人物認証用辞書)20020には、あらかじめ利用者のIDと事前に抽出された顔特徴量が結び付けられて登録されている。登録情報の蓄積に際しては、利用者の写真から顔領域を検出し、検出された顔領域の視覚的特徴に基づいて抽出したものを顔特徴量として利用することができる。これは、特徴量抽出手段20090を用いて、問い合わせ画像から特徴量を抽出するのと同じ方法で抽出することができるが、これ以外の方法を用いて抽出、蓄積しても構わない。
登録情報蓄積手段(人物認証用辞書)20020に登録される顔特徴量(生体情報)は、あらかじめ定めたただ一人の特定人物の顔特徴量(生体情報)であって、入力の問い合わせがあらかじめ指定した前記特定人物であるか否かを判定するというものであってもよい。或いは、登録情報蓄積手段(人物認証用辞書)20020に登録される顔特徴量(生体情報)は、複数の人物の顔特徴量(生体情報)が登録されてあって、入力の問い合わせに対して誰で該当するかを判定するというものであってもよい。前者の場合、例えば個人所有の携帯電話や金庫などの開錠に利用される可能性があり、後者の場合であれば特定の建造物への入退場管理などに応用できる。また、利用者のID以外に利用者の住所、氏名、年齢、年収などの他の属性情報を合わせて保存しておき、必要に応じて照合された人物の属性情報を出力できるようになっていても構わない。今回は、複数の人物の顔特徴量(生体情報)が登録されているとして説明する。
先ず、問い合わせ入力手段20010により、問い合わせ画像を入力する(ステップS20010)。
次に、特徴量抽出手段20020は、問い合わせ画像を解析し、画像照合のために入力画像から顔特徴量を抽出する(ステップS10020)。一例として、前述した特許文献7に記載の方法を用いて行ってもよいが、これ以外の方法を用いてもよい。画像中から人物を検出する方法は、顔検出技術として広く知られており、人物検出に際してはこれらのなかのいずれか適当な方法を採用する。特徴量の広義の考え方として、画像情報をそのまま利用するということも可能である。その場合、ステップS20020の処理は、領域の抽出のみ、または、検出の有無の確認のみとなる。
照合手段20030は、登録情報蓄積手段(人物認証用辞書)20020に蓄積された、顔特徴量(生体情報)を次々と読み出し、特徴量抽出手段20090が抽出した問い合わせ画像中の顔特徴量(生体情報)との類似度を算出する(ステップS20030)。一例として、前述した特許文献7に記載の方法を用いて行ってもよいが、これ以外の方法を用いてもよい。
人物判定手段20040は、照合手段20030が算出した各顔特徴量(生体情報)との類似度を受け取り、あらかじめ定めた閾値よりも類似度が高かったときに、対応する人物であると判定する(ステップS20040)。そして、人物判定手段20040は、対応人物が認証された場合に、登録情報蓄積手段(人物認証用辞書)20020から、顔特徴量(生体情報)に付随する利用者IDや属性情報を読み出して出力する(ステップS20045)。人物判定手段20040は、IDや属性情報の出力に加えて、装置の開錠や入室処理など付随する処理を行ってもよい。
照合の結果、該当人物があったか否かを判定し、該当人物がなかった場合には、問い合わせ入力を用いて辞書20020を更新することはないので、処理を終了する。
履歴蓄積判定手段20100は、照合手段20030の照合結果に基づいて、照合処理により特定された人物に関して、問い合わせ入力の特徴量を蓄積するかどうか判定する(ステップS20047)。履歴蓄積判定手段20100は、照合処理に基づき人物特定を行ったが、登録情報蓄積手段20020に蓄積されている属性情報、例えばIDや名前などの入力によって入力された人物が特定されている場合であれば、照合処理の結果に基づくことなく更新を行ってもよい。
問い合わせ入力の特徴量を蓄積するかどうかの判定の基準として、様々な方法が考えられる。図8はその一例を模式的に示したものである。登録情報蓄積手段(人物認証用辞書)20020中に該人物の顔特徴量(生体情報)が4種類 (90010、90020、90030、90040) 蓄積されているとする。ここでは、これら4種類の顔特徴量(生体情報)を、第1乃至第4の顔特徴量(生体情報)90010、90020、90030、90040と呼ぶことにする。一般に顔特徴量(生体情報)は画像から抽出した記号であり、図示することは困難であるが、説明のため模式的に図に示してある。ここでは、顔特徴量(生体情報)が4種類蓄積されているとしているが実際には1種類であっても、10種類以上であってもよい。
問い合わせ画像から抽出した顔特徴量90100と、第1乃至第4の顔特徴量90010、90020、90030、90040との類似度が、それぞれ「0.61」、「0.51」、「0.60」、「0.71」であったとする。該人物と認証するための閾値が「0.6」であったとすると、第1、第3、および第4の顔特徴量90010、90030、90040が条件を満たしている。したがって、図8の照合結果は認証成功となる。
この際に、抽出した顔特徴量90100を問い合わせ履歴蓄積手段20050に蓄積するか否かの判定として、第1乃至第4の顔特徴量90010、90020、90030、90040との照合スコアを利用して実現することができる。一例として、照合結果のうちのすくなくとも1つが判定閾値「0.6」をしたまわっていた場合に、第2の顔特徴量90020は辞書として不適当である可能性があることから、該問い合わせ顔特徴量が一時的なものでなく、中長期的な特徴であるならば辞書を更新する必要があるとして、中長期性の確認のために履歴に追加するというように定めてもよい。また、すべての顔特徴量との類似度があらかじめ定めた高めの閾値「0.80」を下回っている場合に、問い合わせ入力と完全に適合するものがないということで履歴に追加するというように定めても良い。
この場合、蓄積手段(20010,20090,20100,20110)は、照合手段(20030)において算出された受け付けた問い合わせ生体情報の類似度が、あらかじめ定めた第1の類似度より高く、あらかじめ定めた第2の類似度より低かった場合に、上記受け付けた問い合わせ生体情報を対応する人物の生体情報として問い合わせ履歴蓄積手段(20050)に蓄積する。
図9に判定の基準の一例を示した。これらの組み合わせであってもよいし、別の尺度を追加、利用しても構わない。全てを履歴に追加するという設定や、入力画像そのものの大きさ、画質の評価結果を利用してもよい。
図6および図7に戻って、問い合わせ履歴更新手段20110は、履歴蓄積判定手段20100の結果に基づき、問い合わせ履歴蓄積手段20050に蓄積された問い合わせ履歴情報(生体情報)を更新する(ステップS20050)。更新は、単に新規に顔特徴量(生体情報)を追加するとしてよい。また別の方法として、一枚登録する代わりに、最も古い顔特徴量(生体情報)を一枚消去して、履歴の総数を一定に保ってもよい。また、更新に際して、問い合わせ履歴更新手段20110は、一定期間より以前に登録された履歴顔特徴量(生体情報)を一斉に消去して、比較的最近に登録された履歴顔特徴量(生体情報)のみを保持するという形にしてもよい。
履歴情報照合手段20060は、問い合わせ履歴蓄積手段20050に蓄積されている顔特徴量(生体情報)のうちで、人物判定手段20040にて問い合わせ画像に含まれる人物と判定された利用者IDと同一の利用者IDをもつ顔特徴量(生体情報)の中で、組み合わせ可能な顔特徴量(生体情報)の対を抽出する(ステップS20060)。そして、履歴情報照合手段20060は、検出された顔特徴量(生体情報)の対をなす顔特徴量(生体情報)の類似度を算出し(ステップS20070)、算出した類似度があらかじめ定めた閾値より大きいか否かを判定する。閾値以上であった場合、履歴情報照合手段20060は、その顔特徴量(生体情報)の対を類似する顔特徴量対として記憶する(ステップS20080)。閾値は、照合手段20030で採用した閾値と同じ値でもよいし、異なる値でもよい。照合手段20030で採用した閾値より高い値を採用することにより、類似度が高いもののみが抽出されるため、類似ペアが検出されにくいという不利益はあるものの、更新の信頼度が増すという利点がある。ステップS20060〜S20080の処理を、すべての顔特徴量(生体情報)の対に対して実施する。
更新可否判定手段20070は、履歴情報照合手段20060から相互に類似する顔特徴量(生体情報)の対の結果を受け取り、更新を行うか否かを判定する(ステップS20090)。一例として、更新可否判定手段20070は、類似度が閾値より高い対の数を算出し、あらかじめ定めた数より多かった場合に、更新すると判定する。単に総和で判定するだけでなく、顔特徴量(生体情報)の対の総数で正規化してもよい。
更新可否利用者確認手段20120は、ステップS20090にて、更新判定が行われた場合に、利用者またはシステム管理者に確認問い合わせを行う(ステップS20095)。更新確認のステップS20095は常に行う必要はなく、必要に応じて選択的に実施しても構わない。処理をスキップする場合は、ステップS20100に直接すすむ。
更新手段20080は、ステップS20095にて利用者またはシステム管理者の確認がとれた場合に、登録情報蓄積手段(人物認証用辞書)20020に登録された登録情報を更新し(ステップS20100)、その後、処理を終了する。
一例として、更新手段20080は、類似すると判定された顔特徴量(生体情報)の対を構成する顔特徴量(生体情報)の中から1つを採用して、登録情報蓄積手段(人物認証用辞書)20020に蓄積されている顔特徴量(生体情報)を置き換える。また、登録情報蓄積手段(人物認証用辞書)20020が複数の顔特徴量(生体情報)を蓄積している場合は、更新手段20080は、あらたに追加するという処理としてもよい。また、更新手段20080は、単に顔特徴量(生体情報)の中の1つを採用するのではなく、類似する顔特徴量(生体情報)の対が構成する顔特徴量(生体情報)群の中で、対として選ばれたものが最も多いものを採用してもよい。さらには、更新手段20080は、1つではなく、複数の顔特徴量(生体情報)を追加するあるいは置き換えるとしてもよく、算術平均等の処理が可能であれば、顔特徴量(生体情報)の算術平均をもって更新としてもよい。
更新がないと判定された場合には、そのまま処理を終了する。
電子機器で第2の実施の形態に係る人物認証装置を構成する場合、人物認証装置は、プログラム制御により動作するコンピュータで実現可能である。図示はしないが、この種のコンピュータは、周知のように、データを入力する入力装置と、データ処理装置と、データ処理装置での処理結果を出力する出力装置と、種々のデータベースとして働く補助記憶装置とを備えている。そして、データ処理装置は、プログラムを記憶するリードオンリメモリ(ROM)と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ(RAM)と、ROMに記憶されたプログラムに従って、RAMに記憶されているデータを処理する中央処理装置(CPU)とから構成される。
この場合、入力装置が、問い合わせ入力手段20010および更新可否利用者確認手段20120として働く。データ処理装置は、特徴量抽出手段20090、照合手段20030、人物判定手段20040、履歴蓄積判定手段20100、問い合わせ履歴更新手段20110、履歴情報照合手段20060、更新可否判定手段20070、および更新手段20080として動作する。そして、補助記憶装置が、登録情報蓄積手段(人物認証用辞書)20020および問い合わせ履歴蓄積手段20050として働く。
換言すれば、第2の実施の形態に係る人物認証装置の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された人物認証プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該人物認証プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された人物認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記第2の実施の形態を別の表現で説明すれば、人物認証装置として動作させる情報処理装置を、ROMに記憶された人物認証プログラムに基づき、特徴量抽出手段20090、照合手段20030、人物判定手段20040、履歴蓄積判定手段20100、問い合わせ履歴更新手段20110、履歴情報照合手段20060、更新可否判定手段20070、および更新手段20080として制御部(CPU)を動作させることで実現することが可能である。
次に、本発明の第2の実施の形態に係る人物認証装置の効果について説明する。
問い合わせ画像として、特定期間内に問い合わせされた画像の中から、類似する顔画像の対が一定数以上ある場合のみ更新の行うことで、特定期間内で安定して観測された顔特徴量(生体情報)がある場合のみに、その顔特徴量(生体情報)を用いて更新をかけることができる。一時的な入力変動に伴う問い合わせ画像のブレや、短期的な対象の変化などの影響を除外することができ、加齢等の経年変化を含む中長期に観測される顔特徴量(生体情報)により画像を更新するという、発明の目的を達成することができる。また、短期的な対象の変化などの影響を除外することができるので、辞書情報の品質を保つことができるという、別の効果をえることもできる。
本発明を実施するための第2の実施の形態では、人物認証装置という立場から、人物判定手段20040を配置した。しかしながら、登録情報蓄積手段(人物認証用辞書)20020に蓄積された辞書情報の更新という観点からは、人物判定手段20040は必須ではなく、他の手段のみで成立することに注意されたい。
この場合、登録情報蓄積手段20020は、前述したように人物認証用辞書として動作するので、人物判定手段20040の無い人物認証装置は、人物認証用辞書更新装置として動作する。
ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された人物認証用辞書更新プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。人物認証用辞書更新装置として動作させる情報処理装置を、ROMに記憶された人物認証用辞書更新プログラムに基づき、特徴量抽出手段20090、照合手段20030、履歴蓄積判定手段20100、問い合わせ履歴更新手段20110、履歴情報照合手段20060、更新可否判定手段20070、および更新手段20080として制御部(CPU)を動作させることで実現することが可能である。
また、該人物認証用辞書更新プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された人物認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
[第3の実施の形態]
次に、本発明を実施するための第3の実施の形態について図面を参照して説明する。
図10を参照すると、本発明の第3の実施の形態に係る人物認証システムは、問い合わせ入力手段30110、結果表示手段30120、更新可否利用者確認手段30130、および通信手段30140を有した端末30100と、通信手段30300、制御手段30400、および蓄積手段30500を有したサーバとにより構成される。
制御手段30400は、特徴量抽出手段30410、履歴蓄積判定手段30420、問い合わせ履歴更新手段30430、更新可否判定手段30440、照合手段30450、人物判定手段30460、履歴情報照合手段30470、および更新手段30480から構成される。
蓄積手段30500は、登録情報蓄積手段(人物認証用辞書)30510と問い合わせ履歴蓄積手段30520とから構成される。
端末30100は、一例として写真撮影機能を有した携帯電話、スマートフォン等の携帯端末である。
サーバは、一例としてネットワークに接続可能なPC、ワークステーションなどである。
問い合わせ入力手段30110、更新可否利用者確認手段30130は、それぞれ、図6に示した問い合わせ入力手段20010、更新可否利用者確認手段20120と同一の構成で実現できるため、それらの説明を割愛する。
また、特徴量抽出手段30410、履歴蓄積判定手段30420、問い合わせ履歴更新手段30430、更新可否判定手段30440、照合手段30450、人物判定手段30460、履歴情報照合手段30470、および更新手段30480は、それぞれ、図6に図示した、特徴量抽出手段20090、履歴蓄積判定手段20100、問い合わせ履歴更新手段20110、更新可否判定手段20070、照合手段20030、人物判定手段20040、履歴情報照合手段20060、および更新手段20080と同一の構成で実現出来るため、それらの説明を割愛する。
結果表示手段30120は、照合結果を表示する。一例として、結果表示手段30120は、携帯端末のディスプレイからなる。結果であるため、視覚的な表示機器ではなく、アラーム等の音声出力機器や振動その他の出力デバイスを用いてもよい。
通信手段30300、30140は、端末30100とサーバとの通信をやり取りする。一例として、通信手段30300、30140は、ネットワークを介した通信を行う専用ボードなどがあげられる。
図10では特徴量抽出等の処理をサーバに配置する構成をとったが、端末側に蓄積手段、制御手段を有する構成として、一部の機能を端末側に配置する構成をとることもできる。
図11は、第3の実施の形態に係る人物認証システムの利用例を示す図である。無線ネットワークを通じて、利用者がそれぞれ問い合わせ入力を行い、それに応じてサーバ側が照合処理を行い、利用者に対して判定結果を送付する。サーバでは利用者毎に、問い合わせ履歴情報を問い合わせ履歴蓄積手段30520に保存し、利用者からの問い合わせにしたがって登録情報蓄積手段(人物認証用辞書)30510に蓄積された該利用者の登録情報を更新する。
なお、上述の各実施の形態において、実施の形態の処理は、プログラム、ソフトウェア、又はコンピュータによって実行されることが可能な命令でコード化された、コンピュータ読み取り可能な記憶媒体に格納された情報を、コンピュータにインストールすることによって実行されてもよい。記憶媒体には、光ディスク、フロッピー(登録商標)ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1) 認識対象となる人物の生体情報を保存する人物認証用辞書を更新する方法であって、
所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段に蓄積する蓄積工程と、
前記蓄積された問い合わせ生体情報同士の類似度を測定して、生体情報の対毎の類似度を作成する作成工程と、
類似度が高いと判定された生体情報の対に基づき、前記人物認証用辞書を更新する更新工程と、
を含むことを特徴とする人物認証用辞書更新方法。
(付記2) 前記更新工程は、類似する生体情報の対の総数があらかじめ定めた数以上であったときに、前記類似度が高いと判定された生体情報の対をなす少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する、
ことを特徴とする付記1に記載の人物認証用辞書更新方法。
(付記3) 前記更新工程は、類似する生体情報の対により相互に隣接する生体情報の最大値があらかじめ定めた数以上であったときに、前記相互に隣接する生体情報の最大値を与える生体情報群のうち少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する、
ことを特徴とする付記1に記載の人物認証用辞書更新方法。
(付記4) 前記蓄積工程は、認証を行う対象となる人物毎に問い合わせ生体情報を前記履歴蓄積手段に蓄積し、
前記作成工程は、前記対象人物毎に、前記蓄積された問い合わせ生体情報同士の類似度を測定して、前記生体情報の対毎の類似度を作成する、
ことを特徴とする付記1乃至3のいずれか一項に記載の人物認証用辞書更新方法。
(付記5) 受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合工程を含み、
前記蓄積工程は、前記照合工程において算出された前記受け付けた問い合わせ生体情報の類似度が所定の類似度より高いと判定された場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として前記履歴蓄積手段に蓄積する、
ことを特徴とする付記4に記載の人物認証用辞書更新方法。
(付記6) 受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合工程を含み、
前記蓄積工程は、前記照合工程において算出された前記受け付けた問い合わせ生体情報の類似度が、あらかじめ定めた第1の類似度より高く、あらかじめ定めた第2の類似度より低かった場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として前記履歴蓄積手段に蓄積する、
ことを特徴とする付記4に記載の人物認証用辞書更新方法。
(付記7) 前記蓄積工程は、問い合わせ生体情報と前記人物認証用辞書との照合以外の方法で、対象人物が特定される場合には、前記問い合わせ生体情報を対応する人物の問い合わせ用生体情報として前記履歴蓄積手段に蓄積する、
ことを特徴とする付記4乃至6いずれか一項に記載の人物認証用辞書更新方法。
(付記8) 前記蓄積工程は、前記問い合わせ生体情報として、生体情報から抽出した特徴量を前記履歴蓄積手段に蓄積する、
ことを特徴とする付記1乃至7のいずれか一項に記載の人物認証用辞書更新方法。
(付記9) 前記更新に用いる問い合わせ生体情報が選択された際に、利用者または管理者に対して更新の有無の確認を行う確認工程を更に含み、
前記更新工程は、前記確認工程にて更新指示が出た際に更新を行う、
ことを特徴とする付記1乃至8のいずれか一項に記載の人物認証用辞書更新方法。
(付記10) 前記人物の生体情報は、顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報のうち少なくともいずれか1つであることを特徴とする
付記1乃至9のいずれか一項に記載の人物認証用辞書更新方法。
(付記11) 認識対象となる人物の生体情報を保存する人物認証用辞書を更新する人物認証用辞書更新装置であって、
所定の期間内に受け付けた、問い合わせ生体情報を蓄積する履歴蓄積手段と、
前記蓄積された問い合わせ生体情報同士の類似度を測定して、生体情報の対毎の類似度を作成する作成手段と、
類似度が高いと判定された生体情報の対に基づき、前記人物認証用辞書を更新する更新部と、
を備えたことを特徴とする人物認証用辞書更新装置。
(付記12) 前記更新部は、類似する生体情報の対の総数があらかじめ定めた数以上であったときに、前記類似度が高いと判定された生体情報の対をなす少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する、
ことを特徴とする付記11に記載の人物認証用辞書更新装置。
(付記13) 前記更新部は、類似する生体情報の対により相互に隣接する生体情報の最大値があらかじめ定めた数以上であったときに、前記相互に隣接する生体情報の最大値を与える生体情報群のうち少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する、
ことを特徴とする付記11に記載の人物認証用辞書更新装置。
(付記14) 前記履歴蓄積手段は、認証を行う対象となる人物毎に問い合わせ生体情報を蓄積し、
前記作成手段は、前記対象人物毎に、前記蓄積された問い合わせ生体情報同士の類似度を測定して、前記生体情報の対毎の類似度を作成する、
ことを特徴とする付記11乃至13のいずれか一項に記載の人物認証用辞書更新装置。
(付記15) 受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合手段を含み、
前記履歴蓄積手段は、前記照合手段において算出された前記受け付けた問い合わせ生体情報の類似度が所定の類似度より高いと判定された場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として蓄積する、
ことを特徴とする付記14に記載の人物認証用辞書更新装置。
(付記16) 受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合手段を含み、
前記履歴蓄積手段は、前記照合手段において算出された前記受け付けた問い合わせ生体情報の類似度が、あらかじめ定めた第1の類似度より高く、あらかじめ定めた第2の類似度より低かった場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として蓄積する、
ことを特徴とする付記14に記載の人物認証用辞書更新装置。
(付記17) 前記履歴蓄積手段は、問い合わせ生体情報と前記人物認証用辞書との照合以外の方法で、対象人物が特定される場合には、前記問い合わせ生体情報を対応する人物の問い合わせ用生体情報として蓄積する、
ことを特徴とする付記14乃至16いずれか一項に記載の人物認証用辞書更新装置。
(付記18) 前記履歴蓄積手段は、前記問い合わせ生体情報として、生体情報から抽出した特徴量を蓄積する、
ことを特徴とする付記11乃至17のいずれか一項に記載の人物認証用辞書更新装置。
(付記19) 前記更新に用いる問い合わせ生体情報が選択された際に、利用者または管理者に対して更新の有無の確認を行う確認手段を更に含み、
前記更新部は、前記確認手段によって更新指示が出た際に更新を行う、
ことを特徴とする付記11乃至18のいずれか一項に記載の人物認証用辞書更新装置。
(付記20) 前記人物の生体情報は、顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報のうち少なくともいずれか1つであることを特徴とする
付記11乃至19のいずれか一項に記載の人物認証用辞書更新装置。
(付記21) コンピュータに、認識対象となる人物の生体情報を保存する人物認証用辞書を更新させる人物認証用辞書更新プログラムであって、前記コンピュータに、
所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段に蓄積する蓄積手順と、
前記蓄積された問い合わせ生体情報同士の類似度を測定して、生体情報の対毎の類似度を作成する作成手順と、
類似度が高いと判定された生体情報の対に基づき、前記人物認証用辞書を更新する更新手順と、
を実行させる人物認証用辞書更新プログラム。
(付記22) 前記更新手順は、前記コンピュータに、類似する生体情報の対の総数があらかじめ定めた数以上であったときに、前記類似度が高いと判定された生体情報の対をなす少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新させる、
付記21に記載の人物認証用辞書更新プログラム。
(付記23) 前記更新手順は、前記コンピュータに、類似する生体情報の対により相互に隣接する生体情報の最大値があらかじめ定めた数以上であったときに、前記相互に隣接する生体情報の最大値を与える生体情報群のうち少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新させる、
付記21に記載の人物認証用辞書更新プログラム。
(付記24) 前記蓄積手順は、前記コンピュータに、認証を行う対象となる人物毎に問い合わせ生体情報を前記履歴蓄積手段に蓄積させ、
前記作成手順は、前記コンピュータに、前記対象人物毎に、前記蓄積された問い合わせ生体情報同士の類似度を測定して、前記生体情報の対毎の類似度を作成させる、
付記21乃至23のいずれか一項に記載の人物認証用辞書更新プログラム。
(付記25) 前記コンピュータに、受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合手順をさらに実行させ、
前記蓄積手順は、前記コンピュータに、前記照合手順において算出された前記受け付けた問い合わせ生体情報の類似度が所定の類似度より高いと判定された場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として前記履歴蓄積手段に蓄積させる、
付記24に記載の人物認証用辞書更新プログラム。
(付記26) 前記コンピュータに、受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合手順をさらに実行させ、
前記蓄積手順は、前記コンピュータに、前記照合手順において算出された前記受け付けた問い合わせ生体情報の類似度が、あらかじめ定めた第1の類似度より高く、あらかじめ定めた第2の類似度より低かった場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として前記履歴蓄積手段に蓄積させる、
付記24に記載の人物認証用辞書更新プログラム。
(付記27) 前記蓄積手順は、前記コンピュータに、問い合わせ生体情報と前記人物認証用辞書との照合以外の方法で、対象人物が特定される場合には、前記問い合わせ生体情報を対応する人物の問い合わせ用生体情報として前記履歴蓄積手段に蓄積させる、
付記24乃至26いずれか一項に記載の人物認証用辞書更新プログラム。
(付記28) 前記蓄積手順は、前記コンピュータに、前記問い合わせ生体情報として、生体情報から抽出した特徴量を前記履歴蓄積手段に蓄積させる、
付記21乃至27のいずれか一項に記載の人物認証用辞書更新プログラム。
(付記29) 前記コンピュータに、前記更新に用いる問い合わせ生体情報が選択された際に、利用者または管理者に対して更新の有無の確認を行う確認手順を更に実行させ、
前記更新手順は、前記コンピュータに、前記確認手順にて更新指示が出た際に更新を行わせる、
付記21乃至28のいずれか一項に記載の人物認証用辞書更新プログラム。
(付記30) 前記人物の生体情報は、顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報のうち少なくともいずれか1つであることを特徴とする
付記21乃至29のいずれか一項に記載の人物認証用辞書更新プログラム。
(付記31) 少なくとも1つの端末と、サーバとから構成され、人物の認証を行う人物認証システムであって、前記サーバは、
認識対象となる前記人物の生体情報を保存する人物認証用辞書と、
前記少なくとも1つの端末から所定の期間内に受け付けた、問い合わせ生体情報を蓄積する履歴蓄積手段と、
前記蓄積された問い合わせ生体情報同士の類似度を測定して、生体情報の対毎の類似度を作成する作成手段と、
類似度が高いと判定された生体情報の対に基づき、前記人物認証用辞書を更新する更新部と、
前記少なくとも1つの端末から受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合手段と、
を備えたことを特徴とする人物認証システム。
(付記32) 前記更新部は、類似する生体情報の対の総数があらかじめ定めた数以上であったときに、前記類似度が高いと判定された生体情報の対をなす少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する、
ことを特徴とする付記31に記載の人物認証システム。
(付記33) 前記更新部は、類似する生体情報の対により相互に隣接する生体情報の最大値があらかじめ定めた数以上であったときに、前記相互に隣接する生体情報の最大値を与える生体情報群のうち少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する、
ことを特徴とする付記31に記載の人物認証システム。
(付記34) 前記履歴蓄積手段は、認証を行う対象となる人物毎に問い合わせ生体情報を蓄積し、
前記作成手段は、前記対象人物毎に、前記蓄積された問い合わせ生体情報同士の類似度を測定して、前記生体情報の対毎の類似度を作成する、
ことを特徴とする付記31乃至33のいずれか一項に記載の人物認証システム。
(付記35) 前記履歴蓄積手段は、前記照合手段において算出された前記受け付けた問い合わせ生体情報の類似度が所定の類似度より高いと判定された場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として蓄積する、
ことを特徴とする付記34に記載の人物認証システム。
(付記36) 前記履歴蓄積手段は、前記照合手段において算出された前記受け付けた問い合わせ生体情報の類似度が、あらかじめ定めた第1の類似度より高く、あらかじめ定めた第2の類似度より低かった場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として蓄積する、
ことを特徴とする付記34に記載の人物認証システム。
(付記37) 前記履歴蓄積手段は、問い合わせ生体情報と前記人物認証用辞書との照合以外の方法で、対象人物が特定される場合には、前記問い合わせ生体情報を対応する人物の問い合わせ用生体情報として蓄積する、
ことを特徴とする付記34乃至36いずれか一項に記載の人物認証システム。
(付記38) 前記履歴蓄積手段は、前記問い合わせ生体情報として、生体情報から抽出した特徴量を蓄積する、
ことを特徴とする付記31乃至37のいずれか一項に記載の人物認証システム。
(付記39) 前記少なくとも1つの端末は、前記更新に用いる問い合わせ生体情報が選択された際に、利用者または管理者に対して更新の有無の確認を行う確認手段を含み、
前記更新部は、前記確認手段によって更新指示が出た際に更新を行う、
ことを特徴とする付記31乃至38のいずれか一項に記載の人物認証システム。
(付記40) 前記人物の生体情報は、顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報のうち少なくともいずれか1つであることを特徴とする
付記31乃至39のいずれか一項に記載の人物認証システム。
本発明は、ビルの入退室の管理や勤務管理などを生体情報を用いて行うシステムに適用可能である。また、携帯電話等の個人の端末の利用に際して利用者確認を、生体情報を利用して行うシステムに適用可能である。また、本発明は、携帯端末等を利用したソーシャルネットワークサービスなどで、あらかじめ登録した会員間の情報を交換するコミュニケーションシステムでの交換するための対象者の特定や管理に生体情報を利用する際に適用できる。また、本発明は、ソーシャルネットワークサービスのみならず、企業間の連絡やビジネス利用、展示会などでのコミュニケーションのための認証システムへの適用など、生体認証を用いた利用管理、コミュニケーション会員管理、情報調査など広い範囲の生体認証システムに適用可能である。
10010 問い合わせ入力手段
10020 登録情報蓄積手段
10030 照合手段
10040 人物判定手段
10050 問い合わせ履歴蓄積手段
10060 履歴情報照合手段
10070 更新可否判定手段
10080 更新手段
20010 問い合わせ入力手段
20020 登録情報蓄積手段
20030 照合手段
20040 人物判定手段
20050 問い合わせ履歴蓄積手段
20060 履歴情報照合手段
20070 更新可否判定手段
20080 更新手段
20090 特徴量抽出手段
20100 履歴蓄積判定手段
20110 問い合わせ履歴更新手段
20120 更新可否利用者確認手段
30100 端末
30110 問い合わせ入力手段
30120 結果表示手段
30130 更新可否利用者確認手段
30140 通信手段
30300 通信手段
30400 制御手段
30410 特徴量抽出手段
30420 履歴蓄積判定手段
30430 問い合わせ履歴更新手段
30440 更新可否判定手段
30450 照合手段
30460 人物判定手段
30470 履歴情報照合手段
30480 更新手段
30500 蓄積手段
30510 登録情報蓄積手段
30520 問い合わせ履歴蓄積手段

Claims (11)

  1. 認識対象となる人物の生体情報を保存する人物認証用辞書を更新する方法であって、
    所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段に蓄積する蓄積工程と、
    蓄積された前記問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された前記問い合わせ生体情報の対、類似度が高い生体情報の対とする履歴情報照合工程と、
    前記類似度が高い生体情報の対の数が、あらかじめ定めた数以上であったときに、前記類似度が高い生体情報の対をなす少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する更新工程と、
    を含むことを特徴とする人物認証用辞書更新方法。
  2. 認識対象となる人物の生体情報を保存する人物認証用辞書を更新する方法であって、
    所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段に蓄積する蓄積工程と、
    蓄積された前記問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された前記問い合わせ生体情報の対を、類似度が高い生体情報の対とする履歴情報照合工程と、
    前記類似度が高い生体情報の対のうち、どちらかの生体情報と同じ生体情報を有する前記類似度が高い生体情報の対は同じグループとし、各グループに含まれる前記類似度が高い生体情報の対の数の最大値が、あらかじめ定めた数以上であったときに、前記類似度が高い生体情報の対の数が最大値のグループに含まれる生体情報のうち少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する更新工程と
    を含むことを特徴とする人物認証用辞書更新方法。
  3. 前記蓄積工程は、照合された人物の人物識別子に対応させて前記問い合わせ生体情報を前記履歴蓄積手段に蓄積し、
    前記履歴情報照合工程は、同一の前記人物識別子に対応する前記問い合わせ生体情報同士の類似度を算出する、
    ことを特徴とする請求項1または2に記載の人物認証用辞書更新方法。
  4. 受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合工程を含み、
    前記蓄積工程は、前記照合工程において算出された前記受け付けた問い合わせ生体情報の類似度が所定の類似度より高いと判定された場合に、前記受け付けた問い合わせ生体情報を対応する人物問い合わせ生体情報として前記履歴蓄積手段に蓄積する
    ことを特徴とする請求項に記載の人物認証用辞書更新方法。
  5. 受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合工程を含み、
    前記蓄積工程は、前記照合工程において算出された前記受け付けた問い合わせ生体情報の類似度が、あらかじめ定めた第1の類似度より高く、あらかじめ定めた第2の類似度より低かった場合に、前記受け付けた問い合わせ生体情報を対応する人物の問い合わせ生体情報として前記履歴蓄積手段に蓄積する、
    ことを特徴とする請求項に記載の人物認証用辞書更新方法。
  6. 認識対象となる人物の生体情報を保存する人物認証用辞書を更新する人物認証用辞書更新装置であって、
    所定の期間内に受け付けた、問い合わせ生体情報を蓄積する履歴蓄積手段と、
    蓄積された前記問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された前記問い合わせ生体情報の対を、類似度が高い生体情報の対とする履歴情報照合手段と、
    前記類似度が高い生体情報の対の数が、あらかじめ定めた数以上であったときに、前記類似度が高い生体情報の対をなす少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する更新手段と
    を備えたことを特徴とする人物認証用辞書更新装置
  7. 認識対象となる人物の生体情報を保存する人物認証用辞書を更新する人物認証用辞書更新装置であって、
    所定の期間内に受け付けた、問い合わせ生体情報を蓄積する履歴蓄積手段と、
    蓄積された前記問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された前記問い合わせ生体情報の対を、類似度が高い生体情報の対とする履歴情報照合手段と、
    前記類似度が高い生体情報の対のうち、どちらかの生体情報と同じ生体情報を有する前記類似度が高い生体情報の対は同じグループとし、各グループに含まれる前記類似度が高い生体情報の対の数の最大値が、あらかじめ定めた数以上であったときに、前記類似度が高い生体情報の対の数が最大値のグループに含まれる生体情報のうち少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する更新手段と
    を備えたことを特徴とする人物認証用辞書更新装置
  8. コンピュータに、認識対象となる人物の生体情報を保存する人物認証用辞書を更新させる人物認証用辞書更新プログラムであって、前記コンピュータに、
    所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段に蓄積する蓄積手順と、
    蓄積された前記問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された前記問い合わせ生体情報の対、類似度が高い生体情報の対とする履歴情報照合手順と、
    前記類似度が高い生体情報の対の数が、あらかじめ定めた数以上であったときに、前記類似度が高い生体情報の対をなす少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する更新手順と、
    実行させる人物認証用辞書更新プログラム
  9. コンピュータに、認識対象となる人物の生体情報を保存する人物認証用辞書を更新させる人物認証用辞書更新プログラムであって、前記コンピュータに、
    所定の期間内に受け付けた、問い合わせ生体情報を履歴蓄積手段に蓄積する蓄積手順と、
    蓄積された前記問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された前記問い合わせ生体情報の対を、類似度が高い生体情報の対とする履歴情報照合手順と、
    前記類似度が高い生体情報の対のうち、どちらかの生体情報と同じ生体情報を有する前記類似度が高い生体情報の対は同じグループとし、各グループに含まれる前記類似度が高い生体情報の対の数の最大値が、あらかじめ定めた数以上であったときに、前記類似度が高い生体情報の対の数が最大値のグループに含まれる生体情報のうち少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する更新手順と、
    を実行させる人物認証用辞書更新プログラム。
  10. 少なくとも1つの端末と、サーバとから構成され、人物の認証を行う人物認証システムであって、前記サーバは、
    認識対象となる前記人物の生体情報を保存する人物認証用辞書と、
    前記少なくとも1つの端末から所定の期間内に受け付けた、問い合わせ生体情報を蓄積する履歴蓄積手段と、
    蓄積された前記問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された前記問い合わせ生体情報の対、類似度が高い生体情報の対とする履歴情報照合手段と、
    前記類似度が高い生体情報の対の数が、あらかじめ定めた数以上であったときに、前記類似度が高い生体情報の対をなす少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する更新手段と
    前記少なくとも1つの端末から受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合手段と、
    を備えたことを特徴とする人物認証システム。
  11. 少なくとも1つの端末と、サーバとから構成され、人物の認証を行う人物認証システムであって、前記サーバは、
    認識対象となる前記人物の生体情報を保存する人物認証用辞書と、
    前記少なくとも1つの端末から所定の期間内に受け付けた、問い合わせ生体情報を蓄積する履歴蓄積手段と、
    蓄積された前記問い合わせ生体情報同士の類似度を算出して、当該類似度があらかじめ定めた閾値以上か判定し、類似度が閾値以上と判定された前記問い合わせ生体情報の対を、類似度が高い生体情報の対とする履歴情報照合手段と、
    前記類似度が高い生体情報の対のうち、どちらかの生体情報と同じ生体情報を有する前記類似度が高い生体情報の対は同じグループとし、各グループに含まれる前記類似度が高い生体情報の対の数の最大値が、あらかじめ定めた数以上であったときに、前記類似度が高い生体情報の対の数が最大値のグループに含まれる生体情報のうち少なくとも一つの生体情報を用いて、前記人物認証用辞書を更新する更新手段と、
    前記少なくとも1つの端末から受け付けた問い合わせ生体情報と前記人物認証用辞書とを照合する照合手段と、
    を備えたことを特徴とする人物認証システム。
JP2012211273A 2012-09-25 2012-09-25 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム Active JP5805040B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012211273A JP5805040B2 (ja) 2012-09-25 2012-09-25 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム
US14/429,572 US20150234881A1 (en) 2012-09-25 2013-07-19 Person Authentication Dictionary Update Method, Person Authentication Dictionary Update Apparatus, Recording Medium, and Person Authentication System
PCT/JP2013/070257 WO2014050281A1 (ja) 2012-09-25 2013-07-19 人物認証用辞書更新方法、人物認証用辞書更新装置、記録媒体及び人物認証システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012211273A JP5805040B2 (ja) 2012-09-25 2012-09-25 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム

Publications (2)

Publication Number Publication Date
JP2014067171A JP2014067171A (ja) 2014-04-17
JP5805040B2 true JP5805040B2 (ja) 2015-11-04

Family

ID=50387695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012211273A Active JP5805040B2 (ja) 2012-09-25 2012-09-25 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム

Country Status (3)

Country Link
US (1) US20150234881A1 (ja)
JP (1) JP5805040B2 (ja)
WO (1) WO2014050281A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6036335B2 (ja) * 2013-01-24 2016-11-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6141207B2 (ja) * 2014-01-07 2017-06-07 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6281425B2 (ja) * 2014-06-27 2018-02-21 富士通株式会社 秘匿データ照合装置、秘匿データ更新プログラムおよび秘匿データ更新方法
US10547610B1 (en) * 2015-03-31 2020-01-28 EMC IP Holding Company LLC Age adapted biometric authentication
JP6707271B2 (ja) * 2015-10-20 2020-06-10 株式会社ステップワン 個人認証装置,個人認証方法および個人認証プログラム
CN108304746B (zh) * 2017-01-11 2022-09-13 北京三星通信技术研究有限公司 更新用于心电身份认证的认证参考信息的方法及设备
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
CN108875491B (zh) * 2017-10-11 2021-03-23 北京旷视科技有限公司 人脸解锁认证的数据更新方法、认证设备和系统以及非易失性存储介质
CN111125391B (zh) * 2018-11-01 2024-06-07 北京市商汤科技开发有限公司 数据库更新方法和装置、电子设备、计算机存储介质
KR102162882B1 (ko) * 2019-02-01 2020-10-07 한국인식산업(주) 생체 인식을 통한 사용자 인증을 실시하기 위한 단말기 및 방법
CN112150557B (zh) * 2020-09-14 2024-04-19 阿波罗智联(北京)科技有限公司 用于路侧感知相机数据流的众数获取方法、装置及介质
CN113297552B (zh) * 2021-02-05 2023-11-17 中国银联股份有限公司 基于生物特征id链的验证方法及其验证系统、用户终端
WO2022230022A1 (ja) * 2021-04-26 2022-11-03 日本電気株式会社 画像処理装置
JP7028356B1 (ja) 2021-07-12 2022-03-02 三菱電機株式会社 生体認証システム、入退管理システム、生体認証装置、生体認証プログラム、および生体認証方法
WO2023187996A1 (ja) * 2022-03-29 2023-10-05 日本電気株式会社 認証システム、認証方法およびコンピュータ可読媒体
JP7335651B1 (ja) * 2022-08-05 2023-08-30 株式会社Interior Haraguchi 顔認証決済システムおよび顔認証決済方法
CN117975599A (zh) * 2022-10-26 2024-05-03 浙江宇视科技有限公司 一种生物识别方法、更新方法、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163572A (ja) * 1998-11-26 2000-06-16 Mitsubishi Electric Corp 指紋照合装置及び指紋照合方法
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
JP2008009835A (ja) * 2006-06-30 2008-01-17 Kyocera Mita Corp 操作表示装置
JP5245971B2 (ja) * 2009-03-26 2013-07-24 富士通株式会社 生体情報処理装置および方法
JP5407806B2 (ja) * 2009-11-25 2014-02-05 富士通株式会社 認証制御サーバ装置、認証データ更新方法、及び認証データ更新プログラム
JP5397479B2 (ja) * 2009-12-08 2014-01-22 富士通株式会社 生体認証システム及び生体認証方法
JP5617627B2 (ja) * 2010-12-28 2014-11-05 オムロン株式会社 監視装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20150234881A1 (en) 2015-08-20
JP2014067171A (ja) 2014-04-17
WO2014050281A1 (ja) 2014-04-03

Similar Documents

Publication Publication Date Title
JP5805040B2 (ja) 人物認証用辞書更新方法、人物認証用辞書更新装置、人物認証用辞書更新プログラム及び人物認証システム
KR100847532B1 (ko) 사용자의 행동 패턴 정보를 이용한 사용자 인증에 사용되는사용자 단말기 및 인증 장치
US10275671B1 (en) Validating identity and/or location from video and/or audio
US9742764B1 (en) Performing biometrics in uncontrolled environments
JP6268960B2 (ja) 画像認識装置及び画像認識装置に対するデータ登録方法
WO2017198014A1 (zh) 一种身份认证方法和装置
US20210350346A1 (en) System and method for using passive multifactor authentication to provide access to secure services
EP1260941A2 (en) Face image recording system
CN110414550B (zh) 人脸识别模型的训练方法、装置、系统和计算机可读介质
WO2011114520A1 (ja) 識別装置、識別方法、及びプログラム
AU2011252761B2 (en) Automatic identity enrolment
JP2002236665A (ja) 個人認証装置
JP2010049357A (ja) 認証装置、認証システム及び認証方法
TW202018577A (zh) 基於資料融合的人員辨識方法
CN106570367B (zh) 基于键盘操作的用户身份识别方法和装置
JP2006085268A (ja) 生体認証システムおよび生体認証方法
CN113792668A (zh) 人脸识别及门禁控制方法、装置、计算机设备及存储介质
AU2011252761A1 (en) Automatic identity enrolment
AU2017239587A1 (en) Information processing device, authentication system, authentication method, and program
CN114127801A (zh) 跨设备网络使用人物可识别性的系统和方法
JP4057501B2 (ja) 認証システム及びコンピュータ読み取り可能な記憶媒体
JP6855266B2 (ja) 顔認証システム、顔認証方法、及び顔認証プログラム
JP2006085289A (ja) 顔認証システムおよび顔認証方法
JP4533679B2 (ja) 個人認証方法及び該システム
CN110546638A (zh) 生物特征认证的改进

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140114

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20140430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150901

R150 Certificate of patent or registration of utility model

Ref document number: 5805040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250