JP6958952B2 - マスター顔画像の登録装置、登録方法、プログラム、および記録媒体 - Google Patents

マスター顔画像の登録装置、登録方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP6958952B2
JP6958952B2 JP2020541158A JP2020541158A JP6958952B2 JP 6958952 B2 JP6958952 B2 JP 6958952B2 JP 2020541158 A JP2020541158 A JP 2020541158A JP 2020541158 A JP2020541158 A JP 2020541158A JP 6958952 B2 JP6958952 B2 JP 6958952B2
Authority
JP
Japan
Prior art keywords
face image
authentication
master
attribute
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020541158A
Other languages
English (en)
Other versions
JPWO2020050119A1 (ja
Inventor
一秀 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solutions Innovators Ltd
Original Assignee
NEC Solutions Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solutions Innovators Ltd filed Critical NEC Solutions Innovators Ltd
Publication of JPWO2020050119A1 publication Critical patent/JPWO2020050119A1/ja
Application granted granted Critical
Publication of JP6958952B2 publication Critical patent/JP6958952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本発明は、顔画像認証用のマスター顔画像の登録装置、登録方法、プログラム、および記録媒体に関する。
様々な分野において、顔画像解析による本人認証（以下、顔画像認証という）が利用されている。前記顔画像認証は、予め、登録対象者の顔画像がマスター顔画像として記憶され、ライブで得られた被認証者の顔画像をクエリー顔画像として、前記マスター顔画像と照合し、一致する場合に本人認証される。
しかし、顔画像認証においては、被認証者が、被認証者本人とは異なる登録対象者として認証される、いわゆる誤認証が生じる場合がある。このため、誤認証の抑制は、顔画像認証において重要な課題となっている。
そこで、本発明は、誤認証の発生を抑制する新たなシステムの提供を目的とする。
前記目的を達成するために、本発明のマスター顔画像の登録装置は、
画像情報取得部、誤認証情報抽出部、類否判定部、スコア算出部、適性判定部、および、出力部を含み、
前記画像情報取得部は、
顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得し、
前記誤認証情報抽出部は、
顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出し、
前記類否判定部は、
前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報との類否を判定し、
前記スコア算出部は、
類似と判断した場合、撮像属性項目ごとに設定した誤認証の発生への関与の度合いを示す重み付けを行い、
前記撮像属性ごとの重み付けを合算した合算スコアを算出し、
前記適性判定部は、
前記合算スコアが既定の閾値を満たす場合、前記候補顔画像がマスター顔画像として不適と判定し、
前記出力部は、
不適と判断した場合、前記候補顔画像がマスター顔画像として不適との判定結果を出力する
ことを特徴とする。
本発明のマスター顔画像の登録方法は、
画像情報取得工程、誤認証情報抽出工程、類否判定工程、スコア算出工程、適性判定工程、および、出力工程を含み、
前記画像情報取得工程は、
顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得し、
前記誤認証情報抽出工程は、
顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出し、
前記類否判定工程は、
前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報との類否を判定し、
前記スコア算出工程は、
類似と判断した場合、撮像属性項目ごとに設定した誤認証の発生への関与の度合いを示す重み付けを行い、
前記撮像属性ごとの重み付けを合算した合算スコアを算出し、
前記適性判定工程は、
前記合算スコアが既定の閾値を満たす場合、前記候補顔画像がマスター顔画像として不適と判定し、
前記出力工程は、
不適と判断した場合、前記候補顔画像がマスター顔画像として不適との判定結果を出力する
ことを特徴とする。
本発明のプログラムは、前記本発明の登録方法をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録したことを特徴とする。
本発明によれば、マスター顔画像の候補について、誤認証を発生する可能性があるか否かを判定できるため、発生する可能性があると判定された候補を、マスター顔画像として登録することを防止できる。このため、結果的に、例えば、顔画像認証における誤認証の発生を抑制できる。
図１は、実施形態１の登録装置の一例を示すブロック図である。 図２は、実施形態１の登録装置のハードウェア構成の一例を示すブロック図である。 図３は、実施形態１の登録方法の一例を示すフローチャートである。
本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
［実施形態１］
本発明のマスター顔画像の登録装置および登録方法の一例について、図を用いて説明する。
図１は、本発明の実施形態１による登録装置１の一例の構成を示すブロック図である。登録装置１は、画像情報取得部１１、誤認証情報抽出部１２、類否判定部１３、スコア算出部１４、適性判定部１５、出力部１６を含む。登録装置１は、例えば、登録システムともいう。
登録装置１は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等があげられる。登録装置１は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ）でもよい。
登録装置１は、例えば、顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報が記憶されたデータベース３と、通信回線網２を介して接続可能である。通信回線網２は、例えば、前述と同様である。本実施形態は、図１に示すように、登録装置１とデータベース３とが、通信回線網２を介して接続する例をあげたが、これには制限されない。本発明の登録装置は、例えば、さらに、記憶部を含んでもよい。前記記憶部は、例えば、前記データベースを記憶した誤認証情報記憶部を有してもよい。
図２に、図１の登録装置１のハードウェア構成のブロック図を例示する。登録装置１は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ１０２、入力装置１０３、ディスプレイ１０４、通信デバイス１０５、記憶装置１０６等を有する。前記ハードウェア構成において各部は、例えば、それぞれのインターフェース（Ｉ／Ｆ）により、バス１０８を介して、相互に接続されている。
ＣＰＵ１０１は、登録装置１の全体の制御を担う。登録装置１において、ＣＰＵ１０１により、例えば、本発明のプログラム等の動作プログラムを含むプログラム１０７が実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、登録装置１は、例えば、ＣＰＵ１０１が、画像情報取得部１１、誤認証情報抽出部１２、類否判定部１３、スコア算出部１４、適性判定部１５として機能する。
登録装置１は、例えば、バス１０８に接続された通信デバイス１０５により、通信回線網に接続でき、前記通信回線網を介して、外部機器とも接続できる。前記外部機器は、特に制限されず、例えば、マスター顔画像の候補となる候補顔画像を撮像する撮像装置（例えば、カメラ）、撮像された候補顔画像が記憶された外部端末等があげられる。前記外部端末は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等があげられる。登録装置１と前記外部機器との接続方式は、特に制限されず、例えば、有線による接続でもよいし、無線による接続でもよい。前記有線による接続は、例えば、コードによる接続でもよいし、通信回線網を利用するためのケーブル等による接続でもよい。前記無線による接続は、例えば、通信回線網を利用した接続でもよいし、無線通信を利用した接続でもよい。前記通信回線網は、特に制限されず、例えば、公知の通信回線網を使用でき、前述と同様である。登録装置１と前記外部機器との接続形式は、例えば、ＵＳＢ等であってもよい。
メモリ１０２は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々のプログラム１０７を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラム１０７を実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。
記憶装置１０６は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。記憶装置１０６は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０６は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等も例示できる。記憶装置１０６は、例えば、本発明のプログラム等のプログラム１０７が格納される。記憶装置１０６は、例えば、前記誤認証情報記憶部等の記憶部であり、例えば、前記データベースが格納される。
登録装置１は、例えば、さらに、入力装置１０３、ディスプレイ１０４を有する。入力装置１０３は、例えば、タッチパネル、キーボード、マウス等である。ディスプレイ１０４は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等である。登録装置１は、例えば、ディスプレイ１０４に前記判定結果が出力されてもよいし、前記外部機器と接続し、前記判定結果を前記外部機器に出力することもできる。
登録装置１の説明に先立って、前記データベースについて説明する。前記データベースは、顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースである。
前記撮像属性項目は、特に制限されず、例えば、画像の撮影条件に関する属性項目および撮像画像に関する属性項目があげられ、いずれか一方でも両方を含んでもよい。
前記撮影条件の属性項目は、例えば、撮影者、場所、季節、時期、日にち、時間、天気、照明の種類、距離、および撮影手法等があげられる。前記撮像条件の属性項目は、例えば、１種類でもよいし、複数が好ましい。前記撮影者は、例えば、撮影者を識別する識別情報であり、具体例として、氏名、ニックネーム等があげられる。前記場所は、撮影場所であり、例えば、住所、建物の名前、施設の名前等があげられる。前記季節は、春、夏、秋、冬等である。前記時期は、例えば、月、月の上旬、中旬、下旬等である。前記日にちは、撮影日であり、前記時間は、撮影時間である。前記天気は、例えば、晴、曇、雨等である。前記照明の種類は、例えば、蛍光灯、ＬＥＤ、ダウンライト等である。前記距離は、例えば、カメラと被写体との距離、照明と被写体との距離（例えば、位置関係を含んでもよい）、照明とカメラとの距離等であり、具体的には、例えば、これらの距離の組合せである。前記撮影手法は、例えば、パン、チルト、ズーム、レンズの種類等があげられる。
前記撮像画像の属性項目は、例えば、撮像画像における顔の大きさ、および撮像画像における顔の傾き等があげられる。前記撮像画像の属性項目は、例えば、１種類でもよいし、複数が好ましい。「顔の大きさ」とは、例えば、撮像画像全体を基準として顔がしめる面積である。「顔の傾き」とは、例えば、画像における顔の水平傾きであり、具体例として、画像の上下方向に対する顔の中心線の傾きがあげられる。
これらの他に、撮像条件の属性項目としては、例えば、顔認証ポイント（認証エリアともいう）からの位置があげられる。前記認証ポイントとは、例えば、カメラが撮像するポイント（エリア）であり、前記顔認証ポイントからの位置とは、例えば、カメラからの被写体（撮像対象となる顔）の位置、すなわちカメラから被写体までの距離を意味する。
前記データベースは、例えば、機械学習を利用して、以下のように生成できる。顔画像認証においては、前述のように、予め複数のマスター顔画像が登録され、それらとクエリー顔画像とが照合される。照合の結果、あるマスター顔画像と前記クエリー顔画像とが認証されても、実際には、その認証が誤り（誤認証）の場合がある。そこで、顔画像認証において誤認証を生じた複数のマスター顔画像の撮像属性項目の属性条件を、学習データとして使用し、学習を行うことによって、誤認証への関与が有意である属性情報が選択され、前記選択された属性情報が、誤認証情報のデータベースとして生成される。なお、前記データベースの生成は、機械学習には制限されず、例えば、統計等から人為的に生成することもできる。
つぎに、登録装置１の各部について説明する。
画像情報取得部１１は、顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得する。前記撮像属性項目は、例えば、前述と同様であり、複数の項目の属性情報を取得することが好ましい。
誤認証情報抽出部１２は、前記データベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出する。抽出する属性情報の数は、特に制限されず、例えば、前記データベースと、前記候補顔画像との間において、同じ撮像属性項目であれば、複数でもよいし、全てでもよい。
類否判定部１３は、前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報との類否を判定する。前記撮像属性項目が複数の場合は、例えば、それぞれについて、類否（類似か非類似か）を判定する。類似は、例えば、同一の意味を含んでもよく、類否は、例えば、「同一」か「否か」でもよいし、「同一または類似」か「非類似」かでもよい。類否の判断基準は、特に制限されず、任意に設定でき、また、撮像属性項目ごとに設定できる。
前記類否の判断基準は、例えば、後述する重み付けの条件と対応させることが好ましい。前記撮像属性項目の類否の判断基準について、下記表１に例示するが、一例であって、本発明を何ら制限するものではない。登録装置１は、例えば、前記記憶部に前記類否の判断基準を予め記憶させてもよい。
Figure 0006958952
スコア算出部１４は、類否判定部１３において類似と判断した場合、撮像属性項目ごとに設定した誤認証の発生への関与の度合いを示す重み付けを行い、前記撮像属性ごとの重み付けを合算した合算スコアを算出する。前記重み付けは、撮像属性項目が、誤認証の発生に関与する度合い（例えば、誤認証が発生する確率の高さ）を意味する。前記重み付けは、例えば、任意に設定できる。重み付けは、例えば、値が高い程、誤認証に関与する度合いが高く、値が低い程、誤認証に関与する度合いが低い。また、類否判定部１３において非類似と判定した場合、重み付けは、「ゼロ」とすることができる。
前記撮像属性項目の重み付けについて、前記表１に合わせて例示するが、一例であって、本発明を何ら制限するものではない。登録装置１は、例えば、前記記憶部に、前記撮像属性項目ごとに重み付けを、予め記憶させてもよい。前記重み付けは、これらの他に、例えば、データベースとの一致度についても付与することができる。前記データベースとの一致度とは、例えば、前記データベースに登録されている顔画像と、登録しようとしている顔画像との一致度を意味する。前記重み付けは、例えば、機械学習によって設定してもよい。
前記重み付けは、例えば、誤認証を生じたマスター顔画像の情報の蓄積に伴って、変更していくことができる。また、前記重み付けは、例えば、項目ごとに独立して設定してもよいし、他の項目との組み合わせによって設定してもよい。後者の場合、例えば、以下のような例があげられる。すなわち、前記表１の具体例においては、場所が同じ場合に重み付け「+２」とし、季節が同じ場合に重み付け「+１」としているが、ある場所である季節に撮影した場合に、その撮像画像が誤認証を生じるマスター顔画像となる場合は、特定の場所と特定の季節の両方が同じ場合に、大きな重み付けするように設定することもできる。このように、各項目の組合せを反映することによって、適性判定部１５での後述する判定において、より適した判定が可能となる。また、項目の選択肢ごとに、重み付けを変更することもできる。すなわち、前記表１の具体例においては、場所が同じ場合に重み付けを「+２」としているが、場所によって誤認証の発生に違いが生じる場合は、ある場所については同じ場合に「+２」とし、ある場所については同じ場合でも「０」または「+１」等に設定することもできる。このように蓄積する情報に基づいて、重み付けを設定することによって、適性判定部１５での後述する判定において、より適した判定が可能となる。
前記候補顔画像について、各撮像属性項目の重み付けを合算することで、前記候補顔画像ごとに合算スコアが算出できる。
適性判定部１５は、前記合算スコアが既定の閾値を満たす場合、前記候補顔画像がマスター顔画像として不適と判定する。適性判定部１５は、例えば、前記合算スコアが既定の閾値を満たさない場合、前記候補顔画像がマスター顔画像として登録可能と判定することもできる。前記閾値は、特に制限されず、任意に設定できる。誤認証の可能性を相対的に厳しく判定する場合、前記閾値は、相対的に低く設定し、誤認証の可能性を相対的に緩く判定する場合、前記閾値は、相対的に高く設定してもよい。
出力部１６は、不適と判断した場合、前記候補顔画像がマスター顔画像として不適との判定結果を出力する。出力の方法は、特に制限されず、例えば、前述のように、ディスプレイ１０４に、判定結果を表示してもよいし、外部装置に出力してもよい。また、判定結果は、例えば、マスター顔画像としての登録に対するアラートでもよく、前記アラートは、例えば、ディスプレイ１０４に「登録不可」等の文字を表示してもよいし、登録不可を表す音の出力でもよい。
登録装置１は、例えば、さらに、マスター顔画像記憶部を含んでもよい。例えば、適性判定部１５が、前記合算スコアが既定の閾値を満たさないとして、前記候補顔画像がマスター顔画像として適切と判定した場合、前記マスター顔画像記憶部は、前記候補顔画像と、前記候補顔画像の属性情報とを紐づけて、マスター顔画像情報として記憶する。前記マスター顔画像記憶部は、すでにマスター顔画像として顔画像認証に使用されている顔画像を、その撮像属性項目の属性情報とあわせて記憶してもよい。この場合、登録装置１は、候補顔画像がマスター顔画像として適しているかを判定し、且つ、マスター顔画像として登録する顔画像登録装置ということもできる。
つぎに、本実施形態１の登録方法について説明する。本実施形態の登録方法は、例えば、図１および図２に示す登録装置１を用いて実施できる。なお、本発明の実施形態１による登録方法は、登録装置１の使用には限定されない。また、本実施形態の登録方法における記載は、前述した登録装置１に援用できる。
本実施形態の登録方法において、前記画像情報取得工程は、顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得する。前記工程は、例えば、登録装置１の画像情報取得部１１により実行できる。
本実施形態の登録方法において、前記誤認証情報抽出工程は、顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出する。前記工程は、例えば、登録装置１の誤認証情報抽出部１２により実行できる。
本実施形態の登録方法において、前記類否判定工程は、前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報との類否を判定する。前記工程は、例えば、登録装置１の類否判定部１３により実行できる。
本実施形態の登録方法において、前記スコア算出工程は、類似と判断した場合、撮像属性項目ごとに設定した誤認証の発生への関与の度合いを示す重み付けを行い、前記撮像属性ごとの重み付けを合算した合算スコアを算出する。前記工程は、例えば、登録装置１のスコア算出部１４により実行できる。
本実施形態の登録方法において、前記適性判定工程は、前記合算スコアが既定の閾値を満たす場合、前記候補顔画像がマスター顔画像として不適と判定する。また、例えば、前記合算スコアが既定の閾値を満たさない場合、前記候補顔画像がマスター顔画像として登録可能と判定することもできる。前記工程は、例えば、登録装置１の適性判定部１５により実行できる。
本実施形態の登録方法において、前記出力工程は、不適と判断した場合、前記候補顔画像がマスター顔画像として不適との判定結果を出力する。前記工程は、例えば、登録装置１の出力部１６により実行できる。
つぎに、本発明の実施形態１による登録方法について、図３のフローチャートを用いて、より具体的に説明する。なお、本発明の登録方法は、これらの例に制限されない。前記フローチャートは、一例として、以下の条件について説明するが、本発明は、これには何ら制限されない。
まず、顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得する（Ｓ１０１）。
そして、顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出する（Ｓ１０２）。本例では、仮に、マスク着用の顔画像であると仮定する。
つぎに、前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報とを照合し（Ｓ１０３）、前記撮像属性項目ごとに、類否を判定（Ｓ１０４）する。類否は、例えば、前記表１に基づいて行う。そして、前記属性情報が類似する場合（ＹＥＳ）、その撮像属性項目について、例えば、前記表１に基づきプラスの重み付けを行い（Ｓ１０５）、前記属性情報が非類似の場合（ＮＯ）、その撮像属性項目については、重み付けをしない（Ｓ１０６）。
そして、前記候補顔画像について、前記撮像属性ごとの重み付けを合算した合算スコアを算出する（Ｓ１０７）。
つぎに、前記合算スコアが誤認証に対する既定の閾値を満たすか否かを判定し（Ｓ１０８）、満たす場合（ＹＥＳ）、前記候補顔画像がマスター顔画像として不適と判定し（Ｓ１０９）、その判定結果を出力し（Ｓ１１０）、終了する（ＥＮＤ）。他方、閾値を満たさない場合（ＮＯ）、前記候補顔画像がマスター顔画像として登録可能と判定し（Ｓ１１１）、マスター顔画像として登録し（Ｓ１１２）、終了する（ＥＮＤ）。誤認証を生じるマスター顔画像となる可能性があるか否かの閾値は、前述のように任意に設定できる。
本実施形態の登録装置および登録方法によれば、例えば、誤認証判定を繰り返し行うことによって、例えば、照度の影響度が大きい、ある登録を実施した人物の登録画像選択による影響度が大きい、撮像の時間帯の影響度が大きい等を分析できる。そして、さらに、画像の登録時におけるレコメンドとして計数加算を行い、登録について注意喚起を促進することもできる。
［実施形態２］
本実施形態のプログラムは、前記実施形態１の登録方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
［実施形態３］
本実施形態は、本発明の顔認証装置および顔認証方法の一例である。本実施形態は、特に示さない限り、前記実施形態１の登録装置および登録方法と同様であり、その記載を援用できる。
本実施形態の顔認証装置は、顔画像認証用マスター顔画像の登録部と、顔画像認証用クエリー顔画像の取得部と、認証部とを含む。前記登録部は、前記本発明の登録装置を含み、マスター顔画像として不適と判定されなかった候補顔画像を、マスター顔画像として登録し、前記取得部は、クエリー顔画像を取得し、前記認証部は、前記クエリー顔画像と、登録された前記マスター顔画像とを照合し、一致する場合は、認証し、不一致の場合は、非認証とする。本実施形態の顔認証装置は、候補顔画像がマスター顔画像として適しているか否かを判定することが特徴であり、その他の構成は、何ら制限されない。本実施形態の顔認証装置は、例えば、前記実施形態１の登録装置であってもよく、前記実施形態１の登録装置が、さらに、前記クエリー画像取得部と、前記認証部とを含むことによって、顔認証装置となってもよい。
本実施形態の顔認証方法は、顔画像認証用マスター顔画像の登録工程と、顔画像認証用クエリー顔画像の取得工程と、認証工程とを含む。前記登録工程は、前記本発明の登録方法を含み、マスター顔画像として不適と判定されなかった候補顔画像を、マスター顔画像として登録し、前記取得工程は、クエリー顔画像を取得し、前記認証工程は、前記クエリー顔画像と、登録された前記マスター顔画像とを照合し、一致する場合は、認証し、不一致の場合は、非認証とする。
［実施形態４］
本実施形態のプログラムは、前記実施形態３の顔認証方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１８年９月６日に出願された日本出願特願２０１８−１６７１２７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
＜付記＞
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像情報取得部、誤認証情報抽出部、類否判定部、スコア算出部、適性判定部、および、出力部を含み、
前記画像情報取得部は、
顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得し、
前記誤認証情報抽出部は、
顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出し、
前記類否判定部は、
前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報との類否を判定し、
前記スコア算出部は、
類似と判断した場合、撮像属性項目ごとに設定した誤認証の発生への関与の度合いを示す重み付けを行い、
前記撮像属性ごとの重み付けを合算した合算スコアを算出し、
前記適性判定部は、
前記合算スコアが既定の閾値を満たす場合、前記候補顔画像がマスター顔画像として不適と判定し、
前記出力部は、
不適と判断した場合、前記候補顔画像がマスター顔画像として不適との判定結果を出力する
ことを特徴とするマスター顔画像の登録装置。
（付記２）
前記候補顔画像がマスター顔画像として不適と判定した場合、前記出力部は、マスター顔画像としての登録に対するアラートを出力する、付記１に記載の登録装置。
（付記３）
前記撮像属性項目が、撮影条件の属性項目および撮像画像の属性項目の少なくとも一方を含む、付記１または２に記載の登録装置。
（付記４）
前記撮影条件の属性項目が、撮影者、場所、季節、時期、日にち、時間、天気、照明の種類、距離、および撮影手法からなる群から選択された少なくとも一つを含む、付記３に記載の登録装置。
（付記５）
前記撮像画像の属性項目が、撮像画像における顔の大きさ、および画像における顔の傾きの少なくとも一方を含む、付記３または４に記載の登録装置。
（付記６）
さらに、マスター顔画像記憶部を含み、
前記適性判定部は、
前記合算スコアが既定の閾値を満たさない場合、前記候補顔画像がマスター顔画像として適切と判定し、
前記マスター顔画像記憶部は、
前記候補顔画像と、前記候補顔画像の属性情報とを紐づけて、マスター顔画像情報として記憶する、付記１から５のいずれかに記載の登録装置。
（付記７）
さらに、誤認証情報記憶部を有し、
前記誤認証情報記憶部は、前記データベースを記憶する、付記１から６のいずれかに記載の登録装置。
（付記８）
画像情報取得工程、誤認証情報抽出工程、類否判定工程、スコア算出工程、適性判定工程、および、出力工程を含み、
前記画像情報取得工程は、
顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得し、
前記誤認証情報抽出工程は、
顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出し、
前記類否判定工程は、
前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報との類否を判定し、
前記スコア算出工程は、
類似と判断した場合、撮像属性項目ごとに設定した誤認証の発生への関与の度合いを示す重み付けを行い、
前記撮像属性ごとの重み付けを合算した合算スコアを算出し、
前記適性判定工程は、
前記合算スコアが既定の閾値を満たす場合、前記候補顔画像がマスター顔画像として不適と判定し、
前記出力工程は、
不適と判断した場合、前記候補顔画像がマスター顔画像として不適との判定結果を出力する
ことを特徴とするマスター顔画像の登録方法。
（付記９）
前記候補顔画像がマスター顔画像として不適と判定した場合、前記出力工程は、マスター顔画像としての登録に対するアラートを出力する、付記８に記載の登録方法。
（付記１０）
前記撮像属性項目が、撮影条件の属性項目および撮像画像の属性項目の少なくとも一方を含む、付記８または９に記載の登録方法。
（付記１１）
前記撮影条件の属性項目が、撮影者、場所、季節、時期、日にち、時間、天気、照明の種類、距離、および撮影手法からなる群から選択された少なくとも一つを含む、付記１０に記載の登録方法。
（付記１２）
前記撮像画像の属性項目が、撮像画像における顔の大きさ、および画像における顔の傾きの少なくとも一方を含む、付記１０または１１に記載の登録方法。
（付記１３）
さらに、マスター顔画像記憶工程を含み、
前記適性判定工程は、
前記合算スコアが既定の閾値を満たさない場合、前記候補顔画像がマスター顔画像として適切と判定し、
前記マスター顔画像記憶工程は、
前記候補顔画像と、前記候補顔画像の属性情報とを紐づけて、マスター顔画像情報として記憶する、付記８から１２のいずれかに記載の登録方法。
（付記１４）
さらに、誤認証情報記憶工程を有し、
前記誤認証情報記憶工程は、前記データベースを記憶する、付記８から１３のいずれかに記載の登録方法。
（付記１５）
付記８から１４のいずれかに記載の登録方法をコンピュータに実行させることを特徴とするプログラム。
（付記１６）
付記１５に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１７）
顔画像認証用マスター顔画像の登録部と、顔画像認証用クエリー顔画像の取得部と、認証部とを含み、
前記登録部は、
付記１から7のいずれかに記載の登録装置を含み、
マスター顔画像として不適と判定されなかった候補顔画像を、マスター顔画像として登録し、
前記取得部は、
クエリー顔画像を取得し、
前記認証部は、
前記クエリー顔画像と、登録された前記マスター顔画像とを照合し、一致する場合は、認証し、不一致の場合は、非認証とする
ことを特徴とする顔画像認証装置。
（付記１８）
顔画像認証用マスター顔画像の登録工程と、顔画像認証用クエリー顔画像の取得工程と、認証工程とを含み、
前記登録工程は、
付記８から１４のいずれかに記載の登録方法を含み、
マスター顔画像として不適と判定されなかった候補顔画像を、マスター顔画像として登録し、
前記取得工程は、
クエリー顔画像を取得し、
前記認証工程は、
前記クエリー顔画像と、登録された前記マスター顔画像とを照合し、一致する場合は、認証し、不一致の場合は、非認証とする
ことを特徴とする顔画像認証方法。
（付記１９）
付記１８に記載の顔画像認証方法をコンピュータに実行させることを特徴とするプログラム。
（付記２０）
付記１９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
本発明によれば、マスター顔画像の候補について、誤認証を発生する可能性があるか否かを判定できるため、発生する可能性があると判定された候補を、マスター顔画像として登録することを防止できる。このため、結果的に、例えば、顔画像認証における誤認証の発生を抑制できる。
１ 登録装置
１１ 画像情報取得部
１２ 誤認証情報抽出部
１３ 類否判定部
１４ スコア算出部
１５ 適性判定部
１６ 出力部

Claims (10)

  1. 画像情報取得部、誤認証情報抽出部、類否判定部、スコア算出部、適性判定部、および、出力部を含み、
    前記画像情報取得部は、
    顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得し、
    前記誤認証情報抽出部は、
    顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出し、
    前記類否判定部は、
    前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報との類否を判定し、
    前記スコア算出部は、
    類似と判断した場合、撮像属性項目ごとに設定した誤認証の発生への関与の度合いを示す重み付けを行い、
    前記撮像属性ごとの重み付けを合算した合算スコアを算出し、
    前記適性判定部は、
    前記合算スコアが既定の閾値を満たす場合、前記候補顔画像がマスター顔画像として不適と判定し、
    前記出力部は、
    不適と判断した場合、前記候補顔画像がマスター顔画像として不適との判定結果を出力する
    ことを特徴とするマスター顔画像の登録装置。
  2. 前記候補顔画像がマスター顔画像として不適と判定した場合、前記出力部は、マスター顔画像としての登録に対するアラートを出力する、請求項１に記載の登録装置。
  3. 前記撮像属性項目が、撮影条件の属性項目および撮像画像の属性項目の少なくとも一方を含む、請求項１または２に記載の登録装置。
  4. 前記撮影条件の属性項目が、撮影者、場所、季節、時期、日にち、時間、天気、照明の種類、距離、および撮影手法からなる群から選択された少なくとも一つを含む、請求項３に記載の登録装置。
  5. 前記撮像画像の属性項目が、撮像画像における顔の大きさ、および画像における顔の傾きの少なくとも一方を含む、請求項３または４に記載の登録装置。
  6. さらに、マスター顔画像記憶部を含み、
    前記適性判定部は、
    前記合算スコアが既定の閾値を満たさない場合、前記候補顔画像がマスター顔画像として適切と判定し、
    前記マスター顔画像記憶部は、
    前記候補顔画像と、前記候補顔画像の属性情報とを紐づけて、マスター顔画像情報として記憶する、請求項１から５のいずれか一項に記載の登録装置。
  7. さらに、誤認証情報記憶部を有し、
    前記誤認証情報記憶部は、前記データベースを記憶する、請求項１から６のいずれか一項に記載の登録装置。
  8. 画像情報取得工程、誤認証情報抽出工程、類否判定工程、スコア算出工程、適性判定工程、および、出力工程を含み、
    前記画像情報取得工程は、
    顔画像認証用マスター顔画像の候補情報として、候補顔画像と、前記候補顔画像の撮像に関する撮像属性項目の属性情報とを、紐づけて取得し、
    前記誤認証情報抽出工程は、
    顔画像認証において誤認証を生じたマスター顔画像の撮像属性項目の属性情報のうち誤認証への関与が有意である属性情報が記憶されたデータベースから、前記候補顔画像と同じ撮像属性項目について、属性情報を抽出し、
    前記類否判定工程は、
    前記撮像属性項目について、前記抽出した属性情報と、前記マスター顔画像の属性情報との類否を判定し、
    前記スコア算出工程は、
    類似と判断した場合、撮像属性項目ごとに設定した誤認証の発生への関与の度合いを示す重み付けを行い、
    前記撮像属性ごとの重み付けを合算した合算スコアを算出し、
    前記適性判定工程は、
    前記合算スコアが既定の閾値を満たす場合、前記候補顔画像がマスター顔画像として不適と判定し、
    前記出力工程は、
    不適と判断した場合、前記候補顔画像がマスター顔画像として不適との判定結果を出力する
    ことを特徴とするマスター顔画像の登録方法。
  9. 請求項８に記載の顔画像認証方法の各工程をコンピュータに実行させることを特徴とするプログラム。
  10. 請求項９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
JP2020541158A 2018-09-06 2019-08-29 マスター顔画像の登録装置、登録方法、プログラム、および記録媒体 Active JP6958952B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018167127 2018-09-06
JP2018167127 2018-09-06
PCT/JP2019/033824 WO2020050119A1 (ja) 2018-09-06 2019-08-29 マスター顔画像の登録装置、登録方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020050119A1 JPWO2020050119A1 (ja) 2021-08-26
JP6958952B2 true JP6958952B2 (ja) 2021-11-02

Family

ID=69721823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020541158A Active JP6958952B2 (ja) 2018-09-06 2019-08-29 マスター顔画像の登録装置、登録方法、プログラム、および記録媒体

Country Status (4)

Country Link
US (1) US20220067348A1 (ja)
JP (1) JP6958952B2 (ja)
SG (1) SG11202102275XA (ja)
WO (1) WO2020050119A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5508088B2 (ja) * 2010-03-30 2014-05-28 Ｎｅｃエンベデッドプロダクツ株式会社 顔認証装置、方法、およびプログラム
JP4893855B1 (ja) * 2010-12-21 2012-03-07 オムロン株式会社 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
JP2013097760A (ja) * 2011-11-07 2013-05-20 Toshiba Corp 認証システム、端末装置、認証プログラム、認証方法
WO2015128939A1 (ja) * 2014-02-25 2015-09-03 株式会社日立製作所 安全性判定システム、安全性判定装置、及び安全性判定方法
JP7166060B2 (ja) * 2017-03-08 2022-11-07 グローリー株式会社 顔認証システムおよび入力顔データの登録方法

Also Published As

Publication number Publication date
JPWO2020050119A1 (ja) 2021-08-26
SG11202102275XA (en) 2021-04-29
US20220067348A1 (en) 2022-03-03
WO2020050119A1 (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
CN108733819B (zh) 一种人员档案建立方法和装置
WO2021057797A1 (zh) 定位方法及装置、终端、存储介质
US8885942B2 (en) Object mapping device, method of mapping object, program and recording medium
RU2608261C2 (ru) Автоматическое генерирование тега на основании содержания изображения
US8321358B2 (en) Interpersonal relationships analysis system and method which computes distances between people in an image
JP2014515842A (ja) 顔認識
JP6168996B2 (ja) コンテンツ制御方法、コンテンツ制御装置およびプログラム
US20150339518A1 (en) Electronic device, electronic device control method, and computer-readable recording medium having stored thereon electronic device control program
KR102376912B1 (ko) 인공지능을 활용한 공간정보 기반의 토지 관리 장치 및 방법
US11816923B2 (en) Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium
JP2022518469A (ja) 情報処理方法および装置、記憶媒体
WO2016139964A1 (ja) 注目領域抽出装置および注目領域抽出方法
WO2016199662A1 (ja) 画像情報処理システム
JP6182676B2 (ja) 騒音マップ制作方法及び装置
CN111221991B (zh) 人员身份属性的确定方法、装置和电子设备
US10769196B2 (en) Method and apparatus for displaying electronic photo, and mobile device
US11062122B2 (en) Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program
JP2014041560A (ja) 画像処理装置、画像処理方法
WO2021082548A1 (zh) 活体检测方法、装置、服务器和人脸识别设备
WO2007129474A1 (ja) 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
CN107729528A (zh) 一种建筑物信息获取方法及装置、计算机装置和计算机可读存储介质
CN110263830A (zh) 图像处理方法、装置和系统及存储介质
JP4518168B2 (ja) 関連文書提示システム及びプログラム
JP6958952B2 (ja) マスター顔画像の登録装置、登録方法、プログラム、および記録媒体
JP6244887B2 (ja) 情報処理装置、画像探索方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210930

R150 Certificate of patent or registration of utility model

Ref document number: 6958952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150