JP4893855B1 - 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法 - Google Patents

画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法 Download PDF

Info

Publication number
JP4893855B1
JP4893855B1 JP2010284576A JP2010284576A JP4893855B1 JP 4893855 B1 JP4893855 B1 JP 4893855B1 JP 2010284576 A JP2010284576 A JP 2010284576A JP 2010284576 A JP2010284576 A JP 2010284576A JP 4893855 B1 JP4893855 B1 JP 4893855B1
Authority
JP
Japan
Prior art keywords
registered
image
registered image
face
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010284576A
Other languages
English (en)
Other versions
JP2012133541A (ja
Inventor
淳 入江
俊 酒井
達哉 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2010284576A priority Critical patent/JP4893855B1/ja
Priority to PCT/JP2011/056616 priority patent/WO2012086222A1/ja
Priority to EP11850862.1A priority patent/EP2657908A4/en
Priority to US13/990,931 priority patent/US20130329970A1/en
Application granted granted Critical
Publication of JP4893855B1 publication Critical patent/JP4893855B1/ja
Publication of JP2012133541A publication Critical patent/JP2012133541A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】登録されている画像間で撮影条件が異なっていても、精度よく認証を行う。
【解決手段】画像認証装置1において、登録画像データベース21では、上記人物を撮影して得られた登録画像Rと、登録画像Rの人物の顔に関する撮影条件とが対応付けられて登録されており、入力画像A1の顔情報データを推定する顔情報データ推定部33と、登録画像Rの顔情報データと入力画像A1の顔情報データとの近さに応じた重み付けを決定する重み決定部34と、入力画像A1と登録画像Rとの間で認証スコアを算出する認証スコア算出部35と、認証スコアに、対応する登録画像Rについて決定された重み付けを適用する重み付き認証スコア算出部36と、重み付け認証スコアに基づいて入力画像A1を照合する認証結果出力部37と、を備える。
【選択図】図1

Description

本発明は、対象物が撮影された画像を画像データベースと照合することにより認証する画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法に関する。
従来、予め人物の顔が撮影された画像をデータベースに登録しておき、認証を行うべき人物の顔が撮影された画像の入力があったとき、入力された画像を、データベースの登録内容と比較することにより個人を識別して認証を行う顔認証技術が知られている。
顔認証技術における認証処理について、より具体的に例示すると次のとおりである。まず、登録時において、人物の顔が撮影された画像から、その人物の顔の特徴を示す特徴量を抽出して登録しておく。また、認証時には、入力された画像からこの特徴量が抽出される。そして、入力された画像から抽出された特徴量がデータベースに登録されている特徴量と比較される。
顔認証技術の分野では、誤認証をなるべく低減し、認証精度を向上することが望まれており、そのための様々な技術が提案されている。
例えば、特許文献1では、時系列で複数の画像を登録しておき、最古の登録画像とその他の登録画像との撮影時間差を元に重み係数を算出することが提案されている。すなわち、引用文献1の技術では、最新の登録画像の重み付けを高くし、古い登録画像の重み付けを低くしている。そして、登録画像の特徴量それぞれをこれらの係数を元に重み付け平均することで、比較的最近に登録された登録画像の特徴量が認証において重視されるようにしている。
また、例えば、特許文献2には、登録者の身体的特徴や外見的特徴に基づく重み付けを行うことが提案されている。具体的に例示すると、特許文献2には、登録者の身長データおよびメガネの有無に基づいてそれぞれ重み付けをすることが記載されている。
特開2008−129830号公報(2008年6月 5日公開) 特開2009− 64173号公報(2009年3月26日公開)
しかしながら、比較する画像間で撮影条件が異なれば、本人が撮影されている画像であっても他人の画像であると誤認証してしまうおそれがある。さらにいえば、比較する画像間で撮影条件が同じであれば、他人が撮影されている画像であっても本人の画像であると誤認証してしまうおそれがある。
また、認証の際、比較の対象となり得る特徴量の種類は、身長等のほかにも多数あり、ある人物について複数の画像が登録される場合もある。
上記従来技術では、これらの点について考慮できていなかった。このため、具体的には、以下のような問題がある。
まず、特許文献1では、時間情報のみ利用して、重み付けの平均を行っているだけであるので、表情や顔向きなどの違いが考慮されておらず、これによる誤認識のおそれがある。例えば、ある人物の最新の画像が笑顔で撮影されている場合、他人の画像であって笑顔で撮影されているものと誤認識する可能性がある。
また、特許文献2では、1人の登録者に対して複数の登録画像について重み付けを行っていない。このため、1人の登録者に対して複数の画像が登録された場合、画像それぞれの間に、撮影されている登録者本人の外見および環境等の差異や、表情の相違があることが考えられるが、これに対してなんら対応する手法を提示していない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、登録者に対して複数の画像が登録されている場合において、登録されている画像間で撮影条件が異なっていても、精度よく認証を行うことができる画像認証装置等を実現することにある。
上記の課題を解決するために、本発明に係る画像認証装置は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されており、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、を備えることを特徴とする。
上記の課題を解決するために、本発明に係る画像認証方法は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含むことを特徴とする。
なお、ここで、登録画像データベースと照合するとは、入力画像と登録画像との類似度を判定することにより、入力画像に含まれる対象物が、登録画像データベースに登録されている対象物のうちのいずれであるかを特定したり、特定するための候補を選定したりする処理のことである。
また、類似度とは、例えば、入力画像から抽出される特徴量と登録画像から抽出される特徴量とを比較して得られる、いわゆる認証スコアのことである。
また、上記対象物とは、人物および車をはじめパターン認識可能な物体等のことをいう。なお、対象物は、ある対象物の一部であってもよい。例えば、ある対象物が人物であるときにおいて、当該ある対象物の一部である人物の顔の関係が挙げられる。
上記構成によれば、まず、入力画像の撮影条件を取得し、また、登録画像データベースから登録画像の撮影条件を取得する。
ここで、撮影条件は、上記対象物に関するものであり、対象物が撮影されたときの環境や状態のことを意味する。また、対象物が撮影されたときの撮影条件としては、撮影を行うときの環境に関する条件と、被写体となる対象物の状態に関する条件が含まれる。
撮影を行うときの環境に関する条件としては、例えば、上記対象物が人物である場合、人物の顔の向き、いいかえれば人物に対するカメラ等の撮影手段の向きが挙げられる。また、他にも、撮影を行うときの環境に関する条件としては、顔の表情、照明の向き・強さ、射光の具合、および影のかかり具合などが挙げられる。
また、被写体となる人物の状態に関する条件としては、例えば、人物の推定年齢、性別など、人物の外観から推定できる条件が挙げられる。
また、撮影条件は、所定の精度における連続の値をとってもよいし、カテゴリー分けされた条件のいずれの条件に属するかを示す分類であってもよい。
連続値としては、例えば、対象物の撮影の角度が挙げられる。さらに対象物が人物の場合であれば、例示的には顔の向きの角度が挙げられる。この場合、角度は、整数値であってもよい。また、このように撮影条件として角度の整数値を採用する場合でも、実際には、「5度ごと」の精度で値が設定されてもよく、「15度、20度、25度…」のように飛び飛びの値をとるようになっていてもよい。また、逆に、角度は、小数点第何位まで求める精度であってもよい。
分類としては、対象物が人物の場合であれば、人物の性別、顔の大まかな向きが挙げられる。なお、顔の大まかな向きとは、正面や、右または左を向いていることを示す分類のことである。
なお、撮影条件は、対象物が撮影された画像から周知のアルゴリズムで抽出されたものであってもよいし、手動にて入力されたものであってもよい。
さらに、上記構成において決定する重み付けは、例えば、登録画像の撮影条件と、上記入力画像の撮影条件との近さに基づいて決定される。撮影条件の近さとは、人物の顔の向きの角度であれば、その角度がどれだけ近いかということである。また、顔の大まかな向きであれば、予め撮影条件の近さを定義しておけばよく、例えば、左と右との関係よりも、右と正面との関係のほうが近いと定義しておくことができる。
さらに、上記構成では、対象物ごとに、登録画像の撮像条件が取得され、重み付けおよび類似度が算出される。そして、登録画像の類似度に重み付けを適用して登録画像データベースとの照合を行う。
上記重み付けにより、入力画像の撮影条件により近い撮影条件を有する登録画像が照合において重視されるようにすることができる。また、逆に、入力画像の撮影条件から遠い撮影条件を有する登録画像については、照合における影響力を小さくすることができる。
この結果、ある撮影条件において撮影された対象物が、当該ある撮影条件と同一または近似する撮影条件において撮影された対象物について登録されている登録画像の存在により、別の対象物と誤認されてしまう可能性を低減することができる。
また、別の観点からいえば、入力画像の撮影条件と、登録画像の撮影条件とが異なることに起因して、入力画像の対象物と、登録画像の対象物とが同一なのに正しく認証されなくなる可能性を低減することができる。
本発明に係る画像認証装置では、上記登録画像データベースに、1以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されていることが好ましい。
上記構成では、上記登録画像データベースにおいて、1以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されている。すなわち、1以上の対象物について、登録画像と、該登録画像の対象物に関する撮影条件とが対応づけられた登録が複数ある。
よって、例えば、重み付けは複数の登録画像に対して決定される。また、例えば、類似度の算出も登録画像ごとに行う。そして、重み付けを適用した類似度に基づいて照合を行う。
このとき、重み付けを適用した類似度を加算して、照合に用いる類似度を算出してもよい。また、それぞれの登録画像に対する重み付けは、その総和が1となるような値であってもよい。つまり、照合に用いる類似度は、重み付け平均によって算出してもよい。
上記構成によれば、ある対象物について、異なる撮影条件が登録画像とともに登録されている場合において、照合精度の向上を図ることができる。
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と他の対象物について登録されている上記登録画像の上記撮影条件との近さである撮影条件近さに応じて、上記対象物それぞれについて登録されている上記複数の登録画像から、重み付けを適用すべき上記登録画像を選択する選択手段を備え、上記重み付け適用手段は、上記選択手段により選択された登録画像について算出された類似度に、重み付けを適用することが好ましい。
上記構成によれば、撮影条件近さに応じて選択された登録画像について算出された類似度に重み付けが適用される。なお、選択される登録画像の数は、対象物ごとに異なっていてもよいし、対象物の間で同じであってもよい。
ここで、登録画像を選択するとは、別の観点からいえば、選択された登録画像について算出された類似度が照合において用いられるということを意味する。逆に言えば、選択されない登録画像について算出された類似度は、照合において無視することになる。
よって、「登録画像を選択する」ことには、例えば、その登録画像について算出された類似度に適用する重み付けの係数を非ゼロにすることが含まれる。また、「登録画像を選択しない」ことには、例えば、その登録画像について算出された類似度に適用する重み付けの係数を“0”にすることが含まれる。
よって、入力画像の照合において、照合に用いる登録画像の撮影条件を、対象物の間である程度合わせておくことができる。
この結果、撮影条件の違いから、同一の対象物を別の対象物と誤認証したり、別の対象物を同一の対象物と誤認証したりすることを防ぐことができる。
本発明に係る画像認証装置では、上記選択手段は、対象物それぞれについて、同じ数の登録画像を選択することが好ましい。
上記構成によれば、対象物それぞれにおいて、選択される登録画像の数を揃えることができる。選択する数は、例えば、登録画像の数が最も少ない対象物に合わせることができる。つまり、登録画像が1つしか登録されていない対象物がある場合、選択する数は1である。
これにより、対象物それぞれにおいて、少なくとも1枚は登録画像が選択されることになる。
よって、登録画像の数が少なく、登録されている登録画像の撮影条件が入力画像の撮影条件と所定以上離れている対象物が、照合の対象から外れてしまうことを防ぐことができる。
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件とが近似しているか否かを判定する撮影条件近似判定手段と、上記撮影条件近似判定手段が近似していると判定した数に応じて、上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることが好ましい。
上記構成では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件とが近似しているか否かを判定する。そして、撮影条件が近似していると判定された数を計上して、具体的に、撮影条件近さを算出することができる。
なお、上述のとおり、撮影条件には、顔の表情、照明の向き・強さ、射光の具合、および影のかかり具合等、複数の条件が含まれる場合がある。
上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、計上した数に従って登録画像相互における撮影条件近さを算出可能である。
撮影条件に複数の条件が含まれている場合において、例えば、近似していると判定した条件の数がより多いときに、より撮影条件の近さが近いことを示す値を算出することができる。なお、上記構成には、撮影条件に含まれる全ての条件が近似しているとき選択手段の選択対象とする構成も含まれる。
また、上記構成と、条件ごとに順位付けを行うためにデータのソート処理を行う構成とを比較した場合次のとおりである。
ソート処理を行う構成では、電子計算機としての画像認証装置の側面を考慮すると、ソート処理に多くの計算機資源が用いられることが想定される。これに対し、上記構成は、判定結果を計上するだけで済むため、処理にかかる計算機資源の低減を図ることができる。
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの順位付けをする登録条件順位付け手段と、上記登録条件順位付け手段による上記順位付けに応じて上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることが好ましい。
上記構成では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの順位付けをする。そして、近さの順位付けに従って、具体的な撮影条件近さを算出することができる。
また、上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、登録画像相互における撮影条件の順位を定義可能である。このような場合、条件ごとになされた順位付けに応じて撮影条件近さを算出する。例えば、より高い順位付けがされた条件をより多く含む撮影条件同士はより撮影条件近さが近いとすることができる。また、上記構成には、最高位の順位付けがされた条件をより多く含む撮影条件が選択手段の選択対象となる構成も含まれる。
本発明に係る画像認証装置では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件とが近似しているか否かを、それぞれ判定する入力条件判定手段と、上記入力条件判定手段が近似していると判定した数に応じて、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とすることが好ましい。
上記構成では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件とが近似しているか否かを判定する。そして、撮影条件が近似していると判定された数を計上して、具体的に、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さを算出することができる。
上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、計上した数に従って上記近さを算出する。
撮影条件に複数の条件が含まれている場合において、例えば、近似していると判定した条件の数がより多いときに、より上記近さが近いことを示す値を算出することができる。
また、上記構成と、条件ごとに順位付けを行うためにデータのソート処理を行う構成とを比較した場合次のとおりである。
ソート処理を行う構成では、計算機としての画像認証装置の側面を考慮すると、ソート処理に多くの計算機資源が用いられることが想定される。これに対し、上記構成は、判定結果を計上するだけで済むため、処理にかかる計算機資源の低減を図ることができる。
本発明に係る画像認証装置では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする入力条件順位付け手段と、上記入力条件順位付け手段による上記順位付けに従って、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することが好ましい。
上記構成では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする。上記構成では、この順位付けに従って、具体的に、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さを算出する。
上記構成によれば、撮影条件に複数の条件が含まれている場合でも、具体的に、登録画像相互における撮影条件の順位を定義可能である。このような場合、条件ごとになされた順位付けに応じて上記近さを算出する。例えば、より高い順位付けがされた条件をより多く含む撮影条件同士はより上記近さが近いとすることができる。また、上記構成には、最高位の順位付けがされた条件をより多く含む撮影条件が選択手段の選択対象となる構成も含まれる。
本発明に係る画像認証装置では、上記登録画像の上記撮影条件には、複数の条件が含まれていることが好ましい。
上記構成によれば、撮影条件に含まれる複数の条件について、近似判定または順位付けを行う。そして、近似判定または順位付けに基づいて、上記近さ、または、上記撮影条件近さを算出する。このように、複数の条件から近さを算出するので、算出する近さの精度向上を図ることができる。
本発明に係る画像認証装置では、上記対象物が人物の顔であることが好ましい。
すなわち、上記構成においては、入力画像は、人物の顔が撮影された顔画像であり、上記登録画像データベースには、人物ごとに該人物の顔を撮影して得られた顔画像が登録されている。
上記構成によれば、人物の顔を精度よく照合することができるという効果を奏する。
なお、上記画像認証装置と、上記入力画像を上記画像認証装置に供給する画像入力装置と、を備える画像処理システムを好ましく構成することができる。
画像処理システムの例としては、プリンタ、スキャナ、パーソナルコンピュータや、デジタルカメラなどデジタル画像を処理するものが挙げられる。また、上記画像認証装置と、上記画像入力装置との間が通信ネットワークにより接続されている構成を採用することも可能である。
また、上記画像認証装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより画像認証装置をコンピュータにて実現させる画像認証装置制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
上記の課題を解決するために、本発明に係る画像認証装置は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されており、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、を備える構成である。
上記の課題を解決するために、本発明に係る画像認証方法は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含む方法である。
よって、入力画像の撮影条件と、登録画像の撮影条件とが異なることに起因して、同一の対象物を異なる対象物と誤認してしまったり、異なる対象物同士を同一の対象物と誤認してしまったりすることを防ぐことができる。
本発明の一実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。 登録人物情報のデータ構造について例示した図である。 上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。 上記顔認証装置における顔画像認証処理の流れについて例示したフローチャートである。 重み付き認証スコアを用いた認証の実施例について示す図である。 重み決定部が備える各機能部について説明した機能ブロック図である。 上記顔認証装置における登録画像ごとの重み決定処理の流れについて例示したフローチャートである。 登録画像ごとの重み決定処理の実施例について示す図である。 重み決定部における登録画像ごとの重み決定処理の流れの別の例について示したフローチャートである。 本発明の別の実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。 上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。 上記顔認証装置における顔画像認証処理の流れについて例示したフローチャートである。 上記顔認証装置における顔画像登録処理および顔画像認証処理の実施例について示す図である。 登録画像選択部の構成例について示した機能ブロック図である。 『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。 上記構成例に係る『顔情報データにより登録画像を選択する処理』の実施例について示す図である。 登録画像選択部の別の構成例について示した機能ブロック図である。 本発明のさらに別の実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。 登録画像選択部の詳細な構成例を示した機能ブロック図である。 上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。 『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。 上記顔認証装置における顔画像登録処理および顔画像認証処理の実施例について示す図である。 『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。 上記『顔情報データにより登録画像を選択枚数分だけ選択する処理』の実施例について示す図である。
〔実施形態1〕
本発明の顔認証装置に関する一実施形態について図1〜図9を参照して説明する。
図1に示すとおり、顔認証システム(画像処理システム)100は、顔認証装置(認証装置)1および画像入力装置5を備える構成である。
顔認証装置(画像認証装置)1は、画像入力装置5から入力された画像を認証する装置である。顔認証装置1における認証処理には、「顔画像登録処理」および「顔画像認証処理」の2つの手順が含まれる。まず、第1に、「顔画像登録処理」において、顔認証装置1に、認証に用いる画像を登録しておく。そして、第2に、「顔画像認証処理」において、入力された画像と、登録されている画像とを照合して認証を行う。
なお、以下において、“認証”の用語は、例示的に、入力された画像に撮影されている人物の顔が、登録されているいずれかの画像に撮影されている人物の顔とが一致するか否かを照合して、これにより人物を特定する処理のことを意味することとする。
画像入力装置5は、人物の顔が撮影された撮影画像を顔認証装置1に入力する装置である。画像入力装置5は、例えば、被写体である人物の顔を撮影して画像を生成するデジタルカメラ等により構成することができる。
なお、以下、撮影画像には、人物の顔が撮影されていることとするが、撮影の被写体は、人物の顔に限られない。すなわち、対象となる被写体は、任意に選択可能である。また、以下、必要に応じて、「顔画像登録処理」において、登録のために顔認証装置1に入力する撮影画像を、“登録対象画像A2”と称し、「顔画像認証処理」において、認証の対象とするために顔認証装置1に入力する撮影画像を、“入力画像A1”と称して区別する。また、“入力画像A1”と、“登録対象画像A2”とをとくに区別する必要が無い場合には、単に“撮影画像”と称する。
(顔認証装置)
図1を用いて、顔認証装置1の各種構成について説明すると次のとおりである。図1に示すとおり、顔認証装置1は、操作部11、表示部12、記憶部20および制御部30を備える構成である。
操作部11は、ユーザから各種の入力を受け付けるものであり、例えば、入力用ボタン、キーボード、テンキー、マウスなどのポインティングデバイス、タッチパネル、その他の入力デバイスによって構成される。操作部11は、受け付けたユーザの操作に応じて操作データを生成し、生成した操作データを制御部30に送信する。
表示部12は、ユーザに対して、情報提供を行うための画面表示を行うものである。表示部12は、制御部30から受信した画面データに基づいて、表示画面に文字や画像などの各種の情報を表示する。表示部12は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electroluminescence)ディスプレイなどの表示装置によって構成される。
記憶部20は、各種データおよびプログラムを記憶するものである。記憶部20の構成としては、例えば、ハードディスク等の不揮発性の記憶装置と、制御部30が動作するときに必要なプログラムや、各種制御に用いる固定データを記憶する読出し専用の半導体メモリであるROM(Read Only Memory)と、演算に使用するデータ、および演算結果などを一時的に記憶する、いわゆるワーキングメモリとしてのRAM(Random Access Memory)と、各種の設定データなどを記憶する書換え可能な不揮発性メモリ(例えばフラッシュメモリ)とが挙げられる。なお、記憶部20の詳細については後述する。
制御部30は、顔認証装置1における各種機能を統括的に制御するものである。制御部30の制御機能は、制御プログラムをCPU(Central Processing Unit)などの処理装置が実行することによって実現される。この制御プログラムは、例えば、RAMやフラッシュメモリなどの記憶素子としての記憶部20に記憶されていてもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。なお、制御部30の詳細については後述する。
(記憶部の詳細について)
次に、図1および図2を用いて、記憶部20の詳細について説明する。図1に示すとおり、記憶部20は、登録画像データベース21と重みデータ記憶部22とを備える構成である。
登録画像データベース21は、認証に用いる画像を人物ごとに登録しておくためのものである。登録画像データベース21の登録内容について、より具体的に例示すると、次のとおりである。
まず、図1に示すように、登録画像データベース21には、複数の登録人物情報Pが登録される。
ここで、図2を用いて登録人物情報Pの詳細について説明すると次のとおりである。図2は、登録人物情報Pのデータ構造の例を示す図である。
図2に示すように、登録人物情報Pには、一例として、登録人物の名前(ID)が付されて識別可能となっている。また、登録人物情報Pには、複数の登録画像Rが登録される。
登録画像Rは、認証に用いる画像およびその関連情報を含むものであり、具体的には、撮影画像、顔特徴データ、および顔情報データを含むデータ構造である。なお、登録画像Rは、識別情報により識別される。
撮影画像には、登録対象画像A2が格納される。なお、撮影画像には、このほか、画像A2を加工した画像、例えば、サムネイルなどを格納してもよい。また、例えば、撮影画像には、フィルタ処理等の画像処理を施した登録対象画像A2を格納してもよい。また、撮影画像は、登録人物情報Pのデータ構造から省略してもよい。
顔特徴データには、撮影画像に含まれる人物の顔の特徴を示す特徴量が格納される。特徴量とは、撮影画像に含まれる人物の顔において、顔全体や、目、鼻、口と認められる部位を定量化したものである。特徴量の例としては、輝度情報、周波数特性情報、および上記各部位の形状、位置、大きさ等を数値化した情報が挙げられる。
顔情報データには、撮影画像を撮影したときの人物の顔の状態や、環境、撮影条件を示す各種の情報が項目として含まれる。つまり、顔情報データには、撮影画像に含まれる人物の顔を解析することで取得できる撮影条件等を示す情報が項目として含まれる。具体的に例示すると、図2に示すように、顔情報データの項目としては、「顔の向き」、「顔の表情」等が挙げられる。このほか、同図に図示していないが、顔情報データの項目としては、「笑顔度」、「照明条件」、「射光度」等も挙げられる。
また、顔情報データに設定可能な値は、例示的には、所定の精度の連続値、あるいはカテゴリー分けされた条件のいずれの条件に属するかを示す分類である。
項目が、「顔の向き」である場合、連続値および分類の例は次のとおりである。
まず、連続値としては、顔の向きの角度が挙げられる。この場合、角度は、整数値であってもよく、例えば、0度が真正面から撮影したとき、90度が人物を左側面から撮影したとき、−90度が人物を右側面から撮影したときを表す。つまり、符号は、向きを表しており、符号なし(または正符号)は、左を表し、負符号は、右を表している。また、この場合、例えば、「0度、1度、2度…」のような値をとり得る。
また、このように撮影条件として角度の整数値を採用する場合でも、実際には、「15度ごと」の精度で値が設定されてもよく、「0度、15度、30度…」のように飛び飛びの値をとるようになっていてもよい。また、逆に、角度は、小数点第何位まで求める精度であってもよい。
また、分類としては、顔の大まかな向きが挙げられる。なお、顔の大まかな向きとは、正面や、右または左を向いていることを示す分類のことである。この場合、例えば、正面とは、顔の向きの角度が「−45度〜+45度」の範囲のとき、右向きは、顔の向きの角度が「−135度〜−45度」の範囲のとき、左向きは、顔の向きの角度が「45度〜135度」の範囲のときを表していてもよい。
なお、「顔の向き」として、左右だけでなく、上下も表現できるようになっていても良い。例えば、第1要素が左右を表し、第2要素が上下を表す、2組のデータ表現で実現することができる。具体的には、(0,10)といったデータ表現である。
また、項目が「顔の表情」である場合、連続値および分類の例は次のとおりである。まず、連続値としては、笑顔の度合いを示す数値が挙げられる。すなわち、この数値は、無表情であるときは低い値をとり、微笑から笑顔になるに従って大きな値をとる。また、以下では、このような数値を特に「笑顔度」とも表現する。分類としては、この笑顔度を所定の範囲に区分して、各区分に「無表情」、「微笑」、「笑顔」を割り当てたものが挙げられる。
また、項目が「照明条件」である場合、連続値および分類の例は次のとおりである。まず、連続値としては、光が射してくる方向の角度が挙げられる。また、連続値としては、光の当たり具合を示す数値が挙げられる(以下において、これを特に「射光度」とも表現する)。また、分類としては、光が射してくる方向の大まかな向きが挙げられる。これらは、「顔の向き」である場合に順ずるので、ここではその説明を省略する。
他にも項目として、「年齢」、「性別」、「目の開き方」等各種の情報を採用することが可能である。
(制御部の詳細について)
次に、図1を用いて、制御部30の詳細について説明する。図1に示すように、制御部30は、画像取得部31、顔特徴データ抽出部32、顔情報データ推定部(入力画像撮影条件取得手段、登録画像撮影条件取得手段)33、重み決定部(重み付け決定手段)34、認証スコア算出部(類似度算出手段)35、重み付き認証スコア算出部(重み付け適用手段)36、および認証結果出力部(画像認証手段)37を備える。
制御部30が備える各部は、顔認証装置1における認証処理に含まれる「顔画像登録処理」と、「顔画像認証処理」とを実現している。
「顔画像登録処理」は、画像取得部31、顔特徴データ抽出部32、顔情報データ推定部33により実行される。
「顔画像認証処理」は、画像取得部31、顔特徴データ抽出部32、顔情報データ推定部33、重み決定部34、認証スコア算出部35、重み付き認証スコア算出部36、および認証結果出力部37により実行される。
なお、図1において、各部を結ぶ破線矢印は、「顔画像登録処理」におけるデータ・制御等の流れを示しており、各部を結ぶ実線矢印は、「顔画像認証処理」におけるデータ・制御等の流れを示している。
以下、制御部30が備える各部について個別に説明していくと次のとおりである。
画像取得部31は、操作部11における入力操作に応じて、画像入力装置5から撮影画像を取得するものである。画像取得部31は、取得した撮影画像を顔特徴データ抽出部32に転送する。画像取得部31は、「顔画像登録処理」においては、操作部11において入力される名前(ID)を取得して、登録対象画像A2を、取得した名前(ID)に関する登録人物情報Pの登録画像Rとして登録画像データベース21に登録するとともに、顔特徴データ抽出部32に転送する。
なお、画像取得部31は、登録対象となる登録画像Rに識別情報を割り当てて登録画像データベース21に登録する。画像取得部31は、識別情報を自動的に生成して登録画像Rに割り当ててもよいし、操作部11において入力された識別情報を取得して登録画像Rに割り当ててもよい。
また、登録対象画像A2に撮影されている人物がすでに登録画像データベース21に登録されている場合、登録画像データベース21に登録されている登録画像に基づいて認証処理を行い自動的に登録人物を特定するように構成してもよい。また、画像取得部31は、「顔画像認証処理」においては、入力画像A1を、顔特徴データ抽出部32に転送する。
顔特徴データ抽出部32は、撮影画像に含まれる人物の顔を解析することにより、顔の各部位の特徴量である顔特徴データを抽出するものである。顔特徴データ抽出部32は、「顔画像登録処理」においては、登録対象画像A2から抽出した顔特徴データを、登録対象の登録画像Rの顔特徴データに格納するとともに、登録対象画像A2を、顔情報データ推定部33に転送する。
また、顔特徴データ抽出部32は、「顔画像認証処理」においては、入力画像A1を、顔情報データ推定部33に転送するとともに、入力画像A1から抽出した顔特徴データを認証スコア算出部35に送信する。
顔情報データ推定部33は、撮影画像を解析することにより、撮影時の顔の状態等の各種状態を推定して、推定した各種状態を示す顔情報データを生成するものである。顔情報データ推定部33が各種状態を推定する手法には、特に制限はなく、公知の技術を採用することができる。
また、顔情報データ推定部33は、「顔画像登録処理」においては、登録対象画像A2から生成した顔情報データを、登録対象の登録画像Rの顔情報データに格納する。
また、顔情報データ推定部33は、「顔画像認証処理」においては、入力画像A1から生成した顔情報データを重み決定部34に送信して、認証スコア算出部35に制御を渡す。
重み決定部34は、認証スコア算出部35が算出した認証スコアに対する重みを決定するものである。重み決定部34は、登録画像の識別情報と、対応する重みとを対応づけて重みデータ記憶部22に記憶する。重み決定部34の重み決定手法については、後に詳しく説明する。
認証スコア算出部35は、入力画像と、登録画像とのマッチングを行って、両者の近似の度合いを示す認証スコアを算出するものである。具体的には、認証スコア算出部35は、入力画像の顔特徴データと、各人物について登録されている複数の登録画像の顔特徴データとをそれぞれ比較して、認証スコアを算出する。なお、認証スコアの算出方法には特に制限はなく、公知の技術を採用することができる。
重み付き認証スコア算出部36は、重み決定部34が決定した重みを、認証スコア算出部35が算出した認証スコアのそれぞれに適用した重み付き認証スコアを算出するものである。すなわち、重み付き認証スコア算出部36は、重み決定部34が決定した重みを重みデータ記憶部22から読み出して、認証スコア算出部35が算出した認証スコアのそれぞれに適用することで重み付き認証スコアを算出する。
重み付き認証スコア算出部36は、一例として、各認証スコアを重み付け平均化した重み付き認証スコアを算出する。重み付き認証スコアの算出過程の詳細については、後述する。
認証結果出力部37は、重み付き認証スコア算出部36が算出した重み付き認証スコアに基づいて入力画像A1の認証を行って、その認証結果を表示部12に出力するものである。認証結果出力部37は、認証結果として、特定した人物の名前を出力してもよいし、これとともに代表的な撮影画像を出力してもよい。
(顔画像登録処理の流れ)
次に、図3を用いて、ある人物の顔を撮影した撮影画像を登録対象画像として登録する顔画像登録処理の流れについて説明する。図3は、顔認証装置1における顔画像登録処理の流れについて例示したフローチャートである。
図3に示すように、顔画像登録処理では、まず顔認証装置1の画像取得部31が画像入力装置5から登録対象画像A2を取得する(S10)。顔認証装置1では、画像取得部31が取得した登録対象画像A2を登録画像データベース21に登録人物情報Pの登録画像Rとして登録する。なお、一例として、画像取得部31は、登録人物情報Pの名前(ID)を、操作部11における入力から取得する。また、画像取得部31は、登録画像の識別情報を自動生成する。
続いて、顔特徴データ抽出部32が、登録対象画像A2を解析して、登録対象画像A2に含まれる人物の顔に関する特徴データを抽出して、登録画像データベース21に登録する。すなわち、顔特徴データ抽出部32は、抽出した特徴データを登録画像Rに格納する(S11)。
そして、顔情報データ推定部33が、登録対象画像A2を解析した結果から生成した顔情報データを登録画像Rに格納する(S12)。以上で、顔画像登録処理は終了する。
(顔画像認証処理の流れ)
次に、図4を用いて、ある人物の顔を撮影した撮影画像を入力画像として認証する顔画像認証処理の流れについて説明する。図4は、顔認証装置1における顔画像認証処理の流れについて例示したフローチャートである。
図4に示すように、顔画像認証処理においては、画像取得部31が、画像入力装置5から入力される入力画像A1を取得する(S20)と、入力画像A1を顔特徴データ抽出部32に転送する。
次に、顔特徴データ抽出部32は、入力画像A1を解析して、入力画像A1から顔特徴データを抽出する(S21)
続いて、顔情報データ推定部33は、入力画像A1を解析して、解析結果から顔情報データを生成する(S22)。
続いて、重み決定部34は、登録画像ごとに、入力画像A1の解析結果から生成された顔情報データと、登録画像の顔情報データとに基づいて重みを決定する(S23)。なお、このステップS23における『登録画像ごとの重み決定処理』の詳細については、後述する。
続いて、認証スコア算出部35が、登録画像ごとに、入力画像の顔特徴データと登録画像の顔特徴データとの比較により、認証スコアを算出する(S24)。
続いて、重み付き認証スコア算出部36は、登録画像ごとに算出した認証スコアに、登録画像ごとに決定した重みを適用した重み付き認証スコアを計算する(S25)。
そして、認証結果出力部37が、重み付き認証スコアを用いて入力画像A1の認証を行って、その認証結果を表示部12に出力する(S26)。以上で顔画像認証処理は終了する。
(実施例)
以下において、図5を用いて、重み付き認証スコアを用いた認証の実施例について説明する。本実施例では、以下の前提条件のもと、どのように顔画像認証処理が行われるかについて、図4を用いて説明したフローチャートの流れに沿って説明する。
まず、登録画像データベース21には、登録人物情報P1および登録人物情報P2が登録されている。登録人物情報P1および登録人物情報P2について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれている。項目の設定値には、分類を用いている。
登録人物情報P1は、“Aさん”についての登録であり、“Aさん”はやや面長な顔つきをしている。また、登録人物情報P1について、登録画像R11および登録画像R12の2つが登録されている。登録画像R11の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像R12の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。
また、登録人物情報P2は、“Bさん”についての登録であり、“Bさん”は、“Aさん”と比べると丸顔である。また、登録人物情報P2について、登録画像R21および登録画像R22の2つが登録されている。登録画像R21の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像R22の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。
また、認証の対象となる入力画像A1は、“Aさん”が正面から均一光のもとで撮影されているものである。
上記前提条件のもと、顔認証装置1は、以下のごとく顔画像認証処理を行う。
まず、入力画像A1が入力されると(S20)、顔特徴データ抽出部32が、入力画像A1の顔特徴データを抽出する(S21)。そして、顔情報データ推定部33が、入力画像A1の顔情報データを生成する(S22)。顔情報データ推定部33は、入力画像A1から、「照明条件」として“均一光”、「顔の向き」として“正面”を得る。
続いて、重み決定部34が、入力画像Aの顔情報データと、登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する(S23)。ここでは、登録人物情報P1、P2の登録画像が順に登録画像データベース21から読み出されて比較される。
例えば、登録人物情報P1についていえば、登録画像R11の顔情報データは、入力画像の顔情報データと一致している。また、登録画像R12の顔情報データは、「顔の向き」については、“正面”であるから入力画像A1の顔情報データと一致するものの、「照明条件」については、“射光”であるから入力画像A1の顔情報データと一致しない。
このため、重み決定部34は、登録画像R11に対して登録画像R12よりも大きな重みを割り当てる。例えば、図5に示すように、重み決定部34は、登録画像R11に対する重みW11に“0.8”を割り当て、登録画像R12に対する重みW12に“0.2”を割り当てる。さらにいえば、重みW11、W12は、重み付け平均のために用いられるため、重みW11と重みW12との和は、“1.0”になるように算出されている。
また、登録人物情報P2についても同様に、登録画像R21の顔情報データは、入力画像の顔情報データと一致している一方で、登録画像R22の顔情報データは、入力画像の顔情報データと一部相違している。
このため、重み決定部34は、登録画像R21に対して登録画像R22よりも大きな重みを割り当てる。例えば、図5に示すように、重み決定部34は、登録画像R21に対する重みW21に“0.8”を割り当て、登録画像R22に対する重みW22に“0.2”を割り当てる。重みW21と重みW22との和が、“1.0”になるのは、重みW11の場合と同様である。
次に、認証スコア算出部35が、登録人物情報P1の登録画像R11、R12と、登録人物情報P2の登録画像R21、R22とを順に、入力画像A1と比較して認証スコアを算出する(S24)。
登録画像R11は、顔情報データが、入力画像A1と一致しており、なおかつ入力画像A1と同じ“Aさん”から抽出された顔抽出データが格納されているので、認証スコア算出部35は、登録画像R11について高い認証スコアを算出する。また、登録画像R11は、入力画像A1と同じ“Aさん”から抽出された顔抽出データが格納されているものの、顔情報データが一部相違しており、これが外観にも影響しているので、認証スコア算出部35は、登録画像R12について、登録画像R11よりも低い認証スコアを算出する。
よって、例えば、図5に示すように、認証スコア算出部35は、登録画像R11の認証スコアC11を“800”と算出し、登録画像R12の認証スコアC12を“700”と算出する。
一方、登録画像R21は、顔情報データが、入力画像A1と一致しているが、入力画像A1と異なり“Bさん”から抽出された顔特徴データが格納されたものであるので、認証スコア算出部35は、登録画像R21について、登録画像R11よりも低い認証スコアを算出する。また、登録画像R22は、顔情報データも、撮影されている人物も、入力画像A1とは異なるので、認証スコア算出部35は、登録画像R22について、登録画像R12よりも低い認証スコアを算出する。
よって、例えば、図5に示すように、認証スコア算出部35は、登録画像R21の認証スコアC21を“700”と算出し、登録画像R22の認証スコアC22を“200”と算出する。
次に、重み付き認証スコア算出部36が、ステップS23で決定された重みを、ステップS24で算出された認証スコアに適用して、重み付け平均された認証スコアを算出する(S25)。
すなわち、登録人物情報P1についての重み付き認証スコアC10は、『認証スコアC11×重みW11+認証スコアC12×重みW12』により算出される。ゆえに、重み付認証スコアC10=800×0.8+700×0.2=780である。
一方、登録人物情報P2についての重み付き認証スコアC20についても同様に、重み付き認証スコアC20=700×0.8+200×0.2=600である。
次に、認証結果出力部37は、登録人物情報P1についての重み付き認証スコアC10のほうが、登録人物情報P2についての重み付き認証スコアC20よりも大きいので、入力画像A1の認証結果として、登録人物情報P1の名前“Aさん”を返す(S26)。
なお、本実施例では、重みの総和が“1.0”となるように構成したが、これに限られない。例えば、ある登録人物情報について登録画像が1枚しかない場合は、これに限られず、0以上の範囲で近似項目数に応じた重みを決定してもよい。
(作用・効果)
以上のように、本発明に係る画像認証装置1は、対象物が撮影された入力画像A1を、登録画像データベース21と照合することにより、入力画像A1に含まれる人物を認証する画像認証装置1において、登録画像データベース21では、上記人物を撮影して得られた登録画像Rと、登録画像Rの人物の顔に関する撮影条件とが対応付けられて登録されており、入力画像A1の顔情報データを推定する顔情報データ推定部33と、登録画像Rの顔情報データと入力画像A1の顔情報データとの近さに応じた重み付けを決定する重み決定部34と、入力画像A1と登録画像Rとの間で認証スコアを算出する認証スコア算出部35と、認証スコアに、対応する登録画像Rについて決定された重み付けを適用する重み付き認証スコア算出部36と、重み付け認証スコアに基づいて入力画像A1を照合する認証結果出力部37と、を備える構成である。
上記構成によれば、入力画像A1の顔情報データと、登録画像Rの顔情報データとが異なることに起因して、同一の人物を異なる人物と誤認してしまったり、異なる人物同士を同一の人物と誤認してしまったりすることを防ぐことができる。
なお、以上において、認証とは、例示的に、入力された画像に撮影されている人物の顔が、登録されているいずれかの画像に撮影されている人物の顔とが一致するか否かを照合して、これにより人物を特定する処理のことをさすこととしたが、これに限られない。
例えば、認証処理において、人物の特定まではせずに、照合の結果得られた認証スコアのリストを出力するよう顔認証装置1を構成してもかまわない。言い換えれば、顔認証装置1は、人物を特定するための候補を選定した結果を認証結果として出力してもかまわない。
また、対象となる被写体は、任意に選択可能であることを説明したが、具体的には、車や車のナンバープレートなどを被写体とすることが可能である。すなわち、パターン認識により識別可能な対象物を被写体とすることが可能である。
(重み決定部)
以下において、図6〜図8を参照しながら、重み決定部34が行う重み決定の詳細について説明する。
まず、図6を用いて、重み決定部34の詳細構成について説明すると次のとおりである。図6は、重み決定部34が備える各機能部について説明した機能ブロック図である。
図6に示すように、重み決定部34は、顔情報データ比較部(入力条件判定手段、入力条件順位付け手段、近さ算出手段)341と、重み計算部(重み付け決定手段)342と、重み出力部343と、を備える構成である。
顔情報データ比較部341は、入力画像の顔情報データと、登録画像の顔情報データとを比較することで顔情報データの近さを判定して、近い項目がいくつあるかを示す近似項目数を計上するものである。
ここで、顔情報データ比較部341は、例示的に、次のように顔情報データの近さを判定して、近似項目数をカウントする。
まず、顔情報データ比較部341は、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とをそれぞれ比較して、項目同士の近さを判定する。
顔情報データ比較部341による項目同士の近さの判定では、項目同士が一致しているか否か、あるいは、一致していなくても項目同士が所定の近さであるか否かが判定される。
ここで、顔情報データ比較部341は、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とが一致すれば、近似項目数をカウントアップする。
また、顔情報データ比較部341は、項目の設定が連続値である場合、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とが所定の近さであるか否かを判定する。そして、顔情報データ比較部341は、所定の近さであると判定したときには、近似項目数をカウントアップする。顔情報データ比較部341は、所定の近さであるか否かの判断に閾値を用いる。
項目が「顔の向き」の場合について例示すると次のとおりである。「顔の向き」が連続値の場合、顔情報データ比較部341は、例えば、「±15度」の閾値を基準に近さを判断することができる。
このとき、具体的には、顔情報データ比較部341は、入力画像の顔情報データに含まれる「顔の向き」が、「右10度」で、登録画像の顔情報データに含まれる「顔の向き」が、「正面0度」であるときは、両者の差分は「10度」となる。このため、顔情報データ比較部341は、閾値の範囲内にあると判定し、両者が所定の近さであると判断する。
また、「顔の向き」が分類の場合、顔情報データ比較部341は、一致した場合のみ近似項目数をカウントアップする。
顔情報データ比較部341は、カウントした近似項目数を重み計算部342に送信する。
重み計算部342は、顔情報データ比較部341が各登録画像についてカウントした近似項目数に応じて、各登録画像について算出された認証スコアに対する重みを計算する。重み付けの具体的実施例については、後述する。
なお、重み計算部342が各登録画像について算出する重み付けは、例示的に、平均化のためのものとしているので、足し合わせると“1.0”になるように調整される。また、重み計算部342が各登録画像について算出する重み付けには、“0”が含まれていてもよい。また、重み計算部342が各登録画像について算出する重み付けは、登録人物情報ごとに異なっていてもよい。
また、重み計算部342は、各登録画像について判定した近似項目数に差がない場合は、すべて同じ重みになるよう重み付けを決定してもよい。このような場合としては、例えば、近似項目数がすべて“0”であるときが挙げられる。さらにいえば、各項目が分類であるときであって、顔情報データ比較部341の比較結果において、比較する項目の間で一致するものが全くないとき、近似項目数がすべて“0”となる。
このような場合、各登録画像に対する重みは、“1.0”を登録画像の数で割って得られた値となり、結果として、重みつき認証スコアは、各認証スコアの相加平均となる。
また、重み計算部342は、ある登録人物情報のなかで近似項目数が一番大きくなる登録画像であって、かつ、ある登録人物情報と他の登録人物情報との間で近似項目数が一番小さくなる登録画像の重みをより高く設定してもよい。
重み出力部343は、登録画像ごとに計算された重みを、登録画像の識別情報に対応付けて重みデータ記憶部22に記憶して、重み付き認証スコア算出部36に制御を渡す。
(登録画像ごとの重み決定処理)
次に、図7を用いて、『登録画像ごとの重み決定処理』の流れについて説明する。図7は、顔認証装置1における『登録画像ごとの重み決定処理』の流れについて例示したフローチャートである。
図7に示すように、『登録画像ごとの重み決定処理』では、まず、顔情報データ比較部341が、各登録画像について、入力画像の顔情報データと、登録画像の顔情報データとを、項目ごとに比較する(S231)。
次に、顔情報データ比較部341は、比較した結果、近い項目がいくつあるかを登録画像ごとにカウントする(S232)。すなわち、顔情報データ比較部341は、比較結果に応じて、登録画像ごとに近似項目数をカウントアップする。
続いて、重み計算部342は、登録画像ごとに計上された近似項目数に応じて、登録画像ごとの重みを計算する(S233)。
そして、重み出力部343が、重み計算部342が計算した重みを重みデータ記憶部22に記憶する(S234)。以上で、登録画像ごとの重み決定処理が終了する。
(実施例)
以下において、図8を用いて、登録画像ごとの重み決定処理の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像ごとの重み決定処理が行われるかについて、図7を用いて説明したフローチャートの流れに沿って説明する。
まず、図8に示すように、登録画像データベース21において、登録人物情報P2(Bさん)について、登録画像R201〜R206が登録されている。
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。項目の設定値には、連続値を用いている。
登録画像R201〜R206の顔情報データの具体的な設定値は、図8に示すとおりである。ひとつ例示しておくと、登録画像R201の顔情報データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“0度”、“700”および“0”が設定されている。
なお、図8に例示する入力画像A100は、“Bさん”が撮影されたものである。また、入力画像A100の顔情報データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“3度”、“720”および“0”が設定されている。
ここで、顔情報データ比較部341が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“5度”、“30”、および“100”とする。
上記前提条件のもと、重み決定部34は、以下のごとく登録画像ごとの重み決定処理を行う。
まず、入力画像の顔画像データに含まれる項目と、登録画像R201〜R206の顔情報データに含まれる各項目とをそれぞれ比較する(S231)。
具体的には、登録画像R201〜R206の顔情報データに含まれる各項目の値と、入力画像の顔画像データに含まれる項目の値との差分が閾値以下であるか否かをそれぞれ比較する。
登録画像R201について例示すると、以下のとおりである。登録画像R201の顔情報データの「顔の向き」は、“0度”であるのに対して、入力画像A100の顔情報データに含まれる「顔の向き」は、“3度”である。
よって、顔情報データ比較部341は、「顔の向き」について、両者の差分を、“3度”と算出する。なお、ここでは差分の絶対値に注目し、正負の符号は考慮に入れないこととしている。また、以下、顔情報データ比較部341は、「笑顔度」および「射光度」について、それぞれの差分を、“20”および“0”と算出する。
次に、顔情報データ比較部341は、比較した結果、閾値の範囲内にある近い項目がいくつあるかを示す近似項目数を登録画像ごとに計上する(S232)。
具体的には、顔情報データ比較部341は、上記差分が閾値以下である項目の数を、登録画像R201〜R206について計上する。
ここでも、登録画像R201について例示すると、以下のとおりである。「顔の向き」についての差分は、“3度”であるのに対して「顔の向き」の閾値は、“5度”である。よって、「顔の向き」の項目について差分が閾値以下であるので、顔情報データ比較部341は、近似項目数をカウントアップする。
また、同様に「笑顔度」および「射光度」の項目について、差分は閾値以下であるので、顔情報データ比較部341は、「笑顔度」および「射光度」の項目について、近似項目数をカウントアップする。
このように、登録画像R201については、すべての項目が入力画像の項目に近いため近似項目数は、“3”である。
以下、同様に、登録画像R202については、「顔の向き」および「笑顔度」の2つが入力画像の項目に近いため近似項目数は、“2”である。また、登録画像R203〜R206については、「射光度」のみが入力画像の項目に一致しており、近似項目数は、“1”である。
次に、重み計算部342は、近似項目数に応じて登録画像R201〜R206の重みを計算する。
まず、最も近似項目数が多い“3”である登録画像R201については、登録画像R201〜R206のうち最も高い重みW201“0.8”を割り当てる。
続いて、登録画像R201の次に近似項目数が多い登録画像R202については、重みW201の次に高い重みW202“0.1”を割り当てる。
ここで、割り当てられる重みの残り“0.1”を、登録画像R203〜R206に均等に割り当てる。すなわち、登録画像R203〜R206それぞれの重みW203〜W206は、“0.1”を4等分した“0.025”である。
次に、重み出力部343が、重み計算部342が計算した重みW201〜W206を重みデータ記憶部22に記憶する(S234)。
(重み決定部の一変形例)
以下において、重み決定部34の一変形例について説明する。本変形例では、登録画像を顔情報データの近さにより順位付けして、この順位に基づいて重みを決定する。本変形例では、上述した顔情報データ比較部341および重み計算部342を次のように変更する。
はじめに、顔情報データ比較部341の変更点について説明する。まず、顔情報データ比較部341は、登録画像の顔情報データの項目ごとに、入力画像の顔情報データの項目との近さを算出する。そして、顔情報データ比較部341は、算出した項目ごとの近さに基づいて入力画像の顔情報データと登録画像の顔情報データとの近さを判定する。さらに、顔情報データ比較部341は、顔情報データの近さの判定結果に基づいて応じて順位付けする。
顔情報データ比較部341は、項目の設定が連続値である場合、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目との差から近さを算出する。この場合、顔情報データ比較部341は、算出した近さに基づいて顔情報データの近さを判定する。例えば、顔情報データに含まれる項目が1つである場合、顔情報データ比較部341は、項目間の差がより小さいほうがより近いと判定する。
また、例えば、顔情報データに含まれる項目が複数である場合、顔情報データ比較部341は、項目ごとに近さの順位付けを出力する。
また、顔情報データ比較部341は、閾値を用いて近さを判定してもよい。差が閾値以下であれば近いと判定することができる。また、このとき閾値は、段階的に設けられていてもよい。また、顔情報データ比較部341は、いずれの段階に属するかによって段階的に近さを判定してもよい。
また、顔情報データ比較部341は、項目の設定が分類である場合、分類の近さの規定に従って、分類の近さを判定する。分類の近さの規定とは、異なる分類同士の間に定義される近さのことである。
すなわち、分類の近さの規定としては、例えば、「正面」と、「右向き」との関係は、近いといった定義が挙げられる。あるいは、分類の近さの規定は、「正面」と、「右向き」との関係は、「左向き」と「右向き」との関係よりも近いという相対的なものであってもよい。この分類の近さの規定は、例えば、顔認証装置1の記憶部20において、予め定義しておけばよい。
次に、重み計算部342の変更点について説明する。重み計算部342は、顔情報データ比較部341が項目ごとに算出した順位付けに応じて重みを計算する。
この場合、例えば、重み計算部342は、各項目に均等に重みを割り振っておき、各項目においてより高い順位付けの登録画像に対して、各項目に割り振られた重みの範囲でより高い重み付けを割り当てる。そして、重み計算部342は、各項目について割り当てた重みを足し合わせることで、登録画像ごとの重みを算出する。
つまり、項目が4つあれば、まず、各項目について“0.25”の重みが割り振られる。そして、例えば、重み計算部342は、それぞれの項目において、最も高い順位付けがされた登録画像にこの重み“0.25”を割り当てる。また、このような項目を2つ有する登録画像の重みは“0.5”となる。
なお、重み計算部342は、所定順位の順位付けがされた項目がある登録画像に重みを割り当てるようにしてもよい。
[変形例の処理の流れ]
次に、図9を用いて、上述した変形例における登録画像ごとの重み決定処理の流れについて説明する。図9は、重み決定部34における登録画像ごとの重み決定処理の流れの別の例について示したフローチャートである。
図9に示すように、登録画像ごとの重み決定処理の変形例では、まず、顔情報データ比較部341が、各登録画像について、入力画像の顔情報データと、登録画像の顔情報データとを、項目ごとに比較する(S231)。
次に、顔情報データ比較部341は、登録画像の項目ごとに比較結果に応じて入力画像の顔情報データとの近さの順位付けを行う(S232A)。
続いて、重み計算部342は、順位付けに応じて、登録画像ごとの重みを計算する(S233A)。
そして、重み出力部343が、重み計算部342が計算した重みを重みデータ記憶部22に記憶する(S234)。以上で、登録画像ごとの重み決定処理は終了する。
(重み決定部の他の変形例)
以下において、重み決定部34の他の変形例について説明する。本変形例では、重み決定部34が、入力画像の顔情報データに含まれる項目の値と、登録画像の顔情報データに含まれる項目の値との差分を算出し、算出した差分に基づいて重みを決定する。
具体的には、重み決定部34は、各登録画像について、差分の逆数を算出して、算出した逆数の総和が1となるよう正規化を行うことにより、最終的な重みを決定する。
ここで、項目が「顔の向き」の連続値である場合について例示すると次のとおりである。
まず、入力画像の顔情報データに含まれる「顔の向き」の値と、第1の登録画像の顔情報データに含まれる「顔の向き」の値との差分が、50度であるとき、重み決定部34は、上記差分の逆数として、1/50=0.02を算出する。
また、入力画像の顔情報データに含まれる「顔の向き」の値と、第2の登録画像の顔情報データに含まれる「顔の向き」の値との差分が、2度であるとき、重み決定部34は、上記差分の逆数として、1/2=0.5を算出する。
このようにして算出した逆数の総和は、0.52であるので、第1の登録画像の重みおよび第2の登録画像の重みは、それぞれ、0.02/0.52、および0.5/0.52となる。このようにして算出した重みの総和は、0.02/0.52+0.5/0.52=1.0である。
〔実施形態2〕
本発明の他の実施形態について図10〜17に基づいて説明すると以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
以下の実施形態は、認証スコア算出のための登録画像を、所定の条件で予め選択しておき、選択した登録画像を用いて認証を行うものである。
図10に示す顔認証装置(画像認証装置)1Aは、これまで説明した顔認証装置1と比べて以下の点が異なる。
すなわち、顔認証装置1Aは、顔認証装置1の制御部30において、顔情報データ推定部33、重み決定部34および認証スコア算出部35を、それぞれ、顔情報データ推定部33A、重み決定部34Aおよび認証スコア算出部35(類似度算出手段)Aに変更するとともに、さらに登録画像選択部(選択手段)40を備える構成である。
また、顔認証装置1Aは、顔認証装置1の記憶部20において、さらに選択情報記憶部23を備える構成である。なお、登録画像選択部40は、「顔画像登録処理」における処理を実行するものである。以下、これらの相違点について説明する。
顔情報データ推定部33Aは、「顔画像登録処理」において、顔情報データの登録を行ったあと、登録画像選択部40に対して、顔情報データの登録が終了した旨を通知する。
選択情報記憶部23は、「顔画像認証処理」において、処理の対象となるべき登録画像の識別情報を含む選択情報を記憶している。つまり、選択情報記憶部23は、認証スコア算出部35Aにおける認証スコアの算出および重み決定部34Aにおける重み決定に用いられる登録画像の識別情報を記憶している。
登録画像選択部40は、「顔画像認証処理」において、顔情報データ推定部33Aから顔情報データの登録が終了した旨の通知を受信すると、処理の対象となるべき登録画像を選択する。登録画像選択部40は、具体的には、登録人物情報Pの間で、登録画像の顔情報データに含まれる項目を相互に比較して、近い項目が含まれる登録画像を処理の対象となるべき登録画像として選択する。登録画像選択部40は、選択した登録画像の識別情報を含む選択情報を選択情報記憶部23に記憶する。
なお、登録画像選択部40は、例示的に、登録画像を選択する構成としているが、別の側面からいえば、認証処理に用いる顔特徴データおよび顔情報データを選択しているとも言える。
重み決定部34Aは、選択された登録画像について重みを決定するものである。すなわち、重み決定部34Aは、選択情報記憶部23に記憶されている選択情報に識別情報が含まれている登録画像について重みを決定する。言い換えれば、重み決定部34Aは、選択された登録画像について認証スコア算出部35が算出するべき認証スコアに対する重みを決定する。
なお、重み決定部34Aにおける重み決定の手法等は、既に説明したものを採用することができる。
認証スコア算出部35Aは、入力画像と、選択された登録画像とのマッチングを行って、両者の近似の度合いを示す認証スコアを算出するものである。すなわち、認証スコア算出部35Aは、選択情報記憶部23に記憶されている選択情報に識別情報が含まれている登録画像を対象に認証スコアを算出する。なお、認証スコア算出部35Aにおける認証スコア算出の手法等は、既に説明したものを採用することができる。
(顔画像登録処理の流れ)
次に、図11を用いて、ある人物の顔を撮影した撮影画像を登録対象画像として登録する顔画像登録処理の流れついて説明する。図11は、顔認証装置1Aにおける顔画像登録処理の流れについて例示したフローチャートである。
ステップS10〜S12については、図3を用いて既に説明したとおりであるので、その説明を省略する。ステップS12に続くステップS13において、登録画像選択部40は、顔情報データにより登録画像を選択する。なお、『顔情報データにより登録画像を選択する処理』の詳細については後述する。以上で、顔画像登録処理は終了する。
(顔画像認証処理の流れ)
次に、図12を用いて、ある人物の顔を撮影した撮影画像を入力画像として認証する顔画像認証処理の流れについて説明する。図12は、顔認証装置1Aにおける顔画像認証処理の流れについて例示したフローチャートである。
ステップS20〜S22については、図4を用いて既に説明したとおりであるので、その説明を省略する。ステップS22に続いて、重み決定部34Aは、選択された登録画像について重みを決定する(S23A)。
次に、認証スコア算出部35Aは、入力画像と、選択された登録画像とのマッチングを順に行って、両者の近似の度合いを示す認証スコアを算出する(S24A)。
そして、重み付き認証スコア算出部36は、認証スコア算出部35Aが算出した認証スコアに重み決定部34Aが決定した重みを適用して重み付き認証スコアを計算する(S25)。その後、認証結果出力部37が、重み付き認証スコアを用いて入力画像A1の認証を行って、その認証結果を表示部12に出力する(S26)。以上で顔画像認証処理は終了する。
(実施例)
以下において、図13を用いて、顔認証装置1Aにおける顔画像登録処理および顔画像認証処理の実施例について説明する。本実施例では、図11および12を用いて説明したフローチャートの流れに沿って、以下の前提条件のもと、どのように顔認証装置1Aにおける顔画像登録処理および顔画像認証処理が行われるかについて説明する。
まず、前提条件として、図11を用いて説明した顔画像登録処理におけるステップS10〜S12により、図13に示すように、登録画像データベース21には、登録人物情報P1(Aさん)および登録人物情報P2(Bさん)が登録されている。登録人物情報P1および登録人物情報P2について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれている。項目の設定値には、分類を用いている。
登録人物情報P1について登録画像R11〜R13が登録されている。登録画像R11の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像R12の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。また、登録画像R13の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“右向き”が設定されている。
登録人物情報P2について登録画像R21およびR22が登録されている。登録画像R21の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像R23の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“右向き”が設定されている。
また、認証の対象となる入力画像A1は、“Aさん”が正面から均一光のもとで撮影されているものである。
上記前提条件のもと、さらに、顔認証装置1Aは、次のごとく処理の対象となるべき登録画像を選択する処理(S13)を行う。
まず、登録画像選択部40は、例示的に、登録人物情報P1および登録人物情報P2の間で、顔情報データが一致する登録画像を選択する。すなわち、図13に示す例では、登録画像R11と登録画像R21とは顔情報データに含まれる各項目が一致する。また、登録画像R13と登録画像R23とは顔情報データに含まれる各項目が一致する。
よって、登録画像選択部40は、登録人物情報P1については登録画像R11、R13の識別情報を選択情報記憶部23に記憶する。登録画像選択部40は、登録人物情報P2については登録画像R21、R23の識別情報を含む選択情報を選択情報記憶部23に記憶する。
さらに、顔認証装置1Aは、以下のごとく顔画像認証処理を行う。
まず、ステップS20〜S22については、既に説明した通りであるのでその説明を省略する。
ステップS22に続いて、重み決定部34Aが、入力画像Aの顔画像データと、選択された登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する(S23A)。このステップの詳細については、図5を用いて既に説明したステップS23に準じているので、その説明を省略する。
結果として、ステップS23Aにおいて、重み決定部34Aは、登録画像R11に対する重みW111に“0.8”を割り当て、登録画像R13に対する重みW112に“0.2”を割り当てる。また、重み決定部34Aは、登録画像R21に対する重みW121に、“0.8”を割り当て、登録画像R23に対する重みW123“0.2”を割り当てる。
次に、認証スコア算出部35Aが、登録人物情報P1について選択された登録画像R11およびR13と、登録人物情報P2について選択された登録画像R21およびR23とを順に、入力画像A1と比較して認証スコアを算出する(S24A)。このステップの詳細については、図5を用いて既に説明したS24に準じているので、その説明を省略する。
ステップS24Aでは、結果として、認証スコア算出部35Aが、登録画像R11の認証スコアC111を“800”と算出し、登録画像R13の認証スコアC113を“700”と算出する。また、認証スコア算出部35Aは、登録画像R21の認証スコアC121を“700”と算出し、登録画像R23の認証スコアC123を“200”と算出する。
以下、図5で説明したように、ステップS25およびS26において以下の処理が行われる。まず、ステップS25において、重み付き認証スコア算出部36が、ステップS23およびS24の結果から、登録人物情報P1についての重み付き認証スコアC110を、“780”と算出し、登録画像P2についての重み付き認証スコアC120を、“600”と算出する。
また、ステップS26において、認証結果出力部37は、ステップS25の結果から、登録人物情報P1の名前“Aさん”を返す。
(登録画像選択部の構成例)
以下において、図14〜図16を用いて、登録画像選択部40の一構成例について説明する。
本構成例では、上述した登録画像選択部40を次のように構成する。すなわち、図14に示すように、登録画像選択部40は、顔情報データ相互比較部(撮影条件近似判定手段、登録条件順位付け手段)401、基準登録画像選択部(撮影条件近さ算出手段)402、他人登録画像選択部(撮影条件近さ算出手段)403、および選択情報設定部404を備える。
顔情報データ相互比較部401は、指定された登録人物情報の登録画像の顔情報データを基準として、他の登録人物情報の登録画像と顔情報データの比較を行うものである。
なお、ここで、他の登録人物情報とは、指定された登録人物情報以外の登録人物情報のことを意味する。また、この登録人物情報の指定は、操作部11を介して取得するユーザの指示であってもよいし、ランダムに決定される指定であってもよい。以下、指定された登録人物情報のことを、基準登録人物情報と称する。
また、顔情報データ相互比較部401は、例示的に、上述した顔情報データ比較部341と同様、近似項目数を比較結果として出力する。
すなわち、顔情報データ相互比較部401は、基準登録人物情報の登録画像ごとに、他の登録人物情報の登録画像と顔情報データの比較を行って近似項目数を計上する。そして、顔情報データ相互比較部401は、他の登録人物情報の登録画像それぞれについて計上した近似項目数を比較結果として出力する。また、顔情報データ相互比較部401は、項目が近似しているか否かの判定に閾値を用いる。
基準登録画像選択部402は、顔情報データ相互比較部401の比較結果に基づいて、基準登録人物情報について、処理対象となる登録画像を選択するものである。基準登録画像選択部402は、例えば、比較結果の近似項目数がすべての項目において他の登録人物情報の登録画像と一致又は近似していることを示しているような基準登録画像を、対象となる登録画像として選択してもよい。
他人登録画像選択部403は、顔情報データ相互比較部401の比較結果に基づいて、基準登録人物情報以外の登録人物情報について、処理対象となる登録画像を選択するものである。他人登録画像選択部403は、例えば、比較結果の近似項目数がすべての項目において基準となる登録人物情報の登録画像と一致又は近似していることを示しているような他人の登録画像を、対象となる登録画像として選択してもよい。
選択情報設定部404は、基準登録画像選択部402および他人登録画像選択部403が選択した登録画像の識別情報を含む選択情報を選択情報記憶部23に記憶するものである。
[本構成例の処理の流れ]
次に、図15を用いて、本構成例に係る登録画像選択部40が実行する『顔情報データにより登録画像を選択する処理』の詳細について説明すると次のとおりである。図15は、『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。
図15に示すように、『顔情報データにより登録画像を選択する処理』では、まず、顔情報データ相互比較部401が、基準登録人物情報の登録画像と他の登録人物情報の登録画像との間で、顔情報データの比較を行う(S131)。
次に、顔情報データ相互比較部401が、基準登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する(S132)。
次に、基準登録画像選択部402が、顔情報データ相互比較部401の比較結果、すなわち近似項目数に応じて基準登録人物情報について登録画像を選択する(S133)。
次に、顔情報データ相互比較部401が、他の登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する(S134)。
次に、他人登録画像選択部403が、顔情報データ相互比較部401の比較結果、すなわち近似項目数に応じて他人の登録人物情報について登録画像を選択する(S135)。
次に、選択情報設定部404が、基準登録画像選択部402によって基準登録人物情報について選択された登録画像の識別情報と、他人登録画像選択部403によって他人の登録人物情報について選択された登録画像の識別情報とを、選択情報として選択情報記憶部23に登録する(S136)。
[本構成例の実施例]
以下において、図16を用いて、本構成例に係る『顔情報データにより登録画像を選択する処理』の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像が選択されるかについて、図15を用いて説明したフローチャートの流れに沿って説明する。
まず、図16に示すように、登録画像データベース21において、登録人物情報P1および登録人物情報P2が登録されている。登録人物情報P1については、登録画像R101〜R103が登録されている。また、登録人物情報P2については、登録画像R201、R204、R207およびR208が登録されている。
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。また、項目の設定値には、連続値を用いている。
各登録画像の具体的な設定値は、図16に示すとおりである。ひとつ例示しておくと、登録画像R101の顔データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“0度”、“710度”、および“0”が設定されている。
なお、以下に示す例では、登録人物情報P1が指定されているものとする。また、顔情報データ相互比較部401が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“10度”、“15”、および“110”とする。
上記前提条件のもと、登録画像選択部40では、以下のごとく『顔情報データにより登録画像を選択する処理』を行う。
まず、顔情報データ相互比較部401が、基準となる登録人物情報P1の登録画像R101〜R103と、登録人物情報P2の登録画像R201、R204、R207およびR208との間で、顔情報データの比較を行う(S131)。
すなわち、まず、顔情報データ相互比較部401は、登録画像R101について、登録画像R201、R204、R207およびR208との顔情報データの比較を行う。以下、登録画像R102およびR103について同様である。
次に、顔情報データ相互比較部401が、登録画像R101〜R103について、顔情報データの近似項目数を計上する(S132)。例えば、顔情報データ相互比較部401は、登録画像R101と、登録画像R201、R204、R207およびR208と間における近似項目数を次のようにしてカウントする。
まず、登録画像R101については、登録画像R201との比較では、「顔の向き」および「射光度」が一致しており、「笑顔度」が閾値以内であるので、顔情報データ相互比較部401は、近似項目数を“3”とカウントする。以下、同様に、顔情報データ相互比較部401は、登録画像R204、R207、およびR208との間における近似項目数を、それぞれ、“1”、“3”、および“2”とカウントする。
続いて、顔情報データ相互比較部401は、登録画像R102について、登録画像R201、R204、R207、およびR208との間における近似項目数を、それぞれ、“2”、“1”、“1”および“3”とカウントする。
さらに、顔情報データ相互比較部401は、登録画像R103について、登録画像R201、R204、R207およびR208との間における近似項目数を、それぞれ、“1”、“2”、“1”および“1”とカウントする。
次に、基準登録画像選択部402が、顔情報データ相互比較部401の比較結果、すなわち近似項目数に応じて登録人物情報P1について登録画像を選択する(S133)。
基準登録画像選択部402は、例示的に、登録画像R201、R204、R207、およびR208のいずれかとの比較において近似項目数が“3”とカウントされた登録画像を選択する。ステップS132では、登録画像R101と登録画像R201、R207との比較および登録画像R102と登録画像R208との比較において近似項目数が“3”とカウントされている。よって、基準登録画像選択部402は、登録画像R101およびR102を選択する。
次に、顔情報データ相互比較部401が、登録人物情報P2の登録画像R201、R204、R207およびR208について、顔情報データの近似項目数をカウントする(S134)。なお、登録画像R201、R204、R207およびR208の近似項目数は、ステップS132においてカウントされているため、顔情報データ相互比較部401は、ステップS132のカウント結果を利用してもよい。
次に、他人登録画像選択部403が、顔情報データ相互比較部401の比較結果、すなわち近似項目数に応じて登録人物情報P2について登録画像を選択する(S135)。
ここで、他人登録画像選択部403は、例示的に、登録画像R101〜R103のいずれかとの比較において近似項目数が“3”とカウントされた登録画像を選択する。
ステップS134では、登録画像R201と登録画像R101との比較、登録画像R207と登録画像R101との比較、および登録画像R208と登録画像R102との比較において近似項目数が“3”とカウントされている。よって、基準登録画像選択部402は、登録画像R201、R207およびR208を選択する。
次に、選択情報設定部404が、基準登録画像選択部402が登録人物情報P1について選択した登録画像R101およびR102の識別情報と、他人登録画像選択部403が登録人物情報P2について選択した登録画像R201、R207およびR208の識別情報とを、選択情報として選択情報記憶部23に登録する(S136)。
(登録画像選択部の別の構成例)
以下において、図17を用いて、登録画像選択部40の別の具体的な構成例について説明する。本構成例では、登録画像を顔情報データの近さにより順位付けして、この順位付けに基づいて登録画像の選択を行う。本構成例では、図14を用いて説明した顔情報データ相互比較部401、基準登録画像選択部402、他人登録画像選択部403の機能を次のように変更する。
顔情報データ相互比較部401は、比較結果として登録画像の顔情報データの近さを順位付けしたものを出力する。この順位付けは、他の登録人物情報の登録画像に対する基準登録人物情報の登録画像の順位付けである基準順位付けと、基準登録人物情報の登録画像に対する他の登録人物情報の登録画像の順位付けである他人順位付けとを含む。なお、基準順位付けおよび他人順位付け、それぞれにおける順位付けの手法については、重み決定部34の変形例にて既に説明したものに準じている。
顔情報データ相互比較部401は、例えば、次のような手順により、基準登録人物情報および他の登録人物情報の間において、顔情報データの比較および順位付けを行う。
まず、顔情報データ相互比較部401は、基準登録人物情報について登録されている各登録画像と、他の登録人物情報について登録されている各登録画像とを項目ごとに比較して、基準登録人物情報について登録されている登録画像の基準順位付けを行う。
そして、顔情報データ相互比較部401は、逆に、基準登録人物情報について登録されている各登録画像と、他の登録人物情報について登録されている各登録画像とを項目ごとに比較して、他の登録人物情報について登録されている登録画像の他人順位付けを行う。
基準登録画像選択部402は、顔情報データ相互比較部401が出力する基準順位付けに応じて、基準登録人物情報について登録画像を選択する。基準登録画像選択部402は、例えば、最上位から所定の順位までの順位付けがされた項目を含む登録画像を選択する。
他人登録画像選択部403は、顔情報データ相互比較部401が出力する他人順位付けに応じて、他の登録人物情報について登録画像を選択する。他人登録画像選択部403は、例えば、最上位から所定の順位までの順位付けがされた項目を含む登録画像を選択する。
[本構成例の処理の流れ]
次に、図17を用いて、本構成例に係る登録画像選択部40が実行する『顔情報データにより登録画像を選択する処理』の詳細について説明すると次のとおりである。図17は、『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。
図17に示すように、『顔情報データにより登録画像を選択する処理』では、まず、顔情報データ相互比較部401は、基準登録人物情報の登録画像および他の登録人物情報の登録画像について、顔画像データを項目ごとに比較する(S131A)。
次に、顔情報データ相互比較部401は、比較結果に応じて、基準登録人物情報について、項目ごとに基準順位付けを行う(S132A)。
次に、基準登録画像選択部402が、基準順位付けに応じて、基準登録人物情報について登録画像を選択する(S133A)。
次に、顔情報データ相互比較部401は、比較結果に応じて、他の登録人物情報について、項目ごとに他の順位付けを行う(S134A)。
次に、他人登録画像選択部403が、他の順位付けに応じて、他の登録人物情報について登録画像を選択する(S135A)。
次に、選択情報設定部404が、基準登録画像選択部402が基準登録人物情報について選択した登録画像の識別情報と、他人登録画像選択部403が他人の登録人物情報について選択した登録画像の識別情報とを、選択情報として選択情報記憶部23に登録する(S136)。
〔実施形態3〕
本発明のさらに別の実施形態について図18〜図24に基づいて説明すると以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
以下の実施形態は、認証スコア算出のための登録画像を、所定の条件で予め枚数を合わせて選択しておき、選択した登録画像を用いて認証を行うものである。
図18に示す顔認証装置(画像認証装置)1Bは、図10等を用いて説明した顔認証装置1Aと比べて以下の点が異なる。すなわち、顔認証装置1Bは、顔認証装置1Aにおいて、選択枚数設定部(選択手段)41を追加するとともに、登録画像選択部40を登録画像選択部(選択手段)42に変更したものである。選択枚数設定部41は、「顔画像登録処理」における処理を実行するものである。以下、これらの相違点について説明する。
選択枚数設定部41は、各登録人物情報について登録されている登録画像の枚数を、それぞれ計上し、計上結果に基づいて選択枚数を設定する。ここで選択枚数設定部41は、各登録人物情報の間で、同じ数の登録画像が選択されるように、選択枚数を設定する。
例えば、選択枚数設定部41は、登録人物情報について登録されている登録画像の枚数のうち、最小の数を選択枚数として設定する。なお、選択枚数設定部41は、例えば、登録人物情報について登録されている登録画像の枚数のうち、最小の数よりも小さい数を選択枚数として設定してもよい。選択枚数設定部41は、設定した選択枚数を登録画像選択部42に通知する。
登録画像選択部42は、選択枚数設定部41から通知される選択枚数に従って、「顔画像認識処理」において、処理の対象となるべき登録画像の識別情報を選択するものである。登録画像選択部42は、設定された選択枚数に従って、登録画像データベース21に登録されている登録人物情報それぞれの間において選択される登録画像の枚数が同じになるように、選択枚数分の登録画像を選択する。登録画像選択部42の詳細については、以下において説明する。
なお、顔情報データ推定部33Aは、「顔画像登録処理」において、顔情報データの登録が終了した旨を、選択枚数設定部41に対して通知するように変更している。
(登録画像選択部の構成例)
以下において、図19〜図23を用いて、登録画像選択部42の詳細について説明する。図19は、登録画像選択部42の詳細な構成例を示した機能ブロック図である。
図19に示すように、登録画像選択部42は、顔情報データ相互比較部(条件相互判定手段、相互近似数計上手段、相互順位付け手段)421、登録画像選択情報生成部(撮影条件近さ相互算出手段)422、および選択情報設定部423を備える構成である。
顔情報データ相互比較部421は、ある登録人物情報の登録画像の顔情報データを基準として、他の登録人物情報の登録画像との間で顔情報データの比較を行うものである。顔情報データ相互比較部421における比較の手法は、例示的に、上述した顔情報データ相互比較部401と同様のものを採用している。また、顔情報データ相互比較部421は、例示的に、上述した顔情報データ相互比較部401と同様、近似項目数を比較結果として出力する。
なお、顔情報データ相互比較部421は、例示的に、登録人物情報について登録されている登録画像の枚数が、最小である登録人物情報を基準とする。
登録画像選択情報生成部422は、顔情報データ相互比較部421の比較結果に従って、基準となる登録人物情報の登録画像と他の登録人物情報の登録画像とを、それぞれ、選択枚数で示される数だけ選択するものである。
ここで、登録画像選択情報生成部422は、例えば、次のようにして、基準となる登録人物情報の登録画像を選択する。すなわち、登録画像選択情報生成部422は、基準となる登録人物情報の登録画像をすべて選択する。つまり、この場合、基準となる登録人物情報の登録画像の枚数は、選択枚数設定部41から通知される選択枚数に等しい。
また、登録画像選択情報生成部422は、例えば、次のようにして、他の登録人物情報の登録画像を選択する。すなわち、登録画像選択情報生成部422は、比較結果の近似項目数がすべての項目において基準となる登録人物情報の登録画像と一致又は近似していることを示しているような他の登録人物情報の登録画像を、対象となる登録画像として選択する。
選択情報設定部423は、登録画像選択情報生成部422が選択した登録画像の識別情報を選択情報として選択情報記憶部23に記憶するものである。
(顔画像登録処理の流れ)
次に、図20を用いて、顔認証装置1Bにおける顔画像登録処理の流れについて説明する。図20は、顔認証装置1Bにおける顔画像登録処理の流れについて例示したフローチャートである。
ステップS10〜S12については、図3を用いて既に説明したとおりであるので、その説明を省略する。ステップS12に続くステップS14において、選択枚数設定部41が、登録人物情報ごとに登録画像の登録枚数を計上し、計上結果に従い選択枚数を設定する。
次に、登録画像選択部42は、顔情報データにより登録画像を選択枚数分だけ選択する(S15)。なお、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細については以下に説明する。以上で、顔画像登録処理は終了する。
(顔情報データにより登録画像を選択枚数分だけ選択する処理の流れ)
以下において、図21を用いて、登録画像選択部42における『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について説明すると次のとおりである。図21は、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
図21に示すように、『顔情報データにより登録画像を選択枚数分だけ選択する処理』では、まず、顔情報データ相互比較部421が、ある登録人物情報を基準として、基準となる登録人物情報の登録画像と他の登録人物情報の登録画像との間で、顔情報データを項目ごとに比較する(S151)。
次に、顔情報データ相互比較部401が、比較結果から、他の登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する(S152)。
次に、登録画像選択情報生成部422が、近似項目数に応じて登録画像を選択する(S153)。すなわち、登録画像選択情報生成部422が、顔情報データ相互比較部401により計上された近似項目数に応じて登録画像の識別情報を含む選択情報を生成する。
次に、選択情報設定部423が、登録画像選択情報生成部422により生成された選択情報を選択情報記憶部23に記憶する(S154)。以上で処理は終了する。
(顔画像認証処理の流れ)
次に、顔認証装置1Bにおける顔画像認証処理の流れについて説明する。顔認証装置1Bにおける顔画像認証処理には、図12に示すフローチャートを用いて説明した顔画像認証処理をそのまま適用することができる。
よって、ここでは、その詳細についての説明は省略する。
(実施例)
以下において、図22を用いて、顔認証装置1Bにおける顔画像登録処理および顔画像認証処理の実施例について説明する。顔画像登録処理および顔画像認証処理の順に説明すると次のとおりである。
第1に、顔画像登録処理において、登録画像選択部42が、以下の前提条件のもと、どのように登録画像が選択するかについて、図20、図21に示す各フローチャートの流れに沿って説明する。
まず、前提条件として、図20を用いて説明した顔画像登録処理におけるステップS10〜S12により、図22に示すように、登録画像データベース21には、登録人物情報P1(Aさん)および登録人物情報P2(Bさん)が登録されている。
ここで、詳しく図示はしていないが、登録人物情報P1および登録人物情報P2について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれているものとする。
また、登録人物情報P1について登録画像R11、R13が登録されている。登録画像R11、R13の顔情報データの各項目は、図13等にて説明したとおりであるので、ここではその説明を省略する。
また、登録人物情報P2について登録画像R21〜R27が登録されている。登録画像R21〜R25については、顔情報データの各項目は図5および図16にてすでに説明したとおりであるので、ここではその説明を省略する。
また、登録画像R26の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“上向き”が設定されている。また、登録画像R27の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“下向き”が設定されている。
また、認証の対象となる入力画像A1は、“Aさん”が正面から均一光のもとで撮影されているものである。
上記前提条件のもと、さらに、選択枚数設定部41が、登録人物情報P1、P2について登録画像の登録枚数を計上し、計上結果に従い選択枚数を設定する(S14)。登録人物情報P1の登録画像の登録枚数は、“2”であり、登録人物情報P2の登録画像の登録枚数は、“7”であるので、選択枚数設定部41は、このうち小さいほうの“2”を選択枚数として設定する。
次に、顔認証装置1Bは、次のごとく顔情報データにより登録画像を選択枚数分だけ選択する処理を行う(S15)。
より具体的には、顔情報データ相互比較部421が登録人物情報P1を基準として、登録人物情報P1の登録画像R11、R13と、登録人物情報P2の登録画像R21〜R27との間で、顔情報データの比較を行い(S151)、近似項目数を計上する(S152)。
すなわち、登録画像R11の顔情報データに含まれる2つの項目「照明条件」および「顔の向き」の双方に近似するものは、登録画像R21である。また、登録画像R12の顔情報データに含まれる2つの項目「照明条件」および「顔の向き」の双方に近似するものは、登録画像R22である。
よって、顔情報データ相互比較部421は、登録画像R11と登録画像R21とについては、近似項目数“2”を出力する。また、顔情報データ相互比較部421は、登録画像R12と登録画像R22とについては、近似項目数“2”を出力する。
それ以外の登録画像間の比較において、顔情報データ相互比較部421が出力する近似項目数は、“1”以下である。
次に、登録画像選択情報生成部422が、顔情報データ相互比較部401により計上された近似項目数に応じて登録画像の識別情報を含む選択情報を生成する(S153)。
すなわち、登録画像選択情報生成部422は、近似項目数“2”が計上されている登録画像R11、R12、R21、およびR22の識別情報を含む選択情報を生成する。
次に、選択情報設定部423が、登録画像R11、R12、R21、およびR22の識別情報を含む選択情報を選択情報記憶部23に記憶する(S154)。以上で顔情報データにより登録画像を選択枚数分だけ選択する処理が終了するとともに、顔画像登録処理が終了する。
第2に、図12を参照しながら、顔認証装置1Bが、上述の前提条件のもと、どのように顔画像認証処理するかについて説明する。
まず、図12のステップS20〜S22については、既に説明した通りであるのでその説明を省略する。
ステップS22に続いて、重み決定部34Aが、入力画像Aの顔画像データと、選択された登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する(S23A)。このステップの詳細については、図5を用いて既に説明したステップS23に準じているので、その説明を省略する。
結果として、ステップS23Bにおいて、重み決定部34Aは、登録画像R11に対する重みW211に“0.8”を割り当て、登録画像R13に対する重みW213に“0.2”を割り当てる。また、重み決定部34は、登録画像R21に対する重みW221に、“0.8”を割り当て、登録画像R22に対する重みW222“0.2”を割り当てる。
次に、認証スコア算出部35Aが、登録人物情報P1について選択された登録画像R11およびR13と、登録人物情報P2について選択された登録画像R21およびR22とを順に、入力画像A1と比較して認証スコアを算出する(S24A)。このステップの詳細については、図5を用いて既に説明したS24に準じているので、その説明を省略する。
ステップS24Bでは、結果として、認証スコア算出部35Aが、登録画像R11の認証スコアC211を“800”と算出し、登録画像R13の認証スコアC213を“700”と算出する。また、認証スコア算出部35Aは、登録画像R21の認証スコアC221を“700”と算出し、登録画像R23の認証スコアC222を“200”と算出する。
以下、図5で説明したように、ステップS25およびS26において以下の処理が行われる。まず、ステップS25において、重み付き認証スコア算出部36が、ステップS23BおよびS24Bの結果から、登録人物情報P1についての重み付き認証スコアC210を、“780”と算出し、登録画像P2についての重み付き認証スコアC220を、“600”と算出する。
また、ステップS26において、認証結果出力部37は、ステップS25の結果から、登録人物情報P1の名前“Aさん”を返す。
(変形例)
以下において、図23および図24を用いて、登録画像選択部42の変形例について説明する。本変形例では、登録画像を顔情報データの近さにより順位付けして、この順位付けに基づいて登録画像を選択する。本変形例では、図18を用いて説明した顔情報データ相互比較部421、および登録画像選択情報生成部422の機能を次のように変更する。
顔情報データ相互比較部421は、比較結果として登録画像の顔情報データの近さを項目ごとに順位付けしたものを出力する。顔情報データ相互比較部421が出力する順位付けは、具体的には、基準となる登録人物情報の登録画像に対する他の登録人物情報の登録画像の順位付けである。
なお、順位付けの手法については、重み決定部34の変形例にて既に説明したもの等に準じている。また、あえて順位付けしなくてもかまわないほど、登録画像間において顔情報データの近さが近いと判断できる場合は、ランダムで順位付けしてもよい。
登録画像選択情報生成部422は、顔情報データ相互比較部421が出力する項目ごとの順位付けに応じて、基準登録人物情報および他の登録人物情報について登録画像を選択する。
登録画像選択情報生成部422は、例示的に、次のようにして登録画像を選択する。すなわち、まず、登録画像選択情報生成部422は、項目ごとの順位付けに応じて、他の登録人物情報の登録画像ごとに、総合順位を算出する。
登録画像選択情報生成部422は、一例として、次のようにして総合順位を算出する。すなわち、登録画像選択情報生成部422は、項目ごとの順位付けにおいて1位がより多い登録画像に、より高い総合順位を割り当てる。
また、登録画像選択情報生成部422は、他の例として、次のようにして総合順位を算出する。すなわち、登録画像選択情報生成部422は、各項目ごとの順位付けに対応して割り当てられたポイントの総和に基づいて総合順位を算出する。
具体的には、登録画像選択情報生成部422は、項目ごとの順位付けが、1位であるときには、10ポイント、2位であるときには、5ポイント、3位であるときには1ポイントをポイントとして加算する。そして、登録画像選択情報生成部422は、加算したポイントが高い順に、総合順位を算出する。
この場合、登録画像の数が、10で、顔情報データの項目の数が、3である場合、第1の登録画像において、各項目の順位付けが、それぞれ1位、10位、および10位であるのに対して、第2の登録画像において、各項目の順位付けが、それぞれ、2位、2位、2位であるときには、登録画像選択情報生成部422は、次のように総合順位を算出する。
すなわち、登録画像選択情報生成部422は、第1の登録画像について、10ポイント、第2の登録画像について、15ポイントを算出する。第1の登録画像のポイントよりも、第2の登録画像のポイントが高いので、登録画像選択情報生成部422は、第2の登録画像の総合順位を、第1の登録画像の総合順位よりも高くする。
なお、登録画像選択情報生成部422は、ポイントの総和が、より低いものに、より高い総合順位を割り当てるようにしてもよい。例えば、項目ごとの順位付けそのものをポイントとしてもよい。つまり、この場合、各項目の順位付けが、1位のものは、1ポイントであり、2位のものは、2ポイントである。
また、登録画像選択情報生成部422は、例示的に、総合順位が、上位から所定順位までの登録画像を選択する。これに限られず、登録画像選択情報生成部422は、総合順位が、1位である登録画像のみを選択してもよい。
[本変形例の処理の流れ]
次に、図23を用いて、本構成例に係る登録画像選択部42が実行する『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について説明すると次のとおりである。図23は、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
図23に示すように、『顔情報データにより登録画像を選択枚数分だけ選択する処理』では、まず、顔情報データ相互比較部421は、基準となる登録人物情報の登録画像および他の登録人物情報の登録画像について、顔画像データを項目ごとに比較する(S151A)。
次に、顔情報データ相互比較部421は、比較結果に応じて、他の登録人物情報について、項目ごとに順位付けを行う(S152A)。
次に、登録画像選択情報生成部422が、項目ごとの順位付けに応じて、基準となる登録人物情報および他の登録人物情報について登録画像を選択し、選択した登録画像の識別情報を含む選択情報を生成する(S153A)。
次に、選択情報設定部423が、登録画像選択情報生成部422によって生成された選択情報を選択情報記憶部23に登録する(S154)。
[本変形例の実施例]
以下において、図24を用いて、本変形例に係る『顔情報データにより登録画像を選択枚数分だけ選択する処理』の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像が選択されるかについて、図23を用いて説明したフローチャートの流れに沿って説明する。
まず、図24に示すように、登録画像データベース21において、登録人物情報P1および登録人物情報P2が登録されている。登録人物情報P1については、登録画像R101、R103が登録されている。また、登録人物情報P2については、登録画像R201〜R204が登録されている。
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。また、項目の設定値には、連続値を用いている。なお、各登録画像の具体的な設定値は、図26に示すとおりであり、図22を用いてすでに説明済みであるので、ここではその説明を省略する。
なお、以下に示す例では、顔情報データ相互比較部421が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“10度”、“15”、および“110”とする。
上記前提条件のもと、登録画像選択部42では、以下のごとく『顔情報データにより登録画像を選択枚数分だけ選択する処理』を行う。
すなわち、まず、顔情報データ相互比較部421が、基準となる登録人物情報P1の登録画像R101、R103と、登録人物情報P2の登録画像R201〜R204について、顔情報データを項目ごとに比較する(S151)。
すなわち、まず、顔情報データ相互比較部421は、登録画像R101について、登録画像R201〜R204との顔情報データの比較を行う。登録画像R103についても同様である。
次に、顔情報データ相互比較部421が、比較結果に応じて、登録人物情報P2の各登録画像について、項目ごとに順位付けを行う(S152A)。
ここで、登録画像R101との比較における順位付けについて説明すると次のとおりである。登録画像R201の「顔の向き」および「射光度」は、登録画像R101のものと一致しており、また「笑顔度」は、差分が“10”である。よって、登録画像R101との比較において、登録画像R201の「顔の向き」および「射光度」は、1位に順位付けられる。また、登録画像R201の「笑顔度」は、2位に順位付けられる。
また、登録画像R103との比較における順位付けについて説明すると次のとおりである。登録画像R203の「顔の向き」および「射光度」は、登録画像R103のものと一致しており、また「笑顔度」は、差分が“10”である。よって、登録画像R103との比較において、登録画像R203の各項目は、1位に順位付けられる。
次に、登録画像選択情報生成部422が、項目ごとの順位付けに応じて、登録人物情報P1および登録人物情報P2について登録画像を選択し、選択した登録画像の識別情報を含む選択情報を生成する(S153A)。
ここでは、登録人物情報P2の登録画像について総合順位を算出し、この総合順位に基づいて登録画像を選択する。すなわち、登録画像R101との比較においては、1位を多く含む登録画像R201に最も高い総合順位が割り当てられる。また、登録画像R103との比較においては、1位を多く含む登録画像R203に最も高い総合順位が割り当てられる。
よって、登録画像選択情報生成部422は、基準となる登録人物情報P1については、登録画像R101、R103をそれぞれ選択する。また、登録画像選択情報生成部422は、登録人物情報P2については、総合順位に基づいて登録画像R201、R203を選択する。
この結果、登録画像選択情報生成部422は、登録画像R101、R103、R201およびR203の識別情報を含む選択情報を生成する。
次に、選択情報設定部423が、登録画像R101、R103、R201およびR203の識別情報を含む選択情報を選択情報記憶部23に登録する(S154)。
(むすび)
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、顔認証装置1、1A、1Bの各ブロック、特に画像取得部31、顔特徴データ抽出部32、顔情報データ推定部33、重み決定部34、34A、認証スコア算出部35、35A、重み付き認証スコア算出部36、認証結果出力部37、登録画像選択部40、42、および選択枚数設定部41は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、顔認証装置1、1A、1Bは、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである顔認証装置1、1A、1Bの制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記顔認証装置1、1A、1Bに供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R/ブルーレイディスク(登録商標)等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、顔認証装置1、1A、1Bを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、画像に含まれる対象物の認証に用いることができるので、プリンタ、スキャナ、パーソナルコンピュータ等により実現されるデジタル画像機器や、デジタルカメラ、およびセキュリティシステム等に好適に利用することができる。
1、1A、1B 顔認証装置(画像認証装置)
5 画像入力装置
20 記憶部
21 登録画像データベース
22 重みデータ記憶部
23 選択情報記憶部
30 制御部
31 画像取得部
32 顔特徴データ抽出部
33 顔情報データ推定部(入力画像撮影条件取得手段、登録画像撮影条件取得手段)
34、34A 重み決定部(重み付け決定手段)
341 顔情報データ比較部(入力条件判定手段、入力条件順位付け手段、近さ算出手段)
342 重み計算部(重み付け決定手段)
343 重み出力部
35、35A 認証スコア算出部(類似度算出手段)
36 重み付き認証スコア算出部(重み付け適用手段)
37 認証結果出力部(画像認証手段)
40 登録画像選択部(選択手段)
100 顔認証システム
401 顔情報データ相互比較部(撮影条件近似判定手段、登録条件順位付け手段)
402 基準登録画像選択部(撮影条件近さ算出手段)
403 他人登録画像選択部(撮影条件近さ算出手段)
404 選択情報設定部
41 選択枚数設定部(選択手段)
42 登録画像選択部(選択手段)
421 顔情報データ相互比較部(条件相互判定手段、相互近似数計上手段、相互順位付け手段)
422 登録画像選択情報生成部(撮影条件近さ相互算出手段)
423 選択情報設定部
A1 入力画像
P 登録人物情報
R 登録画像

Claims (14)

  1. 対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、
    上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されているとともに、1以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されており、
    上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、
    上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、
    上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、
    上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、
    上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、
    重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、
    一の対象物について登録されている上記登録画像の上記撮影条件と他の対象物について登録されている上記登録画像の上記撮影条件との近さである撮影条件近さが所定の近さであるか否かを判定し、上記対象物それぞれについて登録されている上記複数の登録画像から、上記判定の結果において撮影条件近さが所定以内である上記登録画像を、重み付けを適用すべき登録画像として選択する選択手段とを備え、
    上記重み付け適用手段は、上記選択手段により選択された登録画像について算出された類似度に、重み付けを適用することを特徴とする画像認証装置。
  2. 上記選択手段は、対象物それぞれについて、同じ数の登録画像を選択することを特徴とする請求項に記載の画像認証装置。
  3. 上記登録画像の上記撮影条件には複数の条件が含まれており、
    一の対象物について登録されている上記登録画像の上記撮影条件に含まれる条件と、他の対象物について登録されている上記登録画像の上記撮影条件に含まれる条件とが近似しているか否かをそれぞれ判定する撮影条件近似判定手段と、
    上記撮影条件近似判定手段が近似していると判定した数に応じて、上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることを特徴とする請求項1または2に記載の画像認証装置。
  4. 一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの近い順に順位付けをする登録条件順位付け手段と、
    上記登録条件順位付け手段による上記順位付けにおいて、最上位から所定順位までの上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることを特徴とする請求項1または2に記載の画像認証装置。
  5. 対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、
    上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件であって複数の条件を含む撮影条件とが対応付けられて登録されているとともに、1以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されており、
    上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、
    上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、
    上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、
    上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、
    上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、
    重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、
    上記入力画像の上記撮影条件には複数の条件が含まれており、
    上記入力画像の上記撮影条件に含まれる条件と、上記登録画像の上記撮影条件に含まれる条件とが近似しているか否かを、それぞれ判定する入力条件判定手段と、
    上記入力条件判定手段が近似していると判定した数に応じて、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、
    上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とする画像認証装置。
  6. 対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、
    上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されているとともに、1以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されており、
    上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、
    上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、
    上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、
    上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、
    上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、
    重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、
    上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする入力条件順位付け手段と、
    上記入力条件順位付け手段による上記順位付けにおいて、最上位から所定順位までの上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、
    上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とする画像認証装置。
  7. 上記登録画像の上記撮影条件には、複数の条件が含まれていることを特徴とする請求項4または6に記載の画像認証装置。
  8. 上記対象物が人物の顔であることを特徴とする請求項1からのいずれか1項に記載の画像認証装置。
  9. 請求項1からのいずれか1項に記載の画像認証装置と、
    上記入力画像を上記画像認証装置に供給する画像入力装置と、を備えることを特徴とする画像処理システム。
  10. 請求項1から8のいずれか1項に記載の画像認証装置としてコンピュータを機能させるための画像認証装置制御プログラムであって、コンピュータを上記各手段として機能させるための画像認証装置制御プログラム。
  11. 請求項10に記載の画像認証装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、
    上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、
    上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されているとともに、1以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
    一の対象物について登録されている上記登録画像の上記撮影条件と他の対象物について登録されている上記登録画像の上記撮影条件との近さである撮影条件近さに応じて、上記対象物それぞれについて登録されている上記複数の登録画像から、重み付けを適用すべき上記登録画像を選択する選択ステップと、
    上記撮影条件近さに応じた重み付けを決定する重み付け決定ステップと、
    上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、
    上記選択ステップにより選択された登録画像について、上記類似度算出ステップにより算出された類似度に上記重み付けを適用する重み付け適用ステップと、
    重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、
    を含むことを特徴とする画像認証方法。
  13. 対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、
    上記入力画像の上記対象物に関する撮影条件であって複数の条件を含む撮影条件を取得する入力画像撮影条件取得ステップと、
    上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件であって複数の条件を含む撮影条件とが対応付けられて登録されているとともに、1以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
    上記入力画像の上記撮影条件に含まれる条件と、上記登録画像の上記撮影条件に含まれる条件とが近似しているか否かを、それぞれ判定する入力条件判定ステップと、
    上記入力条件判定ステップが近似していると判定した数に応じて、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出ステップと、
    上記近さ算出ステップが算出する上記近さに応じた重み付けを決定する重み付け決定ステップと、
    上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、
    上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、
    重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、
    を含むことを特徴とする画像認証方法。
  14. 対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、
    上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、
    上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されているとともに、1以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
    上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの近い順に順位付けをする入力条件順位付けステップと、
    上記入力条件順位付けステップによる上記順位付けにおいて、最上位から所定順位までの上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出ステップと、
    上記近さ算出ステップが算出する上記近さに応じて重み付けを決定する重み付け決定ステップと、
    上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、
    上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、
    重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、
    を含むことを特徴とする画像認証方法。
JP2010284576A 2010-12-21 2010-12-21 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法 Active JP4893855B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010284576A JP4893855B1 (ja) 2010-12-21 2010-12-21 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
PCT/JP2011/056616 WO2012086222A1 (ja) 2010-12-21 2011-03-18 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
EP11850862.1A EP2657908A4 (en) 2010-12-21 2011-03-18 Image authentication apparatus, image processing system, control program for image authentication apparatus, computer-readable recording medium, and image authentication method
US13/990,931 US20130329970A1 (en) 2010-12-21 2011-03-18 Image authentication apparatus, image processing system, control program for image authentication apparatus, computer-readable recording medium, and image authentication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010284576A JP4893855B1 (ja) 2010-12-21 2010-12-21 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法

Publications (2)

Publication Number Publication Date
JP4893855B1 true JP4893855B1 (ja) 2012-03-07
JP2012133541A JP2012133541A (ja) 2012-07-12

Family

ID=45907930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010284576A Active JP4893855B1 (ja) 2010-12-21 2010-12-21 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法

Country Status (4)

Country Link
US (1) US20130329970A1 (ja)
EP (1) EP2657908A4 (ja)
JP (1) JP4893855B1 (ja)
WO (1) WO2012086222A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782884A (zh) * 2022-03-10 2022-07-22 慧之安信息技术股份有限公司 基于安防视频监控的增强识别方法和装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5375352B2 (ja) * 2009-06-15 2013-12-25 コニカミノルタ株式会社 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム
CN110263507B (zh) * 2013-05-29 2023-08-11 企业服务发展公司有限责任合伙企业 应用程序的被动安全
KR102104123B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 콘텐츠 디스플레이 장치 및 방법
US9118654B2 (en) 2013-10-11 2015-08-25 Edifire LLC Methods and systems for compliance monitoring in secure media-based conferencing
US9118809B2 (en) * 2013-10-11 2015-08-25 Edifire LLC Methods and systems for multi-factor authentication in secure media-based conferencing
US8970660B1 (en) 2013-10-11 2015-03-03 Edifire LLC Methods and systems for authentication in secure media-based conferencing
JP6323025B2 (ja) * 2014-01-21 2018-05-16 富士通株式会社 表示制御プログラム、表示制御装置及び表示制御システム
JP6410450B2 (ja) * 2014-03-31 2018-10-24 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
EP3192252A4 (en) * 2014-09-08 2018-05-02 Edifire LLC Methods and systems for multi-factor authentication in secure media-based conferencing
CN105488371B (zh) * 2014-09-19 2021-04-20 中兴通讯股份有限公司 一种脸部识别方法和装置
US9282130B1 (en) 2014-09-29 2016-03-08 Edifire LLC Dynamic media negotiation in secure media-based conferencing
US9131112B1 (en) 2014-09-29 2015-09-08 Edifire LLC Dynamic signaling and resource allocation in secure media-based conferencing
US9137187B1 (en) 2014-09-29 2015-09-15 Edifire LLC Dynamic conference session state management in secure media-based conferencing
US9167098B1 (en) 2014-09-29 2015-10-20 Edifire LLC Dynamic conference session re-routing in secure media-based conferencing
US9928410B2 (en) * 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
JP6563221B2 (ja) * 2015-03-23 2019-08-21 グローリー株式会社 人物認証装置及び人物認証方法
JP6503079B2 (ja) * 2015-09-14 2019-04-17 株式会社日立国際電気 特定人物検知システム、特定人物検知方法および検知装置
JP6265456B1 (ja) * 2017-06-29 2018-01-24 ジャパンモード株式会社 仮想通貨取引システム、仮想通貨取引装置、及び仮想通貨取引プログラム
JP2020021395A (ja) * 2018-08-03 2020-02-06 キヤノンマーケティングジャパン株式会社 管理サーバ、テレワーク管理支援システム、テレワーク管理支援方法ならびにプログラム
US20220067348A1 (en) * 2018-09-06 2022-03-03 Nec Solution Innovators, Ltd. Master face image registration apparatus, registration method, program, and recording medium
JP7257765B2 (ja) * 2018-09-27 2023-04-14 キヤノン株式会社 情報処理装置、認証システムおよびそれらの制御方法、プログラム
JP6998568B2 (ja) * 2019-03-04 2022-01-18 パナソニックIpマネジメント株式会社 顔認証システムおよび顔認証方法
CN110458099B (zh) * 2019-08-12 2021-02-12 北京百度网讯科技有限公司 用于输出信息的方法和装置
US11941913B2 (en) * 2020-07-14 2024-03-26 Corsight.Ai. Ltd. High resolution face matching

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283224A (ja) * 2000-03-31 2001-10-12 Nec Corp 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
JP2007150602A (ja) * 2005-11-25 2007-06-14 Nikon Corp 電子カメラ
JP2009003866A (ja) * 2007-06-25 2009-01-08 Panasonic Corp 顔認証装置
JP2010061465A (ja) * 2008-09-04 2010-03-18 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571826B1 (ko) * 2003-12-02 2006-04-17 삼성전자주식회사 대용량 얼굴 인식 장치 및 방법
JP4305672B2 (ja) * 2006-11-21 2009-07-29 ソニー株式会社 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム
EP2087468A2 (en) * 2006-12-01 2009-08-12 Thomson Licensing Estimating a location of an object in an image
JP2009064173A (ja) 2007-09-05 2009-03-26 Toshiba Corp 人物照合システム
JP4577410B2 (ja) * 2008-06-18 2010-11-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4636190B2 (ja) * 2009-03-13 2011-02-23 オムロン株式会社 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム
JP5476955B2 (ja) * 2009-12-04 2014-04-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283224A (ja) * 2000-03-31 2001-10-12 Nec Corp 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
JP2007150602A (ja) * 2005-11-25 2007-06-14 Nikon Corp 電子カメラ
JP2009003866A (ja) * 2007-06-25 2009-01-08 Panasonic Corp 顔認証装置
JP2010061465A (ja) * 2008-09-04 2010-03-18 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782884A (zh) * 2022-03-10 2022-07-22 慧之安信息技术股份有限公司 基于安防视频监控的增强识别方法和装置

Also Published As

Publication number Publication date
EP2657908A1 (en) 2013-10-30
EP2657908A4 (en) 2018-01-17
WO2012086222A1 (ja) 2012-06-28
US20130329970A1 (en) 2013-12-12
JP2012133541A (ja) 2012-07-12

Similar Documents

Publication Publication Date Title
JP4893855B1 (ja) 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
CN108875522B (zh) 人脸聚类方法、装置和系统及存储介质
JP6013241B2 (ja) 人物認識装置、及び方法
JP4775515B1 (ja) 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
JP5567853B2 (ja) 画像認識装置および方法
US8582897B2 (en) Information processing apparatus and method, program, and recording medium
JP5272215B2 (ja) ノイズ及び環境による影響を抑制することが可能な顔認識方法
US8929611B2 (en) Matching device, digital image processing system, matching device control program, computer-readable recording medium, and matching device control method
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
JP6544900B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
US20130243328A1 (en) Registration determination device, control method and control program therefor, and electronic apparatus
US8626782B2 (en) Pattern identification apparatus and control method thereof
JP2008146539A (ja) 顔認証装置
JP2006293644A (ja) 情報処理装置、情報処理方法
JP2011013732A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019057815A (ja) 監視システム
US20150205995A1 (en) Personal recognition apparatus that performs personal recognition using face detecting function, personal recognition method, and storage medium
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
JP2022003526A (ja) 情報処理装置、検出システム、情報処理方法、及びプログラム
US9058748B2 (en) Classifying training method and apparatus using training samples selected at random and categories
KR20150088157A (ko) 행동 인식을 위한 특징 벡터 생성 방법, 히스토그램 생성 방법, 및 분류기 학습 방법
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN112561073A (zh) 使用基于批次的主动学习方案训练机器学习模型
Chen Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning
US11868443B1 (en) System for training neural network using ordered classes

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111205

R150 Certificate of patent or registration of utility model

Ref document number: 4893855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04