JP4992517B2 - 顔照合装置 - Google Patents

Description

本発明は、顔照合装置に関し、特に、不特定多数の顔から登録者の顔を識別する装置に関する。

あらかじめ複数の顔を登録し、不特定多数の顔から登録されている顔を認証するシステムにおいて、別人を、登録済みの人物として誤認証してしまうという課題がある（以後このような誤認証を「他人受入エラー」と呼び、他人受入エラーが起こる確率を他人受入率と呼ぶ）。このようなシステムでは一般に、入力された顔画像と登録されている全顔画像を照合し、最も類似度が大きい登録顔を候補とし、その類似度が一定の値を超えた場合に認証成功としている。

したがって、登録者間の認証は学習方法などの工夫により、互いに類似度の相関が低くなるように工夫することが可能であるが、非登録者を登録者と照合する場合においては、非登録者の特徴が未知であるため、他人受入率の削減が難しいという課題がある。

これらの対策として、システムが判断した識別結果の正誤を人が確認可能な場合においては、正しい情報をシステムに手入力することにより、それ以降の認識精度を向上することが期待できる。

従来は、他人受入エラーとされた他人を全て新たに登録し、以降その他人も含めた登録データと照合するという方法が取られてきた（誤認証除去だけのために登録された顔は他の登録者とは区別される）。次にその他人が照合されたときには新たに登録した人と認証されるため、他人受入エラーとならない。

しかし、この手法では、他人受入エラーが発生するたびに登録人数が多くなってしまい、認証にかかる時間が増えてしまうという問題がある。照合対象の画像を全ての登録画像と照合しなければならず、登録人数に比例して認証時間が増加するためである。

また、この手法では、既登録者の顔画像であるにもかかわらず他人受入エラーが発生してしまった場合、その既登録者の顔画像が他人受入エラーを起こした画像として、別人として登録されてしまう。同一人物が別人として登録されてしまうと、その人の認証率は低下してしまう。

なお、特許文献１では、登録者Ａと誤って認識される可能性の高い他の登録者Ｂ１〜Ｂｎを誤認識人物リストに登録し、そのリストに登録された人数ｎに応じて登録者Ａの照合時の認識条件を変化させる手法が提案されている。この手法を利用すれば、登録者Ａと他の登録者Ｂ１〜Ｂｎとの識別精度を向上できると期待される。しかしながら、この手法は未登録者の画像による他人受入エラーの低減には寄与しないし、また上述した従来の問題（他人受入エラー画像を登録することによる認証時間の増大、及び、同一人物の二重登録による認証率の低下）を解決することもできない。
特開２００５−１８２１８４号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、認証時間の増大や同一人物の二重登録による認証率の低下を可及的に抑えながら、他人受入エラー
の低減を図るための技術を提供することにある。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の第１態様は、顔照合装置であって、複数の登録者の顔情報を予め記憶している登録顔記憶手段と、照合対象者の画像から顔情報を取得する顔情報取得手段と、顔照合によって、前記複数の登録者の中から前記照合対象者と同一人と推定される候補者を選ぶ顔照合手段と、前記照合対象者と前記候補者が同一人であるか否かを判定する判定手段と、前記判定手段により同一人でないと判定された照合対象者の顔情報を類似顔情報として記憶する類似顔記憶手段と、を備える。ここで、前記類似顔記憶手段は、登録者別に前記類似顔情報を記憶するものであり、前記顔照合手段は、前記照合対象者の顔情報を前記登録者それぞれの顔情報と照合する第１の顔照合と、前記照合対象者の顔情報を前記第１の顔照合の結果選ばれた登録者に対応付けられている類似顔情報と照合する第２の顔照合とを実行するものである。

この構成によれば、類似顔情報が登録者の顔情報と区別されて蓄積されるので、第１の顔照合に要する時間は増大しない。また、類似顔情報が登録者別に管理されており、第２の顔照合における照合範囲が第１の顔照合の結果選ばれた登録者に対応する類似顔情報に限定されるので、第２の顔照合に要する時間を可及的に小さくできる。よって認証時間の短縮と他人受入エラーの低減を両立することができる。

さらに、ある登録者Ａの顔情報が別の登録者Ｂの類似顔情報として記憶されたとしても、その類似顔情報は、第１の顔照合の照合範囲からも、第１の顔照合で登録者Ａが選ばれた場合の第２の顔照合の照合範囲からも外れるので、登録者Ａの認証率に悪影響を与えない。すなわち、本発明では、従来問題とされていた同一人物の二重登録による認証率低下も生じない。

上記構成において、前記顔照合手段は、前記第１の顔照合において、前記複数の登録者の中から、前記照合対象者の顔情報との類似度が最も大きい一の登録者（暫定候補者）を選び出すとよい。さらに、前記顔照合手段は、前記第２の顔照合において、前記照合対象者の顔情報と前記一の登録者の顔情報との類似度が、前記照合対象者の顔情報と前記一の登録者に対応付けられている類似顔情報との類似度よりも大きい場合に、前記一の登録者を前記候補者として出力することが好ましい。

前記判定手段は、照合対象者と候補者が同一人であるか否かを自動で判定してもよいし、ユーザに判定させてもよい。自動判定の場合、前記判定手段は顔照合手段による顔照合とは異なる手段を用いて照合対象者と候補者の同一性を判定するとよい。またユーザに判定させる場合、前記判定手段は、前記照合対象者の顔画像と前記候補者の顔画像を表示するとよい。これによりユーザは同一人か否かを容易に判定することができる。

本発明は、上記手段の少なくとも一部を有する顔照合装置として捉えてもよいし、また、本発明は、上記処理の少なくとも一部を含む顔照合方法、または、かかる方法を実現するためのプログラムやそのプログラムを記憶する記憶媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

例えば、本発明に係る顔照合方法は、複数の登録者の顔情報を予め記憶しているコンピュータが、照合対象者の画像から顔情報を取得する顔情報取得処理と、顔照合によって、前記複数の登録者の中から前記照合対象者と同一人と推定される候補者を選ぶ顔照合処理
と、前記照合対象者と前記候補者が同一人であるか否かを判定する判定処理と、同一人でないと判定された照合対象者の顔情報を類似顔情報として記憶する類似顔記憶処理と、を実行し、前記類似顔記憶処理において、前記コンピュータは、登録者別に前記類似顔情報を記憶し、前記顔照合処理において、前記コンピュータは、前記照合対象者の顔情報を前記登録者それぞれの顔情報と照合する第１の顔照合と、前記照合対象者の顔情報を前記第１の顔照合の結果選ばれた登録者に対応付けられている類似顔情報と照合する第２の顔照合とを実行することを特徴とするものである。

本発明によれば、認証時間の増大や同一人物の二重登録による認証率の低下を可及的に抑えながら、他人受入エラーの低減を図ることができる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜装置構成＞
図１は、本発明の一実施形態に係る顔照合装置の構成を示している。顔照合装置は、その機能として、撮像部１、顔検出部２、顔照合部３、登録顔記憶部４、類似顔記憶部５、結果表示部６、入力部７、類似顔登録部８を備えている。顔照合装置は、ハードウエア的には、撮像装置、表示装置、入力装置などを具備するコンピュータにより構成可能である。上記機能は、コンピュータにおいて、補助記憶装置に格納されたプログラムが主記憶装置に読み込まれ、ＣＰＵ（中央演算処理装置）によって実行されることで実現されるものである。ただし、上記機能の一部又は全部を専用のチップで構成しても構わない。

撮像部１は、動画又は静止画を撮影可能な撮像装置（具体的にはデジタルビデオカメラやデジタルカメラ）を用いて構成される。撮像部１は、不特定の照合対象者を撮影し、その画像をコンピュータに入力する。

顔検出部２は、入力画像から照合対象者の顔を検出するとともに、その検出された顔の特徴量（顔情報）を抽出する機能（顔情報取得手段）である。顔検出部２による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定するとよい。顔情報として抽出する特徴量の種類についてはどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量の組で顔情報が構成される。

顔照合部３は、顔検出部２で取得された照合対象者の顔情報を、登録顔記憶部４もしくは類似顔記憶部５に格納されている顔情報と比較することによって、顔照合を行う機能（顔照合手段）である。顔照合部３による顔照合処理についても、既存のどのような技術が適用されてもよい。例えば、比較対象の２つの顔の顔情報の類似度（スコア）を算出し、そのスコアの大小を相対的に評価したり（最もスコアが大きい顔を候補として選ぶ）、絶対的に評価したり（スコアが所定のしきい値以上の顔を候補として選ぶ）すればよい。本実施形態の顔照合部３は、照合対象者の顔情報を登録者の顔情報と照合する第１の顔照合
部３０と、照合対象者の顔情報を類似者の顔情報と照合する第２の顔照合部３１とから構成される。ただし、実装上は、第１の顔照合部３０と第２の顔照合部３１を別モジュールとしても同一モジュールとしても構わない。

登録顔記憶部４は、複数の登録者の顔情報を予め記憶している機能（登録顔記憶手段）である。ここで「登録者」とは、顔照合装置が識別すべき（人物を特定すべき）者のことである。例えば、不特定多数の通行人の中から社員を検出するためのゲートシステムにこの顔照合装置が適用される場合は、検出対象である社員だけが登録者となる。

一方、類似顔記憶部５は、他人受入エラーを起こした者（類似者）の顔情報を類似顔情報として記憶する機能（類似顔記憶手段）である。図２は、類似顔記憶部５のデータ構造を概念的に表したものである。類似顔記憶部５は、登録者をインデックスとして、登録者別に類似顔情報を記憶している。図２の例では、登録者Ｒ１に２人分の類似顔情報Ｒ１−１、Ｒ１−２が、登録者Ｒ２には３人分の類似顔情報Ｒ２−１、Ｒ２−２、Ｒ２−３がそれぞれ対応付けられている。登録者Ｒ３には類似顔情報が無いが、これは、登録者Ｒ３と誤判定された顔が今まで存在しなかったことを意味している。

結果表示部６は、顔照合結果を表示する機能であり、表示装置（具体的にはＬＣＤやＰＤＰなど）を用いて構成される。入力部７は、ユーザからの情報入力を受け付ける機能であり、入力装置（具体的にはキーボード、マウス、タッチパネルなど）を用いて構成される。類似顔登録部８は、他人受入エラーを起こした照合対象者の顔情報を類似顔記憶部５に登録する機能である。他人受入エラーかどうかの判定はユーザが目視にて行う。その具体的な処理については後述する。なお、本実施形態では、結果表示部６、入力部７および類似顔登録部８が本発明の判定手段を構成している。

＜顔照合処理＞
次に、図３のフローチャートに沿って、顔照合装置の処理の流れを説明する。図３に示す処理は、一定の時間間隔で撮像部１から画像が入力されるたびに実行されるものである。

ステップＳ１では、顔検出部２が、入力画像から照合対象者の顔を検出し、さらにその顔情報を取得する。

ステップＳ２では、第１の顔照合部３０が、照合対象者の顔情報を登録顔記憶部４に登録されている登録者それぞれの顔情報と照合する。すなわち、登録者全員について、照合対象者の顔情報と登録者の顔情報との類似度（スコア）が算出される。

ステップＳ３では、第１の顔照合部３０が、スコアが最も大きかった登録者を暫定候補者に決定する。

ステップＳ４では、第１の顔照合部３０が、暫定候補者のスコアが予め設定されているしきい値を超えているか調べる。スコアがしきい値以下の場合は（ステップＳ４；ＮＯ）、照合対象者と暫定候補者とは同一人でないとみなし、顔照合部３は照合結果として「ＮＧ」を出力する（ステップＳ５）。一方、スコアがしきい値を超えていた場合には（ステップＳ４；ＹＥＳ）、ステップＳ６以降の第２の顔照合に進む。

ステップＳ６では、第２の顔照合部３１が、類似顔記憶部５を参照して、暫定候補者に対応付けられている類似顔情報が存在するか調べる。類似顔情報が無い場合（ステップＳ６；ＮＯ）（図２の登録者Ｒ３参照）、第２の顔照合部３１は暫定候補者を「候補者」として出力し、ステップＳ１０に処理を進める。１つ以上の類似顔情報が有る場合（ステッ
プＳ６；ＹＥＳ）（図２の登録者Ｒ１参照）、第２の顔照合部３１はステップＳ７に処理を進める。

ステップＳ７では、第２の顔照合部３１が、照合対象者の顔情報を各類似顔情報（Ｒ１−１，Ｒ１−２）と照合する。すなわち、それぞれの類似顔情報について類似度（スコア）が算出される。

ステップＳ８では、第２の顔照合部３１が、スコアが最も大きかった類似顔情報を間違い候補者に決定する。

ステップＳ９では、第２の顔照合部３１が、暫定候補者のスコアと間違い候補者のスコアとを比較する。暫定候補者のスコアのほうが大きい場合（ステップＳ９；ＹＥＳ）、第２の顔照合部３１は暫定候補者を「候補者」として出力し、ステップＳ１０に処理を進める。逆に、間違い候補者のスコアのほうが大きいか、両者のスコアが同じ場合（ステップＳ９；ＮＯ）は、照合対象者は暫定候補者によく似た他人であるとみなし、顔照合部３は照合結果として「ＮＧ」を出力する（ステップＳ５）。

ステップＳ１０では、結果表示部６が、顔照合結果確認画面を表示し、照合対象者と候補者が同一人であるか否かの判定をユーザに要求する。図４は、顔照合結果確認画面の一例である。この画面には、照合対象者の顔画像と候補者（登録者）の顔画像とが並べて表示され、併せて、候補者の名前や登録番号などの情報やスコアが表示される。ユーザは２つの画像を見比べ、照合結果が正しいか否かを入力する。

ユーザにより照合結果が正しい（つまり、照合対象者と候補者が同一人である）と判定された場合（ステップＳ１１；ＹＥＳ）、照合結果として「ＯＫ」が出力される（ステップＳ１２）。

一方、ユーザにより照合結果が正しくない（つまり、照合対象者と候補者が同一人でない）と判定された場合（ステップＳ１１；ＮＯ）は、類似顔登録部８が、その照合対象者の顔情報を類似顔記憶部５に追加登録する（ステップＳ１３）。このとき、類似顔登録部８は、照合対象者の顔情報を、上記候補者の類似顔情報に追加する。これにより登録者と類似者との対応付けが行われる。そして、照合結果としては「ＮＧ」が出力される（ステップＳ５）。

ＮＧが出力された場合は出力なし、ＯＫが出力されたときは人物名を表示するとなおよい。

なお、本実施形態では照合対象者と候補者が同一人であるか否かの最終判定をユーザに行わせているが、この最終判定を装置側の自動処理で代替することも可能である。顔照合部３の顔照合処理とは異なる手段を用いて照合対象者と候補者の同一性を判定すれば、他人受入エラーの発生率をかなり低く抑えることができる。例えば、顔情報以外の情報（照合対象者の所持するカードなどから読み取られる情報、画像から得られる身長・体型・服装・髪型・所持品などの情報、顔以外のバイオメトリクス情報など）を比較して同一性を判定する処理が考えられる。また、顔照合部３とは異なるアルゴリズムの顔照合処理を同一性の最終判定に用いることも好ましい。

＜利点＞
以上述べた本実施形態の顔照合装置によれば、他人受入エラーを起こした（つまり、ユーザにより候補者と同一人でないと判定された）照合対象者の顔情報は、類似顔情報として、登録者の顔情報とは区別されて蓄積される。よって、他人受入エラーがいくら発生し
ても、登録人数が増えることはなく、第１の顔照合に要する時間は増大しない。

その一方で、第１の顔照合の後、照合対象者の顔情報を類似顔情報と照合することで、第１の顔照合の結果を検証しているので、他人受入エラーの低減を図ることができる。

しかも、類似顔情報が登録者別に管理されており、第２の顔照合における照合範囲は暫定候補者に対応付けられている類似顔情報（つまり、暫定候補者と間違えやすい他人の顔）に限定される。よって、第２の顔照合に要する時間を可及的に小さくでき、第１の顔照合の結果の検証を効率よく行うことができる。

さらに、ある登録者Ａの顔情報が別の登録者Ｂの類似顔情報として記憶されたとしても、その類似顔情報は、第１の顔照合の照合範囲からも、第１の顔照合で登録者Ａが選ばれた場合の第２の顔照合の照合範囲からも外れるので、登録者Ａの認証率に悪影響を与えない。すなわち、従来問題とされていた同一人物の二重登録による認証率低下が生じない。

＜顔照合装置の適用例＞
上述した顔照合装置は、不特定多数の者の中から特定の登録者（実際は、登録者である可能性の高い者）を自動的に検出する目的に利用される。例えば、照合対象者１０００人の中に登録者がせいぜい数人しか存在しないような場合、１０００人全員の顔をユーザが確認するのは現実的でない。もし、顔照合装置で１０００人を１０人に絞り込むことができれば、ユーザの負担は百分の一となり、その効果は絶大である。具体的な適用例としては、（１）大型販売店において多数のお客さんの中から上得意客（＝登録者）を検出し、それを販売員に通知するシステムとか、（２）空港や駅などにおいて犯罪者（＝登録者）を検出し、それを警備員に通知するシステムなど、いろいろなものを想定できる。

図１は、顔照合装置の構成を示すブロック図である。 図２は、類似顔記憶部のデータ構造を概念的に表す図である。 図３は、顔照合装置の処理の流れを示すフローチャートである。 図４は、顔照合結果確認画面の一例を示す図である。

符号の説明

１ 撮像部
２ 顔検出部
３ 顔照合部
３０ 第１の顔照合部
３１ 第２の顔照合部
４ 登録顔記憶部
５ 類似顔記憶部
６ 結果表示部
７ 入力部
８ 類似顔登録部

Claims (6)

1. 複数の登録者の顔情報を予め記憶している登録顔記憶手段と、
   照合対象者の画像から顔情報を取得する顔情報取得手段と、
   顔照合によって、前記複数の登録者の中から前記照合対象者と同一人と推定される候補者を選ぶ顔照合手段と、
   前記照合対象者と前記候補者が同一人であるか否かを判定する判定手段と、
   前記判定手段により同一人でないと判定された照合対象者の顔情報を類似顔情報として記憶する類似顔記憶手段と、を備え、
   前記類似顔記憶手段は、登録者別に前記類似顔情報を記憶するものであり、
   前記顔照合手段は、前記照合対象者の顔情報を前記登録者それぞれの顔情報と照合する第１の顔照合と、前記照合対象者の顔情報を前記第１の顔照合の結果選ばれた登録者に対応付けられている類似顔情報と照合する第２の顔照合とを実行するものであり、
   前記判定手段は、
   前記照合対象者の顔画像と前記候補者の顔画像を表示し、同一人か否かをユーザに判定させるものであるか、
   前記照合対象者の所持物から読み取られる情報、前記照合対象者の画像から取得される顔情報以外の情報、前記照合対象者の顔以外のバイオメトリクス情報のうちのいずれかの情報を、前記登録者の情報と比較することにより、同一人か否かを自動的に判定するものであるか、又は、
   前記顔照合手段の顔照合処理とは異なるアルゴリズムの顔照合処理によって、同一人か否かを自動的に判定するものである
   ことを特徴とする顔照合装置。
2. 前記顔照合手段は、
   前記第１の顔照合において、前記複数の登録者の中から、前記照合対象者の顔情報との類似度が最も大きい一の登録者を選び出す
   ことを特徴とする請求項１に記載の顔照合装置。
3. 前記顔照合手段は、
   前記第２の顔照合において、前記照合対象者の顔情報と前記一の登録者の顔情報との類
   似度が、前記照合対象者の顔情報と前記一の登録者に対応付けられている類似顔情報との類似度よりも大きい場合に、前記一の登録者を前記候補者として出力する
   ことを特徴とする請求項２に記載の顔照合装置。
4. 複数の登録者の顔情報を予め記憶しているコンピュータが、
   照合対象者の画像から顔情報を取得する顔情報取得処理と、
   顔照合によって、前記複数の登録者の中から前記照合対象者と同一人と推定される候補者を選ぶ顔照合処理と、
   前記照合対象者と前記候補者が同一人であるか否かを判定する判定処理と、
   同一人でないと判定された照合対象者の顔情報を類似顔情報として記憶する類似顔記憶処理と、を実行し、
   前記類似顔記憶処理において、前記コンピュータは、登録者別に前記類似顔情報を記憶し、
   前記顔照合処理において、前記コンピュータは、前記照合対象者の顔情報を前記登録者それぞれの顔情報と照合する第１の顔照合と、前記照合対象者の顔情報を前記第１の顔照合の結果選ばれた登録者に対応付けられている類似顔情報と照合する第２の顔照合とを実行し、
   前記判定処理は、
   前記コンピュータが、前記照合対象者の顔画像と前記候補者の顔画像を表示し、同一人か否かをユーザに判定させる処理であるか、
   前記コンピュータが、前記照合対象者の所持物から読み取られる情報、前記照合対象者の画像から取得される顔情報以外の情報、前記照合対象者の顔以外のバイオメトリクス情報のうちのいずれかの情報を、前記登録者の情報と比較することにより、同一人か否かを自動的に判定する処理であるか、又は、
   前記コンピュータが、前記顔照合処理とは異なるアルゴリズムの顔照合処理によって、同一人か否かを自動的に判定する処理である
   ことを特徴とする顔照合方法。
5. 請求項４に記載の顔照合方法をコンピュータに実行させるプログラム。
6. 請求項５に記載のプログラムを記憶するコンピュータ読み取り可能な記憶媒体。

Images