JP6574988B2 - 照合装置及び照合方法 - Google Patents

Description

本開示は、撮像された顔画像と、登録された顔画像とを照合する照合装置及び照合方法に関する。

例えば空港などに設けられる照合装置においては、パスポートに登録された顔画像と、カメラによって撮像した本人の顔画像とを照合することで、本人確認を行うようになっている。実際上、この種の照合装置は、登録顔画像の特徴量と、撮像顔画像の特徴量とを検出し、それら特徴量の類似度を示すスコアを算出し、このスコアに基づいて本人であるかを認証する。

ところで、カメラによって撮像される被照合者が眼鏡、マスクなどの遮蔽物を付けていた場合、本人であるにも拘わらず、本人ではないといった認証結果が得られるおそれがあり、不都合である。

ここで、撮像された人物がマスクなどの遮蔽物を付けていることを検出する技術が特許文献１に記載されている。

特開２０００−２５１０７７号公報

ところで、特許文献１に記載された技術は、単に、撮像された顔画像に基づいて遮蔽物を検出し、遮蔽物が検出された場合には金融取引を中止するものであり、照合を目的としたものではない。つまり、登録顔画像に関係なく、撮像された顔画像に遮蔽物が検出されれば、処理を中止してしまおうと言うものである。

特許文献１の技術を照合装置に適用しようとした場合には、被照合者が眼鏡、マスクなどの遮蔽物を付けていると、直ちに照合処理を中止することとなる。しかし、被照合者が眼鏡、マスクなどの遮蔽物を付けていることはよくあることであり、このような場合に直ちに照合処理を中止するのは、はなはだ不都合である。

本開示の一態様は、被照合者に対して当該遮蔽物を外すことを適切に促すことができる照合装置及び照合方法を提供する。

本開示の一態様に係る照合装置は、プロセッサと、記憶部とを有する。

前記プロセッサは、被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている前記被照合者の登録顔画像とを照合する。

前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果と、前記遮蔽物に対応する局所領域において算出された前記撮像顔画像と前記登録顔画像との局所的類似度スコアとに基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。

本開示の一態様に係る照合方法は、被照合者を撮像した撮像顔画像と、登録顔画像と、を照合する照合方法である。

照合方法は、撮像顔画像と、登録顔画像と、を照合する。

前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人であると判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果と、前記遮蔽物に対応する局所領域において算出された前記撮像顔画像と前記登録顔画像との局所的類似度スコアとに基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。

本開示の一態様によれば、被照合者に対して当該遮蔽物を外すことを適切に促すことができる。

本開示の一態様における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。 図２は、照合処理を示すフローチャートである。 図３は、顔登録処理を示すフローチャートである。 図４は、顔認証処理を示すフローチャートである。 図５は、特徴量計算処理を示すフローチャートである。 図６は、顔パーツ（局所領域）の説明に供する図である。 図７は、顔パーツ（局所領域）の説明に供する図である。 図８は、遮蔽物検出処理を示すフローチャートである。 図９は、遮蔽物と、その遮蔽物により隠れる局所領域との対応関係の例を示す図である。 図１０は、遮蔽物脱着判定処理を示すフローチャートである。 図１１Ａは、遮蔽物スコアが高くかつ局所スコアが高い例を示す図である。 図１１Ｂは、遮蔽物スコアは高いが局所スコアが低い例を示す図である。 図１２は、遮蔽物強調表示処理を示すフローチャートである。 図１３は、強調表示の説明に供する図である。 図１４は、遮蔽物スコアと局所スコアとに基づく強調表示の度合いの例を示す図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。照合装置１００は、例えば空港のゲート開閉システムに適用される。ゲート開閉システムは、照合装置１００によってゲートを通過しようとする被照合者がパスポートに登録された本人であるかを照合し、本人であると認証された場合にはゲートを開き、認証されなかった場合にはゲートを閉じる。

照合装置１００は、プロセッサ１０１、記憶部１０２、無線通信部１０３、撮像部１０４、入力部１０５及び表示部１０６が、バス１１０を介して接続されている。

記憶部１０２には、登録画像が記憶される。記憶部１０２への登録画像の記憶は、入力部１０５を介して行われる。入力部１０５は、例えばスキャナであり、パスポートに登録されている顔画像を読み込む。

撮像部１０４は、カメラを含んで構成されており、ゲートの前にいる被照合者の顔画像を撮像する。

表示部１０６には、撮像部１０４に撮像された及び撮像される前の被照合者の顔画像が表示される。また、表示部１０６には、撮像に関する指示が表示される。撮像に関する指示は、被照合者に遮蔽物を外すことを促す表示を含む。この撮像に関する指示については後で詳述する。

無線通信部１０３は、ゲート開閉システムの人感センサの検知結果を無線受信する。照合装置１００は、人感センサの検知結果に基づいて、表示部１０６への表示タイミング及び撮像部１０４の撮像タイミングなどを制御する。また、無線通信部１０３は、照合装置１００によって被照合者が登録された本人であると認証されると、そのことをゲート開閉制御部に無線送信する。これにより、ゲートが開制御される。

プロセッサ１０１は、照合装置１００による顔認証処理、表示部１０６への表示処理を含む照合装置１００の全体的な処理を担う。

図２は、照合装置１００による照合処理を示すフローチャートである。

照合装置１００は、照合処理を開始すると、ステップＳ１で顔登録処理を行い、ステップＳ２で顔認証処理を行う。ステップＳ１の顔登録処理は、入力部１０５を介して例えばパスポートの顔画像を入力され、この顔画像を記憶部１０２に記憶することにより行われる。ステップＳ２の顔認証処理は、プロセッサ１０１によって、撮像部１０４で撮像された顔画像と、ステップＳ１で記憶部１０２に登録された顔画像との類似度を示すスコアを算出し、このスコアを閾値判定することで行われる。

ステップＳ３において、プロセッサ１０１は全体スコアが閾値Ｔｈ１以上ならば本人であると判断する（ステップＳ３；ＹＥＳ）。プロセッサ１０１がステップＳ３において本人であると判断すると、処理がステップＳ４に移る。ステップＳ４において、プロセッサ１０１は表示部１０６に認証成功メッセージ（つまり撮像された顔画像が登録された顔画像と同一人物のものであること）を表示する。これに対して、ステップＳ３において、プロセッサ１０１は全体スコアが閾値Ｔｈ１未満ならば（ステップＳ３；ＮＯ）、ステップＳ５に移る。

ステップＳ５において、プロセッサ１０１は全体スコアが閾値Ｔｈ２以上か否かを判断する。ここで閾値Ｔｈ２は閾値Ｔｈ１よりも小さい値、つまりＴｈ２＜Ｔｈ１である。プロセッサ１０１は全体スコアが閾値Ｔｈ２未満であると判断した場合（ステップＳ５；ＮＯ）、ステップＳ５からステップＳ６に移って、表示部１０６に認証失敗メッセージ（つまり撮像された顔画像が登録された顔画像と異なる人物のものであること）を表示する。これに対して、プロセッサ１０１は、全体スコアが閾値Ｔｈ２以上ならば本人の可能性が有ると判断し、直ちに認証失敗メッセージを表示することなく、ステップＳ７に移る。つまり、Ｔｈ２≦全体スコア＜Ｔｈ１の場合（全体スコアが惜しくもＴｈ１に届かなかった場合）には、直ちに認証が失敗したとは判定しない。その理由は、全体スコアが惜しくもＴｈ１に届かなかった場合には遮蔽物が存在するなどの何らかの原因によって、本人であるにもかかわらずスコア低下がおきてしまった可能性があるためである。

プロセッサ１０１は、ステップＳ７で遮蔽物検出処理を行うことで、被照合者が遮蔽物を着用しているか否かの確からしさを算出する。プロセッサ１０１は、続くステップＳ８で遮蔽物脱着判定処理を行うことで、被照合者に対して着用している遮蔽物を外すべき旨の提示を行うか否かを決定する。プロセッサ１０１は、ステップＳ９において、ステップＳ８の遮蔽物脱着判定処理の判定結果に基づいて遮蔽物を外すべきか否か判断する。プロセッサ１０１は、ステップＳ９で遮蔽物を外すべきと判断した場合、ステップＳ１０に移って、遮蔽物強調表示処理を行うことにより、被照合者に遮蔽物を外すことを促す。これに対して、ステップＳ９で遮蔽物を外すべきと判断しなかった場合には、ステップＳ６に移って、表示部１０６に認証失敗メッセージを表示する。

図３は、図２のステップＳ１で行われる顔登録処理の処理内容を示すフローチャートである。図３に示すように、顔登録処理（ステップＳ１）では、照合装置１００は、ステップＳ１１において、入力部１０５を介して登録しようとする顔画像を入力され、この登録顔画像を記憶部１０２に記憶する。ステップＳ１２では、プロセッサ１０１が登録顔画像の特徴量を計算する。

図４は、図２のステップＳ２で行われる顔認証処理の処理内容を示すフローチャートである。図４に示すように、顔認証処理（ステップＳ２）では、照合装置１００は、先ず、ステップＳ２１において、撮像部１０４によって撮像された撮像顔画像を入力される。ステップＳ２２において、プロセッサ１０１が撮像顔画像の特徴量を計算する。この特徴量はステップＳ１２で用いられた特徴量と同じ種類の特徴量である。ステップＳ２３では、プロセッサ１０１が局所スコア（局所ごとの類似度）を計算により取得する。具体的には、登録顔画像の局所領域の特徴量と、撮像顔画像の局所領域の特徴量とから、正規化相関等を用いて、局所領域ごとの類似度(＝局所スコア)を算出する。例えば、局所領域ごとの類似度の一例として右目の類似度（＝右目の局所スコア）Sreyeは、登録顔画像から得られた右目の特徴量をDreye_regist、撮像顔画像から得られた右目の特徴量をDreye_verifyとすると、次式の正規化相関により求めることができる。

続くステップＳ２４において、プロセッサ１０１は、局所スコアを用いて、全体スコアを計算により取得する。全体スコアは、例えば、額、右目、左目、鼻、口の局所スコアの平均や、局所スコアの合計により求めることができる。例えば、局所領域をＰ、局所領域ｐの類似度をS_pとすると、全体スコアS_allは、次式のような平均により求めることができる。

図５は、図３のステップＳ１２及び図４のステップＳ２２で行われる特徴量計算処理の処理内容を示すフローチャートである。特徴量計算処理では、ステップＳ１２１において、プロセッサ１０１が画像から顔領域を検出する。このとき、例えばHaar-like特徴とboostingによる学習アルゴリズムとを用いることで顔領域を検出できる。ステップＳ１２２では、ステップＳ１２１で検出した顔領域から局所領域を検出する。顔領域から局所領域を検出する手法の一例としては、既知の手法を用いることができる。本実施の形態ではＲａｎｄｏｍ−Ｆｏｒｅｓｔ回帰を用いて顔領域から局所領域を検出した。顔領域から局所領域を検出する方法はＲａｎｄｏｍ−Ｆｏｒｅｓｔ回帰に限られず、他の回帰手法や機械学習などを用いてもよい。図６に示すように、局所領域とは、左目領域、右目領域、鼻領域、口領域、額領域などの顔を構成する要素である。図７に示すように、例えば右目領域とは、右目の座標を(x reye,y reye)としたとき、そこを中心とした半径Ｒの矩形の領域である。ステップＳ１２３では、局所領域ごとに特徴量を計算する。特徴量の計算方法の一例を説明する。例えば、右目領域の任意のＮ点を選択する。点数Ｎは、Ｎ≧１かつＮ≦４Ｒ^２＋４Ｒ＋１である。各点から、１２８次元のＳＩＦＴ特徴量を抽出し、それを右目領域の特徴量D reyeとする。よって、右目領域の特徴D reyeの次元数はＮ×１２８となる。

図８は、図２のステップＳ７で行われる遮蔽物検出処理の処理内容を示すフローチャートである。図８に示すように、遮蔽物検出処理（ステップＳ７）では、照合装置１００は、先ず、ステップＳ７１において、撮像部１０４によって撮像された撮像顔画像を入力される。ステップＳ７２において、プロセッサ１０１が撮像顔画像から顔領域を検出し、ステップＳ７３において、プロセッサ１０１が局所領域を検出する。続く、ステップＳ７４において、プロセッサ１０１は、遮蔽物により隠される可能性のある局所領域の特徴量を、遮蔽物ごとに計算する。ここでの特徴量の一例としては、Haar-like特徴が挙げられる。図９は、遮蔽物と、その遮蔽物により隠れる局所領域との対応関係の例を示す図である。例えば、眼鏡により隠される可能性のある局所領域の特徴量を算出するには、図９に示されるように右目領域の特徴量と左目領域の特徴量との平均を求めればよい。ステップＳ７５において、プロセッサ１０１はステップＳ７４で求めた特徴量を用いて遮蔽物スコアを計算により取得する。遮蔽物スコアとは顔画像に特定の遮蔽物が存在することの確からしさであり、遮蔽物の種類ごとに定義される。遮蔽物スコアは、ステップＳ７４で求めた遮蔽物ごとの特徴量を、遮蔽物の有無に関して学習を施したＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）に入力することで得られる。つまり、プロセッサ１０１はＳＶＭの機能を有している。特定の遮蔽物に関する遮蔽物スコアが高いほど、被照合者が当該遮蔽物を付けている可能性が高い。例えば、眼鏡に関する遮蔽物スコアが高ければ被照合者は眼鏡を付けている可能性が高く、サングラスに関する遮蔽物スコアが高ければ被照合者はサングラスを付けている可能性が高い。

図１０は、図２のステップＳ８で行われる遮蔽物脱着判定処理の処理内容を示すフローチャートである。図１０に示すように、遮蔽物脱着判定処理（ステップＳ８）では、ステップＳ８１において、プロセッサ１０１がステップＳ７５で求めた遮蔽物スコアが所定の閾値Ｔｈ３以上か否かを判断する。遮蔽物スコアが所定の閾値Ｔｈ３未満と判断した場合（ステップＳ８１；ＮＯ）、このことは遮蔽物が存在する可能性が小さいことを意味するので、ステップＳ８３に移って、遮蔽物を外す旨を提示することは不要と判断する。これに対して、遮蔽物スコアが所定の閾値Ｔｈ３以上と判断した場合（ステップＳ８１；ＹＥＳ）、このことは遮蔽物が存在する可能性が大きいことを意味し、ステップＳ８２に移る。

ステップＳ８２では、遮蔽物の位置の局所スコアが所定の閾値Ｔｈ４以下か否か判断する。具体的には、登録顔画像における遮蔽物により隠れる局所領域（図９）の特徴量と、撮像顔画像における遮蔽物の位置の局所領域の特徴量を用いて、遮蔽物により隠れる局所領域の局所スコアを算出し、この局所スコアを閾値Ｔｈ４と比較する。例えば眼鏡により隠れる局所領域の局所スコアは右目領域の局所スコアと左目領域の局所スコアとの平均となる。遮蔽物の位置の局所スコアが所定の閾値Ｔｈ４以下であるということは、遮蔽物による局所スコアの低下が大きいということを意味する。（１）遮蔽物の位置の局所スコアが低いということは当該局所領域において登録顔画像と撮像顔画像が類似していないことを意味する。（２）当該局所領域には遮蔽物が存在する可能性が高いことがステップＳ７４で確認されている。（１）（２）に示す状況によれば、遮蔽物の影響で当該局所領域において登録顔画像と撮像顔画像が類似していないことが推認される。

このように、本実施の形態においては、遮蔽物スコアが閾値Ｔｈ３以上となり遮蔽物が検出されたからといって直ちに遮蔽物を外すことが必要であると判定するのではなく、遮蔽物による局所スコアの低下が大きいときのみ遮蔽物を外すことが必要であると判定する。これにより、被照合者に不必要に遮蔽物を外すことを促すのを回避でき、被照合者に無駄な煩わしさを与えずに済む。遮蔽物による局所スコアの低下が大きいとき以外の状況とは例えば、撮像顔画像の被照合者が遮蔽物を着用していても、登録顔画像との類似度が高い状況などが挙げられる。遮蔽物による局所スコアの低下が大きいとき以外の状況において、被照合者に遮蔽物を外すように促すと、かえって照合の精度が低下するおそれがある。

図１１Ａおよび図１１Ｂは、本実施の形態による、遮蔽物スコアと局所スコアの一例を示す。図１１Ａは遮蔽物スコアが高くかつ局所スコアが高い例を示し、図１１Ｂは遮蔽物スコアは高いが局所スコアが低い例を示す。図１１Ａは、被照合者が眼鏡をかけており、この眼鏡が検出されるので遮蔽物スコアは高くなるが、眼鏡による顔画像の遮蔽面積は小さいので眼鏡によって局所スコアが大きく低下することはなく、局所スコアは高くなる。図１１Ｂは、被照合者がサングラスをかけており、このサングラスが検出されるので遮蔽物スコアは高くなり、サングラスによる顔画像の遮蔽面積は大きいのでサングラスによって局所スコアが大きく低下し、局所スコアは小さくなる。

本実施の形態の遮蔽物の脱着要否判定を行えば、図１１Ａのような場合には照合に対する影響は小さいので被照合者に眼鏡を外すことは要求せずに、図１１Ｂのような場合には照合に対する影響が大きいので被照合者にサングラスを外すことを要求する、といった処理を行うことが可能となる。

以下に遮蔽物が眼鏡である場合の判定処理の例を示す。

Case1：眼鏡検出スコアがＴｈ３以上で、眼鏡により隠れる局所領域の局所スコアがＴｈ４以上 → 眼鏡があるが、影響が少なく目のスコアが高い。よって、眼鏡を脱着する必要がない。

Case2：眼鏡検出スコアがＴｈ３以上で、眼鏡により隠れる局所領域の局所スコアがＴｈ４以下 → 眼鏡があるため、影響が大きく目のスコアが低い。よって、眼鏡を脱着する必要がある。

Case3：眼鏡検出スコアがＴｈ３以下で、眼鏡により隠れる局所領域の局所スコアがＴｈ４以上 → 眼鏡がなく、目のスコアが高い。よって、眼鏡を脱着する必要がない。

Case4：眼鏡検出スコアがＴｈ３以下で、眼鏡により隠れる局所領域の局所スコアがＴｈ４以下 → 眼鏡がなく、目のスコアが低い。よって、眼鏡を脱着する必要がない。

図１２は、図２のステップＳ１０で行われる遮蔽物強調表示処理の処理内容を示すフローチャートである。図１２に示すように、遮蔽物強調表示処理（ステップＳ１０）では、ステップＳ１０１において、プロセッサ１０１が遮蔽物スコアと局所スコアとに基づいて強調表示の度合いを計算する。

強調表示とは、被照合者に遮蔽物を外すことを促すための表示のことを言う。例えば図１３に示すように、眼鏡を付けたテンプレート画像と共に「×」印を表示すれば、被照合者に眼鏡を外すことを促すことができる。このとき、画像を枠線で囲み、枠線の太さをより太くしたり、枠線の色をより目立つ色にすることにより、より強い強調表示を行うことができる。なお、強調表示の仕方は、これに限らず、例えば表示サイズの大小により強調の度合いを変えてもよい。

図１４は、遮蔽物スコアと局所スコアとに基づく強調表示の度合いの例を示したものである。遮蔽物図１４における眼鏡検出スコア（眼鏡に関する遮蔽物スコア）が高くなるほど、及び、図１４における左目、右目スコア（眼鏡により隠れる局所領域の局所スコア）が低くなるほど、強調表示の度合いを強くする。

ステップＳ１０２において、プロセッサ１０１は、表示部１０６に、ステップＳ１０１で算出した強調度合いの画像を表示する。これにより、被照合者に適切に遮蔽物を外すことを促すことができる。

以上説明したように、本実施の形態によれば、撮像顔画像に撮像されている被照合者が登録顔画像の本人でないと判定した場合に、撮像顔画像中の遮蔽物の有無の判定結果に基づいて、被照合者に対して遮蔽物を外すべき旨の情報を提示するようにした。

また、本実施の形態によれば、撮像顔画像と登録顔画像とを照合することで被照合者が登録顔画像の本人か否かを判定する認証ステップ（ステップＳ３）と、撮像顔画像中の遮蔽物の有無を判定する遮蔽物検出ステップ（ステップＳ７５）と、遮蔽物に対応する局所領域における撮像顔画像と登録顔画像との局所的類似度スコアを算出する局所スコア算出ステップ（ステップＳ８２）と、局所スコア算出ステップ（ステップＳ８２）で算出された局所的類似度スコアに基づいて、遮蔽物を取り除くことを催促する催促ステップ（ステップＳ１０）と、を含むようにした。

これにより、被照合者が照合処理の障害となるような遮蔽物を付けていることを的確に検出できるとともに、被照合者に対して当該遮蔽物を外すことを適切に促すことができるようになる。

また、本実施の形態によれば、遮蔽物が検出されたからといって被照合者に直ちに遮蔽物を外すことを促すのではなく、遮蔽物による局所スコアの低下が大きいときのみ遮蔽物を外すことを促すようにしたことにより、被照合者に不必要に遮蔽物を外すことを促すのを回避でき、被照合者に無駄な煩わしさを与えずに済む。

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

上述の実施の形態では、本開示の照合装置及び照合方法をゲート開閉システムに適用した場合について述べたが、勿論、ゲート開閉システム以外にも適用可能である。また、登録顔画像は、勿論、パスポートの画像に限らない。

また上述の実施の形態では、被照合者に対して遮蔽物を外すことを表示によって促した場合について述べたが、これに限らず、例えば音声や光によって提示して促してもよい。

＜まとめ＞
本開示の照合装置は、プロセッサと、記憶部とを有し、前記プロセッサは、被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている前記被照合者の登録顔画像とを照合し、前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果に基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。

また本開示の照合装置において、前記被照合者に対して遮蔽物を外すべき旨の情報の提示は、前記照合の結果である類似度スコアが第１の閾値Ｔｈ１以下でありかつ第２の閾値Ｔｈ２以上の場合に行われる。これにより、全体スコアが惜しくも閾値Ｔｈ１に届かなかった場合にのみ、遮蔽物を外すべき旨の情報の提示を行うことができるようになり、被照合者に無駄な煩わしさを与えずに済む。

また、本開示の照合装置において、前記プロセッサは、さらに、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアを算出し、前記遮蔽物の有無の判定結果と、前記局所的類似度スコアとに基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。これにより、例えば、撮像画像と登録画像との局所的類似度スコアが低く、かつ、遮蔽物が有るといった判定結果が得られた場合にのみ、遮蔽物を外すべき旨の情報を提示できるので、照合処理の障害となるような遮蔽物の存在をより的確に検出でき、被照合者に該遮蔽物を外すことをより適切に促すことができる。

また本開示の照合装置において、前記局所的類似度スコアに基づいて、前記遮蔽物を外すべき旨の情報の提示の強度を変える。これにより、局所的類似度スコアがより低いほど（つまり遮蔽物が有る可能性がより高いほど）、遮蔽物を外すべき旨の情報の提示の強度をより高くできるので、遮蔽物が存在する可能性がより高いほど、被照合者に遮蔽物を外すことを強く促すことができるようになる。

また本開示の照合装置において、前記撮像顔画像中に遮蔽物が有ると判定した場合、当該遮蔽物を付けたテンプレート画像を強調表示することで、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。これにより、被照合者は、どの遮蔽物を外すべきかを容易に認識できるようになる。

また本開示の照合装置において、前記強調表示の度合いを、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアに基づいて、変更する。これにより、局所的類似度スコアがより低いほど（つまり遮蔽物が有る可能性がより高いほど）、遮蔽物を外すべき旨の情報の提示の強度をより高くできるので、遮蔽物が存在する可能性がより高いほど、被照合者に遮蔽物を外すことを強く促すことができるようになる。

本開示の照合方法は、被照合者を撮像した撮像顔画像と、登録顔画像と、を照合する照合方法であって、撮像顔画像と、登録顔画像と、を照合し、前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果に基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する。

本開示は、撮像顔画像と登録顔画像とを照合する照合装置及び照合方法に好適である。

１００ 照合装置
１０１ プロセッサ
１０２ 記憶部
１０３ 無線通信部
１０４ 撮像部
１０５ 入力部
１０６ 表示部

Claims (10)

1. プロセッサと、記憶部とを有し、
   前記プロセッサは、
   被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている前記被照合者の登録顔画像とを照合し、
   前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果と、前記遮蔽物に対応する局所領域において算出された前記撮像顔画像と前記登録顔画像との局所的類似度スコアとに基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
   照合装置。
2. 前記プロセッサは、
   前記撮像顔画像と前記登録顔画像との照合の結果である類似度スコアが第１の閾値Ｔｈ１以上であれば、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人であると判定し、
   前記類似度スコアが前記第１の閾値Ｔｈ１未満であり、かつ、第２の閾値Ｔｈ２以上であれば、前記遮蔽物の有無の判定結果と前記局所的類似度スコアとに基づいて前記遮蔽物を外すべき旨の情報を提示し、
   前記類似度スコアが前記第２の閾値Ｔｈ２未満であれば、前記遮蔽物を外すべき旨の情報を提示しない、
   請求項１に記載の照合装置。
3. 前記局所的類似度スコアに応じて、前記遮蔽物を外すべき旨の情報の提示の強度を変える、
   請求項１に記載の照合装置。
4. 前記撮像顔画像中に遮蔽物が有ると判定した場合、当該遮蔽物を付けたテンプレート画像を強調表示することで、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
   請求項１に記載の照合装置。
5. 前記強調表示の度合いを、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアに基づいて、変更する、
   請求項４に記載の照合装置。
6. 被照合者を撮像した撮像顔画像と、登録顔画像と、を照合する照合方法であって、
   撮像顔画像と、登録顔画像と、を照合し、
   前記照合の結果、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人でないと判定した場合、前記撮像顔画像中の遮蔽物の有無の判定結果と、前記遮蔽物に対応する局所領域において算出された前記撮像顔画像と前記登録顔画像との局所的類似度スコアとに基づいて、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
   照合方法。
7. 前記撮像顔画像と前記登録顔画像との照合の結果である類似度スコアが第１の閾値Ｔｈ１以上であれば、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の本人であると判定し、
   前記類似度スコアが前記第１の閾値Ｔｈ１未満であり、かつ、第２の閾値Ｔｈ２以上であれば、前記遮蔽物の有無の判定結果と前記局所的類似度スコアとに基づいて前記遮蔽物を外すべき旨の情報を提示し、
   前記類似度スコアが前記第２の閾値Ｔｈ２未満であれば、前記遮蔽物を外すべき旨の情報を提示しない、
   請求項６に記載の照合方法。
8. 前記局所的類似度スコアに応じて、前記遮蔽物を外すべき旨の情報の提示の強度を変える、
   請求項６に記載の照合方法。
9. 前記撮像顔画像中に遮蔽物が有ると判定した場合、当該遮蔽物を付けたテンプレート画像を強調表示することで、前記被照合者に対して遮蔽物を外すべき旨の情報を提示する、
   請求項６に記載の照合方法。
10. 前記強調表示の度合いを、前記遮蔽物に対応する局所領域における前記撮像顔画像と前記登録顔画像との局所的類似度スコアに基づいて、変更する、
    請求項９に記載の照合方法。