JP7253691B2 - 照合装置及び照合方法 - Google Patents

Description

本発明は、被写体を撮像装置で撮影して得た撮像画像を、予め登録されている登録被写体の登録画像と照合する照合装置及び照合方法に関する。

従来、顔画像に基づいて個人を識別する顔認証技術が知られている。このような顔認証技術では、被認証者の顔を撮像装置で撮影して得た顔画像を、予め登録されている被認証者の顔画像と照合することにより、顔認証が行われる。例えば、スマートフォンなどのモバイル端末において、該端末の利用者の本人確認のための顔認証を行なう場合は、モバイル端末に搭載された撮像装置（カメラ）で被認証者の顔を撮影して得た顔画像を、モバイル端末または該端末と通信可能な認証サーバに予め登録されている登録画像（事前に撮影して得ておいた被認証者の顔画像）と照合することにより顔認証が行われる。

しかし、このような顔認証技術では、顔写真を利用して顔写真の人物になりすまして不正に認証を取得しようとする「なりすまし」の問題がある。例えば、モバイル端末と該端末の利用者の身分証明証を不正に入手し、その身分証明証に付されている顔写真を撮像装置で撮影して得た顔画像を用いて、顔写真の人物になりすまして不正に認証を取得しようとすることが想定される。そのため、撮像装置で撮影して得た顔画像が、写真を撮影して得たものか、それとも人間を撮影して得たものであるかを識別することが求められている。

そこで、撮影時に被認証者に対して瞬きや顔の向きの変更などの所定の動作を要求し、要求した動作の実施の有無に基づいて撮影対象が人間であることを確認する手法や、照明条件を変更して複数回撮影し、各回の撮影で得られた顔画像に生じた陰影を比較することにより、撮影対象が人間であることを確認する手法が提案されている（特許文献１参照）。

特開平１１－３３９０４８号公報

しかしながら、上記の特許文献１の手法では、撮影時に被認証者に対して所定の動作を要求したり、照明条件を変更して複数回撮影したりする必要があるため、顔認証作業の利便性や簡便性が損なわれるという問題があった。

本開示は、このような従来技術の課題を鑑みて案出されたものであり、被写体を撮像装置で撮影して得た撮像画像を予め登録されている登録被写体の登録画像と照合する技術において、写真を利用した不正を容易に防止することを可能とする照合装置及び照合方法を提供することを主目的とする。

本開示は、被写体を撮像装置で撮影して得た撮像画像を、予め登録されている登録被写体の登録画像と照合する照合装置であって、プロセッサと、前記被写体の写真を撮影して得た画像である写真画像を排除可能な予め定められた判定条件を予め記憶した記憶部とを備え、前記プロセッサは、前記撮像画像に含まれる顔領域の輝度分布を検出し、前記検出された輝度分布が前記判定条件を満たすか否かを判定し、前記判定条件を満たす撮像画像を使用して、該画像中の前記被写体が前記登録画像中の前記被写体と一致するか否かの照合を行うことを特徴とする。
また、本開示は、被写体を撮像装置で撮影して得た撮像画像を、予め登録されている登録被写体の登録画像と照合する照合装置であって、プロセッサと、前記被写体の写真を撮影して得た画像である写真画像を排除可能な予め定められた判定条件を予め記憶した記憶部とを備え、前記プロセッサは、前記撮像画像の輝度分布を検出し、前記検出された輝度分布が前記判定条件を満たすか否かを判定し、前記判定条件を満たす撮像画像を使用して、前記撮像画像中の前記被写体が前記登録画像中の前記登録被写体と一致するか否かの照合を行い、前記判定条件が、前記撮像画像を取得するときに前記被写体に照射される判定用光線の形状であり、前記プロセッサは、前記判定用光線が照射された前記被写体を撮影して取得した撮像画像から、前記撮像画像中の輝度が予め定められた基準値を上回った領域であるハイライトを検出し、前記ハイライトが検出され、かつ前記検出されたハイライトの形状が前記判定用光線の形状に対応する場合には、前記撮像画像が前記写真画像であると判定することを特徴とする。

本開示によれば、被写体を撮像装置で撮影して得た撮像画像を予め登録されている登録被写体の登録画像と照合する照合技術において、写真を利用した不正を容易に防止することが可能となる。

図１は、本開示に係る照合装置を含む照合システムの概略図である。 図２は、モバイル端末の概略構成を示すブロック図である。 図３は、認証サーバの概略構成を示すブロック図である。 図４Ａは、写真画像とその顔領域の輝度ヒストグラムとを示す図である。 図４Ｂは、実写画像とその顔領域の輝度ヒストグラムとを示す図である。 図５は、複数の写真画像及び実写画像について、各顔領域の最大輝度値と最小輝度値をプロットしたグラフである。 図６は、分離境界を求める方法を説明するためのフロー図である。 図７は、本開示の第１実施形態に係る照合装置での一連の処理について説明するためのフロー図である。 図８は、判定用光線の照射方法の一例を示す図である。 図９Ａは、写真画像に形成されたハイライトを示す図である。 図９Ｂは、実写画像に形成されたハイライトを示す図である。 図１０は、本開示の第２実施形態に係る照合装置での一連の処理について説明するためのフロー図である。

上記課題を解決するためになされた第１の発明は、被写体を撮像装置で撮影して得た撮像画像を、予め登録されている登録被写体の登録画像と照合する照合装置であって、プロセッサと、前記被写体の写真を撮影して得た画像である写真画像を排除可能な予め定められた判定条件を予め記憶した記憶部とを備え、前記プロセッサは、前記撮像画像の輝度分布を検出し、前記検出された輝度分布が前記判定条件を満たすか否かを判定し、前記判定条件を満たす撮像画像を使用して、該画像中の前記被写体が前記登録画像中の前記登録被写体と一致するか否かの照合を行うことを特徴とする。

この第１の発明に係る照合装置によれば、照合を行うときに、被写体を撮像装置で撮影して得た撮像画像の輝度分布に基づいて、写真画像を排除することができる。これにより、写真を利用した不正を容易に防止することが可能となる。

また、第２の発明は、上記第１の発明において、前記判定条件が、前記撮像画像中に予め定められた上限境界を上回る輝度が含まれているか否か、及び、前記撮像画像中に予め定められた下限境界を下回る輝度が含まれているか否かの少なくとも一方に基づき、前記被写体の実物を撮影して得た画像である実写画像と前記写真画像とを分離できる分離境界であることを特徴とする。

この第２の発明に係る照合装置によれば、輝度の高さ及び低さの少なくとも一方に基づいて、実写画像と写真画像とを区別することができる。したがって、複雑な画像処理を行うことなく、実写画像と写真画像とを比較的容易に区別することが可能となる。

また、第３の発明は、上記第２の発明において、前記分離境界が、前記撮像画像の輝度の最大値及び最小値の少なくとも一方に基づき、前記被写体の実物を撮影して得た画像である実写画像と前記写真画像とを分離できる境界であり、前記プロセッサは、前記撮像画像の輝度の最大値及び最小値の少なくとも一方を検出し、前記検出された輝度の最大値及び最小値の少なくとも一方を前記分離境界と照らし合わせることにより、前記撮像画像が前記実写画像であるかそれとも前記写真画像であるかを判定することを特徴とする。

この第３の発明に係る照合装置によれば、撮像画像に基づいて照合を行うときに、予め求めておいた分類境界を用いて、実写画像と写真画像とを識別することができる。これにより、写真画像の排除が容易となる。

また、第４の発明は、上記第３の発明において、前記分離境界は、前記写真画像及び前記実写画像の輝度の最大値及び最小値の少なくとも一方のデータ群を、２クラス分類識別器を使用して２クラス分類することにより求めたことを特徴とする。

この第４の発明に係る照合装置によれば、適切な分離境界を容易に求めることができる。

また、第５の発明は、上記第１の発明において、前記判定条件が、前記撮像画像を取得するときに前記被写体に照射される判定用光線の形状であり、前記プロセッサは、前記判定用光線が照射された前記被写体を撮影して取得した撮像画像から、該画像中の輝度が予め定められた基準値を上回った領域であるハイライトを検出し、前記ハイライトが検出され、かつ前記検出されたハイライトの形状が前記判定用光線の形状に対応する場合には、前記撮像画像が前記写真画像であると判定することを特徴とする。

この第５の発明に係る照合装置によれば、撮像画像に基づいて照合を行うときに、撮像画像に形成されたハイライトの有無または形状に基づいて、実写画像と写真画像とを識別することができる。これにより、写真画像の排除が容易となる。

また、第６の発明は、上記第５の発明において、前記判定用光線が、予め定められた幅を有する横長直線状の形状を有する光線であることを特徴とする。

この第６の発明に係る照合装置によれば、撮像画像に形成されたハイライトの形状が、判定用光線の形状に対応するか否かを容易に判定することが可能となる。

また、第７の発明は、上記第５の発明または第６の発明において、前記プロセッサは、前記検出されたハイライトの面積が予め定められた面積よりも小さい場合には、前記撮像画像が前記実写画像であると判定することを特徴とする。

この第７の発明に係る照合装置によれば、検出されたハイライトの面積に基づいて、実写画像と写真画像とを識別することができる。これにより、写真画像の排除が容易となる。

また、第８の発明は、上記第１の発明ないし第７の発明のいずれかにおいて、前記被写体が、人物の顔であることを特徴とする。

この第８の発明に係る照合装置によれば、人物の顔を照合することができる。したがって、身分証明証等に付されている顔写真を利用したなりすましを防止することが可能となる。

また、第９の発明は、被写体を撮像装置で撮影して得た撮像画像を、予め登録されている登録被写体の登録画像と照合する照合方法であって、前記被写体の写真を撮影して得た画像である写真画像を排除可能な予め定められた判定条件を予め記憶しておくステップと、前記撮像画像の輝度分布を検出するステップと、前記検出された輝度分布が前記判定条件を満たすか否かを判定するステップと、前記判定条件を満たす撮像画像を使用して、該画像中の前記被写体が前記登録画像中の前記登録被写体と一致するか否かの照合を行うステップとを有することを特徴とする。

この第９の発明に係る照合方法によれば、照合を行うときに、被写体を撮像装置で撮影して得た撮像画像の輝度分布に基づいて、写真画像を排除することができる。これにより、写真を利用した不正を容易に防止することが可能となる。

以下、本開示の実施形態について、図面を参照しながら説明する。以下の実施形態では、被認証者の顔を撮影して得た顔画像を、予め登録されている登録画像（事前に撮影して得ておいた被認証者の顔画像）と照合することにより顔認証を行う場合について説明する。

（第１実施形態）
図１は、本開示に係る照合装置を含む照合システム１の概略図である。図１に示すように、この照合システム１は、顔認証を要求する被認証者が所持するモバイル端末２と、モバイル端末２と連携して顔認証を行う認証サーバ３とを備えている。モバイル端末２は、本開示に係る照合装置に相当する。モバイル端末２と認証サーバ３とは、インターネットや専用回線などのネットワーク４を介して互いに接続されている。

モバイル端末２は、例えばスマートフォンやタブレット端末などであり、被認証者の顔を撮影するための撮影部１４を搭載している。また、モバイル端末２には、撮影部１４で撮影して得た顔画像（以降、「撮像画像」と称する）に基づいて顔認証を要求するための、認証要求用のアプリケーションプログラムがインストールされている。顔認証を実施するときは、この認証要求用のアプリケーションプログラムを起動して、被認証者が顔認証を求める操作を行うとともに、撮影部１４で被認証者の顔を撮影すると、モバイル端末２から認証サーバ３に認証要求及び撮像画像が送信され、認証サーバ３において顔認証に関する処理が実行される。

認証サーバ３は、一般的なコンピュータ装置であり、事前に撮影して得ておいた被認証者の顔画像（以降、「登録画像」と称する）を保管している。そして、認証サーバ３は、モバイル端末２から、認証要求及び撮像画像を受信したときに、受信した撮像画像を登録画像と照合して顔認証を行う。この照合は、顔の各部位（例えば、目、鼻、口）や輪郭などの特徴点に基づく従来公知の照合方法を用いて行うとよい。そして、その照合結果（すなわち、認証結果）をモバイル端末２に送信し、これにより、撮像画像に基づく顔認証が完了する。

図２は、モバイル端末２の概略構成を示すブロック図である。モバイル端末２は、公知のハードウェア構成を備えており、所定の制御プログラム（例えば認証要求プログラム）に基づき、モバイル端末２の各処理（例えば認証要求処理）を統括的に実行するプロセッサ１１、例えばＲＡＭ（Random Access Memory）であり、プロセッサ１１のワークエリア等として機能するメモリ１２、例えばＲＯＭ（Read Only Memory）やハードディスクなどのストレージ（記憶装置）であり、プロセッサ１１が実行する制御プログラムやなりすまし判定データベース（ＤＢ）などを格納する記憶部１３を有している。なりすまし判定ＤＢには、後述する分離境界が保存されている。

また、モバイル端末２は、被認証者の顔を撮影して顔画像（撮像画像）を生成する撮影部１４、顔認証を求める操作や、撮影部１４に撮影を実行させる操作などが被認証者により行われる操作部１５、撮像画像や認証結果の画面などが表示される表示部１６、ネットワーク４を介した通信を実行する通信部１７をさらに有している。撮影部１４は、例えばＣＭＯＳイメージセンサなどの固体撮像素子であり、焦点距離は固定されている。

図３は、認証サーバ３の概略構成を示すブロック図である。認証サーバ３は、公知のハードウェア構成を備えており、所定の制御プログラム（例えば顔認証プログラム）に基づき認証サーバ３の各処理（例えば顔認証処理）を統括的に実行するプロセッサ２１、例えばＲＡＭであり、プロセッサ２１のワークエリア等として機能するメモリ２２、例えばＲＯＭやハードディスクなどのストレージであり、プロセッサ２１が実行する制御プログラムや顔認証に使用される登録画像などを格納する記憶部２３、ネットワーク４を介した通信を実行する通信部２４を有している。

次に、なりすまし判定ＤＢに保存される分離境界と、それを求める方法について説明する。以降、被認証者の顔写真（プリントされた顔写真）を撮影して得た画像を「写真画像」と称し、被認証者の実物の顔を撮影して得た画像を「実写画像」と称する。本実施形態では、被認証者の顔写真として、運転免許証の写真を用いている。なお、被認証者の顔写真は、運転免許証の写真に限らず、パスポート、住基カード、学生証、その他の各種の身分証明書などに付されている顔写真を用いることができる。

図４Ａは、写真画像とその顔領域の輝度ヒストグラムとを示す図である。図４Ｂは、実写画像とその顔領域の輝度ヒストグラムを示す図である。輝度ヒストグラムは、顔領域の全画素について、輝度毎に画素数（頻度）をカウントしたものである。図４Ａ、図４Ｂの輝度ヒストグラムから分かるように、実写画像では、輝度は０から２５５まで幅広く分布しているが、写真画像では、輝度は０及び２５５までは分布していない。すなわち、写真画像は、実写画像よりも輝度分布の範囲が狭い。

これは、顔写真の反射特性に起因すると考えられる。顔写真は平面状であるため、顔写真に入射した光は一様に反射される。このため、写真画像では、輝度分布の範囲は狭くなる。これに対して、実物の顔は３次元状であり、例えば鼻の部分などにおいて凹凸を有するため、実物の顔に入射した光は様々に反射される。このため、実写画像では、輝度分布の範囲は広くなる。

図５は、複数の写真画像及び実写画像について、各顔領域の最大輝度値と最小輝度値との組み合わせをプロットしたグラフである。グラフの横軸は最小輝度値を示し、縦軸は最大輝度値を示す。上述したように、実写画像は、輝度が０から２５５まで幅広く分布しているので、最小輝度値が０、または最大輝度値が２５５であるプロット点が多くなる。これに対して、写真画像は、実写画像よりも輝度分布の範囲が狭いので、プロット点は、最小輝度値が０よりも大きく、最大輝度値が２５５よりも小さい範囲に分布することとなる。

したがって、実写画像と写真画像とを分離できる分離境界を試行錯誤や実験などによって予め求めておけば、顔認証を行うときに、予め求めておいた分離境界に基づいて、実写画像と写真画像とを識別することが可能となる。求めた分離境界は、なりすまし判定ＤＢに保存しておく。

次に、上述した分離境界を求める方法について、図６のフロー図を参照して説明する。以下の処理は、モバイル端末２で行ってもよいし、認証サーバ３と通信可能な他の端末装置で行ってもよい。他の端末装置を使用する場合は、実際の顔認証時の撮影条件と同一になるように、モバイル端末２の撮影部１４と同一の撮像能力を有する撮像装置を使用することが好ましい。

まず、被認証者の実物の顔を撮影する（ステップＳＴ１０１）。続いて、被認証者の実物の顔を撮影することにより得た実写画像から顔領域を抽出する（ステップＳＴ１０２）。顔領域の抽出は、顔の各部位（例えば、目、鼻、口）や輪郭などの特徴点に基づく従来公知の顔領域抽出方法を用いて行うとよい。そして、実写画像の顔領域の輝度の最大値及び最小値を検出する（ステップＳＴ１０３）。

次に、被認証者の顔写真を撮影する（ステップＳＴ１０４）。続いて、被認証者の顔写真を撮影することにより得た写真画像から顔領域を抽出する（ステップＳＴ１０５）。被認証者の顔写真は、例えば、予め用意した被認証者の運転免許証の写真などを用いるとよい。顔領域の検出は、実写画像から顔領域を抽出する場合と同様に、顔の各部位（例えば、目、鼻、口）や輪郭などの特徴点に基づく従来公知の顔領域抽出方法を用いて行うとよい。そして、写真画像の顔領域の輝度の最大値及び最小値を検出する（ステップＳＴ１０６）。なお、ステップＳＴ１０１－１０３と、ステップＳＴ１０４－１０６との順番は、逆であってもよい。

次に、実写画像及び写真画像の各顔領域における最大輝度値と最小輝度値との組み合わせを２次元空間に投影（プロット）する（ステップＳＴ１０７）。具体的には、図５を参照して上述したようにして、各顔領域における最大輝度値と最小輝度値との組み合わせを、横軸が最小輝度値を示し縦軸が最大輝度値を示すグラフ上にプロットする。上述したように、実写画像は、輝度が０から２５５まで幅広く分布しているので、最小輝度値が０、または最大輝度値が２５５のプロット点が多くなる。一方、写真画像は、実写画像よりも輝度分布の範囲が狭いので、最小輝度値が０より大きく、最大輝度値が２５５よりも小さいプロット点が多くなる。なお、分離境界の精度は、なりすまし判定ＤＢに登録される最大輝度値と最小輝度値との組み合わせの数が多いほど向上する。そのため、上記のステップＳＴ１０１－ＳＴ１０７の処理は、複数の実写画像と写真画像のそれぞれに対して行われる。よって、ステップＳＴ１０７に続くステップＳＴ１０８では、複数の実写画像と写真画像の全画像について、上記のステップＳＴ１０１－ＳＴ１０７の処理が終了したか否か、すなわち、顔領域の輝度の最大値・最小値が検出されたか否かを判定する。全画像についての処理が終了したと判定された場合（ステップＳＴ１０８：Ｙｅｓ）はステップＳＴ１０９に進み、終了していないと判定された場合（ステップＳＴ１０８：Ｎｏ）はステップＳＴ１０１に戻る。

そして、２次元空間上で実写画像と写真画像とを分類できる分類境界を算出する（ステップＳＴ１０９）。具体的には、ＳＶＭ（Support Vector Machine）などの２クラス分類器を用いて、実写画像のプロット点（データ群）と写真画像のプロット点（データ群）との２クラスに分類できる最適な分離境界を求める。求められた分類境界は、なりすまし判定ＤＢに保存する（ステップＳＴ１１０）。

このようにして、実写画像と写真画像とを分離できる最適な分離境界を求めることができる。

分離境界は、最大輝度値と最小輝度値との組み合わせとして求められる。以降、分離境界として求められた最大輝度値及び最小輝度値を、それぞれ「境界最大値」及び「境界最小値」と称する。

したがって、顔画像に基づいて顔認証を行うときに、顔画像の顔領域における輝度の最大値が境界最大値以上となり、かつ顔画像の顔領域における輝度の最小値が境界最小値以下となった場合に、実写画像と判定することができる。あるいは、顔画像の顔領域における輝度の最大値が境界最大値を下回り、かつ顔画像の顔領域における輝度の最小値が境界最小値を上回った場合に、写真画像と判定することができる。

なお、分離境界は、境界最大値と境界最小値のいずれか一方だけであってもよい。

境界最大値のみを用いる場合は、顔画像の顔領域における輝度の最大値が境界最大値以上となった場合に、実写画像と判定することができる。あるいは、顔画像の顔領域における輝度の最大値が境界最大値を下回った場合に、写真画像と判定することができる。

境界最小値のみを用いる場合は、顔画像の顔領域における輝度の最小値が境界最小値以下となった場合に、実写画像と判定することができる。あるいは、顔画像の顔領域における輝度の最小値が境界最小値を上回った場合に、写真画像と判定することができる。

なお、分離境界は、実写画像と写真画像とを分離できる限り特に限定されるものではなく、非線形の分離境界を含む様々な分離境界であってよい。また、分離境界を求める方法も、特に限定されるものではなく、例えばニューラルネットワークなどの様々な種類の識別器を用いて分離境界を求めることができる。

次に、本開示の第１実施形態に係る照合装置（モバイル端末）２での一連の処理について、図７のフロー図を参照して説明する。

まず、モバイル端末２の撮影部１４で被認証者の実物の顔または顔写真を撮影して、被認証者の顔画像（撮像画像）を取得する（ステップＳＴ２０１）。続いて、取得した顔画像から顔領域を検出する（ステップＳＴ２０２）。これは、顔の各部位（例えば、目、鼻、口）や輪郭などの特徴点に基づく従来公知の顔領域抽出方法を用いて行うとよい。そして、顔領域の輝度の最大値・最小値を抽出する（ステップＳＴ２０３）。

次に、顔画像の顔領域から検出した輝度の最大値・最小値を、なりすまし判定ＤＢに保存されている分類境界と照らし合わせることにより、実写画像と写真画像とを識別する（ステップＳＴ２０４）。上述したように、分類境界は、実写画像と写真画像とを分離することができる。

以上のように、本開示の第１実施形態に係る照合装置（モバイル端末）２によれば、顔画像に基づいて顔認証を行うときに、予め求めておいた分類境界を用いて、実写画像と写真画像とを識別することができる。これにより、顔写真を利用したなりすましを容易に防止することが可能となる。

（第２実施形態）
次に、本開示に係る照合装置（モバイル端末）２の第２実施形態について説明する。なお、この第２実施形態では、以下で特に言及しない事項については、上記の第１実施形態の場合と同様とする。

この第２実施形態は、顔画像の顔領域における輝度の最大値及び最小値に基づいてではなく、顔画像の顔領域における輝度の飽和領域（ハイライト）に基づいて、写真画像であるかそれとも実写画像であるかを判定する点が、上記の第１実施形態と異なる。

モバイル端末２の撮影部１４で被写体を撮影するときに、被写体に向けて予め定められた形状の光線（以降、「判定用光線」と称する）を照射すると、被写体が判定用光線を反射することにより、被写体を撮影して得た画像には輝度の飽和領域（輝度が２５５に達した領域）であるハイライトが形成される。

判定用光線の照射は、例えば、図８に示すように、モバイル端末２の表示部１６に高輝度白色領域３０を表示することにより実現することができる。本実施形態では、モバイル端末２の表示部１６に横長直線状の高輝度白色領域３０を表示することにより、横長直線状の判定用光線を照射する。

なお、判定用光線の形状は、横長直線状に限定されるものではなく、縦長直線状、格子状、同心円状などの様々な形状であってよい。また、判定用光線の照射は、モバイル端末２の表示部１６に高輝度白色領域を表示することに限らず、例えば、モバイル端末２に搭載された照明部（ライト）から照射するようにしてもよい。この場合は、照明部の光照射面を所定の形状のフィルタで覆うことにより、判定用光線の形状を設定するようにするとよい。

被写体が顔写真である写真画像の場合は、図９Ａに示すように、判定用光線の形状と略同一形状のハイライトが形成される。本実施形態では、横長直線状の判定用光線を照射するので、写真画像には、横長直線状のハイライトＨが形成される。また、モバイル端末２の撮影部１４（カメラ）は焦点距離が固定されているため、顔写真を撮影部１４で撮影するときは、顔写真に撮影部１４を近づけて撮影することとなる。そのため、顔写真に対して判定用光線が至近距離で照射されるので、写真画像にはハイライトＨがはっきりと形成される。

一方、被写体が実物の顔である実写画像の場合は、図９Ｂに示すように、顔の３次元形状に起因して、顔領域に形成されるハイライトＨの形状に歪みが生じる。ハイライトＨは、撮影部１４から見て光の反射が強い部分に発生する。撮影部１４で撮影される反射光の強さは、光源の位置と、光が投影される面の法線と、撮影部１４の位置とにより決定される。一般的に、光源と撮影部１４とが略同一の位置に存在する場合、つまり、光の投影方向と撮影部１４の撮影軸とがほぼ一致する場合、光の投影方向と、光が投影される面の法線とが一致すればするほど、撮影部１４で撮影される反射光は強くなる。そのため、実写画像では、顔表面の法線と撮影部１４の撮影軸とのなす角度が小さい部分（例えば、人が撮影部１４を向いている場合は、鼻の頂点や頬などの部分）にハイライトＨが現れやすく、他の部分にはハイライトＨは現れにくい。このように、実写画像では、ハイライトＨの形状は、判定用光線の形状と一致しない。また、実物の顔を撮影するときは、実物の顔は撮影部１４からある程度離して撮影されるので、実写画像にハイライトが形成されないこともある。なお、上記の説明では、判定用光線の光源と撮影部１４とが略同一の位置に存在しているという前提に基づいているが、判定用光線の光源と撮影部１４とが互いに離れた位置に存在している場合は、上述した部分（例えば、鼻の頂点や頬などの部分）にハイライトＨが発生するとは限らない。また、上述した部分または他の部分にハイライトＨが発生した場合でも、ハイライトＨの形状は、顔表面の３次元形状の影響を受けるため、判定用光線の形状と一致しない。

したがって、モバイル端末２の撮影部１４で被認証者の顔（実物の顔または顔写真）を撮影して被認証者の顔画像を取得するときに、被認証者の顔に向けて判定用光線を照射すると、撮影により取得された顔画像の顔領域に形成されたハイライトの有無、またはハイライトの形状が判定用光線の形状と一致するか否かに基づいて、実写画像と写真画像とを識別することが可能となる。判定用光線の形状は、モバイル端末２の記憶部１３に予め記憶させておく。

そして、判定用光線として、予め定められた幅を有する横長直線状の光線を照射すると、顔画像に形成されたハイライトの形状が判定用光線の形状と一致するか否かを容易に判定することができる。これは、図９Ｂに示したようなハイライトＨの形状の上下方向の歪みは、他の方向または他の形状の歪みと比べて、検出が容易なためである。

次に、本開示の第２実施形態に係る照合装置（モバイル端末）２での一連の処理について、図１０のフロー図を参照して説明する。

まず、モバイル端末２の表示部１６に高輝度白色領域３０を表示することにより、被認証者の顔（実物の顔または顔写真）に向けて判定用光線を照射する（ステップＳＴ３０１）。続いて、モバイル端末２の撮影部１４で被認証者の顔を撮影して、被認証者の顔画像（撮像画像）を取得する（ステップＳＴ３０２）。

次に、顔画像からハイライトが検出されたか否かを判定する（ステップＳＴ３０３）。具体的には、顔画像における輝度の飽和領域（輝度が２５５に達した領域）をハイライトとして検出する。ハイライトが検出されたと判定された場合（ステップＳＴ３０３：Ｙｅｓ）は、ステップＳＴ３０４に進み、ハイライトが検出されなかったと判定された場合（ステップＳＴ３０３：Ｎｏ）は、ステップＳＴ３０６に進む。

ステップＳＴ３０４では、ステップＳＴ３０３で検出されたハイライトの形状が、判定用光線の形状と一致するか否かを判定する。上述したように、判定用光線の形状は、モバイル端末２の記憶部１３に記憶されている。判定用光線の形状と一致すると判定された場合（ステップＳＴ３０４：Ｙｅｓ）は、ステップＳＴ３０５に進み、判定用光線の形状と一致しないと判定された場合（ステップＳＴ３０４：Ｎｏ）は、ステップＳＴ３０６に進む。

ステップＳＴ３０５では、顔画像が写真画像であると判定し、ステップＳＴ３０６では、顔画像が実写画像であると判定する。

以上のように、本開示の第２実施形態に係る照合装置（モバイル端末）２によれば、顔画像に基づいて顔認証を行うときに、顔画像に形成されたハイライトの有無または形状に基づいて、実写画像と写真画像とを識別することができる。これにより、顔写真を利用したなりすましを容易に防止することが可能となる。

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る照合装置及び照合方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、本実施形態では、照合システム１を、モバイル端末２と認証サーバ３とから構成したが、認証サーバ３の機能をモバイル端末２内に組み込むように構成してもよい。この場合は、照合システム１は、モバイル端末２のみにより構成されることとなる。

また、本実施形態では、モバイル端末２における顔認証について説明したが、本開示に係る照合システム１は、例えばデスクトップ型のパーソナルコンピュータなどの非モバイル端末における顔認証や、入出ゲートで電気鍵または自動ドアの解錠を行うセキュリティシステムにおける顔認証などの様々な用途に適用可能である。

また、本実施形態では、輝度の飽和領域をハイライトとしたが、これに限られるものではない。飽和していなくとも輝度が予め定められた基準値よりも高い領域をハイライトとしてもよい。写真が光沢のある印画紙等に現像されている場合には輝度は容易に飽和するが、写真が画用紙などに印刷されている場合には輝度は飽和しにくくなる。そのため、輝度が飽和しにくい紙に印刷された写真なども排除したい場合には、ハイライトは、輝度が予め定められた基準値よりも高い領域とすればよい。

また、本実施形態では、ハイライトの形状が判定用光線の形状と一致するか否かにより、写真画像であるか否かを判定していたが、これに限られるものではない。例えば、写真を傾けたり曲げたりした状態で判定用光線に当てると、ハイライトの形状に多少の歪みが生じる。例えば、傾けた状態の写真に対して真円状の判定用光線を当てると、真円状ではなく楕円状のハイライトが現れることとなる。そのため、ハイライトの形状と判定用光線の形状との一致は厳密に判断するのではなく、ある程度の対応関係が見られれば写真画像であると判断してもよい。対応関係の例としては、角の数が判定用光線とハイライトとで一致するか否かを評価したり、ハイライトの形状が判定用光線の形状を線形変換して得られる形状であるか否かを評価したりするなど、様々なものが考えられる。

また、本実施形態では、撮影部１４として焦点距離が固定されたものを例として説明したが、これに限られるものではない。撮影部１４として焦点距離が可変のものを使用してもよい。ただし、被写体と撮影部１４との間の距離が大きくなると適切なハイライトが現れない場合があるため、ハイライトを使用して実写画像と写真画像とを識別する場合は、焦点距離を短距離に固定することが望ましい。この場合、ユーザは撮像画像の焦点を合わせるために撮影部１４に接近せざるを得ないので、その結果、適切なハイライトが現れることが期待できる。

また、本実施形態において、ハイライトの面積が予め定められた面積よりも小さい場合には（ハイライト自体を認識できない場合も含む）、実写画像であると判定してもよい。一般的に、光沢紙等に印画されている写真よりも実物の方が、光が散乱し易く、ハイライトが発生しにくいためである。また、厳格に不正を検知する必要がある場合は、形状が認識できないほどハイライトの面積が小さい場合には、撮り直しを要求するように構成してもよい。実物であれば撮影部１４に接近するなどの行動によりハイライトが発生する画像を撮り直すことは容易だからである。

また、本実施形態では、顔画像を照合することによって認証する構成を例として説明したが、これに限られるものではない。認証は照合技術の応用の一つに過ぎず、例えば、特定の特徴を持つ人物を検索する場合など認証を想定していない照合を行うことも考えられるが、本実施形態はこのような場合にも適用することができる。また、照合の対象も人物の顔には限らない。被写体の写真を用いることで実際の被写体と混同させる不正行為を行うことができる他の被写体であってもよい。例えば、ブランド品や貴金属を遠隔で鑑定する場合などにも本実施形態を応用することができる。

本開示に係る照合装置及び照合方法は、被写体を撮像装置で撮影して得た撮像画像を、予め登録されている登録被写体の登録画像と照合する照合技術において、写真を利用した不正を容易に防止することを可能とする照合装置及び照合方法等として有用である。

１ 照合システム
２ モバイル端末（照合装置）
３ 認証サーバ
４ ネットワーク
１１ プロセッサ
１２ メモリ
１３ 記憶部
１４ 撮影部
１５ 操作部
１６ 表示部
１７ 通信部
３０ 高輝度白色領域
Ｈ ハイライト

Claims (5)

1. 被写体を撮像装置で撮影して得た撮像画像を、予め登録されている登録被写体の登録画像と照合する照合装置であって、
   プロセッサと、
   前記被写体の写真を撮影して得た画像である写真画像を排除可能な予め定められた判定条件を予め記憶した記憶部とを備え、
   前記プロセッサは、
   前記撮像画像の輝度分布を検出し、
   前記検出された輝度分布が前記判定条件を満たすか否かを判定し、
   前記判定条件を満たす撮像画像を使用して、前記撮像画像中の前記被写体が前記登録画像中の前記登録被写体と一致するか否かの照合を行い、
   前記判定条件が、前記撮像画像を取得するときに前記被写体に照射される判定用光線の形状であり、
   前記プロセッサは、前記判定用光線が照射された前記被写体を撮影して取得した撮像画像から、前記撮像画像中の輝度が予め定められた基準値を上回った領域であるハイライトを検出し、
   前記ハイライトが検出され、かつ前記検出されたハイライトの形状が前記判定用光線の形状に対応する場合には、前記撮像画像が前記写真画像であると判定することを特徴とする照合装置。
2. 前記判定用光線が、予め定められた幅を有する横長直線状の形状を有する光線であることを特徴とする請求項１に記載の照合装置。
3. 前記プロセッサは、前記検出されたハイライトの面積が予め定められた面積より小さい場合には、前記撮像画像が実写画像であると判定することを特徴とする請求項１または２に記載の照合装置。
4. 前記被写体が、人物の顔であることを特徴とする請求項１ないし３のいずれかに記載の照合装置。
5. プロセッサが記憶部と協働して、被写体を撮像装置で撮影して得た撮像画像を、予め登録されている登録被写体の登録画像と照合する照合方法であって、
   前記記憶部が、前記被写体の写真を撮影して得た画像である写真画像を排除可能な予め定められた判定条件を予め記憶しておくステップと、
   前記プロセッサが、前記撮像画像に含まれる顔領域の輝度分布を検出するステップと、
   前記プロセッサが、前記検出された輝度分布が前記判定条件を満たすか否かを判定するステップと、
   前記プロセッサが、前記判定条件を満たす撮像画像を使用して、前記撮像画像中の前記被写体が前記登録画像中の前記登録被写体と一致するか否かの照合を行うステップとを有し、
   前記判定条件が、前記撮像画像を取得するときに前記被写体に照射される判定用光線の形状であり、
   前記プロセッサは、前記判定用光線が照射された前記被写体を撮影して取得した撮像画像から、前記撮像画像中の輝度が予め定められた基準値を上回った領域であるハイライトを検出し、
   前記ハイライトが検出され、かつ前記検出されたハイライトの形状が前記判定用光線の形状に対応する場合には、前記撮像画像が前記写真画像であると判定することを特徴とする照合方法。

Images