JP7248348B2 - 顔認証装置、顔認証方法、及びプログラム - Google Patents

Description

本発明は、顔認証をする顔認証装置、顔認証方法に関し、更には、これらを実現するためのプログラムに関する。

入退場管理において本人確認をする認証方法としてウォークスルー顔認証が知られている。ウォークスルー顔認証は、入出場ゲートに移動してくる利用者の顔画像と、あらかじめ撮影した顔画像とを用いて、本人確認を行う。

関連する技術として特許文献１には、認証領域を通行する利用者を顔認証して当該利用者の通行許否を判定する顔認証システムが開示されている。その顔認証システムによれば、入力画像から抽出された利用者の顔画像と登録顔画像とを照合する。そして、認証に成功した場合、入力画像において認証された利用者を示す領域の大きさが所定以上のとき、当該利用者の通行を許可する。

特開２０１５－００１７９０号公報

しかしながら、従来のウォークスルー顔認証では、撮影エリアにおいて、入出場ゲートに移動する人物の顔画像を撮り溜め、撮り溜めた複数の顔画像と登録顔画像とを照合し、複数の顔画像の一つでも照合に成功すれば、入出場ゲートの通過を許可している。そのため、なりすまし行為が可能である。

例えば、撮影エリアに二人の利用者がいる場合、一方の人物が顔認証に成功すれば、入出場ゲートの通行が許可されるため、一方の人物になりすまして他方の人物が入出場ゲートを通過できてしまう。

本発明の目的の一例は、なりすまし行為を防止する顔認証装置、顔認証方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における顔認証装置は、
撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出する、検出部と、
検出した前記顔画像を用いて特徴量を抽出する、抽出部と、
利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合をする、第一の照合部と、
を有することを特徴とする。

また、上記目的を達成するため、本発明の一側面における顔認証方法は、
撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出する、検出ステップと、
検出した前記顔画像を用いて特徴量を抽出する、抽出ステップと、
利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合をする、第一の照合ステップと、
を有することを特徴とする。

さらに、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに
撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出する、検出ステップと、
検出した前記顔画像を用いて特徴量を抽出する、抽出ステップと、
利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合する、第一の照合ステップと、
を実行させることを特徴とする。

以上のように本発明によれば、なりすまし行為を防止することができる。

図１は、顔認証装置の一例を説明するための図である。 図２は、顔認証装置を有するシステムの一例を説明するための図である。 図３は、ウォークスルー顔認証の説明をするための図である。 図４は、照合（第一の照合）を説明するための図である。 図５は、照合（第二の照合）を説明するための図である。 図６は、仮マスタ特徴量の決定を説明するための図である。 図７は、照合（第三の照合）を説明するための図である。 図８は、顔認証装置の動作の一例を説明するための図である。 図９は、顔認証装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態について、図１から図９を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態における顔認証装置１の構成について説明する。

図１に示す顔認証装置は、なりすまし行為を防止する装置である。また、図１に示すように、顔認証装置１は、検出部２と、抽出部３と、照合部４（第一の照合部）とを有する。

このうち、検出部２は、撮影エリアにいる利用者を撮像した画像を用いて、画像から顔に対応する顔画像を検出する。抽出部３は、検出した顔画像を用いて特徴量を抽出する。照合部４は、利用者を識別する識別情報を取得した場合、識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている識別情報に関連付けられたマスタ特徴量とを用いて照合（第一の照合）をする。

撮影エリアは、例えば、ウォークスルー顔認証において、入出場ゲートに移動してくる利用者を、一つ以上の撮像装置を用いて、撮像するためのエリアである。撮影エリアは、顔画像の目間を用いて調整する。識別情報は、例えば、利用者が所持しているＩＤカードからＩＤリーダを用いて読み込まれた、利用者を識別するための情報である。

クエリ特徴量は、例えば、顔認証装置１が、識別情報を取得した直前に撮像された顔画像、又は、識別情報を取得した時点より前にあらかじめ設定された時間に撮像された一つの顔画像から抽出した特徴量である。設定された時間は、例えば一秒以内とすることが望ましい。さらに、クエリ特徴量は、識別情報を取得した直後に撮像された一つの顔画像を用いて抽出してもよい。

マスタ記憶部は、あらかじめ登録された利用者の顔画像から抽出されたマスタ特徴量と、利用者の識別情報とが関連付けられた情報が記憶されている記憶装置である。それらの情報は、例えば、利用者がチケットを購入する場合などに、事前にマスタ記憶部に登録しておく。

照合（第一の照合）は、例えば、クエリ特徴量とマスタ特徴量とを用いて照合スコアを算出し、照合スコアとあらかじめ記憶した閾値と比較して照合を行う。閾値は、例えば、実験、シミュレーションなどにより決定する。なお、照合スコアは、比較する特徴量の類似度を機械学習の分類器によって測定される。

上述したように、本実施の形態においては、従来のように、ゲートに移動する人物の顔画像を撮り溜めせず、識別情報を取得した時点より前に取得したクエリ特徴量を用いて照合するので、なりすまし行為を防止することができる。

［システム構成］
続いて、図２を用いて、本実施の形態における顔認証装置１の構成をより具体的に説明する。図２は、顔認証装置を有するシステムの一例を説明するための図である。図３は、ウォークスルー顔認証の説明をするための図である。

図２に示すように、本実施の形態におけるシステム２０は、顔認証装置１に加えて、一つ以上の撮像装置２１（２１ａ、２１ｂ）、識別装置２２、記憶装置２３、通行許可装置２４を有する。顔認証装置１は、検出部２、抽出部３、照合部４、に加えて、照合部５（第二の照合部）、決定部６、照合部７（第三の照合部）を有する。

なお、顔認証装置１は、サーバコンピュータ、パーソナルコンピュータなどの情報処理装置を用いて実現してもよい。また、顔認証装置１は、識別装置２２又は通行許可装置２４の内部に設けてもよい。

撮像装置２１は、撮像した画像を顔認証装置１に送信する。具体的には、撮像装置２１は、あらかじめ設定された撮影エリアにおいて被写体を撮像する。図３の例では、撮影エリア（エリアＡ１、Ａ２）において、あらかじめ設定した間隔で、人物３０を撮像する。

図３の例では、撮像装置２１ａ、２１ｂそれぞれが人物３０を撮像して顔認証装置１に送信する。なお、撮像装置２１は、例えば、カメラなどが考えられる。

図３の例では、ＩＤカード３１を所持した人物３０が、エリアＡ２からエリアＡ１に進行した後、ＩＤカード３１に付された識別情報を読み取り可能な表示を、人物３０が識別装置２２に読み取らせている。図３の例では、ＩＤカード３１を用いているが、スマートフォンなどに表示させた識別情報を読み取らせてもよい。

図３に示すエリアＡ１は、人物３０が識別装置２２に識別情報を読み取らせた直前又は直後の人物３０の画像を取得するためのエリアである。又は、識別装置２２が識別情報を読み取らせた時点より前のあらかじめ設定された時間に、人物３０の画像を取得するためのエリアである。図３に示すエリアＡ２は、人物３０の画像を撮り溜めるエリアである。

識別装置２２は、例えば、人物３０が所持するＩＤカード３１などから、利用者を識別するための識別情報を読み取るＩＤリーダなどである。ＩＤカード３１は、例えば、チケット、スマートフォンなどの端末装置が考えられる。識別装置２２は、チケット、スマートフォンなどに表示された識別情報を読み取り可能な表示（例えば、二次元コードなど）から識別情報を読み取る。また、ＩＤカード３１に設けられたＩＣチップから識別情報を読み込んでもよい。

記憶装置２３は、利用者の顔画像から抽出されたマスタ特徴量と、利用者の識別情報とを関連付けられて記憶する記憶装置である。具体的には、記憶装置２３は、あらかじめ登録された利用者の顔画像から抽出されたマスタ特徴量と、利用者の識別情報とが関連付けられた情報を記憶するための記憶装置である。記憶装置２３は、例えば、データベースなどの装置である。なお、記憶装置２３は、顔認証装置１の内部に設けてもよいし、顔認証装置１の外部に設けてもよい。

通行許可装置２４は、人物３０に通行を許可する装置である。具体的には、通行許可装置２４は、顔認証装置１から受信した通行情報の内容に基づいて、人物３０を通行させるか否かを決定する。通行許可装置２４がゲート装置である場合、通行許可装置２４は、人物３０に通行を許可する場合に、ゲート装置に設けられた扉などを開く。

なお、通行許可装置２４は、スピーカ、モニタなどが接続されている場合、音声、画像などを用いて、人物３０に対して通行を許可する旨を通知してもよい。また、通行許可装置２４は、顔認証装置１の内部に設けてもよい。

顔認証装置について説明をする。
検出部２は、撮像した画像から顔画像を含む領域を検出する。具体的には、検出部２は、まず、撮影エリアにおいて撮像装置２１が撮像した、人物３０の複数の画像を取得する。続いて、検出部２は、撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する。

顔検出では、撮影画像の端から矩形を順に切り出し、その中に顔が含まれるかどうかを判定していく。顔・非顔の判定にはパターン認識技術を用いる。パターン認識の手法としては、サポートベクターマシン、ニューラルネットワーク、一般学習ベクトル量子化手法などがある。

抽出部３は、検出された顔画像を用いて顔の特徴量を抽出する。具体的には、抽出部３は、まず、検出部２から複数の顔画像を取得する。続いて、抽出部３は、顔画像それぞれに対して顔の特徴量を抽出する。

特徴量抽出では、検出した顔画像から瞳、鼻、口角など特徴点情報を抽出する。一般的な手法としては、勾配ヒストグラムやサポートベクターマシン、ニューラルネットワーク、顔形状モデルを用いた最適化や回帰などがある。

照合部４は、利用者を識別する識別情報を取得した場合、識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめ記憶装置２３に登録されている識別情報に関連付けられたマスタ特徴量とを用いて照合（第一の照合）をする。

具体的には、照合部４は、まず、エリアＡ１で撮像された顔画像に対応する一つの特徴量をクエリ特徴量として取得する。例えば、エリアＡ１において、識別情報を取得した直前に撮像された顔画像、又は、識別情報を取得した時点より前にあらかじめ設定された時間において撮像された顔画像、又は、識別情報を取得した直後に撮像された顔画像、に対応する特徴量をクエリ特徴量とする。

続いて、照合部４は、識別情報に基づいて、記憶装置２３からマスタ特徴量を取得する。続いて、照合部４は、取得したクエリ特徴量とマスタ特徴量を用いて、照合スコア（第一の照合スコア）を生成する。続いて、照合部４は、照合スコアと閾値（第一の照合閾値）とを比較して、照合判定（第一の照合判定）をし、照合結果（顔認証のうち顔照合の結果）を取得する。例えば、照合スコアが閾値以上であれは照合に成功したとする。

その後、照合部４は、照合に成功した場合、通行を許可することを表す通行情報を、通行許可装置２４へ送信する。照合部４は、照合に失敗した場合、通行を許可しないことを表す通行情報を、照合部５へ送信する。

図４は、照合（第一の照合）を説明するための図である。図４のＡの例では、照合スコアが０．７５で、閾値（第一の照合閾値）が０．５０なので、照合に成功しているので、通行を許可することを表す通行情報を、通行許可装置２４へ送信する。図４のＢの例では、照合スコアが０．４０で、閾値が０．５０なので、照合に失敗しているので、通行を許可しないことを表す通行情報を、照合部５へ送信する。

照合部５は、照合（第一の照合）に失敗した場合、クエリ特徴量に対応する画像を撮像した時点より前に撮像された一つ以上の画像に対応する仮マスタ候補特徴量と、マスタ特徴量とを用いて照合（第二の照合）する。

具体的には、照合部５は、まず、照合に失敗したことを表す通行情報を照合部４から取得する。続いて、照合部５は、エリアＡ２で撮像された人物３０の画像（撮り溜めた画像）を用いて、抽出部３により抽出された特徴量である仮マスタ候補特徴量を取得する。

続いて、照合部５は、取得した仮マスタ候補特徴量とマスタ特徴量とを用いて、仮マスタ候補特徴量ごとに照合スコア（第二の照合スコア）を生成する。続いて、照合部５は、仮マスタ候補特徴量ごとに算出した照合スコアと閾値（第二の照合閾値）とを比較して、照合判定（第二の照合判定）をし、照合結果を取得する。第二の照合閾値は、例えば、実験、シミュレーションなどにより決定する。

図５は、照合（第二の照合）を説明するための図である。図５の例では、仮マスタ候補特徴量とマスタ特徴量との照合スコア（第二の照合スコア）０．７５、０．４０、０．３０、０．５０それぞれと、閾値（第二の照合閾値）０．５０とを比較して、閾値以上の照合スコアを検出する。

決定部６は、照合部５の照合（第二の照合）結果に基づいて、仮マスタ候補特徴量から仮マスタ特徴量を決定する。具体的には、決定部６は、まず、照合部５から照合結果を取得する。続いて、決定部６は、照合スコアが閾値以上の仮マスタ候補特徴量を選択して、仮マスタ特徴量を決定して記憶する。

図６は、仮マスタ特徴量の決定を説明するための図である。図６の例では、閾値が０．５０以上の照合スコア（第二の照合スコア）に対応する特徴量ＦＶ１、ＦＶ４を仮マスタ候補特徴量として選択する。

照合部７は、仮マスタ特徴量が決定した場合、クエリ特徴量と仮マスタ特徴量とを用いて照合（第三の照合）をする。具体的には、照合部７は、まず、クエリ特徴量と仮マスタ特徴量とを用いて、照合スコア（第三の照合スコア）を生成する。続いて、照合部７は、照合スコアと閾値（第三の照合閾値）とを比較して、照合判定（第三の照合判定）をし、照合結果（顔認証のうち顔照合の結果）を取得する。

例えば、照合スコアが閾値以上であれば照合に成功したとする。第三の照合閾値は、例えば、実験、シミュレーションなどにより決定する。

その後、照合部７は、照合に成功した場合、通行を許可することを表す通行情報を、通行許可装置２４へ送信する。対して、照合部７は、照合に失敗した場合、通行を許可しないことを表す通行情報を、通行許可装置２４へ送信する。

図７は、照合（第三の照合）を説明するための図である。図７の例では、クエリ特徴量ＱＦＶと仮マスタ特徴量ＦＶ１、ＦＶ４との照合スコア（第三の照合スコア）０．８５、０．７５を生成する。生成した照合スコア０．８５、０．７５は、閾値０．５以上であるので、顔認証の顔照合に成功した判定する。その後、照合部７は、通行を許可することを表す通行情報を、通行許可装置２４へ送信する。

図７の例では、すべての照合スコアが閾値以上の場合に照合に成功した例を示したが、一つ以上、又は、あらかじめ設定した数の照合スコアが閾値以上の場合に照合に成功しとしてもよい。

［装置動作］
次に、本発明の実施の形態における顔認証装置の動作について説明する。図８は、顔認証装置の動作の一例を説明するための図である。以下の説明においては、適宜図２から図７を参照する。また、本実施の形態では、顔認証装置を動作させることによって、顔認証方法が実施される。よって、本実施の形態における顔認証方法の説明は、以下の顔認証装置の動作説明に代える。

図８に示すように、最初に、検出部２は、撮像した画像から顔画像を含む領域を検出する（ステップＡ１）。具体的には、ステップＡ１において、検出部２は、まず、撮影エリア（エリアＡ１、Ａ２）において撮像装置２１が撮像した、人物３０の複数の画像を取得する。続いて、ステップＡ１において、検出部２は、撮像した複数の画像それぞれから、顔に対応する顔領域を有する顔画像を検出する。

次に、抽出部３は、検出された顔画像を用いて顔の特徴量を抽出する。具体的には、抽出部３は、まず、検出部２から複数の顔画像を取得する。続いて、抽出部３は、顔画像それぞれに対して顔の特徴量を抽出する（ステップＡ２）。

次に、照合部４は、利用者を識別する識別情報を取得した場合（ステップＡ３：Ｙｅｓ）、識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめ記憶装置２３に登録されている識別情報に関連付けられたマスタ特徴量とを用いて照合（第一の照合）をする（ステップＡ４）。なお、識別情報を取得していない場合（ステップＡ３：Ｎｏ）、ステップＡ１に移行して、処理を継続する。

具体的には、ステップＡ４において、照合部４は、まず、エリアＡ１で撮像された顔画像に対応する一つの特徴量をクエリ特徴量として取得する。例えば、エリアＡ１において、識別情報を取得した直前に撮像された顔画像、又は、識別情報を取得した時点より前にあらかじめ設定された時間において撮像された顔画像、又は、識別情報を取得した直後に撮像された顔画像、に対応する特徴量をクエリ特徴量とする。

続いて、ステップＡ４において、照合部４は、識別情報に基づいて、記憶装置２３からマスタ特徴量を取得する。続いて、ステップＡ４において、照合部４は、取得したクエリ特徴量とマスタ特徴量を用いて、照合スコア（第一の照合スコア）を生成する。続いて、ステップＡ４において、照合部４は、照合スコアと閾値（第一の照合閾値）とを比較して、照合判定（第一の照合判定）をし、照合結果（顔認証のうち顔照合の結果）を取得する。例えば、照合スコアが閾値以上であれは照合に成功したとする。

その後、照合部４は、照合に成功した場合（ステップＡ５：Ｎｏ）、通行を許可することを表す通行情報を、通行許可装置２４へ送信する（ステップＡ１０）。照合部４は、照合に失敗した場合（ステップＡ５：Ｙｅｓ）、通行を許可しないことを表す通行情報を、照合部５へ送信する。

次に、照合部５は、照合（第一の照合）に失敗した場合、クエリ特徴量に対応する画像を撮像した時点より前に撮像された一つ以上の画像に対応する仮マスタ候補特徴量と、マスタ特徴量とを用いて照合（第二の照合）する（ステップＡ６）。

具体的には、ステップＡ６において、照合部５は、まず、照合に失敗したことを表す通行情報を照合部４から取得する。続いて、ステップＡ６において、照合部５は、エリアＡ２で撮像された人物３０の画像（撮り溜めた画像）を用いて、抽出部３により抽出された特徴量である仮マスタ候補特徴量を取得する。

続いて、ステップＡ６において、照合部５は、取得した仮マスタ候補特徴量とマスタ特徴量とを用いて、仮マスタ候補特徴量ごとに照合スコア（第二の照合スコア）を生成する。続いて、ステップＡ６において、照合部５は、仮マスタ候補特徴量ごとに算出した照合スコアと閾値（第二の照合閾値）とを比較して、照合判定（第二の照合判定）をし、照合結果を取得する。第二の照合閾値は、例えば、実験、シミュレーションなどにより決定する。

次に、決定部６は、照合部５の照合（第二の照合）結果に基づいて、仮マスタ候補特徴量から仮マスタ特徴量を決定する（ステップＡ７）。具体的には、ステップＡ７において、決定部６は、まず、照合部５から照合結果を取得する。続いて、ステップＡ７において、決定部６は、照合スコアが閾値以上の仮マスタ候補特徴量を選択して、仮マスタ特徴量を決定して記憶する。

次に、照合部７は、仮マスタ特徴量が決定した場合、クエリ特徴量と仮マスタ特徴量とを用いて照合（第三の照合）をする（ステップＡ８）。具体的には、ステップＡ８において、照合部７は、まず、クエリ特徴量と仮マスタ特徴量とを用いて、照合スコア（第三の照合スコア）を生成する。続いて、ステップＡ８において、照合部７は、照合スコアと閾値（第三の照合閾値）とを比較して、照合判定（第三の照合判定）をし、照合結果（顔認証のうち顔照合の結果）を取得する。

例えば、照合スコアが閾値以上であれば照合に成功したとする。第三の照合閾値は、例えば、実験、シミュレーションなどにより決定する。

その後、ステップＡ８において、照合部７は、照合に成功した場合（ステップＡ９：Ｙｅｓ）、通行を許可することを表す通行情報を、通行許可装置２４へ送信する（ステップＡ１０）。対して、照合部７は、照合に失敗した場合（ステップＡ９：Ｎｏ）、通行を許可しないことを表す通行情報を、通行許可装置２４へ送信する（ステップＡ１１）。

上述したステップＡ１からＡ１１の処理を繰り返すことでウォークスルー顔認証を実現することができる。

［本実施の形態の効果］
以上のように本実施の形態によれば、従来のように、ゲートに移動する人物の顔画像を撮り溜めせず、識別情報を取得した時点より前に取得したクエリ特徴量を用いて照合するので、なりすまし行為を防止することができる。

また、本実施の形態によれば、第一に照合に失敗した場合、仮マスタ特徴量を生成して、クエリ特徴量と生成した仮マスタ特徴量とを用いて第三の照合をするので、人物３０本人であるにもかかわらず照合に失敗する本人拒否が発生しにくくなる。

［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図８に示すステップＡ１からＡ１１を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における顔認証装置と顔認証方法とを実現することができる。この場合、コンピュータのプロセッサは、検出部２、抽出部３、照合部４、５、７、決定部６として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、検出部２、抽出部３、照合部４、５、７、決定部６のいずれかとして機能してもよい。

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、顔認証装置を実現するコンピュータについて図９を用いて説明する。図９は、本発明の実施の形態における顔認証装置を実現するコンピュータの一例を示すブロック図である。

図９に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。

なお、本実施の形態における顔認証装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。さらに顔認証装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記１２）により表現することができるが、以下の記載に限定されるものではない。

（付記１）
撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出する、検出部と、
検出した前記顔画像を用いて特徴量を抽出する、抽出部と、
利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合をする、第一の照合部と、
を有することを特徴とする顔認証装置。

（付記２）
付記１に記載の顔認証装置であって、
前記第一の照合に失敗した場合、前記クエリ特徴量に対応する前記画像を撮像した時点より前に撮像された一つ以上の画像に対応する仮マスタ候補特徴量と、前記マスタ特徴量とを用いて第二の照合をする、第二の照合部と、
前記第二の照合の結果に基づいて、前記仮マスタ候補特徴量から仮マスタ特徴量を決定する、決定部と
を有することを特徴とする顔認証装置。

（付記３）
付記２に記載の顔認証装置であって、
前記仮マスタ特徴量が決定した場合、前記クエリ特徴量と前記仮マスタ特徴量とを用いて第三の照合をする、第三の照合部と
を有することを特徴とする顔認証装置。

（付記４）
付記３に記載の顔認証装置であって、
前記第三の照合部は、前記第三の照合に成功した場合、前記利用者に通行を許可することを表す通行情報を、通行許可装置へ送信する
ことを特徴とする顔認証装置。

（付記５）
撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出する、検出ステップと、
検出した前記顔画像を用いて特徴量を抽出する、抽出ステップと、
利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合をする、第一の照合ステップと、
を有することを特徴とする顔認証方法。

（付記６）
付記５に記載の顔認証方法であって、
前記第一の照合に失敗した場合、前記クエリ特徴量に対応する前記画像を撮像した時点より前に撮像された一つ以上の画像に対応する仮マスタ候補特徴量と、前記マスタ特徴量とを用いて第二の照合をする、第二の照合ステップと、
前記第二の照合の結果に基づいて、前記仮マスタ候補特徴量から仮マスタ特徴量を決定する、決定ステップと、
を有することを特徴とする顔認証方法。

（付記７）
付記６に記載の顔認証方法であって、
前記仮マスタ特徴量が決定した場合、前記クエリ特徴量と前記仮マスタ特徴量とを用いて第三の照合をする、第三の照合ステップと、
を有することを特徴とする顔認証方法。

（付記８）
付記７に記載の顔認証方法であって、
前記第三の照合ステップにおいて、前記第三の照合に成功した場合、前記利用者に通行を許可することを表す通行情報を、通行許可装置とへ送信する
を有することを特徴とする顔認証方法。

（付記９）
コンピュータに
撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出する、検出ステップと、
検出した前記顔画像を用いて特徴量を抽出する、抽出ステップと、
利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合をする、第一の照合ステップと、
を実行させる命令を含むプログラム。

（付記１０）
付記９に記載のプログラムであって、
前記プログラムが、前記コンピュータに
前記第一の照合に失敗した場合、前記クエリ特徴量に対応する前記画像を撮像した時点より前に撮像された一つ以上の画像に対応する仮マスタ候補特徴量と、前記マスタ特徴量とを用いて第二の照合をする、第二の照合ステップと、
前記第二の照合の結果に基づいて、前記仮マスタ候補特徴量から仮マスタ特徴量を決定する、決定ステップと、
を実行させる命令を更に含むプログラム。

（付記１１）
付記１０に記載のプログラムであって、
前記プログラムが、前記コンピュータに
前記仮マスタ特徴量が決定した場合、前記クエリ特徴量と前記仮マスタ特徴量とを用いて第三の照合をする、第三の照合ステップと、
を実行させる命令を更に含むプログラム。

（付記１２）
付記１１に記載のプログラムであって、
前記第三の照合ステップにおいて、前記第三の照合に成功した場合、前記利用者に通行の許可を通知することを表す通行情報を、通行許可装置とへ送信する
ことを特徴とするプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１９年９月２４日に出願された日本出願特願２０１９－１７３３８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように本発明によれば、なりすまし行為を防止することができる。本発明は、ウォークスルー顔認証が必要な分野において有用である。

１ 顔認証装置
２ 検出部
３ 抽出部
４ 照合部（第一の照合部）
５ 照合部（第二の照合部）
６ 決定部
７ 照合部（第三の照合部）
２１、２１ａ、２１ｂ 撮像装置
２２ 識別装置
２３ 記憶装置
２４ 通行許可装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (9)

1. 撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出する、検出手段と、
   検出した前記顔画像を用いて特徴量を抽出する、抽出手段と、
   利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合をする、第一の照合手段と、
   前記第一の照合に失敗した場合、前記クエリ特徴量に対応する前記画像を撮像した時点より前に撮像された一つ以上の画像に対応する仮マスタ候補特徴量と、前記マスタ特徴量とを用いて第二の照合をする、第二の照合手段と、
   前記第二の照合の結果に基づいて、前記仮マスタ候補特徴量から仮マスタ特徴量を決定する、決定手段と、
   を有することを特徴とする顔認証装置。
2. 請求項１に記載の顔認証装置であって、
   前記仮マスタ特徴量が決定した場合、前記クエリ特徴量と前記仮マスタ特徴量とを用いて第三の照合をする、第三の照合手段と
   を有することを特徴とする顔認証装置。
3. 請求項２に記載の顔認証装置であって、
   前記第三の照合手段は、前記第三の照合に成功した場合、前記利用者に通行を許可することを表す通行情報を、通行許可装置へ送信する
   ことを特徴とする顔認証装置。
4. 撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出し、
   検出した前記顔画像を用いて特徴量を抽出し、
   利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合をし、
   前記第一の照合に失敗した場合、前記クエリ特徴量に対応する前記画像を撮像した時点より前に撮像された一つ以上の画像に対応する仮マスタ候補特徴量と、前記マスタ特徴量とを用いて第二の照合をし、
   前記第二の照合の結果に基づいて、前記仮マスタ候補特徴量から仮マスタ特徴量を決定する、
   ことを特徴とする顔認証方法。
5. 請求項４に記載の顔認証方法であって、
   前記仮マスタ特徴量が決定した場合、前記クエリ特徴量と前記仮マスタ特徴量とを用いて第三の照合をする
   ことを特徴とする顔認証方法。
6. 請求項５に記載の顔認証方法であって、
   前記第三の照合に成功した場合、前記利用者に通行を許可することを表す通行情報を、通行許可装置とへ送信する
   ことを特徴とする顔認証方法。
7. コンピュータに
   撮影エリアにいる利用者を撮像した画像を用いて、前記画像から顔に対応する顔画像を検出させ、
   検出した前記顔画像を用いて特徴量を抽出させ、
   利用者を識別する識別情報を取得した場合、前記識別情報を取得した時点より前に取得したクエリ特徴量と、あらかじめマスタ記憶部に登録されている前記識別情報に関連付けられたマスタ特徴量とを用いて第一の照合をさせ、
   前記第一の照合に失敗した場合、前記クエリ特徴量に対応する前記画像を撮像した時点より前に撮像された一つ以上の画像に対応する仮マスタ候補特徴量と、前記マスタ特徴量とを用いて第二の照合をさせ、
   前記第二の照合の結果に基づいて、前記仮マスタ候補特徴量から仮マスタ特徴量を決定させる、
   命令を含むプログラム。
8. 請求項７に記載のプログラムであって、
   前記プログラムが、前記コンピュータに
   前記仮マスタ特徴量が決定した場合、前記クエリ特徴量と前記仮マスタ特徴量とを用いて第三の照合をさせる
   命令を含むプログラム。
9. 請求項８に記載のプログラムであって、
   前記第三の照合に成功した場合、前記利用者に通行の許可を通知することを表す通行情報を、通行許可装置とへ送信させる
   命令を含むプログラム。

Images