JP4899552B2 - 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、動画像中において被認証者の顔画像を特定し、予め登録されている顔画像である登録画像とを照合する認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体に関するものである。

近年、金融取引の電子化や警備保障の強化の流れにつれて、個人認証技術に対するニーズが高まっている。特に、ＡＴＭ装置における預貯金や電子マネーによる決済のような金融取引においては、より高精度の個人認証技術が求められている。

このような要求にこたえるべく、従来の暗証番号・パスワードといった個人認証技術対策に加えて、より認証精度の高い生体認証方法が提案されている。数ある生体認証方法の中でも、顔認証は、普段の生活で人々がごく普通に行っている識別方法であり、その他指紋認証や静脈認証などと比較して被認証者の精神的な抵抗が少ないこと、既に広く普及しているＣＣＤ（Charge Coupled Device）カメラなどの撮像装置を利用した簡便な装置で実現可能なこと、などの理由から採用されるケースが増加している。

しかしながら、顔認証においても、他の認証方法と同様、本人ではない者が本人になりすますという問題が生じる。一般的な顔認証では、認証対象者の顔画像（例えば正面から撮影した画像）から目鼻口などの位置や形などで特徴量を抽出し、抽出した特徴量を予め登録した登録画像の特徴量とを比較することで認証処理を行っている。ところが、他人が本人の写真を入手して、この写真を撮像装置にかざすことによって比較的簡単に本人になりすますことができてしまう。

このような問題を解決するために、本人なりすましによる誤認証を防ぐ装置が開発されている（特許文献１）。特許文献１に記載の個人認証装置では、被認証者の顔を予め定められた正面以外の特定方向から撮像し、その撮像画像を認証辞書に登録している。そして、認証時に、上記特定方向から撮像された被認証者の顔画像と認証辞書に登録されている画像とを照合することにより、被認証者が本人であるか否かを判断する。
特開２００３−１７８３０６号公報（２００３年６月２７日公開） 特開２００４−１７８４０２号公報（２００４年６月２４日公開）

ところが、特許文献１の従来構成は、撮像手段がたとえ動画像を撮影取得する場合であっても、基本的には、動画像から被認証者の顔画像を静止画像として抽出し、その静止画像の特徴量を認証辞書の特徴量と比較することによって被認証者と本人との類似度を判定するものである。このような他の先行技術文献として、静止画像における類似度を評価するために相関係数を算出する特許文献２も知られている。

これら従来技術では、たとえ動画像で撮影する場合であっても、動画像に含まれる情報量を十分に活用することはなく、撮影画像から抽出した静止画に含まれる情報のみに基づいて本人認証処理を行っていた。

したがって、これら従来技術では、本人認証処理の精度向上にも自ずから限界が生じるとともに、すべての認証処理に複雑な特徴量の演算を必要としていたので、認証装置における演算処理等の負担は大きいものとなっており、このような処理負担は、認証装置における認証処理の高速化や認証装置の小型化に制約を与えるものとなっていた。

本発明は、上記の問題点を解決するためになされたもので、その目的は、撮影動画像に含まれる情報を有効活用して、撮影動画像を用いた本人認証を、より小さな処理負担で高精度に実現することにある。

本発明に係る認証装置は、上記の課題を解決するために、被認証者の顔画像である認証画像と、予め登録されている顔画像である登録画像とを照合する認証装置であって、動画像中において前記被認証者の顔画像を検出する顔画像検出手段と、前記顔画像検出手段によって最初に前記被認証者の顔画像が検出されたときの当該顔画像の位置が、動画像の画像枠周辺領域内であるかどうかを判定する位置判定手段と、最初に前記被認証者の顔画像が検出されたときの当該顔画像の位置が、動画像の画像枠周辺領域内でないと判定された場合に、前記被認証者は本人ではないと判定する本人判定手段とを備えることを特徴としている。

本発明に係る認証方法は、上記の課題を解決するために、被認証者の顔画像である認証画像と、予め登録されている顔画像である登録画像とを照合する認証方法であって、
撮影動画像中において前記被認証者の顔画像を検出する顔画像検出工程と、前記顔画像検出工程において最初に前記被認証者の顔画像が検出されたときの当該顔画像の位置が、撮影動画像の画像枠周辺領域内であるかどうかを判定する位置判定工程と、最初に前記被認証者の顔画像が検出されたときの当該顔画像の位置が、撮影動画像の画像枠周辺領域内でないと判定された場合に、前記被認証者は本人ではないと判定する本人判定工程とを含むことを特徴としている。

上記の構成において、動画像の画像枠周辺領域とは、動画像の周縁から画像内部にわたる所定幅の領域などをいう。ここで、動画像の周縁とは動画像の形状が長方形であればその四辺をいうが、必ずしも全ての周縁でなくともよく、例えば長方形の一辺を除く残り三辺であってもよい。少なくとも動画像の画像枠周辺領域とは、画像中央領域を含まない概念である。

また、上記の構成において、本人判定手段とは、異常判定（なりすまし判定）によって撮影対象が本人の顔であるか写真などの疑似物であるかを判定するための手段であって、認証画像と登録画像との照合手段とは別概念である。

上記の構成によれば、最初に被認証者の顔画像が検出され、当該検出位置が動画像の画像枠周辺領域内であるかどうかが判定される。そして、判定の結果、最初に被認証者の顔画像が検出されたときの当該顔画像の位置が動画像の画像枠周辺領域内でなければ、当該顔画像の被認証者は、なりすまし行為によるものであるとみなし、本人ではないと判定される。これら判定処理は比較的小さな負担の演算処理によって実現される。

一般に、撮影画像を動画像として取得する場合、被認証者は撮影範囲外から撮影範囲内に登場することになる。したがって、被認証者の顔画像は、最初は撮影画像の画像枠周辺領域に現れ、次第に撮影画像の中央領域に移動することになる。これに対して、不正な被認証者がなりすましを試みる場合には、本人（正規に登録されている者）の写真を撮影手段の前にかざすなどするので、撮影画像内における本人の顔画像は、撮影画像の画像枠周辺領域ではなく中央領域に顔画像が突然出現することがある。

それゆえ、本発明によれば、撮影画像と登録画像との照合に先立って、顔検出が行われた時点での顔画像の位置情報により、その顔画像が異常であるかどうかということを判定することができるので、照合寸前にカメラ前に写真をかざすなどの成りすまし行為を検知し、顔照合処理における他人への成りすましを防止することができる。

また、本発明によれば、顔検出が行われた時点での顔画像の位置情報により、その顔が異常であるかどうかということを判定することができるので、ユーザに特定の動作を強制することなしに、顔画像の信頼性を向上することができる。

また、上記認証装置は、上記の構成において、さらに、前記顔画像検出手段によって検出された顔画像のサイズを検出するサイズ検出手段を備え、前記本人判定手段は、前記サイズ検出手段によって検出された顔画像のサイズが規定範囲外である場合に、前記被認証者は本人ではないと判定することが好ましい。

上記の構成によれば、サイズ検出手段によって検出された顔画像のサイズが所定の範囲外のサイズであれば、写真等を用いたなりすましのおそれがあるものとして、被認証者は本人ではないと判定される。すなわち、撮影画像における顔画像のサイズ情報に基づいて、撮影画像と登録画像との照合に先立ち、成りすましなどの異常ないし不正状態を回避することが可能となる。

また、上記認証装置は、上記の構成において、さらに、前記顔画像検出手段によって検出された顔画像の方向を検出する方向検出手段を備え、前記本人判定手段は、前記方向検出手段によって検出された顔画像の方向が規定方向と異なる場合に、前記被認証者は本人ではないと判定することが好ましい。

上記の構成によれば、方向検出手段によって検出された顔画像の方向が規定方向（例えば、画像の上方から目、鼻、口の順番に配置される方向）と異なっていれば、写真等を用いたなりすましのおそれがあるものとして、被認証者は本人ではないと判定される。すなわち、撮影画像における顔画像の方向情報に基づいて、撮影画像と登録画像との照合に先立ち、成りすましなどの異常ないし不正状態を回避することが可能となる。

ただし、顔画像の方向が規定方向と完全に一致しない場合であっても、顔画像の方向の規定方向からのずれ量が現実的な許容範囲内であれば両者は一致しているとして取り扱うことが好ましい。

また、上記認証装置は、上記の構成において、さらに、前記顔画像検出手段によって検出された顔画像の位置変化を経時的に追跡する追跡手段を備え、前記本人判定手段は、前記追跡手段によって追跡された顔画像の位置変化が不連続的であった場合に、前記被認証者は本人ではないと判定することが好ましい。

上記の構成によれば、追跡手段によって撮影された動画像中において顔画像の位置が経時的にどのように変化するかが連続的に検出される。通常、撮影された動画像中において被認証者およびその顔画像は画像の画像枠周辺領域から連続的に移動するはずである。これに対して、不正な被認証者がなりすましを試みる場合には、本人の写真を撮影手段の前にかざすなどするので、撮影画像内における本人の顔画像が動画像中に突然現れたり、突然消えたりする。したがって、不正な被認証者がなりすましを試みる場合には、追跡手段によって追跡された顔画像の位置変化が不連続的（断続的な状態を含む）となることがある。

それゆえ、本発明によれば、撮影画像と登録画像との照合に先立って、顔画像の位置変化が連続的であるか否かにより、その顔が異常であるかどうかということを判定することができるので、照合寸前にカメラ前に写真をかざすなどの成りすまし行為を検知し、顔照合処理における他人への成りすましを防止することができる。

また、本発明によれば、動画像中における顔画像の位置変化ないし移動情報により、その顔が異常かどうかということを判定することができるので、ユーザに特定の動作を強制することなしに、顔画像の信頼性を向上することができる。

また、上記認証装置は、上記の構成において、被認証者の顔画像である認証画像と予め登録されている顔画像である登録画像との照合が、前記撮影動画像の中央領域において行われることが好ましい。

上記の構成によれば、必然的に、顔画像である認証画像が画像中央領域に移動して当該認証画像と登録画像との照合が行われる前に、前述の異常判定（本人でない）が可能となるので、この判定結果を踏まえた処理が可能となる。例えば、異常と判定された認証画像については、その後の照合処理を省略したり、より厳しい判定基準にて照合処理を実行したりすることが可能となる。

また、上記認証装置は、上記の構成において、前記本人判定手段によって前記被認証者は本人ではないと判定された場合に、前記被認証者の顔画像である認証画像と、予め登録されている顔画像である登録画像とを照合しないことが好ましい。

上記の構成によれば、本人判定手段によって被認証者は本人ではない（異常）と判定された場合には、その後の照合処理をしないので、照合処理による誤認証（写真などの疑似物を実物の本人であると誤認証する可能性）を回避することができるとともに、照合処理を省略して被認証者が本人ではないと判断するために必要な処理負担を小さくすることが可能となる。

また、上記認証装置を動作させるプログラムであって、コンピュータを上記各手段として機能させるための認証プログラムおよび当該認証プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

本発明によれば、撮影された動画像に含まれる情報を有効活用し、なりすましによる誤認証の可能性を低減したより高精度の本人認証を実現できる。また、本発明によれば、ユーザに特定の動作を強制することなしに顔画像の信頼性を向上することができるとともに、より小さな処理負担で高精度の本認証を実現することが可能となる。

本発明の実施の一形態について図１〜図９に基づいて説明すれば、以下のとおりである。なお、以下では、社屋や家屋などの壁面に備え付けられた認証装置１を挙げて説明する。この認証装置１は、ユーザの認証を行い、認証が成功した場合に所定処理（開錠処理や決済処理など）を実行するものである。認証装置の認証動作は所定の認証プログラムに基づいて行われる。

（認証装置１の構成）
図１は、認証装置１の構成を示す概略図である。図１に示すように、認証装置１は、カメラ２、追跡処理部３、画像解析部４、判定処理部５、照合部６、データベース７、主制御部８、入力部９、表示部１０を備えている。また、認証装置１は、通信部、マイク、スピーカを備えているが、これらの構成は、図１では省略されている。

カメラ２は、被認証者であるユーザの顔画像（以下、単に「顔画像」と称する）を撮像するための撮像手段である。カメラ２は、例えば、ＣＣＤカメラであり、入力部９を介してユーザによって操作される。カメラ２によって取得された認証動画像は、画像解析部４へ出力される。

図２は、認証装置１の使用の様子を示す図である。図２に示すように、カメラ２は認証装置１に内蔵されており、被認証者２０の顔を撮像できる位置に設けられている。

図１に戻って、追跡処理部３は、カメラ２の撮影画像（認証画像）における顔画像の移動を検出することによって、顔画像の経時的な位置変化を追跡する機能ブロックである。この追跡処理部３は、撮影画像における顔画像の移動状況を継続的に判定処理部５に出力する。

画像解析部４は、公知の特徴量検出方法によって、カメラ２が撮影する動画像を解析し、動画像中の顔画像をほぼリアルタイムに検出する機能を備えている。また、画像解析部４は、公知の特徴量検出方法に基づいて、顔画像の位置、顔画像のサイズと顔画像の方向を検出する機能を備えている。画像解析部４のこれら検出結果は、判定処理部５へ出力される。画像解析部４の詳細については後述する。

追跡処理部３は、主制御部８などを介して画像解析部４の出力情報を受け取りながら、動画像中の顔画像の経時的な位置変化を把握し、その移動状況を把握する機能ブロックである。追跡処理部３は、画像解析部４によって検出された被認証者の顔画像が画像中でどのように移動変化するのかを連続的に検出し、その検出結果を判定処理部５に出力する。

判定処理部５は、画像解析部４から出力される検出情報および追跡処理部３から出力される追跡情報に基づき、撮影画像中にて検出された顔画像とデータベース７に予め登録されている顔画像との照合に先立って、撮影画像中にて検出された顔画像がなりすまし画像であるか否かを判定する機能ブロックである。この判定処理部５は判定結果を主制御部８へ出力する。

照合部６は、画像解析部４によって検出された顔画像とデータベース７に予め登録されている顔画像とを照合し、両画像がどれだけ類似しているかに基づいて、被認証者が本人であるかどうかを判定する。この照合部６における照合方法は、特に限定されない。例えば、特許文献２のように、画像の類似度を評価するために相関係数を算出し、当該相関係数が所定の閾値以内であるかどうかを判定することにより、被認証者が本人であるかどうかを判定してもよい。

データベース７には、ユーザ本人の顔画像が照合用の登録画像として予め登録されている。この登録画像は、カメラ２によって取得されたものであってもよいし、他のカメラによって取得されたものであってもよい。また、写真等からスキャナ読み取りされたものであってもよい。一般的にはカメラ２はユーザを正面方向から撮影するので、この事情にあわせてユーザの正面方向から撮影した画像をデータベース７の登録画像とするが、実際の認証時にカメラ２が正面方向と異なる方向からユーザを撮影するのであれば、その方向からユーザを撮影した顔画像を登録画像としておく。もちろん、カメラ２が複数の角度からユーザを撮影するのであれば、これら角度から撮影した複数の顔画像をデータベース７に登録しておく。

主制御部８は、照合部６から照合結果を受け取ると、当該照合結果を表示部１０に表示させる。

（画像解析部４の構成）
次に、画像解析部４の構成について図３を参照しつつ説明する。図３は、画像解析部４の構成を示す概略図である。図３に示すように、画像解析部４は、顔位置検出部４１、顔サイズ検出部４２、顔方向検出部４３を備えている。

顔位置検出部４１は、顔の構成部分の位置を検出することによって、撮影画像における顔画像の位置を検出する。これら構成部分の位置を検出する方法は特に限定されず、例えば、顔の輪郭、目、口、鼻などの特徴的構成に基づいて顔画像の位置を検出すればよい。顔位置検出部４１は、検出した顔画像の位置情報を抽出した構成部分の位置の情報を座標情報などの出力形式で顔サイズ検出部４２へ出力する。

顔サイズ検出部４２は、顔位置検出部４１によって抽出された位置情報をもとに、顔画像の位置を把握し、この周辺の顔の輪郭部分を特定したり、目、口、鼻などの特徴的構成間の距離を検出したりすることによって顔画像のサイズを検出する。顔サイズ検出部４２による顔画像のサイズの規定方法は任意であるが、例えば、顔の輪郭に対応する楕円の長径や円の直径を顔画像のサイズとして検出してもよい。顔サイズ検出部４２は、検出した顔画像のサイズ情報を、顔位置検出部４１からの出力と併せて顔方向検出部４３へ出力する。

顔方向検出部４３は、顔画像における目、口、鼻の相対位置指標がそれぞれ所定の範囲内のものであるかどうかを判定し、すべての相対位置指標が所定の範囲内であるかどうかによって顔画像の方向を判定する。顔方向検出部４３は、例えば、２箇所の目と１箇所の口とを頂点とするほぼ二等辺三角形を顔画像上で特定し、この二等辺三角形の方向に基づいて、撮影画像中における顔画像の方向、すなわち上下左右などを検出することができる。顔画像は通常、目を上方、口を下方とする方向に撮影されるはずなのでこの方向が規定の顔画像の方向となる。顔方向検出部４３は、顔画像の方向を検出すると、検出した顔画像の方向情報を、顔サイズ検出部４２からの出力と併せて判定処理部５へ出力する。

（判定処理部５における顔画像の異常判定）
次に、判定処理部５における、顔画像の異常判定方法について説明する。判定処理部５は、追跡処理部３および画像解析部４から受け取った情報の全てを考慮することにより撮影画像中にて検出された顔画像がなりすまし画像であるか否かを判定する。

この判定処理部５が、撮影画像中にて検出された顔画像が本人の顔画像ではない（なりすまし画像である）と判定する判定条件は、次の４つである。

〔判定条件１〕最初に被認証者の顔画像が検出されたときの当該顔画像の位置が、動画像の画像枠（フレーム）周辺領域内であるか？
一般に、撮影画像を動画像として取得する場合、被認証者は撮影範囲外から撮影範囲内に登場することになる。すなわち、被認証者の顔画像は、最初は撮影画像の画像枠周辺領域に現れ、次第に撮影画像の中央領域へ移動することになる。これに対して、不正な被認証者がなりすましを試みる場合には、本人の写真を撮影手段の前にかざすなどするので、撮影画像内における本人の顔画像は、撮影画像の画像枠周辺領域ではなく中央領域に顔画像が突然出現することがある。

したがって、判定処理部５は、顔画像の位置情報に基づく判定条件１の判定を行うことによって、その顔画像が異常（なりすまし画像）であるかどうかということを判定することができる。

〔判定条件２〕動画像の顔画像のサイズが規定範囲内であるか？
上記の判定条件２によれば、検出された顔画像のサイズが所定の範囲外のサイズ（例えば大きすぎる、小さすぎる）であれば、写真等を用いたなりすましのおそれがあるものとして、被認証者は本人ではないと判定される。

したがって、判定処理部５は、顔画像のサイズ情報に基づく判定条件２の判定を行うことによって、その顔画像が異常（なりすまし画像）であるかどうかということを判定することができる。

〔判定条件３〕動画像の顔画像の方向が規定方向であるか？
上記の判定条件３によれば、検出された顔画像の方向が規定方向（例えば、画像の上方から目、鼻、口の順番に配置される方向）と異なっていれば、写真等を用いたなりすましのおそれがあるものとして、被認証者は本人ではないと判定される。

したがって、判定処理部５は、顔画像の方向情報に基づく判定条件３の判定を行うことによって、その顔画像が異常（なりすまし画像）であるかどうかということを判定することができる。ただし、上記の判定条件３において、顔画像の方向が規定方向と完全に一致しない場合であっても、顔画像の方向の規定方向からのずれ量が現実的な許容範囲内であれば両者は一致しているとして取り扱うことが好ましい。

〔判定条件４〕動画像の顔画像の位置変化は連続的か？
通常、撮影された動画像中において被認証者およびその顔画像は画像の画像枠周辺領域から中央領域へと連続的に移動するはずである。これに対して、不正な被認証者がなりすましを試みる場合には、本人の写真を撮影手段の前にかざすなどするので、撮影画像内における本人の顔画像が動画像中に突然現れたり、突然消えたりする。それゆえ、不正な被認証者がなりすましを試みる場合には、追跡手段によって追跡された顔画像の位置変化が不連続的な状態（断続的な状態を含む）となることがある。

したがって、判定処理部５は、顔画像の追跡状態情報に基づく判定条件４の判定を行うことによって、その顔画像が異常（なりすまし画像）であるかどうかということを判定することができる。

上記の判定条件４によれば、顔画像の追跡状態情報に基づいて、その顔画像が異常（なりすまし画像）であるかどうかということを判定することができる。

以上のとおり、判定処理部５は、各判定条件１〜４の判定結果が「ＮＯ」であれば、その顔画像を異常（なりすまし画像）であると判定する。ここで、判定処理部５は、判定条件１〜４のすべてを組み合わせることによって顔画像を判定してもよいし、判定条件１〜４の一部のみを組み合わせて、またはいずれかの判定条件のみに基づいて、顔画像を判定してもよい。また、複数の判定条件を組み合わせる場合であっても、各判定条件を適用する順番は任意に設計することができる。

（認証装置１における処理の流れ）
次に、認証装置１における処理の流れについて、図４を参照しつつ説明する。図４は、認証装置１における処理の流れを示すフローチャートである。図４は、判定処理部５は、前記判定条件１〜４のすべてを重畳的に組み合わせる場合のフローを例示したものである。

図４に示すように、まず、ユーザによって認証画像を取得するための操作が入力部９を介して行われると、カメラ２によってユーザの顔が撮像される（Ｓ１１）。

カメラ２によって取得される撮影動画像は画像解析部４に送られると、画像解析部４では、被認証者の顔画像が検出され、さらに顔位置検出部４１・顔サイズ検出部４２・顔方向検出部４３の各機能に基づいて当該顔画像の位置、サイズ、方向の情報が検出される（Ｓ１２〜Ｓ１４）。これら検出結果は、判定処理部５へ出力される。

なお、顔位置検出部４１は、最初に顔画像を検出したときの顔画像の位置を検出した後も連続的に当該顔画像の位置を検出し続け、その検出結果を主制御部８などを介して間接的に追跡処理部３へ提供する。追跡処理部３は、当該顔画像の位置変化を追跡している状況を示す追跡情報を判定処理部５に連続的に出力する。

画像解析部４および追跡処理部３からの情報を受け取ると、判定処理部５は、前記判定条件１に基づいてその顔画像を判定し（Ｓ１５）、その判定結果が「Ｙｅｓ」であれば次の判定ステップ（Ｓ１６）に進む。他方、判定処理部５は、Ｓ１５の判定結果が「Ｎｏ」であれば顔画像の検出結果に異常があるものとして、認証失敗情報を主制御部８へ出力し、表示部１０による顔認証失敗結果の報知処理（Ｓ２３）に進む。

図５は、判定条件１によって顔画像を判定するときの判定状況を示す模式図である。同図において、最外周の長方形は撮影画像の領域を示しており、網点領域は、撮影画像の画像枠周辺領域であると設定された領域である。図５では、画像枠四辺のうち、三辺のみに画像枠（フレーム）周辺領域が設定されている。また、撮影画像ほぼ中央の斜線領域は、顔照合処理（Ｓ１９）において照合処理の対象となる領域として設定された領域である。同図において、楕円は顔画像の配置を示しており、各楕円内の二等辺三角形は顔画像の方向（二等辺の頂点側が顔画像の上側方向となる）を示している。図５に示されるように、判定条件１によれば、最初に検出された顔画像の位置（少なくとも顔画像の一部）が事前に設定した顔検出領域（画像枠周辺領域）の内部であれば、顔画像は正常と判定される一方、最初に検出された顔画像の位置（顔画像の全部）が事前に設定した顔検出領域（画像枠周辺領域）の外部であれば、顔画像は異常と判定される。

次に、判定処理部５は、前記判定条件２に基づいてその顔画像を判定し（Ｓ１６）、その判定結果が「Ｙｅｓ」であれば次の判定ステップ（Ｓ１７）に進む。他方、判定処理部５は、Ｓ１６の判定結果が「Ｎｏ」であれば顔画像の検出結果に異常があるものとして、認証失敗情報を主制御部８へ出力し、表示部１０による顔認証失敗結果の報知処理（Ｓ２３）に進む。

図６は、判定条件２によって顔画像を判定するときの判定状況を示す模式図である。同図における網点領域、斜線領域、および各種図形の意義は図５と同じである。図６に示されるように、判定条件２によれば、顔画像のサイズが所定の範囲内であれば、顔画像は正常と判定される一方、顔画像のサイズが所定の範囲外であれば、顔画像は異常と判定される。図６では、顔画像のサイズが所定の範囲をこえて大きい場合に異常と判定される様子が示されている。

次に、判定処理部５は、前記判定条件３に基づいてその顔画像を判定し（Ｓ１７）、その判定結果が「Ｙｅｓ」であれば次の判定ステップ（Ｓ１８）に進む。他方、判定処理部５は、Ｓ１７の判定結果が「Ｎｏ」であれば顔画像の検出結果に異常があるものとして、認証失敗情報を主制御部８へ出力し、表示部１０による顔認証失敗結果の報知処理（Ｓ２３）に進む。

図７は、判定条件３によって顔画像を判定するときの判定状況を示す模式図である。
同図における網点領域、斜線領域、および各種図形の意義は図５と同じである。図７に示されるように、判定条件３によれば、顔画像の方向が規定方向と一致すると（ここでは、各顔画像における上方向が図中上方向と一致すると）顔画像は正常と判定される一方、顔画像の方向が規定方向と異なれば、顔画像は異常と判定される。図６では、各顔画像における上方向が、図中の右方向、下方向、左方向などを向いている場合に顔画像が異常と判定される様子が示されている。

次に、判定処理部５は、前記判定条件４に基づいてその顔画像を判定し（Ｓ１８）、その判定結果が「Ｙｅｓ」であれば次の顔照合ステップ（Ｓ１９）に進む。他方、判定処理部５は、Ｓ１８の判定結果が「Ｎｏ」であれば顔画像の検出結果に異常があるものとして、認証失敗情報を主制御部８へ出力し、表示部１０による顔認証失敗結果の報知処理（Ｓ２３）に進む。

図８は、Ｓ１８にて判定される判定条件４、すなわち動画像の顔画像の位置変化が連続的かどうかを判定するときの処理例を詳細に示すフローチャートである。これら処理は、追跡処理部３と判定処理部５との協働によって実現される。まず、追跡処理部３ないし判定処理部５は、現時点での顔位置を検出し（Ｓ３１）、前回検出した顔画像の位置と今回検出した顔画像の位置との変化量（差）を算出する（Ｓ３２）。そして、判定処理部５は、Ｓ３２にて算出した変化量が所定の閾値以下であれば顔画像の位置変化は連続的であると判定してＳ３４の処理に進む（Ｓ３３）。他方、判定処理部５は、Ｓ３２にて算出した変化量が所定の閾値より大きかったり、前回の顔位置が登録されていないために変化量が算出不能であれば（顔画像が前述の画像枠周辺領域の内部に最初に登場したときを除く）、顔画像の位置変化は連続的ではないので、顔画像の検出結果に異常があるものと判定して（Ｓ３３においてＮＯ）、認証失敗情報を主制御部８へ出力し、表示部１０による顔認証失敗結果の報知処理（Ｓ２３）に進む。

次に、判定処理部５は、顔画像の位置が登録情報との照合対象となる照合領域（図５の斜線領域）の内部にあるかどうかを判定し（Ｓ３４）、顔画像の位置が照合領域の内部にあれば（Ｓ３４にてＹＥＳ）顔照合の処理ステップ（Ｓ１９）に進む一方、顔画像の位置が照合領域の内部になければ（Ｓ３４にてＮＯ）追跡処理部３によって顔画像の追跡を継続すべき状態であるとしてＳ３１のステップに戻る。

図９は、判定条件４によって顔画像を判定するときの判定状況を示す模式図である。
同図における網点領域、斜線領域、および各種図形の意義は図５と同じである。図９では、追跡処理部３による追跡状態が照合領域の内部に達する前に途切れると（顔画像の位置変化が不連続的となると）追跡処理が打ち切られ顔画像が異常と判定される様子が示されている。他にも、判定処理部５は、顔画像の移動状態が断続的となったような場合に、顔画像の位置変化を不連続的であると判定し、顔画像を異常と判定する。

図４に戻って、Ｓ１５〜Ｓ１８の各処理における判定条件１〜判定条件４の判定結果に問題がなければ、主制御部８は照合部６へ照合命令を出力する。この照合命令を受け取ると、照合部６は、検出された顔画像（認証画像）と、データベース７に格納されている登録画像とを照合する（Ｓ１９）。

そして、認証画像と登録画像とが一致した場合、すなわち、被認証者が本人であると判断した場合（Ｓ２０にて、ＹＥＳ）、照合部６は、認証成功情報を主制御部８へ出力する。認証成功情報を受け取ると、主制御部８は、認証成功情報を表示部１０に表示するとともに、データベース７に登録された本人に許可すべき所定の処理（開錠処理や決済処理など）を実行する（Ｓ２１）。このとき、外部の装置と認証装置１との間で種々の通信が行われてもよい。

他方、認証画像と登録画像とが一致しない場合、すなわち、被認証者が本人でないと判断した場合（Ｓ２０にて、ＮＯ）、認証失敗情報を主制御部８へ出力し、表示部１０による顔認証失敗結果の報知処理（Ｓ２２）に進む。

なお、本発明は上述した構成に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

例えば、上述した構成では、照合部６およびデータベース７は、認証装置１に内蔵されることを前提として説明したが、照合部６およびデータベース７を外部の装置に設け、認証装置１と当該外部装置とが通信を行うことで、照合処理を実現する構成を採用してもよい。

また、上述の構成では、顔の構成部分として、顔の輪郭、目、口、鼻を挙げたが、顔画像の検出ないし判定に用いられる構成部分の数や種類は上述のものに限定されない。例えば、目、口、鼻以外の構成部分、例えば眉毛を用いて顔の向きを判定してもよい。

また、上述の構成では、判定条件１〜判定条件４を用いたなりすまし判定の後に、照合部６による照合処理を行っているが、これら処理を並行して行ってもかまわない。しかし、先になりすまし判定を行う方が、被認証者が本人ではない場合の処理量を低減することができるため、処理量低減という観点から、より好ましい。

また、上記の説明では、本発明の認証装置の一例として認証装置１を挙げたが、上記認証装置は、カメラを備えた端末装置であればよく、カメラを備えた、携帯電話機やＰＡＤ（Personal Digital Assistance）やパーソナルコンピュータであってもよい。

また、認証装置１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、認証装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit ）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。

そして、本発明の目的は、上述した機能を実現するソフトウェアである、認証装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、認証装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、認証装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。

また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。

本人なりすましによる誤認証が起こる可能性を低減できるため、本人確認のための認証を行う装置に適用できる。

本発明の一実施形態の認証装置の構成を示す概略図である。 上記認証装置の使用の様子を示す図である。 画像解析部の構成を示す概略図である。 上記認証装置における処理の流れについてフローを例示するフローチャートである。 判定条件１によって顔画像を判定するときの判定状況を示す模式図である。 判定条件２によって顔画像を判定するときの判定状況を示す模式図である。 判定条件３によって顔画像を判定するときの判定状況を示す模式図である。 判定条件４によって顔画像を判定するときの処理の流れをより詳細に示すフローチャートである。 判定条件４によって顔画像を判定するときの判定状況を示す模式図である。

符号の説明

１ 認証装置
２ カメラ
３ 追跡処理部（追跡手段）
４ 画像解析部（顔画像検出手段）
５ 判定処理部（本人判定手段）
８ 主制御部（本人判定手段）
２０ 被認証者
４１ 顔位置検出部（位置検出手段）
４２ 顔サイズ検出部（サイズ検出手段）
４３ 顔方向検出部（方向検出手段）

Claims (8)

1. 被認証者の顔画像である認証画像と、予め登録されている顔画像である登録画像とを照合する照合手段を有する認証装置であって、
   撮影動画像中において前記被認証者の顔画像を検出する顔画像検出手段と、
   前記顔画像検出手段によって最初に前記被認証者の顔画像が検出された時の当該顔画像が前記撮影動画像の画像枠周辺領域内に有るか無いかを判定する第１の位置判定手段と、
   前記顔画像検出手段の検出結果に基づき、前記顔画像検出手段によって最初に前記被認証者の顔画像が検出された後の前記撮影動画像中の前記顔画像の位置を追跡する追跡手段と、
   前記追跡手段の追跡の結果に基づいて、前記撮影動画像中における前記画像枠周辺領域以外の領域であって前記撮影動画像の中央部を含む領域である照合領域に前記顔画像が位置しているか否かを判定する第２の位置判定手段と、
   最初に前記被認証者の顔画像が検出された時の当該顔画像が前記撮影動画像の画像枠周辺領域内に無いと前記第１の位置判定手段に判定された場合、前記被認証者は本人ではないと判定する本人判定手段とを備え、
   前記照合手段は、最初に前記被認証者の顔画像が検出された時の当該顔画像が前記撮影動画像の画像枠周辺領域内に有ると前記第１の位置判定手段に判定され、且つ、前記照合領域に前記顔画像が位置していると前記第２の位置判定手段に判定された場合、前記照合領域に位置している前記顔画像を前記認証画像として前記照合を行うことを特徴とする認証装置。
2. さらに、前記顔画像検出手段によって検出された顔画像のサイズを検出するサイズ検出手段を備え、
   前記本人判定手段は、前記サイズ検出手段によって検出された顔画像のサイズが規定範囲外である場合に、前記被認証者は本人ではないと判定することを特徴とする請求項１に記載の認証装置。
3. さらに、前記顔画像検出手段によって検出された顔画像の方向を検出する方向検出手段を備え、
   前記本人判定手段は、前記方向検出手段によって検出された顔画像の方向が規定方向と異なる場合に、前記被認証者は本人ではないと判定することを特徴とする請求項１または２に記載の認証装置。
4. 前記本人判定手段は、前記追跡手段によって追跡された顔画像の位置変化が不連続的であった場合に、前記被認証者は本人ではないと判定することを特徴とする請求項１から３のいずれか１項に記載の認証装置。
5. 前記本人判定手段によって前記被認証者は本人ではないと判定された場合に、前記照合手段は前記照合を行わないことを特徴とする請求項１から４のいずれか１項に記載の認証装置。
6. 被認証者の顔画像である認証画像と、予め登録されている顔画像である登録画像とを照合する照合工程を含む認証方法であって、
   撮影動画像中において前記被認証者の顔画像を検出する顔画像検出工程と、
   前記顔画像検出工程によって最初に前記被認証者の顔画像が検出された時の当該顔画像が前記撮影動画像の画像枠周辺領域内に有るか無いかを判定する第１の位置判定工程と、
   前記顔画像検出工程の検出結果に基づき、前記顔画像検出工程にて最初に前記被認証者の顔画像が検出された後の前記撮影動画像中の前記顔画像の位置を追跡する追跡工程と、
   前記追跡工程の追跡の結果に基づいて、前記撮影動画像中における前記画像枠周辺領域以外の領域であって前記撮影動画像の中央部を含む領域である照合領域に前記顔画像が位置しているか否かを判定する第２の位置判定工程と、
   最初に前記被認証者の顔画像が検出された時の当該顔画像が前記撮影動画像の画像枠周辺領域内に無いと前記第１の位置判定工程にて判定された場合、前記被認証者は本人ではないと判定する本人判定工程とを含み、
   最初に前記被認証者の顔画像が検出された時の当該顔画像が前記撮影動画像の画像枠周辺領域内に有ると前記第１の位置判定工程にて判定され、且つ、前記照合領域に前記顔画像が位置していると前記第２の位置判定工程において判定された場合、前記照合領域に位置している前記顔画像を前記認証画像として前記照合工程を行うことを特徴とする認証方法。
7. 請求項１から５のいずれか１項に記載の認証装置を動作させるプログラムであって、コンピュータを上記各手段として機能させるための認証プログラム。
8. 請求項７に記載の認証プログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images