JP7251874B2 - 顔認証装置、顔認証方法、プログラム、および記録媒体 - Google Patents

Description

本発明は、顔認証装置、顔認証方法、プログラム、および記録媒体に関する。

様々な分野において、顔画像解析による本人認証（以下、顔認証という）が利用されている。前記顔認証は、予め、登録者の顔画像がマスター顔画像として記憶され、ライブで得られた対象者の顔画像をクエリー顔画像として、前記マスター顔画像と照合し、一致する場合に本人認証される。このような顔認証によれば、例えば、エントランスにおいて入室管理を行う警備員等の配置も不要となり、安全性の向上、人件費の削減等が可能となる。

しかし、一方では、無人であることから、例えば、登録者の顔写真をカメラにかざして顔認証のなりすまし行うというような問題も発生している。

そこで、本発明は、顔写真を用いたなりすましを簡便に防止できる新たな顔認証システムの提供を目的とする。

前記目的を達成するために、本発明の顔認証装置は、
記憶手段、画像取得手段、抽出手段、位置判定手段、および出力手段を含み、
前記記憶手段は、
人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報を記憶し、
前記画像取得手段は、
対象者の画像を取得し、
前記抽出手段は、
前記画像から、顔情報、および骨格情報を抽出し、
前記位置判定手段は、
前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定し、
前記出力手段は、
前記抽出手段により前記骨格情報が抽出されない場合、および、前記位置判定手段により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する、ことを特徴とする。

本発明の顔認証方法は、
画像取得工程、抽出工程、位置判定工程、および出力工程を含み、
前記画像取得工程は、
対象者の画像を取得し、
前記抽出工程は、
前記画像から、顔情報、および骨格情報を抽出し、
前記位置判定工程は、
前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、判定基準情報に基づいて、正常か異常かを判定し、
前記判定基準情報は、人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報であり、
前記出力工程は、
前記抽出工程により前記骨格情報が抽出されない場合、および、前記位置判定工程により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する、ことを特徴とする。

本発明のプログラムは、前記本発明の顔認証方法をコンピュータに実行させることを特徴とする。

本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録したことを特徴とする。

本発明によれば、骨格情報を利用することで、顔写真を用いたなりすましを簡便に防止できる。

図１は、実施形態１の顔認証装置の一例を示すブロック図である。 図２は、実施形態１の顔認証装置のハードウェア構成の一例を示すブロック図である。 図３は、実施形態１の顔認証方法の一例を示すフローチャートである。 図４は、対象者の状態を示す概略図である。 図５は、対象者の状態を示すその他の概略図である。 図６は、対象者の状態を示すその他の概略図である。

本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

［実施形態１］
本発明の顔認証装置および顔認証方法の一例について、図を用いて説明する。

図１は、本実施形態の顔認証装置の一例の構成を示すブロック図である。顔認証装置１０は、記憶手段１１、画像取得手段１２、抽出手段１３、位置判定手段１４、出力手段１５を含む。また、顔認証装置１０は、例えば、顔照合手段１６を含む。顔認証装置１０は、例えば、顔認証システムともいう。

顔認証装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ（Wireless Fidelity）等があげられる。顔認証装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ）でもよい。

図２に、図１の顔認証装置１０のハードウェア構成のブロック図を例示する。顔認証装置１０は、例えば、プロセッサの一例としてＣＰＵ（中央処理装置）１０１、メモリ１０２、バス１０３、入力装置１０４、ディスプレイ１０５、通信デバイス１０６、記憶装置１０７、カメラ１０９等を有する。

顔認証装置１０の各部は、例えば、それぞれのインターフェース（Ｉ／Ｆ）により、バス１０３を介して、相互に接続されている。前記Ｉ／Ｆは、例えば、外部機器とも接続できる。顔認証装置１０は、例えば、前記Ｉ／Ｆに接続された通信デバイス１０６により、通信回線網に接続でき、前記通信回線網を介して、前記外部機器と接続することもできる。

前記外部機器は、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット、携帯電話等の端末があげられる。また、前記外部機器は、例えば、対象者を撮像する撮像装置（例えば、カメラ）等でもよい。

ＣＰＵ１０１は、顔認証装置１０の全体の制御を担うプロセッサであり、ＣＰＵには限定されず、他のプロセッサでもよい。顔認証装置１０において、ＣＰＵ１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、ＣＰＵ１０１が、画像取得手段１２、抽出手段１３、位置判定手段１４、出力手段１５等として機能し、任意で、顔照合手段１６として機能する。

メモリ１０２は、例えば、メインメモリ（主記憶装置）を含み、前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する記憶装置１０７に記憶されている本発明のプログラム等の種々のプログラム１０８を、メモリ１０２が読み込み、ＣＰＵ１０１は、メモリ１０２からデータを受け取って、プログラム１０８を実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。

記憶装置１０７は、例えば、前記メインメモリに対して、いわゆる補助記憶装置ともいう。記憶装置１０７には、前述のように、本発明のプログラムを含むプログラム１０８および記憶手段１１が格納されている。記憶装置１０７は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０７は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）も例示できる。

顔認証装置１０は、例えば、さらに、入力装置１０４、ディスプレイ１０５、カメラ１０９を有する。入力装置１０４は、例えば、タッチパネル、キーボード、マウス、スキャナー等である。ディスプレイ１０５は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等があげられる。顔認証装置１０は、例えば、ディスプレイ１０５を有する場合、認証の結果を、出力手段１５によりディスプレイ１０５に出力し、ディスプレイ１０５で表示してもよい。また、顔認証装置１０は、例えば、出力手段１５により通信デバイス１０６を介して、前記外部機器等に出力してもよい。

顔認証装置１０において、記憶手段１１は、判定基準情報を含む。前記判定基準情報は、人の骨格における顔と顔以外の部位との位置関係に関する基準情報である。また、顔認証装置１０が顔照合手段１６を含む場合、記憶手段１１は、例えば、さらに、登録者の登録顔情報を含んでもよい。

前述のように、顔認証のなりすましでは、例えば、撮像対象である対象者が、登録者の顔写真そのもの、前記顔写真を表示したスマートフォンまたはタブレット等を、カメラにかざしたり、自分の顔の位置に持ってきたりして、登録者の顔写真を撮影させることで、認証を受けている。そこで、本発明者は、対象者自身が撮影された場合と、対象者が顔写真等をカメラにかざしたり、顔の位置に持ってきた状態で撮影された場合とでは、顔と顔以外の位置関係が異なるとの知見を得た。すなわち、人間の骨格および人の動きに基づけば、なりすましをしていない対象者の場合、例えば、歩いている状態では、首より上に頭部（すなわち顔）があり、腕は全体的に肩よりも下に下がっている。一方、対象者が、顔写真をカメラにかざしてなりすましをしている場合、例えば、顔写真の下方には身体はない。また、対象者が、顔写真を手にもって、それを顔の位置にもってきている場合、例えば、顔写真の下方には、対象者の身体は存在するが、対象者の腕は、顔写真を顔の位置に維持するため、歩いている状態からすると、不自然な位置に存在することになる。そして、この知見に基づいて、対象者を撮像した画像から、顔情報と骨格情報とを抽出し、その画像における顔情報の位置と前記骨格情報との位置関係が、人の正常な動きにおける位置関係であるか否かを判定することで、なりすましの可能性があるか否かを判断できるとして、本発明を見出すに至った。本発明において、正常・異常とは、あくまでも顔認証のなりすましにおける判断である。すなわち、「正常」とは、例えば、顔認証においてなりすましを行っていない人の「自然な体勢または動き」の状態を意味し、「異常」とは、例えば、顔認証においてなりすましを行っている人、またはなりすましを行っている可能性がある人の「不自然な体勢または動き」の状態を意味する。

通常の顔認証においては、通常、取得した対象者の画像から顔情報を抽出し、抽出した顔情報と、登録者の登録顔情報との照合を行うのみであるところ、本発明は、対象者の画像から顔情報の他に骨格情報を抽出し、前記画像における顔と顔以外の骨格との関係性から、認証不可としてなりすましを判定することが可能である。このため、本発明において、前記判定基準情報は、例えば、人の骨格における顔と顔以外の部位との位置関係について、なりすましではない正常な状態と判定しうる条件、またはなりすましの異常な状態と判定しうる条件であればよく、具体的な条件は、適宜設定可能である。前記判定基準情報が「正常な状態と判定しうる条件」である場合、これを満たさないと、異常な位置関係の画像であるとして認証不可となる。また、前記判定基準情報が「異常な状態と判定しうる条件」である場合、これを満たすと、異常な位置関係の画像であるとして認証不可となる。なお、本発明において、「認証不可」とは、例えば、後述する登録顔情報との照合不可の意味であってもよい。

本発明において、前記対象者の画像が前記異常な位置関係の画像と判定される場合、例えば、後述する顔照合手段による前記抽出した顔情報と登録顔情報との照合結果（同一人物であるとの判定または非同一人物であるとの判定）にかかわらず、前記画像の対象者は、認証不可となる。

前記顔と顔以外の部位との位置関係において、前記顔以外の部位は、特に制限されず、例えば、腕、手、首、上半身、指等である。

本発明の顔認証装置は、例えば、対象者の撮影画像が静止画像である顔認証にも使用できるが、対象者が動いている状態を撮影した動画を構成する構成画像の顔認証への使用が好ましい。後者は、いわゆる「ウォークスルー顔認証」とも呼ばれ、対象者は、動いている状態、具体的には、例えば、歩いている状態を撮影され、その画像を用いて顔認証が行われる。このため、前記顔と顔以外の部位との位置関係は、例えば、人が歩いている状態における正常と判定しうる位置関係に設定することが好ましい。前記動画は、経時的（連続的）に撮影された複数の構成画像を含む。本発明において、前記対象者の撮影画像が前記動画の場合、例えば、前記動画を構成する複数の構成画像のうち、少なくとも１つの構成画像を使用するのみでもよいし、連続または非連続の２つ以上の構成画像を使用してもよい。

顔認証装置１０は、対象者のなりすましによる画像について、前記画像における顔情報が登録顔情報と一致するか否かにかかわらず、前記骨格情報を利用した位置関係の判定に基づいて、認証不可と判定する。いわゆる顔認証装置は、通常、最終的に、顔認証を目的とするため、本実施形態の顔認証装置１０は、前述のように、さらに顔照合手段１６を有することが好ましく、記憶手段１１は、さらに、登録者の登録顔情報を記憶することが好ましい。前記登録顔情報は、例えば、登録者の顔画像、前記顔画像に関する特徴点の情報等があげられる。前記登録顔情報は、例えば、登録者情報として、登録者の識別情報と紐付けて記憶されている。前記識別情報は、例えば、登録者の氏名、識別番号、勤務先、所属、連絡先等である。

顔認証装置１０において、画像取得手段１２は、対象者の画像を取得する。顔認証装置１０は、例えば、それ自体がカメラ１０９を備え、対象者の撮影を行うことで、前記画像を取得してもよいし、前記外部機器のカメラによって撮影された対象者の画像を、入力装置１０４または通信デバイス１０６を介して取得してもよい。前記対象者の画像は、前述のように、例えば、静止画像でもよいし、経時的に撮像された前記動画の構成画像でもよい。

顔認証装置１０において、抽出手段１３は、前記対象者の画像から、顔情報、および骨格情報を抽出する。前記画像からの顔情報の抽出および前記画像からの骨格情報の抽出は、特に制限されず、例えば、既存の画像処理技術が利用できる。本発明においては、抽出方法自体がポイントではないため、本願の出願後における画像処理技術も利用でき、何ら制限されない。前記画像からの顔情報の抽出には、例えば、既存のプログラムとして、Openpose（Wellspring社）等が使用でき、前記画像からの骨格情報の抽出には、例えば、既存のプログラムとして、Vision Pose（登録商標）（株式会社ネクストシステム）等が使用できる。

顔認証装置１０において、位置判定手段１４は、前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定する。前記抽出した顔情報に基づく顔の位置、および、前記抽出した骨格情報に基づく骨格の位置は、例えば、前記判定基準情報に応じて適宜選択できる。すなわち、前記判定基準情報について、人の骨格における顔の位置が、例えば、頭部の骨格（頭部の輪郭）によって特定される場合、前記抽出した顔情報について、頭部の骨格を抽出し、前記頭部の骨格の位置を、前記抽出した顔情報における顔の位置とすればよい。また、前記判定基準情報について、人の骨格における顔以外の部位が、例えば、腕（例えば、肩から手先まで）である場合、前記抽出した骨格情報について、腕骨格を抽出し、前記腕骨格の位置を、前記抽出した骨格情報における骨格の位置とすればよい。前記抽出した顔情報から、前記画像における顔の位置および前記骨格の位置を決定する方法は、特に制限されず、例えば、顔の特徴点、および任意の骨格の部位（例えば、腕）の特徴点を抽出することで決定でき、一般的な画像解析の手法を利用できる。

顔認証装置１０において、顔照合手段１６は、前記抽出した顔情報と、前記登録顔情報とを照合し、同一人物か非同一人物かを判定する。顔照合手段１６は、例えば、位置判定手段１４において、認証不可と判定されなかった画像由来の顔情報のみに対して、照合を行ってもよいし、位置判定手段１４の判定にかかわらず、いずれの画像由来の顔情報に対しても、照合を行ってもよい。すなわち、本実施形態の顔認証装置１０は、例えば、前記判定基準情報に基づく位置判定、および、顔照合による認証か認証不可（非認証ともいう）かの判定について、いずれを先に行ってもよい。すなわち、位置判定を先に行う場合、例えば、まず、前記対象者の画像について、顔情報および骨格情報の抽出を行い、つぎに、いずれもが抽出された画像についてのみ、前記判定基準情報に基づき正常か異常かの判定を行う。そして、さらに、正常と判定された画像についてのみ、顔照合を行って、認証か非認証かの判定を行ってもよい。また、顔認証を先に行う場合、例えば、まず、前記対象者の画像について、顔情報および骨格情報の抽出を行い、つぎに、顔情報が抽出された画像について、顔照合を行って、認証か非認証かの仮の判定を行う。そして、認証と仮判定された画像についても、前記判定基準情報に基づき正常か異常かの判定を行い、異常の場合には、非認証との最終判定を行い、正常の場合には、認証との最終判定を行ってもよい。

顔認証手段１０において、出力手段１５は、抽出手段１３により前記骨格情報が抽出されない場合、および、位置判定手段１４により前記位置関係が前記判定基準情報を満たさないと判定された場合、前記画像の対象者について認証不可と出力する。また、出力手段１５は、顔照合手段１６により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する。

つぎに、本実施形態の顔認証方法について説明する。本実施形態の顔認証方法は、例えば、図１および図２に示す顔認証装置１０を用いて実施できるが、顔認証装置１０の使用には限定されない。

前記画像取得工程は、対象者の画像を取得する。前記工程は、例えば、顔認証装置１０の画像取得手段１２により実行できる。

前記抽出工程は、前記画像から、顔情報、および骨格情報を抽出する。前記工程は、例えば、顔認証装置１０の抽出手段１３により実行できる。

前記位置判定工程は、前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定する。前記工程は、例えば、顔認証装置１０の位置判定手段１４により実行でき、前記判定基準情報は、例えば、顔認証装置１０の記憶手段１１から呼び出すことができる。

前記顔照合工程は、前記抽出した顔情報と、登録者の登録顔情報とを照合する。前記工程は、顔認証装置１０の顔照合手段１６により実行できる。

前記出力工程は、前記抽出工程により前記骨格情報が抽出されない場合、および、前記位置判定工程により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する。また、前記出力工程は、前記位置判定工程により前記位置関係が正常と判定され、且つ、前記顔照合工程により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する。前記工程は、顔認証装置１０の出力手段１５により実行できる。

本実施形態の顔認証工程において、前記顔照合工程は、例えば、前記位置判定工程において、前記判定基準情報に基づいて正常と判定された画像についてのみ、それから抽出された前記顔画像と前記登録顔画像との顔照合を行ってもよいし、前記位置判定工程の判定にはかかわらず、前記画像から抽出された前記顔画像と前記登録顔画像との照合を行ってもよい。

本実施形態の顔認証方法について、図３のフローチャートを用いて、より具体的に説明する。前記フローチャートは、一例であって、本発明は、これには何ら制限されない。

まず、対象者の画像を取得する（Ｓ１０１）。そして、前記画像から、顔情報の抽出（Ｓ１０２）と、骨格情報の抽出（Ｓ１０５）を行う。前記画像から顔情報が抽出できなかった場合（Ｓ１０３、ＮＯ）、照合する顔情報が無いため、認証不可（顔照合不可ともいえる）と判定される（Ｓ１０４）。一方、前記画像から骨格情報が抽出できなかった場合（Ｓ１０６、ＮＯ）、なりすましの可能性があるとして、認証不可（顔照合不可ともいえる）と判定される（Ｓ１０７）。

前記画像から、前記顔情報が抽出でき（Ｓ１０３、ＹＥＳ）且つ前記骨格情報が抽出できた場合（Ｓ１０６、ＹＥＳ）、前記画像における、前記顔情報に基づく顔の位置と、前記骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて正常か異常を判定する（Ｓ１０８）。異常と判定された場合（ＮＯ）、なりすましの可能性があるとして、認証不可（顔照合不可ともいえる）と判定される（Ｓ１０９）。

そして、正常と判定された場合（ＹＥＳ）、対象者は正常な状態で撮影され、なりすましではないとして、前記抽出した顔情報と前記登録顔情報との照合を行う（Ｓ１１０）。前記顔情報と前記登録顔情報との照合から、対象者と登録者とが同一人物か否かを判定し（Ｓ１１１）、同一の場合（ＹＥＳ）、認証とし（Ｓ１１２）、非同一の場合（ＮＯ）、認証不可（顔照合不可ともいえる）とする（Ｓ１１３）。そして、各工程における認証および認証不可の判定結果を出力して（Ｓ１１４）、終了する（ＥＮＤ）。

このフローチャートでは、前記工程（Ｓ１０８）において、正常と判定された場合（ＹＥＳ）に、照合（Ｓ１１０）を行っているが、これには制限されない。すなわち、前記画像から、前記顔画像の抽出ができ（Ｓ１０３、ＹＥＳ）且つ前記骨格情報の抽出ができた（Ｓ１０６、ＹＥＳ）場合、前記工程（Ｓ１０８）とは別に、前記照合の工程（Ｓ１１０）を行ってもよい。この場合、前記工程（Ｓ１１１）において、同一人物と判定されても（ＹＥＳ）、別途行う前記工程（Ｓ１０８）により、異常と判定された場合（ＮＯ）、結果的に、認証不可となる（Ｓ１０９）。

［実施形態２］
本実施形態では、前記画像における骨格情報の有無の判定、および、前記判定基準情報に基づく正常か異常かの判定について、具体例をあげて、図を用いて説明する。以下に示す各図は、それぞれあくまでも例示であって、本発明は、これらの例示には制限されない。各図において、四角の枠が、画像から抽出される顔の領域であり、枝分かれの線が、画像から抽出される骨格である。

図４（Ａ）は、対象者２０が、登録者の顔画像が表示されたスマートフォン３０を、カメラ４０に向けた状態を示す概略図である。この状態の対象者２０を撮像した場合、例えば、以下のようにして、認証不可と判定できる。第１のパターンとして、取得した画像から、スマートフォン３０に表示された顔の顔情報と、スマートフォン３０を持っている対象者２０の骨格情報の両方が抽出できたと仮定する。しかしながら、前記画像において、スマートフォン３０に表示された顔の顔情報は、前記骨格情報に基づく対象者２０の腕の位置に存在することになる。顔と腕との位置関係において、人の腕に顔があることはあり得ないことから、骨格において人の顔は首の上であるとの判定基準情報、または、骨格において人の顔は腕と連結していないとの判定基準情報に基づけば、異常と判定され、顔照合不可、すなわち結果的に認証不可となる。

また、第２のパターンとして、取得した画像から、スマートフォン３０に表示された顔の顔情報が抽出でき、これを画像における顔の位置と仮定したとする。しかし、抽出した顔情報が、対象者２０の顔であるとすると、顔の下にあるべきはずの身体は存在せず、骨格情報は抽出されないため、異常と判定され、顔照合不可、すなわち結果的に認証不可となる。

さらに、第３のパターンとして、スマートフォン３０に表示された顔の顔情報と、スマートフォンを持っている対象者２０の顔の顔情報と、対象者２０の骨格情報とが抽出されたとする。通常、一つの身体に一つの顔があることから、顔情報の個数と骨格情報の個数との整合がとれていないとして、異常と判定され、顔照合不可、すなわち結果的に認証不可となる。一方、図４（Ｂ）に示すように、３名の対象者２０（２０Ａ、２０Ｂ、２０Ｃ）が撮像された場合、それぞれについて顔情報と骨格情報とが抽出され、また、それぞれの顔の位置と骨格の位置との位置関係は正常と判定される。このため、対象者２０Ａ、２０Ｂ、２０Ｃのそれぞれの顔情報について、ひきつづき、顔照合を行うことができる。

これらの形態において、例えば、顔照合により同一人物と判定されても、その判定にかかわらず、前記判定基準情報に基づいて異常と判定されれば、結果的に認証不可となるため、なりすましに対する認証のリスクを低減できる。

図４（Ｃ）は、対象者２０が、自分の顔の位置で、登録者の顔画像が表示されたスマートフォン３０を持った状態を示す概略図である。この状態の対象者２０を撮像した場合、取得した画像から、顔情報と骨格情報の両方が抽出できる。しかしながら、前記画像において、前記抽出された顔情報に基づく顔の位置に対して、前記抽出された骨格情報に基づく腕の位置（特に肘から手先の位置）は、肩よりも高い位置となっている。通常、人が歩行している状態の概略を、図４（Ｄ）に示す。図４（Ｄ）に示すように、人が歩行していている正常な状態において、腕は、肩より下（図中において点線より下）に位置する。したがって、例えば、歩行時における腕の高さの基準（閾値）を肩の高さに設定した場合、図４（Ｃ）においては、腕の位置が、肩より上の高さ（図において点線より上）にある、つまり、基準値の高さを超えるため、異常であると判定して、認証不可となる。この場合、顔照合において、同一人物と判定されても、その判定にかかわらず、異常と判定され認証不可となるため、なりすましに対する認証のリスクを低減できる。

一方、図４（Ｄ）の場合は、前記画像において、腕の位置が、肩より下の高さ（図において点線より下）にある、つまり、前記基準値の高さを超えないため、正常と判定される。このため、対象者２０の顔情報について、ひきつづき、顔照合を行うことができる。

図５は、対象者が、スマートフォン３０に表示された登録者の顔画像を、カメラ４０にアップで近づけた状態を示す概略図である。この状態の対象者を撮像した場合、前記画像には顔のみが含まれるため、顔情報は抽出できるが、骨格情報は抽出できない。このため、なりすましの可能性があるとして、認証不可となる。この場合、顔照合において、同一人物と判定されても、その判定にかかわらず、認証不可となるため、なりすましに対する認証のリスクを低減できる。

前記対象者の画像は、前述のように、前記動画を構成する構成画像でもよく、経時的（連続的）に撮影された複数の構成画像のうち、任意で、２つ以上の構成画像について、前記抽出工程、前記位置判定工程等を行うことが好ましい。前記複数の時系列画像のうち、一つの画像について、前述のような判定を行った場合、なりすましであるにもかかわらず、前記判定基準情報を満たし且つ顔照合で同一人物と判定される場合が考えられる。例えば、撮影の一瞬のみ、対象者が不自然ではない体勢で、自らの顔に、登録者の顔画像を位置させた場合である。しかしながら、このような場合でも、複数の構成画像について、同様の抽出、判定等を行えば、対象者がなりすましのために、登録者の顔画像を自らの顔に、不自然な体勢で位置させている状態の画像が含まれることを、より精度良く判定できる。また、反対に、前記複数の時系列画像のうち、一つの画像について、前述のような判定を行った場合、実際には対象者は正常な動きをしているにもかかわらず、異常であるとの判定により認証不可となる場合が考えられる。しかしながら、このような場合でも、複数の時系列画像について、同様の抽出、判定等を行えば、対象者は正常な動きをしており、なりすましではなく正常であると、より精度よく判定できる。したがって、より精度よくなりすましの画像を排除するには、前記時系列画像を使用することが好ましい。

以下に、複数の構成画像を使用する具体例について、図を用いて説明する。なお、図６は、あくまでも例示であって、本発明は、これらの例示には制限されない。

図６において、（Ａ）と（Ｂ）は、動画を構成する構成画像であり、矢印は時間軸を示す。つまり、図６（Ａ）は、時間Ｔｎの構成画像（Ａ）であり、図６（Ｂ）は、時間Ｔｎ＋ｍの構成画像（Ｂ）である。図６（Ａ）に示すように、構成画像（Ａ）から顔情報と骨格情報とを抽出した場合、２つの顔情報と１つの骨格情報とが抽出されるため、前述のパターンに基づくと、この構成画像（Ａ）は異常と判定され、認証不可となる。しかしながら、実際には、対象者２０Ａと対象者２０Ｂとが歩いているが、対象者２０Ｂは、顔のみが撮影され、身体までが写りこんでいない状態である。一方、構成画像（Ａ）の撮影から、時間Ｔｎ＋ｍ後の構成画像（Ｂ）では、対象者２０Ｂは、移動により身体も写りこんでいる。このため、構成画像（Ｂ）について、顔情報と骨格情報とを抽出した場合、２つの顔情報と２つの骨格情報とが抽出され、一方の顔情報と骨格情報、他方の顔情報と骨格情報において、顔の位置と骨格の位置との位置関係は、それぞれ正常である。したがって、この構成画像（Ｂ）は、正常と判定でき、対象者２０Ａと対象者２０Ｂのそれぞれについて、顔照合を行うことができる。

また、図６（Ａ）のように、構成画像（Ａ）から抽出された顔情報の数と骨格情報の数とが一致しない場合、例えば、抽出された顔情報における目間距離を利用して、構成画像（Ａ）が異常か否かを判定することもできる。すなわち、図６（Ａ）の場合、２つの顔情報と１つの骨格情報が抽出されているが、前述のように、実際には、なりすましではなく、対象者２０Ａと対象者２０Ｂとが撮像されている。一方、図４（Ａ）の場合、前述のように、２つの顔情報と１つの骨格情報が抽出されており、対象者２０のスマートフォン３０を用いたなりすましである。ここで、図４（Ａ）のように、スマートフォン３０をカメラ４０にかざした場合、骨格情報が抽出されないだけでなく、スマートフォン３０に表示された顔の目間距離は、構成画像（Ａ）において相対的に小さくなる。他方、図６（Ａ）のように、スマートフォン３０に表示された顔ではなく、対象者２０Ｂが撮影されている場合、顔の目間距離は、構成画像（Ａ）において相対的に大きくなる。したがって、前記構成画像における目間距離の基準値（閾値）を設けておき、前記骨格情報が抽出されず、且つ、抽出された顔情報の目間距離が前記閾値より小さい場合は、さらに、他の構成画像について抽出等を行うことなく、図４（Ａ）のような形態であるとして、異常と判定できる。一方、前記骨格情報が抽出されず、且つ、抽出された顔情報の目間距離が前記閾値以上の場合は、前述のように、前後の構成画像について骨格情報の抽出等を行い、異常か正常かを判定してもよい。

［実施形態３］
本実施形態のプログラムは、前記各実施形態の顔認証方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１９年１月２３日に出願された日本出願特願２０１９－９７２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

＜付記＞
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
記憶手段、画像取得手段、抽出手段、位置判定手段、および出力手段を含み、
前記記憶手段は、
人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報を記憶し、
前記画像取得手段は、
対象者の画像を取得し、
前記抽出手段は、
前記画像から、顔情報、および骨格情報を抽出し、
前記位置判定手段は、
前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、正常か異常かを判定し、
前記出力手段は、
前記抽出手段により前記骨格情報が抽出されない場合、および、前記位置判定手段により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する
ことを特徴とする顔認証装置。
（付記２）
さらに、顔照合手段を含み、
前記記憶手段は、
さらに、登録者の登録顔情報を記憶し、
前記顔照合手段は、
前記抽出した顔情報と、前記登録顔情報とを照合し、
前記出力手段は、
前記顔照合手段により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する、
付記１に記載の顔認証装置。
（付記３）
前記判定基準情報が、顔と腕との位置関係に関する情報である、付記１または２に記載の顔認証装置。
（付記４）
前記対象者の画像が、経時的に撮像された複数の時系列画像である、付記１から３のいずれかに記載の顔認証装置。
（付記５）
前記出力手段は、
所定時間内に撮像された前記複数の時系列画像について、前記抽出手段により前記骨格情報が抽出されない画像が含まれる場合、および、前記位置判定手段により前記位置関係が前記判定基準情報を満たさないと判定された画像が含まれる場合、前記画像の対象者について認証不可と出力する、付記４に記載の顔認証装置。
（付記６）
画像取得工程、抽出工程、位置判定工程、および出力工程を含み、
前記画像取得工程は、
対象者の画像を取得し、
前記抽出工程は、
前記画像から、顔情報、および骨格情報を抽出し、
前記位置判定工程は、
前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、判定基準情報に基づいて、正常か異常かを判定し、
前記判定基準情報は、人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報であり、
前記出力工程は、
前記抽出工程により前記骨格情報が抽出されない場合、および、前記位置判定工程により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する
ことを特徴とする顔認証方法。
（付記７）
さらに、顔照合工程を含み、
前記顔照合工程は、
前記抽出した顔情報と、登録者の登録顔情報とを照合し、
前記出力工程は、
前記顔照合工程により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する、
付記６に記載の顔認証方法。
（付記８）
前記判定基準情報が、顔と腕との位置関係に関する情報である、付記６または７に記載の顔認証方法。
（付記９）
前記対象者の画像が、経時的に撮像された複数の時系列画像である、付記６から８のいずれかに記載の顔認証方法。
（付記１０）
前記出力工程は、
所定時間内に撮像された前記複数の時系列画像について、前記抽出工程により前記骨格情報が抽出されない画像が含まれる場合、および、前記位置判定工程により前記位置関係が前記判定基準情報を満たさないと判定された画像が含まれる場合、前記画像の対象者について認証不可と出力する、付記９に記載の顔認証方法。
（付記１１）
付記６から１０のいずれかに記載の顔認証方法をコンピュータに実行させることを特徴とするプログラム。
（付記１２）
付記１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

本発明によれば、骨格情報を利用することで、顔写真を用いたなりすましを簡便に防止できる。

１０ 顔認証装置
１１ 記憶手段
１２ 画像取得手段
１３ 抽出手段
１４ 位置判定手段
１５ 出力手段
１６ 顔照合手段

Claims (10)

1. 記憶手段、画像取得手段、抽出手段、位置判定手段、および出力手段を含み、
   前記記憶手段は、
   人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報を記憶し、
   前記判断基準情報は、歩行時における腕の高さの基準の情報を含み、
   前記画像取得手段は、
   対象者の画像を取得し、
   前記抽出手段は、
   前記画像から、顔情報、および骨格情報を抽出し、
   前記位置判定手段は、
   前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、前記判定基準情報に基づいて、顔認証のなりすましにおける判断において正常か異常かを、人の正常な動きにおける位置関係であるか否かで判定し、
   前記出力手段は、
   前記抽出手段により前記骨格情報が抽出されない場合、および、前記位置判定手段により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する、
   ことを特徴とする顔認証装置。
2. さらに、顔照合手段を含み、
   前記記憶手段は、
   さらに、登録者の登録顔情報を記憶し、
   前記顔照合手段は、
   前記抽出した顔情報と、前記登録顔情報とを照合し、
   前記出力手段は、
   前記顔照合手段により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する、
   請求項１に記載の顔認証装置。
3. 前記判定基準情報が、顔と腕との位置関係に関する情報である、請求項１または２に記載の顔認証装置。
4. 前記対象者の画像が、経時的に撮像された複数の時系列画像である、請求項１から３のいずれか一項に記載の顔認証装置。
5. 前記出力手段は、
   所定時間内に撮像された前記複数の時系列画像について、前記抽出手段により前記骨格情報が抽出されない画像が含まれる場合、および、前記位置判定手段により前記位置関係が前記判定基準情報を満たさないと判定された画像が含まれる場合、前記画像の対象者について認証不可と出力する、請求項４に記載の顔認証装置。
6. 画像取得工程、抽出工程、位置判定工程、および出力工程を含み、
   前記画像取得工程は、
   対象者の画像を取得し、
   前記抽出工程は、
   前記画像から、顔情報、および骨格情報を抽出し、
   前記位置判定工程は、
   前記画像における、前記抽出した顔情報に基づく顔の位置と前記抽出した骨格情報に基づく骨格の位置との位置関係について、判定基準情報に基づいて、正常か異常かを判定し、
   前記判定基準情報は、人の骨格における顔と顔以外の部位との位置関係に関する判定基準情報であり、
   前記判断基準情報は、歩行時における腕の高さの基準の情報を含み、
   前記出力工程は、
   前記抽出工程により前記骨格情報が抽出されない場合、および、前記位置判定工程により前記位置関係が異常と判定された場合、前記画像の対象者について認証不可と出力する、
   前記各工程が、コンピュータにより実行されることを特徴とする顔認証方法。
7. さらに、顔照合工程を含み、
   前記顔照合工程は、
   前記抽出した顔情報と、登録者の登録顔情報とを照合し、
   前記出力工程は、
   前記顔照合工程により前記抽出した顔情報と前記登録顔情報とが同一人物と判定された場合、前記画像の対象者について認証と出力し、前記抽出した顔情報と前記登録顔情報とが非同一人物と判定された場合、前記画像の対象者について認証不可と出力する、
   請求項６に記載の顔認証方法。
8. 前記判定基準情報が、顔と腕との位置関係に関する情報である、請求項６または７に記載の顔認証方法。
9. 前記対象者の画像が、経時的に撮像された複数の時系列画像である、請求項６から８のいずれか一項に記載の顔認証方法。
10. 請求項６から９のいずれか一項に記載の顔認証方法の各工程をコンピュータに実行させることを特徴とするプログラム。

Images