JP6629513B2 - ライブネス検査方法と装置、及び映像処理方法と装置 - Google Patents

Description

本発明に係る以下の実施形態は、ライブネス検査方法と装置、及び映像処理方法と装置に関する。

生体認識技術は、ユーザ個々人に固有な生体特性を用いて人を判別することができる。その中でも顔認識システムは、特定のセンサに接触することなく自然に顔に基づいてユーザを認識することができる。

しかし、顔認識システムは、登録された対象の顔写真を用いた偽装攻撃に脆弱であるという短所がある。

本実施形態は、入力映像に含まれたオブジェクト（例えば、顔）のイメージが平面的な特性又は３次元構造的な特性を有するか否かを判断することによって、当該オブジェクトのライブネス（ｌｉｖｅｎｅｓｓ）を検査する技術を提供する。

また、本実施形態は、照明の変化に堅牢な映像を生成することによって、顔認識及び／又はユーザ認証の信頼度を向上したり、顔認識及び／又はユーザ認証の演算の複雑度を低減させる技術を提供する。

一つの実施形態に係るライブネス検査方法は、受信された入力映像に含まれたオブジェクトのイメージが平面を示す平面的な特性又は３次元構造を示す３次元構造的な特性を有するか否かに基づいて、前記オブジェクトのライブネスを検査するステップを含む。ここで、前記入力映像は、単一映像であってもよい。前記入力映像に含まれたオブジェクトのイメージは、顔に該当してもよい。

前記ライブネス検査方法は、前記オブジェクトに対応する複数のピクセルに含まれた光エネルギーの分布に基づいて、前記オブジェクトのイメージが前記平面的な特性又は３次元構造的な特性を有するか否かを判断するステップをさらに含んでもよい。前記ライブネス検査方法は、前記オブジェクトに対応する複数のピクセルに含まれた光エネルギーが均一に分布した程度に基づいて、前記オブジェクトのイメージが前記平面的な特性又は３次元構造的な特性を有するか否かを判断するステップをさらに含んでもよい。

前記ライブネス検査方法は、前記オブジェクトに対応する複数のピクセルの拡散速度に関する統計的情報に基づいて、前記オブジェクトのイメージが前記平面的な特性又は３次元構造的な特性を有するか否かを判断するステップをさらに含んでもよい。

前記ライブネス検査方法は、拡散方程式に基づいて前記複数のピクセル値を繰り返し更新するステップと、反復的な更新前後のピクセル値の差に基づいて、前記複数のピクセルの拡散速度を算出するステップをさらに含んでもよい。

前記拡散速度に関する統計的情報は、前記複数のピクセルのうち予め決定した第１閾値以上の拡散速度に対応するピクセルの数と、前記第１閾値以上の拡散速度に対応するピクセルの分布と、前記拡散速度の大きさに基づいて抽出された第１スケールの領域に含まれた雑音成分の量と、前記拡散速度の平均と、前記拡散速度の標準偏差と、前記拡散速度に基づいたフィルタ応答のうち少なくとも１つを含んでもよい。

前記ライブネス検査方法では、前記オブジェクトのライブネスを検査するステップは、前記オブジェクトが前記平面的な特性を有すると判断される場合、検査失敗に対応する信号を出力するステップと、前記オブジェクトが前記３次元構造的な特性を有すると判断される場合、検査成功に対応する信号を出力するステップのうち少なくとも１つを含んでもよい。

他の側面に係るライブネス検査方法は、フィルタリングされた映像を生成するためにオブジェクトのイメージを含む受信された映像をフィルタリングするステップと、前記受信された映像と前記フィルタリングされた映像に含まれたオブジェクトのイメージに対応するピクセル値の変化量を決定するステップと、前記変化量に基づいて前記オブジェクトのライブネスを検査するステップとを含んでもよい。

更なる一側面に係る映像処理方法は、照明成分及び非照明成分を含む第１映像を受信するステップと、前記照明成分に関する第２映像を生成するために、前記第１映像に含まれた複数のピクセルをフィルタリングするステップと、前記第１映像及び前記第２映像に基づいて前記非照明成分に関する第３映像を生成するステップとを含む。

更なる一側面に係るライブネス検査装置は、受信された入力映像に含まれたオブジェクトのイメージが平面を示す平面的な特性又は３次元構造を示す３次元構造的な特性を有するか否かに基づいて、前記オブジェクトのライブネスを検査する検査部を含む。

前記検査部は、拡散映像を生成するために前記受信された入力映像を拡散し、前記受信された入力映像内のピクセル値と前記拡散映像内のピクセル値との間の差に基づいて、前記オブジェクトのイメージに対応する複数のピクセルの拡散速度を算出し、前記算出された拡散速度に基づいて前記オブジェクトのイメージが前記平面的な特性又は３次元構造的な特性を有するか否かを判断してもよい。

更なる一側面に係る映像処理装置は、照明成分及び非照明成分を含む第１映像を受信する受信回路と、前記第１映像に含まれた複数のピクセルをフィルタリングすることによって、前記照明成分に関する第２映像を生成するフィルタリング回路と、前記第１映像及び前記第２映像に基づいて前記非照明成分に関する第３映像を生成する生成回路とを含む。

本発明によれば、入力映像に含まれたオブジェクト（例えば、顔）のイメージが平面的な特性又は３次元構造的な特性を有するか否かを判断することによって、当該オブジェクトのライブネスを検査するすることができる。

また、本発明によれば、照明の変化に堅牢な映像を生成することによって、顔認識及び／又はユーザ認証の信頼度を向上したり、顔認識及び／又はユーザ認証の演算の複雑度を低減させることができる。

一つの実施形態に係るライブネス検査を説明する図である。 一つの実施形態に係るライブネス検査を説明する図である。 一つの実施形態に係るライブネス検査の原理を説明する図である。 一つの実施形態に係るライブネス検査装置を示すブロック図である。 一つの実施形態に係る拡散動作を説明する図である。 一つの実施形態に係るＳＲマップを説明する図である。 他の実施形態に係るライブネス検査装置を示すブロック図である。 一つの実施形態に係る映像処理を説明する図である。 一つの実施形態に係る照明によって変化する入力映像を説明する図である。 一つの実施形態に係る映像処理装置を示すブロック図である。 一つの実施形態に係るライブネス検査方法を示した動作フローチャートである。 一つの実施形態に係る映像処理方法を示した動作フローチャートである。 他の実施形態に係る映像処理方法を示した動作フローチャートである。 一つの実施形態に係る電子システムを示すブロック図である。

以下、実施形態について添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。下記で説明する実施形態は、スマートフォン、スマートＴＶ、スマートホーム、スマートカー、監視システムなどの様々な分野に適用されてもよい。例えば、本実施形態は、スマートフォンなどのログインのために入力映像のライブネス（ｌｉｖｅｎｅｓｓ）を検査したり、ユーザを認証する技術に使用されてもよい。また、本実施形態は、公の場所又はセキュアな場所での出入り規制及び監視のために入力映像のライブネスを検査したり、ユーザを認証する技術に使用されてもよい。

一つの実施形態に係るライブネス検査
図１Ａ及び図１Ｂは、一つの実施形態に係るライブネス検査を説明する図である。ライブネス検査は、入力映像に含まれたオブジェクトが生きているか（ｌｉｖｅ）否かを検査する方式であって、例えば、ライブネス検査は、入力映像に含まれた顔が実際の顔などのライブオブジェクト（ｌｉｖｅ ｏｂｊｅｃｔ）であるか又は写真などフェイクオブジェクト（ｆａｋｅ ｏｂｊｅｃｔ）であるか否かを判断してもよい。ライブネス検査によって写真偽造又は写真変調などにより他人の顔認証を試みる事例などを効果的に防止することができる。

図１Ａ及び図１Ｂを参照すると、一つの実施形態に係るライブネス検査装置１１０は、ユーザ１２０の顔が含まれた入力映像を受信し、受信された入力映像に含まれた顔のライブネスを検査してもよい。ライブネス検査装置１１０は、モバイルフォン、スマートフォン、ＰＤＡ、タブレットコンピュータ、ラップトップコンピュータなどの同じモバイル機器であってもよい。または、ライブネス検査装置１１０は、パーソナルコンピュータなどのコンピュータ装置、テレビなどの電子製品、または、出入り口コントロールなどのためのセキュリティ装置であってもよい。ライブネス検査装置１１０は、ユーザ１２０の顔を撮影するイメージセンサ１１５から入力映像を受信してもよい。イメージセンサ１１５は、ライブネス検査装置１１０の一部であってもよい。

一例として、ユーザ１２０の実際の顔が撮影されることによって入力映像が生成されてもよい。この場合、ライブネス検査装置１１０は、入力映像に含まれた顔がライブオブジェクトであると判断する。ライブオブジェクトは、３次元構造を有する実際のオブジェクトであってもよい。ライブネス検査装置１１０は、入力映像に含まれた顔がライブオブジェクトであることを示す信号を出力してもよい。例えば、ライブネス検査装置１１０は、入力映像に含まれた顔が実際に３次元構造を有するライブオブジェクトに該当するか否かを検査し、入力映像に含まれた顔がライブオブジェクトに該当する検査結果に応じて検査成功に対応する信号を出力してもよい。

他の例として、ユーザ１２０の実際の顔ではないディスプレイ媒体１２５に表示された顔が撮影されることによって入力映像が生成されてもよい。ディスプレイ媒体１２５は、顔などのオブジェクトを表示する媒体であって、例えば、ユーザの顔が印刷された紙、ユーザの顔が表示される電子装置などを含んでもよい。一例として、ユーザ１２０は、ディスプレイ媒体１２５に表示される他人の顔をイメージセンサ１１５に向かうようにすることで、他人のアカウントでログインを試みることがある。図１Ｂにおいて、ディスプレイ媒体１２５に表示される顔が点線のように表示されている理由は、ディスプレイ媒体１２５に表示される顔がユーザ１２０の方向ではないイメージセンサ１１５の方向に向かっていることを示すためである。この場合、ライブネス検査装置１１０は、入力映像に含まれた顔がフェイクオブジェクトであると判断する。フェイクオブジェクトはオブジェクトの２次元表現である。

ライブネス検査装置１１０は、入力映像に含まれた顔がフェイクオブジェクトに該当することを示す信号を出力してもよい。例えば、ライブネス検査装置１１０は、入力映像に含まれた顔がオブジェクトの２次元表現のフェイクオブジェクトに該当するか否かを検査し、入力映像に含まれた顔がフェイクオブジェクトに該当する検査結果に応じて、検査失敗に対応する信号を出力してもよい。

ライブネス検査装置１１０は、入力映像から顔領域を検出してもよい。この場合、本実施形態は、入力映像から検出された顔領域に適用されてもよい。

図２は、一つの実施形態に係るライブネス検査の原理を説明する図である。一つの実施形態に係るライブネス検査装置は、入力映像に含まれたオブジェクトが平面（ｆｌａｔ ｓｕｒｆａｃｅ）的特性又は３次元構造（３−ｄｉｍｅｎｔｉｏｎａｌ ｓｔｒｕｃｔｕｒｅ）的特性を有するか否かに基づいて、オブジェクトのライブネスを検査してもよい。

図２を参照すると、ライブネス検査装置は、媒体２１０に表示された顔２１１とユーザの実際の顔２２０とを区別している。媒体２１０に表示された顔２１１は２次元平面である。媒体２１０に表示された顔２１１が撮影されることによって入力映像が生成される場合、入力映像に含まれたオブジェクトは平面的な特性を有してもよい。例えば、媒体２１０の表面は２次元平面であるため、媒体２１０に表示された顔２１１に入射される光２１５は、媒体２１０の表面から均一に反射する。そのため、入力映像のオブジェクトに光エネルギーが均一に分布する。若干の屈曲は有するものの、全般的には平面に近い曲面ディスプレイの表面も２次元平面に当該する。

一方、ユーザの実際の顔２２０は、３次元構造である。ユーザの実際の顔２２０が撮影されることによって入力映像が生成される場合、入力映像に含まれたオブジェクトは３次元構造の特性を有する。例えば、ユーザの実際の顔２２０は様々な屈曲を有する３次元構造であるため、ユーザの実際の顔２２０に入射される光２２５は、ユーザの実際の顔２２０の表面から不均一に反射する。そのため、入力映像のオブジェクトに光エネルギーが不均一に分布してもよい。

ライブネス検査装置は、入力映像のオブジェクトに含まれた光エネルギーの分布に基づいてオブジェクトのライブネスを検査してもよい。ライブネス検査装置は、入力映像のオブジェクトに含まれた光エネルギーの分布を分析することによって、入力映像のオブジェクトが平面的な特性又は３次元構造的な特性を有するか否かを判断してもよい。

一例として、媒体２１０に表示された顔２１１が撮影されることによって、入力映像が生成されてもよい。ライブネス検査装置は、入力映像の顔に含まれた光エネルギーの分布を分析することによって、入力映像の顔が平面的な特性を有すると判断してもよい。ライブネス検査装置は、入力映像の顔がフェイクオブジェクトであると判断して、検査失敗に対応する信号を出力してもよい。

他の例として、ユーザの実際の顔２２０が撮影されることによって入力映像が生成されてもよい。ライブネス検査装置は、入力映像の顔に含まれた光エネルギーの分布を分析することによって、入力映像の顔が３次元構造的な特性を有すると判断してもよい。ライブネス検査装置は、入力映像の顔がライブオブジェクトであると判断して、検査成功に対応する信号を出力してもよい。

ライブネス検査装置は、入力映像のオブジェクトに含まれた光エネルギーが均一に分布した程度に基づいてオブジェクトのライブネスを判断してもよい。一例として、媒体２１０に表示された顔２１１に入射される光は均一に反射するため、入力映像の顔に含まれる光エネルギーが均一に分布する。ライブネス検査装置は、入力映像の顔に含まれた光エネルギーが均一に分布した程度が予め決定した閾値の均一度以上である場合、入力映像の顔が平面的な特性を有すると判断してもよい。ライブネス検査装置は、入力映像の顔がフェイクオブジェクトであると判断し、検査失敗に対応する信号を出力してもよい。

他の例として、ユーザの実際の顔２２０に入射される光は不均一に反射するため、入力映像の顔に含まれる光エネルギーが不均一に分布してもよい。ライブネス検査装置は、入力映像の顔に含まれた光エネルギーが均一に分布した程度が予め決定した閾値の均一度未満である場合、入力映像の顔が３次元構造的な特性を有すると判断してもよい。ライブネス検査装置は、入力映像の顔がライブオブジェクトであると判断し、検査成功に対応する信号を出力してもよい。例えば、閾値の均一度は、顔領域に該当する映像の部分（例えば、一般的には顔領域に該当する部分をバウンドボックスに表示した領域）内のピクセル個数の５０％（又はそれ以上）に該当する値であってもよい。

ライブネス検査装置は、単一入力映像を用いてオブジェクトのライブネスを検査してもよい。ここで、単一入力映像は、単一写真、単一イメージ、または、単一フレームの静止画であってもよい。例えば、ライブネス検査装置は、単一入力映像に含まれたオブジェクトが平面的な特性又は３次元構造的な特性を有するか否かを判断することによって、オブジェクトのライブネスを検査してもよい。ライブネス検査装置は、単一入力映像のオブジェクトに含まれた光エネルギーが均一に分布した程度を算出することによって、オブジェクトのライブネスを検査することができる。

図３は、一つの実施形態に係るライブネス検査装置を示すブロック図である。図３を参照すると、一つの実施形態に係るライブネス検査装置３１０は、受信部３１１と検査部３１２を含む。受信部３１１は入力映像を受信する。受信部３１１は、イメージセンサから生成された入力映像を受信してもよい。受信部３１１は、イメージセンサと有線又は無線で接続したり、ネットワークを介して接続してもよい。受信部３１１は、メインメモリ、キャッシュメモリ、ハードディスクドライブ、固体ドライブ、フラッシュメモリデバイス、ネットワークドライブなどの格納装置から入力映像を受信してもよい。

検査部３１２は、入力映像に含まれたオブジェクトのライブネスを検査する。例えば、検査部３１２は、入力映像に含まれたオブジェクトが平面的な特性又は３次元構造的な特性を有するか否かを判断することによって、オブジェクトのライブネスを検査してもよい。一例として、入力映像に含まれたオブジェクトが少なくとも１つの３次元構造的な特性を有すると判断される場合、検査部３１２は検査成功であると判断し、入力映像に含まれたオブジェクトが少なくとも１つの平面的な特性を有すると判断される場合、検査部３１２は検査失敗と判断してもよい。

検査部３１２は、入力映像のオブジェクトに含まれた光エネルギーの分布を分析することによって、オブジェクトのライブネスを検査してもよい。例えば、検査部３１２は、入力映像のオブジェクトに含まれた光エネルギーが均一に分布した程度を算出することによって、オブジェクトのライブネスを検査してもよい。検査部３１２は、光エネルギーが均一に分布した情報を閾値と比較してもよい。もし、光エネルギーが均一に分布した情報が閾値以上であれば、入力映像に含まれたオブジェクトは２次元平面であると判断してもよい。一方、もし、光エネルギーが均一に分布した情報が閾値未満であれば、入力映像に含まれたオブジェクトは３次元構造であると判断してもよい。

実施形態に係る検査部３１２は、入力映像に含まれたオブジェクトに対応する複数のピクセルに含まれた光エネルギーの分布を分析するために、入力映像に含まれたオブジェクトに対応する複数のピクセルをフィルタリングしてもよい。例えば、検査部３１２は、拡散プロセスを用いて複数のピクセルをフィルタリングしてもよい。検査部３１２は、入力映像のオブジェクトに対応する複数のピクセルに含まれた光エネルギーの分布を分析するため、入力映像のオブジェクトに対応する複数のピクセルを拡散できる。拡散動作に関する詳細な事項は、図４を参照して後述する。

以下、拡散プロセスに関して具体的に説明するが、適切なフィルタリングプロセスが実施形態に適用されてもよい。例えば、イメージ内のピクセルをブラー（ｂｌｕｒｒｉｎｇ）及び／又はスムージング（ｓｍｏｏｔｈｉｎｇ）するフィルタリングプロセスを実施形態に適用してもよい。または、バイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ）が実施形態に適用されてもよい。バイラテラルフィルタは、映像処理分野の当該の技術者には広く知られた方法であるため、詳細な説明は省略する。また、エッジ領域は格納されながらも非エッジ領域はブラーされる様々なフィルタリングプロセスが実施形態に適用されてもよい。

図４は、一つの実施形態に係る拡散動作を説明する図である。一つの実施形態に係るライブネス検査装置は、入力映像のオブジェクトに対応する複数のピクセルを拡散させてもよい。ライブネス検査装置は、拡散方程式（ｄｉｆｆｕｓｉｏｎ ｅｑｕａｔｉｏｎ）を用いて複数のピクセル値を繰り返し更新してもよい。例えば、ライブネス検査装置は、数式（１）を用いて入力映像のオブジェクトに対応する複数のピクセルを拡散してもよい。

ここで、ｋは反復回数で、ｕ^ｋはｋ番目の反復後のピクセル値であり、ｕ^ｋ＋１はｋ＋１番目の反復後のピクセル値である。ｕ^０は入力映像のピクセル値であってもよい。∇は勾配演算子（ｇｒａｄｉｅｎｔ ｏｐｅｒａｔｏｒ）であり、ｄｉｖ（）は発散関数（ｄｉｖｅｒｇｅｎｃｅ ｆｕｎｃｔｉｏｎ）である。

ｄ（）は、拡散関数（ｄｉｆｆｕｓｉｖｉｔｙ ｆｕｎｃｔｉｏｎ）である。拡散関数は予め決定されてもよい。例えば、ライブネス検査装置は、拡散関数を数式（２）のように定義してもよい。

ここで、βは小さな正数（ｓｍａｌｌ ｐｏｓｉｔｉｖｅ ｎｕｍｂｅｒ）であってもよい。例えば、β＝１０^−６程度で極めて小さい値を用いてもよい。数式（２）のように定義される拡散関数を使用する場合、拡散動作中にオブジェクトの境界が円滑に格納される。数式（２）のように拡散関数が∇ｕの関数である場合、拡散方程式は非線形であってもよい。

ライブネス検査装置は、数式（１）を解くために、加算演算子分割（ａｄｄｉｔｉｖｅ ｏｐｅｒａｔｏｒ ｓｐｌｉｔｔｉｎｇ：ＡＯＳ）方式を適用してもよい。例えば、ライブネス検査装置は、数式（３）を用いて入力映像のオブジェクトに対応する複数のピクセルを拡散してもよい。

ここで、Ｉは入力映像のピクセル値であり、Ａ_ｘは水平方向への拡散マトリックスであり、Ａ_ｙは垂直方向への拡散マトリックスである。τはタイムステップであってもよい。最終の反復回数Ｌとタイムステップτは予め決定されてもよい。一般に、タイムステップτが小さく設定され、最終の反復回数Ｌが大きく設定される場合、最終的に拡散されたピクセル値ｕ^Ｌの信頼度は向上する。

ライブネス検査装置は、数式（１）を解くために加算演算子分割方式を用いることによって、最終の反復回数Ｌを減少させ得る。加算演算子分割方式を用いる場合、任意の大きさのタイムステップτを用いても最終的に拡散されたピクセル値ｕ^Ｌの信頼度が高いためである。ライブネス検査装置は、拡散方程式を解くために加算演算子分割方式を用いることによって、拡散動作のための演算の効率性を向上し得る。ライブネス検査装置は、少ないプロセッサリソース及び少ないメモリリソースを用いて拡散動作を行うことができる。

ライブネス検査装置は、拡散方程式を解くために加算演算子分割方式を用いることによって、入力映像のテクスチャを効果的に格納できる。ライブネス検査装置は、低照度及び逆光環境でも入力映像のオリジナルテクスチャを効果的に格納できる。

図４を参照すると、映像４１０は入力映像であり、映像４２０は中間拡散映像であり、映像４３０は最終拡散映像である。例えば、最終の反復回数Ｌは２０に設定されてもよい。映像４２０は、入力映像に含まれたピクセル値が数式（３）によって５回繰り返して更新された結果、導き出された映像であってもよい。映像４３０は、入力映像に含まれたピクセル値が数式（３）によって２０回繰り返して更新された結果、導き出された映像であってもよい。

ライブネス検査装置は、入力映像に含まれたオブジェクトが平面的な特性又は３次元構造的な特性を有するか否かを判断するために拡散速度を用いてもよい。拡散速度はそれぞれのピクセル値が拡散する速度であり、例えば、拡散速度は数式（４）のように定義されてもよい。

ここで、ｓ（ｘ、ｙ）は（ｘ、ｙ）座標のピクセルの拡散速度であり、ｕ^０（ｘ、ｙ）は入力映像に含まれた（ｘ、ｙ）座標のピクセル値であり、ｕ^Ｌ（ｘ、ｙ）は最終拡散映像に含まれた（ｘ、ｙ）座標のピクセル値である。拡散前後のピクセル値の差が大きいほど拡散速度は大きく算出され、拡散前後のピクセル値の差が小さいほど拡散速度は小さく算出されてもよい。

より包括的に、ライブネス検査装置は、前述したフィルタリングプロセスのＬ回反復後に得られる映像のピクセル値の変化量に基づいて、入力映像に含まれたオブジェクトが２次元平面又は３次元構造に該当するか否かを判断してもよい。

一つの実施形態によると、顔映像は、スモールスケールの領域とラージスケールの領域とに分類してもよい。例えば、スモールスケールの領域は目、眉毛、鼻、口などの特徴点又は特徴線が存在する領域であってもよい。ラージスケールの領域は額、頬などの皮膚が広く占めている領域であってもよい。

スモールスケールの領域に属するピクセルの拡散速度は、ラージスケールの領域に属するピクセルの拡散速度よりも大きい。例えば、映像４１０のメガネフレームに該当するピクセル４１１は皮膚に該当する周辺ピクセルと互いに異なるため、拡散によって値が大きく変わる。映像４１０のピクセル４１１の値は拡散によって、映像４３０のピクセル４３１の値に更新されてもよい。一方、映像４１０の頬に該当するピクセル４１２は周辺ピクセルと類似するため、拡散によって変わる値は小さい。映像４１０のピクセル４１２の値は、拡散によって映像４３０のピクセル４３２の値に更新されてもよい。

拡散速度の差異は、映像内の光エネルギーの分布に基づくものであってもよい。例えば、映像内の光エネルギーが均一に分布する場合、拡散速度が小さく算出されてもよい。光エネルギーが均一に分布する場合、周辺ピクセル間のピクセル値が類似する可能性が高いためである。一方、映像内の光エネルギーが不均一に分布する場合、拡散速度が大きく算出されてもよい。光エネルギーが不均一に分布する場合、周辺ピクセル間のピクセル値が互いに異なる可能性が高いためである。

ライブネス検査装置は、拡散速度に関する統計的情報に基づいて映像内の光エネルギーが均一に分布する程度を算出してもよい。ライブネス検査装置は、拡散速度に関する統計的情報に基づいて映像内オブジェクトのライブネスを検査してもよい。例えば、ライブネス検査装置は、拡散速度に関する統計的情報を算出するために、数式（５）を用いてスモールスケールの領域を抽出してもよい。

ここで、ＳＲ（ｘ、ｙ）は（ｘ、ｙ）座標のピクセルがスモールスケールの領域に属するか否かを示す指示子である。例えば、ＳＲ（ｘ、ｙ）の値が１である場合、（ｘ、ｙ）座標のピクセルはスモールスケールの領域に属し、ＳＲ（ｘ、ｙ）の値が０である場合、（ｘ、ｙ）座標のピクセルはスモールスケールの領域に属さない。

ＳＲ（ｘ、ｙ）の値は拡散速度に基づいて決定されてもよい。例えば、ｓ（ｘ、ｙ）が予め決定した閾値よりも大きければ、ＳＲ（ｘ、ｙ）の値は１に決定され、その他の場合、ＳＲ（ｘ、ｙ）の値は０に決定されてもよい。予め決定した閾値は、全体映像の平均μと全体映像の標準偏差σに基づいて設定されてもよい。全体映像の平均μは、全体映像に含まれたピクセルの拡散速度の平均であり、全体映像の標準偏差σは、全体映像に含まれたピクセルの拡散速度の標準偏差であってもよい。

以下、（ｘ、ｙ）座標のピクセル値がＳＲ（ｘ、ｙ）である映像はＳＲマップ（ＳＲ ｍａｐ）と称されてもよい。ＳＲマップに含まれたそれぞれのピクセルは０又は１の値を有するため、ＳＲマップは２進化マップと称されてもよい。ＳＲマップは、様々な照明環境で顔内の基底構造（ｕｎｄｅｒｌｙｉｎｇ ｓｔｒｕｃｔｕｒｅ）を効果的に表現することができる。

図５は、一つの実施形態に係るＳＲマップを説明する図である。図５を参照すると、一つの実施形態によりユーザの顔が表示された媒体が撮影された場合のＳＲマップ５１０と、同一ユーザの実際の顔が撮影された場合のＳＲマップ５２０は互いに異なる。ＳＲマップ５１０とＳＲマップ５２０で黒い色に表示された部分は、ＳＲ（ｘ、ｙ）＝１に該当するピクセルに当該し、白い色に表示された部分はＳＲ（ｘ、ｙ）＝０に該当するピクセルに該当する。この場合、ＳＲマップ５１０とＳＲマップ５２０で、黒い色に表示された部分は拡散速度が相対的に早い部分であり、白い色と表示された部分は拡散速度が相対的に遅い部分である。

ライブネス検査装置は、ＳＲマップを分析することによって映像内の顔のライブネスを検査する。ライブネス検査装置は、ＳＲマップから様々な特徴を抽出することによって、映像内の顔のライブネスを検査してもよい。

ユーザの実際の顔が撮影された場合、ユーザの実際の顔の屈曲によって様々な光反射が発生してもよい。映像内の光エネルギーが不均一に分布する場合、ＳＲマップにピクセル値が１であるピクセルが多く含まれてもよい。ライブネス検査装置は数式（６）に基づいて映像内の顔のライブネスを判断してもよい。

ここで、Ｎ（ＳＲ（ｘ、ｙ）＝１）はＳＲ（ｘ、ｙ）＝１を満足するピクセルの数を示し、ξは閾値であり、ξの値は予め設定されてもよい。ライブネス検査装置は

である場合、映像内の顔がフェイクオブジェクトであると判断してもよい。

また、映像内の光エネルギーが不均一に分布する場合、ＳＲマップに雑音成分が多く含まれてもよい。ライブネス検査装置は、数式（７）に基づいて映像内の顔のライブネスを判断してもよい。

ここで、ＳＲ_Ｍ（ｘ、ｙ）はＳＲマップにメディアンフィルタリング（ｍｅｄｉａｎ ｆｉｌｔｅｒｉｎｇ）を適用した映像の（ｘ、ｙ）座標のピクセル値である。ξは閾値であり、ξの値は予め設定されてもよい。雑音成分が多いほどＳＲ（ｘ、ｙ）の値とＳＲ_Ｍ（ｘ、ｙ）の値の異なるピクセル数が多くなるため、

である場合、映像内の顔がフェイクオブジェクトであると判断されてもよい。

数式（６）及び数式（７）は例示的な事項であり、ライブネス検査装置は、その他の様々な拡散の速度ベースの統計的情報を用いて映像内オブジェクトのライブネスを検査してもよい。例えば、ライブネス検査装置は、予め決定した閾値以上の拡散速度に対応するピクセルの分布などを用いてもよい。

一例として、ライブネス検査装置は、数式（８）に基づいて映像内の顔のライブネスを判断してもよい。

ライブネス検査装置は

を満足する場合、映像内の顔がライブオブジェクトに該当すると判断してもよい。

他の例として、ライブネス検査装置は、数式（９）に基づいて映像内の顔のライブネスを検査してもよい。

ライブネス検査装置は

を満足する場合、映像内の顔がライブオブジェクトに該当すると判断してもよい。

または、ライブネス検査装置は、ＳＲマップを利用しない拡散速度ベースの統計的情報を用いてもよい。例えば、ライブネス検査装置は、全てのピクセルの拡散速度それぞれの値、全てのピクセルの拡散速度の平均、全てのピクセルの拡散速度の標準偏差などを用いてもよい。または、ライブネス検査装置は、拡散速度に基づいたフィルタ応答を用いてもよい。例えば、ライブネス検査装置は、全てのピクセルの拡散速度にメディアンフィルタリングを適用した結果を用いてもよい。

ライブネス検査装置は、拡散の速度ベースの統計的情報に基づいて様々な特徴を抽出し、抽出された特徴を学習させてもよい。例えば、ライブネス検査装置は、学習段階で様々なトレーニング映像から拡散の速度ベースの統計的情報を算出し、統計的情報から抽出された特徴を用いて分類器を学習させてもよい。トレーニング映像は、ライブオブジェクトを含む映像及びフェイクオブジェクトを含む映像で構成してもよい。

簡単な構造の分類器は、ユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）なのどベクトル間の距離、または、正規化された相関性（ｎｏｒｍａｌｉｚｅｄ ｃｏｒｒｅｌａｔｉｏｎ）などの類似度を求め、ベクトルの間の距離や類似度を閾値と比較してもよい。より精巧な分類器として、神経網やベイズ分類器（Ｂａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒ）、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）学習分類器、エイダブースト（Ａｄａｂｏｏｓｔ）学習分類器などを用いてもよい。

ライブネス検査装置は、入力映像から拡散の速度ベースの統計的情報を算出し、統計的情報から予め決定した方式で特徴を抽出してもよい。予め決定した方式は、学習段階で用いられる方式であってもよい。ライブネス検査装置は、抽出された特徴と学習されたパラメータを分類器に入力することによって、入力映像に含まれたオブジェクトのライブネスを検査してもよい。分類器は、抽出された特徴と学習されたパラメータに基づいて入力映像に含まれたオブジェクトがライブオブジェクトであるか、あるいはフェイクオブジェクトであるかを示す信号を出力してもよい。

図６は、他の実施形態に係るライブネス検査装置を示すブロック図である。図６を参照すると、ライブネス検査装置６００は、受信部６１１、拡散部６１２、及び検査部６１３を含む。受信部６１１は入力映像を受信する。受信部６１１は図３に示す受信部３１１に対応する。

例えば、拡散部６１２は、入力映像に含まれたオブジェクトに対応する複数のピクセルを拡散してもよい。図６に示す構成要素６１２は拡散部を示すものと実施形態に図示されているが、構成要素６１２はより包括的にフィルタ又はフィルタリング回路を指してもよい。さらに、適切なフィルタリング動作が適用されてもよい。

拡散部６１２は、拡散方程式に基づいて入力映像に含まれたオブジェクトに対応する複数のピクセル値を繰り返し更新してもよい。例えば、拡散部６１２は、数式（１）を用いて入力映像に含まれたオブジェクトに対応する複数のピクセルを拡散してもよい。

拡散部６１２は、拡散方程式に加算演算子分割方式を適用することによって、入力映像に含まれたオブジェクトに対応する複数のピクセル値を繰り返し更新してもよい。例えば、拡散部６１２は、数式（３）を用いて入力映像に含まれたオブジェクトに対応する複数のピクセルを拡散してもよい。拡散部６１２は、複数のピクセルが拡散して生成される拡散映像を出力してもよい。

検査部６１３は、複数のピクセルの拡散速度に基づいて入力映像に含まれたオブジェクトのライブネスを検査してもよい。一例として、検査部６１３は、オブジェクトのライブネスを検査するため、拡散速度に基づいてオブジェクトに関する表面特性を推定してもよい。表面特性は、オブジェクト表面に関する特性で、例えばオブジェクト表面の光反射性質、オブジェクト表面の次元数、オブジェクト表面の材質などを含んでもよい。

検査部６１３は、入力映像に含まれたオブジェクトに関する表面特性を推定するため、入力映像に含まれた光エネルギーの分布を分析してもよい。例えば、検査部６１３は、入力映像に含まれた光エネルギーの分布を分析することによって、入力映像に含まれたオブジェクトが２次元平面などの顔を表示する媒体の表面特性を有するか、あるいは３次元構造などユーザの実際の顔の表面特性を有するか否かを判断してもよい。

入力映像に含まれたオブジェクトが２次元平面などの顔を表示する媒体の表面特性を有すると判断される場合、検査部６１３は、検査失敗に対応する信号を出力してもよい。例えば、もし、検査部６１３が入力映像に含まれたオブジェクトが顔を表示する媒体の表面特性を有すると判断される場合、検査部６１３は、検査失敗を示す信号を出力してもよい。または、入力映像に含まれたオブジェクトが３次元構造などユーザの実際の顔の表面特性を有すると判断される場合、検査部６１３は、検査成功に対応する信号を出力してもよい。例えば、もし、検査部６１３が入力映像に含まれたオブジェクトがユーザの実際の顔の表面特性を有すると判断する場合、検査部６１３は、検査成功を示す信号を出力してもよい。

他の例として、検査部６１３は、オブジェクトのライブネスを検査するため、拡散速度に関する統計的情報を算出してもよい。例えば、２次元オブジェクトと３次元オブジェクトは、光を反射させる性質が互いに異なる。２次元オブジェクトと３次元オブジェクトとの間に異なる光反射性質は、拡散速度を用いてモデリングされてもよい。

検査部６１３は、入力映像と拡散映像を用いて拡散速度を算出してもよい。例えば、検査部６１３は、数式（４）を用いてピクセルそれぞれの拡散速度を算出してもよい。検査部６１３は、拡散速度に関する統計的情報を算出するため、数式（５）を用いてスモールスケールの領域を抽出してもよい。抽出されたスモールスケールの領域は、ＳＲマップに表現されてもよい。検査部６１３は、数式（６）又は数式（７）を用いて入力映像内のオブジェクトのライブネスを判断してもよい。

検査部６１３は、その他の様々な拡散の速度ベースの統計的情報を用いて入力映像内のオブジェクトのライブネスを検査してもよい。例えば、検査部６１３は、予め決定した閾値以上の拡散速度に対応するピクセルの分布などを用いてもよい。また、検査部６１３は、ＳＲマップを利用しない拡散の速度ベースの統計的情報を用いてもよい。

検査部６１３は、統計的情報が顔を表示する媒体に関する統計的情報に対応する場合、検査失敗に対応する信号を出力してもよい。または、検査部６１３は、統計的情報がユーザの実際の顔に関する統計的情報に対応する場合、検査成功に対応する信号を出力してもよい。例えば、算出された統計的情報が顔を表示する媒体を示す場合、検査部６１３は、検査失敗を示す信号を出力してもよい。一方、算出された統計的情報がユーザの実際の顔を示す場合、検査部６１３は検査成功を示す信号を出力してもよい。

ライブネス検査装置６００は、単一入力映像を用いてオブジェクトのライブネスを検査してもよい。ここで、単一入力映像は、単一写真、単一イメージ、または、単一フレームの静止画であってもよい。

一つの実施形態に係る映像処理
図７は、一つの実施形態に係る映像処理を説明する図である。図７を参照すると、一つの実施形態に係る入力映像７１０はユーザの顔を含む。入力映像７１０に含まれたユーザの顔は、照明によって大きく影響を受ける。例えば、図８を参照すると、同一人の顔を撮影しても照明により生成する映像が大きく変わる。このように照明の変化に脆弱な入力映像を用いる場合、顔認識及び／又はユーザ認証の信頼度が大きく低下し、演算の複雑度が増加する場合がある。

一つの実施形態に係る映像処理装置は、入力映像から照明の変化に堅牢な映像を生成する。または、映像処理装置は、入力映像が取得されるときオブジェクトに照射される照明によって実質的に影響を受けない映像を生成する。本実施形態は、照明の変化に堅牢な映像を生成することによって、顔認識及び／又はユーザ認証の信頼度を向上したり、顔認識及び／又はユーザ認証の演算の複雑度を低減させる技術を提供することができる。

入力映像７１０は、照明成分７１５及び非照明成分を含んでもよい。照明成分７１５は、ピクセル値を構成する成分のうち外部照明によって影響を受ける成分である。非照明成分は、ピクセル値を構成する成分のうち外部照明によって実質的に影響を受けない成分である。映像処理装置は、入力映像７１０から照明成分７１５を分離することによって、照明の変化に堅牢な映像を生成することができる。

映像処理装置は、入力映像から顔領域を検出してもよい。この場合、本実施形態は、入力映像から検出された顔領域に適用されてもよい。以下、「顔映像」は顔を含む入力映像そのものを指したり、入力映像から抽出された顔領域を指してもよい。

顔映像は、照明成分と非照明成分を用いて表現されてもよい。例えば、顔映像は、ランバートモデルによって数式（１０）のように表現されてもよい。

ここで、Ｉは顔映像であり、ｗは照明成分であり、ｖは非照明成分である。Ｉは入力映像７１０に当該し、ｗは照明成分に関する映像７２０に当該し、ｖは非照明成分に関する映像７３０に当該する。

照明成分に関する映像７２０は照明成分７１５を含み、非照明成分に関する映像７３０は照明成分７１５を実質的に含まなくてもよい。そのため、非照明成分に関する映像７３０は、照明の変化に堅牢な映像である。非照明成分に関する映像７３０は、カノニカル映像（ｃａｎｏｎｉｃａｌ ｉｍａｇｅ）と称してもよい。

照明成分７１５は、主にラージスケールの領域に分布する可能性が大きいため、照明成分に関する映像７２０は、ラージスケールの領域に該当する映像であってもよい。照明成分７１５は、スモールスケールの領域に分布する可能性が低いため、非照明成分に関する映像７３０は、スモールスケールの領域に該当する映像であってもよい。

映像処理装置は、入力映像７１０から非照明に関する映像７３０を生成してもよい。例えば、映像処理装置は、入力映像７１０を受信してもよい。映像処理装置は、入力映像７１０から照明成分に関する映像７２０を生成してもよい。映像処理装置は、入力映像７１０と照明成分に関する映像７２０を数式（１０）に適用することによって、非照明に関する映像７３０を算出する。

映像処理装置は、照明成分に関する映像７２０を生成するため、入力映像７１０を拡散してもよい。スモールスケールの領域に属するピクセルの拡散速度は、ラージスケールの領域に属するピクセルの拡散速度よりも大きい。映像処理装置は、拡散速度の差を用いてスモールスケールの領域とラージスケールの領域とを分離してもよい。例えば、映像処理装置は、予め決定した反復回数だけ入力映像７１０に含まれた複数のピクセルを拡散することによって、ラージスケールの領域に該当する照明成分に関する映像７２０を生成してもよい。

映像処理装置は、拡散方程式を用いて複数のピクセル値を繰り返し更新してもよい。例えば、映像処理装置は、数式（１１）を用いて入力映像７１０の顔に対応する複数のピクセルを拡散してもよい。

ここで、ｋは反復回数であり、ｕ^ｋはｋ番目の反復後のピクセル値であり、ｕ^ｋ＋１はｋ＋１番目の反復後のピクセル値である。ｕ^ｋはｕ^ｋ（ｘ、ｙ）であり、映像内（ｘ、ｙ）の位置に該当するピクセルがｋ番目に拡散された結果、当該ピクセルが有する値であってもよい。ｕ^ｋ＋１はｕ^ｋ＋１（ｘ、ｙ）であり、映像内（ｘ、ｙ）の位置に該当するピクセルがｋ＋１回拡散された結果、当該ピクセルが有する値であってもよい。例えば、ｕ^０は入力映像７１０のピクセル値であってもよい。最終の反復回数がＬである場合、ｕ^Ｌは照明成分に関する映像７２０のピクセル値であってもよい。

∇は勾配演算子であり、ｄｉｖ（）は発散関数である。ｄ（）は拡散関数である。拡散関数は予め決定されてもよい。例えば、映像処理装置は、拡散関数を数式（１２）のように定義してもよい。

ここで、βは、小さな正数であってもよい。数式（１２）のように定義される拡散関数を使用する場合、拡散動作のうち顔の境界が円満に格納される。数式（１２）のように拡散関数が∇ｕの関数である場合、拡散方程式は非線形であってもよい。以下、拡散によって生成される映像は、拡散映像と称されてもよい。拡散関数が非線形である場合、拡散によって生成される映像は非線形拡散映像と称されてもよい。

数式（１２）は拡散関数の例示的な事項であって、拡散関数は様々に変形されてもよい。例えば、入力映像により複数の候補拡散関数のいずれか１つの候補拡散関数が選択されてもよい。さらに、拡散関数について実施形態を説明したが、上述したように他のフィルタリング関数も使用されてもよい。

映像処理装置は、数式（１１）を解くために加算演算子分割方式を適用してもよい。例えば、映像処理装置は、数式（１３）を用いて入力映像７１０の顔に対応する複数のピクセルを拡散してもよい。

ここで、Ｉは入力映像７１０のピクセル値であり、Ａ_ｘは水平方向にの拡散マトリックスであり、Ａ_ｙは垂直方向にの拡散マトリックスである。τはタイムステップであってもよい。最終の反復回数Ｌとタイムステップτは予め決定されてもよい。一般に、タイムステップτが小さく設定され、最終の反復回数Ｌが大きく設定される場合、最終的に拡散されたピクセル値ｕ^Ｌの信頼度は向上する。

映像処理装置は、数式（１１）を解くために加算演算子分割方式を用いることによって、最終の反復回数Ｌを減少させ得る。加算演算子分割方式を用いる場合、任意の大きさのタイムステップτを用いても最終的に拡散されたピクセル値ｕ^Ｌの信頼度が高いためである。映像処理装置は、拡散方程式を解くために加算演算子分割方式を用いることによって、拡散動作のための演算の効率性を向上させることができる。

映像処理装置は、入力映像７１０及び照明成分に関する映像７２０に基づいて非照明成分に関する映像７３０を生成してもよい。例えば、映像処理装置は、数式（１４）又は数式（１５）を用いて非照明成分に関する映像７３０を生成してもよい。数式（１０）のｗはｕ^Ｌに対応するため、数式（１０）から数式（１４）又は数式（１５）が導き出されてもよい。

ここで、Ｉは顔映像であり、例えば、入力映像７１０に該当してもよい。Ｉはｕ^０であってもよい。ｕ^Ｌはラージスケールの領域として、例えば、照明成分に関する映像７２０に該当してもよい。ｖはスモールスケールの領域として、例えば、非照明成分に関する映像７３０に該当してもよい。

図９は、一つの実施形態に係る映像処理装置を示すブロック図である。顔認識及び／又はユーザ認証回路９２０については後述する。図９を参照すると、一つの実施形態に係る映像処理装置９１０は、受信部９１１、拡散部９１２、及び生成部９１３を含む。

図９において構成要素９１２は、拡散部を指す実施形態として示されたが、構成要素９１２は、より包括的にフィルタ又はフィルタリング回路を指してもよい。さらに、適切なフィルタリング動作が適用されてもよい。

例えば、受信部９１１は、入力映像を受信する。受信部９１１は、イメージセンサから生成された入力映像を受信してもよい。受信部９１１は、イメージセンサと有線又は無線に接続したり、ネットワークを介して接続されてもよい。受信部９１１は、メインメモリ、キャッシュメモリ、ハードディスクドライブ、固体ドライブ、フラッシュメモリデバイス、ネットワークドライブなどの格納装置から入力映像を受信してもよい。

拡散部９１２は、入力映像に含まれたオブジェクトに対応する複数のピクセルを拡散する。オブジェクトはユーザの顔であってもよい。拡散部９１２は、拡散方程式に基づいて入力映像に含まれたオブジェクトに対応する複数のピクセル値を繰り返し更新してもよい。例えば、拡散部９１２は、数式（１１）を用いて入力映像に含まれたオブジェクトに対応する複数のピクセルを拡散してもよい。

拡散部９１２は、拡散方程式に加算演算子分割方式を適用することによって、入力映像に含まれたオブジェクトに対応する複数のピクセル値を繰り返し更新してもよい。例えば、拡散部９１２は、数式（１３）を用いて入力映像に含まれたオブジェクトに対応する複数のピクセルを拡散してもよい。拡散部９１２は、複数のピクセルが拡散して生成される拡散映像を出力してもよい。拡散映像は、照明に関する映像であってもよい。

生成部９１３は、入力映像と拡散映像を用いて出力映像を生成する。例えば、生成部９１３は、数式（１４）又は数式（１５）を用いて出力映像を生成してもよい。出力映像は、非照明成分に関する映像（例えば、図７に示す７３０）であってもよい。生成部９１３は、顔認識及び／又はユーザ認証回路９２０に出力映像を出力してもよい。顔認識及び／又は、ユーザ認証回路９２０は周知の顔認識及び／又はユーザ認証動作を行ってもよく、これに関する詳細な事項は後述する。また、生成部９１３は、出力映像をメモリ（図示せず）に出力してもよい。

一つの実施形態によると、映像生成装置９１０は、単一入力映像を用いて出力映像を生成してもよい。ここで、単一入力映像は、単一写真、単一イメージ、または、単一フレームの静止画であってもよい。

顔認識及び／又はユーザ認証回路９２０は、出力映像に基づいて入力映像に含まれた顔を認識する。出力映像は非照明成分に関する映像であり、照明の変化に堅牢な映像である。顔認識及び／又はユーザ認証回路９２０は、照明の変化に堅牢な映像を用いて入力映像に含まれた顔を認識するため、顔認識の正確度及び／又は信頼度が向上する。例えば、照明の変化に堅牢な映像を用いる場合、低照度環境で整列演算の性能が向上される。

他の例として、顔認識及び／又はユーザ認証回路９２０は、出力映像に基づいてユーザを認証してもよい。例えば、映像生成装置９１０は、出力映像に基づいてユーザの顔を認識することによってユーザを認証してもよい。出力映像は非照明成分に関する映像であり、照明の変化に堅牢な映像であってもよい。映像生成装置９１０は、照明の変化に堅牢な映像を用いてユーザを認証するため、ユーザ認証の正確度及び／又は信頼度が向上される。

一つの実施形態に係る動作フローチャート
図１０は、一つの実施形態に係るライブネス検査方法を示した動作フローチャートである。一例として、図１０に示された動作フローチャートは、図３及び図６に示されたライブネス検査装置と関連する。図１０を参照すると、一つの実施形態に係るライブネス検査方法は、入力映像を受信するステップＳ１０１０及び受信された入力映像に含まれたオブジェクトのライブネスを検査するステップＳ１０２０を含む。

図３に示されたライブネス検査装置の、例えば、ステップＳ１０１０において受信部３１１は入力映像を受信し、ステップＳ１０２０において検査部３１２は受信された入力映像に含まれたオブジェクトのライブネスを検査してもよい。検査部３１２は、入力映像内のオブジェクトが２次元平面的な特性又は３次元構造的な特性を有するか否かに基づいて、入力映像に含まれたオブジェクトのライブネスを検査してもよい。検査部３１２の具体的な動作は図３を参照して前述したため、より詳細な説明は省略する。

図６に示されたライブネス検査装置６００の、例えば、ステップＳ１０１０において受信部６１１は入力映像を受信する。ステップＳ１０２０において拡散部６１２は、受信された入力映像に含まれたオブジェクトに対応する複数のピクセルを拡散し、検査部６１３は、複数のピクセルの拡散速度に基づいてオブジェクトのライブネスを検査してもよい。拡散部６１２と検査部６１３の具体的な動作は図６を参照して前述したため、より詳細な説明は省略する。

一例として、入力映像に含まれたオブジェクトのライブネスを検査するステップＳ１０２０は、入力映像に含まれたオブジェクトが平面的な特性又は３次元構造的な特性を有するか否かに基づいて、入力映像に含まれたオブジェクトのライブネスを検査するステップであってもよい。

他の例として、入力映像に含まれたオブジェクトのライブネスを検査するステップＳ１０２０は、入力映像に含まれたオブジェクトに対応する複数のピクセルを拡散するステップ、及び複数のピクセルの拡散速度に基づいてオブジェクトのライブネスを検査するステップを含んでもよい。

図１１は、一つの実施形態に係る映像処理方法を示した動作フローチャートである。図１１を参照すると、一つの実施形態に係る映像処理方法は、第１映像を受信するステップＳ１１１０、第２映像を生成するステップＳ１１２０、及び第３映像を生成するステップＳ１１３０を含む。

第１映像は入力映像（例えば、図７に示す７１０）であってもよい。第２映像は照明成分に関する映像（例えば、図７に示す７２０）であってもよい。第３映像は非照明成分に関する映像（例えば、図７に示す７３０）であってもよい。

図９に示された映像処理装置の、例えば、ステップＳ１１１０において受信部９１１は第１映像を受信してもよい。ステップＳ１１２０において拡散部９１２は第１映像に基づいて第２映像を生成してもよい。例えば、第２映像は、照明成分に関する映像（例えば、図７に示す７２０）であってもよい。

ステップＳ１１３０において、生成部は第１映像と第２映像に基づいて第３映像を生成する。この場合、第３映像は、非照明成分に関する映像（例えば、図７に示す７３０）であってもよい。拡散部９１２及び生成部９１３の具体的な動作は、図９を参照して前述したため、より詳細な説明は省略する。

図１０及び図１１に示された各ステップには、図１〜図９を参照して前述した事項がそのまま適用されているため、より詳細な説明は省略する。

図１２は、他の実施形態に係る映像処理方法を示した動作フローチャートである。図１２を参照すると、図１０に示されたライブネス検査方法と図１１に示された映像処理方法とが組合わされてもよい。

ステップＳ１２１０において、第１映像が受信される。第１映像は入力映像であってもよい。入力映像はユーザの顔を含んでもよい。ステップＳ１２２０において、第１映像に基づいて第２映像が生成される。第２映像は、第１映像が拡散することによって生成されてもよい。第２映像は、照明成分に関する映像であってもよい。

ステップＳ１２４０において、第１映像と第２映像に基づいてピクセル単位で拡散速度が算出される。例えば、それぞれのピクセルの拡散速度は、第２映像内のピクセル値と第１映像内のピクセル値との間の差により算出されてもよい。

ステップＳ１２５０において、拡散速度に基づいて統計的情報が抽出される。例えば、予め決定した閾値よりも大きい拡散速度を有するピクセルの数が算出されてもよい。ステップＳ１２７０において、拡散の速度ベースの統計的情報を用いてライブネス検査が行われる。例えば、予め決定した閾値よりも大きい拡散速度を有するピクセルの数を用いて入力映像がライブするか否かを判断してもよい。もし、ライブネス検査が失敗した場合、顔認識及び／又はユーザ認証を行わずに動作が終了される。

もし、ライブネス検査が成功した場合、顔認識及び／又はユーザ認証が行われる。この場合、顔認識及び／又はユーザ認証のために照明の変化に堅牢な映像が生成される。ステップＳ１２３０において、第１映像及び第２映像に基づいて第３映像が生成される。第３映像は、第１映像と第２映像との間の比又はログドメインで第１映像と第２映像との間の差により算出されてもよい。第３映像は非照明成分に関する映像であって、照明の変化に堅牢な映像である。

ステップＳ１２６０において、第３映像を用いて顔認識及び／又はユーザ認証が行われる。ステップＳ１２６０では、ライブネス検査が成功した場合に限って顔認識及び／又はユーザ認証が行われてもよい。ここで、照明の変化に堅牢な映像である第３映像を用いて顔認識及び／又はユーザ認証を行ってもよい。

図１２に示された各ステップには、図１〜図１１を参照して説明した事項がそのまま適用されるため、より詳細な説明は省略する。

図１３は、一つの実施形態に係る電子システムを示すブロック図である。図１３を参照すると、電子システムは、イメージセンサ１３００、イメージプロセッサ１３０２、ディスプレイ１３０４、及びメモリ１３０８を含む。イメージセンサ１３００、イメージプロセッサ１３０２、ディスプレイ１３０４、及びメモリ１３０８は、バス１３０６を介して通信してもよい。

イメージセンサ１３００は、図１Ａ及び図１Ｂに示されたイメージセンサ１１５であってもよい。イメージセンサ１３００は、周知の方式（例えば、光学イメージを電気信号に変換する方式など）で映像をキャプチャーしてもよい。映像はイメージプロセッサ１３０２から出力される。

イメージプロセッサ１３０２は、図１〜図１２を参照して前述した少なくとも１つの装置を含んだり、図１〜図１２を参照して前述した少なくとも１つの方法を行ってもよい。例えば、イメージプロセッサ１３０２は、図３に示すライブネス検査装置３１０、図６に示すライブネス検査装置６１０、図９に示す映像処理装置９１０、図９に示す顔認識及び／又はユーザ認証回路９２０などを含んでもよい。メモリ１３０８は、イメージセンサ１３００によってキャプチャーされた映像、ライブネス検査装置によって生成された映像、及び／又は映像処理装置によって生成された映像を格納してもよい。メモリ１３０８は、揮発性メモリ又は不揮発性メモリであってもよい。ディスプレイ１３０４は、イメージセンサ１３００によってキャプチャーされた映像、ライブネス検査装置によって生成された映像、及び／又は映像処理装置によって生成された映像を表示してもよい。

イメージプロセッサ１３０２は、プログラムを実行して電子システムを制御してもよい。イメージプロセッサ１３０２によって実行されるプログラムコードはメモリ１３０８に格納されてもよい。

電子システムは、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続し、データを交換してもよい。

電子システムは、携帯電話、スマートフォン、ＰＤＡ、タブレットコンピュータ、ラップトップコンピュータなどモバイル装置、パーソナルコンピュータ、タブレットコンピュータ、ネットブックなどコンピュータ装置、または、テレビ、スマートテレビ、ゲート制御のためのセキュリティ装置など電子製品などの様々な電子システムを含んでもよい。

以上で説明した実施形態（例えば、ライブネス検査装置、映像処理装置、電子システムなど）は、ハードウェア構成要素、ソフトウェア構成要素、及び／またはハードウェア構成要素及びソフトウェア構成要素の組合せで実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明された場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／またはデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１１０ ライブネス検査装置
１１５ イメージセンサ
１２０ ユーザ
２１０ 媒体
２１１ 表示された顔
２２０ ユーザの実際の顔
３１０ ライブネス検査装置
４１０、４２０、４３０ 映像
５１０、５２０ ＳＲマップ
６００ ライブネス検査装置
７１０ 入力映像
７２０ 照明成分に関する映像
７３０ 非照明に関する映像

Claims (31)

1. 受信された入力映像に含まれたオブジェクトに対応する複数のピクセルの拡散速度に関する統計的情報に基づいて、前記オブジェクトのイメージが平面を示す平面的な特性又は３次元構造を示す３次元構造的な特性を有するか否かを判断するステップと、
   前記オブジェクトのイメージが平面を示す平面的な特性又は前記３次元構造的な特性を有するか否かに基づいて、前記オブジェクトのライブネスを検査するステップと、を含む、
   ライブネス検査方法。
2. 前記入力映像に含まれたオブジェクトのイメージは、顔に該当する、
   請求項１に記載のライブネス検査方法。
3. 前記オブジェクトのイメージが前記平面的な特性又は３次元構造的な特性を有するか否かを判断する前記ステップは、光エネルギーの分布に基づく、
   請求項１に記載のライブネス検査方法。
4. 前記オブジェクトのイメージが前記平面的な特性又は３次元構造的な特性を有するか否かを判断する前記ステップは、光エネルギーが均一に分布した程度に基づく、
   請求項１に記載のライブネス検査方法。
5. 拡散方程式に基づいて前記複数のピクセル値を繰り返し更新するステップと、
   反復的な更新前後のピクセル値の差に基づいて、前記複数のピクセルの拡散速度を算出するステップ、をさらに含む、
   請求項１に記載のライブネス検査方法。
6. 前記拡散速度に関する統計的情報は、
   前記複数のピクセルのうち予め決定した第１閾値以上の拡散速度に対応するピクセルの数と、
   前記第１閾値以上の拡散速度に対応するピクセルの分布と、
   前記拡散速度の大きさに基づいて抽出された第１スケールの領域に含まれた雑音成分の量と、
   前記拡散速度の平均と、
   前記拡散速度の標準偏差と、
   前記拡散速度に基づいたフィルタ応答と、
   のうち少なくとも１つを含む、
   請求項１または５に記載のライブネス検査方法。
7. 受信された入力映像に含まれたオブジェクトのイメージが平面を示す平面的な特性又は３次元構造を示す３次元構造的な特性を有するか否かに基づいて、前記オブジェクトのライブネスを検査するステップと、
   フィルタリングされた映像を生成するために前記受信された入力映像をフィルタリングするステップと、
   前記受信された入力映像内の前記オブジェクトのイメージに対応する複数のピクセル、及び前記フィルタリングされた映像内の前記オブジェクトのイメージに対応する複数のピクセル値の変化に関する統計的情報に基づいて、前記オブジェクトのイメージが前記平面的な特性又は前記３次元構造的な特性を有するか否かを判断するステップと、を含む、
   ライブネス検査方法。
8. 拡散映像を生成するために前記受信された入力映像を拡散するステップと、
   前記受信された入力映像内のピクセル値と前記拡散映像内のピクセル値との間の差に基づいて、前記オブジェクトのイメージに対応する複数のピクセルの拡散速度を算出するステップと、
   をさらに含み、
   前記算出された拡散速度に基づいて前記オブジェクトのイメージが前記平面的な特性又は３次元構造的な特性を有するか否かを判断するステップ、を含む、
   請求項７に記載のライブネス検査方法。
9. 前記オブジェクトのライブネスを検査するステップは、
   前記オブジェクトが前記平面的な特性を有すると判断される場合、検査失敗に対応する信号を出力するステップと、
   前記オブジェクトが前記３次元構造的な特性を有すると判断される場合、検査成功に対応する信号を出力するステップと、
   のうち少なくとも１つを含む、
   請求項１または７に記載のライブネス検査方法。
10. 前記入力映像は、単一映像である、
    請求項１または７に記載のライブネス検査方法。
11. フィルタリングされた映像を生成するためにオブジェクトのイメージを含む受信された映像をフィルタリングするステップと、
    前記受信された映像と前記フィルタリングされた映像に含まれたオブジェクトのイメージに対応するピクセル値の変化量を決定するステップと、
    前記変化量に基づいて前記オブジェクトのライブネスを検査するステップと、
    を含む、ライブネス検査方法。
12. 前記フィルタリングするステップは、拡散映像を生成するために、前記受信された映像に含まれた前記オブジェクトのイメージに対応する複数のピクセルを拡散するステップ、を含み、
    前記検査するステップは、前記拡散速度に基づいて前記オブジェクトのライブネスを検査するステップ、を含み、
    前記ライブネス検査方法は、前記受信された映像と前記拡散映像内の前記オブジェクトのイメージに対応するピクセル値に基づいて、前記オブジェクトのイメージに対応するピクセルの拡散速度を算出するステップをさらに含む、
    請求項１１に記載のライブネス検査方法。
13. 前記映像に含まれたオブジェクトは、顔に該当する、
    請求項１１または１２に記載のライブネス検査方法。
14. 前記複数のピクセルを拡散するステップは、拡散方程式に基づいて前記複数のピクセル値を繰り返し更新するステップ、を含む、
    請求項１２に記載のライブネス検査方法。
15. 前記複数のピクセルを拡散するステップは、拡散方程式に加算演算子分割（ａｄｄｉｔｉｖｅ ｏｐｅｒａｔｏｒ ｓｐｌｉｔｔｉｎｇ：ＡＯＳ）方式を適用することによって、前記複数のピクセル値を繰り返し更新するステップ、を含む、
    請求項１４に記載のライブネス検査方法。
16. 前記オブジェクトのライブネスを検査するステップは、
    前記拡散速度に基づいて前記オブジェクトに関する表面特性を推定するステップと、
    前記推定された表面特性に基づいて前記オブジェクトのライブネスを検査するステップと、
    を含む、
    請求項１２に記載のライブネス検査方法。
17. 前記表面特性は
    前記オブジェクト表面の光反射性質と、
    前記オブジェクト表面の次元数と、
    前記オブジェクト表面の材質と、
    のうち少なくとも１つを含む、
    請求項１６に記載のライブネス検査方法。
18. 前記表面特性を推定するステップは、前記表面特性を推定するために、前記拡散速度に基づいて前記入力映像に含まれた光エネルギーの分布を分析するステップ、を含む、
    請求項１６または１７に記載のライブネス検査方法。
19. 前記オブジェクトのライブネスを検査するステップは、
    前記表面特性が顔を表示する媒体の表面特性に対応する場合、検査失敗に対応する信号を出力するステップと、
    前記表面特性が実際の顔の表面特性に対応する場合、検査成功に対応する信号を出力するステップと、
    のうち少なくとも１つをさらに含む、
    請求項１６乃至１８いずれか一項に記載のライブネス検査方法。
20. 前記オブジェクトのライブネスを検査するステップは、
    前記拡散速度に関する統計的情報を算出するステップと、
    前記統計的情報に基づいて前記オブジェクトのライブネスを検査するステップと、
    を含む、
    請求項１２に記載のライブネス検査方法。
21. 前記統計的情報を算出するステップは、
    前記拡散速度のうち予め決定した第１閾値以上の拡散速度に対応するピクセルの数を算出するステップと、
    前記拡散速度のうち前記第１閾値以上の拡散速度に対応するピクセルの分布を算出するステップと、
    前記拡散速度の平均及び標準偏差のうち少なくとも１つを算出するステップと、
    前記拡散速度に基づいたフィルタ応答を算出するステップと、
    のうち少なくとも１つを含む、
    請求項２０に記載のライブネス検査方法。
22. 前記統計的情報を算出するステップは、
    前記拡散速度の大きさに基づいて前記入力映像から第１スケールの領域を抽出するステップと、
    前記第１スケールの領域の特徴を抽出するステップと、
    を含み、
    前記検査するステップは、前記抽出された特徴に基づいて前記オブジェクトのライブネスを検査するステップを含む、
    請求項２０に記載のライブネス検査方法。
23. 前記第１スケールの領域の特徴は、前記第１スケールの領域に含まれた雑音成分の量を含み、
    前記雑音成分は、前記第１スケールの領域にメディアンフィルタリングを適用した結果と前記第１スケールの領域の間の差に基づいて算出される、
    請求項２２に記載のライブネス検査方法。
24. 前記オブジェクトのライブネスを検査するステップは、
    前記統計的情報が顔を表示する媒体に関する統計的情報に対応する場合、検査失敗に対応する信号を出力するステップと、
    前記統計的情報が実際の顔に関する統計的情報に対応する場合、検査成功に対応する信号を出力するステップと、
    のうち少なくとも１つをさらに含む、
    請求項２０に記載のライブネス検査方法。
25. 前記拡散速度を算出するステップは、拡散前の前記ピクセルが有するオリジナル値と拡散後の前記ピクセルが有する拡散値に基づいて、前記複数のピクセルのいずれか１つのピクセルの拡散速度を算出するステップを含む、
    請求項１２に記載のライブネス検査方法。
26. 前記オリジナル値と前記拡散値との間の差が大きいほど前記ピクセルの拡散速度が大きく算出され、前記オリジナル値と前記拡散値との間の差が小さいほど前記ピクセルの拡散速度が小さく算出される、
    請求項２５に記載のライブネス検査方法。
27. 前記入力映像は、ユーザの顔を含む単一映像であることを特徴とする、
    請求項１１乃至１３いずれか一項に記載のライブネス検査方法。
28. 請求項１乃至請求項２７いずれか一項に記載の方法を実行させるためのプログラムが記録されたコンピュータ読み出し可能な記録媒体。
29. 受信された入力映像に含まれたオブジェクトのイメージが平面を示す平面的な特性又は３次元構造を示す３次元構造的な特性を有するか否かに基づいて、前記オブジェクトのライブネスを検査する検査部、を含み、
    前記検査部は、
    フィルタリングされた映像を生成するために前記受信された入力映像をフィルタリングし、
    前記受信された入力映像内の前記オブジェクトのイメージに対応する複数のピクセル、及び前記フィルタリングされた映像内の前記オブジェクトのイメージに対応する複数のピクセル値の変化に関する統計的情報に基づいて、前記オブジェクトのイメージが前記平面的な特性又は前記３次元構造的な特性を有するか否かを判断する、
    ライブネス検査装置。
30. 前記入力映像に含まれたオブジェクトは顔である、
    請求項２９に記載のライブネス検査装置。
31. 前記検査部は、
    拡散映像を生成するために前記受信された入力映像を拡散し、
    前記受信された入力映像内のピクセル値と前記拡散映像内のピクセル値との間の差に基づいて、前記オブジェクトのイメージに対応する複数のピクセルの拡散速度を算出し、
    前記算出された拡散速度に基づいて前記オブジェクトのイメージが前記平面的な特性又は３次元構造的な特性を有するか否かを判断する、
    請求項２９に記載のライブネス検査装置。