JP5061563B2 - 検出装置、生体判定方法、およびプログラム - Google Patents

Description

本発明は、被写体を検出する装置、方法およびプログラムに関する。

近年、セキュリティシステムの需要が高まっており、特に鍵を紛失する恐れがないという利点から、生体の情報を利用した生体認証装置が注目を集めている。その中でも、顔の情報を利用する顔認証装置は、利便性などの点から注目されている。

顔認証の場合に、登録者の顔写真を利用して顔認証を行い、悪意をもって顔認証装置のセキュリティを解除しようとする「なりすまし」という問題が生じている。

この問題に対して、特開平１１−３３９０４８号公報では、まばたきの検出によってなりすましを防止する方法が開示されている。また、特開平７−３１３４５９号公報では、目の輪郭をエッジ抽出し、人のまばたきという動作を検出する方法が開示されている。
特開平１１−３３９０４８号公報 特開平７−３１３４５９号公報

しかし、従来の方法では、以下の問題があった。その問題とは、写真を瞬きしたように判断してしまう擬似まばたきを、生体がまばたきしていると誤判定してしまう現象が起こってしまうことである。擬似まばたきをまばたきしたと装置が判定してしまうと、顔認証装置はセキュリティを解除してしまい、利用上問題が生じる。

擬似まばたきは、主に次の状況下で発生する。まず、写真を振った場合である。写真を振ると、通常の撮像装置では、撮像素子への露光に一定時間が必要なため、被写体やカメラが動いた場合、残像が生じてしまう。そのため、目検出手段は、実際の目の輪郭とは異なる部分をエッジ抽出して、目の形状に変化が生じたと誤認識してしまい、まばたきしていると判定してしまうことがある。次に、目領域を障害物で遮蔽する場合である。例えば目の上部に障害物が進入した場合、上まぶたが閉じていると誤認識してしまい、まばたきしていると判定してしまうことがある。最後に、写真を折り曲げる場合である。写真を湾曲させると撮像装置からの距離が変化しエッジが歪んで見えるため、目の形状に変化を生じたと誤認識してしまい、まばたきと判定してしまうことがある。その他、様々な方法によって、擬似まばたきをまばたきと誤認識する環境、状況、状態などは作られる。

上記実情に鑑み、本発明は、生体検出を誤認識することなく精度よく検出する方法を提供することを目的とする。

本発明にかかる１つの具体的な検出装置は、以下の通りである。検出装置は、被写体の画像を入力する画像入力手段と、複数枚の前記画像から、被写体の変動を抽出する候補領域を決定する変動抽出手段と、前記変動抽出手段によって抽出された候補領域から、変動の大きさを算出する変動算出手段と、前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力する判定手段と、を備えている。

さらに、判定手段は、候補領域内の変動の大きさが前記閾値以下であるときに、被写体は生体であると判定するとよい。

または、被写体が生体であるかどうかを検出する生体検出手段を備え、判定手段は、さらに生体検出手段の判断に基づいて結果を出力するとよい。

または、変動算出手段は、複数枚の画像から差分画像を生成し、判定手段は、差分画像と閾値とに基づいて、生体であるかどうかを判定するとよい。

または、変動抽出手段は、目領域と目領域の周辺とを、候補領域として決定するとよい。

または、顔認識手段を備え、判定部が、候補領域内の被写体が生体であると判定された場合、顔認証手段は候補領域内の顔認証を開始するとよい。

上記具体例は、装置のみによって実現されるものではなく、方法やプログラムなどによっても実施される。

生体認証装置における生体認証の精度が向上する。

本発明における最良の実施形態の一例として、以下のものを挙げる。画像内の差分値を取得する範囲である候補領域を、被写体の顔部分とし、差分画像を生成することによりフレーム間の画像の変動を抽出することで、生体かどうかを見分けるものである。差分は、各画素に、明度や色彩などに基づいて数値を与えられるものである。しかし、本発明はこれに限られることなく、可能な限りの実施形態を持つ。例えば、生体検出に熱感知センサを用いてもよいし、変動値の算出に加速度センサを用いてもよいし、その他の方法を用いてもよい。

図１は、装置に入力される入力画像から候補領域１０を抽出しており、顔領域を候補領域としている。この候補領域は、顔検出機能により顔部分を矩形抽出することができる。顔検出機能は、既存のどの技術を使ってもよい。一例を挙げると、以下の通りである。顔検出手段は、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成される。または、顔の器官（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成される。または、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成される。または、肌の色に近い領域を検出し、その領域を顔として検出するように構成される。または、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成される。

図２、図３および図４は、図１で抽出された候補領域１０について、２フレーム間の変動と、その差分画像を図で表したものである。図２は生体を撮像したとき、図３は写真を動かさずに撮像したとき、図４はカメラから見て左に平行移動した写真を表している。また、各図のＡは、あるフレームの画像、ＢはＡの次フレームの画像であり、Ｃは、ＡとＢとの差分画像を示したものである。差分については後述する。Ｂの候補領域は、Ａの候補領域と同一の画角位置、サイズ、角度を持つ。

図２−Ａは、あるフレーム時の候補領域の画像を示している。図２−Ｂは、次フレームの候補領域の画像であり、被写体がまばたきをしているものを示している。図２−Ａと図２−Ｂとを比べると、目の部分にフレーム間の変動が生じている。差分画像は、図２−Ｃのように目領域に差分領域１１が表れる。差分領域１１とは、画像内の差分値の分布を示すものである。差分値については後述する。

図３は、写真を動かさない場合に取得される画像を示している。図３−Ａと、図３−Ｂとを比較すると全く動きがないため、図３−Ｃに示す差分画像は差分領域のない画像となる。

図４は、図２と同様の候補領域の画像である。カメラの特性として、上記理由から画像には残像が生じる。そのため、動き始める前と動き出したあとの２フレームを比較した場合に、画面全体に差分が発生する。そのときの差分画像は図４−Ｃに示すように、候補領域全体に差分値が現われる。候補領域全体に差分領域が現われること、差分値が候補領域内でほぼ均一であること、差分値の差分の発生量が多いこと、または目領域以外に差分があることを検出することで、擬似まばたきと判定することができる。なお、生体の顔が移動した場合にも同様の差分が生じるが、擬似まばたきが発生するためには写真は大きく動く必要がある。他方、まばたきするとき、生体は動く必要がない。よって写真よりも生体は変動が少ないため、変動値の量から算出して区別することができる。

よって、入力画像のまばたきが生体か写真かどうかを見分けるためには、図２−Ｃと、図３−Ｃと、および図４−Ｃと、を比較したときに区別することができればよい。実施形態では差分を見ることで変動を捉えているが、これ以外の方法を利用してもよい。例えばボケ検出、残像検出などを利用しても同様の効果が得られる。残像検出では、残像の量が一定値以上異なるかどうかにより判定することができる。

以下は、差分画像の生成方法の一例である。まず、差分画像を作成するために、連続２フレームの画像を取得する。便宜上、最初に取得した画像を前画像、後に取得した画像を後画像と記載する。前画像から候補領域を取得し、画角内での候補領域の位置を記憶して、後画像の候補領域を前画像と同一とする。前画像、後画像からそれぞれ抽出された候補領域の各画素を比較することで、差分画像を作成する。差分値は絶対値で求められる。画素ごとに求められた差分値は、所定値以上か否かによって判断される。所定値以上であった場合は差分画像に反映され、そうでない場合は反映されない。そうして一定以上の差分値を持つ画素は差分領域１１として差分画像に反映される。このようにして、図２−Ｃ、図３−Ｃ、図４−Ｃの差分画像は生成される。

以下、図面を参照して本発明の好適な実施形態を例示的に詳しく説明する。但し、特に特定的な記載がない限り、この実施形態に記載されている構成要素やその処理順序などはこの発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図５は、第１の実施形態における機能ブロック図である。検出装置１００は、画像入力装置１１０、出力装置１２０、閾値データベース（閾値ＤＢ）１０６に接続しており、検出装置１００は、画像入力部１０１、顔領域検出部１０２、差分画像生成部１０３、差分割合算出部１０４、判定部１０５から構成される。検出装置１００は、情報処理装置であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等から構成され、プログラムが実行されることによって、上記各部の機能が実現されてもよい。

画像入力装置１１０は、検出装置１００に画像を出力するもので、本実施形態においては生体反応の検知や撮影ボタンの押下に基づいて撮像を開始するカメラが望ましい。カメラで撮像された画像である入力画像は、検出装置１００に入力される。

画像入力部１０１は、画像入力装置が出力した入力画像を検出装置１００に入力するものである。画像入力部１０１は、ネットワーク等につながれていて、ネットワークから画像が入力されるようになっていてもよい。

候補領域検出部１０２は、入力画像から顔検出機能を用いて入力画像中の顔領域を検出する。検出された顔領域は矩形で切り出され、候補領域としての顔領域画像を差分画像生成部１０３へ出力される。

差分画像生成部１０３は、顔領域画像を蓄積する。顔領域画像が２枚入力されると、その２枚から差分画像を生成する。差分画像生成部１０３は生成した差分画像を差分割合算出部１０４に出力する。

差分割合算出部１０４は、入力された差分画像から、差分画像中にしめる差分領域の面積の割合である差分割合を算出する。差分割合算出部１０４は、算出した差分割合を判定部１０５に出力する。

判定部１０５は、差分割合を受けると、閾値ＤＢ１０６から閾値を引き出す。差分割合と閾値とを比較し、その比較結果に基づいて、入力画像が生体、擬似まばたきありの写真、擬似まばたきなしの写真のどれであるかの判断を行う。判断結果を出力装置１２０に出力する。

出力装置１２０は、判定部１０５での判定結果を出力する。出力装置１２０の一例として、出力装置１２０は人物認証装置が望ましい。出力装置１２０は、本人と認証したらセキュリティを解除し、そうでない場合、セキュリティを解除せずに終了するという一態様が考えられる。出力は、スイッチを切るなどの直接的なものであってもよく、またネットワークへ出力してもよい。

以下、図６に示すフローチャートに沿って、第１の実施形態の動作を説明する。

入力装置１１０は入力画像を画像入力部１０１に出力する（ステップＳ１０１）。

入力画像は、画像入力部１０１を介して候補領域検出部１０２に出力される。候補領域検出部１０２は、入力画像から被写体の顔領域を検出し、顔矩形を顔領域画像として差分画像生成部１０３に出力する（ステップＳ１０２）。

差分画像生成部１０３は、２枚の顔領域画像から差分画像を生成し（ステップＳ１０３）、生成した差分画像を差分割合算出部１０４に出力する。

差分割合算出部１０４は、差分画像から差分値を求め、差分値から求めた差分割合を算出し（ステップＳ１０４）、判定部１０５に出力する。

判定部１０５は、差分割合と閾値Ａとを比較する（ステップＳ１０５）。差分割合が閾値Ａ以下であった場合、顔の一部の動き（たとえばまばたき）がないから写真と判定し、出力装置１２０に出力し（ステップＳ１０６）、そうでない場合はステップＳ１０７に進む。差分割合と閾値Ｂとを比較する（ステップＳ１０７）。差分割合が閾値Ｂ以上だった場合、図４−Ｃのように全体が動いて残像が移ったものとして写真と判定し（ステップＳ１０９）、そうでない場合は生体と判断して（ステップＳ１０８）出力装置１２０に出力する。

ステップＳ１０６での写真との判断は図３−Ｃに、ステップＳ１０８での生体との判断は図２−Ｃに、図４−ＣはステップＳ１０９での写真との判断で行っており、ステップＳ１０５、Ｓ１０７の判断はこのように区別されている。なお閾値Ａおよび閾値Ｂは、任意で定められてよいが、閾値Ａは閾値Ｂより小さい。前記面積の割合は、あらかじめ定められていてもよい。なお、閾値Ｂをまばたき時の差分より僅かに大きい値に設定すると、後述する図７−Ｃの差分１１が閾値Ｂより大きくなって、目隠しとまばたきとを区別することができることもある。

このようにして第１の実施形態のフローは完了する。

本実施形態は、写真に対するなりすましで、写真を平行移動させた場合だけでなく、写真を湾曲させた場合に応用できる。なぜなら、湾曲させたときも全体として差分が生じるからであり、図４−Ｃに示す差分画像と同様に、差分画像全体に差分領域が発生するからである。

第２の実施形態は、特に画面の一部に変化が加えられたことによって擬似まばたきを誤認識してしまう場合の対策である。被写体が生体かどうかを判定するために、差分画像と閾値を利用せず、まばたき検出を利用する。

図７は、その一例である。図７−Ｂは、目の部分に障害物１２が進入し、目を遮蔽したことを示す図であり、図７−Ｃは通常の顔領域画像図７−Ａとの差分画像を示している。他の例として、写真を折り曲げて擬似まばたきを発生させるものがある。

図７−Ｃを、図２−Ｃと比較すると、特に目領域の周辺に差分領域が現れるかどうかが異なる。すなわち候補領域を、図８に示すように、目の周囲に限定することで、差分領域の現われる可能性の高い部分のみに着目することになり、擬似まばたきであるかまばたきであるかの判断がより正確になる。なお図９の機能ブロック図において、候補領域検出部１０２´は、候補領域検出を行った後で候補領域を抽出しているが、候補領域検出部１０２´は候補領域である目領域の周辺と目の輪郭を抽出するものでもよい。

また、写真の目の部分に横方向の折り目を２ないし３本入れて折り目を開いたり閉じたりすることによってなされる擬似まばたきも、図７に示す目の周囲の差分画像から判断することができる。

図９は、擬似まばたきとまばたきを見分け、さらに生体かどうかを判断する実施形態の機能ブロック図である。第１の実施形態と同様である機能は省略する。

候補領域検出部１０２´は、顔領域を候補領域として抽出し、顔領域画像を差分画像生成部１０３´とまばたき検出部２０１へ出力する。まばたき検出部２０１は、候補領域内の顔がまばたきをしたかどうかを判定する。まばたきをしたかの判定は、既存のどの技術を利用してもよい。まばたき検出部は、まばたきを検出することができたかどうかの判断を判定部１０５´に出力する。判定部１０５´は、差分割合算出部１０４´と閾値ＤＢ１０６´との比較結果と、まばたき検出部のまばたき判断結果とに基づいた信号を出力装置１２０´に出力する。

図１０に示すフローチャートを用いて、第２の実施形態のフローを説明する。ステップＳ２０１からステップＳ２０６は、図６におけるステップＳ２０１からステップＳ２０６とほぼ同一であるので、省略する。ステップＳ２０５において差分割合が閾値以上でないと判断された場合、まばたき検出部２０１は、まばたき検出を行う（ステップＳ２０７）。まばたき検出の結果（ステップＳ２０８）、被写体がまばたきしたと判断された場合、生体と判断し（ステップＳ２０９）、そうでない場合、写真と判断して（ステップＳ２１０）判定部１０５´は出力装置１２０´に出力する。

このようにして、第２の実施形態のフローは完了する。

第３の実施形態は、顔認証装置に第１の実施形態を導入した場合である。本実施形態は、本人であるかを確認する一対一照合に対応しているが、特にそれに縛られることはない。

図１１は、本実施形態の機能ブロック図を示している。顔認識部３０６は、既存の技術を利用して、入力画像中の画像が顔データベース（顔ＤＢ）３０８に記憶されている顔情報と一致するかどうかを判断する。顔認識部３０６は判定部１０５´´と接続しており、判定部で生体と判断された場合に顔認識処理が行われる。その他の機能は第１の実施形態とほぼ同様であるため省略する。

以下、図１２を利用して第３の実施形態のフローを説明する。画像入力部１０１´´が画像入力装置１１０´´から画像入力を受ける（ステップＳ３０１）と、候補領域検出部１０２´´に入力画像を出力する。候補領域検出部１０２´´は画像の入力を受けると、画像中から顔領域を抽出する（ステップＳ３０２）。差分画像生成部１０３´´、差分値算出部１０４´´および判定部１０５´´は、閾値ＤＢ１０６´´に記憶されている情報に基づいて顔領域画像内の顔を生体かどうか判断する（ステップＳ３０４）。図６におけるステップＳ１０３からステップＳ１０９のフローにより生体でないと判断された場合、セキュリティを解除せずに（ステップＳ３０６）、処理を終了する。生体であると判断された場合、判定部１０５´´は顔認識部３０６に顔領域画像を出力する。顔認識部３０６は、顔ＤＢ３０８に記憶されている顔情報を引き出し、顔領域画像中の顔と、比較する（ステップＳ３０７）。その結果、本人である場合、セキュリティを解除して（ステップＳ３０８）処理を終了し、そうでない場合、セキュリティを解除せずに（ステップＳ３０９）処理を終了する。

こうして第３の実施形態のフローは完了する。

実施形態の変形例として、候補領域は、顔を含む矩形でなく、顔輪郭としてもよい。または、候補領域は、顔矩形を抽出した後、中心を同一にして相似形のまま小さくしてもよい。これにより、顔周辺の背景が候補領域に入らなくなるため、差分の精度が向上する。目検出機能を用いて抽出することのできる両目矩形、両目輪郭内部としてもよい。

２フレーム間の差分を採る代わりに、残像やボケを採る機能を備えてもよい。その機能は既存の技術を用いて実施される。

差分を採る際に、連続する２フレームの画像を利用するものでなくともよい。たとえば数フレーム間を採り続け、最も差分の大きい２フレームを採用してもよいし、所定のタイミングで取得した２フレームを採用してもよい。これにより、写真かどうかの判定がより正確になる。

閾値ＤＢ１０６´´、顔ＤＢ３０２は、それぞれ装置内部に構成されてもよい。

第３の実施形態において、顔認識部３０１は、顔領域検出部１０２´´と接続され、生体かどうか判断される前に、本人かどうかの確認処理を行ってもよい。生体かどうかの判断とともに、本人かどうかの確認を行ってもよい。

実施形態は、それぞれ環境などに合わせて最適なものが利用されてもよいし、可能な限りそれぞれを組み合わせて利用されてもよい。

差分割合は、画素の変化の合計でもよいし、画素の変化の絶対値の合計でもよいし、最大値と最小値とを利用してもよいし、その他の変動を示す差分値でもよい。

図２−Ｂを抽出した候補領域は、図２−Ａの候補領域に依存しなくともよい。他の図においても同様である。これにより、正確な顔が抽出でき、差分値を正確に求められる場合がある。

顔を利用した生体認証装置であって、まばたきなど被写体の変動を検出するものに適用できる。

画像内から抽出する候補領域の一例を示す図である。 被写体として生体を撮像したときの候補領域の画像と差分画像を示す図である。 被写体として写真を撮像したときの候補領域の画像と差分画像を示す図である。 被写体として動く写真を撮像したときの候補領域の画像と差分画像を示す図である。 一実施形態の機能ブロック図である。 一実施形態のフローチャートである。 被写体として一部が遮蔽された写真を撮像したときの候補領域の画像と差分画像を示す図である。 画像内から抽出する候補領域の一例を示す図である。 一実施形態の機能ブロック図である。 一実施形態のフローチャートである。 一実施形態の機能ブロック図である。 一実施形態のフローチャートである。

符号の説明

１０ 候補領域
１１ 差分領域
１２ 障害物
１００ 検出装置
１０１ 画像入力部
１０２ 候補領域検出部
１０３ 差分画像生成部
１０４ 差分割合算出部
１０５ 判定部
１０６ 閾値ＤＢ
１１０ 画像入力装置
１２０ 出力装置
２０１ まばたき検出部
３０１ 顔認識部
３０２ 顔ＤＢ

Claims (5)

1. 被写体を示す第１フレームの画像と、前記被写体を示しており且つ第１フレームよりも後に取得された第２フレームの画像とを入力する画像入力手段と、
   前記画像入力手段にて入力された画像中の顔領域を検出し、前記顔領域の画像である顔領域画像を出力する領域検出手段と、
   前記第１フレームから得られる前記顔領域画像と前記第２フレームから得られる前記顔領域画像との差分値を画素毎に示した差分画像を生成する差分画像生成手段と、
   前記差分値が所定値以上になっている画素を差分領域とし、前記差分画像の面積に対する前記差分領域の面積の割合である差分割合を求める差分割合出力手段と、
   前記差分割合と閾値とを比較し、この比較の結果に基づいて前記被写体が生体か否かを判定する判定手段とを備え、
   前記閾値として、第１閾値と、第１閾値よりも大きな第２閾値とが設定されており、
   前記判定手段は、前記差分割合が第１閾値よりも大きく且つ第２閾値未満である場合に前記被写体を生体と判定し、前記差分割合が第１閾値以下または第２閾値以上の場合に前記被写体を写真と判定する検出装置。
2. 前記被写体が生体であると前記判定手段に判定された場合、前記顔領域画像に示される顔を対象として顔認証を行う顔認証手段を備える請求項１に記載の検出装置。
3. 前記領域検出手段は、少なくとも目と目の周辺とを含む領域を、前記顔領域として検出する請求項１または２に記載の検出装置。
4. 検出装置が、被写体を示す第１フレームの画像と、前記被写体を示しており且つ第１フレームよりも後に取得された第２フレームの画像とを入力する画像入力ステップと、
   前記検出装置が、前記画像入力ステップにて入力された画像中の顔領域を検出し、前記顔領域の画像である顔領域画像を出力する領域検出ステップと、
   前記検出装置が、前記第１フレームから得られる前記顔領域画像と前記第２フレームから得られる前記顔領域画像との差分値を画素毎に示した差分画像を生成する差分画像生成ステップと、
   前記検出装置が、前記差分値が所定値以上になっている画素を差分領域とし、前記差分画像の面積に対する前記差分領域の面積の割合である差分割合を求める差分割合出力ステップと、
   前記検出装置が、前記差分割合と閾値とを比較し、この比較の結果に基づいて前記被写体が生体か否かを判定する判定ステップとを含み、
   前記閾値として、第１閾値と、第１閾値よりも大きな第２閾値とが設定されており、
   前記判定ステップにおいて、前記差分割合が第１閾値よりも大きく且つ第２閾値未満である場合に前記検出装置は前記被写体を生体と判定し、前記差分割合が第１閾値以下または第２閾値以上の場合に前記検出装置は前記被写体を写真と判定する生体判定方法。
5. 被写体を示す第１フレームの画像と、前記被写体を示しており且つ第１フレームよりも後に取得された第２フレームの画像とを入力する画像入力ステップと、
   前記画像入力ステップにて入力された画像中の顔領域を検出し、前記顔領域の画像である顔領域画像を出力する領域検出ステップと、
   前記第１フレームから得られる前記顔領域画像と前記第２フレームから得られる前記顔領域画像との差分値を画素毎に示した差分画像を生成する差分画像生成ステップと、
   前記差分値が所定値以上になっている画素を差分領域とし、前記差分画像の面積に対する前記差分領域の面積の割合である差分割合を求める差分割合出力ステップと、
   前記差分割合と閾値とを比較し、この比較の結果に基づいて前記被写体が生体か否かを判定する判定ステップとを、検出装置に実行させるプログラムであり、
   前記閾値として、第１閾値と、第１閾値よりも大きな第２閾値とが設定されており、
   前記判定ステップにおいて、前記差分割合が第１閾値よりも大きく且つ第２閾値未満である場合に前記検出装置が前記被写体を生体と判定し、前記差分割合が第１閾値以下または第２閾値以上の場合に前記検出装置が前記被写体を写真と判定するようになっているプログラム。
   

Images