JP4679121B2 - 赤外線を用いた人間識別装置およびその方法 - Google Patents

Description

本発明は赤外線を用いた人間識別装置およびその方法に係り、特に入力映像に対して赤外線を用いて人の顔を写真と区別する装置およびその方法に関する。

人の目の代わりに、人の顔を区別する顔認識システムは、ユーザの便宜性の面で生体認識システムのうち最も卓越したシステムであるといえる。パスワードやコードなどを入力する手続きの必要なしに、ユーザは単にカメラを見るだけでよく、特に指紋や紅彩認識とは違って身体的接触を要求しないという点でシステムを用いるユーザの抵抗感を減らすことができる。

これにより、米国をはじめとする複数の国では最近、銀行などの金融機関で、顧客がパスワードや指紋などの本人認証方式に替えて顔の特徴で本人確認する顔認識技術が商用利用されるようになった。顔認識システムは、その他にも空港や港湾などでのパスワード管理システムとしての利用や、厳格な出入統制を要する建物の入退場システムや、超高速ネットワークを用いた電子決裁または電子商取引における決裁権者やユーザを認証する手段など多用な分野に広く適用することができるという長所を有している。

しかし、顔認識システムを利用する入退場システムの場合、非登録者が自身の顔の代わりに登録者の写真あるいは登録者の顔と似たマネキンなどを用いて顔認識または検証を試みて入退場を許可される問題が発生する可能性がある。つまり、非登録者が登録者の写真を見せれば、顔認識システムは写真の映像から、登録者の顔を認識して入退場を許可する可能性がある。特に、インターネットの発達、デジタルカメラの普及にともなって、特定人物の写真の取得が容易になったため、このような問題が発生しやすい。したがって、このような問題点を解決するために、実際の人間の顔と写真などを区別することが必要である。

本発明が解決しようとする技術的課題は、被写体に赤外線を照射して顔映像を得て、得られた顔映像を、赤外線を含んでいない映像と比較することによって、写真などから人を識別する人間識別装置およびその方法を提供するところにある。

前記の技術的課題を達成するためになされた本発明の人間識別装置は、
所定の制御信号によって、赤外線を照射して、または照射せずに被写体を撮影する撮像部と、前記制御信号を出力し、前記撮像部から出力される映像を取得して、各映像内の所定領域を検出し、この検出された領域における前記赤外線が含まれる映像と含まれない映像とを比較して、前記被写体が人間か否かを判別する映像処理部と、を含むことを特徴としている。

前記の技術的課題を達成するためになされた本発明の人間識別方法は、（ａ）被写体を撮影して第１映像を取得する段階と、（ｂ）赤外線を前記被写体に照射し、前記被写体を撮影して第２映像を取得する段階と、（ｃ）前記第１映像と前記第２映像とから所定領域を検出する段階と、（ｄ）検出された２つの領域を比較して差異の有無を判別して前記被写体が人間か否かを判別する段階と、を含むことを特徴としている。

前記の技術的課題を達成するためになされた本発明の人間識別方法は、（ａ）赤外線を被写体に照射して、前記被写体を撮影する段階と、（ｂ）撮影された映像に対して可視光線フィルタリングおよび赤外線フィルタリングを行なって、赤外線だけが含まれる赤外線映像と可視光線だけが含まれる可視光線映像とを取得する段階と、（ｃ）前記赤外線映像および前記可視光線映像の所定領域を検出する段階と、（ｄ）検出された２つの領域間の差異の有無を判別して前記被写体が人間か否かを判別する段階と、を含むことを特徴としている。

本発明によれば、例えば、顔認識を用いた入退場システムにおいて、非登録者が登録者の写真を用いて入退場許可を受けることを防止できるため、安全な入退場システムが実現できる。また、顔認識を利用する保安システムにおいて、実際の人間の顔と写真などとを区別することによって、高い保安性を有するシステムを構築することができる。

以下、添付した図面を参照しつつ本発明の実施例をより詳細に説明する。

図１は、本実施例に係る人間識別装置のブロック図である。図１に示した人間識別装置は、撮像部１０および映像処理部１１を含む。撮像部１０はカメラ１０１と赤外線発生部１０２を備える。映像処理部１１は撮像制御部１１１、映像取得部１１２、領域検出部１１３および比較部１１４を備える。

カメラ１０１は、ＣＣＤ（Charge Coupled Device）カメラのように取得した映像に対してデジタル信号処理が可能であるものが適切である。赤外線発生部１０２はカメラ１０１周囲に配置されることが望ましく、撮像制御部１１１で出力される制御信号によって赤外線を発光させて被写体に照射する。赤外線発生部１０２は複数の赤外線ＬＥＤから構成され、この赤外線ＬＥＤはカメラ１０１周囲に適切に分散されて配置されている。

撮像制御部１１１は赤外線発光時間を調節して適切な制御信号を出力する。この際、赤外線発光のための制御信号は、カメラ１０１を駆動する信号と同期させる必要がある。例えば、赤外線が含まれる映像を取得しようとする場合、被写体がカメラの前に位置したときに、撮像制御部１１１は赤外線発生部１０２とカメラ１０１との同期をとって実質的に同時に駆動させる制御信号を出力する。

映像取得部１１２はカメラ１０１から撮影された映像を取得し、領域検出部１１３は、この取得した映像に含まれる目領域を検出する。目領域を検出するのは、人間の目は顔の他の領域に比べて赤外線反射率の差が大きいためである。すなわち、人の目における紅彩領域および瞳孔領域は、赤外線反射率の差が大きいためである。目領域の検出は、従来技術のいかなる目領域の検出アルゴリズムを使用しても良い。

映像取得部１１２は、可視光線フィルタ（図示せず）および赤外線フィルタ（図示せず）をさらに備える構成としてもよい。フィルタリングはカメラ１０１から取得した映像に対して行なわれる。ここで、カメラ１０１から取得した映像は、赤外線が含まれた映像であり、可視光線フィルタを通過した映像は赤外線だけを含み、赤外線フィルタを通過した映像は可視光線だけを含んでいる。

領域検出部１１３はハイライト感知部（図示せず）をさらに備える構成としてもよい。ハイライトの感知は、写真などを識別するために有効である。すなわち、目領域を除く人の顔は、赤外線にそれほど影響を受けないが、写真用印画紙、額縁に入った絵または雑誌のように表面が滑らかな部材は、著しく高い赤外線反射率を有しているために、ハイライトが感知されれば比較部１１４による映像比較をすることなく、直ちに人間の顔でないと判別することができる。

このハイライト感知部は、ヒストグラムを用いてハイライトを感知することもできる。すなわち、取得した映像の各画素の輝度値を調査する。ここで、８ビットの解像度を有する映像であれば、高い輝度を有する画素数が所定の値を超えると、例えば、２３０の輝度レベルを有する画素数が、他の輝度レベルを有する画素数より多ければ、人間の顔ではない写真などであると判別することができる。

比較部１１４は、赤外線が含まれる映像と可視光線だけが含まれる映像とを比較して、２つの映像の目領域における赤外線の反射の程度によって人間の顔であるか否かを判別する。
例えば、赤外線に晒された人間の目は、晒されていない目と比較して、紅彩部分は明るくなり、瞳孔部分は暗くなる。しかし、写真などの目領域は、赤外線に晒されても、ほとんど変化がない。変化の程度は次の式によって決定される。

ここで、ＡおよびＢは、それぞれ、赤外線に晒された映像の画素ベクトルと赤外線に晒されていない映像の画素ベクトルである。

数式１によれば、ｄｉｆｆ値が１に近いほど変化がないことを示している。人間の顔であるか否かを判定するためのｄｉｆｆ値の範囲は、実験的に決定することができる。

図２は、本実施例の人間識別方法を説明するフローチャートである。図２によると、撮像制御部１１１は、赤外線発生部１０２がオフの状態で、カメラ１０１を駆動して撮影する（２１段階）。映像取得部１１２はカメラ１０１から出力される映像を取得する（２２段階）。撮像制御部１１１は、赤外線発生部１０２がオンの状態で、赤外線発生部１０２とカメラ１０１とを実質的に同時に駆動して撮影し（２３段階）、映像取得部１１２はカメラ１０１から出力される映像を取得する（２４段階）。領域検出部１１３は取得した２つの映像から目領域を検出する（２５段階）。目領域の検出は、２つの映像ともに、または１つの映像に対してのみ行われる。後者の場合、残りの一方の映像の目領域は、先の映像の検出された目領域の位置に基づいて検出することができる。これは２つの映像間に時間的に１〜２フレーム程度の差があるだけなので、人がこの短い時間の間ではほとんど動かないと仮定できるからである。

赤外線が含まれる映像に対しては、前記したようなハイライトを感知する過程をさらに行っても良い。この場合、ハイライトが感知されれば、当該映像は人間の顔の映像ではないと判断して人間識別過程を終了することもできる。

ハイライトが感知されない、またはハイライト感知過程を行っていない場合には、検出した目領域を比較し（２６段階）、人間の顔であるか、写真であるかを判別する（２７段階）。

図３は、本発明にかかる人間識別方法の他の実施例を説明するフローチャートである。図３によると、撮像制御部１１１は赤外線発生部１０２とカメラ１０１とを実質的に同時に駆動して撮影する。映像取得部１１２はカメラ１０１から出力される映像に対して、並行して可視光線フィルタリング（３２段階）、および赤外線フィルタリング（３５段階）を行って、それぞれ赤外線映像のみを含む映像を取得し（３３段階）、可視光線のみを含む映像を取得する（３６段階）。そして、取得した赤外線映像および可視光線映像に対して、それぞれ目領域を検出する（３４段階、３７段階）。図２の場合と同様に、目領域の検出は２つの映像に対して、両方共に行うか、１つの映像に対してのみ行い、残りの他の映像では先の映像の検出された目領域の位置に基づいて検出することもできる。

赤外線が含まれる映像に対しては、ハイライトを感知する過程をさらに行うこともできる。もし、ハイライトが感知されれば、当該映像は人間の顔の映像ではないと判断して人間識別過程を終了することもできる。

ハイライトが感知されない、またはハイライト感知過程を行わない場合には、検出された目領域を比較して人間の顔であるか否かを判別する（３８段階）。

図４Ａおよび図４Ｂは、それぞれ人間の顔に赤外線を照射していない場合と、照射した場合とに取得した映像を比較したものである。この比較によれば、赤外線を照射した場合、目領域で紅彩と瞳孔との明るさ差が著しいことが分かる。これは紅彩の赤外線反射率が高く、瞳孔は相対的に赤外線反射率が低いためである。

図５Ａおよび図５Ｂは、それぞれ写真に赤外線を照射していない場合と、照射した場合とに取得した映像を比較したものである。この比較によれば、目領域における明るさの差が実質的に現れていないことが分かる。

以上、説明した本発明を適用した実験の結果、９９％の写真感知率および５％の誤感知率という高い精度が得られ、２〜３ｍｓの速い識別速度を得られた。
なお、ここで、写真感知率とは、写真を写真であると判別した比率を言い、誤感知率は人の顔を人の顔ではないと判別した比率を言う。

本発明は、入力映像に対して赤外線を用いて人の顔を写真と区別する人間識別装置であって、銀行など金融機関で顔の特徴によって本人確認をする場合、空港や港湾などでのパスワード管理システム、厳格な入退場管理を要する建物の出入システムや超高速ネットワークを用いた電子決裁、電子商取引における決裁権者やユーザを認証する手段など多様な分野に広く適用することができる。

人間識別装置のブロック図である。 人間識別方法を説明するフローチャートである。 他の実施例における人間識別方法を説明するフローチャートである。 人間の顔に赤外線を照射していない場合に取得した映像を示す写真である。 人間の顔に赤外線を照射した場合に取得した映像を示す写真である。 写真に赤外線を照射していない場合に取得した映像を示す写真である。 写真に赤外線を照射した場合に取得した映像を示す写真である。

符号の説明

１０ 撮像部
１１ 映像処理部
１０１ カメラ
１０２ 赤外線発生部
１１１ 撮像制御部
１１２ 映像取得部
１１３ 領域検出部
１１４ 比較部

Claims (16)

1. 所定の制御信号によって、赤外線を照射して、または照射せずに被写体を撮影する撮像部と、
   前記制御信号を出力し、前記撮像部から出力される映像を取得して、各映像内の所定領域を検出し、この検出された領域における前記赤外線が含まれる映像と含まれない映像とを比較して、前記被写体が人間の体か否かを判別する映像処理部であって、前記領域は人間の目であり、赤外線が照射された目においては、赤外線が照射されない目に比べて、虹彩部分が明るくなり且つ瞳孔部分が暗くなることに基づいて判別される、映像処理部と、
   を含むことを特徴とする人間識別装置。
2. 前記撮像部は、
   前記制御信号によって赤外線を発生させて前記被写体に照射する赤外線発生部と、
   前記制御信号によって駆動され、前記被写体を撮影するカメラと、
   を含むことを特徴とする請求項１に記載の人間識別装置。
3. 前記映像処理部は、
   前記赤外線発生部を使用せずに前記カメラのみを駆動して前記被写体を撮影し、前記赤外線発生部および前記カメラを実質的に同時に駆動して前記被写体を撮影する制御信号を出力すること、
   を特徴とする請求項２に記載の人間識別装置。
4. 前記映像処理部は、
   前記制御信号を前記撮像部に出力する撮像制御部と、
   前記カメラから赤外線が含まれる映像および赤外線が含まれない映像を取得する映像取得部と、
   取得した２つの映像から所定領域を検出する領域検出部と、
   検出した領域間の差異の有無を判別して、前記被写体が人間の体か否かを判別する比較部であって、前記領域は人間の目を含み、赤外線が照射された目においては、赤外線が照射されない目に比べて、虹彩部分が明るくなり且つ瞳孔部分が暗くなることに基づいて判別される、比較部、
   を含むことを特徴とする請求項３に記載の人間識別装置。
5. 前記領域検出部に接続され、前記赤外線が含まれる映像から検出した領域に対してハイライトの有無を感知し、ハイライトが感知されれば、前記被写体が人間の体ではないと判別するハイライト感知部をさらに含むこと、
   を特徴とする請求項４に記載の人間識別装置。
6. 前記映像処理部は、
   前記赤外線発生部および前記カメラを実質的に同時に駆動して前記被写体を撮影する制御信号を出力すること、
   を特徴とする請求項２に記載の人間識別装置。
7. 前記映像処理部は、
   前記制御信号を前記撮像部に出力する撮像制御部と、
   前記カメラから出力される映像を取得する映像取得部と、
   取得した映像に対して可視光線フィルタリングおよび赤外線フィルタリングを行って赤外線だけおよび可視光線だけを含む２つの映像を出力するフィルタ部と、
   前記２つの映像から所定領域を検出する領域検出部と、
   検出した領域間の差異の有無を判別して前記被写体が人間の体か否かを判別する比較部であって、前記領域は人間の目を含み、赤外線が照射された目においては、赤外線が照射されない目に比べて、虹彩部分が明るくなり且つ瞳孔部分が暗くなることに基づいて判別される、比較部、と、
   を含むことを特徴とする請求項６に記載の人間識別装置。
8. 前記フィルタ部の可視光線をフィルタリングする側に接続され、赤外線だけを含む映像に対してハイライトの有無を感知して、ハイライトが感知されれば、前記被写体が人間の体ではないと判別するハイライト感知部をさらに備えること、
   を特徴とする請求項７に記載の人間識別装置。
9. （ａ）被写体を撮影して第１映像を取得する段階と、
   （ｂ）赤外線を前記被写体に照射し、前記被写体を撮影して第２映像を取得する段階と、
   （ｃ）前記第１映像と前記第２映像とから所定領域を検出する段階と、
   （ｄ）検出された２つの領域を比較して差異の有無を判別して前記被写体が人間の体か否かを判別する段階であって、前記領域は人間の目であり、赤外線が照射された目においては、赤外線が照射されない目に比べて、虹彩部分が明るくなり且つ瞳孔部分が暗くなることに基づいて判別される、段階、
   を含むことを特徴とする人間識別方法。
10. 前記（ｄ）段階は、
    前記第２映像の所定領域の画素ベクトルがＡであり、前記第１映像の所定領域の画素ベクトルがＢである時、次の式、
    により求められるｄｉｆｆ値によって前記２つの領域間の差異の程度を判別すること、
    を特徴とする請求項９に記載の人間識別方法。
11. 前記（ｃ）段階は、
    検出された領域のうち前記赤外線を含む映像に対してハイライトを感知する段階と、
    ハイライトが感知されれば、前記被写体が人間の体ではないと決定して終了する段階と、
    をさらに備える請求項９に記載の人間識別方法。
12. 前記ハイライトは検出された領域の各画素に対する輝度値のヒストグラムを用いて感知されること、
    を特徴とする請求項１１に記載の人間識別方法。
13. （ａ）赤外線を被写体に照射して、前記被写体を撮影する段階と、
    （ｂ）撮影された映像に対して可視光線フィルタリングおよび赤外線フィルタリングを行なって赤外線が含まれる赤外線映像と可視光線だけが含まれる可視光線映像とを取得する段階と、
    （ｃ）前記赤外線映像および前記可視光線映像の所定領域を検出する段階と、
    （ｄ）検出された２つの領域間の差異の有無を判別して前記被写体が人間の体か否かを判別する段階であって、前記領域は人間の目であり、赤外線が照射された目においては、赤外線が照射されない目に比べて、虹彩部分が明るくなり且つ瞳孔部分が暗くなることに基づいて判別される、段階、
    を含むことを特徴とする人間識別方法。
14. 前記（ｄ）段階は、
    前記赤外線映像の所定領域の画素ベクトルがＡであり、前記可視光線映像の所定領域の画素ベクトルがＢであるとき、次の式、
    により求められるｄｉｆｆ値によって前記２つの領域間の差異の程度を判別すること、
    を特徴とする請求項１３に記載の人間識別方法。
15. 前記（ｂ）段階は、
    前記赤外線映像に対してハイライトを感知する段階と、
    前記赤外線映像でハイライトが感知されれば、前記被写体が人間の体ではないと決定して手順を終了する段階と、
    をさらに含むことを特徴とする請求項１３に記載の人間識別方法。
16. 前記ハイライトは各映像の画素に対する輝度値のヒストグラムを用いて感知されること、
    を特徴とする請求項１５に記載の人間識別方法。