JP4981700B2 - 顔認証装置 - Google Patents

Description

本発明は、予め登録されたテンプレートと認証のために撮像された顔画像とを用いて人物を認証する顔認証装置に関し、特に、認証用の顔画像として光変調画像を用いる顔認証装置に関するものである。

本出願人は、周囲光（例えば、太陽光）の影響を受けない安定した濃淡画像を取得することにより、屋外の太陽光下であっても高い認証精度が確保できる顔認証装置を既に提案している（例えば、特許文献１参照）。この従来装置では、発光ダイオードが発する赤外光を高速変調した変調光を人物の顔に照射し、ＣＣＤからなる撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの顔画像（光変調画像）を取得する。さらに当該従来装置では、光変調画像から人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することにより、テンプレートに対応した人物の顔を認証する。
特開２００６−１５５４２２号公報

ところで、顔認証に用いられる光変調画像は、変調光が人物の顔などに反射した反射光成分の濃淡画像として形成されるため、太陽光などの周囲光が反射した反射光成分からなる通常の画像とは見え方が異なる。したがって、顔認証の結果を事後に確認するために顔画像の履歴を残す場合、あるいは、認証用の顔画像の画角などを確認するために顔画像を表示する場合、可視光から得られる画像を別の撮像装置で撮像しなければならない。しかしながら、別の撮像装置で履歴用あるいは画角等の確認用の画像を撮像する場合、光変調画像と異なる画角で撮像されるため、履歴や画角の確認がしづらいものであった。

本発明は、上記事情に鑑みて為されたものであり、その目的は、光変調画像と画角が同一となる可視画像を光変調画像と同時に得ることができる顔認証装置を提供することにある。

請求項１の発明は、上記目的を達成するために、対象空間に赤外光を変調した変調光を照射する変調光照射手段と、前記変調光に感度を有する撮像素子を具備し撮像素子で受光する反射光のうちで変調光に対応する反射光成分のみを画素値とする光変調画像を出力する第１の撮像手段と、可視光に感度を有する撮像素子を具備し当該撮像素子で撮像される対象空間の可視画像を出力する第２の撮像手段と、第１の撮像手段の受光光軸と第２の撮像手段の受光光軸を対象空間に対して一致させる光学系と、第１の撮像手段から出力される光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段と、認証手段が認証した光変調画像と略同時に第２の撮像手段で撮像された可視画像を記憶する画像記憶手段とを備えたことを特徴とする。

請求項１の発明によれば、可視光に感度を有する撮像素子を具備し当該撮像素子で撮像される対象空間の可視画像を出力する第２の撮像手段と、第１の撮像手段の受光光軸と第２の撮像手段の受光光軸を対象空間に対して一致させる光学系とを備えているので、光変調画像と画角が同一となる可視画像を光変調画像と同時に得ることができる。しかも、画像記憶手段に記憶した可視画像によって顔認証の履歴を容易に確認することができる。

請求項２の発明は、請求項１の発明において、第２の撮像手段で撮像される範囲全体を画像記憶手段に記憶することを特徴とする。

請求項３の発明は、請求項１又は２の発明において、認証手段がテンプレートと照合した１フレームの光変調画像と略同時に第２の撮像手段で撮像されたフレームを含む前後複数フレームの可視画像を画像記憶手段に記憶することを特徴とする。

請求項３の発明によれば、認証の対象となった人物の顔画像の履歴を容易に確認することができる。

請求項４の発明は、請求項１〜３の何れか１項の発明において、認証手段が認証した１フレームの光変調画像と略同時に第２の撮像手段で撮像されたフレームを含む前後複数フレームの可視画像を画像記憶手段に記憶することを特徴とする。

請求項４の発明によれば、認証された人物の顔画像の履歴を容易に確認することができる。

請求項５の発明は、請求項１，３，４の何れか１項の発明において、認証手段における特徴量の抽出に関する情報に基づいて第２の撮像手段で撮像された可視画像より人物の顔を含む部分的な画像を切り出す画像処理手段を備え、画像処理手段が切り出した部分的な可視画像を画像記憶手段に記憶することを特徴とする。

請求項５の発明によれば、画像記憶手段の記憶容量を削減することができる。

請求項６の発明は、請求項５の発明において、画像処理手段は、切り出す部分の画像の寸法が一定となるように可視画像を拡大又は縮小することを特徴とする。

請求項６の発明によれば、顔画像の大きさ（寸法）が一定になることで履歴をさらに容易に確認することができる。

請求項７の発明は、請求項１〜６の何れか１項の発明において、可視画像を表示する画像表示手段を備えたことを特徴とする。

請求項７の発明によれば、可視画像を画像表示手段に表示することで光変調画像の画角を容易に確認することができる。

請求項８の発明は、請求項７の発明において、画像表示手段は、可視画像を鏡像で表示することを特徴とする。

請求項８の発明によれば、可視画像を見やすく表示できる。

請求項９の発明は、請求項７又は８の発明において、認証手段における特徴量の抽出に関する情報に基づいて可視画像における人物の顔を含んだ部分を検出するとともに当該部分を囲む枠を可視画像に重ねる形で画像表示手段に表示させる画像処理手段を備えたことを特徴とする。

請求項９の発明によれば、画像表示手段に可視画像とともに枠が表示されれば、認証装置が光変調画像から人物の顔の特徴点を正しく抽出できたと判断できる。

請求項１０の発明によれば、請求項７又は８の発明において、認証手段における特徴量の抽出に関する情報に基づいて第２の撮像手段で撮像された可視画像より人物の顔を含む部分的な画像を切り出すとともに切り出した部分的な可視画像と当該部分的な可視画像の元の可視画像を同時に画像表示手段に表示させる画像処理手段を備えたことを特徴とする。

請求項１０の発明によれば、画像表示手段に部分的な可視画像が表示されれば、認証手段が光変調画像から人物の顔の特徴点を正しく抽出できたと判断できる。

請求項１１の発明は、請求項７又は８の発明において、画像表示手段は、テンプレートの作成時に取得された可視画像と、第２の撮像手段で撮像される可視画像とを同時に表示することを特徴とする。

請求項１１の発明において、テンプレートの作成時に取得された可視画像を、実際に認証が行われる際に第２の撮像手段で撮像される可視画像と同時に画像表示手段に表示することにより、正しいテンプレートが採用されていなるか否かを簡単に確認することができる。

請求項１２の発明は、請求項１１の発明において、画像表示手段は、認証手段が複数のテンプレートで認証処理を行った場合に認証したテンプレートの作成時に取得された可視画像のみを強調して表示することを特徴とする。

請求項１２の発明によれば、認証結果の正誤を簡単に確認することができる。

本発明によれば、光変調画像と画角が同一となる可視画像を光変調画像と同時に得ることができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。

図５は、本実施形態の顔認証装置Ａを含む集合住宅用セキュリティシステムのシステム構成例を示している。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、顔認証装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、テンキー装置Ｈ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。

ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。尚、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。

電気錠制御盤Ｄは、共同玄関Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や顔認証装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人がテンキー装置Ｈを操作して当該住人に割り当てられているＩＤ番号を入力すると、顔認証装置Ａでは、テンキー装置Ｈから受け取ったＩＤ番号に対応するテンプレートを用いて当該住人の顔認証を行い、認証できればシステム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、顔認証装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、顔認証装置Ａによる認証が不可であった場合、システム制御盤Ｇでは、顔認証装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。尚、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。

図１に本実施形態の顔認証装置Ａのブロック図を示す。本実施形態の顔認証装置Ａは、対象空間に可視光以外の光を変調した変調光を照射する変調光照射手段と、前記変調光に感度を有する撮像素子を具備し撮像素子で受光する反射光のうちで変調光に対応する反射光成分のみを画素値とする光変調画像を出力する第１の撮像手段と、可視光に感度を有する撮像素子を具備し当該撮像素子で撮像される対象空間の可視画像を出力する第２の撮像手段と、第１の撮像手段の受光光軸と第２の撮像手段の受光光軸を対象空間に対して一致させる光学系と、第１の撮像手段から出力される光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段とを備えている。

変調光照射手段は、赤外光を発光する発光ダイオード１と、非常に高い周波数（例えば、１０メガヘルツ）で発光ダイオード１を駆動することにより、人物のいる対象空間に変調光を照射させる光変調駆動制御部２とからなる。光学系は、両凸レンズからなる結像レンズ３と、被写体（人物Ｘ）に対して結像レンズ３の後方に配置されたハーフミラー４とからなる。第１の撮像手段は、被写体に対してハーフミラー４の後方に配置され、赤外光のみを透過させる赤外光フィルタ５と、赤外光フィルタ５を透過した赤外光で被写体を撮像する光変調カメラ６とからなる。この光変調カメラ６は、赤外光に感度を有する撮像素子（例えば、ＣＣＤ＜電荷結合素子＞）を具備し、光変調駆動制御部２から出力されるタイミング信号に基づき、発光ダイオード１の発光周期に同期して、撮像素子の各画素の出力から赤外光の反射光成分のみを取り出す処理（以下、「同期検波処理」と呼ぶ。）を行い、同期検波処理で取り出される反射光成分を画素値とする光変調画像を生成する。但し、光変調カメラ６の具体構成については、特許文献１にも記載されているように既に公知であるから図示並びに詳細な説明は省略する。

認証手段たる認証部７は、光変調カメラ６から出力される光変調画像から人物の顔の特徴量を抽出する特徴量抽出処理と、特徴量を抽出する過程で人物の顔の位置を検出する顔検出処理と、顔検出処理で検出された人物の顔の部分の特徴量を、後述する画像記憶部に予め登録（記憶）されているテンプレートと照合することでその人物が予め登録されている人物（本実施形態では集合住宅の住人）か否かを判断する認証処理とを行う。認証部７による認証結果（認証可又は認証不可）はシステム制御盤Ｇに伝送される。

システム制御盤Ｇは、顔認証装置Ａから受け取った認証結果が認証可であれば、電気錠制御盤Ｄに電気錠を解錠させるとともにエレベータ制御盤Ｅにエレベータを運転させ、さらに宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、顔認証装置Ａから受け取った認証結果が認証不可であれば、システム制御盤Ｇは電気錠制御盤Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆに対して何の制御も行わない。よって、予め登録されていない人物（集合住宅の住人以外の人物）が勝手に集合住宅内に侵入することを阻止できる。

第２の撮像手段は、ハーフミラー４で反射された光から可視光のみを透過する可視光フィルタ８と、可視光フィルタ８を透過した可視光で被写体を撮像するカラーカメラ９とからなる。カラーカメラ９は、可視光に感度を有する撮像素子（例えば、ＣＣＤ＜電荷結合素子＞）を具備し、撮像素子の出力を信号処理することでカラーの可視画像を生成する。但し、このようなカラーカメラ９については従来周知であるから、詳細な構成についての図示並びに説明は省略する。

カラーカメラ９で生成された可視画像は、画像処理部１０に取り込まれる。画像処理部１０は、可視画像に対して後述する種々の画像処理を適宜行うとともに、当該画像処理を行う前の可視画像、あるいは何らかの画像処理を行った後の可視画像の少なくとも何れか一方を画像記憶部１１に記憶する。画像記憶部１１は、磁気ディスクや書換可能な不揮発性の半導体メモリからなり、予め生成された複数のテンプレートを、個人（集合住宅の住戸の住人）のＩＤ番号とそれぞれ対応付けて記憶するとともに、画像処理部１０から出力される可視画像を記憶している。

また本実施形態の顔認証装置Ａは、画像処理部１０から出力される可視画像を表示する画像表示部１２も備えている。この画像表示部１２は、液晶ディスプレイのような表示デバイスを有しており、カラーカメラ９で撮像された可視画像をリアルタイムで表示したり、あるいは、画像記憶部１１に記憶されている可視画像を表示することができる。

次に、画像処理部１０が行う画像処理について、更に詳しく説明する。

本実施形態の顔認証装置Ａにおいては、光変調カメラ６とカラーカメラ９とが同一のフレーム周波数（例えば、３０ヘルツ）で撮像した光変調画像及び可視画像を同期して出力している（図２参照）。画像処理部１０は、認証部７がテンプレートとの照合に用いた光変調画像のフレーム番号ｍの情報を認証部７から受け取ると、バッファに記憶している可視画像のうちから、フレーム番号ｍとその前後のフレーム番号ｍ−１，ｍ＋１を含む複数フレームの可視画像を選択して画像記憶部１１に記憶する。例えば、認証部７がフレーム番号４の光変調画像をテンプレートとの照合に用いたとすれば、画像処理部１０は、認証部７から受け取ったフレーム番号の情報（ｍ＝４）に基づき、バッファに記憶しているフレーム番号４の可視画像とフレーム番号３，５の可視画像を一組として画像記憶部１１に記憶する。但し、画像処理部１０は、認証結果が認証不可となった場合は可視画像を画像記憶部１１に記憶せず、認証結果が認証可となった場合にだけ、認証可と判断された光変調画像のフレーム番号と同一のフレーム番号を含む複数フレームの可視画像を選択して画像記憶部１１に記憶するようにしても構わない。

従来技術で説明したように、顔認証に用いられる光変調画像は、変調光の反射光成分の濃淡画像として形成されるため、太陽光などの周囲光が反射した反射光成分からなる通常の画像とは見え方が異なる。しかしながら本実施形態の顔認証装置Ａでは、可視画像を出力する第２の撮像手段（可視光フィルタ８とカラーカメラ９）と、第１の撮像手段（赤外光フィルタ５と光変調カメラ６）の受光光軸と第２の撮像手段の受光光軸を対象空間に対して一致させる光学系（結像レンズ３とハーフミラー４）とを備えているので、光変調画像と画角が同一となる可視画像を光変調画像と同時に得ることができる。また、カラーカメラ９で撮像した可視画像を画像記憶部１１に記憶しているから、画像記憶部１１に記憶した可視画像によって顔認証の履歴（認証された人物の顔）を容易に確認することができる。尚、カラーカメラ９から出力される可視画像や画像記憶部１１に記憶されている可視画像を画像表示部１２で表示する際、一般のテレビなどと同様に鏡像で表示することによって可視画像を見やすく表示することができる。

ところで、カラーカメラ９で撮像される範囲（撮像範囲）の全体を履歴として画像記憶部１１に記憶すると、例えば、図３（ａ）に示すように画角内に二人の人物Ｘ１，Ｘ２が存在している場合、実際に顔認証の対象となった手前の人物Ｘ１と、その時点で顔認証の対象となっていなかった奥の人物Ｘ２とが一緒に撮像されてしまうため、履歴の確認が面倒になる虞がある。

そこで、認証部７における特徴量の抽出に関する情報、具体的には顔検出処理で検出された顔の位置に基づき、画像処理部１０が可視画像より人物の顔を含む部分的な画像を切り出す画像処理を行い、切り出した部分的な可視画像（図３（ｂ）参照）を履歴として画像記憶部１１に記憶させるようにしても構わない。また画像処理部１０が、人物の顔を含む部分的な画像を切り出す際に、部分的な可視画像の寸法（顔画像の寸法）が一定となるように、切り出す部分を拡大又は縮小する画像処理を行っても構わない（図３（ｃ）参照）。このように顔画像の大きさ（寸法）を一定にすれば、履歴をさらに容易に確認することができる。

また、認証部７の顔検出処理で検出された顔の位置に基づき、画像処理部１０が、可視画像における人物Ｘ２の顔を含んだ部分を検出するとともに当該部分を囲む枠Ｆを可視画像に重ねる形で画像表示部１２に表示させるようにしてもよい（図４（ａ）参照）。このように画像表示部１２に可視画像とともに枠Ｆが表示されれば、認証部７が光変調画像から人物Ｘ２の顔の特徴点を正しく抽出できたと判断できる。

ここで、人物の顔画像のテンプレートを作成する際、カラーカメラ９で撮像した当該人物の顔画像を、テンプレートとともにＩＤ番号と対応付けて画像記憶部１１に記憶しておいてもよい。この場合、画像処理部１０が認証部７で実際に認証が行われる際にカラーカメラ９で撮像される可視画像と、テンキー装置Ｈで入力されたＩＤ番号に対応した可視画像とを画像記憶部１１から読み出して画像表示部１２に同時に表示させれば（図４（ｂ）参照）、認証部７において正しいテンプレートが採用されていなるか否かを簡単に確認することができる。

また、同じ住戸に住まう複数の人物（同居する家族）のＩＤ番号として、当該住戸の住戸番号が共通に割り当てられることがある。この場合、認証部７は、テンキー装置Ｈで入力されたＩＤ番号に対応した複数のテンプレートと光変調画像から抽出した顔の特徴点とを順番に照合することになる。このとき、認証部７が認証処理をおこなった複数のテンプレートに対応する複数の可視画像（各テンプレートの作成時に撮像された可視画像）Ｓ１〜Ｓ３を、画像処理部１０が画像記憶部１１から読み出し、認証時にカラーカメラ９で撮像された画像と同時に画像表示部１２に表示させてもよい（図４（ｃ）参照）。さらに、認証部７が認証可と判断したテンプレートに対応する可視画像Ｓ１のみを強調して表示すれば（図４（ｃ）参照）、認証結果の正誤を簡単に確認することができる。

本発明に係る顔認証装置の実施形態を示すブロック図である。 同上における光変調画像と可視画像の説明図である。 同上における可視画像の説明図である。 同上における可視画像の説明図である。 同上を含む集合住宅用セキュリティシステムのシステム構成図である。

符号の説明

Ａ 顔認証装置
１ 発光ダイオード（変調光照射手段）
２ 光変調駆動制御部（変調光照射手段）
３ 結像レンズ（光学系）
４ ハーフミラー（光学系）
５ 赤外光フィルタ（第１の撮像手段）
６ 光変調カメラ（第１の撮像手段）
７ 認証部（認証手段）
８ 可視光フィルタ（第２の撮像手段）
９ カラーカメラ（第２の撮像手段）

Claims (12)

1. 対象空間に赤外光を変調した変調光を照射する変調光照射手段と、前記変調光に感度を有する撮像素子を具備し撮像素子で受光する反射光のうちで変調光に対応する反射光成分のみを画素値とする光変調画像を出力する第１の撮像手段と、可視光に感度を有する撮像素子を具備し当該撮像素子で撮像される対象空間の可視画像を出力する第２の撮像手段と、第１の撮像手段の受光光軸と第２の撮像手段の受光光軸を対象空間に対して一致させる光学系と、第１の撮像手段から出力される光変調画像に基づいて対象空間に存在する人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証する認証手段と、認証手段が認証した光変調画像と略同時に第２の撮像手段で撮像された可視画像を記憶する画像記憶手段とを備えたことを特徴とする顔認証装置。
2. 第２の撮像手段で撮像される範囲全体を画像記憶手段に記憶することを特徴とする請求項１記載の顔認証装置。
3. 認証手段がテンプレートと照合した１フレームの光変調画像と略同時に第２の撮像手段で撮像されたフレームを含む前後複数フレームの可視画像を画像記憶手段に記憶することを特徴とする請求項１又は２記載の顔認証装置。
4. 認証手段が認証した１フレームの光変調画像と略同時に第２の撮像手段で撮像されたフレームを含む前後複数フレームの可視画像を画像記憶手段に記憶することを特徴とする請求項１〜３の何れか１項に記載の顔認証装置。
5. 認証手段における特徴量の抽出に関する情報に基づいて第２の撮像手段で撮像された可視画像より人物の顔を含む部分的な画像を切り出す画像処理手段を備え、画像処理手段が切り出した部分的な可視画像を画像記憶手段に記憶することを特徴とする請求項１，３，４の何れか１項に記載の顔認証装置。
6. 画像処理手段は、切り出す部分の画像の寸法が一定となるように可視画像を拡大又は縮小することを特徴とする請求項５記載の顔認証装置。
7. 可視画像を表示する画像表示手段を備えたことを特徴とする請求項１〜６の何れか１項に記載の顔認証装置。
8. 画像表示手段は、可視画像を鏡像で表示することを特徴とする請求項７記載の顔認証装置。
9. 認証手段における特徴量の抽出に関する情報に基づいて可視画像における人物の顔を含んだ部分を検出するとともに当該部分を囲む枠を可視画像に重ねる形で画像表示手段に表示させる画像処理手段を備えたことを特徴とする請求項７又は８記載の顔認証装置。
10. 認証手段における特徴量の抽出に関する情報に基づいて第２の撮像手段で撮像された可視画像より人物の顔を含む部分的な画像を切り出すとともに切り出した部分的な可視画像と当該部分的な可視画像の元の可視画像を同時に画像表示手段に表示させる画像処理手段を備えたことを特徴とする請求項７又は８記載の顔認証装置。
11. 画像表示手段は、テンプレートの作成時に取得された可視画像と、第２の撮像手段で撮像される可視画像とを同時に表示することを特徴とする請求項７又は８記載の顔認証装置。
12. 画像表示手段は、認証手段が複数のテンプレートで認証処理を行った場合に認証したテンプレートの作成時に取得された可視画像のみを強調して表示することを特徴とする請求項１１記載の顔認証装置。

Images