JP4972005B2

JP4972005B2 - 撮像装置

Info

Publication number: JP4972005B2
Application number: JP2008025765A
Authority: JP
Inventors: 栄次中元; 睦裕山中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-02-05
Filing date: 2008-02-05
Publication date: 2012-07-11
Anticipated expiration: 2028-02-05
Also published as: JP2009188684A

Description

本発明は、対象空間を撮像して光変調画像を取得する撮像装置に関するものである。

本出願人は、環境光（例えば、太陽光や照明器具の照明光など）の影響を受けない安定した濃淡画像を取得することにより、屋外の太陽光下であっても高い認証精度が確保できる顔認証システムを既に提案している（例えば、特許文献１参照）。この顔認証システムにおいて、認証の対象とする人物の顔を撮像する撮像装置は、発光ダイオードが発する赤外光を高速変調した変調光を対象領域に照射し、ＣＣＤからなる撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの画像（光変調画像）を取得する。そして、顔認証システムの認証装置においては、撮像装置で取得した光変調画像から人物の顔の位置を検出し、当該位置の画素値から人物の顔の特徴量を抽出するとともに、当該特徴量を予め登録されているテンプレートと照合することによって、テンプレートに対応した人物の顔を認証する。
特開２００６−１５５４２２号公報

ところで、上述のような撮像装置で撮像する画像にはノイズ成分が含まれているので、通常、ノイズを抑制する処理、例えば、主に高周波ノイズを抑制するための平滑化が行われる。

しかしながら、上記従来例のように光変調画像を取得する場合、環境光の状況や被写体までの距離に応じて光変調画像におけるノイズ成分が変化するので、画像全体に一律にノイズ抑制処理（例えば、平滑化処理）を行うと、過剰なノイズ抑制処理によって輪郭部分がぼやけてしまったり、反対に、ノイズの抑制量が不十分となって画質が劣化してしまう虞があった。

本発明は上記事情に鑑みて為されたものであり、その目的は、被写体及び環境光の状況に応じた適切な抑制量でノイズ成分を抑制することができる撮像装置を提供することにある。

請求項１の発明は、上記目的を達成するために、一定周期で明滅する変調光を対象空間に照射する変調光照射手段と、複数の画素が縦横に配置され、対象空間から入射する光を各画素で受光するとともに受光光量に応じたレベルを有する画素信号を出力する撮像素子と、変調光照射手段が変調光を照射しているときに撮像素子から出力する発光時の画素信号と変調光照射手段が変調光を照射していないときに撮像素子から出力する非発光時の画素信号との差分を画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像に含まれる高周波のノイズ成分を抑制するノイズ抑制手段とを備え、ノイズ抑制手段は、所定のパラメータに応じてノイズ成分の抑制量が調整可能であって、非発光時画像の画素信号に対する光変調画像の画素信号の比を求め、当該比に応じて前記パラメータを調整することを特徴とする。

請求項２の発明は、請求項１の発明において、ノイズ抑制手段は、非発光時画像の画素信号に対する光変調画像の画素信号の比が所定のしきい値以下であれば、ノイズ成分の抑制量を増やすように前記パラメータを調整することを特徴とする。

請求項３の発明は、請求項１又は２の発明において、ノイズ抑制手段は、画素信号又は差分が所定の基準値を超える画素を含む領域内の画素信号又は差分の平均値に応じて前記パラメータを調整することを特徴とする。

請求項４の発明は、請求項１又は２の発明において、ノイズ抑制手段は、画素信号又は差分のレベル分布に応じて前記パラメータを調整することを特徴とする。

請求項５の発明は、請求項１又は２の発明において、ノイズ抑制手段は、特定の特徴を有する所定領域内の画素信号又は差分に応じて前記パラメータを調整することを特徴とする。

本発明によれば、被写体及び環境光の状況に応じた適切な抑制量でノイズ成分を抑制することができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。ここで、本実施形態の撮像装置Ａは、光変調画像から人物の顔を検出するとともに、検出した人物の顔を予め登録されているテンプレートと照合することで個人を認証する顔認証装置として構成されている。

図４は、本実施形態の撮像装置（顔認証装置）Ａを含む集合住宅用セキュリティシステムのシステム構成例を示している。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、撮像装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、テンキー装置Ｈ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。

ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。尚、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。

電気錠制御盤Ｄは、共同玄関Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や撮像装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人がテンキー装置Ｈを操作して当該住人に割り当てられているＩＤ番号を入力すると、撮像装置Ａでは、テンキー装置Ｈから受け取ったＩＤ番号に対応するテンプレートを用いて当該住人の顔認証を行い、認証できればシステム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、撮像装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、撮像装置Ａによる認証が不可であった場合、システム制御盤Ｇでは、撮像装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。尚、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。

図１（ａ）に本実施形態の撮像装置Ａのブロック図を示す。本実施形態の撮像装置Ａは、発光部１、発光制御部２、撮像部３、演算処理部４、テンプレートマッチング処理部５、メモリ部６を備えている。発光部１は、赤外光を発する複数の発光ダイオードと、これら複数の発光ダイオードを発光させる駆動回路（図示せず）とを有している。発光制御部２は、駆動回路を制御し、非常に高い周波数（例えば、１０メガヘルツ）で発光ダイオードを明滅させることによって、人物のいる対象空間に変調光を照射させる。すなわち、本実施形態では発光部１と発光制御部２とが変調光照射手段に相当する。

撮像部３は、赤外光に感度を有する複数の画素（フォトダイオード）が縦横に並べて配設され、各画素毎に受光光量に応じたレベルを有する画素信号を出力する撮像素子（例えば、ＣＣＤイメージセンサなど）と、撮像素子の受光面に赤外光を集光するレンズ（図示せず）とを有し、発光制御部２から出力されるタイミング信号に基づき、発光部１が変調光を照射しているときに撮像素子から出力する発光時の画素信号と、発光部１が変調光を照射していないときに撮像素子から出力する非発光時の画素信号とを演算処理部４に出力する。

演算処理部４は、撮像素子から出力する発光時の画素信号と非発光時の画素信号とを各々ディジタル信号に変換した後、両者の差分を画素値とする光変調画像を生成する光変調画像生成処理、光変調画像から特定の特徴を有した領域（人物の顔の領域）を抽出する領域抽出処理、顔領域から人物の顔の特徴量（例えば、目、鼻、口などの顔器官形状の特徴に対応した情報）を抽出する特徴量抽出処理、後述するノイズ抑制処理などを行うものであって、例えば、汎用のマイクロコンピュータに、上記光変調画像生成処理、領域抽出処理、特徴量抽出処理、ノイズ抑制処理などを行わせるプログラムを搭載して実現される。但し、光変調画像生成処理及び領域抽出処理、特徴量抽出処理については、特許文献１にも記載されているように既に周知技術であるから詳細な説明は省略する。

テンプレートマッチング処理部５は、演算処理部４の特徴量抽出処理によって抽出された特徴量と、メモリ部６に予め登録（記憶）されている人物（本実施形態では集合住宅の住人）の顔の特徴量を抽出したテンプレートとを照合することにより、対象空間に居る人物が予め登録されている人物（以下、登録者と呼ぶ。）か否かを判断する。そして、テンプレートマッチング処理部５による処理結果、すなわち、認証結果（認証可又は認証不可）がシステム制御盤Ｇに伝送される。

システム制御盤Ｇは、撮像装置Ａから受け取った認証結果が認証可であれば、電気錠制御盤Ｄに電気錠を解錠させるとともにエレベータ制御盤Ｅにエレベータを運転させ、さらに宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、撮像装置Ａから受け取った認証結果が認証不可であれば、システム制御盤Ｇは電気錠制御盤Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆに対して何の制御も行わない。よって、予め登録されていない人物（集合住宅の住人以外の人物）が勝手に集合住宅内に侵入することを阻止できる。

次に、本発明の要旨である演算処理部４のノイズ抑制処理について、詳細に説明する。

演算処理部４は、領域抽出処理並びに特徴量抽出処理を円滑に行うため、輪郭を強調する処理を行う輪郭強調処理ブロック４０を有している。この輪郭強調処理ブロック４０は、図１（ｂ）に示すように光変調画像の画素値からＬＰＦ（ローパスフィルタ）４１によって低周波成分を抽出し、ＬＰＦ４１で抽出された低周波成分を減算器４２によって元の画素値から減算することで高周波成分を得るとともに、当該高周波成分に対してコアリング処理部４３によりコアリング処理を行い、コアリング処理後の高周波成分をアンプ４４にて増幅し、加算器４５にて低周波成分と増幅後の高周波成分を加算することにより、最終的に光変調画像の輪郭を強調している。ＬＰＦ４１は、例えば着目画素の８近傍の画素値をそれぞれ水平・垂直及び斜め方向に各々重み付けして着目画素の画素値に加える処理を行っている。またコアリング処理部４３は、画素値の高周波成分の絶対値が所定値Ｋｃ以下のものはノイズ成分であるとみなしてそのレベルをゼロとし、高周波成分の絶対値が所定値Ｋｃを超えるものについては、そのレベルから所定値Ｋｃを差し引く処理（コアリング処理）を行う（図３参照）。かかるコアリング処理を行うことにより、ノイズ成分を抑制することができ、その後で輪郭強調のためにアンプ４４で増幅しても、ノイズ成分が増幅されることによる画質の劣化を防ぐことができる。

しかしながら、従来は上記コアリング処理における所定値Ｋｃ（ノイズ成分の抑制量を決めるパラメータ）が固定されており、しかも、１枚（１フレーム）の画像全体が一律にコアリング処理されていたため、過剰なノイズ抑制処理によって輪郭部分がぼやけてしまったり、反対に、ノイズの抑制量が不十分となって画質が劣化してしまう虞があった。

また、発光時画像と非発光時画像の差分を画素値とする光変調画像では、撮像素子における光ショットノイズの影響が相対的に大きくなる。光ショットノイズは、ポアソン分布で記述できる揺らぎを伴い、その標準偏差は光子数の平方根に比例する。故に、光ショットノイズに対する光変調画像の信号対ノイズ比（Ｓ／Ｎ比）は、光変調画像の画素値（レベル）を発光時画像の画素値と非発光時画像の画素値の和の平方根で除算することによって求めることができる。

ここで、図２（ａ）に示すように発光時画像の画素値（画素信号の振幅レベル）Ｙ１が大きく、非発光時画像の画素値Ｙ２が小さいときは両者の差分である光変調画像の画素値Ｙ３（＝Ｙ１−Ｙ２）も相当に大きくなり、発光時画像並びに非発光時画像に含まれる光ショットノイズのノイズ成分Ｎ１，Ｎ２との差も大きくなるため、Ｓ／Ｎ比は充分に大きい値となる。しかしながら、図２（ｂ）に示すように発光時画像の画素値Ｙ１が小さいか、あるいは図２（ｃ）に示すように非発光時画像の画素値Ｙ２が大きいために両者の差が小さい場合、両者の差分である光変調画像の画素値Ｙ３も相当に小さくなり、発光時画像並びに非発光時画像に含まれる光ショットノイズのノイズ成分Ｎ１，Ｎ２との差も小さくなるため、Ｓ／Ｎ比が相当に小さい値となってしまう。つまり、図２（ｄ）に示すように、環境光に対して変調光が強く（光量が大きく）なるほど、Ｓ／Ｎ比が高くなることになる。

そこで、演算処理部４のノイズ抑制処理において、非発光時画像の画素値に対する光変調画像の画素値の比（＝Ｙ３／Ｙ２）を求め、当該比が所定のしきい値以下であれば、ノイズ成分の抑制量を増やすように前記パラメータを調整する（具体的には、コアリング処理における所定値＜パラメータ＞Ｋｃを大きくする）。すなわち、非発光時画像の画素値に対する光変調画像の画素値の比がしきい値以下である場合は光変調画像のＳ／Ｎ比が相対的に小さいと考えられるので、ノイズ成分の抑制量を増やすことでＳ／Ｎ比の向上が図れる。反対に、非発光時画像の画素値に対する光変調画像の画素値の比がしきい値より大きい場合は光変調画像のＳ／Ｎ比が相対的に大きいと考えられるので、ノイズ成分の抑制量を減らすように前記パラメータを調整（コアリング処理における所定値＜パラメータ＞Ｋｃを小さく）すれば、光変調画像の画素値が抑制されるのを防ぐことができる。

また、発光時画像又は非発光時画像、光変調画像において、画素値が所定の基準値を超える画素を含む領域内の当該画素の画素値を平均した平均値を求め、その平均値に応じてコアリング処理におけるパラメータＫｃを調整するようにしても構わない。あるいは、発光時画像又は非発光時画像、光変調画像における全ての画素の画素値の分布（ヒストグラム）を求め、その分布に応じてコアリング処理におけるパラメータＫｃを調整するようにしても構わない。さらに、発光時画像又は非発光時画像、光変調画像における特定の特徴を有する所定領域、例えば、人物の顔を含む領域（顔領域）内の画素値を抽出し、当該顔領域内の画素値に応じてコアリング処理におけるパラメータＫｃを調整するようにしても構わない。上述のような画素値の平均値や分布、あるいは顔領域内の画素値に応じてコアリング処理におけるパラメータＫｃを調整することにより、被写体及び環境光の状況に応じた適切な抑制量でノイズ成分を抑制することができる。

本発明の実施形態を示し、（ａ）は撮像装置全体のブロック図、（ｂ）は撮像装置の演算処理部を示すブロック図である。（ａ）〜（ｄ）は同上におけるノイズ抑制処理の説明図である。同上におけるコアリング処理の説明図である。同上を用いた集合住宅用セキュリティシステムのシステム構成図である。

符号の説明

Ａ撮像装置
１発光部（変調光照射手段）
２発光制御部（変調光照射手段）
３撮像部（撮像手段）
４演算処理部（光変調画像生成手段、ノイズ抑制手段）

Claims

一定周期で明滅する変調光を対象空間に照射する変調光照射手段と、複数の画素が縦横に配置され、対象空間から入射する光を各画素で受光するとともに受光光量に応じたレベルを有する画素信号を出力する撮像素子と、変調光照射手段が変調光を照射しているときに撮像素子から出力する発光時の画素信号と変調光照射手段が変調光を照射していないときに撮像素子から出力する非発光時の画素信号との差分を画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像に含まれる高周波のノイズ成分を抑制するノイズ抑制手段とを備え、
ノイズ抑制手段は、所定のパラメータに応じてノイズ成分の抑制量が調整可能であって、非発光時画像の画素信号に対する光変調画像の画素信号の比を求め、当該比に応じて前記パラメータを調整することを特徴とする撮像装置。
ノイズ抑制手段は、非発光時画像の画素信号に対する光変調画像の画素信号の比が所定のしきい値以下であれば、ノイズ成分の抑制量を増やすように前記パラメータを調整することを特徴とする請求項１記載の撮像装置。
ノイズ抑制手段は、画素信号又は差分が所定の基準値を超える画素を含む領域内の画素信号又は差分の平均値に応じて前記パラメータを調整することを特徴とする請求項１又は２記載の撮像装置。
ノイズ抑制手段は、画素信号又は差分のレベル分布に応じて前記パラメータを調整することを特徴とする請求項１又は２記載の撮像装置。
ノイズ抑制手段は、特定の特徴を有する所定領域内の画素信号又は差分に応じて前記パラメータを調整することを特徴とする請求項１又は２記載の撮像装置。