JP4543903B2

JP4543903B2 - 画像処理装置

Info

Publication number: JP4543903B2
Application number: JP2004347712A
Authority: JP
Inventors: 栄次中元; 健一萩尾; 英喜河原
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2004-11-30
Filing date: 2004-11-30
Publication date: 2010-09-15
Anticipated expiration: 2024-11-30
Also published as: JP2006155422A

Description

本発明は、対象空間を撮像した画像を用いて対象空間に存在する対象物を認識する画像処理装置に関するものである。

従来から、対象空間を撮像した画像を用いて対象空間内の対象物の外観を抽出したりする画像処理装置が種々提案されている。

しかしながら、従来の画像処理装置では、対象物を抽出する技術において用いる画像が対象空間の明暗を反映した濃淡画像であって、環境光の光量変化の影響を受けるので、環境光の光量にほとんど変化の生じない環境でしか使用できなかった。

また、濃淡画像を用いてテンプレートと照合するパターンマッチングでは、対象物のエッジを抽出するにあたって、環境光の影響を軽減するために、濃淡画像にソーベルオペレータ（ソーベルフィルタ）のようなエッジ強調オペレータ（エッジ強調フィルタ）を適用して対象物のエッジを強調し、適宜の閾値で２値化することで、濃淡画像全体の明暗変化の影響を軽減できることが知られている。

しかしながら、濃淡画像においてエッジを強調しても、環境光で生じた影などにより対象物に存在しないエッジが抽出されることもあり、結果的にテンプレートとの類似度が低下し、対象物を認識できないことがあった。

そこで、濃淡画像にソーベルフィルタなどを適用して濃度勾配方向画像を生成し、濃度勾配方向画像とテンプレートとを照合するようにした画像処理装置が提案されている（例えば、特許文献１参照）。
特開２００４−３０２５８１号公報

上記特許文献１に開示された画像処理装置のように、濃淡画像にソーベルフィルタなどを適用し濃度勾配方向画像を生成してからテンプレートとの照合を行う技術を採用した場合、全体的な環境光の影響を軽減できるが、例えば対象物の側方からの環境光により生じた影などの影響によって対象物の濃度勾配方向が変化してしまい、対象物を正しく認識できないことがあった。

本発明は上記事由に鑑みて為されたものであり、その目的は、対象空間の環境光の変動の影響を受けることなく対象物を認識することができる画像処理装置を提供することにある。

請求項１の発明は、光を対象空間に照射する発光源と、受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間へ光を照射していないときの各感光部の受光出力と発光源から対象空間へ光を照射したときの各感光部の受光出力との差分からなる受光出力の振幅値を画素値とする振幅画像を生成する画像生成部と、画像生成部で生成された振幅画像に基づいて対象空間内に存在する物体の特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出された物体の特徴量を予め登録されているテンプレートと照合して類似度を算出する類似度演算部と、類似度演算部で算出された類似度が所定値以上になる物体をテンプレートに相当する対象物として認識する対象物認識部とを備え、特徴量抽出部は、前記振幅画像の振幅値から求められる各画素の微分方向値である振幅勾配方向値を画素値とする振幅勾配方向画像を生成し、振幅勾配方向画像から前記特徴量を抽出することを特徴とする。

この発明によれば、光検出素子のダイナミックレンジの範囲内であれば対象空間の環境光の変動に起因した各感光部の受光出力の変化の影響を受けることなく同じ画素値が得られることとなるから、つまり、画像生成部にて生成される画像として、対象空間の環境光の変動の影響を受けることなく同じ振幅画像が得られることとなるから、物体の特徴量を安定して抽出することが可能となり、対象空間の環境光の変動の影響を受けることなく対象物を認識することができる。

また、この発明によれば、特徴量を抽出する入力画像として振幅画像を用いる場合に比べて、発光源と対象空間内に存在する物体との間の距離の変化による物体での反射光の変化の影響を軽減できるので、対象物を正しく認識することができる。

請求項２の発明は、請求項１の発明において、予め前記光検出素子により前記対象空間内の物体として認証対象者を撮像したときに前記特徴量抽出部により抽出された認証対象者の顔の特徴量に基づいて作成した顔テンプレートを前記テンプレートとして登録保持するテンプレート作成記憶部を備え、前記類似度演算部は、前記特徴量抽出部により抽出された物体の特徴量をテンプレート作成記憶部に登録されている前記テンプレートと照合して類似度を算出し、前記対象物認識部は、前記類似度演算部で算出された類似度が前記所定値以上になる場合に、前記光検出素子により撮像された物体が認証対象者本人であることを認証する認証機能を有することを特徴とする。

この発明によれば、環境光の影響を受けることなく認証対象者の顔の認証判断を行うことができる。ここで、振幅画像は物体の背景を除去しやすい特性があり、対象物のみを主に抽出することができるので、顔のみが前記光検出素子の比較的近くに位置することが多い顔認証の用途では、背景をより抽出しなくなり、対象物である顔のみを抽出して認証に要する時間の短縮化を図れるとともに、顔認証の精度の向上を図れる。

請求項１の発明では、光検出素子のダイナミックレンジの範囲内であれば対象空間の環境光の変動に起因した各感光部の受光出力の変化の影響を受けることなく同じ画素値が得られることとなるから、物体の特徴量を安定して抽出することが可能となり、対象空間の環境光の変動の影響を受けることなく対象物を認識することができるという効果がある。

（参考例１）
本参考例の画像処理装置は、図１に示すように、光を対象空間に照射する発光源２と、受光光量に応じた受光出力を発生する複数個の感光部１ａが配列され対象空間を撮像する光検出素子１０と、発光源２から対象空間へ光を照射していないときの各感光部１ａの受光出力と発光源２から対象空間へ光を照射したときの各感光部１ａの受光出力との差分からなる受光出力の振幅値を画素値とする振幅画像ｆ１（図２参照）を生成する画像生成部３と、画像生成部３で生成された振幅画像ｆ１に基づいて対象空間内に存在する物体（本参考例では、人物）Ｏｂの特徴量を抽出する特徴量抽出部４と、通常動作モードとテンプレート作成モードとを選択的に設定する動作モード設定部（図示せず）と、動作モード設定部にてテンプレート作成モードが設定されている状態で光検出素子１０により対象空間内の物体Ｏｂとして認証対象者を撮像したときに特徴量抽出部４により抽出された認証対象者の顔の特徴量に基づいてテンプレート（本参考例では、顔テンプレート）を作成し当該テンプレートを登録保持（記憶）するテンプレート作成記憶部ＴＰと、動作モード設定部にて通常動作モードが設定されている状態で特徴量抽出部４により抽出された物体の特徴量をテンプレート作成記憶部ＴＰに登録保持されているテンプレートと照合して類似度を算出する類似度演算部５と、類似度演算部５で算出された類似度が所定値以上になる物体Ｏｂをテンプレートに相当する対象物として認識する対象物認識部６（つまり、対象物認識部６は、類似度に基づいて、テンプレートに相当する対象物の存否を判断する）とを備えている。なお、光検出素子１０は後述の受光光学系７を通して対象空間を撮像する。

上述の特徴量抽出部４は、振幅画像ｆ１の振幅値から求められる各画素の微分強度値である振幅微分値を画素値とする振幅微分画像を生成し当該振幅微分画像を規定の閾値で２値化した画像からなる出力画像ｆ２（図４参照）を生成する画像加工手段（図示せず）を備えており、画像加工手段にて生成された出力画像ｆ２から顔の特徴量を抽出する。また、対象物認識部６は、類似度演算部５で算出された類似度が上記所定値以上になる場合に、光検出素子１０により撮像された物体Ｏｂが認証対象者本人であることを認証する認証機能を有している。言い換えれば、対象物認識部６は、類似度演算部５で算出された類似度が上記所定値未満の場合には、光検出素子１０により撮像された物体Ｏｂが認証対象者本人であるとは認証しない。

したがって、本参考例の画像処理装置では、予めテンプレート作成モードにおいて入室を希望する人物（物体Ｏｂ）を光検出素子１０により撮像してテンプレートを作成しておき、その後、通常動作モードにおいて生成された振幅微分画像を規定の閾値で２値化した出力画像ｆ２とテンプレートとのパターンマッチングを行って類似度を算出し、算出された類似度に基づいて上記人物が入室の許可されている認証対象者本人であるか否かを判定する顔認証を行うことができる。

以下、本参考例の画像処理装置の各構成要素について詳述する。

本参考例では、光検出素子１０として、１個の感光部１ａと１個の電荷集積部１ｂ（図１参照）とを形成する単位構成の受光素子１（図５（ａ），（ｂ）参照）を１枚の半導体基板に複数個配列したイメージセンサを想定している。

受光素子１は、不純物を添加したシリコン層からなる半導体層１１を備えるとともに、半導体層１１の主表面の全面に亘ってシリコン酸化膜からなる絶縁膜１２を有し、半導体層１１に絶縁膜１２を介して制御電極１３を設けた構成を有する。受光素子１はＭＩＳ素子として知られた構造であるが、１個の受光素子１として機能する領域に複数個（図示例では５個）の制御電極１３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜１２および制御電極１３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜１２を通して半導体層１１に光が入射すると、半導体層１１の内部に電荷が生成される。つまり、受光素子１の受光面は図５（ａ），（ｂ）における半導体層１１の主表面（上面）になる。図示例の半導体層１１の導電形はｎ形であり、光の照射により生成される電荷としては電子ｅを利用する。

この構造の受光素子１では、制御電極１３に正の制御電圧＋Ｖを印加すると、半導体層１１には制御電極１３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）１４が形成される。つまり、半導体層１１にポテンシャル井戸１４を形成するように制御電極１３に制御電圧を印加した状態で光が半導体層１１に照射されると、ポテンシャル井戸１４の近傍で生成された電子ｅの一部はポテンシャル井戸１４に捕獲されてポテンシャル井戸１４に集積され、残りの電子ｅは半導体層１１の深部での再結合により消滅する。また、ポテンシャル井戸１４から離れた場所で生成された電子ｅも半導体層１１の深部での再結合により消滅する。つまり、光が照射されると半導体層１１が電荷を生成する感光部１ａとして機能し、ポテンシャル井戸１４は電荷を集積して保持する電荷集積部１ｂとして機能する。

上述のように、ポテンシャル井戸１４は制御電圧を印加した制御電極１３に対応する部位に形成されるから、制御電圧を印加する制御電極１３の個数を変化させることにより半導体層１１の主表面に沿ったポテンシャル井戸１４の面積を変化させることができる。半導体層１１で生成された電荷のうちポテンシャル井戸１４に集積される電荷の割合は、ポテンシャル井戸１４の面積が大きいほど多くなり、後述するようにポテンシャル井戸に集積した電荷を利用するから、ポテンシャル井戸１４の面積を大きくするほど感度を高めたことになる。言い換えると、感光部１ａの感度をポテンシャル井戸１４の面積により制御したことになる。また、ポテンシャル井戸１４は電荷集積部１ｂとして機能するから、制御電極１３に印加する制御電圧を変化させることにより、受光面に占める電荷集積部１ｂの面積を変化させ、電荷集積部１ｂの面積を変化させることにより感光部１ａの感度を調節すると言える。

例えば、図５（ａ）のように内側の３個の制御電極１３に制御電圧＋Ｖを印加し外側の２個の制御電極１３には電圧を印加しない（０Ｖ）場合と、図５（ｂ）のように中央の１個の制御電極１３に制御電圧＋Ｖを印加し残りの４個の制御電極１３には電圧を印加しない（０Ｖ）場合とでは、図５（ａ）の場合のほうが電荷集積部１ｂであるポテンシャル井戸１４が受光面に占める面積が大きくなる。したがって、図５（ａ）の状態のほうが図５（ｂ）の状態に比較して同光量に対してポテンシャル井戸１４に集積される電荷の割合が多くなり、実質的に感光部１ａの感度を高めたことになる。

本参考例の光検出素子１０は、上述のように複数個の受光素子１を１枚の半導体基板に配列したイメージセンサを想定しており、上述した受光素子１において電荷集積部１ｂであるポテンシャル井戸１４から電荷を取り出すには、ＣＣＤと同様の技術を採用する。つまり、ポテンシャル井戸１４に電荷が集積された後に、制御電極１３に印加する制御電圧の印加パターンを制御することによってポテンシャル井戸１４に集積された電荷を転送し、半導体層１１に設けた図示しない電極から電荷を取り出す。電荷を転送するための構成としては、フレーム転送型のＣＣＤと同様の構成あるいはインターライン型のＣＣＤと同様の構成を採用することができる。フレーム転送型のＣＣＤと同様の構成を採用する場合には図５の右方向または左方向に電荷を転送するようにポテンシャル井戸１４の形状を変化させればよく、インターライン型のＣＣＤと同様の構成を採用する場合には図５の左右方向に沿ったＣＣＤを設け、ポテンシャル井戸１４からＣＣＤに電荷を引き渡した後にＣＣＤにより図５の左右方向に電荷を転送すればよい。

上述したように、受光素子１において、半導体層１１は、光の入射により電荷を生成する感光部１ａ（図１参照）として機能するとともに、制御電極１３に制御電圧を印加しポテンシャル井戸１４を形成することにより感光部１ａで生成された電荷を集積する電荷集積部１ｂ（図１参照）として機能する。また、半導体層１１に光が入射している間に制御電極１３に印加する制御電圧の印加パターンを変化させることによって感光部１ａの感度を制御することができる。

電荷集積部１ｂに集積した電荷を取り出すために、フレーム転送型のＣＣＤと同様の構成を採用する場合には、制御電極１３に印加する制御電圧の印加パターンを制御することによって電荷を転送することになるから、電荷集積部１ｂに電荷を集積する集積期間とは異なる取出期間において電荷集積部１ｂの電荷を取り出すことができるように制御電極１３に印加する制御電圧を制御すればよく、半導体層１１は制御電極１３とともに電荷取出部１ｃ（図１参照）としても機能する。

上述の光検出素子１０は、例えば、１枚の半導体基板上に設定した二次元正方格子の格子点上にそれぞれ上述した構成の受光素子１を配置して構成され、例えば１００個×１００個の受光素子１をマトリクス状に配列した構成を有している。また、マトリクス状に配列した受光素子１のうち垂直方向の各列では一体に連続する半導体層１１を共用するとともに、制御電極１３を垂直方向に並設することにより、半導体層１１を垂直方向への電荷の転送経路として用いることができる。イメージセンサとしての光検出素子１０を構成するには、半導体基板に、垂直方向の各列の半導体層１１の一端から電荷を受け取って水平方向に電荷を転送するＣＣＤからなる水平転送部を設ける。なお、図１では制御電極１３を各感光部１ａに１個ずつ対応付けた形で示しているが、実際には図５のように複数個（例えば５個）の制御電極１３を設ける。また、本参考例では制御電極１３を電荷取出部１ｃにおける電荷の転送に兼用している。

対象空間に光を照射する発光源２としては、例えば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものを用いる。発光源２から放射する光は、赤外線と可視光とのどちらでも用いることができる。赤外線を用いれば夜間でも発光源２の点灯に気付かれることがないから監視カメラなどの目的に適した構成になり、可視光を用いれば人が目で見るときの状態に近い画像を得ることができる。発光源２は、制御回路部８から出力される所定の変調周波数の変調信号により駆動される。変調信号には方形波を用い、変調周波数は１０〜１００ｋＨｚから選択し、デューティは５０％としてある。したがって、発光源２は１０〜１００μｓの周期で点灯と消灯とを同じ時間ずつ交互に繰り返すことになる。発光源２が点灯と消灯とを繰り返す周期は人の目では認識できない程度の短い周期にする。つまり、発光源２は実際には点灯と消灯とを繰り返しているが、人の目には連続して点灯しているように見えることになる。ただし、これらの数値は一例であり、変調周波数は適宜に設定可能である。

一方、光検出素子１０には受光光学系７を通して光が入射する。受光光学系７は光検出素子１０の各受光素子１に対象空間を投影するために設けられている。すなわち、受光光学系７は、光検出素子１０において受光素子１を配列した２次元平面に対象空間である３次元空間をマッピングする。したがって、光検出素子１０から受光光学系７を通して見る視野内に存在する物体Ｏｂは受光素子１に対応付けられる。

ところで、図１では光検出素子１０の機能の理解を容易にするために、受光素子１の機能を上述したように感光部１ａと電荷集積部１ｂと電荷取出部１ｃとに分けて記載している。ただし、図１における電荷取出部１ｃは、半導体層１１だけではなく上述した水平転送部も含んでいる。また、感光部１ａと電荷集積部１ｂと電荷取出部１ｃとは、上述のように制御電極１３を共用しており、制御回路部８で生成され制御電極１３に印加される制御電圧の印加パターンを制御することによって、感光部１ａへの光の照射により生成される電荷のうち電荷集積部１ｂに集積する電荷の割合を決める感度の調節と、電荷集積部１ｂを形成するタイミングの調節と、電荷取出部１ｃにより電荷集積部１ｂから電荷を取り出すタイミングの調節とがなされる。つまり、制御電圧の印加パターンと印加パターンを変化させるタイミングとを制御することにより、電荷集積部１ｂに電荷を集積する集積期間と、集積期間とは異なる期間であって電荷取出部１ｃにより電荷集積部１ｂから電荷を取り出して画像生成部３に受光出力を与える取出期間とを制御することができる。

以下に具体的な動作を説明する。発光源２は図６（ａ）に示すように点灯と消灯とを交互に繰り返すように制御回路部４からの変調信号により駆動される。点灯と消灯との各期間（以下、それぞれ点灯期間Ｔａ、消灯期間Ｔｂと呼ぶ）は本参考例では等しくしてある（つまり、変調信号のデューティは５０％にしている）。発光源２から対象空間に照射され物体Ｏｂで反射された光は、図６（ｂ）のように、物体Ｏｂまでの距離に応じた遅れ時間Ｔｄで受光素子１に入射する。ただし、遅れ時間Ｔｄは点灯期間Ｔａおよび消灯期間Ｔｂに比較すると通常はごく短時間であるから無視することができる。

制御回路部８は、制御電極１３に印加する制御電圧を制御し、発光源２の点灯期間Ｔａに電荷集積部１ｂの面積を大きくすることによって集積した電荷と、消灯期間Ｔｂに電荷集積部１ｂの面積を大きくすることによって集積した電荷とをそれぞれ受光出力として画像生成部３に与える。つまり、点灯期間Ｔａに感光部１ａを高感度にした状態で電荷集積部１ｂに集積した電荷を受光出力として取り出す状態と、消灯期間Ｔｂに感光部１ａを高感度にした状態で電荷集積部１ｂに集積した電荷を受光出力として取り出す状態とを繰り返すように、制御回路部８により制御電極１３への制御電圧の印加パターンを制御する。

受光出力は、点灯期間Ｔａの全期間と消灯期間Ｔｂの全期間とのそれぞれについて集積した電荷を用いることを想定しているが、点灯期間Ｔａの一部期間と消灯期間Ｔｂの一部期間とのそれぞれについて集積した電荷を用いるようにしてもよい。後者の場合には、電荷を集積する期間を等しくしておけば、点灯期間Ｔａと消灯期間Ｔｂとのデューティを５０％以外とすることができ、また受光出力における遅れ時間Ｔｄの影響による誤差を除去することができる。また、１回の点灯期間Ｔａあるいは消灯期間Ｔｂは短時間であって、１回の点灯期間Ｔａあるいは消灯期間Ｔｂでは画像生成部３で処理する（振幅画像ｆ１を生成する）のに必要な大きさの受光出力を得るのは難しいから、複数回の点灯期間Ｔａで電荷集積部１ｂに集積した電荷を点灯期間Ｔａの受光出力として用い、複数回の消灯期間Ｔｂで電荷集積部１ｂに集積した電荷を消灯期間Ｔｂの受光出力として用いるのが望ましい。電荷集積部１ｂに電荷を集積する集積期間と、電荷取出部１ｃが電荷集積部１ｂから電荷を取り出して受光出力として画像生成部３に与える取出期間とは、上述したように制御電極１３に印加する制御電圧により調節することができる。

画像生成部３は、点灯期間Ｔａの受光出力と消灯期間Ｔｂの受光出力との差分（言い換えれば、発光源２から対象空間へ光を照射していないときの各感光部１ａの受光出力と発光源２から対象空間へ光を照射したときの各感光部１ａの受光出力との差分）を各感光部１ａ（受光素子１）ごとの画素値とする振幅画像ｆ１を生成する。図示例では説明を単純にするために、１回の点灯期間Ｔａにおける受光出力Ａａを点灯期間Ｔａの受光出力とし、１回の消灯期間Ｔｂにおける受光出力Ａｂを消灯期間Ｔｂの受光出力としている。

したがって、図７に曲線Ｅで示すように、環境光の強度が時間経過に伴って変化しているとすると、この曲線Ｅは発光源２の消灯期間Ｔｂにおいて感光部１ａに入射する光の強度に相当し、結果的に消灯期間Ｔｂにおける受光出力Ａｂに対応する。このように発光源２の消灯期間Ｔｂの受光出力Ａｂは曲線Ｅの高さに相当するから、発光源２の点灯期間Ｔａの受光出力Ａａは曲線Ｅよりも高くなる。つまり、発光源２が点灯と消灯とを繰り返すことにより、光検出素子１０からの受光出力Ａａ，Ａｂは、点灯期間Ｔａには曲線Ｅよりも高くなり、消灯期間Ｔｂには曲線Ｅの高さになる。発光源２から対象空間に照射された光に対応する受光出力は曲線Ｅよりも上の部分であるから、点灯期間Ｔａの受光出力Ａａと消灯期間Ｔｂの受光出力Ａｂとの差分（Ａａ−Ａｂ）を求めることにより、環境光の影響を除去して発光源２から対象空間に照射された光の成分のみを抽出することができる。この差分（Ａａ−Ａｂ）を各受光素子１の位置に対応付けた画像が振幅画像ｆ１になる。

なお、差分（Ａａ−Ａｂ）は隣接した点灯期間Ｔａの受光出力Ａａと消灯期間Ｔｂ（図示例では点灯期間Ｔａの直後の消灯期間Ｔｂを用いている）の受光出力Ａｂとから求めており、差分（Ａａ−Ａｂ）を求める点灯期間Ｔａと消灯期間Ｔｂとを合わせた程度の期間では環境光の強度Ｅは実質的に変化がないものとみなしている。したがって、点灯期間Ｔａと消灯期間Ｔｂとにおける環境光による受光出力は相殺され、発光源２から対象空間に照射され物体Ｏｂで反射された反射光に対応する受光出力のみが残り、結果的に、振幅画像ｆ１では、物体Ｏｂのみを強調した画像を得ることができる。

上述した構成では、感光部１ａと電荷集積部１ｂとで半導体層１１を共用しているから、ポテンシャル井戸１４の面積を大きくし感光部１ａが高感度になるように制御電極１３に制御電圧を印加している期間ではない期間（つまり、ポテンシャル井戸１４の面積を小さくし感光部１ａを低感度に設定している期間やポテンシャル井戸１４に集積した電荷を転送している期間）であっても、受光素子１に光が入射していると電荷集積部１ｂに電荷が集積される。すなわち、電荷集積部１ｂには感光部１ａを高感度に設定することにより生成した電荷以外の電荷が混入する。ただし、電荷集積部１ｂに電荷を保持したり電荷を転送したりしている期間には、感光部１ａが低感度であって電荷集積部１ｂの面積が小さくなっているから不要な電荷の混入量は比較的少なくなる。なお、点灯期間Ｔａの電荷と消灯期間Ｔｂの電荷とをそれぞれ電荷集積部１ｂに保持している期間において混入する不要な電荷に対応する成分は、差分を求める際に環境光に対応する成分とともに除去することができる。

なお、図５（ｂ）のように電荷集積部１ｂの面積を小さくしている期間において、必要な電荷以外の電荷の混入を抑制するために、この期間における電荷集積部１ｂに対応した制御電極１３の近傍を遮光膜で覆う構成を採用してもよい。また、上述したように、点灯期間Ｔａと消灯期間Ｔｂとの全期間に亘って感光部１ａを高感度に維持しておく（つまり、電荷集積部１ｂの面積を大きい状態に保つ）必要はなく、点灯期間Ｔａと消灯期間Ｔｂとの一部期間において感光部１ａを高感度にする期間を設ければよいから、物体Ｏｂまで距離が既知である場合には、図８のように、物体Ｏｂまでの距離に応じた遅れ時間Ｔｄを考慮し、発光源２の点灯または消灯から遅れ時間Ｔｄが経過した後に感光部１ａを高感度にして電荷集積部１ｂに電荷を集積してもよい。この場合には電荷集積部１ｂに集積される電荷の量は、図６に示した制御を行う場合に比較すると、遅れ時間Ｔｄに相当する程度少なくなるが、点灯期間Ｔａと消灯期間Ｔｂとに受光した光量を正確に反映した受光出力Ａａ，Ａｂが得られるから、環境光の影響をより確実に除去できると言える。

ところで、画像生成部３にて生成された振幅画像ｆ１（図２参照）は特徴量抽出部４に与えられる。ここで、図２に示す振幅画像ｆ１の画像座標系は、振幅画像ｆ１の左上を原点とし、ｘ軸の正方向（ｘ方向）を水平右方向、ｙ軸の正方向（ｙ方向）を鉛直下方向とする左手系座標系としてあり、特徴量抽出部４では、図２に示すようなマスクサイズが３×３画素のソーベルフィルタｈ_ｘ，ｈ_ｙ（なお、図２には、ｘ方向のソーベルフィルタｈ_ｘ、ｙ方向のソーベルフィルタｈ_ｙそれぞれについて、振幅画像ｆ１上の重み係数の配置を示してある）を振幅画像ｆ１の全ての画素に適用して局所空間微分を行い、振幅画像ｆ１の振幅値から求められる各画素の微分強度値である振幅微分値を画素とする振幅微分画像を生成し、当該振幅微分画像を上記閾値で２値化して得られた出力画像ｆ２（図４参照）から物体Ｏｂの特徴量（本参考例では、人物の顔の特徴量）を抽出する。

振幅画像ｆ１の画素(u,v)における微分強度値を｜Ｇ(u,v)｜とすれば、微分強度値｜Ｇ(u,v)｜は、振幅画像ｆ１における注目画素の隣接する８画素（注目画素の８近傍）の画素値（本参考例では、振幅値）を用いて求められる値である。ここにおいて、微分強度値｜Ｇ(u,v)｜は、図３（ａ）に示すように注目画素ｐ５を中心とする３×３画素の局所領域（矩形領域）における各画素ｐ１〜ｐ９それぞれの画素値を図３（ｂ）に示すようにａ〜ｉとすれば、ｘ方向の微分値ｄｘおよびｙ方向の微分値ｄｙを用いて下記の（式１）で表される。
｜Ｇ(u,v)｜＝｛（ｄｘ² (u,v)＋ｄｙ²(u,v)｝^1/2 （式１）
ただし、
ｄｘ(u,v)＝（ｃ＋２ｆ＋ｉ）−（ａ＋２ｄ＋ｇ）（式２）
ｄｙ(u,v)＝（ｇ＋２ｈ＋ｉ）−（ａ＋２ｂ＋ｃ）（式３）
（式１）によって求めた振幅微分値を画素値に持つ振幅微分画像においては振幅画像ｆ１における振幅差の大きい部位ほど振幅微分値が大きくなる。特徴量抽出部は、振幅微分画像を上記閾値で２値化することにより出力画像ｆ２を生成する。

そして、類似度演算部５において特徴量抽出部４により抽出された物体Ｏｂの特徴量とテンプレート作成記憶部ＴＰに登録されているテンプレートとを照合して算出された類似度が対象物認識部６へ与えられ、対象物認識部６では、類似度演算部５で算出された類似度が上記所定値以上になる場合に、光検出素子１０により撮像された物体Ｏｂである人物の顔が認証対象者本人の顔であることを認証（顔認証）する。なお、対象物認識部６では、周知の顔認証の技術を適宜採用すればよく、アフィン変換などの周知の変換技術を適宜用いる。

しかして、本参考例の画像処理装置では、光検出素子１０のダイナミックレンジの範囲内であれば対象空間の環境光の変動に起因した各感光部１ａの受光出力の変化の影響を受けることなく同じ画素値が得られることとなるから、つまり、画像生成部３にて生成される画像として、対象空間の環境光の変動の影響を受けることなく同じ振幅画像ｆ１が得られることとなるから、物体Ｏｂの特徴量を安定して抽出することが可能となり、対象空間の環境光の変動の影響を受けることなく対象物を認識することができる。要するに、本参考例では、環境光の影響を受けることなく認証対象者の顔の認証判断を行うことができる。ここにおいて、振幅画像はダイナミックの範囲内であれば環境光の影響を受けないので、例えば物体Ｏｂである人の顔と光検出素子１０との距離が同じ状況で微分画像を求めた場合には、顔の同じ位置にエッジができる。また、特徴量抽出部４において特徴量を抽出する入力画像として振幅微分画像を２値化して得た出力画像ｆ２を用いているので、振幅画像を用いる場合に比べて、データ量（情報量）を少なくでき、高速に顔認証処理をすることが可能となる。また、振幅画像を用いる場合に比べて、段差のように距離の変化率が大きい領域と距離の変化率が小さい領域とを容易に識別することが可能になり、対象物を正確に認識することができるという利点がある。

さらに、光検出素子１０に入射する反射光のパワーは距離の２乗に反比例するので、例えば、光検出素子１０の前に立っている人の画素値に比べると、背景の画素値が低くなり、図９（ａ）の濃淡画像ｆ１１と同じ状況で撮像した図９（ｂ）上段の振幅画像ｆ１を上記閾値で２値化することにより図９（ｂ）下段のように背景が除去された振幅２値画像ｆ４を得ることができ、振幅２値画像ｆ４における処理領域を対象物のみに限定することが可能となる。したがって、顔のみが光検出素子１０の比較的近くに位置することが多い顔認証の用途では、特に適しており、対象物である顔のみを抽出して認証に要する時間の短縮化を図れるとともに、顔認証の精度の向上を図れる。すなわち、振幅画像はダイナミックレンジの範囲内であれば環境光の影響を受けず、しかも、振幅画像を例えば上記閾値で２値化することにより対象空間内に存在する対象物である物体Ｏｂの背景を抽出しにくくなり、対象物のみを主に抽出することができるので、濃淡画像全体から特徴量を抽出する場合に比べて、対象物のみを中心にして特徴量を抽出することができ、特徴量の抽出にかかる時間が短縮される。また、環境光の影響を受けていない振幅画像に基づいて生成した振幅微分画像から特徴量を抽出するので、より精度よく安定して顔の特徴量を抽出することができ、結果的に顔認証の精度の向上を図れる。また、特徴量の位置関係により個人の認証を行う場合、顔全体を認証に用いる場合と比べて情報量を減らすことができ、また、テンプレート作成記憶部ＴＰに複数の顔テンプレートが登録されている場合においても、特徴量の位置関係から本人の可能性が高い顔テンプレートの候補について優先的に類似度を算出して認証を行うことも可能となる。

例えば、図１０に示すように物体Ｏｂである人物の側方に対象空間を照明している照明装置Ｌが存在している（つまり、物体Ｏｂの側方から照射される環境光が存在している）ような状況においては、図１１（ｂ）の上側に示した濃淡画像ｆ１１の各画素の微分強度値を画素値とする濃淡微分画像を適宜閾値で２値化して得られる図１１（ｂ）の下側に示した出力画像ｆ１２では顔の特徴量（顔の輪郭、目、鼻、口など）のうち認識できない箇所が多くなってしまう。これに対して、図１１（ａ）の上側に示した振幅画像ｆ１の各画素の微分強度値を画素値とする振幅微分画像を２値化して得られる図１１（ａ）の下側に示した出力画像ｆ２では顔の特徴量をより認識しやすくなっていることが分かる。要するに、濃淡画像を画像処理して得られる出力画像ｆ１２は環境光の影響を受けやすいのに対して、振幅画像を画像処理して得られる出力画像ｆ２は環境光の影響を受けにくいので、対象物認識部６において安定して対象物を認識することができる。また、微分強度値は画像の明るさの影響を受け難いので、振幅微分画像を２値化して得られた出力画像ｆ２を用いてテンプレートマッチングを行うことで、テンプレート作成モードにおいて光検出素子１０により対象空間を撮像してテンプレートを作成するときの対象空間の明るさと、通常動作モード時において光検出素子１０により対象空間を撮像して対象物の認識を行うときの対象空間の明るさとが異なっていても、対象空間の明るさの変動の影響を受け難く、振幅画像そのものから特徴量を抽出する場合に比べて、特徴量をより正確に抽出することが可能となる。

なお、顔の特徴量を抽出する技術について図１２を利用して説明すれば、まず、図１２（ａ）に示す振幅画像ｆ１から図１２（ｂ）に示す出力画像（振幅微分画像を２値化して得られる画像）ｆ２を作成する。ここにおいて、目、鼻、口などは頬や額などに比べて微分強度値が大きくなるので、振幅微分画像を２値化した場合、図１２（ｂ）に示す出力画像ｆ２のように、目、鼻、口、顔の輪郭のみを抽出することが可能となる。したがって、図１２（ｂ）に示す出力画像ｆ２において目、鼻、口などの各部位の端点を抽出することによって、図１２（ｃ）に示すように顔の特徴点Ｃを抽出することができ、これらの特徴点の位置関係を用いて顔認証を行うことができる。

（参考例２）
参考例１では、点灯期間Ｔａの受光出力Ａａと消灯期間Ｔｂの受光出力Ａｂとは異なる取出期間において光検出素子１０から画像生成部３に与えている。つまり、点灯期間Ｔａに対応する集積期間に集積した電荷を受光出力として画像生成部３に与える取出期間と、消灯期間Ｔｂに対応する集積期間に集積した電荷を受光出力として画像生成部３に与える取出期間とが個別に設けられている。本参考例は、点灯期間Ｔａの受光出力Ａａと消灯期間Ｔｂの受光出力とを一括して画像生成部３に与えるように取出期間を設定する。つまり、点灯期間Ｔａに対応する集積期間に集積した電荷と、消灯期間Ｔｂに対応する集積期間に集積した電荷とをともに光検出素子１０に設けた異なる電荷集積部１ｂにおいて保持しておき、１回の取出期間において両方の電荷をまとめて画像生成部３に与えるのである。

本参考例では、隣り合う２個１組の受光素子１を１画素として扱い、１画素となる２個の受光素子１における感光部１ａの各一方をそれぞれ他方に対して高感度にするように、制御電極１３に印加する制御電圧を調節する。つまり、１画素となる２個の感光部１ａの一方は発光源２の点灯期間Ｔａにおいて高感度にし、他方は発光源２の消灯期間Ｔｂにおいて高感度にする。また、高感度にしていないほうの感光部１ａは低感度にする。

本参考例の動作を具体的に説明する。図１３に示すように、１画素となる２個の受光素子１がそれぞれ３個の制御電極１３を備えるものとして動作を説明する。ただし、１個の受光素子１に対する制御電極１３の個数は３個に限られるものではない。

以下では、１画素を構成する２個の受光素子１の各制御電極１３を区別するために、図１３のように、各制御電極１３に（１）〜（６）の数字を付与して区別する。すなわち、組になる２個の受光素子１のうちの一方は制御電極（１）〜（３）を備え、他方は制御電極（４）〜（６）を備える。なお、１画素ずつの受光素子１に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。

参考例１において説明したように、感光部１ａの感度を制御するには受光面に占めるポテンシャル井戸１４の面積が変化するように制御電極１３に印加する制御電圧の印加パターンを制御するから、１画素を構成する２個の受光素子１の制御電極１３に印加する制御電圧の印加パターンを、発光源２の点灯期間Ｔａと消灯期間Ｔｂとに同期させて変化させれば、２個の受光素子１のうちの一方の電荷集積部１ｂには点灯期間Ｔａにおける電荷が集積され、他方の電荷集積部１ｂには消灯期間Ｔｂにおける電荷が集積される。

つまり、発光源２の点灯期間Ｔａには、図１３（ａ）のように、制御電極（１）〜（３）に対応するポテンシャル井戸１４の面積を大きくするために、１画素の一方の受光素子１に対応した３個の制御電極（１）〜（３）のすべてに同電圧である正の制御電圧（＋Ｖ）を印加し、この期間には他方の受光素子１に対応した３個の制御電極（４）〜（６）のうちの中央の制御電極（５）にのみ正の制御電圧（＋Ｖ）を印加してポテンシャル井戸１４の面積を小さくする。つまり、制御電極（１）〜（３）に対応する領域は感光部１ａを高感度に設定した状態になり、制御電極（４）〜（６）に対応する領域は感光部１ａを低感度に設定した状態になる。したがって、制御電極（４）〜（６）に対応する領域では、受光による新たな電荷（電子ｅ）の生成量が制御電極（１）〜（３）に対応する領域に比べて大幅に少なくなり、制御電極（１）〜（３）に対応する領域のポテンシャル井戸１４には受光出力Ａａに相当する電荷が集積される。

一方、発光源２の消灯期間Ｔｂには、図１３（ｂ）のように、制御電極（４）〜（６）に対応するポテンシャル井戸１４の面積を大きくするために、１画素の一方の受光素子１に対応した３個の制御電極（４）〜（６）のすべてに同電圧である正の制御電圧（＋Ｖ）を印加し、この期間には他方の受光素子１に対応した３個の制御電極（１）〜（３）のうちの中央の制御電極（２）にのみ正の制御電圧（＋Ｖ）を印加してポテンシャル井戸１４の面積を小さくする。つまり、制御電極（４）〜（６）に対応する領域は感光部１ａを高感度に設定した状態になり、制御電極（１）〜（３）に対応する領域は感光部１ａを低感度に設定した状態になる。したがって、制御電極（１）〜（３）に対応する領域では、受光による新たな電荷（電子ｅ）の生成量が制御電極（４）〜（６）に対応する領域に比べて大幅に少なくなり、制御電極（４）〜（６）に対応する領域のポテンシャル井戸１４には受光出力Ａｂに相当する電荷が集積される。

図１３（ａ）の状態では点灯期間Ｔａに対応する電荷を集積することができ、図１３（ｂ）の状態では消灯期間Ｔｂに対応する電荷を集積することができるから、図１３（ａ）の状態と図１３（ｂ）の状態とが１回ずつ得られるように制御電圧の印加パターンを制御すれば、点灯期間Ｔａと消灯期間Ｔｂとの受光出力Ａａ，Ａｂを得ることができる。しかしながら、点灯期間Ｔａと消灯期間Ｔｂとの長さによっては、１回ずつでは受光素子１に入射する光量が少なく受光素子１の内部で発生するショットノイズにより受光出力Ａａ，ＡｂのＳ／Ｎが悪化する場合がある。この場合には、図１３（ａ）と図１３（ｂ）との両状態を複数回ずつ繰り返すことにより電荷集積部１ｂに複数回分の電荷を集積した後に、電荷取出部１ｃによって受光出力Ａａ，Ａｂを取り出せばよい。

電荷取出部１ｃは、１画素となる２個の受光素子１の電荷集積部１ｂに、それぞれ発光源２の点灯期間Ｔａにおける電荷と消灯期間Ｔｂにおける電荷とが集積された後に、取出期間を設けて２種類の受光出力Ａａ，Ａｂを一括して画像生成部３に与える。つまり、参考例１では、点灯期間Ｔａの電荷を集積する集積期間、この電荷を取り出す取出期間、消灯期間Ｔｂの電荷を集積する集積期間、この電荷を取り出す取出期間の４期間で２種類の受光出力Ａａ，Ａｂを得ていたのに対して、本参考例では、点灯期間Ｔａの電荷を集積する集積期間、消灯期間Ｔｂの電荷を集積する集積期間、両方の電荷を取り出す取出期間の３期間で２種類の受光出力Ａａ，Ａｂを得ることができる。

ところで、本参考例では、図１３（ａ）の状態と図１３（ｂ）の状態とのいずれにおいても各３個の制御電極（１）〜（３）または（４）〜（６）に同時に印加する制御電圧（＋Ｖ）と、１個の制御電極（２）または（５）のみに印加する制御電圧（＋Ｖ）とは等しくなるように設定してある。したがって、ポテンシャル井戸１４の面積が変化してもポテンシャル井戸１４の深さはほぼ一定に保たれる。つまり、ポテンシャル井戸１４の間の障壁付近で生成されポテンシャル井戸１４に流れ込む電荷は、隣り合うポテンシャル井戸１４にほぼ均等に振り分けられることになる。

以下では、ポテンシャル井戸１４に不要な電荷が混入しても画像生成部３で振幅画像ｆ１を生成する際に不要な電荷の影響を除去できる理由を説明する。ここで、説明を簡単にするために、ポテンシャル井戸１４に集積される電荷の量がポテンシャル井戸１４の面積に比例するものとする。本参考例では、感光部１ａを高感度にしている状態と低感度にしている状態とでは、ポテンシャル井戸１４の面積にはほぼ３倍の違いがあるから、集積される電荷の量は３倍異なるものとする。

いま、１個の制御電極１３に対応するポテンシャル井戸１４を形成したときに（図１３（ａ）の状態で制御電極（５）に対応したポテンシャル井戸１４に相当する）、このポテンシャル井戸１４に、発光源２からの光により集積される電荷の量をＳとし、環境光により集積される電荷の量をＮとする。図１３（ａ）の状態で制御電極（５）に対応するポテンシャル井戸１４に集積される電荷の量は（Ｓ＋Ｎ）であるから、制御電極（１）〜（３）に対応するポテンシャル井戸１４に集積される電荷の量は（３Ｓ＋３Ｎ）になる。一方、図１３（ｂ）の状態は消灯期間Ｔｂであるから、発光源２からの光により集積される電荷はなく、制御電極（２）に対応するポテンシャル井戸１４に集積される電荷の量はＮであるから、制御電極（４）〜（６）に対応するポテンシャル井戸１４に集積される電荷の量は３Ｎになる。

画像生成部３において振幅画像を生成する際には、図１３（ａ）の状態で制御電極（１）〜（３）に対応するポテンシャル井戸１４に集積された電荷と、図１３（ｂ）の状態で制御電極（４）〜（６）に対応するポテンシャル井戸１４に集積された電荷とに対応する受光出力Ａａ，Ａｂを減算する。ただし、図１３（ａ）の状態において制御電極（５）に対応するポテンシャル井戸１４には不要な電荷が集積されており、その量は（Ｓ＋Ｎ）であるから、消灯期間Ｔｂの受光出力Ａｂに相当する電荷の量は（Ｓ＋Ｎ）と３Ｎとを加算した量である（Ｓ＋４Ｎ）になる。一方、図１３（ｂ）の状態において制御電極（２）に対応するポテンシャル井戸には不要な電荷が集積されており、その量はＮであるから、点灯期間Ｔａの受光出力Ａａに相当する電荷の量は（３Ｓ＋３Ｎ）とＮとを加算した量である（３Ｓ＋４Ｎ）になる。つまり、点灯期間Ｔａに対応する受光出力Ａａは（３Ｓ＋４Ｎ）に対応し、消灯期間Ｔｂに対応する受光出力Ａｂは（Ｓ＋４Ｎ）に対応するから、画像生成部３において振幅画像ｆ１を生成する際には、（Ａａ−Ａｂ）∝｛（３Ｓ＋４Ｎ）−（Ｓ＋４Ｎ）｝＝２Ｓに相当する演算を行うことになり、不要な電荷と環境光とに対応した成分が除去される。

（参考例３）
参考例２では、１画素を形成する２個の受光素子１について、３個ずつの制御電極（１）〜（３）または（４）〜（６）に同時に印加する制御電圧（＋Ｖ）と、１個の制御電極（２）または（５）のみに印加する制御電圧（＋Ｖ）とが等しくなるように設定していたから、ポテンシャル井戸１４の面積には変化が生じるものの、深さはほぼ等しくなっている。

本参考例は、参考例２と同様に２個の受光素子１により１画素を形成しているが、参考例２ではポテンシャル井戸１４の深さを変化させなかったのに対して本参考例では、図１４に示すように、ポテンシャル井戸１４の面積とともに深さを変化させる技術を採用している。すなわち、３個ずつの制御電極（１）〜（３）または（４）〜（６）に同時に印加する制御電圧（＋Ｖ）を、１個の制御電極（２）または（５）にのみ印加する制御電圧よりも高く設定し、面積の大きいポテンシャル井戸１４の深さよりも面積の小さいポテンシャル井戸１４の深さのほうを浅くしている。例えば、面積の大きいポテンシャル井戸１４を形成する際に３個ずつの制御電極（１）〜（３）または（４）〜（６）に同時に印加する電圧を７Ｖとすれば、面積の小さいポテンシャル井戸１４を形成する際に１個の制御電極（２）または（５）にのみ印加する電圧を３Ｖなどと設定するのである。

ところで、制御電圧を印加していない制御電極（１）（３）または（４）（６）に対応する部位で生じた電荷は、ポテンシャル井戸１４に流れ込もうとする。このとき、ポテンシャル井戸１４が深いほうが電荷の流れ込む確率が高くなると考えられる。すなわち、上述のように、感光部１ａを高感度に設定して電荷を集積する際のポテンシャル井戸１４を、感光部１ａを低感度に設定して電荷を保持するポテンシャル井戸１４よりも深くしたことより、高感度に設定して電荷を集積しているポテンシャル井戸１４（３個ずつの制御電極（１）〜（３）または（４）〜（６）に対応するポテンシャル井戸１４）に電荷がより多く流れ込むことになる。その結果、低感度に設定して電荷を保持しているポテンシャル井戸１４（１個のみの制御電極（２）または（５）に対応するポテンシャル井戸１４）によって保持されている電荷に、制御電極（１）（３）または（４）（６）に対応する部位で生成された不要な電荷が混入される確率が低減される。要するに、電荷を保持するポテンシャル井戸１４に流れ込む不要な電荷を参考例２よりもさらに低減させることができる。他の構成および動作は参考例２と同様であり、図１４（ａ）（ｂ）の状態を交互に繰り返すことにより点灯期間Ｔａと消灯期間Ｔｂとに対応する電荷を２個の受光素子１にそれぞれ集積し、２個の受光素子１に集積した電荷を１回の取出期間において一括して受光出力Ａａ，Ａｂとして取り出すのである。

（参考例４）
本参考例は、図１５に示すように、参考例３の構成に加えて、各受光素子１に対応する３個ずつの制御電極（１）〜（３）または（４）〜（６）のうちの中央の制御電極（２）または（５）に印加する制御電圧を両側の制御電極（１）（３）または（４）（６）に印加する制御電圧よりも高くし、かつ中央の制御電極（２）または（５）に遮光膜１５を重ねたものである。

本参考例では、受光素子１の一部を遮光膜１５で覆っているから、遮光膜１５で覆った部位ではポテンシャル井戸１４に光が入射せず、光による電荷がほとんど生成されないから、電荷を保持するためにポテンシャル井戸１４の面積を小さくしている状態では電荷がほとんど生成されず、保持している電荷に雑音成分となる電荷が混入する可能性を大幅に低減することができる。さらに、本参考例では、電荷を生成するために面積を大きくしているポテンシャル井戸１４に対応する部位では、３個ずつの制御電極（１）〜（３）または（４）〜（６）のうち中央の制御電極（２）または（５）に印加する電圧を両側の制御電極（１）（３）または（４）（６）に印加する電圧よりも高くしているから、制御電極（２）または（５）に対応する部位では光による電荷がほとんど生成されないものの、受光素子１のうち制御電極（１）（３）（４）（６）に対応する部位で生成された電荷を制御電極（２）（５）に対応する部位に流し込むことができ、生成された電荷を集積することができる。

ところで、参考例３の構成では、電荷を生成する期間において３個ずつの制御電極（１）〜（３）または（４）〜（６）に対応するポテンシャル井戸１４の深さがほぼ一定であるから、電荷を生成する期間と電荷を保持する期間とを数ｎｓ以下の短時間で切り換えた場合に、電荷を生成する期間において制御電極（１）（３）または（４）（６）に対応する部位で生成された電荷の一部が、電荷を保持する期間において制御電極（２）または（５）に対応する部位に移動することなく取り残されるおそれがある。取り残された電荷は、隣りの受光素子１に対応して形成されるポテンシャル井戸１４に流れ込むから、隣接する受光素子１のポテンシャル井戸１４の間で電荷が混合される可能性がある。つまり、電荷に含まれる雑音成分が多くなる可能性がある。

これに対して、本参考例では、電荷を生成する際にポテンシャル井戸１４に深い部位と浅い部位とを形成して階段状としているから、制御電極（１）（３）または（４）（６）に対応する部位で生成された電荷は生成と同時に制御電極（２）または（５）に対応する部位に移動する。すなわち、電荷を生成する期間と電荷を保持する期間とを数ｎｓ以下の短時間で切り換えた場合であっても、隣接する受光素子１に形成されるポテンシャル井戸１４の間で電荷が混合される可能性が少なくなり、雑音成分の低減につながる。なお、ポテンシャル井戸１４を階段状に形成する技術は遮光膜１５の有無にかかわらず採用可能である。他の構成および動作は参考例３と同様であり、本参考例においても参考例３と同様に、図１５（ａ）（ｂ）の状態を交互に繰り返すことにより、点灯期間Ｔａと消灯期間Ｔｂとに対応する電荷を集積し、さらに両電荷を一括して取り出す取出期間を設けるように制御電極１３に印加する制御電圧の印加パターンを制御する。

参考例２ないし参考例４では、光電素子１ごとに３個ずつの制御電極１３を対応付けているが、制御電極１３は光電素子１ごとに４個以上設けるようにしてもよい。さらに、１画素を形成する制御電極１３について制御電圧を印加する制御電極１３の個数を１個と３個との２段階に切り換えるようにしているが、３段階以上に切り換えることも可能である。

（実施形態）
上述した各参考例においては、特徴量抽出部４における画像加工手段が画像生成部３にて生成された振幅画像ｆ１から振幅微分画像を生成しているが、本実施形態では画像加工手段が振幅画像ｆ１の振幅値から求められる各画素の微分方向値である振幅勾配方向値を画素値とする振幅勾配方向画像ｆ３（図１６参照）を生成し、振幅勾配方向画像ｆ３から特徴量を抽出する点が相違する。なお、本実施形態の画像処理装置の基本構成は参考例１と同様なので図示を省略する。

特徴量抽出部４の画像加工手段において、振幅勾配方向画像ｆ３の生成にあたっては、参考例１と同様に、図２に示すようなマスクサイズが３×３画素のソーベルフィルタｈ_ｘ，ｈ_ｙを振幅画像ｆ１の全ての画素に適用して局所空間微分を行い、振幅画像ｆ１の振幅値から求められる各画素の微分方向値である振幅勾配方向（以下、振幅勾配方向値と称す）を画素値とする振幅勾配方向画像を生成するが、振幅勾配方向値θは、上述の（式２）と（式３）とを用いて下記の（式４）で表される。
θ＝ｔａｎ^-1｛ｄｘ／ｄｙ｝（式４）
ただし、図１６に示した振幅勾配方向画像ｆ３は、（式４）にて求めた振幅勾配方向値θが０度〜３５９度の範囲内で大きくなるにつれて濃度値が徐々に大きくなるスケール（振幅勾配方向値θが０度のときに濃度値が最小となり且つ振幅勾配方向値θが３５９度のときに濃度値が最大となるスケール）を用いて各振幅勾配方向値θから換算した濃度値を画素値とした画像である。

そして、参考例１と同様、類似度演算部５において特徴量抽出部４により抽出された物体Ｏｂの特徴量とテンプレート作成記憶部ＴＰに登録されているテンプレートとを照合して算出された類似度が対象物認識部６へ与えられ、対象物認識部６では、類似度演算部５で算出された類似度が上記所定値以上になる場合に、光検出素子１０により撮像された物体Ｏｂである人物の顔が認証対象者本人の顔であることを認証（顔認証）する。

ここにおいて、特徴量抽出部４において特徴量を抽出するにあたっては、例えば、振幅勾配方向値を図１７（ａ）に示すような４方向Ｅ１，Ｅ２，Ｅ３，Ｅ４で４値化して同図（ｂ）に示すような振幅勾配方向画像（ここでは、４値化画像）ｆ３を作成する。そして、同図（ｂ）に示すようなマスクサイズが７×７画素のフィルタｈ１を全ての画素に適用して、フィルタｈ１の中に含まれる４方向Ｅ１，Ｅ２，Ｅ３，Ｅ４それぞれの数をカウントし、方向Ｅ１のカウント数と方向Ｅ３のカウント数とがそれぞれ閾値（例えば、１４）以上であった場合にその位置（７×７画素の中心画素）を有効画素とし、閾値未満である場合にその位置を無効画素とする処理を繰り返す。そして、有効画素を白領域、無効画素を黒領域とする図１７（ｃ）に示すようなマスク画像を作成し、図１７（ｃ）のようなマスク画像を利用してマスク処理を行うことにより顔の中で目、鼻、口などの個人の特徴的な部位のみを抽出し、抽出した部位のみを用いて顔認証を行うようにすればよい。このようなマスク処理を行うことにより、顔の中で目、鼻、口などの個人の特徴的な部位のみを抽出することが可能となるので、顔全体の画像を用いて認証処理を行う場合に比べて、認証に要する時間の短縮および認証精度の向上を図れる。

しかして、本実施形態の画像処理装置では、光検出素子１０のダイナミックレンジの範囲内であれば対象空間の環境光の変動に起因した各感光部１ａの受光出力の変化の影響を受けることなく同じ画素値が得られることとなるから、つまり、画像生成部３にて生成される画像として、対象空間の環境光の変動の影響を受けることなく同じ振幅画像ｆ１が得られることとなるから、物体Ｏｂの特徴量を安定して抽出することが可能となり、対象空間の環境光の変動の影響を受けることなく対象物を認識することができる。要するに、本実施形態においても、環境光の影響を受けることなく認証対象者の顔の認証判断を行うことができる。ここにおいて、特徴量抽出部４において特徴量を抽出する入力画像として上述の振幅勾配方向画像ｆ３を用いているので、振幅画像を用いる場合に比べて、発光源２と対象空間内に存在する物体Ｏｂとの間の距離の変化による物体Ｏｂでの反射光の変化の影響を軽減でき、対象物を正しく認識することができる。さらに説明すれば、発光源２と物体Ｏｂとの距離が変化することによって、物体Ｏｂからの反射光が変化するので、振幅画像において物体の画素値が全体的に変化する。したがって、振幅画像をそのまま入力画像として用いると、距離の変化の影響を受けてしまう。これに対して、振幅勾配方向画像を入力画像として用いる場合には、図１８の（ａ）の上段の振幅画像ｆ１と（ｂ）の上段の振幅画像ｆ１とのように全体的な画素値の変化があっても、図１８（ａ）の振幅画像ｆ１の振幅勾配方向画像ｆ３（図１８（ａ）の下段）と図１８（ｂ）の振幅画像ｆ１の振幅勾配方向画像ｆ３（図１８（ｂ）の下段）との比較から分かるように、変化しにくい特徴があるので、振幅勾配方向画像ｆ３を用いることによって距離の変化による影響を軽減することができる（図１９に示すように、３×３画素をミクロ的に見た例で説明すれば、照明変動があって画素値が変化しても、振幅勾配方向Ｂは変わりにくい）。

例えば、上述の図１０に示すように物体Ｏｂである人物の側方に対象空間を照明している照明装置Ｌが存在している（つまり、物体Ｏｂの側方から照射される環境光が存在している）ような状況においては、図２０（ｂ）の上側に示した濃淡画像ｆ１１の各画素の微分方向値（濃度勾配方向値）を上述のスケールを用いて換算した値を画素値とする図２０（ｂ）の下側に示した濃度勾配方向画像ｆ１３では顔の特徴量（顔の輪郭、目、鼻、口、頭、額など）のうち認識できない箇所が多くなってしまう。これに対して、図２０（ａ）の上側に示した振幅画像ｆ１の各画素の微分方向値（振幅勾配方向値）を上述のスケールを用いて換算した値を画素値とする図２０（ａ）の下側に示した振幅勾配方向画像ｆ３では顔の特徴量をより認識しやすくなっていることが分かる。要するに、濃淡画像ｆ１１を画像処理して得られる濃度勾配方向画像ｆ１３は環境光の影響を受けやすいのに対して、振幅画像ｆ１を画像処理して得られる振幅勾配方向画像ｆ３は環境光の影響を受けにくいので、対象物認識部６において安定して対象物を認識することができる。また、振幅勾配方向値θは画像の明るさの影響を受け難いので、上述の振幅勾配方向画像を用いてテンプレートマッチングを行うことで、テンプレート作成モードにおいて光検出素子１０により対象空間を撮像してテンプレートを作成するときの対象空間の明るさと、通常動作モード時において光検出素子１０により対象空間を撮像して対象物の認識を行うときの対象空間の明るさとが異なっていても、対象空間の明るさの変動の影響を受け難く、振幅画像そのものから特徴量を抽出する場合に比べて、特徴量をより正確に抽出することが可能となる。

なお、上述の特徴量抽出部４において振幅勾配方向値θを求めるにあたっては注目画素ｐ５（図３（ａ）参照）の８近傍の画素ｐ１〜ｐ４，ｐ６〜ｐ９の画素値ａ〜ｄ，ｆ〜ｉを用いてｄｘ(u,v)、ｄｙ(u,v)を算出しているが、４近傍や１６近傍の画素の画素値を用いて算出することも可能である。また、ｄｘ(u,v)およびｄｙ(u,v)から振幅勾配方向値θを求める関数として逆正接関数（ｔａｎ^-1）を採用しているが、他の関数を用いることも可能である。このような関数としては、ｄｘ(u,v)とｄｙ(u,v)との比の非線形性を修正して振幅勾配方向値θに線形性が得られる関数が望ましい。

参考例１を示すブロック図である。同上の動作説明図である。同上の動作説明図である。同上の動作説明図である。同上に用いる受光素子の動作説明図である。同上の動作説明図である。同上の動作説明図である。同上の他の動作説明図である。同上の動作説明図である。同上の動作説明図である。（ａ）は同上の動作説明図、（ｂ）は比較例の動作説明図である。同上の動作説明図である。参考例２を示す動作説明図である。参考例３を示す動作説明図である。参考例４を示す動作説明図である。実施形態において生成される振幅勾配方向画像図である。同上の動作説明図である。同上の動作説明図である。同上の動作説明図である。（ａ）は同上の動作説明図、（ｂ）は比較例の動作説明図である。

符号の説明

１ａ感光部
１ｂ電荷集積部
１ｃ電荷取出部
２発光源
３画像生成部
４特徴量抽出部
５テンプレート作成記憶部
６類似度演算部
７受光光学系
８制御回路部
１０光検出素子
１３制御電極
Ｏｂ物体

Claims

光を対象空間に照射する発光源と、受光光量に応じた受光出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間へ光を照射していないときの各感光部の受光出力と発光源から対象空間へ光を照射したときの各感光部の受光出力との差分からなる受光出力の振幅値を画素値とする振幅画像を生成する画像生成部と、画像生成部で生成された振幅画像に基づいて対象空間内に存在する物体の特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出された物体の特徴量を予め登録されているテンプレートと照合して類似度を算出する類似度演算部と、類似度演算部で算出された類似度が所定値以上になる物体をテンプレートに相当する対象物として認識する対象物認識部とを備え、特徴量抽出部は、前記振幅画像の振幅値から求められる各画素の微分方向値である振幅勾配方向値を画素値とする振幅勾配方向画像を生成し、振幅勾配方向画像から前記特徴量を抽出することを特徴とする画像処理装置。
予め前記光検出素子により前記対象空間内の物体として認証対象者を撮像したときに前記特徴量抽出部により抽出された認証対象者の顔の特徴量に基づいて作成した顔テンプレートを前記テンプレートとして登録保持するテンプレート作成記憶部を備え、前記類似度演算部は、前記特徴量抽出部により抽出された物体の特徴量をテンプレート作成記憶部に登録されている前記テンプレートと照合して類似度を算出し、前記対象物認識部は、前記類似度演算部で算出された類似度が前記所定値以上になる場合に、前記光検出素子により撮像された物体が認証対象者本人であることを認証する認証機能を有することを特徴とする請求項１記載の画像処理装置。