JP6517499B2 - 撮像システム - Google Patents

Description

本発明は、同じ撮像範囲に対して可視光による撮影と赤外光による撮影とを同時に行うことにより情報を取得する撮像システムに関する。

近年、画像認識技術が進歩し、たとえばデジタルカメラには、顔認識により人間の顔を認識して、顔にピントを合わせることができる。さらに、監視カメラの画像データから、予め、顔の画像データが登録された人物の顔を認識して特定することも可能となっている。しかし、顔認識の場合に、ポスター等の写真の顔も人物の顔と誤認識する場合がある。そこで、可視光による画像認識と、赤外光による熱検知（体温検知）とから顔を認識する提案がなされている（たとえば、特許文献１参照）。

この場合に、１つのカメラにより、可視光による撮影と、赤外光による撮影を行い、可視光の画像データを用いた顔認識により特定された顔の位置の温度を赤外光の画像データから認識し、顔認識されるとともに温度が高い領域を顔と認識することができるので、体温より温度が低いポスターの顔写真を人物の顔と誤認識することがない。

前記特許文献１では、可視光と赤外光とによる撮影を同時に行うかまたは切り替えて行う構造が複数提案されている。ここで、デジタルカメラ等の撮像素子は、可視光から近赤外までの光に受光感度を備えており、赤外光をカットして可視光を透過する赤外光カットフィルタや、可視光をカットして赤外光を透過する可視光カットフィルタを使い分けることにより、可視光の撮影と、赤外光の撮影が可能になる。この場合に、レンズや撮像素子を備える撮像系として、赤外光カットフィルタを備えた撮像系と、可視光カットフィルタを備えた撮像系の２つを１つのカメラに設けたり、１つの撮像系で、赤外光カットフィルタと可視光カットフィルタとを切り替え可能に設けたりする必要がある。

また、赤外光では、体温の検知だけではなく、脈拍数（心拍数）を検知できることが知られている。たとえば、皮膚の表層の毛細血管においては、心臓の鼓動に対応する脈拍によって、毛細血管が膨張したり収縮したりしている。毛細血管が膨張しているときは、毛細血管内の血液量が多く、それに応じて血液のヘモグロビンも多くなる。逆に毛細血管が収縮しているときは、毛細血管内の血液量が少なく、それに応じて血液のヘモグロビンも少なくなる。したがって、脈拍に同期して皮膚の表層のヘモグロビンが多くなったり、少なくなったりする。

ヘモグロビンは、近赤外の光を吸収することが知られている。したがって、皮膚の表層のヘモグロビン量が少なくなると、近赤外光の反射量が多くなり、ヘモグロビン量が多くなると、近赤外光の反射量が少なくなる。したがって、近赤外光を出力する発光素子としてのＬＥＤと、近赤外光を検知する受光素子としての赤外光センサとによって、脈箔に同期して増減する赤外光の反射量を検知することにより、脈拍数が測定可能となる。赤外光の反射量が脈拍に同期して変化することから、人の肌、たとえば、顔の赤外画像を動画として撮影して解析することによっても、略リアルタイムで脈拍数を検知可能となる。

また、監視カメラ等で、可視光と赤外光を同時に撮影し、可視光から、たとえば病院や施設の観察対象となる人物の顔の領域を検出し、対応する赤外光の顔の領域から体温を検出するとともに、可視光の顔の領域から脈拍を検出することが提案されている（たとえば、特許文献２参照）。なお、上述の毛細血管の膨張と収縮によりたとえば緑の波長域の光を吸収して赤い色となっているヘモグロビンの量の変化から脈拍に応じて顔の色が少しだけ変化するので、可視光の動画データから脈拍数を検知することが可能である。

特許文献２では、ハーフミラーを用いて、入力する光を二分し、二分された一方の光側に赤外カットフィルタを介して撮像素子を配置し、他方の光側に可視光カットフィルタ（バンドパスフィルタ）を介して撮像素子を配置することにより、可視光の動画と、赤外光の動画を同時に撮影するようになっている。また、特許文献２では、カラー撮影用の撮像素子に設けられるカラーフィルタとして、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の可視光の各領域と、赤外光を通過させる赤外（ＩＲ）の領域を設けることで、１つの撮像素子によりカラー画像と、赤外画像とを撮影する方法が提案されている。

特許第４７０２４４１号公報 特開２０１４−３６８０１号公報

ところで、可視光の画像と、赤外光の画像との両方を同時に撮影する撮影装置の場合に、可視光用の赤外カットフィルタを用いた撮像素子と、赤外光用の可視光カットフィルタを用いた撮像素子との両方を用いる場合には、少なくとも撮像素子が、２つ必要となり、小型化が困難であり、かつ、コストの低減が困難になる。

また、ハーフミラーにより光学系から入力する像を２方向に分離し、分離した像を別々の撮像素子で撮像する場合も、小型化が難しい。また、２つの撮像素子を用いる場合に、各撮像素子で撮影された二つの動画データには、多少の位置ずれが生じるので、２つの画像データで同じ座標系を用いて画像処理する場合に、位置ずれを補正する必要が生じる。

また、赤外カットフィルタと、可視光カットフィルタとを切り替える撮影装置の場合に、フィルタを切り替える構造にコストがかかるとともに、可視画像と赤外画像とを同時に撮影することが困難であり、機会的なフィルタの移動を繰り返すような構造の場合に、時間当たりに撮影されるフレーム数が制限される。

これらに対して、撮像素子に設けられるカラーフィルタに上述のように可視光のＲＧＢの各領域に加えてＩＲの領域を設ける方式では、サイズの小型化とコスト増の抑止を図ることができる。しかし、一般的なＩＲの領域の無いＲＧＢの各領域からなるカラーフィルタを用いた撮像素子を備えるデジタルカメラにおいては、赤外カットフィルタが用いられている。これは、カラーフィルタにおいて、ＲＧＢの各色の領域は、各色の波長範囲に透過率のピークを有し、かつ、他の色の波長範囲に遮断特性を有するが、可視光より長波長側の近赤外に透過特性を有することに基づくものである。

すなわち、一般的なカラーフィルタは、カラーフィルタの各色の領域を通過してしまう赤外光をカットするために、赤外カットフィルタを必要とする。したがって、カラーフィルタに、たとえば、可視光を遮断して近赤外光を透過するＩＲ領域を設けたとしても、赤外カットフィルタを用いないと、ＲＧＢの各領域に対応する撮像素子の画素にＲＧＢのそれぞれに対応する波長範囲の光に加えて赤外光が入力することになり、その分だけ撮像素子の各画素の受光素子から出力される電荷が大きくなってしまい、赤外カットフィルタを用いた場合に比較して自然な色の画像を得ることが困難である。また、赤外カットフィルタを用いてしまうと、カラーフィルタにＩＲの領域を設けても赤外画像を撮影できない問題がある。

したがって、カラーフィルタに可視光を遮断して近赤外光を透過するＩＲの領域を設けることにより、たとえば、可視光カットフィルタが必要なくなるが、赤外カットフィルタを必要とするとともに、赤外画像を撮影する際には、赤外カットフィルタを外す必要が生じる。すなわち、赤外カットフィルタの有無を切り替える構成が必要となり、同時に可視画像と赤外画像を撮像することが困難である。

本発明は、前記事情に鑑みてなされたものであり、可視画像の撮影と、赤外画像の撮影とを同時に行って、可視と赤外で同じ撮像範囲内の人物の顔を可視画像で認識し、当該顔の肌の領域の赤外画像から脈拍数や体温等のバイタルサインを測定可能でかつコンパクトで低コストに製造できる撮像システムを提供することを目的とする。

前記課題を解決するために、本発明の撮像システムは、
画素毎に受光素子が配置された撮像センサ本体を備えるとともに可視光の複数の色の領域および赤外光の領域が所定配列で前記撮像センサ本体の各画素に配置されるカラーフィルタを備える撮像センサと、
前記撮像センサ上に像を結ぶレンズを有する光学系と、
可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタと、
前記撮像センサから出力される信号に基づいて、前記可視光の各色の成分の信号から前記赤外光の成分の信号を減算する処理を行い、同じ撮像範囲の可視画像信号および赤外画像信号を同時に出力可能な信号処理手段と、
前記可視画像信号の画像内の人物の顔の領域を特定する可視画像処理手段と、
前記赤外画像信号の画像内の前記可視画像処理手段により特定された前記人物の顔の領域の画像からバイタルサインの少なくとも一部を計測する赤外画像処理手段とを備えることを特徴とする。

このような構成によれば、可視光と赤外光の領域を有するカラーフィルタを備える撮像センサと、可視光帯域と可視光帯域から離れた近赤外帯域である第２の波長帯域に透過特性を有する光学フィルタとを備えるとともに、信号処理手段により各色成分の信号から赤外光成分の信号を減算することにより、赤外カットフィルタを用いなくとも出力される可視画像信号には、赤外光成分が含まれていない状態となる。なお、光学フィルタの第２の波長帯域を通過する赤外光は、カラーフィルタのＩＲ領域を通過することになる。以下に、可視光帯域と、赤外の第２の波長帯域に光の透過特性を有する光学フィルタをＤＢＰＦ（ダブル・バンド・パス・フィルタ）と称する場合ある。

また、可視光の各色の領域を通過した各色の可視光成分に含まれる赤外光成分は、ＤＢＰＦの第２の波長帯域を通過した赤外光だけである。また、カラーフィルタのＩＲ領域を通過した赤外光成分は、光学フィルタの第２の波長帯域を通過した赤外光の成分である。したがって、可視光に含まれる赤外成分の波長範囲をＤＢＰＦにより制限し、カラーフィルタの可視光を遮断するＩＲ領域を通過可能な赤外光の波長範囲が第２の波長帯域を略含むようになっていれば、上述のように波長範囲が制限された赤外成分を、各色の可視光成分から除去することが可能となり、各色の可視光成分に含まれる赤外光成分をより正確に除去することが可能になる。

これにより、赤外カットフィルタが無くても、従来の赤外カットフィルタを用いた場合に近い自然な可視画像を得ることができるので、赤外カットフィルタの有無を切り替えることなく、可視画像信号と、赤外画像信号とを同時に出力することができ、可視画像を使った顔認識に基づいて、赤外画像の顔の肌の領域から体温や脈拍等のバイタルサインを読み取ることが可能となる。

この場合に１つの撮像素子により可視画像と赤外画像撮像の同時撮像が可能で、かつ、可視画像で特定された人物の顔の領域に基づいて、赤外画像で脈拍数や体温を測定可能とする撮像システムにおいて、撮像素子を１つにでき、フィルタの切り換え装置を必要とせず、撮像システムの小型化を図れるとともに、撮像システムのコストの低減を図ることができる。

また、１つの撮像素子でＩＲ領域を含むカラーフィルタを用いて撮影しているので、可視画像と赤外画像で撮影範囲にずれがでることがなく、基本的に可視画像の各画素と、赤外画像の各画素がそれぞれ対応していることになる。したがって、２つの撮像素子を用いた場合のように位置ずれを補正する必要がない。

なお、可視光帯域は、４００ｎｍから７００ｎｍ程度の波長帯域であり、第１の波長帯域が近赤外の波長帯域として７００ｎｍ程度以上の波長帯域であり、第２の波長帯域は、たとえば、８００ｎｍ〜１１００ｎｍ程度の波長帯域またはこの波長帯域に含まれ、かつ、この波長帯域より狭い波長帯域である。

本発明の前記構成において、前記光学系は、物体側から像側に向かって順に、負のパワーを備える第１レンズ、負のパワーを備える第２レンズ、正のパワーを備える第３レンズ、および、正のパワーを備える第４レンズからなり、
前記第４レンズは、負のパワーを備える物体側レンズと正のパワーを備える像側レンズからなる接合レンズであり、前記物体側レンズと前記像側レンズとを接着している樹脂接着剤層を備え、
前記物体側レンズの像側レンズ面および前記像側レンズの物体側レンズ面は、それぞれが互いに異なる非球面形状をしており、
光軸上における前記樹脂接着剤層の厚さ寸法をＤ、前記光軸と直交する方向の前記物体側レンズの像側レンズ面の有効径での高さＨにおける前記物体側レンズの像側レンズ面のサグ量をＳｇ１Ｈ、前記高さＨにおける前記像側レンズの物体側レンズ面のサグ量をＳｇ２Ｈとしたときに、以下の条件式（１）および条件式（２）を満たすことが好ましい。
２０μｍ ≦ Ｄ （１）
Ｓｇ１Ｈ ≦ Ｓｇ２Ｈ （２）

このような構成によれば、本発明の光学系（撮像レンズ）において、接合レンズを構成する２枚のレンズの接合面となっている物体側レンズの像側レンズ面および像側レンズの物体側レンズ面が互いに異なる非球面形状とされている。この結果、接合レンズを用いて色収差などの諸収差を補正することが容易となるので、撮像レンズの高解像度化を図ることができる。また、条件式（１）および条件式（２）を満たすので、互いに異なる非球面形状とされている物体側レンズの像側レンズ面と像側レンズの物体側レンズ面の間の樹脂接着剤層の厚さ寸法、すなわち、接合レンズを構成する２枚のレンズの接合面の間隔を広くすることができる。

したがって、２枚のレンズを接着する接着作業中に接合面を互いに接触させてしまい、各接合面に損傷を発生させることを防止あるいは抑制できる。また、接合面の間隔が広いので、接合面の間に樹脂接着剤が回り込み易く、２枚のレンズの間に気泡が残留することを防止できる。したがって、接合レンズの製造が容易となる。さらに、接合レンズを構成する物体側レンズの像側レンズ面および像側レンズの物体側レンズ面の光軸上における間隔を予め２０μｍ以上として撮像レンズの設計を行うことができるので、タンジェンシャル面における像面湾曲のプラス側へのシフトを考慮した設計を行うことが可能であり、設計によって像面湾曲のプラス側へのシフトを抑制できる。なお、サグ量とはレンズ面と光軸の交点を含んで光軸と直交する平面を基準面としたときに、光軸と直交する方向の有効径での高さＨにおける基準面からレンズ面までの光軸方向の距離である。このような本発明の光学系では、可視光線を用いた撮影と近赤外線を用いた撮影とでピントずれが発生することを防止あるいは抑制できる。したがって、上述のように可視画像と赤外画像を同時に撮影する際に、同じ光学系を同時に用いる構成としても、可視画像と赤外画像のいずれか一方にピントずれが発生するのを防止あるいは抑制できる。

したがって、たとえば、８００ｎｍ〜１１００ｎｍの帯域に含まれる近赤外光を利用した撮影と可視光を利用した撮影を同時に行う撮像システムの光学系に好適に用いることができる。すなわち、一般的な光学系では、可視光帯域の範囲内で色収差の問題を解消するようにしているが、４００ｎｍ〜７００ｎｍの可視光帯域と、８００ｎｍ〜１１００ｎｍの範囲に含まれる赤外帯域の光とで同時に撮影する場合に、可視光帯域だけの場合より屈折率の差が大きく、可視光帯域の略中央の波長と、赤外帯域の波長とで、焦点を結ぶ位置がずれ、可視画像でピントを合わせると、赤外画像のピントが合わなくなる。しかし、この光学系を用いることにより、可視画像でピントを合わせた場合に、赤外画像のピントが大きくずれるのを防止でき、１つの光学系で可視画像と赤外画像の同時撮影を容易に行うことができる。

また、本発明の前記構成において、前記光学系は、前記光学フィルタの前記第２の波長帯域と前記カラーフィルタの前記赤外光の領域とを透過する前記赤外光が焦点を結ぶ位置を、前記可視光帯域の光線が焦点を結ぶ焦点位置に一致させるホログラムを備えることが好ましい。

このような構成によれば、光学系は、ホログラムによって光学フィルタの第２波長帯域とカラーフィルタの赤外光の領域を通過する赤外光を屈折させて、このような赤外光が焦点を結ぶ位置を可視光域の光線の焦点位置に一致させているので、上述の従来の光学系において可視画像と赤外画像とでどちらかがピントずれしてしまう問題の発生を抑制できる。なお、この場合に、可視光帯域と近赤外の第２の波長帯域に透過特性を有する光学フィルタは、ホログラムより物体側にあることが好ましく、光学系の物体側に配置されることが好ましい。

本発明の前記構成において、前記バイタルサインが、脈拍および／または体温であることが好ましい。

このような構成によれば、本発明の撮像システムを監視カメラのシステムに用いた場合に、監視カメラの撮像範囲に体温が高かったり、脈拍数が高かったりすることから体調不良と思われる人物を特定可能となる。たとえば、空港や港の監視カメラにおいて、海外からの渡航者が体調不良であることを特定可能になり、伝染病の疑いのある人物を特定可能になる。また、たとえば、犯罪行為を行う者が、緊張して脈拍数が異常に高くなる可能性があることから、脈拍数が高い人物を特定して、職務質問等を行うことなどにより、犯罪を未然に防止できる可能性がある。また、病院等において、監視カメラによって極端に体調不良の人物を特定して診察を行ったり、診察の順番を早めたりすることが可能になる。なお、赤外光を用いた様々なバイタルサインの計測方法が検討されており。たとえば、脈拍数だけではなく、血流量の計測も可能であり、バイタルサインは、脈拍数と体温に限られるものではない。

本発明の前記構成において、前記信号処理手段、前記可視画像処理手段および前記赤外画像処理手段のうちの少なくとも２つが１つのチップ上の電子回路から構成されて、ワンチップ化されていることが好ましい。

このような構成によれば、前記信号処理手段、前記可視画像処理手段および前記赤外画像処理手段の全部またはこれらのうちの二つ以上をワンチップ化することにより、実際の撮像システムの部品点数を減らして、コストダウンや装置構成の簡略化や組み立て作業の容易化や小型化等を図ることができる。

本発明の撮像システムによれば、１つの撮像装置で赤外カットフィルタを用いることなく、赤外成分を含まない可視画像と、赤外画像とを得ることができる。したがって、可視画像で人物の顔認識を行い、顔認識された領域の赤外画像からバイタルサインを求める撮像システムをコンパクトかつ低コストに製造することができる。

本発明の第１の実施の形態の撮像システムを示す概略ブロック図である。 同、撮像レンズを説明するための図である。 同、撮像レンズを説明するための図である。 同、撮像レンズを説明するための図である。 同、撮像レンズを説明するための図である。 同、赤外領域を有するカラーフィルタの配列パターンを説明するための図である。 同、前記撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルを示すグラフである。 同、脈拍と赤外信号の出力レベルとの関係を示すグラフである。 同、赤外信号の出力レベルの波から脈拍数を示す波を分離したグラフである。 同、脈拍、体温に異常がある人物のモニタ表示を説明するための図である。 同、画像処理方法を説明するためのフローチャートである。 本発明の第２の実施の形態の撮像レンズを説明するための図である。 同、撮像レンズを説明するための図である。

以下、本発明の実施の形態について説明する。
図１に示すように、本実施の形態の撮像システム１００は、撮像範囲内の人物（対象者）１０１の体温および脈拍数（心拍数）等のバイタサインを計測して、バイタルサインに異常のある人物１０１を検出するものである。

この撮像システム１００で用いられるカメラ１１０は、光学フィルタとしてのＤＢＰＦ１１１と、撮像用の光学系である撮像レンズ１０と、カラーフィルタ１１３およびセンサ本体１１４を備えた撮像センサ１１５と、撮像センサ１１５から出力される出力信号を処理して、同時化処理（内装処理）や、可視光のＲＧＢの各成分からＩＲ成分を除去する処理や、ガンマ補正や、ホワイトバランスや、ＲＧＢマトリックス補正等の画像処理を画像信号に施す信号処理部（信号処理手段）１１６とを備える。信号処理部１１６からはカラーの可視画像信号１２１と、赤外画像信号１２２が出力可能になっている。

撮像システム１００は、上述のカメラ１１０から出力されるＲＧＢの各信号からなる可視画像信号１２１に基づいて、撮像範囲内の人物１０１の顔を認識する処理を行う可視画像処理部（可視画像処理手段）１１７を備えるとともに、赤外画像信号１２２と、可視画像処理部１１７で特定された撮影範囲（フレーム）内の人物１０１の肌の領域の位置とに基づいて、人物１０１の体温と脈拍数を計測する赤外画像処理部（赤外画像処理手段）１１８と、赤外画像処理部１１８で、撮像された画像内の人物１０１の体温と脈拍数が計測された場合に、この計測データにおける体温および脈拍数のいずれかに異常が有るか否かを判定し、体温や脈拍数に異常がある人物１０１の画像を識別するための識別画像データを可視画像処理部１１７に出力する異常判定部（異常判定手段）１１９と、可視画像処理部１１７から可視画像信号１２１に基づく可視画像に体温や脈拍数に異常のある人物１０１を認識可能とする識別画像データに基づく識別画像を加えた画像を表示するモニタ１２０とを備える。

撮像システム１００において、信号処理部１１６、可視画像処理部１１７、赤外画像処理部１１８、異常判定部１１９は、汎用のマイコンや専用のゲートアレイ等の電子回路（集積回路）から構成されるが、これらが１つのチップに搭載されてワンチップ化されている。なお、信号処理部１１６、可視画像処理部１１７、赤外画像処理部１１８、異常判定部１１９が汎用のマイコンと専用のゲートアレイとの両方から構成される場合にもワンチップ化することが好ましい。また、信号処理部１１６、可視画像処理部１１７、赤外画像処理部１１８、異常判定部１１９の全てをワンチップ化する必要はないが、これらのうちの２つ以上で、できるだけ多くがワンチップ化されることが好ましい。ワンチップ化により、コストの低減、小型化、組み立ての容易化等を図ることができる。

撮像レンズ１０は、撮像システム１００の撮像センサ１１５上に像を結ぶ光学系を構成するものである。本実施の形態では、可視画像の撮像と、赤外画像の撮像とを１群の撮像レンズ１０で行っても、可視画像と赤外画像の両方で略ピントがあった状態とするために以下のような構造の撮像レンズ１０を用いている。

図２に示すように、本例の撮像レンズ１０は、物体側から像側に向かって順に、負のパワーを備える第１レンズ１１、負のパワーを備える第２レンズ１２、正のパワーを備える第３レンズ１３、および、正のパワーを備える第４レンズ１４からなる。第３レンズ１３と第４レンズ１４の間には絞り１５が配置されており、第４レンズ１４の像側には板ガラス１６が配置されている。結像面Ｉ１は板ガラス１６から離れた位置にある。第４レンズ１４は、負のパワーを備える物体側レンズ１７と正のパワーを備える像側レンズ１８からなる接合レンズである。物体側レンズ１７と像側レンズ１８とは樹脂接着剤により接着されており、物体側レンズ１７と像側レンズ１８の間には樹脂接着剤層Ｂ１が形成されている。

第１レンズ１１は、物体側レンズ面１１ａが物体側に向かって突出するメニスカスレンズである。第１レンズ１１の物体側レンズ面１１ａおよび像側レンズ面１１ｂは、それぞれが正の曲率を備えている。

第２レンズ１２は、物体側レンズ面１２ａが負の曲率を備え、像側レンズ面１２ｂが正の曲率を備えている。したがって、物体側レンズ面１２ａは光軸Ｌ１に向かって像側に窪む凹形状の曲面部分を備えており、像側レンズ面１２ｂは光軸Ｌ１に向かって物体側に窪む凹形状の曲面部分を備えている。物体側レンズ面１２ａおよび像側レンズ面１２ｂは非球面形状とされている。

第３レンズ１３は、物体側レンズ面１３ａが正の曲率を備え、像側レンズ面１３ｂが負の曲率を備えている。したがって、物体側レンズ面１３ａは光軸Ｌ１に向かって物体側に突出する凸形状の曲面部分を備えており、像側レンズ面１３ｂは光軸Ｌ１に向かって像側に突出する凸形状の曲面部分を備えている。第３レンズ１３の物体側レンズ面１３ａおよび像側レンズ面１３ｂは非球面形状とされている。

第４レンズ１４の物体側レンズ１７は、物体側レンズ面１７ａが正の曲率を備え、像側レンズ面１７ｂが正の曲率を備えている。したがって、物体側レンズ面１７ａは光軸Ｌ１に向かって物体側に突出する凸形状の曲面部分を備えており、像側レンズ面１７ｂは光軸Ｌ１に向かって物体側に窪む凹形状の曲面部分を備えている。物体側レンズ１７の物体側レンズ面１７ａおよび像側レンズ面１７ｂは非球面形状とされている。

第４レンズ１４の像側レンズ１８は、物体側レンズ面１８ａが正の曲率を備え、像側レンズ面１８ｂが負の曲率を備えている。したがって、物体側レンズ面１８ａは光軸Ｌ１に向かって物体側に突出する凸形状の曲面部分を備えており、像側レンズ面１８ｂは光軸Ｌ１に向かって像側に突出する凸形状の曲面部分を備えている。像側レンズ１８の物体側レンズ面１８ａおよび像側レンズ面１８ｂは非球面形状とされている。

ここで、物体側レンズ１７と像側レンズ１８の接合面となっている物体側レンズ１７の像側レンズ面１７ｂと像側レンズ１８の物体側レンズ面１８ａは、互いに異なる非球面形状をしている。また、光軸Ｌ１上における樹脂接着剤層Ｂ１の厚さ寸法をＤ、光軸Ｌ１と直交する方向の物体側レンズ１７の像側レンズ面１７ｂの有効径での高さＨにおける物体側レンズ１７の像側レンズ面１７ｂのサグ量をＳｇ１Ｈ、高さＨにおける像側レンズ１８の物体側レンズ面１８ａのサグ量をＳｇ２Ｈとしたときに、本例の撮像レンズ１０は、以下の条件式（１）および条件式（２）を満たす。なお、サグ量とはレンズ面と光軸Ｌ１の交点を含んで光軸Ｌ１と直交する平面を基準面としたときに、光軸Ｌ１と直交する方向の物体側レンズ１７の像側レンズ面１７ｂの有効径での高さＨにおける基準面からレンズ面までの光軸Ｌ１方向の距離である。図３はサグ量の説明図であり、Ｓ１は物体側レンズ１７の像側レンズ面１７ｂに対する基準面を示し、Ｓ２は像側レンズ１８の物体側レンズ面１８ａに対する基準面を示す。
２０μｍ ≦ Ｄ （１）
Ｓｇ１Ｈ ≦ Ｓｇ２Ｈ （２）

条件式（１）および条件式（２）は、互いに異なる非球面形状とされている物体側レンズ１７の像側レンズ面１７ｂと像側レンズ１８の物体側レンズ面１８ａの間の樹脂接着剤層Ｂ１の厚さ寸法、すなわち、接合レンズを構成する２枚のレンズの接合面となっている物体側レンズ１７の像側レンズ面１７ｂと像側レンズ１８の物体側レンズ面１８ａの間隔を規定するものである。

本例の撮像レンズ１０は条件式（１）および条件式（２）を満たすので、物体側レンズ１７の像側レンズ面１７ｂと像側レンズ１８の物体側レンズ面１８ａの間隔を広くすることができる。したがって、物体側レンズ１７と像側レンズ１８を接着する接着作業中に、物体側レンズ１７の像側レンズ面１７ｂと像側レンズ１８の物体側レンズ面１８ａを互いに接触させてしまい、各レンズ面に損傷を発生させることを防止或いは抑制できる。また、物体側レンズ１７の像側レンズ面１７ｂと像側レンズ１８の物体側レンズ面１８ａの間隔が広いので、これらのレンズ面の間に樹脂接着剤が回り込み易く、２枚のレンズの間に気泡が残留することを防止できる。

また、本例の撮像レンズ１０は、以下の条件式（３）を満たす。
Ｄ ≦ １００μｍ （３）

条件式（３）は、タンジェンシャル面における像面湾曲のプラス側へのシフトの増大を抑制するためのものである。条件式（３）の上限値を超えると像面湾曲のプラス側へのシフトが大きくなり、補正が困難となる。本例では、Ｄ＝２０μｍなので、設計によってタンジェンシャル面における像面湾曲のプラス側へのシフトを補正することが可能である。

さらに、物体側レンズ１７の像側レンズ面１７ｂの曲率半径をＲｓ、レンズ系全体の焦点距離をｆとしたときに、本例の撮像レンズ１０は、以下の条件式（４）を満たす。
０．９ ≦ Ｒｓ/ｆ ≦ １．３ （４）

条件式（４）の下限値を下回ると、物体側レンズ１７の像側レンズ面１７ｂの曲率が大きくなるので、像側レンズ１８との接合が容易ではなくなり、接合レンズを接合する作業性が低下する。一方、条件式（４）の上限値を上回ると、色収差の補正が困難となる。本例では、Ｒｓ/ｆ＝１．０７７なので、接合レンズの接合が容易であり、色収差が良好に補正される。

また、レンズ系全体の焦点距離をｆ、物体側レンズ１７の焦点距離をｆ４１、像側レンズ１８の焦点距離をｆ４２としたときに、本例の撮像レンズ１０は、以下の条件式（５）を満たす。
−３．０ ≦（ｆ４１／ｆ４２）／ｆ ≦ −１．５ （５）

条件式（５）の下限値を下回ると、軸上の色収差と倍率色収差のバランスをとることが困難となり、画像の周辺部分の解像度の低下を招く。また、条件式（５）の上限値を上回ると色収差の補正が困難となる。本例では（ｆ４１／ｆ４２）／ｆ＝−１．５４なので、解像度の低下を抑制することができるとともに、色収差を良好に補正できる。

ここで、本例の撮像レンズ１０は、第３レンズ１３の物体側レンズ面１３ａの曲率半径をＲ３１、第３レンズ１３の像側レンズ面１３ｂの曲率半径をＲ３２としたときに、Ｒ３
１＝３．５７３であり、Ｒ３２＝−５．７６６であり、以下の条件式（６）を満たしている。
Ｒ３１ ≦ ｜Ｒ３２｜ （６）

また、本例の撮像レンズ１０は、第１レンズ１１、第２レンズ１２、および、像側レンズ１８のアッベ数を４０以上とし、第３レンズ１３および物体側レンズ１７のアッベ数を３１以下とし、これにより、色収差を補正している。

本例の撮像レンズ１０のＦナンバーをＦｎｏ．、半画角をω、およびレンズ系の全長をＬとしたときに、これらの値は次の通りである。
Ｆｎｏ．＝２．０
ω＝９９．４°
Ｌ＝１６．０８９ｍｍ

また、レンズ系全体の焦点距離をｆ、第１レンズ１１の焦点距離をｆ１、第２レンズ１２の焦点距離をｆ２、第３レンズ１３の焦点距離をｆ３、第４レンズ１４の焦点距離をｆ４、物体側レンズ１７の焦点距離をｆ４１、像側レンズ１８の焦点距離をｆ４２、としたときに、これらの値は次のとおりである。
ｆ=１．１５５ｍｍ
ｆ１＝−８．１９３ｍｍ
ｆ２＝−２．６８５ｍｍ
ｆ３＝４．１２６ｍｍ
ｆ４＝３．２７５ｍｍ
ｆ４１＝−３．３５１ｍｍ
ｆ４２＝１．８８５ｍｍ

次に、表１は撮像レンズ１０の各レンズ面のレンズデータを示す。表１では物体側から数えた順番で各レンズ面を特定している。星印が付けられたレンズ面は非球面である。７面は絞り１５であり、１２面および１３面は板ガラス１６の物体側ガラス面および像側ガラス面である。曲率半径および間隔の単位はミリメートルである。なお、１０面のＮｄ（屈折率）およびのνｄ（アッベ数）の値は、樹脂接着剤層Ｂ１の値を示している。

次に、表２は非球面とされたレンズ面の非球面形状を規定するための非球面係数を示す。表２においても物体側から数えた順番で各レンズ面を特定している。

なお、レンズ面に採用する非球面形状は、Ｙをサグ量、ｃを曲率半径の逆数、Ｋを円錐係数、ｈを光線高さ、４次、６次、８次、１０次、１２次、１４次、１６次の非球面係数をそれぞれＡ４、Ａ６、Ａ８、Ａ１０、Ａ１２、Ａ１４、Ａ１６としたときに、次式により表わされる。

このような撮像レンズ１０によれば、以下のような作用効果を得ることができる。
図４（ａ）〜（ｄ）は撮像レンズ１０の縦収差図、横収差図、像面湾曲図、歪曲収差図である。図４（ａ）の縦収差図では横軸は光線が光軸Ｌ１と交わる位置を示し、縦軸は瞳径での高さを示す。図４（ｂ）の横収差図では横軸は入射瞳座標を示し、縦軸は収差量を示す。図４（ａ）、（ｂ）では、波長の異なる複数の光線についてのシミュレーション結果を示してある。図４（ｃ）の像面湾曲図では横軸は光軸Ｌ１方向の距離を示し、縦軸は像の高さを示す。図４（ｃ）において、Ｓはサジタル面における像面湾曲収差を示し、Ｔはタンジェンシャル面における像面湾曲収差を示す。図４（ｄ）の歪曲収差図では横軸は像の歪み量を示し、縦軸は像の高さを示す。

図４（ａ）に示すように、本例の撮像レンズ１０によれば、軸上の色収差が良好に補正されている。また、図４（ｂ）に示すように、色の滲みが抑制されている。また、図４（ａ）、図４（ｂ）に示すように、軸上の色収差と倍率色収差の双方が周辺部分においてもバランス良く補正されている。さらに、図４（ｃ）に示すように、本例の撮像レンズ１０によれば、像面湾曲が良好に補正されている。したがって、撮像レンズ１０が高解像度となる。

ここで、本例では、物体側レンズ１７の像側レンズ面１７ｂおよび像側レンズ１８の物体側レンズ面１８ａの光軸Ｌ１上における間隔を予め２０μｍ以上として撮像レンズ１０を設計している。したがって、設計時において、樹脂接着剤層Ｂ１が厚くなることにより発生するタンジェンシャル面における像面湾曲のプラス側へのシフトを考慮できる。したがって、本例の撮像レンズ１０によれば、図４（ｃ）に示されるように、タンジェンシャル面における像面湾曲のプラス側へのシフトが抑制されている。

次に、図５は撮像レンズ１０の球面収差図であり、実線は波長５８８ｎｍの光線（可視光線）に対する球面収差を示す。点線は波長８５０ｎｍの光線（近赤外線）に対する球面収差を示す。球面収差図の横軸は光線が光軸と交わる位置であり、縦軸は瞳径での高さである。図５に示すように、撮像レンズ１０では、波長８５０ｎｍの光線に対する球面収差が補正されており、可視光線下の撮影時と近赤外線下の撮像時とでピント合わせを行う必要がない。すなわち、本例の撮像レンズ１０では、可視光線を用いた撮影時と近赤外線を用いた撮影時とでピントずれが発生することが抑制される。なお、第４レンズ１４を接合レンズではない１枚のレンズから構成した場合には、波長５８８ｎｍの光線（可視光線）に対する球面収差と、波長８５０ｎｍの光線（近赤外線）に対する球面収差の双方をバランス良く補正して、可視光線を用いた撮影時と近赤外線を用いた撮影時とでピントずれが発生しないようにすることは困難である。

撮像センサ（イメージセンサ）１は、たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであるセンサ本体１１４と、センサ本体１１４の各画素に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（ＩＲ）の各領域（各色のフィルタ）を所定の配列で配置したカラーフィルタ１１３とを備える。

センサ本体１１４は、ＣＣＤイメージセンであり、各画素に受光素子としてのフォトダイオードが配置されている。なお、センサ本体１１４は、ＣＣＤイメージセンサに代えてＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ・Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであってもよい。

センサ本体１１４には、カラーフィルタ１１３が設けられている。ここで、赤Ｒ、緑Ｇ、青Ｂの各領域があるが赤外ＩＲの領域がないベイヤー配列のカラーフィルタは、基本パターンとなる縦４×横４の１６個の領域を有し、８個の領域がＧの領域とされ、４個の領域がＲとされ、４個の領域がＢとされている。それに対して、本実施の形態のカラーフィルタ１１３としては、図６に示すように、ベイヤー配列における８個のＧの領域のうちの４個をＩＲの領域とすることにより、Ｒが４個、Ｇが４個、Ｂが４個、ＩＲが４個となっている。なお、ＩＲの領域を含むカラーフィルタは、図６に示すカラーフィルタ１１３に限られるものではなく、様々な配列のカラーフィルタを用いることができる。但し、可視光の各色の領域とＩＲの領域の両方を含む必要がある。また、ＲＧＢの各領域は、一般的なＲＧＢのフィルタであるが、各色の波長範囲に透過率のピークを備えるとともに、近赤外の波長域に透過性を備えることから、図６において、赤の領域をＲ＋ＩＲとし、緑の領域をＧ＋ＩＲとし、青の領域をＢ＋ＩＲとした。

本実施の形態におけるＲの領域、Ｇの領域およびＢの領域の透過率スペクトルは、図７のグラフに示すようになっている。すなわち、カラーフィルタ１１３の赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（ＩＲ）の各フィルタの透過率スペクトルが示されており、縦軸が透過率を示し、横軸が波長となっている。グラフにおける波長の範囲は、可視光帯域と近赤外帯域の一部を含むもので、たとえば、３００ｎｍ〜１１００ｎｍの波長範囲を示している。

たとえば、Ｒの領域は、グラフのＲ（二重線）に示すように、波長６００ｎｍで略最大の透過率となり、その長波長側は、１０００ｎｍを超えても透過率が略最大の状態が維持された状態となる。Ｇの領域は、グラフのＧ（間隔の広い破線）に示すように、波長が５４０ｎｍ程度の部分に透過率極大となるピークを有し、その長波長側の６２０ｎｍ程度の部分に、透過率極小となる部分がある。また、Ｇの領域は、透過率極小となる部分より長波長側が上昇傾向となり、８５０ｎｍ程度で透過率が略最大となる。それより長波長側では、１０００ｎｍを超えても透過率が略最大となった状態となっている。Ｂの領域は、グラフのＢ（間隔の狭い破線）に示すように、波長が４６０ｎｍ程度の部分に透過率が極大となるピークを有し、その長波長側の６３０ｎｍ程度の分部に、透過率が極小となる部分がある。また、それより長波長側が上昇傾向となり、８６０ｎｍ程度で透過率が略最大となり、それより長波長側では、１０００ｎｍを超えても透過率が略最大となった状態となっている。ＩＲの領域は、７８０ｎｍ程度から短波長側の光を遮断し、１０２０ｎｍ程度から長波長側の光を遮断し、８２０ｎｍ〜９２０ｎｍ程度の部分が、透過率が略最大となっている。

Ｒ，Ｇ，Ｂ，ＩＲの各領域の透過率スペクトルは、図７に示すものに限られるものではないが、現在、一般的に使用されているカラーフィルタ１１３では、これに近い透過率スペクトルを示すと思われる。なお、透過率を示す縦軸の１は、光を１００％透過することを意味するものではなく、カラーフィルタ１１３において、たとえば、最大の透過率を示すものである。

ＤＢＰＦ１１１は、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタである。図１に示すように、ＤＢＰＦ１１１を撮像レンズ１０とカラーフィルタ１１３を備える撮像センサ１１５との間に設ける場合に、撮像レンズ１０の像側に設けても、撮像センサ１１５の撮像レンズ１０側に設けてもよい。また、撮像レンズ１０の物体側に設けてもよい。
図７のグラフに示すように、ＤＢＰＦ１１１は、グラフでＤＢＰＦ（実線）に示すように、ＤＢＰＦ（ＶＲ）で示す可視光帯域と、可視光帯域に対して長波長側の少し離れた位置のＤＢＰＦ（ＩＲ）で示す赤外帯域（第２の波長帯域）の２つの帯域の透過率が高くなっている。また、可視光帯域の透過率の高い帯域としてのＤＢＰＦ（ＶＲ）は、たとえば、３７０ｎｍ〜７００ｎｍ程度の波長帯域となっている。また、赤外側で透過率が高い第２の波長帯域としてのＤＢＰＦ（ＩＲ）は、たとえば、８３０ｎｍ〜９７０ｎｍ程度の帯域となっている。

本実施の形態では、上述のカラーフィルタ１１３の各領域の透過率スペクトルと、ＤＢＰＦ１１１の透過率スペクトルの関係が以下のように規定されている。
すなわち、ＤＢＰＦ１１１の透過率スペクトルの赤外光を透過する第２の波長帯域となるＤＢＰＦ（ＩＲ）は、Ｒの領域、Ｇの領域、Ｂの領域の全てが略最大の透過率となって各領域で透過率が略同じとなる図７に示す波長帯域Ａ内に含まれ、かつ、ＩＲの領域の略最大の透過率で光を透過する波長帯域Ｂ内に含まれるようになっている。

ここで、Ｒ，Ｇ，Ｂの各領域の透過率が略同じになる波長帯域Ａとは、各領域の透過率の差が透過率で１０％以下である部分とする。
なお、この波長帯域Ａより短波長側（波長帯域Ｃ）では、透過率が略最大のＲの領域に対して、Ｇ、Ｂの領域の透過率が低くなる。ＤＢＰＦ１１１では、このＲ，Ｇ，Ｂの各領域の透過率に差がある部分が、可視光帯域の透過率が高い部分であるＤＢＰＦ（ＶＲ）と、赤外光帯域の第２の波長帯域の透過率の高い部分であるＤＢＰＦ（ＩＲ）との間のＤＢＰＦ１１１の光を略遮断する透過率が極小となる部分に対応する。すなわち、赤外側では、Ｒ，Ｇ，Ｂの各領域の透過率の差が大きくなる部分の光の透過がカットされ、それより長波長側で各領域の透過率が略最大となって透過率が略同じになる波長帯域Ａで光を透過するようになっている。

以上のことから、本実施の形態において、赤外光カットフィルタに代えて用いられるＤＢＰＦ１１１では、可視光帯域だけではなく、赤外光側の第２の波長帯域にも光を透過する領域があるため、可視光によるカラー撮影に際して、第２の波長帯域を通過した光の影響を受けることになるが、上述のように第２の波長帯域がＲ，Ｇ，Ｂの各領域で透過率が異なる部分の光を透過せず、各領域の透過率が略最大となって略同じ透過率となる波長帯域の光だけを透過するようになっている。

また、ＤＢＰＦ１１１の第２の波長低域においては、ＩＲの領域で透過率が略最大となる部分の光を透過するようになっている。したがって、略同じ光が照射される極めて近接した４つの画素にＲ，Ｇ，Ｂ，ＩＲの領域がそれぞれ設けられていると仮定した場合に、第２の波長帯域においては、Ｒの領域、Ｇの領域、Ｂの領域、ＩＲの領域で略同様に光が通過することになり、赤外側の光としては、ＩＲを含む各領域で略同じ光量の光が撮像センサ本体１１４の上述の画素のフォトダイオードに至ることになる。すなわち、Ｒ，Ｇ，Ｂの各フィルタを透過する光のうちの赤外側の第２の波長帯域を通過する光の光量は、ＩＲの領域を通過する光の光量と同様となる。上述のように仮定した場合に、基本的にＲ，Ｇ，Ｂの各フィルタを透過した光を受光したセンサ本体１１４からの上述のように仮定された画素の出力信号とＩＲのフィルタを通過した光を受光したセンサ本体１１４からの上述のように仮定された画素の出力信号との差分が、各Ｒ，Ｇ，Ｂの領域で通過した赤外側の光をカットしたＲ，Ｇ，Ｂそれぞれの可視光部分の出力信号となる。

実際には、カラーフィルタ１１３のパターンに示したように、センサ本体１１４の画素毎にＲ，Ｇ，Ｂ，ＩＲのいずれか１つの領域が配置されることになり、各画素に照射される各色の光のそれぞれの光量が異なるものとなる可能性が高いので、たとえば、各画素において、周知の内挿法（補間法）を用いて、各画素の各色の輝度を求め、この補間された各画素のＲ，Ｇ，Ｂの輝度と、同じく補間されたＩＲの輝度との差分をそれぞれＲ，Ｇ，Ｂの輝度とすることが可能である。なお、Ｒ，Ｇ，Ｂの各色の輝度から赤外光成分を除く画像処理方法は、これに限られるものではなく、最終的にＲ，Ｇ，Ｂの各輝度から第２の波長帯域を通過した光の影響をカットできる方法であれば、いずれの方法を用いてもよい。いずれの方法においても、ＤＢＰＦ１１１が、赤外側でＲ，Ｇ，Ｂの領域の透過率が１０％より異なる部分、すなわち、透過率が所定割合より異なる部分をカットしているので、各画素において、赤外光の影響を除く処理が容易となる。

赤外光撮影を夜間撮影として用いる場合には、赤外光であっても可視光と同様に、夜間は光量が不足するので、赤外光照明が必要となる。図７に示すＤＢＰＦ１１１の透過率スペクトルは、Ｒ，Ｇ，Ｂ，ＩＲの各領域の透過率スペクトルと、赤外光照明用の光、たとえば、照明用赤外光ＬＥＤの発光スペクトルを考慮して決定する。

このような撮像センサにあっては、ＤＢＰＦ１１１の赤外側で光を透過する第２の波長帯域が、Ｒ，Ｇ，Ｂ，ＩＲの各領域の赤外側で、各領域の透過率が略最大となって、各領域の透過率が略同じとなる波長帯域Ａに含まれるとともに、ＩＲの領域の透過率が略最大となる波長帯域Ｂに含まれる。言い換えれば、可視光帯域より長波長側で、Ｒ，Ｇ，Ｂの各フィルタの透過率がＲの領域だけ略最大となって、Ｇ、Ｂの領域は透過率が略最大となっていないことにより、Ｒ，Ｇ，Ｂの各領域の透過率が略同じとならずに異なる部分の光は、ＤＢＰＦ１１１によりカットされる。

すなわち、Ｒ，Ｇ，Ｂ，ＩＲの各領域では、赤外側で第２の波長帯域の光が透過するようになっていることから各領域における赤外側の透過率が全て略同じとなり、第２の波長帯域となる光が同じ光量で照射されれば、Ｒ，Ｇ，Ｂ，ＩＲの各領域における透過光量が同じになる。これにより、上述のようにＲ，Ｇ，Ｂの各領域に対応する画素からの出力信号に基づく色を補正し、カラー撮影時の色の第２の波長帯域を通過する赤外光による影響を抑制した画像を容易に得ることができる。

また、第２の波長帯域を上述の波長帯域Ａと波長帯域Ｂに含まれる赤外光照明の発光スペクトルのピークに対応させることにより、赤外光照明の光を効率的に用いられるとともに、第２の波長帯域の幅を狭めて、カラー撮影時に、第２の波長帯域を通過する赤外光の影響を小さくすることができる。

すなわち、ＤＢＰＦ１１１を使うことにより、撮像センサ１１５のＲＧＢの各信号の値からそれぞれＩＲの信号の値を減算することにより高精度の補正が可能になる。たとえば、撮像センサ１１５の各色の画素の受光成分は、以下に示すように、各色の成分にＩＲの成分を加えた状態となっている。

Ｒ画素 Ｒ＋ＩＲ
Ｇ画素 Ｇ＋ＩＲ
Ｂ画素 Ｂ＋ＩＲ
ＩＲ画素 ＩＲ

そこで、以下に示すように、ＩＲの画素を除くＲＧＢの各画素の受光成分からＩＲ成分を除くＩＲ補正を行う。

Ｒ信号 （Ｒ画素出力）―（ＩＲ画素出力）＝（Ｒ＋ＩＲ）−ＩＲ＝Ｒ
Ｇ画素 （Ｒ画素出力）―（ＩＲ画素出力）＝（Ｇ＋ＩＲ）−ＩＲ＝Ｇ
Ｂ画素 （Ｒ画素出力）―（ＩＲ画素出力）＝（Ｂ＋ＩＲ）−ＩＲ＝Ｂ
これにより、ＤＢＰＦ１１１を透過するとともにカラーフィルタを透過するＩＲ成分をカラーフィルタのＩＲ以外の各色の領域から除外することができる。

信号処理部１１６では、上述のように同時化処理（内挿処理）が行われ、動画としての画像データにおいて、各フレームにおいて、全ての画素がＲのフレーム、Ｇのフレーム、Ｂのフレーム、ＩＲのフレームが生成される。すなわち、カラーフィルタでは、上述の４×４の基本パターンにＲ、Ｇ、Ｂ、ＩＲの画素が４つずつしかないが、これを内挿処理により補間し、基本パターンの全ての画素がＲの画像、Ｇの画像、Ｂの画像、ＩＲの画像を生成する。
また。信号処理部１１６では、上述のようにガンマ補正や、ホワイトバランスや、ＲＧＢマトリックス補正等の画像処理行う。

信号処理部１１６からは、ＩＲ成分が除かれたＲＧＢの各信号からなる可視画像信号１２１と、ＩＲ信号からなる赤外画像信号１２２が出力される。可視画像信号１２１は、可視画像処理部１１７に出力される。可視画像処理部１１７は、画像認識処理により顔検出（顔認識）を行う。なお、顔検出は、周知の処理で行う。

なお、画像処理および画像認識のプログラムに関しては、インテル（登録商標）オープンＣＶ（Ｉｎｔｅｌ Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を利用して容易に作成可能である。たとえば、顔認識プログラムを作成する場合に、オープンＣＶに登録されているオブジェクト検出プログラムを用いることができる。画像認識の原理として、学習フェーズと認識フェーズがあり、画像から特徴量を抽出し、学習アルゴリズムによってオブジェクトの特徴を学習することにより、たとえば、顔認識等の画像認識が可能となる。オープンＣＶでは、画像特徴量としてＨａａｒ・Ｌｉｋｅ特徴量を用い、学習アルゴリズムとしてＡｄａｂｏｏｓｔと呼ばれるアルゴリズムを使用している。オブジェクト検出プログラムにおいて、特徴点に基づいて顔の画像か否かを機械学習させることにより、オブジェクト検出プログラムにおいて、顔の画像を顔として認識することが可能となる。なお、画像認識プログラムに必ずしもオープンＣＶを利用しなくてもよいし、既存のプログラムや、既存の画像認識回路を搭載したチップを利用してもよい。

可視画像処理部１１７では、顔認識するとともに、認識された顔の肌が露出している領域（肌領域）を検出し、動画データの各フレーム内の座標位置を赤外画像処理部１１８に出力する。なお、顔検出においては、撮像範囲内（フレーム内）に複数の人物１０１がいる場合に、同時に複数の顔を検出するようになっている。これら複数の顔を認識した場合に、これら認識された顔の複数の肌領域のフレーム上の座標位置をそれぞれ赤外画像処理部１１８に送出するようになっている。また、可視画像処理部１１７は、可視画像信号をモニタ１２０に出力し、モニタ１２０に可視画像を表示するようになっている。

なお、モニタ１２０には、信号処理部１１６から可視画像信号１２１が入力されるようになっていてもよい。
赤外画像処理部１１８には、信号処理部１１６から赤外画像信号がフレーム毎に入力するとともに、可視画像処理部１１７から上述のように求められた各フレームの肌領域の位置が入力される。赤外画像処理部１１８では、赤外画像のフレーム上の肌領域の座標位置を特定する。なお、可視画像処理部１１７から入力される肌領域は、たとえば、縦横が所定画素数の正方形や長方形の領域や、半径が画素数で指定された円の領域であってもよい。

赤外画像処理部１１８は、各フレームの肌領域における各画素の赤外信号のたとえば和または平均を求める。赤外画像信号の各フレームにおける肌領域と判定された部分の出力レベル（強度）の和または平均は、たとえば、図８のグラフに示すようになる、なお、グラフにおいて、縦軸が上述の赤外光の出力レベルを示し、横軸は、フレーム数であり、この例では、３０ｆｐｓで撮像されており、３０フレームで１秒となる。

肌は、その表層部分に毛細血管を有し、毛細血管は、心臓の鼓動に合わせて膨張と収縮を繰り替えしている。この場合に、毛細血管が膨張すると肌の単位面積当たりの血液量が増加し、血液の赤血球に含まれるヘモグロビンが増加する。毛細結果が収縮すると肌の単位面積当たりの血液量が減少し、血液のヘモグロビンが減少する。また、ヘモグロビンは、近赤外光を吸収することが知られており、肌のヘモグロビンが増加すると近赤外光の反射量が減少し、肌のヘモグロビンが減少すると近赤外光の反射量が増加する。

したがって、赤外画像の肌領域の反射光量（強度）は、図８に示すように、たとえば、１分間に５０〜１５０ぐらいの脈拍数に対応する小さな波が赤外画像に合成された状態となっている。なお、図８のグラフにおいて、波の大きな変動が赤外画像の肌領域の赤外光の明暗の変動を示し、小さな波が脈拍に対応する赤外の反射光の増減をしめしている。なお、撮影されて顔認識されている人物１０１が動かず、照明が一定ならば赤外の反射光量は、大きく変動しない可能性もある。

肌領域の赤外画像には、脈拍数に対応する周波数の波が合成された状態となっているので、この脈拍数に対応する周波数の波を周知の処理を行う。たとえば、フーリエ変換は、ひずんだ波形を合成波として、その成分である正弦波群を明らかにすることができる。これを使って、上述の各フレームの肌領域の赤外光の反射強度から離散フーリエ変換を施すことによって、入力波形を構成している正弦波成分を抽出することができる。

図８に示す波形から抽出した脈拍数に対応する波形を図９のグラフに示す。縦軸は、抽出後の赤外の反射強度を示し、横軸は上述のフレーム数を示すものである。図９に示す波形の単位時間当たり、たとえば、１分当たりのピーク数が脈拍数となる。なお、脈拍数を算出するのに赤外画像データのうちの１分の長さの画像データを用いる必要はなく、たとえば、数秒から数十秒程度の時間の抽出した波から脈拍数を検出する。

また、赤外画像処理部１１８では、上述の肌領域の赤外線の強度から体温を検出するようになっている。なお、体温測定においては、体温が既知の人物１０１の肌を撮影して校正することが好ましい。なお、体温検出においては、必ずしも絶対的な体温を計測する必要はなく、たとえば、既に撮影された過去の肌の赤外画像や、同時に撮影された肌の赤外画像に対して相対的に温度が高い人物１０１を検出するようにしてもよい。また、人物１０１のいない所定の背景部分に対する温度差を検出するようにしてもよい。

赤外画像処理部１１８で、測定された脈拍数と体温（または温度差）は、異常判定部１１９に出力される。異常判定部では、たとえば、脈拍数の予め定めた正常範囲の上限と下限の値が記憶されており、測定された脈拍数が上限の値を越える場合と、下限の値より少ない場合に異常と判定される。また、体温または上述のような温度差（相対温度）の予め定めた正常範囲の上限と下限の値が記憶されており、測定された体温（温度差）が上限の値を越える場合と、下限の値より少ない場合に異常と判定される。

可視画像処理部１１７の処理に基づいてモニタ１２０には、可視画像信号に基づく可視画像が表示されるとともに、顔認識された人物１０１で脈拍数と体温のうちの少なくとも一方が異常と判定された人物１０１を特定可能とする表示が行われるようになっている。
ここでは、たとえば、図１０に示すように、異常と判定された人物１０１の顔（頭部）囲む線と、脈拍数（ＢＰ）および体温（ＢＴ：温度差）と含む識別画像データが表示されるようになっている。

このモニタ１２０の画像に基づいて、警備員等の係員が脈拍数または体温が異常と判定された人物１０１を特定して対応することができる。なお、監視カメラの撮像範囲を左右に回転移動可能とするとともに、ズーム可能として上述のように異常と判定された肌領域がフレームの左右の中央に移動してズームするような制御を行ってもよい。

次に、このような撮像システムで行われる画像処理を図１１のフローチャートを参照して説明する。まず、カメラ１１０から上述のように赤外成分が除去されたＲＧＢの可視画像信号１２１と、赤外画像信号１２２が可視画像処理部１１７、赤外画像処理部１１８、異常判定部１１９を有する撮像システム１００の画像処理を行う部分に入力する（ステップＳ１０）。すなわち、可視画像信号が可視画像処理部１１７に入力され、赤外画像信号が赤外画像処理部１１８に入力される。

次で、可視画像処理部１１７において、上述のように顔検出が行われる（ステップＳ２０）また、赤外画像処理部１１８では、入力する赤外画像信号と、可視画像処理部１１７で顔検出で検出された肌領域の位置（範囲）とから、上述のように脈拍数と体温を検出する（ステップＳ３０）。検出された脈拍数および体温は、異常判定部１１９において、上述のように異常か否かが判定される（ステップＳ４０）。異常があった場合には、たとえば、モニタ１２０に上述のように出力されることになる（ステップＳ５０）。

このような撮像システムでは、上述のようなＤＢＰＦ１１１と赤外領域を有するカラーフィルタ１１３と、可視画像から赤外成分を除去する信号処理部１１６を備えることにより、赤外カットフィルタが無くとも、上述のように赤外成分が除去された可視画像信号１２１と、赤外カットフィルタにカットされることがない赤外画像信号を同時に得ることができる。
したがって、可視画像から顔検出を行い、検出された顔の肌の領域の位置と赤外画像から脈拍数および体温を略リアルタイムで計測できる撮像システムを低コストで製造することが可能となる。

また、上述のような撮像レンズ１０を用いることにより、互いの波長帯域に大きな波長の差がある可視画像と、赤外画像とを１つの光学系で同時に撮影しても、被写体としての人物１０１に対して、可視と赤外の両方で略ピントがあった状態で撮影が可能となる。

また、バイタルサインとしての脈拍の検出は、赤外画像で行っているので、たとえば、赤外光が不足しているような場所では、上述のＤＢＰＦ１１１の第２の波長帯域とカラーフィルタ１１３の赤外領域を通過する波長帯域との両方を透過する波長にピークを有する赤外光のＬＥＤ等を用いて照明してもよい。この場合に照明光は、撮影対象者としての人物１０１に見えないので、赤外光を用いた脈拍の計測を悟られることがない。

以上のことから可視画像と赤外画像による脈拍数等の計測とを１つの撮像カメラ１１０で行うことが可能となるが、この際に、光学系が１つで、撮像素子が１つで、ＤＢＰＦ１１１を使うが、赤外カットフィルタは使わないことから、よりコンパクトで低コストに撮像カメラ１１０を製造することができる。

次に、本発明の第２の実施の形態を説明する。
第２の実施の形態は、撮像システム１００の撮像カメラ１１０の光学系としての図１２に示す撮像レンズ１０Ａが上述の撮像レンズ１０と異なるものとなっている。撮像レンズ１０Ａ以外の構成は、第１の実施の形態と同様であり、撮像レンズ１０Ａを説明し、撮像システム１００のそれ以外の構成の説明を省略する。

本実施の形態は、ホログラム２１を用いて、ＤＢＰＦ１１１の第２の波長帯域とカラーフィルタ１１３のＩＲ領域とを透過する赤外光が焦点を結ぶ位置を、前記可視光帯域の光線が焦点を結ぶ焦点位置に一致させることにより、可視光と赤外光とで同時にピントを合わせることを可能としたものである。

ホログラム２１では、例えば、特定の狭い波長域の光だけに対してレンズや凹面鏡等の光学素子として機能させられることが知られており、ホログラム２１を光学素子として利用するための開発が行われている。
このようなホログラム２１には、波長選択性と、波面再生性とがあることが知られている。波長選択性とは、例えば、特定の狭い波長域の光だけに影響を与え、その波長域以外の光にはほとんど影響を与えないようになっている性質のことである。

ホログラム２１は、物体光（物体を反射した光）と参照光との２つの光束を干渉させその干渉縞を感材に記録する２光束干渉法により作製される。これにより例えば参照光を照明光として作成時と同じ入射角でホログラム２１に当てると、上述の物体光が再現（再生）される。なお、ホログラム２１は、作製の時に使用した光と同じ波長、入射角の光で再生照明を行うときにもっとも回折効率が高くなることが知られている。たとえば、反射型ホログラムの場合に、作成時に使用した波長の光を反射させ、それ以外の波長の光を透過させることが可能である。

また、ホログラム２１は、上述のように、波面再現性を有する。ここで、例えば、ホログラム作成時に、参照光として平行光を照射するとともに、ハーフミラーを用いて、ホログラムの参照光を照射した面に物体光として集光レンズや凹面鏡で集光途中の光（例えば、球面波）を照射することによりこれら参照光と物体光を干渉させて干渉縞を記録すると、作成されたホログラムは、平行光である照明光を集光（球面波に変換）するレンズとして機能する。

本実施の形態では、以上のようなホログラム２１の特性を利用して、作成時の参照光および物体光として、たとえば、波長８５０ｎｍの赤外光を用い、上述の凹面鏡やレンズとして、可視光に対する赤外光の色収差によるピントずれを補正する光学素子を用いて、ホログラム２１を作成している。なお、ホログラム２１の作成においては、実際に上述のように２つの光束を干渉させてホログラム２１を感光させるだけではなく、コンピュータ上のシミュレーションにより、干渉縞を求めて当該干渉縞を感材に焼き付けて（印刷して）もよい。

このようなホログラム２１においては、例えば、ＤＢＰＦ１１１の第２の波長帯域を通過するとともに、カラーフィルタ１１３のＩＲ領域を通過した赤外光が透過する際に、その方向が変更されるが、可視光は、ホログラム２１を透過してもその方向がほとんど変わらない。以下に、このようなホログラム２１を備える撮像レンズ１０Ａについて説明する。

図１２に示すように、撮像レンズ１０Ａは、８５０ｎｍの赤外域の波長の光線が焦点を結ぶ位置を、ホログラム２１によって可視光域の光線が焦点を結ぶ焦点位置に一致させることにより、可視光と赤外との撮影を上述のように一つの撮像素子で同時に行う場合に、可視光と赤外光との両方でピントがあった状態とすることを可能としたものである。

撮像レンズ１０Ａは画角が１７２．６°の広角レンズであり、物体側から結像面２２に向かって負のパワーを有する前群レンズＩと正のパワーを有する後群レンズＩＩがこの順序に配列された構成となっている。前群レンズＩと後群レンズＩＩは、それぞれ２枚のレンズから構成されている。より具体的には、前群レンズＩは第１凹レンズ２３と第２凹レンズ２４から構成され、これらは物体側に凸面を向けたメニスカスレンズとなっている。後群レンズＩＩは１枚の前側レンズ２５と１枚の後側レンズ２６から構成されている。前側レンズ２５と後側レンズ２６の間には絞り２７が配置され、絞り２７の結像側近傍にはホログラム２１が配置されている。なお、本発明では、物体側から連続して２枚以上の凹レンズが配置されている場合に、物体側から２枚のレンズを前群レンズＩとして把握する。物体側から１枚の凹レンズがあり、２枚目は凹レンズではない場合には、この１枚の凹レンズを前群レンズＩとして把握する。

ホログラム２１は、正のパワーを有し、８５０ｎｍの波長の光線に対して最大回折効率を備える。ホログラム２１としては、体積ホログラムおよびレリーフ型ホログラムのいずれを用いることもできる。後側レンズ２６と結像面２２の間にはカバーガラス２８が配置されている。第１レンズ群Ｉの第２凹レンズ２４の両側のレンズ面２４ａ、２４ｂ、第２レンズ群ＩＩの前側レンズ２５の両側のレンズ面２５ａ、２５ｂ、および、後側レンズ２６の両側のレンズ面２６ａ、２６ｂは非球面とされている。

撮像レンズ１０Ａの全光学系のレンズデータは次の通りである。
Ｆナンバー：２．４
焦点距離
ｆ ：１．４９５ｍｍ（全系）
ｆＨ ：２２ｍｍ（ホログラム２１）
ｆ１ ：−５．７７ｍｍ（第１凹レンズ２３）
ｆ２ ：−２．５０ｍｍ（第２凹レンズ２４）
ｆ３ ：２．５０ｍｍ（前側レンズ２５）
ｆ３ ：３．１０ｍｍ（後側レンズ２６）
ｆ１２：−１．４１ｍｍ（前群レンズＩ）
ｆ２３：３．０７ｍｍ（後群レンズＩＩ）
画角 ：１７２．６°
本実施の形態では、可視光域の光線の基準波長Ｗ１を５００ｎｍとしており、撮像レンズ１０Ａの全系の焦点距離は、基準波長Ｗ１に対するものである。また、ホログラム２１の焦点距離ｆＨは、８５０ｎｍの特定波長Ｗ２の赤外域の光線に対するものである。

表３は撮像レンズ１０Ａの各レンズ面のレンズデータを示し、表４は非球面とされたレンズ面の非球面形状を規定するための非球面係数を示す。表３において、ｉは物体側より数えたレンズ面の順番を表し、Ｒはレンズ面の曲率を表し、Ｄはレンズ面の距離を表し、Ｎｄは各レンズの屈折率を表し、νｄは各レンズのアッベ数を表す。また、Ｓは絞り面、Ｈはホログラム面、＊印はレンズ面が非球面であることを示す。

ここで、レンズ面に採用する非球面形状は、光軸方向の軸をＸ、光軸に直交する方向の
高さをＨ、円錐係数をＫ、非球面係数をＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇとすると、次式により表すことができる。

撮像レンズ１０Ａは、可視光域の光線の基準波長をＷ１（５００ｎｍ）、特定波長をＷ２（８５０ｎｍ）、基準波長に対する全系の焦点距離をｆ（１．４９５ｍｍ）、特定波長に対するホログラム２１の焦点距離をｆＨ（２２ｍｍ）としたときに、下式を満足している。
６＜｜ｆＨ／ｆ｜／（Ｗ２／Ｗ１）≦１４
すなわち、撮像レンズ１０Ａでは、条件式の値は８．９となっている。

図１３（ａ）〜（ｄ）は、それぞれ撮像レンズ１０Ａにおける球面収差図、横収差図、白色ＭＴＦ（Modulation Transfer Function）グラフ、赤外ＭＴＦグラフである。図１３（ａ）の球面収差図は、横軸が、光線が光軸と交わる位置であり、縦軸が、光線が光学系に入射する高さである。図１３（ａ）には赤外域の波長８５０ｎｍの光線に対する球面収差が補正されていることが示されている。図１３（ｂ）は各画角におけるメリジオナル面およびサジタル面における横収差図である。横軸は入射瞳座標であり、縦軸は横収差を示す。図１３（ｂ）には各画角において赤外域の波長８５０ｎｍの光線に対する横収差が補正されていることが示されている。図１３（ｃ）、（ｄ）の各ＭＴＦグラフは、横軸が空間周波数であり、縦軸がコントラストを示している。図１３（ｄ）には赤外域の光線下の撮像時において空間周波数の増加に伴うコントラストの低下が抑制されていることが示されている。

このような撮像レンズ１０Ａの光学系における赤外光（波長８５０ｎｍ）の焦点距離は１．４６３ｍｍで、可視光（基準波長５００ｎｍ）の焦点距離は上述の１．４９５ｍｍであり、これらはほぼ一致している。
このような撮像レンズ１０Ａを用いることによっても、第１の実施の形態の場合と同様に、１つの光学系で同時に可視画像と赤外画像とを撮影した際に両方でピントを合わせることが可能となる。すなわち、可視画像と赤外画像でどちらかがピントが外れてしまうのを防止することができる。

以上、本発明の各実施の形態について、図面を参照して説明してきたが、具体的な構成はこれらの実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

Ｂ１ 樹脂接着剤層
１０ 撮像レンズ（光学系）
１０Ａ 撮像レンズ（光学系）
１１ 第１レンズ
１２ 第２レンズ
１３ 第３レンズ
１４ 第４レンズ
１７ 物体側レンズ
１８ 像側レンズ
２１ ホログラム
１００ 撮像システム
１１１ ＤＢＰＦ（光学フィルタ）
１１３ カラーフィルタ
１１４ 撮像センサ本体
１１５ 撮像センサ
１１６ 信号処理部（信号処理手段）
１１７ 可視画像処理部（可視画像処理手段）
１１８ 液外画像処理部（赤外画像処理手段）
１２１ 可視画像信号
１２２ 赤外画像信号
ＩＲ 第１の波長帯域
ＤＢＰＦ（ＩＲ） 第２の波長帯域
ＤＢＰＦ（ＶＲ） 可視光帯域

Claims (7)

1. 画素毎に受光素子が配置された撮像センサ本体を備えるとともに可視光の複数の色の領域および赤外光の領域が所定配列で前記撮像センサ本体の各画素に配置されるカラーフィルタを備える撮像センサと、
   前記撮像センサ上に像を結ぶレンズを有する光学系と、
   前記撮像センサまたは前記光学系のいずれかに設けられ、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有し、前記第２の波長帯域が、前記可視光帯域より長波長側において前記カラーフィルタの各色の領域の透過率が互いに近似する波長帯域に含まれる光学フィルタと、
   前記撮像センサから出力される信号に基づいて、前記可視光の各色の成分の信号から前記赤外光の成分の信号を減算する処理を行い、同じ撮像範囲の可視画像信号および赤外画像信号を同時に出力可能な信号処理手段と、
   前記可視画像信号の画像内の人物の顔の領域を特定する可視画像処理手段と、
   前記赤外画像信号の画像内の前記可視画像処理手段により特定された前記人物の顔の領域の画像からバイタルサインの少なくとも一部を計測する赤外画像処理手段とを備えることを特徴とする撮像システム。
2. 画素毎に受光素子が配置された撮像センサ本体を備えるとともに可視光の複数の色の領域および赤外光の領域が所定配列で前記撮像センサ本体の各画素に配置されるカラーフィルタを備える撮像センサと、
   前記撮像センサ上に像を結ぶレンズを有する光学系と、
   前記撮像センサまたは前記光学系のいずれかに設けられ、可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタと、
   前記撮像センサから出力される信号に基づいて、前記可視光の各色の成分の信号から前記赤外光の成分の信号を減算する処理を行い、同じ撮像範囲の可視画像信号および赤外画像信号を同時に出力可能な信号処理手段と、
   前記可視画像信号の画像内の人物の顔の領域を特定する可視画像処理手段と、
   前記赤外画像信号の画像内の前記可視画像処理手段により特定された前記人物の顔の領域の画像からバイタルサインの少なくとも一部を計測する赤外画像処理手段とを備え、
   前記光学系は、物体側から像側に向かって順に、負のパワーを備える第１レンズ、負のパワーを備える第２レンズ、正のパワーを備える第３レンズ、および、正のパワーを備える第４レンズからなり、
   前記第４レンズは、負のパワーを備える物体側レンズと正のパワーを備える像側レンズからなる接合レンズであり、前記物体側レンズと前記像側レンズとを接着している樹脂接着剤層を備え、
   前記物体側レンズの像側レンズ面および前記像側レンズの物体側レンズ面は、それぞれが互いに異なる非球面形状をしており、
   光軸上における前記樹脂接着剤層の厚さ寸法をＤ、前記光軸と直交する方向の前記物体側レンズの像側レンズ面の有効径での高さＨにおける前記物体側レンズの像側レンズ面のサグ量をＳｇ１Ｈ、前記高さＨにおける前記像側レンズの物体側レンズ面のサグ量をＳｇ２Ｈとしたときに、以下の条件式（１）および条件式（２）を満たすことを特徴とする撮像システム。
   ２０μｍ ≦ Ｄ （１）
   Ｓｇ１Ｈ ≦ Ｓｇ２Ｈ （２）
3. 前記光学系は、前記光学フィルタの前記第２の波長帯域と前記カラーフィルタの前記赤外光の領域とを透過する前記赤外光が焦点を結ぶ位置を、前記可視光帯域の光線が焦点を結ぶ焦点位置に一致させるホログラムを備えることを特徴とする請求項１に記載の撮像システム。
4. 前記バイタルサインが、脈拍および／または体温であることを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像システム。
5. 前記信号処理手段、前記可視画像処理手段および前記赤外画像処理手段のうちの少なくとも２つが１つのチップ上の電子回路から構成されて、ワンチップ化されていることを特徴とする請求項１〜請求項４のいずれか１項に記載の撮像システム。
6. 前記カラーフィルタにおける各色の領域の透過率が互いに近似する波長帯域では、各色の領域の透過率の差が１０％以下となっていることを特徴とする請求項１に記載の撮像システム。
7. 前記可視画像信号に基づく可視画像を表示し、前記可視画像とともに前記赤外画像処理手段から得られた前記バイタルサインを示す識別画像データを表示するモニタを備えることを特徴とする請求項１に記載の撮像システム。