JPWO2016084926A1 - 撮像システム - Google Patents

Abstract

可視画像の撮影と赤外画像の撮影とを同時に行って、たとえば、被写体までの距離のデータを被写体の可視画像と共に利用可能とする撮像システムを提供する。イメージセンサ１０は、カラーフィルタ１０ｂと、可視光帯域に透過特性を有し、この可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、第１の波長帯域内の一部分である第２の波長帯域に透過特性を有するＤＢＰＦ７ｄを備える。信号処理部２１は、イメージセンサ１０の各画素から出力される信号に基づいて可視画像信号と赤外画像信号を出力する。これにより、可視画像を表示可能で、赤外画像により被写体までの距離を測定可能となる。

Description

本発明は、同じ撮像範囲に対して可視光による撮影と赤外光による撮影とを同時に行うことにより情報を取得する撮像システムに関する。

一般に、撮像センサ（イメージセンサ）は、可視光だけではなく近赤外にも受光感度があり、監視カメラなどでは、昼間は可視光を撮影し、夜間は、赤外光照明を用いて赤外光を撮影するものなどが知られていた。
また、可視光による撮影と赤外光による撮影を併用して、画像認識の精度の向上図ることが提案されている（たとえば、特許文献１参照）。

たとえば、顔認識の場合に、ポスター等の写真の顔も人物の顔と誤認識する場合がある。そこで、特許文献１では、可視光による画像認識と、赤外光による熱検知（体温検知）とから顔を認識するようになっている。

この場合に、１つのカメラにより、可視光による撮影と、赤外光による撮影を行い、可視光の画像データを用いた顔認識により特定された顔の位置の温度を赤外光の画像データから認識し、顔認識されるとともに温度が高い領域を顔と認識することができるので、体温より温度が低いポスターの顔写真を人物の顔と誤認識することがない。

また、近赤外光と、撮像センサを用いて距離を測定する提案がなされている（たとえば、特許文献２参照）。

特許第４７０２４４１号公報 特開２０１４−３６８０１号公報

ところで、可視光の画像と、赤外光の画像との両方を同時に撮影する撮影装置の場合に、可視光用の赤外カットフィルタを用いた撮像素子と、赤外光用の可視光カットフィルタを用いた撮像素子との両方を用いる場合には、少なくとも撮像素子が、２つ必要となり、小型化が困難であり、かつ、コストの低減が困難になる。

また、赤外画像を用いて距離を測定する構成に可視画像の撮影も可能にする構成を加えた場合に、赤外光で被写体に対して設定されたパターンを投射する必要があり、その分撮影装置が大きくなる可能性があり、可視画像と赤外画像を同時に撮影する部分をコンパクトにすることが望まれる。
また、２つの撮像素子を用いる場合に、各撮像素子で撮影された二つの動画データには、多少の位置ずれが生じるので、２つの画像データで同じ座標系を用いて画像処理する場合に、位置ずれを補正する必要が生じる。

また、赤外カットフィルタと、可視光カットフィルタとを切り替える撮影装置の場合に、フィルタを切り替える構造にコストがかかるとともに、可視画像と赤外画像とを同時に撮影することが困難であり、機会的なフィルタの移動を繰り返すような構造の場合に、時間当たりに撮影されるフレーム数が制限される。

本発明は、前記事情に鑑みてなされたものであり、可視画像の撮影と、赤外画像の撮影とを同時に行って、たとえば、被写体までの距離のデータを被写体の可視画像と共に利用可能とする撮像システムを提供することを目的とする。

前記課題を解決するために、本発明の撮像システムは、
可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタと、
画素毎に受光素子が配置された撮像センサ本体を備え、かつ、前記可視光帯域の透過特性がそれぞれ異なるとともに、前記第２の波長帯域に透過特性を有する４種類以上の領域を備え、当該領域が所定配列で前記撮像センサ本体の各画素に配置されるカラーフィルタを備える撮像センサと、
前記撮像センサ上に像を結ぶレンズを有する光学系と、
前記撮像センサから出力される信号に基づいて、可視光の複数の色の成分の信号と、前記第２の波長帯域に対応する赤外光の成分の信号とを求め、これら信号に基づいて、同じ撮像範囲の可視画像信号および赤外画像信号を同時に出力可能な信号処理手段と、
前記赤外光の光源を備え、所定の投射パターンを被写体に断続的に投射するパターン投射手段と、
前記信号処理手段から出力される前記赤外画像信号から、前記所定の投射パターンが投射されたときに撮像された第１画像データを取得し、前記所定の投射パターンが投射されていないときに撮像された第２画像データを取得し、前記第１画像データと前記第２画像データとの差分から前記所定の投射パターンの反射光のみを含む第３画像データを取得する差分画像データ取得手段と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数取得手段と、
前記所定の画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得手段とを備えることを特徴とする。

このような構成によれば、例えば、可視光帯域の透過特性がそれぞれ異なるとともに、光学フィルタの第２の波長帯域に対応する赤外に透過特性を有する４種類以上の領域を有するカラーフィルタを備える撮像センサと、可視光帯域と可視光帯域から離れた近赤外帯域である第２の波長帯域に透過特性を有する光学フィルタとを備えることにより、信号処理手段が赤外光を除いた各色成分の信号と赤外光成分の信号とを求めることができる。この場合に、赤外カットフィルタを用いなくとも出力される可視画像信号には、赤外光成分が含まれていない状態となる。なお、光学フィルタの第２の波長帯域を通過する赤外光は、カラーフィルタの各領域を通過することになる。また、カラーフィルタの各領域には、可視光を透過せずにせ赤外を透過する赤外（ＩＲ）の領域や、白色の光と赤外光を透過する白（Ｗ）の領域が含まれてもよい。以下に、可視光帯域と、赤外の第２の波長帯域に光の透過特性を有する光学フィルタをＤＢＰＦ（ダブル・バンド・パス・フィルタ）と称する場合ある。

また、可視光の各色の領域を通過した各色の可視光成分に含まれる赤外光成分は、ＤＢＰＦの第２の波長帯域を通過した赤外光だけである。また、例えば、カラーフィルタのＩＲ領域を通過した赤外光成分は、光学フィルタの第２の波長帯域を通過した赤外光の成分である。したがって、可視光に含まれる赤外成分の波長範囲をＤＢＰＦにより制限し、カラーフィルタの可視光を遮断するＩＲ領域を通過可能な赤外光の波長範囲が第２の波長帯域を略含むようになっていれば、上述のように波長範囲が制限された赤外成分を、各色の可視光成分から除去することが可能となり、各色の可視光成分に含まれる赤外光成分をより正確に除去することが可能になる。

これにより、赤外カットフィルタが無くても、従来の赤外カットフィルタを用いた場合に近い自然な可視画像を得ることができるので、赤外カットフィルタの有無を切り替えることなく、可視画像信号と、赤外画像信号とを同時に出力することができ、可視画像上の被写体までの距離を赤外画像から求めることが可能となる。すなわち、被写体の可視画像撮影と赤外画像に基づく被写体までの距離の測定を略同時に行うことが可能となる。

また、１つの撮像素子で上述のカラーフィルタを用いて撮影しているので、可視画像と赤外画像で撮影範囲にずれがでることがなく、基本的に可視画像の各画素と、赤外画像の各画素がそれぞれ対応していることになる。したがって、２つの撮像素子を用いた場合のように位置ずれを補正する必要がない。

また、被写体に投射した所定の投射パターンの反射光を撮影した第３画像データの各画素について求めた画素間の自己相関係数と、各画素に対応する被写体までの距離との間に相関関係があり、画素の自己相関係数に基づいて被写体までの距離を取得できる。本発明によれば、一つの視点から被写体を撮像して得られる近赤外の第１画像データおよび第２画像データに基づいて距離を計測できるので、距離を計測するために撮像装置を２台使用する必要がない。また、第１画像データおよび第２画像データを取得するために、被写体に投射パターンを投射した状態と、被写体にパターンを投射しない状態とを形成すればよく、基本的には投射パターン自体を変化させる必要がない。よって、パターン投射装置を簡易な構成とすることができる。さらに、撮像に際して特殊な撮像センサを用いる必要がなく、汎用の撮像センサを用いることができる。したがって、撮像システムとしての撮像システムの製造コストを抑えることができる。なお、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を用いることができる。このような素子としては、フォトマスク、透過型の液晶パネル、反射型の液晶パネル、デジタル・マイクロミラー・デバイスなどの空間変調素子がある。また、パターン投射装置は、これらの素子によって固定された投射パターンを投射するだけではなく、必要に応じて投射パターンを変化させても構わない。さらに、所定の画素として全ての画素に関して自己相関係数を算出してもよいが、被測定物の大きさによっては代表点のみの距離を算出してもよく、その場合は離散的な画素について自己相関係数を演算してもよい。

なお、可視光帯域は、４００ｎｍから７００ｎｍ程度の波長帯域であり、第１の波長帯域が近赤外の波長帯域として７００ｎｍ程度以上の波長帯域であり、第２の波長帯域は、たとえば、８００ｎｍ〜１１００ｎｍ程度の波長帯域またはこの波長帯域に含まれ、かつ、この波長帯域より狭い波長帯域である。

本発明の前記構成において、前記第３画像データの画素の自己相関係数と前記被写体までの距離とを対応付けた形態で記憶保持しているテーブルを有し、
前記距離取得手段は、前記画素の自己相関係数に基づいて前記テーブルを参照して、前記被写体までの距離を取得することが好ましい。

このような構成によれば、自己相関係数と被写体までの距離との相関関係に基づいて自己相関係数から被写体までの距離を求める際の処理を簡易化することができる。

また、本発明の前記構成において、前記可視画像信号に基づいて可視画像を表示するモニタを備え、前記モニタ上に表示される前記被写体に対応して、取得された前記被写体までの距離を表示することが好ましい。

このような構成によれば、モニタには、被写体が表示された状態で距離が表示されるので、どこの距離を測定しているかが明確になる。たとえば、距離を計測する被写体の近傍に別の物がある場合に、対称となる被写体までの距離を測定したのかその近傍の物までの距離を測定したのか分かり辛い場合があるが、被写体がモニタに表示された状態で距離が表示されることにより、測定対象が明確になり、誤認を防止できる。この場合に撮像範囲に複数の被写体がある場合に、各被写体に対応して距離が表示されることが好ましい。

また、本発明の前記構成において、前記信号処理手段、前記差分画像データ取得手段、前記自己相関係数取得手段および前記距離取得手段のうちの少なくとも２つが１つのチップ上の電子回路から構成されて、ワンチップ化されていることが好ましい。

このような構成によれば、前記信号処理手段、前記差分画像データ取得手段、前記自己相関係数取得手段および前記距離取得手段の全部またはこれらのうちの二つ以上をワンチップ化することにより、撮像システムの部品点数を減らして、コストダウンや装置構成の簡略化や組み立て作業の容易化や小型化等を図ることができる。

また、本発明の前記構成において、前記カラーフィルタの各種類の前記領域は、前記可視光帯域より長波長側に透過率が互いに近似する第３の波長帯域を備え、
前記光学フィルタの前記第２の波長帯域が、前記カラーフィルタの各種類の前記領域の前記第３の波長帯域に含まれるように、前記光学フィルタの分光透過特性および前記カラーフィルタの各種類の前記領域の分光透過特性が設定され、
前記第３の波長帯域では、各種類の前記領域の前記透過率の互いの差が当該透過率で２０％以内となっていることが好ましい。

このような構成によれば、光学フィルタの第２の波長帯域を通過する赤外光が撮像センサ本体の各画素の受光素子に至り、光電効果により生じる電子の数を増加させることにより、撮像される画像に影響を与えてしまうので、画像信号を処理することにより、光学フィルタを通過した赤外光による影響を抑制することが好ましい。

この場合に、カラーフィルタの各種類の領域の色を例えば赤、緑、青、赤外（または白（赤外を含む））とした場合に、可視光帯域と赤外帯域との境界部分では、赤の領域の透過率が略最大となっているとともに、それより長波長側でも透過率が略最大となっている。また、緑および青の領域では、可視光帯域と赤外帯域との境界部分では、透過率が低いが可視光帯域より長波長となるにつれて透過率が増加して最終的に透過率が略最大となり、透過率が略最大となった波長より長波長側でも透過率が略最大となっている。

この場合に可視光帯域に隣接する赤外帯域、すなわち、赤外帯域の波長が短い領域では、透過率最大となる赤の領域に対して、青および緑の領域の透過率が大きく異なるとともに、青と緑とでも透過率が異なる。また、青と緑の領域では、透過率が長波長側に向かって増加傾向となっており、透過率が略最大となるまで、波長によって透過率が異なる状態となっている。したがって、この部分の波長帯域が第２の波長帯域に含まれる場合に、第２の波長低域を通過した赤外光が可視画像に影響を与えることを防止することが困難となる。すなわち、各領域を通過した光に基づく赤外の画像信号を用いて、赤、緑、青のそれぞれの領域を通過した光に基づく赤、緑、青の画像信号を補正する際に、赤、緑、青の画像信号ごとに、補正すべき赤外成分の量が異なり、各色の信号から同じ赤外成分の信号を減算したのでは、色再現性を高めることが困難になる。

そこで、光学フィルタの第２の波長帯域が赤、緑、青の領域の透過率が略最大となることにより、赤、緑、青の領域の透過率が略近似した状態となる第３の波長帯域に含まれるようにすると、第２の波長帯域を通過するとともに赤、緑、青の領域を通過する光の透過率は、赤、緑、青の領域で略同じになる。すなわち、赤、緑、青の各領域で透過率が大きく異なる波長帯域が、光学フィルタで透過特性を有する可視光帯域と第２の波長帯域との間の遮断特性を有する波長帯域と重なる。

これにより、領域の色によって透過率が大きく異なる波長帯域の光が光学フィルタを通過できず、赤外側では、赤、緑、青の領域で透過率が近似する波長帯域の光が光学フィルタを通過可能となる。

なお、各領域は、赤、緑、青、赤外に限られるものではなく、異なる色の領域を用いてもよく、例えば、赤外に代えて可視光帯域の赤、緑、青以外の色や、可視光帯域の略全波長帯域の光を透過する白（クリア（Ｃ）やホワイト（Ｗ））等であってもよい。また、赤、緑、青も異なる色を用いてもよい。また、白は光の透過率を可視光帯域の全体に渡ってほぼ同様に低くしたものであってもよい。

また、上述のように光学フィルタの第２の波長帯域を通過する赤外光による可視画像への影響を抑制することが可能になり、色の再現性を向上できる。基本的に第２の波長帯域における各色の領域の透過率は略等しいことが好ましいが、透過率で２０％以下の差ならば、上述の赤外光の影響を抑制する画像処理が可能である。なお、第２の波長帯域における透過率の差が透過率で２０％以下となる状態とは、第２の波長帯域における各色の領域で最も高い透過率（％）から最も低い透過率（％）を減算した際の透過率の差が％で２０以下となる場合である。なお、透過率の差が１０％以下となっていることがより好ましい。

また、本発明の前記構成において、前記カラーフィルタは、前記可視光帯域の透過特性がそれぞれ異なるとともに、前記第２の波長帯域に透過特性を有する領域として、前記可視光帯域の透過特性により３種の互いに異なる色成分の領域と、白色となる領域とを備えていることが好ましい。

このような構成によれば、カラーフィルタは、３つの異なる色成分の領域と白色の領域を有することになる。３つの色成分としては、例えばＲＧＢの色空間の３つの色成分であっても良いし、他の色空間の各色成分であってもよい。また、白色は、上述の色空間の各色を合わせた色である。例えば、白色Ｗは、Ｗ＝Ｒ＋Ｇ＋Ｂとすることが可能である。また、白色の領域は、可視光の色の略全体を透過させる素通しの状態となる領域であってもよい。このようなカラーフィルタを用いても、可視画像と赤外画像を得ることができる。上述のように、ＲＧＢの各色成分の領域と、可視光帯域の光を遮断して赤外を透過するＩＲの領域とを備えたカラーフィルタを用いることも可能であるが、ＩＲのフィルタが可視光をほとんど透過しないのに対して、白色のフィルタは、可視光の多くを透過することになり、輝度を示す領域となる。

ＲＧＢの３つの領域からなるカラーフィルタにＩＲの領域を加えると、輝度の情報を含む可視光の情報が一部失われるのに対して、白色の領域を加えると、輝度の情報が増えることになり、可視画像の解像度の向上等を図ることができる。

本発明の撮像システムによれば、１つの撮像装置で赤外カットフィルタを用いることなく、赤外成分を含まない可視画像と、赤外画像とを得ることができる。したがって、可視画像の撮影と同時に赤外画像を用いて被写体までの距離の測定を行い、可視画像上の被写体の距離を知ることが可能になる。

本発明の第１の実施の形態の撮像システムの概略構成図である。 同、フォトマスクによって投射されるパターンの例である。 同、撮像装置のＣＣＤイメージセンサの垂直同期信号とパターン投射装置の光源を点滅させるための制御信号とを示すタイミングチャートである。 同、自己相関係数の算出方法を説明するための第３画像データの模式図である。 同、画素の自己相関係数と被写体までの距離との関係を示すグラフである。 同、光学式距離計測装置の距離計測方法を示す概略フローチャートである。 同、第１画像データ、第２画像データ、第３画像データ、および、距離画像データの説明図である。 同、赤外領域を有するカラーフィルタの配列パターンを説明するための図である。 同、前記撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルを示すグラフである。 本発明の第２の実施の形態の撮像センサのカラーフィルタの配列を説明するための図である。 同、前記撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルを示すグラフである。 同、撮像センサのカラーフィルタの配列を説明するための図である。 同、カラーフィルタの配列を説明するための図である。 同、カラーフィルタの配列を説明するための図である。 同、各カラーフィルタの特性を説明するための図である。 本発明の第３の実施の形態のカラーフィルタの配列を説明するための図である。 同、前記撮像センサのＤＢＰＦとカラーフィルタの青Ｂの透過率スペクトルを示すグラフである。 同、前記撮像センサのＤＢＰＦとカラーフィルタの緑Ｇの透過率スペクトルを示すグラフである。 同、前記撮像センサのＤＢＰＦとカラーフィルタの赤Ｒの透過率スペクトルを示すグラフである。 同、前記撮像センサのＤＢＰＦとカラーフィルタのクリアＣの透過率スペクトルを示すグラフである。

以下、本発明の第１の実施の形態について説明する。
図１は本発明を適用した光学式距離計測機能を有する撮像システムの概略構成図である。撮像システムは、被写体１００に対して所定の投射パターンを断続的に投射するパターン投射装置（パターン投射手段）２と、撮像装置３と、パターン投射装置２および撮像装置３を駆動制御するとともに、撮像装置３が取得した画像データを演算処理して被写体１００までの距離Ｄを算出する制御装置４を備えている。なお、本例の被写体は円柱１００ａと壁１００ｂである。

パターン投射装置２は、光源５として波長０．８５μｍの近赤外線を射出する発光素子（ＬＥＤ）を備えている。また、光源５から被写体１００に向かう投射光の光路上に、所定の投射パターンを投射するためのフォトマスク（光源からの光線の一部分を透過する素子）６、プリズム（光学素子）７、および、対物レンズ８を備えている。

図２は、フォトマスク６によって投射されるパターンの一例である。図２に示すように、フォトマスク６は光源５から放出される投射光を部分的に通過させるランダムなパターンを備えている。フォトマスク６はピエゾ素子を備えるフォトマスク移動機構９によって光軸方向に移動可能とされている。

撮像装置３は、撮像素子として、イメージセンサ１０を搭載している。また、ＣＣＤイメージセンサ１０と被写体１００との間の光路上に、撮像用の光学系としてのプリズム７と対物レンズ８を備えている。撮像装置３は、パターン投射装置２との間でプリズム７および対物レンズ８を共有している。イメージセンサ１０は、インターレース走査方式のＣＣＤイメージセンサであるセンサ本体１０ａとカラーフィルタ１０ｂとからなっている。また、対物レンズ８およびプリズム７を有する光学系には光学フィルタであるＤＢＰＦ７ｄが設けられている。たとえば、ＤＢＰＦ７ｄは、プリズム７のイメージセンサ１０側に設けられている。また、撮像装置３は、後述するように信号処理部（信号処理手段）２１を備え、信号処理部２１からは可視画像信号２２と赤外画像信号２３とが出力されるようになっている。なお、赤外画像信号２３は、イメージセンサ１０から信号処理部２１を介して制御装置４に出力されるようになっている。

次に、赤外画像信号を用いて被写体１００までの距離を算出する処理を先に説明し、カラーフィルタ１０ｂ、ＤＢＰＦ７ｄおよび信号処理部２１を用いた可視画像信号と赤外画像信号とを出力する処理については後述する。ここで画像と記載された場合に近赤外の画像を示すものとし、可視の画像の場合には、可視画像と称する。

プリズム７は２個の三角プリズム７ａ、７ｂを張り合わせて形成されており、張り合わせ面７ｃには、パターン投射装置２の光源５からの投射光を透過して被写体１００に導くとともに、被写体１００からの反射光を投射光の光路とは異なる方向に反射してＣＣＤイメージセンサ１０に導く光学特性を備える薄膜が形成されている。これにより、プリズム７から対物レンズ８を介して被写体１００に至る投射光の光路と被写体１００から対物レンズ８を介してプリズム７に至る反射光の光路が共通となっている。なお、パターン投射装置２による投射照明画角と撮像装置３による撮像画角とは、同一であり、重なっている。

制御装置４は、ドライバ１１を介してパターン投射装置２の光源５を駆動制御すると共に、撮像装置３のＣＣＤイメージセンサ１０を駆動制御する駆動制御部１２を備えている。また、制御装置４は、被写体１００の撮像によりＣＣＤイメージセンサ１０が取得した赤外画像データを一時的に記憶保持する画像メモリ１３を備えている。さらに、制御装置４は、差分画像データ取得部（差分画像データ取得手段）１４、自己相関係数取得部（自己相関係数取得手段）１５、距離取得部（距離取得手段）１６およびテーブル記憶部（テーブル記憶手段）１７を有している。

撮像システムにおいて、信号処理部２１および制御装置４は、例えば、ワンチップで構成されている。すなわち、信号処理部２１、制御装置４の差分画像データ取得部１４、自己相関係数取得部１５、距離取得部１６、画像メモリ１３およびテーブル記憶部は、汎用のマイコンや専用のゲートアレイ等の電子回路（集積回路）から構成されるが、これらが１つのチップに搭載されてワンチップ化されている。なお、信号処理部２１、制御装置４の差分画像データ取得部１４、自己相関係数取得部１５、距離取得部１６、画像メモリ１３およびテーブル記憶部が汎用のマイコンと専用のゲートアレイとの両方から構成される場合にもワンチップ化することが好ましい。また、信号処理部２１、制御装置４の差分画像データ取得部１４、自己相関係数取得部１５、距離取得部１６、画像メモリ１３およびテーブル記憶部の全てをワンチップ化する必要はないが、これらのうちの２つ以上で、できるだけ多くがワンチップ化されることが好ましい。ワンチップ化により、コストの低減、小型化、組み立ての容易化等を図ることができる。

図３は、撮像装置３のＣＣＤイメージセンサ１０の垂直同期信号と、パターン投射装置２の光源５を点滅させるための制御信号とを示すタイミングチャートである。図３に示すように、駆動制御部１２は、光源５を駆動制御して、所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射する。また、駆動制御部１２は、ＣＣＤイメージセンサ１０を駆動制御して、投射パターンが投射された状態で被写体１００を撮像して得られる第１画像データを奇数フィールドに取得するとともに、所定の投射パターンが投射されていない状態で被写体１００を撮像して得られる第２画像データを偶数フィールドに取得する。さらに、駆動制御部１２は撮像装置３を駆動制御して、第１画像データおよび第２画像データを撮像装置３から制御装置４に転送させる。

画像メモリ１３は、第１画像データを２次元展開した状態で記憶保持する第１画像メモリ１３ａと、第２画像データを２次元展開した状態で記憶保持する第２画像メモリ１３ｂを備えている。第１画像メモリ１３ａに展開される第１画像データ、および、第２画像メモリ１３ｂに展開される第２画像データは、ＣＣＤイメージセンサ１０による撮像に伴って逐次に更新される。なお、第２メモリに展開された第２画像データは、撮像システムに接続されているモニタ１８に逐次に出力可能であり、モニタ１８に、後述の可視画像と切替表示可能となっている。

差分画像データ取得部１４は、第１画像メモリ１３ａに２次元展開されている第１画像データと第２画像メモリ１３ｂに２次元展開されている第２画像データとを取得し、これら第１画像データと第２画像データとの差分を、所定の投射パターンの反射光のみを含む第３画像データとして取得する。本例では、第１画像データおよび第２画像データを各画素の輝度に基づいてモノクロ化した後に、第１画像データから第２画像データを差し引き、第３画像データを取得している。なお、例えば、差分画像データ取得部１４が画像メモリ１３を制御し、第１画像データおよび第２画像データを取得するようになっている。

自己相関係数取得部１５は、第３画像データの画素間の自己相関係数を各画素Ｐについて算出する。図４は自己相関係数の算出方法を説明するための第３画像データの模式図である。自己相関係数Ｒ（ｘ，ｙ）は、第３画像データの座標（ｘ，ｙ）における画素Ｐ（ｘ，ｙ）を含むＮ×Ｎ画素を１ブロックＱとして次式で定義する。

Ｒ（ｘ，ｙ）：座標（ｘ，ｙ）における自己相関係数
Ｉ（ｘ，ｙ） ：輝度
Ｎ：ブロックサイズ
＜Ｉ＞：ブロック内の平均輝度

なお、Ｎは８画素程度が好ましく、１画素毎にこのブロックＱをスライドさせてＲ（ｘ，ｙ）を求める。演算時間の制限がある場合、または距離画像として精細度が低くても良い場合には、複数の画素について自己相関係数Ｒ（ｘ，ｙ）を算出する毎にこのブロックＱをスライドさせてもよい。なお、上式において＜Ｉ＞^２は被測定物体の反射率などによる光量を補正するための規格化因子として用いている。

ここで、本発明の発明者らは、各画素Ｐ（ｘ，ｙ）について求めた画素間の自己相関係数Ｒ（ｘ，ｙ）と、各画素Ｐに対応している被写体１００までの距離Ｄとの間に相関関係があり、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて被写体１００までの距離Ｄを取得できることを見出した。すなわち、パターン投射装置２が結像光学系を構成しており、投射部からある距離に結像点を設定しておけば、フォトマスクによる光点の像の大きさは距離に逆比例し、近接した物体に投射された光点は互いに重なりが生じて自己相関係数が大きくなる。ここで、数学的には自己相関係数のフーリエ変換は一義的に画像を直接フーリエ変換したものと同等である。したがって、第３画像のフーリエ変換と距離との相関関係を取ってもよい。

図５は画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）と、画素Ｐ（ｘ，ｙ）に対応する被写体１００までの距離Ｄとの関係を示すグラフである。図５は、撮像システムを固定し、壁１００ｂの前で撮像システムから円柱１００ａまでの距離を２ｍ〜４０ｃｍの間で変化させた場合における自己相関係数Ｒ（ｘ，ｙ）と距離Ｄとの関係を示している。自己相関係数Ｒ（ｘ，ｙ）を求める際の画素間の相関距離は４ｐｉｘｅｌである。図５に示すように、撮像システムと円柱１００ａとの間の距離Ｄが短くなるのに伴って、各画素Ｐ（ｘ，ｙ）は近傍の画素Ｐとの相関性が高くなり、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）の値が高くなっている。また、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄの間には対応関係があることが認められる。したがって、第３画像データの各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）を算出すれば、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて被写体１００までの距離Ｄを把握することが可能となる。

次に、距離取得部１６は、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）が算出されると、テーブル記憶部１７に記憶保持されているテーブルを参照して、各画素Ｐ（ｘ，ｙ）に対応する被写体１００の部位までの距離Ｄを取得する。また、距離取得部１６は、各画素Ｐ（ｘ，ｙ）に、取得された距離Ｄに対応付けられた色を付ける着色処理を施して距離画像データを生成し、この距離画像データをモニタ１８に出力可能とし、後述の可視画像と切替表示可能となっている。

ここで、テーブルは、第３画像データの各画素Ｐ（ｘ，ｙ）について算出した自己相関係数Ｒ（ｘ，ｙ）と、撮像システムから各画素Ｐ（ｘ，ｙ）に対応する被写体１００の部位までの距離Ｄを予め実測し、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄを対応付けた形態で記憶保持したものである。なお、図５の円柱までの距離のグラフに示されるように、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄとの間に線形的な対応が認められる範囲がある場合には、距離取得部１６は、テーブルを参照せずに、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて、被写体１００までの距離Ｄを算出することができる。

センサ本体１０ａには、上述のようにカラーフィルタ１０ｂが設けられている。ここで、赤Ｒ、緑Ｇ、青Ｂの各領域があるが赤外ＩＲの領域がないベイヤー配列のカラーフィルタは、基本パターンとなる縦４×横４の１６個の領域を有し、８個の領域がＧの領域とされ、４個の領域がＲとされ、４個の領域がＢとされている。それに対して、本実施の形態のカラーフィルタ１０ｂとしては、図８に示すように、ベイヤー配列における８個のＧの領域のうちの４個をＩＲの領域とすることにより、Ｒが４個、Ｇが４個、Ｂが４個、ＩＲが４個となっている。なお、ＩＲの領域を含むカラーフィルタは、図８に示すカラーフィルタ１０ｂに限られるものではなく、様々な配列のカラーフィルタを用いることができる。但し、可視光の各色の領域とＩＲの領域の両方を含む必要がある。また、ＲＧＢの各領域は、一般的なＲＧＢのフィルタであるが、各色の波長範囲に透過率のピークを備えるとともに、近赤外の波長域に透過性を備えることから、図８において、赤の領域をＲ＋ＩＲとし、緑の領域をＧ＋ＩＲとし、青の領域をＢ＋ＩＲとした。

本実施の形態におけるＲの領域、Ｇの領域およびＢの領域の透過率スペクトルは、図９のグラフに示すようになっている。すなわち、カラーフィルタ１０ｂの赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（ＩＲ）の各フィルタの透過率スペクトルが示されており、縦軸が透過率を示し、横軸が波長となっている。グラフにおける波長の範囲は、可視光帯域と近赤外帯域の一部を含むもので、たとえば、３００ｎｍ〜１１００ｎｍの波長範囲を示している。

たとえば、Ｒの領域は、グラフのＲ（二重線）に示すように、波長６００ｎｍで略最大の透過率となり、その長波長側は、１０００ｎｍを超えても透過率が略最大の状態が維持された状態となる。Ｇの領域は、グラフのＧ（間隔の広い破線）に示すように、波長が５４０ｎｍ程度の部分に透過率極大となるピークを有し、その長波長側の６２０ｎｍ程度の部分に、透過率極小となる部分がある。また、Ｇの領域は、透過率極小となる部分より長波長側が上昇傾向となり、８５０ｎｍ程度で透過率が略最大となる。それより長波長側では、１０００ｎｍを超えても透過率が略最大となった状態となっている。Ｂの領域は、グラフのＢ（間隔の狭い破線）に示すように、波長が４６０ｎｍ程度の部分に透過率が極大となるピークを有し、その長波長側の６３０ｎｍ程度の分部に、透過率が極小となる部分がある。また、それより長波長側が上昇傾向となり、８６０ｎｍ程度で透過率が略最大となり、それより長波長側では、１０００ｎｍを超えても透過率が略最大となった状態となっている。ＩＲの領域は、７８０ｎｍ程度から短波長側の光を遮断し、１０２０ｎｍ程度から長波長側の光を遮断し、８２０ｎｍ〜９２０ｎｍ程度の部分が、透過率が略最大となっている。

Ｒ，Ｇ，Ｂ，ＩＲの各領域の透過率スペクトルは、図９に示すものに限られるものではないが、現在、一般的に使用されているカラーフィルタ１０ｂでは、これに近い透過率スペクトルを示すと思われる。なお、透過率を示す縦軸の１は、光を１００％透過することを意味するものではなく、カラーフィルタ１０ｂにおいて、たとえば、最大の透過率を示すものである。

ＤＢＰＦ７ｄは、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタである。
図９のグラフに示すように、ＤＢＰＦ７ｄは、グラフでＤＢＰＦ（実線）に示すように、ＤＢＰＦ（ＶＲ）で示す可視光帯域と、可視光帯域に対して長波長側の少し離れた位置のＤＢＰＦ（ＩＲ）で示す赤外帯域（第２の波長帯域）の２つの帯域の透過率が高くなっている。また、可視光帯域の透過率の高い帯域としてのＤＢＰＦ（ＶＲ）は、たとえば、３７０ｎｍ〜７００ｎｍ程度の波長帯域となっている。また、赤外側で透過率が高い第２の波長帯域としてのＤＢＰＦ（ＩＲ）は、たとえば、８３０ｎｍ〜９７０ｎｍ程度の帯域となっている。

本実施の形態では、上述のカラーフィルタ１０ｂの各領域の透過率スペクトルと、ＤＢＰＦ７ｄの透過率スペクトルの関係が以下のように規定されている。
すなわち、ＤＢＰＦ７ｄの透過率スペクトルの赤外光を透過する第２の波長帯域となるＤＢＰＦ（ＩＲ）は、Ｒの領域、Ｇの領域、Ｂの領域の全てが略最大の透過率となって各領域で透過率が略同じとなる図９に示す波長帯域Ａ内に含まれ、かつ、ＩＲの領域の略最大の透過率で光を透過する波長帯域Ｂ内に含まれるようになっている。

ここで、Ｒ，Ｇ，Ｂの各領域の透過率が略同じになる波長帯域Ａとは、各領域の透過率の差が透過率で２０％以下で、好ましくは１０％以下である部分とする。
なお、この波長帯域Ａより短波長側（波長帯域Ｃ）では、透過率が略最大のＲの領域に対して、Ｇ、Ｂの領域の透過率が低くなる。ＤＢＰＦ７ｄでは、このＲ，Ｇ，Ｂの各領域の透過率に差がある部分が、可視光帯域の透過率が高い部分であるＤＢＰＦ（ＶＲ）と、赤外光帯域の第２の波長帯域の透過率の高い部分であるＤＢＰＦ（ＩＲ）との間のＤＢＰＦ７ｄの光を略遮断する透過率が極小となる部分に対応する。すなわち、赤外側では、Ｒ，Ｇ，Ｂの各領域の透過率の差が大きくなる部分の光の透過がカットされ、それより長波長側で各領域の透過率が略最大となって透過率が略同じになる波長帯域Ａで光を透過するようになっている。

以上のことから、本実施の形態において、赤外光カットフィルタに代えて用いられるＤＢＰＦ７ｄでは、可視光帯域だけではなく、赤外光側の第２の波長帯域にも光を透過する領域があるため、可視光によるカラー撮影に際して、第２の波長帯域を通過した光の影響を受けることになるが、上述のように第２の波長帯域がＲ，Ｇ，Ｂの各領域で透過率が異なる部分の光を透過せず、各領域の透過率が略最大となって略同じ透過率となる波長帯域の光だけを透過するようになっている。

また、ＤＢＰＦ７ｄの第２の波長低域においては、ＩＲの領域で透過率が略最大となる部分の光を透過するようになっている。したがって、略同じ光が照射される極めて近接した４つの画素にＲ，Ｇ，Ｂ，ＩＲの領域がそれぞれ設けられていると仮定した場合に、第２の波長帯域においては、Ｒの領域、Ｇの領域、Ｂの領域、ＩＲの領域で略同様に光が通過することになり、赤外側の光としては、ＩＲを含む各領域で略同じ光量の光が撮像センサ本体１０ａの上述の画素のフォトダイオードに至ることになる。すなわち、Ｒ，Ｇ，Ｂの各フィルタを透過する光のうちの赤外側の第２の波長帯域を通過する光の光量は、ＩＲの領域を通過する光の光量と同様となる。上述のように仮定した場合に、基本的にＲ，Ｇ，Ｂの各フィルタを透過した光を受光したセンサ本体１０ａからの上述のように仮定された画素の出力信号とＩＲのフィルタを通過した光を受光したセンサ本体１０ａからの上述のように仮定された画素の出力信号との差分が、各Ｒ，Ｇ，Ｂの領域で通過した赤外側の光をカットしたＲ，Ｇ，Ｂそれぞれの可視光部分の出力信号となる。

実際には、カラーフィルタ１０ｂのパターンに示したように、センサ本体１０ａの画素毎にＲ，Ｇ，Ｂ，ＩＲのいずれか１つの領域が配置されることになり、各画素に照射される各色の光のそれぞれの光量が異なるものとなる可能性が高いので、たとえば、各画素において、周知の内挿法（補間法）を用いて、各画素の各色の輝度を求め、この補間された各画素のＲ，Ｇ，Ｂの輝度と、同じく補間されたＩＲの輝度との差分をそれぞれＲ，Ｇ，Ｂの輝度とすることが可能である。なお、Ｒ，Ｇ，Ｂの各色の輝度から赤外光成分を除く画像処理方法は、これに限られるものではなく、最終的にＲ，Ｇ，Ｂの各輝度から第２の波長帯域を通過した光の影響をカットできる方法であれば、いずれの方法を用いてもよい。いずれの方法においても、ＤＢＰＦ７ｄが、赤外側でＲ，Ｇ，Ｂの領域の透過率が２０％（好ましは１０％）より異なる部分、すなわち、透過率が所定割合より異なる部分をカットしているので、各画素において、赤外光の影響を除く処理が容易となる。

赤外光撮影を夜間撮影として用いる場合には、赤外光であっても可視光と同様に、夜間は光量が不足するので、赤外光照明が必要となる。図９に示すＤＢＰＦ７ｄの透過率スペクトルは、Ｒ，Ｇ，Ｂ，ＩＲの各領域の透過率スペクトルと、赤外光照明用の光、たとえば、照明用赤外光ＬＥＤの発光スペクトルを考慮して決定する。

このような撮像センサにあっては、ＤＢＰＦ７ｄの赤外側で光を透過する第２の波長帯域が、Ｒ，Ｇ，Ｂ，ＩＲの各領域の赤外側で、各領域の透過率が略最大となって、各領域の透過率が略同じとなる波長帯域Ａに含まれるとともに、ＩＲの領域の透過率が略最大となる波長帯域Ｂに含まれる。言い換えれば、可視光帯域より長波長側で、Ｒ，Ｇ，Ｂの各フィルタの透過率がＲの領域だけ略最大となって、Ｇ、Ｂの領域は透過率が略最大となっていないことにより、Ｒ，Ｇ，Ｂの各領域の透過率が略同じとならずに異なる部分の光は、ＤＢＰＦ７ｄによりカットされる。

すなわち、Ｒ，Ｇ，Ｂ，ＩＲの各領域では、赤外側で第２の波長帯域の光が透過するようになっていることから各領域における赤外側の透過率が全て略同じとなり、第２の波長帯域となる光が同じ光量で照射されれば、Ｒ，Ｇ，Ｂ，ＩＲの各領域における透過光量が同じになる。これにより、上述のようにＲ，Ｇ，Ｂの各領域に対応する画素からの出力信号に基づく色を補正し、カラー撮影時の色の第２の波長帯域を通過する赤外光による影響を抑制した画像を容易に得ることができる。

また、第２の波長帯域を上述の波長帯域Ａと波長帯域Ｂに含まれる赤外光照明の発光スペクトルのピークに対応させることにより、赤外光照明の光を効率的に用いられるとともに、第２の波長帯域の幅を狭めて、カラー撮影時に、第２の波長帯域を通過する赤外光の影響を小さくすることができる。

すなわち、ＤＢＰＦ７ｄを使うことにより、イメージセンサ１０のＲＧＢの各信号の値からそれぞれＩＲの信号の値を減算することにより高精度の補正が可能になる。たとえば、イメージセンサ１０の各色の画素の受光成分は、以下に示すように、各色の成分にＩＲの成分を加えた状態となっている。

Ｒ画素 Ｒ＋ＩＲ
Ｇ画素 Ｇ＋ＩＲ
Ｂ画素 Ｂ＋ＩＲ
ＩＲ画素 ＩＲ

そこで、以下に示すように、ＩＲの画素を除くＲＧＢの各画素の受光成分からＩＲ成分を除くＩＲ補正を行う。

Ｒ信号 （Ｒ画素出力）―（ＩＲ画素出力）＝（Ｒ＋ＩＲ）−ＩＲ＝Ｒ
Ｇ画素 （Ｒ画素出力）―（ＩＲ画素出力）＝（Ｇ＋ＩＲ）−ＩＲ＝Ｇ
Ｂ画素 （Ｒ画素出力）―（ＩＲ画素出力）＝（Ｂ＋ＩＲ）−ＩＲ＝Ｂ
これにより、ＤＢＰＦ７ｄを透過するとともにカラーフィルタを透過するＩＲ成分をカラーフィルタのＩＲ以外の各色の領域から除外することができる。

信号処理部２１では、上述のように同時化処理（内挿処理）が行われ、動画としての画像データにおいて、各フレームにおいて、全ての画素がＲのフレーム、Ｇのフレーム、Ｂのフレーム、ＩＲのフレームが生成される。すなわち、カラーフィルタでは、上述の４×４の基本パターンにＲ、Ｇ、Ｂ、ＩＲの画素が４つずつしかないが、これを内挿処理により補間し、基本パターンの全ての画素がＲの画像、Ｇの画像、Ｂの画像、ＩＲの画像を生成する。
また。信号処理部２１では、可視画像信号に対して、上述のようにガンマ補正や、ホワイトバランスや、ＲＧＢマトリックス補正等の画像処理行う。

信号処理部２１からは、ＩＲ成分が除かれたＲＧＢの各信号からなる可視画像信号２２と、ＩＲ信号からなる赤外画像信号２３が出力される。可視画像信号２２は、たとえば、モニタ１８にカラー画像として出力される。また、赤外画像信号２３は、上述のように制御装置４に出力されて距離の測定に用いられる。

図６は撮像システムの距離計測方法を示す概略フローチャートであり、このフローチャートを参照して距離測定方法を説明する。図７（ａ）〜（ｄ）はそれぞれ第１画像データ、第２画像データ、第３画像データ、および、距離画像データの説明図である。図７（ａ）〜（ｄ）のそれぞれにおいて、被写体１００は図１に示されている円柱１００ａと壁１００ｂである。また、図７（ａ）〜（ｄ）のそれぞれにおいて、左端の画像データは、円柱１００ａを壁１００ｂに近い位置に配置した第１状態を撮像して得られたものであり、中央の画像データは、円柱１００ａを壁１００ｂから離して第１状態よりも撮像システムに近い位置に配置した第２状態を撮像して得られたものであり、右端の画像データは、円柱１００ａを壁１００ｂからさらに離して、第２状態よりも撮像システムに近い位置に配置した第３状態を撮像して得られたものである。

被写体１００までの距離Ｄを計測する際には、撮像装置３はＣＣＤイメージセンサ１０による撮像を開始し、パターン投射装置２は所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射する。これにより、ＣＣＤイメージセンサ１０は、図７（ａ）に示すように、所定の投射パターンが投射された状態の被写体１００の第１画像データを奇数フィールドに取得する。また、図７（ｂ）に示すように、所定の投射パターンを投射していない状態の被写体１００の第２画像データを偶数フィールドに取得する（ステップＳＴ１）。

第１画像データおよび第２画像データが取得されると、差分画像データ取得部１４は、第１画像データから第２画像データを差し引いて、図７（ｃ）に示すように、所定の投射パターンの反射光のみを含む第３画像データを取得する（ステップＳＴ２）。

第３画像データが取得されると、自己相関係数取得部１５は、第３画像データの画素間の自己相関係数Ｒ（ｘ，ｙ）を、第３画像データの各画素Ｐ（ｘ，ｙ）について算出する（ステップＳＴ３）。また、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）が算出されると、距離取得部１６は算出された自己相関係数Ｒ（ｘ，ｙ）に基づいてテーブルを参照して、被写体１００までの距離Ｄを取得する（ステップＳＴ４）。しかる後に、各画素Ｐ（ｘ，ｙ）に距離Ｄに対応する着色を施して、図７（ｄ）に示すように距離画像データを生成して、モニタ１８に出力可能とする（ステップＳＴ５）。

このような撮像システムにおいては、一つの視点から被写体１００を撮像して得られる第１画像データおよび第２画像データに基づいて被写体までの距離Ｄを計測できるので、撮像システムは撮像装置３を１台備えればよい。また、第１画像データおよび第２画像データを取得するために、被写体１００に投射パターンを投射した状態と、被写体１００にパターンを投射しない状態とを形成すればよく、投射パターン自体を変化させる必要がない。よって、パターン投射装置２を簡易な構成とすることができる。さらに、撮像に際して特殊なイメージセンサを用いる必要がなく、汎用のＣＣＤイメージセンサ１０を用いることができる。したがって、撮像システムの製造コストを抑えることができる。

また、本例によれば、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄとを対応付けた形態で記憶保持しているテーブルを有しており、距離取得部１６は、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいてテーブルを参照して被写体１００までの距離Ｄを取得している。したがって、フォトマスク６によって投射される投射パターンに拘わらず、被写体１００までの距離Ｄを取得することができる。

さらに、本例では、第３画像データの各画素Ｐ（ｘ，ｙ）について距離Ｄを取得しているので、被写体１００の形状を把握することができる。

また、本例によれば、パターン投射装置２から被写体１００に至る投射光の光路の一部と、被写体１００から撮像装置３に至る反射光の光路の一部とが共通の光路となっているので、撮像システムを小型化することが容易となる。

さらに、本例では、投射照明画角と撮像画角とが同一であり、重なっているので、第１画像データを取得する際に被写体１００に影が発生することを抑制できる。したがって、所定の投射パターンの反射光のみを含む第３画像データを精度よく取得することができる。

また、本例では、パターン投射装置２は、所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射し、撮像装置３は、奇数フィールドで第１画像データを取得し、偶数フィールドで第２画像データを取得している。したがって、第１画像データおよび第２画像データを、ほぼリアルタイムに取得することが可能となる。また、第２画像データを利用して、モニタ１８から被写体１００の赤外画像を出力できる。

さらに、本例は、パターン投射装置２が光軸方向にフォトマスク６を移動させるフォトマスク移動機構９を備えている。したがって、フォトマスク６を移動させて、投射パターンの結像点の位置を変化させることにより、第１画像データの取得時における距離に対する感度を調整することができる。

また、所定の投射パターンを投射するためのパターン投射装置２の光源５は、近赤外線を放射しているので、被写体１００となっている人間、あるいは、被写体１００の近傍に位置する人間に投射パターンの投射を意識させることなく被写体１００までの距離Ｄを計測することができる。

また、可視画像の撮像と赤外画像による距離の計測とを１つの撮像システムで行うことが可能となるが、この際に、光学系が１つで、撮像素子が１つで、ＤＢＰＦ７ｄを使うが、赤外カットフィルタは使わないことから、よりコンパクトで低コストに撮像システムを製造することができる。基本的に可視画像上に距離が表示されるようにすることで、どの被写体の距離を測定しているかが明確になり、誤認による距離の図り間違いを減らすことができる。また、赤外画像の各画素までの距離を求めることが可能なことから、可視画像の各画素までの距離が分かることになる。可視画像と各画素までの距離とから３次元上の各画素の位置が分かることになり、３Ｄ画像を作成することが可能になる。また、各画素の三次元上の動きを画像認識することにより、手の動きや体の動きによる電子機器の操作入力において、二つのカメラを使うことなく、奥行き方向（前後方向、遠ざかる方向と近づく方向）の動きを利用することが可能になる。

また、ＧＰＳおよびコンパスセンサにより撮像装置の撮像位置と撮像方向が検知可能であれば、被写体の位置を特定可能であり、たとえば、可視画像に被写体の位置を表示可能となる。また。自動車の前方の画像を撮像して記憶するドライブレコーダにおいて、前の車との車間距離を記録することが可能となる。

なお、上記の例では、投射パターンが投射された状態で被写体１００を撮像して得られる第１画像データを奇数フィールドに取得するとともに、所定の投射パターンが投射されていない状態で被写体１００を撮像して得られる第２画像データを、第１画像データを取得した奇数フィールドに隣接した偶数フィールドから取得しているが、第１画像データおよび第２画像データは隣接したフィールドでなく、離散したフィールドから取得しても構わない。

また、上記の例では、撮像装置３は、撮像素子としてインターレース方式のＣＣＤイメージセンサ１０を搭載しているが、プログレッシブ走査方式のイメージセンサを用いて第１画像データおよび第２画像データを取得してもよい。また、ＣＭＯＳ型のイメージセンサを用いてもよい。

さらに、上記の例では、全ての画素に関して自己相関係数を算出しているが、被測定物の大きさによっては代表点のみの距離を算出してもよく、その場合は離散的な画素について自己相関係数を演算してもよい。

また、上記の例では光源５は０．８５μｍの波長の光線を放射しているが、光源５から放射される光に波長はこれに限られるものではなく、ＣＣＤイメージセンサ１０、あるいは、ＣＭＯＳ型のイメージセンサによって撮像可能な波長の近赤外線、たとえば、波長０．７〜１．１μｍの光線であれば適宜に選択することができる。ここで、汎用品として流通している一般的なイメージセンサであっても、その波長感度は１．０μｍ程度まで広がっている。なお、より波長の長い光線を利用して第１画像データを取得する場合には、パターン投射装置２の光源強度を十分なものとしておくことが望ましい。また、ＳＮ比が十分に取れる環境での使用を前提とすることが望ましい。ここで、近赤外光を用いる際は通常イメージセンサの受光面の前に配置される赤外遮断フィルタの波長選択性を適宜変更する必要があることはいうまでもない。また赤外波長に対する感度を高め、波長域を広げたイメージセンサもあり、それを用いる際にはさらに長波長の光源を使用できる。いずれの波長を選択しても同じ波長の背景光は必ず存在するのでその除去を行うために、前述した第１、第２画像データ間の差分を算出することは有効な手段である。

さらに、フォトマスク６によって投射される所定の投射パターンは、ストライプなどの規則性のある投射パターンであってもよい。また、被写体１００や撮像環境に応じて投射パターンを異なるものとしてもよい。この場合には、フォトマスク６の替わりに、透過型の液晶パネル、反射型の液晶パネル、デジタル・マイクロミラー・デバイスなどの光源からの光線の一部分を透過、あるいは、反射する空間変調素子を用い、投射パターンを変化させることができる。

また、精度を要求されない用途においては、パターン投射装置２と撮像装置３の光路を共通にする必要はなく、それぞれ独立した光学系を用いてもよいことはいうまでもない。

次に、本発明の第２の実施の形態の撮像システムを説明する。第２の実施の形態の撮像システムでは、第１の実施の形態に対してカラーフィルタ１０ｂの一部の構成と、信号処理部２１におけるＲＧＢの各信号からのＩＲ成分の除去方法と、ＩＲ成分の求め方が異なるものとなっているが、その他の構成は第１の実施の形態と同様となっており、以下にカラーフィルタ１０ｂと、ＩＲ成分の除去方法について説明する。

本実施の形態において、カラーフィルタ１０ｂｅ（ＲＧＢＣの構成１）は、例えば、図１０に示すように、上述のベイヤ配列のカラーフィルタのパターンの４つのＢのうちの２つをＣとし、４つのＲのうちの２つをＣとし、８つのＧのうちの４つをＣとしている。すなわち、カラーフィルタ１０ｂｅは、４行４列の基本配列において、Ｒ，Ｇ，Ｂ，Ｃの４種類のフィルタ部のうちのＧのフィルタ部が４つ、Ｃのフィルタ部が８つ、Ｒのフィルタ部およびＢのフィルタ部が２つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置されている。したがって、８つ配置されるＣのフィルタ部は市松模様となるように配置される。ここで、Ｃとは、クリアなフィルタ部として素通しの状態を示すもので、基本的に可視光帯域から近赤外の波長帯域まで透過特性を有するものとなっており、ここでは、可視光帯域においてＣ＝Ｒ＋Ｇ＋Ｂとしている。なお、クリアとなるＣは、ＲＧＢの３色が透過することから白色光、すなわちホワイト（Ｗ）ということができ、Ｃ＝Ｗ＝Ｒ＋Ｇ＋Ｂとなる。したがって、Ｃは、可視光帯域の略全波長帯域の光量に対応することになる。

ここで、図１１のカラーフィルタ１０ｂおよびＤＢＰＦ７ｄの透過率スペクトル（分光透過特性）を示すグラフに示すように、Ｒ、Ｇ、Ｂの各フィルタ部で可視光帯域の長波長側では透過特性があり、クリアなフィルタ部であるＣのフィルタ部においても可視光帯域の長波長側で光が透過するようにうなっている。これに対してＤＢＰＦ７ｄを用いることにより、第１の実施の形態と同様に、可視光帯域より長波長側を透過する赤外を第２の波長帯域となるように制限することになり、Ｒ、Ｇ、Ｂ、Ｃのフィルタ部とＤＢＰＦ７ｄを通過する光量がＲ、Ｇ、Ｂ、Ｃの各フィルタ部でほぼ同じ（近似）になり、可視光帯域では、Ｒ、Ｇ、Ｂ、Ｃの各フィルタ部の波長に応じた透過特性が異なる。

なお、第１および第２の実施の形態においても、可視光帯域より長波長側を透過する赤外を第２の波長帯域となるように制限することになり、Ｒ、Ｇ、Ｂ、ＩＲのフィルタ部とＤＢＰＦ７ｄを通過する光量がＲ、Ｇ、Ｂ、ＩＲの各フィルタ部でほぼ同じになり、可視光帯域では、Ｒ、Ｇ、Ｂ、ＩＲの各フィルタ部の波長に応じた透過特性が異なる。

これにより、第３の実施の形態においても、各画素のＩＲ補正を精度良く行い、色再現性が高い可視画像の生成が可能になる。すなわち、第１の実施の形態のように可視光帯域の略全波長域に遮断特性を有し、可視光帯域より長波長側の赤外に透過特性を有する上述のＩＲのフィルタ部を備えなくても、Ｃのフィルタ部を備えることにより、ＩＲ信号を下記の式で計算できる。

以下の説明で、Ｃ（Ｗ）、Ｒ、Ｇ、Ｂ、ＩＲは、イメージセンサ１０からの出力信号のレベルを示すが、Ｃ（Ｗ）、Ｒ、Ｇ、Ｂは、可視光帯域のレベルを示し、赤外成分を含まないものとする。
ここで、カラーフィルタ１０ｂをＣ＝Ｗ≒Ｒ＋Ｇ＋Ｂと設計し、ＲＧＢの各信号から除去すべきＩＲ信号をＩＲ’とすると、
ＩＲ’＝（（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）−（Ｃ＋ＩＲ））／２＝ＩＲ＋（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
ＩＲ’≒ＩＲとなる。なお、ＩＲは計測等により求められる実際の値を示し、ＩＲ’は、計算により求められる値を示す。各フィルタより、ＩＲ’を減算することにより、ＩＲ補正ができる。
すなわち、
Ｒフィルタ（Ｒ＋ＩＲ）：
Ｒ’＝（Ｒ＋ＩＲ）−ＩＲ’＝Ｒ−（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
Ｇフィルタ（Ｇ＋ＩＲ）：
Ｇ’＝（Ｇ＋ＩＲ）−ＩＲ’＝Ｇ−（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
Ｂフィルタ（Ｂ＋ＩＲ）：
Ｂ’＝（Ｂ＋ＩＲ）−ＩＲ’＝Ｂ−（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
Ｃ（＝Ｗ）フィルタ（Ｗ＋ＩＲ）：
Ｗ’＝（Ｃ＋ＩＲ）−ＩＲ’＝Ｃ−（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
となる。

これにより、カラーフィルタ１０ｂにおいて、ＩＲのフィルタ部に代えてクリアなＣのフィルタ部を用いてもＤＢＰＦ７ｄにより各フィルタ部のＩＲの透過率を近似させることができ、上述のようにＩＲ成分を求めて、これを各フィルタ部の信号から取り除くことで、色再現性を向上することができる。

なお、このような計算は、上述のように内挿法により、例えば、各画素で、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、Ｃ＋ＩＲを求め、各画素で上述の計算を行うことになる。なお、Ｃ＝Ｗ≒Ｒ＋Ｇ＋Ｂと設計するものとしたが、必ずしも略正確にこの式に一致する必要はなく、近似していれば、誤差やその他の要によりずれがあってもよく、例えば、１０％程度のずれがあってもよい。

また、Ｃについては、Ｒ＋Ｇ＋Ｂとなることで、画素の受光量が多く飽和し易くなることから、Ｃのフィルタ部において、可視光帯域における受光量を下げたり、赤外の波長帯域と可視光帯域とを含む波長帯域に渡って受光量を下げたり、各画素における画素を構成する素子部において、受光量に対して蓄積される電荷を減少させたりしてもよい。その際には、それに応じて上述の式を変更する必要がある。

なお、図１２は、Ｒ、Ｇ、Ｂ、Ｃのカラーフィルタの別の配列を示すもので、２×２の配列において、Ｒ、Ｇ、Ｂ、Ｃが均等に１つずつ配置されたものである。
また、従来のＲ、Ｇ、Ｂのベイヤ配列の場合に、図１３に示すように、２×２の配列中では、Ｒ，Ｂが１つずつ配置されるとともにＧが２つ配置される。
また、この従来のＣやＩＲを含まない配列のうちの１つのＧをＩＲに変更したＲ、Ｇ、Ｂ、ＩＲのカラーフィルタの２×２の配列は、図１４に示すように、Ｒ、Ｇ、Ｂ、ＩＲが１つずつ配置された配列となる。

このようなカラーフィルタとして、図１０に示すＲＧＢ―Ｃの構成１、図１２に示すＲＧＢ―Ｃの構成２、図１３に示す従来のＲＧＢ配列（ベイヤ配列）、図１４に示すＲＧＢ―ＩＲ配列の一例では、図１５に示すような特性の違いがある。なお、Ｃは、ＲＧＢ等の色の情報を含まないが、光量として輝度の情報を含むものである。
したがって、ＲＧＢ−Ｃ（構成１）センサは、Ｃの市松配置により、輝度解像度は高いが、ＲＧＢの画素がまばらであり、かつ、非対称な配置になるため、解像度が低く、モアレが生じやすい。但し、色信号は、輝度信号に対して、求められる解像度は、１／２以下であり低いので、問題ない。また感度が高い。

ＲＧＢ−Ｃ（構成２）は、従来のＲＧＢセンサと輝度解像度、色解像度は、同程度であり、感度はＲＧＢセンサより高い。可視光帯域に透過特性を持たないＩＲを設けているＲＧＢ−ＩＲセンサより、可視画像において、感度が高く、輝度の解像度も高くなる。
すなわち、上述の第１の実施の形態のＩＲを有するカラーフィルタより、Ｃを有するカラーフィルタの方が、解像度や感度で有利になる可能性が高い。

次に、本発明の第３の実施の形態の撮像センサおよび撮像装置を説明する。第３の実施の形態は、カラーフィルタの各色を一般化したものであり、本発明のカラーフィルタがＲＧＢ−ＩＲやＲＧＢ−Ｃに限定されるものでないことを示すものである。以下に、一般化した４色のフィルタ部を持つカラーフィルタを備えた撮像センサにおけるＩＲ成分の除去方法を説明する。なお、４色（４種類）のフィルタ部は、基本的に可視光帯域における波長に応じた透過特性が異なり、かつ、上述のＤＢＰＦ７ｄの第２の波長帯域が含まれる波長帯域に、可視光帯域より長波長側の他のフィルタ部との透過率の差が２０％以下、好ましくは１０％以下となる第３の波長帯域を備え、この第３の波長帯域に、ＤＢＰＦ７ｄの第２の波長帯域が含まれるものとなっている。これにより、カラーフィルタとＤＢＰＦ７ｄとを用いた場合に、可視光帯域より赤外側の波長に応じた透過特性が各色のフィルタ部で近似することになる。

さらに、４種類の画素のフィルタ配置において、カラーフィルタを下記の条件で、設計するとＩＲを分離できる。
フィルタ配置は、図１６に示すように２×２の配置において、４類のフィルタ部Ａ、Ｂ、Ｃ、Ｄが１つずつ備えられることが好ましい。
また、可視の波長帯においてなるべく下記の関係が成り立つようにＡ，Ｂ，Ｃ，Ｄの各フィルタ部を設計することが好ましい。
すなわち、可視光帯域において、
ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ≒０
とする。なお、Ａ，Ｂ，Ｃ，Ｄは、各フィルタ部の可視光帯域のイメージセンサ１０からの出力信号のレベルを示すものである。

可視光帯域より長波長側のＩＲ領域は、ＩＲの透過率が、Ａ、Ｂ、Ｃ、Ｄの各フィルタ部の上述の第３の波長帯域で略一定となるものとする。なお、ＩＲの透過率が、Ａ、Ｂ、Ｃ、Ｄの各フィルタ部で、あるＩＲ透過率の略整数倍になるものであってもよい。このように設計すると（ここでは、ＩＲの透過率が上述のように一定とする）、
Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ）≒ＩＲ（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
であるから、ＩＲ信号は、
ＩＲ’＝（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
により計算できる。
下記の計算により、Ａ，Ｂ，Ｃ，Ｄの各画素に含まれるＩＲ成分を補正できる。
Ａ’＝（Ａ＋ＩＲ）−（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）＝Ａ−（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
Ｂ’＝Ｂ＋ＩＲ−（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）＝Ｂ−（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
Ｃ’＝Ｃ＋ＩＲ−（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）＝Ｃ−（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
Ｄ’＝Ｄ＋ＩＲ−（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）＝Ｄ−（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
ここで、誤差分は、
（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）である。この誤差分は、ＲＧＢマトリクスにおいて補正ができる。
実際、各フィルタ部についてのＩＲ成分の透過率は、多少異なるため、下記のとおり、係数補正した信号で補正する。

Ａ’＝Ａ＋ＩＲ＊ＫＩＲａ−ＫＩＲａ（Ｋａ（Ａ＋ＩＲ＊ＫＩＲａ）＋Ｋｂ（Ｂ＋ＩＲ＊ＫＩＲｂ）＋Ｋｃ（Ｃ＋ＩＲ＊ＫＩＲｃ）＋Ｋｄ（Ｄ＋ＩＲ＊ＫＩＲｄ）） ／（Ｋａ＊ＫＩＲａ＋Ｋｂ＊ＫＩＲｂ＋Ｋｃ＊ＫＩＲｃ＋Ｋｄ＊ＫＩＲｄ）

Ｂ’＝Ｂ＋ＩＲ＊ＫＩＲｂ−ＫＩＲｂ（Ｋａ（Ａ＋ＩＲ＊ＫＩＲａ）＋Ｋｂ（Ｂ＋ＩＲ＊ＫＩＲｂ）＋Ｋｃ（Ｃ＋ＩＲ＊ＫＩＲｃ）＋Ｋｄ（Ｄ＋ＩＲ＊ＫＩＲｄ）） ／（Ｋａ＊ＫＩＲａ＋Ｋｂ＊ＫＩＲｂ＋Ｋｃ＊ＫＩＲｃ＋Ｋｄ＊ＫＩＲｄ）

Ｃ’＝Ｃ＋ＩＲ＊ＫＩＲｃ−ＫＩＲｃ（Ｋａ（Ａ＋ＩＲ＊ＫＩＲａ）＋Ｋｂ（Ｂ＋ＩＲ＊ＫＩＲｂ）＋Ｋｃ（Ｃ＋ＩＲ＊ＫＩＲｃ）＋Ｋｄ（Ｄ＋ＩＲ＊ＫＩＲｄ））／（Ｋａ＊ＫＩＲａ＋Ｋｂ＊ＫＩＲｂ＋Ｋｃ＊ＫＩＲｃ＋Ｋｄ＊ＫＩＲｄ）

Ｄ’＝Ｄ＋ＩＲ＊ＫＩＲｄ−ＫＩＲｄ（Ｋａ（Ａ＋ＩＲ＊ＫＩＲａ）＋Ｋｂ（Ｂ＋ＩＲ＊ＫＩＲｂ）＋Ｋｃ（Ｃ＋ＩＲ＊ＫＩＲｃ）＋Ｋｄ（Ｄ＋ＩＲ＊ＫＩＲｄ）） ／（Ｋａ＊ＫＩＲａ＋Ｋｂ＊ＫＩＲｂ＋Ｋｃ＊ＫＩＲｃ＋Ｋｄ＊ＫＩＲｄ）

なお、ＤＢＰＦを使った時の各フィルタの分光透過特性は、図１１に示すようになる。なお、フィルタ部の例としては、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、Ｃ＋ＩＲとなる４種類のフィルタ部を使った例であるが、ＩＲの部分が一定または互いに整数倍の関係となり、ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ≒０となるようにカラーフィルタが設計されていれば、各フィルタ部は、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、Ｃ＋ＩＲに限られるものではない。

図１７に、Ｂのフィルタ部とＤＢＰＦ７ｄを合わせた分光透過を示し、図１８に、Ｇのフィルタ部とＤＢＰＦ７ｄを合わせた分光透過を示し、図１９に、Ｂのフィルタ部とＤＢＰＦ７ｄを合わせた分光透過を示し、図２０に、Ｃ（Ｗ）のフィルタ部とＤＢＰＦ７ｄを合わせた分光透過を示す。

各分光透過特性は、上述の各式に示すように、可視のＲ透過域、可視のＧ透過域、可視のＢ透過域、ＩＲ透過領域の４つの透過率を足し合わせたものになっている。このことから、４種類以上のフィルタの値から、各可視のＲ透過域、可視のＧ透過域、可視のＢ透過域、ＩＲ透過領域の信号値を計算できる。なお、分光透過特性は、上述の各Ａ、Ｂ、Ｃ、Ｄの各分校透過特性を示す式に基づいて決定され。これらのうちの二つのフィルタの分光透過特性の組み合わせから６通り決定される。

２ パターン投射装置（パターン投射手段）
３ 撮像装置
７ｄ ＤＢＰＦ（光学フィルタ）
１０ イメージセンサ（撮像センサ）
１０ａ イメージセンサ本体
１０ｂ カラーフィルタ
１４ 差分画像データ取得部（差分画像データ取得手段）
１５ 自己相関係数取得部（自己相関係数取得手段）
１６ 距離取得部（距離取得手段）
１７ テーブル記憶部（テーブル記憶手段）
１８ モニタ
２１ 信号処理部（信号処理手段）
２２ 可視画像信号
２３ 赤外画像信号
ＩＲ 第１の波長帯域
ＤＢＰＦ（ＩＲ） 第２の波長帯域
ＤＢＰＦ（ＶＲ） 可視光帯域

Claims (6)

1. 可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタと、
   画素毎に受光素子が配置された撮像センサ本体を備え、かつ、前記可視光帯域の透過特性がそれぞれ異なるとともに、前記第２の波長帯域に透過特性を有する４種類以上の領域を備え、当該領域が所定配列で前記撮像センサ本体の各画素に配置されるカラーフィルタを備える撮像センサと、
   前記撮像センサ上に像を結ぶレンズを有する光学系と、
   前記撮像センサから出力される信号に基づいて、可視光の複数の色の成分の信号と、前記第２の波長帯域に対応する赤外光の成分の信号とを求め、これら信号に基づいて、同じ撮像範囲の可視画像信号および赤外画像信号を同時に出力可能な信号処理手段と、
   前記赤外光の光源を備え、所定の投射パターンを被写体に断続的に投射するパターン投射手段と、
   前記信号処理手段から出力される前記赤外画像信号から、前記所定の投射パターンが投射されたときに撮像された第１画像データを取得し、前記所定の投射パターンが投射されていないときに撮像された第２画像データを取得し、前記第１画像データと前記第２画像データとの差分から前記所定の投射パターンの反射光のみを含む第３画像データを取得する差分画像データ取得手段と、
   前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数取得手段と、
   前記所定の画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得手段とを備えることを特徴とする撮像システム。
2. 前記第３画像データの画素の自己相関係数と前記被写体までの距離とを対応付けた形態で記憶保持しているテーブルを有し、
   前記距離取得手段は、前記画素の自己相関係数に基づいて前記テーブルを参照して、前記被写体までの距離を取得することを特徴とする請求項１に記載の撮像システム。
3. 前記可視画像信号に基づいて可視画像を表示するモニタを備え、前記モニタ上に表示される前記被写体に対応して、取得された前記被写体までの距離を表示することを特徴とする請求項１に記載の撮像システム。
4. 前記信号処理手段、前記差分画像データ取得手段、前記自己相関係数取得手段および前記距離取得手段のうちの少なくとも２つが１つのチップ上の電子回路から構成されて、ワンチップ化されていることを特徴とする請求項１に記載の撮像システム。
5. 前記カラーフィルタの各種類の前記領域は、前記可視光帯域より長波長側に透過率が互いに近似する第３の波長帯域を備え、
   前記光学フィルタの前記第２の波長帯域が、前記カラーフィルタの各種類の前記領域の前記第３の波長帯域に含まれるように、前記光学フィルタの分光透過特性および前記カラーフィルタの各種類の前記領域の分光透過特性が設定され、
   前記第３の波長帯域では、各種類の前記領域の前記透過率の互いの差が当該透過率で２０％以内となっていることを特徴とする請求項１に記載の撮像システム。
6. 前記カラーフィルタは、前記可視光帯域の透過特性がそれぞれ異なるとともに、前記第２の波長帯域に透過特性を有する領域として、前記可視光帯域の透過特性により３種の互いに異なる色成分の領域と、白色となる領域とを備えていることを特徴とする請求項１〜請求項５のいずれか１項に記載の撮像システム。