JP4781825B2 - 撮像装置 - Google Patents

Description

この発明は、撮像装置に係り、特に高感度化に好適な撮像装置に関するものである。

ＣＣＤセンサまたはＭＯＳセンサなどのイメージセンサを用いて光電変換を行い、これに信号処理を施して所定の映像または画像の信号を得る撮像装置は、通常可視光の領域のみならず、可視光の領域よりも波長の長い近赤外領域にも感度を持っている。良好な色再現性を得るためには人間の視感度に合わせた分光感度特性を持たせる必要があり、そのために例えば赤外カットフィルタを用いて近赤外光を遮断することが行われている。

一方、監視カメラのように色再現性よりも感度を重視する場合には、近赤外領域の光（近赤外線）を利用して高感度化することが可能である。イメージセンサも近赤外光を受光させる場合には、近赤外光を遮断する前記赤外カットフィルタを用いることはできない。

そこで、カラーの映像を得るときには赤外カットフィルタを装着し、高感度撮像の際には、赤外カットフィルタをはずすための着脱機構を設け、かつ高感度撮像の時には良好な色再現性が得られないため、色差信号を出力せずに、白黒映像のみを出力することとしていた。

赤外カットフィルタの着脱を自動的に行う従来の撮像装置の一例においては、照度が比較的高く、絞りが所定の絞り値以上に絞られた状態では通常フィルタオン状態となり、照度が下がった暗い環境で絞りが開放になったときにはフィルタオフ状態となる構成にしている（例えば、特許文献１参照）。

また、除去波長を変えた複数の赤外カットフィルタを切り替えて高感度化と色再現性の両立を図ろうとする従来技術も提案されている（例えば特許文献２参照）。

特開２００１−３６８０７号公報(３頁、図２) 特開２００３−１３４５２２号公報(４頁、図１、図３)

しかしながら、特許文献１の示す従来技術では赤外カットフィルタを着脱するための機構部品が必要であり、撮像装置が大きくなるとともに、高感度撮像時には白黒画像しかえられないという問題があった。

さらに、特許文献２に示される従来技術でも赤外カットフィルタを切り替える機構部品および多種の色フィルタを設けなければならないため、装置が大型になるという問題があった。

本発明は、上述の課題を解消するためになされたもので、
近赤外カットフィルタが設けられておらず、受光素子の分光感度特性が略４００ｎｍから７００ｎｍまでの可視領域および略７００ｎｍから１１００ｎｍまでの近赤外領域まで感度を有し、各画素がグリーン、シアン、マジェンタ、及びイエローの色フィルタのいずれかを備え、前記グリーン、シアン、マジェンタ、及びイエローの色フィルタが所定の繰り返しパターンで配列されたイメージセンサと、
前記イメージセンサのそれぞれ垂直方向に隣り合う２つの画素の信号を混合して、各々前記垂直方向に隣り合う２つの画素で構成され、それぞれイメージセンサ上の位置に対応して行列状に配置された４種の画素対の、４種の混合信号を前記イメージセンサから読み出す駆動手段と、
前記画素対のうちの、水平方向に隣り合う２つの画素対の２つの混合信号を加算して、該２つの画素対の明るさを示す明るさ信号を生成する第１のマトリクス演算手段と、
前記画素対のうちの、水平方向及び垂直方向に隣り合う２行２列の画素対から成る画素対群のうちの斜め方向に整列した２つの画素対の混合信号の加減算により、赤及び青の色信号を生成し、垂直方向に隣り合う２つの画素対の混合信号の加減算により緑の色信号を生成する第２のマトリクス演算手段と、
前記第２のマトリクス演算手段によって生成された赤、緑、及び青の色信号から、前記２行２列の画素対から成る画素対群の彩度及び色相を表す２種の色差信号を生成する第３のマトリクス演算手段とを具備し、
前記明るさ信号を水平方向に隣り合う２つの画素対の明るさの情報として、前記２つの色差信号を前記水平方向及び垂直方向に隣り合う前記２行２列の画素対から成る画素対群の色の情報として出力し、
前記色フィルタを備えた画素の各々の信号が、可視領域の信号成分と近赤外領域の信号成分とを含み、
近赤外領域において、グリーン及びシアンの色フィルタの感度が、マジェンタ及びイエローの色フィルタの感度よりも高く、
前記４種の混合信号のうちの、
前記シアンの色フィルタを備えた画素の信号と、前記グリーンの色フィルタを備えた画素の信号との混合信号を（Ｃｙ＋Ｇ）で表し、
前記イエローの色フィルタを備えた画素の信号と、前記マジェンタの色フィルタを備えた画素の信号との混合信号を（Ｙｅ＋Ｍｇ）で表し、
前記マジェンタの色フィルタを備えた画素の信号と、前記シアンの色フィルタを備えた画素の信号との混合信号を（Ｍｇ＋Ｃｙ）で表し、
前記グリーンの色フィルタを備えた画素の信号と、前記イエローの色フィルタを備えた画素の信号との混合信号を（Ｇ＋Ｙｅ）で表すとき、
前記第２のマトリクス演算手段（７）が、
Ｒ＝（Ｙｅ＋Ｍｇ）−（Ｍｇ＋Ｃｙ）
で表される赤の色信号を生成し、
Ｇ＝（Ｃｙ＋Ｇ）−（Ｍｇ＋Ｃｙ）
で表される緑の色信号を生成し、
Ｂ＝（Ｃｙ＋Ｇ）−（Ｇ＋Ｙｅ）
で表される青の色信号を生成することを特徴とする撮像装置を提供する。

本発明によれば、高感度を実現しながら、色の正確な認識が可能な良好な色再現性を得ることができる。

実施の形態１．
図１はこの発明の実施の形態１による撮像装置の概略構成図である。図１において、レンズ１を介して入射された光はイメージセンサ２上に結像される。イメージセンサ２は図２に示すように光電変換するための光電変換素子（以後、「受光素子」或いは「フォトダイオード」と言うときがある）が行乃至ライン方向（図２で横方向）及び列方向（図２で縦方向））に整列した複数の画素として設けられており、各画素は、互いに異なる複数種類の色の色フィルタのいずれかを備え、それぞれの画素には互いに異なる色の色フィルタが所定の繰り返しパターンで配列されている。図示の例では、色フィルタとして、シアン（Ｃｙ）、マジェンタ（Ｍｇ）、グリーン（Ｇ）、イエロー（Ｙｅ）の補色の４種が配列されている。図示の例の色フィルタの配列は、補色市松状の配列とも言われるものである。

それぞれの色フィルタが配列された画素の分光特性を図３に示す。色フィルタはそれぞれ４００ｎｍから７００ｎｍまでの可視領域及び略７００ｎｍから１１００ｎｍまでの近赤外領域まで感度を有する。即ち、それぞれの分光感度特性は略４００ｎｍから感度を有しており、６００ｎｍ近辺から緩やかに感度が低くなるが、イメージセンサ２のフォトダイオード自体が有する感度である１１００ｎｍ近辺で感度がなくなる。すなわち人間の目が７００ｎｍより長い波長の光を感じることができないのに対してイメージセンサは１１００ｎｍ近辺まで感度を有することとなり、目で見た色再現とは異なった色再現性となる。ここでの色再現性とは人間の目で見て赤いと見えたものは赤く、緑に見えるものは緑に再現できることである。よって、従来の撮像装置では赤外光を除去する赤外カットフィルタ（ＩＲＣＦ； Ｉｎｆｒａ−Ｒｅｄ Ｃｕｔ Ｆｉｌｔｅｒ）をイメージセンサの前に設けていた。ＩＲＣＦの分光特性ＩＲＣＦ（λ）を図３に合わせて示す。ＩＲＣＦにより、６５０ｎｍより短い波長から徐々に透過率を低下し、６５０ｎｍで約５０％、そして７００ｎｍで透過率が０となることで近赤外線を除去する。

本発明の撮像装置ではＩＲＣＦは設けないため、各画素の分光感度特性は図３に示したＣｙ（λ），Ｍｇ（λ），Ｇ（λ），Ｙｅ（λ）で示す実線の如くとなり、近赤外領域まで感度を有する。

駆動手段３は図２に示したイメージセンサ２を駆動して映像信号を出力させる。イメージセンサ２は上下２画素、即ち垂直方向に隣り合う（垂直方向に整列し、互いに隣接する）２画素を混合して信号（混合信号）を出力する。
これらの混合信号は、イメージセンサ２上の位置に対応して行列状に配置された画素対の混合信号であると言える。即ち、これらの画素対は、イメージセンサ２の行方向及び列方向に対応する行方向及び列方向を有し、各行（ライン）がイメージセンサ２の垂直方向に隣り合う２行に対応し、各列がイメージセンサ２上の各列に対応して行列状に配列されたものであり、その配列の一部が図４に示されている。以下の説明では、イメージセンサ２の各行との混同を避けるため、画素対の各行を各ラインと言うことがある。

また、本撮像装置はテレビジョン信号のインターレース方式に準じた撮像装置であり、奇数フィールドと偶数フィールドとでは混合する行の組み合わせが異なる。例えば、奇数フィールドでは第ｊ＋１行と第ｊ＋２行との混合信号が第ｎラインの出力信号（画素対の混合信号）となり、第ｊ＋３行と第ｊ＋４行との混合信号が第ｎ＋１ラインの出力信号（画素対の混合信号）となり、第ｎラインの画素対の混合信号は、Ｃｙ＋Ｇ，Ｙｅ＋Ｍｇ，Ｃｙ＋Ｇ，Ｙｅ＋Ｍｇ・・・と言う順にイメージセンサ２から出力され、次の第ｎ＋１ラインの画素対の混合信号は、Ｍｇ＋Ｃｙ，Ｇ＋Ｙｅ，Ｍｇ＋Ｃｙ，Ｇ＋Ｙｅ・・・・と言う順に出力される。一方、偶数フィールドでは画素混合の組み合わせの行を変え、第ｊ行と第ｊ＋１行との混合信号が第ｎラインの出力信号（画素対の混合信号）、第ｊ＋２行と第ｊ＋３行との混合信号が第ｎ＋１行の出力信号（画素対の混合信号）となる。第ｎラインの画素対の混合信号はＣｙ＋Ｇ，Ｙｅ＋Ｍｇ，Ｃｙ＋Ｇ，Ｙｅ＋Ｍｇ・・・と言う順でイメージセンサ２から出力され、次の第ｎ＋１ラインはＭｇ＋Ｃｙ，Ｇ＋Ｙｅ，Ｍｇ＋Ｃｙ，Ｇ＋Ｙｅ・・・・と言う順に出力される。奇数フィールドの第ｎラインと偶数フィールドの第ｎラインでは、画素対に含まれる画素の色（フィルタの色）の組合せが互いに同じであり、奇数フィールドの第ｎ＋１ラインと偶数フィールドの第ｎ＋１ラインでは、画素対に含まれる画素の色（フィルタの色）の組合せが互いに同じである。

以上のようにして、駆動手段３は、イメージセンサ２のそれぞれ垂直方向に隣り合う２つの画素の信号を混合して、前記垂直方向に隣り合う２つの画素で構成され、それぞれイメージセンサ上の位置に対応して行列状に配置された４種の画素対の、４種の混合信号（Ｃｙ＋Ｇ；Ｙｅ＋Ｍｇ；Ｍｇ＋Ｃｙ；Ｇ＋Ｙｅ）をイメージセンサ２から読み出す。

なお、上記のように、本撮像装置はテレビジョン信号のインターレース方式に準じた撮像装置であり、読み出しの奇数フィールドは、表示側の奇数フィールドに相当し、読み出しの偶数フィールドは、表示側の偶数フィールドに相当する。そのため、読み出しが画素対であっても２つのフィールドで１つのフレームを構成し、奇数フィールドの各ラインの信号は、偶数フィールドの各ラインの間に位置するため、垂直方向に１フレームの画素数が低下するわけではない。

イメージセンサ２から読み出された混合信号は順次、アナログフロントエンド（ＡＦＥ）４に入力され、ノイズ除去や利得調整がなされる。アナログフロントエンド（ＡＦＥ）４は、ノイズを除去する相関二重サンプリング回路と信号振幅を一定に制御する可変ゲインアンプから構成される。さらに映像信号はＡＤコンバータ（ＡＤＣ）５を介して第１のマトリクス演算手段６に入力される。第１のマトリクス演算手段６は、混合読み出しされた混合信号（画素対の混合信号）を加減算して各画素対の明るさを表す信号Ｌを生成する。具体的には、水平方向に隣り合う２つの画素対の混合信号を加算して（（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）；（Ｍｇ＋Ｃｙ）＋（Ｇ＋Ｙｅ））、該画素対の明るさを示す明るさ信号Ｌを生成する。生成のための演算が次式（１Ａ）及び（１Ｂ）で表される。

Ｌｎ，ｍ＝（Ｃｙ＋Ｇ）ｎ，ｍ＋（Ｙｅ＋Ｍｇ）ｎ，ｍ＋１
…式（１Ａ）
Ｌｎ＋１，ｍ＝（Ｍｇ＋Ｃｙ）ｎ＋１，ｍ＋（Ｇ＋Ｙｅ）ｎ＋１，ｍ＋１
…式（１Ｂ）

式（１Ａ）及び（１Ｂ）で示したＬの添え字「ｎ」、「ｎ＋１」は混合信号に対応する画素対のライン番号を表し、「ｍ」、「ｍ＋１」は混合信号に対応する画素対の列番号を表す。混合信号はそれぞれの色成分が繰り返されるため、第ｍ＋１列の明るさＬは次式で表すことができる。

Ｌｎ，ｍ＋１＝（Ｙｅ＋Ｍｇ）ｎ，ｍ＋１＋（Ｃｙ＋Ｇ）ｎ，ｍ＋２
…式（２Ａ）
Ｌｎ＋１，ｍ＋１＝（Ｇ＋Ｙｅ）ｎ＋１，ｍ＋１ ＋ （Ｍｇ＋Ｃｙ）ｎ＋１，ｍ＋２
…式（２Ｂ）

このようにして、第１のマトリクス演算手段６は、４種の混合信号のうちの、それぞれ上記イメージセンサ２の水平方向に隣り合う（水平方向に整列し、互いに隣接する）２つの画素対の２つの混合信号を加算して（（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）又は（Ｍｇ＋Ｃｙ）＋（Ｇ＋Ｙｅ）の演算により）２つの画素対の明るさを示す信号（Ｌ）を生成する。本願では、この信号を「明るさ信号」と呼ぶ。

ここで、それぞれの色フィルタの特性について詳細に説明する。先に説明したように、それぞれの画素はＩＲＣＦを有さない撮像装置であるため、可視領域と近赤外領域との２つの成分が含まれている。ここで、ＩＲＣＦを介して得られる可視領域の信号成分を添え字「ｖ」をつけて表す。近赤外領域の信号成分を添え字「ｉｒ」をつけて表す。よって、それぞれの画素から得られる信号は次式（３Ａ）〜（３Ｄ）にて表される。
Ｃｙ＝Ｃｙｖ＋Ｃｙｉｒ …式（３Ａ）
Ｍｇ＝Ｍｇｖ＋Ｍｇｉｒ …式（３Ｂ）
Ｇ＝Ｇｖ＋Ｇｉｒ …式（３Ｃ）
Ｙｅ＝Ｙｅｖ＋Ｙｅｉｒ …式（３Ｄ）

式（３Ａ）〜（３Ｄ）に示した可視領域の信号成分と近赤外領域の信号成分とに分けた場合、式（１Ａ）、式（１Ｂ）、式（２Ａ）、式（２Ｂ）で表された信号Ｌは次式（４）で表される。
Ｌ＝（Ｃｙｖ＋Ｍｇｖ＋Ｇｖ＋Ｙｅｖ）＋（Ｃｙｉｒ＋Ｍｇｉｒ＋Ｇｉｒ＋Ｙｅｉｒ）
…式（４）

人間が見る場合の被写体の明るさは輝度であり、輝度信号の分光特性は被視感度特性にて表される。式（４）で添え字「ｖ」のついた信号成分が概ねそれに相当する。近赤外領域の光から得られる不要な信号である添え字「ｉｒ」のついた信号成分は色再現性を重んじる場合には不要な信号であり、近赤外領域を含むため前記視感度特性からの誤差となる。しかし、少数の特殊な被写体（黒の化繊）などを除くと被写体の輝度分布は違和感無く、ほぼ再現することができ、人間の目で見たときの明るい部分、暗い部分が近赤外領域を含むと逆転する現象、即ち階調が反転する現象は生じない。よって、従来の撮像装置の輝度信号Ｙと比較して上記の式で表されるＬは映像の明るさを表す信号としては大差の無い映像信号である。

ＡＤＣ５から出力された映像信号は第２のマトリクス演算手段７にも入力される。
第２のマトリクス演算手段７は、互いに水平方向及び垂直方向に隣り合う２行２列の画素対から成る画素対群のそれぞれの画素対の混合信号の加減算を含む演算により前記２行２列の画素対から成る画素対群の３種の色信号Ｒ，Ｇ，Ｂを生成する。
より具体的には、水平方向及び垂直方向に隣り合う２行２列の画素対から成る画素対群のうちの、斜め方向に整列した２つの画素対の混合信号の加減算により、赤（Ｒ）および青（Ｂ）の色信号を生成し、垂直方向に隣り合う２つの画素対の混合信号の加減算により緑（Ｇ）の色信号を生成する。そのためのマトリクス演算の一例を式（５）及び式（６）に示す。

式（５）及び式（６）において、右辺の２番目のマトリクスは、図４に示した２行２列の画素対から成る画素対群の混合信号をベクトルにて表記したものである。式（５）は第ｍ列の信号を求めるときのマトリクス係数の一例を示し、式（６）は第ｍ＋１列の信号を求めるときのマトリクス係数の一例を示す。式（５）及び式（６）の右辺の１番目のマトリクスは、係数マトリクスであり、列ごとに係数を切り替えるように設けられている。係数を切換えることにより、用いられる画素対が変更されるが、これにより図５および図６に示すようにその位置での信号を２箇所の信号の加減算で生成する場合、水平方向の解像度が下がらないように、またブロックごとの処理を行う際に生じるブロック状のノイズなどの発生を避けることができる。

次に前記第２のマトリクス演算処理手段７で求められる信号について説明する。各画素対群の色信号Ｒ，Ｇ，Ｂはそれぞれ赤、緑、青の３色の色を表す信号であり、人間の目の等色関数と概ね一致していれば、人間の見た色と同じ色を撮像することができる。従来の撮像装置ではＩＲＣＦを介して得られた補色フィルタの画素の加減算により概Ｒ，Ｇ，Ｂの分光特性に近似して色信号を生成していた。第２のマトリクス演算手段７によって生成されるＲ，Ｇ，Ｂ信号は次のようになる。

まず、Ｒ信号は式（７）に示すとおりである。
Ｒ＝（Ｙｅ＋Ｍｇ）−（Ｍｇ＋Ｃｙ）
＝Ｙｅ−Ｃｙ
＝（Ｙｅｖ−Ｃｙｖ）＋（Ｙｅｉｒ−Ｃｙｉｒ）
…式（７）

式（７）において、右辺の第１項は従来の撮像装置におけるＲ信号であり、第２項が赤外成分領域に影響を受けた信号成分となる。図３に示した各色フィルタの分光特性から明らかなように、ＧとＣｙの近赤外領域での感度に比べＹｅ，Ｍｇは感度が高い。よって、式（７）で示すＲ信号の分光感度特性は図７に示すとおりとなる。図７に示したＲの分光感度特性は、人間の目に見えるＲの特性よりも近赤外領域の感度が高いため、赤みの強い信号成分が得られる。しかし、Ｒの色が緑や青などの他の色になることは無く、また、得られた画像は撮像装置のホワイトバランスによって白調整されるため画像全体が赤くなることは無い。ただし、赤色の感度特性が人間の目と異なるため、ピンクや、赤、マジェンタなどの赤みの多い色は色分離がやや劣化する。ここでいう色分離とは異なる色、例えば赤とマジェンタの色の差であり、色分離が良いとは２つの色がはっきりと異なって再現されることであり（例えば測色計で測定した色差（色の差）ΔＥ（ＪＩＳ Ｚ８７３０）と同等の色差が再現される。なお、ＪＩＳ Ｚ８７３０で色の差を定量的に示す値として規格されている色差ΔＥは本願にて記載している色差信号の色差とは意味が異なる。）、色分離が悪いとは上記２つの色が似通って再現される（例えば測定した色差ΔＥが小さくなる）ことである。

一方、Ｇ信号は式（８）に示すとおりである。
Ｇ＝（Ｃｙ＋Ｇ）−（Ｍｇ＋Ｃｙ）
＝Ｇ−Ｍｇ
＝（Ｇｖ−Ｍｇｖ）＋（Ｇｉｒ−Ｍｇｉｒ） …式（８）

式（８）において、右辺の第１項は従来の撮像装置におけるＧ信号であり、第２項が赤外成分領域に影響を受けた信号成分となる。式（８）で示すＧ信号の分光感度特性は図８に示すとおりとなる。図８に示したＧの分光感度特性は、人間の目に見えるＧの特性よりも近赤外領域の感度が低く（負に）なっているため、むしろＧの色の色分離が強くなり、人間の目で見た緑と違和感の無い緑を再現することができる。

さらに、Ｂ信号は式（９）に示すとおりである。
Ｂ＝（Ｃｙ＋Ｇ）−（Ｇ＋Ｙｅ）
＝Ｃｙ−Ｙｅ
＝（Ｃｙｖ−Ｙｅｖ）＋（Ｃｙｉｒ−Ｙｅｉｒ） …式（９）

式（９）において、右辺の第１項は従来の撮像装置におけるＢ信号であり、第２項が赤外成分領域に影響を受けた信号成分となる。式（９）で示すＢ信号の分光感度特性は図９に示すとおりとなる。図９に示したＢの分光感度特性は、人間の目に見えるＢの特性よりも近赤外領域の感度が低く（負に）なっているため、むしろＢの色の色分離が強くなり、人間の目で見た青と違和感の無い青を再現することができる。

次に第３のマトリクス演算手段８は、第２のマトリクス演算手段７によって生成された３種の色信号（Ｒ，Ｇ，Ｂ）から、映像信号または画像信号の色の情報を有する色差信号Ｃｒ、Ｃｂを生成する。具体的には、前記２行２列の画素対から成る画素対群の色の情報を表す２種の色差信号Ｃｒ，Ｃｂを生成する。色差信号Ｃｒ、Ｃｂは色の濃さを表す彩度と、色の位相（色合い）を表す色相を情報として保持した信号である。
第３のマトリクス演算手段８による演算は式（１０）で表すことができる。

式（１０）においてａ１１からａ１３、ａ２１からａ２３はマトリクス係数であり、予め、本発明による撮像装置の彩度および色相が従来の撮像装置において得られた色再現性に近似するように、例えば最小２乗法でマトリクス係数を定めておく。

第３のマトリクス演算手段８は算出したＣｒ、Ｃｂを各画素対群の色の情報を有する色差信号として出力し、第１のマトリクス演算手段は信号Ｌを垂直方向に隣り合う２つの画素対の明るさの信号として出力する。

実施の形態１では、第１乃至第３のマトリクス演算手段６〜８により、水平方向に隣り合う２つの画素対の２つの混合信号を加算して（（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）又は（Ｍｇ＋Ｃｙ）＋（Ｇ＋Ｙｅ）の演算により）、水平方向に隣り合う２つの画素対の明るさ信号Ｌを生成し、互いに水平方向及び垂直方向に隣り合う２行２列の画素対から成る画素対群のうちの２つの画素対の混合信号の加減算を含む演算により上記２行２列の画素対から成る画素対群の彩度及び色相を表す２種の色差信号（Ｃｒ，Ｃｂ）を生成するマトリクス演算手段が構成されている。
マトリクス演算手段で生成された明るさ信号Ｌが水平方向に隣り合う２つの画素対の明るさの情報として、２つの色差信号Ｃｒ，Ｃｂが水平方向及び垂直方向に隣り合う２行２列の画素対から成る画素対群の色の情報として出力される。

上記のように明るさおよび色に関する信号を生成することで、感度が高くかつ従来の撮像装置と比べて遜色の無い色再現性が得られる撮像装置が得られる効果がある。

なお、本実施の形態では第２のマトリクス演算手段７はマトリクス係数が１または０であったが、これは演算を簡単にし、回路規模を小さくするためであり、必ずしも前記マトリクス係数でなくともよく、１，０以外の値としても良く（例えば、１の代わりに０．９とし、０の代わりに０．１としても良く）、得たい色再現性に応じてマトリクス係数を適切に設ければよい。

実施の形態２．
図１０は、この発明の実施の形態２による撮像装置の概略構成図である。図１０に示す撮像装置は、図１の撮像装置と概して同じであるが、第１乃至第３のマトリクス演算手段６〜８の代わりに、第４のマトリクス演算手段９と第５のマトリクス演算手段１０とを有する点で異なる。

第４のマトリクス演算手段９は混合読み出しされた混合信号（画素対の混合信号）を加減算して各画素対の明るさを表す信号Ｌを生成するとともに、Ｃｒ’、Ｃｂ’を生成する。生成のための演算の一例が次式（１１）で表される。

式（１１）において、ｂ１１からｂ１４、ｂ２１からｂ２４、ｂ３１からｂ３４はいずれもマトリクス係数である。ｂ１１からｂ１４は式（１Ａ）、式（１Ｂ）、式（２Ａ）および式（２Ｂ）で示した、算出する画素対位置によって異なる係数である。ｂ２１からｂ２４およびｂ３１からｂ３４は例えば式（１２）で示す値を有する。

次に、第５のマトリクス演算手段１０は第４のマトリクス演算手段９からＬ、Ｃｒ’、Ｃｂ’を入力してＣｒ、Ｃｂを生成する。第５のマトリクス演算手段１０による演算を式（１３）に示す。

式（１３）においてｃ１１からｃ１３、ｃ２１からｃ２３はマトリクス係数であり、これらを要素とする係数マトリクスは、式（１０）に示したマトリクス係数ａ１１からａ１３、ａ２１からａ２３を要素とする係数マトリクスと、式（１１）に示したマトリクス係数ｂ１１からｂ１４、ｂ２１からｂ２４、ｂ３１からｂ３４を要素とするマトリクスの逆行列との乗算で求められる。

以下、その理由を説明する。式（１１）から、

また、式（１０）と、式（５）、式（６）を組合せると、

式（１５）、式（１６）と式（１４）を組合せると、

式（１７）、式（１８）と式（１３）とを比較すれば分るように、式（１３）のｃｉｊ（ｉ＝１〜２、ｊ＝１〜３）を要素とするマトリクスは、下記の式（１９）、式（２０）で与えられる。

即ち、ｃｉｊ（ｉ＝１〜２、ｊ＝１〜３）を要素とする係数マトリクスは、主として、ａｉｊ（ｉ＝１〜２、ｊ＝１〜３）を要素とする係数マトリクスと、ｂｉｊ（ｉ＝１〜３、ｊ＝１〜４）を要素とする係数マトリクスの逆行列の積で求められる。

実施の形態２では２つのマトリクス演算手段９及び１０により、実施の形態１の３つのマトリクス演算手段６〜８と同等の結果が得られる。

実施の形態３．
図１１はこの発明の実施の形態３による撮像装置の概略構成図である。図１０に示す撮像装置は、図１の撮像装置と概して同じであるが、図１の第３のマトリクス演算手段８の代わりに、第３のマトリクス演算手段１１を有し、さらに、選択手段１２を備えている。実施の形態３の第３のマトリクス演算手段１１は式（２１）に示すように、入力したＲ、Ｇ、Ｂ信号から、２行２列の画素対から成る画素対群の彩度及び色相を示す２種の色差信号Ｃｒ、Ｃｂのみならず、２行２列の画素対から成る画素対群の輝度を示す輝度信号Ｙを生成する。生成のための演算の一例が次の式（２１）で表される。

式（２１）において、ｄ１１からｄ１３、ｄ２１からｄ２３、ｄ３１からｄ３３はいずれもマトリクス係数であり、ｄ２１からｄ２３は実施の形態１の式（１０）のａ１１からａ１３と同様であり、ｄ３１からｄ３３は実施の形態１の式（１０）のａ２１からａ２３と同様である。ｄ１１からｄ１３は輝度信号Ｙを生成するためのマトリクス係数であり、略ｄ１１：ｄ１２：ｄ１３＝１：２：１となるが、イメージセンサの各色フィルタの分光感度特性から人間の目の被視感度特性に近似されるようにマトリクス係数を求めればよい。Ｒ、Ｇ、Ｂは式（５）または式（６）で表されるため各色フィルタの分光特性から一義的に求めることができる。

選択手段１２は、第１のマトリクス演算手段６の出力である信号Ｌと、第３のマトリクス演算手段１１の出力である輝度信号Ｙとを入力し、各フレームについて、被写体の明るさに基づいて、どちらかを選択して映像または画像の明るさを表す信号として出力する。選択手段１２はアナログフロントエンド４の回路利得が高いときは、信号Ｌを選択し、回路利得が低いときは輝度信号Ｙを選択する。すなわち、回路利得が高いときは被写体照度が低いときであり、撮像装置の感度が要求されるときである。その場合（例えば被写体照度が所定値よりも低いときは）、信号Ｌが選択されることで高感度な撮像を実現することができる。回路利得が低いときは被写体照度が高いときであり、感度は要求されない。その場合（例えば被写体照度が所定値よりも高いときは）、輝度信号Ｙが選択される。

実施の形態１では色再現性の良い撮像装置が得られるが、画像の明るさの信号として信号Ｌを用いているため、信号Ｌと人間の被視感度特性との差が、色差ΔＥとなる。輝度信号Ｙは被視感度特性に近似しているため更に高い色再現性を得られる効果がある。

上記の例では、アナログフロントエンド４の回路利得に応じて選択手段が２種の信号を選択しているが、イメージセンサ２に入射される光量を調整するアイリスを具備している撮像装置ではアイリスの開口率によって前記２種の信号を選択しても同様の効果が得られる。

上記の例では、選択手段１２の動作は、制御信号に応じて信号Ｌと信号Ｙを切換えているが、被写体照度に基づく制御信号に応じて信号Ｌと信号Ｙを混合する混合比を切換えるように構成しても良い。この場合、例えば、被写体が明るいほど信号Ｙの混合割合を大きくし、被写体が暗いほど信号Ｌの混合割合を大きくする。

本発明の実施の形態１の撮像装置の構成を示すブロック図である。 イメージセンサの色フィルタ配列と混合読み出し信号を示す図である。 ４種のカラーフィルタとＩＲＣＦの分光特性を示す図である。 混合読み出しにより得られる混合信号に対応する画素対の配列を示す図である。 Ｒ，Ｇ，Ｂ信号を生成する信号の位置を示す図である。 Ｒ，Ｇ，Ｂ信号を生成する信号の位置を示す図である。 生成したＲ信号の分光特性を示す図である。 生成したＧ信号の分光特性を示す図である。 生成したＢ信号の分光特性を示す図である。 本発明の実施の形態２の撮像装置の構成を示す図である。 本発明の実施の形態３の撮像装置の構成を示す図である。

符号の説明

１ レンズ、 ２ イメージセンサ、 ３ 駆動手段、 ４ アナログフロントエンド、 ５ ＡＤコンバータ（ＡＤＣ）、 ６ 第１のマトリクス演算手段、 ７ 第２のマトリクス演算手段、 ８ 第３のマトリクス演算手段、 ９ 第４のマトリクス演算手段、 １０ 第５のマトリクス演算手段、 １１ 第３のマトリクス演算手段、 １２ 選択手段。

Claims (4)

1. 近赤外カットフィルタが設けられておらず、受光素子の分光感度特性が略４００ｎｍから７００ｎｍまでの可視領域および略７００ｎｍから１１００ｎｍまでの近赤外領域まで感度を有し、各画素がグリーン、シアン、マジェンタ、及びイエローの色フィルタのいずれかを備え、前記グリーン、シアン、マジェンタ、及びイエローの色フィルタが所定の繰り返しパターンで配列されたイメージセンサと、
   前記イメージセンサのそれぞれ垂直方向に隣り合う２つの画素の信号を混合して、各々前記垂直方向に隣り合う２つの画素で構成され、それぞれイメージセンサ上の位置に対応して行列状に配置された４種の画素対の、４種の混合信号を前記イメージセンサから読み出す駆動手段と、
   前記画素対のうちの、水平方向に隣り合う２つの画素対の２つの混合信号を加算して、
   該２つの画素対の明るさを示す明るさ信号を生成する第１のマトリクス演算手段と、
   前記画素対のうちの、水平方向及び垂直方向に隣り合う２行２列の画素対から成る画素対群のうちの斜め方向に整列した２つの画素対の混合信号の加減算により、赤及び青の色信号を生成し、垂直方向に隣り合う２つの画素対の混合信号の加減算により緑の色信号を生成する第２のマトリクス演算手段と、
   前記第２のマトリクス演算手段によって生成された赤、緑、及び青の色信号から、前記２行２列の画素対から成る画素対群の彩度及び色相を表す２種の色差信号を生成する第３のマトリクス演算手段とを具備し、
   前記明るさ信号を水平方向に隣り合う２つの画素対の明るさの情報として、前記２つの色差信号を前記水平方向及び垂直方向に隣り合う前記２行２列の画素対から成る画素対群の色の情報として出力し、
   前記色フィルタを備えた画素の各々の信号が、可視領域の信号成分と近赤外領域の信号成分とを含み、
   近赤外領域において、グリーン及びシアンの色フィルタの感度が、マジェンタ及びイエローの色フィルタの感度よりも高く、
   前記４種の混合信号のうちの、
   前記シアンの色フィルタを備えた画素の信号と、前記グリーンの色フィルタを備えた画素の信号との混合信号を（Ｃｙ＋Ｇ）で表し、
   前記イエローの色フィルタを備えた画素の信号と、前記マジェンタの色フィルタを備えた画素の信号との混合信号を（Ｙｅ＋Ｍｇ）で表し、
   前記マジェンタの色フィルタを備えた画素の信号と、前記シアンの色フィルタを備えた画素の信号との混合信号を（Ｍｇ＋Ｃｙ）で表し、
   前記グリーンの色フィルタを備えた画素の信号と、前記イエローの色フィルタを備えた画素の信号との混合信号を（Ｇ＋Ｙｅ）で表すとき、
   前記第２のマトリクス演算手段（７）が、
   Ｒ＝（Ｙｅ＋Ｍｇ）−（Ｍｇ＋Ｃｙ）
   で表される赤の色信号を生成し、
   Ｇ＝（Ｃｙ＋Ｇ）−（Ｍｇ＋Ｃｙ）
   で表される緑の色信号を生成し、
   Ｂ＝（Ｃｙ＋Ｇ）−（Ｇ＋Ｙｅ）
   で表される青の色信号を生成する
   ことを特徴とする撮像装置。
2. 前記第３のマトリクス演算手段は前記２種の色差信号のほかに前記２行２列の画素対から成る画素対群の輝度を表す輝度信号を生成し、
   被写体の明るさに基づいて前記輝度信号または前記明るさ信号のいずれかを選択し、又は前記輝度信号及び前記明るさ信号を混合して出力する選択手段をさらに具備したことを特徴とする請求項１に記載の撮像装置。
3. 前記選択手段は、被写体の明るさに基づいて前記輝度信号または前記明るさ信号のいずれかを選択して出力するものであり、
   被写体の明るさが所定値よりも高いときは、輝度信号を選択し、被写体の明るさが上記所定値よりも低いときは、上記明るさ信号を選択することを特徴とする請求項２に記載の撮像装置。
4. 前記選択手段は、前記輝度信号及び前記明るさ信号を混合して出力するものであり、
   被写体が明るいほど輝度信号の混合割合を大きくし、被写体の暗いほど上記明るさ信号の混合割合を小さくすることを特徴とする請求項２に記載の撮像装置。

Images