JP4548390B2 - 撮像装置及び信号処理方法 - Google Patents

Description

本発明は、例えば、赤色、緑色及び青色からなる三原色などの、３色の色信号からなる撮像信号を生成する撮像装置、及び、信号処理方法に関する。

ディジタルカメラにおいて、被写体を画像として取り込む撮像処理系の構造には、主に単板式と三板式とがある。単板式カメラは、一つの固体撮像素子を備え、この一板の固体撮像素子で三原色ＲＧＢの色信号を生成する。例えば、特許文献１には、一板のＣＣＤイメージセンサ上に、赤色、緑色、及び青色をそれぞれ透過させる色フィルタを市松模様状に配列して色信号Ｒ、Ｇ、Ｂを生成し、相関処理及び補間処理により解像度を高めた画像信号を生成する撮像装置が記載されている。しかしながら、このような解像度を高めた画像信号には、色偽が生じるという問題点がある。

一方、三板式カメラは三つの固体撮像素子を備え、この三つの固体撮像素子上には、それぞれ分光鏡により分光された赤色光、緑色光、青色光が入射される。そして、これらの固体撮像素子は、それぞれ独立して赤色、緑色及び青色の色信号を生成する。三板式カメラは、単板式カメラに比べて、三原色をそれぞれ独立して固体撮像素子で感光するため、高解像度で再現性の高い画像が得られるが、回路規模が大きくなり画像処理量も増大するため、固体撮像素子から色信号の読み出しにより長い時間がかかる。

また、三板式カメラにおいて、各固体撮像素子により得られた赤色、緑色及び青色の色信号から画像信号を生成する処理として、正方画素合わせ処理と正方画素ずらし処理がある。

正方画素合わせ処理は、図１３（Ａ）に示すように、各固体撮像素子から得られた各色信号における画素の位置を空間的に一致させる処理である。すなわち、正方画素合わせ処理では、感光センサが読み出した画素数が出力側の画像信号の画素数と同じである。よって、この処理で画像信号の解像度を高くするには、感光センサ側の画素数と同様の倍率で高くする必要がある。例えば、出力側の静止画の解像度を３Ｍピクセルから６Ｍピクセルに上げる場合には、感光センサ側の画素数も同様に３Ｍピクセルから６Ｍピクセルに上げなければならない。

また、正方画素ずらし処理では、図１３（Ｂ）に示すように、緑色の色信号の画素配列から、赤色、青色の色信号の画素配列をそれぞれ画素サイズｄの半分ｄ／２ずつ水平方向にずらして、ずらした画素の色信号を補間することで解像度を高めた撮像信号を得る。この方法では、各固体撮像素子の画素数に対して出力側の撮像信号の画素数が２倍となる。換言すれば、固体撮像素子の画素数は、出力側の画像信号の画素数に比べて半分となっている。

ここで、１フレーム当たりの解像度を高くするのに応じて固体撮像素子から色信号の読み出し時間が長くなる。また、このような色信号の読み出し速度を高速化するにはハードウェアの性能上の限界がある。したがって、同様の解像度の画像信号を得る場合、正方画素ずらし処理では、正方画素合わせ処理に比べて固体撮像素子の画素数が半分でも補間処理により同程度の解像度を有する画像信号を生成するので、読み出し速度が遅くても同程度のフレームレートを実現することができる。

特開平１０―１５０６６８号公報

しかしながら、三板式カメラにおいて、正方画素ずらし処理により画像信号を出力する場合には、補間処理が施された画像に色偽が生じるので、正方画素合わせの場合に比べて、生成される画像の再現性が損なわれてしまう。

本発明は、このような実情に鑑みて提案されたものであり、高フレームレートで高画質の画像を生成する撮像装置及び画像信号の処理方法を提供することを目的とする。

上述した課題を解決するための手段として、本発明に係る撮像装置は、開口部を介して入射する光に感光して、第１の色、第２の色及び第３の色毎に、各画素が隣接して２次元配列された画像信号を生成する撮像装置であって、上記入射光に感光して市松模様状に画素が配列された上記第１の色信号を出力する第１の撮像素子と、上記入射光に感光して市松模様状に画素が配列された上記第２の色信号を出力する第２の撮像素子と、上記入射光に感光して市松模様状に画素が配列された上記第３の色信号を出力する第３の撮像素子と、上記第１の色信号、上記第２の色信号及び上記第３の色信号を合成し、合成された色信号における空画素の周辺画素の相関関係を求める相関処理手段と、上記第１の色信号、上記第２の色信号及び上記第３の色信号毎に、市松模様状に配列された各画素間の空画素を、上記相関関係に基づいて当該空画素の周辺画素で補間する補間処理手段とを備える。

また、本発明に係る信号処理方法は、第１の色、第２の色及び第３の色毎に各画素が隣接して二次元配列された画像信号を生成する信号処理方法であって、第１の撮像素子により、市松模様状に画素が配列された上記第１の色信号を出力し、第２の撮像素子により、市松模様状に画素が配列された上記第２の色信号を出力し、第３の撮像素子により、市松模様状に画素が配列された上記第３の色信号を出力し、上記第１の色信号、上記第２の色信号及び上記第３の色信号を合成し、合成された色信号における空画素の周辺画素における相関関係を求め、上記相関関係に基づいて、上記第１の色信号、上記第２の色信号及び上記第３の色信号毎に上記空画素を補間して上記画像信号を生成する。

本発明は、第１の色信号、第２の色信号及び第３の色信号を合成し、合成された色信号における空画素の周辺画素の相関関係を求め、第１の色信号、第２の色信号及び第３の色信号毎に、求めた相関関係に応じて空画素を補間するので、色信号毎に異なる方向から空画素を補間することがなく、撮像素子から読み出された画素数よりも高解像度で色偽がない色信号を出力する。

したがって、本発明では、再現性が損なわれることなく、高フレームレートで高解像度の撮像信号を生成することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。以下に説明する実施の形態では、本発明を、例えば、開口部を介して入射する光に感光して、赤色、緑色及び青色毎に、各画素が隣接して２次元配列された撮像信号を生成する撮像装置（以下、ディジタルカメラという。）に適用したものである。

本実施形態に係るディジタルカメラ１は、図１に示すように、被写体を撮像して赤色、緑色及び青色の三原色からなる色信号２０Ｒ、２０Ｇ、２０Ｂを出力する撮像処理部１００と、撮像処理部１００から出力される色信号２０Ｒ、２０Ｇ、２０Ｂに所定の信号処理を施す信号処理部２００と、撮像処理部１００及び信号処理部２００を制御する演算処理部３００とを備える。

撮像処理部１００は、三板式の撮像処理系であって、図示しない開口部を介して被写体からの光を集光する光学素子１１０と、光学素子１１０で集光された光を赤色光１０Ｒ、緑色光１０Ｇ、及び青色光１０Ｂに分光する分光鏡１２０と、分光鏡１２０で分光された赤色光１０Ｒ、緑色光１０Ｇ及び青色光１０Ｂにそれぞれ感光して電気信号に変換する３つの撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂと、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂで変換された３つの電気信号の利得を調節してディジタル化された色信号２０Ｒ、２０Ｇ、２０Ｂを出力するＡ／Ｄ変換部１４０Ｒ、１４０Ｇ、１４０Ｂと、演算処理部３００からの制御信号に応じて撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂの動作を制御する駆動回路１５０とからなる。

信号処理部２００は、撮像処理部１００から出力される色信号２０Ｒ、２０Ｇ、２０Ｂに明るさ補正や黒レベル補正などの光学補正を行う光学補正部２１０と、光学補正された色信号２０Ｒ、２０Ｇ、２０Ｂに補間処理を施して色信号３０Ｒ、３０Ｇ、３０Ｂを出力するディモザイク処理部２２０と、色信号３０Ｒ、３０Ｇ、３０Ｂのホワイトバランスを調節するホワイトバランス（ＷＢ）調節部２３０と、ホワイトバランスが調節された色信号３０Ｒ、３０Ｇ、３０Ｂにγ補正を行うγ補正部２４０と、γ補正された色信号３０Ｒ、３０Ｇ、３０Ｂに応じて輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂをそれぞれ出力するＹ補正部２５０及びＣ補正部２６０と、輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂの解像度を変換して所定の放送規格に準拠した映像信号を出力する解像度変換処理部２７０と、ディモザイク処理部２２０及びγ補正部２４０からそれぞれ出力される色信号３０Ｒ、３０Ｇ、３０Ｂを積分して各色信号間での光路差検出する光路差検出部２８０とを備える。

演算処理部３００は、光路差検出部２８０が検出した光路差情報に基づいて、撮像処理部１００及び信号処理部２００の各処理部に制御信号を供給する。具体的に、演算処理部３００は、光路差情報に基づいて、光学素子１１０から分光鏡１２０に透過する光量を調節し、また、駆動回路１５０を介して撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂの動作を制御し、さらに、Ａ／Ｄ変換部１４０Ｒ、１４０Ｇ、１４０Ｂが調節する信号の利得を制御する。

次に、撮像処理部１００における撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂの構成について、図２を参照して詳細に説明する。

撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、それぞれ基板上に複数の感光素子が配設されている。撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂでは、各感光素子が、赤色光１０Ｒ、緑色光１０Ｇ、及び青色光１０Ｂに感光することで電気信号に変換され、変換された電気信号をＡ／Ｄ変換部１４０Ｒ、１４０Ｇ、１４０Ｂへ出力する。ここで、色信号２０Ｒ、２０Ｇ、２０Ｂを構成する各画素値は、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂの基板上に配設された感光素子が出力する電気信号に対応する。すなわち、色信号２０Ｒ、２０Ｇ、２０Ｂの画素数は、それぞれ各固体撮像素子が備える感光素子の数に対応する。

また、一辺の長さｄからなる正方格子状に複数の感光素子が配置されてなる従来の撮像素子に対して、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、図２（Ａ）に示すように、一辺の長さを（２）^１／２×ｄとして上述した正方格子を４５°回転させた二次元配列に感光素子を配置したものである。よって、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、上述した従来の撮像素子と同様に各感光素子の間隔がｄであるが、上述した従来の撮像素子に対して１画素当たりの感光素子の面積が２倍なので、感光特性が高い。

また、上述した図２（Ａ）に示す構成以外にも、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、図２（Ｂ）に示すように感光素子を配置することもできる。具体的に、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、上述した正方格子の一辺の長さｄを変更せずに正方格子を４５°回転させた二次元配列に感光素子を配置したものである。このような撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、上述した従来の撮像素子と比べた場合、感光素子の面積が同じなので感光特性が変わらないが、各感光素子の間隔が（２）^１／２×ｄ／２となるので、水平及び垂直方向のそれぞれに解像度が（２）^１／２倍になる。

また、図２（Ａ）及び図２（Ｂ）に示すように感光素子を配置した撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、両方とも、従来の撮像素子に比べて、読み出されるデータ数が半分になる。したがって、同様のフレームレートの画像を撮像するのであれば、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、従来の撮像素子に比べて、一定時間当たりに感光素子から読み出すデータ量が半分になる。

なお、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、上述した正方格子に限らず、感光素子が、例えば菱形や正六角形などの正多角形の格子状を４５°回転させて二次元配列されるようにしてもよい。

また、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂの構造は、市松模様状に画素が配列された色信号２０Ｒ、２０Ｇ、２０Ｂを出力するものであればいかなる方式でもよく、ＣＣＤ方式やＣＭＯＳ方式のいずれかに限定されない。

次に、撮像処理部１００が赤色光１０Ｒ、緑色光１０Ｇ及び青色光１０Ｂから色信号２０Ｒ、２０Ｇ、２０Ｂを生成し、信号処理部２００が色信号２０Ｒ、２０Ｇ、２０Ｂから色信号３０Ｒ、３０Ｇ、３０Ｂを生成するまでの処理過程を説明する。

まず、分光鏡により分光された赤色光１０Ｒ、緑色光１０Ｇ及び青色光１０Ｂは、それぞれ図３（Ａ）に示す撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂがそれぞれ備える感光素子により感光され電気信号に変換される。電気信号に変換された赤色光１０Ｒ、緑色光１０Ｇ及び青色光１０Ｂは、それぞれＡ／Ｄ変換部１４０Ｒ、１４０Ｇ、１４０Ｂにより図３（Ｂ）に示す色信号２０Ｒ、２０Ｇ、２０Ｂを生成する。

ここで、色信号２０Ｒ、２０Ｇ、２０Ｂは、上述したように撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂが、従来の撮像素子と比べて一定面積当たりの感光素子の数が半分なので、市松模様状に各画素が配列された信号となる。よって、市松模様状に画素が配列された色信号２０Ｒ、２０Ｇ、２０Ｂにおいて、各画素間の領域には画素が存在しない。ディモザイク処理部２２０では、このような空画素を、その周辺画素の情報から補間して、図３（Ｃ）に示すような色信号３０Ｒ、３０Ｇ、３０Ｂを生成する。

次に、本実施形態における空画素の補間方法を以下に示し、続いて、当該補間方法を実現するディモザイク処理部２２０の構成と動作を示す。

まず、空画素の補間方法として、図４に示すように、空画素Ｃ_０を中心とした周辺画素Ｃ_１，Ｃ_２，・・・，Ｃ_ｎを用いて、空画素Ｃ_０の補間を行う。ここで、各画素の画素値をＰ（Ｃ_ｋ）（ｋ＝１，２，・・・，ｎ）とすると、空画素Ｃ_０は、（１）式により画素値が設定される。

Ｐ（Ｃ_０）＝Ｃ_１（ｆ）×Ｐ（Ｃ_１）＋Ｃ_２（ｆ）×Ｐ（Ｃ_２）＋・・・＋Ｃ_ｎ（ｆ）×Ｐ（Ｃ_ｎ） ・・・ （１）式

ここで、（１）式におけるＣ_１（ｆ），Ｃ_２（ｆ），・・・，Ｃ_ｎ（ｆ）は、それぞれ周辺画素に対する重み関数である。これらの重み関数は、任意に決定してよいが、以下では、（１）式に示す補間処理に基づいて空画素の画素値を算出する具体例として、補間例１及び補間例２を説明する。

補間例１では、一次元補間として水平補間処理と垂直補間処理を示す。水平補間処理では、図５（Ａ）に示すように、空画素Ｃ_０と同じ水平ライン上に隣接して配列されている画素Ｃ_１ｈ，Ｃ_２ｈ，Ｃ_３ｈ，Ｃ_４ｈに対応する重み係数Ｃ_１ｈ（ｆ），Ｃ_２ｈ（ｆ），Ｃ_３ｈ（ｆ），Ｃ_４ｈ（ｆ）を設定し、これら以外の画素に対応する重み係数を０とした（２）式に示す補間処理である。

Ｐ（Ｃ_０）＝Ｃ_１ｈ（ｆ）×Ｐ（Ｃ_１ｈ）＋Ｃ_２ｈ（ｆ）×Ｐ（Ｃ_２ｈ）＋Ｃ_３ｈ（ｆ）×Ｐ（Ｃ_３ｈ）＋Ｃ_４ｈ（ｆ）×Ｐ（Ｃ_４ｈ） ・・・ （２）式

また、垂直補間処理は、図５（Ｂ）に示すように、空画素Ｃ_０と同じ垂直ライン上に隣接して配列されている画素Ｃ_１ｖ，Ｃ_２ｖ，Ｃ_３ｖ，Ｃ_４ｖに対応する重み関数Ｃ_１ｖ（ｆ），Ｃ_２ｖ（ｆ），Ｃ_３ｖ（ｆ），Ｃ_４ｖ（ｆ）を設定し、他の画素に対応する重み関数を０とした（３）式に示す補間処理である。

Ｐ（Ｃ_０）＝Ｃ_１ｖ（ｆ）×Ｐ（Ｃ_１ｖ）＋Ｃ_２ｖ（ｆ）×Ｐ（Ｃ_２ｖ）＋Ｃ_３ｖ（ｆ）×Ｐ（Ｃ_３ｖ）＋Ｃ_４ｖ（ｆ）×Ｐ（Ｃ_４ｖ） ・・・ （３）式

ここで、垂直方向補間を行う場合には、一般的に色信号２０Ｒ、２０Ｇ、２０Ｂの各画素値が水平方向に走査して配置されているので、垂直方向の各画素値を記憶するバッファが必要である。これに対して、水平方向補間を行う場合には、このようなバッファを用いる必要がないので、垂直方向補間処理に比べて、回路規模を小さく設計することができる。

続いて、補間例２を、二次元補間に関する具体例として図６を参照して説明する。補間例２では、二次元補間として、図６に示すように、空画素Ｃ_０を、水平方向及び垂直方向のそれぞれに隣接する４つの画素の各画素値に基づいて補間を行う。

具体的には、上述した（１）式における重み係数Ｃ_ｎ（ｆ）を全て１／ｎとした（４）式を導出する。

Ｐ（Ｃ_０）＝（Ｐ（Ｃ_１）＋Ｐ（Ｃ_２）＋・・・＋Ｐ（Ｃ_ｎ））／ｎ ・・・ （４）式

さらに、隣接する４つの画素の各画素値に基づいて補間を行うため、（４）式中のｎを４として（５）式を導出する。

Ｐ（Ｃ_０）＝（Ｐ（Ｃ_１）＋Ｐ（Ｃ_２）＋Ｐ（Ｃ_３）＋Ｐ（Ｃ_４））／４ ・・・ （５）式

（５）式のように、隣接する４画素に同一の係数を乗することにより、空画素が上下左右に隣接する４画素の画素値を平均化した画素値で、空画素Ｃ_０を補間することができる。

ここで、（５）式のように水平方向及び垂直方向のそれぞれに隣接する４画素の各画素値を平均して空画素を補間する場合、空画素の周辺にエッジがあると、そのエッジがぼやけてしまう場合がある。したがって、エッジがぼやけてしまうことを防ぐためには、隣接した画素間での相関関係を求めて、この相関関係に基づいて重み関数を決定することが望ましい。よって、（６）式に示すように、各重み係数Ｃ_１（ｆ），Ｃ_２（ｆ），Ｃ_３（ｆ），Ｃ_４（ｆ）を、各画素Ｃ_１，Ｃ_２，Ｃ_３，Ｃ_４の相関値に基づいて設定することとする。

Ｐ（Ｃ_０）＝Ｃ_１（ｆ）×Ｐ（Ｃ_１）＋Ｃ_２（ｆ）×Ｐ（Ｃ_２）＋Ｃ_３（ｆ）×Ｐ（Ｃ_３）＋Ｃ_４（ｆ）×Ｐ（Ｃ_４） ・・・ （６）式

補間例２と同様に上述した補間例１に示した一次元補間処理を、水平方向又は垂直方向のいずれかのみで行って、空画素を補間する場合にも、エッジがぼやけて画質の劣化が生じてしまう場合がある。よって、このような画質の劣化を考慮して補間処理を行う具体例を、図７を参照して詳細に説明する。

空画素Ｐ_{（ｘ，ｙ）}に対して、水平方向及び垂直方向のそれぞれに隣接する２画素の画素値から補間処理を行う（ステップＳ１）。具体的には、２次元配列の任意の座標（ｘ，ｙ）における空画素に対して、補間例１で示したように、水平方向（ｘ方向）及び垂直方向（ｙ方向）のそれぞれに隣接する２画素の画素値の平均値を算出する。すなわち、（７）式及び（８）式に示すように、それぞれ水平補間画素値ＧＨ_{（ｘ，ｙ）}及び垂直補間画素値ＧＶ_{（ｘ，ｙ）}を算出する。

ＧＨ_{（ｘ，ｙ）}＝（Ｐ_{（ｘ−１，ｙ）}＋Ｐ_{（ｘ＋１，ｙ）}）／２ ・・・ （７）式
ＧＶ_{（ｘ，ｙ）}＝（Ｐ_{（ｘ，ｙ−１）}＋Ｐ_{（ｘ，ｙ＋１）}）／２ ・・・ （８）式

なお、算出されたＧＨ及びＧＶには、ノイズの影響を低減するため、メディアンフィルタ処理が施されるものとする（ステップＳ２）。

次に、空画素の周辺に画素値のエッジが存在するか否かを判断するためにバンドパスフィルタ処理を行う。本具体例では、１／４［ｆｓ］のエッジを検出するバンドパスフィルタを用いる。このバンドパスフィルタは、図８に示すように、周波数が１／４［ｆｓ］付近の周波数成分を通過させ、ＤＣ及び１／２［ｆｓ］付近の周波数成分を減衰させるものである。

なお、１／４［ｆｓ］付近の周波数成分を通過させるものに限らず、目的に応じて１／２［ｆｓ］や１／８［ｆｓ］の周波数成分を通過させるバンドパスフィルタを用いるようにしてもよい。

空画素Ｐ_{（ｘ，ｙ）}に対して、水平方向及び垂直方向それぞれのバンドパスフィルタの利得ＨＢＰＦ_{（ｘ，ｙ）}，ＶＢＰＦ_{（ｘ，ｙ）}は、それぞれ（９）式及び（１０）式で表される。

ＨＢＰＦ_{（ｘ，ｙ）}＝（−Ｐ_{（ｘ−２，ｙ）}＋２Ｐ_{（ｘ，ｙ）}−Ｐ_{（ｘ＋２，ｙ）}）／４ ・・・ （９）式
ＶＢＰＦ_{（ｘ，ｙ）}＝（−Ｐ_{（ｘ，ｙ−２）}＋２Ｐ_{（ｘ，ｙ）}−Ｐ_{（ｘ，ｙ＋２）}）／４ ・・・ （１０）式

ここで、（９）式中のＰ_{（ｘ，ｙ）}は、空画素である。また、Ｐ_{（ｘ，ｙ）}を基準として２画素分平行移動したＰ_{（ｘ−２，ｙ）}，Ｐ_{（ｘ−２，ｙ）}も、各画素が市松模様状に配列されているので、同様に空画素となっている。よって、（８）式に示すバンドパスフィルタの処理を行う前に、補間処理によりＰ_{（ｘ−２，ｙ）}，Ｐ_{（ｘ，ｙ）}，Ｐ_{（ｘ＋２，ｙ）}を求めることを要する。

本実施例では、Ｐ_{（ｘ−２，ｙ）}，Ｐ_{（ｘ，ｙ）}，Ｐ_{（ｘ＋２，ｙ）}を、上述した（８）式により垂直補間画素値ＧＶ_{（ｘ−２，ｙ）}，ＧＶ_{（ｘ，ｙ）}，ＧＶ_{（ｘ＋２，ｙ）}とする（ステップＳ３）。また、（７）式におけるＰ_{（ｘ，ｙ−２）}，Ｐ_{（ｘ，ｙ）}，Ｐ_{（ｘ，ｙ＋２）}も同様の補間処理を要し、それぞれＧＨ_{（ｘ，ｙ−２）}，ＧＨ_{（ｘ，ｙ）}，ＧＨ_{（ｘ，ｙ＋２）}とする。

続いて、算出された補間画素値を（９）式及び（１０）式に代入して、それぞれＨＢＰＦ_{（ｘ，ｙ）}，ＶＢＰＦ_{（ｘ，ｙ）}を求める（ステップＳ４）。このようにして、ＨＢＰＦ_{（ｘ，ｙ）}及びＶＢＰＦ_{（ｘ，ｙ）}は、それぞれ垂直方向及び水平方向に１／４ｆｓの周波数成分のエッジを検出する。

よって、座標（ｘ，ｙ）の空画素に存在するエッジの方向は、（１１）式に示すように、ＨＢＰＦ_{（ｘ，ｙ）}及びＶＢＰＦ_{（ｘ，ｙ）}の比率を用いて、相関値ＣＯＲＲ_{（ｘ，ｙ）}と表される（ステップＳ５）。

ＣＯＲＲ_{（ｘ，ｙ）}＝ＨＢＰＦ_{（ｘ，ｙ）}／（ＨＢＰＦ_{（ｘ，ｙ）}＋ＶＢＰＦ_{（ｘ，ｙ）}） ・・・ （１１）式

ＣＯＲＲ_{（ｘ，ｙ）}は、垂直方向の相関値を示し、その値の変化域が０から１までである。すなわち、ＣＯＲＲ_{（ｘ，ｙ）}の値が大きいと、ＶＢＰＦ_{（ｘ，ｙ）}に比べてＨＢＰＦ_{（ｘ，ｙ）}の値が大きいので、垂直方向にエッジがある可能性が高くなる。垂直方向にエッジがある場合、空画素の周辺画素は、垂直方向で相関性を有している。一方、ＣＯＲＲ_{（ｘ，ｙ）}の値が小さければ、空画素の周辺画素は、水平方向で相関性を有していることとなる。

そして、本実施例では、（１２）式に示すように、相関値ＣＯＲＲ_{（ｘ，ｙ）}に基づいて、水平補間画素値ＧＨ_{（ｘ，ｙ）}及び垂直補間画素値ＧＶ_{（ｘ，ｙ）}から座標（Ｘ，Ｙ）における空画素Ｃ_０の画素値Ｐ（Ｃ_０）を算出する（ステップＳ６）。

Ｐ_{（ｘ，ｙ）}＝ＣＯＲＲ_{（ｘ，ｙ）}×ＧＶ_{（ｘ，ｙ）}＋（１−ＣＯＲＲ_{（ｘ，ｙ）}）×ＧＨ_{（ｘ，ｙ）} ・・・ （１２）式

例えば、ＣＯＲＲ_{（ｘ，ｙ）}の値が大きければ、ＧＨ_{（ｘ，ｙ）}よりもＧＶ_{（ｘ，ｙ）}に乗ずる重み係数を大きくして、空画素を補間することとなる。一方、ＣＯＲＲ_{（ｘ，ｙ）}の値が小さければ、ＧＶ_{（ｘ，ｙ）}よりもＧＨ_{（ｘ，ｙ）}に乗ずる重み係数を大きくして、空画素を補間することとなる。

ここで、（１２）式では、補間例２で示した（６）式における重み係数Ｃ_１（ｆ）及びＣ_３（ｆ）をＣＯＲＲ_{（ｘ，ｙ）}に、重み係数Ｃ_２（ｆ）及びＣ_４（ｆ）を（１−ＣＯＲＲ_{（ｘ，ｙ）}）にして、補間処理を行うことと等価な関係にある。

以上のような補間方法に基づいて、ディモザイク処理部２２０は、大きく分けて３つの処理を行う。すなわち、ディモザイク処理部２２０は、まず、空画素に対して水平方向及び垂直方向に補間画素値ＧＨ_{（ｘ，ｙ）}及びＧＶ_{（ｘ，ｙ）}を求める補間処理と、空画素の周辺における相関値ＣＯＲＲ_{（ｘ，ｙ）}を求める相関処理と、相関値ＣＯＲＲ_{（ｘ，ｙ）}に基づいて補間画素値ＧＨ_{（ｘ，ｙ）}、ＧＶ_{（ｘ，ｙ）}から空画素を補間する合成補間処理を行う。

また、上述した補間処理では、座標（ｘ、ｙ）の空画素に注目して、その補間処理を示したが、２次元配列されている全ての空画素について行うものとする。このようにして、市松模様状に画素が配列されて複数の空画素が存在する色信号から、空画素が補間された色信号を生成することができる。

ここで、ディモザイク処理部２２０は、色信号２０Ｒ、２０Ｇ、２０Ｂから色信号３０Ｒ、３０Ｇ、３０Ｂを上述した補間処理に基づいて算出するため、図９に示すような処理ブロックにより構成される。

すなわち、ディモザイク処理部２２０は、補間処理部２２１Ｒ、２２１Ｇ、２２１Ｂと、ＲＧＢ合成処理部２２２と、相関処理部２２３Ｒ、２２３Ｇ、２２３Ｂと、合成補間処理部２２４Ｒ、２２４Ｇ、２２４Ｂとを備える。

補間処理部２２１Ｒは、色信号２０Ｒの空画素に対して、（７）式及び（８）式に示す補間処理を行い、水平補間画素値ＧＨ_Ｒと垂直補間画素値ＧＶ_Ｒをそれぞれ出力する。同様にして、補間処理部２２１Ｇは水平補間画素値ＧＨ_Ｇと垂直補間画素値ＧＶ_Ｇを出力し、補間処理部２２１Ｂは水平補間画素値ＧＨ_Ｂと垂直補間画素値ＧＶ_Ｂをそれぞれ出力する。

ＲＧＢ合成処理部２２２は、色信号２０Ｒ、２０Ｇ、２０Ｂから、（１３）〜（１５）式に示すような合成信号Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂを出力する。また、この合成信号Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂは、それぞれ相関処理部２２３Ｒ、２２３Ｇ、２２３Ｂに入力される。

Ｓ_Ｒ＝ａ_１ｕ_Ｒ＋ｂ_１ｕ_Ｇ＋ｃ_１ｕ_Ｂ ・・・ （１３）式
Ｓ_Ｇ＝ａ_２ｕ_Ｒ＋ｂ_２ｕ_Ｇ＋ｃ_２ｕ_Ｂ ・・・ （１４）式
Ｓ_Ｂ＝ａ_３ｕ_Ｒ＋ｂ_３ｕ_Ｇ＋ｃ_３ｕ_Ｂ ・・・ （１５）式

ここで、（１３）〜（１５）式に示すｕ_Ｒ、ｕ_Ｇ、ｕ_Ｂは、それぞれ色信号２０Ｒ、２０Ｇ、２０Ｂとする。

相関処理部２２３Ｒは、合成信号Ｓ_Ｒにおける空画素に対して、（９）式及び（１０）式に示すバンドパスフィルタで相関処理を行い、（１１）式により相関値ＣＯＲＲ_Ｒを算出する。同様にして、相関処理部２２３Ｇ及び相関処理部２２３Ｂは、それぞれ相関値ＣＯＲＲ_Ｇ及び相関値ＣＯＲＲ_Ｂを算出する。

合成補間処理部２２４Ｒは、補間処理部２１１Ｒが出力する水平補間画素値ＧＨ_Ｒと垂直補間画素値ＧＶ_Ｒと、相関処理部２３３Ｒが出力する相関値ＣＯＲＲ_Ｒとを（１２）式に代入して空画素を補間し、色信号３０Ｒを出力する。同様にして、合成補間処理部２４４Ｇ、２４４Ｂは、それぞれ（１２）式により色信号３０Ｇ、３０Ｂを出力する。

このように、ディモザイク処理部２２０は、市松模様状に画素が配列された色信号２０Ｒ、２０Ｇ、２０Ｂに上述した相関処理及び補間処理を施し、空画素が補間された色信号３０Ｒ、３０Ｇ、３０Ｂを出力する。

ディモザイク処理部２２０を備えるディジタルカメラ１は、撮像処理部１００によって出力された色信号２０Ｒ、２０Ｇ、２０Ｂの画素数よりも高解像度で色偽がない色信号３０Ｒ、３０Ｇ、３０Ｂを出力する。また、出力側の画像信号の解像度を固定した場合、撮像処理部１００における撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、従来の撮像素子に比べて、一定時間当たりに感光素子から読み出すデータ量が半分となる。したがって、本実施形態に係るディジタルカメラ１は、上述した感光素子からのデータの読み出し速度を速くすることなく、ディモザイク処理部２２０による補間処理により高解像度の画像を生成することができる。

特に、同一の解像度の画像を高フレームレートで出力するのには、一定時間当たりに感光素子から読み出すデータ量を多くする必要がある。しかし、データの読み出し速度を速くするにはハードウェア上の制約がある。このような制約に対して、本実施形態に係るディジタルカメラ１は、撮像素子の画素数を増加させずに、高解像度で再現性の高い画像を生成することができる。つまり、本実施形態に係るディジタルカメラ１は、従来の三板式の撮像素子を備えるディジタルカメラに比べて、撮像素子における感光素子の読み出し速度を速くせずに、高フレームレートで高画質の画像を出力することができる。

ディモザイク処理部２２０では、上述したように、色信号２０Ｒ、２０Ｇ、２０Ｂから、（１３）〜（１５）式に示すような合成信号Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂを出力するが、具体的に係数ａ、ｂ、ｃの各値を決定することを要する。以下では、これらに具体的な係数を当てはめたディモザイク処理部２２０の構成を、具体例１及び具体例２として説明する。

具体例１として図１０に示すディモザイク処理部４２０は、上述したＲＧＢ合成処理部の各係数のうち、ａ_１、ｂ_２、ｃ_３をそれぞれ１に、また、ｂ_１、ｃ_１、ａ_２、ｃ_２、ａ_３、ｂ_３をそれぞれ０に設定したものである。すなわち、具体例１として示すディモザイク処理部４２０は、ＲＧＢ合成処理部の処理ブロックを省略して表すことができ、色信号２０Ｒ、２０Ｇ、２０Ｂをそれぞれ独立して、相関処理及び補間処理を行う。

続いて、具体例２として図１１に示すディモザイク処理部５２０では、ＲＧＢ合成処理部５２２の各係数を、ａ_１＝ａ_２＝ａ_３＝ａ、ｂ_１＝ｂ_２＝ｂ_３＝ｂ、ｃ_１＝ｃ_２＝ｃ_３＝ｃとして表したものである。すなわち、具体例２のディモザイク処理部５２０は、相関処理部５２３が一つのみである。ここで、ＲＧＢ合成処理部５２２は（１６）式に示す合成信号Ｓを生成して、合成信号Ｓを相関処理部５２２に供給する。

Ｓ＝ａｕ_Ｒ＋ｂｕ_Ｇ＋ｃｕ_Ｂ ・・・ （１６）式

相関処理部５２３は、合成信号Ｓにおける各補間対象画素の相関値ＣＯＲＲを求めて、合成補間処理部５２４Ｒ、５２４Ｇ、５２４Ｂに供給する。そして、合成補間処理部５２４Ｒ、５２４Ｇ、５２４Ｂでは、それぞれ同一の相関値ＣＯＲＲに基づいて、補間対象画素が補間された色信号３０Ｒ、３０Ｇ、３０Ｂを出力する。

ここで、（１６）式の具体的な係数の値として、三原色信号から輝度信号を生成する比率ａ＝０．３、ｂ＝０．６、ｃ＝０．１や、三原色のうち緑色信号を基準とした比率ａ＝０、ｂ＝１、ｃ＝０を用いることとする。

続いて、回路規模、ノイズ耐性、及び画質の３つの面から、上述した構成上異なる具体例１及び具体例２のディモザイク処理部４２０、５２０について比較を行う。

まず、回路規模から具体例１及び具体例２を比較する。上述したように、具体例１のディモザイク処理部４２０が３つの相関処理部４２３Ｒ、４２３Ｇ、４２３Ｂを備えるのに対して、具体例２のディモザイク処理部５２０は、１つの相関処理部５２３を備える。ここで、１つの相関処理部の処理量が、１種類の色信号に対応する補間処理部の処理量より非常に多いので、具体例２のディモザイク処理部５２０は、具体例１に比べて相関処理を行う回路規模を大幅に縮小することができる。

次に、ノイズ耐性から具体例１及び具体例２を比較する。本実施形態に係るディジタルカメラ１は、赤色光１０Ｒ、緑色光１０Ｇ、青色光１０Ｂが、それぞれ独立して３つの撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂの感光素子により電気信号に変換される。したがって、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂは、互いに独立してノイズが発生することとなる。例えば、撮像の際に発生するノイズの影響により、図１２に示すように、同一座標上の画素に対して、撮像素子１３０Ｒ、１３０Ｇに縦方向のエッジが生じるとともに撮像素子１３０Ｂに横方向のエッジが生じるものとする。

このような場合において、具体例１のディモザイク処理部２２０により色信号２０Ｒ、２０Ｇ、２０Ｂをそれぞれ独立して相関処理を行うと、色信号２０Ｒ及び色信号２０Ｇでは横方向の相関関係に基づいて空画素を補間するのに対して、色信号２０Ｂでは縦方向の相関関係に基づいて空画素を補間することとなるので、色偽が生じてしまう。

一方、具体例２のディモザイク処理部２２０は、同一の合成信号Ｓを用いて色信号２０Ｒ、２０Ｇ、２０Ｂを補間するので、色信号毎に異なる方向から空画素を補間することがないので、色偽が生じることがない。つまり、上述した図１２に示すようなノイズが撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂに生じた場合には、具体例１よりも、具体例２の方がノイズの影響による画質の劣化を抑制することができる。

さらに、画質の面から具体例１及び具体例２を比較する。例えば、撮像素子１３０Ｒ、１３０Ｇ、１３０Ｂにおける同一座標上の画素において、赤色光１０Ｒのみにエッジが存在するものとする。この場合には、具体例１のディモザイク処理部４２０は、色信号２０Ｒ、２０Ｇ、２０Ｂに対して、それぞれ独立して相関処理を施しているので、上述した赤色光１０Ｒのみのエッジに応じた相関値ＣＯＲＲ_Ｒを算出して、この相関値ＣＯＲＲ_Ｒから色信号２０Ｒの空画素を補間する。

一方、具体例２のディモザイク処理部５２０において、合成信号Ｓの合成比率がａ＝０．３、ｂ＝０．６、ｃ＝０．１の場合には、赤色光１０Ｒのみに存在するエッジの影響を受けて、色信号２０Ｇ、２０Ｂの空画素が補間されることとなってしまう。また、具体例２のディモザイク処理部５２０において、合成信号Ｓの合成比率がａ＝０、ｂ＝１、ｃ＝０の場合には、赤色光１０Ｒのみに存在するエッジを考慮して、色信号２０Ｒの空画素が補間されない。

このように、具体例１のディモザイク処理部４２０では、三原色の中で単色光のみに存在するエッジも考慮して、それぞれの色信号３０Ｒ、３０Ｇ、３０Ｂを出力する。したがって、具体例１のディモザイク処理部４２０では、上述したノイズによる影響がなければ、具体例２に比べてより高画質の色信号３０Ｒ、３０Ｇ、３０Ｂを出力することができる。

以上のように、本実施形態に係るディジタルカメラ１では、高フレームレートで高解像度の撮像信号を再現性が損なわれることなく生成することができる。

なお、本発明は、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

ディジタルカメラの全体構成を示すブロック図である。 撮像素子の構成を示す図である。 撮像した赤色光、緑色光及び青色光の変換処理を示すブロック図である。 空画素に画素値を補間する補間処理を示す図である。 空画素に対する水平補間処理（Ａ）及び垂直補間処理（Ｂ）を示す図である。 二次元４画素重み付け補間処理を空画素に対して施すことを示す模式図である。 相関関係に基づいて空画素を補間する補間処理を示す図である。 １／４ｆｓ付近の周波数成分を通過させるバンドパスフィルタの特性を示す図である。 ディモザイク処理部の構成を示すブロック図である。 具体例１に係るディモザイク処理部の構成を示すブロック図である。 具体例２に係るディモザイク処理部の構成を示すブロック図である。 各撮像素子の同一座標上の各画素に加わるノイズの性質を示す図である。 従来の三原色毎の色信号の生成工程を示す図である。

符号の説明

１ ディジタルカメラ、１００ 撮像処理部、１１０ 光学素子、１２０ 分光鏡、１３０Ｒ、１３０Ｇ、１３０Ｂ 撮像素子、１４０Ｒ、１４０Ｇ、１４０Ｂ Ａ／Ｄ変換部、１５０ 駆動回路、２００ 信号処理部、２１０ 光学補正部、２２０ ディモザイク処理部、２３０ ホワイトバランス調節部、２４０ γ補正部、２５０ Ｙ補正部、２６０ Ｃ補正部、２７０ 解像度変換処理部、２８０ 光路差検出部、３００ 演算処理部

Claims (5)

1. 開口部を介して入射する光に感光して、第１の色、第２の色及び第３の色毎に、各画素が隣接して２次元配列された画像信号を生成する撮像装置であって、
   上記入射光に感光して市松模様状に画素が配列された上記第１の色信号を出力する第１の撮像素子と、
   上記入射光に感光して市松模様状に画素が配列された上記第２の色信号を出力する第２の撮像素子と、
   上記入射光に感光して市松模様状に画素が配列された上記第３の色信号を出力する第３の撮像素子と、
   上記第１の色信号、上記第２の色信号及び上記第３の色信号を合成し、合成された色信号における空画素の周辺画素の相関関係を求める相関処理手段と、
   上記第１の色信号、上記第２の色信号及び上記第３の色信号毎に、市松模様状に配列された各画素間の空画素を、上記相関関係に基づいて当該空画素の周辺画素で補間する補間処理手段とを備える撮像装置。
2. 上記第１の撮像素子、上記第２の撮像素子及び上記第３の撮像素子は、各画素の位置が空間的に一致した上記第１の色信号、上記第２の色信号、及び、上記第３の色信号をそれぞれ出力する請求項１記載の撮像装置。
3. 上記第１の撮像素子、上記第２の撮像素子及び上記第３の撮像素子は、それぞれ正方格子を４５°回転させた二次元配列上に感光素子が配置されている請求項２記載の撮像装置。
4. 上記第１の色は赤色であり、上記第２の色は緑色であり、上記第３の色は青色である請求項３記載の撮像装置。
5. 第１の色、第２の色及び第３の色毎に各画素が隣接して二次元配列された画像信号を生成する信号処理方法であって、
   第１の撮像素子により、市松模様状に画素が配列された上記第１の色信号を出力し、
   第２の撮像素子により、市松模様状に画素が配列された上記第２の色信号を出力し、
   第３の撮像素子により、市松模様状に画素が配列された上記第３の色信号を出力し、
   上記第１の色信号、上記第２の色信号及び上記第３の色信号を合成し、合成された色信号における空画素の周辺画素における相関関係を求め、
   上記相関関係に基づいて、上記第１の色信号、上記第２の色信号及び上記第３の色信号毎に上記空画素を補間して上記画像信号を生成する信号処理方法。

Images