JP5305992B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置、画像処理方法、プログラム及び記憶媒体に関し、特に、複数のカラーフィルタを用いて色情報を補間するために用いて好適な技術に関する。

デジタルカメラやデジタルビデオカメラ等のカラー画像を入力する装置では、一般的に、ＣＣＤやＣＭＯＳ等の固体撮像素子を用いた単板式のカラーイメージセンサが用いられている。しかしながら、前述した固体撮像素子は、色分解をすることができないため、固体撮像素子の前面に分光透過率の特性が異なるカラーフィルタを配置することにより、空間的な色分解を行っている。一般的には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応する分光透過率を持つカラーフィルタを、Ｒ：Ｇ：Ｂ＝１：２：１の割合で、２×２画素毎に周期的に並べている（例えば、特許文献１参照）。

このような単板式のカラーイメージセンサから出力される画像は、各画素に対して、単一の色情報しか持たないいわゆるモザイク画像である。このように、前述したカラーフィルタの配置により、２×２の４画素でＲＧＢの情報を取得していることになる。そこで、一般的には、モザイク画像では取得できない他の色情報を補間（以下、デモザイキングと呼ぶ）することにより、１画素に対してＲＧＢの情報を作り出している。このデモザイキングの方法としては、各画素において取得できない他の色情報を周囲画素の色情報から空間的に補間する方法が広く用いられている（例えば、特許文献２参照）。

一方、マルチバンドカメラと呼ばれているカメラがある。このマルチバンドカメラは、複数種類のカラーフィルタを用いることにより被写体の分光情報を再現することを目的としており、分光透過率のピークの波長や半値幅が異なるフィルタの種類を増やすことにより、分光情報の再現精度を向上させている。

１つの固体撮像素子にカラーフィルタを配置する単板式のマルチバンドカメラでは、複数種類のカラーフィルタを固体撮像素子の前面に配置している。そのため、固体撮像素子の前面に配置するカラーフィルタの種類を増やした場合には、１つのカラーフィルタに対する画素数はその分減少し、各カラーフィルタの解像度が低下してしまう。その結果、各カラーフィルタを合成したカラー画像においても、解像度が低下してしまう。そこで、デモザイキングを行うことにより解像度の低下を防ぐことが重要となる。

米国特許第５３７３３２２号明細書 特開平８−２９８６６９号公報

しかしながら、特許文献２に示す方法は、ＲＧＢの３種類のカラーフィルタを用いることを前提としており、カラーフィルタの種類を増やした場合には、デモザイキングにより解像度の低下を防ぐことができない。

本発明は前述の問題点に鑑み、５種類以上のカラーフィルタを用いて、解像度が低下しないようにデモザイキングを行うことができるようにすることを目的としている。

本発明の画像処理装置は、配置されている他のカラーフィルタより解像度が高い第１及び第２の高解像度カラーフィルタを含む５種類以上のカラーフィルタが撮像素子の前面に配置されており、被写体を撮像した画像データを入力して、前記５種類以上のカラーフィルタを用いて色情報を補間する画像処理装置であって、前記入力された画像データに対して、前記第１及び前記第２の高解像度カラーフィルタのそれぞれの色情報を補間する第１の補間手段と、前記第１の高解像度カラーフィルタの色情報を前記第１の補間手段により補間した結果を用いて、前記第１の高解像度カラーフィルタと分光透過率におけるピークの波長が隣り合うカラーフィルタの色情報を補間する第２の補間手段と、前記第２の高解像度カラーフィルタの色情報を前記第１の補間手段により補間した結果を用いて、前記第２の高解像度カラーフィルタと分光透過率におけるピーク波長が隣り合うカラーフィルタの色情報を補間する第３の補間手段と、を備えたことを特徴とする。

本発明によれば、５種類以上のカラーフィルタを用いて、モザイク画像に対して良好なデモザイキングを行うことが可能となる。

本発明の実施形態の電子スチルカメラの構成例を示すブロック図である。 ６種類のカラーフィルタにおける波長のピークを示す図である。 本発明の第１の実施形態におけるカラーフィルタの配置例を示す図である。 デモザイキング部による処理手順の一例を示すフローチャートである。 高解像度カラーフィルタのデモザイキング処理手順の一例を示すフローチャートである。 ５×５の領域におけるカラーフィルタの配置の一例を示す図である。 ５×５の領域におけるＤＧの画素値の算出分布の一例を示す図である。 低解像度カラーフィルタのデモザイキング処理手順の一例を示すフローチャートである。 ５×５の領域におけるＲの画素値の算出分布の一例を示す図である。 ５種類のカラーフィルタにおける波長のピークを示す図である。 本発明の第２の実施形態におけるカラーフィルタの配置例を示す図である。

（第１の実施形態）
以下、図面に基づいて本発明の実施形態について詳細に説明する。なお、本実施形態では、本発明に係る画像処理装置を搭載したものとして、電子スチルカメラを例にして説明する。

（第１の実施形態）
図１は、本実施形態における電子スチルカメラ１００の構成例を示すブロック図である。
図１において、制御回路１１１は、撮像部１０１、センサ部１０２、Ａ／Ｄ変換部１０７、記憶部１０８、色再現処理部１０９、及びデモザイキング部１１０に接続されており、各部の動作を制御する。

撮像部１０１は、撮影レンズ等から構成されており、被写体の光学像を入力してセンサ部１０２に出力する。センサ部１０２は、光学ローパスフィルタ１０３、ｉＲカットフィルタ１０４、カラーフィルタ１０５、及び撮像素子１０６から構成されている。撮像部１０１から入力された光学像は、光学ローパスフィルタ１０３、ｉＲカットフィルタ１０４、及びカラーフィルタ１０５により、フィルタリングが施され、撮像素子１０６に出力される。

撮像素子１０６はＡ／Ｄ変換部１０７に接続されており、Ａ／Ｄ変換部１０７は記憶部１０８に接続されている。また、記憶部１０８は色再現処理部１０９及びデモザイキング部１１０に接続されており、デモザイキング部１１０から出力される信号が記憶部１０８に記憶される。

図２は、６種類のカラーフィルタにおける波長のピークを示す図である。本実施形態では、図２に示すような６種類の異なる分光透過率を持つカラーフィルタを用いて説明を行う。図２に示すように、６種類のカラーフィルタは、ピーク２０１〜２０６における波長の短い順に、Ｂ（ブルー）、ＤＧ（ダークグリーン）、Ｇ（グリーン）、ＬＧ（ライトグリーン）、Ｏ（オレンジ）、Ｒ（レッド）とする。

図３は、本実施形態におけるカラーフィルタ１０５の配置例を示す図である。
図３に示すように、カラーフィルタ１０５を撮像素子１０６の前面に配置した場合において、Ｂ：ＤＧ：Ｇ：ＬＧ：Ｏ：Ｒ＝１：２：１：１：２：１の割合となっている。以下、カラーフィルタにおいて数の比が大きいＤＧ及びＯを高解像度カラーフィルタと呼び、それ以外のカラーフィルタを低解像度カラーフィルタと呼ぶことにする。図２に示すように、高輝度カラーフィルタは、分光透過率におけるピークの波長が最短及び最長以外のカラーフィルタとなっている。

また、図３に示すように、第１のカラーフィルタであるＤＧと第２のカラーフィルタであるＯとが、ベイヤ配列（１つおき）により配置されている。さらに、ＤＧ及びＯに対して分光透過率におけるピークの波長が隣り合うカラーフィルタ同士はベイヤ配列になるように配置されている。このように、ＤＧ、Ｂ及びＧを第１のフィルタ群、Ｏ、ＬＧ及びＲを第２のフィルタ群とした場合、第１のフィルタ群と第２のフィルタ群とがベイヤ配列となるように配置されている。

以下、本実施形態における画像処理方法の動作について、図１及び図２を参照しながら説明する。
被写体からの光学像は、撮像部１０１を介してセンサ部１０２に入力される。センサ部１０２に入力された光学像は、光学ローパスフィルタ１０３、ｉＲカットフィルタ１０４、及びカラーフィルタ１０５を通過して、撮像素子１０６に入力される。撮像素子１０６においては、光電変換により信号電荷を生成する。また、撮像素子１０６は、このように生成した信号電荷を走査して画像信号をＡ／Ｄ変換部１０７に出力する。

Ａ／Ｄ変換部１０７は、入力された画像信号をＡ／Ｄ変換してモザイク画像データを生成する。以上のようにモザイク画像データを生成する処理は、制御回路１１１によって制御される。なお、本実施形態においては、モザイク画像データは、撮像素子１０６の各画素に対応して出力されるものである。そして、Ａ／Ｄ変換部１０７は、このように生成されたモザイク画像データをカラーフィルタの種類毎に分割し、記憶部１０８内におけるカラーフィルタの各種類に対応する領域に格納する。

ここで、記憶部１０８内におけるカラーフィルタの各種類に対応する領域において、Ａ／Ｄ変換部１０７によって生成されてカラーフィルタの種類毎に分割されたモザイク画像データが格納される。さらに、記憶部１０８には、後述するデモザイキング部１１０によって処理されたデモザイキング済みの画像データが格納される。なお、デモザイキング部１１０の詳細な説明は後述する。また、これらのカラーフィルタの各種類に分割されたモザイク画像データ及びデモザイキング済みの画像データは、撮像素子１０６の位置に対応付けて格納される。

デモザイキング部１１０は、記憶部１０８に格納されているモザイク画像データに対して、色情報の補間（デモザイキング）を行う。そして、色再現処理部１０９は、記憶部１０８に格納されているデモザイキング済みの画像データに対して、分光画像再現、エッジ強調、ノイズ低減処理等の画像処理を行う。制御回路１１１は、デモザイキング及び再現処理が終了した時点で、デモザイキング処理が施されたデモザイキング済みの画像データと、再現処理が施された再現画像データとを記憶部１０８に格納する。

＜デモザイキング部１１０＞
次に、デモザイキング部１１０が行う処理について、図４及び図５のフローチャートと、図６とを参照しながら詳細に説明する。図４は、本実施形態におけるデモザイキング部１１０による処理手順の一例を示すフローチャートである。
まず、図４のステップＳ４０１において、デモザイキング部１１０は第１の補間手段として機能し、高解像度カラーフィルタのモザイク画像データに対してデモザイキングを行う。次に、ステップＳ４０２において、デモザイキング部１１０は第２の補間手段として機能し、低解像度カラーフィルタのモザイク画像に対してデモザイキングを行う。なお、ステップＳ４０１及びＳ４０２の処理の詳細な説明は後述する。

＜高解像カラーフィルタのデモザイキング＞
次に、ステップＳ４０１における高解像度カラーフィルタのデモザイキングについて、図５のフローチャート、図６及び図７を参照しながら詳細に説明する。図５は、本実施形態におけるデモザイキング部１１０による高解像度カラーフィルタのデモザイキングの処理手順の一例を示すフローチャートである。なお、後述するステップＳ５０１〜ステップＳ５０５の処理については、図６におけるカラーフィルタの配置の中の５×５画素を抜き出した図を参照しながら説明する。さらに、高解像度カラーフィルタの例としてＯを用い、図６におけるＬＧ₃₃を注目画素として、Ｏ₃₃の画素値を算出する処理を例として説明する。

まず、ステップＳ５０１において、注目画素の斜め隣に高解像度カラーフィルタの画素があるかどうかを判定する。この判定の結果、斜め隣に存在する場合には、ステップＳ５０２に進む。一方、ステップＳ５０１の判定の結果、斜め隣に存在しない場合は、ステップＳ５０４に進む。

次に、ステップＳ５０２において、注目画素を中心に高解像度カラーフィルタの局所領域平均値を算出する。図６に示す例では、斜め隣にはＯが存在するため、注目画素を中心とした高解像度カラーフィルタの局所領域平均Ｏ₃₃ｌｐｆを、以下の式１を用いて算出する。
Ｏ₃₃ｌｐｆ＝｜Ｏ₂₂＋Ｏ₂₄＋Ｏ₄₂＋Ｏ₄₄｜／４ ・・・（式１）

次に、ステップＳ５０３において、注目画素を中心に、高解像度カラーフィルタとピークの波長が隣り合う低解像度カラーフィルタの局所領域平均値を算出する。図６に示す例では、低解像度カラーフィルタＬＧの局所領域平均値ＬＧ₃₃ｌｐｆを、以下の式２を用いて算出する。
ＬＧ₃₃ｌｐｆ＝（４＊ＬＧ₃₃＋ＬＧ₁₁＋ＬＧ₁₅＋ＬＧ₅₁＋ＬＧ₅₅）／８ ・・・（式２）

次に、ステップＳ５０４において、ステップＳ５０２及びステップＳ５０３で算出した局所領域平均値を用いて、注目画素の画素値を算出する。このとき、本実施形態では、局所領域において、ピークの波長が隣り合うカラーフィルタの平均値比は等しいものと仮定する。図６に示す例では、Ｏ₃₃の画素値を、以下の式３を用いて算出する。
Ｏ₃₃＝Ｏ₃₃ｌｐｆ／ＬＧ₃₃ｌｐｆ＊ＬＧ₃₃ ・・・（式３）

次に、ステップＳ５０５において、すべての画素について、ステップＳ５０１からステップＳ５０４までの処理を行ったかどうかを判定する。この判定の結果、すべての画素に対して処理を行った場合は、ステップＳ５０５に進む。一方、ステップＳ５０５の判定の結果、まだ処理を行っていない画素がある場合は、ステップＳ５０１に戻り、ステップＳ５０１〜ステップＳ５０４の処理を繰り返す。

以上のようにステップＳ５０１〜ステップＳ５０５を繰り返すことにより、図６に示す例では、注目画素をＸ_mnとした場合に、ｍ、ｎが共に奇数または偶数の画素では、Ｏの画素値が得られ、ｍ、ｎが奇数及び偶数の組合せの画素では、ＤＧの画素値が得られる。そこで、すべての画素において、Ｏ及びＤＧの画素値を得るためには、以下のステップＳ５０６〜ステップＳ５０９の処理を行う必要がある。

次に、ステップＳ５０６〜ステップＳ５０９の処理については、図７を参照しながら説明する。以下の説明では、高解像度カラーフィルタであるＤＧの画素値を算出する例について説明する。図７におけるＸは、まだＤＧの画素値が算出されていない画素を示している。

次に、ステップＳ５０６において、注目画素において、全ての高解像度カラーフィルタの画素値が存在するかどうかを判定する。この判定の結果、画素値が存在する場合には、ステップＳ５０９に進む。一方、ステップＳ５０６の判定の結果、画素値が存在しないものがある場合には、ステップＳ５０７に進む。

次に、ステップＳ５０７において、注目画素の水平・垂直方向にある画素の差分を算出する。例えば、Ｘ₃₃の画素値を算出する場合、水平方向の差分ＨＤｉｆｆ₃₃と、垂直方向の差分ＶＤｉｆｆ₃₃とを、以下の式４及び式５を用いて算出する。
ＨＤｉｆｆ₃₃＝｜ＤＧ₃₂−ＤＧ₃₄｜ ・・・（式４）
ＶＤｉｆｆ₃₃＝｜ＤＧ₂₃−ＤＧ₄₃｜ ・・・（式５）

次に、ステップＳ５０８において、ステップＳ５０７で算出した水平・垂直方向の差分を用いて変化の緩やかな方向を検出し、注目画素の画素値を算出する。例えば、ＨＤｉｆｆ₃₃＜ＶＤｉｆｆ₃₃の場合には、水平方向の方が垂直方向に比べて、変化が緩やかと推定できるので、以下の式６を用いてＤＧ₃₃を算出する。
ＤＧ₃₃＝（ＤＧ₃₂＋ＤＧ₃₄）／２ ・・・（式６）

一方、ＨＤｉｆｆ₃₃＞ＶＤｉｆｆ₃₃の場合には、垂直方向の方が水平方向に比べて、変化が緩やかと推定できるので、以下の式７を用いてＤＧ₃₃を算出する。
ＤＧ₃₃＝（ＤＧ₂₃＋ＤＧ₄₃）／２ ・・・（式７）

次に、ステップＳ５０９において、すべての画素について、ステップＳ５０６〜ステップＳ５０８の処理を行ったかどうかを判定する。この判定の結果、すべての画素に対して処理を行った場合は、処理を終了する。一方、まだ処理を行っていない画素がある場合は、ステップＳ５０６に戻り、ステップＳ５０６〜ステップＳ５０８の処理を繰り返す。

以上のように図５に示す処理を行うことにより、すべての画素において、高解像度カラーフィルタのＯ及びＤＧの画素値が得られる。なお、Ｏ及びＤＧのどちらを先に算出してもよく、また、例えば、ステップＳ５０１〜Ｓ５０９の処理においてＯのみを算出し、次に、ＤＧについてステップＳ５０１〜Ｓ５０９の処理を行って画素値を算出してもよい。

＜低解像度カラーフィルタのデモザイキング＞
低解像度カラーフィルタのデモザイキングについて、図８のフローチャート、及び図９を参照しながら詳細に説明する。図８は、本実施形態におけるデモザイキング部１１０による低解像度カラーフィルタのデモザイキングの処理手順の一例を示すフローチャートである。図９は、５×５の領域における低解像度カラーフィルタであるＲの画素値の算出分布の一例を示す図である。図８におけるＸは、低解像度カラーフィルタの画素値が算出されていない画素を示している。なお、以下の説明では、低解像度カラーフィルタであるＲの画素値を算出する例について説明する。

まず、図８のステップＳ８０１において、注目画素において、全ての低解像度カラーフィルタの画素値が存在するかどうかを判定する。この判定の結果、全ての画素値が存在する場合は、ステップＳ８０６に進む。一方、ステップＳ８０１の判定の結果、画素値が存在しないものがある場合は、ステップＳ８０２に進む。

次に、ステップＳ８０２において、低解像度カラーフィルタの画素値を持つ、注目画素を囲む画素を探索する。例えば、図９において、Ｘ₃₃を注目画素とすると、Ｒ₁₃、Ｒ₃₁、Ｒ₃₅、Ｒ₅₃が注目画素を囲む低解像度カラーフィルタの画素となる。

次に、ステップＳ８０３において、注目画素を囲む低解像度カラーフィルタの画素値から、ピークの波長が隣り合う高解像度カラーフィルタの画素値を引いて、差分画素値を算出する。例えば、低解像度カラーフィルタがＲの場合は、ピークの波長が隣り合う高解像度カラーフィルタはＯとなるので、注目画素がＸ₃₃の場合は、周囲の差分画素値を以下の式８〜式１１を用いて算出する。
Ｄ₁₃＝Ｒ₁₃−Ｏ₁₃ ・・・（式８）
Ｄ₃₁＝Ｒ₃₁−Ｏ₃₁ ・・・（式９）
Ｄ₃₅＝Ｒ₃₅−Ｏ₃₅ ・・・（式１０）
Ｄ₅₃＝Ｒ₅₃−Ｏ₅₃ ・・・（式１１）

次に、ステップＳ８０４において、ステップＳ８０３で算出した周囲の差分画素値を用いて、注目画素の差分画素値を算出する。注目画素がＸ₃₃の場合には、周囲の差分画素値Ｄ₁₃，Ｄ₃₁，Ｄ₃₅，Ｄ₅₃を用いて、一般的な補間方法であるバイリニア補間などによりＤ₃₃を算出する。

次に、ステップＳ８０５において、ステップＳ８０４で算出した注目画素の差分画素値に対して、高解像度カラーフィルタの画素値を加える。注目画素がＸ₃₃の場合には、式１２のようにして、Ｒ₃₃の画素値を算出する。
Ｒ₃₃＝Ｄ₃₃＋Ｏ₃₃ ・・・（式１２）

なお、注目画素がＸ₂₂、Ｘ₂₃、またはＸ₃₂の場合は、ステップＳ８０２〜ステップＳ８０５の処理によりＲの画素値を直接算出することはできない。そこで、ステップＳ８０２〜ステップＳ８０５の処理の代わりに、ステップＳ８０２〜ステップＳ８０５の処理により算出されたＲ₃₃を用いてＲ₂₂、Ｒ₂₃及びＲ₃₂を算出する。具体的には、Ｒ₂₂については、図５のステップＳ５０１〜ステップＳ５０５と同様の手順で算出し、Ｒ₂₃及びＲ₃₂については、図５のステップＳ５０６〜ステップＳ５０９と同様の手順で算出する。

したがって、低解像度カラーフィルタの画素値を算出する場合には、ステップＳ８０２〜ステップＳ８０５の処理により算出可能な色から優先的に画素値を算出する。例えば、注目画素がＸ₃₃の場合は、Ｒの画素値を優先的に算出し、注目画素がＸ₂₃の場合は、Ｂの画素値を優先的に算出する。また、Ｘ₂₂及びＸ₃₂における低解像度カラーフィルタの画素値を算出する場合には、優先的に算出する画素はなく、周辺画素において低解像度カラーフィルタの画素値を算出した後に、図５に示した手順と同様の手順により画素値を算出する。

次に、ステップＳ８０６において、すべての画素についてすべての画素値を算出したかどうかを判定する。この判定の結果、すべての画素について処理を行った場合は、そのまま処理を終了する。一方、ステップＳ８０６の判定の結果、まだ、算出していない画素がある場合は、ステップＳ８０１に戻る。

以上のような手順により、各画素において、低解像度カラーフィルタであるＢ，Ｇ，ＬＧ，Ｒの画素値を算出することができる。

以上のように本実施形態によれば、６種類のカラーフィルタを搭載した電子スチルカメラにおいてモザイク画像のデモザイキングを行う。その際、高解像度カラーフィルタに対しては、ピークの波長が隣り合うカラーフィルタの画素値情報を用いてデモザイキングを行うようにしたので、高解像度カラーフィルタの解像度をより向上させることができる。また、低解像度カラーフィルタに対しては、高解像度カラーフィルタの補間結果を用いるようにしたので、低解像度カラーフィルタに対しても、解像度を向上させることができる。その結果、モザイク画像に対して良好なデモザイキングを行うことが可能となる。

（第２の実施形態）
以下、本発明における第２の実施形態について説明する。なお、本実施形態における電子スチルカメラの構成及びデモザイキングの処理手順については、第１の実施形態と同じであるため、説明は省略する。本実施形態では、図１０に示すように、分光透過率のピークの波長及び半値幅が異なる５種類のカラーフィルタを例に説明する。

図１０は、５種類のカラーフィルタにおける波長のピークを示す図である。
図１０に示すように、５種類のカラーフィルタは、ピーク１００１〜１００５における波長の短い順にＢ（ブルー）、ＤＧ（ダークグリーン）、Ｇ（グリーン）、ＬＧ（ライトグリーン）、Ｏ（オレンジ）とする。

図１１は、本実施形態におけるカラーフィルタ１１０５の配置例を示す図である。
図１１に示すように、カラーフィルタ１１０５を撮像素子１０６の前面に配置した場合において、Ｂ：ＤＧ：Ｇ：ＬＧ：Ｏ＝１：２：２：２：１の割合となっている。

本実施形態においては、ＤＧ、Ｇ、及びＬＧのカラーフィルタは数の比が大きい。そのため、ＤＧ、Ｇ、及びＬＧのそれぞれが高解像度カラーフィルタとして扱われる。なお、ＤＧ、Ｇ、ＬＧの３つを高解像度カラーフィルタとしてデモザイキングを行ってもよく、ＤＧ及びＬＧ、ＤＧ及びＧ、もしくはＧ及びＬＧを高解像度カラーフィルタとしてデモザイキングを行ってもよい。最初に、高解像度カラーフィルタをデモザイキングし、次に低解像度カラーフィルタのデモザイキングを行う処理であれば、ＤＧ、Ｇ、ＬＧのどのカラーフィルタを高解像度カラーフィルタに設定しても構わない。

以上のように本実施形態によれば、５種類のカラーフィルタを搭載した電子スチルカメラにおいてモザイク画像のデモザイキングを行う。その際、６種類のカラーフィルタを搭載した電子スチルカメラと同様に、良好なデモザイキングを行うことができる。

（本発明に係る他の実施形態）
第１及び第２の実施形態においては、５種類または６種類のカラーフィルタの分光透過率の例を示したが、これに限定されるものではない。被写体や仕様用途に応じて５種類以上のカラーフィルタの分光透過率が最適なものとなるように選ぶのであれば、この組み合わせに限定されるものではない。

また、第１及び第２の実施形態において、カラーフィルタの数の比の一例を示したが、この比に限定されるものではない。例えば、第１の実施形態において、Ｂ：ＤＧ：Ｇ：ＬＧ：Ｏ：Ｒ＝１：４：４：４：２：１のような数比であっても構わない。この場合、人の視覚特性として、特に感度の高い波長領域の情報を効果的に取得することが可能となる。このように、被写体や仕様用途に応じてカラーフィルタの数の比を最適なものにしてもよい。

さらに、第１及び第２の実施形態において、カラーフィルタの配置の一例を示したが、この配置に限定されるものではない。高解像カラーフィルタがベイヤ配列により配置されており、さらに、そのカラーフィルタとピークの波長が隣り合うカラーフィルタがベイヤ配列で配置されているのであれば、この配置に限定されるものではない。

また、第１及び第２の実施形態における高解像度カラーフィルタのデモザイキングの方法として、局所領域においてピークの波長が隣り合うカラーフィルタ同士の平均画素値の比を用いて算出する例をあげたが、この方法に限定されるものではない。例えば、ピークの波長が隣り合うカラーフィルタを用いて、画像の変化方向を判別し、変化の緩やかな画素値を用いて補間する方法でも構わない。また、補間する際に、ピークの波長が隣り合うカラーフィルタの画素値そのものを用いても構わない。さらに、ピークの波長が隣り合うカラーフィルタの画素値情報を用いずに、高解像度カラーフィルタの画素値情報のみで補間する手法であっても構わない。また、フーリエ変換を行い、周波数空間において、ローパスフィルタ処理を施しデモザイキング処理を行う方法であっても構わない。

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５及び図８に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

１０２ センサ部
１０５ カラーフィルタ
１０６ 撮像素子
１１０ デモザイキング部

Claims (12)

1. 配置されている他のカラーフィルタより解像度が高い第１及び第２の高解像度カラーフィルタを含む５種類以上のカラーフィルタが撮像素子の前面に配置されており、被写体を撮像した画像データを入力して、前記５種類以上のカラーフィルタを用いて色情報を補間する画像処理装置であって、
   前記入力された画像データに対して、前記第１及び前記第２の高解像度カラーフィルタのそれぞれの色情報を補間する第１の補間手段と、
   前記第１の高解像度カラーフィルタの色情報を前記第１の補間手段により補間した結果を用いて、前記第１の高解像度カラーフィルタと分光透過率におけるピークの波長が隣り合うカラーフィルタの色情報を補間する第２の補間手段と、
   前記第２の高解像度カラーフィルタの色情報を前記第１の補間手段により補間した結果を用いて、前記第２の高解像度カラーフィルタと分光透過率におけるピーク波長が隣り合うカラーフィルタの色情報を補間する第３の補間手段と、を備えたことを特徴とする画像処理装置。
2. 前記第２の補間手段は、前記第１の高解像度カラーフィルタと分光透過率におけるピーク波長が隣り合うカラーフィルタのみに対して前記第１の高解像度カラーフィルタの補間した結果を用い、
   前記第３の補間手段は、前記第２の高解像度カラーフィルタと分光透過率におけるピーク波長が隣り合うカラーフィルタのみに対して前記第２の高解像度カラーフィルタの補間した結果を用いることを特徴とする請求項１に記載の画像処理装置。
3. 前記高解像度カラーフィルタは、前記５種類以上のカラーフィルタの中で分光透過率におけるピークの波長が最短及び最長以外のカラーフィルタであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の補間手段は、前記高解像度カラーフィルタの画素値情報と、前記高解像度カラーフィルタと分光透過率におけるピークの波長が隣り合うカラーフィルタの画素値情報とを用いて色情報を補間することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記５種類以上のカラーフィルタは、ブルー、ダークグリーン、グリーン、ライトグリーン、オレンジ及びレッドのカラーフィルタであり、
   前記第１の補間手段は、ダークグリーン及びオレンジのカラーフィルタの色情報を補間し、
   前記第２の補間手段は、ブルー及びグリーンのカラーフィルタの色情報を、前記第１の補間手段によるダークグリーンの色情報の補間結果を用いて補間するとともに、ライトグリーン及びレッドのカラーフィルタの色情報を、前記第１の補間手段によるオレンジの色情報の補間結果を用いて補間することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 配置されている他のカラーフィルタより解像度が高い第１及び第２の高解像度カラーフィルタを含む５種類以上のカラーフィルタが撮像素子の前面に配置されている画像処理装置において、被写体を撮像した画像データを入力して、前記５種類以上のカラーフィルタを用いて色情報を補間する画像処理方法であって、
   前記入力された画像データに対して、前記第１及び前記第２の高解像度カラーフィルタのそれぞれの色情報を補間する第１の補間工程と、
   前記第１の高解像度カラーフィルタの色情報を前記第１の補間工程において補間した結果を用いて、前記第１の高解像度カラーフィルタと分光透過率におけるピークの波長が隣り合うカラーフィルタの色情報を補間する第２の補間工程と、
   前記第２の高解像度カラーフィルタの色情報を前記第１の補間工程において補間した結果を用いて、前記第２の高解像度カラーフィルタと分光透過率におけるピーク波長が隣り合うカラーフィルタの色情報を補間する第３の補間工程と、を備えたことを特徴とする画像処理方法。
7. 前記第２の補間工程においては、前記第１の高解像度カラーフィルタと分光透過率におけるピーク波長が隣り合うカラーフィルタのみに対して前記第１の高解像度カラーフィルタの補間した結果を用い、
   前記第３の補間工程においては、前記第２の高解像度カラーフィルタと分光透過率におけるピーク波長が隣り合うカラーフィルタのみに対して前記第２の高解像度カラーフィルタの補間した結果を用いることを特徴とする請求項６に記載の画像処理方法。
8. 前記高解像度カラーフィルタは、前記５種類以上のカラーフィルタの中で分光透過率におけるピークの波長が最短及び最長以外のカラーフィルタであることを特徴とする請求項６又は７に記載の画像処理方法。
9. 前記第１の補間工程においては、前記高解像度カラーフィルタの画素値情報と、前記高解像度カラーフィルタと分光透過率におけるピークの波長が隣り合うカラーフィルタの画素値情報とを用いて色情報を補間することを特徴とする請求項６〜８の何れか１項に記載の画像処理方法。
10. 前記５種類以上のカラーフィルタは、ブルー、ダークグリーン、グリーン、ライトグリーン、オレンジ及びレッドのカラーフィルタであり、
    前記第１の補間工程においては、ダークグリーン及びオレンジのカラーフィルタの色情報を補間し、
    前記第２の補間工程においては、ブルー及びグリーンのカラーフィルタの色情報を、前記第１の補間工程におけるダークグリーンの色情報の補間結果を用いて補間するとともに、ライトグリーン及びレッドのカラーフィルタの色情報を、前記第１の補間工程におけるオレンジの色情報の補間結果を用いて補間することを特徴とする請求項６〜９の何れか１項に記載の画像処理方法。
11. 配置されている他のカラーフィルタより解像度が高い第１及び第２の高解像度カラーフィルタを含む５種類以上のカラーフィルタが撮像素子の前面に配置されている画像処理装置において、被写体を撮像した画像データを入力して、前記５種類以上のカラーフィルタを用いて色情報を補間するようコンピュータに実行させるプログラムであって、
    前記入力された画像データに対して、前記第１及び前記第２の高解像度カラーフィルタのそれぞれの色情報を補間する第１の補間工程と、
    前記第１の高解像度カラーフィルタの色情報を前記第１の補間工程において補間した結果を用いて、前記第１の高解像度カラーフィルタと分光透過率におけるピークの波長が隣り合うカラーフィルタの色情報を補間する第２の補間工程と、
    前記第２の高解像度カラーフィルタの色情報を前記第１の補間工程において補間した結果を用いて、前記第２の高解像度カラーフィルタと分光透過率におけるピーク波長が隣り合うカラーフィルタの色情報を補間する第３の補間工程と、をコンピュータに実行させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images