JP5753395B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関するものである。

５バンド以上のカラーバンドを持つマルチバンドカメラでは、撮影レンズの軸上色収差の影響を、ＲＧＢの３つのカラーバンドをもつ通常のデジタルカメラよりも強く受ける。モノクロ撮像センサと切り替え式のカラーフィルタにより、カラーバンドを構成するマルチバンドカメラでは、各バンドごとにピント調整を行うことで軸上色収差によるピントずれの影響を回避することができる（特許文献１、特許文献２）。

特開2001-005046号公報 特開2004-157059号公報

背景技術として述べた「フィルタ切り替え式のマルチバンドカメラで可能なバンドごとのピント合わせ」は、すべてのカラーバンドを単一の撮像センサ上に設けた単板撮像センサをもつマルチバンドカメラでは行うことができない。

一方、５バンド以上のカラーバンド撮像センサを持つマルチバンドカメラでは、各バンドの画素の個数比はかならずしも等比ではないため、個数比に応じて該バンドの解像度が変化する。このとき、画素密度の低いバンドの解像度は比例的に低下するため、該バンドは実質的に解像度情報を持たないことになる。このような条件下では、高解像度のバンドに対する軸上色収差によるピントずれの解決が課題となる。

本発明は以上の問題に鑑みてなされたものであり、５バンド以上の単板撮像センサを有する撮像装置における軸上色収差による解像度低下を軽減させるための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。即ち、Ｎ（Ｎは５以上の整数）種類の固体撮像素子が２次元的に配置されている撮像センサであって、該Ｎ種類の固体撮像素子におけるそれぞれの種類の固体撮像素子は互いに異なる色の光を撮像する該撮像センサと、撮像レンズと、が搭載された撮像装置であって、
第１の種類の固体撮像素子のカラーフィルタ及び第２の種類の固体撮像素子のカラーフィルタのそれぞれの分光透過率におけるピーク波長は、該ピーク波長に基づく前記撮像装置の撮像レンズの軸上色収差によるピントずれ量が規定量以下となるように設定されており、
前記第１の種類の固体撮像素子及び前記第２の種類の固体撮像素子は、ベイヤ配置に従って２次元的に前記撮像センサ上に配置されており、
前記Ｎ種類の固体撮像素子のうち、前記第１の種類の固体撮像素子に対してカラーフィルタの分光透過率のピーク波長が隣り合う色の光を撮像する固体撮像素子を第３の種類の固体撮像素子とし、前記Ｎ種類の固体撮像素子のうち、前記第２の種類の固体撮像素子に対してカラーフィルタの分光透過率のピーク波長が隣り合う色の光を撮像する固体撮像素子を第４の種類の固体撮像素子とした場合に、前記第３の種類の固体撮像素子及び前記第４の種類の固体撮像素子は、ベイヤ配置に従って２次元的に前記撮像センサ上に配置されており、
前記第１の種類の固体撮像素子の数及び前記第２の種類の固体撮像素子の数は、前記Ｎ種類の固体撮像素子の中で最も多く、
前記撮像レンズは、前記ピントずれ量を焦点深度の両端に納める絞り値を有する
ことを特徴とする。

本発明の構成によれば、５バンド以上の単板撮像センサを有する撮像装置における軸上色収差による解像度低下を軽減させることができる。

撮像装置の構成例を示すブロック図。 カラーフィルタ１０５が有する分光透過率を示す図。 固体撮像素子の配置例を示す図。 典型的な望遠レンズの軸上色収差特性を示すグラフ。 一般的なマルチバンドカメラが有するカラーフィルタ分光透過率の一例を示す図。 デモザイキング部１１０の構成例を示すブロック図。 デモザイキング部１１０が行う処理のフローチャート。 ステップＳ４０１における処理の詳細を示すフローチャート。 画素群を示す図。 画素群を示す図。 ステップＳ４０２における処理の詳細を示すフローチャート。 画素群を示す図。 カラーフィルタ１０５が有する分光透過率を示す図。 固体撮像素子の配置例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る撮像装置において、図１のブロック図を用いて説明する。なお、図１には、以下の説明で使用する機能部の構成例を示したのみであって、撮像装置の全ての構成を示したわけではない。

また、図１に示した各部は何れもハードウェアで構成しても良いが、デモザイキング部１１０や再現処理部１０９など、一部の構成をソフトウェアで実現しても良い。この場合、このソフトウェアは、制御回路１１１等の制御部により実行され、対応する機能が実現される。

被写体等、外界からの光束は、撮像部１０１を介してセンサ部１０２に入光する。撮像部１０１は、絞り・フォーカス機能を有する撮像レンズから構成されている。センサ部１０２に入光した光束は、光学ローパスフィルタ１０３でローパスフィルタ加工がなされ、ｉＲ（赤外光）カットフィルタ１０４において赤外光をカットする加工が為された後、カラーフィルタ１０５に入光することになる。

カラーフィルタ１０５は周知の通り、画素毎（撮像センサ１０６が有する固体撮像素子毎）に異なる分光透過率特性を有するものである。カラーフィルタ１０５が有する分光透過率について、図２を用いて説明する。カラーフィルタ１０５が有する分光透過率は、ピーク波長の短い順に２０１（ブルー、Ｂ）、２０２（ダークグリーン、ＤＧ）、２０３（グリーン、Ｇ）、２０４（ライトグリーン、ＬＧ）、２０５（オレンジ、Ｏ）、２０６（レッド、Ｒ）である。即ち、このカラーフィルタ１０５のカラーバンド数は６となる。

撮像センサ１０６は、ＣＭＯＳ、ＣＣＤなどの固体撮像素子群から成るもので、この撮像センサ１０６には、カラーフィルタ１０５を透過した光が入光する。それぞれの固体撮像素子は、自身が受けた光の光量に応じた電荷量の信号（画素信号）を生成して出力する。このとき、各固体撮像素子における分光感度特性は、ｉＲカットフィルタ１０４、カラーフィルタ１０５の分光透過率、固体撮像素子の分光感度特性、の総合により決定される。

Ａ／Ｄ変換部１０７は、それぞれの固体撮像素子から出力された画素信号、即ち、撮像センサ１０６から出力された画像信号に対してＡ／Ｄ変換を行うことで、アナログ信号としての画像信号をディジタル信号としての画像信号に変換する。この変換により得られるディジタル信号としての画像信号は、モザイク状のカラー画像となっている。

Ａ／Ｄ変換部１０７によりディジタル信号として変換されたモザイク状のカラー画像は、データとして記憶部１０８に格納される。記憶部１０８にはこのほかにも、以下の処理で既知の情報として登場するものも格納されている。

デモザイキング部１１０は、記憶部１０８に格納されているモザイク状のカラー画像を読み出し、読み出したカラー画像に対して、後述するデモザイキング処理を行い、デモザイク済みの画像を生成する。そしてデモザイキング部１１０は、このデモザイク済みの画像のデータを記憶部１０８に格納する。

再現処理部１０９は、記憶部１０８に格納されているデモザイク済みの画像のデータを読み出し、読み出したデモザイク済み画像のデータに対して、分光画像再現、エッジ強調、ノイズ低減処理等の画像処理を行い、再現画像データを生成する。

制御回路１１１は、上記の各部の動作制御を行うと共に、上記で示していないその他の各部の動作制御も行う。もちろん、制御回路１１１を複数個設け、撮像装置の動作制御を、それぞれの制御回路１１１で分けて行うようにしても良い。

ここで、カラーフィルタ１０５が配されている撮像センサ１０６上の固体撮像素子（画素）の配置について、図３を用いて説明する。周知の通り、カラーフィルタ１０５とは、撮像センサ１０６上の各画素に対して特定の色の光を透過させる為のものである。然るに、図３において、例えば「ＤＧ」が付されている箇所には、ＤＧ（ダークグリーン）の色の光を透過させる為のカラーフィルタ及びこのカラーフィルタを透過した光を受光するための固体撮像素子が配されていることになる。以下では、ＤＲの色の光を透過させる為のカラーフィルタ及びこのカラーフィルタを透過した光を受光するための固体撮像素子をまとめて「固体撮像素子ＤＲ」と呼称する場合がある。以上のことは、ＬＧ、Ｇ、Ｂ、Ｏ、Ｒ、についても同様である。

図３に示す如く、撮像センサ１０６（カラーフィルタ１０５）上の固体撮像素子Ｂ、固体撮像素子ＤＧ、固体撮像素子Ｇ、固体撮像素子ＬＧ、固体撮像素子Ｏ、固体撮像素子Ｒ、の個数比は、Ｂ：ＤＧ：Ｇ：ＬＧ：Ｏ：Ｒ＝１：２：１：１：２：１となっている。この個数比からも分かるように、固体撮像素子ＤＧ、固体撮像素子Ｏ、はその他の固体撮像素子よりも個数が多いことから、より高密度に配されていることになる。以下では、固体撮像素子ＤＧや固体撮像素子Ｏにより撮像された画素を高解像度画素（高解像度カラーフィルタ）と呼称し、固体撮像素子ＤＧ、固体撮像素子Ｏ以外の固体撮像素子により撮像された画素を低解像度画素（低解像度カラーフィルタ）と呼称する。

ここで、それぞれの固体撮像素子の配置規則についてであるが、固体撮像素子ＤＧ及び固体撮像素子Ｏは、撮像センサ１０６上にベイヤ配置（一つ置き）で配置される。また、固体撮像素子ＤＧ及び固体撮像素子Ｏに対して、分光透過率のピーク波長が隣り合う色の光を受光する固体撮像素子がさらにベイヤ配置になるように配置される。本実施形態に係る撮像装置には、このような構成を有する撮像センサ１０６が搭載されている。

ここで、本実施形態では、固体撮像素子ＤＧ、固体撮像素子Ｏ、のそれぞれのカラーフィルタの分光透過率のピーク波長は、撮影レンズの軸上色収差特性によるピントずれ量が所定量以下となるように設定されている。ここで、第ｎ（１≦ｎ≦Ｎ；Ｎ≧５）の色の光を撮像する固体撮像素子を固体撮像素子ｎとすると、本実施形態は次のように一般化できる。即ち、固体撮像素子１乃至Ｎのうちより高密度に撮像センサ１０６上に配置されている固体撮像素子ｐ及び固体撮像素子ｑは、それぞれの間の撮像装置の撮像レンズの軸上色収差によるピントずれ量が開放絞りにおける焦点深度量以下となるように構成されている。

即ち、本実施形態に係る撮像センサ１０６（カラーフィルタ１０５）は、次のように構成されているものの一例である。即ち、固体撮像素子１乃至固体撮像素子Ｎがベイヤ配置に従って２次元的に配置されている撮像センサにおいて固体撮像素子ｐ及びｑは、それぞれの間の撮像レンズの軸上色収差によるピントずれ量が開放絞りにおける焦点深度量以下となるように構成されている。

ここで、図４、図５を用いて撮影レンズの軸上色収差量とマルチバンドカメラにおけるピントずれについて説明する。図２、３で説明した分光透過率と撮像センサ上の配置を持つカラーフィルタに対応したデモザイクは後述するように、高解像度カラーフィルタを核として行われる。従って、高解像度が与えられた各バンドはいずれも、シャープな像を得る必要がある。言い換えると、高解像度カラーフィルタが与えられたバンドは相対的なピントずれ量が小さい必要がある。このとき、撮像レンズの軸上色収差特性と、高解像度カラーフィルタの分光透過率のピーク波長は特定の関係を持たなければならない。

図４は典型的な望遠レンズ（開放絞り１：４．５、ｆ＝５００ｍｍ）の軸上色収差特性を示すグラフである。図４に示す如く、基準焦点位置はＤ線（５８９．５９４ｎｍ）であり、ピントずれは、Ｄ線よりも長波長側ではプラス側、Ｄ線から短波長４５０ｎｍ付近まではマイナス側、短波長４５０ｎｍよりも短波長側では再びプラス側となる。このような特性に起因し、Ｄ線のピント位置に対して相対的に０となる波長の選択は重要で、ＲＧＢの３バンドに感度を持つカメラに対しては４００ｎｍから５００ｎｍが選択されてきた。

図５は、本実施形態に係る撮像センサ１０６（カラーフィルタ１０５）を適用しない一般的なマルチバンドカメラが有するカラーフィルタ分光透過率の一例である。このとき、固体撮像素子ＤＧのカラーフィルタの分光透過率のピーク波長は５００ｎｍ、固体撮像素子Ｏのカラーフィルタの分光透過率のピーク波長は６５０ｎｍである。この両波長を図４に当てはめると、この２バンド間のピントずれ量はおよそ０．７ｍｍである。このレンズは１３５フォーマット対応であり、１３５フォーマットで用いられる許容錯乱円径０．０３５ｍｍを用いると、このピントずれ量を焦点深度の両端に収めるには絞りＦ１０が必要となり、開放絞りＦ４．５のレンズに対して実用に耐えないことがわかる。

本実施形態に係る撮像センサ１０６（カラーフィルタ１０５）を適用し、固体撮像素子ＤＧのカラーフィルタの分光透過率のピーク波長が４５０ｎｍ、固体撮像素子Ｏのカラーフィルタの分光透過率のピーク波長が６００ｎｍであるとする。これらの数値を図４にあてはめると、ピントずれ量はおよそ０．１ｍｍ程度となる。このピントずれ量を焦点深度の両端に収めるのに必要な絞り値はＦ１．４である。開放絞り値に対して３段半の余裕があり、画像を大きく拡大して観察するデジタルカメラにおいても充分な実用性を持つ。即ち、本実施形態で用いる撮像レンズは、このピントずれ量を焦点深度の両端に納める絞り値を有する。

このとき、開放絞り値によってもたらされる焦点深度に対してどの程度の軸上色収差によるピントずれを許容するかの閾値は、開放絞りに対して全く余裕なしを上限として、使用目的に応じて設定すればよい。

次に、デモザイキング部１１０の構成例について、図６のブロック図を用いて説明する。デモザイキング部１１０を構成する高解像度カラーフィルタ画像デモザイク部１１２、低解像度カラーフィルタ画像デモザイク部１１３、のそれぞれの動作については、図７のフローチャートを用いて説明する。もちろん、図７のフローチャートに従った処理を行う時点で、記憶部１０８には、撮像センサ１０６により撮像されたモザイク状のカラー画像が格納されている。

先ず、ステップＳ４０１において高解像度カラーフィルタ画像デモザイク部１１２は、カラー画像を構成する各画素位置について、ダークグリーン及びオレンジの画素値を求める。ステップＳ４０１における処理の詳細については、図８のフローチャートを用いて後述する。

次に、ステップＳ４０２では、低解像度カラーフィルタ画像デモザイク部１１３は、カラー画像を構成する各画素位置について、ダークグリーン及びオレンジ以外の色の画素値を求める。ステップＳ４０２における処理の詳細については、図１１のフローチャートを用いて後述する。

＜ステップＳ４０１における処理の詳細について＞
ステップＳ４０１における処理について、同処理の詳細を示す図８のフローチャートを用いて説明する。なお、ステップＳ５０１〜Ｓ５０５における処理の説明では、図９に示す如く、撮像センサ１０６上のある領域内の画素群における処理について説明するが、同様のことは、撮像センサ１０６上の全ての画素について同様である。

また、ステップＳ５０１〜Ｓ５０５の説明では、図９に示す画素群において左上隅から右に３画素、下に３画素の位置にある画素（ＬＧ３３が記されている箇所）を注目画素とし、注目画素について、オレンジの画素値Ｏ３３を求める処理について説明する。なお、ＬＧ３３はこの注目画素のライトグリーンの画素値である。

ステップＳ５０１では、注目画素と斜め方向に隣接する画素が高解像度画素であるか否かを判断する。この判断の結果、高解像度画素である場合には処理はステップＳ５０２に進み、高解像度画素ではない場合には処理はステップＳ５０５に進む。図９の場合には、注目画素と斜め方向に隣接するそれぞれの画素に対しては既に画素値Ｏ２２、Ｏ２４、Ｏ４２、Ｏ４４が確定しているので、注目画素と斜め方向に隣接するそれぞれの画素は高解像度画素である。ステップＳ５０２では、この斜め方向に隣接する４つの高解像度画素の画素値の平均Ｏ３３ｌｐｆを、以下の式を計算することで求める。

Ｏ３３ｌｐｆ＝｜Ｏ２２＋Ｏ２４＋Ｏ４２＋Ｏ４４｜／４
ステップＳ５０３では、注目画素を中心にして、高解像度画素と隣接し且つ高解像度画素とピーク波長の隣り合う低解像度画素の画素値の平均値ＬＧ３３ｌｐｆを、以下の式を計算することで求める。

ＬＧ３３ｌｐｆ＝（４＊ＬＧ３３＋ＬＧ１１＋ＬＧ１５＋ＬＧ５１＋ＬＧ５５）／６
ステップＳ５０４では、以下の式を計算することで、Ｏ３３を求める。即ち、低解像度画素に対して斜めに隣接している４つの画素が高解像度画素である場合には、低解像度画素の画素値に対して４つの画素の画素値の平均値を乗じた結果を高解像度画素とピーク波長が隣り合う低解像度画素の画素値の平均値で除することで求める。

Ｏ３３＝Ｏ３３ｌｐｆ／ＬＧ３３ｌｐｆ＊ＬＧ３３
なお、本実施形態では、局所領域において、ピーク波長の隣り合う画素値の平均値の比は等しいと仮定する。ステップＳ５０５では、全ての画素について上記の処理を行ったか否かを判断する。図９の場合は、図９に示した全ての画素について以上の処理を行ったか否かを判断する。この判断の結果、全ての画素について上記の処理を行った場合には処理はステップＳ５０６に進み、未だ上記の処理を行っていない画素（未処理画素）が残っている場合には処理はステップＳ５０１に戻り、未処理画素について上記の処理を行う。

ステップＳ５０６〜Ｓ５０９における処理の説明では、図１０に示す如く、撮像センサ１０６上のある領域内の画素群における処理について説明するが、同様のことは、撮像センサ１０６上の全ての画素について同様である。

また、ステップＳ５０６〜Ｓ５０９の説明では、図１０に示す画素群において左上隅から右に３画素、下に３画素の位置にある画素（×３３が記されている箇所）を注目画素とし、注目画素について、オレンジの画素値Ｏ３３を求める処理について説明する。図１０において「×」を記している箇所は、まだオレンジの画素値を算出していない画素を示している。一方、「○」を記している箇所は、オレンジの画素値が確定している画素を示している。然るに以下では、ステップＳ５０５までの処理を行った結果、未だオレンジの画素値が確定していない注目画素について、オレンジの画素値Ｏ３３を確定させるための処理について説明する。

ステップＳ５０６では、注目画素のオレンジの画素値が確定しているか否かを判断する。この判断の結果、確定している場合には、処理はステップＳ５０９に進み、確定していない場合には、処理はステップＳ５０７に進む。

ステップＳ５０７では、図９に示した画像において水平方向に注目画素と隣接する２つの画素のそれぞれの画素値の差分ＨＤｉｆｆ３３、垂直方向に注目画素と隣接する２つの画素のそれぞれの画素値の差分ＶＤｉｆｆ３３を、以下の式を計算することで求める。

ＨＤｉｆｆ３３＝｜Ｏ３２−Ｏ３４｜
ＶＤｉｆｆ３３＝｜Ｏ２３−Ｏ４３｜
ＨＤｉｆｆ３３は、注目画素を挟んで水平方向への画素値の変化（水平差分）を示しており、ＶＤｉｆｆ３３は、注目画素を挟んで垂直方向への画素値の変化（垂直差分）を示している。然るに、注目画素を挟んで水平方向への画素値の変化、注目画素を挟んで垂直方向への画素値の変化、を定量的に示す情報であれば、如何なる情報を用いても良いし、如何なる方法でこの情報を取得（計算）しても良い。

ステップＳ５０８では、ＨＤｉｆｆ３３とＶＤｉｆｆ３３との大小比較を行う。この大小比較の結果、ＨＤｉｆｆ３３＜ＶＤｉｆｆ３３の場合には、水平方向の方が垂直方向に比べて変化が緩やかと推定できる為、以下の式を計算することで、注目画素のオレンジの画素値Ｏ３３を求める。

Ｏ３３＝（Ｏ３２＋Ｏ３４）／２
一方、この大小比較の結果、ＨＤｉｆｆ３３≧ＶＤｉｆｆ３３の場合には、垂直方向の方が水平方向に比べて変化が緩やかと推定できる為、以下の式を計算することで、注目画素のオレンジの画素値Ｏ３３を求める。

Ｏ３３＝（Ｏ２３＋Ｏ４３）／２
なお、他の注目画素（図１０では他のＸで示す画素）の場合はそれを囲む４つのオレンジの画素値を用いて同様に画素値を算出する。ステップＳ５０９では、全ての画素について上記の処理を行ったか否かを判断する。図１０の場合は、図１０に示した全ての画素について以上の処理を行ったか否かを判断する。この判断の結果、全ての画素について上記の処理を行った場合には図８のフローチャートの処理は終了し、ステップＳ４０２に進む。一方、未だ上記の処理を行っていない画素（未処理画素）が残っている場合には処理はステップＳ５０６に戻り、未処理画素について上記の処理を行う。

なお、図８のフローチャートの処理によれば、全ての画素についてオレンジの画素値を求めることができる。然るに、上記の説明において「オレンジの画素値」を「ダークグリーンの画素値」と読み替えれば、全ての画素についてダークグリーンの画素値を求めることができる。このようにして、ステップＳ４０１では、カラー画像を構成する各画素位置について、ダークグリーン及びオレンジの画素値を求める。

＜ステップＳ４０２における処理の詳細について＞
ステップＳ４０２における処理について、同処理の詳細を示す図１１のフローチャートを用いて説明する。以下の説明では、図９に示す如く、撮像センサ１０６上のある領域内の画素群における処理について説明するが、同様のことは、撮像センサ１０６上の全ての画素について同様である。また、以下の説明では、図９に示す画素群において左上隅から右に３画素、下に３画素の位置にある画素（ＬＧ３３が記されている箇所）を注目画素とし、注目画素について、赤の画素値Ｒ３３を求める処理について説明する。

図９に示した画素群において、赤の画素値が求まっている箇所と、求まっていない箇所とが、図１２に示されている。図１２において「×」を記している箇所は、まだ赤の画素値を算出していない画素を示している。図１２からも分かるとおり、注目画素（Ｘ３３が記されている箇所）については赤の画素値は未だ確定していない。

ステップＳ８０１では、注目画素について赤の画素値が確定しているか否かを判断する。この判断の結果、確定している場合には処理はステップＳ８０６に進み、確定していない場合には処理はステップＳ８０２に進む。

ステップＳ８０２では、注目画素を囲む、赤の画素値が確定している画素を検索する。図１２の場合、Ｒ１３、Ｒ３１、Ｒ３５、Ｒ５３が記されているそれぞれの箇所における画素が検索されることになる。

ステップＳ８０３では、これら検索した画素の赤の画素値から、ピーク波長の隣り合う高解像度画素の画素値を減じることで、差分画素値を算出する。図９の場合、本ステップでは以下の式に従った計算を行うことになる。

Ｄ１３＝Ｒ１３−Ｏ１３
Ｄ３１＝Ｒ３１−Ｏ３１
Ｄ３５＝Ｒ３５−Ｏ３５
Ｄ５３＝Ｒ５３−Ｏ５３
Ｄ１３、Ｄ３１、Ｄ３５、Ｄ５３のそれぞれが差分画素値である。次にステップＳ８０４では、ステップＳ８０３で算出した差分画素値を用いて、一般的な補間方法であるバイリニア補間などに従って、注目画素の差分画素値Ｄ３３を算出する。次に、ステップＳ８０５では、以下の式を計算することでＲ３３を求める。

Ｒ３３＝Ｄ３３＋Ｏ３３
このような計算方法を用いれば、Ｘ２２、Ｘ２３、Ｘ２４、Ｘ３２、Ｘ３３、Ｘ３４、Ｘ４２、Ｘ４３、Ｘ４４の９カ所における画素の赤の画素値は求めることができる。それ以外の画素は注目画素を囲む低解像度画素として異なる４画素を選択することで同様に画素値を算出できる。

ステップＳ８０６では、全ての画素について上記の処理を行ったか否かを判断する。図９の場合は、図９に示した全ての画素について以上の処理を行ったか否かを判断する。この判断の結果、全ての画素について上記の処理を行った場合には図１１及び図７のフローチャートの処理は終了する。一方、未だ上記の処理を行っていない画素（未処理画素）が残っている場合には処理はステップＳ８０１に戻り、未処理画素について上記の処理を行う。

なお、図１１のフローチャートの処理によれば、全ての画素について赤の画素値を求めることができる。然るに、上記の説明において「赤の画素値」を「青（Ｂ）の画素値」と読み替えれば、全ての画素について青の画素値を求めることができる。これは、「緑（Ｇ）の画素値」や「ライトグリーン（ＬＧ）の画素値」と読み替えても同じことである。

［第２の実施形態］
第１の実施形態では、カラーフィルタ１０５のカラーバンド数＝６であったが、本実施形態では、カラーフィルタ１０５のカラーバンド数＝５とする。本実施形態に係るカラーフィルタ１０５が有する分光透過率について、図１３を用いて説明する。カラーフィルタ１０５が有する分光透過率は、ピーク波長の短い順に１００１（ブルー、Ｂ）、１００２（ダークグリーン、ＤＧ）、１００３（グリーン、Ｇ）、１００４（ライトグリーン、ＬＧ）、１００５（オレンジ、Ｏ）である。

この場合、図１４に示す如く撮像センサ１０６上における、固体撮像素子Ｂ、固体撮像素子ＤＧ、固体撮像素子Ｇ、固体撮像素子ＬＧ、固体撮像素子Ｏ、の個数比は、Ｂ：ＤＧ：Ｇ：ＬＧ：Ｏ＝１：２：２：２：１となっている。この個数比からも分かるように、固体撮像素子ＤＧ、固体撮像素子Ｇ、固体撮像素子ＬＧ、はその他の固体撮像素子よりも個数が多いことから、より高密度に配されていることになる。然るに、固体撮像素子ＤＧ、固体撮像素子Ｇ、固体撮像素子ＬＧにより撮像された画素が高解像度画素、固体撮像素子Ｂや固体撮像素子Ｏにより撮像された画素が低解像度画素となる。

それぞれの固体撮像素子の配置規則については第１の実施形態と同様である。即ち、カラーバンド数が５以上であれば、図７のフローチャートに従った処理を適用することができる。

固体撮像素子ＤＧのカラーフィルタの分光透過率におけるピーク波長は４５０ｎｍ、固体撮像素子ＬＧの同波長は５５０ｎｍであるので、これらを図４に当てはめると、両者の間のピントずれ量はおよそ０．１５ｍｍであることがわかる。これを焦点深度両端に包含する絞り値はＦ２強となるため、開放絞りＦ４．５のレンズに対して余裕のあるピントずれ量に収まっている。

［第３の実施形態］
これまでの実施例では、ＲＧＢカメラ向けに設計された撮影レンズの軸上色収差特性に対して、カラーフィルタの設計を適合させていた。これとは逆に、カラーフィルタ設計に対して、軸上色収差の補正上の基準波長（Ｄ線に対して相対的にピントずれ量が０となる波長）を調整してもよい。この場合、カラーフィルタの設計は色再現に最適化することが可能となるという利点がある。

即ち、撮像レンズを、上記の固体撮像素子ｐ及びｑのそれぞれのカラーフィルタの分光透過率のピーク波長に対して、該撮像レンズの軸上色収差によるピントずれ量が開放絞りにおける焦点深度量以下となるように設定しても良い。

［第４の実施形態］
第１，２の実施形態で用いているデモザイキングアルゴリズムは、高解像度フィルタ画像のデモザイクにあたり、低解像度フィルタ画像の局所平均値と、画素値の変化方向を用いた平均化を用いている。しかし、これらは用いず、高解像度フィルタ画像のデモザイクを平均化することでデモザイク処理を行うことも可能である。この場合、処理が単純化され、処理時間が短くなるという利点がある。即ち、デモザイキングアルゴリズムは１つの方法に限定するものではない。

［第５の実施形態］
第１，２の実施形態で説明した各処理は何れも、撮像装置内で行われることを前提としていた。しかし、係る処理は、ＰＣ（パーソナルコンピュータ）内で行うようにしても良い。この場合、上記の各フローチャートに従って説明した各処理をこのＰＣに実行させるためのコンピュータプログラムを、このＰＣのメモリにインストールしておく必要がある。そしてこのＰＣのＣＰＵが、このコンピュータプログラムをこのメモリから読み出して実行することで、このＰＣは、上記の各フローチャートに従って説明した各処理を実行することができる。もちろん、記憶部１０８に格納されているものとして説明した情報も、このＰＣに記憶させておく必要がある。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (3)

1. Ｎ（Ｎは５以上の整数）種類の固体撮像素子が２次元的に配置されている撮像センサであって、該Ｎ種類の固体撮像素子におけるそれぞれの種類の固体撮像素子は互いに異なる色の光を撮像する該撮像センサと、撮像レンズと、が搭載された撮像装置であって、
   第１の種類の固体撮像素子のカラーフィルタ及び第２の種類の固体撮像素子のカラーフィルタのそれぞれの分光透過率におけるピーク波長は、該ピーク波長に基づく前記撮像装置の撮像レンズの軸上色収差によるピントずれ量が規定量以下となるように設定されており、
   前記第１の種類の固体撮像素子及び前記第２の種類の固体撮像素子は、ベイヤ配置に従って２次元的に前記撮像センサ上に配置されており、
   前記Ｎ種類の固体撮像素子のうち、前記第１の種類の固体撮像素子に対してカラーフィルタの分光透過率のピーク波長が隣り合う色の光を撮像する固体撮像素子を第３の種類の固体撮像素子とし、前記Ｎ種類の固体撮像素子のうち、前記第２の種類の固体撮像素子に対してカラーフィルタの分光透過率のピーク波長が隣り合う色の光を撮像する固体撮像素子を第４の種類の固体撮像素子とした場合に、前記第３の種類の固体撮像素子及び前記第４の種類の固体撮像素子は、ベイヤ配置に従って２次元的に前記撮像センサ上に配置されており、
   前記第１の種類の固体撮像素子の数及び前記第２の種類の固体撮像素子の数は、前記Ｎ種類の固体撮像素子の中で最も多く、
   前記撮像レンズは、前記ピントずれ量を焦点深度の両端に納める絞り値を有する
   ことを特徴とする撮像装置。
2. 前記撮像装置の撮像レンズの軸上色収差によるピントずれ量は、前記第１の種類の固体撮像素子のピーク波長に対応する軸上色収差と前記第２の種類の固体撮像素子のピーク波長に対応する軸上色収差との差分であることを特徴とする請求項１に記載の撮像装置。
3. 前記規定量は、開放絞りにおける焦点深度量に従って定義されていることを特徴とする請求項１に記載の撮像装置。

Images