JP4950544B2

JP4950544B2 - マルチバンド撮像装置のカラーフィルタのパラメータを決定する方法

Info

Publication number: JP4950544B2
Application number: JP2006108039A
Authority: JP
Inventors: 耕生 ▲高▼橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-04-10
Filing date: 2006-04-10
Publication date: 2012-06-13
Anticipated expiration: 2026-04-10
Also published as: JP2007278950A

Description

本発明は、複数種類のカラーフィルタを通して被写体を撮影してマルチバンド画像を取得するマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法に関する。

近年、デジタルカメラやスキャナ装置等の画像入力装置を用いて、デジタル化された画像を取得する機会が増えている。一般的に、物体の色を再現する色再現技術では、画像入力装置は、３色（例えば、ＲＧＢ）のフィルタを用い、オリジナルの色を３原色に分解して色情報を取得する。

３原色のカラーフィルタを用いて撮影する場合、測色的色再現に基づいて色再現が行われる。ここで、測色的色再現とは、数式（１）で表される物体の三刺激値（Ｘ，Ｙ，Ｚ）のみを再現することにより、「色の見え」を一致させる技術である。

しかし、即色的色再現では、物体の三刺激値が照明光源に大きく依存しているので、撮影を行った照明光以外の光源の下では、正確な色再現を行うことが困難である。そこで、近年、物体の三刺激値のみならず、分光反射率まで再現する分光的色再現が注目されている。

分光的色再現では、３色のフィルタを用いて画像の色情報を取得する上記画像入力装置に対し、４種類以上のカラーフィルタを用いて被写体の分光反射率をより高精度に推定する技術が研究されている。

４種類以上のカラーフィルタを用いるカメラは、一般的にマルチバンドカメラと呼ばれる。特許文献１には、シャープカットフィルタとバンドパスフィルタを組み合わせることにより、マルチバンド撮影を行う技術が示されている。
特開２００３−２９８９１３号公報

しかしながら、上記従来のマルチバンド撮像装置における分光的色再現では、以下に掲げる問題があった。即ち、多チャンネルのマルチバンドカメラを用いて取得した画像データから分光反射率を推定する処理に関しては、既に様々な技術が提案されている。しかし、具体的にどのような特性のカラーフィルタを用いれば、高精度な分光反射率を推定できるかということが明らかでなかった。

そこで、本発明は、高精度な色再現特性を有し、かつノイズによる精度低下が少なく、良好な分光推定を可能とするカラーフィルタを設定できるようにするマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法を提供することを目的とする。

上記目的を達成するために、本発明のマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法は、複数種類のカラーフィルタを有し、前記カラーフィルタを通して被写体を撮影しセンサで受光することによりマルチバンド画像を取得し、前記被写体の分光反射率を推定するマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法であって、前記パラメータには、前記カラーフィルタの種類、前記カラーフィルタの分光透過率特性をガウス分布で近似した際の標準偏差及び前記カラーフィルタのピーク波長を含み、異なる分光反射率を有する複数のチャートを設定し、異なるパラメータを有する前記カラーフィルタの分光透過特性を設定し、前記各パラメータについて、前記チャートの分光反射率に基づいて前記各センサの応答を算出し、前記各パラメータについて、前記算出されたセンサの応答に、ノイズを付加し、前記各パラメータについて、ノイズが付加されたセンサの応答から分光反射率を復元し、前記各パラメータについて、前記復元された分光反射率と設定されたチャートの分光反射率との誤差（ΔＥ _９４）を算出し、前記誤差（ΔＥ _９４）がΔＥ _９４ ≦２．０となるように前記カラーフィルタのパラメータを決定することを特徴とする。

本発明によれば、高精度な色再現特性を有し、かつノイズによる精度低下が少なく、良好な分光推定を可能とするカラーフィルタを設定可能とするマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法を提供できる。

本発明のマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法の実施の形態について図面を参照しながら説明する。本実施形態に係るマルチバンド撮像装置は、マルチバンドカメラを搭載した画像処理装置に適用される。

［第１の実施形態］
図１は第１の実施形態における画像処理装置の構成を示す図である。この画像処理装置は、マルチバンドカメラ２、カラーフィルタ設定部６、マルチバンド画像データ記憶部７および色変換装置８から構成される。マルチバンドカメラ２は、設定されたカラーフィルタを用いて、被写体を撮影するものであり、マルチバンドカラーフィルタ３、レンズ５および撮像素子４を有する。

マルチバンドカラーフィルタ３は、回転あるいは移動自在な複数のカラーフィルタを有し、被写体からマルチバンドカメラ２に入射する光を任意のカラーフィルタで透過させる。レンズ５は入射光を撮像素子４に結像させる。撮像素子４は被写体からの光を電気信号に変換するものであり、ＣＣＤあるいはＣＭＯＳからなる。

カラーフィルタ設定部６は、マルチバンドカラーフィルタ３を制御する。マルチバンド画像データ記憶部７は、撮像素子４によって撮影されたマルチバンド画像データを読み込んで記憶する。

色変換装置８は、マルチバンド画像データ記憶部7に記憶されている画像データから各画素の分光反射率を推定し、任意の色変換を行う。この色変換装置８は、輝度補正部９、分光推定部１０、推定行列記憶部１１、色変換部１２および画像データ記憶部１３から構成される。

輝度補正部９は、マルチバンド画像データ記憶部7に記憶されているマルチバンド画像データに対して輝度補正を行う。分光推定部１０は、輝度補正部9で輝度補正が行われたマルチバンド画像データから分光データ（分光反射率）を推定する分光推定を行う。推定行列記憶部１１は、分光推定部１０で分光推定を行う際に必要となる推定行列を記憶しておく。色変換部１２は、推定された分光データを所望の色空間の色データに色変換する。画像データ記憶部１３は、色変換部１２で色変換された画像データを記憶する。

上記カラーフィルタ設定部６、マルチバンド画像データ記憶部７および色変換装置８の各機能は、汎用コンピュータ内のＣＰＵが記憶媒体に格納された制御プログラムを実行することによって実現される。

上記構成を有する画像処理装置の動作を示す。図２は撮影および色変換処理手順を示すフローチャートである。この処理プログラムは、前述したように、汎用コンピュータ（図示せず）内の記憶媒体に格納されており、ＣＰＵによって実行される。

まず、カラーフィルタ設定部６において、マルチバンドカラーフィルタ３に設置されている任意のカラーフィルタを選択し、被写体からの光を透過させるフィルタを設定する（ステップＳ１）。設定されたカラーフィルタを用いて、被写体を撮影する（ステップＳ２）。このとき、被写体からマルチバンドカメラ２に入射する光は、ステップＳ１で設定されたカラーフィルタを透過した後、レンズ５を介して撮像素子４に結像する。

撮像素子４で光電変換された電気信号を、画像データとしてマルチバンド画像データ記憶部７に記憶する（ステップＳ３）。マルチバンドカラーフィルタ３に設置されているカラーフィルタの全ての種類を用いて撮影を行ったか否かを判別する（ステップＳ４）。未撮影のカラーフィルタがある場合、ステップＳ１の処理に戻って、未撮影のカラーフィルタを設定し、同様の処理を行う。

一方、ステップＳ４で全てのカラーフィルタで撮影を行っている場合、マルチバンド画像データ記憶部7に記憶されているマルチバンド画像データを用いて、各画素の分光データを推定する（ステップＳ５）。この推定された分光データを、Ｌａｂ値、ＲＧＢ値など、所望の色空間の色データに変換する（ステップＳ６）。この色データに変換された画像データを画像データ記憶部１３に保存する（ステップＳ７）。この後、本処理を終了する。

［分光推定］
図３はステップＳ５における分光推定処理手順を示すフローチャートである。まず、マルチバンド画像データ記憶部7に記憶されているマルチバンド画像データを色変換装置８に読み込む（ステップＳ１１）。読み込んだマルチバンド画像データに対し、輝度補正部９において、輝度補正を行う（ステップＳ１２）。

分光推定部１０において、輝度補正が行われたマルチバンド画像データから、後述するＷｉｅｎｅｒ推定を用いて、各画素の分光データを推定する（ステップＳ１３）。これにより、座標（ｘ，ｙ）における物体の分光反射率を推定することができる。この後、本処理を終了し、元の処理に復帰する。

［輝度補正］
図４はステップＳ１２で行われる輝度補正の際に用いられる色票（グレイチャート）を示す図である。この色票の反射率は既知である。マルチバンド撮影を行う際、この色票を同時に撮影しておくことにより、輝度データとセンサ応答（撮像素子から出力される電気信号の大きさ）との対応関係を得ることができる。

ステップＳ１３の分光推定処理では、センサ応答と輝度データが比例関係にある場合、線形変換により高精度に分光推定を行うことができる。従って、輝度データとセンサ応答が比例関係になるように、輝度補正処理は行われる。

図５は輝度補正処理の一例を示す図である。同図（Ａ）はセンサ応答と輝度データが非線形の関係にあるグラフを示す。同図（Ｂ）はセンサ応答入力値とセンサ応答出力値の変換曲線を示すグラフである。同図（Ｃ）は、同図（Ａ）のセンサ応答が同図（Ｂ）の変換曲線によって変換され、輝度データとセンサ応答が比例関係となるように補正されたセンサ応答出力値と輝度データの関係を表すグラフである。

［Ｗｉｅｎｅｒ推定］
上記撮影において、各カラーフィルタを通して撮影された際の、各画素のセンサ応答出力値ｖ_{ｘ，ｙ，ｉ}は、数式（２）で表される。

ただし、ｖ_{ｘ，ｙ，ｉ}：座標 ( x , y ) におけるｉ番目のフィルタを用いたときのセンサ応答
f_i(λ)：ｉ番目のフィルタの分光透過率
L(λ)：レンズの分光透過率
S(λ)：撮像素子の分光特性
E(λ)：光源の分光分布
Ｒ_ｘ，ｙ(λ) ：座標 ( x , y ) における物体の分光反射率
ここで、簡単のため、座標( x , y )を省略し、また、波長間隔を１０ｎｍでサンプリングして行列表示を行うと、数式（２）は数式（３）に書き換えられる。

ただし、n：撮影に使用するカラーフィルタ数
v_i ：座標 ( x , y ) におけるｉ番目のフィルタを用いたときのセンサ応答
f_i,λ： i番目のフィルタの波長λにおける分光透過率
l_λ：波長λにおけるレンズの分光透過率
s_λ：波長λにおける撮像素子の分光特性
e_λ：波長λにおける光源の分光分布
r_λ：波長λにおける物体の分光反射率
ここで、M=FLSEとおくと、数式（３）を数式（４）のように書くことができる。

ｖ＝ＭＲ ……（４）
行列Mの逆行列を、Ｗｉｅｎｅｒ推定法を用いて算出することにより、数式（５）が導出され、センサ応答ｖから物体の分光反射率Ｒを算出することができる。

Ｒ＝Ｍ^−１ｖ ……（５）
＝Ｇｖ
［カラーフィルタ分光透過率特性］
マルチバンドカメラにおいて、分光復元精度は、カラーフィルタの選び方、およびＷｉｅｎｅｒ推定に用いられる推定行列を算出する際に使用されるマトリクス算出用チャートの選び方に大きく依存する。ここでは、カラーフィルタ特性が及ぼす分光復元精度の影響を、シミュレーション結果を提示しながら詳細に示す。

図６は分光復元精度のシミュレーションを行う際の処理手順を示すフローチャートである。この処理プログラムは、前述したように、汎用コンピュータ内の記憶媒体に格納されており、ＣＰＵによって実行される。

まず、シミュレーションに用いられるチャートを設定する（ステップＳ２１）。本実施形態では、シミュレーション用のチャートとして、図７および図８に示すチャートが用いられる。図７はマクベスカラーチェッカの２４色の分光反射率を示すチャートである。図８はグレイ色票の分光反射率を示すチャートである。

マルチバンド撮影に使用するフィルタの分光透過率特性を設定する（ステップＳ２２）。数式（２）を用いて、各フィルタにおけるセンサ応答を算出する（ステップＳ２３）。ただし、ここでは、レンズおよび撮像素子の分光特性を、全波長域で値１．０とし、光源データとして、Ｄ５０光源の分光データを使用した。

ステップＳ２３で算出されたセンサ応答に、任意の最大値を取り得る白色ノイズをランダムに付加する（ステップＳ２４）。数式（５）に従って、ノイズが付加されたセンサ応答値から分光反射率を推定する（ステップＳ２５）。

ステップＳ２１で設定されたチャートの分光反射率と、ステップＳ２５で算出された推定分光反射率との各色の平均色差(ΔE₉₄)を算出し、ステップＳ２２で設定されたカラーフィルタの推定精度とする（ステップＳ２６）。この後、本処理を終了する。

［カラーフィルタ特性の設定］
ここでは、ｉ番目のカラーフィルタの分光透過率特性f_i(λ)を、数式（６）で表されるガウス分布の形状で定義した。また、n種類のカラーフィルタを定義する際、ｉ番目のピーク波長λ_piには、数式（７）で示すように、４００ｎｍから７００ｎｍまでの可視波長域を等間隔に分割する波長が用いられる。

このとき、フィルタ枚数n、標準偏差σ、ピーク波長λ_piの３通りのパラメータを変化させ、推定精度に与える影響を算出した。図９は数式（６）で定義されたカラーフィルタの分光透過率特性を示すグラフである。図１０はピーク波長のずらし量とカラーフィルタの分光透過率特性との関係を示すグラフである。上記各パラメータを変化させた際のシミュレーション結果を以下に示す。
（ａ）フィルタ枚数ｎに関して
図１１はフィルタ枚数を4枚〜9枚まで変化させた場合の付加ノイズ最大値と復元精度との関係を示すグラフである。ただし、この付加ノイズ最大値は、センサ応答が１６ｂｉｔ（０〜６５５３５）で正規化されている場合の値である。図１１では、フィルタ枚数が増加する程、色再現精度が向上し、一方、付加ノイズ最大値が増加する程、復元精度が悪くなる傾向にあることが分かる。
（ｂ）標準偏差σに関して
図１２はカラーフィルタの透過波長域の幅、すなわち数式（６）における標準偏差σを変化させた場合の付加ノイズ最大値と復元精度との関係を示すグラフである。図１２では、付加ノイズが小さい場合、標準偏差σが大きい方で復元精度が良く、逆に付加ノイズが大きい場合には、標準偏差σの小さい方で復元精度が良くなる傾向にあることが分かる。
（ｃ）ピーク波長に関して
図１３はカラーフィルタのピーク波長を、等分点からずらした場合の付加ノイズ最大値と復元精度との関係を示すグラフである。図１３では、付加ノイズ最大値が大きい程、ずれ量が大きい場合の推定精度が低下する傾向にあることが分かる。

図１４はフィルタ数ｎを変化させた場合の付加ノイズ量０、５１２における復元精度を示すグラフである。図１５は標準偏差σを変化させた場合の付加ノイズ量０、５１２における復元精度を示すグラフである。図１６はピーク波長λ_Pを変化させた場合の付加ノイズ量０、５１２における復元精度を示すグラフである。

本実施形態では、フィルタ選択の指標は以下のとおりである。付加ノイズ最大値が値０（ノイズが全く無い場合）であるときの色再現精度がΔＥ₉₄≦１．０である場合、色再現精度およびノイズ特性の両特性が良好なカラーフィルタの組み合わせであると判断する。さらに、付加ノイズ最大値が値５１２であるときの色再現精度がΔＥ₉₄≦２．０である場合、色再現精度およびノイズ特性の両特性が良好なカラーフィルタの組み合わせであると判断する。

従って、図１４〜図１６のグラフを検討すると、上記色再現精度を満たすカラーフィルタの組み合わせは、フィルタ枚数が６種類以上、標準偏差σが１０ｎｍから３０ｎｍまでの範囲、およびピーク波長のずれが１５ｎｍ以下であることがわかる。

第１の実施形態の画像処理装置によれば、複数種類のカラーフィルタを用いて被写体を撮影し、その分光反射率を推定する際、高精度な色再現特性を有し、かつノイズによる精度低下の少ない、良好な分光推定が可能なカラーフィルタを設定することができる。

［第２の実施形態］
図１７は第２の実施形態における画像処理装置の構成を示す図である。第２の実施形態の画像処理装置５１は、マルチバンドカメラ５２、マルチバンド画像データ記憶部５６および色変換装置５７から構成される。

マルチバンドカメラ５２は、設定されたカラーフィルタを用いて、被写体を撮影するものであり、レンズ５４、撮像素子５３およびチャンネル分解部５５を有する。撮像素子５３は、その前面に複数のカラーフィルタが２次元に配置されたＣＣＤあるいはＣＭＯＳからなる。レンズ５４は入射光を撮像素子５３に結像させる。チャンネル分解部５５は、撮像素子５３によって複数のカラーフィルタを通して同時に撮像された画像を、各チャンネル（各カラーフィルタに対応する画像）に分解してマルチバンド画像データとする。

マルチバンド画像データ記憶部５６は、チャンネル分解部５５によって各チャンネルに分解されたマルチバンド画像データを記憶する。

色変換装置５７は、マルチバンド画像データ記憶部５６に記憶されているマルチバンド画像データから、各画素の分光反射率を推定し、任意の色変換を行う。この色変換装置５７は、輝度補正部５８、分光推定部５９、推定行列記憶部６０、色変換部６１および画像データ記憶部６２から構成される。輝度補正部５８は、マルチバンド画像データ記憶部５６に記憶されているマルチバンド画像データに対し、輝度補正を行う。分光推定部５９は、輝度補正部５８で輝度補正が行われたマルチバンド画像データから分光データを推定する。推定行列記憶部６０は、分光推定部５９で分光推定を行う際に必要となる推定行列を記憶しておく。色変換部６１は、推定された分光データを所望の色空間の色データに変換する。画像データ記憶部６２は、色変換部６１で色変換された画像データを記憶する。

上記マルチバンド画像データ記憶部５６および色変換装置５７の各機能は、汎用コンピュータ内のＣＰＵが記憶媒体に格納された制御プログラムを実行することによって実現される。

上記構成を有する画像処理装置の動作を示す。図１８は撮影および色変換処理手順を示すフローチャートである。この処理プログラムは、前述したように、汎用コンピュータ内の記憶媒体に格納されており、ＣＰＵによって実行される。

まず、マルチバンドカメラ５２で被写体を撮影する（ステップＳ３１）。撮像素子５３で光電変換された電気信号を、チャンネル分解部５５で各カラーフィルタに対応するチャンネル毎の画像データにチャンネル分解する（ステップＳ３２）。チャンネル分解されたマルチバンド画像をマルチバンド画像データ記憶部５６に記憶する（ステップＳ３３）。

この後、前記第１の実施形態と同様、マルチバンド画像データ記憶部５６に記憶されているマルチバンド画像データを用いて、各画素の分光データを推定する（ステップＳ３４）。推定された分光データを、Ｌａｂ値、ＲＧＢ値など、所望の色空間の色データに変換する（ステップＳ３５）。この色データに変換された画像データを画像データ記憶部６２に記憶する（ステップＳ３６）。この後、本処理を終了する。

図１９はＣＣＤ撮像素子の上に配置されたカラーフィルタの２次元配列を示す図である。ここで、使用されるフィルタの種類は、Ｆ１,Ｆ２，…,Ｆ９の９種類からなる。図２０は２次元配列のカラーフィルタが配置されたＣＣＤ撮像素子を用いて撮影され、F1フィルタを通して撮影された部分だけを示す図である。図２０に示される画素のうち、白色で示された画素には、データとして、センサ応答値が格納されているが、黒色で示されているその他の画素には、データが格納されていない。そこで、データが格納されていない画素については、その周囲のデータが格納されている画素のデータを用いて補間処理を行うことにより、全ての画素にデータが格納された画像データを生成する。このような処理を全てのフィルタに対して適応する。図２１は全てのフィルタに対して補間処理が行われたマルチバンド画像を示す図である。

また、前記第１の実施形態と同様、良好な色再現精度を満たすカラーフィルタの組み合わせは、フィルタ枚数が６種類以上、標準偏差σが１０ｎｍから３０ｎｍまでの範囲、およびピーク波長のずれが１５ｎｍ以下である。

第２の実施形態の画像処理装置によれば、カラーフィルタを交換することなく、マルチバンド撮影を行う際、高精度な色再現特性を有し、かつノイズによる精度低下の少ない、良好な分光推定が可能なカラーフィルタを設定することができる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、カラーフィルタ特性の近似方法として、以下のようにしてもよい。図２２は実際のフィルタ特性とガウス分布で近似したフィルタ特性を示すグラフである。カラーフィルタを厳密にガウス分布で近似することは困難である。このため、実際のフィルタと、ガウス分布で近似した際の最小自乗誤差が最小となるようなパラメータσおよびλ_piを用いて近似させてもよい。

図２３は他の実際のフィルタ特性とガウス分布で近似したフィルタ特性を示すグラフである。ローパスフィルタあるいはハイパスフィルタのように、ピーク波長よりも長波長側、あるいは短波長側の透過率が値１に近い場合、逆の波長域（近似領域）のみの最小自乗誤差を算出するようにしてもよい。

また、カラーフィルタの分光透過率特性の再現方法では、カラーフィルタの分光透過率特性を、各色１種類のフィルタのみで実現しなくてもよい。例えば、バンドパスフィルタを複数枚重ねて使用することにより、所望の分光透過率特性を実現するようにしてもよい。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。

また、本発明の目的は、以下によっても達成される。即ち、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給する。そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになる。また、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体として、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷを用いることができる。また、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、ネットワークを介してプログラムコードをダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではなく、以下の場合も含まれる。即ち、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行う。このような処理によって前述した各実施の形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。この後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。このような処理によって前述した各実施の形態の機能が実現される場合も含まれる。

第１の実施形態における画像処理装置の構成を示す図である。撮影および色変換処理手順を示すフローチャートである。ステップＳ５における分光推定処理手順を示すフローチャートである。ステップＳ１２で行われる輝度補正の際に用いられる色票（グレイチャート）を示す図である。輝度補正処理の一例を示す図である。分光復元精度のシミュレーションを行う際の処理手順を示すフローチャートである。マクベスカラーチェッカの２４色の分光反射率を示すチャートである。グレイ色票の分光反射率を示すチャートである。数式（６）で定義されたカラーフィルタの分光透過率特性を示すグラフである。ピーク波長のずらし量とカラーフィルタの分光透過率特性との関係を示すグラフである。フィルタ枚数を4枚〜9枚まで変化させた場合の付加ノイズ最大値と復元精度との関係を示すグラフである。カラーフィルタの透過波長域の幅、すなわち数式（６）における標準偏差σを変化させた場合の付加ノイズ最大値と復元精度との関係を示すグラフである。カラーフィルタのピーク波長を、等分点からずらした場合の付加ノイズ最大値と復元精度との関係を示すグラフである。フィルタ数ｎを変化させた場合の付加ノイズ量０、５１２における復元精度を示すグラフである。標準偏差σを変化させた場合の付加ノイズ量０、５１２における復元精度を示すグラフである。ピーク波長λ_Pを変化させた場合の付加ノイズ量０、５１２における復元精度を示すグラフである。第２の実施形態における画像処理装置の構成を示す図である。撮影および色変換処理手順を示すフローチャートである。ＣＣＤ撮像素子の上に配置されたカラーフィルタの２次元配列を示す図である。２次元配列のカラーフィルタが配置されたＣＣＤ撮像素子を用いて撮影され、F1フィルタを通して撮影された部分だけを示す図である。全てのフィルタに対して補間処理が行われたマルチバンド画像を示す図である。実際のフィルタ特性とガウス分布で近似したフィルタ特性を示すグラフである。他の実際のフィルタ特性とガウス分布で近似したフィルタ特性を示すグラフである。

符号の説明

１、５１画像処理装置
２、５２マルチバンドカメラ
３カラーフィルタ
４、５３撮像素子
６カラーフィルタ設定部
７、５６マルチバンド画像データ記憶部
１０、５９分光推定部
１１、６０推定行列記憶部
５５チャンネル分解部

Claims

複数種類のカラーフィルタを有し、前記カラーフィルタを通して被写体を撮影しセンサで受光することによりマルチバンド画像を取得し、前記被写体の分光反射率を推定するマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法であって、
前記パラメータには、前記カラーフィルタの種類、前記カラーフィルタの分光透過率特性をガウス分布で近似した際の標準偏差及び前記カラーフィルタのピーク波長を含み、
異なる分光反射率を有する複数のチャートを設定し、
異なるパラメータを有する前記カラーフィルタの分光透過特性を設定し、
前記各パラメータについて、前記チャートの分光反射率に基づいて前記各センサの応答を算出し、
前記各パラメータについて、前記算出されたセンサの応答に、ノイズを付加し、
前記各パラメータについて、ノイズが付加されたセンサの応答から分光反射率を復元し、
前記各パラメータについて、前記復元された分光反射率と設定されたチャートの分光反射率との誤差（ΔＥ _９４）を算出し、
前記誤差（ΔＥ _９４）がΔＥ _９４ ≦２．０となるように前記カラーフィルタのパラメータを決定することを特徴とするマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法。
前記カラーフィルタの種類を少なくとも６種類とし、
前記標準偏差を１０ｎｍから３０ｎｍまでの範囲内に設定し、
前記各カラーフィルタのピーク波長を、４００ｎｍから７００ｎｍまでの可視波長域を前記カラーフィルタの種類数で等間隔に分割する各波長に対し、それぞれ±１５ｎｍの範囲内に設定することを特徴とする請求項１記載のマルチバンド撮像装置のカラーフィルタのパラメータを決定する方法。