JP7358817B2 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。具体的には例えば、ＲＧＢ等の各狭帯域光単位の分離性能を高め、受光信号に含まれるＲＧＢ信号等、各波長帯域成分信号を高精度に分離、解析可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。

一般的な撮像装置（カメラ）は、撮像素子（イメージセンサ）にＲＧＢカラーフィルタを介した光を入力する。撮像素子の各画素は、フィルタの各波長光（ＲＧＢ）対応の入力光強度に応じた画素値を信号処理部に出力する。信号処理部は、撮像素子の出力画素値、すなわちＲＧＢ画素値信号を用いてカラー画像を生成する。

撮像素子は多数の画素により構成され、ＲＧＢカラーフィルタのＲ（赤）領域の通過光を受光する画素をＲ画素、カラーフィルタのＧ（緑）領域通過光を受光する画素をＧ画素、カラーフィルタのＢ（青）領域の通過光を受光する画素をＢ画素と呼ぶ。

しかし、ＲＧＢカラーフィルタの各色（ＲＧＢ）領域の通過光には、本来、含まれてほしくない波長（色）信号も含まれる。
例えば、ＲＧＢカラーフィルタのＲ（赤）領域の通過光のほとんどはＲ（赤）成分の波長光となるが、Ｒ（赤）以外の緑（Ｇ）、青（Ｂ）、さらに赤外光（ＩＲ）等の波長光もわずかに含まれる。

ＲＧＢカラーフィルタのＲ（赤）以外のＧ（緑）、Ｂ（青）領域の通過光も同様であり、Ｇ（緑）フィルタの通過光のほとんどはＧ（緑）成分の波長光であるが、その他の波長光も含まれ、Ｂ（青）フィルタの通過光のほとんどはＢ（青）成分の波長光であるが、その他の波長光も含まれる。

結果として、ＲＧＢカラーフィルタを介した光を入力する撮像素子のＲＧＢ各画素の画素値は、ＲＧＢ各色の信号のみからなる画素値ではなく、その他の色成分であるノイズ成分を含む画素値となってしまう。
このようなノイズ成分を含む画素値に基づいて生成されるカラー画像はノイズ成分を含み、画質が低下してしまう。

さらに、昨今、例えばドローン等に備えられたカメラを用いて農作物や、花、木等の様々な植物を撮影し、撮影画像を解析することで植物の活性度を計測する技術がある。
植物の活性度を示す植生指標として、例えばＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ）がある。
カメラ撮影画像の解析により、画像内に撮影された植物のＮＤＶＩを算出することで、撮影された画像内の植物の活性度を推定することができる。

このＮＤＶＩ算出処理には、被写体である植物に含まれる色成分を高精度に解析することが必要となる。
しかし、撮像素子の撮影画像のＲＧＢ各画素値に上述したノイズ成分が含まれると、高精度なＮＤＶＩ算出が不可能となり、撮影画像内の植物の活性度を正確に推定することができなくなる。

なお、被写体の色成分解析を高精度に行うためのカメラとしてマルチスペクトルカメラがある。
マルチスペクトルカメラは、カラーフィルタに併せて特定の波長光のみを通過させるバンドパスフィルタ（ＢＰフィルタ）を用いたカメラである。

バンドパスフィルタ（ＢＰフィルタ）とカラーフィルタを通過させた光を撮像素子に入力することで、バンドパスフィルタ（ＢＰフィルタ）を通過する特定の波長光成分を選択的に撮像素子の画素に入力させることが可能となる。

なお、マルチスペクトルカメラについて開示した従来技術として例えば特許文献１（米国特許第７，３７５，８０３号公報）がある。
この特許文献１に開示の技術はＲＧＢとＩＲ（赤外）画素を持つ撮像素子を用いて、被写体までの距離を検出する際に、ＩＲ成分値を抽出して利用する構成を開示している。
しかし、この特許文献は、カラー画像の高画質化処理や、各色成分の高精度解析処理については開示していない。

米国特許第７，３７５，８０３号公報

本開示は、カラーフィルタに併せて特定波長の光等、特定帯域信号を通過させるバンドパスフィルタ（ＢＰフィルタ）を用いて撮影される画像の高画質化処理や、被写体の色成分の高精度解析を可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
前記信号処理部は、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する撮像装置にある。

さらに、本開示の第２の側面は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記信号処理部は、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理装置にある。

さらに、本開示の第３の側面は、
撮像装置において実行する画像処理方法であり、
前記撮像装置は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
前記信号処理部が、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理方法にある。

さらに、本開示の第４の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記信号処理部が、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理方法にある。

さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記プログラムは、前記信号処理部に、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、ノイズ成分を低減した特定帯域の真の画素値を算出可能とした装置、方法が実現される。
具体的には、例えば、特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、カラーフィルタと、各フィルタの透過光を受光する撮像素子と、信号処理部を有する。マルチバンドパスフィルタは、カラーフィルタの色フィルタ対応の帯域光を選択的に透過させる構成であり、信号処理部は、撮像素子の画素値に基づいて生成した画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータを用いた帯域対応画素値算出式の反復計算を実行して、その収束値を処理対象画素の帯域対応画素値として算出する。
これらの構成により、ノイズ成分を低減した特定帯域の真の画素値を算出可能とした装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

マルチスペクトルカメラの構成例について説明する図である。 マルチスペクトルカメラのフィルタの分光特性の例について説明する図である。 マルチスペクトルカメラの画素値について説明する図である。 ＲＧＢＩＲカラーフィルタの構成例について説明する図である。 ある画像撮影時のＲＧＢＩＲフィルタと、ＤＢＰフィルタの透過光の強度分布と高精度なＲＧＢ画素値の算出処理例について説明する図である。 本開示の画像処理装置の一構成例であるマルチスペクトルカメラの構成例について説明する図である。 マルチバンドパスフィルタ（ＭＢＰ）と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）の分光特性について説明する図である。 ４種類の異なる波長信号Ａ～Ｄを透過させるＡＢＣＤカラーフィルタの構成例について説明する図である。 図８に示すＡＢＣＤカラーフィルタを用いた本開示の画像処理装置の一構成例であるマルチスペクトルカメラの構成例について説明する図である。 マルチバンドパスフィルタ（ＭＢＰ）と、カラーフィルタ（ＡＢＣＤカラーフィルタ）の分光特性について説明する図である。 信号処理部の実行する処理について説明する図である。 帯域対応画素値算出式を利用した反復計算による算出値の収束例について説明する図である。 マルチスペクトルカメラが実行する処理のシーケンスについて説明するフローチャートを示す図である。 帯域対応画素値算出式を用いた反復計算の手法について説明する図である。 帯域対応画素値算出式を用いた反復計算の手法について説明する図である。 ２つの異なる反射特性を持つ被写体を同じマルチスペクトルカメラで撮影した場合の画素値特性を説明する図である。 ノイズの無い高精度なＲＧＢ画像等のカラー画像を生成して出力する場合の画像処理装置としてのマルチスペクトルカメラの一構成例を示す図である。 被写体の色成分の高精度な解析処理を実行する画像処理装置としてのマルチスペクトルカメラの一構成例を示す図である。 植物活性状態を解析するための画像撮影の具体例について説明する図である。 植物活性度指標値について説明する図である。 てカラーフィルタの代わりにマイクロレンズアレイを用いた画像処理装置の構成例について説明する図である。 マイクロレンズアレイ（ＭＬＡ：Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ）について説明する図である。 カラーフィルタの代わりにプラズモンフィルタを用いた画像処理装置の構成例について説明する図である。 本開示の画像処理装置の一例である撮像装置（マルチスペクトルカメラ）の構成例について説明する図である。 本開示の画像処理装置、および画像処理システムの構成例について説明する図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．マルチスペクトルカメラの概要について
２．本開示の撮像装置、画像処理装置の構成と処理について
３．本開示の画像処理装置が実行する処理のシーケンスについて
４．本開示の処理とマトリックス適用処理との差異について
５．本開示の画像処理装置の具体的利用例について
６．その他の実施例について
６－（１）カラーフィルタの代わりにマイクロレンズアレイを用いた装置構成例
６－（２）カラーフィルタの代わりにプラズモンフィルタを用いた装置構成例
７．本開示の撮像装置、画像処理装置、および画像処理システムの構成例について
８．画像処理装置のハードウェア構成例について
９．本開示の構成のまとめ

［１．マルチスペクトルカメラの概要について］
まず、マルチスペクトルカメラの概要について説明する。
前述したように、マルチスペクトルカメラは、カラーフィルタに併せて特定の波長光のみを通過させるバンドパスフィルタ（ＢＰフィルタ）を用いたカメラである。

バンドパスフィルタ（ＢＰフィルタ）とカラーフィルタを通過させた光を撮像素子に入力することで、バンドパスフィルタ（ＢＰフィルタ）を通過する特定波長光成分を高精度に撮像素子の画素に入力させることが可能となる。

図１にマルチスペクトルカメラ１０の一構成例を示す。
図１に示すマルチスペクトルカメラ１０は、例えば植物の活性度を解析するために用いられる。具体的には、例えば撮影画像に含まれるＲ（赤）成分とＮＩＲ（近赤外）成分を解析するための画像を撮影するカメラである。

前述したように植物の活性度の指標値としてＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ）がある。
カメラ撮影画像の解析により、画像内に撮影された植物のＮＤＶＩを算出することで、撮影された画像内の植物の活性度を推定することができる。
このＮＤＶＩ算出処理には、被写体である植物に含まれる色成分を高精度に解析することが必要となる。

図１に示すマルチスペクトルカメラ１０のレンズ１１を介して入力した被写体の撮影光は、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３を介して撮像素子（イメージセンサ）１４に入力する。

デュアルバンドパスフィルタ（ＤＢＰ）１２は、２つの異なる波長光成分の光を選択的に透過するフィルタである。
ここで説明するデュアルバンドパスフィルタ（ＤＢＰ）１２は、Ｒ（赤）成分とＮＩＲ（近赤外）成分の２つの異なる波長光成分を選択的に透過するフィルタである。

カラーフィルタ（ＲＧＢカラーフィルタ）１３は、ＲＧＢ各色成分の波長光を各画素単位で透過させるフィルタである。例えばベイヤ配列のＲＧＢフィルタである。

撮像素子（イメージセンサ）１４の各画素には、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３のＲ（赤）またはＧ（緑）またはＢ（青）フィルタを通過した光が入力される。

撮像素子（イメージセンサ）１４のＲ画素には、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３のＲ（赤）フィルタを通過した光が入力する。
撮像素子（イメージセンサ）１４のＧ画素には、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３のＧ（緑）フィルタを通過した光が入力する。
撮像素子（イメージセンサ）１４のＢ画素には、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３のＢ（青）フィルタを通過した光が入力する。

図２は、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３の分光特性を説明するグラフを示す図である。
横軸が波長（４００～１０００ｎｍ）、縦軸がフィルタ透過光の信号強度（相対値）を示している。

カラーフィルタ（ＲＧＢカラーフィルタ）１３を構成するカラーフィルタ（Ｂ）の透過光は、その多くが約４５０ｎｍ近傍の波長光であるＢ（青）成分であるが、その他の波長成分の光も少なからず透過していることが分かる。
また、カラーフィルタ（Ｇ）の透過光は、その多くが約５４０ｎｍ近傍の波長光であるＧ（緑）成分であるが、その他の波長成分の光も含まれる。
同様に、カラーフィルタ（Ｒ）の透過光は、その多くが約６５０ｎｍ近傍の波長光であるＲ（赤）成分であるが、その他の波長成分の光も含まれる。

デュアルバンドパスフィルタ（ＤＢＰ）１２の透過光は、約６５０ｎｍ近傍の波長光であるＲ（赤）成分と、約９００ｎｍ近傍の波長光であるＮＩＲ（近赤外）成分の２つの波長光成分である。

次に、図３を参照して、図２に示す分光特性を持つデュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３を利用して画像撮影を行った場合の撮像素子（イメージセンサ）１４の構成画素であるＲ画素とＢ画素各画素の画素値算出例について説明する。

図３には、以下の各画素の画素値算出例を示している。
（１）Ｒ画素の画素値
（２）Ｂ画素の画素値

まず、（１）Ｒ画素の画素値算出例について説明する。
撮像素子（イメージセンサ）１４の構成画素であるＲ画素には、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３のＲ（赤）フィルタを通過した光が入力する。

前述したように、カラーフィルタ（Ｒ）の透過光は、その多くが約６５０ｎｍ近傍の波長光であるＲ（赤）成分であるが、その他の波長成分の光も含まれる。
デュアルバンドパスフィルタ（ＤＢＰ）１２の透過光は、約６５０ｎｍ近傍の波長光であるＲ（赤）成分と、約９００ｎｍ近傍の波長光であるＮＩＲ（近赤外）成分の２つの波長光成分である。

結果として、撮像素子（イメージセンサ）１４の構成画素であるＲ画素の画素値は、図３（１）に示す信号Ｓ１と信号Ｓ２の加算信号に相当する画素値となる。
すなわち、
Ｒ画素の画素値：Ｒｒａｗ＝Ｓ１＋Ｓ２
である。
なお、Ｒｒａｗのｒａｗは、ロー画像（ＲＡＷ画像）を意味する。すなわち、信号処理の施されていない撮像素子上の画素値である。

次に、（２）Ｂ画素の画素値算出例について説明する。
撮像素子（イメージセンサ）１４の構成画素であるＢ画素には、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３のＢ（青）フィルタを通過した光が入力する。

カラーフィルタ（Ｂ）の透過光は、その多くが約４５０ｎｍ近傍の波長光であるＢ（青）成分であるが、その他の波長成分の光も含まれる。
デュアルバンドパスフィルタ（ＤＢＰ）１２の透過光は、約６５０ｎｍ近傍の波長光であるＲ（赤）成分と、約９００ｎｍ近傍の波長光であるＮＩＲ（近赤外）成分の２つの波長光成分である。

結果として、撮像素子（イメージセンサ）１４の構成画素であるＢ画素の画素値は、図３（２）に示す信号Ｓ３と信号Ｓ４の加算信号に相当する画素値となる。
すなわち、
Ｂ画素の画素値：Ｂｒａｗ＝Ｓ３＋Ｓ４
である。

なお、これらＲ画素の画素値とＢ画素の画素値を用いて、以下のようなＲ（赤）信号、およびＮＩＲ（近赤外）信号、各波長光成分の算出が可能となる。
図３（１），（２）を見ると、Ｓ２≒Ｓ４であり、Ｓ３≒０であることが分かる。
この関係から、約６５０ｎｍ近傍の波長光であるＲ（赤）成分信号は、以下の算出式によって算出できる。
Ｒ＝（Ｓ１＋Ｓ２）－（Ｓ３＋Ｓ４）
＝Ｒｒａｗ－Ｂｒａｗ
上記式を用いれば、被写体に含まれるＲ（赤）成分信号の高精度な値を撮像素子のロー画像（ＲＡＷ画像）のＲ画素値（Ｒｒａｗ）とＢ画素値（Ｂｒａｗ）から算出することができる。

同様に、約９００ｎｍ近傍の波長光であるＮＩＲ（近赤外）成分信号は、
ＮＩＲ＝Ｓ４
≒（Ｓ３＋Ｓ４）
＝Ｂｒａｗ
である。
上記式を用いれば、被写体に含まれるＮＩＲ（近赤外）成分信号の高精度な値を撮像素子のＢ画素値（Ｂｒａｗ）から算出することができる。

このように、デュアルバンドパスフィルタ（ＤＢＰ）１２と、カラーフィルタ（ＲＧＢカラーフィルタ）１３を介して撮像素子（イメージセンサ）１４に入力する画素の画素値（Ｒｒａｗ，Ｂｒａｗ）に基づいて、特定波長帯域の信号（Ｒ，ＮＩＲ）の高精度な値を算出することが可能となる。
この解析値を用いることで例えば植物の活性度指数を高精度に算出することができる。

なお、図１に示すようなマルチスペクトルカメラ１０の撮像素子（イメージセンサ）１４から出力されるＲＡＷ画像の画素値から特定波長帯域の真の画素値を算出する場合、一般的にはマトリクス演算が利用される。例えば、以下の（式１１）に従って、撮像素子の出力として得られるＲＡＷ画像画素値であるＲ画素値（Ｒｒａｗ）とＢ画素値（Ｂｒａｗ）を用いて、Ｒ（赤）成分信号とＮＩＲ（近赤外）成分信号の高精度な値を算出することができる。

上記（式１１）のマトリクスのマトリクス要素であるＧ１、Ｇ２、Ｇ３、Ｇ４の値を適切に選択することで、ＲＥＤ帯域、ＮＩＲ帯域の信号を効率的かつ高精度に算出することが可能となる。

最も簡単な例としては、Ｂ画素値（Ｂｒａｗ）に含まれるＲ（赤）帯域の信号レベル（図３（２）の信号Ｓ３）は小さいとみなし、マトリクス要素を、
Ｇ１＝１、Ｇ２＝－１、Ｇ３＝０、Ｇ４＝１
とする。このようなマトリクスを用いることで、先に説明したと同様な信号算出式、すなわち、
Ｒ＝Ｒｒａｗ－Ｂｒａｗ
ＮＩＲ＝Ｂｒａｗ
上記と同じ算出処理を行うことができる。

しかし、Ｒ（赤）帯域の信号と、ＮＩＲ（近赤外）帯域の信号の分離特性が不十分であり、精度の高い結果を得るのは難しい。

さらに、光源や被写体が変わると、「Ｂ画素値（Ｂｒａｗ）に含まれるＮＩＲ（近赤外）帯域の信号レベル（図３（２）の信号Ｓ４）」と、「Ｒ画素値（Ｒｒａｗ）に含まれるＲ（赤）帯域の信号レベル（図３（１）の信号Ｓ１）」との割合が変化するため、上記のマトリクス要素（Ｇ１～Ｇ４）と同一の値を用いて各帯域の画素値を算出しても、高精度な値が得られ難いという問題がある。

図１に示す構成では、カラーフィルタ１３としてＲＧＢフィルタを用いているが、例えばカラーフィルタ１３として図４に示すようなＲＧＢＩＲフィルタを用いることで、ＲＧＢ各波長の高精度な値を算出することが可能である。

図４に示すＲＧＢＩＲフィルタのＩＲ（赤外）領域は近赤外（ＮＩＲ）光成分の透過領域である。
ただし、フィルタのＲ，Ｇ，Ｂ，ＩＲ領域のいずれも、完全には他の波長成分を遮断できないため、少なからず他波長成分を透過してしまう。

図５（１）は、ある画像撮影時のＲＧＢＩＲフィルタと、ＤＢＰフィルタの透過光の強度分布を示している。左側がＲＧＢＩＲフィルタのＲＧＢＩＲ各領域の透過光の強度分布データであり、右側がＤＢＰフィルタの透過光の強度分布データである。
本例において、ＤＢＰフィルタは、図５（１）右側のグラフに示すように、約６６０ｎｍ以下の可視光帯域と、９００ｎｍ近傍のＮＩＲ帯域を透過するデュアルバンジパスフィルタである。

図５（２）は、高精度なＲＧＢ画素値の算出処理例を説明する図である。
図５（２）に示すように、
（２ａ）撮像素子画素値（Ｒｒａｗ，Ｇｒａｗ，Ｂｒａｗ）（＝ＲＡＷ画像画素値）から、
（２ｂ）撮像素子画素値（ＩＲｒａｗ）（＝ＲＡＷ画像画素値）を減算する。
この減算処理によって、
（２ｃ）ＲＧＢ高精度画素値（Ｒ，Ｇ，Ｂ）
を算出することができる。

図５（１）の左側に示すＲＧＢＩＲ各領域の透過光の強度分布データから理解されるように、ＲＧＢＩＲフィルタのＲＧＢＩＲ各領域の透過光の強度分布データのＩＲ成分は、ほぼ共通の値である。
すなわち、ＲＧＢＩＲフィルタのＲＧＢ各領域の透過光に含まれるＩＲ成分（ノイズ成分）は、ＲＧＢＩＲフィルタのＩＲ領域の透過光に含まれるＩＲ成分とほぼ同じである。

従って、ＲＧＢＩＲフィルタのＲＧＢ各領域の透過光によって撮像素子上に形成されるＲＡＷ画像画素値（Ｒｒａｗ，Ｇｒａｗ，Ｂｒａｗ）から、ＲＧＢＩＲフィルタのＩＲ領域の透過光によって撮像素子上に形成されるＲＡＷ画像画素値（ＩＲｒａｗ）を減算することで、ＲＧＢＩＲフィルタのＲＧＢ各領域の透過光に含まれるＩＲ成分（ノイズ成分）を減算することが可能となり、図５（２ｃ）に示すＲＧＢ高精度画素値（Ｒ，Ｇ，Ｂ）を算出することができる。

この処理例は、ＲＧＢ＋ＩＲのカラーフィルタと、可視光領域とＮＩＲ（近赤外光ＮＩＲ）の２バンドパス特性を持つＤＢＰフィルタを組み合わせて、高精度なＲＧＢ値を得る処理例である。

しかし、この処理例において、最終的に得られる図５（２ｃ）に示す高精度なＲＧＢ値は、赤外領域の信号は除去されているものの、赤外領域以外のノイズ成分は残存したままである。すなわち、この処理例では、ＲＧＢ各狭帯域での信号抽出が実現されておらず、真の高精度ＲＧＢ画素値の取得処理は実現されていない。

［２．本開示の撮像装置、画像処理装置の構成と処理について］
次に、本開示の撮像装置、画像処理装置の構成と処理について説明する。なお、撮像装置は、画像処理装置の一構成例であり、以下の説明において、画像処理装置は撮像装置を含むものである。

本開示の画像処理装置は、カラーフィルタとマルチバンドパスフィルタ（ＭＢＰ）の透過光に基づく撮影画像に対する信号処理を行うことで限定された波長帯域単位のノイズの少ない狭帯域信号、例えばＲ，Ｇ，Ｂ，ＩＲ各々のノイズの少ない特定帯域の信号（画素値）を取得することを可能とした構成である。

本開示の画像処理装置は、例えばカラーフィルタの構成に応じたマルチバンドパスフィルタ（ＭＢＰ）を利用した構成を有する。
すなわち、本開示の画像処理装置の一例である撮像装置のマルチバンドパスフィルタ（ＭＢＰ）は、撮像装置のカラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成を有する。

具体的には、例えば、撮像装置のカラーフィルタがＲＧＢカラーフィルタである場合、ＲＧＢ各々３波長を透過する特性を持つマルチバンドパスフィルタ（ＭＢＰ）を利用する。
また、撮像装置のカラーフィルタがＲＧＢＩＲカラーフィルタである場合、ＲＧＢＩＲ各々４波長を透過する特性を持つマルチバンドパスフィルタ（ＭＢＰ）を利用する。

このように、カラーフィルタの構成に応じたマルチバンドパスフィルタ（ＭＢＰ）を利用することで、ＲＧＢ、あるいはＲＧＢＩＲ等、カラーフィルタを構成するフィルタ種類に対応する帯域信号の分離性能を高めることが可能となる。

図６に本開示の画像処理装置の一構成例であるマルチスペクトルカメラ１００の構成例を示す。
図６に示すマルチスペクトルカメラ１００において、レンズ１０１を介して入力した被写体の撮影光は、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１０３を介して撮像素子（イメージセンサ）１０４に入力する。

さらに、撮像素子（イメージセンサ）１０４の画素値（Ｒｒａｗ，Ｇｒａｗ，Ｂｒａｗ，ＩＲｒａｗ）は信号処理部１０５に入力され、信号処理がなされる。
信号処理部１０５は、撮像素子（イメージセンサ）１０４の画素値（Ｒｒａｗ，Ｇｒａｗ，Ｂｒａｗ，ＩＲｒａｗ）からノイズ成分を除去し、Ｒ，Ｇ，Ｂ，ＩＲの各信号の高精度な値を算出する。

マルチバンドパスフィルタ（ＭＢＰ）１０２は、カラーフィルタ１０３のフィルタ構成に対応したフィルタであり、カラーフィルタ１０３を構成する複数の色フィルタ対応の帯域光を選択的に透過させる。すなわちカラーフィルタ１０３を構成する色フィルタ種類数と同様の４つの異なる波長光成分の光を選択的に透過するフィルタである。

図６に示す構成では、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１０３は、Ｒ，Ｇ，Ｂ，ＩＲの４種類のフィルタ領域を有している。この場合、マルチバンドパスフィルタ（ＭＢＰ）１０２は、これらＲ，Ｇ，Ｂ，ＩＲの４種類の波長を選択的に透過するフィルタとする。

撮像素子１０４のＲＧＢＩＲ画素に入力する各波長光の分布データの一例について図７を参照して説明する。
図７は、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１０３の分光特性を示す図である。
横軸が波長（４００～１０００ｎｍ）、縦軸がフィルタ透過光の信号強度（相対値）を示している。

カラーフィルタ（ＲＧＢカラーフィルタ）１０３を構成するカラーフィルタ（Ｂ）の透過光は、その多くが約４５０ｎｍ近傍の波長光であるＢ（青）成分であるが、その他の波長成分の光も少なからず透過していることが分かる。
また、カラーフィルタ（Ｇ）の透過光は、その多くが約５４０ｎｍ近傍の波長光であるＧ（緑）成分であるが、その他の波長成分の光も含まれる。
カラーフィルタ（Ｒ）の透過光は、その多くが約６５０ｎｍ近傍の波長光であるＲ（赤）成分であるが、その他の波長成分の光も含まれる。
同様に、カラーフィルタ（ＩＲ）の透過光は、その多くが約９５０ｎｍ近傍の波長光であるＮＩＲ（近赤外）成分であるが、その他の波長成分の光も含まれる。

また、マルチバンドパスフィルタ（ＭＢＰ）１０２の透過光は、全面において、以下の４種類の波長成分を選択的に透過する。
（１）約４５０ｎｍ近傍の波長光であるＢ（青）成分、
（２）約５４０ｎｍ近傍の波長光であるＧ（緑）成分、
（３）約６５０ｎｍ近傍の波長光であるＲ（赤）成分、
（４）約９００ｎｍ近傍の波長光であるＮＩＲ（近赤外）成分、

撮像素子（イメージセンサ）１０４のＲ画素、すなわちカラーフィルタ１０３のＲ領域透過光受光画素であるＲ画素には、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１０３のＲ（赤）フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちＲＡＷ画像のＲ画素の画素値をＲｒａｗとする。

撮像素子（イメージセンサ）１０４のＧ画素には、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１０３のＧ（緑）フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちＲＡＷ画像のＧ画素の画素値をＧｒａｗとする。

撮像素子（イメージセンサ）１０４のＢ画素には、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１０３のＢ（青）フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちＲＡＷ画像のＢ画素の画素値をＢｒａｗとする。

撮像素子（イメージセンサ）１０４のＩＲ画素には、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１０３のＮＩＲ（近赤外）フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちＲＡＷ画像のＩＲ画素の画素値をＩＲｒａｗとする。

撮像素子１０４のＲＡＷ画像画素値：Ｒｒａｗ，Ｇｒａｗ，Ｂｒａｗ，ＩＲｒａｗ、これらの各画素値は、ＲＧＢＩＲ各々の狭帯域信号のみならず、その他の波長のノイズが含まれたものとなる。
信号処理部１０５は、撮像素子１０４のＲＡＷ画像画素値（Ｒｒａｗ，Ｇｒａｗ，Ｂｒａｗ，ＩＲｒａｗ）を入力して、これらの画素値からノイズ成分を除去して、ＲＧＢＩＲの各波長の高精度な画素値を算出する。

図８以下を参照して信号処理部１０５の実行する具体的な信号処理例について説明する。
なお、以下の説明においては、本開示の構成、処理を一般化して説明するため、カラーフィルタ１０３を、図８に示すように４種類の異なる波長信号Ａ～Ｄを透過させるＡＢＣＤカラーフィルタによって構成されたものとして説明する。

ＡＢＣＤカラーフィルタは、
主に帯域Ａの波長光を透過させるＡ帯域フィルタ、
主に帯域Ｂの波長光を透過させるＢ帯域フィルタ、
主に帯域Ｃの波長光を透過させるＣ帯域フィルタ、
主に帯域Ｄの波長光を透過させるＤ帯域フィルタ、
これら４種類の帯域フィルタによって構成されたカラーフィルタである。

なお、本開示の画像処理装置は、カラーフィルタとしては様々な構成が利用可能である。ＲＧＢ３色のカラーフィルタ、ＲＧＢＩＲ４色のカラーフィルタ、その他様々な異なるカラーフィルタが利用できる。
以下では、代表例として図８に示すように４種類の異なる波長帯域Ａ～Ｄを透過させるフィルタによって構成されたカラーフィルタを用いた場合の構成と処理例について説明する。

図９は、図８に示すＡＢＣＤカラーフィルタを用いた本開示の画像処理装置の一構成例であるマルチスペクトルカメラ１００を示した図である。
図９に示すマルチスペクトルカメラ１００は、先に図６を参照して説明したマルチスペクトルカメラ１００のＲＧＢＩＲカラーフィルタを、図８に示す構成を持つＡＢＣＤ各帯域フィルタからなるＡＢＣＤカラーフィルタに置き換えた構成である。

マルチバンドパスフィルタ（ＭＢＰ）１０２は、ＡＢＣＤカラーフィルタを構成する４種類のフィルタＡ～Ｄに対応する４種類の異なる波長帯域の信号を選択的に透過させるフィルタである。

図１０は、先に説明した図７と同様、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＡＢＣＤカラーフィルタ）１０３の分光特性を示す図である。
横軸が波長（４００～１０００ｎｍ）、縦軸がフィルタ透過光の信号強度（相対値）を示している。

カラーフィルタ（ＲＧＢカラーフィルタ）１０３を構成するカラーフィルタ（Ａ）の透過光は、その多くが帯域Ａ近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ（Ｂ）の透過光は、その多くが帯域Ｂ近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ（Ｃ）の透過光は、その多くが帯域Ｃ近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ（Ｄ）の透過光は、その多くが帯域Ｄ近傍の波長光であるが、その他の波長成分の光も少なからず透過する。

また、マルチバンドパスフィルタ（ＭＢＰ）１０２の透過光は、全面において帯域Ａ～Ｄの４種類の波長成分を選択的に透過する。

撮像素子（イメージセンサ）１０４のＡ画素、すなわちカラーフィルタ１０３の領域Ａの透過光を受光するＡ画素には、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＡＢＣＤカラーフィルタ）１０３のＡ帯域フィルタを通過した光が入力する。Ａ画素のＲＡＷ画像画素値をＡｒａｗとする。

撮像素子（イメージセンサ）１０４のＢ画素には、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＡＢＣＤカラーフィルタ）１０３のＢ帯域フィルタを通過した光が入力する。Ｂ画素のＲＡＷ画像画素値をＢｒａｗとする。

撮像素子（イメージセンサ）１０４のＣ画素には、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＡＢＣＤカラーフィルタ）１０３のＣ帯域フィルタを通過した光が入力する。Ｃ画素のＲＡＷ画像画素値をＣｒａｗとする。

撮像素子（イメージセンサ）１０４のＤ画素には、マルチバンドパスフィルタ（ＭＢＰ）１０２と、カラーフィルタ（ＡＢＣＤカラーフィルタ）１０３のＤ帯域フィルタを通過した光が入力する。Ｄ画素のＲＡＷ画像画素値をＤｒａｗとする。

撮像素子１０４のＲＡＷ画像画素値：Ａｒａｗ，Ｂｒａｗ，Ｃｒａｗ，Ｄｒａｗ、これらの各画素値は、ＡＢＣＤ各々の狭帯域信号のみならず、その他の波長のノイズが含まれたものとなる。
信号処理部１０５は、撮像素子１０４のＲＡＷ画像画素値（Ａｒａｗ，Ｂｒａｗ，Ｃｒａｗ，Ｄｒａｗ）を入力して、これらの画素値からノイズ成分を除去して、ＡＢＣＤ各帯域の高精度な画素値を算出する。

図１０の下部には、撮像素子１０４のＡｒａｗ，Ｂｒａｗ，Ｃｒａｗ，Ｄｒａｗの各画素値の算出式を示している。撮像素子１０４のＡｒａｗ，Ｂｒａｗ，Ｃｒａｗ，Ｄｒａｗの各ＲＡＷ画像画素値は以下の算出式によって算出できる。
Ａｒａｗ＝ａ１＋ａ２＋ａ３＋ａ４
Ｂｒａｗ＝ｂ１＋ｂ２＋ｂ３＋ｂ４
Ｃｒａｗ＝ｃ１＋ｃ２＋ｃ３＋ｃ４
Ｄｒａｗ＝ｄ１＋ｄ２＋ｄ３＋ｄ４

ａ１，ｂ２，ｃ３，ｄ４は、図１０のグラフに示す点に対応し、以下の各信号に相当する。
ａ１＝ＲＡＷ画像画素値Ａｒａｗに含まれる帯域Ａの信号成分、
ａ２＝ＲＡＷ画像画素値Ａｒａｗに含まれる帯域Ｂの信号成分、
ａ３＝ＲＡＷ画像画素値Ａｒａｗに含まれる帯域Ｃの信号成分、
ａ４＝ＲＡＷ画像画素値Ａｒａｗに含まれる帯域Ｄの信号成分、

ｂ１＝ＲＡＷ画像画素値Ｂｒａｗに含まれる帯域Ａの信号成分、
ｂ２＝ＲＡＷ画像画素値Ｂｒａｗに含まれる帯域Ｂの信号成分、
ｂ３＝ＲＡＷ画像画素値Ｂｒａｗに含まれる帯域Ｃの信号成分、
ｂ４＝ＲＡＷ画像画素値Ｂｒａｗに含まれる帯域Ｄの信号成分、

ｃ１＝ＲＡＷ画像画素値Ｃｒａｗに含まれる帯域Ａの信号成分、
ｃ２＝ＲＡＷ画像画素値Ｃｒａｗに含まれる帯域Ｂの信号成分、
ｃ３＝ＲＡＷ画像画素値Ｃｒａｗに含まれる帯域Ｃの信号成分、
ｃ４＝ＲＡＷ画像画素値Ｃｒａｗに含まれる帯域Ｄの信号成分、

ｄ１＝ＲＡＷ画像画素値Ｄｒａｗに含まれる帯域Ａの信号成分、
ｄ２＝ＲＡＷ画像画素値Ｄｒａｗに含まれる帯域Ｂの信号成分、
ｄ３＝ＲＡＷ画像画素値Ｄｒａｗに含まれる帯域Ｃの信号成分、
ｄ４＝ＲＡＷ画像画素値Ｄｒａｗに含まれる帯域Ｄの信号成分、

なお、撮像素子１０４のＡ画素のＲＡＷ画像画素値Ａｒａｗに含まれる信号成分ａ１～ａ４の内、帯域Ａに相当する信号はａ１のみであり、その他のａ２，ａ３，ａ４はノイズ信号に相当する。
同様に、撮像素子１０４のＢ画素のＲＡＷ画像画素値Ｂｒａｗに含まれる信号成分ｂ１～ｂ４の内、帯域Ｂに相当する信号はｂ２のみであり、その他のｂ１，ｂ３，ｂ４はノイズ信号に相当する。
同様に、撮像素子１０４のＣ画素のＲＡＷ画像画素値Ｃｒａｗに含まれる信号成分ｃ１～ｃ４の内、帯域Ｃに相当する信号はｃ３のみであり、その他のｃ１，ｃ２，ｃ４はノイズ信号に相当する。
同様に、撮像素子１０４のＤ画素のＲＡＷ画像画素値Ｄｒａｗに含まれる信号成分ｄ１～ｄ４の内、帯域Ｄに相当する信号はｄ４のみであり、その他のｄ１，ｄ２，ｄ３はノイズ信号に相当する。

信号処理部１０５は、撮像素子１０４から、これらノイズ成分を含むＲＡＷ画像画素値（Ａｒａｗ～Ｄｒａｗ）を入力して、ノイズ成分を除去した帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する処理を実行する。
信号処理部１０５の実行する処理について図１１以下を参照して説明する。

図１１は、信号処理部１０５の実行する処理の概要を説明する図である。
信号処理部１０５は図１１に示すステップＳ０１～Ｓ０３の処理を実行する。

（ステップＳ０１）
図１１に示すステップＳ０１は、信号処理部１０５による撮像素子１０４からの入力画素値に基づく画素単位のＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）の算出式生成処理である。

図１１（Ｓ０１）には撮像素子１０４から入力するＲＡＷ画像に基づいて生成される画素単位のＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）の算出式、すなわち以下のＲＡＷ画像ベース画素値算出式（式２１）を示している。
Ａｒａｗ＝ａ１＋ａ２＋ａ３＋ａ４
Ｂｒａｗ＝ｂ１＋ｂ２＋ｂ３＋ｂ４
Ｃｒａｗ＝ｃ１＋ｃ２＋ｃ３＋ｃ４
Ｄｒａｗ＝ｄ１＋ｄ２＋ｄ３＋ｄ４
・・・・・・・・（式２１）

なお、これらＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）は、撮像素子の各画素単位で生成し、画素単位でステップＳ０１～Ｓ０３の処理を実行し、信号処理部１０５は、画素単位でノイズ成分を除去した帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する。

撮像素子１０４から入力するＲＡＷ画像は、ＡＢＣＤカラーフィルタの配置に応じて各画素にＡＢＣＤ画素値が設定されたＲＡＷ画像であるが、信号処理部１０５は、このＲＡＷ画像にデモザイク処理を実行し、撮像素子１０４の各画素にＡＢＣＤ各画素値を設定する。上記（式２１）に示すＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）は、このデモザイク処理後の１つの同一画素の画素値である。

なお、このようなデモザイク処理を省略し、所定の画素ブロック単位でステップＳ０１～Ｓ０３の処理を実行する構成としてもよい。
例えば撮像素子の２×２のＡＢＣＤ画素、すなわち４画素のブロックを１つの処理ブロックとして、この１つの処理ブロックの４つのＲＡＷ画像画素値（Ａｒａｗ～Ｄｒａｗ）を、その４画素全体のＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）として処理を行う構成も可能である。この場合、解像度は低下するがノイズ低減効果としては同様の効果が得られる。

（ステップＳ０２）
次に、信号処理部１０５は、ステップＳ０２において、上記のＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）から、ノイズ成分を除去した帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する式を生成する。

図１１（Ｓ０２）に示すように、帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）算出式は、以下の（式２２）として示される。
ａ１＝Ａｒａｗ－ａ２－ａ３－ａ４
ｂ２＝Ｂｒａｗ－ｂ１－ｂ３－ｂ４
ｃ３＝Ｃｒａｗ－ｃ１－ｃ２－ａ４
ｄ４＝Ｄｒａｗ－ｄ１－ｄ２－ｄ３
・・・・・・・・（式２２）

この（式２２）は、上記（ステップＳ０１）に示すＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）算出式（式２１）を展開して得られる式である。

（ステップＳ０３）
次に、信号処理部１０５は、ステップＳ０３において、上記（ステップＳ０２）で生成した真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）算出式に含まれるノイズ成分データを、マルチスペクトルカメラ１００の分光特性パラメータ（Ｋａｎ～Ｋｄｎ）に置き換えて、以下の（式２３）として示す帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する帯域対応画素値算出式を生成する。
なお、分光特性パラメータ（Ｋａｎ～Ｋｄｎ）は、カメラ固有のパラメータであり、予め測定した値をメモリ内に格納しておく。

ａ１＝Ａｒａｗ－Ｋａ２×ｂ２－Ｋａ３×ｃ３－Ｋａ４×ｄ４
ｂ２＝Ｂｒａｗ－Ｋｂ１×ａ１－Ｋｂ３×ｃ３－Ｋｂ４×ｄ４
ｃ３＝Ｃｒａｗ－Ｋｃ１×ａ１－Ｋｃ２×ｂ２－Ｋｃ４×ｄ４
ｄ４＝Ｄｒａｗ－Ｋｄ１×ａ１－Ｋｄ２×ｂ２－Ｋｄ３×ｃ３
・・・・・・・・（式２３）

上記（式２３）に利用されるマルチスペクトルカメラ１００の分光特性パラメータ（Ｋａｎ～Ｋｄｎ）は以下のパラメータである。
Ｋａ２＝ａ２／ｂ２
Ｋａ３＝ａ３／ｃ３
Ｋａ４＝ａ４／ｄ４
Ｋｂ１＝ｂ１／ａ１
Ｋｂ３＝ｂ３／ｃ３
Ｋｂ４＝ｂ４／ｄ４
Ｋｃ１＝ｃ１／ａ１
Ｋｃ２＝ｃ２／ｂ２
Ｋｃ４＝ｃ４／ｄ４
Ｋｄ１＝ｄ１／ａ１
Ｋｄ２＝ｄ２／ｂ２
Ｋｄ３＝ｄ３／ｃ３

例えば、Ｋａ２＝ａ２／ｂ２は、図１０に示すグラフの帯域Ｂ領域のフィルタＡの透過信号ａ２と、フィルタＢの透過信号ｂ２の比率（ａ２／ｂ２）である。
Ｋａ３＝ａ３／ｃ３は、図１０に示すグラフの帯域Ｃ領域のフィルタＡの透過信号ａ３と、フィルタＣの透過信号ｃ３の比率（ａ３／ｃ３）である。
Ｋａ４＝ａ４／ｃｄは、図１０に示すグラフの帯域Ｄ領域のフィルタＡの透過信号ａ４と、フィルタＤの透過信号ｄ４の比率（ａ４／ｄ４）である。
Ｋｂ１＝ｂ１／ａ１は、図１０に示すグラフの帯域Ａ領域のフィルタＢの透過信号ｂ１と、フィルタＡの透過信号ａ１の比率（ｂ１／ａ１）である。

以下、同様であり、マルチスペクトルカメラ１００の分光特性パラメータは、カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域、すなわち、マルチバンドパスフィルタの透過光帯域における強度比である。
本例では、マルチスペクトルカメラ１００の分光特性パラメータ（Ｋａｎ～Ｋｄｎ）は帯域Ａ～Ｄにおけるカラーフィルタを構成する各フィルタＡ～Ｄの透過信号の比率データである。
この分光特性パラメータ（Ｋａｎ～Ｋｄｎ）はカメラ固有のパラメータであり、予め測定可能な値である。

本開示の画像処理装置であるマルチスペクトルカメラ１００は、このマルチスペクトルカメラ１００の分光特性パラメータ（Ｋａｎ～Ｋｄｎ）をメモリに格納しており、メモリから取得したパラメータを用いて、図１１（ステップＳ０３）に示す真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）算出式、すなわち帯域対応画素値算出式である（式２３）に代入してａ１，ｂ２，ｃ３，ｄ４を算出する。
ａ１＝Ａｒａｗ－Ｋａ２×ｂ２－Ｋａ３×ｃ３－Ｋａ４×ｄ４
ｂ２＝Ｂｒａｗ－Ｋｂ１×ａ１－Ｋｂ３×ｃ３－Ｋｂ４×ｄ４
ｃ３＝Ｃｒａｗ－Ｋｃ１×ａ１－Ｋｃ２×ｂ２－Ｋｃ４×ｄ４
ｄ４＝Ｄｒａｗ－Ｋｄ１×ａ１－Ｋｄ２×ｂ２－Ｋｄ３×ｃ３
・・・・・・・・（式２３）

なお、マルチスペクトルカメラ１００の分光特性パラメータ（Ｋａｎ～Ｋｄｎ）は、例えば外部機器や外部サーバから取得する構成としてもよい。

信号処理部１０５は、まず、上記（式２３）の等式の右側部分のａ１，ｂ２，ｃ３，ｄ４の初期値として、以下のＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）を入力する。
ａ１＝Ａｒａｗ
ｂ２＝Ｂｒａｗ
ｃ３＝Ｃｒａｗ
ｄ４＝Ｄｒａｗ

これらの値の代入処理により、帯域対応画素値算出式の初期設定式（式２４）を生成する。
ａ１＝Ａｒａｗ－Ｋａ２×Ｂｒａｗ－Ｋａ３×Ｃｒａｗ－Ｋａ４×Ｄｒａｗ
ｂ２＝Ｂｒａｗ－Ｋｂ１×Ａｒａｗ－Ｋｂ３×Ｃｒａｗ－Ｋｂ４×Ｄｒａｗ
ｃ３＝Ｃｒａｗ－Ｋｃ１×Ａｒａｗ－Ｋｃ２×Ｂｒａｗ－Ｋｃ４×Ｄｒａｗ
ｄ４＝Ｄｒａｗ－Ｋｄ１×Ａｒａｗ－Ｋｄ２×Ｂｒａｗ－Ｋｄ３×Ｃｒａｗ
・・・・・・・・（式２４）

信号処理部１０５は、上記初期設定式（式２４）に従って算出したａ１，ｂ２，ｃ３，ｄ４を、さらに、先に説明した帯域対応画素値算出式（式２３）の等式の右側部分に代入して、ａ１，ｂ２，ｃ３，ｄ４の新たな値を算出する。
さらに、その算出値を帯域対応画素値算出式（式２３）の右側部分に代入して、ａ１，ｂ２，ｃ３，ｄ４の新たな値を算出する。
この演算を繰り返す。すなわち、帯域対応画素値算出式（式２３）を利用した反復計算を複数回、繰り返して実行する。
上記帯域対応画素値算出式（式２３）を利用した反復計算を複数回、繰り返して実行すると、ａ１，ｂ２，ｃ３，ｄ４の値は次第に収束する。
実際の反復計算によるａ１，ｂ２，ｃ３，ｄ４の収束例を図１２に示す。

図１２には、横軸に上記帯域対応画素値算出式（式２３）による計算の実行回数、縦軸に真値との誤差（％）を示したグラフである。
グラフには、上記（式２３）による計算を繰り返して得られるａ１，ｂ２，ｃ３，ｄ４の値の推移を示している。
グラフから理解されるように反復計算を６～７回実行することで、ａ１，ｂ２，ｃ３，ｄ４の値は、ほぼ収束する。

信号処理部１０５は、上記帯域対応画素値算出式（式２３）を適用した反復計算による収束値を、帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）とする。

上記帯域対応画素値算出式（式２３）を適用した反復計算によって画素値（ａ１，ｂ２，ｃ３，ｄ４）が収束したか否かの判定については、例えば、ｎ回目の反復計算による複数の画素値の算出結果と、直前のｎ－１回目の反復計算による算出結果との差分が、すべて所定のしきい値以下、例えば５％以下となった場合に収束したと判定するといった方法が適用可能である。
あるいは予め反復計算の実行回数を６回、あるいは７回等の規定回数として予め設定し、規定回数の反復計算終了時点で、収束したと判定する構成としてもよい。

信号処理部１０５は、ステップＳ１０３における反復計算結果の収束値を、帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）とする。
信号処理部１０５は、ステップＳ０１～Ｓ０３の処理を画素単位で実行することで、撮像素子を構成する全画素について、画素単位で帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する。

なお、前述したように所定の画素ブロック単位で処理を実行し、ブロック単位で帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する構成としてもよい。

なお、信号処理部１０５は、算出した帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を利用して、その後のカラー画像の生成、あるいは被写体の色成分の解析等を実行する。

被写体の色成分の解析とは、例えば、前述した植物の活性度の指標値であるＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ）の解析処理等である。画像内に撮影された植物のＮＤＶＩの算出には、被写体である植物の色成分として含まれる赤（ＲＥＤ）と近赤外（ＮＩＲ）の値が必要となる。

具体的には、ＮＤＶＩは、以下の式に従って算出することができる。
ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）
上記式において、
ＲＥＤ，ＮＩＲは画像の各画素におけるＲＥＤ波長とＮＩＲ波長の強度（画素値）である。

なお、カラー画像の生成や被写体の色成分の解析等は、信号処理部１０５自身が行ってもよいが、信号処理部１０５の算出した帯域Ａ～Ｄ各々の真の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を後段のデータ処理部に出力して、データ処理部において実行してもよい。

［３．本開示の画像処理装置が実行する処理のシーケンスについて］
次に、本開示の画像処理装置が実行する処理のシーケンスについて説明する。

本開示の画像処理装置、例えば図６や図９に示すマルチスペクトルカメラ１００や、カメラからの入力画像の処理を実行するＰＣ等の画像処理装置が実行する処理のシーケンスについて図１３に示すフローチャートを参照して説明する。
なお、図１３に示すフローチャートに従った処理は、撮像装置やＰＣ等の画像処理装置内の記憶部に格納されたプログラムに従って実行することが可能である。撮像装置や画像処理装置のデータ処理部は、記憶部に格納されたプログラムに従って図１３に示すフローチャートに従った処理を実行する。
以下、フローの各ステップの処理について、順次、説明する。

（ステップＳ１０１）
まず、撮像装置は、ステップＳ１０１において画像撮影処理を実行する。
図６や図９に示す構成を用いて画像撮影を行う。マルチスペクトルカメラ１００による撮影処理により、被写体に応じた光がレンズ１０１、マルチバンドパスフィルタ１０２、カラーフィルタ１０３を介して撮像素子（イメージセンサ）１０４に入力される。

撮像素子（イメージセンサ）１０４の各画素は、入力光に応じたＲＡＷ画像画素値（Ａｒａｗ～Ｄｒａｗ）を信号処理部１０５に出力する。

（ステップＳ１０２）
次に、画像処理装置の信号処理部１０５は、ステップＳ１０２において、撮像素子（イメージセンサ）１０４から入力するＲＡＷ画像に基づくデモザイク処理によって生成される画素単位のＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）と、カメラの分光特性パラメータ（Ｋａｎ～Ｋｄｎ）を用いて、各帯域（波長）対応の真の画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する帯域対応画素値算出式を生成する。
なお、ステップＳ１０２～Ｓ１０５の処理は、画素単位で実行する。

画像処理装置の信号処理部１０５は、ステップＳ１０２において、処理対象画素についての帯域対応画素値算出式、すなわち、先に説明した以下に示す帯域対応画素値算出式（式２３）を生成する。
ａ１＝Ａｒａｗ－Ｋａ２×ｂ２－Ｋａ３×ｃ３－Ｋａ４×ｄ４
ｂ２＝Ｂｒａｗ－Ｋｂ１×ａ１－Ｋｂ３×ｃ３－Ｋｂ４×ｄ４
ｃ３＝Ｃｒａｗ－Ｋｃ１×ａ１－Ｋｃ２×ｂ２－Ｋｃ４×ｄ４
ｄ４＝Ｄｒａｗ－Ｋｄ１×ａ１－Ｋｄ２×ｂ２－Ｋｄ３×ｃ３
・・・・・・・・（式２３）

（ステップＳ１０３）
次に、画像処理装置は、ステップＳ１０３において、ステップＳ１０２で生成した帯域対応画素値算出式を用いた反復計算処理を実行する。

すなわち、まず、上記（式２３）の等式の右側部分のａ１，ｂ２，ｃ３，ｄ４の初期値として、以下のＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）を入力する。
ａ１＝Ａｒａｗ
ｂ２＝Ｂｒａｗ
ｃ３＝Ｃｒａｗ
ｄ４＝Ｄｒａｗ

これらの値の代入処理により、帯域対応画素値算出式の初期設定式（式２４）を生成する。
ａ１＝Ａｒａｗ－Ｋａ２×Ｂｒａｗ－Ｋａ３×Ｃｒａｗ－Ｋａ４×Ｄｒａｗ
ｂ２＝Ｂｒａｗ－Ｋｂ１×Ａｒａｗ－Ｋｂ３×Ｃｒａｗ－Ｋｂ４×Ｄｒａｗ
ｃ３＝Ｃｒａｗ－Ｋｃ１×Ａｒａｗ－Ｋｃ２×Ｂｒａｗ－Ｋｃ４×Ｄｒａｗ
ｄ４＝Ｄｒａｗ－Ｋｄ１×Ａｒａｗ－Ｋｄ２×Ｂｒａｗ－Ｋｄ３×Ｃｒａｗ
・・・・・・・・（式２４）

信号処理部１０５は、上記初期設定式（式２４）に従って算出したａ１，ｂ２，ｃ３，ｄ４を、さらに、前記した帯域対応画素値算出式（式２３）の等式の右側部分に代入して、ａ１，ｂ２，ｃ３，ｄ４の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式（式２３）の右側部分に代入して、ａ１，ｂ２，ｃ３，ｄ４の新たな値を算出する。この反復計算を繰り返して実行する。
先に図１２を参照して説明したように、上記帯域対応画素値算出式（式２３）を利用した反復計算を複数回、繰り返して実行すると、ａ１，ｂ２，ｃ３，ｄ４の値は次第に収束する。

（ステップＳ１０４）
画像処理装置は、ステップＳ１０４において、帯域対応画素値算出式を用いて算出される帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）が収束したか否かを判定する。

なお、上記帯域対応画素値算出式（式２３）を適用した反復計算によって帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）が収束したか否かの判定については、前述したように、例えば、ｎ回目の反復計算による複数の画素値の算出結果と、直前のｎ－１回目の反復計算による算出結果との差分が、すべて所定のしきい値以下、例えば５％以下となった場合に収束したと判定するといった方法が適用可能である。
あるいは予め反復計算の実行回数を６回、７回等として規定回数として決定し、規定回数の反復計算が終了した時点で収束したと判定してもよい。

ステップＳ１０４において、帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）が収束していないと判定した場合は、ステップＳ１０３に戻り反復計算を繰り返す。一方、帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）が収束したと判定した場合はステップＳ１０５に進む。

（ステップＳ１０５）
ステップＳ１０４において、帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）が収束したと判定した場合はステップＳ１０５に進む。
ステップＳ１０５において、画像処理装置の信号処理部１０５は、収束した帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を、処理対象画素の画素値として設定する。

（ステップＳ１０６）
次に、画像処理装置の信号処理部１０５は、ステップＳ１０６において、撮像素子の全画素の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）の算出が完了したか否かを判定する。

帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）の算出が完了していない画素がある場合は、ステップＳ１０２に戻り、未処理画素について、ステップＳ１０２～Ｓ１０５の処理を実行する。
全画素の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）の算出が完了したと判定した場合は、ステップＳ１０７に進む。

（ステップＳ１０７）
全画素の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）の算出が完了した場合、画像処理装置の信号処理部１０５は、ステップＳ１０７において、帯域対応画素値算出式の反復計算によって算出した帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を用いてその後の信号処理を実行する。

その後の信号処理とは、例えばカラー画像の生成や、被写体の色成分の解析、具体的には植物の活性度指標値：ＮＤＶＩの算出処理等である。

なお、上述した説明では、帯域対応画素値算出式の反復計算による帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）の算出処理を画素単位で実行するものとして説明したが、前述したように所定の画素ブロック単位で実行する構成としてもよい。
また、ステップＳ１０６で「撮像素子の全画素の帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）の算出が完了したか否かを判定」し、その後「ステップＳ１０７において、帯域対応画素値算出式の反復計算によって算出した帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）を用いてその後の信号処理を実行する。」と述べたが、画素毎に「帯域対応画素値（ａ１，ｂ２，ｃ３，ｄ４）算出が完了」した後、続けてステップＳ１０７の処理を行い、ステップＳ１０６の全画素処理終了の判断は、ステップＳ１０７の後に行うことも可能である。

フローを参照して説明したように本開示の画像処理装置、例えば図６や図９に示すマルチスペクトルカメラは、マルチバンドパスフィルタとカラーフィルタを介して撮影されるＲＡＷ画像の画素値に基づいて画素単位で設定されるＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）と、カメラの分光特性パラメータ（Ｋａｎ～Ｋｄｎ）を用いて、各帯域（波長）対応の真の画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する帯域対応画素値算出式（式２３）を生成し、この帯域対応画素値算出式を用いた反復計算により、帯域対応の真の画素値（ａ１，ｂ２，ｃ３，ｄ４）を算出する。

なお、帯域対応画素値算出式を用いた反復計算の手法として、複数の異なる手法がある。
図１４、図１５を参照して反復計算の２つの手法について説明する。

図１４は、上述した図１３に示すフローに従って説明した処理と同様の処理である。
図１４は、図１３に示すステップＳ１０３において実行する帯域対応画素値算出式の反復計算を詳細に説明する図である。

ステップＳ１０３－１において、先に説明した帯域対応画素値算出式（式２３）の等式の右側部分のａ１，ｂ２，ｃ３，ｄ４の初期値として、ＲＡＷ画像ベース画素値（Ａｒａｗ～Ｄｒａｗ）を入力して、以下の帯域対応画素値算出式の初期設定式（式２４）を生成する。
ａ１＝Ａｒａｗ－Ｋａ２×Ｂｒａｗ－Ｋａ３×Ｃｒａｗ－Ｋａ４×Ｄｒａｗ
ｂ２＝Ｂｒａｗ－Ｋｂ１×Ａｒａｗ－Ｋｂ３×Ｃｒａｗ－Ｋｂ４×Ｄｒａｗ
ｃ３＝Ｃｒａｗ－Ｋｃ１×Ａｒａｗ－Ｋｃ２×Ｂｒａｗ－Ｋｃ４×Ｄｒａｗ
ｄ４＝Ｄｒａｗ－Ｋｄ１×Ａｒａｗ－Ｋｄ２×Ｂｒａｗ－Ｋｄ３×Ｃｒａｗ
・・・・・・・・（式２４）

次にステップＳ１０３－２において、上記初期設定式（式２４）に従って算出したａ１，ｂ２，ｃ３，ｄ４を、帯域対応画素値算出式（式２３）、すなわち、
ａ１＝Ａｒａｗ－Ｋａ２×ｂ２－Ｋａ３×ｃ３－Ｋａ４×ｄ４
ｂ２＝Ｂｒａｗ－Ｋｂ１×ａ１－Ｋｂ３×ｃ３－Ｋｂ４×ｄ４
ｃ３＝Ｃｒａｗ－Ｋｃ１×ａ１－Ｋｃ２×ｂ２－Ｋｃ４×ｄ４
ｄ４＝Ｄｒａｗ－Ｋｄ１×ａ１－Ｋｄ２×ｂ２－Ｋｄ３×ｃ３
・・・・・・・・（式２３）

上記の帯域対応画素値算出式（式２３）の等式の右側部分に代入して、ａ１，ｂ２，ｃ３，ｄ４の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式（式２３）の右側部分に代入して、ａ１，ｂ２，ｃ３，ｄ４の新たな値を算出する。この反復計算を繰り返して実行する。
上記帯域対応画素値算出式（式２３）を利用した反復計算を複数回、繰り返して実行すると、ａ１，ｂ２，ｃ３，ｄ４の値は次第に収束する。

このような反復計算の処理手法と異なる手法について図１５を参照して説明する。
図１５も、図１３に示すステップＳ１０３において実行可能な帯域対応画素値算出式の反復計算を詳細に説明する図である。

図１５に示すステップＳ１０３－１において、まず、上述した帯域対応画素値算出式の初期設定式（式２４）のａ１算出式、
ａ１＝Ａｒａｗ－Ｋａ２×Ｂｒａｗ－Ｋａ３×Ｃｒａｗ－Ｋａ４×Ｄｒａｗ
・・・（式２４－ａ）
上記式（式２４－１）を用いて、ａ１を算出する。

次に、帯域対応画素値算出式の初期設定式（式２４）のｂ２算出式、すなわち、
ｂ２＝Ｂｒａｗ－Ｋｂ１×Ａｒａｗ－Ｋｂ３×Ｃｒａｗ－Ｋｂ４×Ｄｒａｗ
・・・（式２４－２）
上記式（式２４－２）のＡｒａｗを、（式２４－１）によって算出されたａ１に置き換えた式、すなわち、
ｂ２＝Ｂｒａｗ－Ｋｂ１×ａ１－Ｋｂ３×Ｃｒａｗ－Ｋｂ４×Ｄｒａｗ
・・・（式２４－３）
上記式（式２４－３）を用いて、ｂ２を算出する。

次に、帯域対応画素値算出式の初期設定式（式２４）のｃ３算出式、すなわち、
ｃ３＝Ｃｒａｗ－Ｋｃ１×Ａｒａｗ－Ｋｃ２×Ｂｒａｗ－Ｋｃ４×Ｄｒａｗ
・・・（式２４－４）
上記式（式２４－４）のＡｒａｗとＢｒａｗを、（式２４－１）、（式２４－３）によって算出されたａ１，ｂ２に置き換えた式、すなわち、
ｃ３＝Ｃｒａｗ－Ｋｃ１×ａ１－Ｋｃ２×ｂ２－Ｋｃ４×Ｄｒａｗ
・・・（式２４－５）
上記式（式２４－５）を用いて、ｃ３を算出する。

次に、帯域対応画素値算出式の初期設定式（式２４）のｄ４算出式、すなわち、
ｄ４＝Ｄｒａｗ－Ｋｄ１×Ａｒａｗ－Ｋｄ２×Ｂｒａｗ－Ｋｄ３×Ｃｒａｗ
・・・（式２４－６）
上記式（式２４－６）のＡｒａｗとＢｒａｗとＣｒａｗを、（式２４－１）、（式２４－３），（式２４－５）によって算出されたａ１，ｂ２，ｃ３に置き換えた式、すなわち、
ｄ４＝Ｄｒａｗ－Ｋｄ１×Ａａ１－Ｋｄ２×ｂ２－Ｋｄ３×ｃ３
・・・（式２４－７）
上記式（式２４－７）を用いて、ｄ４を算出する。

次にステップＳ１０３－２において、上記ステップＳ１０３－１で算出したａ１，ｂ２，ｃ３，ｄ４を、帯域対応画素値算出式（式２３）、すなわち、
ａ１＝Ａｒａｗ－Ｋａ２×ｂ２－Ｋａ３×ｃ３－Ｋａ４×ｄ４
ｂ２＝Ｂｒａｗ－Ｋｂ１×ａ１－Ｋｂ３×ｃ３－Ｋｂ４×ｄ４
ｃ３＝Ｃｒａｗ－Ｋｃ１×ａ１－Ｋｃ２×ｂ２－Ｋｃ４×ｄ４
ｄ４＝Ｄｒａｗ－Ｋｄ１×ａ１－Ｋｄ２×ｂ２－Ｋｄ３×ｃ３
・・・・・・・・（式２３）

上記の帯域対応画素値算出式（式２３）の等式の右側部分に代入して、ａ１，ｂ２，ｃ３，ｄ４の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式（式２３）の右側部分に代入して、ａ１，ｂ２，ｃ３，ｄ４の新たな値を算出する。この反復計算を繰り返して実行する。
上記帯域対応画素値算出式（式２３）を利用した反復計算を複数回、繰り返して実行すると、ａ１，ｂ２，ｃ３，ｄ４の値は次第に収束する。

この図１５に示す手法では、帯域対応画素値算出式の初期設定式（式２４）を構成する複数の式の１つの式を用いて算出される値を、初期設定式のその他の式に代入する処理を実行している。このような処理を行うことで、より早く収束し、演算回数を減らすことが可能となる

［４．本開示の処理とマトリックス適用処理との差異について］
次に、本開示の処理とマトリックス適用処理との差異について説明する。
例えば、先に図３他を参照して説明したように、ＲＡＷ画像の画素値を利用して帯域対応画素値を算出する場合、前述した（式１１）で示すようなマトリックスを適用する処理が知られている。

本開示の処理では、このマトリックスを適用することなく、先に説明した（式２３）、すなわち、帯域対応画素値算出式を生成して、反復計算を行うことで帯域対応画素値を算出している。
以下、これらの処理の違いによる差分と、本開示の処理の優位性について説明する。

図１６は、２つの異なる反射特性を持つ被写体を同じマルチスペクトルカメラで撮影した場合の画素値特性を説明する図である。
図１６（１）と（２）は、図１６（１ａ），（２ａ）に示す同じ波長特性を持つ光源の下で異なる（１ｂ），（２ｂ）に示す異なる反射特性を持つ異なる被写体を撮影した場合の（１ｃ），（２ｃ）画素値特性、すなわち、撮像素子の画素値特性（ＲＡＷ画像の画素値特性）を示している。

図１６（１）の例は、被写体の反射特性が波長に対して一律である場合の例である。
図１６（２）の例は、被写体が長波長領域の反射が強い特性を有する場合、例えば赤色の被写体を撮影した場合の例である。
なお、本例は、マルチパスバンドフィルタとして、帯域Ａと帯域Ｂを透過させるデュアルバンドパスフィルタを用いている例である。
図１６（１ｃ），（２ｃ）画素値特性には、ＲＡＷ画像の２つの画素値ＡｒａｗとＢｒａｗの画素値分布を示している。

図１６（１）の場合、すなわち、被写体の反射特性が波長に対して一律である場合は、撮影画像の画素値、すなわちＲＡＷ画像のＡ画素の画素値Ａｒａｗに含まれる帯域Ａと帯域Ｂの信号値（強度）は、
帯域Ａの信号値ａ１＝８、
帯域Ｂの信号値ａ２＝３、
である。従って、Ａｒａｗの画素値は、
Ａｒａｗ＝ａ１＋ａ２
＝８＋３＝１１
となる。

また、ＲＡＷ画像のＢ画素の画素値Ｂｒａｗに含まれる帯域Ａと帯域Ｂの信号値（強度）は、
帯域Ａの信号値ｂ１＝４、
帯域Ｂの信号値ｂ２＝１０、
である。従って、Ｂｒａｗの画素値は、
Ｂｒａｗ＝ｂ１＋ｂ２
＝４＋１０＝１４
となる。

ここで、マトリクス演算を適用して、ＲＡＷ画像画素値（Ａｒａｗ，Ｂｒａｗ）から帯域対応画素値（ａ１，ｂ２）を算出する場合、以下の（式３１）に従ったマトリクス演算を実行すればよい。

一般にマトリクスの係数（Ｇ１、Ｇ２、Ｇ３、Ｇ４）は被写体の反射特性が図１６（１ｂ）に示すようにフラットである場合に正確な帯域対応画素値（ａ１，ｂ２）が算出されるように設定される。
従って、図１６（１）に示す場合は、上記（式３１）に示すマトリクス演算により、ａ１＝８、ｂ２＝１０が算出され、高精度な真の帯域対応画素値（ａ１，ｂ２）が算出できる。

ところが、被写体の反射光特性がフラットでなく図１６（２ｂ）に示すような設定の場合、図１６（２ｃ）に示すように、ＲＡＷ画像のＡ画素の画素値Ａｒａｗに含まれる帯域Ａと帯域Ｂの信号値（強度）は、
帯域Ａの信号値ａ１＝２、
帯域Ｂの信号値ａ２＝３、
である。従って、Ａｒａｗの画素値は、
Ａｒａｗ＝ａ１＋ａ２
＝２＋３＝５
となる。

また、ＲＡＷ画像のＢ画素の画素値Ｂｒａｗに含まれる帯域Ａと帯域Ｂの信号値（強度）は、
帯域Ａの信号値ｂ１＝１、
帯域Ｂの信号値ｂ２＝１０、
である。従って、Ｂｒａｗの画素値は、
Ｂｒａｗ＝ｂ１＋ｂ２
＝１＋１０＝１１
となる。

この場合、図１６（１）に示す例で適用したマトリクスと同じマトリクス要素（Ｇ１～Ｇ４）を持つマトリクスを適用してマトリクス演算を行うと、帯域対応画素値（ａ１，ｂ２）として以下の値が算出されてしまう。
ａ１＝２．６、
ｂ２＝９．５、
これらの値は、実際の図１６（１ｃ）に示す帯域対応画素値（ａ１，ｂ２）、すなわち、
ａ１＝２、
ｂ２＝１０、
この実際の値と大きく異なる値となってしまう。

このように、マトリクスを適用して帯域対応画素値（ａ１，ｂ２）を算出する場合、被写体の反射特性や光源の特性によっては、正しい値が算出できない場合が発生する。

これに対して、本開示の処理ではマトリックスを適用することなく、先に説明した（式２３）、すなわち、帯域対応画素値算出式を生成して、反復計算を行うことで帯域対応画素値を算出している。

すなわち、以下に示す帯域対応画素値算出式（式２３）を用いて反復計算を実行する。
ａ１＝Ａｒａｗ－Ｋａ２×ｂ２－Ｋａ３×ｃ３－Ｋａ４×ｄ４
ｂ２＝Ｂｒａｗ－Ｋｂ１×ａ１－Ｋｂ３×ｃ３－Ｋｂ４×ｄ４
ｃ３＝Ｃｒａｗ－Ｋｃ１×ａ１－Ｋｃ２×ｂ２－Ｋｃ４×ｄ４
ｄ４＝Ｄｒａｗ－Ｋｄ１×ａ１－Ｋｄ２×ｂ２－Ｋｄ３×ｃ３
・・・・・・・・（式２３）

上記帯域対応画素値算出式（式２３）を利用した反復計算を複数回、繰り返して実行することで、先に図１２を参照して説明したように、ａ１，ｂ２，ｃ３，ｄ４の値は次第に収束する。

この処理を行うことで、図１６（１），（２）のいずれの場合も、帯域対応画素値（ａ１，ｂ２）を正しく算出することができる。

この理由は、本開示の処理において適用する上記帯域対応画素値算出式（式２３）に含まれるパラメータ（Ｋａｎ～Ｋｄｎ）は、カメラ固有の分光特性パラメータであり、被写体や利用光源に対する依存性がなく、利用光源や被写体の反射光特性が変化しても不変であるためである。

例えば、先に図１０を参照して説明したように、Ｋａ２＝ａ２／ｂ２は、図１０に示すグラフの帯域Ｂ領域のフィルタＡの透過信号ａ２と、フィルタＢの透過信号ｂ２の比率（ａ２／ｂ２）である。
また、Ｋａ３＝ａ３／ｃ３は、図１０に示すグラフの帯域Ｃ領域のフィルタＡの透過信号ａ３と、フィルタＣの透過信号ｃ３の比率（ａ３／ｃ３）である。
これらは、カメラ固有の分光特性パラメータであり、被写体や利用光源が変化しても全く変化しない。
従って、上記帯域対応画素値算出式（式２３）はどのような光源、被写体を利用した場合でも共通に利用できる式であり、光源、被写体が変化しても精度の高い帯域対応画素値（ａ１，ｂ２等）を正しく算出することができる。

［５．本開示の画像処理装置の具体的利用例について］
次に、本開示の画像処理装置の具体的利用例について説明する。
本開示の画像処理装置、例えば図６や図９に示す構成を有するマルチスペクトルカメラ１００は、マルチバンドパスフィルタ（ＭＢＰ）と、カラーフィルタを介して撮像素子（イメージセンサ）に入力する画素のＲＡＷ画像画素値（Ｒｒａｗ等）に基づいて、特定波長帯域の信号（Ｒ，ＮＩＲ等）の高精度な値を算出することができる。

この処理結果として、例えばノイズの無い高精度なＲＧＢ画像等のカラー画像を生成して出力することができる。
さらに、被写体の色成分の高精度な解析も可能となる。例えば、前述したように植物の活性度の指標値であるＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ）等の植物活性度指標値を精度よく算出することができる。

図１７は、ノイズの無い高精度なＲＧＢ画像等のカラー画像を生成して出力する場合の画像処理装置としてのマルチスペクトルカメラ１２０の一構成例を示す図である。
図１７に示すマルチスペクトルカメラ１２０において、レンズ１２１を介して入力した被写体の撮影光は、マルチバンドパスフィルタ（ＲＧＢ－ＭＢＰ）１２２と、カラーフィルタ（ＲＧＢカラーフィルタ）１２３を介して撮像素子（イメージセンサ）１２４に入力する。

撮像素子（イメージセンサ）１２４の撮影画像は信号処理部１２５に入力される。
信号処理部１２５は、撮像素子（イメージセンサ）１２４の出力するＲＡＷ画像から、ＲＡＷ画像ベース画素値（Ｒａｗ，Ｇｒａｗ，Ｂｒａｗ）と、マルチスペクトルカメラ１２０の分光特性パラメータを用いて、先に説明した帯域対応画素値算出式（式２３）に相当するＲＧＢ各帯域対応画素値算出式を生成して反復計算を実行する。

信号処理部１２５は、画素単位でＲＧＢ各帯域対応画素値算出式の反復計算を実行して、収束値として得られるＲＧＢ画素値を、各画素の画素値として算出する。このＲＧＢ画素値は、ノイズを低減した高精度画素値であり、この画素値を利用して高精度ＲＧＢカラー画像を生成して出力する。

図１７の「（１）フィルタ分光特性」に示すグラフは、マルチバンドパスフィルタ（ＲＧＢ－ＭＢＰ）１２２と、カラーフィルタ（ＲＧＢカラーフィルタ）１２３の分光特性である。カラーフィルタ（ＲＧＢカラーフィルタ）１２３はＲＧＢカラーフィルタであるが、それぞれノイズ成分の光も通過させてしまう。
本実施例で利用するマルチバンドパスフィルタ（ＲＧＢ－ＭＢＰ）１２２は、Ｒ帯域、Ｇ帯域、Ｂ帯域の３つの帯域の光を透過させるフィルタである。

これらの分光特性を有するマルチバンドパスフィルタ（ＲＧＢ－ＭＢＰ）１２２と、カラーフィルタ（ＲＧＢカラーフィルタ）１２３を組み合わせて利用して撮影した画像を信号処理部１２５に入力する。
信号処理部１２５は、撮像素子１２４から入力するＲＡＷ画像に基づいて、先に説明した帯域対応画素値算出式（式２３）に相当するＲＧＢ各帯域対応画素値算出式を生成して反復計算を行うことで、ノイズを低減した高精度ＲＧＢ画素値を算出することができる。

図１８は、被写体の色成分の高精度な解析処理を実行する画像処理装置としてのマルチスペクトルカメラ１４０の一構成例を示す図である。
図１８に示すマルチスペクトルカメラ１４０は、ＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ）等の植物活性度指標値を精度よく算出することができる。

図１８に示すマルチスペクトルカメラ１４０において、レンズ１４１を介して入力した被写体の撮影光は、マルチバンドパスフィルタ（ＲＧＢＩＲ－ＭＢＰ）１４２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１４３を介して撮像素子（イメージセンサ）１４４に入力する。

撮像素子（イメージセンサ）１４４の撮影画像は信号処理部１４５に入力される。
信号処理部１４５は、撮像素子（イメージセンサ）１４４の出力するＲＡＷ画像から、ＲＡＷ画像ベース画素値（Ｒａｗ，Ｇｒａｗ，Ｂｒａｗ，ＩＲｒａｗ）と、マルチスペクトルカメラ１２０の分光特性パラメータを用いて、先に説明した帯域対応画素値算出式（式２３）に相当するＲＧＢＩＲ各帯域対応画素値算出式を生成して反復計算を実行する。

信号処理部１２５は、画素単位でＲＧＢＩＲ各帯域対応画素値算出式の反復計算を実行して、収束値として得られるＲＧＢＩＲ画素値を用いてＮＤＶＩ等の植物活性度指標値を算出する。ＲＧＢＩＲ各帯域対応画素値算出式の反復計算を実行して、収束値として得られるＲＧＢＩＲ画素値は、ノイズを低減した高精度画素値であり、この画素値を利用することで高精度なＮＤＶＩ等の植物活性度指標値を算出することができる。

図１８の「（１）フィルタ分光特性」に示すグラフは、マルチバンドパスフィルタ（ＲＧＢＩＲ－ＭＢＰ）１４２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１４３の分光特性である。カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１４３はＲＧＢＩＲカラーフィルタであるが、それぞれノイズ成分の光も通過させてしまう。
本実施例で利用するマルチバンドパスフィルタ（ＲＧＢＩＲ－ＭＢＰ）１４２は、Ｒ帯域、Ｇ帯域、Ｂ帯域、ＮＩＲ帯域の４つの帯域の光を透過させるフィルタである。

これらの分光特性を有するマルチバンドパスフィルタ（ＲＧＢＩＲ－ＭＢＰ）１４２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）１４３を組み合わせて利用して撮影した画像を信号処理部１４５に入力する。
信号処理部１４５は、撮像素子１４４から入力するＲＡＷ画像に基づいて、先に説明した帯域対応画素値算出式（式２３）に相当するＲＧＢＩＲ各帯域対応画素値算出式を生成して反復計算を行うことで、ノイズを低減した高精度なＲＧＢＩＲ各画素値を算出することができる。

信号処理部は、この高精度なＲＧＢＩＲ各画素値を用いて、被写体である植物の活性度指標値、例えばＮＤＶＩ値を算出する。

前述したように、ＮＤＶＩは、以下の式に従って算出することができる。
ＮＤＶＩ＝（ＮＩＲ－ＲＥＤ）／（ＮＩＲ＋ＲＥＤ）
上記式において、
ＲＥＤ，ＮＩＲは画像の各画素におけるＲＥＤ波長とＮＩＲ波長の強度（画素値）である。

具体的な画像撮影例について図１９を参照して説明する。例えば、図１９に示すように、ＲＥＤ波長とＮＩＲ波長を同時撮影するマルチスペクトルカメラを搭載したドローン１５０を用いて、農場全体を撮影し、植物活性状態を解析するといった処理を行う。

なお、植物の活性度の指標値としては、ＮＤＶＩが最もよく利用されるが、ＲＥＤの代わりにＧｒｅｅｎが利用されるＧＮＤＶＩや、ＲＧＢ信号で構成されるＶＡＲＩも利用される。一例としてそれぞれ、以下の式で表される。（いろいろな指標が提案されており、同じ名称でも式が異なる場合がある）
ＧＮＤＶＩ＝（ＮＩＲ－ＧＲＮ）／（ＮＩＲ＋ＧＲＮ）
ＶＡＲＩ＝（ＧＲＮ－ＲＥＤ）／（ＧＲＮ＋ＲＥＤ－ＢＬＵ）

これらの２つの植物活性度指標値は、図２０のグラフに示すように、植物の生育状況に応じて変化する。成長初期（Ｖ１～Ｖ３）ではＮＤＶＩの方が植物の状態変化をよく把握でき、成長末期（Ｒ３～Ｒ６）では、ＧＮＤＶＩまたはＶＡＲＩの方が植物の状態変化を把握しやすく、植物の生育時期に応じて各指標値を使い分けるのが好ましい。

これらの２つの植物活性度指標値は、図２０のグラフに示すように、植物の生育状況に応じて変化する。成長初期（Ｖ１～Ｖ３）ではＮＤＳＩｎの方が植物の状態変化をよく把握でき、成長末期（Ｒ３～Ｒ６）では、ＮＤＳＩｇの方が植物の状態変化を把握しやすく、植物の生育時期に応じて各指標値を使い分けるのが好ましい。

なお、図１９に示すように、ＲＥＤ波長とＮＩＲ波長を同時撮影するマルチスペクトルカメラを搭載したドローン１５０を用いて、農場全体を撮影し、植物活性状態を解析するといった処理を行う場合、カメラは農場全体を分割した領域単位の複数の画像を撮影する。

このような場合、各画像を貼り合わせる（スティッチ）処理を行うことで、広大な領域の合成画像を生成することができる。ただし、このような画像貼り合わせを行う場合には、各撮影画像の輝度等が異なることから、画像の差分を解消するための補正等を行うことが必要である。Ｂａｎｄ抽出演算を行う場合、画素操作が行われる前、すなわち、スティッチ処理の前に行う方が精度の向上には都合がよい。
逆にｂａｎｄ抽出を行うＲａｗ画像間で画素位置がずれている場合には、それを合わせた後で、ｂａｎｄ抽出演算を行わないと、精度が著しく劣化する。その意味で位相補償が必要な場合には、ｂａｎｄ抽出演算の前に行うのが適切である。
また、シェーディング補正、ディストーションについては、波長毎に異なる特性を持つことが多いため、Ｂａｎｄ抽出演算を行った後で行うのが、適切である。

［６．その他の実施例について］
次に、その他の実施例について説明する。以下の２つの実施例について、順次、説明する。
（１）カラーフィルタの代わりにマイクロレンズアレイを用いた装置構成例
（２）カラーフィルタの代わりにプラズモンフィルタを用いた装置構成例

（６－（１）カラーフィルタの代わりにマイクロレンズアレイを用いた装置構成例）
まず、図２１を参照してカラーフィルタの代わりにマイクロレンズアレイを用いた画像処理装置の構成例について説明する。

図２１に示すマルチスペクトルカメラ１７０は、先に図６、図９を参照して説明したマルチスペクトルカメラ１００におけるカラーフィルタ１０３をマイクロレンズアレイ１７３に置き換えた構成を有する。

図２１に示すマルチスペクトルカメラ１７０において、レンズ１７１を介して入力した被写体の撮影光は、マルチバンドパスフィルタ（ＭＢＰ）１７２と、マイクロレンズアレイ１７３を介して撮像素子（イメージセンサ）１７４に入力する。
さらに、撮像素子（イメージセンサ）１７４からＲＡＷ画像が信号処理部１７５に入力され、信号処理がなされる。

図２２に示すように、マイクロレンズアレイ（ＭＬＡ：Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ）１７３は、マイクロレンズを多数配置した構成を有する。
図２２（ｂ）断面図に示すように、マイクロレンズアレイ（ＭＬＡ）１７３を構成するマイクロレンズを介して入射した光は、撮像素子１７４に照射され撮像される。
マイクロレンズを介して撮像素子１７４に入射する光は、レンズにより波長に応じた分光処理がなされる。例えばＲＧＢ等の帯域ごとに、撮像素子１７４の異なる画素に入力する。すなわちカラーフィルタと同様、ＲＧＢＩＲ等、各帯域の光を画素単位で受光することができる。

このようにカラーフィルタの代わりにマイクロレンズを用いたマルチスペクトルカメラが構成可能であり、このようなマイクロレンズを用いたマルチスペクトルカメラにおいても本開示の処理を実行することができる。

（６－（２）カラーフィルタの代わりにプラズモンフィルタを用いた装置構成例）
次に、図２３を参照してカラーフィルタの代わりにプラズモンフィルタを用いた画像処理装置の構成例について説明する。

図２３に示すマルチスペクトルカメラ１８０は、先に図６、図９を参照して説明したマルチスペクトルカメラ１００におけるカラーフィルタ１０３をプラズモンフィルタ１８３に置き換えた構成を有する。

図２３に示すマルチスペクトルカメラ１８０において、レンズ１８１を介して入力した被写体の撮影光は、マルチバンドパスフィルタ（ＭＢＰ）１８２と、プラズモンフィルタ１８３を介して撮像素子（イメージセンサ）１８４に入力する。
さらに、撮像素子（イメージセンサ）１８４からＲＡＷ画像が信号処理部１８５に入力され、信号処理がなされる。

プラズモンフィルタ１８３は、撮像素子１８４の１画素毎、直径、ピッチの異なる穴をあけることで、異なる光の通過域を構成したフィルタである。例えばプラズモンフィルタ１８３により、８帯域（バンド）、１２帯域、１６帯域等、異なる波長帯域の画素アレイを構成できる。

撮像素子（イメージセンサ）１８４の前にこのプラズモンフィルタ１８３を置き、さらにその前にマルチバンドパスフィルタ（ＭＢＰ）１８２を置くことで、８帯域（バンド）、１２帯域、１６帯域等、異なる波長帯域の画素値からなるＲＡＷ画像の撮影が可能となる。

このようにカラーフィルタの代わりにプラズモンフィルタを用いたマルチスペクトルカメラが構成可能であり、このようなプラズモンフィルタを用いたマルチスペクトルカメラにおいても本開示の処理を実行することができる。

［７．本開示の画像処理装置、および画像処理システムの構成例について］
次に、本開示の画像処理装置、および画像処理システムの構成例について説明する。

本開示の画像処理装置は、例えば図２４に示すような構成を有する撮像装置（マルチスペクトルカメラ）２００である。
撮像装置（マルチスペクトルカメラ）２００は、先に図６や図９に示すマルチスペクトルカメラと同様、レンズ２０１を介して入力した被写体の撮影光は、マルチバンドパスフィルタ（ＭＢＰ）２０２と、カラーフィルタ（ＲＧＢＩＲカラーフィルタ）２０３を介して撮像素子（イメージセンサ）２０４に入力する構成を持つ。

さらに、撮像素子（イメージセンサ）２０４のＲＡＷ画像画素値（Ｒｒａｗ等）が信号処理部１０５に入力され、信号処理がなされる。
信号処理部１０５は、撮像素子（イメージセンサ）１０４のＲＡＷ画像画素値（Ｒｒａｗ等）を用いて、各帯域（波長）対応のノイズ成分を除去した真の画素値を算出する帯域対応画素値算出式（式２３）を用いた反復計算により、帯域対応の高精度画素値を算出する。

さらに、信号処理部１０５、あるいは後段処理部において、帯域対応の高精度画素値を用いたノイズ成分の少ない高精度カラー画像の生成処理や、被写体の色成分の解析処理等を実行する。
なお、信号処理部１０５は、プログラム（ソフトウェア）によるデータ処理を実行する構成としてもよいし、ＦＰＧＡ等のハードウェアを用いた構成としてもよい。

なお、本開示の画像処理装置は、図２４に示すようなカメラ端単位構成のみならず、例えば、図２５に示すシステムを利用した構成としてもよい。
図２５（１）は、マルチスペクトルカメラ２００の撮影画像（ＲＡＷ画像）をＰＣ等の画像処理装置２５０に入力して、画像処理装置２５０でデータ処理を実行する構成である。

ＰＣ等の画像処理装置２５０が、マルチスペクトルカメラ２００から入力したＲＡＷ画像画素値（Ｒｒａｗ等）を用いて、各帯域（波長）対応のノイズ成分を除去した真の画素値を算出する帯域対応画素値算出式（式２３）を用いた反復計算により、帯域対応の高精度画素値を算出する。

さらに、図２５（２）に示すように、マルチスペクトルカメラ２００の撮影画像（ＲＡＷ画像）を、ネットワークを介して画像処理実行サーバ２７０に入力して、画像処理実行サーバ２７０でデータ処理を実行する構成である。

画像処理実行サーバ２７０が、マルチスペクトルカメラ２００から入力したＲＡＷ画像画素値（Ｒｒａｗ等）を用いて、各帯域（波長）対応のノイズ成分を除去した真の画素値を算出する帯域対応画素値算出式（式２３）を用いた反復計算により、帯域対応の高精度画素値を算出する。
このように本開示の画像処理装置やシステムは様々な構成が可能である。

［８．画像処理装置のハードウェア構成例について］
次に、図２６を参照して画像処理装置のハードウェア構成例について説明する。
図２６は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、撮像部５２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部５０６、表示部５２２やスピーカなどに対するデータ出力を実行する出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［９．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
前記信号処理部は、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する撮像装置。

（２） 前記信号処理部は、
前記ＲＡＷ画像ベース画素値信号と、前記分光特性パラメータとを用いた帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する（１）に記載の撮像装置。

（３） 前記分光特性パラメータは、
前記カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である（１）または（２）に記載の撮像装置。

（４） 前記特定帯域は、
前記マルチバンドパスフィルタの透過光帯域である（３）に記載の撮像装置。

（５） 前記信号処理部は、
前記撮像素子から入力するＲＡＷ画像のデモザイク処理により、画素単位のＲＡＷ画像ベース画素値信号を生成し、画素単位で前記帯域対応画素値を算出する（１）～（４）いずれかに撮像記載の装置。

（６） 前記信号処理部は、
前記撮像素子から入力するＲＡＷ画像の複数の画素ブロック単位でＲＡＷ画像ベース画素値信号を生成し、前記画素ブロック単位で前記帯域対応画素値を算出する（１）～（５）いずれかに撮像記載の装置。

（７） 前記カラーフィルタは、ＲＧＢカラーフィルタであり、
前記マルチバンドパスフィルタは、ＲＧＢ各帯域光を選択的に透過させる構成であり、
前記信号処理部は、
前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素のＲＧＢ画素値として算出する（１）～（６）いずれかに記載の撮像装置。

（８） 前記信号処理部は、
さらに、算出した前記ＲＧＢ画素値を用いて、ノイズの低減された高精度カラー画像を生成する（７）に記載の撮像装置。

（９） 前記カラーフィルタは、ＲＧＢＩＲカラーフィルタであり、
前記マルチバンドパスフィルタは、ＲＧＢＩＲ各帯域光を選択的に透過させる構成であり、
前記信号処理部は、
前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素のＲＧＢＩＲ画素値として算出する（１）～（８）いずれかに記載の撮像装置。

（１０） 前記信号処理部は、
さらに、算出した前記ＲＧＢＩＲ画素値を用いて、撮影被写体である植物の活性度指標値を算出する（９）に記載の撮像装置。

（１１） マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記信号処理部は、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理装置。

（１２） 前記信号処理部は、
前記ＲＡＷ画像ベース画素値信号と、前記分光特性パラメータとを用いた帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素の帯域対応画素値として算出する（１１）に記載の画像処理装置。

（１３） 前記分光特性パラメータは、
前記マルチスペクトルカメラのカラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である（１１）または（１２）に記載の画像処理装置。

（１４） 前記特定帯域は、
前記マルチスペクトルカメラのマルチバンドパスフィルタの透過光帯域である（１３）に記載の画像処理装置。

（１５） 前記信号処理部は、
前記帯域対応画素値算出式の反復計算を実行して、反復計算により処理対象画素のＲＧＢ画素値を算出してノイズの低減された高精度カラー画像を生成する（１１）～（１４）いずれかに記載の画像処理装置。

（１６） 前記信号処理部は、
前記帯域対応画素値算出式の反復計算を実行して、反復計算により処理対象画素のＲＧＢＩＲ画素値を算出して、算出した前記ＲＧＢＩＲ画素値を用いて、前記マルチスペクトルカメラの撮影被写体である植物の活性度指標値を算出する（１１）～（１５）いずれかに記載の画像処理装置。

（１７） 撮像装置において実行する画像処理方法であり、
前記撮像装置は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
前記信号処理部が、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理方法。

（１８） 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記信号処理部が、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理方法。

（１９） 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記プログラムは、前記信号処理部に、
前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、ノイズ成分を低減した特定帯域の真の画素値を算出可能とした装置、方法が実現される。
具体的には、例えば、特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、カラーフィルタと、各フィルタの透過光を受光する撮像素子と、信号処理部を有する。マルチバンドパスフィルタは、カラーフィルタの色フィルタ対応の帯域光を選択的に透過させる構成であり、信号処理部は、撮像素子の画素値に基づいて生成した画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータを用いた帯域対応画素値算出式の反復計算を実行して、その収束値を処理対象画素の帯域対応画素値として算出する。
これらの構成により、ノイズ成分を低減した特定帯域の真の画素値を算出可能とした装置、方法が実現される。

１０ マルチスペクトルカメラ
１１ レンズ
１２ デュアルバンドパスフィルタ
１３ カラーフィルタ
１４ 撮像素子（イメージセンサ）
１００ マルチスペクトルカメラ
１０１ レンズ
１０２ マルチバンドパスフィルタ
１０３ カラーフィルタ
１０４ 撮像素子（イメージセンサ）
１０５ 信号処理部
１２０ マルチスペクトルカメラ
１２１ レンズ
１２２ マルチバンドパスフィルタ
１２３ カラーフィルタ
１２４ 撮像素子（イメージセンサ）
１２５ 信号処理部
１４０ マルチスペクトルカメラ
１４１ レンズ
１４２ マルチバンドパスフィルタ
１４３ カラーフィルタ
１４４ 撮像素子（イメージセンサ）
１４５ 信号処理部
１７０ マルチスペクトルカメラ
１７１ レンズ
１７２ マルチバンドパスフィルタ
１７３ マイクロレンズアレイ
１７４ 撮像素子（イメージセンサ）
１７５ 信号処理部
１８０ マルチスペクトルカメラ
１８１ レンズ
１８２ マルチバンドパスフィルタ
１８３ プラズモンフィルタ
１８４ 撮像素子（イメージセンサ）
１８５ 信号処理部
２００ 撮像装置（マルチスペクトルカメラ）
２０１ レンズ
２０２ マルチバンドパスフィルタ
２０３ カラーフィルタ
２０４ 撮像素子（イメージセンサ）
２０５ 信号処理部
２５０ 画像処理装置
２７０ 画像処理実行サーバ
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア
５２１ 撮像部
５２２ 表示部

Claims (17)

1. 特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
   撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
   前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
   前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
   前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
   前記信号処理部は、
   前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する構成であり、
   前記信号処理部は、
   ＲＡＷ画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成し、
   生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する撮像装置。
2. 前記分光特性パラメータは、
   前記カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である請求項１に記載の撮像装置。
3. 前記特定帯域は、
   前記マルチバンドパスフィルタの透過光帯域である請求項２に記載の撮像装置。
4. 前記信号処理部は、
   前記撮像素子から入力するＲＡＷ画像のデモザイク処理により、画素単位のＲＡＷ画像ベース画素値信号を生成し、画素単位で前記帯域対応画素値を算出する請求項１に撮像記載の装置。
5. 前記信号処理部は、
   前記撮像素子から入力するＲＡＷ画像の複数の画素ブロック単位でＲＡＷ画像ベース画素値信号を生成し、前記画素ブロック単位で前記帯域対応画素値を算出する請求項１に撮像記載の装置。
6. 前記カラーフィルタは、ＲＧＢカラーフィルタであり、
   前記マルチバンドパスフィルタは、ＲＧＢ各帯域光を選択的に透過させる構成であり、
   前記信号処理部は、
   前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素のＲＧＢ画素値として算出する請求項１に記載の撮像装置。
7. 前記信号処理部は、
   さらに、算出した前記ＲＧＢ画素値を用いて、ノイズの低減された高精度カラー画像を生成する請求項６に記載の撮像装置。
8. 前記カラーフィルタは、ＲＧＢＩＲカラーフィルタであり、
   前記マルチバンドパスフィルタは、ＲＧＢＩＲ各帯域光を選択的に透過させる構成であり、
   前記信号処理部は、
   前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素のＲＧＢＩＲ画素値として算出する請求項１に記載の撮像装置。
9. 前記信号処理部は、
   さらに、算出した前記ＲＧＢＩＲ画素値を用いて、撮影被写体である植物の活性度指標値を算出する請求項８に記載の撮像装置。
10. マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチスペクトルカメラは、
    特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子を有するマルチスペクトルカメラであり、
    前記信号処理部は、
    前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する構成であり、
    前記信号処理部は、
    ＲＡＷ画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成し、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する画像処理装置。
11. 前記分光特性パラメータは、
    前記マルチスペクトルカメラのカラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である請求項１０に記載の画像処理装置。
12. 前記特定帯域は、
    前記マルチスペクトルカメラのマルチバンドパスフィルタの透過光帯域である請求項１１に記載の画像処理装置。
13. 前記信号処理部は、
    前記帯域対応画素値算出式の反復計算を実行して、反復計算により処理対象画素のＲＧＢ画素値を算出してノイズの低減された高精度カラー画像を生成する請求項１０に記載の画像処理装置。
14. 前記信号処理部は、
    前記帯域対応画素値算出式の反復計算を実行して、反復計算により処理対象画素のＲＧＢＩＲ画素値を算出して、算出した前記ＲＧＢＩＲ画素値を用いて、前記マルチスペクトルカメラの撮影被写体である植物の活性度指標値を算出する請求項１０に記載の画像処理装置。
15. 撮像装置において実行する画像処理方法であり、
    前記撮像装置は、
    特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
    前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
    前記信号処理部が、
    前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する処理を実行し、
    前記信号処理部は、
    ＲＡＷ画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成し、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する画像処理方法。
16. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、
    マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチスペクトルカメラは、
    特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子を有するマルチスペクトルカメラであり、
    前記信号処理部が、
    前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する処理を実行し、
    前記信号処理部は、
    ＲＡＷ画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成し、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する画像処理方法。
17. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、
    マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチスペクトルカメラは、
    特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子を有するマルチスペクトルカメラであり、
    前記プログラムは、前記信号処理部に、
    前記撮像素子の画素値に基づく画素単位のＲＡＷ画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する処理を実行させ、
    前記プログラムは、前記信号処理部に、
    ＲＡＷ画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成する処理と、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する処理を実行させるプログラム。

Images