JPWO2016143139A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正するための補正係数を算出することができる画像処理装置、画像処理方法およびプログラムを提供する。第１画像処理装置３０は、互いに異なる分光透過率を有する複数色のカラーフィルタのいずれか１つを複数の画素各々の受光面に設けられた撮像素子１０５によって生成された画像データに対し、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数を複数の画素の各々に算出する補正係数算出部３０７を備える。

Description

本発明は、撮像素子を構成する複数の画素の分光感度特性を補正するための補正係数を算出する画像処理装置、画像処理方法およびプログラムに関する。

従来、デジタルカメラ等の撮像装置において、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子の受光面に設けられたカラーフィルタの分光透過率のばらつきによる画素の分光感度のばらつきを撮像素子毎に調整する技術が知られている（特許文献１参照）。この技術では、プリズムでスペクトル分光された可視光を撮像素子で光電変換することによってＲ（赤）、Ｇ（緑）およびＢ（青）の各々の色成分の組み合わせからなる画像データから波長毎にＲ、ＧおよびＢそれぞれの値を算出し、この算出したＲ、ＧおよびＢそれぞれの値と予め波長毎に算出された基準値との差分の各々が小さくなるように、Ｒ、ＧおよびＢそれぞれの値に乗じる係数を算出する。

特開２０１０−１９３３７８号公報

ところで、撮像素子の微細化にともなって、撮像素子を構成する複数の画素の各々に配置されるカラーフィルタも小さくなり、撮像素子の製造段階で生じる画素ごとのカラーフィルタの分光透過率のばらつきも増加する。このため、上述した特許文献１のように、撮像素子毎に分光感度特性のばらつきを調整しても、画素毎に分光感度のばらつきが生じる。この結果、上述した特許文献１では、画素毎に画素値の出力結果が変化してしまうという問題点があった。さらに、上述した特許文献１では、１つの画素に注目した場合、波長に応じて分光感度のばらつき度合いが異なるため、受光する光の波長によって画素値のばらつき度合いも変化してしまうという問題があった。

本発明は、上記に鑑みてなされたものであって、撮像素子を構成する複数の画素の各々の分光感度のばらつきを補正するための補正係数を算出することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を、少なくとも前記複数色のカラーフィルタのうち所定のカラーフィルタが配置された前記複数の画素毎に算出する補正係数算出部を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正係数算出部は、前記注目画素に設けられた前記カラーフィルタの分光透過率が他の色の前記カラーフィルタの分光透過率よりも低い波長領域を含む前記所定波長域における前記補正係数を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正係数算出部は、前記注目画素に設けられた前記カラーフィルタの分光透過率が他の色の前記カラーフィルタの分光透過率よりも高い波長領域を含む前記所定波長域における前記補正係数を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正係数算出部は、前記注目画素と同色の前記カラーフィルタが配置された前記複数の画素の各々の画素値に基づいて、前記基準分光感度を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正係数算出部は、前記注目画素と同色の前記カラーフィルタが配置された前記複数の画素の各々の分光感度の平均値または前記注目画素毎に該注目画素の周辺に位置し該注目画素と同色の前記カラーフィルタが配置された前記複数の画素の各々の分光感度の平均値を前記基準分光感度として算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正係数算出部は、互いに異なる波長特性の光を照射する光源毎に前記補正係数を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記撮像素子は、所定波長領域の分光放射輝度が他の波長領域に比べて高い一様な光を受光することによって前記画像データを生成することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像データのランダムノイズを除去するランダムノイズ除去部をさらに備え、前記補正係数算出部は、前記ランダムノイズ除去部によって前記ランダムノイズが除去された前記画像データに対し、前記補正係数を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記カラーフィルタの色は、赤、緑および青であることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記カラーフィルタの色は、シアン、マゼンタ、イエローおよび緑であることを特徴とする。

また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数を、少なくとも前記複数色のカラーフィルタのうち所定のカラーフィルタが配置された前記複数の画素毎に算出する補正係数算出ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数を、少なくとも前記複数色のカラーフィルタのうち所定のカラーフィルタが配置された前記複数の画素毎に算出する補正係数算出ステップと、を画像処理装置に実行させることを特徴とする。

本発明によれば、撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正するための補正係数を算出することができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。 図２は、本発明の実施の形態１に係るカラーフィルタの構成を模式的に示す図である。 図３は、本発明の実施の形態１に係る撮像素子を構成するＲ画素、Ｇ画素およびＢ画素それぞれの分光感度特性の平均を示す図である。 図４は、本発明の実施の形態１に係る撮像素子を構成するＲ画素の分光感度特性を示す図である。 図５は、本発明の実施の形態１に係る撮像素子を構成するＧ画素の分光感度特性を示す図である。 図６は、本発明の実施の形態１に係る撮像素子を構成するＢ画素の分光感度特性を示す図である。 図７は、本発明の実施の形態１に係る撮像素子が平坦な赤色または平坦な緑色の被写体を撮影した場合における撮像素子を構成する複数のＧ画素それぞれの画素値を模式的に示す図である。 図８は、本発明の実施の形態１に係る第１画像処理装置が実行する処理の概要を示すフローチャートである。 図９は、図８の撮影処理の概要を示すフローチャートである。 図１０は、図８の補正係数算出処理の概要を示すフローチャートである。 図１１は、通常光を用いた場合における補正係数算出時の分光特性を模式的に示す図である。 図１２は、狭帯域光を用いた場合における補正係数算出時の分光特性を模式的に示す図である。 図１３は、本発明の実施の形態１に係る第２画像処理装置が実行する処理の概要を示すフローチャートである。 図１４は、図１３の補正量算出処理の概要を示すフローチャートである。 図１５は、図１４のＲ成分補正量算出処理の概要を示すフローチャートである。 図１６Ａは、注目画素がＢ画素の場合にＲ成分を推定する補間方法を模式的に説明する図である。 図１６Ｂは、注目画素がＧ画素の場合にＲ成分を推定する補間方法を模式的に説明する図である。 図１６Ｃは、注目画素がＧ画素の場合にＲ成分を推定する補間方法を模式的に説明する図である。 図１６Ｄは、注目画素がＲ画素の場合にＲ成分を推定する補間方法を模式的に説明する図である。 図１７は、図１４のＧ成分補正量算出処理の概要を示すフローチャートである。 図１８Ａは、注目画素がＲ画素の場合にＧ成分を推定する補間方法を模式的に説明する図である。 図１８Ｂは、注目画素がＢ画素の場合にＧ成分を推定する補間方法を模式的に説明する図である。 図１８Ｃは、注目画素がＧ画素の場合にＧ成分を推定する補間方法を模式的に説明する図である。 図１８Ｄは、注目画素がＧ画素の場合にＧ成分を推定する補間方法を模式的に説明する図である。 図１９は、図１４のＢ成分補正量算出処理の概要を示すフローチャートである。 図２０Ａは、注目画素がＧ画素の場合にＢ成分を推定する補間方法を模式的に説明する図である。 図２０Ｂは、注目画素がＧ画素の場合にＢ成分を推定する補間方法を模式的に説明する図である。 図２０Ｃは、注目画素がＲ画素の場合にＢ成分を推定する補間方法を模式的に説明する図である。 図２０Ｄは、注目画素がＢ画素の場合にＢ成分を推定する補間方法を模式的に説明する図である。 図２１は、本発明の実施の形態２に係る第１画像処理装置が実行する処理の概要を示すフローチャートである。 図２２は、本発明の実施の形態２に係る第１画像処理装置が実行する補正係数算出時における赤色被写体の分光特性を模式的に示す図である。 図２３は、本発明の実施の形態２に係る第１画像処理装置が実行する補正係数算出時における緑色被写体の分光特性を模式的に示す図である。 図２４は、本発明の実施の形態２に係る第１画像処理装置が実行する補正係数算出時における青色被写体の分光特性を模式的に示す図である。 図２５Ａは、注目画素がＧ画素の場合におけるＲ成分の補正係数算出を模式的に説明する図である。 図２５Ｂは、注目画素がＧ画素の場合におけるＢ成分の補正係数算出を模式的に説明する図である。 図２６は、本発明の実施の形態３に係る撮像装置の構成を模式的に示すブロック図である。 図２７は、本発明の実施の形態１〜３の変形例１に係るカラーフィルタの構成を模式的に示す図である。 図２８は、本発明の実施の形態１〜３の変形例２に係るカラーフィルタの構成を模式的に示す図である。 図２９は、本発明の実施の形態１〜３の変形例３に係るカラーフィルタの構成を模式的に示す図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔撮像システムの構成〕
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、後述の補正係数を算出する場合には外部からの光が遮光された遮光空間が形成された筐体１００内に配置される。また、図１に示す撮像システム１は、通常撮影を行う場合には、筐体１００外に配置される。撮像システム１は、撮像装置１０と、光源装置２０（被写体）と、第１画像処理装置３０と、第２画像処理装置４０と、表示装置５０と、を備える。なお、第１画像処理装置３０、第２画像処理装置４０および表示装置５０は、後述の補正係数を算出する場合においても、筐体１００の外部に配置されていてもよい。

〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。撮像装置１０は、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、カラーフィルタ１０６と、アナログ処理部１０７と、Ａ／Ｄ変換部１０８と、第１操作部１０９と、メモリＩ／Ｆ部１１０と、記録媒体１１１と、揮発メモリ１１２と、不揮発メモリ１１３と、バス１１４と、撮像制御部１１５と、第１外部Ｉ／Ｆ部１１６と、を備える。

光学系１０１は、単数または複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。

絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、撮像制御部１１５の制御のもと、光学系１０１が集光した光の入射量を制限する。絞り１０２を用いずに、シャッタ１０３や撮像素子１０５における電子シャッタを用いて光の入射量を制御するようにしてもよい。

シャッタ１０３は、撮像制御部１１５の制御のもと、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。シャッタ１０３を用いずに、撮像素子１０５における電子シャッタを用いてもよい。

ドライバ１０４は、後述する撮像制御部１１５の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。

撮像素子１０５は、後述する撮像制御部１１５の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が２次元状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサを用いて構成される。また、撮像素子１０５は、受光量を電子的に制御可能な電子シャッタ機能を有する。

カラーフィルタ１０６は、撮像素子１０５の受光面に積層して設けられる。カラーフィルタ１０６は、互いに異なる波長領域の光を透過する複数のカラーフィルタの各々が所定の配列パターンを形成し、この配列パターンを形成する個々のカラーフィルタが撮像素子１０５を構成する複数の画素のいずれかに対応する位置に配置される。

図２は、カラーフィルタ１０６の構成を模式的に示す図である。図２に示すカラーフィルタ１０６は、ベイヤー配列における赤色の波長領域の光を透過するフィルタＲ、緑色の波長領域の光を透過するフィルタＧおよび青色の波長領域の光を透過するフィルタＢの各々が撮像素子１０５の各画素の受光面に設けられる。なお、以下においては、フィルタＲを受光面に配置した画素をＲ画素、フィルタＧを受光面に配置した画素をＧ画素およびフィルタＢを受光面に配置した画素をＢ画素として説明する。

アナログ処理部１０７は、撮像素子１０５から出力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０８へ出力する。具体的には、アナログ処理部１０７は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０７は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１０８は、アナログ処理部１０７から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１４を介して揮発メモリ１１２に出力する。なお、Ａ／Ｄ変換部１０８は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したカラーフィルタ１０６、アナログ処理部１０７とＡ／Ｄ変換部１０８を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしてもよい。

第１操作部１０９は、撮像装置１０の各種の指示を与える。具体的には、第１操作部１０９は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。

記録媒体１１１は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１１０を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１１は、撮像制御部１１５の制御のもと、メモリＩ／Ｆ部１１０を介してプログラムおよび各種情報それぞれを不揮発メモリ１１３に出力してもよい。

揮発メモリ１１２は、バス１１４を介してＡ／Ｄ変換部１０８から入力される画像データを一時的に記憶する。例えば、揮発メモリ１１２は、アナログ処理部１０７、Ａ／Ｄ変換部１０８およびバス１１４を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。

不揮発メモリ１１３は、撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１３は、プログラム記録部１１３ａと、第１外部Ｉ／Ｆ部１１６を介して入力される撮像素子１０５を構成する複数の画素の各々の分光感度のばらつきを補正するための補正係数を記録する補正係数記録部１１３ｂと、を有する。不揮発メモリ１１３は、Ｆｌａｓｈメモリ等を用いて構成される。

バス１１４は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。

撮像制御部１１５は、ＣＰＵ（Central Processing Unit）等を用いて構成され、第１操作部１０９からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１５は、第１操作部１０９からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作を開始する制御を行う。ここで、撮像装置１０における撮影動作とは、撮像素子１０５が出力したアナログ信号に対し、アナログ処理部１０７およびＡ／Ｄ変換部１０８が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１５の制御のもと、バス１１４およびメモリＩ／Ｆ部１１０を介して記録媒体１１１に記録される。

第１外部Ｉ／Ｆ部１１６は、バス１１４を介して外部の機器から入力される情報を不揮発メモリ１１３または揮発メモリ１１２へ出力する一方、バス１１４を介して外部の機器へ揮発メモリ１１２が記憶する情報、不揮発メモリ１１３が記録する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１６は、バス１１４を介して第１画像処理装置３０および第２画像処理装置４０に撮像素子１０５が生成した画像データを出力する。

〔光源装置の構成〕
次に、光源装置２０の構成について説明する。光源装置２０は、後述の補正係数を算出する場合に、第１画像処理装置３０の制御のもと、所定の波長領域の光を撮像装置１０に向けて平行光の照明光を被写体として照射する。具体的には、光源装置２０は、第１画像処理装置３０の制御のもと、例えば３８０ｎｍ〜７８０ｎｍの可視光を１０ｎｍ間隔で撮像装置１０に向けて照射する。光源装置２０は、例えば互いに波長領域が異なる光を透過させる複数のフィルタが設けられた回転フィルタ、タングステンランプまたはキセノンランプ等の光源および回転フィルタを回転させるモータ等のドライバを用いて構成される。なお、光源装置２０は、所定の波長領域の平行光を照射する蛍光灯、ＬＥＤ（Light Emitting Diode）およびレーザ光等を用いてもよい。また、光源装置２０は、１０ｎｍ間隔でなく、所定の波長領域、例えば赤、緑および青の各々の波長領域の光を切り換えて撮像装置１０に向けて照射してもよい。また、本実施の形態では、撮像装置１０を光学系１０１および絞り１０２が一体型に構成されたコンパクトデジタルカメラを想定しているが、光学系１０１および絞り１０２を有するレンズ部を本体部（ボディ部）に対して着脱自在なデジタルカメラであっても適用することができる。この場合、光源装置２０からの光は、平行光として撮像装置１０に入射することが好ましい。このため、レンズ部を着脱可能なデジタルカメラの場合には、本体部からレンズ部を取り外した状態で撮影することが好ましい。なお、光源装置２０は、可能な限り均一な平行光を撮像装置１０に向けて照射することが好ましい。

〔第１画像処理装置の構成〕
次に、第１画像処理装置３０の構成について説明する。第１画像処理装置３０は、第２外部Ｉ／Ｆ部３０１と、光源制御部３０２と、第２操作部３０３と、第１記録部３０４と、第１画像処理制御部３０５と、第１バス３０６と、補正係数算出部３０７と、を備える。

第２外部Ｉ／Ｆ部３０１は、撮像装置１０の第１外部Ｉ／Ｆ部１１６を介して撮像素子１０５によって生成された画像データを取得し、取得した画像データを補正係数算出部３０７または第１バッファ部３０４ｂへ出力する。また、第２外部Ｉ／Ｆ部３０１は、補正係数算出部３０７から入力された情報を撮像装置１０へ出力する。第２外部Ｉ／Ｆ部３０１および第１外部Ｉ／Ｆ部１１６は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信路等を介して接続されている。

光源制御部３０２は、ＣＰＵを用いて構成され、光源装置２０が照射する光の波長領域を制御する。具体的には、光源制御部３０２は、光源装置２０に１０ｎｍ毎の波長領域の光を撮像装置１０に照射させる。

第２操作部３０３は、第１画像処理装置３０の各種の指示を与える。具体的には、第２操作部３０３は、光源装置２０に波長領域が異なる光を順次照射させる指示を与える。

第１記録部３０４は、揮発メモリおよび不揮発メモリを用いて構成され、撮像装置１０から入力された画像データ、第１画像処理装置３０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、第１記録部３０４は、第１画像処理装置３０を動作させるための各種プログラムを記録する第１プログラム記録部３０４ａと、撮像装置１０から入力された画像データ等を一時的に記憶する第１バッファ部３０４ｂと、を有する。

第１画像処理制御部３０５は、ＣＰＵ等を用いて構成され、第２操作部３０３からの指示に応じて第１画像処理装置３０を構成する各部に対する指示やデータの転送等を行って第１画像処理装置３０の動作を統括的に制御する。

補正係数算出部３０７は、撮像素子１０５によって生成された画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との差に対応する画素値の差分を補正するための補正係数を撮像素子１０５の複数の画素毎に算出し、算出した算出結果を撮像装置１０の補正係数記録部１１３ｂに記録する。

第１バス３０６は、第１画像処理装置３０の各構成部位を接続する伝送路等を用いて構成され、第１画像処理装置３０の内部で発生した各種データを第１画像処理装置３０の各構成部位に転送する。

〔第２画像処理装置の構成〕
次に、第２画像処理装置４０の構成について説明する。
第２画像処理装置４０は、第３外部Ｉ／Ｆ部４０１と、第２記録部４０２と、第２バス４０３と、補正量算出部４０４と、画素値補正部４０５と、画像処理部４０６と、を備える。

第３外部Ｉ／Ｆ部４０１は、撮像装置１０の第１外部Ｉ／Ｆ部１１６を介して撮像素子１０５によって生成された画像データおよび補正係数記録部１１３ｂから補正係数をそれぞれ取得し、取得した画像データおよび補正係数を補正量算出部４０４または第２バッファ部４０２ｂへ出力する。第３外部Ｉ／Ｆ部４０１および第１外部Ｉ／Ｆ部１１６は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信路等を介して接続されている。

第２記録部４０２は、揮発メモリおよび不揮発メモリを用いて構成され、撮像装置１０から入力された画像データ、補正係数、第２画像処理装置４０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、第２記録部４０２は、第２画像処理装置４０を駆動するための第２プログラム記録部４０２ａと、撮像装置１０から入力された画像データおよび注目画素の補正係数等を一時的に記憶する第２バッファ部４０２ｂを有する。

補正量算出部４０４は、補正係数記録部１１３ｂが記録する注目画素における補正係数と注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出する。また、補正量算出部４０４は、注目画素と周囲の画素の画素値に基づいて、注目画素の画素値を補正するための補正量を算出する。ここで、周囲の画素とは、注目画素に隣接する画素または注目画素の近傍に位置する画素である。また、注目画素に隣接する画素とは、注目画素を基準に左右上下方向に位置する画素である。さらに、注目画素の近傍に位置する画素とは、注目画素を基準に斜め方向に位置する画素、または、注目画素と同色で最も注目画素に近い画素である。さらに、補正量算出部４０４は、光源に応じた補正係数を補正係数記録部１１３ｂから選択して取得し、取得した補正係数を用いて注目画素の画素値を補正するための補正量を算出する。

画素値補正部４０５は、補正量算出部４０４が算出した補正量を用いて注目画素の画素値を補正する。

画像処理部４０６は、画素値補正部４０５によって分光感度ばらつきが補正された画像データに対して、所定の画像処理を行って表示装置５０へ出力する。ここで、所定の画像処理とは、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子１０５がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理のことである。また、画像処理部４０６は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。なお、所定の画像処理を行った画像データを、第３外部Ｉ／Ｆ部４０１を経由して不揮発メモリ１１３や記録媒体１１１に記録するようにしてもよい。

〔表示装置の構成〕
次に、表示装置５０の構成について説明する。表示装置５０は、第２画像処理装置４０から入力される画像データに対応する画像を表示する。表示装置５０は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。

以上の構成を有する撮像システム１は、第１画像処理装置３０が撮像素子１０５の各画素の分光感度と基準分光感度との差による画素値の差を補正するための補正係数を算出し、第２画像処理装置４０が第１画像処理装置３０によって算出された補正係数を用いて注目画素の画素値を補正するための補正量を算出し、この算出した補正量を用いて注目画素の画素値を補正し、表示装置５０が第２画像処理装置４０によって画像処理が施された画像データに対応する画像を表示する。

〔分光感度特性の概要〕
次に、撮像素子１０５を構成するＲ画素、Ｇ画素およびＢ画素それぞれの分光感度特性について説明する。図３は、撮像素子１０５を構成するＲ画素、Ｇ画素およびＢ画素それぞれの分光感度特性の平均の例を示す図である。図４は、Ｒ画素の分光感度特性の例を示す図である。図５は、Ｇ画素の分光感度特性の例を示す図である。図６は、Ｂ画素の分光感度特性の例を示す図である。図３〜６において、横軸が波長を示し、縦軸が相対分光感度を示す。また、図３〜図６において、曲線Ｌ_B1が複数のＢ画素それぞれの分光感度を平均化した平均分光感度特性を示し、曲線Ｌ_G1が複数のＧ画素それぞれの分光感度を平均化した平均分光感度特性を示し、曲線Ｌ_R1が複数のＲ画素それぞれの分光感度を平均化した平均分光感度特性を示す。また、図４の曲線Ｌ_R2がＲ画素の分光感度特性の一例を示し、図５の曲線Ｌ_G2がＧ画素の分光感度特性の一例を示し、図６の曲線Ｌ_B2がＢ画素の分光感度特性の一例を示す。図４〜図６において、ここで、分光感度の差とは、平均分光感度に対する各画素の分光感度の差を意味し、撮像素子１０５の製造段階において各フィルタの厚みのばらつき等によって生じる分光透過率のばらつきや、各画素の回路パターンや回路特性の差などによって生じる分光反射率や分光吸収率のばらつき等に起因するものである。また、撮像素子１０５における全ての画素を用いて各Ｒ、Ｇ、Ｂ画素にそれぞれに対する平均分光感度特性を算出しても良いし、注目画素およびその同色の周辺の画素を用いて、注目画素に対する平均分光感度特性（即ち、局所的な平均分光感度特性）を算出するようにしてもよい。なお、注目画素に対する平均分光感度特性は、注目画素を含めずに注目画素と同色の周辺の画素を用いて算出してもよい。注目画素に対する平均分光感度特性を算出する場合、光源装置２０からの光が均一ではない場合や光学系１０１によりシェーディング発生する場合等、撮像素子１０５に照射される光が不均一な場合に、その不均一な光による影響を排除した平均分光感度特性が得られる。また、平均分光感度特性が本実施の形態における基準分光感度特性に該当する。

図４〜図６に示すように、分光感度の差が波長領域によって変化する。具体的に例を挙げると、Ｒ画素では、図４の曲線Ｌ_R1および曲線Ｌ_R2に示すように、平均分光感度に対して５５０ｎｍ近傍より短波長側の波長領域Ｒ１において差が生じる。Ｇ画素では、図５の曲線Ｌ_G1および曲線Ｌ_G2に示すように、平均分光感度に対して５００ｎｍ近傍より短波長側の波長領域Ｇ１と６００ｎｍ近傍より長波長側の波長領域Ｇ２において差が生じる。さらに、Ｂ画素では、図６の曲線Ｌ_G1および曲線Ｌ_G2に示すように、平均分光感度に対して５５０ｎｍ近傍より長波長側の波長領域Ｂ１において差が生じる。

なお、図４〜図６においては、分光感度が低い波長領域で平均分光感度よりも高い分光感度を有するＲ画素、Ｇ画素およびＢ画素それぞれの一例を説明したが、撮像素子１０５を構成する各画素によっては、以下の（ａ）〜（ｄ）いずれかの画素が存在する。
（ａ）分光感度が低い領域で平均分光感度よりも低い分光感度または同様の分光感度を有する画素
（ｂ）分光感度が高い波長領域で平均分光感度よりも高い分光感度若しくは低い分光感度または同様の分光感度を有する画素
（ｃ）分光感度が低い波長領域と高い波長領域とで平均分光感度との大小関係が変わる、または変わらない分光感度を有する画素
（ｄ）分光感度の高低に関わらず波長によって平均分光感度に対して大小が変化する分光感度を有する画素
このように撮像素子１０５は、製造段階において各カラーフィルタの厚みのばらつき等によって分光感度のばらつきが画素単位で発生する。本実施の形態では、一例として、分光感度のばらつきは、波長による変化が小さく、いずれの波長でも同程度の小さなばらつきをもつこの場合、例えば平坦な赤色の被写体を撮影するとき、Ｒ画素は、分光感度が高い波長領域のため、ランダムノイズによる画素値のばらつきが支配的になり、分光感度のばらつきが画質にあまり影響しない。

これに対して、平坦な赤色の被写体を撮影するとき、Ｇ画素およびＢ画素の各々は、分光感度が低い波長領域のため、ランダムノイズによる画素値のばらつきが小さく、分光感度のばらつきによる画素値のばらつきが相対的に大きくなることで、分光感度のばらつきが画質に影響する。このような分光感度のばらつきによる画素値のばらつきは、特に平坦な被写体において画像のざらつきとして見える。このざらつきは、画素の画素値に依存するため、多少の凹凸を有する被写体が動いても、ざらつきが停止して見えるため、違和感が生じる。したがって、他の色の画素の分光感度に比べ低い分光感度をもつ波長領域を優先的に補正することが望ましい。

図７は、撮像素子１０５が平坦な赤色または平坦な緑色の被写体を撮影した場合における撮像素子１０５を構成する複数のＧ画素それぞれの画素値を模式的に示す図である。図７において、横軸が画素列を示し、縦軸が画素値を示す。また、図７において、直線ＭＲ２が平坦な赤色の被写体を撮影した際の各Ｇ画素における画素値の平均値を示し、直線ＭＧ２が平坦な緑色の被写体を撮影した際の各Ｇ画素における画素値の平均値を示す。なお、図７において、各Ｇ画素で生じるランダムノイズＲＮ１、ＲＮ２、ＧＮ１およびＧＮ２の各々をハッチングで表現した。また、図７においては、撮像素子１０５を構成するＲ画素、Ｇ画素およびＢ画素のうち、６つのＧ画素を一例に説明する。

図７に示すように、撮像素子１０５が平坦な赤の被写体を撮影した場合、Ｇ画素Ｇ１〜Ｇ６の各々は、分光感度が低い波長領域のため、ランダムノイズよりも製造段階における各カラーフィルタの厚みのばらつき等による分光感度ばらつきによる影響を受けて、Ｇ画素Ｇ１〜Ｇ６の各々の画素値が大きくばらつく（図７（ａ）を参照）。これに対して、撮像素子１０５が平坦な緑色の被写体を撮影した場合、Ｇ画素Ｇ１〜Ｇ６の各々は、分光感度が高い波長領域のため、製造段階における各カラーフィルタの厚みのばらつき等による分光感度ばらつきよりも、ランダムノイズによる画素値のばらつきが支配的になりＧ画素Ｇ１〜Ｇ６の各々の画素値がほぼ一定となる（図７（ｂ）を参照）。よって、被写体の分光特性により、ざらつきが見えたり見えなかったりする。このように、各画素は、画素毎に分光感度によるばらつきが異なるため、従来のように各画素に対して一律のゲインをかけたり、一律のオフセットを加減算したりしても、上述したばらつきを補正することができない。そこで、本実施の形態では、後述の補正係数の算出や補正処理を行うことで、上述したざらつきを低減し、被写体が平坦な場合にはＭＲ２に示すような画素値に補正することができる（図７（ｃ）を参照）。このため、本実施の形態では、撮像素子１０５を構成する複数の画素の各々の分光感度の差によって生じる画質劣化を防止することで、高画質な画像を得る。

〔第１画像処理装置の処理〕
次に、第１画像処理装置３０が実行する処理について説明する。図８は、第１画像処理装置３０が実行する処理の概要を示すフローチャートであり、メインルーチンを示す。なお、図８においては、第１画像処理装置３０が実行する各画素の分光感度ばらつきを補正するための補正係数を算出する処理について説明する。本実施の形態では、撮像素子１０５の各画素は、ＲＧＢいずれかのカラーフィルタ１０６を有しているため、各画素においてＲ画素値を用いた補正用の補正係数、Ｇ画素値を用いた補正用の補正係数、Ｂ画素値を用いた補正用の補正係数を算出する。勿論、一部の補正係数のみ算出するようにしてもよい。

図８に示すように、光源制御部３０２は、光源装置２０が照射する波長領域を示すλを３８０ｎｍに設定する（ステップＳ１０１）。なお、本実施の形態では、光源制御部３０２は、可視光波長領域として３８０ｎｍ〜７８０ｎｍを設定するが、これに限定されず、赤外等の他の波長領域であってもよい。

続いて、光源制御部３０２は、光源装置２０が照射する照明光の波長を波長λに設定して照明光を照射させる（ステップＳ１０２）。これにより、光源装置２０は、被写体として波長λの単波長平面の照明光を撮像装置１０に向けて照射する。

その後、第１画像処理制御部３０５は、光源装置２０が照射する照明光を所定回数撮影して撮像素子１０５を構成する複数の画素の各々の画素値の平均値を算出する撮影処理を撮像装置１０に実行させる（ステップＳ１０３）。

図９は、図８のステップＳ１０３の撮影処理の概要を示すフローチャートである。図９に示すように、第１画像処理制御部３０５は、第１記録部３０４の第１バッファ部３０４ｂに記憶された撮像素子１０５が生成した画像データに対応する各画素の画素値の蓄積値を算出するためのバッファ領域を初期化する（ステップＳ２０１）。

続いて、第１画像処理制御部３０５は、カウンタｉを０に設定し（ステップＳ２０２）、第１バス３０６、第２外部Ｉ／Ｆ部３０１、第１外部Ｉ／Ｆ部１１６およびバス１１４を介して撮像素子１０５に露光を開始（光源装置２０が照射する照明光の撮影を開始）させるとともに（ステップＳ２０３）、撮像素子１０５から画像データの取り込みを行う（ステップＳ２０４）。

その後、第１画像処理制御部３０５は、第１バッファ部３０４ｂに記憶されている各画素の画素値と、撮像素子１０５から取り込んだ最新の画像データの画素毎に画素値を加算し、この加算した画素値を第１バッファ部３０４ｂに記憶されている画素値と置き換える（ステップＳ２０５）。

続いて、第１画像処理制御部３０５は、カウンタｉをインクリメント（ｉ＝ｉ＋１）し（ステップＳ２０６）、画像データの取り込んだ枚数（ｉ）が所定枚数未満（例えば１００枚）である場合（ステップＳ２０７：Ｙｅｓ）、第１画像処理装置３０は、ステップＳ２０３へ戻る。これに対して、画像データの取り込んだ枚数（ｉ）が所定枚数未満でない場合（ステップＳ２０７：Ｎｏ）、第１画像処理装置３０は、ステップＳ２０８へ移行する。

その後、第１画像処理制御部３０５は、第１バッファ部３０４ｂに記憶されている各画素の画素値を、画像データを取り込んだ所定枚数（例えば１００枚）で除算し、この除算した結果を第１バッファ部３０４ｂに記憶されている画素毎の画素値に置き換える（ステップＳ２０８）。これにより、第１バッファ部３０４ｂに記憶されている画素毎の画素値は、平均画素値となる。なお、第１画像処理制御部３０５は、撮像素子１０５から取り込んだ画像データの各画素において、欠陥画素が含まれている場合、この欠陥画素を補正するようにしてもよい。ステップＳ２０８の後、第１画像処理装置３０は、上述した図８のメインルーチンへ戻る。なお、図９における撮影処理においては、平均画素値を算出したが、少なくとも画像データにおけるランダムノイズやＲＴＳノイズ等の点滅欠陥等、時間的に変動するノイズが除去された画像データを取得できれば良い。そのため、公知のノイズ低減方法等を用い、時間的に変動するノイズを低減した画像データを取得するようにしても良い。

図８に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、光源制御部３０２は、光源装置２０が照射する照明光の波長を波長λに１０ｎｍを加算して設定する。なお、光源制御部３０２は、１０ｎｍ間隔以外でも良く、例えば１ｎｍ間隔または５ｎｍ間隔であってもよい。もちろん、光源制御部３０２は、２０ｎｍ間隔または５０ｎｍ間隔であってもよい。さらに、光源制御部３０２は、例えば赤、緑および青の各々の３つの波長領域の間隔であってもよい。

続いて、光源装置２０が照射する照明光の波長λが７８０ｎｍ以下（λ≦７８０ｎｍ）である場合（ステップＳ１０５：Ｙｅｓ）、第１画像処理装置３０は、ステップＳ１０２へ戻る。これに対して、光源装置２０が照射する照明光の波長λが７８０ｎｍ以下（λ≦７８０ｎｍ）でない場合（ステップＳ１０５：Ｎｏ）、第１画像処理装置３０は、ステップＳ１０６へ移行する。

その後、補正係数算出部３０７は、第１バッファ部３０４ｂに記憶された３８０ｎｍ〜７８０ｎｍまでの被写体（光源装置２０が照射した照明光）を撮影した画像データを用いて、分光感度特性を画素毎に算出する（ステップＳ１０６）。このとき、補正係数算出部３０７は、３８０ｎｍ〜７８０ｎｍまで光の放射輝度が同一では無い場合、正規化した後、分光感度特性を画素毎に算出する。

続いて、補正係数算出部３０７は、第１バッファ部３０４ｂに記憶された３８０ｎｍ〜７８０ｎｍまでの被写体（光源装置２０が照射した照明光）を撮影した画像データを用いて、赤、緑および青の各々のカラーフィルタ毎に基準分光感度特性を算出する（ステップＳ１０７）。具体的には、補正係数算出部３０７は、第１バッファ部３０４ｂに記憶された３８０ｎｍ〜７８０ｎｍまでの被写体（光源装置２０が照射した照明光）を撮影した複数の画像データを用いて、基準分光感度特性として赤、緑および青の各々のカラーフィルタ毎に分光感度特性の平均値、最大値、最小値、中央値および最頻値等の統計的手法によっていずれか１つを算出する。なお、本実施の形態では、赤、緑および青の各々のカラーフィルタの分光感度特性の平均値を基準分光感度特性として説明する。また、補正係数算出部３０７は、被写体が完全に平坦でない場合または光学系１０１によりシェーディングが発生する場合等均一な光が撮像素子１０５に照射されない場合、注目画素毎に、その注目画素の周囲の同色画素の分光感度特性を用いて基準分光感度を算出するようにしてもよい。

その後、補正係数算出部３０７は、撮像素子１０５の画素毎に分光感度特性を補正するための補正係数を算出する補正係数算出処理を実行する（ステップＳ１０８）。

図１０は、図８のステップＳ１０８の補正係数算出処理の概要を示すフローチャートである。

図１０に示すように、補正係数算出部３０７は、基準分光感度特性に基づいて、各色の波長領域を決定する（ステップＳ３０１）。具体的には、図１１に示すように、補正係数算出部３０７は、基準分光感度特性に基づいて、フィルタＢのＢ波長領域、フィルタＧのＧ波長領域およびフィルタＲのＲ波長領域の各々を決定する。例えば、図１１に示す場合、補正係数算出部３０７は、Ｂ波長領域を３８０ｎｍ〜５００ｎｍ、Ｇ波長領域を５００ｎｍ〜６００ｎｍおよびＲ波長領域を６００ｎｍ〜７８０ｎｍの各々に決定する。なお、補正係数算出部３０７は、波長領域の一部が重なるようにＢ波長領域、Ｇ波長領域およびＲ波長領域の各々の波長領域を決定してもよい。また反対に、補正係数算出部３０７は、波長領域の一部がいずれの波長領域にも該当しないように各々の波長領域を決定してもよい。また、各色の波長領域は、分光感度特性の設計値等に基づき、あらかじめ決定しておくようにしてもよい。

続いて、補正係数算出部３０７は、各画素の分光感度特性に基づいて、各画素の画素値を算出する（ステップＳ３０２）。具体的には、補正係数算出部３０７は、各画素と同色の波長領域における画素の分光感度特性の累積値を算出し、その値を画素値として算出する。この画素値は、同色の波長領域のみの特性が１、それ以外の波長領域の特性が０となるような矩形の分光特性を有する被写体（照明光）を露光した場合の画素値に相当する。なお、補正係数算出部３０７は、予め想定する被写体（光源または照明光の波長領域）を限定または特定できる場合、その被写体の分光特性に応じて重み付け加算することによって、その被写体を露光したときの画素値に相当する値を求めるようにしてもよい。

その後、補正係数算出部３０７は、注目画素における周囲であり、注目画素におけるフィルタの色と異なるフィルタを有する異色画素の画素値を用いて補間することによって、注目画素において該画素と異なる色の異色画素値を推定する（ステップＳ３０３）。具体的には、補正係数算出部３０７は、注目画素がＧ画素の場合、異なる色であるＲ波長領域とＢ波長領域の画素値を算出する。また、ステップＳ３０３において、補正係数算出部３０７は、注目画素におけるフィルタの色と同じフィルタを有する周辺画素値を用いて補間することによって、該画素と同じ色の平均画素値を推定する。具体的には、補正係数算出部３０７は、注目画素がＧ画素の場合、Ｇ波長領域の平均画素値を算出する。

図１１は、通常光を用いた場合における補正係数算出時の分光特性を模式的に示す図である。図１２は、狭帯域光を用いた場合における補正係数算出時の分光特性を模式的に示す図である。図１１および図１２において、横軸が波長を示し、縦軸が相対分光感度を示す。ここで、通常光とは、タングステンランプまたはキセノンランプの光源が照射する可視光の光や、太陽光などの自然光の光であって、分光特性が連続的に変化する光である。また、狭帯域光とは、蛍光灯、ＬＥＤ（Light Emitting Diode）ランプまたはレーザ光源、一部の波長域を通過させるフィルタを有する光源等の光源が照射する光であって、分光特性が離散的な光である。ここで、分光特性が離散的な光とは、一部の波長域の強度が強く、他の波長域の強度が著しく弱い光である場合も含む。

図１１に示すように、補正係数算出部３０７は、撮影時に通常光（狭帯域光以外）を用いる場合において、注目画素がＧ画素のとき、注目画素と異なる色であるＲ波長領域の画素値Ｓｒ１およびＢ波長領域の画素値Ｓｂ１、および注目画素と同じ色であるＧ波長域の平均画素値Ｓｇ１それぞれを算出することによって、注目画素において該注目画素と異なる色の異色画素値と注目画素と同じ色の平均画素値を推定する。また、図１２に示すように、補正係数算出部３０７は、撮影時に狭帯域光を用いる場合において、注目画素がＧ画素のとき、異なる色であるＲ波長領域の画素値Ｓｒ２およびＢ波長領域の画素値Ｓｂ２、および注目画素と同じ色であるＧ波長域の平均画素値Ｓｇ２それぞれを算出することによって、注目画素において該注目画素と異なる色の異色画素値と注目画素と同じ色の平均画素値を推定する。図１２に示す状況下において、補正係数算出部３０７は、用いる狭帯域光の主要な波長領域に合わせて、Ｒ波長領域、Ｇ波長域およびＢ波長領域それぞれの波長領域の幅を狭く設定する。具体的には、図１２に示す場合、狭帯域光Ｎ_RL、狭帯域光Ｎ_GLおよび狭帯域光Ｎ_BLに設定する。なお、図１１および図１２において、補正係数算出部３０７は、画素値Ｓｂ１、画素値Ｓｂ２、画素値Ｓｒ１および画素値Ｓｒ２それぞれの補間方法を後述する第２画像処理装置４０が実行する補正量算出処理において用いる補間方法と同一にすることが好ましい。同様に、平均画素値Ｓｇ１および平均画素値Ｓｇ２それぞれの算出方法を後述する第２画像処理装置４０が実行する補正量算出処理において用いる補間方法と同一にすることが好ましい。このため、画素値Ｓｂ１、画素値Ｓｂ２、画素値Ｓｇ１、画素値Ｓｇ２、画素値Ｓｒ１および画素値Ｓｒ２それぞれの補間方法は、後述する。

続いて、補正係数算出部３０７は、各画素において、該画素と異なる色の波長領域における誤差量を算出する（ステップＳ３０４）。具体的には、補正係数算出部３０７は、図１１に示す場合、各画素において、分光感度特性と基準分光感度特性との差を、各波長領域で累積した値によって算出する。例えば、図１１の曲線Ｌ_G1および曲線Ｌ_G2に示すように、補正係数算出部３０７は、注目画素がＧ画素の場合、曲線Ｌ_G2と曲線Ｌ_G1との差をＲ波長領域、Ｇ波長域およびＢ波長領域の各々において累積した値を誤差量Δｒ１、誤差量Δｇ１および誤差量Δｂ１として算出する。また、狭帯域光の場合、図１２の曲線Ｌ_G1および曲線Ｌ_G2に示すように、補正係数算出部３０７は、注目画素がＧ画素のとき、曲線Ｌ_G1と曲線Ｌ_G2との差をＲ波長領域、Ｇ波長域およびＢ波長領域の各々において累積した値を誤差量Δｒ２、誤差量Δｇ２および誤差量Δｂ２として算出する。ここで、誤差量は、基準分光感度特性よりも分光感度特性が大きい（高い）場合には正の値、小さい（低い）場合には負の値とする。

その後、補正係数算出部３０７は、各画素において、誤差量を推定した異色画素値または平均画素値で除算することによって、その画素における補正係数を算出する（ステップＳ３０５）。例えば、図１１に示す場合において、注目画素がＧ画素のとき、補正係数算出部３０７は、上述したステップＳ３０４で算出したＲ波長領域の誤差量を上述したステップ３０３で推定したＲ波長領域の画素値で除算した値（Δｒ１／Ｓｒ１）をＲ成分の補正係数とし、上述したステップＳ３０４で算出したＧ波長領域の誤差量を上述したステップ３０３で推定したＧ波長領域の平均画素値で除算した値（Δｇ１／Ｓｇ１）をＧ成分の補正係数とし、上述したステップＳ３０４で算出したＢ波長領域の誤差量を上述したステップＳ３０３で推定したＢ波長領域の画素値で除算した値（Δｂ１／Ｓｂ１）をＢ成分の補正係数として算出する。また、図１２に示す場合において、注目画素がＧ画素のとき、補正係数算出部３０７は、上述したステップＳ３０４で算出したＲ波長領域の誤差量を上述したステップ３０３で推定したＲ波長領域の画素値で除算した値（Δｒ２／Ｓｒ２）をＲ成分の補正係数とし、上述したステップＳ３０４で算出したＧ波長領域の誤差量を上述したステップ３０３で推定したＧ波長領域の平均画素値で除算した値（Δｇ２／Ｓｇ２）をＧ成分の補正係数とし、上述したステップＳ３０４で算出したＢ波長領域の誤差量を上述したステップＳ３０３で推定したＢ波長領域の画素値で除算した値（Δｂ２／Ｓｂ２）をＢ成分の補正係数として算出する。さらに、補正係数算出部３０７は、各画素に対して、他の色、例えばＲ画素およびＢ画素それぞれも同様に補正係数を算出する。ステップＳ３０５の後、第１画像処理装置３００は、図８のメインルーチンへ戻る。

図８に戻り、ステップＳ１０９以降の説明を続ける。
ステップＳ１０９において、補正係数算出部３０７は、撮像素子１０５の各画素において、算出した補正係数を、その画素の補正係数として撮像装置１０の補正係数記録部１１３ｂに記録する。撮影時には、太陽光などの自然光以外にも、特に暗所などでは、図１に図示していない発光部より光を発光させて被写体に照射し、その反射光を撮像素子１０５に撮像させる。上述の分光感度ばらつきは、波長に応じて、ばらつき度合いが異なる場合がある。このため、補正係数算出部３０７は、発光部から発光する光（被写体に照射する光）に合わせた補正を行うことが好ましい。特に、発光する光が狭帯域であるほど、自然光等の通常光とばらつき度合いが異なりやすい。よって、補正係数算出部３０７は、撮影時に用いる光源の種別毎に応じた補正係数を補正係数記録部１１３ｂに記録する。具体的には、補正係数算出部３０７は、撮影時に用いる光源の種別と補正係数とを対応付けて補正係数記録部１１３ｂに記録する。例えば、補正係数算出部３０７は、通常光であることを示す情報と、上述した図１１のように算出した補正係数とを対応付けて補正係数記録部１１３ｂに記録する。また、狭帯域光であることを示す情報と、上述した図１２のように算出した補正係数とを対応付けて補正係数記録部１１３ｂに記録する。これにより、複数の光源それぞれに対応させた各画素の補正係数を記録することができる。ステップＳ１０９の後、第１画像処理装置３０は、本処理を終了する。

このように第１画像処理装置３０は、互いに異なる分光透過率を有する複数のカラーフィルタを所定のパターンで複数の画素の各々の受光面に配置した撮像素子１０５によって生成された画像データに基づいて、該画像データにおける注目画素の分光感度と予め設定した基準分光感度との差を、画素値の差によって補正するための補正係数を画素毎に算出する。この結果、撮像素子１０５を構成する複数の画素それぞれの分光感度のばらつきを補正するための補正係数を画素毎に算出することができる。

〔第２画像処理装置の処理〕
次に、第２画像処理装置４０が実行する処理について説明する。図１３は、第２画像処理装置４０が実行する処理の概要を示すフローチャートであり、メインルーチンを示す。

図１３に示すように、まず、補正量算出部４０４は、撮像装置１０から撮像素子１０５が生成した画像データと補正係数記録部１１３ｂが記録する補正係数を取得し、取得した画像データにおける注目画素の画素値の補正量を算出する補正量算出処理を実行する（ステップＳ４０１）。なお、補正量算出処理の概要は、後述する。

続いて、画素値補正部４０５は、補正量算出部４０４が算出した各画素の補正量を減算することで各画素の画素値を補正する（ステップＳ４０２）。ステップＳ４０２の後、第２画像処理装置４０は、本処理を終了する。

次に、図１３のステップＳ４０１で説明した補正量算出処理の詳細について説明する。図１４は、補正量算出処理の概要を示すフローチャートである。

図１４に示すように、補正量算出部４０４は、まず、第２記録部４０２の第２バッファ部４０２ｂに記憶された画像データに対応する画像の高さ方向（縦方向）における画素の位置を示すカウンタｙを初期化（カウンタｙ＝０）し（ステップＳ５０１）、画像データに対応する画像の幅方向（横方向）における画素の位置を示すカウンタｘを初期化（カウンタｘ＝０）する（ステップＳ５０２）。

続いて、画像データにおける座標（ｘ，ｙ）の注目画素に対して、Ｒ波長領域の分光感度ばらつきを補正する場合（ステップＳ５０３：Ｙｅｓ）、補正量算出部４０４は、後述するステップＳ５０４へ移行する。これに対して、座標（ｘ，ｙ）の注目画素に対して、Ｒ波長領域の分光感度ばらつきを補正しない場合（ステップＳ５０３：Ｎｏ）、補正量算出部４０４は、後述するステップＳ５０５へ移行する。

ステップＳ５０４において、補正量算出部４０４は、Ｒ成分の補正量を算出するＲ成分補正量算出処理を実行する。ここで、Ｒ成分とは、Ｒ波長領域の画素値である。

図１５は、上述したステップＳ５０４のＲ成分補正量算出処理の概要を示すフローチャートである。図１５に示すように、補正量算出部４０４は、第２バッファ部４０２ｂから座標（ｘ，ｙ）の注目画素における周囲のＲ画素の画素値を取得する（ステップＳ６０１）。

続いて、補正量算出部４０４は、ステップＳ６０１で取得した周囲のＲ画素の画素値を用いて補間することによって、座標（ｘ，ｙ）の注目画素におけるＲ成分の画素値を推定する（ステップＳ６０２）。例えば、図１６Ａ〜図１６Ｄに示すように、補正量算出部４０４が行う補間方法としては、座標（ｘ，ｙ）の注目画素におけるフィルタの色に応じて、注目画素の周囲のＲ画素の画素値の平均値とすることによって、座標（ｘ，ｙ）の注目画素におけるＲ成分の画素値を推定する。具体的には、補正量算出部４０４は、図１６Ａに示すように、座標（ｘ，ｙ）の注目画素におけるフィルタの色が青色のＢ画素の場合、斜め４方向のＲ画素の画素値の平均値（図１６Ａを参照）を座標（ｘ，ｙ）の注目画素におけるＲ成分の画素値として推定し、座標（ｘ，ｙ）の注目画素におけるフィルタの色が緑色のＧ画素の場合、隣接するＲ画素の画素値の平均値（図１６Ｂおよび図１６Ｃを参照）を座標（ｘ，ｙ）の注目画素におけるＲ成分の画素値として推定する。また、補正量算出部４０４は、注目画素におけるフィルタの色が赤色のＲ画素の場合、上下左右における距離２画素の４つのＲ画素値の平均値（図１６Ｄを参照）を、座標（ｘ，ｙ）の注目画素におけるＲ成分の平均画素値として推定する。ここで、補正量算出部４０４は、注目画素がＲ画素の場合、注目画素を含めた平均値をＲ成分の平均画素値として算出するようにしてもよい。また、エッジ方向などを検出してエッジ方向の画素値の重みを大きくする等、重み付けを行った平均値を算出するようにしてもよい。

その後、狭帯域光を被写体に照射して撮影した場合（ステップＳ６０３：Ｙｅｓ）、補正量算出部４０４は、後述するステップＳ６０４へ移行する。これに対して、狭帯域光を被写体に照射せずに撮影した場合（ステップＳ６０３：Ｎｏ）、補正量算出部４０４は、後述するステップＳ６０５へ移行する。なお、光源の判定は、例えばメニューから選択してもよいし、補正量算出部４０４が画像データに対応する画像の色分布に基づいて、判定するようにしてもよい。また、補正量算出部４０４が外部の光源の情報を直接取得するようにしてもよい。また、補正量算出部４０４は、通常光と狭帯域光とが混合した混合光の場合（例えばＬＥＤランプによる光＋通常光の場合）、ＬＥＤランプが照射する光が届く範囲では、狭帯域光を優先して選択する一方、それ以外の範囲では通常光を選択するようにしてもよい。このとき、補正量算出部４０４は、画像データに対応する画像を構成する複数の画素それぞれに対して、複数の光源が映りこんでいるか否かを検出し、この検出結果に応じて混合光であるか否かを判定後、画素毎に狭帯域光の補正係数または通常光の補正係数を選択や、混合光の混合割合に応じて画素毎に狭帯域光の補正係数と通常光の補正係数を混合するようにしてもよい。

ステップＳ６０４において、補正量算出部４０４は、第２バッファ部４０２ｂから狭帯域光の光源に応じた座標（ｘ，ｙ）の注目画素におけるＲ成分の補正係数を取得する。ステップＳ６０４の後、補正量算出部４０４は、後述するステップＳ６０６へ移行する。

ステップＳ６０５において、補正量算出部４０４は、第２バッファ部４０２ｂから通常光に応じた座標（ｘ，ｙ）の注目画素におけるＲ成分の補正係数を取得する。ステップＳ６０５の後、補正量算出部４０４は、後述するステップＳ６０６へ移行する。

続いて、補正量算出部４０４は、上述したステップＳ６０２で推定した座標（ｘ，ｙ）の注目画素におけるＲ画素の画素値（注目画素がＲ画素である場合にはＲ成分の平均画素値）に、座標（ｘ，ｙ）の注目画素におけるＲ成分の補正係数を乗じることによって、座標（ｘ，ｙ）の注目画素における画素値に対するＲ成分の補正量を算出する（ステップＳ６０６）。ステップＳ６０６の後、補正量算出部４０４は、図１４の補正量算出処理へ戻る。

図１４に戻り、ステップＳ５０５以降の説明を続ける。
ステップＳ５０５において、座標（ｘ，ｙ）の注目画素に対して、Ｇ波長領域の分光感度ばらつきを補正する場合（ステップＳ５０５：Ｙｅｓ）、補正量算出部４０４は、後述するステップＳ５０６へ移行する。これに対して、座標（ｘ，ｙ）の注目画素に対して、Ｇ波長領域の分光感度ばらつきを補正しない場合（ステップＳ５０５：Ｎｏ）、補正量算出部４０４は、後述するステップＳ５０７へ移行する。

ステップＳ５０６において、補正量算出部４０４は、Ｇ成分の補正量を算出するＧ成分補正量算出処理を実行する。ここで、Ｇ成分とは、Ｇ波長領域の画素値である。

図１７は、上述したステップＳ５０６のＧ成分補正量算出処理の概要を示すフローチャートである。図１７に示すように、補正量算出部４０４は、第２バッファ部４０２ｂから座標（ｘ，ｙ）の注目画素における周囲のＧ画素の画素値を取得する（ステップＳ７０１）。

続いて、補正量算出部４０４は、ステップＳ７０１で取得した周囲のＧ画素の画素値を用いて補間することによって、座標（ｘ，ｙ）の注目画素におけるＧ成分の画素値を推定する（ステップＳ７０２）。例えば、補正量算出部４０４は、図１８Ａ〜図１８Ｄに示すように、座標（ｘ，ｙ）の注目画素におけるフィルタの色が赤色のＲ画素の場合、上下左右のＧ画素の画素値の平均値（図１８Ａを参照）を座標（ｘ，ｙ）の注目画素におけるＧ成分の画素値として推定し、座標（ｘ，ｙ）の注目画素におけるフィルタの色が青色のＢ画素の場合、上下左右のＧ画素の画素値の平均値（図１８Ｂを参照）を座標（ｘ，ｙ）の注目画素におけるＧ成分の画素値として推定する。また、補正量算出部４０４は、注目画素におけるフィルタの色が緑色のＧ画素の場合、斜め４方向のＧ画素値の平均値（図１８Ｃおよび図１８Ｄを参照）を、座標（ｘ，ｙ）の注目画素におけるＧ成分の平均画素値として推定する。ここで、補正量算出部４０４は、注目画素がＧ画素の場合、注目画素を含めた平均値をＧ成分の平均画素値として算出するようにしてもよい。また、補正量算出部４０４は、エッジ方向などを検出してエッジ方向の画素値の重みを大きくする等、重み付けを行った平均値を算出するようにしてもよい。

その後、狭帯域光を被写体に照射して撮影した場合（ステップＳ７０３：Ｙｅｓ）、補正量算出部４０４は、後述するステップＳ７０４へ移行する。これに対して、狭帯域光を被写体に照射せずに撮影した場合（ステップＳ７０３：Ｎｏ）、補正量算出部４０４は、後述するステップＳ７０５へ移行する。

ステップＳ７０４において、補正量算出部４０４は、第２バッファ部４０２ｂから狭帯域光の光源に応じた座標（ｘ，ｙ）の注目画素におけるＧ成分（Ｇ波長領域の画素値）の補正係数を取得する。ステップＳ７０４の後、補正量算出部４０４は、後述するステップＳ７０６へ移行する。

ステップＳ７０５において、補正量算出部４０４は、第２バッファ部４０２ｂから通常光に応じた座標（ｘ，ｙ）の注目画素におけるＧ成分の補正係数を取得する。ステップＳ７０５の後、補正量算出部４０４は、後述するステップＳ７０６へ移行する。

続いて、補正量算出部４０４は、上述したステップＳ７０２で推定した座標（ｘ，ｙ）の注目画素におけるＧ成分の画素値（注目画素がＧ画素である場合にはＧ成分の平均画素値）に、座標（ｘ，ｙ）の注目画素におけるＧ成分の補正係数を乗じることによって、座標（ｘ，ｙ）の注目画素の画素値に対するＧ成分の補正量を算出する（ステップＳ７０６）。ステップＳ７０６の後、補正量算出部４０４は、図１４の補正量算出処理へ戻る。

図１４に戻り、ステップＳ５０７以降の説明を続ける。
ステップＳ５０７において、座標（ｘ，ｙ）の注目画素に対して、Ｂ波長領域の分光感度ばらつきを補正する場合（ステップＳ５０７：Ｙｅｓ）、補正量算出部４０４は、後述するステップＳ５０８へ移行する。これに対して、座標（ｘ，ｙ）の注目画素に対して、Ｂ波長領域の分光感度ばらつきを補正しない場合（ステップＳ５０７：Ｎｏ）、補正量算出部４０４は、後述するステップＳ５０９へ移行する。

ステップＳ５０８において、補正量算出部４０４は、Ｂ成分の補正量を算出するＢ成分補正量算出処理を実行する。ここで、Ｂ成分とは、Ｂ波長領域の画素値である。

図１９は、上述したステップＳ５０８のＢ成分補正量算出処理の概要を示すフローチャートである。図１９に示すように、補正量算出部４０４は、第２バッファ部４０２ｂから座標（ｘ，ｙ）の注目画素における周囲のＢ画素の画素値を取得する（ステップＳ８０１）。

続いて、補正量算出部４０４は、ステップＳ８０１で取得した周囲のＢ画素の画素値を用いて補間することによって、座標（ｘ，ｙ）の注目画素におけるＢ成分の画素値を推定する（ステップＳ８０２）。例えば、補正量算出部４０４は、図２０Ａ〜図２０Ｄに示すように、座標（ｘ，ｙ）の注目画素におけるフィルタの色が緑色のＧ画素の場合、上下または左右のＢ画素の画素値の平均値（図２０Ａおよび図２０Ｂを参照）を座標（ｘ，ｙ）の注目画素におけるＢ成分の画素値として推定し、座標（ｘ，ｙ）の注目画素におけるフィルタの色が赤色のＲ画素の場合、斜め方向のＢ画素の画素値の平均値（図２０Ｃを参照）を座標（ｘ，ｙ）の注目画素におけるＢ成分の画素値として推定する。また、補正量算出部４０４は、注目画素におけるフィルタの色が青色のＢ画素の場合、上下左右における距離２画素の４つのＢ画素値の平均値（図２０Ｄを参照）を、座標（ｘ，ｙ）の注目画素におけるＢ成分の平均画素値として推定する。ここで、補正量算出部４０４は、注目画素がＢ画素の場合、注目画素を含めた平均値をＢ成分の平均画素値として算出するようにしてもよい。また、補正量算出部４０４は、エッジ方向などを検出してエッジ方向の画素値の重みを大きくする等、重み付けを行った平均値を算出するようにしてもよい。

その後、狭帯域光を被写体に照射して撮影した場合（ステップＳ８０３：Ｙｅｓ）、補正量算出部４０４は、後述するステップＳ８０４へ移行する。これに対して、狭帯域光を被写体に照射せずに撮影した場合（ステップＳ８０３：Ｎｏ）、補正量算出部４０４は、後述するステップＳ８０５へ移行する。

ステップＳ８０４において、補正量算出部４０４は、第２バッファ部４０２ｂから狭帯域光の光源に応じた座標（ｘ，ｙ）のＢ成分の補正係数を取得する。ステップＳ８０４の後、補正量算出部４０４は、後述するステップＳ８０６へ移行する。

ステップＳ８０５において、補正量算出部４０４は、第２バッファ部４０２ｂから通常光に応じた座標（ｘ，ｙ）のＢ成分の補正係数を取得する。ステップＳ８０５の後、補正量算出部４０４は、後述するステップＳ８０６へ移行する。

続いて、補正量算出部４０４は、上述したステップＳ８０２で推定した座標（ｘ，ｙ）の注目画素におけるＢ成分の画素値（注目画素がＢ画素である場合にはＢ成分の平均画素値）に、座標（ｘ，ｙ）の注目画素におけるＢ成分の補正係数を乗じることによって、座標（ｘ，ｙ）の注目画素の画素値に対するＢ成分の補正量を算出する（ステップＳ８０６）。ステップＳ８０６の後、補正量算出部４０４は、図１４の補正量算出処理へ戻る。

図１４に戻り、ステップＳ５０９以降の説明を続ける。
ステップＳ５０９において、補正量算出部４０４は、上述したステップＳ５０３〜ステップＳ５０８で算出した座標（ｘ，ｙ）の注目画素における補正量（算出しなかった成分の補正量は０とする）の和を、座標（ｘ，ｙ）の注目画素の補正量として算出する。

続いて、補正量算出部４０４は、カウンタｘをインクリメント（ｘ＝ｘ＋１）する（ステップＳ５１０）。

その後、カウンタｘが画像データに対応する画像の幅より小さい場合（ステップＳ５１１：Ｙｅｓ）、補正量算出部４０４は、ステップＳ５０３へ戻る。これに対して、カウンタｘが画像データに対応する画像の幅より小さくない場合（ステップＳ５１１：Ｎｏ）、補正量算出部４０４は、ステップＳ５１２へ移行する。

続いて、補正量算出部４０４は、カウンタｙをインクリメント（ｙ＝ｙ＋１）する（ステップＳ５１２）。

その後、カウンタｙが画像データに対応する画像の高さより小さい場合（ステップＳ５１３：Ｙｅｓ）、補正量算出部４０４は、ステップＳ５０２へ戻る。これに対して、カウンタｙが画像データに対応する画像の高さより小さくない場合（ステップＳ５１３：Ｎｏ）、補正量算出部４０４は、図１３のメインルーチンへ戻る。

このように、第２画像処理装置４０は、補正量算出部４０４が撮像装置１０の補正係数記録部１１３ｂが記録する補正係数を取得し、取得した補正係数と、注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出し、画素値補正部４０５が補正量算出部４０４によって算出された補正量を用いて注目画素の画素値を補正する。これにより、撮像素子１０５を構成する複数の画素それぞれの分光感度のばらつきを補正することができる。なお、第２画像処理装置４０は、Ｒ画素、Ｇ画素およびＢ画素の各々の画素値を補正していたが、例えばＧ画素のＲ成分の画素値だけ補正するようにしてもよい。

また、上述のように、第２画像処理装置４０は、分光感度が相対的に低い波長域のほうが、相対的に高い波長域よりも分光感度ばらつきによる影響が大きいため、注目画素におけるフィルタと異なる色の波長領域のみ補正するようにしてもよい。その場合、ステップＳ５０３では注目画素がＲ画素では無い場合にＹｅｓと判定し、ステップＳ５０５では注目画素がＧ画素では無い場合にＹｅｓと判定し、ステップＳ５０７では注目画素がＢ画素では無い場合にＹｅｓと判定するようにすればよい。このようにすることで、上述に比べ、演算量を削減することができる。

以上説明した本発明の実施の形態１によれば、補正係数算出部３０７が互いに異なる分光透過率を有する複数色のカラーフィルタ１０６のいずれか１つを複数の画素の各々の受光面に設けられた撮像素子１０５によって生成された画像データに対し、注目画素において分光感度と予め設定した基準分光感度との差による画素値の差分を補正するための補正係数を複数の画素毎に算出するので、撮像素子１０５を構成する複数の画素それぞれの分光感度のばらつきを画素毎に補正するための補正係数を効率的に算出することができる。

また、本発明の実施の形態１によれば、補正係数算出部３０７が撮影時に用いる光源に応じて検出方法を変更することによって、光源に応じて画素毎に適切な分光感度のばらつきを補正するための補正係数を算出することができる。

また、本発明の実施の形態１によれば、補正量算出部４０４が補正係数記録部１１３ｂによって記録された注目画素における補正係数と注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出し、画素値補正部４０５が補正量算出部４０４によって算出された補正量に基づいて、注目画素の画素値を補正するので、画素毎に分光感度のばらつきに起因して生じる画素値の差を補正することができる。

また、本発明の実施の形態１によれば、補正量算出部４０４が撮影時に用いた光源に応じた補正係数を補正係数記録部１１３ｂから取得するので、光源に応じて適切な注目画素の画素値の補正量を算出することができる。

なお、本発明の実施の形態１では、撮像装置１０と第１画像処理装置３０とがそれぞれ別に設けられていたが、撮像装置１０内に第１画像処理装置３０を設けてもよい。

また、本発明の実施の形態１では、撮像装置１０と第２画像処理装置４０とがそれぞれ別に設けられていたが、撮像装置１０内に第２画像処理装置４０を設けてもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像システムは、上述した実施の形態１に係る撮像システム１と同様の構成を有し、第１画像処理装置が実行する処理が異なる。具体的には、上述した実施の形態１では、被写体としての光源装置２０が通常光または特定の波長の光を照射していたが、本実施の形態２では、赤、緑および青それぞれの波長領域の光を光源装置２０に照射させる。このため、本実施の形態２に係る第２画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔第２画像処理装置の処理〕
図２１は、第１画像処理装置３０が実行する処理の概要を示すフローチャートであり、メインルーチンを示す。なお、図２１において、第１画像処理装置３０が実行する各画素の分光感度を補正するための補正係数を算出する処理について説明する。

図２１に示すように、光源制御部３０２は、光源装置２０が照射する光（被写体）の波長領域を赤色の波長領域に設定し、赤色均一被写体の被写体として照明光を照射させる（ステップＳ９０１）。具体的には、図２２の曲線Ｌ_R10に示すように、光源制御部３０２は、光源装置２０が照射する光の波長領域を６００ｎｍ〜７８０ｎｍに設定して、分光放射輝度が他の波長領域に比べて高い一様な赤色の光を被写体として撮像装置１０に向けて照射させる。なお、図２２の曲線Ｌ_R11に示すように、光源制御部３０２は、波長領域６００ｎｍ〜７８０ｎｍよりも波長領域が狭い狭帯域光を光源装置２０に照射させてもよい。

続いて、第１画像処理装置３０は、撮像装置１０に光源装置２０が照射する赤色の照明光を複数回撮影して撮像素子１０５を構成する各画素の画素値の平均値を算出する撮影処理を実行させる（ステップＳ９０２）。なお、撮影処理は、上述した図９の撮影処理と同様のため、説明を省略する。

その後、光源制御部３０２は、光源装置２０が照射する光の波長領域を緑色の波長領域に設定して照射させる（ステップＳ９０３）。具体的には、図２３の曲線Ｌ_G10に示すように、光源制御部３０２は、光源装置２０が照射する光の波長領域を５００ｎｍ〜６００ｎｍに設定して、分光放射輝度が他の波長領域に比べて高い一様な緑色の光を被写体として撮像装置１０に向けて照射させる。なお、図２３の曲線Ｌ_G11に示すように、光源制御部３０２は、波長領域５００ｎｍ〜６００ｎｍよりも波長領域が狭い狭帯域光を光源装置２０に照射させてもよい。

続いて、第１画像処理装置３０は、撮像装置１０に光源装置２０が照射する緑色の照明光を複数回撮影して撮像素子１０５を構成する各画素の画素値の平均値を算出する撮影処理を実行させる（ステップＳ９０４）。なお、撮影処理は、上述した図９の撮影処理と同様のため、説明を省略する。

その後、光源制御部３０２は、光源装置２０が照射する光の波長領域を青色の波長領域に設定して照射させる（ステップＳ９０５）。具体的には、図２４の曲線Ｌ_B10に示すように、光源制御部３０２は、光源装置２０が照射する光の波長領域を３８０ｎｍ〜５００ｎｍに設定して、分光放射輝度が他の波長領域に比べて高い一様な青色の光を被写体として撮像装置１０に向けて照射させる。なお、図２４の曲線Ｌ_B11に示すように、光源制御部３０２は、波長領域３８０ｎｍ〜５００ｎｍよりも波長領域が狭い狭帯域光を光源装置２０に照射させてもよい。

続いて、第１画像処理装置３０は、撮像装置１０に光源装置２０が照射する青色の照明光を複数回撮影して撮像素子１０５を構成する各画素の画素値の平均値を算出する撮影処理を実行させる（ステップＳ９０６）。なお、撮影処理は、上述した図９の撮影処理と同様のため、説明を省略する。

その後、補正係数算出部３０７は、第１バッファ部３０４ｂに記録された画像データに対応する画像の高さ方向（縦方向）における画素の位置を示すカウンタｙを初期化（カウンタｙ＝０）するとともに（ステップＳ９０７）、画像データに対応する画像の幅方向（横方向）における画素の位置を示すカウンタｘを初期化（カウンタｘ＝０）する（ステップＳ９０８）。

続いて、補正係数算出部３０７は、座標（ｘ，ｙ）の注目画素とカラーフィルタの色が同色の周囲画素を用いて、座標（ｘ，ｙ）の注目画素における近傍平均値を算出する（ステップＳ９０９）。具体的には、補正係数算出部３０７は、注目画素の色と異なる色の照明光を撮影した画素の周囲画素を用いて座標（ｘ，ｙ）の注目画素における近傍平均値を算出する。例えば、図２５Ａおよび図２５Ｂに示すように、補正係数算出部３０７は、注目画素がＧ画素である場合、赤色の照明光を撮像した画像Ｐ_Rおよび青色の照明光を撮像した画像Ｐ_Bそれぞれの周囲画素を用いて、座標（ｘ，ｙ）の注目画素における近傍平均値Ｒおよび近傍平均値Ｂそれぞれを算出する。ここで、周囲画素とは、注目画素を中心に５×５の範囲に含まれる画素であって、注目画素を除く注目画素と同色の画素である。なお、補正係数算出部３０７は、注目画素を中心に３×３や７×７等、他の大きさの範囲に含まれる画素であって、注目画素を除く周囲画素を用いて近傍平均値Ｒおよび近傍平均値Ｂそれぞれを算出してもよい。また、補正係数算出部３０７は、注目画素を中心に３×３や５×５、７×７等の大きさの範囲に含まれる画素であって、注目画素を含む周囲画素を用いて近傍平均値Ｒおよび近傍平均値Ｂそれぞれを算出してもよい。

その後、補正係数算出部３０７は、座標（ｘ，ｙ）の注目画素と異なる色の照明光を撮像した画像における座標（ｘ，ｙ）の注目画素の周囲にある画素であり、かつ、被写体と同色の画素の画素値を用いて補間することで、座標（ｘ，ｙ）の注目画素における異色画素値を推定する（ステップＳ９１０）。ここで、周囲にある画素とは、注目画素に隣接する位置する画素または注目画素の近傍に位置する画素である。具体的には、図２５Ａおよび図２５Ｂに示すように、補正係数算出部３０７は、座標（ｘ，ｙ）の注目画素がＧ画素である場合、赤色の照明光を撮像した画像Ｐ_Rにおける座標（ｘ，ｙ）の注目画素における周囲のＲ画素を用いて座標（ｘ，ｙ）の注目画素におけるＲ画素の異色画素値（Ｒ）を推定し、青色の照明光を撮像した画像Ｐ_Bにおける座標（ｘ，ｙ）の注目画素における周囲のＢ画素を用いて座標（ｘ，ｙ）の注目画素におけるＢ画素の異色画素値（Ｂ）を推定する。

続いて、補正係数算出部３０７は、ステップＳ９０９で算出した座標（ｘ，ｙ）の注目画素における近傍平均値と、近傍平均値を算出した画像における座標（ｘ，ｙ）の注目画素の画素値との差を誤差量として算出する（ステップＳ９１１）。ここで、誤差量は近傍平均値より座標（ｘ，ｙ）の注目画素の画素値が大きい場合には正の値、小さい場合には負の値とする。

その後、補正係数算出部３０７は、上述したステップＳ９１１で算出した座標（ｘ，ｙ）の注目画素における誤差量を、ステップＳ９１０で推定した異色画素値で除算することによって補正係数を算出する（ステップＳ９１２）。具体的には、補正係数算出部３０７は、注目画素がＧ画素である場合、赤色の照明光を撮像した画像から算出した誤差量を、同じ画像から注目画素の周囲にあるＲ画素の画素値を用いて推定した異色画素値（Ｒ）で除算し、青色の照明光を撮像した画像から算出した誤差量を、同じ画像から注目画素の周囲にあるＢ画素の画素値を用いて推定した異色画素値（Ｂ）で除算することによって、Ｒ成分の補正係数およびＢ成分の補正係数それぞれを算出する。

続いて、補正係数算出部３０７は、カウンタｘをインクリメント（ｘ＝ｘ＋１）する（ステップＳ９１３）。

その後、カウンタｘが画像データに対応する画像の幅より小さい場合（ステップＳ９１４：Ｙｅｓ）、補正係数算出部３０７は、ステップＳ９０９へ戻る。これに対して、カウンタｘが画像データに対応する画像の幅より小さくない場合（ステップＳ９１４：Ｎｏ）、補正係数算出部３０７は、ステップＳ９１５へ移行する。

続いて、補正係数算出部３０７は、カウンタｙをインクリメント（ｙ＝ｙ＋１）する（ステップＳ９１５）。

その後、カウンタｙが画像データに対応する画像の高さより小さい場合（ステップＳ９１６：Ｙｅｓ）、補正係数算出部３０７は、ステップＳ９０８へ戻る。これに対して、カウンタｙが画像データに対応する画像の高さより小さくない場合（ステップＳ９１６：Ｎｏ）、補正係数算出部３０７は、ステップＳ９１７へ移行する。

続いて、補正係数算出部３０７は、撮像素子１０５の各画素において、カラーフィルタ１０６と同じ波長領域以外の波長領域で算出した補正係数を、その画素の補正係数として第１記録部３０４に記録する（ステップＳ９１７）。例えば、補正係数算出部３０７は、カラーフィルタ１０６がＲＧＢのベイヤー配列の場合において、Ｒ画像のとき、ＢおよびＧそれぞれの波長領域で算出した補正係数を、Ｇ画素のとき、ＲおよびＢそれぞれの波長領域で算出した補正係数を、Ｂ画素のとき、ＲおよびＧそれぞれの波長領域で算出した補正係数を、その画素の補正係数として撮像装置１０の補正係数記録部１１３ｂに記録する。ステップＳ９１７の後、第２画像処理装置４０は、本処理を終了する。

以上説明した本発明の実施の形態２によれば、赤色、緑色および青色それぞれの波長領域の光を被写体として照射することによって、補正係数算出部３０７が画素毎の分光感度のばらつきを補正するための補正係数を簡易に算出することができる。

また、本発明の実施の形態２によれば、補正係数算出部３０７が注目画素の周囲の画素の画素値を用いて近傍平均値を算出し、この近傍平均値と注目画素の画素値とに基づいて画素毎に分光感度のばらつきを補正するための補正係数を算出するので、被写体に多少のムラが生じていたとしても精度良く補正係数を算出することができる。

また、本発明の実施の形態２によれば、補正量算出部４０４が所定の波長領域における一部の色に対する補正量を算出するので、視覚的に補正効果を維持しながら演算量を削減した補正量を算出することができる。

なお、本発明の実施の形態２では、注目画素の色成分（例えば、Ｇ画素のＧ成分）にも分光感度のばらつきが発生する場合もあるため、注目画素の色成分の補正係数を同様に算出しておいてもよい。この場合、補正係数算出部３０７は、注目画素と同色の照明光を撮像した画像に基づいて、注目画素と同じカラーフィルタを有する周囲の画素の画素値から注目画素の近傍平均値を算出し、その近傍平均値と注目画素の画素値との差を誤差量として算出し、その誤差量を注目画素の近傍平均値で除算することによって注目画素の色成分の補正係数を算出すればよい。

（実施の形態３）
次に、本発明の実施の形態３について説明する。上述した実施の形態１，２では、撮像装置１０、第１画像処理装置３０および第２画像処理装置４０それぞれが個別に設けられていたが、本実施の形態３では、撮像装置内に第１画像処理装置および第２画像処理装置を設けた。このため、以下においては、本実施の形態３に係る撮像システムについて説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔撮像システムの構成〕
図２６は、本発明の実施の形態３に係る撮像装置の構成を模式的に示すブロック図である。図２６に示す撮像装置１０ａは、補正係数を算出する場合には筐体１００に配置され、通常の撮影時には筐体１００外に配置される。また、補正係数を算出する場合には、撮像装置１０ａは、光源装置２０に通信ケーブル等を介して接続される。撮像装置１０ａは、上述した実施の形態１に係る撮像装置１０の構成に加えて、光源制御部３０２ａと、第１画像処理部６０と、第２画像処理部７０と、第３画像処理部８０と、表示部９０と、を備える。

第１画像処理部６０は、ランダムノイズ除去部５０１と、補正係数算出部３０７と、を有する。

ランダムノイズ除去部５０１は、撮像素子１０５が生成した画像データのランダムノイズを除去し、この除去した画像データを補正係数算出部３０７へ出力する。ランダムノイズ除去部５０１は、周知の技術を用いて画像データに対応する画像を構成する複数の画素それぞれに対して発生するランダムノイズを除去する。

第２画像処理部７０は、ランダムノイズ除去部５０２と、補正量算出部４０４と、画素値補正部４０５と、を有する。

ランダムノイズ除去部５０２は、上述したランダムノイズ除去部５０１と同様の機能を有し、撮像素子１０５が生成した画像データのランダムノイズを除去し、この除去した画像データを補正量算出部４０４へ出力する。

第３画像処理部８０は、上述した画像処理部４０６と同様の機能を有し、画素値補正部４０５が画素値を補正した画像データに対して、所定の画像処理を行い、この画像処理を行った画像データを表示部９０へ出力する。

表示部９０は、撮像装置１０ａに関する各種情報、画像データに対応する画像を表示する。表示部９０は、液晶または有機ＥＬ等の表示パネルを用いて構成される。

このように構成された撮像装置１０ａは、上述した実施の形態１，２と同様の処理を第１画像処理部６０および第２画像処理部７０がそれぞれ実行する。具体的には、第１画像処理部６０が補正係数を算出する処理を実行し、第２画像処理部７０が補正量を補正する処理を実行する。

以上説明した本発明の実施の形態３によれば、上述した実施の形態１，２と同様の効果を有する。

（その他の実施の形態）
本発明の実施の形態１〜３に係るカラーフィルタ１０６は、Ｒフィルタ、ＧフィルタおよびＢフィルタで構成されたベイヤー配列のカラーフィルタであったが、他のカラーフィルタであっても本発明を適用することができる。図２７に示すように、本発明では、上述した実施の形態１〜３に係るカラーフィルタ１０６のＲフィルタに換えて、補色のＭｇ（マゼンタ）フィルタ、ＧフィルタおよびＢフィルタによって構成されたカラーフィルタ１０６ａであってもよい。また、図２８に示すように、本発明では、Ｒフィルタ、ＧフィルタおよびＢフィルタそれぞれが斜めに配置されたカラーフィルタ１０６ｂであってもよい。なお、図２８に示す状況下では、撮像素子の各画素も斜めに配置されている。さらにまた、図２９に示すように、本発明では、Ｃｙ（シアン）フィルタ、ＭｇフィルタおよびＹｅ（イエロー）フィルタを用いた補色フィルタのカラーフィルタであってもよい。図２９に示すカラーフィルタ１０６ｃを用いる場合、周知の補色から原色に補間する補間方法によって行えばよい。

また、本発明の実施の形態１〜３では、１つの撮像素子に互いに異なる分光透過率を有する複数のカラーフィルタを設けていたが、例えば緑色の波長領域を透過するＧフィルタのみを各画素の受光面または、撮像素子全面に設けた撮像素子と、赤色または青色の波長領域を透過するＲフィルタおよびＢフィルタを市松模様になるように互い違いに各画素の受光面に設けた撮像素子とを用いる２板式の撮像装置であっても本発明を適用することができる。この場合、一方の撮像素子におけるＧ画素の補正係数を算出する場合、該Ｇ画素の座標に対応する他方の撮像素子のＲ画素またはＢ画素の画素値を用いることによって本発明の補正係数および補正量を算出することができる。

本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。

また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施例および変形例で説明した構成要素を適宜組み合わせてもよい。

また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１ 撮像システム
１０，１０ａ 撮像装置
２０ 光源装置
３０ 第１画像処理装置
４０ 第２画像処理装置
５０ 表示装置
６０ 第１画像処理部
７０ 第２画像処理部
８０ 第３画像処理部
９０ 表示部
１００ 筐体
１０１ 光学系
１０２ 絞り
１０３ シャッタ
１０４ ドライバ
１０５ 撮像素子
１０６，１０６ａ，１０６ｂ，１０６ｃ カラーフィルタ
１０７ アナログ処理部
１０８ Ａ／Ｄ変換部
１０９ 第１操作部
１１０ メモリＩ／Ｆ部
１１１ 記録媒体
１１２ 揮発メモリ
１１３ 不揮発メモリ
１１３ａ プログラム記録部
１１３ｂ 補正係数記録部
１１４ バス
１１５ 撮像制御部
１１６ 第１外部Ｉ／Ｆ部
３０１ 第２外部Ｉ／Ｆ部
３０２ 光源制御部
３０２ａ 光源制御部
３０３ 第２操作部
３０４ 第１記録部
３０４ａ 第１プログラム記録部
３０４ｂ 第１バッファ部
３０５ 第１画像処理制御部
３０６ 第１バス
３０７ 補正係数算出部
４０１ 第３外部Ｉ／Ｆ部
４０２ 第２記録部
４０２ａ 第２プログラム記録部
４０２ｂ 第２バッファ部
４０３ 第２バス
４０４ 補正量算出部
４０５ 画素値補正部
４０６ 画像処理部
５０１，５０２ ランダムノイズ除去部

Claims (12)

1. 互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を、少なくとも前記複数色のカラーフィルタのうち所定のカラーフィルタが配置された前記複数の画素毎に算出する補正係数算出部を備えたことを特徴とする画像処理装置。
2. 前記補正係数算出部は、前記注目画素に設けられた前記カラーフィルタの分光透過率が他の色の前記カラーフィルタの分光透過率よりも低い波長領域を含む前記所定波長域における前記補正係数を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正係数算出部は、前記注目画素に設けられた前記カラーフィルタの分光透過率が他の色の前記カラーフィルタの分光透過率よりも高い波長領域を含む前記所定波長域における前記補正係数を算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記補正係数算出部は、前記注目画素と同色の前記カラーフィルタが配置された前記複数の画素の各々の画素値に基づいて、前記基準分光感度を算出することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記補正係数算出部は、前記注目画素と同色の前記カラーフィルタが配置された前記複数の画素の各々の分光感度の平均値または前記注目画素毎に該注目画素の周辺に位置し該注目画素と同色の前記カラーフィルタが配置された前記複数の画素の各々の分光感度の平均値を前記基準分光感度として算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記補正係数算出部は、互いに異なる波長特性の光を照射する光源毎に前記補正係数を算出することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記撮像素子は、所定波長領域の分光放射輝度が他の波長領域に比べて高い一様な光を受光することによって前記画像データを生成することを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記画像データのランダムノイズを除去するランダムノイズ除去部をさらに備え、
   前記補正係数算出部は、前記ランダムノイズ除去部によって前記ランダムノイズが除去された前記画像データに対し、前記補正係数を算出することを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記カラーフィルタの色は、赤、緑および青であることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 前記カラーフィルタの色は、シアン、マゼンタ、イエローおよび緑であることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
11. 画像処理装置が実行する画像処理方法であって、
    互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得ステップと、
    前記取得ステップにおいて取得した前記画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数を、少なくとも前記複数色のカラーフィルタのうち所定のカラーフィルタが配置された前記複数の画素毎に算出する補正係数算出ステップと、
    を含むことを特徴とする画像処理方法。
12. 互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データを取得する取得ステップと、
    前記取得ステップにおいて取得した前記画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数を、少なくとも前記複数色のカラーフィルタのうち所定のカラーフィルタが配置された前記複数の画素毎に算出する補正係数算出ステップと、
    を画像処理装置に実行させることを特徴とするプログラム。

Images