JPWO2017068702A1

JPWO2017068702A1 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JPWO2017068702A1
Application number: JP2017546358A
Authority: JP
Inventors: 裕輝丸山; 学市川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-10-22
Filing date: 2015-10-22
Publication date: 2018-08-09
Anticipated expiration: 2035-10-22
Also published as: US10531029B2; EP3367679A1; WO2017068702A1; CN108141573A; JP6670844B2; US20180234650A1; EP3367679A4

Abstract

撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置４０は、画像データおよび補正係数を撮像装置１０から取得する第２外部Ｉ／Ｆ部４１と、注目画素の周囲における注目画素のカラーフィルタの色と同色の周辺同色画素の画素値と第２外部Ｉ／Ｆ部４１が取得した補正係数とを用いて注目画素における補正対象の色成分の推定値を算出し、この推定値と注目画素の補正係数とに基づいて、注目画素の画素値の補正量を算出する補正量算出部４４１と、補正量算出部４４１が算出した補正量に基づいて、注目画素の画素値を補正する画素値補正部４４２と、を備える。

Description

本発明は、撮像素子を構成する複数の画素の各々に設けられたカラーフィルタの分光感度特性を補正する画像処理装置、画像処理方法およびプログラムに関する。

従来、デジタルカメラ等の撮像装置において、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子の受光面に設けられたカラーフィルタの分光透過率のばらつきによる画素の分光感度のばらつきを撮像素子毎に調整する技術が知られている（特許文献１参照）。この技術では、プリズムでスペクトル分光された可視光を撮像素子で光電変換することによってＲ（赤）、Ｇ（緑）およびＢ（青）の各々の色成分の組み合わせからなる画像データから波長毎にＲ、ＧおよびＢそれぞれの値を算出し、この算出したＲ、ＧおよびＢの値と予め波長毎に算出された基準値との差分の各々が小さくなるように、Ｒ、ＧおよびＢそれぞれの値に乗じる補正係数を算出後、この補正係数を用いることによって撮像素子毎の分光感度のばらつきを補正する。

特開２０１０−１９３３７８号公報

しかしながら、上述した特許文献１では、画素毎に分光感度の補正を行っていないため、画素毎の分光感度のばらつきを補正することができないという問題点があった。

本発明は、上記に鑑みてなされたものであって、撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得部と、前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出し、該推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出部と、前記補正量算出部が算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、候補値と前記周辺同色画素における各画素の前記補正係数に基づいて算出された前記周辺同色画素における画素値の理論値と前記周辺同色画素における画素値の実測値から類似度を算出し、類似度が高い前記候補値を、前記推定値として算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記理論値は、前記候補値と前記周辺同色画素における各画素の前記補正係数との積であることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記類似度は、前記周辺同色画素における各画素の前記理論値と前記実測値との差に基づく値であることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記周辺同色画素における各画素の画素値を前記補正係数によって除算し、この除算した値に基づいて、前記推定値を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記周辺同色画素における各画素の画素値を前記補正係数によって除算して得られる値の統計値を、前記推定値として算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記周辺同色画素において、前記周辺同色画素における画素値と前記補正係数と前記推定値との関係式を画素毎に立てた連立方程式を解くことによって、前記推定値を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記周辺同色画素のうち複数の画素の各々を組み合わせて算出した前記推定値の統計値を、前記推定値として算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記注目画素の周囲において、画素値が飽和していない周辺画素における各画素の画素値と前記周辺同色画素における各画素の前記補正係数の比とに基づいて、前記推定値を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画素値補正部は、前記注目画素の補正後の画素値が、前記周辺同色画素における各画素の画素値の平均値から前記注目画素の画素値までの間に入るよう、前記補正量を用いて前記注目画素の画素値を補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画素値補正部は、前記注目画素の画素値から前記補正量を減算した値と前記周辺同色画素の画素値の平均値との差が所定値より大きい場合、前記注目画素の画素値から前記補正量を減算しないことを特徴とする。

また、本発明に係る画像処理方法は、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得ステップと、前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出する算出ステップと、前記算出ステップにおいて算出した前記推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出ステップと、前記補正量算出ステップにおいて算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得ステップと、前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出する算出ステップと、前記算出ステップにおいて算出した前記推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出ステップと、前記補正量算出ステップにおいて算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正ステップと、を画像処理装置に実行させることを特徴とする。

本発明によれば、撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図２は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。図３は、図２の補正量算出処理の概要を示すフローチャートである。図４は、図３のＲ成分補正量算出処理の概要を示すフローチャートである。図５は、図３のＧ成分補正量算出処理の概要を示すフローチャートである。図６は、図３のＢ成分補正量算出処理の概要を示すフローチャートである。図７は、図４の平均によるＲ成分推定値算出処理の概要を示すフローチャートである。図８は、図４の類似度によるＲ成分推定値算出処理の概要を示すフローチャートである。図９は、本発明の実施の形態１に係る画像処理装置の補正量算出部が算出するＲ成分推定値の算出方法を模式的に示す図である。図１０は、図８の各Ｒ成分候補値における類似度算出処理の概要を示すフローチャートである。図１１は、図３の注目画素（ｘ，ｙ）の画素値に対する補正量算出処理の概要を示すフローチャートである。図１２は、本発明の実施の形態１の変形例に係る注目画素（ｘ，ｙ）の画素値に対する補正量算出処理の概要を示すフローチャートである。図１３は、本発明の実施の形態２に係る画像処理装置が実行するＲ成分補正量算出処理の概要を示すフローチャートである。図１４は、図１３の画素値と補正係数の比によるＲ成分推定値算出処理の概要を示すフローチャートである。図１５は、類似する補正係数の分類を模式的に示す図である。図１６は、本発明の実施の形態３に係る画像処理装置が実行する補正量算出処理の概要を示すフローチャートである。図１７は、図１６の各色成分の補正量算出処理の概要を示すフローチャートである。図１８は、図１７の注目画素（ｘ，ｙ）の異色成分において類似度による異色成分推定値算出処理の概要を示すフローチャートである。図１９は、図１８の候補値ＥｓｔＣ１’，ＥｓｔＣ２’における類似度Ｓｉｍ’算出処理の概要を示すフローチャートである。図２０は、本発明の実施の形態４に係る画像処理装置が実行する各色成分の補正量算出処理の概要を示すフローチャートである。図２１は、図２０の各色成分において類似度による各色成分推定値算出処理の概要を示すフローチャートである。図２２は、図２１の候補値ＥｓｔＲ’，ＥｓｔＧ’，ＥｓｔＢ’における類似度Ｓｉｍ’算出処理の概要を示すフローチャートである。図２３は、本発明の実施の形態５に係る画像処理装置が実行する各色成分の補正量算出処理の概要を示すフローチャートである。図２４は、図２３の連立方程式による異色成分推定値算出処理の概要を示すフローチャートである。図２５は、本発明の実施の形態６に係る画像処理装置が実行する各色成分の補正量算出処理の概要を示すフローチャートである。図２６は、図２５の画素値と補正係数の比による異色成分推定値算出処理の概要を示すフローチャートである。図２７は、注目画素（ｘ，ｙ）近傍の異色画素が飽和した場合の比Ｒａｔｉｏの算出領域を模式的に示す図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔撮像システムの構成〕
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、画像処理装置４０と、表示装置５０と、を備える。

〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。撮像装置１０は、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、カラーフィルタ１０６と、アナログ処理部１０７と、Ａ／Ｄ変換部１０８と、第１操作部１０９と、メモリＩ／Ｆ部１１０と、記録媒体１１１と、揮発メモリ１１２と、不揮発メモリ１１３と、バス１１４と、撮像制御部１１５と、第１外部Ｉ／Ｆ部１１６と、を備える。

光学系１０１は、単数または複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。

絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、撮像制御部１１５の制御のもと、光学系１０１が集光した光の入射量を制限する。絞り１０２を用いずに、シャッタ１０３や撮像素子１０５における電子シャッタを用いて光の入射量を制御するようにしてもよい。

シャッタ１０３は、撮像制御部１１５の制御のもと、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。シャッタ１０３を用いずに、撮像素子１０５における電子シャッタを用いてもよい。

ドライバ１０４は、後述する撮像制御部１１５の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。

撮像素子１０５は、後述する撮像制御部１１５の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が２次元状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサを用いて構成される。また、撮像素子１０５は、受光量を電子的に制御可能な電子シャッタ機能を有する。

カラーフィルタ１０６は、撮像素子１０５の受光面に積層して設けられる。カラーフィルタ１０６は、互いに異なる波長領域の光を透過する複数のカラーフィルタの各々が所定の配列パターンを形成し、この配列パターンを形成する個々のカラーフィルタが撮像素子１０５を構成する複数の画素のいずれかに対応する位置に配置される。カラーフィルタ１０６は、ベイヤー配列における赤色の波長領域の光を透過するフィルタＲ、緑色の波長領域の光を透過するフィルタＧおよび青色の波長領域の光を透過するフィルタＢの各々が撮像素子１０５の各画素の受光面に設けられる。なお、以下においては、フィルタＲを受光面に配置した画素をＲ画素、フィルタＧを受光面に配置した画素をＧ画素およびフィルタＢを受光面に配置した画素をＢ画素として説明する。

アナログ処理部１０７は、撮像素子１０５から出力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０８へ出力する。具体的には、アナログ処理部１０７は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０７は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１０８は、アナログ処理部１０７から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１４を介して揮発メモリ１１２に出力する。なお、Ａ／Ｄ変換部１０８は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したカラーフィルタ１０６、アナログ処理部１０７とＡ／Ｄ変換部１０８を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしてもよい。

第１操作部１０９は、撮像装置１０の各種に指示を与える。具体的には、第１操作部１０９は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。

記録媒体１１１は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１１０を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１１は、撮像制御部１１５の制御のもと、メモリＩ／Ｆ部１１０を介してプログラムおよび各種情報それぞれを不揮発メモリ１１３に出力してもよい。

揮発メモリ１１２は、バス１１４を介してＡ／Ｄ変換部１０８から入力される画像データを一時的に記憶する。例えば、揮発メモリ１１２は、アナログ処理部１０７、Ａ／Ｄ変換部１０８およびバス１１４を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。

不揮発メモリ１１３は、撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１３は、プログラム記録部１１３ａと、第１外部Ｉ／Ｆ部１１６を介して入力される撮像素子１０５を構成する複数の画素の各々の分光感度のばらつきを補正するための補正係数を記録する補正係数記録部１１３ｂと、を有する。ここで、補正係数とは、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための係数である。また、基準分光感度とは、撮像素子１０５に均一な光が照射された際の各カラーフィルタにおける同色画素の平均的なの分光感度である。この補正係数は、図示しない装置によって予め算出されて補正係数記録部１１３ｂに記録される。

バス１１４は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。

撮像制御部１１５は、ＣＰＵ（Central Processing Unit）等を用いて構成され、第１操作部１０９からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１５は、第１操作部１０９からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作を開始する制御を行う。ここで、撮像装置１０における撮影動作とは、撮像素子１０５が出力したアナログ信号に対し、アナログ処理部１０７およびＡ／Ｄ変換部１０８が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１５の制御のもと、バス１１４およびメモリＩ／Ｆ部１１０を介して記録媒体１１１に記録される。

第１外部Ｉ／Ｆ部１１６は、バス１１４を介して外部の機器から入力される情報を不揮発メモリ１１３または揮発メモリ１１２へ出力する一方、バス１１４を介して外部の機器へ揮発メモリ１１２が記憶する情報、不揮発メモリ１１３が記録する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１６は、バス１１４を介して画像処理装置４０に撮像素子１０５が生成した画像データおよび補正係数記録部１１３ｂが記録する補正係数を出力する。

〔画像処理装置の構成〕
次に、画像処理装置４０の構成について説明する。
画像処理装置４０は、第２外部Ｉ／Ｆ部４１と、第２記録部４２と、バス４３と、分光感度ばらつき補正部４４と、画像処理部４５と、を備える。

第２外部Ｉ／Ｆ部４１は、撮像装置１０の第１外部Ｉ／Ｆ部１１６を介して撮像素子１０５によって生成された画像データおよび補正係数記録部１１３ｂが記録する補正係数をそれぞれ取得し、取得した画像データおよび補正係数を分光感度ばらつき補正部４４または第２バッファ部４２２へ出力する。第２外部Ｉ／Ｆ部４１および第１外部Ｉ／Ｆ部１１６は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信路等を介して接続されている。なお、第２外部Ｉ／Ｆ部４１は、本実施の形態１に係る取得部として機能する。

第２記録部４２は、揮発性メモリおよび不揮発性メモリを用いて構成され、第２外部Ｉ／Ｆ部４１を介して撮像装置１０から入力された画像データ、補正係数、画像処理装置４０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、第２記録部４２は、画像処理装置４０を駆動するためのプログラムを記録する第２プログラム記録部４２１と、撮像装置１０から入力された画像データおよび注目画素の補正係数等を一時的に記憶する第２バッファ部４２２と、を有する。

バス４３は、画像処理装置４０の各構成部位を接続する伝送路等を用いて構成され、画像処理装置４０の内部で発生した各種データを画像処理装置４０の各構成部位に転送する。

分光感度ばらつき補正部４４は、第２外部Ｉ／Ｆ部４１が取得した画像データに対応する画像の各画素の分光感度のばらつきを補正して画像処理部４５へ出力する。分光感度ばらつき補正部４４は、補正量算出部４４１と、画素値補正部４４２と、を有する。なお、分光感度ばらつき補正部４４は、画像データにＯＢ値（オプティカルブラック値）が含まれている場合にはＯＢ減算処理を行ってもよい。

補正量算出部４４１は、補正係数記録部１１３ｂが記録する注目画素における補正係数と注目画素の周囲における周辺同色画素であって、注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と補正係数とを用いて注目画素における補正対象の色成分の推定値を算出し、この推定値と注目画素の補正係数とに基づいて、注目画素の画素値の補正量を算出する。ここで、周辺同色画素とは、注目画素の近傍に位置する画素であって、注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された画素である。

画素値補正部４４２は、補正量算出部４４１が算出した補正量を用いて注目画素の画素値を補正する。具体的には、画素値補正部４４２は、注目画素の画素値から補正量算出部４４１によって算出された補正量を減算することによって注目画素の画素値を補正し、この補正した画素値を画像処理部４５へ出力する。

画像処理部４５は、分光感度ばらつき補正部４４によって分光感度ばらつきが補正された画像データに対して、所定の画像処理を行って表示装置５０へ出力する。ここで、所定の画像処理とは、ホワイトバランス調整処理、撮像素子１０５がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理のことである。また、画像処理部４５は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。なお、所定の画像処理を行った画像データを、第２外部Ｉ／Ｆ部４１を経由して撮像装置１０の不揮発メモリ１１３や記録媒体１１１に記録するようにしてもよい。

〔表示装置の構成〕
次に、表示装置５０の構成について説明する。表示装置５０は、画像処理装置４０から入力される画像データに対応する画像を表示する。表示装置５０は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。

以上の構成を有する撮像システム１は、画像処理装置４０が撮像装置１０から画像データおよび補正係数の各々を取得し、この取得した補正係数を用いて画像データの注目画素の画素値を補正するための補正量を算出後、補正量を用いて注目画素の画素値を補正する。その後、表示装置５０が画像処理装置４０によって画像処理が施された画像データに対応する画像を表示する。

〔画像処理装置の処理〕
次に、画像処理装置４０が実行する処理について説明する。図２は、画像処理装置４０が実行する処理の概要を示すフローチャートであり、メインルーチンを示す。

図２に示すように、まず、補正量算出部４４１は、撮像装置１０から撮像素子１０５が生成した画像データと補正係数記録部１１３ｂが記録する補正係数とを取得し、取得した画像データにおける注目画素の画素値の補正量を算出する補正量算出処理を実行する（ステップＳ１）。この場合、補正量は、符号付きの値とする。具体的には、補正量は、分光感度が基準分光感度より低い画素のとき、負の値とする一方、分光感度が基準分光感度より高い画素のとき、正の値とする。なお、補正量算出処理の詳細は、後述する。ここで、補正量の正負の定義を逆にした場合、後述の補正係数を使用する処理においては加減算を逆にすれば良い。

画素値補正部４４２は、補正量算出部４４１が算出した各画素の補正量を減算することで各画素の画素値を補正する（ステップＳ２）。ステップＳ２の後、画像処理装置４０は、本処理を終了する。

〔補正量算出処理〕
次に、図２のステップＳ１で説明した補正量算出処理の詳細について説明する。図３は、補正量算出処理の概要を示すフローチャートである。

図３に示すように、まず、補正量算出部４４１は、第２記録部４２の第２バッファ部４２２に記憶された画像データに対応する画像の高さ方向（縦方向）における画素の位置を示すカウンタｙを初期化（カウンタｙ＝０）し（ステップＳ１１）、画像データに対応する画像の幅方向（横方向）における画素の位置を示すカウンタｘを初期化（カウンタｘ＝０）する（ステップＳ１２）。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）における画素値に対するＲ成分の補正量を算出するＲ成分補正量算出処理を実行する（ステップＳ１３）。ここで、Ｒ成分とは、Ｒ波長帯域の画素値である。なお、Ｒ成分補正量算出処理の詳細は、後述する。

その後、補正量算出部４４１は、注目画素（ｘ，ｙ）の画素値に対するＧ成分の補正量を算出するＧ成分補正量算出処理を実行する（ステップＳ１４）。ここで、Ｇ成分とは、Ｇ波長帯域の画素値である。なお、Ｇ成分補正量算出処理の詳細は、後述する。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）の画素値に対するＢ成分の補正量を算出するＢ成分補正量算出処理を実行する（ステップＳ１５）。ここで、Ｂ成分とは、Ｂ波長帯域の画素値である。なお、Ｂ成分補正量算出処理の詳細は、後述する。

その後、補正量算出部４４１は、上述したステップＳ１３〜ステップＳ１５において算出したＲ成分、Ｇ成分およびＢ成分の各々の補正量に基づいて、注目画素（ｘ，ｙ）の画素値に対する補正量を算出する補正量算出処理を実行する（ステップＳ１６）。なお、注目画素（ｘ，ｙ）に対する補正量算出処理の詳細は、後述する。

続いて、補正量算出部４４１は、カウンタｘをインクリメント（ｘ＝ｘ＋１）する（ステップＳ１７）。

その後、カウンタｘが画像データに対応する画像の幅より小さい場合（ステップＳ１８：Ｙｅｓ）、補正量算出部４４１は、ステップＳ１３へ戻る。これに対して、カウンタｘが画像データに対応する画像の幅より小さくない場合（ステップＳ１８：Ｎｏ）、補正量算出部４４１は、後述するステップＳ１９へ移行する。

ステップＳ１９において、補正量算出部４４１は、カウンタｙをインクリメント（ｙ＝ｙ＋１）する。

その後、カウンタｙが画像データに対応する画像の高さより小さい場合（ステップＳ２０：Ｙｅｓ）、画像処理装置４０は、上述したステップＳ１２へ戻る。これに対して、カウンタｙが画像データに対応する画像の高さより小さくない場合（ステップＳ２０：Ｎｏ）、画像処理装置４０は、図２のメインルーチンへ戻る。

〔Ｒ成分補正量算出処理〕
次に、図３のステップＳ１３において説明したＲ成分補正量算出処理の詳細について説明する。図４は、Ｒ成分補正量算出処理の概要を示すフローチャートである。

図４に示すように、まず、注目画素（ｘ，ｙ）がＲ画素である場合（ステップＳ３１：Ｙｅｓ）、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺画素（例えば、注目画素（ｘ，ｙ）を中心とした５×５画素の範囲等）の画素値の平均値に基づいて、Ｒ成分の推定値を算出する平均によるＲ成分推定値算出処理を実行する（ステップＳ３２）。なお、平均によるＲ成分推定値算出処理の詳細は、後述する。ステップＳ３２の後、画像処理装置４０は、ステップＳ３４へ移行する。

ステップＳ３１において、注目画素（ｘ，ｙ）がＲ画素でない場合（ステップＳ３１）Ｎｏ）、補正量算出部４４１は、注目画素（ｘ，ｙ）の画素値の類似度によるＲ成分の推定値を算出する類似度によるＲ成分推定値算出処理を実行する（ステップＳ３３）。なお、類似度によるＲ成分推定値算出処理の詳細は、後述する。ステップＳ３３の後、画像処理装置４０は、ステップＳ３４へ移行する。

続いて、補正量算出部４４１は、上述したステップＳ３２またはステップＳ３３において推定した注目画素（ｘ，ｙ）におけるＲ成分推定値に、注目画素（ｘ，ｙ）のＲ成分補正係数を乗じることによって、注目画素（ｘ，ｙ）の画素値に対するＲ成分の補正量を算出する（ステップＳ３４）。ステップＳ３４の後、画像処理装置４０は、図３の補正量算出処理のサブルーチンへ戻る。

〔Ｇ成分補正量算出処理〕
次に、図３のステップＳ１４において説明したＧ成分補正量算出処理の詳細について説明する。図５は、Ｇ成分補正量算出処理の概要を示すフローチャートである。

図５に示すように、まず、注目画素（ｘ，ｙ）がＧ画素である場合（ステップＳ４１：Ｙｅｓ）、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺画素の画素値の平均値に基づいて、Ｇ成分の推定値を算出する平均によるＧ成分推定値算出処理を実行する（ステップＳ４２）。なお、平均によるＧ成分推定値算出処理の詳細は、後述する。ステップＳ４２の後、画像処理装置４０は、ステップＳ４４へ移行する。

ステップＳ４１において、注目画素（ｘ，ｙ）がＧ画素でない場合（ステップＳ４１：Ｎｏ）、補正量算出部４４１は、注目画素（ｘ，ｙ）の画素値の類似度によるＧ成分の推定値を算出する類似度によるＧ成分推定値算出処理を実行する（ステップＳ４３）。なお、類似度によるＧ成分推定値算出処理の詳細は、後述する。ステップＳ４３の後、画像処理装置４０は、ステップＳ４４へ移行する。

続いて、補正量算出部４４１は、上述したステップＳ４２またはステップＳ４３において推定した注目画素（ｘ，ｙ）におけるＧ成分推定値に、注目画素（ｘ，ｙ）のＧ成分補正係数を乗じることによって、注目画素（ｘ，ｙ）の画素値に対するＧ成分の補正量を算出する（ステップＳ４４）。ステップＳ４４の後、画像処理装置４０は、図３の補正量算出処理のサブルーチンへ戻る。

〔Ｂ成分補正量算出処理〕
次に、図３のステップＳ１５において説明したＢ成分補正量算出処理の詳細について説明する。図６は、Ｂ成分補正量算出処理の概要を示すフローチャートである。

図６に示すように、まず、注目画素（ｘ，ｙ）がＢ画素である場合（ステップＳ５１：Ｙｅｓ）、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺画素の画素値の平均値に基づいて、Ｂ成分の推定値を算出する平均によるＢ成分推定値算出処理を実行する（ステップＳ５２）。なお、平均によるＢ成分推定値算出処理の詳細は、後述する。ステップＳ５２の後、画像処理装置４０は、ステップＳ５４へ移行する。

ステップＳ５１において、注目画素（ｘ，ｙ）がＢ画素でない場合（ステップＳ５１：Ｎｏ）、補正量算出部４４１は、注目画素（ｘ，ｙ）の画素値の類似度によるＢ成分の推定値を算出する類似度によるＢ成分推定値算出処理を実行する（ステップＳ５３）。なお、類似度によるＢ成分推定値算出処理の詳細は、後述する。ステップＳ５３の後、画像処理装置４０は、ステップＳ５４へ移行する。

続いて、補正量算出部４４１は、上述したステップＳ５２またはステップＳ５３において推定した注目画素（ｘ，ｙ）におけるＢ成分推定値に、注目画素（ｘ，ｙ）のＢ成分補正係数を乗じることによって、注目画素（ｘ、ｙ）の画素値に対するＢ成分の補正量を算出する（ステップＳ５４）。ステップＳ５４の後、画像処理装置４０は、図３の補正量算出処理のサブルーチンへ戻る。

上述した図３〜図６において説明したように、補正量算出部４４１は、全画素に対して全成分の補正量を算出するが、特定の色の画素、および色成分に対してのみ補正量を算出してもよい。

〔平均によるＲ成分推定値算出処理〕
次に、図４のステップＳ３２において説明した平均によるＲ成分推定値算出処理の詳細について説明する。図７は、平均によるＲ成分推定値算出処理の概要を示すフローチャートである。

図７に示すように、まず、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺のＲ画素の画素値の平均値ＡｖｅＲを算出する（ステップＳ６１）。ここで、周辺とは、注目画素（ｘ，ｙ）を中心にＭ×Ｎ画素（ＭおよびＮは、３以上の奇数。ただし、Ｒ成分およびＢ成分に関しては、Ｍ＝Ｎ＝３は、除く）の範囲である。なお、補正量算出部４４１は、注目画素（ｘ，ｙ）の画素値を含めて平均値ＡｖｅＲを算出してもよい。また、補正量算出部４４１は、平均値以外に統計値を算出してもよい。例えば、補正量算出部４４１は、重み付け平均値、中央値および絶対値が一定値以上の補正係数を除外した上記統計値のいずれかを算出してもよい。

続いて、補正量算出部４４１は、上述したステップＳ６１において算出した平均値ＡｖｅＲを注目画素（ｘ，ｙ）のＲ成分推定値として算出する（ステップＳ６２）。ステップＳ６２の後、画像処理装置４０は、図４のＲ成分補正量算出処理へ戻る。なお、本実施の形態１において、図５のステップＳ４２の平均によるＧ成分推定値算出処理および図６のステップＳ５２の平均によるＢ成分推定値算出処理は、Ｒ成分をＧ成分およびＢ成分それぞれに置き換え、上述した同様の処理を行うことによって、Ｇ成分推定値またはＢ成分推定値を算出することができるため、平均によるＧ成分推定値算出処理および平均によるＢ成分推定値算出処理の説明は、省略する。

〔類似度によるＲ成分推定値算出処理〕
次に、図４のステップＳ３３において説明した類似度によるＲ成分推定値算出処理の詳細について説明する。図８は、類似度によるＲ成分推定値算出処理の概要を示すフローチャートである。図９は、補正量算出部４４１が算出するＲ成分推定値の算出方法を模式的に示す図である。

図８に示すように、まず、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素のＲ成分補正係数の平均値ＡｖｅＣｏｅｆを算出する（ステップＳ７１）。以下においては、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素を参照画素という。また、周辺とは、上述した図７のステップＳ６１と同様の範囲である。なお、本実施の形態１では、参照画素が周辺同色画素として機能する。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の画素値の平均値ＡｖｅＰｉｘを算出する（ステップＳ７２）。この場合、補正量算出部４４１は、上述した参照画素の画素値から平均値ＡｖｅＰｉｘを算出する。

その後、補正量算出部４４１は、候補値Ｅｓｔを初期化（Ｅｓｔ＝Ｅｓｔ０）する（ステップＳ７３）。この場合、補正量算出部４４１は、分光感度ばらつき補正部４４に入力される画素値がとり得る最大値Ｅｓｔ０を候補値Ｅｓｔに設定することが望ましい。

続いて、補正量算出部４４１は、類似度Ｓｉｍを初期化（Ｓｉｍ＝ＭＡＸ）する（ステップＳ７４）。この場合、補正量算出部４４１は、類似度Ｓｉｍがとり得る最大値を設定する。ここで、類似度Ｓｉｍは、類似している（類似度が高い）ほど値が小さく、類似していない（類似度が低い）ほど値が大きくなるよう、定義する。

その後、補正量算出部４４１は、カウンタＳｔｅｐを０に初期化（Ｓｔｅｐ＝０）する（ステップＳ７５）。

続いて、補正量算出部４４１は、大小２つの候補値Ｅｓｔｐ，Ｅｓｔｍを算出する（ステップＳ７６）。具体的には、図９に示すように、補正量算出部４４１は、候補値Ｅｓｔに対して、大小２つの候補値Ｅｓｔｐ，Ｅｓｔｍを以下の式（１）および式（２）によって算出する。
Ｅｓｔｐ＝Ｅｓｔ＋（Ｅｓｔ０／２^Ｓｔｅｐ）・・・（１）
Ｅｓｔｍ＝Ｅｓｔ−（Ｅｓｔ０／２^Ｓｔｅｐ）・・・（２）

その後、補正量算出部４４１は、各Ｒ成分の推定値における類似度を算出する各Ｒ成分候補値における類似度算出処理を実行する（ステップＳ７７）。

〔各Ｒ成分推定値における類似度算出処理〕
図１０は、図８のステップＳ７７において説明した各Ｒ成分候補値における類似度算出処理の概要を示すフローチャートである。

図１０に示すように、まず、補正量算出部４４１は、第２バッファ部４２２から注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の画素値とＲ成分補正係数を取得する（ステップＳ９１）。具体的には、補正量算出部４４１は、第２バッファ部４２２から参照画素の画素値とＲ成分補正係数を取得する。

続いて、補正量算出部４４１は、各画素における理論値Ｉｄｅａｌを算出する（ステップＳ９２）。具体的には、補正量算出部４４１は、上述したステップＳ９１で取得した参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、Ｒ成分補正係数ＣｏｅｆＲ（ｘ＋Δｘ，ｙ＋Δｙ）と、上述した図８のステップ７１において算出したＲ成分補正係数の平均値ＡｖｅＣｏｅｆとの差に対して、Ｒ成分候補値Ｅｓｔを乗算した値を理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）として画素毎に算出する。より具体的には、補正量算出部４４１は、以下の式（３）によって、理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）
＝（ＣｏｅｆＲ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆ）×Ｅｓｔ
・・・（３）

その後、補正量算出部４４１は、各画素における実測値Ｖａｌを算出する（ステップＳ９３）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、画素値Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）と、図８のステップ７２において算出した画素値の平均値ＡｖｅＰｉｘとの差を実測値Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）として画素毎に算出する。より具体的には、補正量算出部４１１は、以下の式（４）によって、実測値Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）＝Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＰｉｘ
・・・（４）

続いて、補正量算出部４４１は、各画素における理論値Ｉｄｅａｌと実測値Ｖａｌとの差分絶対値Ｄｉｆｆを算出する（ステップＳ９４）。具体的には、補正量算出部４４１は、画素（ｘ＋Δｘ，ｙ＋Δｙ）において、理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）と実測値Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）との差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。より具体的には、補正量算出部４４１は、以下の式（５）によって、差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）
＝｜（Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）
−Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）｜
・・・（５）
なお、補正量算出部４４１は、差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）に換えて、以下の式（６）によって、差分２乗値をＤｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）として算出してもよい。
Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）
＝（（Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）
−Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ））^２
・・・（６）

その後、補正量算出部４４１は、全参照画素の差分絶対値Ｄｉｆｆの総和値を類似度Ｓｉｍとして算出する（ステップＳ９５）。なお、補正量算出部４４１は、全参照画素の差分絶対値における単純な総和でなく、重み付けした総和を算出してもよい。例えば、補正量算出部４４１は、重み付けを行う場合、注目画素（ｘ，ｙ）からの各画素の距離に応じて重み付けの係数を変更させながら全参照画素の差分絶対値の総和を算出してもよい。また、補正量算出部４４１は、重み付けを行う場合、差分絶対値Ｄｉｆｆが大きいほど重みを大きくするように重み付けの係数を変更させながら全参照画素の差分絶対値の総和を算出してもよい（差分絶対値Ｄｉｆｆを単調増加関数で変換して差分絶対値の総和を算出することと等価）。ステップＳ９５の後、画像処理装置４０は、図８の類似度によるＲ成分推定値算出処理に戻る。

このように、補正量算出部４４１は、各Ｒ成分推定値における類似度算出処理において、画素値の分布と理論値の分布の類似度度合いを差分絶対値または差分２乗値の総和を評価値としているが、この評価値を他の方法によって算出してもよい。例えば、補正量算出部４４１は、ＮＣＣ（Normalized Cross-Correlation）およびＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等を用いて評価値を算出してもよい。なお、Ｇ成分およびＢ成分に関しては、Ｒ成分をＧ成分またはＢ成分に置き換え、上述した同様の処理を行うことによって、各Ｇ成分の推定値における類似度および各Ｂ成分の推定値における類似度を算出することができるため、各Ｇ成分推定値における類似度算出処理および各Ｂ成分推定値における類似度算出処理の説明は、省略する。この処理を、候補値Ｅｓｔ、Ｅｓｔｐ、Ｅｓｔｍの各々について行い、３つの類似度Ｓｉｍ、Ｓｉｍｐ、Ｓｉｍｍを算出する。

図８に戻り、ステップＳ７８以降の説明を続ける。
ステップＳ７８において、補正量算出部４４１は、類似度が最小値をとる候補値を選択する。具体的には、補正量算出部４４１は、３つの類似度Ｓｉｍ、類似度Ｓｉｍｐおよび類似度Ｓｉｍｍの中で最小となる類似度に対応した候補値（Ｅｓｔ、Ｅｓｔｐ、Ｅｓｔｍのいずれか）を算出（選択）する。具体的には、図９に示すように、補正量算出部４４１は、大小２つの類似度および現在の類似度の３つを比較しながら最小値をとる候補値を選択しつつ、この処理を繰り返し実行することによって、類似度が最小値となる候補値を探索する。ステップＳ７８の後、画像処理装置４０は、ステップＳ７９へ移行する。

ステップＳ７９において、補正量算出部４４１は、ステップＳ７８において算出した候補値を候補値Ｅｓｔに更新する。例えば、補正量算出部４４１は、ステップＳ７８において算出した候補値がＥｓｔｐの場合、ＥｓｔをＥｓｔｐ（Ｅｓｔ＝Ｅｓｔｐ）とする。

その後、補正量算出部４４１は、ｎをインクリメント（ｎ＝ｎ＋１）する（ステップＳ８０）。

続いて、カウンタＳｔｅｐがｎより小さい（Ｓｔｅｐ＜ｎ）場合（ステップＳ８１：Ｙｅｓ）、画像処理装置４０は、上述したステップＳ７６へ戻る。これに対して、カウンタＳｔｅｐがｎより小さくない場合（ステップＳ８１：Ｎｏ）、画像処理装置４０は、ステップＳ８２へ移行する。ここで、ｎは、Ｅｓｔ０÷２^ｎが１以上となる値であることが望ましい。

ステップＳ８２において、補正量算出部４４１は、候補値ＥｓｔをＲ成分推定値として算出する。ステップＳ８２の後、画像処理装置４０は、図４のＲ成分補正量算出処理に戻る。

このように類似度によるＲ成分推定値算出処理によれば、注目画素の周辺の異色画素の画素値を用いないため、異色画素が飽和しても、補正量算出部４４１が注目画素における注目画素と異なる色成分の推定値を算出することができる。

また、本実施の形態１では、補正量算出部４４１が類似度によるＲ成分推定値算出処理において、大小２つの類似度および現在の類似度の３つを比較しながら最小値をとる候補値を選択しつつ、この処理を繰り返し実行することによって、類似度が最小値となる候補値を探索する。これにより、補正量算出部４４１は、注目画素の周辺の異色画素の画素値を用いないため、異色画素が飽和しても、注目画素における注目画素と異なる色成分の推定値を算出することができる。なお、補正量算出部４４１は、他の方法によって類似度が最も高い候補値を探索してもよい。例えば、補正量算出部４４１は、網羅的に候補値を振って最も類似度が高い値を探索する方法、周知の山登り方法および局所探索法等を用いてもよい。また、図５のステップＳ４３の類似度によるＧ成分推定値算出処理および図６のステップＳ５３の類似度によるＢ成分推定値算出処理は、Ｒ成分をＧ成分またはＢ成分に置き換え、上述した同様の処理を行うことによって、Ｇ成分推定値またはＢ成分推定値を算出することができるため、類似度によるＧ成分推定値算出処理および類似度によるＢ成分推定値算出処理の説明は、省略する。

〔注目画素（ｘ，ｙ）の画素値に対する補正量算出処理〕
次に、図３のステップＳ１６において説明した注目画素（ｘ，ｙ）の画素値に対する補正量算出処理について説明する。図１１は、注目画素（ｘ，ｙ）の画素値に対する補正量算出処理の概要を示すフローチャートである。

図１１に示すように、まず、補正量算出部４４１は、図３のステップＳ１３、ステップＳ１４およびステップＳ１５の各々において算出したＲ，Ｇ，Ｂ成分の補正量の総和値Ｓｕｍｃを算出する（ステップＳ１０１）。

続いて、補正量算出部４４１は、上述したステップＳ１０１において算出した総和値Ｓｕｍｃを注目画素（ｘ，ｙ）の補正量として算出する（ステップＳ１０２）。ステップＳ１０２の後、画像処理装置４０は、図３の補正量算出処理に戻る。

以上説明した本発明の実施の形態１によれば、注目画素の周辺の異色画素の画素値を用いないため、異色画素が飽和しても、補正量算出部４４１が注目画素における注目画素と異なる色成分の推定値を算出することができる。

（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について説明する。本実施の形態１の変形例は、上述した実施の形態１に係る撮像システム１と同様の構成を有し、画像処理装置が実行する注目画素（ｘ，ｙ）の画素値に対する補正量算出処理が異なる。具体的には、本実施の形態１の変形例では、過補正や誤った補正を防止する。以下においては、本実施の形態１の変形例に係る画像処理装置が実行する注目画素（ｘ，ｙ）の画素値に対する補正量算出処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔注目画素（ｘ，ｙ）の画素値に対する補正量算出処理〕
図１２は、本実施の形態１の変形例に係る画像処理装置が実行する注目画素（ｘ，ｙ）の画素値に対する補正量算出処理の概要を示すフローチャートである。

図１２に示すように、まず、補正量算出部４４１は、図３のステップＳ１３、ステップＳ１４およびステップＳ１５の各々において算出したＲ，Ｇ，Ｂ成分の補正量の総和値Ｓｕｍｃを算出する（ステップＳ１１１）。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の画素値の平均値Ａｖｅを算出する（ステップＳ１１２）。この場合、補正量算出部４４１は、図８のステップＳ７２において平均値Ａｖｅを算出した同色画素と同じ画素を用いることが好ましい。

その後、補正量算出部４４１は、ステップＳ１１２において算出した平均値Ａｖｅと注目画素（ｘ，ｙ）の画素値Ｐｉｘとの差Ｄｅｌｔａ（Ｄｅｌｔａ＝Ｐｉｘ-Ａｖｅ）を算出する（ステップＳ１１３）。

続いて、ＤｅｌｔａとＳｕｍｃの符号が同じである場合（ステップＳ１１４：Ｙｅｓ）において、｜Ｄｅｌｔａ｜＜|Ｓｕｍｃ|であるとき（ステップＳ１１５：Ｙｅｓ）、補正量算出部４４１は、ＳｕｍｃをＤｅｌｔａ（Ｓｕｍｃ＝Ｄｅｌｔａ）とする（ステップＳ１１６）。ステップＳ１１６の後、画像処理装置４０は、後述するステップＳ１１８へ移行する。

ステップＳ１１４において、ＤｅｌｔａとＳｕｍｃの符号が同じである場合（ステップＳ１１４：Ｙｅｓ）において、｜Ｄｅｌｔａ｜＜|Ｓｕｍｃ|でないとき（ステップＳ１１５：Ｎｏ）、画像処理装置４０は、後述するステップＳ１１８へ移行する。

ステップＳ１１４において、ＤｅｌｔａとＳｕｍｃの符号が同じでない場合（ステップＳ１１４：Ｎｏ）、補正量算出部４４１は、Ｓｕｍｃを「０」（Ｓｕｍｃ＝０）とする（ステップＳ１１７）。ステップＳ１１７の後、画像処理装置４０は、後述するステップＳ１１８へ移行する。

続いて、補正量算出部４４１は、総和値Ｓｕｍｃを注目画素（ｘ，ｙ）の補正量として算出する（ステップＳ１１８）。ステップＳ１１８の後、画像処理装置４０は、図３の補正量算出処理に戻る。

以上説明した本発明の実施の形態１の変形例によれば、ＤｅｌｔａとＳｕｍｃの符号が同じでない場合、補正量算出部４４１がＳｕｍｃを「０」としたり、ＤｅｌｔａとＳｕｍｃの符号が同じである場合において、｜Ｄｅｌｔａ｜＜|Ｓｕｍｃ|でないとき、補正量算出部４４１が補正を行わないので、注目画素（ｘ，ｙ）の画素値を補正しないので、過補正や誤った補正を防止することができる。

なお、本発明の実施の形態１では、ＤｅｌｔａとＳｕｍｃの符号の比較、｜Ｄｅｌｔａ｜＜|Ｓｕｍｃ|の判定を行うことによって、補正後の画素値がＰｉｘとＡｖｅとの間に制限しているが、他の方法であってもよい。例えば、補正量算出部４４１は、Ａｖｅ＜Ｐｉｘの場合、ＰｉｘからＳｕｍｃを減算した値を、Ａｖｅ以上Ｐｉｘ以下にクリップする一方、Ａｖｅ≧Ｐｉｘの場合、ＰｉｘからＳｕｍｃを減算した値を、Ｐｉｘ以上Ａｖｅ以下にクリップしてもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像システムは、上述した実施の形態１に係る撮像システム１と同一の構成を有し、画像処理装置が実行するＲ成分補正量算出処理が異なる。具体的には、上述した実施の形態１では、類似度によって各色成分の推定値を個別に算出していたが、本実施の形態２では、画素値と補正係数の比によって各色成分の推定値を個別に算出する。以下においては、本実施の形態２に係る画像処理装置が実行するＲ成分補正量算出処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。また、以下の説明においては、Ｒ成分に対する処理について説明するが、Ｇ成分およびＢ成分に対しても同様の処理を行うため、Ｇ成分およびＢ成分の処理については、説明を省略する。

〔Ｒ成分補正量算出処理〕
図１３は、本実施の形態２に係る画像処理装置４０が実行するＲ成分補正量算出処理の概要を示すフローチャートである。図１３において、ステップＳ１２１，ステップＳ１２２，ステップＳ１２４は、上述した図４のステップＳ３１，ステップＳ３２，ステップＳ３４それぞれに対応する。

ステップＳ１２３において、補正量算出部４４１は、画素値と補正係数の比に基づいて、Ｒ成分の推定値を算出する画素値と補正係数の比によるＲ成分推定値算出処理を実行する。ステップＳ１２３の後、画像処理装置４０は、ステップＳ１２４へ移行する。

〔画素値と補正係数の比によるＲ成分推定値算出処理〕
図１４は、図１３のステップＳ１２３において説明した画素値と補正係数の比によるＲ成分推定値算出処理の概要を示すフローチャートである。図１４において、ステップＳ２０１およびステップＳ２０２は、上述した図８のステップＳ７１およびステップＳ７２それぞれに対応する。

ステップＳ２０３において、補正量算出部４４１は、各画素における補正係数の平均値からの差ΔＣｏｅｆを算出する。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、Ｒ成分補正係数ＣｏｅｆＲ（ｘ＋Δｘ，ｙ＋Δｙ）とステップＳ２０１において算出したＲ成分補正係数の平均値ＡｖｅＣｏｅｆとの差ΔＣｏｅｆ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。より具体的には、補正量算出部４４１は、以下の式（７）によって、各画素における補正係数の平均値からの差ΔＣｏｅｆを算出する。
ΔＣｏｅｆ（ｘ＋Δｘ，ｙ＋Δｙ）
＝ＣｏｅｆＲ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆ・・・（７）

続いて、補正量算出部４４１は、各画素における画素値の平均値からの差ΔＶａｌを算出する（ステップＳ２０４）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、画素値Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）と、ステップＳ２０２において算出した画素値の平均値ＡｖｅＰｉｘとの差ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。より具体的には、補正量算出部４４１は、以下の式（８）によって、差ΔＶａｌを画素毎に算出する。
ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）
＝Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＰｉｘ・・・・（８）

その後、補正量算出部４４１は、各画素におけるΔＣｏｅｆとΔＶａｌとの比Ｒａｔｉｏを算出する（ステップＳ２０５）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、ΔＣｏｅｆ（ｘ＋Δｘ，ｙ＋Δｙ）とΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）との比Ｒａｔｉｏ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。より具体的には、補正量算出部４４１は、以下の式（９）によって、比Ｒａｔｉｏ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
Ｒａｔｉｏ（ｘ＋Δｘ，ｙ＋Δｙ）
＝ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）／ΔＣｏｅｆ（ｘ＋Δｘ，ｙ＋Δｙ）
・・・（９）
なお、補正量算出部４４１は、ΔＣｏｅｆ（ｘ＋Δｘ，ｙ＋Δｙ）が０の場合、Ｒａｔｉｏ（ｘ＋Δｘ，ｙ＋Δｙ）＝０とする処理、または、その画素（ｘ＋Δｘ，ｙ＋Δｙ）の処理を除外する処理を行ってもよい。このとき、補正量算出部４４１は、除外した画素（ｘ＋Δｘ，ｙ＋Δｙ）を、次の平均値算出処理においても除外する。

続いて、補正量算出部４４１は、比Ｒａｔｉｏの平均値を候補値Ｅｓｔとして算出する（ステップＳ２０６）。具体的には、補正量算出部４４１は、ステップＳ２０５において算出した全参照画素の比Ｒａｔｉｏの平均値を候補値Ｅｓｔとして算出する。ステップＳ２０６の後、画像処理装置４０は、図４のＲ成分補正量算出処理へ戻る。なお、補正量算出部４４１は、平均値以外に、重み付け平均値または中央値等の統計値を用いてもよい。

また、補正量算出部４４１は、代表とする参照画素の比Ｒａｔｉｏの平均値を候補値Ｅｓｔとして算出してもよい。ここで、代表とする参照画素とは、例えば、補正係数の絶対値が大きい方からｋ個目までの画素または、補正係数の絶対値が大きい方からｋ個目の画素等である。

図１５は、類似する補正係数の分類を模式的に示す図である。図１５において、横軸が補正係数を示し、縦軸が画素数を示す。また、図１５において、曲線Ｌ１は、補正係数に対する画素数を示す。

図１５に示すように、補正係数の絶対値が小さいｋ個目を選択する場合、および補正係数の絶対値が大きいｋ個目を選択する場合、ｋ個の誤差の割合は、補正係数の絶対値が大きい方が小さくなるため、得られる推定値の精度が高くなる。

さらにまた、補正量算出部４４１は、補正係数の値が類似する参照画素毎に、比Ｒａｔｉｏの平均値を算出した後に、それらの平均値を候補値Ｅｓｔとして算出してもよい。これにより、ランダムノイズによる画素値のばらつきによる影響を低減させることができる。

以上説明した本発明の実施の形態２によれば、補正量算出部４４１が画素値と補正係数の比によってＲ成分の候補値Ｅｓｔを算出することによって、上述した実施の形態１のように類似度が最小となる推定値を探索する必要がないので、１回の計算によって候補値Ｅｓｔを算出することができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３は、上述した実施の形態１に係る撮像システム１と同一の構成を有し、画像処理装置が実行する補正量算出処理が異なる。具体的には、上述した実施の形態１では、Ｒ成分、Ｂ成分およびＧ成分の各々の推定値を個別に算出していたが、本実施の形態３では、Ｒ成分、Ｂ成分およびＧ成分をまとめて推定値を算出する。以下においては、本実施の形態３に係る画像処理装置が実行する補正量算出処理について説明する。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明を省略する。

〔補正量算出処理〕
図１６は、本発明の実施の形態３に係る画像処理装置４０が実行する補正量算出処理の概要を示すフローチャートである。図１６において、ステップＳ３０１、ステップＳ３０２、ステップＳ３０４〜ステップＳ３０８は、上述した図３のステップＳ１１、ステップＳ１２、ステップＳ１６〜ステップＳ２０にそれぞれ対応する。

ステップＳ３０３において、補正量算出部４４１は、注目画素（ｘ，ｙ）における各色成分の補正量を算出する各色成分の補正量算出処理を実行する。

〔各色成分の補正量算出処理〕
図１７は、図１６のステップＳ３０３の各色成分の補正量算出処理の概要を示すフローチャートである。

図１７に示すように、まず、補正量算出部４４１は、注目画素（ｘ，ｙ）と同色成分において平均による推定値算出処理を実行する（ステップＳ３１１）。具体的には、補正量算出部４４１は、注目画素（ｘ，ｙ）の色成分に応じて、上述した図４のＲ成分補正量算出処理におけるステップＳ３２の平均によるＲ成分推定値算出処理、図５のＧ成分補正量算出処理におけるステップＳ４２の平均によるＧ成分推定値算出処理および図６のＢ成分補正量算出処理におけるステップＳ５２の平均によるＢ成分推定値算出処理のいずれかを行う。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）の異色成分において類似度による異色成分推定値算出処理を実行する（ステップＳ３１２）。例えば、補正量算出部４４１は、注目画素（ｘ，ｙ）がＧ画素である場合、Ｒ成分およびＢ成分の推定値を算出する。なお、注目画素（ｘ，ｙ）の異色成分において類似度による異色成分推定値算出処理の詳細は、後述する。

その後、補正量算出部４４１は、各色成分の補正量を算出する（ステップＳ３１３）。具体的には、補正量算出部４４１は、注目画素（ｘ，ｙ）の各色成分の推定値に補正係数を乗じることによって、注目画素（ｘ，ｙ）の画素値に対する各色成分の補正量を算出する。ステップＳ３１３の後、画像処理装置４０は、図１６の補正量算出処理へ戻る。

〔注目画素（ｘ，ｙ）の異色成分において類似度による異色成分推定値算出処理〕
次に、図１７のステップＳ３１２において説明した注目画素（ｘ，ｙ）と異色成分において類似度による異色成分推定値算出処理について説明する。図１８は、注目画素（ｘ，ｙ）の異色成分において類似度による異色成分推定値算出処理の概要を示すフローチャートである。

図１８に示すように、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の異色成分補正係数の平均値ＡｖｅＣｏｅｆＣ１および平均値ＡｖｅＣｏｅｆＣ２を算出する（ステップＳ３２１）。具体的には、補正量算出部４４１は、異色画素をＣ１、Ｃ２とし、異色画素Ｃ１および異色画素Ｃ２の各々の補正係数の平均値をＡｖｅＣｏｅｆＣ１，ＡｖｅＣｏｅｆＣ２とする。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の画素値の平均値ＡｖｅＰｉｘを算出する（ステップＳ３２２）。この場合、補正量算出部４４１は、参照画素の画素値から画素値の平均値ＡｖｅＰｉｘを算出することが望ましい。このとき、補正量算出部４４１は、平均値以外に統計値を算出してもよい。例えば、補正量算出部４４１は、重み付け平均値および中央値等を算出してもよい。

その後、補正量算出部４４１は、候補値ＥｓｔＣ１および候補値ＥｓｔＣ２を初期化（ＥｓｔＣ１＝ＥｓｔＣ２＝０）し（ステップＳ３２３）、候補値ＥｓｔＣ１’、候補値ＥｓｔＣ２’を初期化（ＥｓｔＣ１’＝ＥｓｔＣ２’＝０）する（ステップＳ３２４）。

続いて、補正量算出部４４１は、類似度Ｓｉｍを初期化（Ｓｉｍ＝ＭＡＸ）し（ステップＳ３２５）、候補値ＥｓｔＣ２’を初期化（ＥｓｔＣ２’＝０）する（ステップＳ３２６）。

その後、補正量算出部４４１は、候補値ＥｓｔＣ１’および候補値ＥｓｔＣ２’における類似度Ｓｉｍ’を算出する候補値ＥｓｔＣ１’，ＥｓｔＣ２’における類似度Ｓｉｍ’算出処理を実行する（ステップＳ３２７）。

〔候補値ＥｓｔＣ１’，ＥｓｔＣ２’における類似度Ｓｉｍ’算出処理〕
図１９は、図１８のステップＳ３２７において説明した候補値ＥｓｔＣ１’，ＥｓｔＣ２’における類似度Ｓｉｍ’算出処理の概要を示すフローチャートである。

図１９に示すように、まず、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の画素値と異色成分補正係数とを第２バッファ部４２２から出力する（ステップＳ３４１）。

続いて、補正量算出部４４１は、各画素における理論値Ｉｄｅａｌを算出する（ステップＳ３４２）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、Ｃ１成分の補正係数ＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ）およびＣ２成分の補正係数ＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）と、上述した図１８のステップＳ３２１において算出した異色成分補正係数の平均値ＡｖｅＣｏｅｆＣ１およびＡｖｅＣｏｅｆＣ２との差に、入力した異色成分候補値ＥｓｔＣ１’ＥｓｔＣ２’を乗算した値の和を理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）として算出する。より具体的には、補正量算出部４４１は、以下の式（１０）によって、理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）
＝（ＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＣ１）×ＥｓｔＣ１’
＋（ＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＣ２）×ＥｓｔＣ２’
・・・（１０）

その後、補正量算出部４４１は、各画素における実測値Ｖａｌを算出する（ステップＳ３４３）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、画素値Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）と、上述した図１８のステップＳ３２２において算出した画素値の平均値ＡｖｅＰｉｘとの差を実測Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）として算出する。より具体的には、補正量算出部４４１は、以下の式（１１）によって、実測Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）＝Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＰｉｘ
・・・（１１）

続いて、補正量算出部４４１は、各画素における理論値Ｉｄｅａｌと実測値Ｖａｌとの差分絶対値Ｄｉｆｆを算出する（ステップＳ３４４）。具体的には、補正量算出部４４１は、画素（ｘ＋Δｘ，ｙ＋Δｙ）において、上述したステップＳ３４２で算出した理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）と上述したステップＳ３４３で算出した実測値Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）との差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。より具体的には、補正量算出部４４１は、上述した式（５）によって、差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。なお、補正量算出部４４１は、差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）に換えて、上述した式（６）によって、差分２乗値をＤｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）として算出してもよい。

続いて、補正量算出部４４１は、差分絶対値Ｄｉｆｆの総和値を類似度Ｓｉｍ’として算出する（ステップＳ３４５）。具体的には、補正量算出部４４１は、全参照画素の差分絶対値の総和値を類似度Ｓｉｍ’として算出する。なお、補正量算出部４４１は、重み付けした総和を類似度Ｓｉｍ’として算出してもよい。この場合、補正量算出部４４１は、注目画素（ｘ，ｙ）からの各画素の距離に応じて重み付けの係数を変更するようにしてもよい。ステップＳ３４５の後、画像処理装置４０は、図１８の注目画素（ｘ，ｙ）の異色成分において類似度による異色成分推定処理へ戻る。

このように、補正量算出部４４１は、候補値ＥｓｔＣ１’，ＥｓｔＣ２’における類似度Ｓｉｍ’算出処理において、画素値の分布と理論値の分布の類似度合いを差分絶対値または差分２乗値の総和を評価値としているが、この評価値を他の方法によって算出してもよい。例えば、補正量算出部４４１は、ＮＣＣ（Normalized Cross-Correlation）およびＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等を用いて評価値を算出してもよい。

図１８に戻り、ステップＳ３２８以降の説明を続ける。
ステップＳ３２８において、Ｓｉｍ’＜Ｓｉｍである場合（ステップＳ３２８：Ｙｅｓ）、補正量算出部４４１は、候補値ＥｓｔＣ１、候補値ＥｓｔＣ２および類似度Ｓｉｍを更新（ＥｓｔＣ１＝ＥｓｔＣ１’，ＥｓｔＣ２＝ＥｓｔＣ２’，Ｓｉｍ＝Ｓｉｍ’）する（ステップＳ３２９）。ステップＳ３２９の後、画像処理装置４０は、ステップＳ３３０へ移行する。

ステップＳ３２８において、Ｓｉｍ’＜Ｓｉｍでない場合（ステップＳ３２８：Ｎｏ）、画像処理装置４０は、ステップＳ３３０へ移行する。

続いて、補正量算出部４４１は、候補値ＥｓｔＣ２’をインクリメントする（ステップＳ３３０）。この場合、補正量算出部４４１は、インクリメントする値を１以上とする。

その後、ＥｓｔＣ２’≦ＥｓｔＣ２Ｍａｘである場合（ステップＳ３３１：Ｙｅｓ）、画像処理装置４０は、上述したステップＳ３２７へ戻る。これに対して、ＥｓｔＣ２’≦ＥｓｔＣ２Ｍａｘでない場合（ステップＳ３３１：Ｎｏ）、画像処理装置４０は、ステップＳ３３２へ移行する。

ステップＳ３３２において、補正量算出部４４１は、候補値ＥｓｔＣ１’をインクリメントする（ステップＳ３３２）。この場合、補正量算出部４４１は、インクリメントする値を１以上とする。

その後、ＥｓｔＣ１’≦ＥｓｔＣ１Ｍａｘである場合（ステップＳ３３２：Ｙｅｓ）、画像処理装置４０は、上述したステップＳ３２６へ戻る。これに対して、ＥｓｔＣ１’≦ＥｓｔＣ１Ｍａｘでない場合（ステップＳ３３２：Ｎｏ）、画像処理装置４０は、ステップＳ３３４へ移行する。

ステップＳ３３４において、補正量算出部４４１は、候補値ＥｓｔＣ１、候補値ＥｓｔＣ２を異色成分推定値として算出する。ステップＳ３３４の後、画像処理装置４０は、図１７の各色成分の補正量算出処理へ戻る。

以上説明した本発明の実施の形態３によれば、補正量算出部４４１が異色成分の推定値を一括で算出するので、Ｒ成分、Ｇ成分およびＢ成分が混ざり合った色をなす被写体を撮像した画像データであっても、精度良く推定値を算出することができる。

また、本発明の実施の形態３では、補正量算出部４４１が他の方法によって類似度が最小値をとる推定値を探索してもよい。例えば、補正量算出部４４１は、網羅的に推定値を振って最小値を探索する方法、周知の山登り方法および局所探索法等を用いてもよい。

（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態４に係る撮像システムは、上述した実施の形態３に係る撮像システム１と同一の構成を有し、画像処理装置が実行する各色成分の補正量算出処理が異なる。具体的には、本実施の形態４では、全色成分の推定値を一括で算出する。以下においては、本実施の形態４に係る画像処理装置が実行する各色成分の補正量算出処理について説明する。なお、上述した実施の形態３に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔各色成分の補正量算出処理の概要〕
図２０は、本実施の形態４に係る画像処理装置４０が実行する各色成分の補正量算出処理の概要を示すフローチャートである。

図２０に示すように、まず、補正量算出部４４１は、自色成分も異色成分も全て含めて各色成分の推定値を算出する各色成分において類似度による各色成分推定値算出処理を実行する（ステップＳ４０１）。

〔各色成分において類似度による各色成分推定値算出処理〕
図２１は、各色成分において類似度による各色成分推定値算出処理の概要を示すフローチャートである。

図２１に示すように、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の各色成分の補正係数の平均値ＡｖｅＣｏｅｆＲ、平均値ＡｖｅＣｏｅｆＧおよび平均値ＡｖｅＣｏｅｆＢを算出する（ステップＳ４１１）。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）の画素値の平均値ＡｖｅＰｉｘを算出する（ステップＳ４１２）。この場合、補正量算出部４４１は、参照画素の画素値から画素値の平均値ＡｖｅＰｉｘを算出することが望ましい。

その後、補正量算出部４４１は、候補値ＥｓｔＲ、候補値ＥｓｔＧおよび候補値ＥｓｔＢを初期化（ＥｓｔＲ＝ＥｓｔＧ＝ＥｓｔＢ＝０）し（ステップＳ４１３）、候補値ＥｓｔＲ’、候補値ＥｓｔＧ’および候補値ＥｓｔＢ’を初期化（ＥｓｔＲ’＝ＥｓｔＧ’＝ＥｓｔＢ’＝０）する（ステップＳ４１４）。

続いて、補正量算出部４４１は、類似度Ｓｉｍを初期化（Ｓｉｍ＝ＭＡＸ）し（ステップＳ４１５）、候補値ＥｓｔＧ’を初期化（ＥｓｔＧ’＝０）するとともに（ステップＳ４１６）、候補値ＥｓｔＢ’を初期化（ＥｓｔＢ’＝０）する（ステップＳ４１７）。

その後、補正量算出部４４１は、候補値ＥｓｔＲ’、候補値ＥｓｔＧ’および候補値ＥｓｔＢ’における類似度Ｓｉｍ’を算出する候補値ＥｓｔＲ’，ＥｓｔＧ’，ＥｓｔＢ’における類似度Ｓｉｍ’算出処理を実行する（ステップＳ４１８）。

〔候補値ＥｓｔＲ’，ＥｓｔＧ’，ＥｓｔＢ’における類似度Ｓｉｍ’算出処理〕
図２２は、図２１のステップＳ４１８における候補値ＥｓｔＲ’，ＥｓｔＧ’，ＥｓｔＢ’における類似度Ｓｉｍ’算出処理の概要を示すフローチャートである。

図２２に示すように、まず、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素と各色成分補正係数を第２バッファ部４２２から取得する（ステップＳ４３１）。具体的には、補正量算出部４４１は、参照画素の画素値と補正係数を第２バッファ部４２２から取得する。

続いて、補正量算出部４４１は、各画素における理論値Ｉｄｅａｌを算出する（ステップＳ４３２）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、各色成分補正係数ＣｏｅｆＲ（ｘ＋Δｘ，ｙ＋Δｙ）、ＣｏｅｆＧ（ｘ＋Δｘ，ｙ＋Δｙ）およびＣｏｅｆＢ（ｘ＋Δｘ，ｙ＋Δｙ）と、上述した図２１のステップＳ４１１において算出した各色成分補正係数の平均値ＡｖｅＣｏｅｆＲ、ＡｖｅＣｏｅｆＧおよびＡｖｅＣｏｅｆＢとの差に、入力した各色成分候補値ＥｓｔＲ’ ＥｓｔＧ’ ＥｓｔＢ’を乗算した値の和を理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）として算出する。より具体的には、補正量算出部４４１は、以下の式（１２）によって、理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）
＝（ＣｏｅｆＲ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＲ）×ＥｓｔＲ’
＋（ＣｏｅｆＧ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＧ）×ＥｓｔＧ’
＋（ＣｏｅｆＢ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＢ）×ＥｓｔＢ’
・・・（１２）

その後、補正量算出部４４１は、各画素における実測値Ｖａｌを算出する（ステップＳ４３３）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、画素値Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）と、上述した図２１のステップＳ４１２において算出した画素値の平均値ＡｖｅＰｉｘとの差を実測Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）として算出する。より具体的には、補正量算出部４４１は、以下の式（１３）によって、実測Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）＝Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＰｉｘ
・・・（１３）

続いて、補正量算出部４４１は、各画素における理論値Ｉｄｅａｌと実測値Ｖａｌとの差分絶対値Ｄｉｆｆを算出する（ステップＳ４３４）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、理論値Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）と実測値Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）との差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）を算出する。より具体的には、補正量算出部４４１は、差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）を以下の式（１４）によって画素毎に算出する。
Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）
＝｜Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）−Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ）｜
・・・（１４）
なお、補正量算出部４４１は、差分絶対値Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）に換えて、式（１５）のような差分２乗値をＤｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）としてもよい。
Ｄｉｆｆ（ｘ＋Δｘ，ｙ＋Δｙ）
＝（Ｖａｌ（ｘ＋Δｘ，ｙ＋Δｙ）−Ｉｄｅａｌ（ｘ＋Δｘ，ｙ＋Δｙ））^２
・・・（１５）

その後、補正量算出部４４１は、差分絶対値Ｄｉｆｆの総和値を類似度Ｓｉｍ’として算出する（ステップＳ４３５）。具体的には、補正量算出部４４１は、全参照画素の差分絶対値の総和値を類似度Ｓｉｍ’として算出する。なお、補正量算出部４４１は、重み付けした総和を類似度Ｓｉｍ’として算出してもよい。この場合、補正量算出部４４１は、注目画素（ｘ，ｙ）からの各画素の距離に応じて重み付けの係数を変更するようにしてもよい。ステップＳ４３５の後、画像処理装置４０は、図２１の各色成分において類似度による各色成分推定値算出処理へ戻る。

このように、補正量算出部４４１は、候補値ＥｓｔＲ’，ＥｓｔＧ’，ＥｓｔＢ’における類似度Ｓｉｍ’算出処理において、画素値の分布と理論値の分布の類似度度合いを差分絶対値または差分２乗値の総和を評価値としているが、この評価値を他の方法によって算出してもよい。例えば、補正量算出部４４１は、ＮＣＣ（Normalized Cross-Correlation）およびＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等を用いて評価値を算出してもよい。

図２１に戻り、ステップＳ４１９以降の説明を続ける。
ステップＳ４１９において、Ｓｉｍ’＜Ｓｉｍである場合（ステップＳ４１９：Ｙｅｓ）、補正量算出部４４１は、候補値ＥｓｔＲ，ＥｓｔＧ，ＥｓｔＢを更新（ＥｓｔＲ＝ＥｓｔＲ’，ＥｓｔＧ＝ＥｓｔＧ’，ＥｓｔＢ＝ＥｓｔＢ’）する（ステップＳ４２０）。ステップＳ４２０の後、画像処理装置４０は、ステップＳ４２１へ移行する。

ステップＳ４１９において、Ｓｉｍ’＜Ｓｉｍでない場合（ステップＳ４１９：Ｎｏ）、画像処理装置４０は、ステップＳ４２１へ移行する。

続いて、補正量算出部４４１は、候補値ＥｓｔＢ’をインクリメントする（ステップＳ４２１）。この場合、補正量算出部４４１は、インクリメントする値を１以上とする。

その後、候補値ＥｓｔＢ’≦ＥｓｔＢＭａｘ（ＥｓｔＢＭａｘはあらかじめ設定されているＢの候補値探索範囲の最大値）である場合（ステップＳ４２２：Ｙｅｓ）、画像処理装置４０は、上述したステップＳ４１８へ戻る。これに対して、候補値ＥｓｔＢ’≦ＥｓｔＢＭａｘでない場合（ステップＳ４２２：Ｎｏ）、画像処理装置４０は、ステップＳ４２３へ移行する。

ステップＳ４２３において、補正量算出部４４１は、候補値ＥｓｔＧ’をインクリメントする。この場合、補正量算出部４４１は、インクリメントする値を１以上とする。

続いて、候補値ＥｓｔＧ’≦ＥｓｔＧＭａｘ（ＥｓｔＧＭａｘはあらかじめ設定されているＧの候補値探索範囲の最大値）である場合（ステップＳ４２４：Ｙｅｓ）、画像処理装置４０は、上述したステップＳ４１７へ戻る。これに対して、候補値ＥｓｔＢ’≦ＥｓｔＧＭａｘでない場合（ステップＳ４２４：Ｎｏ）、画像処理装置４０は、ステップＳ４２５へ移行する。

ステップＳ４２５において、補正量算出部４４１は、候補値ＥｓｔＲ’をインクリメントする。この場合、補正量算出部４４１は、インクリメントする値を１以上とする。

続いて、候補値ＥｓｔＲ’≦ＥｓｔＲＭａｘ（ＥｓｔＲＭａｘはあらかじめ設定されているＲの候補値探索範囲の最大値）である場合（ステップＳ４２６：Ｙｅｓ）、画像処理装置４０は、上述したステップＳ４１６へ戻る。これに対して、候補値ＥｓｔＲ’≦ＥｓｔＲＭａｘでない場合（ステップＳ４２６：Ｎｏ）、画像処理装置４０は、ステップＳ４２７へ移行する。

ステップＳ４２７において、補正量算出部４４１は、候補値ＥｓｔＲ，ＥｓｔＧ，ＥｓｔＢを各色成分推定値として算出する。ステップＳ４２７の後、図２０の各色成分の補正量算出処理へ戻る。

図２０に戻り、ステップＳ４０２以降の説明を続ける。
ステップＳ４０２において、補正量算出部４４１は、上述したステップＳ４０１において算出した各色成分の推定値に、注目画素（ｘ，ｙ）の色成分の推定値に補正係数を乗じることによって、注目画素（ｘ，ｙ）の画素値に対する各色成分の補正量を算出する。ステップＳ４０２の後、画像処理装置４０は、図１７の各色成分の補正量算出処理へ戻る。

以上説明した本発明の実施の形態４によれば、補正量算出部４４１が全色成分の推定値を一括で算出するので、Ｒ成分、Ｇ成分およびＢ成分が混ざり合った色をなす被写体を撮像した画像データであっても、推定値を算出することができる。

また、本発明の実施の形態４では、補正量算出部４４１が他の方法によって類似度が最小値をとる推定値を探索してもよい。例えば、補正量算出部４４１は、網羅的に推定値を振って最小値を探索する方法、周知の山登り方法および局所探索法等を用いてもよい。

（実施の形態５）
次に、本発明の実施の形態５について説明する。本実施の形態５に係る撮像システムは、上述した実施の形態３に係る撮像システム１と同一の構成を有し、画像処理装置が実行する各色成分の補正量算出処理が異なる。具体的には、本実施の形態５では、周辺画素における画素値と参照画素の補正係数と推定値との関係式を画素毎に立てた連立方程式を解くことによって、推定値を算出する。以下においては、本実施の形態５に係る画像処理装置が実行する各色成分の補正量算出処理について説明する。なお、上述した実施の形態３に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔各色成分の補正量算出処理の概要〕
図２３は、本実施の形態５に係る画像処理装置４０が実行する各色成分の補正量算出処理の概要を示すフローチャートである。

図２３に示すように、まず、補正量算出部４４１は、注目画素（ｘ，ｙ）と同色成分において平均による推定値を算出する処理を実行する（ステップＳ４４１）。

続いて、補正量算出部４４１は、連立方程式による異色成分の推定値を算出する連立方程式による異色成分推定値算出処理を実行する（ステップＳ４４２）。

〔連立方程式による異色成分推定値算出処理〕
図２４は、図２３のステップＳ４２２の連立方程式による異色成分推定値算出処理の概要を示すフローチャートである。

図２４に示すように、まず、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の異色成分補正係数の平均値ＡｖｅＣｏｅｆＣ１および平均値ＡｖｅＣｏｅｆＣ２を算出する（ステップS４５１）。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の画素値の平均値ＡｖｅＰｉｘを算出する（ステップＳ４５２）。この場合、補正量算出部４４１は、参照画素の画素値から画素値の平均値ＡｖｅＰｉｘを算出することが望ましい。このとき、補正量算出部４４１は、平均値以外に統計値を算出してもよい。例えば、補正量算出部４４１は、重み付け平均値および中央値等を算出してもよい。

その後、補正量算出部４４１は、各画素における補正係数の平均値からの差ΔＣｏｅｆＣ１，ΔＣｏｅｆＣ２を算出する（ステップＳ４５３）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、Ｃ１成分の補正係数ＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ）およびＣ２成分の補正係数ＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）と、上述したステップＳ４５１において算出したＣ１，Ｃ２成分の補正係数の平均値ＡｖｅＣｏｅｆＣ１，ＡｖｅＣｏｅｆＣ２の差ΔＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ），ΔＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。具体的には、補正量算出部４４１は、以下の式（１６）および式（１７）によって、各画素における補正係数の平均値からの差ΔＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ），ΔＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。
ΔＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ）
＝ＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＣ１
・・・（１６）
ΔＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）
＝ＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＣ２
・・・（１７）

続いて、補正量算出部４４１は、各画素における画素値の平均値からの差ΔＶａｌを算出する（ステップＳ４５４）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、画素値Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）と、上述したステップＳ４５２において算出した画素値の平均値ＡｖｅＰｉｘの差ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。より具体的には、補正量算出部４４１は、以下の式（１８）によって、差ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を算出する。
ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）＝Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＰｉｘ
・・・（１８）

その後、補正量算出部４４１は、連立方程式から候補値ＥｓｔＣ１’，ＥｓｔＣ２’を算出する（ステップＳ４５５）。具体的には、補正量算出部４４１は、参照画素の中から２つの画素（ｘ＋Δｘ１，ｙ＋Δｙ１），画素（ｘ＋Δｘ２，ｙ＋Δｙ２）を抽出し、抽出した画素において、以下の連立方程式（１９），（２０）を解くことによって候補値ＥｓｔＣ１’，ＥｓｔＣ２’を算出する。
ΔＶａｌ（ｘ＋Δｘ１，ｙ＋Δｙ１）＝
ΔＣｏｅｆＣ１（ｘ＋Δｘ１，ｙ＋Δｙ１）×ＥｓｔＣ１’
＋ΔＣｏｅｆＣ２（ｘ＋Δｘ１，ｙ＋Δｙ１）×ＥｓｔＣ２’
・・・（１９）
ΔＶａ２（ｘ＋Δｘ２，ｙ＋Δｙ２）＝
ΔＣｏｅｆＣ１（ｘ＋Δｘ２，ｙ＋Δｙ２）×ＥｓｔＣ１’
＋ΔＣｏｅｆＣ２（ｘ＋Δｘ２，ｙ＋Δｙ２）×ＥｓｔＣ２’
・・・（２０）

補正量算出部４４１は、上述した算出を以下の方法で抽出した２画素に対して実行し、それぞれにおける候補値ＥｓｔＣ１’，ＥｓｔＣ２’を算出する。具体的には、補正量算出部４４１は、参照画素から２画素をとる全ての組み合わせにおいて実行する。

また、補正量算出部４４１は、代表とする参照画素から２画素をとる全ての組み合わせにおいて実行してもよい。例えば、補正量算出部４４１は、補正係数の絶対値が大きい方からｋ個までの画素を代表とする。この場合、補正量算出部４４１は、補正係数の絶対値が小さいｋ個選ぶときと、補正係数の絶対値が大きいｋ個選んだときでは、ｋ個の誤差の割合は、補正係数の絶対値が大きい方が小さくなるため、得られる推定値の精度が高くなる。

さらに、補正量算出部４４１は、補正係数の値が類似する画素から２画素をとる全てにおいて実行してもよい。

ステップＳ４５６において、補正量算出部４４１は、ステップＳ４５５で算出した複数の候補値ＥｓｔＣ１’，ＥｓｔＣ２’を用い、それらの平均値を推定値ＥｓｔＣ１，ＥｓｔＣ２として算出する。なお、補正量算出部４４１は、平均値以外にも、重み付け平均値や中央値等の他の統計値によって算出した値を推定値ＥｓｔＣ１，ＥｓｔＣ２として算出してもよい。また、補正量算出部４４１は、補正係数の数が類似する２画素を算出した候補値の平均値を算出した値を推定値Ｅｓｔとして算出してもよい。これにより、ランダムノイズによる画素値のばらつきの影響を低減させることができる。

図２３に戻り、ステップＳ４４３以降の説明を続ける。
ステップＳ４４３において、補正量算出部４４１は、上述したステップＳ４４２において算出した各色成分の推定値に、注目画素（ｘ，ｙ）の各色成分の推定値に補正係数を乗じることによって、注目画素（ｘ，ｙ）の画素値に対する各色成分の補正量を算出する。ステップS４４３の後、画像処理装置４０は、図１７の各色成分の補正量算出処理へ戻る。

以上説明した本発明の実施の形態５によれば、補正量算出部４４１が周辺同色画素における画素値と周辺同色画素の補正係数と推定値との関係式を画素毎に立てた連立方程式を解くことによって、推定値を算出することができる。

なお、本発明の実施の形態５では、２つの成分の連立方程式を解くことによって、推定値を算出していたが、Ｒ成分、Ｇ成分およびＢ成分の３つの成分の連立方程式を解くことによって、推定値を算出してもよい。

（実施の形態６）
次に、本発明の実施の形態６について説明する。本実施の形態６に係る撮像システムは、上述した実施の形態３に係る撮像システム１と同一の構成を有し、画像処理装置が実行する各色成分の補正量算出処理が異なる。以下においては、本実施の形態６に係る画像処理装置が実行する各色成分の補正量算出処理について説明する。

〔各色成分の補正量算出処理〕
図２５は、本実施の形態６に係る画像処理装置４０が実行する各色成分の補正量算出処理の概要を示すフローチャートである。図２５において、ステップＳ４６１、ステップＳ４６３は、上述した図２３のステップＳ４４１およびステップＳ４４３それぞれに対応する。

ステップＳ４６２において、補正量算出部４４１は、画素値と補正係数の比による異色成分推定値算出処理を実行する。

〔画素値と補正係数の比による異色成分推定値算出処理〕
図２６は、図２５のステップＳ４６２において説明した画素値と補正係数の比による異色成分推定値算出処理の概要を示すフローチャートである。

図２６に示すように、まず、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の異色成分補正係数の平均値ＡｖｅＣｏｅｆＣ１および平均値ＡｖｅＣｏｅｆＣ２を算出する（ステップＳ４７１）。

続いて、補正量算出部４４１は、注目画素（ｘ，ｙ）の周辺の注目画素（ｘ，ｙ）と同色画素の画素値の平均値ＡｖｅＰｉｘを算出する（ステップＳ４７２）。この場合、補正量算出部４４１は、参照画素の画素値から画素値の平均値ＡｖｅＰｉｘを算出することが望ましい。このとき、補正量算出部４４１は、平均値以外に統計値を算出してもよい。例えば、補正量算出部４４１は、重み付け平均値および中央値等を算出してもよい。

その後、補正量算出部４４１は、各画素における補正係数の平均値からの差ΔＣｏｅｆＣ１，ΔＣｏｅｆＣ２を算出する（ステップＳ４７３）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、Ｃ１成分の補正係数ＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ）およびＣ２成分の補正係数ＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）と、ステップＳ４７１において算出した異色成分補正係数の平均値ＡｖｅＣｏｅｆＣ１およびＡｖｅＣｏｅｆＣ２との差ΔＣｏｅｆＣ１，ΔＣｏｅｆＣ２を画素毎に算出する。より具体的には、補正量算出部４４１は、以下の式（２１）および（２２）によって、ΔＣｏｅｆＣ１，ΔＣｏｅｆＣ２を画素毎に算出する。
ΔＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ）
＝ＣｏｅｆＣ１（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＣ１
・・・（２１）
ΔＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）
＝ＣｏｅｆＣ２（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＣｏｅｆＣ２
・・・（２２）

続いて、補正量算出部４４１は、各画素における画素値の平均値からの差ΔＶａｌを算出する（ステップＳ４７４）。具体的には、補正量算出部４４１は、参照画素（ｘ＋Δｘ，ｙ＋Δｙ）において、画素値Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）と、上述したステップＳ４７２において算出した画素値の平均値ＡｖｅＰｉｘの差ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を画素毎に算出する。より具体的には、補正量算出部４４１は、以下の式（２３）によって、ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）を算出する。
ΔＶａｌ（ｘ＋Δｘ，ｙ＋Δｙ）
＝Ｐｉｘ（ｘ＋Δｘ，ｙ＋Δｙ）−ＡｖｅＰｉｘ
・・・（２３）

その後、補正量算出部４４１は、注目画素（ｘ，ｙ）の近傍のＣ１，Ｃ２と同色画素の画素値の比ＶａｌＣ２／ＶａｌＣ１を算出する（ステップＳ４７５）。具体的には、補正量算出部４４１は、注目画素（ｘ，ｙ）の近傍にあるＣ１成分，Ｃ２成分と同色画素の画素値をＶａｌＣ１，ＶａｌＣ２とし、それらの比ＶａｌＣ２／ＶａｌＣ１を算出する。なお、補正量算出部４４１は、注目画素（ｘ，ｙ）を中心に、Ｍ×Ｎ画素の範囲内にあるＣ１，Ｃ２と同色画素の画素値平均値をＶａｌＣ１，ＶａｌＣ２としてもよい。また、補正量算出部４４１は、近傍にある画素が飽和している場合、Ｃ１とＣ２の画素値の比が算出できる最も注目画素に近い画素の領域において画素値ＶａｌＣ１，ＶａｌＣ２を算出してもよい。

図２７は、注目画素（ｘ，ｙ）近傍の異色画素が飽和した場合の比Ｒａｔｉｏの算出領域を模式的に示す図である。図２７において、横軸がｘ座標を示し、縦軸が画素値を示す。また、図２７において、曲線Ｌ１０がＲ画素の画素値を示し、曲線Ｌ１１がＢ画素の画素値を示す。さらに、図２７において、斜線領域Ｗ１が飽和している領域を示す。

図２７に示すように、斜線領域Ｗ１は、画素Ｃ１および画素Ｃ２のいずれも飽和しているため、比ＶａｌＣ２／ＶａｌＣ１を正しく算出することができない。このため、補正量算出部４４１は、Ｃ１とＣ２の画素値の比が算出できる最も注目画素に近い画素の領域において画素値ＶａｌＣ１，ＶａｌＣ２を算出する。

図２６に戻り、ステップＳ４７６以降の説明を続ける。
ステップＳ４７６において、補正量算出部４４１は、各画素におけるＣ１成分の候補値ＥｓｔＣ１’を算出する。具体的には、補正量算出部４４１は、以下の式（２４）によって、候補値ＥｓｔＣ１’を画素毎に算出する。

なお、補正量算出部４４１は、上式の分母が０の場合、ＥｓｔＣ１’ （ｘ＋Δｘ，ｙ＋Δｙ）＝０とするか、または、その画素（ｘ＋Δｘ，ｙ＋Δｙ）の処理を除外する。画素の処理を除外するとき、補正量算出部４４１は、次の平均値算出処理でも、同様にその画素を除外して算出する。

その後、補正量算出部４４１は、候補値ＥｓｔＣ１’の平均値を推定値ＥｓｔＣ１として算出する（ステップＳ４７７）。具体的には、補正量算出部４４１は、上述したステップＳ４７６において算出した全画素の候補値ＥｓｔＣ１’の平均値を推定値ＥｓｔＣ１として算出する。この場合、補正量算出部４４１は、単純な平均値以外にも、重み付け平均値や中央値等の他の統計値によって求められた値を推定値ＥｓｔＣ１として算出してもよい。なお、補正量算出部４４１は、ステップＳ４７７の処理を行う前に、ＥｓｔＣ１を０に初期化しているものとする。

続いて、補正量算出部４４１は、推定値ＥｓｔＣ２を算出する（ステップＳ４７８）。具体的には、補正量算出部４４１は、上述したステップＳ４７７において算出した推定値ＥｓｔＣ１とステップＳ４７５において算出した比ＶａｌＣ２／ＶａｌＣ１を用いて、推定値ＥｓｔＣ２を算出する。より具体的には、補正量算出部４４１は、以下の式（２５）によって、推定値ＥｓｔＣ２を算出する。
ＥｓｔＣ２＝ＥｓｔＣ１×（ＶａｌＣ２／ＶａｌＣ１）・・・（２５）
ステップＳ４７８の後、画像処理装置４０は、図２５の各色成分の補正量算出処理へ戻る。

以上説明した本発明の実施の形態６によれば、画素値が飽和していない周辺画素における各画素の画素値と周辺同色画素における各画素の補正係数の比とに基づいて、推定値を算出することができる。

なお、本発明の実施の形態６では、画素値が飽和していない周辺画素における各画素の画素値と周辺同色画素における各画素の補正係数の比とに基づいて、推定値を算出していたが、例えば、この方法を用いて上述した実施の形態１，３等において類似度の最小値を探索してもよい。

（その他の実施の形態）
本発明の実施の形態に係るカラーフィルタは、Ｒフィルタ、ＧフィルタおよびＢフィルタで構成されたベイヤー配列のカラーフィルタであったが、他のカラーフィルタであっても本発明を適用することができる。例えば、本発明では、上述した実施の形態に係るカラーフィルタのＲフィルタに換えて、補色のＭｇ（マゼンタ）フィルタ、ＧフィルタおよびＢフィルタによって構成されたカラーフィルタであってもよい。また、本発明では、Ｃｙ（シアン）フィルタ、ＭｇフィルタおよびＹｅ（イエロー）フィルタを用いた補色フィルタのカラーフィルタであってもよい。このようなカラーフィルタを用いる場合、周知の補色から原色に補間する補間方法によって行えばよい。

また、本発明の実施の形態では、１つの撮像素子に互いに異なる分光透過率を有する複数のカラーフィルタを設けていたが、例えば緑色の波長領域を透過するＧフィルタのみを各画素の受光面または、撮像素子全面に設けた撮像素子と、赤色または青色の波長領域を透過するＲフィルタおよびＢフィルタを市松模様になるように互い違いに各画素の受光面に設けた撮像素子とを用いる２板式や、Ｒフィルタのみ、Ｇフィルタのみ、Ｂフィルタのみをそれぞれ設けた撮像素子を用いる３板式の撮像装置であっても本発明を適用することができる。この場合、一方の撮像素子におけるＧ画素の補正係数を算出する場合、該Ｇ画素の座標に対応する他方の撮像素子のＲ画素またはＢ画素の画素値を用いることによって本発明の補正量を算出することができる。

本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像システム以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器に、本発明の画像処理装置を画像処理エンジンとして搭載させてもよい。

また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施例および変形例で説明した構成要素を適宜組み合わせてもよい。

また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１撮像システム
１０撮像装置
４０画像処理装置
４１第２外部Ｉ／Ｆ部
４２第２記録部
４３，１１４バス
４４分光感度ばらつき補正部
４５画像処理部
５０表示装置
１０１光学系
１０２絞り
１０３シャッタ
１０４ドライバ
１０５撮像素子
１０６カラーフィルタ
１０７アナログ処理部
１０８Ａ／Ｄ変換部
１０９第１操作部
１１０メモリＩ／Ｆ部
１１１記録媒体
１１２揮発メモリ
１１３不揮発メモリ
１１３ａプログラム記録部
１１３ｂ補正係数記録部
１１５撮像制御部
１１６第１外部Ｉ／Ｆ部
４２１第２プログラム記録部
４２２第２バッファ部
４４１補正量算出部
４４２画素値補正部

Claims

互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得部と、
前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出し、該推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出部と、
前記補正量算出部が算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正部と、
を備えたことを特徴とする画像処理装置。
前記補正量算出部は、候補値と前記周辺同色画素における各画素の前記補正係数に基づいて算出された前記周辺同色画素における画素値の理論値と前記周辺同色画素における画素値の実測値から類似度を算出し、類似度が高い前記候補値を、前記推定値として算出することを特徴とする請求項１に記載の画像処理装置。
前記理論値は、前記候補値と前記周辺同色画素における各画素の前記補正係数との積であることを特徴とする請求項２に記載の画像処理装置。
前記類似度は、前記周辺同色画素における各画素の前記理論値と前記実測値との差に基づく値であることを特徴とする請求項２または３に記載の画像処理装置。
前記補正量算出部は、前記周辺同色画素における各画素の画素値を前記補正係数によって除算し、この除算した値に基づいて、前記推定値を算出することを特徴とする請求項１に記載の画像処理装置。
前記補正量算出部は、前記周辺同色画素における各画素の画素値を前記補正係数によって除算して得られる値の統計値を、前記推定値として算出することを特徴とする請求項５に記載の画像処理装置。
前記補正量算出部は、前記周辺同色画素において、前記周辺同色画素における画素値と前記補正係数と前記推定値との関係式を画素毎に立てた連立方程式を解くことによって、前記推定値を算出することを特徴とする請求項１に記載の画像処理装置。
前記補正量算出部は、前記周辺同色画素のうち複数の画素の各々を組み合わせて算出した前記推定値の統計値を、前記推定値として算出することを特徴とする請求項７に記載の画像処理装置。
前記補正量算出部は、前記注目画素の周囲において、画素値が飽和していない周辺画素における各画素の画素値と前記周辺同色画素における各画素の前記補正係数の比とに基づいて、前記推定値を算出することを特徴とする請求項１に記載の画像処理装置。
前記画素値補正部は、前記注目画素の補正後の画素値が、前記周辺同色画素における各画素の画素値の平均値から前記注目画素の画素値までの間に入るよう、前記補正量を用いて前記注目画素の画素値を補正することを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
前記画素値補正部は、前記注目画素の画素値から前記補正量を減算した値と前記周辺同色画素の画素値の平均値との差が所定値より大きい場合、前記注目画素の画素値から前記補正量を減算しないことを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得ステップと、
前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出する算出ステップと、
前記算出ステップにおいて算出した前記推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出ステップと、
前記補正量算出ステップにおいて算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正ステップと、
を含むことを特徴とする画像処理方法。
互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得ステップと、
前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出する算出ステップと、
前記算出ステップにおいて算出した前記推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出ステップと、
前記補正量算出ステップにおいて算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正ステップと、
を画像処理装置に実行させることを特徴とするプログラム。