JP4449696B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、モザイク画像の補間をより精度よく行うことができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

単板式の固定撮像素子を用いた撮影装置で撮影した場合、単一の分光感度しか得られない。そのため、一般的には、多数の画素に対してそれぞれ異なる色フィルタを貼り、それらを特定のパターンで配置してカラー撮影を行う方法が利用されている。この方法で撮像された画像は、画素毎に１つの色しか得ることができないため、色に関してモザイク状になった画像が生成される。そこで、周囲の画素から得られる色情報を利用して補間を行うことにより、全画素で全ての色（例えばRGB）が揃った画像を生成することができる。

一般的に、フィルタの配列には、図１に示されるようなベイヤー（Bayer）配列が用いられる。ベイヤー配列は、緑色（Ｇ）の光のみを透過するＧのフィルタが２個、赤（Ｒ）の光のみを透過するＲのフィルタが１個、青（Ｂ）の光のみを透過するＢのフィルタが１個の、合計４個を最小単位として構成されている。すなわち、Ｇのフィルタは、市松状に配置され、ＲおよびＢのフィルタの倍の密度で存在する。そのため、情報量が多く、輝度に強い相関を持つＧについて全画素に色を揃え、それを参照情報として画素補間処理を行うことにより、他の色の情報を各画素において揃える方法がよく用いられる。

例えば特許文献１には、局所領域における色の比率がほぼ一定であるという仮定の元、全画素にあらかじめＧを揃え、近傍画素におけるＲとＧの比率の平均、およびＢとＧの比率の平均を注目画素位置のＧに乗算し、不明な色成分の推定を行う画素補間方法が提案されている。このようなＧを参照情報とした画素補間方法では、Ｇを全画素揃える際の補間精度によって最終結果が大きく左右されるという課題があった。

そこで、特許文献２では、Ｇのグラディエント値に基づいて、補間に用いる近傍Ｇの画素を切り換えることで、補間精度を上げるといった工夫が行われている。また、特許文献３では、補間に用いる近傍Ｇの画素を切り換えるだけでなく、補間画素位置の水平、垂直の相関値を求め、水平方向の相関が強い場合に適した処理と、垂直方向の相関が強い場合に適した処理によって得られた２つの補間値を相関値によって混合する方法が提案されている。

上述した様々な方法では、Ｇが市松状に配置され、他の色に比べてサンプリング周波数が高いというベイヤー配列の特徴が前提となっているが、単板式の固体撮像素子のフィルタは３色に限定されるものではなく、４色用いられる場合もある。いわゆる補色系のフィルタ配列以外でも、例えば、特許文献４には、色再現性の向上を狙って、RGBの３色にさらにもう１つの色（例えば、Ｙ）を加えることで、４色の配列でフィルタを構成することが提案されている。また、例えば、ベイヤー配列においても、Ｇに隣接するＲ，Ｂの配置の違いや、特許文献５および特許文献６で言及されている、製造過程におけるフィルタの位置ずれ等を原因とした分光特性の違い、また、特許文献７で言及されている、偶数ライン、奇数ラインで別の信号出力経路を持つ固体撮像素子に発生するライン間でのゲインの誤差等により、２×２のフィルタ配列内の２つのＧが必ずしも同一の特性とは限らなくなり、事実上、４色の配列となっている場合がある。
米国特許、Cok,David R.，USP 4,642,678 米国特許、Hibbard,Robert H.，USP 5,382,976 特許番号２９３１５２０号 特開２００２−２７１８０４号公報 特開平７−１３５３０２号公報 特開平８−１９１１４１号公報 特開平４−１５４２８１号公報

しかしながら、このような４色のフィルタ配列から得られた信号に対して、ベイヤー配列でＧの市松配置を利用した全画素にＧを補間する方法は適用できず、当然ながら、Ｇが全色揃っていることを前提とした色補間方法をそのまま利用することはできないという課題があった。

また、ＧもしくはＧに代替される信号を何らかの方法で市松に揃えたとしても、特許文献３に提案されているような、注目画素位置で計算された水平、垂直方向の相関値をそのまま補間に使用する方法では、限界解像度付近でノイズ等の影響により相関判別を間違うようになると、２つの補間値が不規則に混合されることになり、非常に目立つアーチファクトが発生するという課題があった。

本発明はこのような状況に鑑みてなされたものであり、４色のフィルタ配列においても、Ｇに代替される輝度信号を全画素に精度よく補間可能な処理を提供するとともに、その信号を元にした色成分の補間処理ができるようにするものである。

本発明の画像処理装置は、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出手段と、注目画素と、注目画素の縦方向の近傍の画素に基づいて、第１の色成分の注目画素における第１の推定値を算出するとともに、注目画素と注目画素の横方向の近傍の画素に基づいて、第２の色成分の注目画素における第２の推定値を算出する第１の推定値算出手段と、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分の注目画素における第３の推定値を算出する第２の推定値算出手段とを備えることを特徴とする。

変化強度算出手段は、注目画素における第１の色成分および第２の色成分の第１の補間値を、注目画素の近傍の画素の画素値に基づいて補間し、注目画素の縦方向に位置する画素における第１の色成分および第２の色成分の第２の補間値を、注目画素の近傍の画素の画素値に基づいて補間し、注目画素の横方向に位置する画素における第１の色成分および第２の色成分の第３の補間値を、注目画素の近傍の画素の画素値に基づいて補間し、第１の補間値と、第２の補間値との差分の組により縦勾配評価値を算出し、第１の補間値と、第３の補間値との差分の組により横勾配評価値を算出し、縦勾配評価値および横勾配評価値に基づいて、変化強度を決定し、注目画素および注目画素の近傍における変化強度の偏差を算出し、偏差に基づいて、注目画素の変化強度を補正するようにすることができる。

第２の推定値算出手段は、注目画素の近傍の画素の第２の色成分および第１の推定値に基づいて、注目画素における第３の色成分の第４の推定値を算出する第３の推定値算出手段と、注目画素の近傍の画素の第１の色成分および第２の推定値に基づいて、注目画素における第３の色成分の第５の推定値を算出する第４の推定値算出手段と、第４の推定値、第５の推定値、注目画素における縦方向の変化強度、および注目画素における横方向の変化強度に基づいて、第３の推定値を算出する第５の推定値算出手段とを含むようにすることができる。

第１の色成分および第２の色成分は、互いに相関の高い分光感度を有するようにすることができる。

本発明の画像処理方法は、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出ステップと、注目画素と、注目画素の縦方向の近傍の画素に基づいて、第１の色成分の注目画素における第１の推定値を算出する第１の推定値算出ステップと、注目画素と注目画素の横方向の近傍の画素に基づいて、第２の色成分の注目画素における第２の推定値を算出する第２の推定値算出ステップと、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分の注目画素における第３の推定値を算出する第３の推定値算出ステップとを含むことを特徴とする。

本発明のプログラムは、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出ステップと、注目画素と、注目画素の縦方向の近傍の画素に基づいて、第１の色成分の注目画素における第１の推定値を算出する第１の推定値算出ステップと、注目画素と注目画素の横方向の近傍の画素に基づいて、第２の色成分の注目画素における第２の推定値を算出する第２の推定値算出ステップと、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分の注目画素における第３の推定値を算出する第３の推定値算出ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明によれば、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度および横方向の変化強度が算出され、注目画素と、注目画素の縦方向の近傍の画素に基づいて、第１の色成分の注目画素における第１の推定値が算出されるとともに、注目画素と注目画素の横方向の近傍の画素に基づいて、第２の色成分の注目画素における第２の推定値が算出され、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分の注目画素における第３の推定値が算出される。

本発明によれば、モザイク画像の補間をより精度よく行うことができる。特に、この発明によれば、方向検出に誤りが生じやすい限界解像度付近であっても、安定した補間結果を得ることができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明によれば画像処理装置が提供される。この画像処理装置（例えば、図２のデジタルカメラ２０１）は、第１の色成分（例えば、Ｇ）が水平および垂直に１ラインおきに配置され、第２の色成分（例えば、Ｅ）が水平および垂直に１ラインおきに配置され、かつ、第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置（例えば、図２のデジタルカメラ２０１）であって、前記モザイク画像の注目画素、並びに前記注目画素の縦方向および横方向の近傍の画素に基づいて、前記注目画素における縦方向の変化強度（例えば、テクスチャ強度Ｔ_V）および横方向の変化強度（例えば、テクスチャ強度Ｔ_H）を算出する変化強度算出手段（例えば、図６のテクスチャ強度算出処理部３３４）と、前記注目画素（例えば、Ｒ）と、前記注目画素の縦方向の近傍の画素（例えば、Ｒの縦近傍の画素Ｇ）に基づいて、前記第１の色成分（例えば、Ｇ）の前記注目画素における第１の推定値（例えば、ＧＦ）を算出するとともに、前記注目画素（例えば、Ｒ）と前記注目画素の横方向の近傍の画素（例えば、Ｒの横近傍の画素Ｅ）に基づいて、前記第２の色成分（例えば、Ｅ）の前記注目画素における第２の推定値（例えば、ＥＦ）を算出する第１の推定値算出手段（例えば、図６のＧ補間処理部３３２−１、またはＥ補間処理部３３２−２）と、前記縦方向の変化強度、前記横方向の変化強度、前記第１の推定値、および前記第２の推定値に基づいて、前記第１の色成分と前記第２の色成分からなる第３の色成分の前記注目画素における第３の推定値（例えば、Ｇ＋Ｅ）を算出する第２の推定値算出手段（例えば、図６のＧ＋Ｅ生成処理部３３５、Ｇ＋Ｅ生成処理部３３６、および合成処理部３３７）とを含む。

変化強度算出手段は、注目画素における第１の色成分および第２の色成分の第１の補間値（例えば、ＧＡ（ｊ’,ｋ’）およびＥＡ（ｊ’,ｋ’）（但し、（ｊ’,ｋ’）は処理画素位置））を、注目画素の近傍の画素の画素値に基づいて補間し、注目画素の縦方向に位置する画素における第１の色成分および第２の色成分の第２の補間値（例えば、ＧＡ（ｊ’,ｋ’−１）およびＧＡ（ｊ’,ｋ’＋１）、並びにＥＡ（ｊ’,ｋ’−１）およびＥＡ（ｊ’,ｋ’＋１））を、注目画素の近傍の画素の画素値に基づいて補間し、注目画素の横方向に位置する画素における第１の色成分および第２の色成分の第３の補間値（例えば、ＧＡ（ｊ’−１,ｋ’）およびＧＡ（ｊ’＋１,ｋ’）、並びにＥＡ（ｊ’−１,ｋ’）およびＥＡ（ｊ’＋１,ｋ’））を、注目画素の近傍の画素の画素値に基づいて補間し、第１の補間値（例えば、注目画素位置（ｊ’，ｋ’）のＧＡ（ｊ’,ｋ’）およびＥＡ（ｊ’,ｋ’））と、第２の補間値（例えば、ＧＡ（ｊ’,ｋ’−１）およびＧＡ（ｊ’,ｋ’＋１）、並びにＥＡ（ｊ’,ｋ’−１）およびＥＡ（ｊ’,ｋ’＋１））との差分の組により縦勾配評価値（例えば、ｄＶ）を算出し（例えば、図１３のステップＳ２０３）、第１の補間値（例えば、ＧＡ（ｊ’,ｋ’）およびＥＡ（ｊ’,ｋ’））と、第３の補間値（例えば、ＧＡ（ｊ’−１,ｋ’）およびＧＡ（ｊ’＋１,ｋ’）、並びにＥＡ（ｊ’−１,ｋ’）およびＥＡ（ｊ’＋１,ｋ’））との差分の組により横勾配評価値（例えば、ｄＨ）を算出し（例えば、図１３のステップＳ２０３）、縦勾配評価値および横勾配評価値に基づいて、変化強度を決定し（例えば、図１３のステップＳ２１１）、注目画素および注目画素の近傍における変化強度の偏差を算出し、偏差に基づいて、注目画素の変化強度を補正する（例えば、図１２のステップＳ１５４）ことができる。

第２の推定値算出手段は、注目画素の近傍の画素の第２の色成分（例えば、Ｅ）および第１の推定値（例えばＧＦ）に基づいて、注目画素における第３の色成分（例えば、Ｇ＋Ｅ）の第４の推定値（例えば（Ｇ＋Ｅ）_H）を算出する第３の推定値算出手段（例えば、図６のＧ＋Ｅ生成処理部３３６）と、注目画素の近傍の画素の第１の色成分（例えばＧ）および第２の推定値（例えばＥＦ）に基づいて、注目画素における第３の色成分の第５の推定値（例えば（Ｇ＋Ｅ）_V）を算出する第４の推定値算出手段（例えば、図６のＧ＋Ｅ生成処理部３３５）と、第４の推定値、第５の推定値、注目画素における縦方向の変化強度、および注目画素における横方向の変化強度に基づいて、第３の推定値（例えば、（Ｇ＋Ｅ））を算出する第５の推定値算出手段（例えば、図６の合成処理部３３７）とを備えるようにすることができる。

第１の色成分および第２の色成分は、互いに相関の高い分光感度を有するようにすることができる。

本発明によれば、画像処理方法が提供される。この画像処理方法は、第１の色成分（例えば、Ｇ）が水平および垂直に１ラインおきに配置されるとともに、第２の色成分（例えば、Ｅ）が水平および垂直に１ラインおきに配置され、かつ、第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置（例えば、図２のデジタルカメラ２０１）の画像処理方法であって、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度（例えば、テクスチャ強度Ｔ_V）および横方向の変化強度（例えば、テクスチャ強度Ｔ_H）を算出する変化強度算出ステップ（例えば、図９のステップＳ５３）と、注目画素（例えば、Ｒ）と、注目画素の縦方向の近傍の画素（例えば、Ｒの縦近傍の画素Ｇ）に基づいて、第１の色成分（例えば、Ｇ）の注目画素における第１の推定値（例えば、ＧＦ）を算出する第１の推定値算出ステップ（例えば、図９のステップＳ５４）と、注目画素（例えば、Ｒ）と注目画素の横方向の近傍の画素（例えば、Ｒの横近傍の画素Ｅ）に基づいて、第２の色成分（例えば、Ｅ）の注目画素における第２の推定値（例えば、ＥＦ）を算出する第２の推定値算出ステップ（例えば、図９のステップＳ５５）と、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分（例えば、Ｇ＋Ｅ）の注目画素における第３の推定値（例えば、Ｇ＋Ｅ）を算出する第３の推定値算出ステップ（例えば、図９のステップＳ５８乃至ステップＳ６０）とを含む。

本発明によれば、プログラムが提供される。このプログラムは、第１の色成分（例えば、Ｇ）が水平および垂直に１ラインおきに配置されるとともに、第２の色成分（例えば、Ｅ）が水平および垂直に１ラインおきに配置され、かつ、第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置（例えば、図２のデジタルカメラ２０１）の画像処理方法であって、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度（例えば、テクスチャ強度Ｔ_V）および横方向の変化強度（例えば、テクスチャ強度Ｔ_H）を算出する変化強度算出ステップ（例えば、図９のステップＳ５３）と、注目画素（例えば、Ｒ）と、注目画素の縦方向の近傍の画素（例えば、Ｒの縦近傍の画素Ｇ）に基づいて、第１の色成分（例えば、Ｇ）の注目画素における第１の推定値（例えば、ＧＦ）を算出する第１の推定値算出ステップ（例えば、図９のステップＳ５４）と、注目画素（例えば、Ｒ）と注目画素の横方向の近傍の画素（例えば、Ｒの横近傍の画素Ｅ）に基づいて、第２の色成分（例えば、Ｅ）の注目画素における第２の推定値（例えば、ＥＦ）を算出する第２の推定値算出ステップ（例えば、図９のステップＳ５５）と、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分（例えば、Ｇ＋Ｅ）の注目画素における第３の推定値（例えば、Ｇ＋Ｅ）を算出する第３の推定値算出ステップ（例えば、図９のステップＳ５８乃至ステップＳ６０）とをコンピュータに実行させる。

以下、図を参照して、本発明の実施の形態について説明する。

図２は、本発明を適用したデジタルカメラ２０１の構成を示すブロック図である。

図２に示すように、デジタルカメラ２０１は、レンズ２１１、絞り２１２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路２１４、Ａ／Ｄコンバータ２１５、ＤＳＰ（Digital Signal Processor）ブロック２１６、タイミングジェネレータ２１７、Ｄ/Ａコンバータ２１８、ビデオエンコーダ２１９、表示部２２０、コーデック（CODEC：COmpression／DECompression）処理部２２１、メモリ２２２、ＣＰＵ（Central Processing Unit）２２３、および、操作入力部２２４から構成される。

ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２１３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。

ＤＳＰブロック２１６は、信号処理用プロセッサと画像用ＲＡＭ（Random Access Memory）を持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ２１７は、ＣＣＤを駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ２１７により発生されるタイミングクロックは、バス２２５を介して、コーデック処理部２２１、メモリ２２２、および、ＣＰＵ２２３にも供給されている。

Ｄ/Ａコンバータ２１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ２１９は、供給されたアナログ信号を、表示部２２０において表示可能な形式のビデオデータにエンコードする。表示部２２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ２１９から供給されたビデオ信号を表示する。

コーデック処理部２２１は、例えば、MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などの、デジタルビデオデータの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、ＣＰＵ２２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２２は、デジタルカメラ２０１に対して着脱可能なようになされていても良い。

ＣＰＵ２２３は、バス２２５を介して、操作入力部２２４から供給されたユーザの操作入力を基に、デジタルカメラ２０１の各部を制御する。操作入力部２２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。

レンズ２１１および絞り２１２を介して入力された光は、ＣＣＤイメージセンサ２１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２１４に供給される。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２１５に供給する。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納する。

タイミングジェネレータ２１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、ＣＣＤイメージセンサ２１３、相関２重サンプリング回路２１４、Ａ／Ｄコンバータ２１５、および、ＤＳＰブロック２１６を制御する。

ＤＳＰブロック２１６は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。ＤＳＰブロック２１６は、画像処理の終了後、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に画像データを供給する。

Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ２１９に供給する。ビデオエンコーダ２１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２２０に出力して表示させる。すなわち、表示部２２０は、デジタルカメラ２０１において、カメラのファインダの役割を担っている。コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２２に供給して記憶させる。

また、コーデック処理部２２１は、操作入力部２２４からユーザの操作入力を受けたＣＰＵ２２３の制御に基づいて、メモリ２２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をＤＳＰブロック２１６に出力する。これにより、復号された信号が、ＤＳＰブロック２１６を介してＤ／Ａコンバータ２１８に供給され、アナログ変換された後、ビデオエンコーダ２１９によりエンコードされて、表示部２２０に表示される。

ところで、図２のＣＣＤイメージセンサ２１３のオンチップカラーフィルタには、通常、３種類または４種類の色が用いられており、これらのオンチップカラーフィルタは、受光素子ごとに、交互に異なる色になるようモザイク状に配列されている。本発明においては、ＲＧＢ（Red,Green,Blue：赤、緑、青）の３色に、Ｇに分光特性が近い４色目となる色（以下、Ｅ（Emerald）と称する）を加えた４色を用いた配列のオンチップカラーフィルタを用いる。この４色のモザイク配列の例を、図３に示す。なお、本明細書中では、Ｇに近い分光特性の４色目となる色をＥとしたが、この色はEmeraldに限定されず、Ｇに近い分光特性であれば何色でもよい。

図３に示されるように４色配列は、赤（Ｒ）の光のみを透過するＲのフィルタが１個、緑色（Ｇ）の光のみを透過するＧのフィルタが１個、青（Ｂ）の光のみを透過するＢのフィルタが１個、エメラルド（Ｅ）の光のみを透過するＥのフィルタが１個の、合計４個を最小単位として構成されている。すなわち、Ｒ，Ｇ，Ｂ，Ｅの各フィルタは、同じ密度で存在する。

このように、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタに図３に示されるような４色のモザイクが用いられている場合、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納されている画像は、各画素とも、Ｒ，Ｇ，Ｂ，Ｅのうちのいずれか１つの色しか持たない。そこで、ＤＳＰブロック２１６の信号処理用プロセッサは、予め組み込まれた画像処理プログラムまたはハードウェアによって、この画像を処理し、全画素において全色のデータを有する画像データを生成する。具体的には、ＤＳＰブロック２１６の信号処理用プロセッサは、まず、Ｇ，Ｅを合成した新たな色（以下、Ｇ＋Ｅと称する）を全画素に生成し、３色のベイヤー配列においてＧを全画素揃えることを前提とした補間方法を、４色のモザイク配列においても同様に適用できるようにする。

図４は、図２のＤＳＰブロック２１６の更に詳細な構成を示すブロック図である。

ＤＳＰブロック２１６は、上述したように、画像用ＲＡＭ２４１および信号処理用プロセッサ２４２で構成され、信号処理用プロセッサ２４２は、ホワイトバランス調整部２５１、ガンマ補正部２５２、デモザイク処理部２５３、および、ＹＣ変換部２５４で構成される。

Ａ／Ｄコンバータ２１５によってデジタル信号に変換されたモザイク画像は、画像用ＲＡＭ２４１に一時保存される。モザイク画像は、各画素にＲ，Ｇ，ＢまたはＥのいずれかの色に対応する強度信号、すなわち、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図３を用いて説明した４色のモザイク配列）の周期的なパターンの強度信号により構成されている。

ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理（ホワイトバランスの調整処理）を実行する。ガンマ補正部２５２は、ホワイトバランスが調整されたモザイク画像の各画素強度に対して、ガンマ補正を行う。画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。ガンマ補正とは、表示部２２０に表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。表示部２２０に出力される信号は、画素ごとに特定の電圧を加えることで、画像の明るさや色が再現されるようになされている。しかしながら、実際に表示される画像の明るさや色は、表示部２２０が有する特性（ガンマ値）により、入力電圧を倍にしてもブラウン管の明るさが倍になるわけではない（非線形性を有する）ため、ガンマ補正部２５２において、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように補正する処理が施される。

デモザイク処理部２５３は、色分布形状を統計的に算出することにより、ガンマ補正がなされたモザイク画像の各画素位置にR,G,B,Eの４色の強度を揃えるデモザイク処理を実行する。したがって、デモザイク処理部２５３からの出力信号は、R,G,B,Eの４つの色に対応する４つの画像信号となる。ＹＣ変換部２５４はR,G,B,Eの４チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、Ｙ画像およびＣ画像（ＹＣｂＣｒ画像信号）を生成し、出力する。

ＤＳＰブロック２１６の信号処理用プロセッサ２４２においては、デモザイク処理部２５３によるデモザイク処理の前に、ガンマ補正部２５２によりガンマ補正を行うものとしている。これは、ガンマ補正された非線形な画素強度空間においてデモザイク演算を実行することにより、デモザイク処理部２５３のデモザイク処理の信頼性をより高めることができるためである。

例えば、入力される画像が高コントラストな輪郭領域である場合、その色分布は、非常に明るい強度域と非常に暗い強度域に渡ってしまう。物理的に、物体反射光は、物体表面のばらつきに照明からの入射光強度が乗じられたものになることから、カメラへの入射光強度に比例する線形な画素強度空間においては、明るい強度域にある物体色の分布はスパースに（まばらに）広がり、暗い画素強度域にある物体色の分布はあまり広がらずにコンパクトに縮まる傾向にある。

デモザイク処理部２５３においては、色分布形状を統計的に算出することにより、デモザイク処理を実行する。しかしながら、高コントラストな輪郭領域では、明るい領域での画素強度のちらばりと暗い領域での画素強度のちらばりが大きく異なり、統計的な線形回帰が適用しにくくなる。したがって、入力されたデータに対して、デモザイク処理部２５３におけるデモザイク処理に先立って、ガンマ補正のような非線形の画素強度変換を施して、暗い画素強度域を持ち上げて（明るい画素強度領域に近づけて）、画素強度の分散をある程度抑制するようにすることにより、デモザイク処理部２５３において実行される線形回帰処理の信頼性を向上させることができる。

このような目的で適用する非線形変換は、ガンマ補正のように１より小さい指数によるべき乗変換が望ましいが、通常カラープロファイル等で用いられているsRGBガンマのように、べき乗部と線形部を組み合わせたような変換であっても、略べき乗関数と同じとみなせるようなものであれば、いずれの非線形変換であってもよい。また、非線形変換を省略するようにしても、デモザイク処理の後に、ガンマ補正などの非線形変換処理を行うようにしてもよいことは言うまでもない。

図５は、全画素位置でＲＧＢＥの４色が存在するように、各画素位置ごとに順次、そこにない色の強度を補間または推定していく処理であるデモザイク処理を実行する、図４のデモザイク処理部２５３の更に詳細な構成を示すブロック図である。

デモザイク処理部２５３には、局所領域抽出部２８１、Ｇ＋Ｅ算出処理部２８２、および画素値補間部２８３が設けられている。局所領域抽出部２８１は、ガンマ補正されたモザイク画像から、注目画素位置周囲の決まった大きさの局所領域の画素を切り出す。ここでは、切り出す局所領域を、注目画素位置を中心とした７×７画素の矩形領域とする。Ｇ＋Ｅ算出処理部２８２は、局所領域内に存在する画素を用いて、注目画素位置におけるＧ＋Ｅを算出する。画素値補間部２８３は、Ｇ＋Ｅを用いて、全画素にＲＧＢＥの４色を補間する。

図６は、図５のＧ＋Ｅ算出処理部２８２の詳細な構成例を示すブロック図である。Ｇ＋Ｅ算出処理部２８２は、Ｇ補間処理部３３１−１、Ｅ補間処理部３３１−２、Ｇ補間処理部３３２−１、Ｅ補間処理部３３２−２、Ｇ補間処理部３３３−１、Ｅ補間処理部３３３−２、テクスチャ強度算出処理部３３４、Ｇ＋Ｅ生成処理部３３５、Ｇ＋Ｅ生成処理部３３６、および合成処理部３３７で構成される。本構成は、モザイク上のＲ，Ｇ，Ｅの信号を用いて、Ｒ画素上にＧ＋Ｅを生成するものである。ここでは色成分の推定に回帰推定を用いる。

Ｇ補間処理部３３１−１は、注目Ｒ画素の近傍画素位置全てにＧの簡易的な補間値ＧＡを算出し、同様にＥ補間処理部３３１−２は、Ｅの補間値ＥＡを算出する。テクスチャ強度算出処理部３３４は、Ｇ補間処理部３３１−１とＥ補間処理部３３１−２により得られた補間値ＧＡ，ＥＡを用いて、Ｒ画素位置の横方向のテクスチャ強度Ｔ_H（変化強度）と縦方向のテクスチャ強度Ｔ_V（変化強度）を算出する。Ｇ補間処理部３３２−１は、横近傍の補間値ＧＡと信号Ｒを用いて、Ｇの２つ目の補間値ＧＦを算出し、Ｅ補間処理部３３２−２は、縦近傍の補間値ＥＡと信号Ｒを用いて、Ｅの２つ目の補間値ＥＦを算出する。またＧ補間処理部３３３−１は、補間値ＧＡ，ＥＡ，ＥＦを用いてＧの３つ目の補間値ＧＵを、Ｅ補間処理部３３３−２は、補間値ＧＡ，ＥＡ，ＧＦを用いてＥの３つ目の補間値ＥＵを、Ｒ画素位置に算出する。

Ｇ＋Ｅ生成処理部３３５は、補間値ＧＵ，ＥＦを合成して（Ｇ＋Ｅ）_Vを算出するとともに、Ｇ＋Ｅ生成処理部３３６は、補間値ＧＦ，ＥＵを合成して（Ｇ＋Ｅ）_Hを算出する。合成処理部３３７は、２つのＧ＋Ｅの値、すなわち（Ｇ＋Ｅ）_V、（Ｇ＋Ｅ）_Hとテクスチャ強度Ｔ_H、Ｔ_Vを用いて、Ｒ画素位置での信号Ｇ＋Ｅを決定する。

以上の説明では、モザイク上のＲ，Ｇ，Ｅの信号を用いて、Ｒ画素上にＧ＋Ｅを生成する場合について説明したが、Ｂ画素上にＧ＋Ｅを生成する過程については、以上の説明においてＲをＢに、ＧをＥに、ＥをＧに読み替えることで得られる。また、Ｇ，Ｅ画素上にＧ＋Ｅを生成する方法については、あらかじめＧ，Ｅいずれかの画素値が分かっている状態であり、簡易な補間方法によっても十分な精度が得られるため、ここでは説明を省略する。

次に、図７のフローチャートを参照して、図４のDSPブロック２１６の処理について説明する。

ステップＳ１において、画像用ＲＡＭ２４１は、CCDイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図３を用いて説明した４色配列）の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存する。

ステップＳ２において、信号処理用プロセッサ２４２のホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理を行う。

ステップＳ３において、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるようにガンマ補正を行う。

ステップＳ４において、デモザイク処理部２５３により、図８を用いて後述するデモザイク処理が実行される。

YC変換部２５４は、ステップＳ５において、デモザイク処理部２５３からの出力であるＲ，Ｇ，Ｂ，Ｅの４チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限をおこなうことで、ＹＣ変換を行い、Ｙ画像およびＣ画像を生成し、ステップＳ６において、生成したＹ画像およびＣ画像を出力し、処理が終了される。

このような処理により、DSPブロック２１６は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、CPU２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給する。

次に、図８のフローチャートを参照して、図７のステップＳ４において実行されるデモザイク処理について説明する。

局所領域抽出部２８１は、ステップＳ２１において、未処理の画素のうちのいずれかを注目画素とし、ステップＳ２２において、注目画素位置の周辺の所定数（以下に続く処理に必要とされる画素領域を含む十分な数）の画素を、局所領域として抽出し、Ｇ＋Ｅ算出処理部２８２および画素値補間部２８３に供給する。

ステップＳ２３において、Ｇ＋Ｅ算出処理部２８２は、図９のフローチャートを用いて後述する、Ｇ＋Ｅ算出処理を実行し、算出したＧ＋Ｅを画素値補間部２８３に供給する。

ステップＳ２４において、画素値補間部２８３は、Ｇ＋Ｅを用いて、各色の画素値を補間する。

ステップＳ２５において、局所領域抽出部２８１は、全ての画素において処理が終了したか否かを判断する。ステップＳ２５において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２５において、全ての画素において処理が終了したと判断された場合、処理は図７のステップＳ５に進む。

換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ２１乃至ステップＳ２４の処理が終了された場合、処理が終了される。

次に、図９のフローチャートを参照して、図８のステップＳ２３において実行されるＧ＋Ｅ算出処理について説明する。この処理は、図６のＧ＋Ｅ算出処理部２８２により実行される処理である。

ステップＳ５１において、Ｇ補間処理部３３１−１は、第１のＧ補間処理を実行する。この詳細は、図１０および図１１を参照して後述する。

ステップＳ５２において、Ｅ補間処理部３３１−２は、第１のＥ補間処理を実行する。この詳細は、図１０および図１１を参照して後述する。

ステップＳ５３において、テクスチャ強度算出処理部３３４は、補正テクスチャ強度算出処理を実行する。この詳細は、図１２を参照して後述する。

ステップＳ５４において、Ｇ補間処理部３３２−１は、第２のＧ補間処理を実行する。この詳細は、図２０を参照して後述する。

ステップＳ５５において、Ｅ補間処理部３３２−２は、第２のＥ補間処理を実行する。この詳細は、図２０を参照して後述する。

ステップＳ５６において、Ｇ補間処理部３３３−１は、第３のＧ補間処理を実行する。この詳細は、図３１を参照して後述する。

ステップＳ５７において、Ｅ補間処理部３３３−２は、第３のＥ補間処理を実行する。この詳細は、図３１を参照して後述する。

ステップＳ５８において、Ｇ＋Ｅ生成処理部３３５は、第１のＧ＋Ｅ生成処理を実行する。この詳細は、図３４を参照して後述する。

ステップＳ５９において、Ｇ＋Ｅ生成処理部３３６は、第２のＧ＋Ｅ生成処理を実行する。この詳細は、図３５を参照して後述する。

ステップＳ６０において、合成処理部３３７は、合成処理を実行する。この詳細は、図３６を参照して後述する。

図９の処理により、モザイク状のＲ，Ｇ，Ｅの信号に基づいて、Ｒ画素上にＧ＋Ｅが生成される。

次に、図１０および図１１のフローチャートを参照して、図９のステップＳ５１またはステップＳ５２において実行される第１の補間処理（第１のＧ補間処理および第１のＥ補間処理）を説明する。なお、ＧおよびＥのいずれに対しても同様の処理が実行されるので、図１０および図１１においてＸと記述されている部分については、適宜Ｇ，Ｅに読み替えられる。具体的には、図１０および図１１の処理がステップＳ５１に対応する処理の場合、Ｇ補間処理部３３１−１が実行する処理であり、ステップＳ５２に対応する処理の場合、Ｅ補間処理部３３１−２が実行する処理である。

ステップＳ１０１において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、局所領域のうち、処理を実行する画素位置を示す第１のレジスタの値ｊを初期化してｊ＝−ｎ＋１とし、ステップＳ１０２において、局所領域のうち、処理を実行する画素位置を示す第２のレジスタの値ｋを初期化してｋ＝−ｎ＋１とする。ここでは、画素（０，０）を中心とする（２ｎ−１）×（２ｎ−１）の画素群に対して処理が行われる。なお、ｎは、正の整数であり、（ｊ，ｋ）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。なお、ｎの値は、処理に必要な任意の定数と考えることができる。したがって、本実施形態を実装する際には、このようなレジスタ値の細かい設定を省略することも可能である。特に、ｎが十分大きな値であるとすれば、実質的に同一の結果を得ることができるものと考えられる。このことは、後述するｎ’、ｎ’’、およびｎ’’’についても同様である。

ステップＳ１０３において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ）がＸであるか否かを判定する。ここでＸは、Ｇ補間処理部３３１−１がこの処理を実行している場合にはＧとされ、Ｅ補間処理部３３１−２がこの処理を実行している場合にはＥとされる（以下同様）。上述した図３に示される４色のフィルタ配列が公知であることから、この処理では、画素位置を用いて色を判定することができる。

ステップＳ１０３において画素（ｊ，ｋ）の色がＸであると判定された場合、ステップＳ１０４において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ）の補間値ＸＡを画素（ｊ，ｋ）の色Ｘとする。すなわち、処理画素位置の色がＸであると判定された場合には、補間をする必要がないのでそのままの信号が用いられる。

ステップＳ１０３において、画素（ｊ，ｋ）がＸでないと判定された場合、ステップＳ１０５において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ−１，ｋ）の色がＸであるか否かを判定する。

ステップＳ１０５において画素（ｊ−１，ｋ）の色がＸであると判定された場合、ステップＳ１０６において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ）の補間値ＸＡを画素（ｊ−１，ｋ）の色Ｘと（ｊ＋１，ｋ）の色Ｘの平均値とする。すなわち、横に隣接する画素の色がＸであると判定された場合、左右から補間が行われる。

ステップＳ１０５において画素（ｊ−１，ｋ）の色がＸでないと判定された場合、ステップＳ１０７においてＧ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ−１）の色がＸであるか否かを判定し、画素（ｊ，ｋ−１）の色がＸであると判定された場合、ステップＳ１０８において画素（ｊ，ｋ）の補間値ＸＡを画素（ｊ，ｋ−１）の色と画素（ｊ,ｋ＋１）の色の平均とする。すなわち、縦に隣接する画素がＸであると判定された場合、上下補間が行われる。

ステップＳ１０７において画素（ｊ，ｋ−１）の色がＸでないと判定された場合、ステップＳ１０９において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ）の補間値ＸＡを、画素（ｊ−１，ｋ−１）の色、画素（ｊ＋１，ｋ−１）の色、画素（ｊ−１，ｋ＋１）の色、画素（ｊ＋１，ｋ＋１）の色の平均とする。すなわち、画素（ｊ，ｋ）、画素（ｊ−１，ｋ）および画素（ｊ，ｋ−１）がＸでないと判定された場合、左上、右上、左下、右下から補間が行われる。

ステップＳ１０４、ステップＳ１０６、ステップＳ１０８、またはステップＳ１０９の処理の後、ステップＳ１１０において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、第２のレジスタの値ｋを参照し、ｋ＝ｎ−１であるか否かを判定する。ステップＳ１１０においてｋ＝ｎ−１でないと判定された場合、ステップＳ１１１において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、第２のレジスタの値ｋをｋ＝ｋ＋１に更新して、処理はステップＳ１０３に戻り、それ以降の処理が繰り返される。

ステップＳ１１０においてｋ＝ｎ−１であると判定された場合、ステップＳ１１２において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、処理を実行する画素位置を示す第１のレジスタの値ｊを参照し、ｊ＝ｎ−１であるか否かを判定する。ステップＳ１１２においてｊ＝ｎ−１ではないと判定された場合、ステップＳ１１３においてＧ補間処理部３３１−１またはＥ補間処理部３３１−２は、第１のレジスタの値ｊをｊ＝ｊ＋１に更新して、処理はステップＳ１０２に戻り、それ以降の処理が繰り返される。

ステップＳ１１２においてｊ＝ｎ−１であると判定された場合、ステップＳ１１４においてＧ補間処理部３３１−１またはＥ補間処理部３３１−２は、（２ｎ−１）×（２ｎ−１）画素のＸの補間値ＸＡの組を出力し、処理は図９のステップＳ５２またはステップＳ５３に進む。

図１０および図１１の処理をまとめると、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、処理画素位置またはその近傍画素位置の色を判定し、それぞれ場合分けを行って線形補間によりＸの補間値ＸＡを算出している。すなわち、図１０および図１１の処理により、Ｘ（ＧまたはＥ）の補間値ＸＡを算出することができる。換言すると、図１０および図１１の処理によりＧの補間値ＧＡおよびＥの補間値ＥＡが算出される。

次に、図１２のフローチャートを参照して、図９のステップＳ５３において実行される補正テクスチャ強度算出処理を説明する。なお、この処理は図６のテクスチャ強度算出処理部３３４により実行される処理である。

ステップＳ１５１においてテクスチャ強度算出処理部３３４は、テクスチャ強度Ｔ_H，Ｔ_V算出処理を実行する。この処理の詳細は、図１３を参照して後述する。

ステップＳ１５２においてテクスチャ強度算出処理部３３４は、重み付き平均値Ｍ_TH算出処理を実行する。この処理の詳細は、図１４を参照して後述する。

ステップＳ１５３においてテクスチャ強度算出処理部３３４は、重み付き平均偏差Ｓ_TH算出処理を実行する。この処理の詳細は、図１６を参照して後述する。

ステップＳ１５４においてテクスチャ強度算出処理部３３４は、テクスチャ強度Ｔ_H，Ｔ_V補正処理を実行する。この処理の詳細は、図１７を参照して後述する。その後、処理は図９のステップＳ５４に進む。

図１２の処理により、補正されたテクスチャ強度Ｔ_H，Ｔ_Vが算出される。

次に、図１３のフローチャートを参照して、図１２のステップＳ１５１において実行されるテクスチャ強度Ｔ_H，Ｔ_V算出処理の詳細を説明する。なおこの処理は、注目画素位置およびその上下左右の計５箇所のＧＡ，ＥＡを用いてテクスチャ強度Ｔ_H，Ｔ_Vを算出する処理である。なお、ｎ’は、正の整数である。

ステップＳ２０１において、テクスチャ強度算出処理部３３４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ’とし、ステップＳ２０２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ’とする。なお、（ｊ’，ｋ’）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。

ステップＳ２０３において、テクスチャ強度算出処理部３３４は、式（１）を用いて横勾配評価値ｄＨを算出するとともに、式（２）を用いて縦勾配評価値ｄＶを算出する。すなわち、テクスチャ強度算出処理部３３４は、各画素位置でＧＡ＋ＥＡを計算し、注目画素位置とその左右の間で減算を行って得られた横方向のグラディエント値の絶対値の和を横勾配評価値ｄＨとして算出するとともに、注目画素位置とその上下の間で減算を行って得られた縦方向のグラディエント値の絶対値の和を縦勾配評価値ｄＶとして算出する。

ｄＨ＝｜ＧＡ（ｊ'−１，ｋ'）＋ＥＡ（ｊ'−１，ｋ'）−（ＧＡ（ｊ'，ｋ'）＋ＥＡ（ｊ'，ｋ'））｜＋｜ＧＡ（ｊ'＋１，ｋ'）＋ＥＡ（ｊ'＋１，ｋ'）−（ＧＡ（ｊ'，ｋ'）＋ＥＡ（ｊ'，ｋ'））｜ ・・・（１）
ｄＶ＝｜ＧＡ（ｊ'，ｋ'−１）＋ＥＡ（ｊ'，ｋ'−１）−（ＧＡ（ｊ'，ｋ'）＋ＥＡ（ｊ'，ｋ'））｜＋｜ＧＡ（ｊ'，ｋ'＋１）＋ＥＡ（ｊ'，ｋ'＋１）−（ＧＡ（ｊ'，ｋ'）＋ＥＡ（ｊ'，ｋ'））｜ ・・・（２）

ステップＳ２０４においてテクスチャ強度算出処理部３３４は、横勾配評価値ｄＨ＞縦勾配評価値ｄＶであるか否かを判定し、ｄＨ＞ｄＶであると判定された場合、ステップＳ２０５においてテクスチャ強度算出処理部３３４は、画素（ｊ’，ｋ’）のテクスチャ強度Ｔ_Hを０とし、画素（ｊ’，ｋ’）のテクスチャ強度Ｔ_Vを１とする。

ステップＳ２０４においてｄＨ＞ｄＶでないと判定された場合、ステップＳ２０６においてテクスチャ強度算出処理部３３４は、画素（ｊ’，ｋ’）のテクスチャ強度Ｔ_Hを１とし、画素（ｊ’，ｋ’）のテクスチャ強度Ｔ_Vを０とする。

ステップＳ２０５またはステップＳ２０６の処理の後、処理はステップＳ２０７に進み、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’を参照し、ｋ’＝ｎ’であるか否かを判定する。ステップＳ２０７においてｋ’＝ｎ’でないと判定された場合、ステップＳ２０８において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’をｋ’＝ｋ’＋１に更新して、処理はステップＳ２０３に戻り、それ以降の処理が繰り返される。

ステップＳ２０７において、ｋ’＝ｎ’であると判定された場合、ステップＳ２０９において、テクスチャ強度算出処理部３３４は、処理を実行する画素位置を示す第１のレジスタの値ｊ’を参照し、ｊ’＝ｎ’であるか否かを判定する。ステップＳ２０９においてｊ’＝ｎ’ではないと判定された場合、ステップＳ２１０においてテクスチャ強度算出処理部３３４は、第１のレジスタの値ｊ’をｊ’＝ｊ’＋１に更新して、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。

ステップＳ２０９において、ｊ’＝ｎ’であると判定された場合、ステップＳ２１１においてテクスチャ強度算出処理部３３４は、（２ｎ’＋１）×（２ｎ’＋１）画素のテクスチャ強度Ｔ_H，Ｔ_Vの組を出力し、処理は図１２のステップＳ１５２に進む。

図１３の処理により、処理画素位置およびその上下左右の計５箇所のＧＡ，ＥＡを用いてテクスチャ強度が算出される。

次に、図１４のフローチャートを参照して、図１２のステップＳ１５２において実行される重み付き平均値Ｍ_TH算出処理の詳細を説明する。なお、この処理は、図６のテクスチャ強度算出処理部３３４により実行される処理である。

ステップＳ２５１において、テクスチャ強度算出処理部３３４は、重み付き平均値Ｍ_THを０に初期化する。

ステップＳ２５２において、テクスチャ強度算出処理部３３４は、テクスチャ強度Ｔ_Hを取得する。このテクスチャ強度Ｔ_Hは、上述した図１３の処理により算出された値である。

ステップＳ２５３において、テクスチャ強度算出処理部３３４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ’とし、ステップＳ２５４において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ’とする。

ステップＳ２５５において、テクスチャ強度算出処理部３３４は、Ｍ_TH＝Ｍ_TH＋（重み係数ｗｉが施された画素（ｊ'，ｋ'）のテクスチャ強度Ｔ_H）とする。すなわち、Ｍ_THに重み付けが施された画素（ｊ'，ｋ'）のテクスチャ強度Ｔ_Hを加算したものが新たなＭ_THとされる。

この重み係数ｗｉは、ｉ番目のデータの位置から注目画素への距離などを指標として予め設定されている値である。例えば、７×７の局所領域に対しては図１５に示されるように設定することができる。図中四角形は局所領域の画素位置を示し、四角形中の数字が該当する位置のデータの重み係数を示す。これらの重み係数は、図１５に示されるものに限定されないことはいうまでもないが、図１５に示されるように、注目画素に近い程重み係数が大きくなるようにした方が好適である。

ステップＳ２５６において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’を参照し、ｋ’＝ｎ’であるか否かを判定する。ステップＳ２５６において、ｋ’＝ｎ’でないと判定された場合、ステップＳ２５７において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’をｋ’＝ｋ’＋１に更新して、処理はステップＳ２５５に戻り、それ以降の処理が繰り返される。

ステップＳ２５６において、ｋ’＝ｎ’であると判定された場合、ステップＳ２５８において、テクスチャ強度算出処理部３３４は、処理を実行する画素位置を示す第１のレジスタの値ｊ’を参照し、ｊ’＝ｎ’であるか否かを判定する。ステップＳ２５８においてｊ’＝ｎ’ではないと判定された場合、ステップＳ２５９においてテクスチャ強度算出処理部３３４は、第１のレジスタの値ｊ’をｊ’＝ｊ’＋１に更新して、処理はステップＳ２５４に戻り、それ以降の処理が繰り返される。

ステップＳ２５８において、ｊ’＝ｎ’であると判定された場合、ステップＳ２６０において、テクスチャ強度算出処理部３３４は、Ｍ_TH＝Ｍ_TH／Ｗとする。このＷは、重み係数ｗｉの総和Ｗとされる。

ステップＳ２６１においてテクスチャ強度算出処理部３３４は、テクスチャ強度Ｔ_Hの重み付き平均値Ｍ_THを出力し、処理は図１２のステップＳ１５３に進む。

図１４の処理により、テクスチャ強度Ｔ_Hの重み付き平均値Ｍ_THが算出される。

次に、図１６のフローチャートを参照して、図１２のステップＳ１５３において実行される重み付き平均偏差Ｓ_TH算出処理の詳細を説明する。なお、この処理は、図６のテクスチャ強度算出処理部３３４により実行される処理である。

ステップＳ３０１において、テクスチャ強度算出処理部３３４は、重み付き平均偏差Ｓ_THを０に初期化する。

ステップＳ３０２において、テクスチャ強度算出処理部３３４は、テクスチャ強度Ｔ_Hを取得する。このテクスチャ強度Ｔ_Hは、上述した図１３の処理により算出された値である。

ステップＳ３０３において、テクスチャ強度算出処理部３３４は、重み付き平均値Ｍ_THを取得する。この重み付き平均値Ｍ_THは、上述した図１４の処理により算出された値である。

ステップＳ３０４において、テクスチャ強度算出処理部３３４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ’とし、ステップＳ３０５において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ’とする。

ステップＳ３０６において、テクスチャ強度算出処理部３３４は、Ｓ_TH＝Ｓ_TH＋重み係数ｗｉが施された｜（画素（ｊ'，ｋ'）のテクスチャ強度Ｔ_H）−（Ｍ_TH）｜とする。すなわち、画素（ｊ’，ｋ’）のテクスチャ強度Ｔ_Hから重み付き平均Ｍ_THを減算した値の絶対値を取って重み付けした値に、Ｓ_THを加算したものが新たなＳ_THとされる。このテクスチャ強度Ｔ_Hは、上述した図１３の処理で算出されたものである。この重み係数ｗｉは、上述した図１４における重み係数ｗｉと同様である。

ステップＳ３０７において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’を参照し、ｋ’＝ｎ’であるか否かを判定する。ステップＳ３０７において、ｋ’＝ｎ’でないと判定された場合、ステップＳ３０８において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’をｋ’＝ｋ’＋１に更新して、処理はステップＳ３０６に戻り、それ以降の処理が繰り返される。

ステップＳ３０７において、ｋ’＝ｎ’であると判定された場合、ステップＳ３０９において、テクスチャ強度算出処理部３３４は、処理を実行する画素位置を示す第１のレジスタの値ｊ’を参照し、ｊ’＝ｎ’であるか否かを判定する。ステップＳ３０９においてｊ’＝ｎ’ではないと判定された場合、ステップＳ３１０においてテクスチャ強度算出処理部３３４は、第１のレジスタの値ｊ’をｊ’＝ｊ’＋１に更新して、処理はステップＳ３０５に戻り、それ以降の処理が繰り返される。

ステップＳ３０９において、ｊ’＝ｎ’であると判定された場合、ステップＳ３１１において、テクスチャ強度算出処理部３３４は、Ｓ_TH＝Ｓ_TH／Ｗとする。このＷは、上述した図１４の処理と同様に、重み係数ｗｉの総和Ｗとされる。

ステップＳ３１２においてテクスチャ強度算出処理部３３４は、重み付き平均偏差Ｓ_THを出力し、処理は図１２のステップＳ１５４に進む。

図１６の処理により、テクスチャ強度Ｔ_Hの重み付き平均偏差Ｓ_THが算出される。

次に、図１７のフローチャートを参照して、図１２のステップＳ１５４において実行されるテクスチャ強度Ｔ_H，Ｔ_V補正処理の詳細を説明する。なお、この処理は、図６のテクスチャ強度算出処理部３３４により実行される処理である。

ステップＳ３５１において、テクスチャ強度算出処理部３３４は、重み付き平均偏差Ｓ_THを取得する。この重み付き平均偏差Ｓ_THは上述した図１６の処理で算出されたものである。

ステップＳ３５２において、テクスチャ強度算出処理部３３４は、ＲをＳ_TH×（第１の定数）として算出する。この第１の定数は、例えば、経験的にまたは実験的に定められる所定の値である。

ステップＳ３５３において、テクスチャ強度算出処理部３３４は、Ｒ＞１であるか否かを判定し、Ｒ＞１であると判定された場合、ステップＳ３５４においてＲ＝１と設定する。

ステップＳ３５３においてＲ＞１でない、すなわちＲ≦１であると判定された場合、ステップＳ３５４の処理はスキップされる。

ステップＳ３５３においてＲ＞１でないと判定された場合、またはステップＳ３５４の処理の後、ステップＳ３５５において、テクスチャ強度算出処理部３３４は、Ｔ_H＝Ｔ_H×（１−Ｒ）＋Ｒ／２とし、Ｔ_V＝Ｔ_V×（１−Ｒ）＋Ｒ／２とする。すなわち、テクスチャ強度Ｔ_H，Ｔ_Vが補正される。その後、図１２のステップＳ１５４の処理が終了され、処理は図９のステップＳ５４に進む。

図１７の処理により、重み付き平均偏差Ｓ_THに基づいて、テクスチャ強度Ｔ_H，Ｔ_Vの値が補正される。

次に、図９のステップＳ５４およびステップＳ５５において実行される第２のＧ補間処理および第２のＥ補間処理について説明する。図６のＧ補間処理部３３２−１とＥ補間処理部３３２−２の違いは、処理に用いる近傍画素の違いであり、重み付けによって、縦方向および横方向のうち、どちらの近傍画素を用いるのかを切り換えることができる。例えば、図１８の重みを用いれば、縦方向のサンプルを用いることになり、図１９の重みを用いれば、横方向のサンプルを用いることになる。本実施の形態では、Ｇ補間処理部３３２−１に横方向のサンプルを用い、Ｅ補間処理部３３２−２に縦方向のサンプルを用いる。注意すべき点はテクスチャの方向が縦方向であるからといって、必ずしも推定に縦近傍画素が用いられるとは限らないという点である。例えば、本実施の形態で用いている局所領域の色分布に対して線形回帰を適用し、不明な色成分の推定を行う手法では、回帰直線の算出に適した色分布を得るためには、テクスチャ方向に対して垂直な方向の近傍画素を用いた方が良い推定結果を得られる場合がある。どのような推定方法を用いるにしても、推定に用いる近傍画素の違いによって、横方向のテクスチャに対して信頼度の高い推定値と、縦方向のテクスチャに対して信頼度の高い推定値の２つの推定値が得られればよい。以下において、Ｘ，ｄｉｒと記述されている部分については、Ｇ補間処理部３３２−１の処理ではＧとＨに読み替え、Ｅ補間処理部３３２−２の処理ではＥとＶに適宜読み替える。方向を表すために付けられたＨ,Ｖは補間処理に用いられる近傍画素の方向を表す。

図２０は、図９のステップＳ５４またはステップＳ５５において実行される第２の補間処理（第２のＧ補間処理または第２のＥ補間処理）を説明するフローチャートである。なお、ＧおよびＥのいずれに対しても同様の処理が実行されるので、図２０においてＸ，ｄｉｒと記述されている部分については、適宜、ＧおよびＨ、並びにＥおよびＶに読み替えられる。具体的には、図２０の処理がステップＳ５４の処理に対応する処理の場合、Ｇ補間処理部３３２−１が実行する処理であるので、Ｘ，ｄｉｒは、Ｇ，Ｈに読み替えられ、図２０の処理がステップＳ５５の処理に対応する処理の場合、Ｅ補間処理部３３２−２が実行する処理であるので、Ｘ，ｄｉｒは、Ｅ，Ｖに読み替えられる。

ステップＳ４０１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｒの重み付き平均値Ｍ_Rdir算出処理を実行する。この処理の詳細は、図２１を参照して後述する。

ステップＳ４０２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＸＡの重み付き平均値Ｍ_XAdir算出処理を実行する。この処理の詳細は、図２１を参照して後述する。

ステップＳ４０３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｒの重み付き分散近似値ＶＡ_RRdir算出処理を実行する。この処理の詳細は、図２２を参照して後述する。

ステップＳ４０４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｒ，ＸＡの重み付き共分散近似値ＶＡ_RXAdir算出処理を実行する。この処理の詳細は、図２３を参照して後述する。

ステップＳ４０５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、回帰直線の傾きＫ_dir算出処理を実行する。この処理の詳細は、図２９を参照して後述する。

ステップＳ４０６においてＧ補間処理部３３２−１またはＥ補間処理部３３２−２は、回帰直線によるＸの推定値ＸＦ算出処理を実行する。この処理の詳細は、図３０を参照して後述する。ステップＳ４０６の処理の後、処理は、図９のステップＳ５６に進む。

次に、図２１のフローチャートを参照して、図２０のステップＳ４０１、またはステップＳ４０２において実行されるＲの重み付き平均値Ｍ_Rdir算出処理、またはＸＡの重み付き平均値Ｍ_XAdir算出処理の詳細を説明する。なお、ＲおよびＸＡのいずれに対しても同様の処理が実行されるので、図２１においてＹと記述されている部分については、適宜Ｒ，ＸＡに読み替えられる。具体的には、図２１の処理が図９のステップＳ５４に対応する処理の場合、Ｇ補間処理部３３２−１が実行する処理であり、図２１の処理が図９のステップＳ５５に対応する処理の場合、Ｅ補間処理部３３２−２が実行する処理となる。なお、ｎ’’は、正の偶数である。なお、（ｊ’’，ｋ’’）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。

ステップＳ４５１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均値Ｍ_Ydirを０に初期化する。

ステップＳ４５２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を初期化してｊ’’＝−ｎ’’とし、ステップＳ４５３において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を初期化してｋ’’＝−ｎ’’とする。

ステップＳ４５４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｍ_Ydir＝Ｍ_Ydir＋（重み係数ｗｉ_dirが施された画素（ｊ'’，ｋ'’）のＹ）とする。すなわち、Ｍ_Ydirに重み付けが施された画素（ｊ’’，ｋ’’）のＹを加算したものが新たなＭ_Ydirとされる。

ステップＳ４５５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’を参照し、ｋ’’＝ｎ’’であるか否かを判定する。ステップＳ４５５において、ｋ’’＝ｎ’’でないと判定された場合、ステップＳ４５６において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’をｋ’’＝ｋ’’＋２に更新して、処理はステップＳ４５４に戻り、それ以降の処理が繰り返される。

ステップＳ４５５において、ｋ’’＝ｎ’’であると判定された場合、ステップＳ４５７において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を参照し、ｊ’’＝ｎ’’であるか否かを判定する。ステップＳ４５７においてｊ’’＝ｎ’’ではないと判定された場合、ステップＳ４５８においてＧ補間処理部３３２−１またはＥ補間処理部３３２−２は、第１のレジスタの値ｊ’’をｊ’’＝ｊ’’＋２に更新して、処理はステップＳ４５３に戻り、それ以降の処理が繰り返される。

ステップＳ４５７において、ｊ’’＝ｎ’’であると判定された場合、ステップＳ４５９において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｍ_Ydir＝Ｍ_Ydir／Ｗ_dirとする。このＷ_dirは重み係数ｗｉ_dirの総和Ｗ_dirとされる。

ステップＳ４６０において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均値Ｍ_Ydirを出力し、処理は図２０のステップＳ４０２またはステップＳ４０３に進む。

図２１の処理により、注目画素近傍のＲ，ＸＡの重み付き平均値が算出される。

次に、図２２のフローチャートを参照して、図２０のステップＳ４０３において実行されるＲの重み付き分散近似値ＶＡ_RRdir算出処理の詳細を説明する。なお、この処理は、図６のＧ補間処理部３３２−１またはＥ補間処理部３３２−２により実行される処理である。

ステップＳ５０１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き分散近似値ＶＡ_RRdirを０に初期化する。

ステップＳ５０２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均Ｍ_Rdirを取得する。この重み付き平均Ｍ_Rdirは、上述した図２１の処理（図２０のステップＳ４０１の処理）により算出された値である。

ステップＳ５０３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を初期化してｊ’’＝−ｎ’’とし、ステップＳ５０４において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を初期化してｋ’’＝−ｎ’’とする。

ステップＳ５０５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡ_RRdir＝ＶＡ_RRdir＋重み係数ｗｉ_dirが施された｜（画素（ｊ'’，ｋ'’）のＲ）−（Ｍ_Rdir）｜とする。すなわち、画素（ｊ’’，ｋ’’）のＲからＲの重み付き平均値Ｍ_Rdirを減算した値の絶対値を取って重み付けした値に、ＶＡ_RRdirを加算したものが新たなＶＡ_RRdirとされる。

ステップＳ５０６において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’を参照し、ｋ’’＝ｎ’’であるか否かを判定する。ステップＳ５０６において、ｋ’’＝ｎ’’でないと判定された場合、ステップＳ５０７において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’をｋ’’＝ｋ’’＋２に更新して、処理はステップＳ５０５に戻り、それ以降の処理が繰り返される。

ステップＳ５０６において、ｋ’’＝ｎ’’であると判定された場合、ステップＳ５０８において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を参照し、ｊ’’＝ｎ’’であるか否かを判定する。ステップＳ５０８においてｊ’’＝ｎ’’ではないと判定された場合、ステップＳ５０９において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第１のレジスタの値ｊ’’をｊ’’＝ｊ’’＋２に更新して、処理はステップＳ５０４に戻り、それ以降の処理が繰り返される。

ステップＳ５０８において、ｊ’’＝ｎ’’であると判定された場合、ステップＳ５１０において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡ_RRdir＝ＶＡ_RRdir／Ｗ_dirとする。このＷ_dirは、重み係数ｗｉ_dirの総和Ｗ_dirとされる。

ステップＳ５１１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｒの重み付き分散近似値ＶＡ_RRdirを出力し、処理は図２０のステップＳ４０４に進む。

図２２の処理により、Ｒの重み付き分散近似値ＶＡ_RRdirが算出される。

次に、図２３のフローチャートを参照して、図２０のステップＳ４０４において実行される、Ｒ，ＸＡの重み付き共分散近似計算処理について説明する。

ステップＳ５２１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、出力される値であるＲ，ＸＡの重み付き共分散値ＶＡ_XAdirを０に初期化する。

ステップＳ５２２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均Ｍ_Rdirおよび重み付き平均Ｍ_XAdirを取得する。重み付き平均Ｍ_Rdirは、図２０のステップＳ４０１の処理（図２１の処理）で算出された値であり、重み付き平均Ｍ_XAdirは、図２０のステップＳ４０２の処理（図２１の処理）で算出された値である。

ステップＳ５２３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を初期化して、ｊ’’＝−ｎ’’とする

ステップＳ５２４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を初期化して、ｋ’’＝−ｎ’’とする

ステップＳ５２５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、図２７を用いて後述する積算処理を実行する。

ステップＳ５２６において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を参照し、ｋ’’＝ｎ’’であるか否かを判断する。

ステップＳ５２６において、ｋ’’＝ｎ’’ではないと判断された場合、ステップＳ５２７において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’を、ｋ’’＝ｋ’’＋２に更新して、処理は、ステップＳ５２５に戻り、それ以降の処理が繰り返される。

ステップＳ５２６において、ｋ’’＝ｎ’’であると判断された場合、ステップＳ５２８において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を参照し、ｊ’’＝ｎ’’であるか否かを判断する。

ステップＳ５２８において、ｊ’’＝ｎ’’ではないと判断された場合、ステップＳ５２９において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第１のレジスタの値ｊ’’を、ｊ’’＝ｊ’’＋２に更新して、処理は、ステップＳ５２４に戻り、それ以降の処理が繰り返される。

ステップＳ５２８において、ｊ’’＝ｎ’’であると判断された場合、ステップＳ５３０において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡ_RXAdir＝ＶＡ_RXAdir／Ｗ_dirとし、これをＲ，ＸＡの重み付き共分散近似値ＶＡ_RRdirとして出力して、処理は図２０のステップＳ４０５に進む。

従来の方法により回帰直線の傾きを算出する場合、以下の式（３）に示されるような演算を行う必要がある。

しかしながら、式（３）を用いて演算を実行した場合、乗算の回数がデータの個数Ｎに比例して増大する点が問題となる。そこで、この乗算を簡単な演算で近似することを考える。簡単のためデータＸｉおよびデータＹｉが、区間[０，１]に正規化されているとすると、０≦Ｍｘ，Ｍｙ≦１が成立するとともに、−１＜Ｘｉ−Ｍｘ，Ｙｉ−Ｍｙ＜１が成立する。そこで、−１＜ｐ，ｑ＜１となる２変数ｐ＝Ｘｉ−Ｍｘおよびｑ＝Ｙｉ−Ｍｙの乗算ｐｑを考えると、ｐｑは、図２４に示される値域をとる。このｐ、ｑの符号と絶対値に基づいて、近似した値を得る方法として、条件演算、絶対値演算、および、加減算のみの演算で実現可能な近似方法の一例を説明する。

すなわち、
｜ｐ｜≧｜ｑ｜かつｐ≧０のとき、ｐｑをｑで近似し、
｜ｐ｜≧｜ｑ｜かつｐ＜０のとき、ｐｑを−ｑで近似し、
｜ｐ｜＜｜ｑ｜かつｑ≧０のとき、ｐｑをｐで近似し、
｜ｐ｜＜｜ｑ｜かつｑ＜０のとき、ｐｑを−ｐで近似する
ことにより、演算を簡略化することができる。

また、この近似方法においては、ｐ＝ｑの場合、ｐの２乗（またはｑの２乗）は、ｐ（またはｑ）の絶対値に近似される。

この近似方法を用いて近似されたｐｑを図２５に示し、近似演算による２乗誤差を図２６に示す。図２４を用いて説明したｐｑの値のとりうる範囲と、図２５に示される近似方法を用いて近似されたｐｑの値のとりうる範囲は、大きな違いがないことが分かる。図２６に示される近似演算による２乗誤差からも、違いがわずかなものであることが分かる。

次に、図２７のフローチャートを参照して、図２３のステップＳ５２５において実行される積算処理について説明する。積算処理は、色成分の値が［０，１］に正規化されているものとして、上述した積の近似方法を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ５５１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、｛Ｒ（ｊ’’，ｋ’’）−Ｍ_Rdir｝をｐとする。

ステップＳ５５２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、｛ＸＡ（ｊ’’，ｋ’’）−Ｍ_XAdir｝をｑとする。

ステップＳ５５３において、図２８を参照して後述する積算近似処理が実行される。

ステップＳ５５４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡ_XAdir＝ＶＡ_XAdir＋重み係数ｗｉ_dirが施された（ｐｑの近似値）とし、処理は、図２３のステップＳ５２６に進む。

次に、図２８のフローチャートを参照して、図２７のステップ５５３において実行される積算近似処理について説明する。

ステップＳ６０１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、図２７のステップＳ５５１およびステップＳ５５２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判断する。

ステップＳ６０１において、｜ｐ｜≧｜ｑ｜であると判断された場合、ステップＳ６０２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐ≧０であるか否かを判断する。

ステップＳ６０２において、ｐ≧０ではないと判断された場合、ステップＳ６０３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐｑの近似値を−ｑとし、処理は、図２７のステップＳ５５４に進む。

ステップＳ６０２において、ｐ≧０であると判断された場合、ステップＳ６０４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐｑの近似値を＋ｑとし、処理は図２７のステップＳ５５４に進む。

ステップＳ６０１において、｜ｐ｜≧｜ｑ｜ではないと判断された場合、ステップＳ６０５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｑ≧０であるか否かを判断する。

ステップＳ６０５において、ｑ≧０であると判断された場合、ステップＳ６０６において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐｑの近似値を＋ｐとし、処理は、図２７のステップＳ５５４に進む。

ステップＳ６０５において、ｑ≧０ではないと判断された場合、ステップＳ６０７において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐｑの近似値を−ｐとし、処理は、図２７のステップＳ５５４に進む。

次に、図２９のフローチャートを参照して、図２０のステップＳ４０５において実行される回帰直線の傾きＫ_dir算出処理の詳細を説明する。なお、この処理は、図６のＧ補間処理部３３２−１またはＥ補間処理部３３２−２により実行される処理である。

ステップＳ６５１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き分散近似値ＶＡ_RRdirを取得する。この値は、上述した図２０のステップＳ４０３（図２２）の処理で算出されたものである。

ステップＳ６５２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き共分散近似値ＶＡ_RXAdirを取得する。この値は上述した図２０のステップＳ４０４（図２３）の処理で算出されたものである。

ステップＳ６５３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡ_RRdir＜（第２の定数）であるか否かを判定し、ＶＡ_RRdir＜（第２の定数）であると判定された場合、ステップＳ６５４においてＶＡ_RRdir＝（第２の定数）と設定する。なお、第２の定数は、例えば、経験的にまたは実験的に定められる所定の値である。

ステップＳ６５３において、ＶＡ_RRdir＜（第２の定数）でない、すなわちＶＡ_RRdir≧（第２の定数）であると判定された場合、ステップＳ６５４の処理はスキップされる。

ステップＳ６５３においてＶＡ_RRdir＜（第２の定数）でないと判定された場合、またはステップＳ６５４の処理の後、ステップＳ６５５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｋ_dir＝ＶＡ_RXAdir／ＶＡ_RRdirとする。その後処理は、図２０のステップＳ４０６に進む。

図２９の処理により、回帰直線の傾きＫ_dirが算出される。

次に、図３０のフローチャートを参照して、図２０のステップＳ４０６において実行される回帰直線によるＸの推定値ＸＦ算出処理を説明する。

ステップＳ７０１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均Ｍ_Rdirを取得する。この値は、上述した図２０のステップＳ４０１で算出されたものである。

ステップＳ７０２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均Ｍ_XAdirを取得する。この値は、上述した図２０のステップＳ４０２で算出されたものである。

ステップＳ７０３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、回帰直線の傾きＫ_dirを取得する。この値は、上述した図２０のステップＳ４０５で算出されたものである。

ステップＳ７０４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、注目画素Ｘの推定値ＸＦ＝｛Ｋ_dir（注目画素のＲ−重み付き平均Ｍ_Rdir）＋重み付き平均Ｍ_XAdir｝とする。すなわち、回帰直線の傾きＫ_dirに注目画素のＲから重み付き平均Ｍ_Rdirが減算された値が乗算され、その値に重み付き平均Ｍ_XAdirが加算された値が注目画素Ｘの推定値ＸＦとされる。その後、図２０の処理は終了され、処理は、図９のステップＳ５６に進む。

図３０の処理により、Ｇ補間処理部３３２−１は注目画素Ｇの推定値ＧＦを算出し、Ｅ補間処理部３３２−２は注目画素Ｅの推定値ＥＦを算出する。

次に、図３１を参照して、図９のステップＳ５６またはステップＳ５７において実行される第３の補間処理（第３のＧ補間処理または第３のＥ補間処理）を説明する。なお、ＧおよびＥのいずれに対しても同様の処理が実行されるので、図３１においてＸと記述されている部分については、適宜、Ｇ，Ｅに読み替えられる。具体的には、図３１の処理が図９ステップＳ５６の処理に対応する処理の場合、Ｇ補間処理部３３３−１が実行する処理であるので、Ｘは、Ｇに読み替えられ、図３１の処理が図９のステップＳ５７の処理に対応する処理の場合、Ｅ補間処理部３３３−２が実行する処理であるので、Ｘは、Ｅに読み替えられる。また、ここでは、ＸがＧの場合にはＹをＥとし、ＸがＥの場合にはＹをＧとする。

ステップＳ７５１において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、注目画素のＹＦを取得する。具体的には、ＸがＧの場合にはＹがＥであり、ＸがＥの場合にはＹがＧであるので、Ｇ補間処理部３３３−１は、ＥＦを取得し、Ｅ補間処理部３３３−２は、ＧＦを取得する。すなわち、Ｇ補間処理部３３３−１は、図３０の処理でＥ補間処理部３３２−２により算出された推定値ＸＦ（ＥＦ）を取得し、Ｅ補間処理部３３３−２は、図３０の処理でＧ補間処理部３３２−１により算出された推定値ＸＦ（ＧＦ）を取得する。

ステップＳ７５２において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均Ｍ_XA算出処理を実行する。この処理の詳細は、図３２を参照して後述する。

ステップＳ７５３において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均Ｍ_YA算出処理を実行する。この処理の詳細は、図３２を参照して後述する。

ステップＳ７５４において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、Ｘの補間値ＸＵ算出処理を実行する。この処理の詳細は、図３３を参照して後述する。ステップＳ７５４の処理の後、図３１の処理は終了され、処理は、図９のステップＳ５８に進む。

次に、図３２のフローチャートを参照して、図３１のステップＳ７５２における重み付き平均Ｍ_XA算出処理について説明する。なお、ｎ’’’は、正の整数である。また、（ｊ’’’，ｋ’’’）は、局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。

ステップＳ８０１において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均値Ｍ_XAを０に初期化する。

ステップＳ８０２において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’’’を初期化してｊ’’’＝−ｎ’’’とし、ステップＳ８０３において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’’’を初期化してｋ’’’＝−ｎ’’’とする。

ステップＳ８０４において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、Ｍ_XA＝Ｍ_XA＋（重み係数ｗ’ｉが施された画素（ｊ''’，ｋ'''）の補間値ＸＡ）とする。すなわち、Ｍ_XAに重み係数ｗ’ｉが施された画素（ｊ'''，ｋ'''）の補間値ＸＡを加算したものが新たなＭ_XAとされる。

ステップＳ８０５において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、第２のレジスタの値ｋ’’’を参照し、ｋ’’’＝ｎ’’’であるか否かを判定する。ステップＳ８０５において、ｋ’’’＝ｎ’’’でないと判定された場合、ステップＳ８０６において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、第２のレジスタの値ｋ’’’をｋ’’’＝ｋ’’’＋１に更新して、処理はステップＳ８０４に戻り、それ以降の処理が繰り返される。

ステップＳ８０５において、ｋ’’’＝ｎ’’’であると判定された場合、ステップＳ８０７において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’’を参照し、ｊ’’’＝ｎ’’’であるか否かを判定する。ステップＳ８０７においてｊ’’’＝ｎ’’’ではないと判定された場合、ステップＳ８０８においてＧ補間処理部３３３−１またはＥ補間処理部３３３−２は、第１のレジスタの値ｊ’’’をｊ’’＝ｊ’’’＋１に更新して、処理はステップＳ８０３に戻り、それ以降の処理が繰り返される。

ステップＳ８０７において、ｊ’’’＝ｎ’’’であると判定された場合、ステップＳ８０９において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、Ｍ_XA＝Ｍ_XA／Ｗ’とする。このＷ’は重み係数ｗ'ｉの総和Ｗ’とされる。

ステップＳ８１０において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均値Ｍ_XAを出力し、処理は図３１のステップＳ７５３に進む。

図３２の処理により、ＸＡの重み付き平均値Ｍ_XAが算出される。

なお、図３２の処理では、重み付き平均Ｍ_XAについてしか記載されていないが、上述したように、この処理をＧ補間処理部３３３−１が実行する場合、ＸはＧに読み替えられ、ＹがＥに読み替えられ、この処理をＥ補間処理部３３３−２が実行する場合、ＸはＥに読み替えられ、ＹがＧに読み替えられる。すなわち、Ｇ補間処理部３３３−１およびＥ補間処理部３３３−２によって、Ｇ，Ｅについて図３２の処理が実行されることにより、Ｍ_XAおよびＭ_YAが算出される。図３２において、重み付き平均Ｍ_XAおよび重み付き平均Ｍ_YAが算出された場合、処理は図３１のステップＳ７５４に進む。

次に、図３３のフローチャートを参照して、図３１のステップＳ７５４において実行されるＸの補間値ＸＵ算出処理について説明する。ここでは、ＸがＧの場合はＹをＥに、ＸがＥの場合はＹをＧに適宜読み替えられる。

ステップＳ８５１において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、注目画素の補間値ＹＦを取得する。この値は、上述した図３１のステップＳ７５１の処理で取得されたものと同じものである。

ステップＳ８５２において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均Ｍ_XAを取得する。この値は、上述した図３１のステップＳ７５２（図３２）の処理で算出されたものである。

ステップＳ８５３において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均Ｍ_YAを取得する。この値は、上述した図３１のステップＳ７５３（図３２）の処理で算出されたものである。

ステップＳ８５４において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、Ｍ_YA＜（第３の定数）であるか否かを判定し、Ｍ_YA＜（第３の定数）であると判定された場合、ステップＳ８５５においてＭ’_YA＝（第３の定数）と設定する。なお、第３の定数は、例えば、経験的にまたは実験的に定められる所定の値である。

ステップＳ８５４において、Ｍ_YA＜（第３の定数）ではない、すなわちＭ_YA≧（第３の定数）であると判定された場合、ステップＳ８５６においてＧ補間処理部３３３−１またはＥ補間処理部３３３−２は、Ｍ’_YA＝Ｍ_YAと設定する。

ステップＳ８５５の処理の後、またはステップＳ８５６の処理の後、ステップＳ８５７において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、注目画素位置のＸの補間値ＸＵ＝（Ｍ_XA／Ｍ’_YA）（注目画素位置のＹＦ−Ｍ_YA）＋Ｍ_XAとする。これにより、Ｘの補間値ＸＵが算出される。

ステップＳ８５８において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、注目画素位置のＸの補間値ＸＵを出力し、その後図３３の処理は終了され、処理は図９のステップＳ５８に進む。

次に、図３４のフローチャートを参照して、図９のステップＳ５８において実行される第１のＧ＋Ｅ生成処理について説明する。なおこの処理は、図６のＧ＋Ｅ生成処理部３３５により実行される処理である。

ステップＳ９０１において、Ｇ＋Ｅ生成処理部３３５は、第３の補間処理により算出された注目画素位置のＧの補間値ＧＵを取得する。具体的には、図９のステップＳ５６の処理で、Ｇ補間処理部３３３−１により算出されたＧの補間値ＧＵ（図３３の補間値ＸＵに対応する値）が取得される。

ステップＳ９０２において、Ｇ＋Ｅ生成処理部３３５は、第２の補間処理により算出された注目画素位置のＥの補間値ＥＦを取得する。具体的には、図９のステップＳ５５の処理で、Ｅ補間処理部３３２−２により算出されたＥの補間値ＥＦ（図３０の補間値ＸＦに対応する値）が取得される。

ステップＳ９０３において、Ｇ＋Ｅ生成処理部３３５は、注目画素位置の（Ｇ＋Ｅ）_V＝（注目画素位置のＧＵ＋注目画素位置のＥＦ）／２とする。すなわち、注目画素位置のＧＵと注目画素位置のＥＦの平均値が注目画素位置の（Ｇ＋Ｅ）_Vとされる。

ステップＳ９０４において、Ｇ＋Ｅ生成処理部３３５は、注目画素位置の（Ｇ＋Ｅ）_Vを出力し、処理は図９のステップＳ５９に進む。

次に、図３５のフローチャートを参照して、図９のステップＳ５９において実行される第２のＧ＋Ｅ生成処理について説明する。なおこの処理は、図６のＧ＋Ｅ生成処理部３３６により実行される処理である。

ステップＳ９５１において、Ｇ＋Ｅ生成処理部３３６は、第２の補間処理により算出された注目画素位置のＧの補間値ＧＦを取得する。具体的には、図９のステップＳ５４の処理で、Ｇ補間処理部３３２−１により算出されたＧの補間値ＧＦ（図３０の補間値ＸＦに対応する値）が取得される。

ステップＳ９５２において、Ｇ＋Ｅ生成処理部３３６は、第３の補間処理により算出された注目画素位置のＥの補間値ＥＵを取得する。具体的には、図９のステップＳ５７の処理で、Ｅ補間処理部３３３−２により算出されたＥの補間値ＥＵ（図３３の補間値ＸＵに対応する値）が取得される。

ステップＳ９５３において、Ｇ＋Ｅ生成処理部３３６は、注目画素位置の（Ｇ＋Ｅ）_H＝（注目画素位置のＧＦ＋注目画素位置のＥＵ）／２とする。すなわち、注目画素位置のＧＦと注目画素位置のＥＵの平均値が注目画素位置の（Ｇ＋Ｅ）_Hとされる。

ステップＳ９５４において、Ｇ＋Ｅ生成処理部３３６は、注目画素位置の（Ｇ＋Ｅ）_Hを出力し、処理は図９のステップＳ６０に進む。

次に、図３６のフローチャートを参照して、図９のステップＳ６０において実行される合成処理について説明する。なお、この処理は、図６の合成処理部３３７により実行される処理である。

ステップＳ１００１において、合成処理部３３７は、第１のＧ＋Ｅ生成処理により算出された注目画素位置の（Ｇ＋Ｅ）_Vを取得する。具体的には、図９のステップＳ５８（図３４）の処理で、Ｇ＋Ｅ生成処理部３３５により算出された（Ｇ＋Ｅ）_Vが取得される。

ステップＳ１００２において、合成処理部３３７は、第２のＧ＋Ｅ生成処理により算出された注目画素位置の（Ｇ＋Ｅ）_Hを取得する。具体的には、図９のステップＳ５９（図３５）の処理で、Ｇ＋Ｅ生成処理部３３６により算出された（Ｇ＋Ｅ）_Hが取得される。

ステップＳ１００３において、合成処理部３３７は、補正テクスチャ強度算出処理により算出された、補正されたテクスチャ強度Ｔ_H，Ｔ_Vを取得する。具体的には、図９のステップＳ５３（図１２）の処理で、テクスチャ強度算出処理部３３４により算出された補正されたテクスチャ強度Ｔ_H，Ｔ_Vが取得される。

ステップＳ１００４において、本実施の形態で用いた線形回帰による色の補間では、縦方向のサンプルを用いて作られた（Ｇ＋Ｅ）_Vは横方向のテクスチャに信頼性が高く、横方向のサンプルを用いて作られた（Ｇ＋Ｅ）_Hは縦方向のテクスチャに信頼性が高いので、合成処理部３３７は、注目画素位置の（Ｇ＋Ｅ）＝（注目画素位置の（Ｇ＋Ｅ）_V×Ｔ_H＋注目画素位置の（Ｇ＋Ｅ）_H×Ｔ_V）とする。

ステップＳ１００５において、合成処理部３３７は、注目画素位置の（Ｇ＋Ｅ）を出力し、図９の処理は終了され、処理は、図８のステップＳ２４に進む。

なお、以上の例では、テクスチャ強度Ｔ_H，Ｔ_Vの算出をＧ補間処理部３３１−１（第１のＧ補間処理）およびＥ補間処理部３３１−２（第１のＥ補間処理）により補間されたＧＡおよびＥＡを用いて行ったが、簡易的に原信号であるモザイク画像から直接行うこともできる。図３７は、図１３に代えてテクスチャ強度Ｔ_H，Ｔ_Vをモザイク画像から直接算出する処理を説明するフローチャートである。図３７の例において、Ｍと記述されている部分は、モザイク画像信号を表す。

ステップＳ１０５１において、テクスチャ強度算出処理部３３４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ’とし、ステップＳ１０５２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ’とする。

ステップＳ１０５３において、テクスチャ強度算出処理部３３４は、式（４）を用いて横勾配評価値ｄＨを算出するとともに、式（５）を用いて縦勾配評価値ｄＶを算出する。

ｄＨ＝｛（｜Ｍ（ｊ'−２，ｋ'）−Ｍ（ｊ'，ｋ'）｜＋｜Ｍ（ｊ'＋２，ｋ'）−Ｍ（ｊ'，ｋ'）｜）／２＋｜Ｍ（ｊ'−１，ｋ'）−Ｍ（ｊ'＋１，ｋ'）｜｝／２
・・・（４）
ｄＶ＝｛（｜Ｍ（ｊ'，ｋ'−２）−Ｍ（ｊ'，ｋ'）｜＋｜Ｍ（ｊ'，ｋ'＋２）−Ｍ（ｊ'，ｋ'）｜）／２＋｜Ｍ（ｊ'，ｋ'−１）−Ｍ（ｊ'，ｋ'＋１）｜｝／２
・・・（５）

ステップＳ１０５４乃至ステップＳ１０６１の処理は、上述した図１３のステップＳ２０４乃至ステップＳ２１１の処理と同様であるので、その説明は省略する。

図３７の処理により、簡単にテクスチャ強度Ｔ_H，Ｔ_Vを算出することができる。図３７の処理で得られたテクスチャ強度Ｔ_H，Ｔ_Vは、注目画素の色がＲであるかＢであるかによって、フィルタ配列の違いによる影響を受けるものの、図１３の処理で得られるテクスチャ強度Ｔ_H，Ｔ_Vに近い結果が得られるので、この処理を適用するようにしてもよい。

以上の処理をまとめると、以下の通りとなる。

テクスチャ強度は、注目画素位置におけるグラディエント値より算出された、テクスチャの方向性を表す値（変化強度）である。色成分の推定精度は、推定に用いる近傍画素の選択に大きく左右される。そこで、縦方向の近傍画素を用いた推定と横方向の近傍画素を用いた推定を行い、それぞれの推定結果をテクスチャ強度に基づいてブレンドすることで適切な推定を行うようにする。

テクスチャ強度の算出には２段階の処理が行われる。最初に、注目画素位置の縦方向、横方向のグラディエント値に基づいて、縦勾配評価値と横勾配評価値を算出し、テクスチャの変化が大きい方向を判定する。ここではテクスチャの変化が大きい方向のテクスチャ強度を０、小さい方向のテクスチャ強度を１とする。ここで、縦方向のテクスチャ強度をＴ_V、横方向のテクスチャ強度をＴ_Hとする。次に、１度求めたテクスチャ強度を近傍画素位置で得られたテクスチャ強度の状態も考慮に入れて補正を行う。テクスチャ方向が横であれば、局所領域全ての画素Ｔ_H＝１，Ｔ_V＝０となり、テクスチャ方向が縦になるに連れてＴ_H＝０，Ｔ_V＝１となる画素が増えていく。すなわち、テクスチャ方向が縦または横である時に判定のばらつきが最小であり、４５度付近でもっともばらつきが多くなると考えられる。この性質を用いて注目画素位置におけるテクスチャ強度を補正すると、あらゆる角度のテクスチャに対応できると同時に、限界解像度付近のテクスチャの方向が判定できなくなる領域における、判定結果のばらつきに起因する不自然なブレンドを防ぐことができる。補正方法の例を以下に示す。局所領域のＴ_H，Ｔ_Vを用いて横方向のテクスチャ強度の平均偏差Ｓ_THと縦方向のテクスチャ強度の平均偏差Ｓ_TVを算出し、式（６）乃至式（８）に示される補正式によりテクスチャ強度が補正される。

Ｒ＝Ｓ_TH×（第１の定数） ・・・（６）
Ｔ’_H（ｘ，ｙ）=Ｔ_H（ｘ，ｙ）×（１−Ｒ）＋Ｒ／２ ・・・（７）
Ｔ’_V（ｘ，ｙ）=Ｔ_V（ｘ，ｙ）×（１−Ｒ）＋Ｒ／２ ・・・（８）

また、（Ｇ＋Ｅ）_Hおよび（Ｇ＋Ｅ）_Vのブレンド結果（Ｇ＋Ｅ）は、補正されたテクスチャ強度Ｔ’_H，Ｔ’_Vに基づいて、式（９）により算出される。

（Ｇ＋Ｅ）＝（Ｇ＋Ｅ）_V×Ｔ’_H＋（Ｇ＋Ｅ）_H×Ｔ’_V ・・・（９）

ここで、Ｒが１より大きくなる場合には、１にクリップされる。式（６）乃至式（９）により、判定結果のばらつきが小さい場合Ｒは０に近づき、Ｔ_H，Ｔ_Vがそのまま出力される。また、判定結果のばらつきが大きい場合Ｒは大きくなり、Ｔ’_H＝０．５，Ｔ’_V＝０．５に近づくことになる。また、式（６）乃至式（９）によれば、Ｔ’_H，Ｔ’_Vの和が必ず１になると同時に、第１の定数によりＴ’_H，Ｔ’_Vの値の挙動をコントロールすることができる。

回帰推定の場合、なるべく（Ｇ＋Ｅ）_H，（Ｇ＋Ｅ）_Vをブレンドしない方が良いＭＴＦ（Modulation Transfer function）を得ることができるため、限界解像度付近でのアーチファクトが除去される程度に第１の定数を小さく設定することで、高いＭＴＦ性能を引き出すことができる。ここでは、注目画素位置を含む局所領域におけるテクスチャ強度のばらつきを評価するために平均偏差を用いているが、標準偏差等、他の統計量を用いても構わない。また、式（６）におけるＲの算出をＳ_THだけでなくＳ_TVも用いた以下の式（１０）としてもよい。

Ｒ＝（Ｓ_TH＋Ｓ_TV）×（第２の定数） ・・・（１０）

本発明では、ベイヤー配列（図１）におけるＧに代わる輝度成分として（Ｇ＋Ｅ）という新たな色成分を生成する。Ｇ＋Ｅは同一画素上のＧとＥを加算平均することにより得られる。Ｇ＋Ｅは、少なくとも半分はＧ成分からできているため、Ｇと相関が高いことが期待できる上、さらにＧ，Ｅが互いに相関の高い分光感度を持っているならば、Ｇ＋ＥをＧの代わりに用いて画像処理を行っても相応の結果を期待できる。つまり、Ｇ，Ｅがそれぞれベイヤー配列におけるＧに近い分光特性を持つ場合、Ｇ＋Ｅと同様に輝度を代表する色成分として用いることができ、本発明において輝度を全画素に揃える処理は、注目画素位置において横方向のテクスチャに対して信頼性の高い推定値（Ｇ＋Ｅ）_Vと、縦方向のテクスチャに対して信頼性の高い推定値（Ｇ＋Ｅ）_Hの２つのＧ＋Ｅの値を算出し、テクスチャ強度に基づいてブレンドして、テクスチャ方向に適応したＧ＋Ｅを全画素に揃える処理であるといえる。

注目画素位置の色がＧ，Ｅのいずれかである場合、例えば、Ｅが存在する画素位置においてはＧを、Ｇが存在する画素位置においてはＥを補間して（Ｇ＋Ｅ）を生成する。この補間に用いられる近傍画素を縦近傍にするか横近傍にするかによって、得られたＧ＋Ｅのテクスチャ方向に対する信頼性を切り換えることができる。注目画素位置の色がＥでもＧでもないＲまたはＧである場合は、Ｅ，Ｇ双方とも補間された結果を用いなければならないので、この画素位置におけるＧ＋Ｅを精度良く補間するには工夫が必要である。

本発明では、注目画素位置の色がＲまたはＢの場合には、ＥとＧの補間に、ＲまたはＢに含まれる高周波成分を利用することを提案する。つまり、従来の補間方法において色のＤＣ成分に輝度の高周波成分を加えていたのと同様に、注目画素位置にあるＲまたはＢの高周波成分に近傍画素から得られたＥまたはＧのＤＣ成分を加えてＥまたはＧの補間を行う。この際、補間に用いる近傍画素を切り替え、縦近傍の画素を補間に用いたＥの補間値ＥＦと、横近傍の画素を補間に用いたＧの補間値ＧＦを算出する。さらにＥＦの高周波成分と近傍画素から得られるＧのＤＣ成分を用いて、注目画素位置のＧを補間し、ＥＦと加算平均して（Ｇ＋Ｅ）_Vを得る。同じく、ＧＦの高周波成分と近傍画素から得られるＥのＤＣ成分を用いて、注目画素位置のＥを補間し、ＧＦと加算平均して（Ｇ＋Ｅ）_Hを得る。

なお、以上の例では、４色のフィルタ配列について述べてきたが、図３８に示されるように、４色のフィルタ配列にさらに２色（この追加される２色を、以下、Ｏ，Ｓと記述する）追加した場合においても、上述した方法と同様の方法を用いることにより、Ｇ＋Ｅを生成することができる。単に、配列に依存する近傍画素の選び方のみ、すなわち、図２１乃至図２３、図２７および図２８のループの条件を変更するだけでよい。人間の視覚が色成分に対して輝度に対するほど敏感でないことを考慮すると、輝度に強い相関を持つＧ＋Ｅ信号さえ高いサンプリング周波数を保持していれば、他の色成分個々のサンプル数が減ることは、それほど問題にならない。それゆえＧが水平及び垂直に１ラインおきに配置、Ｅが水平及び垂直に１ラインおきでＥとは異なるラインに配置されるという配置が守られていれば、同様にして、さらに多くの色を用いた配列を用いることができる。

なお、図１４のステップＳ２６０、図１６のステップＳ３１１、図２１のステップＳ４５９、図２２のステップＳ５１０、図２３のステップＳ５３０、および図３２のステップＳ８０９において、重み係数（例えば、ｗ）の総和（例えば、Ｗ）で、所定の値が除算されているが、重み係数ｗを中心位置からの距離に応じて変化させ、その総和を２の累乗となるように定めることにより、重み係数ｗの総和Ｗで、所定の値を除算する処理（画素数を用いた除算）に代わって、シフト演算を用いるようにしてもよい。これにより、除算を簡略化することが可能となる。

なお、本発明は、デジタルカメラを初めとする、固体撮像素子および固体撮像素子を利用した撮像装置（例えば、デジタルスチルカメラ）に適用することができる。具体的には、１つの固体撮像素子によってカラー画像を得る方式（単板カラー方式）の撮像装置に本発明を適用することによって、不明な色成分を推定することができる。

以上により、４色配列を持つ単板カラー撮像素子によって撮像された色のモザイク画像より、テクスチャ方向を表す値としてテクスチャ強度を算出することができる。また、縦方向の近傍画素を用いて推定した推定値と、横方向の近傍画素を用いて推定した推定値とをテクスチャ強度に基づいてブレンドし、精度良く不明な色成分を推定することができる。

これにより、方向検出に誤りが生じやすい限界解像度付近であっても、テクスチャ強度に適切な補正処理が加えられているため、安定した補間結果を得ることができる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

この場合、ソフトウェアをＤＳＰブロック２１６が実行することにより、上述した機能が実現される。また、例えば、デモザイク処理部２５３、または、Ｇ＋Ｅ算出処理部２８２は、図３９に示されるようなパーソナルコンピュータ５０１により構成することが可能となる。

図３９において、ＣＰＵ（Central Processing Unit）５１１は、ＲＯＭ（Read Only Memory）５１２に記憶されているプログラム、または記憶部５１８からＲＡＭ（Random Access Memory）５１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ５１３にはまた、ＣＰＵ５１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ５１１、ＲＯＭ５１２、およびＲＡＭ５１３は、バス５１４を介して相互に接続されている。このバス５１４にはまた、入出力インタフェース５１５も接続されている。

入出力インタフェース５１５には、キーボード、マウスなどよりなる入力部５１６、ディスプレイやスピーカなどよりなる出力部５１７、ハードディスクなどより構成される記憶部５１８、モデム、ターミナルアダプタなどより構成される通信部５１９が接続されている。通信部５１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１５にはまた、必要に応じてドライブ５２０が接続され、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、もしくは、半導体メモリ５３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェア（例えば、ＤＳＰブロック２１６や、その中に含まれている、デモザイク処理部２５３またはＧ＋Ｅ算出処理部２８２）に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３９に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク５３１（フロッピディスクを含む）、光ディスク５３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク５３３（ＭＯ（Magnet Optical Disk）を含む）、もしくは半導体メモリ５３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ５１２や、記憶部５１８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。

ベイヤー配列について説明するための図である。 本発明を適用したデジタルカメラの構成を示すブロック図である。 ＣＣＤイメージセンサのオンチップカラーフィルタの４色のモザイク配列の例について説明するための図である。 図２のＤＳＰブロックの構成を示すブロック図である。 図４のデモザイク処理部の構成を示すブロック図である。 図５のＧ＋Ｅ算出処理部の構成を示すブロック図である。 図４のＤＳＰブロックが実行する画像処理について説明するためのフローチャートである。 デモザイク処理について説明するためのフローチャートである。 Ｇ＋Ｅ算出処理について説明するためのフローチャートである。 第１の補間処理について説明するためのフローチャートである。 第１の補間処理について説明するためのフローチャートである。 補正テクスチャ強度算出処理について説明するためのフローチャートである。 テクスチャ強度Ｔ_H，Ｔ_V算出処理１について説明するためのフローチャートである。 重み付き平均値Ｍ_TH算出処理について説明するためのフローチャートである。 重み付け係数の例について説明するための図である。 重み付き平均偏差Ｓ_TH算出処理について説明するためのフローチャートである。 テクスチャ強度Ｔ_H，Ｔ_V補正処理について説明するためのフローチャートである。 縦方向のサンプルを用いる場合の重み付けについて説明するための図である。 横方向のサンプルを用いる場合の重み付けについて説明するための図である。 第２の補間処理について説明するためのフローチャートである。 重み付き平均値Ｍ_Ydirについて説明するためのフローチャートである。 Ｒの重み付き分散近似値ＶＡ_RRdir算出処理について説明するためのフローチャートである。 Ｒ，ＸＡの重み付き共分散近似計算処理について説明するためのフローチャートである。 ｐとｑの積がとりうる領域について説明するための図である。 積算近似処理を実行した場合にｐｑの近似値がとりうる領域について説明するための図である。 積算近似処理を実行した場合のｐｑの近似値の２乗誤差について説明するための図である。 積算処理について説明するためのフローチャートである。 積算近似処理について説明するためのフローチャートである。 回帰直線の傾きＫ_dir算出処理について説明するためのフローチャートである。 回帰直線によるＸの推定値ＸＦ算出処理について説明するためのフローチャートである。 第３の補間処理について説明するためのフローチャートである。 重み付き平均値Ｍ_XA算出処理について説明するためのフローチャートである。 Ｘの補間値ＸＵ算出処理について説明するためのフローチャートである。 第１のＧ＋Ｅ生成処理について説明するためのフローチャートである。 第２のＧ＋Ｅ生成処理について説明するためのフローチャートである。 合成処理について説明するためのフローチャートである。。 テクスチャ強度Ｔ_H，Ｔ_V算出処理２について説明するためのフローチャートである。 ４色のフィルタ配列にさらに２色追加した場合について説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

２０１ デジタルカメラ， ２１６ ＤＳＰブロック， ２５１ ホワイトバランス調整部， ２５３ デモザイク処理部， ３３１−１ Ｇ補間処理部， ３３１−２ Ｅ補間処理部， ３３２−１ Ｇ補間処理部， ３３２−２ Ｅ補間処理部， ３３３−１ Ｇ補間処理部， ３３３−２ Ｅ補間処理部， ３３４ テクスチャ強度算出処理部， ３３５，３３６ Ｇ＋Ｅ生成処理部， ３３７ 合成処理部

Claims (6)

1. 第１の色成分が水平および垂直に１ラインおきに配置されるとともに、第２の色成分が水平および垂直に１ラインおきに配置され、かつ、前記第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置において、
   前記モザイク画像の注目画素、並びに前記注目画素の縦方向および横方向の近傍の画素に基づいて、前記注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出手段と、
   前記注目画素と、前記注目画素の縦方向の近傍の画素に基づいて、前記第１の色成分の前記注目画素における第１の推定値を算出するとともに、前記注目画素と前記注目画素の横方向の近傍の画素に基づいて、前記第２の色成分の前記注目画素における第２の推定値を算出する第１の推定値算出手段と、
   前記縦方向の変化強度、前記横方向の変化強度、前記第１の推定値、および前記第２の推定値に基づいて、前記第１の色成分と前記第２の色成分からなる第３の色成分の前記注目画素における第３の推定値を算出する第２の推定値算出手段と
   を備えることを特徴とする画像処理装置。
2. 前記変化強度算出手段は、
   前記注目画素における前記第１の色成分および前記第２の色成分の第１の補間値を、前記注目画素の近傍の画素の画素値に基づいて補間し、
   前記注目画素の縦方向に位置する画素における前記第１の色成分および前記第２の色成分の第２の補間値を、前記注目画素の近傍の画素の画素値に基づいて補間し、
   前記注目画素の横方向に位置する画素における前記第１の色成分および前記第２の色成分の第３の補間値を、前記注目画素の近傍の画素の画素値に基づいて補間し、
   前記第１の補間値と、前記第２の補間値との差分の組により縦勾配評価値を算出し、
   前記第１の補間値と、前記第３の補間値との差分の組により横勾配評価値を算出し、
   前記縦勾配評価値および前記横勾配評価値に基づいて、前記変化強度を決定し、
   前記注目画素および前記注目画素の近傍における変化強度の偏差を算出し、前記偏差に基づいて、前記注目画素の前記変化強度を補正する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の推定値算出手段は、
   前記注目画素の近傍の画素の前記第２の色成分および前記第１の推定値に基づいて、前記注目画素における前記第３の色成分の第４の推定値を算出する第３の推定値算出手段と、
   前記注目画素の近傍の画素の前記第１の色成分および前記第２の推定値に基づいて、前記注目画素における前記第３の色成分の第５の推定値を算出する第４の推定値算出手段と、
   前記第４の推定値、前記第５の推定値、前記注目画素における前記縦方向の変化強度、および前記注目画素における前記横方向の変化強度に基づいて、前記第３の推定値を算出する第５の推定値算出手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の色成分および前記第２の色成分は、互いに相関の高い分光感度を有する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 第１の色成分が水平および垂直に１ラインおきに配置されるとともに、第２の色成分が水平および垂直に１ラインおきに配置され、かつ、前記第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置の画像処理方法において、
   前記モザイク画像の注目画素、並びに前記注目画素の縦方向および横方向の近傍の画素に基づいて、前記注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出ステップと、
   前記注目画素と、前記注目画素の縦方向の近傍の画素に基づいて、前記第１の色成分の前記注目画素における第１の推定値を算出する第１の推定値算出ステップと、
   前記注目画素と前記注目画素の横方向の近傍の画素に基づいて、前記第２の色成分の前記注目画素における第２の推定値を算出する第２の推定値算出ステップと、
   前記縦方向の変化強度、前記横方向の変化強度、前記第１の推定値、および前記第２の推定値に基づいて、前記第１の色成分と前記第２の色成分からなる第３の色成分の前記注目画素における第３の推定値を算出する第３の推定値算出ステップと
   を含むことを特徴とする画像処理方法。
6. 第１の色成分が水平および垂直に１ラインおきに配置されるとともに、第２の色成分が水平および垂直に１ラインおきに配置され、かつ、前記第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成するプログラムであって、
   前記モザイク画像の注目画素、並びに前記注目画素の縦方向および横方向の近傍の画素に基づいて、前記注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出ステップと、
   前記注目画素と、前記注目画素の縦方向の近傍の画素に基づいて、前記第１の色成分の前記注目画素における第１の推定値を算出する第１の推定値算出ステップと、
   前記注目画素と前記注目画素の横方向の近傍の画素に基づいて、前記第２の色成分の前記注目画素における第２の推定値を算出する第２の推定値算出ステップと、
   前記縦方向の変化強度、前記横方向の変化強度、前記第１の推定値、および前記第２の推定値に基づいて、前記第１の色成分と前記第２の色成分からなる第３の色成分の前記注目画素における第３の推定値を算出する第３の推定値算出ステップと
   を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images