WO2011108290A2

WO2011108290A2 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2011108290A2
Application number: PCT/JP2011/050043
Authority: WO
Inventors: 泰斎藤; 功広田
Original assignee: ソニー株式会社
Priority date: 2010-03-04
Filing date: 2011-01-05
Publication date: 2011-09-09
Also published as: EP2544452A4; JP2011182354A; CN103238335A; CN103238335B; JP5724185B2; TWI516132B; US20130216130A1; TW201143467A; EP2544452A2; US8948506B2

Description

画像処理装置、および画像処理方法、並びにプログラム

　本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特にＲＧＢＷ配列を持つ撮像素子の出力に対する信号処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

　例えば撮像装置に用いられる撮像素子（イメージセンサ）は、素子表面に各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させるカラーフィルタを貼り付けた構成を持つ。例えば図１（ａ）に示すようなＲＧＢ配列を持つフィルタが利用される。撮像素子の出力信号を用いたカラー画像生成処理においては、複数個の画素の組によって必要な色成分を復元する処理が行われる。カラーフィルタの色配列には様々なタイプがあるが、図１（ａ）に示す赤（Ｒ）、緑（Ｇ）、青（Ｂ）の特定波長光のみを透過させる３種類のフィルタによって構成されたベイヤ配列が多く利用されている。

　近年、撮像素子（イメージセンサ）の画素の微細化が進み、これに伴い各画素への入射光量が減少しＳ／Ｎ比が劣化するという問題が発生してきた。この問題を解決するため、図１（ｂ）に示すようにＲＧＢ等の特定波長光のみを透過させるフィルタの他に、さらに可視光域の光を広く透過するホワイト(Ｗ：Ｗｈｉｔｅ)を持つイメージセンサ（撮像素子）が提案されている。図１（ｂ）には、ＲＧＢＷ配列を持つフィルタの一例を示している。図１（ｂ）に示すＲＧＢＷ配列におけるＷ画素は可視光域の光を広く透過するフィルタである。

　このような、ホワイト(Ｗ：Ｗｈｉｔｅ)画素を持つカラーフィルタを搭載した撮像素子については、例えば特許文献１（ＵＳ公開特許２００７／００２４８７９）、特許文献２（ＵＳ公開特許２００７／００２４９３４）に記載されている。
　図１（ｂ）に示すようなホワイト(Ｗ：Ｗｈｉｔｅ)画素を持つカラーフィルタを持つ撮像素子（イメージセンサ）を用いることで、フィルタの透過光率が高くなり、高感度化が実現できる。

　しかし、ＲＧＢＷ型の素子の問題点として以下のような問題点がある。
　図１（ａ）に示すＲＧＢ配列、あるいは図１（ｂ）に示すＲＧＢＷ配列のいずれも、Ｒ，Ｇ，Ｂ，Ｗいずれかのフィルタをモザイク状に配列した一枚の素子、すなわち単板型イメージセンサである。従ってカラー画像を生成する際には、各画素に対応するＲＧＢ画素値を生成するカラーコーディングとしてのデモザイク処理が必要となる。

　図１（ｂ）に示すＲＧＢＷ配列では、図１（ａ）に示すＲＧＢ配列に比較して、Ｒ，Ｇ，Ｂ成分のサンプリングレートが低下する。この結果、カラー画像生成処理に際して、図１（ｂ）に示すＲＧＢＷ配列方の素子の取得データを用いた場合、図１（ａ）に示すＲＧＢ配列に比較して、偽色が発生しやすくなるという問題がある。また、ホワイト（Ｗ）の波長成分はＲ，Ｇ，Ｂすべての波長成分を含んでいるため、色収差の大きい光学レンズを用いると、単色成分のものと比べてＲＧＢ波長成分の集光率が落ち、解像度の低下を招くという問題もある。この問題点は画素の微細化が進むにつれて、更に顕著となる。

　光学レンズの色収差に起因する解像度劣化の防止手法として、屈折率の異なるレンズを組み合わせて色収差の発生を抑えることが有効であるが、この場合、光学レンズの枚数が増えることによるコストが増大するという新たな問題が発生する。さらに、このような構成とすると、前述のＲＧＢ成分のサンプリングレート低下に起因する偽色の問題がより顕著となるという問題も発生する。

　また、単板型イメージセンサの各画素は単一の色成分の情報しかもたないため離散的に取得されたＲ，Ｇ，Ｂ，Ｗ信号からカラー画像を得るために全画素対応のＲＧＢ画素値を求めるデモザイク処理が行われる。このデモザイク処理の際、局所領域においては色比率がほぼ一定に保たれることや強い色相関があることを仮定した補間処理が行われる。具体的には、ある画素の特定色の画素値を算出する際、周囲の画素値を用いて補間する方法が広く用いられる。この方法については、例えば特許文献３（特開２００９－１７５４４号公報）に記載がある。しかしながら、エッジ近傍では上記の仮定、すなわち局所領域における一定の色比率や強い色相関があるという仮定は成り立たない。この結果エッジ近傍に偽色が発生しやすくなるという問題がある。

ＵＳ公開特許２００７／００２４８７９ＵＳ公開特許２００７／００２４９３４特開２００９－１７５４４号公報

　本発明は、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを適用したカラー画像生成処理において、偽色の少ない高品質なカラー画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本発明の第１の側面は、
　輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行うデータ変換処理部を有し、
　前記データ変換処理部は、
　前記２次元画素配列信号を解析して画素変換処理に適用するパラメータを算出するパラメータ算出部を有し、
　前記パラメータ算出部は、
　画素変換処理に適用するパラメータの算出処理において、前記２次元画素配列信号に含まれる輝度信号の主成分となる画素と、変換後の画素の色情報成分との第１相関情報、
　または、前記色情報成分中から選択された１つの選択色情報成分と、変換後の画素の色情報成分との第２相関情報、
　上記第１相関情報または第２相関情報の少なくともいずれかの相関情報を利用して前記パラメータの算出処理を行う画像処理装置にある。

　さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、前記第２相関情報として、前記色情報成分中、配分比率の最も高い色情報成分と、変換後の画素の色情報成分との相関情報を用いる。

　さらに、本発明の画像処理装置の一実施態様において、前記データ変換処理部は、前記２次元画素配列信号を解析してエッジ情報を生成するエッジ検出部を有し、前記パラメータ算出部は、前記エッジ検出部の検出したエッジ方向に応じて、前記第１相関情報、または前記第２相関情報のいずれかを選択的に利用して前記パラメータの算出処理を行う。

　さらに、本発明の画像処理装置の一実施態様において、前記輝度信号の主成分となる色は白色、前記配分比率の最も高い色情報成分は緑色であり、前記パラメータ算出部は、画素変換処理に適用するパラメータの算出処理において、前記エッジ検出部の検出したエッジ方向に応じて、白色と変換後の画素の色情報成分との第１相関情報、または、緑色と変換後の画素の色情報成分との第２相関情報のいずれかを取得し、取得した相関情報を利用して前記パラメータの算出処理を行う。

　さらに、本発明の画像処理装置の一実施態様において、前記データ変換処理部は、前記２次元画素配列信号を解析してテクスチャ情報を生成するテクスチャ検出部と、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部とを有する。

　さらに、本発明の画像処理装置の一実施態様において、前記エッジ検出部は、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成し、前記テクスチャ検出部は、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成し、前記パラメータ算出部は、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成し、前記ブレンド処理部は、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する処理を実行する。

　さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、補間処理に適用する画素位置をエッジ方向に沿った画素位置とする補間処理によりパラメータを生成する構成である。

　さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関、または、ＲＧＢＷ配列を構成するＧ画素とその他のＲＧＢ画素との局所領域での相のいずれかの相関を利用した補間処理によりパラメータを生成する構成である。

　さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりＷ画素位置に対してＲＧＢいずれかの画素の画素値を設定する仮画素設定部を有し、前記パラメータ算出部は、前記仮画素設定データを適用した補間処理によりパラメータを生成する構成である。

　さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、前記エッジ検出部の検出した縦、横、左斜め上、右斜め上の４種類のエッジ方向に応じて、ＲＧＢＷ配列を構成するＷ画素と変換後の画素の色情報成分との第１相関情報、または、ＲＧＢＷ配列を構成するＧ画素と変換後の画素の色情報成分との第２相関情報のいずれを利用するかを選択する。

　さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、参照画素位置をエッジ方向に沿った画素位置に設定して、前記第１相関情報、または前記第２相関情報を利用して画素変換処理に適用する複数のパラメータを生成し、前記ブレンド処理部は、縦、横、左斜め上、右斜め上の４種類のエッジ方向の強度比較を実行して、比較結果に応じて前記複数のパラメータのブレンド比率を変更したブレンド処理を実行する。

　さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、変換画素対応の縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＦｌａｔ）を算出し、さらに、エッジ方向度合い（ｒａｔｉｏＦｌａｔ）に基づいて、値が大きいほど斜め方向エッジより縦横方向エッジが強く、値が小さいほど斜め方向エッジが縦横方向エッジより強いことを示す縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出し、変換画素対応の縦横方向エッジが斜め方向エッジより強い場合は、エッジ方向を縦または横方向として設定して算出したパラメータのブレンド比率を高くし、変換画素対応の縦横方向エッジが斜め方向エッジより弱い場合は、エッジ方向を斜め方向として設定して算出したパラメータのブレンド比率を高くしたブレンド処理を実行する。

　さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ検出部は、前記テクスチャ情報として、テクスチャが少なく平坦度が高い画素領域については高い値を示し、テクスチャが多く平坦度が低い画素領域については低い値を示す各画素対応の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、前記パラメータ算出部は、前記補間画素値に対するコントラスト強調処理を実行したコントラスト強調処理適用パラメータと、前記補間画素値に対するコントラスト強調処理を実行しないコントラスト強調処理非適用パラメータを算出し、前記ブレンド処理部は、前記平坦度重みの大きい画素については、前記コントラスト強調処理非適用パラメータのブレンド比率を大きく設定し、前記平坦度重みの小さい画素については、前記コントラスト強調処理適用パラメータのブレンド比率を大きく設定したブレンド処理を実行する。

　さらに、本発明の画像処理装置の一実施態様において、前記エッジ検出部は、前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のエッジ情報を生成する構成であり、処理対象画素近傍のＷ画素の信号値勾配を算出して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成する。

　さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ検出部は、前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のテクスチャ度合いを示すテクスチャ情報を生成する。

　さらに、本発明の第２の側面は、
　画像処理装置において画像信号処理を実行する画像処理方法であり、
　エッジ検出部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出ステップと、
　テクスチャ検出部が、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出ステップと、
　パラメータ算出部が、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出ステップであり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出ステップと、
　ブレンド処理部が、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理ステップを実行し、
　前記パラメータ算出ステップは、
　画素変換処理に適用するパラメータの算出処理において、前記２次元画素配列信号に含まれる輝度信号の主成分となる画素と、変換後の画素の色情報成分との第１相関情報、
　または、前記色情報成分中、配分比率の最も高い色情報成分と、変換後の画素の色情報成分との第２相関情報、
　上記第１相関情報または第２相関情報の少なくともいずれかの相関情報を利用して前記パラメータの算出処理を行うステップである画像処理方法にある。

　さらに、本発明の第３の側面は、
　画像処理装置において画像信号処理を実行させるプログラムであり、
　エッジ検出部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成させるエッジ検出ステップと、
　テクスチャ検出部に、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成させるテクスチャ検出ステップと、
　パラメータ算出部に、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出させるパラメータ算出ステップであり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成させるパラメータ算出ステップと、
　ブレンド処理部に、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定させるブレンド処理ステップとを実行させ、
　前記パラメータ算出ステップにおいては、
　画素変換処理に適用するパラメータの算出処理において、前記２次元画素配列信号に含まれる輝度信号の主成分となる画素と、変換後の画素の色情報成分との第１相関情報、
　または、前記色情報成分中、配分比率の最も高い色情報成分と、変換後の画素の色情報成分との第２相関情報、
　上記第１相関情報または第２相関情報の少なくともいずれかの相関情報を利用して前記パラメータの算出処理を行わせるプログラムにある。

　なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本発明の一実施例の構成によれば、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを入力して偽色の少ない高品質なカラー画像を生成するためのＲＧＢ配列データを生成することができる。具体的には、エッジ検出部がＲＧＢＷ配列の撮像素子の出力信号を解析して各画素対応のエッジ情報を取得し、テクスチャ検出部がテクスチャ情報を生成する。さらにパラメータ算出部が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。ブレンド処理部において、パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。

一般的なカラーフィルタで用いられる色配列としてのベイヤ配列と、本発明において適用するＲＧＢＷ配列の例について説明する図である。本発明の一実施例における処理であるＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理について説明する図である。本発明のＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理の個別の処理について説明する図である。本発明のＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理の個別の処理について説明する図である。本発明の画像処理装置の一実施例に係る撮像装置の構成例について説明する図である。データ変換処理部の構成と処理について説明する図である。図６に示すノイズ除去部２０１の実行する処理について説明する図である。図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の実行する処理について説明する図である。図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の実行する処理について説明する図である。図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の実行する処理について説明する図である。図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の実行する処理について説明する図である。図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の実行する処理について説明する図である。図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の実行する処理について説明する図である。図６に示す第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の実行する処理について説明する図である。図６に示す第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の実行する処理について説明する図である。図６に示す第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の実行する処理について説明する図である。図６に示す第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の実行する処理について説明する図である。図６に示す第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の実行する処理について説明する図である。図６に示すブレンド処理部２１１の実行する処理について説明する図である。図６に示すブレンド処理部２１１の実行する処理について説明する図である。図６に示すブレンド処理部２１１の実行する処理について説明する図である。図６に示すデータ変換処理部２００の実行する処理のシーケンスを説明するフローチャートを示す図である。

　以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は、以下の順番で行なう。
　１．本発明の処理の概要について
　２．撮像装置および画像処理装置の構成例および処理例について
　３．データ変換処理部の処理の詳細について
　３－１．ノイズ除去部の処理について
　３－２．エッジ検出部の処理について
　３－３．テクスチャ検出部の処理について
　３－４．画素補間パラメータ算出部の処理について
　３－５．ブレンド処理部の処理について
　４．画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンス

　　［１．本発明の処理の概要について］
　まず、図２を参照して本発明の撮像装置等の画像処理装置が実行する処理の概要について説明する。本発明の画像処理装置は、ＲＧＢ各色の波長光を選択的に透過するＲＧＢフィルタに加え、ＲＧＢ各波長光をすべて透過するホワイト(Ｗ：Ｗｈｉｔｅ)を含むＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データに対する処理を行う。具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。

　本発明の画像処理装置は、図２（１）に示すような、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを、図２（２）に示すＲＧＢ配列（例えばベイヤ配列）に変換する処理に適用するパラメータの算出処理を実行する。さらに、この変換処理に際して、偽色の発生を低下させるための処理を併せて実行する。

　図２（１）に示すような、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データは、輝度信号の主成分となるＷ画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号となる。

　本発明の画像処理装置は、この画像信号を解析して画素変換を行うデータ変換処理部を有する。データ変換処理部は、入力画像信号を解析して画素変換処理に適用するパラメータとして、例えば２次元画素配列信号に含まれる輝度信号の主成分となる画素（例えばＷ画素）と変換後の画素の色情報成分との相関情報、あるいは、色情報成分中から選択された１つの選択色情報成分、例えば配分比率の最も高い色情報（例えばＧ）成分と、変換後の画素の色情報成分との相関情報を用いて変換パラメータの算出を行い、算出したパラメータを適用した変換画素値の設定処理を実行する。

　本発明の画像処理装置は、図２に示すように、ＲＧＢＷのカラー配列に設定されたＲＧＢＷの各画素の少なくとも一部を他の色（ＲＧＢのいずれか）へ変換または補正する処理を行う。具体的には、ＲＧＢＷ配列からＲＧＢベイヤ配列への変換処理において、以下の５つの変換や補正処理を実行する。
　（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
　（ｂ）Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
　（ｃ）Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
　（ｄ）Ｂ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＢ）
　（ｅ）Ｒ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＲ）

　上記の（ａ）～（ｅ）の各変換処理は、ＲＧＢＷ配列におけるＲＧＢＷ各画素をＲＧＢ配列におけるＲＧＢ画素に変換するための画素値推定または補正処理として行われる。これらの処理を実行することで、図２（１）に示すＲＧＢＷのカラー配列から図２（２）に示すＲＧＢ配列を生成する。

　以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
　以下の実施例では、ホワイト（Ｗ）を持つＲＧＢＷ型カラー配列をＲＧＢ型カラー配列（ベイヤ配列）に変換するリモザイク処理を実行し、かつ、このリモザイク処理に際して偽色の発生を低減させる処理を実行する構成について説明する。

　本発明の画像処理装置における画素変換処理は、ｎ×ｎ画素の矩形画素領域を入力画素単位として変換処理を行う。すなわち、ｎ×ｎ画素の中心にある１つの画素の変換画素値を決定するためにｎ×ｎ画素の矩形画素領域の画素情報を利用する。具体的には、例えば画像の７×７画素（幅７画素高さ７画素）単位で処理を行う。例えば、７×７画素を処理単位とした処理を行う場合、画像処理装置は、７×７画素単位で画素情報を入力し７×７画素の画素情報を用いて中心画素の変換画素値を決定する。７×７画素の中心画素は、ＲＧＢＷいずれかの画素であり、これらのＲＧＢＷを上記（ａ）～（ｅ）の変換パターンに従って変換する。

　以下の説明では、画素変換処理の単位とするｎ×ｎ画素の矩形画素を「入力画素単位」と称して説明する。上述の（ａ）～（ｅ）の変換パターンの１つである（ａ）の処理、すなわち、
　（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
　この変換処理を行う場合、入力画素単位である７×７画素の画素パターンには、図３に示す４つの異なるパターン（ａ１）～（ａ４）がある。
　図３には、（ａ１）～（ａ４）に、Ｗ画素が７×７画素の中心位置となる入力画素単位（処理単位）を示している。左側が、入力画素単位、右側が最終的な処理結果となるＲＧＢ配列データである。

　７×７画素の中心位置がＷ画素となる入力には、図３に（ａ１）～（ａ４）に示す４つの異なるパターンがある。このいずれかのパターンの７×７画素を入力した場合、
　（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
　この処理を実行する。
　なお、図３（ａ１）～（ａ４）の右側は、最終的な変化結果を示すものであり、図３（ａ１）～（ａ４）の左側に示す入力画素単位に対しては、中心画素ＷをＧ画素に変換する処理のみが実行される。その後、処理単位を１つずつずらして、変換処理（上記（ａ）～（ｅ）のいずれかの処理）を実行して図３（ａ１）～（ａ４）の右側に示す最終的な変化結果が得られる。

　また、上述の（ａ）～（ｅ）の変換パターンの（ｂ）～（ｅ）の処理、すなわち、
　（ｂ）Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
　（ｃ）Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
　（ｄ）Ｒ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＲ）
　（ｅ）Ｂ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＢ）
　これらの変換処理を行う場合の、入力画素単位（処理単位）と変換処理の最終出力との関係は、図４（ｂ）～（ｅ）に示す通りである。

　図４（ｂ）が、Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
　この処理例を示している。
　図４（ｃ）が、Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
　この処理例を示している。
　図４（ｄ）が、Ｒ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＲ）
　この処理例を示している。
　図４（ｅ）が、Ｂ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＢ）
　この処理例を示している。

　　［２．撮像装置および画像処理装置の構成例および処理例について］
　図５、図６を参照して、本発明の一実施例に係る撮像装置および画像処理装置の構成例及び処理例について説明する。
　図５は、本発明の一実施例に係る撮像装置１００の構成例を示す図である。撮像装置１００は、光学レンズ１０５、撮像素子（イメージセンサ）１１０、信号処理部１２０、メモリ１３０、制御部１４０を有する。なお、撮像装置は画像処理装置の一態様である。画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図３に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。具体的には撮像装置１００は、スチルカメラ、ビデオカメラなどであり、画像処理装置１００にはＰＣなど画像処理の可能な情報処理装置が含まれる。

　以下では、撮像装置１００を、本発明の画像処理装置の代表例として説明する。図５に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（ｂ）や図２（１）を参照して説明したホワイト（Ｗ）を持つＲＧＢＷ配列１８１を持つフィルタを備えた構成である。具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。
　撮像素子（イメージセンサ）１１０は、
　赤色近傍の波長を透過する赤（Ｒ）、
　緑色近傍の波長を透過する緑（Ｇ）、
　青色近傍の波長を透過する青（Ｂ）、
　これらに加え、
　とＲＧＢのすべてを透過するホワイト(Ｗ)、
　これら４種類の分光特性を持つフィルタを備えた撮像素子である。

　このＲＧＢＷ配列１８１フィルタを持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢＷいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢＷ４種類の分光から成るモザイク画像が得られる。

　撮像素子（イメージセンサ）１１０の出力信号は信号処理部１２０のデータ変換処理部２００に入力される。
　データ変換処理部２００は、先に図２を参照して説明したように、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理を実行する。この変換処理に際しては、前述のように、
　Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
　Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
　Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
　Ｂ画素位置をＲ画素に変換（Ｒ画素値を推定）する（ＲｏｎＢ）
　Ｒ画素位置をＢ画素に変換（Ｂ画素値を推定）する（ＢｏｎＲ）
　これら５つの変換や補正処理を実行する。
　この変換／補正処理に際して、偽色を抑制するための処理を併せて実行する。

　データ変換処理部２００の生成したＲＧＢ配列１８２、すなわちベイヤ配列を持つデータは、従来のカメラ等の撮像素子によって得られるカラー配列を持つデータである。このカラー配列データは、ＲＧＢ信号処理部２５０入力される。

　ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。

　制御部１４０は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ１３０に格納されており、制御部１４０は、メモリ１３０から読み出したプログラムを実行して一連の処理を制御する。

　データ変換処理部２００の詳細構成について図６を参照して説明する。データ変換処理部２００は、ＲＧＢＷのカラー配列からＲＧＢ配列１８２への変換処理を実行する。さらに、この処理に際して偽色を抑制するための処理を併せて実行する。

　データ変換処理部２００は、図６に示すように、ノイズ除去部２０１、第１～第５画素補間パラメータ算出部２０２～２０８、エッジ検出部２０９、テクスチャ検出部２１０、ブレンド処理部２１１を有する。データ変換処理部２００は、処理画像であるＲＧＢＷ配列１８１から、ｎ×ｎ画素の処理単位で順次、画素値を入力して、ｎ×ｎ画素の中央の画素の変換画素値を決定して出力する。全ての画素の変換処理が完了すると、ＲＧＢ配列１８２が完成し、図５に示すＲＧＢ信号処理部２５０に提供される。

　ノイズ除去部２０１は、入力画素単位の中心にあるＷ画素に対してノイズ除去を実行する。
　第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、Ｗ画素をＧ画素に変換する処理に適用するパラメータの算出処理を実行する。
　第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、Ｇ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＧ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する。
　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータ等を算出する。
　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータ等を算出する。
　第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、Ｒ画素またはＢ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＲまたはＢ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する
　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＢ画素に、またはＢ画素をＲ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータ等を算出する。
　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素をＢ画素に、またはＢ画素をＲ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータ等を算出する。

　エッジ検出部２０９は、Ｗ画素を用いてエッジの方向検出処理を実行する。
　テクスチャ検出部２１０は、Ｗ画素を用いてテクスチャの検出処理を実行する。
　ブレンド処理部２１１は、上記の各処理で出力された画素をブレンドする処理を実行する。

　　［３．データ変換処理部の処理の詳細について］
　次に、図６に示すデータ変換処理部２００を構成する各処理部が実行する処理の詳細について説明する。

　なお、先に、図６を参照して説明したように、データ変換処理部２００は、ＲＧＢＷ配列１８１から、ｎ×ｎ画素の処理単位で順次、画素値を入力して、ｎ×ｎ画素の中央の画素の変換画素値を決定して出力する。以下に説明する実施例では、基本的にｎ＝７として、データ変換処理部２００において７×７画素の画素領域を１つの処理単位として入力して処理を行う構成について説明する。

　ただし、図６に示す処理部中、ノイズ除去部２０１、エッジ検出部２０９、テクスチャ検出部２１０は、７×７画素領域単位、または７×７画素の画素領域の中心部の５×５画素の領域単位のいずれかで処理を行う設定としてよい。その他の処理部である第１画素補間パラメータ算出部２０２～第５画素補間パラメータ算出部２０８は７×７画素領域単位で処理を行う。

　エッジ検出や、ノイズ除去、あるいはテクスチャ検出処理は、画素値変換における補助情報として利用される情報を生成する。これらの情報生成のための画素領域は様々な設定が可能である。処理負荷の面からは処理単位は小さいほうが効率がよい。ただし、十分な処理能力がある場合は、大きな画素領域を処理単位として設定してもよい。例えば７×７画素単位の処理を行う構成としてもよい。

　このように、エッジ検出、ノイズ除去、テクスチャ検出処理の処理単位は様々な設定が可能である。以下の実施例では、一例として以下の設定での処理例について説明する。

　第１画素補間パラメータ算出部２０２～第５画素補間パラメータ算出部２０８はデータ変換処理部２００に入力するＲＧＢＷ配列１８１の７×７画素領域単位で処理を行う。
　エッジ検出部２０９も、データ変換処理部２００に入力するＲＧＢＷ配列１８１の７×７の処理単位をそのまま処理単位としてエッジ検出処理を行う。
　ノイズ除去部２０１、テクスチャ検出部２１０では、７×７画素の画素領域の中心部の５×５画素の領域を抽出して、抽出した５×５画素の領域を処理単位として処理を行う。
　各処理部では、このような処理単位を設定して処理を行う。以下、各処理部の処理の詳細について、順次説明する。

　　（３－１．ノイズ除去部の処理について）
　まず、ノイズ除去部２０１の処理について図７を参照して説明する。ノイズ除去部２０１は、データ変換処理部２００に対する入力画素単位（７×７画素）の中心画素がＷ画素であるデータに対してノイズ除去処理を実行する。前述したように、ノイズ除去部２０１は、データ変換処理部２００が入力する７×７画素の画素領域の中心部の５×５画素の領域を抽出して、抽出した５×５画素の領域を処理単位として処理を行う。ノイズ除去は、入力画素単位の中心にあるＷ画素に対するノイズ低減画素値の算出処理として行われる。

　ノイズ除去の手法としては、様々な手法が適用可能である。ここでは、バイラテラルフィルタを用いたノイズ低減処理例について図７を参照して説明する。
　図７（ａ）は、入力画素単位である７ｘ７画素の中心部に設定される５×５画素領域をノイズ除去処理の処理対象データ３０１として示している。図７は、処理対象データ３０１の中心にあるＷ画素（画素ｐ）に対してノイズ除去を適用した例を説明する図である。

　図７には、
　（ａ）処理対象データ
　（ｂ）ノイズ低減画素値算出式
　（ｃ）関数φ（ｒ）の線形近似例
　これらを示している。

　（ａ）処理対象データに示すように、ノイズ除去部２０１は、ＲＧＢＷ配列を持つ入力画素単位（７×７画素）の中心部にある５×５画素のノイズ除去処理対象データ３０１の中心画素（ｐ）がＷ画素である場合に処理を行う。図７（ａ）に示すグレー部分がＷ画素であり、その他の白い部分はＲＧＢ画素のいずれかである。なお、以下の説明に用いる他の図においてもグレー部分がＷ画素であり、その他の白い部分はＲＧＢ画素のいずれかであるものとする。

　ノイズ除去部２０１は、処理対象データ３０１の中心画素（ｐ）であるＷ画素の画素値Ｉ（ｐ）と処理対象データ３０１（５×５画素）に含まれる画素の画素値Ｉ（ｑ）を用いて、図７（２）に示すノイズ低減画素値算出式に従ってノイズ低減画素値Ｉ_ＮＲ（ｐ）を算出する。すなわち、以下の式（式１）に従ってノイズ低減画素値Ｉ_ＮＲ（ｐ）を算出する。

　　　　　・・・（式１）

　上記式において、
　Ωｐは、処理対象データ３０１である（５×５画素）に含まれる画素の集合であり、Ｉ（ｑ）はその画素値、Ｉ（ｐ）は中心画素ｐ（＝Ｗ画素）の画素値である。
　関数φ（ｒ）は、一般的には指数関数を用いる。しかし、演算量を抑えるために、図７（３）に示すように線形近似した関数としてもよい。
　図７（３）に示す線形近似は、閾値としてＴｈ１＝２．０、Ｔｈ２＝３．０を設定し、
　　ｒ＝０～Ｔｈ１（２．０）→φ（ｒ）＝１．０
　　ｒ＝Ｔｈ１（２．０）～Ｔｈ２（３．０）→φ（ｒ）＝１．０～０（線形変化）
　　ｒ＝Ｔｈ２以上→φ（ｒ）＝０
　このような設定の線形近似例である。

　ノイズ除去部２０１は、このように、バイラテラルフィルタを適用してノイズ除去処理単位（５×５画素）の中心のＷ画素のノイズ低減画素値Ｉ_ＮＲ（ｐ）を上記式（式１）に従って算出する。算出したノイズ低減Ｗ画素値（Ｉ_ＮＲ（ｐ））は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２に出力される。

　なお、図７を参照して説明したバイラテラルフィルタを適用した処理はノイズ除去処理の一例であり、ノイズ除去部２０１は、図７を参照して説明したバイラテラルフィルタを適用した処理に限らず、その他のノイズ除去方式を用いた構成としてもよい。

　　（３－２．エッジ検出部の処理について）
　次に、エッジ検出部２０９の処理について説明する。エッジ検出部２０９は、入力信号であるＲＧＢＷ配列に含まれる離散的なホワイト（Ｗ）信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成してブレンド処理部２１１、さらに複数の画素補間パラメータ算出部に出力する。

　図８以下を参照してエッジ検出部２０９の実行するＷ画素を用いたエッジ方向とエッジ強度の判定方法について説明する。

　エッジ検出部２０９は、入力するＲＧＢＷ配列１８１の信号中、ホワイト（Ｗ）信号のみを利用して、エッジ方向とエッジ強度を判定する。本実施例において、エッジ検出部２０９は、前述したようにデータ変換処理部２００に入力するＲＧＢＷ配列１８１の７×７の処理単位をそのまま処理単位としてエッジ検出処理を行う。エッジ検出部２０９は、７×７画素の領域を１画素ずつずらしながら順次、エッジ検出処理を実行する。１つの７×７画素領域に対する処理によって７×７画素領域の中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を取得する。各画素対応のエッジ情報は、ブレンド処理部２１１、および第１～第５画素補間パラメータ算出部に出力される。

　エッジ検出処理には様々な手法が適用可能である。図８、図９を参照してその１つの手法について説明する。以下に説明する方法では、７×７画素領域の中心近傍の４×４画素を利用する。

　図８に示すように、処理対象とする７×７画素の中心画素は、
　（ａ）Ｗ画素である場合と、
　（ｂ）Ｗ以外の画素である場合、
　これらの２通りがある。なお、図８においてグレーで示す画素がＷ画素であり、その他はＲＧＢいずれかの画素に対応する。
　これら（ａ），（ｂ）２種類のケースに対して、それぞれ異なる算出式を用いてエッジ方向が、水平、垂直、右斜め上、左斜め上の４方向のいずれであり、またその強度を推定するためのエッジ判定処理を行う。

　具体的な処理について図９を参照して説明する。
　図９には、
　（ａ）中心画素がＷ画素の場合
　（ｂ）中心画素がＷ以外の画素の場合
　これら（ａ），（ｂ）の場合におけるエッジ方向およびエッジ強度の判定処理に適用する算出式を示している。適用する算出式は画像の特定方向の画素値の勾配を算出する式であり、以下の各値の算出式である。
　ｇｒａｄＨ：水平方向の勾配絶対値平均
　ｇｒａｄＶ：垂直方向の勾配絶対値平均
　ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
　ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
　これらのｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは、それぞれ異なる方向の画素値の勾配（差分）の絶対値の平均値に相当する。以下、具体的な算出処理について説明する。

　（ａ）中心画素がＷ画素の場合の処理について
　まず、中心画素がＷ画素の場合の処理について図９（ａ）を参照して説明する。図９（ａ）には（ａ１）～（ａ４）に中心画素がＷ画素の場合のｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの算出処理例を示している。
　二重丸［◎］で示す位置が７×７画素における中心画素位置である。
　また、丸［○］で示す位置がエッジ重心位置である。

　中心画素がＷ画素の場合、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは以下の算出式（式２）によって算出する。

　　　　　・・・（式２）

　なお、Ｗｘｙは、水平方向を（ｘ）、垂直方向を（ｙ）とし、図９に示す４×４画素の左上端画素の座標を（０，０）、右下端の画素座標を（３，３）として設定した座標系におけるｘｙ座標位置のＷ画素値を示す。

　ｇｒａｄＨは、水平方向の勾配絶対値平均であり、水平方向に近接するＷ画素の差分絶対値の平均値に対応する。
　図９（ａ１）に示すように、４×４画素領域の中央部にある２つの水平ラインの水平方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＨとして算出する。

　ｇｒａｄＶは、垂直方向の勾配絶対値平均であり、垂直方向に近接するＷ画素の差分絶対値の平均値に対応する。
　図９（ａ２）に示すように、４×４画素領域の中央部にある２つの垂直ラインの垂直方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＶとして算出する。

　ｇｒａｄＡは、右斜め上方向の勾配絶対値平均であり、右斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
　図９（ａ３）に示すように、４×４画素領域の中央部にある１つの右斜め上方向ラインの右斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＡとして算出する。

　ｇｒａｄＤは、左斜め上方向の勾配絶対値平均であり、左斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
　図９（ａ４）に示すように、４×４画素領域の中央部にある１つの左斜め上方向ラインの左斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＤとして算出する。

　水平方向の勾配絶対値平均ｇｒａｄＨの値が大きい程、垂直方向のエッジ強度が大である可能性が高い。
　垂直方向の勾配絶対値平均ｇｒａｄＶの値が大きい程、水平方向のエッジ強度が大である可能性が高い。
　右斜め上方向の勾配絶対値平均ｇｒａｄＡの値が大きい程、左斜め上方向のエッジ強度が大である可能性が高い。
　左斜め上方向の勾配絶対値平均ｇｒａｄＤの値が大きい程、右斜め上方向のエッジ強度が大である可能性が高い。
　このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値の算出値に基づいてエッジ方向とエッジ強度を判定することができる。

　（ｂ）中心画素がＷ画素以外の場合の処理について
　次に、中心画素がＷ画素以外の場合の処理について図９（ｂ）を参照して説明する。図９（ｂ）には（ｂ１）～（ｂ４）に中心画素がＷ画素以外の場合のｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの算出処理例を示している。
　二重丸［◎］で示す位置が７×７画素における中心画素位置である。
　また、丸［○］で示す位置がエッジ重心位置である。

　中心画素がＷ画素以外の場合、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは以下の算出式（式３）によって算出する。

　　　　　　・・・（式３）

　ｇｒａｄＨは、水平方向の勾配絶対値平均であり、水平方向に近接するＷ画素の差分絶対値の平均値に対応する。
　図９（ｂ１）に示すように、４×４画素領域の中央部にある２つの水平ラインの水平方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＨとして算出する。

　ｇｒａｄＶは、垂直方向の勾配絶対値平均であり、垂直方向に近接するＷ画素の差分絶対値の平均値に対応する。
　図９（ｂ２）に示すように、４×４画素領域の中央部にある２つの垂直ラインの垂直方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＶとして算出する。

　ｇｒａｄＡは、右斜め上方向の勾配絶対値平均であり、右斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
　図９（ｂ３）に示すように、４×４画素領域の中央部にある２つの右斜め上方向ラインの右斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＡとして算出する。

　ｇｒａｄＤは、左斜め上方向の勾配絶対値平均であり、左斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
　図９（ｂ４）に示すように、４×４画素領域の中央部にある２つの左斜め上方向ラインの左斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＤとして算出する。

　水平方向の勾配絶対値平均ｇｒａｄＨの値が大きい程、垂直方向のエッジ強度が大である可能性が高い。
　垂直方向の勾配絶対値平均ｇｒａｄＶの値が大きい程、水平方向のエッジ強度が大である可能性が高い。
　右斜め上方向の勾配絶対値平均ｇｒａｄＡの値が大きい程、左斜め上方向のエッジ強度が大である可能性が高い。
　左斜め上方向の勾配絶対値平均ｇｒａｄＤの値が大きい程、右斜め上方向のエッジ強度が大である可能性が高い。
　このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値の算出値に基づいてエッジ方向とエッジ強度を推定することができる。

　エッジ検出部２０９は、このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値に基づいて各画素対応のエッジ情報（エッジ方向とエッジ強度）を取得する。取得したエッジ情報はブレンド処理部２１１に出力される。
　なお、上述のエッジの方向・強度検出方法は一例であり、他のエッジ検出方法を用いた構成としてもよい。例えば、図９を参照して説明したエッジ検出方法は極めて狭い範囲の特定の画素値情報を用いており、ノイズが大きいときには誤判定を起こすことが予想される。この誤判定を防止したエッジ情報の取得処理例について、図１０を参照して説明する。

　図１０に示すエッジ情報取得処理例は、図９を参照して説明した算出値である勾配絶対値平均を加重加算する処理を用いた手法である。図１０には、
　（１）水平・垂直成分エッジ情報取得処理例
　（２）斜め成分エッジ情報取得処理例
　これらの各処理例を示している。

　図１０（１）、(２)には７×７画素の画像データを示している。このデータは、エッジ検出部２０９が処理対象とするデータであり、図９に示すと同様、Ｗ画素値のみが離散的に配列されたデータである。この７×７画素の中心に位置する中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を求める。

　図１０（１）に示す水平・垂直成分エッジ情報取得処理例について説明する。図１０（１）には１６個のエッジ重心を示している。これらは、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示すエッジ重心に対応する。すなわち、
　ｇｒａｄＨ：水平方向の勾配絶対値平均
　ｇｒａｄＶ：垂直方向の勾配絶対値平均
　これらの値を算出する際のエッジ重心に対応する。

　図１０（１）に示す７×７画素領域に、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４画素領域を設定する。設定可能な４×４画素領域は、図に示す左上端の４×４画素領域３０２から右下端の４×４画素領域３０４まで１６個ある。図１０（１）に示す１６個のエッジ重心は、これら１６個の４×４画素領域に対応するエッジ重心、すなわち、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示すと同様の位置のエッジ重心である。

　水平軸をｉ、垂直軸をｊとして、図に示す０，１，２，３のスケールを設定し、エッジ重心の座標位置を（ｉ，ｊ）として表記した場合、エッジ重心（０，０）３０１は、４×４の画素領域３０２に対応するエッジ重心となる。４×４の画素領域３０２を図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４の画素領域とした場合、エッジ重心（０，０）３０１は、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す重心に対応する。

　また、エッジ重心（３，３）３０３は、４×４の画素領域３０４に対応して設定されるエッジ重心である。４×４の画素領域３０４を図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４の画素領域とした場合、エッジ重心（３，３）３０３は、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す重心に対応する。

　図１０（１）に示す７×７画素領域には、４×４の画素領域とエッジ重心の組が１６個設定される。これら１６個の組に対して、図９（ａ１），（ａ２），（ｂ１），（ｂ２）を参照して説明した算出式を用いることで、
　ｇｒａｄＨ：水平方向の勾配絶対値平均
　ｇｒａｄＶ：垂直方向の勾配絶対値平均
　これらの値をそれぞれ１６個ずつ算出することができる。

　エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＨ）、（ｇｒａｄＶ）を、それぞれ、
　ｇｒａｄＨ_ｉ，ｊ
　ｇｒａｄＶ_ｉ，ｊ
　として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　これらを、以下の算出式（式４）を用いて算出する。

　　　　　・・・（式４）

　上記式においてｗ_ｉｊは、（ｉ，ｊ）位置のエッジ重心に対応する重み係数である。重み係数は、例えば図１０（１）に示すように、中心部を大きく周辺部を小さくした係数として設定される。図１０（１）には重み係数の一例として（４／３６）～（１／３６）の重み係数を１６個のエッジ重心に対応付けた例を示している。

　次に、図１０（２）に示す斜め成分エッジ情報取得処理例について説明する。図１０（２）には２５個のエッジ重心を示している。これらは、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すエッジ重心に対応する。すなわち、
　ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
　ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
　これらの値を算出する際のエッジ重心に対応する。

　７×７画素領域に、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４画素領域を設定する。設定可能な４×４画素領域は、図に示す左上端の４×４画素領域３１２から右下端の４×４画素領域３１４まで１６個ある。図１０（２）に示す２５個のエッジ重心中、図１０（２）に示す点線矩形枠３１５内の１６個のエッジ重心は、これら１６個の４×４画素領域に対応するエッジ重心、すなわち、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すと同様の位置のエッジ重心である。

　水平軸をｉ、垂直軸をｊとして、図に示す０，１，２，３，４のスケールを設定し、エッジ重心の座標位置を（ｉ，ｊ）として表記した場合、エッジ重心（１，１）３１１は、４×４の画素領域３１２に対応するエッジ重心となる。４×４の画素領域３１２を図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４の画素領域とした場合、エッジ重心（１，１）３１１は、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す重心に対応する。

　また、エッジ重心（４，４）３１３は、４×４の画素領域３１４に対応して設定されるエッジ重心である。４×４の画素領域３１４を図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４の画素領域とした場合、エッジ重心（４，４）３１３は、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す重心に対応する。

　図１０（２）には点線矩形枠３１５の外側にもエッジ重心を示している。ｉ＝０、ｊ＝０の位置にある、
　（ｉ，ｊ）＝（０，０）～（０，４）と、（１，０）～（４，０）
　これらのエッジ重心である。
　図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すように、
　ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
　ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
　これらの値を算出する最に利用する画素位置は、エッジ重心周りの８画素のみである。従って、図１０（２）に示すｉ＝０、ｊ＝０の位置にエッジ重心を設定した場合でも、ｇｒａｄＡ、ｇｒａｄＶを算出することができる。

　従って、７×７画素領域を用いて、異なる位置にエッジ重心を設定した算出可能なｇｒａｄＡ、ｇｒａｄＤは図１０（２）に示す２５個のエッジ重心位置に対応する２５個のデータとなる。

　図１０（２）に示す７×７画素領域から、図９（ａ３），（ａ４），（ｂ３），（ｂ４）を参照して説明した算出式を用いることで、
　ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
　ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
　これらの値をそれぞれ２５個ずつ算出することができる。

　エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＡ）、（ｇｒａｄＤ）を、それぞれ、
　ｇｒａｄＡ_ｉ，ｊ
　ｇｒａｄＤ_ｉ，ｊ
　として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらを、以下の算出式（式５）を用いて算出する。

　　　　　・・・（式５）

　上記式においてｗ_ｉｊは、（ｉ，ｊ）位置のエッジ重心に対応する重み係数である。重み係数は、例えば図１０（２）に示すように、中心部を大きく周辺部を小さくした係数として設定される。図１０（２）には重み係数の一例として（１６／１００）～（１／１００）の重み係数を２５個のエッジ重心に対応付けた例を示している。

　図１０を参照して説明した処理によって算出したエッジ情報、すなわち、
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらのｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤは、７×７画素領域に含まれる多数の画素値（Ｗ画素値）を利用して算出されたエッジ情報である。
　従って、図９を参照して説明した少数の画素情報を適用して算出したエッジ情報に比較して、ノイズ等による誤った結果を発生させる可能性が低減される。
　なお、上記式および図１０に示す重み係数ｗ_ｉｊの設定例は一例であり、他の平均化係数を用いることも可能である。

　なお、図１０を参照して説明した例は、７×７画素の領域を用いて勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する処理例であるが、例えば、図１１に示すように、５×５画素の領域を用いて勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する構成としてもよい。
　すなわち、データ変換処理部２００に入力する７×７画素の画素領域の中心部の５×５画素の画素領域を抽出してエッジ検出を行う構成としてもよい。この処理例について図１１を参照して説明する。

　図１１には、図１０と同様、
　（１）水平・垂直成分エッジ情報取得処理例
　（２）斜め成分エッジ情報取得処理例
　これらの各処理例を示している。

　図１１（１）、(２)には５×５画素の画像データを示している。このデータは、エッジ検出部２０９が処理対象とするデータであり、図９に示すと同様、Ｗ画素値のみが離散的に配列されたデータである。この５×５画素の中心に位置する中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を求める。

　図１１（１）に示す（１）水平・垂直成分エッジ情報取得処理例について説明する。図１１（１）に示す５×５画素領域には、４×４の画素領域とエッジ重心の組が４個設定される。これら４個の組に対して、図９（ａ１），（ａ２），（ｂ１），（ｂ２）を参照して説明した算出式を用いることで、
　ｇｒａｄＨ：水平方向の勾配絶対値平均
　ｇｒａｄＶ：垂直方向の勾配絶対値平均
　これらの値をそれぞれ４個ずつ算出することができる。

　エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＨ）、（ｇｒａｄＶ）を、それぞれ、
　ｇｒａｄＨ_ｉ，ｊ
　ｇｒａｄＶ_ｉ，ｊ
　として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　これらを、前述した式（式４）を用いて算出する。

　次に、図１１（２）に示す斜め成分エッジ情報取得処理例について説明する。図１１（２）には９個のエッジ重心を示している。これらは、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すエッジ重心に対応する。すなわち、
　ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
　ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
　これらの値を算出する際のエッジ重心に対応する。

　図１１（２）に示す５×５画素領域から、図９（ａ３），（ａ４），（ｂ３），（ｂ４）を参照して説明した算出式を用いることで、
　ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
　ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
　これらの値をそれぞれ９個ずつ算出することができる。

　エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＡ）、（ｇｒａｄＤ）を、それぞれ、
　ｇｒａｄＡ_ｉ，ｊ
　ｇｒａｄＤ_ｉ，ｊ
　として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらを、前述の算出式（式５）を用いて算出する。

　このように、勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する処理においては、７×７画素領域、あるいは５×５画素領域など、様々な領域を利用することが可能である。

　エッジ検出部２０９は、このようにして求めたエッジ情報、すなわち、
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）をブレンド処理部２１１、および複数の画素補間パラメータ算出部に出力する。

　　（３－３．テクスチャ検出部の処理について）
　次に、テクスチャ検出部２１０の処理について説明する。テクスチャ検出部２１０は、入力信号であるＲＧＢＷ配列に含まれる離散的なホワイト（Ｗ）画素を用いてテクスチャの検出処理を実行する。すなわち、各画素対応のテクスチャ情報を検出して検出情報をブレンド処理部２１１に出力する。
　具体的には、各画素の近傍画像領域がテクスチャの多い（平坦度の低い）画像であるか、テクスチャの少ない（平坦度の高い）画像であるかを検出してこの検出情報を各画素対応のテクスチャ情報としてブレンド処理部２１１に出力する。

　テクスチャ検出部２１０の処理について、図１２以下を参照して説明する。
　テクスチャ検出部２１０は、前述したように、データ変換処理部２００に対する入力単位である７×７画素の画素領域の中心部の５×５画素の領域を抽出して、抽出した５×５画素の領域を処理単位として処理を行う。処理単位（５×５画素）毎にＷ画素の平均値Ｗａｖｅを算出する。

　Ｗ画素平均値Ｗａｖｅの算出処理には例えば平滑化フィルタを用いる。入力画素単位の中心がＷ画素の場合は、図１２に示すような係数を設定したフィルタでＷ画素の平均値Ｗａｖｅを求め、入力画素単位の中心がＷ画素でない場合は、図１３に示すような係数を設定したフィルタでＷ画素の平均値Ｗａｖｅを求める。

　図１２を参照して入力画素単位の中心がＷ画素の場合の処理について説明する。中心画素がＷ画素となる５×５画素の処理単位３２１のＷ画素位置を中心とする９画素中のＷ画素値に、フィルタ３２２の対応画素位置のフィルタ係数を乗算する。さらに各乗算結果の加算値を算出する。この加算結果をＷ信号の平均値Ｗａｖｅとする。この平均値Ｗａｖｅは、処理単位３２１の中心Ｗ画素に対する平均値Ｗａｖｅとして算出される。テクスチャ検出部２１０は、さらにこの画素対応の平均値Ｗａｖｅを用いて、中心Ｗ画素に対応するテクスチャ度合いの指標値としての平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。この算出処理については後述する。

　なお、図１２に示すフィルタ３２２のフィルタ係数は、５×５画素の処理単位３２１の中心Ｗ画素～周囲Ｗ画素について（４／８～１／８）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよく、いわゆるローパスフィルタであれば係数はこの限りではない。また、９画素より広い領域を利用した構成としてもよい。

　次に、図１３を参照して入力画素単位の中心がＷ画素以外の場合の処理について説明する。中心画素がＷ画素以外となる５×５画素の処理単位３３１の中心画素位置を中心とする９画素中のＷ画素値に、フィルタ３３２の対応画素位置のフィルタ係数を乗算する。さらに各乗算結果の加算値を算出する。この加算結果をＷ信号の平均値Ｗａｖｅとする。算出された平均値Ｗａｖｅは、処理単位３３１の中心画素（ＲＧＢのいずれか）に対する平均値Ｗａｖｅとして算出される。

　なお、図１３に示すフィルタ３３２のフィルタ係数は、５×５画素の処理単位３３１の中心画素周りの周囲Ｗ画素について各々（１／４）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよく、いわゆるローパスフィルタであれば係数はこの限りではない。また、９画素より広い領域を利用した構成としてもよい。

　テクスチャ検出部２１０は、このようにして、入力画素単位の中心画素がＷ画素であるかＷ画素以外のＲＧＢ画素であるかに応じて、図１２に示すフィルタ３２２、または図１３に示すフィルタ３３２を適用して入力画素単位の中心画素対応のＷ画素平均値Ｗａｖｅを算出する。

　テクスチャ検出部２１０は、算出したＷ画素平均値Ｗａｖｅを用いて、中心画素ｐ＝（ｘ，ｙ）に対応するテクスチャ度：Ｗ_ＴＸ（ｐ）を以下の算出式（式６）を用いて算出する。

　　　　　・・・（式６）

　上記式（式６）において、
　Ωｐは、処理対象データである処理単位（５×５画素）に含まれる画素の集合、
　Ｉ（ｑ）はその画素値、
　Ｉａｖｅ（ｐ）は、図１２または図１３のフィルタを適用して算出されるＷ画素平均値（Ｗａｖｅと同一値）、
　φ（ｒ）は、予め規定した重み関数、
　である。

　なお、関数φ（ｒ）は、一般的には指数関数を用いる。しかし、演算量を抑えるために、先に説明した図７（３）に示すような線形近似した関数を利用してもよい。
　図７（３）に示す線形近似は、閾値としてＴｈ１＝２．０、Ｔｈ２＝３．０を設定し、
　　ｒ＝０～Ｔｈ１（２．０）→φ（ｒ）＝１．０
　　ｒ＝Ｔｈ１（２．０）～Ｔｈ２（３．０）→φ（ｒ）＝１．０～０（線形変化）
　　ｒ＝Ｔｈ２以上→φ（ｒ）＝０
　このような設定の線形近似例である。
　さらに、テクスチャ検出部２１０は、上記式に従って算出した中心画素ｐに対応するテクスチャ度：Ｗ_ＴＸ（ｐ）を適用して、以下の式（式７）に従って中心画素ｐ＝（ｘ，ｙ）に対応する平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。
　ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆ_ｆｌａｔ（Ｗ_ＴＸ（ｐ））
　　　　　・・・（式７）

　上記式（式７）において、
　ｆ_ｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数を用いることができる。
　図１４に示す線形近似関数は、閾値として０＜Ｔｈ０（ＦＬＡＴ＿ＬＩＭＩＴ０）＜Ｔｈ１（ＦＬＡＴ＿ＬＩＭＩＴ１）＜１を設定し、
　　ｒ＝０～Ｔｈ０→ｆ_ｆｌａｔ（ｒ）＝０
　　ｒ＝Ｔｈ０～Ｔｈ１→ｆ_ｆｌａｔ（ｒ）＝０～１．０（線形変化）
　　ｒ＝Ｔｈ１以上→ｆ_ｆｌａｔ（ｒ）＝１
　このような設定とした線形近似関数である。

　なお、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が小さいほど、平坦度が低くテクスチャが多い画像領域であり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が大きいほど、平坦度が高くテクスチャが少ない画像領域である可能性が高いことを示す。

　テクスチャ検出部２１０は、このようにして算出した平坦度重み（ｗｅｉｇｈｔＦｌａｔ）をブレンド処理部２１１に出力する。

　　（３－４．画素補間パラメータ算出部の処理について）
　次に、図６のデータ変換処理部２００内の第１～第５画素補間パラメータ算出部２０２，２０４，２０５，２０７，２０８、および、第１～第２仮画素設定部２０３，２０６の処理について説明する。これらの各部は以下の処理を実行する。

　第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、Ｗ画素をＧ画素に変換する処理に適用するパラメータの算出処理を実行する。
　第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、Ｇ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＧ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する。
　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
　第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、Ｒ画素またはＢ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＲまたはＢ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する
　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＢ画素に、またはＢ画素をＲ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素をＢ画素に、またはＢ画素をＲ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。

　　（３－４－１．第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理）
　まず、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理について説明する。第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、ＲＧＢＷ配列１８１のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータを算出する。

　なお、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、７×７の画素領域を処理単位（入力画素単位）として処理を行う。

　第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、まず、処理単位の７×７画素領域におけるＷ信号の低周波成分ｍＷを求める。
　図１５に示すように、７×７画素の入力画素単位４０１に対して図１５に示すフィルタ４１１を適用して、７×７画素の入力画素単位４０１に対応する低周波成分ｍＷを算出する。ここでＧ画素に変換する対象となるＷ画素は、７×７画素の入力画素単位４０１の中心にある変換対象画素４０２である。図１５に示す入力画素単位４０１においてグレーで示す画素がＷ画素である。その他はＲＧＢ画素である。同様に、図１５に示すフィルタ４１１においてグレーで示す画素がＷ画素対応位置である。その他はＲＧＢ画素対応位置である。なお、以下の図面においてもＷ画素またはＷ画素対応位置はグレーで示し、ＲＧＢ画素位置または対応位置は白で示す。

　フィルタ４１１は、変換対象画素対応位置４１２のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタである。係数として（１６／１２８～１／１２８）の各係数を設定している。このフィルタ４１１を適用して、低周波成分ｍＷを算出する。７×７画素の入力画素単位４０１のＷ画素位置の画素値に、フィルタ４１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。

　なお、図１５に示すフィルタ４１１のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。図１５に示すフィルタ例の他、例えばローパス特性を持つ他の平滑化フィルタを用いることも可能である。

　さらに、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、処理単位の７×７画素領域におけるＷ信号の高周波成分ｗを求める。
　図１６に示すように、７×７画素の入力画素単位４０１に対して図１６に示すフィルタ４１５を適用して、７×７画素の入力画素単位４０１に対応する高周波成分ｗを算出する。Ｇ画素に変換する対象となるＷ画素は、７×７画素の入力画素単位４０１の中心にある変換対象画素４０２である。

　フィルタ４１５は、変換対象画素対応位置４１６のフィルタ係数のみ１に設定されたフィルタである。このフィルタ４１６を適用して、高周波成分ｗを算出する。７×７画素の入力画素単位４０１のＷ画素位置の画素値に、フィルタ４１５の対応画素位置のフィルタ係数を乗算してＷ信号の高周波成分ｗを算出する。

　次に、図１７を参照してＧ信号の低周波成分ｍＧの算出処理について説明する。Ｇ信号の低周波成分ｍＧの算出処理においては、７×７画素の入力画素単位４０１の構成およびエッジ方向に応じて異なるフィルタを適用する。

　具体的には、図１７に示すように、
　（ａ）入力画素単位４０１の中心Ｗ画素の左にＧ画素がある場合
　（ｂ）入力画素単位４０１の中心Ｗ画素の右にＧ画素がある場合
　これらの２種類のパターンに応じて、図１７に示すフィルタ４２１，４２２を使い分ける。

　これらのフィルタの適用により、７×７画素の入力信号４０１に対応する低周波成分ｍＧを算出する。ここでＧ画素に変換する対象となるＷ画素は、７×７画素の入力信号４０１の中心にある変換対象画素４０２である。

　（ａ）入力画素単位４０１の中心Ｗ画素の左にＧ画素がある場合は、図１７（ａ）に示すような係数設定のフィルタ４２１を適用して、Ｇ信号の低周波成分ｍＧを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２１の中心は、変換対象画素対応位置４２３である。入力画素単位４０１の中心Ｗ画素の左にＧ画素がある場合、変換対象画素対応位置４２３の直近の左側のＧ画素位置のフィルタ係数の重みを大きく設定し、これらのＧ画素の画素値の変換値に対する影響度を高める構成としている。

　（ｂ）入力画素単位４０１の中心Ｗ画素の右にＧ画素がある場合は、図１７（ｂ）に示すような係数設定のフィルタ４２２を適用して、Ｇ信号の低周波成分ｍＧを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２２の中心は、変換対象画素対応位置４２４である。入力画素単位４０１の中心Ｗ画素の右にＧ画素がある場合、変換対象画素対応位置４２３の直近の右側のＧ画素位置のフィルタ係数の重みを大きく設定し、これらのＧ画素の画素値の変換値に対する影響度を高める構成としている。

　適用するフィルタのいずれも、変換対象画素対応位置に近いＧ画素対応位置のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタとして設定される。係数として（１／６４～１２／６４）の各係数を設定している。これらのフィルタ４２１，４２２のいずれかを適用して、低周波成分ｍＧを算出する。７×７画素の入力画素単位４０１のＧ画素位置の画素値に、フィルタ４２１，４２２のいずれかのフィルタ係数を乗算して、各乗算結果の加算値をＧ信号の低周波成分ｍＧとして算出する。

　なお、図１７に示すフィルタ４２１，４２２のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。

　第１画素補間パラメータ算出部２０２は、このように、Ｇ画素への変換対象となるＷ画素を中心画素として持つ７×７画素領域を処理単位として、Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧとＷ信号の高周波成分ｗを算出する。

　このようにして算出されたｍＷとｍＧの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるＷとＧの画素値比率の対応関係は図１８のグラフに示す対応関係となる。図１８のグラフは横軸がＷ画素値、縦軸がＧ画素値である。画像の特定の狭い局所領域では、このＷ画素値とＧ画素値の比率は一定であるとすると、図１８に示す直線（ラインＬ１)のような比例関係にあると仮定できる。

　この仮定に従うと、入力画素単位４０１の中心Ｗ画素、すなわち、変換対象画素位置のＷ信号の画素値をｗ（＝高周波成分）とした場合、その変換対象画素位置に設定すべきＧ信号の画素値ＧｏｎＷは、以下の式に従って算出できる。
　ＧｏｎＷ＝（ｍＧ／ｍＷ）ｗ
　これは、Ｗ画素値とＧ画素値の局所領域では比率が一定であることを仮定した画素値推定方法である。

　なお、ｍＷは、図１５を参照して説明した処理によって算出されるＷ信号の低周波成分ｍＷである。
　ｍＧは、図１７を参照して説明した処理によって算出されるＧ信号の低周波成分ｍＧである。ｍＧは、入力画素単位４０１の構成、エッジ方向に応じて異なる値が適用される。

　図１８に示す直線（ラインＬ１)は、Ｗ画素値とＧ画素値の局所領域では比率が一定であることの仮定に基づくラインである。画素値変換処理に際してコントラスト強調処理を実行する場合は、図１８に示す直線（ラインＬ２)のようなラインを適用してもよい。ｋは、コントラスト強調処理調整パラメータである。

　コントラスト強調処理を適用する場合の変換対象Ｗ画素に設定するＧ画素の画素値は以下のように算出する。
　変換対象画素位置のＷ信号の画素値をｗ、変換対象画素位置に設定すべきＧ信号の画素値をＧｏｎＷとする。変換後のＧ画素値ＧｏｎＷは以下の式に従って算出できる。
　ＧｏｎＷ＝ｆ_{ｃｏｎｔｒａｓｔ}（ｍＧ，ｍＷ，ｗ，ｋ）
　ｆ_{ｃｏｎｔｒａｓｔ}（ｍＧ，ｍＷ，ｗ，ｋ）
　＝ｋ（ｍＧ／ｍＷ）（ｗ－ｍＷ）＋ｍＧ）・・・（≧０）
　＝０・・・（＜０）

　なお、ｋはコントラスト強調処理調整パラメータ（ｋ＝１でコントラスト強調なし）である。
　ｍＷは、図１５を参照して説明した処理によって算出されるＷ信号の低周波成分ｍＷである。
　ｍＧは、図１７を参照して説明した処理によって算出されるＧ信号の低周波成分ｍＧである。なおｍＧは、中心Ｗ画素の左にＧ画素がある場合と、中心Ｗ画素の右にＧ画素がある場合とでは図１７（ａ），（ｂ）に示す異なるフィルタを用いて算出される。

　このように、第１画素補間パラメータ算出部２０２は、ＲＧＢＷ配列におけるＷ画素をＧ画素に変換するために適用する補間パラメータとして、以下のパラメータを算出する。
　Ｗ信号の低周波成分ｍＷ、
　Ｗ信号の高周波成分ｗ、
　Ｇ信号の低周波成分ｍＧ
　これらのパラメータは、処理対象とする７×７画素の中心部の１画素のＷ画素に対応するパラメータである。第１画素補間パラメータ算出部２０２は、入力するＲＧＢＷ配列に含まれるＷ画素について同様の処理を実行して、各Ｗ画素に対する上記パラメータを算出する。これらの算出パラメータは、図６に示すブレンド処理部２１１に
出力される。

　ブレンド処理部は、これらのパラメータと、テクスチャ検出部２１０等から出力されるデータを用いて、ＲＧＢＷ配列に含まれるＷ画素の位置に設定するＧ画素値（ＧｏｎＷ）を以下の式に従って算出する。
　ＧｏｎＷ＝（ｗｅｉｇｈｔＦｌａｔ）（ｍＧ／ｍＷ）ｗ＋（１－ｗｅｉｇｈｔＦｌａｔ）（ｋ（ｍＧ／ｍＷ）（ｗ－ｍＷ）＋ｍＧ）

　なお、上記式において、
　ｍＷ：Ｗ信号の低周波成分ｍＷ、
　ｗ：Ｗ信号の高周波成分ｗ、
　ｍＧ：Ｇ信号の低周波成分ｍＧ
　ｗｅｉｇｈｔＦｌａｔ：平坦度重み
　ｋ：コントラスト強調処理調整パラメータ（ｋ＝１でコントラスト強調なし（図１８参照））

　なお、ｗｅｉｇｈｔＦｌａｔは、テクスチャ検出部２１０の検出する平坦度重みであり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が小さいほど、平坦度が低くテクスチャが多い画像領域であり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が大きいほど、平坦度が高くテクスチャが少ない画像領域である可能性が高い。
　コントラスト強調処理調整パラメータ（ｋ）は、予め設定済みの値を用いるか、あるいはユーザによる入力値を用いるなど、様々な設定が可能である。

　　（３－４－２．第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理）
　次に、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理について説明する。第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図６に示す構成図から理解されるように、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の前段に設定されている。

　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５はいずれもＧ画素をＲまたはＢ画素に変換するためのパラメータを算出する。第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、これらの処理に先行して、ＲＢ画素に隣接するＷ画素位置を仮のＲ画素（Ｒ'）またはＢ画素（Ｂ'）に変換する処理を実行する。

　第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、まず、処理単位の７×７画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。

　図１９に示すように、７×７画素の入力画素単位５０１に対して図１９に示すフィルタ５１１を適用して、７×７画素の入力画素単位５０１に対応するＷ信号の低周波成分ｍＷを求める。
　さらに、図２０に示すように、７×７画素の入力画素単位５０１に対して図２０に示すフィルタ５１３，５１５を適用して、７×７画素の入力画素単位５０１の中央の変換対象画素５０２に対応するＲ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。

　図１９、図２０に示す７×７画素の入力画素単位５０１の中心画素が変換対象画素５０２である。この場合は、入力画素単位５０１は、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５に対する入力であり、これらは、Ｇ画素をＲまたはＢ画素に変換するためのパラメータを算出する処理部であるので、入力画素単位５０１の中心画素である変換対象画素５０２はＧ画素である。

　図１９に示すＷ信号の低周波成分ｍＷを求めるフィルタ５１１は、変換対象画素対応位置５１２を中心とした７×７画素のフィルタであり、係数設定部はＷ画素対応位置である。フィルタ５１１のＷ画素対応位置には係数として（２／１２８～１２／１２８）の各係数を設定している。７×７画素の入力画素単位５０１のＷ画素位置の各画素値に、フィルタ５１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値を、Ｗ信号の低周波成分ｍＷとして算出する。

　図２０上段に示すＲ信号の低周波成分ｍＲを求めるフィルタ５１３は、変換対象画素対応位置５１４を中心とした７×７画素のフィルタであり、係数設定部はＲ画素対応位置である。フィルタ５１３のＲ画素対応位置には係数として（１／３２～９／３２）の各係数を設定している。７×７画素の入力画素単位５０１のＲ画素位置の各画素値に、フィルタ５１３の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値を、Ｒ信号の低周波成分ｍＲとして算出する。

　図２０下段に示すＢ信号の低周波成分ｍＢを求めるフィルタ５１５は、変換対象画素対応位置５１６を中心とした７×７画素のフィルタであり、係数設定部はＢ画素対応位置である。フィルタ５１５のＢ画素対応位置には係数として（１／３２～９／３２）の各係数を設定している。７×７画素の入力画素単位５０１のＢ画素位置の各画素値に、フィルタ５１５の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値を、Ｂ信号の低周波成分ｍＢとして算出する。

　次に、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図２１に示すように、７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。

　図２１に示すように、７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置は４つある。これらのＷ画素位置のＲ画素値とＢ画素値を推定する。推定処理は、先に図１８を参照して説明したように、ｍＷとｍＲ、またはｍＷとｍＢの比率が画像内の局所領域において保たれるとの仮定に基づいて行う。

　このような過程に基づくと、図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）は以下のように推定することができる。
　Ｒ_２３'＝（ｍＲ／ｍＷ）ｗ_２３、
　Ｒ_３２'＝（ｍＲ／ｍＷ）ｗ_３２、
　Ｒ_４３'＝（ｍＲ／ｍＷ）ｗ_４３、
　Ｒ_３４'＝（ｍＲ／ｍＷ）ｗ_３４、
　なお、ｗ_２３、ｗ_３２、ｗ_４３、ｗ_３４は図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。

　同様に、図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂ_ｘｙ'＝Ｂ_２３'，Ｂ_３２'，Ｂ_４３'，Ｂ_３４'）は以下のように推定することができる。
　Ｂ_２３'＝（ｍＢ／ｍＷ）ｗ_２３、
　Ｂ_３２'＝（ｍＢ／ｍＷ）ｗ_３２、
　Ｂ_４３'＝（ｍＢ／ｍＷ）ｗ_４３、
　Ｂ_３４'＝（ｍＢ／ｍＷ）ｗ_３４、
　なお、ｗ_２３、ｗ_３２、ｗ_４３、ｗ_３４は図に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。

　このように、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定して、これらを第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５に提供する。

　　（３－４－３．第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理）
　次に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理について説明する。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータ等を算出する。

　エッジ検出部２０９は、前述したように、
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、変換対象とするＧ画素対応のこれらのエッジ情報を入力する。

　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、変換対象とするＧ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＨとｄｉｒＶを比較して、比較結果に応じて縦または横エッジ対応のパラメータを算出する。算出するパラメータは、Ｇ画素をＲ画素、またはＢ画素に変換する補間パラメータである。

　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、７×７画素の入力画素単位５０１のエッジ方向に応じて、７×７画素の入力画素単位５０１の中央位置にある変換対象画素５０２に対応する高周波成分を算出する。エッジ方向情報は、エッジ検出部２０９から入力する。

　エッジ検出部２０９から入力するｄｉｒＨ（水平勾配情報）と、ｄｉｒＶ（垂直勾配情）の大小を比較して、７×７画素の入力画素単位５０１のエッジ方向が横方向であるか縦方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、７×７画素の入力画素単位５０１の中央位置にある変換対象画素５０２は元々Ｇ画素である。

　７×７画素の入力画素単位５０１の中央位置にある変換対象画素５０２に対応する高周波成分を推定する処理について図２２、図２３を参照して説明する。

　７×７画素の入力画素単位５０１のエッジ方向が横方向である場合は、
　図２２（ａ）に示すように、フィルタ５３１を適用して、中央位置の変換対象画素５０２の横に隣接する２つのＷ画素の画素値の平均を算出する。
　この平均値を横方向のエッジ方向を持つ変換対象画素５０２に対応する高周波成分（ｗ＿ｈ）として算出する。
　フィルタ５３１はエッジ方向（横方向）に平行なラインにフィルタ係数を設定したフィルタである。すなわち、画素値の変化の少ないと推定される方向の画素値のみを反映させるフィルタである。

　７×７画素の入力画素単位５０１のエッジ方向が縦方向である場合は、
　図２２（ｂ）に示すように、フィルタ５３２を適用して、中央位置の変換対象画素５０２の縦に隣接する２つのＷ画素の画素値の平均を算出する。
　この平均値を縦方向のエッジ方向を持つ変換対象画素５０２に対応する高周波成分（ｗ＿ｖ）として算出する。
　フィルタ５３２はエッジ方向（縦方向）に平行なラインにフィルタ係数を設定したフィルタである。すなわち、画素値の変化の少ないと推定される方向の画素値のみを反映させるフィルタである。
　なお、図２２の右端には、処理対象となる７×７画素の入力画素単位５０１のエッジ例を表現したイメージ図を示している。

　さらに、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、７×７画素の入力画素単位５０１のエッジ方向にかかわらず、すべての画素について、図２３（ｃ）に示すように、フィルタ５３３を適用して、中央位置の変換対象画素５０２の縦横に隣接する４つのＷ画素の画素値の平均を算出して、変換対象画素５０２に対応する高周波成分（ｗ＿ｎ）を算出する。
　フィルタ５３３は全方向に均等にフィルタ係数を設定したフィルタとして設定される。

　次に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。

　具体的には、Ｇ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＲｏｎＧ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＧ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　ＲｏｎＧｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）
　また、Ｇ画素をＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
　ＢｏｎＧ（Ｈ）＝（ｍＢ'／ｍＷ）（ｗ＿ｈ）
　ＢｏｎＧ（Ｖ）＝（ｍＢ'／ｍＷ）（ｗ＿ｖ）
　ＢｏｎＧｎ＝（ｍＢ'／ｍＷ）（ｗ＿ｎ）

　なお、ＲｏｎＧ（Ｈ）、ＢｏｎＧ（Ｈ）は、エッジ方向が横方向であると判定され、横方向エッジ対応高周波成分（ｗ＿ｈ）を算出した画素について算出するパラメータである。
　また、ＲｏｎＧ（Ｖ）、ＢｏｎＧ（Ｖ）は、エッジ方向が縦方向であると判定され、縦方向エッジ対応高周波成分（ｗ＿ｖ）を算出した画素について算出するパラメータである。
　ＲｏｎＧｎ、ＢｏｎＧｎは、エッジ方向に関わらず全画素に対応するパラメータとして算出する。

　なお、上記パラメータ算出式において、ｍＲ'は、先に説明した第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の算出した入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値を利用して算出した７×７画素の入力画素単位５０１に対応するＲ信号の低周波成分ｍＲの補正値ｍＲ'である。
　すなわち、図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）を適用して算出した７×７画素の入力画素単位５０１に対応するＲ信号の低周波成分補正値ｍＲ'である。

　同様に、ｍＢ'は、先に説明した第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の算出した入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値を利用して算出した７×７画素の入力画素単位５０１に対応するＢ信号の低周波成分ｍＢの補正値ｍＢ'である。
　すなわち、図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂ_ｘｙ'＝Ｂ_２３'，Ｂ_３２'，Ｂ_４３'，Ｂ_３４'）を適用して算出した７×７画素の入力画素単位５０１に対応するＢ信号の低周波成分補正値ｍＢ'である。

　７×７画素の入力画素単位５０１に対応するＲ信号の低周波成分補正値ｍＲ'と、Ｂ信号の低周波成分補正値ｍＢ'の算出処理例について、図２４を参照して説明する。

　図２４上段に示すＲ信号の補正低周波成分ｍＲ'を求めるフィルタ５５１は、変換対象画素対応位置５５２を中心とした７×７画素のフィルタであり、係数設定部は、入力ＲＧＢＷ配列画像のオリジナルのＲ画素対応位置と、先に説明した第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３がＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）を算出した位置である。

　先に図２１を参照して説明したように、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、変換対象画素対応位置５０２の周囲（上下左右）にある４つのＷ画素の位置に対応するＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）を推定している。

　７×７画素の入力画素単位５０１に対応するＲ信号の低周波成分補正値ｍＲ'の算出処理は、ＲＧＢＷ配列に本来含まれるＲ画素に加え、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の推定したＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）も利用して算出する。

　低周波成分補正値ｍＲ'の算出に際しては、７×７画素の入力画素単位５０１の本来のＲ画素位置の各Ｒ画素値と、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の推定したＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）の各々に、フィルタ５５１の対応画素位置のフィルタ係数を乗算する処理が行われる。各乗算結果の加算値がＲ信号の補正低周波成分ｍＲ'として算出される。

　同様に低周波成分補正値ｍＢ'の算出に際しては、７×７画素の入力画素単位５０１の本来のＢ画素位置の各Ｂ画素値と、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の推定したＲ画素値（Ｂ_ｘｙ'＝Ｂ_２３'，Ｂ_３２'，Ｂ_４３'，Ｂ_３４'）の各々に、フィルタ５５３の対応画素位置のフィルタ係数を乗算する処理が行われる。各乗算結果の加算値がＢ信号の補正低周波成分ｍＢ'として算出される。

　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の算出するパラメータ、すなわち、
　ＲｏｎＧ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＧ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　ＲｏｎＧｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）
　ＢｏｎＧ（Ｈ）＝（ｍＢ'／ｍＷ）（ｗ＿ｈ）
　ＢｏｎＧ（Ｖ）＝（ｍＢ'／ｍＷ）（ｗ＿ｖ）
　ＢｏｎＧｎ＝（ｍＢ'／ｍＷ）（ｗ＿ｎ）
　これらのパラメータは、
　図１９を参照して説明したと同様の処理によって算出したＷ信号の低周波成分ｍＷ、
　図２２～図２３を参照して説明した変換対象画素５０２に対応する高周波成分（ｗ＿ｈ），（ｗ＿ｖ），（ｗ＿ｎ）
　図２４を参照して説明したＲ信号の補正低周波成分ｍＲ'、Ｂ信号の補正低周波成分ｍＢ'、
　これらを用いて算出することができる。

　なお、図１９を参照して説明したＷ信号の低周波成分ｍＷは、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３において算出された値であり、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、この算出値をそのまま利用してもよいし、再度、図１９を参照して説明した処理と同様の処理を実行して再算出する構成としてもよい。

　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、算出した上記のパラメータをブレンド処理部２１１に出力する。ブレンド処理部２１１は、エッジ状態に応じてブレンド処理を実行し、７×７画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＲ画素に変換する際のＲ画素値を決定する。ブレンド処理部２１１の処理については後段で説明する。

　　（３－４－４．第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理）
　次に、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理について説明する。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータ等を算出する。

　エッジ検出部２０９は、前述したように、
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、変換対象とするＧ画素対応のこれらのエッジ情報を入力する。

　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、変換対象とするＧ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＡとｄｉｒＤを比較して、比較結果に応じた異なる処理を実行して斜めエッジ対応のパラメータを算出する。算出するパラメータは、Ｇ画素をＲ画素、またはＢ画素に変換する補間パラメータである。

　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、まず、７×７画素の入力画素単位５０１のエッジ方向に応じて、７×７画素の入力画素単位５０１の中央位置にある変換対象画素５０２に対応する高周波成分を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。

　エッジ検出部２０９から入力するｄｉｒＡ（右斜め上方向勾配情報）と、ｄｉｒＤ（左斜め上方向勾配情報）の大小を比較して、７×７画素の入力画素単位５０１のエッジ方向が右斜め上方向であるか左斜め上方向であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、７×７画素の入力画素単位５０１の中央位置にある変換対象画素５０２は元々Ｇ画素である。

　７×７画素の入力画素単位５０１のエッジ方向が右斜め上方向である場合と左斜め方向である場合とでは処理が異なる。
　まず、７×７画素の入力画素単位５０１のエッジ方向が右斜め上方向である場合の処理について説明する。
　７×７画素の入力画素単位５０１のエッジ方向が右斜め上方向である場合、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、７×７画素の入力画素単位５０１の中央位置にある変換対象画素５０２に対応する高周波成分を推定する。この処理について図２５を参照して説明する。

　７×７画素の入力画素単位５０１のエッジ方向が右斜め上方向である場合は、図２５に示すように、フィルタ５７１を適用して、中央位置の変換対象画素５０２の右斜め上から左斜め下方向の１２のＷ画素の画素値を適用して、変換対象画素５０２に対応する高周波成分（Ｗ＿ａ）を算出する。フィルタ５７１はエッジ方向（右斜め上）に平行なラインにフィルタ係数を設定し中心部の係数値を高くしたフィルタである。すなわち、画素値の変化の少ないと推定される方向の画素値のみを反映させるフィルタである。

　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、例えば図２５に示すフィルタ５７１を適用して算出した高周波成分（Ｗ＿ａ）を用いて、
　Ｇ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＲｏｎＧ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）
　また、Ｇ画素をＢ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＢｏｎＧ（Ａ）＝（ｍＢ'／ｍＷ）（ｗ＿ａ）

　これらのパラメータは、変換対象画素を中心画素として設定される７×７画素の入力画素単位５０１のエッジ方向が右斜め上方向であると判定された変換対象画素に対応するパラメータとして算出され、ブレンド処理部２１１に出力される。

　なお、上記パラメータ算出式において、
　ｍＷは、図１９を参照して説明した処理と同様の処理によって算出したＷ信号の低周波成分ｍＷ、
　ｗ＿ａは、図２５を参照して説明した変換対象画素５０２に対応する高周波成分（ｗ＿ａ）
　ｍＲ'，ｍＢ'は図２４を参照して説明したＲ信号の補正低周波成分ｍＲ'、Ｂ信号の補正低周波成分ｍＢ'、
　である。
　これらの各値は、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３において算出された値、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４において算出された値を用いてもよいし、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５において新たに算出してもよい。

　次に、７×７画素の入力画素単位５０１のエッジ方向が左斜め上方向である場合に、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の実行するパラメータ算出処理について、図２６を参照して説明する。

　７×７画素の入力画素単位５０１のエッジ方向が左斜め上方向である場合、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、図２６に示すように、７×７画素の入力画素単位５０１の中央位置にある変換対象画素５０２に対応するＧ信号の低周波成分ｍＧと、高周波成分ｇを算出する。

　Ｇ信号の低周波成分ｍＧの算出には、例えば図２６に示すフィルタ５８１を適用する。フィルタ５８１は７×７画素のＧ信号画素部分にフィルタ係数を設定したフィルタであり、中心部の係数を高く設定している。
　Ｇ信号の高周波成分ｇの算出には、例えば図２６に示すフィルタ５８２を適用する。フィルタ５８２は変換対象画素５０２の画素値を取得するフィルタ係数を設定したフィルタである。

　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、例えば図２６に示すフィルタ５８１，５８２を適用して算出したＧ信号の低周波成分ｍＧと、高周波成分ｇを用いて、
　Ｇ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＲｏｎＧ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　また、Ｇ画素をＢ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＢｏｎＧ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ

　これらのパラメータは、変換対象画素を中心画素として設定される７×７画素の入力画素単位５０１のエッジ方向が左斜め上方向であると判定された変換対象画素に対応するパラメータとして算出され、ブレンド処理部２１１に出力される。

　なお、上記パラメータ算出式において、
　ｍＧは、図２６を参照して説明したＧ信号の低周波成分ｍＧ、
　ｇは、図２６を参照して説明したＧ信号の高周波成分ｇ、
　ｍＲ'，ｍＢ'は図２４を参照して説明したＲ信号の補正低周波成分ｍＲ'、Ｂ信号の補正低周波成分ｍＢ'、
　である。

　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、このように、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
　ＲｏｎＧ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）
　ＲｏｎＧ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　ＢｏｎＧ（Ａ）＝（ｍＢ'／ｍＷ）（ｗ＿ａ）
　ＢｏｎＧ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ
　これらのパラメータを算出してブレンド処理部２１１に出力する。

　なお、本実施例においては、７×７画素の入力画素単位５０１のエッジ方向が左斜め上方向である場合のＧ画素位置のＲ画素値推定処理に際して、
　ＲｏｎＧ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　上記式を適用し、
　Ｇ画素位置のＢ画素値推定処理に際して、
　ＢｏｎＧ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ
　この式を適用している。これらは、Ｇ画素とＲ画素の相関からＲｏｎＧ（Ｄ）や、ＢｏｎＧ（Ｄ）を推定するものである。この理由は、左斜め上方向に対して、Ｇ画素とＲ画素の位相が揃っているために、偽色の発生を防ぐ効果が高まるためである。

　　（３－４－５．第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理）
　次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理について説明する。第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図６に示す構成図から理解されるように、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の前段に設定されている。

　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８はいずれもＲまたはＢ画素を同じＲまたはＢ画素に変換（補正）するためのパラメータを算出する。第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、これらの処理に先行して、ＲＢ画素に隣接するＷ画素位置を仮のＲ画素（Ｒ'）またはＢ画素（Ｂ'）に変換する処理を実行する。

　第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、まず、処理単位の７×７画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。

　Ｗ信号の低周波成分ｍＷの算出処理は、先に、図１９を参照して説明した第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理と同様の処理として行われる。
　さらに、図２７に示すように、７×７画素の入力画素単位６０１に対してフィルタ６１１，６１３を適用して、７×７画素の入力画素単位６０１の中央の変換対象画素６０２に対応するＲ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。

　図２７上段に示すＲ信号の低周波成分ｍＲを求めるフィルタ６１１は、変換対象画素対応位置６１２を中心とした７×７画素のフィルタであり、係数設定部はＲ画素対応位置である。フィルタ６１１のＲ画素対応位置には係数として（１／３２～９／３２）の各係数を設定している。７×７画素の入力画素単位６０１のＲ画素位置の各画素値に、フィルタ６１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値を、Ｒ信号の低周波成分ｍＲとして算出する。

　図２７下段に示すＢ信号の低周波成分ｍＢを求めるフィルタ６１３は、変換対象画素対応位置６１４を中心とした７×７画素のフィルタであり、係数設定部はＢ画素対応位置である。フィルタ６１３のＢ画素対応位置には係数として（１／３２～９／３２）の各係数を設定している。７×７画素の入力画素単位６０１のＢ画素位置の各画素値に、フィルタ６１３の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値を、Ｂ信号の低周波成分ｍＢとして算出する。

　次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、７×７画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。
　この処理は、先に図２１を参照して説明した第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理と同様の処理であり、説明を省略する。

　第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図２６に示す７×７画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）と、Ｂ画素値（Ｂ_ｘｙ'＝Ｂ_２３'，Ｂ_３２'，Ｂ_４３'，Ｂ_３４'）を以下のように推定する。
　Ｒ_２３'＝（ｍＲ／ｍＷ）ｗ_２３、
　Ｒ_３２'＝（ｍＲ／ｍＷ）ｗ_３２、
　Ｒ_４３'＝（ｍＲ／ｍＷ）ｗ_４３、
　Ｒ_３４'＝（ｍＲ／ｍＷ）ｗ_３４、
　Ｂ_２３'＝（ｍＢ／ｍＷ）ｗ_２３、
　Ｂ_３２'＝（ｍＢ／ｍＷ）ｗ_３２、
　Ｂ_４３'＝（ｍＢ／ｍＷ）ｗ_４３、
　Ｂ_３４'＝（ｍＢ／ｍＷ）ｗ_３４、
　なお、ｗ_２３、ｗ_３２、ｗ_４３、ｗ_３４は図に示す７×７画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。

　このように、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、７×７画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定して、これらを第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８に提供する。

　　（３－４－６．第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理）
　次に、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理について説明する。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＢ画素に、またはＢ画素をＲ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータ等を算出する。

　エッジ検出部２０９は、前述したように、
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、変換対象とするＲまたはＢ画素対応のこれらのエッジ情報を入力する。

　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、変換対象とするＲ／Ｂ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＨとｄｉｒＶを比較して、比較結果に応じて縦または横エッジ対応のパラメータ等を算出する。算出するパラメータは、Ｒ画素をＢ画素に、またはＢ画素をＲ画素に変換する処理に適用するパラメータである。

　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、まず、７×７画素の入力画素単位６０１のエッジ方向に応じて、７×７画素の入力画素単位６０１の中央位置にある変換対象画素６０２に対応する高周波成分を算出する。エッジ方向情報は、エッジ検出部２０９から入力する。

　エッジ検出部２０９から入力するｄｉｒＨ（水平勾配情報）と、ｄｉｒＶ（垂直勾配情）の大小を比較して、７×７画素の入力画素単位６０１のエッジ方向が横方向であるか縦方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、７×７画素の入力画素単位６０１の中央位置にある変換対象画素６０２は元々ＲまたはＢ画素である。

　この７×７画素の入力画素単位６０１の中央位置にある変換対象画素６０２に対応する高周波成分を推定する処理は、先に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理として図２２～図２３を参照して説明した処理と同様の処理であり、説明を省略する。

　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の算出する高周波成分データは以下の通りである。
　７×７画素の入力画素単位６０１のエッジ方向が横方向である場合は、例えば図２２（ａ）に示すフィルタ５３１を適用して横方向のエッジ方向を持つ変換対象画素６０２に対応する高周波成分（ｗ＿ｈ）を算出する。
　７×７画素の入力画素単位６０１のエッジ方向が縦方向である場合は、例えば図２２（ｂ）に示すフィルタ５３２を適用して縦方向のエッジ方向を持つ変換対象画素６０２に対応する高周波成分（ｗ＿ｖ）を算出する。
　さらに、エッジ方向に無関係に全ての画素について、例えば図２３（ｃ）に示すフィルタ５３３を適用して変換対象画素６０２に対応する高周波成分（ｗ＿ｎ）を算出する。

　次に、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＢ画素に、またはＢ画素をＲ画素に変換する処理に適用するパラメータを算出する。

　具体的には、Ｂ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＲｏｎＢ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＢ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　ＲｏｎＢｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）
　また、Ｒ画素をＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
　ＢｏｎＲ（Ｈ）＝（ｍＢ'／ｍＷ）（ｗ＿ｈ）
　ＢｏｎＲ（Ｖ）＝（ｍＢ'／ｍＷ）（ｗ＿ｖ）
　ＢｏｎＲｎ＝（ｍＢ'／ｍＷ）（ｗ＿ｎ）

　なお、ＲｏｎＢ（Ｈ）、ＢｏｎＲ（Ｈ）は、エッジ方向が横方向であると判定され、横方向エッジ対応高周波成分（ｗ＿ｈ）を算出した画素について算出するパラメータである。
　また、ＲｏｎＢ（Ｖ）、ＢｏｎＲ（Ｖ）は、エッジ方向が縦方向であると判定され、縦方向エッジ対応高周波成分（ｗ＿ｖ）を算出した画素について算出するパラメータである。
　ＲｏｎＢｎ、ＢｏｎＲｎは、エッジ方向に関わらず全画素に対応するパラメータとして算出する。

　なお、上記パラメータ算出式において、ｍＲ'は、先に説明した第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の算出した入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値を利用して算出した７×７画素の入力画素単位６０１に対応するＲ信号の低周波成分ｍＲの補正値ｍＲ'である。
　同様に、ｍＢ'は、先に説明した第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の算出した入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値を利用して算出した７×７画素の入力画素単位５０１に対応するＢ信号の低周波成分ｍＢの補正値ｍＢ'である。

　７×７画素の入力画素単位６０１に対応するＲ信号の低周波成分補正値ｍＲ'と、Ｂ信号の低周波成分補正値ｍＢ'の算出処理例について、図２８を参照して説明する。

　図２８上段に示すＲ信号の補正低周波成分ｍＲ'を求めるフィルタ６２１は、変換対象画素対応位置６２２を中心とした７×７画素のフィルタであり、係数設定部は、入力ＲＧＢＷ配列画像のオリジナルのＲ画素対応位置と、先に説明した第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６がＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）を算出した位置である。

　第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、変換対象画素対応位置６０２の周囲（上下左右）にある４つのＷ画素の位置に対応するＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）を推定している。

　７×７画素の入力画素単位６０１に対応するＲ信号の低周波成分補正値ｍＲ'の算出処理は、ＲＧＢＷ配列に本来含まれるＲ画素に加え、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の推定したＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）も利用して算出する。

　低周波成分補正値ｍＲ'の算出に際しては、７×７画素の入力画素単位６０１の本来のＲ画素位置の各Ｒ画素値と、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の推定したＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）の各々に、フィルタ６２１の対応画素位置のフィルタ係数を乗算する処理が行われる。各乗算結果の加算値がＲ信号の補正低周波成分ｍＲ'として算出される。

　同様に低周波成分補正値ｍＢ'の算出に際しては、７×７画素の入力画素単位６０１の本来のＢ画素位置の各Ｂ画素値と、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の推定したＲ画素値（Ｂ_ｘｙ'＝Ｂ_２３'，Ｂ_３２'，Ｂ_４３'，Ｂ_３４'）の各々に、フィルタ６２３の対応画素位置のフィルタ係数を乗算する処理が行われる。各乗算結果の加算値がＢ信号の補正低周波成分ｍＢ'として算出される。

　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の算出するパラメータ、すなわち、
　ＲｏｎＢ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＢ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　ＲｏｎＢｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）
　ＢｏｎＲ（Ｈ）＝（ｍＢ'／ｍＷ）（ｗ＿ｈ）
　ＢｏｎＲ（Ｖ）＝（ｍＢ'／ｍＷ）（ｗ＿ｖ）
　ＢｏｎＲｎ＝（ｍＢ'／ｍＷ）（ｗ＿ｎ）
　これらのパラメータは、
　図１９を参照して説明した処理と同様の処理によって算出したＷ信号の低周波成分ｍＷ、
　図２２～図２３を参照して説明した処理と同様の処理によって算出した高周波成分（ｗ＿ｈ），（ｗ＿ｖ），（ｗ＿ｎ）
　図２８を参照して説明したＲ信号の補正低周波成分ｍＲ'、Ｂ信号の補正低周波成分ｍＢ'、
　これらを用いて算出することができる。
　なお、Ｗ信号の低周波成分ｍＷ等、他の処理部において算出済みの値が適用できる場合は、その算出済みの値を利用してもよい。

　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、算出した上記のパラメータをブレンド処理部２１１に出力する。ブレンド処理部２１１は、エッジ状態に応じてブレンド処理を実行して、７×７画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＲまたはＢ画素の変換画素値を決定する。ブレンド処理部２１１の処理については後段で説明する。

　　（３－４－７．第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理）
　次に、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理について説明する。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素をＢ画素、またはＢ画素をＲ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータ等を算出する。

　エッジ検出部２０９は、前述したように、
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、変換対象とするＧ画素対応のこれらのエッジ情報を入力する。

　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、変換対象とするＧ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＡとｄｉｒＤを比較して、比較結果に応じた異なる処理を実行して斜めエッジ対応のパラメータを算出する。算出するパラメータは、Ｒ画素をＢ画素、またはＢ画素をＲ画素に変換する補間パラメータである。

　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、まず、例えば図２７、図２８に示す７×７画素の入力画素単位６０１のエッジ方向に応じて、７×７画素の入力画素単位６０１の中央位置にある変換対象画素６０２に対応する高周波成分を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。

　エッジ検出部２０９から入力するｄｉｒＡ（右斜め上方向勾配情報）と、ｄｉｒＤ（左斜め上方向勾配情報）の大小を比較して、７×７画素の入力画素単位６０１のエッジ方向が右斜め上方向であるか左斜め上方向であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、７×７画素の入力画素単位６０１の中央位置にある変換対象画素６０２はＲまたはＢ画素である。

　７×７画素の入力画素単位６０１のエッジ方向が右斜め上方向である場合と左斜め方向である場合とでは処理が異なる。
　まず、７×７画素の入力画素単位６０１のエッジ方向が右斜め上方向である場合の処理について説明する。
　この場合、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、先に第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理として図２５を参照して説明したと同様の処理により、７×７画素の入力画素単位の中央位置にある変換対象画素に対応する高周波成分（Ｗ＿ａ）を算出する。

　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、例えば図２５に示すフィルタ５７１を適用して算出した高周波成分（Ｗ＿ａ）を用いて、
　Ｂ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＲｏｎＢ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）
　また、Ｒ画素をＢ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＢｏｎＲ（Ａ）＝（ｍＢ'／ｍＷ）（ｗ＿ａ）

　これらのパラメータは、変換対象画素を中心画素として設定される７×７画素の入力画素単位６０１のエッジ方向が右斜め上方向であると判定された変換対象画素に対応するパラメータとして算出され、ブレンド処理部２１１に出力される。

　なお、上記パラメータ算出式において、
　ｍＷは、図１９を参照して説明した処理と同様の処理によって算出したＷ信号の低周波成分ｍＷ、
　ｗ＿ａは、図２５を参照して説明した変換対象画素５０２に対応する高周波成分（ｗ＿ａ）
　ｍＲ'，ｍＢ'は図２８を参照して説明したＲ信号の補正低周波成分ｍＲ'、Ｂ信号の補正低周波成分ｍＢ'、
　である。
　これらの各値は、他の処理部で算出済みの値を適用してもよいし、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８において新たに算出してもよい。

　次に、７×７画素の入力画素単位６０１のエッジ方向が左斜め上方向である場合に、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の実行するパラメータ算出処理について、図２９を参照して説明する。

　７×７画素の入力画素単位６０１のエッジ方向が左斜め上方向である場合、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、図２９に示すように、７×７画素の入力画素単位６０１の中央位置にある変換対象画素６０２に対応するＧ信号の低周波成分ｍＧと、高周波成分ｇを算出する。

　Ｇ信号の低周波成分ｍＧの算出には、例えば図２９に示すフィルタ６６１を適用する。フィルタ６６１は７×７画素のＧ信号画素部分にフィルタ係数を設定したフィルタであり、中心部の係数を高く設定している。
　Ｇ信号の高周波成分ｇの算出には、例えば図２９に示すフィルタ６６２を適用する。フィルタ６６２は変換対象画素６０２の左上と右下の画素値の平均、すなわちエッジ方向の画素値の平均を取得するフィルタ係数を設定したフィルタである。

　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、例えば図２９に示すフィルタ６６１，６６２を適用して算出したＧ信号の低周波成分ｍＧと、高周波成分ｇを用いて、
　Ｂ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＲｏｎＢ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　また、Ｒ画素をＢ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
　ＢｏｎＲ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ

　これらのパラメータは、変換対象画素を中心画素として設定される７×７画素の入力画素単位６０１のエッジ方向が左斜め上方向であると判定された変換対象画素に対応するパラメータとして算出され、ブレンド処理部２１１に出力される。

　なお、上記パラメータ算出式において、
　ｍＧは、図２９を参照して説明したＧ信号の低周波成分ｍＧ、
　ｇは、図２９を参照して説明したＧ信号の高周波成分ｇ、
　ｍＲ'，ｍＢ'は図２８を参照して説明したＲ信号の補正低周波成分ｍＲ'、Ｂ信号の補正低周波成分ｍＢ'、
　である。

　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、このように、斜めエッジ上のＢ画素をＲ画素、またはＲ画素をＢ画素に変換する処理に適用するパラメータ、すなわち、
　ＲｏｎＢ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）
　ＲｏｎＢ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　ＢｏｎＲ（Ａ）＝（ｍＢ'／ｍＷ）（ｗ＿ａ）
　ＢｏｎＲ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ
　これらのパラメータを算出してブレンド処理部２１１に出力する。

　なお、本実施例においては、７×７画素の入力画素単位６０１のエッジ方向が左斜め上方向である場合のＲ画素位置のＲ画素値、またはＢ画素位置のＢ画素値推定（補正）処理に際して、
　ＲｏｎＢ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　ＢｏｎＲ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ
　上記式を適用している。これらは、Ｇ画素とＲ画素の相関からＲｏｎＢ（Ｄ）や、ＢｏｎＲ（Ｄ）を推定するものである。この理由は、左斜め上方向に対して、Ｇ画素とＲ画素、Ｂ画素の位相が揃っているために、偽色の発生を防ぐ効果が高まるためである。

　　（３－５．ブレンド処理部の処理について）
　次に、ブレンド処理部２１１の処理について説明する。ブレンド処理部２１１は、第１～第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。

　エッジ検出部２０９から入力するエッジ情報は以下の情報である。
　ｄｉｒＨ：水平勾配情報
　ｄｉｒＶ：垂直勾配情報
　ｄｉｒＡ：右斜め上方向勾配情報
　ｄｉｒＤ：左斜め上方向勾配情報
　これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を入力する。

　また、テクスチャ検出部２１０から入力するテクスチャ情報は、先に説明した式（式７）に従って算出する以下の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）情報である。
　ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆ_ｆｌａｔ（Ｗ_ＴＸ（ｐ））・・・（式７）
　なお、前述したように、上記式（式７）において、ｆ_ｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数を用いることができる。図１４に示す線形近似関数は、閾値として０＜Ｔｈ０＜Ｔｈ１＜１を設定し、
　　ｒ＝０～Ｔｈ０→φ（ｒ）＝０
　　ｒ＝Ｔｈ０～Ｔｈ１→φ（ｒ）＝０～１．０（線形変化）
　　ｒ＝Ｔｈ１以上→φ（ｒ）＝１
　このような設定とした線形近似関数である。
　平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が小さいほど、平坦度が低くテクスチャが多い画像領域であり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が大きいほど、平坦度が高くテクスチャが少ない画像領域である可能性が高いことを示す。

　ブレンド処理部２１１は、これらの情報を入力して、ＲＧＢＷ配列をＲＧＢ配列に変換するための最終的な変換画素値を決定する。
　ブレンド処理部２１１の実行する処理シーケンスについて、図３０、図３１に示すフローチャートを参照して説明する。

　ブレンド処理部２１１は、まず、図３０に示すステップＳ１１において、画素単位のエッジ方向属性を判定する。
　ブレンド処理部２１１は、エッジ検出部２０９から入力する画素単位のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を用いて以下の判定式に従って、画素単位のエッジ方向属性を判定する。
　まず、ｄｉｒＨＶを以下のように定義する。
　ｄｉｒＨ≦ｄｉｒＶの場合、
　ｄｉｒＨＶ＝Ｈ
　ｄｉｒＨ＞ｄｉｒＶの場合、
　ｄｉｒＨＶ＝Ｖ
　ｄｉｒＨＶはＨ（横方向）またはＶ（縦方向）のいずれかとなる。

　さらに、ｄｉｒＡＤを以下のように定義する。
　ｄｉｒＡ≦ｄｉｒＤの場合、
　ｄｉｒＡＤ＝Ａ
　ｄｉｒＡ＞ｄｉｒＤの場合、
　ｄｉｒＡＤ＝Ｄ
　ｄｉｒＡＤはＡ（右斜め上方向）またはＤ（左斜め上方向）のいずれかとなる。
　これら、ｄｉｒＨＶ、ｄｉｒＡＤは、各画素におけるエッジ方向を示す属性情報である。

　次に、ブレンド処理部２１１は、図３０に示すステップＳ１２において、これらのｄｉｒＨＶ、ｄｉｒＡＤから、以下の式に従って、縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＨＶ）を求める。
　ｄｉｒＡ≦ｄｉｒＤの場合、
　ｒａｔｉｏＨＶ＝（ｄｉｒＤ＋ｏｆｆｓｅｔ）／（ｄｉｒＡ＋ｏｆｆｓｅｔ）
　ｄｉｒＡ＞ｄｉｒＤの場合、
　ｒａｔｉｏＨＶ＝（ｄｉｒＡ＋ｏｆｆｓｅｔ）／（ｄｉｒＤ＋ｏｆｆｓｅｔ）
　なお、
　上記式における（ｏｆｆｓｅｔ）は、非負の値であり、ゼロ割りの回避と検出感度の調整のためのパラメータである。

　さらに、上記式で算出したエッジ方向度合い（ｒａｔｉｏＨＶ）は、例えば図３２に示す関数ｆ_{ｒａｔｉｏ}（ｒａｔｉｏＨＶ）による非線形化処理により、
　縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出する。なお、閾値Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）、Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）は、非線形処理に適用する閾値としての調整用パラメータである。
　図３２に示す線形近似関数ｆ_{ｒａｔｉｏ}（ｒ）は、閾値として０＜Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）＜Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）＜１を設定し、
　　ｒ＝０～Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）→ｆ_{ｒａｔｉｏ}（ｒ）＝０
　　ｒ＝Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）～Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）→ｆ_{ｒａｔｉｏ}（ｒ）＝０～１．０（線形変化）
　　ｒ＝Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）以上→ｆ_{ｒａｔｉｏ}（ｒ）＝１
　このような設定とした線形近似関数である。

　なお、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）は、斜め方向エッジに対する縦横方向エッジの強さを示し、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きいほど、斜め方向エッジより縦横方向エッジが強く、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さいほど、斜め方向エッジが縦横方向エッジより強いことを示す。

　次に、ブレンド処理部２１１は、図３１に示すステップＳ１３において、ＲＧＢＷ配列をＲＧＢ配列に変換するための最終的な変換画素値（ＲＧＢ画素値）を決定する。

　本発明の画像処理装置のデータ変換処理部２００は、先に図２を参照して説明したように、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理を実行する。この変換処理に際しては、前述のように、
　Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
　Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
　Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
　Ｂ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＢ）
　Ｒ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＲ）
　これら５つの変換や補正処理を実行する。
　ブレンド処理部２１１は、これらの最終的な変換画素値を決定する。

　Ｗ画素位置のＧ画素への変換処理において設定するＧ画素値（ＧｏｎＷ）は、以下の式（式１１）によって算出する。
　ＧｏｎＷ＝（ｗｅｉｇｈｔＦｌａｔ）（ｍＧ／ｍＷ）ｗ＋（１－ｗｅｉｇｈｔＦｌａｔ）（ｋ（ｍＧ／ｍＷ）（ｗ－ｍＷ）＋ｍＧ）
　・・・・・・（式１１）

　なお、上記式において、
　ｍＷ：Ｗ信号の低周波成分ｍＷ、
　ｗ：Ｗ信号の高周波成分ｗ、
　ｍＧ：Ｇ信号の低周波成分ｍＧ
　ｗｅｉｇｈｔＦｌａｔ：平坦度重み
　ｋ：コントラスト強調処理調整パラメータ（ｋ＝１でコントラスト強調なし（図１８参照））
　このようにして、ＲＧＢＷ配列のＷ画素位置をＧ画素へ変換する場合のＧ画素値（ＧｏｎＷ）を算出する。

　なお、上記の式（式１１）に示すＧ画素値（ＧｏｎＷ）算出式は、変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて、
　（ＧｏｎＷ（ｄｉｒＨＶ））：コントラスト強調を適用して算出した変換Ｇ画素値
　（ＧｏｎＷｎ（ｄｉｒＨＶ））：コントラスト強調を適用しないで算出した変換Ｇ画素値
　これらの値のブレント比率を変更して最終的な変換Ｇ画素値を算出する式である。

　変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が大きく、平坦な領域である場合は、コントラスト強調のない変換Ｇ画素値に相当する（ＧｏｎＷｎ（ｄｉｒＨＶ））のブレント比率が高くなり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が小さく、平坦度が低くテクスチャが多い領域である場合は、コントラスト強調後の変換画素値に相当する（ＧｏｎＷ（ｄｉｒＨＶ））のブレント比率が高くなる。
　このように変換対象画素の平坦度に応じて、ブレンド比率を変更して最終的なＧ画素値（ＧｏｎＷ）を決定する。

　次に、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する処理におけるＲ画素値（ＲｏｎＧ）の算出処理について説明する。
　まず、以下の式（式２１）、（式２２）に従って縦横方向エッジ対応の変換画素値（ＲｏｎＧ＿ｈｖ）、斜め方向エッジ対応の変換画素値（ＲｏｎＧ＿ａｄ）を求める。
　ＲｏｎＧ＿ｈｖ＝（１－ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＧ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＧｎ）
　・・・・・・（式２１）
　ＲｏｎＧ＿ａｄ＝（ＲｏｎＧ（ｄｉｒＡＤ））
　・・・・・・（式２２）

　さらに、上記式（式２１）、（式２２）で算出した（ＲｏｎＧ＿ｈｖ）と（ＲｏｎＧ＿ａｄ）を以下の式（式２３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＧ）を算出する。
　ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
　・・・・・・（式２３）
　このようにして、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理を行う。

　上記式について説明する。
　上記式（式２１）において、
　ＲｏｎＧ（ｄｉｒＨＶ）、
　ＲｏｎＧｎ
　これらは、先に説明した第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の算出した補間パラータであり、縦、または横エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
　ＲｏｎＧ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＧ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　ＲｏｎＧｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）

　ｄｉｒＨ≦ｄｉｒＶの場合、ステップＳ１１に示すように、
　ｄｉｒＨＶ＝Ｈであり、
　ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）、
　また、ｄｉｒＨ＞ｄｉｒＶの場合、ステップＳ１１に示すように、
　ｄｉｒＨＶ＝Ｖであり、
　ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）、
　となる。

　また、上記式（式２２）において、
　ＲｏｎＧ（ｄｉｒＡＤ）
　これは、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータであり、斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
　ＲｏｎＧ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）
　ＲｏｎＧ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ

　ｄｉｒＡ≦ｄｉｒＤの場合、ステップＳ１１に示すように、
　ｄｉｒＡＤ＝Ａであり、
　ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）、
　また、ｄｉｒＡ＞ｄｉｒＤの場合、ステップＳ１１に示すように、
　ｄｉｒＡＤ＝Ｄであり、
　ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ、
　となる。

　式（式２１）は、変換対象画素の縦横方向エッジ情報と、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。
　変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が大きく、平坦な領域である場合は、先に説明した図２５（ｃ）に示すフィルタ５３３を適用して算出したＷ画素値（ｗ＿ｎ）を利用して推定したＲ画素値、すなわち、
　ＲｏｎＧｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）
　この値の重みを大きくする。

　一方、変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が小さく、平坦度が低くテクスチャが多い領域である場合は、先に説明した図２５（ａ），（ｂ）に示すフィルタ５３１，５３２を適用して算出したＷ画素値（ｗ＿ｈ）または(ｗ＿ｖ)を利用して推定したＲ画素値、すなわち、
　ＲｏｎＧ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＧ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　これらの値の重みを大きくする。

　なお、ＲｏｎＧ（ｄｉｒＨＶ）の値は、
　横方向エッジの場合は、ｄｉｒＨ≦ｄｉｒＶとなり、先に説明した図２５（ａ）に示すフィルタ５３１を適用して算出したＷ画素値（ｗ＿ｈ）を利用して推定したＲ画素値、すなわち、
　ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）、
　この値が適用される。
　また、縦方向エッジの場合は、ｄｉｒＨ＞ｄｉｒＶとなり、先に説明した図２５（ｂ）に示すフィルタ５３２を適用して算出したＷ画素値（ｗ＿ｖ）を利用して推定したＲ画素値、すなわち、
　ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）、
　この値が適用される。

　このように式（式２１）は、変換対象画素の縦横方向エッジ情報と、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。

　式（式２２）は、
　ＲｏｎＧ＿ａｄ＝（ＲｏｎＧ（ｄｉｒＡＤ））
　であり、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータ斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータ、すなわち、
　ＲｏｎＧ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）
　ＲｏｎＧ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　これらを選択する式である。

　ｄｉｒＡ＞ｄｉｒＤの場合、先に説明した図２６（ａ）に示すフィルタ５４１を適用して算出したＷ画素値（ｗ＿ｄ）を利用して推定したＲ画素値、すなわち、
　ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ、
　ｄｉｒＡ≦ｄｉｒＤの場合、先に説明した図２６（ｂ）に示すフィルタ５４２を適用して算出したＷ画素値（ｗ＿ａ）を利用して推定したＲ画素値、すなわち、
　ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）、
　これらを選択する。
　このように式（式２２）は、変換対象画素の斜め方向のエッジ方向情報に応じて斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。

　ブレンド処理部２１１は、さらに、上記式（式２１）、（式２２）で算出した（ＲｏｎＧ＿ｈｖ）と（ＲｏｎＧ＿ａｄ）を以下の式（式２３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＧ）を算出する。
　ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ

　上記式（式２３）は、
　式２１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）
　式２２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ａｄ）
　これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＲ画素値（ＲｏｎＧ）を算出する式である。

　縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）は、先に説明したように、斜め方向エッジに対する縦横方向エッジの強さを示し、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きいほど、斜め方向エッジより縦横方向エッジが強く、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さいほど、斜め方向エッジが縦横方向エッジより強いことを示す。

　従って、式（式２３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
　式２１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）の重みが大きく設定される。
　また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
　式２２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ａｄ）の重みが大きく設定される。

　このように変換対象画素のエッジ方向に応じて、ブレンド比率を変更して最終的なＲ画素値（ＲｏｎＧ）を決定する。

　次に、ＲＧＢＷ配列中のＧ画素位置をＢ画素へ変換する処理におけるＢ画素値（ＢｏｎＧ）の算出処理について説明する。
　ブレンド処理部２１１は、まず、以下の式（式３１）、（式３２）に従って縦横方向エッジ対応の変換画素値（ＢｏｎＧ＿ｈｖ）、斜め方向エッジ対応の変換画素値（ＢｏｎＧ＿ａｄ）を求める。
　ＢｏｎＧ＿ｈｖ＝（１－ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＧ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＧｎ）
　・・・・・・（式３１）
　ＢｏｎＧ＿ａｄ＝（ＢｏｎＧ（ｄｉｒＡＤ））
　・・・・・・（式３２）

　さらに、上記式（式３１）、（式３２）で算出した（ＢｏｎＧ＿ｈｖ）と（ＢｏｎＧ＿ａｄ）を以下の式（式３３）に従ってブレンド処理を実行して、最終的なＢ画素値（ＢｏｎＧ）を算出する。
　ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
　・・・・・・（式３３）
　このようにして、ＲＧＢＷ配列中のＧ画素位置をＢ画素へ変換する場合のＢ画素値（ＢｏｎＧ）の算出処理を行う。

　これらの式３１～３３は、前述の式２１～２３、すなわち、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理において適用した式において、ＲをＢに変更した式であり、処理は、ＲをＢに変更する以外は同様の処理となる。

　上記式（式３１）において、
　ＢｏｎＧ（ｄｉｒＨＶ）、
　ＢｏｎＧｎ
　これらは、先に説明した第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の算出した補間パラータであり、縦、または横エッジ上のＧ画素をＢ画素に変換する処理に適用する以下のパラメータである。
　ＢｏｎＧ（Ｈ）＝（ｍＢ'／ｍＷ）（ｗ＿ｈ）
　ＢｏｎＧ（Ｖ）＝（ｍＢ'／ｍＷ）（ｗ＿ｖ）
　ＢｏｎＧｎ＝（ｍＢ'／ｍＷ）（ｗ＿ｎ）

　また、上記式（式３２）において、
　ＢｏｎＧ（ｄｉｒＡＤ）
　これは、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータであり、斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
　ＢｏｎＧ（Ａ）＝（ｍＢ'／ｍＷ）（ｗ＿ａ）
　ＢｏｎＧ（Ｄ）＝（ｍＢ'／ｍＷ）（ｗ＿ｄ）

　上記式（式３３）は、
　式３１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＧ＿ｈｖ）
　式３２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＧ＿ａｄ）
　これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＢ画素値（ＢｏｎＧ）を算出する式である。

　式（式３３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
　式３１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＧ＿ｈｖ）の重みが大きく設定される。
　また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
　式３２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＧ＿ａｄ）の重みが大きく設定される。
　このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＢ画素値（ＢｏｎＧ）を決定する。

　次に、ＲＧＢＷ配列中のＢ画素位置をＲ画素へ変換する処理におけるＲ画素値（ＲｏｎＢ）の算出処理について説明する。

　ブレンド処理部２１１は、まず、以下の式（式４１）、（式４２）に従って縦横方向エッジ対応変換画素値（ＲｏｎＢ＿ｈｖ）、斜め方向エッジ対応変換画素値（ＲｏｎＢ＿ａｄ）を求める。
　ＲｏｎＢ＿ｈｖ＝（１－ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＢ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＢｎ）
　・・・・・・（式４１）
　ＲｏｎＢ＿ａｄ＝（ＲｏｎＢ（ｄｉｒＡＤ））
　・・・・・・（式４２）

　さらに、上記式（式４１）、（式４２）で算出した（ＲｏｎＢ＿ｈｖ）と（ＲｏｎＢ＿ａｄ）を以下の式（式４３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＢ）を算出する。
　ＲｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＢ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＲｏｎＢ＿ａｄ
　・・・・・・（式４３）
　このようにして、ＲＧＢＷ配列中のＢ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＢ）の算出処理を行う。

　これらの式４１～４３は、前述の式２１～２３、すなわち、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理において適用した式において、ＧをＢに変更した式であり、処理は、ＧをＢに変更する以外は同様の処理となる。

　上記式（式４１）において、
　ＲｏｎＢ（ｄｉｒＨＶ）、
　ＲｏｎＢｎ
　これらは、先に説明した第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の算出した補間パラータであり、縦、または横エッジ上のＢ画素をＲ画素に変換する処理に適用する以下のパラメータである。
　ＲｏｎＢ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＢ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　ＲｏｎＢｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）

　また、上記式（式４２）において、ＲｏｎＢ（ｄｉｒＡＤ）は、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の算出した補間パラータであり、斜め方向エッジ上のＢ画素をＲ画素に変換する処理に適用する以下のパラメータである。
　ｄｉｒＡ≦ｄｉｒＤの場合、
　Ｗ画素値（ｗ＿ａ）を利用して推定したＲ画素値、すなわち、
　ＲｏｎＢ（ｄｉｒＡＤ）＝ＲｏｎＢ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）、
　これを選択する。
　また、ｄｉｒＡ＞ｄｉｒＤの場合、
　ＲｏｎＢ（ｄｉｒＡＤ）＝ＲｏｎＢ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ、
　これを選択する。

　上記式（式４３）は、
　式４１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＢ＿ｈｖ）
　式４２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＢ＿ａｄ）
　これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＲ画素値（ＲｏｎＢ）を算出する式である。

　式（式４３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
　式４１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＢ＿ｈｖ）の重みが大きく設定される。
　また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
　式４２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＢ＿ａｄ）の重みが大きく設定される。
　このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＲ画素値（ＲｏｎＢ）を決定する。

　次に、ＲＧＢＷ配列中のＲ画素位置をＢ画素へ変換する処理におけるＢ画素値（ＢｏｎＲ）の算出処理について説明する。

　ブレンド処理部２１１は、まず、以下の式（式５１）、（式５２）に従って縦横方向エッジ対応変換画素値（ＢｏｎＲ＿ｈｖ）、斜め方向エッジ対応変換画素値（ＢｏｎＲ＿ａｄ）を求める。
　ＢｏｎＲ＿ｈｖ＝（１－ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＲ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＲｎ）
　・・・・・・（式５１）
　ＢｏｎＲ＿ａｄ＝（ＢｏｎＲ（ｄｉｒＡＤ））
　・・・・・・（式５２）

　さらに、上記式（式５１）、（式５２）で算出した（ＢｏｎＲ＿ｈｖ）と（ＢｏｎＲ＿ａｄ）を以下の式（式５３）に従ってブレンド処理を実行して、最終的なＢ画素値（ＢｏｎＲ）を算出する。
　ＢｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＲ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＢｏｎＲ＿ａｄ
　・・・・・・（式５３）
　このようにして、ＲＧＢＷ配列中のＲ画素位置をＢ画素へ変換する場合のＢ画素値（ＢｏｎＲ）の算出処理を行う。

　これらの式５１～５３は、前述の式４１～４３、すなわち、ＲＧＢＷ配列中のＢ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＢ）の算出処理において適用した式において、ＲとＢを変更した式であり、処理は、ＲとＢを変更する以外は同様の処理となる。

　上記式（式５１）において、
　ＢｏｎＲ（ｄｉｒＨＶ）、
　ＢｏｎＲｎ
　これらは、先に説明した第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の算出した補間パラータであり、縦、または横エッジ上のＲ画素をＢ画素に変換する処理に適用する以下のパラメータである。
　ＢｏｎＲ（Ｈ）＝（ｍＢ'／ｍＷ）（ｗ＿ｈ）
　ＢｏｎＲ（Ｖ）＝（ｍＢ'／ｍＷ）（ｗ＿ｖ）
　ＢｏｎＲｎ＝（ｍＢ'／ｍＷ）（ｗ＿ｎ）

　また、上記式（式５２）において、ＢｏｎＲ（ｄｉｒＡＤ）は、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の算出した補間パラータであり、斜め方向エッジ上のＲ画素をＢ画素に変換する処理に適用する以下のパラメータである。
　ｄｉｒＡ≦ｄｉｒＤの場合、
　Ｗ画素値（ｗ＿ａ）を利用して推定したＢ画素値、すなわち、
　ＢｏｎＲ（ｄｉｒＡＤ）＝ＢｏｎＲ（Ａ）＝（ｍＢ'／ｍＷ）（ｗ＿ａ）、
　これを選択する。
　また、ｄｉｒＡ＞ｄｉｒＤの場合、
　ＢｏｎＲ（ｄｉｒＡＤ）＝ＢｏｎＲ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ、
　これを選択する。

　上記式（式５３）は、
　式５１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＲ＿ｈｖ）
　式５２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＲ＿ａｄ）
　これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＢ画素値（ＢｏｎＲ）を算出する式である。

　式（式５３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
　式５１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＲ＿ｈｖ）の重みが大きく設定される。
　また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
　式５２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＲ＿ａｄ）の重みが大きく設定される。
　このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＢ素値（ＢｏｎＲ）を決定する。

　上述したように、ブレンド処理部２１１は、第１～第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。すなわち、ＲＧＢＷ配列からＲＧＢ配列への変換処理において以下の変換画素値を決定する。
　Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する際のＧ画素値（ＧｏｎＷ）
　Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する際のＲ画素値（ＲｏｎＧ）
　Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する際のＢ画素値（ＢｏｎＧ）
　Ｂ画素位置をＲ画素に変換（Ｒ画素値を推定）する際のＢ画素値（ＲｏｎＢ）
　Ｒ画素位置をＢ画素に変換（Ｂ画素値を推定）する際のＲ画素値（ＢｏｎＲ）
　これら５つの変換や補正画素値を決定する。

　ブレンド処理部２１１は、変換対象画素に対応するエッジ情報、すなわちエッジ強度と、エッジ方向に応じて、第１～第５画素補間パラメータ算出部の生成した画素補間パラメータのブレンド比率を決定して、最終的な画素値を算出する。各画素値の算出式を以下にまとめて示す。

　ＧｏｎＷ＝（１－ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷｎ（ｄｉｒＨＶ））
　ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
　ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
　ＲｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＢ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＲｏｎＢ＿ａｄ
　ＢｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＲ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＢｏｎＲ＿ａｄ

　　［４．画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンス］
　次に、図３３に示すフローチャートを参照して、画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンスについて説明する。図３３に示すフローチャートは、図５に示す画像処理装置において実行するＲＧＢＷ配列からＲＧＢ配列への変換処理、すなわちリモザイク処理の全体シーケンスを示すフローチャートである。これまで説明してきた処理全体のシーケンスである。なお、図３３に示すフローは、例えば、図５に示す画像処理装置の制御部１４０がメモリ１３０に格納されたプログラムを実行して、各処理部を制御して実行させることができる。

　図３３に示すフローチャートの各ステップについて説明する。
　まず、ステップＳ１０１において、ＲＧＢＷ配列に含まれるＷ画素を適用して、エッジ方向を判定する。
　この処理は、図６に示すエッジ検出部２０９の実行する処理である。先に説明したように、エッジ検出部２０９は、入力するＲＧＢＷ配列の信号中、ホワイト（Ｗ）信号を利用して、エッジ方向とエッジ強度を判定する。
　エッジ検出部２０９は、エッジ検出処理によって、画素対応のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出して、ブレンド処理部２１１、および複数の画素補間パラメータ算出部に出力する。

　次に、ステップＳ１０２において、ＲＧＢＷ配列に含まれるＷ画素を適用して、テクスチャ検出処理を行う。
　この処理は、図６に示すテクスチャ検出部２１０の実行する処理である。先に説明したように、テクスチャ検出部２１０は、入力するＲＧＢＷ配列の信号中、ホワイト（Ｗ）信号を利用して、画素対応テクスチャ情報、具体的には、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。
　ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆ_ｆｌａｔ（Ｗ_ＴＸ（ｐ））
　ｆ_ｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数であり、
　　ｒ＝０～Ｔｈ０→ｆ_ｆｌａｔ（ｒ）＝０
　　ｒ＝Ｔｈ０～Ｔｈ１→ｆ_ｆｌａｔ（ｒ）＝０～１．０（線形変化）
　　ｒ＝Ｔｈ１以上→ｆ_ｆｌａｔ（ｒ）＝１
　このような設定とした平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、ブレンド処理部２１１に出力する。

　次に、ステップＳ１０３において、入力画素単位の中心のＷ画素に対するノイズ除去を実行する。
　この処理は、図６に示すノイズ除去部２０１の処理である。先に説明したように、ノイズ除去部２０１は、入力画素単位の中心にあるＷ画素に対してノイズ除去を実行する。

　先に図７を参照して説明したように、ノイズ除去部２０１は、例えばバイラテラルフィルタを適用して処理単位（７×７画素の中央の５×５画素）の中心にＷ画素が設定されている場合、前述の式（式１）に従って、ノイズ低減画素値Ｉ_ＮＲ（ｐ）を算出する。算出したノイズ低減Ｗ画素値（Ｉ_ＮＲ（ｐ））は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２に出力される。

　次に、ステップＳ１０４において、ＲＧＢＷ配列中のＷ画素をＧ画素に変換するために適用する補間パラメータを算出する。
　この処理は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理である。
　第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、ＲＧＢＷ配列におけるＷ画素をＧ画素に変換するために適用する補間パラメータとして、先に説明したように、以下のパラメータを算出する。
　Ｗ信号の低周波成分ｍＷ（図１５参照）、
　Ｗ信号の高周波成分ｗ（図１６参照）、
　Ｇ信号の低周波成分ｍＧ（図１７参照）、

　次に、ステップＳ１０５において、Ｒ／Ｗ，Ｂ／Ｗ相関からＧ画素隣接のＷ位置のＲ，Ｂを補間する。
　この処理は、図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理である。
　第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図２１を参照して説明したように、７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）は以下のように推定することができる。
　Ｒ_２３'＝（ｍＲ／ｍＷ）ｗ_２３、
　Ｒ_３２'＝（ｍＲ／ｍＷ）ｗ_３２、
　Ｒ_４３'＝（ｍＲ／ｍＷ）ｗ_４３、
　Ｒ_３４'＝（ｍＲ／ｍＷ）ｗ_３４、
　なお、ｗ_２３、ｗ_３２、ｗ_４３、ｗ_３４は図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。

　同様に、図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂ_ｘｙ'＝Ｂ_２３'，Ｂ_３２'，Ｂ_４３'，Ｂ_３４'）は以下のように推定することができる。
　Ｂ_２３'＝（ｍＢ／ｍＷ）ｗ_２３、
　Ｂ_３２'＝（ｍＢ／ｍＷ）ｗ_３２、
　Ｂ_４３'＝（ｍＢ／ｍＷ）ｗ_４３、
　Ｂ_３４'＝（ｍＢ／ｍＷ）ｗ_３４、
　なお、ｗ_２３、ｗ_３２、ｗ_４３、ｗ_３４は図２１に示す７×７画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。

　なお、
　ｍＷ：入力画素単位のＷ信号の低周波成分
　ｗ：入力画素単位の中心のＷ画素の画素値
　ｍＲ'：ＲＢ画素に隣接するＷ画素位置に設定した仮のＲ画素（Ｒ'）を適用して算出したＲ信号の低周波成分
　ｍＢ'：ＲＢ画素に隣接するＷ画素位置に設定した仮のＢ画素（Ｂ'）を適用して算出したＢ信号の低周波成分
　である。

　次に、ステップＳ１０６において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して縦横方向のＧ位置のＲ，Ｂを補間する。
　この処理は、図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理である。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、主に縦、または横エッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータの算出処理を実行する。

　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、縦、または横エッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
　ＲｏｎＧ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＧ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　ＲｏｎＧｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）
　ＢｏｎＧ（Ｈ）＝（ｍＢ'／ｍＷ）（ｗ＿ｈ）
　ＢｏｎＧ（Ｖ）＝（ｍＢ'／ｍＷ）（ｗ＿ｖ）
　ＢｏｎＧｎ＝（ｍＢ'／ｍＷ）（ｗ＿ｎ）
　これらのパラメータを算出してブレンド処理部２１１に出力する。

　なお、
　ｍＲ'：入力画素単位のＲ信号の補正低周波成分
　ｍＢ'：入力画素単位のＢＲ信号の補正低周波成分
　ｍＷ：入力画素単位のＷ信号の低周波成分
　（ｗ＿ｈ）、（ｗ＿ｖ）、（ｗ＿ｎ）は、図２２、図２３を参照して説明したように、エッジ方向に応じて選択されるフィルタを適用して算出する入力画素単位の中心画素位置の高周波成分値である。

　次に、ステップＳ１０７ａにおいて、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して右斜め上方向エッジを持つＧ位置のＲ，Ｂを補間する。
　この処理は、図６に示す第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理である。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータの算出処理を実行する。

　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、右斜め上方向エッジを持つＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
　ＲｏｎＧ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）
　ＢｏｎＧ（Ａ）＝（ｍＢ'／ｍＷ）（ｗ＿ａ）
　これらのパラメータを算出してブレンド処理部２１１に出力する。

　次に、ステップＳ１０７ｂにおいて、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して左め上方向エッジを持つＧ位置のＲ，Ｂを補間する。
　この処理は、図６に示す第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理である。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータの算出処理を実行する。

　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、左め上方向エッジを持つＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
　ＲｏｎＧ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　ＢｏｎＧ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ
　これらのパラメータを算出してブレンド処理部２１１に出力する。

　次に、ステップＳ１０８において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して、Ｒ，Ｂ画素隣接のＷ位置のＲ，Ｂを補間する。
　この処理は、図６に示す第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理である。
　次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図２８を参照して説明したように、７×７画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。

　ステップＳ１０５の処理と同様、入力画素単位の中心にある変換対象画素の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_２３'，Ｒ_３２'，Ｒ_４３'，Ｒ_３４'）と、Ｂ画素値（Ｂ_ｘｙ'＝Ｂ_２３'，Ｂ_３２'，Ｂ_４３'，Ｂ_３４'）を算出する。

　次に、ステップＳ１０９において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して、縦横方向のＲ，Ｂ位置のＲ，Ｂを補間する。この処理は、図６に示す第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理である。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、縦、または横エッジ上のＲ画素をＢ画素、Ｂ画素をＲ画素に変換する処理に適用するパラメータとして、以下のパラメータの算出処理を実行する。
　ＲｏｎＢ（Ｈ）＝（ｍＲ'／ｍＷ）（ｗ＿ｈ）
　ＲｏｎＢ（Ｖ）＝（ｍＲ'／ｍＷ）（ｗ＿ｖ）
　ＲｏｎＢｎ＝（ｍＲ'／ｍＷ）（ｗ＿ｎ）
　ＢｏｎＲ（Ｈ）＝（ｍＢ'／ｍＷ）（ｗ＿ｈ）
　ＢｏｎＲ（Ｖ）＝（ｍＢ'／ｍＷ）（ｗ＿ｖ）
　ＢｏｎＲｎ＝（ｍＢ'／ｍＷ）（ｗ＿ｎ）
　これらのパラメータを算出してブレンド処理部２１１に出力する。

　次に、ステップＳ１１０ａにおいて、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して右斜め上方向エッジを持つＲ，Ｂ位置のＲ，Ｂを補間する。
　この処理は、図６に示す第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理である。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、斜めエッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータの算出処理を実行する。

　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、このように、右斜め上方向エッジを持つエッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータ、すなわち、
　ＲｏｎＢ（Ａ）＝（ｍＲ'／ｍＷ）（ｗ＿ａ）
　ＢｏｎＲ（Ａ）＝（ｍＢ'／ｍＷ）（ｗ＿ａ）
　これらのパラメータを算出してブレンド処理部２１１に出力する。

　次に、ステップＳ１１０ｂにおいて、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して左め上方向エッジを持つＲ，Ｂ位置のＲ，Ｂを補間する。
　この処理は、図６に示す第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理である。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、斜めエッジ上のＲ画素をＢ画素、Ｂ画素をＲ画素に変換する処理に適用するパラメータの算出処理を実行する。

　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、左め上方向エッジを持つＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータ、すなわち、
　ＲｏｎＢ（Ｄ）＝（ｍＲ'／ｍＧ）ｇ
　ＢｏｎＲ（Ｄ）＝（ｍＢ'／ｍＧ）ｇ
　これらのパラメータを算出してブレンド処理部２１１に出力する。

　次に、ステップＳ１１１において、エッジ方向属性に従いブレンド処理を実行して、ＲＧＢＷ配列の変換後のＲＧＢ配列を構成するＲＧＢ画素値を決定する。この処理は、図６に示すブレンド処理部２１１の処理である。

　ブレンド処理部２１１は、第１～第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。

　ブレンド処理部２１１は、変換対象画素に対応するエッジ情報、すなわちエッジ強度と、エッジ方向に応じて、第１～第５画素補間パラメータ算出部の生成した画素補間パラメータのブレンド比率を決定して、最終的な画素値を算出する。この処理は、図３０、図３１に示すフローを参照して説明した処理である。各変換画素値の算出式を以下にまとめて示す。
　ＧｏｎＷ＝（ｗｅｉｇｈｔＦｌａｔ）（ｍＧ／ｍＷ）ｗ＋（１－ｗｅｉｇｈｔＦｌａｔ）（ｋ（ｍＧ／ｍＷ）（ｗ－ｍＷ）＋ｍＧ）
　ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
　ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
　ＲｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＢ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＲｏｎＢ＿ａｄ
　ＢｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＲ＿ｈｖ）＋（１－ｗｅｉｇｈｔＨＶ）ＢｏｎＲ＿ａｄ

　このように、本発明の画像処理装置においては、補間パラメータ算出部各々が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。さらに、ブレンド処理部が、各補間パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。

　以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本発明の一実施例の構成によれば、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを入力して偽色の少ない高品質なカラー画像を生成するためのＲＧＢ配列データを生成することができる。具体的には、エッジ検出部がＲＧＢＷ配列の撮像素子の出力信号を解析して各画素対応のエッジ情報を取得し、テクスチャ検出部がテクスチャ情報を生成する。さらにパラメータ算出部が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。ブレンド処理部において、パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。

　１００　撮像装置
　１０５　光学レンズ
　１１０　撮像素子（イメージセンサ）
　１２０　信号処理部
　１３０　メモリ
　１４０　制御部
　１８１　ＲＧＢＷ配列
　１８２　ＲＧＢ配列
　１８３　カラー画像
　２００　データ変換処理部
　２０１　ノイズ除去部
　２０２　第１画素補間パラメータ算出部（ＧｏｎＷ）
　２０３　第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）
　２０４　第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）
　２０５　第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）
　２０６　第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）
　２０７　第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）
　２０８　第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）
　２０９　エッジ検出部
　２１０　テクスチャ検出部
　２１１　ブレンド処理部

Claims

　輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行うデータ変換処理部を有し、
　前記データ変換処理部は、
　前記２次元画素配列信号を解析して画素変換処理に適用するパラメータを算出するパラメータ算出部を有し、
　前記パラメータ算出部は、
　画素変換処理に適用するパラメータの算出処理において、前記２次元画素配列信号に含まれる輝度信号の主成分となる画素と、変換後の画素の色情報成分との第１相関情報、
　または、前記色情報成分中から選択された１つの選択色情報成分と、変換後の画素の色情報成分との第２相関情報、
　上記第１相関情報または第２相関情報の少なくともいずれかの相関情報を利用して前記パラメータの算出処理を行う画像処理装置。
　前記パラメータ算出部は、
　前記第２相関情報として、前記色情報成分中、配分比率の最も高い色情報成分と、変換後の画素の色情報成分との相関情報を用いる請求項１に記載の画像処理装置。
　前記データ変換処理部は、
　前記２次元画素配列信号を解析してエッジ情報を生成するエッジ検出部を有し、
　前記パラメータ算出部は、
　前記エッジ検出部の検出したエッジ方向に応じて、
　前記第１相関情報、または前記第２相関情報のいずれかを選択的に利用して前記パラメータの算出処理を行う請求項１または２に記載の画像処理装置。
　前記輝度信号の主成分となる色は白色、前記配分比率の最も高い色情報成分は緑色であり、
　前記パラメータ算出部は、
　画素変換処理に適用するパラメータの算出処理において、前記エッジ検出部の検出したエッジ方向に応じて、
　白色と変換後の画素の色情報成分との第１相関情報、または、
　緑色と変換後の画素の色情報成分との第２相関情報のいずれかを取得し、取得した相関情報を利用して前記パラメータの算出処理を行う請求項３に記載の画像処理装置。
　前記データ変換処理部は、
　前記２次元画素配列信号を解析してテクスチャ情報を生成するテクスチャ検出部と、
　前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部と、
　を有する請求項３または４に記載の画像処理装置。
　前記エッジ検出部は、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成し、
　前記テクスチャ検出部は、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成し、
　前記パラメータ算出部は、
　ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成し、
　前記ブレンド処理部は、
　前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する処理を実行する請求項５に記載の画像処理装置。
　前記パラメータ算出部は、
　補間処理に適用する画素位置をエッジ方向に沿った画素位置とする補間処理によりパラメータを生成する構成である請求項６に記載の画像処理装置。
　前記パラメータ算出部は、
　ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関、または、ＲＧＢＷ配列を構成するＧ画素とその他のＲＧＢ画素との局所領域での相のいずれかの相関を利用した補間処理によりパラメータを生成する構成である請求項６～７いずれかに記載の画像処理装置。
　前記画像処理装置は、さらに、
　ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりＷ画素位置に対してＲＧＢいずれかの画素の画素値を設定する仮画素設定部を有し、
　前記パラメータ算出部は、
　前記仮画素設定データを適用した補間処理によりパラメータを生成する構成である請求項６～８いずれかに記載の画像処理装置。
　前記パラメータ算出部は、
　前記エッジ検出部の検出した縦、横、左斜め上、右斜め上の４種類のエッジ方向に応じて、
　ＲＧＢＷ配列を構成するＷ画素と変換後の画素の色情報成分との第１相関情報、または、
　ＲＧＢＷ配列を構成するＧ画素と変換後の画素の色情報成分との第２相関情報のいずれを利用するかを選択する請求項６～９いずれかに記載の画像処理装置。
　前記パラメータ算出部は、
　参照画素位置をエッジ方向に沿った画素位置に設定して、前記第１相関情報、または前記第２相関情報を利用して画素変換処理に適用する複数のパラメータを生成し、
　前記ブレンド処理部は、
　縦、横、左斜め上、右斜め上の４種類のエッジ方向の強度比較を実行して、比較結果に応じて前記複数のパラメータのブレンド比率を変更したブレンド処理を実行する請求項１０に記載の画像処理装置。
　前記ブレンド処理部は、
　変換画素対応の縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＦｌａｔ）を算出し、さらに、エッジ方向度合い（ｒａｔｉｏＦｌａｔ）に基づいて、値が大きいほど斜め方向エッジより縦横方向エッジが強く、値が小さいほど斜め方向エッジが縦横方向エッジより強いことを示す縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出し、
　変換画素対応の縦横方向エッジが斜め方向エッジより強い場合は、エッジ方向を縦または横方向として設定して算出したパラメータのブレンド比率を高くし、
　変換画素対応の縦横方向エッジが斜め方向エッジより弱い場合は、エッジ方向を斜め方向として設定して算出したパラメータのブレンド比率を高くしたブレンド処理を実行する請求項１１に記載の画像処理装置。
　前記テクスチャ検出部は、
　前記テクスチャ情報として、テクスチャが少なく平坦度が高い画素領域については高い値を示し、テクスチャが多く平坦度が低い画素領域については低い値を示す各画素対応の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、
　前記パラメータ算出部は、
　前記補間画素値に対するコントラスト強調処理を実行したコントラスト強調処理適用パラメータと、前記補間画素値に対するコントラスト強調処理を実行しないコントラスト強調処理非適用パラメータを算出し、
　前記ブレンド処理部は、
　前記平坦度重みの大きい画素については、前記コントラスト強調処理非適用パラメータのブレンド比率を大きく設定し、
　前記平坦度重みの小さい画素については、前記コントラスト強調処理適用パラメータのブレンド比率を大きく設定したブレンド処理を実行する請求項６～１２いずれかに記載の画像処理装置。
　前記エッジ検出部は、
　前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のエッジ情報を生成する構成であり、
　処理対象画素近傍のＷ画素の信号値勾配を算出して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成する請求項３～１３いずれかに記載の画像処理装置。
　前記テクスチャ検出部は、
　前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のテクスチャ度合いを示すテクスチャ情報を生成する請求項５～１４いずれかに記載の画像処理装置。
　画像処理装置において画像信号処理を実行する画像処理方法であり、
　エッジ検出部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出ステップと、
　テクスチャ検出部が、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出ステップと、
　パラメータ算出部が、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出ステップであり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出ステップと、
　ブレンド処理部が、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理ステップを実行し、
　前記パラメータ算出ステップは、
　画素変換処理に適用するパラメータの算出処理において、前記２次元画素配列信号に含まれる輝度信号の主成分となる画素と、変換後の画素の色情報成分との第１相関情報、
　または、前記色情報成分中、配分比率の最も高い色情報成分と、変換後の画素の色情報成分との第２相関情報、
　上記第１相関情報または第２相関情報の少なくともいずれかの相関情報を利用して前記パラメータの算出処理を行うステップである画像処理方法。
　画像処理装置において画像信号処理を実行させるプログラムであり、
　エッジ検出部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成させるエッジ検出ステップと、
　テクスチャ検出部に、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成させるテクスチャ検出ステップと、
　パラメータ算出部に、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出させるパラメータ算出ステップであり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成させるパラメータ算出ステップと、
　ブレンド処理部に、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定させるブレンド処理ステップとを実行させ、
　前記パラメータ算出ステップにおいては、
　画素変換処理に適用するパラメータの算出処理において、前記２次元画素配列信号に含まれる輝度信号の主成分となる画素と、変換後の画素の色情報成分との第１相関情報、
　または、前記色情報成分中、配分比率の最も高い色情報成分と、変換後の画素の色情報成分との第２相関情報、
　上記第１相関情報または第２相関情報の少なくともいずれかの相関情報を利用して前記パラメータの算出処理を行わせるプログラム。