JP5269718B2 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理プログラムおよび画像処理方法に関し、各画素に１つの色信号から構成される画像を処理して同一位置に複数の色信号を有する画素からなる画像を生成する画像処理装置、画像処理プログラムおよび画像処理方法に関する。

従来から、被写体の画像を撮像するデジタルカメラまたはデジタルビデオカメラ等の各種態様の電子撮像装置が登場している。電子撮像装置に内蔵される撮像素子の構成は、１つの画素位置において赤（Ｒ）、緑（Ｇ）、青（Ｂ）等の３つの色成分の色信号を得ることができる３板撮像素子構成と、１つの画素位置毎に３つの色成分のうちの１つの色信号のみを得ることができる単板撮像素子構成とに大別される。例えば、現在市販されているデジタルカメラは、単板撮像素子構成のものが一般的であり、デジタルビデオカメラは、３板撮像素子構成のものもあれば、単板撮像素子構成のものもある。

３板撮像素子構成は、構造が複雑であり且つ部品点数も多くなるため高価格であるが、撮像画像の各画素位置においてＲ、Ｇ、Ｂの３つの色成分の色信号を撮像時点に得ることができるため、一般的に高画質である。

一方、単板撮像素子構成は、簡易な構造であるが、Ｒ、Ｇ、Ｂの３つの色成分の色信号を得るために画素毎にＲ、Ｇ、Ｂの各フィルタを撮像素子の前面にモザイク状に配置する必要があり、撮像画像の各画素位置において単一の色信号のみしか得ることができない。

なお、Ｒ、Ｇ、Ｂの各フィルタのモザイク状な配置として、ＲフィルタとＢフィルタとを対角の位置に配列し且つ一対のＧフィルタを対角の位置に配列してなる４つのフィルタを単位フィルタ群にし、この単位フィルタ群を２次元配列したもの（以下、ベイヤ配列という）が一般的である。

このようなベイヤ配列の単板撮像素子構成では、各画素位置において欠落している色信号を周辺の画素位置の色信号を用いて補間処理することによって、画素当たりに３つの色成分の色信号を得ている。このような処理は、一般的にデモザイキング処理と呼ばれる。

デモザイキング処理では、特定色信号の欠落画素位置において処理対象の画像のエッジ構造に適した補間処理を行う必要がある。仮に、デモザイキング処理において、処理対象の画像のエッジ構造を考慮しない単純な補間処理を行った場合、エッジ周辺部等の画素領域に本来無い色が発生する偽色という現象が生じる。

なお、特定色信号とは、画像を形成する複数の色信号のうちの特定の色成分を有する色信号であり、例えば、Ｒ、Ｇ、Ｂの３つの色信号によって形成される画像においては、Ｇ成分の色信号が例示される。また、欠落画素位置とは、画像を形成する画素群のうちの特定色信号が欠落した画素の位置である。

例えば、Ｒ、Ｇ、Ｂの３つの色信号によって形成される画像において、エッジ等の高い空間周波数を有する画素領域では、Ｇ成分の色信号（特定色信号の一例）に対してＲ成分およびＢ成分の各色信号のサンプリング間隔が異なる。このため、デモザイキング処理において単純な補間処理を行った場合、Ｇ成分の色信号によって十分表現可能な高い空間周波数が、Ｒ成分およびＢ成分の各色信号において低周波数側に折り返してしまい、この結果、偽色が生じる。

このような偽色を低減する最も簡単な方法は、ベイヤ配列のＲ成分またはＢ成分の色信号のサンプリング間隔が再現できる空間周波数まで、レンズまたは光学ローパスフィルタ等の光学系の空間周波数特性を落とした画像を撮像素子上に結像させることである。しかし、この方法による撮像画像は、再現可能な空間周波数の半分しか得られないことになり、解像度の低いぼけた画像となってしまう。

このため、撮像素子上に結像させる画像の解像度低減は、一般的に、光学系の設計によって抑制される。例えば、画像の解像度低減を抑制するために、光学系は、Ｇ成分の色信号のサンプリング間隔において、折り返し歪によるモアレが発生しない空間周波数となるように設計される。なお、このような光学系の設計によって画像の解像度低減の抑制および偽色低減を行う従来技術は、例えば特許文献１に開示されている。

一方、画像の偽色低減を行う従来技術として、特許文献２に開示された補間処理装置もある。この特許文献２に開示された補間処理装置では、ベイヤ配列の撮像素子においてＧ成分の色信号が欠落した位置（以下、Ｇ信号欠落位置という）である空格子点における第１方向の類似度および第２方向の類似度を算出して類似性が強い方向を判定する。つぎに、この判定結果に基づいて、互いに近接する複数の空格子点の間で類似性の強い方向に予め決められた関連が存在しない空格子点を検出する。その後、この判定とは異なる方法によって第１方向の類似度および第２方向の類似度を算出して類似性が強い方向を判定し直し、この修正判定結果に応じて補間量を算出する。

特開２００８−３５４７０号公報 特開２０００−２２４６０２号公報

ところで、上述したデモザイキング処理におけるＧ信号欠落位置の補間処理は、処理対象のＧ信号欠落位置の垂直方向（縦方向）に隣接するＧ成分の色信号を用いて補間値を算出する縦補間処理、処理対象のＧ信号欠落位置の水平方向（横方向）に隣接するＧ成分の色信号を用いて補間値を算出する横補間処理、処理対象のＧ信号欠落位置の縦または横に隣接する４画素のＧ成分の色信号を用いて補間値を算出する４画素平均補間処理等、補間方向等によって種別される。

しかしながら、上述した従来技術では、画素毎の単一の色信号をベイヤ配列等のモザイク状に配列した複数色の色信号によって形成される撮像画像に対してデモザイキング処理を行う際、この撮像画像に含まれる補間処理対象の画素位置であるＧ信号欠落位置に対して行うべき補間処理の種別を誤判定する可能性があり、且つ、この誤判定した補間処理の種別を適切なものに修正することは困難である。

なお、画素毎の単一の色信号をモザイク状に配列した複数色の色信号によって形成される撮像画像に対して、解像度および彩度の保持と偽色低減とを両立するデモザイキング処理を行うためには、この撮像画像に含まれる各Ｇ信号欠落位置について補間処理の種別の誤判定を正確に修正することが不可欠である。

本発明は、上記事情に鑑みてなされたものであって、撮像画像に対して解像度および彩度の保持と偽色低減とを両立するデモザイキング処理を行うことができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、画像を形成する複数の色信号のうちの特定色信号が欠落した画素位置である欠落画素位置に対して、前記特定色信号の補間処理の種別を示す補間処理種別を判定する種別判定部と、前記欠落画素位置の周辺に位置する複数の周辺欠落画素位置の補間処理種別をもとに、前記判定された補間処理種別を修正する種別修正部と、前記修正された補間処理種別に対応して、前記複数の色信号のうちの前記特定色信号を除く色成分の色信号である異色信号と、前記特定色信号との信号差である色差信号を選択する色差信号選択部と、前記色差信号をもとに、前記欠落画素位置における前記特定色信号の補間信号を生成する補間信号生成部と、を備えるものである。

この態様にかかる画像処理装置によれば、特定色信号が欠落した欠落画素位置の補間処理種別を判定し、その後、欠落画素位置に対する複数の周辺欠落画素位置の補間処理種別をもとに、欠落画素位置における補間処理種別の判定結果が誤っているか否か判定し、誤判定である場合、これら複数の周辺欠落画素位置の補間処理種別に基づいて、この補間処理種別の誤判定を正確に修正できる。これによって、欠落画素位置における特定色成分以外と特定色成分との色差信号を正確に選択することができ、この結果、撮像画像に対して解像度および彩度の保持と偽色低減とを両立するデモザイキング処理を行うことができる。

また、本発明の別の態様にかかる画像処理プログラムは、画像を形成する複数の色信号のうちの特定色信号が欠落した画素位置である欠落画素位置に対して、前記特定色信号の補間処理の種別を示す補間処理種別を判定する種別判定手順と、前記欠落画素位置の周辺に位置する複数の周辺欠落画素位置の補間処理種別をもとに、前記判定された補間処理種別を修正する種別修正手順と、前記修正された補間処理種別に対応して、前記複数の色信号のうちの前記特定色信号を除く色成分の色信号である異色信号と、前記特定色信号との信号差である色差信号を選択する色差信号選択手順と、前記色差信号をもとに、前記欠落画素位置における前記特定色信号の補間信号を生成する補間信号生成手順と、をコンピュータに実行させるものである。

また、本発明の別の態様にかかる画像処理方法は、画像を形成する複数の色信号のうちの特定色信号が欠落した画素位置である欠落画素位置に対して、前記特定色信号の補間処理の種別を示す補間処理種別を判定する種別判定ステップと、前記欠落画素位置の周辺に位置する複数の周辺欠落画素位置の補間処理種別をもとに、前記判定された補間処理種別を修正する種別修正ステップと、前記修正された補間処理種別に対応して、前記複数の色信号のうちの前記特定色信号を除く色成分の色信号である異色信号と、前記特定色信号との信号差である色差信号を選択する色差信号選択ステップと、前記色差信号をもとに、前記欠落画素位置における前記特定色信号の補間信号を生成する補間信号生成ステップと、を含むものである。

本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法によれば、撮像画像に対して解像度および彩度の保持と偽色低減とを両立するデモザイキング処理を行うことができるという効果を奏する。

図１は、本発明の実施の形態１にかかる画像処理装置を備えた画像出力装置の一構成例を模式的に示すブロック図である。 図２は、撮像素子によって撮像された色信号のベイヤ配列の一具体例を示す模式図である。 図３は、Ｇ補間色差算出部が出力する色差信号の２次元配列の一具体例を示す模式図である。 図４は、Ｇ補間色差算出部が出力するＧ成分信号の２次元配列の一具体例を示す模式図である。 図５は、Ｇ補間色差算出部から出力されるＧ成分の色信号の２次元配列の一具体例を示す模式図である。 図６は、Ｇ補間色差算出部から出力されるＲ成分の色差信号の２次元配列の一具体例を示す模式図である。 図７は、Ｇ補間色差算出部から出力されるＢ成分の色差信号の２次元配列の一具体例を示す模式図である。 図８は、本発明の実施の形態１にかかる画像処理装置のＧ補間色差算出部の一構成例を模式的に示すブロック図である。 図９は、本実施の形態１における補間処理種別に異なる補間処理対象画素のベイヤ配列上の画素位置の具体例を示す模式図である。 図１０は、ローパスフィルタの帯域制限処理において用いる色信号のベイヤ配列上の画素位置の具体例を示す模式図である。 図１１は、縦補間処理に対応する色差類似度の算出処理に用いる色差信号のベイヤ配列上の画素位置の具体例を示す模式図である。 図１２は、横補間処理に対応する色差類似度の算出処理に用いる色差信号のベイヤ配列上の画素位置の具体例を示す模式図である。 図１３は、４画素平均補間処理に対応する色差類似度の算出処理に用いる色差信号のベイヤ配列上の画素位置の具体例を示す模式図である。 図１４は、Ｇ欠落画素の画素位置におけるＧ変動量とその重み係数との関係の一具体例を示す模式図である。 図１５は、本発明の実施の形態１における種別情報修正部の一構成例を模式的に示すブロック図である。 図１６は、補間処理種別の修正処理に用いる種別情報を抽出する画素領域の一具体例を示す模式図である。 図１７は、処理対象のＧ欠落画素位置の種別情報を縦補間処理の種別情報に修正する場合の周辺Ｇ欠落画素位置の種別情報の一具体例を示す模式図である。 図１８は、処理対象のＧ欠落画素位置の種別情報を横補間処理の種別情報に修正する場合の周辺Ｇ欠落画素位置の種別情報の一具体例を示す模式図である。 図１９は、本発明の実施の形態１にかかる画像処理装置の同時化補間処理部の一構成例を模式的に示すブロック図である。 図２０は、本発明の実施の形態１にかかる画像処理装置のＲＧＢ算出部の一構成例を模式的に示すブロック図である。 図２１は、本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。 図２２は、本発明の実施の形態１にかかる画像処理装置によるＧ補間色差算出処理の処理手順を例示するフローチャートである。 図２３は、本発明の実施の形態１の変形例１にかかる画像処理装置の種別情報修正部の一構成例を模式的に示すブロック図である。 図２４は、実施の形態１の変形例１における補間処理種別の修正処理に用いる種別情報を抽出する画素領域の一具体例を示す模式図である。 図２５は、横補間処理種別に対応する種別情報の配列パターンの一具体例を示す模式図である。 図２６は、縦補間処理種別に対応する種別情報の配列パターンの一具体例を示す模式図である。 図２７は、本発明の実施の形態１の変形例２にかかる画像処理装置のＧ補間色差算出部の一構成例を模式的に示すブロック図である。 図２８は、斜め補間処理および逆斜め補間処理における補間処理対象画素のベイヤ配列上の画素位置の具体例を示す模式図である。 図２９は、斜め補間処理種別に対応する種別情報の配列状態の一具体例を示す模式図である。 図３０は、逆斜め補間処理種別に対応する種別情報の配列状態の一具体例を示す模式図である。 図３１は、本発明の実施の形態２にかかる画像処理装置を備えた画像出力装置の一構成例を模式的に示すブロック図である。 図３２は、本発明の実施の形態２にかかる画像処理装置のＧ補間色差算出部の一構成例を模式的に示すブロック図である。 図３３は、本発明の実施の形態２にかかる画像処理装置によるＧ補間色差算出処理の処理手順を例示するフローチャートである。

以下に、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。

（実施の形態１）
図１は、本発明の実施の形態１にかかる画像処理装置を備えた画像出力装置の一構成例を模式的に示すブロック図である。図１に示すように、この実施の形態１にかかる画像出力装置１００は、被写体の画像を撮像する撮像部１と、撮像部１が撮像した画像に対して各種画像処理を行う画像処理装置２と、画像処理装置２によって画像処理された画像を出力する出力部３とを備える。

撮像部１は、レンズ、ＩＲカットフィルタおよび光学ローパスフィルタ等の光学系、ＣＣＤまたはＣＭＯＳイメージセンサ等の撮像素子、および撮像素子の駆動制御部等を用いて実現される。この撮像部１において、レンズは、被写体からの光を撮像素子の受光部に集光して、この被写体の光学像を撮像素子の受光部に結像する。ＩＲカットフィルタは、このレンズを通過する光束から赤外線領域の光をカットする。光学ローパスフィルタは、この撮像部の受光部に受光される被写体からの光学像の空間周波数を帯域制限するための光学フィルタである。

なお、撮像素子上の光学像の解像度低減は、Ｇ成分の色信号のサンプリング間隔において折り返し歪によるモアレが許容レベル以上に発生しない空間周波数となるように光学ローパスフィルタの空間周波数を設計することによって、抑制している。

また、撮像部１の撮像素子は、ベイヤ配列等のようにモザイク状に２次元配列されたカラーフィルタを有する単板式の撮像素子である。図２は、撮像素子によって撮像された色信号のベイヤ配列の一具体例を示す模式図である。撮像部１の撮像素子は、例えば図２に示すようにベイヤ配列順に並んだ複数色（例えばＲ、Ｇ、Ｂ）のカラーフィルタを通して、被写体のカラー画像を撮像する。

この撮像部１において、光学系を介して撮像素子の受光部に結像した光は、図２に示すようにベイヤ配列順に並んだ赤、緑、青のうちの何れかの単一色フィルタの画素、すなわちＲ成分画素、Ｇ成分画素、Ｂ成分画素によって光電変換処理される。これによって、被写体のカラー画像を形成するＲ成分の色信号Ｒｓ、Ｇ成分の色信号Ｇｓ、およびＢ成分の色信号Ｂｓが生成される。一方、撮像部１における駆動制御部は、撮像素子の駆動を制御し、且つ、被写体のカラー画像を形成する色信号Ｒｓ，Ｇｓ，Ｂｓを撮像毎に順次画像処理装置２に出力するように撮像素子を制御する。

画像処理装置２は、撮像部１によって撮像された画像に対して各種画像処理を行うものであり、図１に示すように、画像取得部１０と、Ｇ補間色差算出部２０と、同時化補間処理部３０と、ＲＧＢ算出部４０と、出力処理部５０とを備える。

画像取得部１０は、撮像部１によって撮像された画像を取得する。具体的には、画像取得部１０は、上述したように撮像部１が撮像した被写体のカラー画像を形成する各色信号Ｒｓ，Ｇｓ，Ｂｓを取得する。また、画像取得部１０は、特に図示しないが、増幅器、Ａ／Ｄ変換器および処理制御部を有する。

この画像取得部１０において、増幅器は、撮像部１から取得した各色信号Ｒｓ，Ｇｓ，Ｂｓを増幅し、Ａ／Ｄ変換器は、この増幅した各色信号Ｒｓ，Ｇｓ，Ｂｓをアナログ信号からデジタル信号に変換する。一方、この画像取得部１０の処理制御部は、ノイズ低減処理機能およびホワイトバランス処理機能等の画像処理機能を有し、このようにデジタル化された各色信号Ｒｓ，Ｇｓ，Ｂｓに対して、ノイズ低減処理およびホワイトバランス処理等の各種画像処理を行う。

このような画像取得部１０は、処理制御部の制御に基づいて、各種画像処理後の各色信号Ｒｓ，Ｇｓ，Ｂｓを、Ｇ成分の色信号ＧｓとＧ成分以外（すなわちＲ成分、Ｂ成分）色信号Ｒｓ，Ｂｓとに分けてＧ補間色差算出部２０に送信する。

Ｇ補間色差算出部２０は、撮像部１によって撮像された画像を形成する各色信号に基づいた補間信号および色差信号を算出する。具体的には、Ｇ補間色差算出部２０は、まず、画像取得部１０から撮像画像の各色信号Ｒｓ，Ｇｓ，Ｂｓを取得する。つぎに、Ｇ補間色差算出部２０は、取得した色信号Ｒｓ，Ｂｓの画素位置に対応するＧ成分の補間信号である補間Ｇ信号Ｇｉを算出する。なお、この実施の形態１において、色信号Ｒｓ，Ｂｓの各画素位置は、特定色信号の一例であるＧ成分の色信号Ｇｓが欠落した画素位置（以下、Ｇ欠落画素位置という）である。次いで、Ｇ補間色差算出部２０は、Ｇ欠落画素位置における色信号Ｒと補間Ｇ信号Ｇｉとの信号差である色差信号Ｒ−Ｇｉと、色信号Ｂと補間Ｇ信号Ｇｉとの信号差である色差信号Ｂ−Ｇｉとを算出する。

ここで、色信号Ｒは、Ｒ成分の色信号の総称であり、Ｇ欠落画素位置のうちのＲ成分の画素位置における色信号Ｒｓまたはローパスフィルタ等によって色信号Ｒｓを帯域制限した色信号ＲＬである。一方、色信号Ｂは、Ｂ成分の色信号の総称であり、Ｇ欠落画素位置のうちのＢ成分の画素位置における色信号Ｂｓまたはローパスフィルタ等によって色信号Ｂｓを帯域制限した色信号ＢＬである。

すなわち、色差信号Ｒ−Ｇｉは、色信号Ｒｓと補間Ｇ信号Ｇｉとの信号差である色差信号Ｒｓ−Ｇｉ、または色信号ＲＬと補間Ｇ信号Ｇｉとの信号差である色差信号ＲＬ−Ｇｉである。同様に、色差信号Ｂ−Ｇｉは、色信号Ｂｓと補間Ｇ信号Ｇｉとの信号差である色差信号Ｂｓ−Ｇｉ、または色信号ＢＬと補間Ｇ信号Ｇｉとの信号差である色差信号ＢＬ−Ｇｉである。

その後、Ｇ補間色差算出部２０は、上述した色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉを所定の順序で同時化補間処理部３０に順次出力する。図３は、Ｇ補間色差算出部が出力する色差信号の２次元配列の一具体例を示す模式図である。Ｇ補間色差算出部２０は、図３に示すような２次元配列の色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉをラスタスキャン順に同時化補間処理部３０に順次出力する。

なお、図１に示した色差信号Ｘ−Ｇｉは、色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉを総称したものであり、色差信号Ｒ−Ｇｉまたは色差信号Ｂ−Ｇｉである。すなわち、色信号Ｘは、Ｇ成分以外の色信号の総称であり、上述したＲ成分の色信号ＲまたはＢ成分の色信号Ｂである。

一方、Ｇ補間色差算出部２０は、上述したＧ成分の色信号Ｇｓおよび補間Ｇ信号Ｇｉを所定の順序で同時化補間処理部３０に順次出力する。図４は、Ｇ補間色差算出部２０が出力するＧ成分信号の２次元配列の一具体例を示す模式図である。Ｇ補間色差算出部２０は、図４に示すような２次元配列の色信号Ｇｓおよび補間Ｇ信号Ｇｉをラスタスキャン順に同時化補間処理部３０に順次出力する。なお、図１に示した色信号Ｇは、Ｇ成分の色信号Ｇｓおよび補間Ｇ信号Ｇｉを総称したものであり、色信号Ｇまたは補間Ｇ信号Ｇｉである。

なお、以下では、本実施の形態１における特定色信号の一例であるＧ成分の色信号Ｇｓの画素をＧ画素と称し、この特定色信号と異なる色成分の色信号である異色信号の一例としての色信号Ｒｓ，Ｂｓの各画素をＲ画素、Ｂ画素と称する場合がある。また、これらＲ画素およびＢ画素を総称してＸ画素と称する場合がある。すなわち、Ｘ画素の色信号として、例えば、上述したＲ成分の色信号Ｒｓ，ＲＬおよびＢ成分の色信号Ｂｓ，ＢＬが挙げられる。

また、異色信号の画素（Ｘ画素）を特にＸＬ画素と称する場合、このＸＬ画素の色信号は、ローパスフィルタ等によって帯域制限された色信号ＲＬ，ＢＬである。同様に、異色信号の総称である色信号Ｘを色信号ＸＬと称する場合、この色信号ＸＬは、帯域制限された色信号ＲＬまたは色信号ＢＬである。なお、Ｘ画素は、特定色信号の一例である色信号Ｇｓが欠落した画素、すなわちＧ欠落画素に相当する。

同時化補間処理部３０は、Ｇ補間色差算出部２０から取得した色差信号Ｘ−Ｇｉおよび色信号Ｇをもとに、同一サンプリング位置に複数の色信号を生成する。具体的には、同時化補間処理部３０は、まず、Ｇ補間色差算出部２０からの色差信号Ｘ−Ｇｉとして、色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉを取得し、Ｇ補間色差算出部２０からの色信号Ｇとして、Ｇ成分の色信号Ｇｓおよび補間Ｇ信号Ｇｉを取得する。

ここで、色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉは、Ｇ欠落画素位置の補間処理種別に対応して選択された色差信号であり、補間Ｇ信号Ｇｉは、Ｇ欠落画素位置における色信号Ｇｓの補間信号である。また、色信号Ｇｓは、上述したように、本実施の形態１における特定色信号である。

つぎに、同時化補間処理部３０は、Ｇ補間色差算出部２０からの色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉ、補間Ｇ信号Ｇｉ、および色信号Ｇｓをもとに、同一サンプリング位置に複数（例えば３つ）の色信号を生成する。図５は、Ｇ補間色差算出部から出力されるＧ成分の色信号の２次元配列の一具体例を示す模式図である。図６は、Ｇ補間色差算出部から出力されるＲ成分の色差信号の２次元配列の一具体例を示す模式図である。図７は、Ｇ補間色差算出部から出力されるＢ成分の色差信号の２次元配列の一具体例を示す模式図である。

同時化補間処理部３０は、図５〜７に示すように、例えば８×８画素領域を用い、この８×８画素領域の中央位置に、色信号Ｇと色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉとを補間処理して、３つの色信号である色差信号Ｒ−Ｇ，Ｂ−Ｇと色信号Ｇとを同一位置に生成する。その後、同時化補間処理部３０は、このように同一位置に生成した３つの色信号、詳細には２つの色差信号Ｒ−Ｇ，Ｂ−Ｇおよび１つの色信号ＧをＲＧＢ算出部４０に出力する。

ＲＧＢ算出部４０は、同時化補間処理部３０によって同一位置に生成された複数の色信号に基づいてＲＧＢの各色信号を算出する。具体的には、ＲＧＢ算出部４０は、まず、同時化補間処理部３０によって同一位置に生成された複数の色信号である色差信号Ｒ−Ｇ，Ｂ−Ｇおよび色信号Ｇを取得する。

つぎに、ＲＧＢ算出部４０は、同一位置における色差信号Ｒ−Ｇ，Ｂ−Ｇおよび色信号Ｇをもとに生成した色信号Ｒ，Ｇ，Ｂに対して、カラーマッチング処理およびγ補正処理を行う。これによって、ＲＧＢ算出部４０は、これらの処理が施されたＲ成分の色信号Ｒγ、Ｇ成分の色信号ＧγおよびＢ成分の色信号Ｂγを算出する。その後、ＲＧＢ算出部４０は、このように算出した色信号Ｒγ，Ｇγ，Ｂγを出力処理部５０に出力する。

出力処理部５０は、まず、ＲＧＢ算出部４０によって算出された色信号Ｒγ，Ｇγ，Ｂγを取得し、この取得した色信号Ｒγ，Ｇγ，Ｂγを出力画像データの色信号に変換する。具体的には、出力処理部５０は、ＲＧＢ算出部４０からの色信号Ｒγ，Ｇγ，ＢγをＹＵＶ形式の各信号に変換し、さらに、このＹＵＶ形式の各信号をＪＰＥＧまたはＭＰＥＧ等の高能率圧縮符号化処理がなされた圧縮データに変換する。その後、出力処理部５０は、この圧縮データを出力画像データとして出力部３に送信する。

なお、出力処理部５０は、ＲＧＢ算出部４０からの色信号Ｒγ，Ｇγ，ＢγをＹＵＶ形式以外の所定の信号規格（例えばＲＧＢ形式の各信号）に変換し、得られた変換データを出力画像データとして出力部３に送信してもよい。

出力部３は、画像処理装置２によって画像処理された画像データを出力する。具体的には、例えばＣＲＴディスプレイまたは液晶ディスプレイ等の所望のディスプレイを用いて実現され、画像処理装置２によって画像処理された画像データに基づく画像、すなわち、上述した撮像部１によって撮像された被写体の画像を表示出力する。

なお、出力部３は、上述したように画像データを表示出力するディスプレイ等の装置に限らず、画像処理装置２によって画像処理された画像データに基づく画像（撮像部１が撮像した被写体の画像）を所定の記憶媒体に記憶する記憶装置であってもよいし、被写体の画像を紙等の媒体に印刷するプリンタであってもよい。

また、記憶装置としての出力部３の記憶媒体は、フラッシュメモリの半導体メモリであってもよいし、ハードディスク等の据え置き型の記憶媒体であってもよいし、磁気テープ、光ディスクまたはメモリーカード等の可搬型の記憶媒体であってもよい。

つぎに、本発明の実施の形態１にかかる画像処理装置２のＧ補間色差算出部２０について詳細に説明する。図８は、本発明の実施の形態１にかかる画像処理装置のＧ補間色差算出部の一構成例を模式的に示すブロック図である。

図８に示すように、この実施の形態１にかかるＧ補間色差算出部２０は、メモリ２１ａ〜２１ｇと、縦補間算出部２２ａと、横補間算出部２２ｂと、４画素平均補間算出部２２ｃと、減算部２３ａ〜２３ｄと、乗算部２３ｅと、ローパスフィルタ２４と、色差類似度算出部２５ａ〜２５ｃと、Ｇ変動量算出部２６と、判定部２７と、種別情報修正部２８と、色差選択部２９とを備える。

メモリ２１ａ，２１ｂは、上述したＧ欠落画素位置における２次元的な補間処理が実施可能になる画素のデータ（色信号等）が揃うまでの遅延を得るためのものである。具体的には、メモリ２１ａは、撮像画像を形成する各画素の色信号のうちの本実施の形態１における異色信号、すなわち画像取得部１０から出力された色信号Ｒｓ，Ｂｓを順次取得し、所定のライン数分（例えば３ライン以上）の色信号Ｒｓ，Ｂｓを格納する。その後、メモリ２１ａは、所定のライン数分の色信号Ｒｓ，Ｂｓを格納した場合、この所定のライン数分の色信号Ｒｓ，Ｂｓを減算部２３ａ，２３ｂ，２３ｄに順次出力する。

一方、メモリ２１ｂは、撮像画像を形成する各画素の色信号のうちの本実施の形態１における特定色信号、すなわち画像取得部１０から出力された色信号Ｇｓを順次取得し、所定のライン数分の色信号Ｇｓを格納する。その後、メモリ２１ｂは、所定のライン数分の色信号Ｇｓを格納した場合、この所定のライン数分の色信号Ｇｓを縦補間算出部２２ａ、横補間算出部２２ｂ、４画素平均補間算出部２２ｃ、Ｇ変動量算出部２６および同時化補間処理部３０（図１参照）に順次出力する。

このようにして、メモリ２１ａ，２１ｂは、上述したＧ欠落画素位置における２次元的な補間処理が実施可能になる画素数のデータ、すなわち所定のライン数分の色信号Ｒｓ，Ｇｓ，Ｂｓが揃うまでの遅延を得る。

縦補間算出部２２ａ、横補間算出部２２ｂおよび４画素平均補間算出部２２ｃは、補間処理種別毎に特定色信号（色信号Ｇｓ）の異なる補間信号を算出する複数の補間信号算出部として機能する。

具体的には、縦補間算出部２２ａは、Ｇ欠落画素位置の縦方向に隣接する各画素位置の特定色信号をもとに縦方向の補間処理（以下、縦補間処理という）を行って、縦方向の補間処理種別に対応する補間信号を算出する。

横補間算出部２２ｂは、Ｇ欠落画素位置の横方向に隣接する各画素位置の特定色信号をもとに横方向の補間処理（以下、横補間処理という）を行って、横方向の補間処理種別に対応する補間信号を算出する。

４画素平均補間算出部２２ｃは、Ｇ欠落画素位置の縦、横に隣接する全画素位置の特定色信号をもとに縦横方向（十字方向）の補間処理（以下、４画素平均補間処理という）を行って、４画素平均補間の補間処理種別に対応する補間信号を算出する。

以下に、縦補間処理、横補間処理および４画素平均補間処理について具体的に説明する。図９は、本実施の形態１における補間処理種別に異なる補間処理対象画素のベイヤ配列上の画素位置の具体例を示す模式図である。

縦補間算出部２２ａは、G欠落画素であるＸ画素の縦方向に隣接する２つの画素（図９参照）の各色信号Ｇｓをメモリ２１ｂから取得し、この取得した各色信号Ｇｓの信号値Ｇ１，Ｇ２を用いて次式（１）に基づく縦補間処理を行う。これによって、縦補間算出部２２ａは、このＸ画素におけるＧ成分の補間値Ｇｖを算出する。その後、縦補間算出部２２ａは、式（１）に基づいて算出した補間値Ｇｖを信号値とする補間信号を減算部２３ａに出力する。

Ｇｖ＝（Ｇ１＋Ｇ２）／２ ・・・（１）

一方、横補間算出部２２ｂは、G欠落画素であるＸ画素の横方向に隣接する２つの画素（図９参照）の各色信号Ｇｓをメモリ２１ｂから取得し、この取得した各色信号Ｇｓの信号値Ｇ３，Ｇ４を用いて次式（２）に基づく横補間処理を行う。これによって、横補間算出部２２ｂは、このＸ画素におけるＧ成分の補間値Ｇｈを算出する。その後、横補間算出部２２ｂは、式（２）に基づいて算出した補間値Ｇｈを信号値とする補間信号を減算部２３ｂに出力する。

Ｇｈ＝（Ｇ３＋Ｇ４）／２ ・・・（２）

他方、４画素平均補間算出部２２ｃは、G欠落画素であるＸ画素の十字方向に隣接する４つの画素（図９参照）の各色信号Ｇｓをメモリ２１ｂから取得し、この取得した各色信号Ｇｓの信号値Ｇ１〜Ｇ４を用いて次式（３）に基づく４画素平均補間処理を行う。これによって、４画素平均補間算出部２２ｃは、このＸ画素におけるＧ成分の補間値Ｇａを算出する。その後、４画素平均補間算出部２２ｃは、式（３）に基づいて算出した補間値Ｇａを信号値とする補間信号を減算部２３ｃに出力する。

Ｇａ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／２ ・・・（３）

ここで、上述した補間値Ｇｖ，Ｇｈ，Ｇａは、補間処理種別毎に異なる補間信号の各信号値である。詳細には、補間値Ｇｖは、縦補間処理によって算出されるＧ欠落画素の補間Ｇ信号Ｇｉの信号値であり、補間値Ｇｈは、横補間処理によって算出されるＧ欠落画素の補間Ｇ信号Ｇｉの信号値であり、補間値Ｇａは、４画素平均補間処理によって算出されるＧ欠落画素の補間Ｇ信号Ｇｉの信号値である。

減算部２３ａ〜２３ｃは、補間処理種別毎に、本実施の形態１における異色信号と特定色信号との信号差の候補である色差信号候補を算出する複数の色差信号候補算出部として機能する。具体的には、減算部２３ａは、まず、縦補間算出部２２ａから縦補間処理の補間値Ｇｖを有する補間信号を取得し、メモリ２１ａからＧ欠落画素（Ｘ画素）における色信号Ｘを取得する。つぎに、減算部２３ａは、補間値Ｇｖの補間信号と色信号Ｘとの減算処理を行って、縦補間処理に対応する色差信号候補である色差信号Ｘ−Ｇｖを算出する。その後、減算部２３ａは、この算出した色差信号Ｘ−Ｇｖをメモリ２１ｃに出力する。なお、減算部２３ａが算出した色差信号Ｘ−Ｇｖとして、例えば、縦補間処理に対応する色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉが挙げられる。

一方、減算部２３ｂは、まず、横補間算出部２２ｂから横補間処理の補間値Ｇｈを有する補間信号を取得し、メモリ２１ａからＸ画素における色信号Ｘを取得する。つぎに、減算部２３ｂは、補間値Ｇｈの補間信号と色信号Ｘとの減算処理を行って、横補間処理に対応する色差信号候補である色差信号Ｘ−Ｇｈを算出する。その後、減算部２３ｂは、この算出した色差信号Ｘ−Ｇｈをメモリ２１ｄに出力する。なお、減算部２３ｂが算出した色差信号Ｘ−Ｇｈとして、例えば、横補間処理に対応する色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉが挙げられる。

他方、減算部２３ｃは、まず、４画素平均補間算出部２２ｃから４画素平均補間処理の補間値Ｇａを有する補間信号を取得し、ローパスフィルタ２４から色信号ＸＬを取得する。なお、色信号ＸＬは、メモリ２１ａからのＸ画素の色信号Ｘがローパスフィルタ２４によって帯域制限処理された色信号である。つぎに、減算部２３ｃは、補間値Ｇａの補間信号と色信号ＸＬとの減算処理を行って、４画素平均補間処理に対応する色差信号候補である色差信号ＸＬ−Ｇａを算出する。その後、減算部２３ｃは、この算出した色差信号ＸＬ−Ｇａをメモリ２１ｅに出力する。なお、減算部２３ｃが算出した色差信号ＸＬ−Ｇａとして、例えば、４画素平均補間処理に対応する色差信号ＲＬ−Ｇｉ，ＢＬ−Ｇｉが挙げられる。

ローパスフィルタ２４は、メモリ２１ａに格納された色信号Ｘ（すなわち本実施の形態１における異色信号）に対して帯域制限処理を行い、所定の周波数帯域幅に帯域制限した色信号ＸＬを減算部２３ｃに出力する。図１０は、ローパスフィルタの帯域制限処理において用いる色信号のベイヤ配列上の画素位置の具体例を示す模式図である。なお、図１０には、後述するＧ変動量算出部２６が行う処理において用いる色信号のベイヤ配列上の画素位置の具体例も示されている。

具体的には、ローパスフィルタ２４は、Ｇ欠落画素であるＸ画素の色信号Ｒｓ，Ｂｓをメモリ２１ａから取得し、この取得した色信号Ｒｓ，Ｂｓに対して帯域制限処理を行って、色信号ＲＬ，ＢＬを生成する。なお、色信号ＲＬは、帯域制限処理によって色信号Ｒｓを帯域制限したものであり、色信号ＢＬは、帯域制限処理によって色信号Ｂｓを帯域制限したものである。

より具体的には、図１０に示すように、ローパスフィルタ２４は、処理対象のＸ画素であるＸ（ｎ，ｍ）と、このＸ画素の上下左右に位置する同種（同じ色成分）のＸ画素であるＸ（ｎ，ｍ−２）、Ｘ（ｎ，ｍ＋２）、Ｘ（ｎ−２，ｍ）、Ｘ（ｎ＋２，ｍ）とを用い、次式（４）に基づいてＸＬ（ｎ，ｍ）を算出する。なお、ＸＬ（ｎ，ｍ）は、処理対象のＸ画素を帯域制限したものであり、以下、上述したＸＬ画素に該当する。その後、ローパスフィルタ２４は、式（４）に基づいて帯域制限処理した色信号ＸＬ（具体的には色信号ＲＬ，ＢＬ）を減算部２３ｃに出力する。

XL(n,m)＝α×X(n,m)＋β×｛X(n,m+2)＋X(n,m-2)＋X(n-2,m)＋X(n+2,m)｝・・・（４）

ここで、式（４）におけるαおよびβは、Ｘ画素に対して４つの周辺Ｇ画素平均の斜め４５度方向の空間周波数特性に近似させる重み係数である。また、ｎは画像内の水平方向の座標値であり、ｍは画像内の垂直方向の座標値である。すなわち、画像内の画素位置は、水平方向の座標値と垂直方向の座標値とによって規定される。

メモリ２１ｃ〜２１ｅは、補間処理種別毎に、上述した色差信号候補を記憶する複数の記憶部として機能する。具体的には、メモリ２１ｃは、まず、減算部２３ａによって算出された縦補間処理の色差信号候補である色差信号Ｘ−Ｇｖを順次取得し、所定の画素数分の色差信号Ｘ−Ｇｖを格納する。その後、メモリ２１ｃは、所定の画素数分の色差信号Ｘ−Ｇｖを格納した場合、この格納した色差信号Ｘ−Ｇｖを色差類似度算出部２５ａおよび色差選択部２９に適宜出力する。

メモリ２１ｄは、まず、減算部２３ｂによって算出された横補間処理の色差信号候補である色差信号Ｘ−Ｇｈを順次取得し、所定の画素数分の色差信号Ｘ−Ｇｈを格納する。その後、メモリ２１ｄは、所定の画素数分の色差信号Ｘ−Ｇｈを格納した場合、この格納した色差信号Ｘ−Ｇｈを色差類似度算出部２５ｂおよび色差選択部２９に適宜出力する。

メモリ２１ｅは、まず、減算部２３ｃによって算出された４画素平均補間処理の色差信号候補である色差信号ＸＬ−Ｇａを順次取得し、所定の画素数分の色差信号ＸＬ−Ｇａを格納する。その後、メモリ２１ｅは、所定の画素数分の色差信号ＸＬ−Ｇａを格納した場合、この格納した色差信号ＸＬ−Ｇａを色差類似度算出部２５ｃおよび色差選択部２９に適宜出力する。

上述したようにして、メモリ２１ｃ〜２１ｅは、所定の画素数分（例えば５行５列の画素数分）の色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａを含む画素領域における色差類似度の算出処理が実施可能になるまでの遅延を得る。なお、色差類似度の算出処理は、後述する色差類似度算出部２５ａ〜２５ｃによって実施される。

以下に、メモリ２１ｃ〜２１ｅの各動作をより具体的に説明する。図１１は、縦補間処理に対応する色差類似度の算出処理に用いる色差信号のベイヤ配列上の画素位置の具体例を示す模式図である。図１２は、横補間処理に対応する色差類似度の算出処理に用いる色差信号のベイヤ配列上の画素位置の具体例を示す模式図である。図１３は、４画素平均補間処理に対応する色差類似度の算出処理に用いる色差信号のベイヤ配列上の画素位置の具体例を示す模式図である。

より具体的には、図１１に示すように、メモリ２１ｃは、例えば５行５列の画素数分の色差信号Ｘ−Ｇｖを減算部２３ａから取得し、この取得した５行５列の画素数分の色差信号Ｘ−Ｇｖ、すなわち、(Ｘ−Ｇｖ)(ｎ−２，ｍ＋２)、(Ｘ−Ｇｖ)(ｎ，ｍ＋２)、(Ｘ−Ｇｖ)(ｎ＋２，ｍ＋２)、(Ｘ−Ｇｖ)(ｎ−１，ｍ＋１)、(Ｘ−Ｇｖ)(ｎ＋１，ｍ＋１)、(Ｘ−Ｇｖ)(ｎ−２，ｍ)、(Ｘ−Ｇｖ)(ｎ，ｍ)、(Ｘ−Ｇｖ)(ｎ＋２，ｍ)、(Ｘ−Ｇｖ)(ｎ−１，ｍ−１)、(Ｘ−Ｇｖ)(ｎ＋１，ｍ−１)、(Ｘ−Ｇｖ)(ｎ−２，ｍ−２)、(Ｘ−Ｇｖ)(ｎ，ｍ−２)、(Ｘ−Ｇｖ)(ｎ＋２，ｍ−２)を格納する。その後、メモリ２１ｃは、この格納した５行５列の画素数分の全色差信号Ｘ−Ｇｖを色差類似度算出部２５ａに出力するとともに、これら全色差信号Ｘ−Ｇｖのうちの処理対象の色差信号（例えば、色差信号(Ｘ−Ｇｖ)(ｎ，ｍ)）を色差選択部２９に出力する。

一方、図１２に示すように、メモリ２１ｄは、例えば５行５列の画素数分の色差信号Ｘ−Ｇｈを減算部２３ｂから取得し、この取得した５行５列の画素数分の色差信号Ｘ−Ｇｈ、すなわち、(Ｘ−Ｇｈ)(ｎ−２，ｍ＋２)、(Ｘ−Ｇｈ)(ｎ，ｍ＋２)、(Ｘ−Ｇｈ)(ｎ＋２，ｍ＋２)、(Ｘ−Ｇｈ)(ｎ−１，ｍ＋１)、(Ｘ−Ｇｈ)(ｎ＋１，ｍ＋１)、(Ｘ−Ｇｈ)(ｎ−２，ｍ)、(Ｘ−Ｇｈ)(ｎ，ｍ)、(Ｘ−Ｇｈ)(ｎ＋２，ｍ)、(Ｘ−Ｇｈ)(ｎ−１，ｍ−１)、(Ｘ−Ｇｈ)(ｎ＋１，ｍ−１)、(Ｘ−Ｇｈ)(ｎ−２，ｍ−２)、(Ｘ−Ｇｈ)(ｎ，ｍ−２)、(Ｘ−Ｇｈ)(ｎ＋２，ｍ−２)を格納する。その後、メモリ２１ｄは、この格納した５行５列の画素数分の全色差信号Ｘ−Ｇｈを色差類似度算出部２５ｂに出力するとともに、これら全色差信号Ｘ−Ｇｈのうちの処理対象の色差信号（例えば、色差信号(Ｘ−Ｇｈ)(ｎ，ｍ)）を色差選択部２９に出力する。

他方、図１３に示すように、メモリ２１ｅは、例えば５行５列の画素数分の色差信号ＸＬ−Ｇａを減算部２３ｃから取得し、この取得した５行５列の画素数分の色差信号ＸＬ−Ｇａ、すなわち、(ＸＬ−Ｇａ)(ｎ−２，ｍ＋２)、(ＸＬ−Ｇａ)(ｎ，ｍ＋２)、(ＸＬ−Ｇａ)(ｎ＋２，ｍ＋２)、(ＸＬ−Ｇａ)(ｎ−１，ｍ＋１)、(ＸＬ−Ｇａ)(ｎ＋１，ｍ＋１)、(ＸＬ−Ｇａ)(ｎ−２，ｍ)、(ＸＬ−Ｇａ)(ｎ，ｍ)、(ＸＬ−Ｇａ)(ｎ＋２，ｍ)、(ＸＬ−Ｇａ)(ｎ−１，ｍ−１)、(ＸＬ−Ｇａ)(ｎ＋１，ｍ−１)、(ＸＬ−Ｇａ)(ｎ−２，ｍ−２)、(ＸＬ−Ｇａ)(ｎ，ｍ−２)、(ＸＬ−Ｇａ)(ｎ＋２，ｍ−２)を格納する。その後、メモリ２１ｅは、この格納した５行５列の画素数分の全色差信号ＸＬ−Ｇａを色差類似度算出部２５ｃに出力するとともに、これら全色差信号ＸＬ−Ｇａのうちの処理対象の色差信号（例えば、色差信号(ＸＬ−Ｇａ)(ｎ，ｍ)）を色差選択部２９に出力する。

色差類似度算出部２５ａ〜２５ｃは、上述したメモリ２１ｃ〜２１ｅが補間処理種別に各々記憶した補間処理種別毎の色差信号候補をもとに、補間処理種別毎に色差信号候補間の類似度を算出する複数の色差類似度算出部として機能する。

具体的には、色差類似度算出部２５ａは、まず、メモリ２１ｃに格納された所定の画素数分の色差信号候補（色差信号Ｘ−Ｇｖ）を取得する。つぎに、色差類似度算出部２５ａは、取得した所定の画素数分の色差信号候補をもとに、複数の補間処理種別のうちの縦補間処理に対応する色差信号候補間の類似度を算出する。例えば、色差類似度算出部２５ａは、図１１に示した５行５列の画素数分の色差信号Ｘ−Ｇｖを取得し、この取得した５行５列の画素数分の色差信号Ｘ−Ｇｖを用い、次式（５）に基づいて、処理対象のＸ画素（Ｇ欠落画素）の画素位置であるＸ(ｎ，ｍ)における色差類似度Ｓｖ(ｎ，ｍ)を算出する。その後、色差類似度算出部２５ａは、この算出した色差類似度Ｓｖ(ｎ，ｍ)を判定部２７に出力する。

Ｓｖ(ｎ，ｍ)＝Ｓｖ１(ｎ，ｍ)＋Ｓｖ２(ｎ，ｍ) ・・・（５）

ここで、この式（５）において、Ｓｖ１(ｎ，ｍ)およびＳｖ２(ｎ，ｍ)は、メモリ２１ｃに格納された所定の画素数分の色差信号Ｘ−Ｇｖを用いて算出可能である。例えば図１１に示した５行５列の画素数分の色差信号Ｘ−Ｇｖを用いた場合、Ｓｖ１(ｎ，ｍ)は、中央のＧ欠落画素位置の色差信号とその外側の周辺８つのＧ欠落画素位置の色差信号とを用い、次式（６）に基づいて算出される。Ｓｖ２(ｎ，ｍ)は、その内側の周辺４つのＧ欠落画素位置の色差信号を用い、次式（７）に基づいて算出される。

Sv1(n,m)＝{|(X-Gv)(n,m-2)−(X-Gv)(n,m)|＋|(X-Gv)(n,m+2)−(X-Gv)(n,m)|}×Wvc1
＋{|(X-Gv)(n-2,m-2)−(X-Gv)(n-2,m)|＋|(X-Gv)(n-2,m+2)−(X-Gv)(n-2,m)|
＋|(X-Gv)(n+2,m-2)−(X-Gv)(n+2,m)|＋|(X-Gv)(n+2,m+2)−(X-Gv)(n+2,m)|}×Wva1
・・・（６）

Sv2(n,m)＝{|(X-Gv)(n-1,m-1)−(X-Gv)(n-1,m+1)|＋|(X-Gv)(n+1,m-1)
−(X-Gv)(n+1,m+1)|}×Wv2 ・・・（７）

なお、この式（６）、（７）において、Ｗｖｃ１、Ｗｖａ１およびＷｖ２は、Ｗｖｃ１＋２×Ｗｖａ１＝Ｗｖ２の関係にある。

一方、色差類似度算出部２５ｂは、まず、メモリ２１ｄに格納された所定の画素数分の色差信号候補（色差信号Ｘ−Ｇｈ）を取得する。つぎに、色差類似度算出部２５ｂは、取得した所定の画素数分の色差信号候補をもとに、複数の補間処理種別のうちの横補間処理に対応する色差信号候補間の類似度を算出する。例えば、色差類似度算出部２５ｂは、図１２に示した５行５列の画素数分の色差信号Ｘ−Ｇｈを取得し、この取得した５行５列の画素数分の色差信号Ｘ−Ｇｈを用い、次式（８）に基づいて、処理対象のＸ画素（Ｇ欠落画素）の画素位置であるＸ(ｎ，ｍ)における色差類似度Ｓｈ(ｎ，ｍ)を算出する。その後、色差類似度算出部２５ｂは、この算出した色差類似度Ｓｈ(ｎ，ｍ)を判定部２７に出力する。

Ｓｈ(ｎ，ｍ)＝Ｓｈ１(ｎ，ｍ)＋Ｓｈ２(ｎ，ｍ) ・・・（８）

ここで、この式（８）において、Ｓｈ１(ｎ，ｍ)およびＳｈ２(ｎ，ｍ)は、メモリ２１ｄに格納された所定の画素数分の色差信号Ｘ−Ｇｈを用いて算出可能である。例えば図１２に示した５行５列の画素数分の色差信号Ｘ−Ｇｈを用いた場合、Ｓｈ１(ｎ，ｍ)は、中央のＧ欠落画素位置の色差信号とその外側の周辺８つのＧ欠落画素位置の色差信号とを用い、次式（９）に基づいて算出される。Ｓｈ２(ｎ，ｍ)は、その内側の周辺４つのＧ欠落画素位置の色差信号を用い、次式（１０）に基づいて算出される。

Sh1(n,m)＝{|(X-Gh)(n-2,m)−(X-Gh)(n,m)|＋|(X-Gh)(n+2,m)−(X-Gh)(n,m)|}×Whc1
＋{|(X-Gh)(n-2,m-2)−(X-Gh)(n,m-2)|＋|(X-Gh)(n+2,m-2)−(X-Gh)(n,m-2)|
＋|(X-Gh)(n-2,m+2)−(X-Gh)(n,m+2)|＋|(X-Gh)(n+2,m+2)−(X-Gh)(n,m+2)|}×Wha1
・・・（９）

Sh2(n,m)＝{|(X-Gh)(n-1,m-1)−(X-Gh)(n+1,m-1)|＋|(X-Gh)(n-1,m+1)
−(X-Gh)(n+1,m+1)|}×Wh2 ・・・（１０）

なお、この式（９）、（１０）において、Ｗｈｃ１、Ｗｈａ１およびＷｈ２は、Ｗｈｃ１＋２×Ｗｈａ１＝Ｗｈ２の関係にある。

他方、色差類似度算出部２５ｃは、まず、メモリ２１ｅに格納された所定の画素数分の色差信号候補（色差信号ＸＬ−Ｇａ）を取得する。つぎに、色差類似度算出部２５ｃは、取得した所定の画素数分の色差信号候補をもとに、複数の補間処理種別のうちの４画素平均補間処理に対応する色差信号候補間の類似度を算出する。例えば、色差類似度算出部２５ｃは、図１３に示した５行５列の画素数分の色差信号ＸＬ−Ｇａを取得し、この取得した５行５列の画素数分の色差信号ＸＬ−Ｇａを用い、次式（１１）に基づいて、処理対象のＸＬ画素（Ｇ欠落画素）の画素位置であるＸＬ(ｎ，ｍ)における色差類似度Ｓａ(ｎ，ｍ)を算出する。その後、色差類似度算出部２５ｃは、この算出した色差類似度Ｓａ(ｎ，ｍ)を乗算部２３ｅに出力する。

Ｓａ(ｎ，ｍ)＝Ｓａ１(ｎ，ｍ)＋Ｓａ２(ｎ，ｍ) ・・・（１１）

ここで、この式（１１）において、Ｓａ１(ｎ，ｍ)およびＳａ２(ｎ，ｍ)は、メモリ２１ｅに格納された所定の画素数分の色差信号ＸＬ−Ｇａを用いて算出可能である。例えば図１３に示した５行５列の画素数分の色差信号ＸＬ−Ｇａを用いた場合、Ｓａ１(ｎ，ｍ)は、中央のＧ欠落画素位置の色差信号とその外側の周辺８つのＧ欠落画素位置の色差信号とを用い、次式（１２）に基づいて算出される。Ｓａ２(ｎ，ｍ)は、その内側の周辺４つのＧ欠落画素位置の色差信号を用い、次式（１３）に基づいて算出される。

Sa1(n,m)＝{|(XL-Ga)(n-2,m-2)−(XL-Ga)(n,m)|＋|(XL-Ga)(n,m-2)−(XL-Ga)(n,m)|
＋|(XL-Ga)(n-2,m-2)−(XL-Ga)(n,m)|＋|(XL-Ga)(n-2,m)−(XL-Ga)(n,m)|
＋|(XL-Ga)(n+2,m)−(XL-Ga)(n,m)|＋|(XL-Ga)(n-2,m+2)−(XL-Ga)(n,m)|
＋|(XL-Ga)(n,m+2)−(XL-Ga)(n,m)|＋|(XL-Ga)(n+2,m+2)−(XL-Ga)(n,m)|}×Wa1
・・・（１２）

Sa2(n,m)＝{|(XL-Ga)(n-1,m-1)−(XL-Ga)(n+1,m+1)|＋|(XL-Ga)(n-1,m+1)
−(XL-Ga)(n+1,m-1)|}×Wa2 ・・・（１３）

なお、この式（１２）、（１３）において、Ｗａ１およびＷａ２は、４×Ｗａ１＝Ｗａ２の関係にある。

Ｇ変動量算出部２６は、本実施の形態１における画像内の特定色信号である色信号Ｇｓをもとに、Ｇ欠落画素の画素位置（Ｘ（ｎ，ｍ））におけるＧ変動量を算出し、この算出したＧ変動量に基づいて、Ｇ欠落画素の画素位置におけるＧ変動量重み係数ｗ（ｎ，ｍ）を算出する。

具体的には、Ｇ変動量算出部２６は、図１０に示したように、G欠落画素位置であるＸ（ｎ，ｍ）の周辺に位置する各画素位置の色信号Ｇｓ、すなわち、Ｇｓ(ｎ−１，ｍ＋２)、Ｇｓ(ｎ＋１，ｍ＋２)、Ｇｓ(ｎ−２，ｍ＋１)、Ｇｓ(ｎ，ｍ＋１)、Ｇｓ(ｎ＋２，ｍ＋１)、Ｇｓ(ｎ−１，ｍ)、Ｇｓ(ｎ＋１，ｍ)、Ｇｓ(ｎ−２，ｍ−１)、Ｇｓ(ｎ，ｍ−１)、Ｇｓ(ｎ＋２，ｍ−１)、Ｇｓ(ｎ−１，ｍ−２)、Ｇｓ(ｎ＋１，ｍ−２)を用い、次式（１４）に基づいて、Ｇ欠落画素の画素位置（Ｘ（ｎ，ｍ））におけるＧ変動量ＧＲ（ｎ，ｍ）を算出する。なお、Ｇ変動量算出部２６は、上述したメモリ２１ｂの格納情報の中から、このG欠落画素位置の周辺に位置する各画素位置の色信号Ｇｓを読み込む。

GR(n,m) ＝Dc(n, m)／P+{Dr1(n,m)+Dr2(n,m)+Dr3(n,m)+Dr4(n,m)}／Q ・・・（１４）

ここで、この式（１４）において、
Dc(n,m)＝|Gs(n-1,m)−Gs(n,m-1)＋Gs(n+1,m)−Gs(n,m+1)|＋|Gs(n-1,m)＋Gs(n,m-1)−Gs(n+1,m)−Gs(n,m+1)|＋|Gs(n-1,m)−Gs(n,m-1)−Gs(n+1,m)＋Gs(n,m+1)|
であり、
Dr1(n,m)＝|Gs(n-2,m-1)−Gs(n-1,m-2)＋Gs(n,m-1)−Gs(n-1,m)|＋|Gs(n-2,m-1)＋Gs(n-1,m-2)−Gs(n,m-1)−Gs(n-1,m)|＋|Gs(n-2,m-1)−Gs(n-1,m-2)−Gs(n,m-1)＋Gs(n-1,m)|
であり、
Dr2(n,m)＝|Gs(n,m-1)−Gs(n+1,m-2)＋Gs(n+2,m-1)−Gs(n+1,m)|＋|Gs(n,m-1)＋Gs(n+1,m-2)−Gs(n+2,m-1)−Gs(n+1,m)|＋|Gs(n,m-1)−Gs(n+1,m-2)−Gs(n+2,m-1)＋Gs(n+1,m)|
であり、
Dr3(n,m)＝|Gs(n,m+1)−Gs(n+1,m)＋Gs(n+2,m+1)−Gs(n+1,m+2)|＋|Gs(n,m+1)＋Gs(n+1,m)−Gs(n+2,m+1)−Gs(n+1,m+2)|＋|Gs(n,m+1)−Gs(n+1,m)−Gs(n+2,m+1)＋Gs(n+1,m+2)|
であり、
Dr4(n,m)＝|Gs(n-2,m+1)−Gs(n-1,m)＋Gs(n,m+1)−Gs(n-1,m+2)|＋|Gs(n-2,m+1)＋Gs(n-1,m)−Gs(n,m+1)−Gs(n-1,m+2)|＋|Gs(n-2,m+1)−Gs(n-1,m)−Gs(n,m+1)＋Gs(n-1,m+2)|
である。また、ＰおよびＱは、中央の画素位置（Ｘ（ｎ，ｍ））とその周辺の画素位置との変動量の重み係数であって正の任意定数である。

また、Ｇ変動量算出部２６は、上述した式（１４）に基づいてＧ欠落画素の画素位置（Ｘ（ｎ，ｍ））におけるＧ変動量ＧＲ（ｎ，ｍ）を算出した後、このＧ変動量ＧＲ（ｎ，ｍ）に対応するＧ変動量重み係数ｗ（ｎ，ｍ）を算出する。

図１４は、Ｇ欠落画素の画素位置におけるＧ変動量とその重み係数との関係の一具体例を示す模式図である。具体的には、Ｇ変動量算出部２６は、図１４に示すようなＧ変動量と重み係数との相関関係に基づいて、この算出したＧ変動量ＧＲ（ｎ，ｍ）に対応するＧ変動量重み係数ｗ（ｎ，ｍ）を算出する。その後、Ｇ変動量算出部２６は、Ｇ変動量重み係数ｗ（ｎ，ｍ）をメモリ２１ｆに出力する。

ここで、Ｇ変動量算出部２６によって算出されるＧ変動量重み係数ｗ（ｎ，ｍ）は、図１４に示すように、予め設定された所定の閾値以上のＧ変動量範囲において「１」であり、この閾値未満のＧ変動量範囲において、Ｇ変動量ＧＲ（ｎ，ｍ）の減少に伴って減少する。

なお、Ｇ変動量算出部２６は、図１４に示すＧ変動量と重み係数との相関関係に対応した所定の計算式に基づいてＧ変動量重み係数ｗ（ｎ，ｍ）を算出してもよいし、図１４に示すＧ変動量と重み係数との相関関係を示すルックアップテーブルを予め有し、このルックアップテーブルに基づいてＧ変動量ＧＲ（ｎ，ｍ）をＧ変動量重み係数ｗ（ｎ，ｍ）に変換してもよい。

メモリ２１ｆは、上述したＧ変動量算出部２６によるＧ変動量重み係数ｗ（ｎ，ｍ）を更新可能に格納し、この格納したＧ変動量重み係数ｗ（ｎ，ｍ）を乗算部２３ｅに出力する。このようなメモリ２１ｆは、Ｇ変動量算出部２６によるＧ変動量重み係数ｗ（ｎ，ｍ）を取得する都度、Ｇ変動量重み係数ｗ（ｎ，ｍ）を更新して最新のＧ変動量重み係数ｗ（ｎ，ｍ）を格納する。

乗算部２３ｅは、まず、複数の補間処理種別のうちの４画素平均補間処理に対応する色差類似度Ｓａ（ｎ，ｍ）を色差類似度算出部２５ｃから取得し、上述したＧ変動量重み係数ｗ（ｎ，ｍ）をメモリ２１ｆから読み込む。つぎに、乗算部２３ｅは、色差類似度Ｓａ（ｎ，ｍ）とＧ変動量重み係数ｗ（ｎ，ｍ）とを乗算処理し、この乗算処理後の色差類似度Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）を判定部２７に出力する。

ここで、乗算部２３ｅが、補間値Ｇａを用いて算出された色差信号ＸＬ−Ｇａの色差類似度Ｓａ（ｎ，ｍ）に１以下であるＧ変動量重み係数ｗ（ｎ，ｍ）を乗算処理することによって、この乗算処理後の色差類似度Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）は、Ｇ変動量ＧＲ（ｎ，ｍ）が所定の閾値未満である場合に乗算処理前の色差類似度Ｓａ（ｎ，ｍ）に比して小さい値となる。このため、色差類似度Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）は、判定部２７において、他の色差類似度Ｓｖ（ｎ，ｍ），Ｓｈ（ｎ，ｍ）に比して小さい値となる（すなわち最小値となる）可能性が増大することになる。この結果、後述する判定部２７は、Ｇ変動量が小さい平坦な画素領域においてノイズによる影響をキャンセルするように、Ｇ成分の縦補間処理または横補間処理ではなく、Ｇ成分の４画素平均補間処理を積極的に選択することができる。

判定部２７は、画像を形成する複数の色信号の画素位置のうちの特定色信号が欠落した欠落画素位置における特定色信号の補間処理種別を判定する種別判定部として機能する。具体的には、判定部２７は、本実施の形態１における特定色信号である色信号Ｇｓが欠落したＧ欠落画素（Ｘ画素またはＸＬ画素）の画素位置における色信号Ｇｓの補間処理種別として、上述した縦補間処理、横補間処理および４画素平均補間処理のうちの１つを選択的に判定する。

より具体的には、判定部２７は、色差類似度算出部２５ａから縦補間処理に対応する色差類似度Ｓｖ（ｎ，ｍ）を取得し、色差類似度算出部２５ｂから横補間処理に対応する色差類似度Ｓｈ（ｎ，ｍ）を取得する。また、判定部２７は、乗算部２３ｅから４画素平均補間処理に対応する色差類似度Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）を取得する。つぎに、判定部２７は、補間処理種別に異なる色差類似度Ｓｖ（ｎ，ｍ），Ｓｈ（ｎ，ｍ），Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）を比較処理し、これらの色差類似度のうちの最小となる色差類似度を選択する。次いで、判定部２７は、この選択した最小の色差類似度に対応する補間処理種別（本実施の形態１では、縦補間処理、横補間処理、４画素平均補間処理のいずれか）をＧ欠落画素位置における色信号Ｇｓの補間処理種別として選択的に判定する。その後、判定部２７は、このように判定したＧ欠落画素位置における色信号Ｇｓの補間処理種別を示す種別情報をメモリ２１ｇに出力する。

ここで、判定部２７は、比較処理によって色差類似度Ｓｖ（ｎ，ｍ）を選択した場合、この色差類似度Ｓｖ（ｎ，ｍ）に対応する縦補間処理をＧ欠落画素位置における補間処理種別として判定する。この場合、判定部２７は、Ｇ欠落画素位置（ｎ，ｍ）における補間処理種別が縦補間処理である旨を示す種別情報Ｔｖ（ｎ，ｍ）をメモリ２１ｇに出力する。

一方、判定部２７は、比較処理によって色差類似度Ｓｈ（ｎ，ｍ）を選択した場合、この色差類似度Ｓｈ（ｎ，ｍ）に対応する横補間処理をＧ欠落画素位置における補間処理種別として判定する。この場合、判定部２７は、Ｇ欠落画素位置（ｎ，ｍ）における補間処理種別が横補間処理である旨を示す種別情報Ｔｈ（ｎ，ｍ）をメモリ２１ｇに出力する。

他方、判定部２７は、比較処理によって色差類似度Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）を選択した場合、この色差類似度Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）に対応する４画素平均補間処理をＧ欠落画素位置における補間処理種別として判定する。この場合、判定部２７は、Ｇ欠落画素位置（ｎ，ｍ）における補間処理種別が４画素平均補間処理である旨を示す種別情報Ｔａ（ｎ，ｍ）をメモリ２１ｇに出力する。

なお、判定部２７は、上述した補間処理種別の色差類似度Ｓｖ（ｎ，ｍ），Ｓｈ（ｎ，ｍ），Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）を比較処理した結果、最小値が複数となった場合、所定の優先順位に従って、例えば色差類似度Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）、色差類似度Ｓｈ（ｎ，ｍ）、色差類似度Ｓｖ（ｎ，ｍ）の順に優先して色差類似度を選択する。

メモリ２１ｇは、判定部２７による判定後の補間処理種別を示す種別情報を欠落画素位置毎に記憶する種別情報記憶部として機能する。具体的には、メモリ２１ｇは、Ｇ欠落画素位置における補間処理種別を示す種別情報を判定部２７から取得し、この取得した種別情報を２次元配列のＧ欠落画素位置毎に順次格納する。

より具体的には、メモリ２１ｇは、補間処理種別の種別情報Ｔｖ（ｎ，ｍ），Ｔｈ（ｎ，ｍ），Ｔａ（ｎ，ｍ）の中から判定部２７が判定出力した種別情報を順次取得し、この取得した種別情報（すなわち種別情報Ｔｖ（ｎ，ｍ），Ｔｈ（ｎ，ｍ），Ｔａ（ｎ，ｍ）のうちのいずれか）をベイヤ配列内のＧ欠落画素位置毎に順次格納する。このようにして、メモリ２１ｇは、所定のライン数分（例えば３ライン以上）の補間処理種別の種別情報を格納する。なお、メモリ２１ｇが所定のライン数分格納した各種別情報は、種別情報修正部２８によって読み出される。

種別情報修正部２８は、特定色信号の欠落画素位置の周辺に位置する複数の周辺欠落画素位置の補間処理種別をもとに、判定部２７による判定後の補間処理種別を修正する種別修正部として機能する。具体的には、種別情報修正部２８は、メモリ２１ｇが所定のライン数分（例えば３ライン以上）の補間処理種別の種別情報を格納した場合、この所定ライン数分の種別情報を読み込む。

なお、本実施の形態１において、種別情報修正部２８がメモリ２１ｇから読み込んだ所定ライン数分の種別情報には、上述した種別情報Ｔｖ（ｎ，ｍ），Ｔｈ（ｎ，ｍ），Ｔａ（ｎ，ｍ）のうちの少なくとも１つが含まれる。

つぎに、種別情報修正部２８は、この読み込んだ所定ライン数分の種別情報の中から処理対象のＧ欠落画素位置の種別情報を選択し、この処理対象以外の残りの種別情報、すなわち、この処理対象のＧ欠落画素位置の周辺に位置する複数のＧ欠落画素位置（以下、周辺Ｇ欠落画素位置という）の各種別情報の状態を判定する。

次いで、種別情報修正部２８は、これら複数の周辺Ｇ欠落画素位置の各識別情報の判定結果に基づいて、この処理対象のＧ欠落画素位置の種別情報が誤判定情報であるか否かを判定し、誤判定情報である場合、この種別情報に示される補間処理種別を修正する。例えば、種別情報修正部２８は、これら複数の周辺Ｇ欠落画素位置の各識別情報による補間処理種別が同一であり、且つこの処理対象のＧ欠落画素位置の種別情報と周辺Ｇ欠落画素位置の識別情報とが異なる補間処理種別を示す場合、この処理対象のＧ欠落画素位置の種別情報を周辺Ｇ欠落画素位置と同一補間処理種別を示す種別情報に修正する。

その後、種別情報修正部２８は、上述したように補間処理種別を修正した修正後の種別情報をメモリ２１ｇに出力する。この場合、メモリ２１ｇは、この修正後の種別情報を種別情報修正部２８から取得し、この修正後の種別情報を同一格納位置に上書き保存して、この同一格納位置の既存の種別情報をこの修正後の種別情報に更新する。なお、種別情報修正部２８の詳細については、後述する。

色差選択部２９は、上述した特定色信号の欠落画素位置の補間処理種別に対応して特定色信号と異色信号との色差信号を選択し、この補間処理種別が修正された場合、この修正後の補間処理種別に対応して特定色信号と異色信号との色差信号を選択する色差信号選択部として機能する。

具体的には、色差選択部２９は、まず、上述したメモリ２１ｃ〜２１ｅから補間処理種別に異なる色差信号候補である色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａを取得する。また、色差選択部２９は、判定部２７による判定後の種別情報をメモリ２１ｇから取得する。一方、色差選択部２９は、上述した種別情報修正部２８が処理対象のＧ欠落画素位置の種別情報を修正した場合、この種別情報修正部２８による修正後（すなわちメモリ２１ｇによる更新後）の種別情報をメモリ２１ｇから取得する。

なお、メモリ２１ｃ〜２１ｅから取得した色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａとメモリ２１ｇから取得した判定後または更新後の種別情報とは、同一の処理対象画素位置（Ｇ欠落画素位置）のものである。

つぎに、色差選択部２９は、判定部２７による判定後の種別情報を取得した場合、この取得した種別情報によって示されるＧ欠落画素位置の補間処理種別に対応して、これら複数の色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａの中から出力対象の色差信号を選択する。一方、色差選択部２９は、更新後の種別情報を取得した場合、この取得した種別情報によって示されるＧ欠落画素位置の補間処理種別、すなわち種別情報修正部２８による修正後の補間処理種別に対応して、これら複数の色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａの中から出力対象の色差信号を選択する。

その後、色差選択部２９は、上述したように処理対象のＧ欠落画素位置の補間処理種別に対応して選択した色差信号Ｘ−Ｇｉを減算部２３ｄおよび同時化補間処理部３０（図１参照）に出力する。具体的には、色差選択部２９は、同時化補間処理部３０に対して、ラスタスキャン順（図３に示した２次元配列の左上から右下への順）に出力対象の色差信号Ｘ−Ｇｉを出力する。なお、本実施の形態１において、この出力対象の色差信号Ｘ−Ｇｉは、色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのうちのいずれかである。

減算部２３ｄは、上述したように補間処理種別の種別情報に基づいて選択された色差信号をもとに特定色信号の欠落画素位置における特定色信号の補間信号を生成する補間信号生成部として機能する。具体的には、減算部２３ｄは、まず、処理対象のＧ欠落画素位置における色信号Ｘ（色信号Ｒｓ，Ｂｓ）をメモリ２１ａから取得し、この処理対象のＧ欠落画素位置における色差信号Ｘ−Ｇｉを色差選択部２９から取得する。

ここで、この色差信号Ｘ−Ｇｉは、上述したように、色差選択部２９が処理対象のＧ欠落画素位置における判定後または更新後の種別情報に基づいて、選択した色差信号であり、本実施の形態においては、色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのうちのいずれかである。

つぎに、減算部２３ｄは、色差選択部２９からの色差信号Ｘ−Ｇｉとメモリ２１ａからの色信号Ｘとを減算処理して、処理対象のＧ欠落画素位置における補間Ｇ信号Ｇｉを算出する。例えば、減算部２３ｄは、色差信号Ｘ−Ｇｖを取得した場合、メモリ２１ａからの色信号Ｘから色差信号Ｘ−Ｇｖを減算処理して、補間値Ｇｖの補間Ｇ信号Ｇｉを生成し、色差信号Ｘ−Ｇｈを取得した場合、メモリ２１ａからの色信号Ｘから色差信号Ｘ−Ｇｈを減算処理して、補間値Ｇｈの補間Ｇ信号Ｇｉを生成する。また、減算部２３ｄは、色差信号ＸＬ−Ｇａを取得した場合、メモリ２１ａからの色信号Ｘから色差信号ＸＬ−Ｇａを減算処理して、この減算処理による算出補間値（Ｘ−（ＸＬ−Ｇａ））の補間Ｇ信号Ｇｉを生成する。

その後、減算部２３ｄは、上述したように算出した補間Ｇ信号Ｇｉを同時化補間処理部３０（図１参照）に出力する。この場合、減算部２３ｄから出力された補間Ｇ信号Ｇｉおよびメモリ２１ｂからの色信号Ｇｓは、例えば図４に示したように２次元配列の状態に合成され、色成分の欠落が無い２次元配列の色信号Ｇとしてラスタスキャン順（図４に示した２次元配列の左上から右下への順）に同時化補間処理部３０に出力される。

つぎに、上述した種別情報修正部２８について詳細に説明する。図１５は、本発明の実施の形態１における種別情報修正部の一構成例を模式的に示すブロック図である。図１６は、補間処理種別の修正処理に用いる種別情報を抽出する画素領域の一具体例を示す模式図である。図１７は、処理対象のＧ欠落画素位置の種別情報を縦補間処理の種別情報に修正する場合の周辺Ｇ欠落画素位置の種別情報の一具体例を示す模式図である。図１８は、処理対象のＧ欠落画素位置の種別情報を横補間処理の種別情報に修正する場合の周辺Ｇ欠落画素位置の種別情報の一具体例を示す模式図である。

図１５に示すように、この実施の形態１における種別情報修正部２８は、種別情報抽出部２８ａと、種別累積部２８ｂと、修正処理部２８ｃとを備える。種別情報抽出部２８ａは、メモリ２１ｇが記憶するＧ欠落画素位置毎の補間処理種別の種別情報の中から、処理対象のG欠落画素位置における色信号Ｇｓの判定後の補間処理種別、すなわち判定部２７による判定後の補間処理種別の種別情報と、この処理対象のG欠落画素位置の周辺に位置する複数の周辺Ｇ欠落画素位置の補間処理種別を示す複数の種別情報とを抽出する。

具体的には、種別情報抽出部２８ａは、メモリ２１ｇに格納された所定ライン数分の補間処理種別の種別情報の中から、処理対象のＧ欠落画素位置の種別情報と、その周辺に位置する複数の周辺Ｇ欠落画素位置の各種別情報とを抽出する。例えば、種別情報抽出部２８ａは、メモリ２１ｇに格納された３ライン分の画素領域（図１６参照）の中から、処理対象であるＧ欠落画素位置の種別情報Ｔ（ｎ−２，ｍ）と、その周辺Ｇ欠落画素位置の種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２）とを抽出する。

ここで、図１６に示す種別情報Ｔ（ｎ，ｍ）は、上述した補間処理種別毎に異なる種別情報Ｔｖ（ｎ，ｍ），Ｔｈ（ｎ，ｍ），Ｔａ（ｎ，ｍ）のうちのいずれかであって、判定部２７において比較処理された複数の色差類似度のうちの最小値に対応する種別情報（すなわち所定数の画素領域内における色差の類似性が最も高いとして判定された補間処理種別の種別情報）である。このことは、他のＧ欠落画素位置についても同様である。なお、図１６に示す各Ｇ欠落画素位置の種別情報のうち、種別情報Ｔ（ｎ，ｍ）が、判定部２７から出力された最新の種別情報である。

すなわち、種別情報抽出部２８ａは、この最新の種別情報Ｔ（ｎ，ｍ）の２画素左に位置するG欠落画素（図１６の太枠部分参照）の種別情報Ｔ（ｎ−２，ｍ）を処理対象の種別情報として抽出し、これと同時に、この処理対象の種別情報Ｔ（ｎ−２，ｍ）の周辺の各Ｇ欠落画素位置（図１６の斜線部参照）の種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２）を抽出する。

その後、種別情報抽出部２８ａは、上述したように抽出した６つの種別情報のうち、処理対象の種別情報Ｔ（ｎ−２，ｍ）を修正処理部２８ｃに出力し、周辺の種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２）を種別累積部２８ｂに出力する。

種別累積部２８ｂは、処理対象の種別情報の周辺に位置する複数の種別情報によって示される複数の周辺Ｇ欠落画素位置の補間処理種別を計数処理する計数処理部として機能する。具体的には、種別累積部２８ｂは、まず、処理対象の種別情報の周辺に位置する複数のＧ欠落画素位置の種別情報を種別情報抽出部２８ａから取得する。つぎに、種別累積部２８ｂは、取得した複数の種別情報を同一種別に計数処理する。

例えば、種別累積部２８ｂは、種別情報抽出部２８ａから５つの種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２）を取得した場合、これら５つの種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２）について同一補間処理種別の数を計数する。

なお、本実施の形態１において想定している補間処理種別は、「縦補間処理」、「横補間処理」および「４画素平均補間処理」の３種類であり、これら５つの種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２）が、これら３種類の補間処理種別のいずれかにカウントされる。

種別情報の計数処理において、種別累積部２８ｂは、まず、これら５つの種別情報のうちの４つの種別情報（例えば種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−４，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１））を計数処理する。次いで、種別累積部２８ｂは、これら４つの種別情報を全て「縦補間処理」にカウントした場合、残り１つの種別情報（例えば種別情報Ｔ（ｎ−２，ｍ−２））が「縦補間処理」を示す種別情報であるか否かを判定する。

ここで、種別累積部２８ｂは、この残り１つの種別情報が「縦補間処理」を示す種別情報である場合、すなわち、合計５つの種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２）の全てを「縦補間処理」にカウントした場合、処理対象の種別情報Ｔ（ｎ−２，ｍ）が「縦補間処理」であるべき旨の種別判定情報を修正処理部２８ｃに出力する。

一方、種別累積部２８ｂは、これら４つの種別情報を全て「横補間処理」にカウントした場合、すなわち、合計４つの種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１）の全てを「横補間処理」にカウントした場合、処理対象の種別情報Ｔ（ｎ−２，ｍ）が「横補間処理」であるべき旨の種別判定情報を修正処理部２８ｃに出力する。他方、種別累積部２８ｂは、上述した計数処理結果以外を得た場合、「不定」である旨の種別判定情報を修正処理部２８ｃに出力する。

修正処理部２８ｃは、上述した種別累積部２８ｂによる計数処理結果をもとに、処理対象のＧ欠落画素位置における色信号Ｇｓの判定後の補間処理種別、すなわち判定部２７による判定後の補間処理種別が誤って判定されたものであるか否かを判定し、誤判定された補間処理種別である場合、この補間処理種別を修正し、この修正した補間処理種別を示す修正後の種別情報をメモリ２１ｇに送信する。

具体的には、修正処理部２８ｃは、まず、種別情報抽出部２８ａから処理対象の種別情報Ｔ（ｎ−２，ｍ）を取得し、この処理対象の種別情報Ｔ（ｎ−２，ｍ）に対する種別判定情報を種別累積部２８ｂから取得する。なお、この種別判定情報は、種別累積部２８ｂによる計数処理結果であり、この処理対象の種別情報Ｔ（ｎ−２，ｍ）が示すべき補間処理種別の判定結果を含む。つぎに、修正処理部２８ｃは、種別累積部２８ｂによる種別判定情報に基づいて、この処理対象の種別情報Ｔ（ｎ−２，ｍ）の補正処理種別を修正する。

例えば、種別累積部２８ｂによる種別判定情報が「縦補間処理」を示す情報である場合、この処理対象の種別情報Ｔ（ｎ−２，ｍ）の周辺に位置する５つの種別情報は、図１７に示すように、縦補間処理種別を示す種別情報Ｔｖ（ｎ−４，ｍ），Ｔｖ（ｎ，ｍ），Ｔｖ（ｎ−３，ｍ−１），Ｔｖ（ｎ−１，ｍ−１），Ｔｖ（ｎ−２，ｍ−２）である。

この状態において、修正処理部２８ｃは、処理対象の種別情報Ｔ（ｎ−２，ｍ）が示す補間処理種別を確認し、この処理対象の補間処理種別が縦補間処理以外である場合、すなわち処理対象が「横補間処理」の種別情報Ｔｈ（ｎ−２，ｍ）または「４画素平均補間処理」の種別情報Ｔａ（ｎ−２，ｍ）である場合、この処理対象の種別情報Ｔ（ｎ−２，ｍ）を「縦補間処理」の種別情報Ｔｖ（ｎ−２，ｍ）に修正する。これによって、修正処理部２８ｃは、処理対象の種別情報Ｔ（ｎ−２，ｍ）の補間処理種別を本来あるべき「縦補間処理」に種別変更する。

一方、上述した種別累積部２８ｂによる種別判定情報が「横補間処理」を示す情報である場合、この処理対象の種別情報Ｔ（ｎ−２，ｍ）の周辺に位置する４つの種別情報は、図１８に示すように、横補間処理種別を示す種別情報Ｔｈ（ｎ−４，ｍ），Ｔｈ（ｎ，ｍ），Ｔｈ（ｎ−３，ｍ−１），Ｔｈ（ｎ−１，ｍ−１）である。

この状態において、修正処理部２８ｃは、処理対象の種別情報Ｔ（ｎ−２，ｍ）が示す補間処理種別を確認し、この処理対象の補間処理種別が横補間処理以外である場合、すなわち処理対象が「縦補間処理」の種別情報Ｔｖ（ｎ−２，ｍ）または「４画素平均補間処理」の種別情報Ｔａ（ｎ−２，ｍ）である場合、この処理対象の種別情報Ｔ（ｎ−２，ｍ）を「横補間処理」の種別情報Ｔｈ（ｎ−２，ｍ）に修正する。これによって、修正処理部２８ｃは、処理対象の種別情報Ｔ（ｎ−２，ｍ）の補間処理種別を本来あるべき「横補間処理」に種別変更する。

ここで、座標位置（ｎ−２，ｍ−２）のG欠落画素の種別情報Ｔ（ｎ−２，ｍ−２）も横補間処理種別を示す情報であるが、処理対象のG欠落画素の座標位置（ｎ−２，ｍ）に対して縦方向に離間しているため、修正処理部２８ｃの修正処理に用いられていない。これは、処理対象の種別情報Ｔ（ｎ−２，ｍ）に対して横方向に可能な限り近接した画素位置の種別情報を用いることが望ましいからである。なお、横補間処理種別の修正処理において種別情報Ｔ（ｎ−２，ｍ−２）を用いてもよい。

他方、上述した種別累積部２８ｂによる種別判定情報が「不定」を示す情報である場合、修正処理部２８ｃは、処理対象の種別情報Ｔ（ｎ−２，ｍ）が示す補間処理種別に関わらず、この処理対象の種別情報Ｔ（ｎ−２，ｍ）の状態を維持する。すなわち、修正処理部２８ｃは、「不定」を示す種別判定情報を取得した場合、この処理対象の種別情報Ｔ（ｎ−２，ｍ）によって示される補間処理種別を変更せず維持する。

上述したように、修正処理部２８ｃは、種別累積部２８ｂからの種別判定情報に基づいて処理対象の種別情報Ｔ（ｎ−２，ｍ）の補間処理種別を修正または維持し、その後、この修正処理後の種別情報Ｔ（ｎ−２，ｍ）をメモリ２１ｇに出力する。この場合、メモリ２１ｇは、この修正後の種別情報Ｔ（ｎ−２，ｍ）を種別情報修正部２８から取得し、この修正後の種別情報Ｔ（ｎ−２，ｍ）を同一格納位置に上書き保存して、この同一格納位置の既存の種別情報をこの修正後の種別情報Ｔ（ｎ−２，ｍ）に更新する。なお、メモリ２１ｇに格納された更新後の種別情報は、種別情報修正部２８による今後の修正処理における過去の種別情報の一つとして用いられる。

なお、このような種別情報修正部２８において、種別累積部２８ｂは、上述した計数処理によって４つの種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−４，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１）を全て「４画素平均補間処理」にカウントした場合、残り１つの種別情報Ｔ（ｎ−２，ｍ−２）が「４画素平均補間処理」を示す種別情報であるか否かを判定してもよい。

具体的には、種別累積部２８ｂは、上述した残り１つの種別情報が「４画素平均補間処理」を示す種別情報である場合、すなわち、合計５つの種別情報Ｔ（ｎ−４，ｍ），Ｔ（ｎ，ｍ），Ｔ（ｎ−３，ｍ−１），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２）の全てを「４画素平均補間処理」にカウントした場合、処理対象の種別情報Ｔ（ｎ−２，ｍ）が「４画素平均補間処理」であるべき旨の種別判定情報を修正処理部２８ｃに出力してもよい。

一方、修正処理部２８ｃは、処理対象の種別情報Ｔ（ｎ−２，ｍ）が示す補間処理種別を確認し、この処理対象の補間処理種別が４画素平均補間処理以外である場合、すなわち処理対象が「縦補間処理」の種別情報Ｔｖ（ｎ−２，ｍ）または「横補間処理」の種別情報Ｔｈ（ｎ−２，ｍ）である場合、この処理対象の種別情報Ｔ（ｎ−２，ｍ）を「４画素平均補間処理」の種別情報Ｔａ（ｎ−２，ｍ）に修正してもよい。

つぎに、本発明の実施の形態１にかかる画像処理装置２の同時化補間処理部３０（図１参照）について詳細に説明する。図１９は、本発明の実施の形態１にかかる画像処理装置の同時化補間処理部の一構成例を模式的に示すブロック図である。図１９に示すように、この実施の形態１における同時化補間処理部３０は、色差選別部３１と、メモリ３２ａ〜３２ｄと、補間算出部３３〜３５と、補間係数算出部３６と、制御部３７とを備える。

色差選別部３１は、まず、上述したＧ補間色差算出部２０によって出力された色差信号Ｘ−Ｇｉを取得する。なお、この色差信号Ｘ−Ｇｉは、図３に示した色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉの２次元配列構造を有する信号である。つぎに、色差選別部３１は、２次元配列構造の色差信号Ｘ−Ｇｉを色差信号Ｒ−Ｇｉと色差信号Ｂ−Ｇｉとに分離する。その後、色差選別部３１は、得られた色差信号Ｒ−Ｇｉ，Ｂ−Ｇｉをメモリ３２ａ，３２ｂに各々出力する。

メモリ３２ａは、まず、色差選別部３１から出力された色差信号Ｒ−Ｇｉを順次取得し、所定位置への補間処理に必要なライン数分、色差信号Ｒ−Ｇｉを格納する。その後、メモリ３２ａは、必要ライン数分の色差信号Ｒ−Ｇｉを格納した場合、すなわち、所定位置への補間処理が開始可能となった際、この格納した必要ライン数分の色差信号Ｒ−Ｇｉを補間算出部３３に出力する。

メモリ３２ｂは、まず、色差選別部３１から出力された色差信号Ｂ−Ｇｉを順次取得し、所定位置への補間処理に必要なライン数分、色差信号Ｂ−Ｇｉを格納する。その後、メモリ３２ｂは、必要ライン数分の色差信号Ｂ−Ｇｉを格納した場合、すなわち、所定位置への補間処理が開始可能となった際、この格納した必要ライン数分の色差信号Ｂ−Ｇｉを補間算出部３４に出力する。

メモリ３２ｃは、まず、上述したＧ補間色差算出部２０によって出力された色信号Ｇを取得する。具体的には、この色信号Ｇは、図４に示した補間Ｇ信号Ｇｉおよび色信号Ｇｓの２次元配列構造を有する信号である。メモリ３２ｃは、このような色信号Ｇを同時化補間処理部３０からラスタスキャン順に順次取得し、所定位置への補間処理に必要なライン数分、色信号Ｇを格納する。その後、メモリ３２ｃは、必要ライン数分の色信号Ｇを格納した場合、すなわち、所定位置への補間処理が開始可能となった際、この格納した必要ライン数分の色信号Ｇを補間算出部３５に出力する。

補間算出部３３は、まず、メモリ３２ａから必要ライン数分の色差信号Ｒ−Ｇｉを取得し、制御部３７から補間フィルタ係数を取得する。つぎに、補間算出部３３は、必要ライン数分の色差信号Ｒ−Ｇｉおよび補間フィルタ係数に基づいて、補間画素である色差信号Ｒ−Ｇを算出する。その後、補間算出部３３は、この算出した色差信号Ｒ−ＧをＲＧＢ算出部４０（図１参照）に出力する。

補間算出部３４は、まず、メモリ３２ｂから必要ライン数分の色差信号Ｂ−Ｇｉを取得し、制御部３７から補間フィルタ係数を取得する。つぎに、補間算出部３４は、必要ライン数分の色差信号Ｂ−Ｇｉおよび補間フィルタ係数に基づいて、補間画素である色差信号Ｂ−Ｇを算出する。その後、補間算出部３３は、この算出した色差信号Ｂ−ＧをＲＧＢ算出部４０（図１参照）に出力する。

補間算出部３５は、まず、メモリ３２ｃから必要ライン数分の色信号Ｇを取得し、制御部３７から補間フィルタ係数を取得する。つぎに、補間算出部３５は、必要ライン数分の色信号Ｇおよび補間フィルタ係数に基づいて、補間画素である色信号Ｇを算出する。その後、補間算出部３５は、この算出した色信号ＧをＲＧＢ算出部４０（図１参照）に出力する。

制御部３７は、まず、システムコントローラ（図示せず）からユーザが決定した記録画像サイズを取得し、補間係数算出部３６に対して、この記録画像サイズに対応する補間処理を作用させる画素位置およびその補間フィルタ係数を算出するよう指示する。この場合、補間係数算出部３６は、制御部３７の指示に基づいて制御され、この記録画像サイズに対応する補間処理を作用させる画素位置（補間画素位置）と、この補間画素位置に対応する補間フィルタ係数とを算出する。次いで、補間係数算出部３６は、補間画素位置および補間フィルタ係数の算出結果をメモリ３２ｄに出力する。メモリ３２ｄは、補間画素位置に応じて補間フィルタ係数を格納する。その後、制御部３７は、メモリ３２ｄに格納されている補間フィルタ係数を補間画素位置に応じて読み出し、この読み出した補間フィルタ係数を補間算出部３３〜３５に出力する。

なお、上述した同時化補間処理部３０の構成においては、記録画像サイズが入力された時点に補間フィルタ係数を算出していたが、これに限らず、既に予め複数種類の記録画像サイズに対応した補間フィルタ係数をメモリ３２ｄに格納しておいてもよい。この場合、上述した補間係数算出部３６は必要無く、制御部３７が、記録画像サイズのユーザ指定に基づいて、メモリ３２ｄに予め格納されている複数の補間フィルタ係数からなる係数ルックアップテーブルの中から、この記録画像サイズに対応する補間フィルタ係数を読み出し、この読み出した補間フィルタ係数を補間算出部３３〜３５に供給することになる。

一方、上述した同時化補間処理部３０による同時化補間処理については、画像サイズを変更する例を挙げたが、画像サイズを変更しない場合は、特に補間フィルタ係数の切り替えを行わなくてもよい。また、例えば上述した色信号Ｇと色差信号Ｒ−Ｇ，Ｂ−Ｇとにおいて異なる補間フィルタ係数を用いてもよい。

なお、上述した色信号Ｇと色差信号Ｒ−Ｇ，Ｂ−Ｇとにおいて異なる補間フィルタ係数を用いる場合は、特に色差信号Ｒ−Ｇ，Ｂ−Ｇに関して周波数帯域を制限した周波数特性とすることによって、エッジ部周辺の偽色を低減することができる。

ここで、上述した補間算出部３３〜３５における補間算出処理は、例えば図５〜７に示した８×８画素領域に対するものであり、撮像部１の撮像素子と同一解像度の画像サイズを指定した場合の例として水平方向、垂直方向ともに１／２画素位置シフトした位置に画素を作成するものである。

このような補間算出処理において使用する補間フィルタの例としては、Ｌａｎｃｚｏｓフィルタ等の畳み込みフィルタを使用でき、水平方向に処理した１次元フィルタ結果に垂直方向の１次元フィルタを施し、この結果、補間画素を算出できる。なお、これらの１次元フィルタは、２次元フィルタとすることも可能である。

つぎに、本発明の実施の形態１にかかる画像処理装置２のＲＧＢ算出部４０（図１参照）について詳細に説明する。図２０は、本発明の実施の形態１にかかる画像処理装置のＲＧＢ算出部の一構成例を模式的に示すブロック図である。図２０に示すように、この実施の形態１におけるＲＧＢ算出部４０は、加算部４２，４３と、カラーマトリックス処理部４４と、γ補正部４５〜４７とを備える。

加算部４２は、まず、上述した同時化補間処理部３０によって算出された色差信号Ｒ−Ｇと色信号Ｇとを画素位置毎に取得する。つぎに、加算部４２は、同一画素位置の色差信号Ｒ−Ｇと色信号Ｇとを加算処理して、画素位置毎にＲ成分の色信号Ｒを算出する。

加算部４３は、まず、上述した同時化補間処理部３０によって算出された色差信号Ｂ−Ｇと色信号Ｇとを画素位置毎に取得する。つぎに、加算部４３は、同一画素位置の色差信号Ｂ−Ｇと色信号Ｇとを加算処理して、画素位置毎にＢ成分の色信号Ｂを算出する。

ここで、加算部４２，４３の各処理によって、同一画素位置におけるＲ、Ｇ、Ｂの各色成分の色信号が復元できたことになる。これら復元されたＲ、Ｇ、Ｂの各色成分の色信号は、カラーマトリックス処理部４４に入力される。カラーマトリックス処理部４４は、例えばｓＲＧＢ等の所定の色空間の信号に、これらの復元Ｒ、Ｇ、Ｂの各色信号を変換する。なお、カラーマトリックス処理部４４によって変換処理されたＲ、Ｇ、Ｂの各色信号は、例えば１２ビットの線形信号である。

γ補正部４５〜４７は、カラーマトリックス処理部４４による変換処理後のＲ、Ｇ、Ｂの各色信号に対してγ補正処理を行う。具体的には、γ補正部４５は、カラーマトリックス処理部４４による変換処理後のＲ成分の色信号に対してγ補正処理を行って、γ補正後のＲ成分の色信号Ｒγを生成する。γ補正部４６は、カラーマトリックス処理部４４による変換処理後のＢ成分の色信号に対してγ補正処理を行って、γ補正後のＢ成分の色信号Ｂγを生成する。γ補正部４７は、カラーマトリックス処理部４４による変換処理後のＧ成分の色信号に対してγ補正処理を行って、γ補正後のＧ成分の色信号Ｇγを生成する。

ここで、γ補正部４５〜４７によるγ補正処理後の各色信号Ｒγ，Ｇγ，Ｂγは、γ補正前のＲ，Ｇ，Ｂの各色信号のビット数を例えば８ビットに変換した色信号である。γ補正部４５〜４７は、γ補正処理後の各色信号Ｒγ，Ｇγ，Ｂγを出力処理部５０（図１参照）に各々出力する。

つぎに、本発明の実施の形態１にかかる画像処理装置２のソフトウェア処理に基づく動作について説明する。図２１は、本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。なお、この実施の形態１にかかる画像処理装置２は、上述したように、ハードウェア処理に基づいて各種画像処理を実行可能であるが、必要な処理プログラムを有するコンピュータが行うソフトウェア処理に基づいて動作することも可能である。

すなわち、図２１に示すように、画像処理装置２は、まず、撮像部１によって撮像された画像のＲＡＷファイル入力処理を行う（ステップＳ１０１）。このステップＳ１０１において、画像処理装置２は、コンピュータ内に保存されている複数のＲＡＷファイルのうちの所望のファイル名がユーザによって指定された際に、この指定されたファイル名に対応するＲＡＷファイルを取り込む。なお、本実施の形態１では、撮像部１によって撮像された画像を形成する各色成分の色信号Ｒｓ，Ｇｓ，Ｂｓの画素からなるＲＡＷファイルがコンピュータ内に複数保存されている。

つぎに、画像処理装置２は、ＲＡＷファイルのヘッダ抽出処理を行う（ステップＳ１０２）。このステップＳ１０２において、画像処理装置２は、ステップＳ１０１の処理手順で取り込んだＲＡＷファイルのヘッダ情報を抽出し、この抽出したヘッダ情報をもとに、このＲＡＷファイルのサイズ、階調レベル数、色フィルタ配列情報、撮像条件および色マトリックス係数等の属性情報を取得する。

続いて、画像処理装置２は、このＲＡＷファイルに対するＧ補間色差算出処理を行う（ステップＳ１０３）。このステップＳ１０３において、画像処理装置２は、ステップＳ１０２の処理手順で取得したこのＲＡＷファイルの属性情報に基づいて、Ｇ欠落画素位置におけるＧ成分の色信号の補間値算出処理と、このＧ成分の色信号に基づいたＧ欠落画素位置の色差信号算出処理とを行う。

その後、画像処理装置２は、所定の同一位置に対する同時化補間処理を行う（ステップＳ１０４）。このステップＳ１０４において、画像処理装置２は、ステップＳ１０３の処理手順によって算出した色信号Ｇおよび色差信号Ｘ−Ｇｉをもとに、所定の同一位置の周辺に位置する複数の周辺画素を用いた補間処理を行って、この同一位置の色信号Ｇおよび色差信号Ｒ−Ｇ，Ｂ−Ｇを算出する。

つぎに、画像処理装置２は、Ｒ，Ｇ，Ｂの各色成分の色信号を算出するＲＧＢ算出処理を行う（ステップＳ１０５）。このステップＳ１０５において、画像処理装置２は、ステップＳ１０４の処理手順によって同一位置に補間処理された色信号Ｇと色差信号Ｒ−Ｇ，Ｂ−Ｇとを加算処理して、Ｒ成分の色信号とＢ成分の色信号とを復元し、得られたＲ、Ｇ、Ｂの各色成分の色信号をカラーマトリックス処理によって例えばｓＲＧＢ等の所定の色空間に変換処理し、その後、これら変換処理後の各色信号に対してγ補正処理を行って、例えば８ビットに変換された各色成分の色信号Ｒγ，Ｇγ，Ｂγを得る。

続いて、画像処理装置２は、画像データの出力処理を行う（ステップＳ１０６）。このステップＳ１０６において、画像処理装置２は、ステップＳ１０５の処理手順によって取得した各色成分の色信号Ｒγ，Ｇγ，ＢγをＹＵＶ形式の各信号に変換し、さらに、このＹＵＶ形式の各信号をＪＰＥＧまたはＭＰＥＧ等の高能率圧縮符号化処理がなされた圧縮データに変換する。画像処理装置２は、圧縮データを現像処理済みの画像ファイル（すなわち出力画像データ）として出力部３に送信する。

その後、画像処理装置２は、ユーザ指定の処理画像の有無を判定する（ステップＳ１０７）。このステップＳ１０７において、画像処理装置２は、ユーザ指定の未処理画像ファイルが残っているか否かを判定し、残っている場合、すなわちユーザ指定の処理画像ありの場合（ステップＳ１０７，Ｙｅｓ）、上述したステップＳ１０１に戻り、このステップＳ１０１の処理手順を繰り返す。

一方、画像処理装置２は、ステップＳ１０７においてユーザ指定の未処理画像ファイルが残っているか否かを判定し、残っていない場合、すなわちユーザ指定の処理画像なしの場合（ステップＳ１０７，Ｎｏ）、本処理を終了する。

つぎに、上述したステップＳ１０３の処理手順におけるＧ補間色差算出処理について詳細に説明する。図２２は、本発明の実施の形態１にかかる画像処理装置によるＧ補間色差算出処理の処理手順を例示するフローチャートである。

この実施の形態１にかかる画像処理装置２は、上述したステップＳ１０３の処理手順を実行する際、図２２に示すように、まず、補間処理種別毎に異なる複数の色差候補を算出する（ステップＳ２０１）。

このステップＳ２０１において、画像処理装置２は、図２１に示したステップＳ１０１の処理手順で取り込んだＲＡＷファイルとステップＳ１０２の処理手順で取得した属性情報とに基づいて、Ｇ欠落画素位置における補間処理種別の補間値、すなわち、縦補間処理による補間値Ｇｖ（式（１）参照）、横補間処理による補間値Ｇｈ（式（２）参照）および４画素平均補間処理による補間値Ｇａ（式（３）参照）を算出する。

次いで、画像処理装置２は、このように算出した補間処理種別の補間値Ｇｖ，Ｇｈ，Ｇａと色信号Ｘとをもとに、補間処理種別に異なる複数の色差候補である色差信号Ｘ−Ｇａ，Ｘ−Ｇｈ，ＸＬ−Ｇａを算出する。画像処理装置２は、得られた複数の色差信号Ｘ−Ｇａ，Ｘ−Ｇｈ，ＸＬ−Ｇａをメモリに保存する。

つぎに、画像処理装置２は、Ｇ欠落画素位置におけるＧ変動量を算出する（ステップＳ２０２）。このステップＳ２０２において、画像処理装置２は、Ｇ欠落画素位置の周辺画素におけるＧ成分の色信号を用い、上述した式（１４）に基づいて、このＧ欠落画素位置のＧ変動量を算出する。画像処理装置２は、算出したＧ変動量をメモリに保存する。

続いて、画像処理装置２は、ステップＳ２０１の処理手順において算出した各色差候補に対して色差類似度を算出する（ステップＳ２０３）。このステップＳ２０３において、画像処理装置２は、ステップＳ２０１の処理手順でメモリに保存している補間処理種別の各色差信号候補、すなわち、色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａをもとに、処理対象のＧ欠落画素位置とその周辺に位置する複数の周辺Ｇ欠落画素位置との同一種別の色差信号間における色差類似度Ｓｖ（ｎ，ｍ），Ｓｈ（ｎ，ｍ），Ｓａ（ｎ，ｍ）を上述した式（５），（８），（１１）に基づいて算出する。

つぎに、画像処理装置２は、ステップＳ２０３の処理手順によって算出した色差類似度のうちの１つにＧ変動量重み係数を乗算する（ステップＳ２０４）。このステップＳ２０４において、画像処理装置２は、上述した式（５），（８），（１１）に基づいて算出した補間処理種別の色差類似度Ｓｖ（ｎ，ｍ），Ｓｈ（ｎ，ｍ），Ｓａ（ｎ，ｍ）のうち、平坦部分の色信号Ｇに適した補間処理、すなわち、方向依存性の無い４画素平均補間処理によって算出した色差類似度Ｓａ（ｎ，ｍ）に、同一位置のＧ変動量に基づいて決定されるＧ変動量重み係数ｗ（ｎ，ｍ）を乗算する。これによって、画像処理装置２は、４画素平均補間処理に対応する新たな色差類似度Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）を算出する。

その後、画像処理装置２は、補間処理種別の色差類似度が最も高い色差候補を１つ選択する（ステップＳ２０５）。このステップＳ２０５において、画像処理装置２は、上述したように算出した３つの色差類似度Ｓｖ（ｎ，ｍ），Ｓｈ（ｎ，ｍ），Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）を比較処理し、この３つの色差類似度の中から最小値となる色差類似度を選択し、この選択した色差類似度に対応する色差信号を補間処理種別の色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａの中から１つ選択する。

つぎに、画像処理装置２は、ステップＳ２０５の処理手順において選択した色差候補に応じて補間処理種別を判定して保存する（ステップＳ２０６）。このステップＳ２０６において、画像処理装置２は、ステップＳ２０５の処理手順によって選択した色差候補である色差信号（すなわち色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのうちのいずれか）に対応する補間処理種別を判定し、この判定した補間処理種別を示す種別情報をメモリに保存する。

具体的には、画像処理装置２は、色差候補として色差信号Ｘ−Ｇｖを選択した場合、この色差信号Ｘ−Ｇｖに対応する縦補間処理を示す種別情報Ｔｖ（ｎ，ｍ）をメモリに保存し、色差候補として色差信号Ｘ−Ｇｈを選択した場合、この色差信号Ｘ−Ｇｈに対応する横補間処理を示す種別情報Ｔｈ（ｎ，ｍ）をメモリに保存する。また、画像処理装置２は、色差候補として色差信号ＸＬ−Ｇａを選択した場合、この色差信号ＸＬ−Ｇａに対応する４画素平均補間処理を示す種別情報Ｔａ（ｎ，ｍ）をメモリに保存する。

続いて、画像処理装置２は、ステップＳ２０６の処理手順によってメモリに保存した所定のライン数分の保存種別をその周辺の種別情報によって修正する（ステップＳ２０７）。このステップＳ２０７において、画像処理装置２は、まず、メモリに保存した所定ライン数の種別情報の中から、処理対象の種別情報とその周辺に位置する複数の種別情報とを読み出す。

次いで、画像処理装置２は、この読み出した各種別情報の配列状態が図１７，１８に例示したような特定の配列状態である場合に、これら周辺の各種別情報と同一種別の補間処理の種別情報に処理対象の種別情報を修正する。画像処理装置２は、この修正後の種別情報を同一格納位置に上書き保存する。一方、画像処理装置２は、この読み出した各種別情報の配列状態が特定の配列状態ではない場合、この処理対象の種別情報の状態（補間処理種別）を維持する。

その後、画像処理装置２は、ステップＳ２０７の処理手順による修正種別情報に対応する色差候補を最終的な色差に決定する（ステップＳ２０８）。このステップＳ２０８において、画像処理装置２は、上述した補間処理種別の色差候補である３つの色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａの中から、ステップＳ２０７の処理手順による修正処理後の種別情報に示される補間処理種別に対応する色差信号に選択し直し、この選択し直した色差信号を最終的な色差信号に決定する。

つぎに、画像処理装置２は、Ｇ欠落画素位置における色信号、すなわちＲ成分の色信号ＲまたはＢ成分の色信号ＢとステップＳ２０８の処理手順による決定色差信号とをもとにＧ成分の色信号を算出する（ステップＳ２０９）。このステップＳ２０９において、画像処理装置２は、Ｇ欠落画素位置の色信号ＸとステップＳ２０８の処理手順によって最終的に決定した色差信号（色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのうちのいずれか）とを減算処理して、Ｇ欠落画素位置におけるＧ成分の補間信号である補間Ｇ信号Ｇｉを生成する。次いで、画像処理装置２は、この生成した補間Ｇ信号Ｇｉと色信号Ｇｓとを合成した２次元配列構造（図４参照）の色信号Ｇを出力する。

その後、画像処理装置２は、未処理のＧ欠落画素位置の有無を判定し（ステップＳ２１０）、未処理画素がある場合（ステップＳ２１０，Ｙｅｓ）、上述したステップＳ２０１に戻り、このステップＳ２０１以降の処理手順を繰り返す。一方、画像処理装置２は、このステップＳ２１０において未処理画素がない場合（ステップＳ２１０，Ｎｏ）、このＧ補間色差算出処理を終了し、図２１に示したステップＳ１０３の処理手順にリターンする。

以上、説明したように、本発明の実施の形態１では、画像を形成する複数の色信号の画素位置のうちの特定色信号であるＧ成分の色信号が欠落したＧ欠落画素位置における補間処理種別を判定し、このＧ欠落画素位置の周辺に配列される複数の周辺Ｇ欠落画素位置の補間処理種別をもとに、この判定後の補間処理種別を修正し、この修正後の補間処理種別に対応して、このＧ欠落画素位置における色差信号を選択し、この選択した色差信号をもとに、このＧ欠落画素位置におけるＧ成分の補間信号を生成するように構成した。このため、Ｇ欠落画素位置およびその周辺画素の色差類似度に基づいて一度判定したＧ欠落画素位置における補間処理種別を、複数の周辺Ｇ欠落画素位置の各補間処理種別に合わせて正確に修正でき、この修正後の補間処理種別に対応してＧ欠落画素位置に最適な色差信号を選択することができる。これによって、Ｇ欠落画素位置に最適なＧ成分の補間信号を生成することができ、この結果、撮像画像に含まれる処理対象の画素位置の欠落色成分の補間処理種別の誤判定を正確に修正できるとともに、撮像画像に対して解像度および彩度の保持と局所的な偽色低減とを両立するデモザイキング処理を行うことができる。

また、複数の周辺Ｇ欠落画素位置の各補間処理種別に合わせて正確に修正した修正後の補間処理種別の種別情報を同一Ｇ欠落画素位置の種別情報として更新し、この更新後の種別情報による補間処理種別を別のＧ欠落画素位置の補間処理種別の修正処理に用いる巡回型に構成している。このため、撮像画像の画素領域内において孤立点状に生じる偽色のみならず、より広い画素領域の偽色も低減することができる。なお、上述した補間処理種別の修正処理を過去の修正処理結果を用いないで行う非巡回型の構成であってもよいことは言うまでも無い。

（実施の形態１の変形例１）
つぎに、本発明の実施の形態１の変形例１について説明する。上述した実施の形態１では、処理対象のＧ欠落画素位置の周辺に位置する複数の周辺Ｇ欠落画素位置の補間処理種別の計数処理結果をもとに、この処理対象のＧ欠落画素位置の補間処理種別を修正していたが、この変形例１では、これら複数の周辺Ｇ欠落画素位置の補間処理種別の配列パターンをもとに、この処理対象のＧ欠落画素位置の補間処理種別を修正している。

図２３は、本発明の実施の形態１の変形例１にかかる画像処理装置の種別情報修正部の一構成例を模式的に示すブロック図である。図２３に示すように、この変形例１における種別情報修正部１２８は、上述した実施の形態１における種別情報修正部２８の種別情報２８ａ、種別累積部２８ｂおよび修正処理部２８ｃに代えて種別情報抽出部１２８ａ、種別パターン判定部１２８ｂ、種別パターンテーブル１２８ｃおよび修正処理部１２８ｄを備える。なお、この変形例１におけるＧ補間色差算出部は、上述した実施の形態１におけるＧ補間色差算出部２０の種別情報修正部２８に代えて種別情報修正部１２８を備える。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

種別情報抽出部１２８ａは、メモリ２１ｇが記憶するＧ欠落画素位置毎の補間処理種別の種別情報の中から、処理対象のG欠落画素位置における色信号Ｇｓの判定後の補間処理種別、すなわち上述した判定部２７による判定後の補間処理種別の種別情報と、この処理対象のG欠落画素位置の周辺に位置する複数の周辺Ｇ欠落画素位置の補間処理種別を示す複数の種別情報とを抽出する。

具体的には、種別情報抽出部１２８ａは、まず、メモリ２１ｇに格納された所定ライン数分の補間処理種別の種別情報の中から、処理対象のＧ欠落画素位置の種別情報と、その周辺に位置する複数の周辺Ｇ欠落画素位置の各種別情報とを抽出する。

図２４は、実施の形態１の変形例１における補間処理種別の修正処理に用いる種別情報を抽出する画素領域の一具体例を示す模式図である。例えば図２４に示すように、種別情報抽出部１２８ａは、メモリ２１ｇに格納された５ライン分の画素領域の中から、処理対象であるＧ欠落画素位置の種別情報Ｔ（ｎ，ｍ−２）と、その周辺Ｇ欠落画素位置の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ＋２，ｍ−２），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ，ｍ−４）とを抽出する。

ここで、図２４に示す種別情報Ｔ（ｎ，ｍ）は、上述した補間処理種別毎に異なる種別情報Ｔｖ（ｎ，ｍ），Ｔｈ（ｎ，ｍ），Ｔａ（ｎ，ｍ）のうちのいずれかであって、判定部２７において比較処理された複数の色差類似度のうちの最小値に対応する種別情報（すなわち所定数の画素領域内における色差の類似性が最も高いとして判定された補間処理種別の種別情報）である。このことは、他のＧ欠落画素位置についても同様である。なお、図２４に示す各Ｇ欠落画素位置の種別情報のうち、種別情報Ｔ（ｎ，ｍ）が、判定部２７から出力された最新の種別情報である。

すなわち、種別情報抽出部１２８ａは、この最新の種別情報Ｔ（ｎ，ｍ）の２画素上に位置するＧ欠落画素（図２４の太枠部分参照）の種別情報Ｔ（ｎ，ｍ−２）を処理対象の種別情報として抽出し、これと同時に、この処理対象の種別情報Ｔ（ｎ，ｍ−２）の周辺の各Ｇ欠落画素位置（図２４の斜線部参照）の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ＋２，ｍ−２），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ，ｍ−４）を抽出する。

その後、種別情報抽出部１２８ａは、上述したように抽出した９つの種別情報のうち、処理対象の種別情報Ｔ（ｎ，ｍ−２）を修正処理部１２８ｄに出力し、周辺の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ＋２，ｍ−２），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ，ｍ−４）を種別パターン判定部１２８ｂに出力する。

種別パターン判定部１２８ｂは、処理対象の種別情報の周辺に位置する複数の種別情報によって示される複数の周辺Ｇ欠落画素位置の補間処理種別の配列パターンと、予め設定され、補間処理種別毎に異なる配列パターンを示す設定配列パターンとが一致するか否かを判定する。

具体的には、種別パターン判定部１２８ｂは、まず、種別パターンテーブル１２８ｃに予め格納されている複数の補間処理種別の設定配列パターンを参照する。つぎに、種別パターン判定部１２８ｂは、種別情報抽出部１２８ａから取得したＧ欠落画素位置周辺における複数の種別情報の配列パターン、すなわち、これら複数の種別情報によって示される補間処理種別の配列パターンと、これら複数の設定配列パターンとを比較処理する。これによって、種別パターン判定部１２８ｂは、配列パターンと設定配列パターンとが一致するか否かを判定する。

図２５は、横補間処理種別に対応する種別情報の配列パターンの一具体例を示す模式図である。図２６は、縦補間処理種別に対応する種別情報の配列パターンの一具体例を示す模式図である。例えば図２５に示すように、横補間処理種別に対応する種別情報の配列パターンには、８つ存在する周辺の種別情報のうちの上側４つの種別情報が全て「横補間処理」を示す種別情報Ｔｈ（ｎ−２，ｍ−２），Ｔｈ（ｎ＋２，ｍ−２），Ｔｈ（ｎ−１，ｍ−３），Ｔｈ（ｎ＋１，ｍ−３）である配列パターン、あるいは下側４つの種別情報が全て「横補間処理」を示す種別情報Ｔｈ（ｎ−１，ｍ−１），Ｔｈ（ｎ＋１，ｍ−１），Ｔｈ（ｎ−２，ｍ−２），Ｔｈ（ｎ＋２，ｍ−２）である配列パターン等が挙げられる。

種別パターンテーブル１２８ｃには、上述したような横補間処理種別に対応する種別情報の複数（例えば３つ）の配列パターンが予め格納されている。種別パターン判定部１２８ｂは、種別情報抽出部１２８ａから取得した周辺の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ＋２，ｍ−２），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ，ｍ−４）の配列パターンが上述した横補間処理種別に対応する配列パターンのいずれかと一致するか否かを判定し、一致する場合、処理対象の種別情報Ｔ（ｎ，ｍ−２）が「横補間処理」であるべき旨の種別判定情報を修正処理部１２８ｄに出力する。

一方、縦補間処理種別に対応する種別情報の配列パターンには、例えば図２６に示すように、８つ存在する周辺の種別情報のうちの左側４つの種別情報が全て「縦補間処理」を示す種別情報Ｔｖ（ｎ，ｍ），Ｔｖ（ｎ−１，ｍ−１），Ｔｖ（ｎ−１，ｍ−３），Ｔｖ（ｎ，ｍ−４）である配列パターン、あるいは右側４つの種別情報が全て「縦補間処理」を示す種別情報Ｔｖ（ｎ，ｍ），Ｔｖ（ｎ＋１，ｍ−１），Ｔｖ（ｎ＋１，ｍ−３），Ｔｖ（ｎ，ｍ−４）である配列パターン等が挙げられる。

種別パターンテーブル１２８ｃには、上述したような縦補間処理種別に対応する種別情報の複数の配列パターンが予め格納されている。種別パターン判定部１２８ｂは、種別情報抽出部１２８ａから取得した周辺の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ＋２，ｍ−２），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ，ｍ−４）の配列パターンが上述した縦補間処理種別に対応する配列パターンのいずれかと一致するか否かを判定し、一致する場合、処理対象の種別情報Ｔ（ｎ，ｍ−２）が「縦補間処理」であるべき旨の種別判定情報を修正処理部１２８ｄに出力する。

ここで、種別パターン判定部１２８ｂは、種別情報抽出部１２８ａから取得した周辺の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ＋２，ｍ−２），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ，ｍ−４）の配列パターンが上述した縦補間処理種別または横補間処理種別に対応する配列パターンのいずれかとも一致しない場合、「不定」である旨の種別判定情報を修正処理部１２８ｄに出力する。

修正処理部１２８ｄは、上述した種別パターン判定部１２８ｂによる判定結果をもとに、処理対象のＧ欠落画素位置における色信号Ｇｓの判定後の補間処理種別、すなわち判定部２７による判定後の補間処理種別が誤って判定されたものであるか否かを判定し、誤判定された補間処理種別である場合、この補間処理種別を修正し、この修正した補間処理種別を示す修正後の種別情報をメモリ２１ｇに送信する。

具体的には、修正処理部１２８ｄは、まず、種別情報抽出部１２８ａから処理対象の種別情報Ｔ（ｎ，ｍ−２）を取得し、この処理対象の種別情報Ｔ（ｎ，ｍ−２）に対する種別判定情報を種別パターン判定部１２８ｂから取得する。なお、この種別判定情報は、種別パターン判定部１２８ｂによる判定結果であり、この処理対象の種別情報Ｔ（ｎ，ｍ−２）が示すべき補間処理種別の判定結果を含む。つぎに、修正処理部１２８ｄは、種別パターン判定部１２８ｂによる種別判定情報に基づいて、この処理対象の種別情報Ｔ（ｎ，ｍ−２）の補正処理種別を修正する。

例えば、種別パターン判定部１２８ｂによる種別判定情報が「横補間処理」を示す情報である場合、この処理対象の種別情報Ｔ（ｎ，ｍ−２）の周辺に位置する８つの種別情報の配列パターンは、図２５に示した配列パターンのいずれかと一致する。

この状態において、修正処理部１２８ｄは、処理対象の種別情報Ｔ（ｎ，ｍ−２）が示す補間処理種別を確認し、この処理対象の補間処理種別が横補間処理以外である場合、すなわち処理対象が「縦補間処理」の種別情報Ｔｖ（ｎ，ｍ−２）または「４画素平均補間処理」の種別情報Ｔａ（ｎ，ｍ−２）である場合、この処理対象の種別情報Ｔ（ｎ，ｍ−２）を「横補間処理」の種別情報Ｔｈ（ｎ，ｍ−２）に修正する。これによって、修正処理部１２８ｄは、処理対象の種別情報Ｔ（ｎ，ｍ−２）の補間処理種別を本来あるべき「横補間処理」に種別変更する。

一方、種別パターン判定部１２８ｂによる種別判定情報が「縦補間処理」を示す情報である場合、この処理対象の種別情報Ｔ（ｎ，ｍ−２）の周辺に位置する８つの種別情報の配列パターンは、図２６に示した配列パターンのいずれかと一致する。

この状態において、修正処理部１２８ｄは、処理対象の種別情報Ｔ（ｎ，ｍ−２）が示す補間処理種別を確認し、この処理対象の補間処理種別が縦補間処理以外である場合、すなわち処理対象が「横補間処理」の種別情報Ｔｈ（ｎ，ｍ−２）または「４画素平均補間処理」の種別情報Ｔａ（ｎ，ｍ−２）である場合、この処理対象の種別情報Ｔ（ｎ，ｍ−２）を「縦補間処理」の種別情報Ｔｖ（ｎ，ｍ−２）に修正する。これによって、修正処理部１２８ｄは、処理対象の種別情報Ｔ（ｎ，ｍ−２）の補間処理種別を本来あるべき「縦補間処理」に種別変更する。

他方、上述した種別パターン判定部１２８ｂによる種別判定情報が「不定」を示す情報である場合、修正処理部１２８ｄは、処理対象の種別情報Ｔ（ｎ，ｍ−２）が示す補間処理種別に関わらず、この処理対象の種別情報Ｔ（ｎ，ｍ−２）の状態を維持する。すなわち、修正処理部１２８ｄは、「不定」を示す種別判定情報を取得した場合、この処理対象の種別情報Ｔ（ｎ，ｍ−２）によって示される補間処理種別を変更せず維持する。

上述したように、修正処理部１２８ｄは、種別パターン判定部１２８ｂからの種別判定情報に基づいて処理対象の種別情報Ｔ（ｎ，ｍ−２）の補間処理種別を修正または維持し、その後、この修正処理後の種別情報Ｔ（ｎ，ｍ−２）をメモリ２１ｇに出力する。この場合、メモリ２１ｇは、上述した実施の形態１の場合と同様に、この修正後の種別情報Ｔ（ｎ，ｍ−２）を種別情報修正部１２８から取得し、この修正後の種別情報Ｔ（ｎ，ｍ−２）を同一格納位置に上書き保存して、この同一格納位置の既存の種別情報をこの修正後の種別情報Ｔ（ｎ，ｍ−２）に更新する。なお、メモリ２１ｇに格納された更新後の種別情報は、種別情報修正部１２８による今後の修正処理における過去の種別情報の一つとして用いられる。

なお、このような種別情報修正部１２８において、予め種別パターンテーブル１２８ｃに「４画素平均補間処理」に対応する種別情報の設定配列パターンを１つ以上格納しておき、種別パターン判定部１２８ｂは、この「４画素平均補間処理」に対応する種別情報の設定配列パターンを参照して、処理対象の種別情報の周囲に位置する複数の種別情報の配列パターンを判定してもよい。

具体的には、種別パターン判定部１２８ｂは、上述した複数の種別情報の配列パターンと「４画素平均補間処理」に対応する種別情報の設定配列パターンとが一致するか否かを判定し、一致する場合、処理対象の種別情報Ｔ（ｎ，ｍ−２）が「４画素平均補間処理」であるべき旨の種別判定情報を修正処理部１２８ｄに出力してもよい。

一方、修正処理部１２８ｄは、処理対象の種別情報Ｔ（ｎ，ｍ−２）が示す補間処理種別を確認し、この処理対象の補間処理種別が４画素平均補間処理以外である場合、すなわち処理対象が「縦補間処理」の種別情報Ｔｖ（ｎ，ｍ−２）または「横補間処理」の種別情報Ｔｈ（ｎ，ｍ−２）である場合、この処理対象の種別情報Ｔ（ｎ，ｍ−２）を「４画素平均補間処理」の種別情報Ｔａ（ｎ，ｍ−２）に修正してもよい。

以上、説明したように、本発明の実施の形態１の変形例１では、処理対象のＧ欠落画素位置の周辺に位置する複数のＧ欠落画素位置の種別情報によって示される周辺複数の補間処理種別の配列パターンを判定し、この判定した配列パターンに対応する補間処理種別に処理対象の種別情報の補間処理種別を修正するようにし、その他を実施の形態１と同様に構成した。このため、上述した実施の形態１の場合と同様の作用効果を享受するとともに、予め設定した複数の設定配列パターンと周辺の種別情報の配列パターンとが一致するか否かの判定処理結果に基づいて処理対象の種別情報の補間処理種別を変更できるので、複数の最適な判定条件を利用して補間処理種別の誤判定を一層高精度に修正することができる。

（実施の形態１の変形例２）
つぎに、本発明の実施の形態１の変形例２について説明する。上述した実施の形態１では、Ｇ欠落画素位置の補間処理の種別を縦補間処理、横補間処理および４画素平均補間処理の３種類にしていたが、この変形例２では、さらに、斜め右上がり（スラッシュ）方向の補間処理である斜め補間処理と、斜め右下がり（バックスラッシュ）方向の補間処理である逆斜め補間処理とを加えた合計５種類の補間処理にしている。

図２７は、本発明の実施の形態１の変形例２にかかる画像処理装置のＧ補間色差算出部の一構成例を模式的に示すブロック図である。図２７に示すように、この実施の形態１の変形例２におけるＧ補間色差算出部１２０は、上述した実施の形態１におけるＧ補間色差算出部２０と同様の構成を有し、さらに、斜め補間算出部２２ｄと、逆斜め補間算出部２２ｅと、減算部２３ｆ，２３ｇと、メモリ２１ｈ，２１ｉと、色差類似度算出部２５ｄ，２５ｅとを備える。なお、この変形例２にかかる画像処理装置は、実施の形態１にかかる画像処理装置２のＧ補間色差算出部２０に代えてＧ補間色差算出部１２０を備える。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

斜め補間算出部２２ｄおよび逆斜め補間算出部２２ｅは、上述した縦補間算出部２２ａ、横補間算出部２２ｂおよび４画素平均補間算出部２２ｃと同様に、補間処理種別毎に特定色信号（色信号Ｇｓ）の異なる補間信号を算出する複数の補間信号候補算出部として機能する。

具体的には、斜め補間算出部２２ｄは、Ｇ欠落画素位置のスラッシュ方向に近接する各画素位置の特定色信号をもとにスラッシュ方向の補間処理（斜め補間処理）を行って、スラッシュ方向の補間処理種別に対応する補間信号を算出する。

逆斜め補間算出部２２ｅは、Ｇ欠落画素位置のバックスラッシュ方向に近接する各画素位置の特定色信号をもとにバックスラッシュ方向の補間処理（逆斜め補間処理）を行って、バックスラッシュ方向の補間処理種別に対応する補間信号を算出する。

以下に、斜め補間処理および逆斜め補間処理について具体的に説明する。図２８は、斜め補間処理および逆斜め補間処理における補間処理対象画素のベイヤ配列上の画素位置の具体例を示す模式図である。

斜め補間算出部２２ｄは、図２８に示すG欠落画素であるＸ画素のスラッシュ方向（右上がり方向）に近接する８つの画素の各色信号Ｇｓをメモリ２１ｂから取得し、この取得した各色信号Ｇｓの信号値を用いて斜め補間処理を行う。これによって、斜め補間算出部２２ｄは、このＸ画素に対してスラッシュ方向のＧ成分の補間値を算出する。その後、斜め補間算出部２２ｄは、算出した補間値を信号値とする補間信号を減算部２３ｆに出力する。

一方、逆斜め補間算出部２２ｅは、図２８に示すG欠落画素であるＸ画素のバックスラッシュ方向（右下がり方向）に近接する８つの画素の各色信号Ｇｓをメモリ２１ｂから取得し、この取得した各色信号Ｇｓの信号値を用いて逆斜め補間処理を行う。これによって、逆斜め補間算出部２２ｅは、このＸ画素に対してバックスラッシュ方向のＧ成分の補間値を算出する。その後、逆斜め補間算出部２２ｅは、算出した補間値を信号値とする補間信号を減算部２３ｇに出力する。

ここで、斜め補間算出部２２ｄまたは逆斜め補間算出部２２ｅによる補間値は、補間処理種別毎に異なる補間信号の各信号値である。詳細には、斜め補間算出部２２ｄによる補間値は、斜め補間処理によって算出されるＧ欠落画素の補間Ｇ信号Ｇｉの信号値であり、逆斜め補間算出部２２ｅによる補間値は、逆斜め補間処理によって算出されるＧ欠落画素の補間Ｇ信号Ｇｉの信号値である。

減算部２３ｆ，２３ｇは、上述した減算部２３ａ〜２３ｃと同様に、補間処理種別毎に異色信号と特定色信号との色差信号候補を算出する複数の色差信号候補算出部として機能する。具体的には、減算部２３ｆは、まず、斜め補間算出部２２ｄから斜め補間処理の補間値を有する補間信号を取得し、メモリ２１ａからＧ欠落画素（Ｘ画素）における色信号Ｘを取得する。つぎに、減算部２３ｆは、斜め補間処理による補間信号と色信号Ｘとの減算処理を行って、斜め補間処理に対応する色差信号候補を算出する。その後、減算部２３ｆは、この算出した色差信号候補をメモリ２１ｈに出力する。

減算部２３ｇは、まず、逆斜め補間算出部２２ｅから逆斜め補間処理の補間値を有する補間信号を取得し、メモリ２１ａからＧ欠落画素（Ｘ画素）における色信号Ｘを取得する。つぎに、減算部２３ｇは、逆斜め補間処理による補間信号と色信号Ｘとの減算処理を行って、逆斜め補間処理に対応する色差信号候補を算出する。その後、減算部２３ｇは、この算出した色差信号候補をメモリ２１ｉに出力する。

メモリ２１ｈ，２１ｉは、上述したメモリ２１ｃ〜２１ｅと同様に、補間処理種別毎に上述した色差信号候補を記憶する複数の記憶部として機能する。具体的には、メモリ２１ｈは、まず、減算部２３ｆによって算出された斜め補間処理の色差信号候補を順次取得し、所定の画素数分の斜め補間処理の色差信号候補を格納する。その後、メモリ２１ｈは、所定の画素数分の色差信号候補を格納した場合、この格納した斜め補間処理の色差信号候補を色差類似度算出部２５ｄおよび色差選択部２９に適宜出力する。

メモリ２１ｉは、まず、減算部２３ｇによって算出された逆斜め補間処理の色差信号候補を順次取得し、所定の画素数分の逆斜め補間処理の色差信号候補を格納する。その後、メモリ２１ｉは、所定の画素数分の色差信号候補を格納した場合、この格納した逆斜め補間処理の色差信号候補を色差類似度算出部２５ｅおよび色差選択部２９に適宜出力する。

上述したようにして、メモリ２１ｈ，２１ｉは、所定の画素数分（例えば５行５列の画素数分）の色差信号候補を含む画素領域における色差類似度の算出処理が実施可能になるまでの遅延を得る。なお、この場合の色差類似度の算出処理は、後述する色差類似度算出部２５ｄ，２５ｅによって実施される。

色差類似度算出部２５ｄ，２５ｅは、上述した色差類似度算出部２５ａ〜２５ｃと同様に、メモリ２１ｈ，２１ｉが補間処理種別に各々記憶した補間処理種別毎の色差信号候補をもとに、補間処理種別毎に色差信号候補間の類似度を算出する複数の色差類似度算出部として機能する。

具体的には、色差類似度算出部２５ｄは、まず、メモリ２１ｈに格納された所定の画素数分の色差信号候補（斜め補間処理に対応する色差信号）を取得する。つぎに、色差類似度算出部２５ｄは、取得した所定の画素数分の色差信号候補をもとに、複数の補間処理種別のうちの斜め補間処理に対応する色差信号候補間の類似度である色差類似度Ｓｓ(ｎ，ｍ)を算出する。その後、色差類似度算出部２５ｄは、この算出した色差類似度Ｓｓ(ｎ，ｍ)を判定部２７に出力する。

一方、色差類似度算出部２５ｅは、まず、メモリ２１ｉに格納された所定の画素数分の色差信号候補（逆斜め補間処理に対応する色差信号）を取得する。つぎに、色差類似度算出部２５ｅは、取得した所定の画素数分の色差信号候補をもとに、複数の補間処理種別のうちの逆斜め補間処理に対応する色差信号候補間の類似度である色差類似度Ｓｂ(ｎ，ｍ)を算出する。その後、色差類似度算出部２５ｅは、この算出した色差類似度Ｓｂ(ｎ，ｍ)を判定部２７に出力する。

ここで、この実施の形態１の変形例２において、判定部２７は、上述した特定色信号である色信号Ｇｓが欠落したＧ欠落画素（Ｘ画素またはＸＬ画素）の画素位置における色信号Ｇｓの補間処理種別として、縦補間処理、横補間処理、４画素平均補間処理、斜め補間処理および逆斜め補間処理のうちの１つを選択的に判定する。

具体的には、判定部２７は、上述したように色差類似度Ｓｖ（ｎ，ｍ），Ｓｈ（ｎ，ｍ），Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ）を取得し、さらに、色差類似度算出部２５ｄから斜め補間処理に対応する色差類似度Ｓｓ（ｎ，ｍ）を取得し、色差類似度算出部２５ｅから逆斜め補間処理に対応する色差類似度Ｓｂ（ｎ，ｍ）を取得する。

つぎに、判定部２７は、補間処理種別に異なる色差類似度Ｓｖ（ｎ，ｍ），Ｓｈ（ｎ，ｍ），Ｓａ（ｎ，ｍ）×ｗ（ｎ，ｍ），Ｓｓ（ｎ，ｍ），Ｓｂ（ｎ，ｍ）を比較処理し、これらの色差類似度のうちの最小となる色差類似度を選択する。

次いで、判定部２７は、この選択した最小の色差類似度に対応する補間処理種別（本変形例２では、縦補間処理、横補間処理、４画素平均補間処理、斜め補間処理、逆斜め補間処理のいずれか）をＧ欠落画素位置における色信号Ｇｓの補間処理種別として選択的に判定する。その後、判定部２７は、このように判定したＧ欠落画素位置における色信号Ｇｓの補間処理種別を示す種別情報をメモリ２１ｇに出力する。

例えば、判定部２７は、比較処理によって色差類似度Ｓｓ（ｎ，ｍ）を選択した場合、この色差類似度Ｓｓ（ｎ，ｍ）に対応する斜め補間処理をＧ欠落画素位置における補間処理種別として判定し、Ｇ欠落画素位置（ｎ，ｍ）における補間処理種別が斜め補間処理である旨を示す種別情報Ｔｓ（ｎ，ｍ）をメモリ２１ｇに出力する。

また、判定部２７は、比較処理によって色差類似度Ｓｂ（ｎ，ｍ）を選択した場合、この色差類似度Ｓｂ（ｎ，ｍ）に対応する逆斜め補間処理をＧ欠落画素位置における補間処理種別として判定し、Ｇ欠落画素位置（ｎ，ｍ）における補間処理種別が逆斜め補間処理である旨を示す種別情報Ｔｂ（ｎ，ｍ）をメモリ２１ｇに出力する。なお、その他の色差類似度については、上述した実施の形態１の場合と同様である。

一方、この変形例２における種別情報修正部２８は、上述した実施の形態１の場合と同様の修正機能に加え、さらに、処理対象の種別情報の補間処理種別を斜め補間処理または逆斜め補間処理に修正する機能を備える。図２９は、斜め補間処理種別に対応する種別情報の配列状態の一具体例を示す模式図である。図３０は、逆斜め補間処理種別に対応する種別情報の配列状態の一具体例を示す模式図である。

種別情報修正部２８は、例えば上述した実施の形態１の変形例１の場合と同様に、まず、メモリ２１ｇから、処理対象の種別情報Ｔ（ｎ，ｍ−２）と、その周辺の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ＋２，ｍ−２），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ，ｍ−４）とを取得する。

つぎに、種別情報修正部２８は、例えば図２９に示すように、周辺の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ＋１，ｍ−３）または種別情報Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ，ｍ−４）が各々斜め補間処理に対応する種別情報Ｔｓであり、且つ、処理対象の種別情報Ｔ（ｎ，ｍ−２）が斜め補間処理以外の補間処理種別を示す場合、この処理対象を斜め補間処理に対応する種別情報Ｔｓ（ｎ，ｍ−２）に修正する。すなわち、種別情報修正部２８は、処理対象の種別情報Ｔｖ（ｎ，ｍ−２）、Ｔａ（ｎ，ｍ−２）、Ｔｈ（ｎ，ｍ−２）、Ｔｂ（ｎ，ｍ−２）を種別情報Ｔｓ（ｎ，ｍ−２）に修正する。その後、種別情報修正部２８は、この修正後の種別情報Ｔｓ（ｎ，ｍ−２）をメモリ２１ｇに出力する。

一方、種別情報修正部２８は、例えば図３０に示すように、周辺の種別情報Ｔ（ｎ，ｍ），Ｔ（ｎ−１，ｍ−１），Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ−２，ｍ−２），Ｔ（ｎ−１，ｍ−３）または種別情報Ｔ（ｎ＋１，ｍ−１），Ｔ（ｎ＋２，ｍ−２），Ｔ（ｎ＋１，ｍ−３），Ｔ（ｎ−１，ｍ−３），Ｔ（ｎ，ｍ−４）が各々逆斜め補間処理に対応する種別情報Ｔｂであり、且つ、処理対象の種別情報Ｔ（ｎ，ｍ−２）が逆斜め補間処理以外の補間処理種別を示す場合、この処理対象を逆斜め補間処理に対応する種別情報Ｔｂ（ｎ，ｍ−２）に修正する。すなわち、種別情報修正部２８は、処理対象の種別情報Ｔｖ（ｎ，ｍ−２）、Ｔａ（ｎ，ｍ−２）、Ｔｈ（ｎ，ｍ−２）、Ｔｓ（ｎ，ｍ−２）を種別情報Ｔｂ（ｎ，ｍ−２）に修正する。その後、種別情報修正部２８は、この修正後の種別情報Ｔｂ（ｎ，ｍ−２）をメモリ２１ｇに出力する。

なお、この変形例２における種別情報修正部２８は、上述した斜め補間処理または逆斜め補間処理の修正機能以外、上述した実施の形態１または変形例１と同様の機能を有する。このような種別情報修正部２８は、実施の形態１と同様に、種別情報の計数処理結果に基づいて種別情報を修正してもよいし、変形例１と同様に、種別情報の配列パターンの判定結果に基づいて種別情報を修正してもよい。

一方、この変形例２における色差選択部２９は、上述した色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａに加え、さらに、メモリ２１ｈ，２１ｉから斜め補間処理の色差信号候補と逆斜め補間処理の色差信号候補とを取得する。具体的には、色差選択部２９は、メモリ２１ｇから判定後または更新後の種別情報を取得し、この取得した種別情報が斜め補間処理を示す場合、斜め補間処理の色差信号候補を選択し、この取得した種別情報が逆斜め補間処理を示す場合、逆斜め補間処理の色差信号候補を選択する。なお、この変形例２における色差選択部２９は、このような斜め補間処理または逆斜め補間処理の色差信号候補を選択する機能以外、上述した実施の形態１と同様の機能を有する。

以上、説明したように、本発明の実施の形態１の変形例２では、処理対象のＧ欠落画素位置における補間処理種別として斜め補間処理と逆斜め補間処理とを追加し、斜め補間処理に対応する色差信号または逆斜め補間処理に対応する色差信号を選択できるようにし、その他を実施の形態１または変形例１と同様に構成した。このため、上述した実施の形態１または変形例１の場合と同様の作用効果を享受するとともに、より多様の補間処理種別に応じて色差信号を選択できるようになり、これによって、より多様に画素領域の補間処理種別の誤判定を修正することができ、この結果、より多様な画素領域の偽色を低減することができる。

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、補間処理種別毎に異なる複数の色差信号候補を算出し、判定後または修正後の種別情報に基づく補間処理種別に応じて、これら複数の色差信号候補の中から出力対象の色差信号を選択していたが、この実施の形態２では、Ｇ欠落画素位置の補間処理種別を先に判定し、この判定後の補間処理種別または修正後の補間処理種別に対応する補間信号算出手段を１つ選択して、この選択した補間信号算出手段によって補間Ｇ信号Ｇｉを算出するようにしている。

図３１は、本発明の実施の形態２にかかる画像処理装置を備えた画像出力装置の一構成例を模式的に示すブロック図である。図３１に示すように、この実施の形態２にかかる画像出力装置２００は、上述した実施の形態１にかかる画像出力装置１００の画像処理装置２に代えて画像処理装置２０２を備える。また、画像処理装置２０２は、上述した実施の形態１におけるＧ補間色差算出部２０に代えてＧ補間色差算出部２２０を備える。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。

図３２は、本発明の実施の形態２にかかる画像処理装置のＧ補間色差算出部２２０の一構成例を模式的に示すブロック図である。図３２に示すように、この実施の形態２にかかるＧ補間色差算出部２２０は、メモリ２２１ａ，２２１ｂ，２２４と、Ｇ補間種別判定部２２２と、補間選択部２２３と、種別情報修正部２２５と、縦補間算出部２２６ａと、横補間算出部２２６ｂと、４画素平均補間算出部２２６ｃと、ローパスフィルタ２２７と、選択部２２８と、減算部２２９ａ，２２９ｂとを備える。

メモリ２２１ａは、上述した実施の形態１におけるメモリ２１ａと同様の機能を有している。具体的には、メモリ２２１ａは、まず、所定のライン数分（例えば３ライン以上）の色信号Ｒｓ，Ｂｓを格納し、その後、この所定のライン数分の色信号Ｒｓ，Ｂｓを格納した場合、この所定のライン数分の色信号Ｒｓ，ＢｓをＧ補間種別判定部２２２、ローパスフィルタ２２７および選択部２２８に順次出力する。

メモリ２２１ｂは、上述した実施の形態１におけるメモリ２１ｂと同様の機能を有している。具体的には、メモリ２２１ｂは、まず、所定のライン数分の色信号Ｇｓを格納し、その後、この所定のライン数分の色信号Ｇｓを格納した場合、この所定のライン数分の色信号ＧｓをＧ補間種別判定部２２２、補間選択部２２３および同時化補間処理部３０（図３１参照）に順次出力する。

このようにして、メモリ２２１ａ，２２１ｂは、Ｇ欠落画素位置における２次元的な補間処理が実施可能になる画素数のデータ、すなわち所定のライン数分の色信号Ｒｓ，Ｇｓ，Ｂｓが揃うまでの遅延を得る。

Ｇ補間種別判定部２２２は、画像を形成する複数の色信号の画素位置のうちの特定色信号が欠落した欠落画素位置における特定色信号の補間処理種別を判定する種別判定部として機能する。具体的には、Ｇ補間種別判定部２２２は、まず、メモリ２２１ａから所定ライン数分の色信号Ｘ（色信号Ｒｓ，Ｂｓ）を取得し、メモリ２２１ｂから所定ライン数分の色信号Ｇｓを取得する。

つぎに、Ｇ補間種別判定部２２２は、所定ライン数分の色信号Ｘおよび色信号Ｇｓを用い、次式（１５）、（１６）に基づいて、縦方向の色相関値である縦色相関値Ｃｖと横方向の色相関値である横色相関値Ｃｈとを算出する。

Cv(i,j)=｜G(i,j-1)-G(i,j+1)｜×α(i,j)＋｛｜G(i,j-1)-X(i,j)｜＋｜G(i,j+1)-X(i,j)｜｝×（１-α(i,j)） ・・・（１５）

Ch(i,j)=｜G(i-1,j)-G(i+1,j)｜×α(i,j)＋｛｜G(i-1,j)-X(i,j)｜＋｜G(i+1,j)-X(i,j)｜｝×（１-α(i,j)） ・・・（１６）

なお、この式（１５）、（１６）において、α(ｉ,ｊ)は１以下の変数であり、上述した図１０に示す画素領域における色信号Ｇの総和と色信号Ｘの総和とによって決定され、α(ｉ,ｊ)＝Σ_n,mG(i+n, j+m)／(Σ_n,mG(i+n,j+m)＋Σ_k,lX(i+k,j+l)×β)である。

また、Σ_n,mおよびΣ_k,lは、画素位置を示す座標値(ｉ,ｊ)に対する周辺の画素領域を定義する定義域の範囲内での総和を示し、β=Σ_n,m1／Σ_k,l1である。すなわち、色信号Ｇと色信号Ｘとの相関が高い場合は、α＝０．５に近い値となり、第１項と第２項との比率を同一に扱う。一方、色信号Ｇが色信号Ｘに比して大きければ、第１項に大きな重みが付き、逆に色信号Ｘが色信号Ｇに比して大きければ、第２項に大きな重みが付く。

続いて、Ｇ補間種別判定部２２２は、式（１５）、（１６）に基づいて算出した縦色相関値Ｃｖと横色相関値Ｃｈとの差の絶対値｜Ｃｖ−Ｃｈ｜を算出し、この算出した絶対値｜Ｃｖ−Ｃｈ｜と所定の閾値との比較判定処理を行う。

この比較判定処理の結果、Ｇ補間種別判定部２２２は、この絶対値｜Ｃｖ−Ｃｈ｜が所定の閾値未満である場合、Ｇ欠落画素位置の種別情報として、４画素平均補間処理の種別情報Ｔａを選択的に決定する。一方、Ｇ補間種別判定部２２２は、この絶対値｜Ｃｖ−Ｃｈ｜が所定の閾値以上であり且つ縦色相関値Ｃｖが横色相関値Ｃｈに比して大きい場合、Ｇ欠落画素位置の種別情報として、横補間処理の種別情報Ｔｈを選択的に決定する。また、Ｇ補間種別判定部２２２は、この絶対値｜Ｃｖ−Ｃｈ｜が所定の閾値以上であり且つ縦色相関値Ｃｖが横色相関値Ｃｈに比して小さい場合、Ｇ欠落画素位置の種別情報として、縦補間処理の種別情報Ｔｖを選択的に決定する。その後、Ｇ補間種別判定部２２２は、このように決定したＧ欠落画素位置の種別情報（種別情報Ｔａ，Ｔｈ，Ｔｖのいずれか）をメモリ２２４に出力する。

メモリ２２４は、Ｇ補間種別判定部２２２による判定後の補間処理種別を示す種別情報を欠落画素位置毎に記憶する種別情報記憶部として機能する。具体的には、メモリ２２４は、まず、上述したＧ欠落画素位置における補間処理種別を示す種別情報をＧ補間種別判定部２２２から取得し、この取得した種別情報を２次元配列のＧ欠落画素位置毎に順次格納する。

より具体的には、メモリ２２４は、補間処理種別の種別情報Ｔｖ（ｉ，ｊ），Ｔｈ（ｉ，ｊ），Ｔａ（ｉ，ｊ）の中からＧ補間種別判定部２２２が判定出力した種別情報を順次取得し、この取得した種別情報（すなわち種別情報Ｔｖ（ｉ，ｊ），Ｔｈ（ｉ，ｊ），Ｔａ（ｉ，ｊ）のうちのいずれか）をベイヤ配列内のＧ欠落画素位置毎に順次格納する。

このようにして、メモリ２２４は、所定のライン数分（例えば３ライン以上）の補間処理種別の種別情報を格納する。なお、メモリ２２４が所定のライン数分格納した各種別情報は、種別情報修正部２２５によって読み出される。

ここで、種別情報修正部２２５は、上述した実施の形態１における種別情報修正部２８または変形例１における種別情報修正部１２８と同様の機能を有する。すなわち、メモリ２２４は、この種別情報修正部２２５による修正後の種別情報を種別情報修正部２２５から取得し、この修正後の種別情報を同一格納位置に上書き保存して、この同一格納位置の既存の種別情報をこの修正後の種別情報に更新する。例えば、種別情報修正部２２５によって修正処理された種別情報Ｔ（ｉ−２，ｊ）がメモリ２２４内の修正前の格納位置に上書き保存される。なお、この種別情報Ｔ（ｉ−２，ｊ）は、最新の種別情報Ｔ（ｉ，ｊ）の２画素分左に遅延した情報である。

補間選択部２２３は、処理対象のＧ欠落画素位置の補間処理種別に応じて複数の補間処理種別の補間算出手段の中から補間信号を算出させる補間信号算出手段を選択する補間算出手段選択部として機能する。

具体的には、補間選択部２２３は、まず、メモリ２２１ｂから色信号Ｇｓを取得し、メモリ２２４から処理対象のＧ欠落画素位置における補間処理種別を示す種別情報を取得する。なお、メモリ２２４から取得する種別情報は、Ｇ補間種別判定部２２２による判定結果が維持された種別情報または種別情報修正部２２５によって修正された種別情報である。

つぎに、補間選択部２２３は、メモリ２２４から読み出した種別情報が示す補間処理種別を確認し、この種別情報が縦補間処理の種別情報Ｔｖである場合、メモリ２２１ｂからの色信号Ｇｓを縦補間算出部２２６ａに出力して、この縦補間算出部２２６ａにＧ欠落画素位置の補間Ｇ信号Ｇｉを算出させる。

一方、補間選択部２２３は、メモリ２２４から読み出した種別情報が横補間処理の種別情報Ｔｈである場合、メモリ２２１ｂからの色信号Ｇｓを横補間算出部２２６ｂに出力して、この横補間算出部２２６ｂにＧ欠落画素位置の補間Ｇ信号Ｇｉを算出させる。また、補間選択部２２３は、メモリ２２４から読み出した種別情報が４画素平均補間処理の種別情報Ｔａである場合、メモリ２２１ｂからの色信号Ｇｓを４画素平均補間算出部２２６ｃに出力して、この４画素平均補間算出部２２６ｃにＧ欠落画素位置の補間Ｇ信号Ｇｉを算出させる。

縦補間算出部２２６ａ、横補間算出部２２６ｂおよび４画素平均補間算出部２２６ｃは、補間処理種別毎に特定色信号（色信号Ｇｓ）の異なる補間信号を算出する複数の補間信号算出部として機能する。

具体的には、縦補間算出部２２６ａは、補間選択部２２３からＧ欠落画素位置の周辺画素の色信号Ｇｓを取得した場合、上述した実施の形態１における縦補間算出部２２ａの場合と同様に、式（１）に基づいて、縦補間処理の補間値Ｇｖを有する補間Ｇ信号Ｇｉを算出する。

横補間算出部２２６ｂは、補間選択部２２３からＧ欠落画素位置の周辺画素の色信号Ｇｓを取得した場合、上述した実施の形態１における横補間算出部２２ｂの場合と同様に、式（２）に基づいて、横補間処理の補間値Ｇｈを有する補間Ｇ信号Ｇｉを算出する。

４画素平均補間算出部２２６ｃは、補間選択部２２３からＧ欠落画素位置の周辺画素の色信号Ｇｓを取得した場合、上述した実施の形態１における４画素平均補間算出部２２ｃの場合と同様に、式（３）に基づいて、４画素平均補間処理の補間値Ｇａを有する補間Ｇ信号Ｇｉを算出する。

すなわち、縦補間算出部２２６ａ、横補間算出部２２６ｂおよび４画素平均補間算出部２２６ｃのうちの補間選択部２２３によって選択された１つが、補間Ｇ信号Ｇｉを算出し、この算出した補間Ｇ信号Ｇｉを減算部２２９ａに出力する。

ローパスフィルタ２２７は、まず、メモリ２２１ａに格納された色信号Ｘを取得する。つぎに、ローパスフィルタ２２７は、上述した実施の形態１におけるローパスフィルタ２４の場合と同様に、この取得した色信号Ｘに対して帯域制限処理を行って、所定の周波数帯域幅に帯域制限した色信号ＸＬを生成する。その後、ローパスフィルタ２２７は、帯域制限処理後の色信号ＸＬを選択部２２８に出力する。

選択部２２８は、メモリ２２４から読み込んだ更新後の種別情報によって示されるＧ欠落画素位置の修正後の補間処理種別に対応して、異色信号である色信号Ｘ，ＸＬを選択する信号選択部として機能する。

具体的には、選択部２２８は、まず、メモリ２２１ａから色信号Ｘを取得し、ローパスフィルタ２２７から帯域制限処理後の色信号ＸＬを取得する。また、選択部２２８は、メモリ２２４に格納された更新後または判定後の種別情報を取得する。

つぎに、選択部２２８は、メモリ２２４からの種別情報に示される補間処理種別に応じて、減算部２２９に対する出力対象信号を色信号Ｘ，ＸＬのいずれかに選択する。すなわち、選択部２２８は、種別情報に示される補間処理種別が縦補間処理または横補間処理である場合、メモリ２２１ａからの色信号Ｘを選択し、その後、この選択した色信号Ｘを減算部２２９ａに出力する。

一方、選択部２２８は、種別情報に示される補間処理種別が４画素平均補間処理である場合、ローパスフィルタ２２７からの色信号ＸＬを選択し、その後、この選択した色信号ＸＬを減算部２２９ａに出力する。

減算部２２９ａは、選択部２２８が選択した異色信号（色信号Ｘ，ＸＬのいずれか）と補間選択部２２３が選択した補間信号算出手段（縦補間算出部２２６ａ、横補間算出部２２６ｂ、４画素平均補間算出部２２６ｃのうちのいずれか）によって算出された補間信号との減算処理を行ってＧ欠落画素位置の色差信号を算出する色差信号算出部として機能する。

具体的には、減算部２２９ａは、縦補間算出部２２６ａから縦補間処理の補間値Ｇｖを有する補間Ｇ信号Ｇｉを取得した場合、選択部２２８から取得した色信号Ｘと、この補間Ｇ信号Ｇｉとの減算処理を行って、縦補間処理に対応する色差信号Ｘ−Ｇｖを算出する。また、減算部２２９ａは、横補間算出部２２６ｂから横補間処理の補間値Ｇｈを有する補間Ｇ信号Ｇｉを取得した場合、選択部２２８から取得した色信号Ｘと、この補間Ｇ信号Ｇｉとの減算処理を行って、横補間処理に対応する色差信号Ｘ−Ｇｈを算出する。

一方、減算部２２９ａは、４画素平均補間算出部２２６ｃから４画素平均補間処理の補間値Ｇａを有する補間Ｇ信号Ｇｉを取得した場合、選択部２２８から取得した色信号ＸＬと、この補間Ｇ信号Ｇｉとの減算処理を行って、４画素平均補間処理に対応する色差信号ＸＬ−Ｇａを算出する。

その後、減算部２２９ａは、上述したように算出した色差信号Ｘ−Ｇｉ（すなわち色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのうちのいずれか）を減算部２２９ｂおよび同時化補間処理部３０に出力する。

ここで、上述した補間選択部２２３、縦補間算出部２２６ａ、横補間算出部２２６ｂ、４画素平均補間算出部２２６ｃ、選択部２２８および減算部２２９ａは、メモリ２２４内の更新後の種別情報によって示されるＧ欠落画素位置の修正後の補間処理種別に対応して色差信号を選択する色差信号選択部２２０ａを構成する。

このような色差信号選択部２２０ａは、上述した各構成部の作用によって、判定後または修正後の種別情報によって示される補間処理種別に対応する色差信号Ｘ−Ｇｉ（すなわち色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのうちのいずれか）を選択出力する。

減算部２２９ｂは、補間処理種別の種別情報に基づいて選択された色差信号をもとに特定色信号の欠落画素位置における特定色信号の補間信号を生成する補間信号生成部として機能する。具体的には、減算部２２９ｂは、まず、処理対象のＧ欠落画素位置における色信号Ｘ（色信号Ｒｓ，Ｂｓ）をメモリ２２１ａから取得し、この処理対象のＧ欠落画素位置における色差信号Ｘ−Ｇｉを色差選択部２２０ａの減算部２２９ａから取得する。

ここで、色差信号Ｘ−Ｇｉは、上述したように、色差選択部２２０ａが処理対象のＧ欠落画素位置における判定後または更新後の補間処理種別に基づいて選択した色差信号であり、本実施の形態２においては、色差信号Ｘ−Ｇｖ，Ｘ−Ｇｈ，ＸＬ−Ｇａのうちのいずれかである。

つぎに、減算部２２９ｂは、色差選択部２２０ａからの色差信号Ｘ−Ｇｉとメモリ２２１ａからの色信号Ｘとを減算処理して、上述した実施の形態１における減算部２３ｄの場合と同様に、処理対象のＧ欠落画素位置における補間Ｇ信号Ｇｉを算出する。その後、減算部２２９ｂは、このように算出した補間Ｇ信号Ｇｉを同時化補間処理部３０（図３１参照）に出力する。

このような減算部２２９ｂから出力された補間Ｇ信号Ｇｉおよびメモリ２２１ｂからの色信号Ｇｓは、例えば図４に示したように２次元配列の状態に合成され、その後、色成分の欠落が無い２次元配列の色信号Ｇとしてラスタスキャン順に同時化補間処理部３０に出力される。

つぎに、本発明の実施の形態２にかかる画像処理装置２０２のソフトウェア処理に基づく動作について説明する。なお、この実施の形態２にかかる画像処理装置２０２は、上述したようにハードウェア処理に基づいて各種画像処理を実行可能であるが、図２１に示したステップＳ１０１〜Ｓ１０７の処理手順と略同様に、必要な処理プログラムを有するコンピュータが行うソフトウェア処理に基づいて動作することも可能である。この場合、この実施の形態２にかかる画像処理装置２０２は、上述したステップＳ１０３のＧ補間色差算出処理のみ、実施の形態１と異なる。以下に、本実施の形態２におけるステップＳ１０３のＧ補間色差算出処理の処理手順を詳細に説明する。

図３３は、本発明の実施の形態２にかかる画像処理装置によるＧ補間色差算出処理の処理手順を例示するフローチャートである。この実施の形態２にかかる画像処理装置２０２は、図２１に示したステップＳ１０３の処理手順を実行する際、図３３に示すように、まず、Ｇ欠落画素位置に対する縦色相関値Ｃｖを算出する（ステップＳ３０１）。

このステップＳ３０１において、画像処理装置２０２は、図２１に示したステップＳ１０１の処理手順で取り込んだＲＡＷファイルとステップＳ１０２の処理手順で取得した属性情報をもとに、式（１５）に基づいてＧ欠落画素位置における縦色相関値Ｃｖを算出する。

つぎに、画像処理装置２０２は、Ｇ欠落画素位置に対する横色相関値Ｃｈを算出する（ステップＳ３０２）。このステップＳ３０２において、画像処理装置２０２は、図２１に示したステップＳ１０１の処理手順で取り込んだＲＡＷファイルとステップＳ１０２の処理手順で取得した属性情報をもとに、式（１６）に基づいてＧ欠落画素位置における横色相関値Ｃｈを算出する。

続いて、画像処理装置２０２は、Ｇ欠落画素位置における縦色相関値Ｃｖと横色相関値Ｃｈとの差の絶対値｜Ｃｖ−Ｃｈ｜を算出する（ステップＳ３０３）。このステップＳ３０３において、画像処理装置２０２は、ステップＳ３０１の処理手順によって算出した縦色相関値Ｃｖ（ｉ，ｊ）とステップＳ３０２の処理手順によって算出した横色相関値Ｃｈ（ｉ，ｊ）との差の絶対値｜Ｃｖ−Ｃｈ｜を算出する。

つぎに、画像処理装置２０２は、ステップＳ３０３の処理手順によって算出した絶対値｜Ｃｖ−Ｃｈ｜と予め設定された所定の閾値とを比較処理し（ステップＳ３０４）、絶対値｜Ｃｖ−Ｃｈ｜が閾値以上である場合（ステップＳ３０４，Ｎｏ）、ステップＳ３０１，Ｓ３０２の処理手順による縦色相関値Ｃｖ（ｉ，ｊ）と横色相関値Ｃｈ（ｉ，ｊ）との大小判定処理を行う（ステップＳ３０６）。

一方、画像処理装置２０２は、このステップＳ３０４において絶対値｜Ｃｖ−Ｃｈ｜が閾値未満である場合（ステップＳ３０４，Ｙｅｓ）、４画素平均補間の種別情報Ｔａをメモリに記憶する（ステップＳ３０５）。

他方、ステップＳ３０６において、画像処理装置２０２は、縦色相関値Ｃｖ（ｉ，ｊ）が横色相関値Ｃｈ（ｉ，ｊ）に比して小さい場合（ステップＳ３０６，Ｎｏ）、縦補間処理の種別情報Ｔｖをメモリに記憶し（ステップＳ３０７）、縦色相関値Ｃｖ（ｉ，ｊ）が横色相関値Ｃｈ（ｉ，ｊ）に比して大きい場合（ステップＳ３０６，Ｙｅｓ）、横補間処理の種別情報Ｔｈをメモリに記憶する（ステップＳ３０８）。

その後、画像処理装置２０２は、処理対象の種別情報（すなわち種別情報Ｔｖ，Ｔａ，Ｔｈのうちのいずれか）の修正処理および更新処理を行う（ステップＳ３０９）。このステップＳ３０９において、画像処理装置２０２は、メモリに格納されている処理対象の種別情報とその周辺の種別情報（例えば図１６または図２４参照）をもとに、この処理対象の種別情報の補間処理種別を修正し、この修正後の種別情報をメモリの同一位置に上書き保存する。

つぎに、画像処理装置２０２は、ステップＳ３０９の処理手順による修正処理後の種別情報に応じてＧ補間値を算出する（ステップＳ３１０）。このステップＳ３１０において、画像処理装置２０２は、縦補間処理、横補間処理および４画素平均補間処理の中から、メモリに格納されている修正処理後の種別情報によって示される補間処理を選択し、この選択した補間処理によって補間Ｇ信号Ｇｉを算出する。

具体的には、画像処理装置２０２は、縦補間処理を選択した場合、補間値Ｇｖの補間Ｇ信号Ｇｉを算出し、横補間処理を選択した場合、補間値Ｇｈの補間Ｇ信号Ｇｉを算出し、４画素平均補間処理を選択した場合、補間値Ｇａの補間Ｇ信号Ｇｉを算出する。

続いて、画像処理装置２０２は、ステップＳ３０９の処理手順による修正処理後の種別情報に応じた色信号選択処理を行う（ステップＳ３１１）。このステップＳ３１１において、画像処理装置２０２は、上述した修正処理後の種別情報が４画素平均補間処理を示す種別情報Ｔａである場合、処理対象のＧ欠落画素位置の色信号Ｘとその周辺に位置する複数のＧ欠落画素位置の各色信号Ｘとをもとに、高域成分を帯域制限した色信号ＸＬを算出する。

ここで、この算出した色信号ＸＬは、この処理対象のＧ欠落画素位置における信号である。このため、画像処理装置２０２は、上述した修正処理後の種別情報が４画素平均補間処理を示す種別情報Ｔａである場合、この処理対象のＧ欠落画素位置の色信号ＸＬを選択する。一方、画像処理装置２０２は、上述した修正処理後の種別情報が縦補間処理または横補間処理を示す種別情報Ｔｖ，Ｔｈである場合、メモリに格納されているＧ欠落画素位置の色信号Ｘを選択する。

その後、画像処理装置２０２は、ステップＳ３０９の処理手順による修正処理後の種別情報に応じて選択色信号と補間Ｇ信号との色差信号を算出する（ステップＳ３１２）。このステップＳ３１２において、画像処理装置２０２は、修正処理後の種別情報が４画素平均補間処理を示す種別情報Ｔａである場合、ステップＳ３１１の処理手順によって得られた処理対象のＧ欠落画素位置における帯域制限処理後の色信号ＸＬと補間Ｇ信号Ｇｉとの色差信号ＸＬ−Ｇａを算出する。

一方、画像処理装置２０２は、上述した修正処理後の種別情報が縦補間処理を示す種別情報Ｔｖである場合、メモリに格納されているＧ欠落画素位置の色信号Ｘと補間Ｇ信号Ｇｉとの色差信号Ｘ−Ｇｖを算出し、上述した修正処理後の種別情報が横補間処理を示す種別情報Ｔｈである場合、メモリに格納されているＧ欠落画素位置の色信号Ｘと補間Ｇ信号Ｇｉとの色差信号Ｘ−Ｇｈを算出する。

つぎに、画像処理装置２０２は、ステップＳ３１２の処理手順による算出色差信号を用いて補間Ｇ信号を再算出する（ステップＳ３１３）。このステップＳ３１３において、画像処理装置２０２は、上述した修正処理後の種別情報が４画素平均補間処理を示す種別情報Ｔａである場合、処理対象のＧ欠落画素位置における色信号ＸＬとステップＳ３１２における色差信号ＸＬ−Ｇａとを減算処理して、この処理対象のＧ欠落画素位置における補間Ｇ信号Ｇｉを再算出する。

一方、画像処理装置２０２は、上述した修正処理後の種別情報が縦補間処理を示す種別情報Ｔｖである場合、処理対象のＧ欠落画素位置における色信号ＸとステップＳ３１２における色差信号Ｘ−Ｇｖとを減算処理して、この処理対象のＧ欠落画素位置における補間Ｇ信号Ｇｉを再算出する。また、画像処理装置２０２は、上述した修正処理後の種別情報が横補間処理を示す種別情報Ｔｈである場合、処理対象のＧ欠落画素位置における色信号ＸとステップＳ３１２における色差信号Ｘ−Ｇｈとを減算処理して、この処理対象のＧ欠落画素位置における補間Ｇ信号Ｇｉを再算出する。

その後、画像処理装置２０２は、上述した各種画像処理が全ての画素に対して行われたか否かを判定し（ステップＳ３１４）、未処理画素が残っている場合（ステップＳ３１４，Ｎｏ）、上述したステップＳ３０１に戻り、このステップＳ３０１以降の処理手順を繰り返す。

一方、画像処理装置２０２は、このステップＳ３１４において未処理画素が残っていない場合、すなわち総画素数終了した場合（ステップＳ３１４，Ｙｅｓ）、このＧ補間色差算出処理を終了して図２１に示したステップＳ１０３にリターンする。

以上、説明したように、本発明の実施の形態２では、処理対象のＧ欠落画素位置における縦方向の色相関値と横方向の色相関値をもとに補間処理種別を先に判定し、この処理対象のＧ欠落画素位置の周辺に位置する複数のＧ欠落画素位置の補間処理種別をもとに、この判定後の補間処理種別を修正し、この修正後の補間処理種別に対応して、この処理対象のＧ欠落画素位置の色差信号を選択するようにし、その他を実施の形態１と同様に構成した。このため、上述した実施の形態１の場合と同様の作用効果を享受するとともに、複数の補間処理の中から、修正後の補間処理種別と一致する１つの補間処理によってＧ欠落画素位置のＧ成分の補間信号を算出できるので、処理時間の短縮化の促進および装置構成の簡易化を実現することができる。

なお、上述した実施の形態１，２および変形例２では、処理対象のＧ欠落画素位置の周辺に位置する複数の周辺Ｇ欠落画素位置の補間処理種別を計数処理し、これら複数の周辺Ｇ欠落画素位置の全補間処理種別が同一種別であり且つ処理対象のＧ欠落画素位置の補間処理種別と異なる場合に、この処理対象のＧ欠落画素位置の補間処理種別を周辺Ｇ欠落画素位置の補間処理種別と同一種別に修正していたが、これに限らない。

具体的には、誤修正してしまう頻度とのトレードオフとなるが、これら複数の周辺Ｇ欠落画素位置の補間処理種別のうちの所定数以上の補間処理種別が同一種別であり且つ処理対象のＧ欠落画素位置の補間処理種別と異なる場合に、この処理対象のＧ欠落画素位置の補間処理種別をこの所定数以上の補間処理種別と同一種別に修正してもよい。または、これら複数の周辺Ｇ欠落画素位置の補間処理種別のうちの過半数以上の補間処理種別が同一種別であり且つ処理対象のＧ欠落画素位置の補間処理種別と異なる場合に、この処理対象のＧ欠落画素位置の補間処理種別をこの過半数以上の補間処理種別と同一種別に修正してもよい。

または、これら複数の周辺Ｇ欠落画素位置の補間処理種別のうちの最も多い同一の補間処理種別が処理対象のＧ欠落画素位置の補間処理種別と異なる場合に、この処理対象のＧ欠落画素位置の補間処理種別をこの最多の補間処理種別と同一種別に修正する多数決処理を行ってもよい。

また、上述した実施の形態１，２および変形例１，２では、画像を形成する複数色の色信号のうちのＧ成分の色信号を特定色信号としていたが、これに限らず、本発明における特定色信号は、Ｇ成分以外の色信号であってもよく、画像を形成する複数色の色信号のうちの所望の色成分の色信号を特定色信号としてもよい。

さらに、上述した実施の形態２では、実施の形態１の場合と同様に、処理対象のＧ欠落画素位置の周辺に位置する複数の周辺Ｇ欠落画素位置の補間処理種別を計数処理し、この計数処理結果に基づいて、この処理対象のＧ欠落画素位置の補間処理種別を修正していたが、これに限らず、実施の形態１の変形例１の場合と同様に、これら複数の周辺Ｇ欠落画素位置の補間処理種別の配列パターンを判定し、この配列パターンの判定結果をもとに、この処理対象のＧ欠落画素位置の補間処理種別を修正してもよい。すなわち、上述した実施の形態１の変形例１と実施の形態２とを適宜組み合わせた画像処理装置、画像処理プログラムおよび画像処理方法であってもよい。

また、上述した実施の形態２では、複数の周辺Ｇ欠落画素位置の各補間処理種別に合わせて正確に修正した修正後の補間処理種別の種別情報を同一Ｇ欠落画素位置の種別情報として更新し、この更新後の種別情報による補間処理種別を別のＧ欠落画素位置の補間処理種別の修正処理に用いる巡回型に構成していたが、これに限らず、過去の修正処理結果を用いずに補間処理種別の修正処理を行う非巡回型の構成であってもよい。

さらに、上述した実施の形態１，２および変形例１，２では、ＲＧＢの各色信号をベイヤ配列した場合を例示したが、これに限らず、Ｒ，Ｇ，Ｂ等の複数の色成分の信号をベイヤ配列以外の２次元状にモザイク配列し、且つ、Ｇ成分の色信号等の特定色信号の欠落画素位置に対する複数の補間処理を複数の周辺欠落画素の補間処理種別に対応して切り替えるようにしてもよい。

また、上述した実施の形態１，２および変形例１，２では、処理プログラムを実行するコンピュータの動作に基づいたソフトウェアによる画像処理装置の処理手順を説明したが、これに限らず、本発明にかかる画像処理装置は、ハードウェアによる処理手順を実行してもよい。この場合、本発明にかかる画像処理装置部は、図２２または図３３に例示した各処理ステップをハードウェアの動作によって行ってもよい。

以上のように、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法は、モザイク状に２次元配列された複数の色信号によって形成される画像の処理に有用であり、特に、撮像画像に対して解像度および彩度の保持と偽色低減とを両立するデモザイキング処理を行うことができる画像処理装置、画像処理プログラムおよび画像処理方法に適している。

１ 撮像部
２，２０２ 画像処理装置
３ 出力部
１０ 画像取得部
２０，１２０，２２０ Ｇ補間色差算出部
２１ａ〜２１ｉ メモリ
２２ａ 縦補間算出部
２２ｂ 横補間算出部
２２ｃ ４画素平均補間算出部
２２ｄ 斜め補間算出部
２２ｅ 逆斜め補間算出部
２３ａ〜２３ｄ，２３ｆ，２３ｇ 減算部
２３ｅ 乗算部
２４ ローパスフィルタ
２５ａ〜２５ｅ 色差類似度算出部
２６ Ｇ変動量算出部
２７ 判定部
２８ 種別情報修正部
２８ａ 種別情報抽出部
２８ｂ 種別累積部
２８ｃ 修正処理部
２９ 色差選択部
３０ 同時化補間処理部
３１ 色差選別部
３２ａ〜３２ｄ メモリ
３３〜３５ 補間算出部
３６ 補間係数算出部
３７ 制御部
４０ ＲＧＢ算出部
４２，４３ 加算部
４４ カラーマトリックス処理部
４５〜４７ γ補正部
５０ 出力処理部
１００，２００ 画像出力装置
１２８ 種別情報修正部
１２８ａ 種別情報抽出部
１２８ｂ 種別パターン判定部
１２８ｃ 種別パターンテーブル
１２８ｄ 修正処理部
２２０ａ 色差選択部
２２１ａ，２２１ｂ，２２４ メモリ
２２２ Ｇ補間種別判定部
２２３ 補間選択部
２２５ 種別情報修正部
２２６ａ 縦補間算出部
２２６ｂ 横補間算出部
２２６ｃ ４画素平均補間算出部
２２７ ローパスフィルタ
２２８ 選択部
２２９ａ，２２９ｂ 減算部

Claims (13)

1. 画像を形成する複数の色信号のうちの特定色信号が欠落した画素位置である欠落画素位置に対して、前記特定色信号の補間処理の種別を示す補間処理種別を判定する種別判定部と、
   前記欠落画素位置の周辺に位置する複数の周辺欠落画素位置の補間処理種別をもとに、前記判定された補間処理種別を修正する種別修正部と、
   前記修正された補間処理種別に対応して、前記複数の色信号のうちの前記特定色信号を除く色成分の色信号である異色信号と、前記特定色信号との信号差である色差信号を選択する色差信号選択部と、
   前記色差信号をもとに、前記欠落画素位置における前記特定色信号の補間信号を生成する補間信号生成部と、
   を備えたことを特徴とする画像処理装置。
2. 前記補間処理種別毎に、前記特定色信号の異なる補間信号を算出する複数の補間信号算出部と、
   前記異色信号と前記異なる補間信号とをもとに、前記補間処理種別毎に異なる前記色差信号の選択候補である色差信号候補を算出する複数の色差信号候補算出部と、
   前記補間処理種別毎に、所定の画素数分の前記色差信号候補を記憶する複数の色差信号記憶部と、
   所定の画素数分の前記色差信号候補をもとに、前記補間処理種別毎の前記色差信号候補間の類似度を算出する複数の色差類似度算出部と、
   前記判定された補間処理種別を示す種別情報を前記欠落画素位置毎に記憶する種別情報記憶部と、
   をさらに備え、
   前記種別判定部は、前記色差信号候補間の類似度をもとに前記補間処理種別を判定し、
   前記種別情報記憶部は、前記修正された補間処理種別を示す修正後の種別情報に前記種別情報を更新し、
   前記色差信号選択部は、前記修正後の種別情報が示す補間処理種別に対応して、複数の前記色差信号候補の中から前記色差信号を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定された補間処理種別を示す種別情報を前記欠落画素位置毎に記憶する種別情報記憶部をさらに備え、
   前記種別判定部は、前記欠落画素位置に隣接する画素位置と前記欠落画素位置との間の色相関値を算出し、前記色相関値をもとに、前記欠落画素位置における前記特定色信号の補間処理種別を判定し、
   前記種別情報記憶部は、前記修正された補間処理種別を示す修正後の種別情報に前記種別情報を更新し、
   前記色差信号選択部は、前記修正後の種別情報が示す補間処理種別に対応して、前記色差信号を選択することを特徴とする請求項１に記載の画像処理装置。
4. 前記色差信号選択部は、
   前記補間処理種別毎に、前記特定色信号の異なる補間信号を算出する複数の補間信号算出部と、
   前記修正後の種別情報が示す補間処理種別に対応して、前記複数の補間信号算出部の中から、前記異なる補間信号を算出させる補間信号算出部を選択する補間算出手段選択部と、
   前記修正後の種別情報が示す補間処理種別に対応して前記異色信号を選択する信号選択部と、
   選択された前記異色信号と前記異なる補間信号とを減算して、前記色差信号を算出する色差信号算出部と、
   を備えたことを特徴とする請求項３に記載の画像処理装置。
5. 前記種別修正部は、
   前記複数の周辺欠落画素位置の補間処理種別を示す複数の種別情報と、前記欠落画素位置の前記種別情報とを前記種別情報記憶部から抽出する種別情報抽出部と、
   前記複数の種別情報をもとに、前記複数の周辺欠落画素位置の補間処理種別を計数する計数処理部と、
   前記計数処理部による計数結果をもとに、前記欠落画素位置の前記種別情報が示す補間処理種別を修正する修正処理部と、
   を備えたことを特徴とする請求項２〜４のいずれか一つに記載の画像処理装置。
6. 前記計数処理部は、前記複数の周辺欠落画素位置の補間処理種別のうちの同一補間処理種別の数を計数し、
   前記修正処理部は、前記同一補間処理種別の数が所定数以上であり、且つ前記判定された補間処理種別が前記同一補間処理種別と異なる場合、前記判定された補間処理種別を前記同一補間処理種別と同じ補間処理種別に修正することを特徴とする請求項５に記載の画像処理装置。
7. 前記同一補間処理種別の数は、前記複数の周辺欠落画素位置の補間処理種別のうちの過半数以上であることを特徴とする請求項６に記載の画像処理装置。
8. 前記種別修正部は、
   前記複数の周辺欠落画素位置の補間処理種別を示す複数の種別情報と、前記欠落画素位置の前記種別情報とを前記種別情報記憶部から抽出する種別情報抽出部と、
   前記複数の種別情報が示す前記複数の周辺欠落画素位置の補間処理種別の配列パターンと、補間処理種別毎に異なる配列パターンを示す設定配列パターンとを比較して、前記配列パターンと前記設定配列パターンとが一致するか否かを判定する種別パターン判定部と、
   前記配列パターンと前記設定配列パターンとが一致する場合、前記欠落画素位置の前記種別情報が示す補間処理種別を、前記設定配列パターンに対応する補間処理種別に修正する修正処理部と、
   を備えたことを特徴とする請求項２〜４のいずれか一つに記載の画像処理装置。
9. 前記複数の補間信号算出部は、
   前記欠落画素位置の縦方向に隣接する各画素位置の前記特定色信号をもとに、縦方向の補間処理による補間信号を算出する縦補間信号算出部と、
   前記欠落画素位置の横方向に隣接する各画素位置の前記特定色信号をもとに、横方向の補間処理による補間信号を算出する横補間信号算出部と、
   前記欠落画素位置の縦横方向に隣接する４つの画素位置の前記特定色信号をもとに、４画素平均補間処理による補間信号を算出する４画素平均補間信号算出部と、
   を備えたことを特徴とする請求項２〜８のいずれか一つに記載の画像処理装置。
10. 前記複数の補間信号算出部は、
    前記欠落画素位置の斜め右上がり方向に隣接する各画素位置の前記特定色信号をもとに、斜め右上がり方向の補間処理による補間信号を算出する斜め補間信号算出部と、
    前記欠落画素位置の斜め右下がり方向に隣接する各画素位置の前記特定色信号をもとに、斜め右下がり方向の補間処理による補間信号を算出する逆斜め補間信号算出部と、
    を備えたことを特徴とする請求項９に記載の画像処理装置。
11. 前記色差信号と前記補間信号と前記特定色信号とをもとに、前記画像内の同一サンプリング位置に前記複数の色信号を生成する同時化補間処理部をさらに備えたことを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
12. 画像を形成する複数の色信号のうちの特定色信号が欠落した画素位置である欠落画素位置に対して、前記特定色信号の補間処理の種別を示す補間処理種別を判定する種別判定手順と、
    前記欠落画素位置の周辺に位置する複数の周辺欠落画素位置の補間処理種別をもとに、前記判定された補間処理種別を修正する種別修正手順と、
    前記修正された補間処理種別に対応して、前記複数の色信号のうちの前記特定色信号を除く色成分の色信号である異色信号と、前記特定色信号との信号差である色差信号を選択する色差信号選択手順と、
    前記色差信号をもとに、前記欠落画素位置における前記特定色信号の補間信号を生成する補間信号生成手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
13. 画像を形成する複数の色信号のうちの特定色信号が欠落した画素位置である欠落画素位置に対して、前記特定色信号の補間処理の種別を示す補間処理種別を判定する種別判定ステップと、
    前記欠落画素位置の周辺に位置する複数の周辺欠落画素位置の補間処理種別をもとに、前記判定された補間処理種別を修正する種別修正ステップと、
    前記修正された補間処理種別に対応して、前記複数の色信号のうちの前記特定色信号を除く色成分の色信号である異色信号と、前記特定色信号との信号差である色差信号を選択する色差信号選択ステップと、
    前記色差信号をもとに、前記欠落画素位置における前記特定色信号の補間信号を生成する補間信号生成ステップと、
    を含むことを特徴とする画像処理方法。

Images