JP4748278B2 - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents

Description

本発明は、カラーの画像データに対し、各々の画素に欠落する色成分や輝度成分を補うための補間処理を行う補間処理装置および該補間処理をコンピュータで実現させるための補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

電子カメラには、３色（ＲＧＢ：赤・緑・青）のカラーフィルタが所定の位置に配置（例えば、ベイア配列など）された撮像素子によって、カラーの画像データを生成するものがある。このような電子カメラでは、撮像素子の個々の画素から１つの色成分の色情報しか出力されないため、画素単位で全ての色成分の色情報を得るために、補間処理を行う必要がある。

このような補間処理の方法としては、補間処理の対象となる補間対象画素の空間的な類似性を判定し、類似性の強い方向に位置する画素から出力される色情報を用いて補間値を算出する方法が従来から考えられている。例えば、特許文献１に開示された技術では、補間対象画素（緑色成分が欠落する画素）の色情報をＡ５とし、補間対象画素と同色のカラーフィルタが配された画素の色情報をＡ１、Ａ３、Ａ７、Ａ９とし、緑のカラーフィルタが配された画素の色情報をＧ２、Ｇ４、Ｇ６、Ｇ８として、各画素の色情報が以下のように配置されている状態において、補間対象画素の緑の補間値Ｇ５は、式１ないし式３の何れかによって算出される。

Ａ１
Ｇ２
Ａ３ Ｇ４ Ａ５ Ｇ６ Ｇ７
Ｇ８
Ａ９
まず、水平方向の類似性が強い場合、補間対象画素の緑の補間値Ｇ５は、G5=(G4+G6)/2+(-A3+2A5-A7)/4・・・式１によって算出され、垂直方向の類似性が強い場合、補間対象画素の緑の補間値Ｇ５は、G5=(G2+G8)/2+(-A1+2A5-A9)/4・・・式２によって算出され、水平方向の類似性と垂直方向の類似性とが同程度である場合、補間対象画素の緑の補間値Ｇ５は、G5=(G2+G4+G6+G8)/4+(-A1-A3+4A5-A7-A9)/8・・・式３によって算出される。なお、以下の説明を簡単にするために、式１および式２の第１項（(G4+G6)/2、(G2+G8)/2）を主要項と称し、式１および式２の第２項（(-A3+2A5-A7)/4、(-A1+2A5-A9)/4）を補正項と称する。

特許文献１に開示された技術において、補間処理の対象となる画像データの類似性が水平方向に強く、Ａ３、Ｇ４、Ａ５、Ｇ６、Ａ７が図１７の●印のように与えられていると仮定した場合、Ａ３とＡ５との平均値をＡ４とし、Ａ５とＡ７との平均値をＡ６とすると、式１の補正項の値は、Ａ４とＡ６との平均値に対するＡ５の差違を示すベクトル量（図１７のα）に相当する。また、緑の補間値Ｇ５は、水平方向に隣接する画素の色情報の平均値（式１の主要項の値に相当する）をαだけ補正した値に相当する。

すなわち、特許文献１に開示された技術では、緑色成分と補間対象画素における色成分（赤色成分または青色成分）との色差が一定である（図１７において、(A4-G4)、(A5-G5)、(A6-G6)が一致する）と仮定し、類似性が強い方向に隣接する画素の色情報の平均値を、補間対象画素と同色の色情報を用いて補正することによって、緑の補間値を算出している。

米国特許第５,６２９,７３４号明細書

ところで、レンズなどの光学系には、倍率色収差が存在することが知られている。例えば、ＲＧＢの３色のカラーフィルタがベイア配列された撮像素子を備えた電子カメラの撮影レンズに、倍率色収差が存在する場合、図１８に示すように、赤色成分および青色成分は、緑色成分の結像位置から、それぞれ少しずつずれた位置に結像する。

また、撮影レンズに倍率色収差が存在しない状態で、各画素の色情報が図１９（１）の●印のように与えられている場合（補間処理の対象となる画像データの類似性が水平方向に強く、緑色成分の色情報が一定で、赤色成分や青色成分の色情報が補間対象画素（Ａ５が存在する画素）の近傍でなだらかに変化する場合）、式１の補正項の値が０となるため、Ｇ４とＧ６との平均値（主要項）は補正されることなく緑の補間値Ｇ５となる。

しかし、Ａ３、Ａ５、Ａ７が赤色成分の色情報であり、撮影レンズの倍率色収差によって、これらの赤色成分の色情報が右方向に１画素ずつずれた場合、各画素の色情報は、図１９（２）のように変化することになる。そのため、このような場合、式１の補正項が０とならず、主要項が過剰に補正（以下、「過補正」と称する）され、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、Ｇ４やＧ６よりも大きな値となる（以下、このような現象を「overshoot」と称する）。一方、Ａ３、Ａ５、Ａ７が青色成分の色情報であり、倍率色収差によって、これらの青色成分の色情報が左方向に１画素ずつずれた場合、各画素の色情報は、図１９（３）のように変化することになる。そのため、このような場合、式１の補正項は０とならず、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、過補正によって、Ｇ４やＧ６よりも小さな値となる（以下、このような現象を「undershoot」と称する）。

すなわち、特許文献１に開示された技術では、倍率色収差の影響によって、補間処理で得られたカラー画像に偽色が発生してしまう。ところで、過補正は、倍率色収差が存在する場合に限らず、色差が変化する色境界部分でも発生する。例えば、各画素の色情報が図２０（１）、（２）の●印のように与えられている場合（緑色成分の色情報が一定で、赤色成分または青色成分の色情報が補間対象画素（Ａ５が存在する画素）の近傍で急変する場合）、式１の補正項は０とならず、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、過補正によってovershootまたはundershootを生じることになる。

したがって、色差が変化する色境界部分では、倍率色収差が存在しない場合であっても、補間処理によって偽色が発生してしまう。なお、以上説明したような偽色は、緑の補間値を算出する場合に限らず、赤や青の補間値を算出する場合にも発生し得る。

そこで、本発明は、偽色の発生を抑制できる補間処理装置を提供すること、および、偽色の発生を抑制できる補間処理プログラムを記録した記録媒体を提供することを目的とする。

請求項１に記載の補間処理装置は、輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、色成分の存在する画素と色成分が欠落する画素との両方に輝度成分が存在する画像データに対し、色成分が欠落する画素に色成分を補うための処理を行う補間処理装置において、補間処理の対象となる補間対象画素の周囲の最近傍に位置して輝度成分と色成分とが存在する複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手段と、前記色相値算出手段で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手段と、補間対象画素に存在する輝度成分を用いて、前記色相値補間手段で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手段とを備え、前記色相値補間手段は、補間対象画素の斜め方向に隣接する４つの斜め隣接画素の色相値が前記色相値算出手段によって算出されている場合に、該４つの斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間部と、補間対象画素の縦方向と横方向とに隣接する４つの縦横隣接画素の色相値が前記色相値算出手段または前記第１の色相値補間部によって算出されている場合に、該４つの縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間部とを備え、前記色相値の中央値は、４つの画素の色相値の値を大きさの順に並び替えて、中央の２つに位置する色相値の平均値によって求めることを特徴とする。すなわち、請求項１に記載の発明では、補間対象画素の色相値は、補間対象画素の周囲の最近傍に位置する複数の画素の色相値の中央値によって算出される。

請求項２に記載の補間処理装置は、輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、１画素につき輝度成分と色成分との何れか一方が存在する画像データに対し、輝度成分が欠落する画素に輝度成分を補い色成分が欠落する画素に色成分を補うための処理を行う補間処理装置において、「輝度成分の補間処理の対象となる輝度成分補間対象画素と輝度成分補間対象画素の周辺に位置する複数の画素との方向に関する類似性を少なくとも縦類似か横類似か縦横類似かを判断し、類似方向に存在する輝度成分の平均値によって補間対象画素の輝度成分を補間する補間手段」と「輝度成分補間対象画素の輝度成分を周囲の輝度成分の値の平均値によって求めるのみならず、輝度成分補間対象画素が属する局所的領域内の輝度成分以外の色成分をも用いて輝度成分を補間する補間手段」との少なくとも一方を利用して、輝度成分補間対象画素の輝度成分を補間する輝度成分補間手段と、色成分の補間処理の対象となる補間対象画素の周囲の最近傍に位置し、色成分が存在して前記輝度成分補間手段によって輝度成分が補間された複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手段と、前記色相値算出手段で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手段と、補間対象画素に存在する輝度成分を用いて、前記色相値補間手段で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手段とを備え、前記色相値補間手段は、補間対象画素の斜め方向に隣接する４つの斜め隣接画素の色相値が前記色相値算出手段によって算出されている場合に、該４つの斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間部と、補間対象画素の縦方向と横方向とに隣接する４つの縦横隣接画素の色相値が前記色相値算出手段または前記第１の色相値補間部によって算出されている場合に、該４つの縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間部とを備え、前記色相値の中央値は、４つの画素の色相値の値を大きさの順に並び替えて、中央の２つに位置する色相値の平均値によって求めることを特徴とする。すなわち、請求項２に記載の発明では、補間対象画素の色相値は、補間対象画素の周囲の最近傍に位置する複数の画素の色相値の中央値によって算出される。

請求項３に記載の補間処理装置は、請求項１または請求項２に記載の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手段は、補間対象画素に緑色成分が存在して赤色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の赤色成分を含む色相値の中央値によって補間対象画素の色相値を算出し、補間対象画素に緑色成分が存在して青色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の青色成分を含む色相値の中央値によって補間対象画素の色相値を算出することを特徴とする。すなわち、請求項３に記載の発明では、緑色成分が存在して赤色成分が欠落する補間対象画素の色相値は、補間対象画素の周囲の最近傍に位置する画素の赤色成分を含む色相値の中央値によって算出され、緑色成分が存在して青色成分が欠落する補間対象画素の色相値は、補間対象画素の周囲の最近傍に位置する画素の青色成分を含む色相値の中央値によって算出される。

請求項４に記載の補間処理装置は、請求項１または請求項２に記載の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手段は、補間対象画素に青色成分が存在して赤色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の赤色成分を含む色相値の中央値によって補間対象画素の色相値を算出することを特徴とする。すなわち、請求項４に記載の発明では、青色成分が存在して赤色成分が欠落する補間対象画素の色相値は、補間対象画素の周囲の最近傍に位置する画素の赤色成分を含む色相値の中央値によって算出される。

請求項５に記載の補間処理装置は、請求項１または請求項２に記載の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手段は、補間対象画素に赤色成分が存在して青色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の青色成分を含む色相値の中央値によって補間対象画素の色相値を算出することを特徴とする。すなわち、請求項５に記載の発明では、赤色成分が存在して青色成分が欠落する補間対象画素の色相値は、補間対象画素の周囲の最近傍に位置する画素の青色成分を含む色相値の中央値によって算出される。

請求項６に記載の補間処理装置は、請求項１ないし請求項５の何れか１項に記載の補間処理装置において、補間対象画素に欠落する色成分が、縦横対称に配置された４画素のうち１画素のみに存在することを特徴とする。すなわち、請求項６に記載の発明では、斜め隣接画素の色相値が算出されている場合には、斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出し、縦横隣接画素の色相値が算出されている場合には、縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する。

請求項７に記載の補間処理プログラムを記録した記録媒体は、輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、色成分の存在する画素と色成分が欠落する画素との両方に輝度成分が存在する画像データに対し、色成分が欠落する画素に色成分を補う処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素の周囲の最近傍に位置して輝度成分と色成分とが存在する複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手順と、前記色相値算出手順で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手順と、補間対象画素に存在する輝度成分を用いて、前記色相値補間手順で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手順とをコンピュータに実行させ、前記色相値補間手順は、補間対象画素の斜め方向に隣接する４つの斜め隣接画素の色相値が前記色相値算出手順によって算出されている場合に、該４つの斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間手順と、補間対象画素の縦方向と横方向とに隣接する４つの縦横隣接画素の色相値が前記色相値算出手順または前記第１の色相値補間手順によって算出されている場合に、該４つの縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間手順とをコンピュータに実行させ、前記色相値の中央値は、４つの画素の色相値の値を大きさの順に並び替えて、中央の２つに位置する色相値の平均値によって求めることを特徴とする。すなわち、請求項７に記載の発明では、補間対象画素の色相値は、補間対象画素の周囲の最近傍に位置する複数の画素の色相値の中央値によって算出される。

請求項８に記載の補間処理プログラムを記録した記録媒体は、輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、１画素につき輝度成分と色成分との何れか一方が存在する画像データに対し、輝度成分が欠落する画素に輝度成分を補い色成分が欠落する画素に色成分を補う処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、「輝度成分の補間処理の対象となる輝度成分補間対象画素と輝度成分補間対象画素の周辺に位置する複数の画素との方向に関する類似性を少なくとも縦類似か横類似か縦横類似かを判断し、類似方向に存在する輝度成分の平均値によって補間対象画素の輝度成分を補間する補間手段」と「輝度成分補間対象画素の輝度成分を周囲の輝度成分の値の平均値によって求めるのみならず、輝度成分補間対象画素が属する局所的領域内の輝度成分以外の色成分をも用いて輝度成分を補間する補間手段」との少なくとも一方を利用して、輝度成分補間対象画素の輝度成分を補間する輝度成分補間手順と、色成分の補間処理の対象となる補間対象画素の周囲の最近傍に位置し、色成分が存在して前記輝度成分補間手順によって輝度成分が補間された複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手順と、前記色相値算出手順で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手順と、補間対象画素に存在する輝度成分を用いて、前記色相値補間手順で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手順とをコンピュータに実行させ、前記色相値補間手順は、補間対象画素の斜め方向に隣接する４つの斜め隣接画素の色相値が前記色相値算出手順によって算出されている場合に、該４つの斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間手順と、補間対象画素の縦方向と横方向とに隣接する４つの縦横隣接画素の色相値が前記色相値算出手順または前記第１の色相値補間手順によって算出されている場合に、該４つの縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間手順とをコンピュータに実行させ、前記色相値の中央値は、４つの画素の色相値の値を大きさの順に並び替えて、中央の２つに位置する色相値の平均値によって求めることを特徴とする。すなわち、請求項８に記載の発明では、補間対象画素の色相値は、補間対象画素の周囲の最近傍に位置する複数の画素の色相値の中央値によって算出される。

ここで、上記の発明に関連する発明（《１》〜《５》）を開示する。

《１》：請求項８に記載の補間処理プログラムを記録した記録媒体において、前記補間値算出手順は、補間対象画素および補間対象画素に対して予め決められた方向に位置する複数の画素に存在する複数の色成分の色情報を用い、各々の色成分別に該方向に対する色情報の傾きを求め、該色成分別の色情報の傾きの相関に応じて前記加重係数を算出することを特徴とする補間処理プログラムを記録した記録媒体。

《２》：請求項７または請求項８に記載の補間処理プログラムを記録した記録媒体において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手順は、補間対象画素に緑色成分が存在して赤色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の赤色成分を含む色相値の中央値によって補間対象画素の色相値を算出し、補間対象画素に緑色成分が存在して青色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の青色成分を含む色相値の中央値によって補間対象画素の色相値を算出することを特徴とする補間処理プログラムを記録した記録媒体。

《３》：請求項７または請求項８に記載の補間処理プログラムを記録した記録媒体において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手順は、補間対象画素に青色成分が存在して赤色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の赤色成分を含む色相値の中央値によって補間対象画素の色相値を算出することを特徴とする補間処理プログラムを記録した記録媒体。

《４》：請求項７または請求項８に記載の補間処理プログラムを記録した記録媒体において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手順は、補間対象画素に赤色成分が存在して青色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の青色成分を含む色相値の中央値によって補間対象画素の色相値を算出することを特徴とする補間処理プログラムを記録した記録媒体。

《５》：請求項７、請求項８、《２》、《３》、《４》の何れか１つに記載の補間処理プログラムを記録した記録媒体において、補間対象画素に欠落する色成分が、縦横対称に配置された４画素のうち１画素のみに存在する場合、前記色相値補間手順は、補間対象画素の斜め方向に隣接する複数の斜め隣接画素の色相値が前記色相値算出手順によって算出されている場合、該斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間部と、補間対象画素の縦方向と横方向とに隣接する複数の縦横隣接画素の色相値が前記色相値算出手順または前記第１の色相値補間部によって算出されている場合、該縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間部とを備えたことを特徴とする補間処理プログラムを記録した記録媒体。

本発明によれば、偽色の発生を抑制できる補間処理装置を提供すること、および、偽色の発生を抑制できる補間処理プログラムを記録した記録媒体を提供することが可能となる。

第１の実施形態ないし第５の実施形態に対応する電子カメラの機能ブロック図である。 第１の実施形態、第２の実施形態、第４の実施形態における画像データの色成分の配列を示す図である。 第３の実施形態および第５の実施形態における画像データの色成分の配列を示す図である。 第１の実施形態における補間処理部の動作フローチャート（１）である。 第１の実施形態における補間処理部の動作フローチャート（２）である。 類似度成分の加重加算を説明する図である。 (HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。 緑の補間値G[i,j]を算出する際に用いる色情報の位置を示す図である。 倍率色収差の影響が解消される様子を説明する図である。 従来のmedian処理を説明する図である。 第１の実施形態におけるmedian処理の動作を説明する図である。 第１の実施形態におけるmedian処理の範囲を説明する図である。 局所的な曲率情報を算出する際に用いる色情報の位置を示す図である。 局所的な曲率情報を算出する際に用いる色情報の位置を示す図（続き）である。 第４の実施形態における加重係数の役割を説明する図である。 第６の実施形態における機能ブロック図である。 従来の補間処理の例を説明する図である。 倍率色収差の影響を説明する図である。 倍率色収差による過補正を説明する図である。 色境界部分における過補正の影響を示す図である。

以下、図面に基づいて、本発明の実施形態について詳細を説明する。図１は、第１の実施形態ないし第５の実施形態に対応する電子カメラの機能ブロック図である。

図１において、電子カメラ１０は、制御部１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６を有する。また、画像処理部１５は、補間処理部（例えば、補間処理専用の１チップ・マイクロプロセッサ）１７を有する。さらに、撮像部１３は、ＲＧＢのカラーフィルタがベイア配列された撮像素子（図示省略）を有している。

なお、図１では、説明を簡単にするため、画像処理部１５内に補間処理部１７のみを記載しているが、画像処理部１５内には、例えば、階調変換処理など他の画像処理を行う機能ブロックが設けられても良い。図１において、制御部１１は、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６に接続される。また、撮影光学系１２で取得された光学像は、撮像部１３内の撮像素子に結像する。撮像部１３の出力は、Ａ／Ｄ変換部１４によって量子化され、画像データとして画像処理部１５に供給される。画像処理部１５に供給された画像データは、補間処理部１７によって補間処理が施され、必要に応じて画像圧縮を行ってから、記録部１６を介して記録される。補間処理により各色成分の解像度が高められた画像データは、最終的にディスプレイ、プリンタなど各接続機器に応じた表色系画像データとして出力される。

図２は、第１の実施形態、第２の実施形態、第４の実施形態における画像データの色成分の配列を示す図であり、図３は、第３の実施形態および第５の実施形態における画像データの色成分の配列を示す図である。なお、図２および図３では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、ｉ、ｊを用いて各々の色成分が存在する画素の位置を示している。

仮に、補間処理の対象となる補間対象画素の座標を[i,j]とすると、図２は、補間対象画素を中心とする７×７の画素の配列を示していることになり、図３は、補間対象画素を中心とする５×５の画素の配列を示していることになる。また、図２（１）および図３（１）は、赤色成分が存在する画素を補間対象画素とした場合の配列を示し、図２（２）および図３（２）は、青色成分が存在する画素を補間対象画素とした場合の配列を示す。

ところで、後述する各実施形態において、補間処理部１７は、緑色成分が欠落する画素に緑の補間値を補う補間処理（以下、「Ｇ補間処理」と称する。）を行った後に、赤色成分や青色成分が欠落する画素に赤の補間値や青の補間値を補う補間処理（以下、「ＲＢ補間処理」と称する。）を行う。ただし、青の補間値を補う補間処理（以下、「Ｂ補間処理」と称する。）は、赤の補間値を補う補間処理（以下、「Ｒ補間処理」と称する。）と同様に行えるため、説明を省略する。

また、以下では、説明を簡単にするため、座標[i,j]に位置する画素をＧ補間処理における補間対象画素とする。また、後述する各実施形態のＧ補間処理では、補間対象画素の色成分の種類（赤または青）に関係なく、緑の補間値を算出することができるため、図２および図３のＲおよびＢをＺに置き換えて、補間対象画素の色情報をZ[i,j]によって表現し、他の画素の色情報についても同様に表現する。

《第１の実施形態》
図４および図５は、第１の実施形態における補間処理部１７の動作フローチャートであるが、図４は、Ｇ補間処理における補間処理部１７の動作を示し、図５は、Ｒ補間処理における補間処理部１７の動作を示す。以下、第１の実施形態の動作を説明するが、ここでは、図４および図５を参照して補間処理部１７の動作を説明する。

まず、補間処理部１７は、緑色成分が欠落する画素を補間対象画素として、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する（図４Ｓ１）。ここで、第１の実施形態で行われる縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する処理の詳細を説明する。

まず、補間処理部１７は、以下の式１０〜式２１によって定義される縦方向および横方向に対する複数種類の類似度成分を算出する。

縦方向のGG間類似度成分：Cv1[i,j]=|G[i,j-1]-G[i,j+1]|・・・式１０
横方向のGG間類似度成分：Ch1[i,j]=|G[i-1,j]-G[i+1,j]|・・・式１１
縦方向のBB(RR)間類似度成分：Cv2[i,j]=(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+1,j-1]-Z[i+1,j+1]|)/2・・・式１２
横方向のBB(RR)間類似度成分：Ch2[i,j]=(|Z[i-1,j-1]-Z[i+1,j-1]|+|Z[i-1,j+1]-Z[i+1,j+1]|)/2・・・式１３
縦方向のRR(BB)間類似度成分：Cv3[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2・・・式１４
横方向のRR(BB)間類似度成分：Ch3[i,j]=(|Z[i-2,j]-Z[i,j]|+|Z[i+2,j]-Z[i,j]|)/2・・・式１５
縦方向のGR(GB)間類似度成分：Cv4[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2・・・式１６
横方向のGR(GB)間類似度成分：Ch4[i,j]=(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2・・・式１７
縦方向のBG(RG)間類似度成分：Cv5[i,j]=(|Z[i-1,j-1]-G[i-1,j]|+|Z[i-1,j+1]-G[i-1,j]|+|Z[i+1,j-1]-G[i+1,j]|+|Z[i+1,j+1]-G[i+1,j]|)/4・・・式１８
横方向のBG(RG)間類似度成分：Ch5[i,j]=(|Z[i-1,j-1]-G[i,j-1]|+|Z[i-1,j+1]-G[i,j+1]|+|Z[i+1,j-1]-G[i,j-1]|+|Z[i+1,j+1]-G[i,j+1]|)/4・・・式１９
縦方向の輝度間類似度成分：Cv6[i,j]=(|Y[i,j-1]-Y[i,j]|+|Y[i,j+1]-Y[i,j]|)/2・・・式２０
横方向の輝度間類似度成分：Ch6[i,j]=(|Y[i-1,j]-Y[i,j]|+|Y[i+1,j]-Y[i,j]|)/2・・・式２１
ただし、式２０および式２１において、Y[i,j]は、Y[i,j]=(4・A[i,j]+2・(A[i,j-1]+A[i,j+1]+A[i-1,j]+A[i+1,j])+A[i-1,j-1]+A[i-1,j+1]+A[i+1,j-1]+A[i+1,j+1])/16・・・式２２によって算出される値であり、補間対象画素の周辺に位置する周辺画素の色成分の色情報をR:G:B=1:2:1の比で平均化するフィルタリング処理で生成される輝度に相当する。なお、A[i,j]は、ベイア配列上の任意の色情報を表し、配置場所に応じてGまたはZの値をとる。

次に、補間処理部１７は、以下の式２３および式２４に示すようにして、加重係数a1,a2,a3,a4,a5,a6によって、複数種類の類似度成分を各々の方向毎に加重加算して、補間対象画素の縦方向の類似度Cv0[i,j]および横方向の類似度Ch0[i,j]を算出する。

Cv0[i,j]=(a1・Cv1[i,j]+a2・Cv2[i,j]+a3・Cv3[i,j]+a4・Cv4[i,j]+a5・Cv5[i,j]+a6・Cv6[i,j])/(a1+a2+a3+a4+a5+a6)・・・式２３
Ch0[i,j]=(a1・Ch1[i,j]+a2・Ch2[i,j]+a3・Ch3[i,j]+a4・Ch4[i,j]+a5・Ch5[i,j]+a6・Ch6[i,j])/(a1+a2+a3+a4+a5+a6)・・・式２４
なお、式２３および式２４において、加重係数a1,a2,a3,a4,a5,a6の比率としては、例えば、「a1:a2:a3:a4:a5:a6=2:1:1:4:4:12」などが考えられる。

ところで、第１の実施形態では、縦方向および横方向に対する類似度成分の算出および加重加算を、補間対象画素に対してだけでなく、補間対象画素の近傍に位置する周辺画素に対しても行って、さらに、類似度の算出精度の向上を図る。すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける類似度成分の加重加算の結果（Cv0[i,j]、Cv0[i-1,j-1]、Cv0[i-1,j+1]、Cv0[i+1,j-1]、Cv0[i+1,j+1]など）を、以下の《方法１》または《方法２》のように加重加算して、補間対象画素の縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する。

《方法１》
Cv[i,j]=(4・Cv0[i,j]+Cv0[i-1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j-1]+Cv0[i+1,j+1])/8・・・式２５
Ch[i,j]=(4・Ch0[i,j]+Ch0[i-1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j-1]+Ch0[i+1,j+1])/8・・・式２６
《方法２》
Cv[i,j]=(4・Cv0[i,j]+2・(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1]) +Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16・・・式２７
Ch[i,j]=(4・Ch0[i,j]+2・(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1]) +Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16・・・式２８
なお、《方法１》は、図６（１）に示すようにして補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当し、《方法２》は、図６（２）に示すようにして補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当する。

ところで、上述したGG間類似度成分、BB(RR)間類似度成分、RR(BB)間類似度成分のように、同じ色成分の色情報を用いて算出される類似度成分（以下、「同色間類似度成分」と称する。）は、空間周波数が低く彩色部分の多い画像に対する類似性の評価に適していることが実験によってわかっている。また、GR(GB)間類似度成分、BG(RG)間類似度成分のように、異なる色成分の色情報を用いて算出される類似度成分（以下、「異色間類似度成分」と称する。）は、空間周波数が高く無彩色部分が多い画像に対する類似性の評価に適していることが実験によってわかっている。さらに、輝度間類似度成分は、彩色部分と、ある程度まで空間周波数の高い部分とを擁する画像に対する類似性の評価に適していることが実験によってわかっている。

すなわち、同色間類似度成分、異色間類似度成分、輝度間類似度成分を加重加算して得られる類似度は、多様な画像に対して類似性の評価を高精度で行うことが可能である。

また、同色間類似度成分として算出される３種類の類似度成分（GG間類似度成分、BB(RR)間類似度成分、RR(BB)間類似度成分）は、類似性の評価に際して果たす役割を色成分同士で互いに補うことができ、異色間類似度成分として算出される２種類の類似度成分（GR(GB)間類似度成分、BG(RG)間類似度成分）も、類似性の評価に際して果たす役割を色成分同士で互いに補うことができる。

さらに、第１の実施形態では、補間対象画素における類似度成分の加重加算の結果と、周辺画素における類似度成分の加重加算の結果とを加重加算することによって、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]が算出される。そのため、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、補間対象画素と補間対象画素の近傍に位置する画素とにおける色情報の連続性が反映され易い。

特に、《方法２》によって算出される縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、広範囲に位置する画素の色成分の色情報が反映されるため、倍率色収差が大きい画像に対する類似性の評価に有効である。なお、第１の実施形態において、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、値が小さい程、類似性が強いことを示す。

補間処理部１７は、以上説明したようにして縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出すると、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]に基づき、補間対象画素の縦方向および横方向の類似性（以下、「縦横類似性」と称する。）を比較する（図４Ｓ２）。そして、このような比較結果として、縦横類似性を示す指標HV[i,j]に以下のような値を設定する。

例えば、補間処理部１７は、任意の閾値T1について、|Cv[i,j]-Ch[i,j]|＞T1かつCv[i,j]＜Ch[i,j]が成り立つ場合、横方向よりも縦方向の類似性が強いと判断して指標HV[i,j]に１を設定し（図４Ｓ３）、|Cv[i,j]-Ch[i,j]|＞T1かつCv[i,j]＞Ch[i,j]が成り立つ場合、縦方向よりも横方向の類似性が強いと判定して指標HV[i,j]に−１を設定し（図４Ｓ４）、|Cv[i,j]-Ch[i,j]|≦T1が成り立つ場合、縦横間で類似性に区別がつかないと判定して指標HV[i,j]に０を設定する（図４Ｓ５）。

なお、閾値T1は、縦方向の類似度Cv[i,j]と横方向の類似度Ch[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値T1の値を高く設定することによって、縦横類似性の判定の精度が高められる。次に、補間処理部１７は、補間対象画素における斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出する（図４Ｓ６）。

ここで、第１の実施形態で行われる斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出する処理の詳細を説明する。まず、補間処理部１７は、以下の式２９〜式３６によって定義される斜め45度方向および斜め135度方向に対する複数種類の類似度成分を算出する。

斜め45度方向のGG間類似度成分：C45_1[i,j]=(|G[i,j-1]-G[i-1,j]|+|G[i+1,j]-G[i,j+1]|)/2・・・式２９
斜め135度方向のGG間類似度成分：C135_1[i,j]=(|G[i,j-1]-G[i+1,j]|+|G[i-1,j]-G[i,j+1]|)/2・・・式３０
斜め45度方向のBB(RR)間類似度成分：C45_2[i,j]=|Z[i+1,j-1]-Z[i-1,j+1]|・・・式３１
斜め135度方向のBB(RR)間類似度成分：C135_2[i,j]=|Z[i-1,j-1]-Z[i+1,j+1]|・・・式３２
斜め45度方向のRR(BB)間類似度成分：C45_3[i,j]=(|Z[i+2,j-2]-Z[i,j]|+|Z[i-2,j+2]-Z[i,j]|)/2・・・式３３
斜め135度方向のRR(BB)間類似度成分：C135_3[i,j]=(|Z[i-2,j-2]-Z[i,j]|+|Z[i+2,j+2]-Z[i,j]|)/2・・・式３４
斜め45度方向のBR(RB)間類似度成分：C45_4[i,j]=(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2・・・式３５
斜め135度方向のBR(RB)間類似度成分：C135_4[i,j]=(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2・・・式３６
次に、補間処理部１７は、以下の式３７および式３８のように、加重係数b1,b2,b3,b4によって、複数種類の類似度成分を各々の方向毎に加重加算して、補間対象画素の斜め45度方向の類似度C45_0[i,j]および斜め135度方向の類似度C135_0[i,j]を算出する。

C45_0[i,j]=(b1・C45_1[i,j]+b2・C45_2[i,j]+b3・C45_3[i,j]+b4・C45_4[i,j])/(b1+b2+b3+b4)・・・式３７
C135_0[i,j]=(b1・C135_1[i,j]+b2・C135_2[i,j]+b3・C135_3[i,j]+b4・C135_4[i,j])/(b1+b2+b3+b4)・・・式３８
なお、式３７および式３８において、加重係数b1,b2,b3,b4の比率としては、例えば、「b1:b2:b3:b4=2:1:1:2」などが考えられる。

ところで、第１の実施形態では、斜め45度方向および斜め135度方向に対する類似度成分の算出および加重加算を、補間対象画素に対してだけでなく周辺画素に対しても行って、さらに、類似度の算出精度の向上を図る。すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける類似度成分の加重加算の結果（C45_0[i,j]、C45_0[i-1,j-1]、C45_0[i-1,j+1]、C45_0[i+1,j-1]、C45_0[i+1,j+1]など）を、以下の《方法１》または《方法２》のように加重加算して、補間対象画素の斜め45度方向の類似度Cv[i,j]および斜め135度方向の類似度Ch[i,j]を算出する（図６（１）、（２）に示すように補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当する）。

《方法１》
C45[i,j]=(4・C45_0[i,j]+C45_0[i-1,j-1]+C45_0[i+1,j-1]+C45_0[i-1,j+1]+C45_0[i+1,j+1])/8・・・式３９
C135[i,j]=(4・C135_0[i,j]+C135_0[i-1,j-1]+C135_0[i+1,j-1]+C135_0[i-1,j+1]+C135_0[i+1,j+1])/8・・・式４０
《方法２》
C45[i,j]=(4・C45_0[i,j]+2・(C45_0[i-1,j-1]+C45_0[i+1,j-1]+C45_0[i-1,j+1]+C45_0[i+1,j+1])+C45_0[i,j-2]+C45_0[i,j+2]+C45_0[i-2,j]+C45_0[i+2,j])/16・・・式４１
C135[i,j]=(4・C135_0[i,j]+2・(C135_0[i-1,j-1]+C135_0[i+1,j-1]+C135_0[i-1,j+1] +C135_0[i+1,j+1])+C135_0[i,j-2]+C135_0[i,j+2]+C135_0[i-2,j]+C135_0[i+2,j])/16・・・式４２
なお、このようにして算出される斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]において、複数種類の類似度成分の加重加算や周辺画素に関する類似度の考慮は、上述した縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]と同様の役割を果たす。また、第１の実施形態において、斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]は、値が小さい程、類似性が強いことを示す。

補間処理部１７は、斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出すると、斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]に基づき、補間対象画素の斜め45度方向および斜め135度方向の類似性（以下、「斜め類似性」と称する。）を比較する（図４Ｓ７）。そして、このような比較結果として、斜め類似性を示す指標DN[i,j]に以下のような値を設定する。

例えば、補間処理部１７は、任意の閾値T2について、|C45[i,j]-C135[i,j]|＞T2かつC45[i,j]＜C135[i,j]が成り立つ場合、斜め135度方向よりも斜め45度方向の類似性が強いと判定して指標DN[i,j]に１を設定し（図４Ｓ８）、|C45[i,j]-C135[i,j]|＞T2かつC45[i,j]＞C135[i,j]が成り立つ場合、斜め45度方向よりも斜め135度方向の類似性が強いと判定して指標DN[i,j]に−１を設定し（図４Ｓ９）、|C45[i,j]-C135[i,j]|≦T2が成り立つ場合、斜め方向間で類似性に区別がつかないと判定して指標DN[i,j]に０を設定する（図４Ｓ１０）。

なお、閾値T2は、上述した閾値T1と同様に、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。次に、補間処理部１７は、縦横類似性を示す指標HV[i,j]と斜め類似性を示す指標DN[i,j]とが如何なる値であるかを判定して（図４Ｓ１１）、補間対象画素の類似性の強さを、以下のcase1〜case9の何れかに分類する。

case1:(HV[i,j],DN[i,j])=(1,1):縦および斜め45度方向の類似性が強い。

case2:(HV[i,j],DN[i,j])=(1,0):縦方向の類似性が強い。

case3:(HV[i,j],DN[i,j])=(1,-1):縦および斜め135度方向の類似性が強い。

case4:(HV[i,j],DN[i,j])=(0,1):斜め45度方向の類似性が強い。

case5:(HV[i,j],DN[i,j])=(0,0):全ての方向の類似性が強い、または、全ての方向の類似性が弱い。

case6:(HV[i,j],DN[i,j])=(0,-1):斜め135度方向の類似性が強い。

case7:(HV[i,j],DN[i,j])=(-1,1):横および斜め45度方向の類似性が強い。

case8:(HV[i,j],DN[i,j])=(-1,0):横方向の類似性が強い。

case9:(HV[i,j],DN[i,j])=(-1,-1):横および斜め135度方向の類似性が強い。

図７は、(HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。

ところで、図７では、「case5:(HV[i,j],DN[i,j])=(0,0)」に対応する表示がされていないが、case5のように、全ての方向の類似性が強い、または、全ての方向の類似性が弱い場合とは、補間対象画素が平坦部に属している、または、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）であることに相当する。

次に、補間処理部１７は、上述した判定結果に応じて、以下のようにして緑の補間値G[i,j]を算出する。

case1のとき、G[i,j]=Gv45[i,j]:図４Ｓ１２
case2のとき、G[i,j]=Gv[i,j]:図４Ｓ１３
case3のとき、G[i,j]=Gv135[i,j]:図４Ｓ１４
case4のとき、G[i,j]=(Gv45[i,j]+Gh45[i,j])/2:図４Ｓ１５
case5のとき、G[i,j]=(Gv[i,j]+Gh[i,j])/2:図４Ｓ１６
case6のとき、G[i,j]=(Gv135[i,j]+Gh135[i,j])/2:図４Ｓ１７
case7のとき、G[i,j]=Gh45[i,j]:図４Ｓ１８
case8のとき、G[i,j]=Gh[i,j]:図４Ｓ１９
case9のとき、G[i,j]=Gh135[i,j]:図４Ｓ２０
ただし、
Gv[i,j]=(G[i,j-1]+G[i,j+1])/2+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8+(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2]+2・G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/16・・・式４３
Gv45[i,j]=(G[i,j-1]+G[i,j+1])/2+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8+(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3]+2・Z[i+1,j-1]-Z[i+1,j-3]-Z[i+1,j+1])/16・・・式４４
Gv135[i,j]=(G[i,j-1]+G[i,j+1])/2+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/8+(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1]+2・Z[i+1,j+1]-Z[i+1,j-1]-Z[i+1,j+3])/16・・・式４５
Gh[i,j]=(G[i-1,j]+G[i+1,j])/2+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8+(2・G[i,j-1]-G[i-2,j-1]-G[i+2,j-1]+2・G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/16・・・式４６
Gh45[i,j]=(G[i-1,j]+G[i+1,j])/2+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8+(2・Z[i+1,j-1]-Z[i-1,j-1]-Z[i+3,j-1]+2・Z[i-1,j+1]-Z[i-3,j+1]-Z[i+1,j+1])/16・・・式４７
Gh135[i,j]=(G[i-1,j]+G[i+1,j])/2+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8+(2・Z[i-1,j-1]-Z[i-3,j-1]-Z[i+1,j-1]+2・Z[i+1,j+1]-Z[i-1,j+1]-Z[i+3,j+1])/16・・・式４８である。

図８は、緑の補間値G[i,j]を算出する際に用いる色情報の位置を示す図である。図８において、○印が付与された画素の色情報は、緑の補間値G[i,j]を構成する曲率情報に寄与する色情報である。ところで、式４３〜式４８において、第１項は「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は「補間対象画素と同一の色成分による局所的な曲率情報」であり、第３項は「補間対象画素と異なる色成分による局所的な曲率情報」である。

ここで、Gv45[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、縦方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、Gv135[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、縦方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、Gh45[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、横方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、Gh135[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、横方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。

また、Gv[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」と「補間対象画素と異なる色成分による局所的な曲率情報」とは、共に縦方向に方向性を有する局所的な曲率情報であり、Gh[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」と「補間対象画素と異なる色成分による局所的な曲率情報」とは、共に横方向に方向性を有する局所的な曲率情報である。

すなわち、第１の実施形態では、緑色成分の局所的な平均情報を、「補間対象画素と同一の色成分による局所的な曲率情報」および「補間対象画素と異なる色成分による局所的な曲率情報」によって補正している。例えば、斜め方向の類似性が強く、Gv45[i,j]、Gv135[i,j]、Gh45[i,j]、Gh135[i,j]を用いて緑の補間値を算出する場合（case1、case3、case4、case6、case7、case9）には、互いに逆位相を示す赤色成分の局所的な曲率情報と青色成分の局所的な曲率情報とによって、緑色成分の局所的な平均情報（主要項）が補正されることになる。

すなわち、図９（１）（図１８（２）、（３）を重ね合わせた図に相当する）のように、倍率色収差によって、赤色成分の色情報と青色成分の色情報とが緑色成分に対してずれている場合であっても、主要項は、図９（２）のように、赤色成分の色情報と青色成分の色情報との平均的な変化量に応じて補正される。そのため、第１の実施形態では、撮影光学系１２に倍率色収差が存在している場合であっても、所望の画素に対する主要項を補正することが可能であり、上述した特許文献１に開示されたＧ補間処理で生じるovershootとundershootとが打ち消し合うことになる。したがって、第１の実施形態によれば、過補正による偽色の発生を低減することができる。

なお、overshootは、赤色成分の色情報による主要項の補正時だけでなく、青色成分の色情報による主要項の補正時にも生じる可能性があるが、第１の実施形態において、各々の色成分に対応するovershootの値は、平均化されるので、特許文献１に開示されたＧ補間処理で生じるovershootの値を超えることはない。また、undershootが、青色成分の色情報による主要項の補正時および赤色成分の色情報による主要項の補正時に生じても、第１の実施形態で生じるundershootの値は、特許文献１に開示されたＧ補間処理で生じるundershootの値を超えることはない。

ところで、第１の実施形態では、Ｇ補間処理の対象となる画像データが図２に示すようにベイア配列されており、赤色成分の色情報と青色成分の色情報とが互いに斜め方向に位置するため、例えば、補間対象画素に青色成分の色情報が存在する場合、主要項を補正すべき赤色成分の局所的な曲率情報は、補間対象画素との類似性が強い斜め方向に位置する赤色成分の色情報によって算出される。また、緑色の補間値は、式４４におけるZ[i-1,j+3]、Z[i+1,j-3]や式４５におけるZ[i-1,j-3]、Z[i+1,j+3]や式４７におけるZ[i+3,j-1]、Z[i-3,j+1]や式４８におけるZ[i-3,j-1]、Z[i+3,j+1]のように、補間対象画素から離れた斜め方向に位置する画素の色情報を用いて算出される。

そのため、第１の実施形態におけるＧ補間処理では、高精度の斜め類似性の判定が要求されるが、補間処理部１７は、斜め45度方向および斜め135度方向に対する複数種類の類似度成分を算出する際に、複数の色情報を用いることによって、高精度の斜め類似性の判定を可能にしている。すなわち、第１の実施形態では、高精度の斜め類似性の判定により、Ｇ補間処理の精度が高められる。

また、縦方向や横方向の類似性が強く、Gv[i,j]やGh[i,j]を用いて緑の補間値を算出する場合（case2、case8）には、「補間対象画素と異なる色成分による局所的な曲率情報」として緑色成分の局所的な曲率情報が用いられ、緑色成分の局所的な平均情報は、赤色成分または青色成分の局所的な曲率情報と緑色成分の局所的な曲率情報とによって補正されることになる。

一般に、倍率色収差の影響としては、赤色成分と緑色成分とのずれ量が大きく、青色成分と緑色成分とのずれ量が小さいことが多い。そのため、補間対象画素に赤色成分の色情報が存在する場合、緑色成分の局所的な曲率情報は、赤色成分の局所的な曲率情報の逆位相の成分として作用し、過補正による偽色の発生を低減することができる。また、補間対象画素に青色成分の色情報が存在する場合、倍率色収差の影響が少ないので、過補正による偽色が発生し難い。

以下、ＲＢ補間処理の動作を説明するが、ここでは、従来から行われているＲＢ補間処理を説明した後、第１の実施形態におけるＲＢ補間処理のうち、図５に示したＲ補間処理を説明する（Ｂ補間処理の説明は省略する）。まず、従来から行われているＲＢ補間処理としては、色差空間における線形補間処理が知られており、全ての画素の色差（赤色成分（または、青色成分）の色情報から緑色成分の色情報を減算した値）を算出した後に、補間対象画素毎に、以下の（１）〜（３）の何れかの処理を行って、補間値が算出される。

（１）補間対象画素に欠落する色成分が、補間対象画素の上下方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。

（２）補間対象画素に欠落する色成分が、補間対象画素の左右方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。

（３）補間対象画素に欠落する色成分が、補間対象画素の斜め方向に隣接する４つの画素に存在する場合、それらの４つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。また、色差空間における線形処理に比べて偽色の抑制効果が高い非線形のmedian処理を導入した補間処理も従来から行われている。

特許文献１に開示された技術では、ＲＧＢ、ＹＵＶ、ＹＣｂＣｒなどの何れかの表色系で示されるビデオ信号に対して１／４の解像度の間引き圧縮を行って伝送容量を削減するが、このとき消失した間引き画素の３成分データを補間して元の解像度と同じビデオ信号に戻す際に、非線形のmedian処理が導入されている。例えば、ビデオ信号がＹＣｂＣｒ表色系で示されている場合、図１０において○印、△印、×印が付与された間引き画素の輝度成分Ｙの補間値と色成分Ｃｂ、Ｃｒの補間値とが、全く同一の演算処理によって算出される。なお、エッジ部分の構造を残すため、×印が付与された画素だけは近接する４つの画素のmedian値（中央値）で補間され、○印が付与された画素は横方向に隣接する画素の平均値で補間され、△印が付与された画素は縦方向に隣接する画素の平均値で補間される。

しかし、このようにして行われる補間処理は、動画像における画質レベルの回復には都合が良いが、高精細が要求される静止画像には適さない。すなわち、特許文献１に開示された技術では、輝度成分Ｙと色成分Ｃｒ、Ｃｂを全く同一に扱っているため、解像を担う輝度成分Ｙの補間値の精度が極めて低い。また、輝度成分Ｙをmedian値で補間するため、画像の構造が破壊される可能性が高く、ＲＧＢ表色系に変換した場合に偽色が拡大するおそれもある。

ところで、ＲＧＢのカラーフィルタがベイア配列された撮像素子によって、静止画像を生成する電子カメラでは、上述したような補間対象画素と周辺画素との類似性を利用したり、複数の色成分を利用して補間値を算出することによって、空間周波数の高い輝度成分に相当する緑色成分の補間処理（Ｇ補間処理）を極めて高精度に行うことが可能にある。このような電子カメラでは、画像データの高周波情報が最も反映され易い緑色成分の補間処理を高精細に行ってから、赤色成分と青色成分との補間処理を緑色成分に対する色差空間における線形補間で実現することによって、画像データの高周波情報を赤色成分や青色成分に反映させて、偽色の低減を図っている。

例えば、各画素の色情報が[R1,G2,R3]の順で一次元に配列されている場合、赤の補間値は、R2=(R1+R3)/2+(2・G2-G1-G3)/2・・・式４９によって算出される。ただし、G2は原画像の緑色成分の色情報を示し、G1,G3はＧ補間処理によって得られた緑の補間値を示す。

ところが、このようなＲＢ補間処理では、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）の周辺に偽色が残るという問題が生じる。従来、この種の偽色を除去するため、Ｇ補間処理およびＲＢ補間処理が行われた後に、画像データをＬａｂ表色系に変換して得られる色相ａ，ｂ面に対して個別にmedianフィルタを掛けるという事後処理が良く用いられる。

しかし、このようなmedianフィルタを掛ける場合、３×３（＝９点）のフィルタサイズでは、ほとんど有効に作用しないため、フィルタサイズを５×５（＝２５点）の広域に設定する必要がある。すなわち、上述した電子カメラでは、静止画像の赤色成分および青色成分の補間処理において、従来の方法によるＲＢ補間処理とmedian処理との２度手間を強いられるばかりでなく、median処理におけるフィルタサイズを大きくする必要があるため、非常に重い処理が課せられる。また、median処理におけるフィルタサイズを大きくすることによって、彩色部分の細かい構造（以下、「色構造」と称する）を破壊する危険性も高くなる。

そこで、第１の実施形態では、孤立点の周辺に偽色を残すことなく、色構造を破壊せずに、赤や青の補間値を高速かつ高精度で算出できるＲＢ補間処理を提示する。ただし、以下では、このようなＲＢ補間処理のうち、Ｒ補間処理のみを図５を参照して説明する。

まず、補間処理部１７は、赤色成分の色情報が存在する画素毎に、赤色成分の色情報から緑の補間値（上述したＧ補間処理によって得られた値）を減算し、赤色成分を含む色差を算出する（図５Ｓ１）。例えば、補間処理部１７は、赤色成分の色情報が存在する任意の座標[i,j]に位置する画素における赤色成分を含む色差Cr[i,j]を、Cr[i,j]=R[i,j]-G[i,j]・・・式５０によって算出する。

なお、第１の実施形態において、このようにして赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分の色情報が欠落して青色成分の色情報が存在する画素を斜め４方向から囲むように配置されることになる。補間処理部１７は、赤色成分を含む色差によって斜め４方向が囲まれる画素（第１の実施形態では、赤色成分の色情報が欠落して青色成分の色情報が存在する画素に相当する）毎に、赤色成分を含む色差を、斜め方向に位置する画素における赤色成分を含む色差の中央値で補間する（図５Ｓ２）。

すなわち、第１の実施形態において、補間処理部１７は、図１１（１）に示すように、赤色成分を含む色差によって斜め４方向が囲まれる任意の座標[m,n]に位置する画素の色差Cr[m,n]を、Cr[m,n]=median｛Cr[m-1,n-1],Cr[m+1,n-1],Cr[m-1,n+1],Cr[m+1,n+1]｝・・・式５１によって算出する。ただし、median｛ ｝は、複数の要素のmedian値を算出する関数を示し、要素の数が偶数である場合、真ん中２つの要素の平均値をとるものとする。

ところで、第１の実施形態において、式５０および式５１によって赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分および青色成分の色情報が欠落する画素を上下左右４方向から囲むように配置されることになる。

補間処理部１７は、赤色成分を含む色差によって上下左右４方向が囲まれる画素（第１の実施形態では、赤色成分および青色成分の色情報が欠落する画素に相当する）毎に、赤色成分を含む色差を、上下左右方向に位置する画素における赤色成分を含む色差の中央値で補間する（図５Ｓ３）。すなわち、第１の実施形態において、補間処理部１７は、図１１（２）に示すように、赤色成分を含む色差によって上下左右４方向が囲まれる任意の座標[m,n]に位置する画素の色差Cr[m,n]を、Cr[m,n]=median｛Cr[m,n-1],Cr[m-1,n],Cr[m+1,n],Cr[m,n+1]｝・・・式５２によって算出する。

次に、補間処理部１７は、赤色成分の色情報が欠落する画素毎に、式５１や式５２によって算出した赤色成分を含む色差を、緑色成分の色情報（緑色の補間値であっても良い）によって赤の補間値に変換する（図５Ｓ４）。すなわち、補間処理部１７は、任意の座標[m,n]に位置する画素の赤の補間値R[m,n]を、R[m,n]=Cr[m,n]+G[m,n]・・・式５３によって算出する。

以上説明したmedian処理は、色相を表す色差に対してのみ行われ、輝度成分に対しては行われない。また、Ｒ補間処理において、図１２（１）の○印が付与された画素が補間対象画素である場合、３×５の範囲に位置する色差Crを用いて×印が付与された画素における赤色成分を含む色差が算出されるので、○印が付与された画素における赤色成分を含む色差は、３×５の範囲に位置する色差Crに重み付けをしてmedian処理を行った結果に近い値を示す。また、図１２（２）の△印が付与された画素が補間対象画素である場合、５×３の範囲に位置する色差Crを用いて×印が付与された画素における赤色成分を含む色差が算出されるので、△印が付与された画素における赤色成分を含む色差は、５×３の範囲に位置する色差Crに重み付けをしてmedian処理を行った結果に近い値を示す。

すなわち、第１の実施形態では、フィルタサイズを小さく抑えつつ、実質的には広域なmedian処理と同等の効果が得られる。そのため、第１の実施形態によれば、色構造を破壊することなく、孤立点の周辺における偽色の発生を低減することができる。そのため、特許文献１に開示された技術と比べて、偽色を低減する効果が非常に大きい。

また、第１の実施形態では、図５Ｓ２と図５Ｓ３との各々のmedian処理において、４点の色差のみを用いるため、処理効率が良く、非常に高速なmedian処理が可能である。なお、第１の実施形態では、Ｇ補間処理を行った後にＲＢ補間処理を行っているが、ＹＣｂＣｒの表色系で示されてＹ、Ｃｂ、Ｃｒが４:１:１に間引かれた画像データでは、輝度成分Ｙが完全な状態として残っているので、Ｇ補間処理を行うことなく本実施形態と同様のＲＢ補間処理を行うことができる。

《第２の実施形態》
以下、第２の実施形態の動作を説明する。なお、第２の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。以下、Ｇ補間処理について説明するが、第１の実施形態と同じ動作については、説明を省略する。なお、第２の実施形態におけるＧ補間処理と第１の実施形態におけるＧ補間処理との相違点は、緑の補間値G[i,j]を算出する際に用いるGv[i,j]、Gv45[i,j]、Gv135[i,j]、Gh[i,j]、Gh45[i,j]、Gh135[i,j]の値が異なる点である。そのため、第２の実施形態では、Ｇ補間処理における補間処理部１７の動作フローチャートの図示を省略する。また、以下では、図２（１）のように、赤色成分が存在する画素を補間対象画素とした場合を想定して説明を行うが、第２の実施形態は、図２（２）のように、青色成分が存在する画素を補間対象画素とした場合でも適用できる。

補間処理部１７は、第１の実施形態と同様にして補間対象画素の類似性の強さを判定し（図４Ｓ１〜Ｓ１１に相当する）、補間対象画素の類似性の強さを上述したcase1〜case9の何れかに分類する。そして、補間処理部１７は、以下のようにして緑の補間値G[i,j]を算出する。

case1のとき、G[i,j]=Gv45[i,j]
case2のとき、G[i,j]=Gv[i,j]
case3のとき、G[i,j]=Gv135[i,j]
case4のとき、G[i,j]=(Gv45[i,j]+Gh45[i,j])/2
case5のとき、G[i,j]=(Gv[i,j]+Gh[i,j])/2
case6のとき、G[i,j]=(Gv135[i,j]+Gh135[i,j])/2
case7のとき、G[i,j]=Gh45[i,j]
case8のとき、G[i,j]=Gh[i,j]
case9のとき、G[i,j]=Gh135[i,j]
ただし、
Gv[i,j]=gv[i,j]+βred・δRv[i,j]+βgreen・δGv[i,j]・・・式５４
Gv45[i,j]=gv[i,j]+αred・δRv45[i,j]+αgreen・δGv[i,j]+αblue・δBv45[i,j]・・・式５５
Gv135[i,j]=gv[i,j]+αred・δRv135[i,j]+αgreen・δGv[i,j]+αblue・δBv135[i,j]・・・式５６
Gh[i,j]=gh[i,j]+βred・δRh[i,j]+βgreen・δGh[i,j]・・・式５７
Gh45[i,j]=gh[i,j]+αred・δRh45[i,j]+αgreen・δGh[i,j]+αblue・δBh45[i,j]・・・式５８
Gh135[i,j]=gh[i,j]+αred・δRh135[i,j]+αgreen・δGh[i,j]+αblue・δBh135[i,j]・・・式５９である。

また、式５４〜式５９において、αred,αgreen,αblue,βred,βgreenは、０または正の定数であり、αred+αgreen+αblue=1,βred+βgreen=1を満たし、gv[i,j],gh[i,j]は、「緑色成分の局所的な平均情報」に対応する項であり、式１や式２の主要項に対応し、δRv45[i,j],δRv[i,j],δRv135[i,j],δRh45[i,j],δRh[i,j],δRh135[i,j],δGv[i,j],δGh[i,j],δBv45[i,j],δBv135[i,j],δBh45[i,j],δBh135[i,j]は、各々の色成分の局所的な曲率情報に対応する項である。

なお、このような緑色成分の局所的な平均情報および各色成分の局所的な曲率情報は、類似方向に応じて、以下のように算出される。

《緑色成分の局所的な平均情報》
gv[i,j]=(G[i,j-1]+G[i,j+1])/2・・・式６０
gh[i,j]=(G[i-1,j]+G[i+1,j])/2・・・式６１
《赤色成分の局所的な曲率情報》
δRv45[i,j]=kr1(2・Z[i-2,j+2]-Z[i-2,j]-Z[i-2,j+4])/4+kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4+kr3(2・Z[i+2,j-2]-Z[i+2,j-4]-Z[i+2,j])/4・・・式６２
δRv[i,j]=kr1(2・Z[i-2,j]-Z[i-2,j-2]-Z[i-2,j+2])/4+kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4+kr3(2・Z[i+2,j]-Z[i+2,j-2]-Z[i+2,j+2])/4・・・式６３
δRv135[i,j]=kr1(2・Z[i-2,j-2]-Z[i-2,j-4]-Z[i-2,j])/4+kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4+kr3(2・Z[i+2,j+2]-Z[i+2,j]-Z[i+2,j+4])/4・・・式６４
δRh45[i,j]=kr1(2・Z[i+2,j-2]-Z[i,j-2]-Z[i+4,j-2])/4+kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4+kr3(2・Z[i-2,j+2]-Z[i-4,j+2]-Z[i,j+2])/4・・・式６５
δRh[i,j]=kr1(2・Z[i,j-2]-Z[i-2,j-2]-Z[i+2,j-2])/4+kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4+kr3(2・Z[i,j+2]-Z[i-2,j+2]-Z[i+2,j+2])/4・・・式６６
δRh135[i,j]=kr1(2・Z[i-2,j-2]-Z[i-4,j-2]-Z[i,j-2])/4+kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4+kr3(2・Z[i+2,j+2]-Z[i,j+2]-Z[i+4,j+2])/4・・・式６７
ただし、kr1,kr2,kr3は、０または正の定数であり、kr1+kr2+kr3=1を満たす。

《緑色成分の局所的な曲率情報》
δGv[i,j]=(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2]+2・G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/8・・・式６８
δGh[i,j]=(2・G[i,j-1]-G[i-2,j-1]-G[i+2,j-1]+2・G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/8・・・式６９
《青色成分の局所的な曲率情報》
δBv45[i,j]=(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3]+2・Z[i+1,j-1]-Z[i+1,j-3]-Z[i+1,j+1])/8・・・式７０
δBv135[i,j]=(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1]+2・Z[i+1,j+1]-Z[i+1,j-1]-Z[i+1,j+3])/8・・・式７１
δBh45[i,j]=(2・Z[i+1,j-1]-Z[i-1,j-1]-Z[i+3,j-1]+2・Z[i-1,j+1]-Z[i-3,j+1]-Z[i+1,j+1])/8・・・式７２
δBh135[i,j]=(2・Z[i-1,j-1]-Z[i-3,j-1]-Z[i+1,j-1]+2・Z[i+1,j+1]-Z[i-1,j+1]-Z[i+3,j+1])/8・・・式７３
なお、図１３および図１４は、各色成分の局所的な曲率情報を算出する際に用いる色情報の位置を示す図である。すなわち、各色成分の局所的な曲率情報は、図１３および図１４の楕円で囲まれる領域に属する画素における色情報を用いて算出した曲率情報の成分を加重加算して得られることになる。

すなわち、δRv45[i,j]は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δRv[i,j]は、縦方向に方向性を有する局所的な曲率情報であり、δRv135[i,j]は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、δRh45[i,j]は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δRh[i,j]は、横方向に方向性を有する局所的な曲率情報であり、δRh135[i,j]は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。

また、δGv[i,j]は、縦方向に方向性を有する局所的な曲率情報であり、δGh[i,j]は、横方向に方向性を有する局所的な曲率情報である。さらに、δBv45[i,j]は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δBv135[i,j]は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、δBh45[i,j]は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δBh135[i,j]は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。

ところで、第２の実施形態の式５４〜式５９および式６２〜式６７において、上述した第１の実施形態は、係数の比率をαred:αgreen:αblue=1:0:1、βred:βgreen=1:1、kr1:kr2:kr3=0:1:0に設定した場合に相当する。第２の実施形態では、このような係数の比率を様々な値に設定することによって、特徴や効果が異なるＧ補間処理を実現することができる。以下、係数の比率の代表例と、各々の代表例の特徴や効果を示す。

《代表例１》
αred:αgreen:αblue=1:0:1、βred:βgreen=1:1、kr1:kr2:kr3=1:6:1このような設定は、第１の実施形態に対し、赤色成分の局所的な曲率情報の算出方法を変更することを意味し、第１の実施形態に比べ、より広範囲から抽出した赤色成分の局所的な曲率情報に、緩いローパスフィルタを方向性を考慮して適応的に掛けることに相当する。そのため、代表例１の設定によれば、第１の実施形態に対し、全体としての過補正の低減効果が高められる。

《代表例２》
αred:αgreen:αblue=1:1:0、βred:βgreen=1:1、kr1:kr2:kr3=0:1:0このような設定は、第１の実施形態において、斜め方向に類似性がある場合に赤色成分の局所的は曲率情報による過補正を防ぐ役割を果たす青色成分の局所的な曲率情報を、全て緑色成分の局所的な曲率情報で代用することに相当する。そのため、代表例２の設定によれば、斜め方向に関する類似性の判定が不要となるので、アルゴリズムが簡略化され、かつ、過補正を防ぎつつも、十分なレベルの構造情報の抽出を達成することができる。

《代表例３》
αred:αgreen:αblue=0:1:0、βred:βgreen=0:1、kr1:kr2:kr3=設定不要このような設定は、代表例２の設定において、赤色成分の過補正を防ぐ役割を果たした緑色成分の局所的な曲率情報を逆に補正項の中心的役割とすることに相当する。このように、補正項を緑色成分の曲率情報だけで構成しても、構造情報の抽出が可能である。これは、緑色成分の曲率情報にも、中心を通る赤色成分の曲率情報に相当する構造情報が多く含まれていることを意味する。また、代表例３の設定は、主要項を構成する緑色成分の平均情報と同じ色成分による局所的な曲率情報で補正することに相当する。したがって、代表例３の設定によれば、過補正を生じることがなく、代表例２の設定と同様に、斜め方向に関する類似性の判定が不要となるので、アルゴリズムの簡略化が可能である。

《代表例４》
αred:αgreen:αblue=0:0:1、βred:βgreen=0:1、kr1:kr2:kr3=設定不要このような設定は、代表例２と代表例３との関係と同様に、第１の実施形態に対しても、赤色成分の局所的な曲率情報の過補正を防ぐ役割を果たしていた色成分の曲率情報を逆に補正項の中心的役割として設定することに相当する。代表例４の設定によれば、青色成分の局所的な曲率情報による過補正を防ぐことはできないが、局所的な構造情報の抽出に関しては、第１の実施形態と同程度の効果が得られる。

《代表例５》
αred:αgreen:αblue=1:1:1、βred:βgreen=1:1、kr1:kr2:kr3=1:0:1このような設定は、代表例４の設定における過補正の対策として、中心を通る赤色成分の局所的な曲率情報を用いない場合であっても、有効な係数の比率の例を示している。代表例５の設定によれば、代表例３の設定と代表例４の設定と同様に、局所的な構造情報を抽出する効果を得つつ、斜め方向に類似性がある場合の青色成分の局所的な曲率情報による過補正を周辺で構成される赤色成分の局所的な曲率情報で低減することができる。

《第３の実施形態》
以下、第３の実施形態の動作を説明する。なお、第３の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。ただし、第３の実施形態では、上述した式５１によって、緑色成分の色情報が存在する画素（Ｇのカラーフィルタが配された画素に対応する）の一部に対して赤色成分を含む色差が補間され、緑色成分の色情報が存在する残りの画素と青色成分が存在する画素とに対する赤色成分を含む色差が式５２によって補間されることになる。

以下、Ｇ補間処理について説明する。第３の実施形態では、図３に示すように、Ｇ補間処理の対象となる画素の横方向に、最近接の緑色成分（最も近接する緑色成分）が存在する画素が位置するため、Ｇ補間処理において、第１の実施形態で行われる類似度の算出や類似方向の判定は不要である。ただし、第２近接の緑色成分（２番目に近接する緑色成分）が存在する斜め45度方向、斜め135度方向等に対して、類似度の算出や類似方向の判定を行っても良い。

第３の実施形態において、補間処理部１７は、図３に示すように配列された画像データに基づき、以下の式７４によって、緑の補間値G[i,j]を算出する。

G[i,j]=(G[i-1,j]+G[i+1,j])/2+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8+(2・Z[i,j-1]-Z[i-2,j-1]-Z[i+2,j-1]+2・Z[i,j+1]-Z[i-2,j+1]-Z[i+2,j+1])/16・・・式７４
ところで、式７４において、第１項は「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は「補間対象画素と同一の色成分による局所的な曲率情報」であり、第３項は「補間対象画素と異なる色成分による局所的な曲率情報」であるが、補間対象画素に赤色成分の色情報が存在する場合（図３（１））、第３項は、「青色成分の局所的な曲率情報」であり、補間対象画素に青色成分の色情報が存在する場合（図３（２））、第３項は、「赤色成分の局所的な曲率情報」である。

すなわち、第３の実施形態では、互いに逆位相を示す赤色成分の局所的な曲率情報と青色成分の局所的な曲率情報とによって、緑色成分の局所的な平均情報（主要項）が補正されることになる。したがって、第３の実施形態では、第１の実施形態と同様に、倍率色収差によって、赤色成分の色情報と青色成分の色情報とが緑色成分の色情報に対してずれている場合であっても、主要項は、赤色成分の色情報と青色成分の色情報との平均的な変化量に応じて補正される（図９参照）。そのため、第３の実施形態によれば、撮影光学系１２に倍率色収差が存在している場合であっても、所望の画素に対する主要項を補正することが可能であり、特許文献１に開示されたＧ補間処理で生じるovershootとundershootとが打ち消し合うことを意味する。したがって、第３の実施形態によれば、過補正による偽色の発生を低減することができる。

《第４の実施形態》
以下、第４の実施形態の動作を説明する。なお、第４の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。以下、Ｇ補間処理について説明するが、第１の実施形態と同じ動作については、説明を省略する。なお、第４の実施形態におけるＧ補間処理と第１の実施形態におけるＧ補間処理との相違点は、補間対象画素の類似性の強さを判定した後の動作が異なる点である。そのため、第４の実施形態では、Ｇ補間処理における補間処理部１７の動作フローチャートの図示を省略する。

補間処理部１７は、第１の実施形態と同様にして補間対象画素の類似性の強さを判定し（図４Ｓ１〜Ｓ１１に相当する）、補間対象画素の類似性の強さを上述したcase1〜case9の何れかに分類する。そして、補間処理部１７は、類似性が強いと判定された方向に直行する方向に対し、緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]とを、以下のようにして算出する。

case1のとき、
Gk[i,j]=((G[i-1,j]+G[i,j-1])-(G[i,j+1]+G[i+1,j]))/2・・・式７５
Zk[i,j]=((Z[i-2,j]+Z[i,j-2])-(Z[i,j+2]+Z[i+2,j]))/2・・・式７６
case2のとき、
Gk[i,j]=G[i,j-1]-G[i,j+1]・・・式７７
Zk[i,j]=Z[i,j-2]-Z[i,j+2]・・・式７８
case3のとき、
Gk[i,j]=((G[i-1,j]+G[i,j+1])-(G[i,j-1]+G[i+1,j]))/2・・・式７９
Zk[i,j]=((Z[i-2,j]+Z[i,j+2])-(Z[i,j-2]+Z[i+2,j]))/2・・・式８０
case4のとき、case1と同じ
case5のとき、Gk[i,j]=1、Zk[i,j]=1
case6のとき、case3と同じ
case7のとき、case1と同じ
case8のとき、
Gk[i,j]=G[i-1,j]-G[i+1,j]・・・式８１
Zk[i,j]=Z[i-2,j]-Z[i+2,j]・・・式８２
case9のとき、case3と同じ
次に、補間処理部１７は、以下のようにして緑の補間値G[i,j]を算出する。

case1のとき、G[i,j]=Gvk[i,j]
case2のとき、G[i,j]=Gvk[i,j]
case3のとき、G[i,j]=Gvk[i,j]
case4のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case5のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case6のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case7のとき、G[i,j]=Ghk[i,j]
case8のとき、G[i,j]=Ghk[i,j]
case9のとき、G[i,j]=Ghk[i,j]
ただし、
Gvk[i,j]=(G[i,j-1]+G[i,j+1])/2+Gk[i,j]/Zk[i,j]・(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4・・・式８３
Ghk[i,j]=(G[i-1,j]+G[i+1,j])/2+Gk[i,j]/Zk[i,j]・(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4・・・式８４である。

ところで、式８３および式８４において、第１項は、「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は、加重係数（緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]との相関を示す値：Gk[i,j]/Zk[i,j]）が掛けられた「補間対象画素と同一の色成分による局所的な曲率情報」であり、補正項に対応する。

すなわち、第４の実施形態では、緑色成分の局所的な平均情報を、加重係数を掛けた「補間対象画素と同一の色成分による局所的な曲率情報」によって補正している。ここで、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算して補正値を算出する場合の問題点を示す。

例えば、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが図１５の●印のように与えられている場合（所定の位置を境に緑色成分の色情報が増加し、赤色成分（または、青色成分）の色情報が減少する場合）、「補間対象画素と同一の色成分による局所的な曲率情報」は正の値となる。したがって、このような場合、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算すると、本来、負の方向に補正されるべき、「緑色成分の局所的な平均情報」は、図１５の△印のように正の方向に補正されovershootが生じる。

すなわち、色境界部分において、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが所定の位置を境に逆方向に変化する場合、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算して補正項を算出すると、overshootやundershootが生じることになる。

一方、本実施形態において、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが図１５の●印のように与えられている場合、緑色成分の傾斜Gk[i,j]の符号と赤色成分（または、青色成分）の傾斜Zk[i,j]の符号とが逆になり、加重係数は負の値となる。そのため、本実施形態では、図１５の□印に示すように、「緑色成分の局所的な平均情報」が所望の方向に補正されるため、overshootやundershootが発生することはない。

すなわち、第４の実施形態によれば、色境界部分における過補正による偽色の発生を低減することができる。なお、第４の実施形態では、加重係数の値に何ら制限を設けていないが、加重係数の値をある範囲内に制限することによって、補正項が過大になることを防ぐことができる。

例えば、加重係数の値の範囲としては、|Gk[i,j]/Zk[i,j]|≦5などが考えられる。

《第５の実施形態》
以下、第５の実施形態の動作を説明する。なお、第５の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。ただし、第５の実施形態では、第３の実施形態と同様に、式５１によって、緑色成分の色情報が存在する画素の一部に対して赤色成分を含む色差が補間され、緑色成分の色情報が存在する残りの画素と青色の色成分が存在する画素とに対する赤色成分を含む色差が式５２によって補間されることになる。

以下、Ｇ補間処理について説明する。第５の実施形態では、図３に示すように、Ｇ補間処理の対象となる画素の横方向に、最近接の緑色成分が存在する画素が位置するため、横方向に位置する画素に存在する色情報を用いて補間処理を行うことが最も単純である。そこで、第５の実施形態では、第４の実施形態のcase8と同様にして、緑の補間値G[i,j]を算出するものとする。

すなわち、補間処理部１７は、式８５によって、緑の補間値G[i,j]を算出する。

G[i,j]=(G[i-1,j]+G[i+1,j])/2+Gk[i,j]/Zk[i,j]・(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4・・・式８５
ただし、
Gk[i,j]=G[i-1,j]-G[i+1,j]・・・式８１
Zk[i,j]=Z[i-2,j]-Z[i+2,j]・・・式８２である。

このように、第５の実施形態では、第４の実施形態と同様に、緑色成分の局所的な平均情報を、加重係数（緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]との相関を示す値：Gk[i,j]/Zk[i,j]）を掛けた「補間対象画素と同一の色成分に局所的な曲率情報」によって補正している。そのため、第５の実施形態によれば、色境界部分における過補正による偽色の発生を低減することができる。

なお、上述した各実施形態では、Ｇ補間処理およびＲＢ補間処理において、色差を色相として用いる例を説明したが、色相として色の比などを用いても、色差と同様に、Ｇ補間処理およびＲＢ補間処理を行うことができる。

《第６の実施形態》
以下、第６の実施形態の動作を説明する。

図１６は、第６の実施形態の機能ブロック図である。図１６において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。

なお、図１６に示す電子カメラ２０と図１に示した電子カメラ１０との構成の相違点は、図１６の制御部２１と画像処理部２２とが図１の制御部１１と画像処理部１５とに代えて設けられ、図１６のインタフェース部２３が新たに設けられた点である。また、図１６において、パーソナルコンピュータ３０は、ＣＰＵ３１、インタフェース部３２、ハードディスク３３およびメモリ３４を有し、ＣＰＵ３１は、バスを介してインタフェース部３２、ハードディスク３３およびメモリ３４に接続される。

なお、パーソナルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒体に記録された補間処理プログラム（前述した各実施形態の補間処理部１７と同様にして補間処理を実行する補間処理プログラム）が予めインストールされているものとする。すなわち、ハードディスク３３には、このような補間処理プログラムが実行可能な状態で格納されている。

以下、図１６を参照して第６の実施形態の動作を説明する。まず、電子カメラ２０では、図１に示した電子カメラ１０と同様にして生成された画像データが画像処理部２２に供給される。画像処理部２２は、画像データに補間処理以外の画像処理（例えば、階調変換処理など）を施し、記録部１６では、画像処理が施された画像データが画像ファイルの形式で記録される。

このような画像ファイルは、インタフェース部２３を介してパーソナルコンピュータ３０に供給される。パーソナルコンピュータ３０内のＣＰＵ３１は、インタフェース部３２を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。補間処理により各色成分の解像度が高められた画像データは、必要に応じて画像圧縮等を行ってから、ハードディスク３３などに記録され、最終的に、ディスプレイ、プリンタなどの各接続機器に応じた表色系データとして出力される。

すなわち、第６の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ３０によって行うことができる。

上述したように、請求項１ないし請求項８に記載の発明では、補間対象画素の色相値を、補間対象画素の近傍に位置する複数の画素の色相値の中央値によって算出できる。

したがって、請求項１ないし請求項８に記載の発明によれば、孤立点の周辺における偽色の発生を低減することができる。また、従来の補間処理（ＲＢ補間処理とmedian処理とを合わせた処理）と比べて、色構造を破壊することなく、高速に補間値を算出することができる。

１０、２０…電子カメラ，１１、２１…制御部，１２…撮影光学系，１３…撮像部，１４…Ａ／Ｄ変換部，１５、２２…画像処理部，１６…記録部，１７…補間処理部，２３、３２…インタフェース部，３０…パーソナルコンピュータ，３１…ＣＰＵ，３３…ハードディスク，３４…メモリ

Claims (8)

1. 輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、色成分の存在する画素と色成分が欠落する画素との両方に輝度成分が存在する画像データに対し、色成分が欠落する画素に色成分を補うための処理を行う補間処理装置において、
   補間処理の対象となる補間対象画素の周囲の最近傍に位置して輝度成分と色成分とが存在する複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手段と、
   前記色相値算出手段で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手段と、
   補間対象画素に存在する輝度成分を用いて、前記色相値補間手段で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手段とを備え、
   前記色相値補間手段は、
   補間対象画素の斜め方向に隣接する４つの斜め隣接画素の色相値が前記色相値算出手段によって算出されている場合に、該４つの斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間部と、
   補間対象画素の縦方向と横方向とに隣接する４つの縦横隣接画素の色相値が前記色相値算出手段または前記第１の色相値補間部によって算出されている場合に、該４つの縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間部とを備え、
   前記色相値の中央値は、４つの画素の色相値の値を大きさの順に並び替えて、中央の２つに位置する色相値の平均値によって求めることを特徴とする補間処理装置。
2. 輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、１画素につき輝度成分と色成分との何れか一方が存在する画像データに対し、輝度成分が欠落する画素に輝度成分を補い色成分が欠落する画素に色成分を補うための処理を行う補間処理装置において、
   「輝度成分の補間処理の対象となる輝度成分補間対象画素と輝度成分補間対象画素の周辺に位置する複数の画素との方向に関する類似性を少なくとも縦類似か横類似か縦横類似かを判断し、類似方向に存在する輝度成分の平均値によって補間対象画素の輝度成分を補間する補間手段」と「輝度成分補間対象画素の輝度成分を周囲の輝度成分の値の平均値によって求めるのみならず、輝度成分補間対象画素が属する局所的領域内の輝度成分以外の色成分をも用いて輝度成分を補間する補間手段」との少なくとも一方を利用して、輝度成分補間対象画素の輝度成分を補間する輝度成分補間手段と、
   色成分の補間処理の対象となる補間対象画素の周囲の最近傍に位置し、色成分が存在して前記輝度成分補間手段によって輝度成分が補間された複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手段と、
   前記色相値算出手段で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手段と、
   補間対象画素に存在する輝度成分を用いて、前記色相値補間手段で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手段とを備え、
   前記色相値補間手段は、
   補間対象画素の斜め方向に隣接する４つの斜め隣接画素の色相値が前記色相値算出手段によって算出されている場合に、該４つの斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間部と、
   補間対象画素の縦方向と横方向とに隣接する４つの縦横隣接画素の色相値が前記色相値算出手段または前記第１の色相値補間部によって算出されている場合に、該４つの縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間部とを備え、
   前記色相値の中央値は、４つの画素の色相値の値を大きさの順に並び替えて、中央の２つに位置する色相値の平均値によって求めることを特徴とする補間処理装置。
3. 請求項１または請求項２に記載の補間処理装置において、
   画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、
   前記色相値補間手段は、
   補間対象画素に緑色成分が存在して赤色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の赤色成分を含む色相値の中央値によって補間対象画素の色相値を算出し、補間対象画素に緑色成分が存在して青色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の青色成分を含む色相値の中央値によって補間対象画素の色相値を算出する
   ことを特徴とする補間処理装置。
4. 請求項１または請求項２に記載の補間処理装置において、
   画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、
   前記色相値補間手段は、
   補間対象画素に青色成分が存在して赤色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の赤色成分を含む色相値の中央値によって補間対象画素の色相値を算出する
   ことを特徴とする補間処理装置。
5. 請求項１または請求項２に記載の補間処理装置において、
   画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、
   前記色相値補間手段は、
   補間対象画素に赤色成分が存在して青色成分が欠落する場合、補間対象画素の周囲の最近傍に位置する画素の青色成分を含む色相値の中央値によって補間対象画素の色相値を算出する
   ことを特徴とする補間処理装置。
6. 請求項１ないし請求項５の何れか１項に記載の補間処理装置において、
   補間対象画素に欠落する色成分が、縦横対称に配置された４画素のうち１画素のみに存在することを特徴とする補間処理装置。
7. 輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、色成分の存在する画素と色成分が欠落する画素との両方に輝度成分が存在する画像データに対し、色成分が欠落する画素に色成分を補う処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、
   補間処理の対象となる補間対象画素の周囲の最近傍に位置して輝度成分と色成分とが存在する複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手順と、
   前記色相値算出手順で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手順と、
   補間対象画素に存在する輝度成分を用いて、前記色相値補間手順で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手順とをコンピュータに実行させ、
   前記色相値補間手順は、
   補間対象画素の斜め方向に隣接する４つの斜め隣接画素の色相値が前記色相値算出手順によって算出されている場合に、該４つの斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間手順と、
   補間対象画素の縦方向と横方向とに隣接する４つの縦横隣接画素の色相値が前記色相値算出手順または前記第１の色相値補間手順によって算出されている場合に、該４つの縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間手順とをコンピュータに実行させ、
   前記色相値の中央値は、４つの画素の色相値の値を大きさの順に並び替えて、中央の２つに位置する色相値の平均値によって求めることを特徴とする補間処理プログラムを記録した記録媒体。
8. 輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、１画素につき輝度成分と色成分との何れか一方が存在する画像データに対し、輝度成分が欠落する画素に輝度成分を補い色成分が欠落する画素に色成分を補う処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、
   「輝度成分の補間処理の対象となる輝度成分補間対象画素と輝度成分補間対象画素の周辺に位置する複数の画素との方向に関する類似性を少なくとも縦類似か横類似か縦横類似かを判断し、類似方向に存在する輝度成分の平均値によって補間対象画素の輝度成分を補間する補間手段」と「輝度成分補間対象画素の輝度成分を周囲の輝度成分の値の平均値によって求めるのみならず、輝度成分補間対象画素が属する局所的領域内の輝度成分以外の色成分をも用いて輝度成分を補間する補間手段」との少なくとも一方を利用して、輝度成分補間対象画素の輝度成分を補間する輝度成分補間手順と、
   色成分の補間処理の対象となる補間対象画素の周囲の最近傍に位置し、色成分が存在して前記輝度成分補間手順によって輝度成分が補間された複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手順と、
   前記色相値算出手順で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手順と、
   補間対象画素に存在する輝度成分を用いて、前記色相値補間手順で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手順とをコンピュータに実行させ、
   前記色相値補間手順は、
   補間対象画素の斜め方向に隣接する４つの斜め隣接画素の色相値が前記色相値算出手順によって算出されている場合に、該４つの斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第１の色相値補間手順と、
   補間対象画素の縦方向と横方向とに隣接する４つの縦横隣接画素の色相値が前記色相値算出手順または前記第１の色相値補間手順によって算出されている場合に、該４つの縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第２の色相値補間手順とをコンピュータに実行させ、
   前記色相値の中央値は、４つの画素の色相値の値を大きさの順に並び替えて、中央の２つに位置する色相値の平均値によって求めることを特徴とする補間処理プログラムを記録した記録媒体。

Images