WO2001047244A1

WO2001047244A1 - Dispositif d'interpolation et support d'enregistrement sur lequel un programme d'interpolation est enregistre

Info

Publication number: WO2001047244A1
Application number: PCT/JP2000/009040
Authority: WO
Inventors: Zhe-Hong Chen; Kenichi Ishiga
Original assignee: Nikon Corporation
Priority date: 1999-12-21
Filing date: 2000-12-20
Publication date: 2001-06-28
Also published as: US20020001409A1; JP2001245314A; US7362897B2; US7236628B2; US20060198556A1; JP4599672B2; US20060245646A1

Description

明細書補間処理装置およぴ補間処理プログラムを記録した記録媒体本出願は日本国特許出願平成 1 1年第 3 6 3 0 0 7号（ 1 9 9 9年 1 2月 2 1 日出願）、日本国特許出願 2 0 0 0年第 2 0 4 7 6 8号（2 0 0 0年 7月 6 日出願）を基礎として、その内容は引用文としてここに組み込まれる。技術分野

本発明は、カラーの画像データに対し、各々の画素に欠落する色成分や輝度成分を補うための補間処理を行う補間処理装置および該補間処理をコンピュータで実現させるための補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。背景技術

電子カメラには、 3色（R G B :赤 .緑 .青）のカラーフィル夕が所定の位置に配置（例えば、べィァ配列など）された撮像素子によって、カラーの画像データを生成するものがある。このような電子カメラでは、撮像素子の個々の画素から 1つの色成分の色情報しか出力されないため、画素単位で全ての色成分の色情報を得るために、補間処理を行う必要がある。

このような補間処理の方法としては、補間処理の対象となる補間対象画素の空間的な類似性を判定し、類似性の強い方向に位置する画素から出力される色情報を用いて補間値を算出する方法が従来から考えられている。

例えば、米国特許第 5 , 6 2 9 , 7 3 4号明細書に開示された技術では、補間対象画素（緑色成分が欠落する画素）の色情報を A 5 とし、補間対象画素と同色のカラーフィルタが配された画素の色情報を A 1、 A 3、 A 7、 A 9 とし、緑の力ラーフィルタが配された画素の色情報を G 2、 G 4、 G 6、 G 8 として、各画素の色情報が以下のように配置されている状態において、補間対象画素の緑の補間値 G 5は、式 1ないし式 3の何れかによって算出される。 A 1

G 2

A 3 G 4 A 5 G 6 A 7

G 8

A 9

まず、水平方向の類似性が強い場合、補間対象画素の緑の補間値 G 5は、

G5= (G4+G6) /2+ (-A3+2A5-A7) /4 . . .式 1 によって算出され、垂直方向の類似性が強い場合、補間対象画素の緑の補間値 G 5は、

G5= (G2+G8) /2+ (-A1+2A5-A9) /4 · · .式 2によって算出され、水平方向の類似性と垂直方向の類似性とが同程度である場合、補間対象画素の緑の補間値 G 5は、

G5= (G2+G4+G6+G8) /4+ (- A1- A3+4A5- A7- A9) /8 · · '式 3 によって算出される。なお、以下の説明を簡単にするために、式 1および式 2の第 1項（（G4+G6) /2、 (G2+G8) /2) を主要項と称し、式 1およぴ式 2の第 2項（（- A3+2A5 - A7) Z4、 (-A1 + 2A5-A9) /4) を補正項と称する。

米国特許第 5 , 6 2 9 , 7 3 4号明細書に開示された技術において、補間処理の対象となる画像データの類似性が水平方向に強く、 A 3、 G 4、 A 5、 G 6、 A 7が図 1 7の參印のように与えられていると仮定した場合、 A 3 と A 5 との平均値を A 4 とし、 A 5 と A 7 との平均値を A 6 とすると、式 1の補正項の値は、 A 4 と A 6 との平均値に対する A 5の差違を示すべクトル量（図 1 7のに相当する。また、緑の補間値 G 5は、水平方向に隣接する画素の色情報の平均値（式 1の主要項の値に相当する）をだけ補正した値に相当する。

すなわち、米国特許第 5， 6 2 9 , 7 3 4号明細書に開示された技術では、緑色成分と補間対象画素における色成分（赤色成分または青色成分）との色差が一定である（図 1 7において、（A4- G4)、（A5 - G5)、（A6- G6)が一致する）と仮定し、類似性が強い方向に隣接する画素の色情報の平均値を、補間対象画素と同色の色情報を用いて補正することによって、緑の補間値を算出している。

ところで、レンズなどの光学系には、倍率色収差が存在することが知られている。例えば、 R G Bの 3色のカラーフィルタがべィァ配列された撮像素子を備えた電子カメラの撮影レンズに、倍率色収差が存在する場合、図 1 8 B、図 1 8 C に示すように、赤色成分および青色成分は、緑色成分の結像位置から、それぞれ少しずつずれた位置に結像する。

ところで、撮影レンズに倍率色収差が存在しない状態で、各画素の色情報が図 1 9 の會印のように与えられている場合（補間処理の対象となる画像データの類似性が水平方向に強く、緑色成分の色情報が一定で、赤色成分や青色成分の色情報が補間対象画素（A 5が存在する画素）の近傍でなだらかに変化する場合）、式 1の補正項の値が 0 となるため、 G 4 と G 6 との平均値 ' (主要項）は補正されることなく緑の補間値 G 5 となる。

しかし、 A 3、 A 5、 A 7が赤色成分の色情報であり、撮影レンズの倍率色収差によって、これらの赤色成分の色情報が右方向に 1画素ずつずれた場合、各画素の色惰報は、図 1 9 Bのように変化することになる。そのため、このような場合、式 1 の補正項が 0 とならず、主要項が過剰に補正（以下、「過補正」と称する）され、本来、 G 4や G 6 と同程度の値となるべき緑の補間値 G 5は、 G 4や G 6よりも大きな値となる（以下、このような現象を「overshoot」と称する）。一方、 A 3、 A 5、 A 7が青色成分の色情報であり、倍率色収差によって、これらの青色成分の色情報が左方向に 1画素ずつずれた場合、各画素の色情報は、図 1 9 Cのように変化することになる。そのため、このような場合、式 1 の補正項は 0 とならず、本来、 G 4や G 6 と同程度の値となるべき緑の補間値 G 5は、過補正によって、 G 4や G 6 よりも小さな値となる（以下、このような現象を「un dershoot：」と称する）。

すなわち、米国特許第 5 , 6 2 9 , 7 3 4号明細書に開示された技術では、倍率色収差の影響によつて、補間処理で得られた力ラー画像に偽色が発生してしまうところで、過補正は、倍率色収差が存在する場合に限らず、色差が変化する色境界部分でも発生する。例えば、各画素の色情報が図 2 0 A、図 2 0 Bのき印のように与えられている場合（緑色成分の色情報が一定で、赤色成分または青色成分の色情報が補間対象画素（A 5が存在する画素）の近傍で急変する場合）、式 1の補正項は 0 とならず、本来、 G 4や G 6 と同程度の値となるべき緑の補間値 G 5は、過補正によつて overshootまたは undershootを生じることになる。

したがって、色差が変化する色境界部分では、倍率色収差が存在しない場合であっても、補間処理によって偽色が発生してしまう。なお、以上説明したような偽色は、緑の補間値を算出する場合に限らず、赤や青の補間値を算出する場合にも発生し得る。発明の開示

本発明の目的は、偽色の発生を抑制できる補間処理装置、および、偽色の発生を抑制できる補間処理プログラムを記録した記録媒体を提供することにある。特に、従来の補間処理における利点を失わずに瑕疵を減らし、倍率色収差による影響を低減することによって、偽色の発生を抑制することを目的とする。

上記目的を達成するために、第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う、本発明の第 1の補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

( 1 ) 補間対象画素に関する第 1色成分の局所的な平均情報と、

( 2 ) 補間対象画素に関する 2種類以上の色成分の局所的な変曲情報とで構成される補間値を算出する補間値算出手段を備える。

すなわち、第 1の補間処理装置は、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素に関する 2種類以上の色成分の局所的な変曲情報」で補正することによって、補間値を算出する。

なお、第 1の補間処理装置において、「補間対象画素に関する第 1色成分の局所的な平均情報」とは、補間対象画像が属する局所的領域に存在する第 1色成分の色情報の平均値や、補間対象画像が属する局所的領域に存在する第 1色成分の色情報の範囲に収まる値を示す。また、「補間対象画素に関する 2種類以上の色成分の局所的な変曲情報」とは、補間対象画像が属する局所的領域に存在する 2 種類以上の色成分の色情報がどのように変化するかを示す情報である。すなわち- 各色成分の局所的な変曲情報とは、各色成分の局所的領域における変化率の変化の程度を示す情報であり、各色成分の値をプロットして曲線（あるいは折れ線）で表された場合、その曲線の曲がりの変化、曲がり具合を示す情報である（以下同じ）。この情報は、各色成分の 2次微分やさらに高次の微分などの算出により求めることが可能であり、各色成分の変化の凹凸に関する構造情報が反映された量である。折れ線で表された場合は、各線分の傾きの変化を示すものと言える。第 2の補間処理装置は、第 1の補間処理装置において、前記補間値算出手段は, 前記 2種類以上の色成分の局所的な変曲情報として、

( 1 ) 補間対象画素と同一の色成分による局所的な変曲情報と、

( 2 ) 補間対象画素とは異なる色成分による局所的な変曲情報とを含む局所的な変曲情報を算出するものである。

すなわち、第 2の補間処理装置は、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素と同一の色成分による局所的な変曲情報」および「補間対象画素とは異なる色成分による局所的な変曲情報」で補正することによって、補間値を算出する。

なお、第 2の補間処理装置において、「補間対象画素と同一の色成分（または, 補間对象画素とは異なる色成分）による局所的な変曲情報」とは、補間対象画像が属する局所的領域に存在する補間対象画素と同一の色成分（または、補間対象画素とは異なる色成分）の色情報がどのように変化するかを示す惰報であり、その色成分の 2次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。

第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う第 3の補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色惰報を用いて、少なくとも、

( 2 ) 補間対象画素とは異なる色成分による局所的な変曲情報とで構成される補間値を算出する補間値算出手段を備える。

すなわち、第 3の補間処理装置は、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素とは異なる色成分による局所的な変曲情報」で補正することによって、補間値を算出する。なお、第 3の補間処理装置において、「補間対象画素とは異なる色成分による局所的な変曲情報」とは、補間対象画像が属する局所的領域に存在する補間対象画素とは異なる色成分の色情報がどのように変化するかを示す情報であり、その色成分の 2次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。

第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像デ一タに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う第 4の補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

( 2 ) 補間対象画素に関する第 1色成分の局所的な変曲情報とで構成される補間値を算出する補間値算出手段を備える。

すなわち、第 4の補間処理装置は、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素に関する第 1色成分の局所的な変曲情報」で補正することによって、補間値を算出する。

なお、第 4の補間処理装置において、「補間'対象画素に関する第 1色成分の局所的な変曲情報」とは、補間対象画像が属する局所的領域に存在する第 1色成分の色情報がどのように変化するかを示す情報であり、その色成分の 2次微分やさらに髙次の微分などの算出により凹凸に関する構造情報が反映された量である。第 5の補間処理装置は、第 1ないし第 3の何れかの補間処理装置において、補間対象画素と第 1色成分の色情報が存在する画素とを結ぶ少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 1の類似性判定手段と、前記第 1の類似性判定手段によつて類似性の強弱が判定される方向とは異なる少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 2の類似性判定手段とを備え、前記補間値算出手段は、前記第 1色成分の局所的な平均情報を算出する際に用いる色情報が存在する画素の方向を、前記第 1の類似性判定手段による判定結果に基づいて選択し、

( 1 ) 前記局所的な変曲情報が、「単一色成分で構成され、前記第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」である場合、該局所的な変曲情報を算出する際に用いる色情報が存在する画素の方向を該第 1の類似性判定手段による判定結果に基づいて選択し、 ( 2 ) 前記局所的な変曲情報が、「単一色成分で構成され、前記第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」である場合、該局所的な変曲情報を算出する際に用いる色情報が存在する画素の方向を該第 2の類似性判定手段による判定結果に基づいて選択するものである。

すなわち、第 5の補間処理装置では、第 1の補間処理装置の「補間対象画素に関する 2種類以上の色成分の局所的な変曲情報」、第 2 または第 3の補間処理装置の「補間対象画素と同一の色成分による局所的な変曲情報」、「補間対象画素とは異なる色成分による局所的な変曲情報」のうち、「単一色成分で構成され、第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」に相当するものについては、第 1の類似性判定手段による判定結果に基づいて選択した方向に存在する画素の色情報を用いて算出し、「単一色成分で構成され、第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」に相当するものについては、第 2の類似性判定手段による判定結果に基づいて選択した方向に存在する画素の色情報を用いて算出することになる。

なお、各々の局所的な変曲情報が、如何なる方向に方向性を有するかの詳細は、「発明の実施の形態」において定義する。

このように、第 5の補間処理装置によれば、局所的な変曲情報を算出する際に用いる色情報を補間対象画素との類似性に応じて選択することができる。また、第 1色成分の局所的な平均情報を算出する際に用いる色情報についても、補間対象画素との類似性に応じて選択することができる。

第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う第 6の補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第 1項と第 2項との 2つの項で構成される補間値を算出する補間値算出手段と、補間対象画素と第 1色成分の色情報が存在する画素とを結ぶ少なくとも 2つの方向に対し、補間対象面素との類似性の強弱を判定する第 1の類似性判定手段と、前記第 1の類似性判定手段によつて類似性の強弱が判定される方向とは異なる少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 2の類似性判定手段とを備え、前記補間値算出手段は、前記第 1項を算出する際に用いる色情報が存在する画素の方向を、前記第 1の類似性判定手段による判定結果に基づいて選択し、前記第 2項を算出する際に用いる色情報が存在する画素の方向を、前記第 2の類似性判定手段による判定結果に基づいて選択する。

すなわち、第 6の補間処理装置では、第 2の類似性判定手段によって類似性が判定される方向が、第 1の類似性判定手段によって類似性が判定される方向と異なるため、第 1項を算出する際に用いる色情報が位置する方向に限らず、第 2項を算出する際に用いる色情報が位置する方向も含めて、より細かな方向に位置する画素の色情報を用いることができる。

したがって、第 6の補間処理装置によれば、細かく分けられた複数の方向に位置する画素の色情報を用いて、補間値を算出することができる。また、第 6の補間処理装置では、類似性が強い方向に位置する画素の色情報を用いたり、複数の方向に位置する画素の色情報を類似性の強弱に応じて加重合成するなどによって, 第 1項および第 2項を算出することができる。

第 7の補間処理装置は、第 6の補間処理装置において、前記補間値算出手段は、前記第 1項として、

( a ) 補間対象画素に関する第 1色成分の局所的な平均情報と、

( b ) 単一色成分で構成され、前記第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報とを含む項を算出し、前記第 2項として、単一色成分で構成され、前記第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報を含む項を算出するものである。

すなわち、第 7の補間処理装置は、「補間対象画素に関する第 1色成分に関する平均情報」を、「単一色成分で構成され、第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」と「単一色成分で構成され、第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」とで補正することによって、補間値を算出する。

第 8の補間処理装置は、第 5または第 7の補間処理装置において、画像データが第 1〜第 3の色成分から成る表色系で示され、第 1色成分が第 2色成分おょぴ第 3色成分に比べて空間周波数が高く、第 1色成分が市松模様状に配置されると共に、第 2色成分および第 3色成分がそれぞれ第 1色成分の間に線順次に配置され、補間対象画素に第 2色成分が存在する場合、前記第 1の類似性判定手段は、補間対象画素と補間対象画素に最も近接する第 1色成分が存在する画素とを結ぶ縦横 2方向に对する補間対象画素の類似度を算出し、該類似度の差異に基づいて、該縦横 2方向に対する補間対象画素の類似性の強弱を判定し、前記第 2の類似性判定手段は、補間対象画素と補間対象画素に最も近接する第 3色成分が存在する画素とを結ぶ斜め 2方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、該斜め 2方向に対する補間対象画素の類似性の強弱を判定し、前記補間値算出手段は、「単一色成分で構成され、前記第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」を- 第 2色成分と第 1色成分との少なくとも一方に対応させ、「単一色成分で構成され、前記第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」を、第 2色成分と第 3色成分との少なくとも一方に対応させるものである。

ただし、各々の局所的な変曲情報が、如何なる方向に方向性を有するかの詳細は、「発明の実施の形態」において定義する。

第 8の補間処理装置では、第 1の類似性判定手段で類似性の強弱の判定対象となる縦横 2方向について方向性を有する色成分は、第 2色成分と第 1色成分とであり、第 2の類似性判定手段で類似性の強弱の判定対象となる斜め 2方向について方向性を有する色成分は、第 2色成分と第 3色成分とである。

したがって、第 5または第 7の補間処理装置における「単一色成分で構成され、第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」は、第 1の類似性判定手段による判定結果に基づいて、第 2色成分と第 1色成分との少なくとも一方に関して算出され、「単一色成分で構成され、第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」は、第 2の類似性判定手段による判定結果に基づいて、第 2色成分と第 3色成分との少なくとも一方に関して算出されることになる。

また、第 8の補間処理装置では、「第 2の類似性判定手段で類似性の強弱の判定対象となる方向について類似性を示す色成分による局所的な変曲情報」を算出する際に、斜め方向の類似性が確実に反映される。

第 9の補間処理装置は、第 8の補間処理装置において、前記補間値算出手段は，前記局所的な変曲情報が、「補間対象画素とは異なる色成分による局所的な変曲情報」である場合、該局所的な変曲情報を、第 1色成分に対応させるか、第 3色成分に対応させるかを、前記第 2の類似性判定手段によって判定された類似性の強弱に応じて切り替えるものである。

ところで、第 9の補間処理装置では、第 3色成分は補間対象画素の斜め 2方向に隣接する画素に存在し、第 2の類似性判定手段によつて判定される類似性は斜め 2方向に対する補間対象画素の類似性である。

すなわち、第 9の補間処理装置によれば、「補間対象画素とは異なる色成分による局所的な変曲情報」を、第 1色成分に対応させるか第 3色成分に対応させるか切り替えることによって、斜め方向の類似性を「補間対象画素とは異なる色成分による局所的な変曲情報」に反映することができる。

第 1 0の補間処理装置は、第 9の補間処理装置において、前記補間値算出手段は、前記第 2の類似性判定手段によって、前記斜め 2方向の類似性が同程度であると判定された場合、第 1色成分による局所的な変曲情報を算出し、該斜め 2方向の類似性のうち、一方の斜め方向の類似性が他方の斜め方向の類似性よりも強いと判定された場合、第 3色成分による局所的な変曲情報を算出するものであるおすなわち、第 1 0の補間処理装置によれば、「補間対象画素とは異なる色成分による局所的な変曲情報」を算出する際に、斜め方向の類似性が確実に反映される。

第 1 1の補間処理装置は、第 8の補間処理装置において、前記第 1の類似性判定手段は、前記縦横 2方向の類似度の差異が所定の閾値よりも小さい場合、該縦横 2方向の類似性が同程度であると判定し、前記第 2の類似性判定手段は、前記斜め 2方向の類似度の差異が所定の閾値よりも小さい場合、該斜め 2方向の類似性が同程度であると判定するものである。

したがって、第 1 1の補間処理装置によれば、縦横 2方向の類似性や斜め 2方向の類似性を判定する際のノイズの影響を低減することができる。

第 1 2の補間処理装置は、第 8の補間処理装置において、前記第 1の類似性判定手段は、 1つの補間対象画素につき、前記縦横 2方向の類似度を複数の色成分の色情報を用いて算出し、前記第 2の類似性判定手段は、 1つの補間対象画素につき、前記斜め 2方向の類似度を複数の色成分の色情報を用いて算出するものである。

すなわち、第 1 2の補間処理装置によれば、縦横 2方向の類似性や斜め 2方向の類似性を判定する際に複数の色成分の色情報が反映される。

第 1 3の補間処理装置は、第 1 2の補間処理装置において、前記第 2の類似性判定手段は、前記斜め 2方向の各々の方向毎に、

( 1 ) 第 1色成分のみの色情報から成る類似度成分と、

( 2 ) 第 2色成分のみの色情報から成る類似度成分と、

( 3 ) 第 3色成分のみの色情報から成る類似度成分と、

( 4 ) 第 2色成分および第 3色成分の色情報から成る類似度成分とを加重加算して、各々の方向の類似度を算出するものである。

( 1 ) 第 1色成分のみの色情報から成る類似度成分と、

( 2 ) 第 2色成分のみの色情報から成る類似度成分と、

( 3 ) 第 3色成分のみの色情報から成る類似度成分と、 ( 4 ) 第 2色成分およぴ第 3色成分の色情報から成る類似度成分とを加重加算して、各々の方向の類似度を算出するものである。

すなわち、第 1 3の補間処理装置によれば、斜め 2方向の類似性を判定する際に、複数の色成分の色情報が確実に反映される。

第 1 4の補間処理装置は、第 8の補間処理装置において、前記第 1の類似性判定手段は、各々の画素における縦横 2方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の縦横 2方向に対する類似性を判定し、前記第 2の類似性判定手段は、各々の画素における斜め 2方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の斜め 2方向に対する類似性を判定するものである ₍ すなわち、第 1 4の補間処理装置によれば、縦横 2方向の類似性や斜め 2方向の類似性を判定する際に周辺画素との連続性が反映される。

第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う第 1 5の補間処理装置は- 補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色成分の色情報を用いて、補間対象画素に関する第 1色成分の平均情報を表す第 1項を算出する第 1項算出手段と、補間対象画素が属する局所的領域に位置する画素に存在する色成分の色情報を用いて、補間対象画素に関して補間対象画素と同一の色成分による局所的な変曲情報を表す第 2項を算出する第 2項算出手段と、補間対象画素が属する局所的領域に位置する画素に存在する複数の色成分の色情報から成る加重係数を前記第 2項に掛けて、前記第 1項と加算することによつて、補間値を算出する補間値算出手段とを備える。

すなわち、第 1 5の補間処理装置は、補間対象画素が属する局所的領域に位置する画素に存在する複数の色成分の色情報から成る加重係数を掛けた「補間対象画素に関して補間対象画素と同一の色成分による局所的な変曲情報」で、「補間対象画素に関する第 1色成分の平均情報」を補正することによって、補間値を算出する。

第 1 6の補間処理装置は、第 1 5の補間処理装置において、前記補間値算出手段は、補間対象画素および補間対象画素に対して予め決められた方向に位置する複数の画素に存在する複数の色成分の色情報を用い、各々の色成分別に該方向に対する色情報の傾きを求め、該色成分別の色情報の傾きの相関に応じて前記加重係数を算出するものである。

すなわち、第 1 6の補間処理装置では、「補間対象画素に関する第 1色成分の平均情報」が加重係数を掛けた「補間対象画素に関して補間対象画素と同一の色成分による局所的な変曲情報」で補正されるが、加重係数は補間対象画素が属する局所的領域における色成分別の色情報の傾きの相関に応じて算出される。輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、色成分の存在する画素と色成分が欠落する画素との両方に輝度成分が存在する画像データに対し、色成分が欠落する画素に色成分を補うための処理を行う第 1 7の補間処理装置は、補間処理の対象となる補間対象画素の近傍に位置して輝度成分と色成分とが存在する複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手段と、前記色相値算出手段で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手段と、補間対象画素に存在する輝度成分を用いて、前記色相値補間手段で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手段とを備える。

すなわち、第 1 7の補間処理装置では、補間対象画素の色相値は、補間対象画素の近傍に位置する複数の画素の色相値の中央値によって算出される。

輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、 1画素につき輝度成分と色成分との何れか一方が存在する画像データに対し、輝度成分が欠落する画素に輝度成分を補い色成分が欠落する画素に色成分を補うための処理を行う第 1 8の補間処理装置は、「輝度成分の補間処理の対象となる輝度成分補間対象画素と輝度成分補間対象画素の近傍に位置する画素との類似性」と「輝度成分補間対象画素が属する局所的領域内の複数の色成分」との少なくとも一方を利用して、輝度成分補間対象画素の輝度成分を補間する輝度成分補間手段と、色成分の補間処理の対象となる補間対象画素の近傍に位置し、色成分が存在して前記輝度成分補間手段によって輝度成分が補間された複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手段と、前記色相値算出手段で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手段と、補間対象画素に存在する輝度成分を用いて、前記色相値補間手段で算出された補間対象面素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手段とを備える。

すなわち、第 1 8の補間処理装置では、補間対象画素の色相値は、補間対象画素の近傍に位置する複数の画素の色相値の中央値によって算出される。

第 1 9の補間処理装置は、第 1 7または第 1 8の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像デ—タの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手段は、補間対象画素に緑色成分が存在して赤色成分が欠落する場合、補間対象画素の近傍に位置する画素の赤色成分を含む色相値の中央値によって補間対象画素の色相値を算出し、補間対象画素に緑色成分が存在して青色成分が欠落する場合、補間対象画素の近傍に位置する画素の青色成分を含む色相値の中央値によつて補間対象画素の色相値を算出するものである。

すなわち、第 1 9の補間処理装置では、緑色成分が存在して赤色成分が欠落する補間対象画素の色相値は、補間対象画素の近傍に位置する画素の赤色成分を含む色相値の中央値によって算出され、緑色成分が存在して青色成分が欠落する補 '間対象画素の色相値は、補間対象画素の近傍に位置する画素の青色成分を含む色相値の中央値によつて算出される。

第 2 0の補間処理装置は、第 1 7または第 1 8の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手段は、補間対象画素に青色成分が存在して赤色成分が欠落する場合、補間対象画素の近傍に位置する画素の赤色成分を含む色相値の中央値によって補間対象画素の色相値を算出するものである。

すなわち、第 2 0の補間処理装置では、青色成分が存在して赤色成分が欠落する補間対象画素の色相値は、補間対象画素の近傍に位置する画素の赤色成分を含む色相値の中央値によって算出される。第 2 1の補間処理装置は、第 1 7または第 1 8の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手段は、補間対象画素に赤色成分が存在して青色成分が欠落する場合、補間対象画素の近傍に位置する画素の青色成分を含む色相値の中央値によつて補間対象画素の色相値を算出するものである。

すなわち、第 2 1の補間処理装置では、赤色成分が存在して青色成分が欠落する補間対象画素の色相値は、補間対象画素の近傍に位置する画素の青色成分を含む色相値の中央値によつて算出される。

第 2 2の補間処理装置は、第 1 7ないし第 2 1の何れかの補間処理装置において、補間対象画素に欠落する色成分が、縦横対称に配置された 4画素のうち 1画素のみに存在する場合、前記色相値補間手段は、補間対象画素の斜め方向に隣接する複数の斜め隣接面素の色相値が前記色相値算出手段によって算出されている場合、該斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第 1の色相値補間部と、補間対象画素の縦方向と横方向とに隣接する複数の縦横隣接画素の色相値が前記色相値算出手段または前記第 1の色相値補間部によつて算出されている場合、該縦横隣接画素の色相値の中央値によつて補間対象画素の色相値を算出する第 2の色相値補間部とを備えるものである。

すなわち、第 2 2の補間処理装置では、斜め隣接画素の色相値が算出されている場合には、斜め隣接画素の色相値の中央値によって補間対象画素の色相値を算出し、縦横隣接画素の色相値が算出されている場合には、縦横隣接画素の色相値の中央値によつて補間対象画素の色相値を算出するものである。

本発明の第 1の記録媒体は、第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録し、該補間処理プ口グラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

( 2 ) 補間対象画素に関する 2種類以上の色成分の局所的な変曲情報とで構成される補間値を算出する補間値算出手順を有する。

すなわち、第 1 の記録媒体の補間処理プログラムは、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素に関する 2種類以上の色成分の局所的な変曲情報」で補正することによって、補間値を算出する。

第 2の記録媒体は、第 1〜第 n ( n ≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

( 2 ) 補間対象画素とは異なる色成分による局所的な変曲情報とで構成される補間値を算出する補間値算出手順を有する。

すなわち、第 2の記録媒体の補間処理プログラムは、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素とは異なる色成分による局所的な変曲情報」で補正することによって、補間値を算出する。

第 3の記録媒体は、第 1 〜第 n ( n ≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュ一タで実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

( 2 ) 補間対象画素に関する第 1色成分の局所的な変曲情報とで構成される補間値を算出する補間値算出手順を有する。

すなわち、第 3の記録媒体の補間処理プログラムは、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素に関する第 1色成分の局所的な変曲情報」で補正することによって、補間値を算出する。

第 4の記録媒体は、第 1〜第 n ( n ≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュ一夕で実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第 1項と第 2項との 2つの項で構成される補間値を算出する補間値算出手順と、補間対象画素と第 1色成分の色情報が存在する画素とを結ぶ少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第

1の類似性判定手順と、前記第 1の類似性判定手順によつて類似性の強弱が判定される方向とは異なる少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 2の類似性判定手順とを有し、前記補間値算出手順は、前記第

1項を算出する際に用いる色情報が存在する面素の方向を、前記第 1の類似性判定手順による判定結果に基づいて選択し、前記第 2項を算出する際に用いる色情報が存在する画素の方向を、前記第 2の類似性判定手順による判定結果に基づいて選択する。

すなわち、第 4の記録媒体の補間処理プログラムでは、第 2の類似性判定手順によつて類似性が判定される方向が、第 1 の類似性判定手順によつて類似性が判定される方向と異なるため、第 1項を算出する際に用いる色惰報が位置する方向に限らず、第 2項を算出する際に用いる色情報が位置する方向も含めて、より細かな方向に位置する画素の色情報を用いることができる。

第 5の記録媒体は、第 1 〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色成分の色情報を用いて、補間対象画素に関する第 1色成分の平均情報を表す第 1項を算出する第 1項算出手順と、補間対象画素が属する局所的領域に位置する画素に存在する色成分の色情報を用いて、補間対象画素に関して補間対象画素と同一の色成分による局所的な変曲情報を表す第 2項を算出する第 2項算出手順と、補間対象画素が属する局所的領域に位置する画素に存在する複数の色成分の色情報から成る加重係数を前記第 2項に掛けて、前記第 1項と加算することによつて、補間値を算出する補間値算出手順とを有する。

すなわち、第 5の記録媒体の補間処理プログラムは、補間対象画素および補間対象画素が属する局所的領域に位置する画素に存在する複数の色成分の色情報から成る加重係数を掛けた「補間対象画素に関して補間対象画素と同一の色成分による局所的な変曲情報」で、「補間対象画素に関する第 1色成分の平均情報」を補正することによって、補間値を算出する。

第 6の記録媒体は、輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、色成分の存在する画素と色成分が欠落する画素との両方に輝度成分が存在する画像データに対し、色成分が欠落する画素に色成分を補う処理をコンピュータで実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素の近傍に位置して輝度成分と色成分とが存在する複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手順と、前記色相値算出手順で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手順と、補間対象画素に存在する輝度成分を用いて、前記色相値補間手順で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手順とを有する。

すなわち、第 6の記録媒体の補間処理プログラムでは、補間対象画素の色相値は、補間対象画素の近傍に位置する複数の画素の色相値の中央値によって算出される。

第 7の記録媒体は、輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、 1画素につき輝度成分と色成分との何れか一方が存在する画像データに対し、輝度成分が欠落する画素に輝度成分を補い色成分が欠落する画素に色成分を補う処理をコンピュータで実現するための補間処理プログラムを記録し、該補間処理プログラムは、「辉度成分の補間処理の対象となる輝度成分補間対象面素と輝度成分補間対象画素の近傍に位置する画素との類似性」と「輝度成分補間対象画素が属する局所的領域内の複数の色成分」との少なくとも一方を利用して、輝度成分補間対象画素の輝度成分を補間する輝度成分補間手順と、色成分の補間処理の対象となる補間対象画素の近傍に位置し、色成分が存在して前記輝度成分補間手順によつて輝度成分が補間された複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手順と、前記色相値算出手順で算出された複数の画素の色相値の中央値によつて、補間対象画素の色相値を算出する色相値補間手順と、補間対象画素に存在する輝度成分を用いて、前記色相値補間手順で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手順とを有する。すなわち、第 7の記録媒体の補間処理プログラムでは、補間対象画素の色相値は、補間対象画素の近傍に位置する複数の画素の色相値の中央値によって算出される。

なお、第 1〜第 7の記録媒体の補間処理プログラムは、第 1、第 3、第 4、第 6、第 1 5、第 1 7、第 1 9の補間処理装置をコンピュータ上で実現するものである。第 2、第 5、第 7〜第 1 4、第 1 6、第 1 8、第 2 0〜第 2 2の補間処理装置も、同様に、記録媒体に記録された補間処理プログラムにより実現することが可能である。なお、これらの補間処理プログラムはインターネットなどの通信回線を通じてコンピュータに提供することも可能である。

上述したように、第 1の補間処理装置および第 1の記録媒体の補間処理プログラムは、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素に関する 2種類以上の色成分の局所的な変曲情報」で補正することによつて補間値を算出し、第 2の補間処理装置は、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素と同一の色成分による局所的な変曲情報」および「補間対象画素とは異なる色成分による局所的な変曲情報」で補正することによって補間値を算出する。

そのため、第 1、第 2の補間処理装置、第 1の記録媒体の補間処理プログラムによれば、過補正による偽色の発生を低減することができる。

第 3の補間処理装置およぴ第 2の記録媒体の補間処理プログラムは、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素とは異なる色成分による局所的な変曲情報」で補正することによって補間値を算出する。第 4の補間処理装置および第 3の記録媒体の補間処理プログラムは、「補間対象画素に関する第 1色成分の局所的な平均情報」を、「補間対象画素に関する第 1色成分の局所的な変曲情報」で補正することによって補間値を算出する。

そのため、第 3、第 4の補間処理装置、第 2、第 3の記録媒体の補間処理プログラムによれば、構造情報を確実に抽出することができる。さらに、第 4の補間処理装置、第 3の記録媒体の補間処理プログラムでは、偽色が発生することがな第 5ないし第 1 0の補間処理装置、第 4の記録媒体の補間処理プログラムでは、複数の方向に存在する画素の色情報を補間対象画素との類似性に応じて用い、補間値を算出する。特に、第 8ないし第 1 0の補間処理装置では、斜め方向の類似性が補間値に反映される。

そのため、第 5ないし第 1 0の補間処理装置、第 4の記録媒体の補間処理プログラムによれば、画像の構造を損なうことなく、補間値を算出することができる第 1 1の補間処理装置では、類似性を判定する際のノイズの影響を低減することができ、第 1 2および第 1 3の補間処理装置では、類似性を判定する際に複数の色成分の色情報が反映され、第 1 4の補間処理装置では、類似性を判定する際に周辺画素との連続性が反映される。

したがって、第 1 1 ないし第 1 4の補間処理装置によれば、類似性の判定の精度を向上することができる。

第 1 5、第 1 6の補間処理装置、第 5の記録媒体の補間処理プログラムでは、「補間対象画素に関する第 1色成分の平均情報」を、加重係数を掛けた「補間対象画素に関して補間対象画素と同一の色成分による局所的な変曲情報」で補正することによって、補正の方向や補正の幅を、加重係数によって調整することができる。特に、第 1 5の補間処理装置では、加重係数が補間対象画素が属する局所的領域における色成分別の色情報の傾きの相関に応じて算出されるため、このような相関によって、「補間対象画素に関する第 1色成分の平均情報」を補正する際の補正の方向や補正の幅を調整することができる。

したがって、第 1 5、第 1 6の補間処理装置、第 5の記録媒体の補間処理プログラムによれば、色境界部分における過補正による偽色の発生を低減することができる。第 1 7ないし第 2 2の補間処理装置、第 6、'第 7の記録媒体の補間処理プログラムでは、補間対象画素の色相値を、補間対象画素の近傍に位置する複数の画素の色相値の中央値によつて算出できる。

したがって、第 1 7ないし第 2 2の補間処理装置、第 6、第 7の記録媒体の補間処理プログラムによれば、孤立点の周辺における偽色の発生を低減することができる。また、従来の補間処理（R B補間処理と median処理とを合わせた処理）と比べて、色構造を破壊することなく、高速に補間値を算出することができる。図面の簡単な説明

図 1は、第 1の実施形態ないし第 5の実施形態に対応する電子カメラの機能ブロック図である。

図 2 A、 2 Bは、第 1の実施形態、第 2の実施形態、第 4の実施形態における画像データの色成分の配列を示す図である。

図 3 A、 3 Bは、第 3の実施形態おょぴ第 5の実施形態における画像データの色成分の配列を示す図である。

図 4は、第 1の実施形態における補間処理部の動作フローチャート（ 1 ) である ₀

図 5は、第 1の実施形態における補間処理部の動作フローチャート（2) である。

図 6 A、 6 Bは、類似度成分の加重加算を説明する図である。

図 7は、（HV[i, j],DN[i， j])の値に対応する類似性の強い方向を示す図である。図 8は、緑の補間値 G[i,j]を算出する際に用いる色情報の位置を示す図である < 図 9 A、 9 Bは、倍率色収差の影響が解消される様子を説明する図である。図 1 0 A〜 1 0 Cは、従来の median処理を説明する図である。

図 1 1 A、 1 I Bは、第 1の実施形態における median処理の動作を説明する図である。

図 1 2 A、 1 2 Bは、第 1の実施形態における median処理の範囲を説明する図である。

図 1 3は、局所的な変曲情報を算出する際に用いる色情報の位置を示す図である。

図 1 4は、局所的な変曲情報を算出する際に用いる色情報の位置を示す図（続き）である。

図 1 5は、第 4の実施形態における加重係数の役割を説明する図である。

図 1 6は、第 6の実施形態における機能ブロック図である。

図 1 7は、従来の補間処理の例を説明する図である。

図 1 8 A〜 1 8 Cは、倍率色収差の影響を説明する図である。

図 1 9 A〜 1 9 Cは、倍率色収差による過補正を説明する図である。

図 2 0 A、 2 O Bは、色境界部分における過補正の影響を示す図である。発明を実施するための最良の形態

以下、図面に基づいて、本発明の実施形態について詳細を説明する。図 1は、第 1 の実施形態ないし第 5の実施形態に対応する電子カメラの機能プロック図でめる。

図 1 において、電子カメラ 1 0は、制御部 1 1、撮影光学系 1 2、撮像部 1 3 - A / D変換部 1 4、画像処理部 1 5およぴ記録部 1 6を有する。また、画像処理部 1 5は、補間処理部（例えば、補間処理専用の 1チップ . マイクロプロセッサ） 1 7を有する。さらに、撮像部 1 3は、 R G Bのカラ一フィルタがべィァ配列された撮像素子（図示省略）を有している。

なお、図 1 では、説明を簡単にするため、画像処理部 1 5内に補間処理部 1 7 のみを記載しているが、画像処理部 1 5内には、例えば、階調変換処理など他の画像処理を行う機能プロックが設けられても良い。

図 1 において、制御部 1 1 は、撮像部 1 3、 A / D変換部 1 4、画像処理部 1 5および記録部 1 6に接続される。また、撮影光学系 1 2で取得された光学像は- 撮像部 1 3内の撮像素子に結像する。撮像部 1 3の出力は、 A Z D変換部 1 4によって量子化され、画像データとして画像処理部 1 5に供給される。画像処理部 1 5に供給された画像データは、補間処理部 1 7によつて補間処理が施され、必要に応じて画像圧縮を行ってから、記録部 1 6 を介して記録される。補間処理により各色成分の解像度が高められた画像データは、最終的にディスプレイ、プリンタなど各接続機器に応じた表色系画像データとして出力される。

図 2 A、図 2 Bは、第 1の実施形態、第 2の実施形態、第 4の実施形態における画像データの色成分の配列を示す図であり、図 3 A、図 3 Bは、第 3の実施形態およぴ第 5の実施形態における画像データの色成分の配列を'示す図である。なお、図 2 A、図 2 Bおよび図 3 A、図 3 Bでは、 R、 G、 Bを用いて色成分の種類を示し、 i、 j を用いて各々の色成分が存在する画素の位置を示している。仮に、補間処理の対象となる補間対象画素の座標を [i,j]とすると、図 2 A、図 2 Bは、補間対象画素を中心とする 7 X 7の画素の配列を示していることになり、図 3 A、図 3 Bは、補間対象画素を中心とする 5 X 5の画素の配列を示していることになる。また、図 2 Aおよび図 3 Aは、赤色成分が存在する画素を補間対象画素とした場合の配列を示し、図 2 Bおよび図 3 Bは、青色成分が存在する画素を補間対象画素とした場合の配列を示す。

ところで、後述する各実施形態において、補間処理部 1 7は、緑色成分が欠落する画素に緑の補間値を補う補間処理（以下、「G補間処理」と称する。）を行つた後に、赤色成分や青色成分が欠落する画素に赤の補間値や青の補間値を補う補間処理（以下、「RB補間処理」と称する。）を行う。ただし、青の補間値を補う補間処理（以下、「B補間処理」と称する。）は、赤の補間値を補う補間処理（以下、「R補間処理」と称する。）と同様に行えるため、説明を省略する。また、以下では、説明を簡単にするため、座標 [i，j]に位置する画素を G補間処理における補間対象画素とする。また、後述する各実施形態の G補間処理では、補間対象画素の色成分の種類（赤または青）に関係なく、緑の補間値を算出することができるため、図 2 A、図 2 Bおよび図 3 A、図 3 Bの Rおよび Bを Zに置き換えて、補間対象画素の色情報を Z[i,j]によって表現し、他の画素の色情報についても同様に表現する。

《第 1の実施形態》

図 4および図 5は、第 1の実施形態における補間処理部 1 7の動作フローチヤ —トであるが、図 4は、. G補間処理における補間処理部 1 7の動作を示し、図 5 は、 R補間処理における補間処理部 1 7の動作を示す。

以下、第 1の実施形態の動作を説明するが、ここでは、図 4および図 5を参照して補間処理部 1 7の動作を説明する。

まず、補間処理部 1 7は、緑色成分が欠落する画素を補間対象画素として、縦方向の類似度 Cv[i， j]および横方向の類似度 Ch[i, j]を算出する（図 4 S 1 ) 。ここで、第 1の実施形態で行われる縦方向の類似度 Cv[i,j]および横方向の類似度 Ch[i， j]を算出する処理の詳細を説明する。

まず、補間処理部 1 7は、以下の式' 1 0〜式 2 1によって定義される縦方向および横方向に対する複数種類の類似度成分を算出する。

縦方向の GG間類似度成分： Cvl[i, j] = |G[i, j-l]-G[i, j + l]| …式 1 0 横方向の GG間類似度成分： Chl[i， j] = |G[i- 1, j]- G[i + 1， j]| …式 1 1 縦方向の BB(RR)間類似度成分：

Cv2[i, j] = (|Z[i-l, j- 1]- Z[i- 1， j + 1] | + |Z[i + l, j-l]-Z[i + l, j + 1] |)/2 …式 1 2 横方向の BB(RR)間類似度成分：

Ch2[i， j] = (|Z[i- 1, j-l]-Z[i + l, j-1] 1 + lZti-l, j+l]-Z[i + l, j + 1] |)/2 …式 1 3 縦方向の RR(BB)間類似度成分：

Cv3[i, j] = (|Z[i, j-2]-Z[i, j] | + |Z[i, j+2]-Z[i, j]|)/2 …式 1 4

横方向の RR(BB)間類似度成分：

Ch3[i, j] = (|Z[i-2,j]-Z[i, j] | + |Z[i+2, j]-Z[i, j]|)/2 …式 1 5

縦方向の GR(GB)間類似度成分：

Cv4[i, j] = (|G[i, j-l]-Z[i, j]| + |G[i, j+l]-Z[i, j]|)/2 …式 1 6

横方向の GR(GB)間類似度成分：

Ch4[i, j] = (|G[i-l, j]-Z[i, j] | + |G[i + l, j]-Z[i, j]|)/2 …式 1 7

縦方向の BG(RG)間類似度成分：

Cv5[i， j] = (|Z[i- 1, j- 1]- G[i- 1, j] | + |Z[i- l，j+l]- G[i- 1， j]|

+ |Z[i+l, j-l]-G[i+l, j] | + |Z[i+l, j+l]-G[i + l, j] |)/4 …式 1 8 横方向の BG(RG)間類似度成分：

Ch5[i, j] = (|Z[i-l, j-l]-G[i, j-l]| + |Z[i-l, j+l]-G[i, j+l]|

+ |Z[i + l, j-l]-G[i, j-1] l + |Z[i + l, j+l]-G[i, j+l]|)/4 …式 1 9 縦方向の輝度間類似度成分：

Cv6[i, j] = (|Y[i, j-l]-Y[i, j]| + |Y[i, j+l]-Y[i, j]|)/2 …式 2 0 横方向の輝度間類似度成分：

Ch6[i, j] = (|Y[i-l, j]-Y[i,j] l + |Y[i+l₍ j]-Y[i, j]|)/2 …式 2 1

ただし、式 2 0および式 2 1において、 Y[i , j ]は、

Y[i, j] = (4-A[i, j]+2-(A[i, j-l]+A[i, j+l]+A[i-l, j]+A[i + l, j])

+A[i-1, j-l]+A[i-l, j+l]+A[i + l, j-l]+A[i + l, j+l])/16 …式 2 2によつて算出される値であり、補間対象画素の周辺に位置する周辺画素の色成分の色情報を R:G:B=1:2:1の比で平均化するフィルタリング処理で生成される輝度に相当する。なお、 A[i,j]は、べィァ配列上の任意の色情報を表し、配置場所に応じて Gまたは Zの値をとる。

次に、補間処理部 1 7は、以下の式 2 3およぴ式 2 に示すようにして、加重係数&1, 32，&3, 34，35, 36によって、複数種類の類似度成分を各々の方向毎に加重加算して、補間対象画素の縦方向の類似度 CvO[i,j]および横方向の類似度 ChO[i，j] を算出する。

CvO[i, j] = (al-Cvl[i, j]+a2-Cv2[i, j]+a3-Cv3[i, j]+a4-Cv4[i, j]

+a5-Cv5[i, j]+a6-Cv6[i, j])/(al+a2+a3+a4+a5+a6) …式 2 3 ChO[i, j] = (al-Chl[i, j]+a2-Ch2[i, j]+a3-Ch3[i, j]+a4-Ch4[i, j]

+a5-Ch5[i, j]+a6-Ch6[i, j])/(al+a2+a3+a4+a5+a6) …式 24 なお、式 2 3および式 2 4において、加重係数31，&2，&3,&4，&5,&6の比率としては、例えば、 ΓΕΙ： 2： a3： a4： a5： a6=2： 1： 1： 4： 4： 12J などが考えられる。

ところで、第 1の実施形態では、縦方向および横方向に対する類似度成分の算出および加重加算を、補間対象画素に対してだけでなく、補間対象画素の近傍に位置する周辺画素に対しても行って、さらに、類似度の算出精度の向上を図る。すなわち、補間処理部 1 7は、補間対象画素と周辺画素とにおける類似度成分の加重加算の結果（CvO[i，j]、 CvO[i- 1， j- 1]、 CvO[i- 1， j+l]、 Cv0[i+1, j- 1]、 Cv 0[i + l, j+1]など）を、以下の《方法 1》または《方法 2》のように加重加算して、補間対象画素の縦方向の類似度 Cv[i , j ]および横方向の類似度 Ch[i , j ]を算出する。《方法 1》

Cv[i, j] = (4-CvO[i, j]+CvO[i-l, j-l]+CvO[i-l, j+1]

+CvO[i + l， j- 1]+Cv0[i + 1， j+l])/8 …式 2 5 Ch[i, j]=(4-ChO[i, j]+ChO[i-l, j-l]+ChO[i-l, j+1]

+ChO[i + l, j-l]+ChO[i + l, j+l])/8 …式 2 6

《方法 2》

Cv[i,j] = (4-Cv0[i, j]

+2· (Cv0[i-1, j-l]+CvO[i+l, j-l]+CvO[i-l, j+l]+CvO[i+l, j+1]) +CvO[i, j-2]+CvO[i, j+2]+CvO[i-2, j]+CvO[i+2, j])/16 …式 2 7 Ch[i, j] = (4-Ch0[i, j]

+2· (Ch0[i-1, j-l]+ChO[i+l, j-l]+ChO[i-l, j+l]+ChO[i+l, j+1]) +ChO[i, j-2]+ChO[i, j+2]+ChO[i-2, j]+ChO[i+2, j])/16 …式 2 8 なお、《方法 1》は、図 6 Aに示すようにして補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当し、《方法 2》は、図 6 Bに示すようにして補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当する。

ところで、上述した GG間類似度成分、 BB(RR)間類似度成分、 RR(BB)間類似度成分のように、同じ色成分の色情報を用いて算出される類似度成分（以下、「同色間類似度成分」と称する。）は、空間周波数が低く彩色部分の多い画像に対する類似性の評価に適していることが実験によってわかっている。また、 GR(GB)間類似度成分、 BG(RG)間類似度成分のように、異なる色成分の色情報を用いて算出される類似度成分（以下、「異色間類似度成分」と称する。）は、空間周波数が高く無彩色部分が多い画像に対する類似性の評価に適していることが実験によってわかっている。さらに、輝度間類似度成分は、彩色部分と、ある程度まで空間周波数の高い部分とを擁する画像に対する類似性の評価に適していることが実験によってわかっている。

すなわち、同色間類似度成分、異色間類似度成分、輝度間類似度成分を加重加算して得られる類似度は、多様な画像に対して類似性の評価を高精度で行うことが可能である。

また、同色間類似度成分として算出される 3種類の類似度成分（GG間類似度成分、 BB(RR)間類似度成分、 RR(BB)間類似度成分）は、類似性の評価に際して果たす役割を色成分同士で互いに補うことができ、異色間類似度成分として算出される 2種類の類似度成分（GR(GB)間類似度成分、 BG(RG)間類似度成分）も、類似性の評価に際して果たす役割を色成分同士で互いに補うことができる。

さらに、第 1の実施形態では、補間対象画素における類似度成分の加重加算の結果と、周辺画素における類似度成分の加重加算の結果とを加重加算することによって、縦方向の類似度 Cv[i,j]および横方向の類似度 Ch[i,j]が算出される。そのため、縦方向の類似度 Cv[i， j]および横方向の類似度 Ch[i, j]は、補間対象画素と補間対象画素の近傍に位置する画素とにおける色情報の連続性が反映され易い。特に、《方法 2》によって算出される縦方向の類似度 Cv[i,j]および横方向の類似度 Ch[i，j]は、広範囲に位置する画素の色成分の色情報が反映されるため、倍率色収差が大きい画像に対する類似性の評価に有効である。

なお、第 1の実施形態において、縦方向の類似度 Cv[i,j]および横方向の類似度 Ch[i,j]は、値が小さい程、類似性が強いことを示す。

補間処理部 1 7は、以上説明したようにして縦方向の類似度 Cv[i,j]および横方向の類似度 Ch[i,j]を算出すると、縦方向の類似度 Cv[i，j]および横方向の類似度 Ch[i,j]に基づき、補間対象面素の縦方向および横方向の類似性（以下、「縦横類似性」と称する。）を比較する（図 4 S 2) 。そして、このような比較結果として、縦横類似性を示す指標 HV[i,]']に以下のような値を設定する。

例えば、補間処理部 1 7は、任意の閾値 T1について、

|Cv[i, j]-Ch[i, j]|>Tl かつ Cv[i, j]<Ch[i， j]が成り立つ場合、横方向よりも縦方向の類似性が強いと判断して指標 HV[i，j]に 1を設定し（図 4 S 3) 、

|Cv[i, j]-Ch[i, j]|>Tl かつ Cv[i， j]>Ch[i，;i]が成り立つ場合、縦方向よりも横方向の類似性が強いと判定して指標 HV[i,j]に一 1を設定し（図 4 S 4) 、

I Cv [ i , j ] - Ch [ i , j ] 1≤ T1が成り立つ場合、縦横間で類似性に区別がつかないと判定して指標 HV[i, j]に 0を設定する（図 4 S 5) 。

なお、閾値 T1は、縦方向の類似度 Cv[i，j]と横方向の類似度 Ch[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値 T1 の値を高く設定することによって、縦横類似性の判定の精度が高められる。

次に、補間処理部 1 7は、補間対象画素における斜め 45度方向の類似度 C45[i， j]および斜め 135度方向の類似度 C135[i,j]を算出する（図 4 S 6) 。

ここで、第 1の実施形態で行われる斜め 45度方向の類似度 C45[i,j]および斜め

135度方向の類似度 C135 [ i , j ]を算出する処理の詳細を説明する。

まず、補間処理部 1 7は、以下の式 2 9〜式 3 6によって定義される斜め 45度方向およぴ斜め 135度方向に対する複数種類の類似度成分を算出する。

斜め 45度方向の GG間類似度成分：

C45_l[i, j] = (|G[i, j-l]-G[i-l, j]| + |G[i + l, j]-G[i, j + l]|)/2 …式 2 9 斜め 135度方向の GG間類似度成分：

C135_l[i, j] = (|G[i, j-l]-G[i+l, j]i + |G[i-l, j]-G[i, j+l]|)/2 …式 3 0 斜め 45度方向の BB(RR)間類似度成分：

C45_2[i, j] = |Z[i + l, j-l]-Z[i-l, j+1] | …式 3 1

斜め 135度方向の BB(RR)間類似度成分：

C135_2[i, j] = |Z[i-l, j-l]-Z[i + l, j+1] | …式 3 2

斜め 45度方向の RR(BB)間類似度成分：

C45_3[i, j]=(|Z[i+2, j-2]-Z[i, j] |+|Z[i-2, j+2]-Z[i, j]|)/2 · '式 3 3 斜め 135度方向の RR(BB)間類似度成分：

C135_3[i, j] = (|Z[i-2, j-2]-Z[i, j] | + |Z[i+2, j+2]-Z[i, j] |)/2 '式 34 斜め 45度方向の BR(RB)間類似度成分：

C45_4[i, j] = (|Z[i + l, j-l]-Z[i, j]| + |Z[i-l, j+l]-Z[i, j]|)/2 · '式 3 5 斜め 135度方向の BR (RB)間類似度成分：

C135_4[i, j] = (|Z[i-l, j-l]-Z[i, j] l + IZCi + 1, j+l]-Z[i, j]|)/2 ' ·式 3 6 次に、補間処理部 1 7は、以下の式 3 7および式 3 8のように加重係数 bl，b 2,b3，b4によって、複数種類の類似度成分を各々の方向毎に加重加算して、補間対象画素の斜め 45度方向の類似度 C45— 0[i， j]およぴ斜め 135度方向の類似度 C135— 0 [i，； j]を算出する。

C45_0[i, j] = (bl-C45_l[i, j]+b2-C45_2[i, j]+b3-C45_3[i, j]

+b4-C45_4[i, j])/(bl+b2+b3+b4) …式 3 7

C135_0[i, j] = (bl-C135_l[i, j]+b2-C135_2[i, j]+b3-C135_3[i, j]

+b4-C135_4[i, j])/(bl+b2+b3+b4) …式 3 8 なお、式 3 7およぴ式 3 8において、加重係数 bl,b2，b3，b4の比率としては、例えば、「bl:b2:b3:b4=2:l:l:2」などが考えられる。

ところで、第 1の実施形態では、斜め 45度方向および斜め 135度方向に対する類似度成分の算出および加重加算を、補間対象画素に対してだけでなく周辺画素に対しても行って、さらに、類似度の算出精度の向上を図る。

すなわち、補間処理部 1 7は、補間対象画素と周辺画素とにおける類似度成分の加重加算の結果（C45— 0[i,j]、 C45_0[i- 1, j- 1]、 C45— 0 [i- 1, j +1]、 C45_0[i + 1, j- 1]、 C45_0[i + 1, j+1]など）を、以下の《方法 1》または《方法 2》のように加重加算して、補間対象画素の斜め 45度方向の類似度 Cv[i，j]および斜め 135度方向の類似度 Ch[i, j]を算出する（図 6 A、 6 Bに示すように補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当する）。

《方法 1》

C45[i, j]=(4-C45_0[i, j]+C45_0[i-l, j-l]+C45_0[i+l, j-1]

+C45_0[i-1, j+l]+C45_0[i + l, j+l])/8 …式 3 9

C135[i, j] = (4-C135_0[i, j]+C135_0[i-l, j-l]+C135_0[i + l, j-1]

+C135— 0[i- 1， j+l]+C135— 0[i + l， j+l])/8 …式 4 0

《方法 2》

C45[i, j] = (4-C45_0[i, j]+2- (C45_0[i-1, j-1] +C45_0 [i + 1, j-1]

+C45_0[i-1, j+l]+C45_0[i+l, j+l])+C45_0[i, j-2]

+C45_0[i, j+2]+C45_0[i-2, j]+C45_0[i+2, j])/16 …式 4 1

C135[i, j] = (4-C135_0[i, j]+2- (C135_0[i-1, j-l]+C135_0[i + l, j-1]

+C135一 0[i- 1, j+l]+C135一 0[i + l, j +1] ) +C135— 0 [i， j - 2] +C135— 0[i, j+2]+C135— 0[i- 2, j]+C135一 0[i+2， j])/16 …式 4 2 なお、このようにして算出される斜め 45度方向の類似度 C45[i, j]および斜め 13 5度方向の類似度 C135 [ i , j ]において、複数種類の類似度成分の加重加算や周辺画素に関する類似度の考慮は、上述した縦方向の類似度 Cv[i， j]およぴ横方向の類似度 Ch[i,j]と同様の役割を果たす。また、第 1の実施形態において、斜め 45度方向の類似度 C45 [ i， j ]およぴ斜め 135度方向の類似度 C135 [ i , j ]は、値が小さい程、類似性が強いことを示す。補間処理部 1 7は、斜め 45度方向の類似度 C45[i，j]および斜め 135度方向の類似度 C135[i，； j]を算出すると、斜め 45度方向の類似度 C45[i， j]および斜め 135度方向の類似度 C135[i，； j]に基づき、補間対象画素の斜め 45度方向おょぴ斜め 135度方向の類似性（以下、「斜め類似性」と称する。）を比較する（図 4 S 7) 。そして、このような比較結果として、斜め類似性を示す指標 DN[i，j]に以下のような値を設定する。

例えば、補間処理部 1 7は、任意の閾値 T2について、

|C45[i, j]-C135[i, j]|>T2 かつ C45 [i， j ] < C135 [i， j ]が成り立つ場合、斜め 135度方向よりも斜め 45度方向の類似性が強いと判定して指標 DN [ j]に 1を設定し（図 4 S 8 ) 、

|C45[i, j]-C135[i, j]|>T2 かつ C45 [i , j ] > C135 [i， j ]が成り立つ場合、斜め 45度方向よりも斜め 135度方向の類似性が強いと判定して指標 DN[i,j]に一 1を設定し（図 4 S 9) 、

I C45 [ i , j ] - C135 [i， j ] I≤ T2が成り立つ場合、斜め方向間で類似性に区別がつかないと判定して指標 DN[i, j]に 0を設定する（図 4 S 1 0 ) 。

なお、閾値 T2は、上述した閾値 T1と同様に、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。

次に、補間処理部 1 7は、縦横類似性を示す指標 HV[i,j]と斜め類似性を示す指標 DN[i,j]とが如何なる値であるかを判定して（図 4 S 1 1 ) 、補間対象画素の類似性の強さを、以下の casel〜case9の何れかに分類する。

c a s e 1： ( H V [ i， j ] , D N [ i , j ] ) = ( 1， 1 )：縦および斜め 45度方向の類似性が強い。

case2:(HV[i， j],DN[i， j]) = (l，0)：縦方向の類似性が強い。

c a s e 3： ( H V [ i， j ]， D N [ i , j ] ) = ( 1， - 1 )：縦および斜め 135度方向の類似性が強い。 case4: (HV[i , j ] , DN[i , j ] ) = (0， 1)：斜め 45度方向の類似性が強い。

case5: (HV[i , j ] , DN [i , j ] ) = (0, 0)：全ての方向の類似性が強い、または、全ての方向の類似性が弱い。

case6： (HV [ i , j ] , DN [ i , j ] ) = (0, - 1)：斜め 135度方向の類似性が強い。

case7： (HV [ i , j ] , DN [ i , j ] ) = (- 1 , 1 )：横および斜め 45度方向の類似性が強い。

case8： (HV[ i , j ]， DN [i , j ] ) = (- 1 , 0)：横方向の類似性が強い。 case9: (HV[i, j],DN[i, j]) = (-l,-l)：横およぴ斜め 135度方向の類似性が強い。図 7は、（HV[i， j],DN[i，j])の値に対応する類似性の強い方向を示す図である。ところで、図 7では、「case5:(HV[i， j]，DN[i，j]) = (0，0)」に対応する表示がされていないが、 case5のように、全ての方向の類似性が強い、または、全ての方向の類似性が弱い場合とは、補間対象画素が平坦部に属している、または、孤立点 (周辺画素との類似性の弱い空間周波数の高い画像部分）であることに相当する。次に、補間処理部 1 7は、上述した判定結果に応じて、以下のようにして緑の補間値 G[i，j]を算出する。

easelのとき、 G[i， j]=Gv45[i, j]：図 S 1 2

case2のとき、 G[i， j ]=Gv[i , j ]：図 4 S 1 3

case3のとき、 G[i， j]=Gvl35[i， j]：図 4 S 1 4

case4のとき、 G[i， j ] = (Gv45 [i， j ] +Gh45 [i , j ] )/2：図 4 S 1 5

case5のとき、 G[i, ]=(Gv[i， j]+Gh[i，j])/2:図 4 S 1 6

case6のとき、 G[i, j] = (Gvl35[i, j]+Ghl35[i, j])/2: H 4 S 1 7

case7のとき、 G[i， ]=Gh45[i， j]：図 4 S 1 8

case8のとき、 G[i, ]=Gh[i， j]:図 4 S 1 9

case9のとき、 G[i, j ]: =Ghl35[i， j]：図 4 S 2 0

ただし、

Gv[i， j] = (G[i, j- 1]+G[i， +l])/2

+(2-Z[i, j]-Z[i, — 2]— Z[i, j+2])/8

+(2'G[i- 1， j] - G[ - 1， j- 2]-G[i- 1, j+2]

+2-G[i + l, j]-G[i + l, j-2]-G[i + l, j+2])/16 …式 4 3

Gv45[i, j] = (G[i, j-l]+G[i, j + l])/2

+ (2'Z[i, j]- Z[i， j-2] - Z[i， j+2])/8

+ (2-Z[i-l, j+l]-Z[i-l, j-l]-Z[i-l, j+3]

+2-Z[i + l, j-l]-Z[i + l, j-3]-Z[i + l, j+l])/16 …式 4 4 Gvl35[i, j] = (G[i, j-l]+G[i, j+l])/2

+ (2-Z[i, j]-Z[i, j-2]-Z[i, j+2])/8

+ (2-Z[i-l, j- 1]- Z[i- 1， j - 3]- Z[i- 1， +2-Z[i + l, j + l]-Z[i+l, j-l]-Z[i + l, j+3])/16 …式 4 5

Gh[i， j] = (G[i- 1， j]+G[i + l, j])/2

+ (2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/8

+(2-G[i, j-l]-G[i-2, j-l]-G[i+2, j-1]

+2-G[i, j+l]-G[i-2, j+l]-G[i+2, j+l])/16 …式 4 6

Gh45[i, j] = (G[i-l, j]+G[i+l, j])/2

+(2-Z[i, j]-Z[i-2, j]-Z[i+2,j])/8

+ (2-Z[i + l, j-l]-Z[i-l, j-l]-Z[i+3, j-1]

+2-Z[i-l, j+l]-Z[i-3, j+l]-Z[i + l, j+l])/16 …式 4 7 Ghl35[i, j] = (G[i-l, j]+G[i + l, j])/2

+(2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/8

+ (2-Z[i-l, j- 1]- Z[i - 3, j-l]-Z[i + l, j-1]

+2-Z[i + l, j + l]-Z[i-l, j+l]-Z[i+3, j+l])/16 …式 48である。図 8は、緑の補間値 G[i,j]を算出する際に用いる色情報の位置を示す図である _c 図 8において、〇印が付与された画素の色情報は、緑の補間値 G[i， j]を構成する変曲情報に寄与する色情報である。

ところで、式 4 3〜式 4 8において、第 1項は「緑色成分の局所的な平均情報」であり、式 1や式 2の主要項に対応する。また、第 2項は「補間対象画素と同一の色成分による局所的な変曲情報」であり、第 3項は「補間対象画素と異なる色成分による局所的な変曲情報」である。なお、第 2項、第 3項の変曲情報は- 色成分の 2次微分により求められる。式 44の例で説明すると、式 44の第 2項は、色情報 Z[i， j]と Z[i，j- 2]の差分と Z[i,j+2]と Z[i,j]の差分を求め、さらにそれらの差分の差分を求めている。第 3項は、色情報 Z[i- 1， j+1]と Z[i_l,;i- 1]の差分と Z[i- 1， j+3]と Z[i- 1, j + 1]の差分を求め、それらの差分の差分を求め、さらに, 色情報 Z[i + l,j - 1]と Z[i + 1, j - 3]の差分と Z[i + 1， j+1]と Z[i + 1， j - 1]の差分を求め、それらの差分の差分を求めている。

ここで、 Gv45[i，j]の「補間対象画素と同一の色成分による局所的な変曲情報」は、縦方向に方向性を有する局所的な変曲情報であり、「補間対象面素と異なる色成分による局所的な変曲情報」は、縦方向および斜め 45度方向に方向性を有する局所的な変曲惰報であり、 Gvl35[i，j]の「補間対象画素と同一の色成分による局所的な変曲情報」は、縦方向に方向性を有する局所的な変曲情報であり、「補間対象面素と異なる色成分による局所的な変曲情報」は、縦方向および斜め 135度方向に方向性を有する局所的な変曲情報であり、 Gh45[i，j]の「補間対象画素と同一の色成分による局所的な変曲情報」は、横方向に方向性を有する局所的な変曲情報であり、「補間対象画素と異なる色成分による局所的な変曲情報」は、横方向および斜め 45度方向に方向性を有する局所的な変曲情報であり、 Ghl35[i， j]の「補間対象画素と同一の色成分による局所的な変曲情報」は、横方向に方向性を有する局所的な変曲情報であり、「補間対象画素と異なる色成分による局所的な変曲情報」は、横方向および斜め 135度方向に方向性を有する局所的な変曲情報である。

また、 Gv[i，j]の「補間対象画素と同一の色成分による局所的な変曲情報」と「補間対象画素と異なる色成分による局所的な変曲情報」とは、共に縦方向に方向性を有する局所的な変曲情報であり、 Gh[i,j]の「補間対象画素と同一の色成分による局所的な変曲情報」と「補間対象画素と異なる色成分による局所的な変曲情報」とは、共に横方向に方向性を有する局所的な変曲情報である。

すなわち、第 1の実施形態では、緑色成分の局所的な平均情報を、「補間対象画素と同一の色成分による局所的な変曲情報」および「補間対象画素と異なる色成分による局所的な変曲情報」によって補正している。

例えば、斜め方向の類似性が強く、 Gv45[i,j]、 Gvl35[i,j]、 Gh45[i，j]、 Ghl3 5[i, j]を用いて緑の補間値を算出する場合（casel、 case3、 case4、 case6、 case 7、 case9) には、互いに逆位相を示す赤色成分の局所的な変曲情報と青色成分の局所的な変曲情報とによって、緑色成分の局所的な平均情報（生要項）が補正されることになる。この場合、各色成分の局所的な変曲情報を計算するために使用するそれぞれの色成分は、類似性が強いと判定された方向に引かれた線をまたぐように位置する画素から取得する。

これにより、図 9 A (図 1 8 B、 1 8 Cを重ね合わせた図に相当する）のように、倍率色収差によって、赤色成分の色情報と青色成分の色情報とが緑色成分に対してずれている場合であっても、主要項は、図 9 Bのように、赤色成分の色情報と青色成分の色情報との平均的な変化量に応じて補正される。そのため、第 1 の実施形態では、撮影光学系 1 2に倍率色収差が存在している場合であっても、所望の画素に対する主要項を補正することが可能であり、米国特許第 5 , 6 2 9 , 7 3 4号明細書に開示された G補間処理で生じる over shoo tと under shoo tとが打ち消し合うことになる。したがって、第 1の実施形態によれば、過補正による偽色の発生を低減することができる。

なお、 overshootは、赤色成分の色情報による主要項の補正時だけでなく、青色成分の色情報による主要項の補正時にも生じる可能性があるが、第 1の実施形態において、各々の色成分に対応する overshootの値は、平均化されるので、米国特許第 5 , 6 2 9 , 7 3 4号明細書に開示された G補間処理で生じる overshootの値を超えることはない。また、 undershootが、青色成分の色情報による主要項の補正時および赤色成分の色情報による主要項の補正時に生じても、第 1の実施形態で生じる undershootの値は、米国特許第 5 , 6 2 9 , 7 3 4号明細書に開示された G 補間処理で生じる undershootの値を超えることはない。

ところで、第 1の実施形態では、 G補間処理の対象となる画像データが図 2 A、図 2 Bに示すようにべィァ配列されており、赤色成分の色情報と青色成分の色惰報とが互いに斜め方向に位置するため、例えば、補間対象画素に青色成分の色情報が存在する場合、主要項を補正すべき赤色成分の局所的な変曲情報は、補間対象画素との類似性が強い斜め方向に位置する赤色成分の色情報によって算出される。また、緑色の補間値は、式 4 4における Z[i-1， j+3]、 Z[i + 1， j- 3]や式 4 5における Z[i- 1, j- 3]、 Z[i + 1， j+3]や式 4 7における Z[i+3, j- 1]、 Z[i - 3, j+1]や式 4 8における Z[i- 3, j- 1]、 Z[i+3， j+1]のように、補間対象画素から離れた斜め方向に位置する画素の色情報を用いて算出される。

そのため、第 1の実施形態における G補間処理では、高精度の斜め類似性の判定が要求されるが、補間処理部 1 7は、斜め 45度方向および斜め 135度方向に対す .る複数種類の類似度成分を算出する際に、複数の色情報を用いることによって、高精度の斜め類似性の判定を可能にしている。

すなわち、第 1の実施形態では、高精度の斜め類似性の判定により、 G補間処理の精度が高められる。また、縦方向や横方向の類似性が強く、 Gv [ i , j ]や Gh [ i , j ]を用いて緑の補間値を算出する場合（case2、 case8) には、「補間対象画素と異なる色成分による局所的な変曲情報」として緑色成分の局所的な変曲情報が用いられ、緑色成分の局所的な平均情報は、赤色成分または青色成分の局所的な変曲情報と緑色成分の局所的な変曲情報とによって補正されることになる。

一般に、倍率色収差の影響としては、赤色成分と緑色成分とのずれ量が大きく，青色成分と緑色成分とのずれ量が小さいことが多い。そのため、補間対象画素に赤色成分の色情報が存在する場合、緑色成分の局所的な変曲情報は、赤色成分の局所的な変曲情報の逆位相の成分として作用し、過補正による偽色の発生を低減することができる。また、補間対象画素に青色成分の色情報が存在する場合、倍率色収差の影響が少ないので、過補正による偽色が発生し難い。

以下、 R B補間処理の動作を説明するが、ここでは、従来から行われている R B補間処理を説明した後、第 1の実施形態における R B補間処理のうち、図 5に示した R補間処理を説明する（B補間処理の説明は省略する）。 '

まず、従来から行われている R B補間処理としては、色差空間における線形補間処理が知られており、全ての画素の色差（赤色成分（または、青色成分）の色情報から緑色成分の色情報を減算した値）を算出した後に、補間対象画素毎に、以下の（ 1 ) 〜（ 3 ) の何れかの処理を行って、補間値が算出される。

( 1 ) 補間対象画素に欠落する色成分が、補間対象画素の上下方向に隣接する 2 つの画素に存在する場合、それらの 2つの画素の色差の平均値に補間对象画素の緑色成分の色情報を加算した値を補間値とする。

( 2 ) 補間対象画素に欠落する色成分が、補間対象画素の左右方向に隣接する 2 つの画素に存在する場合、それらの 2つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。

( 3 ) 補間対象画素に欠落する色成分が、補間対象画素の斜め方向に隣接する 4 つの画素に存在する場合、それらの 4つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。

また、色差空間における線形処理に比べて偽色の抑制効果が高い非線形の med i an処理を導入した補間処理も従来から行われている。米国特許第 5， 7 9 9， 1 1 3号明細書に開示された技術では、 R G B、 Y U V、 Y C b C rなどの何れかの表色系で示されるビデオ信号に対して 1 / 4の解像度の間引き圧縮を行って伝送容量を削減するが、このとき消失した間引き画素の 3成分データを補間して元の解像度と同じビデオ信号に戻す際に、非線形の me dian処理が導入されている。例えば、ビデオ信号が Y C b C r表色系で示されている場合、図 1 0 A〜 1 0 Cにおいて〇印、 △印、 X印が付与された間引き画素の輝度成分 Yの補間値と色成分 C b、 C rの補間値とが、全く同一の演算処理によって算出される。なお、エッジ部分の構造を残すため、 X印が付与された画素だけは近接する 4つの画素の median値（中央値）で補間され、〇印が付与された画素は横方向に隣接する画素の平均値で補間され、 Δ印が付与された画素は縦方向に隣接する画素の平均値で補間される。

しかし、このようにして行われる補間処理は、動画像における画質レベルの回復には都合が良いが、高精細が要求される静止画像には適さない。すなわち、米国特許第 5， 7 9 9 , 1 1 3号明細書に開示された技術では、輝度成分 Yと色成分 C r、 C bを全く同一に扱っているため、解像を担う輝度成分 Yの補間値の精度が極めて低い。また、輝度成分 Yを median値で補間するため、 '画像の構造が破壊される可能性が高く、 R G B表色系に変換した場合に偽色が拡大するおそれもめる。

ところで、 R G Bのカラーフィルタがべィァ配列された撮像素子によって、静止画像を生成する電子カメラでは、上述したような補間対象画素と周辺画素との類似性を利用したり、複数の色成分を利用して補間値を算出することによって、空間周波数の高い輝度成分に相当する緑色成分の補間処理（G補間処理）を極めて高精度に行うことが可能にある。このような電子カメラでは、画像データの高周波情報が最も反映され易い緑色成分の補間処理を高精細に行ってから、赤色成分と青色成分との補間処理を緑色成分に対する色差空間における線形補間で実現することによって、画像デ一タの高周波情報を赤色成分や青色成分に反映させて- 偽色の低減を図つている。

例えば、各画素の色情報が [R1，G2, R3]の順で一次元に配列されている場合、赤の補間値は、 R2=(Rl+R3)/2+(2-G2-Gl-G3)/2 ···式 4 9によって算出される。ただし、 G2は原画像の緑色成分の色情報を示し、 G1,G3は G補間処理によって得られた緑の補間値を示す。

ところが、このような RB補間処理では、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）の周辺に偽色が残るという問題が生じる。従来、この種の偽色を除去するため、 G補間処理および R B補間処理が行われた後に、画像データを L a b表色系に変換して得られる色相 a， b面に対して個別に median フィルタを掛けるという事後処理が良く用いられる。

しかし、このような medianフィルタを掛ける場合、 3 X 3 (= 9点）のフィル夕サイズでは、ほとんど有効に作用しないため、フィルタサイズを 5 X 5 (= 2 5点）の広域に設定する必要がある。

すなわち、上述した電子カメラでは、静止画像の赤色成分および青色成分の補間処理において、従来の方法による R B補間処理と median処理との 2度手間を強いられるばかりでなく、 median処理におけるフィルタサイズを大きくする必要があるため、非常に重い処理が課せられる。また、 median処理におけるフィルタサィズを大きくすることによって、彩色部分の細かい構造（以下、「色構造」と称する）を破壊する危険性も高くなる。

そこで、第 1の実施形態では、孤立点の周辺に偽色を残すことなく、色構造を破壊せずに、赤や青の補間値を高速かつ高精度で算出できる RB補間処理を提示する。ただし、以下では、このような RB補間処理のうち、 R補間処理のみを図 5を参照して説明する。

まず、補間処理部 1 7は、赤色成分の色情報が存在する画素毎に、赤色成分の色情報から緑の補間値（上述した G補間処理によって得られた値）を減算し、赤色成分を含む色差を算出する（図 5 S 1) 。

例えば、補間処理部 1 7は、赤色成分の色情報が存在する任意の座標 [i,j]に位置する画素における赤色成分を含む色差 Cr[i,j]を、

Cr[i, j]=R[i, j]-G[i, j] …式 50

によつて算出する。

なお、第 1の実施形態において、このようにして赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分の色情報が欠落して青色成分の色情報が存在する画素を斜め 4方向から囲むように配置されることになる。

補間処理部 1 7は、赤色成分を含む色差によって斜め 4方向が囲まれる画素 (第 1の実施形態では、赤色成分の色情報が欠落して青色成分の色情報が存在する画素に相当する）毎に、赤色成分を含む色差を、斜め方向に位置する画素における赤色成分を含む色差の中央値で補間する（図 5 S 2 ) 。

すなわち、第 1の実施形態において、補間処理部 1 7は、図 1 1 Aに示すように、赤色成分を含む色差によつて斜め 4方向が囲まれる任意の座標 [m,n]に位置する画素の色差 Cr[m,n]を、

し [m, n] =median |し r [m-1, n—丄_| , し r [m+1, n-1] ,

Cr[m-l,n+l],Cr[m+l,n+l]| …式 5 1

によって算出する。ただし、 median | | は、複数の要素の median値を算出する関数を示し、要素の数が偶数である場合、真ん中 2つの要素の平均値をとるものとする。

ところで、第 1の実施形態において、式 5 0およぴ式 5 1 によつて赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分および青色成分の色情報がともに欠落する画素を上下左右 4方向から囲むように配置されることになる。

補間処理部 1 7は、赤色成分を含む色差によつて上下左右 4方向が囲まれる画素（第 1の実施形態では、赤色成分および青色成分の色情報が欠落する画素に相当する）毎に、赤色成分を含む色差を、上下左右方向に位置する画素における赤色成分を含む色差の中央値で補間する（図 5 S 3 ) 。

すなわち、第 1の実施形態において、補間処理部 1 7は、図 1 1 Bに示すように、赤色成分を含む色差によって上下左右 4方向が囲まれる任意の座標 [m，n]に位置する画素の色差 Cr[m,n]を、

Cr [m, n] =median |Cr [m, n-1] , Cr Lm-1, nj，

Cr[m+l，n],Cr[m,n+l]i …式 5 2

によつて算出する。

次に、補間処理部 1 7は、赤色成分の色情報が欠落する画素毎に、式 5 1や式 5 2によって算出した赤色成分を含む色差を、緑色成分の色情報（緑色の補間値であっても良い）によって赤の補間値に変換する（図 5 S 4 ) 。

すなわち、補間処理部 1 7は、任意の座標 [m，n]に位置する画素の赤の補間値 R [m， n]を.、

R[m,n]=Cr[m,n]+G[m,n] …式 5 3

によって算出する。

以上説明した median処理は、色相を表す色差に対してのみ行われ、輝度成分に対しては行われない。また、 R補間処理において、図 1 2 Aの〇印が付与された画素が補間対象画素である場合、 3 X 5の範囲に位置する色差 Crを用いて X印が付与された画素における赤色成分を含む色差が算出されるので、〇印が付与された画素における赤色成分を含む色差は、 3 X 5の範囲に位置する色差 Crに重み付けをして median処理を行った結果に近い値を示す。また、図 1 23の八印が付与された画素が補間対象画素である場合、 5 X 3の範囲に位置する色差 Crを用いて X印が付与された画素における赤色成分を含む色差が算出されるので、 △印が付与された画素における赤色成分を含む色差は、 5 X 3の範囲に位置する色差 Crに重み付けをして median処理を行った結果に近い値を示す。

すなわち、第 1 の実施形態では、フィルタサイズを小さく抑えつつ、実質的には広域な median処理と同等の効果が得られる。そのため、第 1の実施形態によれば、色構造を破壊することなく、孤立点の周辺における偽色の発生を低減することができる。そのため、米国特許第 5， 7 9 9， 1 1 3号明細書に開示された技術と比べて、偽色を低減する効果が非常に大きい。

また、第 1の実施形態では、図 5 S 2 と図 5 S 3 との各々の median処理において、 4点の色差のみを用いるため、処理効率が良く、非常に高速な median処理が可能である。

なお、第 1の実施形態では、 G補間処理を行った後に R B補間処理を行っているが、 Y C b C rの表色系で示されて Y、 C b、 C rが 4 ： 1 ： 1 に間引かれた画像データでは、輝度成分 Yが完全な状態として残っているので、 G補間処理を行うことなく本実施形態と同様の R B補間処理を行うことができる。

《第 2の実施形態》以下、第 2の実施形態の動作を説明する。

なお、第 2の実施形態における R B補間処理は、第 1の実施形態と同様にして行えるため、ここでは、説明を省略する。

以下、 G補間処理について説明する力、第 1の実施形態と同じ動作については、説明を省略する。なお、第 2の実施形態における G補間処理と第 1の実施形態における G補間処理との相違点は、緑の補間値 G[i， j]を算出する際に用いる Gv[i， j]、 Gv45[i,j]、 Gvl35[i,j]、 Gh[i，j]、 Gh45[i,j]、 Ghl35 [i , j ]の値が異なる点である。そのため、第 2の実施形態では、 G補間処理における補間処理部 1 7の動作フローチャートの図示を省略する。また、以下では、図 2 Aのように、赤色成分が存在する画素を補間対象画素とした場合を想定して説明を行うが、第 2の実施形態は、図 2 Bのように、青色成分が存在する画素を補間対象画素とした場合でも適用できる。

補間処理部 1 7は、第 1の実施形態と同様にして補間対象画素の類似性の強さを判定し（図 4 S 1〜S 1 1 に相当する）、補間対象画素の類似性の強さを上述した casel〜case9の何れかに分類する。そして、補間処理部 1 7は、以下のようにして緑の補間値 G[i, j]を算出する。

easelのとき、 G[i， ]=Gv45[i, j]

case2のとき、 G[i， ]=Gv[i, j]

case3のとき、 G[i， ]=Gvl35[i， j]

case4のとき、 G[i， ] = (Gv45[i, j]+Gh45[i, j])/2

case5のとき、 G[i， ] = (Gv[i, j]+Gh[i, j])/2

case6のとき、 G[i, ] = (Gvl35[i, j]+Ghl35[i, j])/2

case7のとき、 G[i， ]=Gh45[i, j]

case8のとき、 G[i, ]=Gh[i,j]

case9のとき、 G[i, j]=Ghl35[i, j]

ただし、

Gv[i, j]=gv[i, j] + /3 red- 5 Rv[i, j] + ^ green- <? Gv[i, j] …式 5 4

Gv45 [i, j] =gv [i, j]+ a red- δ Rv45 [i, j]+ « green · S Gv [ i , j J

+ a blue- δ Bv45[i, j] . · ·式 5 5 Gvl35[i, j]=gv[i, j]+ a red- δ Rvl35[i, j] + a green- Gv[i j]

+ a blue- SBvl35[i, j] ···式 5 6

Gh[i, j]=gh[i, j] + /3 red- S Rh[i, j] + /3 green- δ Gh[i, j] …式 5 7

Gh45[i, j]=gh[i, j]+ a red- δ Rh45[i, j] + a green- <J Gh [ i , j ]

+ a blue- δ Bh45[i, j] …式 5 8

Ghl35[i j]=gh[i, j] + red- δ Rhl35 [i , j ] + a green- δ Gh[i, j]

+ a blue- S Bhl35[i, j] .-'式 5 9でぁる。

また、式 5 4〜式 5 9において、 red, a green, a blue, red, /3 greenは、 0 または正の定数であり、 a red+ a green+ a blue=l, red+/3 green=lを満たし、 gv [i j],gh[i, j]は、「緑色成分の局所的な平均情報」に対応する項であり、式 1や式 2の主要項に対応し、 δ Rv45[i, j], ^ v[i, j], δ Rvl35[i, j], 8 Rh45[i, j], δ R h[i j], SRhl35[i j] 8 Gv[i, j], δ Gh[i, j], δ Bv45[i, j], δ Bvl35[i, j], δ Bh45 [i,j〕， SBhl35[i j]は、各々の色成分の局所的な変曲情報に対応する項である。なお、このような緑色成分の局所的な平均情報および各色成分の局所的な変曲情報は、類似方向に応じて、以下のように算出される。

《緑色成分の局所的な平均情報》

gv[i, j] = (G[i, j-l]+G[i, j+l])/2 …式 6 0

gh[i, j] = (G[i-l, j]+G[i + l, j])/2 ···式 6 1

《赤色成分の局所的な変曲情報》

<J v45[i, j]=krl(2-Z[i-2, j+2]-Z[i - 2, j]-Z[i-2, j+4])/4

+kr2(2-Z[i, j]-Z[i, j-2]-Z[i, j+2])/4

+kr3(2-Z[i+2, j-2]-Z[i+2, j-4]-Z[i+2, j])/4 …式 6 2

SRv[i, j]=krl(2'Z[i- 2, j]-Z[i-2, j-2]-Z[i-2, j+2])/4

+kr2(2-Z[i, j]-Z[i, j-2]-Z[i, j+2])/4

+kr3(2-Z[i+2, j]-Z[i+2, j-2]-Z[i+2, j+2])/4 …式 6 3 5Rvl35[i, j]=krl(2-Z[i-2, j-2]-Z[i-2, j-4]-Z[i-2, j])/4

+kr2(2-Z[i, j]-Z[i, j-2]-Z[i, j+2])/4

+kr3(2-Z[i+2, j+2]-Z[i+2, j]-Z[i+2, j+4])/ …式 6 4

^Rh45[i, j]=krl(2-Z[i+2, j-2]-Z[i, j-2]-Z[i+4, j-2])/4 +kr2(2-Z[：i i， j] - Z[i_2， j]- Z[i+2, j])/4

+kr3(2-Z[：i1-2, j+2]-Z[i-4, j+2]-Z[i, j+2])/4 …式 6 5

^Rh[i, j]=krl(2-Z[i_! j-2]-Z[i-2, j-2]-Z[i+2, j-2])/4

+kr2(2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/4

+kr3(2-Z[i, j+2]-Z[i-2, j+2]-Z[i+2, j+2])/ …式 6 6 <JRhl35[i, j]=krl(2-Z[i-2, j-2]-Z[i-4, j-2]-Z[i, j-2])/4

+kr2(2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/4

+kr3(2-Z[i+2, j+2]-Z[i, j+2]-Z[i+4, j+2])/ …式 6 7 ただし、 krl,kr2,kr3は、 0または正の定数であり、 krl+kr2+kr3=lを満たす。《緑色成分の局所的な変曲情報》

5Gv[i, j] = (2-G[i-l, j]-G[i-l, j-2]-G[i-l, j+2]

+2-G[i + l, j]-G[i + l, j-2]-G[i + l, j+2])/8 …式 6 8 SGh[i, j] = (2-G[i, j- 1]- G[i 2, j- 1]- G[i+2， j- 1]

+2-G[i, j+l]-G[i-2, j + l]-G[i+2, j+l])/8 …式 6 9 《青色成分の局所的な変曲情報》

SBv45[i， j] = (2'Z[i- 1, j+1]- Z[i- 1， j-1] - Z[i- 1, j+3]

+2-Z[i + l, j-l]-Z[i + l, j-3]-Z[i + l, j+l])/8 …式 70 δ Bvl35[i, j] = (2-Z[i-l, j - 1]- Z[i- 1， j- 3]- Z[i- 1, j+1]

+2-Z[i + l, j+l]-Z[i + l, j-l]-Z[i + l, j+3])/8 …式 7 1

SBh45[i， j] = (2'Z[i + l, j- 1] - Z[i- 1， j - 1] - Z[i+3, j- 1]

+2'Z[i - 1, j+1]- Z[i- 3， j+1] - Z[i + 1, j + l])/8 …式 72 ί Bhl35[i, j] = (2-Z[i-l, j-l]-Z[i-3, j-l]-Z[i + l, j-1]

+2-Z[i + l, j+l]-Z[i-l, j+l]-Z[i+3, j+l])/8 …式 73 なお、図 1 3および図 1 4は、各色成分の局所的な変曲情報を算出する際に用いる色情報の位置を示す図である。すなわち、各色成分の局所的な変曲情報は、図 1 3および図 1 4の楕円で囲まれる領域に属する画素における色情報を用いて算出した変曲情報の成分を加重加算して得られることになる。

すなわち、 SRv45[i,j]は、縦方向および斜め 45度方向に方向性を有する局所的な変曲情報であり、 SRv[i，j]は、縦方向に方向性を有する局所的な変曲情報であり、 SRvl35[i， j]は、縦方向および斜め 135度方向に方向性を有する局所的な変曲惰報であり、 SRh45[i,j]は、横方向および斜め 45度方向に方向性を有する局所的な変曲情報であり、 5Rh[i，j]は、横方向に方向性を有する局所的な変曲情報であり、 SRhl35[i, j]は、横方向および斜め 135度方向に方向性を有する局所的な変曲情報である。

また、 SGv[i，j]は、縦方向に方向性を有する局所的な変曲情報であり、 SGh [i， j]は、横方向に方向性を有する局所的な変曲情報である。

さらに、 SBv45[i， j]は、縦方向および斜め 45度方向に方向性を有する局所的な変曲情報であり、 <5Bvl35[i， j]は、縦方向および斜め 135度方向に方向性を有する局所的な変曲惰報であり、 SBh45[i，j]は、横方向おょぴ斜め 45度方向に方向性を有する局所的な変曲情報であり、 SBhl35[i， j]は、横方向および斜め 135度方向に方向性を有する局所的な変曲情報である。

ところで、第 2の実施形態の式 5 4〜式 5 9およぴ式 6 2〜式 6 7において、上述した第 1の実施形態は、係数の比率を

a red: a green: a blue=l :0:1、 β red: β green=l :1、 krl： kr2 :kr3=0: 1 : 0に g殳疋した場合に相当する。

第 2の実施形態では、このような係数の比率を様々な値に設定することによつて、特徴や効果が異なる G補間処理を実現することができる。以下、係数の比率の代表例と、各々の代表例の特徴や効果を示す。

《代表例 1》

a red: green: a blue=l :0： β red: β green=l： 1_Λ krl： kr2 :kr3=l :6:1 このような設定は、第 1の実施形態に対し、赤色成分の局所的な変曲情報の算出方法を変更することを意味し、第 1の実施形態に比べ、より広範囲から抽出した赤色成分の局所的な変曲情報に、緩いローパスフィルタを方向性を考慮して適応的に掛けることに相当する。そのため、代表例 1の設定によれば、第 1の実施形態に対し、全体としての過補正の低減効果が高められる。

《代表例 2》

a red: a green: a blue=l:l:0, β red: β green=l： U krl :kr2 :kr3=0: 1： 0 このような設定は、第 1の実施形態において、斜め方向に類似性がある場合に赤色成分の局所的は変曲情報による過補正を防ぐ役割を果たす青色成分の局所的な変曲情報を、全て緑色成分の局所的な変曲情報で代用することに相当する。そのため、代表例 2の設定によれば、斜め方向に関する類似性の判定が不要となるので、アルゴリズムが簡略化され、かつ、過補正を防ぎつつも、十分なレベルの構造情報の抽出を達成することができる。

《代表例 3》

a red: a green: a blue=0:l:0、 β red: β green=0: krl :kr2 :kr3=設定不要このような設定は、代表例 2の設定において、赤色成分の過補正を防ぐ役割を果たした緑色成分の局所的な変曲情報を逆に補正項の中心的役割とすることに相当する。このように、補正項を緑色成分の変曲情報だけで構成しても、構造情報の抽出が可能である。これは、緑色成分の変曲情報にも、中心を通る赤色成分の変曲情報に相当する構造情報が多く含まれていることを意味する。また、代表例 3の設定は、主要項を構成する緑色成分の平均情報と同じ色成分による局所的な変曲情報で補正することに相当する。したがって、代表例 3の設定によれば、過補正を生じることがなく、代表例 2の設定と同様に、斜め方向に関する類似性の判定が不要となるので、アルゴリズムの簡略化が可能である。

《代表例 4》

a red: a green: a blue=0:0: K β red: β green=0: U krl :kr2 :kr3=設定不要このような設定は、代表例 2 と代表例 3 との関係と同様に、第 1の実施形態に対しても、赤色成分の局所的な変曲情報の過補正を防ぐ役割を果たしていた色成分の変曲情報を逆に補正項の中心的役割として設定することに相当する。代表例 4の設定によれば、青色成分の局所的な変曲情報による過補正を防ぐことはできないが、局所的な構造情報の抽出に関しては、第 1の実施形態と同程度の効果が得られる。

《代表例 5》

a red: a green: a blue=l:l:l β red: β green=l： K krl： kr2 :kr3=l :0:1 このような設定は、代表例 4の設定における過補正の対策として、中心を通る赤色成分の局所的な変曲情報を用いない場合であっても、有効な係数の比率の例を示している。代表例 5の設定によれば、代表例 3の設定と代表例 4の設定と同様に、局所的な構造情報を抽出する効果を得つつ、斜め方向に類似性がある場合の青色成分の局所的な変曲情報による過補正を周辺で構成される赤色成分の局所的な変曲情報で低減することができる。

《第 3の実施形態》

以下、第 3の実施形態の動作を説明する。

なお、第 3の実施形態における R B補間処理は、第 1の実施形態と同様にして行えるため、ここでは、説明を省略する。ただし、第 3の実施形態では、上述した式 5 1によって、緑色成分の色情報が存在する画素（Gのカラーフィルタが配された画素に対応する）の一部に対して赤色成分を含む色差が補間され、緑色成分の色情報が存在する残りの画素と青色成分が存在する画素とに対する赤色成分を含む色差が式 5 2によつて補間されることになる。

以下、 G補間処理について説明する。

第 3の実施形態では、図 3 A、図 3 Bに示すように、 G補間処理の対象となる画素の横方向に、最近接の緑色成分（最も近接する緑色成分）が存在する画素が位置するため、 G補間処理において、第 1の実施形態で行われる類似度の算出や類似方向の判定は不要である。ただし、第 2近接の緑色成分（2番目に近接する緑色成分）が存在する斜め 45度方向、斜め 135度方向等に対して、類似度の算出や類似方向の判定を行っても良い。

第 3の実施形態において、補間処理部 1 7は、図 3 A、図 3 Bに示すように配列された画像データに基づき、以下の式 74によって、緑の補間値 G[i，j]を算出する。

G[i, j] = (G[i-l, j]+G[i + l, j])/2

+(2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/8

+(2-Z[i, j-l]-Z[i-2, j-l]-Z[i+2,

+2-Z[i, j + l]-Z[i-2, j+l]-Z[i+2, j+l])/16 …式 74

ところで、式 74において、第 1項は「緑色成分の局所的な平均情報」であり、式 1や式 2の主要項に対応する。また、第 2項は「補間対象画素と同一の色成分による局所的な変曲情報」であり、第 3項は「補間対象画素と異なる色成分による局所的な変曲情報」であるが、補間対象画素に赤色成分の色情報が存在する場合（図 3 A ) 、第 3項は、「青色成分の局所的な変曲情報」であり、補間対象画素に青色成分の色情報が存在する場合（図 3 B ) 、第 3項は、「赤色成分の局所的な変曲情報」である。

すなわち、第 3の実施形態では、互いに逆位相を示す赤色成分の局所的な変曲情報と青色成分の局所的な変曲情報とによって、緑色成分の局所的な平均情報

(主要項）が補正されることになる。

したがって、第 3の実施形態では、第 1の実施形態と同様に、倍率色収差によつて、赤色成分の色情報と青色成分の色情報とが緑色成分の色情報に対してずれている場合であっても、主要項は、赤色成分の色情報と青色成分の色情報との平均的な変化量に応じて補正される（図 9 A、 9 B参照）。そのため、第 3の実施形態によれば、撮影光学系 1 2に倍率色収差が存在している場合であっても、所望の画素に対する主要項を補正することが可能であり、米国特許第 5， 6 2 9， 7 3 号明細書に開示された G補間処理で生じる overshootと undershootとが打ち消し合うことを意味する。したがって、第 3の実施形態によれば、過補正による偽色の発生を低減することができる。

《第 4の実施形態》

以下、第 4の実施形態の動作を説明する。

なお、第 4の実施形態における R B補間処理は、第 1の実施形態と同様にして行えるため、ここでは、説明を省略する。

以下、 G補間処理について説明するが、第 1の実施形態と同じ動作については、説明を省略する。なお、第 4の実施形態における G補間処理と第 1の実施形態における G補間処理との相違点は、補間対象画素の類似性の強さを判定した後の動作が異なる点である。そのため、第 4の実施形態では、 G補間処理における補間処理部 1 7の動作フローチヤ一トの図示を省略する。

補間処理部 1 7は、第 1の実施形態と同様にして補間対象画素の類似性の強さを判定し（図 4 S 1〜S 1 1 に相当する）、補間対象画素の類似性の強さを上述した casel〜case9の何れかに分類する。

そして、補間処理部 1 7は、類似性が強いと判定された方向に直行する方向に対し、緑色成分の傾斜 Gk [ i，j ]と、赤色成分（または、青色成分）の傾斜 Zk [ i , j ] とを、以下のようにして算出する。

easelのとき、

Gk[i, j] = ((G[i-l, j]+G[i, j-l])-(G[i, j + l]+G[i + l, j]))/2 …式 7 5

Zk[i, j] = ((Z[i-2, j]+Z[i, j-2])-(Z[i, j+2]+Z[i+2, j]))/2 …式 7 6 case2のとき、

Gk[i, j]=G[i, j-l]-G[i, j+1] …式 7 7

Zk[i， j]=Z[i,j-2] - Z[i, j+2] …式 7 8

case3のとき、

Gk[i, j] = ((G[i-l, j]+G[i, j+l])-(G[i, j-l]+G[i + l, j]))/2 …式 7 9

Zk[i, j] = ((Z[i- 2， j]+Z[i，j+2])- (Z[i， j - 2]+Z[i+2, j]))/2 …式 8 0 case4のとき、 easelと同じ

case5のとき、 Gk[i，j] = l、 Zk[i, j]=l

case6のとき、 case3と岡じ

case7のとき、 easelと同じ

case8のとき、

Gk[i, j]=G[i-l, j]-G[i + l, j] …式 8 1

Zk[i, j]=Z[i-2, j]-Z[i+2, j] …式 8 2

case9のとき、 case3と同じ

次に、補間処理部 1 7は、以下のようにして緑の補間値 G[i, j]を算出する。 easelのとき G[ ]=Gvk[i, j]

case2のとき G[ ]=Gvk[i, j]

case3のとき G[ ]=Gvk[i, j]

case4のとき G[ ] = (Gvk[i, j]+Ghk[i, j])/2

case5のとき G[ ] = (Gvk[i, j]+Ghk[i, j])/2

case6のとき G[ , j] = (Gvk[i, j]+Ghk[i, j])/2

case7のとき G[ ]=Ghk[i, j]

case8のとき G[ ]=Ghk[i, j]

case9のとき G[i, j]=Ghk[i, j]

ただし、 Gvk[i, j] = (G[i, j-l]+G[i, j+l])/2

+Gk[i, j]/Zk[i, j]-(2-Z[i, j]-Z[i, j-2]-Z[i, j+2])/ …式 8 3

Ghk[i, j] = (G[i-l, j]+G[i + l, j])/2

+Gk[i, j]/Zk[i, j]-(2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/4 …式 8 4である。ところで、式 8 3およぴ式 8 4において、第 1項は、「緑色成分の局所的な平均情報」であり、式 1や式 2の主要項に対応する。また、第 2項は、加重係数

(緑色成分の傾斜 Gk[i, j]と、赤色成分（または、青色成分）の傾斜 Zk[i,j]との相関を示す値： Gk[i， j]/Zk[i, j]) が掛けられた「補間対象画素と同一の色成分による局所的な変曲情報」であり、補正項に対応する。

すなわち、第 4の実施形態では、緑色成分の局所的な平均情報を、加重係数を掛けた「補間対象画素と同一の色成分による局所的な変曲情報」によって補正している。

ここで、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な変曲情報」を「緑色成分の局所的な平均情報」に加算して補正値を算出する場合の問題点を示す。

例えば、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが図 1 5の眷印のように与えられている場合（所定の位置を境に緑色成分の色情報が増加し、赤色成分（または、青色成分）の色情報が減少する場合）、「補間対象画素と同一の色成分による局所的な変曲情報」は正の値となる。したがって、このような場合、加重係数を掛けずに '「補間対象画素と同一の色成分による局所的な変曲情報」を「緑色成分の局所的な平均情報」に加算すると、本来、負の方向に補正されるべき、「緑色成分の局所的な平均情報」は、図 1 5の Δ印のように正の方向に補正され overshootが生じる。

すなわち、色境界部分において、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが所定の位置を境に逆方向に変化する場合、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な変曲情報」を「緑色成分の局所的な平均情報」に加算して補正項を算出すると、 overshootや undershootが生じることになる。

一方、本実施形態において、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが図 1 5の秦印のように与えられている場合、緑色成分の傾斜 Gk

[i, j]の符号と赤色成分（または、青色成分）の傾斜 Zk[i， j]の符号とが逆になり、加重係数は負の値となる。そのため、本実施形態では、図 1 5の□印に示すように、「緑色成分の局所的な平均情報」が所望の方向に補正されるため、 overshoo tや undershootが発生することはない。

すなわち、第 4の実施形態によれば、色境界部分における過補正による偽色の発生を低減することができる。

なお、第 4の実施形態では、加重係数の値に何ら制限を設けていないが、加重係数の値をある範囲内に制限することによって、補正項が過大になることを防ぐことができる。

例えば、加重係数の値の範囲としては、

|Gk[i, j]/Zk[i, j]|≤5¾どが考えられる。

《第 5の実施形態》

以下、第 5の実施形態の動作を説明する。

なお、第 5の実施形態における R B補間処理は、第 1の実施形態と同様にして行えるため、ここでは、説明を省略する。ただし、第 5の実施形態では、第 3の実施形態と同様に、式 5 1によって、緑色成分の色情報が存在する画素の一部に対して赤色成分を含む色差が補間され、緑色成分の色情報が存在する残りの画素と青色の色成分が存在する画素とに対する赤色成分を含む色差が式 52によって補間されることになる。

以下、 G補間処理について説明する。

第 5の実施形態では、図 3 A、図 3 Bに示すように、 G補間処理の対象となる面素の横方向に、最近接の緑色成分が存在する画素が位置するため、横方向に位置する画素に存在する色情報を用いて補間処理を行うことが最も単鈍である。そこで、第 5の実施形態では、第 4の実施形態の case8と同様にして、緑の補間値 G [i，j]を算出するものとする。

すなわち、補間処理部 1 7は、式 8 5によって、緑の補間値 G[i, j]を算出する

G[i, j] = (G[i-l, j]+G[i + l, j])/2

+Gk[i, j]/Zk[i, j] -(2-Z[i, j]-Z[i-2, j]-Z[i+2, j])/4 …式 8 5 ただし、

Gk[i, j]=G[i-l, j]-G[i + l, j] …式 8 1

Zk[i, j]=Z[i-2, j]-Z[i+2, j] …式 8 2である。

このように、第 5の実施形態では、第 4の実施形態と同様に、緑色成分の局所的な平均情報を、加重係数（緑色成分の傾斜 Gk[i，j]と、赤色成分（または、青色成分）の傾斜 Zk[i,j]との相関を示す値： Gk[i, j]/Zk[i, j]) を掛けた「補間対象画素と同一の色成分に局所的な変曲情報」によって補正している。そのため、第 5の実施形態によれば、色境界部分における過補正による偽色の発生を低減することができる。

なお、上述した各実施形態では、 G補間処理および R B補間処理において、色差を色相として用いる例を説明したが、色相として色の比などを用いても、色差と同様に、 G補間処理および R B補間処理を行うことができる。

なお、上述した各実施形態では、各色成分の変曲情報を 2次微分で求める例を示したが、この内容に限定する必要はない。高次の微分で求めるようにしてもよい。すなわち、各色成分の変化率の変化の程度を求めることができる方法であればどのような方法であつてもよい。

《第 6の実施形態》

以下、第 6の実施形態の動作を説明する。

図 1 6は、第 6の実施形態の機能ブロック図である。図 1 6において、機能が図 1 に示す機能プロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。

なお、図 1 6に示す電子カメラ 2 0 と図 1 に示した電子力メラ 1 0 との構成の相違点は、図 1 6の制御部 2 1 と画像処理部 2 2 とが図 1の制御部 1 1 と画像処理部 1 5 とに代えて設けられ、図 1 6のインタフヱース部 2 3が新たに設けられた点である。

また、図 1 6において、パーソナルコンピュータ 3 0は、 C P U 3 1、インタフェース部 3 2、ハードディスク 3 3、メモリ 3 4、 C D— R OMドライブ装置 3 5およぴ通信インターフェース部 3 6を有し、 C P U 3 1 は、バスを介してィンタフエース部 3 2、ハードディスク 3 3、メモリ 3 4、 C D— R OMドライブ装置 3 5およぴ通信インターフェース部 3 6 に接続される。

なお、パーソナルコンピュータ 3 0には、 C D— R O M 3 7などの記録媒体に記録された補間処理プログラム（前述した各実施形態の補間処理部 1 7 と同様にして補間処理を実行する補間処理プログラム）が C D— R O Mドライブ装置 3 5 を介して予めインストールされているものとする。すなわち、ハードディスク 3 3には、このような補間処理プログラムが実行可能な状態で格納されている。以下、図 1 6 を参照して第 6の実施形態の動作を説明する。

まず、電子力メラ 2 0では、図 1 に示した電子力メラ 1 0 と同様にして生成された画像データが画像処理部 2 2 に供給される。画像処理部 2 2は、画像データに補間処理以外の画像処理（例えば、階調変換処理など）を施し、記録部 1 6では、画像処理が施された画像データが画像ファイルの形式で記録される。

このような画像ファイルは、インタフヱース部 2 3 を介してパーソナルコンビユータ 3 0 に供給される。

パーソナルコンピュータ 3 0内の C P U 3 1 は、インタフヱース部 3 2 を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。補間処理により各色成分の解像度が高められた画像データは、必要に応じて画像圧縮等を行ってから、ハードディスク 3 3などに記録され、最終的に、ディスプレイ、プリンタなどの各接続機器に応じた表色系データとして出力される。

すなわち、第 6の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ 3 0 によって行うことができる。

上記第 6の実施形態では、補間処理プログラムを C D— R O M 3 7の記録媒体で提供する例を説明したが、記録媒体は C D— R O Mに限定されない。磁気テープゃ D V Dやその他のあらゆる記録媒体が使用可能である。

また、それらのプログラムをインターネットなどに代表される通信回線 3 8などの伝送媒体を介して提供することも可能である。すなわち、プログラムを、伝送媒体を搬送する搬送波上の信号に変換して送信することも可能である。図 1 6 のパーソナルコンピュータ 3 0はそのような機能も有する。

パーソナルコンピュータ 3 0は通信回線 3 8 と接続する通信インターフェース部 3 6を有する。サーバーコンピュータ 3 9は補間処理プログラムを提供するサ一バーコンピュータであり、内部のハードディスクなどの記録媒体に補間処理プログラムが格納されている。通信回線 3 8は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。通信回線 3 8は、電話回線や携帯電話などの無線電話回線などを含む。

なお、図 1の電子力メラ 1 0では、電子力メラ 1 0内部で実行される本発明の補間処理プログラムは通常製造時に R O M (不図示）などに搭載される。しかし- 補間処理プログラムを搭載する R O Mを書き換え可能な R O Mとし、図 1 6 と同様な構成でコンピュータに接続し、コンピュータを介して C D— R O Mなどの記録媒体から改良プログラムの提供を受けることも可能である。さらには、上記と同様にィンタ一ネット等を介して改良プログラムの提供を受けることも可能である。

Claims

請求の範囲

1 . 第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1 種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

2 . クレーム 1 に記載の補間処理装置において、

前記補間値算出手段は、

前記 2種類以上の色成分の局所的な変曲情報として、

( 2 ) 補間対象画素とは異なる色成分による局所的な変曲情報とを含む局所的な変曲情報を算出する。

3 . 第 1〜第 II ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1 種類の色成分の色情報が存在する画像デ—タに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

4 . 第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1 種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

5 . クレーム 1 ないしクレーム 3の何れか 1 に記載の補間処理装置は、

補間対象画素と第 1色成分の色情報が存在する画素とを結ぶ少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 1の類似性判定手段と- 前記第 1の類似性判定手段によつて類似性の強弱が判定される方向とは異なる少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 2の類似性判定手段とを備え、

前記補間値算出手段は、

前記第 1色成分の局所的な平均情報を算出する際に用いる色情報が存在する画素の方向を、前記第 1の類似性判定手段による判定結果に基づいて選択し、

( 1 ) 前記局所的な変曲情報が、「単一色成分で構成され、前記第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」である場合、該局所的な変曲情報を算出する際に用いる色情報が存在する画素の方向を該第 1の類似性判定手段による判定結果に基づいて選択し、

( 2 ) 前記局所的な変曲情報が、「単一色成分で構成され、前記第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」である場合、該局所的な変曲情報を算出する際に用いる色情報が存在する画素の方向を該第 2の類似性判定手段による判定結果に基づいて選択する。

6 . 第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の面素に 1 種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第 1項と第 2項との 2つの項で構成される補間値を算出する補間値算出手段と、

補間対象画素と第 1色成分の色情報が存在する画素とを結ぶ少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 1の類似性判定手段と、前記第 1の類似性判定手段によって類似性の強弱が判定される方向とは異なる少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 2の類似性判定手段とを備え、

前記補間値算出手段は、

前記第 1項を算出する際に用いる色情報が存在する画素の方向を、前記第 1の類似性判定手段による判定結果に基づいて選択し、前記第 2項を算出する際に用いる色情報が存在する画素の方向を、前記第 2の類似性判定手段による判定結果に基づいて選択する。

7 . クレーム 6に記載の補間処理装置において、

前記補間値算出手段は、

前記第 1項として、

( b ) 単一色成分で構成され、前記第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報とを含む項を算出し、前記第 2項として、

単一色成分で構成され、前記第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報を含む項を算出する。

8 . クレーム 5またはクレーム 7に記載の補間処理装置において、

画像データが第 1〜第 3の色成分から成る表色系で示され、第 1色成分が第 2 色成分および第 3色成分に比べて空間周波数が高く、第 1色成分が市松模様状に配置されると共に、第 2色成分およぴ第 3色成分がそれぞれ第 1色成分の間に線順次に配置され、補間対象画素に第 2色成分が存在する場合、

前記第 1の類似性判定手段は、補間対象画素と補間対象画素に最も近接する第 1色成分が存在する画素とを結ぶ縦横 2方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、該縦横 2方向に対する補間対象画素の類似性の強弱を判定し、

前記第 2の類似性判定手段は、

補間対象画素と補間対象画素に最も近接する第 3色成分が存在する画素とを結ぶ斜め 2方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、該斜め 2方向に対する補間対象画素の類似性の強弱を判定し、

前記補間値算出手段は、

「単一色成分で構成され、前記第 1の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」を、第 2色成分と第 1 色成分との少なくとも一方に対応させ、「単一色成分で構成され、前記第 2の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な変曲情報」を、第 2色成分と第 3色成分との少なくとも一方に対応させる。

9 . クレーム 8に記載の補間処理装置において、

前記補間値算出手段は、

前記局所的な変曲情報が、「補間対象画素とは異なる色成分による局所的な変曲情報」である場合、該局所的な変曲情報を、第 1色成分に対応させるか、第 3 色成分に対応させるかを、前記第 2の類似性判定手段によって判定された類似性の強弱に応じて切り替える。

1 0 . クレーム 9に記載の補間処理装置において、

前記補間値算出手段は、

前記第 2の類似性判定手段によつて'、前記斜め 2方向の類似性が同程度であると判定された場合、第 1色成分による局所的な変曲情報を算出し、該斜め 2方向の類似性のうち、一方の斜め方向の類似性が他方の斜め方向の類似性よりも強いと判定された場合、第 3色成分による局所的な変曲情報を算出する。

1 1 . クレーム 8に記載の補間処理装置において、前記第 1の類似性判定手段は、

前記縦横 2方向の類似度の差異が所定の閾値よりも小さい場合、該縦横 2方向の類似性が同程度であると判定し、

前記第 2の類似性判定手段は、

前記斜め 2方向の類似度の差異が所定の閾値よりも小さい場合、該斜め 2方向の類似性が同程度であると判定する。

1 2 . クレーム 8に記載の補間処理装置において、

前記第 1 の類似性判定手段は、

1つの補間対象画素につき、前記縦横 2方向の類似度を複数の色成分の色情報を用いて算出し、

前記第 2の類似性判定手段は、

1つの補間対象画素につき、前記斜め 2方向の類似度を複数の色成分の色情報を用いて算出する。

1 3 . クレーム 1 2に記載の補間処理装置において、

前記第 2の類似性判定手段は、

前記斜め 2方向の各々の方向毎に、

( 1 ) 第 1色成分のみの色情報から成る類似度成分と、

( 2 ) 第 2色成分のみの色情報から成る類似度成分と、

( 3 ) 第 3色成分のみの色情報から成る類似度成分と、

( 4 ) 第 2色成分および第 3色成分の色情報から成る類似度成分とを加重加算して、各々の方向の類似度を算出する。

1 4 . クレーム 8に記載の補間処理装置において、

前記第 1 の類似性判定手段は、

各々の画素における縦横 2方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の縦横 2方向に対する類似性を判定し、前記第 2の類似性判定手段は、

各々の画素における斜め 2方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の斜め 2方向に対する類似性を判定する。

1 5 . 第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理を行う補間処理装置は、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色成分の色情報を用いて、補間対象画素に関する第 1色成分の平均情報を表す第 1項を算出する第 1項算出手段と、

補間対象画素が属する局所的領域に位置する画素に存在する色成分の色情報を用いて、補閬対象画素に関して補間対象画素と同一の色成分による局所的な変曲情報を表す第 2項を算出する第 2項算出手段と、

補間対象画素が属する局所的領域に位置する画素に存在する複数の色成分の色情報から成る加重係数を前記第 2項に掛けて、前記第 1項と加算することによつて、補間値を算出する補間値算出手段とを備える。

1 6 . クレーム 1 5に記載の補間処理装置において、

前記補間値算出手段は、

補間対象画素および補間対象画素に対して予め決められた方向に位置する複数の画素に存在する複数の色成分の色情報を用い、各々の色成分別に該方向に対する色情報の傾きを求め、該色成分別の色情報の傾きの相関に応じて前記加重係数を算出する。

1 7 . 輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、色成分の存在する画素と色成分が欠落する画素との両方に輝度成分が存在する画像データに対し、色成分が欠落する画素に色成分を補うための処理を行う補間処理装置は、補間処理の対象となる補間対象画素の近傍に位置して輝度成分と色成分とが存在する複数の画素の色相値を、各々の画素の辉度成分と色成分とを用いて算出する色相値算出手段と、

前記色相値算出手段で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手段と、

補間対象画素に存在する輝度成分を用いて、前記色相値補間手段で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手段とを備える。

1 8 . 輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、 1画素につき輝度成分と色成分との何れか一方が存在する画像データに対し、輝度成分が欠落する画素に輝度成分を補い色成分が欠落する画素に色成分を補うための処理を行う補間処理装置は、

「輝度成分の補間処理の対象となる輝度成分補間対象画素と輝度成分補間対象画素の近傍に位置する画素との類似性」と「輝度成分補間対象画素が属する局所的領域內の複数の色成分」との少なくとも一方を利用して、輝度成分補間対象画素の輝度成分を補間する輝度成分補間手段と、

色成分の補間処理の対象となる補間対象画素の近傍に位置し、色成分が存在して前記輝度成分補間手段によって輝度成分が補間された複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手段と、

1 9 . クレーム 1 7またはクレーム 1 8に記載の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、前記色相値補間手段は、

補間対象画素に緑色成分が存在して赤色成分が欠落する場合、補間対象画素の近傍に位置する画素の赤色成分を含む色相値の中央値によつて補間対象画素の色相値を算出し、補間対象画素に緑色成分が存在して青色成分が欠落する場合、補間対象面素の近傍に位置する画素の青色成分を含む色相値の中央値によつて補間対象画素の色相値を算出する。

2 0 . クレーム 1 7またはクレーム 1 8に記載の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、

前記色相値補間手段は、

補間対象画素に青色成分が存在して赤色成分が欠落する場合、補間対象画素の近傍に位置する画素の赤色成分を含む色相値の中央値によつて補間対象画素の色相値を算出する。

2 1 . クレーム 1 7またはクレーム 1 8に記載の補間処理装置において、画像データの輝度成分が緑色成分に対応し、画像データの色成分が赤色成分と青色成分とに対応する場合、

前記色相値補間手段は、

補間対象画素に赤色成分が存在して青色成分が欠落する場合、補間対象画素の近傍に位置する画素の青色成分を含む色相値の中央値によつて補間対象画素の色相値を算出する。

2 2 . クレーム 1 7ないしクレーム 2 1の何れか 1項に記載の補間処理装置において、補間対象画素に欠落する色成分が、縦横対称に配置された 4画素のうち 1画素のみに存在する場合、

前記色相値補間手段は、

補間対象画素の斜め方向に隣接する複数の斜め隣接画素の色相値が前記色相値算出手段によって算出されている場合、該斜め隣接画素の色相値の中央値によつて補間対象画素の色相値を算出する第 1の色相値補間部と、

補間対象画素の縦方向と横方向とに隣接する複数の縦横隣接画素の色相値が前記色相値算出手段または前記第 1 の色相値補間部によって算出されている場合、該縦横隣接画素の色相値の中央値によって補間対象画素の色相値を算出する第 2 の色相値補間部とを備える。

2 3 . 記録媒体は、第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュ一夕で実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

2 4 . 記録媒体は、第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色惰報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュ一夕で実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

2 5 . 記録媒体は、第 1〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像デ一タに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュ一夕で実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、

2 6 . 記録媒体は、第 1 〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンビュータで実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所 ^的領域に位置する画素の色情報を用いて、少なくとも、第 1項と第 2項との 2つの項で構成される補間値を算出する補間値算出手順と、

補間対象画素と第 1色成分の色情報が存在する画素とを結ぶ少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 1の類似性判定手順と- 前記第 1の類似性判定手順によつて類似性の強弱が判定される方向とは異なる少なくとも 2つの方向に対し、補間対象画素との類似性の強弱を判定する第 2の類似性判定手順とを有し、

前記補間値算出手順は、

前記第 1項を算出する際に用いる色情報が存在する画素の方向を、前記第 1の類似性判定手順による判定結果に基づいて選択し、前記第 2項を算出する際に用いる色情報が存在する画素の方向を、前記第 2の類似性判定手順による判定結果に基づいて選択する。

2 7 . 記録媒体は、第 1 〜第 n ( n≥ 2 ) の色成分から成る表色系で示され、各々の画素に 1種類の色成分の色情報が存在する画像データに対し、第 1色成分が欠落する画素に第 1色成分の色情報に相当する補間値を決める処理をコンピュ一夕で実現するための補間処理プログラムを記録し、該補間処理プログラムは、補間処理の対象となる補間対象画素が属する局所的領域に位置する面素に存在する色成分の色情報を用いて、補間対象画素に関する第 1色成分の平均情報を表す第 1項を算出する第 1項算出手順と、

補間対象画素が属する局所的領域に位置する画素に存在する色成分の色情報を用いて、補間対象画素に関して補間対象画素と同一の色成分による局所的な変曲情報を表す第 2項を算出する第 2項算出手順と、

補間対象画素が属する局所的領域に位置する画素に存在する複数の色成分の色情報から成る加重係数を前記第 2項に掛けて、前記第 1項と加算することによつて、補間値を算出する補間値算出手順とを有する。

2 8 . 記録媒体は、輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、色成分の存在する画素と色成分が欠落する画素との雨方に輝度成分が存在する画像デ一タに対し、色成分が欠落する画素に色成分を補う処理をコンピュータで実現するための補間処理プログラムを記録し、該補間処理プログラムは、

補間処理の対象となる補間対象画素の近傍に位置して輝度成分と色成分とが存在する複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手順と、

前記色相値算出手順で算出された複数の画素の色相値の中央値によって、補間対象画素の色相値を算出する色相値補間手順と、

補間対象画素に存在する輝度成分を用いて、前記色相値補間手順で算出された補間対象画素の色相値を色成分に変換して、補間対象画素の色成分を補間する色変換手順とを有する。

2 9 . 記録媒体は、輝度成分と色成分とから成る表色系で示され、輝度成分の空間周波数が色成分の空間周波数よりも高く、 1画素につき輝度成分と色成分との何れか一方が存在する画像データに対し、輝度成分が欠落する画素に輝度成分を補い色成分が欠落する画素に色成分を補う処理をコンピュータで実現するための補間処理プログラムを記録し、該補間処理プログラムは、「輝度成分の補間処理の対象となる輝度成分補間対象画素と輝度成分補間対象画素の近傍に位置する画素との類似性」と「輝度成分補間対象画素が属する局所的領域内の複数の色成分」との少なくとも一方を利用して、輝度成分補間対象画素の輝度成分を補間する輝度成分補間手順と、

色成分の補間処理の対象となる補間対象画素の近傍に位置し、色成分が存在して前記輝度成分補間手順によって輝度成分が補間された複数の画素の色相値を、各々の画素の輝度成分と色成分とを用いて算出する色相値算出手順と、