JP4599672B2 - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents
補間処理装置および補間処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4599672B2 JP4599672B2 JP2000204768A JP2000204768A JP4599672B2 JP 4599672 B2 JP4599672 B2 JP 4599672B2 JP 2000204768 A JP2000204768 A JP 2000204768A JP 2000204768 A JP2000204768 A JP 2000204768A JP 4599672 B2 JP4599672 B2 JP 4599672B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- interpolation
- color
- value
- color component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Description
【０００１】
【発明の属する技術分野】
本発明は、カラーの画像データに対し、各々の画素に欠落する色成分や輝度成分を補うための補間処理を行う補間処理装置および該補間処理をコンピュータで実現させるための補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
電子カメラには、３色（ＲＧＢ：赤・緑・青）のカラーフィルタが所定の位置に配置（例えば、ベイア配列など）された撮像素子によって、カラーの画像データを生成するものがある。このような電子カメラでは、撮像素子の個々の画素から１つの色成分の色情報しか出力されないため、画素単位で全ての色成分の色情報を得るために、補間処理を行う必要がある。
【０００３】
このような補間処理の方法としては、補間処理の対象となる補間対象画素の空間的な類似性を判定し、類似性の強い方向に位置する画素から出力される色情報を用いて補間値を算出する方法が従来から考えられている。
例えば、米国特許第５,６２９,７３４号明細書に開示された技術では、補間対象画素（緑色成分が欠落する画素）の色情報をＡ５とし、補間対象画素と同色のカラーフィルタが配された画素の色情報をＡ１、Ａ３、Ａ７、Ａ９とし、緑のカラーフィルタが配された画素の色情報をＧ２、Ｇ４、Ｇ６、Ｇ８として、各画素の色情報が以下のように配置されている状態において、補間対象画素の緑の補間値Ｇ５は、式１ないし式３の何れかによって算出される。
【０００４】
まず、水平方向の類似性が強い場合、補間対象画素の緑の補間値Ｇ５は、
G5=(G4+G6)/2+(-A3+2A5-A7)/4 ・・・式１
によって算出され、垂直方向の類似性が強い場合、補間対象画素の緑の補間値Ｇ５は、
G5=(G2+G8)/2+(-A1+2A5-A9)/4 ・・・式２
によって算出され、水平方向の類似性と垂直方向の類似性とが同程度である場合、補間対象画素の緑の補間値Ｇ５は、
G5=(G2+G4+G6+G8)/4+(-A1-A3+4A5-A7-A9)/8 ・・・式３
によって算出される。なお、以下の説明を簡単にするために、式１および式２の第１項（(G4+G6)/2、(G2+G8)/2）を主要項と称し、式１および式２の第２項（(-A3+2A5-A7)/4、(-A1+2A5-A9)/4）を補正項と称する。
【０００５】
米国特許第５,６２９,７３４号明細書に開示された技術において、補間処理の対象となる画像データの類似性が水平方向に強く、Ａ３、Ｇ４、Ａ５、Ｇ６、Ａ７が図１７の●印のように与えられていると仮定した場合、Ａ３とＡ５との平均値をＡ４とし、Ａ５とＡ７との平均値をＡ６とすると、式１の補正項の値は、Ａ４とＡ６との平均値に対するＡ５の差違を示すベクトル量（図１７のα）に相当する。また、緑の補間値Ｇ５は、水平方向に隣接する画素の色情報の平均値（式１の主要項の値に相当する）をαだけ補正した値に相当する。
【０００６】
すなわち、米国特許第５,６２９,７３４号明細書に開示された技術では、緑色成分と補間対象画素における色成分（赤色成分または青色成分）との色差が一定である（図１７において、(A4-G4)、(A5-G5)、(A6-G6)が一致する）と仮定し、類似性が強い方向に隣接する画素の色情報の平均値を、補間対象画素と同色の色情報を用いて補正することによって、緑の補間値を算出している。
【０００７】
【発明が解決しようとする課題】
ところで、レンズなどの光学系には、倍率色収差が存在することが知られている。
例えば、ＲＧＢの３色のカラーフィルタがベイア配列された撮像素子を備えた電子カメラの撮影レンズに、倍率色収差が存在する場合、図１８に示すように、赤色成分および青色成分は、緑色成分の結像位置から、それぞれ少しずつずれた位置に結像する。
【０００８】
ところで、撮影レンズに倍率色収差が存在しない状態で、各画素の色情報が図１９（１）の●印のように与えられている場合（補間処理の対象となる画像データの類似性が水平方向に強く、緑色成分の色情報が一定で、赤色成分や青色成分の色情報が補間対象画素（Ａ５が存在する画素）の近傍でなだらかに変化する場合）、式１の補正項の値が０となるため、Ｇ４とＧ６との平均値（主要項）は補正されることなく緑の補間値Ｇ５となる。
【０００９】
しかし、Ａ３、Ａ５、Ａ７が赤色成分の色情報であり、撮影レンズの倍率色収差によって、これらの赤色成分の色情報が右方向に１画素ずつずれた場合、各画素の色情報は、図１９（２）のように変化することになる。そのため、このような場合、式１の補正項が０とならず、主要項が過剰に補正（以下、「過補正」と称する）され、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、Ｇ４やＧ６よりも大きな値となる（以下、このような現象を「overshoot」と称する）。一方、Ａ３、Ａ５、Ａ７が青色成分の色情報であり、倍率色収差によって、これらの青色成分の色情報が左方向に１画素ずつずれた場合、各画素の色情報は、図１９（３）のように変化することになる。そのため、このような場合、式１の補正項は０とならず、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、過補正によって、Ｇ４やＧ６よりも小さな値となる（以下、このような現象を「undershoot」と称する）。
【００１０】
すなわち、米国特許第５,６２９,７３４号明細書に開示された技術では、倍率色収差の影響によって、補間処理で得られたカラー画像に偽色が発生してしまう。
ところで、過補正は、倍率色収差が存在する場合に限らず、色差が変化する色境界部分でも発生する。
例えば、各画素の色情報が図２０（１）、（２）の●印のように与えられている場合（緑色成分の色情報が一定で、赤色成分または青色成分の色情報が補間対象画素（Ａ５が存在する画素）の近傍で急変する場合）、式１の補正項は０とならず、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、過補正によってovershootまたはundershootを生じることになる。
【００１１】
したがって、色差が変化する色境界部分では、倍率色収差が存在しない場合であっても、補間処理によって偽色が発生してしまう。なお、以上説明したような偽色は、緑の補間値を算出する場合に限らず、赤や青の補間値を算出する場合にも発生し得る。そこで、請求項１ないし請求項１２に記載の発明は、偽色の発生を抑制できる補間処理装置を提供することを目的とし、請求項１３ないし請求項１６に記載の発明は、偽色の発生を抑制できる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【００１２】
また、請求項１ないし請求項１６に記載の発明は、従来の補間処理における利点を失わずに瑕疵を減らし、倍率色収差による影響を低減することによって、偽色の発生を抑制することを目的とする。
【００１３】
請求項１に記載の補間処理装置は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する２種類以上の色成分の局所的な曲率の値とを加算した値で構成される補間値を算出する補間値算出手段を備えたことを特徴とする。
【００１４】
すなわち、請求項１に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素に関する２種類以上の色成分の局所的な曲率の値」で補正することによって、補間値を算出する。なお、請求項１において、「補間対象画素に関する第１色成分の局所的な平均値」とは、補間対象画像が属する局所的領域に存在する第１色成分の色情報の平均値や、補間対象画像が属する局所的領域に存在する第１色成分の色情報の範囲に収まる値を示す。また、「補間対象画素に関する２種類以上の色成分の局所的な曲率の値」とは、補間対象画像が属する局所的領域に存在する２種類以上の色成分の色情報がどのように変化するかを示す情報であり、各色成分の２次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。
【００１５】
請求項２に記載の補間処理装置は、請求項１に記載の補間処理装置において、前記補間値算出手段は、前記２種類以上の色成分の局所的な曲率の値として、（１）補間対象画素と同一の色成分による局所的な曲率の値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを含む局所的な曲率の値を算出することを特徴とする。
【００１６】
すなわち、請求項２に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素と同一の色成分による局所的な曲率の値」および「補間対象画素とは異なる色成分による局所的な曲率の値」で補正することによって、補間値を算出する。なお、請求項２において、「補間対象画素と同一の色成分（または、補間対象画素とは異なる色成分）による局所的な曲率の値」とは、補間対象画像が属する局所的領域に存在する補間対象画素と同一の色成分（または、補間対象画素とは異なる色成分）の色情報がどのように変化するかを示す情報であり、その色成分の２次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。
【００１７】
請求項３に記載の補間処理装置は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とで構成される補間値を算出する補間値算出手段を備えたことを特徴とする。
【００１８】
すなわち、請求項３に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素とは異なる色成分による局所的な曲率の値」で補正することによって、補間値を算出する。なお、請求項３において、「補間対象画素とは異なる色成分による局所的な曲率の値」とは、補間対象画像が属する局所的領域に存在する補間対象画素とは異なる色成分の色情報がどのように変化するかを示す情報であり、その色成分の２次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。
【００１９】
請求項４に記載の補間処理装置は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する第１色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手段を備えたことを特徴とする。
【００２０】
すなわち、請求項４に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素に関する第１色成分の局所的な曲率の値」で補正することによって、補間値を算出する。なお、請求項４において、「補間対象画素に関する第１色成分の局所的な曲率の値」とは、補間対象画像が属する局所的領域に存在する第１色成分の色情報がどのように変化するかを示す情報であり、その色成分の２次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。
【００２１】
請求項５に記載の補間処理装置は、請求項１ないし請求項３の何れか１項に記載の補間処理装置において、補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手段と、前記第１の類似性判定手段によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手段とを備え、前記補間値算出手段は、前記第１色成分の局所的な平均値を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手段による判定結果に基づいて選択し、前記局所的な曲率の値が、（１）「単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第１の類似性判定手段による判定結果に基づいて選択し、（２）「単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第２の類似性判定手段による判定結果に基づいて選択することを特徴とする。
【００２２】
すなわち、請求項５に記載の発明では、請求項１に記載の「補間対象画素に関する２種類以上の色成分の局所的な曲率の値」、請求項２または請求項３に記載の「補間対象画素と同一の色成分による局所的な曲率の値」、「補間対象画素とは異なる色成分による局所的な曲率の値」のうち、「単一色成分で構成され、第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」に相当するものについては、第１の類似性判定手段による判定結果に基づいて選択した方向に存在する画素の色情報を用いて算出し、「単一色成分で構成され、第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」に相当するものについては、第２の類似性判定手段による判定結果に基づいて選択した方向に存在する画素の色情報を用いて算出することになる。
【００２３】
なお、各々の局所的な曲率の値が、如何なる方向に方向性を有するかの詳細は、「発明の実施の形態」において定義する。このように、請求項５に記載の発明によれば、局所的な曲率の値を算出する際に用いる色情報を補間対象画素との類似性に応じて選択することができる。また、第１色成分の局所的な平均値を算出する際に用いる色情報についても、補間対象画素との類似性に応じて選択することができる。
【００２４】
請求項６に記載の補間処理装置は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第１項と第２項との２つの項を加算した値で構成される補間値を算出する補間値算出手段と、補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手段と、前記第１の類似性判定手段によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手段とを備え、前記補間値算出手段は、前記第１項を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手段による判定結果に基づいて選択し、前記第２項を算出する際に用いる色情報が存在する画素の方向を、前記第２の類似性判定手段による判定結果に基づいて選択し、前記第１項として、（ａ）補間対象画素に関する第１色成分の局所的な平均値と、（ｂ）単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値とを加算した値を含む項を算出し、前記第２項として、単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値を含む項を算出することを特徴とする。
【００２５】
すなわち、請求項６に記載の発明では、第２の類似性判定手段によって類似性が判定される方向が、第１の類似性判定手段によって類似性が判定される方向と異なるため、第１項を算出する際に用いる色情報が位置する方向に限らず、第２項を算出する際に用いる色情報が位置する方向も含めて、より細かな方向に位置する画素の色情報を用いることができる。
【００２６】
したがって、請求項６に記載の発明によれば、細かく分けられた複数の方向に位置する画素の色情報を用いて、補間値を算出することができる。また、請求項６に記載の発明では、類似性が強い方向に位置する画素の色情報を用いたり、複数の方向に位置する画素の色情報を類似性の強弱に応じて加重合成するなどによって、第１項および第２項を算出することができる。
【００２９】
なお、各々の局所的な曲率の値が、如何なる方向に方向性を有するかの詳細は、「発明の実施の形態」において定義する。請求項７に記載の補間処理装置は、請求項５に記載の補間処理装置において、画像データが第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が市松模様状に配置されると共に、第２色成分および第３色成分がそれぞれ第１色成分の間に線順次に配置され、補間対象画素に第２色成分が存在する場合、前記第１の類似性判定手段は、補間対象画素と補間対象画素に最も近接する第１色成分が存在する画素とを結ぶ縦横２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、該縦横２方向に対する補間対象画素の類似性の強弱を判定し、前記第２の類似性判定手段は、補間対象画素と補間対象画素に最も近接する第３色成分が存在する画素とを結ぶ斜め２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、該斜め２方向に対する補間対象画素の類似性の強弱を判定し、前記補間値算出手段は、「単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第１色成分との少なくとも一方に対応させ、「単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第３色成分との少なくとも一方に対応させることを特徴とする。
【００３０】
ただし、各々の局所的な曲率の値が、如何なる方向に方向性を有するかの詳細は、「発明の実施の形態」において定義する。請求項７に記載の発明では、第１の類似性判定手段で類似性の強弱の判定対象となる縦横２方向について方向性を有する色成分は、第２色成分と第１色成分とであり、第２の類似性判定手段で類似性の強弱の判定対象となる斜め２方向について方向性を有する色成分は、第２色成分と第３色成分とである。
【００３１】
したがって、請求項５に記載の「単一色成分で構成され、第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」は、第１の類似性判定手段による判定結果に基づいて、第２色成分と第１色成分との少なくとも一方に関して算出され、「単一色成分で構成され、第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」は、第２の類似性判定手段による判定結果に基づいて、第２色成分と第３色成分との少なくとも一方に関して算出されることになる。
【００３２】
また、請求項７に記載の発明では、「第２の類似性判定手段で類似性の強弱の判定対象となる方向について類似性を示す色成分による局所的な曲率の値」を算出する際に、斜め方向の類似性が確実に反映される。請求項８に記載の補間処理装置は、請求項７に記載の補間処理装置において、前記補間値算出手段は、前記局所的な曲率の値が、「補間対象画素とは異なる色成分による局所的な曲率の値」である場合、該局所的な曲率の値を、第１色成分に対応させるか、第３色成分に対応させるかを、前記第２の類似性判定手段によって判定された類似性の強弱に応じて切り替えることを特徴とする。
【００３３】
ところで、請求項８に記載の発明では、第３色成分は補間対象画素の斜め２方向に隣接する画素に存在し、第２の類似性判定手段によって判定される類似性は斜め２方向に対する補間対象画素の類似性である。すなわち、請求項８に記載の発明によれば、「補間対象画素とは異なる色成分による局所的な曲率の値」を、第１色成分に対応させるか第３色成分に対応させるか切り替えることによって、斜め方向の類似性を「補間対象画素とは異なる色成分による局所的な曲率の値」に反映することができる。
【００３５】
請求項９に記載の補間処理装置は、請求項７に記載の補間処理装置において、前記第１の類似性判定手段は、前記縦横２方向の類似度の差異が所定の閾値よりも小さい場合、該縦横２方向の類似性が同程度であると判定し、前記第２の類似性判定手段は、前記斜め２方向の類似度の差異が所定の閾値よりも小さい場合、該斜め２方向の類似性が同程度であると判定することを特徴とする。
【００３６】
したがって、請求項９に記載の発明によれば、縦横２方向の類似性や斜め２方向の類似性を判定する際のノイズの影響を低減することができる。請求項１０に記載の補間処理装置は、請求項７に記載の補間処理装置において、前記第１の類似性判定手段は、１つの補間対象画素につき、前記縦横２方向の類似度を複数の色成分の色情報を用いて算出し、前記第２の類似性判定手段は、１つの補間対象画素につき、前記斜め２方向の類似度を複数の色成分の色情報を用いて算出することを特徴とする。
【００３７】
すなわち、請求項１０に記載の発明によれば、縦横２方向の類似性や斜め２方向の類似性を判定する際に複数の色成分の色情報が反映される。請求項１１に記載の補間処理装置は、請求項１０に記載の補間処理装置において、前記第２の類似性判定手段は、前記斜め２方向の各々の方向毎に、（１）第１色成分のみの色情報から成る類似度成分と、（２）第２色成分のみの色情報から成る類似度成分と、（３）第３色成分のみの色情報から成る類似度成分と、（４）第２色成分および第３色成分の色情報から成る類似度成分とを加重加算して、各々の方向の類似度を算出することを特徴とする。
【００３９】
すなわち、請求項１１に記載の発明によれば、斜め２方向の類似性を判定する際に、複数の色成分の色情報が確実に反映される。請求項１２に記載の補間処理装置は、請求項７に記載の補間処理装置において、前記第１の類似性判定手段は、各々の画素における縦横２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の縦横２方向に対する類似性を判定し、前記第２の類似性判定手段は、各々の画素における斜め２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の斜め２方向に対する類似性を判定することを特徴とする。
【００４０】
すなわち、請求項１２に記載の発明によれば、縦横２方向の類似性や斜め２方向の類似性を判定する際に周辺画素との連続性が反映される。
【００５０】
請求項１３に記載の補間処理プログラムを記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する２種類以上の色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする。
【００５１】
すなわち、請求項１３に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素に関する２種類以上の色成分の局所的な曲率の値」で補正することによって、補間値を算出する。請求項１４に記載の補間処理プログラムを記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする。
【００５２】
すなわち、請求項１４に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素とは異なる色成分による局所的な曲率の値」で補正することによって、補間値を算出する。請求項１５に記載の補間処理プログラムを記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する第１色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする。
【００５３】
すなわち、請求項１５に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素に関する第１色成分の局所的な曲率の値」で補正することによって、補間値を算出する。請求項１６に記載の補間処理プログラムを記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第１項と第２項との２つの項を加算した値で構成される補間値を算出する補間値算出手順と、補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手順と、前記第１の類似性判定手順によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手順とをコンピュータに実行させ、前記補間値算出手順は、前記第１項を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手順による判定結果に基づいて選択し、前記第２項を算出する際に用いる色情報が存在する画素の方向を、前記第２の類似性判定手順による判定結果に基づいて選択し、前記第１項として、（ａ）補間対象画素に関する第１色成分の局所的な平均値と、（ｂ）単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値とを加算した値を含む項を算出し、前記第２項として、単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値を含む項を算出することを特徴とする。
【００５４】
すなわち、請求項１６に記載の発明では、第２の類似性判定手順によって類似性が判定される方向が、第１の類似性判定手順によって類似性が判定される方向と異なるため、第１項を算出する際に用いる色情報が位置する方向に限らず、第２項を算出する際に用いる色情報が位置する方向も含めて、より細かな方向に位置する画素の色情報を用いることができる。
【００５９】
ここで、上記の発明に関連する発明（《１》〜《８》）を開示する。
《１》：請求項１３に記載の補間処理プログラムを記録した記録媒体において、前記補間値算出手順は、前記２種類以上の色成分の局所的な曲率の値として、（１）補間対象画素と同一の色成分による局所的な曲率の値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを含む局所的な曲率の値を算出することを特徴とする補間処理プログラムを記録した記録媒体。
【００６０】
《２》：請求項１３、《１》、請求項１４の何れか１つに記載の補間処理プログラムを記録した記録媒体において、補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手順と、前記第１の類似性判定手順によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手順とをコンピュータに実行させ、前記補間値算出手順は、前記第１色成分の局所的な平均値を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手順による判定結果に基づいて選択し、前記局所的な曲率の値が、（１）「単一色成分で構成され、前記第１の類似性判定手順で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第１の類似性判定手順による判定結果に基づいて選択し、（２）「単一色成分で構成され、前記第２の類似性判定手順で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第２の類似性判定手順による判定結果に基づいて選択することを特徴とする補間処理プログラムを記録した記録媒体。
【００６２】
《３》：《２》に記載の補間処理プログラムを記録した記録媒体において、画像データが第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が市松模様状に配置されると共に、第２色成分および第３色成分がそれぞれ第１色成分の間に線順次に配置され、補間対象画素に第２色成分が存在する場合、前記第１の類似性判定手順は、補間対象画素と補間対象画素に最も近接する第１色成分が存在する画素とを結ぶ縦横２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、算出された類似度の小さい方が補間対象画素との類似性が強いと判定し、前記第２の類似性判定手順は、補間対象画素と補間対象画素に最も近接する第３色成分が存在する画素とを結ぶ斜め２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、算出された類似度の小さい方が補間対象画素との類似性が強いと判定し、前記補間値算出手順は、「単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第１色成分との少なくとも一方に対応させ、「単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第３色成分との少なくとも一方に対応させることを特徴とする補間処理プログラムを記録した記録媒体。
【００６３】
《４》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記補間値算出手順は、前記局所的な曲率の値が、「補間対象画素とは異なる色成分による局所的な曲率の値」である場合、該局所的な曲率の値を、第１色成分に対応させるか、第３色成分に対応させるかを、前記第２の類似性判定手順によって判定された類似性の強弱に応じて切り替え、前記第２の類似性判定手段によって、前記斜め２方向の類似性が同程度であると判定された場合、第１色成分による局所的な曲率の値を算出し、該斜め２方向の類似性のうち、一方の斜め方向の類似性が他方の斜め方向の類似性よりも強いと判定された場合、第３色成分による局所的な曲率の値を算出することを特徴とする補間処理プログラムを記録した記録媒体。
【００６５】
《５》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記第１の類似性判定手順は、前記縦横２方向の類似度の差異が所定の閾値よりも小さい場合、該縦横２方向の類似性が同程度であると判定し、前記第２の類似性判定手順は、前記斜め２方向の類似度の差異が所定の閾値よりも小さい場合、該斜め２方向の類似性が同程度であると判定することを特徴とする補間処理プログラムを記録した記録媒体。
【００６６】
《６》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記第１の類似性判定手順は、１つの補間対象画素につき、前記縦横２方向の類似度を複数の色成分の色情報を用いて算出し、前記第２の類似性判定手順は、１つの補間対象画素につき、前記斜め２方向の類似度を複数の色成分の色情報を用いて算出することを特徴とする補間処理プログラムを記録した記録媒体。
【００６７】
《７》：《６》に記載の補間処理プログラムを記録した記録媒体において、前記第２の類似性判定手順は、前記斜め２方向の各々の方向毎に、（１）第１色成分のみの色情報から成る類似度成分と、（２）第２色成分のみの色情報から成る類似度成分と、（３）第３色成分のみの色情報から成る類似度成分と、（４）第２色成分および第３色成分の色情報から成る類似度成分とを加重加算して、各々の方向の類似度を算出することを特徴とする補間処理プログラムを記録した記録媒体。
【００６８】
《８》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記第１の類似性判定手順は、各々の画素における縦横２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の縦横２方向に対する類似性を判定し、前記第２の類似性判定手順は、各々の画素における斜め２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の斜め２方向に対する類似性を判定することを特徴とする補間処理プログラムを記録した記録媒体。
【００７４】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。図１は、第１の実施形態ないし第５の実施形態に対応する電子カメラの機能ブロック図である。
【００７５】
図１において、電子カメラ１０は、制御部１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６を有する。また、画像処理部１５は、補間処理部（例えば、補間処理専用の１チップ・マイクロプロセッサ）１７を有する。さらに、撮像部１３は、ＲＧＢのカラーフィルタがベイア配列された撮像素子（図示省略）を有している。
【００７６】
なお、図１では、説明を簡単にするため、画像処理部１５内に補間処理部１７のみを記載しているが、画像処理部１５内には、例えば、階調変換処理など他の画像処理を行う機能ブロックが設けられても良い。
図１において、制御部１１は、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６に接続される。また、撮影光学系１２で取得された光学像は、撮像部１３内の撮像素子に結像する。撮像部１３の出力は、Ａ／Ｄ変換部１４によって量子化され、画像データとして画像処理部１５に供給される。画像処理部１５に供給された画像データは、補間処理部１７によって補間処理が施され、必要に応じて画像圧縮を行ってから、記録部１６を介して記録される。補間処理により各色成分の解像度が高められた画像データは、最終的にディスプレイ、プリンタなど各接続機器に応じた表色系画像データとして出力される。
【００７７】
図２は、第１の実施形態、第２の実施形態、第４の実施形態における画像データの色成分の配列を示す図であり、図３は、第３の実施形態および第５の実施形態における画像データの色成分の配列を示す図である。
なお、図２および図３では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、ｉ、ｊを用いて各々の色成分が存在する画素の位置を示している。
【００７８】
仮に、補間処理の対象となる補間対象画素の座標を[i,j]とすると、図２は、補間対象画素を中心とする７×７の画素の配列を示していることになり、図３は、補間対象画素を中心とする５×５の画素の配列を示していることになる。また、図２（１）および図３（１）は、赤色成分が存在する画素を補間対象画素とした場合の配列を示し、図２（２）および図３（２）は、青色成分が存在する画素を補間対象画素とした場合の配列を示す。
【００７９】
ところで、後述する各実施形態において、補間処理部１７は、緑色成分が欠落する画素に緑の補間値を補う補間処理（以下、「Ｇ補間処理」と称する。）を行った後に、赤色成分や青色成分が欠落する画素に赤の補間値や青の補間値を補う補間処理（以下、「ＲＢ補間処理」と称する。）を行う。ただし、青の補間値を補う補間処理（以下、「Ｂ補間処理」と称する。）は、赤の補間値を補う補間処理（以下、「Ｒ補間処理」と称する。）と同様に行えるため、説明を省略する。
【００８０】
また、以下では、説明を簡単にするため、座標[i,j]に位置する画素をＧ補間処理における補間対象画素とする。また、後述する各実施形態のＧ補間処理では、補間対象画素の色成分の種類（赤または青）に関係なく、緑の補間値を算出することができるため、図２および図３のＲおよびＢをＺに置き換えて、補間対象画素の色情報をZ[i,j]によって表現し、他の画素の色情報についても同様に表現する。
【００８１】
《第１の実施形態》
図４および図５は、第１の実施形態における補間処理部１７の動作フローチャートであるが、図４は、Ｇ補間処理における補間処理部１７の動作を示し、図５は、Ｒ補間処理における補間処理部１７の動作を示す。
以下、第１の実施形態の動作を説明するが、ここでは、図４および図５を参照して補間処理部１７の動作を説明する。
【００８２】
まず、補間処理部１７は、緑色成分が欠落する画素を補間対象画素として、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する（図４Ｓ１）。
ここで、第１の実施形態で行われる縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する処理の詳細を説明する。
【００８３】
まず、補間処理部１７は、以下の式１０〜式２１によって定義される縦方向および横方向に対する複数種類の類似度成分を算出する。
によって算出される値であり、補間対象画素の周辺に位置する周辺画素の色成分の色情報をR:G:B=1:2:1の比で平均化するフィルタリング処理で生成される輝度に相当する。なお、A[i,j]は、ベイア配列上の任意の色情報を表し、配置場所に応じてGまたはZの値をとる。
【００８４】
次に、補間処理部１７は、以下の式２３および式２４に示すようにして、加重係数a1,a2,a3,a4,a5,a6によって、複数種類の類似度成分を各々の方向毎に加重加算して、補間対象画素の縦方向の類似度Cv0[i,j]および横方向の類似度Ch0[i,j]を算出する。
なお、式２３および式２４において、加重係数a1,a2,a3,a4,a5,a6の比率としては、例えば、「a1:a2:a3:a4:a5:a6=2:1:1:4:4:12」などが考えられる。
【００８５】
ところで、第１の実施形態では、縦方向および横方向に対する類似度成分の算出および加重加算を、補間対象画素に対してだけでなく、補間対象画素の近傍に位置する周辺画素に対しても行って、さらに、類似度の算出精度の向上を図る。
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける類似度成分の加重加算の結果（Cv0[i,j]、Cv0[i-1,j-1]、Cv0[i-1,j+1]、Cv0[i+1,j-1]、Cv0[i+1,j+1]など）を、以下の《方法１》または《方法２》のように加重加算して、補間対象画素の縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する。
【００８６】
なお、《方法１》は、図６（１）に示すようにして補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当し、《方法２》は、図６（２）に示すようにして補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当する。
【００８７】
ところで、上述したGG間類似度成分、BB(RR)間類似度成分、RR(BB)間類似度成分のように、同じ色成分の色情報を用いて算出される類似度成分（以下、「同色間類似度成分」と称する。）は、空間周波数が低く彩色部分の多い画像に対する類似性の評価に適していることが実験によってわかっている。また、GR(GB)間類似度成分、BG(RG)間類似度成分のように、異なる色成分の色情報を用いて算出される類似度成分（以下、「異色間類似度成分」と称する。）は、空間周波数が高く無彩色部分が多い画像に対する類似性の評価に適していることが実験によってわかっている。さらに、輝度間類似度成分は、彩色部分と、ある程度まで空間周波数の高い部分とを擁する画像に対する類似性の評価に適していることが実験によってわかっている。
【００８８】
すなわち、同色間類似度成分、異色間類似度成分、輝度間類似度成分を加重加算して得られる類似度は、多様な画像に対して類似性の評価を高精度で行うことが可能である。
【００８９】
また、同色間類似度成分として算出される３種類の類似度成分（GG間類似度成分、BB(RR)間類似度成分、RR(BB)間類似度成分）は、類似性の評価に際して果たす役割を色成分同士で互いに補うことができ、異色間類似度成分として算出される２種類の類似度成分（GR(GB)間類似度成分、BG(RG)間類似度成分）も、類似性の評価に際して果たす役割を色成分同士で互いに補うことができる。
【００９０】
さらに、第１の実施形態では、補間対象画素における類似度成分の加重加算の結果と、周辺画素における類似度成分の加重加算の結果とを加重加算することによって、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]が算出される。そのため、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、補間対象画素と補間対象画素の近傍に位置する画素とにおける色情報の連続性が反映され易い。
【００９１】
特に、《方法２》によって算出される縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、広範囲に位置する画素の色成分の色情報が反映されるため、倍率色収差が大きい画像に対する類似性の評価に有効である。
なお、第１の実施形態において、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、値が小さい程、類似性が強いことを示す。
【００９２】
補間処理部１７は、以上説明したようにして縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出すると、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]に基づき、補間対象画素の縦方向および横方向の類似性（以下、「縦横類似性」と称する。）を比較する（図４Ｓ２）。そして、このような比較結果として、縦横類似性を示す指標HV[i,j]に以下のような値を設定する。
【００９３】
例えば、補間処理部１７は、任意の閾値T1について、
|Cv[i,j]-Ch[i,j]|＞T1 かつ Cv[i,j]＜Ch[i,j]
が成り立つ場合、横方向よりも縦方向の類似性が強いと判断して指標HV[i,j]に１を設定し（図４Ｓ３）、
|Cv[i,j]-Ch[i,j]|＞T1 かつ Cv[i,j]＞Ch[i,j]
が成り立つ場合、縦方向よりも横方向の類似性が強いと判定して指標HV[i,j]に−１を設定し（図４Ｓ４）、
|Cv[i,j]-Ch[i,j]|≦T1
が成り立つ場合、縦横間で類似性に区別がつかないと判定して指標HV[i,j]に０を設定する（図４Ｓ５）。
【００９４】
なお、閾値T1は、縦方向の類似度Cv[i,j]と横方向の類似度Ch[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値T1の値を高く設定することによって、縦横類似性の判定の精度が高められる。
次に、補間処理部１７は、補間対象画素における斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出する（図４Ｓ６）。
【００９５】
ここで、第１の実施形態で行われる斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出する処理の詳細を説明する。
まず、補間処理部１７は、以下の式２９〜式３６によって定義される斜め45度方向および斜め135度方向に対する複数種類の類似度成分を算出する。
次に、補間処理部１７は、以下の式３７および式３８のように、加重係数b1,b2,b3,b4によって、複数種類の類似度成分を各々の方向毎に加重加算して、補間対象画素の斜め45度方向の類似度C45_0[i,j]および斜め135度方向の類似度C135_0[i,j]を算出する。
【００９６】
なお、式３７および式３８において、加重係数b1,b2,b3,b4の比率としては、例えば、「b1:b2:b3:b4=2:1:1:2」などが考えられる。
【００９７】
ところで、第１の実施形態では、斜め45度方向および斜め135度方向に対する類似度成分の算出および加重加算を、補間対象画素に対してだけでなく周辺画素に対しても行って、さらに、類似度の算出精度の向上を図る。
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける類似度成分の加重加算の結果（C45_0[i,j]、C45_0[i-1,j-1]、C45_0[i-1,j+1]、C45_0[i+1,j-1]、C45_0[i+1,j+1]など）を、以下の《方法１》または《方法２》のように加重加算して、補間対象画素の斜め45度方向の類似度Cv[i,j]および斜め135度方向の類似度Ch[i,j]を算出する（図６（１）、（２）に示すように補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当する）。
【００９８】
なお、このようにして算出される斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]において、複数種類の類似度成分の加重加算や周辺画素に関する類似度の考慮は、上述した縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]と同様の役割を果たす。また、第１の実施形態において、斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]は、値が小さい程、類似性が強いことを示す。
【００９９】
補間処理部１７は、斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出すると、斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]に基づき、補間対象画素の斜め45度方向および斜め135度方向の類似性（以下、「斜め類似性」と称する。）を比較する（図４Ｓ７）。そして、このような比較結果として、斜め類似性を示す指標DN[i,j]に以下のような値を設定する。
【０１００】
例えば、補間処理部１７は、任意の閾値T2について、
|C45[i,j]-C135[i,j]|＞T2 かつ C45[i,j]＜C135[i,j]
が成り立つ場合、斜め135度方向よりも斜め45度方向の類似性が強いと判定して指標DN[i,j]に１を設定し（図４Ｓ８）、
|C45[i,j]-C135[i,j]|＞T2 かつ C45[i,j]＞C135[i,j]
が成り立つ場合、斜め45度方向よりも斜め135度方向の類似性が強いと判定して指標DN[i,j]に−１を設定し（図４Ｓ９）、
|C45[i,j]-C135[i,j]|≦T2
が成り立つ場合、斜め方向間で類似性に区別がつかないと判定して指標DN[i,j]に０を設定する（図４Ｓ１０）。
【０１０１】
なお、閾値T2は、上述した閾値T1と同様に、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。
次に、補間処理部１７は、縦横類似性を示す指標HV[i,j]と斜め類似性を示す指標DN[i,j]とが如何なる値であるかを判定して（図４Ｓ１１）、補間対象画素の類似性の強さを、以下のcase1〜case9の何れかに分類する。
【０１０２】
case1:(HV[i,j],DN[i,j])=(1,1):縦および斜め45度方向の類似性が強い。
case2:(HV[i,j],DN[i,j])=(1,0):縦方向の類似性が強い。
case3:(HV[i,j],DN[i,j])=(1,-1):縦および斜め135度方向の類似性が強い。
case4:(HV[i,j],DN[i,j])=(0,1):斜め45度方向の類似性が強い。
case5:(HV[i,j],DN[i,j])=(0,0):全ての方向の類似性が強い、または、全ての方向の類似性が弱い。
【０１０３】
case6:(HV[i,j],DN[i,j])=(0,-1):斜め135度方向の類似性が強い。
case7:(HV[i,j],DN[i,j])=(-1,1):横および斜め45度方向の類似性が強い。
case8:(HV[i,j],DN[i,j])=(-1,0):横方向の類似性が強い。
case9:(HV[i,j],DN[i,j])=(-1,-1):横および斜め135度方向の類似性が強い。
図７は、(HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。
【０１０４】
ところで、図７では、「case5:(HV[i,j],DN[i,j])=(0,0)」に対応する表示がされていないが、case5のように、全ての方向の類似性が強い、または、全ての方向の類似性が弱い場合とは、補間対象画素が平坦部に属している、または、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）であることに相当する。
【０１０５】
次に、補間処理部１７は、上述した判定結果に応じて、以下のようにして緑の補間値G[i,j]を算出する。
case1のとき、G[i,j]=Gv45[i,j]:図４Ｓ１２
case2のとき、G[i,j]=Gv[i,j]:図４Ｓ１３
case3のとき、G[i,j]=Gv135[i,j]:図４Ｓ１４
case4のとき、G[i,j]=(Gv45[i,j]+Gh45[i,j])/2:図４Ｓ１５
case5のとき、G[i,j]=(Gv[i,j]+Gh[i,j])/2:図４Ｓ１６
case6のとき、G[i,j]=(Gv135[i,j]+Gh135[i,j])/2:図４Ｓ１７
case7のとき、G[i,j]=Gh45[i,j]:図４Ｓ１８
case8のとき、G[i,j]=Gh[i,j]:図４Ｓ１９
case9のとき、G[i,j]=Gh135[i,j]:図４Ｓ２０
ただし、
である。
【０１０６】
図８は、緑の補間値G[i,j]を算出する際に用いる色情報の位置を示す図である。図８において、○印が付与された画素の色情報は、緑の補間値G[i,j]を構成する曲率情報に寄与する色情報である。ところで、式４３〜式４８において、第１項は「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は「補間対象画素と同一の色成分による局所的な曲率情報」であり、第３項は「補間対象画素と異なる色成分による局所的な曲率情報」である。
【０１０７】
ここで、Gv45[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、縦方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、Gv135[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、縦方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、Gh45[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、横方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、Gh135[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、横方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。
【０１０８】
また、Gv[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」と「補間対象画素と異なる色成分による局所的な曲率情報」とは、共に縦方向に方向性を有する局所的な曲率情報であり、Gh[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」と「補間対象画素と異なる色成分による局所的な曲率情報」とは、共に横方向に方向性を有する局所的な曲率情報である。
【０１０９】
すなわち、第１の実施形態では、緑色成分の局所的な平均情報を、「補間対象画素と同一の色成分による局所的な曲率情報」および「補間対象画素と異なる色成分による局所的な曲率情報」によって補正している。例えば、斜め方向の類似性が強く、Gv45[i,j]、Gv135[i,j]、Gh45[i,j]、Gh135[i,j]を用いて緑の補間値を算出する場合（case1、case3、case4、case6、case7、case9）には、互いに逆位相を示す赤色成分の局所的な曲率情報と青色成分の局所的な曲率情報とによって、緑色成分の局所的な平均情報（主要項）が補正されることになる。
【０１１０】
すなわち、図９（１）（図１８（２）、（３）を重ね合わせた図に相当する）のように、倍率色収差によって、赤色成分の色情報と青色成分の色情報とが緑色成分に対してずれている場合であっても、主要項は、図９（２）のように、赤色成分の色情報と青色成分の色情報との平均的な変化量に応じて補正される。そのため、第１の実施形態では、撮影光学系１２に倍率色収差が存在している場合であっても、所望の画素に対する主要項を補正することが可能であり、米国特許第５,６２９,７３４号明細書に開示されたＧ補間処理で生じるovershootとundershootとが打ち消し合うことになる。したがって、第１の実施形態によれば、過補正による偽色の発生を低減することができる。
【０１１１】
なお、overshootは、赤色成分の色情報による主要項の補正時だけでなく、青色成分の色情報による主要項の補正時にも生じる可能性があるが、第１の実施形態において、各々の色成分に対応するovershootの値は、平均化されるので、米国特許第５,６２９,７３４号明細書に開示されたＧ補間処理で生じるovershootの値を超えることはない。また、undershootが、青色成分の色情報による主要項の補正時および赤色成分の色情報による主要項の補正時に生じても、第１の実施形態で生じるundershootの値は、米国特許第５,６２９,７３４号明細書に開示されたＧ補間処理で生じるundershootの値を超えることはない。
【０１１２】
ところで、第１の実施形態では、Ｇ補間処理の対象となる画像データが図２に示すようにベイア配列されており、赤色成分の色情報と青色成分の色情報とが互いに斜め方向に位置するため、例えば、補間対象画素に青色成分の色情報が存在する場合、主要項を補正すべき赤色成分の局所的な曲率情報は、補間対象画素との類似性が強い斜め方向に位置する赤色成分の色情報によって算出される。また、緑色の補間値は、式４４におけるZ[i-1,j+3]、Z[i+1,j-3]や式４５におけるZ[i-1,j-3]、Z[i+1,j+3]や式４７におけるZ[i+3,j-1]、Z[i-3,j+1]や式４８におけるZ[i-3,j-1]、Z[i+3,j+1]のように、補間対象画素から離れた斜め方向に位置する画素の色情報を用いて算出される。
【０１１３】
そのため、第１の実施形態におけるＧ補間処理では、高精度の斜め類似性の判定が要求されるが、補間処理部１７は、斜め45度方向および斜め135度方向に対する複数種類の類似度成分を算出する際に、複数の色情報を用いることによって、高精度の斜め類似性の判定を可能にしている。
すなわち、第１の実施形態では、高精度の斜め類似性の判定により、Ｇ補間処理の精度が高められる。
【０１１４】
また、縦方向や横方向の類似性が強く、Gv[i,j]やGh[i,j]を用いて緑の補間値を算出する場合（case2、case8）には、「補間対象画素と異なる色成分による局所的な曲率情報」として緑色成分の局所的な曲率情報が用いられ、緑色成分の局所的な平均情報は、赤色成分または青色成分の局所的な曲率情報と緑色成分の局所的な曲率情報とによって補正されることになる。
【０１１５】
一般に、倍率色収差の影響としては、赤色成分と緑色成分とのずれ量が大きく、青色成分と緑色成分とのずれ量が小さいことが多い。そのため、補間対象画素に赤色成分の色情報が存在する場合、緑色成分の局所的な曲率情報は、赤色成分の局所的な曲率情報の逆位相の成分として作用し、過補正による偽色の発生を低減することができる。また、補間対象画素に青色成分の色情報が存在する場合、倍率色収差の影響が少ないので、過補正による偽色が発生し難い。
【０１１６】
以下、ＲＢ補間処理の動作を説明するが、ここでは、従来から行われているＲＢ補間処理を説明した後、第１の実施形態におけるＲＢ補間処理のうち、図５に示したＲ補間処理を説明する（Ｂ補間処理の説明は省略する）。
まず、従来から行われているＲＢ補間処理としては、色差空間における線形補間処理が知られており、全ての画素の色差（赤色成分（または、青色成分）の色情報から緑色成分の色情報を減算した値）を算出した後に、補間対象画素毎に、以下の（１）〜（３）の何れかの処理を行って、補間値が算出される。
【０１１７】
（１）補間対象画素に欠落する色成分が、補間対象画素の上下方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。
（２）補間対象画素に欠落する色成分が、補間対象画素の左右方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。
【０１１８】
（３）補間対象画素に欠落する色成分が、補間対象画素の斜め方向に隣接する４つの画素に存在する場合、それらの４つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。
また、色差空間における線形処理に比べて偽色の抑制効果が高い非線形のmedian処理を導入した補間処理も従来から行われている。
【０１１９】
米国特許第５，７９９，１１３号明細書に開示された技術では、ＲＧＢ、ＹＵＶ、ＹＣｂＣｒなどの何れかの表色系で示されるビデオ信号に対して１／４の解像度の間引き圧縮を行って伝送容量を削減するが、このとき消失した間引き画素の３成分データを補間して元の解像度と同じビデオ信号に戻す際に、非線形のmedian処理が導入されている。例えば、ビデオ信号がＹＣｂＣｒ表色系で示されている場合、図１０において○印、△印、×印が付与された間引き画素の輝度成分Ｙの補間値と色成分Ｃｂ、Ｃｒの補間値とが、全く同一の演算処理によって算出される。なお、エッジ部分の構造を残すため、×印が付与された画素だけは近接する４つの画素のmedian値（中央値）で補間され、○印が付与された画素は横方向に隣接する画素の平均値で補間され、△印が付与された画素は縦方向に隣接する画素の平均値で補間される。
【０１２０】
しかし、このようにして行われる補間処理は、動画像における画質レベルの回復には都合が良いが、高精細が要求される静止画像には適さない。すなわち、米国特許第５，７９９，１１３号明細書に開示された技術では、輝度成分Ｙと色成分Ｃｒ、Ｃｂを全く同一に扱っているため、解像を担う輝度成分Ｙの補間値の精度が極めて低い。また、輝度成分Ｙをmedian値で補間するため、画像の構造が破壊される可能性が高く、ＲＧＢ表色系に変換した場合に偽色が拡大するおそれもある。
【０１２１】
ところで、ＲＧＢのカラーフィルタがベイア配列された撮像素子によって、静止画像を生成する電子カメラでは、上述したような補間対象画素と周辺画素との類似性を利用したり、複数の色成分を利用して補間値を算出することによって、空間周波数の高い輝度成分に相当する緑色成分の補間処理（Ｇ補間処理）を極めて高精度に行うことが可能にある。このような電子カメラでは、画像データの高周波情報が最も反映され易い緑色成分の補間処理を高精細に行ってから、赤色成分と青色成分との補間処理を緑色成分に対する色差空間における線形補間で実現することによって、画像データの高周波情報を赤色成分や青色成分に反映させて、偽色の低減を図っている。
【０１２２】
例えば、各画素の色情報が[R1,G2,R3]の順で一次元に配列されている場合、赤の補間値は、
R2=(R1+R3)/2+(2・G2-G1-G3)/2 ・・・式４９
によって算出される。ただし、G2は原画像の緑色成分の色情報を示し、G1,G3はＧ補間処理によって得られた緑の補間値を示す。
【０１２３】
ところが、このようなＲＢ補間処理では、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）の周辺に偽色が残るという問題が生じる。従来、この種の偽色を除去するため、Ｇ補間処理およびＲＢ補間処理が行われた後に、画像データをＬａｂ表色系に変換して得られる色相ａ，ｂ面に対して個別にmedianフィルタを掛けるという事後処理が良く用いられる。
【０１２４】
しかし、このようなmedianフィルタを掛ける場合、３×３（＝９点）のフィルタサイズでは、ほとんど有効に作用しないため、フィルタサイズを５×５（＝２５点）の広域に設定する必要がある。
すなわち、上述した電子カメラでは、静止画像の赤色成分および青色成分の補間処理において、従来の方法によるＲＢ補間処理とmedian処理との２度手間を強いられるばかりでなく、median処理におけるフィルタサイズを大きくする必要があるため、非常に重い処理が課せられる。また、median処理におけるフィルタサイズを大きくすることによって、彩色部分の細かい構造（以下、「色構造」と称する）を破壊する危険性も高くなる。
【０１２５】
そこで、第１の実施形態では、孤立点の周辺に偽色を残すことなく、色構造を破壊せずに、赤や青の補間値を高速かつ高精度で算出できるＲＢ補間処理を提示する。ただし、以下では、このようなＲＢ補間処理のうち、Ｒ補間処理のみを図５を参照して説明する。
【０１２６】
まず、補間処理部１７は、赤色成分の色情報が存在する画素毎に、赤色成分の色情報から緑の補間値（上述したＧ補間処理によって得られた値）を減算し、赤色成分を含む色差を算出する（図５Ｓ１）。
例えば、補間処理部１７は、赤色成分の色情報が存在する任意の座標[i,j]に位置する画素における赤色成分を含む色差Cr[i,j]を、
Cr[i,j]=R[i,j]-G[i,j] ・・・式５０
によって算出する。
【０１２７】
なお、第１の実施形態において、このようにして赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分の色情報が欠落して青色成分の色情報が存在する画素を斜め４方向から囲むように配置されることになる。
補間処理部１７は、赤色成分を含む色差によって斜め４方向が囲まれる画素（第１の実施形態では、赤色成分の色情報が欠落して青色成分の色情報が存在する画素に相当する）毎に、赤色成分を含む色差を、斜め方向に位置する画素における赤色成分を含む色差の中央値で補間する（図５Ｓ２）。
【０１２８】
すなわち、第１の実施形態において、補間処理部１７は、図１１（１）に示すように、赤色成分を含む色差によって斜め４方向が囲まれる任意の座標[m,n]に位置する画素の色差Cr[m,n]を、
によって算出する。ただし、median｛ ｝は、複数の要素のmedian値を算出する関数を示し、要素の数が偶数である場合、真ん中２つの要素の平均値をとるものとする。
【０１２９】
ところで、第１の実施形態において、式５０および式５１によって赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分および青色成分の色情報が欠落する画素を上下左右４方向から囲むように配置されることになる。
【０１３０】
補間処理部１７は、赤色成分を含む色差によって上下左右４方向が囲まれる画素（第１の実施形態では、赤色成分および青色成分の色情報が欠落する画素に相当する）毎に、赤色成分を含む色差を、上下左右方向に位置する画素における赤色成分を含む色差の中央値で補間する（図５Ｓ３）。
すなわち、第１の実施形態において、補間処理部１７は、図１１（２）に示すように、赤色成分を含む色差によって上下左右４方向が囲まれる任意の座標[m,n]に位置する画素の色差Cr[m,n]を、
によって算出する。
【０１３１】
次に、補間処理部１７は、赤色成分の色情報が欠落する画素毎に、式５１や式５２によって算出した赤色成分を含む色差を、緑色成分の色情報（緑色の補間値であっても良い）によって赤の補間値に変換する（図５Ｓ４）。
すなわち、補間処理部１７は、任意の座標[m,n]に位置する画素の赤の補間値R[m,n]を、
R[m,n]=Cr[m,n]+G[m,n] ・・・式５３
によって算出する。
【０１３２】
以上説明したmedian処理は、色相を表す色差に対してのみ行われ、輝度成分に対しては行われない。また、Ｒ補間処理において、図１２（１）の○印が付与された画素が補間対象画素である場合、３×５の範囲に位置する色差Crを用いて×印が付与された画素における赤色成分を含む色差が算出されるので、○印が付与された画素における赤色成分を含む色差は、３×５の範囲に位置する色差Crに重み付けをしてmedian処理を行った結果に近い値を示す。また、図１２（２）の△印が付与された画素が補間対象画素である場合、５×３の範囲に位置する色差Crを用いて×印が付与された画素における赤色成分を含む色差が算出されるので、△印が付与された画素における赤色成分を含む色差は、５×３の範囲に位置する色差Crに重み付けをしてmedian処理を行った結果に近い値を示す。
【０１３３】
すなわち、第１の実施形態では、フィルタサイズを小さく抑えつつ、実質的には広域なmedian処理と同等の効果が得られる。そのため、第１の実施形態によれば、色構造を破壊することなく、孤立点の周辺における偽色の発生を低減することができる。そのため、米国特許第５，７９９，１１３号明細書に開示された技術と比べて、偽色を低減する効果が非常に大きい。
【０１３４】
また、第１の実施形態では、図５Ｓ２と図５Ｓ３との各々のmedian処理において、４点の色差のみを用いるため、処理効率が良く、非常に高速なmedian処理が可能である。
なお、第１の実施形態では、Ｇ補間処理を行った後にＲＢ補間処理を行っているが、ＹＣｂＣｒの表色系で示されてＹ、Ｃｂ、Ｃｒが４:１:１に間引かれた画像データでは、輝度成分Ｙが完全な状態として残っているので、Ｇ補間処理を行うことなく本実施形態と同様のＲＢ補間処理を行うことができる。
【０１３５】
《第２の実施形態》
以下、第２の実施形態の動作を説明する。
なお、第２の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。
以下、Ｇ補間処理について説明するが、第１の実施形態と同じ動作については、説明を省略する。なお、第２の実施形態におけるＧ補間処理と第１の実施形態におけるＧ補間処理との相違点は、緑の補間値G[i,j]を算出する際に用いるGv[i,j]、Gv45[i,j]、Gv135[i,j]、Gh[i,j]、Gh45[i,j]、Gh135[i,j]の値が異なる点である。そのため、第２の実施形態では、Ｇ補間処理における補間処理部１７の動作フローチャートの図示を省略する。また、以下では、図２（１）のように、赤色成分が存在する画素を補間対象画素とした場合を想定して説明を行うが、第２の実施形態は、図２（２）のように、青色成分が存在する画素を補間対象画素とした場合でも適用できる。
【０１３６】
補間処理部１７は、第１の実施形態と同様にして補間対象画素の類似性の強さを判定し（図４Ｓ１〜Ｓ１１に相当する）、補間対象画素の類似性の強さを上述したcase1〜case9の何れかに分類する。そして、補間処理部１７は、以下のようにして緑の補間値G[i,j]を算出する。
case1のとき、G[i,j]=Gv45[i,j]
case2のとき、G[i,j]=Gv[i,j]
case3のとき、G[i,j]=Gv135[i,j]
case4のとき、G[i,j]=(Gv45[i,j]+Gh45[i,j])/2
case5のとき、G[i,j]=(Gv[i,j]+Gh[i,j])/2
case6のとき、G[i,j]=(Gv135[i,j]+Gh135[i,j])/2
case7のとき、G[i,j]=Gh45[i,j]
case8のとき、G[i,j]=Gh[i,j]
case9のとき、G[i,j]=Gh135[i,j]
ただし、
である。
【０１３７】
また、式５４〜式５９において、αred,αgreen,αblue,βred,βgreenは、０または正の定数であり、αred+αgreen+αblue=1,βred+βgreen=1を満たし、gv[i,j],gh[i,j]は、「緑色成分の局所的な平均情報」に対応する項であり、式１や式２の主要項に対応し、δRv45[i,j],δRv[i,j],δRv135[i,j],δRh45[i,j],δRh[i,j],δRh135[i,j],δGv[i,j],δGh[i,j],δBv45[i,j],δBv135[i,j],δBh45[i,j],δBh135[i,j]は、各々の色成分の局所的な曲率情報に対応する項である。
【０１３８】
なお、このような緑色成分の局所的な平均情報および各色成分の局所的な曲率情報は、類似方向に応じて、以下のように算出される。
《緑色成分の局所的な平均情報》
gv[i,j]=(G[i,j-1]+G[i,j+1])/2 ・・・式６０
gh[i,j]=(G[i-1,j]+G[i+1,j])/2 ・・・式６１
《赤色成分の局所的な曲率情報》
δRv45[i,j]=kr1(2・Z[i-2,j+2]-Z[i-2,j]-Z[i-2,j+4])/4 +kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 +kr3(2・Z[i+2,j-2]-Z[i+2,j-4]-Z[i+2,j])/4 ・・・式６２
δRv[i,j]=kr1(2・Z[i-2,j]-Z[i-2,j-2]-Z[i-2,j+2])/4 +kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 +kr3(2・Z[i+2,j]-Z[i+2,j-2]-Z[i+2,j+2])/4 ・・・式６３
δRv135[i,j]=kr1(2・Z[i-2,j-2]-Z[i-2,j-4]-Z[i-2,j])/4 +kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 +kr3(2・Z[i+2,j+2]-Z[i+2,j]-Z[i+2,j+4])/4 ・・・式６４
δRh45[i,j]=kr1(2・Z[i+2,j-2]-Z[i,j-2]-Z[i+4,j-2])/4 +kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 +kr3(2・Z[i-2,j+2]-Z[i-4,j+2]-Z[i,j+2])/4 ・・・式６５
δRh[i,j]=kr1(2・Z[i,j-2]-Z[i-2,j-2]-Z[i+2,j-2])/4 +kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 +kr3(2・Z[i,j+2]-Z[i-2,j+2]-Z[i+2,j+2])/4 ・・・式６６
δRh135[i,j]=kr1(2・Z[i-2,j-2]-Z[i-4,j-2]-Z[i,j-2])/4 +kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 +kr3(2・Z[i+2,j+2]-Z[i,j+2]-Z[i+4,j+2])/4 ・・・式６７
ただし、kr1,kr2,kr3は、０または正の定数であり、kr1+kr2+kr3=1を満たす。
【０１３９】
《緑色成分の局所的な曲率情報》
δGv[i,j]=(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2] +2・G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/8 ・・・式６８
δGh[i,j]=(2・G[i,j-1]-G[i-2,j-1]-G[i+2,j-1] +2・G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/8 ・・・式６９
《青色成分の局所的な曲率情報》
δBv45[i,j]=(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3] +2・Z[i+1,j-1]-Z[i+1,j-3]-Z[i+1,j+1])/8 ・・・式７０
δBv135[i,j]=(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1] +2・Z[i+1,j+1]-Z[i+1,j-1]-Z[i+1,j+3])/8 ・・・式７１
δBh45[i,j]=(2・Z[i+1,j-1]-Z[i-1,j-1]-Z[i+3,j-1] +2・Z[i-1,j+1]-Z[i-3,j+1]-Z[i+1,j+1])/8 ・・・式７２
δBh135[i,j]=(2・Z[i-1,j-1]-Z[i-3,j-1]-Z[i+1,j-1] +2・Z[i+1,j+1]-Z[i-1,j+1]-Z[i+3,j+1])/8 ・・・式７３
なお、図１３および図１４は、各色成分の局所的な曲率情報を算出する際に用いる色情報の位置を示す図である。すなわち、各色成分の局所的な曲率情報は、図１３および図１４の楕円で囲まれる領域に属する画素における色情報を用いて算出した曲率情報の成分を加重加算して得られることになる。
【０１４０】
すなわち、δRv45[i,j]は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δRv[i,j]は、縦方向に方向性を有する局所的な曲率情報であり、δRv135[i,j]は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、δRh45[i,j]は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δRh[i,j]は、横方向に方向性を有する局所的な曲率情報であり、δRh135[i,j]は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。
【０１４１】
また、δGv[i,j]は、縦方向に方向性を有する局所的な曲率情報であり、δGh[i,j]は、横方向に方向性を有する局所的な曲率情報である。さらに、δBv45[i,j]は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δBv135[i,j]は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、δBh45[i,j]は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δBh135[i,j]は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。
【０１４２】
ところで、第２の実施形態の式５４〜式５９および式６２〜式６７において、上述した第１の実施形態は、係数の比率を
αred:αgreen:αblue=1:0:1、βred:βgreen=1:1、kr1:kr2:kr3=0:1:0
に設定した場合に相当する。
第２の実施形態では、このような係数の比率を様々な値に設定することによって、特徴や効果が異なるＧ補間処理を実現することができる。以下、係数の比率の代表例と、各々の代表例の特徴や効果を示す。
【０１４３】
《代表例１》
αred:αgreen:αblue=1:0:1、βred:βgreen=1:1、kr1:kr2:kr3=1:6:1
このような設定は、第１の実施形態に対し、赤色成分の局所的な曲率情報の算出方法を変更することを意味し、第１の実施形態に比べ、より広範囲から抽出した赤色成分の局所的な曲率情報に、緩いローパスフィルタを方向性を考慮して適応的に掛けることに相当する。そのため、代表例１の設定によれば、第１の実施形態に対し、全体としての過補正の低減効果が高められる。
【０１４４】
《代表例２》
αred:αgreen:αblue=1:1:0、βred:βgreen=1:1、kr1:kr2:kr3=0:1:0
このような設定は、第１の実施形態において、斜め方向に類似性がある場合に赤色成分の局所的は曲率情報による過補正を防ぐ役割を果たす青色成分の局所的な曲率情報を、全て緑色成分の局所的な曲率情報で代用することに相当する。そのため、代表例２の設定によれば、斜め方向に関する類似性の判定が不要となるので、アルゴリズムが簡略化され、かつ、過補正を防ぎつつも、十分なレベルの構造情報の抽出を達成することができる。
【０１４５】
《代表例３》
αred:αgreen:αblue=0:1:0、βred:βgreen=0:1、kr1:kr2:kr3=設定不要
このような設定は、代表例２の設定において、赤色成分の過補正を防ぐ役割を果たした緑色成分の局所的な曲率情報を逆に補正項の中心的役割とすることに相当する。このように、補正項を緑色成分の曲率情報だけで構成しても、構造情報の抽出が可能である。これは、緑色成分の曲率情報にも、中心を通る赤色成分の曲率情報に相当する構造情報が多く含まれていることを意味する。また、代表例３の設定は、主要項を構成する緑色成分の平均情報と同じ色成分による局所的な曲率情報で補正することに相当する。したがって、代表例３の設定によれば、過補正を生じることがなく、代表例２の設定と同様に、斜め方向に関する類似性の判定が不要となるので、アルゴリズムの簡略化が可能である。
【０１４６】
《代表例４》
αred:αgreen:αblue=0:0:1、βred:βgreen=0:1、kr1:kr2:kr3=設定不要
このような設定は、代表例２と代表例３との関係と同様に、第１の実施形態に対しても、赤色成分の局所的な曲率情報の過補正を防ぐ役割を果たしていた色成分の曲率情報を逆に補正項の中心的役割として設定することに相当する。代表例４の設定によれば、青色成分の局所的な曲率情報による過補正を防ぐことはできないが、局所的な構造情報の抽出に関しては、第１の実施形態と同程度の効果が得られる。
【０１４７】
《代表例５》
αred:αgreen:αblue=1:1:1、βred:βgreen=1:1、kr1:kr2:kr3=1:0:1
このような設定は、代表例４の設定における過補正の対策として、中心を通る赤色成分の局所的な曲率情報を用いない場合であっても、有効な係数の比率の例を示している。代表例５の設定によれば、代表例３の設定と代表例４の設定と同様に、局所的な構造情報を抽出する効果を得つつ、斜め方向に類似性がある場合の青色成分の局所的な曲率情報による過補正を周辺で構成される赤色成分の局所的な曲率情報で低減することができる。
【０１４８】
《第３の実施形態》
以下、第３の実施形態の動作を説明する。
なお、第３の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。ただし、第３の実施形態では、上述した式５１によって、緑色成分の色情報が存在する画素（Ｇのカラーフィルタが配された画素に対応する）の一部に対して赤色成分を含む色差が補間され、緑色成分の色情報が存在する残りの画素と青色成分が存在する画素とに対する赤色成分を含む色差が式５２によって補間されることになる。
【０１４９】
以下、Ｇ補間処理について説明する。
第３の実施形態では、図３に示すように、Ｇ補間処理の対象となる画素の横方向に、最近接の緑色成分（最も近接する緑色成分）が存在する画素が位置するため、Ｇ補間処理において、第１の実施形態で行われる類似度の算出や類似方向の判定は不要である。ただし、第２近接の緑色成分（２番目に近接する緑色成分）が存在する斜め45度方向、斜め135度方向等に対して、類似度の算出や類似方向の判定を行っても良い。
【０１５０】
第３の実施形態において、補間処理部１７は、図３に示すように配列された画像データに基づき、以下の式７４によって、緑の補間値G[i,j]を算出する。
G[i,j]=(G[i-1,j]+G[i+1,j])/2 +(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8 +(2・Z[i,j-1]-Z[i-2,j-1]-Z[i+2,j-1] +2・Z[i,j+1]-Z[i-2,j+1]-Z[i+2,j+1])/16 ・・・式７４
ところで、式７４において、第１項は「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は「補間対象画素と同一の色成分による局所的な曲率情報」であり、第３項は「補間対象画素と異なる色成分による局所的な曲率情報」であるが、補間対象画素に赤色成分の色情報が存在する場合（図３（１））、第３項は、「青色成分の局所的な曲率情報」であり、補間対象画素に青色成分の色情報が存在する場合（図３（２））、第３項は、「赤色成分の局所的な曲率情報」である。
【０１５１】
すなわち、第３の実施形態では、互いに逆位相を示す赤色成分の局所的な曲率情報と青色成分の局所的な曲率情報とによって、緑色成分の局所的な平均情報（主要項）が補正されることになる。したがって、第３の実施形態では、第１の実施形態と同様に、倍率色収差によって、赤色成分の色情報と青色成分の色情報とが緑色成分の色情報に対してずれている場合であっても、主要項は、赤色成分の色情報と青色成分の色情報との平均的な変化量に応じて補正される（図９参照）。そのため、第３の実施形態によれば、撮影光学系１２に倍率色収差が存在している場合であっても、所望の画素に対する主要項を補正することが可能であり、米国特許第５,６２９,７３４号明細書に開示されたＧ補間処理で生じるovershootとundershootとが打ち消し合うことを意味する。したがって、第３の実施形態によれば、過補正による偽色の発生を低減することができる。
【０１５２】
《第４の実施形態》
以下、第４の実施形態の動作を説明する。
なお、第４の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。
以下、Ｇ補間処理について説明するが、第１の実施形態と同じ動作については、説明を省略する。なお、第４の実施形態におけるＧ補間処理と第１の実施形態におけるＧ補間処理との相違点は、補間対象画素の類似性の強さを判定した後の動作が異なる点である。そのため、第４の実施形態では、Ｇ補間処理における補間処理部１７の動作フローチャートの図示を省略する。
【０１５３】
補間処理部１７は、第１の実施形態と同様にして補間対象画素の類似性の強さを判定し（図４Ｓ１〜Ｓ１１に相当する）、補間対象画素の類似性の強さを上述したcase1〜case9の何れかに分類する。
そして、補間処理部１７は、類似性が強いと判定された方向に直行する方向に対し、緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]とを、以下のようにして算出する。
【０１５４】
case1のとき、
Gk[i,j]=((G[i-1,j]+G[i,j-1])-(G[i,j+1]+G[i+1,j]))/2 ・・・式７５
Zk[i,j]=((Z[i-2,j]+Z[i,j-2])-(Z[i,j+2]+Z[i+2,j]))/2 ・・・式７６
case2のとき、
Gk[i,j]=G[i,j-1]-G[i,j+1] ・・・式７７
Zk[i,j]=Z[i,j-2]-Z[i,j+2] ・・・式７８
case3のとき、
Gk[i,j]=((G[i-1,j]+G[i,j+1])-(G[i,j-1]+G[i+1,j]))/2 ・・・式７９
Zk[i,j]=((Z[i-2,j]+Z[i,j+2])-(Z[i,j-2]+Z[i+2,j]))/2 ・・・式８０
case4のとき、case1と同じ
case5のとき、Gk[i,j]=1、Zk[i,j]=1
case6のとき、case3と同じ
case7のとき、case1と同じ
case8のとき、
Gk[i,j]=G[i-1,j]-G[i+1,j] ・・・式８１
Zk[i,j]=Z[i-2,j]-Z[i+2,j] ・・・式８２
case9のとき、case3と同じ
次に、補間処理部１７は、以下のようにして緑の補間値G[i,j]を算出する。
【０１５５】
case1のとき、G[i,j]=Gvk[i,j]
case2のとき、G[i,j]=Gvk[i,j]
case3のとき、G[i,j]=Gvk[i,j]
case4のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case5のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case6のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case7のとき、G[i,j]=Ghk[i,j]
case8のとき、G[i,j]=Ghk[i,j]
case9のとき、G[i,j]=Ghk[i,j]
ただし、
である。
【０１５６】
ところで、式８３および式８４において、第１項は、「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は、加重係数（緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]との相関を示す値：Gk[i,j]/Zk[i,j]）が掛けられた「補間対象画素と同一の色成分による局所的な曲率情報」であり、補正項に対応する。
【０１５７】
すなわち、第４の実施形態では、緑色成分の局所的な平均情報を、加重係数を掛けた「補間対象画素と同一の色成分による局所的な曲率情報」によって補正している。ここで、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算して補正値を算出する場合の問題点を示す。
【０１５８】
例えば、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが図１５の●印のように与えられている場合（所定の位置を境に緑色成分の色情報が増加し、赤色成分（または、青色成分）の色情報が減少する場合）、「補間対象画素と同一の色成分による局所的な曲率情報」は正の値となる。したがって、このような場合、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算すると、本来、負の方向に補正されるべき、「緑色成分の局所的な平均情報」は、図１５の△印のように正の方向に補正されovershootが生じる。
【０１５９】
すなわち、色境界部分において、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが所定の位置を境に逆方向に変化する場合、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算して補正項を算出すると、overshootやundershootが生じることになる。
【０１６０】
一方、本実施形態において、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが図１５の●印のように与えられている場合、緑色成分の傾斜Gk[i,j]の符号と赤色成分（または、青色成分）の傾斜Zk[i,j]の符号とが逆になり、加重係数は負の値となる。そのため、本実施形態では、図１５の□印に示すように、「緑色成分の局所的な平均情報」が所望の方向に補正されるため、overshootやundershootが発生することはない。
【０１６１】
すなわち、第４の実施形態によれば、色境界部分における過補正による偽色の発生を低減することができる。
なお、第４の実施形態では、加重係数の値に何ら制限を設けていないが、加重係数の値をある範囲内に制限することによって、補正項が過大になることを防ぐことができる。
【０１６２】
例えば、加重係数の値の範囲としては、
|Gk[i,j]/Zk[i,j]|≦5
などが考えられる。
【０１６３】
《第５の実施形態》
以下、第５の実施形態の動作を説明する。
なお、第５の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。ただし、第５の実施形態では、第３の実施形態と同様に、式５１によって、緑色成分の色情報が存在する画素の一部に対して赤色成分を含む色差が補間され、緑色成分の色情報が存在する残りの画素と青色の色成分が存在する画素とに対する赤色成分を含む色差が式５２によって補間されることになる。
【０１６４】
以下、Ｇ補間処理について説明する。
第５の実施形態では、図３に示すように、Ｇ補間処理の対象となる画素の横方向に、最近接の緑色成分が存在する画素が位置するため、横方向に位置する画素に存在する色情報を用いて補間処理を行うことが最も単純である。そこで、第５の実施形態では、第４の実施形態のcase8と同様にして、緑の補間値G[i,j]を算出するものとする。
【０１６５】
すなわち、補間処理部１７は、式８５によって、緑の補間値G[i,j]を算出する。
ただし、
Gk[i,j]=G[i-1,j]-G[i+1,j] ・・・式８１
Zk[i,j]=Z[i-2,j]-Z[i+2,j] ・・・式８２
である。
【０１６６】
このように、第５の実施形態では、第４の実施形態と同様に、緑色成分の局所的な平均情報を、加重係数（緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]との相関を示す値：Gk[i,j]/Zk[i,j]）を掛けた「補間対象画素と同一の色成分に局所的な曲率情報」によって補正している。そのため、第５の実施形態によれば、色境界部分における過補正による偽色の発生を低減することができる。
【０１６７】
なお、上述した各実施形態では、Ｇ補間処理およびＲＢ補間処理において、色差を色相として用いる例を説明したが、色相として色の比などを用いても、色差と同様に、Ｇ補間処理およびＲＢ補間処理を行うことができる。
《第６の実施形態》
以下、第６の実施形態の動作を説明する。
【０１６８】
図１６は、第６の実施形態の機能ブロック図である。なお、第６の実施形態は、請求項１３ないし請求項１６に記載の補間処理プログラムを記録した記録媒体を用いて、パーソナルコンピュータによって補間処理を実行することに相当する。図１６において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
【０１６９】
なお、図１６に示す電子カメラ２０と図１に示した電子カメラ１０との構成の相違点は、図１６の制御部２１と画像処理部２２とが図１の制御部１１と画像処理部１５とに代えて設けられ、図１６のインタフェース部２３が新たに設けられた点である。
また、図１６において、パーソナルコンピュータ３０は、ＣＰＵ３１、インタフェース部３２、ハードディスク３３およびメモリ３４を有し、ＣＰＵ３１は、バスを介してインタフェース部３２、ハードディスク３３およびメモリ３４に接続される。
【０１７０】
なお、パーソナルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒体に記録された補間処理プログラム（前述した各実施形態の補間処理部１７と同様にして補間処理を実行する補間処理プログラム）が予めインストールされているものとする。すなわち、ハードディスク３３には、このような補間処理プログラムが実行可能な状態で格納されている。
【０１７１】
以下、図１６を参照して第６の実施形態の動作を説明する。
まず、電子カメラ２０では、図１に示した電子カメラ１０と同様にして生成された画像データが画像処理部２２に供給される。画像処理部２２は、画像データに補間処理以外の画像処理（例えば、階調変換処理など）を施し、記録部１６では、画像処理が施された画像データが画像ファイルの形式で記録される。
【０１７２】
このような画像ファイルは、インタフェース部２３を介してパーソナルコンピュータ３０に供給される。
パーソナルコンピュータ３０内のＣＰＵ３１は、インタフェース部３２を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。補間処理により各色成分の解像度が高められた画像データは、必要に応じて画像圧縮等を行ってから、ハードディスク３３などに記録され、最終的に、ディスプレイ、プリンタなどの各接続機器に応じた表色系データとして出力される。
【０１７３】
すなわち、第６の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ３０によって行うことができる。
【０１７４】
【発明の効果】
上述したように、請求項１および請求項１３に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均情報」を、「補間対象画素に関する２種類以上の色成分の局所的な曲率情報」で補正することによって補間値を算出し、請求項２に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均情報」を、「補間対象画素と同一の色成分による局所的な曲率情報」および「補間対象画素とは異なる色成分による局所的な曲率情報」で補正することによって補間値を算出する。
【０１７５】
そのため、請求項１、請求項２、請求項１３に記載の発明によれば、過補正による偽色の発生を低減することができる。請求項３および請求項１４に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均情報」を、「補間対象画素とは異なる色成分による局所的な曲率情報」で補正することによって補間値を算出し、請求項４および請求項１５に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均情報」を、「補間対象画素に関する第１色成分の局所的な曲率情報」で補正することによって補間値を算出する。
【０１７６】
そのため、請求項３、請求項４、請求項１４、請求項１５に記載の発明によれば、構造情報を確実に抽出することができる。さらに、請求項４、請求項１５に記載の発明では、偽色が発生することがない。請求項５ないし請求項８、請求項１６に記載の発明では、複数の方向に存在する画素の色情報を補間対象画素との類似性に応じて用い、補間値を算出する。特に、請求項７および請求項８に記載の発明では、斜め方向の類似性が補間値に反映される。
【０１７７】
そのため、請求項５ないし請求項８、請求項１６に記載の発明によれば、画像の構造を損なうことなく、補間値を算出することができる。請求項９に記載の発明では、類似性を判定する際のノイズの影響を低減することができ、請求項１０および請求項１２に記載の発明では、類似性を判定する際に複数の色成分の色情報が反映され、請求項１２に記載の発明では、類似性を判定する際に周辺画素との連続性が反映される。
【０１７８】
したがって、請求項９ないし請求項１２に記載の発明によれば、類似性の判定の精度を向上することができる。また、「補間対象画素に関する第１色成分の平均情報」を、加重係数を掛けた「補間対象画素に関して補間対象画素と同一の色成分による局所的な曲率情報」で補正することによって、補正の方向や補正の幅を、加重係数によって調整することができる。特に、このような場合には、加重係数が補間対象画素が属する局所的領域における色成分別の色情報の傾きの相関に応じて算出されるため、このような相関によって、「補間対象画素に関する第１色成分の平均情報」を補正する際の補正の方向や補正の幅を調整することができる。
【０１７９】
したがって、色境界部分における過補正による偽色の発生を低減することができる。また、補間対象画素の色相値を、補間対象画素の近傍に位置する複数の画素の色相値の中央値によって算出できる。
【０１８０】
したがって、孤立点の周辺における偽色の発生を低減することができる。また、従来の補間処理（ＲＢ補間処理とmedian処理とを合わせた処理）と比べて、色構造を破壊することなく、高速に補間値を算出することができる。
【図面の簡単な説明】
【図１】第１の実施形態ないし第５の実施形態に対応する電子カメラの機能ブロック図である。
【図２】第１の実施形態、第２の実施形態、第４の実施形態における画像データの色成分の配列を示す図である。
【図３】第３の実施形態および第５の実施形態における画像データの色成分の配列を示す図である。
【図４】第１の実施形態における補間処理部の動作フローチャート（１）である。
【図５】第１の実施形態における補間処理部の動作フローチャート（２）である。
【図６】類似度成分の加重加算を説明する図である。
【図７】(HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。
【図８】緑の補間値G[i,j]を算出する際に用いる色情報の位置を示す図である。
【図９】倍率色収差の影響が解消される様子を説明する図である。
【図１０】従来のmedian処理を説明する図である。
【図１１】第１の実施形態におけるmedian処理の動作を説明する図である。
【図１２】第１の実施形態におけるmedian処理の範囲を説明する図である。
【図１３】局所的な曲率情報を算出する際に用いる色情報の位置を示す図である。
【図１４】局所的な曲率情報を算出する際に用いる色情報の位置を示す図（続き）である。
【図１５】第４の実施形態における加重係数の役割を説明する図である。
【図１６】第６の実施形態における機能ブロック図である。
【図１７】従来の補間処理の例を説明する図である。
【図１８】倍率色収差の影響を説明する図である。
【図１９】倍率色収差による過補正を説明する図である。
【図２０】色境界部分における過補正の影響を示す図である。
【発明の属する技術分野】
本発明は、カラーの画像データに対し、各々の画素に欠落する色成分や輝度成分を補うための補間処理を行う補間処理装置および該補間処理をコンピュータで実現させるための補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
電子カメラには、３色（ＲＧＢ：赤・緑・青）のカラーフィルタが所定の位置に配置（例えば、ベイア配列など）された撮像素子によって、カラーの画像データを生成するものがある。このような電子カメラでは、撮像素子の個々の画素から１つの色成分の色情報しか出力されないため、画素単位で全ての色成分の色情報を得るために、補間処理を行う必要がある。
【０００３】
このような補間処理の方法としては、補間処理の対象となる補間対象画素の空間的な類似性を判定し、類似性の強い方向に位置する画素から出力される色情報を用いて補間値を算出する方法が従来から考えられている。
例えば、米国特許第５,６２９,７３４号明細書に開示された技術では、補間対象画素（緑色成分が欠落する画素）の色情報をＡ５とし、補間対象画素と同色のカラーフィルタが配された画素の色情報をＡ１、Ａ３、Ａ７、Ａ９とし、緑のカラーフィルタが配された画素の色情報をＧ２、Ｇ４、Ｇ６、Ｇ８として、各画素の色情報が以下のように配置されている状態において、補間対象画素の緑の補間値Ｇ５は、式１ないし式３の何れかによって算出される。
【０００４】
G5=(G4+G6)/2+(-A3+2A5-A7)/4 ・・・式１
によって算出され、垂直方向の類似性が強い場合、補間対象画素の緑の補間値Ｇ５は、
G5=(G2+G8)/2+(-A1+2A5-A9)/4 ・・・式２
によって算出され、水平方向の類似性と垂直方向の類似性とが同程度である場合、補間対象画素の緑の補間値Ｇ５は、
G5=(G2+G4+G6+G8)/4+(-A1-A3+4A5-A7-A9)/8 ・・・式３
によって算出される。なお、以下の説明を簡単にするために、式１および式２の第１項（(G4+G6)/2、(G2+G8)/2）を主要項と称し、式１および式２の第２項（(-A3+2A5-A7)/4、(-A1+2A5-A9)/4）を補正項と称する。
【０００５】
米国特許第５,６２９,７３４号明細書に開示された技術において、補間処理の対象となる画像データの類似性が水平方向に強く、Ａ３、Ｇ４、Ａ５、Ｇ６、Ａ７が図１７の●印のように与えられていると仮定した場合、Ａ３とＡ５との平均値をＡ４とし、Ａ５とＡ７との平均値をＡ６とすると、式１の補正項の値は、Ａ４とＡ６との平均値に対するＡ５の差違を示すベクトル量（図１７のα）に相当する。また、緑の補間値Ｇ５は、水平方向に隣接する画素の色情報の平均値（式１の主要項の値に相当する）をαだけ補正した値に相当する。
【０００６】
すなわち、米国特許第５,６２９,７３４号明細書に開示された技術では、緑色成分と補間対象画素における色成分（赤色成分または青色成分）との色差が一定である（図１７において、(A4-G4)、(A5-G5)、(A6-G6)が一致する）と仮定し、類似性が強い方向に隣接する画素の色情報の平均値を、補間対象画素と同色の色情報を用いて補正することによって、緑の補間値を算出している。
【０００７】
【発明が解決しようとする課題】
ところで、レンズなどの光学系には、倍率色収差が存在することが知られている。
例えば、ＲＧＢの３色のカラーフィルタがベイア配列された撮像素子を備えた電子カメラの撮影レンズに、倍率色収差が存在する場合、図１８に示すように、赤色成分および青色成分は、緑色成分の結像位置から、それぞれ少しずつずれた位置に結像する。
【０００８】
ところで、撮影レンズに倍率色収差が存在しない状態で、各画素の色情報が図１９（１）の●印のように与えられている場合（補間処理の対象となる画像データの類似性が水平方向に強く、緑色成分の色情報が一定で、赤色成分や青色成分の色情報が補間対象画素（Ａ５が存在する画素）の近傍でなだらかに変化する場合）、式１の補正項の値が０となるため、Ｇ４とＧ６との平均値（主要項）は補正されることなく緑の補間値Ｇ５となる。
【０００９】
しかし、Ａ３、Ａ５、Ａ７が赤色成分の色情報であり、撮影レンズの倍率色収差によって、これらの赤色成分の色情報が右方向に１画素ずつずれた場合、各画素の色情報は、図１９（２）のように変化することになる。そのため、このような場合、式１の補正項が０とならず、主要項が過剰に補正（以下、「過補正」と称する）され、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、Ｇ４やＧ６よりも大きな値となる（以下、このような現象を「overshoot」と称する）。一方、Ａ３、Ａ５、Ａ７が青色成分の色情報であり、倍率色収差によって、これらの青色成分の色情報が左方向に１画素ずつずれた場合、各画素の色情報は、図１９（３）のように変化することになる。そのため、このような場合、式１の補正項は０とならず、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、過補正によって、Ｇ４やＧ６よりも小さな値となる（以下、このような現象を「undershoot」と称する）。
【００１０】
すなわち、米国特許第５,６２９,７３４号明細書に開示された技術では、倍率色収差の影響によって、補間処理で得られたカラー画像に偽色が発生してしまう。
ところで、過補正は、倍率色収差が存在する場合に限らず、色差が変化する色境界部分でも発生する。
例えば、各画素の色情報が図２０（１）、（２）の●印のように与えられている場合（緑色成分の色情報が一定で、赤色成分または青色成分の色情報が補間対象画素（Ａ５が存在する画素）の近傍で急変する場合）、式１の補正項は０とならず、本来、Ｇ４やＧ６と同程度の値となるべき緑の補間値Ｇ５は、過補正によってovershootまたはundershootを生じることになる。
【００１１】
したがって、色差が変化する色境界部分では、倍率色収差が存在しない場合であっても、補間処理によって偽色が発生してしまう。なお、以上説明したような偽色は、緑の補間値を算出する場合に限らず、赤や青の補間値を算出する場合にも発生し得る。そこで、請求項１ないし請求項１２に記載の発明は、偽色の発生を抑制できる補間処理装置を提供することを目的とし、請求項１３ないし請求項１６に記載の発明は、偽色の発生を抑制できる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【００１２】
また、請求項１ないし請求項１６に記載の発明は、従来の補間処理における利点を失わずに瑕疵を減らし、倍率色収差による影響を低減することによって、偽色の発生を抑制することを目的とする。
【００１３】
請求項１に記載の補間処理装置は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する２種類以上の色成分の局所的な曲率の値とを加算した値で構成される補間値を算出する補間値算出手段を備えたことを特徴とする。
【００１４】
すなわち、請求項１に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素に関する２種類以上の色成分の局所的な曲率の値」で補正することによって、補間値を算出する。なお、請求項１において、「補間対象画素に関する第１色成分の局所的な平均値」とは、補間対象画像が属する局所的領域に存在する第１色成分の色情報の平均値や、補間対象画像が属する局所的領域に存在する第１色成分の色情報の範囲に収まる値を示す。また、「補間対象画素に関する２種類以上の色成分の局所的な曲率の値」とは、補間対象画像が属する局所的領域に存在する２種類以上の色成分の色情報がどのように変化するかを示す情報であり、各色成分の２次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。
【００１５】
請求項２に記載の補間処理装置は、請求項１に記載の補間処理装置において、前記補間値算出手段は、前記２種類以上の色成分の局所的な曲率の値として、（１）補間対象画素と同一の色成分による局所的な曲率の値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを含む局所的な曲率の値を算出することを特徴とする。
【００１６】
すなわち、請求項２に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素と同一の色成分による局所的な曲率の値」および「補間対象画素とは異なる色成分による局所的な曲率の値」で補正することによって、補間値を算出する。なお、請求項２において、「補間対象画素と同一の色成分（または、補間対象画素とは異なる色成分）による局所的な曲率の値」とは、補間対象画像が属する局所的領域に存在する補間対象画素と同一の色成分（または、補間対象画素とは異なる色成分）の色情報がどのように変化するかを示す情報であり、その色成分の２次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。
【００１７】
請求項３に記載の補間処理装置は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とで構成される補間値を算出する補間値算出手段を備えたことを特徴とする。
【００１８】
すなわち、請求項３に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素とは異なる色成分による局所的な曲率の値」で補正することによって、補間値を算出する。なお、請求項３において、「補間対象画素とは異なる色成分による局所的な曲率の値」とは、補間対象画像が属する局所的領域に存在する補間対象画素とは異なる色成分の色情報がどのように変化するかを示す情報であり、その色成分の２次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。
【００１９】
請求項４に記載の補間処理装置は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する第１色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手段を備えたことを特徴とする。
【００２０】
すなわち、請求項４に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素に関する第１色成分の局所的な曲率の値」で補正することによって、補間値を算出する。なお、請求項４において、「補間対象画素に関する第１色成分の局所的な曲率の値」とは、補間対象画像が属する局所的領域に存在する第１色成分の色情報がどのように変化するかを示す情報であり、その色成分の２次微分やさらに高次の微分などの算出により凹凸に関する構造情報が反映された量である。
【００２１】
請求項５に記載の補間処理装置は、請求項１ないし請求項３の何れか１項に記載の補間処理装置において、補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手段と、前記第１の類似性判定手段によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手段とを備え、前記補間値算出手段は、前記第１色成分の局所的な平均値を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手段による判定結果に基づいて選択し、前記局所的な曲率の値が、（１）「単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第１の類似性判定手段による判定結果に基づいて選択し、（２）「単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第２の類似性判定手段による判定結果に基づいて選択することを特徴とする。
【００２２】
すなわち、請求項５に記載の発明では、請求項１に記載の「補間対象画素に関する２種類以上の色成分の局所的な曲率の値」、請求項２または請求項３に記載の「補間対象画素と同一の色成分による局所的な曲率の値」、「補間対象画素とは異なる色成分による局所的な曲率の値」のうち、「単一色成分で構成され、第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」に相当するものについては、第１の類似性判定手段による判定結果に基づいて選択した方向に存在する画素の色情報を用いて算出し、「単一色成分で構成され、第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」に相当するものについては、第２の類似性判定手段による判定結果に基づいて選択した方向に存在する画素の色情報を用いて算出することになる。
【００２３】
なお、各々の局所的な曲率の値が、如何なる方向に方向性を有するかの詳細は、「発明の実施の形態」において定義する。このように、請求項５に記載の発明によれば、局所的な曲率の値を算出する際に用いる色情報を補間対象画素との類似性に応じて選択することができる。また、第１色成分の局所的な平均値を算出する際に用いる色情報についても、補間対象画素との類似性に応じて選択することができる。
【００２４】
請求項６に記載の補間処理装置は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第１項と第２項との２つの項を加算した値で構成される補間値を算出する補間値算出手段と、補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手段と、前記第１の類似性判定手段によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手段とを備え、前記補間値算出手段は、前記第１項を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手段による判定結果に基づいて選択し、前記第２項を算出する際に用いる色情報が存在する画素の方向を、前記第２の類似性判定手段による判定結果に基づいて選択し、前記第１項として、（ａ）補間対象画素に関する第１色成分の局所的な平均値と、（ｂ）単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値とを加算した値を含む項を算出し、前記第２項として、単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値を含む項を算出することを特徴とする。
【００２５】
すなわち、請求項６に記載の発明では、第２の類似性判定手段によって類似性が判定される方向が、第１の類似性判定手段によって類似性が判定される方向と異なるため、第１項を算出する際に用いる色情報が位置する方向に限らず、第２項を算出する際に用いる色情報が位置する方向も含めて、より細かな方向に位置する画素の色情報を用いることができる。
【００２６】
したがって、請求項６に記載の発明によれば、細かく分けられた複数の方向に位置する画素の色情報を用いて、補間値を算出することができる。また、請求項６に記載の発明では、類似性が強い方向に位置する画素の色情報を用いたり、複数の方向に位置する画素の色情報を類似性の強弱に応じて加重合成するなどによって、第１項および第２項を算出することができる。
【００２９】
なお、各々の局所的な曲率の値が、如何なる方向に方向性を有するかの詳細は、「発明の実施の形態」において定義する。請求項７に記載の補間処理装置は、請求項５に記載の補間処理装置において、画像データが第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が市松模様状に配置されると共に、第２色成分および第３色成分がそれぞれ第１色成分の間に線順次に配置され、補間対象画素に第２色成分が存在する場合、前記第１の類似性判定手段は、補間対象画素と補間対象画素に最も近接する第１色成分が存在する画素とを結ぶ縦横２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、該縦横２方向に対する補間対象画素の類似性の強弱を判定し、前記第２の類似性判定手段は、補間対象画素と補間対象画素に最も近接する第３色成分が存在する画素とを結ぶ斜め２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、該斜め２方向に対する補間対象画素の類似性の強弱を判定し、前記補間値算出手段は、「単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第１色成分との少なくとも一方に対応させ、「単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第３色成分との少なくとも一方に対応させることを特徴とする。
【００３０】
ただし、各々の局所的な曲率の値が、如何なる方向に方向性を有するかの詳細は、「発明の実施の形態」において定義する。請求項７に記載の発明では、第１の類似性判定手段で類似性の強弱の判定対象となる縦横２方向について方向性を有する色成分は、第２色成分と第１色成分とであり、第２の類似性判定手段で類似性の強弱の判定対象となる斜め２方向について方向性を有する色成分は、第２色成分と第３色成分とである。
【００３１】
したがって、請求項５に記載の「単一色成分で構成され、第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」は、第１の類似性判定手段による判定結果に基づいて、第２色成分と第１色成分との少なくとも一方に関して算出され、「単一色成分で構成され、第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」は、第２の類似性判定手段による判定結果に基づいて、第２色成分と第３色成分との少なくとも一方に関して算出されることになる。
【００３２】
また、請求項７に記載の発明では、「第２の類似性判定手段で類似性の強弱の判定対象となる方向について類似性を示す色成分による局所的な曲率の値」を算出する際に、斜め方向の類似性が確実に反映される。請求項８に記載の補間処理装置は、請求項７に記載の補間処理装置において、前記補間値算出手段は、前記局所的な曲率の値が、「補間対象画素とは異なる色成分による局所的な曲率の値」である場合、該局所的な曲率の値を、第１色成分に対応させるか、第３色成分に対応させるかを、前記第２の類似性判定手段によって判定された類似性の強弱に応じて切り替えることを特徴とする。
【００３３】
ところで、請求項８に記載の発明では、第３色成分は補間対象画素の斜め２方向に隣接する画素に存在し、第２の類似性判定手段によって判定される類似性は斜め２方向に対する補間対象画素の類似性である。すなわち、請求項８に記載の発明によれば、「補間対象画素とは異なる色成分による局所的な曲率の値」を、第１色成分に対応させるか第３色成分に対応させるか切り替えることによって、斜め方向の類似性を「補間対象画素とは異なる色成分による局所的な曲率の値」に反映することができる。
【００３５】
請求項９に記載の補間処理装置は、請求項７に記載の補間処理装置において、前記第１の類似性判定手段は、前記縦横２方向の類似度の差異が所定の閾値よりも小さい場合、該縦横２方向の類似性が同程度であると判定し、前記第２の類似性判定手段は、前記斜め２方向の類似度の差異が所定の閾値よりも小さい場合、該斜め２方向の類似性が同程度であると判定することを特徴とする。
【００３６】
したがって、請求項９に記載の発明によれば、縦横２方向の類似性や斜め２方向の類似性を判定する際のノイズの影響を低減することができる。請求項１０に記載の補間処理装置は、請求項７に記載の補間処理装置において、前記第１の類似性判定手段は、１つの補間対象画素につき、前記縦横２方向の類似度を複数の色成分の色情報を用いて算出し、前記第２の類似性判定手段は、１つの補間対象画素につき、前記斜め２方向の類似度を複数の色成分の色情報を用いて算出することを特徴とする。
【００３７】
すなわち、請求項１０に記載の発明によれば、縦横２方向の類似性や斜め２方向の類似性を判定する際に複数の色成分の色情報が反映される。請求項１１に記載の補間処理装置は、請求項１０に記載の補間処理装置において、前記第２の類似性判定手段は、前記斜め２方向の各々の方向毎に、（１）第１色成分のみの色情報から成る類似度成分と、（２）第２色成分のみの色情報から成る類似度成分と、（３）第３色成分のみの色情報から成る類似度成分と、（４）第２色成分および第３色成分の色情報から成る類似度成分とを加重加算して、各々の方向の類似度を算出することを特徴とする。
【００３９】
すなわち、請求項１１に記載の発明によれば、斜め２方向の類似性を判定する際に、複数の色成分の色情報が確実に反映される。請求項１２に記載の補間処理装置は、請求項７に記載の補間処理装置において、前記第１の類似性判定手段は、各々の画素における縦横２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の縦横２方向に対する類似性を判定し、前記第２の類似性判定手段は、各々の画素における斜め２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の斜め２方向に対する類似性を判定することを特徴とする。
【００４０】
すなわち、請求項１２に記載の発明によれば、縦横２方向の類似性や斜め２方向の類似性を判定する際に周辺画素との連続性が反映される。
【００５０】
請求項１３に記載の補間処理プログラムを記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する２種類以上の色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする。
【００５１】
すなわち、請求項１３に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素に関する２種類以上の色成分の局所的な曲率の値」で補正することによって、補間値を算出する。請求項１４に記載の補間処理プログラムを記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする。
【００５２】
すなわち、請求項１４に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素とは異なる色成分による局所的な曲率の値」で補正することによって、補間値を算出する。請求項１５に記載の補間処理プログラムを記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する第１色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする。
【００５３】
すなわち、請求項１５に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均値」を、「補間対象画素に関する第１色成分の局所的な曲率の値」で補正することによって、補間値を算出する。請求項１６に記載の補間処理プログラムを記録した記録媒体は、第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第１項と第２項との２つの項を加算した値で構成される補間値を算出する補間値算出手順と、補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手順と、前記第１の類似性判定手順によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手順とをコンピュータに実行させ、前記補間値算出手順は、前記第１項を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手順による判定結果に基づいて選択し、前記第２項を算出する際に用いる色情報が存在する画素の方向を、前記第２の類似性判定手順による判定結果に基づいて選択し、前記第１項として、（ａ）補間対象画素に関する第１色成分の局所的な平均値と、（ｂ）単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値とを加算した値を含む項を算出し、前記第２項として、単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値を含む項を算出することを特徴とする。
【００５４】
すなわち、請求項１６に記載の発明では、第２の類似性判定手順によって類似性が判定される方向が、第１の類似性判定手順によって類似性が判定される方向と異なるため、第１項を算出する際に用いる色情報が位置する方向に限らず、第２項を算出する際に用いる色情報が位置する方向も含めて、より細かな方向に位置する画素の色情報を用いることができる。
【００５９】
ここで、上記の発明に関連する発明（《１》〜《８》）を開示する。
《１》：請求項１３に記載の補間処理プログラムを記録した記録媒体において、前記補間値算出手順は、前記２種類以上の色成分の局所的な曲率の値として、（１）補間対象画素と同一の色成分による局所的な曲率の値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを含む局所的な曲率の値を算出することを特徴とする補間処理プログラムを記録した記録媒体。
【００６０】
《２》：請求項１３、《１》、請求項１４の何れか１つに記載の補間処理プログラムを記録した記録媒体において、補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手順と、前記第１の類似性判定手順によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手順とをコンピュータに実行させ、前記補間値算出手順は、前記第１色成分の局所的な平均値を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手順による判定結果に基づいて選択し、前記局所的な曲率の値が、（１）「単一色成分で構成され、前記第１の類似性判定手順で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第１の類似性判定手順による判定結果に基づいて選択し、（２）「単一色成分で構成され、前記第２の類似性判定手順で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第２の類似性判定手順による判定結果に基づいて選択することを特徴とする補間処理プログラムを記録した記録媒体。
【００６２】
《３》：《２》に記載の補間処理プログラムを記録した記録媒体において、画像データが第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が市松模様状に配置されると共に、第２色成分および第３色成分がそれぞれ第１色成分の間に線順次に配置され、補間対象画素に第２色成分が存在する場合、前記第１の類似性判定手順は、補間対象画素と補間対象画素に最も近接する第１色成分が存在する画素とを結ぶ縦横２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、算出された類似度の小さい方が補間対象画素との類似性が強いと判定し、前記第２の類似性判定手順は、補間対象画素と補間対象画素に最も近接する第３色成分が存在する画素とを結ぶ斜め２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、算出された類似度の小さい方が補間対象画素との類似性が強いと判定し、前記補間値算出手順は、「単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第１色成分との少なくとも一方に対応させ、「単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第３色成分との少なくとも一方に対応させることを特徴とする補間処理プログラムを記録した記録媒体。
【００６３】
《４》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記補間値算出手順は、前記局所的な曲率の値が、「補間対象画素とは異なる色成分による局所的な曲率の値」である場合、該局所的な曲率の値を、第１色成分に対応させるか、第３色成分に対応させるかを、前記第２の類似性判定手順によって判定された類似性の強弱に応じて切り替え、前記第２の類似性判定手段によって、前記斜め２方向の類似性が同程度であると判定された場合、第１色成分による局所的な曲率の値を算出し、該斜め２方向の類似性のうち、一方の斜め方向の類似性が他方の斜め方向の類似性よりも強いと判定された場合、第３色成分による局所的な曲率の値を算出することを特徴とする補間処理プログラムを記録した記録媒体。
【００６５】
《５》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記第１の類似性判定手順は、前記縦横２方向の類似度の差異が所定の閾値よりも小さい場合、該縦横２方向の類似性が同程度であると判定し、前記第２の類似性判定手順は、前記斜め２方向の類似度の差異が所定の閾値よりも小さい場合、該斜め２方向の類似性が同程度であると判定することを特徴とする補間処理プログラムを記録した記録媒体。
【００６６】
《６》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記第１の類似性判定手順は、１つの補間対象画素につき、前記縦横２方向の類似度を複数の色成分の色情報を用いて算出し、前記第２の類似性判定手順は、１つの補間対象画素につき、前記斜め２方向の類似度を複数の色成分の色情報を用いて算出することを特徴とする補間処理プログラムを記録した記録媒体。
【００６７】
《７》：《６》に記載の補間処理プログラムを記録した記録媒体において、前記第２の類似性判定手順は、前記斜め２方向の各々の方向毎に、（１）第１色成分のみの色情報から成る類似度成分と、（２）第２色成分のみの色情報から成る類似度成分と、（３）第３色成分のみの色情報から成る類似度成分と、（４）第２色成分および第３色成分の色情報から成る類似度成分とを加重加算して、各々の方向の類似度を算出することを特徴とする補間処理プログラムを記録した記録媒体。
【００６８】
《８》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記第１の類似性判定手順は、各々の画素における縦横２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の縦横２方向に対する類似性を判定し、前記第２の類似性判定手順は、各々の画素における斜め２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の斜め２方向に対する類似性を判定することを特徴とする補間処理プログラムを記録した記録媒体。
【００７４】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。図１は、第１の実施形態ないし第５の実施形態に対応する電子カメラの機能ブロック図である。
【００７５】
図１において、電子カメラ１０は、制御部１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６を有する。また、画像処理部１５は、補間処理部（例えば、補間処理専用の１チップ・マイクロプロセッサ）１７を有する。さらに、撮像部１３は、ＲＧＢのカラーフィルタがベイア配列された撮像素子（図示省略）を有している。
【００７６】
なお、図１では、説明を簡単にするため、画像処理部１５内に補間処理部１７のみを記載しているが、画像処理部１５内には、例えば、階調変換処理など他の画像処理を行う機能ブロックが設けられても良い。
図１において、制御部１１は、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６に接続される。また、撮影光学系１２で取得された光学像は、撮像部１３内の撮像素子に結像する。撮像部１３の出力は、Ａ／Ｄ変換部１４によって量子化され、画像データとして画像処理部１５に供給される。画像処理部１５に供給された画像データは、補間処理部１７によって補間処理が施され、必要に応じて画像圧縮を行ってから、記録部１６を介して記録される。補間処理により各色成分の解像度が高められた画像データは、最終的にディスプレイ、プリンタなど各接続機器に応じた表色系画像データとして出力される。
【００７７】
図２は、第１の実施形態、第２の実施形態、第４の実施形態における画像データの色成分の配列を示す図であり、図３は、第３の実施形態および第５の実施形態における画像データの色成分の配列を示す図である。
なお、図２および図３では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、ｉ、ｊを用いて各々の色成分が存在する画素の位置を示している。
【００７８】
仮に、補間処理の対象となる補間対象画素の座標を[i,j]とすると、図２は、補間対象画素を中心とする７×７の画素の配列を示していることになり、図３は、補間対象画素を中心とする５×５の画素の配列を示していることになる。また、図２（１）および図３（１）は、赤色成分が存在する画素を補間対象画素とした場合の配列を示し、図２（２）および図３（２）は、青色成分が存在する画素を補間対象画素とした場合の配列を示す。
【００７９】
ところで、後述する各実施形態において、補間処理部１７は、緑色成分が欠落する画素に緑の補間値を補う補間処理（以下、「Ｇ補間処理」と称する。）を行った後に、赤色成分や青色成分が欠落する画素に赤の補間値や青の補間値を補う補間処理（以下、「ＲＢ補間処理」と称する。）を行う。ただし、青の補間値を補う補間処理（以下、「Ｂ補間処理」と称する。）は、赤の補間値を補う補間処理（以下、「Ｒ補間処理」と称する。）と同様に行えるため、説明を省略する。
【００８０】
また、以下では、説明を簡単にするため、座標[i,j]に位置する画素をＧ補間処理における補間対象画素とする。また、後述する各実施形態のＧ補間処理では、補間対象画素の色成分の種類（赤または青）に関係なく、緑の補間値を算出することができるため、図２および図３のＲおよびＢをＺに置き換えて、補間対象画素の色情報をZ[i,j]によって表現し、他の画素の色情報についても同様に表現する。
【００８１】
《第１の実施形態》
図４および図５は、第１の実施形態における補間処理部１７の動作フローチャートであるが、図４は、Ｇ補間処理における補間処理部１７の動作を示し、図５は、Ｒ補間処理における補間処理部１７の動作を示す。
以下、第１の実施形態の動作を説明するが、ここでは、図４および図５を参照して補間処理部１７の動作を説明する。
【００８２】
まず、補間処理部１７は、緑色成分が欠落する画素を補間対象画素として、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する（図４Ｓ１）。
ここで、第１の実施形態で行われる縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する処理の詳細を説明する。
【００８３】
まず、補間処理部１７は、以下の式１０〜式２１によって定義される縦方向および横方向に対する複数種類の類似度成分を算出する。
【００８４】
次に、補間処理部１７は、以下の式２３および式２４に示すようにして、加重係数a1,a2,a3,a4,a5,a6によって、複数種類の類似度成分を各々の方向毎に加重加算して、補間対象画素の縦方向の類似度Cv0[i,j]および横方向の類似度Ch0[i,j]を算出する。
【００８５】
ところで、第１の実施形態では、縦方向および横方向に対する類似度成分の算出および加重加算を、補間対象画素に対してだけでなく、補間対象画素の近傍に位置する周辺画素に対しても行って、さらに、類似度の算出精度の向上を図る。
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける類似度成分の加重加算の結果（Cv0[i,j]、Cv0[i-1,j-1]、Cv0[i-1,j+1]、Cv0[i+1,j-1]、Cv0[i+1,j+1]など）を、以下の《方法１》または《方法２》のように加重加算して、補間対象画素の縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出する。
【００８６】
【００８７】
ところで、上述したGG間類似度成分、BB(RR)間類似度成分、RR(BB)間類似度成分のように、同じ色成分の色情報を用いて算出される類似度成分（以下、「同色間類似度成分」と称する。）は、空間周波数が低く彩色部分の多い画像に対する類似性の評価に適していることが実験によってわかっている。また、GR(GB)間類似度成分、BG(RG)間類似度成分のように、異なる色成分の色情報を用いて算出される類似度成分（以下、「異色間類似度成分」と称する。）は、空間周波数が高く無彩色部分が多い画像に対する類似性の評価に適していることが実験によってわかっている。さらに、輝度間類似度成分は、彩色部分と、ある程度まで空間周波数の高い部分とを擁する画像に対する類似性の評価に適していることが実験によってわかっている。
【００８８】
すなわち、同色間類似度成分、異色間類似度成分、輝度間類似度成分を加重加算して得られる類似度は、多様な画像に対して類似性の評価を高精度で行うことが可能である。
【００８９】
また、同色間類似度成分として算出される３種類の類似度成分（GG間類似度成分、BB(RR)間類似度成分、RR(BB)間類似度成分）は、類似性の評価に際して果たす役割を色成分同士で互いに補うことができ、異色間類似度成分として算出される２種類の類似度成分（GR(GB)間類似度成分、BG(RG)間類似度成分）も、類似性の評価に際して果たす役割を色成分同士で互いに補うことができる。
【００９０】
さらに、第１の実施形態では、補間対象画素における類似度成分の加重加算の結果と、周辺画素における類似度成分の加重加算の結果とを加重加算することによって、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]が算出される。そのため、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、補間対象画素と補間対象画素の近傍に位置する画素とにおける色情報の連続性が反映され易い。
【００９１】
特に、《方法２》によって算出される縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、広範囲に位置する画素の色成分の色情報が反映されるため、倍率色収差が大きい画像に対する類似性の評価に有効である。
なお、第１の実施形態において、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]は、値が小さい程、類似性が強いことを示す。
【００９２】
補間処理部１７は、以上説明したようにして縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を算出すると、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]に基づき、補間対象画素の縦方向および横方向の類似性（以下、「縦横類似性」と称する。）を比較する（図４Ｓ２）。そして、このような比較結果として、縦横類似性を示す指標HV[i,j]に以下のような値を設定する。
【００９３】
例えば、補間処理部１７は、任意の閾値T1について、
|Cv[i,j]-Ch[i,j]|＞T1 かつ Cv[i,j]＜Ch[i,j]
が成り立つ場合、横方向よりも縦方向の類似性が強いと判断して指標HV[i,j]に１を設定し（図４Ｓ３）、
|Cv[i,j]-Ch[i,j]|＞T1 かつ Cv[i,j]＞Ch[i,j]
が成り立つ場合、縦方向よりも横方向の類似性が強いと判定して指標HV[i,j]に−１を設定し（図４Ｓ４）、
|Cv[i,j]-Ch[i,j]|≦T1
が成り立つ場合、縦横間で類似性に区別がつかないと判定して指標HV[i,j]に０を設定する（図４Ｓ５）。
【００９４】
なお、閾値T1は、縦方向の類似度Cv[i,j]と横方向の類似度Ch[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値T1の値を高く設定することによって、縦横類似性の判定の精度が高められる。
次に、補間処理部１７は、補間対象画素における斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出する（図４Ｓ６）。
【００９５】
ここで、第１の実施形態で行われる斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出する処理の詳細を説明する。
まず、補間処理部１７は、以下の式２９〜式３６によって定義される斜め45度方向および斜め135度方向に対する複数種類の類似度成分を算出する。
【００９６】
【００９７】
ところで、第１の実施形態では、斜め45度方向および斜め135度方向に対する類似度成分の算出および加重加算を、補間対象画素に対してだけでなく周辺画素に対しても行って、さらに、類似度の算出精度の向上を図る。
すなわち、補間処理部１７は、補間対象画素と周辺画素とにおける類似度成分の加重加算の結果（C45_0[i,j]、C45_0[i-1,j-1]、C45_0[i-1,j+1]、C45_0[i+1,j-1]、C45_0[i+1,j+1]など）を、以下の《方法１》または《方法２》のように加重加算して、補間対象画素の斜め45度方向の類似度Cv[i,j]および斜め135度方向の類似度Ch[i,j]を算出する（図６（１）、（２）に示すように補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当する）。
【００９８】
【００９９】
補間処理部１７は、斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]を算出すると、斜め45度方向の類似度C45[i,j]および斜め135度方向の類似度C135[i,j]に基づき、補間対象画素の斜め45度方向および斜め135度方向の類似性（以下、「斜め類似性」と称する。）を比較する（図４Ｓ７）。そして、このような比較結果として、斜め類似性を示す指標DN[i,j]に以下のような値を設定する。
【０１００】
例えば、補間処理部１７は、任意の閾値T2について、
|C45[i,j]-C135[i,j]|＞T2 かつ C45[i,j]＜C135[i,j]
が成り立つ場合、斜め135度方向よりも斜め45度方向の類似性が強いと判定して指標DN[i,j]に１を設定し（図４Ｓ８）、
|C45[i,j]-C135[i,j]|＞T2 かつ C45[i,j]＞C135[i,j]
が成り立つ場合、斜め45度方向よりも斜め135度方向の類似性が強いと判定して指標DN[i,j]に−１を設定し（図４Ｓ９）、
|C45[i,j]-C135[i,j]|≦T2
が成り立つ場合、斜め方向間で類似性に区別がつかないと判定して指標DN[i,j]に０を設定する（図４Ｓ１０）。
【０１０１】
なお、閾値T2は、上述した閾値T1と同様に、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。
次に、補間処理部１７は、縦横類似性を示す指標HV[i,j]と斜め類似性を示す指標DN[i,j]とが如何なる値であるかを判定して（図４Ｓ１１）、補間対象画素の類似性の強さを、以下のcase1〜case9の何れかに分類する。
【０１０２】
case1:(HV[i,j],DN[i,j])=(1,1):縦および斜め45度方向の類似性が強い。
case2:(HV[i,j],DN[i,j])=(1,0):縦方向の類似性が強い。
case3:(HV[i,j],DN[i,j])=(1,-1):縦および斜め135度方向の類似性が強い。
case4:(HV[i,j],DN[i,j])=(0,1):斜め45度方向の類似性が強い。
case5:(HV[i,j],DN[i,j])=(0,0):全ての方向の類似性が強い、または、全ての方向の類似性が弱い。
【０１０３】
case6:(HV[i,j],DN[i,j])=(0,-1):斜め135度方向の類似性が強い。
case7:(HV[i,j],DN[i,j])=(-1,1):横および斜め45度方向の類似性が強い。
case8:(HV[i,j],DN[i,j])=(-1,0):横方向の類似性が強い。
case9:(HV[i,j],DN[i,j])=(-1,-1):横および斜め135度方向の類似性が強い。
図７は、(HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。
【０１０４】
ところで、図７では、「case5:(HV[i,j],DN[i,j])=(0,0)」に対応する表示がされていないが、case5のように、全ての方向の類似性が強い、または、全ての方向の類似性が弱い場合とは、補間対象画素が平坦部に属している、または、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）であることに相当する。
【０１０５】
次に、補間処理部１７は、上述した判定結果に応じて、以下のようにして緑の補間値G[i,j]を算出する。
case1のとき、G[i,j]=Gv45[i,j]:図４Ｓ１２
case2のとき、G[i,j]=Gv[i,j]:図４Ｓ１３
case3のとき、G[i,j]=Gv135[i,j]:図４Ｓ１４
case4のとき、G[i,j]=(Gv45[i,j]+Gh45[i,j])/2:図４Ｓ１５
case5のとき、G[i,j]=(Gv[i,j]+Gh[i,j])/2:図４Ｓ１６
case6のとき、G[i,j]=(Gv135[i,j]+Gh135[i,j])/2:図４Ｓ１７
case7のとき、G[i,j]=Gh45[i,j]:図４Ｓ１８
case8のとき、G[i,j]=Gh[i,j]:図４Ｓ１９
case9のとき、G[i,j]=Gh135[i,j]:図４Ｓ２０
ただし、
【０１０６】
図８は、緑の補間値G[i,j]を算出する際に用いる色情報の位置を示す図である。図８において、○印が付与された画素の色情報は、緑の補間値G[i,j]を構成する曲率情報に寄与する色情報である。ところで、式４３〜式４８において、第１項は「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は「補間対象画素と同一の色成分による局所的な曲率情報」であり、第３項は「補間対象画素と異なる色成分による局所的な曲率情報」である。
【０１０７】
ここで、Gv45[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、縦方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、Gv135[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、縦方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、Gh45[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、横方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、Gh135[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」は、横方向に方向性を有する局所的な曲率情報であり、「補間対象画素と異なる色成分による局所的な曲率情報」は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。
【０１０８】
また、Gv[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」と「補間対象画素と異なる色成分による局所的な曲率情報」とは、共に縦方向に方向性を有する局所的な曲率情報であり、Gh[i,j]の「補間対象画素と同一の色成分による局所的な曲率情報」と「補間対象画素と異なる色成分による局所的な曲率情報」とは、共に横方向に方向性を有する局所的な曲率情報である。
【０１０９】
すなわち、第１の実施形態では、緑色成分の局所的な平均情報を、「補間対象画素と同一の色成分による局所的な曲率情報」および「補間対象画素と異なる色成分による局所的な曲率情報」によって補正している。例えば、斜め方向の類似性が強く、Gv45[i,j]、Gv135[i,j]、Gh45[i,j]、Gh135[i,j]を用いて緑の補間値を算出する場合（case1、case3、case4、case6、case7、case9）には、互いに逆位相を示す赤色成分の局所的な曲率情報と青色成分の局所的な曲率情報とによって、緑色成分の局所的な平均情報（主要項）が補正されることになる。
【０１１０】
すなわち、図９（１）（図１８（２）、（３）を重ね合わせた図に相当する）のように、倍率色収差によって、赤色成分の色情報と青色成分の色情報とが緑色成分に対してずれている場合であっても、主要項は、図９（２）のように、赤色成分の色情報と青色成分の色情報との平均的な変化量に応じて補正される。そのため、第１の実施形態では、撮影光学系１２に倍率色収差が存在している場合であっても、所望の画素に対する主要項を補正することが可能であり、米国特許第５,６２９,７３４号明細書に開示されたＧ補間処理で生じるovershootとundershootとが打ち消し合うことになる。したがって、第１の実施形態によれば、過補正による偽色の発生を低減することができる。
【０１１１】
なお、overshootは、赤色成分の色情報による主要項の補正時だけでなく、青色成分の色情報による主要項の補正時にも生じる可能性があるが、第１の実施形態において、各々の色成分に対応するovershootの値は、平均化されるので、米国特許第５,６２９,７３４号明細書に開示されたＧ補間処理で生じるovershootの値を超えることはない。また、undershootが、青色成分の色情報による主要項の補正時および赤色成分の色情報による主要項の補正時に生じても、第１の実施形態で生じるundershootの値は、米国特許第５,６２９,７３４号明細書に開示されたＧ補間処理で生じるundershootの値を超えることはない。
【０１１２】
ところで、第１の実施形態では、Ｇ補間処理の対象となる画像データが図２に示すようにベイア配列されており、赤色成分の色情報と青色成分の色情報とが互いに斜め方向に位置するため、例えば、補間対象画素に青色成分の色情報が存在する場合、主要項を補正すべき赤色成分の局所的な曲率情報は、補間対象画素との類似性が強い斜め方向に位置する赤色成分の色情報によって算出される。また、緑色の補間値は、式４４におけるZ[i-1,j+3]、Z[i+1,j-3]や式４５におけるZ[i-1,j-3]、Z[i+1,j+3]や式４７におけるZ[i+3,j-1]、Z[i-3,j+1]や式４８におけるZ[i-3,j-1]、Z[i+3,j+1]のように、補間対象画素から離れた斜め方向に位置する画素の色情報を用いて算出される。
【０１１３】
そのため、第１の実施形態におけるＧ補間処理では、高精度の斜め類似性の判定が要求されるが、補間処理部１７は、斜め45度方向および斜め135度方向に対する複数種類の類似度成分を算出する際に、複数の色情報を用いることによって、高精度の斜め類似性の判定を可能にしている。
すなわち、第１の実施形態では、高精度の斜め類似性の判定により、Ｇ補間処理の精度が高められる。
【０１１４】
また、縦方向や横方向の類似性が強く、Gv[i,j]やGh[i,j]を用いて緑の補間値を算出する場合（case2、case8）には、「補間対象画素と異なる色成分による局所的な曲率情報」として緑色成分の局所的な曲率情報が用いられ、緑色成分の局所的な平均情報は、赤色成分または青色成分の局所的な曲率情報と緑色成分の局所的な曲率情報とによって補正されることになる。
【０１１５】
一般に、倍率色収差の影響としては、赤色成分と緑色成分とのずれ量が大きく、青色成分と緑色成分とのずれ量が小さいことが多い。そのため、補間対象画素に赤色成分の色情報が存在する場合、緑色成分の局所的な曲率情報は、赤色成分の局所的な曲率情報の逆位相の成分として作用し、過補正による偽色の発生を低減することができる。また、補間対象画素に青色成分の色情報が存在する場合、倍率色収差の影響が少ないので、過補正による偽色が発生し難い。
【０１１６】
以下、ＲＢ補間処理の動作を説明するが、ここでは、従来から行われているＲＢ補間処理を説明した後、第１の実施形態におけるＲＢ補間処理のうち、図５に示したＲ補間処理を説明する（Ｂ補間処理の説明は省略する）。
まず、従来から行われているＲＢ補間処理としては、色差空間における線形補間処理が知られており、全ての画素の色差（赤色成分（または、青色成分）の色情報から緑色成分の色情報を減算した値）を算出した後に、補間対象画素毎に、以下の（１）〜（３）の何れかの処理を行って、補間値が算出される。
【０１１７】
（１）補間対象画素に欠落する色成分が、補間対象画素の上下方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。
（２）補間対象画素に欠落する色成分が、補間対象画素の左右方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。
【０１１８】
（３）補間対象画素に欠落する色成分が、補間対象画素の斜め方向に隣接する４つの画素に存在する場合、それらの４つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間値とする。
また、色差空間における線形処理に比べて偽色の抑制効果が高い非線形のmedian処理を導入した補間処理も従来から行われている。
【０１１９】
米国特許第５，７９９，１１３号明細書に開示された技術では、ＲＧＢ、ＹＵＶ、ＹＣｂＣｒなどの何れかの表色系で示されるビデオ信号に対して１／４の解像度の間引き圧縮を行って伝送容量を削減するが、このとき消失した間引き画素の３成分データを補間して元の解像度と同じビデオ信号に戻す際に、非線形のmedian処理が導入されている。例えば、ビデオ信号がＹＣｂＣｒ表色系で示されている場合、図１０において○印、△印、×印が付与された間引き画素の輝度成分Ｙの補間値と色成分Ｃｂ、Ｃｒの補間値とが、全く同一の演算処理によって算出される。なお、エッジ部分の構造を残すため、×印が付与された画素だけは近接する４つの画素のmedian値（中央値）で補間され、○印が付与された画素は横方向に隣接する画素の平均値で補間され、△印が付与された画素は縦方向に隣接する画素の平均値で補間される。
【０１２０】
しかし、このようにして行われる補間処理は、動画像における画質レベルの回復には都合が良いが、高精細が要求される静止画像には適さない。すなわち、米国特許第５，７９９，１１３号明細書に開示された技術では、輝度成分Ｙと色成分Ｃｒ、Ｃｂを全く同一に扱っているため、解像を担う輝度成分Ｙの補間値の精度が極めて低い。また、輝度成分Ｙをmedian値で補間するため、画像の構造が破壊される可能性が高く、ＲＧＢ表色系に変換した場合に偽色が拡大するおそれもある。
【０１２１】
ところで、ＲＧＢのカラーフィルタがベイア配列された撮像素子によって、静止画像を生成する電子カメラでは、上述したような補間対象画素と周辺画素との類似性を利用したり、複数の色成分を利用して補間値を算出することによって、空間周波数の高い輝度成分に相当する緑色成分の補間処理（Ｇ補間処理）を極めて高精度に行うことが可能にある。このような電子カメラでは、画像データの高周波情報が最も反映され易い緑色成分の補間処理を高精細に行ってから、赤色成分と青色成分との補間処理を緑色成分に対する色差空間における線形補間で実現することによって、画像データの高周波情報を赤色成分や青色成分に反映させて、偽色の低減を図っている。
【０１２２】
例えば、各画素の色情報が[R1,G2,R3]の順で一次元に配列されている場合、赤の補間値は、
R2=(R1+R3)/2+(2・G2-G1-G3)/2 ・・・式４９
によって算出される。ただし、G2は原画像の緑色成分の色情報を示し、G1,G3はＧ補間処理によって得られた緑の補間値を示す。
【０１２３】
ところが、このようなＲＢ補間処理では、孤立点（周辺画素との類似性の弱い空間周波数の高い画像部分）の周辺に偽色が残るという問題が生じる。従来、この種の偽色を除去するため、Ｇ補間処理およびＲＢ補間処理が行われた後に、画像データをＬａｂ表色系に変換して得られる色相ａ，ｂ面に対して個別にmedianフィルタを掛けるという事後処理が良く用いられる。
【０１２４】
しかし、このようなmedianフィルタを掛ける場合、３×３（＝９点）のフィルタサイズでは、ほとんど有効に作用しないため、フィルタサイズを５×５（＝２５点）の広域に設定する必要がある。
すなわち、上述した電子カメラでは、静止画像の赤色成分および青色成分の補間処理において、従来の方法によるＲＢ補間処理とmedian処理との２度手間を強いられるばかりでなく、median処理におけるフィルタサイズを大きくする必要があるため、非常に重い処理が課せられる。また、median処理におけるフィルタサイズを大きくすることによって、彩色部分の細かい構造（以下、「色構造」と称する）を破壊する危険性も高くなる。
【０１２５】
そこで、第１の実施形態では、孤立点の周辺に偽色を残すことなく、色構造を破壊せずに、赤や青の補間値を高速かつ高精度で算出できるＲＢ補間処理を提示する。ただし、以下では、このようなＲＢ補間処理のうち、Ｒ補間処理のみを図５を参照して説明する。
【０１２６】
まず、補間処理部１７は、赤色成分の色情報が存在する画素毎に、赤色成分の色情報から緑の補間値（上述したＧ補間処理によって得られた値）を減算し、赤色成分を含む色差を算出する（図５Ｓ１）。
例えば、補間処理部１７は、赤色成分の色情報が存在する任意の座標[i,j]に位置する画素における赤色成分を含む色差Cr[i,j]を、
Cr[i,j]=R[i,j]-G[i,j] ・・・式５０
によって算出する。
【０１２７】
なお、第１の実施形態において、このようにして赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分の色情報が欠落して青色成分の色情報が存在する画素を斜め４方向から囲むように配置されることになる。
補間処理部１７は、赤色成分を含む色差によって斜め４方向が囲まれる画素（第１の実施形態では、赤色成分の色情報が欠落して青色成分の色情報が存在する画素に相当する）毎に、赤色成分を含む色差を、斜め方向に位置する画素における赤色成分を含む色差の中央値で補間する（図５Ｓ２）。
【０１２８】
すなわち、第１の実施形態において、補間処理部１７は、図１１（１）に示すように、赤色成分を含む色差によって斜め４方向が囲まれる任意の座標[m,n]に位置する画素の色差Cr[m,n]を、
【０１２９】
ところで、第１の実施形態において、式５０および式５１によって赤色成分を含む色差が算出された状態では、赤色成分を含む色差は、赤色成分および青色成分の色情報が欠落する画素を上下左右４方向から囲むように配置されることになる。
【０１３０】
補間処理部１７は、赤色成分を含む色差によって上下左右４方向が囲まれる画素（第１の実施形態では、赤色成分および青色成分の色情報が欠落する画素に相当する）毎に、赤色成分を含む色差を、上下左右方向に位置する画素における赤色成分を含む色差の中央値で補間する（図５Ｓ３）。
すなわち、第１の実施形態において、補間処理部１７は、図１１（２）に示すように、赤色成分を含む色差によって上下左右４方向が囲まれる任意の座標[m,n]に位置する画素の色差Cr[m,n]を、
【０１３１】
次に、補間処理部１７は、赤色成分の色情報が欠落する画素毎に、式５１や式５２によって算出した赤色成分を含む色差を、緑色成分の色情報（緑色の補間値であっても良い）によって赤の補間値に変換する（図５Ｓ４）。
すなわち、補間処理部１７は、任意の座標[m,n]に位置する画素の赤の補間値R[m,n]を、
R[m,n]=Cr[m,n]+G[m,n] ・・・式５３
によって算出する。
【０１３２】
以上説明したmedian処理は、色相を表す色差に対してのみ行われ、輝度成分に対しては行われない。また、Ｒ補間処理において、図１２（１）の○印が付与された画素が補間対象画素である場合、３×５の範囲に位置する色差Crを用いて×印が付与された画素における赤色成分を含む色差が算出されるので、○印が付与された画素における赤色成分を含む色差は、３×５の範囲に位置する色差Crに重み付けをしてmedian処理を行った結果に近い値を示す。また、図１２（２）の△印が付与された画素が補間対象画素である場合、５×３の範囲に位置する色差Crを用いて×印が付与された画素における赤色成分を含む色差が算出されるので、△印が付与された画素における赤色成分を含む色差は、５×３の範囲に位置する色差Crに重み付けをしてmedian処理を行った結果に近い値を示す。
【０１３３】
すなわち、第１の実施形態では、フィルタサイズを小さく抑えつつ、実質的には広域なmedian処理と同等の効果が得られる。そのため、第１の実施形態によれば、色構造を破壊することなく、孤立点の周辺における偽色の発生を低減することができる。そのため、米国特許第５，７９９，１１３号明細書に開示された技術と比べて、偽色を低減する効果が非常に大きい。
【０１３４】
また、第１の実施形態では、図５Ｓ２と図５Ｓ３との各々のmedian処理において、４点の色差のみを用いるため、処理効率が良く、非常に高速なmedian処理が可能である。
なお、第１の実施形態では、Ｇ補間処理を行った後にＲＢ補間処理を行っているが、ＹＣｂＣｒの表色系で示されてＹ、Ｃｂ、Ｃｒが４:１:１に間引かれた画像データでは、輝度成分Ｙが完全な状態として残っているので、Ｇ補間処理を行うことなく本実施形態と同様のＲＢ補間処理を行うことができる。
【０１３５】
《第２の実施形態》
以下、第２の実施形態の動作を説明する。
なお、第２の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。
以下、Ｇ補間処理について説明するが、第１の実施形態と同じ動作については、説明を省略する。なお、第２の実施形態におけるＧ補間処理と第１の実施形態におけるＧ補間処理との相違点は、緑の補間値G[i,j]を算出する際に用いるGv[i,j]、Gv45[i,j]、Gv135[i,j]、Gh[i,j]、Gh45[i,j]、Gh135[i,j]の値が異なる点である。そのため、第２の実施形態では、Ｇ補間処理における補間処理部１７の動作フローチャートの図示を省略する。また、以下では、図２（１）のように、赤色成分が存在する画素を補間対象画素とした場合を想定して説明を行うが、第２の実施形態は、図２（２）のように、青色成分が存在する画素を補間対象画素とした場合でも適用できる。
【０１３６】
補間処理部１７は、第１の実施形態と同様にして補間対象画素の類似性の強さを判定し（図４Ｓ１〜Ｓ１１に相当する）、補間対象画素の類似性の強さを上述したcase1〜case9の何れかに分類する。そして、補間処理部１７は、以下のようにして緑の補間値G[i,j]を算出する。
case1のとき、G[i,j]=Gv45[i,j]
case2のとき、G[i,j]=Gv[i,j]
case3のとき、G[i,j]=Gv135[i,j]
case4のとき、G[i,j]=(Gv45[i,j]+Gh45[i,j])/2
case5のとき、G[i,j]=(Gv[i,j]+Gh[i,j])/2
case6のとき、G[i,j]=(Gv135[i,j]+Gh135[i,j])/2
case7のとき、G[i,j]=Gh45[i,j]
case8のとき、G[i,j]=Gh[i,j]
case9のとき、G[i,j]=Gh135[i,j]
ただし、
【０１３７】
また、式５４〜式５９において、αred,αgreen,αblue,βred,βgreenは、０または正の定数であり、αred+αgreen+αblue=1,βred+βgreen=1を満たし、gv[i,j],gh[i,j]は、「緑色成分の局所的な平均情報」に対応する項であり、式１や式２の主要項に対応し、δRv45[i,j],δRv[i,j],δRv135[i,j],δRh45[i,j],δRh[i,j],δRh135[i,j],δGv[i,j],δGh[i,j],δBv45[i,j],δBv135[i,j],δBh45[i,j],δBh135[i,j]は、各々の色成分の局所的な曲率情報に対応する項である。
【０１３８】
なお、このような緑色成分の局所的な平均情報および各色成分の局所的な曲率情報は、類似方向に応じて、以下のように算出される。
《緑色成分の局所的な平均情報》
gv[i,j]=(G[i,j-1]+G[i,j+1])/2 ・・・式６０
gh[i,j]=(G[i-1,j]+G[i+1,j])/2 ・・・式６１
《赤色成分の局所的な曲率情報》
δRv45[i,j]=kr1(2・Z[i-2,j+2]-Z[i-2,j]-Z[i-2,j+4])/4 +kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 +kr3(2・Z[i+2,j-2]-Z[i+2,j-4]-Z[i+2,j])/4 ・・・式６２
δRv[i,j]=kr1(2・Z[i-2,j]-Z[i-2,j-2]-Z[i-2,j+2])/4 +kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 +kr3(2・Z[i+2,j]-Z[i+2,j-2]-Z[i+2,j+2])/4 ・・・式６３
δRv135[i,j]=kr1(2・Z[i-2,j-2]-Z[i-2,j-4]-Z[i-2,j])/4 +kr2(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 +kr3(2・Z[i+2,j+2]-Z[i+2,j]-Z[i+2,j+4])/4 ・・・式６４
δRh45[i,j]=kr1(2・Z[i+2,j-2]-Z[i,j-2]-Z[i+4,j-2])/4 +kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 +kr3(2・Z[i-2,j+2]-Z[i-4,j+2]-Z[i,j+2])/4 ・・・式６５
δRh[i,j]=kr1(2・Z[i,j-2]-Z[i-2,j-2]-Z[i+2,j-2])/4 +kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 +kr3(2・Z[i,j+2]-Z[i-2,j+2]-Z[i+2,j+2])/4 ・・・式６６
δRh135[i,j]=kr1(2・Z[i-2,j-2]-Z[i-4,j-2]-Z[i,j-2])/4 +kr2(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 +kr3(2・Z[i+2,j+2]-Z[i,j+2]-Z[i+4,j+2])/4 ・・・式６７
ただし、kr1,kr2,kr3は、０または正の定数であり、kr1+kr2+kr3=1を満たす。
【０１３９】
《緑色成分の局所的な曲率情報》
δGv[i,j]=(2・G[i-1,j]-G[i-1,j-2]-G[i-1,j+2] +2・G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/8 ・・・式６８
δGh[i,j]=(2・G[i,j-1]-G[i-2,j-1]-G[i+2,j-1] +2・G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/8 ・・・式６９
《青色成分の局所的な曲率情報》
δBv45[i,j]=(2・Z[i-1,j+1]-Z[i-1,j-1]-Z[i-1,j+3] +2・Z[i+1,j-1]-Z[i+1,j-3]-Z[i+1,j+1])/8 ・・・式７０
δBv135[i,j]=(2・Z[i-1,j-1]-Z[i-1,j-3]-Z[i-1,j+1] +2・Z[i+1,j+1]-Z[i+1,j-1]-Z[i+1,j+3])/8 ・・・式７１
δBh45[i,j]=(2・Z[i+1,j-1]-Z[i-1,j-1]-Z[i+3,j-1] +2・Z[i-1,j+1]-Z[i-3,j+1]-Z[i+1,j+1])/8 ・・・式７２
δBh135[i,j]=(2・Z[i-1,j-1]-Z[i-3,j-1]-Z[i+1,j-1] +2・Z[i+1,j+1]-Z[i-1,j+1]-Z[i+3,j+1])/8 ・・・式７３
なお、図１３および図１４は、各色成分の局所的な曲率情報を算出する際に用いる色情報の位置を示す図である。すなわち、各色成分の局所的な曲率情報は、図１３および図１４の楕円で囲まれる領域に属する画素における色情報を用いて算出した曲率情報の成分を加重加算して得られることになる。
【０１４０】
すなわち、δRv45[i,j]は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δRv[i,j]は、縦方向に方向性を有する局所的な曲率情報であり、δRv135[i,j]は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、δRh45[i,j]は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δRh[i,j]は、横方向に方向性を有する局所的な曲率情報であり、δRh135[i,j]は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。
【０１４１】
また、δGv[i,j]は、縦方向に方向性を有する局所的な曲率情報であり、δGh[i,j]は、横方向に方向性を有する局所的な曲率情報である。さらに、δBv45[i,j]は、縦方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δBv135[i,j]は、縦方向および斜め135度方向に方向性を有する局所的な曲率情報であり、δBh45[i,j]は、横方向および斜め45度方向に方向性を有する局所的な曲率情報であり、δBh135[i,j]は、横方向および斜め135度方向に方向性を有する局所的な曲率情報である。
【０１４２】
ところで、第２の実施形態の式５４〜式５９および式６２〜式６７において、上述した第１の実施形態は、係数の比率を
αred:αgreen:αblue=1:0:1、βred:βgreen=1:1、kr1:kr2:kr3=0:1:0
に設定した場合に相当する。
第２の実施形態では、このような係数の比率を様々な値に設定することによって、特徴や効果が異なるＧ補間処理を実現することができる。以下、係数の比率の代表例と、各々の代表例の特徴や効果を示す。
【０１４３】
《代表例１》
αred:αgreen:αblue=1:0:1、βred:βgreen=1:1、kr1:kr2:kr3=1:6:1
このような設定は、第１の実施形態に対し、赤色成分の局所的な曲率情報の算出方法を変更することを意味し、第１の実施形態に比べ、より広範囲から抽出した赤色成分の局所的な曲率情報に、緩いローパスフィルタを方向性を考慮して適応的に掛けることに相当する。そのため、代表例１の設定によれば、第１の実施形態に対し、全体としての過補正の低減効果が高められる。
【０１４４】
《代表例２》
αred:αgreen:αblue=1:1:0、βred:βgreen=1:1、kr1:kr2:kr3=0:1:0
このような設定は、第１の実施形態において、斜め方向に類似性がある場合に赤色成分の局所的は曲率情報による過補正を防ぐ役割を果たす青色成分の局所的な曲率情報を、全て緑色成分の局所的な曲率情報で代用することに相当する。そのため、代表例２の設定によれば、斜め方向に関する類似性の判定が不要となるので、アルゴリズムが簡略化され、かつ、過補正を防ぎつつも、十分なレベルの構造情報の抽出を達成することができる。
【０１４５】
《代表例３》
αred:αgreen:αblue=0:1:0、βred:βgreen=0:1、kr1:kr2:kr3=設定不要
このような設定は、代表例２の設定において、赤色成分の過補正を防ぐ役割を果たした緑色成分の局所的な曲率情報を逆に補正項の中心的役割とすることに相当する。このように、補正項を緑色成分の曲率情報だけで構成しても、構造情報の抽出が可能である。これは、緑色成分の曲率情報にも、中心を通る赤色成分の曲率情報に相当する構造情報が多く含まれていることを意味する。また、代表例３の設定は、主要項を構成する緑色成分の平均情報と同じ色成分による局所的な曲率情報で補正することに相当する。したがって、代表例３の設定によれば、過補正を生じることがなく、代表例２の設定と同様に、斜め方向に関する類似性の判定が不要となるので、アルゴリズムの簡略化が可能である。
【０１４６】
《代表例４》
αred:αgreen:αblue=0:0:1、βred:βgreen=0:1、kr1:kr2:kr3=設定不要
このような設定は、代表例２と代表例３との関係と同様に、第１の実施形態に対しても、赤色成分の局所的な曲率情報の過補正を防ぐ役割を果たしていた色成分の曲率情報を逆に補正項の中心的役割として設定することに相当する。代表例４の設定によれば、青色成分の局所的な曲率情報による過補正を防ぐことはできないが、局所的な構造情報の抽出に関しては、第１の実施形態と同程度の効果が得られる。
【０１４７】
《代表例５》
αred:αgreen:αblue=1:1:1、βred:βgreen=1:1、kr1:kr2:kr3=1:0:1
このような設定は、代表例４の設定における過補正の対策として、中心を通る赤色成分の局所的な曲率情報を用いない場合であっても、有効な係数の比率の例を示している。代表例５の設定によれば、代表例３の設定と代表例４の設定と同様に、局所的な構造情報を抽出する効果を得つつ、斜め方向に類似性がある場合の青色成分の局所的な曲率情報による過補正を周辺で構成される赤色成分の局所的な曲率情報で低減することができる。
【０１４８】
《第３の実施形態》
以下、第３の実施形態の動作を説明する。
なお、第３の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。ただし、第３の実施形態では、上述した式５１によって、緑色成分の色情報が存在する画素（Ｇのカラーフィルタが配された画素に対応する）の一部に対して赤色成分を含む色差が補間され、緑色成分の色情報が存在する残りの画素と青色成分が存在する画素とに対する赤色成分を含む色差が式５２によって補間されることになる。
【０１４９】
以下、Ｇ補間処理について説明する。
第３の実施形態では、図３に示すように、Ｇ補間処理の対象となる画素の横方向に、最近接の緑色成分（最も近接する緑色成分）が存在する画素が位置するため、Ｇ補間処理において、第１の実施形態で行われる類似度の算出や類似方向の判定は不要である。ただし、第２近接の緑色成分（２番目に近接する緑色成分）が存在する斜め45度方向、斜め135度方向等に対して、類似度の算出や類似方向の判定を行っても良い。
【０１５０】
第３の実施形態において、補間処理部１７は、図３に示すように配列された画像データに基づき、以下の式７４によって、緑の補間値G[i,j]を算出する。
G[i,j]=(G[i-1,j]+G[i+1,j])/2 +(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/8 +(2・Z[i,j-1]-Z[i-2,j-1]-Z[i+2,j-1] +2・Z[i,j+1]-Z[i-2,j+1]-Z[i+2,j+1])/16 ・・・式７４
ところで、式７４において、第１項は「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は「補間対象画素と同一の色成分による局所的な曲率情報」であり、第３項は「補間対象画素と異なる色成分による局所的な曲率情報」であるが、補間対象画素に赤色成分の色情報が存在する場合（図３（１））、第３項は、「青色成分の局所的な曲率情報」であり、補間対象画素に青色成分の色情報が存在する場合（図３（２））、第３項は、「赤色成分の局所的な曲率情報」である。
【０１５１】
すなわち、第３の実施形態では、互いに逆位相を示す赤色成分の局所的な曲率情報と青色成分の局所的な曲率情報とによって、緑色成分の局所的な平均情報（主要項）が補正されることになる。したがって、第３の実施形態では、第１の実施形態と同様に、倍率色収差によって、赤色成分の色情報と青色成分の色情報とが緑色成分の色情報に対してずれている場合であっても、主要項は、赤色成分の色情報と青色成分の色情報との平均的な変化量に応じて補正される（図９参照）。そのため、第３の実施形態によれば、撮影光学系１２に倍率色収差が存在している場合であっても、所望の画素に対する主要項を補正することが可能であり、米国特許第５,６２９,７３４号明細書に開示されたＧ補間処理で生じるovershootとundershootとが打ち消し合うことを意味する。したがって、第３の実施形態によれば、過補正による偽色の発生を低減することができる。
【０１５２】
《第４の実施形態》
以下、第４の実施形態の動作を説明する。
なお、第４の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。
以下、Ｇ補間処理について説明するが、第１の実施形態と同じ動作については、説明を省略する。なお、第４の実施形態におけるＧ補間処理と第１の実施形態におけるＧ補間処理との相違点は、補間対象画素の類似性の強さを判定した後の動作が異なる点である。そのため、第４の実施形態では、Ｇ補間処理における補間処理部１７の動作フローチャートの図示を省略する。
【０１５３】
補間処理部１７は、第１の実施形態と同様にして補間対象画素の類似性の強さを判定し（図４Ｓ１〜Ｓ１１に相当する）、補間対象画素の類似性の強さを上述したcase1〜case9の何れかに分類する。
そして、補間処理部１７は、類似性が強いと判定された方向に直行する方向に対し、緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]とを、以下のようにして算出する。
【０１５４】
case1のとき、
Gk[i,j]=((G[i-1,j]+G[i,j-1])-(G[i,j+1]+G[i+1,j]))/2 ・・・式７５
Zk[i,j]=((Z[i-2,j]+Z[i,j-2])-(Z[i,j+2]+Z[i+2,j]))/2 ・・・式７６
case2のとき、
Gk[i,j]=G[i,j-1]-G[i,j+1] ・・・式７７
Zk[i,j]=Z[i,j-2]-Z[i,j+2] ・・・式７８
case3のとき、
Gk[i,j]=((G[i-1,j]+G[i,j+1])-(G[i,j-1]+G[i+1,j]))/2 ・・・式７９
Zk[i,j]=((Z[i-2,j]+Z[i,j+2])-(Z[i,j-2]+Z[i+2,j]))/2 ・・・式８０
case4のとき、case1と同じ
case5のとき、Gk[i,j]=1、Zk[i,j]=1
case6のとき、case3と同じ
case7のとき、case1と同じ
case8のとき、
Gk[i,j]=G[i-1,j]-G[i+1,j] ・・・式８１
Zk[i,j]=Z[i-2,j]-Z[i+2,j] ・・・式８２
case9のとき、case3と同じ
次に、補間処理部１７は、以下のようにして緑の補間値G[i,j]を算出する。
【０１５５】
case1のとき、G[i,j]=Gvk[i,j]
case2のとき、G[i,j]=Gvk[i,j]
case3のとき、G[i,j]=Gvk[i,j]
case4のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case5のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case6のとき、G[i,j]=(Gvk[i,j]+Ghk[i,j])/2
case7のとき、G[i,j]=Ghk[i,j]
case8のとき、G[i,j]=Ghk[i,j]
case9のとき、G[i,j]=Ghk[i,j]
ただし、
【０１５６】
ところで、式８３および式８４において、第１項は、「緑色成分の局所的な平均情報」であり、式１や式２の主要項に対応する。また、第２項は、加重係数（緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]との相関を示す値：Gk[i,j]/Zk[i,j]）が掛けられた「補間対象画素と同一の色成分による局所的な曲率情報」であり、補正項に対応する。
【０１５７】
すなわち、第４の実施形態では、緑色成分の局所的な平均情報を、加重係数を掛けた「補間対象画素と同一の色成分による局所的な曲率情報」によって補正している。ここで、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算して補正値を算出する場合の問題点を示す。
【０１５８】
例えば、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが図１５の●印のように与えられている場合（所定の位置を境に緑色成分の色情報が増加し、赤色成分（または、青色成分）の色情報が減少する場合）、「補間対象画素と同一の色成分による局所的な曲率情報」は正の値となる。したがって、このような場合、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算すると、本来、負の方向に補正されるべき、「緑色成分の局所的な平均情報」は、図１５の△印のように正の方向に補正されovershootが生じる。
【０１５９】
すなわち、色境界部分において、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが所定の位置を境に逆方向に変化する場合、加重係数を掛けずに「補間対象画素と同一の色成分による局所的な曲率情報」を「緑色成分の局所的な平均情報」に加算して補正項を算出すると、overshootやundershootが生じることになる。
【０１６０】
一方、本実施形態において、緑色成分の色情報と赤色成分（または、青色成分）の色情報とが図１５の●印のように与えられている場合、緑色成分の傾斜Gk[i,j]の符号と赤色成分（または、青色成分）の傾斜Zk[i,j]の符号とが逆になり、加重係数は負の値となる。そのため、本実施形態では、図１５の□印に示すように、「緑色成分の局所的な平均情報」が所望の方向に補正されるため、overshootやundershootが発生することはない。
【０１６１】
すなわち、第４の実施形態によれば、色境界部分における過補正による偽色の発生を低減することができる。
なお、第４の実施形態では、加重係数の値に何ら制限を設けていないが、加重係数の値をある範囲内に制限することによって、補正項が過大になることを防ぐことができる。
【０１６２】
例えば、加重係数の値の範囲としては、
|Gk[i,j]/Zk[i,j]|≦5
などが考えられる。
【０１６３】
《第５の実施形態》
以下、第５の実施形態の動作を説明する。
なお、第５の実施形態におけるＲＢ補間処理は、第１の実施形態と同様にして行えるため、ここでは、説明を省略する。ただし、第５の実施形態では、第３の実施形態と同様に、式５１によって、緑色成分の色情報が存在する画素の一部に対して赤色成分を含む色差が補間され、緑色成分の色情報が存在する残りの画素と青色の色成分が存在する画素とに対する赤色成分を含む色差が式５２によって補間されることになる。
【０１６４】
以下、Ｇ補間処理について説明する。
第５の実施形態では、図３に示すように、Ｇ補間処理の対象となる画素の横方向に、最近接の緑色成分が存在する画素が位置するため、横方向に位置する画素に存在する色情報を用いて補間処理を行うことが最も単純である。そこで、第５の実施形態では、第４の実施形態のcase8と同様にして、緑の補間値G[i,j]を算出するものとする。
【０１６５】
すなわち、補間処理部１７は、式８５によって、緑の補間値G[i,j]を算出する。
Gk[i,j]=G[i-1,j]-G[i+1,j] ・・・式８１
Zk[i,j]=Z[i-2,j]-Z[i+2,j] ・・・式８２
である。
【０１６６】
このように、第５の実施形態では、第４の実施形態と同様に、緑色成分の局所的な平均情報を、加重係数（緑色成分の傾斜Gk[i,j]と、赤色成分（または、青色成分）の傾斜Zk[i,j]との相関を示す値：Gk[i,j]/Zk[i,j]）を掛けた「補間対象画素と同一の色成分に局所的な曲率情報」によって補正している。そのため、第５の実施形態によれば、色境界部分における過補正による偽色の発生を低減することができる。
【０１６７】
なお、上述した各実施形態では、Ｇ補間処理およびＲＢ補間処理において、色差を色相として用いる例を説明したが、色相として色の比などを用いても、色差と同様に、Ｇ補間処理およびＲＢ補間処理を行うことができる。
《第６の実施形態》
以下、第６の実施形態の動作を説明する。
【０１６８】
図１６は、第６の実施形態の機能ブロック図である。なお、第６の実施形態は、請求項１３ないし請求項１６に記載の補間処理プログラムを記録した記録媒体を用いて、パーソナルコンピュータによって補間処理を実行することに相当する。図１６において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
【０１６９】
なお、図１６に示す電子カメラ２０と図１に示した電子カメラ１０との構成の相違点は、図１６の制御部２１と画像処理部２２とが図１の制御部１１と画像処理部１５とに代えて設けられ、図１６のインタフェース部２３が新たに設けられた点である。
また、図１６において、パーソナルコンピュータ３０は、ＣＰＵ３１、インタフェース部３２、ハードディスク３３およびメモリ３４を有し、ＣＰＵ３１は、バスを介してインタフェース部３２、ハードディスク３３およびメモリ３４に接続される。
【０１７０】
なお、パーソナルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒体に記録された補間処理プログラム（前述した各実施形態の補間処理部１７と同様にして補間処理を実行する補間処理プログラム）が予めインストールされているものとする。すなわち、ハードディスク３３には、このような補間処理プログラムが実行可能な状態で格納されている。
【０１７１】
以下、図１６を参照して第６の実施形態の動作を説明する。
まず、電子カメラ２０では、図１に示した電子カメラ１０と同様にして生成された画像データが画像処理部２２に供給される。画像処理部２２は、画像データに補間処理以外の画像処理（例えば、階調変換処理など）を施し、記録部１６では、画像処理が施された画像データが画像ファイルの形式で記録される。
【０１７２】
このような画像ファイルは、インタフェース部２３を介してパーソナルコンピュータ３０に供給される。
パーソナルコンピュータ３０内のＣＰＵ３１は、インタフェース部３２を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。補間処理により各色成分の解像度が高められた画像データは、必要に応じて画像圧縮等を行ってから、ハードディスク３３などに記録され、最終的に、ディスプレイ、プリンタなどの各接続機器に応じた表色系データとして出力される。
【０１７３】
すなわち、第６の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ３０によって行うことができる。
【０１７４】
【発明の効果】
上述したように、請求項１および請求項１３に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均情報」を、「補間対象画素に関する２種類以上の色成分の局所的な曲率情報」で補正することによって補間値を算出し、請求項２に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均情報」を、「補間対象画素と同一の色成分による局所的な曲率情報」および「補間対象画素とは異なる色成分による局所的な曲率情報」で補正することによって補間値を算出する。
【０１７５】
そのため、請求項１、請求項２、請求項１３に記載の発明によれば、過補正による偽色の発生を低減することができる。請求項３および請求項１４に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均情報」を、「補間対象画素とは異なる色成分による局所的な曲率情報」で補正することによって補間値を算出し、請求項４および請求項１５に記載の発明は、「補間対象画素に関する第１色成分の局所的な平均情報」を、「補間対象画素に関する第１色成分の局所的な曲率情報」で補正することによって補間値を算出する。
【０１７６】
そのため、請求項３、請求項４、請求項１４、請求項１５に記載の発明によれば、構造情報を確実に抽出することができる。さらに、請求項４、請求項１５に記載の発明では、偽色が発生することがない。請求項５ないし請求項８、請求項１６に記載の発明では、複数の方向に存在する画素の色情報を補間対象画素との類似性に応じて用い、補間値を算出する。特に、請求項７および請求項８に記載の発明では、斜め方向の類似性が補間値に反映される。
【０１７７】
そのため、請求項５ないし請求項８、請求項１６に記載の発明によれば、画像の構造を損なうことなく、補間値を算出することができる。請求項９に記載の発明では、類似性を判定する際のノイズの影響を低減することができ、請求項１０および請求項１２に記載の発明では、類似性を判定する際に複数の色成分の色情報が反映され、請求項１２に記載の発明では、類似性を判定する際に周辺画素との連続性が反映される。
【０１７８】
したがって、請求項９ないし請求項１２に記載の発明によれば、類似性の判定の精度を向上することができる。また、「補間対象画素に関する第１色成分の平均情報」を、加重係数を掛けた「補間対象画素に関して補間対象画素と同一の色成分による局所的な曲率情報」で補正することによって、補正の方向や補正の幅を、加重係数によって調整することができる。特に、このような場合には、加重係数が補間対象画素が属する局所的領域における色成分別の色情報の傾きの相関に応じて算出されるため、このような相関によって、「補間対象画素に関する第１色成分の平均情報」を補正する際の補正の方向や補正の幅を調整することができる。
【０１７９】
したがって、色境界部分における過補正による偽色の発生を低減することができる。また、補間対象画素の色相値を、補間対象画素の近傍に位置する複数の画素の色相値の中央値によって算出できる。
【０１８０】
したがって、孤立点の周辺における偽色の発生を低減することができる。また、従来の補間処理（ＲＢ補間処理とmedian処理とを合わせた処理）と比べて、色構造を破壊することなく、高速に補間値を算出することができる。
【図面の簡単な説明】
【図１】第１の実施形態ないし第５の実施形態に対応する電子カメラの機能ブロック図である。
【図２】第１の実施形態、第２の実施形態、第４の実施形態における画像データの色成分の配列を示す図である。
【図３】第３の実施形態および第５の実施形態における画像データの色成分の配列を示す図である。
【図４】第１の実施形態における補間処理部の動作フローチャート（１）である。
【図５】第１の実施形態における補間処理部の動作フローチャート（２）である。
【図６】類似度成分の加重加算を説明する図である。
【図７】(HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。
【図８】緑の補間値G[i,j]を算出する際に用いる色情報の位置を示す図である。
【図９】倍率色収差の影響が解消される様子を説明する図である。
【図１０】従来のmedian処理を説明する図である。
【図１１】第１の実施形態におけるmedian処理の動作を説明する図である。
【図１２】第１の実施形態におけるmedian処理の範囲を説明する図である。
【図１３】局所的な曲率情報を算出する際に用いる色情報の位置を示す図である。
【図１４】局所的な曲率情報を算出する際に用いる色情報の位置を示す図（続き）である。
【図１５】第４の実施形態における加重係数の役割を説明する図である。
【図１６】第６の実施形態における機能ブロック図である。
【図１７】従来の補間処理の例を説明する図である。
【図１８】倍率色収差の影響を説明する図である。
【図１９】倍率色収差による過補正を説明する図である。
【図２０】色境界部分における過補正の影響を示す図である。
Claims (16)
- 第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する２種類以上の色成分の局所的な曲率の値とを加算した値で構成される補間値を算出する補間値算出手段を備えたことを特徴とする補間処理装置。
- 請求項１に記載の補間処理装置において、
前記補間値算出手段は、
前記２種類以上の色成分の局所的な曲率の値として、（１）補間対象画素と同一の色成分による局所的な曲率の値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを含む局所的な曲率の値を算出することを特徴とする補間処理装置。 - 第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手段を備えたことを特徴とする補間処理装置。
- 第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する第１色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手段を備えたことを特徴とする補間処理装置。
- 請求項１ないし請求項３の何れか１項に記載の補間処理装置において、
補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手段と、
前記第１の類似性判定手段によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手段とを備え、
前記補間値算出手段は、
前記第１色成分の局所的な平均値を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手段による判定結果に基づいて選択し、前記局所的な曲率の値が、（１）「単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第１の類似性判定手段による判定結果に基づいて選択し、（２）「単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」である場合、該局所的な曲率の値を算出する際に用いる色情報が存在する画素の方向を該第２の類似性判定手段による判定結果に基づいて選択することを特徴とする補間処理装置。 - 第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理を行う補間処理装置において、
補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第１項と第２項との２つの項を加算した値で構成される補間値を算出する補間値算出手段と、
補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手段と、
前記第１の類似性判定手段によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手段とを備え、
前記補間値算出手段は、
前記第１項を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手段による判定結果に基づいて選択し、前記第２項を算出する際に用いる色情報が存在する画素の方向を、前記第２の類似性判定手段による判定結果に基づいて選択し、
前記第１項として、（ａ）補間対象画素に関する第１色成分の局所的な平均値と、（ｂ）単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値とを加算した値を含む項を算出し、
前記第２項として、単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値を含む項を算出することを特徴とする補間処理装置。 - 請求項５または請求項６に記載の補間処理装置において、
画像データが第１〜第３の色成分から成る表色系で示され、第１色成分が第２色成分および第３色成分に比べて空間周波数が高く、第１色成分が市松模様状に配置されると共に、第２色成分および第３色成分がそれぞれ第１色成分の間に線順次に配置され、補間対象画素に第２色成分が存在する場合、
前記第１の類似性判定手段は、
補間対象画素と補間対象画素に最も近接する第１色成分が存在する画素とを結ぶ縦横２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、算出された類似度の小さい方が補間対象画素との類似性が強いと判定し、
前記第２の類似性判定手段は、
補間対象画素と補間対象画素に最も近接する第３色成分が存在する画素とを結ぶ斜め２方向に対する補間対象画素の類似度を算出し、該類似度の差異に基づいて、算出された類似度の小さい方が補間対象画素との類似性が強いと判定し、
前記補間値算出手段は、
「単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第１色成分との少なくとも一方に対応させ、「単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値」を、第２色成分と第３色成分との少なくとも一方に対応させることを特徴とする補間処理装置。 - 請求項７に記載の補間処理装置において、
前記補間値算出手段は、
前記局所的な曲率の値が、「補間対象画素とは異なる色成分による局所的な曲率の値」である場合、該局所的な曲率の値を、第１色成分に対応させるか、第３色成分に対応させるかを、前記第２の類似性判定手段によって判定された類似性の強弱に応じて切り替え、前記第２の類似性判定手段によって、前記斜め２方向の類似性が同程度であると判定された場合、第１色成分による局所的な曲率の値を算出し、該斜め２方向の類似性のうち、一方の斜め方向の類似性が他方の斜め方向の類似性よりも強いと判定された場合、第３色成分による局所的な曲率の値を算出することを特徴とする補間処理装置。 - 請求項７に記載の補間処理装置において、
前記第１の類似性判定手段は、
前記縦横２方向の類似度の差異が所定の閾値よりも小さい場合、該縦横２方向の類似性が同程度であると判定し、
前記第２の類似性判定手段は、
前記斜め２方向の類似度の差異が所定の閾値よりも小さい場合、該斜め２方向の類似性が同程度であると判定することを特徴とする補間処理装置。 - 請求項７に記載の補間処理装置において、
前記第１の類似性判定手段は、
１つの補間対象画素につき、前記縦横２方向の類似度を複数の色成分の色情報を用いて算出し、
前記第２の類似性判定手段は、
１つの補間対象画素につき、前記斜め２方向の類似度を複数の色成分の色情報を用いて算出することを特徴とする補間処理装置。 - 請求項１０に記載の補間処理装置において、
前記第２の類似性判定手段は、
前記斜め２方向の各々の方向毎に、（１）第１色成分のみの色情報から成る類似度成分と、（２）第２色成分のみの色情報から成る類似度成分と、（３）第３色成分のみの色情報から成る類似度成分と、（４）第２色成分および第３色成分の色情報から成る類似度成分とを加重加算して、各々の方向の類似度を算出することを特徴とする補間処理装置。 - 請求項７に記載の補間処理装置において、
前記第１の類似性判定手段は、
各々の画素における縦横２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の縦横２方向に対する類似性を判定し、
前記第２の類似性判定手段は、各々の画素における斜め２方向に対する類似度を算出し、補間対象画素のみならず周辺画素の類似度の差異に基づいて、補間対象画素の斜め２方向に対する類似性を判定することを特徴とする補間処理装置。 - 第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、
補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する２種類以上の色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする補間処理プログラムを記録した記録媒体。 - 第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、
補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素とは異なる色成分による局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする補間処理プログラムを記録した記録媒体。 - 第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、補間処理の対象となる補間対象画素が属する局所的領域に位置する画素に存在する色情報を用いて、少なくとも、（１）補間対象画素に関する第１色成分の局所的な平均値と、（２）補間対象画素に関する第１色成分の局所的な曲率の値とを加算した値とで構成される補間値を算出する補間値算出手順をコンピュータに実行させることを特徴とする補間処理プログラムを記録した記録媒体。
- 第１〜第ｎ（ｎ≧２）の色成分から成る表色系で示され、各々の画素に１種類の色成分の色情報が存在する画像データに対し、第１色成分が欠落する画素に第１色成分の色情報に相当する補間値を決める処理をコンピュータで実現するための補間処理プログラムを記録した記録媒体において、
補間処理の対象となる補間対象画素が属する局所的領域に位置する画素の色情報を用いて、少なくとも、第１項と第２項との２つの項を加算した値で構成される補間値を算出する補間値算出手順と、
補間対象画素と第１色成分の色情報が存在する画素とを結ぶ少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第１の類似性判定手順と、
前記第１の類似性判定手順によって類似性の強弱が判定される方向とは異なる少なくとも２つの直交する方向に対し類似度を算出し、該類似度の差異に基づいて、算出された類似度の値の小さい方が、補間対象画素との類似性が強いと判定する第２の類似性判定手順とをコンピュータに実行させ、
前記補間値算出手順は、
前記第１項を算出する際に用いる色情報が存在する画素の方向を、前記第１の類似性判定手順による判定結果に基づいて選択し、前記第２項を算出する際に用いる色情報が存在する画素の方向を、前記第２の類似性判定手順による判定結果に基づいて選択し、
前記第１項として、（ａ）補間対象画素に関する第１色成分の局所的な平均値と、（ｂ）単一色成分で構成され、前記第１の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値とを加算した値を含む項を算出し、
前記第２項として、単一色成分で構成され、前記第２の類似性判定手段で類似性の強弱の判定対象となる方向について方向性を有する局所的な曲率の値を含む項を算出することを特徴とする補間処理プログラムを記録した記録媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000204768A JP4599672B2 (ja) | 1999-12-21 | 2000-07-06 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| PCT/JP2000/009040 WO2001047244A1 (fr) | 1999-12-21 | 2000-12-20 | Dispositif d'interpolation et support d'enregistrement sur lequel un programme d'interpolation est enregistre |
| US09/877,002 US20020001409A1 (en) | 1999-12-21 | 2001-06-11 | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| US11/367,583 US7236628B2 (en) | 1999-12-21 | 2006-03-06 | Interpolation processing apparatus and recording medium having interpolation processing program recording therein |
| US11/477,666 US7362897B2 (en) | 1999-12-21 | 2006-06-30 | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36300799 | 1999-12-21 | ||
| JP11-363007 | 1999-12-21 | ||
| JP2000204768A JP4599672B2 (ja) | 1999-12-21 | 2000-07-06 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010163173A Division JP4748278B2 (ja) | 1999-12-21 | 2010-07-20 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001245314A JP2001245314A (ja) | 2001-09-07 |
| JP4599672B2 true JP4599672B2 (ja) | 2010-12-15 |
Family
ID=26581442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000204768A Expired - Fee Related JP4599672B2 (ja) | 1999-12-21 | 2000-07-06 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (3) | US20020001409A1 (ja) |
| JP (1) | JP4599672B2 (ja) |
| WO (1) | WO2001047244A1 (ja) |
Families Citing this family (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6724945B1 (en) | 2000-05-24 | 2004-04-20 | Hewlett-Packard Development Company, L.P. | Correcting defect pixels in a digital image |
| WO2002071761A1 (fr) * | 2001-03-05 | 2002-09-12 | Nikon Corporation | Programme et dispositif de traitement d'images |
| US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
| US6950469B2 (en) | 2001-09-17 | 2005-09-27 | Nokia Corporation | Method for sub-pixel value interpolation |
| JP3947969B2 (ja) * | 2002-05-15 | 2007-07-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム |
| WO2003101119A1 (fr) * | 2002-05-24 | 2003-12-04 | Nikon Corporation | Procede de traitement d'images, programme de traitement d'images et processeur d'images |
| US20030231795A1 (en) * | 2002-06-12 | 2003-12-18 | Nokia Corporation | Spatial prediction based intra-coding |
| US7289674B2 (en) * | 2002-06-11 | 2007-10-30 | Nokia Corporation | Spatial prediction based intra coding |
| JP2004241991A (ja) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
| CN100544450C (zh) * | 2003-06-12 | 2009-09-23 | 株式会社尼康 | 图像处理方法 |
| JP4305071B2 (ja) * | 2003-06-30 | 2009-07-29 | 株式会社ニコン | 信号補正方法 |
| US7440016B2 (en) * | 2003-12-22 | 2008-10-21 | Hewlett-Packard Development Company, L.P. | Method of processing a digital image |
| WO2005081542A1 (ja) * | 2004-02-19 | 2005-09-01 | Mitsubishi Denki Kabushiki Kaisha | 画像処理方法 |
| JP4396332B2 (ja) * | 2004-03-10 | 2010-01-13 | セイコーエプソン株式会社 | ディジタルカメラ |
| WO2006006373A1 (ja) * | 2004-07-07 | 2006-01-19 | Nikon Corporation | 画像処理装置およびコンピュータプログラム製品 |
| JP4333997B2 (ja) * | 2004-08-24 | 2009-09-16 | シャープ株式会社 | 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| JP4352331B2 (ja) * | 2004-09-09 | 2009-10-28 | 富士フイルム株式会社 | 信号処理装置、信号処理方法及び信号処理プログラム |
| KR100721338B1 (ko) * | 2004-12-30 | 2007-05-28 | 엘지전자 주식회사 | 디지털 촬영장치의 색상 보간법 |
| WO2006093266A1 (ja) * | 2005-03-04 | 2006-09-08 | Nikon Corporation | 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ |
| JP4580791B2 (ja) * | 2005-03-17 | 2010-11-17 | ユニデン株式会社 | 画素補完方法 |
| JP4388909B2 (ja) * | 2005-04-25 | 2009-12-24 | イーストマン コダック カンパニー | 画素欠陥補正装置 |
| TWI259728B (en) * | 2005-04-26 | 2006-08-01 | Ali Corp | Method of encoding and decoding image data by applying image capturing device |
| US7885478B2 (en) * | 2005-05-19 | 2011-02-08 | Mstar Semiconductor, Inc. | Noise reduction method and noise reduction apparatus |
| WO2007007878A1 (ja) | 2005-07-14 | 2007-01-18 | Nikon Corporation | 画像処理装置および画像処理方法 |
| US7668366B2 (en) * | 2005-08-09 | 2010-02-23 | Seiko Epson Corporation | Mosaic image data processing |
| TWI272016B (en) * | 2005-08-09 | 2007-01-21 | Sunplus Technology Co Ltd | Method and system for eliminating color noises generated from interpolation |
| EP1940180B1 (en) * | 2005-09-29 | 2012-05-30 | Nikon Corporation | Image processing apparatus and image processing method |
| US8009209B2 (en) * | 2005-09-30 | 2011-08-30 | Simon Fraser University | Methods and apparatus for detecting defects in imaging arrays by image analysis |
| US7551214B2 (en) * | 2005-12-01 | 2009-06-23 | Megachips Lsi Solutions Inc. | Pixel interpolation method |
| JP4600301B2 (ja) * | 2006-01-16 | 2010-12-15 | ソニー株式会社 | 色差信号の補正方法とこれを用いた色差信号処理回路及びカメラシステム |
| JP5183880B2 (ja) * | 2006-03-14 | 2013-04-17 | ソニー株式会社 | カラーフィルタおよび撮像素子 |
| KR101303879B1 (ko) * | 2006-06-30 | 2013-09-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| JP4709084B2 (ja) * | 2006-07-07 | 2011-06-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP4735978B2 (ja) * | 2006-07-21 | 2011-07-27 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| TWI332798B (en) * | 2006-09-01 | 2010-11-01 | Mstar Semiconductor Inc | Method and device for reconstructing missing color component |
| JP4958538B2 (ja) * | 2006-12-25 | 2012-06-20 | 三星電子株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
| JP2008294714A (ja) * | 2007-05-24 | 2008-12-04 | Panasonic Corp | 映像信号処理装置 |
| US8077234B2 (en) * | 2007-07-27 | 2011-12-13 | Kabushiki Kaisha Toshiba | Image pickup device and method for processing an interpolated color signal |
| JP4620095B2 (ja) * | 2007-08-24 | 2011-01-26 | 盛群半導體股▲ふん▼有限公司 | Ｙｍｃｇカラー・フィルタ・アレイに用いられる色彩補間法 |
| JP4982897B2 (ja) * | 2007-08-27 | 2012-07-25 | 株式会社メガチップス | 画像処理装置 |
| US8175387B1 (en) * | 2007-09-19 | 2012-05-08 | Trend Micro, Inc. | Image similarity detection using approximate pattern matching |
| WO2009066770A1 (ja) | 2007-11-22 | 2009-05-28 | Nikon Corporation | デジタルカメラおよびデジタルカメラシステム |
| US8564680B1 (en) | 2007-12-13 | 2013-10-22 | Marvell International Ltd. | Method and apparatus for noise management for color data synthesis in digital image and video capture systems |
| JP4962293B2 (ja) * | 2007-12-14 | 2012-06-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| US8229212B2 (en) * | 2008-04-08 | 2012-07-24 | Qualcomm Incorporated | Interpolation system and method |
| JP5006835B2 (ja) * | 2008-05-07 | 2012-08-22 | ルネサスエレクトロニクス株式会社 | エラー低減方法及びエラー低減装置 |
| JP5272581B2 (ja) * | 2008-08-25 | 2013-08-28 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| JP2010061565A (ja) * | 2008-09-05 | 2010-03-18 | Konica Minolta Business Technologies Inc | 画素補間装置、画素補間方法および画像読取装置 |
| US8131067B2 (en) * | 2008-09-11 | 2012-03-06 | Seiko Epson Corporation | Image processing apparatus, image processing method, and computer-readable media for attaining image processing |
| WO2010088465A1 (en) * | 2009-02-02 | 2010-08-05 | Gentex Corporation | Improved digital image processing and systems incorporating the same |
| JP5169994B2 (ja) * | 2009-05-27 | 2013-03-27 | ソニー株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| US8463035B2 (en) * | 2009-05-28 | 2013-06-11 | Gentex Corporation | Digital image processing for calculating a missing color value |
| JP5267445B2 (ja) * | 2009-12-17 | 2013-08-21 | 株式会社ニコン | 画像処理プログラムおよび撮像装置 |
| US8654205B2 (en) | 2009-12-17 | 2014-02-18 | Nikon Corporation | Medium storing image processing program and imaging apparatus |
| US8633942B2 (en) | 2010-06-07 | 2014-01-21 | Microsoft Corporation | View generation using interpolated values |
| US8447105B2 (en) * | 2010-06-07 | 2013-05-21 | Microsoft Corporation | Data driven interpolation using geodesic affinity |
| JP5672872B2 (ja) * | 2010-09-08 | 2015-02-18 | 株式会社リコー | 画像形成装置 |
| JP5056927B2 (ja) * | 2010-09-17 | 2012-10-24 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像装置 |
| JP5353945B2 (ja) * | 2011-05-13 | 2013-11-27 | 株式会社ニコン | 画像処理装置および画像処理プログラム並びに電子カメラ |
| US9769430B1 (en) | 2011-06-23 | 2017-09-19 | Gentex Corporation | Imager system with median filter and method thereof |
| US20130028538A1 (en) * | 2011-07-29 | 2013-01-31 | Simske Steven J | Method and system for image upscaling |
| TWI455063B (zh) * | 2011-08-12 | 2014-10-01 | Univ Nat Cheng Kung | Color interpolation device and method thereof |
| TWI463430B (zh) * | 2011-08-12 | 2014-12-01 | Univ Nat Cheng Kung | Color interpolation and image magnifying device and method thereof |
| JP5639024B2 (ja) * | 2011-09-27 | 2014-12-10 | 富士重工業株式会社 | 画像処理装置 |
| US9041838B2 (en) | 2012-02-14 | 2015-05-26 | Gentex Corporation | High dynamic range imager system |
| JP6131546B2 (ja) | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| JP6131545B2 (ja) | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| WO2013161313A1 (ja) | 2012-04-25 | 2013-10-31 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| JP6036829B2 (ja) | 2012-08-10 | 2016-11-30 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理装置の制御プログラム |
| JP5904281B2 (ja) | 2012-08-10 | 2016-04-13 | 株式会社ニコン | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
| JP5749406B2 (ja) * | 2012-08-23 | 2015-07-15 | 富士フイルム株式会社 | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム |
| JP2014110507A (ja) * | 2012-11-30 | 2014-06-12 | Canon Inc | 画像処理装置および画像処理方法 |
| CN103236036B (zh) * | 2013-04-01 | 2016-09-14 | 北京开明智达科技有限责任公司深圳分公司 | 一种基于方向的色平面插值方法 |
| US9479746B2 (en) * | 2014-01-08 | 2016-10-25 | Marvell World Trade Ltd. | Methods and apparatus for demosaicking artifacts suppression |
| JP6302272B2 (ja) * | 2014-02-06 | 2018-03-28 | 株式会社東芝 | 画像処理装置、画像処理方法及び撮像装置 |
| CN106165398B (zh) | 2014-04-04 | 2019-07-02 | 株式会社尼康 | 摄像元件、摄像装置以及图像处理装置 |
| JP6415094B2 (ja) * | 2014-04-25 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| JP6426909B2 (ja) * | 2014-05-12 | 2018-11-21 | 日本放送協会 | 色情報補完装置およびそのプログラム |
| JP6781406B2 (ja) * | 2017-03-28 | 2020-11-04 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4642678A (en) * | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
| US4605956A (en) * | 1984-09-10 | 1986-08-12 | Eastman Kodak Company | Single-chip electronic color camera with color-dependent birefringent optical spatial frequency filter and red and blue signal interpolating circuit |
| US4663655A (en) * | 1985-08-05 | 1987-05-05 | Polaroid Corporation | Method and apparatus for reconstructing missing color samples |
| US4724395A (en) * | 1985-08-05 | 1988-02-09 | Polaroid Corporation | Median filter for reconstructing missing color samples |
| JPS62190994A (ja) * | 1986-02-18 | 1987-08-21 | Fuji Photo Film Co Ltd | 色差線順次映像信号の信号補間装置 |
| US4774565A (en) * | 1987-08-24 | 1988-09-27 | Polaroid Corporation | Method and apparatus for reconstructing missing color samples |
| JPH0548886A (ja) * | 1991-08-16 | 1993-02-26 | Konica Corp | データ変換装置 |
| JP3647052B2 (ja) * | 1993-04-15 | 2005-05-11 | キヤノン株式会社 | 撮像装置 |
| AU6814694A (en) * | 1993-06-03 | 1995-01-03 | Target Technologies, Inc. | Videoconferencing system |
| US5541653A (en) * | 1993-07-27 | 1996-07-30 | Sri International | Method and appartus for increasing resolution of digital color images using correlated decoding |
| JP2931520B2 (ja) * | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
| JP3125124B2 (ja) * | 1994-06-06 | 2001-01-15 | 松下電器産業株式会社 | 欠陥画素傷補正回路 |
| JP3527291B2 (ja) * | 1994-08-25 | 2004-05-17 | 三菱電機株式会社 | 色変換処理装置、色逆変換処理装置及び映像信号処理装置 |
| JP3611890B2 (ja) * | 1995-02-20 | 2005-01-19 | 株式会社リコー | 色変換装置 |
| US5629734A (en) * | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| US5799113A (en) * | 1996-01-19 | 1998-08-25 | Microsoft Corporation | Method for expanding contracted video images |
| US5805217A (en) * | 1996-06-14 | 1998-09-08 | Iterated Systems, Inc. | Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor |
| US5901242A (en) * | 1996-07-03 | 1999-05-04 | Sri International | Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients |
| JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| JP3683397B2 (ja) * | 1997-07-02 | 2005-08-17 | 富士写真フイルム株式会社 | カラー画像データ補間方法および装置 |
| US6091851A (en) * | 1997-11-03 | 2000-07-18 | Intel Corporation | Efficient algorithm for color recovery from 8-bit to 24-bit color pixels |
| US6130960A (en) * | 1997-11-03 | 2000-10-10 | Intel Corporation | Block-matching algorithm for color interpolation |
| JP4408962B2 (ja) * | 1998-01-29 | 2010-02-03 | エヌエックスピー ビー ヴィ | 色信号補間方法、装置及びカメラ |
| US6356276B1 (en) * | 1998-03-18 | 2002-03-12 | Intel Corporation | Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space |
| JP4045645B2 (ja) * | 1998-05-19 | 2008-02-13 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| US6075889A (en) * | 1998-06-12 | 2000-06-13 | Eastman Kodak Company | Computing color specification (luminance and chrominance) values for images |
| JP4097815B2 (ja) * | 1998-11-24 | 2008-06-11 | 株式会社リコー | 画像処理装置および画像処理方法 |
| JP2000197067A (ja) | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
| US6809765B1 (en) * | 1999-10-05 | 2004-10-26 | Sony Corporation | Demosaicing for digital imaging device using perceptually uniform color space |
| US6724945B1 (en) * | 2000-05-24 | 2004-04-20 | Hewlett-Packard Development Company, L.P. | Correcting defect pixels in a digital image |
| JP3905708B2 (ja) * | 2001-01-26 | 2007-04-18 | ペンタックス株式会社 | 画像補間装置 |
| US7053908B2 (en) * | 2001-04-12 | 2006-05-30 | Polaroid Corporation | Method and apparatus for sensing and interpolating color image data |
-
2000
- 2000-07-06 JP JP2000204768A patent/JP4599672B2/ja not_active Expired - Fee Related
- 2000-12-20 WO PCT/JP2000/009040 patent/WO2001047244A1/ja active Application Filing
-
2001
- 2001-06-11 US US09/877,002 patent/US20020001409A1/en not_active Abandoned
-
2006
- 2006-03-06 US US11/367,583 patent/US7236628B2/en not_active Expired - Lifetime
- 2006-06-30 US US11/477,666 patent/US7362897B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20060245646A1 (en) | 2006-11-02 |
| US7362897B2 (en) | 2008-04-22 |
| US20020001409A1 (en) | 2002-01-03 |
| JP2001245314A (ja) | 2001-09-07 |
| US20060198556A1 (en) | 2006-09-07 |
| US7236628B2 (en) | 2007-06-26 |
| WO2001047244A1 (fr) | 2001-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4599672B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP3985679B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| US7916937B2 (en) | Image processing device having color shift correcting function, image processing program and electronic camera | |
| US7391903B2 (en) | Image processing method, image processing program and image processing processor for interpolating color components | |
| US7667738B2 (en) | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera | |
| JP3706789B2 (ja) | 信号処理装置及び信号処理方法 | |
| EP2056607B1 (en) | Image processing apparatus and image processing program | |
| JPWO2003058554A1 (ja) | 画素の類似度判定を行う画像処理装置および画像処理プログラム | |
| JP4934839B2 (ja) | 画像処理装置及びその方法並びにプログラム | |
| JP4581191B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP2000188762A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP4748278B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP4415468B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| JP2001119706A (ja) | 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 | |
| JP4196055B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4239483B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP2012100215A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP4239480B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP3962518B2 (ja) | 画像信号処理装置 | |
| JP2002204460A (ja) | 画像処理装置および画像処理プログラムを記録した記録媒体 | |
| JP2004007165A (ja) | 画像処理方法、画像処理プログラム、画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100913 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4599672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |