JP4305989B2 - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents
補間処理装置および補間処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4305989B2 JP4305989B2 JP02724899A JP2724899A JP4305989B2 JP 4305989 B2 JP4305989 B2 JP 4305989B2 JP 02724899 A JP02724899 A JP 02724899A JP 2724899 A JP2724899 A JP 2724899A JP 4305989 B2 JP4305989 B2 JP 4305989B2
- Authority
- JP
- Japan
- Prior art keywords
- vacancies
- similarity
- interpolation
- interpolation processing
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置と、該補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
電子カメラには、カラー画像の画像データを生成する際、単一の撮像素子を用いるものがある。
このような撮像素子は、例えば図７（１）に示すように、ＲＧＢ（赤色・緑色・青色）の３色のカラーフィルタがベイア配列されて構成される。ここで、Ｇ（緑色）に着目すると、撮像素子は、図７（２）に示すように緑色を出力する画素である格子点と、緑色が欠落する画素である空格子点とで構成されていると言える。
【０００３】
従来から、このような空格子点に欠落する色の色情報（補間量）を得るための補間処理が考えられている。
例えば、このような補間処理としては、補間処理の対象となる空格子点（以下、「着目空格子点」という。）に隣接する４つの格子点の色情報の平均値を補間量とするものがあった。
【０００４】
また、米国特許第５,３８２,９７６号明細書および米国特許第５,３７３,３２２号明細書には、着目空格子点の空間的な類似性を着目空格子点の色傾斜（chrominance gradients）によって推定し、類似性が強い方向に隣接する２つの格子点の色情報に基づいて補間量を算出する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかし、これらの米国特許明細書に開示された技術では、類似性が強い方向に隣接する２つの格子点の色情報の平均値を補間量としているため、エッジ部分がぼやけてしまったり、偽色が発生するなど、補間処理によってカラー画像が破綻する可能性があった。
【０００６】
そこで、請求項１ないし請求項９に記載の発明は、エッジ部分での偽色の発生を抑えて、精度良く補間処理を行うことができる補間処理装置を提供することを目的とする。
また、請求項１０ないし請求項１２に記載の発明は、エッジ部分での偽色の発生を抑えて精度良い補間処理をコンピュータに実行させることができる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
以下、実施形態の図面に対応付けて、課題を解決するための手段を説明する。
請求項１に記載の補間処理装置は、補間処理の対象となる着目空格子点をまたぐ２つ以上の方向の各々に対して、該着目空格子点の類似性を判定する第１の類似性判定手段と、補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する第２の類似性判定手段と、第１の類似性判定手段の判定結果により選ばれた、格子点に向かう複数の方向のうちの一部もしくは全部の方向に対して、第２の類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、一部もしくは全部の方向に位置する格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と、を備える。
【０００８】
請求項２に記載の補間処理装置は、補間処理の対象となる着目空格子点を起点として近傍の格子点に向かう複数の方向の各々に対して該着目空格子点の類似性を判定し、該類似性の強弱に基づいて該方向に位置する格子点の色情報（Ｇ）を加重加算することによって補間量を算出する第１の補間量算出手段（Ｓ２１を行っている状態の図１の補間処理部１７に対応する）と、前記複数の方向に位置する格子点の色情報（Ｇ）から予測される補間量の予測値を、該方向に位置して着目空格子点と同一の色を出力する空格子点の色情報（ＲまたはＢ）と着目空格子点の色情報（ＲまたはＢ）とに基づいて補正することによって、補間量を算出する第２の補間量算出手段（Ｓ２２を行っている状態の図１の補間処理部１７に対応する）と、着目空格子点の色情報（ＲまたはＢ）と着目空格子点の近傍に位置する空格子点の色情報（ＲまたはＢ）との大小関係に基づいて、第１の補間量算出手段と第２の補間量算出手段との切り換えを行う切り換え手段（Ｓ２０を行っている状態の図１の補間処理部１７に対応する）とを備えたことを特徴とする。
【０００９】
なお、請求項２に記載の補間処理装置では、第１の補間量算出手段と第２の補間量算出手段とで２種類の補間量を算出した後に、何れか一方の補間量を選択しても良いし、予め、何れの補間処理手段によって補間量を算出するかを決定しておいても良い。
また、請求項２に記載の補間処理装置では、第１の補間量算出手段のみを用いて補間量を算出するか、第１の補間量算出手段と第２の補間量算出手段とを用いて補間量を算出するかを、切り換え手段で切り換えても良く、第１の補間量算出手段によって補間量を算出した後に、その補間量を予測値として第２の補間量算出手段で必要に応じて補正することも可能である。
【００１０】
ところで、補間量の予測値を補正することによって補間量を算出する方法としては、例えば、米国特許第５,６２９,７３４号明細書に開示された技術が適応できる。
米国特許第５,６２９,７３４号明細書に開示された技術では、色情報が以下のように配置されている状態において、
着目空格子点の色情報をＡ５とし、着目空格子点と同一の色を出力する空格子点の色情報をＡ１、Ａ３、Ａ７、Ａ９とし、着目空格子点に隣接する格子点の色情報をＧ２、Ｇ４、Ｇ６、Ｇ８とすると、水平方向の類似性が強い場合、着目空格子点の補間量Ｇ５は、
Ｇ５＝（Ｇ４＋Ｇ６）／２＋（−Ａ３＋２Ａ５−Ａ７）／４
によって算出される。また、垂直方向の類似性が強い場合、着目空格子点の補間量Ｇ５は、
Ｇ５＝（Ｇ２＋Ｇ８）／２＋（−Ａ１＋２Ａ５−Ａ９）／４
によって算出される。
【００１１】
請求項３に記載の補間処理装置は、補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する類似性判定手段と、類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、該方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と、を備える。そして、上記した複数の方向は、着目空格子点を起点に近傍の格子点に向かう２つの方向の組み合わせのうち、該着目空格子点の類似性が最も強い組み合わせに属する２つの方向である。
【００１２】
請求項４に記載の補間処理装置は、請求項１に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項５に記載の補間処理装置は、請求項１に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
請求項６に記載の補間処理装置は、請求項２に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項７に記載の補間処理装置は、請求項２に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
請求項８に記載の補間処理装置は、請求項３に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項９に記載の補間処理装置は、請求項３に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
【００１３】
請求項１０に記載の記録媒体は、コンピュータを請求項１、請求項４、請求項５の何れか１項に記載の第１の類似性判定手段、第２の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録している。
請求項１１に記載の記録媒体は、コンピュータを請求項２、請求項６、請求項７の何れか１項に記載の第１の補間量算出手段、第２の補間量算出手段、切り換え手段として機能させるための補間処理プログラムを記録している。
請求項１２に記載の記録媒体は、コンピュータを請求項３、請求項８、請求項９の何れか１項に記載の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録している。
【００１４】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
図１は、第１の実施形態に対応する電子カメラの機能ブロック図である。
【００１５】
図１において、電子カメラ１０は、制御部１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６を有する。また、画像処理部１５は、補間処理部（補間処理専用の１チップ・マイクロプロセッサ）１７を有する。
なお、図１では、説明を簡略化するため、画像処理部１５内に補間処理部１７のみを記載しているが、画像処理部１５内には、例えば、階調変換処理など他の画像処理を行う機能ブロックが設けられても良い。
【００１６】
図１において、制御部１１は、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６に接続される。
撮影光学系１２で取得された光学像は、撮像部１３に与えられる。撮像部１３の出力は、Ａ／Ｄ変換部１４によって量子化されて、カラー画像の画像データとして画像処理部１５に供給される。
【００１７】
画像処理部１５に供給された画像データは、補間処理部１７によって補間処理が施され、記録部１６を介して記録される。
図２は、第１の実施形態における補間処理部１７の動作フローチャートである。
図３は、補間処理の対象となる画像データの色情報の配列を示す図である。
図３（１）は、第１の実施形態および第２の実施形態において補間処理の対象となる画像データの色情報の配列（ベイア配列）であり、図３（２）は、第３の実施形態において補間処理の対象となる画像データの色情報の配列（ＧストライプＲ、Ｂ市松配列）である。
【００１８】
図３では、ｉ、ｊを用いて位置を示し、Ｇ、ＲＢ、ＢＲを用いて色を示しており、Ｇに関して言えば、Ｇが記載された位置が格子点に相当し、ＲＢまたはＢＲが記載された位置が空格子点に相当する。ここで、図中にＲＢと表記されているカラーフィルタは、ＲまたはＢのカラーフィルタの一方が配置されていることを示し、また、図中にＢＲと表記されているカラーフィルタは、ＢまたはＲのカラーフィルタの他方が配置されていることを示している。すなわち、図３（１）は、ベイア配列されたカラーフィルタを介して生成された画像データの色情報の配列を示し、図３（２）は、Ｇのみが配された列と ＲとＢとが交互に配された列とがストライプ状に配列されたカラーフィルタを介して生成された画像データの色情報の配列を示している。
【００１９】
なお、第１の実施形態ないし第３の実施形態では、座標（ｉ，ｊ）に位置する空格子点を着目空格子点として扱うことにし、各画素の色情報をＲＢ（ｉ，ｊ）（Ｒ（ｉ，ｊ）またはＢ（ｉ，ｊ）に相当する）やＧ（ｉ，ｊ−１）のように表現することにする。
以下、第１の実施形態の動作を説明するが、第１の実施形態では、図２を参照して補間処理部１７の動作（特に、Ｇの空格子点の補間量を算出するための動作）を中心に説明する。
【００２０】
まず、補間処理部１７は、着目空格子点の縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j)を算出する（Ｓ１０）。
例えば、補間処理部１７は、着目空格子点の縦方向の類似度Dv(i,j) 、横方向の類似度Dh(i,j)を
Dv(i,j)=|G(i-1,j)-G(i+1,j)|+|G(i-2,j-1)-G(i,j-1)|+
|G(i+2,j-1)-G(i,j-1)|
Dh(i,j)=|G(i,j-1)-G(i,j+1)|+|G(i-1,j-2)-G(i-1,j)|+
|G(i-1,j+2)-G(i-1,j)|
によって算出するが、如何なる公知技術を適用しても良い。なお、このようにして算出される縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j)は、値が小さい程、類似性が強いことを意味する。
【００２１】
次に、補間処理部１７は、前述したように算出した縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j) に基づいて、類似性の強い方向を判定する（Ｓ１１）。
例えば、補間処理部１７は、以下に示す<<類似性判定方法１>>または<<類似性判定方法２>>によって、類似性の強い方向を判定する。
【００２２】
<<類似性判定方法１>>
補間処理部１７は、任意の値Tについて、
(|Dv(i,j)-Dh(i,j)|>T)∩(Dv(i,j)<Dh(i,j))
が成り立つ場合、縦方向の類似性が強い（以下、「縦類似」という。）と判定し、
(|Dv(i,j)-Dh(i,j)|>T)∩(Dv(i,j)>Dh(i,j))
が成り立つ場合、横方向の類似性が強い（以下、「横類似」という。）と判定し、
|Dv(i,j)-Dh(i,j)|≦T
が成り立つ場合、何れの方向の類似性が強いかは不明である（以下、「中間類似」という。）と判定する。
【００２３】
<<類似性判定方法２>>
補間処理部１７は、
x=(Dv(i,j)-Dh(i,j))/((Dv(i,j)+Dh(i,j))・T1+T2)
において、
x<-1のとき、f(x)=-1 として縦類似と判定し、
x>1 のとき、f(x)=1として横類似と判定し、
-1≦x≦1 のとき、f(x)= x として中間類似と判定する。
【００２４】
ただし、T1、T2は、正の定数であり、f(x)は、後述する補間量の算出時に用いるファジー関数である。
補間処理部１７は、上述した方法によって類似性の強い方向の判定を行うと、判定の結果が縦類似の場合、上方向の類似度Dup(i,j)および下方向の類似度Ddn(i,j)を算出し（Ｓ１２）、判定の結果が横類似の場合、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を算出する（Ｓ１３）。
【００２５】
例えば、補間処理部１７は、上方向の類似度Dup(i,j)、下方向の類似度Ddn(i,j)、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を
Dup(i,j)=|RB(i-2,j)-RB(i,j)|
Ddn(i,j)=|RB(i+2,j)-RB(i,j)|
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|
Drt(i,j)=|RB(i,j+2)-RB(i,j)|
によって算出する。
【００２６】
ところで、このようにして算出される類似度に対して、以下のように着目空格子点に隣接する格子点や近傍に位置する空格子点の色情報から成る項を加算して高周波情報を取り込んでも良い。
Dup(i,j)=|RB(i-2,j)-RB(i,j)|+a・|G(i-1,j)-RB(i,j)|
+b・(|BR(i-1,j-1)-G(i,j-1)|+|BR(i-1,j+1)-G(i,j+1)|)/2
Ddn(i,j)=|RB(i+2,j)-RB(i,j)|+a・|G(i+1,j)-RB(i,j)|
+b・(|BR(i+1,j-1)-G(i,j-1)|+|BR(i+1,j+1)-G(i,j+1)|)/2
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|+a・|G(i,j-1)-RB(i,j)|
+b・(|BR(i-1,j-1)-G(i-1,j)|+|BR(i+1,j-1)-G(i+1,j)|)/2
Drt(i,j)=|RB(i,j+2)-RB(i,j)|+a・|G(i,j+1)-RB(i,j)|
+b・(|BR(i-1,j+1)-G(i-1,j)|+|BR(i+1,j+1)-G(i+1,j)|)/2
ただし、a、bは、０または正の定数であり、各色情報間の類似性に優先度をつけるために設けた値である。
【００２７】
なお、このようにして算出される上方向の類似度Dup(i,j)、下方向の類似度Ddn(i,j)、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)は、値が小さい程、類似性が強いことを意味する。
補間処理部１７は、前述したようにして各方向の類似度を算出すると、Ｓ１１の判定の結果が縦類似の場合、上方向の類似度Dup(i,j)と下方向の類似度Ddn(i,j)を用いて上方向の加重係数Wupおよび下方向の加重係数Wdnを算出し（Ｓ１４）、Ｓ１１の判定の結果が横類似の場合、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を用いて右方向の加重係数Wltおよび左方向の加重係数Wrtを算出する（Ｓ１５）。
【００２８】
例えば、補間処理部１７は、上方向の加重係数Wup、下方向の加重係数Wdn、右方向の加重係数Wltおよび左方向の加重係数Wrtを
Wup=Ddn(i,j)/(Dup(i,j)+Ddn(i,j))
Wdn=Dup(i,j)/(Dup(i,j)+Ddn(i,j))
Wlt=Drt(i,j)/(Dlt(i,j)+Drt(i,j))
Wrt=Dlt(i,j)/(Dlt(i,j)+Drt(i,j))
によって算出する。
【００２９】
なお、分母が０となる場合の発散を防ぐため、以下のように、各項の類似度に正のオフセット値（ここでは、１とする）を加えても良い。
Wup=(Ddn(i,j)+1)/[(Dup(i,j)+1)+(Ddn(i,j)+1)]
Wdn=(Dup(i,j)+1)/[(Dup(i,j)+1)+(Ddn(i,j)+1)]
Wlt=(Drt(i,j)+1)/[(Dlt(i,j)+1)+(Drt(i,j)+1)]
Wrt=(Dlt(i,j)+1)/[(Dlt(i,j)+1)+(Drt(i,j)+1)]
ところで、このようにしてオフセット値が加算された場合、上方向と下方向とで類似性が等しく、Dup(i,j)=Ddn(i,j)=0 となったときには、Wup=Wdn=1/2 となり、左方向と右方向とで類似性が等しく、Dlt(i,j)=Drt(i,j)=0 となったときには、Wlt=Wrt=1/2 となる。
【００３０】
また、上記定義の加重係数は、Dup=0、Ddn=maxのとき、Wup=1、Wdn=0となり、類似度の最も強い方向から値を直接引用する場合も含んでいる。
補間処理部１７は、前述したようにして各方向の加重係数を算出すると、Ｓ１１の判定の結果が縦類似の場合、補間量G(i,j)を
G(i,j)=Wup・G(i-1,j)+Wdn・G(i+1,j)=Gv(i,j)
によって算出し（Ｓ１６）、Ｓ１１の判定の結果が横類似の場合、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)=Gh(i,j)
によって算出する（Ｓ１７）。
【００３１】
また、補間処理部１７は、Ｓ１１の判定の結果が中間類似の場合、補間量G(i,j)を
G(i,j)=(Gv(i,j)+Gh(i,j))/2
または
G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4
または
G(i,j)=Gv(i,j)・(1-f(x))/2+Gh(i,j)・(1+f(x))/2
によって算出する（Ｓ１８）。
【００３２】
ただし、f(x)は、前述した<<類似性判定方法２>>によって算出したファジー関数である。
以上説明したように、第１の実施形態では、ベイア配列されたカラーフィルタを介して生成された画像データに対する補間処理として、着目空格子点の類似性が強い方向に隣接する２つの格子点の色情報を用いて補間量を算出するが、補間量は、従来の補間処理と異なり、各々の格子点の色情報を加重加算することによって算出される。
【００３３】
したがって、第１の実施形態では、従来の補間処理と比べて、エッジ部分の偽色を確実に低減することができる。
ところで、第１の実施形態では、上方向の加重係数Wupと下方向の加重係数Wdnとを加算すると１となり、左方向の加重係数Wltと右方向の加重係数Wrtとを加算すると１となる。そのため、第１の実施形態によって算出される補間量は、縦類似の場合、縦方向に隣接する２つの格子点の色情報の範囲（図５（Ａ）〜（Ｃ）の範囲Ｌに相当する）に収まり、横類似の場合、横方向に隣接する２つの格子点の色情報の範囲に収まることになる。
【００３４】
すなわち、第１の実施形態では、着目空格子点の補間量は、必ず隣接する２つの格子点の色情報の内分点になる。以下、このようにして行われる補間処理（Ｓ１２〜Ｓ１８）を「内分点補間処理」という。
【００３５】
以下、第２の実施形態の動作を説明する。なお、第２の実施形態の特徴は、図１に示す補間処理部１７によって行われる補間処理の方法にあり、ハードウエアの構成は、図１と同じであるため、図示および説明を省略する。
【００３６】
ところで、第２の実施形態において、補間処理部１７は、前述した内分点補間処理の他に、着目空格子点の補間量が、隣接する２つの格子点の色情報の範囲を外れるような補間処理（以下、「外分点補間処理」という。）を行うので、ここで、このような外分点補間処理の説明を行う。
補間処理部１７は、第１の実施形態と同様にして類似性の強い方向の判定を行った状態において、判定の結果が縦類似の場合、補間量G(i,j)を
G(i,j)=(G(i-1,j)+G(i+1,j))/2+(2・RB(i,j)-RB(i-2,j)-RB(i+2,j))/4
によって算出し、判定の結果が横類似の場合、補間量G(i,j)を
G(i,j)=(G(i,j-1)+G(i,j+1))/2+(2・RB(i,j)-RB(i,j-2)-RB(i,j+2))/4
によって算出し、判定の結果が中間類似の場合、補間量G(i,j)を
G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4
+(4・RB(i,j)-RB(i-2,j)-RB(i+2,j)-RB(i,j-2)-RB(i,j+2))/8
によって算出する。
【００３７】
すなわち、ここでは、着目空格子点に隣接する格子点の色情報の平均値を補間量の予測値として扱い、その予測値を補正する（所定の項を加算する）ことによって、補間量を算出している。
なお、このような外分点補間処理では、予測値を補正する方法として、予測値に所定の係数を乗算しても良い。例えば、所定の係数としては、縦類似の場合、
RB(i,j)/((RB(i-2,j)+RB(i+2,j))/2)
が考えられ、横類似の場合、
RB(i,j)/((RB(i,j-2)+RB(i,j+2))/2)
が考えられる。
【００３８】
図４は、第２の実施形態における補間処理部１７の動作フローチャートである。
なお、図４に示す処理のうち、図２に示す処理と同じ処理については、同じ番号を付与し、説明を省略する。
以下、図４を参照して第２の実施形態における補間処理部１７の動作を説明する。
【００３９】
まず、補間処理部１７は、第１の実施形態と同様にして、着目空格子点の縦方向の類似度Dv(i,j)および横方向の類似度Dh(i,j)を算出し（Ｓ１０）、類似性の強い方向を判定する（Ｓ１１）。
次に、補間処理部１７は、着目空格子点が外分点であるか否かを判定する（Ｓ２０）。
【００４０】
例えば、補間処理部１７は、Ｓ１１の判定の結果が縦類似の場合には、
(RB(i-2,j)-RB(i,j))・(RB(i+2,j)-RB(i,j))>0
が成り立つときに着目空格子点を外分点と判定し、Ｓ１１の判定の結果が横類似の場合には、
(RB(i,j-2)-RB(i,j))・(RB(i,j+2)-RB(i,j))>0
が成り立つときに着目空格子点を外分点と判定し、Ｓ１１の判定の結果が中間類似の場合には、
[(RB(i-2,j)-RB(i,j))・(RB(i+2,j)-RB(i,j))>0]∩
[(RB(i,j-2)-RB(i,j))・(RB(i,j+2)-RB(i,j))>0]
が成り立つときに着目空格子点を外分点と判定し、各条件式が成り立たないときに着目空格子点を内分点と判定する。
【００４１】
図５は、内分点と外分点との判定条件の模式図である。
図５において、（１）〜（３）では、着目空格子点がＲ（赤色）を出力すると仮定し、着目空格子点の色情報をR(k)とし、着目空格子点を挟んで同一直線上に位置してＲを出力する２つの空格子点の色情報をR(k-2)、R(k+2)としている。
【００４２】
すなわち、第２の実施形態では、図５（２）のようにR(k)がR(k-2)およびR(k+2)を上回るときや、図５（３）のようにR(k)がR(k-2)およびR(k+2)を下回るときに着目空格子点を外分点と判定し、図５（１）のようにR(k)がR(k-2)とR(k+2)との範囲内であるときに着目空格子点を内分点と判定する。
なお、着目空格子点を外分点であると判定する条件を厳しくし、R(k)がR(k-2)とR(k+2)との範囲から極端に離れているときのみ、着目空格子点を外分点と判定したい場合には、閾値Thを設けた以下のような条件式を用いれば良い。
【００４３】
縦類似の場合の条件式：
[(RB(i-2,j)-RB(i,j)>Th)∩(RB(i+2,j)-RB(i,j)>Th)]∪
[(RB(i-2,j)-RB(i,j)<Th)∩(RB(i+2,j)-RB(i,j)<Th)]
横類似の場合の条件式：
[(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
中間類似の場合の条件式：
[(RB(i-2,j)-RB(i,j)>Th)∩(RB(i+2,j)-RB(i,j)>Th)∩
(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i-2,j)-RB(i,j)<Th)∩(RB(i+2,j)-RB(i,j)<Th)∩
(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
補間処理部１７は、このようにして着目空格子点が外分点であるか否かの判定を行うと、判定の結果が内分点の場合、内分点処理（図２Ｓ１２〜Ｓ１８）を行い（Ｓ２１）、判定の結果が外分点の場合、前述した外分点補間処理を行う（Ｓ２２）。
【００４４】
すなわち、第２の実施形態は、内分点補間処理と外分点補間処理とを切り換える処理に相当する。
ところで、図５（Ａ）〜（Ｃ）では、着目空格子点を挟んで同一直線上に隣接する格子点の色情報をG(k-1)、G(k+1)としており、図５（１）のように着目空格子点が内分点である場合には、内分点補間処理が行われ、図５（２）、（３）のように着目空格子点が外分点である場合には、外分点補間処理が行われることを示す。
【００４５】
以上説明したように、第２の実施形態では、着目空格子点が外分点である場合には、外分点補間処理が行われるため、内分点補間処理のみが行われる第１の実施形態と比べて、エッジ部分の鮮明度を高くすることができる。
なお、第２の実施形態では、内分点補間処理と外分点補間処理とが択一的に行われるが、全ての空格子点に対して内分点補間処理を行った後に、外分点を示す空格子点に対して外分点補間処理を行っても良い。ただし、このようにして行われる外分点補間処理では、内分点補間処理によって得られた補間量を予測値として用いる。
【００４６】
また、第１の実施形態および第２の実施形態では、縦方向と横方向とに対して類似性が強い方向の判定が行われるが、例えば、上方向と下方向との組み合わせ（縦方向）、左方向と右方向との組み合わせ（横方向）、上方向と左方向との組み合わせ、上方向と右方向の類似性との組み合わせ、下方向と左方向との組み合わせ、下方向と右方向との組み合わせのうち、類似性が最も強い組を判定し、その組に属する方向に隣接する格子点の色情報を用いて補間量を算出しても良い。
【００４７】
以下、第３の実施形態の動作を説明する。
なお、第３の実施形態は、補間処理の対象となる画像データの色情報の配列が図３（２）に示す配列に代えられた点を除き、前述した第１の実施形態または第２の実施形態と同じである。
そこで、第３の実施形態では、第１の実施形態と第２の実施形態との相違点を中心に説明する。
【００４８】
第１の実施形態および第２の実施形態では、図３（１）に示すように、着目空格子点と同一の色を出力する空格子点が縦方向および横方向に存在しているため、縦方向の類似度および横方向の類似度を算出し（Ｓ１０）、類似性の強い方向を判定する（Ｓ１１）必要があった。
しかし、第３の実施形態では、図３（２）に示すように、着目空格子点と同一の色を出力する空格子点が横方向にしか存在しないため、Ｓ１０およびＳ１１の処理は不要であり、Ｓ１１の判定の結果が縦類似の場合の処理（Ｓ１２、Ｓ１４、Ｓ１６）やＳ１１の判定の結果が中間類似の場合の処理（Ｓ１８）も不要である。
【００４９】
すなわち、第３の実施形態では、補間処理部１７は、第１の実施形態に対応する補間処理（内分点補間処理）として、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を算出し（Ｓ１３）、これらの類似度を用いて右方向の加重係数Wltおよび左方向の加重係数Wrtを算出し（Ｓ１５）、補間量G(i,j)を算出する（Ｓ１７）。
【００５０】
例えば、補間処理部１７は、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|+a・|G(i,j-1)-RB(i,j)|
Drt(i,j)=|RB(i,j+2)-RB(i,j)|+a・|G(i,j+1)-RB(i,j)|
によって算出する。ただし、aは、０または正の定数である。
【００５１】
また、補間処理部１７は、右方向の加重係数Wltおよび左方向の加重係数Wrtを Wlt=Drt(i,j)/(Dlt(i,j)+Drt(i,j))
Wrt=Dlt(i,j)/(Dlt(i,j)+Drt(i,j))
によって算出し、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)
によって算出する。
【００５２】
また、第３の実施形態では、補間処理部１７は、第２の実施形態に対応する補間処理（内分点補間処理と外分点補間処理とを切り換える処理）として、着目空格子点が外分点であるか否かを判定し（Ｓ２０）、判定の結果が内分点の場合、内分点処理を行い（Ｓ２１）、判定の結果が外分点の場合、外分点補間処理を行う（Ｓ２２）。
【００５３】
例えば、補間処理部１７は、
[(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
が成り立つときに着目空格子点を外分点と判定し、このような条件式が成り立たないときに着目空格子点を内分点と判定する。また、補間処理部１７は、外分点補間処理として、補間量G(i,j)を
G(i,j)=(G(i,j-1)+G(i,j+1))/2+(2・RB(i,j)-RB(i,j-2)-RB(i,j+2))/4
によって算出し、内分点処理として、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)
によって算出する。
【００５４】
以上説明したように、第３の実施形態では、図３（２）のように配列された画像データに対しても、第１の実施形態や第２の実施形態と同様にして、補間処理を行うことができる。
以下、第４の実施形態の動作を説明する。
図６は、第４の実施形態の機能ブロック図である。
【００５５】
なお、第４の実施形態は、補間処理プログラムを記録した記録媒体を用いて、パーソナルコンピュータによって補間処理を実行することに相当する。
図６において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
【００５６】
なお、図６に示す電子カメラ２０と図１に示した電子カメラ１０との構成の相違点は、制御部２１と画像処理部２２とが制御部１１と画像処理部１５とに代えて設けられ、インタフェース部２３が新たに設けられた点である。
【００５７】
また、図６において、パーソナルコンピュータ３０は、ＣＰＵ３１、インタフェース部３２、ハードディスク３３およびメモリ３４を有し、ＣＰＵ３１は、バスを介してインタフェース部３２、ハードディスク３３およびメモリ３４に接続される。
なお、パーソナルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒体に記録された補間処理プログラム（前述した各実施形態の補間処理部１７と同様にして補間処理を実行する補間処理プログラム）が予めインストールされているものとする。すなわち、ハードディスク３３には、このような補間処理プログラムが実行可能な状態で格納されている。
【００５８】
以下、図６を参照して第４の実施形態の動作を説明する。
まず、電子カメラ２０では、図１に示した電子カメラ１０と同様に生成された画像データが画像処理部２２に供給される。画像処理部２２は、画像データに補間処理以外の画像処理（例えば、階調変換処理など）を施し、記録部１６では、画像処理が施された画像データが画像ファイルの形式で記録される。
【００５９】
このような画像ファイルは、インタフェース部２３を介してパーソナルコンピュータ３０に供給される。
パーソナルコンピュータ３０内のＣＰＵ３１は、インタフェース部３２を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。
すなわち、第４の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ３０によって行うことができる。
【００６０】
【発明の効果】
以上説明したように、請求項１に記載の発明は、着目空格子点の近傍に位置する格子点の色情報の平均値を補間量とする場合と比べて、エッジ部分の偽色を確実に低減することができる。
【００６１】
また、請求項２に記載の発明は、第１の補間量算出手段だけでは適切な補間量が算出できない場合に第２の補間量算出手段によって補間量を算出することが可能であるため、エッジ部分の鮮明度を高くすることができる。
したがって、請求項１および請求項２に記載の発明では、補間処理を精度良く行うことができる。
【００６２】
さらに、請求項３に記載の発明では、着目空格子点を起点に近傍の格子点に向かう方向が複数存在する場合、着目空格子点との類似性が最も強い２つの方向に位置する格子点の色情報を用いて補間量が算出される。そのため、請求項３に記載の発明によれば、補間処理を精度よく行うことができる。
【図面の簡単な説明】
【図１】第１の実施形態に対応する電子カメラの機能ブロック図である。
【図２】第１の実施形態における補間処理部の動作フローチャートである。
【図３】補間処理の対象となる画像データの色情報の配列を示す図である。
【図４】第２の実施形態における補間処理部の動作フローチャートである。
【図５】内分点と外分点との判定条件の模式図である。
【図６】第４の実施形態の機能ブロック図である。
【図７】格子点および空格子点を説明する図である。
【符号の説明】
１０、２０ 電子カメラ
１１、２１ 制御部
１２ 撮影光学系
１３ 撮像部
１４ Ａ／Ｄ変換部
１５、２２ 画像処理部
１６ 記録部
１７ 補間処理部
２３、３２ インタフェース部
３０ パーソナルコンピュータ
３１ ＣＰＵ
３３ ハードディスク
３４ メモリ
【発明の属する技術分野】
本発明は、最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置と、該補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
電子カメラには、カラー画像の画像データを生成する際、単一の撮像素子を用いるものがある。
このような撮像素子は、例えば図７（１）に示すように、ＲＧＢ（赤色・緑色・青色）の３色のカラーフィルタがベイア配列されて構成される。ここで、Ｇ（緑色）に着目すると、撮像素子は、図７（２）に示すように緑色を出力する画素である格子点と、緑色が欠落する画素である空格子点とで構成されていると言える。
【０００３】
従来から、このような空格子点に欠落する色の色情報（補間量）を得るための補間処理が考えられている。
例えば、このような補間処理としては、補間処理の対象となる空格子点（以下、「着目空格子点」という。）に隣接する４つの格子点の色情報の平均値を補間量とするものがあった。
【０００４】
また、米国特許第５,３８２,９７６号明細書および米国特許第５,３７３,３２２号明細書には、着目空格子点の空間的な類似性を着目空格子点の色傾斜（chrominance gradients）によって推定し、類似性が強い方向に隣接する２つの格子点の色情報に基づいて補間量を算出する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかし、これらの米国特許明細書に開示された技術では、類似性が強い方向に隣接する２つの格子点の色情報の平均値を補間量としているため、エッジ部分がぼやけてしまったり、偽色が発生するなど、補間処理によってカラー画像が破綻する可能性があった。
【０００６】
そこで、請求項１ないし請求項９に記載の発明は、エッジ部分での偽色の発生を抑えて、精度良く補間処理を行うことができる補間処理装置を提供することを目的とする。
また、請求項１０ないし請求項１２に記載の発明は、エッジ部分での偽色の発生を抑えて精度良い補間処理をコンピュータに実行させることができる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
以下、実施形態の図面に対応付けて、課題を解決するための手段を説明する。
請求項１に記載の補間処理装置は、補間処理の対象となる着目空格子点をまたぐ２つ以上の方向の各々に対して、該着目空格子点の類似性を判定する第１の類似性判定手段と、補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する第２の類似性判定手段と、第１の類似性判定手段の判定結果により選ばれた、格子点に向かう複数の方向のうちの一部もしくは全部の方向に対して、第２の類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、一部もしくは全部の方向に位置する格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と、を備える。
【０００８】
請求項２に記載の補間処理装置は、補間処理の対象となる着目空格子点を起点として近傍の格子点に向かう複数の方向の各々に対して該着目空格子点の類似性を判定し、該類似性の強弱に基づいて該方向に位置する格子点の色情報（Ｇ）を加重加算することによって補間量を算出する第１の補間量算出手段（Ｓ２１を行っている状態の図１の補間処理部１７に対応する）と、前記複数の方向に位置する格子点の色情報（Ｇ）から予測される補間量の予測値を、該方向に位置して着目空格子点と同一の色を出力する空格子点の色情報（ＲまたはＢ）と着目空格子点の色情報（ＲまたはＢ）とに基づいて補正することによって、補間量を算出する第２の補間量算出手段（Ｓ２２を行っている状態の図１の補間処理部１７に対応する）と、着目空格子点の色情報（ＲまたはＢ）と着目空格子点の近傍に位置する空格子点の色情報（ＲまたはＢ）との大小関係に基づいて、第１の補間量算出手段と第２の補間量算出手段との切り換えを行う切り換え手段（Ｓ２０を行っている状態の図１の補間処理部１７に対応する）とを備えたことを特徴とする。
【０００９】
なお、請求項２に記載の補間処理装置では、第１の補間量算出手段と第２の補間量算出手段とで２種類の補間量を算出した後に、何れか一方の補間量を選択しても良いし、予め、何れの補間処理手段によって補間量を算出するかを決定しておいても良い。
また、請求項２に記載の補間処理装置では、第１の補間量算出手段のみを用いて補間量を算出するか、第１の補間量算出手段と第２の補間量算出手段とを用いて補間量を算出するかを、切り換え手段で切り換えても良く、第１の補間量算出手段によって補間量を算出した後に、その補間量を予測値として第２の補間量算出手段で必要に応じて補正することも可能である。
【００１０】
ところで、補間量の予測値を補正することによって補間量を算出する方法としては、例えば、米国特許第５,６２９,７３４号明細書に開示された技術が適応できる。
米国特許第５,６２９,７３４号明細書に開示された技術では、色情報が以下のように配置されている状態において、
Ｇ５＝（Ｇ４＋Ｇ６）／２＋（−Ａ３＋２Ａ５−Ａ７）／４
によって算出される。また、垂直方向の類似性が強い場合、着目空格子点の補間量Ｇ５は、
Ｇ５＝（Ｇ２＋Ｇ８）／２＋（−Ａ１＋２Ａ５−Ａ９）／４
によって算出される。
【００１１】
請求項３に記載の補間処理装置は、補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する類似性判定手段と、類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、該方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と、を備える。そして、上記した複数の方向は、着目空格子点を起点に近傍の格子点に向かう２つの方向の組み合わせのうち、該着目空格子点の類似性が最も強い組み合わせに属する２つの方向である。
【００１２】
請求項４に記載の補間処理装置は、請求項１に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項５に記載の補間処理装置は、請求項１に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
請求項６に記載の補間処理装置は、請求項２に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項７に記載の補間処理装置は、請求項２に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
請求項８に記載の補間処理装置は、請求項３に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項９に記載の補間処理装置は、請求項３に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
【００１３】
請求項１０に記載の記録媒体は、コンピュータを請求項１、請求項４、請求項５の何れか１項に記載の第１の類似性判定手段、第２の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録している。
請求項１１に記載の記録媒体は、コンピュータを請求項２、請求項６、請求項７の何れか１項に記載の第１の補間量算出手段、第２の補間量算出手段、切り換え手段として機能させるための補間処理プログラムを記録している。
請求項１２に記載の記録媒体は、コンピュータを請求項３、請求項８、請求項９の何れか１項に記載の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録している。
【００１４】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
図１は、第１の実施形態に対応する電子カメラの機能ブロック図である。
【００１５】
図１において、電子カメラ１０は、制御部１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６を有する。また、画像処理部１５は、補間処理部（補間処理専用の１チップ・マイクロプロセッサ）１７を有する。
なお、図１では、説明を簡略化するため、画像処理部１５内に補間処理部１７のみを記載しているが、画像処理部１５内には、例えば、階調変換処理など他の画像処理を行う機能ブロックが設けられても良い。
【００１６】
図１において、制御部１１は、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６に接続される。
撮影光学系１２で取得された光学像は、撮像部１３に与えられる。撮像部１３の出力は、Ａ／Ｄ変換部１４によって量子化されて、カラー画像の画像データとして画像処理部１５に供給される。
【００１７】
画像処理部１５に供給された画像データは、補間処理部１７によって補間処理が施され、記録部１６を介して記録される。
図２は、第１の実施形態における補間処理部１７の動作フローチャートである。
図３は、補間処理の対象となる画像データの色情報の配列を示す図である。
図３（１）は、第１の実施形態および第２の実施形態において補間処理の対象となる画像データの色情報の配列（ベイア配列）であり、図３（２）は、第３の実施形態において補間処理の対象となる画像データの色情報の配列（ＧストライプＲ、Ｂ市松配列）である。
【００１８】
図３では、ｉ、ｊを用いて位置を示し、Ｇ、ＲＢ、ＢＲを用いて色を示しており、Ｇに関して言えば、Ｇが記載された位置が格子点に相当し、ＲＢまたはＢＲが記載された位置が空格子点に相当する。ここで、図中にＲＢと表記されているカラーフィルタは、ＲまたはＢのカラーフィルタの一方が配置されていることを示し、また、図中にＢＲと表記されているカラーフィルタは、ＢまたはＲのカラーフィルタの他方が配置されていることを示している。すなわち、図３（１）は、ベイア配列されたカラーフィルタを介して生成された画像データの色情報の配列を示し、図３（２）は、Ｇのみが配された列と ＲとＢとが交互に配された列とがストライプ状に配列されたカラーフィルタを介して生成された画像データの色情報の配列を示している。
【００１９】
なお、第１の実施形態ないし第３の実施形態では、座標（ｉ，ｊ）に位置する空格子点を着目空格子点として扱うことにし、各画素の色情報をＲＢ（ｉ，ｊ）（Ｒ（ｉ，ｊ）またはＢ（ｉ，ｊ）に相当する）やＧ（ｉ，ｊ−１）のように表現することにする。
以下、第１の実施形態の動作を説明するが、第１の実施形態では、図２を参照して補間処理部１７の動作（特に、Ｇの空格子点の補間量を算出するための動作）を中心に説明する。
【００２０】
まず、補間処理部１７は、着目空格子点の縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j)を算出する（Ｓ１０）。
例えば、補間処理部１７は、着目空格子点の縦方向の類似度Dv(i,j) 、横方向の類似度Dh(i,j)を
Dv(i,j)=|G(i-1,j)-G(i+1,j)|+|G(i-2,j-1)-G(i,j-1)|+
|G(i+2,j-1)-G(i,j-1)|
Dh(i,j)=|G(i,j-1)-G(i,j+1)|+|G(i-1,j-2)-G(i-1,j)|+
|G(i-1,j+2)-G(i-1,j)|
によって算出するが、如何なる公知技術を適用しても良い。なお、このようにして算出される縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j)は、値が小さい程、類似性が強いことを意味する。
【００２１】
次に、補間処理部１７は、前述したように算出した縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j) に基づいて、類似性の強い方向を判定する（Ｓ１１）。
例えば、補間処理部１７は、以下に示す<<類似性判定方法１>>または<<類似性判定方法２>>によって、類似性の強い方向を判定する。
【００２２】
<<類似性判定方法１>>
補間処理部１７は、任意の値Tについて、
(|Dv(i,j)-Dh(i,j)|>T)∩(Dv(i,j)<Dh(i,j))
が成り立つ場合、縦方向の類似性が強い（以下、「縦類似」という。）と判定し、
(|Dv(i,j)-Dh(i,j)|>T)∩(Dv(i,j)>Dh(i,j))
が成り立つ場合、横方向の類似性が強い（以下、「横類似」という。）と判定し、
|Dv(i,j)-Dh(i,j)|≦T
が成り立つ場合、何れの方向の類似性が強いかは不明である（以下、「中間類似」という。）と判定する。
【００２３】
<<類似性判定方法２>>
補間処理部１７は、
x=(Dv(i,j)-Dh(i,j))/((Dv(i,j)+Dh(i,j))・T1+T2)
において、
x<-1のとき、f(x)=-1 として縦類似と判定し、
x>1 のとき、f(x)=1として横類似と判定し、
-1≦x≦1 のとき、f(x)= x として中間類似と判定する。
【００２４】
ただし、T1、T2は、正の定数であり、f(x)は、後述する補間量の算出時に用いるファジー関数である。
補間処理部１７は、上述した方法によって類似性の強い方向の判定を行うと、判定の結果が縦類似の場合、上方向の類似度Dup(i,j)および下方向の類似度Ddn(i,j)を算出し（Ｓ１２）、判定の結果が横類似の場合、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を算出する（Ｓ１３）。
【００２５】
例えば、補間処理部１７は、上方向の類似度Dup(i,j)、下方向の類似度Ddn(i,j)、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を
Dup(i,j)=|RB(i-2,j)-RB(i,j)|
Ddn(i,j)=|RB(i+2,j)-RB(i,j)|
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|
Drt(i,j)=|RB(i,j+2)-RB(i,j)|
によって算出する。
【００２６】
ところで、このようにして算出される類似度に対して、以下のように着目空格子点に隣接する格子点や近傍に位置する空格子点の色情報から成る項を加算して高周波情報を取り込んでも良い。
Dup(i,j)=|RB(i-2,j)-RB(i,j)|+a・|G(i-1,j)-RB(i,j)|
+b・(|BR(i-1,j-1)-G(i,j-1)|+|BR(i-1,j+1)-G(i,j+1)|)/2
Ddn(i,j)=|RB(i+2,j)-RB(i,j)|+a・|G(i+1,j)-RB(i,j)|
+b・(|BR(i+1,j-1)-G(i,j-1)|+|BR(i+1,j+1)-G(i,j+1)|)/2
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|+a・|G(i,j-1)-RB(i,j)|
+b・(|BR(i-1,j-1)-G(i-1,j)|+|BR(i+1,j-1)-G(i+1,j)|)/2
Drt(i,j)=|RB(i,j+2)-RB(i,j)|+a・|G(i,j+1)-RB(i,j)|
+b・(|BR(i-1,j+1)-G(i-1,j)|+|BR(i+1,j+1)-G(i+1,j)|)/2
ただし、a、bは、０または正の定数であり、各色情報間の類似性に優先度をつけるために設けた値である。
【００２７】
なお、このようにして算出される上方向の類似度Dup(i,j)、下方向の類似度Ddn(i,j)、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)は、値が小さい程、類似性が強いことを意味する。
補間処理部１７は、前述したようにして各方向の類似度を算出すると、Ｓ１１の判定の結果が縦類似の場合、上方向の類似度Dup(i,j)と下方向の類似度Ddn(i,j)を用いて上方向の加重係数Wupおよび下方向の加重係数Wdnを算出し（Ｓ１４）、Ｓ１１の判定の結果が横類似の場合、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を用いて右方向の加重係数Wltおよび左方向の加重係数Wrtを算出する（Ｓ１５）。
【００２８】
例えば、補間処理部１７は、上方向の加重係数Wup、下方向の加重係数Wdn、右方向の加重係数Wltおよび左方向の加重係数Wrtを
Wup=Ddn(i,j)/(Dup(i,j)+Ddn(i,j))
Wdn=Dup(i,j)/(Dup(i,j)+Ddn(i,j))
Wlt=Drt(i,j)/(Dlt(i,j)+Drt(i,j))
Wrt=Dlt(i,j)/(Dlt(i,j)+Drt(i,j))
によって算出する。
【００２９】
なお、分母が０となる場合の発散を防ぐため、以下のように、各項の類似度に正のオフセット値（ここでは、１とする）を加えても良い。
Wup=(Ddn(i,j)+1)/[(Dup(i,j)+1)+(Ddn(i,j)+1)]
Wdn=(Dup(i,j)+1)/[(Dup(i,j)+1)+(Ddn(i,j)+1)]
Wlt=(Drt(i,j)+1)/[(Dlt(i,j)+1)+(Drt(i,j)+1)]
Wrt=(Dlt(i,j)+1)/[(Dlt(i,j)+1)+(Drt(i,j)+1)]
ところで、このようにしてオフセット値が加算された場合、上方向と下方向とで類似性が等しく、Dup(i,j)=Ddn(i,j)=0 となったときには、Wup=Wdn=1/2 となり、左方向と右方向とで類似性が等しく、Dlt(i,j)=Drt(i,j)=0 となったときには、Wlt=Wrt=1/2 となる。
【００３０】
また、上記定義の加重係数は、Dup=0、Ddn=maxのとき、Wup=1、Wdn=0となり、類似度の最も強い方向から値を直接引用する場合も含んでいる。
補間処理部１７は、前述したようにして各方向の加重係数を算出すると、Ｓ１１の判定の結果が縦類似の場合、補間量G(i,j)を
G(i,j)=Wup・G(i-1,j)+Wdn・G(i+1,j)=Gv(i,j)
によって算出し（Ｓ１６）、Ｓ１１の判定の結果が横類似の場合、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)=Gh(i,j)
によって算出する（Ｓ１７）。
【００３１】
また、補間処理部１７は、Ｓ１１の判定の結果が中間類似の場合、補間量G(i,j)を
G(i,j)=(Gv(i,j)+Gh(i,j))/2
または
G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4
または
G(i,j)=Gv(i,j)・(1-f(x))/2+Gh(i,j)・(1+f(x))/2
によって算出する（Ｓ１８）。
【００３２】
ただし、f(x)は、前述した<<類似性判定方法２>>によって算出したファジー関数である。
以上説明したように、第１の実施形態では、ベイア配列されたカラーフィルタを介して生成された画像データに対する補間処理として、着目空格子点の類似性が強い方向に隣接する２つの格子点の色情報を用いて補間量を算出するが、補間量は、従来の補間処理と異なり、各々の格子点の色情報を加重加算することによって算出される。
【００３３】
したがって、第１の実施形態では、従来の補間処理と比べて、エッジ部分の偽色を確実に低減することができる。
ところで、第１の実施形態では、上方向の加重係数Wupと下方向の加重係数Wdnとを加算すると１となり、左方向の加重係数Wltと右方向の加重係数Wrtとを加算すると１となる。そのため、第１の実施形態によって算出される補間量は、縦類似の場合、縦方向に隣接する２つの格子点の色情報の範囲（図５（Ａ）〜（Ｃ）の範囲Ｌに相当する）に収まり、横類似の場合、横方向に隣接する２つの格子点の色情報の範囲に収まることになる。
【００３４】
すなわち、第１の実施形態では、着目空格子点の補間量は、必ず隣接する２つの格子点の色情報の内分点になる。以下、このようにして行われる補間処理（Ｓ１２〜Ｓ１８）を「内分点補間処理」という。
【００３５】
以下、第２の実施形態の動作を説明する。なお、第２の実施形態の特徴は、図１に示す補間処理部１７によって行われる補間処理の方法にあり、ハードウエアの構成は、図１と同じであるため、図示および説明を省略する。
【００３６】
ところで、第２の実施形態において、補間処理部１７は、前述した内分点補間処理の他に、着目空格子点の補間量が、隣接する２つの格子点の色情報の範囲を外れるような補間処理（以下、「外分点補間処理」という。）を行うので、ここで、このような外分点補間処理の説明を行う。
補間処理部１７は、第１の実施形態と同様にして類似性の強い方向の判定を行った状態において、判定の結果が縦類似の場合、補間量G(i,j)を
G(i,j)=(G(i-1,j)+G(i+1,j))/2+(2・RB(i,j)-RB(i-2,j)-RB(i+2,j))/4
によって算出し、判定の結果が横類似の場合、補間量G(i,j)を
G(i,j)=(G(i,j-1)+G(i,j+1))/2+(2・RB(i,j)-RB(i,j-2)-RB(i,j+2))/4
によって算出し、判定の結果が中間類似の場合、補間量G(i,j)を
G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4
+(4・RB(i,j)-RB(i-2,j)-RB(i+2,j)-RB(i,j-2)-RB(i,j+2))/8
によって算出する。
【００３７】
すなわち、ここでは、着目空格子点に隣接する格子点の色情報の平均値を補間量の予測値として扱い、その予測値を補正する（所定の項を加算する）ことによって、補間量を算出している。
なお、このような外分点補間処理では、予測値を補正する方法として、予測値に所定の係数を乗算しても良い。例えば、所定の係数としては、縦類似の場合、
RB(i,j)/((RB(i-2,j)+RB(i+2,j))/2)
が考えられ、横類似の場合、
RB(i,j)/((RB(i,j-2)+RB(i,j+2))/2)
が考えられる。
【００３８】
図４は、第２の実施形態における補間処理部１７の動作フローチャートである。
なお、図４に示す処理のうち、図２に示す処理と同じ処理については、同じ番号を付与し、説明を省略する。
以下、図４を参照して第２の実施形態における補間処理部１７の動作を説明する。
【００３９】
まず、補間処理部１７は、第１の実施形態と同様にして、着目空格子点の縦方向の類似度Dv(i,j)および横方向の類似度Dh(i,j)を算出し（Ｓ１０）、類似性の強い方向を判定する（Ｓ１１）。
次に、補間処理部１７は、着目空格子点が外分点であるか否かを判定する（Ｓ２０）。
【００４０】
例えば、補間処理部１７は、Ｓ１１の判定の結果が縦類似の場合には、
(RB(i-2,j)-RB(i,j))・(RB(i+2,j)-RB(i,j))>0
が成り立つときに着目空格子点を外分点と判定し、Ｓ１１の判定の結果が横類似の場合には、
(RB(i,j-2)-RB(i,j))・(RB(i,j+2)-RB(i,j))>0
が成り立つときに着目空格子点を外分点と判定し、Ｓ１１の判定の結果が中間類似の場合には、
[(RB(i-2,j)-RB(i,j))・(RB(i+2,j)-RB(i,j))>0]∩
[(RB(i,j-2)-RB(i,j))・(RB(i,j+2)-RB(i,j))>0]
が成り立つときに着目空格子点を外分点と判定し、各条件式が成り立たないときに着目空格子点を内分点と判定する。
【００４１】
図５は、内分点と外分点との判定条件の模式図である。
図５において、（１）〜（３）では、着目空格子点がＲ（赤色）を出力すると仮定し、着目空格子点の色情報をR(k)とし、着目空格子点を挟んで同一直線上に位置してＲを出力する２つの空格子点の色情報をR(k-2)、R(k+2)としている。
【００４２】
すなわち、第２の実施形態では、図５（２）のようにR(k)がR(k-2)およびR(k+2)を上回るときや、図５（３）のようにR(k)がR(k-2)およびR(k+2)を下回るときに着目空格子点を外分点と判定し、図５（１）のようにR(k)がR(k-2)とR(k+2)との範囲内であるときに着目空格子点を内分点と判定する。
なお、着目空格子点を外分点であると判定する条件を厳しくし、R(k)がR(k-2)とR(k+2)との範囲から極端に離れているときのみ、着目空格子点を外分点と判定したい場合には、閾値Thを設けた以下のような条件式を用いれば良い。
【００４３】
縦類似の場合の条件式：
[(RB(i-2,j)-RB(i,j)>Th)∩(RB(i+2,j)-RB(i,j)>Th)]∪
[(RB(i-2,j)-RB(i,j)<Th)∩(RB(i+2,j)-RB(i,j)<Th)]
横類似の場合の条件式：
[(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
中間類似の場合の条件式：
[(RB(i-2,j)-RB(i,j)>Th)∩(RB(i+2,j)-RB(i,j)>Th)∩
(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i-2,j)-RB(i,j)<Th)∩(RB(i+2,j)-RB(i,j)<Th)∩
(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
補間処理部１７は、このようにして着目空格子点が外分点であるか否かの判定を行うと、判定の結果が内分点の場合、内分点処理（図２Ｓ１２〜Ｓ１８）を行い（Ｓ２１）、判定の結果が外分点の場合、前述した外分点補間処理を行う（Ｓ２２）。
【００４４】
すなわち、第２の実施形態は、内分点補間処理と外分点補間処理とを切り換える処理に相当する。
ところで、図５（Ａ）〜（Ｃ）では、着目空格子点を挟んで同一直線上に隣接する格子点の色情報をG(k-1)、G(k+1)としており、図５（１）のように着目空格子点が内分点である場合には、内分点補間処理が行われ、図５（２）、（３）のように着目空格子点が外分点である場合には、外分点補間処理が行われることを示す。
【００４５】
以上説明したように、第２の実施形態では、着目空格子点が外分点である場合には、外分点補間処理が行われるため、内分点補間処理のみが行われる第１の実施形態と比べて、エッジ部分の鮮明度を高くすることができる。
なお、第２の実施形態では、内分点補間処理と外分点補間処理とが択一的に行われるが、全ての空格子点に対して内分点補間処理を行った後に、外分点を示す空格子点に対して外分点補間処理を行っても良い。ただし、このようにして行われる外分点補間処理では、内分点補間処理によって得られた補間量を予測値として用いる。
【００４６】
また、第１の実施形態および第２の実施形態では、縦方向と横方向とに対して類似性が強い方向の判定が行われるが、例えば、上方向と下方向との組み合わせ（縦方向）、左方向と右方向との組み合わせ（横方向）、上方向と左方向との組み合わせ、上方向と右方向の類似性との組み合わせ、下方向と左方向との組み合わせ、下方向と右方向との組み合わせのうち、類似性が最も強い組を判定し、その組に属する方向に隣接する格子点の色情報を用いて補間量を算出しても良い。
【００４７】
以下、第３の実施形態の動作を説明する。
なお、第３の実施形態は、補間処理の対象となる画像データの色情報の配列が図３（２）に示す配列に代えられた点を除き、前述した第１の実施形態または第２の実施形態と同じである。
そこで、第３の実施形態では、第１の実施形態と第２の実施形態との相違点を中心に説明する。
【００４８】
第１の実施形態および第２の実施形態では、図３（１）に示すように、着目空格子点と同一の色を出力する空格子点が縦方向および横方向に存在しているため、縦方向の類似度および横方向の類似度を算出し（Ｓ１０）、類似性の強い方向を判定する（Ｓ１１）必要があった。
しかし、第３の実施形態では、図３（２）に示すように、着目空格子点と同一の色を出力する空格子点が横方向にしか存在しないため、Ｓ１０およびＳ１１の処理は不要であり、Ｓ１１の判定の結果が縦類似の場合の処理（Ｓ１２、Ｓ１４、Ｓ１６）やＳ１１の判定の結果が中間類似の場合の処理（Ｓ１８）も不要である。
【００４９】
すなわち、第３の実施形態では、補間処理部１７は、第１の実施形態に対応する補間処理（内分点補間処理）として、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を算出し（Ｓ１３）、これらの類似度を用いて右方向の加重係数Wltおよび左方向の加重係数Wrtを算出し（Ｓ１５）、補間量G(i,j)を算出する（Ｓ１７）。
【００５０】
例えば、補間処理部１７は、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|+a・|G(i,j-1)-RB(i,j)|
Drt(i,j)=|RB(i,j+2)-RB(i,j)|+a・|G(i,j+1)-RB(i,j)|
によって算出する。ただし、aは、０または正の定数である。
【００５１】
また、補間処理部１７は、右方向の加重係数Wltおよび左方向の加重係数Wrtを Wlt=Drt(i,j)/(Dlt(i,j)+Drt(i,j))
Wrt=Dlt(i,j)/(Dlt(i,j)+Drt(i,j))
によって算出し、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)
によって算出する。
【００５２】
また、第３の実施形態では、補間処理部１７は、第２の実施形態に対応する補間処理（内分点補間処理と外分点補間処理とを切り換える処理）として、着目空格子点が外分点であるか否かを判定し（Ｓ２０）、判定の結果が内分点の場合、内分点処理を行い（Ｓ２１）、判定の結果が外分点の場合、外分点補間処理を行う（Ｓ２２）。
【００５３】
例えば、補間処理部１７は、
[(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
が成り立つときに着目空格子点を外分点と判定し、このような条件式が成り立たないときに着目空格子点を内分点と判定する。また、補間処理部１７は、外分点補間処理として、補間量G(i,j)を
G(i,j)=(G(i,j-1)+G(i,j+1))/2+(2・RB(i,j)-RB(i,j-2)-RB(i,j+2))/4
によって算出し、内分点処理として、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)
によって算出する。
【００５４】
以上説明したように、第３の実施形態では、図３（２）のように配列された画像データに対しても、第１の実施形態や第２の実施形態と同様にして、補間処理を行うことができる。
以下、第４の実施形態の動作を説明する。
図６は、第４の実施形態の機能ブロック図である。
【００５５】
なお、第４の実施形態は、補間処理プログラムを記録した記録媒体を用いて、パーソナルコンピュータによって補間処理を実行することに相当する。
図６において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
【００５６】
なお、図６に示す電子カメラ２０と図１に示した電子カメラ１０との構成の相違点は、制御部２１と画像処理部２２とが制御部１１と画像処理部１５とに代えて設けられ、インタフェース部２３が新たに設けられた点である。
【００５７】
また、図６において、パーソナルコンピュータ３０は、ＣＰＵ３１、インタフェース部３２、ハードディスク３３およびメモリ３４を有し、ＣＰＵ３１は、バスを介してインタフェース部３２、ハードディスク３３およびメモリ３４に接続される。
なお、パーソナルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒体に記録された補間処理プログラム（前述した各実施形態の補間処理部１７と同様にして補間処理を実行する補間処理プログラム）が予めインストールされているものとする。すなわち、ハードディスク３３には、このような補間処理プログラムが実行可能な状態で格納されている。
【００５８】
以下、図６を参照して第４の実施形態の動作を説明する。
まず、電子カメラ２０では、図１に示した電子カメラ１０と同様に生成された画像データが画像処理部２２に供給される。画像処理部２２は、画像データに補間処理以外の画像処理（例えば、階調変換処理など）を施し、記録部１６では、画像処理が施された画像データが画像ファイルの形式で記録される。
【００５９】
このような画像ファイルは、インタフェース部２３を介してパーソナルコンピュータ３０に供給される。
パーソナルコンピュータ３０内のＣＰＵ３１は、インタフェース部３２を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。
すなわち、第４の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ３０によって行うことができる。
【００６０】
【発明の効果】
以上説明したように、請求項１に記載の発明は、着目空格子点の近傍に位置する格子点の色情報の平均値を補間量とする場合と比べて、エッジ部分の偽色を確実に低減することができる。
【００６１】
また、請求項２に記載の発明は、第１の補間量算出手段だけでは適切な補間量が算出できない場合に第２の補間量算出手段によって補間量を算出することが可能であるため、エッジ部分の鮮明度を高くすることができる。
したがって、請求項１および請求項２に記載の発明では、補間処理を精度良く行うことができる。
【００６２】
さらに、請求項３に記載の発明では、着目空格子点を起点に近傍の格子点に向かう方向が複数存在する場合、着目空格子点との類似性が最も強い２つの方向に位置する格子点の色情報を用いて補間量が算出される。そのため、請求項３に記載の発明によれば、補間処理を精度よく行うことができる。
【図面の簡単な説明】
【図１】第１の実施形態に対応する電子カメラの機能ブロック図である。
【図２】第１の実施形態における補間処理部の動作フローチャートである。
【図３】補間処理の対象となる画像データの色情報の配列を示す図である。
【図４】第２の実施形態における補間処理部の動作フローチャートである。
【図５】内分点と外分点との判定条件の模式図である。
【図６】第４の実施形態の機能ブロック図である。
【図７】格子点および空格子点を説明する図である。
【符号の説明】
１０、２０ 電子カメラ
１１、２１ 制御部
１２ 撮影光学系
１３ 撮像部
１４ Ａ／Ｄ変換部
１５、２２ 画像処理部
１６ 記録部
１７ 補間処理部
２３、３２ インタフェース部
３０ パーソナルコンピュータ
３１ ＣＰＵ
３３ ハードディスク
３４ メモリ
Claims (12)
- 最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、前記空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置において、
補間処理の対象となる着目空格子点をまたぐ２つ以上の方向の各々に対して、該着目空格子点の類似性を判定する第１の類似性判定手段と、
補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する第２の類似性判定手段と、
前記第１の類似性判定手段の判定結果により選ばれた、前記格子点に向かう複数の方向のうちの一部もしくは全部の方向に対して、前記第２の類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、前記一部もしくは全部の方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と
を備えたことを特徴とする補間処理装置。 - 最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、前記空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置において、
補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して該着目空格子点の類似性を判定し、該類似性の強弱に基づいて該方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する第１の補間量算出手段と、前記複数の方向に位置する格子点の色情報から予測される補間量の予測値を、該方向に位置して前記着目空格子点と同一の色を出力する空格子点の色情報と該着目空格子点の色情報とに基づいて補正することによって、補間量を算出する第２の補間量算出手段と、
前記着目空格子点の色情報と該着目空格子点の近傍に位置する空格子点の色情報との大小関係に基づいて、前記第１の補間量算出手段と前記第２の補間量算出手段との切り換えを行う切り換え手段と
を備えたことを特徴とする補間処理装置。 - 最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、前記空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置において、
補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する類似性判定手段と、
類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、該方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と、を備え、
前記複数の方向は、前記着目空格子点を起点に近傍の格子点に向かう２つの方向の組み合わせのうち、該着目空格子点の類似性が最も強い組み合わせに属する２つの方向であることを特徴とする補間処理装置。 - 請求項１に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項１に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項２に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項２に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項３に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項３に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - コンピュータを請求項１、請求項４、請求項５の何れか１項に記載の第１の類似性判定手段、第２の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録した機械読み取り可能な記録媒体。
- コンピュータを請求項２、請求項６、請求項７の何れか１項に記載の第１の補間量算出手段、第２の補間量算出手段、切り換え手段として機能させるための補間処理プログラムを記録した機械読み取り可能な記録媒体。
- コンピュータを請求項３、請求項８、請求項９の何れか１項に記載の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録した機械読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02724899A JP4305989B2 (ja) | 1998-12-21 | 1999-02-04 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-363177 | 1998-12-21 | ||
| JP36317798 | 1998-12-21 | ||
| JP02724899A JP4305989B2 (ja) | 1998-12-21 | 1999-02-04 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000244934A JP2000244934A (ja) | 2000-09-08 |
| JP4305989B2 true JP4305989B2 (ja) | 2009-07-29 |
Family
ID=26365152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02724899A Expired - Lifetime JP4305989B2 (ja) | 1998-12-21 | 1999-02-04 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4305989B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4702912B2 (ja) * | 2000-05-12 | 2011-06-15 | キヤノン株式会社 | 信号処理方法及び信号処理装置 |
| KR100617688B1 (ko) | 2004-05-19 | 2006-08-28 | 삼성전자주식회사 | 휴대 단말기의 힌지 장치 |
| KR100721338B1 (ko) | 2004-12-30 | 2007-05-28 | 엘지전자 주식회사 | 디지털 촬영장치의 색상 보간법 |
| KR100782812B1 (ko) | 2005-06-15 | 2007-12-06 | 삼성전자주식회사 | 에지 적응적 컬러 보간 방법 및 장치 |
| KR100826215B1 (ko) * | 2006-07-25 | 2008-04-29 | 엠텍비젼 주식회사 | 격자 노이즈 및 에지 방향을 고려한 컬러 보간 방법 및장치 |
| JP5034789B2 (ja) * | 2007-08-31 | 2012-09-26 | 株式会社Ｊｖｃケンウッド | 撮像装置 |
| JP5109911B2 (ja) * | 2008-10-03 | 2012-12-26 | 株式会社Ｊｖｃケンウッド | 撮像装置および補間処理方法 |
| KR101637488B1 (ko) * | 2009-01-16 | 2016-07-07 | 삼성전자주식회사 | 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치 |
| JP5353945B2 (ja) * | 2011-05-13 | 2013-11-27 | 株式会社ニコン | 画像処理装置および画像処理プログラム並びに電子カメラ |
| CN104025581B (zh) * | 2011-12-28 | 2015-06-03 | 富士胶片株式会社 | 摄像装置 |
| JP6056659B2 (ja) * | 2013-05-30 | 2017-01-11 | 株式会社Ｊｖｃケンウッド | 映像信号処理装置及び方法 |
-
1999
- 1999-02-04 JP JP02724899A patent/JP4305989B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000244934A (ja) | 2000-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6075889A (en) | Computing color specification (luminance and chrominance) values for images | |
| US5506619A (en) | Adaptive color plan interpolation in single sensor color electronic camera | |
| JP3510037B2 (ja) | 適応カラー補間単一センサカラー電子カメラ | |
| US7995868B2 (en) | Image processing method and image processing device | |
| JP4305989B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| US20090066821A1 (en) | Method And Apparatus For Interpolating Missing Colors In A Color Filter Array | |
| US7952768B2 (en) | Method of color interpolation of image detected by color filter | |
| JP3946866B2 (ja) | 画像信号処理装置及びプログラムを記録した媒体 | |
| JP2005159957A (ja) | 色補間方法 | |
| JP2004208336A (ja) | 輝度勾配を用いたフルカラーイメージ適応的補間装置 | |
| JP2002033964A (ja) | デジタル画像の欠陥画素補正方法 | |
| JP2007259401A (ja) | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ | |
| JP2004221838A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
| JP2002191053A (ja) | 画像信号処理方法 | |
| EP2056607B1 (en) | Image processing apparatus and image processing program | |
| JP4104495B2 (ja) | データ処理装置、画像処理装置およびカメラ | |
| US8184183B2 (en) | Image processing apparatus, image processing method and program with direction-dependent smoothing based on determined edge directions | |
| JP2000188762A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
| US20150310589A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4380399B2 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
| JP4539299B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP4178919B2 (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
| JP3657826B2 (ja) | 画素補間方法 | |
| JP2016019245A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |