JP4305989B2 - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents
補間処理装置および補間処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4305989B2 JP4305989B2 JP02724899A JP2724899A JP4305989B2 JP 4305989 B2 JP4305989 B2 JP 4305989B2 JP 02724899 A JP02724899 A JP 02724899A JP 2724899 A JP2724899 A JP 2724899A JP 4305989 B2 JP4305989 B2 JP 4305989B2
- Authority
- JP
- Japan
- Prior art keywords
- vacancies
- similarity
- interpolation
- interpolation processing
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【発明の属する技術分野】
本発明は、最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置と、該補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体とに関する。
【0002】
【従来の技術】
電子カメラには、カラー画像の画像データを生成する際、単一の撮像素子を用いるものがある。
このような撮像素子は、例えば図7(1)に示すように、RGB(赤色・緑色・青色)の3色のカラーフィルタがベイア配列されて構成される。ここで、G(緑色)に着目すると、撮像素子は、図7(2)に示すように緑色を出力する画素である格子点と、緑色が欠落する画素である空格子点とで構成されていると言える。
【0003】
従来から、このような空格子点に欠落する色の色情報(補間量)を得るための補間処理が考えられている。
例えば、このような補間処理としては、補間処理の対象となる空格子点(以下、「着目空格子点」という。)に隣接する4つの格子点の色情報の平均値を補間量とするものがあった。
【0004】
また、米国特許第5,382,976号明細書および米国特許第5,373,322号明細書には、着目空格子点の空間的な類似性を着目空格子点の色傾斜(chrominance gradients)によって推定し、類似性が強い方向に隣接する2つの格子点の色情報に基づいて補間量を算出する技術が開示されている。
【0005】
【発明が解決しようとする課題】
しかし、これらの米国特許明細書に開示された技術では、類似性が強い方向に隣接する2つの格子点の色情報の平均値を補間量としているため、エッジ部分がぼやけてしまったり、偽色が発生するなど、補間処理によってカラー画像が破綻する可能性があった。
【0006】
そこで、請求項1ないし請求項9に記載の発明は、エッジ部分での偽色の発生を抑えて、精度良く補間処理を行うことができる補間処理装置を提供することを目的とする。
また、請求項10ないし請求項12に記載の発明は、エッジ部分での偽色の発生を抑えて精度良い補間処理をコンピュータに実行させることができる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【0007】
【課題を解決するための手段】
以下、実施形態の図面に対応付けて、課題を解決するための手段を説明する。
請求項1に記載の補間処理装置は、補間処理の対象となる着目空格子点をまたぐ2つ以上の方向の各々に対して、該着目空格子点の類似性を判定する第1の類似性判定手段と、補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する第2の類似性判定手段と、第1の類似性判定手段の判定結果により選ばれた、格子点に向かう複数の方向のうちの一部もしくは全部の方向に対して、第2の類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、一部もしくは全部の方向に位置する格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と、を備える。
【0008】
請求項2に記載の補間処理装置は、補間処理の対象となる着目空格子点を起点として近傍の格子点に向かう複数の方向の各々に対して該着目空格子点の類似性を判定し、該類似性の強弱に基づいて該方向に位置する格子点の色情報(G)を加重加算することによって補間量を算出する第1の補間量算出手段(S21を行っている状態の図1の補間処理部17に対応する)と、前記複数の方向に位置する格子点の色情報(G)から予測される補間量の予測値を、該方向に位置して着目空格子点と同一の色を出力する空格子点の色情報(RまたはB)と着目空格子点の色情報(RまたはB)とに基づいて補正することによって、補間量を算出する第2の補間量算出手段(S22を行っている状態の図1の補間処理部17に対応する)と、着目空格子点の色情報(RまたはB)と着目空格子点の近傍に位置する空格子点の色情報(RまたはB)との大小関係に基づいて、第1の補間量算出手段と第2の補間量算出手段との切り換えを行う切り換え手段(S20を行っている状態の図1の補間処理部17に対応する)とを備えたことを特徴とする。
【0009】
なお、請求項2に記載の補間処理装置では、第1の補間量算出手段と第2の補間量算出手段とで2種類の補間量を算出した後に、何れか一方の補間量を選択しても良いし、予め、何れの補間処理手段によって補間量を算出するかを決定しておいても良い。
また、請求項2に記載の補間処理装置では、第1の補間量算出手段のみを用いて補間量を算出するか、第1の補間量算出手段と第2の補間量算出手段とを用いて補間量を算出するかを、切り換え手段で切り換えても良く、第1の補間量算出手段によって補間量を算出した後に、その補間量を予測値として第2の補間量算出手段で必要に応じて補正することも可能である。
【0010】
ところで、補間量の予測値を補正することによって補間量を算出する方法としては、例えば、米国特許第5,629,734号明細書に開示された技術が適応できる。
米国特許第5,629,734号明細書に開示された技術では、色情報が以下のように配置されている状態において、
着目空格子点の色情報をA5とし、着目空格子点と同一の色を出力する空格子点の色情報をA1、A3、A7、A9とし、着目空格子点に隣接する格子点の色情報をG2、G4、G6、G8とすると、水平方向の類似性が強い場合、着目空格子点の補間量G5は、
G5=(G4+G6)/2+(−A3+2A5−A7)/4
によって算出される。また、垂直方向の類似性が強い場合、着目空格子点の補間量G5は、
G5=(G2+G8)/2+(−A1+2A5−A9)/4
によって算出される。
【0011】
請求項3に記載の補間処理装置は、補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する類似性判定手段と、類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、該方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と、を備える。そして、上記した複数の方向は、着目空格子点を起点に近傍の格子点に向かう2つの方向の組み合わせのうち、該着目空格子点の類似性が最も強い組み合わせに属する2つの方向である。
【0012】
請求項4に記載の補間処理装置は、請求項1に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項5に記載の補間処理装置は、請求項1に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
請求項6に記載の補間処理装置は、請求項2に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項7に記載の補間処理装置は、請求項2に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
請求項8に記載の補間処理装置は、請求項3に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出される。
請求項9に記載の補間処理装置は、請求項3に記載の補間処理装置において、複数の方向の各々に対する着目空格子点の類似性は、着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出される。
【0013】
請求項10に記載の記録媒体は、コンピュータを請求項1、請求項4、請求項5の何れか1項に記載の第1の類似性判定手段、第2の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録している。
請求項11に記載の記録媒体は、コンピュータを請求項2、請求項6、請求項7の何れか1項に記載の第1の補間量算出手段、第2の補間量算出手段、切り換え手段として機能させるための補間処理プログラムを記録している。
請求項12に記載の記録媒体は、コンピュータを請求項3、請求項8、請求項9の何れか1項に記載の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録している。
【0014】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
図1は、第1の実施形態に対応する電子カメラの機能ブロック図である。
【0015】
図1において、電子カメラ10は、制御部11、撮影光学系12、撮像部13、A/D変換部14、画像処理部15および記録部16を有する。また、画像処理部15は、補間処理部(補間処理専用の1チップ・マイクロプロセッサ)17を有する。
なお、図1では、説明を簡略化するため、画像処理部15内に補間処理部17のみを記載しているが、画像処理部15内には、例えば、階調変換処理など他の画像処理を行う機能ブロックが設けられても良い。
【0016】
図1において、制御部11は、撮像部13、A/D変換部14、画像処理部15および記録部16に接続される。
撮影光学系12で取得された光学像は、撮像部13に与えられる。撮像部13の出力は、A/D変換部14によって量子化されて、カラー画像の画像データとして画像処理部15に供給される。
【0017】
画像処理部15に供給された画像データは、補間処理部17によって補間処理が施され、記録部16を介して記録される。
図2は、第1の実施形態における補間処理部17の動作フローチャートである。
図3は、補間処理の対象となる画像データの色情報の配列を示す図である。
図3(1)は、第1の実施形態および第2の実施形態において補間処理の対象となる画像データの色情報の配列(ベイア配列)であり、図3(2)は、第3の実施形態において補間処理の対象となる画像データの色情報の配列(GストライプR、B市松配列)である。
【0018】
図3では、i、jを用いて位置を示し、G、RB、BRを用いて色を示しており、Gに関して言えば、Gが記載された位置が格子点に相当し、RBまたはBRが記載された位置が空格子点に相当する。ここで、図中にRBと表記されているカラーフィルタは、RまたはBのカラーフィルタの一方が配置されていることを示し、また、図中にBRと表記されているカラーフィルタは、BまたはRのカラーフィルタの他方が配置されていることを示している。すなわち、図3(1)は、ベイア配列されたカラーフィルタを介して生成された画像データの色情報の配列を示し、図3(2)は、Gのみが配された列と RとBとが交互に配された列とがストライプ状に配列されたカラーフィルタを介して生成された画像データの色情報の配列を示している。
【0019】
なお、第1の実施形態ないし第3の実施形態では、座標(i,j)に位置する空格子点を着目空格子点として扱うことにし、各画素の色情報をRB(i,j)(R(i,j)またはB(i,j)に相当する)やG(i,j−1)のように表現することにする。
以下、第1の実施形態の動作を説明するが、第1の実施形態では、図2を参照して補間処理部17の動作(特に、Gの空格子点の補間量を算出するための動作)を中心に説明する。
【0020】
まず、補間処理部17は、着目空格子点の縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j)を算出する(S10)。
例えば、補間処理部17は、着目空格子点の縦方向の類似度Dv(i,j) 、横方向の類似度Dh(i,j)を
Dv(i,j)=|G(i-1,j)-G(i+1,j)|+|G(i-2,j-1)-G(i,j-1)|+
|G(i+2,j-1)-G(i,j-1)|
Dh(i,j)=|G(i,j-1)-G(i,j+1)|+|G(i-1,j-2)-G(i-1,j)|+
|G(i-1,j+2)-G(i-1,j)|
によって算出するが、如何なる公知技術を適用しても良い。なお、このようにして算出される縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j)は、値が小さい程、類似性が強いことを意味する。
【0021】
次に、補間処理部17は、前述したように算出した縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j) に基づいて、類似性の強い方向を判定する(S11)。
例えば、補間処理部17は、以下に示す<<類似性判定方法1>>または<<類似性判定方法2>>によって、類似性の強い方向を判定する。
【0022】
<<類似性判定方法1>>
補間処理部17は、任意の値Tについて、
(|Dv(i,j)-Dh(i,j)|>T)∩(Dv(i,j)<Dh(i,j))
が成り立つ場合、縦方向の類似性が強い(以下、「縦類似」という。)と判定し、
(|Dv(i,j)-Dh(i,j)|>T)∩(Dv(i,j)>Dh(i,j))
が成り立つ場合、横方向の類似性が強い(以下、「横類似」という。)と判定し、
|Dv(i,j)-Dh(i,j)|≦T
が成り立つ場合、何れの方向の類似性が強いかは不明である(以下、「中間類似」という。)と判定する。
【0023】
<<類似性判定方法2>>
補間処理部17は、
x=(Dv(i,j)-Dh(i,j))/((Dv(i,j)+Dh(i,j))・T1+T2)
において、
x<-1のとき、f(x)=-1 として縦類似と判定し、
x>1 のとき、f(x)=1として横類似と判定し、
-1≦x≦1 のとき、f(x)= x として中間類似と判定する。
【0024】
ただし、T1、T2は、正の定数であり、f(x)は、後述する補間量の算出時に用いるファジー関数である。
補間処理部17は、上述した方法によって類似性の強い方向の判定を行うと、判定の結果が縦類似の場合、上方向の類似度Dup(i,j)および下方向の類似度Ddn(i,j)を算出し(S12)、判定の結果が横類似の場合、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を算出する(S13)。
【0025】
例えば、補間処理部17は、上方向の類似度Dup(i,j)、下方向の類似度Ddn(i,j)、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を
Dup(i,j)=|RB(i-2,j)-RB(i,j)|
Ddn(i,j)=|RB(i+2,j)-RB(i,j)|
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|
Drt(i,j)=|RB(i,j+2)-RB(i,j)|
によって算出する。
【0026】
ところで、このようにして算出される類似度に対して、以下のように着目空格子点に隣接する格子点や近傍に位置する空格子点の色情報から成る項を加算して高周波情報を取り込んでも良い。
Dup(i,j)=|RB(i-2,j)-RB(i,j)|+a・|G(i-1,j)-RB(i,j)|
+b・(|BR(i-1,j-1)-G(i,j-1)|+|BR(i-1,j+1)-G(i,j+1)|)/2
Ddn(i,j)=|RB(i+2,j)-RB(i,j)|+a・|G(i+1,j)-RB(i,j)|
+b・(|BR(i+1,j-1)-G(i,j-1)|+|BR(i+1,j+1)-G(i,j+1)|)/2
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|+a・|G(i,j-1)-RB(i,j)|
+b・(|BR(i-1,j-1)-G(i-1,j)|+|BR(i+1,j-1)-G(i+1,j)|)/2
Drt(i,j)=|RB(i,j+2)-RB(i,j)|+a・|G(i,j+1)-RB(i,j)|
+b・(|BR(i-1,j+1)-G(i-1,j)|+|BR(i+1,j+1)-G(i+1,j)|)/2
ただし、a、bは、0または正の定数であり、各色情報間の類似性に優先度をつけるために設けた値である。
【0027】
なお、このようにして算出される上方向の類似度Dup(i,j)、下方向の類似度Ddn(i,j)、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)は、値が小さい程、類似性が強いことを意味する。
補間処理部17は、前述したようにして各方向の類似度を算出すると、S11の判定の結果が縦類似の場合、上方向の類似度Dup(i,j)と下方向の類似度Ddn(i,j)を用いて上方向の加重係数Wupおよび下方向の加重係数Wdnを算出し(S14)、S11の判定の結果が横類似の場合、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を用いて右方向の加重係数Wltおよび左方向の加重係数Wrtを算出する(S15)。
【0028】
例えば、補間処理部17は、上方向の加重係数Wup、下方向の加重係数Wdn、右方向の加重係数Wltおよび左方向の加重係数Wrtを
Wup=Ddn(i,j)/(Dup(i,j)+Ddn(i,j))
Wdn=Dup(i,j)/(Dup(i,j)+Ddn(i,j))
Wlt=Drt(i,j)/(Dlt(i,j)+Drt(i,j))
Wrt=Dlt(i,j)/(Dlt(i,j)+Drt(i,j))
によって算出する。
【0029】
なお、分母が0となる場合の発散を防ぐため、以下のように、各項の類似度に正のオフセット値(ここでは、1とする)を加えても良い。
Wup=(Ddn(i,j)+1)/[(Dup(i,j)+1)+(Ddn(i,j)+1)]
Wdn=(Dup(i,j)+1)/[(Dup(i,j)+1)+(Ddn(i,j)+1)]
Wlt=(Drt(i,j)+1)/[(Dlt(i,j)+1)+(Drt(i,j)+1)]
Wrt=(Dlt(i,j)+1)/[(Dlt(i,j)+1)+(Drt(i,j)+1)]
ところで、このようにしてオフセット値が加算された場合、上方向と下方向とで類似性が等しく、Dup(i,j)=Ddn(i,j)=0 となったときには、Wup=Wdn=1/2 となり、左方向と右方向とで類似性が等しく、Dlt(i,j)=Drt(i,j)=0 となったときには、Wlt=Wrt=1/2 となる。
【0030】
また、上記定義の加重係数は、Dup=0、Ddn=maxのとき、Wup=1、Wdn=0となり、類似度の最も強い方向から値を直接引用する場合も含んでいる。
補間処理部17は、前述したようにして各方向の加重係数を算出すると、S11の判定の結果が縦類似の場合、補間量G(i,j)を
G(i,j)=Wup・G(i-1,j)+Wdn・G(i+1,j)=Gv(i,j)
によって算出し(S16)、S11の判定の結果が横類似の場合、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)=Gh(i,j)
によって算出する(S17)。
【0031】
また、補間処理部17は、S11の判定の結果が中間類似の場合、補間量G(i,j)を
G(i,j)=(Gv(i,j)+Gh(i,j))/2
または
G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4
または
G(i,j)=Gv(i,j)・(1-f(x))/2+Gh(i,j)・(1+f(x))/2
によって算出する(S18)。
【0032】
ただし、f(x)は、前述した<<類似性判定方法2>>によって算出したファジー関数である。
以上説明したように、第1の実施形態では、ベイア配列されたカラーフィルタを介して生成された画像データに対する補間処理として、着目空格子点の類似性が強い方向に隣接する2つの格子点の色情報を用いて補間量を算出するが、補間量は、従来の補間処理と異なり、各々の格子点の色情報を加重加算することによって算出される。
【0033】
したがって、第1の実施形態では、従来の補間処理と比べて、エッジ部分の偽色を確実に低減することができる。
ところで、第1の実施形態では、上方向の加重係数Wupと下方向の加重係数Wdnとを加算すると1となり、左方向の加重係数Wltと右方向の加重係数Wrtとを加算すると1となる。そのため、第1の実施形態によって算出される補間量は、縦類似の場合、縦方向に隣接する2つの格子点の色情報の範囲(図5(A)〜(C)の範囲Lに相当する)に収まり、横類似の場合、横方向に隣接する2つの格子点の色情報の範囲に収まることになる。
【0034】
すなわち、第1の実施形態では、着目空格子点の補間量は、必ず隣接する2つの格子点の色情報の内分点になる。以下、このようにして行われる補間処理(S12〜S18)を「内分点補間処理」という。
【0035】
以下、第2の実施形態の動作を説明する。なお、第2の実施形態の特徴は、図1に示す補間処理部17によって行われる補間処理の方法にあり、ハードウエアの構成は、図1と同じであるため、図示および説明を省略する。
【0036】
ところで、第2の実施形態において、補間処理部17は、前述した内分点補間処理の他に、着目空格子点の補間量が、隣接する2つの格子点の色情報の範囲を外れるような補間処理(以下、「外分点補間処理」という。)を行うので、ここで、このような外分点補間処理の説明を行う。
補間処理部17は、第1の実施形態と同様にして類似性の強い方向の判定を行った状態において、判定の結果が縦類似の場合、補間量G(i,j)を
G(i,j)=(G(i-1,j)+G(i+1,j))/2+(2・RB(i,j)-RB(i-2,j)-RB(i+2,j))/4
によって算出し、判定の結果が横類似の場合、補間量G(i,j)を
G(i,j)=(G(i,j-1)+G(i,j+1))/2+(2・RB(i,j)-RB(i,j-2)-RB(i,j+2))/4
によって算出し、判定の結果が中間類似の場合、補間量G(i,j)を
G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4
+(4・RB(i,j)-RB(i-2,j)-RB(i+2,j)-RB(i,j-2)-RB(i,j+2))/8
によって算出する。
【0037】
すなわち、ここでは、着目空格子点に隣接する格子点の色情報の平均値を補間量の予測値として扱い、その予測値を補正する(所定の項を加算する)ことによって、補間量を算出している。
なお、このような外分点補間処理では、予測値を補正する方法として、予測値に所定の係数を乗算しても良い。例えば、所定の係数としては、縦類似の場合、
RB(i,j)/((RB(i-2,j)+RB(i+2,j))/2)
が考えられ、横類似の場合、
RB(i,j)/((RB(i,j-2)+RB(i,j+2))/2)
が考えられる。
【0038】
図4は、第2の実施形態における補間処理部17の動作フローチャートである。
なお、図4に示す処理のうち、図2に示す処理と同じ処理については、同じ番号を付与し、説明を省略する。
以下、図4を参照して第2の実施形態における補間処理部17の動作を説明する。
【0039】
まず、補間処理部17は、第1の実施形態と同様にして、着目空格子点の縦方向の類似度Dv(i,j)および横方向の類似度Dh(i,j)を算出し(S10)、類似性の強い方向を判定する(S11)。
次に、補間処理部17は、着目空格子点が外分点であるか否かを判定する(S20)。
【0040】
例えば、補間処理部17は、S11の判定の結果が縦類似の場合には、
(RB(i-2,j)-RB(i,j))・(RB(i+2,j)-RB(i,j))>0
が成り立つときに着目空格子点を外分点と判定し、S11の判定の結果が横類似の場合には、
(RB(i,j-2)-RB(i,j))・(RB(i,j+2)-RB(i,j))>0
が成り立つときに着目空格子点を外分点と判定し、S11の判定の結果が中間類似の場合には、
[(RB(i-2,j)-RB(i,j))・(RB(i+2,j)-RB(i,j))>0]∩
[(RB(i,j-2)-RB(i,j))・(RB(i,j+2)-RB(i,j))>0]
が成り立つときに着目空格子点を外分点と判定し、各条件式が成り立たないときに着目空格子点を内分点と判定する。
【0041】
図5は、内分点と外分点との判定条件の模式図である。
図5において、(1)〜(3)では、着目空格子点がR(赤色)を出力すると仮定し、着目空格子点の色情報をR(k)とし、着目空格子点を挟んで同一直線上に位置してRを出力する2つの空格子点の色情報をR(k-2)、R(k+2)としている。
【0042】
すなわち、第2の実施形態では、図5(2)のようにR(k)がR(k-2)およびR(k+2)を上回るときや、図5(3)のようにR(k)がR(k-2)およびR(k+2)を下回るときに着目空格子点を外分点と判定し、図5(1)のようにR(k)がR(k-2)とR(k+2)との範囲内であるときに着目空格子点を内分点と判定する。
なお、着目空格子点を外分点であると判定する条件を厳しくし、R(k)がR(k-2)とR(k+2)との範囲から極端に離れているときのみ、着目空格子点を外分点と判定したい場合には、閾値Thを設けた以下のような条件式を用いれば良い。
【0043】
縦類似の場合の条件式:
[(RB(i-2,j)-RB(i,j)>Th)∩(RB(i+2,j)-RB(i,j)>Th)]∪
[(RB(i-2,j)-RB(i,j)<Th)∩(RB(i+2,j)-RB(i,j)<Th)]
横類似の場合の条件式:
[(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
中間類似の場合の条件式:
[(RB(i-2,j)-RB(i,j)>Th)∩(RB(i+2,j)-RB(i,j)>Th)∩
(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i-2,j)-RB(i,j)<Th)∩(RB(i+2,j)-RB(i,j)<Th)∩
(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
補間処理部17は、このようにして着目空格子点が外分点であるか否かの判定を行うと、判定の結果が内分点の場合、内分点処理(図2S12〜S18)を行い(S21)、判定の結果が外分点の場合、前述した外分点補間処理を行う(S22)。
【0044】
すなわち、第2の実施形態は、内分点補間処理と外分点補間処理とを切り換える処理に相当する。
ところで、図5(A)〜(C)では、着目空格子点を挟んで同一直線上に隣接する格子点の色情報をG(k-1)、G(k+1)としており、図5(1)のように着目空格子点が内分点である場合には、内分点補間処理が行われ、図5(2)、(3)のように着目空格子点が外分点である場合には、外分点補間処理が行われることを示す。
【0045】
以上説明したように、第2の実施形態では、着目空格子点が外分点である場合には、外分点補間処理が行われるため、内分点補間処理のみが行われる第1の実施形態と比べて、エッジ部分の鮮明度を高くすることができる。
なお、第2の実施形態では、内分点補間処理と外分点補間処理とが択一的に行われるが、全ての空格子点に対して内分点補間処理を行った後に、外分点を示す空格子点に対して外分点補間処理を行っても良い。ただし、このようにして行われる外分点補間処理では、内分点補間処理によって得られた補間量を予測値として用いる。
【0046】
また、第1の実施形態および第2の実施形態では、縦方向と横方向とに対して類似性が強い方向の判定が行われるが、例えば、上方向と下方向との組み合わせ(縦方向)、左方向と右方向との組み合わせ(横方向)、上方向と左方向との組み合わせ、上方向と右方向の類似性との組み合わせ、下方向と左方向との組み合わせ、下方向と右方向との組み合わせのうち、類似性が最も強い組を判定し、その組に属する方向に隣接する格子点の色情報を用いて補間量を算出しても良い。
【0047】
以下、第3の実施形態の動作を説明する。
なお、第3の実施形態は、補間処理の対象となる画像データの色情報の配列が図3(2)に示す配列に代えられた点を除き、前述した第1の実施形態または第2の実施形態と同じである。
そこで、第3の実施形態では、第1の実施形態と第2の実施形態との相違点を中心に説明する。
【0048】
第1の実施形態および第2の実施形態では、図3(1)に示すように、着目空格子点と同一の色を出力する空格子点が縦方向および横方向に存在しているため、縦方向の類似度および横方向の類似度を算出し(S10)、類似性の強い方向を判定する(S11)必要があった。
しかし、第3の実施形態では、図3(2)に示すように、着目空格子点と同一の色を出力する空格子点が横方向にしか存在しないため、S10およびS11の処理は不要であり、S11の判定の結果が縦類似の場合の処理(S12、S14、S16)やS11の判定の結果が中間類似の場合の処理(S18)も不要である。
【0049】
すなわち、第3の実施形態では、補間処理部17は、第1の実施形態に対応する補間処理(内分点補間処理)として、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を算出し(S13)、これらの類似度を用いて右方向の加重係数Wltおよび左方向の加重係数Wrtを算出し(S15)、補間量G(i,j)を算出する(S17)。
【0050】
例えば、補間処理部17は、左方向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を
Dlt(i,j)=|RB(i,j-2)-RB(i,j)|+a・|G(i,j-1)-RB(i,j)|
Drt(i,j)=|RB(i,j+2)-RB(i,j)|+a・|G(i,j+1)-RB(i,j)|
によって算出する。ただし、aは、0または正の定数である。
【0051】
また、補間処理部17は、右方向の加重係数Wltおよび左方向の加重係数Wrtを Wlt=Drt(i,j)/(Dlt(i,j)+Drt(i,j))
Wrt=Dlt(i,j)/(Dlt(i,j)+Drt(i,j))
によって算出し、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)
によって算出する。
【0052】
また、第3の実施形態では、補間処理部17は、第2の実施形態に対応する補間処理(内分点補間処理と外分点補間処理とを切り換える処理)として、着目空格子点が外分点であるか否かを判定し(S20)、判定の結果が内分点の場合、内分点処理を行い(S21)、判定の結果が外分点の場合、外分点補間処理を行う(S22)。
【0053】
例えば、補間処理部17は、
[(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪
[(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)]
が成り立つときに着目空格子点を外分点と判定し、このような条件式が成り立たないときに着目空格子点を内分点と判定する。また、補間処理部17は、外分点補間処理として、補間量G(i,j)を
G(i,j)=(G(i,j-1)+G(i,j+1))/2+(2・RB(i,j)-RB(i,j-2)-RB(i,j+2))/4
によって算出し、内分点処理として、補間量G(i,j)を
G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)
によって算出する。
【0054】
以上説明したように、第3の実施形態では、図3(2)のように配列された画像データに対しても、第1の実施形態や第2の実施形態と同様にして、補間処理を行うことができる。
以下、第4の実施形態の動作を説明する。
図6は、第4の実施形態の機能ブロック図である。
【0055】
なお、第4の実施形態は、補間処理プログラムを記録した記録媒体を用いて、パーソナルコンピュータによって補間処理を実行することに相当する。
図6において、機能が図1に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
【0056】
なお、図6に示す電子カメラ20と図1に示した電子カメラ10との構成の相違点は、制御部21と画像処理部22とが制御部11と画像処理部15とに代えて設けられ、インタフェース部23が新たに設けられた点である。
【0057】
また、図6において、パーソナルコンピュータ30は、CPU31、インタフェース部32、ハードディスク33およびメモリ34を有し、CPU31は、バスを介してインタフェース部32、ハードディスク33およびメモリ34に接続される。
なお、パーソナルコンピュータ30には、CD−ROMなどの記録媒体に記録された補間処理プログラム(前述した各実施形態の補間処理部17と同様にして補間処理を実行する補間処理プログラム)が予めインストールされているものとする。すなわち、ハードディスク33には、このような補間処理プログラムが実行可能な状態で格納されている。
【0058】
以下、図6を参照して第4の実施形態の動作を説明する。
まず、電子カメラ20では、図1に示した電子カメラ10と同様に生成された画像データが画像処理部22に供給される。画像処理部22は、画像データに補間処理以外の画像処理(例えば、階調変換処理など)を施し、記録部16では、画像処理が施された画像データが画像ファイルの形式で記録される。
【0059】
このような画像ファイルは、インタフェース部23を介してパーソナルコンピュータ30に供給される。
パーソナルコンピュータ30内のCPU31は、インタフェース部32を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。
すなわち、第4の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ30によって行うことができる。
【0060】
【発明の効果】
以上説明したように、請求項1に記載の発明は、着目空格子点の近傍に位置する格子点の色情報の平均値を補間量とする場合と比べて、エッジ部分の偽色を確実に低減することができる。
【0061】
また、請求項2に記載の発明は、第1の補間量算出手段だけでは適切な補間量が算出できない場合に第2の補間量算出手段によって補間量を算出することが可能であるため、エッジ部分の鮮明度を高くすることができる。
したがって、請求項1および請求項2に記載の発明では、補間処理を精度良く行うことができる。
【0062】
さらに、請求項3に記載の発明では、着目空格子点を起点に近傍の格子点に向かう方向が複数存在する場合、着目空格子点との類似性が最も強い2つの方向に位置する格子点の色情報を用いて補間量が算出される。そのため、請求項3に記載の発明によれば、補間処理を精度よく行うことができる。
【図面の簡単な説明】
【図1】第1の実施形態に対応する電子カメラの機能ブロック図である。
【図2】第1の実施形態における補間処理部の動作フローチャートである。
【図3】補間処理の対象となる画像データの色情報の配列を示す図である。
【図4】第2の実施形態における補間処理部の動作フローチャートである。
【図5】内分点と外分点との判定条件の模式図である。
【図6】第4の実施形態の機能ブロック図である。
【図7】格子点および空格子点を説明する図である。
【符号の説明】
10、20 電子カメラ
11、21 制御部
12 撮影光学系
13 撮像部
14 A/D変換部
15、22 画像処理部
16 記録部
17 補間処理部
23、32 インタフェース部
30 パーソナルコンピュータ
31 CPU
33 ハードディスク
34 メモリ
Claims (12)
- 最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、前記空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置において、
補間処理の対象となる着目空格子点をまたぐ2つ以上の方向の各々に対して、該着目空格子点の類似性を判定する第1の類似性判定手段と、
補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する第2の類似性判定手段と、
前記第1の類似性判定手段の判定結果により選ばれた、前記格子点に向かう複数の方向のうちの一部もしくは全部の方向に対して、前記第2の類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、前記一部もしくは全部の方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と
を備えたことを特徴とする補間処理装置。 - 最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、前記空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置において、
補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して該着目空格子点の類似性を判定し、該類似性の強弱に基づいて該方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する第1の補間量算出手段と、前記複数の方向に位置する格子点の色情報から予測される補間量の予測値を、該方向に位置して前記着目空格子点と同一の色を出力する空格子点の色情報と該着目空格子点の色情報とに基づいて補正することによって、補間量を算出する第2の補間量算出手段と、
前記着目空格子点の色情報と該着目空格子点の近傍に位置する空格子点の色情報との大小関係に基づいて、前記第1の補間量算出手段と前記第2の補間量算出手段との切り換えを行う切り換え手段と
を備えたことを特徴とする補間処理装置。 - 最も高い密度で分布する色を出力する格子点と該色が欠落する空格子点とから成るカラー画像に対し、前記空格子点での該色の色情報に相当する補間量を算出する補間処理を行う補間処理装置において、
補間処理の対象となる着目空格子点を起点として近傍の前記格子点に向かう複数の方向の各々に対して、該着目空格子点の類似性を判定する類似性判定手段と、
類似性判定手段で判定された複数の方向に対する類似性の強弱に基づき、該方向に位置する前記格子点の色情報を加重加算することによって補間量を算出する補間量算出手段と、を備え、
前記複数の方向は、前記着目空格子点を起点に近傍の格子点に向かう2つの方向の組み合わせのうち、該着目空格子点の類似性が最も強い組み合わせに属する2つの方向であることを特徴とする補間処理装置。 - 請求項1に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項1に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項2に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項2に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項3に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と同一の色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - 請求項3に記載の補間処理装置において、
前記複数の方向の各々に対する着目空格子点の類似性は、前記着目空格子点の色情報の他に、少なくとも該着目空格子点と異なる色を出力する空格子点の色情報を用いて算出されることを特徴とする補間処理装置。 - コンピュータを請求項1、請求項4、請求項5の何れか1項に記載の第1の類似性判定手段、第2の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録した機械読み取り可能な記録媒体。
- コンピュータを請求項2、請求項6、請求項7の何れか1項に記載の第1の補間量算出手段、第2の補間量算出手段、切り換え手段として機能させるための補間処理プログラムを記録した機械読み取り可能な記録媒体。
- コンピュータを請求項3、請求項8、請求項9の何れか1項に記載の類似性判定手段、補間量算出手段として機能させるための補間処理プログラムを記録した機械読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02724899A JP4305989B2 (ja) | 1998-12-21 | 1999-02-04 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36317798 | 1998-12-21 | ||
JP10-363177 | 1998-12-21 | ||
JP02724899A JP4305989B2 (ja) | 1998-12-21 | 1999-02-04 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000244934A JP2000244934A (ja) | 2000-09-08 |
JP4305989B2 true JP4305989B2 (ja) | 2009-07-29 |
Family
ID=26365152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP02724899A Expired - Lifetime JP4305989B2 (ja) | 1998-12-21 | 1999-02-04 | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4305989B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4702912B2 (ja) * | 2000-05-12 | 2011-06-15 | キヤノン株式会社 | 信号処理方法及び信号処理装置 |
KR100617688B1 (ko) | 2004-05-19 | 2006-08-28 | 삼성전자주식회사 | 휴대 단말기의 힌지 장치 |
KR100721338B1 (ko) * | 2004-12-30 | 2007-05-28 | 엘지전자 주식회사 | 디지털 촬영장치의 색상 보간법 |
KR100782812B1 (ko) | 2005-06-15 | 2007-12-06 | 삼성전자주식회사 | 에지 적응적 컬러 보간 방법 및 장치 |
KR100826215B1 (ko) * | 2006-07-25 | 2008-04-29 | 엠텍비젼 주식회사 | 격자 노이즈 및 에지 방향을 고려한 컬러 보간 방법 및장치 |
JP5034789B2 (ja) * | 2007-08-31 | 2012-09-26 | 株式会社Jvcケンウッド | 撮像装置 |
JP5109911B2 (ja) * | 2008-10-03 | 2012-12-26 | 株式会社Jvcケンウッド | 撮像装置および補間処理方法 |
KR101637488B1 (ko) * | 2009-01-16 | 2016-07-07 | 삼성전자주식회사 | 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치 |
JP5353945B2 (ja) * | 2011-05-13 | 2013-11-27 | 株式会社ニコン | 画像処理装置および画像処理プログラム並びに電子カメラ |
JP5600812B2 (ja) * | 2011-12-28 | 2014-10-01 | 富士フイルム株式会社 | 撮像装置 |
JP6056659B2 (ja) * | 2013-05-30 | 2017-01-11 | 株式会社Jvcケンウッド | 映像信号処理装置及び方法 |
-
1999
- 1999-02-04 JP JP02724899A patent/JP4305989B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000244934A (ja) | 2000-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6075889A (en) | Computing color specification (luminance and chrominance) values for images | |
US5506619A (en) | Adaptive color plan interpolation in single sensor color electronic camera | |
US7825965B2 (en) | Method and apparatus for interpolating missing colors in a color filter array | |
JP3510037B2 (ja) | 適応カラー補間単一センサカラー電子カメラ | |
US7995868B2 (en) | Image processing method and image processing device | |
JP4305989B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
US7952768B2 (en) | Method of color interpolation of image detected by color filter | |
JP3946866B2 (ja) | 画像信号処理装置及びプログラムを記録した媒体 | |
JP2005159957A (ja) | 色補間方法 | |
JP2004208336A (ja) | 輝度勾配を用いたフルカラーイメージ適応的補間装置 | |
JP2002033964A (ja) | デジタル画像の欠陥画素補正方法 | |
JP2007259401A (ja) | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ | |
JP2004221838A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
JP2002191053A (ja) | 画像信号処理方法 | |
EP2056607B1 (en) | Image processing apparatus and image processing program | |
JP4104495B2 (ja) | データ処理装置、画像処理装置およびカメラ | |
US8184183B2 (en) | Image processing apparatus, image processing method and program with direction-dependent smoothing based on determined edge directions | |
JP2000188762A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JP4380399B2 (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
JP4539299B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
JP4178919B2 (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
JP3657826B2 (ja) | 画素補間方法 | |
JP2016019245A (ja) | 画像処理装置および画像処理方法 | |
JP3899144B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |