JP4702912B2 - 信号処理方法及び信号処理装置 - Google Patents
信号処理方法及び信号処理装置 Download PDFInfo
- Publication number
- JP4702912B2 JP4702912B2 JP2000140810A JP2000140810A JP4702912B2 JP 4702912 B2 JP4702912 B2 JP 4702912B2 JP 2000140810 A JP2000140810 A JP 2000140810A JP 2000140810 A JP2000140810 A JP 2000140810A JP 4702912 B2 JP4702912 B2 JP 4702912B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- correlation
- interpolation
- signal
- green
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は信号処理方法及び信号処理装置に関し、更に詳しくは画像信号処理における、適応輝度補間処理の処理精度を向上させた信号処理方法及び信号処理装置に関する。
【0002】
【従来の技術】
図6は従来の単板方式のデジタルカメラの信号処理ユニットの構成を示すブロック図である。CCD撮像素子501からの信号は、ホワイトバランス回路502で白のゲインが調整され、輝度ノッチ回路510に送られる。輝度ノッチ回路510にて、垂直ローパスフィルタ(VLPF)を用いて、垂直方向に色のナイキスト付近の周波数の信号ゲインを低減する処理が施される。水平方向も同様に水平ローパスフィルタ(HLPF)によるゲインの低減処理が施される。以下、このフィルタを輝度ノッチフィルタと呼ぶ。その後、水平バンドパスフィルタ(HBPF)回路511及び垂直バンドパスフィルタ(VBPF)回路514によって、ノッチフィルタにより弱められたナイキスト周波数よりも若干低い周波数をもちあげる。
【0003】
その後、水平、垂直ともにPP(Aperture Peak)Gain回路512及び515で振幅が調整され、ベースクリップ(BC)回路513及び516で小振幅がカットされノイズ除去される。その後、加算器517で水平成分と垂直成分が加算され、APC(Aperture Control)MainGain回路518 でメインゲインがかかり、加算器519でベースバンド信号と加算される。その後、ガンマ変換回路520でガンマ変換が施され、輝度修正(YCOMP)回路521で、色による輝度信号レベル補正が実施される。
【0004】
また、色信号処理として、色補間回路503により全ての画素について全ての色画素値が存在するように補間され、色変換マトリクス(MTX)回路504にて補色信号が輝度信号(Y)及び色差信号(Cr、Cb)に変換される。その後クロマ抑圧(CSUP:Chroma Supress)回路505によって低輝度及び高輝度領域の色差ゲインが抑圧され、クロマローパスフィルタ(CLPF)回路506にて帯域が制限される。帯域制限されたクロマ信号はガンマ変換回路507において、RGB信号に変換されると同時にガンマ変換が施される。ガンマ変換後のRGB信号は再びY、Cr、Cb信号に変換され、CGainKnee(Chroma Gain Knee)回路にて彩度ゲインが調整され、LCMTX(Linear Clip Matrix)回路509にて、色相の微少修正及び、撮像素子の個体差バラツキによる色相ずれを修正する。
【0005】
ここで、図7に示すような市松模様のベイヤー配列のフィルターを備えた撮像素子からの出力を処理した場合を考える。特に純色フィルターの場合、色の分離がよいために、例えば図8(a)のように、左半分が赤、右半分が青といった相反する色相を有する画像のエッジ部では、ノッチフィルタ方式であると、LPFだけでは異なる色フィルタ間のゲイン差を吸収することができず、ギザギザ(ジャギ)となって再生画像の画質を劣化させてしまう。以下に、図8(b)を参照して更に説明する。
【0006】
図8(b)は、撮像素子の各画素からの出力レベルを示す説明図である。同図においては、説明の簡略化のため、比較的大きい値を出力する画素を白で、出力がほぼ0である画素を黒で示している。このように、相反する色相のエッジであると異なる色フィルタでの信号レベル差が大きくなり、結果としてにジャギとなって現れる。更に、LPFによって落ちた解像感(MTF)をあげるためにエッジ強調を行なうため、さらにジャギを強調させてしまうという欠点があった。
【0007】
そこで、このジャギを回避するために以下のような適応補間輝度信号作成手法が提案されている。すなわち、補間対象画素の上下左右の信号相関を検出し、これにより縦縞か横縞かを判別し、縦縞の場合は上下の信号から補間を行ない、横縞の場合は左右の信号から補間することで、輝度信号のジャギを防ぐものである。
【0008】
以下、適応補間輝度信号作成手法について、図9を参照して説明する。
【0009】
まずグリーン信号の補間を行う。例えば、画素P1〜P9に対する補間を行う場合(括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。但し、)、画素P5におけるグリーン信号(P5(G))の補間方法は以下の通りである。
【0010】
1.式(1)により補間対象の上下、左右の画素の差の絶対値(HDiff,VDiff)を求める。
HDiff=|P4(G)−P6(G)|、
VDiff=|P2(G)−P8(G)| …(1)
【0011】
2.求めた絶対値に基づいて、補間の仕方を変更する。
【0012】
VDiff<HDiffならば、垂直の画素を用い、式(2)を用いて補間する。
P5(G)=(P2(G)+P8(G))/2 …(2)
【0013】
また、VDiff>HDiffなら、水平の画素を用い、式(3)を用いて補間する。
P5(G)=(P4(G)+P6(G))/2 …(3)
【0014】
更に、Vdiff=HDiffなら、水平及び垂直両方の画素を用い、式(4)を用いて補間する。
P5(G)=(P2(G)+P8(G)+P4(G)+P6(G))/4…(4)
【0015】
上記のようにして、グリーン信号以外を出力する画素についてグリーン信号を補間する。
【0016】
また、レッド信号は、
P2(R)=((P1(R)-P1(G))+(P3(R)-P3(G)))/2+P2(G)
P4(R)=((P1(R)-P1(G))+(P7(R)-P7(G)))/2+P4(G)
P5(R)=((P1(R)-P1(G))+(P3(R)-P3(G))+(P7(R)-P7(G))+(P9(R)-P9(G)))/4+P5(G) …(5)
【0017】
で求めることができる。ブルー信号も同様の計算で求めることができる。これにより同一画素についてRGB3色分の信号を得ることができる。更に、
Y=0.3×R+0.59×G+0.11×B …(6)
より輝度信号Yを求める。
また、特開平11−275373号公報に開示されているように、エッジ判別に色差信号を用い、その後、相関度に応じて縦方向からの補間信号と横方向からの補間信号を加重加算によって補間画素を算出する方法がある。この方法では、加重加算により2値的な切り替わりを無くすことが可能である。
【0018】
さらに、特開平8−298669号公報では、ラプラシアン2次値及び傾斜値を得て分類器を決定し、分類器に基づく失われたカラー値の補間に対する好ましい方向を選択するためにラプラシアン2次値及び傾斜値を加算する構造を含む。最終的に配置は好ましい方向に一致するように選択された複数のカラー値の付近から失われたカラー値を補間する方法が開示されている。つまり、グリーン信号を補間する際に求める縦横相関係数を求める場合に、図10に示す配列において
HDiff=|P32(G)-P34(G)|+|P31(B)+P35(B)-2×P33(B)|
VDiff=|P23(G)-P43(G)|+|P13(B)+P53(B)-2×P33(B)|…(7)
【0019】
のような第2項をそれぞれ加えることで、さらに判定精度をあげることができるとある。
【0020】
【発明が解決しようとする課題】
しかしながら、上記式(1)〜(6)に示す従来の適応補間手法では、縦縞横縞判別で2値的に補間方向を切り替えているため、図11(a)のような1画素ピッチの縞の被写体において画素、例えば画素P5を補間して作成する場合、VDiff(=|P2(G)−P8(G)|=0)、HDiff(=|P4(G)−P6(G)|=0)の両者の値がほぼ0となる。この結果、撮像素子のノイズなどの影響で誤判定を行ってしまい、図11(b)のように縦からの補間と横からの補間がランダム(不規則)に2値的に切り替わり(縦縞横縞の誤判別)、本来あるべきでないところに縞が発生するという欠点があった。
【0021】
また、特開平11−275373号公報記載の方法では、エッジ判別に色差信号を用いているため、図12のような白黒エッジの場合に水平垂直方向の色差信号が両者共に0になってしまい(例えばP5(G)を補間する場合、Hdiff=|(P5(B)−P2(G))−(P5(G)−P8(G))|=0、Vdiff=|(P5(B)−P4(G))−(P5(G)−P6(G))|=0)、エッジ判別が不可能になってしまう欠点があった。さらに、色差信号の絶対値和による判定を行うと、図13の(a)ような色エッジの場合、図13(b)のようにたとえば、P2(G)=P4(G)=P6(G)=20,P1(R、B)=P3(R、B)=P5(B、R)=70,P7(R、B)=P9(R、B)=170,P8(G)=120,のような色エッジの場合、P5(G)を求めるとすると、特開平11−275373号公報に記載の補間方法でt=y=0.5として計算すると
水平類似度:Ctsum=(|P5(B,R)-P4(G)|+|P5(B,R)-P6(G)|)/2=50,
垂直類似度:Cysum=(|P5(B,R)-P2(G)|+|P5(B,R)-P8(G)|)/2=50…(8)
【0022】
となり、水平類似度が高くなるべきところが、垂直類似度と水平類似度が同じになり、判定を誤るため、図13(c)に示すように色エッジにおけるジャギが発生するという問題があった。
更に、特開平8−298669号公報の手法を用いて色信号の補間を行うと、グリーン信号を補間するために5ライン分の情報が必要になり、更に式(5)で色信号を補間する際に上下1ライン分のグリーン信号を作成する必要が有るため、結果的に7ライン分の情報が必要になり、回路規模が大きくなってしまう。
【0023】
ところが、上下1ラインのグリーン信号は色信号を作成する際、色差信号を作成するためのみに用いられるため、画質の面ではそれはど重要ではない。
【0024】
本発明は上記問題点に鑑みてなされたものであり、輝度信号作成時のグリーン信号補間時に、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、従来のような縦縞横縞誤判別による2値的な切り替わりを低減させ、より高品位な輝度信号が作成することを第1の目的とする。
【0025】
また、縦縞、横縞判別の精度を向上させると共に、回路規模を抑え、かつ精度よくグリーン信号の適応補間を行うことを第2の目的とする。
【0026】
【課題を解決するための手段】
上記第1の目的を達成するために、グリーン、レッド、及びブルーのカラーフィルタがベイヤー配列された撮像素子から得られる画像信号を、各画素が前記グリーン、レッド、及びブルーの色信号をそれぞれ有するように補間する本発明の信号処理方法は、輝度信号を求める1つのブルーの画素にグリーンの信号を補間する場合に、前記ブルーの画素の第1の方向に隣接する第1画素数の画素から得られる第1の相関と、第2の方向に隣接する第2画素数の画素から得られる第2の相関とを求める第1の相関演算工程と、
前記ブルーの画素にレッドの信号を補間するために、前記ブルーの画素から予め決められた範囲内にあるレッドの画素にグリーンの信号を補間する場合に、前記レッドの画素の前記第1の方向に隣接する前記第1画素数よりも少ない第3画素数の画素から得られる第1の相関と、前記第2の方向に隣接する前記第2画素数よりも少ない第4画素数の画素から得られる第2の相関を求める第2の相関演算工程と、前記ブルーの画素及び前記レッドの画素それぞれにグリーンの信号を補間するグリーン補間工程と、前記レッドの画素の信号と、前記グリーン補間工程で補間されたグリーンの信号とを用いて、前記ブルーの画素に前記レッドの信号を補間する他色補間工程とを有し、前記グリーン補間工程は、前記第1及び第2の相関の差分が予め設定された範囲内になく、且つ、前記第1の相関が前記第2の相関よりも強い場合に、前記第1の方向に位置する画素のみを用いて補間する第1の補間工程と、前記第1及び第2の相関の差分が前記範囲内になく、且つ、前記第2の相関が前記第1の相関よりも強い場合に、前記第2の方向に位置する画素のみを用いて補間する第2の補間工程と、前記第1及び第2の相関の差分が前記範囲内にある場合に、前記第1及び第2の方向に位置する画素を用いて補間する第3の補間工程とを有する。
【0027】
また、グリーン、レッド、及びブルーのカラーフィルタがベイヤー配列された撮像素子から得られる画像信号を、各画素が前記グリーン、レッド、及びブルーの色信号をそれぞれ有するように補間する本発明の信号処理装置は、輝度信号を求める1つのブルーの画素にグリーンの信号を補間する場合に、前記ブルーの画素の第1の方向に隣接する第1画素数の画素から得られる第1の相関と、第2の方向に隣接する第2画素数の画素から得られる第2の相関とを求める第1の相関演算手段と、前記ブルーの画素にレッドの信号を補間するために、前記ブルーの画素から予め決められた範囲内にあるレッドの画素にグリーンの信号を補間する場合に、前記レッドの画素の前記第1の方向に隣接する前記第1画素数よりも少ない第3画素数の画素から得られる第1の相関と、前記第2の方向に隣接する前記第2画素数よりも少ない第4画素数の画素から得られる第2の相関を求める第2の相関演算手段と、前記ブルーの画素及び前記レッドの画素それぞれにグリーンの信号を補間するグリーン補間手段と、前記レッドの画素の信号と、前記グリーン補間手段により補間されたグリーンの信号とを用いて、前記ブルーの画素に前記レッドの信号を補間する他色補間手段とを有し、前記グリーン補間手段は、前記第1及び第2の相関の差分が予め設定された範囲内になく、且つ、前記第1の相関が前記第2の相関よりも強い場合に、前記第1の方向に位置する画素のみを用いて補間する第1の補間方法により、前記第1及び第2の相関の差分が前記範囲内になく、且つ、前記第2の相関が前記第1の相関よりも強い場合に、前記第2の方向に位置する画素のみを用いて補間する第2の補間方法により、前記第1及び第2の相関の差分が前記範囲内にある場合に、前記第1及び第2の方向に位置する画素を用いて、前記補間の対象となる画素を補間する第3の補間方法により、補間を行う。
【0030】
また好ましくは、前記カラーフィルタの配列はベイヤー配列である。
【0038】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0039】
[第1の実施形態]
図1は、本発明の第1の実施形態におけるデジタルカメラの信号処理ユニットの構成を示すブロック図である。図6に示す構成とは、輝度ノッチ回路510が適応輝度補間回路550に変わっているところが異なる。
【0040】
図2は、適応輝度補間回路550の処理構成を示すブロック図である。適応輝度補間回路550は相関度検出部560、G補間部570、R・B補間部580、及び輝度生成部590とを有する。
【0041】
以下、本発明の第1の実施形態にかかる上記構成を有する適応輝度補間回路550における輝度信号作成方法を説明する。図3は、輝度信号作成方法の手順を示すフローチャートである。
【0042】
基本となる方法は、グリーン信号を適応的に補間した後、グリーン信号をもとにレッド信号及びブルー信号を補間し輝度信号を作成する手法である。本第1の実施の形態では、グリーン信号の補間時に、縦縞、横縞判別の結果に応じて水平方向補間、垂直方向補間を2値的に切り替えるのではなく、縦縞、横縞判別で相関度があまり変わらない画素には、水平方向補間からのグリーン信号と、垂直方向補間からのグリーン信号に重みをつけて分配することを特徴とする。
【0043】
まず、グリーン以外の全ての画素、すなわちレッド画素、ブルー画素について、グリーン信号を補間する(ステップS11〜S15)。例えば図7に示す配列のフィルターを有し、図9の画素P5(P1〜P9は画素の位置を示し、括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。)にグリーン信号(P5(G))を補間する場合、相関度検出器560では従来と同様に、補間対象画素の上下左右の信号相関を検出し、これにより縦縞、横縞を判別する。すなわち、補間対象の上下、左右の画素の差の絶対値を求める。(ステップS11、相関度算出)
HDiff=|P4(G)−P6(G)|、
VDiff=|P2(G)−P8(G)| …(9)
【0044】
次に、HDiffとVDiffの差をとり、その差の絶対値が予め設定した閾値Thより小さい場合、水平補間値と垂直補間値を重みをつけて線形的に振り分ける。またその差の絶対値が閾値Thより大きい場合には、相関度が小さい方の補間結果を用いる。
【0045】
ここでは、相関度検出器560が重みα(水平相関係数)を算出し、G補間部570がこの算出した水平相関係数αを利用して、上記条件毎に補間方法を変更してグリーン信号の補間を行う方法を説明する。
【0046】
まず、以下の式(10)を用いて水平相関係数αを算出する(ステップS12)。
α=(VDiff−HDiff)/(2×Th)+0.5 …(10)
【0047】
得られた水平相関係数αにより、以下の3通りの方法のいずれかで補間を行う(ステップS13)。
1.(0≦α≦1)の場合(ステップS14)
【0048】
水平方向の相関と垂直方向の相関が近似しているため、得られた水平相関係数αを用いて、以下の式(11)を用いて、垂直・水平補間の線形切り替えを使用する。つまり、重みをつけて垂直補間と水平補間を振り分ける。
P5(G)=(α(P4(G)+P6(G))+(1−α)(P2(G)+P8(G)))/2 …(11)
【0049】
2.(α<0)の場合(ステップS15)
【0050】
垂直方向の相関が強いため、垂直方向からの補間のみ使用する。すなわち、
P5(G)=(P2(G)+P8(G))/2 …(12)
【0051】
により補間する。
3.(α>1)の場合(ステップS16)
【0052】
水平方向の相関が強いため、水平方向からの補間のみ使用する。すなわち、
P5(G)=(P4(G)+P6(G))/2 …(13)
【0053】
により補間する。
図4は、式(10)を上記の3つの場合分けに基づいてグラフ化したものである。すなわち、(α<0)の場合は、図4に示すようにα=0として式(11)に代入すれば、式(12)が得られ、(α>1)の場合には、α=1として式(11)に代入すれば、式(13)を得られることを示している。
【0054】
同様の方法で、全てのブルー画素及びレッド画素についても補間を行う。
【0055】
また、R・B補間部580において、補間したグリーン信号を用いて、レッド以外の全ての画素についてレッド信号を補間する(ステップS17)。グリーン画素については、左右または上下のレッド信号及びそのレッド画素のグリーン信号を用いて、また、ブルー画素については、周辺の4つのレッド画素を用いて、以下の式に示すように補間を行う。
P2(R)=((P1(R)-P1(G))+(P3(R)-P3(G)))/2+P2(G1)
P4(R)=((P1(R)-P1(G))+(P7(R)-P7(G)))/2+P4(G2)
P5(R)=((P1(R)-P1(G))+(P3(R)-P3(G))+(P7(R)-P7(G))+(P9(R)-P9(G)))/4+P5(G) …(14)
【0056】
また、ブルー信号も同様の計算により求めることができる。これにより同一画素についてRGB3色分の信号を得る。更に、輝度生成器590において、例えばmsc方式の式を用い、
Y=0.3×R+0.59×G+0.11×B …(15)
【0057】
より輝度信号Yを求める(ステップS18)。なお、式(15)の各項の係数は、適宜変更することが可能である。
輝度信号ではグリーン信号の割合が約60%を占める。よってグリーン信号の補間が最も画質に影響を及ぼす。
【0058】
従って、上記第1の実施形態によれば、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、垂直画素からの補間信号と水平画素からの補間信号を、縦横相関係数を用いて線形的に分配する処理を行なうことより、従来のような縦縞横縞誤判別による2値的な切り替わりを低減させ、より高品位な輝度信号が作成可能となる。
【0059】
なお、本第1の実施形態では水平補間値の重みαを求めるために式(10)を用いたが、式(10)に関わらず他の関数から求めてもよい。また、関数でなくルックアップテーブル等で表現することも可能である。
【0060】
[第2の実施形態]
第2の実施形態では、第1の実施形態における水平相関度算出方法を、特開平8−298669号公報の式(7)を適応した場合に、回路規模が大きくならないようにするグリーン信号作成方法について説明する。図5は、本発明の第2の実施形態における輝度信号作成方法の手順を示すフローチャートである。
【0061】
図10において、画素P33の輝度信号Y(P33(Y))は以下の式(16)で求められる。
P33(Y)=0.30×P33(R)+0.59×P33(G)+0.11×P33(B) …(16)
【0062】
つまり輝度信号P33(Y)を求めるためには、画素P33のグリーン信号P33(G)とレッド信号P33(R)は補間して求める必要がある。
【0063】
P33(R)は以下の式(17)で求められる。
P33(R)={P22(R)-P22(G))+(P24(R)-P24(G))+(P42(R)-P42(G))
+(P44(R)-P44(G))}/4+P33(G) …(17)
【0064】
つまり、P22(G),P24(G),P42(G),P44(G)を補間により求める必要がある。
【0065】
例えば上述の式(7)によって、P22(G)を求めるために、
HDiff=|P21(G)-P23(G)|+|P20(R)+P24(R)-2×P22(R)|
VDiff=|P12(G)-P32(G)|+|P02(R)+P42(R)-2×P22(R)|
【0066】
となり、P33(G)信号を求める為に3ライン上のP02(R)の信号が必要になる。つまり、式(7)を判定基準にするためには、トータル7タップのデータが必要になり、回路規模が大きくなる。
そこで、第2の実施形態では、P33(B)の場所の輝度信号を求める場合、P33(G)を求める際には(ステップS21でYES)HDiff及びVDiffを式(7)を用いて算出し(ステップS22)、P22(G),P24(G),P42(G),P44(G)を求める場合には(ステップS21でNO)、HDiff及びVDiffを上記第1の実施形態で説明した式(9)を用いて算出する(ステップS23)。
【0067】
すなわち、P33(G)の場合、
HDiff=|P32(G)-P34(G)|+|P31(B)+P35(B)-2×P33(B)|
VDiff=|P23(G)-P43(G)|+|P13(B)+P53(B)-2×P33(B)|
【0068】
また、P22(G)の場合、
HDiff=|P21(G)−P23(G)|、
VDiff=|P12(G)−P32(G)|
である。P24(G),P42(G),P44(G)についても同様にして求める。
このようにして求めたHDiff及びVDiffに基づいて、第1の実施形態で説明した式(10)〜(13)に示す方法によりグリーン信号を求め(ステップS12〜S16)、式(14)によりレッド及びブルー信号を補間し(ステップS17)、得られたグリーン信号G、レッド信号R、ブルー信号Bを用いて各画素毎に式(15)により輝度信号を補間する(ステップS18)。
【0069】
NTSCの輝度信号ではグリーン信号の割合が約60%を占め、グリーン信号の補間が最も画質に影響を及ぼす。よってグリーン信号の適応補間には精度良く行う必要がある。しかし、色差信号を補間する場合に必要となるグリーン信号も同じように生成すると、回路規模が大きくなってしまう。
【0070】
しかし上記第2の実施形態によれば、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、色差信号を作成するために必要なグリーン信号作成方法と輝度信号を作成する為のグリーン信号作成方法の2つの方法を用いることによって、回路規模を抑え、かつ精度よくグリーン信号の適応補間を行うことが可能となる。
【0071】
【他の実施形態】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【0072】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0073】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0074】
【発明の効果】
以上説明したように、本発明によれば、輝度信号作成時のグリーン信号補間時に、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、従来のような縦縞横縞誤判別による2値的な切り替わりを低減させ、より高品位な輝度信号が作成可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態におけるデジタルカメラの信号処理ユニットの構成を示すブロック図である。
【図2】本発明の第1の実施形態における適応輝度補間回路の処理構成を示すブロック図である。
【図3】本発明の第1の実施形態における輝度信号作成方法の手順を示すフローチャートである。
【図4】本発明の第1の実施形態における水平相関係数のグラフを示す図である。
【図5】本発明の第2の実施形態における輝度信号作成方法の手順を示すフローチャートである。
【図6】従来のデジタルカメラの信号処理ユニットの構成を示すブロック図である。
【図7】フィルタ配列を示す図である。
【図8】ジャギの発生を説明する図である。
【図9】適応補間を説明するための図である。
【図10】適応補間の別の例を説明するための図である。
【図11】従来の適応補間で誤判別を起こす例を示す図である。
【図12】従来の適応補間で誤判別を起こす別の例を示す図である。
【図13】従来の適応補間で誤判別を起こす別の例を示す図である。
【符号の説明】
501 撮像素子
502 ホワイトバランス回路
503 色補間回路
504 色変換マトリクス回路
505 クロマ抑圧回路
506 クロマローパスフィルタ回路
507,520 ガンマ変換回路
508 CGainKnee回路
509 LCMTX回路
510 輝度ノッチ回路
511 水平バンドパスフィルタ回路
512,515 PPGain回路
513,516 ベースクリップ回路
514 垂直バンドパスフィルタ回路
517,519 加算器
518 APCMainGain回路
521 輝度修正回路
550 輝度適応補間回路
560 相関度検出器
570 G補間回路
580 R・B補間回路
590 輝度生成器
Claims (7)
- グリーン、レッド、及びブルーのカラーフィルタがベイヤー配列された撮像素子から得られる画像信号を、各画素が前記グリーン、レッド、及びブルーの色信号をそれぞれ有するように補間する信号処理方法であって、
輝度信号を求める1つのブルーの画素にグリーンの信号を補間する場合に、前記ブルーの画素の第1の方向に隣接する第1画素数の画素から得られる第1の相関と、第2の方向に隣接する第2画素数の画素から得られる第2の相関とを求める第1の相関演算工程と、
前記ブルーの画素にレッドの信号を補間するために、前記ブルーの画素から予め決められた範囲内にあるレッドの画素にグリーンの信号を補間する場合に、前記レッドの画素の前記第1の方向に隣接する前記第1画素数よりも少ない第3画素数の画素から得られる第1の相関と、前記第2の方向に隣接する前記第2画素数よりも少ない第4画素数の画素から得られる第2の相関を求める第2の相関演算工程と、
前記ブルーの画素及び前記レッドの画素それぞれにグリーンの信号を補間するグリーン補間工程と、
前記レッドの画素の信号と、前記グリーン補間工程で補間されたグリーンの信号とを用いて、前記ブルーの画素に前記レッドの信号を補間する他色補間工程とを有し、
前記グリーン補間工程は、
前記第1及び第2の相関の差分が予め設定された範囲内になく、且つ、前記第1の相関が前記第2の相関よりも強い場合に、前記第1の方向に位置する画素のみを用いて補間する第1の補間工程と、
前記第1及び第2の相関の差分が前記範囲内になく、且つ、前記第2の相関が前記第1の相関よりも強い場合に、前記第2の方向に位置する画素のみを用いて補間する第2の補間工程と、
前記第1及び第2の相関の差分が前記範囲内にある場合に、前記第1及び第2の方向に位置する画素を用いて補間する第3の補間工程と
を有することを特徴とする信号処理方法。 - 前記ベイヤー配列のカラーフィルタのグリーンフィルタ以外のフィルタに対応し、前記ブルーの画素及び前記レッドの画素をPijとし、iを画素アレイの行、jを画素アレイの列とした場合に、前記第1の相関値としての水平相関値をHDiff、前記第2の相関値としての垂直相関値をVDiffとすると、前記第1の相関値演算工程では、
HDiff=|P(i, j-1)-P(i, j+1)|+|P(i, j-2)+P(i, j+2)-2×P(i, j)|、
VDiff=|P(i-1, j)-P(i+1, j)|+|P(i, j)+P(i+2, j)-2×P(i, j)|
により演算を行い、前記第2の相関値演算工程では、
HDiff=|P(i, j-1)-P(i, j+1)|、
VDiff=|P(i-1, j)-P(i+1, j)|
により演算を行うことを特徴とする請求項1に記載の信号処理方法。 - 前記第3の補間工程では、前記第1の相関が前記第2の相関よりも強ければ、前記第1の方向に位置する画素の重み付けを大きくし、前記第2の相関が前記第1の相関よりも強ければ、前記第2の方向に位置する画素の重み付けを大きくして、前記補間を行うことを特徴とする請求項1または2に記載の信号処理方法。
- 前記第1の方向は垂直方向であり、前記第2の方向は水平方向であることを特徴とする請求項1乃至3のいずれか1項に記載の信号処理方法。
- グリーン、レッド、及びブルーのカラーフィルタがベイヤー配列された撮像素子から得られる画像信号を、各画素が前記グリーン、レッド、及びブルーの色信号をそれぞれ有するように補間する信号処理装置であって、
輝度信号を求める1つのブルーの画素にグリーンの信号を補間する場合に、前記ブルーの画素の第1の方向に隣接する第1画素数の画素から得られる第1の相関と、第2の方向に隣接する第2画素数の画素から得られる第2の相関とを求める第1の相関演算手段と、
前記ブルーの画素にレッドの信号を補間するために、前記ブルーの画素から予め決められた範囲内にあるレッドの画素にグリーンの信号を補間する場合に、前記レッドの画素の前記第1の方向に隣接する前記第1画素数よりも少ない第3画素数の画素から得られる第1の相関と、前記第2の方向に隣接する前記第2画素数よりも少ない第4画素数の画素から得られる第2の相関を求める第2の相関演算手段と、
前記ブルーの画素及び前記レッドの画素それぞれにグリーンの信号を補間するグリーン補間手段と、
前記レッドの画素の信号と、前記グリーン補間手段により補間されたグリーンの信号とを用いて、前記ブルーの画素に前記レッドの信号を補間する他色補間手段とを有し、
前記グリーン補間手段は、前記第1及び第2の相関の差分が予め設定された範囲内になく、且つ、前記第1の相関が前記第2の相関よりも強い場合に、前記第1の方向に位置する画素のみを用いて補間する第1の補間方法により、前記第1及び第2の相関の差分が前記範囲内になく、且つ、前記第2の相関が前記第1の相関よりも強い場合に、前記第2の方向に位置する画素のみを用いて補間する第2の補間方法により、前記第1及び第2の相関の差分が前記範囲内にある場合に、前記第1及び第2の方向に位置する画素を用いて、前記補間の対象となる画素を補間する第3の補間方法により、補間を行うことを特徴とする信号処理装置。 - コンピュータに、請求項1乃至4のいずれか1項に記載の信号処理方法の各工程を実行させるためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
- コンピュータ装置が実行可能なプログラムを格納した記憶媒体であって、前記プログラムを実行したコンピュータ装置を、請求項5に記載の信号処理装置として機能させるためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000140810A JP4702912B2 (ja) | 2000-05-12 | 2000-05-12 | 信号処理方法及び信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000140810A JP4702912B2 (ja) | 2000-05-12 | 2000-05-12 | 信号処理方法及び信号処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001320720A JP2001320720A (ja) | 2001-11-16 |
JP2001320720A5 JP2001320720A5 (ja) | 2007-06-28 |
JP4702912B2 true JP4702912B2 (ja) | 2011-06-15 |
Family
ID=18648035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000140810A Expired - Fee Related JP4702912B2 (ja) | 2000-05-12 | 2000-05-12 | 信号処理方法及び信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4702912B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3706789B2 (ja) | 2000-05-12 | 2005-10-19 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
JP3862506B2 (ja) | 2001-02-06 | 2006-12-27 | キヤノン株式会社 | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 |
WO2005062626A1 (ja) | 2003-12-22 | 2005-07-07 | Mitsubishi Denki Kabushiki Kaisha | 画素信号処理装置及び画素信号処理方法 |
KR100617688B1 (ko) | 2004-05-19 | 2006-08-28 | 삼성전자주식회사 | 휴대 단말기의 힌지 장치 |
KR100967742B1 (ko) | 2004-09-07 | 2010-07-06 | 크로스텍 캐피탈, 엘엘씨 | 이미지센서의 색 보간 방법 |
WO2006059365A1 (ja) * | 2004-11-30 | 2006-06-08 | Mitsubishi Denki Kabushiki Kaisha | 画像処理装置、非撮像色信号算出装置及び画像処理方法 |
JP4708180B2 (ja) * | 2005-12-20 | 2011-06-22 | 三菱電機株式会社 | 画像処理装置 |
KR100866187B1 (ko) | 2007-02-22 | 2008-10-30 | 삼성전자주식회사 | 영역 적응적 방향성 색 보간 방법 |
WO2013031081A1 (ja) * | 2011-08-30 | 2013-03-07 | シャープ株式会社 | 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体 |
JP6987621B2 (ja) * | 2017-11-24 | 2022-01-05 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11103466A (ja) * | 1997-07-31 | 1999-04-13 | Fuji Film Microdevices Co Ltd | 画像信号処理装置及びプログラムを記録した媒体 |
JPH11275373A (ja) * | 1998-03-19 | 1999-10-08 | Nikon Corp | 補間処理方法 |
JP2000244934A (ja) * | 1998-12-21 | 2000-09-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
-
2000
- 2000-05-12 JP JP2000140810A patent/JP4702912B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11103466A (ja) * | 1997-07-31 | 1999-04-13 | Fuji Film Microdevices Co Ltd | 画像信号処理装置及びプログラムを記録した媒体 |
JPH11275373A (ja) * | 1998-03-19 | 1999-10-08 | Nikon Corp | 補間処理方法 |
JP2000244934A (ja) * | 1998-12-21 | 2000-09-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2001320720A (ja) | 2001-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9225948B2 (en) | Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium | |
JP3706789B2 (ja) | 信号処理装置及び信号処理方法 | |
US8184181B2 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
US8154613B2 (en) | Signal processing apparatus and method for reducing jaggedness on color image edge and image sensing apparatus having same | |
RU2503139C1 (ru) | Устройство считывания изображений | |
JP5016255B2 (ja) | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ | |
JP3946866B2 (ja) | 画像信号処理装置及びプログラムを記録した媒体 | |
US20020140831A1 (en) | Image signal processing device for minimizing false signals at color boundaries | |
JP5041886B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
US6930711B2 (en) | Signal processing apparatus and method | |
JP4702912B2 (ja) | 信号処理方法及び信号処理装置 | |
JP4321064B2 (ja) | 画像処理装置および画像処理プログラム | |
US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
JP3862506B2 (ja) | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 | |
JP3633561B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2000188762A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JPH11331858A (ja) | 画像信号処理装置およびプログラムを記録した媒体 | |
JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
JP4748278B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JP3115123B2 (ja) | 画像信号処理装置 | |
JP3962518B2 (ja) | 画像信号処理装置 | |
JP4239484B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
JP4666786B2 (ja) | 画像補間装置 | |
JP2000278702A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070508 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070508 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070508 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100525 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110307 |
|
LAPS | Cancellation because of no payment of annual fees |