JP6012375B2 - 画素補間処理装置、撮像装置、プログラムおよび集積回路 - Google Patents
画素補間処理装置、撮像装置、プログラムおよび集積回路 Download PDFInfo
- Publication number
- JP6012375B2 JP6012375B2 JP2012216596A JP2012216596A JP6012375B2 JP 6012375 B2 JP6012375 B2 JP 6012375B2 JP 2012216596 A JP2012216596 A JP 2012216596A JP 2012216596 A JP2012216596 A JP 2012216596A JP 6012375 B2 JP6012375 B2 JP 6012375B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- color component
- value
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 253
- 238000003384 imaging method Methods 0.000 title claims description 60
- 238000000034 method Methods 0.000 claims description 485
- 238000011156 evaluation Methods 0.000 claims description 167
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 136
- 201000005569 Gout Diseases 0.000 description 101
- 239000011159 matrix material Substances 0.000 description 40
- 238000010586 diagram Methods 0.000 description 38
- 230000003287 optical effect Effects 0.000 description 13
- 239000003086 colorant Substances 0.000 description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 102220498131 Transmembrane 4 L6 family member 20_G22L_mutation Human genes 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 102200083966 rs80358212 Human genes 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 102220330004 rs397516360 Human genes 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Description
(1)注目画素がW色成分画素である場合、または、注目画素のW色成分信号が注目画素の周辺のW色成分画素を用いて補間処理により取得された場合、補間部により取得された当該注目画素のW色成分信号を輝度信号として採用し、当該輝度信号と、補間部により取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号とを用いて色差信号を取得し、
(2)注目画素がW色成分画素ではなく、かつ、注目画素のW色成分信号が注目画素の周辺のW色成分画素を用いて補間処理により取得されていない場合、補間部により取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号および第3色成分信号から輝度信号を生成し、当該輝度信号と、補間部により取得された当該注目画素の第1色成分信号、第2色成分信号とを用いて色差信号を取得する。
(1)注目画素がW色成分画素である場合、または、注目画素のW色成分信号が注目画素の周辺のW色成分画素を用いて補間処理により取得された場合、補間ステップにより取得された当該注目画素のW色成分信号を輝度信号として採用し、当該輝度信号と、補間ステップにより取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号とを用いて色差信号を取得し、
(2)注目画素がW色成分画素ではなく、かつ、注目画素のW色成分信号が注目画素の周辺のW色成分画素を用いて補間処理により取得されていない場合、補間ステップにより取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号および第3色成分信号から輝度信号を生成し、当該輝度信号と、補間ステップにより取得された当該注目画素の第1色成分信号、第2色成分信号とを用いて色差信号を取得する。
(1)注目画素がW色成分画素である場合、または、注目画素のW色成分信号が注目画素の周辺のW色成分画素を用いて補間処理により取得された場合、補間部により取得された当該注目画素のW色成分信号を輝度信号として採用し、当該輝度信号と、補間部により取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号とを用いて色差信号を取得し、
(2)注目画素がW色成分画素ではなく、かつ、注目画素のW色成分信号が注目画素の周辺のW色成分画素を用いて補間処理により取得されていない場合、補間部により取得された当該注目画素の第1色成分信号、第2色成分信号および第3色成分信号から輝度信号を生成し、当該輝度信号と、補間部により取得された当該注目画素の第1色成分信号、第2色成分信号とを用いて色差信号を取得する。
第1実施形態について、図面を参照しながら、以下、説明する。
図1Aは、第1実施形態に係る撮像装置1000の概略構成図である。
(A1)カラー画像領域用垂直方向相関値Cv_color
(A2)カラー画像領域用水平方向相関値Ch_color
(A3)カラー画像領域用第1斜め方向相関値Cd1_color
(A4)カラー画像領域用第2斜め方向相関値Cd2_color
(B1)グレー画像領域用垂直方向相関値Cv_gray
(B2)グレー画像領域用水平方向相関値Ch_gray
(B3)グレー画像領域用第1斜め方向相関値Cd1_gray
(B4)グレー画像領域用第2斜め方向相関値Cd2_gray
相関値算出部32は、画像D_raw上の画素ごとに取得した上記8つの相関値を画素補間法決定部33に出力する。
以上のように構成された撮像装置1000の動作について、以下、説明する。
ここで、WRGB配列の画素の表記方法について説明する。まず、5×5のマトリクス領域の画素を図3(a)のように表す。図3(a)における記号Pは、画素がWRGBのいずれの色成分用画素であるかを考慮しない表記である。これに対して、図3(b)では、各画素の色成分を区別して表記している。記号Rは赤色成分用画素、記号Gは緑色成分用画素、記号Bは青色成分用画素、記号Wは白色成分用画素であることを示している。
彩度評価値算出部31は、入力された画像D_rawにおいて、注目画素を中心とする5画素×5画素の画像領域(以下、「マトリクス領域」という。)を設定する。彩度評価値算出部31は、設定したマトリクス領域において、色成分のばらつき状況を分析することで、当該マトリクス領域の彩度評価値(注目画素の彩度評価値)を算出する。
(1)平均色成分差分評価値diff_ave_color
(2)全体評価値gl_color
(3)垂直方向評価値v_color
(4)水平方向評価値h_color
(5)第1斜め方向評価値d1_color
(6)第2斜め方向評価値d2_color
上記(1)〜(6)の評価値の算出処理について、以下、説明する。
まず、平均色成分差分評価値diff_ave_colorの算出処理について、図4、図5を用いて、説明する。
図4(a)に示すように、中心画素がG画素である場合、彩度評価値算出部31は、中心画素を中心とする3画素×3画素の領域において、W画素の画素値の平均値Wave、G画素の画素値の平均値Gave、R画素の画素値の平均値Rave、および、B画素の画素値の平均値Baveを以下の数式に相当する処理を行うことで算出する。
Gave=G22
Rave=(R21+R23)/2
Bave=(B12+B32)/2
そして、彩度評価値算出部31は、以下の数式に相当する処理を行うことで、平均色成分差分評価値diff_ave_colorを算出する。
=abs(Gave―Rave)+abs(Gave−Bave)
なお、abs(x)は、xの絶対値を取得する関数である。
図4(b)に示すように、中心画素がR画素である場合、彩度評価値算出部31は、中心画素を中心とする3画素×3画素の領域において、W画素の画素値の平均値Wave、G画素の画素値の平均値Gave、R画素の画素値の平均値Rave、および、B画素の画素値の平均値Baveを以下の数式に相当する処理を行うことで算出する。
Gave=(G21+G23)/2
Rave=R22
Bave=(B11+B13+B31+B33)/4
そして、彩度評価値算出部31は、以下の数式に相当する処理を行うことで、平均色成分差分評価値diff_ave_colorを算出する。
=abs(Gave―Rave)+abs(Gave−Bave)
なお、abs(x)は、xの絶対値を取得する関数である。
図5(a)に示すように、中心画素がB画素である場合、彩度評価値算出部31は、中心画素を中心とする3画素×3画素の領域において、W画素の画素値の平均値Wave、G画素の画素値の平均値Gave、R画素の画素値の平均値Rave、および、B画素の画素値の平均値Baveを以下の数式に相当する処理を行うことで算出する。
Gave=(G12+G32)/2
Rave=(R11+R13+R31+R33)/4
Bave=B22
そして、彩度評価値算出部31は、以下の数式に相当する処理を行うことで、平均色成分差分評価値diff_ave_colorを算出する。
=abs(Gave―Rave)+abs(Gave−Bave)
なお、abs(x)は、xの絶対値を取得する関数である。
図5(b)に示すように、中心画素がW画素である場合、彩度評価値算出部31は、中心画素を中心とする3画素×3画素の領域において、W画素の画素値の平均値Wave、G画素の画素値の平均値Gave、R画素の画素値の平均値Rave、および、B画素の画素値の平均値Baveを以下の数式に相当する処理を行うことで算出する。
Gave=(G11+G13+G31+G33)/4
Rave=(R12+R32)/2
Bave=(B21+B23)/2
そして、彩度評価値算出部31は、以下の数式に相当する処理を行うことで、平均色成分差分評価値diff_ave_colorを算出する。
=abs(Gave―Rave)+abs(Gave−Bave)
なお、abs(x)は、xの絶対値を取得する関数である。
次に、全体評価値gl_colorの算出処理について、説明する。
+abs(P13−P22)+abs(P21−P22)
+abs(P23−P22)+abs(P31−P22)
+abs(P32−P22)+abs(P33−P22))/8
≪(3)垂直方向評価値v_color≫
次に、垂直方向評価値v_colorの算出処理について、図6を用いて、説明する。
+(abs(P12−P22)+abs(P22−P32))×2
+abs(P13−P23)+abs(P23−P33))/8
なお、上式において、係数「2」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。P11、P31、P13、P33の4つの画素が第1色の色成分の画素となり、P21、P23の2つの画素が第2色の色成分の画素となり、P12、P32の2つの画素が第3色の色成分の画素となり、P22のみが第4色の色成分画素となる。したがって、(第1色成分画素−第2色成分画素)の演算数が「4」であり、(第3色成分画素−第4色成分画素)の演算数が「2」であるため、(abs(P12−P22)+abs(P22−P32))に「2」が乗算されている。なお、この乗算する係数は「2」に限定されることはなく、他の値としてもよい。
+(abs(P02−P12)+abs(P12−P22))×2
+abs(P03−P13)+abs(P13−P23))/8
なお、上式において、係数2が乗算されている項があるのは、垂直方向の第1評価値vM_colorの取得する処理において説明したのと同様の理由による。
+(abs(P22−P32)+abs(P32−P42))×2
+abs(P23−P33)+abs(P33−P43))/8
なお、上式において、係数「2」が乗算されている項があるのは、垂直方向の第1評価値vM_colorの取得する処理において説明したのと同様の理由による。
なお、関数min()は、要素の最小値を取得する関数である。
次に、水平方向評価値h_colorの算出処理について、図7を用いて、説明する。
+(abs(P21−P22)+abs(P22−P23))×2
+abs(P31−P32)+abs(P32−P33))/8
なお、上式において、係数「2」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。P11、P31、P13、P33の4つの画素が第1色の色成分の画素となり、P21、P23の2つの画素が第2色の色成分の画素となり、P12、P32の2つの画素が第3色の色成分の画素となり、P22のみが第4色の色成分画素となる。したがって、(第1色成分画素−第3色成分画素)の演算数が「4」であり、(第2色成分画素−第4色成分画素)の演算数が「2」であるため、(abs(P21−P22)+abs(P22−P23))に「2」が乗算されている。なお、この乗算する係数は「2」に限定されることはなく、他の値としてもよい。
+(abs(P20−P21)+abs(P21−P22))×2
+abs(P30−P31)+abs(P31−P32))/8
なお、上式において、係数2が乗算されている項があるのは、水平方向の第1評価値hM_colorの取得する処理において説明したのと同様の理由による。
+(abs(P22−P23)+abs(P23−P24))×2
+abs(P32−P33)+abs(P33−P34))/8
なお、上式において、係数「2」が乗算されている項があるのは、水平方向の第1評価値hM_colorの取得する処理において説明したのと同様の理由による。
なお、関数min()は、要素の最小値を取得する関数である。
次に、第1斜め方向評価値d1_colorの算出処理について、図8を用いて、説明する。
+abs(P11−P22)+abs(P22−P33)
+abs(P21−P32))/4
≪(6)第2斜め方向評価値d2_color≫
次に、第2斜め方向評価値d2_colorの算出処理について、図9を用いて、説明する。
+abs(P13−P22)+abs(P22−P31)
+abs(P23−P32))/4
以上の処理を行った後、彩度評価値算出部31は、以下の数式に相当する処理を行うことで、彩度評価値Lを取得する。
なお、関数min()は、要素の最小値を取得する関数である。
なお、関数f(x)は、
x≦T1のとき、f(x)=0
T1≦x≦T2のとき、f(x)=(x−T1)/(T2−T1)
x≧T2のとき、f(x)=1
である。なお、関数f(x)は、上記に限定されず、彩度評価値Lがとる範囲を0〜1の範囲の値に変換する関数であれば他の関数(大局的に彩度評価係数が彩度評価値Lについて単調増加する関数等)であってもよい。
相関値算出部32では、信号処理部2から出力された画像信号D_raw(画像D_raw)から、画素ごとに、カラー画像領域用相関値(彩度が高い画像領域用の相関値)およびグレー画像領域用相関値(彩度が低い画像領域用の相関値)が算出される。これについて、以下、詳細に説明する。
まず、カラー画像領域用相関値算出処理について、説明する。
(A1)カラー画像領域用垂直方向相関値Cv_color
(A2)カラー画像領域用水平方向相関値Ch_color
(A3)カラー画像領域用第1斜め方向相関値Cd1_color
(A4)カラー画像領域用第2斜め方向相関値Cd2_color
上記(A1)〜(A4)のカラー画像領域用の相関値の算出処理について、以下、説明する。
まず、カラー画像領域用垂直方向相関値Cv_colorの算出処理について、図11を用いて、説明する。
+abs(P11−P31)+abs(P13−P33)
+abs(P12−P32)×2
+(abs(P01−P21)+abs(P21−P41)+abs(P03―P23)+abs(P23―P43))/2
Cv_color=sum/8
なお、上記数式では、abs(P12−P32)に係数「2」が、(abs(P01−P21)+abs(P21−P41)+abs(P03―P23)+abs(P23―P43))に係数「1/2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、カラー画像領域用水平方向相関値Ch_colorの算出処理について、図12を用いて、説明する。
+abs(P11−P13)+abs(P31−P33)
+(abs(P10−P12)+abs(P12−P14)+abs(P30―P32)+abs(P32―P34))/2
+abs(P21−P23)×2
Ch_color=sum/8
なお、上記数式では、abs(P21−P23)に係数「2」が、(abs(P10−P12)+abs(P12−P14)+abs(P30―P32)+abs(P32―P34))に係数「1/2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、カラー画像領域用第1斜め方向相関値Cd1_colorの算出処理について、図13を用いて、説明する。
+abs(P11−P33)×2
+abs(P12−P34)+abs(P10−P32)
+abs(P01―P23)+abs(P21―P43))
Cd1_color=sum/8
なお、上記数式では、abs(P11−P33)に係数「2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、カラー画像領域用第2斜め方向相関値Cd2_colorの算出処理について、図14を用いて、説明する。
+abs(P13−P31)×2
+abs(P12−P30)+abs(P14−P32)
+abs(P03―P21)+abs(P23―P41)
Cd2_color=sum/8
なお、上記数式では、abs(P13−P31)に係数「2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、グレー画像領域用相関値算出処理について、説明する。
(B1)グレー画像領域用垂直方向相関値Cv_gray
(B2)グレー画像領域用水平方向相関値Ch_gray
(B3)グレー画像領域用第1斜め方向相関値Cd1_gray
(B4)グレー画像領域用第2斜め方向相関値Cd2_gray
上記(B1)〜(B4)のグレー画像領域用の相関値の算出処理について、以下、説明する。
まず、グレー画像領域用垂直方向相関値Cv_grayの算出処理について、図15を用いて、説明する。
+abs(P22−P32)+abs(P32−P42)
+abs(P01−P11)+abs(P11−P21)
+abs(P21−P31)+abs(P31−P41)
+abs(P03−P13)+abs(P13−P23)
+abs(P23−P33)+abs(P33−P43)
Cv_gray=sum/6
≪(B2)グレー画像領域用水平方向相関値Ch_gray≫
次に、グレー画像領域用水平方向相関値Ch_grayの算出処理について、図16を用いて、説明する。
+abs(P22−P23)+abs(P23−P24)
+abs(P10−P11)+abs(P11−P12)
+abs(P12−P13)+abs(P13−P14)
+abs(P30−P31)+abs(P31−P32)
+abs(P32−P33)+abs(P33−P34)
Ch_gray=sum/6
≪(B3)グレー画像領域用第1斜め方向相関値Cd1_gray≫
次に、グレー画像領域用第1斜め方向相関値Cd1_grayの算出処理について、図17を用いて、説明する。
+abs(P10−P21)+abs(P21−P32)+abs(P32−P43)
+abs(P01−P12)+abs(P12−P23)+abs(P23−P34)
Cd1_gray=sum/5
≪(B4)グレー画像領域用第2斜め方向相関値Cd2_gray≫
次に、グレー画像領域用第2斜め方向相関値Cd2_grayの算出処理について、図18を用いて、説明する。
+abs(P03−P12)+abs(P12−P21)+abs(P21−P30)
+abs(P14−P23)+abs(P23−P32)+abs(P32−P41)
Cd2_gray=sum/5
なお、図15(グレー画像領域用垂直方向相関値算出処理)および図16(グレー画像領域用水平方向相関値算出処理)における場合と、図17(グレー画像領域用第1斜め方向相関値算出処理)および図18(グレー画像領域用第2斜め方向相関値算出処理)における場合とでは、差分演算の対象となる画素間の距離が異なる。しかし、上記では、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、例えば、上記処理(グレー画像領域用の相関値算出処理)において、画素差分値について、画素間の距離に応じた重み付けを行うようにしてもよい(例えば、画素差分値に2の2乗根を乗算するようにしてもよい)。
≪相関判定方法と画素補間方法の選択≫
画素補間法決定部33では、彩度評価値算出部31が算出した彩度評価係数KLと閾値TH1,TH2(TH1≦TH2)との関係に基づいて、画素ごとに、相関判定方法と画素補間方法とを選択する。
(a)KL>TH2の場合
相関判定方法:カラー画像領域用の相関値を用いて相関方向を判定する。
(b)TH1<KL≦TH2の場合
相関判定方法:カラー画像領域用の相関値とグレー画像領域用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
(c)KL≦TH1の場合
相関判定方法:グレー画像領域用の相関値を用いて相関方向を判定する。
≪判定用相関値の選択≫
画素補間法決定部33では、相関値算出部32により算出された、(1)カラー画像領域用の4方向の相関値Cv_color,Ch_color,Cd1_color,Cd2_colorと、(2)グレー画像領域用の4方向の相関値Cv_gray,Ch_gray,Cd1_gray,Cd2_grayとから、次のようにして、判定用相関値Cv,Ch,Cd1,Cd2を選択する。なお、判定用相関値は、注目画素(処理対象画素)の相関方向(画素補間処理を実行するときに参照される相関方向)を決定するために用いられる。
(a)KL>TH2の場合の判定用相関値
画素補間法決定部33は、カラー画像領域用の相関値を、判定用相関値Cv,Ch,Cd1,Cd2として用いる。つまり、画素補間法決定部33は、
Cv=Cv_color
Ch=Ch_color
Cd1=Cd1_color
Cd2=Cd2_color
とする。
(c)KL≦TH1の場合の判定用相関値
画素補間法決定部33は、グレー画像領域用の相関値を、判定用相関値Cv,Ch,Cd1,Cd2として用いる。つまり、画素補間法決定部33は、
Cv=Cv_gray
Ch=Ch_gray
Cd1=Cd1_gray
Cd2=Cd2_gray
とする。
(b)TH1<KL≦TH2の場合の判定用相関値
この場合、画素補間法決定部33は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値Cv,Ch,Cd1,Cd2を決定する。この判断方法について、図20、図21のフローチャートを参照しながら、以下説明する。
(S201):
ステップS201において、画素補間法決定部33は、下記数式に示すように、カラー画像領域用の相関値Cv_colorとCh_colorとの差分絶対値diff_Cvh_colorを算出する。
また、画素補間法決定部33は、下記数式に示すように、グレー画像領域用の相関値Cv_grayとCh_grayとの差分絶対値diff_Cvh_grayを算出する。
(S202):
ステップS202において、画素補間法決定部33は、下記数式により、差分絶対値diff_Cvh_colorと差分絶対値diff_Cvh_grayとの差分絶対値diff_color_grayを算出する。
(S203):
ステップS203において、画素補間法決定部33は、ステップS202で算出した差分絶対値diff_color_grayと、閾値Thvとの大小関係を判定する。
(S204):
ステップS204において、画素補間法決定部33は、以下の数式に相当する処理を行うことで、判定用相関値Cv,Chを取得する。
Ch=min(Ch_color、Ch_gray)
なお、min()は、要素の最小値を取得する関数である。
(S205〜S207):
ステップS205において、画素補間法決定部33は、差分絶対値diff_Cvh_colorと、差分絶対値diff_Cvh_grayとの大小関係を判定する。
Cv=Cv_color
Ch=Ch_color
とする(ステップS206)。
Cv=Cv_gray
Ch=Ch_gray
とする(ステップS207)。
(S211):
ステップS211において、画素補間法決定部33は、下記数式に示すように、カラー画像領域用の相関値Cd1_colorとCd2_colorとの差分絶対値diff_Cd12_colorを算出する。
また、画素補間法決定部33は、下記数式に示すように、グレー画像領域用の相関値Cd1_grayとCd2_grayとの差分絶対値diff_Cd12_grayを算出する。
(S212):
ステップS212において、画素補間法決定部33は、下記数式により、差分絶対値diff_Cd12_colorと差分絶対値diff_Cd12_grayとの差分絶対値diff_color_grayを算出する。
(S213):
ステップS213において、画素補間法決定部33は、ステップS212で算出した差分絶対値diff_color_grayと、閾値Thdとの大小関係を判定する。
(S214):
ステップS214において、画素補間法決定部33は、以下の数式に相当する処理を行うことで、判定用相関値Cd1,Cd2を取得する。
Cd2=min(Cd2_color、Cd2_gray)
なお、min()は、要素の最小値を取得する関数である。
(S215〜S217):
ステップS215において、画素補間法決定部33は、差分絶対値diff_Cd12_colorと、差分絶対値diff_Cd12_grayとの大小関係を判定する。
Cd1=Cd1_color
Cd2=Cd2_color
とする(ステップS216)。
Cd1=Cd1_gray
Cd2=Cd2_gray
とする(ステップS217)。
次に、画素補間法決定部33は、上記処理により取得した判定用相関値Cv,Ch,Cd1,Cd2に基づいて、画素ごとに、図22の関係図または図23の関係図を用いて、相関方向を決定する。
(1)画素補間法決定部33は、画素ごとに、4つの判定用相関値Cv,Ch,Cd1,Cd2を比較し、判定用相関値Cvまたは判定用相関値Chが最小値をとる場合、つまり、
Cv=min(Cv,Ch,Cd1,Cd2)、または、
Ch=min(Cv,Ch,Cd1,Cd2)、
である場合、図22の関係図を用いて、相関方向を決定する。
(2)画素補間法決定部33は、画素ごとに、4つの判定用相関値Cv,Ch,Cd1,Cd2を比較し、判定用相関値Cd1または判定用相関値Cd2が最小値をとる場合、つまり、
Cd1=min(Cv,Ch,Cd1,Cd2)、または、
Cd2=min(Cv,Ch,Cd1,Cd2)、
である場合、図23の関係図を用いて、相関方向を決定する。
補間部34では、画素補間法決定部33により画素ごとに決定された、(1)相関方向の判定結果、および、(2)画素補間方法に基づいて、信号処理部2から出力される画像D_rawに対して、画素ごとに、画素補間処理を実行する。
画素補間法決定部33により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合、補間部34は、注目画素がどの色成分用の画素であるかを区別せずに、画素補間法決定部33により決定された相関方向に存在する画素を用いて画素補間処理を行う。補間部34において「グレー画像領域用画素補間法」により画素補間処理が実行される場合の具体的な処理について、以下、説明する。
画素補間法決定部33により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素についての相関方向が「水平方向」であると判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、補間部34は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がG画素である場合、注目画素のR色成分値、B色成分値およびW色成分値を、それぞれ、R(P22)、B(P22)およびW(P22)とすると、
R(P22)=B(P22)=W(P22)=Sout
となる。
画素補間法決定部33により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素についての相関方向が「垂直方向」であると判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、補間部34は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がG画素である場合、注目画素のR色成分値、B色成分値およびW色成分値を、それぞれ、R(P22)、B(P22)およびW(P22)とすると、
R(P22)=B(P22)=W(P22)=Sout
となる。
画素補間法決定部33により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素についての相関方向が「第1斜め方向」であると判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、補間部34は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がG画素である場合、注目画素のR色成分値、B色成分値およびW色成分値を、それぞれ、R(P22)、B(P22)およびW(P22)とすると、
R(P22)=B(P22)=W(P22)=Sout
となる。
画素補間法決定部33により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素についての相関方向が「第2斜め方向」であると判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、補間部34は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がG画素である場合、注目画素のR色成分値、B色成分値およびW色成分値を、それぞれ、R(P22)、B(P22)およびW(P22)とすると、
R(P22)=B(P22)=W(P22)=Sout
となる。
画素補間法決定部33により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素について「いずれの方向にも相関がない」と判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、補間部34は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がG画素である場合、注目画素のR色成分値、B色成分値およびW色成分値を、それぞれ、R(P22)、B(P22)およびW(P22)とすると、
R(P22)=B(P22)=W(P22)=Sout
となる。
画素補間法決定部33により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
+P21+P22+P23
+P31+P32+P33)/9
つまり、補間部34は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がG画素である場合、注目画素のR色成分値、B色成分値およびW色成分値を、それぞれ、R(P22)、B(P22)およびW(P22)とすると、
R(P22)=B(P22)=W(P22)=Sout
となる。
画素補間法決定部33により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合、補間部34は、画素補間法決定部33により決定された相関方向に存在する画素を用いて画素補間処理を行う。この具体的な処理について、以下、説明する。
画素補間法決定部33により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素についての相関方向が「水平方向」であると判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のW色成分の画素値をWoutとし、R色成分の画素値をRoutとし、G色成分の画素値をGoutとし、B色成分の画素値をBoutとする。
(H−G:注目画素がG画素である場合):
注目画素がG画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、G色成分の画素値Goutとする。
つまり、補間部34は、
Gout=P22
とする。
R色成分の画素値Routを取得するために、補間部34は、以下の処理を行う。R色成分の画素値Routの取得処理(算出処理)を、図24を用いて、説明する。
t1=(P20−2×P22+P24)×gain0
Rout=t0−t1
ここで、上記処理の意味について、説明する。
G22L=(G20+6×G22+G24)/8
である。したがって、G22の高周波成分G22Hは、
G22H=G22−G22L
=−(G20−2×G22+G24)/8
である。
R22L=(R21+2×R22+R23)/4
である。したがって、R22の高周波成分R22Hは、
R22H=R22―R22L
=R22/2―(R21+R23)/4
である。
G22H≒R22H
より、
R22/2―(R21+R23)/4≒−(G20−2×G22+G24)/8
となる。これをR22について解くと、
R22=(R21+R23)/2−(G20−2×G22+G24)/4
となる。
t0=(P21+P23)/2
t1=(P20−2×P22+P24)×gain0
Rout=t0−t1
により、R色成分の画素値Routを取得することができる。
B色成分の画素値Boutを取得するために、補間部34は、以下の処理を行う。B色成分の画素値Boutの取得処理(算出処理)を、図25を用いて、説明する。
また、補間部34は、図25に示す領域AR_sに含まれるP21〜P23を用いて、以下の数式に相当する処理により、P22のW−B色成分値s(R+G色成分値s)を取得する。
また、補間部34は、図25に示す領域AR_s1に含まれるP31〜P33を用いて、以下の数式に相当する処理により、P32のW−B色成分値s1を取得する。
なお、上記において、Rgain、Ggain、Bgainは、R、G、BからY(輝度)を算出するときのゲイン値である。つまり、
Y=Rgain×R+Gain×G+Bgain×B
Rgain=0.299
Ggain=0.587
Bgain=0.114
である。なお、Rgain、Ggain、Bgainは、上記値に完全に一致しなくてもよく(上記値と略同一であればよく)、ビット精度等により誤差等は、許容される。
t1=(s0−2×s+s1)×gain1
Bout=t0−t1
ここで、上記処理の意味について、説明する。なお、説明を簡単にするために、W21、W22、W23、G21、G23の画素値が既知であるときに、G22の画素値を求める場合について説明する。
W22L=(W21+2×W22+W23)/4
である。したがって、W22の高周波成分W22Hは、
W22H=W22−W22L
=−(W21−2×W22+W23)/4
である。
G22L=(G21+2×G22+G23)/4
である。したがって、G22の高周波成分G22Hは、
G22H=G22―G22L
=G22/2―(G21+G23)/4
である。
W22H≒G22H
より、
G22/2―(G21+G23)/4≒−(W21−2×W22+W23)/4
となる。これをG22について解くと、
G22=(G21+G23)/2−(W21−2×W22+W23)/2
となる。
t0=(B12+B32)/2
t1=(s0−2×s+s1)×gain2
Bout=t0−t1
により、B色成分の画素値Boutを取得する。
W色成分の画素値Woutを取得するために、補間部34は、以下の処理を行う。W色成分の画素値Woutの取得処理(算出処理)を、図26を用いて、説明する。
なお、(B10−2×B12+B14)は、ラプラシアン成分であり、gain3は、ラプラシアン成分調整用のゲインである。
なお、(B30−2×B32+B34)は、ラプラシアン成分であり、gain4は、ラプラシアン成分調整用のゲインである。
なお、(s0―2×s+s1)は、ラプラシアン成分であり、gain5は、ラプラシアン成分調整用のゲインである。
(H−R:注目画素がR画素である場合):
注目画素がR画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、R色成分の画素値Routとする。
つまり、補間部34は、
Rout=P22
とする。
G色成分の画素値Goutを取得するために、補間部34は、以下の処理を行う。G色成分の画素値Goutの取得処理(算出処理)を、図27を用いて、説明する。
なお、(R20−2×R22+R24)は、ラプラシアン成分であり、gain6は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のW色成分値Woutを取得する。
s=Rgain×P22+Ggain×(P21+P23)/2
s1=Wgain×P32−Bgain×(P31+P33)/2
そして、補間部34は、以下の数式に相当する処理により、P22のW色成分値Woutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain7は、ラプラシアン成分調整用のゲインである。
B色成分の画素値Boutを取得するために、補間部34は、以下の処理を行う。B色成分の画素値Boutの取得処理(算出処理)を、図29を用いて、説明する。
s=Rgain×P22−Ggain×(P21+P23)/2
s1=Wgain×P32−Bgain×(P31+P33)/2
また、補間部34は、P12のB色成分q0と、P32のB色成分値q1とを以下の数式に相当する処理により、算出する。
q1=(B31+B33)/2−(W30−2×W32+W34)×gain9
なお、(W10−2×W12+W14)は、ラプラシアン成分であり、gain8は、ラプラシアン成分調整用のゲインである。また、(W30−2×W32+W34)は、ラプラシアン成分であり、gain9は、ラプラシアン成分調整用のゲインである。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain10は、ラプラシアン成分調整用のゲインである。
(H−B:注目画素がB画素である場合):
注目画素がB画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、B色成分の画素値Boutとする。
つまり、補間部34は、
Bout=P22
とする。
W色成分の画素値Woutを取得するために、補間部34は、以下の処理を行う。W色成分の画素値Woutの取得処理(算出処理)を、図30を用いて、説明する。
なお、(B20−2×B22+B24)は、ラプラシアン成分であり、gain11は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のG色成分値Goutを取得する。
s=−Bgain×P22+Wgain×(P21+P23)/2
s1=Ggain×P32+Rgain×(P31+P33)/2
そして、補間部34は、以下の数式に相当する処理により、P22のG色成分値Goutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain12は、ラプラシアン成分調整用のゲインである。
R色成分の画素値Routを取得するために、補間部34は、以下の処理を行う。R色成分の画素値Routの取得処理(算出処理)を、図32を用いて、説明する。
s=−Bgain×P22+Wgain×(P21+P23)/2
s1=Ggain×P32+Rgain×(P31+P33)/2
また、補間部34は、P12のR色成分q0と、P32のR色成分値q1とを以下の数式に相当する処理により、算出する。
q1=(R31+R33)/2−(G30−2×G32+G34)×gain14
なお、(G10−2×G12+G14)は、ラプラシアン成分であり、gain13は、ラプラシアン成分調整用のゲインである。また、(G30−2×G32+G34)は、ラプラシアン成分であり、gain14は、ラプラシアン成分調整用のゲインである。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain15は、ラプラシアン成分調整用のゲインである。
(H−W:注目画素がW画素である場合):
注目画素がW画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、W色成分の画素値Woutとする。
つまり、補間部34は、
Wout=P22
とする。
B色成分の画素値Boutを取得するために、補間部34は、以下の処理を行う。B色成分の画素値Boutの取得処理(算出処理)を、図33を用いて、説明する。
なお、(W20−2×W22+W24)は、ラプラシアン成分であり、gain15は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のR色成分値Routを取得する。
s=Wgain×P22−Bgain×(P21+P23)/2
s1=Rgain×P32+Ggain×(P31+P33)/2
そして、補間部34は、以下の数式に相当する処理により、P22のR色成分値Routを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain16は、ラプラシアン成分調整用のゲインである。
G色成分の画素値Goutを取得するために、補間部34は、以下の処理を行う。G色成分の画素値Goutの取得処理(算出処理)を、図35を用いて、説明する。
s=Wgain×P22−Bgain×(P21+P23)/2
s1=Rgain×P32+Ggain×(P31+P33)/2
また、補間部34は、P12のG色成分q0と、P32のG色成分値q1とを以下の数式に相当する処理により、算出する。
q1=(G31+G33)/2−(R30−2×R32+R34)×gain18
なお、(R10−2×R12+R14)は、ラプラシアン成分であり、gain17は、ラプラシアン成分調整用のゲインである。また、(R30−2×R32+R34)は、ラプラシアン成分であり、gain18は、ラプラシアン成分調整用のゲインである。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain18は、ラプラシアン成分調整用のゲインである。
画素補間法決定部33により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素についての相関方向が「垂直方向」であると判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のW色成分の画素値をWoutとし、R色成分の画素値をRoutとし、G色成分の画素値をGoutとし、B色成分の画素値をBoutとする。
(V−G:注目画素がG画素である場合):
注目画素がG画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、G色成分の画素値Goutとする。
つまり、補間部34は、
Gout=P22
とする。
B色成分の画素値Boutを取得するために、補間部34は、以下の処理を行う。B色成分の画素値Boutの取得処理(算出処理)を、図36を用いて、説明する。
なお、(G02−2×G22+G42)は、ラプラシアン成分であり、gain20は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のR色成分値Routを取得する。
s=Ggain×P22+Bgain×(P12+P32)/2
s1=−Rgain×P23+Wgain×(P13+P33)/2
そして、補間部34は、以下の数式に相当する処理により、P22のR色成分値Routを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain21は、ラプラシアン成分調整用のゲインである。
W色成分の画素値Woutを取得するために、補間部34は、以下の処理を行う。W色成分の画素値Woutの取得処理(算出処理)を、図38を用いて、説明する。
s=Ggain×P22+Bgain×(P12+P32)/2
s1=−Rgain×P23+Wgain×(P13+P33)/2
また、補間部38は、P21のW色成分q0と、P23のW色成分値q1とを以下の数式に相当する処理により、算出する。
q1=(W13+W33)/2−(R03−2×R23+R43)×gain23
なお、(R01−2×R21+R41)は、ラプラシアン成分であり、gain22は、ラプラシアン成分調整用のゲインである。また、(R03−2×R23+R43)は、ラプラシアン成分であり、gain23は、ラプラシアン成分調整用のゲインである。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain23は、ラプラシアン成分調整用のゲインである。
(V−R:注目画素がR画素である場合):
注目画素がR画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、R色成分の画素値Routとする。
つまり、補間部34は、
Rout=P22
とする。
W色成分の画素値Woutを取得するために、補間部34は、以下の処理を行う。
なお、(R02−2×R22+R42)は、ラプラシアン成分であり、gain24は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のG色成分値Goutを取得する。
s=−Rgain×P22+Wgain×(P12+P32)/2
s1=Ggain×P23+Bgain×(P13+P33)/2
そして、補間部34は、以下の数式に相当する処理により、P22のG色成分値Goutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain25は、ラプラシアン成分調整用のゲインである。
W色成分の画素値Boutを取得するために、補間部34は、以下の処理を行う。
s=−Rgain×P22+Wgain×(P12+P32)/2
s1=Ggain×P23+Bgain×(P13+P33)/2
また、補間部38は、P21のW色成分q0と、P23のW色成分値q1とを以下の数式に相当する処理により、算出する。
q1=(B13+B33)/2−(G03−2×G23+G43)×gain27
なお、(G01−2×G21+G41)は、ラプラシアン成分であり、gain26は、ラプラシアン成分調整用のゲインである。また、(G03−2×G23+G43)は、ラプラシアン成分であり、gain27は、ラプラシアン成分調整用のゲインである。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain28は、ラプラシアン成分調整用のゲインである。
(V−B:注目画素がB画素である場合):
注目画素がB画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、B色成分の画素値Boutとする。
つまり、補間部34は、
Bout=P22
とする。
G色成分の画素値Goutを取得するために、補間部34は、以下の処理を行う。
なお、(B02−2×B22+B42)は、ラプラシアン成分であり、gain29は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のW色成分値Woutを取得する。
s=Bgain×P22+Ggain×(P12+P32)/2
s1=Wgain×P23−Rgain×(P13+P33)/2
そして、補間部34は、以下の数式に相当する処理により、P22のW色成分値Woutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain30は、ラプラシアン成分調整用のゲインである。
R色成分の画素値Routを取得するために、補間部34は、以下の処理を行う。
s=Bgain×P22+Ggain×(P12+P32)/2
s1=Wgain×P23−Rgain×(P13+P33)/2
また、補間部38は、P21のR色成分q0と、P23のR色成分値q1とを以下の数式に相当する処理により、算出する。
q1=(R13+R33)/2−(W03−2×W23+W43)×gain32
なお、(W01−2×W21+W41)は、ラプラシアン成分であり、gain31は、ラプラシアン成分調整用のゲインである。また、(W03−2×W23+W43)は、ラプラシアン成分であり、gain32は、ラプラシアン成分調整用のゲインである。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain33は、ラプラシアン成分調整用のゲインである。
(V−W:注目画素がW画素である場合):
注目画素がW画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、W色成分の画素値Woutとする。
つまり、補間部34は、
Wout=P22
とする。
R色成分の画素値Routを取得するために、補間部34は、以下の処理を行う。
なお、(W02−2×W22+W42)は、ラプラシアン成分であり、gain34は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のB色成分値Boutを取得する。
s=Wgain×P22−Rgain×(P12+P32)/2
s1=Bgain×P23+Ggain×(P13+P33)/2
そして、補間部34は、以下の数式に相当する処理により、P22のB色成分値Boutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain35は、ラプラシアン成分調整用のゲインである。
G色成分の画素値Goutを取得するために、補間部34は、以下の処理を行う。
s=Wgain×P22−Rgain×(P12+P32)/2
s1=Bgain×P23+Ggain×(P13+P33)/2
また、補間部38は、P21のG色成分q0と、P23のG色成分値q1とを以下の数式に相当する処理により、算出する。
q1=(G13+G33)/2−(B03−2×B23+B43)×gain37
なお、(B01−2×B21+B41)は、ラプラシアン成分であり、gain36は、ラプラシアン成分調整用のゲインである。また、(B03−2×B23+B43)は、ラプラシアン成分であり、gain37は、ラプラシアン成分調整用のゲインである。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain38は、ラプラシアン成分調整用のゲインである。
画素補間法決定部33により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素についての相関方向が「第1斜め方向」であると判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のW色成分の画素値をWoutとし、R色成分の画素値をRoutとし、G色成分の画素値をGoutとし、B色成分の画素値をBoutとする。
(D1−G:注目画素がG画素である場合):
注目画素がG画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、G色成分の画素値Goutとする。
つまり、補間部34は、
Gout=P22
とする。
W色成分の画素値Woutを取得するために、補間部34は、以下の処理を行う。W色成分の画素値Woutの取得処理(算出処理)を、図39を用いて、説明する。
なお、(G00−2×G22+G44)は、ラプラシアン成分であり、gain40は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のB色成分値Boutを取得する。
s=G22
s1=(G20+G42)/2
また、補間部34は、図40に示すように、P13とP22との中点のB色成分q0と、P22とP31との中点のB色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(B10+3×B32)/4
そして、補間部34は、以下の数式に相当する処理により、P22のB色成分値Boutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain41は、ラプラシアン成分調整用のゲインである。
補間部34は、図41に示すように、P13のG色成分値s0と、P22のG色成分値sと、P31のG色成分値s1とを、以下の数式に相当する処理により算出する。
s=G22
s1=(G20+G42)/2
また、補間部34は、図41に示すように、P13とP22との中点のR色成分q0と、P22とP31との中点のR色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(3×R21+R43)/4
そして、補間部34は、以下の数式に相当する処理により、P22のR色成分値Routを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain42は、ラプラシアン成分調整用のゲインである。
(D1−R:注目画素がR画素である場合):
注目画素がR画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、R色成分の画素値Routとする。
つまり、補間部34は、
Rout=P22
とする。
B色成分の画素値Boutを取得するために、補間部34は、以下の処理を行う。
なお、(R00−2×R22+R44)は、ラプラシアン成分であり、gain43は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のW色成分値Woutを取得する。
s=R22
s1=(R20+R42)/2
また、補間部34は、P13とP22との中点のW色成分q0と、P22とP31との中点のW色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(W10+3×W32)/4
そして、補間部34は、以下の数式に相当する処理により、P22のW色成分値Woutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain44は、ラプラシアン成分調整用のゲインである。
補間部34は、P13のR色成分値s0と、P22のR色成分値sと、P31のR色成分値s1とを、以下の数式に相当する処理により算出する。
s=R22
s1=(R20+R42)/2
また、補間部34は、P13とP22との中点のG色成分q0と、P22とP31との中点のG色成分q1とを、以下の数式に相当する処理により算出する。
q1=(3×G21+G43)/4
そして、補間部34は、以下の数式に相当する処理により、P22のG色成分値Goutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain45は、ラプラシアン成分調整用のゲインである。
(D1−B:注目画素がB画素である場合):
注目画素がB画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、B色成分の画素値Boutとする。
つまり、補間部34は、
Bout=P22
とする。
R色成分の画素値Routを取得するために、補間部34は、以下の処理を行う。
なお、(B00−2×B22+B44)は、ラプラシアン成分であり、gain46は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のG色成分値Goutを取得する。
s=B22
s1=(B20+B42)/2
また、補間部34は、P13とP22との中点のG色成分q0と、P22とP31との中点のG色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(G10+3×G32)/4
そして、補間部34は、以下の数式に相当する処理により、P22のG色成分値Goutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain47は、ラプラシアン成分調整用のゲインである。
補間部34は、P13のB色成分値s0と、P22のB色成分値sと、P31のB色成分値s1とを、以下の数式に相当する処理により算出する。
s=B22
s1=(B20+B42)/2
また、補間部34は、P13とP22との中点のW色成分q0と、P22とP31との中点のW色成分q1とを、以下の数式に相当する処理により算出する。
q1=(3×W21+W43)/4
そして、補間部34は、以下の数式に相当する処理により、P22のW色成分値Woutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain48は、ラプラシアン成分調整用のゲインである。
(D1−W:注目画素がW画素である場合):
注目画素がW画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、W色成分の画素値Woutとする。
つまり、補間部34は、
Wout=P22
とする。
G色成分の画素値Goutを取得するために、補間部34は、以下の処理を行う。
なお、(W00−2×W22+W44)は、ラプラシアン成分であり、gain49は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のR色成分値Routを取得する。
s=W22
s1=(W20+W42)/2
また、補間部34は、P13とP22との中点のR色成分q0と、P22とP31との中点のR色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(R10+3×R32)/4
そして、補間部34は、以下の数式に相当する処理により、P22のR色成分値Routを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain50は、ラプラシアン成分調整用のゲインである。
補間部34は、P13のW色成分値s0と、P22のW色成分値sと、P31のW色成分値s1とを、以下の数式に相当する処理により算出する。
s=W22
s1=(W20+W42)/2
また、補間部34は、P13とP22との中点のB色成分q0と、P22とP31との中点のB色成分q1とを、以下の数式に相当する処理により算出する。
q1=(3×B21+B43)/4
そして、補間部34は、以下の数式に相当する処理により、P22のB色成分値Boutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain51は、ラプラシアン成分調整用のゲインである。
画素補間法決定部33により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素についての相関方向が「第2斜め方向」であると判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のW色成分の画素値をWoutとし、R色成分の画素値をRoutとし、G色成分の画素値をGoutとし、B色成分の画素値をBoutとする。
(D2−G:注目画素がG画素である場合):
注目画素がG画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、G色成分の画素値Goutとする。
つまり、補間部34は、
Gout=P22
とする。
W色成分の画素値Woutを取得するために、補間部34は、以下の処理を行う。W色成分の画素値Woutの取得処理(算出処理)を、図42を用いて、説明する。
なお、(G04−2×G22+G40)は、ラプラシアン成分であり、gain60は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のB色成分値Boutを取得する。
s=G22
s1=(G24+G42)/2
また、補間部34は、図43に示すように、P11とP22との中点のB色成分q0と、P22とP33との中点のB色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(B14+3×B32)/4
そして、補間部34は、以下の数式に相当する処理により、P22のB色成分値Boutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain61は、ラプラシアン成分調整用のゲインである。
補間部34は、図44に示すように、P11のG色成分値s0と、P22のG色成分値sと、P33のG色成分値s1とを、以下の数式に相当する処理により算出する。
s=G22
s1=(G24+G42)/2
また、補間部34は、図44に示すように、P11とP22との中点のR色成分q0と、P22とP33との中点のR色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(3×R23+R41)/4
そして、補間部34は、以下の数式に相当する処理により、P22のR色成分値Routを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain62は、ラプラシアン成分調整用のゲインである。
(D2−R:注目画素がR画素である場合):
注目画素がR画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、R色成分の画素値Routとする。
つまり、補間部34は、
Rout=P22
とする。
B色成分の画素値Boutを取得するために、補間部34は、以下の処理を行う。
なお、(R04−2×R22+R40)は、ラプラシアン成分であり、gain63は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のW色成分値Woutを取得する。
s=R22
s1=(R24+R42)/2
また、補間部34は、P11とP22との中点のW色成分q0と、P22とP33との中点のW色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(W14+3×W32)/4
そして、補間部34は、以下の数式に相当する処理により、P22のW色成分値Woutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain64は、ラプラシアン成分調整用のゲインである。
補間部34は、P11のR色成分値s0と、P22のR色成分値sと、P33のR色成分値s1とを、以下の数式に相当する処理により算出する。
s=R22
s0=(R24+R42)/2
また、補間部34は、P11とP22との中点のG色成分q0と、P22とP33との中点のG色成分q1とを、以下の数式に相当する処理により算出する。
q1=(3×G23+G41)/4
そして、補間部34は、以下の数式に相当する処理により、P22のG色成分値Goutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain65は、ラプラシアン成分調整用のゲインである。
(D2−B:注目画素がB画素である場合):
注目画素がB画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、B色成分の画素値Boutとする。
つまり、補間部34は、
Bout=P22
とする。
R色成分の画素値Routを取得するために、補間部34は、以下の処理を行う。
なお、(B04−2×B22+B40)は、ラプラシアン成分であり、gain66は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のG色成分値Goutを取得する。
s=B22
s1=(B24+B42)/2
また、補間部34は、P11とP22との中点のG色成分q0と、P22とP33との中点のG色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(G14+3×G32)/4
そして、補間部34は、以下の数式に相当する処理により、P22のG色成分値Goutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain67は、ラプラシアン成分調整用のゲインである。
補間部34は、P11のB色成分値s0と、P22のB色成分値sと、P33のB色成分値s1とを、以下の数式に相当する処理により算出する。
s=B22
s1=(B24+B42)/2
また、補間部34は、P11とP22との中点のW色成分q0と、P22とP33との中点のW色成分q1とを、以下の数式に相当する処理により算出する。
q1=(3×W23+W41)/4
そして、補間部34は、以下の数式に相当する処理により、P22のW色成分値Woutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain68は、ラプラシアン成分調整用のゲインである。
(D2−W:注目画素がW画素である場合):
注目画素がW画素である場合、補間部34は、以下の処理により、Wout、Rout、Gout、Boutを取得する。
補間部34は、注目画素の画素値P22を、W色成分の画素値Woutとする。
つまり、補間部34は、
Wout=P22
とする。
G色成分の画素値Goutを取得するために、補間部34は、以下の処理を行う。
なお、(W04−2×W22+W40)は、ラプラシアン成分であり、gain69は、ラプラシアン成分調整用のゲインである。
補間部34は、以下の処理により、P22のR色成分値Routを取得する。
s=W22
s1=(W24+W42)/2
また、補間部34は、P11とP22との中点のR色成分q0と、P22とP33との中点のR色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(R14+3×R32)/4
そして、補間部34は、以下の数式に相当する処理により、P22のR色成分値Routを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain70は、ラプラシアン成分調整用のゲインである。
補間部34は、P11のW色成分値s0と、P22のW色成分値sと、P33のW色成分値s1とを、以下の数式に相当する処理により算出する。
s=W22
s1=(W24+W42)/2
また、補間部34は、P11とP22との中点のB色成分q0と、P22とP33との中点のB色成分q1とを、以下の数式に相当する処理により算出する。
q1=(3×B23+B41)/4
そして、補間部34は、以下の数式に相当する処理により、P22のB色成分値Boutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain71は、ラプラシアン成分調整用のゲインである。
画素補間法決定部33により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素について「いずれの方向にも相関がない」と判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のW色成分の画素値をWoutとし、R色成分の画素値をRoutとし、G色成分の画素値をGoutとし、B色成分の画素値をBoutとする。
(M−G:注目画素がG画素である場合):
注目画素(中心画素)がG画素である場合、補間部34は、以下の数式に相当する処理により、Bout、Rout、Gout、Woutを取得する。
Rout=medium(R21,R23,(R01+R03+R21+R23)/4,(R21+R23+R41+R43)/4)
Gout=G22
Wout=medium(W11,W13,W31,W33)
なお、medium()は、メディアン値を取得する関数である。medium()は、要素数が偶数の場合、中央の2つの値の平均値をとるものとする。
(M−R:注目画素がR画素である場合):
注目画素(中心画素)がR画素である場合、補間部34は、以下の数式に相当する処理により、Bout、Rout、Gout、Woutを取得する。
Gout=medium(G21,G23,(G01+G03+G21+G23)/4,(G21+G23+G41+G43)/4)
Gout=R22
Bout=medium(B11,B13,B31,B33)
(M−B:注目画素がB画素である場合):
注目画素(中心画素)がB画素である場合、補間部34は、以下の数式に相当する処理により、Bout、Rout、Gout、Woutを取得する。
Wout=medium(W21,W23,(W01+W03+W21+W23)/4,(W21+W23+W41+W43)/4)
Bout=B22
Rout=medium(R11,R13,R31,R33)
(M−W:注目画素がW画素である場合):
注目画素(中心画素)がW画素である場合、補間部34は、以下の数式に相当する処理により、Bout、Rout、Gout、Woutを取得する。
Bout=medium(B21,B23,(B01+B03+B21+B23)/4,(B21+B23+B41+B43)/4)
Wout=W22
Gout=medium(G11,G13,G31,G33)
≪平均値補間(カラー画像領域用)≫
画素補間法決定部33により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部33により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、補間部34は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のW色成分の画素値をWoutとし、R色成分の画素値をRoutとし、G色成分の画素値をGoutとし、B色成分の画素値をBoutとする。
(Ave−G:注目画素がG画素である場合):
注目画素(中心画素)がG画素である場合、補間部34は、以下の数式に相当する処理により、Bout、Rout、Gout、Woutを取得する。
Rout=(R21+R23)/2
Gout=G22
Wout=(W11+W13+W31+W33)/4
(Ave−R:注目画素がR画素である場合):
注目画素(中心画素)がR画素である場合、補間部34は、以下の数式に相当する処理により、Bout、Rout、Gout、Woutを取得する。
Gout=(G21+G23)/2
Rout=R22
Bout=(B11+B13+B31+B33)/4
(Ave−B:注目画素がB画素である場合):
注目画素(中心画素)がB画素である場合、補間部34は、以下の数式に相当する処理により、Bout、Rout、Gout、Woutを取得する。
Wout=(W21+W23)/2
Bout=B22
Rout=(R11+R13+R31+R33)/4
(Ave−W:注目画素がW画素である場合):
注目画素(中心画素)がG画素である場合、補間部34は、以下の数式に相当する処理により、Bout、Rout、Gout、Woutを取得する。
Bout=(B21+B23)/2
Wout=W22
Gout=(G11+G13+G31+G33)/4
以上の処理により、補間部34では、画素ごとに、Rout、Gout、Bout、Woutが取得される。そして、取得されたRout、Gout、Bout、Woutにより形成される画像(画素ごとに4つの色成分値(W色成分値、R色成分値、G色成分値、B色成分値)を持つ画像信号)は、画像D1として補間部34から色空間変換部35に出力される。
なお、R、G、Bは、注目画素のR色成分値、G色成分値、B色成分値である。
(1)注目画素がG画素である場合、相関方向が「第1斜め方向」または「第2斜め方向」であるとき、選択信号は、輝度信号出力部353にて、W信号を選択する信号とし、相関方向が上記以外のときは、選択信号は、輝度信号出力部353にて、Y0信号を選択する信号とする。
(2)注目画素がR画素である場合、相関方向が「垂直方向」であるとき、選択信号は、輝度信号出力部353にて、W信号を選択する信号とし、相関方向が上記以外のときは、選択信号は、輝度信号出力部353にて、Y0信号を選択する信号とする。
(3)注目画素がB画素である場合、相関方向が「水平方向」であるとき、選択信号は、輝度信号出力部353にて、W信号を選択する信号とし、相関方向が上記以外のときは、選択信号は、輝度信号出力部353にて、Y0信号を選択する信号とする。
(4)注目画素がW画素である場合、選択信号は、輝度信号出力部353にて、常に、W信号を選択する信号とする。
(5)注目画素について「いずれの方向にも相関がない」と判定された場合(メディアン補間により画素補間処理が実行された場合)、選択信号は、輝度信号出力部353にて、W信号と、Y0信号の平均値が出力されるようにする信号とする。
(1)注目画素がG画素である場合、相関方向が「第1斜め方向」または「第2斜め方向」であるとき、輝度信号出力部353は、
Yout=W
とし、相関方向が上記以外のときは、
Yout=Y0
とする。
(2)注目画素がR画素である場合、相関方向が「垂直方向」であるとき、輝度信号出力部353は、
Yout=W
とし、相関方向が上記以外のときは、
Yout=Y0
とする。
(3)注目画素がB画素である場合、相関方向が「水平方向」であるとき、輝度信号出力部353は、
Yout=W
とし、相関方向が上記以外のときは、
Yout=Y0
とする。
(4)注目画素がW画素である場合、輝度信号出力部353は、常に、
Yout=W
とする。
(5)注目画素について「いずれの方向にも相関がない」と判定された場合(メディアン補間により画素補間処理が実行された場合)、輝度信号出力部353は、
Yout=(W+Y0)/2
とする。
上記実施形態では、画素補間処理を実数演算により実行する場合を想定して説明している部分があるが、整数演算により、画素補間処理を実行するようにしてもよい。また、画素補間処理において、所定のビット数を使用した場合の制約や、所定のダイナミックレンジ内で処理を実行するために、適宜、ゲイン調整やクリップ処理を実行するようにしてもよい。
Yout=(Y0+W)/2
となるようにしてもよい。
(1)ある一列において、G、B、G、B、・・・と配列されており、
次の一列において、R、W、R、W、・・・と配列されているパターン。
(2)ある一列において、G、R、G、R、・・・と配列されており、
次の一列において、W、B、W、B、・・・と配列されているパターン。
(3)ある一列において、G、B、G、B、・・・と配列されており、
次の一列において、W、R、W、R、・・・と配列されているパターン。
(4)ある一列において、G、W、G、W、・・・と配列されており、
次の一列において、B、R、B、R、・・・と配列されているパターン。
(5)ある一列において、G、W、G、W、・・・と配列されており、
次の一列において、R、B、R、B、・・・と配列されているパターン。
1 撮像部
2 信号処理部
3 画素補間処理部(画素補間処理装置)
31 彩度評価値算出部(彩度評価値取得部)
32 相関値算出部(相関度取得部)
33 画素補間法決定部
34 補間部
35 色空間変換部
Claims (9)
- 異なる4色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともW色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う画素補間処理装置であって、
前記画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値取得部と、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関度を取得する相関度取得部と、
前記彩度評価値取得部により取得された前記彩度評価値と、前記相関度取得部により取得された前記相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された前記画素補間方法により、前記画像に対して、画素補間処理を実行し、少なくともW色成分値を規定する所定の色空間の画像データを取得する補間部と、
前記補間部により取得された前記色空間の画像データにおいて、
(1)前記注目画素がW色成分画素である場合、または、前記注目画素のW色成分信号が前記注目画素の周辺のW色成分画素を用いて補間処理により取得された場合、前記補間部により取得された当該注目画素のW色成分信号を輝度信号として採用し、当該輝度信号と、前記補間部により取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号とを用いて色差信号を取得し、
(2)前記注目画素がW色成分画素ではなく、かつ、前記注目画素のW色成分信号が前記注目画素の周辺のW色成分画素を用いて補間処理により取得されていない場合、前記補間部により取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号および第3色成分信号から輝度信号を生成し、当該輝度信号と、前記補間部により取得された当該注目画素の第1色成分信号、第2色成分信号とを用いて色差信号を取得する、色空間変換部と、
を備える画素補間処理装置。 - 前記色フィルタは、WRGB配列の色フィルタであり、
前記所定の色空間は、WRGB色空間であり、
前記第1色成分信号は、R色成分信号であり、
前記第2色成分信号は、B色成分信号であり、
前記第3色成分信号は、G色成分信号である、
請求項1に記載の画素補間処理装置。 - 前記相関度取得部は、前記画像上における水平方向、垂直方向、および、第1斜め方向と前記第1斜め方向に直交する第2斜め方向の相関度を取得する、
請求項2に記載の画素補間処理装置。 - 前記彩度評価値取得部は、注目画素を中心とする5画素×5画素の画像領域の彩度を評価し、前記画像領域の前記彩度評価値を取得し、
前記相関度取得部は、注目画素を中心とする5画素×5画素の画像領域において、前記相関度を取得する、
請求項1から3のいずれかに記載の画素補間処理装置。 - 前記補間部は、前記注目画素の第1の色成分の画素値を補間する場合であって、前記画素補間法決定部に決定された相関度の高い方向である相関方向において、前記注目画素を挟むように隣接する2つの第1の色成分の画素の画素値の平均値から、前記相関方向に配置されている複数の第2の色成分の画素値から算出したラプラシアン成分値を減算することで、前記注目画素の前記第1の色成分の画素値を補間する、
請求項1から4のいずれかに記載の画素補間処理装置。 - 前記補間部は、前記ラプラシアン成分値をゲイン調整し、ゲイン調整後の前記ラプラシアン成分値を、前記注目画素を挟むように隣接する2つの第1の色成分の画素の画素値の平均値から減算することで、前記注目画素の前記第1の色成分の画素値を補間する、
請求項5に記載の画素補間処理装置。 - 異なる4色のフィルタが所定のパターンで配列された配列の色フィルタを有し、少なくともW色用画素を含み、被写体光から画像信号を取得する撮像部と、
前記画像信号に対して、画素補間処理を行う、請求項1から6のいずれかに記載の画素補間処理装置と、
を備える撮像装置。 - 異なる4色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともW色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う画素補間処理方法を、コンピュータに実行させるプログラムであって、
前記画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値取得ステップと、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関度を取得する相関度取得ステップと、
前記彩度評価値取得ステップにより取得された前記彩度評価値と、前記相関度取得ステップにより取得された前記相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定ステップと、
前記画素補間法決定ステップにより決定された前記画素補間方法により、前記画像に対して、画素補間処理を実行し、少なくともW色成分値を規定する所定の色空間の画像データを取得する補間ステップと、
前記補間ステップにより取得された前記色空間の画像データにおいて、
(1)前記注目画素がW色成分画素である場合、または、前記注目画素のW色成分信号が前記注目画素の周辺のW色成分画素を用いて補間処理により取得された場合、前記補間ステップにより取得された当該注目画素のW色成分信号を輝度信号として採用し、当該輝度信号と、前記補間ステップにより取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号とを用いて色差信号を取得し、
(2)前記注目画素がW色成分画素ではなく、かつ、前記注目画素のW色成分信号が前記注目画素の周辺のW色成分画素を用いて補間処理により取得されていない場合、前記補間ステップにより取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号および第3色成分信号から輝度信号を生成し、当該輝度信号と、前記補間ステップにより取得された当該注目画素の第1色成分信号、第2色成分信号とを用いて色差信号を取得する、色空間変換ステップと、
を備える画素補間処理方法をコンピュータに実行させるプログラム。 - 異なる4色のフィルタが所定のパターンで配列された色フィルタを有し、少なくともW色用画素を含む撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、
前記画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値取得部と、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関度を取得する相関度取得部と、
前記彩度評価値取得部により取得された前記彩度評価値と、前記相関度取得部により取得された前記相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された前記画素補間方法により、前記画像に対して、画素補間処理を実行し、少なくともW色成分値を規定する所定の色空間の画像データを取得する補間部と、
前記補間部により取得された前記色空間の画像データにおいて、
(1)前記注目画素がW色成分画素である場合、または、前記注目画素のW色成分信号が前記注目画素の周辺のW色成分画素を用いて補間処理により取得された場合、前記補間部により取得された当該注目画素のW色成分信号を輝度信号として採用し、当該輝度信号と、前記補間部により取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号とを用いて色差信号を取得し、
(2)前記注目画素がW色成分画素ではなく、かつ、前記注目画素のW色成分信号が前記注目画素の周辺のW色成分画素を用いて補間処理により取得されていない場合、前記補間部により取得された当該注目画素のW色成分信号以外の第1色成分信号、第2色成分信号および第3色成分信号から輝度信号を生成し、当該輝度信号と、前記補間部により取得された当該注目画素の第1色成分信号、第2色成分信号とを用いて色差信号を取得する、色空間変換部と、
を備える集積回路。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012216596A JP6012375B2 (ja) | 2012-09-28 | 2012-09-28 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
US14/427,835 US9225948B2 (en) | 2012-09-28 | 2013-07-05 | Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium |
PCT/JP2013/068559 WO2014050249A1 (ja) | 2012-09-28 | 2013-07-05 | 画素補間装置、撮像装置、プログラムおよび集積回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012216596A JP6012375B2 (ja) | 2012-09-28 | 2012-09-28 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014072658A JP2014072658A (ja) | 2014-04-21 |
JP6012375B2 true JP6012375B2 (ja) | 2016-10-25 |
Family
ID=50387666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012216596A Expired - Fee Related JP6012375B2 (ja) | 2012-09-28 | 2012-09-28 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9225948B2 (ja) |
JP (1) | JP6012375B2 (ja) |
WO (1) | WO2014050249A1 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9293500B2 (en) | 2013-03-01 | 2016-03-22 | Apple Inc. | Exposure control for image sensors |
US9276031B2 (en) | 2013-03-04 | 2016-03-01 | Apple Inc. | Photodiode with different electric potential regions for image sensors |
US9741754B2 (en) | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
US9549099B2 (en) | 2013-03-12 | 2017-01-17 | Apple Inc. | Hybrid image sensor |
US9319611B2 (en) | 2013-03-14 | 2016-04-19 | Apple Inc. | Image sensor with flexible pixel summing |
US9596423B1 (en) | 2013-11-21 | 2017-03-14 | Apple Inc. | Charge summing in an image sensor |
US9596420B2 (en) | 2013-12-05 | 2017-03-14 | Apple Inc. | Image sensor having pixels with different integration periods |
US9473706B2 (en) | 2013-12-09 | 2016-10-18 | Apple Inc. | Image sensor flicker detection |
JP6276580B2 (ja) * | 2013-12-20 | 2018-02-07 | 株式会社メガチップス | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
US10285626B1 (en) | 2014-02-14 | 2019-05-14 | Apple Inc. | Activity identification using an optical heart rate monitor |
US9232150B2 (en) | 2014-03-12 | 2016-01-05 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor |
US9277144B2 (en) | 2014-03-12 | 2016-03-01 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor and field-of-view compensation |
US9584743B1 (en) | 2014-03-13 | 2017-02-28 | Apple Inc. | Image sensor with auto-focus and pixel cross-talk compensation |
US9497397B1 (en) | 2014-04-08 | 2016-11-15 | Apple Inc. | Image sensor with auto-focus and color ratio cross-talk comparison |
US9538106B2 (en) | 2014-04-25 | 2017-01-03 | Apple Inc. | Image sensor having a uniform digital power signature |
US9686485B2 (en) * | 2014-05-30 | 2017-06-20 | Apple Inc. | Pixel binning in an image sensor |
JP6598507B2 (ja) | 2015-05-11 | 2019-10-30 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理方法 |
JP6646675B2 (ja) * | 2015-09-07 | 2020-02-14 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
JP6758859B2 (ja) * | 2016-03-01 | 2020-09-23 | キヤノン株式会社 | 撮像装置、撮像システム、および画像処理方法 |
US9912883B1 (en) | 2016-05-10 | 2018-03-06 | Apple Inc. | Image sensor with calibrated column analog-to-digital converters |
US10438987B2 (en) | 2016-09-23 | 2019-10-08 | Apple Inc. | Stacked backside illuminated SPAD array |
US10801886B2 (en) | 2017-01-25 | 2020-10-13 | Apple Inc. | SPAD detector having modulated sensitivity |
US10656251B1 (en) | 2017-01-25 | 2020-05-19 | Apple Inc. | Signal acquisition in a SPAD detector |
US10962628B1 (en) | 2017-01-26 | 2021-03-30 | Apple Inc. | Spatial temporal weighting in a SPAD detector |
US10622538B2 (en) | 2017-07-18 | 2020-04-14 | Apple Inc. | Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body |
US10440301B2 (en) | 2017-09-08 | 2019-10-08 | Apple Inc. | Image capture device, pixel, and method providing improved phase detection auto-focus performance |
JP2019121062A (ja) * | 2017-12-28 | 2019-07-22 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 画像拡大装置 |
CN108769510B (zh) * | 2018-05-02 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
US10848693B2 (en) | 2018-07-18 | 2020-11-24 | Apple Inc. | Image flare detection using asymmetric pixels |
US11019294B2 (en) | 2018-07-18 | 2021-05-25 | Apple Inc. | Seamless readout mode transitions in image sensors |
US11233966B1 (en) | 2018-11-29 | 2022-01-25 | Apple Inc. | Breakdown voltage monitoring for avalanche diodes |
CN111756973A (zh) * | 2020-05-15 | 2020-10-09 | 深圳市汇顶科技股份有限公司 | 图像传感器和电子设备 |
US11563910B2 (en) | 2020-08-04 | 2023-01-24 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
CN112004003B (zh) * | 2020-08-07 | 2021-12-21 | 深圳市汇顶科技股份有限公司 | 图像处理方法、芯片、电子设备和存储介质 |
US11546532B1 (en) | 2021-03-16 | 2023-01-03 | Apple Inc. | Dynamic correlated double sampling for noise rejection in image sensors |
JP2023010159A (ja) * | 2021-07-09 | 2023-01-20 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
US12069384B2 (en) | 2021-09-23 | 2024-08-20 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6611287B1 (en) * | 1997-11-28 | 2003-08-26 | Sony Corporation | Camera signal processing apparatus and camera signal processing method |
JP4066484B2 (ja) * | 1997-12-08 | 2008-03-26 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにカメラ |
JP4446818B2 (ja) | 2004-07-06 | 2010-04-07 | 株式会社メガチップス | 画素補間方法 |
JP4352331B2 (ja) * | 2004-09-09 | 2009-10-28 | 富士フイルム株式会社 | 信号処理装置、信号処理方法及び信号処理プログラム |
US7995868B2 (en) * | 2004-10-19 | 2011-08-09 | Megachips Corporation | Image processing method and image processing device |
JP4428195B2 (ja) * | 2004-10-22 | 2010-03-10 | 株式会社日立製作所 | 撮像装置、補完信号生成方法及びプログラム |
JP4840740B2 (ja) | 2004-12-01 | 2011-12-21 | 株式会社メガチップス | 画素補間方法および画像判定方法 |
JP5151075B2 (ja) * | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
US7551214B2 (en) * | 2005-12-01 | 2009-06-23 | Megachips Lsi Solutions Inc. | Pixel interpolation method |
JP4983141B2 (ja) * | 2006-08-04 | 2012-07-25 | ソニー株式会社 | カラーフィルタ |
JP5085140B2 (ja) * | 2007-01-05 | 2012-11-28 | 株式会社東芝 | 固体撮像装置 |
JP4930109B2 (ja) | 2007-03-06 | 2012-05-16 | ソニー株式会社 | 固体撮像装置、撮像装置 |
JP5222625B2 (ja) | 2007-06-01 | 2013-06-26 | 富士フイルム株式会社 | 撮像装置 |
JP5017597B2 (ja) | 2007-11-27 | 2012-09-05 | 株式会社メガチップス | 画素補間方法 |
-
2012
- 2012-09-28 JP JP2012216596A patent/JP6012375B2/ja not_active Expired - Fee Related
-
2013
- 2013-07-05 WO PCT/JP2013/068559 patent/WO2014050249A1/ja active Application Filing
- 2013-07-05 US US14/427,835 patent/US9225948B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20150237314A1 (en) | 2015-08-20 |
US9225948B2 (en) | 2015-12-29 |
WO2014050249A1 (ja) | 2014-04-03 |
JP2014072658A (ja) | 2014-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6012375B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
US9542759B2 (en) | Image processing device, method of processing image, and image processing program including false color correction | |
JP6239358B2 (ja) | 画素補間装置、撮像装置、プログラムおよび集積回路 | |
WO2011048870A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP4861667B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6276569B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP5840008B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5017597B2 (ja) | 画素補間方法 | |
JP5076186B2 (ja) | 画像拡大方法 | |
JP6276580B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP6041133B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびチップ回路 | |
US9401006B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5981824B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
CN116503259B (zh) | 一种马赛克插值方法和系统 | |
JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
KR101699318B1 (ko) | 화상처리장치 및 그 제어방법 | |
JP5103580B2 (ja) | 画像処理装置およびデジタルカメラ | |
KR100996797B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 | |
JP2010093336A (ja) | 撮像装置および補間処理方法 | |
JP6276581B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP4666786B2 (ja) | 画像補間装置 | |
JP4495355B2 (ja) | 画像補間装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6012375 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |