JP6276569B2 - 画素補間処理装置、撮像装置、プログラムおよび集積回路 - Google Patents
画素補間処理装置、撮像装置、プログラムおよび集積回路 Download PDFInfo
- Publication number
- JP6276569B2 JP6276569B2 JP2013249475A JP2013249475A JP6276569B2 JP 6276569 B2 JP6276569 B2 JP 6276569B2 JP 2013249475 A JP2013249475 A JP 2013249475A JP 2013249475 A JP2013249475 A JP 2013249475A JP 6276569 B2 JP6276569 B2 JP 6276569B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- image
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 415
- 238000003384 imaging method Methods 0.000 title claims description 73
- 238000000034 method Methods 0.000 claims description 468
- 238000004364 calculation method Methods 0.000 claims description 251
- 238000011156 evaluation Methods 0.000 claims description 211
- 238000012937 correction Methods 0.000 claims description 166
- 239000011159 matrix material Substances 0.000 claims description 100
- 238000006243 chemical reaction Methods 0.000 claims description 97
- 239000003086 colorant Substances 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 7
- 241001125929 Trisopterus luscus Species 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 93
- 238000010586 diagram Methods 0.000 description 39
- 201000005569 Gout Diseases 0.000 description 38
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 10
- 230000002596 correlated effect Effects 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 3
- 102220498131 Transmembrane 4 L6 family member 20_G22L_mutation Human genes 0.000 description 2
- 101100219231 Vaccinia virus (strain Copenhagen) C22L gene Proteins 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Description
(1)画素補間処理の対象の第1色の色成分画素と同色の色成分画素と第2色の色成分画素が、画像上において、相関の高い方向に存在する場合、第2色の色成分画素の画素値を用いて相関の高い方向の変化率を第1変化率として取得し、注目画素の第1色成分画素値を、相関の高い方向に存在する第1色の色成分画素と、取得した第1変化率とに基づいて、取得することで、注目画素に対して、画素補間処理を行い、
(2)画素補間処理の対象の色成分画素と同色の色成分画素が、画像上において、相関の高い方向に存在していない場合、相関の高い方向と直交する方向において、色空間変換して、同一色相の色成分画素値を取得し、取得した色成分画素値の相関の高い方向と直交する方向の変化率を第2変化率として取得し、取得した第2変化率に基づいて、注目画素に対して画素補間処理を行う。
W=Y=Rgain×R+Ggain×G+Bgain×B
Rgain=0.299
Ggain=0.587
Bgain=0.114
Yegain×Ye=Rgain×R+Ggain×G
Mgain×M=Rgain×R+Bgain×B
Cygain×Cy=Ggain×G+Bgain×B
なる関係から導出されるものであり、例えば、W−Ye色成分は、上式より、B色成分と等価である。つまり、W−Ye色成分画素値は、W−Yegain×Yeにより算出され、B色成分画素値は、Bgain×Bにより算出される。また、W−M色成分画素値およびW−Cy色成分画素値についても同様である。
Pout=(P1+P2)/2−Lap×gain
により取得する。
注目画素を中心とする5画素×5画素の画像領域に含まれる第1色の色成分画素の画素値の平均値をp00_color1とし、
注目画素を中心とする5画素×5画素の画像領域に含まれる第2色の色成分画素の画素値の平均値をp01_color2とし、
注目画素を中心とする5画素×5画素の画像領域に含まれる第3色の色成分画素の画素値の平均値をp10_color3とし、
注目画素を中心とする5画素×5画素の画像領域に含まれる第4色の色成分画素の画素値の平均値をp11_color4とし、
所定の色成分差分値を取得するための係数を、k01、k02、k03、k04、k11、k12、k13、k14とし、オフセット値を、offset0、offset1とすると、
に相当する処理を実行することで、2つの色成分差分値color_diff0およびcolor_diff1を取得する。
diff_ave_color
=abs(color_diff0)+abs(color_diff1)
abs(x):xの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値diff_ave_colorを取得し、取得した平均色成分差分評価値diff_ave_colorを用いて、画像領域の前記彩度評価値を取得する。
(1)注目画素を中心とする5画素×5画素の画像領域において、注目画素と、当該注目画素と垂直方向、水平方向、および、斜め方向に隣接する8つの画素との差に基づいて、全体評価値gl_colorを取得する。
(2)注目画素を中心とする5画素×5画素の画像領域において、垂直方向に隣接する、複数組の2つの画素を選択し、選択した2つの画素の画素値の差を、それぞれ、算出し、算出した複数組の2つの画素についての画素値の差に基づいて、垂直方向評価値v_colorを取得する。
(3)注目画素を中心とする5画素×5画素の画像領域において、水平方向に隣接する、複数組の2つの画素を選択し、選択した2つの画素の画素値の差を、それぞれ、算出し、算出した複数組の2つの画素についての画素値の差に基づいて、水平方向評価値h_colorを取得する。
(4)注目画素を中心とする5画素×5画素の画像領域において、第1斜め方向に隣接する、複数組の2つの画素を選択し、選択した2つの画素の画素値の差を、それぞれ、算出し、算出した複数組の2つの画素についての画素値の差に基づいて、第1斜め方向評価値d1_colorを取得する。
(5)注目画素を中心とする5画素×5画素の画像領域において、第1斜め方向と直交する第2斜め方向に隣接する、複数組の2つの画素を選択し、選択した2つの画素の画素値の差を、それぞれ、算出し、算出した複数組の2つの画素についての画素値の差に基づいて、第2斜め方向評価値d2_colorを取得する。
第1実施形態について、図面を参照しながら、以下、説明する。
図1は、第1実施形態に係る撮像装置1000の概略構成図である。
(A1)カラー画像領域用垂直方向相関値Cv_color
(A2)カラー画像領域用水平方向相関値Ch_color
(A3)カラー画像領域用第1斜め方向相関値Cd1_color
(A4)カラー画像領域用第2斜め方向相関値Cd2_color
カラー相関値算出部2は、画像D_raw上の画素ごとに取得した上記4つのカラー相関値を画素補間法決定部5に出力する。なお、上記4つのカラー相関値を総称して、「Cx_color」と表記する。
(B1)グレー画像領域用垂直方向相関値Cv_gray
(B2)グレー画像領域用水平方向相関値Ch_gray
(B3)グレー画像領域用第1斜め方向相関値Cd1_gray
(B4)グレー画像領域用第2斜め方向相関値Cd2_gray
グレー相関値算出部4は、画像D1上の画素ごとに取得した上記4つのグレー相関値を画素補間法決定部5に出力する。
以上のように構成された撮像装置1000の動作について、以下、説明する。
ここで、4色配列色フィルタの画素の表記方法について説明する。まず、5×5のマトリクス領域の画素を図4の左上領域AR1のように表す。図4の左上領域AR1における記号Pは、画素がいずれの色成分用画素であるかを考慮しない表記である(図4に示す領域AR2〜AR4についても同様)。これに対して、各画素の色成分を区別する場合、画素を示す円の中に、色を示すアルファベットを記載した記号により表記する。例えば、Ye(黄色)−Cy(シアン)−G(緑)−Mg(マゼンタ)の4色配列色フィルタである場合、黄色成分用画素を記号Yと画素位置を示す2桁の数字で示し、シアン色成分用画素を記号Cと画素位置を示す2桁の数字で示し、緑色成分用画素を記号Gと画素位置を示す2桁の数字で示し、マゼンタ色成分用画素を記号Mと画素位置を示す2桁の数字で示す。
信号補正部1では、入力された画像信号D_rawに対して、色成分画素信号ごとに、色フィルタの種別に応じた信号レベルの補正処理が実行される。具体的には、画像信号D_rawを構成する、Ye成分画素信号、Cy成分画素信号、G成分画素信号、および、Mg成分画素信号を、それぞれ、Yein、Cyin、Gin、および、Mginとし、Ye色フィルタ用補正ゲインをGain_sig_Yeとし、Cy色フィルタ用補正ゲインをGain_sig_Cyとし、G色フィルタ用補正ゲインをGain_sig_Gとし、Mg色フィルタ用補正ゲインをGain_sig_Mgとすると、信号補正部1は、
Yeout=Yein×Gain_sig_Ye
Cyout=Cyin×Gain_sig_Cy
Gout=Gin×Gain_sig_G
Mgout=Mgin×Gain_sig_Mg
に相当する処理を実行する。
彩度評価値算出部3は、入力された画像D1において、注目画素を中心とする5画素×5画素の画像領域(以下、「マトリクス領域」という。)を設定する。彩度評価値算出部3は、設定したマトリクス領域において、色成分のばらつき状況を分析することで、当該マトリクス領域の彩度評価値(注目画素の彩度評価値)を算出する。
(1)平均色成分差分評価値diff_ave_color
(2)全体評価値gl_color
(3)垂直方向評価値v_color
(4)水平方向評価値h_color
(5)第1斜め方向評価値d1_color
(6)第2斜め方向評価値d2_color
上記(1)〜(6)の評価値の算出処理について、以下、説明する。
まず、平均色成分差分評価値diff_ave_colorの算出処理について、図4を用いて、説明する。
(A)図4の5画素×5画素のマトリックス領域AR1は、中心画素が第1色成分用画素(画素P00と同色の画素P22)の場合のマトリクス領域に分類される。
(B)図4の5画素×5画素のマトリックス領域AR2は、中心画素が第2色成分用画素(画素P01と同色の画素P27)の場合のマトリクス領域に分類される。
(C)図4の5画素×5画素のマトリックス領域AR3は、中心画素が第3色成分用画素(画素P10と同色の画素P72)の場合のマトリクス領域に分類される。
(D)図4の5画素×5画素のマトリックス領域AR4は、中心画素が第4色成分用画素(画素P11と同色の画素P77)の場合のマトリクス領域に分類される。
(A)5画素×5画素の領域の中心画素が第1色画素である場合、
p00_color1=P22
p01_color2=(P21+P23)/2
p10_color3=(P12+P32)/2
p11_color4=(P11+P13+P31+P33)/4
(B)5画素×5画素の領域の中心画素が第2色画素である場合、
p00_color1=(P21+P23)/2
p01_color2=P22
p10_color3=(P11+P13+P31+P33)/4
p11_color4=(P12+P32)/2
(C)5画素×5画素の領域の中心画素が第3色画素である場合、
p00_color1=(P12+P32)/2
p01_color2=(P11+P13+P31+P33)/4
p10_color3=P22
p11_color4=(P21+P23)/2
(D)5画素×5画素の領域の中心画素が第4色画素である場合、
p00_color1=(P11+P13+P31+P33)/4
p01_color2=(P12+P32)/2
p10_color3=(P21+P23)/2
p11_color4=P22
そして、彩度評価値算出部3は、
に相当する処理を実行することで、2つの色成分差分値color_diff0およびcolor_diff1を取得する。
k01=1
k02=−1
k03=0
k04=0
k11=1
k12=0
k13=−1
k14=0
offset0=offset1=0
と設定することで、上記(数式)に相当する処理は、
color_diff0=p00_color1−p01_color2
color_diff1=p00_color1−p10_color3
に相当する処理となる。
diff_ave_color
=abs(color_diff0)+abs(color_diff1)
abs(x):xの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値diff_ave_colorを算出する。
次に、全体評価値gl_colorの算出処理について、説明する。
+abs(P13−P22)+abs(P21−P22)
+abs(P23−P22)+abs(P31−P22)
+abs(P32−P22)+abs(P33−P22))/8
次に、垂直方向評価値v_colorの算出処理について、図5を用いて、説明する。
+(abs(P12−P22)+abs(P22−P32))×2
+abs(P13−P23)+abs(P23−P33))/8
なお、上式において、係数「2」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。P11、P31、P13、P33の4つの画素が第1色の色成分の画素となり、P21、P23の2つの画素が第2色の色成分の画素となり、P12、P32の2つの画素が第3色の色成分の画素となり、P22のみが第4色の色成分画素となる。したがって、(第1色成分画素−第2色成分画素)の演算数が「4」であり、(第3色成分画素−第4色成分画素)の演算数が「2」であるため、(abs(P12−P22)+abs(P22−P32))に「2」が乗算されている。なお、この乗算する係数は「2」に限定されることはなく、他の値としてもよい。
+(abs(P02−P12)+abs(P12−P22))×2
+abs(P03−P13)+abs(P13−P23))/8
なお、上式において、係数2が乗算されている項があるのは、垂直方向の第1評価値vM_colorの取得する処理において説明したのと同様の理由による。
+(abs(P22−P32)+abs(P32−P42))×2
+abs(P23−P33)+abs(P33−P43))/8
なお、上式において、係数「2」が乗算されている項があるのは、垂直方向の第1評価値vM_colorの取得する処理において説明したのと同様の理由による。
なお、関数min()は、要素の最小値を取得する関数である。
次に、水平方向評価値h_colorの算出処理について、図6を用いて、説明する。
+(abs(P21−P22)+abs(P22−P23))×2
+abs(P31−P32)+abs(P32−P33))/8
なお、上式において、係数「2」が乗算されている項があるのは、画素間の差分の累積比率を均等にするためである。P11、P31、P13、P33の4つの画素が第1色の色成分の画素となり、P21、P23の2つの画素が第2色の色成分の画素となり、P12、P32の2つの画素が第3色の色成分の画素となり、P22のみが第4色の色成分画素となる。したがって、(第1色成分画素−第3色成分画素)の演算数が「4」であり、(第2色成分画素−第4色成分画素)の演算数が「2」であるため、(abs(P21−P22)+abs(P22−P23))に「2」が乗算されている。なお、この乗算する係数は「2」に限定されることはなく、他の値としてもよい。
+(abs(P20−P21)+abs(P21−P22))×2
+abs(P30−P31)+abs(P31−P32))/8
なお、上式において、係数2が乗算されている項があるのは、水平方向の第1評価値hM_colorの取得する処理において説明したのと同様の理由による。
+(abs(P22−P23)+abs(P23−P24))×2
+abs(P32−P33)+abs(P33−P34))/8
なお、上式において、係数「2」が乗算されている項があるのは、水平方向の第1評価値hM_colorの取得する処理において説明したのと同様の理由による。
なお、関数min()は、要素の最小値を取得する関数である。
次に、第1斜め方向評価値d1_colorの算出処理について、図7を用いて、説明する。
+abs(P11−P22)+abs(P22−P33)
+abs(P21−P32))/4
次に、第2斜め方向評価値d2_colorの算出処理について、図8を用いて、説明する。
+abs(P13−P22)+abs(P22−P31)
+abs(P23−P32))/4
以上の処理を行った後、彩度評価値算出部3は、以下の数式に相当する処理を行うことで、彩度評価値Lを取得する。
なお、関数min()は、要素の最小値を取得する関数である。
なお、関数f(x)は、
x≦T1のとき、f(x)=0
T1≦x≦T2のとき、f(x)=(x−T1)/(T2−T1)
x≧T2のとき、f(x)=1
である。なお、関数f(x)は、上記に限定されず、彩度評価値Lがとる範囲を0〜1の範囲の値に変換する関数であれば他の関数(大局的に彩度評価係数が彩度評価値Lについて単調増加する関数等)であってもよい。
次に、カラー相関値算出処理について説明する。
(A1)カラー画像領域用垂直方向相関値Cv_color
(A2)カラー画像領域用水平方向相関値Ch_color
(A3)カラー画像領域用第1斜め方向相関値Cd1_color
(A4)カラー画像領域用第2斜め方向相関値Cd2_color
上記(A1)〜(A4)のカラー画像領域用の相関値の算出処理について、以下、説明する。
まず、カラー画像領域用垂直方向相関値Cv_colorの算出処理について、図10を用いて、説明する。
+abs(P11−P31)+abs(P13−P33)
+abs(P12−P32)×2
+(abs(P01−P21)+abs(P21−P41)+abs(P03―P23)+abs(P23―P43))/2
Cv_color=sum/8
なお、上記数式では、abs(P12−P32)に係数「2」が、(abs(P01−P21)+abs(P21−P41)+abs(P03―P23)+abs(P23―P43))に係数「1/2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、カラー画像領域用水平方向相関値Ch_colorの算出処理について、図11を用いて、説明する。
+abs(P11−P13)+abs(P31−P33)
+(abs(P10−P12)+abs(P12−P14)+abs(P30―P32)+abs(P32―P34))/2
+abs(P21−P23)×2
Ch_color=sum/8
なお、上記数式では、abs(P21−P23)に係数「2」が、(abs(P10−P12)+abs(P12−P14)+abs(P30―P32)+abs(P32―P34))に係数「1/2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、カラー画像領域用第1斜め方向相関値Cd1_colorの算出処理について、図12を用いて、説明する。
+abs(P11−P33)×2
+abs(P12−P34)+abs(P10−P32)
+abs(P01―P23)+abs(P21―P43))
Cd1_color=sum/8
なお、上記数式では、abs(P11−P33)に係数「2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、カラー画像領域用第2斜め方向相関値Cd2_colorの算出処理について、図13を用いて、説明する。
+abs(P13−P31)×2
+abs(P12−P30)+abs(P14−P32)
+abs(P03―P21)+abs(P23―P41)
Cd2_color=sum/8
なお、上記数式では、abs(P13−P31)に係数「2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、グレー画像領域用相関値算出処理について、説明する。
(B1)グレー画像領域用垂直方向相関値Cv_gray
(B2)グレー画像領域用水平方向相関値Ch_gray
(B3)グレー画像領域用第1斜め方向相関値Cd1_gray
(B4)グレー画像領域用第2斜め方向相関値Cd2_gray
上記(B1)〜(B4)のグレー画像領域用の相関値の算出処理について、以下、説明する。
まず、グレー画像領域用垂直方向相関値Cv_grayの算出処理について、図14を用いて、説明する。
+abs(P22−P32)+abs(P32−P42)
+abs(P01−P11)+abs(P11−P21)
+abs(P21−P31)+abs(P31−P41)
+abs(P03−P13)+abs(P13−P23)
+abs(P23−P33)+abs(P33−P43)
Cv_gray=sum/6
≪(B2)グレー画像領域用水平方向相関値Ch_gray≫
次に、グレー画像領域用水平方向相関値Ch_grayの算出処理について、図15を用いて、説明する。
+abs(P22−P23)+abs(P23−P24)
+abs(P10−P11)+abs(P11−P12)
+abs(P12−P13)+abs(P13−P14)
+abs(P30−P31)+abs(P31−P32)
+abs(P32−P33)+abs(P33−P34)
Ch_gray=sum/6
≪(B3)グレー画像領域用第1斜め方向相関値Cd1_gray≫
次に、グレー画像領域用第1斜め方向相関値Cd1_grayの算出処理について、図16を用いて、説明する。
+abs(P10−P21)+abs(P21−P32)+abs(P32−P43)
+abs(P01−P12)+abs(P12−P23)+abs(P23−P34)
Cd1_gray=sum/5
≪(B4)グレー画像領域用第2斜め方向相関値Cd2_gray≫
次に、グレー画像領域用第2斜め方向相関値Cd2_grayの算出処理について、図17を用いて、説明する。
+abs(P03−P12)+abs(P12−P21)+abs(P21−P30)
+abs(P14−P23)+abs(P23−P32)+abs(P32−P41)
Cd2_gray=sum/5
なお、図14(グレー画像領域用垂直方向相関値算出処理)および図15(グレー画像領域用水平方向相関値算出処理)における場合と、図16(グレー画像領域用第1斜め方向相関値算出処理)および図17(グレー画像領域用第2斜め方向相関値算出処理)における場合とでは、差分演算の対象となる画素間の距離が異なる。しかし、上記では、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、例えば、上記処理(グレー画像領域用の相関値算出処理)において、画素差分値について、画素間の距離に応じた重み付けを行うようにしてもよい(例えば、画素差分値に2の2乗根を乗算するようにしてもよい)。
≪相関判定方法と画素補間方法の選択≫
画素補間法決定部5では、彩度評価値算出部3が算出した彩度評価係数KLと閾値TH1,TH2(TH1≦TH2)との関係に基づいて、画素ごとに、相関判定方法と画素補間方法とを選択する。
(a)KL>TH2の場合
相関判定方法:カラー画像領域用の相関値を用いて相関方向を判定する。
(b)TH1<KL≦TH2の場合
相関判定方法:カラー画像領域用の相関値とグレー画像領域用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
(c)KL≦TH1の場合
相関判定方法:グレー画像領域用の相関値を用いて相関方向を判定する。
≪判定用相関値の選択≫
画素補間法決定部5では、(1)カラー相関値算出部2により算出されたカラー画像領域用の4方向の相関値Cv_color,Ch_color,Cd1_color,Cd2_colorと、(2)グレー相関値算出部4により算出されたグレー画像領域用の4方向の相関値Cv_gray,Ch_gray,Cd1_gray,Cd2_grayとから、次のようにして、判定用相関値Cv,Ch,Cd1,Cd2を選択する。なお、判定用相関値は、注目画素(処理対象画素)の相関方向(画素補間処理を実行するときに参照される相関方向)を決定するために用いられる。
(a)KL>TH2の場合の判定用相関値
画素補間法決定部5は、カラー画像領域用の相関値を、判定用相関値Cv,Ch,Cd1,Cd2として用いる。つまり、画素補間法決定部5は、
Cv=Cv_color
Ch=Ch_color
Cd1=Cd1_color
Cd2=Cd2_color
とする。
(c)KL≦TH1の場合の判定用相関値
画素補間法決定部5は、グレー画像領域用の相関値を、判定用相関値Cv,Ch,Cd1,Cd2として用いる。つまり、画素補間法決定部5は、
Cv=Cv_gray
Ch=Ch_gray
Cd1=Cd1_gray
Cd2=Cd2_gray
とする。
(b)TH1<KL≦TH2の場合の判定用相関値
この場合、画素補間法決定部5は、グレー画像領域用の相関値とカラー画像領域用の相関値とを総合判断して、判定用相関値Cv,Ch,Cd1,Cd2を決定する。この判断方法について、図19、図20のフローチャートを参照しながら、以下説明する。
ステップS101において、画素補間法決定部5は、下記数式に示すように、カラー画像領域用の相関値Cv_colorとCh_colorとの差分絶対値diff_Cvh_colorを算出する。
また、画素補間法決定部5は、下記数式に示すように、グレー画像領域用の相関値Cv_grayとCh_grayとの差分絶対値diff_Cvh_grayを算出する。
(S102):
ステップS102において、画素補間法決定部5は、下記数式により、差分絶対値diff_Cvh_colorと差分絶対値diff_Cvh_grayとの差分絶対値diff_color_grayを算出する。
(S103):
ステップS103において、画素補間法決定部5は、ステップS102で算出した差分絶対値diff_color_grayと、閾値Thvとの大小関係を判定する。
ステップS104において、画素補間法決定部5は、以下の数式に相当する処理を行うことで、判定用相関値Cv,Chを取得する。
Ch=min(Ch_color、Ch_gray)
なお、min()は、要素の最小値を取得する関数である。
ステップS105において、画素補間法決定部5は、差分絶対値diff_Cvh_colorと、差分絶対値diff_Cvh_grayとの大小関係を判定する。
Cv=Cv_color
Ch=Ch_color
とする(ステップS106)。
Cv=Cv_gray
Ch=Ch_gray
とする(ステップS107)。
ステップS111において、画素補間法決定部5は、下記数式に示すように、カラー画像領域用の相関値Cd1_colorとCd2_colorとの差分絶対値diff_Cd12_colorを算出する。
また、画素補間法決定部5は、下記数式に示すように、グレー画像領域用の相関値Cd1_grayとCd2_grayとの差分絶対値diff_Cd12_grayを算出する。
(S112):
ステップS112において、画素補間法決定部5は、下記数式により、差分絶対値diff_Cd12_colorと差分絶対値diff_Cd12_grayとの差分絶対値diff_color_grayを算出する。
(S113):
ステップS113において、画素補間法決定部5は、ステップS112で算出した差分絶対値diff_color_grayと、閾値Thdとの大小関係を判定する。
ステップS114において、画素補間法決定部5は、以下の数式に相当する処理を行うことで、判定用相関値Cd1,Cd2を取得する。
Cd2=min(Cd2_color、Cd2_gray)
なお、min()は、要素の最小値を取得する関数である。
ステップS115において、画素補間法決定部5は、差分絶対値diff_Cd12_colorと、差分絶対値diff_Cd12_grayとの大小関係を判定する。
Cd1=Cd1_color
Cd2=Cd2_color
とする(ステップS116)。
Cd1=Cd1_gray
Cd2=Cd2_gray
とする(ステップS117)。
次に、画素補間法決定部5は、上記処理により取得した判定用相関値Cv,Ch,Cd1,Cd2に基づいて、画素ごとに、図21の関係図または図22の関係図を用いて、相関方向を決定する。
(1)画素補間法決定部5は、画素ごとに、4つの判定用相関値Cv,Ch,Cd1,Cd2を比較し、判定用相関値Cvまたは判定用相関値Chが最小値をとる場合、つまり、
Cv=min(Cv,Ch,Cd1,Cd2)、または、
Ch=min(Cv,Ch,Cd1,Cd2)、
である場合、図21の関係図を用いて、相関方向を決定する。
(2)画素補間法決定部5は、画素ごとに、4つの判定用相関値Cv,Ch,Cd1,Cd2を比較し、判定用相関値Cd1または判定用相関値Cd2が最小値をとる場合、つまり、
Cd1=min(Cv,Ch,Cd1,Cd2)、または、
Cd2=min(Cv,Ch,Cd1,Cd2)、
である場合、図22の関係図を用いて、相関方向を決定する。
補間部6では、画素補間法決定部5により画素ごとに決定された、(1)相関方向の判定結果、および、(2)画素補間方法に基づいて、
(A)カラー画像用補間処理では、信号処理部C2から出力される画像D_rawに対して、画素ごとに、画素補間処理が実行され、
(B)グレー画像用補間処理では、信号補正部1から出力される画像D1に対して、画素ごとに、画素補間処理が実行される。
画素補間法決定部5により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合、補間部6のグレー画像用補間部62は、注目画素がどの色成分用の画素であるかを区別せずに、画素補間法決定部5により決定された相関方向に存在する画素を用いて画素補間処理を行う。グレー画像用補間部62において「グレー画像領域用画素補間法」により画素補間処理が実行される場合の具体的な処理について、以下、説明する。
画素補間法決定部5により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素についての相関方向が「水平方向」であると判定された場合、グレー画像用補間部62は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、グレー画像用補間部62は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がYe画素である場合、注目画素のCy色成分値、G色成分値およびMg色成分値を、それぞれ、Cy(P22)、G(P22)およびMg(P22)とすると、
Cy(P22)=G(P22)=Mg(P22)=Sout
となる。
画素補間法決定部5により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素についての相関方向が「垂直方向」であると判定された場合、グレー画像用補間部62は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、グレー画像用補間部62は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がYe画素である場合、注目画素のCy色成分値、G色成分値およびMg色成分値を、それぞれ、Cy(P22)、G(P22)およびMg(P22)とすると、
Cy(P22)=G(P22)=Mg(P22)=Sout
となる。
画素補間法決定部5により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素についての相関方向が「第1斜め方向」であると判定された場合、グレー画像用補間部62は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、グレー画像用補間部62は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がYe画素である場合、注目画素のCy色成分値、G色成分値およびMg色成分値を、それぞれ、Cy(P22)、G(P22)およびMg(P22)とすると、
Cy(P22)=G(P22)=Mg(P22)=Sout
となる。
画素補間法決定部5により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素についての相関方向が「第2斜め方向」であると判定された場合、グレー画像用補間部62は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、グレー画像用補間部62は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がYe画素である場合、注目画素のCy色成分値、G色成分値およびMg色成分値を、それぞれ、Cy(P22)、G(P22)およびMg(P22)とすると、
Cy(P22)=G(P22)=Mg(P22)=Sout
となる。
画素補間法決定部5により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素について「いずれの方向にも相関がない」と判定された場合、グレー画像用補間部62は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
つまり、グレー画像用補間部62は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がYe画素である場合、注目画素のCy色成分値、G色成分値およびMg色成分値を、それぞれ、Cy(P22)、G(P22)およびMg(P22)とすると、
Cy(P22)=G(P22)=Mg(P22)=Sout
となる。
画素補間法決定部5により判定された注目画素の画素補間方法が「グレー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、グレー画像用補間部62は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
+P21+P22+P23
+P31+P32+P33)/9
つまり、グレー画像用補間部62は、注目画素にない色の色成分値をSoutとする。例えば、注目画素P22がYe画素である場合、注目画素のCy色成分値、G色成分値およびMg色成分値を、それぞれ、Cy(P22)、G(P22)およびMg(P22)とすると、
Cy(P22)=G(P22)=Mg(P22)=Sout
となる。
信号逆補正部63では、グレー画像用補間部62から出力される画像信号に対して、信号補正部1で実行された補正処理と逆の補正処理が実行される。
Yeout=Yein/Gain_sig_Ye
Cyout=Cyin/Gain_sig_Cy
Gout=Gin/Gain_sig_G
Mgout=Mgin/Gain_sig_Mg
に相当する処理を実行する。
画素補間法決定部5により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合、補間部6のカラー画像用補間部61は、画素補間法決定部5により決定された相関方向に存在する画素を用いて画素補間処理を行う。この具体的な処理について、以下、説明する。
画素補間法決定部5により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素についての相関方向が「水平方向」であると判定された場合、カラー画像用補間部61は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のYe色成分の画素値をYeoutとし、Cy色成分の画素値をCyoutとし、G色成分の画素値をGoutとし、Mg色成分の画素値をMgoutとする。
注目画素がYe画素である場合、補間部6のカラー画像用補間部61は、以下の処理により、Yeout、Cyout、Gout、Mgoutを取得する。
カラー画像用補間部61は、注目画素の画素値P22を、Ye色成分の画素値Yeoutとする。
Yeout=P22
とする。
Cy色成分の画素値Cyoutを取得するために、カラー画像用補間部61は、以下の処理を行う。Cy色成分の画素値Cyoutの取得処理(算出処理)を、図23を用いて、説明する。
t1=(P20−2×P22+P24)×gain0
Cyout=t0−t1
ここで、上記処理の意味について、説明する。
Y22L=(Y20+6×Y22+Y24)/8
である。したがって、Y22の高周波成分Y22Hは、
Y22H=Y22−Y22L
=−(Y20−2×Y22+Y24)/8
である。
C22L=(C21+2×C22+C23)/4
である。したがって、C22の高周波成分C22Hは、
C22H=C22―C22L
=C22/2―(C21+C23)/4
である。
Y22H≒C22H
より、
C22/2―(C21+C23)/4≒−(Y20−2×Y22+Y24)/8
となる。これをC22について解くと、
C22=(C21+C23)/2−(Y20−2×Y22+Y24)/4
となる。
t0=(P21+P23)/2
t1=(P20−2×P22+P24)×gain0
Cyout=t0−t1
により、Cy色成分の画素値Cyoutを取得することができる。
G色成分の画素値Goutを取得するために、カラー画像用補間部61は、以下の処理を行う。G色成分の画素値Goutの取得処理(算出処理)を、図24を用いて、説明する。
ここで、kk1=2、kk2=1、ofs1=0とすると、上式は、
s0=2×P12+(P11+P13)/2
となる。P12の画素は、G成分画素であり、P11およびP13の画素は、Mg成分画素であるので、上式は、P12のMg+2G色成分値(=R+2G+B色成分値)であるとみなすことができる。
ここで、kk3=1、kk4=1、ofs2=0とすると、上式は、
s0=P22+(P21+P23)/2
となる。P22の画素は、Ye成分画素であり、P21およびP23の画素は、Cy成分画素であるので、上式は、P22のYe+Cy色成分(=R+2G+B色成分値)であるとみなすことができる。
ここで、kk5=2、kk6=1、ofs3=0とすると、上式は、
s0=2×P32+(P31+P33)/2
となる。P32の画素は、G成分画素であり、P31およびP33の画素は、Mg成分画素であるので、上式は、P32のMg+2G色成分値(=R+2G+B色成分値)であるとみなすことができる。
s=s/gs
s1=s1/gs
なお、上記では、R+2G+B色成分値s0、s、s1を取得するための色空間変換が実行されるように、係数kk1〜kk6、オフセット値ofs1〜ofs3を設定したが、これに限定されることはなく、他の色空間変換により、他の色成分値となるs0、s、s1を取得するようにしてもよい。
t1=(s0−2×s+s1)×gain1
Gout=t0−t1
ここで、上記処理の意味について、説明する。なお、説明を簡単にするために、W21、W22、W23、G21、G23の画素値が既知であるときに、G22の画素値を求める場合について説明する。
W22L=(W21+2×W22+W23)/4
である。したがって、W22の高周波成分W22Hは、
W22H=W22−W22L
=−(W21−2×W22+W23)/4
である。
G22L=(G21+2×G22+G23)/4
である。したがって、G22の高周波成分G22Hは、
G22H=G22―G22L
=G22/2―(G21+G23)/4
である。
W22H≒G22H
より、
G22/2―(G21+G23)/4≒−(W21−2×W22+W23)/4
となる。これをG22について解くと、
G22=(G21+G23)/2−(W21−2×W22+W23)/2
となる。
t0=(G12+G32)/2
t1=(s0−2×s+s1)×gain2
Gout=t0−t1
により、G色成分の画素値Goutを取得する。
Mg色成分の画素値Mgoutを取得するために、カラー画像用補間部61は、以下の処理を行う。Mg色成分の画素値Mgoutの取得処理(算出処理)を、図25を用いて、説明する。
なお、(P10−2×P12+P14)は、ラプラシアン成分であり、gain3は、ラプラシアン成分調整用のゲインである。
なお、(P30−2×P32+P34)は、ラプラシアン成分であり、gain4は、ラプラシアン成分調整用のゲインである。
なお、(s0―2×s+s1)は、ラプラシアン成分であり、gain5は、ラプラシアン成分調整用のゲインである。
画素補間法決定部5により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素についての相関方向が「垂直方向」であると判定された場合、カラー画像用補間部61は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のYe色成分の画素値をYeoutとし、Cy色成分の画素値をCyoutとし、G色成分の画素値をGoutとし、Mg色成分の画素値をMgoutとする。
注目画素がYe画素である場合、カラー画像用補間部61は、以下の処理により、Yeout、Cyout、Gout、Mgoutを取得する。
カラー画像用補間部61は、注目画素の画素値P22を、Ye色成分の画素値Yeoutとする。
Yeout=P22
とする。
G色成分の画素値Goutを取得するために、カラー画像用補間部61は、以下の処理を行う。G色成分の画素値Goutの取得処理(算出処理)を、図26を用いて、説明する。
なお、(P02−2×P22+P42)は、ラプラシアン成分であり、gain20は、ラプラシアン成分調整用のゲインである。
カラー画像用補間部61は、以下の処理により、P22のCy色成分値Cyoutを取得する。
ここで、kv1=−1、kv2=1、ofsv1=0とすると、上式は、
s0=−P21+(P11+P31)/2
となる。P21の画素は、Cy成分画素であり、P11およびP31の画素は、Mg成分画素であるので、上式は、P21のMg−Cy色成分値(=R−G色成分値)であるとみなすことができる。
ここで、kv3=1、kv4=−2、ofsv2=0とすると、上式は、
s=P22−2×(P12+P32)/2
となる。P22の画素は、Ye成分画素であり、P12およびP32の画素は、G成分画素であるので、上式は、P22のYe−2G色成分値(=R−G色成分値)であるとみなすことができる。
ここで、kv5=−1、kv6=1、ofsv3=0とすると、上式は、
s1=−P23+(P13+P33)/2
となる。P23の画素は、Cy成分画素であり、P13およびP33の画素は、Mg成分画素であるので、上式は、P23のMg−Cy色成分値(=R−G色成分値)であるとみなすことができる。
s=s/gvs
s1=s1/gvs
なお、上記では、R−G色成分値s0、s、s1を取得するための色空間変換が実行されるように、係数kv1〜kv6、オフセット値ofsv1〜ofsv3を設定したが、これに限定されることはなく、他の色空間変換により、他の色成分値となるs0、s、s1を取得するようにしてもよい。
s=P22−2×(P12+P32)/2
s1=−P23+(P13+P33)/2
そして、カラー画像用補間部61は、以下の数式に相当する処理により、P22のR色成分値Routを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain21は、ラプラシアン成分調整用のゲインである。
Mg色成分の画素値Mgoutを取得するために、カラー画像用補間部61は、以下の処理を行う。Mg色成分の画素値Mgoutの取得処理(算出処理)を、図28を用いて、説明する。
なお、(P01−2×P21+P41)は、ラプラシアン成分であり、gainv3は、ラプラシアン成分調整用のゲインである。
なお、(P03−2×P23+P43)は、ラプラシアン成分であり、gainv4は、ラプラシアン成分調整用のゲインである。
なお、(s0―2×s+s1)は、ラプラシアン成分であり、gainv5は、ラプラシアン成分調整用のゲインである。
画素補間法決定部5により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素についての相関方向が「第1斜め方向」であると判定された場合、カラー画像用補間部61は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のYe色成分の画素値をYeoutとし、Cy色成分の画素値をCyoutとし、G色成分の画素値をGoutとし、Mg色成分の画素値をMgoutとする。
注目画素がYe画素である場合、カラー画像用補間部61は、以下の処理により、Yeout、Cyout、Gout、Mgoutを取得する。
カラー画像用補間部61は、注目画素の画素値P22を、Ye色成分の画素値Yeoutとする。
Yeout=P22
とする。
Mg色成分の画素値Mgoutを取得するために、カラー画像用補間部61は、以下の処理を行う。Mg色成分の画素値Mgoutの取得処理(算出処理)を、図29を用いて、説明する。
なお、(P00−2×P22+P44)は、ラプラシアン成分であり、gain40は、ラプラシアン成分調整用のゲインである。
カラー画像用補間部61は、以下の処理により、P22のG色成分値Goutを取得する。
s=P22
s1=(P20+P42)/2
また、カラー画像用補間部61は、図30に示すように、P13とP22との中点のG色成分q0と、P22とP31との中点のG色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(P10+3×P32)/4
そして、カラー画像用補間部61は、以下の数式に相当する処理により、P22のG色成分値Goutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain41は、ラプラシアン成分調整用のゲインである。
カラー画像用補間部61は、図31に示すように、P13のYe色成分値s0と、P22のYe色成分値sと、P31のYe色成分値s1とを、以下の数式に相当する処理により算出する。
s=P22
s1=(P20+P42)/2
また、カラー画像用補間部61は、図31に示すように、P13とP22との中点のCy色成分q0と、P22とP31との中点のCy色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(3×P21+P43)/4
そして、カラー画像用補間部61は、以下の数式に相当する処理により、P22のCy色成分値Cyoutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain42は、ラプラシアン成分調整用のゲインである。
画素補間法決定部5により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素についての相関方向が「第2斜め方向」であると判定された場合、カラー画像用補間部61は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のYe色成分の画素値をYeoutとし、Cy色成分の画素値をCyoutとし、G色成分の画素値をGoutとし、Mg色成分の画素値をMgoutとする。
注目画素がYe画素である場合、カラー画像用補間部61は、以下の処理により、Yeout、Cyout、Gout、Mgoutを取得する。
カラー画像用補間部61は、注目画素の画素値P22を、Ye色成分の画素値Yeoutとする。
Yeout=P22
とする。
Mg色成分の画素値Mgoutを取得するために、カラー画像用補間部61は、以下の処理を行う。Mg色成分の画素値Mgoutの取得処理(算出処理)を、図32を用いて、説明する。
なお、(P04−2×P22+P40)は、ラプラシアン成分であり、gain50は、ラプラシアン成分調整用のゲインである。
カラー画像用補間部61は、以下の処理により、P22のG色成分値Goutを取得する。
s=P22
s1=(P24+P42)/2
また、カラー画像用補間部61は、図33に示すように、P11とP22との中点のG色成分q0と、P22とP33との中点のG色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(P14+3×P32)/4
そして、カラー画像用補間部61は、以下の数式に相当する処理により、P22のG色成分値Goutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain51は、ラプラシアン成分調整用のゲインである。
カラー画像用補間部61は、図34に示すように、P11のYe色成分値s0と、P22のYe色成分値sと、P33のYe色成分値s1とを、以下の数式に相当する処理により算出する。
s=P22
s1=(P24+P42)/2
また、カラー画像用補間部61は、図34に示すように、P11とP22との中点のCy色成分q0と、P22とP33との中点のCy色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(3×P23+P41)/4
そして、カラー画像用補間部61は、以下の数式に相当する処理により、P22のCy色成分値Cyoutを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain52は、ラプラシアン成分調整用のゲインである。
画素補間法決定部5により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素について「いずれの方向にも相関がない」と判定された場合、カラー画像用補間部61は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素のYe色成分の画素値をYeoutとし、Cy色成分の画素値をCyoutとし、G色成分の画素値をoutとし、Mg色成分の画素値をMgoutとする。
注目画素(中心画素)がYe画素である場合、カラー画像用補間部61は、以下の数式に相当する処理により、Yeout、Cyout、Gout、Mgoutを取得する。
Cyout=medium(P21,P23,(P01+P03+P21+P23)/4,(P21+P23+P41+P43)/4)
Yeout=P22
Mgout=medium(P11,P13,P31,P33)
なお、medium()は、メディアン値を取得する関数である。medium()は、要素数が偶数の場合、中央の2つの値の平均値をとるものとする。
画素補間法決定部5により判定された注目画素の画素補間方法が「カラー画像領域用画素補間法」である場合であって、画素補間法決定部5により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、カラー画像用補間部61は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
注目画素(中心画素)がYe画素である場合、カラー画像用補間部61は、以下の数式に相当する処理により、Yeout、Cyout、Gout、Mgoutを取得する。
Cyout=(P21+P23)/2
Yeout=P22
Mgout=(P11+P13+P31+P33)/4
なお、注目画素がYe画素以外の場合も、上記と同様の方法により処理することで、カラー画像領域用の平均値補間処理を実行することができる。
次に、補正処理部7での処理について、説明する。
に相当する処理により、R成分画素信号、G成分画素信号、および、B成分画素信号を取得する。
color1=Ye
color2=Cy
color3=G
color4=Mg
であるので、Ye−Cy―G−Mg色空間を、RGB色空間に変換するように、変換行列の要素a11〜a34が決定される。
なお、R、G、Bは、注目画素のR色成分値、G色成分値、B色成分値である。
(1)注目画素がW画素以外であり、相関方向が「第1斜め方向」または「第2斜め方向」であり、「第1斜め方向」または「第2斜め方向」において、注目画素とW画素とが隣接するように配置されている場合、選択信号生成部722は、W信号の選択を指示する選択信号を輝度信号出力部723に出力する。一方、相関方向が上記以外の場合、選択信号生成部722は、Y0信号の選択を指示する選択信号を輝度信号出力部723に出力する。
(2)注目画素がW画素以外であり、相関方向が「垂直方向」であり、「垂直方向」において、注目画素とW画素とが隣接するように配置されている場合、選択信号生成部722は、W信号の選択を指示する選択信号を輝度信号出力部723に出力する。一方、相関方向が上記以外の場合、選択信号生成部722は、Y0信号の選択を指示する選択信号を輝度信号出力部723に出力する。
(3)注目画素がW画素以外であり、相関方向が「水平方向」であり、「水平方向」において、注目画素とW画素とが隣接するように配置されている場合、選択信号生成部722は、W信号の選択を指示する選択信号を輝度信号出力部723に出力する。一方、相関方向が上記以外の場合、選択信号生成部722は、Y0信号の選択を指示する選択信号を輝度信号出力部723に出力する。
(4)注目画素がW画素である場合、選択信号生成部722は、常に、W信号の選択を指示する選択信号を輝度信号出力部723に出力する。
(5)注目画素について「いずれの方向にも相関がない」と判定された場合(メディアン補間により画素補間処理が実行された場合)、選択信号は、輝度信号出力部723にて、W信号と、Y0信号の平均値が出力されるようにする信号とする。
Cr=0.500×R−0.419×G−0.081×B
Cb=−0.169×R−0.332×G+0.500×B
このようにして取得された輝度成分画素信号Y0は、色空間変換部721Aから輝度信号出力部723に出力され、輝度信号出力部723において、上記で説明したのと同様の処理が実行される。
(1)S>THsである場合、
色差補正部74は、
Cb’=Cb
Cr’=Cr
として、Cb成分画素信号Cb’およびCr成分画素信号Cr’を第2マトリックス変換部75に出力する。
(2)S≦THsである場合、
色差補正部74は、
Cb’=ks×Cb
Cr’=ks×Cr
0≦ks≦1
として、Cb成分画素信号Cb’およびCr成分画素信号Cr’を第2マトリックス変換部75に出力する。
色差補正部74は、
Cb’=0
Cr’=0
とし、つまり、Cb成分値およびCr成分値を「0」(無彩色の信号)として、Cb成分画素信号Cb’およびCr成分画素信号Cr’を第2マトリックス変換部75に出力するようにしてもよい。
色差補正部74は、
Cb’=f(Cb)
Cr’=f(Cr)
とし、Cb成分画素信号Cb’およびCr成分画素信号Cr’を第2マトリックス変換部75に出力するようにしてもよい。なお、関数f(x)は、入力信号xのレベルを小さくする関数であれば、どのような関数でもあってもよい。
次に、第2実施形態について、説明する。
グレー相関値算出部4Aによるグレー画像領域用相関値算出処理について、以下、説明する。
(B1)グレー画像領域用垂直方向相関値Cv_gray
(B2)グレー画像領域用水平方向相関値Ch_gray
(B3)グレー画像領域用第1斜め方向相関値Cd1_gray
(B4)グレー画像領域用第2斜め方向相関値Cd2_gray
上記(B1)〜(B4)のグレー画像領域用の相関値の算出処理について、以下、説明する。
まず、グレー画像領域用垂直方向相関値Cv_grayの算出処理について、図36を用いて、説明する。
+abs(P22−P32)+abs(P32−P42)}×gv
+abs(P01−P11)+abs(P11−P21)
+abs(P21−P31)+abs(P31−P41)
+abs(P03−P13)+abs(P13−P23)
+abs(P23−P33)+abs(P33−P43)
Cv_gray=sum/(4+gv×2)
つまり、グレー相関値算出部4Aは、領域AR61の中心の列についての重み付けをゲイン値gvで調整することができる。例えば、図36に示すように、点線L1の左側の画像領域がカラー画像領域であり、点線L1の右側の画像領域がグレー画像領域である場合、グレー相関値算出部4Aは、境界検出部8から出力されるカラー領域/グレー領域境界部分についての情報により、カラー領域/グレー領域境界部分が点線L1に相当する部分であると判断し、領域AR61の中央列の差分値の比率(重み付け)が高くなるように、例えば、
gv=2
に設定する。これにより、グレー相関値算出処理において、領域AR61の中央列の重要度を上げて評価することができるようになるため、カラー領域/グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域/グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。
次に、グレー画像領域用水平方向相関値Ch_grayの算出処理について、図37を用いて、説明する。
+abs(P22−P23)+abs(P23−P24)}×gh
+abs(P10−P11)+abs(P11−P12)
+abs(P12−P13)+abs(P13−P14)
+abs(P30−P31)+abs(P31−P32)
+abs(P32−P33)+abs(P33−P34)
Ch_gray=sum/(4+gh×2)
つまり、グレー相関値算出部4Aは、領域AR71の中心の行についての重み付けをゲイン値ghで調整することができる。例えば、図37に示すように、点線L2の上側の画像領域がカラー画像領域であり、点線L2の下側の画像領域がグレー画像領域である場合、グレー相関値算出部4Aは、境界検出部8から出力されるカラー領域/グレー領域境界部分についての情報により、カラー領域/グレー領域境界部分が点線L2に相当する部分であると判断し、領域AR71の中央行の差分値の比率(重み付け)が高くなるように、例えば、
gh=2
に設定する。これにより、グレー相関値算出処理において、領域AR71の中央行の重要度を上げて評価することができるようになるため、カラー領域/グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域/グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。
次に、グレー画像領域用第1斜め方向相関値Cd1_grayの算出処理について、図38を用いて、説明する。
+abs(P10−P21)+abs(P21−P32)+abs(P32−P43)
+abs(P01−P12)+abs(P12−P23)+abs(P23−P34)
Cd1_gray=sum/(3+gd1×2)
つまり、グレー相関値算出部4Aは、中心ライン(図38のP00〜P44のライン)についての重み付けをゲイン値gd1で調整することができる。例えば、図38に示すように、点線L3の左側の画像領域がカラー画像領域であり、点線L3の右側の画像領域がグレー画像領域である場合、グレー相関値算出部4Aは、境界検出部8から出力されるカラー領域/グレー領域境界部分についての情報により、カラー領域/グレー領域境界部分が点線L3に相当する部分であると判断し、中央ライン(図38のP00〜P44のライン)の差分値の比率(重み付け)が高くなるように、例えば、
gd1=1.5
に設定する。これにより、グレー相関値算出処理において、中央ラインの重要度を上げて評価することができるようになるため、カラー領域/グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域/グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。
次に、グレー画像領域用第2斜め方向相関値Cd2_grayの算出処理について、図39を用いて、説明する。
+abs(P03−P12)+abs(P12−P21)+abs(P21−P30)
+abs(P14−P23)+abs(P23−P32)+abs(P32−P41)
Cd2_gray=sum/(3+gd2×2)
つまり、グレー相関値算出部4Aは、中心ライン(図39のP04〜P40のライン)についての重み付けをゲイン値gd2で調整することができる。例えば、図39に示すように、点線L4の左側の画像領域がカラー画像領域であり、点線L4の右側の画像領域がグレー画像領域である場合、グレー相関値算出部4Aは、境界検出部8から出力されるカラー領域/グレー領域境界部分についての情報により、カラー領域/グレー領域境界部分が点線L4に相当する部分であると判断し、中央ライン(図39のP04〜P40のライン)の差分値の比率(重み付け)が高くなるように、例えば、
gd2=1.5
に設定する。これにより、グレー相関値算出処理において、中央ラインの重要度を上げて評価することができるようになるため、カラー領域/グレー領域境界付近において、相関値評価の精度を高くすることができる。その結果、カラー領域/グレー領域境界付近における偽色発生等の副作用を適切に抑制することができる。
上記実施形態では、画素補間処理を実数演算により実行する場合を想定して説明している部分があるが、整数演算により、画素補間処理を実行するようにしてもよい。また、画素補間処理において、所定のビット数を使用した場合の制約や、所定のダイナミックレンジ内で処理を実行するために、適宜、ゲイン調整やクリップ処理を実行するようにしてもよい。
C1 撮像部
C2 信号処理部
100 画素補間処理部(画素補間処理装置)
1 信号補正部
2 カラー相関値算出部
3 彩度評価値算出部
4 グレー相関値算出部
5 画素補間法決定部
6 補間部
61 カラー画像用補間部
62 グレー画像用補間部
63 信号逆補正部
64 選択部
7 補正処理部
71 第1マトリックス変換部
72 色空間処理部
73 彩度取得部
74 色差補正部
75 第2マトリックス変換部
Claims (16)
- 異なる4色のフィルタであって、第1色フィルタ、第2色フィルタ、第3色フィルタおよび第4色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第1色フィルタを介して取得される第1色画素信号と、前記第2色フィルタを介して取得される第2色画素信号と、前記第3色フィルタを介して取得される第3色画素信号と、前記第4色フィルタを介して取得される第4色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う画素補間処理装置であって、
前記第1色画素信号、前記第2色画素信号、前記第3色画素信号、および、前記第4色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第1〜第4色画素信号から構成される画像信号を第1画像信号として出力する信号補正部と、
前記信号補正部から出力される前記第1画像信号に基づいて、前記第1画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出部と、
前記第1画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関度をグレー相関度として取得するグレー相関値算出部と、
前記第1〜第4色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する2方向の複数組の相関度をカラー相関度として取得するカラー相関値算出部と、
前記彩度評価値算出部により取得された前記彩度評価値と、前記グレー相関値算出部により取得されたグレー相関度と、前記カラー相関値算出部により取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第2画像信号を取得する補間部と、
前記補間部により取得された前記第2画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理部と、
を備える画素補間処理装置。 - 補間部は、
前記画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記第1〜第4色画素信号から構成される画像信号により形成される画像に対して、カラー画像用の画素補間処理を実行するカラー画像用補間部と、
前記画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記信号補正部から出力される前記第1画像信号により形成される画像に対して、グレー画像用の画素補間処理を実行するグレー画像用補間部と、
前記グレー画像用補間部により、グレー画像用の画素補間処理が実行された画像信号に対して、前記信号補正部により補正された信号レベルを、当該補正前の信号レベルと略同一となるように、信号レベルの逆補正を行う信号逆補正部と、
前記画素補間法決定部によりカラー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記カラー画像用の画素補間法により処理された画像信号を前記第2画像信号として取得し、前記画素補間法決定部によりグレー画像用の画素補間方法により画素補間処理を実行することが決定された場合、前記信号逆補正部により処理された画像信号を前記第2画像信号として取得し、取得した前記第2画像信号を前記補正処理部に出力する選択部と、
を備える、
請求項1に記載の画素補間処理装置。 - 前記補正処理部は、
前記補間部により取得された前記第2画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、RGB色空間の画像信号を取得する第1マトリックス変換部と、
前記第1マトリックス変換部により取得された前記RGB色空間の画像信号をYCbCr色空間の画像信号に変換する色空間処理部と、
前記前記第1マトリックス変換部により取得された前記RGB色空間の画像信号から、彩度信号を取得する彩度取得部と、
前記彩度取得部により取得された彩度信号に基づいて、前記色空間処理部により取得された前記YCbCr色空間の画像信号のCb成分信号およびCr成分信号に対して、補正処理を行う色差補正部と、
前記色空間処理部により取得された前記YCbCr色空間の画像信号のY成分信号と、前記色差補正部により補正された前記Cb成分信号および前記Cr成分信号とに対して、色空間変換を行うことで、RGB色空間の画像信号を取得する第2マトリックス変換部と、
を備える請求項1又は2に記載の画素補間処理装置。 - 前記第1〜第4色画素信号から構成される画像信号により形成される画像上におけるカラー画像領域とグレー画像領域との境界部分を検出する境界検出部をさらに備え、
前記グレー相関値算出部は、
前記境界検出部により検出された前記カラー画像領域とグレー画像領域との境界部分が、グレー相関度算出のための画像領域に含まれる場合、グレー相関度算出の対象としている相関方向と平行なライン上であって、前記グレー相関度算出のための画像領域内の中央の領域に含まれる画素について、重み付けを大きくすることで、当該画素のグレー相関度算出処理における影響度を強くして、前記グレー相関度を取得する、
請求項1から3のいずれかに記載の画素補間処理装置。 - 前記補間部は、
前記相関度に基づいて、相関の高い方向があると判定される場合において、
(1)画素補間処理の対象の第1色の色成分画素と同色の色成分画素と第2色の色成分画素が、画像上において、前記相関の高い方向に存在する場合、前記第2色の色成分画素の画素値を用いて前記相関の高い方向の変化率を第1変化率として取得し、前記注目画素の第1色成分画素値を、前記相関の高い方向に存在する第1色の色成分画素と、取得した前記第1変化率とに基づいて、取得することで、前記注目画素に対して、画素補間処理を行い、
(2)画素補間処理の対象の色成分画素と同色の色成分画素が、画像上において、前記相関の高い方向に存在していない場合、前記相関の高い方向と直交する方向において、色空間変換して、同一色相の色成分画素値を取得し、取得した色成分画素値の前記相関の高い方向と直交する方向の変化率を第2変化率として取得し、取得した前記第2変化率に基づいて、前記注目画素に対して画素補間処理を行う、
請求項1から4のいずれかに記載の画素補間処理装置。 - 前記補間部は、色空間変換して取得した同一色相の前記色成分画素値の前記第2変化率を、前記色成分画素値のラプラシアン成分量に基づいて算出する、
請求項5に記載の画素補間処理装置。 - 前記補間部は、
画素補間処理の対象の第1色の色成分画素と同色の色成分画素が、前記相関の高い方向である相関方向に存在せず、前記相関方向と直交する方向において、注目画素の位置をpos1とし、前記注目画素を挟む位置をpos0およびpos2とし、位置pos0の第1色成分画素値をP1とし、位置pos2の第1色成分画素値をP2とし、位置pos0、pos1、pos2から導出される前記第1色以外の色成分画素値から導出されるラプラシアン成分量をLapとし、ラプラシアン成分量の調整ゲインをgainとしたとき、前記注目画素の第1色の色成分値Poutを、
Pout=(P1+P2)/2−Lap×gain
により取得する、
請求項6に記載の画素補間処理装置。 - 前記補間部は、前記注目画素の第1の色成分の画素値を補間する場合であって、前記画素補間法決定部に決定された相関度の高い方向である相関方向において、前記注目画素を挟むように隣接する2つの第1の色成分の画素の画素値の平均値から、前記相関方向に配置されている複数の第2の色成分の画素値から算出したラプラシアン成分値を減算することで、前記注目画素の前記第1の色成分の画素値を補間する、
請求項1から7のいずれかに記載の画素補間処理装置。 - 前記補間部は、前記ラプラシアン成分値をゲイン調整し、ゲイン調整後の前記ラプラシアン成分を、前記注目画素を挟むように隣接する2つの第1の色成分の画素の画素値の平均値から減算することで、前記注目画素の前記第1の色成分の画素値を補間する、
請求項8に記載の画素補間処理装置。 - 前記グレー相関値算出部は、前記画像上における水平方向の相関度と垂直方向の相関度、および、第1斜め方向の相関度と前記第1斜め方向に直交する第2斜め方向の相関度を取得し、
前記カラー相関値算出部は、前記画像上における水平方向の相関度と垂直方向の相関度、および、第1斜め方向の相関度と前記第1斜め方向に直交する第2斜め方向の相関度を取得する、
請求項1から9のいずれかに記載の画素補間処理装置。 - 前記彩度評価値算出部は、注目画素を中心とする5画素×5画素の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得し、
前記グレー相関値算出部は、注目画素を中心とする5画素×5画素の画像領域において、前記相関度を取得し、
前記カラー相関値算出部は、注目画素を中心とする5画素×5画素の画像領域において、前記相関度を取得する、
請求項1から10のいずれかに記載の画素補間処理装置。 - 前記彩度評価値算出部は、
前記注目画素を中心とする5画素×5画素の画像領域に含まれる第1色の色成分画素の画素値の平均値をp00_color1とし、
前記注目画素を中心とする5画素×5画素の画像領域に含まれる第2色の色成分画素の画素値の平均値をp01_color2とし、
前記注目画素を中心とする5画素×5画素の画像領域に含まれる第3色の色成分画素の画素値の平均値をp10_color3とし、
前記注目画素を中心とする5画素×5画素の画像領域に含まれる第4色の色成分画素の画素値の平均値をp11_color4とし、
所定の色成分差分値を取得するための係数を、k01、k02、k03、k04、k11、k12、k13、k14とし、オフセット値を、offset0、offset1とすると、
に相当する処理を実行することで、2つの色成分差分値color_diff0およびcolor_diff1を取得し、
diff_ave_color
=abs(color_diff0)+abs(color_diff1)
abs(x):xの絶対値を取得する関数
に相当する処理を実行することで、平均色成分差分評価値diff_ave_colorを取得し、
取得した平均色成分差分評価値diff_ave_colorを用いて、前記画像領域の前記彩度評価値を取得する、
請求項11に記載の画素補間処理装置。 - 前記彩度評価値算出部は、
(1)前記注目画素を中心とする5画素×5画素の画像領域において、前記注目画素と、前記注目画素と垂直方向、水平方向、および、斜め方向に隣接する8つの画素との差に基づいて、全体評価値gl_colorを取得し、
(2)前記注目画素を中心とする5画素×5画素の画像領域において、垂直方向に隣接する、複数組の2つの画素を選択し、選択した2つの画素の画素値の差を、それぞれ、算出し、算出した複数組の2つの画素についての画素値の差に基づいて、垂直方向評価値v_colorを取得し、
(3)前記注目画素を中心とする5画素×5画素の画像領域において、水平方向に隣接する、複数組の2つの画素を選択し、選択した2つの画素の画素値の差を、それぞれ、算出し、算出した複数組の2つの画素についての画素値の差に基づいて、水平方向評価値h_colorを取得し、
(4)前記注目画素を中心とする5画素×5画素の画像領域において、第1斜め方向に隣接する、複数組の2つの画素を選択し、選択した2つの画素の画素値の差を、それぞれ、算出し、算出した複数組の2つの画素についての画素値の差に基づいて、第1斜め方向評価値d1_colorを取得し、
(5)前記注目画素を中心とする5画素×5画素の画像領域において、第1斜め方向と直交する第2斜め方向に隣接する、複数組の2つの画素を選択し、選択した2つの画素の画素値の差を、それぞれ、算出し、算出した複数組の2つの画素についての画素値の差に基づいて、第2斜め方向評価値d2_colorを取得し、
前記平均色成分差分評価値diff_ave_color、前記全体評価値gl_color、前記垂直方向評価値v_color、前記水平方向評価値h_color、前記第1斜め方向評価値d1_color、および、前記第2斜め方向評価値d2_colorの少なくとも1つに基づいて、前記画像領域の前記彩度評価値を取得する、
請求項12に記載の画素補間処理装置。 - 異なる4色のフィルタが所定のパターンで配列されている色フィルタを有し、被写体光から画像信号を取得する撮像部と、
前記画像信号に対して、画素補間処理を行う、請求項1から13のいずれかに記載の画素補間処理装置と、
を備える撮像装置。 - 異なる4色のフィルタであって、第1色フィルタ、第2色フィルタ、第3色フィルタおよび第4色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第1色フィルタを介して取得される第1色画素信号と、前記第2色フィルタを介して取得される第2色画素信号と、前記第3色フィルタを介して取得される第3色画素信号と、前記第4色フィルタを介して取得される第4色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う画素補間処理方法を、コンピュータに実行させるプログラムであって、
前記第1色画素信号、前記第2色画素信号、前記第3色画素信号、および、前記第4色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第1〜第4色画素信号から構成される画像信号を第1画像信号として出力する信号補正ステップと、
前記信号補正ステップから出力される前記第1画像信号に基づいて、前記第1画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出ステップと、
前記第1画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関度をグレー相関度として取得するグレー相関値算出ステップと、
前記第1〜第4色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する2方向の複数組の相関度をカラー相関度として取得するカラー相関値算出ステップと、
前記彩度評価値算出ステップにより取得された前記彩度評価値と、前記グレー相関値算出ステップにより取得されたグレー相関度と、前記カラー相関値算出ステップにより取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定ステップと、
前記画素補間法決定ステップにより決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第2画像信号を取得する補間ステップと、
前記補間ステップにより取得された前記第2画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理ステップと、
を備える画素補間処理方法を、コンピュータに実行させるプログラム。 - 異なる4色のフィルタであって、第1色フィルタ、第2色フィルタ、第3色フィルタおよび第4色フィルタが所定のパターンで配列されている色フィルタを有する撮像部により取得される画像信号であって、前記第1色フィルタを介して取得される第1色画素信号と、前記第2色フィルタを介して取得される第2色画素信号と、前記第3色フィルタを介して取得される第3色画素信号と、前記第4色フィルタを介して取得される第4色画素信号と、から構成される前記画像信号に対して、画素補間処理を行う集積回路であって、
前記第1色画素信号、前記第2色画素信号、前記第3色画素信号、および、前記第4色画素信号に対して、それぞれ、対応する色フィルタに応じて、信号レベルを補正し、補正後の前記第1〜第4色画素信号から構成される画像信号を第1画像信号として出力する信号補正部と、
前記信号補正部から出力される前記第1画像信号に基づいて、前記第1画像信号が形成する画像の所定の画像領域の彩度を評価し、前記画像領域の彩度評価値を取得する彩度評価値算出部と、
前記第1画像信号により形成される画像において、処理対象の画素である注目画素の周辺画像領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関度をグレー相関度として取得するグレー相関値算出部と、
前記第1〜第4色画素信号から構成される画像信号により形成される画像において、注目画素の周辺画像領域の同色の画素データを用いて、前記画像上において直交する2方向の複数組の相関度をカラー相関度として取得するカラー相関値算出部と、
前記彩度評価値算出部により取得された前記彩度評価値と、前記グレー相関値算出部により取得されたグレー相関度と、前記カラー相関値算出部により取得されたカラー相関度とに基づいて、前記注目画素の画素補間方法を決定する画素補間法決定部と、
前記画素補間法決定部により決定された前記画素補間方法により、前記注目画素に対して、画素補間処理を実行することで、前記画素補間処理後の画像信号である第2画像信号を取得する補間部と、
前記補間部により取得された前記第2画像信号に対して、前記色フィルタの配列パターンに応じた色空間変換を行うことで、所定の出力画像信号を取得する補正処理部と、
を備える集積回路。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013249475A JP6276569B2 (ja) | 2013-12-02 | 2013-12-02 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
PCT/JP2014/081119 WO2015083583A1 (ja) | 2013-12-02 | 2014-11-25 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
US15/161,954 US9787954B2 (en) | 2013-12-02 | 2016-05-23 | Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, and integrated circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013249475A JP6276569B2 (ja) | 2013-12-02 | 2013-12-02 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015106889A JP2015106889A (ja) | 2015-06-08 |
JP2015106889A5 JP2015106889A5 (ja) | 2017-01-12 |
JP6276569B2 true JP6276569B2 (ja) | 2018-02-07 |
Family
ID=53273346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013249475A Expired - Fee Related JP6276569B2 (ja) | 2013-12-02 | 2013-12-02 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9787954B2 (ja) |
JP (1) | JP6276569B2 (ja) |
WO (1) | WO2015083583A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6276580B2 (ja) * | 2013-12-20 | 2018-02-07 | 株式会社メガチップス | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
US11202045B2 (en) * | 2016-03-09 | 2021-12-14 | Sony Corporation | Image processing apparatus, imaging apparatus, image processing method, and program |
US10854136B2 (en) * | 2018-12-21 | 2020-12-01 | Lg Electronics Inc. | Organic light emitting diode display device |
CN110648643B (zh) * | 2019-09-30 | 2021-05-11 | 京东方科技集团股份有限公司 | 一种电压调节方法、装置及显示装置 |
JP2023010159A (ja) * | 2021-07-09 | 2023-01-20 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
US20230169689A1 (en) * | 2021-11-30 | 2023-06-01 | Texas Instruments Incorporated | Suppression of clipping artifacts from color conversion |
KR102523166B1 (ko) * | 2022-09-05 | 2023-04-18 | 옐로시스 주식회사 | 복수의 색 센서들을 포함하는 색 센서 어레이, 색 센서 어레이를 포함하는 전자 장치, 및 복수의 색 센서들 간의 영향을 저감함으로써 결과 정보를 획득하기 위한 동작 방법 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5805217A (en) * | 1996-06-14 | 1998-09-08 | Iterated Systems, Inc. | Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor |
EP0930789B1 (en) * | 1998-01-20 | 2005-03-23 | Hewlett-Packard Company, A Delaware Corporation | Colour image pickup device |
US7477803B2 (en) * | 2003-09-12 | 2009-01-13 | Canon Kabushiki Kaisha | Image processing apparatus |
KR20050062709A (ko) * | 2003-12-22 | 2005-06-27 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 그 방법 |
JP4352331B2 (ja) * | 2004-09-09 | 2009-10-28 | 富士フイルム株式会社 | 信号処理装置、信号処理方法及び信号処理プログラム |
JP4840740B2 (ja) | 2004-12-01 | 2011-12-21 | 株式会社メガチップス | 画素補間方法および画像判定方法 |
US7551214B2 (en) | 2005-12-01 | 2009-06-23 | Megachips Lsi Solutions Inc. | Pixel interpolation method |
JP5017597B2 (ja) | 2007-11-27 | 2012-09-05 | 株式会社メガチップス | 画素補間方法 |
JP2009290607A (ja) | 2008-05-29 | 2009-12-10 | Hoya Corp | 撮像装置 |
JP5076186B2 (ja) * | 2008-10-23 | 2012-11-21 | 株式会社メガチップス | 画像拡大方法 |
JP5326943B2 (ja) * | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP6239358B2 (ja) * | 2013-12-02 | 2017-11-29 | 株式会社メガチップス | 画素補間装置、撮像装置、プログラムおよび集積回路 |
-
2013
- 2013-12-02 JP JP2013249475A patent/JP6276569B2/ja not_active Expired - Fee Related
-
2014
- 2014-11-25 WO PCT/JP2014/081119 patent/WO2015083583A1/ja active Application Filing
-
2016
- 2016-05-23 US US15/161,954 patent/US9787954B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2015083583A1 (ja) | 2015-06-11 |
JP2015106889A (ja) | 2015-06-08 |
US20160269693A1 (en) | 2016-09-15 |
US9787954B2 (en) | 2017-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6276569B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP6239358B2 (ja) | 画素補間装置、撮像装置、プログラムおよび集積回路 | |
JP6012375B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP5454075B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US9542759B2 (en) | Image processing device, method of processing image, and image processing program including false color correction | |
JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5017597B2 (ja) | 画素補間方法 | |
JP4859220B2 (ja) | 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 | |
JP5076186B2 (ja) | 画像拡大方法 | |
US9679358B2 (en) | Pixel interpolation processing apparatus, imaging apparatus, interpolation processing method, and integrated circuit | |
US9401006B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5981824B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP5103580B2 (ja) | 画像処理装置およびデジタルカメラ | |
JP4334150B2 (ja) | 画像補間装置 | |
JP6552248B2 (ja) | 画像処理装置及び方法、撮像装置、並びにプログラム | |
JP2012100215A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6276581B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP4334151B2 (ja) | 画像補間装置 | |
JP4334152B2 (ja) | 画像補間装置 | |
JP4666786B2 (ja) | 画像補間装置 | |
JP4495355B2 (ja) | 画像補間装置 | |
JP2023013549A (ja) | 撮像装置、撮像方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6276569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |