JPWO2013161349A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2013161349A1 JPWO2013161349A1 JP2014512387A JP2014512387A JPWO2013161349A1 JP WO2013161349 A1 JPWO2013161349 A1 JP WO2013161349A1 JP 2014512387 A JP2014512387 A JP 2014512387A JP 2014512387 A JP2014512387 A JP 2014512387A JP WO2013161349 A1 JPWO2013161349 A1 JP WO2013161349A1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- low
- false color
- frequency signal
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 268
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims abstract description 193
- 230000008569 process Effects 0.000 claims abstract description 180
- 238000006243 chemical reaction Methods 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims description 113
- 238000004364 calculation method Methods 0.000 claims description 91
- 230000000630 rising effect Effects 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 description 44
- 239000003086 colorant Substances 0.000 description 18
- 238000012937 correction Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241001326510 Phacelia sericea Species 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Abstract
Description
図2(a)はRGB画素からなる従来の多くのカメラにおいて利用されているベイヤ配列である。
図2(b)は、最近のカメラで利用が進んでいるRGBW配列である。RGB各画素は、各々がRまたはGまたはBの各波長領域の光を選択的に透過するフィルタを備えた画素であり、W画素は、RGBの各波長光ほぼ全ての可視光を透過するフィルタを備えた画素である。
以下、この数画素程度の小さい面積のハイライト領域に発生する偽色を輝点偽色と呼ぶ。
例えば、図3(a)に示すように、ハイライト領域の面積が小さく、ハイライト領域の画素がほぼW画素とG画素のみで構成されている場合、G画素の画素値が、周囲のR画素やB画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れて緑色に着色する。
また、例えば、図3(b)に示すように、ハイライト領域の面積が小さく、ハイライト領域の画素がほぼW画素とR画素とB画素によって構成されている場合、R画素とB画素の画素値が、周囲のG画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れてマゼンタ色に着色する。
このように、高輝度部分であるハイライト領域に含まれる画素の構成によって様々なパターンの偽色、すなわち輝点偽色が発生すると考えられる。
パープルフリンジは、主にカメラに備えられたレンズの収差が原因であり、白飛びしているハイコントラストのエッジの周辺に発生する偽色である。
しかし、上述の輝点偽色は、必ずしも白飛びしていない画素領域でも発生するため、従来のパープルフリンジを低減する処理では対応できない場合が存在する。
RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出部と、
前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間部を有し、
前記補間処理部は、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置にある。
なお、閾値Thr1と閾値Thr2は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
画像処理装置において実行する画像処理方法であり
データ変換処理部が、RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理を実行し、
前記データ変換処理において、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間処理を実行し、
前記補間処理において、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出する画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり
データ変換処理部に、RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成させるデータ変換処理ステップを実行させ、
前記データ変換処理ステップにおいて、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間処理を実行させ、
前記補間処理において、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出させるプログラムにある。
具体的には、RGBW配列画像からRGB配列画像を生成するデータ変換処理に際して偽色画素を検出し、偽色画素であるか否かに応じて異なるRGBW各色対応の低域信号を算出し、算出した低域信号を適用した補間処理によりRGBW配列を変換してRGB配列画像を生成する。補間処理においては、W低域信号mWと、RGB各低域信号mR,mG,mBが局所領域で比例関係にあるとの仮定に基づいて各低域信号を利用して行う。低域信号は、注目画素が偽色画素である場合、注目画素近傍の画素値寄与率を離間画素より相対的に低くした係数を持つローパスフィルタを適用して算出する。
これらの処理により、RGBW配列画像をRGB配列に変換するリモザイク処理に併せて、画像の局所的ハイライト領域に発生する偽色の補正を実行し、偽色を除去または低減した高品質な画像を生成して出力することが可能となる。
1.本開示の画像処理装置の第1実施例の構成と処理について
2.偽色検出部と低域信号算出部の変形例について
3.本開示の画像処理装置の処理による効果について
4.本開示の構成のまとめ
本開示の画像処理装置は、RGB各色の波長光を選択的に透過するRGBフィルタに加え、RGB各波長光をすべて透過するホワイト(W:White)対応のフィルタを含むRGBW型のカラーフィルタを持つ撮像素子(イメージセンサ)の取得データに対する処理を行う。
図4は、本開示の画像処理装置の一実施例に係る撮像装置100の構成例を示す図である。撮像装置100は、光学レンズ105、撮像素子(イメージセンサ)110、信号処理部120、メモリ130、制御部140を有する。
赤色近傍の波長を透過する赤(R)、
緑色近傍の波長を透過する緑(G)、
青色近傍の波長を透過する青(B)、
RGBのほぼすべての波長光を透過するホワイト(W)、
これら4種類の分光特性を持つフィルタを備えた撮像素子である。
撮像素子(イメージセンサ)110の出力信号は信号処理部120のデータ変換処理部200に入力される。
なお、入力画素単位として設定する参照領域の大きさを7画素×7画素とする設定は一例であり、この大きさ以外の大きさの領域を入力画素単位(参照領域)として設定してもよい。
画素補間部203は、撮像素子110の出力であるRGBW配列181を持つ画像をRGB配列182となるように、入力画素単位領域の中心の画素を補間する。
なお、この補間処理においては、エッジ方向を考慮した参照画素の選択処理や、参照領域のW画素素とRGB画素の相関を利用する方法など既存の様々な方法が適用できる。
図6(a)には、画素変換対象とする注目画素であるW画素を中心とした入力画素単位(7×7画素領域)を示している。
例えば、参照領域のW画素の画素値に対するローパスフィルタ適用処理などによって低域信号mWを算出る。
同じく入力画素単位(参照領域)内のG画素からG画素の低域信号を算出する。これを低域信号mGとする。
G=mG/mW×w ・・・・(式1)
すなわち、本実施例において設定する7×7画素の参照領域のような狭い局所領域では図6(b)に示すようなW画素の低域信号mWとG画素の低域信号mGの比例関係が成立すると推定し、比例関係に基づいて、上記(式1)に従ってW画素位置のG画素値を推定する。
G画素をRまたはB画素に変換する処理、
R画素をB画素に変換する処理、
B画素をR画素に変換する処理、
これらの各処理が必要となる。
W画素の低域信号mWとG画素の低域信号mGとの比例関係、
W画素の低域信号mWとR画素の低域信号mRとの比例関係、
W画素の低域信号mWとB画素の低域信号mBとの比例関係、
これらの関係が成立すると仮定して、例えば、注目画素間変換先の画素色に応じて、参照領域のW画素をその画素色に設定して、注目画素の画素値を算出する。
なお、この補間処理は、本出願人の先の出願である特開2011−182354号公報に記載があり、本開示の画像処理装置においてもこの開示された処理を適用できる。
図5の偽色検出部201において、注目画素が輝点偽色画素であるか否かを判定し、この判定情報を低域信号算出部202に出力する。
画素補間部203は、低域信号算出部202から入力した低域信号mR,mG,mB,mWを適用して、RGBW画素配列をRGB画素配列に変換するリモザイク処理としての画素補間処理を行う。
なお、画素補間部203の実行する画素補間処理は、低域信号算出部202から入力した低域信号mR,mG,mB,mWを利用する以外は、本出願人の先の出願である特開2011−182354号公報に記載がある処理に従った処理となる。
先に図3を参照して説明したように輝点偽色は、例えば、図3(a)に示すように、局所領域、すなわち数画素程度の高輝度領域であるハイライト領域の画素がW画素とG画素のみである場合、G画素の画素値が、周囲のR画素やB画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れて緑色に着色する。
また、例えば、図3(b)に示すように、ハイライト領域の画素がW画素とR画素とB画素によって構成されている場合、R画素とB画素の画素値が、周囲のG画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れてマゼンタ色に着色する。このように、高輝度部分であるハイライト領域に含まれる画素の構成によって様々なパターンの偽色、すなわち輝点偽色が発生すると考えられる。
図7(a)〜(c)は、図3(a)と同様、緑色の偽色が発生するハイライト領域の構成例を示している。点線丸で囲んだ領域がハイライト領域を表している。
図7(a)〜(c)は、注目画素がハイライト領域に含まれる場合、すなわち、注目画素が輝点偽色画素である場合の例である。図7(a)〜(c)に示す点線丸で囲んだハイライト領域は、ほぼG画素とW画素によって構成されている。
図8、図9に示す処理例は、入力画素単位(7×7画素)の中心画素(注目画素)がW画素(W4)であり、中心画素(W4)の左隣接画素と下隣接画素がG画素である場合の処理例である。
out_up=(W0+2×W1+W2)/4 ・・・(式2a)
in_up=(W3+2×W4+W5)/4 ・・・(式2b)
in_dn=(W6+2×W7+W8)/4 ・・・(式2c)
out_dn=(W9+2×W10+W11)/4 ・・・(式2d)
out_up、in_up、in_dn、out_dnは、いずれも、7×7画素の入力画素単位である参照領域内の斜め右下がり方向の複数のW画素の画素値の平均値や重み付け加算によって生成するW画素低周波信号である。
すなわち、各斜め右下がり方向ライン対応のW画素低周波信号である。
in_up、in_dnは、参照領域の中心に最近接する2つの斜め右下がりライン[上側ライン(in_up)、下側ライン(in_dn)]、各ラインの3つのW画素に基づくW画素低周波信号である。
out_upはin_upの上方向に隣接する斜め右下がりラインの3つのW画素に基づくW画素低周波信号である。
out_dnはin_dnの下方向に隣接する斜め右下がりラインの3つのW画素に基づくW画素低周波信号である。
中心に近い2つのW画素低周波信号in_up、in_dnの最大値max(in_up,in_dn)と、
中心から遠い値2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff1を算出する。
Diff1=max(in_up,in_dn)−max(out_up,out_dn)
Diff1>Thr1 ・・・・・(式3)
max(A,B)は、AとBの大きい値を返す関数、
Thr1は閾値、
である。
なお、閾値Thr1は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
図8(1c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、in_up、in_dn、out_dn、および閾値Thr1の対応例を示している。
Diff1>Thr1 ・・・・・(式3)
上記(式3)を満たす場合は、さらに、参照領域の斜め右下がり方向のW画素の画素値を用いた判定処理を行う。
図9(2a)は図8(1a)と同様、中心のW画素(W4)の左と下にG画素が位置する7×7画素の参照領域を示している。
in_up=(W2+W3)/2 ・・・(式4b)
center=(W4+W5)/2 ・・・(式4c)
in_dn=(W6+W7)/2 ・・・(式4d)
out_dn=(W8+W9)/2 ・・・(式4e)
out_up、in_up、center,in_dn、out_dnは、いずれも、参照領域内の斜め右上がり方向の複数のW画素の画素値の平均値や重み付け加算によって算出するW画素低周波信号である。
本処理例では、斜め右上がり方向の2つのW画素の画素値を1:1の割合で重み付け加算した値である。
in_upはcenterの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
in_dnはcenterの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_upはin_upの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_dnはin_dnの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
中心に近い3つのW画素低周波信号in_up、center,in_dnの最大値max(in_up,center,in_dn)と、
中心から遠い値2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff2を算出する。
Diff2=max(in_up,center,in_dn)−max(out_up,out_dn)
Diff2>Thr2 ・・・・・(式5)
max(A,B,C)は、AとBとCの中で最も大きい値を返す関数、
Thr2は閾値、
である。
なお、閾値Thr2は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
図9(2c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、in_up、center,in_dn、out_dn、および閾値Thr2の対応例を示している。
前述の(式3)と(式5)の2つの判定式の双方を満足する場合、注目画素が偽色発生画素であると判定し、いずれか一方でも満足しない場合は、注目画素が偽色発生画素でないと判定する。
Diff1>Thr1 ・・・・・(式3)
Diff2>Thr2 ・・・・・(式5)
上記の2つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部202に出力する。
次に、図10、図11を参照して、入力画素単位である7×7画素の中心画素(注目画素)がW画素であり、中心W画素の右と上にG画素が隣接する場合の偽色判定処理例について説明する。
out_up=(W0+2×W1+W2)/4 ・・・(式6a)
in_up=(W3+2×W4+W5)/4 ・・・(式6b)
in_dn=(W6+2×W7+W8)/4 ・・・(式6c)
out_dn=(W9+2×W10+W11)/4 ・・・(式6d)
out_up、in_up、in_dn、out_dnは、いずれも、参照領域内の斜め右下がり方向の複数のW画素の画素値に基づくW画素低周波信号である。
本処理例では、斜め右下がり方向の3つのW画素の画素値を1:2:1の割合で重み付け加算した値である。
in_up、in_dnは、参照領域の中心に最近接する2つの斜め右下がりライン[上側ライン(in_up)、下側ライン(in_dn)]、各ラインの3つのW画素に基づくW画素低周波信号である。
out_upはin_upの上方向に隣接する斜め右下がりラインの3つのW画素に基づくW画素低周波信号である。
out_dnはin_dnの下方向に隣接する斜め右下がりラインの3つのW画素に基づくW画素低周波信号である。
中心に近い2つのW画素低周波信号in_up、in_dnの最大値max(in_up,in_dn)と、
中心から遠い2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff1を算出する。
Diff1=max(in_up,in_dn)−max(out_up,out_dn)
Diff1>Thr1 ・・・・・(式7)
max(A,B)は、AとBの大きい値を返す関数、
Thr1は閾値、
である。
図10(3c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、in_up、in_dn、out_dn、および閾値Thr1の対応例を示している。
Diff1>Thr1 ・・・・・(式7)
上記(式7)を満たす場合は、さらに、参照領域の斜め右下がり方向のW画素の画素値を用いた判定処理を行う。
図11(4a)は図10(3a)と同様、中心のW画素(W5)の右と上にG画素が位置する7×7画素の参照領域を示している。
in_up=(W2+W3)/2 ・・・(式8b)
center=(W4+W5)/2 ・・・(式8c)
in_dn=(W6+W7)/2 ・・・(式8d)
out_dn=(W8+W9)/2 ・・・(式8e)
out_up、in_up、center,in_dn、out_dnは、いずれも、参照領域内の斜め右上がり方向の複数のW画素の画素値に基づくW画素低周波信号である。
本処理例では、斜め右上がり方向の2つのW画素の画素値を1:1の割合で重み付け加算した値である。
in_upはcenterの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
in_dnはcenterの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_upはin_upの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_dnはin_dnの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
中心に近い3つのW画素低周波信号in_up、center,in_dnの最大値max(in_up,center,in_dn)と、
中心から遠い値2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff2を算出する。
Diff2=max(in_up,center,in_dn)−max(out_up,out_dn)
Diff2>Thr2 ・・・・・(式9)
max(A,B,C)は、AとBとCの中で最も大きい値を返す関数、
Thr2は閾値、
である。
図11(4c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、in_up、center,in_dn、out_dn、および閾値Thr2の対応例を示している。
前述の(式7)と(式9)の2つの判定式の双方を満足する場合、注目画素が偽色発生画素であると判定し、いずれか一方でも満足しない場合は、注目画素が偽色発生画素でないと判定する。
Diff1>Thr1 ・・・・・(式7)
Diff2>Thr2 ・・・・・(式9)
上記の2つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部202に出力する。
(A)中心画素がW画素であり、中心W画素の左と下にG画素が隣接する場合(図8、図9)、
(B)中心画素がW画素であり、中心W画素の右と上にG画素が隣接する場合(図10、図11)、
これらの各場合において、緑色の輝点偽色が発生しているか否かを判定する処理例を説明した。
(1)斜め右下がりラインの複数のW画素の画素値に基づいて算出する差分値Diff1と閾値Thr1との比較処理、
(2)斜め右上がりラインの複数のW画素の画素値に基づいて算出する差分値Diff2と閾値Thr2との比較処理、
これらの2つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が輝点偽色画素であると判定する。
偽色検出部201は、これらの判定処理を実行し、判定結果を低域信号算出部202に出力する。
図13、図14に示す処理例は、入力画素単位(7×7画素)の中心画素(注目画素)がR画素である場合の処理例である。
図13は、斜め右下がりラインの複数のW画素の画素値に基づいて算出する差分値Diff1と閾値Thr1との比較処理、
図14は、斜め右上がりラインの複数のW画素の画素値に基づいて算出する差分値Diff2と閾値Thr2との比較処理、
これらの処理例を示している。
参照領域の中心に近い位置から複数の斜め右下がりラインを設定し、各ライン上の複数のW画素値を用いてW画素の低周波信号、すなわちW低域信号を算出して、より中心に近い複数ラインの最大W低周波信号値と、中心から遠い複数ラインの最大W低周波信号値との差分値を算出する。すなわち4つの斜め右下がりラインに直交する斜め右上がり方向のW画素の差分値をDiff1として算出する。さらに、算出した差分値Diff1と予め既定した閾値Thr1とを比較する。
mid_up=(W2+W3)/2 ・・・(式10b)
in_up=(W4+W5)/2 ・・・(式10c)
in_dn=(W6+W7)/2 ・・・(式10d)
mid_dn=(W8+W9)/2 ・・・(式10e)
out_dn=(W10+W11)/2 ・・・(式10f)
out_up、mid_up,in_up、in_dn、mid_dn,out_dnは、いずれも、参照領域内の斜め右上がり方向の複数のW画素の画素値の平均値や重み付け加算によって算出するW画素低周波信号である。
本処理例では、斜め右上がり方向の2つのW画素の画素値を1:1の割合で重み付け加算した値である。
in_dnは中心R画素の下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
mid_upはin_upの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
mid_dnはin_dnの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_upはmid_upの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_dnはmid_dnの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
中心に近い4つのW画素低周波信号mid_up,in_up、in_dn,mid_dnの最大値max(mid_up,in_up,in_dn,mid_dn)と、
中心から遠い値2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff2を算出する。
Diff2=max(mid_up,in_up,in_dn,mid_dn)−max(out_up,out_dn)
Diff2>Thr2 ・・・・・(式11)
max(A,B,C)は、AとBとCの中で最も大きい値を返す関数、
Thr2は閾値、
である。
なお、閾値Thr2は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
図14(6c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、mid_up,in_up、in_dn、mid_dn,out_dn、および閾値Thr2の対応例を示している。
Diff1>Thr1
Diff2>Thr2
上記の2つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部202に出力する。
図15は、斜め右下がりラインの複数のW画素の画素値に基づいて算出する差分値Diff1と閾値Thr1との比較処理、
図16は、斜め右上がりラインの複数のW画素の画素値に基づいて算出する差分値Diff2と閾値Thr2との比較処理、
これらの処理例を示している。
Diff1>Thr1、
Diff2>Thr2、
上記の2つの式の双方を満たすか否かの判定を行い、満たす場合、注目画素は輝点偽色画素であると判定する。
上記2つの式の少なくともいずれかを満たさな場合は、注目画素は輝点偽色画素でないと判定し、判定結果を低域信号算出部へ202に出力する。
(1)注目画素近傍に設定した複数の斜め右下がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff1と閾値Thr1との比較処理。
(2)注目画素近傍に設定した複数の斜め右上がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff2と閾値Thr2との比較処理。
偽色検出部201は、これらの判定処理を実行し、判定結果を低域信号算出部202に出力する。
低域信号算出部202は、画素補間部203で使用するR画素、G画素、B画素のいずれかの低域信号(mR,mG,mB)と、W画素の低域信号(mW)をそれぞれ算出する。
この第2のローパスフィルタ(LPF)係数は、変換対象となる注目画素位置、すなわち7×7の入力画素単位である参照領域の中心に近い画素に対する係数を小さく設定した係数である。この処理は、ハイライト領域にある画素値の影響を抑えて補間画素値を算出するための処理である。
このような処理を行うことで、ハイライト領域の画素値の影響を抑制し、偽色の低減を図っている。
注目画素が偽色画素であると判定された場合は、注目画素に近い領域の参照画素の画素値寄与率を低く設定し、注目画素から遠い周辺領域の参照画素の画素値寄与率を高く設定したローパスフィルタ(LPF)係数を適用した低域信号算出処理を行う。
注目画素が偽色画素でないと判定された場合は、注目画素に近い領域の参照画素の画素値寄与率を高く設定し、注目画素から遠い周辺領域の参照画素の画素値寄与率を低く設定したローパスフィルタ(LPF)係数を適用した低域信号算出処理を行う。
図17に示す例は、入力画素単位の中心画素がW画素であり、中心のW画素の左と下にG画素が位置する場合のG信号の低域信号mGの算出処理に適用するLPFの設定例である。
一方、中心画素である注目画素が偽色画素であると判定された場合には、G低域信号mGは、参照領域の中心に近いG画素値の反映が0または抑制された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、G低域信号mGは、参照領域の中心に近いG画素値の反映が0または抑制された値となる。
この他の入力単位画素設定の場合の様々な低域信号mR,mG,mB,mWの算出処理においても、低域信号算出部202は、やはり同様の処理を実行して低域信号算出処理を行う。
すなわち、参照領域の中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたLPF係数を設定したローパスフィルタ適用処理を実行して、低域信号mR,mG,mB,mWの算出処理を実行する。
一方、中心画素である注目画素が偽色画素であると判定された場合には、B低域信号mBは、参照領域の中心に近いB画素値の反映が0または抑制された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、R低域信号mRは、参照領域の中心に近いR画素値の反映が0または抑制された値となる。
W画素をG画素に変換する処理、
G画素をRまたはB画素に変換する処理、
R画素をB画素に変換する処理、
B画素をR画素に変換する処理、
これらの各処理を行う。
W画素の低域信号mWとG画素の低域信号mGとの比例関係、
W画素の低域信号mWとR画素の低域信号mRとの比例関係、
W画素の低域信号mWとB画素の低域信号mBとの比例関係、
これらの関係が成立すると仮定して、例えば、注目画素間変換先の画素色に応じて、参照領域のW画素をその画素色に設定して、注目画素の画素値を算出する。
この処理に際して、低域信号算出部202から入力するRGBW各信号の低域信号mR,mG,mB,mWを適用する。
次に、ステップS102でDiff1と閾値Thr1とを比較する。
参照領域の中心に近い位置から複数の斜め右下がりラインを設定し、各ライン上の複数のW画素値を用いてW低域信号を算出して、より中心に近い複数ラインの最大W低周波信号値と、中心から遠い複数ラインの最大W低周波信号値との差分値を算出する。すなわち4つの斜め右下がりラインに直交する斜め右上がり方向のW画素の差分値をDiff1として算出する。
さらに、算出した差分値Diff1と予め既定した閾値Thr1とを比較する。
Diff1が閾値Thr1より大きい場合(Yes)には、ステップS103へ進む。Diff1が閾値Thr1より大きくない場合(No)には、ステップS106へ進む。
例えば図17(1b)、図18(2b)に示すように、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
Diff1が閾値Thr1より大きいと判定された場合(Yes)には、ステップS103へ進む。
この場合は、注目画素が輝点偽色発生画素である可能性があると判定された場合である。この場合は、ステップS103に進む。
次に、ステップS104でDiff2と閾値Thr2とを比較する。
参照領域の中心に近い位置から複数の斜め右上がりラインを設定し、各ライン上の複数のW画素値を用いてW低域信号を算出して、より中心に近い複数ラインの最大W低周波信号値と、中心から遠い複数ラインの最大W低周波信号値との差分値を算出する。すなわち例えば5つの斜め右上がりラインに直交する斜め右下がり方向のW画素の差分値をDiff2として算出する。
さらに、算出した差分値Diff2と予め既定した閾値Thr2とを比較する。
Diff2が閾値Thr2より大きい場合(Yes)には、ステップS105へ進む。Diff2が閾値Thr2より大きくない場合(No)には、ステップS106へ進む。
例えば図17(1b)、図18(2b)に示すように、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
Diff2が閾値Thr2より大きいと判定された場合(Yes)には、ステップS105へ進む。
この場合は、注目画素が輝点偽色発生画素であると判定された場合である。この場合は、ステップS105に進む。
例えば図17(1c)、図18(2c)に示すように、注目画素に近い参照画素のLPF係数を相対的に低く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
この処理は、図5に示す画素補間部203の実行する処理である。
一方、注目画素が輝点偽色でないと判定された場合は、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により生成した低域信号を用いた補間処理を行う。
なお、図21に示す処理は、例えば図4に示すメモリ130に格納されたプログラムに従って、制御部140の制御の下で実行される。
上述した実施例において、偽色検出部201は、図21のフローにおけるステップS102の判定処理、すなわち、
Diff1>Thr1、
さらに、ステップS104の判定処理、すなわち、
Diff2>Thr2、
これらの2つの判定式が満足する場合に、注目画素が輝点偽色の発生画素であると判定していた。
図23には、G信号の低域信号mGの算出に適用するLPF係数の設定例を示している。
図23(a)〜(g)は、それぞれ図22(a)〜(g)のハイライト領域に対応して利用する低域信号mGの算出に適用するLPF係数の設定例である。
Lは相対的に低いLPF係数の設定画素、
Hは相対的に高いLPF係数の設定画素、
これらを示している。
例えば、図22(a)に示す4画素のハイライト領域が検出された場合、図23(a)に示すLPF係数の設定で入力画素単位を畳み込み演算することにより、所望の低域信号を得る。
図23(a)に示すLPF係数は、図22(a)に示すハイライト領域内のG画素位置の係数のみがLであり、その他のG画素位置の係数はHとなっている。
このような係数を適用したローパスフィルタを利用して低域信号mGを算出することで、ハイライト領域のG画素値の影響を低減した低域信号mGを算出できる。
図25には、B信号の低域信号mBの算出に適用するLPF係数の設定例を示している。
図25(a)〜(h)は、それぞれ図24(a)〜(h)のハイライト領域に対応して利用する低域信号mBの算出に適用するLPF係数の設定例である。
Lは相対的に低いLPF係数の設定画素、
Hは相対的に高いLPF係数の設定画素、
これらを示している。
例えば、図24(a)に示す4画素のハイライト領域が検出された場合、図25(a)に示すLPF係数の設定で入力画素単位を畳み込み演算することにより、所望の低域信号を得る。
図25(a)に示すLPF係数は、図24(a)に示すハイライト領域内のB画素位置の係数のみがLであり、その他のB画素位置の係数はHとなっている。
このような係数を適用したローパスフィルタを利用して低域信号mBを算出することで、ハイライト領域のB画素値の影響を低減した低域信号mBを算出できる。
この処理により、ハイライト領域の計所に応じた最適な低域信号の算出が可能となり、ハイライト領域の画素値の寄与率を低くした最適な画素補間が実現される。
図26に示すフローチャートは、先に説明した図21に示すフローと同様、RGBW配列をRGB配列に変換する場合の1つの変換対象画素に対する処理シーケンスであり、変換対象画素を含む参照画素領域、例えば7×7画素領域を入力してデータ変換処理部において実行する処理である。各処理画素に対して、図26に示すフローに従った処理が順次実行されることになる。
以下に各ステップについて説明する。
次に、ステップS202において、ステップS201で検出した高画素値のW画素配置パターンが、予めメモリに登録済みのハイライト領域のパターンに一致するか否かを判定する。メモリには、例えば図22(a)〜(g)に示すハイライト領域パターンが登録されている。
これらの処理は、図5に示す偽色検出部201の実行する処理である。
この場合は、注目画素が輝点偽色でないと判定された場合であり、ステップS204へ進み、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部203で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号mR,mG,mB,mWの少なくとも1つ以上の低域信号を算出する。
例えば図17(1b)、図18(2b)に示すように、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
この低域信号算出処理は、図5に示す低域信号算出部202の処理である。
低域信号算出部202は、偽色検出部201から、高画素値のW画素配置パターンと一致する登録パターン情報を入力し、この情報に応じて、その登録パターンに対応するLPF係数を設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
高画素値のW画素配置パターンと一致する登録パターンが、その他の図22(b)〜(g)である場合も同様であり、それぞれの場合において、図23(b)〜(g)に示す注目画素に近い参照画素のLPF係数を相対的に低く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
この処理は、図5に示す画素補間部203の実行する処理である。
一方、注目画素が輝点偽色でないと判定された場合は、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により生成した低域信号を用いた補間処理を行う。
なお、図26に示す処理は、例えば図4に示すメモリ130に格納されたプログラムに従って、制御部140の制御の下で実行される。
上述した本開示の画像処理装置の処理を行うことで、例えば以下の効果が得られる。
(a)木漏れ日などの撮像面において小さい面積で発生する偽色を低減することができる。
(b)パープルフリンジなどのように白飛びしていない場合でも偽色を低減することが可能となる。
(c)光学ローパスフィルタを用いて解像度を落とす方法と比較して、画質の劣化が少ない補正ができる。
(d)デモザイク前のRAWデータに適用することができるため、イメージセンサ内などに組み込むことが可能である。
(e)カラーフィルタにホワイト画素を含んだ配列の画像に対して適用することが可能である。
例えば、これらの効果を奏することができる。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出部と、
前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間部を有し、
前記補間処理部は、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置。
(3)前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素でないとの検出情報を入力した場合、注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に高くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する前記(1)または(2)に記載の画像処理装置。
(5)前記偽色検出部は、注目画素近傍のW画素の勾配情報を検出し、2つの直交方向のいずれにおいても注目画素近傍のW画素値が周囲W画素値より高い場合に、前記注目画素が局所的な高輝度領域である局所的ハイライト領域に含まれ、該注目画素が偽色画素であると判定する前記(1)〜(4)いずれかに記載の画像処理装置。
具体的には、RGBW配列画像からRGB配列画像を生成するデータ変換処理に際して偽色画素を検出し、偽色画素であるか否かに応じて異なるRGBW各色対応の低域信号を算出し、算出した低域信号を適用した補間処理によりRGBW配列を変換してRGB配列画像を生成する。補間処理においては、W低域信号mWと、RGB各低域信号mR,mG,mBが局所領域で比例関係にあるとの仮定に基づいて各低域信号を利用して行う。低域信号は、注目画素が偽色画素である場合、注目画素近傍の画素値寄与率を離間画素より相対的に低くした係数を持つローパスフィルタを適用して算出する。
これらの処理により、RGBW配列画像をRGB配列に変換するリモザイク処理に併せて、画像の局所的ハイライト領域に発生する偽色の補正を実行し、偽色を除去または低減した高品質な画像を生成して出力することが可能となる。
105 光学レンズ
110 撮像素子(イメージセンサ)
120 信号処理部
130 メモリ
140 制御部
181 RGBW配列
182 RGB配列
183 カラー画像
200 データ変換処理部
201 偽色検出部
202 低域信号算出部
203 画素補間部
Claims (11)
- RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出部と、
前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間部を有し、
前記補間処理部は、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置。 - 前記低域信号算出部は、
前記偽色検出部から注目画素が偽色画素であるとの検出情報を入力した場合、
前記注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項1に記載の画像処理装置。 - 前記低域信号算出部は、
前記偽色検出部から注目画素が偽色画素でないとの検出情報を入力した場合、
注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に高くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項1に記載の画像処理装置。 - 前記偽色検出部は、
前記入力画像における局所的な高輝度領域である局所的ハイライト領域の存在の有無を検出し、注目画素が局所的ハイライト領域に含まれる場合に、該注目画素を偽色画素であると判定する請求項1に記載の画像処理装置。 - 前記偽色検出部は、
注目画素近傍のW画素の勾配情報を検出し、2つの直交方向のいずれにおいても注目画素近傍のW画素値が周囲W画素値より高い場合に、前記注目画素が局所的な高輝度領域である局所的ハイライト領域に含まれ、該注目画素が偽色画素であると判定する請求項1に記載の画像処理装置。 - 前記偽色検出部は、
(a)注目画素近傍に設定した複数の斜め右下がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff1と閾値Thr1との比較処理、
(b)注目画素近傍に設定した複数の斜め右上がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff2と閾値Thr2との比較処理、
を実行し、
上記(a),(b)の2つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が偽色画素であると判定する請求項1に記載の画像処理装置。 - 前記偽色検出部は、
前記入力画像における局所的な高輝度領域である局所的ハイライト領域にW画素とG画素が集中する場合、または、前記局所的ハイライト領域にW画素とR画素とB画素が集中する場合に発生する偽色の検出を行う請求項1に記載の画像処理装置。 - 前記偽色検出部は、
前記入力画像から画素値の高いW画素を検出し、
検出した高画素値のW画素構成パターンと、予めメモリに記録された局所的高輝度領域形状である登録ハイライト領域パターンとを比較し、
検出した高画素値のW画素構成パターンが、前記登録ハイライト領域パターンに一致する場合に、前記高画素値のW画素構成パターンに含まれる画素を偽色画素であると判定する請求項1に記載の画像処理装置。 - 前記低域信号算出部は、
前記偽色検出部が高画素値のW画素構成パターンに一致すると判定した登録ハイライト領域パターンに応じて、ハイライト領域の画素値寄与率をハイライト領域外の画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項8に記載の画像処理装置。 - 画像処理装置において実行する画像処理方法であり
データ変換処理部が、RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理を実行し、
前記データ変換処理において、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間処理を実行し、
前記補間処理において、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出する画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり
データ変換処理部に、RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成させるデータ変換処理ステップを実行させ、
前記データ変換処理ステップにおいて、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間処理を実行させ、
前記補間処理において、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012098544 | 2012-04-24 | ||
JP2012098544 | 2012-04-24 | ||
PCT/JP2013/053455 WO2013161349A1 (ja) | 2012-04-24 | 2013-02-14 | 画像処理装置、および画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013161349A1 true JPWO2013161349A1 (ja) | 2015-12-24 |
JP6020556B2 JP6020556B2 (ja) | 2016-11-02 |
Family
ID=49482691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014512387A Active JP6020556B2 (ja) | 2012-04-24 | 2013-02-14 | 画像処理装置、および画像処理方法、並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US9288457B2 (ja) |
EP (1) | EP2843947B1 (ja) |
JP (1) | JP6020556B2 (ja) |
CN (1) | CN104247409B (ja) |
WO (1) | WO2013161349A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI422020B (zh) * | 2008-12-08 | 2014-01-01 | Sony Corp | 固態成像裝置 |
US9288457B2 (en) | 2012-04-24 | 2016-03-15 | Sony Corporation | Image processing device, method of processing image, and image processing program including false color correction |
JP5968944B2 (ja) * | 2014-03-31 | 2016-08-10 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法 |
KR102280452B1 (ko) * | 2014-11-05 | 2021-07-23 | 삼성디스플레이 주식회사 | 표시장치 및 그의 구동방법 |
EP3043558B1 (en) | 2014-12-21 | 2022-11-02 | Production Resource Group, L.L.C. | Large-format display systems having color pixels and white pixels |
KR102329440B1 (ko) | 2015-10-01 | 2021-11-19 | 에스케이하이닉스 주식회사 | 칼라 필터 어레이의 변환 방법 및 장치 |
KR102480600B1 (ko) * | 2015-10-21 | 2022-12-23 | 삼성전자주식회사 | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 |
JP6758859B2 (ja) * | 2016-03-01 | 2020-09-23 | キヤノン株式会社 | 撮像装置、撮像システム、および画像処理方法 |
WO2017154293A1 (ja) * | 2016-03-09 | 2017-09-14 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
CN106970085A (zh) * | 2017-05-08 | 2017-07-21 | 广东工业大学 | 一种湿度指示纸质量检测系统及方法 |
US10337923B2 (en) * | 2017-09-13 | 2019-07-02 | Qualcomm Incorporated | Directional interpolation and cross-band filtering for hyperspectral imaging |
JP6980492B2 (ja) * | 2017-11-13 | 2021-12-15 | キヤノン株式会社 | 撮像装置及び撮像システム |
TWI638339B (zh) * | 2017-11-14 | 2018-10-11 | 瑞昱半導體股份有限公司 | 錯色移除方法 |
JP6953297B2 (ja) * | 2017-12-08 | 2021-10-27 | キヤノン株式会社 | 撮像装置及び撮像システム |
CN108711396B (zh) | 2018-05-30 | 2020-03-31 | 京东方科技集团股份有限公司 | 像素数据的处理方法及处理装置、显示装置及显示方法 |
CN113536820B (zh) * | 2020-04-14 | 2024-03-15 | 深圳爱根斯通科技有限公司 | 位置识别方法、装置以及电子设备 |
KR20220036014A (ko) | 2020-09-15 | 2022-03-22 | 삼성전자주식회사 | 이미지 센싱 시스템 |
JP2022122682A (ja) * | 2021-02-10 | 2022-08-23 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム |
US11778337B2 (en) | 2021-11-09 | 2023-10-03 | Samsung Electronics Co., Ltd. | Image sensor and method for sensing image |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01133492A (ja) * | 1987-11-19 | 1989-05-25 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2002077928A (ja) * | 2000-08-25 | 2002-03-15 | Sharp Corp | 画像処理装置 |
JP2002262299A (ja) * | 2001-02-28 | 2002-09-13 | Seiko Epson Corp | 偽色除去装置、偽色除去プログラム、偽色除去方法およびデジタルカメラ |
JP2011055038A (ja) * | 2009-08-31 | 2011-03-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2011045849A1 (ja) * | 2009-10-13 | 2011-04-21 | キヤノン株式会社 | 撮像装置 |
JP2011091483A (ja) * | 2009-10-20 | 2011-05-06 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2011182354A (ja) * | 2010-03-04 | 2011-09-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012060602A (ja) * | 2010-09-13 | 2012-03-22 | Konica Minolta Opto Inc | 撮像装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4479457B2 (ja) | 2004-05-27 | 2010-06-09 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
CN100576924C (zh) * | 2004-05-27 | 2009-12-30 | 索尼株式会社 | 图像处理设备和图像处理方法 |
JP5106870B2 (ja) * | 2006-06-14 | 2012-12-26 | 株式会社東芝 | 固体撮像素子 |
JP4930109B2 (ja) * | 2007-03-06 | 2012-05-16 | ソニー株式会社 | 固体撮像装置、撮像装置 |
JP5349790B2 (ja) | 2007-11-16 | 2013-11-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5574615B2 (ja) * | 2009-04-20 | 2014-08-20 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
US9699429B2 (en) * | 2012-03-27 | 2017-07-04 | Sony Corporation | Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image |
US9288457B2 (en) | 2012-04-24 | 2016-03-15 | Sony Corporation | Image processing device, method of processing image, and image processing program including false color correction |
-
2013
- 2013-02-14 US US14/395,095 patent/US9288457B2/en active Active
- 2013-02-14 JP JP2014512387A patent/JP6020556B2/ja active Active
- 2013-02-14 WO PCT/JP2013/053455 patent/WO2013161349A1/ja active Application Filing
- 2013-02-14 CN CN201380020652.5A patent/CN104247409B/zh active Active
- 2013-02-14 EP EP13781172.5A patent/EP2843947B1/en active Active
-
2016
- 2016-02-02 US US15/012,935 patent/US9542759B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01133492A (ja) * | 1987-11-19 | 1989-05-25 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2002077928A (ja) * | 2000-08-25 | 2002-03-15 | Sharp Corp | 画像処理装置 |
JP2002262299A (ja) * | 2001-02-28 | 2002-09-13 | Seiko Epson Corp | 偽色除去装置、偽色除去プログラム、偽色除去方法およびデジタルカメラ |
JP2011055038A (ja) * | 2009-08-31 | 2011-03-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2011045849A1 (ja) * | 2009-10-13 | 2011-04-21 | キヤノン株式会社 | 撮像装置 |
JP2011091483A (ja) * | 2009-10-20 | 2011-05-06 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2011182354A (ja) * | 2010-03-04 | 2011-09-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012060602A (ja) * | 2010-09-13 | 2012-03-22 | Konica Minolta Opto Inc | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US9288457B2 (en) | 2016-03-15 |
EP2843947A1 (en) | 2015-03-04 |
CN104247409B (zh) | 2016-10-12 |
JP6020556B2 (ja) | 2016-11-02 |
EP2843947A4 (en) | 2016-01-13 |
US20150103212A1 (en) | 2015-04-16 |
WO2013161349A1 (ja) | 2013-10-31 |
US9542759B2 (en) | 2017-01-10 |
EP2843947B1 (en) | 2020-11-04 |
CN104247409A (zh) | 2014-12-24 |
US20160210760A1 (en) | 2016-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6020556B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US11244209B2 (en) | Image processing device, imaging device, and image processing method | |
JP4914303B2 (ja) | 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム | |
US9179113B2 (en) | Image processing device, and image processing method, and program | |
JP5454075B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP4144630B2 (ja) | 撮像装置 | |
JP6012375B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP5011814B2 (ja) | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム | |
JP5206796B2 (ja) | 画像入力装置 | |
JP2013219705A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2011182354A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2012239103A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
WO2014073386A1 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
JP5771677B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP2013055623A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
JP2012099903A (ja) | 画像処理装置、画像処理方法、撮像装置 | |
JP2014158267A (ja) | カラーフィルタ、撮像素子、画像処理装置および画像処理方法 | |
JP6415093B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010178226A (ja) | 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム | |
JP4962293B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5981824B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP6552248B2 (ja) | 画像処理装置及び方法、撮像装置、並びにプログラム | |
JP2013055622A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
TW201408083A (zh) | 可調適抑制錯色假影的系統及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6020556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |