JPWO2018061615A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JPWO2018061615A1 JPWO2018061615A1 JP2018542031A JP2018542031A JPWO2018061615A1 JP WO2018061615 A1 JPWO2018061615 A1 JP WO2018061615A1 JP 2018542031 A JP2018542031 A JP 2018542031A JP 2018542031 A JP2018542031 A JP 2018542031A JP WO2018061615 A1 JPWO2018061615 A1 JP WO2018061615A1
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- color
- imaging
- imaging signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 525
- 238000012937 correction Methods 0.000 claims abstract description 316
- 238000012545 processing Methods 0.000 claims abstract description 102
- 238000000926 separation method Methods 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 230000003321 amplification Effects 0.000 claims description 88
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 88
- 230000002596 correlated effect Effects 0.000 claims description 47
- 238000012935 Averaging Methods 0.000 claims description 33
- 235000019557 luminance Nutrition 0.000 claims description 20
- 230000009467 reduction Effects 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 12
- 239000003086 colorant Substances 0.000 abstract description 50
- 238000012423 maintenance Methods 0.000 abstract description 29
- 238000010586 diagram Methods 0.000 description 87
- 238000001514 detection method Methods 0.000 description 51
- 230000002093 peripheral effect Effects 0.000 description 44
- 238000000034 method Methods 0.000 description 42
- 238000006243 chemical reaction Methods 0.000 description 41
- 239000011159 matrix material Substances 0.000 description 31
- 230000000295 complement effect Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 230000035945 sensitivity Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000006872 improvement Effects 0.000 description 11
- 230000000873 masking effect Effects 0.000 description 10
- 230000007547 defect Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000011109 contamination Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
ところで、単板カラーカメラでは、RGBゲインおよびリニアマトリックス等を用いて、電気的に色調補正を行っている(特許文献4参照)。
さらに、被写体の照明の色温度に比例してRGBゲインおよびリニアマトリクスを可変している(特許文献5参照)。
しかしながら、RGBゲインおよびリニアマトリックスでは、画素ごとに特定の色相を検出し、画素ごとに特定の色相を補正する12色マスキングの様に、細かい調整が困難である。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段を有し、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
RG1G2Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することを特徴とする撮像装置である。
G映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、の少なくとも一方の手段を有し、
色温度を検出(算出)する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、
RGB映像信号の増幅度を可変する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素撮像信号が主で増幅度大では周囲R画素撮像信号の中央値が主と)した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、のいずれか一方を有することを特徴とする撮像装置である。
RGBの3板と色分解光学系からのRGBの信号を信号処理する手段を有し、少なくとも明部もR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有し、
R−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することを特徴とする撮像装置。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
色温度を検出(算出)する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段と、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号を本線の映像信号とする雑音低減手段と、のいずれか一方を有することを特徴とする撮像装置。
G映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、のいずれか一方を有することを特徴とする撮像装置である。
以下、彩度により色調補正方向を可変させる独立色調補正を図1Aと図1Bと図2を用いて説明する。
図1Aと図1Bは本発明のテレビジョンカメラの一実施例を示すブロック図である。
図1Aはガンマ前マトリクスであり、図1Bはガンマ後マトリクスである。
被写体からの入射光はレンズ部31で結像され、結像された入射光はテレビジョンカメラ30のプリズム(色分解光学系)部32で赤色光と緑色光および青色光に分解され、各々CCD(Charge Coupled Device/電荷結合素子)33R,33G,33B,33G1,33G2+AFE(アナログフロントエンドプロセッサ)又はCMOS(Complementary Metal Oxide Semiconductor)撮像素子で光電変換される。光電変換されたR/G/Bの信号はCCDではAFE(アナログフロントエンドプロセッサ)でCMOS撮像素子では内部で、相関二重サンプリング、ゲイン補正、およびアナログ−デジタル変換を行い、色相彩度検出補正機能付きの映像信号処理部の35に送られ、色調補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理が行われる。
Y=0.2126R+0.7152G+0.0722B Pb=0.5389(B−Y) Pr=0.6350(R−Y)のBT.709の計算式等により、R/G/Bから輝度信号(Y)と色差信号(Pb/Pr)に変換する。そしてパラレル−シリアル変換部7でシリアル映像信号に変換され、外部に出力される。記載しないITU/BT.2020の計算式でYとPb/Prに変換しても構わない。
図3Aは、まず、減算器1、2、3により、入力映像信号R、G、Bから色差信号R−G、R−B、G−Bの演算を行ない、その結果を色相領域の判定回路4と、彩度成分量と原色成分量及び補色成分量判定回路5に供給し、彩度成分量と原色成分量及び補色成分量とを判定する。
そこで、この減算器1、2、3による演算結果により、まず色相領域の判定回路4では、図5に示すようにして、色相領域の判定を行なう。図5は、この色相領域の概念図で、中心点から各色方向に向かう直線を基準線として、これにより6個の色相領域に区切ったものである。
つまり、本発明の他の一実施例の6色独立彩度連続可変色調補正のカラーベクトル波形上の動作を示す模式図の図17の彩度で方向連続可変の色調補正の色調補正を実現する詳細構成を示すブロック図が本発明の一実施例の色相検出補正部の構成を示すブロック図の図3Aである。
判定回路4による色相領域の判定結果は定数選択回路6に供給され、判定結果に応じて特定の利得定数が選択され、それが乗算器7、8に供給されることにより、彩度成分量と原色成分量及び補色成分量判定回路5で判定された原色成分量及び補色成分量にそれぞれ乗算されることにより補正が行なわれる。このため、定数選択回路6には、予め領域1から領域6までのそれぞれの色相領域に対応した特定の利得定数が設定してある。
こうして乗算器7、8により利得定数が乗算された原色成分量及び補色成分量は、加算・減算の選択及び映像信号R、G、Bに対する接続選択を行なうためのデータ選択加算回路11に、一方では直接、他方では補数器(−1倍乗算器)9、10を介して、それぞれ供給される。そして、このデータ選択加算回路11により加算先が選択された上で各加算器12、13、14に供給され、映像信号R、G、Bに加算されることになる。
色差を全て算出してから判定し、係数を算出しても良いし、判定しながら、色差を算出しても良く、順番は不問である。
また、信号Yeの彩度方向の補正を行なう場合、補色成分量G−Bに特定の定数Kyを乗じてからRとGにそれぞれ加算することになる。このときも、定数Kyによる比率が−1倍から1倍の範囲であれば、この補正によっても、最大レベルと中間レベルのレベル差(原色成分量)、及び最小レベルの量(白成分量)は変化しない。
さらに本発明では、最大値と最小値判定後原色(最大値)と白(最小値)との差の彩度を算出し、彩度に応じて係数を算出する。
図17A及びと図17A及びとと図16Aの様に、彩度に応じて係数を算出は、直線変化となる。
図15Dの様に、彩度に応じて係数を選択は、階段変化となる。
本発明の一実施例の6色内外独立色調補正のカラーベクトル波形上の動作を示す模式図の図15A、図16A、図17Aでは、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持とが独立に調整できるため、色域の変換時の色調補正の自由度が高くなる。
図3Bは、本発明の他の一実施例の色相検出補正部の構成を示すブロック図である。図3Bは、図15Aの内側と外側で異なる方向の色調補正と図16Aの内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する色調補正とを実現する詳細構成を示すブロック図である。
図3Bは、図3Aから定数選択回路24が変更されている。定数選択回路24により、図15Dの内側と外側で階段状に異なる方向の色調補正と図16Aの内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する色調補正とを実現する。
彩度により階段状に可変の動作では、図3Bの定数選択回路24の動作である図7Dの彩度係数の処理のように、色差算出し最大値と最小値判定後最大値と最小値と彩度に応じて係数を選択し、彩度により階段状に彩度係数が可変すれば良い。
彩度に応じて係数を算出が曲線変化は後述する。
特に、内外の彩度への相関はベクトルチャートの6色ポイントの彩度に対応して可変する方が、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
まず図9Aと図9Bと図9Cは、本発明の一実施形態例で、15は中間色色相設定回路、17はα/β、β/α算出回路、18は定数選択回路、19,20,26は乗算器、21はデータ選択加減算回路であり、その他は図3に示した技術と同じである。
図9Aは、図17Bの独立12色や図17Cの独立24色等の彩度に色調補正の量と方向が線形相関の実施形態のブロック図で、図9Bは、図17Bの独立12色や図17Cの独立24色等の彩度の累乗に色調補正の量と方向が相関の実施形態のブロック図で、図9Cは、図15Bの独立12色や図15Cの独立24色等の内外で方向可変の色調補正の実施形態のブロック図である。
また図15Bは本発明の他の一実施例の12色内外独立色調補正のカラーベクトル波形上の動作を示す模式図であり、図15Cは本発明の他の一実施例の24色内外独立色調補正のカラーベクトル波形上の動作を示す模式図である。
α/β、β/α算出回路17は、中間色色相設定回路15から与えられるデータにより、所定の定数α/β、β/αを算出する働きをする。なお、これらの定数α/β、β/αについては後述する。定数選択回路18は、制御信号Sに応じて定数α/β、β/αの何れか一方を選択して出力する働きをする。
ここで本発明は、6色独立に加え肌色独立あるいは12色独立又は16色独立又は18色独立又は24色独立等の6色より多い内外独立色調補正機能などの、どのような中間色の補正にも適用可能であるが、特に肌色の補正に適用される場合が多いと考えられる。そこで、この実施形態例では、以下、主として、肌色の補正を例に挙げて説明する。そうすると、この肌色の色相はRとYeの間の領域、すなわち、領域6に位置するので、これらの図10、11ではR(赤)からYe(黄)の領域6だけを示し、ここで肌色の色相は点Fで表わされることになる。
そこで、この点を、図示のように、補助基準色Fとし、そのデータを、上記したように、中間色色相設定回路15に設定する。
原色成分量=R−G=Rc、補色成分量=G−B=Yc
<領域(1)での補正処理>このときは、各回路からの出力は以下の通りとなる。まず、定数選択回路18では定数β/αが選択され、この定数β/αが乗算器19、20に出力される。次に、データ選択加減算回路21からは信号〔Rc−Yc×(β/α)〕、信号(−Yc)、それに信号〔Yc×(β/α)〕が出力される。さらに、定数選択回路6では定数Kr、Kfが選択され、これらの定数Kr、Kfが乗算器7、8に出力される。
A=R1+F1次に、Rの彩度方向調整専用の利得定数をKrとし、肌色の彩度方向調整専用の利得定数をKfとすると、Rの彩度方向の色調補正を行なう場合には、|R1|×KrをRの彩度方向に加算、つまりRに加算してやれば良く、肌色の彩度方向の色調補正を行なう場合には、|F1|×Kfを肌色彩度方向に加算してやれば良い。
従って、θ=20°のときは、β/α=1.8794になるが、これを≒2.0とすると、このときの補正は、Rの彩度方向の色調補正については、(Rc−2×Yc)×KrをRに加算すればよく、肌色の彩度方向の色調補正については、−Yc×KfをBに加算し、2×Yc×KfをRに加算すればよい。そして、β/αを変えることにより、肌色の基準軸を調整することができる。
以上は彩度方向の補正についての説明であるが、色度方向の補正に対しても同様の概念が適用できるため、説明は省略する。
そして、これらの結果、データ選択加算回路11からは、まず、信号〔Rc×Kf〕が加算器12に出力されて信号Rに加算され、次に、信号−〔Yc−Rc×(α/β)〕×Ky−Kf×〔Rc×(α/β)〕が加算器14に出力されて信号Bに加算されることになる。
C=Y1+F2 次に、Yeの彩度方向調整専用の利得定数をKyとし、肌色の彩度方向調整専用の利得定数をKfとすると、Yeの彩度方向の色調補正には、|Y1|×KyをBから減算してやれば良く、肌色の彩度方向の色調補正には、|F2|×Kfを肌色彩度方向に加算してやれば良い。
C=Y×Yc+R×Rc =Y×Yc+(1/β)×(F−α×Y)×Rc =F×Rc/β+Y×(Yc−α×Rc/β) となり、
よって、|Y1|=Yc−α×Rc/β|F2|=Rc/β となる。
ここで、F×Rc/βをベクトルRとベクトルBで表現すると、F×Rc/β=(α×(−B)+β×R)×Rc/β=−B×(α×Rc/β)+R×Rcとなる。
次に、肌色の彩度方向の色調補正を行なう場合には、|F2|×Kfを肌色彩度方向に加算するのであるが、このことは(−α×Rc/β)×KfをBに加算し、Rc×KfをRに加算することに等しい。
以上は、彩度方向の補正についての説明であるが、色度方向の補正に対しても同様の概念が適用できるため、説明は省略する。
従って、この実施形態例によれば、RとYeへの影響を最小限に押さえ、肌色に対して有効な色調補正を行なうことができ、テレビジョンカメラを切換えたときなどでの違和感を確実に無くすことができる。
彩度に応じて係数を算出は、直線変化となる。
彩度に応じて係数を選択は、階段変化となる。
つまり、6色独立に加え肌色独立あるいは12色独立又は16色独立又は18色独立又は24色独立等などの6色より多い独立色調補正し、彩度に対応して色調補正の方向と量とを可変する方が、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
図9Bは本発明の他の一実施例の色相彩度検出補正部の構成を示すブロック図であり、図9Aに乗算器21,22,23が追加されている。図9Bでは、彩度により曲線状に可変の動作に対応するため、彩度成分を累乗して、データ選択加減算回路21に印加している。図9Bでは、乗算器21,22,23の3ケであり彩度成分の3乗であるが、図示しない乗算器が2ケの2乗でも、図示しない乗算器が2ケの4乗でも良い。
彩度で方向可変の色調補正により、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
また、図16Aと図16Bは、ベクトルチャートの6色ポイントを固定で表示しているが、広色域と狭色域の変換時のベクトルチャートの6色ポイント移動に対応して、彩度内外の閾値を可変しても良いし、画素ごとに内外の彩度への相関を可変するでも良い。
本発明の一実施例の6色内外独立色調補正方式による色調補正処理では、ベクトルチャートのR、G、B、Cy、Ye、Mgの6色ポイントの彩度に対応して、彩度に色調補正の量と方向が線形相関の係数が、色相により変化する。
彩度で方向可変の色調補正により、広色域と狭色域の変換時の色調補正において、色域周辺の純色周辺の色相彩度の変換と色域中心部の白周辺の色相彩度の保持との調整がより自然に調整できるため自由度が高くなる。
なお、上記実施形態例では、色相の範囲をRとYeに限定して説明したが、本発明は、任意の色相に適用可能なことは、言うまでもなく、また、基準色の種類や数についても任意に設定可能なことは、言うまでもない。
色相の範囲をRとYeに限定は、6色内外独立に加え肌色独立の色調補正の動作であり、6色内外独立に加え肌色独立の色調補正の動作に限らず、12色彩度独立色調補正あるいは16色内外独立色調補正の動作又は18色内外独立色調補正の動作又は24色内外独立色調補正の動作でも良い。
図1Aと図1Bは本発明のテレビジョンカメラの一実施例を示すブロック図である。図1Aはガンマ前マトリクスであり、図1Bはガンマ後マトリクスである。図3Cは本発明の一実施例の色相検出補正部の構成を示すブロック図で、色温度検出と6色独立色調補正の色調補正を実現する詳細構成を示すブロック図である。また、本発明の一実施例として、図1Aと図1Bに色温度検出(算出)が追加されている。色温度検出(算出)は、図3Cの左端に示すゲート部41、過大信号削除部42、ピーク検出部43で構成されている。
図7Aは、本発明の一実施例の色調補正処理の周囲8画素の中央値を算出し補間する詳細構成を示すブロック図である。B撮像信号を周囲B画素中央値に補間して色調補正用のB映像信号とし、B撮像信号の中心画素撮像信号を維持と周囲B画素撮像信号の中央値と中心画素撮像信号との平均と周囲B画素撮像信号の中央値とに切替して本線用のB映像信号とする。
算出した画面の色温度の逆数を含めたB増幅度により、B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のB画素映像信号とする。B撮像信号の中心画素撮像信号を維持と中心画素維持と周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲B画素撮像信号中央値とに切替して本線用のB画素映像信号とする。算出した画面の色温度の逆数を含めたB増幅度に相関した重みづけ加算平均とする。
算出した画面の色温度含めたR増幅度により、色調補正用のR画素映像信号は周囲R画素の中央値と中心画素との重みづけ加算平均で補間である。R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。R撮像信号の中心画素撮像信号を維持と中心画素維持と周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲R画素撮像信号中央値とに切替して本線用のR画素映像信号とする。算出した画面の色温度を含めたR増幅度に相関した重みづけ加算平均とする。
G増幅度により、色調補正用のG映像信号は周囲G画素の中央値と中心画素との重みづけ加算平均で補間である。G撮像信号を周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。G撮像信号の中心画素撮像信号を維持と中心画素維持と周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲G画素撮像信号中央値とに切替して本線用のG画素映像信号とする。G増幅度に相関した重みづけ加算平均とする。
図7Aと図7Bと図7Cと図7Dと図7Eと図7Fの周囲画素信号選択部9において、5と6はラインメモリ、7は映像信号切替器、8は遅延器である。ラインメモリ5と6は0Hの撮像信号から1H2Hの撮像信号を生成し、0Hの白キズ補間信号から1H,2Hの白キズ補間信号を生成する。映像信号切替器7は、0H,1H,2Hの撮像信号を選択して撮像信号の周囲画素信号を生成し、0H,1H,2Hの白キズ補間信号を選択して白キズ補間信号の周囲画素信号を生成する。ラインメモリ5と6の替わりに図示しないフレームメモリでも良い。
そして、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定15からの白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)に応じて白キズの周囲画素での補間部の切替器29で、撮像信号を、撮像信号の周囲画素中央値、中央画素と周囲画素中央値との平均、画素の中央値と中心画素との重みづけ平均のいずれかに補間して本線の映像信号とする。
そして、非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域から、本線の映像信号においても、Rは中央画素と周囲画素中央値との平均に補間し、Bは周囲画素中央値に補間しても、視特性では目立たない。本線の映像信号をクロマキーに用いる場合は、本線の映像信号は補間せずに、色調補正信号のみ補間すれば、色調補正による雑音増加が目立たない。
図18Bにおいて、
200%の中央画素と周囲画素中央値との平均は、(3328+4096)÷2=3712、となり、
50%の中央画素と周囲画素中央値との平均は、(1280+1024)÷2=1152、となり、
12.5%の中央画素と周囲画素中央値との平均は、(448+256)÷2=352、となる。
また、増幅度に相関した重みづけ平均で補間した信号を本線の映像信号とすれば、より雑音低減効果が大きい。しかし、補間した信号を本線の映像信号とすれば、色帯域も低下してしまうので、色再現よりも、実行感度優先用となる。
非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域に合わせて暗部も明部も、R撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段、又は RGB映像信号の増幅度を可変する手段を有し、暗部も明部も、R撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素撮像信号との増幅度に相関(増幅度小では中心B画素の撮像信号が主で増幅度大では周囲B画素の撮像信号の中央値が主と)した重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段、のいずれか一つの色調補正手段を有することを特徴とする撮像装置である。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、等のG映像信号に対しR映像信号とB映像信号との帯域を半減させる手段を有し R撮像信号をY画素で一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号をY画素で一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する、色調補正手段とのいずれか一つの色調補正手段を有することを特徴とする撮像装置である。
特に、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号を周囲B画素撮像信号の中央値で補間すれば、色調補正の色帯域も非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域に近似させることができる。
G映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、の少なくとも一方の手段を有し、
RGB映像信号の増幅度を可変する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、を有することを特徴とする撮像装置である。
つまり、本線信号の色帯域維持と、色調補正の改善と実行S/Nの維持とを両立することにおいて、実行S/Nの維持を優先する発明である。
特に、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号を周囲B画素撮像信号の中央値で補間すれば、本線信号の色帯域も非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域に近似させることができる。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
つまり、本線信号の色帯域維持よりも、実行S/Nの維持を優先する発明である。ニュース取材や監視用途に適した発明である。
また、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号を周囲B画素撮像信号の中央値で補間すれば、本線信号の色帯域も非特許文献1のY:R−Y:B−Yは3:1:0.7=4.3:1.4:1の視特性色帯域に近似させることができる。
図1Aと図1Bは本発明のテレビジョンカメラの一実施例を示すブロック図である。図1Aはガンマ前マトリクスであり、図1Bはガンマ後マトリクスである。図3Cは本発明の一実施例の色相検出補正部の構成を示すブロック図で、色温度検出と6色独立色調補正の色調補正を実現する詳細構成を示すブロック図である。
また、本発明の一実施例として、図1Aと図1Bに色温度検出が追加されている。
色温度検出は、図3Cの左端に示すゲート部41、過大信号削除部42、ピーク検出部43で構成されている。
図1Aと図1Bのプリズム(色分解光学系)32と撮像素子33R,33G,33Bは、図1Cの様に、プリズム(色分解光学系)32と撮像素子33R,33G,33G2,33Bの様に、4板撮像素子R,G1,G2,Bでも良い。
また、図1Dの様に、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子47の単板でも良い。
図1CはR,G1,G2,Bの4板撮像素子と色分解光学系を用いたカメラでガンマ前マトリクスであり、R,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段を有している。図1Dはベイヤ配列のオンチップカラーフィルタ付撮像素子の単板カメラでガンマ後マトリクスであり、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子とその信号を処理する手段を有している。図1EはRGBの3板撮像素子と色分解光学系を用いたカメラでガンマ前マトリクスである。
G撮像信号を中心画素撮像信号を維持し色調補正用の映像信号とし、G撮像信号の中心画素撮像信号を維持と周囲G画素撮像信号の中央値と中心画素撮像信号との平均と周囲G画素撮像信号の中央値とに切替して本線用のG映像信号とする。色温度で可変と共通である。
B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のB画素映像信号とする。B撮像信号の中心画素撮像信号を維持と中心画素維持と周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲B画素撮像信号中央値とに切替して本線用のB画素映像信号とする。算出した画面の色温度の逆数を含めたB増幅度に相関した重みづけ加算平均とする。
R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。R撮像信号の中心画素撮像信号を維持と中心画素維持と周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲R画素撮像信号中央値とに切替して本線用のR画素映像信号とする。算出した画面の色温度を含めたR増幅度に相関した重みづけ加算平均とする。
G撮像信号を周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。G撮像信号の中心画素撮像信号を維持と中心画素維持と周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲G画素撮像信号中央値とに切替して本線用のG画素映像信号とする。G増幅度に相関した重みづけ加算平均とする。
また、図18Dは、本発明の他の一実施例の中央画素を中央画素と周囲画素中央値との3:1の加重平均で補間の動作を示す模式図であり、中央値の雑音やや小で数値がやや小さく異なっている場合に有効である。
14bitの16384を800%とすると、12bitの4096は200%となり、10bitの1024は50%となり、8bitの256は12.5%となる。
200%の中央画素と周囲画素中央値との1:3の平均は、(1280×1+4096×3)÷4=3392、となり、
50%の中央画素と周囲画素中央値との平均は、(1920×1+1024×3)÷4=1248、となり、
12.5%の中央画素と周囲画素中央値との平均は、(512×1+256×3)÷2=320、となる。
200%の中央画素と周囲画素中央値との3:1の平均は、(3700×3+4096×1)÷4=3799、となり、
50%の中央画素と周囲画素中央値との平均は、(1150×3+1024×1)÷4=1118.5≒1119、となり、
12.5%の中央画素と周囲画素中央値との平均は、(372×3+256×1)÷2=343、となる。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はRG1G2Bの4板撮像素子と色分解光学系とその信号を処理する手段を有し、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することと、
RGBの3板と色分解光学系からのRGBの信号を信号処理する手段を有し、少なくとも明部もR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することと、
のいずれか一つの映像信号処理手段と色調補正手段とを有することを特徴とする撮像装置である。
少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(中央値のみを含む)で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(中央値のみを含む)で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
図3Cにおいて、白バランス調整は、赤R、緑G、青Bの各映像信号が、白色被写体の撮像時に1:1:1となるように各色映像信号の利得を調整または撮像素子の感度を調整するようになされている。図3Cの左端に示す白バランス検出回路が用いられており、ゲート部41で映像信号の高輝度部分を抜出し、過大信号削除部42で照明や太陽等の過大なレベルの高輝度部分を削除し、ピーク検出部43より、赤R、緑G、青B各映像信号のピーク値RpとGpとBpを検出し、各映像信号のピーク値が等しくなるように赤、青信号の利得を調整する方式が用いられている。
Y=(0.0000005*X6−0.000002*X5−0.00006*X4+0.0006*X3
+0.0096*X2−0.1445*X+3.1848)*1000 なお、Xは、赤と青の利得差=(Rg−Bg)dB である。
固体撮像素子の品種により異なるが、およそ3200K程度の低色温度では、Rの撮像信号の感度はGの撮像信号の感度と同程度でBの撮像信号の感度はGの撮像信号の感度の半分以下であり、感度が低い分増幅度を上げるため、雑音は感度に反比例し、Rの撮像信号の雑音はGの撮像信号の雑音と同程度でBの撮像信号の雑音はGの撮像信号の雑音の倍以上である。およそ5600K程度の中色温度では、RとBの撮像信号の感度はGの撮像信号の感度より少し低く、RとBの撮像信号の雑音はGの撮像信号の雑音より少し多い。およそ10000K程度の高色温度では、Rの撮像信号の感度はGの撮像信号の感度の半分以下でBの撮像信号の感度はGの撮像信号の感度と同程度であり、Rの撮像信号の雑音はGの撮像信号の雑音倍以上でBの撮像信号の雑音はGの撮像信号の雑音と同程度である。
したがって、色温度に相関し増幅度に相関した重みづけ平均で補間した信号から色調補正信号を生成すれば、雑音低減効果が大きい。
G映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、の少なくとも一方の手段を有し、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段を有し、
色温度を検出(算出)する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置である。
特に、低照度の撮影条件で、Gも高感度となり、G映像信号も雑音が多い時に有効である。色調補正の色帯域維持よりも、実行S/Nの維持を優先する発明である。ニュース取材に適した発明である。
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号を本線の映像信号とする雑音低減手段を有し、
色温度を検出(算出)する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
特に、低照度の撮影条件で、Gも高感度となり、G映像信号も雑音が多い時に有効である。つまり、本線信号の色帯域維持よりも、実行S/Nの維持を優先する発明である。監視用途に適した発明である。
図1Aと図1Bと図1Eのプリズム32と撮像素子33R,33G,33Bは、図1Cの様に、プリズム32と撮像素子33R,33G,33G2,33Bの様に、4板撮像素子でも良い。また、図1Dの様に、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子47でも良い。
図1C、図1D、図1Eは本発明のテレビジョンカメラの一実施例を示すブロック図である。図1Cはガンマ前マトリクスであり、図1Dはガンマ後マトリクスである。
また、本発明の一実施例として、図1Cと図1Dに色温度検出が追加されている。
色温度検出は、図3Cの左端に示すゲート部41、過大信号削除部42、ピーク検出部43で構成されている。
G撮像信号を中心画素撮像信号を維持し色調補正用の映像信号とし、G撮像信号の中心画素撮像信号を維持と周囲G画素撮像信号の中央値と中心画素撮像信号との平均と周囲G画素撮像信号の中央値とに切替して本線用のG映像信号とする。色温度で可変と共通である。
B撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のB画素映像信号とする。B撮像信号の中心画素撮像信号を維持と中心画素維持と周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲B画素撮像信号中央値とに切替して本線用のB画素映像信号とする。算出した画面の色温度の逆数を含めたB増幅度に相関した重みづけ加算平均とする。
R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。R撮像信号の中心画素撮像信号を維持と中心画素維持と周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲R画素撮像信号中央値とに切替して本線用のR画素映像信号とする。算出した画面の色温度を含めたR増幅度に相関した重みづけ加算平均とする。
G撮像信号を周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均で補間して色調補正用のR画素映像信号とする。G撮像信号の中心画素撮像信号を維持と中心画素維持と周囲G画素撮像信号の中央値と中心画素撮像信号との重みづけ加算平均と周囲G画素撮像信号中央値とに切替して本線用のG画素映像信号とする。G増幅度に相関した重みづけ加算平均とする。
R,G1,G2,Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR色差のR−(G1+G2),G1,G2,B色差のB−(G1+G2)又はR色差のR−(Y1+Y2),Y1,Y2,B色差のB−(Y1+Y2)又はR色差のR−G1,G1,G2,B色差のB−G2又はR色差のR−Y1,Y1,Y2,B色差のB−Y2又はR色差のR−G2,G1,G2,B色差のB−G1又はR色差のR−Y2,Y1,Y2,B色差のB−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することと、ことを特徴とする撮像装置である。
特に、R撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号を周囲B画素撮像信号の中央値で補間すれば、色調補正の色帯域も視特性色帯域に近似させることができる。
G映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段を有することを特徴とする撮像装置である。
また、色温度又は増幅度に相関し本線映像信号を中央値と中心画素との重みづけ平均することによって、本線信号の色帯域維持よりも、色調補正の改善と実行S/Nの維持を優先する用途に適用できる。特に、低照度の撮影条件で、Gも高感度となり、G映像信号も雑音が多い用途に有効である。監視用途、ニュース取材用途、学術用途などに有効である。
Claims (7)
- 固体撮像素子を有する撮像装置において、G映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、少なくとも明部をR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間し、少なくとも明部をB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置。
- 固体撮像素子を有する撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段を有し、少なくとも明部をR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部をB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はB撮像信号を周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置。 - 請求項2の撮像装置において、
R,G1,G2,Bと4系統の色ごとの伝送(いわゆるDG伝送)する手段あるいはR−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することを特徴とする撮像装置。 - 請求項1乃至請求項3撮像装置において、
G映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、の少なくとも一方の手段を有し、
色温度を検出(算出)する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、
RGB映像信号の増幅度を可変する手段と、少なくとも明部もR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、少なくとも明部もB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素撮像信号が主で増幅度大では周囲R画素撮像信号の中央値が主と)した重みづけ平均で補間した信号から色調補正信号を生成する色調補正手段と、の少なくともいずれか一方を有することを特徴とする撮像装置。 - 請求項1乃至請求項3の撮像装置において、
R,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子とその信号を処理する手段、又はR,G1,G2,Bの4板撮像素子と色分解光学系とその信号を処理する手段、又はG映像信号を処理する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を処理する手段、又はG映像信号を伝送する手段及びG画素の間隔の倍の間隔のRB画素の映像信号を伝送する手段、等のG映像信号に対しR映像信号とB映像信号との帯域を半減させる手段を有し R撮像信号をG画素で一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、B撮像信号をG画素で一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有することを特徴とする撮像装置。 - 固体撮像素子を有する撮像装置において、RGBの3板と色分解光学系からのRGBの信号を信号処理する手段を有し、少なくとも明部もR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との重みづけ平均で補間又はR撮像信号を一つ置きの周囲R画素撮像信号の中央値と中心画素撮像信号との平均で補間し、少なくとも明部もB撮像信号を一つ置きの周囲B画素撮像信号の中央値と中心画素との重みづけ平均で補間又はB撮像信号を一つ置きの周囲B画素撮像信号の中央値で補間した信号から色調補正信号を生成する色調補正手段を有し、R−(G1+G2),G1,G2,B−(G1+G2)又はR−(Y1+Y2),Y1,Y2,B−(Y1+Y2)又はR−G1,G1,G2,B−G2又はR−Y1,Y1,Y2,B−Y2又はR−G2,G1,G2,B−G1又はR−Y2,Y1,Y2,B−Y1等の2系統の輝度が主な信号と色が主な信号とで伝送する手段を有することを特徴とする撮像装置。
- 固体撮像素子を有する撮像装置において、
G映像信号の帯域に対しR映像信号とB映像信号との帯域を半減させる手段を有し、
色温度を検出(算出)する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に正に相関した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該検出(算出)した色温度に負に相関した重みづけ平均で重みづけ平均(該中央値あるいは該中央値と中心画素との平均を含む)で補間した信号を本線の映像信号とする雑音低減手段と、
RGB映像信号の増幅度を可変する手段と、明部はR撮像信号を周囲R画素撮像信号の中央値と中心画素撮像信号との該R映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間し、明部はB撮像信号を周囲B画素撮像信号の中央値と中心画素撮像信号との該RGB映像信号の増幅度に相関(増幅度小では中心R画素の撮像信号が主で増幅度大では周囲R画素の撮像信号の中央値が主と)した重みづけ平均で補間した信号を本線の映像信号とする雑音低減手段と、のいずれか一方を有することを特徴とする撮像装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016188232 | 2016-09-27 | ||
JP2016188232 | 2016-09-27 | ||
PCT/JP2017/031595 WO2018061615A1 (ja) | 2016-09-27 | 2017-09-01 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018061615A1 true JPWO2018061615A1 (ja) | 2019-06-24 |
JP6632093B2 JP6632093B2 (ja) | 2020-01-15 |
Family
ID=61760719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018542031A Active JP6632093B2 (ja) | 2016-09-27 | 2017-09-01 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6632093B2 (ja) |
WO (1) | WO2018061615A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11830107B2 (en) * | 2020-04-24 | 2023-11-28 | Boe Technology Group Co., Ltd. | Method and apparatus for filtering image colors, electronic device and storage medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000217123A (ja) * | 1999-01-20 | 2000-08-04 | Canon Inc | 撮像装置及び前記撮像装置における画像処理方法 |
US7236190B2 (en) * | 2002-10-31 | 2007-06-26 | Freescale Semiconductor, Inc. | Digital image processing using white balance and gamma correction |
-
2017
- 2017-09-01 WO PCT/JP2017/031595 patent/WO2018061615A1/ja active Application Filing
- 2017-09-01 JP JP2018542031A patent/JP6632093B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11830107B2 (en) * | 2020-04-24 | 2023-11-28 | Boe Technology Group Co., Ltd. | Method and apparatus for filtering image colors, electronic device and storage medium |
Also Published As
Publication number | Publication date |
---|---|
WO2018061615A1 (ja) | 2018-04-05 |
JP6632093B2 (ja) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5548330A (en) | Image pickup device for generating a corrected luminance signal | |
JP5152114B2 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム | |
US7030913B2 (en) | White balance control apparatus and method, and image pickup apparatus | |
US8508625B2 (en) | Image processing apparatus | |
EP2426928A2 (en) | Image processing apparatus, image processing method and program | |
JP2007259344A (ja) | 撮像装置および画像処理方法 | |
US20070229676A1 (en) | Physical quantity interpolating method, and color signal processing circuit and camera system using the same | |
US8130286B2 (en) | Luminance signal generation apparatus, luminance signal generation method, and image capturing apparatus | |
JP3919389B2 (ja) | 信号処理装置及び信号処理方法 | |
JP2005109991A (ja) | 信号処理方法及び装置、撮像装置 | |
KR0121296B1 (ko) | 고체 컬러 촬상 장치 | |
US8384799B2 (en) | Image processing apparatus and image processing method | |
JP3969836B2 (ja) | 信号処理装置および撮像用信号処理方法 | |
JP6632093B2 (ja) | 撮像装置 | |
JP6590955B2 (ja) | 撮像装置及び色補正方法 | |
JPH11220745A (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
JP3880276B2 (ja) | 撮像装置 | |
JP7203441B2 (ja) | 画像生成装置及び撮像装置 | |
KR100949188B1 (ko) | Ccd의 영상신호 처리 방법 | |
JP3410638B2 (ja) | ビデオカメラシステム | |
JPH11220744A (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
KR20050006424A (ko) | 색신호 처리방법 및 그 방법을 사용하는 촬상장치 | |
US5677528A (en) | Solid-State imaging apparatus with a coefficient multiplying circuit | |
US9092882B2 (en) | Image processing apparatus | |
WO2017026449A1 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6632093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |