JP6730436B2 - 撮像装置及び撮像装置の調整方法 - Google Patents

撮像装置及び撮像装置の調整方法 Download PDF

Info

Publication number
JP6730436B2
JP6730436B2 JP2018535474A JP2018535474A JP6730436B2 JP 6730436 B2 JP6730436 B2 JP 6730436B2 JP 2018535474 A JP2018535474 A JP 2018535474A JP 2018535474 A JP2018535474 A JP 2018535474A JP 6730436 B2 JP6730436 B2 JP 6730436B2
Authority
JP
Japan
Prior art keywords
pixel
dark current
signal
image pickup
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018535474A
Other languages
English (en)
Other versions
JPWO2018037674A1 (ja
Inventor
中村 和彦
和彦 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2018037674A1 publication Critical patent/JPWO2018037674A1/ja
Application granted granted Critical
Publication of JP6730436B2 publication Critical patent/JP6730436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Description

本発明は、テレビジョンカメラなどの撮像装置に係わり、特に撮像素子の異常画素検出と補間に関するものである。
従来のテレビジョンカメラの固撮像素子の画素欠陥検出方法としては、撮像光を分光して得られた複数分光を分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し出力した映像信号どうしを比較した結果に応じて、前記分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出し、補間するものがある(特許文献1参照)。
従来の撮像装置の全体構成図の図11を参照。図11は、雑音低減、ゲイン補正およびアナログ−デジタル変換のAFE(Analog Front End)を集積したCMOS(Complementary Metal Oxide Semiconductor)撮像素子であり、映像信号処理で遮光画素信号(以下、OBと称する)補正を行う従来例である。
しかしながら、撮像素子で撮像した映像信号には、複数の分光した映像信号毎にランダムノイズ成分が重畳されるため、画素欠陥検出信号に検出誤差を与える事になり、ランダムノイズより小さなレベルの画素欠陥の検出が困難であった。そのため用途がランダムノイズより画素欠陥信号が比較的大きい長時間露光型カメラ等の一部に限られていた(特許文献2参照)。
さらに、撮像素子は一般に、6℃温度上昇で暗電流は2倍程度となっていて、撮像素子温度の指数関数に比例して暗電流は大きく変動する。そのため、画素欠陥の中で感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の暗電流と、正常画素の暗電流とを確実に識別して検出することが困難である。暗電流が多い撮像素子温度であれば、画素欠陥の中で暗電流が異常に多い撮像画素(以下、白キズと称する)と正常画素の暗電流との識別は比較的容易である。
特開2002−44688号公報 特開2009−232200号公報
本発明は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の暗電流と、6℃温度上昇で暗電流は2倍程度と撮像素子温度の指数関数に比例して暗電流は大きく変動する正常画素の暗電流とを確実に識別して検出して、通常撮像時の完全黒キズを補間することを目的とする。
本発明の撮像装置は、(色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子あるいはモノクロ)撮像素子と、該撮像素子の(各赤緑青の原色映像信号あるいは(モノクロの)輝度の)映像信号の第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置であって、(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からN番目からN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ)を有し、該検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)遮光蓄積する手段と、映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に第二の所定のレベルより小さい暗電流の完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有することを特徴とする。
即ち、撮像素子と、該撮像素子の映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段と、を有する撮像装置において、
正常画素の暗電流を検出する手段(OB画素の最小値からN番目からN+M番目平均値を算出する手段)または撮像素子の温度を検出する手段を有し、該検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて遮光蓄積する手段と、
映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を前記正常画素の暗電流と識別して検出する手段と、
撮影時に第二の所定のレベルより小さい暗電流の完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有することを特徴とする。
また、本発明の撮像装置は、上述の撮像装置であって、垂直走査周期のおよそ15倍以上(の該検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期のおよそ15倍からおよそ245760倍で垂直走査周期約60Hzとして0.25秒から4096秒の可変時間又は垂直走査周期のおよそ60倍で垂直走査周期約60Hzとしておよそ1秒の固定時間)の遮光蓄積時間で暗電流が異常に多い画素欠陥(以下、白キズと称する)の検出を行う手段と、上記検出した撮像素子温度が6℃でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)遮光蓄積して(ランダムノイズの影響を除去して、)OB補正前に白キズ補間を行う手段と、白キズ補間後に第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする。
即ち、上述の撮像装置において、
垂直走査周期に基づく前記検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期の任意の倍数の範囲で垂直走査周期の所定の可変時間又は垂直走査周期の所定の遮光蓄積時間で暗電流が所定以上の画素欠陥(以下、白キズと称する)の検出を行う手段と、
上記検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて遮光蓄積してOB補正前に白キズ補間を行う手段と、
白キズ補間後に前記完全黒キズを前記正常画素の暗電流と識別して検出する手段と、
撮影時に前記完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、
完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする。
さらに、上述の撮像装置であって、白キズ検出の蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行うことを特徴とする。
また、上記撮像装置において、白キズ補間後に完全黒キズ補間するので、(撮像信号の周囲画素信号及び撮像信号、又は白キズ補間信号の周囲画素信号及び白キズ補間信号の様に)入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えることにより、同一回路で白キズ補間と完全黒キズ補間と2回処理することで、白キズ補間と完全黒キズ補間とを同一回路で行う手段とを有することを特徴とする。
また、本発明の撮像装置の調整方法は、色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子と、該撮像素子の各赤緑青の原色映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置であって、撮像装置を組立調整後の(ヒートランまたは高温エージング等)撮像素子温度が40℃以上の状態時に、およそ1秒から16秒遮光蓄積し、映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出し、撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間することを特徴とする。
即ち、本発明の撮像装置の調整方法は、色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子と、該撮像素子の各赤緑青の原色映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素の映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置において、
撮像装置を撮像素子温度が所定以上の温度の状態時に、所定時間範囲にて遮光蓄積し、
映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を正常画素の暗電流と識別して検出し、
撮影時に前記完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間することを特徴とする。
本発明によれば、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)信号も自動検出でき、かつ完全黒キズの周囲画素を用いた補間が可能となる。
また、白キズ補間後完全黒キズ補間後に映像信号処理で遮光画素信号(以下、OBと称する)補正するので、OB補正は白キズと完全黒キズの影響を受けないで安定に動作するので、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
本発明の撮像装置の全体構成の一実施例を示すブロック図(AFEを集積したCMOS撮像素子で、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正を行う。)で、R,G,Bの3板撮像素子を用いたカラー撮像装置である。 本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、R,G1,G2,Bの4板撮像素子を用いたカラー撮像装置である。 本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子を用いたカラー撮像装置である。 本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、モノクロ撮像素子を用いたモノクロ撮像装置である。 暗電流が異常に多い撮像画素(以下、白キズと称する)と正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の遮光時の、映像信号処理でOB画素の映像信号の代表値を有効画素映像信号から減算するOB補正前の撮像信号(水平走査線)での完全黒キズ映像信号の撮像装置起動時から内部温度上昇の飽和までの変化を示す模式図である。 (a)遮光時のOB補正前の撮像信号(水平走査線)での完全黒キズ映像信号の撮像装置の起動時から内部温度上昇の飽和までの変化を示す模式図である。 (b)撮像素子の温度と蓄積時間と暗電流との白キズの映像信号の撮像装置起動時から内部温度上昇の飽和までの変化を示す模式図である。 遮光時の遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする前の撮像信号の撮像素子の温度と蓄積時間と暗電流との白キズと完全黒キズの映像信号の撮像装置起動時から内部温度上昇の飽和までの変化と撮像素子の14bit出力の垂直走査周期単位の蓄積時間による出力飽和を示す模式図である。 遮光時のOB補正前の撮像信号の撮像素子の温度と蓄積時間の比と暗電流の比と撮像素子の温度に6℃で2倍の正常画素の暗電流に反比例させて、暗電流の比と完全黒キズを検出する遮光蓄積時間を示す模式図である。 本発明の一実施例の白キズ検出と補間の詳細構成図である。 本発明の一実施例の完全黒キズ検出と補間の詳細構成図である。 本発明の一実施例を説明するための模式図である。 本発明の一実施例の白キズの周囲8画素の中央値を算出し、白キズを補間する詳細構成図である。 本発明の一実施例の完全黒キズの周囲8画素の中央値を算出し、完全黒キズを補間する詳細構成図である。 本発明の一実施例の白キズ検出と完全黒キズ検出とのフローチャートである。 発明の一実施例の白キズ補間と完全黒キズ補間とのフローチャートである。 従来の撮像装置の全体構成図(AFE集積したCMOS撮像素子を映像信号処理でOB補正する)である。 本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とOB補正との、暗電流算出OB補正である。 本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(2)番目からN(2)+M(1)番目の平均検出部とOB補正との、暗電流算出OB補正である。 本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるH−OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とH−OB補正との、暗電流算出OB補正である。 本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とV−OB補正との、暗電流算出OB補正である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
図1Aと図1Bと図1Cと図1Dとは本発明の撮像装置の全体構成の一実施例を示すブロック図であり、雑音低減、ゲイン補正およびアナログ−デジタル変換のAFEを集積したCMOS撮像素子で、映像信号処理で遮光画素の映像信号の代表値を有効画素映像信号から減算するOB補正を行う。
図1Aのテレビジョンカメラ30はガンマ後マトリクスの映像信号処理で、R,G,Bの3板撮像素子を用いたカラー撮像装置である。
図1Bは本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、R,G1,G2,Bの4板撮像素子を用いたカラー撮像装置である。
図1Cは本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子を用いたカラー撮像装置である。
図1Dは本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、モノクロ撮像素子を用いたモノクロ撮像装置である。
なお、本発明は、撮像素子をCMOSに限定するものではなく、CCD(Charge Coupled Device)等であってもよい。
図1Aと図1Bにおいて、被写体からの入射光はレンズ部31で結像され、プリズム部32で赤色光と緑色光および青色光に分解され、各々CMOS撮像素子部33R,33G,33G1、33G2、33Bで光電変換される。光電変換されたR/G/Bの信号は、CMOS撮像素子内で雑音低減、ゲイン補正およびアナログ−デジタル変換とを行い、白キズ完全黒キズ検出補正機能付映像信号処理部の35に送られ、色補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理が行われる。
図1Aと図1Bと図1Cと図1Dにおいて、温度センサ20はCMOS撮像素子部33R,33G,33G1,33G2,33B,58,59の近傍に設けて温度を検出する。
撮像素子制御54は、CPU(Central Processing Unit)39の指示に従いCMOS撮像素子部33R,33G,33G1,33G2,33B,58,59の蓄積(露光)や読出しを制御する。
レンズ部31はCPU39の指示に従い遮光または標準撮像を光学絞りまたは可変光学減衰(以下、絞りと称する)で制御する。
また、50は白キズ検出補間、51は完全黒キズ検出補間、52は暗電流算出OB補正、53はガンマ色輪郭補正である。
図1Bと図1Cとにおいて、57はパラレル−シリアル変換部(P/S)であり、パラレル−シリアル変換部(P/S)の57により、G1とG2の撮像信号からGの撮像信号が生成される。
図1Dにおいて、59はモノクロ撮像素子で、60はガンマ輪郭補正であり、モノクロの輝度(Y)信号のみが出力される。
デジタル信号処理部5では各種映像信号処理などが施された後、
Y=0.2126R+0.7152G+0.0722B Pb=0.5389(B−Y) Pr=0.6350(R−Y)の計算式により、R/G/Bから輝度信号(Y)と色差信号(Pb/Pr)に変換する。そしてパラレル−シリアル変換部(P/S)37でシリアル映像信号に変換され、外部に出力される。
CPU39は、テレビジョンカメラ30の各部を制御する。また、ビューファインダまたはモニタディスプレイの画像表示部40は撮像装置の設定用メニューや暗電流が異常に多い撮像画素(以下、白キズと称する)と正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)との自動補間操作や任意の画素の手動での周囲画素での補間操作を表示する。
ビューファインダまたはモニタディスプレイの40では被写体の映像にメニュー画面を重畳し、ユーザーはメニュー画面を見ながら白キズと完全黒キズとの自動検出補間操作や任意の画素の手動での周囲画素での補間操作を表示する。
(実施例1、検出と補間の概要) 以下、本発明の一実施例を図1Aと図1Bと図1Cと図1D、図2、図3A、図3Bを用いて説明する。
ここで、図2は、暗電流が異常に多い白キズと正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の遮光時の、映像信号処理でOB画素の映像信号の代表値を有効画素映像信号から減算するOB補正前の撮像信号(水平走査線)での完全黒キズ映像信号の撮像装置起動時から内部温度上昇の飽和までの変化を示す模式図模式図であり、(a)は遮光時のOB補正前の撮像信号(水平走査線)での感度が異常に低い撮像画素(以下、完全黒キズと称する)映像信号の撮像装置の起動時から内部温度上昇の飽和までの変化を示す模式図であり、(b)は 撮像素子の温度と蓄積時間と暗電流との白キズの映像信号の撮像装置起動時から内部温度上昇の飽和までの変化を示す模式図である。
撮像素子は一般に、6℃温度上昇で暗電流は2倍程度となっている。放熱に工夫しているカメラでは、一般に、内部温度上昇がおよそ2時間で飽和し12℃程度となっている。そのため、周囲温度が一定であっても、内部温度上昇12℃で、起動時に比べ、内部温度上昇の飽和時には4倍となる。通常はその中間となる。
図3Aは、遮光時の遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする前の撮像信号の撮像素子の温度と蓄積時間と暗電流との白キズと正常画素と完全黒キズの映像信号の撮像装置起動時から内部温度上昇の飽和までの変化と撮像素子の14bit出力の垂直走査周期単位の蓄積時間による出力飽和を示す模式図である。垂直走査周期は一般に約60Hzや50HZが主である。約120Hzや150Hzや約180Hzや約240Hz等の高速も約24Hzや約30Hz等の低速もある。以下、垂直走査周期は約60Hzで垂直走査周期と蓄積時間との関係を説明する。
図3Bは、遮光時のOB補正前の撮像信号の撮像素子の温度と蓄積時間の比と暗電流の比と撮像素子の温度と完全黒キズを検出する遮光蓄積時間を示す模式図である。
漏れ電流相当の暗電流しかない完全黒キズを検出するため、白キズ検出の蓄積時間は白キズが飽和しない中時間(垂直走査周期の約60Hzの60倍のおよそ1秒)であるのに対し、完全黒キズ検出の蓄積時間は撮像素子の温度に6℃で2倍の正常画素の暗電流に反比例させて長時間(1秒から163894秒)とすることにより、正常画素の暗電流と、漏れ電流相当の暗電流しかない完全黒キズの暗電流と確実に識別する。
白キズ検出と異なり、完全黒キズ信号検出は困難なので、検出時の長時間蓄積が許容される。
具体的には、撮影直前の検出は、撮像素子温度22℃で128秒程度が低温の実用限界であるが、撮像装置を組立調整後のヒートランまたは高温エージング等なら、最高使用温度45℃で放熱に工夫しているカメラで内部温度上昇約12℃で撮像素子温度57℃なら完全黒キズ検出の遮光蓄積時間は約2秒となる。
最高使用温度45℃で放熱に工夫していないカメラは内部温度上昇約19℃で撮像素子温度が64℃となり、完全黒キズ検出の遮光蓄積時間は垂直走査周期の約60Hzの60倍の約1秒となる。
最高使用温度40℃で特に放熱に工夫しているカメラは内部温度上昇約8℃で撮像素子温度が48℃となり、完全黒キズ検出の遮光蓄積時間は約16秒となる。ヒートランまたは高温エージング等での完全黒キズ検出の遮光蓄積時間は約1秒から約16秒なら、原価上昇はほとんどない。
本発明の撮像装置の全体構成の一実施例を示すブロック図の図1Aと図1Bと図1Cと図1Dの33R,33G,33G1,33G2,33Bまたは58または59のCMOS撮像素子の近傍に、温度センサ20を設けてCMOS撮像素子の温度を検出し、完全黒キズ検出の遮光蓄積時間は撮像素子の温度に6℃で2倍の正常画素の暗電流に反比例させても良い。暗電流算出OB補正52で遮光された正常画素の暗電流の代表値を算出しても良い。
正常画素の暗電流が少ない低温時において、正常画素の暗電流と、完全黒キズの暗電流と確実に識別するために、完全黒キズ検出の遮光蓄積時間は撮像素子の温度に6℃で2倍の正常画素の暗電流に正確に反比例させるために、暗電流算出OB補正52で遮光された正常画素の暗電流の代表値を算出する方法は、後述の実施例3で説明する。
以上のように本発明は、色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子あるいはモノクロ撮像素子と、該撮像素子の各赤緑青の原色映像信号あるいは(モノクロの)輝度映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置において、
撮像装置を組立調整後の(ヒートランまたは高温エージング等)撮像素子温度が40℃以上の状態時に、垂直走査周期の約60Hzの60倍のおよそ1秒から16秒(できれば周囲温度40℃以上、内部温度上昇11℃以上、撮像素子温度が51℃以上でおよそ4秒)遮光蓄積して映像信号処理のOB補正前に又はOB補正を中止して、第二の所定のレベルより小さい暗電流の画素(感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出し、撮影時に第二の所定のレベルより小さい暗電流の完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間することを特徴とする撮像装置の調整方法である。
また、上記撮像装置において、撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ)と、該検出した撮像素子温度に対応する(6℃でおよそ2倍となる)正常画素の暗電流に反比例させて長時間(1秒から163894秒)遮光蓄積し読出を行い、第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有することを特徴とする撮像装置である。(具体策は実施例3で説明する。)
(実施例2、検出と補間の詳細) 以下、本発明の他の1実施例を図1Aと図1Bと図1Cと図4〜図10を用いて説明する。
図4は本発明の一実施例の白キズ検出と補間の詳細構成図である。
図5は本発明の一実施例の完全黒キズ検出と補間の詳細構成図である。
図6は本発明の一実施例を説明するための模式図である。
図6(A)は本発明の一実施例であり、遮光時のOB補正前の完全黒キズを周囲8画素の中央値で補間する模式図(標準撮像信号での完全黒キズの周囲正常画素での補間)である。
図6(B)は本発明の一実施例であり、遮光時のOB補正前の完全黒キズを周囲8画素の中央値で補間する模式図(標準撮像信号での完全黒キズの周囲黒キズを含む正常画素での補間)である。
図6(C)は本発明の一実施例であり、遮光時のOB補正前の撮像信号での白キズを周囲8画素の中央値で補間する模式図(標準撮像信号での白キズの周囲正常画素での補間)である。
図6(D)は本発明の一実施例であり、遮光時のOB補正前の撮像信号での白キズを周囲8画素の中央値で補間する模式図(標準撮像信号での白キズの周囲白キズを含む正常画素での補間)である。
図7は本発明の一実施例の白キズの周囲8画素の中央値を算出し、白キズを補間する詳細構成図である。
図8は本発明の一実施例の完全黒キズの周囲8画素の中央値を算出し、完全黒キズを補間する詳細構成図である。
図9は本発明の一実施例の白キズ検出と完全黒キズ検出とのフローチャートであり、図10は発明の一実施例の白キズ補間と完全黒キズ補間とのフローチャートである。
図4は本発明の一実施例の暗電流が異常に多い撮像画素(いわゆる白キズ)検出と補間の詳細構成図であり、図5は本発明の一実施例の感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)検出の詳細構成図である。
図4と図5において、Rの白キズ補間信号、Gの白キズ補間信号、Bの白キズ補間信号から完全黒キズ検出の長時間蓄積での完全黒キズ基準レベルを減算し、完全黒キズの映像信号タイミング(アドレス)を判定し、標準撮像時に、標準撮像時の完全黒キズ補間レベル判定はしないで、完全黒キズの映像信号タイミング(アドレス)で完全黒キズの周囲画素での補間を行う。
図4と図5において、12,13,14は減算器であり、10は白キズの検出と補間部、11は黒キズの検出と補間部であり、15は白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定、16は白キズの周囲画素での補間、17は黒キズの映像信号タイミング(アドレス)判定、18は黒キズの周囲画素での補間である。
本発明の撮像装置の全体構成の一実施例を示すブロック図の図1Aと図1Bと図1Cと図4と図5において、CPU39は、レンズ31に絞りを閉じてCMOS撮像素子33R,33G,33Bを遮光する指示をする。次にCPU39は、遮光撮像素子制御54へおよそ1秒の中時間蓄積を指示し、撮像素子制御54は白キズ検出用中時間間欠パルスを発生し、CMOS撮像素子33R,33G,33Bに供給する。そして、遮光中時間蓄積したR,G,Bの撮像信号と白キズ検出の中時間蓄積での白キズ基準レベルとの12,13,14の減算器差分から、15は白キズの映像信号タイミング(アドレス)判定を行う。
図1Aと図1Bと図1Cと図4と図5において、次にCPU39は、撮像素子制御54へ正常画素の暗電流に反比例させて長時間(1秒から163894秒)蓄積を指示し、撮像素子制御54は完全黒キズ検出用長時間間欠パルスを発生し、CMOS撮像素子33R,33G,33Bに供給する。そして、遮光長時間蓄積したR,G,Bの撮像信号を白キズの映像信号タイミング(アドレス)に基づき16で白キズの周囲画素での補間を行ったR,G,Bの補間信号と完全黒キズ検出の長時間蓄積での完全黒キズ基準レベルとの12,13,14の減算器差分から、17は完全黒キズの映像信号タイミング(アドレス)判定を行う。
標準撮像時に、CPU39は、レンズ31に絞りを開かせ、遮光撮像素子制御54へ標準撮像を指示し、撮像素子制御54は標準撮像パルスを発生し、CMOS撮像素子33R,33G,33Bに供給する。標準撮像したR,G,Bの撮像信号と標準撮像時の白キズ補間レベルとの12,13,14の減算器差分から、15は白キズの映像信号タイミング(アドレス)判定を行う。16は白キズ補間レベル以下の撮像信号で白キズの映像信号タイミング(アドレス)で白キズの周囲画素での補間を行う。16で白キズの周囲画素での補間を行ったR,G,Bの補間信号を18は完全黒キズの映像信号タイミング(アドレス)に基づき、完全黒キズを周囲画素の中央値で補間を行う。標準撮像時の完全黒キズ補間レベル判定はしない。
また、図4において、白キズ検出の中時間(垂直走査周期のおよそ15倍以上(の該検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期のおよそ15倍からおよそ245760倍で垂直走査周期約60Hzとして0.25秒から4096秒の可変時間又は垂直走査周期のおよそ60倍で垂直走査周期約60Hzとしておよそ1秒の固定時間)の)遮光蓄積時間での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行うことが可能であり、回路の小型化と低価格化が実現できる。
図6(A)は本発明の一実施例であり、遮光時のOB補正前の完全黒キズを周囲8画素の中央値で補間する模式図(標準撮像信号での完全黒キズの周囲正常画素での補間)であり、中央の完全黒キズ撮像信号0が、周囲の周囲正常画素撮像信号32,48.56,64.80,96,102,128の中央値64又は80で補間される。
図6(B)は本発明の一実施例であり、遮光時のOB補正前の完全黒キズを周囲8画素の中央値で補間する模式図(標準撮像信号での完全黒キズの周囲黒キズを含む正常画素での補間)であり、中央の完全黒キズ撮像信号0が、周囲の完全黒キズ撮像信号0を除く周囲の周囲正常画素撮像信号32,48.56,64.80,102,128の中央値64で補間される。
図6(C)は本発明の一実施例であり、遮光時のOB補正前の撮像信号での白キズを周囲8画素の中央値で補間する模式図(標準撮像信号での白キズの周囲正常画素での補間)であり、中央の白キズ撮像信号1024が、周囲の周囲正常画素撮像信号32,48.56,64.80,96,102,128の中央値64又は80で補間される。
図6(D)は本発明の一実施例であり、遮光時のOB補正前の撮像信号での白キズを周囲8画素の中央値で補間する模式図(標準撮像信号での白キズの周囲白キズを含む正常画素での補間)であり、中央の白キズ撮像信号1024が、周囲の周囲正常画素撮像信号32,48.56,80,96,102,128の中央値80で補間される。
ここで、完全黒キズ補間は白キズ補間後に行う。
図7と図8は本発明の一実施例の周囲8画素の中央値を算出し、補間する詳細構成図である。
図7と図8において、9は周囲画素信号選択部であり、16は白キズの周囲画素での補間、18は黒キズの周囲画素での補間、19は周囲画素中央値検出部、21,22,23,24,25,26,27,28は比較部、29は映像信号切替器である。
図7と図8の周囲画素信号選択部9において、5と6はラインメモリ、7は映像信号切替器、8は遅延器である。ラインメモリ5と6は0Hの撮像信号から1H,2Hの撮像信号を生成し、0Hの白キズ補間信号から1H2Hの白キズ補間信号を生成する。
映像信号切替器7は、0H,1H,2Hの撮像信号を選択して撮像信号の周囲画素信号を生成し、0H,1H,2Hの白キズ補間信号を選択して白キズ補間信号の周囲画素信号を生成する。ラインメモリ5と6の替わりに図示しないフレームメモリでも良い。
図7と図8において、遅延器8は周囲画素中央値検出部19の遅延分撮像信号を遅延させ、白キズ補間信号を遅延させる。そして、周囲画素中央値検出部19は、撮像信号の周囲画素信号から21〜28の比較部で撮像信号または白キズ補間信号の周囲画素中央値を検出し、白キズ補間信号の周囲画素信号から21〜28の比較部で白キズ補間信号の周囲画素中央値を検出する。
そして、図4の白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定15からの白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)に応じて白キズの周囲画素での補間部の切替器29で、撮像信号を撮像信号の周囲画素中央値に補間する。また、図4の黒キズの映像信号タイミング(アドレス)判定17からの完全黒キズの映像信号タイミング(アドレス)に応じて完全黒キズの周囲画素での補間部の切替器29で、白キズ補間信号を白キズ補間信号の周囲画素中央値に補間する。
図7と図8において、周囲画素に複数の白キズが存在していたとしても、白キズ補間後に完全黒キズ補間するので、完全黒キズ補間は、白キズの影響を受けない。
また、図7と図8において、白キズ補間後に完全黒キズ補間するので、(撮像信号の周囲画素信号及び撮像信号、又は白キズ補間信号の周囲画素信号及び白キズ補間信号の様に)入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えることにより、同一回路で白キズ補間と完全黒キズ補間と2回処理することで、白キズ補間と完全黒キズ補間とを同一回路で行うことが可能であり、回路の小型化と低価格化が実現できる。
図9は本発明の一実施例の白キズ検出と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の検出とのフローチャートであり、図10は発明の一実施例の白キズ補間と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の補間とのフローチャートである。
図9において、CPU39は、白キズ検出と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の検出との開始後に、およそ1秒遮光蓄積し読出を行い(S901)、画素の映像信号は白キズレベルを超えているかを判定(S902)し、“NO”なら(S904)に進み、“YES”なら白キズの映像タイミング(アドレス)を記憶(S903)して(S904)に進む。
次に、CPU39は、撮像素子の温度上昇6℃で2倍の正常画素の暗電流に反比例させて長時間(1秒から163894秒)遮光蓄積し読出を行い(S904)、画素の映像信号は白キズの映像タイミング(アドレス)かを判定(S905)し、“NO”なら(S908)に進み、“YES”なら周囲8画素の中央値を算出(S906)し、周囲8画素の中央値で補間(S907)して(S908)に進む。
次に、CPU39は、画素の映像信号は黒キズレベルを下回っているかを判定(S908)し、“NO”なら終了に進み、“YES”なら黒キズの映像タイミング(アドレス)を記憶(S909)し、終了に進む。
以上で、白キズと完全黒キズとの検出の処理が終了となる。
図10において、CPU39は、白キズ補間と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の補間の開始後に、標準撮像で読出を行い(S1001)、画素の映像信号は白キズ補間のレベルを以下かを判定(S1002)し、“NO”なら(S1006)に進み、“YES”なら白キズの映像タイミング(アドレス)かを判定(S1003)し、“NO”なら(S1006)に進み、“YES”なら周囲8画素の中央値を算出(S1004)し、周囲8画素の中央値で補間(S1005)して(S1006)に進む。
次に、CPU39は、画素の映像信号は黒キズの映像タイミング(アドレス)かを判定(S1006)し、“NO”なら終了に進み、“YES”なら周囲8画素の中央値を算出(S1007)し、周囲8画素の中央値で補間(S1008)して終了に進む。
以上で、白キズと完全黒キズとの検出の補間が終了となる。
つまり、実施例1の撮像装置において、垂直走査周期のおよそ15倍以上(該検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期のおよそ15倍からおよそ245760倍で垂直走査周期約60Hzとして0.25秒から4096秒の可変時間又は垂直走査周期のおよそ60倍で垂直走査周期約60Hzとしておよそ1秒の固定時間)の中時間の遮光蓄積時間で暗電流が異常に多い画素欠陥(以下、白キズと称する)の検出を行う手段と、(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ)と、該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)蓄積して(ランダムノイズの影響を除去して、)OB補正前に(又はOB補正を中止して、)白キズ補間を行う手段と、白キズ補間後に第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する)を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする撮像装置である。
また、上記撮像装置において、白キズ検出の蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行う手段とを有することを特徴とする撮像装置である。
また、上記撮像装置において、白キズ補間後に完全黒キズ補間するので、(撮像信号の周囲画素信号及び撮像信号、又は白キズ補間信号の周囲画素信号及び白キズ補間信号の様に)入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えることにより、同一回路で白キズ補間と完全黒キズ補間と2回処理することで、白キズ補間と完全黒キズ補間とを同一回路で行う手段とを有することを特徴とする撮像装置である。
(実施例3) 図12Aは、本発明の一実施例のOB補正52の一例であり、OB画素信号の代表値検出部の一例のOB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部48と減算器4からなる。
図12Bは、本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(2)番目からN(2)+M(1)番目の平均検出部とOB補正との、暗電流算出OB補正である。
図12Cは、本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるH−OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とH−OB補正との、暗電流算出OB補正である。
図12Dは、本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とV−OB補正との、暗電流算出OB補正である。
図12Aから図12DのV−OB補正において、遅延部55は必須ではないが、有効画素信号を遅延部55で遅延させ、有効画素後のV-OBで補正の方が安定する。
V−OB補正は縦筋補正やH Shading補正も兼ねる方が小型の信号処理回路で黒が安定した映像信号が出力でき、テレビカメラのワイドダイナミックレンジ化が容易になる。
図12Aから図12Dにおいて、OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部48は、21,22,23,24,25,26,27,28との比較部と、43,44,45との加算器と、46の1/4(2bitシフト)、47は最小値から4から4+3番目検出部からなる。
図12Aと図12Cと図12Dにおいて、OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部47は、白キズと完全黒キズを除外するために、OB画素信号から8個の比較部で最小値からN(4)番目からN(4)+M(3)番目を検出し、加算し2bitシフトして1/4化することにより白キズと完全黒キズとを除外したOB画素信号を加算平均する。
図12Bにおいて、OB画素信号の最小値からN(2)番目からN(2)+M(1)番目の平均検出部47は、白キズと完全黒キズを除外するために、OB画素信号から8個の比較部で最小値からN(2)番目からN(2)+M(1)番目を検出し、加算し1bitシフトして1/2化することにより白キズと完全黒キズとを除外したOB画素信号を加算平均する。
テレビカメラの撮像素子は、2K,4K,8Kと高画素になるに従い、有効画素に比較してOB画素が少なくなる。そのため、OB画素の白キズと完全黒キズの影響を受けやすくなる。
しかし、本発明では、OB画素の白キズと完全黒キズの影響を受けないで、撮像素子の温度が6℃上昇すると約2倍に増加するOB画素信号の正常画素の暗電流を検出することができる。その結果、検出した(撮像素子温度に6℃でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させることができる。
また、検出したOB画素信号の正常画素の暗電流の信号を撮像有効画素信号から減算すれば、OB画素の白キズと完全黒キズの影響を受けないで、映像信号処理で安定にOB補正をすることができ、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
撮像素子の温度が6℃上昇すると約2倍に増加するOB画素信号の代表値を検出することにより、温度センサを別途設けなくても、撮像素子の温度を検出することができる。
検出した(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させることにより、正常画素の暗電流が少ない低温時の正常画素の暗電流と、漏れ電流相当の暗電流しかない異常低感度画素(完全黒キズ)の暗電流と確実に識別し、完全黒キズを確実に検出する。
白キズ検出と異なり、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)信号検出は困難なので、低温度における検出時の長時間蓄積が許容される。
つまり、実施例1の撮像装置において、映像信号処理の中時間(およそ1秒の固定時間又は該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させておよそ0.25秒から4096秒可変時間)の遮光蓄積時間で暗電流が異常に多い画素欠陥(以下、白キズと称する)の検出を行う手段と、(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ)と、該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)蓄積して(ランダムノイズの影響を除去して、)OB補正前に(又はOB補正を中止して、)白キズ補間を行う手段と、白キズ補間後に第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする撮像装置である。
また、実施例2と実施例3の組合せは、上記撮像装置において、映像信号処理の中時間(およそ1秒の固定時間又は該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させておよそ0.25秒から4096秒可変時間)の遮光蓄積時間で白キズ検出を行う手段と、該白キズ検出後で、白上記撮像素子温度に蓄積時間を逆比例させておよそ4秒から4096秒蓄積して(ランダムノイズの影響を除去して、)OB補正前又はOB補正を中止して、白キズ補間を行い、第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段とを有することを特徴とする撮像装置である。
以上は、図1AのR,G,Bの3撮像素子を用いたカラーカメラを中心に説明したが、図1BのR,G1,G2,Bの4板式撮像素子を用いたカラーカメラでも、図1Cのオンチップカラーフィルタの撮像素子を用いたカラーカメラでも、図1Dのオンチップカラーフィルタのない撮像素子を用いたモノクロカメラでも、映像信号処理でOB補正をしていれば、構わない。
また、白キズ検出の中時間蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行うことが可能であり、回路の小型化と低価格化が実現できる。
さらに、入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えて同一回路で2回処理して、白キズ補間と完全黒キズ補間とを同一手段で行うことが可能であり、回路の小型化と低価格化が実現できる。
図7と図8において、周囲画素に複数の白キズが存在していたとしても、白キズ補間後に完全黒キズ補間するので、完全黒キズ補間は、白キズの影響を受けない。
また、白キズ補間後完全黒キズ補間後に映像信号処理で遮光画素信号(以下、OBと称する)補正するので、OB補正は白キズと完全黒キズの影響を受けないで安定に動作するので、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
テレビカメラの撮像素子は、2K(1920H×1080V),4K(3840H×2160V),8K(7680H×4320V)と高画素になるに従い、有効画素に比較してOB画素が少なくなる。そのため、OB画素の白キズの影響を受けやすくなる。しかし、本発明では、OB画素の白キズの影響を受けないで、撮像素子の温度が6℃上昇すると約2倍に増加するOB画素信号の代表値を検出することができる。
従来は、白キズ検出と異なり、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)信号検出と補間との自動化は困難で手動補間を行っていた。
本発明によれば、完全黒キズの検出と補間とが自動で可能で、CCD撮像素子に比べ、高画素化と高速読出しとが容易で安価なMOS撮像素子の完全黒キズが許容できない放送用カメラや高い信頼性が要求される(原子力発電所や新幹線等の)監視用カメラや(自動車塗装や織物等の確認の)産業用カメラ等への適用が加速される。
本発明の実施形態である撮像装置は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素信号も自動検出でき、かつ完全黒キズの周囲画素を用いた補間が可能となる。
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。
撮像素子温度に蓄積(露光)時間を逆比例して長時間蓄積することによって、完全黒キズを検出し、周囲画素で補間して高画質の映像信号を生成する用途の放送用カメラや高い信頼性が要求される(原子力発電所や新幹線等の)監視用カメラや(自動車の車体塗装や織物等の確認の)産業用カメラ等に適用できる。この出願は、2016年8月25日に出願された日本出願特願2016−164619を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
4:減算器、5,6:ラインメモリ、7:映像信号切替器、8:遅延器、9:周囲画素信号選択部、12,13,14:減算器、15:白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定、16:白キズの周囲画素での補間、17:完全黒キズの映像信号タイミング(アドレス)判定、18:完全黒キズの周囲画素での補間、19:周囲画素中央値検出部、20:温度センサ、21,22,23,24,25,26,27,28:比較部、29:映像信号切替器、30:テレビジョンカメラ、31:レンズ、32:プリズム、33R,33G,33G1,33G2,33B:CMOS撮像素子、34:白キズ補間、35:白キズ完全黒キズ検出補間機能付映像信号処理部、36:MATRIX部、37:パラレル−シリアル変換部(P/S)、38:白キズ完全黒キズ検出補間部、39:CPU、40:ビューファインダ、41:白キズ検出補間機能付映像信号処理部、42:白キズ検出補間部、43,44,45:加算器、46:1/4(2bitシフト)、47:最小値から4から4+3番目検出部、48:OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部、49:OB補正、50:白キズ検出補間、51:完全黒キズ検出補間、52:暗電流算出OB補正、53:ガンマ色輪郭補正、54:撮像素子制御、55:遅延部、56:1/2(1bitシフト)、57:パラレル−シリアル変換部(P/S)、58:オンチップカラーフィルタ付撮像素子、59:モノクロ撮像素子、60:ガンマ輪郭補正、61:ラインメモリ、71:ライン加算平均部。

Claims (3)

  1. 撮像素子と、該撮像素子の映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段と、を有する撮像装置において、
    正常画素の暗電流を検出する手段(OB画素の最小値からN番目からN+M番目平均値を算出する手段)により撮像素子の温度の増加を検出する手段、または、撮像素子の温度を検出する手段を有し、前記撮像素子の温度の増加または前記検出した撮像素子の温度に対応する正常画素の暗電流に蓄積時間を逆比例させて遮光蓄積する手段と、
    映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を前記正常画素の暗電流と識別して検出する手段と、
    撮影時に第二の所定のレベルより小さい暗電流の完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有することを特徴とする撮像装置。
  2. 撮像素子と、該撮像素子の映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段と、を有する撮像装置において、
    正常画素の暗電流を検出する手段(OB画素の最小値からN番目からN+M番目平均値を算出する手段)により撮像素子の温度の増加を検出する手段、または、撮像素子の温度を検出する手段を有し、
    映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を前記正常画素の暗電流と識別して検出する手段と
    垂直走査周期に基づく前記撮像素子の温度の増加または前記検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期の任意の倍数の範囲で垂直走査周期の所定の可変時間又は垂直走査周期の所定の遮光蓄積時間で暗電流が所定以上の画素欠陥(以下、白キズと称する)の検出を行う手段と、
    上記撮像素子の温度の増加または前記検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて遮光蓄積してOB補正前に白キズ補間を行う手段と、
    白キズ補間後に前記完全黒キズを前記正常画素の暗電流と識別して検出する手段と、
    撮影時に前記完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、
    完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする撮像装置。
  3. 色分解光学系及び赤緑青の3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子と、前記赤緑青の各原色映像信号または前記R,G1,G2,Bの各原色映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素の映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置において、
    撮像装置を撮像素子温度が所定以上の温度の状態時に、所定時間範囲にて遮光蓄積し、
    映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を正常画素の暗電流と識別して検出し、
    撮影時に前記完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間することを特徴とする撮像装置の調整方法。
JP2018535474A 2016-08-25 2017-06-12 撮像装置及び撮像装置の調整方法 Active JP6730436B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016164619 2016-08-25
JP2016164619 2016-08-25
PCT/JP2017/021624 WO2018037674A1 (ja) 2016-08-25 2017-06-12 撮像装置及び異常画素検出補間方法及び撮像装置調整方法

Publications (2)

Publication Number Publication Date
JPWO2018037674A1 JPWO2018037674A1 (ja) 2019-06-20
JP6730436B2 true JP6730436B2 (ja) 2020-07-29

Family

ID=61245738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018535474A Active JP6730436B2 (ja) 2016-08-25 2017-06-12 撮像装置及び撮像装置の調整方法

Country Status (2)

Country Link
JP (1) JP6730436B2 (ja)
WO (1) WO2018037674A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4130275B2 (ja) * 1999-06-15 2008-08-06 松下電器産業株式会社 映像信号処理装置
JP3973083B2 (ja) * 2002-02-13 2007-09-05 シャープ株式会社 固体撮像装置、その画素不良変換方法および傷補正方法
JP2016029759A (ja) * 2014-07-25 2016-03-03 キヤノン株式会社 撮像装置の欠陥画素検出方法

Also Published As

Publication number Publication date
WO2018037674A1 (ja) 2018-03-01
JPWO2018037674A1 (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
JP5526014B2 (ja) 撮像装置
US7952621B2 (en) Imaging apparatus having temperature sensor within image sensor wherin apparatus outputs an image whose quality does not degrade if temperature increases within image sensor
JP5541718B2 (ja) 撮像装置及びその欠陥画素検出方法
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
JP2006013988A (ja) イメージセンサ
JP2011239252A (ja) 撮像装置
JP2005123946A (ja) 欠陥画素検出方法、検出装置および撮像装置
JP2008109504A (ja) 撮像装置及び補正方法
JP6991809B2 (ja) 撮像装置
US10623674B2 (en) Image processing device, image processing method and computer readable recording medium
JP6730436B2 (ja) 撮像装置及び撮像装置の調整方法
JP2011114473A (ja) 画素欠陥補正装置
JP2013150144A (ja) 撮像方法および撮像装置
JP2018182366A (ja) 撮像装置及び暗電流変動の検出補正方法及び撮像装置調整方法
JP2012191378A (ja) 撮像装置
JP2009105582A (ja) ノイズ補正回路、撮像装置及びノイズ補正方法
JP5195289B2 (ja) 撮像装置
JP6358607B2 (ja) 画像処理装置及び画像処理方法
US20080074526A1 (en) Image pickup device and image pickup method
JP6704611B2 (ja) 撮影装置及び撮影方法
JP4745680B2 (ja) 撮像装置および撮像方法
JP2006100913A (ja) 画像処理装置および画像処理方法
JP2004023231A (ja) 撮像装置およびその撮像装置を備える携帯電話装置
JP2006108918A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6730436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250