JP6730464B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6730464B2
JP6730464B2 JP2018565180A JP2018565180A JP6730464B2 JP 6730464 B2 JP6730464 B2 JP 6730464B2 JP 2018565180 A JP2018565180 A JP 2018565180A JP 2018565180 A JP2018565180 A JP 2018565180A JP 6730464 B2 JP6730464 B2 JP 6730464B2
Authority
JP
Japan
Prior art keywords
temperature
solid
image pickup
image sensor
peltier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018565180A
Other languages
English (en)
Other versions
JPWO2018142555A1 (ja
Inventor
中村 和彦
和彦 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2018142555A1 publication Critical patent/JPWO2018142555A1/ja
Application granted granted Critical
Publication of JP6730464B2 publication Critical patent/JP6730464B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、テレビジョンカメラなどの撮像装置に係わり、特に撮像素子の固定パターン補正機能を備える撮像装置に関する。
撮像装置からの映像信号(「撮像信号」とも言う)に含まれるノイズには、時間変動するランダムノイズと、時間変動しない固定パターンノイズ(FPN:Fixed Pattern Noise)がある。FPNは、その規則性に基づいて、信号処理により除去又は抑圧することが可能である。
撮像素子において、一般に、6℃温度上昇で暗電流は2倍程度となっていて、撮像素子温度の指数関数に比例して変動する。しかし、高画素や高感度や高速読出しに特化するために、暗電流が温度に非線形に応じて変化するCMOS撮像素子もある(例えば、特許文献1参照)。更に、暗電流が温度に非線形に応じて画面内で不均一に変化するCMOS撮像素子もある。そのため、高温時のCMOS撮像素子の遮光時の映像信号からFPNを補正値として記憶しておき、CMOS撮像素子の温度に応じてFPNを算出して補正することが困難な場合がある。
そのため、30分程度電源を通電してヒートランしておき、撮像装置のFPN補正部において、遮光時の映像信号からFPNを抽出して補正値として記憶しておき、実際の映像信号から補正値を差し引いて、FPNが除去された補正映像信号を出力するようにしている。更に、映像信号から、暗時FPNと明時FPNの両方を除去する技術もある(例えば、特許文献2参照)。言い換えると、従来のUHDTV8K(有効画素数7680Hx4320V)カメラでは、30分のヒートラン後に有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から差し引いていた。
また、アバランシェ増倍光電変換膜を有する撮像管を用いた制作用カメラでは、ペルチェ素子を正負両方向に通電駆動する駆動回路を有し、アバランシェ増倍光電変換膜の動作が不安定になる超低温でも撮影可能に制御する技術がある(例えば、特許文献3参照)。更に、アバランシェ増倍させるとアバランシェ増倍光電変換膜の画面内に飽和信号電流が流れるキズが徐々に成長するような高温で起動すると、アバランシェ増倍せず単なる光電変換動作させる動作電圧にして低感度撮影状態にして、ペルチェ冷却が有効になり安定にアバランシェ増倍できる温度まで、アバランシェ増倍光電変換膜が冷却される起動約3秒後に高感度撮影可能だった。
特開2009−100380号公報 特開2015−100099号公報 特開平5−316407号公報
ところで、上述のアバランシェ増倍光電変換膜を有する撮像管を用いた放送用カメラは、撮像管の電子銃のヒータのみ通電するプリヒートまたはスタンバイと称される状態で待機してあれば、アバランシェ増倍光電変換膜が徐々に壊れることを承知で、ペルチェ冷却が有効になる前の起動直後からアバランシェ増倍による高感度撮影可能だった。
このように、放送用カメラでは、起動直後からの撮影可能が要求されることが多くあり、対策の技術が求められていた。
本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
本発明は、撮像装置は、固体撮像素子と、前記固体撮像素子の温度を検出する固体撮像素子温度検出手段と、筐体外の周囲温度を検出する筐体外周温度検出手段と、前記固体撮像素子に取り付けられたペルチェ素子と、筐体内外の空気の流出入を促す通風ファンと、
前記ペルチェ素子に取り付けられた放熱フィンと、前記ペルチェ素子を駆動するペルチェ素子駆動回路と、前記固体撮像素子への光を遮光する遮光手段と、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引くOB補正処理を行う画像処理手段と、前記撮像素子の温度を制御する制御部と、を有し、前記制御部は、起動時は前記遮光手段の遮光を開始し、前記通風ファンを停止して、前記ペルチェ素子駆動回路を、前記周囲温度と前記撮像素子の温度との差分に応じた第1の時間でパルス駆動を実行し、つづいて、前記第1の時間より長い第2の時間において前記ペルチェ素子に電流を流さない状態に制御し、前記第2の時間の状態に制御されることによって、前記周囲温度と前記固体撮像素子の温度の温度差が所定の温度範囲内となったら、前記制御部は、前記通風ファンを前記固体撮像素子の温度に対応した通常の駆動に制御するとともに、前記ペルチェ素子駆動回路を前記固体撮像素子の温度に対応した通常の駆動に制御し、前記画像処理部は、前記OB補正処理を実行する。
本発明の別の撮像装置は、固体撮像素子と、前記固体撮像素子の温度を検出する固体撮像素子温度検出手段と、筐体外の周囲温度を検出する筐体外周温度検出手段と、前記固体撮像素子に取り付けられたペルチェ素子と、筐体内外の空気の流出入を促す通風ファンと、前記ペルチェ素子に取り付けられた放熱フィンと、前記ペルチェ素子を駆動するペルチェ素子駆動回路と、前記固体撮像素子への光を遮光する遮光手段と、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引くOB補正処理を行う画像処理手段と、前記撮像素子の温度を制御する制御部と、を有し、前記制御部は、起動時は前記遮光手段の遮光を開始し、前記通風ファンを停止して、前記ペルチェ素子駆動回路を、前記周囲温度と前記撮像素子の温度との差分に応じた第1の時間で、前記ペルチェ素子が冷却するようにパルス駆動を実行し、つづいて、前記第1の時間より長い第2の時間において前記ペルチェ素子に電流を流さない状態に制御し、前記第2の時間の状態に制御されることによって、前記周囲温度と前記固体撮像素子の温度の温度差が所定の温度範囲内となったら、前記制御部は、前記通風ファンを前記固体撮像素子の温度に対応した通常の駆動に制御するとともに、前記ペルチェ素子駆動回路を前記固体撮像素子の温度に対応した通常の駆動に制御し、前記画像処理部は、前記OB補正処理を実行し、前記第1の時間は、0.001秒〜0.1秒の範囲であって、前記第2の時間は、1秒〜3秒の範囲である。
本発明のさらに別の撮像装置は、前記固体撮像素子の温度を検出する固体撮像素子温度検出手段と、筐体外の周囲温度を検出する筐体外周温度検出手段と、前記固体撮像素子に取り付けられたペルチェ素子と、筐体内外の空気の流出入を促す通風ファンと、前記ペルチェ素子に取り付けられた放熱フィンと、前記ペルチェ素子を駆動するペルチェ素子駆動回路と、前記固体撮像素子への光を遮光する遮光手段と、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引くOB補正処理を行う画像処理手段と、前記撮像素子の温度を制御する制御部と、を有し、前記制御部は、起動時は前記遮光手段の遮光を開始し、前記通風ファンを停止して、前記ペルチェ素子駆動回路を正負にパルス駆動して、前記ペルチェ素子駆動回路の正負電源電圧の電圧比の逆比の時間比で正負にパルス駆動して前記ペルチェ素子の両面で温度差がないように前記固体撮像素子と前記放熱フィンとを加熱し、前記周囲温度と前記固体撮像素子の温度の温度差が所定の温度範囲内となったら、前記通風ファンを前記固体撮像素子の温度に対応した通常の運転に制御するとともに、前記ペルチェ素子駆動回路を前記固体撮像素子の温度に対応した通常の駆動に制御し、前記画像処理部は、前記OB補正処理を実行する。
本発明によると、固体撮像素子の温度に対し非線形に画面内で不均一に変動する撮像素子の暗電流むらのいわゆる固定パターン雑音の変化を、起動後すぐに(例えば、約1秒から約3秒)、固定パターン雑音成分を検出して撮影時に固定パターン雑音成分を減算して補正することにより、固定パターン雑音成分のない高品位な撮影までの時間(従来では、起動後30分程度とされていた時間)を、大幅に短縮することができる。
本発明の実施形態に係る、撮像装置の全体構成を示すブロック図である。 本発明の実施形態に係る、白キズ検出補間部の構成を示すブロック図である。 本発明の実施形態に係る、完全黒キズ検出補間部の構成を示すブロック図である。 本発明の実施形態に係る、遮光時のOB補正前の完全黒キズの周囲8画素の中央値で補間する場合の模式図である。 本発明の実施形態に係る、遮光時のOB補正前の完全黒キズの周囲8画素の中央値で補間する場合の模式図である。 本発明の実施形態に係る、遮光時のOB補正前の撮像信号での白キズの周囲8画素の中央値でする場合の補間の模式図である。 本発明の実施形態に係る、遮光時のOB補正前の撮像信号での白キズの周囲8画素の中央値で補間する場合の模式図である。 本発明の実施形態に係る、白キズ周囲画素補間部の構成を示すブロック図である。 本発明の実施形態に係る、黒キズ周囲画素補間部の構成を示すブロック図である。 本発明の実施形態に係る、暗電流算出OB補正部の構成を示すブロック図である。 本発明の実施形態に係る、FPN補正部の構成を示すブロック図である。 本発明の実施形態の実施例1に係る、ペルチェ素子駆動回路のブロック図である。 本発明の実施形態の実施例1に係る、ペルチェ駆動回路を用いたペルチェ素子71の駆動例を示す図である。 本発明の実施形態の実施例1に係る、ペルチェ駆動回路を用いたペルチェ素子の別の駆動例を示す図である。 本発明の実施形態の実施例1に係る、起動時のパルス駆動による撮像素子加熱による短時間FPN変化低減後のFPN検出のフローチャートである。 本発明の実施形態の実施例1に係る、撮像時のFPN補正のフローチャートである。 本発明の実施形態の実施例2に係る、ペルチェ駆動回路のブロック図である。 本発明の実施形態の実施例2に係る、ペルチェ駆動回路を用いたペルチェ素子
次に、本発明を実施するための形態(以下、単に「実施形態」という)を、図面を参照して具体的に説明する。本実施形態では、撮像素子(固体撮像素子)の温度で変動する撮像素子の暗電流むらのいわゆる固定パターン雑音を、起動後すぐに短時間で安定化させて検出し、温度に対し非線形に画面内で不均一に変化する固定パターン雑音を有する撮像素子を、起動後30分程度で内部温度上昇が飽和に近づき変化が小さくなってから固定パターン雑音を検出してから撮影して固定パターン雑音を補正するのではなく、起動後すぐに固定パターン雑音の変化を飽和に近づけて検出して撮影して固定パターン雑音を補正する。
図1は本実施形態の撮像装置30の全体構成を示すブロック図であり、例えば、テレビジョンカメラである。図1の撮像装置30は、主にガンマ後マトリクスの映像信号処理の機能に着目して示している。撮像装置30は、雑音低減、ゲイン補正およびアナログ−デジタル変換のAFE(アナログ・フロント・エンド)を集積したCMOS撮像素子(固体撮像素子)を備え、映像信号処理では、遮光画素の映像信号の代表値を有効画素映像信号から減算するOB補正を行う。
より具体的には、撮像装置30は、オンチップカラーフィルタ付CMOS撮像素子(以下、「撮像素子70」と称する)と、白キズ完全黒キズ検出補間機能付映像信号処理部35と、パラレル−シリアル変換部37と、CPU(Central Processing Unit)39を備える。
更に、撮像装置30は、ペルチェ素子71、ペルチェ駆動回路72、放熱フィン73、モーターファン74、モーターファン駆動回路75、温度センサー20、及び周囲温度センサー20aを備え、撮像素子70の冷却機能を実現する。モーターファン74はモーターファン駆動回路75により駆動が制御され、筐体内外への空気の流出入を促すよう動作する。また、撮像装置30には、レンズ31及びビューファインダ40が取り付けられる。
撮像素子70は、R/G/Bの信号を出力するが、ここでは、ベイヤー配列のカラーフィルタを備え、Gの信号としてG1及びG2の信号を出力する。すなわち、R/G1/G2/Bの信号が出力される。なお、G1及びG2の信号を区別しない場合は、「G1」及び「G2」を「G」として表記・説明する。
白キズ完全黒キズ検出補間機能付映像信号処理部35は、白キズ完全黒キズ検出補間部38と、ガンマ色輪郭補正53と、MATRIX部36とを備える。白キズ完全黒キズ検出補間部38は、白キズ検出補間部50と、完全黒キズ検出補間部51と、暗電流算出OB補正部52と、撮像素子制御部54とを備える。
各構成の機能について、信号の流れとともに具体的に説明する。
被写体からの入射光はレンズ部31で結像され、結像された入射光は撮像装置30の撮像素子70で光電変換される。撮像素子70で光電変換されたR/G1/G2/Bの信号に対して、撮像素子70内で雑音低減、ゲイン補正およびアナログ−デジタル変換が行われ、変換された信号は、白キズ完全黒キズ検出補正機能付映像信号処理部の35に送られる。白キズ完全黒キズ検出補間機能付映像信号処理部35は、色補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理を行う。
撮像素子70の近傍には、温度センサー20が設けられており、撮像素子70の温度を検出する。周囲温度センサー20aは、筐体外周温度検出手段であって、撮像装置30の筐体外側付近の温度を検出する。なお、周囲温度センサー20aは、撮像装置30に外付けされて有線又は無線接続によって計測結果を撮像装置30に通知してもよい。
CPU39は、撮像素子70の温度に基づき、ペルチェ素子71及びモーターファン74を駆動し、撮像素子70を冷却又は加熱する。具体的には、CPU39は、ペルチェ駆動回路72へ指示を出しペルチェ素子71を駆動する。また、CPU39は、モーターファン駆動回路75へ指示を出しモーターファン74を駆動し、放熱フィン73の温度を所望の温度、例えば周囲温度に近づけるように制御する。
撮像素子制御部54は、CPU39の指示に従い、撮像素子70の蓄積や読出しを制御する。レンズ部31は、CPU39の指示に従い遮光または標準撮像を光学絞りまたは可変光学減衰(以下、「絞り」という)で制御する。
撮像装置30の起動時は、レンズ31の絞りを閉めて遮光し、モーターファン74を停止してペルチェ駆動回路72をパルス駆動し、周囲温度と撮像素子70の温度の温度差が、撮像素子70と放熱フィン73との飽和(具体的には、熱抵抗と熱容量の飽和)の温度差に近づけるように制御する。
その飽和の温度差に近づいたら、ペルチェ素子71の駆動とモーターファン74の駆動を、撮像素子70の温度に対応した通常の運転に移行させる。その後、64回(約1秒間)だけ有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を映像信号から差し引いて、さらに固定パターン信号を減算する。詳細は実施例1及び実施例2で後述する。
白キズ完全黒キズ検出補間機能付映像信号処理部35は、各種映像信号処理等を施したのち、MATRIX部36を用いて次式の変換式により、BT.709の映像信号の出力のR/G/Bから輝度信号(Y)と色差信号(Pb/Pr)に変換する。
Y=0.2126R+0.7152G+0.0722B
Pb=0.5389(B−Y)
Pr=0.6350(R−Y)
そしてパラレル−シリアル変換部37でシリアル映像信号に変換され、外部に出力される。
また、BT.709の原色点より広色域のITU/BT.2020での映像信号の出力
Y=0.2627R+0.6780G+0.0593B
Pb=0.5315(B−Y)
Pr=0.6782(R−Y)
の映像信号出力もある。
さらに、赤緑青の原色の映像信号の出力も、図次しないが、赤緑1緑2青の原色の映像信号の出力もある。
CPU39は、撮像装置30の各部を制御する。また、ビューファインダ40またはモニタディスプレイ(図示せず)の画像表示部は、撮像装置30の設定用メニューや暗電流が異常に多い撮像画素(以下、「白キズ」という。)と正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、「完全黒キズ」という。)との自動補間操作や任意の画素の手動での周囲画素での補間操作を表示する。
ビューファインダ40またはモニタディスプレイでは、被写体の映像にメニュー画面を重畳し、ユーザーはメニュー画面を見ながら白キズと完全黒キズとの自動検出補間操作や任意の画素の手動での周囲画素での補間操作を表示する。
以下、キズ検出と補間処理に関し基本的な構成及び動作を、上述した図1と、図2〜図10及び図07を用いて説明する。
図2は、白キズ検出補間部50の構成を示すブロック図である。図3は、完全黒キズ検出補間部51の構成を示すブロック図である。図2で示す白キズ検出補間部50は、暗電流が異常に多い撮像画素(いわゆる「白キズ」)検出と補間を行う。図3の完全黒キズ検出補間部51は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(いわゆる「完全黒キズ」)検出を行う。
具体的には、白キズ検出補間部50は、撮像素子70からR/G/Bの信号を取得し白キズ検出補間処理を行い、Rの白キズ補間信号R(1)/Gの白キズ補間信号G(1)/Bの白キズ補間信号B(1)を完全黒キズ検出補間部51へ出力する。
完全黒キズ検出補間部51は、白キズ検出補間部50からRの白キズ補間信号R(1)/Gの白キズ補間信号G(1)/Bの白キズ補間信号B(1)を取得し完全黒キズ検出補間処理を行い、Rの完全黒キズ補間信号R(2)/Gの完全黒キズ補間信号G(2)/Bの完全黒キズ補間信号B(2)を暗電流算出OB補正部52へ出力する。
このとき、完全黒キズ検出補間部51は、完全黒キズ検出の長時間蓄積での完全黒キズ基準レベルを減算し、完全黒キズの映像信号タイミング(アドレス)を判定し、標準撮像時に、標準撮像時の完全黒キズ補間レベル判定はしないで、完全黒キズの映像信号タイミング(アドレス)で完全黒キズの周囲画素での補間を行う。
図2に示すように、白キズ検出補間部50は、白キズ判定部15と、白キズ周囲画素補間部16と、3つの減算器(減算器(1)12a、減算器(2)13a、減算器(3)14a)とを備える。
白キズ判定部15は、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定を行い、R/G/Bの信号に対応した白キズの映像信号タイミング(アドレス)Twr、Twg、Twbを白キズ周囲画素補間部16へ出力する。なお、各白キズの映像信号タイミング(アドレス)Twr、Twg、Twbを区別しない場合は、白キズの映像信号タイミング(アドレス)Twと称して説明する。白キズ周囲画素補間部16は、白キズの周囲画素での補間を行う。
図3に示すように、完全黒キズ検出補間部51は、黒キズ判定部17と、黒キズ周囲画素補間部18と、3つの減算器(減算器(1)12b、減算器(2)13b、減算器(3)14b)とを備える。
黒キズ判定部17は、黒キズの映像信号タイミング(アドレス)判定を行い、R/G/Bの信号に対応した黒キズの映像信号タイミング(アドレス)Tbr、Tbg、Tbbを黒キズ周囲画素補間部18へ出力する。なお、各黒キズの映像信号タイミング(アドレス)Tbr、Tbg、Tbbを区別しない場合は、黒キズの映像信号タイミング(アドレス)Tbと称して説明する。黒キズ周囲画素補間部18は黒キズの周囲画素での補間を行う。
図1、図2、図3に示すように、CPU39は、レンズ31に絞りを閉じて撮像素子70を遮光する指示をする。次に、CPU39は、撮像素子制御部54へおよそ1秒の中時間蓄積を指示する。撮像素子制御54はその指示にもとづき、白キズ検出用中時間間欠パルスを発生させ、撮像素子70に供給する。そして、白キズ検出補間部50の減算器(1)12a、減算器(2)13a、減算器(3)14aが、遮光中時間蓄積したR、G、Bの撮像信号と白キズ検出の中時間蓄積での白キズ基準レベル(SR1、SG1、SB1)との差分を白キズ判定部15へ出力する。白キズ基準レベル(SR1、SG1、SB1)は、CPU39から出力される。白キズ判定部15は、その差分から白キズの映像信号タイミング(アドレス)判定を行う。
次にCPU39は、撮像素子制御部54へ正常画素の暗電流に反比例させて長時間(1秒から163894秒)蓄積を指示する。撮像素子制御54は、その指示にもとづき、完全黒キズ検出用長時間間欠パルスを発生させ、撮像素子70に供給する。そして、完全黒キズ検出補間部51の減算器(1)12b、減算器(2)13b、減算器(3)14bが、遮光長時間蓄積したR,G,Bの撮像信号を白キズの映像信号タイミング(アドレス)に基づき16で白キズの周囲画素での補間を行ったR,G,Bの補間信号(R(1)、G(1)、B(1))と完全黒キズ検出の長時間蓄積での完全黒キズ基準レベル(SR2、SG2、SB2)との差分を黒キズ判定部17へ出力する。黒キズ判定部17は、その差分から完全黒キズの映像信号タイミング(アドレス)判定を行う。
標準撮像時に、CPU39は、レンズ31に絞りを開かせ、撮像素子制御部54へ標準撮像を指示する。その指示にもとづいて、撮像素子制御54は標準撮像パルスを発生させ撮像素子70に供給する。白キズ検出補間部50の減算器(1)12a、減算器(2)13a、減算器(3)14aが、標準撮像したR、G、Bの撮像信号と標準撮像時の白キズ補間レベル(SR1‘、SG1’、SB1‘)との差分を白キズ判定部15へ出力する。白キズ判定部15は、その差分から白キズの映像信号タイミング(アドレス)判定を行う。白キズ周囲画素補間部16は白キズ補間レベル以下の撮像信号で白キズの映像信号タイミング(アドレス)で白キズの周囲画素での補間を行う。白キズ周囲画素補間部16が白キズの周囲画素での補間を行ったR,G,Bの補間信号(R(1)、G(1)、B(1))は完全黒キズ検出補間部51へ出力される。完全黒キズ検出補間部51の黒キズ周囲画素補間部18は、完全黒キズの映像信号タイミング(アドレス)に基づき、完全黒キズを周囲画素の中央値で補間を行う。黒キズ判定部17は、標準撮像時の完全黒キズ補間レベル判定は行わない。
また、図2において、判定レベルに関して、白キズ検出の中時間蓄積での白キズ基準レベル(SR1、SG1、SB1)又は標準撮像時の白キズ補間レベル(SR1‘、SG1’、SB1‘)を入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段(白キズ判定部15)で行うことが可能であり、回路の小型化と低価格化が実現できる。
図4Aは、遮光時のOB補正前の完全黒キズの周囲8画素の中央値で補間する場合の模式図であり、標準撮像信号での完全黒キズの周囲正常画素での補間を示している。図示のように、中央の完全黒キズ撮像信号「0」が、周囲の周囲正常画素撮像信号「32」、「48」、「56」、「64」、「80」、「96」、「102」、「128」の中央値「64」または「80」で補間される。
図4Bは、遮光時のOB補正前の完全黒キズの周囲8画素の中央値で補間する場合の模式図であり、標準撮像信号での完全黒キズの周囲黒キズを含む正常画素での補間を示している。図示のように、中央の完全黒キズ撮像信号「0」が、周囲(図のマトリックス右下)の完全黒キズ撮像信号「0」を除く周囲の周囲正常画素撮像信号「32」、「48」、「56」、「64」、「80」、「102」、「128」の中央値「64」で補間される。
図4Cは、遮光時のOB補正前の撮像信号での白キズの周囲8画素の中央値で補間する場合の模式図であり、標準撮像信号での白キズの周囲正常画素での補間の例を示している。図示のように、中央の白キズ撮像信号「1024」が、周囲の周囲正常画素撮像信号「32」、「48」、「56」、「64」、「80」、「96」、「102」、「128」の中央値「64」または「80」で補間される。
図4Dは、遮光時のOB補正前の撮像信号での白キズの周囲8画素の中央値で補間する場合の模式図であり、標準撮像信号での白キズの周囲白キズを含む正常画素での補間の例を示している。図示のように、中央の白キズ撮像信号「1024」が、周囲の周囲正常画素撮像信号「32」、「48」、「56」、「80」、「96」、「102」、「128」の中央値「80」で補間される。完全黒キズ補間は白キズ補間後に行われる。
図5は白キズ周囲画素補間部16の構成を示すブロック図である。図6は黒キズ周囲画素補間部18の構成を示すブロック図である。白キズ周囲画素補間部16及び黒キズ周囲画素補間部18は、同様の構成を有しており、それぞれ周囲8画素の中央値を算出し補間する。
図5に示すように、白キズ周囲画素補間部16は、周辺画素信号選択部9aと、周囲画素中央値検出部19aと、遅延器8aと、出力切替器29aとを備える。周辺画素信号選択部9aは、ラインメモリ(1)5aと、ラインメモリ(2)6aと、入力切替器7aとを備える。周囲画素中央値検出部19aは、8つの比較器(比較器(1)21a〜比較器(8)28a)を備え、周囲画素中央値を出力切替器29aに出力する。ラインメモリ(1)5a及びラインメモリ(2)6aは、0H番地の撮像信号から1H番地、2H番地の撮像信号を生成する。
入力切替器7aは、0H番地、1H番地、2H番地の撮像信号を選択して撮像信号の周囲画素信号を生成する。ラインメモリ(1)5a及びラインメモリ(2)6aの替わりに、図示しないフレームメモリが用いられてもよい。遅延器8aは、周囲画素中央値検出部19aの遅延分撮像信号を遅延させる。
そして、周囲画素中央値検出部19aは、撮像信号の周囲画素信号を、比較器(1)21a〜比較器(8)28aで例えば降順に並び換えて、中央値に対応する比較器(4)24aから撮像信号の周囲画素中央値を出力切替器29aへ検出する。更に、図02で示した、白キズ判定部15からの白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)Twに応じて白キズ周囲画素補間部16の出力切替器29で、撮像信号を撮像信号の周囲画素中央値に補間する。
また、図6に示すように、キズ周囲画素補間部18は、周辺画素信号選択部9bと、周囲画素中央値検出部19bと、遅延器8bと、出力切替器29bとを備える。周辺画素信号選択部9bは、ラインメモリ(1)5bと、ラインメモリ(2)6bと、入力切替器7bとを備える。周囲画素中央値検出部19bは、8つの比較器(比較器(1)21b〜比較器(8)28b)を備え、周囲画素中央値を出力する。ラインメモリ(1)5b及びラインメモリ(2)6bは、0H番地の白キズ補間信号から1H番地、2H番地の白キズ補間信号を生成する。
入力切替器7bは、0H番地、1H番地、2H番地の白キズ補間信号を選択して白キズ補間信号の周囲画素信号を生成する。遅延器8bは、周囲画素中央値検出部19bの白キズ補間信号を遅延させる。
そして、周囲画素中央値検出部19bは、白キズ補間信号の周囲画素信号を、比較器(1)21b〜比較器(8)28bで例えば降順に並び換え、中央値に対応する比較器(4)24bから白キズ補間信号の周囲画素中央値を出力切替器29bへ検出する。更に、図3の黒キズ判定部17からの完全黒キズの映像信号タイミング(アドレス)Tbに応じて黒キズ周囲画素補間部18の出力切替器29bで、白キズ補間信号を白キズ補間信号の周囲画素中央値に補間する。
なお、図5の白キズ周囲画素補間部16や図6の黒キズ周囲画素補間部18において、周囲画素に複数の白キズが存在していたとしても、白キズ補間後に完全黒キズ補間するので、完全黒キズ補間は、白キズの影響を受けない。また、完全黒キズ補間は白キズ補間後に行うので、白キズ周囲画素補間部16と黒キズ周囲画素補間部18との機能が同じ回路で入力信号と制御信号とを切り替えることで実現されてもよい。
図7は、暗電流算出OB補正部52の構成を示すブロック図であって、OB画素信号の最小値からN番目からN+M番目の画素値を代表値として検出し、その代表値の加算平均値を出力する。ここでは、一実施例として、最小値から4番目〜7番目(すなわち、N=3、M=4)の画素値の加算平均を出力する構成について例示する。
暗電流算出OB補正52は、代表値平均検出部48と、遅延器55と、減算器4とを備える。代表値平均検出部48は、代表値検出部47と、1/4除算部46と、加算器(1)43、加算器(2)44及び加算器(3)45とを備える。
代表値検出部47は、完全黒キズ検出補間部51からOG画素信号を取得し、加算器(1)43、加算器(2)44及び加算器(3)45で、最小値から4番目〜7番目の画素値を加算し1/4除算部46へ出力する。
具体的には、代表値検出部47は、図示のように、比較器(1)21c〜比較器(8)28cを備え、例えば、OG画素値が降順に並び変え、最小値が比較器(8)28aに最大値(すなわち、最小値から8番目の画素値)が比較器(1)21cに設定される。ここでは、比較器(2)22cから7番目の画素値が、比較器(3)23cから6番目の画素値が、加算器(1)43へ出力される。また、比較器(4)24cから5番目の画素値が、比較器(5)25cから4番目の画素値が加算器(2)44に出力される。そして、加算器(1)43で加算された画素値と加算器(2)44で加算された画素値が加算器(3)45で更に加算され、1/4除算部46へ出力される。
1/4除算部46は、最小値から4番目〜7番目(すなわち、N=3、M=4)の画素値の加算値を加算器(3)45から取得し、2bitシフトによって1/4化する。この様な処理によって、代表値平均検出部48は、白キズと完全黒キズを除外したOB画素信号を加算平均する。
なお、遅延器55で遅延された撮像有効画素信号は、減算器4で代表値平均検出部48から出力される加算平均で補正し、OB補正撮像画素信号として出力される。なお、V−OB補正(垂直OB補正)において、遅延器55は必須ではないが、撮像有効画素信号を遅延器55で遅延させ、有効画素後のV−OBで補正したほうが安定する。なお、V−OB補正は、縦筋補正やHShading補正も兼ねる。
一般に、撮像装置30の適用が想定されるテレビカメラでは、撮像素子は、2K、4K、8Kと高画素になるに従い、有効画素に比較してOB画素が少なくなる。そのため、OB画素の白キズと完全黒キズの影響を受けやすくなる。しかし、本実施形態では、OB画素の白キズと完全黒キズの影響を受けないで、例えば、撮像素子70の温度(以下「撮像素子温度」ともいう。)が6℃上昇すると約2倍に増加するOB画素信号の正常画素の暗電流を検出することができる。その結果、検出した(撮像素子温度6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させることができる。
また、検出したOB画素信号の正常画素の暗電流の信号を撮像有効画素信号から減算すれば、OB画素の白キズと完全黒キズの影響を受けないで、映像信号処理で安定にOB補正をすることができ、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
撮像素子温度が6℃上昇すると約2倍に増加するOB画素信号の代表値を検出することにより、温度センサーを別途設けなくても、撮像素子の温度を検出することができる。検出した(撮像素子温度に6℃でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させることにより、正常画素の暗電流が少ない低温時の正常画素の暗電流と、感度が異常に低く漏れ電流相当の暗電流しかない異常低感度画素(以下、「完全黒キズ」という)の暗電流と確実に識別し、完全黒キズを確実に検出することができる。白キズ検出と異なり、完全黒キズの信号検出は困難なので、低温度における検出時の長時間蓄積が許容される。
図8は、図1に示した撮像装置30に適用されるFPN補正部80の構成を示すブロック図である。第1の撮像装置は、遮光時に入力された映像データの1フレーム加算平均値を算出し、これに基づいて、1フレーム加算平均を減算することで突発的な直流変動を補正し、良好なFPN補正値を算出できるようにしている。
具体的には、図示のように、FPN補正部80は、黒レベル減算器81と、メモリコントローラ82と、フレームメモリ83と、1フレーム加算平均演算部84と、加算器87と、ラインバッファ(1)88と、ラインバッファ(2)89と、除算器85と、減算器(1)86と、減算器(2)90とを備えている。FPN補正部80は、例えばFPGAとDDRメモリで実現されてもよいし、メモリ大容量のFPGAで実現されてもよい。
黒レベル減算器81は、FPN補正の補正値の基になる累積補正値を算出する補正値算出処理において、遮光時の映像信号から黒基準レベルを減算する。これにより、FPNレベルの基準をデジタル値ゼロとするものである。
メモリコントローラ82は、フレームメモリ83に対するデータの入出力を制御する。
フレームメモリ83は、映像データを記憶するものであり、黒レベル減算器81から入力された遮光時の1フレーム分の映像データを記憶するエリアと、1フレーム分の累積補正値を記憶するエリアとを備えている。なお、入力データ用のメモリと累積補正値用のメモリの2つを備えるようにしてもよい。
1フレーム加算平均演算部84は、黒レベル減算器81から出力された遮光時の1フレーム分の映像データについて、全画素の加算平均演算を行って、1フレーム加算平均値を算出する。具体的には、1フレーム加算平均演算部84は、入力された画素のデータを累積加算し、1フレーム分加算した後、総画素数で除して当該フレームの1フレーム加算平均値とする。
加算器87は、フレームメモリ83から読み出された累積補正値を画素毎に加算する。
ラインバッファ(1)88は、加算器87からの出力を行毎に保持し、行単位でメモリコントローラ82に出力する。ラインバッファ(2)89は、メモリコントローラ82からの行毎の出力を保持し、加算器87に画素毎に出力するとともに、除算器85へ出力する。
除算器85は、フレームメモリ83から読み出された累積補正値を画素毎に所定の加算回数(k回とする)で除算して、遮光時の映像データの平均レベルを算出し、画素毎のFPN補正値として減算器(1)86に出力する。
減算器(1)86は、補正値算出処理が終了後、撮影時に入力された映像データから、除算器85からのFPN補正値を画素毎に減算して、補正された映像データ(補正映像データ)を出力する。
上述の構成による実施例1、実施例2を以下に説明する。
<実施例1>
上述のように、一般に、撮像素子では、6℃温度上昇で、暗電流は2倍程度となっている。放熱に工夫しているカメラでは、一般に、内部温度上昇がおおよそ30分で変化が少なくなり、更に、おおよそ2時間で飽和し12℃程度となっている。そのため、周囲温度が一定であっても、内部温度上昇12℃で、起動時に比べ、内部温度上昇の飽和時には4倍となる。しかし、高画素や高感度や高速読出しに特化するために、暗電流が温度に非線形に応じて画面内で不均一に変化するCMOS撮像素子もある。
以下、実施例1について、上述の図1の撮像装置30及び、図9、図10、図11、図12、図13を参照して説明する。
図1で示した撮像装置30は、起動時はモーターファン74を停止してペルチェ駆動回路72をパルス駆動する。周囲温度と撮像素子70の温度(撮像素子温度)の温度差が、撮像素子70と放熱フィン73との熱抵抗及び熱容量の飽和の温度差に近づいたら、ペルチェ素子71の駆動とモーターファン74の駆動とを撮像素子温度に対応した通常の運転にする。そして、64回(約1秒間)だけ有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を映像信号から差し引いて、さらに固定パターン信号を減算する。
ここで、図9は、実施例1のペルチェ素子駆動回路72のブロック図である。このペルチェ駆動回路72は、正(撮像素子冷却でフィン加熱)方向のペルチェ素子駆動を実現する回路例である。
ペルチェ駆動回路72は、演算増幅器IC1と、トランジスタQ1とを備える。演算増幅器IC1は、例えば、入/出力ともにRail−to−Railのオペアンプである。トランジスタQ1はPNPタイプである。トランジスタQ1のコレクタ端子がペルチェ素子71の一端に接続される。トランジスタQ1はPchMOSFETでも良い。
正の電源電圧Vccは、演算増幅器IC1の正電源端子及びトランジスタQ1のエミッタ端子に接続される。CPU39のD/A出力(Vin)は、抵抗R2を介して演算増幅器IC1の反転入力端子に接続される。なお、抵抗R2と演算増幅器IC1の反転入力端子の間の経路は、抵抗R3を介して接地されている。
演算増幅器IC1の非反転入力端子は、ペルチェ素子71の他端に接続され、ペルチェ素子71からの帰還信号が入力される。この帰還信号の経路は抵抗R1を介して接地されている。演算増幅器IC1の出力は、トランジスタQ1のベース端子に接続される。
ここで、CPU39のD/A出力(Vin)と抵抗R1からの帰還電圧Vrとの関係は、抵抗R2、抵抗R3を用いて、次式で表される。
Vr=Vin×R3/(R2+R3)
例えば、正の電源電圧Vcc=+12V、抵抗R1=0.1Ω、抵抗R2=47kΩ、抵抗R3=1kΩ、Vin=5Vの場合を想定すると、帰還電圧Vrは次式のように、約0.12Vとなる。
Vr=5×1.2/48.2≒0.12V
ここで、ペルチェ素子71の両端電圧は約12Vでペルチェ素子の電流は約1.2Aとなる。Vinが0Vの場合にVr=Vin×R3/(R2+R3)=0Vとなり、ペルチェ素子71の両端電圧は0Vでペルチェ素子の電流は0Aとなる。
図10は、図9のペルチェ駆動回路72を用いたペルチェ素子71の駆動例を示す図である。正(撮像素子冷却でフィン加熱)方向のパルス駆動による撮像素子加熱の2回パルスの例であり、(a:上段)ペルチェ素子71の両端電圧とペルチェ素子71の電流の推移と、(b:下段)ペルチェ素子71両端温度(撮像素子温度TSとフィン温度Tfin)の推移を示している。ここでは周囲温度Taを基準とした相対温度で示している。
図10において、撮像素子冷却でフィン加熱の期間は、1回目は0.15秒と比較的短くなっている。これに対し、非駆動の0.85秒はペルチェ素子71の熱抵抗と撮像素子70の熱容量との積の熱時定数(通常1秒以下)と同等以上に長くなっている。非駆動の0.85秒の間に、フィン加熱の熱がペルチェ素子71の熱伝導により、撮像素子70に届き、全体としては、撮像素子70を加熱する。
撮像素子温度Tsの上昇が撮像時のペルチェ弱冷却時の熱飽和相当にまだ近づけきらなかったら、正(撮像素子冷却でフィン加熱)方向の期間は、2回目は0.02秒となっている。一方、非駆動は0.98秒になっており、この非駆動の0.98秒の間に、フィン加熱の熱がペルチェ素子71の熱伝導により、撮像素子70に届き、全体としては、撮像素子70を加熱する。遮光動作が完了し、撮像素子温度の温度上昇が撮像時のペルチェ弱冷却時の熱飽和相当に近づいたらつまり所定の温度範囲内となったら、FPN検出期間として、撮像時のペルチェ弱冷却にして、遮光状態でおよそ1秒蓄積してOB画素の暗電流の典型値を減算して固定パターン信号を計算し記憶する。
図11は、図9のペルチェ駆動回路72を用いたペルチェ素子71の別の駆動例を示す図である。正(撮像素子冷却でフィン加熱)方向のパルス駆動による撮像素子加熱の1回パルスの例であり、(a)ペルチェ素子の両端電圧とペルチェ素子の電流の推移と、(b)ペルチェ両端(撮像素子温度TSとフィン温度Tfin)温度の推移を示している。ここでは周囲温度Taを基準とした相対温度で示している。
図11において、撮像素子冷却でフィン加熱の期間は1回のみで、0.17秒と比較的短い。これに対し、非駆動の0.83秒はペルチェ素子71の熱抵抗と撮像素子70の熱容量との積の熱時定数(通常1秒以下)と同等以上に長くなっている。この非駆動の0.83秒の間に、フィン加熱の熱がペルチェ素子71の熱伝導により、撮像素子70に届き、全体としては、撮像素子70を加熱する。遮光動作が完了し、撮像素子温度の温度上昇が撮像時のペルチェ弱冷却時の熱飽和相当に近づいたらつまり所定の温度範囲内となったら、FPN検出期間として、撮像時のペルチェ弱冷却にして、遮光状態でおよそ1秒蓄積してOB画素の暗電流の典型値を減算して固定パターン信号を計算し記憶する。
遮光にはレンズ31の絞りを閉じても良いし、フィルタディスクホイールを電動にした遮光フイルタを選択しても良い。ただし、ペルチェ素子71をパルス駆動することにより撮像素子70を加熱し温度を内部温度上昇の飽和に近づける前に遮光が完了する必要がある。図10と図11では、遮光動作は約1秒以下と一般的な速度で良い。
図12は、起動時のパルス駆動による撮像素子加熱による短時間FPN変化低減後のFPN検出のフローチャートである。起動後に、モーターファン74が停止し(S1)、周囲温度Taと撮像素子温度Tsの測定がされ(S2)、温度上昇が冷却の飽和相当以上かどうかが判断される(S3)。
温度上昇が冷却の飽和相当未満であれば(S3のN)、ペルチェ素子71を飽和との差分に応じてパルス駆動させる処理が実行され(S4)、S2の処理に戻る。温度上昇が冷却の飽和相当以上であれば(S3のY)、周囲温度Taと撮像素子温度Tsとの差分に応じてペルチェ素子71を冷却(正)の直流駆動がなされる(S5)。更に、周囲温度Taと撮像素子温度Tsとの差分に応じてモーターファン74が駆動される(S6)。簡易には、単にモーターファン74を駆動させてもよい。つづいて、遮光が行われ(S7)、FPNメモリがクリアされる(S8)。
FPNメモリのクリアにつづき、全画素暗電流検出処理(S9)、OB画素典型暗電流算出処理(S10)が行われ、有効画素暗電流からOB画素典型暗電流を減算しFPN成分が算出され(S11)、算出されたFPN成分がFPNメモリに加算される(S12)。上記処理(S9〜12)が256回目に達していなければ(S13のN)、全画素暗電流検出処理(S9)に戻る。256回目であれば(S103のY)、遮光が中止となり(S14)、当該フローは終了となる。
図13は、撮像時のFPN補正のフローチャートである。撮像開始後に、周囲温度Taと撮像素子温度Tsとが測定され(S101)、周囲温度Taと撮像素子温度Tsとの差分に応じてペルチェ素子71を正(撮像素子冷却でフィン加熱)方向の直流駆動がなされる(S102)。更に、周囲温度Taと撮像素子温度Tsとの差分に応じてファン駆動が行われる(S103)。ここでも、簡易には、単にモーターファン74を駆動させてもよい。
標準撮像がなされ(S104)、FPNメモリ信号を減算する処理が行われ(S105)、キズの周囲画素補間処理(S106)が行われる。撮影継続の場合(S107のN)、S101の処理に戻る。撮影終了の場合(S107のY)、当該フローは終了となる。
実施例1では、起動時にペルチェ素子71を撮像素子70の冷却方向で放熱フィンの加熱方向に約0.2秒パルス駆動と約1秒から約2秒放置することにより撮像素子70を加熱し、撮像素子温度を内部温度上昇の飽和に近づけて、撮像素子温度に対し非線形に画面内で不均一に変動する撮像素子70の暗電流むらのいわゆる固定パターン雑音の変化を内部温度上昇の飽和に近づけて、ペルチェ素子71をパルス駆動した以降の撮影時の変化を少なくして、固定パターン雑音成分を約1秒で検出し、撮影時に固定パターン雑音成分を減算して補正する。
つまり、本発明は起動後30分程度で変化が少なくなってから固定パターン雑音を補正してから撮影するのではなく、起動後約2秒から3秒といった短時間で固定パターン雑音成分を減算して、固定パターン雑音成分のない高品位な撮影をすることが可能となる。
以上の実施例1の特徴を纏めると次の通りである。すなわち、実施例1の撮像装置30は、温度センサー20(固体撮像素子温度検出手段)と周囲温度センサー20a(筐体外周温度検出手段)と、モーターファン74(通風ファン)と、放熱フィン73と、撮像素子70(固体撮像素子)と放熱フィン73の間のペルチェ素子71と、ペルチェ素子71を正(冷却)に駆動するペルチェ駆動回路72と、レンズ71の絞り又は電動フィルタディスクホイール等の遮光手段と、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から差し引く白キズ完全黒キズ検出補間部38(画像処理手段)と、を有する。
そして、撮像装置30は、起動時は該遮光手段の遮光を開始し、モーターファン74を停止してペルチェ素子駆動回路72を周囲温度と撮像素子温度との差分に応じた時間(0.001秒から0.1秒程度)に駆動させることで、ペルチェ素子71の正方向のパルス駆動を実行して、つづいて、パルス駆動より十分長い時間(おおよそ1秒から3秒程度)ペルチェ素子71に電流を流さない状態にして(すなわち、ペルチェ素子71の両面で温度差がないように撮像素子70と放熱フィン73とを加熱し)、周囲温度と撮像素子70の温度の温度差が撮像素子70と放熱フィン73との飽和(熱抵抗と熱容量の飽和)の温度差に近づいたらつまり所定の温度範囲内となったら、モーターファン74を撮像素子の温度に対応した通常の駆動にして、ペルチェ駆動回路72も撮像素子温度に対応した通常の駆動にして、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から差し引く。
<実施例2>
以下、実施例2について、上述の図1の撮像装置30及び、図14、図15、図12、図13を用いて説明する。
図1で示した撮像装置30は、実施例1と同様に、起動時はモーターファン74を停止してペルチェ駆動回路72をパルス駆動する。周囲温度と撮像素子70の温度(撮像素子温度)の温度差が、撮像素子70と放熱フィン73との熱抵抗及び熱容量の飽和の温度差に近づいたらつまり所定の温度範囲内となったら、ペルチェ素子71の駆動とモーターファン74の駆動とを撮像素子の温度に対応した通常の駆動にする。そして、64回(約1秒間)だけ有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を映像信号から差し引いて、固定パターン信号を減算する。
ここで、図14は、実施例2のペルチェ駆動回路72のブロック図である。このペルチェ駆動回路72は、正(撮像素子冷却でフィン加熱)負(撮像素子加熱でフィン冷却)両方向のペルチェ素子駆動を実現する回路例である。
このペルチェ駆動回路72は、図9で示した実施例1の回路構成に、トランジスタQ2を追加及び抵抗R4を追加した構成である。トランジスタQ2はNPNタイプである。トランジスタQ2のコレクタ端子は、トランジスタQ1のコレクタ端子と接続され、共通にペルチェ素子71の一端に接続される。トランジスタQ2のベース端子は、トランジスタQ1のベース端子と接続され、共通に演算増幅器IC1の出力に接続される。トランジスタQ2のエミッタ端子は、負の電源電圧Veeに接続される。ここで、負の電源電圧Veeは−5Vである。また、負の電源電圧Veeと演算増幅器IC1の反転入力端子との間には、抵抗R4が設けられる。抵抗R4は、ここでは100kΩである。トランジスタQ1はPchMOSFETでトランジスタQ2はPchMOSFETでも良い。
ここで、CPU39のD/A出力Vinと抵抗R1からの帰還電圧Vrの関係は、抵抗R2、抵抗R3、抵抗R4を用いて、次式で表される。
Vr=(Vin/R2+Vee/R4)×R2・R3/(R2+R3)
例えば、正の電源電圧Vcc=+12V、負の電源電圧Vee=−5V、抵抗R1=0.1Ω、抵抗R2=47kΩ、抵抗R3=1500Ω、抵抗R4=100K、Vin=5Vの場合を想定すると、帰還電圧Vr≒0.12Vになる。このとき、ペルチェ素子71の両端電圧は約12Vでペルチェ素子71の電流は約1.2Aとなる。Vin=0Vの場合では、帰還電圧Vr≒−0.05Vとなり、ペルチェ素子71の両端電圧は約−5Vでペルチェ素子71の電流は約−0.5Aとなる。
図15は、図14のペルチェ駆動回路72を用いたペルチェ素子71の駆動例を示す図である。正(撮像素子冷却でフィン加熱)負(撮像素子加熱でフィン冷却)両方向のペルチェ素子駆動のパルス駆動の時間と電圧と電流とを模式的に示している。ここでは、(a:上段)ペルチェ素子71の両端電圧とペルチェ素子の電流で、(b)ペルチェ素子71両端温度(撮像素子温度Tsとフィン温度Tfin)の推移を示している。正方向(撮像素子冷却でフィン加熱)と負方向(撮像素子加熱でフィン冷却)とをペルチェ素子駆動回路72の正負電源電圧の電圧比の逆比の時間比で正負にパルス駆動し、約0.102秒と短時間に撮像素子とフィンとを加熱する。ここでは、正方向の駆動に対応するHレベル(12V、1.2A)が約1m秒、負方向の駆動に対応するLレベル(−5V、−0.5A)が約2.4m秒のパルスの組み合わせを30回、すなわち0.102秒間動作する。別の動作例では、Hレベル(12V1.2A)が約10m秒、Lレベル(−5V、−0.5A)が約24m秒のパルスの組み合わせを5回、合計(10+24)m秒×5=170m秒(0.17秒)となる。このように、実施例2の遮光動作は前者の例では約0.1秒以下と高速である必要がある。
遮光動作が完了し、撮像素子温度の温度上昇が撮像時のペルチェ弱冷却時の熱飽和相当に近づいたら、撮像時のペルチェ弱冷却にして、FPN検出期間として遮光状態でおよそ1秒蓄積してOB画素の暗電流の典型値を減算して固定パターン信号を計算し記憶する。
なお、起動時のパルス駆動による撮像素子加熱による短時間FPN変化低減後のFPN検出処理は、実施例1の図12のフローチャートと同様である。また、撮像時のFPN補正処理は、実施例1の図13のフローチャートと同様である。ここでは、説明を省略する。
本実施例2は、起動時にペルチェ素子71を正方向(撮像素子70の冷却方向で放熱フィン73の加熱方向)に約1ミリ秒のパルス駆動と負方向(撮像素子70の加熱方向で放熱フィンの冷却方向に約2.4ミリ秒駆動するパターンを繰り返し、約0.1秒撮像素子70と放熱フィン73を加熱し撮像素子温度を内部温度上昇の飽和に近づけて、撮像素子70の温度に対し非線形に画面内で不均一に変動する撮像素子70の暗電流むらのいわゆる固定パターン雑音の変化を内部温度上昇の飽和に近づけて、ペルチェ素子71をパルス駆動した以降の撮影時の変化を少なくして、固定パターン雑音成分を約1秒で検出し、撮影時に固定パターン雑音成分を減算して補正する。
つまり、本発明は起動後30分程度で変化が少なくなってから固定パターン雑音を補正してから撮影するのではなく、起動後約1秒とすぐに固定パターン雑音成分を減算して、固定パターン雑音成分のない高品位な撮影をすることが可能となる。
以上のように、実施例2の撮像装置30は、温度センサー20(固体撮像素子温度検出手段)と周囲温度センサー20a(筐体外周温度検出手段)と、モーターファン74(通風ファン)と、放熱フィン73と、撮像素子70(固体撮像素子)と放熱フィン73の間のペルチェ素子71と、ペルチェ素子71を正負両方向(冷却方向及び加熱方向)に駆動するペルチェ駆動回路72と、レンズ71の絞り又は電動フィルタディスクホイール等の遮光手段と、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引く白キズ完全黒キズ検出補間部38(画像処理手段)と、を有する。
そして、起動時は遮光手段の遮光を開始し、放熱フィン73を停止してペルチェ駆動回路72を正負両方向にパルス駆動して、ペルチェ駆動回路72の正負電源電圧の電圧比の逆比の時間比で正負にパルス駆動し、ペルチェ素子71の両面で温度差がないようにペルチェ素子71と放熱フィン73とを加熱する。
更に、周囲温度と撮像素子温度の温度差が、撮像素子70と放熱フィン73との飽和(熱抵抗と熱容量との飽和)の温度差に近づいたら、放熱フィン73を撮像素子温度に対応した通常の運転にして、ペルチェ駆動回路72も撮像素子温度に対応した通常の駆動にし、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引く。
本発明を実施形態(実施例1及び実施例2を含む)をもとに説明した。これらの特徴を纏めると次の通りである。撮像装置30は、温度センサー20(固体撮像素子温度検出手段)と、周囲温度センサー20a(筐体外周温度検出手段)と、モーターファン74(通風ファン)と、放熱フィン73と、撮像素子70(固体撮像素子)と放熱フィン73の間のペルチェ素子71と、ペルチェ素子71を駆動するペルチェ駆動回路72と、レンズ71の絞り又は電動フィルタディスクホイール等の遮光手段と、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引く白キズ完全黒キズ検出補間部38(画像処理手段)と、を有する。
そして、起動時は遮光手段の遮光を開始し、モーターファン74を停止してペルチェ駆動回路72を周囲温度と撮像素子温度との差分に応じた時間、すなわち、ペルチェ駆動回路72が正(冷却)方向のみ駆動なら0.01秒から0.2秒程度にてペルチェ素子71の正(冷却)のパルス駆動を実行して、続いてパルス駆動より十分長い時間(おおよそ1秒から3秒程度)ペルチェ素子71に電流を流さない状態にする。
このとき、ペルチェ駆動回路72が正(+12V)負(−5V)両方向駆動なら、正(冷却)方向におおよそ0.1m秒から30m秒ペルチェ素子71を冷却(正)方向のパルス駆動を実行して、負(加熱)方向におおよそ0.2m秒から70m秒ペルチェ素子71を負(加熱)方向のパルス駆動を実行して、ペルチェ素子71の両面で温度差がないように撮像素子70と放熱フィン73とを加熱する。
更に、周囲温度と撮像素子温度の温度差が撮像素子70と放熱フィン73との飽和(熱抵抗と熱容量の飽和)の温度差に近づいたらつまり所定の温度範囲内となったら、モーターファン74を撮像素子の温度に対応した通常の駆動にして、ペルチェ駆動回路72も撮像素子温度に対応した通常の駆動にして、有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から差し引く。
つまり、本実施形態によると、ペルチェ素子71をパルス駆動することにより撮像素子70を加熱し温度を内部温度上昇の飽和に近づけて、撮像素子70の温度に対し非線形に画面内で不均一に変動する撮像素子の暗電流むらのいわゆる固定パターン雑音の変化を内部温度上昇の飽和に近づけて、ペルチェ素子71をパルス駆動した以降の撮影時の変化を少なくして固定パターン雑音成分を約1秒〜3秒程度で検出し、撮影時に固定パターン雑音成分を減算して補正することができる。すなわち、撮像装置30では、起動後約1秒〜3秒で高画質に撮影可能とし、8KカメラをENG(Electronic News Gathering)対応にすることができる。また、ハイダイナミックレンジ(HDR)対応の2K、4K、8Kカメラに多用されつつあるCMOS撮像素子の温度に対し非線形に画面内で不均一に変動する暗電流むらのいわゆる固定パターン雑音の変化を許容して、HDR対応の2K、4K、8Kカメラのコスト低減を実現できる。
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、撮像装置30として、オンチップカラーフィルタの撮像素子を用いたカラーカメラで説明したが、R/G/Bの3撮像素子を用いたカラーカメラであってもよいし、R/G1/G2/Bの4撮像素子を用いたカラーカメラでもよい。また、オンチップカラーフィルタのない撮像素子を用いたモノクロカメラでも、映像信号処理でOB補正をしていれば、本発明の処理を適用することができる。
4:減算器
5a、5b: ラインメモリ(1)
6a、6b: ラインメモリ(2)
7a、7b: 映像信号切替器
8a、8b、55: 遅延器
9a、9b: 周囲画素信号選択部
12a〜14a、12b〜14b: 減算器(1)〜減算器(3)
15: 白キズ判定部
16: 白キズ周囲画素補間部
17: 黒キズ判定部
18: 黒キズ周囲画素補間部
19a、19b: 周囲画素中央値検出部、
20: 温度センサー
20a: 周囲温度センサー
21a〜28a、21b〜28b、21c〜28c: 比較器(1)〜比較器(8)
29a、29b: 映像信号切替器
30: 撮像装置
31: レンズ
35: 白キズ完全黒キズ検出補間機能付映像信号処理部
36: MATRIX部
37: パラレル−シリアル変換部(P/S)
38: 白キズ完全黒キズ検出補間部
39: CPU(制御部)
40: ビューファインダ
43〜45: 加算器(1)〜加算器(3)
46: 1/4除算部
47: 代表値検出部
48: 代表値平均検出部
50: 白キズ検出補間部
51: 完全黒キズ検出補間部
52: 暗電流算出OB補正部
53: ガンマ色輪郭補正部
54: 撮像素子制御部
70: 撮像素子
71: ペルチェ素子
72: ペルチェ駆動回路(P駆動回路)
73: 放熱フィン
74: モーターファン
75: モーターファン駆動回路(F駆動回路)
80: FPN補正部
81: 黒レベル減算部
82: メモリコントローラ
83: フレームメモリ
84: 1フレーム加算平均部
85: 除算器
86、90: 減算器
88: ラインバッファ(1)
89: ラインバッファ(2)
IC1: 演算増幅器(Op−Amp)
Q1、Q2: トランジスタ
R1〜R4: 抵抗

Claims (3)

  1. 固体撮像素子と、
    前記固体撮像素子の温度を検出する固体撮像素子温度検出手段と、
    筐体外の周囲温度を検出する筐体外周温度検出手段と、
    前記固体撮像素子に取り付けられたペルチェ素子と、
    筐体内外の空気の流出入を促す通風ファンと、
    前記ペルチェ素子に取り付けられた放熱フィンと、
    前記ペルチェ素子を駆動するペルチェ素子駆動回路と、
    前記固体撮像素子への光を遮光する遮光手段と、
    有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引くOB補正処理を行う画像処理手段と、
    前記固体撮像素子の温度を制御する制御部と、
    を有し、
    前記制御部は、
    起動時は前記遮光手段の遮光を開始し、前記通風ファンを停止して、前記ペルチェ素子駆動回路を、前記周囲温度と前記固体撮像素子の温度との差分に応じた第1の時間でパルス駆動を実行し、つづいて、前記第1の時間より長い第2の時間において前記ペルチェ素子に電流を流さない状態に制御し、
    前記第2の時間の状態に制御されることによって、前記周囲温度と前記固体撮像素子の温度の温度差が所定の温度範囲内となったら、
    前記制御部は、前記通風ファンを前記固体撮像素子の温度に対応した通常の駆動に制御するとともに、前記ペルチェ素子駆動回路を前記固体撮像素子の温度に対応した通常の駆動に制御し、前記画像処理手段は、前記OB補正処理を実行することを特徴とする撮像装置。
  2. 固体撮像素子と、
    前記固体撮像素子の温度を検出する固体撮像素子温度検出手段と、
    筐体外の周囲温度を検出する筐体外周温度検出手段と、
    前記固体撮像素子に取り付けられたペルチェ素子と、
    筐体内外の空気の流出入を促す通風ファンと、
    前記ペルチェ素子に取り付けられた放熱フィンと、
    前記ペルチェ素子を駆動するペルチェ素子駆動回路と、
    前記固体撮像素子への光を遮光する遮光手段と、
    有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引くOB補正処理を行う画像処理手段と、
    前記固体撮像素子の温度を制御する制御部と、
    を有し、
    前記制御部は、
    起動時は前記遮光手段の遮光を開始し、前記通風ファンを停止して、前記ペルチェ素子駆動回路を、前記周囲温度と前記固体撮像素子の温度との差分に応じた第1の時間で、前記ペルチェ素子が冷却するようにパルス駆動を実行し、つづいて、前記第1の時間より長い第2の時間において前記ペルチェ素子に電流を流さない状態に制御し、
    前記第2の時間の状態に制御されることによって、前記周囲温度と前記固体撮像素子の温度の温度差が所定の温度範囲内となったら、前記制御部は、前記通風ファンを前記固体撮像素子の温度に対応した通常の駆動に制御するとともに、前記ペルチェ素子駆動回路を前記固体撮像素子の温度に対応した通常の駆動に制御し、前記画像処理手段は、前記OB補正処理を実行し、
    前記第1の時間は、0.001秒〜0.1秒の範囲であって、
    前記第2の時間は、1秒〜3秒の範囲である
    ことを特徴とする撮像装置。
  3. 固体撮像素子と、
    前記固体撮像素子の温度を検出する固体撮像素子温度検出手段と、
    筐体外の周囲温度を検出する筐体外周温度検出手段と、
    前記固体撮像素子に取り付けられたペルチェ素子と、
    筐体内外の空気の流出入を促す通風ファンと、
    前記ペルチェ素子に取り付けられた放熱フィンと、
    前記ペルチェ素子を駆動するペルチェ素子駆動回路と、
    前記固体撮像素子への光を遮光する遮光手段と、
    有効画素撮像信号からOB画素典型値を差し引いた固定パターン信号を読出して記憶し、撮像時の有効画素撮像信号からOB画素典型値を差し引いた映像信号から前記記憶した固定パターン信号を差し引くOB補正処理を行う画像処理手段と、
    前記固体撮像素子の温度を制御する制御部と、
    を有し、
    前記制御部は、
    起動時は前記遮光手段の遮光を開始し、前記通風ファンを停止して、前記ペルチェ素子駆動回路を正負にパルス駆動して、前記ペルチェ素子駆動回路の正負電源電圧の電圧比の逆比の時間比で正負にパルス駆動して前記ペルチェ素子の両面で温度差がないように前記固体撮像素子と前記放熱フィンとを加熱し、
    前記周囲温度と前記固体撮像素子の温度の温度差が前記固体撮像素子と前記放熱フィンとの飽和の温度差に近づいたら、前記通風ファンを前記固体撮像素子の温度に対応した通常の駆動に制御するとともに、前記ペルチェ素子駆動回路を前記固体撮像素子の温度に対応した通常の駆動に制御し、前記画像処理手段は、前記OB補正処理を実行することを特徴とする撮像装置。
JP2018565180A 2017-02-03 2017-02-03 撮像装置 Active JP6730464B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/003881 WO2018142555A1 (ja) 2017-02-03 2017-02-03 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2018142555A1 JPWO2018142555A1 (ja) 2019-11-14
JP6730464B2 true JP6730464B2 (ja) 2020-07-29

Family

ID=63040371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565180A Active JP6730464B2 (ja) 2017-02-03 2017-02-03 撮像装置

Country Status (2)

Country Link
JP (1) JP6730464B2 (ja)
WO (1) WO2018142555A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866309B (zh) * 2019-04-24 2022-02-15 杭州海康威视数字技术股份有限公司 网络摄像设备
JP7054865B1 (ja) 2021-01-27 2022-04-15 パナソニックIpマネジメント株式会社 撮像装置
CN115046083A (zh) * 2022-05-24 2022-09-13 云南电网有限责任公司玉溪供电局 一种基于物联技术的人员流动监控系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4789245B2 (ja) * 2006-01-13 2011-10-12 株式会社日立メディコ X線画像診断装置
JP2013162192A (ja) * 2012-02-02 2013-08-19 Canon Inc 撮像装置

Also Published As

Publication number Publication date
JPWO2018142555A1 (ja) 2019-11-14
WO2018142555A1 (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
US7952621B2 (en) Imaging apparatus having temperature sensor within image sensor wherin apparatus outputs an image whose quality does not degrade if temperature increases within image sensor
US8159570B2 (en) Image sensing apparatus and control method for the image sensing apparatus
US10302901B2 (en) Imaging apparatus and focus adjustment method
JP6730464B2 (ja) 撮像装置
US8018505B2 (en) Image-pickup apparatus
JP2005130045A (ja) 撮像装置及びこれに用いる撮像素子
JP2007214892A (ja) 撮像装置
US10841550B2 (en) Imaging apparatus and method of calculating white balance gain
JP6991809B2 (ja) 撮像装置
JP2016100686A (ja) 撮像装置および撮像方法
JP2010118780A (ja) 撮像素子の画素欠陥検出システム、撮像素子の画素欠陥検出方法
JP2014230121A (ja) 撮像装置および画素欠陥検出方法
JP2018182366A (ja) 撮像装置及び暗電流変動の検出補正方法及び撮像装置調整方法
JP2009206906A (ja) 電子カメラ
JP2008053812A (ja) 撮像装置
JP2013162192A (ja) 撮像装置
CN109963065B (zh) 具有影像校正功能的摄像系统
TWI677243B (zh) 具影像校正的攝像系統
JP5263764B2 (ja) 電子カメラ
JP2008034902A (ja) 電子カメラ
JP6700754B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2012119887A (ja) 撮像装置
JP2024088180A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JPWO2018037674A1 (ja) 撮像装置及び異常画素検出補間方法及び撮像装置調整方法
JP2014233017A (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6730464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250