JP6991809B2 - 撮像装置 - Google Patents

Description

本発明は、撮像素子に係り、例えば、ベイヤ配列のオンチップカラーフィルタを備えた撮像素子を有する撮像装置に関する。

デジタル一眼レフカメラでは、光学低域通過フィルタ（以下、「光学ＬＰＦ」という）を省略して、圧電素子で撮像素子を光軸（Ｚ軸）と垂直な方向（Ｘ軸Ｙ軸）に振動させて、光学ＬＰＦと同様な効果を得る技術がある。また、１画素ずらしながら４回撮像して、各画素位置からベイヤ配列のＲ／Ｇ１／Ｇ２／Ｂ全ての色情報を得て、偽信号のほとんどない画像を確保する技術がある（例えば、特許文献１）。

一方、テレビジョンカメラは、２４ｆｐｓ、３０ｆｐｓ、５０ｆｐｓ、６０ｆｐｓの出力映像のフレーム数に対し、１９２０ｘ１０８０画素（High-Definition TeleVision：ＨＤＴＶ２Ｋ；以下、「２Ｋ」という）では４８０ｆｐｓ、３８４０ｘ２１６０画素（Ｕ（Ultra）ＨＤＴＶ４Ｋ：以下、「４Ｋ」という）、７６８０ｘ４３２０画素（ＵＨＤＴＶ８Ｋ；以下、「８Ｋ」という）では２４０ｆｐｓと高速フレームで読み出すカメラもある。

しかし、出力映像の画素数に合った光学ＬＰＦを挿入しないと、規則正しい模様の被写体を撮像したときに、モアレが発生する。そのため、８Ｋ４ＫのＵＨＤＴＶカメラでは、２Ｋの映像を出力させる場合は、２Ｋ用の光学ＬＰＦに交換する必要がある。

また、従来のテレビジョンカメラの固撮像素子の画素欠陥検出方法としては、撮像光を分光して得られた複数分光を分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し、出力した映像信号どうしを比較した結果に応じて、前記分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出し、補間する技術がある（特許文献２参照）。

特開２０１６－２５４２９号公報 特開２００２－４４６８８号公報 特開２００９－２３２２００号公報

ところで、撮像素子で撮像した映像信号には、複数の分光した映像信号毎にランダムノイズ成分が重畳される。このため、画素欠陥検出信号に検出誤差を与えることになり、ランダムノイズより小さなレベルの画素欠陥の検出が困難であった。その結果ため、用途がランダムノイズより画素欠陥信号が比較的大きい長時間露光型カメラ等の一部に限られていた（特許文献３参照）。

さらに、撮像素子は一般に、６℃温度上昇で暗電流が２倍程度となっており、撮像素子温度の指数関数に比例して暗電流が大きく変動する。そのため、画素欠陥の中で感度が異常に低く暗電流が漏れ電流程度しかない撮像画素（以下、「完全黒キズ」と称する）の暗電流と、正常画素の暗電流とを確実に識別して検出することが困難である。なお、暗電流が多い撮像素子温度であれば、画素欠陥の中で暗電流が異常に多い撮像画素（以下、「白キズ」と称する）と正常画素の暗電流との識別は比較的容易である。

本発明は、８Ｋ４ＫのＵＨＤＴＶカメラにおいて、光学ＬＰＦの交換を不要にすることを目的とする。

本発明は、Ｒ／Ｇ１／Ｇ２／Ｂのベイヤ配列のオンチップカラーフィルタを有し出力映像の毎秒フレーム数の４倍の毎秒フレーム数で撮像する撮像素子を備える撮像装置であって、前記出力映像の毎秒フレーム数の４倍の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、前記出力映像の毎秒フレーム数の４倍の毎秒フレーム数のＲ／Ｇ１／Ｇ２／Ｂの直列映像信号を前記出力映像の毎秒フレーム数の並列の映像信号に変換する変換手段と、前記移動手段による前記画素間隔の移動を、高い変調度を必要とする場合には、四角のステップ移動とし、モアレの低減を必要とする場合には、円形の連続移動とする移動制御手段と、前記撮像素子の温度に対応する正常画素の暗電流を検出する暗電流算出手段、または、前記撮像素子の温度を検出する温度検出手段と、前記撮像素子の温度に対応する正常画素の暗電流に反比例させて所定時間だけ遮光蓄積し読出を行い、所定レベルより小さい暗電流の画素を正常画素の暗電流として検出する黒キズ検出手段と、撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する黒キズ補間手段と、を備える。
また、前記移動制御手段は、前記変調度と前記モアレを中程度とする場合には、前記画素間隔の移動を角丸の四角形の可変速移動としてもよい。
また、前記移動手段は、前記出力映像の毎秒フレーム数の４倍の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に２の累乗数の前記画素間隔に移動させ、前記変換手段は、前記出力映像の毎秒フレーム数の４倍の毎秒フレーム数のＲ／Ｇ１／Ｇ２／Ｂの直列映像信号を前記出力映像の毎秒フレーム数の各画素の４並列のＲ／Ｇ１／Ｇ２／Ｂ映像信号又は３並列のＲ／Ｇ１＋Ｇ２／Ｂの映像信号に変換してもよい。
また、ベイヤ配列オンチップカラーフィルタを有する撮像素子を有する撮像装置であって、出力映像の４倍の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、前記移動手段による前記画素間隔の移動を四角のステップ移動とする移動制御手段と、撮像した直列映像信号を前記出力映像の毎秒フレーム数の各画素の並列映像信号に変換する変換手段と、前記撮像素子の温度に対応する正常画素の暗電流を検出する暗電流算出手段、または、前記撮像素子の温度を検出する温度検出手段と、前記撮像素子の温度に対応する正常画素の暗電流に反比例させて所定時間だけ遮光蓄積し読出を行い、所定レベルより小さい暗電流の画素を正常画素の暗電流として検出する黒キズ検出手段と、撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する黒キズ補間手段と、を有する。

本発明によれば、光学低域通過フィルタ（光学ＬＰＦ）と同様のため、また光学ＬＰＦの効果を可変できるため、光学低域通過フィルタ交換を不要とする技術を実現できる。

実施形態に係る、撮像装置の全体構成のブロック図である。 実施形態に係る、ベイヤ配列と光学中心の模式図である。 実施形態に係る、ベイヤ配列と存在確立（移動速度の逆数）の模式図である。 実施形態に係る、Ｘ軸とＹ軸との圧電素子駆動電圧波形の模式図である。 実施形態に係る、信号ＭＴＦとモアレ成分の模式図である。 本実施形態に係る、色分離補間変換部のブロック図である。 本実施形態に係る、色分離補間変換部の示すブロック図である。 本実施形態に係る、色分離補間変換部の別のブロック図である。 本実施形態に係る、２４０ｆｐｓベイヤ配列読出し信号と６０ｆｐｓＲ／Ｇ１／Ｇ２／Ｂ信号を模式的に示した図である。 本実施形態に係る、２４０ｆｐｓベイヤ配列読出し信号と６０ｆｐｓＲ／Ｇ１／Ｇ２／Ｂ信号を模式的に示した別の図である。 本実施形態に係る、２４０ｆｐｓベイヤ配列読出し信号と６０ｆｐｓＲ／Ｇ１／Ｇ２／Ｂ信号を模式的に示した別の図である。 実施形態に係る、白キズ検出補間部のブロック図である。 実施形態に係る、完全黒キズ検出補間部のブロック図である。 実施形態に係る、画素補間の例を示す図である。 実施形態に係る、白キズ周囲画素補間部のブロック図である。 実施形態に係る、黒キズ周囲画素補間部のブロック図である。 実施形態に係る、白キズ検出と完全黒キズ検出とのフローチャートである。 実施形態に係る、白キズ補間と完全黒キズ補間のフローチャートである。 実施形態に係る、暗電流算出ＯＢ補正部のブロック図である。 実施形態に係る、暗電流算出ＯＢ補正部の別のブロック図である。 実施形態に係る、暗電流算出ＯＢ補正部の別のブロック図である。 実施形態に係る、暗電流算出ＯＢ補正部の別のブロック図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
本実施形態の概要は次の通りである。すなわち、雑音低減、ゲイン補正およびアナログ－デジタル変換のＡＦＥ（Analog Front End）を集積したＣＭＯＳ撮像素子で、映像信号処理で遮光画素の映像信号の代表値を有効画素映像信号から減算するＯＢ補正を行う。さらに、２４０ｆｐｓのＲ／Ｇ１／Ｇ２／Ｂの直列（シリアル）データを６０ｆｐｓの４並列（パラレル）のＲ／Ｇ１／Ｇ２／Ｂ映像信号の並列（パラレル）データ又は３並列（パラレル）のＲ／Ｇ１＋Ｇ２／Ｂの映像信号の並列（パラレル）データに分離して信号処理する。ＣＭＯＳ撮像素子を移動させる圧電素子駆動電圧の振幅は画素間隔相当で一定としておき、波形を画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波（ＬＰＦ効果弱）から、画素間隔に角丸の四角形の可変速移動させる飽和した正弦波（ＬＰＦ効果中）を介して、画素間隔を直径に円周連続移動（ＬＰＦ効果強）と可変させる。

図１は、本実施形態の撮像装置３０の全体構成を示すブロック図であり、例えば、テレビジョンカメラである。主にガンマ後マトリクスの映像信号処理の機能に着目して示している。２４０ｆｐｓのＲ／Ｇ１／Ｇ２／Ｂの直列（シリアル）データを６０ｆｐｓのＲ／Ｇ１／Ｇ２／Ｂの並列（パラレル）データに分離して信号処理している。

より具体的には、撮像装置３０は、雑音低減、ゲイン補正およびアナログ－デジタル変換のＡＦＥを集積したオンチップカラーフィルタ付ＣＭＯＳ撮像素子（以下、「撮像素子３３」と称する）と、白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部４１と、パラレル－シリアル変換部３７と、ＣＰＵ（Central Processing Unit）３９を備える。

更に、撮像装置３０は、撮像素子３３の駆動装置として、Ｘ方向圧電素子８１及びＹ方向圧電素子８２と、それらを駆動制御するＸ方向圧電駆動部８３及びＹ方向圧電駆動部８４とを備える。また、撮像素子３３の近傍には、温度センサ８５が配置され、ペルチェ素子やモーターファン等による冷却制御が行われる。

撮像素子３３は、Ｒ／Ｇ／Ｂの信号を出力するが、ここでは、ベイヤ配列のカラーフィルタを備え、Ｇの信号としてＧ１及びＧ２の信号を出力する。すなわち、Ｒ／Ｇ１／Ｇ２／Ｂの信号が出力される。なお、Ｇ１及びＧ２の信号を区別しない場合は、「Ｇ１」及び「Ｇ２」を「Ｇ」として表記・説明する。

白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部４１は、白キズ完全黒キズ検出補間部８６と、色分離補間変換部８７と、ガンマ色輪郭補正部８８と、ＭＡＴＲＩＸ部３６とを備える。

白キズ完全黒キズ検出補間部８６は、白キズ検出補間部４２と、完全黒キズ検出補間部３８と、暗電流算出ＯＢ補正部３２とを備える。

レンズ３１はＣＰＵ３９の指示に従い、遮光または標準撮像を光学絞りまたは可変光学減衰（以下、単に「絞り」という）で制御する。

各構成の機能について、信号の流れとともに具体的に説明する。
被写体からの入射光はレンズ部３１で結像され、結像された入射光は撮像装置３０の撮像素子３３で光電変換される。赤信号（Ｒ）、緑１信号（Ｇ１）と緑２信号（Ｇ２）と青信号（Ｂ）に光電変換される。

撮像素子３３で光電変換されたＲ／Ｇ１／Ｇ２／Ｂの信号に対して、撮像素子３３内で雑音低減、ゲイン補正およびアナログ－デジタル変換が行われ、変換された信号は、白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部４１に送られる。白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部４１は、色補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理を行う。

白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部４１のガンマ色輪郭補正部８８は、各種映像信号処理等を施したのち、次式の変換式により、ＢＴ．７０９の映像信号の出力のＲ／Ｇ／Ｂから輝度信号（Ｙ）と色差信号（Ｐｂ／Ｐｒ）に変換する。
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ
Ｐｂ＝０．５３８９（Ｂ－Ｙ）
Ｐｒ＝０．６３５０（Ｒ－Ｙ）
そしてパラレル－シリアル変換部３７でシリアル映像信号に変換され、外部に出力される。

また、ＢＴ．７０９の原色点より広色域のＩＴＵ／ＢＴ．２０２０での映像信号の出力
Ｙ＝０．２６２７Ｒ＋０．６７８０Ｇ＋０．０５９３Ｂ
Ｐｂ＝０．５３１５（Ｂ－Ｙ）
Ｐｒ＝０．６７８２（Ｒ－Ｙ）
の映像信号出力もある。
さらに、赤緑青の原色の映像信号の出力もある。

ＣＰＵ３９は、撮像装置３０の各部を制御する。また、ＣＰＵ３９は、撮像素子３３の温度に基づき、ペルチェ素子及びモーターファンを駆動し、撮像素子３３を所望の温度、例えば周囲温度に近づけるように冷却又は加熱する。

画像表示部４０はビューファインダやモニタディスプレイであって、撮像装置３０の設定用メニューや暗電流が異常に多い撮像画素（すなわち、「白キズ」）と正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素（以下、すなわち、「完全黒キズ」）との自動補間操作や任意の画素の手動での周囲画素での補間操作を表示する。なお、画像表示部４０は被写体の映像にメニュー画面を重畳し、ユーザーはそのメニュー画面を見ながら白キズと完全黒キズとの自動検出補間操作や任意の画素の手動での周囲画素での補間操作を表示することができる。

＜実施例１：検出と補間の概要＞
ここで、レンズ３１は、一般に、６℃温度上昇で暗電流は２倍程度となっている。放熱に工夫しているカメラ（撮像装置３０に相当する）では、一般に、内部温度上昇がおよそ２時間で飽和し１２℃程度となっている。そのため、周囲温度が一定であっても、内部温度上昇１２℃で、起動時に比べ、内部温度上昇の飽和時には４倍となる。通常はその中間となることが多い。

白キズ検出と異なり、完全黒キズ信号検出は困難であるため、検出時の長時間蓄積が許容される。具体的には、撮影直前の検出は、撮像素子温度２２℃で１２８秒程度が低温の実用限界であるが、撮像装置３０を組立調整後のヒートランまたは高温エージング等の場合であれば、最高使用温度４５℃で放熱に工夫しているカメラでは、内部温度上昇約１２℃で撮像素子温度５７℃なら完全黒キズ検出の遮光蓄積時間は約２秒となる。最高使用温度４５℃で放熱に工夫していないカメラでは、内部温度上昇約１９℃で撮像素子温度が６４℃となり、完全黒キズ検出の遮光蓄積時間は垂直走査周期の約６０Ｈｚの６０倍の約１秒となる。

最高使用温度４０℃で特に放熱に工夫しているカメラでは、内部温度上昇約８℃で撮像素子温度が４８℃となり、完全黒キズ検出の遮光蓄積時間は約１６秒となる。ヒートランまたは高温エージング等での完全黒キズ検出の遮光蓄積時間は約１秒から約１６秒なら、原価上昇はほとんどない。

なお、撮像素子３３の近傍に設けた温度センサ８５で撮像素子３３の温度を検出し、完全黒キズ検出の遮光蓄積時間は撮像素子の温度に６℃で２倍の正常画素の暗電流に反比例させてもよい。暗電流算出ＯＢ補正３２で遮光された正常画素の暗電流の代表値を算出してもよい。

正常画素の暗電流が少ない低温時において、正常画素の暗電流と、完全黒キズの暗電流と確実に識別するために、完全黒キズ検出の遮光蓄積時間は撮像素子の温度に６℃で２倍の正常画素の暗電流に正確に反比例させるために、暗電流算出ＯＢ補正３２で遮光された正常画素の暗電流の代表値を算出する方法は、後述で説明する。

ここで、実施例１について、撮像装置３０の特徴を簡単に纏めると次の通りである。すなわち、撮像装置３０は、Ｒ／Ｇ１／Ｇ２／Ｂのベイヤ配列のオンチップカラーフィルタ付の撮像素子３３と、撮像素子３３の各赤緑青の原色映像信号の画素ごとに遮光時の暗電流を検出する手段（白キズ検出補間部４２）と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段（完全黒キズ検出補間部３８）と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号（以下ＯＢ）補正をする映像信号処理手段（暗電流算出ＯＢ補正部３２）とを有する。

さらに、撮像装置３０は、（１）２４ｆｐｓ／３０ｆｐｓ／５０ｆｐｓ／６０ｆｐｓ等の出力映像の毎秒フレーム数の４倍の毎秒フレーム数で撮像する手段と、
（２）出力映像の毎秒フレーム数で該撮像素子を圧電素子（Ｘ方向圧電素子８１、Ｙ方向圧電素子８２）で光軸（Ｚ軸）と垂直な方向（Ｘ軸Ｙ軸）に画素間隔に移動させる手段（Ｘ方向圧電駆動部８３、Ｙ方向圧電駆動部８４）と、
（３）出力映像の毎秒フレーム数の４倍の毎秒フレーム数のＲ／Ｇ１／Ｇ２／Ｂのシリアル映像信号を出力映像の毎秒フレーム数の４並列のＲ／Ｇ１／Ｇ２／Ｂの映像信号に変換する手段（パラレル－シリアル変換部３７）と、を有し、
（４）高い変調度を必要とする場合は、圧電素子（Ｘ方向圧電素子８１、Ｙ方向圧電素子８２）の画素間隔以内の移動を四角に画素間隔のステップ移動とし、
（５）モアレの低減を必要とする場合は、圧電素子（Ｘ方向圧電素子８１、Ｙ方向圧電素子８２）の画素間隔以内の移動を円形に連続移動とし、
（６）出力映像の毎秒フレーム数の４倍の毎秒フレーム数で撮像した信号を出力映像の毎秒フレーム数の各画素の４並列のＲ／Ｇ１／Ｇ２／Ｂの映像信号に変換する。

また、撮像装置３０は、
（７）撮像素子温度に対応する（６℃上昇でおよそ２倍となる）正常画素の暗電流を検出する手段（ＯＢ画素の最小値からＮからＮ＋Ｍ番目の平均値を算出する手段）または撮像素子の温度を検出する手段（温度センサ８５）と、
（８）該検出した撮像素子温度に対応する（６℃でおよそ２倍となる）正常画素の暗電流に反比例させて長時間（１秒から１６３８９４秒）遮光蓄積し読出を行い、第二の所定のレベルより小さい暗電流の画素（感度が異常に低い撮像画素（すなわち、「完全黒キズ」））を（正常画素の暗電流と識別して）検出する手段と、
（９）撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段（完全黒キズ検出補間部３８）と、を有する。
なお、詳細については実施例３で説明する。

＜実施例２：検出と補間の詳細＞

図８は、白キズ検出補間部４２の構成を示すブロック図である。図９は、完全黒キズ検出補間部３８の構成を示すブロック図である。図８で示す白キズ検出補間部４２は、暗電流が異常に多い撮像画素（いわゆる「白キズ」）検出と補間を行う。図９の完全黒キズ検出補間部４２は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素（いわゆる「完全黒キズ」）検出を行う。

具体的には、白キズ検出補間部４２は、撮像素子３３からＲ／Ｇ／Ｂの信号を取得し白キズ検出補間処理を行い、Ｒの白キズ補間信号Ｒ（１）／Ｇの白キズ補間信号Ｇ（１）／Ｂの白キズ補間信号Ｂ（１）を完全黒キズ検出補間部３８へ出力する。

完全黒キズ検出補間部３８は、白キズ検出補間部４２からＲの白キズ補間信号Ｒ（１）／Ｇの白キズ補間信号Ｇ（１）／Ｂの白キズ補間信号Ｂ（１）を取得し完全黒キズ検出補間処理を行い、Ｒの完全黒キズ補間信号Ｒ（２）／Ｇの完全黒キズ補間信号Ｇ（２）／Ｂの完全黒キズ補間信号Ｂ（２）を暗電流算出ＯＢ補正部３２へ出力する。

このとき、完全黒キズ検出補間部３８は、完全黒キズ検出の長時間蓄積での完全黒キズ基準レベルを減算し、完全黒キズの映像信号タイミング（アドレス）を判定し、標準撮像時に、標準撮像時の完全黒キズ補間レベル判定はしないで、完全黒キズの映像信号タイミング（アドレス）で完全黒キズの周囲画素での補間を行う。

図８に示すように、白キズ検出補間部４２は、白キズ判定部１５と、白キズ周囲画素補間部１６と、３つの減算器（減算器（１）１２、減算器（２）１３、減算器（３）１４）とを備える。

白キズ判定部１５は、白キズの映像信号タイミング（アドレス）判定と標準撮像時の白キズ補間判定を行い、Ｒ／Ｇ／Ｂの信号に対応した白キズの映像信号タイミング（アドレス）Ｔｗｒ、Ｔｗｇ、Ｔｗｂを白キズ周囲画素補間部１６へ出力する。なお、各白キズの映像信号タイミング（アドレス）Ｔｗｒ、Ｔｗｇ、Ｔｗｂを区別しない場合は、白キズの映像信号タイミング（アドレス）Ｔｗと称して説明する。白キズ周囲画素補間部１６は、白キズの周囲画素での補間を行う。

図９に示すように、完全黒キズ検出補間部３８は、黒キズ判定部１７と、黒キズ周囲画素補間部１８と、３つの減算器（減算器（１）１２、減算器（２）１３、減算器（３）１４）とを備える。

黒キズ判定部１７は、黒キズの映像信号タイミング（アドレス）判定を行い、Ｒ／Ｇ／Ｂの信号に対応した黒キズの映像信号タイミング（アドレス）Ｔｂｒ、Ｔｂｇ、Ｔｂｂを黒キズ周囲画素補間部１８へ出力する。なお、各黒キズの映像信号タイミング（アドレス）Ｔｂｒ、Ｔｂｇ、Ｔｂｂを区別しない場合は、黒キズの映像信号タイミング（アドレス）Ｔｂと称して説明する。黒キズ周囲画素補間部１８は黒キズの周囲画素での補間を行う。

ＣＰＵ３９は、レンズ３１に絞りを閉じて撮像素子３３を遮光する指示をする。次に、ＣＰＵ３９は、およそ１秒の中時間蓄積を行うために、白キズ検出用中時間間欠パルスを発生させ、撮像素子３３に供給する。そして、白キズ検出補間部４２の減算器（１）１２、減算器（２）１３、減算器（３）１４が、遮光中時間蓄積したＲ、Ｇ、Ｂの撮像信号と白キズ検出の中時間蓄積での白キズ基準レベル（ＳＲ１、ＳＧ１、ＳＢ１）との差分を白キズ判定部１５へ出力する。白キズ基準レベル（ＳＲ１、ＳＧ１、ＳＢ１）は、ＣＰＵ３９から出力される。白キズ判定部１５は、その差分から白キズの映像信号タイミング（アドレス）判定を行う。

ここで、「中時間」とは、垂直走査周期のおよそ１５倍以上の時間を想定する。この時間は、検出した撮像素子温度に対応する（６℃上昇でおよそ２倍となる）正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期の約１５倍～約２４５７６０倍で垂直走査周期約６０Ｈｚとして０．２５秒～４０９６秒の可変時間又は垂直走査周期の約６０倍で垂直走査周期約６０Ｈｚとして約１秒の固定時間である。

次にＣＰＵ３９は、正常画素の暗電流に反比例させて長時間（１秒から１６３８９４秒）蓄積する処理を行う。すなわち、ＣＰＵ３９は、完全黒キズ検出用長時間間欠パルスを発生させ、撮像素子３３に供給する。そして、完全黒キズ検出補間部３８の減算器（１）１２、減算器（２）１３、減算器（３）１４が、遮光長時間蓄積したＲ，Ｇ，Ｂの撮像信号を白キズの映像信号タイミング（アドレス）に基づき１６で白キズの周囲画素での補間を行ったＲ，Ｇ，Ｂの補間信号（Ｒ（１）、Ｇ（１）、Ｂ（１））と完全黒キズ検出の長時間蓄積での完全黒キズ基準レベル（ＳＲ２、ＳＧ２、ＳＢ２）との差分を黒キズ判定部１７へ出力する。黒キズ判定部１７は、その差分から完全黒キズの映像信号タイミング（アドレス）判定を行う。

標準撮像時に、ＣＰＵ３９は、レンズ３１に絞りを開かせることで、標準撮像を行う。すなわち、ＣＰＵ３９は、標準撮像パルスを発生させ撮像素子３３に供給する。白キズ検出補間部４２の減算器（１）１２ａ、減算器（２）１３ａ、減算器（３）１４ａが、標準撮像したＲ、Ｇ、Ｂの撮像信号と標準撮像時の白キズ補間レベル（ＳＲ１‘、ＳＧ１’、ＳＢ１‘）との差分を白キズ判定部１５へ出力する。

白キズ判定部１５は、その差分から白キズの映像信号タイミング（アドレス）判定を行う。白キズ周囲画素補間部１６は白キズ補間レベル以下の撮像信号で白キズの映像信号タイミング（アドレス）で白キズの周囲画素での補間を行う。白キズ周囲画素補間部１６が白キズの周囲画素での補間を行ったＲ，Ｇ，Ｂの補間信号（Ｒ（１）、Ｇ（１）、Ｂ（１））は完全黒キズ検出補間部５１へ出力される。完全黒キズ検出補間部５１の黒キズ周囲画素補間部１８は、完全黒キズの映像信号タイミング（アドレス）に基づき、完全黒キズを周囲画素の中央値で補間を行う。黒キズ判定部１７は、標準撮像時の完全黒キズ補間レベル判定は行わない。

また、図８において、白キズ検出の中時間の遮光蓄積時間での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング（アドレス）判定と標準撮像時の白キズ補間判定とを同一手段（例えば、白キズ判定部１５）で行うことが可能であり、回路の小型化と低価格化が実現できる。

図１０は、画素補間の例を示した図である。図１０（Ａ）は、遮光時のＯＢ補正前の完全黒キズの周囲８画素の中央値で補間する場合の模式図であり、標準撮像信号での完全黒キズの周囲正常画素での補間を示している。図示のように、中央の完全黒キズ撮像信号「０」が、周囲の周囲正常画素撮像信号「３２」、「４８」、「５６」、「６４」、「８０」、「９６」、「１０２」、「１２８」の中央値「６４」または「８０」で補間される。

図１０（Ｂ）は、遮光時のＯＢ補正前の完全黒キズの周囲８画素の中央値で補間する場合の模式図であり、標準撮像信号での完全黒キズの周囲黒キズを含む正常画素での補間を示している。図示のように、中央の完全黒キズ撮像信号「０」が、周囲（図のマトリックス右下）の完全黒キズ撮像信号「０」を除く周囲の周囲正常画素撮像信号「３２」、「４８」、「５６」、「６４」、「８０」、「１０２」、「１２８」の中央値「６４」で補間される。

図１０（Ｃ）は、遮光時のＯＢ補正前の撮像信号での白キズの周囲８画素の中央値で補間する場合の模式図であり、標準撮像信号での白キズの周囲正常画素での補間の例を示している。図示のように、中央の白キズ撮像信号「１０２４」が、周囲の周囲正常画素撮像信号「３２」、「４８」、「５６」、「６４」、「８０」、「９６」、「１０２」、「１２８」の中央値「６４」または「８０」で補間される。

図１０（Ｄ）は、遮光時のＯＢ補正前の撮像信号での白キズの周囲８画素の中央値で補間する場合の模式図であり、標準撮像信号での白キズの周囲白キズを含む正常画素での補間の例を示している。図示のように、中央の白キズ撮像信号「１０２４」が、周囲の周囲正常画素撮像信号「３２」、「４８」、「５６」、「８０」、「９６」、「１０２」、「１２８」の中央値「８０」で補間される。完全黒キズ補間は白キズ補間後に行われる。なお、完全黒キズ補間は白キズ補間後に行う。

図１１は白キズ周囲画素補間部１６の構成を示すブロック図である。図１２は黒キズ周囲画素補間部１８の構成を示すブロック図である。白キズ周囲画素補間部１６及び黒キズ周囲画素補間部１８は、同様の構成を有しており、それぞれ周囲８画素の中央値を算出し補間する。

図１１に示すように、白キズ周囲画素補間部１６は、周辺画素信号選択部９ａと、周囲画素中央値検出部１９ａと、遅延器８ａと、出力切替器２９ａとを備える。周辺画素信号選択部９ａは、ラインメモリ（１）５ａと、ラインメモリ（２）６ａと、入力切替器７ａとを備える。周囲画素中央値検出部１９ａは、８つの比較器（比較器（１）２１ａ～比較器（８）２８ａ）を備え、周囲画素中央値を出力切替器２９ａに出力する。ラインメモリ（１）５ａ及びラインメモリ（２）６ａは、０Ｈ番地の撮像信号から１Ｈ番地、２Ｈ番地の撮像信号を生成する。

入力切替器７ａは、０Ｈ番地、１Ｈ番地、２Ｈ番地の撮像信号を選択して撮像信号の周囲画素信号を生成する。ラインメモリ（１）５ａ及びラインメモリ（２）６ａの替わりに、図示しないフレームメモリが用いられてもよい。遅延器８ａは、周囲画素中央値検出部１９ａの遅延分撮像信号を遅延させる。

そして、周囲画素中央値検出部１９ａは、撮像信号の周囲画素信号を、比較器（１）２１ａ～比較器（８）２８ａで例えば降順に並び換えて、中央値に対応する比較器（４）２４ａから撮像信号の周囲画素中央値を出力切替器２９ａへ検出する。更に、白キズ判定部１５からの白キズのレベル以下判定時の白キズの映像信号タイミング（アドレス）Ｔｗに応じて白キズ周囲画素補間部１６の出力切替器２９で、撮像信号を撮像信号の周囲画素中央値に補間する。

また、図１２に示すように、黒キズ周囲画素補間部１８は、周辺画素信号選択部９ｂと、周囲画素中央値検出部１９ｂと、遅延器８ｂと、出力切替器２９ｂとを備える。周辺画素信号選択部９ｂは、ラインメモリ（１）５ｂと、ラインメモリ（２）６ｂと、入力切替器７ｂとを備える。周囲画素中央値検出部１９ｂは、８つの比較器（比較器（１）２１ｂ～比較器（８）２８ｂ）を備え、周囲画素中央値を出力する。ラインメモリ（１）５ｂ及びラインメモリ（２）６ｂは、０Ｈ番地の白キズ補間信号から１Ｈ番地、２Ｈ番地の白キズ補間信号を生成する。

入力切替器７ｂは、０Ｈ番地、１Ｈ番地、２Ｈ番地の白キズ補間信号を選択して白キズ補間信号の周囲画素信号を生成する。遅延器８ｂは、周囲画素中央値検出部１９ｂの白キズ補間信号を遅延させる。

そして、周囲画素中央値検出部１９ｂは、白キズ補間信号の周囲画素信号を、比較器（１）２１ｂ～比較器（８）２８ｂで例えば降順に並び換え、中央値に対応する比較器（４）２４ｂから白キズ補間信号の周囲画素中央値を出力切替器２９ｂへ検出する。更に、黒キズ判定部１７からの完全黒キズの映像信号タイミング（アドレス）Ｔｂに応じて黒キズ周囲画素補間部１８の出力切替器２９ｂで、白キズ補間信号を白キズ補間信号の周囲画素中央値に補間する。

なお、図１１の白キズ周囲画素補間部１６や図１２の黒キズ周囲画素補間部１８において、周囲画素に複数の白キズが存在していたとしても、白キズ補間後に完全黒キズ補間するので、完全黒キズ補間は、白キズの影響を受けない。

また、完全黒キズ補間は白キズ補間後に行うので、白キズ周囲画素補間部１６と黒キズ周囲画素補間部１８との機能が同じ回路で入力信号と制御信号とを切り替えることで実現されてもよい。これによって、回路の小型化と低価格化が実現できる。

図１３は白キズ検出と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素（すなわち、「完全黒キズ」）の検出のフローチャートである。図示のように、ＣＰＵ３９は、白キズ検出と完全黒キズ検出の開始後に、約１秒遮光蓄積し読出を行い(Ｓ９０１)、画素の映像信号は白キズレベルを超えているかを判定する(Ｓ９０２)。

白キズレベルを超えている場合（Ｓ９０２のＹ）、ＣＰＵ３９は白キズの映像タイミング（アドレス）を記憶する（Ｓ９０３）。

次に、白キズの映像タイミング（アドレス）を記憶後（Ｓ９０３）または白キズレベルを超えていない場合（Ｓ９０２のＮ）、ＣＰＵ３９は、撮像素子の温度上昇６℃で２倍の正常画素の暗電流に反比例させて長時間（１秒から１６３８９４秒）遮光蓄積し読出を行い（Ｓ９０４）、画素の映像信号は白キズの映像タイミング（アドレス）であるかを判定(Ｓ９０５)する。

白キズの映像タイミングであれば（Ｓ９０５のＹ）、ＣＰＵ３９は、周囲８画素の中央値を算出し（Ｓ９０６）、周囲８画素の中央値で補間する（Ｓ９０７）。

白キズの映像タイミングであれば（Ｓ９０５のＹ）、または周囲８画素の中央値での補間後（Ｓ９０７）、ＣＰＵ３９は、画素の映像信号は黒キズレベルを下回っているかを判定する（Ｓ９０８）。

黒キズレベルを下回っていれば（Ｓ９０８のＹ）、ＣＰＵ３９は黒キズの映像タイミング（アドレス）を記憶する（Ｓ９０９）。黒キズレベルを下回っていない場合（Ｓ９０８のＮ）または黒キズの映像タイミングを記録した後（Ｓ９０９）、本フローの処理は終了する。以上で、白キズと完全黒キズとの検出の処理が終了となる。

図１４は白キズ補間と完全黒キズ補間のフローチャートである。ＣＰＵ３９は、白キズ補間と完全黒キズ補間の開始後に、標準撮像で読出を行い（Ｓ１００１）、画素の映像信号が白キズ補間のレベル以下かを判定する（Ｓ１００２）。

白キズ補間のレベル以下であれば（Ｓ１００２のＹ）、ＣＰＵ３９は、白キズの映像タイミング（アドレス）であるかを判定する（Ｓ１００３）。白キズの映像タイミング（アドレス）であれば（Ｓ１００３のＹ）、ＣＰＵ３９は、周囲８画素の中央値を算出し（Ｓ１００４）、周囲８画素の中央値で補間する（Ｓ１００５）。

白キズ補間のレベル以下でない場合（Ｓ１００２のＮ）、白キズの映像タイミング（アドレス）でない場合（Ｓ１００３のＮ）、及び周囲８画素の中央値での補間後（Ｓ１００５）、ＣＰＵ３９は、画素の映像信号は黒キズの映像タイミング（アドレス）であるかを判定する（Ｓ１００６）。

黒キズの映像タイミング（アドレス）の場合（Ｓ１００６のＹ）、ＣＰＵ３９は、周囲８画素の中央値を算出し（Ｓ１００７）、周囲８画素の中央値で補間する（Ｓ１００８）。黒キズの映像タイミング（アドレス）でない場合（Ｓ１００６のＮ）、及び周囲８画素の中央値での補間後（Ｓ１００８）、本フローによる処理は終了する。
以上で、白キズと完全黒キズとの検出の補間が終了となる。

上記の実施例２の特徴を簡単に纏めると次の通りである。
すなわち、撮像装置３０は、実施例１の特徴に更に、完全黒キズ補間後にＯＢ補正を行う手段（暗電流算出ＯＢ補正部３２）を有する。

また、撮像装置３０は、白キズ検出の蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング（アドレス）判定と標準撮像時の白キズ補間判定とを同一手段で行う手段とを有してもよい。

また、上記撮像装置３０は、白キズ補間後に完全黒キズ補間するので、（撮像信号の周囲画素信号及び撮像信号、又は白キズ補間信号の周囲画素信号及び白キズ補間信号の様に）入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング（アドレス）、又は完全黒キズの映像信号タイミング（アドレス）の様に）制御信号を変えることにより、同一回路で白キズ補間と完全黒キズ補間と２回処理することで、白キズ補間と完全黒キズ補間とを同一回路で行う手段とを有してもよい。

＜実施例３＞
図１５Ａは、暗電流算出ＯＢ補正部３２の構成を示すブロック図であって、ＯＢ画素信号の最小値からＮ番目からＮ＋Ｍ番目の画素値を代表値として検出し、その代表値の加算平均値を出力する。ここでは、一実施例として、最小値から４番目～７番目（すなわち、Ｎ＝３、Ｍ＝４）の画素値の加算平均を出力する構成について例示する。

暗電流算出ＯＢ補正５２は、代表値平均検出部４８と、遅延器５５と、減算器４とを備える。代表値平均検出部４８は、代表値検出部４７と、１／４除算部４６（２ｂｉｔシフト）と、加算器（１）４３、加算器（２）４４及び加算器（３）４５とを備える。

代表値検出部４７は、完全黒キズ検出補間部５１からＯＧ画素信号を取得し、加算器（１）４３、加算器（２）４４及び加算器（３）４５で、最小値から４番目～７番目の画素値を加算し１／４除算部４６へ出力する。

具体的には、代表値検出部４７は、図示のように、比較器（１）２１ｃ～比較器（８）２８ｃを備え、例えば、ＯＧ画素値を降順に並び変え、最小値が比較器（８）２８ａに最大値（すなわち、最小値から８番目の画素値）が比較器（１）２１ｃに設定される。ここでは、比較器（２）２２ｃから７番目の画素値が、比較器（３）２３ｃから６番目の画素値が、加算器（１）４３へ出力される。また、比較器（４）２４ｃから５番目の画素値が、比較器（５）２５ｃから４番目の画素値が加算器（２）４４に出力される。そして、加算器（１）４３で加算された画素値と加算器（２）４４で加算された画素値が加算器（３）４５で更に加算され、１／４除算部４６へ出力される。

１／４除算部４６は、最小値から４番目～７番目（すなわち、Ｎ＝３、Ｍ＝４）の画素値の加算値を加算器（３）４５から取得し、２ｂｉｔシフトによって１／４化する。この様な処理によって、代表値平均検出部４８は、白キズと完全黒キズを除外したＯＢ画素信号を加算平均する。

なお、遅延器５５で遅延された撮像有効画素信号は、減算器４で代表値平均検出部４８から出力される加算平均で補正し、ＯＢ補正撮像画素信号として出力される。

なお、図１５Ａ及び後述の図１５Ｂ～図１５Ｄにおいて、Ｖ－ＯＢ補正（垂直ＯＢ補正）において、遅延器５５は必須ではないが、撮像有効画素信号を遅延器５５で遅延させ、有効画素後のＶ－ＯＢで補正したほうが安定する。なお、Ｖ－ＯＢ補正は、縦筋補正やＨＳｈａｄｉｎｇ補正も兼ねる。

一般に、撮像装置３０の適用が想定されるテレビカメラでは、撮像素子は、２Ｋ、４Ｋ、８Ｋと高画素になるに従い、有効画素に比較してＯＢ画素が少なくなる。そのため、ＯＢ画素の白キズと完全黒キズの影響を受けやすくなる。しかし、本実施形態では、ＯＢ画素の白キズと完全黒キズの影響を受けないで、例えば、撮像素子３３の温度（以下「撮像素子温度」ともいう。）が６℃上昇すると約２倍に増加するＯＢ画素信号の正常画素の暗電流を検出することができる。その結果、検出した（撮像素子温度６℃上昇でおよそ２倍となる）正常画素の暗電流に蓄積時間を逆比例させることができる。

また、検出したＯＢ画素信号の正常画素の暗電流の信号を撮像有効画素信号から減算すれば、ＯＢ画素の白キズと完全黒キズの影響を受けないで、映像信号処理で安定にＯＢ補正をすることができ、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。

撮像素子温度が６℃上昇すると約２倍に増加するＯＢ画素信号の代表値を検出することにより、温度センサを別途設けなくても、撮像素子の温度を検出することができる。検出した（撮像素子温度に６℃でおよそ２倍となる）正常画素の暗電流に蓄積時間を逆比例させることにより、正常画素の暗電流が少ない低温時の正常画素の暗電流と、感度が異常に低く漏れ電流相当の暗電流しかない異常低感度画素（以下、「完全黒キズ」という）の暗電流と確実に識別し、完全黒キズを確実に検出することができる。白キズ検出と異なり、完全黒キズの信号検出は困難なので、低温度における検出時の長時間蓄積が許容される。

図１５Ｂは、暗電流算出ＯＢ補正部３２の構成を示すブロック図の別の例であって、最小値から２番目～３番目（すなわち、Ｎ＝２、Ｍ＝１）の画素値の加算平均を出力する構成を例示する。

図１５Ｃは、暗電流算出ＯＢ補正部３２の構成を示すブロック図であって、Ｈ－ＯＢ画素信号の最小値からＮ(４)番目からＮ(４)＋Ｍ(３)番目の平均検出部とＨ－ＯＢ補正との、暗電流算出ＯＢ補正である。図１５Ａと同様の構成となっている。

図１５Ｄは、暗電流算出ＯＢ補正部３２の構成を示すブロック図であって、ＯＢ画素信号の最小値からＮ(４)番目からＮ(４)＋Ｍ(３)番目の平均検出部とＶ－ＯＢ補正との、暗電流算出ＯＢ補正を行う。図１５Ａや図１５Ｃの１／４除算部４６の後段にライン加算平均部７１が追加されている。

代表値検出部４７は、白キズと完全黒キズを除外するために、ＯＢ画素信号から８個の比較部（１）～（８）２１ｃ～２８ｃで最小値からＮ(２)番目からＮ(２)＋Ｍ(１)番目を検出し、加算器（１）４３で加算し、１／２除算部５６で１ｂｉｔシフトして１／２化することにより白キズと完全黒キズとを除外したＯＢ画素信号を加算平均する。

ここで、本実施例３の特徴は、実施例１に更に次の特徴を有する。
すなわち、撮像装置３０は、
（１）映像信号処理の中時間の遮光蓄積時間で暗電流が異常に多い画素欠陥（以下、白キズと称する）の検出を行う手段（白キズ検出補間部４２）と、
（２）（撮像素子温度が６℃上昇でおよそ２倍となる）正常画素の暗電流を検出する手段（ＯＢ画素の最小値からＮからＮ＋Ｍ番目の平均値を算出する手段（代表値平均検出部４８））または撮像素子の温度を検出する手段（温度センサ８５）と、
（３）該検出した撮像素子温度が６℃上昇でおよそ２倍となる正常画素の暗電流に蓄積時間を逆比例させて（およそ１秒から１６３８４秒）蓄積して（ランダムノイズの影響を除去して、）ＯＢ補正前に（又はＯＢ補正を中止して、）白キズ補間を行う手段（白キズ検出補間部４２）と、
（４）白キズ補間後に第二の所定のレベルより小さい暗電流の画素（すなわち、完全黒キズ）を（正常画素の暗電流と識別して）検出する手段（完全黒キズ検出補間部３８）と、
（５）撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にＯＢ補正を行う手段（暗電流算出ＯＢ補正部３２）と、を有する。

実施例２と実施例３の特徴を纏めると次の通りである。
すなわち、撮像装置３０は、
（１）映像信号処理の中時間の遮光蓄積時間で白キズ検出を行う手段と、
（２）該白キズ検出後で、白上記撮像素子温度に蓄積時間を逆比例させておよそ４秒から４０９６秒蓄積して（ランダムノイズの影響を除去して、）ＯＢ補正前又はＯＢ補正を中止して、白キズ補間を行い、第二の所定のレベルより小さい暗電流の画素（すなわち、完全黒））を（正常画素の暗電流と識別して）検出する手段と、
（３）撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有する。

白キズ検出の中時間蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング（アドレス）判定と標準撮像時の白キズ補間判定とを同一手段で行うことが可能であり、回路の小型化と低価格化が実現できる。

さらに、入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング（アドレス）、又は完全黒キズの映像信号タイミング（アドレス）の様に）制御信号を変えて同一回路で２回処理して、白キズ補間と完全黒キズ補間とを同一手段で行うことが可能であり、この観点でも、回路の小型化と低価格化が実現できる。

また、白キズ補間後完全黒キズ補間後に映像信号処理で遮光画素信号（ＯＢ画素信号）を補正するので、ＯＢ補正は白キズと完全黒キズの影響を受けないで安定に動作するので、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。

テレビカメラの撮像素子は、２Ｋ（１９２０Ｈ×１０８０Ｖ）、４Ｋ（３８４０Ｈ×２１６０Ｖ）、８Ｋ（７６８０Ｈ×４３２０Ｖ）と高画素になるに従い、有効画素に比較してＯＢ画素が少なくなる。そのため、ＯＢ画素の白キズの影響を受けやすくなる。しかし、本実施形態では、ＯＢ画素の白キズの影響を受けず、撮像素子の温度が６℃上昇すると約２倍に増加するＯＢ画素信号の代表値を検出することができる。

従来では、白キズ検出と異なり、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素（すなわち、完全黒キズ）信号検出と補間との自動化は困難で手動補間を行っていた。しかし、本実施形態によれば、完全黒キズの検出と補間とが自動で可能で、ＣＣＤ撮像素子に比べ、高画素化と高速読出しとが容易で安価なＭＯＳ撮像素子（撮像素子３３）の完全黒キズが許容できない放送用カメラや高い信頼性が要求される（原子力発電所や新幹線等の）監視用カメラや（自動車塗装や織物等の確認の）産業用カメラ等への適用が加速される。

このように、撮像装置３０は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素信号も自動検出でき、かつ完全黒キズの周囲画素を用いた補間が可能となる。

＜実施例４：画素間隔移動による光学ＬＰＦ効果とＲ／Ｇ１／Ｇ２／Ｂ並列化＞
図６Ａは色分離補間変換部８７の構成を示すブロック図の一例である。図７Ａは、２４０ｆｐｓベイヤ配列読出し信号（図７Ａ（ａ））と６０ｆｐｓＲ／Ｇ１／Ｇ２／Ｂ信号（図７Ａ（ｂ））の模式図である。

図６Ａと図７Ａは、２４０ｆｐｓ８Ｋベイヤ配列でＲ／Ｇ１／Ｇ２／Ｂと４画素に１個ずつの直列（シリアル）の読出し信号で８Ｋ各画素位置でＲ／Ｇ１／Ｇ２／Ｂを順次に撮像するか、又は４Ｋベイヤ配列でＲ／Ｇ１／Ｇ２／Ｂと４画素に１個ずつのシリアルの読出し信号で４Ｋ各画素位置でＲ／Ｇ１／Ｇ２／Ｂを順次に撮像し、６０ｆｐｓ全画素の並列（パラレル）のＲ／Ｇ１／Ｇ２／Ｂ信号とする様な実施例である。

図６Ａに示すように、色分離補間変換部８７は、ラインバッファ内蔵メモリコントローラ７２と。Ｒフレームメモリ７３と、Ｇ１フレームメモリ７４と、Ｇ２フレームメモリ７５と、Ｂフレームメモリ７６とを備える。

図６Ａと図７Ａにおいて、２４０ｆｐｓのＲ／Ｇ１／Ｇ２／Ｂのシリアルデータの内の４画素に１個のＲのシリアルデータを、ラインバッファ内蔵メモリコントローラ７２がＲフレームメモリ７３に書き込み、６０ｆｐｓの全画素のＲデータとして読み出す。同様に、２４０ｆｐｓのＲ／Ｇ１／Ｇ２／Ｂのシリアルデータの内の４画素に１個のＧ１のシリアルデータを、ラインバッファ内蔵メモリコントローラ７２がＧ１フレームメモリ７４に書き込み、６０ｆｐｓの全画素のＧ１データとして読み出す。同様に、４画素に１個のＧ２のシリアルデータを、ラインバッファ内蔵メモリコントローラ７２がＧ２フレームメモリ７５に書き込み、６０ｆｐｓの全画素のＧ１データとして読み出す。同様に４画素に１個のＢのシリアルデータを、ラインバッファ内蔵メモリコントローラ７２がＢフレームメモリ７６に書き込み、６０ｆｐｓの全画素のＢデータとして読み出す。

その結果、図７Ａ（ａ）に示すように、各画素位置でＲ／Ｇ１／Ｇ２／Ｂを順次に撮像した２４０ｆｐｓベイヤ配列でＲ／Ｇ１／Ｇ２／Ｂ４画素に１個ずつのシリアルの読出し信号つまり２４０ｆｐｓの４画素に１個ごとのＲ／Ｇ１／Ｇ２／Ｂのシリアルデータを、図７Ａ（ｂ）に示すように、６０ｆｐｓ全画素の並列のＲ／Ｇ１／Ｇ２／Ｂ信号つまり６０ｆｐｓの全画素のＲ／Ｇ１／Ｇ２／Ｂのパラレルデータに分離している。

なお、従来は、ラインバッファはＦＩＦＯ（First In, First Out）メモリで、メモリコントローラはＦＰＧＡで、フレームメモリはＤＤＲ ＳＤＲＡＭ（Double-Ｄ／Ａta-Rate Synchronous Dynamic Random Access Memory）で構成されていた。現在は、ラインバッファとメモリコントローラはＦＰＧＡで、フレームメモリはＤＤＲ ＳＤＲＡＭで構成されている。今後は、ラインバッファとメモリコントローラとフレームメモリは大容量メモリ内蔵のＦＰＧＡで構成されていくと考えられる。

図２はベイヤ配列と光学中心の模式図である。図３はベイヤ配列と存在確立（移動速度の逆数）の模式図である。図４はＸ軸とＹ軸との圧電素子駆動電圧波形の模式図である。図５は信号ＭＴＦとモアレ成分の模式図である。

まず、図２（ａ）、図３（ａ）、図４（ａ）及び図５（ａ）を参照して説明する。上述の図１の撮像装置３０において、ＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号ａに対応して、Ｄ／Ａと高速高耐圧演算増幅器で構成されているＸ方向圧電駆動部８３及びＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを画素間隔に四角く画素間隔にステップ移動してＬＰＦ効果弱にする。

図２（ａ）のように、四角く画素間隔にステップ移動（ＬＰＦ効果弱）する場合、図３（ａ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ａ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波となる。また、図５（ａ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果弱からＭＴＦ高くモアレ成分多い。

つぎに、図２（ｂ）、図３（ｂ）、図４（ｂ）及び図５（ｂ）を参照して説明する。ここでは、撮像装置３０のＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号aに対応して、Ｘ方向圧電駆動部８３とＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを画素間隔を直径に円周連続移動してＬＰＦ効果強にする。

図２（ｂ）のように、画素間隔を直径に円周連続移動（ＬＰＦ効果強）する場合、図３（ｂ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ｂ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、画素間隔を直径に円周連続移動させる正弦波（ＬＰＦ効果強）となる。また、図５（ｂ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果強のためＭＴＦ低くモアレ成分少なくなる。

つぎに、図２（ｃ）、図３（ｃ）、図４（ｃ）及び図５（ｃ）を参照して説明する。ここでは、ＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号ａに対応して、Ｘ方向圧電駆動部８３とＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを画素間隔に角丸の四角形の可変速移動してＬＰＦ効果中にする。

図２（ｃ）のように、角丸の四角形の可変速移動（ＬＰＦ効果中）する場合、図３（ｃ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ｃ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、角丸の四角形の可変速移動させる飽和した正弦波（ＬＰＦ効果中）となる。また、図５（ｃ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果中のためＭＴＦが中程度でありモアレ成分が中程度となる。

ここで、実施例４の特徴を纏めるとは次の通りである。すなわち、撮像素子３３を移動させる圧電素子駆動電圧の振幅は画素間隔相当で一定としておき、波形を画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波（ＬＰＦ効果弱）から、画素間隔に角丸の四角形の可変速移動させる飽和した正弦波（ＬＰＦ効果中を介して、画素間隔を直径に円周連続移動（ＬＰＦ効果強）と可変させる。

＜実施例５：画素間隔移動による光学ＬＰＦ効果とＲ、Ｇ１＋Ｇ２、Ｂ並列化＞
以下では、上述の実施例と異なる点を主に説明し、共通する部分については、適宜省略している。

図６Ｂは色分離補間変換部８７の構成を示すブロック図の例である。図７Ｂは、２４０ｆｐｓベイヤ配列読出し信号（図７Ｂ（ａ））と６０ｆｐｓ、Ｒ／Ｇ１／Ｇ２／Ｂ信号（図７Ｂ（ｂ））の模式図である。

図６Ｂと図７Ｂに示すように、２４０ｆｐｓ８Ｋベイヤ配列でＲ／Ｇ１／Ｇ２／Ｂと４画素に１個ずつの直列（シリアル）の読出し信号で８Ｋ各画素位置でＲ／Ｇ１／Ｇ２／Ｂを順次に撮像するか、又は４Ｋベイヤ配列でＲ／Ｇ１／Ｇ２／Ｂと４画素に１個ずつのシリアルの読出し信号で４Ｋ各画素位置でＲ／Ｇ１／Ｇ２／Ｂを順次に撮像し、６０ｆｐｓ全画素の並列（パラレル）のＲ／Ｇ１＋Ｇ２／Ｂとする様な実施例である。

図６Ｂの色分離補間変換部８７では、図６Ａの構成に加えて、加算器７８とビットシフト７９が追加され、Ｒ／Ｇ１＋Ｇ２／Ｂを映像出力とする。また、図６Ａと図７Ａの動作に加えて、加算器７８とビットシフト７９がＧ１、Ｇ２を平均している。

その結果、図７Ｂにおいて、各画素位置でＲ／Ｇ１／Ｇ２／Ｂを順次に撮像した２４０ｆｐｓベイヤ配列でＲ／Ｇ１／Ｇ２／Ｂ４画素に１個ずつのシリアルの読出し信号つまり２４０ｆｐｓの４画素に１個ごとのＲ／Ｇ１／Ｇ２／Ｂのシリアルデータ（図７Ｂ（１））を、６０ｆｐｓ全画素の並列のＲ、Ｇ１＋Ｇ２、Ｂ信号つまり６０ｆｐｓの全画素のＲ、Ｇ１＋Ｇ２、Ｂのパラレルデータ（図７Ｂ（２））に分離している。

つぎに、図２（ｄ）、図３（ｄ）、図４（ｄ）及び図５（ｄ）を参照して説明する。ここでは、撮像装置３０のＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号aに対応して、Ｘ方向圧電駆動部８３とＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを２画素間隔に四角くステップ移動してＬＰＦ効果弱にする。

図２（ｄ）のように、四角く２画素間隔にステップ移動（ＬＰＦ効果弱）する場合、図３（ｄ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ｄ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、四角く２画素間隔にステップ移動させる矩形波に近い台形波（ＬＰＦ効果弱）となる。また、図５（ｄ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果弱からＭＴＦ高くモアレ成分多いとなる。

つぎに、図２（ｅ）、図３（ｅ）、図４（ｅ）及び図５（ｅ）を参照して説明する。ここでは、撮像装置３０のＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号aに対応して、Ｘ方向圧電駆動部８３とＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを画素間隔を直径に円周連続移動してＬＰＦ効果強にする。

図２（ｅ）のように、２画素間隔を直径に円周連続移動（ＬＰＦ効果強）する場合、図３（ｅ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ｄ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、四角く２画素間隔にステップ移動させる矩形波に近い台形波（ＬＰＦ効果弱）となる。また、図５（ｅ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果強からＭＴＦが低くモアレ成分が少ない。

つぎに、図２（ｆ）、図３（ｆ）、図４（ｆ）及び図５（ｆ）を参照して説明する。ここでは、撮像装置３０のＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号aに対応して、Ｘ方向圧電駆動部８３とＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを縦横２画素間隔に角丸の四角形の可変速移動してＬＰＦ効果中にする。

図２（ｆ）のように、縦横２画素角丸の四角形の可変速移動（ＬＰＦ効果中）する場合、図３（ｆ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ｆ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、縦横２画素角丸の四角形の可変速移動させる飽和した正弦波（ＬＰＦ効果中）となる。また、図５（ｆ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果中からＭＴＦが中程度でありモアレ成分が中程度である。

上述の実施例５の特徴を簡単に纏めると次の通りである。すなわち、撮像素子３３を移動させる圧電素子駆動電圧の振幅は２画素間隔相当で一定としておき、波形を２画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波（ＬＰＦ効果弱）から、縦横２画素間隔に角丸の四角形の可変速移動させる飽和した正弦波（ＬＰＦ効果中を介して、画素間隔を直径に円周連続移動（ＬＰＦ効果強）と可変させる点にある。また、出力映像の画素数に応じて、移動させる画素間隔を出力映像の画素間隔に可変することである。

＜実施例６：画素間隔移動による光学ＬＰＦ効果とＲ、Ｇ１＋Ｇ２、Ｂ並列化で８Ｋ撮像で２Ｋ映像出力＞
以下では、上述の実施例と異なる点を主に説明し、共通する部分については、適宜省略している。

図６Ｃは色分離補間変換部８７の構成を示すブロック図の例である。図７Ｃは、２４０ｆｐｓベイヤ配列読出し信号（図７Ｃ（ａ））と６０ｆｐｓ、Ｒ／Ｇ１＋Ｇ２／Ｂ信号（図７Ｃ（ｂ））の模式図である。

図６Ｃと図７Ｃは、２４０ｆｐｓ８Ｋベイヤ配列でＲ／Ｇ１／Ｇ２／Ｂと４画素に１個ずつの直列（シリアル）の読出し信号で８Ｋ各画素位置でＲ／Ｇ１／Ｇ２／Ｂを順次に撮像し、６０ｆｐｓ全画素の並列（パラレル）のＲ、Ｇ１＋Ｇ２、Ｂ信号とする様な実施例である。

図６Ｃの色分離補間変換部８７では、図６Ｂの構成に加えて、４つの平均部９０～９３が追加されている。また、図６Ｂと図７Ｂで説明した動作に加えて、８Ｋ各画素のＲ／Ｇ１／Ｇ２／Ｂを平均して、２ＫのＲ、Ｇ１＋Ｇ２、Ｂ信号とする。

なお、４つの平均部９０～９３は、同一の構造を有しており、ここでは、一つの平均部９３のみ詳細に示している。図示のように、３つの加算器９４～９６で４つの信号を加算した後、ビットシフト９７で１／４除算する。

その結果、図７Ｃにおいて、各画素位置でＲ／Ｇ１／Ｇ２／Ｂを順次に撮像した２４０ｆｐｓベイヤ配列でＲ／Ｇ１／Ｇ２／Ｂ４画素に１個ずつのシリアルの読出し信号つまり２４０ｆｐｓの４画素に１個ごとのＲ／Ｇ１／Ｇ２／Ｂのシリアルデータを（図７Ｃ（ａ））、６０ｆｐｓ全画素の並列のＲ、Ｇ１＋Ｇ２、Ｂ信号つまり６０ｆｐｓの全画素のＲ、Ｇ１＋Ｇ２、Ｂのパラレルデータ（図７Ｃ（ｂ））に分離している。

つぎに、図２（ｇ）、図３（ｇ）、図４（ｇ）及び図５（ｇ）を参照して説明する。ここでは、撮像装置３０のＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号aに対応して、Ｘ方向圧電駆動部８３とＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを４画素間隔に四角くステップ移動してＬＰＦ効果弱にする。

図２（ｇ）のように、四角く４画素間隔にステップ移動（ＬＰＦ効果弱）する場合、図３（ｇ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ｇ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、四角く４画素間隔にステップ移動させる矩形波に近い台形波（ＬＰＦ効果弱）となる。また、図５（ｇ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果弱からＭＴＦ高くモアレ成分が多くなる。

つぎに、図２（ｈ）、図３（ｈ）、図４（ｈ）及び図５（ｈ）を参照して説明する。ここでは、撮像装置３０のＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号aに対応して、Ｘ方向圧電駆動部８３とＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを４画素間隔を直径に円周連続移動してＬＰＦ効果強にする。

図２（ｈ）のように、４画素間隔を直径に円周連続移動してＬＰＦ効果強にする場合、図３（ｈ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ｈ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、４画素間隔を直径に円周連続移動させる正弦波となる。また、図５（ｈ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果強からＭＴＦが低くモアレ成分が少なくなる。

つぎに、図２（ｉ）、図３（ｉ）、図４（ｉ）及び図５（ｉ）を参照して説明する。ここでは、撮像装置３０のＣＰＵ３９に入力されたユーザー設定（ＬＰＦ効果）の信号aに対応して、Ｘ方向圧電駆動部８３とＹ方向圧電駆動部８４が、Ｘ方向圧電素子８１とＹ方向圧電素子８２とを縦横４画素角丸の四角形の可変速移動してＬＰＦ効果中にする。

図２（ｉ）のように、縦横４画素角丸の四角形の可変速移動（ＬＰＦ効果中）する場合、図３（ｉ）に示すようなベイヤ配列と存在確立（移動速度の逆数）の関係となる。また、図４（ｉ）に示すように、Ｘ軸とＹ軸との圧電素子駆動電圧波形は、縦横４画素間隔に角丸の四角形の可変速移動させる飽和した正弦波となる。また、図５（ｉ）に示すように、信号ＭＴＦとモアレ成分の関係において、ＬＰＦ効果中からＭＴＦが中程度でありモアレ成分が中程度である。

実施例６の特徴は、次の通りである。すなわち、撮像素子３３を移動させる圧電素子駆動電圧の振幅は４画素間隔相当で一定としておき、波形を４画素間隔に四角く画素間隔にステップ移動させる矩形波に近い台形波（ＬＰＦ効果弱）から、縦横４画素間隔に角丸の四角形の可変速移動させる飽和した正弦波（ＬＰＦ効果中を介して、４画素間隔を直径に円周連続移動（ＬＰＦ効果強）と可変させることである。

以上の実施形態の撮像装置３０では、撮像素子の画素間隔ＸＹ移動を四角のステップ移動から円形の連続移動に可変する。また、電子的に光学ＬＰＦ効果を連続可変し、ＵＨＤＴＶ８Ｋカメラ４Ｋカメラの２Ｋ出力のモアレを低減し現行２Ｋに活用できるため、８Ｋ４Ｋ２Ｋの映像制作の自由度が増加する。また、フィルタディスクの光学フィルタに複数の光学ＬＰＦを追加して、複数の光学ＬＰＦを交換する必要がなくなる。８Ｋ４Ｋ出力においても、モアレが目立たない被写体では光学ＬＰＦ効果を低減して、より高い変調度を確保することができる。

これらの結果、高画質の映像信号を生成する用途の放送用カメラや高い信頼性が要求される（原子力発電所や新幹線等の）監視用カメラや（自動車の車体塗装や織物等の確認の）産業用カメラ等に適用できる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

８ａ、８ｂ：遅延部
９ａ、９ｂ：周辺画素信号選択部
１５：白キズ判定部
１６：白キズ周囲画素補間部
１７：黒キズ判定部
１８：黒キズ周囲画素補間部
１９ａ、１９ｂ：周囲画素中央値検出部
２９ａ、２９ｂ：出力切替器
３０：撮像装置
３１：レンズ
３２：暗電流算出ＯＢ補正部
３３：撮像素子（ＣＭＯＳ撮像素子）
３６：マトリクス変換部（ＭＡＴＲＩＸ）
３７：パラレル－シリアル変換部
３８：完全黒キズ検出補間部
３９：ＣＰＵ
４０：画像表示部
４１：白キズ完全黒キズ検出補正色分離補正機能付映像信号処理部
４２：白キズ検出補間部
７２：ラインバッファ内蔵メモリコントローラ
７３：Ｒフレームメモリ
７４：Ｇ１フレームメモリ
７５：Ｇ２フレームメモリ
７６：Ｂフレームメモリ
８１：Ｘ方向圧電素子
８２：Ｙ方向圧電素子
８３：Ｘ方向圧電駆動部（Ｄ／Ａと高速高耐圧演算増幅器）
８４：Ｙ方向圧電駆動部（Ｄ／Ａと高速高耐圧演算増幅器）
８５：温度センサ
８６：白キズ完全黒キズ検出補間部
８７：色分離補間変換部
８８：ガンマ色輪郭補正部

Claims (4)

1. Ｒ／Ｇ１／Ｇ２／Ｂのベイヤ配列のオンチップカラーフィルタを有し出力映像の毎秒フレーム数の４倍の毎秒フレーム数で撮像する撮像素子を備える撮像装置であって、
   前記出力映像の毎秒フレーム数の４倍の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、
   前記出力映像の毎秒フレーム数の４倍の毎秒フレーム数のＲ／Ｇ１／Ｇ２／Ｂの直列映像信号を前記出力映像の毎秒フレーム数の並列の映像信号に変換する変換手段と、
   前記移動手段による前記画素間隔の移動を、高い変調度を必要とする場合には、四角のステップ移動とし、モアレの低減を必要とする場合には、円形の連続移動とする移動制御手段と、
   前記撮像素子の温度に対応する正常画素の暗電流を検出する暗電流算出手段、または、前記撮像素子の温度を検出する温度検出手段と、
   前記撮像素子の温度に対応する正常画素の暗電流に反比例させて所定時間だけ遮光蓄積し読出を行い、所定レベルより小さい暗電流の画素を正常画素の暗電流として検出する黒キズ検出手段と、
   撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する黒キズ補間手段と、を備えることを特徴とする撮像装置。
2. 前記移動制御手段は、前記変調度と前記モアレを中程度とする場合には、前記画素間隔の移動を角丸の四角形の可変速移動とすることを特徴とする請求項１に記載の撮像装置。
3. 前記移動手段は、前記出力映像の毎秒フレーム数の４倍の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に２の累乗数の前記画素間隔に移動させ、
   前記変換手段は、前記出力映像の毎秒フレーム数の４倍の毎秒フレーム数のＲ／Ｇ１／Ｇ２／Ｂの直列映像信号を前記出力映像の毎秒フレーム数の各画素の４並列のＲ／Ｇ１／Ｇ２／Ｂ映像信号又は３並列のＲ／Ｇ１＋Ｇ２／Ｂの映像信号に変換することを特徴とする請求項１または２に記載の撮像装置。
4. ベイヤ配列オンチップカラーフィルタを有する撮像素子を有する撮像装置であって、
   出力映像の４倍の毎秒フレーム数で前記撮像素子を光軸と垂直な方向に画素間隔に移動させる移動手段と、
   前記移動手段による前記画素間隔の移動を四角のステップ移動とする移動制御手段と、
   撮像した直列映像信号を前記出力映像の毎秒フレーム数の各画素の並列映像信号に変換する変換手段と、
   前記撮像素子の温度に対応する正常画素の暗電流を検出する暗電流算出手段、または、前記撮像素子の温度を検出する温度検出手段と、
   前記撮像素子の温度に対応する正常画素の暗電流に反比例させて所定時間だけ遮光蓄積し読出を行い、所定レベルより小さい暗電流の画素を正常画素の暗電流として検出する黒キズ検出手段と、
   撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する黒キズ補間手段と、を有することを特徴とする撮像装置。

Images