JP5395710B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5395710B2 JP5395710B2 JP2010055964A JP2010055964A JP5395710B2 JP 5395710 B2 JP5395710 B2 JP 5395710B2 JP 2010055964 A JP2010055964 A JP 2010055964A JP 2010055964 A JP2010055964 A JP 2010055964A JP 5395710 B2 JP5395710 B2 JP 5395710B2
- Authority
- JP
- Japan
- Prior art keywords
- smear
- pixel
- unit
- video signal
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
また、IT( Inter Line )方式のCCD撮像素子(以下、IT−CCD撮像素子と称する)は、対角4.5[mm]と撮像面積が小さい。しかし、入射光が706[cd/m2]、絞りF5.6で、出力信号は1050[mV]と感度が高くなり、出力信号飽和レベルも1000[mV]と高い。しかし一方、垂直スミアが約−105[dB]と多い(非特許文献1参照。)。
さらに、フォトダイオードの蓄積容量のばらつきのために、1画面内で不均一だったダイナミックレンジが、画面内で均一になる。
しかし、CMG電圧振幅が中程度の中電子増倍時には、暗電流も電子増倍され、暗電流レベルが高くなる。このため、映像信号成分が飽和して、ダイナミックレンジが低下する。
電子冷却を行い暗電流を低減するようにすると多少良くなる。例えば、EM−CCD撮像素子の温度を約6[℃]下げると、暗電流が半分に改善される。しかし、それでも、暗電流のレベルは高く、映像信号成分が飽和して、ダイナミックレンジが低下する。
さらに、CMG電圧振幅が高い高電子増倍時には、水平変調度も低下し、高輝度信号が圧縮される。従って、EM−CCD撮像素子を特に強く電子冷却して暗電流を最小限にし、さらにCMG電圧振幅を最小限にした場合でも、暗電流のレベルが高く、映像信号成分が飽和して、ダイナミックレンジが低下する(特許文献2と非特許文献3と非特許文献4参照)。
さらに過飽和し、異常に高輝度の過飽和入射光では、入射光の輝度が高くなるに従い、制限レベルに達したCCD出力映像信号となる高輝度の過飽和入射光の映像の画面下方から順々に、垂直スミアより高輝度の過飽和レベルの白状態になる。この結果、逆に画面上部の垂直スミアは沈み、水平方向にも白いすじ状の水平スミアが確認されるようにな異常スミアが現れる。そしてさらに過飽和入射光の強度がさらに高くなると、過飽和入射光による偽信号で白が画面全体に広がる。
IT−CCD撮像素子やFT−CCD撮像素子は、基盤電圧を可変するか、電荷掃き捨てタイミングを可変するかして、過飽和入射光による偽信号を低減する。しかし、EM−CCD撮像素子は、過飽和入射光による偽信号の低減が困難だった。IT−CCD撮像素子やFT−CCD撮像素子は、出力信号飽和レベルも高いので、過飽和入射光による偽信号の検出も容易であったが、EM−CCD撮像素子は、出力信号飽和レベルが実効的に低い状態が多いので、過飽和入射光による偽信号の検出も困難であった。
また好ましくは、上記発明の撮像装置において、前記演算部は、前記左右のカーソル位置で挟まれた画素を除く、他の水平ラインについて実行するものである。
さらに好ましくは、上記発明の撮像装置において、前記左右のカーソルの位置の遠近に基づいて重み付けして補正値を算出するものである。またさらに好ましくは、当該左カーソル位置または右カーソル位置に対応する画素に近いほど重み付け係数を大きくし、遠いほど重み付け係数を小さくするものである。
好ましくは、上記発明の撮像装置において、前記演算部は、水平ラインごとに水平ラインごとに前記差分値を出力し、前記スミア補正部は、前記水平ラインごとに前記差分値を減算するものである。
好ましくは、上記本発明の撮像装置は、前記白伸長部で伸長した画素から出力される複数ラインの各垂直画素信号の最小値からN(Nは自然数)番目の値、最大値からM(Mは自然数)番目の値以下の値の平均値、または他の最大値からM番目の値以下の値から算出される代表値信号の少なくとも1つを算出する手段と、前記第1の取得部で取得した有効画素から出力される映像信号から前記代表値信号を減算する手段とを有し、有効画素から出力される映像信号の各垂直画素信号の最大値(スミア源)から(約80dB低く)想定される垂直スミア値に比べ、上記代表値信号が低い垂直画素は、(V−OBに達しない垂直スミアとして、)垂直スミアのある垂直ラインの外側の左右の画素の補間で置換するする手段と、上記代表値信号が画面間で変動する垂直画素は(変動する垂直スミアとして、)垂直スミアのある垂直ラインの外側の左右の画素の補間で置換するする手段と、の少なくとも一方のる手段を有するものである。
また好ましくは、上記撮像装置において、前記撮像素子はCCD撮像素子であり、該CCD撮像素子のCCD出力の飽和を伸長する伸長手段と、該CCD出力を12[bit]以上でA/D変換する手段とを有し、前記CCD出力を12[bit]以上でA/D変換し、飽和を伸長して14[bit]以上相当としてから、前記CCD撮像素子の有効画素からの信号から、前記CCD撮像素子のV−OBからの代表値信号を減算するか、前記CCD撮像素子の有効画素から出力される映像信号の各垂直画素信号の最大値(スミア源)を算出するかの少なくとも一方を行うものである。
また、本発明の撮像装置は、高輝度圧縮を伸長した有効画素の垂直ラインの信号の所定以上の最大値としてスミア源信号を検出し、検出されたスミア源信号のある垂直ラインの有効画素信号を、スミア源の外側の左右の画素の信号の補間値で置換し、V−OBに達しない垂直スミアを補正する。この結果、垂直スミアが目立たなくなる。また、この垂直スミアの垂直方向の長さが、一定の長さの場合であっても、画面ごとに長さが変動している場合であっても、垂直スミアが目立たなくすることができる。
また、本発明の撮像装置は、白伸長したV−OB信号の垂直画素の最小値から過飽和直前レベルの垂直スミアを検出し、検出した場合にはレンズ等の光学系の光学絞りを絞って、入射光の輝度を抑え、過飽和入射光にならないようにする。この結果、過飽和レベルの白状態、画面上部の沈みこみ、及び水平スミアを防止する。
また、以降の各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明を省略する。
この画面301から、スミアの光源305だけを選択し、スミアの光源306として出力されたのがスミアの無い画面302である。画面301から画面302の差分を取ると、スミア309だけの画面303が出力される。
そして、最終的には、画面301から画面303の差分を取ることによって、スミアの無い画面304が、撮像装置から出力される。
好ましくは、上記2つの差分は、1または複数の画素ごとに実行する。
上述したように、図3は、例えば、V−OBに達しないスミア、若しくはV−OBに達しない変動スミアをフィールドメモリ部を用いて補正する画面を模式的に示した図である。高輝度被写体(例えば、スポットライトや車両のヘッドライト等の光源であり、スミアの光源と称する)を撮像した画素と同じ列の垂直方向の画素(垂直線画素)にスポット光の照度に比例した映像信号が重畳されて、スミアとよばれる白い縦線が現れる(発生する)。
図2(1)は、スミアのある画面201を示す図、図2(2)はスミアを補正した後の画面211を示す図である。
このスミアの光源203の左右の画素に、手動で、カーソル207と208を表示させる。例えば、カーソルの手動による表示手段としては、図1A図示しないCPUへの外部機器からの入力信号、若しくは、図1Cの外部機器120cからの外部操作等による。このカーソル207と208で左右を挟まれた1または複数の画素が、スミアの光源203と特定される
次に、上記指定された左のカーソル207と右のカーソル208に囲まれた画素の上下の垂直線方向の画素について、各水平ラインごとに、画素の輝度レベルを書き込み、光源213以外の画素を算出された輝度レベルについて、それらの左右カーソル位置に相当する画素に重みづけを行って、それぞれの画素ごとに補正する輝度レベルを算出する。そして、算出された輝度レベルにそれぞれの画素の輝度レベルを置換する。その結果、図2A(2)の領域215に示すように、スミアが補正される。
図2Aの実施例の場合、スミアがV−OBに達していなくても、また、スミアが変動しても、カーソルで指定することによって、スミアを補正できる。また、スミアがV−OBに達していても、補正可能である。
図2Bにおいて、それぞれの画素231〜235の枠内の文字は、それぞれの水平ライン上の画素アドレスを示す。また、画素231の輝度レベルをBk−2、画素232の輝度レベルをBk−1、画素233の輝度レベルをBk、画素234の輝度レベルをBk+1、画素235の輝度レベルをBk+2とする。
この時、スミアが現れた画素232〜234に対して置換するための輝度レベルを、式(1)〜式(3)のように算出する。SBk−1は画素232の輝度レベルBk−1を置換するための補正値、SBkは画素233の輝度レベルBkを置換するための補正値、SBk+1は画素234の輝度レベルBk+1を置換するための補正値である。
SBk−1=0.7Bk−2+0.3Bk+2 ・・・式(1)
SBk=0.5Bk−2+0.5Bk+2 ・・・式(2)
SBk+1=0.3Bk−2+0.7Bk+2 ・・・式(3)
このように、左カーソル位置に近い方の画素には、左カーソル位置に対応する画素の輝度レベルに大きな重み付けをし、遠い方の画素(即ち、右カーソル位置に対応する画素)の輝度レベルに小さな重み付けをして、置換するための補正値を算出する。
なお、左右のカーソルに囲まれた画素の数(即ち、スミアが現れた水平方向の画素数)が1画素の場合には、重み付けは左右等しくなる。従って、補正値として、平均値が算出される。
さらに、上記実施例では、カーソルに挟まれた画素数が、3であったが、5である場合等、“0.9”、“0.7”、“0.5”、“0.3”、“0.1”、等、カーソルに挟まれた画素数が増えても、随時設定可能である。
図2Bにおいて、それぞれの画素251〜236の枠内の文字は、それぞれの水平ライン上の画素アドレスを示す。また、画素251の輝度レベルをBj−3、画素252の輝度レベルをBj−2、画素253の輝度レベルをBj+1、画素254の輝度レベルをBj+1、画素255の輝度レベルをBj+2、画素236の輝度レベルをBj+3とする。
この時、スミアが現れた画素252〜255に対して置換するための輝度レベルを、式(4)〜式(7)のように算出する。SBj−2は画素252の輝度レベルBj−2を置換するための補正値、SBj−1は画素253の輝度レベルBj−1を置換するための補正値、SBj+1は画素254の輝度レベルBj+1を置換するための補正値、SBj+2は画素255の輝度レベルBj+2を置換するための補正値である。
SBj−2=0.8Bj−3+0.2Bj+3 ・・・式(4)
SBj−1=0.6Bj−3+0.4Bj+3 ・・・式(5)
SBj+1=0.4Bj−3+0.6Bj+3 ・・・式(6)
SBj+2=0.2Bj−3+0.8Bj+3 ・・・式(7)
このように、左カーソル位置に近い方の画素には、左カーソル位置に対応する画素の輝度レベルに大きな重み付けをし、遠い方の画素(即ち、右カーソル位置に対応する画素)の輝度レベルに小さな重み付けをして、置換するための補正値を算出する。
なお、左右のカーソルに囲まれた画素の数(即ち、スミアが現れた水平方向の画素数)が1画素の場合には、重み付けは左右等しくなる。従って、補正値として、平均値が算出される。
SBj−2=0.7Bj−3+0.3Bj+3 ・・・式(4)’
SBj−1=0.6Bj−3+0.4Bj+3 ・・・式(5)’
SBj+1=0.4Bj−3+0.6Bj+3 ・・・式(6)’
SBj+2=0.3Bj−3+0.7Bj+3 ・・・式(7)’
図1Aでは、V−OBに達する変動スミアを補正する場合である。101は入射光を結像するレンズ等の光学系、102は光学系101から入射した光を電気信号に変換するCCD撮像素子、103はAFE( Analog Front End )部、104はスミア補正部、105は映像信号処理部、106はCPU( Central Processor Unit ),107aは演算部、108aはカーソル位置制御部、109aはラインメモリ部、110はCCD撮像素子102を駆動する駆動パルスを生成する駆動パルス発生器(TG:Timing Generator )である。また、AFE部103において、31はCCD撮像素子102から出力された信号から雑音を除去するCDS( Correlated Double Sampling )部、32は入力された映像信号をデジタル映像信号Viに変換するA/D( Analog Digital )変換部である。CCD撮像素子102は、例えば、EM−CCD撮像素子等の電子増倍型撮像素子である。また、CPU106には、図3や図2Aで説明したように、図示しない外部機器から、スミアが発生する(現れる)原因である光源を水平走査ライン上において挟む左右の位置を、カーソル位置として指定する信号が入力される。
TG110は、CCD撮像素子102を駆動する垂直駆動パルスと水平駆動パルスを生成し、CCD撮像素子102に出力し、CCD撮像素子102を駆動する。
また、CPU106は、外部からの入力信号に応じて、スミアの光源が現れている画素の左右のカーソル位置をカーソル位置制御部108aに出力する。
CCD撮像素子102は、光学系101で受光面に結像された入射光を光電変換して信号電荷を生成し、垂直転送した後水平転送し、さらにこの信号電荷を電子増倍して、AFE部103に出力する。
AFE部103は、入力された信号電荷から雑音を除去し、暗電流成分を補正し、デジタル映像信号Viに変換して、スミア補正部104と演算部107aに出力する。
演算部107aは、カーソル位置制御部108aから入力されたスミアの光源となる画素のアドレスに基づいて、当該画素の垂直方向(上下)のアドレスの画素それぞれについて、水平走査ラインごとに左右のカーソルの位置の遠近に基づいて重み付けをして補正値を算出し、ラインメモリ部109aに水平ラインごとに出力する。
即ち、演算部107aは、カーソル位置制御部108aから入力されたアドレスの垂直方向について、各水平ラインごとに左のカーソルに対応する画素の輝度レベルと、右のカーソルに対応する画素の輝度レベルから補正値を算出し、算出した補正値値で、それぞれの水平ラインごとに、左右のカーソルに挟まれた輝度レベルを置換し、ラインメモリ部109aに出力する。左右のカーソル間の画素数が複数であっても同様に置換する。なお、左右のカーソルに囲まれた画素の数(即ち、スミアが現れた水平方向の画素数)が1の場合には、重み付けは左右等しくなるので、補正値として、平均値が算出される。
スミア補正部104は、AFE部103から入力されるデジタル映像信号について、ラインメモリ部109aから入力される映像信号レベルを減算して、映像信号Vmとして映像信号処理部105に出力する。
映像信号処理部105は、スミア補正部104から入力された信号に種々の画像処理を施して、所定方式の映像信号に変換して撮像装置100aから出力する。撮像装置100a(または、後述する撮像装置100b若しくは撮像装置100c)から出力される映像信号は、例えば、複合映像信号( Video Burst Sync 、以下、VBSと称する)、SDI( Serial Digital Interface )であり、映像信号の所定方式は、例えば、NTSC( National Television System Committee )方式、PAL( Phase Alternating by Line )方式、等である。また、例えば、撮像装置100aから出力される映像信号は、HDTV( High Definition Tele-Vision )方式のSDI、HD−SDIである。
なお、撮像装置の外部からスミアの光源が現れている位置またはその左右の位置を入力される場合には、スミアがV−OBに達しない変動スミアであっても良い。
図1Bでは、V−OBに達しないスミア、若しくはV−OBに達しない変動スミアをフィールドメモリ部を用いて補正する場合である。図1Bは、図1Aとほぼ同様の構成で、演算部107a、カーソル位置制御部108a及びラインメモリ部109aの替りに、フィールドメモリ部107b、フィールドメモリ部108b、及び差分検出部109bを設けたものである。
フィールドメモリ部107b及びフィールドメモリ部108bは、それぞれ奇数フィールドまたは偶数フィールドの1フィールド分の映像信号を記憶し、記憶された1フィールド分の有効画素それぞれについて、検出部109bに出力する。
検出部109bは、入力された2つのフィールドの映像信号の差分を演算し、差分値が大きい(差分が目立つ)垂直線を算出する。そして、算出された垂直線について、所定の輝度レベル以上であって、一番差分値が大きい値の画素のかたまりを、スミアの光源として特定し、その特定されたスミアの光源のアドレス位置の垂直方向の画素のスミアの光源に特定された画素を除いた水平ライン上の画素についての差分値を逆極性にして、スミア補正部104に出力する。
スミア補正部104は、FEP103から入力された映像信号Viに、差分検出部109bから入力された差分値を加算し、映像信号Vmとして映像信号処理部105に出力する。映像信号処理部105は、スミア補正部104から入力された信号に種々の画像処理を施して、所定方式の映像信号に変換して撮像装置100bから出力する。
また、図1Aと図1Bのスミア補正部104は、スミア補正後、映像信号処理部105に出力する直前にデジタルAGC( Automatic Gain Control )を実行するように構成される。
また、撮像装置の外部からスミアの光源が現れている位置またはその左右の位置が入力される場合には、スミアがV−OBに達する変動スミアであっても良い。
図1Cでは、V−OBに達しないスミア、変動スミア、及び、過飽和スミアとを検出して補正する場合を説明する。
図1Cは、図1Aや図1Bと同様に、光学系101、CCD撮像装置102、映像信号処理部105、及びTG110は、同一の機能を有する。また、CPU106は、所定の実行プログラムに従って、さらに、光学系101の絞り制御を行い、外部機器120cともアクセスして、撮像装置100cの各機器を制御する。
また、AFE部はFEP( Front End Processor )と呼ばれることもある。FEP部103cは、CDS部31とA/D変換部32との間に、VGA( Variable Gain Amplifier )部33を具備する。VGA部33は、CDS31から入力された信号のレベルを調整して、A/D変換部32に出力する。なお、VGAはAGCを実施する手段の1つであり、VGA部を省略し、映像信号処理部105でデジタルゲイン制御しても良い。
また撮像装置100cは、外部機器120cとCPU106を介して相互にアクセスし、外部からのオペレータの操作に応答する。外部機器は、例えば、図1Aで説明したカーソル位置操作や、後述するカーソル位置操作機能を付加された操作器である。当該操作器は、外部機器であっても良いが、撮像装置に付加される機能(例えば、OSD:On Screen Display )であっても良い。また、外部機器120cは、モニタと操作器間でGUI操作することができる機器であっても良い。また例えば、PC( Personal Computer )であっても良い。
FEP103のCDS部31は、CCD撮像素子102から入力された信号から、雑音を除去し、暗電流成分を補正し、補正した信号をVGA部33に出力する。VGA部33は、入力された信号を増幅して、A/D変換部32に出力する。A/D変換部32は、入力された信号をデジタル映像信号Vi’に変換して、白伸長部112cに出力する。
白伸長部112cは、入力されたデジタル映像信号Vi’を、所定の映像レベルに伸長し、デジタル映像信号Viとしてスミア補正部104cに出力する。スミア補正部104cは、入力された信号デジタル映像信号Viについて、スミア補正を行い、補正した映像信号Vm及び検出信号S1を検出部111cに出力し、過剰スミアの検出信号を最大スミア信号S2としてCPU106に出力する。なお、白伸長部112cの詳細については、後述する。
CPU106は、最大スミア信号S2が入力された場合には、絞り制御信号C1を光学系101に出力し、光学系101に備えた光学絞り若しくは可変ND( Neutral Density )フィルタの少なくともいずれかの光学減衰手段で入射光を光学的に減衰する。
まず、1ラインの入力信号を説明する。1ラインの入力信号は有効画素期間と有効画素期間以外の期間であるHブランキング期間がある。Hブランキング期間には、CCD垂直転送期間とOB(オプティカルブラック)期間とダミー期間がある。
図4Aの実施例は、V−OBに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、V−OB最小値から2番目の値でスミア補正するものである。従って、例えば、V−OBが3ラインの時には、中央値がスミアとみなす。400aはスミア補正部、10はデジタルAGC部、11と79は減算部、21、22、24、及び26は比較部、72、73、及び75〜77はラインメモリ部、78は乗算部である。
デジタル映像信号Viは、スミア補正部400aの減算部11の被減算入力端と比較部21及び24に入力される。ラインメモリ部72には、最小の輝度レベルが記憶され、ラインメモリ部73には最小値から2番目の値の輝度レベル(2番目に小さい輝度レベル)が記憶される。ラインメモリ部73は、記憶された2番目に小さい輝度レベルをデジタルAGC部10とラインメモリ部75に出力する。
即ち、比較部21及び22は、入力されたデジタル映像信号ViをV−OBラインの垂直画素信号毎に比較し、輝度レベルの小さい順にラインメモリ部72及び73に記憶する。ラインメモリ部73は、記憶された2番目に小さい輝度レベルをラインメモリ部75に出力する。ラインメモリ部75は、1ライン分の輝度レベルの2番目に小さい輝度レベルを比較部26と減算部79の被減算入力端に出力する。
比較部24は、入力されたデジタル映像信号ViをV−OBラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部77に記憶する。ラインメモリ部77には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部76に出力される。ラインメモリ部76は、1ライン分の輝度レベルの最大の輝度レベルを乗算部78を介して、減算部79の減算入力端に出力する。
減算部11は、被減算入力端に入力されたデジタル映像信号Viから、減算入力端に入力された輝度レベルを減算して、14[bit]のスミア補正されたデジタル映像信号Vmを出力する。
比較部26は、ラインメモリ部75から入力された1ライン分の輝度レベルの2番目に小さなレベルを最大スミア信号S2としてCPU106に出力する。
減算部79は、ラインメモリ部75から入力された輝度レベルから、ラインメモリ部76から乗算部78を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号S1として検出部111cに出力する。
なお、メモリ部72の最小値の輝度レベルの上限値、及びメモリ部77の最大値の輝度レベルの下限値は予め設定し記録しておく。
図4Aと同様に、1ラインの入力信号は有効画素期間と有効画素期間以外の期間であるHブランキング期間がある。Hブランキング期間には、CCD垂直転送期間とOB期間とダミー期間がある。
図4Bの実施例は、V−OBに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、V−OB最小値から3番目の値でスミア補正するものである。従って、例えば、V−OBが5ラインの時には、中央値がスミアとみなす。400bはスミア補正部、23は比較部、74はラインメモリ部、他は、図4Aと同様である。
デジタル映像信号Viは、スミア補正部400bの減算部11の被減算入力端と比較部21及び24に入力される。ラインメモリ部72には、最小の輝度レベルが記憶され、ラインメモリ部73には最小値から2番目の値の輝度レベル(2番目に小さい輝度レベル)が記憶され、ラインメモリ部74には最小値から3番目の値の輝度レベル(3番目に小さい輝度レベル)が記憶される。ラインメモリ部74は、記憶された3番目に小さい輝度レベルをデジタルAGC部10とラインメモリ部75に出力する。ラインメモリ部75は、1ライン分の輝度レベルの3番目に小さい輝度レベルを比較部26と減算部79の被減算入力端に出力する。
即ち、比較部21〜23は、入力されたデジタル映像信号ViをV−OBラインの垂直画素信号毎に比較し、輝度レベルの小さい順にラインメモリ部72〜74に記憶する。ラインメモリ部74は、記憶された3番目に小さい輝度レベルを比較部26と減算部79の被減算入力端に出力する。
比較部24は、入力されたデジタル映像信号ViをV−OBラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部77に記憶する。ラインメモリ部77には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部76に出力される。ラインメモリ部76は、1ライン分の輝度レベルの最大の輝度レベルを乗算部78を介して、減算部79の減算入力端に出力する。
比較部26は、ラインメモリ部75から入力された輝度レベルの最大値を最大スミア信号S2として出力する。
減算部79は、ラインメモリ部75から入力された輝度レベルから、ラインメモリ部76から乗算部78を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号S1として検出部111cに出力する。
なお、メモリ部72の最小値の輝度レベルの上限値、及びメモリ部77の最大値の輝度レベルの下限値は予め設定し記録しておく。
例えば、図1Cの撮像装置100cに、この図4Bの構成のスミア補正部400bを用いると、白キズの影響がないだけでなく、暗電流が極端に少ない画素欠陥である黒キズの影響がほとんどなくなり、厳しく選別した高価なCCD撮像素子を使用し難い監視用途特にEM−CCD撮像素子に適している。また、白キズと黒キズの影響がほとんどないため、垂直スミア発生の有無を検出する回路を省略できる。また、垂直スミア誤検出による黒い縦筋を防止する少レベル垂直スミア補正信号の切り捨て処理する回路も省略できる。
さらに図1Cと図4Bの実施例では、信号ViからOB代表値信号を減算してから映像信号処理部105に入力する信号Vmを10bitにして、監視用途に多く使用される低価格の映像信号処理部105の入力ビット数に合わせている。但し、垂直スミア補正の精度を維持するため、FEP部103cの出力ビット数は14ビットとしている。
図4Aと同様に、1ラインの入力信号は有効画素期間と有効画素期間以外の期間であるHブランキング期間がある。Hブランキング期間には、CCD垂直転送期間とOB期間とダミー期間がある。
図4Cの実施例は、V−OBに達しないスミアについてスミア補正を行うもので、有効画素の最大値をスミア源とみなし、V−OB最小値でスミア補正するものである。400cはスミア補正部、他は、図4Aと同様である。
デジタル映像信号Viは、スミア補正部400cの減算部11の被減算入力端と比較部21及び24に入力される。ラインメモリ部72には、最小の輝度レベルが記憶される。ラインメモリ部72は、記憶された最小の輝度レベルを減算部11とラインメモリ部75に出力する。ラインメモリ部75は、1ライン分の輝度レベルの最小輝度レベルを比較部26と減算部79の被減算入力端に出力する。
即ち、比較部21と24は、入力されたデジタル映像信号ViをV−OBラインの垂直画素信号毎に比較し、輝度レベルの小さいレベルをラインメモリ部72に記憶する。ラインメモリ部72は、記憶された最小輝度レベルをラインメモリ部75に出力する。
比較部24は、入力されたデジタル映像信号ViをV−OBラインの垂直画素信号毎に比較し、より大きい輝度レベルをラインメモリ部77に記憶する。ラインメモリ部77には、最大の輝度レベルが記憶され、記憶された輝度レベルがラインメモリ部76に出力される。ラインメモリ部76は、1ライン分の輝度レベルの最大の輝度レベルを乗算部78を介して、減算部79の減算入力端に出力する。
比較部26は、ラインメモリ部75から入力された輝度レベルの最大値を最大スミア信号S2として出力する。
減算部79は、ラインメモリ部75から入力された輝度レベルから、ラインメモリ部76から乗算部78を介して入力された輝度レベルを減算して、減算された輝度レベル信号を検出信号S1として検出部111cに出力する。
なお、メモリ部72の最小値の輝度レベルの上限値、及びメモリ部77の最大値の輝度レベルの下限値は予め設定し記録しておく。
同様に、図4Eは、比較部24と比較部26とラインメモり76とラインメモリ77とがないことと、ラインメモリ75の動作が異なること以外は、図4Bと同等であり、V−OBに最小値から3番目をスミア信号として検出しラインメモリ74に保持してD.AGC10経由で映像信号から減算する。さらに、ラインメモリ75に、一画面前のスミア信号を記憶しておき、ラインメモリ74に保持してある現画面のスミア信号と比較して変動スミアを検出し出力する。
同様に、図4Fは、比較部24と比較部26とラインメモリ76とラインメモリ7
7とがないことと、ラインメモリ75の動作が異なること以外は、図4Cと同等であり、V−OBに最小値をスミア信号として検出しラインメモリ72に保持してD.AGC10経由で映像信号から減算する。さらに、ラインメモリ75に、一画面前のスミア信号を記憶しておき、ラインメモリ72に保持してある現画面のスミア信号と比較して変動スミアを検出し出力する。
本発明の図4A〜図4Cの実施例の特徴は、比較部とラインメモリ部とにより、最大値または2番目に大きい値を除きCCD撮像素子の白キズの影響を削除していること、有効画素の各垂直同素の最大値をスミア源とみなしていることである。本発明の図4D〜図4Fの実施例の特徴は、ラインメモリ75に、一画面前のスミアを記憶しておき、現画面のスミアと比較して、変動スミアを算出することである。
上記スミア補正の基本的な処理技術については、例えば、特許文献1(特開2008−10960639号公報)に記載ように周知の技術であり、また例えば、本願出願人が平成21年3月18日に出願した特願2009−066223号等に記載の技術を適用することによって容易に実現することができる、
520〜526は加算器で、M1〜M7はラインメモリ部であり、NP1〜NP3とNP5〜NP7は負の掛け算器、P4は正の掛け算器である。
この場合、図6B(1)の補正前映像信号に示すように、スミア信号がきた場合には、水平ライン上の映像信号の波形が乱れ、かつ他の画素より高い輝度レベル611a、612a、及び613aが検出される。この乱れた輝度レベル611a、612a、及び613aで一番高い輝度レベル612aをスミアの光源とみなして検出し、その他の輝度レベル611a及び613aを上述の図1A〜図1C、図2A、図2B、図3、及び、図4A〜図4Dの実施例のようにスミア補正する。この結果、図6B(2)の補正後映像信号の輝度レベル611b、612b、及び613bに示すように、補正された映像信号波形、即ち、スミア補正が可能となる。
即ち、水平画素補間を含む水平輪郭強調部(図1C参照)に対して、図6A、図6Bに示すように、通常時は水平輪郭強調を行い、一定でも変動していてもV−OBに達しないスミアと変動スミアの検出信号がきた場合は、水平画素補間を行うことができる。
また、非特許文献3に記載のように、対角4.5[mm]のIT−CCD撮像素子も感度が高くなり、出力信号飽和レベルも高くなった。しかし、垂直スミアが約−105dBと多い。さらに、非特許文献4に記載のように、FT−CCD撮像素子では、IT−CCD撮像素子より感度が高く出力信号飽和レベルも高いが、垂直スミアが非常に多い。
そこで、EM−CCD撮像素子を用いて、高電子増倍時のCCD撮像素子の出力の飽和レベルが低い場合、及び、出力信号飽和レベルの低いCCD撮像素子を用いる場合には、CCD撮像素子の出力を12[bit]以上でA/D変換し、画面内で不均一の飽和を伸長して14[bit]以上相当としておく。
この結果、一定照度の点光源による一定の垂直スミアについては、V−OBの垂直ラインの最小値で白キズの影響を受けずに一定の垂直スミアを検出し、有効画素から減算することができる。
その結果、60[Hz]商用交流電源のサイリスタ駆動による短時間パルス点灯の点光源で、一定でも変動していても、V−OBに達しない垂直スミアは、有効画素の垂直ラインの最大値で所定以上の値をスミア源とみなし、スミア源のある垂直ラインの有効画素は、スミア源のある垂直ラインの外側の左右の画素の補間で置換することで除去することができる。
即ち、モニタ映像に、垂直ラインのカーソル2本を重畳する。V−OBに達しない垂直スミアと画面間で変動する垂直スミアのある垂直ラインの、スミアの光源の左右の境界に垂直ラインのカーソル2本を合わせ、カーソルの外側の左右画素に、カーソル位置からの遠近差に応じて重み付けして算出した輝度レベルを補正値としてカーソルの内側の画素の輝度レベルと置き換えることができる。
つまり、本発明による撮像装置の一実施例では、V−OBの垂直ラインの信号の最小値を検出し垂直スミア成分とみなし、高輝度圧縮を伸長した有効画素信号から減算して一定照度の点光源による一定の垂直スミア成分を白キズの影響を受けずに減算する。
その結果、LED等の映像非同期のパルス点灯の点光源による変動する垂直スミアと60Hz商用交流電源のサイリスタ駆動による短時間パルス点灯の点光源で、一定でも変動していてもV−OBに達しない垂直スミアとは、高輝度圧縮を伸長した有効画素の垂直ラインの信号の所定以上の最大値としてスミア源信号を検出する。スミア源のある垂直ラインの有効画素信号は、スミア源の外側の左右の画素の信号に基づいた補正値で置換することができる。
その結果、一定でも変動していてもV−OBに達しない垂直スミアでもスミア源の外側の左右の画素の信号にもとづいた補正値で置換され、垂直スミアは目立たなくなる。
例えば、異常に強い過飽和入射光の強度がさらに高くなると、さらに強い飽和入射光でフォトダイオードで過剰な電荷が発生する。発生した電荷は、垂直転送路にあふれる。このため、過剰な電荷で垂直転送路が過飽和状態となり、強い入射光の映像の画面の下端が、垂直スミアより高い過飽和レベルの、白状態になる。
さらに過飽和し、制限レベルに達し、異常に強い過飽和入射光では、入射光の強度が高くなるに従い、強い過飽和入射光の映像の画面の下方から、順々に、垂直スミアより高い過飽和レベルの白状態になる。かつ、逆に画面上部の垂直スミアは沈み(暗くなり)、水平方向にも白いすじ状の水平スミアが明瞭に見えてくる。またさらに異常に強い過飽和入射光の強度が高くなると、白が画面全体に広がり、それ以上に異常に強い過飽和入射光の強度がに高くなると、画面全体が黒に暗転する。
ここで、CPU106は、各機器と常に相互にアクセスしている。このため、CPU106は、前記のように過飽和が発生しようとした時、レンズ等の光学系101を制御しての光学系絞りを絞る。かつ、CPU106は、FEP部103cのVGA(若しくは、AGC)33を制御してゲインを調整し、AGC出力ゲインを高くするか、EM−CCD撮像素子のCMG電圧を高くして電子増倍率を高くし、感度を一定に保つ。
即ち、過飽和直前の輝度レベルでの垂直スミアを、白伸長した後のV−OB信号の垂直画素の最小値から検出し、レンズ等の光学系の光学絞りを絞れば、過飽和入射光の映像の画面の過飽和レベルの白状態、画面上部の沈みこみ、及び、水平スミアが防止できる。
また、白伸長した後のV−OB信号から検出する値は、垂直画素の最小値でなくても良く、例えば、各垂直画素信号の最小値からi(iは自然数)番目の値、最大値からm(mは自然数)番目の値以下の値の平均値、または他の最大値からm番目の値以下の値から算出される代表値信号の少なくとも1つを算出しても良い。
図7A〜図7Cにおいて、(1)は非増倍時のEM−CCD撮像素子の場合の入射光と出力との関係式、(2)は低増倍時のEM−CCD撮像素子、IT−CCD撮像素子、及び、FT−CCD撮像素子の場合の入射光と出力との関係式、(3)は高増倍時のEM−CCD撮像素子の場合の入射光と出力との関係式である。
図7Bでは、白キズの影響で、スミア源点光源レベルAmax から垂直スミアのレベルを点線矢印の様に想定することが困難である。
また図7Cでは、V−OB最小値(V−OBmin )で白キズ除去し、ブルーミング発生直前のスミア源点光源レベルを一点鎖線矢印の様にの想定することが可能である。
次に、図4Aと、図4Bと、図4Cとを用いて説明する。
図4A〜図4Cにおいて、白伸長したV−OB信号の最小値からN番目の値をV−OBに達したスミアとみなし、ラインメモリ部75に記憶されている。V−OBに達したスミアを比較器24で比較し、最大値を最大スミア信号として出力する。
Claims (3)
- 光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、外部機器から入力されスミアの光源を特定する左右のカーソル位置情報に基づいてカーソル位置制御部に出力するCPUと、前記カーソル位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力する前記カーソル位置制御部と、前記スミアの光源とする画素のアドレスについて、前記カーソルの位置に対応する画素の輝度レベルについて、重み付けした輝度レベルを算出する演算部と、該算出された輝度レベルに前記左右のカーソルに挟まれた画素の輝度レベルを置換するスミア補正部とを備えたことを特徴とする撮像装置。
- 光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像信号取得部から奇数フィールドの映像信号を記憶する第1のフィールドメモリと、前記映像信号取得部から偶数フィールドの映像信号を記憶する第2のフィールドメモリと、前記第1のフィールドメモリと前記第2のフィールドメモリから出力される映像信号の差分を検出し、前記検出された差分の演算し、算出された差分について、所定の輝度レベル以上であって、一番差分値が大きい値の画素のかたまりを、スミアの光源として特定し、該特定されたスミアの光源のアドレス位置の垂直方向の画素の該スミアの光源に特定された画素を除いた水平ライン上の画素についての差分値を出力する検出部と、該差分値を入力し、前記映像信号取得部から入力された前記映像信号から前記差分値を減算して出力するスミア補正部とを備えたことを特徴とする撮像装置。
- 光学系と、該光学系を通って入射する光を信号電荷に変換する固体撮像素子と、該固体撮像素子の受光面の有効画素から出力される映像信号を取得する映像信号取得部と、前記映像信号を白伸長する白伸長部と、外部機器から入力されスミアの光源を特定する位置情報に基づいて制御信号をスミア補正部に出力するCPUと、前記位置情報に基づいて、前記スミアの光源とする画素のアドレスを出力するカーソル位置制御部と、前記スミアの光源とする画素のアドレス上下方向の画素について、水平ラインごとに代表値を算出し、スミア補正するスミア補正部とを備えたことを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010055964A JP5395710B2 (ja) | 2010-03-12 | 2010-03-12 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010055964A JP5395710B2 (ja) | 2010-03-12 | 2010-03-12 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013104002A Division JP5784669B2 (ja) | 2013-05-16 | 2013-05-16 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011193107A JP2011193107A (ja) | 2011-09-29 |
JP5395710B2 true JP5395710B2 (ja) | 2014-01-22 |
Family
ID=44797611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010055964A Active JP5395710B2 (ja) | 2010-03-12 | 2010-03-12 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5395710B2 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03278674A (ja) * | 1990-03-28 | 1991-12-10 | Hitachi Ltd | 撮像装置の白圧縮特性及び復元特性の自動調整方法 |
JP3387911B2 (ja) * | 2000-01-27 | 2003-03-17 | 松下電器産業株式会社 | キャリブレーションシステムおよびキャリブレーション方法 |
JP2003143486A (ja) * | 2001-11-02 | 2003-05-16 | Olympus Optical Co Ltd | 撮像装置 |
JP2005117494A (ja) * | 2003-10-09 | 2005-04-28 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP2008109639A (ja) * | 2006-09-25 | 2008-05-08 | Hitachi Kokusai Electric Inc | 撮像装置および撮像方法 |
JP5055173B2 (ja) * | 2008-03-13 | 2012-10-24 | キヤノン株式会社 | 撮像装置、及び撮像装置の制御方法 |
JP4950137B2 (ja) * | 2008-06-23 | 2012-06-13 | 株式会社日本自動車部品総合研究所 | 撮像装置及びプログラム |
-
2010
- 2010-03-12 JP JP2010055964A patent/JP5395710B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011193107A (ja) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4742652B2 (ja) | 撮像装置 | |
US7982785B2 (en) | Streaking correction signal generating circuit, streaking correction signal generating method, program, streaking correcting circuit, and imaging device | |
US7952621B2 (en) | Imaging apparatus having temperature sensor within image sensor wherin apparatus outputs an image whose quality does not degrade if temperature increases within image sensor | |
US20080291298A1 (en) | Image noise reduction apparatus and method | |
JP2007150770A (ja) | 撮像装置およびその雑音低減方法 | |
US10027919B2 (en) | Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method | |
JP2012134685A (ja) | 撮像装置 | |
US9892497B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5268454B2 (ja) | 撮像装置 | |
JP5520833B2 (ja) | 撮像方法および撮像装置 | |
JP2015056806A (ja) | 固体撮像装置 | |
JP2010118876A (ja) | 撮像装置及びその制御方法 | |
JP2008109639A (ja) | 撮像装置および撮像方法 | |
JP5411322B2 (ja) | 撮像装置および撮像方法 | |
JP2013150144A (ja) | 撮像方法および撮像装置 | |
US7466352B2 (en) | Gamma correction device in image capturing apparatus | |
JP2012134745A (ja) | 画像信号処理装置 | |
JP5784669B2 (ja) | 撮像装置 | |
JP5395710B2 (ja) | 撮像装置 | |
JP5500702B2 (ja) | 撮像方法および撮像装置 | |
JP2018050234A (ja) | 撮像装置及び撮像装置の処理方法 | |
JP2015012373A (ja) | 固体撮像装置 | |
JP2006180310A (ja) | 撮像装置及び画像合成方法 | |
JP2009224903A (ja) | 撮像装置、及び撮像装置の制御方法 | |
JP2018037741A (ja) | イメージセンサを有する撮像装置及びその制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5395710 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |