JP4503740B2

JP4503740B2 - Imaging device

Info

Publication number: JP4503740B2
Application number: JP29202099A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-10-14
Filing date: 1999-10-14
Publication date: 2010-07-14
Anticipated expiration: 2019-10-14
Also published as: JP2001111898A

Description

【０００１】
【発明の属する技術分野】
この発明は、スミア低減機能を有する撮像装置に関する。
【０００２】
【従来の技術】
ＣＣＤ撮像素子等を用いた固体撮像装置においては、固体撮像装置特有の現象として、強烈な光が入射したときに発生するスミア現象（より正確には、スミア及びブルーミングによって総合的に生じる現象であるが、本明細書においては当業者における慣用にならって、これを単にスミアと称している）による画質劣化が問題となっている。すなわち、このスミア現象は本来の電荷蓄積領域に捕捉されなかった電荷がポテンシャル障壁を乗り越えて垂直転送路に漏れ込んだり、入射光の回折成分や多重反射成分が遮光膜下の垂直転送路に漏れ込んで電荷発生することなどにより生じるものであり、通常の定常的な光に起因する場合は、これが垂直転送期間にわたって発生するため、例えばスポット光の場合は、その上下に伸びる縦筋が生じ、画質を著しく損ねていた。これを低減するために、信号補正を行なう方法が知られており、具体的には、スミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外の遮光された蓄積画素領域である垂直ＯＢ（オプティカルブラック：光学的黒）の出力レベルをスミア除去基準信号とし、これを有効画面の画素出力信号から減じる手法が、例えば特開平７−６７０３８号公報等に開示されていて公知である。
【０００３】
【発明が解決しようとする課題】
ところで、上記従来の技術を用いて単純にスミア補正を行おうとすると、現実のカメラに使用される撮像素子の出力レンジは限られているため、スミア成分が大きい場合は、補正によって却って画質劣化を来す不具合があった。具体例として、極端な例を挙げると、画面全体にほぼ一様に高いレベル（撮像素子の飽和レベルの50％とする）のスミアが発生していたとすれば、スミア補正によるスミア成分の減算によってスミアは除去されるものの、得られる出力信号は本来の被写体輝度レベルの50％で飽和した極めて暗い画像になってしまうことになる。
【０００４】
次に、この事情を、上記態様を一般的に示した図２の（Ａ），（Ｂ）に基づいて説明する。図２の（Ａ），（Ｂ）において、横軸は撮像素子出力のＡＤ変換値すなわちスミア補正回路の入力値、縦軸はスミア補正回路の出力値である。入力値については撮像素子自身の飽和レベルか又はＡＤ変換の最大レベルのいずれかで飽和してしまうが、このいずれによるかは本質でないので、ここでは撮像素子の出力信号の飽和はＡＤ変換の最大レベルによる場合を想定して、記号Ｓatで表わしている。なお、縦軸のＳatは数値的には同じであるが出力ディジタル値の最大値であって、概念的にはスミア補正出力の飽和レベル（出力可能最大値）に対応するものである。図２の（Ａ）に示す特性は、参照のため無補正の場合を示したものであるが、飽和レベルＳatを超える信号は有り得ないから、スミアＳm を減じて得られた図２の（Ｂ）に示す従来のスミア補正の出力信号の特性は、確かにスミアが除去された被写体輝度を反映したものではあるが、最大レベルはＳat−Ｓm しか得られない。
【０００５】
この問題は、特に高速シャッタ使用時に顕著になるものである。この点について更に詳述すると、シャッタ速自身はスミアレベルと直接相関はないものの、一般的な撮影時においては、いわゆる適正露出を与えることが前提になるから、高速シャッタを使用する場合とは、すなわちそれだけ短時間の露光であっても、充分な露光量が得られる板面照度の場合ということになる。この意味において、平均的板面照度Ｌと露光時間Ｔとの間には、Ｌ＝ｋ／Ｔ（ｋは撮像素子の感度によって決まる定数）の関係がある。したがって、極めて短時間の露光に関しては画面全体が極めて高輝度になっている状態のため、局所的なスポット光の有無に係らず、高いレベルのスミアが画面全体に亘って（遍在して）発生することになる。そして、このような画像に上記従来のスミア補正を施せば、画面全体が暗い画像しか得られないことになるわけである。
【０００６】
本発明は上記問題点を解消するためになされたもので、スミア補正を行なう際に撮像素子やシステムの飽和に起因して生じる上記問題点を解決し、良好な画像の得られる撮像装置を提供することを目的とする。請求項毎の目的を述べると、請求項１に係る発明は、スミア補正を行いつつ画面全体が暗くなる不具合を生じさせないようにした撮像装置を提供することを目的とする。請求項２に係る発明は、均一でないスミア成分を含む撮像に対しても、請求項１に係る発明を適用できるようにすることを目的とする。請求項３に係る発明は、飽和に起因する擬似信号の発生を生じないようにしつつゲインアップに伴うＳＮ比劣化を最小にとどめることができるようにした撮像装置を提供することを目的とする。請求項４に係る発明は、スミアを生じない通常の被写体を撮像した場合と同等の撮像特性の高画質の画像が得られるようにした撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像素子と、該撮像素子の出力信号である撮像信号に重畳されるスミア成分を検出するスミア検出手段と、該スミア検出手段の検出した前記スミア成分に基づいて前記撮像信号を補正するスミア補正手段とを有し、該スミア補正手段は、前記検出スミア成分のレベルに応じて前記撮像信号の被写体成分に対する実効的なゲインを１画面について同一の値とするようにして撮像装置を構成するものである。
【０００８】
このように、スミア補正手段をスミア成分のレベルに応じて撮像信号の被写体成分に対する実効的なゲインを１画面について同一の値とするように構成することにより、スミア補正を行いつつ画面全体が暗くなる不都合を生じさせないようにした撮像装置を実現することができる。
【０００９】
請求項２に係る発明は、請求項１に係る撮像装置において、前記スミア検出手段におけるスミア成分の検出は、前記撮像信号の垂直ブランキング期間に対応する出力に基づいて行われるように構成されていることを特徴とするものである。このように、スミア成分の検出を撮像素子の出力信号の垂直ブランキング期間に対応する出力に基づいて行うように構成することにより、請求項１に係る撮像装置を、均一でないスミア成分を含む撮像に対しても適用することが可能となる。
【００１０】
請求項３に係る発明は、請求項１又は２に係る撮像装置において、前記実効的なゲインの値は、前記スミア補正手段の出力飽和レベル値を、前記撮像信号の飽和レベル値と前記スミア検出手段の検出したスミア成分のレベルの最大値との差で除した結果値であることを特徴とするものである。このように、撮像信号の被写体成分に対する実効的なゲインを設定することにより、飽和に起因する擬似信号の発生を生じさせないようにしつつゲインアップに伴うＳＮ比の劣化を最小にとどめることが可能となる。
【００１１】
請求項４に係る発明は、請求項１〜３のいずれか１項に係る撮像装置において、前記スミア補正手段における前記ゲイン設定に応じて、前記撮像素子における露出を補正する露出補正手段を有していることを特徴とするものである。このように、露出補正手段を備え、実効的なゲイン設定に応じて露出を補正するように構成することにより、スミアを生じない通常の被写体を撮像した場合と同等の撮像特性の高画質の画像を得ることが可能となる。
【００１２】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の主たる実施の形態のディジタルカメラを示すブロック構成図である。１は前玉１ａと後玉１ｂとかなる撮像レンズ、２はフォーカスアクチュエータ２ａとズームアクチュエータ２ｂとからなるレンズ駆動機構、３は可動絞り、４はローパスフィルタ及び赤外カットフィルタからなる光学フィルタ、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡＤコンバータを含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うもので、スミア検出部８−１とスミア補正部８−２を備えている。９はメモリカードインターフェース、10はメモリカード、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラで、露出補正部12−１を備えている。13は操作スイッチ系、14は表示用ＬＣＤを含む操作表示系、15は絞りアクチュエータ、16はアクチュエータドライバ、17は光拡散素子、18は光拡散素子ドライバである。
【００１３】
そして、本実施の形態のディジタルカメラにおいては、スミア補正の効果をより高いものにするために、局所的スミア発生を低減させるスミア低減撮像を行なうことができる構成としてあり、そのための構成として、いわゆる高分子分散型（ポリマーネットワーク型）液晶を透明電極付き光学ガラスの板状セルに封入した構造の光拡散素子17が、図１に示すように撮像レンズ１の内部の可動絞り３の近傍に設けられている。
【００１４】
次に、この光拡散素子17について詳述する。光拡散素子17は２枚の光学ガラスを貼り合わせた、全体としては厚さが 0.9mmの平行平板ガラスを備え、貼り合わせ部に厚さ10μｍの平坦な液晶封入部を有している。この封入部に液晶が分散された透明樹脂が封入されて、素子としての能動部分が形成されているものである。そして透明電極から引出された接続線は、光拡散素子ドライバ18に接続され、所定電圧の公知の交流駆動によって駆動されるようになっている。
【００１５】
なお、電圧印加時と非印加時（残留電荷排出のため本実施の形態では０電圧印加）に対して、拡散と非拡散（素通し）状態をどのように割り当てるかは本来任意であるが、ＴＴＬ光学ファインダと組み合わせた場合に、カメラ電源ＯＦＦでもファインダが見えるようにする、あるいはスミア低減撮像を必要としない場合に電力を消費する必要が生じないようにするなどの効果を得る目的で、本実施の形態では特に電圧非印加時に非拡散となるようにしており、一旦０電圧印加して残留電荷を排出した後には、ドライバへの電源供給を停止しても素通し状態が保たれるようになっている。このためには媒質に相当する液晶と媒体に相当する樹脂の実効的な屈折率が、電圧非印加状態で等しくなるように構成されていることは言うまでもない。
【００１６】
続いて、このスミア低減撮像の制御に関する説明を行なう。本実施の形態のディジタルカメラにおいては、システムコントローラ12が全ての制御を統括的に行なっており、可動絞り３と、ＣＣＤドライバ６によるＣＣＤ撮像素子５の駆動（電子シャッタ）を制御して、露光（電荷蓄積）及び信号の読み出しを行ない、それをプリプロセス回路７を介してディジタルプロセス回路８に格納し、このディジタルプロセス回路８の中で全ての必要な各種信号処理を施した後に、メモリカード10に記録するものである。なお、上記各種信号処理には、後述する本発明の要部であるところのスミア補正処理が含まれている。また、露光及び信号読み出しのタイミングに合わせて光拡散素子ドライバ18を駆動し、光拡散素子17の拡散特性を変化させることで、スミア低減撮像を行なうことができるようになっている。
【００１７】
すなわち、撮影対象である当該被写体像の光電変換電荷を蓄積中は、光拡散素子17を非拡散（素通し）状態のままとしてあり、ＣＣＤ転送路（垂直シフトレジスタ）への転送パルスＴＧが出ると同時に、拡散状態にすべく電圧印加を開始する。ただし駆動を開始してから光拡散素子17が現実に充分な拡散状態に転移するまでは、かなりの時間を要する。この転移時間は、素子の材料、印加電圧や駆動周波数にも依存するが、通常数ｍｓ〜数 100ｍｓ程度である。そして素子（能動部）の厚さにも大きく依存する。本実施の形態では厚さが10μｍと薄いため、転移時間は10ｍｓ以下と高速であって、これに対応して撮像信号の読み出し（信号電荷のＣＣＤ転送）は、転送パルスＴＧの出力後10ｍｓの時点から開始される。そして、信号読み出しが終了した後は次の撮影に備え、また無駄な駆動電力をなくす意味で、速やかな適時に光拡散素子17への電圧印加を０電圧として素通し状態に転移させる。この後、光拡散素子ドライバ18への通電を停止してもよい。
【００１８】
このとき、もしも転移時間が異なる値であれば、これに合わせた読み出し開始時刻を設定すればよい。また、このとき更に遅らせて読み出しを開始してもよいが、それに伴う暗電流ノイズの増加を避けるため、本実施の形態では不要な遅延はさせていない。
【００１９】
以上のようなスミア低減撮像を行なえば、被写体のスポット光による局所的スミアは、信号読み出し時に像が拡散されていることにより、かなりの程度低減される。しかしながら、高速シャッタ（短時間露光）使用時の遍在スミアは発生するし、また上記のように応答性の要請から、厚みの薄い拡散素子を使用するため拡散性を充分確保できなかったり、あるいはレンズの周辺光量落ちのため、発生するスミアは完全に均一ではない場合がある。したがって、上記のようなスミア低減撮像によってもなお撮像素子出力に重畳されているスミア成分を除去するために、本実施の形態のカメラにおいてはスミア補正手段を有しており、このスミア補正手段によるスミア補正は、上記スミア低減撮像とは相補的に作用するようになっている。
【００２０】
次に、上記スミア補正について詳述する。本実施の形態において使用されているスミア補正処理の方式は、「撮像素子の出力信号の垂直ブランキング期間に対応する出力に基づいて撮像素子のスミア成分を検出するスミア検出手段の検出したスミア成分に基づいて、有効信号出力期間の撮像素子出力である有効画像信号を補正する」ものであって、具体的にはＶＯＢ（垂直光学的黒検出用画素）の出力から算出したスミア除去基準信号を有効画像信号から減じる方式である。
【００２１】
すなわち、上記スミア低減撮像によって得られた１画面に対応する撮像出力信号をディジタルプロセス回路８の所定メモリ領域に格納すると、まずスミア検出部８−１において、ＶＯＢの出力を用いてスミア除去基準信号を算出する。すなわち、複数ライン（ここでは仮に12ラインとする）あるＯＢ画素のデータのうち、同じ水平アドレスを持つ12画素毎の和をとり画素数12で除することで平均値を得る。言い換えれば、このスミア除去基準信号は複数のＶＯＢラインの平均値に相当する、１ライン分の画像信号である。このスミア除去基準信号をＳm(i)とする。但しｉは水平アドレス、後出のｊは垂直アドレスである。このようにして得られたスミア除去基準信号Ｓm(i)を用いて、スミア補正部８−２において有効画素信号に関するスミア補正が行なわれる。
【００２２】
スミア補正処理の内容は概念的に２つに分けて説明できる。第１の処理は、従来公知のものと同様であって、すなわち有効画素部分から読み出された画素信号の各ラインデータからこのスミア除去基準信号を減じたものを補正後の出力とする。言うまでもなく、減算は同じ水平アドレスを持つデータ間で行われる。
【００２３】
この処理概念を数式で示すと、スミア補正部８−２における入力画像信号（すなわち有効画像領域に対応する撮像素子出力のディジタル値）をＳig(i,j) 、スミア成分を減じた段階の中間データ（概念上のものであり、処理上の実在は問わない）をＳdif(i,j)とすると、次式（１）のように表される。
Ｓdif(i,j)＝Ｓig(i,j）−Ｓm(i) ・・・・・・・・・・（１）
【００２４】
この段階では撮像信号の被写体成分が抜き出されてはいるものの、上記従来例のすなわち図２の（Ｂ）に相当する特性であり、画像が暗くなってしまう。本実施の形態のスミア補正は、最終的には更に定数を乗じる補正（これをゲイン補正と称する）を伴うものである。補正後の出力をＳout(i,j)とすると、次式（２）で表される。

ただし、上記（２）式の分子分母の各Sat は、この実施の形態の場合数値的には等しいが、概念的には分子のそれは最大出力レベル（出力信号の飽和レベル）に、分母のそれは最大入力レベル（撮像信号の飽和レベル）に対応するものである。
【００２５】
また、Ｓm はＳm(i)の１画面代表値である。すなわち、上述のようにスミアは必ずしも充分均一ではないので、一般的には水平アドレスによって異なる値を持つ。しかし、画像のゲインは当然１画面については同一の値である必要があるため、ゲイン項はｉ，ｊに関する定数でなければならない。具体的には、本実施の形態ではＳm(i)の１画面最大値、Ｓm ＝Max[i]｛Ｓm(i)｝を採用している。すなわち飽和による最大レベルの低下の影響をもっとも受けるのは、スミア発生レベルが最大の画素列であり、この画素列において最大出力レベルがちょうどＳat（出力信号の飽和レベル）に等しくなるように、被写体成分に対する実効的なゲインを調節するものである。このとき、スミア発生レベルが上記Ｓm （＝Max[i]｛Ｓm(i)｝）に満たない画素列では、本来被写体情報を反映している「レベルがＳat−Ｓm を超えた領域の信号成分」がクリップされてしまうことになるが、これによって「１画面内のどの画素でも（被写体輝度に関して）等しい飽和レベルを持つ」という条件（この条件が充たされないと、画素による飽和レベルの違いが生じ、擬似信号発生の原因になる）が充たされるものであり、且つその条件内では最小のゲイン（ゲインが大きいとＳＮ比が劣化する）であるから、より高画質を求める場合には止むを得ない選択となっている。
【００２６】
このときのスミア補正処理の特性を図３に示す。ただし、図３の各軸や記号等の定義は図２と同じであり、また簡略化のためスミアが一様な場合（すなわちＳm(i)＝const ＝Ｓm の場合）を示すものである。図３より判るように、入力信号から被写体成分だけを抜き出した後、この被写体成分に対する実効的なゲインアップを行なったのと等価な特性となっている。
【００２７】
さて、このようなスミア補正を行なった場合、ゲイン補正によって画面は明るくなるが、これだけでは被写体輝度域に着目した場合に、再現域は改善されていない。すなわち、スミアによって狭くなった撮像レンジは狭いままで改善されていない。この原因は、ゲインを上げたにも係らず露出はゲインを上げる以前の撮像系に対して適正となるようになされたものであるから、露出オーバー状態を来たしているためである。本実施の形態のカメラは、この露出オーバー状態を生じないように適正露光を得るべく、露出を補正する露出補正部12−１をシステムコントローラ12内に更に有している。具体的には、システムコントローラ12は、一旦上記説明に従ったスミア低減撮像による試行露出を行ない、その後露出を変更して本露光を行なうものである。すなわち試行露出の結果、上記ゲイン項が求まる。試行露出の時の露光時間がＴtry であったとするとき、本露光の露光時間Ｔexp は次式（３）に示すように、ゲイン項の逆数を乗ずることによって決定される。
Ｔexp ＝Ｔtry ×（Ｓat−Ｓm ）／Sat ・・・・・・・（３）
ただし、これは試行時の露出が理想的に行われたときの変更条件であって、必要に応じてその他の情報による露出の補正を伴ってもよいことは勿論である。また、始めから上記試行露出を繰り返し実行しつつスミア補正後の出力信号のレベルにのみ着目することで、本露光時の露出を決定してもよい。
【００２８】
このように構成した本実施の形態に係るカメラによれば、極めて高速なシャッタを用いた場合も含めて全ての場合に、スミアの影響が除去されて且つ撮像レンジが充分確保された高画質な撮像を行なうことができる。
【００２９】
なお、上記実施の形態の他にも様々な実施の形態が考えられる。例えば、上記スミア補正に伴う被写体成分に対する可変ゲインの設定は、事情に合わせて上記実施の形態とは異なる任意の値にしてもよい。上記実施の形態における設定は、既に述べたとおり「１画面内のどの画素でも（被写体輝度に関して）等しい飽和レベルを持つ」という条件を充たす値の中で最小のゲインになっており、上記条件により「飽和に起因する擬似信号の発生を生じない」ようにしつつ、ゲインアップに伴うＳＮ比劣化を最小にとどめるように意図したものであるから、一つの最良設定例と言えるが、これによればゲイン値は任意の値をとるから演算がやや複雑になり、それに対応して露出制御も複雑化するといった問題も生じ得る。したがって、演算や制御の単純化を優先的に意図して、ＳＮ劣化を若干許容すれば、上記ゲイン項の値を限って「Ｓat／（Ｓat−Ｓm ）の値が２の（ｎ−１）乗倍を超えているときには、ゲイン項を２のｎ乗倍に設定する（ｎは自然数）」といったものも好適な実施の形態の一つとなる。
【００３０】
また逆に若干の飽和に起因する擬似信号の発生を許容して、よりＳＮ比優先の設定を意図すれば、Ｓm として上記Max[i]｛Ｓm(i)｝に代えて、Ｓm(i)の１画面平均値Ave[i]｛Ｓm(i)｝や、１画面最小値Min[i]｛Ｓm(i)｝を採用したものなども、同様に好適な実施の形態となる。このように、Ｓm(i)の１画面代表値Ｓm も任意の方法で算出し得る。
【００３１】
また上記実施の形態における露出の補正は、露光時間を変更することで行なっているが、これを絞りで行なうようにしてもよい。
【００３２】
更に、上記実施の形態のカメラは、スミア補正の効果をより高いものにするために、光拡散素子を用いたスミア低減撮像を行なっているが、言うまでもなくこれは必須ではない。少なくとも上記実施の形態のカメラのようなスミア補正処理を行なえば、スミア低減撮像を採用しない場合においても、従来技術に比して格段の画質向上を図ることができる。
【００３３】
また、本発明は、静止画撮影、動画撮影のいずれに対しても適用することができる。
【００３４】
以上本発明のいくつかの実施の形態を具体的に示したが、本発明はこれらに限られることなく、特許請求の範囲に記載の限りにおいて如何なる態様をも取り得るものであることは言うまでもない。
【００３５】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、スミアレベルに応じて撮像信号の被写体信号成分に対する実効的なゲインを１画面について同一の値とするように構成したので、スミア補正を行ないつつ画面全体が暗くなる不具合を生じさせないようにした撮像装置を実現することができる。また請求項２に係る発明によれば、スミア成分の検出を、撮像素子の出力信号の垂直ブランキング期間に対応する出力に基づいて行なうように構成しているので、均一でないスミア成分を含む撮像に対しても本発明を適用できるという優れた効果が得られる。また請求項３に係る発明によれば、撮像信号の被写体成分に対する実効的なゲインを、スミア補正手段の出力飽和レベル値を、上記撮像信号の飽和レベル値と上記スミア検出手段の検出したスミア成分のレベルの最大値との差で除した値に設定するように構成しているので、飽和に起因する擬似信号の発生を生じないようにしつつゲインアップに伴うＳＮ比劣化を最小にとどめることができるという優れた効果が得られる。また請求項４に係る発明によれば、更に上記実効的なゲインに応じて露出を補正するように構成しているので、スミアを生じない通常の被写体を撮像した場合と同等の撮像特性の高画質な画像が得られるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の実施の形態のディジタルカメラの構成を示すブロック図である。
【図２】従来のスミア補正前後の入出力特性を示す図である。
【図３】図１に示した本発明の実施の形態におけるスミア補正処理後の入出力特性を示す図である。
【符号の説明】
１撮像レンズ
１ａ前玉
１ｂ後玉
２レンズ駆動機構
２ａフォーカスアクチュエータ
２ｂズームアクチュエータ
３可動絞り
４光学フィルタ
５ＣＣＤ撮像素子
６ＣＣＤドライバ
７プリプロセス回路
８ディジタルプロセス回路
８−１スミア検出部
８−２スミア補正部
９メモリカードインターフェース
10 メモリカード
11 ＬＣＤ画像表示系
12 システムコントローラ
12−１露出補正部
13 操作スイッチ系
14 操作表示系
15 絞りアクチュエータ
16 アクチュエータドライバ
17 光拡散素子
18 光拡散素子ドライバ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus having a smear reduction function.
[0002]
[Prior art]
In a solid-state image pickup device using a CCD image pickup device or the like, a phenomenon peculiar to the solid-state image pickup device is a smear phenomenon that occurs when intense light is incident (more precisely, it is a phenomenon that occurs comprehensively by smear and blooming). However, in this specification, the image quality deterioration due to the common use by those skilled in the art is simply called smear). In other words, this smear phenomenon is caused by charges that are not trapped in the original charge accumulation region leaking over the potential barrier and leaking into the vertical transfer path, or diffraction components and multiple reflection components of incident light leak into the vertical transfer path under the light shielding film. In the case of spot light, for example, in the case of spot light, vertical stripes extending up and down are generated. The image quality was significantly impaired. In order to reduce this, a method of performing signal correction is known. Specifically, focusing on the fact that smear occurs at substantially the same level in the vertical direction from the generation principle, light shielding outside the effective pixel region is performed. A method of subtracting the output level of vertical OB (optical black: optical black), which is the accumulated pixel area, as a smear removal reference signal and subtracting this from the pixel output signal of the effective screen is disclosed in, for example, Japanese Patent Laid-Open No. 7-67038. It is known.
[0003]
[Problems to be solved by the invention]
By the way, if the smear correction is simply performed using the above-described conventional technique, the output range of the image sensor used in an actual camera is limited. There was a bug to come. As a specific example, if an smear of a high level (50% of the saturation level of the image sensor) occurs almost uniformly on the entire screen, the smear component is subtracted by smear correction. Although smear is removed, the output signal obtained will be an extremely dark image saturated at 50% of the original subject luminance level.
[0004]
Next, this situation will be described based on (A) and (B) of FIG. 2A and 2B, the horizontal axis represents the AD conversion value of the image sensor output, that is, the input value of the smear correction circuit, and the vertical axis represents the output value of the smear correction circuit. The input value is saturated at either the saturation level of the image sensor itself or the maximum level of AD conversion, but this is not essential, so here the saturation of the output signal of the image sensor is the maximum of AD conversion. Assuming the case of level, it is represented by the symbol Sat. Note that Sat on the vertical axis is numerically the same, but is the maximum value of the output digital value, and conceptually corresponds to the saturation level (maximum output possible value) of the smear correction output. The characteristics shown in FIG. 2A show the case of no correction for reference. However, since there is no signal exceeding the saturation level Sat, the characteristic (B) of FIG. 2 obtained by reducing the smear Sm can be obtained. The characteristic of the output signal of the conventional smear correction shown in (2) reflects the subject luminance from which the smear has been removed, but the maximum level is only Sat-Sm.
[0005]
This problem is particularly noticeable when a high-speed shutter is used. This point will be described in more detail. Although the shutter speed itself does not directly correlate with the smear level, it is assumed that a so-called appropriate exposure is given during general photographing. In other words, even with such a short exposure, the plate surface illuminance can provide a sufficient exposure amount. In this sense, there is a relationship of L = k / T (k is a constant determined by the sensitivity of the image sensor) between the average plate surface illuminance L and the exposure time T. Therefore, since the entire screen is extremely bright with respect to exposure for a very short time, a high level of smear is ubiquitous over the entire screen regardless of the presence or absence of local spot light. Will occur. Then, if the conventional smear correction is applied to such an image, only an image with a dark entire screen can be obtained.
[0006]
The present invention has been made to solve the above problems, and solves the above problems caused by saturation of an image sensor and a system when smear correction is performed, and provides an image pickup apparatus capable of obtaining a good image. The purpose is to do. The purpose of each claim is to provide an imaging device that prevents smear correction while preventing the entire screen from becoming dark. The invention according to claim 2 is to enable the invention according to claim 1 to be applied to imaging including a smear component that is not uniform. An object of the present invention is to provide an imaging apparatus capable of minimizing the SN ratio degradation accompanying gain increase while preventing generation of a pseudo signal due to saturation. A fourth aspect of the present invention is to provide an imaging apparatus capable of obtaining a high-quality image having imaging characteristics equivalent to those obtained when imaging a normal subject that does not cause smear.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, the invention according to claim 1 is directed to an imaging device, a smear detection unit that detects a smear component superimposed on an imaging signal that is an output signal of the imaging device, and detection of the smear detection unit. and a smear correction means for correcting the image signal based on the smear ingredients, the smear correction means, the effective gain of one screen for the object component of the image signal in accordance with the level of the detected smear component Are configured to have the same value .
[0008]
In this way, by configuring the smear correction means so that the effective gain for the subject component of the imaging signal is the same value for one screen according to the level of the smear component, the entire screen becomes dark while performing smear correction. It is possible to realize an imaging apparatus that does not cause such inconvenience.
[0009]
According to a second aspect of the present invention, in the imaging apparatus according to the first aspect, the smear component is detected by the smear detection means based on an output corresponding to a vertical blanking period of the imaging signal. It is characterized by being. As described above, by configuring the smear component to be detected based on the output corresponding to the vertical blanking period of the output signal of the image sensor, the imaging apparatus according to claim 1 performs imaging including a non-uniform smear component. It becomes possible to apply to.
[0010]
The invention according to claim 3, in the imaging apparatus according to

claim

1 or 2, before you effective GAIN values, the output saturation level value of the smear correction means, the saturation level value of the image signal It is a result value divided by the difference from the maximum value of the level of the smear component detected by the smear detection means. In this way, by setting an effective gain for the subject component of the imaging signal, it is possible to minimize the degradation of the S / N ratio accompanying gain increase while preventing generation of a pseudo signal due to saturation. Become.
[0011]
According to a fourth aspect of the present invention, in the image pickup apparatus according to any one of the first to third aspects, the image pickup apparatus further includes an exposure correction unit that corrects exposure in the image pickup device in accordance with the gain setting in the smear correction unit. It is characterized by that. In this way, by providing exposure correction means and correcting the exposure according to the effective gain setting, a high-quality image with the same imaging characteristics as when shooting a normal subject that does not cause smear Can be obtained.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments will be described. FIG. 1 is a block diagram showing a digital camera of a main embodiment of an imaging apparatus according to the present invention. Reference numeral 1 denotes an imaging lens consisting of a front lens 1a and a

rear lens

1b, 2 denotes a lens driving mechanism consisting of a focus actuator 2a and a

zoom actuator

2b, 3 denotes a movable diaphragm, 4 denotes an optical filter consisting of a low-pass filter and an infrared cut filter, 5 Is a CCD image pickup device, 6 is a CCD driver, 7 is a preprocess circuit including an AD converter, 8 is a digital process circuit, includes a memory as hardware, and performs all digital process processing. A smear correction unit 8-2 is provided. Reference numeral 9 denotes a memory card interface, 10 denotes a memory card, 11 denotes an LCD image display system, and 12 denotes a system controller including a microcomputer as a main configuration, and includes an exposure correction unit 12-1. 13 is an operation switch system, 14 is an operation display system including a display LCD, 15 is an aperture actuator, 16 is an actuator driver, 17 is a light diffusing element, and 18 is a light diffusing element driver.
[0013]
In the digital camera of the present embodiment, in order to enhance the smear correction effect, it is possible to perform smear reduction imaging that reduces local smear generation. A light diffusing element 17 having a structure in which polymer dispersion type (polymer network type) liquid crystal is enclosed in a plate-like cell of optical glass with a transparent electrode is provided in the vicinity of the movable diaphragm 3 inside the imaging lens 1 as shown in FIG. It has been.
[0014]
Next, the light diffusing element 17 will be described in detail. The light diffusing element 17 includes a parallel plate glass having a thickness of 0.9 mm as a whole obtained by bonding two optical glasses, and the bonded portion has a flat liquid crystal sealing portion having a thickness of 10 μm. A transparent resin in which liquid crystal is dispersed is encapsulated in the encapsulating portion to form an active portion as an element. The connection line drawn from the transparent electrode is connected to the light diffusing element driver 18 and is driven by a known AC drive with a predetermined voltage.
[0015]
It should be noted that how to assign the diffusion state and the non-diffusion (through) state to the time of voltage application and non-application (0 voltage application in the present embodiment for discharging residual charges) is arbitrarily arbitrary. Implemented in order to obtain effects such as making the viewfinder visible even when the camera is turned off, or eliminating the need to consume power when smear reduction imaging is not required when combined with an optical viewfinder In this embodiment, non-diffusion is performed particularly when no voltage is applied, and once the zero voltage is applied and residual charges are discharged, the through state is maintained even if the power supply to the driver is stopped. ing. For this purpose, it is needless to say that the effective refractive index of the liquid crystal corresponding to the medium and the resin corresponding to the medium are equal when no voltage is applied.
[0016]
Subsequently, description will be made regarding the control of the smear reduction imaging. In the digital camera of the present embodiment, the system controller 12 performs all the control in an integrated manner, and controls the movable diaphragm 3 and the drive (electronic shutter) of the CCD image sensor 5 by the CCD driver 6 to perform exposure. (Charge accumulation) and signal reading out, storing them in the digital process circuit 8 via the pre-process circuit 7, performing all necessary various signal processing in this digital process circuit 8, and then the memory card It is recorded in 10. Note that the various signal processing includes smear correction processing which is a main part of the present invention described later. In addition, smear reduction imaging can be performed by driving the light diffusing element driver 18 in accordance with the timing of exposure and signal readout and changing the diffusion characteristics of the light diffusing element 17.
[0017]
That is, while the photoelectric conversion charge of the subject image to be photographed is being accumulated, the light diffusing element 17 remains in a non-diffusing (through) state, and a transfer pulse TG to the CCD transfer path (vertical shift register) is output. At the same time, voltage application is started to make the diffusion state. However, it takes a considerable time from the start of driving until the light diffusing element 17 shifts to a sufficiently diffuse state. This transition time is usually about several ms to several hundred ms although it depends on the material of the element, the applied voltage, and the driving frequency. It also greatly depends on the thickness of the element (active part). In this embodiment, since the thickness is as thin as 10 μm, the transition time is as fast as 10 ms or less. Correspondingly, the readout of the imaging signal (signal charge CCD transfer) is 10 ms after the output of the transfer pulse TG. Start from the moment. Then, after the signal readout is completed, the voltage application to the light diffusing element 17 is quickly transferred to the pass-through state in a timely manner to prepare for the next photographing and eliminate unnecessary driving power. Thereafter, energization to the light diffusing element driver 18 may be stopped.
[0018]
At this time, if the transition time is a different value, the read start time may be set in accordance with this. At this time, reading may be started with further delay, but in this embodiment, unnecessary delay is not performed in order to avoid an increase in dark current noise associated therewith.
[0019]
If the above smear reduction imaging is performed, the local smear due to the spot light of the subject is considerably reduced because the image is diffused at the time of signal readout. However, ubiquitous smear occurs when using a high-speed shutter (short-time exposure), and due to the demand for responsiveness as described above, a diffusive element cannot be secured sufficiently because a thin diffusion element is used, or Due to a decrease in the amount of light around the lens, the generated smear may not be completely uniform. Therefore, in order to remove the smear component still superimposed on the image sensor output even by the above-described smear reduction imaging, the camera of the present embodiment has a smear correction unit, and the smear correction unit The smear correction works in a complementary manner to the smear reduction imaging.
[0020]
Next, the smear correction will be described in detail. The smear correction processing method used in the present embodiment is “the smear component detected by the smear detection means for detecting the smear component of the image sensor based on the output corresponding to the vertical blanking period of the output signal of the image sensor” The effective image signal that is the image sensor output during the effective signal output period is corrected based on the above-mentioned, specifically, the smear removal reference signal calculated from the output of the VOB (vertical optical black detection pixel) This is a method of subtracting from the effective image signal.
[0021]
That is, when an imaging output signal corresponding to one screen obtained by the smear reduction imaging is stored in a predetermined memory area of the digital process circuit 8, first, the smear detection unit 8-1 uses the output of the VOB to remove the smear removal reference signal. Is calculated. That is, the average value is obtained by taking the sum of every 12 pixels having the same horizontal address from the data of OB pixels having a plurality of lines (here, 12 lines are assumed) and dividing the sum by 12 pixels. In other words, this smear removal reference signal is an image signal for one line corresponding to the average value of a plurality of VOB lines. Let this smear removal reference signal be Sm (i). However, i is a horizontal address and j mentioned later is a vertical address. Using the smear removal reference signal Sm (i) thus obtained, the smear correction unit 8-2 performs smear correction on the effective pixel signal.
[0022]
The contents of the smear correction process can be conceptually divided into two. The first processing is the same as that conventionally known. That is, the output obtained after correction is obtained by subtracting the smear removal reference signal from each line data of the pixel signal read from the effective pixel portion. Needless to say, the subtraction is performed between data having the same horizontal address.
[0023]
When this processing concept is expressed by a mathematical expression, the input image signal (that is, the digital value of the image sensor output corresponding to the effective image area) in the smear correction unit 8-2 is Sig (i, j), and the middle of the stage where the smear component is subtracted. If the data (conceptual, regardless of actual processing) is Sdif (i, j), it is expressed as the following equation (1).
Sdif (i, j) = Sig (i, j) −Sm (i) (1)
[0024]
At this stage, the subject component of the image signal is extracted, but the characteristic corresponds to that of the conventional example, that is, FIG. 2B, and the image becomes dark. The smear correction according to the present embodiment is finally accompanied by a correction (referred to as gain correction) by further multiplying by a constant. When the corrected output is Sout (i, j), it is expressed by the following equation (2).

However, each Sat of the numerator denominator of the above equation (2) is numerically equal in this embodiment, but conceptually, that of the numerator is the maximum output level (saturation level of the output signal), and that of the denominator is This corresponds to the maximum input level (the saturation level of the imaging signal).
[0025]
Sm is a one-screen representative value of Sm (i). That is, as described above, the smear is not necessarily uniform enough, and therefore generally has a different value depending on the horizontal address. However, since the gain of the image naturally needs to be the same value for one screen, the gain term must be a constant related to i and j. Specifically, in this embodiment, the maximum value of one screen of Sm (i), Sm = Max [i] {Sm (i)}, is adopted. In other words, the pixel line with the highest smear generation level is most affected by the decrease in the maximum level due to saturation, and the subject is set so that the maximum output level is exactly equal to Sat (saturation level of the output signal) in this pixel line. It adjusts the effective gain for the component. At this time, in the pixel row where the smear occurrence level is less than the above Sm (= Max [i] {Sm (i)}), “the signal component of the region where the level exceeds Sat−Sm, which originally reflects the subject information. ”Will be clipped, but this causes the condition that“ every pixel in one screen has the same saturation level (in terms of subject brightness) ”(if this condition is not satisfied, the difference in saturation level by pixel will be And causes a pseudo signal to be generated), and the minimum gain within that condition (the signal-to-noise ratio deteriorates when the gain is large). It is a choice that you cannot get.
[0026]
The characteristics of the smear correction process at this time are shown in FIG. However, the definition of each axis, symbol, etc. in FIG. 3 is the same as that in FIG. 2, and for simplification, the smear is uniform (ie, Sm (i) = const = Sm). As can be seen from FIG. 3, after extracting only the subject component from the input signal, the characteristic is equivalent to performing an effective gain increase for the subject component.
[0027]
When such smear correction is performed, the screen is brightened by gain correction. However, when the focus is on the subject luminance range, the reproduction range is not improved. That is, the imaging range narrowed by smear remains narrow and is not improved. This is because, although the gain is increased, the exposure is appropriate for the imaging system before the gain is increased, and the overexposure state has been reached. The camera according to the present embodiment further includes an exposure correction unit 12-1 for correcting exposure in the system controller 12 in order to obtain appropriate exposure so as not to cause this overexposure state. Specifically, the system controller 12 performs trial exposure by smear reduction imaging according to the above description, and then performs exposure by changing the exposure. That is, the gain term is obtained as a result of the trial exposure. Assuming that the exposure time at the trial exposure is Ttry, the exposure time Texp of the main exposure is determined by multiplying the reciprocal of the gain term as shown in the following equation (3).
Texp = Ttry × (Sat−Sm) / Sat (3)
However, this is a change condition when exposure at the time of trial is ideally performed, and it is needless to say that exposure correction by other information may be accompanied if necessary. Further, the exposure at the main exposure may be determined by focusing on only the level of the output signal after the smear correction while repeatedly performing the trial exposure from the beginning.
[0028]
According to the camera according to the present embodiment configured as described above, in all cases including the case of using an extremely high-speed shutter, the high-quality image in which the influence of smear is removed and the imaging range is sufficiently secured is obtained. Imaging can be performed.
[0029]
In addition to the above-described embodiments, various embodiments can be considered. For example, the variable gain setting for the subject component associated with the smear correction may be an arbitrary value different from that of the above embodiment according to circumstances. As described above, the setting in the above embodiment is the minimum gain among the values satisfying the condition that “every pixel in one screen has the same saturation level (with respect to the subject brightness)”. Although it is intended to minimize the S / N ratio degradation accompanying gain increase while avoiding the generation of a pseudo signal due to saturation, it can be said to be one best setting example. Since the gain value is an arbitrary value, the calculation is slightly complicated, and there is a problem that the exposure control is complicated accordingly. Therefore, if the calculation and control are preferentially intended and SN degradation is allowed to some extent, the value of the gain term is limited and the value of “Sat / (Sat−Sm) is 2 (n−1). When the multiplication factor is exceeded, the gain term is set to 2 to the nth multiplication factor (n is a natural number), which is one of the preferred embodiments.
[0030]
Conversely, if the generation of a pseudo signal due to a slight saturation is allowed and the setting of the S / N ratio priority is intended, Sm (i) is replaced with Sm (i) instead of Max [i] {Sm (i)}. A one-screen average value Ave [i] {Sm (i)} and a one-screen minimum value Min [i] {Sm (i)} are similarly used as preferred embodiments. Thus, the one-screen representative value Sm of Sm (i) can also be calculated by an arbitrary method.
[0031]
Further, although the exposure correction in the above embodiment is performed by changing the exposure time, this may be performed by the diaphragm.
[0032]
Further, the camera of the above embodiment performs smear reduction imaging using a light diffusing element in order to enhance the effect of smear correction, but it is needless to say that this is not essential. If smear correction processing is performed at least as in the camera of the above-described embodiment, even when smear-reduced imaging is not employed, image quality can be significantly improved as compared with the prior art.
[0033]
Further, the present invention can be applied to both still image shooting and moving image shooting.
[0034]
Although several embodiments of the present invention have been specifically shown above, it is needless to say that the present invention is not limited to these and can take any form as long as it is described in the claims. .
[0035]
【The invention's effect】
As described above based on the embodiments, according to the first aspect of the present invention, the effective gain for the subject signal component of the imaging signal is set to the same value for one screen according to the smear level. Therefore, it is possible to realize an imaging apparatus that does not cause a problem that the entire screen becomes dark while performing smear correction. According to the second aspect of the present invention, since the smear component is detected based on the output corresponding to the vertical blanking period of the output signal of the image sensor, imaging including a non-uniform smear component is performed. Also, an excellent effect that the present invention can be applied is obtained. According to the third aspect of the present invention, the effective gain for the subject component of the imaging signal, the output saturation level value of the smear correction means, the saturation level value of the imaging signal, and the smear component detected by the smear detection means. Since it is configured to be set to a value divided by the difference from the maximum value of the level of the signal, it is possible to minimize the SN ratio degradation accompanying gain increase while preventing generation of a pseudo signal due to saturation. An excellent effect that it can be obtained. Further, according to the invention according to claim 4, since the exposure is corrected according to the effective gain, the imaging characteristics are as high as when a normal subject that does not cause smear is imaged. An excellent effect that an image with high image quality can be obtained is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera according to an embodiment of an imaging apparatus according to the present invention.
FIG. 2 is a diagram showing input / output characteristics before and after conventional smear correction.
3 is a diagram showing input / output characteristics after smear correction processing in the embodiment of the present invention shown in FIG. 1; FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Imaging lens 1a Front ball 1b Rear ball 2 Lens drive mechanism

2a Focus actuator

2b Zoom actuator 3 Movable diaphragm 4 Optical filter 5 CCD image sensor 6 CCD driver 7 Preprocess circuit 8 Digital process circuit 8-1 Smear detection part 8-2 Smear Correction unit 9 Memory card interface
10 Memory card
11 LCD image display system
12 System controller
12-1 Exposure compensation
13 Operation switch system
14 Operation display system
15 Aperture actuator
16 Actuator driver
17 Light diffusing element
18 Light diffusing element driver

Claims

An image sensor, a smear detection unit that detects a smear component superimposed on an image signal that is an output signal of the image sensor, and a smear correction unit that corrects the image signal based on the smear component detected by the smear detection unit And the smear correction means is configured to set the effective gain for the subject component of the imaging signal to the same value for one screen in accordance with the level of the detected smear component. An imaging device.

2. The imaging apparatus according to claim 1, wherein the smear detection unit detects the smear component based on an output corresponding to a vertical blanking period of the imaging signal.

Value before you effective GAIN is the output saturation level value of the smear correction means, divided by the difference between the maximum value of the level of the detected smear component of the saturation level value and said smear detection means of the image pickup signal The imaging apparatus according to claim 1, wherein the imaging apparatus is a result value.

The imaging apparatus according to claim 1, further comprising an exposure correction unit that corrects an exposure in the imaging element in accordance with the gain setting in the smear correction unit.