JP3618645B2

JP3618645B2 - 撮像装置及びその劣化画素信号補正方法

Info

Publication number: JP3618645B2
Application number: JP2000230259A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-08-02
Filing date: 2000-07-31
Publication date: 2005-02-09
Anticipated expiration: 2020-07-31
Also published as: JP2001111899A

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置、特に擬似信号補正機能を有する撮像装置、及びその劣化画素信号補正方法に関する。
【０００２】
【従来の技術】
ＣＣＤ撮像素子を使用した固体撮像装置においては、ＣＣＤ撮像素子特有の現象として、強烈な光が入射したときに発生するスミア現象による画質劣化が問題となっている。すなわち、この現象は、本来の電荷蓄積領域に捕捉されなかった電荷が、ポテンシャル障壁を乗り越えて垂直転送路に漏れ込むことによるものである。通常の定常的な光に起因する場合は、この現象が垂直転送期間にわたって発生するため、例えばスポット光の場合は、その上下に伸びる縦筋になり、例えば空を含む景観のような高輝度部が水平方向に広がっている被写体の場合は、画面全体がフレアがかった白けた画像が得られる。
【０００３】
これを補正する方法としては、スミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外の遮光された蓄積画素領域である垂直ＯＢ（オプティカルブラック：光学的黒）画素の出力レベルをスミア除去基準信号とし、これを有効画面の画素出力信号から減じる方法が、例えば特開平７−６７０３８号公報に開示されていて公知である。
【０００４】
【発明が解決しようとする課題】
ところで、上記従来の技術を用いて単純にスミア補正を採用したとすると、現実のカメラに使用される撮像素子の出力レンジは限られているため、スミア成分が大きい場合は、補正によって却って画質劣化を来す不具合があった。これを具体例を挙げて説明すると、強いスポット光に起因する縦筋状のスミアが、撮像素子の飽和レベルに達するレベル（ 100％）で発生している状態を考えると、スミアがない部分の撮像素子出力信号はスミア補正後もそのまま出力されるが、スミア部分では撮像素子飽和のため素子出力は 100％にとどまるから、スミア補正後の出力（素子出力−スミア成分）は０となってしまう。したがって、縦の黒筋が発生することになる。あるいは、このときスポット光部分自体を被写体として見れば、この部分もやはり出力０となってしまう。
【０００５】
このような縦に伸びる黒筋や、非常に高輝度の筈の被写体が黒つぶれしてしまうという現象は、極めて不自然な奇異な画像を生じるものである。たとえスミアレベルが小さい通常の被写体において従来よりも高画質な撮像が可能になるとしても、種々の被写体シーンを対象とする撮像装置としては許容し難い画質劣化（破綻した画像）を生じるものであり、したがって上記従来のスミア補正方法は、採用が困難であるという問題点を有していた。
【０００６】
すなわち、スミアが飽和レベル付近に達している場合は、被写体の輝度情報をほとんど得ることができないから、従来の補正は無意味であるか、むしろ新たな偽信号を生じるだけであり、却って百害あって一利なしというべき状態になるものであった。あるいは、少なくとも不自然でない画質を得ることは困難であった。
【０００７】
本発明は、従来のスミア補正方法における上記問題点を解決するためになされたもので、少なくとも破綻を来たすような不自然な画質劣化を生じないようにすると共に、スミアに起因して被写体の輝度情報を全く得ることができない部分に関しても、従来よりも実質的な画質の向上をはかった効果的なスミア補正が可能な撮像装置及びその劣化画素信号補正方法を提供することを目的とする。
【０００８】
また本発明は、スミア成分のレベルに基づいて判定を行い、信号の飽和などに起因する従来のスミア補正では対応不可能な劣化画素に対してデータの補償を適用することが可能な撮像装置及びその劣化画素信号補正方法を提供することを目的とする。また本発明は、スミア成分のレベルと有効信号画素の出力レベルを共に考慮したより高度の判定を行い、信号の飽和などに起因する従来の補正では対応不可能な画素に対してデータの補償を適用することが可能な撮像装置及びその劣化画素信号補正方法を提供することを目的とする。また本発明は、無制限に補償を行うことに伴う不自然な画像の生成のおそれのない撮像装置及びその劣化画素信号補正方法を提供することを目的とする。また本発明は、白筋に代表される原理的に避け得ない不自然な目立つ偽信号が低減あるいは除去された画像を得ることができる撮像装置及びその劣化画素信号補正方法を提供することを目的とする。また本発明は、スミアが軽減され且つ不自然な目立つ偽信号が低減あるいは除去された総合的に高画質な画像を得ることができる撮像装置及びその劣化画素信号補正方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、垂直ブランキング期間中に撮像素子の遮光画素列から出力される信号に基づいて、該撮像素子の有効画素に発生したスミアレベルを検出するスミアレベル検出手段と、該スミアレベル検出手段で検出されたスミアレベルが所定値を超える場合、これに対応する有効画素を出力劣化画素と判定する劣化画素判定手段と、該劣化画素判定手段で出力劣化画素と判定された画素からの信号が所定の飽和レベルに達しているとき、この劣化画素について所定の補償条件を満足するか否かを判定する補償条件判定手段と、該補償条件判定手段により補償条件を満たすと判定された劣化画素からの信号を、当該劣化画素近隣の非劣化画素信号によって置き換える劣化画素補正手段とを備え、前記劣化画素補正手段は、少なくとも出力劣化画素と判定されなかった非劣化画素、及び、前記補償条件を満足しないと判定された劣化画素からの信号に対しては、該信号のレベルから検出スミアレベルを差し引くと共に、飽和レベルと検出スミアレベルとに基づく係数を乗じて出力レベルを補正するようにして撮像装置を構成するものである。
【００１０】
このように構成された撮像装置においては、スミアレベル検出手段と劣化画素判定手段とを備え、検出されたスミアレベルが所定値を超える場合に、これに対応する有効画素を出力劣化画素と判定するようになっているので、信号の飽和などに起因する従来の補正では対応不可能な画素に対してデータの補償を適用することが可能になり、またこの際の判定をスミアレベルのみで行うことができる。また、出力劣化画素について所定の補償条件を満たすか否かを判定する補償条件判定手段を備えているので、無制限に補償を行うことに伴う不自然な画像の生成のおそれを防止することができる。また、前記のような構成の劣化画素補正手段を備えているので、所定条件を満たすと判定された劣化画素については、近隣の非劣化画素信号に基づいてデータ補償が行われ、白筋に代表される原理的に避け得ない不自然な目立つ偽信号が低減あるいは除去された画像が得られる。また少なくとも出力劣化画素と判定されなかった非劣化画素、及び、前記補償条件を満足しないと判定された劣化画素からの信号に対しては、該信号のレベルから検出スミアレベルを差し引くと共に、飽和レベルと検出スミアレベルとに基づく係数を乗じて出力レベルを補正するようにしているので、スミアレベルを考慮した、スミアが軽減され且つ不自然な目立つ偽信号が低減あるいは除去された、より高画質な画像を得ることができる。
【００１１】
上記請求項１に係る撮像装置においては、請求項２に記載のように、前記スミアレベル検出手段によって検出される撮像素子のスミアレベルは、同一水平アドレスの遮光画素列からの信号レベルの総和を該同一遮光画素列内の総画素数で除したもので形成するのが好ましい。また上記請求項１又は２に係る撮像装置においては、請求項３に記載のように、前記所定の補償条件は、当該劣化画素列を中央とする近隣画素列４列のうちに、少なくとも１列の非劣化画素列を含むという条件とするのが好ましい。
【００１２】
請求項４に係る発明は、垂直ブランキング期間中に撮像素子の遮光画素列から出力される信号に基づいて、該撮像素子の有効画素に発生したスミアレベルを検出するステップと、該スミアレベル検出ステップで検出されたスミアレベルが所定値を超える場合、これに対応する有効画素を出力劣化画素と判定するステップと、該劣化画素判定ステップで出力劣化画素と判定された画素からの信号が所定の飽和レベルに達しているとき、この劣化画素について所定の補償条件を満足するか否かを判定するステップと、該補償条件判定ステップにおいて補償条件を満たすと判定された劣化画素からの信号を、当該劣化画素近隣の非劣化画素信号によって置き換える劣化画素補正ステップの各ステップを含み、前記劣化画素補正ステップは、少なくとも出力劣化画素と判定されなかった非劣化画素、及び、前記補償条件を満足しないと判定された劣化画素からの信号に対しては、該信号のレベルから検出スミアレベルを差し引くと共に、飽和レベルと検出スミアレベルとに基づく係数を乗じて出力レベルを補正するステップを含んで撮像装置の劣化画素信号補正方法を構成するものである。
【００１３】
このように構成した撮像装置の劣化画素信号補正方法においては、スミアレベル検出ステップと劣化画素判定ステップとを有し、検出されたスミアレベルが所定値を超える場合に、これに対応する有効画素を出力劣化画素と判定するようになっているので、信号の飽和などに起因する従来の補正では対応不可能な画素に対してデータの補償を適用することが可能になり、またこの際の判定をスミアレベルのみで行うことができる。また、出力劣化画素について所定の補償条件を満たすか否かを判定する補償条件判定ステップを有しているので、無制限に補償を行うことに伴う不自然な画像の生成のおそれを防止することができる。また、上記構成の劣化画素補正ステップを有しているので、所定条件を満たすと判定された劣化画素については、近隣の非劣化画素信号に基づいてデータ補償が行われ、白筋に代表される原理的に避け得ない不自然な目立つ偽信号が低減あるいは除去された画像が得られる。また少なくとも出力劣化画素と判定されなかった非劣化画素、及び、前記補償条件を満足しないと判定された劣化画素からの信号に対しては、該信号のレベルから検出スミアレベルを差し引くと共に、飽和レベルと検出スミアレベルとに基づく係数を乗じて出力レベルを補正するようにしているので、スミアレベルを考慮した、スミアが軽減され且つ不自然な目立つ偽信号が低減あるいは除去された、より高画質な画像を得ることができる。
【００１４】
上記請求項４に係る撮像装置の劣化画素信号補正方法においては、請求項５に記載のように、前記スミアレベル検出ステップで検出される撮像素子のスミアレベルは、同一水平アドレスの遮光画素列からの信号レベルの総和を該同一遮光画素列内の総画素数で除したものとするのが好ましい。また上記請求項４又は５に係る撮像装置の劣化画素信号補正方法においては、請求項６に記載のように、前記所定の所定の補償条件は、当該劣化画素列を中央とする近隣画素列４列のうちに、少なくとも１列の非劣化画素列を含むという条件とするのが好ましい。
【００１５】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の第１の実施の形態のディジタルビデオカメラを示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄコンバータを含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９は記録部（ＶＴＲブロック）、10はビデオテープ、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラ、13は操作スイッチ系、14は表示用ＬＣＤを含む操作表示系、15はレンズドライバ、16は露出制御ドライバ、17はＥＥＰＲＯＭである。
【００１６】
このように構成されているディジタルビデオカメラにおいては、システムコントローラ12が全ての制御を統括的に行なっており、虹彩絞り（アイリス）である露出制御機構３と、ＣＣＤドライバ６によるＣＣＤ撮像素子５の駆動を制御して、所定の動画レートで露光（電荷蓄積）及び信号の読み出しを行ない、それをプリプロセス回路７を介してディジタルプロセス回路８に一旦格納し、この中で所定の各種信号処理を施した後に記録部９に送出して、ビデオテープ10に記録するものである。
【００１７】
そして、上記各種信号処理を施すディジタルプロセス回路８には、本発明の要部であるところの、垂直ＯＢ画素の出力レベル情報を用いたスミア補正処理が含まれている。すなわち、ディジタルプロセス回路８には垂直ＯＢ画素の出力レベルを検出するスミアレベル検出部８−１，該スミアレベル検出部８−１の検出出力等に基づいて出力劣化画素を判定する出力劣化画素判定部８−２，出力劣化画素について所定の補償条件を満たすか否かを判定する補償条件判定部８−３，補償条件を満たすと判定された劣化画素のデータ補償を行うデータ補償部８−４並びにスミア補正部８−５を備えている（なお、これらの各部８−１〜８−５は、現実の演算処理においては必ずしも明確に分離されていないこともあるが、説明の便宜と概念を明確化のために分けて示すものである）。勿論これら全ての処理は、上記所定の動画レートでの記録を行なうに足る速度で行われる、いわゆるリアルタイム処理である。
【００１８】
次に、本発明のスミア補正に直接関わる処理を中心にシステムコントローラ12によるカメラ制御について説明を行なう。まず、上記動作における露光によって生じたＣＣＤ撮像素子５の信号電荷を順次読み出した１画面に対応する撮像出力信号を、ディジタルプロセス回路８の所定メモリ領域に格納すると、まずスミアレベル検出部８−１で垂直ＯＢ画素の出力を用いて、スミア成分を検出してスミア除去基準信号を算出する。算出に当たっては、必要に応じて上記公開公報記載の従来技術と同様に、複数ラインあるＯＢ画素のデータのうち同じ水平アドレスを持つ画素毎の和をとり、その画素数で除することで平均値を得る。上記スミア除去基準信号は１ライン分の画像信号であるが、その１ライン分の画像信号を構成する各１画素信号の値として、上記演算で得られる平均値を用いる。このようにして得られるスミア除去基準信号をＳm(i)とする。但しi は水平アドレス、後出のｊは垂直アドレスである。
【００１９】
そして、出力劣化画素判定部８−２，補償条件判定部８−３，データ補償部８−４及びスミア補正部８−５において、このスミア除去基準信号を用いて有効画像領域の撮像出力信号Ｓig(i,j) に対して補正処理を施す。本発明のスミア補正処理は、このときの撮像出力信号やスミアのレベルに応じて異なる処理を行ない、更にそれでもなお原理的に補正不能なものの中で、所定の補償処理が可能なものについては、近隣画素の情報を用いて補償処理を行なうところに特徴がある。撮像素子（又はその出力を受ける信号処理系）の飽和レベルをＳat、所定の比較レベルをＲ１及びＲ２（０＜Ｒ１＜Ｒ２＜Ｓat）、スミア補正後の出力をＳout(i,j)とすると（当然ながら０≦Ｓm(i)≦Ｓig(i,j) ≦Ｓatである）、本実施の形態における具体的な信号処理は、以下のとおりである。
まず、基本的な信号処理については、次式（１）で示すものとする。
Ｓout(i,j)＝Ｓ１(i,j) ≡｛Ｓig(i,j) −Ｓm(i)｝×Ｓat／｛Ｓat−Ｓm(i)｝・・・・・・・（１）
【００２０】
ここで、この実施の形態のスミア補正信号処理の具体的な意味について解説する。対比される従来の処理を式で表わせば、次式（２）のように表される。
Ｓout(i,j)＝Ｓig(i,j) −Ｓm(i) ・・・・・・・・・・（２）
この従来の処理の場合、上記従来技術の問題点では特に理解し易い問題例を示したが、これを一般化すれば、問題は出力信号のレンジが小さくなること、すなわちスミア補正後の出力信号Ｓout(i,j)の最大値は、スミアレベルの分だけ小さくなって、Ｓat−Ｓm(i)になってしまうということである。
【００２１】
そして、このため極端なケースでは上記黒筋の発生となるが、そうでなくても「飽和が生じたとき、すなわちＳig(i,j) ＝Ｓat」で「スミアが存在する、すなわちＳm(i)＞０」のときは、そのスミアレベルに応じてグレイ〜黒の筋を生じてしまうことになって、無補正の時の白筋に比して、極めて不自然な奇異な画像を生じることになる。これらの態様をグラフで示すと、図２の（Ａ），（Ｂ）のようになる。図２の（Ａ）は無補正の場合の入出力特性を示す図で、図２の（Ｂ）は従来の処理による入出力特性を示している。この図２の（Ｂ）の特性から、本来の信号成分のみが得られてはいるものの最大値が小さくなっているのがわかる。
【００２２】
これに対して、本実施の形態における上記（１）式のＳ１(i,j) は、Ｓig(i,j) ＝Ｓatを代入すれば、出力Ｓout(i,j)＝Ｓatが得られる。この場合、その部分はスミアの影響又は被写体自体の高輝度のため飽和レベルの白出力になってしまうが、少なくとも従来の無補正画像と同等であるから、上記従来のスミア補正のような奇異な画像を生じることはない。
【００２３】
この（１）式のＳ１(i,j) に対応する変換（入出力）特性を図３に示す。図３の特性と図２の（Ｂ）に示した特性とを比較すると、本実施の形態に係る図３の特性は、低輝度になるほど本来の信号成分のみである図２の（Ｂ）に示した特性の値に近づき（信号成分＝０で一致）、高輝度側では無補正の値に近づいている（Ｓig(i,j) ＝Ｓatで一致）ことが判る。スミアの発生レベルが比較的小さい場合は、特に低輝度被写体においてこれが視認されやすいから、（１）式のＳ１(i,j) はスミアの補正効果と上記従来の不具合現象の解消を妥協的にではあるが、効果的に両立させたものになっている。
【００２４】
さて、このようなスミア補正を行なえば、従来のスミア補正方法が有していた欠点は解消されるが、撮像素子出力が飽和してしまった場合は、従来の無補正の場合と同様に白筋等を生じてしまうことは事実で、この場合飽和画素については被写体情報が得られないから、本来原理的に如何ともし難いものである。ここで、本発明においては、このようなスミアによって画素情報が劣化した画素についても、その劣化状態を判定し、更に所定の条件を充たす場合には、その劣化画素を画素欠陥と同様に見做して、近隣画素等を用いた補償処理を行なうことで、実質的な画質（鑑賞上の画質）を更に少しでも向上させるようにしたもので、この点が極めて特徴的である。
【００２５】
具体的には、所定の基準レベルをＲ（≠０）として、以下の（１）〜（４）の劣化判定基準により劣化画素の判定を行なう。
（１）Ｓm(i)＝Ｓatの場合（スミアレベルが飽和に達している場合：この場合必然的にＳig(i,j) ＝Ｓatとなる）
この場合は、スミアの影響によって出力が劣化した画素であるから、劣化画素と判定する。被写体情報はない。
（２）Ｓm(i)＞Ｒ，且つＳig(i,j) ＝Ｓatの場合
この場合は、スミアの影響によって出力が劣化した画素である可能性が高いので、劣化画素と判定する。被写体情報はやはりない。
（３）Ｓm(i)＞Ｒ，且つＳig(i,j) ＜Ｓatの場合
この場合は、スミアは高いレベルで存在するが、被写体情報を有しており、劣化画素ではないと判定する。
（４）Ｓm(i)≦Ｒの場合
この場合は劣化画素ではないと判定する。（飽和画素についても、スミアの影響はあり得るが、被写体自身のレベルが高いことが主因であるとする。）
【００２６】
劣化画素と判定された画素については、続いて所定の補償条件を満たすかどうか判定する補償条件判定を行なう。その条件は、着目画素信号Ｓig(i,j) の左右いずれかの近接画素が劣化画素ではないこととし、具体的には次の条件とする。
［補償条件：ｉ−２、ｉ−１、ｉ＋１、ｉ＋２の各列のうちに少なくとも１列の劣化画素を含まない列（非劣化画素列）が存在すること。すなわち、当該劣化画素列を中央とする近隣画素列４列のうちに、少なくとも１列の非劣化画素列を含むという条件。］
この補償条件を充たす劣化画素に対しては、補償処理を行なうことになるが、それに先立ち全画素について（少なくとも非劣化画素及び補償条件を充たさなかった劣化画素について）、上記（１）式のＳ１(i,j) によるスミア補正を行なう。すなわち補償処理に際しては、この補正後のデータを用いるものである。
【００２７】
次に、補償処理の内容を具体的に示す。
Ｓig(i-1,j) ，Ｓig(i+1,j) のいずれかが非劣化画素である場合は、その非劣化画素の画素情報（いずれも非劣化画素の場合は平均値）を、そうでない場合すなわちＳig(i-1,j) ，Ｓig(i+1,j) がいずれも劣化画素である場合は、Ｓig(i-2,j) 又はＳig(i+2,j) のいずれかの画素情報（いずれも非劣化の場合は平均値）を、当該Ｓig(i,j) の値に充当する。つまり、近隣の非劣化画素信号で置き換えるという補償処理を行う。
【００２８】
すなわち、劣化画素に関しては、少なくとも左右いずれかの近隣２画素以内の非劣化画素の情報（被写体情報を反映した情報）によって代替されるから、例えば従来スミアによって生じていた白筋は、その幅を最大４画素減じることができる。当然４画素幅以内のものであれば、この補償処理によって消えることになる。このような処理を無制限に、例えば非常に多くの画素幅に亙って行なえば、不自然な画像を生じることはもちろんであるが、数画素程度にとどめれば、不自然さはそれほど目立つことはなく、白筋というかなり不自然な目立つ偽信号を低減あるいは除去するという大きな効果を得ることができる。
【００２９】
以上のような補償処理を含むスミア補正処理によって、総合的には、比較的低レベルのスミア発生に対して、従来のスミア補正に比較的近い（スミアが目立ちやすい低輝度被写体部分では、本来の被写体信号により近い出力が得られる）充分な補正効果を有しつつ、従来の補正で生じていた信号飽和に起因する不具合が大幅に軽減されて、特に黒筋などの画質の破綻というべき奇異な不自然な疑似信号が生じることのない補正特性を有し、且つ白筋など原理的に避け得ない不自然な目立つ偽信号を低減あるいは除去した、高画質なスミア補正処理が行なわれる。
【００３０】
以上のように、スミア補正処理を経た出力画像信号Ｓout(i,j)は、適宜各種信号処理を経てビデオテープ10に記録、あるいはＬＣＤ画像表示系11に表示される。記録あるいは表示される画像は、スミアが効果的に補正され不自然な疑似信号が生じない高画質な画像である。
【００３１】
なお、また本実施の形態に係るディジタルビデオカメラは、上記各種信号処理に含んでおり、上記スミア補正における補償処理とは別の、従来公知の画素欠陥補償手段を有しており、有効画素部分に対応する上記スミア補正後の出力信号に対して、上記ＥＥＰＲＯＭ17に格納された欠陥画素アドレスデータに基づいて、この処理がなされる。このときスミア補正を先に行い、欠陥補償を後に行うことには意味がある。これは、次の理由による。すなわち、欠陥補償には通常異なる水平アドレスの出力信号を用いるから、処理順序を単純に入替え欠陥補償を先に行なうと、スミア補正が正しく行われず、新たな偽信号の原因になって好ましくないためである。
【００３２】
なお、上記実施の形態の他にも様々な実施の形態が考えられる。例えば、補償処理に先立って行う（１）式のＳ１(i,j) の補正を、従来公知のスミア補正を含む任意の補正特性とすることができる。この場合採用する補正特性によっては、必ずしも総合的に充分な画質が得られないケースも有り得るが、少なくとも従来改善不可能であった白筋というかなり不自然な目立つ偽信号を低減あるいは除去するという効果が得られることに変わりはなく、もし採用する補正特性が上記実施の形態よりも優れたものであれば、その組合せによって総合画質は更に優れたものとなる。
【００３３】
これとは別に上記説明においては、補償条件及び補償処理を比較的単純な形で記述したが、撮像素子がモノクロであればそのまま適用できる。一方、単板カラー撮像素子の場合は、色コーディングの影響で、上記説明を文字どおりに読むと適用困難な場合がある。しかし、この場合も、例えばその色コーディングに関する色情報を得るための最小単位（色に関する画素と言い得る）に着目して、これを上記実施の形態の１画素に読み替えればよいものである。このようにすることで、本発明はカラー撮像装置にも同様に適用できる。
【００３４】
また、上記実施の形態ではスミア検出のために、いわゆる垂直ＯＢ画素対応の出力を用いているが、これは一例であり、現実に対応する光電変換素子（画素蓄積部）がなくても、垂直ブランキング期間に対応する撮像素子出力を用いてスミアの検出は同様に可能であるから、そのような周知の構成に置き換えてもよいことは明らかである。
【００３５】
更には、上記実施の形態は主として動画を記録対象とするものであったが、信号処理は１フレームの画像のみ（フレーム内処理）で行なっているから、これをそのまま静止画撮影に適用できることは当然である。例えば上記カメラが付加的に有する静止画撮影モードに、あるいは別の静止画撮影を主目的とするディジタルスチルカメラに応用したものは、それぞれ好適な実施の形態となる。無論、上記説明は本発明の適用範囲をフレーム内処理に限る意図では毛頭無く、フレーム間処理に適用することも容易であることは言を待たない。
【００３６】
以上本発明のいくつかの実施の形態を具体的に示したが、本発明はこれらに限られることなく、特許請求の範囲に記載の限りにおいて如何なる態様をも取り得るものであることは言うまでもない。
【００３７】
【発明の効果】
以上上記実施の形態に基づいて説明したように、本発明によれば、スミア補正によりスミアが軽減され、且つ不自然な偽信号が低減あるいは除去された高画質な画像を得ることができる。具体的には、本発明に係る撮像装置及びその劣化画素信号補正方法によれば、スミアレベル検出手段と劣化画素判定手段又はスミアレベル検出ステップと劣化画素判定ステップを備え、検出されたスミアレベルが所定値を超える場合に、これに対応する有効画素を出力劣化画素と判定するようになっているので、信号の飽和などに起因する従来の補正では対応不可能な画素に対してデータの補償を適用することが可能になり、またこの際の判定をスミアレベルのみで行うことができる。また、出力劣化画素について所定の補償条件を満たすか否かを判定する補償条件判定手段又は補償条件判定ステップを備えているので、無制限に補償を行うことに伴う不自然な画像の生成のおそれを防止することができる。また、前記のような構成の劣化画素補正手段あるいは劣化画素補正ステップを備えているので、所定条件を満たすと判定された劣化画素については、近隣の非劣化画素信号に基づいてデータ補償が行われ、白筋に代表される原理的に避け得ない不自然な目立つ偽信号が低減あるいは除去された画像が得られる。また、所定条件を満たさない劣化画素についてはスミアレベルに応じて出力レベルを補正するようにしているので、スミアレベルを考慮した、スミアが軽減され且つ不自然な目立つ偽信号が低減あるいは除去された、より高画質な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の実施の形態のディジタルビデオカメラの構成を示すブロック図である。
【図２】本発明の実施の形態におけるスミア補正に対比するための無補正時の入出力特性及び従来のスミア補正の入出力特性を示す図である。
【図３】図１に示した実施の形態におけるスミア補正の態様を説明するためのスミア補正部の入出力特性を示す図である。
【符号の説明】
１レンズ系
２レンズ駆動機構
３露出制御機構
４フィルタ系
５ＣＣＤ撮像素子
６ＣＣＤドライバ
７プリプロセス回路
８ディジタルプロセス回路
８−１スミアレベル検出部
８−２出力劣化画素判定部
８−３補償条件判定部
８−４データ補償部
８−５スミア補正部
９記録部
10 ビデオテープ
11 ＬＣＤ画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 レンズドライバ
16 露出制御ドライバ
17 ＥＥＰＲＯＭ

Claims

垂直ブランキング期間中に撮像素子の遮光画素列から出力される信号に基づいて、該撮像素子の有効画素に発生したスミアレベルを検出するスミアレベル検出手段と、該スミアレベル検出手段で検出されたスミアレベルが所定値を超える場合、これに対応する有効画素を出力劣化画素と判定する劣化画素判定手段と、該劣化画素判定手段で出力劣化画素と判定された画素からの信号が所定の飽和レベルに達しているとき、この劣化画素について所定の補償条件を満足するか否かを判定する補償条件判定手段と、該補償条件判定手段により補償条件を満たすと判定された劣化画素からの信号を、当該劣化画素近隣の非劣化画素信号によって置き換える劣化画素補正手段とを備え、前記劣化画素補正手段は、少なくとも出力劣化画素と判定されなかった非劣化画素、及び、前記補償条件を満足しないと判定された劣化画素からの信号に対しては、該信号のレベルから検出スミアレベルを差し引くと共に、飽和レベルと検出スミアレベルとに基づく係数を乗じて出力レベルを補正するように構成されていることを特徴とする撮像装置。
前記スミアレベル検出手段によって検出される撮像素子のスミアレベルは、同一水平アドレスの遮光画素列からの信号レベルの総和を該同一遮光画素列内の総画素数で除したものであることを特徴とする請求項１に係る撮像装置。
前記所定の補償条件は、当該劣化画素列を中央とする近隣画素列４列のうちに、少なくとも１列の非劣化画素列を含むという条件であることを特徴とする請求項１又は２に係る撮像装置。
垂直ブランキング期間中に撮像素子の遮光画素列から出力される信号に基づいて、該撮像素子の有効画素に発生したスミアレベルを検出するステップと、該スミアレベル検出ステップで検出されたスミアレベルが所定値を超える場合、これに対応する有効画素を出力劣化画素と判定するステップと、該劣化画素判定ステップで出力劣化画素と判定された画素からの信号が所定の飽和レベルに達しているとき、この劣化画素について所定の補償条件を満足するか否かを判定するステップと、該補償条件判定ステップにおいて補償条件を満たすと判定された劣化画素からの信号を、当該劣化画素近隣の非劣化画素信号によって置き換える劣化画素補正ステップの各ステップを含み、前記劣化画素補正ステップは、少なくとも出力劣化画素と判定されなかった非劣化画素、及び、前記補償条件を満足しないと判定された劣化画素からの信号に対しては、該信号のレベルから検出スミアレベルを差し引くと共に、飽和レベルと検出スミアレベルとに基づく係数を乗じて出力レベルを補正するステップを含んでいることを特徴とする撮像装置の劣化画素信号補正方法。
前記スミアレベル検出ステップで検出される撮像素子のスミアレベルは、同一水平アドレスの遮光画素列からの信号レベルの総和を該同一遮光画素列内の総画素数で除したものであることを特徴とする請求項４に係る撮像装置の劣化画素信号補正方法。
前記所定の補償条件は、当該劣化画素列を中央とする近隣画素列４列のうちに、少なくとも１列の非劣化画素列を含むという条件であることを特徴とする請求項４又は５に係る撮像装置の劣化画素信号補正方法。