JP4339450B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置、特に擬似信号補正機能を有する撮像装置に関する。
【０００２】
【従来の技術】
従来、ＣＣＤ撮像素子を使用した固体撮像装置においては、ＣＣＤ撮像素子特有の現象として、強烈な光が入射したときに発生するスミア現象による画質劣化が問題となっている。すなわち、この現象は本来の電荷蓄積領域に捕捉されなかった電荷がポテンシャル障壁を乗り越えて垂直転送路に漏れ込むことによるものであり、通常の定常的な光に起因する場合は、これが垂直転送期間にわたって発生するため、例えばスポット光の場合はその上下に伸びる縦筋になり、例えば空を含む景観のような高輝度部が水平方向に広がっている被写体の場合は、画面全体がフレアがかった白けた画像が得られる。
【０００３】
この現象を補正する方法としては、スミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外の遮光された蓄積画素領域である垂直ＯＢ（オプティカルブラック：光学的黒）画素の出力レベルをスミア除去基準信号とし、これを有効画面の画素出力信号から減じる方法が、例えば特開平７−６７０３８号公報に開示されていて公知である。
【０００４】
【発明が解決しようとする課題】
ところで、上記従来の技術を用いて単純にスミア補正を行おうとすると、現実のカメラに使用される撮像素子の出力レンジは限られているため、スミア成分が大きい場合は補正によって却って画質劣化を来す不具合があった。これを具体例を挙げて説明すると、強いスポット光に起因する縦筋状のスミアが撮像素子の飽和レベルに達するレベル(100％）で発生している状態を考えた場合、スミアがない部分の撮像素子出力信号はスミア補正後もそのまま出力されるが、スミア部分では撮像素子飽和のため素子出力は 100％にとどまるから、スミア補正後の出力（素子出力−スミア成分）は０となってしまう。したがって、縦の黒筋が発生することになる。あるいは、このときスポット光部分自体を被写体として見れば、この部分もやはり出力０となってしまう。このような縦に伸びる黒筋や、非常に高輝度の筈の被写体が黒つぶれしてしまうという現象は、極めて奇異な画像を生じるものであり、たとえスミアレベルが小さい通常の被写体において従来よりも高画質な撮像が可能になるとしても、種々の被写体シーンを対象とする撮像装置としては許容し難い画質劣化（破綻した画像）を生じるものであり、したがって上記従来のスミア補正方法は、採用が困難であるという問題点を有していた。
【０００５】
本発明は、従来のスミア補正方式における上記問題点を解消するためになされたもので、少なくとも破綻をきたすような不自然な画質劣化を生じない効果的なスミア補正が可能な撮像装置を提供することを目的とする。請求項毎の目的を述べると、次の通りである。
【０００６】
すなわち、請求項１に係る発明は、スミアが軽減され、且つ不自然な疑似信号が生じることのない高画質な画像を得ることが可能な撮像装置を提供することを目的とする。請求項２に係る発明は、画素欠陥補償処理を合わせて行う場合に、スミア補正が正しく行われず新たな偽信号の原因になるという不具合を生じないようにした撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像素子と、垂直ブランキング期間に対応する前記撮像素子の出力に基づいて該撮像素子のスミア成分を検出するスミア検出手段と、該スミア検出手段の検出したスミア成分に基づいて有効信号出力期間の撮像素子の出力である有効画像信号を補正するスミア補正手段とを備え、該スミア補正手段におけるスミア補正処理は、前記有効画像信号のレベルに応じて異なる補正処理をするものであり、その際該スミア補正手段による補正後の出力値が、前記有効画像信号と前記スミア成分の両方のレベルの全域において、前記有効画像信号と前記スミア成分の両方のレベルの変化に関して常に連続的に変化するようにして撮像装置を構成するものである。
【０００８】
このように構成した撮像装置においては、有効画像信号のレベルに応じて異なる補正処理をするようにしているので、信号の飽和などに起因する新たな偽信号の発生を抑止することが可能となり、また補正後の出力値が、有効画像信号とスミア成分の両方のレベルの全域において、有効画像信号とスミア成分の両方のレベルの変化に関して常に連続的に変化するようになされるから、画像信号及びスミア成分の変化に対していわゆる値飛び（不連続）に起因する偽信号の発生を抑止することができる。
【０００９】
請求項２に係る発明は、請求項１に係る撮像装置において、画素欠陥補償手段を更に有してなり、該画素欠陥補償手段による画素欠陥補償処理は、当該画素欠陥補償処理がなされる以前に前記スミア補正手段によってなされた前記スミア補正後の出力信号に対してなされるように構成されていることを特徴とするものである。このように構成することにより、処理順序を単純に入れ替え欠陥補償処理を先に行うと、スミア処理が正しく行われず、新たな偽信号の原因になるという不具合を生じさせないことが可能となる。
【００１０】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の主たる実施の形態のディジタルビデオカメラを示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄコンバータを含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９は記録部（ＶＴＲブロック）、10はビデオテープ、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラ、13は操作スイッチ系、14は表示用ＬＣＤを含む操作表示系、15はレンズドライバ、16は露出制御ドライバ、17はＥＥＰＲＯＭである。
【００１１】
このように構成されているディジタルビデオカメラにおいては、システムコントローラ12が全ての制御を統括的に行なっており、虹彩絞り（アイリス）である露出制御機構３と、ＣＣＤドライバ６によるＣＣＤ撮像素子５の駆動を制御して、所定の動画レートで露光（電荷蓄積）及び信号の読み出しを行ない、それをプリプロセス回路７を介してディジタルプロセス回路８に一旦格納し、この中で所定の各種信号処理を施した後に記録部９に送出して、ビデオテープ10に記録するものである。そして、上記各種信号処理を施すディジタルプロセス回路８には、本発明の要部であるところの、垂直ＯＢ画素の出力レベルを検出するスミア検出部８−１や該垂直ＯＢ画素の出力レベル情報を用いたスミア補正部８−２が含まれている。勿論これら全ての処理は、上記所定の動画レートでの記録を行なうに足る速度で行われる、いわゆるリアルタイム処理である。なお、撮像素子のスミア成分の検出に基づくスミア補正部８−２で行われるスミア補正処理の処理内容の制御は、システムコントローラ12により行われるようになっている。
【００１２】
次に、本発明のスミア検出及びスミア補正に直接かかわる処理を中心にシステムコントローラ12によるカメラ制御について説明を行なう。まず上記動作における露光によって生じたＣＣＤ撮像素子５の信号電荷を順次読み出した１画面に対応する撮像出力信号を、プリプロセス回路７を介してディジタルプロセス回路８の所定メモリ領域に格納すると、まずスミア検出部８−１で垂直ＯＢ画素の出力を用いてスミア成分を検出し、スミア除去基準信号を算出する。算出に当たっては、必要に応じて上記公開公報開示の従来技術と同様に、複数ラインあるＯＢ画素のデータのうち同じ水平アドレスを持つ画素毎の和をとり、その画素数で除することで平均値を得る。上記スミア除去基準信号は１ライン分の画像信号であるが、その１ライン分の画像信号を構成する各１画素信号の値として、上記演算で得られる平均値を用いる。このようにして得られるスミア除去基準信号をＳm(i)とする。但しi は水平アドレス、後出のｊは垂直アドレスである。
【００１３】
そして、スミア補正部８−２において、このスミア除去基準信号を用いて有効画像領域の撮像出力信号Ｓig(i,j) に対して補正処理を施す。本発明のスミア補正処理は、このときの撮像出力信号やスミアのレベルに応じて異なる処理をするところに特徴がある。撮像素子（又はその出力を受ける信号処理系）の飽和レベルをＳat、所定の比較レベルをＲ１及びＲ２（０＜Ｒ１＜Ｒ２＜Ｓat）、スミア補正後の出力をＳout(i,j)とすると（当然ながら０≦Ｓm(i)≦Ｓig(i,j) ≦Ｓatである）、本実施の形態における具体的なスミア補正信号処理は、次の（１）〜（３）に示すケースに対応して行われる。
（１）０≦Ｓm(i)≦Ｒ１の場合
Ｓout(i,j)＝Ｓ１(i,j) ≡｛Ｓig(i,j) −Ｓm(i)｝×Ｓat
／｛Ｓat−Ｓm(i)｝
（２）Ｒ１≦Ｓm(i)≦Ｒ２の場合
Ｓout(i,j)＝Ｓ２(i,j) ≡Ｏfs(i) ＋｛Ｓig(i,j) −Ｓm(i)｝
×｛Ｓat−Ｏfs(i) ｝／｛Ｓat−Ｓm(i)｝
但し、Ｏfs(i) ≡｛Ｓm(i)−Ｒ１｝×Ｒ２／（Ｒ２−Ｒ１）
（３）Ｒ２≦Ｓm(i)≦Ｓatの場合
Ｓout(i,j)＝Ｓig(i,j)
【００１４】
上記（１），（２），（３）のように、Ｓm(i)の値によってケース分けした場合の、スミア補正部８−２の入出力特性を図２の（Ａ）〜（Ｄ）に示す。図２の（Ａ）〜（Ｄ）において横軸は入力Ｓig(i,j) で、縦軸は出力Ｓout(i,j)であり、図２の（Ａ）は（１）のケース、図２の（Ｂ）は（１）と（２）の境界（共通）ケース、図２の（Ｃ）は（２）のケース、図２の（Ｄ）は（２）と（３）の境界（共通）ケースを示している。
【００１５】
ここで、この本実施の形態のスミア補正信号処理の具体的な意味について解説するため、対比される従来の処理方式を示すと、次の（４）項で示す内容となる。
（４）常に、Ｓout(i,j)＝Ｓig(i,j) −Ｓm(i)
【００１６】
上記従来技術の問題点の説明では、特に理解し易い問題点の例を示したが、従来技術の問題点を一般化すれば、問題点は出力信号のレンジが小さくなること、すなわち補正出力Ｓout(i,j)の最大値はスミアレベルの分だけ小さくなって、Ｓat−Ｓm(i)になってしまうということである。そして、このため極端なケースでは上記黒筋の発生となるが、そうでなくても「飽和が生じたとき、すなわちＳig(i,j) ＝Ｓat」で「スミアが存在する、すなわちＳm(i)＞０」のときは、そのスミアレベルに応じて、グレイ〜黒の筋を生じてしまうことになって、無補正の時の白筋に比して極めて不自然な奇異な画像を生じることになる。これらの態様をグラフで示すと図３の（Ａ），（Ｂ）のようになる。図３の（Ａ）は無補正の場合の入出力特性を示す図で、図３の（Ｂ）は、上記（４）項で示したスミア補正の入出力特性を示している。この図３の（Ｂ）の特性から、本来の信号成分のみが得られてはいるものの、最大値が小さくなっているのがわかる。
【００１７】
これに対して、本発明に係る実施の形態においては、スミアレベルＳm(i)の値によって上記（１），（２），（３）の各ケースに分けられるが、いずれのＳout(i,j)を表す式においても、Ｓig(i,j) ＝Ｓatを代入すれば、出力Ｓout(i,j)＝Ｓatが得られる。すなわち「撮像出力信号のレベルが飽和レベルに達していた場合に無補正とするもの」である。この場合、その部分はスミアの影響又は被写体自体の高輝度のため飽和レベルの白出力になってしまうが、少なくとも従来の無補正画像と同等であるから、上記従来のスミア補正のような奇異な画像を生じることはない。
【００１８】
ここで、上記実施の形態とは別に、出力が飽和していない場合にはこれを判定検出して、単純に上記（４）項で示した図３の（Ｂ）の特性の従来のスミア補正を選択し、飽和している場合は図３の（Ａ）に示す特性の無補正を選択することも、一つの変形例として提案し得るが、この方式はその信号処理が判定検出により不連続に切り換えられることに起因する問題点を有している。例えば、面状に分布した被写体とその全体に亙ってスミアが発生（重畳）しているため、撮像出力が飽和レベル近傍に達している状況を考えると、飽和レベルに達した部分の出力は無補正のためＳout(i,j)＝Ｓatとなり、ぎりぎりで飽和レベルに達していない部分は、Ｓig(i,j) −Ｓm(i)≒Ｓat−Ｓm(i)となるため、スミアレベルが大きい場合に、被写体に本来有り得ないレベル差（段差）を生じてしまい擬似信号となってしまう。この変形例として考えられるものの段差問題を解決するための一つの方法としては、１画面中の最大スミア（Max[i]｛Ｓm(i)｝）に着目して、全ての有効画素出力をＳat−Max[i]｛Ｓm(i)｝でクリップしてしまうことが有効であるが、当然撮像レンジが小さくなってしまい、スポット的なスミアを取り除くために画面全体が暗くなるという弊害を生じる。
【００１９】
上記主たる実施の形態は、このようなことが生じないように、Ｓout(i,j)がＳig(i,j) に対しても、またＳm(i)に対しても連続関数となるように構成されており、スミア補正部の最大出力レベルがスミア成分の値によらず等しくなるようにすると同時に、補正の前後において信号の最大レベルが等しく保たれるように構成しているところが極めて特徴的な構成であって、このため上記変形例として考えられるものの有する不具合は生じない。
【００２０】
すなわち、スミア補正処理の各ケース分けに対応する変換特性（入出力特性）を図２の（Ａ）〜（Ｄ）に示したが、（１）のケースの場合は、従来の（４）のケースの処理では出力レンジが不足するのを補うべくスミアレベルに応じた所定の係数を乗じて、入力レベルがＳatのときに出力もＳatに達するような式Ｓ１(i,j) を採用してある。図２の（Ａ）と図３の（Ｂ）を比較すると、図２の（Ａ）｛（１）のケースの場合｝は低輝度になるほど本来の信号成分のみである図２の（Ｂ）の値に近づき（信号成分＝０で一致）、高輝度側では図３の（Ａ）に示す無補正の値に近づいている（Ｓig(i,j) ＝Ｓatで一致）ことが判る。スミアの発生レベルが比較的小さい場合は、特に低輝度被写体においてこれが視認されやすいから、この式Ｓ１(i,j) はスミアの補正効果と上記従来の不具合現象の解消を、妥協的にではあるが効果的に両立させたものになっている。
【００２１】
この式Ｓ１(i,j) の特性のみでは、Ｓm(i)が大きくなってＳatに極めて近くなった場合にグラフがほとんど垂直に立ってしまい、Ｓig(i,j) に対して不連続な（値飛びのある）特性にかなり近づいてしまう。また、このような場合は、そもそも撮像素子の有効なレンジはほとんど残っていない状態であるから、多くの被写体に対してはわざわざ信号補正を施して出力しても無意味なものとなるから、補正の効果よりも弊害の方がより大きい状態と言える。この点を考慮して、この式Ｓ１(i,j) の特性は、Ｓm(i)が所定値以下（≦Ｒ１）である（１）のケースの場合のみにとどめ、Ｓm(i)が大きい（≧Ｒ２）（３）のケースの場合は無補正とし、この２つの場合の間をなめらかに移行するように、対応する（２）のケースの場合に関しては、Ｓm(i)の値がＲ１からＲ２に至るのに対応して０からＲ２に変化するオフセット項Ｏfs(i) を有した式Ｓ２(i,j) を採用するものである。
【００２２】
これによって総合的には、比較的低レベルのスミア発生に対して従来のスミア補正に比較的近い（スミアが目立ちやすい低輝度被写体部分では本来の被写体信号により近い出力が得られる）充分な補正効果を有しつつ、従来の補正で生じていた信号飽和に起因する不具合が大幅に軽減されて、特に画質の破綻というべき奇異な不自然な疑似信号が生じることのない高画質なスミア補正処理が行なわれるものである。
【００２３】
以上のようにしてスミア補正を経た出力画像信号Ｓout(i,j)は、適宜各種信号処理を経てビデオテープ10に記録あるいはＬＣＤ画像表示系11に表示される。記録あるいは表示される画像は、スミアが効果的に補正され不自然な疑似信号が生じない高画質な画像である。
【００２４】
また、本カメラは上記各種信号処理を含むと共に従来公知の画素欠陥補償手段を有しており、有効画素部分に対応する上記スミア補正後の出力信号に対して、上記ＥＥＰＲＯＭ17に格納されている欠陥画素アドレスデータに基づいて、この画素欠陥補償処理が為される。このときスミア補正処理を先に行い、欠陥補償処理を後に行うことには意味がある。これは欠陥補償処理には通常異なる水平アドレスの出力信号を用いるから、処理順序を単純に入替え欠陥補償処理を先に行なうと、スミア補正処理が正しく行われず、新たな偽信号の原因になって好ましくないためである。
【００２５】
なお、上記主たる実施の形態の他にも種々の実施の形態が考えられる。例えば、上記実施の形態では上記（１），（２），（３）の各ケースに分けたスミア補正処理を用いたものを示したが、簡易的には全ての場合に上記（１）のケースで示したと同様に式Ｓ１(i,j) を適用してもよい。この場合、上記したとおりＳig(i,j) に対して不連続な（値飛びのある）特性にかなり近づいてしまうが、従来の（４）のケースで示した補正処理のような飽和による黒筋の発生は生じないし、完全に無補正の場合の白筋画像に比しても特に不自然な画像にはならない。上記主たる実施の形態と比しても、演算的により単純化されている点は勿論、特性的にもわずかとはいえ、残っている撮像素子のレンジを最大限活用するという観点からは、優れているとも言い得るものであって、極めて魅力的な変形例である。同様に、上記主たる実施の形態において、Ｒ２＝Ｓatに設定した、すなわち上記（１），（２）のケースのみを用いるものも、また一つの変形例とすることができることも自明である。
【００２６】
また、上記主たる実施の形態では、スミア検出のためにいわゆる垂直ＯＢ画素対応の出力を用いているが、これは一例であり、現実に対応する光電変換素子（画素蓄積部）がなくても、垂直ブランキング期間に対応する撮像素子出力を用いスミアの検出は同様に可能であるから、そのような周知の構成に置き換えても本発明を実施することができることは明らかである。
【００２７】
更には、上記主たる実施の形態は主として動画を記録対象とするものであったが、信号処理は１フレームの画像のみ（フレーム内処理）で行なっているから、これをそのまま静止画撮影に適用できることは当然であり、例えば、上記カメラが付加的に有する静止画撮影モードに、あるいは別の静止画撮影を主目的とするディジタルスチルカメラに応用したものは、それぞれ好適な実施の形態となる。無論、上記説明は本発明の適用範囲をフレーム内処理に限る意図では毛頭なく、フレーム間処理に適用することも容易であることは言をまたない。
【００２８】
以上本発明のいくつかの実施の形態並びにその変形例について具体的に示したが、本発明はこれらに限られるものではなく、特許請求の範囲に記載の限りにおいて如何なる態様をも取り得るものであることは言うまでもない。
【００２９】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、スミア補正された従ってスミアが軽減された、且つ不自然な疑似信号が生じることのない高画質な画像を得ることが可能な撮像装置を実現することができる。特に請求項１に係る発明によれば、有効画像信号のレベルに応じて異なる補正処理をするようにしているので、信号の飽和などに起因する新たな偽信号の発生を抑止することが可能となり、また補正後の出力値が、有効画像信号とスミア成分の両方のレベルの全域において、有効画像信号とスミア成分の両方のレベルの変化に関して常に連続的に変化するようになされるから、画像信号及びスミア成分の変化に対していわゆる値飛び（不連続）に起因する偽信号の発生を抑止することができる。また請求項２に係る発明によれば、処理順序を単純に入れ替え欠陥補償処理を先に行うと、スミア処理が正しく行われず、新たな偽信号の原因になるという不具合を生じさせないことが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置の実施の形態のディジタルビデオカメラの構成を示すブロック図である。
【図２】 図１に示した本発明の実施の形態におけるスミア補正の態様を説明するためのスミア補正部の入出力特性を示す図である。
【図３】 図２に示した本実施の形態におけるスミア補正を入出力特性に対比するための従来のスミア補正の入出力特性及び無補正時の入出力特性を示す図である。
【符号の説明】
１ レンズ系
２ レンズ駆動機構
３ 露出制御機構
４ フィルタ系
５ ＣＣＤ撮像素子
６ ＣＣＤドライバ
７ プリプロセス回路
８ ディジタルプロセス回路
８−１ スミア検出部
８−２ スミア補正部
９ 記録部
10 ビデオテープ
11 ＬＣＤ画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 レンズドライバ
16 露出制御ドライバ
17 ＥＥＰＲＯＭ

Claims (2)

1. 撮像素子と、垂直ブランキング期間に対応する前記撮像素子の出力に基づいて該撮像素子のスミア成分を検出するスミア検出手段と、該スミア検出手段の検出したスミア成分に基づいて有効信号出力期間の撮像素子の出力である有効画像信号を補正するスミア補正手段とを備え、該スミア補正手段におけるスミア補正処理は、前記有効画像信号のレベルに応じて異なる補正処理をするものであり、その際該スミア補正手段による補正後の出力値が、前記有効画像信号と前記スミア成分の両方のレベルの全域において、前記有効画像信号と前記スミア成分の両方のレベルの変化に関して常に連続的に変化するように構成されていることを特徴とする撮像装置。
2. 画素欠陥補償手段を更に有してなり、該画素欠陥補償手段による画素欠陥補償処理は、当該画素欠陥補償処理がなされる以前に前記スミア補正手段によってなされた前記スミア補正後の出力信号に対してなされるように構成されていることを特徴とする請求項１に係る撮像装置。

Images