JP4266443B2

JP4266443B2 - 撮像装置

Info

Publication number: JP4266443B2
Application number: JP20134999A
Authority: JP
Inventors: 政実城殿; 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-07-15
Filing date: 1999-07-15
Publication date: 2009-05-20
Anticipated expiration: 2019-07-15
Also published as: JP2001036819A

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置、特に擬似信号補正機能を有する撮像装置に関する。
【０００２】
【従来の技術】
従来、ＣＣＤ撮像素子を使用した固体撮像装置においては、ＣＣＤ撮像素子特有の現象として、強烈な光が入射したときに発生するスミア現象による画質劣化が問題となっている。すなわち、この現象は本来の電荷蓄積領域に捕捉されなかった電荷がポテンシャル障壁を乗り越えて垂直転送路に漏れ込むことによるものであり、通常の定常的な光に起因する場合は、これが垂直転送期間にわたって発生するため、例えばスポット光の場合はその上下に伸びる縦筋になり、また例えば空を含む景観のような高輝度部が水平方向に広がっている被写体の場合は、画面全体がフレアがかった白けた画像が得られる。
【０００３】
この現象を補正する方法としては、スミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外の遮光された蓄積画素領域である垂直ＯＢ（オプティカルブラック：光学的黒）の出力レベルをスミア除去基準信号とし、これを有効画面の画素出力信号から減じる方法が、例えば特開平７−６７０３８号公報に開示されていて公知である。特にこの公開公報開示のものにおいては、複数ライン（その実施例では12ライン）からなる垂直ＯＢの信号を加算平均（縦方向12画素毎に関する平均）して得たライン情報（１ライン画素に対応する平均値データ）をスミア除去基準信号とすることで、この基準信号に含まれるランダム性ノイズの影響を低減し、スミア補正に起因して却って新たな固定パターンノイズが発生することが無いように配慮している。
【０００４】
また、撮像素子には製造上の問題に起因する画素欠陥が存在する。これには、いわゆる暗電流の存在などにより本来の出力レベルよりも大きな出力を生じる白画素欠陥と、リークあるいは転送不良等により本来の出力レベルよりも小さな出力を生じる黒画素欠陥とがあるが、いずれも実使用上問題になるレベルのものは、それぞれ白キズ、黒キズ等と称され、撮像信号処理に際して、その画素の出力情報は用いず、近隣の画素の出力情報を用いて情報を補完する（欠陥補償）技術が広く実用化されている。
【０００５】
【発明が解決しようとする課題】
ここで、例えば上記特開平７−６７０３８号公報記載のような従来のスミア補正技術を現実の撮像素子に適用することを考えると、垂直ＯＢに画素欠陥が存在した場合には、これに起因する新たな筋状の固定パターンノイズが発生してしまう。すなわち、例えば白キズが存在すれば、スミアの発生の有無にかかわらずスミア除去基準信号が生じてしまうから画像に黒の縦筋が生じ、黒キズが存在すれば、スミアが発生したときにスミア除去基準信号が発生しないから、スミアが除去されないで残って白の縦筋を生じてしまう。上記公開公報開示のスミア補正技術では複数ラインの平均をとっているから、１画素欠陥の影響は、ある程度（ライン数分の１に）軽減はされるものの、本質的な解決にはならない。
【０００６】
これを根本的に解決するには、ＯＢ領域に画素欠陥のない撮像素子を選別して使用すれば良いが、これは素子の歩留まりに係わり高価格化を招く。特に、有効画素領域の欠陥は単に１画素の孤立点の問題であるが、上記スミア補正を前提としたＯＢ領域の場合は、これが筋状の固定パターンノイズとなり、はるかに視認性が高いため、欠陥の判定基準は厳しくならざるを得ないから現実的ではない。
【０００７】
ここで、仮に一つの新規な提案として、従来の有効画素に関する欠陥補償をＯＢ領域にまで適用した場合を考えても、次のような問題が生じる。すなわち、有効画素領域の欠陥補償には様々な制約条件があるため、一般に使用される方法は限られている。例えば、
▲１▼処理に使用する記憶素子等の制約から１水平ラインの内部だけで処理せざるをえないケースがある。具体的には、当該欠陥画素の左（または左右の）の隣接（カラーの場合は同色のうちでの隣接）画素データを用いることが多い。
▲２▼カラー素子の場合は、同色フィルタの画素データによって補完する必要がある。具体的には、「Ｇ市松ＲＢ線順次」のいわゆるＲＧＢベイヤ配列の場合に、Ｇの最近接隣接画素は斜め４方に存在するから、補完はこの４画素いずれかによるか、上記▲１▼によるかになる。
このような具合であって、いずれにしても従来公知の技術は、欠陥補償に際して水平アドレスの異なる画素の情報を利用する形になっている。したがって、通常の有効画素に関する欠陥補償をＯＢ領域に適用したとすると、スミア除去基準信号の中に近隣の水平アドレスの異なるＯＢ画素のデータが（あるいは欠陥補償の方式によっては有効画素領域のデータも）混入することになり、正しいスミア補正が行なわれず、あるいはあらたな縦筋ノイズが発生してしまう。
【０００８】
以上のように、従来のスミア補正技術は、ＯＢ領域に画素欠陥が存在した場合には、却って新たな固定パターンノイズが発生するという問題点があった。
【０００９】
本発明は、従来の撮像装置におけるスミア補正技術の上記問題点を解消するためになされたもので、請求項１に係る発明は、垂直ＯＢに画素欠陥が存在しても新たな固定パターンノイズの発生などの不具合を生じさせない良好なスミア補正を行うことの可能な撮像装置を提供することを目的とする。また、請求項２に係る発明は、予め所定基準で検査した画素欠陥データを用いて、確実に且つ容易に不具合を生じさせないスミア補正を行えるようにした撮像装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像素子と、該撮像素子の垂直方向の光学的黒の画素部分の出力信号から前記撮像素子の有効画素部分の出力信号である有効画像信号を補正するための基準信号を生成する補正基準信号生成手段と、前記有効画像信号より前記補正基準信号を減算する画像信号補正手段と、前記補正基準信号生成手段における補正基準信号の生成に際しては前記光学的黒の画素部分に画素欠陥が存在しても該欠陥画素の情報が該補正基準信号に含まれないように生成を行なうための該欠陥画素情報を除く欠陥除去手段とで撮像装置を構成するものである。
【００１１】
このように欠陥除去手段を設け、複数ラインある垂直ＯＢから欠陥画素情報を除いて、スミア除去のための基準信号を得るようにしているので、垂直ＯＢに画素欠陥が存在しても新たな固定パターンノイズ発生などの不具合を生じさせない良好なスミア補正を行うことができる撮像装置を実現することができる。
【００１２】
また、請求項２に係る発明は、請求項１に係る撮像装置において、前記光学的黒の画素部分に関する画素欠陥データを記憶する記憶手段を備え、前記欠陥除去手段は、前記記憶手段に記憶されている画素欠陥データを用いて前記欠陥画素情報を除くように構成されていることを特徴とするものである。このように欠陥除去手段が使用する垂直ＯＢに関する画素欠陥データを記憶する記憶手段を備えることにより、例えば工場等で予め所定の基準で検査した画素欠陥データを用いて画素欠陥情報を除いたスミア除去のための基準信号を生成し、確実に且つ容易に不具合を生じさせないスミア補正を行うことができる。
【００１３】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の主たる実施の形態のディジタルカメラを示すブロック構成図である。１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄコンバータを含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９はメモリカードインターフェース、10はメモリカード、11はＬＣＤ画像表示系、12は主たる構成としてマイコン含むシステムコントローラ、13は操作スイッチ系、14は表示用ＬＣＤを含む操作表示系、15はストロボ、16はレンズドライバ、17は露出制御ドライバ、18はＥＥＰＲＯＭである。
【００１４】
このように構成されているディジタルカメラにおいては、システムコントローラ12が全ての制御を統括的に行なっており、露出制御機構３と、ＣＣＤドライバ６によるＣＣＤ撮像素子５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行ない、それをＡ／Ｄコンバータを含むプリプロセス回路７を介してディジタルプロセス回路８に格納し、この中で全ての必要な各種信号処理を施して後に、ＬＣＤ画像表示系11に表示又はメモリカード10に記録する。上記ディジタルプロセス回路８で行われる各種信号処理には、本発明の要部であるところの、垂直ＯＢ画素の出力レベル情報を用いたスミア補正処理が含まれている。すなわち、ディジタルプロセス回路８には、垂直ＯＢ画素の出力から欠陥画素情報を取り除くための欠陥除去部８−１と、欠陥画素情報の除かれた垂直ＯＢ画素の出力レベルに基づいてスミア除去基準信号を生成する補正基準信号生成部８−２と、該スミア除去基準信号を用いて有効画素領域の画像信号を補正（スミア除去）する画像信号補正部８−３を備えている。これらの欠陥除去部８−１，補正基準信号生成部８−２及び画像信号補正部８−３は、現実の演算処理においては必ずしも明確に分離されないこともあるが、説明の便宜と、概念の明確化のために分けて示すものである。
【００１５】
図２はＣＣＤ撮像素子５のセンサー領域を示す概略図であり、該センサー領域は撮像エリアである有効画素部分ＥＰと、垂直及び水平方向の黒基準を決めるためのＯＢ（光学的黒画素部分）であるＶＯＢ及びＨＯＢとから成っており、本実施の形態においては、この光学的黒画素部分ＯＢは有効画素部分ＥＰの上側で垂直方向に12ラインの垂直ＯＢであるＶＯＢと、有効画素部分ＥＰの右側で水平方向に40画素の水平ＯＢであるＨＯＢとより成っている。これらＯＢ領域はセンサー上に遮光膜を付けた構造となっており、そのＶＯＢにもスミアは有効画素部分ＥＰと同じく存在し、このＶＯＢより得られる撮像出力信号には、有効画素部分ＥＰより得られる撮像出力信号と同じレベルでスミア信号が含まれている。なお、図２において、102 ，103 は補正処理を行わない場合に生じるスミアの一例を示している。
【００１６】
なお、本実施の形態に係るディジタルカメラは、構図決定用の電子ファインダ対応のムービー（連続的撮像）動作と、本撮影であるスチル（静止画撮像）動作を行なうが、ムービーの場合は撮像素子の電荷蓄積の制御によるいわゆる素子シャッタのみで露光時間を制御している。スチルの場合も連写時などメカシャッタの併用が困難な場合は、やはり素子シャッタのみの露光時間制御を用いる。このため少なくともこのような場合は、補正を行なわなければ、上記従来技術で述べたようなスミアが発生することになる。したがって、少なくともこのようなケースに対してはスミア補正処理を適用することになる。そして、メカシャッタなどの光学シャッタを併用して１コマのみの静止画撮影を行なう場合など、本来スミアが発生しないように制御できるケースに対しても、本発明のスミア補正は、補正に伴なう新たなノイズの発生が事実上ないので、すなわちスミア補正は確かに不要ではあるが、弊害もないからこのようなケースに対しても同じスミア補正処理を適用することが可能（勿論非適用でも良い。設計上の選択肢となる）であり、本実施の形態に係るカメラでは処理の共通化を図って全てのケースで共通のスメア補正処理を採用している。
【００１７】
次に、本実施の形態に係るディジタルカメラにおけるスミア補正に直接関わる処理を中心に、システムコントローラ12によるカメラ制御の説明を行なう。ＥＥＰＲＯＭ18には、予め製造工程で検査によって求められた撮像素子５の欠陥画素のアドレスが、ＯＢ領域も含めて格納されている。ただし、検査時の有効エリアとＯＢエリアの欠陥判定基準は異なっており、ＯＢエリアの方がより厳しいレベル条件が適用されている。有効エリアのアドレス情報は、公知の画素欠陥補償処理に用いられるものであり、その説明は省略する。
【００１８】
さて、上記各動作における露光によって生じた信号電荷を順次読み出した１画面に対応する撮像出力信号を、ディジタルプロセス回路７の所定メモリ領域に格納すると、補正基準信号生成部８−２において垂直ＯＢであるＶＯＢの出力を用いてスミア除去基準信号を算出する。ここで画素欠陥が存在しない場合は、上記公開公報記載の従来技術と同様に、12ラインあるＯＢ画素のデータのうち同じ水平アドレスを持つ12画素（以下の説明においては、この12画素の画素群をロッドと称する）毎の和をとり、画素数12で除することで平均値を得る。すなわち、各ロッド平均値を１画素に対応させた１ラインの画像信号をもってスミア除去基準信号とする。
【００１９】
本実施の形態におけるスメア補正処理は、この処理の際に画素欠陥も考慮するところに特徴がある。すなわち、補正基準信号生成部８−２により各ロッドの和を求めるに先立ち、欠陥除去部８−１において上記ＥＥＰＲＯＭ18に格納された欠陥画素のアドレスデータを参照し、当該ロッドに欠陥画素があった場合、その画素データを除き、残りの（非欠陥）画素データのみを補正基準信号生成部８−２へ送出し、その和を求めるようにする。そして、これを「12（ロッドの総画素数）から欠陥画素数を減じたもの（当該ロッドの非欠陥画素数）」で除することによって、当該ロッドの非欠陥画素のみに関する平均値を得る。すなわち、各ロッドの非欠陥画素のみの平均値を１画素に対応させた１ラインの画像信号をもってスミア除去基準信号としている。したがって、スミア補正に際して、ＯＢ領域の画素欠陥の影響を受けることがなくなる。またこのとき、欠陥画素のデータを取り除き、それに合わせて除数を調整しているから、スミア除去基準信号に含まれる各ＯＢライン（の当該ロッドに関する非欠陥画素）の重みは等比率を保っており、ランダム性ノイズの影響の低減効果に悪影響を生じさせない点で優れている。
【００２０】
なお、この点を重視しなければ、欠陥画素の代わりに同じロッド内の他の（例えばすぐ上又は下の）非欠陥画素データで置換えるという処理も可能であり、一つの変形例として挙げ得る。これは平均値算出における除数を（本例では12に）定数化できる点で利点も有してはいるが、置換えに用いた非欠陥画素の比率が他よりも高くなるため、ランダム性ノイズの影響の低減効果がそれだけ減じてしまうという欠点も併せ持つものである。
【００２１】
このようにして得られたスミア除去基準信号を用いて、画像信号補正部８−３において有効画素信号に関するスミア補正が行なわれる。すなわち、有効画素部分ＥＰから読み出された画素信号の各ラインデータから、このスミア除去基準信号を減じたものを補正後の出力とする。（減算は同じ水平アドレスを持つデータ間で行われることは、自明であろう。）
【００２２】
また、本実施の形態に係るディジタルカメラは従来公知の画素欠陥補償手段を有しており、有効画素部分ＥＰに対応する上記スミア補正後の出力信号に対して、上記ＥＥＰＲＯＭ18に格納された欠陥画素アドレスデータに基づいて、ディジタルプロセス回路８において、この処理がなされる。このときスミア補正を先に、欠陥補償を後にやることには意味があり、単純にこれを逆にすると、欠陥画素に対してこれと水平アドレスの異なる画素の情報が補完適用される場合などに、スミア現象それ自体やスミア補正に起因する画質劣化が生じるようになる。
【００２３】
以上のようにして、スミア補正及び画素欠陥の補償処理を経た画像信号は、適宜各種信号処理を経てメモリカード10に記録あるいはＬＣＤ画像表示系11に表示される。記録あるいは表示される画像はスミアが補正された、したがって見かけ上スミアの存在しない高画質な画像となる。
【００２４】
なお、上記主たる実施の形態の他にも様々な実施の形態が考えられる。一例を挙げると、本発明を動画撮影を主としたいわゆるムービーカメラ（ビデオムービー）に適用したものが挙げられる。上記主たる実施の形態のカメラは、静止画撮影を主目的とした、いわゆるディジタル（スチル）カメラであるから、少なくとも静止画の１コマ撮影に限れば、メカシャッタ等の光学シャッタの併用によって（本発明によらず）問題の解決を図ることも考えられるのに対して、ムービーカメラの場合は動画撮影が主であるため、付加的機能である静止画撮影も含めて光学シャッタを用いないという一般的な設計要請が存在しており、本発明の効果は一層際立つものとなる。
【００２５】
以上本発明のいくつかの実施の形態及びその変形例を具体的に示したが、本発明はこれらに限られることなく、特許請求の範囲に記載の限りにおいて、如何なる態様をも取り得るものであることは言うまでもない。
【００２６】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、スミア補正された、したがって見かけ上スミアの存在しない高画質な画像を得ることが可能な撮像装置を実現することができる。特に請求項１に係る発明によれば、複数ラインある垂直ＯＢから欠陥画素の情報を除いてスミア除去のための基準信号を得るようにしているから、垂直ＯＢに画素欠陥が存在しても新たな固定パターンノイズの発生などの不具合を生じさせない良好なスミア補正を行うことができる。また、請求項２に係る発明によれば、欠陥除去手段が使用する垂直ＯＢに関する画素欠陥データを記憶する記憶手段を備えているので、例えば工場等で予め所定の基準で検査した画素欠陥データを用いて画素欠陥情報を除いたスミア除去のための基準信号を生成し、確実に且つ容易に不具合を生じさせないスミア補正を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の実施の形態のディジタルカメラの全体構成を示す概略ブロック構成図である。
【図２】図１に示した実施の形態におけるＣＣＤ撮像素子のセンサー領域を示す概略図である。
【符号の説明】
１レンズ系
２レンズ駆動機構
３露出制御機構
４フィルタ系
５ＣＣＤ撮像素子
６ＣＣＤドライバ
７プリプロセス回路
８ディジタルプロセス回路
８−１欠陥除去部
８−２補正基準信号生成部
８−３画像信号補正部
９メモリカードインターフェース
10 メモリカード
11 ＬＣＤ画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 ストロボ
16 レンズドライバ
17 露出制御ドライバ
18 ＥＥＰＲＯＭ
101 水平転送路（水平シフトレジスタ）
ＥＰ有効画素部分（撮像エリア）
ＯＢ光学的黒画素部分
ＶＯＢ垂直ＯＢ
ＨＯＢ水平ＯＢ

Claims

撮像素子と、該撮像素子の垂直方向の光学的黒の画素部分の出力信号から前記撮像素子の有効画素部分の出力信号である有効画像信号を補正するための基準信号を生成する補正基準信号生成手段と、前記有効画像信号より前記補正基準信号を減算する画像信号補正手段と、前記補正基準信号生成手段における補正基準信号の生成に際しては前記光学的黒の画素部分に画素欠陥が存在しても該欠陥画素の情報が該補正基準信号に含まれないように生成を行なうための該欠陥画素情報を除く欠陥除去手段とを有していることを特徴とする撮像装置。
前記光学的黒の画素部分に関する画素欠陥データを記憶する記憶手段を備え、前記欠陥除去手段は、前記記憶手段に記憶されている画素欠陥データを用いて前記欠陥画素情報を除くように構成されていることを特徴とする請求項１に係る撮像装置。