JP4326029B2

JP4326029B2 - 撮像装置

Info

Publication number: JP4326029B2
Application number: JP05215996A
Authority: JP
Inventors: 庸男関谷; 浩彰松本; 裕子神田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-03-08
Filing date: 1996-03-08
Publication date: 2009-09-02
Anticipated expiration: 2016-03-08
Also published as: JPH09247541A

Description

【０００１】
【発明の属する技術分野】
この発明はフレア補正機能が付加された撮像装置に関する。詳しくは、フレア補正をフィードフォワード制御することによってフレア制御を簡単に行えるようにしたものである。
【０００２】
【従来の技術】
撮像装置においてフレア現象が知られている。フレアとは光学系で反射された光（反射光）が再度撮像素子（ＣＣＤなど）に入力することによって、画像の最も暗い黒レベルが浮いた状態となり、全体としてぼやけた画像になる現象をいう。
【０００３】
このフレア画像を補正すべく従来では図１２に示すような構成が採られた撮像装置１０が使用されている。
【０００４】
同図にあって、被写体１１はレンズ系を介してＣＣＤなどの撮像素子１２にて電気信号（撮像信号）に変換される。撮像素子１２の前段に配される色フィルタとしては補色で市松パターンの色フィルタなどを使用することができる。
【０００５】
撮像素子１２より出力された撮像信号（Ｒライン信号とＢライン信号）はサンプリングホールド回路およびＡＧＣ回路１３において、サンプリングとディジタル変換時のダイナミックレンジの調整を行うためにＡＧＣがかけられる。その後Ａ／Ｄ変換器１４でディジタル信号に変換される。その出力がさらにローパスフィルタ１５に供給されて所定帯域の輝度信号Ｙが得られる。
【０００６】
ディジタル化されたこの輝度信号はさらに信号処理部を構成するこの例ではガンマ補正回路１６に供給されて所定のガンマ特性が付与されたのち、後段の処理回路に供給されて最終的には複合映像信号などとなされて外部に出力される。
【０００７】
ガンマ補正回路１６の直前に得られる輝度信号は輝度レベル検出回路１７に供給され、その出力がマイコンなどで構成された制御部１８に供給されて、フレア特性を補正する検出された輝度レベルに基づいてフレア補正信号が形成される。
【０００８】
このフレア補正信号でＡ／Ｄ変換器１４のリファレンスやＡＧＣ回路１３を調整することによって無信号部での輝度レベルが黒レベル側に引き込まれるようなフレア補正が行われる。
【０００９】
【発明が解決しようとする課題】
ところで、このようなフレア補正は輝度レベルから形成されたフレア補正信号を輝度レベルを検出する前の回路系にフィードバックする帰還ループ構成となっている。一方、Ａ／Ｄ変換器１４のリファレンスやＡＧＣ回路１３はＡＥ（自動露光）モードのようなときでも制御部１８からの制御信号で制御している。
【００１０】
そのため、Ａ／Ｄ変換器１４やＡＧＣ回路１３などはこのような制御信号の他に上述したフレア補正信号で二重の制御ループが構成されることとなり、その制御が複雑になってしまう。また、補正された輝度レベルから再びフレア補正に必要な輝度レベルを検出しているため、フレアした画像と、平坦な画像とを区別して補正するなどの適切な補正が困難であるなどの問題があった。
【００１１】
そこで、この発明は従来のこのような課題を解決したものであって、フィードバック制御を採るのではなく、フィードフォワード制御を行うことによってＡＥ制御とは独立して簡単にフレア補正を行えるようにした撮像装置を提案するものである。
【００１２】
【課題を解決するための手段】
上述した課題を解決するためこの発明に係る撮像装置では、撮像素子から得られた輝度信号をフレア補正した後にγ補正する撮像装置において、
フレア補正前の輝度信号を入力し、所定の画像処理単位毎に、第１の入力輝度信号のレベルでの第１のヒストグラムと、当該第１の入力輝度信号のレベルと所定量レベルが異なる第２の入力輝度信号のレベルでの第２のヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段から供給される第１及び第２のヒストグラムに基づいてフレア補正用の現在の黒引き込みレベルを算出し、当該第１のヒストグラムと輝度レベル０でのヒストグラムとの差分が略ゼロとなり、かつ、前記第２のヒストグラムと前記輝度レベル０でのヒストグラムとの差分が所定の画素数を超えるまで、前記第１の入力輝度信号のレベル及び前記黒引き込みレベルをインクリメントし、前記第２のヒストグラムと前記輝度レベル０でのヒストグラムとの差分が所定の画素数を超えたとき、前記インクリメントされたときの黒引き込みレベルを当該画像処理単位における黒引き込みレベルとして決定するレベル算出手段と、
前記レベル算出手段によって決定された黒引き込みレベルを当該画像処理単位にフィードフォワード入力すると共に、フレア補正前の輝度信号を入力し、当該黒引き込みレベルと入力輝度信号のレベルとを比較し、フレア補正前の入力輝度信号のレベルが黒引き込みレベル以下の場合は、当該入力輝度信号の出力レベルを略ゼロとし、フレア補正前の入力輝度信号のレベルが黒引き込みレベルを超え、低輝度レベルの間は、当該低輝度レベルの入力輝度信号の出力ゲインを高輝度レベルの入力輝度信号の出力ゲインよりも高く設定するようにフレア補正をするフレア補正回路とを備えることを特徴とするものである。
【００１３】
輝度レベルを検出してヒストグラムを作成してそのデータが制御部１８に取り込まれ、ここで形成されたフレア補正のための黒引き込みレベルｂがローパスフィルタ１５の後段に設けられたフレア補正回路５０にフィードフォワードされる。
【００１４】
フレア補正回路５０ではこの黒引き込みレベル（フレア補正信号）ｂに基づいて形成された入出力特性にしたがって入力する輝度レベルが出力される。つまり、入力する輝度レベルがレベルｂ以下のときはその出力がゼロとなり、しかも低輝度レベルの間はゲインが大きくなるような特性が付与される。
【００１５】
この処理によって入力輝度レベルが黒レベル側に引き込まれてフレアが抑制された輝度信号が得られる。レベルｂは輝度信号のヒストグラムに基づいて作成されるものであるから、変調度のある画像と、平坦な画像とではヒストグラムの現れ方が相違するため、前者のフレア検出レベルｂと後者のフレア検出レベルｂとは異なったものとなって得られる。この場合、前者の検出レベルｂの方が後者のそれよりも大きな値となる。
【００１６】
これによって、平坦な画像の黒レベルへの引き込み開始レベルが極端に大きくならないから、フレア補正によって平坦な画像の輝度レベルが極端に低くなり、黒ずんだ画像に補正されるような過補正現象は発生せず、適切な黒レベル補正となる。
【００１７】
【発明の実施の形態】
続いて、この発明に係るフレア補正機能を有する撮像装置の一実施態様を図面を参照して詳細に説明する。
【００１８】
図１はこの撮像装置の要部の系統図を示すもので、この発明においても従来構成とほとんど同じ構成となるので、従来構成と重複する部分はその詳細な説明は割愛する。
【００１９】
この発明ではローパスフィルタ１５によって輝度信号Ｙが形成され、この輝度信号Ｙがフレア補正回路５０に供給されて適切な黒レベルの引き込み処理が行われる。フレア補正処理が施されたこの輝度信号はガンマ補正回路１６においてガンマ特性が付与される。そのためこのガンマ特性はフレア補正後の輝度信号に対して行われることになる。
【００２０】
さらにローパスフィルタ１５より出力された輝度信号であって、フレア補正回路５０の前段の輝度信号がヒストグラム作成手段２０に供給され、画像内容に応じたヒストグラムの情報がマイコンで構成された黒引き込みレベル算出手段として機能する制御部１８に供給され、ここにおいて画像内容に応じた黒引き込みレベルｂが形成される。このレベルｂがフレア補正回路５０にフィードフォワードされる。
【００２１】
フレアとは上述したように、画像の最も黒いレベルが無くなって画像全体として浮いた状態の画像をいうが、最黒レベルが無い状態であっても、図２Ａのような変調度の高い画像（変調度のある画像）の場合は、黒レベルを引き下げることで画像が浮いたような感じを押えることができる。同図Ｂのような変調度の少ない平坦な画像では、単に黒レベルを引き下げただけでは画像全体の輝度レベルが下がるだけであるので、画像全体が暗くなってしまう。
【００２２】
そこで、まずこの発明によるフレア補正は、フィールド内の輝度信号のヒストグラムを取り、その値から黒引き込みレベルｂを決定する。黒引き込みレベルｂをヒストグラムから形成すると、輝度レベルの平均値が同じであっても変調度のある画像と平坦な画像とでは異なった値となる。
【００２３】
フレア補正回路５０の入出力特性を図３Ａに示す。同図はフレア補正される前の特性であり、フレア補正が行われると、図４Ａのような折れ線特性となる。入力の輝度レベルがｂとなるまでは出力がゼロになるので、黒レベルの引き込みが行われる。
【００２４】
そしてこのｂを入力軸との切片（交点）とする直線Ｑ（ｘ）の傾きは、原点を通る直線Ｐ（ｘ）の傾きより大きくなっているので、直線Ｐ（ｘ）と交わる入力レベルまでのゲインが大きくなる。これによって低輝度レベル側のゲインを高めることができる。こうすることによって平坦な画像であっても適切なフレア補正を実現できる。
【００２５】
図３Ｂはフレア補正前のガンマ特性を、図４Ｂはフレア補正後のガンマ特性を示す。フレア補正後は黒引き込みレベルｂまでは出力ゼロとなり、また低輝度レベルの間は出力ゲインも大きくなる。
【００２６】
黒引き込みレベルｂはフレアが起きているフィールド内の画像内容によっても相違する。輝度レベルが高くなるにつれフレアも多くなるから、その場合の引き込みレベルｂも図５Ａのようにｂ１からｂ３のように変化し、それに伴ってガンマ特性も同図Ｂのように変化することになる。
【００２７】
さて、輝度信号のヒストグラムは、基準の輝度レベル以上となる入力輝度信号Ｙの画素の数を１フィールド間積分した値として求められる。実際に使用するのは比較すべき輝度レベル以下の画素数であるため、全体の画素数から求められたヒストグラムの値を引いたものとなる。全体の画素数は比較すべき輝度レベルが０のときに求められるヒストグラムであるので、これをhist（０）として示す。
【００２８】
フィールド内の輝度レベルの分布が図６であるときで、比較すべき基準輝度レベルがref(n)（ｎは輝度レベルを２５６階調で表現したとき、ｎ階調目の輝度レベルであって、これがそのときの比較すべき基準輝度レベルとなる）であるとき、ヒストグラム作成手段２０で得られたそのときのヒストグラムをhist(ｎ)′とすると、実際に使用するヒストグラムhist（ｎ）′はref(n)以下の画素数であるため、
hist（ｎ）′=hist（０）−hist（ｎ）
となる。
【００２９】
したがって実際のヒストグラム作成手段２０では最初に輝度レベル以上のヒストグラムhist(n)′が算出され、hist(n)は制御部１８内の内蔵ソフトによって算出している。
【００３０】
図７はヒストグラム作成手段２０の具体例を示し、本例では２つのヒストグラム作成部２０Ａ，２０Ｂが設けられる。両者は同一構成であるので一方のみを説明すると、入力された輝度信号Ｙはレベル比較器２２に供給されて基準の輝度レベルref(n)と比較される。本例では基準となる輝度レベルref(n)以上の画素数が求められ、これが１画素分遅延素子２３によって遅延されながら加算器２４によって加算される。
【００３１】
遅延素子２３は垂直ブランキング期間を除く有効走査領域のみ動作し、したがってフィールド単位でリセットされるように構成されている。そのため、制御部１８から有効走査領域のみ動作するようなイネーブル信号ＥＮａが遅延素子２３にその制御信号として与えられるので、ヒストグラム作成部２０Ａで算出されたヒストグラムhist(n)′もフィールド単位で更新される。
【００３２】
他方のヒストグラム作成部２０Ｂではｎ階調目から所定幅ｄだけ離れた位置のヒストグラムを作成する関係上、比較器３２に供給される輝度レベルはref(n+d)となり、そのときに得られるヒストグラムはhist(n+d)′となる。その他の構成はヒストグラム作成部２０Ａと同一である。
【００３３】
ヒストグラム作成部２０で算出されたこれらヒストグラムhist(n)′およびhist(n+d)′は制御部１８に内蔵された制御プログラムに基づいて黒引き込みレベルｂが算出される。
【００３４】
図８はその一例を示す算出フローチャートであって、まずステップ４１のように初期値として比較すべき輝度レベルｎが１（１階調目を指す。つまり１量子化ステップである）にセットされ、黒引き込みレベルｂとして０がセットされる。さらに輝度レベル幅がｄ（固定）にセットされ、比較すべき面積（つまり画素数）がＳにセットされる。
【００３５】
次に、ステップ４２において輝度レベルｎでのヒストグラム（hist(n)）と輝度レベル０でのヒストグラムhist(0)の差が求められ、これがゼロであるときは、ステップ４３に移って検出幅をｄだけ高輝度側にシフトしてそのときのヒストグラムhist(0)とhist(n+d)との差ＳOが規定面積Ｓより大きいがどうがが判断される。
【００３６】
規定面積Ｓよりも少ないときはフレアが発生していることになるので、この場合は比較すべき輝度レベルｎとレベルｂをそれぞれインクリメントして基準比較レベルとレベル補正量をそれぞれアップする（ステップ４４）、その後ステップ４２に遷移して再び規定面積Ｓよりも大きくなるまで同様な算出処理が行われる。
【００３７】
ステップ４２では差分がゼロで、幅ｄだけシフトしたとき規定面積Ｓを超えたときはそのときのレベルｂが黒引き込みレベルとして使用される。フィールドごとの輝度レベルは常に変化しているので、レベルｂは固定されたものとなるのではなく、同じ輝度レベルｎでヒストグラムを算出していても入力する輝度信号Ｙの値によってそのヒストグラムの値が変化するから、ステップ４２において同じ輝度レベルｎでもゼロにならないことがある。そのときは検出すべき輝度レベルｎの値およびレベルｂが大きくなり過ぎたものと判断して今度はステップ４５に遷移する。
【００３８】
このステップ４５ではレベルｂが変化されたことを判断し、ｂが０以外の値に選ばれているときはｎとｂの値をそれぞれダウンさせて（ステップ４６）、１つ手前の値で判断処理が行われる。このように入力する輝度信号Ｙの輝度レベルに応じてｎとｂの値が適応的に制御される。
【００３９】
ここで、ステップ４３において算出された面積ＳOが規定面積Ｓを超えたときは変調度が低い平坦な画像であることが分かる。そして、平坦な画像とそうでない画像とでは図９のように設定されるレベルｂが相違してくる。
【００４０】
図９Ａは変調度のある画像（例えば図２Ａ）のときのフィード内における輝度レベル変化を、同図Ｂは変調度のない画像（例えば図２Ｂのような平坦な画像）の輝度レベル変化をそれぞれ図示したものである。今比較すべき輝度レベルｎの位置が図９Ａ，Ｂに示す位置であったときには、同図Ｂの画像入力のときのみステップ４３で面積ＳOがゼロ以上となる。しかし規定面積Ｓには至らない。
【００４１】
しかし、（ｎ＋１）になると、同図Ｄのように平坦画像の場合には規定面積Ｓをオーバーするので、このときのレベルｂ（ｂ２）が黒引き込みレベルとして使用される。
【００４２】
これに対して変調度のある画像の場合には、（ｎ＋１）でも規定面積Ｓに達せず、同図Ｃのように（ｎ＋ｉ）まで輝度レベルを高めた状態で始めて規定面積Ｓを超えるから、このときのレベルｂ（＝ｂi)が変調度のある画像のときの黒引き込みレベルとして使用される。したがって変調度のある画像の方がレベルｂが高く設定され、平坦画像のときはこれよりも低いレベルｂに設定されるので、平坦画像での輝度レベルの低下を防止できる。
【００４３】
図１０は上述したフレア補正回路５０の具体例を示す。図１１に再掲するように、フレア補正回路５０の入出力特性は、低輝度レベルと高輝度レベルとを分けるｐ点までは、レベルｂを入力切片とする直線Ｑ（ｘ）で与えられ、そのｐ点より高輝度レベルでは原点を通る直線Ｐ（ｘ）で与えられる。その結果、同図Ｂのような入出力特性となる。
【００４４】
切片ｂはそのフィールドによって異なる値を採るから、図１１Ｂの入出力特性を実現するには図１０のような構成例が考えられる。
【００４５】
端子５１に供給された輝度信号Ｙは第１の算出回路５２に供給される。これには減算器５３を有し、輝度信号Ｙ（この例では１０ビット）と共に端子５４よりレベルｂ（この例では６ビット）が供給されて輝度信号Ｙからレベルｂが減算される。減算出力はそのキャリーアウトＣＯと共にアンド回路５４に供給される。
【００４６】
この構成によって輝度信号Ｙの輝度レベルがレベルｂ以下であるときは減算出力が負のレベルになるので、レベルｂとなるまではアンド出力はゼロのままである。レベルｂ以上になるとアンド出力は「１」となる。
【００４７】
このアンド出力はタイミング調整用の遅延素子５５を介して第２の算出回路６０に供給される。この回路では調整Ｑ（ｘ）を得るためのもので、この例では（１＋１／ｋ）倍の出力が得られるように構成される。
【００４８】
そのため、アンド出力が１／ｋ倍の係数器６１に供給され、その係数１／ｋとアンド出力が加算器６２に供給されて、（１＋１／ｋ）倍された出力Ｑ（ｘ）が得られる。その出力とキャリーアウトＣＯはオア回路６３に導かれる。出力はオア回路６３によって１０ビットデータに制限される。
【００４９】
出力Ｑ（ｘ）はタイミング調整用の遅延素子６４を経て出力選択回路７０に供給される。ここにはタイミング調整回路７１を介して得られる端子５１の入力信号である輝度信号Ｙが供給され、スイッチ７２によって出力Ｐ（ｘ）との切り替えが行われる。ここに、輝度信号Ｙは図１１Ａに示すように原点を通る信号であるため直線Ｐ（ｘ）で与えられる。したがってスイッチ７２では比較器７３の出力で信号Ｐ（ｘ）とＱ（ｘ）とが切り替えられる。
【００５０】
出力Ｑ（ｘ）がＰ（ｘ）より小さいか等しいときには図示の切り替え状態となって、出力Ｑ（ｘ）が選択され、出力Ｑ（ｘ）がＰ（ｘ）よりも大きくなったときには出力Ｐ（ｘ）が選択される結果、図１１Ｂに示す入出力特性となされた輝度信号ＹOが得られる。
【００５１】
この輝度信号ＹOは図１に示すガンマ補正回路１６に供給される。ガンマ補正回路１６はＲＯＭテーブルが使用され、図５Ａのように例えばレベルｂがｂ１であるときは入力輝度信号ＹOのレベルがｂ１となるまでは同図Ｂのように出力がゼロとなり、ｂ１〜ｐ１′までは傾きが増大するようなガンマ出力となり、ｐ１′以降は元のガンマ出力が得られるようなテーブルが組まれている。
【００５２】
【発明の効果】
以上説明したようにこの発明では画像処理単位に黒引き込みレベルをフィードフォワード入力すると共に、フレア補正前の輝度信号を入力し、当該黒引き込みレベルと入力輝度信号のレベルとを比較し、フレア補正前の入力輝度信号のレベルが黒引き込みレベル以下の場合は、当該入力輝度信号の出力レベルを略ゼロとし、フレア補正前の入力輝度信号のレベルが当該黒引き込みレベルを超え、低輝度レベルの間は、当該低輝度レベルの入力輝度信号の出力ゲインを高輝度レベルの入力輝度信号の出力ゲインよりも高く設定するようにフレア補正をするフレア補正回路を備えるものである。
【００５３】
これによればフィードフォワード制御のため、フレア補正後の出力信号が入力輝度信号に影響を与えることが全くないので、マイコン内蔵の制御部での制御が非常に簡単になる。
【００５４】
この発明ではさらに輝度レベルのヒストグラムを調べることで、変調度の低い平坦な画像と変調度の高い画像とで設定される黒引き込みレベルが異なり、平坦な画像とそうでないものの区別をして、対応するフレア補正信号を形成することができる。従って、従来方式のように平坦画像が過補正となり、その輝度レベルが全体として暗くなり過ぎてしまうようなこともなくなり、その画像に合った適切なフレア補正を実現できる特徴を有する。
【００５５】
しかも、低輝度レベル側での入力輝度信号の出力ゲインを高輝度レベル側よりも高く設定しているので、平坦な画像であっても適切なフレア補正を実現できる。勿論、フレア補正はフレア補正回路に入力した輝度信号に対して行うので、ヒストグラムのための輝度レベル検出が容易になるなどの特徴を有する。
【図面の簡単な説明】
【図１】この発明に係る撮像装置の一実施形態を示す系統図である。
【図２】画像内容の説明図である。
【図３】フレア補正前のガンマ補正前後の特性図である。
【図４】フレア補正後のガンマ補正前後の特性図である。
【図５】レベルｂを変化させたときの図５と同様な特性図である。
【図６】輝度レベルに関するヒストグラムの説明図である。
【図７】ヒストグラム作成手段の具体例を示す接続図である。
【図８】黒引き込みレベルを得るフローチャートを示す図である。
【図９】画像内容とレベルｂとの関係を示す図である。
【図１０】フレア補正回路の一例を示す系統図である。
【図１１】その入出力特性図である。
【図１２】従来の撮像装置の系統図である。
【符号の説明】
１０・・・撮像装置、１８・・・制御部、２０・・・ヒストグラム作成手段、２０Ａ，２０Ｂ・・・ヒストグラム作成部、５０・・・フレア補正回路

Claims

撮像素子から得られた輝度信号をフレア補正した後にγ補正する撮像装置において、
フレア補正前の輝度信号を入力し、所定の画像処理単位毎に、第１の入力輝度信号のレベルでの第１のヒストグラムと、当該第１の入力輝度信号のレベルと所定量レベルが異なる第２の入力輝度信号のレベルでの第２のヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段から供給される第１及び第２のヒストグラムに基づいてフレア補正用の黒引き込みレベルを算出し、当該第１のヒストグラムと輝度レベル０でのヒストグラムとの差分が略ゼロとなり、かつ、前記第２のヒストグラムと前記輝度レベル０でのヒストグラムとの差分が所定の画素数を超えるまで、前記第１の入力輝度信号のレベル及び前記黒引き込みレベルをインクリメントし、前記第２のヒストグラムと前記輝度レベル０でのヒストグラムとの差分が所定の画素数を超えたとき、前記インクリメントされたときの黒引き込みレベルを当該画像処理単位における黒引き込みレベルとして決定するレベル算出手段と、
前記レベル算出手段によって決定された黒引き込みレベルを当該画像処理単位にフィードフォワード入力すると共に、フレア補正前の輝度信号を入力し、当該黒引き込みレベルと入力輝度信号のレベルとを比較し、フレア補正前の入力輝度信号のレベルが黒引き込みレベル以下の場合は、当該入力輝度信号の出力レベルを略ゼロとし、フレア補正前の入力輝度信号のレベルが黒引き込みレベルを超え、低輝度レベルの間は、当該低輝度レベルの入力輝度信号の出力ゲインを高輝度レベルの入力輝度信号の出力ゲインよりも高く設定するようにフレア補正をするフレア補正回路とを備えることを特徴とする撮像装置。