JP3938098B2 - 補正装置、及び撮像装置 - Google Patents
補正装置、及び撮像装置 Download PDFInfo
- Publication number
- JP3938098B2 JP3938098B2 JP2003127236A JP2003127236A JP3938098B2 JP 3938098 B2 JP3938098 B2 JP 3938098B2 JP 2003127236 A JP2003127236 A JP 2003127236A JP 2003127236 A JP2003127236 A JP 2003127236A JP 3938098 B2 JP3938098 B2 JP 3938098B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- correction
- correction coefficient
- level
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は補正装置、及び撮像装置に関し、特に、撮像面が複数に分割され、それぞれの領域の撮像信号を増幅する増幅器と、この出力に接続された複数の撮像信号出力端子を備える固体撮像素子からの信号を補正する補正装置に用いて好適なものである。
【０００２】
【従来の技術】
近年、ディジタル信号処理技術及び半導体技術の進歩により、標準テレビ方式、例えばＮＴＳＣ方式やＰＡＬ方式の動画像信号をディジタル記録する民生用ディジタルビデオ規格が提案されており、その応用として、ディジタルビデオ記録再生装置と撮像装置とを一体化したディジタルビデオカメラが製品化されている。このようなディジタルビデオカメラでは、ディジタル記録という特徴を生かして、静止画記録機能を備えるものがある。
【０００３】
また、コンピュータ等と接続するためにディジタルI/Fを具備し、撮影した画像をコンピュータに取り込む機能を有するものもある。さらに、複数の記録媒体を具備し、画像の使用目的に応じて記録媒体を選択できるようになっている装置も実用化されている。
【０００４】
このような装置において、記録された画像をテレビに接続して再生する場合は、その画像サイズはディジタルビデオ規格で定められるもの、例えば７２０ｘ４８０画素でなんら問題は無いが、ディジタルI/Fを介して他のメディアに画像を転送する場合は、画質上の問題からより多くの画素数が要求される場合がある。
【０００５】
撮像素子の多画素化に伴い、撮像素子の全画素の情報を読み出すためにはより高い周波数で撮像素子を駆動する必要があり、全画素の情報を読み出すようにするとＳ／Ｎの劣化や消費電力の増大を招く問題があった。
【０００６】
そこで、撮像素子の駆動周波数を低く抑えたまま撮像情報のデータレートを上げる方法が考えられている。このような方法の一つとして、撮像面を複数の領域に分割し、それぞれの領域に独立した電荷転送部、増幅器及び出力端子を持たせ、撮像信号を並列に読み出す方法がある。
【０００７】
図１１に、上記のような撮像素子を用いた撮像装置の例を示す。図１１において、撮像素子１１００の撮像面は左右の２領域に分割されている。また、１１０１及び１１０２は光電変換及び垂直転送部であり、１１０３及び１１０４は水平転送部、１１０５及び１１０６は増幅器、１１０７及び１１０８は出力端子である。このような構造の撮像素子を用いることにより、撮像素子の駆動周波数に対し２倍のデータレートの撮像情報が得られる利点がある。
【０００８】
一方、この方法の欠点として、各領域の増幅器及び外部周辺回路の特性の不均一性により、２つの領域を合成して画像を生成した場合に、領域間のレベル差による境界線が生じるなどの画質劣化が発生する問題があった。
【０００９】
これらの不均一性による画質劣化を軽減する方法として、あらかじめ各領域の黒レベル及び標準白レベルを測定して補正係数を求めておき、撮像時にこの補正係数により不均一性の補正を行なう方法が考えられている。
【００１０】
図１１には、このような補正回路の構成例を示している。不図示の結像光学系により撮像素子１１００上に結像した被写体像は、撮像素子１１００により電気信号に変換され、不図示の駆動タイミング発生回路から供給される駆動パルスに応じて出力端子１１０７及び１１０８より出力される。
【００１１】
撮像素子１１００から得られる２系統の画像信号は、アナログ信号処理部１１０９、１１１０によりアナログ信号処理を施された後でＡＤ変換され、黒レベル補正回路１１１１、１１１２及び黒レベル差検出回路１１１３に供給される。黒レベル差検出回路１１１３では、２系統の画像信号から黒レベルの差を検出し補正係数が計算される。
【００１２】
この補正係数は、黒レベル補正回路１１１１及び１１１２に供給され、上記補正係数に基づいて黒レベルの差が補正される。上記黒レベルの差の検出には、撮像素子１１００のオプティカルブラック画素の信号が用いられる。検出と補正値計算は、所定の時期に一度だけ実施し、得られた補正係数をメモリ１１２０に記憶することで、以後の撮影時には検出は行なわずにメモリ１１２０に記憶された補正係数により黒レベル差の補正が行われる。
【００１３】
次に、各信号は白レベル補正回路１１１４、１１１５、及び白レベル差検出回路１１１６に供給される。白レベル差検出回路１１１４では、２系統の画像信号から白レベルの差を検出し補正係数が計算される。この補正係数は黒白レベル補正回路１１１４、１１１５に供給され、上記補正係数に基づいて白レベルの差が補正される。
【００１４】
白レベルの差の検出には、撮像素子１１００に標準白レベルが得られるような一様な光を照射し、その時の画像信号が用いられる。検出と補正値計算は、所定の時期に一度だけ実施され、得られた補正係数をメモリ１１２１に記憶することで、以後の撮影時には検出は行なわずにメモリ１１２１に記憶された補正係数を用いて白レベル差の補正が行われる。
【００１５】
白レベル補正された信号は、画面合成回路１１１７にて左右の画像が一枚の画像として合成された後、カメラ信号処理回路１１１８にてγ補正処理、輪郭補正処理、色補正処理などを施され、輝度信号及び色差信号として出力端子１１１９より出力される。
【００１６】
【発明が解決しようとする課題】
しかしながら、上記従来例では、標準白画像を撮像するなど、決められた条件の下でしか補正係数が算出されないため、リアルタイム性に欠ける問題があった。このため、温度変動もしくは経時変動のような動的な変動、あるいは撮像光学系の合焦度の変動等に対応することができず、領域間の不均一性を十分に補正しきれない場合があった。
【００１７】
本発明は上述の問題点にかんがみてなされたもので、複数の撮像領域間の不均一性をリアルタイムに補正できるようにして、温度変動もしくは経時変動あるいは撮像光学系の合焦度の変動のような動的な変動にも対応できるようにすることを目的とする。
【００１８】
【課題を解決するための手段】
本発明の補正装置は、撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記撮像信号のレベルを検出する出力レベル検出手段と、前記複数の撮像信号のレベル差を小さくするための補正係数を決定する補正係数決定手段とを備え、前記補正係数決定手段は、前記出力レベル検出手段の検出結果から評価値を生成する評価値生成手段と、前記評価値生成手段によって生成された評価値を複数のフレーム間で平均する評価値平均化手段と、前記評価値平均化手段において平均化を行なうフレーム数を設定するフレーム数設定手段と、前記フレーム数設定手段により設定されたフレーム数分が平均化された評価値から、前記複数の撮像信号間のゲイン誤差を算出するゲイン誤差算出手段と、前記複数の撮像信号間における被写体依存のレベル差を許容するための閾値を設定する閾値設定手段と、前記ゲイン誤差算出手段により算出されたゲイン誤差が入力された際に、前記撮像信号間のゲイン誤差が前記閾値設定手段によって設定された閾値を超えた場合には所定の基準値を出力し、前記ゲイン誤差が前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理手段と、前記非線形処理手段から出力されたゲイン誤差に対して、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じた係数を掛け合わせる係数補正手段とを備え、前記補正係数決定手段は、前記係数補正手段によって係数が掛け合わされたゲイン誤差に基づいて補正係数を決定し、前記補正係数決定手段で決定した補正係数を前記レベル調整手段に与えて前記複数の撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする。
また、本発明の補正装置の他の特徴とするところは、撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記複数の撮像信号のレベルに基づいて前記複数の撮像信号間のゲイン誤差を算出し、前記算出したゲイン誤差に対して、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じた係数を掛け合わせ、前記係数を掛け合わせたゲイン誤差に基づいて前記複数の撮像信号のレベル差を小さくするための補正係数を決定する補正係数決定手段と、前記補正係数決定手段が第１の動作モードで動作中に、前記複数の撮像信号間のレベル差が第１の規定値よりも大きくなった場合には、前記結像光学系が非合焦状態になるように制御するとともに、前記補正係数決定手段の動作モードを第２の動作モードに移行させ、前記複数の撮像信号間のレベル差が第２の規定値よりも小さくなった場合には、前記補正係数決定手段の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御手段とを備え、前記補正係数決定手段で決定した補正係数を前記レベル調整手段に与えて前記複数の撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする。
【００１９】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の補正装置を撮像装置に適用した実施の形態について説明する。
（第１の実施の形態）
図１は、単板ビデオカメラに本発明を適用した実施の形態を概略的に示す図である。
図１において、１００は撮像領域が２分割され、それぞれに出力端子を持つＣＣＤエリアセンサ、１０１は光電変換部及び垂直転送部、１０３及び１０４は水平転送部であり、画面の中心を境にして左右方向に２分割されている。
【００２０】
１０５及び１０６は信号電荷を増幅する出力アンプであり、１０７及び１０８は撮像信号の出力端子（出力部）である。また、１０９及び１１０は相関２重サンプルとＡＤ変換を行なうアナログフロントエンドである。１１１及び１１２は黒レベルの検出及び補正手段、１１３及び１１４はゲインを調整するゲイン調整手段、１１５は２系統の画像信号を合成して１枚の画像を生成する画面合成手段である。黒レベルの検出及び補正手段１１１及び１１２とゲイン調整手段１１３及び１１４は、撮像信号のレベルを調整するレベル調整手段として機能する。
【００２１】
また、１１６は２系統間の不均一性を検出するための段差評価値生成手段、１１７はシステムの制御を行なうマイコン、１１８はカメラ信号処理手段、１１９は出力端子、１２０は書き換え可能な不揮発性メモリ、１２１は結像光学系である。
【００２２】
次に、前記構成における本実施の形態のビデオカメラの動作について説明する。
前記光学系１２１は、前記ＣＣＤ１００上に被写体像を結像させるためのものであり、マイコン１１７にフォーカス及び絞りの制御がなされる。
前記光学系１２１により前記ＣＣＤ１００上に結像された被写体像は、光電変換部１０１により電気信号に変換された後、水平転送部１０３及び１０４により２系統に分割されて出力アンプ１０５及び１０６に供給される。
本実施の形態及び後述の実施の形態では、ゲイン調整手段１１３、１１４、段差評価値生成手段１１６、及びマイコン１１７により、２系統間の不均一性を検出し、補正するための補正装置を構成している。
【００２３】
信号電荷は、出力アンプ１０５及び１０６で所定のレベルに増幅され、第１の出力端子１０７及び第２の出力端子１０８より出力される。以後、第１の出力端子１０７から得られる撮像信号を左チャンネル信号、第２の出力端子１０８から得られる撮像信号を右チャンネル信号と呼称することにする。
【００２４】
左右２系統の撮像信号は、アナログフロントエンド１０９、１１０により相関二重サンプル処理及びＡＤ変換された後、黒レベル検出及び補正手段１１１，１１２に供給される。黒レベル検出及び補正手段１１１，１１２では、撮像信号のうちダミー信号部分もしくはオプティカルブラック信号部分を用いて、２系統の撮像信号の黒レベルがそれぞれディジタルコードの「０」と一致するように黒レベル補正が行われる。これにより、２系統間のオフセット成分の誤差が除去されることになる。
【００２５】
黒レベルが補正された信号は、ゲイン調整手段１１３、１１４によりゲイン調整が施される。ゲイン調整時に適用されるゲインはマイコン１１７より供給される。従来の撮像装置では、低照度環境下での信号量のゲインアップを、アナログ回路により行なっていたが、本実施の形態のように２系統の撮像信号を取り扱う撮像装置では、アナログ回路によるゲイン調整は２系統間の不均一性の要因となりうる。よって、本実施の形態ではゲインの調整はゲイン調整手段１１３，１１４を用いてディジタル演算により行なうことで、回路のばらつきや経時変動、温度変動の影響を排除している。
【００２６】
また、画像の明るさのためのゲイン調整だけでなく、２系統間のゲイン誤差の補正もここで行なう。一般に、２系統間のゲインの差はＣＣＤエリアセンサ１００の出力レベルの大きさに依存する。
【００２７】
図３は、２系統間の出力レベルとチャンネル間におけるゲイン差の一例を示した特性図である。図３において、横軸はＣＣＤ１００の左チャンネル出力レベルであり、縦軸はゲイン調整手段１１４の入力信号(左チャンネル)とゲイン調整手段１１３の入力信号(右チャンネル)の信号との比、すなわち２系統間の信号レベルのゲイン差を表している。
【００２８】
例えば、ある明るさの被写体を撮像したときのＣＣＤ１００の左チャンネル出力レベルをL０、右チャンネル出力レベルをL０rightとすると、このときのゲイン差E０は次式（１）で与えられる。
E０ = L０right / L０・・・（１）式
【００２９】
この図で示されるように、信号レベルとゲイン差の関係が一定ではないので、ゲインの補正量は固定値ではなく、ゲインアップ量に応じて補正量を可変する必要がある。
【００３０】
本実施の形態では、ゲイン調整後の信号に対し基準レベルLrefを設定し、ゲインアップ量にかかわらず常に基準レベルLrefで２系統間のレベル差が０、すなわち各チャンネルの信号が基準レベルLrefに一致するようにゲイン補正を行なう。基準レベルLrefのレベルについては、基準白に対してγ補正後で７５％程度のグレーレベルが選ばれる。
【００３１】
例えば、ＣＣＤ１００の左チャンネル出力レベルがL０の時に、ゲイン調整手段１１４の出力レベルが基準レベルLrefになるようなゲインアップ量のとき、左チャンネルのゲイン調整手段１１４に与えるゲインA０は次式で表せる。
A０ = 基準レベルLref / L０・・・（２）式
【００３２】
また、このとき右チャンネルのゲイン調整手段１１３に与えるゲインA０rightは、ゲイン補正量をC０として、次式で表せる。
A０right = A０ x C０・・・（３）式
そして、C０は次式で求められる。
C０ = １.０ / E０・・・（４）式
【００３３】
同様に、ＣＣＤ１００の左チャンネル出力レベルがL１の時に、ゲイン調整手段１１４の出力レベルが基準レベルLrefになるようなゲインアップ量のときのゲイン補正量C１は次式で求められる。
C１ = １.０ / E１・・・（５）式
【００３４】
ゲインアップ量に対するゲイン補正量の特性例を図４示す。この補正特性は、ＣＣＤ１００もしくはアナログフロントエンド１０９、１１０の部品ごとに異なる。
【００３５】
次に、ゲイン補正特性の測定について述べる。
段差評価値生成手段１１６は、出力レベル検出手段として機能し、図２で後述するように分割領域の境界付近に指定した矩形領域内のフレームの画素値を検出し、その検出された結果を元に画面段差の評価値を算出しマイコン１１７に出力する。
【００３６】
図２に、画面内の矩形領域の例を示す。図２に示すように、２分割された領域２０１、２０２の境界近傍に、矩形領域２０３、２０４、すなわちフレーム数が設定される。この設定は図示しないフレーム数設定手段により設定されている。そして、この領域内の画素値が画面段差の評価に用いられる。
【００３７】
ＣＣＤ１００は、単板でカラー画像を撮像するために、オンチップカラーフィルタが画素部に貼られている。前記オンチップカラーフィルタは、例えば図２の２０５に示すような配列である。段差評価値生成手段１１６では、このうちの一色の画素値を選択して評価値を生成し、領域内でその評価値を平均化して平均値を計算し、これを画面段差の評価値としている。
【００３８】
ゲイン補正特性の測定時は、明るさが一様な被写体を撮像し、マイコン１１７よりゲイン調整手段１１３及び１１４に同一のゲイン乗数を設定して行なう。一方の矩形領域２０３内の画素の平均レベルを左チャンネルのレベルとするとともに、他方の矩形領域２０４内の画素の平均レベルを右チャンネルのレベルとして、マイコン１１７に出力する。
【００３９】
マイコン１１７では、左チャンネルのレベルを基準として右チャンネルのゲイン補正量を前述のように算出する。このような測定を、ＣＣＤ１００の出力レベルにおいて所定の間隔で行なうことにより、ゲイン補正特性を生成する。
【００４０】
マイコン１１７は、生成されたゲイン補正特性をEEPROM(Electrically Erasable Programmable Read Only Memory)などの書き換え可能な不揮発メモリ１２０に格納する。ゲイン補正特性の生成は、例えば工場調整時などに実行される。したがって、経時変動や温度変動などの動的な変動に対しては対応できずにゲイン差が誤差として残留する。
【００４１】
次に、一般撮影時における残留ゲイン誤差の補正に関して説明する。
図５は、撮像素子に被写体像を結像させる結像光学系の合焦度に基づいて補正係数を決定するとともに、その決定した補正係数をゲイン調整手段に与えてCCDエリアセンサの異なる出力端子から出力された各撮像信号のレベル差が少なくなるように調整を行なう補正係数決定手段であるマイコン１１７で実行される残留ゲイン誤差を補正するブロックの構成について示したものである。図５における信号A,B,C,Dは、図１における信号A,B,C,Dに対応しており、符号Aは左チャンネルの段差評価値、符号Bは右チャンネルの段差評価値、符号Cは左チャンネルのゲイン調整値、符号Dは右チャンネルのゲイン調整値である。
【００４２】
マイコン１１７に入力された左チャンネル段差評価値A及び右チャンネル段差評価値Bはゲイン誤差算出手段５０１に入力され、ゲイン誤差量Eが求められる。ゲイン誤差量Eは次式により得られる。
E = B/A・・・（６）式
【００４３】
ゲイン誤差算出手段５０１で得られるゲイン誤差量Eは、単純に画素レベルの比であり、チャンネル間の不均一性のみならず、被写体そのものが持つレベル差にも影響をうける。したがって、正しいゲイン誤差補正を行なうためには、被写体依存のレベル差成分を排除する必要がある。本実施の形態では、被写体依存のレベル差成分をリミッタ手段（閾値設定手段及び非線形処理手段）５０２及び積分手段５０３により排除している。
【００４４】
リミッタ手段（非線形処理手段）５０２の入出力特性を図６に示す。図６の原点はリミッタ入力＝リミッタ出力=１．０の点を表す。チャンネル間のレベルの比なので、ゲイン誤差のないときの値は１．０になる。
【００４５】
図６に示すように、レベル差の比が閾値THを超える場合には、リミッタ出力は１．０になる。閾値THは残留ゲイン誤差量と対応付けて前述した閾値設定手段により決定される。この処理により、レベル差が大きいものは被写体依存のレベル差とみなされて排除される。
【００４６】
図７に、積分手段５０３の内部構成を示す。入力信号Ｘ（０）は、引算手段７０２において所定時間遅延した信号Ｙ（−１）との差をとった後、係数器７０３にて係数ｋが乗ぜられる。係数器７０３の出力は、加算手段７０４にて遅延信号に加算され出力となる一方で遅延手段７０５に供給される。出力信号をＹ（０）として式で表すと次のようになる。
Ｙ（０）＝ｋＸ（０）＋（１−ｋ）Ｙ（−１） （０＜ｋ＜１）・・・（７）式
【００４７】
遅延時間は、ＣＣＤの垂直走査期間と等しい時間である。この処理により、過去１/kフレーム分の誤差量の平均値が得られる。通常、被写体は画角の中で長時間固定されるものではないので、複数のフレームで平均を取ることにより、被写体依存のレベル差成分は相殺され排除される。
【００４８】
係数制御手段７０１には、合焦度の情報が入力され、これにより、係数器７０３に与える係数ｋが制御される。係数制御に関しては後述する。
【００４９】
以上のような処理により、被写体によるレベル差が排除され、チャンネル間の不均一性に起因するゲイン誤差が抽出される。ゲイン誤差量は、次に補正量制御手段５０４にて係数が乗ぜられる。この係数は、ゲイン誤差補正ループのフィードバックゲインに相当する。ゲインが大きい場合は、補正能力は高くなるが、誤検出等の外乱に対して不安定になり、ゲインが小さい場合は外乱に対しては安定するが、補正能力は低くなる。
【００５０】
補正量制御手段５０４の出力は、ゲイン補正量計算手段５０６に供給される。ゲイン補正量計算手段５０６には、ゲイン補正特性テーブル５０５の出力も供給される。ゲイン補正特性テーブル５０５は、既に説明したゲイン補正特性をテーブル化したものであり、図４に例示するように、ゲインアップ量に対応してゲイン補正量が得られるものである。
【００５１】
ゲイン補正量計算手段で５０６では、これら２つの入力信号とゲインアップ量とを掛け合わすことにより、右チャンネルに対するゲイン調整値が実際に計算される。そして、このように計算されたゲイン調整値は、図１に示すゲイン調整手段１１３に供給される。ゲイン調整手段１１４には、ゲインアップ量そのものが供給される。
【００５２】
ゲイン調整後の信号は画面合成手段１１５及び段差評価値生成手段１１６に供給される。画面合成手段１１５では、２系統の信号を合成して１画面の画像としてカメラ信号処理回路１１８及びＡＦ評価値生成手段１２２に出力する。カメラ信号処理回路１１８ではγ補正、色補正、輪郭補正などの信号処理が為され画像信号として端子１１９より出力される。
【００５３】
一方ＡＦ評価値生成手段１２２では、画面のエッジ成分を抽出するなどの方法で合焦度判定に必要な評価値を生成しマイコン１１７に出力する。マイコン１１７ではこの評価値を用いて合焦度を判定しその結果に基づいて結像光学系１２１を制御することで、オートフォーカス動作が実現されている。なお、ＡＦ評価値の生成方法及び合焦度の判定方法については、本発明において本質的なものではないので詳細な説明は割愛する。
【００５４】
先に述べたように、一般撮影画像から左右画面のレベル差を測定する場合、外乱要素として被写体そのものの持つレベル変化が挙げられる。被写体そのものの持つレベル変化は合焦度により変化し、合焦状態で最大になる。本実施の形態では、この性質を利用して合焦度に応じて補正ループの特性の可変制御を行なうようにしている。
【００５５】
図１０は、合焦度に対する係数制御の特性を示したものであり、図７における係数制御手段（フレーム数制御手段）７０１の動作を表している。図１０において横軸は、合焦度であり右に行くほど合焦度が高くなる。また、縦軸は出力される係数を表している。合焦時の出力係数に対して、合焦度が低くなるにつれて係数値は増加する特性である。
【００５６】
このような制御により、被写体そのものの持つレベル差が撮像信号中にもっとも大きく発現すると考えられる合焦時には、平均化するフレーム数が多くなり、外乱(=被写体そのものの持つレベル差)に対して安定するような制御が行われる。また、反対に非合焦時には被写体そのものの持つレベル差が小さくなるので、ループの安定性よりも応答性を重視した制御が行われる。
【００５７】
（第２の実施の形態）
図８は、本発明の画像記録再生装置における実施の形態を概略的に示す図である。また、図９は本発明の第２の実施の形態の記録再生装置の動作を説明するためのフローチャートである。図９のフローチャートで示す動作は図８におけるマイコン８１７にて行われるものである。
【００５８】
図８において、撮像素子８００からカメラ信号処理手段８１８に至るまでの信号処理の流れについては、前述した第１の実施の形態と同様なので説明を割愛する。
【００５９】
カメラ信号処理手段８１８で処理された画像信号は記録再生手段８１９に供給される。この記録再生手段８１９では、不図示の記録媒体への記録及び記録媒体からの再生が行われる。記録再生手段８１９の出力画像信号は出力端子８２３により外部に出力される。
【００６０】
記録動作制御スイッチ８２４は、マイコン８１７に接続されており、画像記録再生装置の使用者はこのスイッチ８２４を押下することにより、記録動作（撮像動作）の開始及び停止の制御を行なうことができる。
【００６１】
次に、図９のフローチャートを用いて、本実施の形態の記録再生装置の撮像動作制御手段の動作の説明を行なう。
図９に示したように、ステップＳ９０１で処理が開始されると、次にステップＳ９０２では、左チャンネルと右チャンネルのレベルの差をとり、レベル差があらかじめ決められた規定値Aよりも大きい場合で、かつ記録再生手段８１９が記録停止中にあるか否かを判断する。
【００６２】
この判断の結果、そうである場合にはステップＳ９０３に進み、そうでない場合にはそのまま終了という条件分岐が実行される。
次のステップＳ９０３では、撮像光学系が合焦位置から大きく外れるように（非合焦状態に）制御を行なう。その後、ステップＳ９０４に進み、ゲイン補正の制御ループが高速引き込みモードで動作するように制御する。
【００６３】
前記高速引き込みモードとは、図５における補正量制御手段５０４で掛けられるフィードバックゲインの値を通常よりも大きくすることと、積分手段５０３で平均するフレーム数を少なくすることのどちらか一方もしくは双方を行なうことで、ゲイン補正の応答性を向上させた動作状態のことを指している。
【００６４】
次に、ステップＳ９０５において左右チャンネルのレベル差を評価し、レベル差が規定値Bよりも小さくなった場合、もしくは記録動作が開始された場合にはステップＳ９０６に進み、そうでない場合には高速引き込みモードの状態を継続させる。このときの規定値Bは、上で述べた規定値Aよりも小さい値にすることで、ヒステリシス特性をもたせる。
【００６５】
ステップＳ９０６では、ゲイン補正の制御ループを通常のモードで動作するように制御する。続いて、ステップＳ９０７において、フォーカス制御を通常どおりのオートフォーカスモードに復帰させ、一連の動作が終了する。この動作は、所定の周期で繰り返し実行される。
【００６６】
この制御により、検出される左右チャンネルのレベル差が大きくなり、被写体そのものの持つレベル差かどうか判別することが困難になった場合、結像光学系をぼけた状態に持っていくことで、被写体そのものの持つレベル差と左右チャンネル間の不均一性に起因するレベル差との判別が容易にできるようになる。
【００６７】
さらに、その状態を短時間で終了させるようゲイン補正ループの応答性を高くすることで、ボケた状態が長時間継続しない。
また、この動作を記録動作中には行なわないように制御することで、使用者が撮影チャンスを逃すことを防止することができる。
【００６８】
（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００６９】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７０】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７１】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【００７２】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行ない、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００７３】
本発明の実施態様の例を以下に列挙する。
〔実施態様１〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
前記複数の撮像信号のレベルを調整するためのレベル調整手段と、撮像素子に被写体像を結像させる結像光学系の合焦度に基づいて前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定手段とを備え、
前記補正係数決定手段により決定した補正係数を前記レベル調整手段に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正装置。
〔実施態様２〕 前記複数の撮像信号の出力レベルを検出する出力レベル検出手段を有し、
前記補正係数決定手段は、前記レベル検出結果に基づいて前記複数の撮像信号のレベル差が少なくなるように補正係数を決定することを特徴とする実施態様１に記載の補正装置。
【００７４】
〔実施態様３〕 前記出力レベル検出手段は、前記複数の撮像信号のうち所定の領域を選択するための領域選択手段と、前記選択領域選択手段により選択された領域内の平均レベルを算出する平均レベル算出手段とを含むことを特徴とする実施態様２に記載の補正装置。
【００７５】
〔実施態様４〕 前記出力レベル検出手段は、前記複数の撮像信号の中から所定の色信号を選択する色信号選択手段を備え、前記色信号選択手段により選択された色信号を用いて検出結果を生成することを特徴とする実施態様２または３に記載の補正装置。
【００７６】
〔実施態様５〕 前記補正係数決定手段は、複数の検出結果から各撮像信号間のゲイン誤差を算出するゲイン誤差算出手段と、前記複数の撮像信号中における被写体依存のレベル差成分を排除するための閾値を設定する閾値設定手段と、前記ゲイン誤差算出手段の信号が入力された際に、前記ゲイン誤差が前記閾値を超えた場合には基準値を出力するとともに、前記ゲイン誤差が前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理手段とを備え、前記非線形処理手段の出力信号に基づいて補正係数を決定することを特徴とする実施態様２〜４の何れか１項に記載の補正装置。
【００７７】
〔実施態様６〕 前記補正係数決定手段は、前記出力レベル検出手段の検出結果から評価値を生成する評価値生成手段と、前記評価値生成手段によって生成された評価値を複数のフレーム間で平均化する評価値平均化手段と、前記評価値平均化手段によって平均化を行なうフレーム数を設定するフレーム数設定手段とを備え、
前記フレーム数設定手段によって設定されたフレーム数分が平均化された評価値に基づいて補正係数を決定することを特徴とする実施態様２〜５の何れか１項に記載の補正装置。
【００７８】
〔実施態様７〕 前記評価値平均化手段において平均化を行なうフレーム数を、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じて可変制御するフレーム数制御手段を有することを特徴とする実施態様６に記載の補正装置。
【００７９】
〔実施態様８〕 前記補正装置において、前記補正係数決定手段が第１の動作モードで動作中に、各撮像信号間のレベル差が第１の規定値よりも大きくなった場合には前記結像光学系が非合焦状態になるように制御するとともに、前記補正係数決定手段の動作モードを第２の動作モードに移行させる制御を行い、各撮像信号間のレベル差が第２の規定値よりも小さくなった場合には、前記補正係数決定手段の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御手段を有することを特徴とする実施態様２〜７の何れか１項に記載の補正装置。
【００８０】
〔実施態様９〕 前記撮像動作制御による撮像制御動作を所定の間隔で繰り返し実行することを特徴とする実施態様８に記載の補正装置。
【００８１】
〔実施態様１０〕 前記第１の規定値よりも前記第２の規定値の方が小さいことを特徴とする実施態様８または９に記載の補正装置。
【００８２】
〔実施態様１１〕 前記補正係数決定手段の第１の動作モードは、前記第２の動作モードより応答性が低いことを特徴とする実施態様８〜１０の何れか１項に記載の補正装置。
【００８３】
〔実施態様１２〕 複数の撮像信号を出力する撮像素子を用い、前記撮像素子にて撮像した撮像信号を記録媒体に記録する画像記録再生装置であって、
前記複数の撮像信号のレベルをそれぞれ独立に調整するレベル調整手段と、前記複数のレベル調整手段の出力レベルを検出する出力レベル検出手段と、撮像光学系の合焦度を判定する合焦度判定手段と、前記出力レベル検出手段による出力レベル検出結果及び前記合焦度判定手段による合焦度判定結果に基づいて各撮像信号のレベルが等しくなるような補正係数を決定する補正係数決定手段とを備え、
前記補正係数を前記レベル調整手段に与えて各撮像信号のレベルが等しくなるような調整を行なうことを特徴とする画像記録再生装置。
【００８４】
〔実施態様１３〕 前記補正係数決定手段が第１の動作モードで動作中に、各撮像信号間のレベル差が第１の規定値よりも大きくなった場合で、かつ前記撮像信号を記録媒体に記録する記録手段が記録停止状態にある場合において、前記撮像素子に被写体像を結像させる結像光学系が非合焦状態になるように制御して、前記補正係数決定手段の動作モードを第２の動作モードに移行させる制御を行い、各撮像信号間のレベル差が第２の規定値よりも小さくなった場合、もしくは前記記録手段が記録動作状態にある場合には、前記補正係数決定手段の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御手段を有することを特徴とする実施態様１１に記載の画像記録再生装置。
【００８５】
〔実施態様１４〕 前記撮像動作制御手段は、前記制御動作を所定の間隔で繰り返し実行することを特徴とする実施態様１２に記載の画像記録再生装置。
【００８６】
〔実施態様１５〕 前記第１の規定値よりも前記第２の規定値の方が小さいことを特徴とする実施態様１２に記載の画像記録再生装置。
【００８７】
〔実施態様１６〕 前記補正係数決定手段の第１の動作モードは、第２の動作モードよりも応答性が低いことを特徴とする実施態様１２〜１４の何れか１項に記載の画像記録再生装置。
【００８８】
〔実施態様１７〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正方法であって、
前記複数の撮像信号のレベルを調整するためのレベル調整処理と、撮像素子に被写体像を結像させる結像光学系の合焦度に基づいて前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定処理とを有し、
前記補正係数決定処理により決定した補正係数を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正方法。
〔実施態様１８〕 前記複数の撮像信号の出力レベルを検出する出力レベル検出処理を有し、
前記補正係数決定処理は、前記レベル検出結果に基づいて前記複数の撮像信号のレベル差が少なくなるように補正係数を決定することを特徴とする実施態様１７に記載の補正方法。
【００８９】
〔実施態様１９〕 前記出力レベル検出処理は、前記複数の撮像信号のうち所定の領域を選択するための領域選択処理と、前記選択領域選択処理により選択された領域内の平均レベルを算出する平均レベル算出処理とを含むことを特徴とする実施態様１８に記載の補正方法。
【００９０】
〔実施態様２０〕 前記出力レベル検出処理は、前記複数の撮像信号の中から所定の色信号を選択する色信号選択処理を有し、前記色信号選択処理により選択された色信号を用いて検出結果を生成することを特徴とする実施態様１８または１９に記載の補正方法。
【００９１】
〔実施態様２１〕 前記補正係数決定処理は、複数の検出結果から各撮像信号間のゲイン誤差を算出するゲイン誤差算出処理と、前記複数の撮像信号中における被写体依存のレベル差成分を排除するための閾値を設定する閾値設定処理と、前記ゲイン誤差算出処理の信号が入力された際に、前記ゲイン誤差が前記閾値を超えた場合には基準値を出力するとともに、前記ゲイン誤差が前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理とを有し、
前記非線形処理の出力信号に基づいて補正係数を決定することを特徴とする実施態様１８〜２０の何れか１項に記載の補正方法。
【００９２】
〔実施態様２２〕 前記補正係数決定処理は、前記出力レベル検出処理の検出結果から評価値を生成する評価値生成処理と、前記評価値生成処理によって生成された評価値を複数のフレーム間で平均化する評価値平均化処理と、前記評価値平均化処理によって平均化を行なうフレーム数を設定するフレーム数設定処理とを有し、
前記フレーム数設定処理によって設定されたフレーム数分が平均化された評価値に基づいて補正係数を決定することを特徴とする実施態様１８〜２１の何れか１項に記載の補正方法。
【００９３】
〔実施態様２３〕 前記評価値平均化処理において平均化を行なうフレーム数を、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じて可変制御するフレーム数制御処理を有することを特徴とする実施態様２２に記載の補正方法。
【００９４】
〔実施態様２４〕 前記補正方法において、前記補正係数決定処理が第１の動作モードで動作中に、各撮像信号間のレベル差が第１の規定値よりも大きくなった場合には前記結像光学系が非合焦状態になるように制御するとともに、前記補正係数決定処理の動作モードを第２の動作モードに移行させる制御を行い、各撮像信号間のレベル差が第２の規定値よりも小さくなった場合には、前記補正係数決定処理の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御処理を有することを特徴とする実施態様１８〜２３の何れか１項に記載の補正方法。
【００９５】
〔実施態様２５〕 前記撮像動作制御による撮像制御動作を所定の間隔で繰り返し実行することを特徴とする実施態様２４に記載の補正方法。
【００９６】
〔実施態様２６〕 前記第１の規定値よりも前記第２の規定値の方が小さいことを特徴とする実施態様２４または２５に記載の補正方法。
【００９７】
〔実施態様２７〕 前記補正係数決定処理の第１の動作モードは、前記第２の動作モードより応答性が低いことを特徴とする実施態様２４〜２６の何れか１項に記載の補正方法。
【００９８】
〔実施態様２８〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正方法をコンピュータに実行させるプログラムであって、
前記複数の撮像信号のレベルを調整するためのレベル調整処理と、撮像素子に被写体像を結像させる結像光学系の合焦度に基づいて前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定処理とを有し、
前記補正係数決定処理により決定した補正係数を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるように調整を行なうことをコンピュータに実行させることを特徴とするコンピュータプログラム。
【００９９】
〔実施態様２９〕 前記実施態様２８に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１００】
【発明の効果】
以上説明してきたように、本発明によれば、複数の撮像領域間の不均一性をリアルタイムに補正することが可能になり、さらに、結像光学系の合焦度に応じて適応的な制御を行なうことができるとともに、被写体依存のレベル差成分を効果的に除去することができ、動的な変動が発生した場合にも画像中に現れる段差を見かけ上無くすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示し、本発明の補正装置をビデオカメラに適用した第１の実施の形態の構成を示すブロック図である。
【図２】分割画面境界部の矩形領域を示す図である。
【図３】ＣＣＤ出力レベルとチャンネル間のゲイン差を示す特性図である。
【図４】ゲインアップ量に対するゲイン補正特性を示す図である。
【図５】第１の実施の形態におけるゲイン調整値の計算手順を実行する手段の構成例を示すブロック図である。
【図６】第１の実施の形態におけるリミッタの入出力特性を示す図である。
【図７】第１の実施の形態における積分手段の構成例を示すブロック図である。
【図８】本発明の補正装置をビデオカメラに適用した第２の実施の形態を示し、記録再生装置の構成例を示すブロック図である。
【図９】第２の実施の形態における記録再生装置の動作を説明するフローチャートである。
【図１０】第２の実施の形態における係数制御特性を示し、合焦度に対する係数制御の特性を示した図である。
【図１１】従来例の撮像装置の一例を示すブロック図である。
【符号の説明】
１００ ＣＣＤエリアセンサ
１０１ 光電変換部及び垂直転送部
１０３、１０４ 水平転送部
１０５、１０６ 出力アンプ
１０７、１０８ 撮像信号の出力端子
１０９、１１０ アナログフロントエンド
１１１、１１２ 黒レベルの検出及び補正手段
１１３、１１４ ゲイン調整手段
１１５ 画面合成手段
１１６ 段差評価値生成手段
１１７ システムの制御を行なうマイコン
１１８ カメラ信号処理手段
１１９ 出力端子
１２０ 書き換え可能な不揮発性メモリ
１２１ 温度計
１２２ ＡＦ評価値生成手段
【発明の属する技術分野】
本発明は補正装置、及び撮像装置に関し、特に、撮像面が複数に分割され、それぞれの領域の撮像信号を増幅する増幅器と、この出力に接続された複数の撮像信号出力端子を備える固体撮像素子からの信号を補正する補正装置に用いて好適なものである。
【０００２】
【従来の技術】
近年、ディジタル信号処理技術及び半導体技術の進歩により、標準テレビ方式、例えばＮＴＳＣ方式やＰＡＬ方式の動画像信号をディジタル記録する民生用ディジタルビデオ規格が提案されており、その応用として、ディジタルビデオ記録再生装置と撮像装置とを一体化したディジタルビデオカメラが製品化されている。このようなディジタルビデオカメラでは、ディジタル記録という特徴を生かして、静止画記録機能を備えるものがある。
【０００３】
また、コンピュータ等と接続するためにディジタルI/Fを具備し、撮影した画像をコンピュータに取り込む機能を有するものもある。さらに、複数の記録媒体を具備し、画像の使用目的に応じて記録媒体を選択できるようになっている装置も実用化されている。
【０００４】
このような装置において、記録された画像をテレビに接続して再生する場合は、その画像サイズはディジタルビデオ規格で定められるもの、例えば７２０ｘ４８０画素でなんら問題は無いが、ディジタルI/Fを介して他のメディアに画像を転送する場合は、画質上の問題からより多くの画素数が要求される場合がある。
【０００５】
撮像素子の多画素化に伴い、撮像素子の全画素の情報を読み出すためにはより高い周波数で撮像素子を駆動する必要があり、全画素の情報を読み出すようにするとＳ／Ｎの劣化や消費電力の増大を招く問題があった。
【０００６】
そこで、撮像素子の駆動周波数を低く抑えたまま撮像情報のデータレートを上げる方法が考えられている。このような方法の一つとして、撮像面を複数の領域に分割し、それぞれの領域に独立した電荷転送部、増幅器及び出力端子を持たせ、撮像信号を並列に読み出す方法がある。
【０００７】
図１１に、上記のような撮像素子を用いた撮像装置の例を示す。図１１において、撮像素子１１００の撮像面は左右の２領域に分割されている。また、１１０１及び１１０２は光電変換及び垂直転送部であり、１１０３及び１１０４は水平転送部、１１０５及び１１０６は増幅器、１１０７及び１１０８は出力端子である。このような構造の撮像素子を用いることにより、撮像素子の駆動周波数に対し２倍のデータレートの撮像情報が得られる利点がある。
【０００８】
一方、この方法の欠点として、各領域の増幅器及び外部周辺回路の特性の不均一性により、２つの領域を合成して画像を生成した場合に、領域間のレベル差による境界線が生じるなどの画質劣化が発生する問題があった。
【０００９】
これらの不均一性による画質劣化を軽減する方法として、あらかじめ各領域の黒レベル及び標準白レベルを測定して補正係数を求めておき、撮像時にこの補正係数により不均一性の補正を行なう方法が考えられている。
【００１０】
図１１には、このような補正回路の構成例を示している。不図示の結像光学系により撮像素子１１００上に結像した被写体像は、撮像素子１１００により電気信号に変換され、不図示の駆動タイミング発生回路から供給される駆動パルスに応じて出力端子１１０７及び１１０８より出力される。
【００１１】
撮像素子１１００から得られる２系統の画像信号は、アナログ信号処理部１１０９、１１１０によりアナログ信号処理を施された後でＡＤ変換され、黒レベル補正回路１１１１、１１１２及び黒レベル差検出回路１１１３に供給される。黒レベル差検出回路１１１３では、２系統の画像信号から黒レベルの差を検出し補正係数が計算される。
【００１２】
この補正係数は、黒レベル補正回路１１１１及び１１１２に供給され、上記補正係数に基づいて黒レベルの差が補正される。上記黒レベルの差の検出には、撮像素子１１００のオプティカルブラック画素の信号が用いられる。検出と補正値計算は、所定の時期に一度だけ実施し、得られた補正係数をメモリ１１２０に記憶することで、以後の撮影時には検出は行なわずにメモリ１１２０に記憶された補正係数により黒レベル差の補正が行われる。
【００１３】
次に、各信号は白レベル補正回路１１１４、１１１５、及び白レベル差検出回路１１１６に供給される。白レベル差検出回路１１１４では、２系統の画像信号から白レベルの差を検出し補正係数が計算される。この補正係数は黒白レベル補正回路１１１４、１１１５に供給され、上記補正係数に基づいて白レベルの差が補正される。
【００１４】
白レベルの差の検出には、撮像素子１１００に標準白レベルが得られるような一様な光を照射し、その時の画像信号が用いられる。検出と補正値計算は、所定の時期に一度だけ実施され、得られた補正係数をメモリ１１２１に記憶することで、以後の撮影時には検出は行なわずにメモリ１１２１に記憶された補正係数を用いて白レベル差の補正が行われる。
【００１５】
白レベル補正された信号は、画面合成回路１１１７にて左右の画像が一枚の画像として合成された後、カメラ信号処理回路１１１８にてγ補正処理、輪郭補正処理、色補正処理などを施され、輝度信号及び色差信号として出力端子１１１９より出力される。
【００１６】
【発明が解決しようとする課題】
しかしながら、上記従来例では、標準白画像を撮像するなど、決められた条件の下でしか補正係数が算出されないため、リアルタイム性に欠ける問題があった。このため、温度変動もしくは経時変動のような動的な変動、あるいは撮像光学系の合焦度の変動等に対応することができず、領域間の不均一性を十分に補正しきれない場合があった。
【００１７】
本発明は上述の問題点にかんがみてなされたもので、複数の撮像領域間の不均一性をリアルタイムに補正できるようにして、温度変動もしくは経時変動あるいは撮像光学系の合焦度の変動のような動的な変動にも対応できるようにすることを目的とする。
【００１８】
【課題を解決するための手段】
本発明の補正装置は、撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記撮像信号のレベルを検出する出力レベル検出手段と、前記複数の撮像信号のレベル差を小さくするための補正係数を決定する補正係数決定手段とを備え、前記補正係数決定手段は、前記出力レベル検出手段の検出結果から評価値を生成する評価値生成手段と、前記評価値生成手段によって生成された評価値を複数のフレーム間で平均する評価値平均化手段と、前記評価値平均化手段において平均化を行なうフレーム数を設定するフレーム数設定手段と、前記フレーム数設定手段により設定されたフレーム数分が平均化された評価値から、前記複数の撮像信号間のゲイン誤差を算出するゲイン誤差算出手段と、前記複数の撮像信号間における被写体依存のレベル差を許容するための閾値を設定する閾値設定手段と、前記ゲイン誤差算出手段により算出されたゲイン誤差が入力された際に、前記撮像信号間のゲイン誤差が前記閾値設定手段によって設定された閾値を超えた場合には所定の基準値を出力し、前記ゲイン誤差が前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理手段と、前記非線形処理手段から出力されたゲイン誤差に対して、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じた係数を掛け合わせる係数補正手段とを備え、前記補正係数決定手段は、前記係数補正手段によって係数が掛け合わされたゲイン誤差に基づいて補正係数を決定し、前記補正係数決定手段で決定した補正係数を前記レベル調整手段に与えて前記複数の撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする。
また、本発明の補正装置の他の特徴とするところは、撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、前記複数の撮像信号のレベルを調整するためのレベル調整手段と、前記複数の撮像信号のレベルに基づいて前記複数の撮像信号間のゲイン誤差を算出し、前記算出したゲイン誤差に対して、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じた係数を掛け合わせ、前記係数を掛け合わせたゲイン誤差に基づいて前記複数の撮像信号のレベル差を小さくするための補正係数を決定する補正係数決定手段と、前記補正係数決定手段が第１の動作モードで動作中に、前記複数の撮像信号間のレベル差が第１の規定値よりも大きくなった場合には、前記結像光学系が非合焦状態になるように制御するとともに、前記補正係数決定手段の動作モードを第２の動作モードに移行させ、前記複数の撮像信号間のレベル差が第２の規定値よりも小さくなった場合には、前記補正係数決定手段の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御手段とを備え、前記補正係数決定手段で決定した補正係数を前記レベル調整手段に与えて前記複数の撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする。
【００１９】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の補正装置を撮像装置に適用した実施の形態について説明する。
（第１の実施の形態）
図１は、単板ビデオカメラに本発明を適用した実施の形態を概略的に示す図である。
図１において、１００は撮像領域が２分割され、それぞれに出力端子を持つＣＣＤエリアセンサ、１０１は光電変換部及び垂直転送部、１０３及び１０４は水平転送部であり、画面の中心を境にして左右方向に２分割されている。
【００２０】
１０５及び１０６は信号電荷を増幅する出力アンプであり、１０７及び１０８は撮像信号の出力端子（出力部）である。また、１０９及び１１０は相関２重サンプルとＡＤ変換を行なうアナログフロントエンドである。１１１及び１１２は黒レベルの検出及び補正手段、１１３及び１１４はゲインを調整するゲイン調整手段、１１５は２系統の画像信号を合成して１枚の画像を生成する画面合成手段である。黒レベルの検出及び補正手段１１１及び１１２とゲイン調整手段１１３及び１１４は、撮像信号のレベルを調整するレベル調整手段として機能する。
【００２１】
また、１１６は２系統間の不均一性を検出するための段差評価値生成手段、１１７はシステムの制御を行なうマイコン、１１８はカメラ信号処理手段、１１９は出力端子、１２０は書き換え可能な不揮発性メモリ、１２１は結像光学系である。
【００２２】
次に、前記構成における本実施の形態のビデオカメラの動作について説明する。
前記光学系１２１は、前記ＣＣＤ１００上に被写体像を結像させるためのものであり、マイコン１１７にフォーカス及び絞りの制御がなされる。
前記光学系１２１により前記ＣＣＤ１００上に結像された被写体像は、光電変換部１０１により電気信号に変換された後、水平転送部１０３及び１０４により２系統に分割されて出力アンプ１０５及び１０６に供給される。
本実施の形態及び後述の実施の形態では、ゲイン調整手段１１３、１１４、段差評価値生成手段１１６、及びマイコン１１７により、２系統間の不均一性を検出し、補正するための補正装置を構成している。
【００２３】
信号電荷は、出力アンプ１０５及び１０６で所定のレベルに増幅され、第１の出力端子１０７及び第２の出力端子１０８より出力される。以後、第１の出力端子１０７から得られる撮像信号を左チャンネル信号、第２の出力端子１０８から得られる撮像信号を右チャンネル信号と呼称することにする。
【００２４】
左右２系統の撮像信号は、アナログフロントエンド１０９、１１０により相関二重サンプル処理及びＡＤ変換された後、黒レベル検出及び補正手段１１１，１１２に供給される。黒レベル検出及び補正手段１１１，１１２では、撮像信号のうちダミー信号部分もしくはオプティカルブラック信号部分を用いて、２系統の撮像信号の黒レベルがそれぞれディジタルコードの「０」と一致するように黒レベル補正が行われる。これにより、２系統間のオフセット成分の誤差が除去されることになる。
【００２５】
黒レベルが補正された信号は、ゲイン調整手段１１３、１１４によりゲイン調整が施される。ゲイン調整時に適用されるゲインはマイコン１１７より供給される。従来の撮像装置では、低照度環境下での信号量のゲインアップを、アナログ回路により行なっていたが、本実施の形態のように２系統の撮像信号を取り扱う撮像装置では、アナログ回路によるゲイン調整は２系統間の不均一性の要因となりうる。よって、本実施の形態ではゲインの調整はゲイン調整手段１１３，１１４を用いてディジタル演算により行なうことで、回路のばらつきや経時変動、温度変動の影響を排除している。
【００２６】
また、画像の明るさのためのゲイン調整だけでなく、２系統間のゲイン誤差の補正もここで行なう。一般に、２系統間のゲインの差はＣＣＤエリアセンサ１００の出力レベルの大きさに依存する。
【００２７】
図３は、２系統間の出力レベルとチャンネル間におけるゲイン差の一例を示した特性図である。図３において、横軸はＣＣＤ１００の左チャンネル出力レベルであり、縦軸はゲイン調整手段１１４の入力信号(左チャンネル)とゲイン調整手段１１３の入力信号(右チャンネル)の信号との比、すなわち２系統間の信号レベルのゲイン差を表している。
【００２８】
例えば、ある明るさの被写体を撮像したときのＣＣＤ１００の左チャンネル出力レベルをL０、右チャンネル出力レベルをL０rightとすると、このときのゲイン差E０は次式（１）で与えられる。
E０ = L０right / L０・・・（１）式
【００２９】
この図で示されるように、信号レベルとゲイン差の関係が一定ではないので、ゲインの補正量は固定値ではなく、ゲインアップ量に応じて補正量を可変する必要がある。
【００３０】
本実施の形態では、ゲイン調整後の信号に対し基準レベルLrefを設定し、ゲインアップ量にかかわらず常に基準レベルLrefで２系統間のレベル差が０、すなわち各チャンネルの信号が基準レベルLrefに一致するようにゲイン補正を行なう。基準レベルLrefのレベルについては、基準白に対してγ補正後で７５％程度のグレーレベルが選ばれる。
【００３１】
例えば、ＣＣＤ１００の左チャンネル出力レベルがL０の時に、ゲイン調整手段１１４の出力レベルが基準レベルLrefになるようなゲインアップ量のとき、左チャンネルのゲイン調整手段１１４に与えるゲインA０は次式で表せる。
A０ = 基準レベルLref / L０・・・（２）式
【００３２】
また、このとき右チャンネルのゲイン調整手段１１３に与えるゲインA０rightは、ゲイン補正量をC０として、次式で表せる。
A０right = A０ x C０・・・（３）式
そして、C０は次式で求められる。
C０ = １.０ / E０・・・（４）式
【００３３】
同様に、ＣＣＤ１００の左チャンネル出力レベルがL１の時に、ゲイン調整手段１１４の出力レベルが基準レベルLrefになるようなゲインアップ量のときのゲイン補正量C１は次式で求められる。
C１ = １.０ / E１・・・（５）式
【００３４】
ゲインアップ量に対するゲイン補正量の特性例を図４示す。この補正特性は、ＣＣＤ１００もしくはアナログフロントエンド１０９、１１０の部品ごとに異なる。
【００３５】
次に、ゲイン補正特性の測定について述べる。
段差評価値生成手段１１６は、出力レベル検出手段として機能し、図２で後述するように分割領域の境界付近に指定した矩形領域内のフレームの画素値を検出し、その検出された結果を元に画面段差の評価値を算出しマイコン１１７に出力する。
【００３６】
図２に、画面内の矩形領域の例を示す。図２に示すように、２分割された領域２０１、２０２の境界近傍に、矩形領域２０３、２０４、すなわちフレーム数が設定される。この設定は図示しないフレーム数設定手段により設定されている。そして、この領域内の画素値が画面段差の評価に用いられる。
【００３７】
ＣＣＤ１００は、単板でカラー画像を撮像するために、オンチップカラーフィルタが画素部に貼られている。前記オンチップカラーフィルタは、例えば図２の２０５に示すような配列である。段差評価値生成手段１１６では、このうちの一色の画素値を選択して評価値を生成し、領域内でその評価値を平均化して平均値を計算し、これを画面段差の評価値としている。
【００３８】
ゲイン補正特性の測定時は、明るさが一様な被写体を撮像し、マイコン１１７よりゲイン調整手段１１３及び１１４に同一のゲイン乗数を設定して行なう。一方の矩形領域２０３内の画素の平均レベルを左チャンネルのレベルとするとともに、他方の矩形領域２０４内の画素の平均レベルを右チャンネルのレベルとして、マイコン１１７に出力する。
【００３９】
マイコン１１７では、左チャンネルのレベルを基準として右チャンネルのゲイン補正量を前述のように算出する。このような測定を、ＣＣＤ１００の出力レベルにおいて所定の間隔で行なうことにより、ゲイン補正特性を生成する。
【００４０】
マイコン１１７は、生成されたゲイン補正特性をEEPROM(Electrically Erasable Programmable Read Only Memory)などの書き換え可能な不揮発メモリ１２０に格納する。ゲイン補正特性の生成は、例えば工場調整時などに実行される。したがって、経時変動や温度変動などの動的な変動に対しては対応できずにゲイン差が誤差として残留する。
【００４１】
次に、一般撮影時における残留ゲイン誤差の補正に関して説明する。
図５は、撮像素子に被写体像を結像させる結像光学系の合焦度に基づいて補正係数を決定するとともに、その決定した補正係数をゲイン調整手段に与えてCCDエリアセンサの異なる出力端子から出力された各撮像信号のレベル差が少なくなるように調整を行なう補正係数決定手段であるマイコン１１７で実行される残留ゲイン誤差を補正するブロックの構成について示したものである。図５における信号A,B,C,Dは、図１における信号A,B,C,Dに対応しており、符号Aは左チャンネルの段差評価値、符号Bは右チャンネルの段差評価値、符号Cは左チャンネルのゲイン調整値、符号Dは右チャンネルのゲイン調整値である。
【００４２】
マイコン１１７に入力された左チャンネル段差評価値A及び右チャンネル段差評価値Bはゲイン誤差算出手段５０１に入力され、ゲイン誤差量Eが求められる。ゲイン誤差量Eは次式により得られる。
E = B/A・・・（６）式
【００４３】
ゲイン誤差算出手段５０１で得られるゲイン誤差量Eは、単純に画素レベルの比であり、チャンネル間の不均一性のみならず、被写体そのものが持つレベル差にも影響をうける。したがって、正しいゲイン誤差補正を行なうためには、被写体依存のレベル差成分を排除する必要がある。本実施の形態では、被写体依存のレベル差成分をリミッタ手段（閾値設定手段及び非線形処理手段）５０２及び積分手段５０３により排除している。
【００４４】
リミッタ手段（非線形処理手段）５０２の入出力特性を図６に示す。図６の原点はリミッタ入力＝リミッタ出力=１．０の点を表す。チャンネル間のレベルの比なので、ゲイン誤差のないときの値は１．０になる。
【００４５】
図６に示すように、レベル差の比が閾値THを超える場合には、リミッタ出力は１．０になる。閾値THは残留ゲイン誤差量と対応付けて前述した閾値設定手段により決定される。この処理により、レベル差が大きいものは被写体依存のレベル差とみなされて排除される。
【００４６】
図７に、積分手段５０３の内部構成を示す。入力信号Ｘ（０）は、引算手段７０２において所定時間遅延した信号Ｙ（−１）との差をとった後、係数器７０３にて係数ｋが乗ぜられる。係数器７０３の出力は、加算手段７０４にて遅延信号に加算され出力となる一方で遅延手段７０５に供給される。出力信号をＹ（０）として式で表すと次のようになる。
Ｙ（０）＝ｋＸ（０）＋（１−ｋ）Ｙ（−１） （０＜ｋ＜１）・・・（７）式
【００４７】
遅延時間は、ＣＣＤの垂直走査期間と等しい時間である。この処理により、過去１/kフレーム分の誤差量の平均値が得られる。通常、被写体は画角の中で長時間固定されるものではないので、複数のフレームで平均を取ることにより、被写体依存のレベル差成分は相殺され排除される。
【００４８】
係数制御手段７０１には、合焦度の情報が入力され、これにより、係数器７０３に与える係数ｋが制御される。係数制御に関しては後述する。
【００４９】
以上のような処理により、被写体によるレベル差が排除され、チャンネル間の不均一性に起因するゲイン誤差が抽出される。ゲイン誤差量は、次に補正量制御手段５０４にて係数が乗ぜられる。この係数は、ゲイン誤差補正ループのフィードバックゲインに相当する。ゲインが大きい場合は、補正能力は高くなるが、誤検出等の外乱に対して不安定になり、ゲインが小さい場合は外乱に対しては安定するが、補正能力は低くなる。
【００５０】
補正量制御手段５０４の出力は、ゲイン補正量計算手段５０６に供給される。ゲイン補正量計算手段５０６には、ゲイン補正特性テーブル５０５の出力も供給される。ゲイン補正特性テーブル５０５は、既に説明したゲイン補正特性をテーブル化したものであり、図４に例示するように、ゲインアップ量に対応してゲイン補正量が得られるものである。
【００５１】
ゲイン補正量計算手段で５０６では、これら２つの入力信号とゲインアップ量とを掛け合わすことにより、右チャンネルに対するゲイン調整値が実際に計算される。そして、このように計算されたゲイン調整値は、図１に示すゲイン調整手段１１３に供給される。ゲイン調整手段１１４には、ゲインアップ量そのものが供給される。
【００５２】
ゲイン調整後の信号は画面合成手段１１５及び段差評価値生成手段１１６に供給される。画面合成手段１１５では、２系統の信号を合成して１画面の画像としてカメラ信号処理回路１１８及びＡＦ評価値生成手段１２２に出力する。カメラ信号処理回路１１８ではγ補正、色補正、輪郭補正などの信号処理が為され画像信号として端子１１９より出力される。
【００５３】
一方ＡＦ評価値生成手段１２２では、画面のエッジ成分を抽出するなどの方法で合焦度判定に必要な評価値を生成しマイコン１１７に出力する。マイコン１１７ではこの評価値を用いて合焦度を判定しその結果に基づいて結像光学系１２１を制御することで、オートフォーカス動作が実現されている。なお、ＡＦ評価値の生成方法及び合焦度の判定方法については、本発明において本質的なものではないので詳細な説明は割愛する。
【００５４】
先に述べたように、一般撮影画像から左右画面のレベル差を測定する場合、外乱要素として被写体そのものの持つレベル変化が挙げられる。被写体そのものの持つレベル変化は合焦度により変化し、合焦状態で最大になる。本実施の形態では、この性質を利用して合焦度に応じて補正ループの特性の可変制御を行なうようにしている。
【００５５】
図１０は、合焦度に対する係数制御の特性を示したものであり、図７における係数制御手段（フレーム数制御手段）７０１の動作を表している。図１０において横軸は、合焦度であり右に行くほど合焦度が高くなる。また、縦軸は出力される係数を表している。合焦時の出力係数に対して、合焦度が低くなるにつれて係数値は増加する特性である。
【００５６】
このような制御により、被写体そのものの持つレベル差が撮像信号中にもっとも大きく発現すると考えられる合焦時には、平均化するフレーム数が多くなり、外乱(=被写体そのものの持つレベル差)に対して安定するような制御が行われる。また、反対に非合焦時には被写体そのものの持つレベル差が小さくなるので、ループの安定性よりも応答性を重視した制御が行われる。
【００５７】
（第２の実施の形態）
図８は、本発明の画像記録再生装置における実施の形態を概略的に示す図である。また、図９は本発明の第２の実施の形態の記録再生装置の動作を説明するためのフローチャートである。図９のフローチャートで示す動作は図８におけるマイコン８１７にて行われるものである。
【００５８】
図８において、撮像素子８００からカメラ信号処理手段８１８に至るまでの信号処理の流れについては、前述した第１の実施の形態と同様なので説明を割愛する。
【００５９】
カメラ信号処理手段８１８で処理された画像信号は記録再生手段８１９に供給される。この記録再生手段８１９では、不図示の記録媒体への記録及び記録媒体からの再生が行われる。記録再生手段８１９の出力画像信号は出力端子８２３により外部に出力される。
【００６０】
記録動作制御スイッチ８２４は、マイコン８１７に接続されており、画像記録再生装置の使用者はこのスイッチ８２４を押下することにより、記録動作（撮像動作）の開始及び停止の制御を行なうことができる。
【００６１】
次に、図９のフローチャートを用いて、本実施の形態の記録再生装置の撮像動作制御手段の動作の説明を行なう。
図９に示したように、ステップＳ９０１で処理が開始されると、次にステップＳ９０２では、左チャンネルと右チャンネルのレベルの差をとり、レベル差があらかじめ決められた規定値Aよりも大きい場合で、かつ記録再生手段８１９が記録停止中にあるか否かを判断する。
【００６２】
この判断の結果、そうである場合にはステップＳ９０３に進み、そうでない場合にはそのまま終了という条件分岐が実行される。
次のステップＳ９０３では、撮像光学系が合焦位置から大きく外れるように（非合焦状態に）制御を行なう。その後、ステップＳ９０４に進み、ゲイン補正の制御ループが高速引き込みモードで動作するように制御する。
【００６３】
前記高速引き込みモードとは、図５における補正量制御手段５０４で掛けられるフィードバックゲインの値を通常よりも大きくすることと、積分手段５０３で平均するフレーム数を少なくすることのどちらか一方もしくは双方を行なうことで、ゲイン補正の応答性を向上させた動作状態のことを指している。
【００６４】
次に、ステップＳ９０５において左右チャンネルのレベル差を評価し、レベル差が規定値Bよりも小さくなった場合、もしくは記録動作が開始された場合にはステップＳ９０６に進み、そうでない場合には高速引き込みモードの状態を継続させる。このときの規定値Bは、上で述べた規定値Aよりも小さい値にすることで、ヒステリシス特性をもたせる。
【００６５】
ステップＳ９０６では、ゲイン補正の制御ループを通常のモードで動作するように制御する。続いて、ステップＳ９０７において、フォーカス制御を通常どおりのオートフォーカスモードに復帰させ、一連の動作が終了する。この動作は、所定の周期で繰り返し実行される。
【００６６】
この制御により、検出される左右チャンネルのレベル差が大きくなり、被写体そのものの持つレベル差かどうか判別することが困難になった場合、結像光学系をぼけた状態に持っていくことで、被写体そのものの持つレベル差と左右チャンネル間の不均一性に起因するレベル差との判別が容易にできるようになる。
【００６７】
さらに、その状態を短時間で終了させるようゲイン補正ループの応答性を高くすることで、ボケた状態が長時間継続しない。
また、この動作を記録動作中には行なわないように制御することで、使用者が撮影チャンスを逃すことを防止することができる。
【００６８】
（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００６９】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７０】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７１】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【００７２】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行ない、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００７３】
本発明の実施態様の例を以下に列挙する。
〔実施態様１〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
前記複数の撮像信号のレベルを調整するためのレベル調整手段と、撮像素子に被写体像を結像させる結像光学系の合焦度に基づいて前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定手段とを備え、
前記補正係数決定手段により決定した補正係数を前記レベル調整手段に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正装置。
〔実施態様２〕 前記複数の撮像信号の出力レベルを検出する出力レベル検出手段を有し、
前記補正係数決定手段は、前記レベル検出結果に基づいて前記複数の撮像信号のレベル差が少なくなるように補正係数を決定することを特徴とする実施態様１に記載の補正装置。
【００７４】
〔実施態様３〕 前記出力レベル検出手段は、前記複数の撮像信号のうち所定の領域を選択するための領域選択手段と、前記選択領域選択手段により選択された領域内の平均レベルを算出する平均レベル算出手段とを含むことを特徴とする実施態様２に記載の補正装置。
【００７５】
〔実施態様４〕 前記出力レベル検出手段は、前記複数の撮像信号の中から所定の色信号を選択する色信号選択手段を備え、前記色信号選択手段により選択された色信号を用いて検出結果を生成することを特徴とする実施態様２または３に記載の補正装置。
【００７６】
〔実施態様５〕 前記補正係数決定手段は、複数の検出結果から各撮像信号間のゲイン誤差を算出するゲイン誤差算出手段と、前記複数の撮像信号中における被写体依存のレベル差成分を排除するための閾値を設定する閾値設定手段と、前記ゲイン誤差算出手段の信号が入力された際に、前記ゲイン誤差が前記閾値を超えた場合には基準値を出力するとともに、前記ゲイン誤差が前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理手段とを備え、前記非線形処理手段の出力信号に基づいて補正係数を決定することを特徴とする実施態様２〜４の何れか１項に記載の補正装置。
【００７７】
〔実施態様６〕 前記補正係数決定手段は、前記出力レベル検出手段の検出結果から評価値を生成する評価値生成手段と、前記評価値生成手段によって生成された評価値を複数のフレーム間で平均化する評価値平均化手段と、前記評価値平均化手段によって平均化を行なうフレーム数を設定するフレーム数設定手段とを備え、
前記フレーム数設定手段によって設定されたフレーム数分が平均化された評価値に基づいて補正係数を決定することを特徴とする実施態様２〜５の何れか１項に記載の補正装置。
【００７８】
〔実施態様７〕 前記評価値平均化手段において平均化を行なうフレーム数を、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じて可変制御するフレーム数制御手段を有することを特徴とする実施態様６に記載の補正装置。
【００７９】
〔実施態様８〕 前記補正装置において、前記補正係数決定手段が第１の動作モードで動作中に、各撮像信号間のレベル差が第１の規定値よりも大きくなった場合には前記結像光学系が非合焦状態になるように制御するとともに、前記補正係数決定手段の動作モードを第２の動作モードに移行させる制御を行い、各撮像信号間のレベル差が第２の規定値よりも小さくなった場合には、前記補正係数決定手段の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御手段を有することを特徴とする実施態様２〜７の何れか１項に記載の補正装置。
【００８０】
〔実施態様９〕 前記撮像動作制御による撮像制御動作を所定の間隔で繰り返し実行することを特徴とする実施態様８に記載の補正装置。
【００８１】
〔実施態様１０〕 前記第１の規定値よりも前記第２の規定値の方が小さいことを特徴とする実施態様８または９に記載の補正装置。
【００８２】
〔実施態様１１〕 前記補正係数決定手段の第１の動作モードは、前記第２の動作モードより応答性が低いことを特徴とする実施態様８〜１０の何れか１項に記載の補正装置。
【００８３】
〔実施態様１２〕 複数の撮像信号を出力する撮像素子を用い、前記撮像素子にて撮像した撮像信号を記録媒体に記録する画像記録再生装置であって、
前記複数の撮像信号のレベルをそれぞれ独立に調整するレベル調整手段と、前記複数のレベル調整手段の出力レベルを検出する出力レベル検出手段と、撮像光学系の合焦度を判定する合焦度判定手段と、前記出力レベル検出手段による出力レベル検出結果及び前記合焦度判定手段による合焦度判定結果に基づいて各撮像信号のレベルが等しくなるような補正係数を決定する補正係数決定手段とを備え、
前記補正係数を前記レベル調整手段に与えて各撮像信号のレベルが等しくなるような調整を行なうことを特徴とする画像記録再生装置。
【００８４】
〔実施態様１３〕 前記補正係数決定手段が第１の動作モードで動作中に、各撮像信号間のレベル差が第１の規定値よりも大きくなった場合で、かつ前記撮像信号を記録媒体に記録する記録手段が記録停止状態にある場合において、前記撮像素子に被写体像を結像させる結像光学系が非合焦状態になるように制御して、前記補正係数決定手段の動作モードを第２の動作モードに移行させる制御を行い、各撮像信号間のレベル差が第２の規定値よりも小さくなった場合、もしくは前記記録手段が記録動作状態にある場合には、前記補正係数決定手段の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御手段を有することを特徴とする実施態様１１に記載の画像記録再生装置。
【００８５】
〔実施態様１４〕 前記撮像動作制御手段は、前記制御動作を所定の間隔で繰り返し実行することを特徴とする実施態様１２に記載の画像記録再生装置。
【００８６】
〔実施態様１５〕 前記第１の規定値よりも前記第２の規定値の方が小さいことを特徴とする実施態様１２に記載の画像記録再生装置。
【００８７】
〔実施態様１６〕 前記補正係数決定手段の第１の動作モードは、第２の動作モードよりも応答性が低いことを特徴とする実施態様１２〜１４の何れか１項に記載の画像記録再生装置。
【００８８】
〔実施態様１７〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正方法であって、
前記複数の撮像信号のレベルを調整するためのレベル調整処理と、撮像素子に被写体像を結像させる結像光学系の合焦度に基づいて前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定処理とを有し、
前記補正係数決定処理により決定した補正係数を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正方法。
〔実施態様１８〕 前記複数の撮像信号の出力レベルを検出する出力レベル検出処理を有し、
前記補正係数決定処理は、前記レベル検出結果に基づいて前記複数の撮像信号のレベル差が少なくなるように補正係数を決定することを特徴とする実施態様１７に記載の補正方法。
【００８９】
〔実施態様１９〕 前記出力レベル検出処理は、前記複数の撮像信号のうち所定の領域を選択するための領域選択処理と、前記選択領域選択処理により選択された領域内の平均レベルを算出する平均レベル算出処理とを含むことを特徴とする実施態様１８に記載の補正方法。
【００９０】
〔実施態様２０〕 前記出力レベル検出処理は、前記複数の撮像信号の中から所定の色信号を選択する色信号選択処理を有し、前記色信号選択処理により選択された色信号を用いて検出結果を生成することを特徴とする実施態様１８または１９に記載の補正方法。
【００９１】
〔実施態様２１〕 前記補正係数決定処理は、複数の検出結果から各撮像信号間のゲイン誤差を算出するゲイン誤差算出処理と、前記複数の撮像信号中における被写体依存のレベル差成分を排除するための閾値を設定する閾値設定処理と、前記ゲイン誤差算出処理の信号が入力された際に、前記ゲイン誤差が前記閾値を超えた場合には基準値を出力するとともに、前記ゲイン誤差が前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理とを有し、
前記非線形処理の出力信号に基づいて補正係数を決定することを特徴とする実施態様１８〜２０の何れか１項に記載の補正方法。
【００９２】
〔実施態様２２〕 前記補正係数決定処理は、前記出力レベル検出処理の検出結果から評価値を生成する評価値生成処理と、前記評価値生成処理によって生成された評価値を複数のフレーム間で平均化する評価値平均化処理と、前記評価値平均化処理によって平均化を行なうフレーム数を設定するフレーム数設定処理とを有し、
前記フレーム数設定処理によって設定されたフレーム数分が平均化された評価値に基づいて補正係数を決定することを特徴とする実施態様１８〜２１の何れか１項に記載の補正方法。
【００９３】
〔実施態様２３〕 前記評価値平均化処理において平均化を行なうフレーム数を、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じて可変制御するフレーム数制御処理を有することを特徴とする実施態様２２に記載の補正方法。
【００９４】
〔実施態様２４〕 前記補正方法において、前記補正係数決定処理が第１の動作モードで動作中に、各撮像信号間のレベル差が第１の規定値よりも大きくなった場合には前記結像光学系が非合焦状態になるように制御するとともに、前記補正係数決定処理の動作モードを第２の動作モードに移行させる制御を行い、各撮像信号間のレベル差が第２の規定値よりも小さくなった場合には、前記補正係数決定処理の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御処理を有することを特徴とする実施態様１８〜２３の何れか１項に記載の補正方法。
【００９５】
〔実施態様２５〕 前記撮像動作制御による撮像制御動作を所定の間隔で繰り返し実行することを特徴とする実施態様２４に記載の補正方法。
【００９６】
〔実施態様２６〕 前記第１の規定値よりも前記第２の規定値の方が小さいことを特徴とする実施態様２４または２５に記載の補正方法。
【００９７】
〔実施態様２７〕 前記補正係数決定処理の第１の動作モードは、前記第２の動作モードより応答性が低いことを特徴とする実施態様２４〜２６の何れか１項に記載の補正方法。
【００９８】
〔実施態様２８〕 撮像素子の複数の出力部からの複数の撮像信号を補正する補正方法をコンピュータに実行させるプログラムであって、
前記複数の撮像信号のレベルを調整するためのレベル調整処理と、撮像素子に被写体像を結像させる結像光学系の合焦度に基づいて前記複数の撮像信号のレベル差が小さくなるための補正係数を決定する補正係数決定処理とを有し、
前記補正係数決定処理により決定した補正係数を前記レベル調整処理に与えて各撮像信号のレベル差が小さくなるように調整を行なうことをコンピュータに実行させることを特徴とするコンピュータプログラム。
【００９９】
〔実施態様２９〕 前記実施態様２８に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１００】
【発明の効果】
以上説明してきたように、本発明によれば、複数の撮像領域間の不均一性をリアルタイムに補正することが可能になり、さらに、結像光学系の合焦度に応じて適応的な制御を行なうことができるとともに、被写体依存のレベル差成分を効果的に除去することができ、動的な変動が発生した場合にも画像中に現れる段差を見かけ上無くすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示し、本発明の補正装置をビデオカメラに適用した第１の実施の形態の構成を示すブロック図である。
【図２】分割画面境界部の矩形領域を示す図である。
【図３】ＣＣＤ出力レベルとチャンネル間のゲイン差を示す特性図である。
【図４】ゲインアップ量に対するゲイン補正特性を示す図である。
【図５】第１の実施の形態におけるゲイン調整値の計算手順を実行する手段の構成例を示すブロック図である。
【図６】第１の実施の形態におけるリミッタの入出力特性を示す図である。
【図７】第１の実施の形態における積分手段の構成例を示すブロック図である。
【図８】本発明の補正装置をビデオカメラに適用した第２の実施の形態を示し、記録再生装置の構成例を示すブロック図である。
【図９】第２の実施の形態における記録再生装置の動作を説明するフローチャートである。
【図１０】第２の実施の形態における係数制御特性を示し、合焦度に対する係数制御の特性を示した図である。
【図１１】従来例の撮像装置の一例を示すブロック図である。
【符号の説明】
１００ ＣＣＤエリアセンサ
１０１ 光電変換部及び垂直転送部
１０３、１０４ 水平転送部
１０５、１０６ 出力アンプ
１０７、１０８ 撮像信号の出力端子
１０９、１１０ アナログフロントエンド
１１１、１１２ 黒レベルの検出及び補正手段
１１３、１１４ ゲイン調整手段
１１５ 画面合成手段
１１６ 段差評価値生成手段
１１７ システムの制御を行なうマイコン
１１８ カメラ信号処理手段
１１９ 出力端子
１２０ 書き換え可能な不揮発性メモリ
１２１ 温度計
１２２ ＡＦ評価値生成手段
Claims (7)
- 撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
前記複数の撮像信号のレベルを調整するためのレベル調整手段と、
前記撮像信号のレベルを検出する出力レベル検出手段と、
前記複数の撮像信号のレベル差を小さくするための補正係数を決定する補正係数決定手段とを備え、
前記補正係数決定手段は、前記出力レベル検出手段の検出結果から評価値を生成する評価値生成手段と、
前記評価値生成手段によって生成された評価値を複数のフレーム間で平均する評価値平均化手段と、
前記評価値平均化手段において平均化を行なうフレーム数を設定するフレーム数設定手段と、
前記フレーム数設定手段により設定されたフレーム数分が平均化された評価値から、前記複数の撮像信号間のゲイン誤差を算出するゲイン誤差算出手段と、
前記複数の撮像信号間における被写体依存のレベル差を許容するための閾値を設定する閾値設定手段と、
前記ゲイン誤差算出手段により算出されたゲイン誤差が入力された際に、前記撮像信号間のゲイン誤差が前記閾値設定手段によって設定された閾値を超えた場合には所定の基準値を出力し、前記ゲイン誤差が前記閾値を超えない場合には入力されたゲイン誤差をそのまま出力する非線形処理手段と、
前記非線形処理手段から出力されたゲイン誤差に対して、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じた係数を掛け合わせる係数補正手段とを備え、
前記補正係数決定手段は、前記係数補正手段によって係数が掛け合わされたゲイン誤差に基づいて補正係数を決定し、
前記補正係数決定手段で決定した補正係数を前記レベル調整手段に与えて前記複数の撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正装置。 - 前記評価値平均化手段において平均化を行なうフレーム数を、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じて制御するフレーム数制御手段を備えることを特徴とする請求項１に記載の補正装置。
- 撮像素子の複数の出力部からの複数の撮像信号を補正する補正装置であって、
前記複数の撮像信号のレベルを調整するためのレベル調整手段と、
前記複数の撮像信号のレベルに基づいて前記複数の撮像信号間のゲイン誤差を算出し、前記算出したゲイン誤差に対して、前記撮像素子に被写体像を結像させる結像光学系の合焦度に応じた係数を掛け合わせ、前記係数を掛け合わせたゲイン誤差に基づいて前記複数の撮像信号のレベル差を小さくするための補正係数を決定する補正係数決定手段と、
前記補正係数決定手段が第１の動作モードで動作中に、前記複数の撮像信号間のレベル差が第１の規定値よりも大きくなった場合には、前記結像光学系が非合焦状態になるように制御するとともに、前記補正係数決定手段の動作モードを第２の動作モードに移行させ、前記複数の撮像信号間のレベル差が第２の規定値よりも小さくなった場合には、前記補正係数決定手段の動作モードを第１のモードに移行させるとともに、前記結像光学系が合焦状態になるように制御する撮像動作制御手段とを備え、
前記補正係数決定手段で決定した補正係数を前記レベル調整手段に与えて前記複数の撮像信号のレベル差が小さくなるように調整を行なうことを特徴とする補正装置。 - 前記撮像動作制御手段による撮像動作制御を所定の間隔で繰り返し実行することを特徴とする請求項３に記載の補正装置。
- 前記補正係数決定手段において、前記第１の規定値よりも前記第２の規定値の方が小さいことを特徴とする請求項３に記載の補正装置。
- 前記補正係数決定手段において、前記第１の動作モードは、前記第２の動作モードより応答性が低いことを特徴とする請求項３に記載の補正装置。
- 請求項１に記載の補正装置と、前記撮像素子とを備えることを特徴とする撮像装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003127236A JP3938098B2 (ja) | 2003-05-02 | 2003-05-02 | 補正装置、及び撮像装置 |
| US10/833,766 US7379104B2 (en) | 2003-05-02 | 2004-04-27 | Correction apparatus |
| CNB2004100366832A CN100373922C (zh) | 2003-05-02 | 2004-04-28 | 校正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003127236A JP3938098B2 (ja) | 2003-05-02 | 2003-05-02 | 補正装置、及び撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004336245A JP2004336245A (ja) | 2004-11-25 |
| JP2004336245A5 JP2004336245A5 (ja) | 2006-12-28 |
| JP3938098B2 true JP3938098B2 (ja) | 2007-06-27 |
Family
ID=33503858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003127236A Expired - Fee Related JP3938098B2 (ja) | 2003-05-02 | 2003-05-02 | 補正装置、及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3938098B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4763469B2 (ja) * | 2005-03-07 | 2011-08-31 | 富士フイルム株式会社 | 固体撮像装置および画像入力装置、ならびにその画像補正方法 |
| JP4698426B2 (ja) * | 2006-01-11 | 2011-06-08 | 三洋電機株式会社 | 電子カメラ |
| JP5197083B2 (ja) * | 2008-03-21 | 2013-05-15 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5420050B2 (ja) * | 2012-10-31 | 2014-02-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
-
2003
- 2003-05-02 JP JP2003127236A patent/JP3938098B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004336245A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7379104B2 (en) | Correction apparatus | |
| JP4768448B2 (ja) | 撮像装置 | |
| US8599283B2 (en) | Image capture apparatus and image capturing method | |
| JP4424292B2 (ja) | 撮像装置、露出制御方法およびプログラム | |
| JP4404823B2 (ja) | 撮像装置 | |
| US20050083419A1 (en) | Image sensing apparatus and image sensor for use in image sensing apparatus | |
| US20130051700A1 (en) | Image processing apparatus, image processing method, and program | |
| JP5123137B2 (ja) | 撮像装置および撮像方法 | |
| US7262793B2 (en) | Imager and image quality correcting method performing correction based on the output of different readout modes | |
| US7187409B2 (en) | Level difference correcting method and image pick-up device using the method | |
| US7245318B2 (en) | Imaging apparatus that corrects an imbalance in output levels of image data | |
| US20060103742A1 (en) | Image capture apparatus and image capture method | |
| JP2007300368A (ja) | 固体撮像装置 | |
| JP5207926B2 (ja) | 撮像装置及びその制御方法 | |
| US20060209198A1 (en) | Image capturing apparatus | |
| JP2005057655A (ja) | 撮像装置 | |
| US20070211165A1 (en) | Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded | |
| JP4136776B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
| JP3938098B2 (ja) | 補正装置、及び撮像装置 | |
| JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP2005303803A (ja) | 撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体 | |
| JP4136775B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
| JP4871664B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP3938097B2 (ja) | 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム | |
| JP2008034902A (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070319 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |