JP4656621B2 - 信号処理装置及び方法、及び撮像装置 - Google Patents
信号処理装置及び方法、及び撮像装置 Download PDFInfo
- Publication number
- JP4656621B2 JP4656621B2 JP2001202447A JP2001202447A JP4656621B2 JP 4656621 B2 JP4656621 B2 JP 4656621B2 JP 2001202447 A JP2001202447 A JP 2001202447A JP 2001202447 A JP2001202447 A JP 2001202447A JP 4656621 B2 JP4656621 B2 JP 4656621B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- output
- predetermined range
- circuit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置及びその制御方法、及び信号処理方法に関し、例えば、デジタルカメラなどの撮像装置内の撮像手段の撮像領域が複数の撮像領域に分割され、各領域毎に同時にデータを読み出す構造になっている場合に、複数出力間の信号差を補正することのできる撮像装置及びその制御方法、及び信号処理方法に関するものである。
【０００２】
【従来の技術】
従来のデジタルスチルカメラの構成例を、図８を参照して説明する。
【０００３】
同図において、撮影者がカメラ操作スイッチ２０１（カメラのメインスイッチ、レリーズスイッチ等で構成）を操作すると、カメラ操作スイッチ２０１の状態変化を全体制御ＣＰＵ２００が検出し、その他の各回路ブロックへの電源供給を開始する。
【０００４】
撮影画面範囲内の被写体像は、主撮影光学系２０２及び２０３を通して撮像素子２０４上に結像し、アナログ電気信号に変換される。撮像素子２０４からのアナログ電気信号は、ＣＤＳ／ＡＧＣ回路２０５によりアナログ的に処理されて、所定の信号レベルに変換され、更に、各画素毎に順々にＡ／Ｄ変換部２０６でデジタル信号に変換される。
【０００５】
なお、全体の駆動タイミングを決定するタイミングジェネレータ２０８からの信号に基いて、ドライバー回路２０７が撮像素子２０４の水平駆動並びに垂直駆動を所定制御することにより、撮像素子２０４は画像信号を出力する。
【０００６】
同様に、ＣＤＳ／ＡＧＣ回路２０５、並びにＡ／Ｄ変換部２０６も上記タイミングジェネレータ２０８からのタイミングに基づいて動作する。
【０００７】
２０９は全体制御ＣＰＵ２００からの信号に基づいて信号の選択を行うセレクタであり、Ａ／Ｄ変換部２０６からの出力は、セレクタ２０９を介してメモリコントローラ２１５へ入力し、フレームメモリ２１６へ全ての信号出力が転送される。従って、この場合各撮影フレーム毎の画素データを、全てフレームメモリ２１６内に一旦記憶する為、連写撮影等の場合は、撮影された画像の画素データを全てフレームメモリ２１６へ書き込むことになる。
【０００８】
フレームメモリ２１６への書き込み動作終了後は、メモリコントローラ２１５の制御により、画素データを記憶しているフレームメモリ２１６の内容を、セレクター２０９を介してカメラデジタル信号処理部（ＤＳＰ）２１０へ転送する。このカメラＤＳＰ２１０では、フレームメモリ２１６に記憶されている各画像の各画素データを基にＲＧＢの各色信号を生成する。
【０００９】
通常撮影前の状態では、この生成されたＲＧＢの各色信号をビデオメモリ２１１に定期的（各フレーム毎）に転送する事で、モニター表示部２１２によりファインダー表示等を行っている。
【００１０】
一方、カメラ操作スイッチ２０１の操作により、撮影者が撮影（すなわち、画像の記録）を指示した場合には、全体制御ＣＰＵ２００からの制御信号によって、１フレーム分の各画素データをフレームメモリ２１６から読み出し、カメラＤＳＰ２１０で画像処理を行ってから一旦ワークメモリ２１３に記憶する。
【００１１】
続いて、ワークメモリ２１３のデータを圧縮・伸張部２１４で所定の圧縮フォーマットに基いてデータ圧縮し、圧縮したデータを外部不揮発性メモリ２１７（通常フラッシュメモリ等の不揮発性メモリを使用）に記憶する。
【００１２】
また、逆に撮影済みの画像データを観察する場合には、上記外部メモリ２１７に圧縮記憶されたデータを、圧縮・伸張部２１４を通して通常の画素毎のデータに伸張し、伸長した画素毎のデータをビデオメモリ２１１へ転送する事で、モニター表示部２１２を通して撮影済み画像を観察する事ができる。
【００１３】
この様に、通常のデジタルカメラでは、撮像素子２０４からの出力を、ほぼリアルタイムで信号処理回路を通して実際の画像データに変換し、その結果をメモリないしはモニター回路へ出力する構成となっている。
【００１４】
一方、上記の様なデジタルカメラシステムに於いて、連写撮影等の能力を向上させる（例えば１０駒／秒に近い能力を得る）為には、撮像素子からの読み出し速度を上げる事やフレームメモリ等への撮像素子データの書き込み速度を上げる等の撮像素子を含めたシステム的な改善が必要である。
【００１５】
図９はその改善方法の一つとして、ＣＣＤ等の撮像素子である水平ＣＣＤを２分割にしてそれぞれ信号を出力する２出力タイプのデバイスの構造を簡単に示したものである。
【００１６】
図９のＣＣＤでは、フォトダイオード部１９０で発生した各画素毎の電荷をある所定のタイミングで一斉に垂直ＣＣＤ１９１へ転送し、次のタイミングで各ライン毎に垂直ＣＣＤ１９１の電荷を水平ＣＣＤ１９２及び１９３に転送する。
【００１７】
図９に示す構成では、水平ＣＣＤ１９２は、転送クロック毎にその電荷を左側のアンプ１９４へ向かって転送し、又水平ＣＣＤ１９３は、転送クロック毎にその電荷を右側のアンプ１９５へ向かって転送する事から、このＣＣＤの撮影画像データは画面の中央を境にして左右真っ二つに分割して読み出される事になる。
【００１８】
通常、上記アンプ１９４，１９５はＣＣＤデバイスの中に作り込まれるが、レイアウト的にはかなり離れた位置に来る為、両アンプ１９４，１９５の相対精度は必ずしも完全に一致するとは限らない。その為、アンプ後の出力を左右それぞれ別々のＣＤＳ／ＡＧＣ回路１９６、１９８を通した際に、外部調整手段１９７及び１９９によって調整する事で左右出力のマッチング性を確保するようにしている。
【００１９】
【発明が解決しようとする課題】
以上の様に高速な読み出しが実現できる撮像素子として、２つ以上の複数出力から同時に信号を読み出す方法は、今後のデジタルカメラをより銀塩カメラ（既に一眼レフタイプの銀塩カメラでは８駒/秒位のスペックの製品は実現されている）に近づける為には、必須の技術である。
【００２０】
しかしながら複数の出力系統を持つという事は、スピード的には有利になるものの、出力レベルのマッチング性という観点では、１出力系統しかないものに比べて明らかに不利になってしまう。
【００２１】
従来のＣＤＳ／ＡＧＣ回路部でのアナログ的な調整や、Ａ／Ｄ変換後の出力で両チャンネルを合わせ込むデジタル的な調整等、単なるマニュアル的な調整方法では、製造工程上でかなり合わせ込んだとしても、環境の変化によって、例えばＶＲ抵抗そのものの値も変わるものであり、ＣＤＳ／ＡＧＣ回路の温度特性の傾向も完全に２つのものが一致する可能性は極めて低い。
【００２２】
通常この様な撮像素子の読み出し方法を行った場合、左右両出力の相対精度としては±１％を超えるようだと、画面上でその境界のアンバランスがはっきりと解ってしまう。
【００２３】
特開２０００−２５３３０５（特願平１１−０５３３８２）号公報では、この左右画面の境界付近のデータを抽出し、その相対関係から左右画面を合わせこむ為のパラメーター抽出並びに補正方法を開示している。
【００２４】
この補正方法では、左右画面の境界付近の画像信号平均値データの相対関係から、左右画像を合わせこむ為のオフセット値とゲイン値をそれぞれ1対ずつ算出する事で、左右の境界を目立たなくさせている。
【００２５】
しかしながら上記方法の場合、左右画像の性質が全く対称であれば問題なく補正を行う事が可能であるが、例えば左右のＣＤＳ／ＡＧＣ回路の特性が異なる事で、左画像の垂直方向のシェーディング特性（画面の垂直方向に信号輝度がゆっくりと変化する）と右画像の垂直方向のシェ−ディング特性が異なる（左画面の垂直方向の信号輝度が変化の仕方と、左画面の垂直方向の信号輝度が変化の仕方とが異なる）ような場合や、ＣＣＤそのもののリニアリティー特性が飽和レベル付近で悪化していくような場合は、左右画像の充分な合わせ込みができなくなる可能性がある。
【００２６】
本発明は上記問題点を鑑みてなされたものであり、撮像装置内の撮像素子の撮像領域が複数の撮像領域に分割され、各領域毎にデータを読み出す構造になっている場合に、複数出力間の信号差を補正することを第１の目的とする。
【００２７】
また、撮像素子の出力特性が線形ではない場合であっても、より適切に信号差を補正することを第２の目的とする。
【００２８】
【課題を解決するための手段】
上記第１の目的を達成するために、入射光量に対応する電気信号を発生し、２分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する２つの出力部とを有する撮像手段から出力される電気信号を処理する本発明の信号処理装置は、前記２つの撮像領域それぞれから、複数ライン毎に前記２つの撮像領域間で対応するように設けられた複数の所定範囲対の電気信号を抽出する抽出手段と、前記抽出された複数の所定範囲対の電気信号に基づいて、各所定範囲対の電気信号の差を補正するための補正値を算出する算出手段と、前記算出手段により算出された各補正値を用いて、該補正値の算出に用いた所定範囲対に対応する前記複数ラインの領域の電気信号の差を補正する補正手段とを有する。
【００２９】
また、本発明の撮像装置は、上記信号処理装置と、入射光量に対応する電気信号を発生し、２つに分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する複数の出力部とを有する撮像手段とを有する。
【００３０】
また、入射光量に対応する電気信号を発生し、２分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する２つの出力部とを有する撮像手段から出力される電気信号を処理する、本発明の信号処理方法は、前記２つの撮像領域それぞれから、複数ライン毎に前記２つの撮像領域間で対応するように設けられた複数の所定範囲対の電気信号を抽出する抽出工程と、前記抽出された複数の所定範囲対の電気信号に基づいて、各所定範囲対の電気信号の差を補正するための補正値を算出する算出工程と、前記算出された各補正値を用いて、該補正値の算出に用いた所定範囲対に対応する前記複数ラインの領域の電気信号の差を補正する補正工程とを有する。
【００３４】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００３５】
（第１の実施形態）
図１は本発明の実施の形態における撮像装置の全体のハードウェアー構成を示すブロック図である。
【００３６】
図１に於いて、１は撮像素子を示し、撮像素子１の右半分（以下、「右画面」と呼ぶ。）１Ｒと、左半分（以下、「左画面」と呼ぶ。）１Ｌから得られる画素信号は、２つの出力系（ＣＨ１及びＣＨ２）を介してそれぞれ別々に同時出力される。撮像素子１は、ドライバー２によって駆動されて所定の周波数で動作する。また、ＴＧ／ＳＳＧ３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへタイミング信号を供給している。
【００３７】
撮像素子１の右画面１Ｒからの画素信号は、ＣＨ１出力を介してＣＤＳ／ＡＧＣ回路５へ入力し、ここで既知の相関２重サンプリング等の処理を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する。増幅された画素信号をＡ／Ｄ変換回路７でデジタル信号に変換して、ＡＤ−ＣＨ１を得る。
【００３８】
同様に撮像素子１の左半面１Ｌの画素信号は、ＣＨ２出力を介してＣＤＳ／ＡＧＣ回路４へ入力し、ここで同様の相関２重サンプリング等の処理を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する。増幅された画素信号をＡ／Ｄ変換回路６でデジタル信号に変換して、ＡＤ−ＣＨ２を得る。
【００３９】
このように撮像素子１の左右両画面１Ｒ及び１Ｌからの出力を別々にデジタルデータＡＤ−ＣＨ１及びＡＤ−ＣＨ２に変換した後、ＡＤ−ＣＨ２及びＡＤ−ＣＨ１は、各々メモリコントローラ８、１０を介して、メモリ９、１１に順々に記憶される。
【００４０】
また、ＡＤ−ＣＨ１及びＡＤ−ＣＨ２は同時にアンバランス量算出回路１８へ入力し、後述する方法によって両出力のアンバランス量を演算すると共に、最適な補正量を決定する。アンバランス量算出回路１８内部には、画像の領域を判別する為の領域選択回路３３が含まれている。
【００４１】
メモリコントローラ８及び１０は、通常時分割でメモリ９及び１１に対する読み書きを連続して実行できる様になっている為、撮像素子１からの出力をメモリ９及び１１に書き込みながら、別のタイミングでメモリ９及び１１に書き込んだデータを書き込んだ順に読み出す事が可能である。
【００４２】
まず撮像素子１のＣＨ１側の出力に対しては、メモリコントローラ１０の制御によりメモリ１１から連続して画像データを読み出し、オフセット調整回路１３へ入力していく。オフセット調整回路１３のもう一方の入力として、アンバランス量算出回路１８で算出設定された所定のオフセットＯＦ１が入力されており、オフセット調整回路１３内部で画像データとオフセットＯＦ１との加算を行う。
【００４３】
オフセット調整回路１３の出力はゲイン調整回路１５へ入力するが、ゲイン調整回路１５のもう一方の入力として、アンバランス量算出回路１８で算出設定された所定のゲインＧＮ１が入力されており、ゲイン調整回路１５内部でオフセット加算された画像データとゲインＧＮ１との乗算を行う。
【００４４】
同様に、撮像素子１のＣＨ２側の出力に関しては、メモリコントローラ８の制御によりメモリ９から連続してデータを読み出し、オフセット調整回路１２へ入力していく。オフセット調整回路１２のもう一方の入力として、アンバランス量算出回路１８で算出設定された所定のオフセットＯＦ２が入力されており、オフセット調整回路１２内部で画像データとオフセットＯＦ２との加算を行う。
【００４５】
オフセット調整回路１２の出力はゲイン調整回路１４へ入力するが、ゲイン調整回路１４のもう一方の入力として、アンバランス量算出回路１８で算出設定された所定のゲインＧＮ２が入力されており、ゲイン調整回路１４内部でオフセット加算された画像データとゲインＧＮ２との乗算を行う。
【００４６】
この様にして、２つの出力系間で生ずるアンバランス量をアンバランス量算出回路１８が算出した補正値を用いて補正した後の２系統の画像データを、画像合成回路１６で１纏まりの画像データに変換し（左右出力を１つの出力にする）、次段のカラー処理回路１７で所定のカラー処理（色補間処理やγ変換等）を行う。
【００４７】
また、１９は全体制御ＣＰＵである。なお、図面を簡潔にするために、図１ではアンバランス量算出回路１８との接続のみを示しているが、実際には撮像装置各部の制御を行う。２０は、キャリブレーションモード、撮影モード、画像再生モードを含む動作モードを切り換えるモード設定部、２１は表示・警告部である。
【００４８】
次に本第１の実施形態における画面合成時に必要となるアンバランス量算出回路１８による、補正量を算出する為のキャリブレーションモード時の制御について説明する。
【００４９】
撮影者によってモード設定部２０によりキャリブレーションモードの設定が為され、全体制御ＣＰＵ１９がモード設定部２０の設定状態を検出した状態では、全体制御ＣＰＵ１９がアンバランス量算出回路１８へキャリブレーションモードに設定されていることを指示すると共に、ドライバ２に撮像素子１の駆動を指示する。ドライバ２の駆動により撮像素子１は電荷蓄積を開始し、ＣＨ１出力、ＣＨ２出力を介してＣＤＳ／ＡＧＣ回路５、４へ出力し、前述したように出力信号の処理を行う。また、アンバランス量算出回路１８では、撮影された画像に対し、後述する方法でアンバランス量を算出し、適切な補正量を決定する。また、算出されたアンバランス量や補正量等は、アンバランス量算出回路１８内に実装されているメモリへ格納され、記憶保持される。
【００５０】
この時、撮像素子１から出力された画像に明らかな異常があると判断された場合、例えば、ある部分からの画像出力が得られない場合などには、表示・警告部２１により、撮影者へ適切なキャリブレーションができない旨を伝達する。従って、撮影者は、この結果をもって、カメラの何らかの異常（撮像素子、信号処理回路、ＬＥＤ等の故障）等を認識することが可能となる。
【００５１】
次にアンバランス量算出回路１８の具体的構成及び動作について、図２を参照して説明する。
【００５２】
図２に於いて、まず図１に示すＡ／Ｄ変換回路７及び６の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が、平均値算出回路３０、３１、３２に入力する。ここで、これらの平均値算出回路３０〜３２で各画素毎のデータをある所定範囲に亘って平均化するわけであるが、この領域設定を領域選択回路３３で実行する。
【００５３】
この領域選択回路３３は、図１に示したＴＧ／ＳＳＧ３からのＶＤ／ＨＤ信号を基準として、撮像素子１から出力される各画素毎のデータの有効範囲を決定し、各平均値算出回路３０〜３２で平均化する為の入力信号を許可するタイミングを設定する。
【００５４】
例えば、平均値算出回路３０は、最初に読み出される撮像素子１のイメージ領域４２の内、斜線部１ａに対応する各画素データの平均値を算出し、平均値算出回路３２は、撮像素子１のイメージ領域４２の内、斜線部２ａに対応する各画素データの平均値を算出する。また、平均値算出回路３１は、撮像素子１のイメージ領域４２の内、斜線部１ａと２ａの両方の部分に対応する各画素データの平均値を算出する。
【００５５】
従ってこの場合、図１で示した撮像素子１の左画面１Ｌに存在する所定範囲の画素データの平均値、撮像素子１の右画面１Ｒに存在する所定範囲の画素データの平均値、並びに撮像素子１の左右量画面に跨る所定範囲の画素データの平均値を、それぞれ平均値算出回路３０、３２、３１で算出する事になる。
【００５６】
この平均値算出回路３０、３１、３２のそれぞれの出力をＶ２（ａ）、Ｖ１＋２（ａ）、Ｖ１（ａ）とし、各出力を用いて次段に接続されている除算回路３４、３５で各々除算を行う。なお、（ａ）は処理対象の領域を示し、斜線部１ｂ、２ｂからのデータを用いた場合には（ｂ）で示すといったように、斜線部１ａ〜１ｆ、２ａ〜２ｆのアルファベット部分に対応する。
【００５７】
除算回路３４では、Ｖ１＋２（ａ）/Ｖ２（ａ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路３８からＧＮ２（ａ）信号として出力する。同様に除算回路３５ではＶ１＋２（ａ）/Ｖ１（ａ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路３９からＧＮ１（ａ）信号として出力する。
【００５８】
上記の方法で算出したＧＮ１（ａ）及びＧＮ２（ａ）信号は、それぞれ図１で示したゲイン調整回路１５及び１４に入力し、ここで両チャンネルからの出力レベル（斜線部１ａ、２ａを含む複数ラインの領域）が一致するように実際の補正を行う。
【００５９】
一方、この平均値算出回路３０、３１、３２の各出力を用いて次段に接続されている減算回路３６、３７で各々減算を行う。
【００６０】
まず減算回路３６ではＶ１＋２（ａ）−Ｖ２（ａ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路４０からＯＦ２（ａ）信号として出力する。同様に減算回路３７ではＶ１＋２（ａ）−Ｖ１（ａ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路４１からＯＦ１（ａ）信号として出力する。
【００６１】
上記の方法で算出したＯＦ１（ａ）及びＯＦ２（ａ）信号は、それぞれ図１で示したオフセット調整回路１３及び１２に入力され、ここで両チャンネルからの出力レベル（斜線部１ａ、２ａを含む複数ラインの領域）が一致するように実際の補正を行う。
【００６２】
上記の２つの補正（オフセット調整、ゲイン調整）は、あくまで撮像素子１から出力される画素データの内、左画面１Ｌに存在する所定範囲のデータの平均値、右画面１Ｒに存在する所定範囲のデータの平均値、並びに左右量画面に跨る所定範囲のデータの平均値の各値を用いる事で、撮像素子の２つの出力間のアンバランスを補正しようというものである。
【００６３】
この例では、２つの出力系から出力されるデータに対してゲイン調整とオフセット調整の２種類を行う訳であるが、本発明はこれに限られるものではなく、例えば、何れか一方の調整方法を選択してアンバランス調整を行うようにしても構わない。
【００６４】
続いて領域選択回路３３がＶＤ／ＨＤ信号を基準に画像領域を判別し、領域１ｂ及び２ｂから得られたデータを用いて同様の処理を行う。
【００６５】
すなわち、平均値算出回路３０は、撮像素子１のイメージ領域４２の内、斜線部１ｂの部分に対応する各画素データの平均値を算出し、平均値算出回路３２は、撮像素子１のイメージ領域４２の内、斜線部２ｂの部分に対応する各画素データの平均値を算出する。また、平均値算出回路３１は、撮像素子１のイメージ領域４２の内、斜線部１ｂと２ｂの両方の部分に対応する各画素データの平均値を算出する。
【００６６】
この平均値算出回路３０、３１、３２のそれぞれの出力をＶ２（ｂ）、Ｖ１＋２（ｂ）、Ｖ１（ｂ）とし、各出力を用いて次段に接続されている除算回路３４、３５で各々除算を行う。
【００６７】
除算回路３４ではＶ１＋２（ｂ）/Ｖ２（ｂ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路３８からＧＮ２（ｂ）信号として出力する。同様に除算回路３５ではＶ１＋２（ｂ）/Ｖ１（ｂ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路３９からＧＮ１（ｂ）信号として出力する。
【００６８】
上記の方法で算出したＧＮ１（ｂ）及びＧＮ２（ｂ）信号は、それぞれ図１で示したゲイン調整回路１５及び１４に入力し、ここで両チャンネルからの出力レベル（斜線部１ｂ、２ｂを含む複数ラインの領域）が一致する様に実際の補正を行う。
【００６９】
一方、この平均値算出回路３０、３１、３２の各出力を用いて次段に接続されている減算回路３６、３７で各々減算を行う。
【００７０】
まず減算回路３６ではＶ１＋２（ｂ）−Ｖ２（ｂ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路４０からＯＦ２（ｂ）信号として出力する。同様に減算回路３７ではＶ１＋２（ｂ）−Ｖ１（ｂ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路４１からＯＦ１（ｂ）信号として出力する。
【００７１】
上記の方法で算出したＯＦ１（ｂ）及びＯＦ２（ｂ）信号は、それぞれ図１で示したオフセット調整回路１３及び１２に入力する為、ここで両チャンネルからの出力レベル（斜線部１ｂ、２ｂを含む複数ラインの領域）が一致するように実際の補正を行う。
【００７２】
同様にして図２の領域４２中の他の斜線領域１ｃと２ｃ、１ｄと２ｄ、１ｅと２ｅ、１ｆと２ｆに対しても、それぞれ各領域毎にその領域に対応する画像データを用いて左右画面のアンバランス量を算出し、それぞれの領域に最適な補正データを補正データ算出回路３８〜４１を介して出力する。
【００７３】
上記構成におけるオフセット調整の概念を図３に示す。図３（ｂ）に示す実線のグラフを左画面１Ｌの領域１ａ〜１ｆの輝度とし、図３（ｃ）に示す実線のグラフを右画面１Ｒの領域２ａ〜２ｆの輝度を示すものとする。図３に示す例では右画面１Ｒの領域２ａ〜２ｆから得られる信号出力の方が左画面１Ｌの領域１ａ〜２ｆから得られる信号出力よりも高いので、左画面１ＬのオフセットＯＦ２（ａ）〜（ｂ）はプラス（＋）であり、オフセット加算された信号出力は、元の信号出力よりも高い、図３（ｂ）の点線のグラフのようになる。逆に右画面１ＲのオフセットＯＦ１（ａ）〜（ｂ）はマイナス（−）であり、オフセット加算された信号出力は、基の信号出力よりも低い、図３（ｃ）の点線のグラフのようになる。この結果、オフセット調整された右画面１Ｒ及び左画面１Ｌの画像データは、お互いに近づくことになり、左右画面の段差が減少する。
【００７４】
尚、本第１の実施形態では単純に画面を縦方向に６分割して、それぞれの領域での左右アンバランス補正を実施しているが、領域数はこれに限るものではなく、多くても少なくてもよい。領域数が多いほど、アンバランスの補正能力は向上する。また、各領域を必ずしも等しい画像サイズに設定する必要もなく、画像の状態によって画像サイズを変更してもよい。例えば画像の空間周波数が細かい部分は、画像サイズを大きくとっても左右のアンバランスが目立ちにくいといった特性があるので、画像の空間周波数に応じて画像サイズを変更すると有利である。
【００７５】
上記の通り本１の実施形態によれば、撮像装置内の撮像素子の撮像領域が複数の撮像領域に分割され、各領域毎にデータを読み出す構造になっている場合に、複数出力間の信号差を補正することができる。
【００７６】
（第２の実施形態）
次に本発明の第２の実施形態について説明する。本第２の実施形態の撮像装置も、基本的には図１に示す構成と同様であるのでここでは説明を省略するが、アンバランス量算出回路１８の構成が第１の実施形態とは異なる。
【００７７】
図４を参照して、本第２の実施形態におけるアンバランス量算出回路１８の構成を説明する。なお、図２に示す構成と同様の構成には同じ参照番号を付す。
【００７８】
図４に於いて、まず図１に示すＡ／Ｄ変換回路７及び６の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が、平均値算出回路３０、３１、３２に入力する。ここで、これらの平均値算出回路３０〜３２で各画素毎のデータをある所定範囲に亘って平均化するわけであるが、この領域設定を領域選択回路３３で実行している。
【００７９】
この領域選択回路３３は、図１に示したＴＧ／ＳＳＧ３からのＶＤ／ＨＤ信号を基準として、撮像素子１から出力される各画素毎のデータの有効範囲を決定し、各平均値算出回路３０〜３２で平均化する為の入力信号を許可するタイミングを設定する。
【００８０】
例えば平均値算出回路３０は、撮像素子１のイメージ領域５２で示した斜線部Ａの部分に対応する各画素データの平均値を算出し、平均値算出回路３２は、撮像素子１のイメージ領域５２で示した斜線部Ｂの部分に対応する各画素データの平均値を算出する。また、平均値算出回路３１は、撮像素子１のイメージ領域５２で示した斜線部ＡとＢの両方の部分に存在する各画素データの平均値を算出する。
【００８１】
従ってこの場合、図１で示した撮像素子１の左画面１Ｌに存在する所定範囲の画素データの平均値、撮像素子１の右画面１Ｒに存在する所定範囲の画素データの平均値、並びに撮像素子１の左右量画面に跨る所定範囲の画素データの平均値を上記平均値算出回路３０、３２、３１で算出する事になる。
【００８２】
この平均値算出回路３０、３１、３２のそれぞれの出力をＶ２、Ｖ１＋２、Ｖ１とし、各出力を次段に接続されている除算回路４４、４５に出力する。
【００８３】
本第２の実施形態においては、図５のグラフに示したように、撮像素子に入射する光量と、撮像素子から出力される信号レベルが直線的ではない特性を有する場合、例えば、入射光量に対してＣＣＤが次第に飽和し、信号出力が次第に直線的でなくなるような場合にも適切なアンバランス補正を行えるようにする。本第２の実施形態においては、左右画面に跨る所定領域の平均値Ｖ１＋２が、予め設定した所定レベルα以下の場合と、所定レベルαを越える場合とで、異なる方法によりオフセット及びゲイン補正値を算出する。
【００８４】
本第２の実施形態におけるオフセットとゲインの算出例を図６に示し、図４を参照しながら以下に詳しく説明する。
【００８５】
まずレベル判定回路５３ではＶ１＋２と所定レベルαとの比較を行う。Ｖ１＋２が所定レベルα以下であると判断されると、除算回路４４はＶ１＋２ /Ｖ２の演算を行い、補正データ算出回路３８からはＶ１＋２ /Ｖ２をＧＮ２信号として出力する。一方、レベル判定回路５３でＶ１＋２が所定レベルαより大きいと判断されると、除算回路４４は（Ｖ１＋２ −α）/（Ｖ２−ｋ２×α）の演算を行い、得られた値が補正データ算出回路３８からＧＮ２信号として出力される。なお、ｋ２はＶ２／Ｖ１＋２の値から概略算出するものとする。
【００８６】
同様に、レベル判定回路５３でＶ１＋２ が所定レベルα以下であると判断されると、除算回路４５はＶ１＋２ /Ｖ１の演算を行い、得られた値がＧＮ１信号として出力する。また、レベル判定回路５３でＶ１＋２が所定レベルαより大きいと判断されると、除算回路４５は（Ｖ１＋２ −α）/（Ｖ１−ｋ１×α）の演算を行い、得られた値が補正データ算出回路３９からＧＮ１信号として出力される。なお、ｋ１はＶ１／Ｖ１＋２の値から概略算出するものとする。
【００８７】
上記の方法で算出したＧＮ１及びＧＮ２信号は、それぞれ図１で示したゲイン調整回路１５及び１４に入力され、ここで両チャンネルからの出力レベルが一致する様に、実際の補正を行う。
【００８８】
一方、この平均値算出回路３０、３１、３２の各出力を用いて次段に接続されている減算回路４６、４７で各々減算を行う。
【００８９】
レベル判定回路５３でＶ１＋２が所定レベルα以下であると判断されると、減算回路４６はＶ１＋２−Ｖ２の演算を行い、補正データ算出回路５０からＶ１＋２−Ｖ２がＯＦ２信号として出力される。また、レベル判定回路５３でＶ１＋２が所定レベルαより大きいと判断されると、減算回路４６は（Ｖ１＋２−α）−Ｖ２−ｋ２×α）を演算し、得られた値を補正データ算出回路５０からＯＦ２信号として出力する。
【００９０】
同様に、レベル判定回路５３でＶ１＋２が所定レベルα以下であると判断されると、減算回路４７はＶ１＋２−Ｖ１の演算を行い、補正データ算出回路５１からＶ１＋２−Ｖ１をＯＦ１信号として出力し、レベル判定回路５３でＶ１＋２が所定レベルαより大きいと判断されると、減算回路４７は（Ｖ１＋２−α）−Ｖ１−ｋ１×α）を演算し、得られた値を補正データ算出回路５１からＯＦ１信号として出力する。
【００９１】
上記の方法で算出したＯＦ１及びＯＦ２信号は、それぞれ図１で示したオフセット調整回路１３及び１２に入力され、ここで両チャンネルからの出力レベルが一致する様に実際の補正が行われる。
【００９２】
以上のように本第２の実施形態によれば、撮影画像中の左右境界付近のデータを抽出して左右アンバランスを補正する際、画像信号のレベルに応じて複数のパラメーターを設定するように構成することにより、撮像素子の出力特性が線形ではない場合であっても、より適切に信号差を補正することができる。
【００９３】
なお、本第２の実施形態における方法では、第１の実施形態の場合と同様に、２つの出力間のデータに対してゲイン調整を行う場合と、オフセット調整を行う場合との２種類が存在するが、この両方の方法を使ってアンバランス調整を行っても構わないし、何れか一方のみを選択してアンバランス調整を行っても構わない。
【００９４】
（変形例）
上記第１及び第２の実施形態においては、縦方向に領域を分割し、左右画面別々に２系統の出力系を介して画素信号を出力する構成を有する撮像素子について説明した。しかし、本発明は分割方向や、分割数に関わらず、撮影領域を複数の領域毎に、異なる出力系を介して出力する撮像素子に応用することができる。その例のいくつかを図７に示す。
【００９５】
図７は、領域分割の例を示す図であり、（ａ）は撮像素子からの読み出しを上下２分割にした場合の構造を示したもので、撮像素子７０から読み出される上半面の出力はＣＤＳ／ＡＧＣ回路７１を介して、Ａ／Ｄ変換回路７３によりデジタルデータに変換した後、例えば、図１に示すメモリコントローラ８へ出力される。
【００９６】
同様に、撮像素子７０から読み出される下半分の出力は、ＣＤＳ／ＡＧＣ回路７２を介して、Ａ／Ｄ変換回路７４によりデジタルデータに変換した後、例えば、図１のメモリコントローラー１０へ出力される。
【００９７】
また、図７（ｂ）は撮像素子からの読み出しを上下左右４分割にした場合の構造を示したもので、撮像素子７５から読み出される左上１／４分の出力は、ＣＤＳ／ＡＧＣ回路７６を介して、Ａ／Ｄ変換回路８０により、デジタルデータに変換した後、例えば、図１におけるメモリコントローラー８、１０と同機能のメモリコントローラーへ入力する。
【００９８】
撮像素子７５から読み出される右上１／４分の出力は、ＣＤＳ／ＡＧＣ回路７７を介して、Ａ／Ｄ変換回路８１により、デジタルデータに変換した後、同様にメモリコントローラーへ入力する。
【００９９】
撮像素子７５から読み出される右下１／４分の出力は、ＣＤＳ／ＡＧＣ回路７８を介して、Ａ／Ｄ変換回路８２により、デジタルデータに変換した後、例えば、図１におけるメモリコントローラー８、１０と同機能のメモリコントローラーへ入力する。
【０１００】
同様に、撮像素子７５から読み出される左下１／４分の出力は、ＣＤＳ／ＡＧＣ回路７９を介して、Ａ／Ｄ変換回路８３により、デジタルデータに変換した後、同様にメモリコントローラーへ入力する。
【０１０１】
このように、撮像素子の分割方向及び分割数が異なる場合であっても、第１及び第２の実施形態と同様の効果を得ることができる。
なお、撮像素子の分割方法は上記に限るものではなく、撮像素子が３つの領域または５以上の領域に分割されている場合にも、各出力系統に対応する処理回路を追加することにより、容易に本発明を適用することができる。
【０１０２】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、カメラヘッド、リーダー）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、ビデオカメラ、複写機、ファクシミリ装置など）に適用してもよい。
【０１０３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、ＲＯＭ、ＲＡＭ、、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１０４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０５】
【発明の効果】
以上説明したように本発明によれば、撮像装置内の撮像素子の撮像領域が複数の撮像領域に分割され、各領域毎にデータを読み出す構造になっている場合に、複数出力間の信号差を補正することができる。
【０１０６】
更に、撮像素子の出力特性が線形ではない場合であっても、より適切に信号差を補正することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るアンバランス量算出回路の構成を示すブロック図である。
【図３】本発明の実施の形態に係る撮像素子からの出力補正の考え方を説明した図である。
【図４】本発明の第２の実施形態に係るアンバランス量算出回路の構成を示すブロック図である。
【図５】本発明の第２の実施形態における撮像素子の出力特性の例を示す図である。
【図６】本発明の第２の実施形態における補正値の算出方法を説明する図である。
【図７】本発明の第１及び第２の実施形態における撮像素子の変形例を示した図である。
【図８】従来のカメラシステムの全体構成を示すブロック図である。
【図９】従来の撮像素子の読み出し原理を表した図である。
【符号の説明】
１ 撮像素子
２ ドライバ
３ ＴＧ／ＳＳＧ
４，５ ＣＤＳ／ＡＧＣ回路
６，７ Ａ／Ｄ変換回路
８，１０ メモリコントローラ
９，１１ メモリ
１２，１３ オフセット調整回路
１４，１５ ゲイン調整回路
１６ 画像合成回路
１７ カラー処理回路
１８ アンバランス量算出回路
１９ ＣＰＵ
２０ モード設定部
２１ 表示・警告部
３０、３１、３２ 平均値算出回路
３３ 領域選択回路
３４、３５、４４，４５ 除算回路
３６、３７、４６，４７ 減算回路
３８，３９，４０，４１ 補正データ算出回路
４２，５２ 撮像素子
５３ レベル判定回路
【発明の属する技術分野】
本発明は、撮像装置及びその制御方法、及び信号処理方法に関し、例えば、デジタルカメラなどの撮像装置内の撮像手段の撮像領域が複数の撮像領域に分割され、各領域毎に同時にデータを読み出す構造になっている場合に、複数出力間の信号差を補正することのできる撮像装置及びその制御方法、及び信号処理方法に関するものである。
【０００２】
【従来の技術】
従来のデジタルスチルカメラの構成例を、図８を参照して説明する。
【０００３】
同図において、撮影者がカメラ操作スイッチ２０１（カメラのメインスイッチ、レリーズスイッチ等で構成）を操作すると、カメラ操作スイッチ２０１の状態変化を全体制御ＣＰＵ２００が検出し、その他の各回路ブロックへの電源供給を開始する。
【０００４】
撮影画面範囲内の被写体像は、主撮影光学系２０２及び２０３を通して撮像素子２０４上に結像し、アナログ電気信号に変換される。撮像素子２０４からのアナログ電気信号は、ＣＤＳ／ＡＧＣ回路２０５によりアナログ的に処理されて、所定の信号レベルに変換され、更に、各画素毎に順々にＡ／Ｄ変換部２０６でデジタル信号に変換される。
【０００５】
なお、全体の駆動タイミングを決定するタイミングジェネレータ２０８からの信号に基いて、ドライバー回路２０７が撮像素子２０４の水平駆動並びに垂直駆動を所定制御することにより、撮像素子２０４は画像信号を出力する。
【０００６】
同様に、ＣＤＳ／ＡＧＣ回路２０５、並びにＡ／Ｄ変換部２０６も上記タイミングジェネレータ２０８からのタイミングに基づいて動作する。
【０００７】
２０９は全体制御ＣＰＵ２００からの信号に基づいて信号の選択を行うセレクタであり、Ａ／Ｄ変換部２０６からの出力は、セレクタ２０９を介してメモリコントローラ２１５へ入力し、フレームメモリ２１６へ全ての信号出力が転送される。従って、この場合各撮影フレーム毎の画素データを、全てフレームメモリ２１６内に一旦記憶する為、連写撮影等の場合は、撮影された画像の画素データを全てフレームメモリ２１６へ書き込むことになる。
【０００８】
フレームメモリ２１６への書き込み動作終了後は、メモリコントローラ２１５の制御により、画素データを記憶しているフレームメモリ２１６の内容を、セレクター２０９を介してカメラデジタル信号処理部（ＤＳＰ）２１０へ転送する。このカメラＤＳＰ２１０では、フレームメモリ２１６に記憶されている各画像の各画素データを基にＲＧＢの各色信号を生成する。
【０００９】
通常撮影前の状態では、この生成されたＲＧＢの各色信号をビデオメモリ２１１に定期的（各フレーム毎）に転送する事で、モニター表示部２１２によりファインダー表示等を行っている。
【００１０】
一方、カメラ操作スイッチ２０１の操作により、撮影者が撮影（すなわち、画像の記録）を指示した場合には、全体制御ＣＰＵ２００からの制御信号によって、１フレーム分の各画素データをフレームメモリ２１６から読み出し、カメラＤＳＰ２１０で画像処理を行ってから一旦ワークメモリ２１３に記憶する。
【００１１】
続いて、ワークメモリ２１３のデータを圧縮・伸張部２１４で所定の圧縮フォーマットに基いてデータ圧縮し、圧縮したデータを外部不揮発性メモリ２１７（通常フラッシュメモリ等の不揮発性メモリを使用）に記憶する。
【００１２】
また、逆に撮影済みの画像データを観察する場合には、上記外部メモリ２１７に圧縮記憶されたデータを、圧縮・伸張部２１４を通して通常の画素毎のデータに伸張し、伸長した画素毎のデータをビデオメモリ２１１へ転送する事で、モニター表示部２１２を通して撮影済み画像を観察する事ができる。
【００１３】
この様に、通常のデジタルカメラでは、撮像素子２０４からの出力を、ほぼリアルタイムで信号処理回路を通して実際の画像データに変換し、その結果をメモリないしはモニター回路へ出力する構成となっている。
【００１４】
一方、上記の様なデジタルカメラシステムに於いて、連写撮影等の能力を向上させる（例えば１０駒／秒に近い能力を得る）為には、撮像素子からの読み出し速度を上げる事やフレームメモリ等への撮像素子データの書き込み速度を上げる等の撮像素子を含めたシステム的な改善が必要である。
【００１５】
図９はその改善方法の一つとして、ＣＣＤ等の撮像素子である水平ＣＣＤを２分割にしてそれぞれ信号を出力する２出力タイプのデバイスの構造を簡単に示したものである。
【００１６】
図９のＣＣＤでは、フォトダイオード部１９０で発生した各画素毎の電荷をある所定のタイミングで一斉に垂直ＣＣＤ１９１へ転送し、次のタイミングで各ライン毎に垂直ＣＣＤ１９１の電荷を水平ＣＣＤ１９２及び１９３に転送する。
【００１７】
図９に示す構成では、水平ＣＣＤ１９２は、転送クロック毎にその電荷を左側のアンプ１９４へ向かって転送し、又水平ＣＣＤ１９３は、転送クロック毎にその電荷を右側のアンプ１９５へ向かって転送する事から、このＣＣＤの撮影画像データは画面の中央を境にして左右真っ二つに分割して読み出される事になる。
【００１８】
通常、上記アンプ１９４，１９５はＣＣＤデバイスの中に作り込まれるが、レイアウト的にはかなり離れた位置に来る為、両アンプ１９４，１９５の相対精度は必ずしも完全に一致するとは限らない。その為、アンプ後の出力を左右それぞれ別々のＣＤＳ／ＡＧＣ回路１９６、１９８を通した際に、外部調整手段１９７及び１９９によって調整する事で左右出力のマッチング性を確保するようにしている。
【００１９】
【発明が解決しようとする課題】
以上の様に高速な読み出しが実現できる撮像素子として、２つ以上の複数出力から同時に信号を読み出す方法は、今後のデジタルカメラをより銀塩カメラ（既に一眼レフタイプの銀塩カメラでは８駒/秒位のスペックの製品は実現されている）に近づける為には、必須の技術である。
【００２０】
しかしながら複数の出力系統を持つという事は、スピード的には有利になるものの、出力レベルのマッチング性という観点では、１出力系統しかないものに比べて明らかに不利になってしまう。
【００２１】
従来のＣＤＳ／ＡＧＣ回路部でのアナログ的な調整や、Ａ／Ｄ変換後の出力で両チャンネルを合わせ込むデジタル的な調整等、単なるマニュアル的な調整方法では、製造工程上でかなり合わせ込んだとしても、環境の変化によって、例えばＶＲ抵抗そのものの値も変わるものであり、ＣＤＳ／ＡＧＣ回路の温度特性の傾向も完全に２つのものが一致する可能性は極めて低い。
【００２２】
通常この様な撮像素子の読み出し方法を行った場合、左右両出力の相対精度としては±１％を超えるようだと、画面上でその境界のアンバランスがはっきりと解ってしまう。
【００２３】
特開２０００−２５３３０５（特願平１１−０５３３８２）号公報では、この左右画面の境界付近のデータを抽出し、その相対関係から左右画面を合わせこむ為のパラメーター抽出並びに補正方法を開示している。
【００２４】
この補正方法では、左右画面の境界付近の画像信号平均値データの相対関係から、左右画像を合わせこむ為のオフセット値とゲイン値をそれぞれ1対ずつ算出する事で、左右の境界を目立たなくさせている。
【００２５】
しかしながら上記方法の場合、左右画像の性質が全く対称であれば問題なく補正を行う事が可能であるが、例えば左右のＣＤＳ／ＡＧＣ回路の特性が異なる事で、左画像の垂直方向のシェーディング特性（画面の垂直方向に信号輝度がゆっくりと変化する）と右画像の垂直方向のシェ−ディング特性が異なる（左画面の垂直方向の信号輝度が変化の仕方と、左画面の垂直方向の信号輝度が変化の仕方とが異なる）ような場合や、ＣＣＤそのもののリニアリティー特性が飽和レベル付近で悪化していくような場合は、左右画像の充分な合わせ込みができなくなる可能性がある。
【００２６】
本発明は上記問題点を鑑みてなされたものであり、撮像装置内の撮像素子の撮像領域が複数の撮像領域に分割され、各領域毎にデータを読み出す構造になっている場合に、複数出力間の信号差を補正することを第１の目的とする。
【００２７】
また、撮像素子の出力特性が線形ではない場合であっても、より適切に信号差を補正することを第２の目的とする。
【００２８】
【課題を解決するための手段】
上記第１の目的を達成するために、入射光量に対応する電気信号を発生し、２分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する２つの出力部とを有する撮像手段から出力される電気信号を処理する本発明の信号処理装置は、前記２つの撮像領域それぞれから、複数ライン毎に前記２つの撮像領域間で対応するように設けられた複数の所定範囲対の電気信号を抽出する抽出手段と、前記抽出された複数の所定範囲対の電気信号に基づいて、各所定範囲対の電気信号の差を補正するための補正値を算出する算出手段と、前記算出手段により算出された各補正値を用いて、該補正値の算出に用いた所定範囲対に対応する前記複数ラインの領域の電気信号の差を補正する補正手段とを有する。
【００２９】
また、本発明の撮像装置は、上記信号処理装置と、入射光量に対応する電気信号を発生し、２つに分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する複数の出力部とを有する撮像手段とを有する。
【００３０】
また、入射光量に対応する電気信号を発生し、２分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する２つの出力部とを有する撮像手段から出力される電気信号を処理する、本発明の信号処理方法は、前記２つの撮像領域それぞれから、複数ライン毎に前記２つの撮像領域間で対応するように設けられた複数の所定範囲対の電気信号を抽出する抽出工程と、前記抽出された複数の所定範囲対の電気信号に基づいて、各所定範囲対の電気信号の差を補正するための補正値を算出する算出工程と、前記算出された各補正値を用いて、該補正値の算出に用いた所定範囲対に対応する前記複数ラインの領域の電気信号の差を補正する補正工程とを有する。
【００３４】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００３５】
（第１の実施形態）
図１は本発明の実施の形態における撮像装置の全体のハードウェアー構成を示すブロック図である。
【００３６】
図１に於いて、１は撮像素子を示し、撮像素子１の右半分（以下、「右画面」と呼ぶ。）１Ｒと、左半分（以下、「左画面」と呼ぶ。）１Ｌから得られる画素信号は、２つの出力系（ＣＨ１及びＣＨ２）を介してそれぞれ別々に同時出力される。撮像素子１は、ドライバー２によって駆動されて所定の周波数で動作する。また、ＴＧ／ＳＳＧ３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへタイミング信号を供給している。
【００３７】
撮像素子１の右画面１Ｒからの画素信号は、ＣＨ１出力を介してＣＤＳ／ＡＧＣ回路５へ入力し、ここで既知の相関２重サンプリング等の処理を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する。増幅された画素信号をＡ／Ｄ変換回路７でデジタル信号に変換して、ＡＤ−ＣＨ１を得る。
【００３８】
同様に撮像素子１の左半面１Ｌの画素信号は、ＣＨ２出力を介してＣＤＳ／ＡＧＣ回路４へ入力し、ここで同様の相関２重サンプリング等の処理を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する。増幅された画素信号をＡ／Ｄ変換回路６でデジタル信号に変換して、ＡＤ−ＣＨ２を得る。
【００３９】
このように撮像素子１の左右両画面１Ｒ及び１Ｌからの出力を別々にデジタルデータＡＤ−ＣＨ１及びＡＤ−ＣＨ２に変換した後、ＡＤ−ＣＨ２及びＡＤ−ＣＨ１は、各々メモリコントローラ８、１０を介して、メモリ９、１１に順々に記憶される。
【００４０】
また、ＡＤ−ＣＨ１及びＡＤ−ＣＨ２は同時にアンバランス量算出回路１８へ入力し、後述する方法によって両出力のアンバランス量を演算すると共に、最適な補正量を決定する。アンバランス量算出回路１８内部には、画像の領域を判別する為の領域選択回路３３が含まれている。
【００４１】
メモリコントローラ８及び１０は、通常時分割でメモリ９及び１１に対する読み書きを連続して実行できる様になっている為、撮像素子１からの出力をメモリ９及び１１に書き込みながら、別のタイミングでメモリ９及び１１に書き込んだデータを書き込んだ順に読み出す事が可能である。
【００４２】
まず撮像素子１のＣＨ１側の出力に対しては、メモリコントローラ１０の制御によりメモリ１１から連続して画像データを読み出し、オフセット調整回路１３へ入力していく。オフセット調整回路１３のもう一方の入力として、アンバランス量算出回路１８で算出設定された所定のオフセットＯＦ１が入力されており、オフセット調整回路１３内部で画像データとオフセットＯＦ１との加算を行う。
【００４３】
オフセット調整回路１３の出力はゲイン調整回路１５へ入力するが、ゲイン調整回路１５のもう一方の入力として、アンバランス量算出回路１８で算出設定された所定のゲインＧＮ１が入力されており、ゲイン調整回路１５内部でオフセット加算された画像データとゲインＧＮ１との乗算を行う。
【００４４】
同様に、撮像素子１のＣＨ２側の出力に関しては、メモリコントローラ８の制御によりメモリ９から連続してデータを読み出し、オフセット調整回路１２へ入力していく。オフセット調整回路１２のもう一方の入力として、アンバランス量算出回路１８で算出設定された所定のオフセットＯＦ２が入力されており、オフセット調整回路１２内部で画像データとオフセットＯＦ２との加算を行う。
【００４５】
オフセット調整回路１２の出力はゲイン調整回路１４へ入力するが、ゲイン調整回路１４のもう一方の入力として、アンバランス量算出回路１８で算出設定された所定のゲインＧＮ２が入力されており、ゲイン調整回路１４内部でオフセット加算された画像データとゲインＧＮ２との乗算を行う。
【００４６】
この様にして、２つの出力系間で生ずるアンバランス量をアンバランス量算出回路１８が算出した補正値を用いて補正した後の２系統の画像データを、画像合成回路１６で１纏まりの画像データに変換し（左右出力を１つの出力にする）、次段のカラー処理回路１７で所定のカラー処理（色補間処理やγ変換等）を行う。
【００４７】
また、１９は全体制御ＣＰＵである。なお、図面を簡潔にするために、図１ではアンバランス量算出回路１８との接続のみを示しているが、実際には撮像装置各部の制御を行う。２０は、キャリブレーションモード、撮影モード、画像再生モードを含む動作モードを切り換えるモード設定部、２１は表示・警告部である。
【００４８】
次に本第１の実施形態における画面合成時に必要となるアンバランス量算出回路１８による、補正量を算出する為のキャリブレーションモード時の制御について説明する。
【００４９】
撮影者によってモード設定部２０によりキャリブレーションモードの設定が為され、全体制御ＣＰＵ１９がモード設定部２０の設定状態を検出した状態では、全体制御ＣＰＵ１９がアンバランス量算出回路１８へキャリブレーションモードに設定されていることを指示すると共に、ドライバ２に撮像素子１の駆動を指示する。ドライバ２の駆動により撮像素子１は電荷蓄積を開始し、ＣＨ１出力、ＣＨ２出力を介してＣＤＳ／ＡＧＣ回路５、４へ出力し、前述したように出力信号の処理を行う。また、アンバランス量算出回路１８では、撮影された画像に対し、後述する方法でアンバランス量を算出し、適切な補正量を決定する。また、算出されたアンバランス量や補正量等は、アンバランス量算出回路１８内に実装されているメモリへ格納され、記憶保持される。
【００５０】
この時、撮像素子１から出力された画像に明らかな異常があると判断された場合、例えば、ある部分からの画像出力が得られない場合などには、表示・警告部２１により、撮影者へ適切なキャリブレーションができない旨を伝達する。従って、撮影者は、この結果をもって、カメラの何らかの異常（撮像素子、信号処理回路、ＬＥＤ等の故障）等を認識することが可能となる。
【００５１】
次にアンバランス量算出回路１８の具体的構成及び動作について、図２を参照して説明する。
【００５２】
図２に於いて、まず図１に示すＡ／Ｄ変換回路７及び６の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が、平均値算出回路３０、３１、３２に入力する。ここで、これらの平均値算出回路３０〜３２で各画素毎のデータをある所定範囲に亘って平均化するわけであるが、この領域設定を領域選択回路３３で実行する。
【００５３】
この領域選択回路３３は、図１に示したＴＧ／ＳＳＧ３からのＶＤ／ＨＤ信号を基準として、撮像素子１から出力される各画素毎のデータの有効範囲を決定し、各平均値算出回路３０〜３２で平均化する為の入力信号を許可するタイミングを設定する。
【００５４】
例えば、平均値算出回路３０は、最初に読み出される撮像素子１のイメージ領域４２の内、斜線部１ａに対応する各画素データの平均値を算出し、平均値算出回路３２は、撮像素子１のイメージ領域４２の内、斜線部２ａに対応する各画素データの平均値を算出する。また、平均値算出回路３１は、撮像素子１のイメージ領域４２の内、斜線部１ａと２ａの両方の部分に対応する各画素データの平均値を算出する。
【００５５】
従ってこの場合、図１で示した撮像素子１の左画面１Ｌに存在する所定範囲の画素データの平均値、撮像素子１の右画面１Ｒに存在する所定範囲の画素データの平均値、並びに撮像素子１の左右量画面に跨る所定範囲の画素データの平均値を、それぞれ平均値算出回路３０、３２、３１で算出する事になる。
【００５６】
この平均値算出回路３０、３１、３２のそれぞれの出力をＶ２（ａ）、Ｖ１＋２（ａ）、Ｖ１（ａ）とし、各出力を用いて次段に接続されている除算回路３４、３５で各々除算を行う。なお、（ａ）は処理対象の領域を示し、斜線部１ｂ、２ｂからのデータを用いた場合には（ｂ）で示すといったように、斜線部１ａ〜１ｆ、２ａ〜２ｆのアルファベット部分に対応する。
【００５７】
除算回路３４では、Ｖ１＋２（ａ）/Ｖ２（ａ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路３８からＧＮ２（ａ）信号として出力する。同様に除算回路３５ではＶ１＋２（ａ）/Ｖ１（ａ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路３９からＧＮ１（ａ）信号として出力する。
【００５８】
上記の方法で算出したＧＮ１（ａ）及びＧＮ２（ａ）信号は、それぞれ図１で示したゲイン調整回路１５及び１４に入力し、ここで両チャンネルからの出力レベル（斜線部１ａ、２ａを含む複数ラインの領域）が一致するように実際の補正を行う。
【００５９】
一方、この平均値算出回路３０、３１、３２の各出力を用いて次段に接続されている減算回路３６、３７で各々減算を行う。
【００６０】
まず減算回路３６ではＶ１＋２（ａ）−Ｖ２（ａ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路４０からＯＦ２（ａ）信号として出力する。同様に減算回路３７ではＶ１＋２（ａ）−Ｖ１（ａ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路４１からＯＦ１（ａ）信号として出力する。
【００６１】
上記の方法で算出したＯＦ１（ａ）及びＯＦ２（ａ）信号は、それぞれ図１で示したオフセット調整回路１３及び１２に入力され、ここで両チャンネルからの出力レベル（斜線部１ａ、２ａを含む複数ラインの領域）が一致するように実際の補正を行う。
【００６２】
上記の２つの補正（オフセット調整、ゲイン調整）は、あくまで撮像素子１から出力される画素データの内、左画面１Ｌに存在する所定範囲のデータの平均値、右画面１Ｒに存在する所定範囲のデータの平均値、並びに左右量画面に跨る所定範囲のデータの平均値の各値を用いる事で、撮像素子の２つの出力間のアンバランスを補正しようというものである。
【００６３】
この例では、２つの出力系から出力されるデータに対してゲイン調整とオフセット調整の２種類を行う訳であるが、本発明はこれに限られるものではなく、例えば、何れか一方の調整方法を選択してアンバランス調整を行うようにしても構わない。
【００６４】
続いて領域選択回路３３がＶＤ／ＨＤ信号を基準に画像領域を判別し、領域１ｂ及び２ｂから得られたデータを用いて同様の処理を行う。
【００６５】
すなわち、平均値算出回路３０は、撮像素子１のイメージ領域４２の内、斜線部１ｂの部分に対応する各画素データの平均値を算出し、平均値算出回路３２は、撮像素子１のイメージ領域４２の内、斜線部２ｂの部分に対応する各画素データの平均値を算出する。また、平均値算出回路３１は、撮像素子１のイメージ領域４２の内、斜線部１ｂと２ｂの両方の部分に対応する各画素データの平均値を算出する。
【００６６】
この平均値算出回路３０、３１、３２のそれぞれの出力をＶ２（ｂ）、Ｖ１＋２（ｂ）、Ｖ１（ｂ）とし、各出力を用いて次段に接続されている除算回路３４、３５で各々除算を行う。
【００６７】
除算回路３４ではＶ１＋２（ｂ）/Ｖ２（ｂ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路３８からＧＮ２（ｂ）信号として出力する。同様に除算回路３５ではＶ１＋２（ｂ）/Ｖ１（ｂ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路３９からＧＮ１（ｂ）信号として出力する。
【００６８】
上記の方法で算出したＧＮ１（ｂ）及びＧＮ２（ｂ）信号は、それぞれ図１で示したゲイン調整回路１５及び１４に入力し、ここで両チャンネルからの出力レベル（斜線部１ｂ、２ｂを含む複数ラインの領域）が一致する様に実際の補正を行う。
【００６９】
一方、この平均値算出回路３０、３１、３２の各出力を用いて次段に接続されている減算回路３６、３７で各々減算を行う。
【００７０】
まず減算回路３６ではＶ１＋２（ｂ）−Ｖ２（ｂ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路４０からＯＦ２（ｂ）信号として出力する。同様に減算回路３７ではＶ１＋２（ｂ）−Ｖ１（ｂ）の演算を行い、この結果にほぼ比例した値を補正データ算出回路４１からＯＦ１（ｂ）信号として出力する。
【００７１】
上記の方法で算出したＯＦ１（ｂ）及びＯＦ２（ｂ）信号は、それぞれ図１で示したオフセット調整回路１３及び１２に入力する為、ここで両チャンネルからの出力レベル（斜線部１ｂ、２ｂを含む複数ラインの領域）が一致するように実際の補正を行う。
【００７２】
同様にして図２の領域４２中の他の斜線領域１ｃと２ｃ、１ｄと２ｄ、１ｅと２ｅ、１ｆと２ｆに対しても、それぞれ各領域毎にその領域に対応する画像データを用いて左右画面のアンバランス量を算出し、それぞれの領域に最適な補正データを補正データ算出回路３８〜４１を介して出力する。
【００７３】
上記構成におけるオフセット調整の概念を図３に示す。図３（ｂ）に示す実線のグラフを左画面１Ｌの領域１ａ〜１ｆの輝度とし、図３（ｃ）に示す実線のグラフを右画面１Ｒの領域２ａ〜２ｆの輝度を示すものとする。図３に示す例では右画面１Ｒの領域２ａ〜２ｆから得られる信号出力の方が左画面１Ｌの領域１ａ〜２ｆから得られる信号出力よりも高いので、左画面１ＬのオフセットＯＦ２（ａ）〜（ｂ）はプラス（＋）であり、オフセット加算された信号出力は、元の信号出力よりも高い、図３（ｂ）の点線のグラフのようになる。逆に右画面１ＲのオフセットＯＦ１（ａ）〜（ｂ）はマイナス（−）であり、オフセット加算された信号出力は、基の信号出力よりも低い、図３（ｃ）の点線のグラフのようになる。この結果、オフセット調整された右画面１Ｒ及び左画面１Ｌの画像データは、お互いに近づくことになり、左右画面の段差が減少する。
【００７４】
尚、本第１の実施形態では単純に画面を縦方向に６分割して、それぞれの領域での左右アンバランス補正を実施しているが、領域数はこれに限るものではなく、多くても少なくてもよい。領域数が多いほど、アンバランスの補正能力は向上する。また、各領域を必ずしも等しい画像サイズに設定する必要もなく、画像の状態によって画像サイズを変更してもよい。例えば画像の空間周波数が細かい部分は、画像サイズを大きくとっても左右のアンバランスが目立ちにくいといった特性があるので、画像の空間周波数に応じて画像サイズを変更すると有利である。
【００７５】
上記の通り本１の実施形態によれば、撮像装置内の撮像素子の撮像領域が複数の撮像領域に分割され、各領域毎にデータを読み出す構造になっている場合に、複数出力間の信号差を補正することができる。
【００７６】
（第２の実施形態）
次に本発明の第２の実施形態について説明する。本第２の実施形態の撮像装置も、基本的には図１に示す構成と同様であるのでここでは説明を省略するが、アンバランス量算出回路１８の構成が第１の実施形態とは異なる。
【００７７】
図４を参照して、本第２の実施形態におけるアンバランス量算出回路１８の構成を説明する。なお、図２に示す構成と同様の構成には同じ参照番号を付す。
【００７８】
図４に於いて、まず図１に示すＡ／Ｄ変換回路７及び６の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が、平均値算出回路３０、３１、３２に入力する。ここで、これらの平均値算出回路３０〜３２で各画素毎のデータをある所定範囲に亘って平均化するわけであるが、この領域設定を領域選択回路３３で実行している。
【００７９】
この領域選択回路３３は、図１に示したＴＧ／ＳＳＧ３からのＶＤ／ＨＤ信号を基準として、撮像素子１から出力される各画素毎のデータの有効範囲を決定し、各平均値算出回路３０〜３２で平均化する為の入力信号を許可するタイミングを設定する。
【００８０】
例えば平均値算出回路３０は、撮像素子１のイメージ領域５２で示した斜線部Ａの部分に対応する各画素データの平均値を算出し、平均値算出回路３２は、撮像素子１のイメージ領域５２で示した斜線部Ｂの部分に対応する各画素データの平均値を算出する。また、平均値算出回路３１は、撮像素子１のイメージ領域５２で示した斜線部ＡとＢの両方の部分に存在する各画素データの平均値を算出する。
【００８１】
従ってこの場合、図１で示した撮像素子１の左画面１Ｌに存在する所定範囲の画素データの平均値、撮像素子１の右画面１Ｒに存在する所定範囲の画素データの平均値、並びに撮像素子１の左右量画面に跨る所定範囲の画素データの平均値を上記平均値算出回路３０、３２、３１で算出する事になる。
【００８２】
この平均値算出回路３０、３１、３２のそれぞれの出力をＶ２、Ｖ１＋２、Ｖ１とし、各出力を次段に接続されている除算回路４４、４５に出力する。
【００８３】
本第２の実施形態においては、図５のグラフに示したように、撮像素子に入射する光量と、撮像素子から出力される信号レベルが直線的ではない特性を有する場合、例えば、入射光量に対してＣＣＤが次第に飽和し、信号出力が次第に直線的でなくなるような場合にも適切なアンバランス補正を行えるようにする。本第２の実施形態においては、左右画面に跨る所定領域の平均値Ｖ１＋２が、予め設定した所定レベルα以下の場合と、所定レベルαを越える場合とで、異なる方法によりオフセット及びゲイン補正値を算出する。
【００８４】
本第２の実施形態におけるオフセットとゲインの算出例を図６に示し、図４を参照しながら以下に詳しく説明する。
【００８５】
まずレベル判定回路５３ではＶ１＋２と所定レベルαとの比較を行う。Ｖ１＋２が所定レベルα以下であると判断されると、除算回路４４はＶ１＋２ /Ｖ２の演算を行い、補正データ算出回路３８からはＶ１＋２ /Ｖ２をＧＮ２信号として出力する。一方、レベル判定回路５３でＶ１＋２が所定レベルαより大きいと判断されると、除算回路４４は（Ｖ１＋２ −α）/（Ｖ２−ｋ２×α）の演算を行い、得られた値が補正データ算出回路３８からＧＮ２信号として出力される。なお、ｋ２はＶ２／Ｖ１＋２の値から概略算出するものとする。
【００８６】
同様に、レベル判定回路５３でＶ１＋２ が所定レベルα以下であると判断されると、除算回路４５はＶ１＋２ /Ｖ１の演算を行い、得られた値がＧＮ１信号として出力する。また、レベル判定回路５３でＶ１＋２が所定レベルαより大きいと判断されると、除算回路４５は（Ｖ１＋２ −α）/（Ｖ１−ｋ１×α）の演算を行い、得られた値が補正データ算出回路３９からＧＮ１信号として出力される。なお、ｋ１はＶ１／Ｖ１＋２の値から概略算出するものとする。
【００８７】
上記の方法で算出したＧＮ１及びＧＮ２信号は、それぞれ図１で示したゲイン調整回路１５及び１４に入力され、ここで両チャンネルからの出力レベルが一致する様に、実際の補正を行う。
【００８８】
一方、この平均値算出回路３０、３１、３２の各出力を用いて次段に接続されている減算回路４６、４７で各々減算を行う。
【００８９】
レベル判定回路５３でＶ１＋２が所定レベルα以下であると判断されると、減算回路４６はＶ１＋２−Ｖ２の演算を行い、補正データ算出回路５０からＶ１＋２−Ｖ２がＯＦ２信号として出力される。また、レベル判定回路５３でＶ１＋２が所定レベルαより大きいと判断されると、減算回路４６は（Ｖ１＋２−α）−Ｖ２−ｋ２×α）を演算し、得られた値を補正データ算出回路５０からＯＦ２信号として出力する。
【００９０】
同様に、レベル判定回路５３でＶ１＋２が所定レベルα以下であると判断されると、減算回路４７はＶ１＋２−Ｖ１の演算を行い、補正データ算出回路５１からＶ１＋２−Ｖ１をＯＦ１信号として出力し、レベル判定回路５３でＶ１＋２が所定レベルαより大きいと判断されると、減算回路４７は（Ｖ１＋２−α）−Ｖ１−ｋ１×α）を演算し、得られた値を補正データ算出回路５１からＯＦ１信号として出力する。
【００９１】
上記の方法で算出したＯＦ１及びＯＦ２信号は、それぞれ図１で示したオフセット調整回路１３及び１２に入力され、ここで両チャンネルからの出力レベルが一致する様に実際の補正が行われる。
【００９２】
以上のように本第２の実施形態によれば、撮影画像中の左右境界付近のデータを抽出して左右アンバランスを補正する際、画像信号のレベルに応じて複数のパラメーターを設定するように構成することにより、撮像素子の出力特性が線形ではない場合であっても、より適切に信号差を補正することができる。
【００９３】
なお、本第２の実施形態における方法では、第１の実施形態の場合と同様に、２つの出力間のデータに対してゲイン調整を行う場合と、オフセット調整を行う場合との２種類が存在するが、この両方の方法を使ってアンバランス調整を行っても構わないし、何れか一方のみを選択してアンバランス調整を行っても構わない。
【００９４】
（変形例）
上記第１及び第２の実施形態においては、縦方向に領域を分割し、左右画面別々に２系統の出力系を介して画素信号を出力する構成を有する撮像素子について説明した。しかし、本発明は分割方向や、分割数に関わらず、撮影領域を複数の領域毎に、異なる出力系を介して出力する撮像素子に応用することができる。その例のいくつかを図７に示す。
【００９５】
図７は、領域分割の例を示す図であり、（ａ）は撮像素子からの読み出しを上下２分割にした場合の構造を示したもので、撮像素子７０から読み出される上半面の出力はＣＤＳ／ＡＧＣ回路７１を介して、Ａ／Ｄ変換回路７３によりデジタルデータに変換した後、例えば、図１に示すメモリコントローラ８へ出力される。
【００９６】
同様に、撮像素子７０から読み出される下半分の出力は、ＣＤＳ／ＡＧＣ回路７２を介して、Ａ／Ｄ変換回路７４によりデジタルデータに変換した後、例えば、図１のメモリコントローラー１０へ出力される。
【００９７】
また、図７（ｂ）は撮像素子からの読み出しを上下左右４分割にした場合の構造を示したもので、撮像素子７５から読み出される左上１／４分の出力は、ＣＤＳ／ＡＧＣ回路７６を介して、Ａ／Ｄ変換回路８０により、デジタルデータに変換した後、例えば、図１におけるメモリコントローラー８、１０と同機能のメモリコントローラーへ入力する。
【００９８】
撮像素子７５から読み出される右上１／４分の出力は、ＣＤＳ／ＡＧＣ回路７７を介して、Ａ／Ｄ変換回路８１により、デジタルデータに変換した後、同様にメモリコントローラーへ入力する。
【００９９】
撮像素子７５から読み出される右下１／４分の出力は、ＣＤＳ／ＡＧＣ回路７８を介して、Ａ／Ｄ変換回路８２により、デジタルデータに変換した後、例えば、図１におけるメモリコントローラー８、１０と同機能のメモリコントローラーへ入力する。
【０１００】
同様に、撮像素子７５から読み出される左下１／４分の出力は、ＣＤＳ／ＡＧＣ回路７９を介して、Ａ／Ｄ変換回路８３により、デジタルデータに変換した後、同様にメモリコントローラーへ入力する。
【０１０１】
このように、撮像素子の分割方向及び分割数が異なる場合であっても、第１及び第２の実施形態と同様の効果を得ることができる。
なお、撮像素子の分割方法は上記に限るものではなく、撮像素子が３つの領域または５以上の領域に分割されている場合にも、各出力系統に対応する処理回路を追加することにより、容易に本発明を適用することができる。
【０１０２】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、カメラヘッド、リーダー）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、ビデオカメラ、複写機、ファクシミリ装置など）に適用してもよい。
【０１０３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、ＲＯＭ、ＲＡＭ、、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１０４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０５】
【発明の効果】
以上説明したように本発明によれば、撮像装置内の撮像素子の撮像領域が複数の撮像領域に分割され、各領域毎にデータを読み出す構造になっている場合に、複数出力間の信号差を補正することができる。
【０１０６】
更に、撮像素子の出力特性が線形ではない場合であっても、より適切に信号差を補正することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るアンバランス量算出回路の構成を示すブロック図である。
【図３】本発明の実施の形態に係る撮像素子からの出力補正の考え方を説明した図である。
【図４】本発明の第２の実施形態に係るアンバランス量算出回路の構成を示すブロック図である。
【図５】本発明の第２の実施形態における撮像素子の出力特性の例を示す図である。
【図６】本発明の第２の実施形態における補正値の算出方法を説明する図である。
【図７】本発明の第１及び第２の実施形態における撮像素子の変形例を示した図である。
【図８】従来のカメラシステムの全体構成を示すブロック図である。
【図９】従来の撮像素子の読み出し原理を表した図である。
【符号の説明】
１ 撮像素子
２ ドライバ
３ ＴＧ／ＳＳＧ
４，５ ＣＤＳ／ＡＧＣ回路
６，７ Ａ／Ｄ変換回路
８，１０ メモリコントローラ
９，１１ メモリ
１２，１３ オフセット調整回路
１４，１５ ゲイン調整回路
１６ 画像合成回路
１７ カラー処理回路
１８ アンバランス量算出回路
１９ ＣＰＵ
２０ モード設定部
２１ 表示・警告部
３０、３１、３２ 平均値算出回路
３３ 領域選択回路
３４、３５、４４，４５ 除算回路
３６、３７、４６，４７ 減算回路
３８，３９，４０，４１ 補正データ算出回路
４２，５２ 撮像素子
５３ レベル判定回路
Claims (9)
- 入射光量に対応する電気信号を発生し、２分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する２つの出力部とを有する撮像手段から出力される電気信号を処理する信号処理装置であって、
前記２つの撮像領域それぞれから、複数ライン毎に前記２つの撮像領域間で対応するように設けられた複数の所定範囲対の電気信号を抽出する抽出手段と、
前記抽出された複数の所定範囲対の電気信号に基づいて、各所定範囲対の電気信号の差を補正するための補正値を算出する算出手段と、
前記算出手段により算出された各補正値を用いて、該補正値の算出に用いた所定範囲対に対応する前記複数ラインの領域の電気信号の差を補正する補正手段と
を有することを特徴とする信号処理装置。 - 前記算出手段は、
前記各所定範囲対の電気信号の比に基づいて補正値を算出する手段と、
前記各所定範囲対の電気信号の差に基づいて補正値を算出する手段との少なくともいずれか一方を有することを特徴とする請求項１に記載の信号処理装置。 - 前記算出手段は、前記各所定範囲対を構成する所定範囲毎の電気信号の平均値及び前記所定範囲対毎の電気信号の平均値に基づいて補正値を算出することを特徴とする請求項１または２に記載の信号処理装置。
- 前記補正値は、当該補正値の算出に用いた所定範囲対に対応する前記複数ラインの領域から出力された電気信号に加えるオフセット値及びゲイン値の少なくともいずれか一方であることを特徴とする請求項１に記載の信号処理装置。
- 前記抽出された所定範囲対の電気信号に基づいて、前記算出手段で補正値を算出するために用いる演算方法を決定する決定手段と、
前記決定手段は、前記所定範囲対毎の電気信号の平均値を所定閾値と比較し、比較結果に応じて演算方法を決定することを特徴とする請求項１に記載の信号処理装置。 - 前記補正手段により補正された前記２つの撮像領域の電気信号を合成する合成手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の信号処理装置。
- 前記抽出手段は、前記２つの撮像領域の境界において所定範囲対の電気信号を抽出することを特徴とする請求項１乃至６のいずれか１項に記載の信号処理装置。
- 入射光量に対応する電気信号を発生し、２つに分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する複数の出力部とを有する撮像手段と、
請求項１乃至７のいずれか１項に記載の信号処理装置と
を有することを特徴とする撮像装置。 - 入射光量に対応する電気信号を発生し、２分割された撮像領域と、該２つの撮像領域毎に前記電気信号を出力する２つの出力部とを有する撮像手段から出力される電気信号を処理する信号処理方法であって、
前記２つの撮像領域それぞれから、複数ライン毎に前記２つの撮像領域間で対応するように設けられた複数の所定範囲対の電気信号を抽出する抽出工程と、
前記抽出された複数の所定範囲対の電気信号に基づいて、各所定範囲対の電気信号の差を補正するための補正値を算出する算出工程と、
前記算出された各補正値を用いて、該補正値の算出に用いた所定範囲対に対応する前記複数ラインの領域の電気信号の差を補正する補正工程と
を有することを特徴とする信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001202447A JP4656621B2 (ja) | 2001-07-03 | 2001-07-03 | 信号処理装置及び方法、及び撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001202447A JP4656621B2 (ja) | 2001-07-03 | 2001-07-03 | 信号処理装置及び方法、及び撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003018472A JP2003018472A (ja) | 2003-01-17 |
| JP2003018472A5 JP2003018472A5 (ja) | 2008-08-21 |
| JP4656621B2 true JP4656621B2 (ja) | 2011-03-23 |
Family
ID=19039250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001202447A Expired - Fee Related JP4656621B2 (ja) | 2001-07-03 | 2001-07-03 | 信号処理装置及び方法、及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4656621B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4180076B2 (ja) | 2004-09-29 | 2008-11-12 | 三洋電機株式会社 | 信号処理装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223486A (ja) * | 1995-02-09 | 1996-08-30 | Hamamatsu Photonics Kk | Ｃｃｄ固体撮像装置 |
| JPH10336529A (ja) * | 1997-04-04 | 1998-12-18 | Asahi Optical Co Ltd | 画素信号処理装置 |
| JP2001094886A (ja) * | 1999-09-20 | 2001-04-06 | Canon Inc | 撮像装置、撮像装置の制御方法及び記憶媒体 |
| JP2002252808A (ja) * | 2001-02-23 | 2002-09-06 | Sony Corp | イメージセンサの画像信号処理装置 |
| JP2002320142A (ja) * | 2001-04-19 | 2002-10-31 | Sony Corp | 固体撮像装置 |
| JP2003009005A (ja) * | 2001-04-19 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
-
2001
- 2001-07-03 JP JP2001202447A patent/JP4656621B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223486A (ja) * | 1995-02-09 | 1996-08-30 | Hamamatsu Photonics Kk | Ｃｃｄ固体撮像装置 |
| JPH10336529A (ja) * | 1997-04-04 | 1998-12-18 | Asahi Optical Co Ltd | 画素信号処理装置 |
| JP2001094886A (ja) * | 1999-09-20 | 2001-04-06 | Canon Inc | 撮像装置、撮像装置の制御方法及び記憶媒体 |
| JP2002252808A (ja) * | 2001-02-23 | 2002-09-06 | Sony Corp | イメージセンサの画像信号処理装置 |
| JP2002320142A (ja) * | 2001-04-19 | 2002-10-31 | Sony Corp | 固体撮像装置 |
| JP2003009005A (ja) * | 2001-04-19 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003018472A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7050098B2 (en) | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame | |
| US7245318B2 (en) | Imaging apparatus that corrects an imbalance in output levels of image data | |
| JP3619077B2 (ja) | 撮像装置、撮像装置の制御方法及び記憶媒体 | |
| JP2000244823A (ja) | 撮像素子の欠陥画素補正装置 | |
| JP3697172B2 (ja) | 信号処理装置及び信号処理方法並びに撮像装置 | |
| JP4616429B2 (ja) | 画像処理装置 | |
| JP4115220B2 (ja) | 撮像装置 | |
| JP4067033B2 (ja) | 画像処理装置及び方法 | |
| JPH11239291A (ja) | 撮像制御装置および撮像制御方法 | |
| US9420223B2 (en) | Image recording device that records moving image, method of controlling the same, and storage medium | |
| JP4123352B2 (ja) | 動画撮像装置及び動画再生装置 | |
| JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
| JP4033456B2 (ja) | デジタルカメラ | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP2002335454A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| JP4026516B2 (ja) | 画像処理装置及び方法 | |
| JP4656621B2 (ja) | 信号処理装置及び方法、及び撮像装置 | |
| JP3673669B2 (ja) | 撮像装置及びその制御方法及び記憶媒体 | |
| JP2014007454A (ja) | 撮像装置および撮像方法 | |
| JP2005277618A (ja) | 撮像装置、シェーディング補正装置、及びシェーディング補正方法 | |
| JP2003209739A (ja) | 撮像装置、その画像データ間のアンバランス補正方法およびプログラムおよび記憶媒体 | |
| JP4028396B2 (ja) | 画像合成方法及びデジタルカメラ | |
| JP3015044B2 (ja) | 画像記録再生装置および画像再生装置および画像記録装置 | |
| JP2008219803A (ja) | 画像信号の補正方法及び撮像装置 | |
| JP2010239267A (ja) | 撮像装置、周辺減光補正制御方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080703 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080703 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |