JP3673669B2

JP3673669B2 - 撮像装置及びその制御方法及び記憶媒体

Info

Publication number: JP3673669B2
Application number: JP05338299A
Authority: JP
Inventors: 泰彦塩見
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-03-01
Filing date: 1999-03-01
Publication date: 2005-07-20
Anticipated expiration: 2019-03-01
Also published as: JP2000253305A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等で使用する撮像素子に於いて、複数出力から同時にデーターを読み出す構造になっている場合に、複数出力間の出力レベルを自動的に判断し複数出力間のアンバランスを取り除くように補正する方法に関するものである。
【０００２】
【従来の技術】
従来より、図８に示した様な構成のデジタルスチルカメラが知られている。この図の構成の場合は、撮影者自身によるカメラ操作スイッチ１０１（カメラのメインＳＷ及びレリーズＳＷで構成）の状態変化を全体制御回路１００が検出し、その他の各回路ブロックへの電源供給を開始する。
【０００３】
撮影画面範囲内の被写体像は、主撮影光学系１０２及び１０３を通して撮像素子１０４上に結像し、この撮像素子１０４からの電気信号は、ＣＤＳ／ＡＧＣ回路を介して、各画素毎に順々にＡ／Ｄ変換回路１０６で所定のデジタル信号に変換される。
【０００４】
ここで撮像素子１０４は、全体の駆動タイミングを決定しているタイミングジェネレータ１０８からの信号に基づき、各画素毎の水平駆動並びに垂直駆動のためのドライバー回路１０７の出力で所定駆動されることにより、画像信号出力を発生する。
【０００５】
同様に、撮像素子１０４からの出力をアナログ的に処理を行って所定の信号レベルに変換するＣＤＳ／ＡＧＣ回路１０５、並びにＡ／Ｄ変換回路１０６も上記タイミングジェネレータ１０８からのタイミングに基づいて動作する。
【０００６】
Ａ／Ｄ変換回路１０６からの出力は、全体制御ＣＰＵ１００からの信号に基づいて信号の選択を行うセレクタ１０９を介してメモリーコントローラ１１５へ入力され、ここでフレームメモリー１１６へ全ての信号出力を転送する。従って、この場合各撮影フレーム毎の画素データーは、一旦全てフレームメモリー１１６内に記憶されるため、連写撮影等の場合は全てフレームメモリー１１６への書き込み動作となる。
【０００７】
撮影動作終了後は、メモリーコントローラ１１５の制御により、撮影データを記憶しているフレームメモリー１１６の内容を、セレクター１０９を介してカメラＤＳＰ１１０へ転送する。このカメラＤＳＰ１１０では、フレームメモリー１１６に記憶されている各撮影データーの各画素データーを基にＲＧＢの各色信号を生成する。
【０００８】
通常撮影前の状態では、この結果をビデオメモリー１１１に定期的（各フレーム毎）に転送する事で、モニター表示回路１１２を介してファインダー表示等を行っている。
【０００９】
一方、カメラ操作スイッチ１０１の操作により、撮影動作を撮影者自身が行った場合には、全体制御ＣＰＵ１００からの制御信号によって、１フレーム分の各画素データーをフレームメモリー１１６から読み出し、カメラＤＳＰ１１０で画像処理を行ってから一旦ワークメモリー１１３に記憶する。
【００１０】
続いて、ワークメモリー１１３のデーターを圧縮・伸張回路１１４で所定の圧縮フォーマットに基づきデーター圧縮し、その結果を外部不揮発性メモリー１１７（通常フラッシュメモリー等の不揮発性メモリーを使用）に記憶する。
【００１１】
また、逆に撮影済みの画像データーを観察する場合には、上記外部メモリー１１７に圧縮記憶されたデーターを、圧縮・伸張回路１１４を通して通常の撮影画素毎のデーターに伸張し、その結果をビデオメモリー１１１へ転送することで、モニター表示回路１１２を通して行う事が出来る。
【００１２】
この様に、通常のデジタルカメラでは、撮像素子１０４からの出力を、ほぼリアルタイムでプロセス処理回路を通して実際の画像データーに変換し、その結果をメモリーないしはモニター回路へ出力する構成となっている。
【００１３】
一方、上記の様なデジタルカメラシステムに於いて、連写撮影等の能力を向上させる（例えば１０駒／秒に近い能力を得る）為には、撮像素子からの読み出し速度を上げる事やフレームメモリー等への撮像素子データーの書き込み速度を上げる等の撮像素子を含めたシステム的な改善が必要である。
【００１４】
図７はその改善方法の一つとして、ＣＣＤ等の撮像素子で水平ＣＣＤを２分割にした２出力タイプのデバイス構造を簡単に示したものである。
【００１５】
図７のＣＣＤでは、フォトダイオード部９０で発生した各画素毎の電荷をある所定のタイミングで一斉に垂直ＣＣＤ部へ転送し、次のタイミングで各ライン毎に垂直ＣＣＤの電荷を水平ＣＣＤ９２及び９３に転送する。
【００１６】
ここで水平ＣＣＤ９２は、転送クロツク毎にその電荷を左側のアンプ９４へ向かって転送し、又水平ＣＣＤ９３は、転送クロック毎にその電荷を右側のアンプ９５へ向かって転送することから、このＣＣＤの撮影画像データーは画面の中央を境にして左右真っ二つに分割して読み出されることになる。
【００１７】
通常上記アンプ９４，９５はＣＣＤデバイスの中に作り込まれるが、レイアウト的にはかなり離れた位置に来るため、両アンプの相対精度は必ずしも完全に一致するとは限らない。その為、アンプ後の出力を左右それぞれ別々のＣＤＳ／ＡＧＣ回路９６、９７を通した際に、外部調整手段９７及び９９によって調整することで左右出力のマッチング性を確保する様にしている。
【００１８】
【発明が解決しようとする課題】
以上の様に高速な読み出しが実現できる撮像素子として、２つ以上の複数出力から同時に信号を読み出す方法は、今後のデジタルカメラをより銀塩カメラ（既に一眼レフタイプの銀塩カメラでは８駒／秒位のスペックの製品は実現されている）に近づけるためには、必須の技術である。
【００１９】
しかしながら複数の出力を持つということは、スピード的には有利になるものの、出力レベルのマッチング性という観点では、明らかに１出力しかないものに比べて不利になってしまう。
【００２０】
従来のＣＤＳ／ＡＧＣ回路部でのアナログ的な調整や、Ａ／Ｄ変換後の出力で両チャンネルを合わせ込むデジタル的な調整等、単なるマニュアル的な調整方法では、製造工程上でかなり合わせ込んだとしても、環境の変化によって、例えばＶＲ抵抗そのものの値も変わってくるし、ＣＤＳ／ＡＧＣ回路の温度特性の傾向も完全に２つのものが一致する可能性は極めて低い。
【００２１】
通常この様な撮像素子の読み出し方法を行った場合、左右両出力の相対精度としては±１％を超えるようだと、画面上でその境界のアンバランスがはっきりと解ってしまう。
【００２２】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像素子の複数の出力端子から同時に出力される画像データーのアンバランスを自動的に補正することができる撮像装置及びその制御方法及び記憶媒体を提供することである。
【００２３】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を電気信号に変換する第１、第２の領域と、前記第１の領域からの電気信号を出力する第１の出力端子と、前記第２の領域からの電気信号を出力する第２の出力端子とを有する撮像手段と、前記第１の出力端子から出力された、前記第１の領域のうちの一部の領域からの電気信号と、前記第２の出力端子から出力された、前記第２の領域のうちの一部の領域からの電気信号との相関関係に基づいて、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方を補正する補正手段と、前記第１の領域と前記第２の領域との境界を跨いで所定の方向に配列されている複数の画素のうち、前記第１の領域に含まれる画素からの信号の読み出しの順番の方向と、前記第２の領域に含まれる画素からの信号の読み出しの順番の方向とが逆になるように駆動するタイミング発生回路とを有し、前記第１の領域の一部の領域の前記境界側と反対側の端部の辺が、前記第１の領域の中心を基準として前記境界側にあり、前記第２の領域の一部の領域の前記境界側と反対側の辺が、前記第２の領域の中心を基準として前記境界側にあることを特徴としている。
【００２４】
また、この発明に係わる撮像装置において、前記補正手段は、前記第１、第２の出力端子からそれぞれ出力された電気信号を処理する処理手段と、前記第１の領域のうちの一部の領域からの電気信号の平均信号と、前記第２の領域のうちの一部の領域からの電気信号の平均信号との減算を行い、前記相関関係としての前記減算結果に応じて、前記処理手段において、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方に所定の信号レベルを加算するように制御する制御手段と、を含むことを特徴としている。
【００２５】
また、この発明に係わる撮像装置において、前記補正手段は、前記第１、第２の出力端子からそれぞれ出力された電気信号を処理する処理手段と、前記第１の領域のうちの一部の領域からの電気信号の平均信号と、前記第２の領域のうちの一部の領域からの電気信号の平均信号との除算を行い、前記相関関係としての前記除算結果に応じて、前記処理手段において、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方に所定の信号レベルを乗算するように制御する制御手段と、を含むことを特徴としている。
【００２６】
また、この発明に係わる撮像装置において、前記補正手段は、前記第１、第２の出力端子からそれぞれ出力された電気信号を処理する処理手段と、前記第１の領域のうちの一部の領域からの電気信号の平均信号と、前記第２の領域のうちの一部の領域からの電気信号の平均信号とから前記第１の領域からの電気信号と前記第２の領域からの電気信号のオフセット差に相当する信号レベルを算出し、前記相関関係としての前記算出結果に応じて、前記処理手段において、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方にオフセット調整をするように制御する制御手段と、を含むことを特徴としている。
【００２７】
また、この発明に係わる撮像装置において、前記補正手段は、前記第１、第２の出力端子からそれぞれ出力された電気信号を処理する処理手段と、前記相関関係を判別するために、前記第１の領域のうちの一部の領域からの電気信号の平均信号と、前記第２の領域のうちの一部の領域からの電気信号の平均信号から前記第１の領域からの電気信号と前記第２の領域からの電気信号のゲイン差に相当する信号レベルを算出し、前記相関関係としての前記算出結果に応じて、前記処理手段において、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方にゲイン調整をするように制御する制御手段と、を含むことを特徴としている。
【００２８】
また、この発明に係わる撮像装置において、前記処理手段からの電気信号を合成して１枚の撮像画像を生成する画像合成手段を更に有することを特徴としている。
【００２９】
また、この発明に係わる撮像装置において、少なくともキャリブレーションを実行する第１のモードと本撮影を実行する第２のモードとを切り替えるモード設定手段と、前記モード設定手段により前記第１のモードが選択されている場合に、前記第１、第２の出力端子から出力された電気信号に対して、その相関関係を判別する判別動作を実行し、前記モード設定手段により前記第２のモードが選択されている場合に、前記第１、前記第２の出力端子から出力された電気信号の少なくとも一方に対して補正動作を実行する第２の制御手段と、を有することを特徴としている。
【００３０】
また、この発明に係わる撮像装置において、前記第２の制御手段は、前記モード設定手段により前記第１のモードが選択されている場合に、前記判別結果を撮影者に通知するように制御することを特徴としている。
【００３１】
また、本発明に係わる撮像装置の制御方法は、被写体像を電気信号に変換する第１、第２の領域と、前記第１の領域からの電気信号を出力する第１の出力端子と、前記第２の領域からの電気信号を出力する第２の出力端子とを有する撮像手段を備える撮像装置を制御するための撮像装置の制御方法であって、前記第１の領域と前記第２の領域との境界を跨いで所定の方向に配列されている複数の画素のうち、前記第１の領域に含まれる画素からの信号の読み出しの順番の方向と、前記第２の領域に含まれる画素からの信号の読み出しの順番の方向とが逆になるように前記撮像手段を駆動する駆動工程と、前記第１の出力端子から出力された、前記第１の領域のうちの一部の領域からの電気信号と、前記第２の出力端子から出力された、前記第２の領域のうちの一部の領域からの電気信号との相関関係を算出する算出工程と、該算出工程で算出された前記相関関係に基づいて、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方を補正する補正工程とを有し、前記第１の領域の一部の領域の前記境界側と反対側の端部の辺が、前記第１の領域の中心を基準として前記境界側にあり、前記第２の領域の一部の領域の前記境界側と反対側の辺が、前記第２の領域の中心を基準として前記境界側にあることを特徴としている。
【００３２】
また、本発明に係わる記憶媒体は、被写体像を電気信号に変換する第１、第２の領域と、前記第１の領域からの電気信号を出力する第１の出力端子と、前記第２の領域からの電気信号を出力する第２の出力端子とを有する撮像手段を備える撮像装置を制御するための制御プログラムを格納した記憶媒体であって、
前記制御プログラムが、前記第１の領域と前記第２の領域との境界を跨いで所定の方向に配列されている複数の画素のうち、前記第１の領域に含まれる画素からの信号の読み出しの順番の方向と、前記第２の領域に含まれる画素からの信号の読み出しの順番の方向とが逆になるように前記撮像手段を駆動する駆動工程のコードと、前記第１の出力端子から出力された、前記第１の領域のうちの一部の領域からの電気信号と、前記第２の出力端子から出力された、前記第２の領域のうちの一部の領域からの電気信号との相関関係を算出する算出工程のコードと、該算出工程で算出された前記相関関係に基づいて、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方を補正する補正工程のコードとを有し、前記第１の領域の一部の領域の前記境界側と反対側の端部の辺が、前記第１の領域の中心を基準として前記境界側にあり、前記第２の領域の一部の領域の前記境界側と反対側の辺が、前記第２の領域の中心を基準として前記境界側にあることを特徴としている。
【００４６】
【発明の実施の形態】
以下、本発明の好適な実施形態について説明するのであるが、その前に、本発明の実施形態の概要について説明する。
【００４７】
本発明の実施形態は、複数の出力を有する撮像素子を用いた場合に、その複数の出力間のアンバランスを自動的に補正するようにするものである。
【００４８】
そのために、撮像素子からの複数出力を別々に処理し、各出力毎の相関関係を判別して複数出力間のアンバランス量を算出すると共に、そのアンバランス量に基づく補正を実際の処理回路系に対して行う。
【００４９】
例えば、２つの出力を持つ撮像素子に対して、片方の出力から得られる信号をＡ、もう一方の信号をＢとした場合、Ａの信号出力の平均値、Ｂの信号出力の平均値及びＡとＢの信号出力を合わせた場合の平均値の関係から２つの出力のアンバランス量を自動的に算出する方法がある。
【００５０】
また、撮像素子からの複数出力を別々に処理し、各出力毎の特定範囲にある画像データーの相関関係を判別して複数出力間のアンバランス量を算出すると共に、そのアンバランス量に基づく補正を実際の処理回路系に対して行う。
【００５１】
例えば、２つの出力を持つ撮像素子に対して、片方の出力から得られる信号をＡ、もう一方の信号をＢとした場合、撮像素子画面上の境界付近に位置する画素部分のみの信号をＡ及びＢに対して取り出し、その２つの出力どうしの相関演算を行うことで２つの出力のアンバランス量を算出する方法がある。
【００５２】
また、撮像素子からの複数出力のアンバランス量を検出するために、カメラ等の本体を所定のキャリブレーションモードに設定する。
【００５３】
例えば、フィールド上で撮影者が定期的にキャリブレーションを実行する場合、カメラ本体の設定をそのモードに設定すると、カメラ内部では通常の撮影を行わず複数出力間のアンバランス量の算出のみを行う。このキャリブレーションモードで算出した複数出力間のアンバランス量を、実際の本撮影時に補正データーとして複数出力間に設定する方法がある。
【００５４】
また、撮像素子からの複数出力のアンバランス量を検出するために、カメラ等の本体を所定のキャリブレーションモードに設定し、その結果を撮影者に通告する。
【００５５】
例えば、撮影者は上記キャリブレーション撮影時は本来一面が白の被写体を撮影するのが望ましいが、もし誤ってコントラスト差が画面全体に広がっている様な一般被写体を撮影した場合には、被写体として望ましくない等の警告を発生させる方法もある。
【００５６】
また、撮像素子からの複数出力を別々に処理し、まずその結果をメモリー等に一旦記憶する。このメモリーに記憶されているデーターの一部を使って各出力毎の相関関係をＣＰＵ等の演算で正確に判別し、複数出力間のアンバランス量を算出すると共に、そのアンバランス量に基づく補正を、メモリーから読み出した実際の補正データーに対して行う。
【００５７】
次に、本発明の具体的な実施形態を、添付図面を参照して詳細に説明する。
【００５８】
（第１の実施形態）
図１は、本発明の第１の実施形態の全体のハードウェアー構成を示すブロック図である。
【００５９】
図１において、２つの出力（ＣＨ１及びＣＨ２）を持つ撮像素子１は、ドライバー回路２によって駆動されることで所定の周波数で動作し、画面全体を縦に２分割する形で左右別々に撮影画像データーを出力する構成になっている。また、ＴＧ／ＳＳＧ回路３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへのタイミング信号を供給している。
【００６０】
撮像素子１の右半面の画像出力は、ＣＨ１出力を介してＣＤＳ／ＡＧＣ回路５へ入力され、ここで既知の相関２重サンプリング等の方法を行うことで、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅するためのＡＧＣ回路を働かせる。このＡＧＣ後の出力をＡ／Ｄ変換回路７へ入力することで、デジタル信号に変換しＡＤ−ＣＨ１なる出力を得る。
【００６１】
同様に撮像素子の左半面の画像出力は、ＣＨ２出力を介してＣＤＳ／ＡＧＣ回路４へ入力され、ここで同様の相関２重サンプリング等の方法を行うことで、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅するためのＡＧＣ回路を働かせる。このＡＧＣ後の出力をＡ／Ｄ変換回路６へ入力することで、デジタル信号に変換しＡＤ−ＣＨ２なる出力を得る。
【００６２】
この撮像素子１からの左右両出力を別々にデジタルデーターに変換した後、両出力を各々メモリーコントローラー８、１０を介して、メモリー９、１１に順々に記憶していく。
【００６３】
また、ＡＤ−ＣＨ１及びＡＤ−ＣＨ２の出力は同時にアンバランス量算出回路１８へ入力され、ここで後述する方法によって両出力のアンバランス量を演算すると共に、最適な補正量を決定する。
【００６４】
メモリーコントローラー８及び１０は、通常時分割でメモリー９及び１１に対する読み書きを連続して実行できる様になっているため、撮像素子１からの出力をメモリーに書き込みながら、別のタイミングでメモリーに書き込んだデーターを書き込んだ順に読み出すことが可能である。
【００６５】
まず撮像素子１のＣＨ１側の出力に対しては、メモリーコントローラー１０の制御によりメモリー１１から連続してデーターを読み出し、オフセット調整回路１３へ入力していく。ここでオフセット調整回路１３のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のオフセット出力ＯＦ１が接続されており、オフセット調整回路１３内部で両信号の加算を行う。
【００６６】
次にこのオフセット調整回路１３の出力は、ゲイン調整回路１５へ入力されるが、ここでゲイン調整回路１５のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のゲイン出力ＧＮ１が接続されており、ゲイン調整回路１５内部で両信号の乗算を行う。
【００６７】
同様に撮像素子１のＣＨ２側の出力に対しては、メモリーコントローラー８の制御によりメモリー９から連続してデーターを読み出し、オフセット調整回路１２へ入力していく。ここでオフセット調整回路１２のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のオフセット出力ＯＦ２が接続されており、オフセット調整回路１２内部で両信号の加算を行う。
【００６８】
次にこのオフセット調整回路１２の出力は、ゲイン調整回路１４へ入力されるが、ここでゲイン調整回路１４のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のゲイン出力ＧＮ２が接続されており、ゲイン調整回路１４内部で両信号の乗算を行う。
【００６９】
この様にして、２つの出力間で生ずるアンバランス量をアンバランス量算出回路によって補正した後の画像データー出力を、画像合成回路１６でもって１つの画像データーに変換（左右出力を１つの出力にする）し、次段のカラー処理回路１７で所定のカラー処理（色補間処理やγ変換等）を行うものである。
【００７０】
次に全体の制御について説明する。
【００７１】
全体制御ＣＰＵ１９がモード設定手段２０の設定状態を検出し、例えば撮影者によってキャリブレーションモード等にカメラ全体の設定がなされている状態では、全体制御ＣＰＵ１９がこれを検出して、アンバランス量算出回路１８へこのことを指示する。
【００７２】
アンバランス量算出回路１８では、撮影者によるレリーズ操作に応じて撮影した画像に対し、上述した様な方法でアンバランス量を算出するが、この時撮影画面全体がキャリブレーションに適さない様な場合（例えば一面が均一ではない被写体を撮影者が選択した場合に、明らかに２つの出力間でのアンバランスではないと判断出来る様な場合等）には、表示・警告手段２１により撮影者に現状の被写体が不適切な旨を伝達する構成になっている。従って、撮影者はこの結果をもって再度キャリブレーションに最適な撮影シーンを選択することになる。
【００７３】
次にアンバランス量算出回路１８の具体的構成について、図２に示した回路図を参照して説明を行う。
【００７４】
図２において、まずＡ／Ｄ変換回路の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が、平均値算出回路３０、３１、３２に入力される。ここで、この平均値算出回路で各画素毎のデーターをある所定範囲に渡って平均化するわけであるが、この領域設定を領域選択回路３３で実行している。
【００７５】
この領域選択回路３３は、図１に示したＴＧ／ＳＳＧ回路３からのＶＤ／ＨＤ信号を基準として、撮像素子１から出力される各画素毎のデーターの有効範囲を決定し、各平均値算出回路で平均化するための入力信号を許可するタイミングを設定する。
【００７６】
例えば平均値算出回路３０は、撮像素子のイメージ領域４２に示した斜線部ａの部分に存在する各画素データーの平均値を算出し、また平均値算出回路３２は、撮像素子のイメージ領域４２に示した斜線部ｂの部分に存在する各画素データーの平均値を算出する。
【００７７】
一方、平均値算出回路３１は、撮像素子のイメージ領域４２に示した斜線部ａとｂの両方の部分に存在する各画素データーの平均値を算出する。
【００７８】
従ってこの場合、図１で示した撮像素子１の左半分に存在する所定範囲の画素データーの平均値、撮像素子１の右半分に存在する所定範囲の画素データーの平均値、並びに撮像素子１の左と右の両方に存在する所定範囲の画素データーの平均値を上記平均値算出回路３０，３１，３２で算出することになる。
【００７９】
次に、この平均値算出回路３０，３１，３２のそれぞれの出力をＶ2，Ｖ1+2，Ｖ1とし、各出力を次段に接続されている除算回路３４、３５で各々除算を行う。
【００８０】
まず除算回路３４ではＶ1+2／Ｖ2なる演算を行い、この結果にほぼ比例した値を補正データー算出回路３８からＧＮ２信号として出力する。同様に除算回路３５ではＶ1+2／Ｖ1なる演算を行い、この結果にほぼ比例した値を補正データー算出回路３９からＧＮ１信号として出力する。
【００８１】
上記の方法で算出したＧＮ１及びＧＮ２なる信号出力は、それぞれ図１で示したゲイン調整回路１５及び１４に入力され、ここで両チャンネルからの出力レベルが一致する様に実際の補正を行う。
【００８２】
一方、この平均値算出回路３０，３１，３２の各出力を次段に接続されている減算回路３６、３７で各々減算を行う。
【００８３】
まず減算回路３６ではＶ1+2−Ｖ2なる演算を行い、この結果にほぼ比例した値を補正データー算出回路４０からＯＦ２信号として出力する。同様に減算回路３７ではＶ1+2−Ｖ1なる演算を行い、この結果にほぼ比例した値を補正データー算出回路４１からＯＦ１信号として出力する。
【００８４】
上記の方法で算出したＯＦ１及びＯＦ２なる信号出力は、それぞれ図１で示したオフセット調整回路１３及び１２に入力され、ここで両チャンネルからの出力レベルが一致する様に実際の補正を行う。
【００８５】
上記の２つの方法は、あくまで撮像素子１から出力される画素データーの内、左半分に存在するある所定範囲のデーターの平均値、右半分に存在するある所定範囲のデーターの平均値、並びに左半分と右半分に存在するある所定範囲のデーターの平均値の各値を用いることで、撮像素子の２つの出力間のアンバランスを補正しようというものである。
【００８６】
上記の方法の場合、２つの出力間のデーターに対してゲイン調整を行う場合と、オフセット調整を行う場合との２種類が存在する訳であるが、この両方の方法を使ってアンバランス調整を行っても構わないし、何れか一方のみを選択してアンバランス調整を行っても構わない。
【００８７】
（第２の実施形態）
次に本発明の第２の実施形態について、図３に示す回路構成を参照して説明を行う。
【００８８】
図３において、まずＡ／Ｄ変換回路の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が、図２と全く同様な平均値算出回路３０，３２に入力される。ここで、この平均値算出回路で各画素毎のデーターをある所定範囲に渡って平均化するわけであるが、この領域設定を領域選択回路３３で実行している。
【００８９】
この領域選択回路３３は、図１に示したＴＧ／ＳＳＧ回路３からのＶＤ／ＨＤ信号を基準として、撮像素子１から出力される各画素毎のデーターの有効範囲を決定し、各平均値算出回路で平均化するための入力信号を許可するタイミングを設定する。
【００９０】
例えば平均値算出回路３０は、撮像素子のイメージ領域４２に示した斜線部ａの部分に存在する各画素データーの平均値を算出し、また平均値算出回路３２は、撮像素子のイメージ領域４２に示した斜線部ｂの部分に存在する各画素データーの平均値を算出する。
【００９１】
従ってこの場合、図１で示した撮像素子１の左半分に存在する所定範囲の画素データーの平均値、撮像素子１の右半分に存在する所定範囲の画素データーの平均値を上記平均値算出回路３０、３２で算出することになる。
【００９２】
次に、この平均値算出回路３０，３２のそれぞれの出力をＶ2，Ｖ1とし、各出力を次段に接続されている除算回路４３で除算を行う。除算回路４３ではＶ2／Ｖ1なる演算を行い、この結果にほぼ比例した値を補正データー算出回路４５からＧＮ１信号として出力する。一方、固定出力発生回路４７からは固定出力としてＧＮ２信号を出力する。
【００９３】
上記の方法で算出したＧＮ１及びＧＮ２なる信号出力は、それぞれ図１で示したゲイン調整回路１５及び１４に入力され、ここで両チャンネルからの出力レベルが一致する様に実際の補正を行う。
【００９４】
一方、この平均値算出回路３０，３２の各出力を、次段に接続されている減算回路４４で減算を行う。
【００９５】
まず減算回路４４ではＶ2−Ｖ1なる演算を行い、この結果にほぼ比例した値を補正データー算出回路４６からＯＦ１信号として出力する。一方、固定出力発生回路４８からは固定出力としてＯＦ２信号を出力する。
【００９６】
上記の方法で算出したＯＦ１及びＯＦ２なる信号出力は、それぞれ図１で示したオフセット調整回路１３及び１２に入力され、ここで両チャンネルからの出力レベルが一致する様に実際の補正を行う。
【００９７】
上記の２つの方法は、あくまで撮像素子から出力される画素データーの内、左半分に存在するある所定範囲のデーターの平均値、右半分に存在するある所定範囲のデーターの平均値の関係を用いることで、撮像素子の２つの出力間のアンバランスを補正しようというものである。
【００９８】
第１の実施形態の場合と同様に、上記の方法の場合、２つの出力間のデーターに対してゲイン調整を行う場合と、オフセット調整を行う場合との２種類が存在する訳であるが、この両方の方法を使ってアンバランス調整を行っても構わないし、何れか一方のみを選択してアンバランス調整を行っても構わない。
【００９９】
（第３の実施形態）
次に本発明の第３の実施形態について、図４に示す回路構成を参照して説明を行う。
【０１００】
図４において、まずＡ／Ｄ変換回路の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が、メモリーコントローラー５３，５２を介してそれぞれメモリー５５，５４へ転送される構成になっている。
【０１０１】
ここで、このメモリーコントローラーを介してメモリーに記憶する撮像素子データーの範囲は、タイミング発生回路５０で決まる所定タイミングで決定され、この場合図５のａ、ｂで示した縦方向のブロック列データーである。このａ、ｂで示したブロック内には、撮像素子の色フィルター配列で決まる各色データー（この場合Ｇ／Ｒ／Ｂ／Ｇ）が含まれている。
【０１０２】
従って、メモリーコントローラー５３，５２を介してメモリー５５，５４からのデーターを各ブロック毎に読み出し、このブロック内の各色を次段の輝度信号生成回路５７及び５６で単純な加算を行って簡易の輝度信号を生成する。
【０１０３】
Ｙ＝Ｒ＋２Ｇ＋Ｂ
この輝度信号生成回路５７，５６で生成した輝度信号を、図５のＹ方向に沿って順々に読み出していき、更にこの読み出し方向（Ｙ方向）に対して１次元のローパスフィルター等の処理をローパスフィルター５９，５８で行った結果をグラフに表すと、図５のグラフＡ及びグラフＢの実線で表された様な結果となる。
【０１０４】
次にこのローパスフィルター回路５９，５８の出力を、それぞれオフセット加算回路６３，６２に入力するが、このオフセット加算回路のもう一方の入力はオフセット設定回路６０の出力と接続している。
【０１０５】
最初の初期状態ではオフセット設定回路６０の出力は０で、この状態でまずオフセット加算回路６３，６２の出力を次段の相関演算回路６４へ入力し、ここで相関演算を行う。
【０１０６】
ここでこの相関演算の方法としては、例えば図５の撮像素子画面上の中央境界部分の左側に位置しているブロックａの各輝度データーをＩａ（ｉ）、右側に位置しているブロックｂの各輝度データーをＩｂ（ｉ）とした場合、
Ｐ＝Σ｜Ｉａ（ｉ）−Ｉｂ（ｉ）｜
なる計算式で算出するものとする。
【０１０７】
この相関演算の結果を全体判別回路５１で判別し、相関が未だ不充分であると判断した場合には、オフセット設定回路６０により所定のオフセット量を算出しそれぞれオフセット加算回路へ供給する。
【０１０８】
例えば図５のグラフＡ及びグラフＢでは、Ｉａ（ｉ）に対して＋のオフセット量を加算し、Ｉｂ（ｉ）に対して−のオフセット量を加算しているが、このオフセット加算後の結果を再度相関演算回路６４で相関演算し、その結果を全体判別回路５１で判断する。
【０１０９】
相関演算結果が充分であると判断した場合は、両出力の結果がかなり合っていると判断できるので、この時設定したオフセット設定回路６０の出力ＯＦ１及びＯＦ２を図１のオフセット調整回路１３，１２へ入力し、撮像素子の２チャンネル出力間のアンバランスを補正する。
【０１１０】
次にこのローパスフィルター回路５９，５８の出力を、それぞれゲイン乗算回路６６，６５に入力するが、この乗算回路のもう一方の入力はゲイン設定回路６１の出力と接続している。
【０１１１】
最初の初期状態ではゲイン設定回路６１の出力は１で、この状態でまずゲイン乗算回路６６，６５の出力を次段の相関演算回路６７へ入力し、ここで相関演算を行う。
【０１１２】
ここでこの相関演算の方法としては、例えば図５の撮像素子画面上の中央境界部分の左側に位置しているブロックａの各輝度データーをＩａ（ｉ）、右側に位置しているブロックｂの各輝度データーをＩｂ（ｉ）とした場合、
Ｐ＝Σ｜Ｉａ（ｉ）×Ｉｂ（ｉ）｜
なる計算式で算出する方法が一例として考えられる。
【０１１３】
この相関演算の結果を全体判別回路５１で判別し、相関が未だ不充分であると判断した場合には、ゲイン設定回路６１でもって所定のゲイン量を算出しそれぞれゲイン乗算回路へ供給する。
【０１１４】
相関演算結果が充分であると判断した場合は、両出力の結果がかなり合っていると判断できるので、この時設定したゲイン設定回路６１の出力ＧＮ１及びＧＮ２を図１のゲイン調整回路１５，１４へ入力し、撮像素子の２チャンネル出力間のアンバランスを補正する。
【０１１５】
この様に上記の２つの方法は、あくまで撮像素子から出力される画素データーの内、左半分に存在するある所定範囲のデーター、右半分に存在するある所定範囲のデーターの相関関係を判断し、それに応じて所定のオフセット量ないしはゲイン量を設定することで、撮像素子の２つの出力間のアンバランスを補正しようというものである。
【０１１６】
なお、本実施形態では輝度信号生成回路後の出力に対してローパスフィルター処理を行っているが、この方法以外にバンドパスフィルター処理を行った結果に対して相関演算を行う方法や、もう少し高度な条件判断（例えば部分的な領域を選択する）を加えて左右のアンバランス量を調整する方法が考えられる。
【０１１７】
また第１の実施形態と同様に、上記の方法の場合、２つの出力間のデーターに対してゲイン調整を行う場合と、オフセット調整を行う場合との２種類が存在する訳であるが、この両方の方法を使ってアンバランス調整を行っても構わないし、何れか一方のみを選択してアンバランス調整を行っても構わない。
【０１１８】
（第４の実施形態）
次に本発明の第４の実施形態について、図６に示す回路構成を参照して説明を行う。
【０１１９】
図６において、（ａ）は撮像素子からの読み出しを上下２分割にした場合の構造を示したもので、撮像素子７０から読み出される上半分の出力は、ＣＤＳ／ＡＧＣ回路７１を介してＡ／Ｄコンバーター７３でデジタルデーターに変換された後、例えば図１のメモリーコントローラー８へ入力される。
【０１２０】
同様に、撮像素子７０から読み出される下半分の出力は、ＣＤＳ／ＡＧＣ回路７２を介してＡ／Ｄコンバーター７４でデジタルデーターに変換された後、例えば図１のメモリーコントローラー１０へ入力される。
【０１２１】
また、（ｂ）は撮像素子からの読み出しを上下左右４分割にした場合の構造を示したもので、撮像素子７５から読み出される左上１／４分の出力は、ＣＤＳ／ＡＧＣ回路７６を介してＡ／Ｄコンバーター８０でデジタルデーターに変換された後、例えば図１のメモリーコントローラーへ入力される。
【０１２２】
撮像素子７５から読み出される右上１／４分の出力は、ＣＤＳ／ＡＧＣ回路７７を介してＡ／Ｄコンバーター８１でデジタルデーターに変換された後、同様にメモリーコントローラーへ入力される。
【０１２３】
撮像素子７５から読み出される右下１／４分の出力は、ＣＤＳ／ＡＧＣ回路７８を介してＡ／Ｄコンバーター８２でデジタルデーターに変換された後、例えば図１のメモリーコントローラーへ入力される。
【０１２４】
同様に、撮像素子７５から読み出される左下１／４分の出力は、ＣＤＳ／ＡＧＣ回路７９を介してＡ／Ｄコンバーター８３でデジタルデーターに変換された後、同様にメモリーコントローラーへ入力される。
【０１２５】
なお、上記の実施形態では、撮像手段が撮像素子１に、補正手段がアンバランス量算出回路１８及び調整回路１２〜１５に、処理手段及び第２の処理手段が調整回路１２〜１５に、制御手段がアンバランス量算出回路１８に、第１の処理手段がＣＤＳ／ＡＧＣ、Ａ／Ｄ４〜７に、データとり込み手段が領域選択回路３３にそれぞれ対応している。
【０１２６】
また、本発明における撮像手段とは、撮像素子単体あるいは撮像素子単体に周辺の処理回路を付加したハイブリッドタイプの回路等を含むものである。
【０１２７】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１２８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
【発明の効果】
以上説明したように、本発明によれば、撮像素子の複数出力端子から同時に出力される画像データーそのものから、複数出力同士のアンバランス量を算出することが出来るので、製造工程で複数出力間の出力レベルを調整した後の、環境変化等で変動した出力アンバランスを自動的に補正することが可能となり、撮影画面上に現われる段差等の不連続性を見かけ上なくすことが可能となる。
【０１３１】
また、撮像素子の複数出力端子から同時に出力される画像データーの一部から、複数出力同士のアンバランス量を算出することが出来るので、製造工程で複数出力間の出力レベルを調整した後の、環境変化等で変動した出力アンバランスをより正確且つ自動的に補正することが可能となり、撮影画面上に現われる段差等の不連続性を見かけ上なくすことが可能となる。
【０１３２】
また、撮像素子の複数出力端子から同時に出力される画像データーのアンバランス量を判別するための撮影モードを有していることから、撮影者が事前にその撮影モードでの撮影を実行してくれさえすれば、複数出力毎のアンバランス量を容易に判別することが出来、その判別結果により実際の撮影時の撮影画像に対する不連続性を取り除くことが可能となる。
【０１３３】
また、撮像素子の複数出力端子から同時に出力される画像データーのアンバランス量を判別するための撮影モードを有していることから、撮影者が事前にその撮影モードでの撮影を実行した場合において、撮影シーンが不適切であることを警告することが出来、撮影者に適切なキャリブレーションのための撮影を促すことが出来る。
【０１３４】
また、撮像素子の複数出力端子から同時に出力される画像データーを一旦メモリーに記憶した後、そのメモリーデーターの一部を使用して複数出力どうしのアンバランス量を算出することが出来るので、製造工程で複数出力間の出力レベルを調整した後の、環境変化等で変動した出力アンバランスをＣＰＵ等の演算を使って時間をある程度かけながら正確に且つ自動的に補正することが可能となり、撮影画面上に現われる段差等の不連続性を見かけ上なくすことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１乃至第３の実施形態に係る全体システムの構成図である。
【図２】本発明の第１の実施形態に係る具体的回路構成を表した図である。
【図３】本発明の第２の実施形態に係る具体的回路構成を表した図である。
【図４】本発明の第３の実施形態に係る具体的回路構成を表した図である。
【図５】本発明の第３の実施形態に係る撮像素子からの出力補正の考え方を説明した図である。
【図６】本発明の第４の実施形態に係る撮像素子の具体的構成を示した図である。
【図７】本発明の実施形態全体に係る撮像素子の読み出し原理を表した図である。
【図８】従来のカメラシステムの全体構成を示した図である。
【符号の説明】
１，７０，７５撮像素子
４２撮像素子のイメージ領域

Claims

被写体像を電気信号に変換する第１、第２の領域と、前記第１の領域からの電気信号を出力する第１の出力端子と、前記第２の領域からの電気信号を出力する第２の出力端子とを有する撮像手段と、
前記第１の出力端子から出力された、前記第１の領域のうちの一部の領域からの電気信号と、前記第２の出力端子から出力された、前記第２の領域のうちの一部の領域からの電気信号との相関関係に基づいて、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方を補正する補正手段と、
前記第１の領域と前記第２の領域との境界を跨いで所定の方向に配列されている複数の画素のうち、前記第１の領域に含まれる画素からの信号の読み出しの順番の方向と、前記第２の領域に含まれる画素からの信号の読み出しの順番の方向とが逆になるように駆動するタイミング発生回路とを有し、
前記第１の領域の一部の領域の前記境界側と反対側の端部の辺が、前記第１の領域の中心を基準として前記境界側にあり、前記第２の領域の一部の領域の前記境界側と反対側の辺が、前記第２の領域の中心を基準として前記境界側にあることを特徴とする撮像装置。
前記補正手段は、前記第１、第２の出力端子からそれぞれ出力された電気信号を処理する処理手段と、
前記第１の領域のうちの一部の領域からの電気信号の平均信号と、前記第２の領域のうちの一部の領域からの電気信号の平均信号との減算を行い、前記相関関係としての前記減算結果に応じて、前記処理手段において、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方に所定の信号レベルを加算するように制御する制御手段と、
を含むことを特徴とする請求項１に記載の撮像装置。
前記補正手段は、前記第１、第２の出力端子からそれぞれ出力された電気信号を処理する処理手段と、
前記第１の領域のうちの一部の領域からの電気信号の平均信号と、前記第２の領域のうちの一部の領域からの電気信号の平均信号との除算を行い、前記相関関係としての前記除算結果に応じて、前記処理手段において、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方に所定の信号レベルを乗算するように制御する制御手段と、
を含むことを特徴とする請求項１に記載の撮像装置。
前記補正手段は、前記第１、第２の出力端子からそれぞれ出力された電気信号を処理する処理手段と、
前記第１の領域のうちの一部の領域からの電気信号の平均信号と、前記第２の領域のうちの一部の領域からの電気信号の平均信号とから前記第１の領域からの電気信号と前記第２の領域からの電気信号のオフセット差に相当する信号レベルを算出し、前記相関関係としての前記算出結果に応じて、前記処理手段において、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方にオフセット調整をするように制御する制御手段と、
を含むことを特徴とする請求項１に記載の撮像装置。
前記補正手段は、前記第１、第２の出力端子からそれぞれ出力された電気信号を処理する処理手段と、
前記相関関係を判別するために、前記第１の領域のうちの一部の領域からの電気信号の平均信号と、前記第２の領域のうちの一部の領域からの電気信号の平均信号から前記第１の領域からの電気信号と前記第２の領域からの電気信号のゲイン差に相当する信号レベルを算出し、前記相関関係としての前記算出結果に応じて、前記処理手段において、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方にゲイン調整をするように制御する制御手段と、
を含むことを特徴とする請求項１に記載の撮像装置。
前記処理手段からの電気信号を合成して１枚の撮像画像を生成する画像合成手段を更に有することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
少なくともキャリブレーションを実行する第１のモードと本撮影を実行する第２のモードとを切り替えるモード設定手段と、
前記モード設定手段により前記第１のモードが選択されている場合に、前記第１、第２の出力端子から出力された電気信号に対して、その相関関係を判別する判別動作を実行し、前記モード設定手段により前記第２のモードが選択されている場合に、前記第１、前記第２の出力端子から出力された電気信号の少なくとも一方に対して補正動作を実行する第２の制御手段と、を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記第２の制御手段は、前記モード設定手段により前記第１のモードが選択されている場合に、前記判別結果を撮影者に通知するように制御することを特徴とする請求項７に記載の撮像装置。
被写体像を電気信号に変換する第１、第２の領域と、前記第１の領域からの電気信号を出力する第１の出力端子と、前記第２の領域からの電気信号を出力する第２の出力端子とを有する撮像手段を備える撮像装置を制御するための撮像装置の制御方法であって、
前記第１の領域と前記第２の領域との境界を跨いで所定の方向に配列されている複数の画素のうち、前記第１の領域に含まれる画素からの信号の読み出しの順番の方向と、前記第２の領域に含まれる画素からの信号の読み出しの順番の方向とが逆になるように前記撮像手段を駆動する駆動工程と、
前記第１の出力端子から出力された、前記第１の領域のうちの一部の領域からの電気信号と、前記第２の出力端子から出力された、前記第２の領域のうちの一部の領域からの電気信号との相関関係を算出する算出工程と、
該算出工程で算出された前記相関関係に基づいて、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方を補正する補正工程とを有し、
前記第１の領域の一部の領域の前記境界側と反対側の端部の辺が、前記第１の領域の中心を基準として前記境界側にあり、前記第２の領域の一部の領域の前記境界側と反対側の辺が、前記第２の領域の中心を基準として前記境界側にあることを特徴とする撮像装置の制御方法。
被写体像を電気信号に変換する第１、第２の領域と、前記第１の領域からの電気信号を出力する第１の出力端子と、前記第２の領域からの電気信号を出力する第２の出力端子とを有する撮像手段を備える撮像装置を制御するための制御プログラムを格納した記憶媒体であって、
前記制御プログラムが、
前記第１の領域と前記第２の領域との境界を跨いで所定の方向に配列されている複数の画素のうち、前記第１の領域に含まれる画素からの信号の読み出しの順番の方向と、前記第２の領域に含まれる画素からの信号の読み出しの順番の方向とが逆になるように前記撮像手段を駆動する駆動工程のコードと、
前記第１の出力端子から出力された、前記第１の領域のうちの一部の領域からの電気信号と、前記第２の出力端子から出力された、前記第２の領域のうちの一部の領域からの電気信号との相関関係を算出する算出工程のコードと、
該算出工程で算出された前記相関関係に基づいて、前記第１の出力端子から出力された電気信号及び前記第２の出力端子から出力された電気信号の少なくとも一方を補正する補正工程のコードとを有し、
前記第１の領域の一部の領域の前記境界側と反対側の端部の辺が、前記第１の領域の中心を基準として前記境界側にあり、前記第２の領域の一部の領域の前記境界側と反対側の辺が、前記第２の領域の中心を基準として前記境界側にあることを特徴とする記憶媒体。