JP3619077B2 - 撮像装置、撮像装置の制御方法及び記憶媒体 - Google Patents
撮像装置、撮像装置の制御方法及び記憶媒体 Download PDFInfo
- Publication number
- JP3619077B2 JP3619077B2 JP26537999A JP26537999A JP3619077B2 JP 3619077 B2 JP3619077 B2 JP 3619077B2 JP 26537999 A JP26537999 A JP 26537999A JP 26537999 A JP26537999 A JP 26537999A JP 3619077 B2 JP3619077 B2 JP 3619077B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- image data
- region
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体像を複数の撮像領域によって分割して撮像し、その複数の撮像領域のそれぞれから画像データを出力する撮像部を有した撮像装置に関するものである。
【０００２】
【従来の技術】
従来、デジタルスチルカメラ等の撮像装置では、図７に示した様な構成となっている。この図の構成の場合は、撮影者自身によるカメラ操作スイッチ１０１（カメラのメインＳＷ及びレリーズＳＷで構成）の状態変化を全体制御回路１００が検出し、その他の各回路ブロックへの電源供給を開始する。
【０００３】
撮影画面範囲内の被写体像は、主撮影光学系１０２及び１０３を通して撮像素子１０４上に結像し、この撮像素子１０４からの電気信号を、ＣＤＳ／ＡＧＣ回路を介して、各画素毎に順々にＡ／Ｄ変換手段１０６で所定のデジタル信号に変換する。
【０００４】
ここで撮像素子１０４は、全体の駆動タイミングを決定しているタイミングジェネレータ１０８からの信号に基づき、各画素毎の水平駆動並びに垂直駆動の為のドライバー回路１０７の出力で所定駆動することにより、画像信号出力を発生する。
【０００５】
同様に、撮像素子１０４からの出力アナログ的に処理を行って所定の信号レベルに変換するＣＤＳ／ＡＧＣ回路１０５、並びにＡ／Ｄ変換回路１０６も上記タイミングジェネレータ１０８からのタイミングに基づいて動作する。
【０００６】
Ａ／Ｄ変換回路１０６からの出力は、全体制御ＣＰＵ１００からの信号に基づいて信号の選択を行うセレクタ１０９を介してメモリーコントローラ１１５へ入力し、ここでフレームメモリー１１６へ全ての信号出力を転送する。従って、この場合各撮影フレーム毎の画素データは、一旦全てフレームメモリ１１６内に記憶される為、連写撮影等の場合は全てフレームメモリー１１６への書き込み動作となる。
【０００７】
撮影動作終了後は、メモリーコントローラ１１５の制御により、撮影データーを記憶しているフレームメモリー１１６の内容を、セレクター１０９を介してカメラＤＳＰ１１０へ転送する。このカメラＤＳＰ１１０では、フレームメモリーに記憶されている各撮影データーの各画素データーを基にＲＧＢの各色信号を生成する。
【０００８】
通常撮影前の状態では、この結果をビデオメモリー１１１に定期的（各フレーム毎）に転送する事で、モニター表示手段１１２を介してファインダー表示等を行っている。
【０００９】
一方、カメラ操作スイッチ１０１の操作により、撮影動作を撮影者自身が行った場合には、全体制御ＣＰＵ１００からの制御信号によって、１フレーム分の各画素データーをフレームメモリー１１６から読み出し、カメラＤＳＰ１１０で画像処理を行ってから一旦ワークメモリー１１３に記憶する。
【００１０】
続いて、ワークメモリー１１３のデータを圧縮・伸張手段１１４で所定の圧縮フォーマットに基づきデータ圧縮し、その結果を外部不揮発性メモリー１１７（通常フラッシュメモリー等の不揮発性メモリーを使用）に記憶する。
【００１１】
又、逆に撮影済みの画像データーを観察する場合には、上記外部メモリーに圧縮記憶されたデータを、圧縮・伸張手段１１４を通して通常の撮影画素毎のデーターに伸張し、その結果をビデオメモリー１１１へ転送する事で、モニター表示手段１１２を通して行う事が出来る。
【００１２】
この様に、通常の撮像装置では、撮像素子１０４からの出力を、ほぼリアルタイムでプロセス処理回路を通して実際の画像データーに変換し、その結果をメモリーないしはモニター回路へ出力する構成となっている。
【００１３】
一方、上記の様な撮像装置に於いて、連写撮影等の能力を向上させる（例えば１０駒／秒に近い能力を得る）為には、撮像素子からの読み出し速度を上げる事やフレームメモリー等への撮像素子データーの書き込み速度を上げる等の撮像素子を含めたシステム的な改善が必要である。
【００１４】
図６はその改善方法の一つとして、ＣＣＤ等の撮像素子で水平ＣＣＤを２分割にした２出力タイプのデバイス構造を簡単に示したものである。
【００１５】
図７のＣＣＤでは、フォトダイオード部９０で発生した各画素毎の電荷をある所定のタイミングで一斉に垂直ＣＣＤ部へ転送し、次のタイミングで各ライン毎に垂直ＣＣＤの電荷を水平ＣＣＤ９２及び９３に転送する。
【００１６】
ここで水平ＣＣＤ９２は、転送クロック毎にその電荷を左側のアンプ９４へ向かって転送し、又水平ＣＣＤ９３は、転送クロック毎にその電荷を右側のアンプ９５へ向かって転送する事から、このＣＣＤの撮影画像データーは画面の中央を境にして左右真っ二つに分割して読み出される事になる。
【００１７】
通常上記アンプはＣＣＤデバイスの中に作り込まれるが、レイアウト的にはかなり離れた位置に来る為、両アンプの相対精度は必ずしも完全に一致するとは限らない。その為、アンプ後の出力を左右それぞれ別々のＣＤＳ／ＡＧＣ回路９６、９７を通した際に、外部調整手段９７及び９９によって調整する事で左右出力のマッチング性を確保する様にしている。
【００１８】
【発明が解決しようとする課題】
しかしながら、以上の様に、被写体像を複数の撮像領域に分割して撮像し、その複数の撮像領域のそれぞれから同時に信号を読み出す方法は、スピード的には有利になるものの、出力レベルのマッチング性という観点では、明らかに１出力しかないものに比べて不利になってしまう。
【００１９】
従来のＣＤＳ／ＡＧＣ回路部でのアナログ的な調整や、Ａ／Ｄ変換後の出力で両チャンネルを合わせ込むデジタル的な調整等、単なるマニュアル的な調整方法では、製造工程上でかなり合わせ込んだとしても、環境の変化によって、例えばＶＲ抵抗そのものの値も変わってくるし、ＣＤＳ／ＡＧＣ回路の温度特性の傾向も完全に２つのものが一致する可能性は極めて低い。
【００２０】
通常この様な読み出し方法を行った場合、左右両出力の相対精度としては±１％を超えるようだと、画面上でその境界のアンバランスがはっきりと解ってしまう。
【００２１】
そこで本発明では、この様な複数出力を持つ撮像部を有する撮像装置の場合に、複数出力の相対精度をいかにして保つか、その具体的方法に注目した。
【００２２】
本発明の目的は、撮像部の複数出力端子から出力される画像データ毎アンバランスを補正することである。
【００２３】
【課題を解決するための手段】
横方向および縦方向に２次元配置された複数の画素を有し、前記２次元配置された複数の画素を、複数の撮像領域に縦方向の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像部と、前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算手段と、記比較演算手段による判断結果に基づいて、前記相関性の高い領域を選択する選択手段と、前記選択手段によって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正手段と、前記補正手段によって補正された前記複数の画像デ−タを合成する画像合成手段とを有することを特徴とする撮像装置を提供する。
【００２４】
また、横方向および縦方向に２次元配置された複数の画素を、複数の撮像領域に縦方向の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像ステップと、前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算ステップと、前記比較演算ステップによる判断結果に基づいて、前記相関性の高い領域を選択する選択ステップと、前記選択ステップによって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正ステップと、前記補正ステップによって補正された前記複数の画像デ−タを合成する画像合成ステップとを有することを特徴とする撮像装置の制御方法を提供する。また、横方向および縦方向に２次元配置された複数の画素を有し、
前記２次元配置された複数の画素を、複数の撮像領域に縦の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像部と、前記複数の撮像領域のそれぞれから出力された複数の前記画像データを処理する処理手段を有する撮像装置を制御するための制御プログラムが格納された記録媒体であって、前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算工程と、前記比較演算工程による判断結果に基づいて、前記相関性の高い領域を選択する選択工程と、前記選択工程によって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正工程と、前記補正工程によって補正された前記複数の画像デ−タを合成する画像合成工程のコードを有することを特徴とする記録媒体を提供する。
【００２６】
【発明の実施の形態】
（第１の実施の形態）
図１は本発明の第１の実施の形態を説明するための撮像装置全体のハードウェアー構成の一例を示すブロック図である。
【００２７】
同図に於いて被写体像を複数の撮像領域によって分割して撮像し、その複数の撮像領域のそれぞれから信号を出力する撮像部である２つの出力（ＣＨ１及びＣＨ２）を持つＣＣＤ等の撮像素子１は、ドライバー手段２によって駆動される事で所定の周波数で動作し、画面全体を縦に２分割する形で左右別々に画像データーを出力する構成になっている。又、ＴＧ／ＳＳＧ３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへのタイミング信号を供給している。
【００２８】
撮像素子１の右半面から出力されたデータは、ＣＨ１出力を介してＣＤＳ／ＡＧＣ回路５へ入力し、ここで既知の相関２重サンプリング等の方法を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する為のＡＧＣ回路を働かせる。このＡＧＣ後の出力をＡ／Ｄ変換回路７へ入力する事で、デジタル信号に変換しＡＤ−ＣＨ１なる出力を得る。
【００２９】
同様に撮像素子の左半面から出力されたデータは、ＣＨ２出力を介してＣＤＳ／ＡＧＣ回路４へ入力し、ここで同様の相関２重サンプリング等の方法を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する為のＡＧＣ回路を働かせる。このＡＧＣ後の出力をＡ／Ｄ変換回路６へ入力する事で、デジタル信号に変換しＡＤ−ＣＨ２なる出力を得る。
【００３０】
この撮像素子からの左右両出力を別々にデジタルデーターに変換した後、両出力を各々メモリーコントローラー８、１０を介して、メモリー９、１１に順々に記憶していく。
【００３１】
又、ＡＤ−ＣＨ１及びＡＤ−ＣＨ２から出力された画像データは、両画像データのアンバランス量を補正するための補正手段であるアンバランス量算出回路１８へ同時に入力される。
【００３２】
メモリーコントローラー８及び１０は、通常時分割でメモリー９及び１１に対する読み書きを連続して実行できる様になっている為、撮像素子からの出力をメモリーに書き込みながら、別のタイミングでメモリーに書き込んだデータを書き込んだ順に読み出す事が可能である。
【００３３】
まず撮像素子１のＣＨ１側の出力に対しては、メモリーコントローラー１０の制御によりメモリー１１から連続してデーターを読み出し、ゲイン調整回路１３へ入力していく。ここでゲイン調整回路１３のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のゲイン出力ＧＮ１が接続されており、ゲイン調整回路１３内部で両信号の乗算を行う。
【００３４】
次にこのゲイン調整回路１３の出力は、オフセット調整回路１５へ入力するが、ここでオフセット調整回路１５のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のゲイン出力ＯＦ１が接続されており、オフセット調整回路１５内部で両信号の加算を行う。
【００３５】
同様に撮像素子１のＣＨ２側の出力に対しては、メモリーコントローラー８の制御によりメモリー９から連続してデーターを読み出し、ゲイン調整回路１２へ入力していく。ここでゲイン調整回路１２のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のゲイン出力ＧＮ２が接続されており、ゲイン調整回路１２内部で両信号の加算を行う。
【００３６】
次にこのゲイン調整回路１２の出力は、オフセット調整回路１４へ入力するが、ここでオフセット調整回路１４のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のオフセット出力ＯＦ２が接続されており、オフセット調整回路１４内部で両信号の加算を行う。
【００３７】
この様に、２つの画像データは、アンバランス量算出回路によって算出された補正量に基づいて調整を行う調整手段であるゲイン調整回路及びオフセット調整回路によってアンバランス量が調整される。ここで、アンバランス量の調整は、場合によってゲイン調整又はオフセット調整のどちらかのみを行ってもよい。
【００３８】
この様にして、２つの出力間で生ずるアンバランス量を調整した画像データー出力を、画像合成回路１６でもって１つの画像データに変換（左右出力を１つの出力にする）し、次段のカラー処理回路１７で所定のカラー処理（色補間処理やγ変換等）を行うものとする。
【００３９】
次にアンバランス量算出回路１８の具体的構成について、図２に示した構成を用いて説明を行う。
【００４０】
図２に於いて、まず関数選択回路４６によって演算回路３０〜３７を指定する。この関数選択回路は左右の各々の出力に対して複数の演算回路を選択できるようになっている。演算回路の種類としては平均値算出回路、最大値算出回路、最小値算出回路、分散値算出回路、標準偏差値算出回路、平均偏差値算出回路、傾き値算出回路、差分最大値算出回路、差分最小値算出回路、差分平均値算出回路などが考えられる。これらの演算回路によって左右各々の出力データに対し統計量を計算する。この関数選択回路４６によって選択された複数の演算回路にＡ／Ｄ変換回路の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が入力される。
【００４１】
このとき、関数選択回路４６によって選択された各々の演算回路に対して、領域選択回路４５により画像データにおいてアンバランス量を算出するための所定の領域を選択する。この領域選択回路４５は、図１に示したＴＧ／ＳＳＧ３からのＶＤ／ＨＤ信号を基準として、撮像素子１から出力される各画素毎のデーターの有効範囲を決定し、各演算回路で演算する為の入力信号を許可するタイミングを設定する。図３は領域選択回路の選択方法の一例である。図３において画像データの左右境界付近から横方向に左右それぞれ特定の位置までを指定する。さらに、Ｒ／Ｇ／Ｇ／Ｂの色フィルタ配列を持つ画素の集合６０を１つのセルとし、縦方向の位置ｙにおいて左右境界から横方向の指定位置まで連続した連続領域ｃ（ｙ）、ｄ（ｙ）を考える。任意の縦方向の位置ｙについてこのｃ（ｙ）、ｄ（ｙ）の組について相関関係を判断する。また、領域設定回路は単位画素集合６０中の特定の色フィルタを持つ画素のみを指定したり、その組み合わせを指定したりすることが可能である。また、この領域選択回路４５は各々の演算回路に対して異なる領域を選択可能であってもかまわない。
【００４２】
次に、メモリーコントローラ３８は演算回路３０〜３７で演算されたＡＤ−ＣＨ１に対する演算データーを一旦メモリー３９に記憶する。
【００４３】
次に、補正データー演出回路４２はメモリーコントローラ３８、４０を介してＡＤ−ＣＨ２に対する演算データーおよびＡＤ−ＣＨ１に対する演算データーをメモリー３９、４１から読み出し、後で述べる方法のように演算データーを相関演算することでＡＤ−ＣＨ２に対するゲイン補正データーＧＮ２およびオフセット補正データーＯＦ２を算出する。同様に補正データー算出回路４３はメモリーコントローラ３８、４０を介してＡＤ−ＣＨ２に対する演算データーおよびＡＤ−ＣＨ１に対する演算データーをメモリー３９、４１から読み出し、後で述べる方法でＡＤ−ＣＨ１に対するゲイン補正データーＧＮ２およびオフセット補正データーＯＦ２を算出する。ここで、２出力ＡＤ−ＣＨ１とＡＤ−ＣＨ２間のアンバランスをとるためにはどちらか一方の出力を補正すれば十分なので、ＡＤ−ＣＨ２の補正データーＧＮ２・ＯＦ２、または、ＡＤ−ＣＨ１の補正データーＧＮ１・ＯＦ１のどちらか一方は固定データーでも構わない。
【００４４】
次に、図４のフローチャートを用いてアンバランス量の補正を行うためのアルゴリズムの一例を説明する。ここでは、図３のような連続漁期ｃ（ｙ）、ｃ（ｙ）について輝度値を判断し、その判断結果を用いて２出力の相関演算をする。しかしながら、撮影画像にはいろいろなパターンが含まれており、単純にすべての縦方向位置ｙの連続領域ｃ（ｙ）、ｄ（ｙ）について単純に相関演算をすると、相関性の低い領域まで演算してしまい、算出したアンバランス量が実際のずれ量とかけ離れたものになってしまう可能性がある。この問題を解決する方法として、相関性の高い領域だけに着目し、相関演算する方法がある。相関性が高い領域とは、輝度が一様で境界付近において輝度ムラのないような領域が考えられる。例えば、風景写真画像において雲の無い空の部分が境界に来ている場合は、その部分は２出力間で相関性が高いと考えられる。また逆に、ビルを撮影した画像において、２出力の境界付近にビルと空の境界が写っているような場合は２出力の相関性が低いと考えられる。具体的にこのような相関性の高い領域と低い領域を判断する方法としては、輝度を判断する方法、色調を判断する方法、周波数を判断する方法などが考えられる。
【００４５】
本実施の形態では、図４のステップ５１〜５３において相関性の判断を行っている。まず、ステップ５１において２出力間の輝度を判断し、左右で輝度が著しく異なる部分は相関性が低いと判断する。ここでは、図３の任意の縦方向位置ｙの領域ｃ（ｙ）、ｄ（ｙ）において、画像データの平均値を算出する。この結果を輝度としてｃ（ｙ）とｄ（ｙ）において算出結果が著しく違う場合はｃ（ｙ）とｄ（ｙ）における画像データは相関性が低いと判断する。この際、輝度の違いを判断するために閾値が必要であるが、ゲインずれ量・オフセットずれ量をあらかじめ考慮して、閾値を輝度値の１次関数にすると精度良く相関性が低い部分を判断できることがある。
【００４６】
次に、ステップ５２において、２出力間の色調を判断し、左右で色調が異なる部分は相関性が低いと判断する。ステップ５１と同様に、任意の縦方向位置ｙの領域ｃ（ｙ）、ｄ（ｙ）において、各色フィルタ毎の画像データの平均値を算出する。さらに、各色フィルタ毎にｃ（ｙ）とｄ（ｙ）の算出結果を比較し、著しく違う場合はｃ（ｙ）とｄ（ｙ）における画像データは相関性が低いと判断する。判断基準の閾値を、各色フィルタ毎の輝度値の１次関数とすると、精度良く相関性が低い部分を判断できる。
【００４７】
次に、ステップ５３において周波数を判断し、高い周波数成分を多く持つところは相関性が低いと判断する。ここでは、任意の縦方向位置ｙの領域ｃ（ｙ）において、画像データーの平均値ｙを算出し、連続領域ｃ（ｙ）の中の輝度データーをＹ、輝度データーの数をｎとし、領域ｃ（ｙ）内において、
σ２＝Σ（Ｙ−ｙ）２／ｎ
なる計算式で分散値σ２を計算する。同様に連続領域ｄ（ｙ）において分散値を計算する。この分散値が著しく大きい場合は領域ｃ（ｙ）、ｄ（ｙ）における画像データは高周波成分を多く含むため、相関性が低いと判断する。この分散値は輝度の平均値が大きいときほど分散値も大きくなる傾向があるので、判断の閾値を輝度の平均値の一次関数としてやることで精度良く相関性が低い部分を判断できる。また、周波数の判断方法としては、分散値を算出する方法のほかにも、最大値、最小値、平均偏差値、標準偏差値、差分最大値、差分最小値、差分平均値を求め、これらを組み合わせることによっても同様に周波数を判断することができる。ここで、標準偏差値とは分散値の平方根で表わされ、データーをＹ、個数をｎ、データーの平均をｙとしたとき、平均偏差値σとは
σ＝Σ｜Ｙ−ｙ｜／ｎ
なる計算式で表わされ、差分最大値、差分最小値、差分平均値とは隣合う位置のデーターの差分の絶対値における最大値、最小値、平均値を表わす。
【００４８】
以上のような処理を行った後にステップ５４において相関性が低いと判断されなかった位置を、左右画面の相関性が高い位置であると考える。以上では、相関性の判断として輝度、色調及び周波数の判断を行ったが、いずれか１つ又は２つの判断であってもよい。
【００４９】
次に、ステップ５５において、左右画面の相関性が高いと考えられるラインのみについて以下のような相関演算をして、２出力のアンバランスを補正するように補正データーを算出する。
【００５０】
相関性が高いと考えられる位置ｙのみについて、各色フィルター毎のＡＤ−ＣＨ１に対する輝度データーＧＬ（ｙ）、ＲＬ（ｙ）、ＢＬ（ｙ）と、ＡＤ−ＣＨ１に対する輝度データーＧＲ（ｙ）、ＲＲ（ｙ）、ＢＲ（ｙ）を用いたとき、
なる式で各色フィルター毎の左右の輝度値の差分を二乗して総和をとった値を計算する。この式の値が最小値をとるようなゲイン補正データーＧＮ１、ＧＮ２およびオフセット補正データーＯＦ１、ＯＦ２の組み合わせを求めることで、両出力間の出力レベルが一致するような、ＡＤ−ＣＨ１およびＡＤ−ＣＨ２に対する補正データーを算出することができる。ここで、両出力のアンバランスはどちらか一方を固定して、他方をそれにあわせるかたちで補正できるので、ＧＮ１・ＯＦ１もしくはＧＮ２・ＯＦ２を固定データとしても構わない。また、オフセット誤差、ゲイン誤差のみを補正する場合は、ゲイン補正量、オフセット補正量をそれぞれ固定データとすることができる。
【００５１】
次に、ステップ５６において、上記の方法で算出した補正データＧＮ１およびＧＮ２およびＯＦ１およびＯＦ２を用いて、左右の画像データそれぞれ全体に対して、ゲイン補正およびオフセット補正を行う事で、２出力のアンバランスを正確に補正することができる。
【００５２】
（第２の実施の形態）
図５は本発明の第２の実施の形態を説明するためのアルゴリズムの１例を示すフローチャートである。撮像装置全体のハードウエア構成及びアンバランス量算出回路の具体的構成は、第１の実施の形態と同じである。又第１の実施の形態と同様、図３で示される領域を考える。
【００５３】
本実施の形態では、ゲイン補正量とオフセット補正量を別々に計算している。黒い部分における左右の画面のアンバランスはほぼオフセット誤差のみに依存し、ゲイン補正量とオフセット補正量を同時に算出するよりも、このような方法でオフセット補正量のみを算出したほうがより正確に補正量を算出できる可能性があるため、ステップ５８において画像の黒い部分、すなわち輝度値がゼロ付近の領域だけを判断し、その結果からステップ６０によりオフセット補正量を算出している。
【００５４】
次にステップ５１〜５３における輝度判断、色調判断、高周波判断は、第１の実施の形態と同様である。
【００５５】
次にステップ６２において、白とび部分を判断している。白とびは被写体におけるスポット部分など輝度が極端に高い部分であり、データーが飽和してしまっているために他の部分とはアンバランス量が違っている可能性がある。そのため、２出力の相関性が低いとみなしている。
【００５６】
次に、ステップ６３〜６５、６７、７０において、相関性が高いと判断される部分の量やオフセット補正量を計算しているかいないかによって、実行する相関演算を場合分けしている。まず、ステップ６３では相関性が高い部分が相関計算で正確なアンバランス量を求める際に十分な大きさがあるかどうかを判断し、十分であれば相関計算し、十分でなければもともと２出力は相関性が低いためにアンバランス補正の必要性が低いとみなしている。また、ステップ６４で相関性が高い部分が黒い部分ばかり稼動か判断し、そうであればステップ６３と同様に２出力はもともと相関性が低いとみなしている。そのうえで、ステップ６７により、オフセット補正量が計算されている場合はオフセット誤差のみ補正するように制御し、計算されていない場合はステップ７０によりアンバランス補正はしないようにゲイン補正量とオフセット補正量を決めている。次に、２出力の相関性が高いと判断された部分が相関演算に必要な条件を満たしているとき、ステップ６５により、オフセット補正量が計算されているかどうかを判断している。ここでオフセット補正量が計算されていればステップ６６により相関演算によりゲイン補正量のみを算出し、そうでなければステップ６９により、相関演算によってオフセット補正量とゲイン補正量の両方を算出している。
【００５７】
次に、ステップ５６により、第１の実施の形態と同様に、算出されたアンバランス量に基づいて２出力間のアンバランス補正を行っており、これによって２出力間のアンバランスを正確に補正できる。
【００５８】
以上の実施の形態１又は２において、撮像素子１とその他のアンバランス量算出回路、全体制御ＣＰＵ等は、別々の半導体基板上に形成してもよいし、ＣＭＯＳプロセス等で同一半導体基板上に形成してもよい。
【００５９】
（他の実施の形態）
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、製造工程で複数出力間の出力レベルを調整した後の、環境変化、経時変化等で変動した出力アンバランスを正確に補正する事が可能となり、撮影画面上に現われる段差等の不連続性を見かけ上なくす事が可能となる。
【図面の簡単な説明】
【図１】本発明の第１及び第２の実施の形態をに係わる撮像装置の全体のハ−ドウエアを構成を示す図である。
【図２】本発明の第１及び第２の実施の形態に係わるアンバランス量補正回路の具体的回路構成を示す図である。
【図３】本発明の第１及び第２の実施の形態に係わるアンバランス量を算出するための領域を示す図である。
【図４】本発明の第１の実施の形態に係わる具体的フロ−チャ−トを表す図である。
【図５】本発明の第２の実施の形態に係わる具体的フロ−チャ−トを表す図である。
【図６】撮像部の具体的構成を示す図である。
【図７】従来の撮像装置を表す図である。
【符号の説明】
１ 撮像素子
１２、１３ ゲイン調整回路
１４、１５ オフセット調整回路
１６ 画像合成回路
１８ アンバランス量算出回路
４２、４３ 補正デ−タ算出回路
４５ 領域選択回路
【発明の属する技術分野】
本発明は、被写体像を複数の撮像領域によって分割して撮像し、その複数の撮像領域のそれぞれから画像データを出力する撮像部を有した撮像装置に関するものである。
【０００２】
【従来の技術】
従来、デジタルスチルカメラ等の撮像装置では、図７に示した様な構成となっている。この図の構成の場合は、撮影者自身によるカメラ操作スイッチ１０１（カメラのメインＳＷ及びレリーズＳＷで構成）の状態変化を全体制御回路１００が検出し、その他の各回路ブロックへの電源供給を開始する。
【０００３】
撮影画面範囲内の被写体像は、主撮影光学系１０２及び１０３を通して撮像素子１０４上に結像し、この撮像素子１０４からの電気信号を、ＣＤＳ／ＡＧＣ回路を介して、各画素毎に順々にＡ／Ｄ変換手段１０６で所定のデジタル信号に変換する。
【０００４】
ここで撮像素子１０４は、全体の駆動タイミングを決定しているタイミングジェネレータ１０８からの信号に基づき、各画素毎の水平駆動並びに垂直駆動の為のドライバー回路１０７の出力で所定駆動することにより、画像信号出力を発生する。
【０００５】
同様に、撮像素子１０４からの出力アナログ的に処理を行って所定の信号レベルに変換するＣＤＳ／ＡＧＣ回路１０５、並びにＡ／Ｄ変換回路１０６も上記タイミングジェネレータ１０８からのタイミングに基づいて動作する。
【０００６】
Ａ／Ｄ変換回路１０６からの出力は、全体制御ＣＰＵ１００からの信号に基づいて信号の選択を行うセレクタ１０９を介してメモリーコントローラ１１５へ入力し、ここでフレームメモリー１１６へ全ての信号出力を転送する。従って、この場合各撮影フレーム毎の画素データは、一旦全てフレームメモリ１１６内に記憶される為、連写撮影等の場合は全てフレームメモリー１１６への書き込み動作となる。
【０００７】
撮影動作終了後は、メモリーコントローラ１１５の制御により、撮影データーを記憶しているフレームメモリー１１６の内容を、セレクター１０９を介してカメラＤＳＰ１１０へ転送する。このカメラＤＳＰ１１０では、フレームメモリーに記憶されている各撮影データーの各画素データーを基にＲＧＢの各色信号を生成する。
【０００８】
通常撮影前の状態では、この結果をビデオメモリー１１１に定期的（各フレーム毎）に転送する事で、モニター表示手段１１２を介してファインダー表示等を行っている。
【０００９】
一方、カメラ操作スイッチ１０１の操作により、撮影動作を撮影者自身が行った場合には、全体制御ＣＰＵ１００からの制御信号によって、１フレーム分の各画素データーをフレームメモリー１１６から読み出し、カメラＤＳＰ１１０で画像処理を行ってから一旦ワークメモリー１１３に記憶する。
【００１０】
続いて、ワークメモリー１１３のデータを圧縮・伸張手段１１４で所定の圧縮フォーマットに基づきデータ圧縮し、その結果を外部不揮発性メモリー１１７（通常フラッシュメモリー等の不揮発性メモリーを使用）に記憶する。
【００１１】
又、逆に撮影済みの画像データーを観察する場合には、上記外部メモリーに圧縮記憶されたデータを、圧縮・伸張手段１１４を通して通常の撮影画素毎のデーターに伸張し、その結果をビデオメモリー１１１へ転送する事で、モニター表示手段１１２を通して行う事が出来る。
【００１２】
この様に、通常の撮像装置では、撮像素子１０４からの出力を、ほぼリアルタイムでプロセス処理回路を通して実際の画像データーに変換し、その結果をメモリーないしはモニター回路へ出力する構成となっている。
【００１３】
一方、上記の様な撮像装置に於いて、連写撮影等の能力を向上させる（例えば１０駒／秒に近い能力を得る）為には、撮像素子からの読み出し速度を上げる事やフレームメモリー等への撮像素子データーの書き込み速度を上げる等の撮像素子を含めたシステム的な改善が必要である。
【００１４】
図６はその改善方法の一つとして、ＣＣＤ等の撮像素子で水平ＣＣＤを２分割にした２出力タイプのデバイス構造を簡単に示したものである。
【００１５】
図７のＣＣＤでは、フォトダイオード部９０で発生した各画素毎の電荷をある所定のタイミングで一斉に垂直ＣＣＤ部へ転送し、次のタイミングで各ライン毎に垂直ＣＣＤの電荷を水平ＣＣＤ９２及び９３に転送する。
【００１６】
ここで水平ＣＣＤ９２は、転送クロック毎にその電荷を左側のアンプ９４へ向かって転送し、又水平ＣＣＤ９３は、転送クロック毎にその電荷を右側のアンプ９５へ向かって転送する事から、このＣＣＤの撮影画像データーは画面の中央を境にして左右真っ二つに分割して読み出される事になる。
【００１７】
通常上記アンプはＣＣＤデバイスの中に作り込まれるが、レイアウト的にはかなり離れた位置に来る為、両アンプの相対精度は必ずしも完全に一致するとは限らない。その為、アンプ後の出力を左右それぞれ別々のＣＤＳ／ＡＧＣ回路９６、９７を通した際に、外部調整手段９７及び９９によって調整する事で左右出力のマッチング性を確保する様にしている。
【００１８】
【発明が解決しようとする課題】
しかしながら、以上の様に、被写体像を複数の撮像領域に分割して撮像し、その複数の撮像領域のそれぞれから同時に信号を読み出す方法は、スピード的には有利になるものの、出力レベルのマッチング性という観点では、明らかに１出力しかないものに比べて不利になってしまう。
【００１９】
従来のＣＤＳ／ＡＧＣ回路部でのアナログ的な調整や、Ａ／Ｄ変換後の出力で両チャンネルを合わせ込むデジタル的な調整等、単なるマニュアル的な調整方法では、製造工程上でかなり合わせ込んだとしても、環境の変化によって、例えばＶＲ抵抗そのものの値も変わってくるし、ＣＤＳ／ＡＧＣ回路の温度特性の傾向も完全に２つのものが一致する可能性は極めて低い。
【００２０】
通常この様な読み出し方法を行った場合、左右両出力の相対精度としては±１％を超えるようだと、画面上でその境界のアンバランスがはっきりと解ってしまう。
【００２１】
そこで本発明では、この様な複数出力を持つ撮像部を有する撮像装置の場合に、複数出力の相対精度をいかにして保つか、その具体的方法に注目した。
【００２２】
本発明の目的は、撮像部の複数出力端子から出力される画像データ毎アンバランスを補正することである。
【００２３】
【課題を解決するための手段】
横方向および縦方向に２次元配置された複数の画素を有し、前記２次元配置された複数の画素を、複数の撮像領域に縦方向の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像部と、前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算手段と、記比較演算手段による判断結果に基づいて、前記相関性の高い領域を選択する選択手段と、前記選択手段によって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正手段と、前記補正手段によって補正された前記複数の画像デ−タを合成する画像合成手段とを有することを特徴とする撮像装置を提供する。
【００２４】
また、横方向および縦方向に２次元配置された複数の画素を、複数の撮像領域に縦方向の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像ステップと、前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算ステップと、前記比較演算ステップによる判断結果に基づいて、前記相関性の高い領域を選択する選択ステップと、前記選択ステップによって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正ステップと、前記補正ステップによって補正された前記複数の画像デ−タを合成する画像合成ステップとを有することを特徴とする撮像装置の制御方法を提供する。また、横方向および縦方向に２次元配置された複数の画素を有し、
前記２次元配置された複数の画素を、複数の撮像領域に縦の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像部と、前記複数の撮像領域のそれぞれから出力された複数の前記画像データを処理する処理手段を有する撮像装置を制御するための制御プログラムが格納された記録媒体であって、前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算工程と、前記比較演算工程による判断結果に基づいて、前記相関性の高い領域を選択する選択工程と、前記選択工程によって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正工程と、前記補正工程によって補正された前記複数の画像デ−タを合成する画像合成工程のコードを有することを特徴とする記録媒体を提供する。
【００２６】
【発明の実施の形態】
（第１の実施の形態）
図１は本発明の第１の実施の形態を説明するための撮像装置全体のハードウェアー構成の一例を示すブロック図である。
【００２７】
同図に於いて被写体像を複数の撮像領域によって分割して撮像し、その複数の撮像領域のそれぞれから信号を出力する撮像部である２つの出力（ＣＨ１及びＣＨ２）を持つＣＣＤ等の撮像素子１は、ドライバー手段２によって駆動される事で所定の周波数で動作し、画面全体を縦に２分割する形で左右別々に画像データーを出力する構成になっている。又、ＴＧ／ＳＳＧ３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへのタイミング信号を供給している。
【００２８】
撮像素子１の右半面から出力されたデータは、ＣＨ１出力を介してＣＤＳ／ＡＧＣ回路５へ入力し、ここで既知の相関２重サンプリング等の方法を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する為のＡＧＣ回路を働かせる。このＡＧＣ後の出力をＡ／Ｄ変換回路７へ入力する事で、デジタル信号に変換しＡＤ−ＣＨ１なる出力を得る。
【００２９】
同様に撮像素子の左半面から出力されたデータは、ＣＨ２出力を介してＣＤＳ／ＡＧＣ回路４へ入力し、ここで同様の相関２重サンプリング等の方法を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する為のＡＧＣ回路を働かせる。このＡＧＣ後の出力をＡ／Ｄ変換回路６へ入力する事で、デジタル信号に変換しＡＤ−ＣＨ２なる出力を得る。
【００３０】
この撮像素子からの左右両出力を別々にデジタルデーターに変換した後、両出力を各々メモリーコントローラー８、１０を介して、メモリー９、１１に順々に記憶していく。
【００３１】
又、ＡＤ−ＣＨ１及びＡＤ−ＣＨ２から出力された画像データは、両画像データのアンバランス量を補正するための補正手段であるアンバランス量算出回路１８へ同時に入力される。
【００３２】
メモリーコントローラー８及び１０は、通常時分割でメモリー９及び１１に対する読み書きを連続して実行できる様になっている為、撮像素子からの出力をメモリーに書き込みながら、別のタイミングでメモリーに書き込んだデータを書き込んだ順に読み出す事が可能である。
【００３３】
まず撮像素子１のＣＨ１側の出力に対しては、メモリーコントローラー１０の制御によりメモリー１１から連続してデーターを読み出し、ゲイン調整回路１３へ入力していく。ここでゲイン調整回路１３のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のゲイン出力ＧＮ１が接続されており、ゲイン調整回路１３内部で両信号の乗算を行う。
【００３４】
次にこのゲイン調整回路１３の出力は、オフセット調整回路１５へ入力するが、ここでオフセット調整回路１５のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のゲイン出力ＯＦ１が接続されており、オフセット調整回路１５内部で両信号の加算を行う。
【００３５】
同様に撮像素子１のＣＨ２側の出力に対しては、メモリーコントローラー８の制御によりメモリー９から連続してデーターを読み出し、ゲイン調整回路１２へ入力していく。ここでゲイン調整回路１２のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のゲイン出力ＧＮ２が接続されており、ゲイン調整回路１２内部で両信号の加算を行う。
【００３６】
次にこのゲイン調整回路１２の出力は、オフセット調整回路１４へ入力するが、ここでオフセット調整回路１４のもう一方の入力には、アンバランス量算出回路１８で算出設定された所定のオフセット出力ＯＦ２が接続されており、オフセット調整回路１４内部で両信号の加算を行う。
【００３７】
この様に、２つの画像データは、アンバランス量算出回路によって算出された補正量に基づいて調整を行う調整手段であるゲイン調整回路及びオフセット調整回路によってアンバランス量が調整される。ここで、アンバランス量の調整は、場合によってゲイン調整又はオフセット調整のどちらかのみを行ってもよい。
【００３８】
この様にして、２つの出力間で生ずるアンバランス量を調整した画像データー出力を、画像合成回路１６でもって１つの画像データに変換（左右出力を１つの出力にする）し、次段のカラー処理回路１７で所定のカラー処理（色補間処理やγ変換等）を行うものとする。
【００３９】
次にアンバランス量算出回路１８の具体的構成について、図２に示した構成を用いて説明を行う。
【００４０】
図２に於いて、まず関数選択回路４６によって演算回路３０〜３７を指定する。この関数選択回路は左右の各々の出力に対して複数の演算回路を選択できるようになっている。演算回路の種類としては平均値算出回路、最大値算出回路、最小値算出回路、分散値算出回路、標準偏差値算出回路、平均偏差値算出回路、傾き値算出回路、差分最大値算出回路、差分最小値算出回路、差分平均値算出回路などが考えられる。これらの演算回路によって左右各々の出力データに対し統計量を計算する。この関数選択回路４６によって選択された複数の演算回路にＡ／Ｄ変換回路の出力であるＡＤ−ＣＨ１及びＡＤ−ＣＨ２が入力される。
【００４１】
このとき、関数選択回路４６によって選択された各々の演算回路に対して、領域選択回路４５により画像データにおいてアンバランス量を算出するための所定の領域を選択する。この領域選択回路４５は、図１に示したＴＧ／ＳＳＧ３からのＶＤ／ＨＤ信号を基準として、撮像素子１から出力される各画素毎のデーターの有効範囲を決定し、各演算回路で演算する為の入力信号を許可するタイミングを設定する。図３は領域選択回路の選択方法の一例である。図３において画像データの左右境界付近から横方向に左右それぞれ特定の位置までを指定する。さらに、Ｒ／Ｇ／Ｇ／Ｂの色フィルタ配列を持つ画素の集合６０を１つのセルとし、縦方向の位置ｙにおいて左右境界から横方向の指定位置まで連続した連続領域ｃ（ｙ）、ｄ（ｙ）を考える。任意の縦方向の位置ｙについてこのｃ（ｙ）、ｄ（ｙ）の組について相関関係を判断する。また、領域設定回路は単位画素集合６０中の特定の色フィルタを持つ画素のみを指定したり、その組み合わせを指定したりすることが可能である。また、この領域選択回路４５は各々の演算回路に対して異なる領域を選択可能であってもかまわない。
【００４２】
次に、メモリーコントローラ３８は演算回路３０〜３７で演算されたＡＤ−ＣＨ１に対する演算データーを一旦メモリー３９に記憶する。
【００４３】
次に、補正データー演出回路４２はメモリーコントローラ３８、４０を介してＡＤ−ＣＨ２に対する演算データーおよびＡＤ−ＣＨ１に対する演算データーをメモリー３９、４１から読み出し、後で述べる方法のように演算データーを相関演算することでＡＤ−ＣＨ２に対するゲイン補正データーＧＮ２およびオフセット補正データーＯＦ２を算出する。同様に補正データー算出回路４３はメモリーコントローラ３８、４０を介してＡＤ−ＣＨ２に対する演算データーおよびＡＤ−ＣＨ１に対する演算データーをメモリー３９、４１から読み出し、後で述べる方法でＡＤ−ＣＨ１に対するゲイン補正データーＧＮ２およびオフセット補正データーＯＦ２を算出する。ここで、２出力ＡＤ−ＣＨ１とＡＤ−ＣＨ２間のアンバランスをとるためにはどちらか一方の出力を補正すれば十分なので、ＡＤ−ＣＨ２の補正データーＧＮ２・ＯＦ２、または、ＡＤ−ＣＨ１の補正データーＧＮ１・ＯＦ１のどちらか一方は固定データーでも構わない。
【００４４】
次に、図４のフローチャートを用いてアンバランス量の補正を行うためのアルゴリズムの一例を説明する。ここでは、図３のような連続漁期ｃ（ｙ）、ｃ（ｙ）について輝度値を判断し、その判断結果を用いて２出力の相関演算をする。しかしながら、撮影画像にはいろいろなパターンが含まれており、単純にすべての縦方向位置ｙの連続領域ｃ（ｙ）、ｄ（ｙ）について単純に相関演算をすると、相関性の低い領域まで演算してしまい、算出したアンバランス量が実際のずれ量とかけ離れたものになってしまう可能性がある。この問題を解決する方法として、相関性の高い領域だけに着目し、相関演算する方法がある。相関性が高い領域とは、輝度が一様で境界付近において輝度ムラのないような領域が考えられる。例えば、風景写真画像において雲の無い空の部分が境界に来ている場合は、その部分は２出力間で相関性が高いと考えられる。また逆に、ビルを撮影した画像において、２出力の境界付近にビルと空の境界が写っているような場合は２出力の相関性が低いと考えられる。具体的にこのような相関性の高い領域と低い領域を判断する方法としては、輝度を判断する方法、色調を判断する方法、周波数を判断する方法などが考えられる。
【００４５】
本実施の形態では、図４のステップ５１〜５３において相関性の判断を行っている。まず、ステップ５１において２出力間の輝度を判断し、左右で輝度が著しく異なる部分は相関性が低いと判断する。ここでは、図３の任意の縦方向位置ｙの領域ｃ（ｙ）、ｄ（ｙ）において、画像データの平均値を算出する。この結果を輝度としてｃ（ｙ）とｄ（ｙ）において算出結果が著しく違う場合はｃ（ｙ）とｄ（ｙ）における画像データは相関性が低いと判断する。この際、輝度の違いを判断するために閾値が必要であるが、ゲインずれ量・オフセットずれ量をあらかじめ考慮して、閾値を輝度値の１次関数にすると精度良く相関性が低い部分を判断できることがある。
【００４６】
次に、ステップ５２において、２出力間の色調を判断し、左右で色調が異なる部分は相関性が低いと判断する。ステップ５１と同様に、任意の縦方向位置ｙの領域ｃ（ｙ）、ｄ（ｙ）において、各色フィルタ毎の画像データの平均値を算出する。さらに、各色フィルタ毎にｃ（ｙ）とｄ（ｙ）の算出結果を比較し、著しく違う場合はｃ（ｙ）とｄ（ｙ）における画像データは相関性が低いと判断する。判断基準の閾値を、各色フィルタ毎の輝度値の１次関数とすると、精度良く相関性が低い部分を判断できる。
【００４７】
次に、ステップ５３において周波数を判断し、高い周波数成分を多く持つところは相関性が低いと判断する。ここでは、任意の縦方向位置ｙの領域ｃ（ｙ）において、画像データーの平均値ｙを算出し、連続領域ｃ（ｙ）の中の輝度データーをＹ、輝度データーの数をｎとし、領域ｃ（ｙ）内において、
σ２＝Σ（Ｙ−ｙ）２／ｎ
なる計算式で分散値σ２を計算する。同様に連続領域ｄ（ｙ）において分散値を計算する。この分散値が著しく大きい場合は領域ｃ（ｙ）、ｄ（ｙ）における画像データは高周波成分を多く含むため、相関性が低いと判断する。この分散値は輝度の平均値が大きいときほど分散値も大きくなる傾向があるので、判断の閾値を輝度の平均値の一次関数としてやることで精度良く相関性が低い部分を判断できる。また、周波数の判断方法としては、分散値を算出する方法のほかにも、最大値、最小値、平均偏差値、標準偏差値、差分最大値、差分最小値、差分平均値を求め、これらを組み合わせることによっても同様に周波数を判断することができる。ここで、標準偏差値とは分散値の平方根で表わされ、データーをＹ、個数をｎ、データーの平均をｙとしたとき、平均偏差値σとは
σ＝Σ｜Ｙ−ｙ｜／ｎ
なる計算式で表わされ、差分最大値、差分最小値、差分平均値とは隣合う位置のデーターの差分の絶対値における最大値、最小値、平均値を表わす。
【００４８】
以上のような処理を行った後にステップ５４において相関性が低いと判断されなかった位置を、左右画面の相関性が高い位置であると考える。以上では、相関性の判断として輝度、色調及び周波数の判断を行ったが、いずれか１つ又は２つの判断であってもよい。
【００４９】
次に、ステップ５５において、左右画面の相関性が高いと考えられるラインのみについて以下のような相関演算をして、２出力のアンバランスを補正するように補正データーを算出する。
【００５０】
相関性が高いと考えられる位置ｙのみについて、各色フィルター毎のＡＤ−ＣＨ１に対する輝度データーＧＬ（ｙ）、ＲＬ（ｙ）、ＢＬ（ｙ）と、ＡＤ−ＣＨ１に対する輝度データーＧＲ（ｙ）、ＲＲ（ｙ）、ＢＲ（ｙ）を用いたとき、
【００５１】
次に、ステップ５６において、上記の方法で算出した補正データＧＮ１およびＧＮ２およびＯＦ１およびＯＦ２を用いて、左右の画像データそれぞれ全体に対して、ゲイン補正およびオフセット補正を行う事で、２出力のアンバランスを正確に補正することができる。
【００５２】
（第２の実施の形態）
図５は本発明の第２の実施の形態を説明するためのアルゴリズムの１例を示すフローチャートである。撮像装置全体のハードウエア構成及びアンバランス量算出回路の具体的構成は、第１の実施の形態と同じである。又第１の実施の形態と同様、図３で示される領域を考える。
【００５３】
本実施の形態では、ゲイン補正量とオフセット補正量を別々に計算している。黒い部分における左右の画面のアンバランスはほぼオフセット誤差のみに依存し、ゲイン補正量とオフセット補正量を同時に算出するよりも、このような方法でオフセット補正量のみを算出したほうがより正確に補正量を算出できる可能性があるため、ステップ５８において画像の黒い部分、すなわち輝度値がゼロ付近の領域だけを判断し、その結果からステップ６０によりオフセット補正量を算出している。
【００５４】
次にステップ５１〜５３における輝度判断、色調判断、高周波判断は、第１の実施の形態と同様である。
【００５５】
次にステップ６２において、白とび部分を判断している。白とびは被写体におけるスポット部分など輝度が極端に高い部分であり、データーが飽和してしまっているために他の部分とはアンバランス量が違っている可能性がある。そのため、２出力の相関性が低いとみなしている。
【００５６】
次に、ステップ６３〜６５、６７、７０において、相関性が高いと判断される部分の量やオフセット補正量を計算しているかいないかによって、実行する相関演算を場合分けしている。まず、ステップ６３では相関性が高い部分が相関計算で正確なアンバランス量を求める際に十分な大きさがあるかどうかを判断し、十分であれば相関計算し、十分でなければもともと２出力は相関性が低いためにアンバランス補正の必要性が低いとみなしている。また、ステップ６４で相関性が高い部分が黒い部分ばかり稼動か判断し、そうであればステップ６３と同様に２出力はもともと相関性が低いとみなしている。そのうえで、ステップ６７により、オフセット補正量が計算されている場合はオフセット誤差のみ補正するように制御し、計算されていない場合はステップ７０によりアンバランス補正はしないようにゲイン補正量とオフセット補正量を決めている。次に、２出力の相関性が高いと判断された部分が相関演算に必要な条件を満たしているとき、ステップ６５により、オフセット補正量が計算されているかどうかを判断している。ここでオフセット補正量が計算されていればステップ６６により相関演算によりゲイン補正量のみを算出し、そうでなければステップ６９により、相関演算によってオフセット補正量とゲイン補正量の両方を算出している。
【００５７】
次に、ステップ５６により、第１の実施の形態と同様に、算出されたアンバランス量に基づいて２出力間のアンバランス補正を行っており、これによって２出力間のアンバランスを正確に補正できる。
【００５８】
以上の実施の形態１又は２において、撮像素子１とその他のアンバランス量算出回路、全体制御ＣＰＵ等は、別々の半導体基板上に形成してもよいし、ＣＭＯＳプロセス等で同一半導体基板上に形成してもよい。
【００５９】
（他の実施の形態）
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、製造工程で複数出力間の出力レベルを調整した後の、環境変化、経時変化等で変動した出力アンバランスを正確に補正する事が可能となり、撮影画面上に現われる段差等の不連続性を見かけ上なくす事が可能となる。
【図面の簡単な説明】
【図１】本発明の第１及び第２の実施の形態をに係わる撮像装置の全体のハ−ドウエアを構成を示す図である。
【図２】本発明の第１及び第２の実施の形態に係わるアンバランス量補正回路の具体的回路構成を示す図である。
【図３】本発明の第１及び第２の実施の形態に係わるアンバランス量を算出するための領域を示す図である。
【図４】本発明の第１の実施の形態に係わる具体的フロ−チャ−トを表す図である。
【図５】本発明の第２の実施の形態に係わる具体的フロ−チャ−トを表す図である。
【図６】撮像部の具体的構成を示す図である。
【図７】従来の撮像装置を表す図である。
【符号の説明】
１ 撮像素子
１２、１３ ゲイン調整回路
１４、１５ オフセット調整回路
１６ 画像合成回路
１８ アンバランス量算出回路
４２、４３ 補正デ−タ算出回路
４５ 領域選択回路
Claims (5)
- 横方向および縦方向に２次元配置された複数の画素を有し、
前記２次元配置された複数の画素を、複数の撮像領域に縦方向の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像部と、
前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算手段と、
前記比較演算手段による判断結果に基づいて、前記相関性の高い領域を選択する選択手段と、
前記選択手段によって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正手段と、
前記補正手段によって補正された前記複数の画像デ−タを合成する画像合成手段とを有することを特徴とする撮像装置。 - 前記補正手段は、前記複数の画像デ−タに対してゲイン調整及びオフセット調整の少なくとも１つを行うことによって、前記複数の画像データを補正することを特徴とする請求項１に記載の撮像装置。
- 前記比較演算手段は、前記複数の画像デ−タの輝度、色調、及び周波数成分の少なくとも一つを用いて、前記複数の画像デ−タ間で相関性の高い領域と低い領域を判断することを特徴とする請求項１または請求項２に記載の撮像装置。
- 横方向および縦方向に２次元配置された複数の画素を、複数の撮像領域に縦方向の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像ステップと、
前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算ステップと、
前記比較演算ステップによる判断結果に基づいて、前記相関性の高い領域を選択する選択ステップと、
前記選択ステップによって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正ステップと、
前記補正ステップによって補正された前記複数の画像デ−タを合成する画像合成ステップとを有することを特徴とする撮像装置の制御方法。 - 横方向および縦方向に２次元配置された複数の画素を有し、
前記２次元配置された複数の画素を、複数の撮像領域に縦の線を境に分割して被写体像を撮像し、前記複数の撮像領域のそれぞれから画像デ―タを出力する撮像部と、前記複数の撮像領域のそれぞれから出力された複数の前記画像データを処理する処理手段を有する撮像装置を制御するための制御プログラムが格納された記録媒体であって、
前記横方向および縦方向に２次元配置された複数の画素において、前記縦方向の線を挟んでお互いが横方向に配列された画素を含む領域から出力された、前記複数の撮像領域からの画像データを、縦方向の複数の前記領域の前記縦方向の線を挟んでお互いが横方向に配列された画素について比較演算し、前記画像データ間の相関性の高い領域と低い領域を判断する比較演算工程と、
前記比較演算工程による判断結果に基づいて、前記相関性の高い領域を選択する選択工程と、
前記選択工程によって選択された相関性の高い領域の画像デ−タを用いて、前記複数の画像デ−タを補正する補正工程と、
前記補正工程によって補正された前記複数の画像デ−タを合成する画像合成工程のコー ドを有することを特徴とする記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26537999A JP3619077B2 (ja) | 1999-09-20 | 1999-09-20 | 撮像装置、撮像装置の制御方法及び記憶媒体 |
| US09/515,667 US6791615B1 (en) | 1999-03-01 | 2000-02-29 | Image pickup apparatus |
| EP00301592A EP1033868A1 (en) | 1999-03-01 | 2000-02-29 | Image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26537999A JP3619077B2 (ja) | 1999-09-20 | 1999-09-20 | 撮像装置、撮像装置の制御方法及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001094886A JP2001094886A (ja) | 2001-04-06 |
| JP3619077B2 true JP3619077B2 (ja) | 2005-02-09 |
Family
ID=17416373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26537999A Expired - Fee Related JP3619077B2 (ja) | 1999-03-01 | 1999-09-20 | 撮像装置、撮像装置の制御方法及び記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3619077B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7889260B2 (en) | 2007-09-21 | 2011-02-15 | Sony Corporation | Image signal processing circuit, image pickup apparatus and image signal processing method as well as computer program |
| US8175408B2 (en) | 2006-10-17 | 2012-05-08 | Sony Corporation | Image signal processing apparatus, image pickup apparatus, image signal processing method, and computer program product |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1033868A1 (en) | 1999-03-01 | 2000-09-06 | Canon Kabushiki Kaisha | Image pickup apparatus |
| JP4817529B2 (ja) * | 2001-05-07 | 2011-11-16 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
| JP4656621B2 (ja) * | 2001-07-03 | 2011-03-23 | キヤノン株式会社 | 信号処理装置及び方法、及び撮像装置 |
| US7245318B2 (en) * | 2001-11-09 | 2007-07-17 | Canon Kabushiki Kaisha | Imaging apparatus that corrects an imbalance in output levels of image data |
| JP3879987B2 (ja) | 2002-04-10 | 2007-02-14 | 日本ビクター株式会社 | 撮像装置 |
| JP2004048320A (ja) | 2002-07-11 | 2004-02-12 | Fuji Photo Film Co Ltd | 固体電子撮像装置の補正装置 |
| US7379104B2 (en) | 2003-05-02 | 2008-05-27 | Canon Kabushiki Kaisha | Correction apparatus |
| JP4180076B2 (ja) | 2004-09-29 | 2008-11-12 | 三洋電機株式会社 | 信号処理装置 |
| JP4698426B2 (ja) * | 2006-01-11 | 2011-06-08 | 三洋電機株式会社 | 電子カメラ |
| JP5718029B2 (ja) * | 2010-11-22 | 2015-05-13 | オリンパス株式会社 | 撮像装置 |
| JP5990004B2 (ja) * | 2012-02-08 | 2016-09-07 | キヤノン株式会社 | 撮像装置 |
| KR101595943B1 (ko) * | 2015-04-10 | 2016-02-19 | 주식회사 테라클 | 디스플레이 장치 및 디스플레이 장치의 영상 구현 방법 |
-
1999
- 1999-09-20 JP JP26537999A patent/JP3619077B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8175408B2 (en) | 2006-10-17 | 2012-05-08 | Sony Corporation | Image signal processing apparatus, image pickup apparatus, image signal processing method, and computer program product |
| US7889260B2 (en) | 2007-09-21 | 2011-02-15 | Sony Corporation | Image signal processing circuit, image pickup apparatus and image signal processing method as well as computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001094886A (ja) | 2001-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6791615B1 (en) | Image pickup apparatus | |
| US7050098B2 (en) | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame | |
| US7903155B2 (en) | Image capturing apparatus and program | |
| JP3619077B2 (ja) | 撮像装置、撮像装置の制御方法及び記憶媒体 | |
| US7245318B2 (en) | Imaging apparatus that corrects an imbalance in output levels of image data | |
| JP5022758B2 (ja) | 撮像装置、撮像システム及び撮像装置の駆動方法 | |
| JP2008113141A (ja) | 撮像装置及び信号処理方法 | |
| JP4763469B2 (ja) | 固体撮像装置および画像入力装置、ならびにその画像補正方法 | |
| JP6116299B2 (ja) | 撮像装置及びその制御方法 | |
| JP3697172B2 (ja) | 信号処理装置及び信号処理方法並びに撮像装置 | |
| JPH0738812A (ja) | 複数チャネル出力の撮像素子を備えた撮像装置 | |
| JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
| JP5780885B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP3673669B2 (ja) | 撮像装置及びその制御方法及び記憶媒体 | |
| JP2005176115A (ja) | 撮像装置 | |
| JP2006217249A (ja) | 電子カメラ、電子カメラシステムおよびプログラム | |
| JP2004336244A (ja) | 補正装置 | |
| JP2005277618A (ja) | 撮像装置、シェーディング補正装置、及びシェーディング補正方法 | |
| JP2017212698A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
| JP2003209739A (ja) | 撮像装置、その画像データ間のアンバランス補正方法およびプログラムおよび記憶媒体 | |
| JP2011009834A (ja) | 撮像装置及び撮像方法 | |
| JP4656621B2 (ja) | 信号処理装置及び方法、及び撮像装置 | |
| JP4887733B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2002223350A (ja) | 画像処理装置 | |
| JP2022093912A (ja) | 撮像装置、撮像方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |