JP4827524B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

デジタルカメラやビデオカメラ等においては、撮像素子としてＣＣＤやＣＭＯＳイメージセンサを使用するのが一般的である。

上記のような撮像素子を用いた撮像装置においては、撮影画像の所定領域内の出力の平均値を算出したり、撮影画像の水平方向や、垂直方向の射影画像を算出するには大量の複雑な計算が必要となる。

このような計算を行う例としては、たとえば撮像素子の黒基準となるオプティカルブラック部（以下ＯＢ部という）の平均値を算出しこの値を有効画像出力から減算するようなダークの補正や、ダークシェーディング補正を行う場合である。ダークシェーディング補正は、撮像素子を遮光した状態でダーク画像を撮影し、この画像から水平方向、垂直方向に写像演算を行いそれぞれ垂直、水平方向の列ごと、行ごとの平均値を算出しこの値を有効画像出力から減算する補正である。

このような機能を実現するために、従来は専用のハードウェアを用意するか、制御CPUのファームウェアにより時間を要する演算を繰り返し行うことで対応してきた。

特に複数の読み出しチャネルを有するCMOSイメージセンサを用いた撮像装置において各チャネルごとの平均値を算出する。また、各チャネルごとの写像演算を行うことは複数チャネルを個別に処理する大規模なハードウェアや、処理を複数チャネル回数分繰り返す、処理時間が必要なファームウェアでの演算を行うほかなく、システム上非常に大きな負荷となるものであった。

特許文献１には、A/D変換回路が記載されている。そのA/D変換回路は、複数のA/D変換値を一時的に格納する記憶回路と、前記記憶回路より読み出される複数のA/D変換値を入力し、該値に対して所定の演算処理を行い、前記アナログ入力電圧に対応するA/D変換値として出力する演算回路を備える。

特開平６−８５６６８号公報

しかしながら複数の読み出しチャネルを有するCMOSイメージセンサを用いた撮像装置において、ＣＭＯＳイメージセンサの読み出しチャネル数は製品によって変化し、高速な読み出しを要する製品はより多くの読み出しチャネルを用意する必要がある。一方低速の読み出しで十分な製品においては単一の読み出しチャネルを持っていればよく、これはコストの上でも非常に大きな差となる。一方これを処理する画像処理ＩＣにおいて複数チャネルに対応した処理回路を搭載しようとすると自ずと最大チャネル数に対応する必要があり、単一の読み出しチャネルを有する製品にこのような画像処理ＩＣを用意することはコストの上で非常に不利となる。もちろん製品ごとに異なるハードウェア構成の画像処理ＩＣを用意することも現実的ではない。

一方、完全にファームウェアで処理する場合には、画像データが読み込まれたメモリ上から、各チャネルに該当するメモリアドレスのデータのみを順次アクセスし、加算、記憶するという作業を繰り返すためにメモリのアクセス時間が大きく影響する。また、処理領域が大きくなると膨大な時間を要することとなる問題があった。

特に複数の読み出しチャネルを有するＣＭＯＳイメージセンサを有する製品においては、画像データが読み込まれたメモリ上から、特定のチャネルのデータのみを抜き出し演算処理する必要がある。そのために、メモリのアクセス時間が必要となり、特に高速処理を必要とする複数の読み出しチャネルを有するＣＭＯＳイメージセンサを用いた製品では処理時間の短縮が非常に大きな課題であった。

本発明の目的は、処理時間を短縮し、コストを低減することである。

本発明の撮像装置は、光学的に遮光された画素領域を有し、光電変換によりアナログ画像信号を生成する撮像素子と、前記撮像素子により生成されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記撮像素子の前記光学的に遮光された画素領域内の複数画素から出力され前記Ａ／Ｄ変換手段により変換されたデジタル信号に所定の演算を実行する演算手段と、前記Ａ／Ｄ変換手段の出力または前記演算手段の出力のいずれかを選択して出力する選択手段と、前記演算手段による演算結果の出力位置を設定する設定手段と、各行において、前記設定手段により設定される前記出力位置に到達するまで前記選択手段が前記Ａ／Ｄ変換手段の出力を選択し、前記出力位置に到達してから前記選択手段が前記演算手段の出力を選択するように制御する制御手段とを有することを特徴とする。

演算結果を高速に取得することができ、コストを低減することができる。

（第１の実施形態）
本発明の第１の実施形態による撮像装置のカメラ動作を、図１、図２を用いて簡単に説明する。本実施形態は、単一読み出しチャネルで、垂直方向ダークシェーディング補正を行う。

図１は、本発明の第１の実施形態によるデジタルカメラやデジタルビデオカメラの構成例を示す図である。１０１は、光電変換によりアナログ画像信号を生成する撮像素子であり、ＣＣＤまたはＣＭＯＳセンサが使用される。本実施形態では単一のアナログ出力を有するCMOSイメージセンサを想定する。１０２は前記撮像素子１０１からのアナログ信号をデジタル信号に変換するアナログ／デジタル変換器（Ａ／Ｄ変換器）であり、同一半導体基板上に形成されている。

１０５は、アナログ／デジタル変換器１０２とは異なる半導体基板上に形成された画像処理用ＤＳＰ（Digital Signal Processor）であり、Ａ／Ｄ変換器１０２からのデータに対してＲＯＭ１０８に記憶されたデータに応じてＲＡＭ１０９を使用して各種補正処理及び現像処理等の画像処理を行う。またＤＳＰ１０５は、ＲＯＭ１０８、ＲＡＭ１０９等の各種メモリの制御、記録媒体１１０への画像データの書き込み処理を行う。画像処理用ＤＳＰ（Digital Signal Processor）１０５は、同一半導体基板上に形成されている。

１０６は、撮像素子１０１、Ａ／Ｄ変換器１０２、ＤＳＰ１０５にクロック信号や制御信号を供給するタイミング発生回路であり、ＣＰＵ１０７により制御される。

１０７はＤＳＰ１０５、タイミング発生回路１０６の制御、及び測光・測距など不図示の各部を使ったカメラ機能の制御を行うＣＰＵである。各スイッチ１１１〜１１３、モードダイアル１１４などが接続され、それぞれの状態に応じた処理を実行する。また、ＣＰＵ１０７は、Ａ／Ｄ変換器１０２に対しても、その動作設定などをシリアル通信ポートを介して設定する。

１０８は画像処理用の各種制御プログラムや各種補正データを記憶するＲＯＭ、１０９はＤＳＰ１０５で処理される画像データや補正データを一時的に記憶するＲＡＭである。また、ＲＡＭ１０９はＲＯＭ１０８より高速のアクセスが可能である。

１１０は撮影された画像を保存するコンパクトフラッシュ（登録商標）カード等の記録媒体であり、不図示のコネクタを介してカメラと接続される。

１１１はカメラを起動させるための電源スイッチ、１１２は測光処理、測距処理等の動作開始を指示するシャッタースイッチＳＷ１である。１１３は不図示のミラー及びシャッターを駆動し、撮像素子１０１から読み出した信号をＡ／Ｄ変換器１０２、ＤＳＰ１０５を介して記録媒体１１０に書き込む一連の撮像動作の開始を指示するシャッタースイッチＳＷ２である。

次にＡ／Ｄ変換器１０２について詳細な説明を行う。図２に示すＡ／Ｄ変換器は図１におけるＡ／Ｄ変換器１０２であり、内部的には以下のブロックより構成される。

アナログ信号をデジタル信号に変換するＡ／Ｄ変換器のコアとなるＡ／Ｄ変換部（ＡＤＣ）１５０、ＣＰＵ１０７との間でシリアル通信を実行するシリアルコントローラ１５１により構成される。さらに、シリアルコントローラ１５１によりＣＰＵ１０７から書き込まれるレジスタ及びこのＡ／Ｄ変換器全体の動作をつかさどるコントローラ１５２、コントローラ１５２からの指示により所定のタイミングのデータを積分する積分回路１５３により構成される。さらに、積分回路１５３の積分結果とコントローラ１５２からの設定に応じて平均値演算を行う平均化回路１５４により構成される。さらに、コントローラ１５２からの指示に応じて所定のタイミングで、ＡＤＣ１５０のデジタル出力と、積分回路１５３の出力、平均化回路１５４の出力を切り替えて出力する出力選択回路１５５により構成される。ここで、Ａ／Ｄ変換部（ＡＤＣ）１５０、シリアルコントローラ１５１、コントローラ１５２、積分回路１５３、平均化回路１５４、及び出力選択回路１５５は、同一半導体基板上に形成されている。

積分回路１５３及び平均化回路１５４は、ＡＤＣ１５０により変換された複数のデジタル信号を基に演算する演算手段である。積分回路１５３は、複数のデジタル信号の積分値を演算する。積分回路１５３及び平均化回路１５４は、複数のデジタル信号の平均値を演算する。出力選択回路１５５は、外部信号を基に、ＡＤＣ１５０の出力と、積分回路１５３の出力、又は平均化回路１５４の出力を選択して出力する。

次に図１に記載のカメラシステムにおける動作について説明する。各種の撮像素子においては、素子のプロセス等に起因する、撮影画像垂直方向のダークレベルの緩やかな変化、いわゆるダークシェーディングを有することがある。

このような垂直方向のダークシェーディングがあると、とくに画面全体に低輝度部分にノイズやムラが見えてしまったり、カラーバランスが崩れた画像となることがあるなど、画質を大きく劣化させる要因となるため何らかの手段を用いて補正することが望まれる。

本実施形態においては、ダーク画像に含まれる撮影画像垂直方向のダークシェーディング補正データを算出し、補正する方法を説明する。

図３に本カメラがダークシェーディング補正量算出モードに入った場合の動作について説明する。

ここでの撮影はミラーやシャッターを動作させることなく所定の蓄積時間でダーク画像を撮影し、該ダーク画像に含まれる垂直ダークシェーディング量を算出し、目標とするダークレベルとの差を補正量とする。この後に行われる本撮影時にこの算出モードにて算出したデータを用いて補正を行う。

図３は、図１に示すカメラの制御を示したフローチャートである。まず、ステップＳ１５０でカメラを起動する電源スイッチ１１１がオンされているか否か判定し、オフならステップＳ１５０を繰り返す。ここで電源スイッチ１１１がオンされていれば、ステップＳ１５１以降の動作を行う。

次に、ステップＳ１５１でカメラの動作モードがダークシェーディング補正量算出モードに入っているかどうかの判定を行う。このモードに入っていれば直ちにステップＳ１５２へ進み、設定されていなかったらステップＳ１５７以降で設定されたモードに応じた動作を行う。

ステップＳ１５２以降でダーク画像の撮影を行う。ここではミラーやシャッター等のメカニカル部材は動作させずにダーク画像の読み出しのみを行う。

ステップＳ１５２にてＣＰＵ１０７はＡ／Ｄ変換器１０２に対して通信を行う。そして、（１）平均値算出モードを設定し、（２）積分開始位置(x1)、（３）積分画素数(x2)、（４）平均データ出力位置(x3)を図４に示す位置に設定し、撮像素子の左側の水平オプティカルブラック（ＯＢ）領域を積分し平均値を算出する。そして、画像右側において通常出力に置き換えて平均値を出力するように設定する。水平ＯＢ領域は、撮像素子１０１の左側において、光学的に遮光された画素領域である。

出力選択回路１５５は、撮像素子１０１の有効画素出力範囲外において平均化回路１５４（又は積分回路１５３）により演算された結果を選択して出力する。

ここでそれぞれの位置を設定する基準となる基準信号はタイミング発生回路１０６よりＡ／Ｄ変換器１０２に供給される。それぞれの設定値は基準信号から所望の動作を行うまでのＡ／Ｄ変換器１０２に供給されている動作クロックのクロック数として設定する。Ａ／Ｄ変換器１０２は基準信号のタイミングから、動作クロックを計数し、これが設定された値に達したところで積分回路１５３への入力、平均化回路１５４の動作、出力セレクト回路１５５の切り替えなどの動作を行う。

基準信号は各行ごとの、いわゆる水平ブランキング期間中に出力されるのが一般的である。また各行ごとの演算動作は前記基準信号が入力されたことを検知してリセットするような動作としており、各行ごとに同じ演算処理を繰り返す構成となっている。もちろんこのほかのＡ／Ｄ変換器１０２としての基本的な設定も行う。このように設定された状態でステップＳ１５３にてＣＭＯＳイメージセンサ１０１の蓄積を開始する。この時点でシャッターは開いていないのでダーク画像となる。ここでの蓄積時間は暗電流の影響が生じない短い蓄積時間で十分である。所定時間の蓄積時間が終了した後、ステップＳ１５４にてＣＭＯＳイメージセンサ１０１の読み出し動作を開始する。

タイミング発生回路１０６からの信号に応じてＣＭＯＳイメージセンサ１０１はアナログ出力を出力するので、Ａ／Ｄ変換器１０２もこのタイミングに応じてＡ／Ｄ変換動作を実行し、この結果をＤＳＰ１０５に送る。ＤＳＰ１０５はこの動作モード時には特に補正処理を行うことなく、画像データをＲＡＭ１０９上に展開する。

この読み出し動作途中、Ａ／Ｄ変換器１０２は次のように動作している。すなわち基準信号より積分開始位置x1の動作クロックを計数後積分動作を開始する。Ａ／Ｄ変換した結果をＤＳＰ１０５に対して出力しつつも内部の積分回路１５３にて積算していく。この動作を、設定された積分画素数x2のクロック回数分行う。

平均値算出モードが選択されている場合には、平均化回路１５４は、内部の積分回路１５３の積分結果を積分画素数で除算した結果を算出する。出力セレクタ１５５は、基準信号より平均データ出力位置x3の動作クロックを計数したところで通常のＡ／Ｄ変換結果に置き換えてここで算出した結果を出力する。

したがって平均値データはＣＰＵ１０７とＡ／Ｄ変換器１０２との間で通信して読み出すのではなく、画像データの形でＤＳＰ１０５を経由し、ＲＡＭ１０９上に書き出されることとなる。
以上で本動作モード時の画像データの読み出し動作は終了する。

次にステップＳ１５５にてダークシェーディング補正データの読み出しおよび保存動作を行う。

本ステップでは先に読み出しＲＡＭ１０９上に展開した画像データから、Ａ／Ｄ変換器１０２で算出した平均値データが書き込まれているアドレスのデータを読み出し、保存していく。

画像データ中の平均値データが書き込まれている位置はタイミング信号発生回路１０６に設定した値から容易に算出できるので、ＲＡＭ１０９上の該当するアドレスを順に読み出すことで垂直方向の各行の平均値データを連続して読み出すことができる。こうして得た平均値データをＲＡＭ１０９の別空間に順次書き込んでいくことで画像データとは別領域に各列の平均値データのみが並べられることとなる。

もちろんこのときに単に平均値データを書き込んでいくだけでなく、各列の平均値と目標とするダークレベルの差をとり、その値を書き込んでもよい。

またこのデータをＲＡＭ１０９だけではなく書き込み可能なタイプであれば、ＲＯＭ１０８に書き込んでもよい。
最後に、ステップＳ１５６にて先に読み出した画像データをクリアして本シーケンスは終了する。

ＤＳＰ１０５は、以降の通常撮影モードが選択され撮影動作を行う際に、撮影画像読み出し時に、各列毎にＲＡＭ１０９上に記憶された補正データを読み出し、各列毎に読み出した画像データに対して補正データを減算しながら所定の補正処理、現像処理等を行う。これにより、垂直方向のダークシェーディングが補正された画像を得ることが可能となる。

タイミング発生回路１０６から供給される基準信号は専用の信号として供給してもよいし、１水平走査ごとに供給される他の制御信号があればこのような信号を基準信号として動作することも可能である。たとえばＡ／Ｄ変換器にて水平ＯＢクランプを行うようなＡ／Ｄ変換器においてはクランプ動作開始位置を指示する１水平走査ごとの基準信号が供給されるので、このような信号を基準信号として前記動作のタイミングを設定することも可能である。

また、このようにダーク画像に限定される場合には、画面全体を読み出す必要はなく図５に示すように、画面の左側領域のみを読み出すことで読み出し時間等を短縮することも可能である。

この場合にはＡ／Ｄ変換器１０２に設定する平均データ出力位置を対応した位置(x4)となるように設定する必要があることは言うまでもない。

（第２の実施形態）
本発明の第２の実施形態による撮像装置のカメラ動作を、図６を用いて簡単に説明する。本実施形態は、複数読み出しチャネルで、垂直ＯＢ部クランプを行う。

図６は、デジタルカメラやデジタルビデオカメラの構成例を示す図であり、図１と同一の部材については同一の番号を振っている。同図において１０１は撮像素子でありＣＣＤまたはＣＭＯＳセンサが使用される。本実施形態においては、撮像素子１０１は、少なくとも２チャネルＣｈ１，Ｃｈ２のアナログ出力端子を有し、同時に水平方向に連続した２画素を出力するCMOSイメージセンサを想定する。１０２，１０３は前記撮像素子１０１からのチャネルＣｈ１，Ｃｈ２のそれぞれのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器であり、各々は、別々の半導体基板上に形成されている。

１０４は２つのＡ／Ｄ変換器１０２及び１０３からのデジタルデータをマルチプレックスするためのマルチプレクサ（以下ＭＵＸ）である。１０５は、Ａ／Ｄ変換器１０２、１０３とは異なる半導体基板上に形成されたＤＳＰ（Digital Signal Processor）であり、マルチプレクサ１０４からのデータに対してＲＯＭ１０８に記憶されたデータに応じてＲＡＭ１０９を使用して各種補正処理及び現像処理等の画像処理を行う。またＤＳＰ１０５では、ＲＯＭ１０８、ＲＡＭ１０９等の各種メモリの制御、記録媒体１１０への画像データの書き込み処理を行う。ＤＳＰ１０５は、同一半導体基板上に形成されている。

１０６は、撮像素子１０１、Ａ／Ｄ変換器１０２，１０３、マルチプレクサ１０４、ＤＳＰ１０５にクロック信号や制御信号を供給するタイミング発生回路であり、ＣＰＵ１０７により制御される。また、ＣＰＵ１０７は、Ａ／Ｄ変換器１０２，１０３に対しても、その動作設定などをシリアル通信ポートを介して設定する。

またＡ／Ｄ変換器１０２，１０３の内部構成については第１の実施形態の図２の説明と同じ構成である。以上が図６の説明である。

次に図６に記載のカメラシステムにおける動作について図７のフローチャートに従い説明する。

複数の出力チャネルを有するＣＭＯＳイメージセンサ１０１においては、製造上の差によりその複数チャネルの出力レベルにオフセット差を持つことがある。

このようなチャネル間オフセット差があると、画面全体、とくに低輝度領域に縦縞状のノイズが見られたり、カラーバランスが崩れた画像となることがある。

特にＣＭＯＳのチャネル数が多い場合には各チャネルのＧ出力（輝度信号）がばらつくため縦縞状のノイズが非常に見えやすくなるという問題がある。

そのために本実施形態では、ダーク画像に含まれるオフセットのクランプと、チャネル間のオフセット量を算出し同時に補正する方法を説明する。

ステップＳ２００でカメラを起動する電源スイッチ１１１がオンされているか否か判定し、オフならステップＳ２００を繰り返す。ここで電源スイッチ１１１がオンされていれば、ステップＳ２０１以降でチャネル間オフセット検出動作を行う。

ここではミラーやシャッターを動作させることなく所定の蓄積時間でダーク画像を撮影し、該ダーク画像に含まれるチャネル間のオフセット量の算出を行う。

撮影にあたりステップＳ２０１にてＣＰＵ１０７はＡ／Ｄ変換器１０２，１０３に対し、次のように設定を行う。（１）平均値算出モードを設定し、（２）積分開始位置(x5)、（３）、積分画素数(x6)、（４）平均データ出力位置(x7)を図８に示す位置に設定し、撮像素子の上側の垂直ＯＢ領域をチャネルごとに積分し、各々の平均値を算出する。そして、垂直OB部右側において通常出力に置き換えて平均値を出力するように設定する。ここでＡ／Ｄ変換器１０２，１０３に対してそれぞれ同じ値を設定することが望ましい。垂直ＯＢ領域は、撮像素子１０１の上側において、光学的に遮光された画素領域である。

ここでそれぞれの位置を設定する基準となる基準信号（ＯＢＰタイミング）はタイミング発生回路１０６よりＡ／Ｄ変換器１０２，１０３に供給される。それぞれの設定値は基準信号から所望の動作を行うまでのＡ／Ｄ変換器１０２，１０３に供給されている動作クロックのクロック数として設定する。Ａ／Ｄ変換器１０２，１０３はそれぞれ基準信号のタイミングから、動作クロックを計数し、これが設定された値に達したところでそれぞれの動作を行う。もちろんこのほかのＡ／Ｄ変換器としての基本的な設定も行う。

このように設定された状態で、ステップＳ２０２にてＣＭＯＳイメージセンサ１０１の蓄積を開始する。この時点でシャッターは開いていないのでダーク画像となる。ここでの蓄積時間は暗電流の影響が生じない短い蓄積時間で十分である。所定時間の蓄積時間が終了した後、ステップＳ２０３にてＣＭＯＳイメージセンサ１０１の読み出し動作を開始する。

タイミング発生回路１０６からの信号に応じてＣＭＯＳイメージセンサ１０１はアナログ出力を出力するので、Ａ／Ｄ変換器１０２もこのタイミングに応じてＡ／Ｄ変換動作を実行し、この結果をＤＳＰ１０５に送る。ＤＳＰ１０５はこの動作モード時には特に補正処理を行うことなく、画像データをＲＡＭ１０９上に展開する。

次にステップＳ２０４にてチャネル間オフセット補正データの読み出しおよび保存動作を行う。

本ステップでは先に読み出しＲＡＭ１０９上に展開した画像データから、Ａ／Ｄ変換器１０２，１０３で算出した平均値データが書き込まれているアドレスのデータを読み出し、保存していく。

また図９によりチャネルごとの出力を示す詳細なイメージ図を示す。Ａ／Ｄ変換器が積分動作を行うのは実際にはＯＢ領域であるのでＲ，Ｇ，Ｂといった色の情報は持っていないのであるが、わかりやすく表現する便宜上、表示している。

すなわち積分領域は、Ｃｈ１より始まり、Ｃｈ２で終了する領域となり、平均値算出結果もＣｈ１，Ｃｈ２の順で画像データに置き換えられて書き込まれる。

本ステップにおいて、垂直ＯＢ部内の積分領域の範囲内の各行の各チャネルの出力データをＲＡＭ１０９上に展開された画像データから所定のアドレスを読み出し、必要なデータ数を読み出す。

画像での垂直方向の領域の選択はファームウェアでどこからどこまでの処理を行うかによって設定されるものである。

画像データ中の平均値データが書き込まれている位置はタイミング信号発生回路１０６に設定した値から容易に算出できるので、ＲＡＭ１０９上の該当するアドレスを順に読み出すことで垂直方向の各行の平均値データを連続して読み出すことができる。

各行に記載されているのは各行ごとの平均値であるので、ＤＳＰ１０５内で、全行のデータについてチャネルごとに平均値を算出することで各チャネルごとの積分領域内の平均値を算出することができる。

またこのデータをＲＡＭ１０９だけではなく書き込み可能なタイプであれば、ＲＯＭ１０８に書き込んでもよい。また本ステップにて先に読み出した画像データをクリアしておく。

こうしてチャネル間オフセット補正データを算出し、このデータをＤＳＰ１０５内の所定のレジスタに書き込み続くステップＳ２０５へ進む。ＤＳＰ１０５の該当レジスタに記載された各チャネルごとのオフセット補正データは、通常の撮影動作時に、ＣＭＯＳイメージセンサ１０１から読み出されたデータの各々対応したチャネルの出力から減算されながらＤＳＰ１０５の処理が行われる。各補正データが減算された時点で、本来ＣＭＯＳイメージセンサ１０１が持っていたオフセット、およびチャネル間のオフセット差は補正されることとなる。

ステップＳ２０５でモードダイアル１１４が撮影モードに設定されているか否かを判別する。撮影モードに設定されていれば続いてステップＳ２０６へ進み、その他のモードに設定されていればステップＳ２１３で選択されているモードに応じた処理を行う。

ステップＳ２０６では、シャッタースイッチ（ＳＷ１） １１２がオンしているか否か判定する。シャッタースイッチ１１２がオフしている場合、ステップＳ２０６の処理を繰り返す。シャッタースイッチ１１２がオンしている場合には、ステップＳ２０７に進む。

ステップＳ２０７では、不図示の測光制御部及び測距制御部を用いて、絞り値およびシャッター速度を決定する測光処理、撮影レンズ焦点を被写体に合わせる測距処理が行われる。

測光・測距処理が終了すると、続くステップＳ２０８でシャッタースイッチ（ＳＷ２）１１３の状態が判定される。シャッタースイッチ１１３がオフしている場合にはステップＳ２０８を繰り返し、オンしている場合にはステップＳ２０９の撮影処理が実行される。この撮影処理のなかでチャネル間オフセット補正も行うが、詳細については後述する。

ステップＳ２１０では、撮影した画像データに対しＤＳＰ１０５で現像処理が行われる。続いてステップＳ２１１で、現像処理の終了した画像データに対し圧縮処理が行われＲＡＭ１０９の空き領域に格納される。

ステップＳ２１２では、ＲＡＭ１０９に格納されている画像データが読み出され、記録媒体１１０への記録処理が実行され、一枚撮影時の動作は終了し、次のシーケンスに備える。

次に、効果を説明する。シリアル通信を行い演算結果を読み出すよりも、画像データを読み出したほうが処理時間が速いと言う効果がある。シリアル通信はシステム上、通信手順の実行までにオーバーヘッドがあり、さらに通信時間を要する。一方画像データは撮像素子からの読み出しと同時にＲＡＭ１０９上に転送され、所定のアドレスのデータの読み出しだけで読み取れるため圧倒的に高速にデータを得ることが可能となる効果がある。

このようにして垂直ＯＢ部のＣｈ１の平均出力と、Ｃｈ２の平均出力を算出することができたので、この結果を基に補正データ（目標とするダークレベル−各ＣＨの平均値）を算出し、このデータをＤＳＰ１０５の所定のレジスタに書き込む。このあと、メインの処理へ復帰する。

次に、ステップＳ２０９の撮影処理の詳細について図１０を用いて説明する。まずステップＳ３０１でミラーをミラーアップ位置に移動させる。ステップＳ３０２では、前述の測光処理（ステップＳ２０７）で得られた測光データに基づいて、所定の絞り値まで絞りを駆動する。

ステップＳ３０３で撮像素子１０１の電荷クリア動作を行い、ステップＳ３０４で電荷蓄積を開始する。電荷蓄積開始後、ステップＳ３０５でシャッターを開き、撮像素子１０１の露光を開始する（ステップＳ３０６）。

その後、ステップＳ３０７で測光データに従って露光終了まで待ち、ステップＳ３０８でシャッターを閉じる。

ステップＳ３０９で開放の絞り値まで絞りを駆動し、ステップＳ３１０ではミラーダウン位置までミラーを駆動する。

ステップＳ３１１では設定した電荷蓄積時間が経過するまで待ち、撮像素子１０１の電荷蓄積を終了する（ステップ３１２）。

最後にステップＳ３１３で撮像素子１０１の信号が読み出される。このときは先に説明したようにＤＳＰ１０５内部のレジスタにすでにチャネル間オフセットの補正データが記憶されているため、読み出されたデータから各チャネルごとに補正データを減算した上で以降の処理を行う。そのためチャネル間オフセットはすべて補正された高品質な画像データとなっている。こうして一連の処理を終了してメインの処理へ復帰する。

（第３の実施形態）
本発明の第３の実施形態におけるカメラの構成は第２の実施形態に示したものと同じものであり、ここでは説明を省略する。本実施形態は、出力ゲイン調整し、色毎積分を行う。

本実施形態の固有の動作として図１１を参照しながら説明する。複数の出力チャネルを有するＣＭＯＳイメージセンサ１０１においては、チャネル間の製造上の差によりその出力レベルにゲイン差を持つことがある。このようなチャネル間ゲイン差があると、画面全体に縦縞状のノイズが見られたり、カラーバランスが崩れた画像となることがある。特にＣＭＯＳのチャネル数が多い場合には各チャネルのＧ出力（輝度信号）がばらつくため縦縞状のノイズが非常に見えやすくなるという問題がある。そのために通常はカメラの製造上の調整工程で、均一輝度面を撮影した画像からチャネル間のゲイン差を算出し、補正する手段を有している。本実施形態では、このような調整工程での利用方法について説明する。

図６に記載のカメラシステムにおいて、チャネル間ゲイン補正モードに入った場合の動作について図１１のフローチャートに従い説明する。

ステップＳ４００でカメラを起動する電源スイッチ１１１がオンされているか否か判定し、オフならステップＳ４００を繰り返す。ここで電源スイッチ１１１がオンされていれば、次のステップＳ４０１に進む。

ステップＳ４０１においては第２の実施形態で説明したように、ダーク画像を撮影し、チャネル間のオフセットデータを算出し、これをＤＳＰ１０５の所定のレジスタに書き込むという一連の動作を行うが、第２の実施形態と同一の動作である。

ＤＳＰ１０５の該当レジスタに記憶された各チャネルごとのオフセット補正データは、以降の均一輝度面を撮影する場合に、ＣＭＯＳイメージセンサ１０１から読み出されたデータの各々対応したチャネルの出力から減算されながらＤＳＰ１０５の処理が行われる。各補正データが減算された時点で、本来ＣＭＯＳイメージセンサ１０１が持っていたオフセット、およびチャネル間のオフセット差は補正されることとなる。

こうしてチャネル間オフセット補正データを算出し、このデータをＤＳＰ１０５内の所定のレジスタに書き込み続くステップＳ４０２へ進む。

ステップＳ４０２でチャネル間ゲイン補正モードに設定されているか否かを判別する。該補正モードに設定されていれば続いてステップＳ４０３へ進み、その他のモードに設定されていればステップＳ４０９で選択されているモードに応じた処理を行う。

ステップＳ４０３では、シャッタースイッチ（ＳＷ１） １１２がオンしているか否か判定する。シャッタースイッチ１１２がオフしている場合、ステップＳ４０３の処理を繰り返す。シャッタースイッチ１１２がオンしている場合には、ステップＳ４０４に進む。

ステップＳ４０４では、不図示の測光制御部及び測距制御部を用いて、絞り値およびシャッター速度を決定する測光処理、撮影レンズ焦点を被写体に合わせる測距処理が行われる。

ここでは調整工程であるので、絞り値、シャッター速度等は事前に決定された最適値にマニュアルでセットされる。

測光・測距処理が終了すると、続くステップＳ４０５でシャッタースイッチ（ＳＷ２）１１３の状態が判定される。シャッタースイッチ１１３がオフしている場合にはステップＳ４０５を繰り返し、オンしている場合にはステップＳ４０６に進む。

ステップＳ４０６にてＣＰＵ１０７はＡ／Ｄ変換器１０２，１０３に対して通信を行う。そして、（１）平均値算出モードを設定し、（２）積分開始位置(x11)、（３）積分画素数(x12)、（４）平均データ出力位置(x12)を図１２に示す位置に設定し、撮像素子１０１の開口部中央付近を積分できるように設定する。実際には垂直方向は同じ動作を行うので水平方向のみの設定を行う。また平均値の算出結果も画像の左端領域において通常出力に置き換えて、平均値出力を出力するように設定する。したがって撮影画像の左端にはＣｈ１とＣｈ２のそれぞれの各列の平均値が出力される。

ここでは光信号を検出しているため正確にはＣｈ１には行ごとにＲの出力とＧの出力が別々に現れている。またＣｈ２には行ごとにＧの出力とＢの出力が交互に現れている。この様子を図１３に示す。

次にステップＳ４０７において撮影動作を行う。この撮影処理の詳細については後述するがここでは目標とする領域が極力均一の出力を示すように、均一な光源を撮影する。ここでの撮影動作は第２の実施形態におけるシーケンスと同一であるので説明を省略する。

こうして得られた撮像信号の所定の領域に、各行ごとのチャネルごとの平均値が記憶されているので、ステップＳ４０８において、これらの出力値の中から、たとえば各チャネルのＧ出力のみを所定の範囲の行数分ＤＳＰにて平均値を算出する。これにより、所定のエリア内での各チャネルごとのＧ出力の平均値を算出する。

さらに全チャネルの平均値も算出し、全チャネルの平均値と、各チャネルの平均値との比を算出し、全チャネルの出力が同じ出力となるように補正データを算出し、これを各チャネルごとのゲインの補正値とする。

すなわち通常撮影時に各チャネルごとに前記ゲイン補正値をＤＳＰ１０５内の所定のレジスタに書き込むことで、読み出し動作時に各チャネルごとに前記補正データを乗じるという演算を行う。これにより、各チャネルごとに乗じることによりチャネル間ゲイン差が補正された高品質な画像データを得ることができる。

上記調整工程で得られたチャネル間ゲイン補正値をＲＯＭ１０８に記憶し、通常撮影モードに入るたびに、この補正値をＤＳＰ１０５の所定のレジスタに転送することで通常撮影時にはチャネル間ゲイン補正がなされた高品質な画像データを得ることが可能となる。こうして調整モードでの動作を終了する。

本実施形態では一回の撮影画像からデジタル的な補正値を算出し終了したが、均一輝度面を複数回撮影し、得られた複数回の補正データからさらに平均値を算出するようにしてもよい。また、ＤＳＰではなく、アナログ的に各チャネルのゲインを乗じる手段を有するカメラシステムにおいては、得られたゲイン補正データからアナログの補正値に変換しゲインを乗ずるようにしてもかまわない。

また本実施形態では各行ごと各チャネルごとの平均値を算出し、これを画像データ中に置き換えて出力している。しかし、さらに複数行の平均値を算出する場合などには、各行ごとに平均値を算出するよりも、各行ごとに積分値を算出し、複数行の積分値の総和を用いて平均値を算出したほうがより精度よく演算することが可能である。このような場合にはＡ／Ｄ変換器に対して、「積分値算出モード」を設定することで各行のチャネルごとの積分値を出力することができる。この場合には出力するタイミングにおいて1チャネルあたり２画素分のデータに置き換えて出力することとなる。たとえばＡ／Ｄ変換器が１６ｂｉｔ出力を有するものである場合には、積分結果を２画素分の領域を用いて３２ｂｉｔ長までのデータを出力することが可能となる。もちろん内部の積分回路が３２ｂｉｔまでのｂｉｔ長を持つ必要はない。この様子を図１３に示す。同図において添字Ｕは積分結果の上位１６ｂｉｔを表し、Ｌは下位１６ｂｉｔをあらわしている。

以上により第１〜第３の実施形態では、Ａ／Ｄ変換器自身に積分回路、平均化回路を搭載することで、画像処理回路側に余剰なハードウェアを搭載することなく、ＣＭＯＳイメージセンサのチャネル数に応じたＡ／Ｄ変換器を配置するだけで最適な回路構成となる。

垂直方向のシェーディングを演算する場合にはＡ／Ｄ変換器の演算結果を読み出すだけでよく、画像処理回路側に負荷を与えない。

また所定エリア内の平均値を算出するような場合でもファームウェアで処理すべき演算数が大幅に減少し、演算処理の大幅な時間短縮が可能となる。

また積分値、平均値等の演算データを、Ａ／Ｄ変換器自身の出力に置き換えて出力することで画像処理回路側がダイレクトに読み出せる形式でデータを受け渡すことが可能になる。たとえばシリアル通信等でデータを受け渡す場合に比べ大幅な通信時間の短縮が可能となる。

また本実施形態では、Ａ／Ｄ変換器の演算動作は１行ごとにリセットされるものとして説明した。しかし、設定によっては行ごとにリセットするようにせず、たとえば先頭行のみでリセットするような構成にすれば、特定エリア内の積分や平均値算出もファームウェアによらず、ハードウェアだけで実現可能である。このような修正は、本発明の技術思想の範囲内において適宜変更されえる。

本実施形態は、撮像装置に用いられるＡ／Ｄ変換器であり、Ａ／Ｄ変換器に供給される基準信号を検出する。該基準信号より設定された、演算開始位置情報、演算データ数、演算指定情報、演算結果出力位置情報、より指定されたタイミングにおいては入力されたアナログ信号をデジタルデータに変換した本来の出力データに代えて、演算結果を出力する。

撮像素子の黒基準となるオプティカルブラック部の平均値を算出しダークの補正を行う場合、ダークシェーディング補正を行うために、撮像素子を遮光した状態でダーク画像を撮影する。この画像から水平方向に写像演算を行い垂直のダークシェーディング補正データを算出する場合、さらに開口部の特定領域のRGB出力ごとに平均値を算出する場合にも専用の大規模なハードウェアが必要なくなる。また、制御CPUのファームウェアにより時間を要する演算を繰り返す必要もなく、容易に処理することが可能となる。

特に複数の読み出しチャネルを有し、同時に複数画素の読み出しを行う多チャネルCMOSイメージセンサを用いた撮像装置において各チャネル、各色ごとの算出を行う場合においても、複数チャネルを個別に処理する大規模なハードウェアが必要なくなる。また、処理を複数チャネル回数分繰り返す、処理時間が必要なファームウェアでの演算を行う必要が減少し、システム上の負荷が大幅に軽減する効果、システム全体の大幅なコストダウン効果がある。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態によるデジタルカメラやデジタルビデオカメラの構成例を示す図である。 Ａ／Ｄ変換器の構成例を示す図である。 第１の実施形態によるカメラの制御を示したフローチャートである。 水平ＯＢ部平均値算出処理を示す図である。 水平ＯＢ部平均値算出処理（読み出し領域削減）を示す図である。 本発明の第２の実施形態によるデジタルカメラやデジタルビデオカメラの構成例を示す図である。 第２の実施形態によるカメラの制御を示したフローチャートである。 垂直ＯＢ部平均値算出処理を示す図である。 チャネルごとの出力を示す図である。 撮影処理の詳細を示すフローチャートである。 本発明の第３の実施形態によるカメラの制御を示したフローチャートである。 中央部平均値算出処理を示す図である。 チャネルごとの出力を示す図である。

符号の説明

１０１ 撮像素子
１０２，１０３ Ａ／Ｄ変換器
１０４ マルチプレクサ
１０５ ＤＳＰ
１０６ タイミング発生回路
１０７ ＣＰＵ
１０８ ＲＯＭ
１０９ ＲＡＭ
１１０ 記録媒体
１１１、１１２、１１３ スイッチ
１１４ モードダイアル

Claims (4)

1. 光学的に遮光された画素領域を有し、光電変換によりアナログ画像信号を生成する撮像素子と、
   前記撮像素子により生成されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、
   前記撮像素子の前記光学的に遮光された画素領域内の複数画素から出力され前記Ａ／Ｄ変換手段により変換されたデジタル信号に所定の演算を実行する演算手段と、
   前記Ａ／Ｄ変換手段の出力または前記演算手段の出力のいずれかを選択して出力する選択手段と、
   前記演算手段による演算結果の出力位置を設定する設定手段と、
   各行において、前記設定手段により設定される前記出力位置に到達するまで前記選択手段が前記Ａ／Ｄ変換手段の出力を選択し、前記出力位置に到達してから前記選択手段が前記演算手段の出力を選択するように制御する制御手段と
   を有することを特徴とする撮像装置。
2. 前記演算手段は、前記デジタル信号の平均値を算出することを特徴とする請求項１記載の撮像装置。
3. 前記演算手段は、前記デジタル信号の積分値を算出することを特徴とする請求項１記載の撮像装置。
4. 前記選択手段は、外部信号を基に選択を行うことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。

Images