JP5843512B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、デジタルカメラなどの撮像装置に関し、特に、撮影の際に撮像素子から取得した補正データ生成用のデータに応じて生成された補正データによって画像データを補正する撮像装置、その制御方法、および制御プログラムに関する。

一般に、デジタルカメラ又はデジタルビデオカメラなどの撮像装置においては、撮像素子の出力を補正する補正データを予め保持して、当該補正データを用いて画像データを補正し良好な画像を得るようにしている。ところが、長時間に亘って連続で撮像素子を駆動すると、撮像素子の温度が上昇して、撮像素子の特性が変化する。そして、撮像素子の特性が変化すると、予め保持された補正データでは良好な補正を行うことができなくなってしまう。

上記のような問題を解決するため、例えば、温度など撮影の際の条件が変化すると、補正データを再生成するようにした撮像装置がある（特許文献１参照）。

特開２００６−１２１３５８号公報

ところが、特許文献１に記載の撮像装置においては次のような問題点がある。

撮像条件が変化した際に補正データを再生成するため、例えば、動画像のように連続して画像データを取得する場合には画像データの取得を一旦中断する必要がある。このため、補正データの再生成の際に画像が途切れてしまうといった問題点がある。

従って、本発明の目的は、動画像を撮影する際に、撮像条件が変化した場合であっても画像データの取得を中断せずに画像補正を行うことのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、複数の画素が２次元マトリックス状に配列され、光学像を画像データに変換する撮像素子と、互いに異なる複数の撮影感度に対応した複数の補正データを記憶する記憶手段と、前記記憶手段に記憶されている現在の撮影感度に対応した補正データを用いて前記画像データを補正する補正手段と、複数フレームの画像データを連続して取得する場合に、撮影感度をフレーム毎に異ならせながら各撮影感度に対応した補正データを複数フレームに亘って生成し、前記記憶手段に記憶されている各撮影感度に対応した補正データを更新する更新手段と、を有することを特徴とする。

本発明による制御方法は、複数の画素が２次元マトリックス状に配列され、光学像を画像データに変換する撮像素子を備える撮像装置を制御するための制御方法であって、互いに異なる複数の撮影感度に対応した複数の補正データを記憶手段に記憶する記憶ステップと、前記記憶手段に記憶されている現在の撮影感度に対応した補正データを用いて前記画像データを補正する補正ステップと、複数フレームの画像データを連続して取得する場合に、撮影感度をフレーム毎に異ならせながら各撮影感度に対応した補正データを複数フレームに亘って生成し、前記記憶手段に記憶されている各撮影感度に対応した補正データを更新する更新ステップと、を有することを特徴とする。

本発明による制御プログラムは、複数の画素が２次元マトリックス状に配列され、光学像を画像データに変換する撮像素子を備える撮像装置を制御するための制御プログラムであって、前記撮像装置が備えるコンピュータに、互いに異なる複数の撮影感度に対応した複数の補正データを記憶手段に記憶する記憶ステップと、前記記憶手段に記憶されている現在の撮影感度に対応した補正データを用いて前記画像データを補正する補正ステップと、複数フレームの画像データを連続して取得する場合に、撮影感度をフレーム毎に異ならせながら各撮影感度に対応した補正データを複数フレームに亘って生成し、前記記憶手段に記憶されている各撮影感度に対応した補正データを更新する更新ステップと、を実行させることを特徴とする。

本発明によれば、動画像を撮影する際に、撮像条件が変化した場合であっても画像データの取得を中断せずに画像補正を行うことができる。

本発明の第１の実施形態による撮像装置の構成を示すブロック図である。 図１に示す撮像素子を説明するための図であり、（ａ）は撮像素子の回路構成の一例を示す図、（ｂ）は撮像素子の画素構成の一例を示す図である。 図１に示す画像処理部の構成の一例を示すブロック図である。 図１に示す撮像装置の動作を説明するためのフローチャートである。 図１に示す撮像素子の動作を説明するためのタイミングチャートであり、（ａ）はその１を示す図、（ｂ）はその２を示す図である。 図１に示す撮像素子おけるデータ出力を説明するための図であり、（ａ）はその１を示す図、（ｂ）はその２を示す図である。 図１に示す撮像装置におけるデータ出力を説明するための図である。 本発明の第２の実施形態による撮像装置で用いられる画像処理部の構成を示すブロック図である。 本発明の第２の実施形態による撮像装置の動作を説明するためのフローチャートである。 本発明の第２の実施形態による撮像装置におけるデータ出力を説明するための図である。 本発明の第３の実施形態による撮像装置の動作を説明するためのフローチャートである。 本発明の第３の実施形態による撮像装置におけるデータ出力を説明するための図である。

以下、本発明の実施の形態による撮像装置について図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置の構成を示すブロック図である。

図１を参照して、図示の撮像装置１００は動画像を撮影する機能を有している。撮像装置１００は、撮像素子１０１を備えており、この撮像素子１０１は光学像を電気信号（アナログ信号、つまり、画像信号）に変換する。撮像素子１０１から出力されたアナログ信号は、アナログフロントエンド（ＡＦＥ）１０３でゲインの調整が行われるとともに、所定の量子化ビットに応じてデジタル信号（画像データ）に変換される。なお、撮像素子１０１およびＡＦＥ１０３はタイミングジェネレータ（ＴＧ）１０２によって駆動タイミングが制御される。

ＲＡＭ１０８は、ＡＦＥ１０３から出力される画像データおよび後述する画像処理部１１０で処理された画像データを記憶するためのメモリ（画像メモリ）であり、さらに、ＲＡＭ１０８は後述するＣＰＵ１０４によってワークメモリとしても用いられる。なお、ここでは、画像メモリおよびワークメモリとしてＲＡＭ１０８を用いているが、アクセス速度が問題ないレベルのメモリであれば、他のメモリを用いるようにしてもよい。

ＲＯＭ１０６には、ＣＰＵ１０４上で動作するプログラムが格納される。図示の例では、ＲＯＭ１０６としてフラッシュＲＯＭが用いられるが、アクセス速度が問題ないレベルのメモリであれば、フラッシュＲＯＭ以外の他のメモリを用いるようにしてもよい。

ＣＰＵ１０４は、撮像装置１００を統括的に制御する。画像圧縮部１０９は静止画像および動画像の圧縮処理を行う。画像処理部１１０は撮影の結果得られた画像データの補正等の処理を行う。インターフェース部（Ｉ／Ｆ）１１１は、外部記録媒体１１４とのインターフェースである。

外部記録媒体１１４は、例えば、不揮発性メモリ又はハードディスクであり、コネクタ１１７、Ｉ／Ｆ１１５、及び記録部１１６を有している。そして、外部記録媒体１１４はコネクタ１１７によって、撮像装置１１０に備えられたコネクタ１１３を介してＩ／Ｆ１１１と接続される。外部記録媒体１１４には、例えば、静止画像データおよび動画像データが記録される。

図示の例では、外部記録媒体１１４がコネクタによって撮像装置１００に対して着脱可能となっているが、撮像装置１００が不揮発性メモリ又はハードディスク等の記録媒体を内蔵するようにしてもよい。

操作部１０５は撮影命令および撮像条件等の設定をＣＰＵ１０４に対して行う際に用いられる。表示部１０７はＣＰＵ１０４の制御下で撮影の結果得られた静止画像、動画像、およびメニュー等の表示を行う。

図２は、図１に示す撮像素子を説明するための図である。そして、図２（ａ）は撮像素子１０１の回路構成の一例を示す図であり、図２（ｂ）は撮像素子１０１の画素構成の一例を示す図である。

まず、図２（ａ）を参照すると、撮像素子１０１は複数の単位画素２０１を有している（図示の例では、説明の便宜上１つの単位画素２０１のみが示されている）。これら複数の単位画素は２次元マトリックス状に配列されている。

単位画素２０１は、フォトダイオード（光電変換素子）２０２、転送スイッチ２０３、リセットスイッチ２０４、行選択スイッチ２０５、画素アンプ２０６、浮遊拡散層ＦＤ２０７を備えている。

フォトダイオード２０２は、光（光学像）を信号電荷に変換して蓄積する光電変換部である。転送スイッチ２０３は、フォトダイオード２０２の光電変換によって生成された信号電荷を転送パルスＰＴＸに応じて浮遊拡散層ＦＤ２０７転送する。浮遊拡散層ＦＤ２０７は、転送スイッチ２０３によって転送された信号電荷を一旦蓄積する。

リセットスイッチ２０４は、画素アンプ２０６のゲートに接続された浮遊拡散層ＦＤ２０７をリセットパルスＰＲＥＳに応じて基準電圧ＶＤＤの電圧レベルにリセットする。画素アンプ２０６は、ソースフォロアとして機能して、浮遊拡散層ＦＤ７に蓄積された信号電荷を増幅する。行選択スイッチ２０５は、垂直走査回路（図示せず）によって選択された行画素を選択パルスＰＳＥＬに応じて選択する。行選択スイッチ２０５によって選択された行の画素信号は、画素アンプ２０６を介して、負荷電流源２０８に接続された垂直出力線２０９に出力される。

続いて、パルス生成回路（図示せず）で生成された転送パルスＰＴＳによって転送ゲート２１１がオン（ＯＮ）となって、垂直出力線２０９に出力される光信号（Ｓ信号）とリセットノイズ（Ｎ信号）との混合信号がアンプ２１０（増幅手段）を介して蓄積容量ＣＴＳ２１３に蓄積される。

同様に、パルス生成回路よって生成された転送パルスＰＴＮによって転送ゲート２１２がＯＮとなって、Ｎ信号はアンプ２１０を介して蓄積容量ＣＴＮ２１４に蓄積される。その後、転送パルスＰＴＳおよびＰＴＮによって転送ゲート２１１および２１２はオフ（ＯＦＦ）となる。

次に、水平走査回路（図示せず）から出力される制御信号ＰＨＳおよびＰＨＮによって、それぞれ転送ゲート２１５および２１６を介して、Ｓ信号とＮ信号との混合信号が容量ＣＨＳ２１７に蓄積されるとともに、Ｎ信号が容量ＣＨＮ２１８に蓄積される。そして、差動増幅器２１９は容量ＣＨ２１７および容量ＣＨＮ２１８に蓄積された電荷の差分に基づいて撮像画像を出力する。

レジスタ２２０および２２１（レジスタ手段）の設定（レジスタ値）は外部から設定され、レジスタ２２０および２２１は、アンプ選択パルスＰＡＭＰＳＥＬで制御されるセレクタ２２２（条件選択手段）によって選択される。そして、アンプ２１０の増幅率は、レジスタ２２０又は２２１の設定に応じて決定される。

続いて、図２（ｂ）を参照すると、撮像素子１０１には、遮光された画素（ＯＢ画素という）の領域（第１の領域）と遮光されていない画素（有効画素という）の領域（第２の領域）とが規定されている。ＯＢ画素選択パルスがハイレベル（Ｈｉｇｈ）になると、垂直走査回路から出力される選択パルスＰＳＥＬに応じて、所定の行範囲において最初の行から行選択スイッチ２０５が順次ＯＮする。そして、当該所定の行範囲が終了すると再び所定の行範囲の最初の行から行選択スイッチが順次ＯＮされる。

例えば、５行目から１４行目がＯＢ画素である場合、ＯＢ画素選択パルスＰＯＢＳＥＬがＨｉｇｈになると、選択パルスＰＳＥＬによって５、６、…、１４行目が順次選択され、その後再び５、６、…、１４行目が選択されるという動作が繰り返される。そして、このような動作（巡回）を１０回繰り返せば、１００行分のＯＢ画素データが出力されることとなる。

図３は、図１に示す画像処理部１１０の構成の一例を示すブロック図である。

図３において、画像処理部１１０は複数のＲＡＭ１１０ａ〜１１０ｅを有している。これらＲＡＭ１１０ａ〜１１０ｅにはそれぞれ撮像条件別の補正データが格納される。補正データ生成回路１１０ｆはデータ入力（画像データ）と一時的にＲＡＭ１１０ａ〜１１０ｅに記憶されている計算過程のデータ（計算過程データ）を用いて補正データを生成する。そして、補正データの生成工程が繰り返されて、最終的な補正データがＲＡＭ１１０ａ〜１１０ｅのうち予め定められたＲＡＭに書き込まれる。

補正データ更新の際には、補正データ更新回路１１０ｇにデータ入力が与えられるとともに、更新対象となる補正データが格納されたＲＡＭ（ＲＡＭ１１０ａ〜１１０ｅのうちの１つ）から補正データが入力される。そして、補正データ更新回路１１０ｇは所定の処理に基づいて補正データの更新を実行する。更新処理が終了すると、補正データ更新回路１１０ｇは更新された補正データを、更新対象となる補正データが格納されていたＲＡＭに再格納する。

画像データ補正の際には、撮像の際の撮影条件、つまり、画像データを得た際の撮像条件に従って、セレクタ１１０ｉはＲＡＭ１１０ａ〜１１０ｅのいずれかを選択して、選択したＲＡＭから補正データを補正回路１１０ｈに与える。補正回路１１０ｈは補正データに応じて所定の処理を行って、画像データに補正をして、補正画像データ（データ出力）として出力する。

図４は、図１に示す撮像装置１００の動作を説明するためのフローチャートである。また、図５は、図１に示す撮像素子１０１の動作を説明するためのタイミングチャートであり、図５（ａ）はその１を示す図、図５（ｂ）はその２を示す図である。さらに、図６は、図１に示す撮像素子１０１おけるデータ出力を説明するための図であり、図６（ａ）はその１を示す図、図６（ｂ）はその２を示す図である。そして、図７は、図１に示す撮像装置１００におけるデータ出力を説明するための図である。なお、図４に示すフローチャートはＣＰＵ１０４によって実行される。

図１〜図７を参照して、まず、撮影を行うに当たって、ユーザーは操作部１０５を操作して、撮影感度を設定する。そして、ユーザーは撮像装置１００によって動画像の撮影を開始する。ここでは、撮影感度としてＩＳＯ４００で設定されたものとする。ＣＰＵ１０４は操作部１０５から与えられる撮影開始信号によって動画像の撮影を開始する。

なお、撮影感度の設定を行う際には、撮影環境に応じてＣＰＵ１０４が所定の処理を行って撮影感度を決定するようにしてもよい。また、撮影感度＝ＩＳＯ４００は一例であり、撮像装置１００に設定可能な全ての撮影感度について適用することができる。

動画撮影を開始すると、ＣＰＵ１０４は、ＴＧ１０２に対してＯＢ画像選択パルスＰＯＢＳＥＬをデータ読み出し期間中において所定の期間Ｈｉｇｈに出力する設定を行う。これによって、図２（ｂ）に示すＯＢ画素の行を所定の行数巡回して読み出す設定が行われる。また、ＣＰＵ１０４は、ＴＧ１０２に対してアンプ選択パルスＰＡＭＰＳＥＬをデータ読み出し期間中ロウレベル（Ｌｏｗ）に出力する設定を行う（ステップＳ１０１）。

続いて、ＣＰＵ１０４は、図５（ａ）の時刻ｔ１において撮像素子１０１のレジスタ２２０に対してアンプ２１０の増幅率がＩＳＯ１００相当となる値（レジスタ値）設定をする（ステップＳ１０２：ＯＢ画素増幅率（第１の撮像条件）の設定）。

ここでは、アンプ選択パルスＰＡＭＰＳＥＬはＬｏｗとなっているので、セレクタ２２２はレジスタ２２０を選択して、レジスタ２２０のレジスタ値がアンプ２１０に与えられる。この結果、アンプ２１０の増幅率はＩＳＯ１００相当となる。

ＣＰＵ１０４は撮像素子１０１の読み出しが開始されると（ステップＳ１０３）、図５（ａ）に示す時刻ｔ２〜ｔ３の期間、ＯＢ画像選択パルスＰＯＢＳＥＬがＨｉｇｈとなって、ＩＳＯ１００相当に画素信号が増幅されたＯＢ画素信号が設定された行数だけ撮像素子１０１から出力される（図６（ａ）参照）。

前述したように、撮像素子１０１から出力されたデータ（ここでは、ＯＢ画素信号）はＡＦＥ１０３においてデジタル変換された後、画像処理部１１０に入力される。そして、画像処理部１１０において補正データ生成回路１１０ｆはＯＢ画像データ（第１の画素データ）を水平方向の列毎に平均して、列毎の補正データを生成する。そして、補正データ生成回路１１０ｆは当該補正データ（以下ＩＳＯ１００補正データともいう）をＲＡＭ１１０ａに格納する。

続いて、ＣＰＵ１０４は補正データの生成が終了したか否かについて判定する（ステップＳ１０４）。補正データの生成が終了していなければ（ステップＳ１０４において、ＮＯ）、ＣＰＵ１０４はステップＳ１０２の処理に戻って（ここでは、補正データの生成は終了していない）、ＣＰＵ１０４は撮像素子１０１のレジスタ２２０の設定（レジスタ値）をＩＳＯ２００の感度に相当する増幅率に設定する。そして、ＣＰＵ１０４は、ステップＳ１０３において撮像素子１０１からの信号読み出しを開始する。

これによって、撮像素子１０１からＩＳＯ２００相当に増幅されたＯＢ画素信号が設定された行数だけ出力される。撮像素子１０１から出力されたＯＢ画素信号はＡＦＥ１０３においてデジタル変換された後、画像処理部１１０に入力される。画像処理部１１０において補正データ生成回路１１０ｆはＯＢ画素データを列毎に平均して、列毎の補正データを生成する。そして、補正データ生成回路１１０ｆは当該補正データ（ＩＳＯ２００補正データともいう）をＲＡＭ１１０ｂに格納する。

同様にして、ＩＳＯ４００、ＩＳＯ８００、およびＩＳＯ１６００に相当する増幅率で出力されたＯＢ画素信号に応じて、補正データ生成回路１１０ｆはそれぞれ補正データをする。そして、これら補正データは補正データ生成回路１１０ｆによってそれぞれＲＡＭ１１０ｃ、１１０ｄ、および１１０ｅに格納される。このようにして、増幅率毎の補正データの生成を終了する。

なお、以下の説明では、ＩＳＯ４００、ＩＳＯ８００、およびＩＳＯ１６００に対応する補正データをそれぞれＩＳＯ４００補正データ、ＩＳＯ８００補正データ、およびＩＳＯ１６００補正データと呼ぶことがある。

補正データの生成が終了とすると（ステップＳ１０４において、ＹＥＳ）、ＣＰＵ１０４は動画記録される画像データ（フレーム）の出力を開始する。

ＣＰＵ１０４はＴＧ１０２に対して、読み出し期間中にＯＢ選択パルスＰＯＢＳＥＬがＬｏｗとなる設定を行う。さらに、ＣＰＵ１０４はＴＧ１０２に対して、アンプ選択パルスＰＡＭＰＳＥＬが読み出し期間の所定のタイミング（行単位）でＨｉｇｈとなる設定を行う（ステップＳ１０５）。

次に、ＣＰＵ１０４は、図５（ｂ）に示す時刻ｔ４において、レジスタ２２１に対してアンプ２１０がＩＳＯ４００相当の増幅率になるレジスタ値の設定を行う（ステップＳ１０６：有効画素増幅率（第２の撮像条件）設定）。その後、ＣＰＵ１０４はレジスタ２２０にアンプ２１０がＩＳＯ１００相当の増幅率になるレジスタ値の設定を行う（ステップＳ１０７：ＯＢ画素増幅率設定）。

ＣＰＵ１０４が、図５（ｂ）に示す時刻ｔ５〜ｔ６において読み出しを開始すると、存在するＯＢ画素の行数だけＯＢ画素信号が撮像素子１０１から出力される（ステップＳ１０８）。この際には、アンプ選択パルスＰＡＭＰＳＥＬはＬｏｗになっているので、セレクタ２２２はレジスタ２２０を選択する。この結果、アンプ２１０の増幅率はＩＳＯ１００相当の増幅率となる。

その後、ＯＢ画素信号の出力が終了した行において、ＴＧ１０２はＣＰＵ１０４の制御下で撮像素子１０１に対して出力されるアンプ選択パルスＰＡＭＰＳＥＬをＨｉｇｈとする。これによって、セレクタ２２２はレジスタ２２１を選択して、アンプ２１０の増幅率がＩＳＯ４００相当になった状態で有効画素信号が撮像素子１０１から出力される（図６（ｂ）参照）。そして、有効画素信号の出力が最終行まで行われると、１フレーム分の画像出力が終了する。

前述したように、撮像素子１０１から出力された画素信号はＡＦＥ１０３においてデジタル変換された後、画像処理部１１０に入力される。画像処理部１１０では、入力された画素データがＯＢ画素データ（第１の画素データ）である場合には、補正データ更新回路１１０ｇに当該ＯＢ画素データデータが入力される。

同時に、アンプ２１０がＩＳＯ１００相当の増幅率である際の補正データ（ＩＳＯ１００補正データ）がＲＡＭ１１０ａから補正データ更新回路１１０ｇに入力される。補正データ更新回路１１０ｇは、これらＩＳＯ１００補正データおよびＯＢ画素データに所定の重み付けをした後、これら２つのデータを比較する。そして、補正データ更新回路１１０ｇはＩＳＯ１００補正データがＯＢ画素データと近い値になるように、ＩＳＯ１００補正データを更新する。その後、補正データ更新回路１１０ｇは、更新されたＩＳＯ１００補正データをＲＡＭ１１０ａに再格納して、ＩＳＯ１００補正データを更新する。

画像処理部１１０に対する入力データが有効画素データ（第２の画素データ）である場合には、ＲＡＭ１１０ｃに格納された補正データ（ＩＳＯ４００補正データ）がセレクタ１１０ｉによって選択されて、ＩＳＯ４００補正データは補正回路１１０ｈに与えられる。補正回路１１０ｈには有効画素データが与えられており、補正回路１１０ｈは水平方向の列毎に、有効画素データからＩＳＯ補正データを減算して、有効画素データの補正を行う。ＣＰＵ１０４は補正後の有効画素データ（つまり、画像データ）をＲＡＭ１０８に格納する。

続いて、ＣＰＵ１０４動画撮影が終了したか否かについて判定する（ステップＳ１０９）。動画撮影が終了していないと（ステップＳ１０９において、ＮＯ）、ＣＰＵ１０４は次のフレームの撮影を開始する。この際、ＣＰＵ１０４は撮影感度が変更されたか否かについて判定する（ステップＳ１１０）。撮影感度が変更されていないと（ステップＳ１０７において、ＮＯ）、ＣＰＵ１０４はステップＳ１０７の処理に戻って、レジスタ２２０にアンプ２１０がＩＳＯ２００相当の増幅率になるレジスタ値を設定をする。

その後、１フレーム目と同様にして、ＣＰＵ１０４はステップＳ１０８において読み出しを開始して、ＩＳＯ２００相当で増幅されたＯＢ画素データとＩＳＯ４００相当で増幅された有効画素データを撮像素子１０１から出力する。

前述のように、撮像素子１０１から出力された画素データはＡＦＥ１０３においてデジタル変換された後、画像処理部１１０に入力される。画像処理部１１０において、入力された画素データがＯＢ画素データである場合には、補正データ更新回路１１０ｇにＯＢ画素データが入力される。同時に、アンプ２１０がＩＳＯ２００相当の増幅率である際の補正データ（ＩＳＯ２００補正データ）が、ＲＡＭ１１０ｂから補正データ更新回路１１０ｇに入力される。

補正データ更新回路１１０ｇは、ＯＢ画素データおよびＩＳＯ２００補正データに所定の重み付けをした後、これら２つのデータを比較する。そして、補正データ更新回路１１０ｇはＩＳＯ２００補正データがＯＢ画素のデータと近い値になるように、ＩＳＯ２００補正データを更新する。その後、補正データ更新回路１１０ｇは更新されたＩＳＯ補正データをＲＡＭ１１０ｂに再格納して、ＩＳＩ２００補正データを更新する。

画像処理部１１０に対する入力データが有効画素データである場合には、ＲＡＭ１１０ｃの出力（ＩＳＯ４００補正データ）がセレクタ１１０ｉによって選択され、ＩＳＯ補正データおよび有効画素データが補正回路１１０ｈに与えられる。補正回路１１０ｈは水平方向の列毎に、有効画素データからＩＳＯ４００補正データを減算して、有効画素データを補正する。そして、ＣＰＵ１０４は補正後の有効画素データをＲＡＭ１０８に格納する。

このようにして、撮影する各フレームにおいて、ＣＰＵ１０４はレジスタ２２０のレジスタ値がＩＳＯ４００相当、ＩＳＯ８００相当、そして、ＩＳＯ１６００相当の増幅率となるように設定を行って、１フレーム内にあるＯＢ画素信号を各増幅率で増幅して撮像素子１０１から出力する。前述したようにして、ＯＢ画素データを用いてＲＡＭ１１０ｃ〜１１０ｅに格納された補正データの更新が行われる。そして、各フレームの有効画素データはＲＡＭ１１０ｃに格納される補正データ（ＩＳＯ４００）で順次補正されてＲＡＭ１０８に格納される。

上述のようにして、ＲＡＭ１１０ｅに格納されたＩＳＯ１６００補正データが更新されると、次のフレームでは再びＩＳＯ１００相当補正データの更新が行われる。そして、順次ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、およびＩＳＯ１６００の補正データが更新される。

上述の例では、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００の順に補正データの更新を行っているが、更新順序はこの例に限られない。

ステップＳ１１０において、撮影感度が変更されたと判定されると（ステップＳ１１０において、ＹＥＳ）、ＣＰＵ１０４はステップＳ１０６の処理に戻る。ここでは、次フレームの撮影の際に、ＣＰＵ１０４はレジスタ２２１に、変更された撮影感度に相当する増幅率となるレジスタ値の設定を行う。

例えば、撮影感度がＩＳＯ８００に変更されたとすると、ステップＳ１０６では、ＣＰＵ１０４はレジスタ２２１に、ＩＳＯ８００相当の増幅率となるレジスタ値の設定を行う。そして、有効画素データが増幅されて撮像素子１０１から出力される。次に、ステップＳ１０７では、ＣＰＵ１０４は上述したレジスタ２２０に対する設定周期においてフレームが該当する増幅率になるようにレジスタ２２０にレジスタ値の設定を行う。

前述のように、撮像素子１０１から出力された画素データは、ＡＦＥ１０３にてデジタル変換された後、画像処理部１１０に入力される。画像処理部１１０に入力される画素データがＯＢ画素データである場合には、上述したようにして、補正データが更新される。

画像処理部１１０に入力される画素データが有効画素のデータである場合には、ＲＡＭ１１０ｄの出力（ＩＳＯ８００補正データ）がセレクタ１１０ｉによって選択される。そして、ＩＳＯ８００補正データおよび有効画素データが補正回路１１０ｈに入力される。

補正回路１１０ｈは水平方向の列毎に、有効画素データからＩＳＯ８００補正データを減算して、有効画素データの補正を行う。ＣＰＵ１０４は補正後の有効画素データをＲＡＭ１０８に格納する。

このようにして、ＲＡＭ１０８格納された各フレーム（図７参照）の有効画素データは、順次画像圧縮部１０９に入力されて、ここで所定の圧縮処理等を行った後、外部記録媒体１１４に記録される。

ステップＳ１０９において、動画撮影が終了したと判定されると（ステップＳ１０９において、ＹＥＳ）、ＣＰＵ１０４は撮影を終了する。

上述したように、第１の実施形態による撮像装置では、１フレームにおいて、ＯＢ画素データおよび有効画素データを生成して、ＯＢ画素データおよび有効画素データを、撮影感度に応じた増幅率でそれぞれ増幅する。そして、アンプの増幅率毎に補正データを保持して、補正データをＯＢ画素データに基づいて周期的に更新する。そして、有効画素データは、当該有効画素データに対応する補正データで補正される。

この結果、動画等の連続した画像データを補正する際に、画像データの増幅率（つまり、撮影感度）が変更されても、撮影感度を変更する都度、補正データを新たに生成する必要がない。従って、動画像が途切れることがなく画像データの補正を行うことができる。

さらに、長時間連続して撮影を行って撮像素子の温度等の変化に起因してアンプの特性が変化しても、上述のようにして、補正データを更新するようにすれば、アンプの特性の変化に追従して適切な補正を行うことができる。
本実施例では動画撮影について述べたが、その限りではない。連続した静止画撮影等、連続した画像の撮影であれば適用することができる。

（第２の実施形態）
続いて、本発明の第２の実施形態による撮像装置について説明する。第２の実施形態による撮像装置の構成は図１に示す撮像装置１００と同様である。また、第２の実施形態における撮像素子の構成は図２に示す撮像素子１０１と同様である。そして、第２の実施形態においては、画像処理部の構成が図３に示す画像処理部１１０と異なる。

図８は、本発明の第２の実施形態による撮像装置で用いられる画像処理部１１０の構成を示すブロック図である。

図８において、画像処理部１１０はＲＡＭ１１０ａ’〜１１０ｃ’を有しており、これらＲＡＭ１１０ａ’〜１１０ｃ’には撮像条件別の補正データが格納される。補正データ生成回路１１０ｆ’はデータ入力（画像データ）と一時的にＲＡＭ１１０ａ’〜１１０ｃ’に記憶された計算過程におけるデータとを用いて補正データを生成して、ＲＡＭ１１０ａ’〜１１０ｃ’のうちの１つのＲＡＭに補正データを書き込む。

さらに、補正データを更新する際には、補正データ更新回路１１０ｇ’にデータ入力および更新対象となる補正データが格納されたＲＡＭ１１０ａ’〜１１０ｃ’のいずれかから補正データが入力される。補正データ更新回路１１０ｇ’は所定の処理に基づいて補正データの更新を行う。そして、補正データ更新回路１１０ｇ’は更新後の補正データを、更新対象となる補正データが格納されていたＲＡＭに格納する。

画像データを補正する際には、画像処理部１１０に入力される画像データ（データ入力）を撮像した際の撮像条件に応じて、セレクタ１１０ｉ’がＲＡＭ１１０ａ’〜１１０ｃ’の出力のうちのいずれか１つを選択する。これによって、補正データが補正回路１１０ｈ’に与えられる。補正回路１１０ｈ’は補正データに応じて所定の処理によって画像データの補正を行い、補正後の画像データを出力する。

図９は、本発明の第２の実施形態による撮像装置の動作を説明するためのフローチャートである。また、図１０は、本発明の第２の実施形態による撮像装置におけるデータ出力を説明するための図である。なお、図９に示すフローチャートは、図１に示すＣＰＵ１０４で実行される。

図１、図２、および図８〜図１０を参照して、動画像の撮影を開始する際、まず、ユーザーは操作部１０５を操作して撮影感度を設定する。ここでは、撮影感度はＩＳＯ４００に設定されたものとする。ＣＰＵ１０４は操作部１０５の操作（撮影開始操作）に応じて動画像の撮影を開始する。

撮影が開始されると、ＣＰＵ１０４は補正データを生成するためのアンプ２１０の増幅率を決定する（ステップＳ２０１）。ここでは、増幅率の設定数はＲＡＭ（ＲＡＭ１１０ａ’〜１１０ｃ’）の個数と同一であり、設定数にはＩＳＯ４００相当の設定が含まれる。さらに、ここでは、ＩＳＯ４００よりも増幅率が１段低いＩＳＯ２００と、ＩＳＯ４００よりも増幅率が１段高いＩＳＯ８００が選択されるものとする。

続いて、ＣＰＵ１０４はステップＳ２０２〜Ｓ２０７の処理を実行することになる。ステップＳ２０２〜Ｓ２０７の処理は、図４で説明したステップＳ１０１〜Ｓ１０６と同様である。なお、補正データの生成では、アンプ２１０の増幅率がＩＳＯ２００、ＩＳＯ４００、およびＩＳＯ８００相当の増幅率となる設定で補正データが生成される。そして、これら補正データはそれぞれＲＡＭ１１０ａ’〜１１０ｃ’に格納される。

ステップＳ２０７の処理が終了すると、ＣＰＵ１０４は、後述する撮影感度変更の際に新たに補正データを生成するための処理が完了しているか否かついて判定する（ステップＳ２０８）。

新たに補正データを生成するための処理が完了していると（ステップＳ２０８において、ＹＥＳ）、ＣＰＵ１０４は、補正データの更新を行うため、アンプ２１０がＩＳＯ２００相当の増幅率となるレジスタ値をレジスタ２２０に設定をする（ステップＳ２０９：ＯＢ画素増幅率設定）。そして、ＣＰＵ１０４は撮像素子１０１の読み出しを開始する（ステップＳ２１０）。これによって、ＯＢ画素の行数だけＯＢ画素信号が撮像素子から出力される。この際、アンプ選択パルスＰＡＭＰＳＥＬはＬｏｗとなっているまで、セレクタ２２２はレジスタ２２０を選択する。その結果、アンプ２１０の増幅率はＩＳＯ２００相当の増幅率となる。

その後、ＯＢ画素信号の出力が終了した行において、ＴＧ１０２はＣＰＵ１０４の制御下で撮像素子１０１に与えるアンプ選択パルスＰＡＭＰＳＥＬをＨｉｇｈとする。これによって、セレクタ２２２はレジスタ２２１を選択する。その結果、アンプ２１０の増幅率がＩＳＯ４００相当になった状態で、撮像素子１０１から有効画素信号が出力される。そして、有効画素信号が最終行まで出力されると、１フレーム分の画像出力が終了する。

このようにして、撮像素子１０１から出力された画素信号はＡＦＥ１０３においてデジタル変換された後、画像処理部１１０に入力される。画像処理部１１０では、画素データがＯＢ画素データである場合には、補正データ更新回路１１０ｇ’にＯＢ画素データが入力される。同時に、ＩＳＯ２００相当の増幅率である場合の補正データが、ＲＡＭ１１０ａ’から補正データ更新回路１１０ｇ’へ入力される。

補正データ更新回路１１０ｇ’は、これら２つのデータに所定の重み付けを行った後比較を行って、補正データがＯＢ画素データと近い値になるように補正データを更新する。そして、補正データ更新回路１１０ｇ’は更新された補正データをＲＡＭ１１０ａ’に再格納される。

画素データが有効画素のデータである場合には、セレクタ１１０ｉ’はＲＡＭ１１０ｂ’の出力を選択する。これによって、ＩＳＯ４００補正データおよび有効画素データが補正回路１１０ｈ’に入力されることになる。補正回路１１０ｈ’は水平方向の列毎に、有効画素データからＩＳＯ４００補正データを減算して、有効画素データの補正を行う。そして、ＣＰＵ１０４は補正後の有効画素データをＲＡＭ１０８に格納する。

続いて、ＣＰＵ１０４は動画像の撮影が終了したか否かについて判定する（ステップＳ２１１）。動画像の撮影が終了していないと（ステップＳ２１１において、ＮＯ）、ＣＰＵ１０４は次のフレームの撮影を開始する。この際、ＣＰＵ１０４は、撮影感度が変更されたか否かについて判定する（ステップＳ２１２）。

撮影感度が変更されていないと判定すると（ステップＳ２１２において、ＮＯ）、ＣＰＵ１０４はステップＳ２０８の処理に戻る。この場合には、補正データの生成が発生していないので、ＣＰＵ１０４はステップＳ２０９の処理に進む。そして、ここでは、ＣＰＵ１０４は補正データを更新するため、アンプ２１０がＩＳＯ４００相当の増幅率となるレジスタ値をレジスタ２２０に設定をする。

その後、１フレーム目と同様にして、ＣＰＵ１０４はステップＳ２１０において撮像素子１０１の読み出しを開始する。これによって、ＩＳＯ４００相当の増幅率で増幅されたＯＢ画素信号とＩＳＯ４００相当の増幅率で増幅された有効画素信号とが撮像素子１０１から出力される。

撮像素子１０１から出力された画素信号は、前述のように、ＡＦＥ１０３においてデジタル変換された後画像処理部１１０に入力される。画像処理部１１０では、画素データがＯＢ画素データである場合には、当該ＯＢ画素データが補正データ更新回路１１０ｇ’に入力される。同時に、アンプ２１０がＩＳＯ４００相当の増幅率である場合の補正データが、ＲＡＭ１１０ｂ’から補正データ更新回路１１０ｇ’に入力される。

補正データ更新回路１１０ｇ’は、これら２つのデータに所定の重み付けをした後に比較を行って、ＩＳＯ４００補正データがＯＢ画素のデータと近い値になるように、ＩＳＯ４００補正データを更新する。その後、補正データ更新回路１１０ｇ’は更新したＩＳＯ４００補正データをＲＡＭ１１０ｂ’に格納する。

画素データが有効画素データである場合には、セレクタ１１０ｉ’はＲＡＭ１１０ｂ’の出力を選択する。これによって、有効画素データおよびＩＳＯ４００補正データが補正回路１１０ｈ’に入力される。補正回路１１０ｈ’は水平方向の列毎に、有効画素データからＩＳＯ４００補正データを減算して、有効画素データの補正を行う。そして、ＣＰＵ１０４は、補正後の有効画素データをＲＡＭ１０８に格納する。

同様にして、続いて撮影するフレームにおいて、ステップＳ２０９ではＩＳＯ８００相当の増幅率となるレジスタ値がレジスタ２２０に設定される。これによって、ＩＳＯ８００相当の増幅率でＯＢ画素信号を増幅して撮像素子１０１から出力する。このＯＢ画素信号を用いてＲＡＭ１１０ｃ’の補正データが前述のようにして更新される。一方、有効画素データはＲＡＭ１１０ｂ’に格納された補正データによって前述したようにして補正されて、ＲＡＭ１０８に格納される。

ＲＡＭ１１０ｃ’に格納されたＩＳＯ８００補正データが更新されて、ステップＳ２１２において撮影感度が変更されない場合には、続くフレーム以降において順次ＩＳＯ２００、ＩＳＯ４００、およびＩＳＯ８００補正データを更新する処理が続けられる。

一方、撮影感度が変更されると（ステップＳ２１２において、ＹＥＳ）、ＣＰＵ１０４は補正データを生成又は更新する新たな増幅率の設定を決定する（ステップＳ２１３）。なお、ここでは、ステップＳ２１２において撮影感度がＩＳＯ４００からＩＳＯ８００に変更されたものとする。新たな増幅率の設定数はＲＡＭ（ＲＡＭ１１０ａ’〜１１０ｃ’）の個数と同一であり、この設定数にはＩＳＯ８００相当の増幅率の設定が含まれる。さらに、設定数にはＩＳＯ８００よりも増幅率が１段低いＩＳＯ４００と、ＩＳＯ８００よりも増幅率が１段高いＩＳＯ１６００が含まれる。

続いて、ＣＰＵ１０４は、ステップＳ２０７の処理に移行して、アンプ２１０がＩＳＯ８００相当の増幅率となるレジスタ値をレジスタ２２１に設定をする。新たにＩＳＯ１６００相当の増幅率で補正データを生成するため、ＣＰＵ１０４はステップＳ２０８において補正データの生成が完了していないと判定する（ステップＳ２０８において、ＮＯ）。

次に、ＣＰＵ１０４はＩＳＯ１６００相当の増幅率となるレジスタ値をレジスタ２２０に設定する（ステップＳ２１５）。そして、ＣＰＵ１０４は、ステップＳ２１０に移行して撮像素子１０１の読み出しを開始する。これによって、ＩＳＯ１６００相当の増幅率で増幅されたＯＢ画素信号とＩＳＯ８００相当の増幅率で増幅された有効画素信号が撮像素子１０１から出力される。

前述のように、撮像素子１０１から出力された画素信号はＡＦＥ１０３にてデジタル変換された後、画像処理部１１０に入力される。画像処理部１１０では、画素データがＯＢ画素データである場合には、当該ＯＢデータは補正データ生成回路１１０ｆ’に入力される。

補正データ生成回路１１０ｆ’は水平方向の列毎にＯＢ画素データを平均して、列毎の補正データを生成する。この際、ＯＢ画素データの平均行数が所定の行数に達していないと、補正データ生成回路１１０ｆ’は計算途中の補正データをＲＡＭ１１０ａ’に格納する。

画素データが有効画素データである場合には、セレクタ１１０ｉ’はＲＡＭ１１０ｃ’の出力を選択する。これによって、ＲＡＭ１１０ｃ’に格納された補正データと有効画素データとが補正回路１１０ｈ’に入力される。補正回路１１０ｈ’は水平方向の列毎に、有効画素データから補正データを減算して、補正後の有効画素データを生成する。ＣＰＵ１０４は補正後の有効画素データをＲＡＭ１０８に格納する。

続いて、ＣＰＵ１０４は、撮影終了が終了していないと判定すると（ステップＳ２１１において、ＮＯ）、ステップＳ２１２の処理に進むが、ここでは、撮影感度は変更されていないので、ＣＰＵ１０４はステップＳ２０８の処理に進む。そして、ステップＳ２０８では、ＩＳＯ１６００相当の増幅率における補正データ生成が完了していないので（ステップＳ２０８において、ＮＯ）、ＣＰＵ１０４はステップＳ２１５の処理に進む。そして、ＣＰＵ１０４は、ステップＳ２１５において再びＩＳＯ１６００相当の増幅率となるレジスタ値をレジスタ２２０に設定する。

ＣＰＵ１０４がステップＳ２１０において読み出しを開始すると、ＩＳＯ１６００相当の増幅率で増幅されたＯＢ画素信号とＩＳＯ８００相当の増幅率で増幅された有効画素信号とが撮像素子１０１から出力される。

撮像素子１０１から出力された画素信号はＡＦＥ１０３においてデジタル変換された後、画像処理部１１０に入力される。画像処理部１１０では、画素データがＯＢ画素データである場合には、当該ＯＢ画素データは補正データ生成回路１１０ｆ’に入力される。

一方、ＲＡＭ１１０ａ’から計算途中の補正データが補正データ生成回路１１０ｆ’入力される。補正データ生成回路１１０ｆ’はこれら２つのデータについて水平方向の列毎にデータ平均を行う。この際、ＯＢ画素データの平均行数が所定の行数に達していないと、補正データ生成回路１１０ｆ’は、計算途中の補正データをＲＡＭ１１０ａ’に格納する。また、補正回路１１０ｈ’は有効画素データをＲＡＭ１１０ｂ’に格納された補正データで補正する。そして、ＣＰＵ１０４は補正後の有効画素データをＲＡＭ１０８に格納する。

その後、ＣＰＵ１０４はステップＳ２１１の処理に進み、撮影終了が終了していない場合には、ステップＳ２１２の処理に進む。ここでは、撮影感度は変更されていないので（ステップＳ２１２において、ＮＯ）、ＣＰＵ１０４はステップＳ２０８の処理に進む。

このようにして、ステップＳ２０８からＳ２１２までの処理が、ＩＳＯ１６００相当の増幅率による補正データの生成が完了するまで繰り返される。そして、補正データの生成が完了すると（ステップＳ２０８において、ＹＥＳ）、ＣＰＵ１０４はステップＳ２０９の処理に進む。

ステップＳ２０９以降の処理においては、ＩＳＯ４００、ＩＳＯ８００、およびＩＳＯ１６００相当の増幅率における補正データがフレーム毎に順次更新されて、それぞれＲＡＭ１１０ｂ’、１１０ｃ’、および１１０ａ’に格納される。

このようにして、ＲＡＭ１０８格納された有効画素データ（図１０参照）は、順次画像圧縮部１０９に入力されて、ここで所定の圧縮処理等を受けた後に外部記録媒体１１４に記録される。

なお、ステップＳ２１１において、動画撮影が終了したと判定されると（ステップＳ２１１において、ＹＥＳ）、ＣＰＵ１０４は撮影を終了する。この際には、部記録媒体１１４に対する記録も終了する。

上述のように、第２の実施形態による撮像装置では、設定された撮影感度の増幅率における補正データを含む複数の補正データを生成して、１フレームにおいて各補正データを更新しつつ有効画素データを補正する。そして、連続する画像データの途中で増幅率が変更されると、１フレームに含まれるＯＢ画素データで新たな増幅率の補正データが生成しつつ、有効画素データを補正する。補正データの生成が完了した後には、補正データを更新しつつ有効画素データを補正する。

このような処理によって、補正データを保持するためのＲＡＭ等のリソースが少ない場合でも、画像データが途切れることがなく、画像データを適切に補正することができる。さらに、撮影感度、つまり、増幅率の数が少ないので更新頻度が高くなって、温度変化等によるアンプ特性の変化に対して追従性の高い補正を行うことができる。

（第３の実施形態）
続いて、本発明の第３の実施形態による撮像装置について説明する。第３の実施形態による撮像装置の構成は図１に示す撮像装置１００と同様である。また、第３の実施形態における撮像素子の構成は図２に示す撮像素子１０１と同様である。

図１１は、本発明の第３の実施形態による撮像装置の動作を説明するためのフローチャートである。また、図１２は、本発明の第３の実施形態による撮像装置におけるデータ出力を説明するための図である。なお、図１１に示すフローチャートは、図１に示すＣＰＵ１０４で実行される。

図１〜図３、図１１、および図１２を参照して、図４で説明したように、撮影を行うに当たって、ユーザーは操作部１０５を操作して、撮影感度を設定する。そして、ユーザーは撮像装置１００によって動画像の撮影を開始する。ここでは、撮影感度としてＩＳＯ４００が設定されたものとする。ＣＰＵ１０４は操作部１０５から与えられる撮影開始信号によって動画像の撮影を開始する。

図１１に示すステップＳ３０１からステップＳ３０５までの処理は、図４に示すステップＳ１０１からステップＳ１０５までの処理と同様であるので、ここでは説明を省略する。

ステップＳ３０５における処理が終了した後、ＣＰＵ１０４は各増幅率における補正データの更新頻度を決定する（ステップＳ３０６）。図４で説明したように、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、およびＩＳＯ１６００相当の増幅率で補正データが生成されている。後述する補正データの更新動作においてフレーム毎に各補正データが１つずつ更新されるが、１つの補正データに関して更新される頻度（フレーム単位）は所定の処理に従って決定される。

図示の例では、撮影感度はＩＳＯ８００に設定されたものとする。そして、ＩＳＯ８００、ＩＳＯ４００、およびＩＳＯ１６００相当の増幅率における補正データについては８フレーム中２フレームで更新する更新頻度とし、それ以外の補正データについては８フレーム中１フレームで更新する更新頻度とする。

なお、更新頻度の設定は上述の限りではなく、例えば、連続撮影中に次に変更する設定（撮影感度）を予測して、使用頻度の高いＩＳＯ感度の更新頻度を高く決定するようにしてもよい。

続いて、ＣＰＵ１０４は有効画素増幅率の設定を行う（ステップＳ３０７）。ステップＳ３０７における処理は図４で説明したステップＳ１０６の動作と同様である。

次に、ＣＰＵ１０４は、ステップＳ３０６において決定した更新頻度に基づいてレジスタ２２０にレジスタ値を設定する（ステップＳ３０８）。ここでは、ＣＰＵ１０４はＩＳＯ２００相当の増幅率となるレジスタ値をレジスタ２２０に設定する。その後、ＣＰＵ１０４はステップＳ３０９からステップＳ３１１までの処理を実行する。ステップＳ３０９からステップＳ３１１までの処理は、図４で説明したステップＳ１０８からステップＳ１１０までの動作と同様である。ここでは、ＩＳＯ２００相当の増幅率における補正データの更新と、ＩＳＯ４００相当の増幅率における有効画素データの補正が行われることになる。

ステップＳ３１１において、撮影感度が変更されないと（ステップＳ３１１において、ＮＯ）、ＣＰＵ１０４はステップＳ３０８の処理に戻る。そして、ＣＰＵ１０４はＩＳＯ４００相当の増幅率となるレジスタ値をレジスタ２２０に設定する。その後、ＣＰＵ１０４はステップＳ３０９からＳ３１１の処理を行って、ＩＳＯ４００相当の増幅率における補正データの更新とＩＳＯ４００相当の増幅率における有効画素データの補正が行われる。

さらに、ステップＳ３１１において撮影感度が変更されないと、ＣＰＵ１０４はステップＳ３０８からステップＳ３１１までの処理を繰り返す。この際には、ステップＳ３０８におけるレジスタ２２０に対する設定はＩＳＯ８００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１００、ＩＳＯ１６００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、…の順で、ステップＳ３０６で設定した更新頻度となるように、ＣＰＵ１０４はフレーム毎に増幅率を設定をする。

一方、ステップＳ３１１において、撮影感度が変更されると（ステップＳ３１１において、ＹＥＳ）、ＣＰＵ１０４はステップＳ３０６に進んで、新たに各補正データの更新頻度を決定する。ここでは、撮影感度はＩＳＯ８００に設定されものとする。そして、ＩＳＯ８００、ＩＳＯ４００、およびＩＳＯ１６００相当の増幅率における補正データについては８フレーム中２フレームで更新する更新頻度とし、それ以外の補正データについては８フレーム中１フレームで更新する更新頻度とする。

ＣＰＵ１０４はステップＳ３０７において有効画素増幅率の設定を行った後、ステップＳ３０６において新たに決定された更新頻度に基づいてレジスタ２２０にレジスタ値を設定する（ステップＳ３０８）。ここでは、ＣＰＵ１０４はＩＳＯ４００相当の増幅率となるレジスタ値をレジスタ２２０に設定する。

その後、ＣＰＵ１０４はステップＳ３０９からステップＳ３１１までの処理を行って、ＩＳＯ４００相当の増幅率における補正データの更新と、ＩＳＯ８００相当の増幅率における有効画素データの補正が行われる。

ステップＳ３１１において撮影感度が変更されないと、ＣＰＵ１０４は、ステップＳ３０８においてＩＳＯ８００相当の増幅率となるレジスタ値をレジスタ２２０に設定する。その後、ＣＰＵ１０４はステップＳ３０９からＳ３１１の処理を行って、ＩＳＯ８００相当の増幅率における補正データの更新と、ＩＳＯ８００相当の増幅率における有効画素データの補正が行われる。

このようにして、ステップＳ３１１において撮影感度が変更されないと、ＣＰＵ１０４はステップＳ３０８からステップＳ３１１までの処理を繰り返す。この際には、ステップＳ３０８におけるレジスタ２２０の設定は、ＩＳＯ１６００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００、…の順で、ステップＳ３０６で設定した更新頻度となるように、フレーム毎に行われる。

このようにして、ＲＡＭ１０８に格納された有効画素データ（図１２参照）は、順次画像圧縮部１０９に入力されて、ここで所定の圧縮処理等を受けた後外部記録媒体１１４に記録される。

なお、ステップＳ３１０において撮影が終了したと判定されると、ＣＰＵ１０４は撮影を終了するとともに外部記録媒体１１４に対する記録も終了する。

上述のように、第３の実施形態による撮像装置は、１フレーム中におけるＯＢ画素データを用いて補正データを更新する。この際、各補正データを更新する更新頻度を独立に決定して、当該更新頻度に応じて補正データの更新を行う。

この結果、有効画素データの補正に用いる補正データ又は撮影感度が変更された際に、次に用いられる可能性が高い補正データについては更新頻度を高くすることができ、温度変化等に起因するアンプ特性の変化に対する追従性の高い補正を行うことができる。また、使用可能性が低い補正データについてもアンプ特性変化に対応することができる。

上述した第１〜第３の実施形態では、撮像素子１０１に備えられたアンプ（増幅器）の増幅率を撮影感度に応じて設定する例について説明したが、例えば、ＡＦＥ１０３に備えられた増幅器の増幅率を撮影感度に応じて設定するようにしてもよい。さらに、読み出す画素の変更（画素加算設定・画素間引き設定）等の適切な補正を行うための設定に応じて補正データを変更する必要がある場合に適用することができる。

また、第１〜第３の実施形態では、ＯＢ画素データを用いて補正データを生成するようにしたが、他のデータを用いるようにしてもよい。例えば、フォトダイオード（光電変換素子）が存在しない画素（無効画素）に係るデータ、画素信号以外のデータ等の設定変更によるデータの変化の特性を反映して補正データが生成可能であれば、このようなデータを用いるようにしてもよい。

さらに、第１〜第３の実施形態では、１フレーム中にＯＢ画素データおよび有効画素データの２種類のデータが存在するが、データの種類の数は２つに限定されない。２つ以上の種類のデータが存在すれば、同様にして適用することができる。加えて、増幅率の設定をＯＢ画素と有効画素とによって変更するようにしたが、有効画素信号と同一の増幅率で増幅されたＯＢ画素信号を他の補正処理等で用いるようにしてもよい。画像の所定の位置で増幅率の設定を変える等増幅率の設定領域は任意である。

さらに、第１〜第３の実施形態では、補正データの生成、更新、および画像データ（有効画素データ）の補正は画像水平方向の列毎について行う例について説明したが、この例に限定されない。

また、第１〜第３の実施形態では、撮像素子１０１が２つのレジスタを備えて、ＣＰＵ１０４からの信号によってレジスタを選択するようにしたが、例えば、撮像素子１０１がレジスタを１つだけ有して、ＯＢ画素から有効画素に出力が変わるタイミングで、ＣＰＵ１０４がレジスタにレジスタ値を設定するようにしてもよい。そして、撮像素子１０１が領域判定回路を備えて、レジスタの値を変更する構成でもよい。１フレーム中に複数の領域を有して、当該領域毎に増幅率を独立に設定する構成であれば適用することができる。

また、第２の実施形態では、補正データの数を３つとしたが、複数の補正データを保持するようにすればよい。加えて、撮影感度の変更の際には、フレーム間で新たな補正データ生成を先に行って、補正データの生成が完了した後に更新動作に移行する例について説明したが、補正データの生成および更新の順序は任意である。補正データを更新するフレーム間に、補正データを生成するフレームがあるようにしてもよい。

第３の実施形態において、補正データとして、撮影感度設定可能な全ての増幅率に係る補正データを保持するようにしたが、補正データの数は適宜変更することができる。補正データの更新頻度（設定頻度）を独立に設定できる構成であればよい。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を、撮像に実行させるようにすればよい。また、上述の実施の形態の機能を有する制御プログラムを、撮像装置が備えるコンピュータに実行させるようにしてもよい。

なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 撮像装置
１０１ 撮像素子
１０４ ＣＰＵ
１１０ 画像処理部
１１０ａ〜１１０ｅ ＲＡＭ
１１０ｆ 補正データ生成回路
１１０ｇ 補正データ更新回路
１１０ｈ 補正回路
２１０ アンプ
２２０，２２１ レジスタ

Claims (11)

1. 複数の画素が２次元マトリックス状に配列され、光学像を画像データに変換する撮像素子と、
   互いに異なる複数の撮影感度に対応した複数の補正データを記憶する記憶手段と、
   前記記憶手段に記憶されている現在の撮影感度に対応した補正データを用いて前記画像データを補正する補正手段と、
   複数フレームの画像データを連続して取得する場合に、撮影感度をフレーム毎に異ならせながら各撮影感度に対応した補正データを複数フレームに亘って生成し、前記記憶手段に記憶されている各撮影感度に対応した補正データを更新する更新手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像素子は前記画像データを増幅する増幅手段を備え、
   前記撮影感度に応じて前記増幅手段の増幅率が設定されることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子から出力された前記画像データを増幅する増幅手段を備え、
   前記撮影感度に応じて前記増幅手段の増幅率が設定されることを特徴とする請求項１に記載の撮像装置。
4. 前記記憶手段に記憶される前記複数の補正データは、さらに画素間引き設定に対応したものであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記記憶手段に記憶される前記複数の補正データは、さらに画素加算設定に対応したものであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像素子は、複数の撮影感度に対応したレジスタ値を格納する複数のレジスタ手段と、
   前記撮影感度に応じて前記複数のレジスタのいずれかを選択する選択手段とを有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. さらに、前記撮像素子の遮光された画素の領域から得られる信号に基づいて前記補正データを生成する生成手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. さらに、前記撮像素子の光電変換素子を備えない画素から得られる信号に基づいて前記補正データを生成する生成手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
9. さらに、前記補正データの設定頻度を設定する頻度設定手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 複数の画素が２次元マトリックス状に配列され、光学像を画像データに変換する撮像素子を備える撮像装置を制御するための制御方法であって、
    互いに異なる複数の撮影感度に対応した複数の補正データを記憶手段に記憶する記憶ステップと、
    前記記憶手段に記憶されている現在の撮影感度に対応した補正データを用いて前記画像データを補正する補正ステップと、
    複数フレームの画像データを連続して取得する場合に、撮影感度をフレーム毎に異ならせながら各撮影感度に対応した補正データを複数フレームに亘って生成し、前記記憶手段に記憶されている各撮影感度に対応した補正データを更新する更新ステップと、
    を有することを特徴とする制御方法。
11. 複数の画素が２次元マトリックス状に配列され、光学像を画像データに変換する撮像素子を備える撮像装置を制御するための制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    互いに異なる複数の撮影感度に対応した複数の補正データを記憶手段に記憶する記憶ステップと、
    前記記憶手段に記憶されている現在の撮影感度に対応した補正データを用いて前記画像データを補正する補正ステップと、
    複数フレームの画像データを連続して取得する場合に、撮影感度をフレーム毎に異ならせながら各撮影感度に対応した補正データを複数フレームに亘って生成し、前記記憶手段に記憶されている各撮影感度に対応した補正データを更新する更新ステップと、
    を実行させることを特徴とする制御プログラム。

Images