JP6223166B2 - 画像合成装置、画像合成方法、撮像装置、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像合成装置に関し、特に、連続撮影時の１フレーム期間内に取得した複数の異なる露出の画像を合成する画像合成装置に関する。

特許文献１は、露光量の異なる複数枚の画像（例えば、明るいオーバー露出のＨｉｇｈ画像、適正露出のＭｉｄｄｌｅ画像、暗いアンダー露出のＬｏｗ画像）をＨＤＲ合成（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ｉｍａｇｉｎｇ）する技術に関して開示している。特許文献１のように、露光量の異なる複数枚の画像をＨＤＲ合成することで、広いダイナミックレンジの静止画や動画を生成することができる。

また、特許文献２は、１フレーム期間内に露光量の異なる複数枚の画像を撮影することが可能なイメージセンサを用いてＨＤＲ合成を行う技術に関して開示している。

特開平０６−１４１２２９号公報 特開２０１１−２４４３０９号公報

一方、イメージセンサ（例えば、ＣＭＯＳイメージセンサ）には、垂直信号線上に存在する列アンプのバラツキによる縦線や、画素不良による白点キズなど、様々な固定パターンが発生するという問題がある。

したがって、例えば、特許文献２において、このような縦線や、白点キズなどの固定パターンをリアルタイムに補正する場合は、補正回路を複数（補正する画像枚数の数だけ）設ける必要があり、回路規模が増大するといった問題が生じる。具体的に、例えば、２枚の露出の異なる合成前の画像（Ｌｏｗ画像、Ｈｉｇｈ画像）に対し縦線や白点キズなどの固定パターンの補正を行う場合は、同時に２系統の補正回路が必要となる。

本発明は、上記課題を鑑み、複数の露出の異なる画像に対して固定パターンの補正を行いつつも、回路規模を縮小させることが可能な画像合成装置を提供することを例示的目的とする。

本発明の一側面としての画像合成装置は、第１の露光期間に撮像された第１の画像および前記第１の露光期間を含み前記第１の露光期間より長い第２の露光期間に撮像された第２の画像のうち前記第１の画像を取得する第１の画像取得手段と、前記第１の画像および前記第２の画像のうち前記第２の画像を取得する第２の画像取得手段と、前記第１の画像取得手段により取得された前記第１の画像から第１のパターンを検出、または、前記第２の画像取得手段により取得された前記第２の画像から第２のパターンを検出する検出手段と、前記第１のパターンに基づいて前記第１の画像を補正し、前記第２のパターンに基づいて前記第２の画像を補正する補正手段と、前記補正手段により補正された第１の画像および第２の画像を合成する合成手段と、前記第１の画像取得手段または前記第２の画像取得手段と前記検出手段との接続を切り替える第１の切替手段と、を有することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明の画像合成装置によれば、複数の露出の異なる画像に対して固定パターンの補正を行いつつも、回路規模を縮小させることが可能である。

本発明の第１の実施形態に係る撮像装置の構成を示す図である。 本発明の第１の実施形態に係るイメージセンサを示す図である。 本発明の第１の実施形態に係るイメージセンサの画素部を示す図である。 本発明の第１の実施形態に係るＨＤＲ画像取得時のタイミングチャートである。 本発明の第１の実施形態に係るＨＤＲ画像取得時の垂直走査回路の動作を示したタイミングチャートである。 本発明の第１の実施形態に係る縦線補正の動作を示した模式図である。 本発明の第１の実施形態に係る撮像装置のフローチャートである。 本発明の第１の実施形態に係る縦線補正処理のフローチャートである。 本発明の第１の実施形態に係る縦線補正回路の構成を示す図である。 本発明の第２の実施形態に係る後キズ補正回路の構成を示す図である。 本発明の第２の実施形態に係るキズ検出の動作を示した図である。 本発明の第２の実施形態に係る撮像装置のフローチャートである。 本発明の第３実施形態に係る縦線補正の動作を示した模式図である。 本発明の第３の実施形態に係る縦線補正処理のフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
本発明の撮像装置は、ライブビューモードや動画記録時などの連続撮影時において１フレーム期間中に露光量の異なる複数枚の画像を取得しＨＤＲ合成を行うことが可能である。以下では、このような撮像装置において、該撮像装置の回路規模を縮小するため、あるいは、消費電力を削減するために、補正回路を最小にし、かつ補正精度を維持することが可能な撮像装置の構成について詳細に説明する。

なお、以下の本実施形態においては、露光量の異なる複数枚の画像としてＨｉｇｈ画像とＬｏｗ画像の２種類の画像に対してＨＤＲ合成を行う構成について説明する。しかし、本発明のＨＤＲ合成は、これに限定されず、例えばＭｉｄｄｌｅ画像を含む３種類の画像に対してＨＤＲ合成を行うなど、２以上の種類の画像に対してＨＤＲ合成を行うようにしてもよい。

本実施形態では、補正回路の１例として、固定パターンの一つである縦線を補正する補正回路について説明を行う。

図１は、本実施形態の撮像装置１００の構成例を示す図である。図１に示す撮像装置は、レンズ１０１、イメージセンサ１０２、映像信号処理部１０３、表示部１０４、レンズ駆動制御部１０５、フレームメモリ１０６、システム制御部１０７、外部入出力端子部１０８、操作部１０９、記憶部１１０、電源部１１１を備える。なお、図１では、撮像装置本体（カメラ本体）とレンズ装置（撮像光学系）とが一体となった一体型の撮像装置を示しているが、本発明はこれに限定されず、レンズ装置が撮像装置本体に対して交換可能（着脱可能）な撮像システムにも適用可能である。

レンズ１０１は撮像光学系を構成するレンズ群である。レンズ１０１内には、図示していない、フォーカスレンズや、絞り、シャッターなどが含まれている。

レンズ駆動制御部１０５は、システム制御部１０７から算出された値を基に、レンズ１０１に含まれるフォーカスレンズや、絞り、シャッターを駆動制御する機能を有する。

レンズ１０１を通ってきた光は、ＣＭＯＳイメージセンサ等で構成されたイメージセンサ１０２の結像面上に被写体の光学像として結像される。

イメージセンサ１０２（撮像素子）は、結像された光をアナログの電気信号に変換する画素部と、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等を含んでいる。

映像信号処理部１０３は、イメージセンサ１０２より入力されるＨＤＲ処理前のＨｉｇｈ画像信号とＬｏｗ画像信号に対して、後述する補正用のパラメータ生成や、縦線補正処理およびＨＤＲ処理などの画像信号補正処理を行う。このように、本発明における映像信号処理部１０３は、画像合成装置（画像処理装置）としての機能を有する。映像信号処理部１０３についての詳細な動作の説明は後述する。

フレームメモリ１０６は、映像信号処理部１０３に入力された画像データを記録する記録部である。

フレームメモリ１０６に記録された画像データに対して、映像信号処理部１０３は所定の処理を施してＨＤＲ画像を生成し、表示部１０４に表示可能な画像信号として出力する。

映像信号処理部１０３で処理された画像信号（映像信号）は、イメージセンサ１０２から出力された動画のフレーム毎或いは所定数のフレーム毎の映像信号である。

システム制御部１０７は撮像装置１００のシステム全体を制御する。具体的には、システム制御部１０７は、撮像光学系の各々が備えるレンズ駆動制御部１０５、イメージセンサ１０２、映像信号処理部１０３の処理を制御する。また、システム制御部１０７は、表示部１０４、外部入出力端子部１０８、操作部１０９、記憶部１１０、電源部１１１を制御する。

システム制御部１０７は、システム制御部１０７の内部に有って不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により解釈及び実行されるプログラムに従って処理を実行する。

図２は、本発明の一実施形態に係るイメージセンサ１０２において、例えばＣＭＯＳイメージセンサの構成例を示す図である。イメージセンサ１０２は、光電変換素子（光電変換部）を含む単位画素（以下、単に「画素」と記す場合もある）２００が行列状（マトリクス状）に２次元配置されてなる画素アレイ部２０１を有する。

また、イメージセンサ１０２は、画素アレイ部２０１の周辺回路として、例えば、垂直走査部２０２、列信号処理回路２０３、列選択回路２０４、水平走査部２０５等を有する構成となっている。

画素アレイ部２０１には、単位画素２００が行列状に２次元配置されている。

単位画素２００は、列ごとに垂直信号線２０６が配線され、ラインごとに駆動制御線、例えばリセット制御線ＲＳＴ２０７と転送制御線ＴＲＳ２０８および選択制御線ＳＥＬ２０９が配線されている。

図３に、単位画素２００の回路構成例を示す。

単位画素２００は、光電変換素子（例えば、フォトダイオード）３００に加えて、四つのトランジスタ（例えば転送トランジスタ３０１、リセットトランジスタ３０２、増幅トランジスタ３０３及び選択トランジスタ３０４）を有する画素構成となっている。

転送トランジスタ３０１は、フォトダイオード３００のカソード電極と電荷電圧変換部であるフローティングディフュージョン３０５との間に接続されている。

また、転送トランジスタ３０１のゲート電極は、転送制御線ＴＲＳ２０８に接続されている。

転送トランジスタ３０１は、フォトダイオード３００で光電変換が行われたことにより蓄積された信号電荷を、ゲート電極（制御電極）に転送パルスが与えられることによってフローティングディフュージョン３０５に転送する。

リセットトランジスタ３０２は、画素電源ＶＤＤにドレイン電極が、フローティングディフュージョン３０５にソース電極がそれぞれ接続されている。また、リセットトランジスタ３０２のゲート電極は、リセット制御線ＲＳＴ２０７に接続されている。

リセットトランジスタ３０２は、フォトダイオード３００からフローティングディフュージョン３０５への信号電荷の転送に先立って、ゲート電極にリセットパルスが与えられることによってフローティングディフュージョン３０５の電位を所定電位にリセットする。

増幅トランジスタ３０３は、フローティングディフュージョン３０５にゲート電極が、画素電源ＶＤＤにドレイン電極がそれぞれ接続されている。増幅トランジスタ３０３は、リセットトランジスタ３０２によってリセットされた後のフローティングディフュージョン３０５の電位をリセットレベルとして出力する。

さらに、増幅トランジスタ３０３は、転送トランジスタ３０１によって信号電荷が転送されたあとのフローティングディフュージョン３０５の電位を信号レベルとして出力する。

選択トランジスタ３０４は、例えば、ドレイン電極が増幅トランジスタ３０３のソース電極に、ソース電極が垂直信号線２０６にそれぞれ接続されている。

また、選択トランジスタ３０４のゲート電極は、選択制御線ＳＥＬ２０９に接続されている。選択トランジスタ３０４は、ゲート電極に選択パルスが与えられることによってオン状態となり、単位画素２００を選択状態として増幅トランジスタ３０３から出力される電気信号を垂直信号線２０６に出力する。

なお、選択トランジスタ３０４については、画素電源ＶＤＤと増幅トランジスタ３０３のドレイン電極との間に接続した構成とすることも可能である。

また、画素回路としては、上述した４トランジスタの構成に限られるものではなく、選択トランジスタ３０４を省略し、増幅トランジスタ３０３を選択トランジスタ３０４として兼用する３トランジスタの構成であってもよい。

さらに、増幅トランジスタ３０３を複数の単位画素間で共有する構成などであってもよい。

図２に示す垂直走査部２０２は、ライン選択回路とドライバ回路（不図示）を備えている。

ライン選択回路は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。

ライン選択回路は、システム制御部１０７によって制御されるドライバ回路の制御により、画素アレイ部２０１の各単位画素２００をライン単位で垂直走査するための転送パルス、リセットパルスおよび選択パルス等の画素駆動パルスを発生する。

ドライバ回路は、ライン選択回路による垂直走査に同期して、単位画素２００の各トランジスタ３０１，３０２，３０４をＯＮ／ＯＦＦするための所定電圧とされた転送パルス、リセットパルスおよび選択パルスを単位画素２００に供給する。

また、ドライバ回路は、垂直走査に同期して、単位画素２００の各トランジスタ３０１，３０２，３０４をＯＮ／ＯＦＦするための電圧の中間的な電圧の転送パルスを単位画素２００に供給する処理も可能とされている。

列信号処理回路２０３は、画素アレイ部２０１の各列に対して単一に配されている。

列信号処理回路２０３は、垂直走査によって選択された読み出しラインの各単位画素２００から垂直信号線２０６を通して出力される電気信号に対して所定の信号処理を行い、読み出された信号電荷に応じた画素信号を生成して一時的に保持する。

例えば、列信号処理回路２０３は、信号処理としてＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）処理を行う。ＣＤＳ処理を行うことによって、リセットノイズや増幅トランジスタ３０３のキズ閾値ばらつき等の画素固有の固定パターンノイズを低減させる。

また、列信号処理回路２０３は、アナログ信号をデジタル信号に変換するＡＤ変換処理等も行う。

列選択回路２０４は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。

列選択回路２０４は、画素アレイ部２０１の画素列ごとの水平走査を行い、列信号処理回路２０３に一時的に保持されている画素信号を、水平走査順に水平走査部２０５で読み出させる。

水平走査部２０５は、水平選択スイッチ等によって構成されており、列信号処理回路２０３に一時的に保持されている画素信号を、列選択回路２０４による水平走査によって画素列ごとに順次読み出して、ライン単位で画像信号の出力を行う。

システム制御部１０７の走査制御部は、垂直走査部２０２や列選択回路２０４の動作を制御して、画素アレイ部２０１の単位画素２００をライン単位で垂直方向に走査する。また垂直走査によって読み出された各画素の信号を水平走査によって出力させる。

以上のように、イメージセンサ１０２は様々な回路ブロックで構成されているため、製造上のばらつきが多く、さまざまな固定パターンが発生する。

固定パターンノイズの一つである縦線に関して、列信号処理回路２０３で行うＣＤＳ処理においてある程度の除去は可能であるが、温度やランダムノイズの影響を受け、完全には除去できない場合があるため、後段の信号処理回路１０３にて別途補正が必要となる。

本実施形態では、図２に示すように、ライン毎に、高感度露光用のＥｖｅｎラインと低感度露光用のＯｄｄラインを設定し、画素アレイ部２０１を走査する。

一般に、イメージセンサでは、ベイヤー方式と呼ばれるＲ，Ｇ，Ｂのカラーフィルタ配列が用いられており、本実施形態においても１例としてこのベイヤー配列を採用している。

また、一部の周辺画素は、遮光された画素であり、オプティカルブラック画素（以下ＯＢ）とする。

ベイヤー配列されたイメージセンサ１０２では、Ｒ，Ｇからなるライン１本とＧ，Ｂからなるライン１本を合わせた２本のラインで１組とすることができる。よって、本実施形態では、図２に示すようにベイヤー配列の２本のラインごとに、低感度露光用のライン（Ｌｎ，Ｌｎ＋１）を１組、高感度露光用のライン（Ｈｎ，Ｈｎ＋１）を１組というように対応させる。

本実施形態では、図２に示すように、低感度露光用のライン（Ｌｎ，Ｌｎ＋１）と高感度露光用のライン（Ｈｎ，Ｈｎ＋１）は、隣り合う。

次に、本実施形態において、ライブビューモードや、動画モードなど連続して撮影を行うモードにおいて、１フレーム期間内に２枚の露光量の異なる画像を取得し、ＨＤＲ合成を行うことについて、図４を用いて詳細に説明する。

図４は、本発明の第１の実施形態における、撮像装置を用いてＨＤＲ画像を取得する際のタイミングチャートである。

本撮像装置のライブビューモードや、動画モード時のフレームレートは説明のため６０ｆｐｓとして説明する。

システム制御部１０７が生成する１／６０ｓ毎の垂直同期信号によって、１フレーム期間（１垂直同期期間）毎に撮影動作が行われる。

本実施形態においては、システム制御部１０７によって設定された条件で、１フレーム期間内に、Ｌｏｗ画像４０１とＨｉｇｈ画像４０２の撮影の露光動作を同時に行っていく。

例えば、Ｌｏｗ画像は、適正露出Ｅｖ（０）から−１段暗くした低露出Ｅｖ（Ｌ）画像とし、Ｈｉｇｈ画像は適正露出Ｅｖ（０）から＋１段明るくした高露出Ｅｖ（Ｈ）画像とする。

１フレーム期間内で取得されたＬｏｗ画像４０１とＨｉｇｈ画像４０２は、フレームメモリ１０６に一時的に記憶され、Ｌｏｗ画像とＨｉｇｈ画像がそろったところで、映像信号処理部１０３が両画像を合成し、画像合成ＨＤＲ画像４０３を作成する。

また、Ｌｏｗ画像用縦線検出信号がＯＮとなる期間４０４では、Ｌｏｗ画像から縦線を検出し、Ｈｉｇｈ画像用縦線検出信号がＯＮとなる期間４０５では、Ｈｉｇｈ画像から縦線を検出する。

さらに、Ｌｏｗ、Ｈｉｇｈ画像縦線補正信号がＯＮとなる期間４０６では、Ｌｏｗ画像用縦線検出期間４０４で検出されたＬｏｗ画像の縦線検出結果を基にＬｏｗ画像を補正する。また、１フレーム前のＨｉｇｈ画像用縦線検出期間４０５で検出されたＨｉｇｈ画像の縦線検出結果を基にＨｉｇｈ画像を補正する。

また、Ｌｏｗ、Ｈｉｇｈ画像縦線補正信号がＯＮとなる期間４０７では、ｈｉｇｈ画像用縦線検出期間４０５で検出されたＨｉｇｈ画像の縦線検出結果を基にＨｉｇｈ画像を補正する。また、１フレーム前のＬｏｗ画像用縦線検出期間４０４で検出されたＬｏｗ画像の縦線検出結果を基にＬｏｗ画像を補正する。

図５は本実施形態におけるＨＤＲ画像を生成するための各画像を取得する際の垂直走査部２０２から生成される信号を示したタイミングチャートである。

低感度露光に対応するＯｄｄラインＬｎのリセット制御線をＲＳＴ＿Ｌｎとし、転送制御線をＴＲＳ＿Ｌｎとする。高感度露光に対応するＥｖｅｎラインＨｎのリセット制御線をＲＳＴ＿Ｈｎとし、転送制御線をＴＲＳ＿Ｈｎとする。

転送制御線ＴＲＳ信号およびリセット制御ＲＳＴ信号が同時に立ち上がることによって、フォトダイオード３００の電荷がリセットされ露光が開始される。

この動作はシステム制御部１０７によって設定された条件で、各行に対して所定の順番で順次行われる。

露光開始後、Ｌｏｗ画像用のＯｄｄラインにおいて、Ｌｏｗ画像取得用の露光時間（第１の露光期間）経過後に、ｏｄｄライン用のＴＲＳ＿Ｌｎ信号が順次立ち上がる。ＴＲＳ＿Ｌｎ信号が立ち上がることによって、フォトダイオード３００の電荷を選択トランジスタ３０４に読みだし、列選択回路２０４を通して出力させて、Ｌｏｗ画像（第１の画像）を取得する。

また、露光開始後、Ｈｉｇｈ画像用のＥｖｅｎラインにおいて、Ｈｉｇｈ画像取得用の露光時間（第１の露光期間より長い第２の露光期間）経過後に、ＴＲＳ＿Ｈｎ信号が順次立ち上がる。ＴＲＳ＿Ｈｎ信号が立ち上がることによって、フォトダイオード３００の電荷を選択トランジスタ３０４に読みだし、列走査回路２０４を通して出力させて、Ｈｉｇｈ画像（第２の画像）を取得する。

次に縦線検出に関して、図６を用いて説明する。

図６は、第１の実施形態における動画中ＨＤＲの動作を行いながら、縦線補正を行う際の動作を表す模式図である。図６において、６０１は縦線補正前のＬｏｗ画像であり、６０２はＬｏｗ画像の縦線検出用画像であり、６０３は縦線補正前のＨｉｇｈ画像であり、６０４はＨｉｇｈ画像の縦線検出用画像であり、６０５はＨＤＲ合成画像である。なお、以下では、Ｌｏｗ画像６０１およびＬｏｗ画像の縦線検出用画像６０２をまとめてＬｏｗ画像（第１の画像）と記す場合もある。また、Ｈｉｇｈ画像６０３およびＨｉｇｈ画像の縦線検出用画像６０４をまとめてＨｉｇｈ画像（第２の画像）と記す場合もある。

また、ここで、縦線検出用画像とは、上述の遮光された画素（ＯＢ画素）から取得される遮光画像、もしくはフォトダイオードの電荷を読みださず、垂直信号線２０６を空転送させた際に取得でき、縦線検出に使用する画像のことである。

６０６は、Ｌｏｗ画像の縦線検出用画像６０２で検出される縦線検出結果を更新せずに同じ結果（すなわち、前回取得したＬｏｗ画像の縦線検出用画像から得られた縦線検出結果）を用いて補正することを示している。

６０７は、Ｈｉｇｈ画像の縦線検出用画像６０４で検出される縦線検出結果を更新せずに同じ結果（すなわち、前回取得したＨｉｇｈ画像の縦線検出用画像から得られた縦線検出結果）を用いて補正することを示している。

同フレーム内のＬｏｗ画像６０１およびＬｏｗ画像の縦線検出用画像６０２は同じレベルの縦線が発生しており、同フレーム内のＨｉｇｈ画像６０３およびＨｉｇｈ画像の縦線検出用画像６０４は同じレベルの縦線が発生している。

ここで、Ｎフレーム目の動作では、Ｈｉｇｈ画像の縦線検出用画像６０４（第２の画像）からＨｉｇｈ画像に発生する縦線成分（第２のパターン）を検出する。ここで縦線成分は、各列を垂直方向に積分することで検出する。

そして、この縦線検出結果を用いて、Ｈｉｇｈ画像６０３から縦線成分を減算する。

Ｌｏｗ画像の縦線検出結果は、Ｎ−１フレーム目にて取得（前回取得）したＬｏｗ画像の縦線検出用画像６０２を用いて前回検出された縦線検出結果６０６を用いて、Ｎフレーム目のＬｏｗ画像６０１から縦線成分を減算する。

そして縦線成分を減算された、補正後のＬｏｗ画像と、補正後のＨｉｇｈ画像を合成してＨＤＲ合成画像６０５を生成する。

Ｎ＋１フレーム目の動作では、Ｌｏｗ画像の縦線検出用画像６０８（第１の画像）からＬｏｗ画像に発生する縦線成分（第１のパターン）を検出する。

そして、この縦線検出結果を用いて、Ｌｏｗ画像６０１から縦線成分を減算する。

Ｈｉｇｈ画像の縦線検出結果は、Ｎフレーム目にて取得（前回取得）したＨｉｇｈ画像の縦線検出用画像６０４を用いて前回検出された縦線検出結果６０７を用いて、Ｎ＋１フレーム目のＨｉｇｈ画像６０３から縦線成分を減算する。

縦線成分を減算された、補正後のＬｏｗ画像と、補正後のＨｉｇｈ画像を合成してＮ＋１フレーム目のＨＤＲ合成画像６０５を生成する。

次に本実施形態にかかわる撮像装置の動作を、図７のフローチャートを用いて詳細に説明する。

ユーザーにより、電源がＯＮ（Ｓ７０１）され、各種初期設定（Ｓ７０２）を行った後、ライブビューモードや動画記録などの動作モードに移行し、撮影が開始される(Ｓ７０３)。
まず、システム制御部１０７にてＨＤＲ合成を行う際に必要な露出条件、すなわちＨｉｇｈ画像用露出(以下、ＥｖＨ)及びＬｏｗ画像用露出(以下、ＥｖＬ)を算出する(Ｓ７０４)。

Ｓ７０５ではＳ７０４で算出された露出条件ＥｖＨ，ＥｖＬを基にイメージセンサ１０２において、ｏｄｄ／ｅｖｅｎラインで異なる露出条件で撮影を行い、１フレーム期間中にＨｉｇｈ画像とＬｏｗ画像を取得する。

Ｓ７０６では、Ｓ７０５で取得されたＨｉｇｈ画像とＬｏｗ画像のそれぞれに対して縦線補正処理を行う、補正した画像はフレームメモリ１０６へ保存する。

Ｓ７０７では、映像信号処理部１０３（合成手段）において、Ｓ７０６で縦線補正処理をされた、Ｈｉｇｈ画像とＬｏｗ画像に対してＨＤＲ合成を行い、ＨＤＲ画像を生成する。

Ｓ７０８では、映像信号処理部１０３によって、Ｓ７０７で生成されたＨＤＲ画像の現像処理を行い、記憶部１１０への動画記録や、表示部１０４のライブビュー表示などを行う。

Ｓ７０９において、引き続き撮影動作が続いている場合はＳ７０４へ進み、撮影を続ける。一方、Ｓ７０９において、撮影が終了した場合は、Ｓ７１０へ進み、本フローを終了する。

次にＳ７０６における縦線補正処理について、図８のフローチャートを用いて詳細に説明する。

図９には、映像信号処理部１０３の一部である、縦線補正回路の構成を示している。

イメージセンサ１０２からは、Ｌｏｗ画像出力信号線９０１（第１の画像取得手段）、Ｈｉｇｈ画像出力信号線９０２（第２の画像取得手段）がそれぞれスイッチ９０３と、減算部９０８、９０９に接続されている。

スイッチ９０３（第１の切替手段）は、Ｌｏｗ画像出力信号線９０１またはＨｉｇｈ画像出力信号線９０２と、縦線補正値検出部９０４と、を接続する（接続を切り替える）スイッチである。

縦線補正値検出部９０４（検出手段）は、スイッチ９０３がＬｏｗ画像出力信号線９０１と縦線補正値検出部９０４とを接続しているときは、Ｌｏｗ画像の縦線検出用画像からＬｏｗ画像に発生する縦線成分を検出する。また、スイッチ９０３がＨｉｇｈ画像出力信号線９０２と縦線補正値検出部９０４とを接続しているときは、Ｈｉｇｈ画像の縦線検出用画像からＨｉｇｈ画像に発生する縦線成分を検出する。そして、Ｌｏｗ画像またはＨｉｇｈ画像に応じた縦線検出信号から、列ごとにライン積分を行い各列単位で補正値を算出する。

ここで、縦線検出信号とは、遮光画像信号、もしくはフォトダイオードの電荷を読みださず、垂直信号線２０６を空転送させた空転送信号のことである。

スイッチ９０５（第２の切替手段）は、縦線補正値検出部９０４から、メモリ＿Ｌ９０６または、メモリ＿Ｈ９０７へ接続する（接続を切り替える）スイッチである。スイッチ９０５は、スイッチ９０３と連動して動作する。

メモリ＿Ｌ９０６（第１の記憶手段）は、Ｌｏｗ画像用の縦線補正値（第１のパターンに応じたデータ）を保存する領域を設けており、縦線補正値検出部９０４によって算出された補正値を保存(更新)する。

メモリ＿Ｈ９０７（第２の記憶手段）は、Ｈｉｇｈ画像用の縦線補正値（第２のパターンに応じたデータ）を保存する領域を設けており、縦線補正値検出部９０４によって算出された補正値を保存(更新)する。

このとき、フレームごとに、スイッチ９０３にて選択され縦線補正値検出部９０４で縦線補正値が検出される画像に対する補正値をスイッチ９０５で選択されたメモリに更新していく。

減算部９０８（補正手段）は、イメージセンサ１０２から出力されるＬｏｗ画像信号とメモリ＿Ｌ９０６に保存（更新）されたＬｏｗ画像用の補正値とを減算する。

減算部９０９（補正手段）は、イメージセンサ１０２から出力されるＨｉｇｈ画像信号とメモリ＿Ｈ９０７に保存（更新）されたＨｉｇｈ画像用の補正値とを減算する。

減算部９０８，９０９において縦線成分を減算されたＬｏｗ画像とＨｉｇｈ画像はフレームメモリ１０６に保存される。

引き続き図８に記載のフローチャートについて説明する。

図７のＳ７０６にて縦線補正処理が開始されると（Ｓ８０１）、システム制御部１０７において縦線を検出する画像が選択される。すなわち、システム制御部１０７は、現在のフレームにおいて、Ｌｏｗ画像の縦線を検出するのかＨｉｇｈ画像の縦線を検出するのかを選択する。

縦線検出画像がＬｏｗ（Ｓ８０２においてＹｅｓ）の場合、Ｌｏｗ画像用縦線検出信号が立ち上がり、スイッチ９０３は、Ｌｏｗ画像出力信号線９０１側に、スイッチ９０５はメモリ＿Ｌ９０６側に接続される。そして、Ｓ８０３へと進む。

Ｓ８０３では、縦線補正値検出部９０４において、Ｌｏｗ画像の縦線検出信号から縦線補正値を算出する。そして、Ｓ８０４では、メモリ＿Ｌ９０６内のＬｏｗ画像縦線補正値の更新を行う。

次に、縦線検出画像がＨｉｇｈ（Ｓ８０２においてＮｏ）の場合、Ｈｉｇｈ画像用縦線検出信号が立ち上がり、スイッチ９０３は、Ｈｉｇｈ画像出力信号線９０２側に、スイッチ９０５はメモリ＿Ｈ９０７側に接続される。そして、Ｓ８０５へと進む。ここで、スイッチ９０３の位置がＳ８０２のＹｅｓの位置であった場合は、上記のようにスイッチ９０３は、Ｈｉｇｈ画像出力信号線９０２側に切り替える。換言すれば、スイッチ９０３は、縦線補正値検出部９０４への接続先を、Ｌｏｗ画像出力信号線９０１およびＨｉｇｈ画像出力信号線９０２のうち一方から他方に切り替えることができる。スイッチ９０５についても同様である。

Ｓ８０５では、縦線補正値検出部９０４において、Ｈｉｇｈ画像の縦線検出信号から縦線補正値を算出する。具体的には、スイッチ９０３により縦線補正値検出部９０４と接続されたＨｉｇｈ画像出力信号線９０２（他方の画像取得手段）により取得されたＨｉｇｈ画像から縦線成分を検出する。また、検出した縦線検出信号から縦線補正値を算出する。そして、Ｓ８０６では、メモリ＿Ｈ９０７のＨｉｇｈ画像縦線補正値の更新を行う。

Ｓ８０７では、Ｌｏｗ、Ｈｉｇｈ画像用縦線補正信号が立ち上がり、メモリ＿Ｌ９０６に保存されたＬｏｗ画像縦線補正値およびメモリ＿Ｈ９０７に保存されたＨｉｇｈ画像縦線補正値に基づいて縦線補正処理が行われる。具体的には、減算部９０８，９０９にて、メモリ＿Ｌ９０６に保存されたＬｏｗ画像縦線補正値およびメモリ＿Ｈ９０７に保存されたＨｉｇｈ画像縦線補正値を基に、Ｌｏｗ画像、Ｈｉｇｈ画像それぞれに対して補正（減算）処理される。更に詳細に説明すると、現在スイッチ９０３の位置がＳ８０２のＮｏの位置である場合、リアルタイムでＳ８０５により検出された縦線成分（縦線補正値）はＳ８０６でメモリ＿Ｈ９０７に保存されている。Ｓ７０５で取得された現在のＨｉｇｈ画像（第１の取得画像）はこのメモリ＿Ｈ９０７に保存された縦線補正値を基に補正処理される。一方、Ｓ８０２のＮｏにより接続先が切り替えられる前にＬｏｗ画像出力信号線９０１（一方の画像取得手段）により取得されたＬｏｗ画像（第２の取得画像）は、Ｓ８０３で縦線成分（縦線補正値）が検出されている。この縦線補正値は、以前（前回）のＳ８０４でメモリ＿Ｌ９０６に保存されている。Ｓ７０５で取得された現在のＬｏｗ画像（第３の取得画像）はこのメモリ＿Ｌ９０６に保存された縦線補正値を基に補正処理される。

縦線補正処理後のＬｏｗ画像およびＨｉｇｈ画像はフレームメモリ１０６に保存され補正動作を終了する（Ｓ８０８）。

このように、連続撮影時に１フレーム期間中に異なる露出の複数枚画像を取得しＨＤＲ合成を行う撮像装置において、リアルタイムに縦線補正を行う場合、フレーム間で検出回路を共有することによって、回路規模の削減や、消費電力の削減が可能となる。換言すれば、縦線を検出する検出回路を複数の異なる露出の画像の間で共有することで、検出回路の数を複数の異なる露出の画像の数よりも少なくすることができ、回路規模の削減や、消費電力の削減が可能となる。

また、第１の実施形態では、縦線検出を１フレームごとに交互に切り替える説明を行ったが、これに限定されず、数フレーム毎に切り替えてもよい。また、Ｈｉｇｈ画像と、Ｌｏｗ画像で切り替えるフレーム数に重みをつけてもよい。例えば、Ｈｉｇｈ画像の方が蓄積時間や、感度（ゲイン）の設定が高くなるためノイズの影響を受けやすい。そのため、Ｈｉｇｈ画像の検出は２フレーム後に切り替え、Ｌｏｗ画像は１フレーム後に切り替え等設定しても構わない。

第１の実施形態では、縦線検出用の画像信号をＬｏｗ画像または、Ｈｉｇｈ画像を読みだした後に、読みだす構成で説明したが、これに限定されず、Ｌｏｗ画像、Ｈｉｇｈ画像を読みだす前に縦線検出用の画像信号を読み出しても構わない。
＜第２の実施形態＞
第１の実施形態では、固定パターンノイズの一つである縦線の補正について説明を行ったが、ＣＭＯＳイメージセンサには、その他の固定パターンノイズとして白点キズがある。

通常、白点キズは製品の出荷時の調整時などで予め検出しておき、通常ユーザーが使用する際は、補正されており、白点キズとして見えないようになっている。

しかしながら、集荷後の様々な外的要因（例えば静電気など）によって、画素部が破壊され白点キズが発生する場合がある。これを後キズと呼ぶ。

第２の実施形態では、連続撮影時（ライブビューモードや動画記録時）に１フレーム期間中に異なる露出の複数枚画像を取得しＨＤＲ合成を行う撮像装置において、後キズをリアルタイムに検出し補正する構成について説明を行う。

図１０には、図１の映像信号処理部１０３の一部である、後キズ補正回路の構成を示している。

イメージセンサ１０２からは、Ｌｏｗ画像出力信号線９０１（第１の画像取得手段）、Ｈｉｇｈ画像出力信号線９０２（第２の画像取得手段）がそれぞれスイッチ１００１と、画素補間処理部＿Ｌ１００６、画素補間処理部＿Ｈ１００７に接続されている。

スイッチ１００１（第１の切替手段）は、Ｌｏｗ画像出力信号線９０１またはＨｉｇｈ画像出力信号線９０２と、後キズ検出部１００２と、を接続する（接続を切り替える）スイッチである。

後キズ検出部１００２（検出手段）は、スイッチ１００１がＬｏｗ画像出力信号線９０１と後キズ検出部１００２とを接続しているときは、Ｌｏｗ画像から有効画素領域内に対してキズ（第１のパターン）を検出する。また、スイッチ１００１がＨｉｇｈ画像出力信号線９０２と後キズ検出部１００２とを接続しているときは、Ｈｉｇｈ画像から有効画素領域内に対してキズ（第２のパターン）を検出する。そして、Ｌｏｗ画像またはＨｉｇｈ画像からキズアドレスを抽出する。

ここで、後キズ検出について、図１１を用いて説明する。

Ｌｏｗ画像、Ｈｉｇｈ画像は第１の実施形態にて説明したとおり、ベイヤー配列された画素信号で出力される。

後キズ検出部１００２はベイヤー出力された画素信号に対して、色別に後キズを検出する。

例えば、図１１（ａ）は、Ｒ画素に対する後キズ検出を説明する図であり、中心のＲ画素が検出画素とすると、周囲同色４つのＲ画素のメディアン値との差分が、Ｒ画素キズ閾値のＲｘより大きい場合は後キズと判定する。

図１１（ｂ）は、Ｇｒ画素に対する後キズ検出を説明する図であり、中心のＧｒ画素が検出画素とすると、周囲同色４つのＧｒ画素のメディアン値との差分が、Ｇｒ画素キズ閾値のＧｒｘより大きい場合は後キズと判定する。

図１１（ｃ）は、Ｂ画素に対する後キズ検出を説明する図であり、中心のＢ画素が検出画素とすると、周囲同色４つのＢ画素のメディアン値との差分が、Ｂ画素キズ閾値のＢｘより大きい場合は後キズと判定する。

図１１（ｄ）は、Ｇｂ画素に対する後キズ検出を説明する図であり、中心のＧｂ画素が検出画素とすると、周囲同色４つのＧｂ画素のメディアン値との差分が、Ｇｂ画素キズ閾値のＧｂｘより大きい場合は後キズと判定する。

ここで各色画素キズ閾値Ｒｘ，Ｇｒｘ，Ｂｘ，Ｇｂｘは、あらかじめ撮像装置の設計の際又は撮像装置の調整の際にシステム制御部１０７に記録されるキズと判定するためのパラメータである。

スイッチ１００３（第２の切替手段）は、後キズ検出部１００２から、メモリ＿Ｌ１００４または、メモリ＿Ｈ１００５へ接続する（接続を切り替える）スイッチである。スイッチ１００３は、スイッチ１００１と連動して動作する。

メモリ＿Ｌ１００４（第１の記憶手段）は、Ｌｏｗ画像用のキズ検出アドレス（第１のパターンに応じたデータ）を保存する領域を設けており、後キズ検出部１００２によって検出されたキズアドレスを保存(更新)する。

メモリ＿Ｈ１００５（第２の記憶手段）は、Ｈｉｇｈ画像用のキズ検出アドレス（第２のパターンに応じたデータ）を保存する領域を設けており、後キズ検出部１００２によって検出されたキズアドレスを保存(更新)する。

画素補間処理部＿Ｌ１００６（補正手段）は、メモリ＿Ｌ１００４に保存されているＬｏｗ画像用のキズ検出アドレスに対して画素補間処理を行い、処理後の画像をフレームメモリ１０６に保存する。画素補間処理部＿Ｈ１００７（補正手段）は、Ｈｉｇｈ画像用のキズ検出アドレスに対して画素補間処理を行い、処理後の画像をフレームメモリ１０６に保存する。

画素補間処理は、キズアドレスに対して、図１１に示すような周辺同色４画素のメディアン値や、平均値などで置き換える。

第２の実施形態における撮像装置の詳細な動作を図１２（ａ）のフローチャートを用いて説明する。

第１の実施形態（図７）と同等な動作の箇所に関しては同じステップ番号を付し、説明を省略する。

Ｓ７０５にてＬｏｗ画像とＨｉｇｈ画像が取得されると、Ｓ１２００にて後キズ処理が開始される。

ここで、Ｓ１２００の後キズ処理について図１２（ｂ）を用いて詳細に説明する。

後キズ処理がスタート（Ｓ１２０１）すると、システム制御部１０７において後キズを検出する画像が選択される。すなわち、システム制御部１０７は、現在のフレームにおいて、Ｌｏｗ画像の後キズを検出するのかＨｉｇｈ画像の後キズを検出するのかを選択する。

後キズ検出画像がＬｏｗ（Ｓ１２０２においてＹｅｓ）の場合、スイッチ１００１は、Ｌｏｗ画像出力信号線９０１側に、スイッチ１００３はメモリ＿Ｌ１００４側に接続される。そして、Ｓ１２０３へと進む。

Ｓ１２０３では、後キズ検出部１００２において、Ｌｏｗ画像の各画素から後キズを検出する。そして、Ｓ１２０４では、メモリ＿Ｌ１００４内のＬｏｗ画像用後キズアドレスの更新を行う。

次に、後キズ検出画像がＨｉｇｈ（Ｓ１２０２においてＮｏ）の場合、スイッチ１００１は、Ｈｉｇｈ画像出力信号線９０２側に、スイッチ１００３はメモリ＿Ｈ１００５側に接続される。そして、Ｓ１２０５へと進む。ここで、スイッチ１００１の位置がＳ１２０２のＹｅｓの位置であった場合は、上記のようにスイッチ１００１は、Ｈｉｇｈ画像出力信号線９０２側に切り替える。換言すれば、スイッチ１００１は、後キズ検出部１００２への接続先を、Ｌｏｗ画像出力信号線９０１およびＨｉｇｈ画像出力信号線９０２のうち一方から他方に切り替えることができる。スイッチ１００３についても同様である。

Ｓ１２０５では、後キズ検出部１００２において、Ｈｉｇｈ画像の各画素から後キズを検出する。具体的には、スイッチ１００１により後キズ検出部１００２と接続されたＨｉｇｈ画像出力信号線９０２（他方の画像取得手段）により取得されたＨｉｇｈ画像から後キズを検出する。そして、Ｓ１２０６では、メモリ＿Ｈ１００５内のＨｉｇｈ画像用後キズアドレスの更新を行う。

Ｓ１２０７では、メモリ＿Ｌ１００４に保存されたＬｏｗ画像用後キズアドレスおよびメモリ＿Ｈ１００５に保存されたＨｉｇｈ画像用後キズアドレスに基づいて画素補間処理が行われる。具体的には、画素補間処理部＿Ｌ１００６にてメモリ＿Ｌ１００４に保存されたＬｏｗ画像用後キズアドレスを基に、Ｌｏｗ画像に対して画素補間処理が行われる。また、画素補間処理部＿Ｈ１００７にてメモリ＿Ｈ１００５に保存されたＨｉｇｈ画像用後キズアドレスを基に、Ｈｉｇｈ画像に対して画素補間処理が行われる。更に詳細に説明すると、現在スイッチ１００１の位置がＳ１２０２のＮｏの位置である場合、リアルタイムでＳ１２０５により検出された後キズ（後キズアドレス）はＳ１２０６でメモリ＿Ｈ１００５に保存されている。Ｓ７０５で取得された現在のＨｉｇｈ画像（第１の取得画像）はこのメモリ＿Ｈ１００５に保存された後キズアドレスを基に補間処理される。一方、Ｓ１２０２のＮｏにより接続先が切り替えられる前にＬｏｗ画像出力信号線９０１（一方の画像取得手段）により取得されたＬｏｗ画像（第２の取得画像）は、Ｓ１２０３で後キズ（後キズアドレス）が検出されている。この後キズアドレスは、以前（前回）のＳ１２０４でメモリ＿Ｌ１００４に保存されている。Ｓ７０５で取得された現在のＬｏｗ画像（第３の取得画像）はこのメモリ＿Ｌ１００４に保存された縦線補正値を基に補間処理される。

画素補間処理後のＬｏｗ画像およびＨｉｇｈ画像はフレームメモリ１０６に保存され補正動作を終了する（Ｓ１２０８）。

このように、連続撮影時に１フレーム期間中に異なる露出の複数枚画像を取得しＨＤＲ合成を行う撮像装置において、リアルタイムに後キズ補正を行う場合、フレーム間で検出回路を共有することによって、回路規模の削減や、消費電力の削減が可能となる。換言すれば、後キズを検出する検出回路を複数の異なる露出の画像の間で共有することで、検出回路の数を複数の異なる露出の画像の数よりも少なくすることができ、回路規模の削減や、消費電力の削減が可能となる。

第２の実施形態では、後キズ検出を１フレームごとに交互に切り替える説明を行ったが、数フレーム毎に切り替えてもよい。また、Ｈｉｇｈ画像と、Ｌｏｗ画像で切り替えるフレーム数に重みをつけてもよい。例えば、Ｈｉｇｈ画像の方が蓄積時間や、感度（ゲイン）の設定が高くなるためキズのレベル高くなる。そのため、Ｈｉｇｈ画像の検出は２フレーム後に切り替え、Ｌｏｗ画像は１フレーム後に切り替え等設定しても構わない。

第２の実施形態では、キズ検出用の閾値を色別に設定したがこれに限られない。例えば全色同じ閾値を設定することも可能である。

本発明における第１、第２の実施形態では、縦線や後キズに関する補正動作の説明を行ったが、リアルタイムに検出と補正を行う項目はこれらに限定されず、さまざまな分野で対応可能である。
＜第３の実施形態＞
第１の実施形態および、第２の実施形態で説明したように縦線や後キズなどの現象は、リアルタイムに検出と補正が必要である。

縦線や、キズなどのリアルタイムに補正しなければならない現象は、露出条件に応じて現象の大小が変化する。

そのため、フレーム間で露出条件が同じであれば、補正値を更新することなく、同じ補正値を用いて縦線や、キズの補正を行うことが可能である。

第３の実施形態では、リアルタイムに補正が必要な現象を補正する際、フレーム間での撮影条件（例えば、露出条件）が同じ場合、検出動作を行わず、つまり、検出値を更新せずに同じ値を用いて補正することで、さらなる消費電力の削減を行うことが可能となる。換言すれば、第３の実施形態では、連続撮影時においてフレーム間での撮影条件に変更がない場合は検出回路の検出動作を停止させることで、さらなる消費電力の削減を行っている。

なお、露出条件とは、感度(ゲイン)設定値、蓄積時間（露光時間）、絞り値のうち少なくとも１つのことを表し、システム制御部１０７にて撮影時に制御される。

第３の実施形態では、リアルタイムに補正が必要な現象の１例として縦線の検出補正の動作に関して説明を行う。

図１３は、第３の実施形態における連続撮影中にＨＤＲの動作を行いながら、縦線補正を行う際の動作を表す模式図である。

図１３は、１例としてＮフレームからＮ＋３フレームまでの４フレーム期間中にＨＤＲの動作を行いながら、縦線補正を行う際の動作を表す模式図であり、Ｎ＋３フレーム目から露出条件が異なる例を示している。第１の実施例の図６と同等な個所に関しては同符号を付している。

図１３におけるＬｏｗ画像６０１に関して、Ｎフレーム目では、Ｌｏｗ画像の縦線検出用画像６０２から縦線成分を検出し、該検出結果を基にＬｏｗ画像を補正することを示している。また、Ｎ＋１フレーム目、Ｎ＋２フレーム目では、Ｎフレーム目で検出された検出結果（補正値）を更新せずにＮフレーム目で検出された結果と同じ結果（６０６，１３０１）を用いて補正することを示している。

また、Ｈｉｇｈ画像６０３に関して、Ｎ＋１フレーム目では、Ｈｉｇｈ画像の縦線検出用画像６０４から縦線成分を検出し、該検出結果を基にＨｉｇｈ画像を補正することを示している。また、Ｎ＋２フレーム目では、Ｎ＋１フレーム目で検出された検出結果（補正値）を更新せずにＮ＋１フレーム目で検出された結果と同じ結果（６０７）を用いて補正することを示している。

さらに、Ｎ＋３フレーム目では、露出条件が変更されていることから、再度検出が始まることを示している。

次に本発明の第３の実施形態における縦線の補正動作を図１４のフローチャートを用いて詳細に説明する。

第１の実施形態（図８）と同等な動作の箇所に関しては同じステップ番号を付し、説明を省略する。

Ｓ１４０１において、システム制御部１０７は縦線検出連続回数をカウントするための変数ｍが下記の式（１）を満たすかどうかを判定する。

ｍ ＞ １ ・・・（１）
式（１）を満たさない場合（つまりＳ１４０１でＮｏ）はＳ８０２へ進み縦線補正処理が開始される。変数ｍが式（１）を満たさない場合とは、Ｌｏｗ画像の縦線検出とＨｉｇｈ画像の縦線検出の一方、または、両方の検出が同露出条件で検出されていないことを示している。

式（１）を満たす場合（つまりＳ１４０１でＹｅｓ）は、Ｓ１４０２へ進み、システム制御部１０７は、撮影時（現在）の露出条件Ｅｖ（ｎ）が１フレーム前の露出条件Ｅｖ（ｎ−１）と同じかどうかの比較を行う。

Ｓ１４０２にて露出条件が変わったと判断（つまりＳ１４０２でＹｅｓ）された場合は、Ｓ１４０３へ進み縦線検出連続回数カウント変数ｍを０にリセットし、Ｓ８０２へ進む。

Ｓ１４０２にて、露出条件が変わっていない（つまりＳ１４０２でＮｏ）と判断された場合は、Ｓ１３０４へ進み縦線検出を行わず、メモリ＿Ｌ９０６、メモリ＿Ｈ９０７の更新は行わず、Ｓ８０７にて補正処理を行う。

Ｓ１４０５では、Ｓ８０７にて縦線補正処理が行われたのち、システム制御部１０７にて縦線検出連続回数カウント変数ｍを１インクリメントし、補正処理を終了する。

第３の実施形態では、フレーム間での露出条件差と検出連続回数から、検出を行うかどうかの判断をすることにより、撮像システムとして消費電力のさらなる削減が可能となる。

第３の実施形態では、縦線検出時の動作について説明を行ったが、第２の実施形態で説明した後キズ検出においても同様な構成を用いることが可能である。

また、縦線や後キズなどの現象は、露出条件の一部に依存する性質をもっており、例えば縦線は、感度設定値に依存し、後キズは、感度設定値や蓄積時間に依存する性質をもっている。そのため、第３の実施形態では、メモリの更新を行わない条件は、フレーム間での露出条件差としたが、それぞれの現象に応じて、メモリの更新を行わない条件を感度(ゲイン)設定値や、蓄積時間、絞りのいずれか１つもしくは、複数の組み合わせとしてもよい。

また、リアルタイムに補正が必要な現象の中には、露出条件だけではなく、温度条件などで現象の大小が変わる性質のものも存在する。そのため、温度条件など、露出条件とは異なる条件を加えることで第３の実施形態と同様な効果を得ることが可能である。

さらに、縦線や、後キズなどの現象によって、上記条件の組み合わせを変えることも容易に応用可能である。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、画像合成装置（撮像装置）に供給する。そしてその装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、連続撮影中にＨＤＲ画像を生成可能なデジタルカメラやビデオカメラなどの撮像装置に好適に利用できる。

１０１ ：レンズ
１０２ ：イメージセンサ
１０３ ：映像信号処理部
１０４ ：表示部
１０５ ：レンズ駆動制御部
１０６ ：フレームメモリ
１０７ ：システム制御部
９０３ ：出力信号選択スイッチ
９０４ ：縦線補正値検出部
９０５ ：メモリ
９０６，９０７ ：減算部

Claims (12)

1. 第１の露光期間に撮像された第１の画像および前記第１の露光期間を含み前記第１の露光期間より長い第２の露光期間に撮像された第２の画像のうち前記第１の画像を取得する第１の画像取得手段と、
   前記第１の画像および前記第２の画像のうち前記第２の画像を取得する第２の画像取得手段と、
   前記第１の画像取得手段により取得された前記第１の画像から第１のパターンを検出、または、前記第２の画像取得手段により取得された前記第２の画像から第２のパターンを検出する検出手段と、
   前記第１のパターンに基づいて前記第１の画像を補正し、前記第２のパターンに基づいて前記第２の画像を補正する補正手段と、
   前記補正手段により補正された第１の画像および第２の画像を合成する合成手段と、
   前記第１の画像取得手段または前記第２の画像取得手段と前記検出手段との接続を切り替える第１の切替手段と、
   を有することを特徴とする画像合成装置。
2. 前記検出手段は、前記第１の切替手段が前記第１の画像取得手段と前記検出手段とを接続しているときは前記第１のパターンを検出し、前記第１の切替手段が前記第２の画像取得手段と前記検出手段とを接続しているときは前記第２のパターンを検出することを特徴とする請求項１に記載の画像合成装置。
3. 前記検出手段の数は、取得する画像の数より少ないことを特徴とする請求項１または２に記載の画像合成装置。
4. 前記検出手段は、縦線または後キズを検出することを特徴とする請求項１から３のいずれか一項に記載の画像合成装置。
5. 前記検出手段は、連続撮影時においてフレーム間での撮影条件に変更がない場合は検出動作を停止することを特徴とする請求項１から４のいずれか一項に記載の画像合成装置。
6. 前記撮影条件は、露出条件または温度条件であることを特徴とする請求項５に記載の画像合成装置。
7. 前記露出条件は、感度設定値、露光時間、絞り値のうち少なくとも１つであることを特徴とする請求項６に記載の画像合成装置。
8. 前記第１のパターンに応じたデータを記憶する第１の記憶手段と、
   前記第２のパターンに応じたデータを記憶する第２の記憶手段と、
   前記第１の記憶手段または前記第２の記憶手段と前記検出手段との接続を切り替える第２の切替手段と、をさらに有し、
   前記第２の切替手段は、前記第１の切替手段と連動して動作することを特徴とする請求項１から７のいずれか一項に記載の画像合成装置。
9. 第１の露光期間に撮像された第１の画像および前記第１の露光期間を含み前記第１の露光期間より長い第２の露光期間に撮像された第２の画像を生成する撮像素子と、
   請求項１から８のいずれか一項に記載の画像合成装置と、
   を有することを特徴とする撮像装置。
10. 第１の露光期間に撮像された第１の画像および前記第１の露光期間を含み前記第１の露光期間より長い第２の露光期間に撮像された第２の画像のうち前記第１の画像を取得する第１の画像取得手段と、
    前記第１の画像および前記第２の画像のうち前記第２の画像を取得する第２の画像取得手段と、
    前記第１の画像取得手段により取得された前記第１の画像から第１のパターンを検出、または、前記第２の画像取得手段により取得された前記第２の画像から第２のパターンを検出する検出手段と、
    前記第１の画像取得手段または前記第２の画像取得手段と前記検出手段との接続を切り替える第１の切替手段と、
    を備えた画像合成装置の画像合成方法であって、
    前記第１の切替手段により、前記検出手段への接続先を、前記第１の画像取得手段および前記第２の画像取得手段のうち一方から他方に、切り替える切替ステップと、
    前記切替えステップにより前記検出手段と接続された前記他方の画像取得手段により取得された第１の取得画像から、前記検出手段によりパターンを検出する検出ステップと、
    前記検出ステップにより検出されたパターンに基づいて前記第１の取得画像を補正し、前記切替ステップにより前記接続先が切り替えられる前に前記一方の画像取得手段により取得された第２の取得画像から前記検出手段により検出されたパターンに基づいて前記切替ステップにより前記接続先が切り替えられた後に前記一方の画像取得手段により取得された第３の取得画像を補正する補正ステップと、
    前記補正ステップにより補正された第１の取得画像および第３の取得画像を合成する合成ステップと、
    を有することを特徴とする画像合成方法。
11. 請求項１０に記載の画像合成方法の手順が記述されたコンピュータで実行可能なプログラム。
12. コンピュータに、請求項１０に記載の画像合成方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。