JP5947625B2 - 撮像装置、及びその制御方法 - Google Patents

Description

本発明は、撮像装置、及びその制御方法に関する。

画像を生成する装置として、ＣＭＯＳやＣＣＤなどの一般的な撮像素子を用いたデジタルカメラがある。しかしながら、ＣＭＯＳやＣＣＤなどの一般的な撮像素子のダイナミックレンジは狭く、せいぜい５０〜７０デシベル程度しかない。そのため、そのようなデジタルカメラでは人間が目で見たような明るさを表現する画像を生成することは困難である。例えば、コントラストの大きい風景をデジタルカメラで撮影すると、暗部は黒くつぶれ、明部は白く飛んでしまう。

上記問題を解決するための技術が、例えば、特許文献１に開示されている。特許文献１に開示の技術では、適正露出（適切な明るさ）の画像に比べて全体的に暗い画像（低露出画像）と、全体的に明るい画像（高露出画像）とから、それぞれ、適正露出部分が抜き出される。そして、抜き出された適正露出部分を合成することで、高いダイナミックレンジを有する画像が得られる。このような技術は、ハイダイナミックレンジ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ；ＨＤＲ）画像合成などと呼ばれる。

図１２（ａ）は、ＨＤＲ画像合成の態様を模式的に表す図である。ＨＤＲ画像合成により、背景の暗部の黒つぶれとハイライト部（文字Ａの部分）の白飛びとが抑えられる様子が示される。また、動画撮影時には、図１２（ｂ）に示すように、このＨＤＲ画像合成が連続的に繰り返される。図１２（ａ）及び図１２（ｂ）に示されるように、ＨＤＲ画像合成を行うことにより、元の画像（撮影時に得られた個々の画像）よりも人間が目で見たものに比較的近い画像を最終的に得ることができる。

特公平７−９７８４１号公報

ところで、昨今のビデオカメラを含む撮像装置の多くで光学ズームレンズが広く使用されている。このような撮像装置を用いてＨＤＲ画像合成を行いながら動画を撮影する場合、光学ズームレンズによるズーム動作が行われると、図１２（ｃ）に示すように低露出画像と高露出画像とで画角が異なってしまう。その結果、図１２（ｄ）に示すように、ズーム動作中は合成対象画像間に画角差が発生し、出力される合成画像がぶれてしまうという問題が発生する。この問題は、ズーム速度が大きい場合に特に顕著である。

そのため、従来の撮像装置の中には、ＨＤＲ画像合成を行いながら動画を撮影する場合に、ズーム速度を、画像のぶれが目立たない範囲に制限するものもあった。従って、従来の撮像装置では、ズーム動作時に、画像のぶれの抑制と高速なズーム動作とを両立することができなかった。

本発明はこのような状況に鑑みてなされたものであり、撮像装置によりＨＤＲ画像合成を行いながら動画を撮影中にズーム動作が行われる場合に、出力される画像のぶれを、ズーム速度を制限せずに抑制する技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、被写体の画像を撮像する撮像手段と、前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御手段と、露光量の異なる複数の画像を所定の撮像レートで撮像するように前記撮像手段を制御する撮像制御手段と、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力手段と、前記ズーム倍率が変更中であるか否かを判定する判定手段と、を備え、前記ズーム倍率が変更中であると判定された場合、前記撮像制御手段は、前記複数の画像の最初の撮像タイミングと最後の撮像タイミングとの差を前記ズーム倍率が変更中でない場合よりも小さくするように前記撮像手段を制御することを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、撮像装置によりＨＤＲ画像合成を行いながら動画を撮影中にズーム動作が行われる場合に、出力される画像のぶれを、ズーム速度を制限せずに抑制することが可能となる。

第１の実施形態に係る撮像装置１００の概略構成を示すブロック図。 第１の実施形態に係る動画像撮影処理を示すフローチャート。 第１の実施形態に係る、動画像撮影時の撮像素子１２０の駆動タイミングを示すタイミングチャート。 第１の実施形態に係る、光学ズームステータスフラグ及びズームスピードの値に応じた撮像制御の変化を定義する撮像制御テーブル。 ＨＤＲ画像を生成する様子を模式的に説明する図。 第２の実施形態に係る動画像撮影処理を示すフローチャート。 第２の実施形態に係る、動画像撮影時の撮像素子１２０の駆動タイミングを示すタイミングチャート。 第２の実施形態に係る、光学ズームステータスフラグ及びズームスピードの値に応じた撮像制御の変化を定義する撮像制御テーブル。 電子シャッタ回路の基本構成の一例を示す図。 １行単位の電子シャッタの基本動作を説明するタイミングチャート。 図７に示すシャッタ位相タイミングの制御を具体的に実現するための詳細な制御タイミングチャート。 （ａ）ＨＤＲ画像合成の態様を模式的に表す図、（ｂ）動画撮影時のＨＤＲ画像合成の態様を模式的に表す図、（ｃ）ズーム動作時のＨＤＲ画像合成の態様を模式的に表す図、（ｄ）動画撮影時にズーム動作を行った場合のＨＤＲ画像合成の態様を模式的に表す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の概略構成を示すブロック図である。図１において、撮影レンズ１１０は、フォーカスレンズやズームレンズ等、複数のレンズ群、絞り機構などから構成される。レンズ制御部１１１は、システム制御回路１８０による制御に基づいて、撮影レンズ１１０のフォーカスやズーム、絞りを制御する。撮像素子１２０は、光電変換により入射光量に応じた電荷を生成して出力するＣＭＯＳセンサであり、全画素の信号を読み出す以外に、特定の画素の加算及び特定の行又は列おきに間引いて電荷を読み出すこともできる。

撮像素子駆動回路１２１は、システム制御回路１８０による制御に基づいて撮像素子１２０を駆動する。撮像素子駆動回路１２１の制御に基づいて電子シャッタタイミング等を制御することにより、撮像素子１２０の撮影時の露光時間、信号読み出しレート（撮像レート）、及び信号増幅量などを変更することができる。

撮像素子１２０から出力された画像信号は、ダイナミックレンジ拡大回路２００を内包する画像処理回路１３０に取り込まれる。ダイナミックレンジ拡大回路２００は、予めメモリ１４０に保存された高露出画像及び低露出画像を用いて、ダイナミックレンジ拡大画像を生成する機能を備えている。また、動き検出回路２１０は、必要に応じて、処理対象フレーム及び前フレームの画像から主被写体の動き量を検出する処理を行い、検出結果をシステム制御回路１８０に伝達する。

画像処理回路１３０は、画像信号をデジタル変換するとともにガンマ処理、色信号処理、露出補正処理などの各種信号処理を行う。また、画像処理回路１３０は、ズーム操作に伴う拡大、縮小といった画像変倍処理（所謂、電子ズーム処理）も行う。この際に、画像処理回路１３０は、メモリ１４０との間で画像信号の書き込み／読み出し処理を行う。また、画像処理回路１３０の出力は、ＬＣＤ１５０に表示することも可能である。

画像処理回路１３０で画像処理が施された画像データは、画像変換回路１６０により圧縮され、メモリカード１７０に書き込まれる。画像変換回路１６０は、画像処理回路１３０からの画像データを圧縮してメモリカード１７０へ出力する機能と、メモリカード１７０より読み出した画像データを伸長して画像処理回路１３０へ出力する機能とを有している。

システム制御回路１８０は、画像処理回路１３０にて処理された信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。なお、画像撮影時の露出条件については、システム制御回路１８０は、自動露出（ＡＥ）処理の結果やダイナミックレンジ拡大に必要な条件などから任意の条件を算出し、レンズ制御部１１１や撮像素子駆動回路１２１に指示することができる。

操作部１９０は、ユーザが撮像装置１００に指示を入力するための操作部であり、例えば、レリーズ釦やモード切り換えダイヤル、ズーム操作レバーなどを含む。操作部１９０を介したユーザ入力は、システム制御回路１８０に通知される。

操作部１９０を介したズーム操作が行われる場合、ズーム操作を指示するユーザ入力がシステム制御回路１８０に入力される。システム制御回路１８０は、このユーザ入力に従い、ズーム制御を行う。システム制御回路１８０は、ズーム倍率と、ズーム倍率の値により振り分けられる光学ズームか電子ズームかを示す光学ズームステータスフラグＦＬＧと、ズームスピードｓとを算出する。光学ズームステータスフラグＦＬＧは、光学ズームの場合は「１」にセットされ、電子ズームの場合は「０」にセットされる。システム制御回路１８０は、システム制御回路１８０内部のパラメータ記憶領域（不図示）に、光学ズームステータスフラグＦＬＧ及びズームスピードｓを一時的に記憶する。

続いて、第１の実施形態に係る動画像撮影処理について、図２乃至図５を参照して説明する。図２は、第１の実施形態に係る動画像撮影処理を示すフローチャートである。図３は、動画像撮影時の撮像素子１２０の駆動タイミングを示すタイミングチャートである。図４は、光学ズームステータスフラグ及びズームスピードの値に応じた撮像制御の変化を定義する撮像制御テーブルである。図５は、ＨＤＲ画像を生成する様子を模式的に説明する図である。

本実施形態の動画像撮影処理では、システム制御回路１８０は、露光量の異なる複数の画像を所定の撮像レートで撮像する制御を行う。また、画像処理回路１３０（生成出力手段）は、こうして撮像された複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成し、動画像を構成するフレーム画像として出力する。システム制御回路１８０は、ズームの状態に応じて、合成対象画像（露光量の異なる複数の画像）の撮像タイミングを制御する。撮像タイミングの制御の具体例として、本実施形態では、システム制御回路１８０は、合成対象画像の撮像レートを制御する。

図３において、判別信号は、システム制御回路１８０が撮像素子駆動回路１２１に出力する制御信号である。システム制御回路１８０は、光学ズームステータスフラグＦＬＧ及びズームスピードｓの値に基づいて判別信号を出力する。図４に示すように、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードｓが所定の閾値ｓ０未満（閾値未満）であれば論理レベルＬｏの判別信号が、所定の閾値ｓ０以上であれば論理レベルＨｉの判別信号が、それぞれ出力される。また、光学ズームステータスフラグＦＬＧが０の場合には、ズームスピードｓの値によらず論理レベルＬｏの判別信号が出力される。撮像素子駆動回路１２１は、判別信号に応じて、撮像レートを切り換える。

ズームスピードｓの判定の閾値ｓ０は、ズームレンズの移動距離によって低露出画像と高露出画像の２枚の画像間で生じる画角差が、ＨＤＲ合成時に画像ぶれとして認知されるか否かの境界値に設定される。

なお、図示しないが、システム制御回路１８０は、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードに関わらず論理レベルＨｉの判別信号を出力してもよい。また、システム制御回路１８０は、光学ズームステータスフラグの代わりに、光学ズームと電子ズームとを区別しないズームステータスフラグに基づいて判別信号を決定してもよい。この場合、ズームステータスフラグは、（光学ズームであれ電子ズームであれ）ズーム動作中は「１」にセットされ、非ズーム動作中は「０」にセットされる。

再び図３を参照すると、出力同期信号は、合成後の画像を出力するタイミングを指示する同期信号であり、この周期が動画像のフレームレートに対応する。また、撮影同期信号は、１枚の画像（合成対象画像）を撮像するタイミングを指示する同期信号であり、この周期が、撮像素子１２０による撮像のフレームレート（撮像レート）に対応する。図３の例では、出力同期信号の周期は（１／３０）秒である。また、撮影同期信号の周期は、判別信号＝Ｌｏの場合（ズーム倍率が変更中でない場合、又はズームスピードが低速の場合）は（１／６０）秒であり、判別信号＝Ｈｉの場合は（１／１２０）秒である。

また、図３は、撮像画像及び合成後の出力画像を、撮像タイミング及び合成タイミングを示す概念図として表しており、低露出画像をＬ、高露出画像をＨ、これらの画像の合成後のＨＤＲ画像をＨＤＲ（ＬＨ）として記号表記している。

低露出画像Ｌと高露出画像Ｈの露出条件は、絞り制御や撮像素子１２０の信号増幅量の条件設定の他に、撮像素子駆動回路１２１によって撮影時露光時間を設定することで決定される。この例では、適正露光条件における露光時間として、時間パラメータＴを１／２０００〜１／２５０秒の間で設定し、撮影時露光時間を低露出画像Ｌでは（Ｔ／２）、高露出画像Ｈでは（２＊Ｔ）となるように、適正露光条件からそれぞれ露出量をシフトしている。

低露出画像Ｌと高露出画像Ｈとの間の撮影の時間間隔は、通常の撮像レートの場合に対して、２倍速度の撮像レートの際には半分の長さに短縮される。そのため、撮像レートを２倍に上げることで、ズームレンズの移動距離によって画像間で生じる画角差を半分に抑えることができる。換言すると、撮像レートを高速化することにより、合成対象画像の最初の撮像タイミングと最後の撮像タイミングとの差が小さくなり、合成対象画像間の画角差も小さくなる。また、図３の例では合成対象画像は２枚であるが、何枚であっても、合成対象画像の最初の撮像タイミングと最後の撮像タイミングとの差を小さくすれば、合成対象画像間の画角差を小さくすることができる。

ここで図５を参照して、ＨＤＲ画像の生成の具体例を説明する。図５には、低露出画像及び高露出画像それぞれの露出条件と撮影信号の入出力レンジとの関係が示されている。

低露出画像Ｌを撮像する場合、システム制御回路１８０は、適正より１段アンダーの低露出条件によりフルレンジ−１段のレンジを用いて画像の撮像処理を行う。そして、画像処理回路１３０は、撮像された画像を、露出補正処理により＋１段のゲインアップで適正レンジとなるように補正する。この際のゲインアップにより、出力レンジの下位側ではノイズや階調精度の劣化による黒潰れや画質劣化が生じやすい。

高露出画像Ｈを撮像する場合、システム制御回路１８０は、適正より１段オーバーの高露出条件によりフルレンジ＋１段のレンジを用いて画像の撮像処理を行う。そして、画像処理回路１３０は、撮像された画像を、露出補正処理により−１段のゲインダウンで適正レンジとなるように補正する。この際に、出力レンジの上位半分は、レンジオーバーにあるため正しく再現できない階調領域（所謂、白飛びが発生する領域）となる。

ＨＤＲ合成画像（ＬＨ）は、それぞれ適正露出部分として、低露出画像Ｌから抽出した上位半分のレンジの画像データと、高露出画像Ｈから抽出した下位半分のレンジの画像データとを合成して生成される。なお、段数はスケールの単位を表し、＋１段は２倍、−１段は（１／２）倍に相当する。

次に、図２を参照して、本実施形態の動画像撮影処理について説明する。操作部１９０のレリーズ釦やモード切り換えダイヤル等を介して動画撮影の開始指示がシステム制御回路１８０に入力されると、動画像撮影処理が開始する。図２のフローチャートにおいて、各ステップの処理は、特に断らない限り、システム制御回路１８０が制御プログラムを実行することにより実現される。

Ｓ２０１で、システム制御回路１８０は、既定の露出条件にて１フレームの撮影を行い、撮像画像をメモリ１４０に保存する。Ｓ２０２で、システム制御回路１８０は、メモリ１４０に保存された撮像画像に基づく自動露出（ＡＥ）処理を行い、被写体の適正露出条件を算出する。

次に、システム制御回路１８０は、システム制御回路１８０の内部に設けられた図４に示すような撮像制御テーブルを参照して、Ｓ２０３乃至Ｓ２１２の処理を実行する。具体的には、Ｓ２０３で、システム制御回路１８０は、ズーム倍率が変更中であるか否かを判定する。この判定のために、システム制御回路１８０は、光学ズームステータスフラグＦＬＧをチェックする。ＦＬＧ＝０の場合（即ち、ズーム倍率が変更中でない場合）、処理はＳ２０５に進む。Ｓ２０５で、システム制御回路１８０は、論理レベルＬｏの判別信号を撮像素子駆動回路１２１へ出力する。その結果、撮像素子駆動回路１２１は、通常の撮像レートで撮像を行うために、撮影同期信号の周期を（１／６０）秒に設定する。

次にＳ２０６で、システム制御回路１８０は、Ｓ２０２で算出された適正露出条件より１段アンダーの低露出条件にて１フレームの撮影を行い、低露出画像Ｌをメモリ１４０に保存する。続いてＳ２０７で、システム制御回路１８０は、適正露出条件より１段オーバーの高露出条件にて１フレームの撮影を行い、高露出画像Ｈをメモリ１４０に保存する。

一方、Ｓ２０３においてＦＬＧ＝１であった場合（即ち、ズーム倍率が変更中であった場合）、処理はＳ２０４に進む。

Ｓ２０４で、システム制御回路１８０は、ズームスピードｓの値をチェックする。ｓ＜ｓ０の場合（即ち、ズーム倍率の変更の速度が閾値未満の場合）、処理はＳ２０５に進む。この場合、Ｓ２０３においてＦＬＧ＝０であった場合と同様に、通常の撮像レートでの撮像が行われる。

一方、Ｓ２０４においてｓ≧ｓ０であった場合、処理はＳ２０８に進む。Ｓ２０８で、システム制御回路１８０は、論理レベルＨｉの判別信号を撮像素子駆動回路１２１へ出力する。その結果、撮像素子駆動回路１２１は、通常の撮像レート（所定の撮像レート）よりも高速な撮像レートで撮像を行うために、撮影同期信号の周期を（１／１２０）秒に設定する。

Ｓ２０９乃至Ｓ２１２で、システム制御回路１８０は、Ｓ２０６及びＳ２０７と同様に、低露出画像Ｌ及び高露出画像Ｈの撮像を行う。但し、Ｓ２０６及びＳ２０７の場合と異なり、撮像レートが通常の２倍であるため、低露出画像Ｌ及び高露出画像Ｈは２セット撮像される。即ち、Ｓ２０９及びＳ２１０において１セット目の低露出画像Ｌ及び高露出画像Ｈが撮像され、Ｓ２１１及びＳ２１２において２セット目の低露出画像Ｌ及び高露出画像Ｈが撮像される。システム制御回路１８０は、２セット目の低露出画像Ｌ及び高露出画像Ｈについては、メモリ１４０に保存せずに破棄してもよい。

Ｓ２０７又はＳ２１２に続いて、Ｓ２１３で、画像処理回路１３０は、メモリ１４０に記憶された低露出画像Ｌ及び高露出画像Ｈをダイナミックレンジ拡大回路２００で合成することにより、ＨＤＲ合成画像（ＬＨ）を生成する。

Ｓ２１４で、画像処理回路１３０は、Ｓ２１３で得られたＨＤＲ合成画像（ＬＨ）に対して各種の画像処理を施し、このＨＤＲ合成画像（ＬＨ）をＬＣＤ１５０又は画像変換回路１６０に対して出力する。このように、Ｓ２０３乃至Ｓ２１４の処理により、ズームの動作状態に応じた撮像レートで撮像された低露出画像Ｌ及び高露出画像Ｈから生成されたＨＤＲ合成画像（ＬＨ）が、動画像の１フレーム分の画像として出力される。

Ｓ２１５で、システム制御回路１８０は、操作部１９０のレリーズ釦やモード切り換えダイヤル等を介して動画撮影の終了指示が入力されたか否かを判定する。終了指示が入力されるまで、Ｓ２０２乃至Ｓ２１４の処理が繰り返される。換言すると、終了指示が入力されるまで、システム制御回路１８０は、ズームの動作状態に応じた撮像レートで低露出画像Ｌ及び高露出画像Ｈを撮像する処理（撮像制御）を繰り返す。そして、画像処理回路１３０は、ＨＤＲ合成画像（ＬＨ）を出力する。

なお、図４を参照して前述した通り、システム制御回路１８０は、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードに関わらず論理レベルＨｉの判別信号を出力してもよい。この場合、Ｓ２０４の判定処理は省略され、Ｓ２０３においてＦＬＧ＝１であった場合、処理はＳ２０３からＳ２０８に進む。また、システム制御回路１８０は、光学ズームステータスフラグの代わりに、光学ズームと電子ズームとを区別しないズームステータスフラグに基づいて判別信号を決定してもよい。この場合、システム制御回路１８０は、光学ズームだけでなく電子ズームによるズーム倍率の変更も考慮し、ズーム倍率の変更中は処理をＳ２０３からＳ２０４に進める。

また、図２のフローチャートにおいては、システム制御回路１８０が所定期間内に２枚の画像（低露出画像Ｌ及び高露出画像Ｈ）を撮像するものとしたが、撮像枚数は２枚に限定されず、露光量の異なる３枚以上の画像を撮像してもよい。

また、システム制御回路１８０は、Ｓ２１１及びＳ２１２で撮像された２セット目の低露出画像Ｌ及び高露出画像Ｈを破棄せずに、例えばオートフォーカス（ＡＦ）処理や自動露出（ＡＥ）処理のために利用してもよい。或いは、システム制御回路１８０は、Ｓ２１１及びＳ２１２では画像を撮像する制御を行わず、省電力化を図ってもよい。

また、本実施形態では、説明を簡単にするため低露出条件及び高露出条件をそれぞれ適正露出条件のプラスマイナス１段としたが、これらの条件は適宜変更可能である。

以上説明したように、本実施形態によれば、撮像装置１００は、ズーム倍率が変更中でない場合は露光量の異なる複数の画像を所定の撮像レートで撮像する。また、撮像装置１００は、ズーム倍率が変更中の場合は所定の撮像レートよりも高速な撮像レートで撮像を行うことにより、ＨＤＲ画像合成の合成対象画像の最初の撮像タイミングと最後の撮像タイミングとの差を小さくする。その結果、ズーム倍率の変更に起因する合成対象画像間の画角差を小さくすることができる。

従って、撮像装置によりＨＤＲ画像合成を行いながら動画を撮影中にズーム動作が行われる場合に、出力される画像のぶれを、ズーム速度を制限せずに抑制することが可能となる。

［第２の実施形態］
第１の実施形態では、撮像装置１００は、ＨＤＲ画像合成のための複数の合成対象画像の最初の撮像タイミングと最後の撮像タイミングとの差を小さくするために、撮像レートを高速化した。しかしながら、撮像タイミングの差を小さくする制御は、これに限定されない。

そこで、第２の実施形態では、撮像タイミングの別の制御例として、低露出画像と高露出画像との間のシャッタ位相タイミングを変える構成について説明する。なお、本実施形態において、撮像装置１００の構成は第１の実施形態（図１参照）と同様であるため、その説明を省略する。また、ＨＤＲ画像の生成方法も第１の実施形態（図５参照）と同様であるため、その説明を省略する。

第２の実施形態に係る動画像撮影処理について、図６乃至図１１を参照して説明する。図６は、第２の実施形態に係る動画像撮影処理を示すフローチャートである。図７は、動画像撮影時の撮像素子１２０の駆動タイミングを示すタイミングチャートである。図８は、光学ズームステータスフラグ及びズームスピードの値に応じた撮像制御の変化を定義する撮像制御テーブルである。図９は、電子シャッタ回路の基本構成の一例を示す図である。図１０は、１行単位の電子シャッタの基本動作を説明するタイミングチャートである。

図９に示すように、撮像素子１２０内に含まれる電子シャッタ回路は、画素配列から特定の読み出し行を選択する垂直走査回路９００と、フォトダイオードに蓄積された光信号電荷をリセットするリセットトランジスタ９０１とを含む。また、電子シャッタ回路は、フォトダイオードに蓄積された光信号電荷をフローティングディフフュージョンに転送する転送トランジスタ９０２と、光電変換素子であるフォトダオード（ＰＤ）９０３とを含む。また、電子シャッタ回路は、光信号電荷をＦＤ電位に転換するフローティングディフュージョン（ＦＤ）９０４と、特定行を選択して画素ソースフォロアを作動させてＦＤ電位を垂直出力線に読み出すための行選択トランジスタ９０５とを含む。また、電子シャッタ回路は、ＦＤ電位を垂直出力線に読み出すバッファアンプである画素ソースフォロア（ＳＦ）９０６と、各列で共通の垂直出力線９０７と、読み出し回路の１画素信号の構成単位である画素９０８とを含む。

垂直走査回路９００からは、転送トランジスタ９０２を制御して光信号電荷を読み出すための転送信号９０９、及び、行選択トランジスタ９０５を制御して特定行を選択するための行選択信号９１０が出力される。また、垂直走査回路９００からは、リセットトランジスタ９０１を制御してＰＤ９０３をリセットするためのＰＤリセット信号９１１が出力される。そして、これらの制御信号は行ごとに独立して制御可能なように行数分だけ設けられており、垂直走査回路９００から各画素９０８へ供給される。

図１０において、行選択信号がＨｉレベル期間に選択された行に対して、ＰＤリセット信号のＨｉレベル期間の終了から転送信号のＨｉレベル期間の終了までの期間のタイミングを制御することで、各行単位の露光時間が決定される。これがシャッタ位相タイミングとなって１行単位のシャッタ動作を為している。垂直走査回路９００は、これらのシャッタ動作を選択行を変えながら順次実行していくことで、全行１フレーム分のシャッタ動作を為している（所謂、ローリングシャッタ方式）。

図７において、判別信号は、システム制御回路１８０が撮像素子駆動回路１２１に出力する制御信号である。システム制御回路１８０は、光学ズームステータスフラグＦＬＧ及びズームスピードｓの値に基づいて判別信号を出力する。図８に示すように、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードｓが所定の閾値ｓ０未満（閾値未満）であれば論理レベルＬｏの判別信号が、所定の閾値ｓ０以上であれば論理レベルＨｉの判別信号が、それぞれ出力される。また、光学ズームステータスフラグＦＬＧが０の場合には、ズームスピードｓの値によらず論理レベルＬｏの判別信号が出力される。撮像素子駆動回路１２１は、判別信号に応じて、シャッタ位相タイミングを切り換える。

ズームスピードｓの判定の閾値ｓ０は、ズームレンズの移動距離によって低露出画像と高露出画像の２枚の画像間で生じる画角差が、ＨＤＲ合成時に画像ぶれとして認知されるか否かの境界値に設定される。

なお、図示しないが、第１の実施形態と同様、システム制御回路１８０は、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードに関わらず論理レベルＨｉの判別信号を出力してもよい。また、システム制御回路１８０は、光学ズームステータスフラグの代わりに、光学ズームと電子ズームとを区別しないズームステータスフラグに基づいて判別信号を決定してもよい。この場合、ズームステータスフラグは、（光学ズームであれ電子ズームであれ）ズーム動作中は「１」にセットされ、非ズーム動作中は「０」にセットされる。

再び図７を参照すると、出力同期信号は、合成後の画像を出力するタイミングを指示する同期信号であり、この周期が動画像のフレームレートに対応する。また、撮影同期信号は、１枚の画像（合成対象画像）を撮像するタイミングを指示する同期信号であり、この周期が、撮像素子１２０による撮像のフレームレート（撮像レート）に対応する。図７の例では、出力同期信号の周期は（１／３０）秒である。また、撮影同期信号の周期は、（１／６０）秒である。

また、図７は、撮像画像及び合成後の出力画像を、撮像タイミング及び合成タイミングを示す概念図として表しており、低露出画像をＬ、高露出画像をＨ、これらの画像の合成後のＨＤＲ画像をＨＤＲ（ＬＨ）として記号表記している。

低露出画像Ｌと高露出画像Ｈの露出条件は、絞り制御や撮像素子１２０の信号増幅量の条件設定の他に、撮像素子駆動回路１２１の持つ電子シャッタ機能を利用して撮影時露光の開始時間と終了時間とを設定することで決定される。この例では、適正露光条件における露光時間として、時間パラメータＴを１／２０００〜１／２５０秒の間で設定し、撮影時露光時間を低露出画像Ｌでは（Ｔ／２）、高露出画像Ｈでは（２＊Ｔ）となるように、適正露光条件からそれぞれ露出量をシフトしている。

低露出画像Ｌ及び高露出画像Ｈは、通常はそれぞれ撮影同期信号に同期して所定のタイミングで露光が開始されている。従って、低露出画像Ｌと高露出画像Ｈとの間の撮像の時間間隔ｔ１は、撮影同期信号の周期である（１／６０）秒にほぼ等しい。本実施形態では、低露出画像Ｌと高露出画像Ｈとの間の撮像の時間間隔を短縮するために、低露出画像Ｌの露光開始タイミングを時間ｄｌ０だけ遅延させて、時間間隔ｔ２（＝ｔ１−ｄｌ０）を得る。換言すると、複数の合成対象画像の最初の撮像タイミングを遅らせて、２番目の撮像タイミングに近づける。これにより、ズームレンズの移動距離によって合成対象画像間で生じる画角差を、遅延時間ｄｌ０に応じて小さくすることができる。

図１１は、図７に示すシャッタ位相タイミングの制御を具体的に実現するための詳細な制御タイミングチャートである。図１１において、シャッタ位相タイミングはＰＤリセット信号と転送信号とで決定されており、これらの制御を垂直行方向に、行ごとに順次走査していくことで１フレームのシャッタ動作を為している。そのために、フレームの上部の行と下部の行とでは露光タイミングが少しずつ異なる。

判別信号がＬｏの場合、低露出撮影、高露出撮影ともに転送信号は撮影同期信号に同期して所定のタシミングで出力される。そして、ＰＤリセット信号は、低露出撮影で露光時間が（Ｔ／２）、高露出撮影で露光時間が（２＊Ｔ）となるように転送信号から時間を遡ったタイミングで出力される。

判別信号がＨｉに変わると、ＰＤリセット信号と転送信号は、高露出撮影のフレームはそのままで、低露出撮影のフレームのみ共に時間ｄｌ０だけ遅延させられる。これにより、露光時間（Ｔ／２）を変えずに、高露出撮影と低露出撮影の時間間隔が短縮される（時間間隔がｔ１からｔ２に短縮される）。

次に、図６を参照して、本実施形態の動画像撮影処理について説明する。操作部１９０のレリーズ釦やモード切り換えダイヤル等を介して動画撮影の開始指示がシステム制御回路１８０に入力されると、動画像撮影処理が開始する。図６のフローチャートにおいて、各ステップの処理は、特に断らない限り、システム制御回路１８０が制御プログラムを実行することにより実現される。また、図６のフローチャートにおいて、図２と同一又は同様の処理が実行されるステップには同一の符号を付し、その説明を省略する。図６のフローチャートにおいて、図２のフローチャートからの変更点は、Ｓ２０５及びＳ２０８がＳ６０５及びＳ６０６に置き換わった点、及び、Ｓ６０５からだけでなくＳ６０６からも処理がＳ２０６へ移行する点である。

システム制御回路１８０は、システム制御回路１８０の内部に設けられた図８に示すような撮像制御テーブルを参照して、Ｓ２０３、Ｓ２０４、Ｓ６０５、及びＳ６０６の処理を実行する。

Ｓ２０３においてＦＬＧ＝０であった場合、及び、Ｓ２０３においてＦＬＧ＝１であったがＳ２０４においてズームスピードｓが閾値ｓ０未満（閾値未満）であった場合、Ｓ６０５の処理が行われる。Ｓ６０５で、システム制御回路１８０は、撮像素子駆動回路１２１を制御してシャッタ位相タイミング設定を行う。そして、低露出画像Ｌと高露出画像Ｈとの間の撮影時間間隔ｔを、通常時の時間間隔であるｔ１に設定する。

一方、Ｓ２０３においてＦＬＧ＝１でありＳ２０４においてズームスピードｓが閾値ｓ０以上であった場合、Ｓ６０６で、システム制御回路１８０は、撮像素子駆動回路１２１を制御してシャッタ位相タイミング設定を行う。そして、低露出画像Ｌと高露出画像Ｈとの間の撮影時間間隔ｔを、ｔ１よりも短いｔ２に設定する。これにより、ＨＤＲ画像合成のための複数の合成対象画像の最初の撮像タイミングと最後の撮像タイミングとの差が小さくなる。

以上の処理により、Ｓ２１５において終了指示が入力されるまで、ズームの動作状態に応じたシャッタ位相タイミングでの画像の撮像が行われる。

なお、本実施形態では、シャッタ位相タイミングを、通常のｔ１と、これより短いｔ２との間で切り替えた。しかしながら、ズームスピードｓに応じてシャッタ位相タイミングの３段階以上の切り替えを行っても構わない。例えば、システム制御回路１８０は、ｓ０≦ｓ＜ｓ１（ｓ０＜ｓ１）の場合、シャッタ位相タイミングをｔ２に設定し、ｓ≧ｓ１の場合、シャッタ位相タイミングをｔ３（ｔ３＜ｔ２）に設定する。これにより、ズームスピードが更に高速化した場合であっても、ＨＤＲ画像のぶれを低減することができる。

以上説明したように、本実施形態によれば、撮像装置１００は、ズーム倍率が変更中でない場合は露光量の異なる複数の画像を所定の撮像レートで撮像する。また、撮像装置１００は、ズーム倍率が変更中の場合は、これら複数の画像の最初の撮像タイミングを遅らせて２番目の撮像タイミングに近づけることにより、ＨＤＲ画像合成の合成対象画像の最初の撮像タイミングと最後の撮像タイミングとの差を小さくする。その結果、ズーム倍率の変更に起因する合成対象画像間の画角差を小さくすることができる。

従って、撮像装置によりＨＤＲ画像合成を行いながら動画を撮影中にズーム動作が行われる場合に、出力される画像のぶれを、ズーム速度を制限せずに抑制することが可能となる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 被写体の画像を撮像する撮像手段と、
   前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御手段と、
   露光量の異なる複数の画像を所定の撮像レートで撮像するように前記撮像手段を制御する撮像制御手段と、
   前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力手段と、
   前記ズーム倍率が変更中であるか否かを判定する判定手段と、
   を備え、
   前記ズーム倍率が変更中であると判定された場合、前記撮像制御手段は、前記複数の画像の最初の撮像タイミングと最後の撮像タイミングとの差を前記ズーム倍率が変更中でない場合よりも小さくするように前記撮像手段を制御する
   ことを特徴とする撮像装置。
2. 前記ズーム倍率が変更中であると判定された場合であっても、当該変更の速度が閾値未満の場合は、前記撮像制御手段は、前記複数の画像の最初の撮像タイミングと最後の撮像タイミングとの差を小さくする前記制御を行わない
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記ズーム倍率が変更中であると判定された場合、前記撮像制御手段は、前記所定の撮像レートよりも高速な撮像レートで撮像を行うように前記撮像手段を制御する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ズーム倍率が変更中であると判定された場合、前記撮像制御手段は、前記複数の画像の最初の撮像タイミングを遅らせて２番目の撮像タイミングに近づけるように前記撮像手段を制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記ズーム制御手段は、光学ズーム及び電子ズームのうちの少なくとも一方により前記ズーム倍率を変更可能であり、
   前記判定手段は、前記判定に際して、前記電子ズームによる前記ズーム倍率の変更を考慮しない
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 被写体の画像を撮像する撮像手段を備える撮像装置の制御方法であって、
   前記撮像装置のズーム制御手段が、前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御工程と、
   前記撮像装置の撮像制御手段が、露光量の異なる複数の画像を所定の撮像レートで撮像するように前記撮像手段を制御する撮像制御工程と、
   前記撮像装置の生成出力手段が、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力工程と、
   前記撮像装置の判定手段が、前記ズーム倍率が変更中であるか否かを判定する判定工程と、
   を備え、
   前記ズーム倍率が変更中であると判定された場合、前記撮像制御工程では、前記複数の画像の最初の撮像タイミングと最後の撮像タイミングとの差を前記ズーム倍率が変更中でない場合よりも小さくするように前記撮像手段を制御する
   ことを特徴とする制御方法。
7. コンピュータに、請求項６に記載の制御方法の各工程を実行させるためのプログラム。