JP6445831B2 - 撮像装置及びその制御方法ならびにプログラム - Google Patents

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関し、特にハイダイナミックレンジ（ＨＤＲ）合成を用いた画像処理技術に関する。

近年、様々な撮像技術が搭載された撮像装置が存在している。同一シーンについて露光量を変更して撮影した複数の画像を合成することで、１回の撮影で得られるダイナミックレンジより広いダイナミックレンジを有する画像を取得可能な、ハイダイナミックレンジ（ＨＤＲ）合成技術が知られている。ＨＤＲ合成技術を用いることにより、撮影画像の白飛びや黒潰れを抑制した画像を得ることができる。

また、そのＨＤＲ合成による合成画像（ＨＤＲ画像）の取得を連続的に行って得られる動画（ＨＤＲ動画）をライブビュー表示または記録する技術も知られている。ＨＤＲ動画の生成においては、撮影開始および終了タイミングの異なる複数の画像を合成して一つの画像を生成するため、画角の変化や手振れ等の影響を受け易く、生成される合成画像がぶれてしまう場合がある。これに対して、特許文献１は、ＨＤＲ動画の撮影中に光学ズーム動作時の合成画像のぶれを抑制する技術を提案している。

一方、ライブビュー表示中に、合焦状態を確認するために画像の一部を拡大して表示することが行われている。しかし、画像の一部を拡大する際に、設定した撮影条件や拡大する位置の被写体の明るさによっては、白飛びした状態等により合焦の確認が行い難い表示となる場合がある。これに対して、特許文献２は、拡大表示用の露出制御部を設けて拡大表示の画質を変更することで、ライブビュー表示における合焦状態の確認を行い易くする技術を提案している。

特開２０１４−１４０６９号公報 特開２０１３−１６２４２０号公報

しかしながら、上記従来技術は、ズーム倍率の変更中にはＨＤＲ画像の代わりに合成を行っていない画像を出力することで光学ズーム動作中の画像ぶれを解決するもので、ライブビュー表示中の拡大表示の画像ぶれを解決することを意図したものではない。また、上記従来技術は、合成画像を含まない動画についてライブビュー表示中の拡大表示の画質を変更するものであって、ＨＤＲ動画を撮影する際の拡大表示を考慮したものではない。このため、拡大表示時に画像ぶれが発生するおそれがあり、また、拡大表示専用の露出制御部を必要とするため、コストの上昇も生じ得る。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、ＨＤＲ動画の拡大表示時における画像のぶれを抑え、合焦状態の確認を容易にする撮像装置およびその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は、以下の構成を備える。すなわち、異なる露光量で複数の画像を撮像する撮像手段と、複数の画像を合成して合成画像を生成する画像合成手段と、画像合成手段により生成された合成画像を表示手段に表示する表示制御手段と、を有し、表示制御手段は、表示手段に表示している合成画像の一部を拡大する指示に応じて、撮像手段により撮像された画像の一部を拡大した画像を、合成画像に代えて表示手段に表示するように制御する、ことを特徴とする。

本発明によれば、ＨＤＲ動画の拡大表示時における画像のぶれを抑え、合焦状態の確認を容易にすることが可能となる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラ４００の機能構成例を示すブロック図 本実施形態に係るＨＤＲ動画撮影におけるタイミングチャートを示す図 従来技術における各露光設定での表示例を模式的に説明する図 本実施形態における各露光設定での表示例を模式的に説明する図 実施形態１に係るＨＤＲ動画撮影における拡大表示処理の一連の動作を示すフローチャート 実施形態２に係るＨＤＲ動画撮影における拡大表示処理の一連の動作を示すフローチャート 実施形態３に係るＨＤＲ動画撮影における拡大表示処理の一連の動作を示すフローチャート 実施形態４に係るＨＤＲ動画撮影における拡大表示処理の一連の動作を示すフローチャート 本実施形態に係るＡＦ動作時の露光量に基づいて画像を選択するための露光量を決定する方法を示すグラフ

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、ハイダイナミックレンジ合成による合成画像（ＨＤＲ画像）の取得を連続的に行って得られる動画（ＨＤＲ動画）の生成およびライブビュー表示機能を備えたデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう撮像装置は、デジタルカメラに限らず、ＨＤＲ動画の生成およびライブビュー表示機能を備える任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

（デジタルカメラ４００の構成）
デジタルカメラ４００は情報処理部１００、撮像部２００、記録媒体３００を有し、撮像部２００により撮像された画像に対して、情報処理部１００が画像処理等の処理を行って、記録媒体３００に記録する。

情報処理部１００は、画像処理部１０１、制御部１０２、記憶部１０３、コーデック部１０４、外部接続部１０５、操作部１０６、表示部１０７、記録制御部１０８を有する。

画像処理部１０１は、撮像部２００から出力された画像信号に対して画素補間処理や色変換処理等の画像処理を行う。また、画像処理部１０１は、撮像素子２０１から読み出されたアナログデータをＡ／Ｄ変換してデジタルデータに変換し、ＹＵＶ色空間のデータフォーマットに変換する。画像処理部１０１は、さらに種々の画像処理を行って、処理後の画像データを記憶部１０３に記憶させる。また、画像処理部１０１は、複数の画像データの画像合成処理を行うことが可能であり、例えばＨＤＲ合成などの処理を実行して合成画像を出力することができる。

制御部１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むプロセッサであり、記憶部１０３に格納されているコンピュータプログラムに従って、デジタルカメラ４００全体の動作を制御する。例えば、制御部１０２は、操作部１０６を介してユーザからの撮影指示を受けると、撮像部２００および画像処理部１０１に対して撮影処理を開始するように制御する。撮像部２００および画像処理部１０１は、制御部１０２からの指示を受けると、露光処理や現像処理等の処理を含む撮影処理を実行する。また、制御部１０２は、撮像部２００および画像処理部１０１に対してＡＦ（オートフォーカス）処理およびＡＥ（自動露出調整）処理を行うように制御する。制御部１０２がＡＦ処理およびＡＥ処理を開始するように指示すると、画像処理部１０１は、撮像部２００から出力された画像信号を用いて合焦状態や露出状態についての演算処理を行う。撮像部２００および画像処理部１０１は、この演算結果に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理およびＡＥ処理を行う。さらに、制御部１０２は、ＨＤＲ動画のライブビュー表示中に操作部１０６を介して表示を拡大する指示を受けると、後述する拡大表示処理を行うための表示制御を行う。

記憶部１０３は、半導体メモリ等の主記憶装置であり制御部１０２のワークエリアとして機能する。また、記憶部１０３は、合成画像を生成するための複数の画像データの保持領域としても機能する。なお、制御部１０２のワークエリアおよび保持領域は、記憶部１０３に限られるものではなく、ハードディスクドライブ等の外部記録装置等であってもよい。

コーデック部１０４は、記憶部１０３に書き込まれたＹＵＶ形式の画像データを予め定められた形式、例えばＪＰＥＧ形式やロスレス圧縮（ＲＡＷ形式）などの静止画像にエンコードして出力する。反対に、コーデック部１０４は、ＪＰＥＧ形式やロスレス圧縮（ＲＡＷ形式）などの画像データを入力して、ＹＵＶ形式の画像データにデコードして出力することができる。エンコードされた静止画像は記憶部１０３に記憶される。情報処理部１００は、同じＹＵＶの画像データに対してコーデック部１０４で異なるエンコードを適用して形式の異なる複数の静止画像を生成することができる。

外部接続部１０５は、デジタルカメラ４００が外部の機器と接続された場合の、接続制御処理を行う。デジタルカメラ４００がパーソナルコンピュータと例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）に準拠した方式で接続された場合、記録媒体３００に記録されている静止画像等を外部接続部１０５を介してパーソナルコンピュータに送信することができる。また、外部接続部１０５は、無線通信により外部機器と通信を行ったり、テレビなどの映像出力機器に映像信号を送信するようにしてもよい。

操作部１０６は、ユーザがデジタルカメラ４００を操作するためのユーザインターフェースを提供し、ユーザによる操作を検出すると制御部１０２に検出結果あるいは操作内容等を通知する。操作部１０６は、デジタルカメラ４００を操作するための電源ボタン、モード切り替えダイヤル、レリーズボタン、十字ボタン、メニューボタン等を含み、各ボタンはスイッチ、タッチパネル等により構成される。例えば、操作部１０６は、後述する拡大表示処理において、ＨＤＲ動画のライブビュー表示中にユーザ操作による、表示を拡大する指示の有無を判定し、当該表示を拡大する指示を制御部１０２に通知する。なお、表示を拡大する指示には、例えば拡大位置を設定するための十字ボタンあるいはタッチパネル上の操作や拡大表示を開始する拡大ボタンの押下など複数の操作を含んでよい。

表示部１０７は、液晶ディスプレイなどの表示装置により構成される。デジタルカメラ４００の動作モードが撮影モードである場合、表示部１０７は、撮像部２００で映像として順次撮影された画像信号を、画像処理部１０１等を介して取得して表示し、ライブビュー表示を実現する。ユーザはライブビュー表示において拡大する対象となる領域を操作部１０６を介して選択すると、表示部１０７に当該選択された領域の拡大画像を表示する。

記録制御部１０８は、デジタルカメラ４００の動作モードが撮影モードである場合は、コーデック部１０４がエンコードした静止画像データを記録媒体３００に記録する。記録制御部１０８に接続される記録媒体３００は、磁気あるいは半導体を用いた補助記憶装置であり、取り外し可能なリムーバブルメディアでもよいし、デジタルカメラ４００に内蔵される記憶領域でもよい。

撮像素子２０１は、不図示のレンズユニットを介して入射した被写体の光学像を電気信号に変換して画像信号するイメージセンサを含み、当該イメージセンサは例えばＣＣＤやＣＭＯＳイメージセンサであってよい。

ミラー２０２は、レンズユニットを介して入射した被写体の光学像を撮像素子２０１または、ファインダー２０３に導く位置に移動する。

ファインダー２０３は、光学ファインダーであり、レンズユニットを介して入射した被写体の光学像を目視で確認することができる。

（ＨＤＲ動画撮影における各機能ブロックの動作の概要）
デジタルカメラ４００においてＨＤＲ動画を実現する際の各機能ブロックの動作タイミングを、図２に示すタイミングチャートを参照して説明する。当該タイミングチャートは、異なる露光量で撮影された２枚の画像をＨＤＲ合成して当該合成画像を動画のフレームとする動画を生成し、表示部１０７に表示するまでの一連の動作を示している。図２は、横軸が時間を表し、各機能ブロックがそれぞれ所定の時間において処理を行う様子を示している。時間Ｔ０からＨＤＲ動画撮影が開始され、Ｔ５０までに２枚目の合成画像が表示される様子を示している。

時間Ｔ０において、制御部１０２は撮像部２００に対して露光量Ａ１を設定する。

Ｔ１０において、撮像部２００は設定された露光量Ａ１で撮像１を開始してＴ１１で撮像１を終了する。そして、Ｔ１１において、画像処理部１０１は撮像１で撮像された画像信号に対して画像処理１を開始してＴ１２で当該画像処理を終了する。Ｔ１２において、記憶部１０３は次に撮像される画像と画像処理１により生成された画像データを合成させるために当該画像データの画像保持１を行う。Ｔ１０〜Ｔ１３までの一連の動作により、ＨＤＲ動画を構成する合成画像を生成するための１枚目の画像データを記憶部１０３に保持した状態になっている。

Ｔ１３において、制御部１０２は撮像部２００に対して露光量Ａ１とは異なる露光量Ｂ１を設定する。次にＴ２０において、撮像部２００は設定された露光量Ｂ１で撮像２を開始してＴ２１で終了する。Ｔ２１において、画像処理部１０１は撮像２で撮像された画像信号に対して画像処理２を開始してＴ２２で当該処理を終了する。さらにＴ２２において、画像処理部１０１は露光量Ａで撮影された画像データ（画像保持１）を記憶部１０３から読み出して、露光量Ｂで撮影された撮像２の画像データとの合成処理１を開始してＴ２３で終了する。Ｔ２３において、表示部１０７は合成された合成画像の表示を開始する。

このように２つの異なる露光量（Ａ１およびＢ１）でそれぞれ撮影された撮像１と撮像２の画像を合成することで、１回の撮影で得られるダイナミックレンジよりも広いレンジを持つＨＤＲ画像を得ることができる。

次に、Ｔ２３において、制御部１０２は撮像部２００に対して露光量Ａ２を設定する。このとき露光量Ａ２の値は、必ずしもＴ０で設定した露光量Ａ１の値と同じでなくてもよい。Ｔ３０以降は、前述Ｔ１０からＴ２３における処理を繰り返し連続して実施することで、ＨＤＲ画像を連続して表示するＨＤＲ動画を実現することができる。

（ＨＤＲ動画撮影により得られる画像の表示に係る問題点）
さらに、ＨＤＲ動画撮影により得られた画像を表示する際の問題点について図３を参照して説明する。

図３（ａ）および図３（ｂ）は、ＨＤＲ合成前の単一の露光量による画像、すなわちＨＤＲ合成に用いられる画像を表している。このとき、図３（ｂ）の画像は、図３（ａ）の露光量より低い露光量で撮影されている。

被写体３０１は画角内の比較的明るいシーンに存在し、露光量を適正露出より高く設定した高露光画像では露光量が過剰となり白とびしている（３０１Ａ）が、露光量を適正補正量より低く設定した低露光画像では適正な露光量となっている（３０１Ｂ）。一方、被写体３０２は画角内の比較的暗いシーンに存在し、高露光画像では適正露光となっている（３０２Ａ）が、低露光画像では露光量が不足しており黒つぶれしている（３０２Ｂ）。

図３（ｃ）は、前述の図３（ａ）および図３（ｂ）の画像を合成したＨＤＲ画像である。このとき、高露光画像と低露光画像のそれぞれの適正露出部分が優位になるように合成することで、３０１Ｃでは白とびを、３０２Ｃでは黒つぶれをそれぞれ軽減している。

しかし、撮影時に手ぶれや被写体が移動したときの被写体ぶれなどにより合成する２枚の画角内の被写体位置がぶれると、合成画像の被写体像がぶれてしまう問題がある。図３（ｄ）は、図３（ｃ）に示す合成画像の被写体３０２付近の拡大画像を示している。ＨＤＲ合成後の３０２Ｃを拡大表示することで、被写体ぶれ（例えば３０２Ｃの輪郭部分に示す影部分）が目立っている。即ち、被写体のぶれが図３（ｃ）の全画面ではそれほど目立たない場合であっても、拡大することで目立つ場合がある。そうすると、例えば被写体に合焦させた状況で拡大表示により合焦状態の確認を行おうとする際に、この被写体のぶれにより合焦状態の確認が適切に行えないという不都合が生じる場合がある。

（ＨＤＲ動画撮影における拡大表示処理の概要）
次に、図４および図５を参照して、ＨＤＲ動画の全画面表示から単一露光の拡大表示へ切り替える際の処理について説明する。

図４（ａ）は露光量を変化させて撮影した複数の画像をＨＤＲ合成した画像を示している。このとき、被写体４０１Ａは手ぶれなどの要因により、ぶれて表示されている。

一方、図４（ｂ）は被写体４０１Ａの合焦状態の確認を行うための拡大表示した画像を示している。図４（ａ）の全画面表示で発生していた被写体ぶれを軽減するため、この拡大表示に示す画像についてはＨＤＲ合成を行った画像ではなく、ある露光量で撮影した単一露光量の画像を表示している。ここでは、高露光画像が選択されて表示されている様子を示しているが、低露光画像が選択されてもよい。例えば、ＨＤＲ合成される際に拡大表示の領域において最も優位に合成される画像（ここでは高露光画像）が選択されて表示される。

（ＨＤＲ動画撮影における拡大表示処理の一連の動作）
次に、図５を参照して、ＨＤＲ動画撮影時の拡大表示処理の一連の動作に係る一連の動作を説明する。なお、操作部１０６のレリーズボタンやモード切り替えダイヤル等を介して動画撮影の開始指示が制御部１０２に通知されると本処理が開始される。図５のフローチャートにおいて、各ステップの処理は、特に断らない限り、制御部１０２が制御プログラムを記憶部１０３のワークエリアに展開し、実行することにより実現される。

Ｓ３０１において、制御部１０２は、操作部１０６を介して動画撮影におけるＨＤＲモード設定を受けると、情報処理部１００および撮像部２００は、図２で説明したＨＤＲ動画撮像を実行するため各機能ブロックの設定を行う。

Ｓ３０２において、制御部１０２はライブビュー表示の表示開始要求があるかを判定する。制御部１０２は、操作部１０６を介して表示開始要求の通知を受けたときは、ライブビュー表示を行うためＳ３０３に処理を進める。一方、表示開始要求の通知を受けていないと判定したときは、処理をＳ３０２に再び戻す。

Ｓ３０３において、制御部１０２はＨＤＲ画像を表示部１０７に全画面表示を行う。制御部１０２は、表示部１０７がＨＤＲ画像を入力して当該画像の全体を表示するように制御する。

Ｓ３０４において、制御部１０２は全画面表示中に操作部１０６を介して表示終了の要求を受けているかを判定し、表示終了の要求を受けたと判定したときは、Ｓ３０９に処理を進める。当該要求を受けていないと判定したときは、全画面表示を継続しながら更なる表示要求があるかを判定するためにＳ３０５に処理を進める。

Ｓ３０５において、制御部１０２は操作部１０６を介してライブビュー表示に対する拡大表示の要求を受けたかを判定する。制御部１０２は、操作部１０６のタッチパネルもしくは操作ボタン等による通知を受けて拡大表示の要求を受けたと判定したときは、表示を切り替えるためにＳ３０６に処理を進める。一方、拡大表示の要求を受けていないと判定したときは、再びＳ３０４に処理を戻し、ＨＤＲ動画の全画面表示を継続する。

Ｓ３０６において、制御部１０２は表示部１０７がＨＤＲ画像ではなく、単一露光量の画像による拡大表示を行うように制御する。制御部１０２は、拡大表示に用いる画像の領域を画像処理部１０１に対して指定して、単一露光量の画像の一部を拡大した画像を出力させるように制御する。画像処理部１０１は制御部１０２の指示に応じて、当該指定された領域を単一露光量の画像から切り出して拡大し、ＨＤＲ画像とともに記憶部１０３に出力する。このとき、画像処理部１０１は例えばＨＤＲ合成を行う際に拡大表示の領域において最も優位に合成される単一露光量の画像を選択して切り出し処理を行う。表示部１０７は、制御部１０２の指示に応じて、拡大表示に用いる画像を記憶部１０３から読み出して表示する。

Ｓ３０７において、制御部１０２は拡大表示中に操作部１０６を介して表示終了の要求を受けたかを判定し、表示終了の要求を受けていないと判定したときは、表示を継続するためにＳ３０７に処理を進める。一方、表示終了の要求を受けたと判定したときは、表示を終了させるためにＳ３０９に処理を進める。

Ｓ３０８において、制御部１０２は、拡大表示中に操作部１０６を介して全画面表示の要求を受けたかを判定し、全画面表示の要求を受けたと判定したときは、表示部１０７に再度ＨＤＲ画像を全画面表示させるために処理をＳ３０３に戻す。一方、全画面表示の要求を受けていないと判定したときは、再び処理をＳ３０７に戻して拡大表示を継続する。

Ｓ３０９において、制御部１０２はライブビュー表示を終了して、本処理に係る一連の動作を終了する。

なお、本実施形態では高露光画像と低露光画像の２つの画像のみを用いてＨＤＲ合成を行ない、拡大表示として高露光画像または低露光画像のいずれかを表示する例を示した。しかし、露光量を変化させた２枚以上の画像を用いてＨＤＲ合成を行い、これらの複数の画像のうちのいずれかの画像を用いて拡大表示を行うようにしても本発明は実現される。

また、本実施形態ではＨＤＲ合成画像をフレームとする動画撮影を例に説明したが、ライムラプス撮影（インターバル撮影ともいわれる）などの数秒から数十分程度の間隔で静止画(即ちＨＤＲ画像）を生成する場合にも本発明を適用してもよい。

さらに、本実施形態ではデジタルカメラ４００がＨＤＲ動画の撮影を行って、表示部１０７に拡大表示を行う例を説明した。しかし、例えば通信端末や画像処理装置によって撮像装置を操作するような場合にも本発明を適用できる。すなわち、撮像装置によって撮影された単一露光量の画像を通信端末や画像処理装置が順次取得してＨＤＲ動画を生成するとともに、上述した単一露光量の画像の拡大表示を行うようにしてもよい。このようにすれば、異なる露光量で撮影が可能な撮像装置をスマートフォンなどの通信機器等から操作する際にも拡大表示によって合焦状態を確認することができる。この場合、上記要求は、外部からのコマンド受信や操作部から入力される操作の指示を含む。

以上説明したように本実施形態では、ライブビュー表示において拡大表示を行う場合には、ＨＤＲ合成を行っていない単一露光量の画像を表示するようにした。このようにすることで、手ぶれや被写体が移動したときの被写体ぶれなどにより合成する２枚の画角内の被写体位置がぶれる場合であっても、拡大画像を用いた合焦状態の確認をより正確に行うことができる。従って、ＨＤＲ動画の拡大表示時における画像のぶれを抑え、合焦状態の確認を容易にすることができる。

（実施形態２）
次に実施形態２について説明する。実施形態２では、単一露光量の画像を、拡大する対象となる領域の輝度によって選択することにより拡大表示処理を行う。このため、本実施形態は実施形態１とはＨＤＲ動画撮影における拡大表示処理が異なるが、その他の構成は実施形態１と同一である。このため、同一の構成およびステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

以下、図６を参照して、本実施形態に係るＨＤＲ動画撮影における拡大表示処理について説明する。

まず、実施形態１の図５において説明したＳ３０１〜Ｓ３０５の処理を行う。

Ｓ４０１において、制御部１０２は全画面表示中に操作部１０６を介して拡大表示の要求を受けたことに応じて、拡大表示を行う位置の輝度を算出する。撮像部２００で結像した拡大表示位置の画素の信号レベルを使用してもよいし、図１には記載されていないが、専用の輝度センサで計測した値を使用してもよい。このとき、撮像部２００から出力される拡大表示位置の画素の信号は、高露光画像あるいは低露光画像のいずれを得る場合かを問わず、拡大表示位置において取得あるいは計測される輝度であればよい。

Ｓ４０２において、制御部１０２はＳ４０１で算出した輝度値が所定の規定値（閾値）以下であるかを判定する。制御部１０２は、算出した輝度値が所定の規定値以下である場合は、処理をＳ４０３に進めて高露光画像による拡大表示を行なう。一方、制御部１０２は所定の規定値より大きい場合は、Ｓ４０４に処理を進めて低露光画像による拡大表示を行う。このとき、当該所定の規定値は、高露光画像（または低露光画像）の取得時に得られる信号レベルに対して予め実験等により定めておいて、不図示のＲＯＭから読み出して用いればよい。また、当該所定の規定値を固定値とするのではなく、全画面表示に用いているＨＤＲ画像を構成している複数の画像の露光量に応じて動的に決定してもよい。

その後、図５において説明したＳ３０７〜Ｓ３０９の処理を行って、一連の処理を終了する。

以上説明したように本実施形態では、ライブビュー表示において拡大表示を行う場合には、ＨＤＲ合成を行っていない単一露光量の画像を表示し、かつ、その単一露光量の画像の選択を拡大位置の輝度値に応じて選択するようにした。このようにすることで、拡大画像を用いた合焦状態の確認をより正確に行うことができ、更には単一露光量の画像のうちより表示に適した露光量の画像を選択して表示させることができる。

（実施形態３）
次に実施形態３について説明する。実施形態３では、ＨＤＲ動画の全画面表示から拡大表示へ切り替える場合に、合焦位置を制御する動作（例えばＡＦ動作）の有無によって拡大時に単一露光量の画像の表示を行うか、ＨＤＲ画像の表示を行うかを制御して拡大表示処理を行う。このため、本実施形態は実施形態１および２とはＨＤＲ動画撮影における拡大表示処理が異なるが、その他の構成は実施形態１と同一である。このため、同一の構成およびステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

以下、図７を参照して、本実施形態に係るＨＤＲ動画撮影における拡大表示処理について説明する。

まず、実施形態１の図５において説明したＳ３０１〜Ｓ３０３の処理を行う。

次に、Ｓ５０１において、制御部１０２は、ＡＦ要求を受けているかを判定する。制御部１０２は、例えばレリーズボタンの半押し等のＡＦ要求を示す操作の有無を、操作部１０６からの通知に基づいて判定する。制御部１０２は、ＡＦ要求を受けていると判定した場合は、ＡＦ動作を行うためにＳ５０２に処理を進め、一方、ＡＦ要求を受けていないと判定した場合は、ＡＦ動作を行わずに処理をＳ３０４に進める。

Ｓ５０２において、画像処理部１０１および撮像部２００は、制御部１０２の指示に応じてＡＦ動作を行う。例えば画像処理部１０１は撮像部２００から出力された画像のぼけ量に基づく演算を行い、算出した演算量に基づいて合焦位置を制御するための制御量を撮像部２００に出力する。撮像部２００は、得られた制御量に基づいてフォーカシングレンズを制御する。画像処理部１０１および撮像部２００は、本フローチャートの処理と平行して、合焦位置を変更して撮影した画像の取得と制御量の出力を、所定のＡＦ枠において最適な合焦状態が得られるまで繰り返してもよい。

次に、実施形態１の図５において説明したＳ３０４およびＳ３０４の処理を行って全画面表示中に拡大表示の要求を制御する。

Ｓ５０３において、制御部１０２はＡＦ動作を行っているかどうかを判定する。ＡＦ動作を行っていると判定した場合は、単一露光量の画像による拡大画像を表示するため処理をＳ５０４に進め、一方、ＡＦ動作を行っていないと判定した場合は、ＨＤＲ画像による拡大画像を表示するために処理をＳ５０５に進める。ＡＦ動作を行っているかどうかの判定は、例えば制御部１０２がＡＦ動作が実際に行われている状態を監視する方法や、ＡＦ動作を開始させてから所定の期間内をＡＦ動作中とする方法等により判定する。例えば制御部１０２は、撮像部２００および画像処理部１０１に対してＡＦ動作の指示を行い、この時点から画像処理部１０１等からの動作完了を知らせる通知を受け取るまで、あるいは一定期間経過するまでをＡＦ動作を行っていると判定する。

Ｓ５０４において、表示部１０７はＡＦ動作を行っている場合は単一露光量の画像を表示して拡大表示を行う。制御部１０２はＡＦ動作を行っていると判定した場合には予め定められた単一露光量の画像、例えば高露光画像を用いて拡大表示を行う。また、Ｓ５０５において、表示部１０７はＡＦ動作を行っていない場合にＨＤＲ画像を表示して拡大表示を行う。このようにＡＦ動作を行うことによって高露光画像と低露光画像とのぶれが大きくなる場合には、拡大表示において単一露光量の画像を表示するようにしてぶれを低減することができる。

その後、図５において説明したＳ３０７〜Ｓ３０９の処理を行って、一連の処理を終了する。

なお、本実施形態においてＳ５０３において説明したＡＦ動作の判定方法は例示であって他の方法によりＡＦ動作の判定を行ってもよい。例えば制御部１０２は、レリーズボタンに対するユーザ操作を監視し、ユーザ操作によるレリーズボタンの半押し状態が継続する場合、ＡＦ動作を行っていると判定してもよい。また、ＡＦ動作の開始から一定期間の経過後までＡＦ動作を行っていると判定する場合に、当該一定期間をユーザが操作部１０６を介して設定できるようにしてもよい。このようにすることで、ユーザの使用状態に応じて単一露光量の画像を用いて拡大表示を行うことができる期間を設定することが可能になる。

本実施形態においてＡＦ動作中の拡大表示について説明したが、撮像装置における動作はＡＦ動作（即ち、合焦位置を制御する動作）に限らない。例えばズーム動作のように、ＨＤＲ画像を生成するために用いる複数の画像（高露光画像および低露光画像）を撮影する時間差において被写体のぶれが生じる動作であれば本発明を適用可能である。

以上説明したように本実施形態では、ＡＦ動作中の拡大表示においては、単一露光量の画像を表示することで、被写体ぶれを軽減した状態で合焦状態の確認を行うことができる。また、ＡＦ動作の完了後あるいはＡＦ動作を行っていないときの拡大表示ではＨＤＲ画像を表示することで、ＨＤＲ合成の効果を拡大表示して確認することができる。

（実施形態４）
次に実施形態４について説明する。本実施形態では、ＨＤＲ動画の全画面表示から拡大表示へ切り替える場合に、ＡＦ動作の有無によって拡大表示において単一露光量画像の表示を行うか、ＨＤＲ画像の表示を行うかを選択する点で実施形態３と共通する。しかし、さらに拡大表示として単一露光量の画像を表示する場合の画像の選択を、ＡＦ動作時の露光量によって制御する点が異なる。このため、本実施形態は実施形態１ないし３とはＨＤＲ動画撮影における拡大表示処理が異なるが、その他の構成は実施形態１と同一である。このため、同一の構成およびステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

以下、図８を参照して、本実施形態に係るＨＤＲ動画撮影における拡大表示処理について説明する。

まず、上述した実施形態において説明したＳ３０１〜Ｓ３０３およびＳ５０１〜Ｓ５０２の処理を行う。このとき、Ｓ５０１においてＡＦ要求を受けたと判定してＳ５０２においてＡＦ動作を行う場合、制御部１０２はＡＦ動作時に設定された露光量を記憶部１０３に記憶させる。このときＡＦ動作の際に設定された露光量は、ＨＤＲ画像を構成する高露光画像または低露光画像と同等の露光量を使用してもよいし、ＡＦを行うために最適な別の露光量を算出して使用してもよい。

さらに、上述した実施形態において説明したＳ３０４〜Ｓ３０５およびＳ５０３の処理を行う。このときＳ５０３においてＡＦ動作を行っているかどうかを判定し、ＡＦ動作を行っていないと判定した場合はＨＤＲ画像による拡大表示を行うためにＳ６０４に処理を進める。一方、ＡＦ動作を行っていると判定した場合は、単一露光量の画像を選択するためにＳ６０１に処理を進める。

Ｓ６０１において、制御部１０２は、記憶部１０３に保持しているＡＦ動作時の露光量を示す情報を読み出して、ＡＦ動作時の露光量が高露光画像または低露光画像の撮影時の露光量のどちらに近いかを判定する。制御部１０２は、ＡＦ動作時の露光量が高露光画像の撮影時の露光量に近いと判定する場合は、表示する単一露光量の画像として高露光画像を選択するため、Ｓ６０２に処理を進める。一方、制御部１０２は、ＡＦ動作時の露光量が高露光画像の撮影時の露光量に近いと判定と判定する場合は、表示する単一露光量の画像として低露光画像を選択するため、Ｓ６０３に処理を進める。なお、本ステップにおける判定方法のより具体的な例について図９を参照して後述する。

Ｓ６０２において、制御部１０２は、表示する単一露光量の画像として高露光画像を選択して表示部１０７に表示させる。また、Ｓ６０３において、制御部は単一露光量の画像として低露光画像を選択して表示部１０７に表示させる。

制御部１０２は拡大表示を行うと、上述した実施形態において説明したＳ３０７〜Ｓ３０９の処理を行って一連の処理を終了する。

ここで本実施形態におけるＳ６０１における判定方法の具体例について、図９を参照して説明する。

高露光画像の撮影時の露光量Ｙ１と低露光画像の撮影時の露光量Ｙ２とがあり、そのＹ１とＹ２の中間値をＹｍ＝（Ｙ１＋Ｙ２）/２とする。

このとき、ＡＦ動作中に設定された露光量Ｙａが中間値Ｙｍ以上の場合は、高露光画像を用いて単一露光量の画像による拡大表示を行い（Ｓ６０２）、露光量Ｙａが中間値Ｙｍ未満の場合は低露光画像を用いて単一露光量の画像による拡大表示を行う（Ｓ６０３）。なお、図９の例では、ＡＦ動作時の露光量Ｙａが中間値Ｙｍ以上であるため、高露光画像が選択されて拡大表示される。

以上説明したように本実施形態では、単一露光量の画像を表示する場合に、ＡＦ動作時に設定した露光量に基づいて表示すべき単一露光量の画像を選択することで、ＡＦ動作時においても合焦確認に適した拡大画像を表示することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…画像処理部、１０２…制御部、１０３…記憶部、１０６…操作部、１０７…表示部、２００…撮像部

Claims (10)

1. 撮像装置であって、
   異なる露光量で複数の画像を撮像する撮像手段と、
   前記複数の画像を合成して合成画像を生成する画像合成手段と、
   前記画像合成手段により生成された合成画像を表示手段に表示する表示制御手段と、を有し、
   前記表示制御手段は、前記表示手段に表示している合成画像の一部を拡大する指示に応じて、前記撮像手段により撮像された画像の一部を拡大した画像を、前記合成画像に代えて前記表示手段に表示するように制御し、
   前記表示制御手段は、前記拡大する指示を受けたときに、前記撮像装置が所定の動作を行っている場合、前記撮像手段により撮像された画像の一部を拡大した画像を表示し、前記撮像装置が所定の動作を行っていない場合、前記合成画像の一部を拡大して表示し、
   前記表示制御手段は、前記撮像手段により撮像された画像の一部を拡大した画像を表示する場合、前記撮像装置が前記所定の動作を行う際に設定されていた露光量に基づいて、前記複数の画像のうちのいずれかの画像を選択し、前記選択した画像の一部を拡大して表示する
   ことを特徴とする撮像装置。
2. 前記表示制御手段は、前記撮像手段により撮像された画像の一部を拡大した画像を表示する場合に、拡大する対象となる領域の輝度に応じて、前記複数の画像のうちのいずれかの画像を選択し、前記選択した画像の一部を拡大して表示する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記表示制御手段は、前記複数の画像のうち、前記撮像装置が前記所定の動作を行う際に設定されていた露光量に最も近い露光量で撮影された画像を選択する、
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記撮像装置の前記所定の動作が合焦位置を制御する動作である、ことを特徴とする請求項１または２に記載の撮像装置。
5. 前記撮像手段は、前記複数の画像の撮像を、動画を構成するフレームごとに繰り返し、
   前記画像合成手段は、前記複数の画像を合成してダイナミックレンジを拡大した画像を前記フレームごとに生成する、
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. ユーザ操作により合焦位置を制御する動作を開始する指示を受け付ける入力手段をさらに有し、
   前記表示制御手段は、前記拡大する指示を受けたときに、前記入力手段に対する入力が継続する場合、前記合焦位置を制御する動作を行っていると判定し、前記入力手段に対する入力が継続していない場合、前記合焦位置を制御する動作を行っていないと判定する、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記表示制御手段は、前記拡大する指示を受けたときに、合焦位置を制御する動作の開始から予め定められた期間内である場合、前記撮像手段により撮像された画像の一部を拡大した画像を表示する、
   ことを特徴とする請求項４に記載の撮像装置。
8. ユーザ操作による前記拡大する指示の有無を判定する判定手段をさらに有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 撮像装置の制御方法であって、
   撮像手段が、異なる露光量で複数の画像を撮像する撮像工程と、
   画像合成手段が、前記複数の画像を合成して合成画像を生成する画像合成工程と、
   表示制御手段が、前記画像合成工程において生成された合成画像を表示手段に表示する表示制御工程と、を有し、
   前記表示制御工程では、前記表示手段に表示している合成画像の一部を拡大する指示に応じて、前記撮像工程において撮像された画像の一部を拡大した画像を、前記合成画像に代えて前記表示手段に表示するように制御し、
   前記表示制御工程では、前記拡大する指示を受けたときに、前記撮像装置が所定の動作を行っている場合、前記撮像工程において撮像された画像の一部を拡大した画像を表示し、前記撮像装置が所定の動作を行っていない場合、前記合成画像の一部を拡大して表示し、
   前記表示制御工程では、前記撮像工程において撮像された画像の一部を拡大した画像を表示する場合、前記撮像装置が前記所定の動作を行う際に設定されていた露光量に基づいて、前記複数の画像のうちのいずれかの画像を選択し、前記選択した画像の一部を拡大して表示する
   ことを特徴とする撮像装置の制御方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。