JP6825073B2 - 撮像装置、制御方法、およびプログラム - Google Patents

Description

本発明は、撮像装置、制御方法、およびプログラムに関する。

デジタルカメラ等の撮像装置の中には、主被写体に対して撮像面位相差方式の自動焦点検出（撮像面位相差ＡＦ）を行いながら静止画の連続撮影を行う連写（連続撮影）機能が備えられているものがある。この連写機能の実行中、撮像装置は、背面モニタ等にライブビュー（ＬＶ）画像として表示させる画像と、静止画像として記録するための記録画像を各々読み出して、リアルタイムに表示と記録を行う。

例えは、連写時に焦点検出を行いながら撮像素子から取得した画像をライブビュー画像（ＬＶ画像）として表示装置に表示させる際に、主被写体への追従性を向上させる技術が知られている。特許文献１では、表示装置に、解像度の異なる画像を逐次表示するか高解像度画像のみを表示するかを切り替える技術が提案されている。特許文献１によれば、フレームレートが低い連写においても、ＬＶ画像の表示時間間隔を短縮してフレーミング時の主被写体への追従性を向上させることができる。

特開２０１５−１４４３４６号公報

しかしながら、特許文献１で提案されている技術では、解像度の異なる画像を表示装置に逐次表示する際に、当該解像度が異なる画像同士の露出の違いや信号読出し条件の違いなどに応じた画質の差について言及していない。上述したような原因により画像同士の画質に差が生じてしまうと、画像の明るさ、解像感、コントラストなどが異なる画像が交互に表示されてしまうため、ユーザに対して違和感のある不自然な表示となってしまう。この場合、画像を交互に表示することでユーザに与える違和感が大きくなってしまうという問題がある。

本発明は、連続撮影時に異なる種類の画像を取得してこれらを表示する場合にユーザに与える違和感を低減する技術を提案する。

本発明の例に係る撮像光学系を通して被写体を撮像する撮像装置は、撮像光学系を通して被写体を撮像する撮像装置であって、前記撮像光学系により結像された光から画像信号を取得する撮像素子と、前記撮像素子の画素部のうち、第１の画素数の画素部に相当する第１の画像と、前記第１の画素数よりも少ない第２の画素数の画素部に相当する第２の画像とを出力できるように、前記撮像素子の駆動を制御する駆動制御手段と、表示部に画像を表示させるように制御する表示制御手段と、を備え、前記表示制御手段は、前記第１の画像を連続して取得する連続撮影を実行している際に、前記第１の画像に基づいて生成された第３の画像と前記第２の画像とを交互に表示する第１の表示形式で、前記表示部に画像を表示させるように制御でき、前記表示制御手段は、前記第１の表示形式で前記表示部に画像を表示させる場合に、前記第３の画像と前記第２の画像との差が低減されるように、前記第２の画像および前記第３の画像を前記表示部に表示させるように制御することを特徴とする。

本発明の例によれば、連続撮影時に異なる種類の画像を取得してこれらを表示する場合にユーザに与える違和感を低減することができる。

本発明の実施例における撮像素子の概略構造図である。 本発明の実施例における撮像素子の画素配列図である。 本発明の実施例における撮像システムの概要図である。 本発明の実施例における焦点検出用信号を示す図である。 第１実施例における合焦判定テーブルを示す図である。 本発明の実施例の処理を説明するフローチャートである。 図６に続く処理を説明するフローチャートである。 本発明の実施例における交互表示のタイミング図である。 本発明の実施例における交互表示を行わない場合のタイミング図である。 第２実施例における合焦判定テーブルを示す図である。 第２実施例における合焦判定テーブルを示す図である。 第３実施例における撮像システムの概要図である。 第３実施例における撮像素子の画素配列図である。 第３実施例における表示処理のフローチャートである。 第３実施例におけるＬＶ画像の生成・表示処理のフローチャートである。 第３実施例における撮像サブルーチン処理のフローチャートである。 第３実施例における表示判定処理のフローチャートである。 第３実施例における静止画像の生成・表示処理のフローチャートである。 ＬＶ画像と静止画像を表示させる場合のタイミングチャートである。 ＬＶ画像と静止画像を交互に表示させる場合のタイミングチャートである。 ＬＶ画像と静止画像を交互に表示させる場合のタイミングチャートである。 第４実施例における交互表示方法の図である。 第４実施例における交互表示方法の図である。 第４実施例におけるＬＶ画像の生成・表示処理のフローチャートである。 第４実施例における静止画像の生成・表示処理のフローチャートである。

以下に本発明の実施例を詳細に説明する。各実施例では、瞳分割された焦点検出画素を有する撮像素子を備え、被写体に焦点を合せながら連続撮影（ＡＦ連写）を行う撮像装置を説明する。連続撮影において、静止画撮影時に絞り値が変化した場合でも、ライブビュー撮影時の絞り値との間で差が小さくなるように絞り制御を行うことにより、表示品質を維持しつつ、フレーミング中の追従性の低下を抑えることができる。

［第１実施例］
図１は、本発明の第１実施例における撮像素子の構成例を示す概略ブロック図である。撮像素子３０６は多数の画素部１０１を２次元アレイ状に配置した構成を有する。各画素部１０１に対して、垂直出力線１０２、転送信号線１０３、リセット信号線１０４、行選択信号線１０５がそれぞれ接続されている。カラムＡＤＣブロック１１１は、画素部１０１に接続された垂直出力線１０２から出力される信号に対し、Ａ（アナログ）／Ｄ（デジタル）変換した信号を出力する。行走査回路１１２は転送信号線１０３、リセット信号線１０４、行選択信号線１０５により画素部１０１に接続される。複数の列走査回路１１３は、水平信号線１１５−ａ，１１５−ｂにより、複数のカラムＡＤＣブロック１１１に接続される。タイミング制御回路１１４は、カラムＡＤＣブロック１１１、列走査回路１１３にそれぞれタイミング制御信号を出力して制御を行う。

切り替え部１１６は、水平信号線１１５−ａと１１５−ｂによる各信号を切り替えて、パラレル・シリアル変換部（以下、Ｐ/Ｓ変換部と表記する）１１７に出力する。Ｐ/Ｓ変換部１１７は切り替え部１１６の出力を取得し、パラレル・シリアル変換を行う。Ｐ/Ｓ変換部１１７は変換した信号を外部に出力する。

本実施例の撮像素子３０６は、複数の画素部１０１が水平方向（行方向）において転送信号線１０３、リセット信号線１０４、および行選択信号線１０５に接続され、垂直方向（列方向）において垂直出力線１０２に接続されている。垂直出力線１０２の各々は読み出し行単位に応じて接続先が異なる。画素部１０１から読み出される信号はカラムＡＤＣブロック１１１を介して、チャンネル毎の水平信号線１１５−ａ、水平信号線１１５−ｂから出力され、切り替え部１１６に送られる。切り替え部１１６で選択された画像信号は、タイミング制御回路１１４のタイミングに合わせてＰ/Ｓ変換部１１７がパラレル・シリアル変換を行い、撮像素子３０６の外部に出力する。

画素信号の読み出し方式としては、全画素を読み出す方式、垂直方向にて画素を間引いて読み出す方式、水平方向にて画素を加算して読み出す方式、垂直間引き水平加算方式等を適宜に選択可能である。垂直間引き水平加算方式は、垂直方向にて間引き読み出しを行い水平方向にて画素を加算して読み出す方式である。本実施例では、静止画読み出しの方式に全画素を読み出す方式を採用する。第１の読み出しモードでは、第１の画素数の画素部として撮像素子のすべての画素部から画素信号が読み出される。読み出し画素数が多いため、所定時間内に限られた枚数の画像しか取得できないので、動体である被写体が高速で移動する場合、正確に被写体を画角内に捉え難くなる。一方、ライブビュー読み出しの方式には垂直間引き水平加算方式を採用する。第２の読み出しモードでは、第１の画素数よりも少ない第２の画素数の画素部から画素信号が読み出される。読み出し画素数が少ないため、処理の高速化に適している。

図２は本実施例における撮像面位相差ＡＦで使用する撮像素子３０６の画素配列を模式的に示す。撮像素子３０６はオンチップマイクロレンズ２０１に対応する複数の光電変換部が配置された構成である。カラーフィルタにはベイヤー配列が適用され、Ｒ/Ｇ行で示す奇数行の画素には、左から順に赤（ＲＥＤ）と緑（ＧＲＥＥＮ）のカラーフィルタが交互に設けられる。また、Ｇ/Ｂ行で示す偶数行の画素には、左から順に緑（ＧＲＥＥＮ）と青（ＢＬＵＥ）のカラーフィルタが交互に設けられる。オンチップマイクロレンズ２０１はカラーフィルタの上に構成されている。オンチップマイクロレンズ２０１の内側に配置された複数の光電変換部を複数の矩形で示す。瞳分割型撮像素子にて対をなす光電変換部を、それぞれＡ画素１０１ａ、Ｂ画素１０１ｂと表記する。第１の画素群に含まれるＡ画素１０１ａからの出力によって第１の視点画像であるＡ画像が生成される。第２の画素群に含まれるＢ画素１０１ｂからの出力によって第２の視点画像であるＢ画像が生成される。演算部はＡ画像とＢ画像の相対的な像ずれ量を相関演算により検出し、所定領域のデフォーカス量を算出する。デフォーカス量に基づいてフォーカスレンズが移動してレンズ部３０１の焦点調節動作が行われる。また、Ａ画像の信号とＢ画像の信号は撮像素子内で加算処理が行われ、表示用および記録用の画像信号が生成される。なお、図２に示したように複数の光電変換部を設ける画素構成とせずに、光電変換部の受光面の一部を遮光する形態であってもよい。

図３は、撮像素子３０６を用いた撮像システムの概要を示すブロック図である。本実施例の撮像システムは、一例として動画像または静止画像を取得するデジタルカメラであるが、これに限られるものではない。例えば監視カメラやスマートフォン等の携帯機器や車載カメラ等の移動体にも適用可能である。

レンズ部３０１は、撮像光学系を構成する複数のレンズを備える。レンズ部３０１はカメラ本体部に装着可能な交換レンズ、またカメラ本体部に一体化されたレンズユニットである。レンズ駆動部３０２は、撮像光学系を構成する可動レンズ（ズームレンズ、フォーカスレンズ等）を駆動する。メカニカルシャッタ（図にはメカシャッタと表記する）３０３は露光時間の制御に用いられ、絞り３０４は露光量の制御に用いられる。メカニカルシャッタ・絞り駆動部（図にはシャッタ・絞り駆動部と表記する）３０５は、メカニカルシャッタ３０３および絞り３０４を駆動することによって撮像素子３０６の露出状態を制御する。なお、露光量を制御するための手段としてＮＤフィルタ等の光学フィルタを設ける構成にしてもよい。

撮像素子３０６は、撮像光学系を通して結像される被写体からの光を受光して光電変換を行い、電気信号を出力する。積層型構成の撮像素子の場合、撮像層と回路層を有する。撮像信号処理回路３０７は撮像素子３０６の出力信号を処理し、処理後の画像信号を出力する。第１のメモリ部（図にはメモリ部Ｉと表記する）３０８は、撮像信号処理回路３０７が処理した画像信号等を記憶する。

全体制御演算部３０９は撮像システム全体の制御を司る中枢部であり、ＣＰＵ（中央演算処理部）を備える。ＣＰＵは第２のメモリ部（図にはメモリ部ＩＩと表記する）３１４から読み出したプログラムを実行することにより、各部の動作を制御する。第２のメモリ部３１４はＣＰＵの演算結果やユーザ操作によって撮像装置に設定されたカメラ情報等も記憶する。記録媒体制御インターフェース（Ｉ/Ｆ）部３１０は、全体制御演算部３０９の制御指令にしたがって、画像信号等を記録媒体３１２に記録し、また記録媒体３１２から情報を読み出す処理を行う。記録媒体３１２は撮像装置の本体部に着脱可能である。表示部３１１は液晶表示パネル等の表示デバイスを備え、全体制御演算部３０９の制御指令にしたがって画像データ等を画面に表示する。外部インターフェース（Ｉ/Ｆ）部３１３は、コンピュータ等の外部装置との間で情報を送受し合う通信処理部である。本実施例では撮像装置が表示部３１１を備えるが、表示手段のない撮像装置の場合には画像情報や関連情報が外部Ｉ/Ｆ部３１３を介して外部の表示装置に出力される。例えば、ＡＦ連写時の静止画像とライブビュー画像を交互に出力する処理と、ライブビュー画像だけを出力する処理が実行される。操作部３１５はスイッチやタッチパネル等の入力デバイスを備え、ユーザの操作指示を受け付けて操作指示信号を全体制御演算部３０９に出力する。全体制御演算部３０９は、操作部３１５によってユーザが設定した撮像システムの撮像モードや露出条件等に関する情報に基づいて撮像システム全体を制御する。

レンズ部３０１を通った被写体からの光は絞り３０４にて適切な光量に調整され、撮像素子３０６の撮像面上に結像される。撮像素子３０６の画素部１０１を構成する光電変換部は被写体の光学像に対して光電変換を行い、電気信号を出力する。電気信号はさらにゲイン制御が行われ、Ａ／Ｄ変換によってアナログ信号からデジタル信号へ変換された上でＲ、Ｇｒ、Ｇｂ、Ｂの信号として取り込まれ、撮像信号処理回路３０７に送られる。

撮像信号処理回路３０７は、撮像された画像データを用いて所定の演算処理を行う。得られた演算結果に基づいて全体制御演算部３０９が露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また、撮像信号処理回路３０７は、撮像された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。この他、撮像信号処理回路３０７は、ノイズを低減するローパスフィルタ処理や、シェーディング補正処理、ホワイトバランス処理等の各種の信号処理を行い、さらに各種の補正および画像信号の圧縮等を行う。

撮影中のレンズ部３０１は、レンズ駆動部３０２によってズーム駆動およびフォーカス駆動等の制御が行われる。メカニカルシャッタ３０３と絞り３０４はそれぞれ、全体制御演算部３０９の制御指令にしたがってメカニカルシャッタ・絞り駆動部３０５により駆動される。第１のメモリ部３０８は撮像後の画像信号を一時的に記憶する。記録媒体制御Ｉ／Ｆ部３１０は、記録媒体３１２に画像信号を記録する処理と、記録媒体３１２から信号を読み出す処理を行う。表示部３１１は撮像された画像を画面に表示する。

次に図４を参照して、本実施例における合焦判定について説明する。図４は本実施例におけるＡ画素およびＢ画素の各出力信号が撮像信号処理回路３０７へ送られた場合の焦点検出用信号を示す図である。図４において、横軸Ｘは連結された信号の画素並び方向における位置を示し、縦軸Ｙは信号の強度を示す。焦点検出用信号４０１ａはＡ画像の信号に相当し、焦点検出用信号４０１ｂはＢ画像の信号に相当する。これらの信号は、焦点検出用画像信号であるＡ画像信号とＢ画像信号としてそれぞれ形成される信号である。図４に示す例は、レンズ部３０１が撮像素子３０６に対してデフォーカス状態であるため、焦点検出用信号４０１ａが左側にずれ、焦点検出用信号４０１ｂが右側にずれた状態となっている。Ａ画像とＢ画像の信号のずれ量を撮像信号処理回路３０７が算出することにより、像ずれ量からデフォーカス量が算出される。すなわちレンズ部３０１が合焦状態からどれだけずれているかを検出することができる。

具体的には、撮像信号処理回路３０７はＡ画像信号とＢ画像信号との位相差を求める相関演算を行い、位相差から被写体距離を算出するための測距演算を行う。被写体距離は撮像装置から被写体までの距離であり、デフォーカス量に対応する量として算出される。Ａ画像とＢ画像との一致の程度を表す量Ｕとして、（１）式を用いることができる。

ただし、ａ_ｊはｊ番目のＡ画素の信号であり、ｂ_ｊはＢ画素の信号である。（１）式の量Ｕは合焦時に最小値となる。

さらに、Ｂ画像に対してＡ画像を相対的にｐ画素分だけシフトしてＵの値を計算する処理が行われる。（２）式で算出される量をＰと表記する。

合焦時のシフト量においてＰは最小値となる。このシフト量に基づいて、どの程度合焦位置からずれているかを示すデフォーカス量が算出される。

デフォーカス量がゼロとなった場合、つまり合焦した場合にＡ画像とＢ画像は一致するはずであるが、Ａ画像とＢ画像に違いがある場合には撮像面位相差ＡＦの精度が低下してしまう。そこで、例えば２つの画像の共通領域の面積を求め、求めた面積に応じて信頼性を判断する処理が行われる。面積が大きいほど、合焦の信頼性は高いと判断され、面積が小さいほど、合焦の信頼性は低いと判断される。

次に撮像信号処理回路３０７は、図４の焦点検出用信号４０１ａ、４０１ｂのエッジの急峻度を算出する。エッジの急峻度（Ｅと記す）は、（３）式を用いて算出される。

（３）式において、Ｅ値が大きな値である場合、合焦の信頼性が高いと判断され、Ｅ値が小さな値である場合には合焦の信頼性が低いと判断される。

図５は、本実施例の合焦判定テーブルを例示した図である。合焦判定テーブルは、相関演算結果の信頼性と、エッジ急峻度Ｅによる信頼性に応じて、以下の４段階の状態値ＡからＤを有する。相関演算結果の信頼性に関して、「大」、「中」、「小」の３段階とし、相関演算結果（Ｕ値）が小さいほど、信頼性が高いものとする。また、エッジ急峻度Ｅによる信頼性に関して、「高」、「中」、「低」の３段階とし、Ｅ値が高いほど信頼性が高いものとする。

Ａ：合焦している状態。
Ｂ：合焦していない状態。撮影条件を少し変化させれば、合焦可能である。
Ｃ：合焦していない状態。撮影条件をＢよりも大きく変化させれば、合焦可能である。
Ｄ：全く合焦していない状態。撮影条件を大きく変化させないと、合焦しない。
例えば、相関演算結果が「小」で、エッジ急峻度Ｅが「高」である場合にＡとなり、これは合焦時の状態値である。本実施例では説明の便宜上、４段階の合焦判定を説明するが、もちろん、４段階未満または５段階以上の合焦判定も可能である。

図６および図７を参照して、本実施例におけるＡＦ連写時の処理例を説明する。図６および図７は、合焦判定テーブルを用いたＡＦ連写を説明するフローチャートである。
連写開始時に全体制御演算部３０９は静止画撮影の絞りＦ値を決定する（Ｓ６０１）。次に静止画撮影用の撮像素子３０６の露光が開始する（Ｓ６０２）。露光終了後、撮像素子３０６から静止画像の画像信号が読み出される（Ｓ６０３）。次に、全体制御演算部３０９は図５の合焦判定テーブルに従い、合焦判定の結果を判断する。状態値Ａに該当するかどうかが判断され（Ｓ６０４）。Ａに該当する場合（合焦した場合）、Ｓ６０５に進み、Ａ以外の場合にはＳ６０６に移行する。

Ｓ６０５で全体制御演算部３０９は、ライブビュー（ＬＶ）撮影の絞りＦ値を静止画撮影と同じＦ値に設定し、Ｓ６１０へ進む。Ｓ６０６で全体制御演算部３０９は、合焦判定の結果が状態値Ｂに該当するかどうかを判断する。Ｂに該当する場合、Ｓ６０７に進み、Ｂでない場合にはＳ６０８に移行する。Ｓ６０７で全体制御演算部３０９は、ライブビュー撮影の絞りＦ値を静止画撮影時より１段分開放側に変更し、Ｓ６１０へ進む。

Ｓ６０８で全体制御演算部３０９は、合焦判定の結果が状態値Ｃに該当するかどうかを判断する。Ｃに該当する場合、Ｓ６０９に進み、Ｃでない場合、つまりＤの場合にはＳ６１１へ移行する。Ｓ６０９で全体制御演算部３０９は、ライブビュー撮影の絞りＦ値を静止画撮影時より２段分開放側に変更し、Ｓ６１０へ進む。

合焦判定結果が状態値Ａ、Ｂ、Ｃのいずれかに該当する場合にはＳ６１０にて、撮像後の静止画像を表示部３１１の画面に表示する処理が実行された後、図７のＳ６１２に進む。一方、合焦判定結果が状態値Ｄに該当する場合にはＳ６１１にて、全体制御演算部３０９はライブビュー撮影の絞りＦ値を開放にする。そして図７のＳ６１２へ進む。

Ｓ６１２で全体制御演算部３０９は、ライブビュー撮影用の撮像素子３０６の露光を開始する。そして、撮像素子３０６からライブビュー画像の信号が読み出され（Ｓ６１３）、ライブビュー画像が表示部３１１の画面に表示される（Ｓ６１４）。全体制御演算部３０９はＡＦ制御を行う（Ｓ６１５）。その後、全体制御演算部３０９は、ユーザが操作部３１５により行った操作指示に基づき、連写を終了するかどうかを判断する（Ｓ６１６）。連写を続行すると判断された場合、Ｓ６０１へ戻る。Ｓ６１６で連写終了と判断された場合には一連の処理を終了する。

本実施例では、合焦判定結果が状態値ＢまたはＣに該当する場合、ライブビュー撮影時の絞り値が変化する。その分、画像の明るさを静止画像に合わせるために露光時間とＩＳＯ感度の制御を行う必要がある。このとき全体制御演算部３０９は、エッジの急峻度の判定結果に応じて、露光時間とＩＳＯ感度のどちらを優先的に変更するかを決定する。例えば、エッジの急峻度の値が低い場合には、被写体ブレが発生している可能性がある。この場合、全体制御演算部３０９は露光時間を短く設定し、ＩＳＯ感度を静止画像の場合と同じ値に設定する。逆にエッジの急峻度の値が高い場合に全体制御演算部３０９は、露光時間を静止画像の場合と同じに時間に設定し、ＩＳＯ感度を下げる設定にする。こうすることで、ライブビュー撮影時の位相差ＡＦの合焦判定精度を高くすることが可能となる。

図８は、静止画表示とライブビュー表示を交互に行う場合のタイミングチャートを示す。期間Ｔ１〜Ｔ４はそれぞれ露光期間を示す。期間Ｓ１、Ｓ３は図６のＳ６０３の静止画読み出し期間をそれぞれ示し、期間Ｓ２、Ｓ４は図７のＳ６１３のライブビュー（ＬＶ）読み出し期間をそれぞれ示す。タイミングチャートには、シャッタの開閉状態を示す。表示期間には、図６のＳ６１０の静止画表示と図７のＳ６１４のライブビュー表示が交互に行われることを示す。期間Ｄ１，Ｄ３は、図６のＳ６１０の静止画表示期間であり、期間Ｄ２、Ｄ４は図７のＳ６１４のライブビュー表示期間である。合焦判定、絞り制御およびＡＦ制御のタイミングを黒塗り長方形の記号でそれぞれ示す。静止画像の合焦判定およびライブビューの合焦判定のタイミングはそれぞれ、読み出し期間Ｓ１〜Ｓ４の終了後である。静止画像の合焦判定後に絞り制御が行われ、ライブビューの合焦判定後に絞り制御およびＡＦ制御が行われる。

露光期間Ｔ１の終了後、静止画読み出し期間Ｓ１にて静止画像の信号が取得される。そして、静止画像の合焦判定処理が行われ、合焦判定結果が図５の状態値Ａ、Ｂ、Ｃのいずれかに該当する場合には期間Ｄ１にて静止画表示が行われる。そして、絞り制御が行われる。露光期間Ｔ２の終了後、ライブビュー読み出し期間Ｓ２にてライブビュー画像の信号が読み出される。期間Ｄ２でライブビュー表示が行われる。ライブビューの合焦判定後に絞り制御とＡＦ制御が行われる。

図９は、静止画表示とライブビュー表示を交互に表示しない場合のタイミングチャートを示す。各項目は図８と同じであるが、静止画表示は行われない。露光期間Ｔ１の終了後、静止画読み出し期間Ｓ１にて信号が読み出される。そして、静止画像の合焦判定が行われる。合焦判定結果が図５の状態値Ｄに該当する場合、静止画表示は行わない。そして、絞りが開放に設定されて、露光期間Ｔ２の終了後、ライブビュー読み出し期間Ｓ２でライブビュー画像の信号が読み出される。期間Ｄ２でライブビュー表示が行われる。ライブビューの合焦判定後に絞り制御とＡＦ制御が行われる。

本実施例では、ライブビュー撮影時の絞り制御に関し、図５の合焦判定テーブルと、静止画撮影時の絞りの状態によって判断する。静止画撮影時の画像とライブビュー撮影時の画像とを交互に表示させる場合に露出条件（絞り値）の差を小さくする制御が行われる。これにより、ＡＦ連写中の静止画撮影時に絞りを絞った場合においても、表示品質の維持とフレーミング中の追従性を両立させることができる。

なお、第１実施例において露出条件として絞り値の差を小さくする制御を示したが、露出条件としては絞り値以外にも露光時間や感度（ISO感度）等の差も小さくするように制御してもよい。つまり、静止画撮影時のプログラム線図とライブビュー撮影時のプログラム線図とを同様の構成とするようにしてもよい。

また、合焦の判定に関しては静止画撮影時およびライブビュー撮影時の両方で行う場合には、それぞれに対して重みづけを行ってもよい。これはライブビュー撮影時の解像度は静止画の解像度と比較して低いために、合焦判定精度としては低い場合がるためで、ライブビュー撮影時の合焦の判定結果の重みを低く設定することが好ましい。

［第２実施例］
次に本発明の第２実施例を説明する。本実施例では、静止画撮影時の絞りの状態以外に、レンズ部３０１の焦点距離や被写体距離の違いに応じて、ライブビュー撮影時の絞りを制御する構成について説明する。なお、本実施例において第１実施例と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。

レンズ部３０１の焦点距離の違いによって、絞り値が変更された場合の画像の見え方が大きく異なる。例えば、焦点距離の短い広角時に絞り値を２段変更した場合の画像の見え方の変化は小さいが、焦点距離の長い望遠時に絞り値を２段変更した場合には画像の見え方の変化が大きくなる。そこで、本実施例では、レンズ部３０１の焦点距離に応じて以下の制御を行う。

・焦点距離が短い広角側の場合（例えば５０ｍｍ以下）
全体制御演算部３０９は、図５の合焦判定結果が状態値Ｂであると判定したときに、図６のＳ６０７のライブビューの絞り制御における絞り値を静止画像の場合よりも２段分開放側に変更する。また全体制御演算部３０９は、図５の合焦判定結果が状態値Ｃである判定したときに、図６のＳ６０９のライブビューの絞り制御における絞り値を静止画像の場合よりも４段分開放側に変更にする。

・焦点距離の長い望遠側の場合
全体制御演算部３０９は、ライブビューの絞り制御にて第１実施例と同じ処理を行う。

次に被写体距離の違いについて説明する。撮像装置から被写体までの距離によって、絞り値が変更された場合の画像の見え方が大きく異なる。例えば、被写体距離が大きい場合に絞り値を２段変更した場合の画像の見え方の変化は小さいが、被写体距離が小さい場合に絞り値を２段変更した場合には画像の見え方の変化が大きくなる。そこで本実施例では、被写体距離に応じて以下の制御を行う。

・被写体距離が大きい場合（例えば３ｍ以上）
全体制御演算部３０９は、図５の合焦判定結果が状態値Ｂであると判定したとき、図６のＳ６０７のライブビューの絞り制御における絞り値を静止画像の場合よりも２段分開放側に変更する。また全体制御演算部３０９は、図５の合焦判定結果が状態値Ｃであると判定したとき、図６のＳ６０９のライブビューの絞り制御における絞り値を静止画像の場合よりも４段分開放側に変更する。

・被写体距離が小さい場合
全体制御演算部３０９は、ライブビューの絞り制御にて第１実施例と同じ処理を行う。

また本実施例では、レンズ部３０１の焦点距離および被写体距離に応じて以下の制御を行う。
・焦点距離が閾値より長く、かつ、被写体距離が閾値より大きい場合
全体制御演算部３０９は、図５の合焦判定結果が状態値Ｂであると判定したとき、図６のＳ６０７のライブビューの絞り制御における絞り値を静止画像の場合よりも２段分開放側に変更する。また全体制御演算部３０９は、図５の合焦判定結果が状態値Ｃであると判定したとき、図６のＳ６０９のライブビューの絞り制御における絞り値を静止画像の場合よりも４段分開放側に変更する。

・焦点距離が閾値より長く、かつ、被写体距離が閾値以下である場合
全体制御演算部３０９は、ライブビューの絞り制御にて第１実施例と同じ処理を行う。

次に図１０を参照してモードに応じた合焦判定について説明する。図１０Ａはフレーミング中の追従性を優先する第１の合焦判定モードにおける合焦判定テーブルを例示する。第１の合焦判定モードは、ＡＦの合焦精度よりも表示更新を優先させるモードである。図１０Ｂはフレーミング中のＡＦ精度を優先する第２の合焦判定モードにおける合焦判定テーブルを例示する。第２の合焦判定モードは、表示更新よりもＡＦの合焦精度を優先させるモードである。全体制御演算部３０９は、モードごとに合焦判定テーブルを切り替える。各信頼性の段階や状態値ＡからＤについては図５で説明した通りである。

図１０Ａに示す第１の合焦判定モードの場合、可能な限り静止画像とライブビュー画像の交互表示が行われるようにするために、図５に比べて合焦判定テーブルにて状態値Ｄの数が少なくなっている。つまり、相関演算結果が「大」であって、かつエッジの急峻度が「中」である場合と、相関演算結果が「中」であって、かつエッジの急峻度が「低」である場合に、状態値Ｃと判定される。よって、静止画像とライブビュー画像が交互に表示される頻度が相対的に高くなる。

図１０Ｂに示す第２の合焦判定モードの場合、ＡＦ精度を優先させるために、図５に比べて合焦判定テーブルにて状態値Ｄの数が多くなっている。つまり、相関演算結果が「大」であって、かつエッジの急峻度が「高」である場合と、相関演算結果とエッジの急峻度が「中」である場合と、相関演算結果が「小」であって、かつエッジの急峻度が「低」である場合に、状態値Ｄと判定される。よって、ライブビュー画像が表示される頻度が相対的に高くなる。

本実施例では、レンズ部３０１の焦点距離や被写体距離に応じた絞り制御によって撮像素子３０６の露出状態が変更される。これにより、ＡＦ連写中の静止画撮影時に絞りを絞った場合においても、撮影条件や撮影モードに応じて表示品質の維持とフレーミング中の追従性を両立させることが可能である。

［第３実施例］
図１１は、本発明の第３実施例に係る複数の撮影レンズを交換可能なカメラ本体と撮影レンズとからなるカメラシステムの形態を持つ撮像装置の構成を示すブロック図である。本実施例のカメラシステム（撮像装置）はレンズ交換式一眼レフカメラであり、撮影レンズからなるレンズユニット１１００とカメラ本体１１２０とを有する。レンズユニット１１００は、図中央の点線で示されるマウントＭを介して、カメラ本体１１２０に装着される。

レンズユニット１１００は、結像光学系（第１レンズ群１１０１、絞り１１０２、第２レンズ群１１０３、第３レンズ群（フォーカスレンズ１１０４））、および駆動／制御系を有する。第１レンズ群１１０１は、レンズユニット１１００の先端に配置され、光軸方向ＯＡに移動可能に保持される。絞り１１０２は、撮影時の光量を調節する機能のほか、静止画撮影時には露出時間を制御するメカニカルシャッターとしての機能を有する。絞り１１０２および第２レンズ群１１０３は、一体で光軸方向ＯＡに移動可能であり、第１レンズ群１１０１と連動して移動することによりズーム機能を実現する。フォーカスレンズ１１０４も光軸方向ＯＡに移動可能であり、位置に応じてレンズユニット１１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１１００の合焦距離を調節する焦点調節を行うことができる。

駆動／制御系は、ズームアクチュエータ１１１１、絞りアクチュエータ１１１２、フォーカスアクチュエータ１１１３、ズーム駆動回路１１１４、絞り駆動回路１１１５、フォーカス駆動回路１１１６、レンズＭＰＵ１１１７（プロセッサ）、レンズメモリ１１１８を有する。

ズーム駆動回路１１１４は、ズームアクチュエータ１１１１を用いて第１レンズ群１１０１および第２レンズ群１１０３を光軸方向ＯＡに駆動し、レンズユニット１１００の光学系の画角を制御する。絞り駆動回路１１１５は、絞りアクチュエータ１１１２を用いて絞り１１０２を駆動し、絞り１１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１１６は、フォーカスアクチュエータ１１１３を用いてフォーカスレンズ１１０４を光軸方向ＯＡに駆動し、レンズユニット１１００の光学系の合焦距離を制御する。また、フォーカス駆動回路１１１６は、フォーカスアクチュエータ１１１３を用いてフォーカスレンズ１１０４の現在位置を検出する。

レンズＭＰＵ１１１７は、レンズユニット１１００に係る全体的な演算、制御を行い、ズーム駆動回路１１１４、絞り駆動回路１１１５、フォーカス駆動回路１１１６を制御する。また、レンズＭＰＵ１１１７は、マウントＭを通じてカメラＭＰＵ１１２５と接続され、コマンドやデータを通信する。例えば、レンズＭＰＵ１１１７は、フォーカスレンズ１１０４の位置を検出し、カメラＭＰＵ１１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置および直径などの情報を含む。また、レンズＭＰＵ１１１７は、カメラＭＰＵ１１２５からの要求に応じて、ズーム駆動回路１１１４、絞り駆動回路１１１５、フォーカス駆動回路１１１６を制御する。レンズメモリ１１１８には、撮像面位相差ＡＦに必要な光学情報が予め記憶されている。レンズＭＰＵ１１１７は、例えば内蔵する不揮発性メモリやレンズメモリ１１１８に記憶されているプログラムを実行することで、レンズユニット１１００の動作を制御する。

カメラ本体１１２０は、光学系（光学ローパスフィルタ１１２１および撮像素子１１２２）と、駆動／制御系とを有する。光学ローパスフィルタ１１２１は、撮像画像の偽色やモアレを軽減する。撮像素子１１２２は、ＣＭＯＳイメージセンサと周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｎ，ｍは２以上の整数）が配置される。本実施例の撮像素子１１２２は、瞳分割機能を有し、視差を持つ画像データを用いた撮像面位相差ＡＦが可能である。

駆動／制御系は、撮像素子駆動回路１１２３、画像処理回路１１２４、カメラＭＰＵ１１２５（プロセッサ）、表示部１１２６、操作スイッチ群１１２７、メモリ１１２８、撮像面位相差焦点検出部１１２９を有する。画像処理回路１１２４は、撮像素子１１２２が出力する画像データから、焦点検出信号と、表示・記録用の画像データを生成する。

撮像素子駆動回路１１２３は、撮像素子１１２２の動作を制御すると共に、取得した画像データをＡ／Ｄ変換してカメラＭＰＵ１１２５に送信する。画像処理回路１１２４は、撮像素子１１２２が取得した画像データに対して、γ変換、ホワイトバランス調整処理、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。

カメラＭＰＵ１１２５は、カメラ本体１１２０に係る全体的な演算、制御を行い、撮像素子駆動回路１１２３、画像処理回路１１２４、表示部１１２６、操作スイッチ群１１２７、メモリ１１２８、撮像面位相差焦点検出部１１２９を制御する。カメラＭＰＵ１１２５は、マウントＭを介してレンズＭＰＵ１１１７と接続され、レンズＭＰＵ１１１７とコマンドやデータを通信する。カメラＭＰＵ１１２５は、レンズＭＰＵ１１１７に対し、レンズ位置の取得要求や、所定の駆動量での絞り、フォーカスレンズ、ズーム駆動要求や、レンズユニット１１００に固有の光学情報の取得要求などを発行する。カメラＭＰＵ１１２５には、カメラ本体１１２０の動作を制御するプログラムを格納したＲＯＭ１１２５ａ、変数を記憶するＲＡＭ１１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１１２５ｃが内蔵されている。

表示部１１２６は、ＬＣＤなどから構成され、カメラ本体１１２０の撮影モードに関する情報、撮影前のプレビュー画像および撮影後の確認用画像、焦点検出時の合焦状態画像などを表示する。操作スイッチ群１１２７は、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。メモリ１１２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。

撮像面位相差焦点検出部１１２９は、画像処理回路１１２４により得られる撮像面位相差ＡＦ信号に基づき、撮像面位相差ＡＦによる焦点検出処理を行う。具体的には、画像処理回路１１２４が撮像面位相差ＡＦ信号として撮影光学系の一対の瞳領域を通過する光束で形成される一対の像データを生成し、撮像面位相差焦点検出部１１２９がこの一対の像データのずれ量に基づいて焦点ずれ量（デフォーカス量）を検出する。このように、本実施例の撮像面位相差焦点検出部１１２９は、専用のＡＦセンサを用いず、撮像素子１１２２の出力に基づく撮像面位相差ＡＦを行う。

図１２を参照して、撮像面位相差焦点検出部１１２９の動作について詳細に説明する。図１２は、本実施例に係る撮像素子１１２２の画素配列を示す図であり、２次元Ｃ−ＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、レンズユニット１１００側から観察した状態を示している。撮像素子１１２２には、ベイヤー配列のカラーフィルタが設けられている。本実施例のベイヤー配列は、例えば、奇数行の画素には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタがＸ方向に交互に配置され、偶数行の画素には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタがＸ方向に交互に配置されている。画素１２１１において、符号１２１１ｉが指す円はオンチップマイクロレンズを表し、オンチップマイクロレンズ１２１１ｉの内側に配置された複数の矩形（符号１２１１ａ，１２１１ｂ）はそれぞれ光電変換部を表している。

本実施例の撮像素子１１２２は、撮影光学系の異なる瞳部分領域を各々通過する光束を受光する第１と第２の焦点検出画素を有する。なお、本実施例では、撮像素子１１２２中のすべての画素の光電変換部はＸ方向に２分割され、分割された一方の領域の光電変換信号と、２つの光電変換信号の和とは、独立して読み出しできる構成となっている。しかしながら、Ｘ方向、Ｙ方向に複数分割された構成であってもよい。そして、独立して読み出しされた信号に関して、２つの光電変換信号の和と分割された一方の領域の光電変換信号との差分をとることにより、もう一方の光電変換領域で得られる信号に相当する信号を得ることができる。これらの分割された領域の光電変換信号は、後述する方法で位相差式焦点検出に用いられるほか、視差情報を有した複数画像から構成される３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）画像を生成することもできる。一方で、２つの光電変換信号の和は、通常の撮影画像として用いられる。

ここで、撮像面位相差ＡＦ信号について説明する。本実施例においては、図１２のオンチップマイクロレンズ１２１１ｉと、分割された光電変換部１２１１ａ，１２１１ｂで撮影光学系の射出光束を瞳分割する。そして、同一画素行に配置された所定範囲内の複数の画素１２１１について、光電変換部１２１１ａの出力をつなぎ合わせて編成したものを撮像面位相差ＡＦ用のＡ像（ＡＦ用Ａ像）とする。また、光電変換部１２１１ｂの出力をつなぎ合わせて編成したものを撮像面位相差ＡＦ用のＢ像（ＡＦ用Ｂ像）とする。光電変換部１２１１ａ，１２１１ｂの出力は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の出力を加算して算出した疑似的な輝度（Ｙ）信号を用いる。但し、赤、青、緑の色ごとに、ＡＦ用Ａ像、ＡＦ用Ｂ像を編成してもよい。このように生成したＡＦ用Ａ像とＡＦ用Ｂ像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量（デフォーカス量）を検出することができる。本実施例では、一方の光電変換部の出力と全光電変換部の出力の和を撮像素子１１２２から読み出すものとする。例えば光電変換部１２１１ａの出力と、光電変換部１２１１ａ，１２１１ｂの出力の和とが読み出される場合、光電変換部１２１１ｂの出力は、和から光電変換部１２１１ａの出力を減じることで取得される。これにより、ＡＦ用Ａ像とＡＦ用Ｂ像の両方を得ることができ、撮像面位相差ＡＦが実現できる。このような撮像素子は、例えば特開２００４−１３４８６７号公報に開示されるように公知であるため、これ以上の詳細な説明は省略する。

なお、ここでは一例として水平方向に射出瞳を２分割する構成を説明したが、撮像素子１１２２中の一部の画素については垂直方向に射出瞳を２分割する構成としてもよい。また、水平および垂直の両方向に射出瞳を分割する構成としてもよい。垂直方向に射出瞳を分割する画素を設けることにより、水平だけでなく垂直方向の被写体のコントラストに対応した撮像面位相差ＡＦが可能となる。

以上説明したように、撮像素子１１２２は、撮像の機能だけではなく、焦点検出装置としての機能も有している。なお、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、撮像面位相差ＡＦを行うことが可能である。

図１３は、本発明の第３実施例に係るカメラ本体１１２０が実行する焦点検出処理、撮像処理、および表示処理を説明するフローチャートである。本フローチャートにおいて、各ステップの処理は、特に断らない限り、カメラＭＰＵ１１２５がＲＯＭ１１２５ａに格納されたプログラムに従ってカメラ本体１１２０の各部を制御したりレンズＭＰＵ１１１７と通信したりすることにより実現される。なお、以降の説明では、撮像装置が表示部１１２６に表示用の画像データを逐次表示するライブビュー（ＬＶ）状態から撮像を行うＬＶ撮影を実行する際の動作について説明する。

S７０１で、カメラＭＰＵ１１２５は、撮像素子駆動回路１１２３および撮像素子１１２２の駆動を制御し、被写体を撮像することで撮像データを取得する。ここでは、ＬＶ表示用の動画撮影のための駆動動作であるため、ＬＶ表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッタを用いた撮影を行う。このＬＶ表示としては、撮影者（ユーザ）が撮像範囲や撮影条件の確認を行うことを主たる目的としており、例えば、３０フレーム／秒（撮像間隔３３．３ｍｓ）や６０フレーム／秒（撮像間隔１６．６ｍｓ）であればよい。なお、S７０１の処理において、初期値設定動作として、後述する交互表示フラグを０として初期化する。

次に、S７０２で、カメラＭＰＵ１１２５は、S７０１で得られた撮像データのうち、撮像素子の焦点検出領域に含まれる第１焦点検出画素と第２焦点検出画素から得られる焦点検出データを取得する。また、カメラＭＰＵ１１２５は、撮像信号を生成し、画像処理回路１１２４で色補間処理などを適用して得られる画像データを取得する。このように、１回の撮像により、画像データ（画像信号）と、焦点検出データ（焦点検出信号）とを取得することができる。なお、撮像画素と、第１焦点検出画素、第２焦点検出画素を個別の画素構成とした場合には、焦点検出用画素の補完処理などを行って画像データを取得する。なおカメラＭＰＵ１１２５は、S７０２の処理で得られた画像信号（第２の画像信号）を用いて、設定された撮影条件においてフリッカの発生有無を検出するフリッカ検知を実施する。本実施例では、カメラ本体１１２０の電源起動時やユーザによる手動操作に応じて実行されるフリッカ検知結果をメモリ１１２８に記録しておき、当該フリッカ検知結果に応じて、後述する交互表示の実行有無を判定する。なお、フリッカ検知の方法は公知の方法であればどのようなものを採用してもよい。例えば、本実施例では、フリッカの光量変化周期と特徴点の位置を検出することでフリッカ検知を実行する（例えば、特開２０１５−２２０６７３号公報を参照）が、これに限定されるものではない。例えば、画像信号に対応した画面全体に発生している明暗差を抽出し、抽出した明暗差に関する情報とカメラ本体１１２０の内部に予め格納されているフリッカ情報とを比較することで、フリッカ検知を実行する構成であればよい。

次に、S８００で、カメラＭＰＵ１１２５は、画像処理回路１１２４を制御して、S７０２の処理で得られた画像信号（第２の画像信号）に基づいてＬＶ表示用の画像（ＬＶ画像）を生成し、表示部１１２６に表示する。なお、ＬＶ表示用の画像は、例えば表示部１１２６の解像度に合わせた縮小画像であり、S７０２の処理で画像データを生成する際に画像処理回路１１２４で縮小処理を実施する。そして、カメラＭＰＵ１１２５は、当該縮小処理後のＬＶ画像（第２の画像）を表示部１１２６に表示させる。上述の通り、ＬＶ表示中は所定のフレームレートで被写体の撮像と逐次表示が行われるため、表示部１１２６を通じてユーザは撮影時の構図や露出条件の調整などを行うことができる。

なお、S８００で、カメラＭＰＵ１１２５は、S７０２で取得した画像信号（第２の画像信号）からＬＶ画像（第２の画像）を生成する際に、後述する交互表示用の静止画像（第３の画像）と交互表示を行うか否かに応じて異なる処理を実行する。交互表示を行う場合は、第２の画像と第３の画像との差が少なくなるような処理を実行して、第２の画像信号を生成する。これにより、異なる露出条件や信号読出し条件で取得した第３の画像と第２の画像を用いた表示を行う際に、違和感の少ない表示が可能となる。S８００の処理の詳細については後述する。なお、以降の説明では、後述する第１の画像信号に基づいて記録用の静止画像（第１の画像）と交互表示用の静止画像（第３の画像）を生成し、第２の画像信号に基づいてＬＶ画像（第２の画像）を生成する。

次に、S７０３で、カメラＭＰＵ１１２５は、S７０２で取得した焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施例では、カメラＭＰＵ１１２５が焦点検出用の像信号の生成と、焦点検出用信号のずれ量（位相差）の算出と、算出したずれ量からデフォーカス量と方向を求める処理を実施する。カメラＭＰＵ１１２５は、焦点検出用の像信号を生成する際に、第２の画像信号を生成する際に行う信号処理とは異なる処理（例えばゲイン調整、ローパス処理など）を行う。

表示に用いる第２の画像の元データである第２の画像信号は、表示部１１２６で撮像範囲の構図、色、明るさ、ボケ具合などの確認が可能であることが求められるため、ゲイン処理により一部の信号が飽和してしまう場合がある。一方で、焦点検出用の像信号は、飽和信号を含まない方が、高精度な焦点検出を行うことができる。また、第２の画像は、後述する交互表示に用いる静止画像に対応させた画像処理を行うため、焦点検出を行うために十分なコントラストが確保できない、あるいは、ローパス処理などにより高周波成分の信号を取得できない場合がある。そこで、S７０３の処理でカメラＭＰＵ１１２５は、第２の画像を生成する際とは異なる処理を第２の画像信号に対して施すことにより、コントラストや高周波成分の信号を取得可能にし、焦点検出に適した焦点検出用の像信号を生成する。

次に、S７０４でカメラＭＰＵ１１２５は、撮影準備開始を示すスイッチであるＳＷ１のオン／オフを検出する。操作スイッチ群１１２７の一つであるレリーズ（撮像トリガ）スイッチは、当該レリーズスイッチの押し込み量に応じて、２段階のオン／オフを検出することが可能である。上述のＳＷ１のオン／オフは、レリーズ（撮像トリガ）スイッチの１段階目のオン／オフに相当し、撮影準備開始を示す。

次に、S７０４で、ＳＷ１のオンが検出されない（あるいはオフが検出された）場合に、カメラＭＰＵ１１２５は、処理をS７０９に進め、操作スイッチ群１１２７に含まれるメインスイッチがオフされたか否かを判別する。一方、S７０４でＳＷ１のオンが検出されると、カメラＭＰＵ１１２５は、処理をS７０５に進め、合焦させる焦点検出領域を設定（選択）する。ここでは、ユーザが指示した焦点検出領域を設定してもよいし、S７０４の処理で得られた複数の焦点検出領域のデフォーカス量の情報や焦点検出領域の撮像範囲中心からの距離などの情報に基づいて、カメラＭＰＵ１１２５が自動的に設定してもよい。なお、一般的に、ユーザが撮影を意図する被写体は、撮影距離の短い位置に存在する確率が高く、また撮像範囲の中央付近に存在する確率が高い。カメラＭＰＵ１１２５は、例えば複数の被写体が存在する場合に、これらの条件を考慮して適切と考えられる焦点検出領域を自動的に設定する。また、カメラＭＰＵ１１２５は、例えば、主被写体を判定できる被写体と背景とを判別できる場合に、当該主被写体が存在する領域を焦点領域として設定する。

次に、S７０６でカメラＭＰＵ１１２５は、選択した焦点検出領域で検出されたデフォーカス量に基づき、レンズ駆動を行う。なお、検出されたデフォーカス量が所定の閾値よりも小さい場合は、必ずしもレンズ駆動を行わない構成であれば、頻繁に必要がないレンズ駆動がされることを抑制することが出来る。

次に、S７０７で、カメラＭＰＵ１１２５は、撮像開始指示を示すスイッチであるＳＷ２のオン／オフを検出する。前述したように、レリーズ（撮像トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出することが可能である。上述のＳＷ２は、レリーズ（撮像トリガ）スイッチの２段階目のオン／オフに相当し撮像開始を示す。カメラＭＰＵ１１２５は、S７０７でＳＷ２のオンが検出されない場合はS７０２の処理に戻り、前述したＬＶ表示、焦点検出を繰り返す。

S７０７でＳＷ２のオンが検出された場合はS９００の処理に進み、カメラＭＰＵ１１２５は、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。S９００で撮影サブルーチンが実行されるとS１０００に進む。

次に、S１０００で、第３の画像（交互表示用の静止画像）の表示判定を行い、その後、S７０８で第３の画像を表示部１１２６に表示するか否かを判断する。なお、第３の画像は、S９００で得られた記録用の静止画像（第１の画像）に対応する交互表示用の静止画像である。

次に、S７０８の処理で第３の画像を表示部１１２６に表示すると判断されると、S１１００に進み、カメラＭＰＵ１１２５は、第３の画像の生成し、第３の画像を表示部１１２６に表示させる。一方で、S７０８で、第３の画像の表示を行わないと判断されると、第３の画像は生成せずに、S７０２に戻る。S１０００の処理で行う第３の画像表示判定についての詳細は後述する。

S１１００でカメラＭＰＵ１１２５は、S９００の処理で得られた記録用の静止画像（第１の画像）とＬＶ画像（第２の画像）に基づいて交互表示用の静止画像（第３の画像）を生成する。上述のとおり、事前に交互表示用の静止画像との差が小さくなるようにＬＶ画像を生成しているため、交互表示用の静止画像（第３の画像）を生成する際は、必要最低限の処理を施す。なお、撮像動作の容易化を優先し、交互表示の静止画像（第３の画像）をＬＶ画像（第２の画像）に対応させて生成する構成であってもよい。S１１００で行う処理の詳細については後述する。

S１１００の処理を終えると、S７０９に進む。S７０９でカメラＭＰＵ１１２５は、メインスイッチのオフが検出された場合に一連の撮影動作（焦点検出および表示制御を含む）を終了する。一方、S７０９でメインスイッチのオフが検出されない場合、S７０２に戻り前述した各種の処理を繰り返す。例えば、S７０９の処理においてメインスイッチのオフが検出されず、S７０４の処理でＳＷ１が検出され、さらにS７０７の処理でＳＷ２が継続して検出された場合、一連の撮影動作が繰り返し行われる、いわゆる連写（連続撮影）が行われる。本実施例のカメラ本体１１２０は、ＬＶ表示の有無に関わらず、連写撮影を行う場合は所定の間隔で記録用の静止画像（第１の画像）を複数回取得される。そして、ＬＶ表示中に連続撮影が指示された場合は、記録用の静止画像を取得している間（すなわち連続撮影中）に、少なくともＬＶ画像を表示部１１２６に表示することができる。

次に、上述したS８００で示すＬＶ画像（第２の画像）の生成、表示処理の詳細について図１４を参照して説明する。図１４は、本発明の第３実施例に係るＬＶ画像の生成・表示処理について説明するフローチャートである。なお、図１４に示すフローチャートは連続撮影における２回目以降の撮像動作において実行される処理を示しており、当該２回目以降の撮像処理をｎ回目（ｎは自然数）と想定して説明する。以降の説明では、対応する撮像動作の回数（例えばｎ回目）を、括弧内に示す。

まず、S８０１で、カメラＭＰＵ１１２５は、S７０２で取得した画像データ（ｎ）を取得する際の撮影条件と、S９００で取得された交互表示用の静止画像である第３の画像（ｎ−１）の撮影条件を取得する。

ここで、撮影条件としては、露光時間（電荷蓄積時間）、絞り開口径に係る絞り値（Ｆ値）、ＩＳＯ感度調整などによる信号に施されたゲイン情報などの露出パラメータに関する露出条件が該当する。また、撮影条件としては、不図示のジャイロセンサーなどから出力された被写体のぶれ情報、画像の主被写体部のコントラスト情報などから得られるボケ情報などが該当する。

次に、S８０２で、カメラＭＰＵ１１２５は、S８０１の処理で取得した情報に基づいて、第２の画像と第３の画像の交互表示を行うか否かに関する情報を示す交互表示フラグ＝１であるかを判定する。交互表示フラグの設定については、図１６を参照して後述する。

S８０２の処理で交互表示フラグ＝１であると判定された場合、S８０３に進み、カメラＭＰＵ１１２５は、交互表示に用いるＬＶ画像である第２の画像（ｎ）の編集設定を行う。具体的に、交互表示を実行する場合は、S８０１で得た撮影条件を用いて、直前に取得（生成）された第３の画像（ｎ−１）と第２の画像（ｎ）の差が小さくなるように、ＬＶ画像（第２の画像（ｎ））の編集設定を行う。この編集設定としては、S７０２の処理で取得された画像データに対して、ゲイン調整、シャープネス（ボケ）調整、ローパス処理（空間周波数フィルタリング）などを行う。この構成により、交互表示する画像間でユーザに与える違和感を軽減することが出来る。

ここで、上述したS８０３におけるゲイン調整に関して具体的に説明する。カメラＭＰＵ１１２５は、第３の画像（ｎ−１）とS７０２の処理で取得された画像データ（ｎ）との間でゲインや露光時間が異なる場合、ＬＶ画像（ｎ）は第３の画像（ｎ−１）に合わせたゲイン調整となるような編集設定とする。例えば、第３の画像（ｎ−１）に係る露光時間が１／３０秒でゲインが２倍である場合を想定する。この場合、S７０２の処理で取得した画像データ（ｎ）に係る露光時間が１／１５秒でゲインが４倍であると、ＬＶ画像である第２の画像（ｎ）はS７０２の処理で取得された画像データ（ｎ）に対して、ゲインが１／４倍となるような編集設定とする。

なお、後述する露出シミュレーションの設定によって、第１の画像（記録用の静止画像）と第２の画像（ＬＶ画像）とでゲインが異なる場合に、第３の画像（表示用の静止画像）の編集設定として、第２の画像に合わせたゲイン調整量を設定してもよい。

また、シャープネス処理やローパス処理について、第３の画像（ｎ−１）とS７０２の処理で取得した画像データ（ｎ）のフォーカス状態やぶれ状態は、露出条件をそろえたとしても、取得期間の違いにより両画像を一致させるのは困難である。そこで、本実施例では、主被写体の近傍のボケ状態を解析して、第３の画像（ｎ−１）と第２の画像（ｎ）の差を低減する。例えば、第３の画像（ｎ−１）の方がS７０２で取得した画像（ｎ）よりもボケていると判断できる場合には、当該画像（ｎ）にローパス処理を施して、第２の画像（ｎ）のボケ状態を第３の画像（ｎ−１）に揃える。そこで、S８０３の処理では、ローパス処理のフィルタ設定を行う。ローパス処理やシャープネス処理の強弱は、主被写体の近傍のコントラスト情報や空間周波数成分情報などを取得して設定すればよい。もしくは、露光時の手振れ情報を用いて設定してもよい。なお、Ｓ８０３で実行する処理としては、画像処理またはゲイン調整の何れか一方のみであってもよい。

以上説明したように、本実施例では、第３の画像と第２の画像を交互に表示する際に、第３の画像の次に表示される第２の画像が、当該第３の画像に対して差が小さくなるように生成される構成である。この構成により、ＬＶ画像と静止画像の両方を交互で表示する際に、両画像間の差によりユーザに与える違和感を低減することが出来る。

一方、S８０２で交互表示フラグ＝１ではない（すなわち、交互表示フラグ＝０）の場合、S８０４に進み、カメラＭＰＵ１１２５は、表示部１１２６に第２の画像のみを表示するための編集設定を行う。この場合、第３の画像（ｎ−１）と第２の画像（ｎ）の差を小さくする必要がないため、表示用として適切な明るさやコントラストとなるような編集設定とすればよい。

S８０３およびS８０４の処理で種々の編集設定が完了すると、S８０５でカメラＭＰＵ１１２５は、S７０２の処理で取得された画像（ｎ）に対して、設定された編集設定を適用させてｎ回目の撮像動作に対応したＬＶ画像（第２の画像）を生成する。そして、S８０５で第２の画像（ｎ）の生成が完了すると、S８０６に進み、カメラＭＰＵ１１２５は、第３の画像（ｎ−１）と第２の画像（ｎ）との間で、ゲイン調整、シャープネス処理、ローパス処理を実行しても調整が不可能な差があるか否かを判定する。例えば、上述した２画像間で、Ｆ値が大きく異なる場合やピント状態が大きく異なる場合は、シャープネス処理やローパス処理では両者の差を調整しきれないことがある。

S８０６において調整不可能な差があると判断された場合、S８０７で、カメラＭＰＵ１１２５は、第３の画像（ｎ−１）と第２の画像（ｎ）を合成して、新たに第２の画像（ｎ）を生成する。２つの画像の合成は、例えば、２つの画像の平均値（例えば、画像信号の出力値や輝度値など）を用いる。なお、後述する第３の画像（ｎ）を生成する際も同様の処理を行うため、２つの画像に対して時系列で移動平均処理を施すことになる。これにより、２つの画像間の差を低減することができる。一方で、被写体の移動やパンニング動作などが行われている場合に、２つの画像の平均処理を行うと、画像内の移動している部分がずれて重なった不自然な表示となる。このような場合には、この合成処理は行わないようにすればよい。

次に、S８０８でカメラＭＰＵ１１２５は、第２の画像（ｎ）を表示部１１２６に表示する。なお、上述した各処理は、画像データとして出力された各画像に対して施す構成ではなく、画像データに変換する前の画像信号を用いて実行する構成であってもよい。例えば、S８０７の処理では、第３の画像（ｎ−１）に対応する画像信号と、第２の画像（ｎ）に対応する画像信号を合成する構成であってもよい。

次に、上述したS９００で示す撮像サブルーチン処理の詳細について図１５を参照して説明する。図１５は、本発明の第３実施例に係る撮像サブルーチン処理について説明するフローチャートである。なお、例えば、図１４に図示するフローチャートにおいてｎ回目の撮像動作に関するＬＶ画像の生成および表示に関する処理の次に行われる撮像サブルーチンでは、ｎ回目の撮像動作に対応した記録用の静止画像（第１の画像）が生成される。

S９０１でカメラＭＰＵ１１２５は、露出制御処理を開始し、撮影条件（露光時間、Ｆ値、ゲイン（撮影感度））を設定する。この露出制御処理は、カメラＭＰＵ１１２５が画像データの輝度情報に基づいて行うことができるが、その方法としては任意の公知技術を用いればよい。本実施例では、例えば、ｎ回目の撮像動作においてはｎ−１回目の撮像動作で取得された記録用の静止画像に基づいて上述した輝度情報を取得する。あるいは、ｎ回目の撮像動作において取得されたＬＶ画像に基づいて輝度情報を取得する構成であってもよい。

また、S９０１でカメラＭＰＵ１１２５は、設定したＦ値と露光時間に基づいて絞りアクチュエータ１１１２を制御し、絞りを兼用するシャッタ１１０２の動作を制御する。また、カメラＭＰＵ１１２５は、設定された露光時間に基づいて撮像素子駆動回路１１２３の駆動を制御して電荷蓄積を実行する。

当該電荷蓄積が終了すると、S９０２でカメラＭＰＵ１１２５は、撮像素子駆動回路１１２３の動作を制御して、先の蓄積電荷を読み出すことで静止画像に対応する画像データ（第１の画像信号）を取得する。そして、カメラＭＰＵ１１２５は、当該第１の画像信号に基づいて記録用の静止画像（第１の画像）を取得する。なお、第１の画像信号の読み出しは、所謂全画素の読み出しであるが、記録用の静止画像として高画素な画像データを取得できるように、撮像素子１１２２の読み出しラインを設定すればよい。また、本実施例のカメラ本体１１２０としては、表示用の静止画像（第３の画像）を、記録用の静止画像（第１の画像）に基づいて生成してもよいし、記録用の静止画像と同時に第１の画像信号に基づいて生成してもよい。この場合、第１の画像信号に基づいて、記録用の静止画像と表示用の静止画像がそれぞれ生成される。なお、本実施例にお代えるＬＶ画像と静止画像は、上述したように読み出しを行う撮像素子の画素数が異なる、互いに異なる種類の画像である。

次に、S９０３でカメラＭＰＵ１１２５は、読み出された画像データに対して画像処理回路１１２４を介して欠陥画素補正処理を実施する。S９０４でカメラＭＰＵ１１２５は、欠陥画素補正後の画像データに対して画像処理回路１１２４を介してデモザイク（色補間）処理やホワイトバランス処理、γ補正（階調補正）処理、色変換処理、エッジ強調処理等の各種画像処理や、符号化処理などを適用させる。S９０５においてカメラＭＰＵ１１２５は、記録用の静止画像（第１の画像）に対応するデータファイルをメモリ１１２８に記録する。

次に、S９０６でカメラＭＰＵ１１２５は、S９０５の処理で記録された記録用の静止画像に対応するカメラ本体の特性情報を、メモリ１１２８とカメラＭＰＵ１１２５に設けられたメモリに記録する。ここでカメラ本体の特性情報としては、露出条件、画像処理情報、撮像素子１１２２の撮像用画素および焦点検出用画素の受光感度分布に関する情報、撮影光束のケラレ情報、フランジバックに関する情報、製造誤差情報などが該当する。なお、撮像素子１１２２の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤに依存する情報であるため、これら部材に関する情報を記録しても良い。

次に、S９０７でカメラＭＰＵ１１２５は、S９０５の処理で記録した記録用の静止画像に対応するレンズユニットの特性情報を、メモリ１１２８とカメラＭＰＵ１１２５に設けられたメモリに記録する。ここで、レンズユニットの特性情報としては、射出瞳に関する情報、撮像時の焦点距離やＦ値に関する情報、光学系の収差情報、製造誤差情報などが該当する。

次に、S９０８でカメラＭＰＵ１１２５は、先に取得した記録用の静止画像に関する画像関連情報をメモリ１１２８とカメラＭＰＵ１１２５に設けられたメモリに記録する。画像関連情報としては、撮像前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが該当する。

次に、上述したS１０００で示す第３の画像表示判定処理の詳細について図１６を参照して説明する。図１６は、本発明の第３実施例に係る表示用の静止画像の表示判定処理について説明するフローチャートである。なお、例えば、先の撮像サブルーチンにおいてｎ回目の撮像動作に関する記録用の静止画像（第１の画像）の生成・表示処理の次に行われる第３の画像表示判定処理では、ｎ回目の撮像動作に対応した表示用の静止画像（第３の画像（ｎ））が生成される。

S１００１でカメラＭＰＵ１１２５は、ユーザにより交互表示設定がオフされているか否かを判定する。交互表示設定としては、例えば、ユーザが操作部材を手動操作することによりメニュー画面に表示された交互表示設定のオン／オフが可能である。交互表示設定がオフの場合、S１００9に進みカメラＭＰＵ１１２５は、交互表示を行わない旨を示す情報として交互表示フラグ＝０に設定する。

次に、S１００１で交互表示がオンに設定されている場合、S１００２に進みカメラＭＰＵ１１２５は、記録用の静止画像（第１の画像）を撮影する際に、発光装置（不図示）による被写体に向けた発光（照明）を行っているかを判定する。発光装置により被写体を照明している場合、記録用の静止画像（第１の画像）においては被写体が照明されているが、ＬＶ画像（第２の画像）においては被写体が照明されておらず、両画像間の明るさに大きな差が生じる。したがって、この場合は、明るさが大きく異なる画像が交互表示されてしまうことでユーザに違和感を与えることを抑制するため、交互表示は行わない。なお、発光装置による発光量が少ない場合であればゲイン調整などにより両画像間の明るさの差を減らすことが出来るため、このような場合は、交互表示を行う構成であってもよい。

次に、S１００３でカメラＭＰＵ１１２５は、第１の画像（ｎ）と第２の画像（ｎ）との間で、各露出条件に所定値以上の差があるか否かを判定する。上述したように、露出条件の差は、ゲイン調整や２画像の合成処理で低減できるが、両画像間の差が大きい場合はこの差を低減するのが困難である。例えば、所謂スローシャッターによる長秒露光おいて絞り開口を小さくした（小絞り）条件により第１の画像を取得する場合を想定する。この場合、第２の画像と第１の画像が同じ露出条件で取得されればよいが、ＬＶ画像については、表示部１１２６への表示更新時間の長時間化や焦点検出精度の低下が問題となる。したがって、S１００３の処理において、所定値以上の露出条件に差があると判定される場合は交互表示を行わないような設定にする。

次に、S１００４でカメラＭＰＵ１１２５は、ＬＶ画像（第２の画像）の取得に際して焦点検出処理を補助するための補助光の発光有無を判定する。一般的に、当該補助光は、焦点検出を補助するための投光であって、投光による照明範囲が撮像範囲に対して狭い、または、特定範囲のみ色が偏るため、静止画像の取得には適さない。このため、ＬＶ画像の取得に際して上述した補助光が発光されていた場合、静止画像とＬＶ画像との明るさの差が大きく、当該差を補償するのは困難である。したがって、ｎ回目の撮像動作においてＬＶ画像（第２の画像）の取得時に焦点検出を補助する補助光が発光されている場合は交互表示を行わないような設定にする。

次に、S１００５でカメラＭＰＵ１１２５は、記録用の静止画像（第１の画像（ｎ））とＬｖ画像（第２の画像（ｎ））との、それぞれのＩＳＯ感度（ゲイン）が所定の範囲外に該当する値であるか否かを判定する。前述したように、静止画像とＬＶ画像とでは、信号値の読み出し方法に差がある。例えば、静止画像に対してＬＶ画像は所謂間引き読み出しにより、撮像素子の水平方向における同色の信号を加算および圧縮して読み出されるため、両画像間で色相などが異なる場合がある。この場合、ＩＳＯ感度の設定値に応じて静止画像とＬｖ画像間の差（例えばノイズ量の差）が大きく異なる。そこで、本実施例のカメラ本体１１２０は、交互表示を実行可能な範囲（閾値）を設け、静止画像とＬＶ画像のＩＳＯ感度が当該範囲内に含まれる場合は、両画像間の差が小さいと判定して交互表示を実行する。対して、静止画像とＬＶ画像のＩＳＯ感度の何れかが当該範囲外に該当する値である場合は、両画像間の差が大きいと判定して交互表示を実行しない。

なお、本実施例では、（記録用の）静止画像とＬＶ画像のそれぞれのＩＳＯ感度を、ＩＳＯ感度に関する所定の範囲（閾値）と比較する構成について説明したが、これに限定されるものではない。例えば、連続して取得されたＬＶ画像（ｎ）と記録用の静止画像（ｎ）とのＩＳＯ感度の差（絶対値）が所定の閾値以上か否かを判定し、両画像のＩＳＯ感度の差が所定の閾値よりも小さい場合に交互表示を実行する構成であってもよい。

次に、S１００６でカメラＭＰＵ１１２５は、S７０３で算出されるずれ量（位相差）が
所定の範囲外に該当する値であるか否かを判定する。ずれ量が所定の範囲外に該当する値であると判定された場合には、ずれ量が大きいと判定して交互表示を実施しない。

次に、S１００７でカメラＭＰＵ１１２５は、S７０２で行われるフリッカ検知有無を判定する。フリッカ有の場合には、フリッカが発生しない露出条件で撮影を実施するため、所定値以上の露出条件差有と判定して交互表示を実施しない。なお、フリッカの影響を低減するための撮影モードが設定されている場合に、交互表示フラグを０に設定し、交互表示を行わない構成であってもよい。

以上説明したS１００１〜S１００７の各判定がＮＯ判定である場合、S１００８でカメラＭＰＵ１１２５は、交互表示フラグとして、交互表示を実行することを示すフラグ（交互表示フラグ＝１）を設定する。なお、上述したS１００１〜S１００７の各判定の何れかのみを実行し、または除外して当該判定結果に基づいて交互表示の有無を決定する構成であってもよい。例えば、他の条件に依らず、交互表示設定がオンである場合は交互表示を実行する構成であってもよい。

次に、上述したS１１００で示す表示用の静止画像（第３の画像）の生成、表示処理の詳細について図１７を参照して説明する。図１７は、本発明の第３実施例に係る表示用の静止画像の生成・表示処理について説明するフローチャートである。なお、図１７に示すフローチャートにおいても、連続撮影における２回目以降の撮像動作にけるｎ回目（ｎは自然数）の撮像動作を想定して説明する。

まず、S１１０１でカメラＭＰＵ１１２５は、S７０２で取得した画像データ（ｎ）を取得する際の撮影条件と、S９００で取得された交互表示用の静止画像である第３の画像（ｎ−１）の撮影条件を取得する。この処理は前述したS８０１と同様である。

S１１０２でカメラＭＰＵ１１２５は、交互表示に用いる第３の画像の編集設定を行う。具体的に、交互表示を実行する場合は、S１１０１で得た撮影条件を用いて、第３の画像（ｎ−１）と第２の画像（ｎ）との差が小さくなるように、表示用の静止画像（第３の画像）の編集設定を行う。上述したS８０３の処理では、表示用の静止画像（ｎ−１）とＬＶ画像（ｎ）との差を低減してユーザに与える違和感を抑制する点について説明した。対して、S１１０２の処理では、ＬＶ画像（ｎ）と表示用の静止画像（ｎ−１）との差を低減してユーザに与える違和感を抑制するために、ＬＶ画像（ｎ）に合わせて表示用の静止画像（ｎ）を取得する。この構成により、表示用の静止画像（ｎ−１）、ＬＶ画像（ｎ）、表示用の静止画像（ｎ）の順に交互表示する場合であっても、連続して表示する画像間の差を低減してユーザに与える違和感を抑制することが出来る。なお、S１１０２の処理における編集設定は、前述したS８０３における処理と略同一なので説明は省略する。

次に、S１１０３でカメラＭＰＵ１１２５は、第１の画像（記録用の静止画像（ｎ））に対して、S１１０２で定められた編集設定に基づいて第３の画像（表示用の静止画像（ｎ））を生成する。そして、S１１０４でカメラＭＰＵ１１２５は、第２の画像（ｎ）と第３の画像（ｎ）との間で、ゲイン調整、シャープネス処理、ローパス処理を実行しても調整が不可能な差があるか否かを判定する。当該判定は前述したS８０６と略同一なので説明は省略する。

S１１０４において調整不可能な差があると判断された場合、S１１０５でカメラＭＰＵ１１２５は、第２の画像（ＬＶ画像（ｎ））と第３の画像（表示用の静止画像（ｎ））とを合成して、新たに第３の画像（ｎ）を生成する。２つの画像の合成方法は、前述したS８０７と略同一なので説明は省略する。

次に、S１１０６でカメラＭＰＵ１１２５は、第３の画像（表示用の静止画像（ｎ））を表示部１１２６に表示する。なお、前述したように、図１７に図示する各処理は、画像データとして出力された各画像に対して施す構成ではなく、画像データに変換する前の画像信号を用いて実行する構成であってもよい。

次に、上述したＬＶ画像と静止画像の交互表示動作について図１８〜図２０を参照して説明する。図１８は、交互表示を行う場合であって、画像生成後すぐにＬＶ画像と静止画像を表示させる場合のタイミングチャートを例示的に説明する図である。図１９は、交互表示を行う場合であって、所定の表示遅延時間を鑑みてＬＶ画像と静止画像を交互に表示させる場合の第１の方法に係るタイミングチャートを例示的に説明する図である。また、図２０は、交互表示を行う場合であって、所定の表示遅延時間を鑑みてＬＶ画像と静止画像を交互に表示させる場合の第２の方法に係るタイミングチャートを例示的に説明する図である。なお、以降の説明における各種動作や処理は、カメラＭＰＵ１１２５によって実行されるものとする。

図１８〜２０において、斜線のブロックは、静止画像に関連する処理を示しており、白色のブロックは、ＬＶ画像に関連する処理を示している。Ｔｒ１、Ｔｒ２は、それぞれ静止画像およびＬＶ画像の露光、読出し、画像取得の時間（露光開始から取得完了までに要する時間）を示している。ｔｒ１、ｔｒ１’は、静止画像の露光開始時刻を示しており、ｔｒ２は、ＬＶ画像の露光開始時刻を示している。ｔｄ１、ｔｄ１’は、静止画像の表示開始時刻を示しており、ｔｄ２は、ＬＶ画像の表示開始時刻を示している。

また、図１８〜２０において、Ｔｄ１＿０は、静止画像の表示時間を示しており、Ｔｄ２＿０は、ＬＶ画像の表示時間を示している。また、図１９、２０のΔＴｄ１は、静止画像の表示遅延時間（静止画像の取得完了から表示開始までの時間）を示しており、ΔＴｄ２は、ＬＶ画像の表示遅延時間（ＬＶ画像の取得完了から表示開始までの時間）を示している。なお、図１９、２０の例では、ΔＴｄ１＝０であるが、本実施例はΔＴｄ１＝０に限定されない。図１９、２０におけるｔ１１〜ｔ１８、ｔ２１〜ｔ２７は、各図における時刻を表している。なお、図中では時刻をｔ１８、ｔ２７まで示しているが、連続撮影を継続すると判定されれば、図示している時刻以降も連続撮影処理が継続する。

まず、図１８を参照して表示遅延なしに交互表示を行う場合の具体的な例について説明する。この場合、最初にｔｒ１のタイミングから時間Ｔｒ１において静止画像（記録用・表示用）を生成する。そして、表示遅延することなくｔｄ１に示すタイミングから時間Ｔｄ１＿０において、表示用の静止画像を表示させる。

次に、ｔｒ２のタイミングから時間Ｔｒ２においてＬＶ画像を生成する。そして、表示遅延することなくｔｄ２のタイミングから時間Ｔｄ２＿０において、生成されたＬＶ画像を表示させる。以降、同様の手順で表示用の静止画像とＬＶ画像を交互に表示させる。

次に図１９を参照して、第１の方法に基づいて所定の表示遅延時間を鑑みた交互表示を行う場合の具体的な例について説明する。第１の方法では、静止画像の取得タイミングから表示開始タイミングまでの時間と、ＬＶ画像の取得タイミングから表示開始タイミングｔｄ２までの時間が略等しくなるように表示遅延時間を設定する。すなわち、タイミングｔｒ１からタイミングｔｄ１までの時間と、タイミングｔｒ２からタイミングｔｄ２までの時間が略等しくなるように第１の表示遅延時間ΔＴｄ１と第２の表示遅延時間ΔＴｄ２を設定する。そして、算出した第１の表示遅延時間ΔＴｄ１、および第２の表示遅延時間ΔＴｄ２から表示用の静止画像の表示時間Ｔｄ１とＬＶ画像の表示時間Ｔｄ２を算出する。

具体的には、カメラＭＰＵ１１２５は、S８０１で設定した撮影条件に基づき、静止画像およびＬＶ画像それぞれの露光開始から取得完了までの時間Ｔｒ１，Ｔｒ２を取得する。そして、カメラＭＰＵ１１２５は、静止画像用の第１の表示遅延時間ΔＴｄ１を０に決定する（前述の通り、０以外でもよい）。そして、カメラＭＰＵ１１２５は、下記の式に従ってＬＶ画像用の第２の表示遅延時間ΔＴｄ２を算出する。
Ｔｒ２＋ΔＴｄ２＝Ｔｒ１＋ΔＴｄ１
ΔＴｄ２＝Ｔｒ１＋ΔＴｄ１−Ｔｒ２＝Ｔｒ１−Ｔｒ２

次に、カメラＭＰＵ１１２５は、静止画像およびＬＶ画像の表示時間Ｔｄ１，Ｔｄ２を算出する。具体的には、カメラＭＰＵ１１２５は、S８０１とS１１０１で設定した撮影条件に基づき、表示遅延時間ΔＴｄ１，ΔＴｄ２が存在しない場合の表示時間Ｔｄ１＿０，Ｔｄ２＿０（図１８参照）を取得する。そして、カメラＭＰＵ１１２５は、下記の式に従って表示時間Ｔｄ１，Ｔｄ２を算出する。
Ｔｄ１＝Ｔｄ１＿０＋（ΔＴｄ２−ΔＴｄ１）＝Ｔｄ１＿０＋ΔＴｄ２
Ｔｄ２＝Ｔｄ２＿０＋（ΔＴｄ１−ΔＴｄ２）＝Ｔｄ１＿０−ΔＴｄ２

次に、算出した第１の表示遅延時間ΔＴｄ１、表示時間Ｔｄ１に基づいて、カメラＭＰＵ１１２５は、表示用の静止画像の表示開始時刻（タイミング）と表示時間を設定して、表示を指示する。具体的に、時刻ｔｒ１から取得を開始した静止画像は、時刻ｔ１２において表示用の静止画像の表示を開始し、時刻ｔ１６まで表示させる。なお、ＬＶ画像に対しても略同一の処理を実行するため説明は省略する。以上説明した構成により、静止画像の取得時刻ｔｒ１から静止画像の表示開始時刻ｔｄ１までの時間と、ＬＶ画像の取得時刻ｔｒ２からＬＶ画像の表示開始時刻ｔｄ２までの時間が略等しくなる為、違和感のない画像の表示が可能となる。

次に図２０を参照して、第２の方法に基づいて所定の表示遅延時間を鑑みた交互表示を行う場合の具体的な例について説明する。本実施例における第２の方法では、静止画像の表示時間Ｔｄ１と、ＬＶ画像の表示時間Ｔｄ２が略等しくなるように（表示用の）静止画像に係る第１の表示遅延時間ΔＴｄ１とＬＶ画像に係る第２の表示遅延時間ΔＴｄ２を設定する。具体的に、第２の方法を用いた場合、取得に要する時間が長い画像に対して表示遅延を設けることなく、取得に要する時間が短い画像に対してのみ表示遅延を設定する。つまり、第１の表示遅延時間ΔＴｄ１＝０とし、表示用の静止画像の表示時間Ｔｄ１とＬＶ画像の表示時間Ｔｄ２が略等しくなる様に、各画像の表示時間を制御する。すなわち、前述した第１の方法に対して第２の方法は、静止画像およびＬＶ画像の表示時間Ｔｄ１，Ｔｄ２と、ＬＶ画像の表示開始時刻（タイミング）ｔｄ２が異なる。

ＬＶ画像用の第２の表示遅延時間ΔＴｄ２は、前述した式と合わせて、以下に示す式４を用いて算出される。

次に、カメラＭＰＵ１１２５は、静止画像およびＬＶ画像の表示時間Ｔｄ１，Ｔｄ２を算出する。具体的には、カメラＭＰＵ１１２５は、S８０１とS１１０１で設定した撮影条件に基づき、表示遅延時間ΔＴｄ１，ΔＴｄ２が存在しない場合の表示時間Ｔｄ１＿０，Ｔｄ２＿０（図１８参照）を取得する。そして、カメラＭＰＵ１１２５は、第１の表示遅延時間ΔＴｄ１＝０とｐ前述した式４で算出された第２の表示遅延時間ΔＴｄ２に基づき、下記の式５に従って表示時間Ｔｄ１，Ｔｄ２を算出する。

次に、算出した第１の表示遅延時間ΔＴｄ１、表示時間Ｔｄ１を用いて、カメラＭＰＵ１１２５は、表示用の静止画像の表示開始時刻（タイミング）と表示時間を設定して、表示を指示する。具体的に、時刻ｔｒ１から取得を開始した静止画像は、時刻ｔ２２において表示用の静止画像の表示を開始し、時刻ｔ２５まで表示させる。なお、ＬＶ画像に対しても略同一の処理を実行するため説明は省略する。以上説明した構成により、表示用の静止画像の表示時間Ｔｄ１とＬＶ画像の表示時間Ｔｄ２が略等しくなる為、違和感のない画像の表示が可能となる。

なお、本実施例の撮像装置としては、交互表示を実行する場合、図１８〜２０で説明した各タイミングチャートに示すような種々の方法のうちの何れかを用いる構成であればよい。特に、前述した第１、第２の方法を用いて交互表示を実行することで、静止画像とＬＶ画像の表示遅延を調整することでユーザに与える違和感を抑制するのが好ましい。なお、第１の方法と第２の方法を組み合わせて交互表示を実行する構成であってもよい。

以上説明したように、本実施例によれば、カメラ本体１１２０は、種々の条件に基づいて交互表示に用いる画像間の差が大きいと考えられる場合は、複数の画像を順次取得して順次表示する処理（交互表示）を実行しない構成である。換言すると、カメラ本体１１２０は、種々の条件に基づいて交互表示に用いる画像間の差が小さい考えられる場合に、複数の画像を順次取得して順次表示する処理（交互表示）を実行する構成である。したがって、本実施例のカメラ本体１１２０は、交互表示に用いる画像間の差に基づいて交互表示の実行有無を判定することが出来るため、交互表示を実行することでユーザに与える違和感が大きくなることを抑制することが出来る。

なお、上述した実施例では、静止画像とＬＶ画像を交互に１つずつ取得する例を示したが、各画像として取得する画像の取得数はこれに限定されるものではない。本発明に係る撮像装置としては、所定の間隔で静止画像を取得する間に、少なくとも１回以上第２の画像（ＬＶ画像など）を取得する構成であればよい。例えば、静止画像を取得する間に複数のＬＶ画像を取得する構成であってもよい。この場合、表示用の静止画像を表示部１１２６に表示した後に、ＬＶ画像の生成・表示を複数回繰り返し（更新し）、その後、新たに表示用の静止画像を表示する構成であればよい。なお、静止画像に対してＬＶ画像を取得する際の露光時間が短い場合は、上述した複数のＬＶ画像を加算（フレーム加算）し、例えば、静止画像と略同一の露光時間とする構成であってもよい。そして、上述したフレーム加算を行う場合は、各ＬＶ画像間で移動平均処理を行うことにより、表示更新間隔を損ねることなくフレーム加算を実現することができる。

［第４実施例］
次に、本発明の第４実施例について図２１〜２３を参照して説明する。なお、第４実施例では、露出シミュレーション機能に関する設定に応じた交互表示の方法について説明する。具体的に、本実施例では、交互表示を実行する場合は、露出シミュレーション設定のオン／オフに依らず、交互表示に用いられる連続する画像間における明るさの差を小さくするためのカメラ本体１１２０における制御について説明する。

ここで、露出シミュレーション機能とは、ユーザによって設定された露出条件（例えば、露光時間、絞り値、ゲインなどの露出パラメータ）において取得される画像を、実際に被写体を本撮像する前にシミュレートする機能である。したがって、この露出シミュレーション設定がオンされていることにより、ユーザは本撮像で取得され得る静止画像を事前に確認することができる。

また、ユーザの意図により、被写体に対する適正ではない明るさで撮像する場合もある。この場合、露出シミュレーション設定がオンされていると、設定済みの露出条件に取得され得る静止画像に合わせてＬＶ表示が行われるため、例えば、ユーザがアンダー側の露出条件で静止画像を取得する場合に、ＬＶ画像が暗くなり、視認性が低下してしまう。このような場合は、露出シミュレーション設定をオフすることで、ユーザによる視認に適した明るさの画像を表示させることができる。

以下、図２１を参照して、本実施例に係る焦点検出処理、撮像処理、および表示処理について説明する。なお、前述した第３実施例と略同一の構成についての説明は省略し、同一の符号を付す。図２１は、本発明の第４実施例に係る露出シミュレーション設定と交互表示に係る設定に基づく交互表示方法について例示的に説明する図である。このうち、図２１Ａは、本発明の第４実施例に係る交互表示設定と露出シミュレーション設定に応じて表示部１１２６に表示される画像について例示的に説明する図である。なお、図２１では、ＬＶ撮影時に表示部１１２６に表示されるＬＶ画像と表示用の静止画像を交互に表示する場合を想定している。また、図２１において太枠で囲う画像が表示用の静止画像（第３の画像）と示し、それ以外の画像がＬＶ画像を示している。

まずは、交互表示設定がオン、露出シミュレーション設定がオンである場合について説明する。この場合、ユーザによって設定されている露出条件に応じて、交互表示に用いられる画像の明るさは異なる。例えば、ユーザが設定した露出条件が被写体に対して適正な明るさ（露出）である場合は、図２１Ａに図示する（１１）のように、適正な露出に相当する明るさの画像を交互表示に用いる。また、例えば、ユーザが設定した露出条件が被写体に対してアンダー側の明るさ（露出）である場合は、図２１Ａに図示する（２１）のように、アンダー側の露出に相当する明るさの画像を交互に用いる。なお、露出シミュレーションがオンされている場合は、静止画像の明るさに合わせるようにＬＶ画像の明るさを調整する。

次に、交互表示設定がオン、露出シミュレーション設定がオフである場合について説明する。この場合、露出シミュレーション設定がオフされているので、ユーザの設定した露出条件に応じて交互表示に用いる画像の明るさを調整する必要はない。したがって、この場合は、図２１Ａに図示する（１２）または図２１Ａに図示する（２２）に示すように、露出条件に依らず、ユーザの視認性を優先した適正な明るさ（露出）に相当する画像が交互表示に用いられる。なお、この場合は、ＬＶ画像の明るさに合わせるように表示用の静止画像の明るさを調整する。

次に、交互表示設定がオフ、露出シミュレーション設定がオンである場合について説明する。この場合、交互表示設定がオフされているので表示用の静止画像（第３の画像）は表示部１１２６に表示させない（なお、図２１Ａにおいては点線で図示している）。そして、露出シミュレーション設定がオンされているので、露出条件に応じてＬＶ画像に施す画像処理が異なる。例えば、被写体の明るさに対して適正な露出に相当するような露出条件が設定されている場合は、図２１Ａに図示する（１３）で示すように、適正な露出に相当する明るさのＬＶ画像のみが表示部１１２６に表示される。また、被写体の明るさに対してアンダー側の露出に相当するような露出条件が設定されている場合は、図２１Ａに図示する（２３）で示すように、アンダー側の露出に相当するＬＶ画像が表示部１１２６に表示される。

次に、交互表示設定がオフ、露出シミュレーション設定がオフである場合について説明する。この場合、交互表示設定がオフされているので、図２１Ａに図示する（１４）で示すように表示用の静止画像（第３の画像）は表示部１１２６に表示させない（なお、図２１Ａにおいては点線で図示している）。そして、露出シミュレーション設定がオフされているので、図２１Ａに図示する（２４）で示すように、露出条件によらず、ユーザの視認性を優先した適正な明るさ（露出）に相当するＬＶ画像が表示部１１２６に表示される。

ここで、交互表示設定がオン、露出シミュレーション設定がオフである場合の処理について図２１Ｂを参照して説明する。図２１Ｂは、交互表示設定がオン、露出シミュレーション設定がオフである場合における交互表示について例示的に説明する図である。この設定においては、通常は表示用の静止画像の生成に際して、直前に取得されたＬＶ画像に合わせてゲイン調整を行う。しかしながら、図２１Ｂの（２２’）に示すように、ユーザが設定した露出条件がアンダー側の露出である場合は、静止画像はアンダー側の露出に相当する明るさとなり、ＬＶ画像は視認性を優先した適正な露出に相当する明るさとなる。したがって、これらの画像を交互表示すると、明るさが異なる（連続性がない）画像が交互に表示されてしまうため、ユーザに与える違和感が大きい。そこで、本実施例では、交互表示設定がオン、露出シミュレーション設定がオフである場合に、交互表示を優先し露出シミュレーション設定がオンである場合と同様に交互表示用の画像の明るさを調整する構成であってもよい（図２１Ｂの（２１）など）。逆に、露出シミュレーション設定を優先させるため、交互表示設定がオフされたときと同様に交互表示に用いる画像を選択する構成であってもよい（図２１Ｂの（２４）など）。

次に、本実施例に係るＬＶ画像（第２の画像）の生成、表示処理の詳細について図２２を参照して説明する。図２２は、本発明の第４実施例に係るＬＶ画像の生成・表示処理について説明するフローチャートである。なお、以降は、連続撮影における２回目以降の撮像動作に該当するｎ回目（ｎは自然数）の撮像動作を仮定して説明する。また、本実施例における基本的な処理フローは前述した第３実施例（図１３）と略同一であり、以下に説明する、第２の画像生成・表示に係る処理（図２２）と第３の画像生成・表示に係る処理（図２３）のみが、前述した第３実施例とは異なる。以降は、前述した第３実施例とは異なる点を説明する。

Ｓ１８０１〜Ｓ１８０２までの処理は、前述第３実施例のS８０１〜S８０２と同一なので説明は省略する。なお、Ｓ１８０２で交互表示フラグ＝１と判定された場合はＳ１８０３の処理に進み、Ｓ１８０２で交互表示フラグ≠１（すなわち、交互表示フラグ＝０）と判定された場合はＳ１８０６の処理に進む。

Ｓ１８０３でカメラＭＰＵ１１２５は、露出シミュレーション設定がオンであるか否かを判定する。なお、本実施例のカメラ本体１１２０は、操作スイッチ群１１２７などをユーザが操作することで、露出シミュレーション設定を任意にオン／オフに切り替えることが出来る。Ｓ１８０３で露出シミュレーション設定がオンと判定された場合は、Ｓ１８０４に進み、カメラＭＰＵ１１２５は、交互表示に用いるＬＶ画像である第２の画像（ｎ）の編集設定を行う。Ｓ１８０４の処理では、ユーザが設定した露出条件に合わせてＬＶ画像を生成し、当該ＬＶ画像を交互表示に用いることを目的とする。したがって、カメラＭＰＵ１１２５は、Ｓ１８０１で得た露出条件を用いて、直前に取得（生成）された第３の画像（ｎ−１）と第２の画像（ｎ）の差が小さくなるように、ＬＶ画像（第２の画像（ｎ））の編集設定を行う。編集設定の詳細は、前述した第３実施例と同一なので説明は省略する。

また、Ｓ１８０３で露出シミュレーション設定がオフと判定された場合は、Ｓ１８０５に進み、カメラＭＰＵ１１２５は、Ｓ１８０４に進み、カメラＭＰＵ１１２５は、交互表示に用いるＬＶ画像である第２の画像（ｎ）の編集設定を行う。Ｓ１８０５の処理では、露出シミュレーション設定がオフされているため、ユーザの視認性を考慮して、被写体の明るさに対して適正な露出に相当する明るさとなるようにＬＶ画像の編集設定を行う。なお、交互表示する場合であって露出シミュレーション設定がオフされている場合は、後述する第３の画像生成・表示処理において、ＬＶ画像に合わせて表示用の静止画像の明るさを調整する。したがって、このタイミングにおける編集設定としては、ＬＶ画像としてユーザの視認性を考慮した明るさに調整するための設定であればよい。また、適正な露出に関する情報は、メモリ１１２８などに予め格納されているものとする。

次に、Ｓ１８０２の処理で交互表示フラグ≠１と判定された場合について説明する。なお、Ｓ１８０６の処理はＳ１８０３の処理と略同一なので説明は省略する。Ｓ１８０６で露出シミュレーション設定がオンと判定された場合はＳ１８０７に進み、カメラＭＰＵ１１２５は、表示部１１２６に静止画像を表示しない場合における、表示用のＬＶ画像（第２の画像（ｎ））の編集設定を行う。Ｓ１８０７の処理では、直前に取得した第３の画像（記録用の静止画像（ｎ−１））を表示に用いることはないので、ＬＶ画像（ｎ）のみが予め設定されている露出条件に応じた明るさとなるような編集設定を行う。例えば、連続撮影時においては、記録用の静止画像（第１の画像）を取得する際の露出条件に合わせてＬＶ画像に対する編集設定を行う。本実施例では、特に、露出条件に合わせてゲイン調整することで、ＬＶ画像を所望の明るさとするが、他のパラメータを調整することで、露出条件に応じたＬＶ画像の明るさを実現する構成であってもよい。

また、Ｓ１８０６で露出シミュレーション設定がオフの場合はＳ１８０８に進み、カメラＭＰＵ１１２５は、表示部１１２６に静止画像を表示しない場合における、表示用のＬＶ画像（第２の画像（ｎ））の編集設定を行う。この場合、前述したＳ１８０７の処理とは異なり、ＬＶ画像を露出条件（例えば、記録用の静止画像）に応じた明るさに調整する必要はなく、ＬＶ画像の明るさを表示部１１２６への表示に適した明るさとするような編集設定を行う。以降のＳ１８０９〜Ｓ１８１２の処理は、前述した第３実施例におけるS８０５〜S８０８の処理と略同一なので説明は省略する。

次に、本実施例に係る表示用の静止画像（第３の画像）の生成、表示処理の詳細について図２３を参照して説明する。図２３は、本発明の第４実施例に係る表示用の静止画像の生成・表示処理について説明するフローチャートである。なお、本実施例においては、前述したように、記録用の静止画像の明るさに近づくようにＬＶ画像の編集設定を行うが、撮影動作の容易さを優先して、ＬＶ画像（ｎ）に合わせるように表示用の静止画像（ｎ）の編集設定を行う場合について説明する。

Ｓ１９０１の処理は前述した第３実施例のＳ７０１の処理と同様なので説明は省略する。次に、Ｓ１９０２でカメラＭＰＵ１１２５は、ユーザにより露出シミュレーション設定がオンされているか否かを判定する。Ｓ１９０２で露出シミュレーション設定がオンと判定された場合は、Ｓ１９０３に進み、カメラＭＰＵ１１２５は、交互表示に用いる表示用の静止画像（第３の画像（ｎ））の編集設定を行う。

Ｓ１９０３の処理では、露出シミュレーションを実行するため、先に取得されている記録用の静止画像（ｎ）の露出条件に相当する明るさとなるように表示用の静止画像（ｎ）を取得し、当該表示用の静止画像を交互表示に用いることを目的とする。したがって、カメラＭＰＵ１１２５は、Ｓ１９０１で得た露出条件に応じた明るさであって直前に取得（生成）されたＬＶ画像（ｎ）との差が小さくなるように表示用の静止画像（第３の画像（ｎ））の編集設定を行う。なお、露出シミュレーション設定がオンされている場合は、静止画像に合わせてＬＶ画像の明るさを調整するので、静止画像用の編集設定としては、直前のＬＶ画像の明るさに依らず、ユーザにより設定された露出条件のみに基づく編集設定としてもよい。

Ｓ１９０２で露出シミュレーション設定がオフと判定された場合は、Ｓ１９０４に進み、カメラＭＰＵ１１２５は、交互表示に用いる表示用の静止画像（第３の画像（ｎ））の編集設定を行う。Ｓ１９０４の処理では、露出シミュレーションを実行しないため、ユーザが設定した露出条件に合わせて表示用の静止画像（第３の画像（ｎ））を取得し、当該表示用の静止画像を交互表示に用いることを目的とする。したがって、カメラＭＰＵ１１２５は、Ｓ１９０１で取得した露出条件に依らず、直前に取得（生成）されたＬＶ画像（ｎ）との差が小さくなるように表示用の静止画像（第３の画像（ｎ））の編集設定を行う。この編集設定としては、例えば、ＬＶ画像の明るさに合わせて表示用の静止画像を取得する際のゲイン調整を行う。すなわち、交互表示を実行する場合であって露出シミュレーションを実行しない場合は、直前に取得（又は表示）されたＬＶ画像の明るさに合わせて静止画像の明るさを調整する。撮影以降の、Ｓ１９０５〜Ｓ１９０８の処理は、前述第３実施例のS１１０３〜S１１０６の処理と略同一なので説明は省略する。

以上説明したように、本実施例に係るカメラ本体１１２０は、露出シミュレーションの有無に依らず、交互表示に用いる画像間の差が小さくなるように各画像を取得する構成である。例えば、露出シミュレーション設定がオンされている場合は、ユーザが設定した露出条件に基づいてＬＶ画像の明るさを調整する構成である。また、露出シミュレーション設定がオフされている場合は、ユーザの視認性を優先して、ＬＶ画像の明るさに合わせて静止画像の明るさを調整する。この構成により、交互表示において明るさが異なる画像が連続的に表示されることを低減できる。したがって、本実施例のカメラ本体１１２０は、交互表示に係る設定と露出シミュレーション設定に応じて、表示部１１２６での表示される画像の不自然になることを抑制し、ユーザに与える違和感を低減することが出来る。

なお、前述した実施例では、交互表示設定がオンされており、露出シミュレーション設定がオフされている状態に、ＬＶ画像に合わせて静止画像の明るさを調整する点について言及したが、これに限定されるものではない。例えば、静止画像のように画素の間引き量が少ない高解像度の画像に対する明るさ調整（例えばゲイン調整や画像処理）を施すには、演算負荷が大きいため、この場合に、カメラＭＰＵ１１２５が交互表示行わないように制御する構成であってもよい。

なお、LV画像に合わせて静止画を調整する場合において明るさ以外にも視野範囲を調整してもよい。LV表示においては電子的な手振れ補正等が行われることが多いため、静止画の視野範囲よりも狭くなる場合がある、このような場合においてはLV画像の視野範囲に合わせて静止画を調整することが好ましい。

以上、本発明の好ましい実施例について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、上述した実施例では、ＬＶ画像を用いて焦点検出を実行する例を示したが、第２の画像としてはＬＶ画像に限定されるものではない。例えば、焦点検出に用いる画像とＬＶ画像とを別に取得する場合、焦点検出用の画像およびＬＶ画像の双方が第２の画像に該当する。また、静止画像の撮像開始前にＬＶ表示を行わない場合、被写体の連続撮影中に交互表示を実行する際に、ＬＶ画像としては用いない焦点検出用の画像と静止画像を交互表示に用いる構成であってもよい。

また、上述した実施例では、カメラ本体１１２０に対してレンズユニットを着脱可能な所謂レンズ交換タイプの撮像装置について説明したが、これに限定されるものではない。例えば、カメラ本体とレンズユニットとが一体的に形成されたレンズ固定タイプの撮像装置を採用する場合であっても、上述した本発明の構成を適用することが可能である。

また、前述した実施例では、本発明を実施する撮像装置の一例としてデジタルカメラを採用した場合について説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスなどや、セキュリティカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。

［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

３０１：レンズ部
３０２：レンズ駆動部
３０４：絞り
３０５：シャッタ・絞り駆動部
３０６：撮像素子
３０７：撮像信号処理回路
３０９：全体制御演算部

Claims (9)

1. 撮像光学系を通して被写体を撮像する撮像装置であって、
   前記撮像光学系により結像された光から画像信号を取得する撮像素子と、
   前記撮像素子の画素部のうち、第１の画素数の画素部に相当する第１の画像と、前記第１の画素数よりも少ない第２の画素数の画素部に相当する第２の画像とを出力できるように、前記撮像素子の駆動を制御する駆動制御手段と、
   表示部に画像を表示させるように制御する表示制御手段と、を備え、
   前記表示制御手段は、前記第１の画像を連続して取得する連続撮影を実行している際に、前記第１の画像に基づいて生成された第３の画像と前記第２の画像とを交互に表示する第１の表示形式で、前記表示部に画像を表示させるように制御でき、
   前記表示制御手段は、前記第１の表示形式で前記表示部に画像を表示させる場合に、前記第３の画像と前記第２の画像との差が低減されるように、前記第２の画像および前記第３の画像を前記表示部に表示させるように制御することを特徴とする撮像装置。
2. 前記表示制御手段は、前記第１の表示形式で前記表示部に画像を表示させる場合に、被写体を撮像して画像を出力する際の露出条件、または被写体を撮影して画像を出力する際の撮影条件のうちの、少なくとも１つに基づいて、前記第３の画像と前記第２の画像の差が低減されるように、前記第１の画像または前記第２の画像または前記第３の画像の前記露出条件および前記撮影条件に係るパラメータうちの少なくとも１つを調整して、前記第２の画像および前記第３の画像を前記表示部に表示させるように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記露出条件は、露光時間や絞り値、ゲイン情報などの露出パラメータに関する条件であって、
   前記撮影条件は、被写体のぶれ情報やボケ情報に関する情報に関する条件であって、
   前記表示制御手段は、前記第１の表示形式で前記表示部に画像を表示させる場合に、前記第１の画像および前記第２の画像および前記第３の画像のうちの少なくとも１つの、前記露出パラメータおよび前記撮影条件の調整に係る撮影パラメータのうちの少なくとも１つを調整して、前記第３の画像と前記第２の画像との差を低減させるように制御することを特徴とする請求項２に記載の撮像装置。
4. 前記表示制御手段は、前記連続撮影を実行している際に、前記第３の画像と、前記第３の画像と前記第２の画像とを合成して生成した第４の画像と、を交互に表示する第２の表示形式で、前記表示部に画像を表示させるように制御できることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記連続撮影時の前記表示部への画像の表示形式を判定する判定手段をさらに備え、
   前記判定手段は、前記第１の画像または前記第２の画像または前記第３の画像に関する所定の情報に基づいて、前記第１の表示形式で画像を表示させるか、前記第２の表示形式で画像を表示させるかを判定することを特徴とする請求項４に記載の撮像装置。
6. 前記所定の情報は、前記第１の画像を取得する際の発光装置の発光量、前記第１の画像または前記第３の画像と前記第２の画像との露出条件の差、前記第２の画像を取得する際の焦点検出結果、前記第２の画像を取得する際の焦点検出に係る補助光の発光有無、および光源のフリッカ検知の有無のうちの少なくとも１つに関する情報であることを特徴とする請求項５に記載の撮像装置。
7. 前記第１の画像は、記録用の静止画像であって、前記第２の画像は、ライブビュー用の画像であって、前記第３の画像は、前記第１の画像に基づいて生成した表示用の静止画像であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像光学系を通して被写体を撮像する撮像装置の制御方法であって、
   撮像素子を用いて、前記撮像光学系により結像された光から画像信号を取得する取得工程と、
   前記撮像素子の画素部のうち、第１の画素数の画素部に相当する第１の画像と、前記第１の画素数よりも少ない第２の画素数の画素部に相当する第２の画像とを出力できるように、前記撮像素子の駆動を制御する駆動制御工程と、
   表示部に画像を表示させるように制御する表示制御工程と、を備え、
   前記表示制御工程は、前記第１の画像を連続して取得する連続撮影を実行している際に、前記第１の画像に基づいて生成された第３の画像と前記第２の画像とを交互に表示する第１の表示形式で、前記表示部に画像を表示させるように制御でき、前記第１の表示形式で前記表示部に画像を表示させる場合に、前記第３の画像と前記第２の画像との差が低減されるように、前記第２の画像および前記第３の画像を前記表示部に表示させるように制御することを特徴とする撮像装置の制御方法。
9. 請求項８に記載の撮像装置の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。

Images