JP6044317B2 - 撮影装置、撮影装置の制御方法 - Google Patents

Description

本発明は、撮影装置およびその制御方法に関し、特にライブビュー表示に関する。

従来、ライブビューを表示する撮影装置において、被写体の像が被写体から遅延して表示されることが知られている。特許文献１には、表示素子のフレームレートを撮像素子のフレームレートの整数分の１とし、撮像素子による撮像画像が表示素子に表示されるまでの遅延時間がほぼ一定になるように制御することが記載されている（００３８〜００４７段落）。また、当該遅延時間は、撮像素子のフレーム周期未満となるように制御することが記載されている（００３７段落）。

特開２００９−１５９０６７号公報

表示部の表示画面には、撮影センサーの出力データに基づいて生成される被写体の像（ライブビュー）を表示したり、ライブビューを表示する領域とは別の領域に撮影条件等の情報を表示したりするなど、種々の表示対象が表示され得る。撮影センサーのアスペクト比と表示部の表示画面のアスペクト比とが同じであって、被写体の像を表示する領域以外の領域を表示画面に設けない場合、撮影センサーと表示部とを同期させる（撮影センサーのフレーム撮像周期と同じ長さの期間に１フレーム分の表示を行う）ことはそれほど困難でないと考えられる。しかし、ライブビューとライブビュー以外の情報等のように様々な表示対象を表示画面に表示させる場合は、撮影センサーと表示部とを同期させることは容易ではない。なお、特許文献１には、フレーム単位の遅延時間がほぼ一定になるように制御することは記載されているが、表示画面の構成については特に言及されていない。 本発明は、上記課題に鑑みてなされたもので、撮影センサーの出力データに基づいて生成される画像データと当該画像データ以外の情報とを撮影センサーのフレーム撮像周期と同じ長さの期間に表示させることを目的とする。

上記目的を達成するための撮影装置は、画像データ生成部と、バッファーと、表示制御部と、を備える。画像データ生成部は、被写体を撮像する撮影センサーの出力データに基づいて前記被写体の像を示す画像データを表示部のラインごとに生成する。バッファーは、生成された画像データを複数ライン分蓄積する容量を有する。表示制御部は、第一表示領域と第二表示領域とから構成される表示部の表示画面の第一表示領域にバッファーに複数ライン分（１ライン以上）の画像データが蓄積された後に画像データを含む表示データをａ以上ｂ以下の長さのライン表示周期で表示させ、第二表示領域に画像データを含まない表示データをａの長さのライン表示周期で表示させる。ａは、撮影センサーのフレームレートより表示能力としてのフレームレートが高い表示部のライン表示周期の最短の長さを指す。ｂは、撮影センサーのフレームレートで撮影センサーが動作している場合に１ライン分の画像データが生成される周期の最長の長さを指す。１ライン分の画像データを生成するのに要する時間はラインごとに変動しうる。ｂは変動しうる時間のうち最長の時間を指す。そして、ａ＜ｂという関係にある。なお、第一表示領域は複数ラインで構成される領域であり幅（水平方向の長さ）は表示画面の幅（水平方向の長さ）と等しい。また、第二表示領域は複数ラインで構成される領域であり幅（水平方向の長さ）は表示画面の幅（水平方向の長さ）と等しい。なお、表示部における「表示能力としてのフレームレート」は、後述する「表示条件を満たすまで次の表示対象ラインの表示開始を待機する」ことをしない場合に、実際に１フレーム分の画像を表示することができるフレームレートを意味する。また、撮影センサーのフレームレートは、撮影センサーの出力データに基づいて生成された画像データを表示部に表示するいわゆるライブビュー表示を行う際の撮影センサーにおけるフレームレートを意味する。

バッファーに複数ライン分蓄積済みでない状態で第一表示領域の表示を開始する場合、画像データの生成が完了していないラインを表示しようとすると不具合が生じるため、例えば１ライン分の画像データの生成に要する最長の時間（ｂ）を第一表示領域のライン表示周期として１ラインずつ表示することによって未生成のラインを表示しようとすることによる不具合を回避できる。しかし、そうすると、撮影センサーが１フレーム分の出力データを出力する期間よりも、第一表示領域の表示に要する期間を短縮することはできない。撮影センサーが１フレーム分の出力データを出力する期間よりも、第一表示領域の表示に要する期間を短縮することはできなければ、撮影センサーのフレーム撮像周期と同じ長さの期間内に、撮影センサーの出力データに基づいて生成される被写体の像を示す画像データに加えて当該画像データ以外の情報を表示するための十分な期間を設けることができない。 そこで本構成では、バッファーに複数ライン分の画像データの蓄積が完了した後に第一表示領域における表示を開始する。バッファーに蓄積済みの画像データはただちに表示させることができるため、表示部が許容する最短の長さａのライン表示周期で表示することができる。したがって例えば第一表示領域の全ラインをｂの長さのライン表示周期で表示する構成と比較して、本構成の場合は第一表示領域の表示に要する期間を短縮できる（また、第一表示領域の各ラインにおける表示遅延を短縮することができる）。その結果、撮影センサーの出力データに基づいて生成される被写体の像を示す画像データを表示する期間に加えて、当該画像データ以外の情報を表示する期間を、撮影センサーのフレーム撮像周期と同じ長さの期間内に設けることができる。連続的に動画的に撮影センサーの出力データに基づいて生成される被写体の像を示す画像データ以外の情報（例えば、撮影条件を示す文字や図形、あるいは、静止画像）を表示する領域を第二表示領域と呼ぶ。

また本構成では、第二表示領域においては、全ラインをａの長さのライン表示周期で表示を行うため、全ラインをａより長いライン表示周期で表示を行う構成と比較すると第二表示領域の表示に要する時間を短縮できる。第二表示領域の表示に要する時間を短縮できることによって、撮影センサーのフレーム撮像周期と同じ長さの期間内に、第一表示領域への画像データの表示期間に加えて、第二表示領域の表示期間も含まれるようにするという目的の達成に寄与することができる。第二表示領域は、撮影センサーの出力データに基づいて生成された画像データを含まない表示データ（例えば撮影条件等を示す文字や図形）を表示する領域である。撮影条件等は、予め表示され得る情報が特定される。したがって、表示開始前にメモリに対して第二表示領域に表示する表示データを記録しておくことが可能であり、当該メモリに対する当該表示データの記録が完了すれば、当該メモリを参照して当該表示データを逐次取得することで表示部における表示が可能になる。このため、第二表示領域に表示データを表示する際に、例えば当該表示データの生成処理が完了するまでラインごとに待機するなどの待機期間を設ける必要はなく、表示部におけるライン表示周期の最短の長さａで表示することが可能である。

このように、バッファーに複数ライン分の画像データの蓄積が完了した後に第一表示領域に当該画像データに基づく表示を開始させることによって、第一表示領域の表示期間を撮影センサーが１フレーム分の出力データを出力する期間よりも短縮することができる。短縮することができることによって稼いだ時間を、第二表示領域の表示期間に充てることができる。また、第二表示領域においては最短の長さａのライン周期で表示させることができるため、撮影センサーのフレーム撮像周期と同じ長さの期間内に、第一表示領域の表示期間に加えて第二表示領域の表示期間も含まれるようにしやすい。したがって本構成の場合、撮影センサーのフレーム撮像周期と同じ長さの期間に、撮影センサーの出力データに基づいて生成される被写体の像を示す画像データ以外の情報も当該画像データに加えて表示することができる。すなわち、撮影センサーにおける１フレーム分の出力データの出力開始タイミングから所定の表示遅延時間を経て表示部の第一表示領域の表示が開始され、フレーム撮像周期とフレーム表示周期の長さが同等であるという同期が保たれた状態で撮影および表示を行うことができる。両者の同期が保たれない場合は表示遅延時間（撮影センサーの撮影から当該撮影に基づく画像データが表示されるまでの時間）もフレームごとに大きく異なってしまう可能性があり、被写体の動きが不自然に見えるためライブビューとしての使い勝手は悪い。しかし本構成の場合は、第一表示領域において被写体の動きを自然に見せることができるとともに、１フレーム内に第一表示領域に加えて第二表示領域も表示させることができる。

さらに、上記目的を達成するための撮影装置において、表示制御部は、次の表示対象ラインを表示するための表示条件を満たすまで当該次の表示対象ラインの表示開始を待機し、当該表示条件を満たした後に当該次の表示対象ラインを表示させてもよい。 画像データの生成処理の処理時間はラインごとに変動しうる。そのため、第一表示領域においては、次の表示対象ラインを表示するための表示条件を満たすまで当該次の表示対象ラインの表示を待機し、表示条件を満たしてから表示する構成を採用する。その結果、どのラインについても一律に同じ長さのライン表示周期で表示を行う構成と比較すると、表示準備が整っているにも関わらずさらに無用に待機することや、表示準備が整っていないラインを表示することによる不具合の発生を防止することができる。また、どのラインに対しても一律に最長の長さｂのライン表示周期で表示を行う構成と比較すると、本構成は第一表示領域の表示に要する期間を短縮することができる。

なお、次の表示対象ラインを表示するための表示条件は、当該次の表示対象ラインを表示する準備が整った（表示させても不具合を生じない）ことを示す条件であればよく、具体的には撮影装置の内部仕様に応じて様々な態様を採用可能である。また、表示条件を満たしたか否かを表示制御部が判断するための判断材料を取得する構成も、撮影装置の内部仕様に応じて様々な態様を採用可能である。他に、ラインごとに共通の長さの位相差を設ける場合（例えば特開２００７−２４３６１５号公報には、同一モードにおいて各フレーム周期に対してΔＴが与えられ、表示対象となる画像の全ライン周期について共通の位相差が与えられていることになる。
）、当該位相差に対応する時間が経過したことをもって表示条件が成立したとみなす構成としてもよい。他に、特開２００９−１５９０６７号公報に開示されるように、ラインごとに共通の位相差を設ける場合、当該位相差に対応する時間が経過したことをもって表示条件が成立したとみなす構成としても良い。

さらに、上記目的を達成するための撮影装置において、表示制御部は、第一表示領域において、次の表示対象ラインを表示するための表示条件を満たすまで当該次の表示対象ラインの表示開始を待機する必要がない場合は、現在の表示対象ラインをａの長さのライン表示周期で表示させる。 すなわち、待機する必要がない場合には最短の長さａのライン表示周期で現在の表示対象ラインを表示し終え、速やかに次の表示対象ラインを表示するためのライン表示周期に移行することができる。そのため、第一表示領域の表示に要する期間の短縮に寄与することができる。なお、表示条件を満たすまで待機し満たした後に表示対象ラインを表示する構成を備え、待機する必要のない場合は最短の長さａで表示させる構成を備えることにより、第一表示領域におけるライン表示周期はラインごとにａ以上ｂ以下の範囲で変動する（最長で長さｂ、または、長さｂほど時間がかからなければｂより短い長さ、最短で長さａに変動する）。

さらに、上記目的を達成するための撮影装置において、画像データ生成部は、生成した画像データを順次バッファーに出力する。また、表示制御部は、第一表示領域が連続するｍライン分（ｍは自然数）の領域である場合に、第一表示領域の１ライン目の画像データがバッファーへ蓄積開始されてからｉライン目（ｉは１≦ｉ≦ｍとなる自然数）までの画像データがバッファーに蓄積完了した後、バッファーに蓄積された画像データに基づいて前記第一表示領域の１ライン目からｍライン目をａ以上ｂ以下の長さのライン表示周期で表示させる。

バッファーに１ライン目からｉライン分（複数ライン分）の画像データが既に蓄積された状態で第一表示領域の表示を開始することにより、少なくとも１ライン目から（ｉ−１）ライン目までの画像データはすぐに表示できる状態であるため最短の長さａのライン表示周期で表示することができる。そのため、第一表示領域の表示に要する期間の短縮に寄与することができる。

また、上記目的を達成するための他の撮影装置は、次に述べるような画像データ生成部と、バッファーと、表示制御部と、を備えている。画像データ生成部は、被写体を撮像する撮影センサーの出力データに基づいて被写体の像を示す画像データを表示部のラインごとに生成する。バッファーは、生成された画像データを蓄積する。表示制御部は、表示部の表示画面の第一表示領域に前記画像データを含む表示データを表示させ、前記表示画面の第二表示領域に前記画像データを含まない表示データを表示させる。この構成において、表示部のライン表示周期は、前記撮影センサーのフレームレートで前記撮影センサーが動作している場合に１ライン分の前記画像データが生成される周期よりも短い。またこの構成において、表示制御部は、バッファーに複数ライン分前記画像データが蓄積された後において、撮影センサーのフレームレートより高い第一のフレームレートで画像データを表示可能な状態である表示部に、第一のフレームレートで、第一表示領域および第二表示領域の表示を行う。

また、上記目的を達成するための他の撮影装置において、表示制御部は、第一表示領域において、次の表示対象ラインを表示するための表示条件を満たすまで当該次の表示対象ラインの表示開始を待機し、当該表示条件を満たした後に当該次の表示対象ラインを表示させるよう構成される。また、表示制御部は、バッファーに複数ライン分画像データが蓄積されるまでは、第一のフレームレートより低い第二のフレームレートで、第一表示領域および第二表示領域の表示を行う。

また、上記目的を達成するための他の撮影装置において、バッファーは、表示制御部が第二のフレームレートで、Ｎフレーム目の表示を行っている間に、（Ｎ＋１）フレーム目の複数ライン分の画像データを蓄積する。

また、上記目的を達成するための他の撮影装置において、表示制御部は、バッファーに複数ライン分画像データが蓄積された後において、第一表示領域および第二表示領域の表示を行うように制御する。また、バッファーはその用途目的を達成できればよく、バッファーとしてＶＲＡＭ（ビデオＲＡＭ）を利用して構成しても良い。

さらに、本発明のように、表示画面の第一表示領域に画像データを含む表示データをａ以上ｂ以下の長さのライン表示周期で表示させ、表示画面の第二表示領域に画像データを含まない表示データをａの長さのライン表示周期で表示させる手法は、プログラムや方法の発明としても成立する。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。

撮影装置の構成を示すブロック図。 （２Ａ）は撮影センサーのライブビューモード時の読み出し画素を示す模式図、（２Ｂ）表示部の表示画面のライブビューモード時の構成を示す模式図。 ライブビューモード時の撮影センサーと表示部の動作を示すタイミングチャート。 （４Ａ）および（４Ｂ）は表示部における表示タイミングを示すタイミングチャート。 第二実施形態にかかるライブビューモード時の撮影センサーと表示部の動作を示すタイミングチャート。 （６Ａ）および（６Ｂ）は他の実施形態にかかる表示画面の構成例を示す模式図。

以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。 １．第一実施形態 １−１．撮影装置の構成 図１は本発明の一実施形態にかかる撮影装置１の構成を示すブロック図である。撮影装置１には、光学系１０、撮影センサー１５、ＡＳＩＣ２００、タイミング制御部３０、表示部４０、ＣＰＵ５０、ＶＲＡＭ５１、ＳＤ−ＲＡＭ５２、ＲＯＭ５３、ＲＡＭ５４、操作部５５、が備えられている。ＣＰＵ５０は、ＶＲＡＭ５１、ＳＤ−ＲＡＭ５２、ＲＡＭ５４を適宜利用してＲＯＭ５３に記録されたプログラムを実行可能であり、当該プログラムによりＣＰＵ５０は、操作部５５に対する操作に応じて撮影センサー１５にて撮影された被写体を示す画像データを生成する機能を実行する。なお、操作部５５はシャッターボタンと、モードを切り換えるためのモード切換手段としてのダイヤルスイッチと、絞りとシャッター速度を切り換えるためのダイヤルスイッチと、各種の設定メニューを操作するためのプッシュボタンとを備えており、利用者は当該操作部５５に対する操作によって撮影装置１に対して各種の指示を与えることができる。

光学系１０は、撮影センサー１５に被写体画像を結像させるレンズ１１、絞り１２、シャッター１３およびローパスフィルター１４を備える。このうち、レンズ１１と絞り１２とは図示しない筐体に交換可能に取り付けられる。レンズ１１は図１では簡略化して１枚のレンズで表しているが、光軸方向に並べられた複数枚のレンズを含み、各レンズは外縁部で支持される。ローパスフィルター１４は、撮影光の撮影センサー１５における空間的高周波数成分を遮断することにより、撮影した画像におけるモアレを防止する。絞り１２は、開口径を変化させることのできる複数の遮光板で構成されている。シャッター１３は機械式のフォーカルプレーン型シャッターである。

撮影センサー１５としては、例えばベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数のフォトダイオードとを備えるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー、ＣＣＤ（Charge Coupled Device）イメージセンサー等の固体撮像素子が用いられる。撮影センサー１５の画素の位置は直交座標系における座標で規定され、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。撮影センサー１５の全画素によって構成される１画面を１フレームと呼ぶ。

タイミング制御部３０はセンサー制御部３１と表示制御部３２とを備える。本実施形態においては、撮影センサー１５はタイミング制御部３０のセンサー制御部３１が出力する各種信号に同期した動作を行う。すなわち、センサー制御部３１は、１フレーム分のフォトダイオードの検出結果を読み出すための期間を規定する垂直同期信号（SVsync）、１ライン分のフォトダイオードの検出結果を読み出すための期間を規定する水平同期信号（SHsync）、各画素の画像データの読み出しタイミング等を規定するドットクロック信号（SDotclock）を出力する。撮影センサー１５は、垂直同期信号SVsyncに応じて１フレーム分の出力データの出力を開始し、水平同期信号SHsyncにて規定される期間内にドットクロック信号SDotclockに応じたタイミングで撮影センサー１５の一部の画素に対応するフォトダイオードの検出結果を示す出力データ（SD）を逐次読み出す。

ＡＳＩＣ２００は、ＳＤ−ＲＡＭ５２に予め確保された複数ライン分のラインバッファー５２ａ〜５２ｄを利用し、表示部４０にて被写体の像を表示するための画像データをパイプライン処理によって生成する処理を行う回路によって構成される画像データ生成部２０を備えている。なお、複数ライン分のラインバッファー５２ａ〜５２ｄは画像データ生成部２０などに設けられていても良い。また、ＡＳＩＣ２００は画像データ出力部２１を備えており、画像データ出力部２１は、後述する第一表示領域Ｒ１に属するラインの表示を行う際にはラインバッファー５２ｄに記録された画像データ（DD）を表示部４０に対して線順次に出力する。この結果、撮影センサー１５で撮影された被写体の像が第一表示領域Ｒ１に表示される。また、画像データ出力部２１は、第二表示領域Ｒ２に属するラインの表示を行う際にはＶＲＡＭ５１に記録されたＯＳＤデータを画像データ（DD）として表示部４０に対して線順次に出力する。この結果、撮影条件等の文字や図形が第二表示領域Ｒ２に表示される。利用者は、表示部４０をＥＶＦとして利用しながら被写体を確認することが可能である。

表示部４０は、撮影対象となる被写体を示す画像を表示して利用者に撮影前の被写体の様子および撮影条件等の情報を把握させるＥＶＦ（Electronic View Finder）であり、本実施形態にかかる撮影装置１はＥＶＦを備えたミラーレスデジタルカメラである。表示部４０は、図示しないインターフェース回路、液晶パネルドライバー４１、液晶パネル４２、図示しない接眼レンズ等を備えている。本実施形態において液晶パネル４２は、画素ごとに３色のカラーフィルターに対応する３つのサブピクセルを備える高温ポリシリコンＴＦＴ（Thin Film Transistor）であり、画素の位置は直交座標系における座標で規定される。また、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼び、液晶パネル４２の全画素によって構成される１画面を１フレームと呼ぶ。

液晶パネルドライバー４１は、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネル４２に対して出力する。液晶パネル４２は、図示しないゲートドライバおよびソースドライバを備えており、液晶パネルドライバー４１から出力される信号に応じてゲートドライバが各ラインの各画素における表示タイミ
ングを制御し、ソースドライバが表示タイミングとされているラインの各画素に対して各画素の画像データに対応した電圧を印加することによって表示を行う。すなわち、液晶パネルドライバー４１は、液晶パネル４２における表示を行うための各種信号、例えば、１フレーム分の表示を行うための期間を規定する垂直同期信号（DVsync）、１ライン分の表示を行うための期間を規定する水平同期信号（DHsync）、各ライン内での画像データの取り込み期間を規定するデータアクティブ信号（DDactive）、各画素の画像データの取り込みタイミング等を規定するドットクロック信号（DDotclock）、各画素の画像データ（DD）を出力するように構成されている。

なお、上述の垂直同期信号DVsync、水平同期信号DHsync、データアクティブ信号DDactive、ドットクロック信号DDotclockはタイミング制御部３０の表示制御部３２によって生成される。なお、本実施形態において水平同期信号DHsyncの出力タイミングは可変であり、後述するように画像データ生成部２０の処理結果に依存して出力タイミングが決定される。

図２Ａは、本実施形態における撮影センサー１５のライブビューモード時の読み出し画素を示す模式図である。ライブビューモード時は、撮影センサー１５が備える有効領域の全画素に対応するフォトダイオードの検出結果を読み出すことをせずに、水平方向および垂直方向に所定の方法で間引きした間引き読み出しが行われる。ライブビューモード時は、間引き読み出しされた結果、水平方向にｋ個、垂直方向にｊ個の合計ｋ×ｊ個の画素に対応する出力データが撮影センサー１５から出力される（実際には、撮影センサー１５からｋ×ｊ個の出力データを出力するためには、有効画素の周囲に画像処理を行うためのリングピクセルが必要である。そのため図２Ａの水平方向ｋ画素のデータを出力するためにはｋより大きいｋ＋α画素を読込む必要があり、垂直方向のｊラインのデータを出力するためにはｊより大きいｊ＋β画素を読込む必要がある。そして水平方向にα画素、垂直方向にβ画素の画素を切り捨てることでｋ×ｊ画素の出力データが撮影センサー１５から出力される。ここでは説明を簡単にするために便宜的に水平方向ｋ画素、垂直方向ｊ画素のデータが出力されるとして記載する。）。なお、アスペクト比ｋ：ｊは、後述する第一表示領域Ｒ１のアスペクト比と異なる。また、ライン数ｊは後述する第一表示領域Ｒ１のライン数ｍよりも多い。

図２Ｂは、本実施形態における液晶パネル４２の表示画面のライブビューモード時の画面構成を示す模式図である。本実施形態において液晶パネル４２は、水平方向にｌ個、垂直方向に（ｍ＋ｎ）個の有効画素を備えたパネルであり、液晶パネルドライバー４１が出力する画像データDDの内容および出力タイミングを調整することによって、任意の位置にDDに対応した階調の表示を行うことができる。本実施形態においては、液晶パネル４２の先頭ラインからｍライン分の領域である第一表示領域Ｒ１に撮影センサー１５の出力データに基づいて被写体の画像を表示し、当該第一表示領域Ｒ１に続くｎライン分の領域である第二表示領域Ｒ２に撮影条件等の情報を示す文字や図形を表示する構成となっている。すなわち、液晶パネル４２には、被写体の画像とともに撮影条件等の情報を示す文字や図形がＯＳＤ（On Screen Display）表示される。表示部４０の液晶パネル４２の表示画面のアスペクト比ｌ：（ｍ＋ｎ）は例えば４：３である。第一表示領域Ｒ１のアスペクト比ｌ：ｍは例えば３：２である。

また、利用者が操作部５５を操作して撮影指示を行った場合には、撮影指示に応じて撮影センサー１５は、垂直同期信号SVsyncに応じて１フレーム分の出力データ出力を開始し、水平同期信号SHsyncにて規定される期間内にドットクロック信号SDotclockに応じたタイミングで撮影センサー１５の全有効画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。そして画像データ生成部２０は、ＳＤ−ＲＡＭ５２等を利用しＪＰＥＧ等の形式の画像データを生成して図示しないリムーバブルメモリ等に記録される。すなわち、利用者は、被写体を示す画像データを生成することが可能である。

１−２．ライブビュー表示 図３は、ライブビューモード時の撮影センサー１５と表示部４０の動作を示すタイミングチャートである。ライブビューモード時、撮影センサー１５からは、垂直同期信号SVsyncで規定される垂直同期期間Tsv（フレーム撮像周期）に１フレーム分の出力データが出力される。さらに詳細には、垂直同期期間Tsv中に水平同期信号SHsyncにて規定される水平同期期間（ライン撮像周期）に撮影センサー１５の１ライン分の出力データSDが出力される。出力データSDはラインバッファー５２ａに一時記録される。また、ライブビューモード時、表示部４０においては、垂直同期信号DVsyncで規定される垂直同期期間Tdv（フレーム表示周期）に１フレーム分の表示が更新される。さらに詳細には、垂直同期期間Tdv中に水平同期信号DHsyncにて規定される水平同期期間（ライン表示周期）に表示部４０の１ライン分の表示が更新される。

撮影センサー１５から出力された出力データSDに基づいて画像データDDが生成される手順を、図１を参照しながら説明する。撮影センサー１５からラインバッファー５２ａに出力データSDが出力されると、画像データ生成部２０は、撮影センサー１５から出力された出力データSDをラインバッファー５２ａから取得する。画素補間部２０ａは、注目画素について当該注目画素の周辺画素の階調値を用いた補間処理を行うことにより、各画素に対応する光電変換素子に備えられたカラーフィルターの色とは異なる２チャネルの色の階調値を算出する。この結果、各画素について３チャネルの階調値が対応付けられたデータが生成される。色再現処理部２０ｂは、画素補間が完了したデータの各画素の階調値に対して３×３の行列演算を行うことによってより正しい色を再現するための色変換処理を行う。色変換処理によって生成されたデータはラインバッファー５２ｂに一時記録される。

フィルター処理部２０ｃは、色再現処理が完了しラインバッファー５２ｂに一時記録されているデータに対してシャープネス調整やノイズ除去処理などのフィルター処理を実行する。ガンマ補正部２０ｄは、画像出力する際の階調特性を補正する処理を行う。すなわち撮影センサー１５の出力データの階調値が示す色を、表示部４０における色特性に応じたガンマ関数によって補正するガンマ補正を、フィルター処理が完了したデータに対して実行する。ガンマ補正処理後のデータはラインバッファー５２ｃに一時記録される。リサイズ処理部２０ｅはラインバッファー５２ｃに一時記録されていくガンマ補正処理後のデータを逐次参照して、目標サイズへとリサイズする。本実施形態では図２Ｂに示す第一表示領域Ｒ１のサイズにリサイズする。リサイズ処理部２０ｅにてリサイズが完了すると、ＡＳＩＣ２００における各画像処理が完了された画像データDDが生成できる。リサイズ処理後に生成された画像データDDはラインバッファー５２ｄに一時記録される。ラインバッファーは、ＦＩＦＯ形式のラインバッファーであり、先に記録された画像データの順に画像データがライン単位で読み出される。

ところで、撮影センサー１５から線順次に出力される出力データに基づいて遅延期間を最小化して液晶パネル４２における表示を行うため、本実施形態においては、液晶パネル４２の各ラインに対して表示を行うための表示条件を満たした後に当該ラインを表示するための水平同期信号DHsyncが出力されるように構成されている。具体的には、タイミング制御部３０の表示制御部３２は、リサイズ処理部２０ｅから当該リサイズ処理部２０ｅにおける画像データの生成処理が終了しラインバッファー５２ｄに出力が完了したライン番号Ｌｄを取得することが可能である。すなわちライン番号Ｌｄは、Ｌｄが示すライン番号以前のライン（１ライン目からＬｄライン目までのライン）は表示して良いということを意味している。画像データはライン順次に生成されるため、１フレーム内において当該ライン番号より小さい番号のラインの画像データは既に生成済みでありラインバッファー５２ｄに出力済みであることを意味する。したがって次の表示対象ラインの番号ＬｎがＬｄ以下であれば次の表示対象ラインの表示を行うための表示条件を満たしていることになる。なおラインバッファー５２ｄは少なくともｍライン分の画像データを記録可能なサイズを有しているものとする。

そこで、タイミング制御部３０の表示制御部３２が、各ラインについて表示条件を満たしたタイミングに同期して水平同期信号DHsyncを出力することにより、液晶パネル４２において表示条件を満たしたラインの表示を開始させる構成とする。この構成によれば、画像データの準備が整う前に各ラインの表示を開始することはなく、各ラインの表示準備が整うと即座に各ラインの表示をすることが可能になる。

なお、次の表示対象ラインの番号Ｌｎの値は表示制御部３２が１ライン表示するごとにカウントアップする。次の表示対象ラインの番号Ｌｎの値の範囲は、１≦Ｌｎ≦（ｍ＋ｎ）である。ライン番号Ｌｄの値は、リサイズ処理部２０ｅによってラインバッファー５２ｄに１ラインずつ画像データの出力が完了するごとにカウントアップされ、表示制御部３２に通知される。ライン番号Ｌｄの値の範囲は０≦Ｌｄ≦ｍである。Ｌｄの値が０の場合は、１フレーム内においてまだ１ラインも画像データがラインバッファー５２ｄに出力されていないことを意味する。なお、Ｌｄの値がｍ（Ｌｄ＝ｍ）になった時点でフレームデータ出力完了フラグＬｄｆフラグがＯｎになり、Ｌｄの値が０にリセットされる（Ｌｄ＝０）。Ｌｄ＝０であってもＬｄｆフラグ＝Ｏｎの期間は、第一表示領域Ｒ１の画像データが全てラインバッファー５２ｄに出力済みであるという意味であるので、表示側は次の表示対象ラインの番号Ｌｎを表示して良い。なお、Ｌｄｆフラグは、ｍライン目を表示完了したと判定された時点でリセットされ、Ｌｄｆフラグ＝Ｏｆｆに戻る。

図３を参照しながら詳細に動作を説明する。図３において、タイミングｐ１にセンサー制御部３１から垂直同期信号SVsyncが出力された後、所定の長さの期間Tsv0が経過したタイミングｐ２に、撮影センサー１５の１ライン目の出力データを取得するための水平同期信号SHsyncがセンサー制御部３１から出力される。撮影センサー１５の１ライン目の出力データがラインバッファー５２ａに出力されると、上述したように画像データ生成部２０によってパイプライン処理が行われライン順次にリサイズ処理後の画像データDDがラインバッファー５２ｄに出力、蓄積される。ΔＴ１は、撮影センサー１５において１フレーム分の出力データの出力期間の開始タイミングｐ２から表示部４０の第一表示領域Ｒ１の１ライン目の表示開始までに少なくとも要する時間を意味する。ΔＴ１には画像データ生成部２０によるパイプライン処理等が含まれる。

図４Ａは、図３に示す表示部４０のフレームＤ１の垂直同期期間Tdvにおける表示タイミングを示すタイミングチャートである。ライブビューモードが開始して最初のフレームにあたるフレームＤ１においては、１ライン目の画像データの表示条件を満たすとそれ以上待機することなくすぐに１ライン目の画像データを表示させる。したがってライン番号Ｌｄの値が次の表示対象ラインの番号Ｌｎ（＝１）と等しくなったことを確認すると表示制御部３２は、１ライン目を表示するための水平同期信号DHsyncを出力し（タイミングｐ３）、１ライン目の画像データDDを表示させる。以降も同様にして、表示条件を満たしたことを確認すると表示制御部３２が水平同期信号DHsyncを出力し表示させる。ライン番号Ｌｄの値が更新される周期の長さは、１ライン分の画像データの生成に要する時間の長さと等しい。１ライン分の画像データの生成に要する時間は変動するため、ライン番号Ｌｄの値が更新される周期の長さも変動する。ライン番号Ｌ
ｄが更新される周期の最長の長さをｂとする。例えば図４Ａでは、ライン番号Ｌｄの値が１である期間の長さがｂであることを示しているが、これは、１ライン目の画像データの生成が完了しラインバッファー５２ｄへの出力が完了したタイミングｐ３から、２ライン目の画像データの生成が完了しラインバッファー５２ｄへの出力が完了したタイミングｐ３''までの時間が最長の長さであるｂであることを意味する。表示制御部３２は水平同期信号DHsyncの出力を、次の表示対象ラインの番号Ｌｎ≦ライン番号Ｌｄとなるまで待機しＬｎ≦Ｌｄとなったタイミングに応じて出力するため、水平同期期間（ライン表示周期）の最長の長さもｂとなる。 なお、ライン番号Ｌｄの値が０から１に変化したことを表示制御部３２が確認してから、フレームＤ１を開始するための垂直同期信号DVsyncを生成してもよい。

具体的には、表示制御部３２はタイミングｐ３で水平同期信号DHsyncを出力してから図示しないドットクロック信号DDotclockに同期させて１画素ずつ１ライン分画像データを表示させる。タイミングｐ３から長さａの時間が経過したタイミングｐ３'においては既に１ライン分の画像データの表示は終えており、次の表示対象ラインの番号Ｌｎの値は２となる。しかしタイミングｐ３'においてライン番号Ｌｄの値はまだ１であるので、表示制御部３２は現在の表示対象ラインである１ライン目のライン表示周期のフロントポーチ期間Tdh2の長さを延長することでＬｎ≦Ｌｄとなるまで次の表示対象ラインを表示させるための水平同期信号DHsyncの出力を待機する。具体的には例えば、ダミーのドットクロック信号DDotclockを生成させたり、ドットクロック信号DDotclockの周期を延長させたりすることによってフロントポーチ期間Tdh2の長さを延長する。なお、第一表示領域Ｒ１において次の表示対象ラインを表示するための表示条件を満たすまで待機する必要のない場合は、最短の長さａで現在の表示対象ラインのライン表示周期を終える。例えば、図４Ａのｍライン目を表示する周期においては、後述するように次の表示対象ラインである（ｍ＋１）ライン目の表示条件を満たすまで待機する必要がないため、現在の表示対象ラインであるｍライン目のライン表示周期の長さは最短の長さａとなる。具体的には、図４Ａのｍライン目を表示する周期においては、フレームデータ出力完了フラグＬｄｆフラグがＯｎになっている。Ｌｄｆフラグ＝Ｏｎの期間は、第一表示領域Ｒ１の画像データが全てラインバッファー５２ｄに出力完了済であるため、表示側は次の表示対象ラインの番号Ｌｎを表示して良く、ｍライン目を表示する周期の長さは最短の長さａとなる。なお、後述するように（ｍ＋１）ライン〜（ｍ＋ｎ）ラインの表示周期の長さも最短の長さａとなる。

図２に示すように、撮影センサー１５のｊライン分の出力データがリサイズ処理部２０ｅによってｍライン分の画像データにリサイズされる。したがって図４Ａに示すように、１ライン目の画像データを表示させる水平同期期間の開始タイミングｐ３から、ｍライン目の画像データを表示させる水平同期期間の終了タイミングｐ６までの期間Tdv1の間に、ｍライン分の画像データ、すなわち第一表示領域Ｒ１への表示が完了する。図４Ａに示すように、１ライン分の表示データが生成されラインバッファー５２ｄに出力されると当該ラインを表示するという動作が繰り返されると、図３に示すようにフレームＤ１における第一表示領域Ｒ１の表示期間Tdv1の長さは、１フレーム分の出力データ（ｊライン分の出力データ）を出力する期間Tsv1の長さとほぼ同等となる。

第一表示領域Ｒ１への表示が完了した後ｍ＋１ライン目以降は第二表示領域Ｒ２への表示となる。ここで、表示部４０の表示能力としてのフレームレートＦｄｍａｘは撮影センサー１５のフレームレートＦｓより高い（Ｆｄｍａｘ＞Ｆｓ）。すなわち、表示条件を満たすまで水平同期信号DHsyncの出力を待機することをせずに、表示部４０をフレームレートＦｄｍａｘで駆動する場合、表示部４０の垂直同期期間（フレーム表示周期）は撮影センサー１５の垂直同期期間（フレーム撮像周期）よりも短くなる。また、フレームレートＦｄｍａｘで表示部４０を駆動する場合の水平同期期間の長さ（すなわち表示部４０において許容されるライン表示周期の最短の長さ）ａは、撮影センサー１５をフレームレートＦｓで駆動する場合に１ライン分の画像データが生成される周期の最長の長さｂよりも短い（ａ＜ｂ）。

第二表示領域Ｒ２に表示する撮影条件等の情報を示す文字や図形等のデータ（ＯＳＤデータ）やライブビューとは別の静止画は、撮影センサー１５の動作によらず独立した情報であり予め作成しＶＲＡＭ５１に記録しておくことが可能である。あるいは、ライブビュー表示とは独立して随時ＯＳＤデータや静止画を作成しＶＲＡＭ５１に記録しておくことが可能である。そのため、ＯＳＤデータや静止画に基づく表示を短い水平同期期間によって実行したとしても、データ読み出しの追い越しを発生させることなく適正な表示を行うことが可能である。そこで、第二表示領域Ｒ２にＯＳＤデータを表示する際には、ｂよりも短い長さであって表示部４０において許容される最短の長さａのライン表示周期（水平同期期間）で第二表示領域Ｒ２の各ラインを表示する。

図４Ａに示すように、表示制御部３２は（ｍ＋１）ライン目〜（ｍ＋ｎ）ライン目までは、ａの長さのライン表示周期でDHsyncを出力し、ａの長さのライン表示周期で１ラインずつＯＳＤデータを表示させる。その結果、ａより長いライン表示周期で（ｍ＋１）ライン目〜（ｍ＋ｎ）ライン目を表示させる場合よりも短い長さの期間Tdv2で第二表示領域Ｒ２の表示を行うことができる。図３に示すように、タイミングｐ７で第二表示領域Ｒ２の表示期間Tdv2を終え、さらにフレームＤ１のフロントポーチ期間Tdv3が経過した後、表示制御部３２は垂直同期信号DVsyncを出力する。図３に示すようにフレームＤ１の垂直同期期間Tdvは、バックポーチ期間Tdv0と第一表示領域Ｒ１の表示期間Tdv1と第二表示領域Ｒ２の表示期間Tdv2とフロントポーチ期間Tdv3とで構成される。撮影センサー１５の垂直同期期間Tsvは、所定の長さの期間Tsv0と１フレーム分の出力期間Tsv1と所定の長さの期間Tsv2とで構成される。フレームＳ１の出力期間Tsv1の長さとフレームＤ１の第一表示領域Ｒ１の表示期間Tdv1の長さとがほぼ同等（センサーにはセンサー特有の余分の出力期間があるため厳密には等しくは無い。）であるにも関わらず、フレームＤ１ではまださらに第二表示領域Ｒ２を表示しなければならず、さらにはフロントポーチ期間Tdv3もフレームＤ１内に含めなければならない。しかし、撮影センサー１５の垂直同期期間Tsvの残りの期間Tsv2の長さよりも、（期間Tdv2+期間Tdv3）の長さの方が長くなる。そのため、撮影センサー１５の垂直同期期間Tsvの長さ（１／Ｆｓ）よりも、フレームＤ１においては表示部４０の垂直同期期間Tdvの方が長くなる。

したがって、撮影センサー１５の垂直同期期間Tsvの長さ（１／Ｆｓ）よりも表示部４０の垂直同期期間Tdvの方が長くなったフレームＤ１の直後のフレームＤ２では、タイミングｐ５からΔＴ１経過したタイミングｐ８においてはまだ次のフレームの第一表示領域Ｒ１の表示を開始できる状況にない（図３においてタイミングｐ８はまだ前フレームＤ１の期間中である）。フレームＤ１においてはタイミングｐ２からΔＴ１経過したタイミングｐ３で第一表示領域Ｒ１の表示を開始することができたことと比較すると、第一表示領域Ｒ１の表示開始タイミングがフレームＤ１よりフレームＤ２はさらにΔＴ２遅れることになる。一方、フレームＳ２の出力期間Tsv1の開始タイミングｐ５からΔＴ１経過したタイミングｐ８後は１ライン目以降の画像データがラインバッファー５２ｄに出力され始める。タイミングｐ８からタイミングｐ９までのΔＴ２の期間において１ライン目から複数ライン分（ここではｉライン分とする。ｉは１≦ｉ≦ｍの自然数。）の画像データがラインバッファー５２ｄに出力済みとなる（すなわちΔＴ２は、１ライン目からｉライン分の画像データをラインバッファー５２ｄに蓄積するのに要する時間と言い換えることもできる）。そのため図４Ｂに示すようにタイミングｐ９においてライン番号Ｌｄの値はｉとなる。

図４Ｂに示すように、タイミングｐ９、すなわち次の表示対象ラインの番号Ｌｎが１でありライン番号Ｌｄの値がｉであるタイミングｐ９においては、表示条件（Ｌｎ≦Ｌｄ）を満たすため、タイミングｐ９において表示制御部３２は１ライン目を表示するためのDHsyncを出力し１ライン目を最短の長さａで表示させる。２ライン目以降も、ライン表示周期をａより長く延長させて表示条件（Ｌｎ≦Ｌｄ）を満たすまで待機する必要がない場合は水平同期信号DHsyncを最短の長さａの周期で出力する。ライン番号Ｌｄの値が更新される周期はａより長いため、ａの長さの周期で水平同期信号DHsyncを出力していくうちに表示条件を満たさない、すなわちＬｎ＞Ｌｄとなるタイミングが発生しうる。例えば図４Ｂに示すタイミングｐ１０で（ｍ−１）ライン目を表示するための水平同期信号DHsyncを出力した後、ａの長さの時間が経過したタイミングｐ１１では次の表示対象ラインの番号Ｌｎはｍであるが、ライン番号Ｌｄの値はまだ（ｍ−１）であるためＬｎ＞Ｌｄとなる。その場合は、Ｌｎ≦Ｌｄとなるまで表示制御部３２は水平同期信号DHsyncの出力を待機しＬｎ≦Ｌｄとなった後、水平同期信号DHsyncを出力する（タイミングｐ１２）。

タイミングｐ１２で第一表示領域Ｒ１の最終ラインを表示するための水平同期信号DHsyncを出力した後は、上述と同様に第二表示領域Ｒ２の表示を行う。すなわち、各ラインにつきａの長さの周期で表示を行う。 以上で説明したように、フレームＤ２の第一表示領域Ｒ１においては１ライン目の表示を開始する際に既にラインバッファー５２ｄに１ライン目からｉライン分の画像データが蓄積されており最短の長さａのライン表示周期で表示できるラインが少なくとも（ｉ−１）ライン分ある。そのため、フレームＤ２の第一表示領域Ｒ１の表示期間Tdv1'の長さは、フレームＤ１のように１ライン目の表示を開始する際に１ライン目の画像データしかラインバッファー５２ｄに蓄積されていない場合の第一表示領域Ｒ１の表示期間Tdv1の長さよりも短くなる（図３参照）。なお第二表示領域Ｒ２の表示期間Tsv2については、ライン数（ｎライン）も水平同期期間（長さａ）も変化しないため、長さはどのフレームにおいても同じである。

その結果、フレームＤ２の垂直同期期間Tdv'はフレームＤ１の垂直同期期間Tdvよりも短くなる。また、フレームＤ２において、次式（１）を満たせば、フレームＤ２の垂直同期期間Tdv'を撮影センサー１５の垂直同期期間Tsvと同じ長さにすることができる。 表示期間Tdv1'の長さ≦（撮影センサー１５の垂直同期期間Tsvの長さ）−（期間Tdv0 の長さ+ 期間Tdv2の長さ + 期間Tdv3の基準の長さ）…（１） 式（１）の左辺＝式（１）の右辺、となる場合にフレームＤ２の垂直同期期間Tdv'が撮影センサー１５の垂直同期期間Tsvと同じ長さになるのは自明である。 式（１）の左辺＜式（１）の右辺、となる場合も、フレームＤ２のフロントポーチ期間Tdv3を予め決められた基準の長さよりも延長すること（例えばダミーの水平同期信号DHsyncを発生させたり、フロントポーチ期間Tdv3中において１以上の水平同期期間の長さを延長させたりする）により、フレームＤ２の垂直同期期間Tdv'を撮影センサー１５の垂直同期期間Tsvと同じ長さにすることができる。

フレームＤ２の第一表示領域Ｒ１の表示期間Tdv1'の長さは、タイミングｐ９においてラインバッファー５２ｄに蓄積済みとなっているライン数に影響を受ける。当該ライン数が、式（１）を満たす程度のライン数であればよい。このように、第一表示領域Ｒ１においてラインバッファー５２ｄに蓄積済みのラインの画像データについては表示部４０におけるライン表示周期の最短の長さａで表示させる（蓄積済みでないラインの画像データ
は表示条件を満たすまで待機し表示条件を満たした後に表示させる）ことにより、第一表示領域Ｒ１の表示期間を期間Tsv1より短縮することができる。また、第二表示領域Ｒ２においては最短の長さａで全ラインを表示させることにより、ａより長い周期で全ラインを表示させる場合と比較して表示に要する時間を短縮することができる。その結果、撮影センサー１５の垂直同期期間Tsvと同じ長さの期間に、撮影センサー１５の出力データに基づく画像データ以外にＯＳＤ等の表示データを表示させることができ、撮影センサー１５と表示部４０とを同期させて動作させることができる。フレームＤ２の次のフレーム以降も、撮影センサー１５の出力期間Tsv1の開始タイミングと表示部４０の第一表示領域Ｒ１の表示期間Tdv1'の開始タイミングとの時間差（表示遅延時間）がΔＴ１＋ΔＴ２の状態で、撮影センサー１５と表示部４０とを同期して動作させることができる。 なお、ライブビューモードが開始後最初のフレームから、撮影センサー１５の出力期間Tsv1の開始タイミングと表示部４０の第一表示領域Ｒ１の表示期間の開始タイミングとの時間差（表示遅延時間）がΔＴ１＋ΔＴ２となるように表示部４０の動作タイミングを制御してもよい。すなわち図３を用いた例では２フレーム以降から当該時間差がΔＴ１＋ΔＴ２となるように制御されることを説明したが、１フレーム目から当該時間差がΔＴ１＋ΔＴ２となるように制御されてももちろんよい。

このように、位相差の変化（フレームＳ１とフレームＤ１ではΔＴ１であるのに対し、フレームＳ２とフレームＤ２ではΔＴ１＋ΔＴ２である）に合わせて、フレーム表示周期の長さが変化する。フレーム表示周期を一時的に変化させることによってその後に続くフレームにおいて撮影センサー１５と表示部４０との同期化を実現することができる。

なお、フレームレートＦｄｍａｘが高いほど最短のライン表示周期の長さａも短くなるため、第二表示領域Ｒ２の表示期間の長さも短くすることができる。その結果、撮影センサー１５と表示部４０との位相差も小さくなり表示遅延時間も短くなる。また、位相差が小さくなることにより、次のフレームの第一表示領域Ｒ１の画像データを蓄積するバッファーの容量を少なくすることができる。また、ライン表示周期の最短の長さａが、１ライン分の画像データが生成される周期の最長の長さｂよりも短いほど、表示遅延時間を短縮できる。第二表示領域Ｒ２のライン数が多いほど次フレームにおける表示遅延時間は長くなるが、ライン表示周期の最短の長さａが短いほど次フレームの第一表示領域Ｒ１の画像データを蓄積するためのバッファーの容量を少なくすることが可能であり、表示遅延時間も短縮することが可能である。

２．第二実施形態 図５は、第二実施形態にかかるライブビューモード時の撮影センサーと表示部の動作を示すタイミングチャートである。フレームＤＤ１は、複数ライン分の画像データがラインバッファー５２ｄに蓄積されるまで第一表示領域Ｒ１の表示を開始しないのではなく、第一表示領域Ｒ１の１ライン目の画像データがラインバッファー５２ｄに出力されるとすぐに１ライン目の画像データを表示し、以後１ライン分の画像データがラインバッファー５２ｄに出力されるたびに表示を行う。これは、第一実施形態における図３のフレームＤ１と同様の動作内容である。この結果、図３のフレームＤ１と同様に第二実施形態の図５のフレームＤＤ１のフレーム表示周期（垂直同期期間）Tdvの長さは、撮影センサー１５のフレーム撮像周期（垂直同期期間）Tsvよりも長くなる。すなわち、フレームＤＤ１のフレーム表示周期Tdvの長さがこのまま続いた場合のフレームレート（第二のフレームレート）は、撮影センサー１５のフレームレートより低い。

ここで、フレームＤＤ１の第一表示領域Ｒ１の表示期間Tdv1と第二表示領域Ｒ２の表示期間Tdv2を終えた後、何らかの原因によりフレームＤＤ２を開始するための垂直同期信号DVsyncが遅れて生成されたとする。すなわち、フレームＤＤ１のフロントポーチ期間Tdv3が終了するタイミングｑ８より少し遅れたタイミングｑ９で垂直同期信号DVsyncが出力されたとする。フレームＤＤ２を開始するための垂直同期信号DVsyncの出力が少し遅れたことにより、フレームＤＤ２のバックポーチ期間Tdv0を経てフレームＤＤ２の第一表示領域Ｒ１の表示期間Tdv1'の開始タイミングｑ１０では、垂直同期信号DVsyncが遅れないでタイミングｑ８で生成された場合と比較すると多くのラインの画像データがラインバッファー５２ｄに蓄積された状態となる。すなわち、フレームＳＳ２の１フレーム分の出力データの出力を開始するタイミングｑ５からΔＴ１（先頭ラインの画像データを生成するのに要する期間）経過した後さらに期間ΔＴ３経過したタイミングｑ１０で蓄積済みのライン数は、タイミングｑ５から期間ΔＴ１経過後さらに、ΔＴ３より短い期間経過した図示しないタイミングにおける蓄積済みのライン数より多くなる。

したがって、垂直同期信号DVsyncが遅れないでタイミングｑ８で生成された場合と比較すると、最短の長さａのライン表示周期で表示可能なライン数が増えるため、フレームＤＤ２における第一表示領域Ｒ１の表示期間Tdv1'の長さは短くなる。第二表示領域Ｒ２の表示期間Tdv2の長さはフレームＤＤ１と同じである。フレームＤＤ３を開始するための垂直同期信号DVsyncが遅れずにフロントポーチ期間Tdv3が経過したタイミングｑ１１で生成されるとすると、フレームＤＤ２のフレーム表示期間Tdv'の長さは撮影センサー１５のフレーム撮像周期Tsvの長さより短くなる。すなわち、フレームＤＤ２のフレーム表示周期Tdv'の長さがこのまま続いた場合のフレームレート（第一のフレームレート）は、撮影センサー１５のフレームレートより高い。なお、フレームＤＤ３以降で撮影センサー１５のフレームレートと表示部４０のフレームレートとは等しくなっていくことが可能であることは第一実施形態と同様のため説明を省略する。

また、第二のフレームレートでフレームＤＤ１（Ｎフレーム目）の表示を行っている期間内に、フレームＤＤ２（Ｎ＋１フレーム目）の複数ライン分の画像データを蓄積することができる。すなわち、フレームＤＤ１のフレーム表示期間Tdvの期間内にフレームＤＤ２の第一表示領域Ｒ１の複数ライン分の画像データを蓄積する期間ΔＴ３の一部が含まれている。 また、フレームＤＤ２に示すように、複数ライン分の画像データが蓄積された後（期間ΔＴ３の後）に第一表示領域Ｒ１や第二表示領域Ｒ２の表示が行われる。

３．他の実施形態 尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば上記実施形態では表示条件の判定に関して、表示制御部３２はリサイズ処理部２０ｅから画像データの生成処理が終了しラインバッファー５２ｄに出力が完了したライン番号Ｌｄを取得し、次の表示対象ラインＬｎとの関係が（Ｌｎ≦Ｌｄ）である場合に表示条件を満たすと判断する構成を採用したが、他にも様々な実施態様が考えられる。例えば、画像データ生成部は１ライン分の画像データの生成が完了し所定のバッファーに出力が完了したタイミングで表示制御部にパルス信号を出力し、表示制御部は１フレーム内においてパルス信号が出力された個数をカウントしておき、当該個数が示すライン番号が、次の表示対象ラインの番号以上であれば表示条件を満たすと判断してもよい。

また例えば、画像データ生成部はリサイズ処理部の処理が終了しＮライン目の画像データが生成されたタイミングでカウンターをカウントアップしてカウンターの値をＮにする。画像データ生成部はカウンターをカウントアップしたタイミングでパルス信号を表示制御部に出力しカウンターがカウントアップされたことを通知する。表示制御部は、パルス信号を取得したタイミングで、画像データの生成が完了したラインを示す（何ライン目まで生成が完了したかを示す）カウンターの値を取得する。表示制御部は、次の表示対象ラインの番号がカウンターの値以下であれば表示条件を満たすと判断してもよい。

なお、表示部４０の画面構成については第一実施形態で採用された構成に限定されるものではない。例えば図６Ａに示すように第一表示領域Ｒ１と第二表示領域Ｒ２とが第一実施形態と逆であってもよい。すなわち、表示画面の１ライン目からｎライン分の領域がＯＳＤデータを表示する第二表示領域Ｒ２であり、第二表示領域Ｒ２に続くｍライン分の領域が撮影センサー１５の出力データに基づいて生成された画像データを表示する第一表示領域Ｒ１であってもよい。この場合、第二表示領域Ｒ２を上記実施形態と同様に長さａのライン表示周期で表示させる。第二表示領域Ｒ２を表示している期間にラインバッファー５２ｄに第一表示領域Ｒ１に表示させる数ライン分の画像データが蓄積されるため、第一表示領域Ｒ１はラインバッファー５２ｄに蓄積済みのラインの画像データを長さａのライン表示周期で表示させることができ上記実施形態と同様に第一表示領域Ｒ１の表示期間を短縮することができる。その結果、撮影センサー１５の垂直同期期間と同じ長さの期間に、撮影センサー１５の出力データに基づく画像データ以外にＯＳＤ等の表示データを表示させることができ、撮影センサー１５と表示部４０とを同期させて動作させることができる。上記実施形態では、第一表示領域は複数ラインで構成される領域であり幅（水平方向の長さ）は表示画面の幅（水平方向の長さ）と等しかったが、表示画面の幅より短くても良い。

また、第一実施形態や図６Ａの例では、撮影センサー１５の出力データに基づいて生成された画像データは表示画面の水平方向の幅全域にわたって表示されるが、図６Ｂのライブビュー画像表示領域１０１に示すように、撮影センサー１５の出力データに基づいて生成された画像データが表示される領域の幅は、表示画面の幅より狭くてもよい。図６Ｂの例の場合、ライブビュー画像表示領域１０１を含むラインで構成される領域（幅は表示画面の幅と同じ）が第一表示領域Ｒ１（撮影センサー１５の出力データに基づいて生成された画像データを含む表示データを表示する領域）であり、その他の領域（幅は表示画面の幅と同じ）が第二表示領域Ｒ２（撮影センサー１５の出力データに基づいて生成された画像データを含まない表示データを表示する領域）である。ライブビュー画像表示領域１０１以外の領域（ヒストグラム１，２，３の表示領域や撮影情報等の表示領域やそれら以外の背景部）の表示データはＶＲＡＭ５１に作成され保存されている。画像データ出力部２１は、ライブビュー画像表示領域１０１を表示する際はラインバッファー５２ｄから画像データを取得し、それ以外の領域を表示する際はＶＲＡＭ５１からデータを取得して表示部４０に出力する。第一表示領域Ｒ１はライブビュー画像表示領域１０１を含むため、ラインバッファー５２ｄに複数ライン分画像データが蓄積されていれば最短の長さａで表示できるが、表示条件を満たさない場合は満たすまで表示を待機する必要がある。そのため第一表示領域Ｒ１は、ａ以上ｂ以下の長さのライン表示周期で表示される。一方、第二表示領域Ｒ２はａの長さのライン表示周期で表示することができる。

なお、ライブビューモード中に、画面構成（レイアウト）が変更される場合（第一表示領域Ｒ１と第二表示領域Ｒ２の配置や比率が切り換えられる場合）であっても、上記実施形態で示したような構成（第一表示領域の画像データを複数ライン分蓄積するバッファーを備え、ｂより短いａの長さで蓄積済みの画像データや第二表示領域Ｒ２の表示データを表示する構成）を備えることにより、最短で１フレーム経過後には、撮影センサー１５と表示部４０とを同期させることができる。すなわち、ライブビューモード中に画面構成が切り換えられても、切り換えられてから最短で２フレーム以降は安定的に撮影センサー１５と表示部４０との同期化を実現することができる。

なお、第一実
施形態において、Ｆｄｍａｘ＞Ｆｓでありａ＜ｂである場合に、撮影センサー１５と表示部４０とを同期させて動作させる実施例ついて説明したが、Ｆｄｍａｘ＝Ｆｓの場合に撮影センサー１５と表示部４０とを同期させて動作させることはもちろん可能である。例えばラインバッファー５２ｄに第一表示領域Ｒ１に表示させるｍライン分の画像データの蓄積が完了した後に、第一表示領域Ｒ１の１ライン目から表示を開始すれば、第一表示領域Ｒ１に関して長さａのライン表示周期でｍライン分の表示を行うことができる（どのラインについても表示条件を満たすまで待機する必要がないため）。なおこの場合、長さａは長さｂより必ずしも短くなくてもよく例えばａ＝ｂであってもよい。また、第二表示領域Ｒ２に関しては第一実施形態と同様にＶＲＡＭ５１に記録されているＯＳＤデータを用いて長さａのライン表示周期でｎライン分の表示を行うことができる。このように長さａのライン表示周期で水平同期信号DHsyncを出力する場合の表示部４０のフレームレートＦｄｍａｘが撮影センサー１５の実フレームレートＦｓと同じであれば、垂直同期期間の長さが等しくなるため、撮影センサー１５と表示部４０との同期が可能であることはもちろんである。ただしこの例の場合、第一表示領域Ｒ１のｍライン分の画像データがラインバッファー５２ｄに蓄積された後に第一表示領域Ｒ１の１ライン目からの表示が開始されるため、撮影センサー１５が１ライン目の出力データを出力してから第一表示領域Ｒ１の表示が開始されるまでの表示遅延時間は、第一実施形態よりも長くなる。したがって、表示遅延時間をなるべく短くしなおかつ撮影センサー１５と表示部４０とを同期させるためには、Ｆｄｍａｘ＞Ｆｓでありａ＜ｂである第一実施形態が望ましい。

１…撮影装置、１０…光学系、１１…レンズ、１３…シャッター、１４…ローパスフィルター、１５…撮影センサー、２０…画像データ生成部、２０…画像データ生成部、２０ａ…画素補間部、２０ｂ…色再現処理部、２０ｃ…フィルター処理部、２０ｄ…ガンマ補正部、２０ｅ…リサイズ処理部、２１…画像データ出力部、３０…タイミング制御部、３１…センサー制御部、３２…表示制御部、４０…表示部、４１…液晶パネルドライバー、４２…液晶パネル、５０…ＣＰＵ、５１…ＶＲＡＭ、５２…ＳＤ−ＲＡＭ、５２ａ〜５２ｄ…ラインバッファー、５３…ＲＯＭ、５４…ＲＡＭ、５５…操作部、１０１…ライブビュー画像表示領域、Ｒ１…第一表示領域、Ｒ２…第二表示領域

Claims (9)

1. 被写体を撮像する撮影センサーの出力データに基づいて前記被写体の像を示す画像データを表示部のラインごとに生成し、１ライン分の前記画像データが生成される周期が増減する画像データ生成部と、
   生成された前記画像データを複数ライン分蓄積する容量を有するバッファーと、
   前記撮影センサーのフレームレートより表示能力としてのフレームレートが高い前記表示部のライン表示周期の最短の長さをａとすると、前記撮影センサーのフレームレートで前記撮影センサーが動作している場合に１ライン分の前記画像データが生成される周期の最長の長さｂよりもａは短く、第一表示領域と第二表示領域とから構成される前記表示部の表示画面の前記第一表示領域に前記バッファーに複数ライン分前記画像データが蓄積された後に前記画像データを含む表示データをａ以上ｂ以下の長さのライン表示周期で表示させ、前記第二表示領域に前記画像データを含まない表示データをａの長さのライン表示周期で表示させる表示制御部と、
   を備え、
   前記表示制御部は、１ライン分の前記画像データが生成される周期の増減にともない、前記表示部のフレームレートを増減させる撮影装置。
2. 前記表示制御部は、前記第一表示領域において、次の表示対象ラインを表示するための表示条件を満たすまで当該次の表示対象ラインの表示開始を待機し、当該表示条件を満たした後に当該次の表示対象ラインを表示させる、請求項１に記載の撮影装置。
3. 前記表示制御部は、前記第一表示領域において、前記表示条件を満たすまで前記次の表示対象ラインの表示開始を待機する必要がない場合は、現在の表示対象ラインをａの長さのライン表示周期で表示させる、請求項２に記載の撮影装置。
4. 前記画像データ生成部は、生成した前記画像データを順次前記バッファーに出力し、
   前記表示制御部は、前記第一表示領域が連続するｍライン分（ｍは自然数）の領域である場合に、前記第一表示領域の１ライン目の前記画像データが前記バッファーへ蓄積開始されてからｉライン目（ｉは１≦ｉ≦ｍとなる自然数）までの前記画像データが前記バッファーに蓄積完了した後、前記バッファーに蓄積された前記画像データに基づいて前記第一表示領域の１ライン目からｍライン目をａ以上ｂ以下の長さのライン表示周期で表示させる、請求項２または請求項３に記載の撮影装置。
5. 被写体を撮像する撮影センサーの出力データに基づいて前記被写体の像を示す画像データを表示部のラインごとに生成し、１ライン分の前記画像データが生成される周期が増減する画像データ生成工程と、
   前記撮影センサーのフレームレートより表示能力としてのフレームレートが高い前記表示部のライン表示周期の最短の長さをａとすると、前記撮影センサーのフレームレートで前記撮影センサーが動作している場合に１ライン分の前記画像データが生成される周期の最長の長さｂよりもａは短く、第一表示領域と第二表示領域とから構成される前記表示部の表示画面の前記第一表示領域にバッファーに複数ライン分前記画像データが蓄積された後に前記画像データを含む表示データをａ以上ｂ以下の長さのライン表示周期で表示させ、前記第二表示領域に前記画像データを含まない表示データをａの長さのライン表示周期で表示させる表示制御工程と、を有し、
   前記表示制御工程は、１ライン分の前記画像データが生成される周期の増減にともない、前記表示部のフレームレートを増減させる撮影装置の制御方法。
6. 被写体を撮像する撮影センサーの出力データに基づいて前記被写体の像を示す画像データを表示部のラインごとに生成する画像データ生成部と、
   生成された前記画像データを蓄積するバッファーと、
   前記表示部の表示画面の第一表示領域に前記画像データを含む表示データを表示させ、前記表示画面の第二表示領域に前記画像データを含まない表示データを表示させる表示制御部と、を備え、
   前記表示部のライン表示周期は、前記撮影センサーのフレームレートで前記撮影センサーが動作している場合に１ライン分の前記画像データが生成される周期よりも短く、
   前記表示制御部は、前記バッファーに複数ライン分前記画像データが蓄積された後において、前記撮影センサーのフレームレートより高い第一のフレームレートで前記画像データを表示可能な状態である前記表示部に、前記第一のフレームレートで、前記第一表示領域および前記第二表示領域の表示を行い、１ライン分の前記画像データが生成される周期の増減にともない、前記表示部のフレームレートを増減させる、撮影装置。
7. 前記表示制御部は、前記第一表示領域において、次の表示対象ラインを表示するための表示条件を満たすまで当該次の表示対象ラインの表示開始を待機し、当該表示条件を満たした後に当該次の表示対象ラインを表示させるよう構成され、
   前記バッファーに複数ライン分前記画像データが蓄積されるまでは、前記第一のフレームレートより低い第二のフレームレートで、前記第一表示領域および前記第二表示領域の表示を行う、請求項６記載の撮影装置。
8. 前記バッファーは、前記表示制御部が前記第二のフレームレートで、Ｎフレーム目（Ｎは自然数）の表示を行っている間に、（Ｎ＋１）フレーム目の前記複数ライン分の前記画像データを蓄積する、請求項７記載の撮影装置。
9. 前記表示制御部は、前記バッファーに複数ライン分前記画像データが蓄積された後において、前記第一表示領域および前記第二表示領域の表示を行うように制御する、請求項６記載の撮影装置。
   

Images