ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)撮影装置の構成:
(2)ライブビュー表示制御:
(3)ライブビュー表示先の切り換え:
(4)他の実施形態:
(1)撮影装置の構成:
図1は本発明の一実施形態にかかる撮影装置1の構成を示すブロック図である。撮影装置1には、光学系10、エリアイメージセンサー15(「撮像部」に相当する)、ASIC200、タイミングジェネレーター30、切換制御部31、第一の表示部40、第二の表示部41、CPU50、VRAM51、SD−RAM52、ROM53、RAM54、操作部55、アイセンサー56が備えられている。CPU50は、VRAM51、SD−RAM52、RAM54を適宜利用してROM53に記録されたプログラムを実行可能であり、当該プログラムによりCPU50は、操作部55に対する操作に応じてエリアイメージセンサー15にて撮影された被写体を示す画像データを生成する機能を実行する。なお、操作部55はシャッターボタンと、モードを切り換えるためのモード切換手段としてのダイヤルスイッチと、絞りとシャッター速度を切り換えるためのダイヤルスイッチと、各種の設定メニューを操作するためのプッシュボタンとを備えており、ユーザーは当該操作部55に対する操作によって撮影装置1に対して各種の指示を与えることができる。
第一の表示部40は、撮影対象となる被写体を示す画像を表示してユーザーに本撮影前の被写体の様子および撮影条件等の情報を把握させるEVF(Electronic View Finder)であり、本実施形態にかかる撮影装置1はEVFを備えたミラーレスデジタルカメラである。第二の表示部41は、撮影装置1の背面に設けられた背面表示部である。第二の表示部41は、本撮影前の被写体の様子及び撮影条件等の情報を表示する。また、第二の表示部41は本撮影後の画像や、各種のメニュー画面を表示する。
アイセンサー56は第一の表示部40を含むファインダーにユーザーの顔などの物体が接近したことを検知するセンサーである。物体がファインダーに接近するとアイセンサー56は接近したことを示す信号を出力する。物体がファインダーから離れるとアイセンサー56は離れたことを示す信号を出力する。ROM53に記録されたプログラムの中にはアイセンサー56の出力する信号に応じて表示先を決定するプログラムが含まれている。当該プログラムを実行することによってCPU50は画像の表示先である対象表示部として第一の表示部40または第二の表示部41を決定する。具体的にはアイセンサー56から出力された信号が、物体が接近したことを示す場合、第一の表示部40を対象表示部として決定し、当該信号が、物体が離れたことを示す場合、第二の表示部41を対象表示部として決定する。CPU50、RAM54、ROM53、アイセンサー56は「対象表示部決定部」として機能する。CPU50は対象表示部が変化する場合に、新しく決定した対象表示部への切換指示を示す表示先切換指示情報を切換制御部31に出力する。
第一の表示部40、第二の表示部41はそれぞれ、図示しないインターフェース回路、液晶パネルドライバー40a,41a、液晶パネル40b,41b、図示しない接眼レンズ等を備えている。本実施形態において液晶パネル40b,41bは、画素ごとに3色のカラーフィルターに対応する3つのサブピクセルを備える高温ポリシリコンTFT(Thin Film Transistor)であり、画素の位置は直交座標系における座標で規定される。また、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。また本実施形態においては、液晶パネル40b,41bの全画素によって構成される1画面を1フレームと呼ぶ。
液晶パネルドライバー40a,41aは、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネル40bに対して出力する。液晶パネル40b,41bは、図示しないゲートドライバおよびソースドライバを備えており、液晶パネルドライバー40a,41aから出力される信号に応じてゲートドライバが各ラインの各画素における表示タイミングを制御し、ソースドライバが表示タイミングとされているラインの各画素に対して各画素の画像データに対応した電圧を印加することによって表示を行う。すなわち、液晶パネルドライバー40a,41aは、液晶パネル40b,41bにおける表示を行うための各種信号、例えば、1フレーム分の表示を行うための期間を規定する垂直同期信号(DVsync)、1ライン分の表示を行うための期間を規定する水平同期信号(DHsync)、各ライン内での画像データの取り込み期間を規定するデータアクティブ信号(DDactive)、各画素の画像データの取り込みタイミング等を規定するドットクロック信号(DDotclock)、各画素の画像データ(DD)を出力するように構成されている。
なお、本実施形態にかかる撮影装置1は、タイミングジェネレーター30を備えており、上述の垂直同期信号DVsync、水平同期信号DHsync、データアクティブ信号DDactive、ドットクロック信号DDotclockは当該タイミングジェネレーター30によって生成される。すなわち、タイミングジェネレーター30は、クロック信号発生手段から出力される所定周期のクロック信号の変化タイミングに同期して信号レベルが変化する信号を生成する分周回路等を備えている。そして、タイミングジェネレーター30は、予め決められたタイミングで信号レベルが変化する垂直同期信号DVsync、水平同期信号DHsync、データアクティブ信号DDactive、ドットクロック信号DDotclockを生成する。
本実施形態において第一の表示部40と第二の表示部41とはフレーム周期(垂直同期信号DVsyncで規定される垂直同期期間)の長さが互いに異なる。さらに、第一の表示部40のフレーム周期の長さと第二の表示部41のフレーム周期の長さとは一方が他方の整数倍の関係にあるわけではない。そのためタイミングジェネレーター30は、第一の表示部40の仕様に準拠するフレーム周期を実現するための垂直同期信号DVsync・水平同期信号DHsync・データアクティブ信号DDactive・ドットクロック信号DDotclockと、第二の表示部41の仕様に準拠するフレーム周期を実現するための垂直同期信号DVsync・水平同期信号DHsync・データアクティブ信号DDactive・ドットクロック信号DDotclockの少なくとも2系統の垂直同期信号DVsync・水平同期信号DHsync・データアクティブ信号DDactive・ドットクロック信号DDotclockを生成し切換制御部31に出力することができる。タイミングジェネレーター30は、切換制御部31から出力される信号切換指示情報に応じて切換制御部31に出力する信号を切り換える。具体的には、タイミングジェネレーター30は、信号切換指示情報が、第一の表示部40に対応する系統の上述の信号への切換を指示する場合は、第一の表示部40に対応する系統の上述の信号を切換制御部31に出力する。またタイミングジェネレーター30は、信号切換指示情報が、第二の表示部41に対応する系統の上述の信号への切換を指示する場合は、第二の表示部41に対応する系統の上述の信号を切換制御部31に出力する。
切換制御部31は、表示先切換指示情報に応じて、タイミングジェネレーター30に信号切換指示情報を出力する。具体的には、表示先切換指示情報が第一の表示部40への切換を示している場合は、第一の表示部40に対応する系統の上述の信号への切換を指示する信号切換指示情報を切換制御部31は出力する。表示先切換指示情報が第二の表示部41への切換を示している場合は、第二の表示部41に対応する系統の上述の信号への切換を指示する信号切換指示情報を切換制御部31は出力する。また切換制御部31は、信号切換指示情報に応じてタイミングジェネレーター30から出力された垂直同期信号DVsyncと水平同期信号DHsyncとデータアクティブ信号DDactiveとドットクロック信号DDotclockとを、表示先切換指示情報に応じて第一の表示部40または第二の表示部41のいずれかに出力する。CPU50、VRAM51、SD−RAM52、RAM54、ROM53、タイミングジェネレーター30、切換制御部31は、「制御部」として機能する。
また、本実施形態における液晶パネル40b,41bはそれぞれ、水平方向に1024個、垂直方向に768個の有効画素を備えた画素数がXGAサイズのパネルであり、液晶パネルドライバー40a,41aが液晶パネル40b,41bに出力する画像データDDの内容および出力タイミングを調整することによって、任意の位置に画像データに対応した階調の表示を行うことができる。本実施形態においては、液晶パネル40b、41bの予め決められた被写体像表示領域にエリアイメージセンサー15の出力データに基づいて被写体の画像を表示し、また、当該被写体像表示領域以外の情報表示領域に撮影条件等の情報を示す文字を表示する構成となっている。すなわち、液晶パネル40b,41bには、被写体の画像とともに撮影条件等の情報を示す文字がOSD(On Screen Display)表示される。なお、液晶パネル40b,41bは水平方向および垂直方向に有効画素よりも多数の画素を備えているが、本明細書では簡単のため有効画素以外の画素に関する処理は省略して説明する。
光学系10は、エリアイメージセンサー15に被写体画像を結像させるレンズ11、絞り12、シャッター13およびローパスフィルター14を備える。このうち、レンズ11と絞り12とは図示しない筐体に交換可能に取り付けられる。レンズ11は図1では簡略化して1枚のレンズで表しているが、光軸方向に並べられた複数枚のレンズを含み、各レンズは外縁部で支持されるとともに、光軸方向に少なくとも1枚のレンズが移動可能である。シャッター13はフォーカルプレーン型のメカニカルシャッターであり、前幕と後幕とを備える。CPU50の指示に従ってシャッター13が駆動することで、レンズ11を通過した光がエリアイメージセンサー15に結像する状態と、レンズ11を通過した光をシャッター13の前幕と後幕との少なくとも一方が遮光することでエリアイメージセンサー15に結像しない状態と、を切り替えることができる。エリアイメージセンサー15としては、例えばベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数のフォトダイオードとを備えるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサー、CCD(Charge Coupled Device)イメージセンサー等の固体撮像素子が用いられる。エリアイメージセンサー15の画素の位置は直交座標系における座標で規定され、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。また本実施形態においてエリアイメージセンサー15の全画素によって構成される1画面を1フレームと呼ぶ。
本実施形態においては、エリアイメージセンサー15もタイミングジェネレーター30が出力する各種信号に同期した動作を行う。すなわち、タイミングジェネレーター30は、1フレーム分のフォトダイオードの検出結果を読み出すための期間を規定する垂直同期信号(SVsync)、1ライン分のフォトダイオードの検出結果を読み出すための期間を規定する水平同期信号(SHsync)、各画素の画像データの読み出しタイミング等を規定するドットクロック信号(SDotclock)を所定のタイミングで繰り返し出力する。なお、フォトダイオードの検出結果を読み出した直後に次のフレーム分の露光を行わないのであれば、タイミングジェネレーター30は、1ライン分のフォトダイオードに蓄積されている電荷をリセットする水平リセット信号(SHreset)等のリセット信号を所定のタイミングで繰り返し出力するようにしてもよい。エリアイメージセンサー15は、垂直同期信号SVsyncに応じて1フレーム分の出力データSDの出力を開始し、水平同期信号SHsyncにて規定される期間内にドットクロック信号SDotclockに応じたタイミングでエリアイメージセンサー15の一部の画素に対応するフォトダイオードの検出結果を示す出力データSDを逐次読み出す。
本実施形態においてタイミングジェネレーター30は、二つの表示部のそれぞれに対して同期してエリアイメージセンサー15を動作させるために、第一の表示部40のフレーム周期と同期する垂直同期信号SVsync・水平同期信号SHsync・データアクティブ信号SDactive・ドットクロック信号SDotclockと、第二の表示部41のフレーム周期と同期する垂直同期信号SVsync・水平同期信号SHsync・データアクティブ信号SDactive・ドットクロック信号SDotclockの少なくとも2系統の垂直同期信号SVsync・水平同期信号SHsync・データアクティブ信号SDactive・ドットクロック信号SDotclockを生成しエリアイメージセンサー15に出力することができる。タイミングジェネレーター30は、切換制御部31から取得した信号切換指示情報に応じて垂直同期信号SVsync、水平同期信号SHsync、データアクティブ信号SDactive、ドットクロック信号SDotclockの周期を切り換える。具体的には、信号切換指示情報が第一の表示部40に同期する系統の信号への切換を示している場合、タイミングジェネレーター30は第一の表示部40のフレーム周期と同期する系統の上述の信号をエリアイメージセンサー15に出力する。また信号切換指示情報が第二の表示部41に同期する系統の信号への切換を示している場合、タイミングジェネレーター30は第二の表示部41のフレーム周期と同期する系統の上述の信号をエリアイメージセンサー15に出力する。
ASIC200は、SD−RAM52に予め確保された複数ライン分のラインバッファー52a〜52dを利用し、第一の表示部40または第二の表示部41にて被写体の像を表示するための画像データをパイプライン処理によって生成する処理を行う回路によって構成される画像データ生成部20を備えている。なお、複数ライン分のラインバッファー52a〜52dは画像データ生成部20などに設けられていても良い。第一の表示部40は生成された画像データに基づいて被写体の像を液晶パネル40bに対して表示する。また第二の表示部41は生成された画像データに基づいて被写体の像を液晶パネル41bに表示する。すなわち、ユーザーは、第一の表示部40または第二の表示部41を見ながら被写体を確認することが可能である。
また、ユーザーが操作部55を操作して本撮影指示を行った場合には、本撮影指示に応じてエリアイメージセンサー15は、垂直同期信号SVsyncに応じて1フレーム分の出力データSDの出力を開始し、水平同期信号SHsyncにて規定される期間内にドットクロック信号SDotclockに応じたタイミングでエリアイメージセンサー15の全有効画素に対応するフォトダイオードの検出結果を示す出力データSDを逐次読み出す。そして画像データ生成部20は、SD−RAM52等を利用しJPEG等の形式の画像データを生成する。生成された画像データは図示しないリムーバブルメモリ等に記録される。
(2)ライブビュー表示制御:
被写体を示す画像データをリムーバブルメモリ等に記録し、印刷すること等を考慮した場合、高品質の画像データを得るためにはエリアイメージセンサー15の画素数が所定数より多いことが望まれる。そこで、本実施形態におけるエリアイメージセンサー15の有効画素数は図2に示すように、水平方向に5400画素、垂直方向に3600画素となっている。エリアイメージセンサー15は水平方向および垂直方向に有効画素よりも多数の画素を備えているが、本明細書では簡単のため有効画素以外の画素に関する処理は省略して説明する。
一方、上述のように、液晶パネル40bおよび液晶パネル41bは水平方向に1024個、垂直方向に768個の画素を備え、被写体像表示領域(図2に示すR1)に被写体の画像を表示する構成となっている。本実施形態においては、エリアイメージセンサー15の縦横比(2:3)を維持したままできるだけ大きく被写体の画像を表示するため、液晶パネル40b,41bの上辺および左右の辺に対して上辺及び左右の辺が接する縦横比2:3の矩形領域を被写体の画像を表示する被写体像表示領域R1としている。また、残りの領域が撮影条件等の情報を示す文字を表示する情報表示領域(図2に示すR2)である。従って、液晶パネル40b,41bにおける被写体像表示領域R1は、水平方向に1024個、垂直方向に682個の画素にて構成される。以上のように、本実施形態においては、エリアイメージセンサー15の画素数と液晶パネル40b,41bの画素数とは一致していない。
さらに、第一の表示部40および第二の表示部41における表示はユーザーによる被写体の確認に利用されるため、エリアイメージセンサー15にて被写体が撮影されたタイミングから第一の表示部40または第二の表示部41にて当該撮影された被写体の像が表示されるタイミングまでの遅延がユーザーによって認識可能な程度の長さであると、第一の表示部40または第二の表示部41で視認した被写体と記録される被写体の像とがずれるなど、ライブビューを確認するための表示部として極めて使いづらくなってしまう。従って、第一の表示部40と第二の表示部41がライブビューを確認するために利用される際には、遅延が少ないことが要求される。
そこで、エリアイメージセンサー15にて撮影した画像を人間が視認できない極めて短い遅延にて第一の表示部40または第二の表示部41に表示させるため、本実施形態においては、エリアイメージセンサー15および画像データ生成部20で各種の処理を行い、第一の表示部40および第二の表示部41は、この処理の結果生成された画像データを表示する。
すなわち、本実施形態にかかるエリアイメージセンサー15は、垂直方向に並ぶラインのうちn個(nは奇数)に1個の割合でフォトダイオードの検出結果を読み出す飛び越し走査を実行可能な回路が設けられている。また、同色のカラーフィルターを介して光電変換を行うフォトダイオードのうち水平方向に並ぶm個(mは自然数)の検出結果を加算してその和をm分の1にして(すなわちm個の検出結果の相加平均を)出力するための加算器が設けられている。本実施形態において、第一の表示部40や第二の表示部41をライブビューモードで機能させる際、エリアイメージセンサー15においては、飛び越し走査および加算器による処理を実行することにより、水平方向および垂直方向の画素を間引き、エリアイメージセンサー15が備える画素数よりも少ない画素数の出力データを出力することで、高速に被写体を撮影する構成としている。
すなわち、エリアイメージセンサー15は、ライブビューモードにおいて、n個に1個の割合で垂直方向のラインを読み出し対象とした読み出しを水平同期信号SHsyncに応じて行う。また、m個のフォトダイオードの検出結果を加算器で加算した結果を出力データとして出力する処理をドットクロック信号SDotclockに応じて行う。図3は、本実施形態においてエリアイメージセンサー15が備える画素数よりも少ない画素数の出力データを出力する方法の一例を示している。同図3において、Rが付された矩形は赤の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示し、Gが付された矩形は緑の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示し、Bが付された矩形は青の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示している。
同図3に示すように、矩形で示す各画素のカラーフィルターがベイヤー配列である場合、各画素に1色のカラーフィルターのみが対応しているため、各画素の色は周囲の画素を利用して補間する必要がある。このため、ラインを間引いて出力データを取得する際に、間引き後に隣接するラインのカラーフィルターが異なる色となるように間引きを行う必要がある。このため、本実施形態においては、nを奇数とし、nラインに1ラインの割合で各ラインのフォトダイオードでの検出値を出力データとして取得すれば、補間によって各画素の色を特定可能な出力データを取得することができる。本実施形態においては、エリアイメージセンサー15の垂直方向のライン数をできるだけ液晶パネル40bおよび液晶パネル41bの被写体像表示領域R1の垂直方向のライン数に近づけるため、5ラインに1ラインの割合で出力データを取得する構成としている。図3においては、5ラインに1ラインの割合で出力データを取得することを左向きの矢印で示しており、この例においては垂直方向のライン数が1/5、すなわち、720となる。
さらに、カラーフィルターがベイヤー配列である場合、水平方向に隣接する画素の色は異なるとともに、1個おきに同色のカラーフィルターが並ぶことになる。このため、水平方向に並ぶ画素について1個おきにm個加算しその和をm分の1にすることで(すなわちm個の検出結果の相加平均を求めることで)実質的に間引き処理を行うことができる。本実施形態においては、加算器による加算を行った場合の画質上の制約等により、mを3と設定している。図3においては、最も下に記したラインのうち、緑色のカラーフィルターを介して光電変換を行うフォトダイオードであって水平方向に並ぶ3個のフォトダイオード検出結果を加算器S1によって加算して1/3にし、赤色のカラーフィルターを介して光電変換を行うフォトダイオードであって水平方向に並ぶ3個のフォトダイオードの検出結果を加算器S2によって加算して1/3にする構成を示している。この例においては水平方向の画素数が1/3、すなわち、1800画素となる。図2には、エリアイメージセンサー15における間引き後のデータサイズを破線の矩形15aによって示している。
以上のように、エリアイメージセンサー15においては、垂直方向のライン数を720ライン、水平方向の画素数を1800画素とすることができる。しかし、このような間引きにおいては、垂直方向においてnが奇数であり、水平方向においてmが自然数である等画質上の制約があるため、間引き後の画素数と液晶パネル40bおよび液晶パネル41bの被写体像表示領域R1の画素数とを一致させることは困難である。また、上述のようにnとmとが異なる場合には縦横比が被写体と液晶パネル40b,41bの被写体像とで異なるものになってしまう。
そこで、本実施形態においては、画像データ生成部20において、間引き後の出力データに対してさらにリサイズを行って液晶パネル40b,41bの被写体像表示領域R1に表示させるための画像データを生成する構成としている。すなわち、画像データ生成部20は、画素補間部20a、色再現処理部20b、フィルター処理部20c、ガンマ補正部20d、リサイズ処理部20eを備えている。そして、画像データを生成する過程でリサイズ処理部20eによって垂直方向および水平方向の画素数を変更することにより、液晶パネル40b,41bの被写体像表示領域R1の画素数と等しい画像データを生成する構成としている。
ラインバッファー52aは、エリアイメージセンサー15から出力される間引き後の出力データを一時記録するバッファーメモリーであり、エリアイメージセンサー15から間引き後の出力データが出力されると画像データ生成部20の処理によって当該出力データがラインバッファー52aに一時記録される。画素補間部20aは、ラインバッファー52aからベイヤー配列において各画素で欠落している2チャネルの色を生成するために必要な画素数のデータを取り込みながら補間処理によって当該2チャネルの色を生成する。この結果、各画素において3チャネルのデータが生成される。次に、色再現処理部20bは、生成されたデータに基づいて3×3の行列演算を、対象表示部に応じて行うことによって色再現処理とカラーマッチングのための色変換処理を同時に行う。これら一連の色変換処理によって生成されたデータはラインバッファー52bに一時記録される。次にフィルター処理部20cは、シャープネス調整やノイズ除去処理などをフィルター処理によって実行する。次にガンマ補正部20dはエリアイメージセンサー15の出力データの階調値が示す色と表示部40で扱う画像データの階調値が示す色との特性差を補償するガンマ補正を実行する。ガンマ補正によって生成されたデータはラインバッファー52cに一時記録される。
当該ラインバッファー52cに線順次で記録されていくデータはエリアイメージセンサー15において間引きが行われた画素数である。すなわち、垂直方向に720ライン、水平方向に1800画素のデータが線順次で記録されていくことになる。リサイズ処理部20eは当該ラインバッファー52cに記録されていくデータを逐次参照して補間演算処理を行い、画素の間の位置における各チャネルの階調値を特定することによってリサイズを行う。本実施形態において、上述のエリアイメージセンサー15における間引きは垂直方向に1/5(20%),水平方向に1/3(約33%)であるため、図2の矩形15aにて示すように間引き後のデータの縦横比はエリアイメージセンサー15の出力データの縦横比と異なっている。そこで、リサイズ処理部20eは、まず、ラインバッファー52cに記録されたデータに基づいて水平方向に約57%のサイズに縮小する縮小処理を行う。この結果、水平方向の画素数を1024画素とする。さらに、リサイズ処理部20eは、垂直方向に約95%に縮小する縮小処理を行う。この結果、水平方向には約33%×約57%で約19%のサイズにリサイズされ、垂直方向には20%×約95%で約19%のサイズにリサイズされることで、水平方向に1024画素、垂直方向に682ラインの画像データが生成される。すなわち、エリアイメージセンサー15の受光画素数(5400×3600)に対して縦横同等の比率で縮小されるため、エリアイメージセンサー15の画素のアスペクト比(5400:3600)と画像データの画素のアスペクト比(1024:682)は同等となる。生成された画像データはラインバッファー52dに線順次で記録される。
本実施形態においては、以上の処理によってエリアイメージセンサー15の出力データに基づいて液晶パネル40b,41bの被写体像表示領域R1に表示可能な画像データを生成する生成処理を行うが、エリアイメージセンサー15の出力データは垂直方向に720ラインであり、画像データの垂直方向のライン数である682ラインや液晶パネル40b,41bの垂直方向のライン数である768ラインとは異なっている。すなわち、1フレーム分の撮影及び表示を行うために必要なライン数が異なっている。
そこで、本実施形態においては、エリアイメージセンサー15の水平同期信号SHsync、データアクティブ信号SDactiveおよびドットクロック信号SDotclockは、エリアイメージセンサー15を駆動するために必要な周期に設定される。すなわち、タイミングジェネレーター30は、エリアイメージセンサー15において上述のような垂直方向の間引きを行って垂直同期信号SVsyncで規定される期間内に1フレーム分のライン数の出力データを取得できるようなタイミングおよび出力回数で水平同期信号SHsyncを出力している。また、タイミングジェネレーター30は、以上のような水平方向の間引きを行って水平同期信号SHsyncで規定される期間内に1ライン分の画素数の出力データを取得できるようなタイミングおよび出力回数でドットクロック信号SDotclockを出力している。
一方、当該エリアイメージセンサー15から線順次に出力される出力データSDに基づいて液晶パネル40bまたは液晶パネル41bにおける表示を行うため、タイミングジェネレーター30は、表示部の垂直同期信号DVsyncで規定される期間内に1フレーム分のライン数の画像データDDが表示できるようなタイミングおよび出力回数で水平同期信号DHsyncを出力する。また、タイミングジェネレーター30は、水平同期信号DHsyncで規定される期間内に1ライン分の画素数の画像データDDを表示できるようなタイミングおよび出力回数でドットクロック信号DDotclockを出力する。
また、ASIC200は画像データ出力部201を備えており、画像データ出力部201は、液晶パネル40b,41bの1〜682ラインの表示を行う際に、ラインバッファー52dに記録された画像データ(DD)を表示部40に対して線順次に出力する。この結果、エリアイメージセンサー15で撮影された被写体の像が被写体像表示領域R1に表示される。また、CPU50は、少なくとも情報表示領域R2での表示を行う以前においてVRAM51に対してOSDデータを記録しておく。そして、画像データ出力部201は、液晶パネル40b,41bの683ライン〜768ラインの表示を行う際に、VRAM51に記録されたOSDデータを画像データ(DD)として表示部40に対して線順次に出力する。この結果、撮影条件等の文字が情報表示領域R2に表示される。
(3)ライブビュー表示先の切り換え:
さて本実施形態においては、アイセンサー56から出力される信号に応じて、ライブビューを表示する対象である対象表示部を切り換え可能である。また、本実施形態におけるタイミングジェネレーター30は、対象表示部のフレーム周期に同期するフレーム周期でエリアイメージセンサー15を駆動する。
例えば、撮影装置1が、フレームレートが100fpsである第一の表示部40とフレームレートが90fpsである第二の表示部41とを備えている場合の動作を説明する。アイセンサー56の出力に基づいてCPU50が第一の表示部40への切換を示す表示先切換指示情報を切換制御部31に出力すると、切換制御部31はタイミングジェネレーター30に第一の表示部40に対応する系統の信号への切換を指示する信号切換指示情報を出力する。タイミングジェネレーター30は当該信号切換指示情報を受けて、フレームの切り替えのタイミングに合わせて、エリアイメージセンサー15を第一の表示部40と同一の100fpsで駆動するために垂直同期信号SVsync・水平同期信号SHsync・データアクティブ信号SDactive・ドットクロック信号SDotclockを生成し、エリアイメージセンサー15に出力を開始する。また、タイミングジェネレーター30は当該信号切換指示情報を受けて、第一の表示部40のフレームレートを実現するための垂直同期信号DVsync・水平同期信号DHsync・データアクティブ信号DDactive・ドットクロック信号DDotclockを生成し、切換制御部31に出力する。そして切換制御部31は周期切換後の上述の信号を第一の表示部40に出力する。
図4Aは、この場合の垂直同期信号SVsyncと出力データSDと垂直同期信号DVsyncと画像データDDとを示すタイミングチャートである。図4Aにおいて水平同期信号SHsync、ドットクロック信号Sdotclock、データアクティブ信号SDactive、水平同期信号SHsync、ドットクロック信号Ddotclock、データアクティブ信号DDactiveは図示を省略している(後述する4B、図5〜図8についても同様に図示を省略している)。出力データSDごとに付されている番号や画像データDDごとに付されている番号は、フレームを識別するための番号である。出力データSDと同じ番号が付された画像データDDは、当該出力データSDから生成された表示用の画像データであることを示す。期間t1は、あるフレームの出力データを取り込む垂直同期期間の開始から当該フレームの表示を行う垂直同期期間の開始までに少なくとも必要な期間(以下、表示準備期間という)であって、エリアイメージセンサー15を100fpsで動作させる場合にASIC200における処理に要する時間等に応じてその長さが決まる。なお本実施形態では、ASIC200はエリアイメージセンサー15を動作させるフレーム周期(垂直同期期間)以内に1フレーム分の処理を実行することができる。すなわちエリアイメージセンサー15が100fpsで動作する場合には、ASIC200は1フレーム分の処理を1/100秒以内で終了することができる。また後述するようにエリアイメージセンサー15が90fpsで動作する場合には、ASIC200は1フレーム分の処理を1/90秒以内で終了することができる。
第一の表示部40にライブビューを表示させる場合、図4Aに示すように垂直同期信号SVsyncで規定される垂直同期期間(フレーム周期Ts)の長さは1/100秒で常に一定であり、垂直同期信号DVsyncで規定される垂直同期期間(フレーム周期Td1)の長さも1/100秒で常に一定である。したがって、あるフレームの出力データSDを取得する垂直同期期間の開始を示す垂直同期信号SVsyncから、当該フレームの画像データDDの表示を行う垂直同期期間の開始を示す垂直同期信号DVsyncまでの時間は常に期間t1の長さと同じになり一定である。また、あるフレームの出力データSDを取得する垂直同期期間の開始を示す垂直同期信号SVsyncから、当該フレームの画像データDDの表示を行う垂直同期期間の終了を示す垂直同期信号DVsyncまでの時間は常に{(期間t1の長さ)+(1/100秒)}となり一定である。そのため、表示遅延が常に均一であると言える。
続いてアイセンサー56の出力に基づいてCPU50が第二の表示部41を示す表示先切換指示情報を切換制御部31に出力すると、切換制御部31はタイミングジェネレーター30に第二の表示部41に対応する系統の信号への切換を指示する信号切換指示情報を出力する。タイミングジェネレーター30は当該信号切換指示情報を受けて、フレームの切り替えのタイミングに合わせて、エリアイメージセンサー15を第二の表示部41と同一の90fpsで駆動するために垂直同期信号SVsync・水平同期信号SHsync・データアクティブ信号SDactive・ドットクロック信号SDotclockを生成し、エリアイメージセンサー15に出力を開始する。また、タイミングジェネレーター30は当該信号切換指示情報を受けて、第二の表示部41のフレームレートを実現するための垂直同期信号DVsync・水平同期信号DHsync・データアクティブ信号DDactive・ドットクロック信号DDotclockを生成し切換制御部31に出力する。
図4Bはこの場合の垂直同期信号SVsyncと出力データSDと垂直同期信号DVsyncと画像データDDとを示すタイミングチャートである。期間t2は、エリアイメージセンサー15を90fpsで動作させる場合の表示準備期間である。垂直同期信号SVsyncで規定される垂直同期期間(フレーム周期Ts)は1/90秒で常に一定であり、垂直同期信号DVsyncで規定される垂直同期期間(フレーム周期Td2)も1/90秒で常に一定である。したがって、1フレーム分の出力データSDの取得を開始してから当該1フレーム分の画像データDDを表示し終わるまでの期間が常に期間t2の長さで一定である。また、あるフレームの出力データSDを取得する垂直同期期間の開始を示す垂直同期信号SVsyncから、当該フレームの画像データDDの表示を行う垂直同期期間の終了を示す垂直同期信号DVsyncまでの時間は常に{期間t2の長さ+(1/90秒)}となり一定である。そのため、常に表示遅延が均一である。
なお、以上の例のように表示部のフレーム周期と同一のフレーム周期でエリアイメージセンサー15を駆動することに限らず、表示部のフレーム周期がエリアイメージセンサー15のフレーム周期の整数倍であれば、表示部における1フレーム分の表示のタイミングとエリアイメージセンサー15における1フレーム分のデータ取り込みのタイミングとを同期させることができる。例えば、撮影装置1が、フレームレートが100fpsの第一の表示部40と、フレームレートが30fpsの第二の表示部41を備えている場合の動作について説明する。第一の表示部40にライブビューを表示させる場合は上述の例と同様である。第二の表示部41にライブビューを表示させる場合、タイミングジェネレーター30は90fpsで1フレーム分の出力データSDをエリアイメージセンサー15から取得するように信号を出力する。
図5Aはこの場合の垂直同期信号SVsyncと出力データSDと垂直同期信号DVsyncと画像データDDとを示すタイミングチャートである。出力データSDは各垂直同期信号SVsyncに同期して取得される。垂直同期信号SVsyncで規定される垂直同期期間(フレーム周期Ts)は1/90秒で常に一定であり、垂直同期信号DVsyncで規定される垂直同期期間(フレーム周期Td2)は1/30秒で常に一定である。第二の表示部41のフレーム周期の長さは第一の表示部40のフレーム周期の長さの3倍である。そのため、エリアイメージセンサー15が撮影する全フレームのうちの3フレームに1フレームを第二の表示部41に表示させる。第二の表示部41のフレーム周期の長さは第一の表示部40のフレーム周期の長さの3倍であるので、(1+3q)番目(qは0以上の整数)のフレームの出力データSDの取得を行う垂直同期期間の開始から当該(1+3q)番目のフレームの画像データDDの表示を行う垂直同期期間の開始までの期間が常に期間t2の長さで一定である。また、(1+3q)番目のフレームの出力データSDを取得する垂直同期期間の開始から当該フレームの画像データDDを表示する垂直同期期間の終了までの期間は{期間t2の長さ+(1/30)秒}である。そのため、表示遅延が常に均一であると言える。
なお、フレームレートが30fpsの第二の表示部41にライブビューを表示させる場合に、表示されないフレームの出力データをエリアイメージセンサー15から取得しなくてもよい。すなわち図5Bに示すように、(2+3q)番目のフレームの出力データSDを取得する期間と(3+3q)番目のフレームの出力データSDを取得する期間とはエリアイメージセンサー15が動作しないように(出力データSDを出力しないように)してもよい。そうすることによって、図5Aに示す例と比較して消費電力を低減することができる。
さらに、30fpsの第二の表示部41にライブビューを表示させるためにエリアイメージセンサー15のフレーム周期も30fpsに低速化してもよい。図6Aはその場合に、出力データSDを図5Aおよび図5Bで示した90fpsと同等の期間(1/90秒)で取り込む例を示している。図6Bは、30fpsの第二の表示部41にライブビューを表示させるためにエリアイメージセンサー15のフレーム周期も30fpsに低速化し、出力データSDの取得も1/30秒の期間中に1フレーム分が取得できるように図6Aの例よりも低速(取得期間を長期化)にした例を示している。期間t3はエリアイメージセンサー15を60fpsで動作させる場合の表示準備期間である。図6A及び図6Bのいずれの場合も、図5Aおよび図5Bの例と同様に表示遅延は均一となる。なお、図6Aの例の場合は、図6Bの例の場合よりもエリアイメージセンサー15を動作させる期間が短いので消費電力を低減することができる。
また、フレームレートが30fpsの第二の表示部41にライブビューを表示させる場合、タイミングジェネレーター30は60fpsでエリアイメージセンサー15を動作させてもよい。図7Aは、この場合の垂直同期信号SVsyncと出力データSDと垂直同期信号DVsyncと画像データDDとを示すタイミングチャートである。期間t4はエリアイメージセンサー15を60fpsで動作させる場合の表示準備期間である。垂直同期信号SVsyncで規定される垂直同期期間(フレーム周期Ts)は1/60秒で常に一定であり、垂直同期信号DVsyncで規定される垂直同期期間(フレーム周期Td2)はその2倍の1/30秒で常に一定である。したがって、(1+2q)番目のフレームの出力データSDの取得を行う垂直同期期間の開始から当該フレームの画像データDDの表示を行う垂直同期期間の開始(または終了)までの期間が常に一定である。そのため、表示遅延が均一である。
なお、フレームレートが30fpsの第二の表示部41にライブビューを表示させる場合に、表示されないフレームの出力データをエリアイメージセンサー15から取得しなくてもよい。すなわち図7Bに示すように、(2+2q)番目のフレームの出力データSDを取得する期間はエリアイメージセンサー15が出力データSDを出力しないようにしてもよい。そうすることによって図7Aの例と比較して消費電力を低減することができる。
さらに、30fpsの第二の表示部41にライブビューを表示させるためにエリアイメージセンサー15のフレーム周期も30fpsに低速化してもよい。図8Aはその場合に、出力データSDを図7Aおよび図7Bで示した60fpsと同等の期間(1/60秒)で取得する例を示している。図8Bは、30fpsの第二の表示部41にライブビューを表示させるためにエリアイメージセンサー15のフレーム周期も30fpsに低速化し、出力データSDの取得も1/30秒の期間中に1フレーム分が取得できるように図8Aの例よりも低速(取得期間を長期化)している例を示している。図8A及び図8Bのいずれの場合も、表示遅延は均一となる。なお、図8Aの例の場合は、図8Bの例の場合よりもエリアイメージセンサー15を動作させる期間が短いので消費電力を低減することができる。
(4)他の実施形態
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、以下の変形例を組み合わせる等、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。図9は、他の実施形態にかかるタイミングチャートである。図9に示すように、対象表示部のフレーム周期と同じ長さの期間に、表示に用いる出力データSDとAF処理に用いる部分画像領域の出力データAFとを取得するようにし、出力データSDに基づいて表示を行い、出力データAFに基づいて自動フォーカス処理を行うようにしてもよい。図10は出力データAFに対応する画像の領域R10を示す模式図である。出力データAFとして取得される画像の領域は、1フレームに含まれる被写体像表示領域R1の高さの1/16〜1/4程度の高さの領域である。領域R10に複数の測距エリアR101が含まれている。対象表示部が30fpsで動作する場合、出力データSDは90fpsの1周期に相当する1/90秒の期間内に取り込み、各出力データAFは180fpsの1周期に相当する1/180秒の期間内にそれぞれ読み込む。
CPU50は、測距エリアR101を含む領域R10の出力データAFを取得すると、領域R10の次の出力データAFを取得するまでの1/180秒間に、当該領域R10に含まれる測距エリアR101の被写体の合焦度合いを評価するめの評価値(例えば、コントラストの大きさを示す値等)を算出し、レンズ11を駆動する図示しない焦点調整部に出力する。そして焦点調整部は、当該評価値に基づいてレンズ11を駆動し、焦点を調整する。焦点を調整した状態で次の出力データAFを取り込み、上述の評価値算出焦点調整を繰り返すことによって、自動フォーカス処理を行う。その結果、対象表示部のフレーム周期と同一の期間に1フレーム分の出力データSDを取り込み、当該出力データSDに基づいて自動フォーカス処理を行う場合と比較して、ライブビューモードにおいて合焦までに要する時間を短くすることができる。また、出力データSDは対象表示部のフレーム周期に同期して読み込まれるので、表示遅延も均一である。
なお、液晶パネル40b,41bについては、画素数は任意であり互いに画素数が異なっていても良い。液晶パネルの画素数に応じて表示する画像の画素数を変化させる変倍処理を行っても良い。さらには、液晶パネルの個数が3つ以上であっても2つの場合と同様に液晶パネルの切り替えを行えばよい。また、液晶以外の方式の表示部品を用いてもよい。