ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)撮影装置の構成:
(2)水平同期信号の制御:
(3)他の実施形態:
(1)撮影装置の構成:
図1は本発明の一実施形態にかかる撮影装置1には、光学系10、エリアイメージセンサー15、ASIC200、タイミングジェネレーター30(表示タイミング制御回路に相当)、表示部40、CPU50、VRAM51(第一記憶部に相当)、SD−RAM52、ROM53、RAM54、操作部55、リードバッファー56(第二記憶部に相当)が備えられている。CPU50は、VRAM51、SD−RAM52、RAM54を適宜利用してROM53に記録されたプログラムを実行可能であり、当該プログラムによりCPU50は、操作部55に対する操作に応じてエリアイメージセンサー15にて撮影された被写体を示す画像データを生成する機能を実行する。なお、操作部55はシャッターボタンと、モードを切り換えるためのモード切換手段としてのダイヤルスイッチと、絞りとシャッター速度を切り換えるためのダイヤルスイッチと、各種の設定メニューを操作するためのプッシュボタンとを備えており、利用者は当該操作部55に対する操作によって撮影装置1に対して各種の指示を与えることができる。
表示部40は、撮影対象となる被写体を示す画像を表示して利用者に撮影前の被写体の様子および撮影条件等の情報を把握させるEVF(Electronic View Finder)であり、本実施形態にかかる撮影装置1はEVFを備えたミラーレスデジタルカメラである。表示部40は、図示しないインターフェース回路、液晶パネルドライバー41、液晶パネル42、図示しない接眼レンズ等を備えている。本実施形態において液晶パネル42は、画素ごとに3色のカラーフィルターに対応する3つのサブピクセルを備える高温ポリシリコンTFT(Thin Film Transistor)であり、画素の位置は直交座標系における座標で規定される。また、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼び、液晶パネル42の全画素によって構成される1画面を1フレームと呼ぶ。
液晶パネルドライバー41は、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネル42に対して出力する。液晶パネル42は、図示しないゲートドライバおよびソースドライバを備えており、液晶パネルドライバー41から出力される信号に応じてゲートドライバが各ラインの各画素における表示タイミングを制御し、ソースドライバが表示タイミングとされているラインの各画素に対して各画素の画像データに対応した電圧を印加することによって表示を行う。すなわち、液晶パネルドライバー41は、液晶パネル42における表示を行うための各種信号、例えば、1フレーム分の表示を開始するタイミングを規定する表示開始信号、1フレーム分の表示が完了したことを示す表示終了信号、1フレーム分の表示を行うための期間を規定する垂直同期信号(DVsync)、1ライン分の表示を行うための期間を規定する水平同期信号(DHsync)、各ライン内での画像データの取り込み期間を規定するデータアクティブ信号(DDactive)、各画素の画像データの取り込みタイミング等を規定するデータクロック信号(DDotclock)、各画素の画像データ(Data)を出力するように構成されている。
なお、本実施形態にかかる撮影装置1は、タイミングジェネレーター30を備えており、上述の垂直同期信号DVsync、水平同期信号DHsync、データアクティブ信号DDactive、データクロック信号DDotclock、表示開始信号、表示終了信号は当該タイミングジェネレーター30によって生成される。すなわち、タイミングジェネレーター30は、クロック信号発生手段から出力される所定周期のクロック信号の変化タイミングに同期して信号レベルが変化する信号を生成する分周回路等を備えた表示制御部30bを備えている。そして、タイミングジェネレーター30は、表示制御部30bの制御により、予め決められたタイミングで信号レベルが変化する垂直同期信号DVsync、データアクティブ信号DDactive、データクロック信号DDotclock、表示開始信号、表示終了信号を生成する。なお、本実施形態において水平同期信号DHsyncの出力タイミングは可変であり、後述するように画像データ出力部201の処理結果に依存して出力タイミングが決定される。
また、本実施形態における液晶パネル42は、水平方向に1024個、垂直方向に768個の有効画素を備えた画素数がXGAサイズのパネルであり、液晶パネルドライバー41が出力する画像データDataの内容および出力タイミングを調整することによって、任意の位置にDataに対応した階調の表示を行うことができる。本実施形態においては、液晶パネル42の予め決められた被写体像表示領域にエリアイメージセンサー15の出力データに基づいて被写体の画像を表示し、また、当該被写体像表示領域以外の情報表示領域に撮影条件等の情報を示す文字を表示する構成となっている。すなわち、液晶パネル42には、被写体の画像とともに撮影条件等の情報を示す文字がOSD(On Screen Display)表示される。なお、液晶パネル42は水平方向および垂直方向に有効画素よりも多数の画素を備えているが、本明細書では簡単のため有効画素以外の画素に関する処理は省略して説明する。
光学系10は、エリアイメージセンサー15に被写体画像を結像させるレンズ11、絞り12、シャッター13およびローパスフィルター14を備える。このうち、レンズ11と絞り12とは図示しない筐体に交換可能に取り付けられる。エリアイメージセンサー15としては、ベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数のフォトダイオードとを備えるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサー、CCD(Charge Coupled Device)イメージセンサー等の固体撮像素子が用いられる。エリアイメージセンサー15の画素の位置は直交座標系における座標で規定され、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。エリアイメージセンサー15の全画素によって構成される1画面を1フレームと呼ぶ。
本実施形態においては、エリアイメージセンサー15もタイミングジェネレーター30が出力する各種信号に同期した動作を行う。すなわち、タイミングジェネレーター30は、1フレーム分の処理の開始タイミングを規定するフレーム開始信号、1フレーム分のフォトダイオードの検出結果を読み出すための期間を規定する垂直同期信号(SVsync)、1ライン分のフォトダイオードの検出結果を読み出すための期間を規定する水平同期信号(SHsync)、各画素の画像データの読み出しタイミング等を規定するデータクロック信号(SDotclock)を出力する。エリアイメージセンサー15は、垂直同期信号SVsyncに応じて1フレーム分の出力データの出力を開始し、水平同期信号SHsyncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングでエリアイメージセンサー15の一部の画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。
ASIC200は、SD−RAM52に予め確保された複数ライン分のラインバッファー52a〜52dを利用し、表示部40にて被写体の像を表示するための画像データをパイプライン処理によって生成する処理を行う回路によって構成される画像データ生成部20を備えている。なお、複数ライン分のラインバッファー52a〜52dは画像データ生成部20などに設けられていても良い。表示部40は生成された画像データに基づいて被写体を液晶パネル42に対して表示する。すなわち、利用者は、表示部40をEVFとして利用しながら被写体を確認することが可能である。
また、利用者が操作部55を操作して撮影指示を行った場合には、撮影指示に応じてエリアイメージセンサー15は、垂直同期信号SVsyncに応じて1フレーム分の出力データの出力を開始し、水平同期信号SHsyncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングでエリアイメージセンサー15の全有効画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。そして画像データ生成部20は、SD−RAM52等を利用しJPEG等の形式の画像データを生成して図示しないリムーバブルメモリ等に記録される。すなわち、利用者は、被写体を示す画像データを生成することが可能である。
(2)水平同期信号の制御:
被写体を示す画像データをリムーバブルメモリ等に記録し、印刷すること等を考慮した場合、高品質の画像データを得るためにはエリアイメージセンサー15の画素数が所定数より多いことが望まれる。そこで、本実施形態におけるエリアイメージセンサー15の有効画素数は図2に示すように、水平方向に5400画素、垂直方向に3600画素となっている。エリアイメージセンサー15は水平方向および垂直方向に有効画素よりも多数の画素を備えているが、本明細書では簡単のため有効画素以外の画素に関する処理は省略して説明する。
一方、上述のように、液晶パネル42は水平方向に1024個、垂直方向に768個の画素を備え、被写体像表示領域(図2に示すR1)に被写体の画像を表示する構成となっている。本実施形態においては、エリアイメージセンサー15の縦横比(2:3)を維持したままできるだけ大きく被写体の画像を表示するため、液晶パネル42の上辺および左右の辺に対して上辺及び左右の辺が接する縦横比2:3の矩形領域を被写体の画像を表示する被写体像表示領域R1としている。また、残りの領域が撮影条件等の情報を示す文字を表示する情報表示領域(図2に示す領域)である。従って、液晶パネル42における被写体像表示領域R1は、水平方向に1024個、垂直方向に682個の画素にて構成される。以上のように、本実施形態においては、エリアイメージセンサー15の画素数と液晶パネル42の画素数とは一致していない。
さらに、表示部40における表示は利用者による被写体の確認に利用されるため、エリアイメージセンサー15にて被写体が撮影されたタイミングから表示部40にて当該撮影された被写体の像が表示されるタイミングまでの遅延が利用者によって認識可能な程度の長さであると、EVFで視認した被写体と記録される被写体の像とがずれるなど、極めて使いづらいEVFとなってしまう。従って、表示部40がEVFとして利用される際には、遅延が少ないことが要求される。
そこで、エリアイメージセンサー15にて撮影した画像を人間が視認できない極めて短い遅延にて表示部40に表示させるため、本実施形態においては、エリアイメージセンサー15および画像データ生成部20で各種の処理を行い、表示部40は、この処理の結果生成された画像データを高速に表示させるための構成を備えている。
すなわち、本実施形態にかかるエリアイメージセンサー15は、垂直方向に並ぶラインのうちn個(nは奇数)に1個の割合でフォトダイオードの検出結果を読み出す飛び越し走査を実行可能な回路が設けられている。また、同色のカラーフィルターを介して光電変換を行うフォトダイオードのうち水平方向に並ぶm個(mは自然数)の検出結果を加算してその和をm分の1にして(すなわちm個の検出結果の相加平均を)出力するための加算器が設けられている。本実施形態において、表示部40をEVFとして機能させる際、エリアイメージセンサー15においては、飛び越し走査および加算器による処理を実行することにより、水平方向および垂直方向の画素を間引き、エリアイメージセンサー15が備える画素数よりも少ない画素数の出力データを出力することで、高速に被写体を撮影する構成としている。
すなわち、エリアイメージセンサー15は、表示部40をEVFとして機能させるライブビューモードにおいて、n個に1個の割合で垂直方向のラインを読み出し対象とした読み出しを水平同期信号SHsyncに応じて行う。また、m個のフォトダイオードの検出結果を加算器で加算した結果を出力データとして出力する処理をデータクロック信号SDotclockに応じて行う。図3は、本実施形態においてエリアイメージセンサー15が備える画素数よりも少ない画素数の出力データを出力する方法の一例を示している。同図3において、Rが付された矩形は赤の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示し、Gが付された矩形は緑の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示し、Bが付された矩形は青の帯域の光を透過するカラーフィルターに対応するフォトダイオードを示している。
同図3に示すように、矩形で示す各画素のカラーフィルターがベイヤー配列である場合、各画素に1色のカラーフィルターのみが対応しているため、各画素の色は周囲の画素を利用して補間する必要がある。このため、ラインを間引いて出力データを取得する際に、間引き後に隣接するラインのカラーフィルターが異なる色となるように間引きを行う必要がある。このため、本実施形態においては、nを奇数とし、nラインに1ラインの割合で各ラインのフォトダイオードでの検出値を出力データとして取得すれば、補間によって各画素の色を特定可能な出力データを取得することができる。本実施形態においては、エリアイメージセンサー15の垂直方向のライン数をできるだけ液晶パネル42の被写体像表示領域R1の垂直方向のライン数に近づけるため、5ラインに1ラインの割合で出力データを取得する構成としている。図3においては、5ラインに1ラインの割合で出力データを取得することを左向きの矢印で示しており、この例においては垂直方向のライン数が1/5、すなわち、720となる。
さらに、カラーフィルターがベイヤー配列である場合、水平方向に隣接する画素の色は異なるとともに、1個おきに同色のカラーフィルターが並ぶことになる。このため、水平方向に並ぶ画素について1個おきにm個加算しその和をm分の1にすることで(すなわちm個の検出結果の相加平均を求めることで)実質的に間引き処理を行うことができる。本実施形態においては、加算器による加算を行った場合の画質上の制約等により、mを3と設定している。図3においては、最も下に記したラインのうち、緑色のカラーフィルターを介して光電変換を行うフォトダイオードであって水平方向に並ぶ3個のフォトダイオード検出結果を加算器S1によって加算して1/3にし、赤色のカラーフィルターを介して光電変換を行うフォトダイオードであって水平方向に並ぶ3個のフォトダイオードの検出結果を加算器S2によって加算して1/3にする構成を示している。この例においては水平方向の画素数が1/3、すなわち、1800画素となる。図2には、エリアイメージセンサー15における間引き後のデータサイズを破線の矩形15aによって示している。
以上のように、エリアイメージセンサー15においては、垂直方向のライン数を720ライン、水平方向の画素数を1800画素とすることができる。しかし、このような間引きにおいては、垂直方向においてnが奇数であり、水平方向においてmが自然数である等画質上の制約があるため、間引き後の画素数と液晶パネル42の被写体像表示領域R1の画素数とを一致させることは困難である。また、上述のようにnとmとが異なる場合には縦横比が被写体と液晶パネル42の被写体像とで異なるものになってしまう。
そこで、本実施形態においては、画像データ生成部20において、間引き後の出力データに対してさらにリサイズを行って液晶パネル42の被写体像表示領域R1に表示させるための画像データを生成する構成としている。すなわち、画像データ生成部20は、画素補間部20a、色再現処理部20b、フィルター処理部20c、ガンマ補正部20d、リサイズ処理部20eを備えている。そして、画像データを生成する過程でリサイズ処理部20eによって垂直方向および水平方向の画素数を変更することにより、液晶パネル42の被写体像表示領域R1の画素数と等しい画像データを生成する構成としている。
ラインバッファー52aは、エリアイメージセンサー15から出力される間引き後の出力データを一時記録するバッファーメモリーであり、エリアイメージセンサー15から間引き後の出力データが出力されると画像データ生成部20の処理によって当該出力データがラインバッファー52aに一時記録される。画素補間部20aは、ラインバッファー52aからベイヤー配列において各画素で欠落している2チャネルの色を生成するために必要な画素数のデータを取り込みながら補間処理によって当該2チャネルの色を生成する。この結果、各画素において3チャネルのデータが生成される。次に、色再現処理部20bは、生成されたデータに基づいて3×3の行列演算を行うことによってカラーマッチングのための色変換処理を行う。色変換処理によって生成されたデータはラインバッファー52bに一時記録される。次にフィルター処理部20cは、シャープネス調整やノイズ除去処理などをフィルター処理によって実行する。次にガンマ補正部20dはエリアイメージセンサー15の出力データの階調値が示す色と表示部40で扱う画像データの階調値が示す色との特性差を補償するガンマ補正を実行する。ガンマ補正によって生成されたデータはラインバッファー52cに一時記録される。
当該ラインバッファー52cに線順次で記録されていくデータはエリアイメージセンサー15において間引きが行われた画素数である。すなわち、垂直方向に720ライン、水平方向に1800画素のデータが線順次で記録されていくことになる。リサイズ処理部20eは当該ラインバッファー52cに記録されていくデータを逐次参照して補間演算処理を行い、画素の間の位置における各チャネルの階調値を特定することによってリサイズを行う。本実施形態において、上述のエリアイメージセンサー15における間引きは垂直方向に1/5,水平方向に1/3であるため、図2の矩形15aにて示すように間引き後のデータの縦横比はエリアイメージセンサー15の出力データの縦横比と異なっている。そこで、リサイズ処理部20eは、まず、ラインバッファー52cに記録されたデータに基づいて水平方向に約57%のサイズに縮小する縮小処理を行う。この結果、水平方向の画素数を1024画素とする。さらに、リサイズ処理部20eは、垂直方向に約95%に縮小する縮小処理を行う。この結果、水平方向に1024画素、垂直方向に682ラインの画像データを生成する。生成された画像データはラインバッファー52dに線順次で記録される。
本実施形態においては、以上の処理によってエリアイメージセンサー15の出力データに基づいて液晶パネル42の被写体像表示領域R1に表示可能な画像データを生成する生成処理を行うが、エリアイメージセンサー15の出力データは垂直方向に720ラインであり、画像データの垂直方向のライン数である682ラインや液晶パネル42の垂直方向のライン数である768ラインとは異なっている。すなわち、1フレーム分の撮影及び表示を行うために必要なライン数が異なっている。
そこで、本実施形態においては、エリアイメージセンサー15のフレーム開始信号、水平同期信号SHsync、垂直同期信号SVsync、データアクティブ信号SDactiveおよびデータクロック信号SDotclockは、エリアイメージセンサー15を駆動するために必要な周期に設定される。すなわち、タイミングジェネレーター30は、エリアイメージセンサー15において上述のような垂直方向の間引きを行って垂直同期信号SVsyncで規定される期間内に1フレーム分のライン数の出力データを取得できるようなタイミングおよび出力回数で水平同期信号SHsyncを出力している。また、タイミングジェネレーター30は、以上のような水平方向の間引きを行って水平同期信号SHsyncで規定される期間内に1ライン分の画素数の出力データを取得できるようなタイミングおよび出力回数でデータクロック信号SDotclockを出力している。
一方、当該エリアイメージセンサー15から線順次に出力される出力データに基づいて液晶パネル42における表示を行うため、画像データ出力部201とVRAM51とリードバッファー56とタイミング情報取得部30aと表示制御部30bとを備えている。VRAM51は少なくとも1フレーム分の画像データを蓄積可能である。VRAM51は様々な処理部からアクセスされるため、表示部40が画像データを表示しようとするタイミングでVRAM51にアクセスしても実際に画像データを取得できるまで時間がかかる可能性がある。そのため本実施形態では、VRAM51と表示部40との画像データの受け渡しはリードバッファー56を介して行われる。画像データ出力部201は、ラインバッファー52dに記録された画像データ(Data)をVRAM51に対して線順次に出力する。画像データのVRAM51への出力が完了した時点で画像データ出力部201はメモリー書き込み終了信号(第一記憶部出力タイミング情報に相当)をタイミング情報取得部30aに出力する。リードバッファー56はVRAM51から後述するタイミングで画像データを予め読み出して蓄積しておく。そして表示制御部30bから指示されたタイミング(水平同期信号DHsync)で、液晶パネルドライバー41によってリードバッファー56から線順次に1ラインずつ画像データが読み出される。この結果、エリアイメージセンサー15で撮影された被写体の像が被写体像表示領域R1(液晶パネル42の1〜682ライン)に表示される。また、CPU50は、少なくとも情報表示領域R2での表示を行う以前においてVRAM51に対してOSDデータを記録しておく。そして、液晶パネル42の683ライン〜768ラインの表示を行う際に、VRAM51に記録されたOSDデータはDataとして液晶パネルドライバー41から線順次に読み出される。この結果、撮影条件等の文字が情報表示領域R2に表示される。
本実施形態においてリードバッファー56は1ライン分の画像データを蓄積可能である。リードバッファー56のサイズの上限まで画像データが蓄積されている状態、例えばNライン目の画像データでリードバッファー56が満たされている状態では、リードバッファー56は、VRAM51に(N+1)ライン目以降の画像データが出力されてもVRAM51から(N+1)ライン目の画像データを取得しない。リードバッファー56に画像データが蓄積されている状態において表示部40によってリードバッファー56から画像データが読み出され始めると、リードバッファー56は読み出された分ずつ新しい画像データをVRAM51から取得して蓄積する。具体的には例えば、Nライン目の画像データで満たされている状態で、画像データが読み出され始めると、リードバッファー56は読み出された分ずつ(N+1)ライン目の画像データをVRAM56から取得して蓄積する。なお、リードバッファー56が空の状態から1ライン目の画像データを蓄積する際は、VRAM51に1ライン目の画像データの出力が開始されるとVRAM51に出力された分ずつ画像データをリードバッファー56に取得し蓄積する。
以上説明したように、リードバッファー56はVRAM51から画像データを取得し、表示部40から画像データを読み出される。
ここで、図4Aを用いて、Nライン目の画像データがVRAM51に出力完了した後(N+1)ライン目のVRAM51への出力完了を待たずにNライン目の表示を開始しようとする場合の例を説明する。なお図4および後述する図5において「VRAM(LiveViewData)」は、エリアイメージセンサー15からの出力データに基づいて画像データ生成部20が生成し画像データ出力部201によってVRAM51に1ラインずつ出力される画像データの出力タイミングを示すもので、実際にこのような波形の信号が生成されるわけではない。数字はラインを示しており、立ち上がりがVRAM51への出力開始、立ち下がりが出力完了のタイミングを示している。なお、VRAM51に出力された画像データは、他のデータによる上書きやリセット等が特になされなければVRAM51にそのまま蓄積されているものとする。また、図中の「リードバッファー」には、リードバッファー56内に蓄積されているデータの内訳を時系列的に示している。四角形の左上端が蓄積開始、左下端が蓄積完了、右上端が読み出し開始、右下端が読み出し終了のタイミングを示している。
図4Aに示すように、VRAM51への1ライン目の画像データの出力が開始されるとリードバッファー56は1ライン目の画像データをVRAM51に出力された分ずつ蓄積し始める。VRAM51への1ライン目の画像データの出力が完了すると画像データ出力部201によってメモリー書き込み終了信号が出力される(本実施形態ではメモリー書き込み終了信号は、1ライン分の画像データの生成処理を実行している過程においてローレベルの出力が維持され、1ライン分の画像データの生成処理を終了しVRAM51に出力した時点で所定期間ハイレベルとなる1回のパルスによって構成される)。また、1ライン目の画像データのVRAM51への出力が完了するとリードバッファー56への1ライン目の画像データの蓄積も完了する。本実施形態ではリードバッファー56のサイズは画像データ1ライン分であるので、このときリードバッファー56は上限まで画像データが蓄積された状態である。図4の例では、1ライン目のメモリー書き込み終了信号が出力された後、2ライン目の画像データのVRAM51への出力完了を待たずに1ライン目の画像データの表示を開始するための水平同期信号DHsyncが出力される。1ライン目のDDactiveの立ち上がりタイミングで1ライン目の画像データの読み出しが開始されるので、読み出された分ずつ2ライン目の画像データのリードバッファー56への蓄積が開始される。1ライン目のDDavtiveの立ち下がりタイミングで1ライン目の画像データのリードバッファー56からの読み出しが終了するので、そのタイミングで2ライン目のリードバッファー56への蓄積が完了する(このときリードバッファー56は2ライン目の画像データで満たされている状態である)。続いて2ライン目のリードバッファー56への読み出し開始は2ライン目のDDactiveの立ち上がり(t1)に同期し、2ライン目のリードバッファー56への読み出し終了は2ライン目のDDacvtiveの立ち下がりに同期する。したがって3ライン目の画像データのリードバッファー56への蓄積開始は、2ライン目のDDactiveの立ち上がりタイミングt1に同期し、3ライン目のリードバッファー56への蓄積終了は、2ライン目のDDactiveの立ち下がりタイミングt2に同期する。しかし、図4に示すように3ライン目の画像データの生成処理に通常より時間を要している場合、タイミングt2ではまだVRAM51への3ライン目の画像データの出力が完了していない可能性がある。その場合は、3ライン目の画像データでない不正データをVRAM51から取得してリードバッファー56に蓄積してしまうことになる。
そのため、本実施形態では、Nライン目の画像データについては、(N+1)ライン目の画像データがVRAM51に出力完了後に読み出して表示する。タイミング情報取得部30aは、1フレーム内においてメモリー出力タイミング情報としてのメモリー書き込み終了信号の出力数をカウントしておくことで、VRAM51への出力が完了した画像データのライン番号を特定可能である。そして、表示制御部30bは、(N+1)ライン目の画像データがVRAM51に出力完了後に、Nライン目の表示を開始するための水平同期信号DHsyncを出力するように構成されている。すなわち図4Bに示すように、1ライン目の画像データのリードバッファー56からの読み出し開始(t1)時(=2ライン目の画像データのリードバッファー56への蓄積開始)において、既に2ライン目の画像データはVRAM51に出力完了している。また、2ライン目の画像データのリードバッファー56からの読み出し開始(t3)時(=3ライン目の画像データのリードバッファー56への蓄積開始)においても、既に3ライン目の画像データはVRAM51に出力完了している。なぜなら(N+1)ライン目の画像データをリードバッファー56に蓄積開始するのは、Nライン目の表示が開始されるタイミングであり、Nライン目を表示するための水平同期信号DHsyncは(N+1)ライン目のメモリー書き込み終了信号後に生成するようにしているためである。
図6は本実施形態における表示タイミング制御処理を示すフローチャートである。図5のタイミングチャートを用いて処理内容を説明する。まず、タイミング情報取得部30aは、フレーム開始信号が生成されたか否かを判定する(ステップS100)。フレーム開始信号が生成されると、表示制御部30bは、表示開始信号を所定の遅延期間Delay経過後に生成し、表示開始信号を生成後、垂直同期信号DVsyncを生成する(ステップS105)。フレーム開始信号はタイミングジェネレーター30がエリアイメージセンサー15に対して出力する信号であり、エリアイメージセンサー15はフレーム開始信号をトリガとして垂直同期信号SVsyncを生成し新しいフレームの出力データの出力を開始する。すなわち、タイミングジェネレーター30は、エリアイメージセンサー15の垂直同期信号SVsyncを出力したタイミングから所定の期間後に表示部40の垂直同期信号DVsyncを出力する。この結果、本実施形態において垂直同期信号SVsync,DVsyncの周期は同一かつ一定となる。従って、エリアイメージセンサー15にて撮影された被写体が1フレーム期間以上遅れて液晶パネル42に表示されることはなく、また、同一タイミングで撮影された被写体の像が複数フレーム期間に渡って液晶パネル42に表示されることもない。
続いて、表示制御部30bは、液晶パネル42の表示最終ラインを表示済みであるか否かを判定する(ステップS110)。液晶パネル42の表示最終ラインとは、本実施形態では被写体像表示領域R1と情報表示領域R2とで構成される液晶パネル42(図2参照)の最終のライン(768ライン目)を意味する。表示最終ラインを表示済みでない場合は、表示制御部30bは、次に表示するラインが、被写体像表示領域R1のラインであるか否かを判定する(ステップS115)。次に表示するラインが被写体像表示領域R1に属するラインである場合は、表示制御部30bは、次に表示するラインが被写体像表示領域R1内の最終ラインであるか否かを判定する(ステップS120)。
被写体像表示領域R1内の最終ラインでない場合は、次に表示するラインをNとすると(N+1)ライン目の画像データがVRAM51に出力完了したことを示すメモリー書き込み終了信号が出力されたか否かをタイミング情報取得部30aが判定し(ステップS125)、出力されるまでの間、表示制御部30bは水平方向のフロントポーチ期間HFPを延長する(ステップS130)。すなわち、次の水平同期信号DHsyncを出力するまでの期間を延長する。
(N+1)ラインのメモリー書き込み終了信号が出力されると、表示制御部30bは水平同期信号DHsyncを生成してNライン目の表示を開始させる(ステップS135)。図4Bおよび図5の「VRAM(LiveViewData)」と「メモリー書き込み終了信号」と「リードバッファー」との関係が示すように、(N+1)ライン目の画像データをリードバッファー56に蓄積開始するのは、VRAM51へのNライン目の画像データの出力完了後であるため図4の例のように不正データがリードバッファー56に蓄積されることはない。したがって不正データが液晶パネル42の被写体像表示領域R1に表示されることがない。よって本実施形態によると、エリアイメージセンサー15の出力データに基づいて生成された被写体の像を示す画像データを液晶42に表示する際の画像の乱れを防止することができる。
次に表示するラインNが被写体像表示領域R1の最終ラインである場合、タイミング情報取得部30aは、当該最終ラインのメモリー書き込み終了信号が出力されたか否かを判定し(ステップS140)、出力されていない場合は水平方向のフロントポーチ期間HFPを延長し(ステップS145)、出力された場合は水平同期信号DHsyncを生成して最終ラインを表示させる(ステップS150)。その結果、被写体像表示領域R1の最終ライン以降のラインの画像データはそのフレームにおいてもうVRAM51に出力されないにも関わらず、最終ライン以降のラインの画像データのVRAM51への出力完了を待機して最終ラインの画像データを表示できなくなる状況を回避できる。
一方、被写体像表示領域R1の最終ラインを表示し終えた後、次に表示するラインが被写体像表示領域R1でない場合(ステップS115のN判定の場合)、すなわち、情報表示領域R2である場合は、表示制御部30bは水平同期信号DHsyncを生成して情報表示領域R2の1ラインを表示させる(ステップS155)。情報表示領域R2の1ラインずつを表示させた後、液晶パネル42の表示最終ラインを表示済みである場合は(ステップS110のY判定の場合)、表示制御部30bは、液晶パネル42への表示を終了するか否かを判定する(ステップS160)。液晶パネル42への表示を終了する場合(ステップS160のY判定の場合)は表示タイミング制御処理を終了する。
一方、液晶パネル42への表示を終了しない場合(ステップS160のN判定の場合)は、次のフレームのフレーム開始信号が生成されるまでの間、表示制御部30bは垂直方向のフロントポーチ期間VFPを延長する(ステップS165)。表示制御部30bは垂直方向のフロントポーチ期間VFPの間、水平同期信号DHsyncを生成する(図5の破線で囲った楕円領域を参照)。なお、表示開始信号から表示終了信号までのVtotal期間で液晶パネル42の画面に表示する全ラインに対応する数の水平同期信号DHsyncを表示制御部30bは生成する。
次に、上述の表示タイミング制御処理のS130(およびS145)において水平方向のフロントポーチ期間HFPを延長にすることで水平同期信号DHsyncの出力を遅らせる場合に、エリアイメージセンサー15と表示部40との間でフレームを同期させる方法について説明する。液晶パネル42においては、水平同期信号DHsyncの出力タイミングで規定される水平同期期間内に液晶パネル42の各ラインの画素表示を行うことができればよいため、タイミングジェネレーター30は、水平同期信号DHsyncの出力タイミングで規定される水平同期期間が最短となる期間として想定される期間内に1ライン分の画素表示を行うことができるようにデータアクティブ信号DDactiveおよびデータクロック信号DDotclockを出力する。
一方、本実施形態において液晶パネル42の水平同期信号DHsyncで規定される水平同期期間は可変長であるため、水平同期期間が変化しても垂直同期信号SVsync,DVsyncの周期が同一かつ一定である状態を維持するように構成してある。具体的には、タイミングジェネレーター30は、予め決められた基準の期間THに対して水平同期期間を長期化あるいは短期化することによって基準の期間THからの時間変動を相殺することによって、1フレームを表示するための垂直同期期間が一定となるように出力信号を制御している。基準の期間THは、例えば、垂直同期期間内に液晶パネル42の全ライン数について均等な期間で各ラインの表示を行う場合の水平同期期間によって構成される。
そして、被写体像表示領域R1においては、各ラインの画像データの生成処理が終了するまで水平同期信号DHsyncの出力を待機することで水平同期期間が長期化され得る状態とする。さらに、撮影条件等の情報を示す文字を表示する液晶パネル42の情報表示領域R2においては、被写体像表示領域R1で長期化された水平同期期間と基準の期間THとの差分の累計を相殺するように基準の期間THよりも水平同期期間を短期化する。
図7はこのように構成されたタイミングジェネレーター30から出力される水平同期信号DHsyncを示しており、データアクティブ信号DDactiveおよびデータクロック信号DDotclock、メモリー書き込み終了信号を合わせて示している。タイミングジェネレーター30がタイミング情報取得部30aによって当該メモリー書き込み終了信号を取得すると、表示制御部30bの処理により、当該メモリー書き込み終了信号のパルスに同期して水平同期信号DHsyncを出力する。このため、仮に、基準の期間TH内に、あるラインの画像データの生成処理が間に合わなかった場合には、生成処理が終了してVRAM51への出力が完了するまで水平同期信号DHsyncが出力されず、水平同期期間TDHは基準の期間THより長くなる(フロントポーチ期間HFPの延長)。従って、基準の期間TH内に、あるラインの画像データの生成処理が間に合わなかった場合、生成処理が終了するまで液晶パネル42にて当該ラインの表示は開始されない。また、各ラインの画像データの準備が終了する前に表示がなされることはない。さらに、(N+1)ラインの画像データの生成処理が終了しVRAM51への出力が完了すると水平同期信号DHsyncが出力されるため、Nラインの画像データが遅滞なく表示される。以上のように、本実施形態は、水平同期期間TDHが基準の期間THよりも長くなり得る状態で液晶パネル42を駆動するため、液晶パネル42で表示すべき1ライン分の画像データの生成期間がラインごとに変動し得る態様に適用して好適である。このような態様は、エリアイメージセンサー15のデータ出力処理や画像データ生成部20による画像データの生成処理の速度がラインごとに相違し得る態様が想定し得る。むろん、撮影条件や撮影に利用するハードウェアに依存して処理速度がラインごとに相違し得る態様に本発明を適用しても良い。例えば、利用者が操作部55を操作することによってエリアイメージセンサー15の垂直同期期間や水平同期期間が変動し、あるいは画像データの生成処理に要する期間が変動する構成に対して本発明を適用することが可能である。さらに、着脱式EVFや着脱式レンズを変更することによってエリアイメージセンサー15の垂直同期期間や水平同期期間が変動し、あるいは画像データの生成処理に要する期間が変動する構成に対して本発明を適用することが可能である。
以上のように、本実施形態では被写体像表示領域R1において、画像データ出力部201から出力されるメモリー書き込み終了信号に応じてタイミングジェネレーター30が水平同期期間TDHを調整する。このため、被写体像表示領域R1に表示すべき画像データの生成処理の進捗に応じて水平同期信号DHsyncが長期化され得ることとなり、液晶パネル42の水平同期信号DHsyncで規定される水平同期期間TDHが一定になるとは限らない。一方、上述のように、本実施形態においては垂直同期信号DVsyncで規定される垂直同期期間が一定であるため、被写体像表示領域R1において水平同期期間TDHが長期化された場合であっても、液晶パネル42の全ラインの表示が垂直同期期間内に終了するように、タイミングジェネレーター30は情報表示領域R2において上述の基準の期間THよりも短い水平同期期間TDH2となるように水平同期信号DHsyncの出力タイミングを設定する。
すなわち、撮影条件等の情報を示す文字のデータ(OSDデータと呼ぶ)は、エリアイメージセンサー15の動作によらず予め作成しVRAM51に記録しておくことが可能であるため、OSDデータに基づく表示を短い水平同期期間によって実行したとしても、データ読み出しの追い越しを発生させることなく適正な表示を行うことが可能である。そこで、本実施形態においては、エリアイメージセンサー15の出力データに基づく表示を行うための被写体像表示領域R1よりも、撮影条件等の情報を示す文字を表示する情報表示領域R2における水平同期期間が短くなるように設定する。
具体的には、タイミングジェネレーター30が水平同期信号DHsyncの出力タイミングを調整することにより、被写体像表示領域R1において長期化された水平同期期間TDHと基準の期間THとの差分の総和と情報表示領域R2において短期化された水平同期期間TDH2と基準の期間THとの差分の総和とが一致するように水平同期期間TDH2を短期化する。この結果、水平同期期間TDH2<基準の期間≦水平同期期間TDHとなる。ここで、情報表示領域R2において、上述の水平同期期間THよりも短い水平同期期間TDH2となるように水平同期信号DHsyncを出力するための構成としては、種々の構成を採用可能である。例えば、図7に示すように、被写体像表示領域R1にて発生した水平同期期間THに対する遅延ΔT1の総和(ΣΔT1)を情報表示領域R2のライン数L2で除した値ΔT2を各ラインで短縮すべき期間とする構成等を採用可能である。すなわち、水平同期期間TH−ΔT2が情報表示領域R2における水平同期期間TDH2であるとする構成等を採用可能である。
以上のように、本実施形態においては、液晶パネル42の領域毎に調整された水平同期信号に基づいて各領域にて適切な表示を行わせるため、液晶パネル42の被写体像表示領域R1および情報表示領域R2に相当する部分のライン番号が予め決められている。例えば、図2に示す例においては、1〜682ラインが被写体像表示領域R1、683ライン〜768ラインが情報表示領域R2である。そこで、タイミングジェネレーター30は、1〜682ラインに相当する被写体像表示領域R1に対して表示を行う際に、上述のメモリー書き込み終了信号に応じたタイミングで水平同期信号DHsyncを出力しつつ、683ライン〜768ラインに相当する情報表示領域R2に対して表示を行う際に、上述の基準の期間THよりも短い水平同期期間TDH2となるように水平同期信号DHsyncを出力する。
この構成によれば、被写体像表示領域R1においては遅延を最小化した状態でエリアイメージセンサー15にて撮影した被写体を表示しつつ、情報表示領域R2において短い水平同期期間内でOSDデータによる撮影条件等の情報の表示が行われる状態となる。そして、上述のように、被写体像表示領域R1において長期化された水平同期期間TDHと基準の期間THとの差分の総和と情報表示領域R2において短期化された水平同期期間TDH2と基準の期間THとの差分の総和とが一致するように水平同期期間が制御されるため、垂直同期信号SVsync,DVsyncの周期が同一かつ一定の状態で表示部40による表示を行うことができる。従って、エリアイメージセンサー15にて撮影された被写体が1フレーム期間以上遅れて液晶パネル42に表示されることはなく、また、複数フレーム期間に渡って同じ画像が液晶パネル42に表示されることもない。
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、画像データのメモリーへの出力が完了したか否かをラインごとに特定し、Nライン目の画像データは(N+i)ライン目の画像データのメモリーへの出力が完了してから表示する限りにおいて、他にも種々の実施形態を採用可能である。
上述の実施形態においては、エリアイメージセンサー15の垂直同期信号SVsyncの周期と液晶パネル42の垂直同期信号DVsyncの周期とを一致させるため、液晶パネル42の情報表示領域R2において被写体像表示領域R1よりも短い水平同期期間となるように水平同期信号SHsyncを出力したが、他の手法によって垂直同期信号SVsyncの周期と液晶パネル42の垂直同期信号DVsyncの周期とを一致させても良い。例えば、通常の撮影装置において、エリアイメージセンサー15のライン数は液晶パネル42のライン数よりも多いため、特定の垂直同期期間内に確保すべき水平同期期間が均等であると仮定した場合、エリアイメージセンサー15の水平同期信号SHsyncよりも液晶パネル42の水平同期信号DHsyncの方が短くなる。従って、液晶パネル42の水平同期信号DHsyncを長期化した場合であっても、当該長期化によって液晶パネル42の垂直同期期間を長くする必要が生じることは少ない。なお、水平同期信号DHsyncを長期化することによって液晶パネル42の垂直同期信号DVsyncがエリアイメージセンサー15の垂直同期信号SVsyncより長くなる場合、エリアイメージセンサー15の垂直同期信号SVsyncを長期化して垂直同期信号DVsyncと垂直同期信号SVsyncとを同期させても良い。
さらに、上述の実施形態において表示部40は液晶パネルを用いたEVFであったが、表示部40はEVF以外の表示部、例えば、撮影装置1の背面に取り付けられる液晶パネルを用いた表示部であっても良いし、液晶パネル以外の方式を用いたものであっても良い。また、撮影装置1はミラーを備えた一眼レフカメラでも良く、さらにムービーカメラであっても良いし、撮影機能を備えた携帯電話等の装置であっても良い。さらに、上述のエリアイメージセンサー15において、カラーフィルターはベイヤー配列であったが、ベイヤー配列以外の配列で構成されたセンサーを利用した撮影装置に本発明を適用しても良い。さらに、ラインバッファー52dはラインバッファーでも良いが、1フレーム分の画像データを記録するための記録容量を備えるVRAMであってもよい。この構成によれば、表示対象となる画像データに基づく各種処理を行うことが可能になる。さらに、水平同期期間は基準の期間に対して長期化されれば良く、当該基準の期間としては、各種の期間を想定可能である。例えば、エリアイメージセンサー15の水平同期信号SHsyncの周期、画像データの生成周期などを基準の期間としてもよい。さらに、タイミングジェネレーター30から表示部40への各種信号の転送形態は種々の形態を採用可能であり、HDMI(High-Definition Multimedia Interface)等によって転送しても良い。また、上述の実施形態における方向を逆にしてもよく、例えば水平方向において、左から右に表示しても、右から左に表示しても良い。
さらに、OSDデータは表示部の情報表示領域において表示対象となる所定の情報を示した画像データであれば良く、撮影条件以外の各種情報、例えば、撮影装置1に搭載されたバッテリーの残量を示す情報等を表示対象となる所定の情報とする構成としても良い。さらに、垂直同期信号SVsync,DVsyncの周期が同一かつ一定の状態とするための構成は、上述の構成以外にも種々の構成を採用可能である。例えば、被写体像表示領域R1における表示を行った後、情報表示領域R2でOSDデータを表示するために設定可能な最小の期間を情報表示領域R2における水平同期期間とすることによって垂直同期信号DVsyncの出力タイミング以前に液晶パネル42の全ラインの表示を終了し、残余の期間待機した後に規定の出力タイミングで垂直同期信号DVsyncが出力されるように構成してもよい。