以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図15は本発明の実施形態1を示したものであり、図1は撮像装置の構成を示すブロック図である。
この撮像装置は、図1に示すように、ズームレンズ2と絞り3とフォーカスレンズ4とを備える撮影光学系1と、シャッタ5と、撮像素子6と、撮像素子駆動部7と、AF検出部8と、画像処理部9と、背面表示部11および電子ビューファインダ(EVF)12を備える表示部10と、絞り/レンズ駆動部14と、レンズ情報検出部15と、カメラ操作部16と、カメラ制御部17と、を備えている。なお、図面にはメモリカード13も記載されているが、このメモリカード13は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。
撮影光学系1は、被写体の光学像を撮像素子6の撮像面に結像するものである。
ズームレンズ2は、撮影光学系1の焦点距離を変更して、ズーミングを行うためのものである。なお、ここでは、撮影光学系1がズーム光学系である例を挙げているが、これに限らず、異なる焦点距離の撮影光学系1に交換可能な構成であっても構わない。
絞り3は、撮影光学系1を通過する被写体光束の通過範囲を規定することにより、撮像素子6に結像される被写体光学像の明るさを調節するためのものである。
フォーカスレンズ4は、撮影光学系1の焦点位置(ピント位置)を調節して、フォーカシングを行うためのものである。
シャッタ5は、撮影光学系1からの光束が撮像素子6に照射される時間を規定することにより、露光時間を制御するためのものである。
撮像素子6は、撮影光学系1により結像された被写体の光学像を光電変換して、画像信号として出力するものである。この撮像素子6からの画像信号の読み出しは、例えば上述したLVDS(Low Voltage Differential Signaling)により行われるようになっていて、撮像素子6から単位時間当たりに読み出し可能な画素数は、このLVDSにより制限を受けている(上限が定まっている)。
撮像素子駆動部7は、カメラ制御部17からの指令に基づいて、撮像素子6を駆動し、露光制御を行うものである。この撮像素子駆動部7は、撮像素子6から読み出す画像のフレームレートを変更したり、撮像素子6から1フレームとして読み出す画像の画素数(例えば読出ライン数)を変更したりする制御も行う。
すなわち、後述するように、撮像素子駆動部7は、被写界深度が浅いときには、被写界深度が深いときよりも撮像素子6のフレームレートを上げるように制御する。ただし、撮像素子6から出力される単位時間当たりの画素数には、上述したように上限がある。そこで、撮像素子駆動部7は、撮像素子6から出力される単位時間当たりの画素数がこの上限を示す所定数以下となるように、撮像素子6のフレームレートを上げたときには1フレームの画素数を少なくするように制御するようになっている。
AF検出部8は、撮像素子6から出力された画像信号(例えば、画像信号中の輝度信号(あるいは輝度相当信号)など)に基づいて、撮像素子上に結像された光学像の鮮鋭度を算出し、被写体への合焦度合いを示すAF評価値として出力するものである。すなわち、この撮像装置は、コントラストAF(山登りAF)によりオートフォーカスを行うように構成されたものとなっている。このAF検出部8により算出されたAF評価値は、カメラ制御部17へ出力される。
画像処理部9は、撮像素子6から出力される画像信号に種々の画像処理を施すものである。
表示部10は、画像処理部9により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部10は、静止画像を再生表示することができると共に、被撮像範囲をリアルタイムに表示するライブビュー(LV)表示を行うことができるようになっている。表示部10には、例えばVGAの表示解像度を有する背面表示部11と、例えばSVGAの表示解像度を有するEVF12と、が設けられている。背面表示部11は、撮像装置本体の背面側に配設されていて、撮影者が直視することができるように構成されたものである。また、EVF12は、撮像装置上部にファインダ部として設けられていて、撮影者が接眼レンズ等を介して拡大して観察するように構成されたものである。これら背面表示部11とEVF12とは、何れか一方に(択一的に)表示するという運用が考えられるが、これに限るものではなく、両方に同時に表示できるようにしても構わない。
メモリカード13は、画像処理部9により記録用に画像処理された信号を保存するための記録媒体である。
絞り/レンズ駆動部14は、絞り駆動部とレンズ駆動部とを兼ねたものである。すなわち、絞り/レンズ駆動部14は、AF検出部8からAF評価値(鮮鋭度)を受けたカメラ制御部17の制御に基づいて、撮影光学系1に含まれる絞り3およびフォーカスレンズ4を駆動し、撮像素子6に結像される被写体像が適切な光量となり、かつ合焦に至るようにするものである。この絞り/レンズ駆動部14は、フォーカスレンズ4の位置を検出するエンコーダーを備えており、このエンコーダの出力に基づいて概略のレンズ位置を推定するようになっている。
レンズ情報検出部15は、撮影光学系情報検出部であり、ズームレンズ2のレンズ位置を取得すると共に、絞り/レンズ駆動部14を介して絞り3の絞り値やフォーカスレンズ4のレンズ位置を取得する。そして、レンズ情報検出部15は、取得したこれらのレンズ情報(撮影光学系情報)をカメラ制御部17へ出力するようになっている。また、レンズ情報検出部15は、カメラ制御部17からの指令を絞り/レンズ駆動部14へ伝達する処理も行う。
カメラ操作部16は、この撮像装置に対する各種の操作入力を行うためのものである。このカメラ操作部16に含まれる操作部材の例としては、撮像装置の電源をオン/オフするための電源スイッチ、静止画撮影を指示入力するための2段式押圧ボタンでなるレリーズボタン、撮像装置をライブビューモードに設定するためのライブビューモード設定ボタン、表示を背面表示部11により行うかまたはEVF12により行うかを切り換えるための表示切換ボタンなどが挙げられる。
カメラ制御部17は、AF検出部8からのAF評価値やレンズ情報検出部15からのレンズ情報、カメラ操作部16からの操作入力などに基づいて、シャッタ5、撮像素子駆動部7、画像処理部9、メモリカード13、絞り/レンズ駆動部14等を含むこの撮像装置全体を制御するものである。また、カメラ制御部17は、レンズ情報検出部15から取得したレンズ情報に基づいて、被写界深度が所定値よりも浅いか深いかを判定する被写界深度判定部としても機能するようになっている。
具体的には、カメラ制御部17は、撮影光学系1の焦点距離が所定値以上である場合に、被写界深度が所定値よりも浅いと判定する。
また、カメラ制御部17は、フォーカスレンズ4のレンズ位置に基づいて被写体距離を推定し、被写体距離が所定値以下である場合に、被写界深度が所定値よりも浅いと判定する。
さらに、カメラ制御部17は、撮影光学系1の絞り3の絞り値が所定値以下である場合に、被写界深度が所定値よりも浅いと判定する。
次に、図2および図3を参照して、図1に示した構成の変形例を説明する。図2は光学ファインダを備えた撮像装置の観察時の様子を示す図、図3は光学ファインダを備えた撮像装置の撮影時の様子を示す図である。図1に示した構成では、EVF12を備えていたが、これら図2および図3に示す構成例は、EVF12に代えて光学ファインダを備えた構成となっている(ただし、背面表示部11は備えている)。
すなわち、撮影光学系1の光路上後方には、光路上に介入した位置と光路上から退避した位置とに移動可能に構成されたクイックリターンミラー21が配設されている。このクイックリターンミラー21は、光学ファインダにより観察を行うときには、図2に示すように、光路上に斜め約45度の状態で介入しており、被写体光束を上方へ反射するようになっている。
クイックリターンミラー21により反射された光束の光路上であって、撮影光学系1に対して撮像素子6と光学的に等価な位置に、フォーカシングスクリーン22が配設されている。
クイックリターンミラー21を介して撮影光学系1によりフォーカシングスクリーン22上に結像された光学像は、ペンタプリズム23により正立正像に変換されて、図示しない接眼レンズ等を介して観察者の眼に導かれるようになっている。
また、撮影時には、クイックリターンミラー21は、図3に示すように、光路上から退避した位置(例えば、フォーカシングスクリーン22に沿った退避位置)へ移動している。
そして、撮影光学系1からの被写体光束は、観察時のクイックリターンミラー21の位置をそのまま通過して、クイックリターンミラー21の背面側に配設されているシャッタ5の位置に到達する。
シャッタ5は、撮影時には図3に示すようにシャッタ幕を光路上から退避させた状態となっており、被写体光束はシャッタ5の位置をそのまま通過して撮像素子6上に結像される。
続いて、図4は光学ファインダに代えてEVF12を備えた撮像装置の撮影時の様子を示す図である。この図4は、図1に示した構成の内の幾つかの配置を光路に沿って示した図ともなっている。
図1および図4に示したようにEVF12を備える構成では、図2および図3に示した構成とは異なり、クイックリターンミラー21、フォーカシングスクリーン22、およびペンタプリズム23を備えていない。従って、この図4に示したような構成を採用すると、撮影光学系1の後端から撮像素子6の撮像面までの距離を短縮し(レンズ交換式の撮像装置においては、レンズマウントのマウント面から撮像面までの距離であるフランジバックを短縮することになる)、撮像装置の軽量化、小型化を図ることが可能となる利点がある。
そして、図2や図3の構成おける光学ファインダが配設された位置に、光学ファインダに代えて、EVF12が配設されている。このEVF12には、撮像素子6により撮像して得られる撮影準備画像がライブビュー表示されるようになっている。
次に、図5は、コントラストAFにより合焦位置へ到達する際の処理を説明するための線図である。
至近と無限遠∞との中間のある距離(合焦位置)に存在する被写体に合焦しようとするときには、上述したように鮮鋭度に基づいて得られるAF評価値は、図5の曲線AFEVに示すように、合焦位置にピークをもつ山の形となる。
そしてここでは、フォーカスレンズ4の初期位置が、オーバー無限遠∞にあるものとする。この位置からAFを開始すると、1フレーム分の画像データが得られる毎に(つまり1垂直同期信号毎に)、絞り/レンズ駆動部14がフォーカスレンズ4を予め定められた基本駆動量だけ駆動する。ここでは、初期位置がオーバー無限遠∞であるために、1垂直同期信号毎に基本駆動量ずつ至近側へ向けて駆動することになる。
そして、フォーカスレンズ4を駆動した後に得られる画像データからAF検出部8により算出されるAF評価値は、曲線AFEVに示すように、合焦位置へ向けて次第に高くなっていく。そして、合焦位置(AF評価値のピーク)を超えると、AF評価値が下降に転ずる。ここまでが、点線R1に示す第1の処理である。
次に、AF評価値のピークを越えたことが検出されたら、ピークを越えた後のAF評価値と、ピークを越える前のAF評価値と、に基づいて合焦位置を推定し、絞り/レンズ駆動部14がフォーカスレンズ4を推定した合焦位置へ全速で駆動する。これが、点線R2に示す第2の処理である。
その後、バックラッシュをキャンセルするために絞り/レンズ駆動部14がフォーカスレンズ4を駆動する。これが、点線R3に示す第3の処理である。そして、この第3の処理を終えたところで、合焦位置へ達するためのAF動作が終了する。
次に、図6および図7を参照して、被写界深度について説明する。被写界深度は、撮影光学系1の焦点距離や、絞り3の絞り値、被写体までの距離などに応じて異なる。さらに、被写界深度は、静止画像を撮像するという観点からは撮像素子6の画素ピッチに応じても異なり、画像を観察するという観点からは表示部10の表示画素ピッチに応じても異なることになる。
まず、図6は、撮影光学系1の焦点距離と絞り3の絞り値とに応じた前方被写界深度の変化の様子を示す図表である。
この図6を見ると、前方被写界深度は、撮影光学系1の焦点距離が長くなると極端に浅くなることが分かる。逆に、撮影光学系1の焦点距離が短ければ、前方被写界深度が深くなり、ピントの合う範囲が広くなることが分かる。そして、撮影光学系1の焦点距離が変化すると前方被写界深度の桁数が異なってくることから、前方被写界深度が撮影光学系1の焦点距離に大きく依存して変化することが分かる。
また、絞り3の絞り値に着目すると、絞り値が大きくなれば(絞り3が絞り込まれれば)、前方被写界深度が深くなることが分かる。
次に、図7は、撮影光学系1の焦点距離と被写体までの距離と表示部の表示画素数とに応じた前方被写界深度の変化の様子を示す図表である。
この図7を見ると、前方被写界深度は、被写体までの距離が近くなると極端に浅くなることが分かる。すなわち、被写体までの距離が変化すると前方被写界深度の桁数が異なってくることから、前方被写界深度が被写体距離に大きく依存して変化することが分かる。
また、表示部10の表示画面サイズが同一であるとすると、高精細な表示になるほど表示画素ピッチが小さくなり、つまり表示に対する許容錯乱円の大きさが小さくなることになる。従って、その他の条件が同一である場合には、VGA(640×480画素)表示よりもSVGA(800×600画素)表示の方が前方被写界深度が浅くなることが分かる。
このような被写界深度Dを数式により示すと、前方被写界深度DFおよび後方被写界深度DBは、それぞれ次の数式1または数式2に示すようになる。
[数1]
DF=(U^2×δ×F)/(f^2+U×δ×F)
[数2]
DB=(U^2×δ×F)/(f^2−U×δ×F)
ここに、記号「^2」は2乗を表し、Uは被写体距離、δは許容錯乱円の直径、Fは絞り3の絞り値、fは撮影光学系1の焦点距離である。なお、数式1および数式2は分子が同一であることから、分母の符号に着目すれば、後方被写界深度DBは前方被写界深度DFと比較して、一般に大きいことが分かる。また、数式2の分母が負[(f^2−U×δ×F)<0]となる場合には、無限遠まで合焦していることを示している。そして、画像を観察するための表示系の観点から被写界深度Dを算出する際には、許容錯乱円の直径δは、例えば、VGA表示の場合には撮像素子6の撮像面の対角長さの1/640、SVGA表示の場合には撮像素子6の撮像面の対角長さの1/800、とするなどが挙げられる。
被写界深度Dとしては、前方被写界深度DFと後方被写界深度DBとの何れか任意の一方を用いても良いし、前方被写界深度DFと後方被写界深度DBとを次の数式3に示すように加算した値、
[数3]
D=DF+DB
を用いても構わない。
被写界深度が浅いと、合焦位置から少しずれただけで被写体像が大きくぼけてしまうことになるためにAFに時間を要し、逆に、被写界深度が深いと、合焦位置から少しずれただけでは被写体像がそれほど大きくぼけることはないために比較的短時間でAFを行うことができる傾向があると考えられる。そして、コントラストAFにおいては、図5を参照して説明したように、AF用の画像データを1フレーム取得する毎にフォーカスレンズ4の位置を所定量だけ移動しながらAF評価値を算出するという手順を取るために、様々な被写界深度に対して、どのようなフレームレートでAF用の画像データを取得すると、短い時間で効率的に合焦に至ることができるかを探ることは有意である。
そこで、被写界深度に影響を与える、撮影光学系1の焦点距離、被写体距離、をパラメータとして変えながら、幾つかのフレームレートで合焦に至るまでの時間を測定するシミュレーション実験を行った。この実験結果について、図8〜図10を参照して説明する。
図8は、標準、中望遠、望遠の各レンズについて、無限遠から被写体距離8mへ合焦するまでの時間を、幾つかのフレームレートに対してプロットした線図、図9は、標準、中望遠、望遠の各レンズについて、無限遠から被写体距離2mへ合焦するまでの時間を、幾つかのフレームレートに対してプロットした線図、図10は、標準、中望遠、望遠の各レンズについて、無限遠から至近位置へ合焦するまでの時間を、幾つかのフレームレートに対してプロットした線図である。なお、図8〜図10においては、合焦に至るまでの時間は相対的な値として示しており、折れ線に付した符号ts1,ts2,ts3は標準レンズにおける結果を、tm1,tm2,tm3は中望遠レンズにおける結果を、tl1,tl2,tl3は望遠レンズにおける結果を、それぞれ示している。
全般的に、撮影光学系1の焦点距離が短いほど、つまり、望遠レンズよりは中望遠レンズ、中望遠レンズよりは標準レンズの方が、合焦までの時間(AF時間)が短いということができる。ただし、図10に関しては、標準レンズよりも中望遠レンズの方がAF時間が短くなっているが、これは標準レンズよりも中望遠レンズの方が至近位置が遠いからであり、上述した原則を覆すものではない。
また、フレームレートが高いほどAF時間が短くなるということができる。ただし、被写体距離が8mである場合(図8)には、フレームレートが低くても比較的短い時間で合焦に至っている。これに対して、被写体距離が2mである場合(図9)には、撮影光学系1の焦点距離が長くなるとAF時間が急激に長くなっているが、フレームレートを250fps程度以上にすると、AF時間を大幅に短縮することができることが分かる。さらに、被写体距離が至近位置である場合(図10)には、撮影光学系1の焦点距離が短くても長いAF時間を要しているが、この場合にもフレームレートを250fps程度以上にすると、AF時間を大幅に短縮することができることが分かる。
このような実験結果から、フレームレートを上げることが、AF時間を短縮するのに効果的である場合とそうでない場合とがあることが分かる。例えば、撮影光学系1の焦点距離が長い場合、被写体距離が近い場合、などにはフレームレートを上げることがAF時間を短縮するのに効果的であるといえる。一方、それ以外の場合(撮影光学系1の焦点距離が短い場合、被写体距離が遠い場合など)には、フレームレートを上げなくても元々AF時間が比較的短いために、フレームレートを上げてもそれほど高い効果を得られるとはいえない。
上述したような実験結果に基づいて、どのような場合にフレームレートを上げるようにするかを分類した例を、図11〜図13に示す。図11は、撮影光学系1の焦点距離と被写体距離との組み合わせにおいて、コントラストAF時にどのような解像度の画像をどのようなフレームレートで取得するかの例を示した線図、図12は、撮影光学系1の焦点距離と絞り3の絞り値との組み合わせにおいて、コントラストAF時にどのような解像度の画像をどのようなフレームレートで取得するかの例を示した線図、図13は、被写体距離と絞り3の絞り値との組み合わせにおいて、コントラストAF時にどのような解像度の画像をどのようなフレームレートで取得するかの例を示した線図である。なお、図11から図13は、各組み合わせにおけるフレームレートの切り分けの傾向を大まかに示したものであるので、記載されている数値に限定されるものではない。
上述したように、撮像素子6から単位時間当たりに読み出し可能な画素数の上限は、LVDSにより決められていて、例えば、100(Mpixel/s:メガピクセル毎秒)である。さらに、例えば撮像素子6が約500万画素(2600×1900画素)であって、ライン単位で画像データを読み出すものである場合を例に取る。ライブビュー時に水平方向に2画素加算して画像データを読み出すとすると、1ライン当たりの画素数は1300画素である。
画像の解像度がQVGAの場合には320×240画素、VGAの場合には640×480画素、SVGAの場合には800×600画素であるから、それぞれ、240ライン、480ライン、600ラインの画像データを読み出さなければならない。つまり、1フレームの画像を読み出すのに必要な画素数は、QVGAの場合には1300×240画素、VGAの場合には1300×480画素、SVGAの場合には1300×600画素である。
従って、1秒当たりに読み出し得る画素数の上限が100メガ画素(1億画素)である撮像素子6においては、達成し得る上限フレームレートは、QVGAの場合には320fps、VGAの場合には160fps、SVGAの場合には128fpsとなる。実際の運用においては上限一杯よりも幾らかの余裕を見ておくことになるために、実質的な上限フレームレートは、QVGAの場合に300fps、VGAの場合に150fps、SVGAの場合には120fps程度であるということができる。
このように、撮像素子6からの単位時間当たりの読出し画素数に上限がある現状では、読み出す画像の解像度を上げるとフレームレートが下がることになり、フレームレートを上げると画像の解像度を下げざるを得ないことになる。
図11〜図13は、こうした上限フレームレートの下に、例えばVGAの解像度をもつ表示部10に、ライブビュー時には60fpsで撮影準備画像(ライブビュー画像)を表示する場合の例を示している。
このときには、取得する画像をコントラストAFとライブビューとの両方に用いることを考えると、フレームレートを60fpsの整数倍とすれば処理が容易になる利点(例えば、補間フレームを作成する必要がないという利点、あるいは同一フレームを複数回表示しなくても済むために、動きがぎくしゃくしない利点など)がある。そこで、通常のコントラストAF時には120fpsのフレームレートでVGA画像(より正確には、480ライン分の画像データであって、上述した例では1300×480画素の画像データ)を取得し、コントラストAFのAF時間を特に短縮したい場合には300fpsのフレームレートでQVGA画像(同様に、より正確には、240ライン分の画像データであって、上述した例では1300×240画素の画像データ)を取得することにする。
まず、図11を参照すると、被写体距離が近いときには撮影光学系1の焦点距離が短くても被写界深度は浅くなるために、QVGA300fpsの画像データを取得する。一方、被写体距離が無限遠に近いときには被写界深度は深くなるために、VGA120fpsの画像データを取得する。そして、標準の焦点距離から中望遠(あるいは望遠)の焦点距離へ行くに従って、VGA120fpsとQVGA300fpsとの区分線を近距離側から遠距離側へ移行していく。
従って、被写体距離を固定して考えれば、カメラ制御部17は、撮影光学系1の焦点距離が所定値以上である場合に、被写界深度が浅いと判断して、撮像素子6のフレームレートをVGA120fpsからQVGA300fpsへ上げるように制御することになる。
また、撮影光学系1の焦点距離を固定して考えれば、カメラ制御部17は、被写体距離が所定値以下である場合に、被写界深度が浅いと判断して、撮像素子6のフレームレートをVGA120fpsからQVGA300fpsへ上げるように制御することになる。
次に、図12を参照すると、撮影光学系1の焦点距離が長い場合には絞り3を絞っても(絞り値を大きくしても)被写界深度は浅くなるために、QVGA300fpsの画像データを取得する。一方、撮影光学系1の焦点距離が短い場合には絞り3をあまり絞らなくても(絞り値を小さくしても)被写界深度は深くなるために、VGA120fpsの画像データを取得する。そして、標準の焦点距離から中望遠(あるいは望遠)の焦点距離へ行くに従って、VGA120fpsとQVGA300fpsとの区分線を小さい絞り値側から大きい絞り値側へ移行していく。
このときに、絞り3の絞り値を固定して考えれば、カメラ制御部17は、撮影光学系1の焦点距離が所定値以上である場合に、被写界深度が浅いと判断して、撮像素子6のフレームレートをVGA120fpsからQVGA300fpsへ上げるように制御することになるのは、図11を参照して説明したのと同様である。
また、撮影光学系1の焦点距離を固定して(例えば中望遠程度の焦点距離について)考えれば、カメラ制御部17は、絞り3の絞り値が所定値以下である場合に、被写界深度が浅いと判断して、撮像素子6のフレームレートをVGA120fpsからQVGA300fpsへ上げるように制御することになる。
続いて、図13を参照すると、被写体距離が近い場合には絞り3を絞っても(絞り値を大きくしても)被写界深度は浅くなるために、QVGA300fpsの画像データを取得する。一方、被写体距離が遠い場合には絞り3をあまり絞らなくても(絞り値を小さくしても)被写界深度は深くなるために、VGA120fpsの画像データを取得する。そして、被写体距離が近くから遠くへ行くに従って、VGA120fpsとQVGA300fpsとの区分線を大きい絞り値側から小さい絞り値側へ移行していく。
このときに、被写体距離を固定して(例えば中程度の被写体距離について)考えれば、カメラ制御部17は、絞り3の絞り値が所定値以下である場合に、被写界深度が浅いと判断して、撮像素子6のフレームレートをVGA120fpsからQVGA300fpsへ上げるように制御することになるのは、図12を参照して説明したのと同様である。
また、絞り3の絞り値を固定して考えれば、カメラ制御部17は、被写体距離が所定値以下である場合に、被写界深度が浅いと判断して、撮像素子6のフレームレートをVGA120fpsからQVGA300fpsへ上げるように制御することになるのは、図11を参照して説明したのと同様である。
図11〜図13においては、2つのパラメータの組み合わせを順に例示してフレームレートの切り分けを行っているが、実際には3つのパラメータ(焦点距離、被写体距離、絞り値)を同時に考慮して(あるいはより本質的には、被写界深度が所定値よりも浅いか深いかを考慮して)フレームレートの切り分けを行う(カメラ制御部17が、被写界深度が浅いときには、被写界深度が深いときよりも撮像素子6のフレームレートを上げるように制御する)ことになる。
そして、例えば3つのパラメータ(より広くは、1つ以上のパラメータ)に応じたテーブル等を予め作成しておき、レンズ情報検出部15から取得したレンズ情報に基づいて、このテーブルを参照し、表示用およびコントラストAF用に兼用する撮影準備画像の解像度およびフレームレートを決定すれば良い。
続いて、図14は表示部10の表示解像度がVGAであるときの被写界深度に応じたフレームレートの区分けの例を示すフローチャートである。なお、この図14の説明においては、図2や図3に示したように、撮像装置に光学ファインダやクイックリターンミラー21が設けられていて、EVF12は設けられていない構成であることを前提としているが、もちろんこの図14に示す処理の本質はこのような構成にのみ限定されるものではない。
この処理を開始すると、撮像装置をライブビューモードに設定して(ステップS1)、クイックリターンミラー21をミラーアップして撮影光学系1の光路上から退避させた状態にし、撮像素子6を通常のライブビューを行う際の駆動方法、つまりVGA60fpsで駆動して撮影準備画像を取得し、取得した撮影準備画像を背面表示部11に表示する(ステップS2)。
そして、カメラ操作部16のレリーズボタンが半押しされるのを待機する(ステップS3)。このとき、背面表示部11に表示される画像がぼけた状態のままであるのを避けるために、ゆっくりとコントラストAFが行われ、フォーカスレンズ4は合焦位置に近い位置に駆動されている。
レリーズボタンが半押しされたことが検出された場合には、カメラ制御部17は、レンズ情報検出部15からレンズ情報、つまり、撮影光学系1の焦点距離f、絞り3の絞り値F、フォーカスレンズ4の現在のレンズ位置などの情報を取得すると共に、AF検出部8からAF評価値を取得する。そして、カメラ制御部17は、フォーカスレンズ4の現在のレンズ位置やAF評価値に基づき、被写体距離Uも算出する(なお、この処理を行っているのは所望の被写体にまだ合焦しておらずAF処理の途上にあるときであるために、所望の被写体までの距離はこの時点では正確には算出されない。従って、各時点における推定値となる。また、電源を入れて処理を開始した直後の時点では、予め用意された適宜の距離の被写体距離Uを初期値として与えるようにしても構わない。)。さらに、カメラ制御部17は、撮像素子6の撮像面の対角長さを、背面表示部11の垂直方向表示画素数または水平方向表示画素数の内の多い方、ここでは背面表示部11がVGAであるために、水平方向画素数である640で割った値(許容錯乱円の直径δ)を予め保持している。カメラ制御部17は、これら取得した情報に基づき、例えば上述した数式1〜数式3の何れかを用いることにより、被写界深度Dを算出する。そして、カメラ制御部は、算出した被写界深度Dを、所定の被写界深度D1と比較する(ステップS4)。ここで、所定の被写界深度D1は、フレームレートや取得する画像の解像度を区分するための閾値であり、数値の一例としては180mmが挙げられる(ただし、所定の被写界深度D1は、撮像素子6の大きさやその他の要因に応じて最適な設定値が異なるために、ここに挙げた数値は単なる一例である)。
ここで、D<D1であると判定された場合には、カメラ制御部17は、撮像素子駆動部7により撮像素子6をQVGA300fps(通常のライブビュー時の5倍のフレームレート)で駆動するように制御し、図5に示すようなレンズ駆動を行い、この駆動状態で1フレームの画像データを取得する毎に、AF検出部8によりAF評価値を算出して、算出したAF評価値に基づき絞り/レンズ駆動部14によりフォーカスレンズ4を合焦位置へ駆動させる。さらに、カメラ制御部17は、取得された画像データに基づき、画像処理部9により表示用画像を生成させて、背面表示部11に表示させる(ステップS5)。
なお、このときには、取得される画像の解像度がQVGAであるために、取得した画像を、例えばVGAの表示解像度を有する背面表示部11に表示すると、表示が粗くなることになる。しかしながら、ステップS4においてこのステップS5へ分岐する場合というのは、被写界深度が浅く、特定の距離(現時点の合焦位置)にある被写体以外は大きくぼけてしまう場合であること、かつこのステップS5を実行しているのは所望の被写体へ合焦する途上であって、まだ合焦には至っていない場合であることなどから、画像の多くの部分がぼけた状態であると考えられる。従って、表示が粗くなってもそれほど目立つことはなく、実用上の問題が生じることは殆どないと考えられる。
一方、ステップS4においてD≧D1であると判定された場合には、カメラ制御部17は、撮像素子駆動部7により撮像素子6をVGA120fps(つまり、ステップS2で示したような通常のライブビュー時に比べて、画像解像度は同一であるがフレームレートは2倍)で駆動するように制御し、図5に示すようなレンズ駆動を行い、この駆動状態で1フレームの画像データを取得する毎に、AF検出部8によりAF評価値を算出して、算出したAF評価値に基づき絞り/レンズ駆動部14によりフォーカスレンズ4を合焦位置へ駆動させる。さらに、カメラ制御部17は、取得された画像データに基づき、画像処理部9により表示用画像を生成させて、表示部10に表示させる(ステップS6)。
ステップS5またはステップS6の処理を行ったら、合焦に至ったか否かを判定し(ステップS7)、合焦していない場合にはステップS4へ戻って上述したような処理を繰り返して行う。
また、ステップS7において合焦したと判定された場合には、撮像素子6を通常のライブビューを行う際の駆動方法、つまりVGA60fpsにより駆動して撮影準備画像を取得し、取得した撮影準備画像を背面表示部11に表示する(ステップS8)。
その後、カメラ操作部16のレリーズボタンが全押しされるのを待機する(ステップS9)。ここで、全押しされていないと判定された場合には、ステップS3へ戻って、上述したような処理を繰り返して行う。
一方、ステップS9において全押しされたと判定された場合には、シャッタ5による光学的なシャッタ動作、あるいは撮像素子6による電子シャッタ動作、さらにあるいは光学的なシャッタ動作と電子シャッタ動作との併用動作を行い、撮像素子6により露光して得られた画像データを画像処理部9が取り込んで、所定の画像処理を行い、記録用に処理してメモリカード13へ記録すると共に、必要に応じて表示用の処理も行い背面表示部11に表示する(ステップS10)。
続いて、撮影が終了したか否かを判定し(ステップS11)、次の撮影をまだ行う場合にはステップS3へ戻って上述したような処理を行い、撮影が終了した場合には上述した一連の処理を終了する。
次に、図15は表示部10の表示解像度がSVGAであるときの被写界深度に応じたフレームレートの区分けの例を示すフローチャートである。なお、この図15の説明においては、図1や図4に示したように、撮像装置にEVF12が設けられている構成であるこを前提としているが、もちろんこの図15に示す処理の本質はこのような構成にのみ限定されるものではない。
この処理を開始すると、撮像装置をEVFモード(EVF12により撮影準備画像(ライブビュー画像)を確認するモード)に設定して(ステップS21)、撮像素子6を通常のライブビューを行う際の駆動方法、つまりSVGA60fpsで駆動して撮影準備画像を取得し、取得した撮影準備画像をEVF12に表示する(ステップS22)。
そして、カメラ操作部16のレリーズボタンが半押しされるのを待機する(ステップS23)。このとき、EVF12に表示される画像がぼけた状態のままであるのを避けるために、ゆっくりとコントラストAFが行われ、フォーカスレンズ4は合焦位置に近い位置に駆動されている。
レリーズボタンが半押しされたことが検出された場合には、カメラ制御部17は、レンズ情報検出部15からレンズ情報、つまり、撮影光学系1の焦点距離f、絞り3の絞り値F、フォーカスレンズ4の現在のレンズ位置などの情報を取得すると共に、AF検出部8からAF評価値を取得する。そして、カメラ制御部17は、フォーカスレンズ4の現在のレンズ位置やAF評価値に基づき、被写体距離Uも推定して算出する。さらに、カメラ制御部17は、撮像素子6の撮像面の対角長さを、EVF12の垂直方向表示画素数または水平方向表示画素数の内の多い方、ここではEVF12がSVGAであるために、水平方向画素数である800で割った値(許容錯乱円の直径δ)を予め保持している。カメラ制御部17は、これら取得した情報に基づき、例えば上述した数式1〜数式3の何れかを用いることにより、被写界深度Dを算出する。そして、カメラ制御部は、算出した被写界深度Dを、所定の被写界深度D2と比較する(ステップS24)。ここで、所定の被写界深度D2は、フレームレートや取得する画像の解像度を区分するための第1の閾値であり、数値の一例としては150mmが挙げられる(なお、ここに挙げた数値が単なる一例であるのは上述した通りである)。
ここで、D<D2であると判定された場合には、カメラ制御部17は、撮像素子駆動部7により撮像素子6をQVGA300fps(通常のライブビュー時の5倍のフレームレート)で駆動するように制御し、図5に示すようなレンズ駆動を行い、この駆動状態で1フレームの画像データを取得する毎に、AF検出部8によりAF評価値を算出して、算出したAF評価値に基づき絞り/レンズ駆動部14によりフォーカスレンズ4を合焦位置へ駆動させる。さらに、カメラ制御部17は、取得された画像データに基づき、画像処理部9により表示用画像を生成させて、EVF12に表示させる(ステップS25)。
一方、ステップS24においてD≧D2であると判定された場合には、カメラ制御部17は、ステップS24において算出した被写界深度Dを、所定の被写界深度D3と比較する(ステップS26)。ここで、所定の被写界深度D3は、フレームレートや取得する画像の解像度を区分するための第2の閾値であり、数値の一例としては300mmが挙げられる(なお、ここに挙げた数値が単なる一例であるのは上述した通りである)。
ここで、D<D3であると判定された場合には、カメラ制御部17は、撮像素子駆動部7により撮像素子6をVGA120fps(通常のライブビュー時の2倍のフレームレート)で駆動するように制御し、図5に示すようなレンズ駆動を行い、この駆動状態で1フレームの画像データを取得する毎に、AF検出部8によりAF評価値を算出して、算出したAF評価値に基づき絞り/レンズ駆動部14によりフォーカスレンズ4を合焦位置へ駆動させる。さらに、カメラ制御部17は、取得された画像データに基づき、画像処理部9により表示用画像を生成させて、EVF12に表示させる(ステップS27)。
また、ステップS26においてD≧D3であると判定された場合には、カメラ制御部17は、撮像素子駆動部7により撮像素子6をSVGA60fps(通常のライブビュー時と同一(1倍)のフレームレート)で駆動するように制御し、図5に示すようなレンズ駆動を行い、この駆動状態で1フレームの画像データを取得する毎に、AF検出部8によりAF評価値を算出して、算出したAF評価値に基づき絞り/レンズ駆動部14によりフォーカスレンズ4を合焦位置へ駆動させる。さらに、カメラ制御部17は、取得された画像データに基づき、画像処理部9により表示用画像を生成させて、EVF12に表示させる(ステップS28)。
ステップS25、ステップS27、またはステップS28の処理を行ったら、合焦に至ったか否かを判定し(ステップS29)、合焦していない場合にはステップS24へ戻って上述したような処理を繰り返して行う。
また、ステップS29において合焦したと判定された場合には、撮像素子6を通常のライブビューを行う際の駆動方法、つまりSVGA60fpsにより駆動して撮影準備画像を取得し、取得した撮影準備画像をEVF12に表示する(ステップS30)。
その後、カメラ操作部16のレリーズボタンが全押しされるのを待機する(ステップS31)。ここで、全押しされていないと判定された場合には、ステップS23へ戻って、上述したような処理を繰り返して行う。
一方、ステップS31において全押しされたと判定された場合には、シャッタ5による光学的なシャッタ動作、あるいは撮像素子6による電子シャッタ動作、さらにあるいは光学的なシャッタ動作と電子シャッタ動作との併用動作を行い、撮像素子6により露光して得られた画像データを画像処理部9が取り込んで、所定の画像処理を行い、記録用に処理してメモリカード13へ記録すると共に、必要に応じて表示用の処理も行いEVF12に表示する(ステップS32)。
続いて、撮影が終了したか否かを判定し(ステップS33)、次の撮影をまだ行う場合にはステップS23へ戻って上述したような処理を行い、撮影が終了した場合には上述した一連の処理を終了する。
なお、図14のステップS4、図15のステップS24およびステップS26においては、取得したレンズ情報等に基づいて被写界深度Dを算出し、算出した被写界深度Dが所定の閾値よりも深いか浅いかに応じてフレームレートや画像解像度を変更する分岐を行っていたが、被写界深度Dを必ず算出する必要があるわけではない。例えば、撮影光学系1の焦点距離、絞り3の絞り値、被写体距離の内の少なくとも1つの情報に基づいて、被写界深度が深いか浅いかを推定し、分岐を行うようにしても構わない。
また、上述したように、焦点距離、被写体距離、絞り値の内の1つ以上のパラメータに応じたテーブルを予め用意しておく場合には、被写界深度Dを算出することなく、必要な分岐を行うことができる。
このような実施形態1によれば、被写界深度が浅いときには、AF用に取得する画像データのフレームレートを上げるようにしたために、AF時間を短縮することが可能となる。しかも、被写界深度が浅いか深いか、つまり、フレームレートを上げることがAF時間を短縮するのに有効であるか否かに応じて、フレームレートを変更しあるいは変更しないようにしたために、不必要に高いフレームレートで撮像素子を駆動するといった無駄(例えば、消費電力の無駄)を抑制することができる。
さらに、AF用に取得する画像データを、表示用にも兼用しているために、画像データを有効に活用することができる。このとき、画像データを取得する際のフレームレートを、通常の撮影準備画像(ライブビュー用画像)を取得しているときのフレームレートの整数倍としたために、取得する画像データにフレーム補間等の処理を行う必要がなく、処理負荷を軽減して容易に表示することが可能となる。
そして、撮像素子から出力し得る画素数(データ量)の上限を考慮して、フレームレートを上げる場合には画像の解像度を下げるようにしたために、LVDS等を用いて画像出力する撮像素子に対しても有効に適用することができる。このとき、画像の解像度を下げるのは被写界深度が浅いとき(つまり、ぼけている部分が画像中に高い確率で存在するとき)であるために、解像度を下げた画像を表示してもそれほど違和感を感じることはない。
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。