本発明をデジタルカメラに適用した実施形態を図面に基づいて説明する。
図1は、本実施形態に係るデジタルカメラ1を示すブロック図であり、本発明の撮像装置に関する構成以外のカメラの一般的構成については、その図示と説明を一部省略する。
本実施形態のデジタルカメラ1(以下、単にカメラ1という。)は、レンズ系10、絞り21、絞り駆動制御部22、撮像素子31、アナログ信号処理回路41、A/D変換部42、レンズ駆動制御部51、メモリ60、カメラ制御部70、操作部80および表示部90を備えている。
レンズ系10は、焦点調節用のフォーカスレンズ12、ズーム倍率変更用のズームレンズ13を含む複数のレンズ11,12,13からなり、絞り21とともに撮影光学系を構成する。
フォーカスレンズ12は、その光軸L1に沿って移動可能に設けられ、フォーカスレンズ用エンコーダ(不図示)によってその位置または移動量が検出されつつ、フォーカスレンズ駆動モータ52によってその位置が調節される。そして、フォーカスレンズ用エンコーダで検出されたフォーカスレンズ12の現在位置情報は、レンズ駆動制御部51を介してカメラ制御部70へ送信される一方で、カメラ制御部70はこの情報を参照しつつフォーカスレンズ12の焦点調節位置を演算し、レンズ駆動制御部51を介してフォーカスレンズ駆動モータ52にレンズ駆動信号を送信する。
ズームレンズ13は、その光軸L1に沿って移動可能に設けられ、ズームレンズ用エンコーダ(不図示)によってその位置または移動量が検出されつつ、ズームレンズ駆動モータ53によってその位置が調節される。ズームレンズ13の位置は、操作部80に設けられたズームボタンを操作することにより、あるいは、カメラ制御部70からレンズ駆動制御部51を介して送出されるズームレンズ駆動指令により、調節される。
絞り21は、レンズ系10を通過して、撮像素子31に至る光束L1の光量を制限するとともにボケ量を調整するために、光軸L1を中心にした開口径が調節可能に構成されている。たとえば自動露出モードにおいては、カメラ制御部70により、撮像素子31に至る光束に基づいて目標とする開口径の演算が行われ、演算された開口径に相当する絞り駆動信号が、カメラ制御部70から絞り駆動制御部22を介して絞り駆動部23へ送信されることにより、絞り21による開口径の調節が行われる。また、開口径の調節は、カメラ1に設けられた操作部80をマニュアル操作することによっても行われ、操作部80で設定された開口径がカメラ制御部70から絞り駆動制御部22を介して絞り駆動部23に入力される。なお、絞り21の開口径は絞り開口センサ(不図示)により検出され、カメラ制御部70により現在の開口径が認識される。
撮像素子31は、カメラ1の被写体からの光軸L1上であって、レンズ系10の予定焦点面となる位置に配置されている。撮像素子31は、複数の光電変換素子が二次元に配列されたものであって、二次元CCDイメージセンサ、MOSセンサまたはCID(電荷注入デバイス)などで構成することができる。なお、撮像素子31は、各画素に蓄積される電荷の蓄積時間、すなわちシャッタースピードをシャッターゲートパルスによって制御する電子シャッター機能を備える。
また、撮像素子31の撮像面の有効画素領域には、赤色(R)、緑色(G)、および青色(B)に対応するカラーフィルタが配置されており、撮像面で受光した被写体像はRGBの画像信号に変換されることとなる。このようなカラーフィルタの配列としては、たとえば、ベイヤー配列(Bayer Arrangement)などが挙げられるが、特にこれに限定されない。
撮像素子31の撮像面に被写体像が投影されると、その入射光量に応じた量の信号電荷に光電変換され、撮像出力信号として順次読み出される。この光電変換されたアナログ画像信号は、アナログ信号処理部41へ出力される。
アナログ信号処理部41は、相関二重サンプリング(CDS)を行うCDS回路と、アナログ画像信号の出力を増幅するゲイン回路と、色分離回路とを有している。このアナログ信号処理部41では、RGBの各色に対応する画素の出力に関する出力ゲインの値をそれぞれ独立して設定できるようになっている。
A/D変換部42はアナログ信号処理部41から出力されたアナログ画像信号をデジタル画像信号に変換する。A/D変換部42によってデジタル化された画像信号は、カメラ制御部70に出力される。
操作部80は、カメラ1を起動させるための主電源スイッチや、シャッターレリーズボタン、ズームレンズ13を駆動させてズーム動作を行なうためのズームスイッチ、さらには、撮影者がカメラ1の各種動作モードを設定するための入力スイッチなどを備えている。そして、撮影者は、操作部80を介して、動画撮影モード/静止画撮影モードの切換や、自動露出モード/マニュアル露出モードの切換、さらには、オートフォーカスモード/マニュアルフォーカスモードの切換などができるようになっている。この操作部80による操作、および設定された各種モードはカメラ制御部70へ送信される。
カメラ制御部70は、マイクロプロセッサとメモリなどの周辺部品から構成され、カメラ1を構成する各部の制御するための演算を行う。そして、カメラ制御部70は、該演算結果に基づき、絞り21による開口径を調節したり、アナログ信号処理部41のゲインの設定を行なったりする。
また、カメラ制御部70は、A/D変換部42によってデジタル化された画像信号を取得し、取得した画像信号についてデジタル処理を行ない、メモリ60および表示部90に出力して、メモリ60に保存させるとともに、表示部90に、画像信号に基づく画像の表示を行なわせる。
さらに、カメラ制御部70は、オートフォーカス動作を制御するAF処理部70aを備えている。AF処理部70aは、レンズ駆動制御部51を介して、フォーカスレンズ駆動モータ52を駆動させることにより、フォーカスレンズ12を移動させながら、撮像素子31に被写体像の撮像を行なわせて、フォーカスレンズ12の各移動位置に対応する、デジタル画像信号を取得する。そして、取得したデジタル画像信号のうち、焦点検出に用いる画像信号から高周波成分を抽出して焦点評価値の演算を行う。具体的には、画像信号をバンドパスフィルタに通して画像信号から所定帯域の周波数成分に対応する信号を抽出し、抽出された信号の絶対値を積分することにより、被写体像に関する焦点評価値を得る。そして、AF処理部70aは、算出された焦点評価値に基づいて、レンズ駆動制御部51を介して、フォーカスレンズ駆動モータ52を駆動させて、これにより、フォーカスレンズ12を所定のレンズ調整位置に移動させる。
また、カメラ制御部70は、フォーカスレンズ12のレンズ位置と、各レンズ位置において、撮像素子31により撮像される撮影画像の像倍率との関係を示すテーブルを予め記憶しており、このテーブルを用いて、AF処理部70aにより、オートフォーカス動作が行なわれている際のフォーカスレンズ12の駆動中における、撮影画像の像倍率の変化を補正する動作を行なう。なお、撮影画像の像倍率の変化を補正する動作については、後述する。
表示部90は、液晶ディスプレイなどで構成され、撮像素子31により撮像した画像を逐次表示する電子ファインダとして機能し、撮影者が、表示部90に表示される被写体を観察しながら撮影操作を行うことができるようになっている。
次に、本実施形態に係るカメラ1の動作例を説明する。図2、図3は、本実施形態に係るカメラ1の動作を示すフローチャートである。なお、以下においては、静止画撮影モードが選択されており、静止画撮影モードにおいて、撮像素子31により撮像された撮像画像が、逐次、表示部90に表示されている場面、すなわち、ライブビュー表示が行なわれている場面における、動作について説明する。以下においては、本実施形態に係るカメラ1の動作例が適用される場面例として、図4に示す場面例に基づいて説明を行なう。なお、図4に示す場面例の詳細については後述する。
まず、ステップS101では、カメラ1の電源がオンされると、撮像素子31により被写体像の撮像が開始される。本実施形態においては、撮像素子31による被写体像の撮像は、所定のフレームレートで繰り返し行なわれる。
次いで、ステップS102では、カメラ制御部70により、撮像素子31により撮像された画像の画像信号の取得が行なわれる。本実施形態では、カメラ制御部70は、撮像素子31により撮像された画像の画像信号を、アナログ信号処理部41およびA/D変換部42により変換され、デジタル化された信号として取得する。
次いで、ステップS103では、カメラ制御部70により、ステップS102で取得した画像信号に基づく撮影画像を、メモリ60に記憶させる処理が行なわれる。
ステップS104では、カメラ制御部70のAF処理部70aにより、ステップS102で取得した画像信号に基づいて、焦点評価値の算出が行われる。算出された焦点評価値は、フォーカスレンズ12の位置の情報とともに、カメラ制御部70に備えられたメモリに記憶される。
ステップS105では、カメラ制御部70により、オートフォーカス動作を行なうために、フォーカスレンズ12の駆動動作が行なわれているか否かの判定が行なわれる。フォーカスレンズ12の駆動動作が行なわれていると判定された場合には、ステップS106に進む。一方、フォーカスレンズ12の駆動動作が行なわれていないと判定された場合には、ステップS116に進む。なお、フォーカスレンズ12の駆動動作は、カメラ制御部70に備えられたAF処理部70aにより制御される。本実施形態においては、たとえば、撮影輝度が大きく変化した場合や、撮影輝度が所定時間以上変化しない場合や、さらには、ステップS104で算出された焦点評価値が、前回処理時に算出された焦点評価値と比較して所定値以上変化した場合に、AF処理部70aにより、オートフォーカス動作が実行される。
ステップS106では、フォーカスレンズ12の駆動が開始された時点(すなわち、オートフォーカス動作が開始された時点)と比較して、フォーカスレンズ12が、撮影倍率が小さくなる方向(すなわち、画角が広くなる方向)に移動しているか否かの判定が行なわれる。フォーカスレンズ12の駆動が開始された時点と比較して、フォーカスレンズ12が、撮影倍率が小さくなる方向に移動していると判定された場合には、ステップS107に進む。一方、フォーカスレンズ12の駆動が開始された時点と比較して、フォーカスレンズ12が、撮影倍率が大きくなる方向(すなわち、画角が狭くなる方向)に移動していると判定された場合には、ステップS110に進む。なお、ステップS106においては、フォーカスレンズ12が、フォーカスレンズ12の駆動が開始された時点と同じ位置にある場合には、フォーカスレンズ12が、撮影倍率が小さくなる方向に移動しているものと判定して、ステップS107に進むものとする。
ここで、図4は、本実施形態が適用される一場面例を示す図である。図4においては、AF処理部70aによりオートフォーカス動作が実行された場合における、フォーカスレンズ12のレンズ位置の変化を示している。なお、図4中においては、撮像素子31からの画像信号の取得タイミングを、黒丸で示した。すなわち、図4においては、時間Tαの間隔で、撮像素子31により撮像が行なわれ、時間Tαの間隔で、AF処理部70aにより、撮像素子31により撮像された画像信号に基づいて、焦点評価値の算出が行われている例を示している。この図4においては、具体的には、次のような場面例を示している。すなわち、図4においては、時間t0,t1において、フォーカスレンズ12が位置P1にある場合において、時間t2において、オートフォーカス動作が開始され、フォーカスレンズ12を、撮影倍率が小さくなる方向に駆動させながら、焦点評価値の算出を行い、次いで、時間t3において、フォーカスレンズ12を、撮影倍率が大きくなる方向に反転駆動させ、撮影倍率が大きくなる方向に駆動させながら、焦点評価値の算出を行い、算出された焦点評価値に基づいて、時間t6において、フォーカスレンズ12を、合焦位置である位置P2に移動させた例を示している。
この図4に示す例においては、時間t2〜t4の間においては、フォーカスレンズ12の駆動が開始された時点におけるフォーカスレンズ12の位置P1と比較して、フォーカスレンズ12が、撮影倍率が小さくなる方向に移動しているため、この場合には、ステップS107に進むこととなる。一方で、時間t4以降、時間t6までは、フォーカスレンズ12の駆動が開始された時点におけるフォーカスレンズ12の位置P1と比較して、フォーカスレンズ12が、撮影倍率が大きくなる方向に移動しているため、この場合には、ステップS110に進むこととなる。
フォーカスレンズ12の駆動が開始された時点と比較して、フォーカスレンズ12が、撮影倍率が小さくなる方向に移動していると判定された場合には、ステップS107に進み、ステップS107では、カメラ制御部70により、ステップS102で得られた画像信号に基づく撮影画像について、一部の領域を切り出すクロップ処理が行なわれる。ここで、フォーカスレンズ12を、撮影倍率が小さくなる方向に駆動すると、得られる撮影画像は、図5(A)に示す画像から、図5(C)に示す画像へと画角が変化してしまうこととなる。これに対し、本実施形態では、このような画角の変化を防止するために、クロップ処理を行なう。具体的には、図6(A)に示すように、得られた撮影画像から、画像を切り出すための切り出し領域を選択し、次いで、図6(B)に示すように、切り出し領域の大きさが、撮影画像の大きさに対応する大きさとなるように、撮影画像を拡大するための処理を行なう。なお、撮影画像を拡大する処理においては、連続する複数のフレームにおいて撮像された複数の画像を用いて、画素補間を行なうことで、高解像度を得る超解像処理を行なってもよい。そして、図6(C)に示すように、切り出し領域を切り出す処理を行なうことで、クロップ画像を得る。なお、本実施形態においては、クロップ画像を得る際には、得られるクロップ画像が、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率となるように、画像の切り出しを行なう。具体的には、カメラ制御部70に予め保存されているフォーカスレンズ12のレンズ位置と、各レンズ位置において、撮像素子31により撮像される撮影画像の像倍率との関係を示すテーブルに基づいて、得られるクロップ画像が、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率となるように、画像の切り出しを行なう。
次いで、ステップS108では、カメラ制御部70により、ステップS107で得られたクロップ画像を、メモリ60に記憶させる処理が行なわれる。
次いで、ステップS109では、ステップS107で得られたクロップ画像が、カメラ制御部70から、表示部90に出力され、表示部90により、クロップ画像の出力が行なわれる。上述したように、本実施形態においては、クロップ画像を得る際に、得られるクロップ画像が、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率となるように、画像の切り出しを行なうものである。そのため、たとえば、図4に示す時間t2〜t4において、フォーカスレンズ12を駆動させることにより、撮影画像の画角が、図5(A)に示す画像から、図5(C)に示す画像のように変化してしまった場合でも、撮像素子31により得られた実際の撮影画像に代えて、図6(A)〜図6(C)に示すようにクロップ処理を行なうことにより得られたクロップ画像を、表示部90に表示させることにより、表示部90に表示される撮影画像における、画角の変化を防止することが可能となる。
ここで、図7に、図4示す場面例に、本実施形態を適用した場合における、表示部90に表示される画像の像倍率の変化の一例を示す。なお、図7においては、撮像素子31により撮像される画像の像倍率の変化を実線で、表示部90に表示される画像の像倍率の変化を破線で、それぞれ示した。また、図7における時間t0〜t7は、図4における時間t0〜t7と同じ時間を示している。本実施形態においては、図4、図7に示す時間t2〜t4の間においては、上述したステップS107で説明したようにクロップ画像を得て、得られたクロップ画像を、表示部90に表示するため、図7に示すように、フォーカスレンズ12が駆動することにより、撮像素子31により撮像される画像の像倍率が変化した場合でも、表示部90に表示される画像を、フォーカスレンズ12を駆動させる前の像倍率α1のままに保たれることとなる。
一方、ステップS106において、フォーカスレンズ12の駆動が開始された時点(すなわち、オートフォーカス動作が開始された時点)と比較して、フォーカスレンズ12が、撮影倍率が大きくなる方向(すなわち、画角が狭くなる方向)に移動していると判定された場合には、ステップS110に進む。すなわち、たとえば、図4に示す例においては、時間t4以降、時間t6までは、ステップS110に進むこととなる。
ステップS110では、カメラ制御部70により、メモリ60に保存されている前回処理時に撮像された前フレームの撮影画像の読み出しが行なわれる。なお、前フレームの撮影画像に基づいて、上述したステップS107においてクロップ画像が生成されている場合や、後述するステップS112において、前フレームの撮影画像に基づいて、合成画像が生成されている場合には、ステップS110においては、前フレームの撮影画像に代えて、クロップ画像または合成画像の読み出しが行なわれる。なお、ステップS110において、読み出された画像(撮影画像、クロップ画像または合成画像)を、以下、適宜、「前フレーム画像」とする。
ステップS111では、ステップS110で読み出した前フレーム画像と、ステップS102で取得された画像信号に基づく撮影画像(以下、適宜、「今回フレーム画像」とする。)との間で、ブロックマッチングにより、マッチング度の評価が行われる。たとえば、図8に示すように、今回フレーム画像について、撮影画像周辺部分に、マッチング領域を複数設定(図8に示す例においては、マッチング領域は、8箇所)し、該マッチング領域において、前フレーム画像とのマッチング度(一致度)の評価を行う。具体的には、今回フレーム画像について、所定の倍率テーブルに基づいて、画像を縮小する処理を行なうとともに、前フレーム画像を所定の倍率テーブルに基づいて、画像の切り出しを行なうクロップ処理を行なう。そして、縮小処理を行なった今回フレーム画像と、クロップ処理を行なった前フレーム画像とについて、図8に示すマッチング領域におけるマッチング度の評価を行う。
そして、マッチング度の評価の結果、今回フレーム画像と、前フレーム画像とのマッチング度が所定値以上である場合には、ステップS112に進む。一方、マッチング度が所定値未満の場合には、ステップS115に進む。なお、本実施形態においては、今回フレーム画像と、前フレーム画像とを比較して、実質的に構図の変更が行なわれていないと判断できる場合に、マッチング度が所定値以上であると判定するように、構成することができる。具体的には、図8に示すマッチング領域のうち、7割以上の領域において、8割以上の一致度が得られた場合に、実質的に構図の変更が行なわれておらず、マッチング度が所定値以上であると判定するように、構成することができる。なお、本実施形態では、今回フレーム画像と前フレーム画像とのマッチング度に基づいて、構図変更が行なわれたか否かの判断をするような態様を例示したが、たとえば、カメラ1を、角速度センサを備えるような構成とし、角速度センサからのセンサ出力に基づいて、構図変更が行なわれたか否かの判断をするような構成としてもよい。
ステップS112では、カメラ制御部70により、今回フレーム画像と、前フレーム画像とを合成する画像合成処理が行なわれる。ここで、フォーカスレンズ12を、撮影倍率が大きくなる方向に駆動すると、得られる撮影画像は、図5(A)に示す画像から、図5(B)に示す画像へと画角が変化してしまうこととなる。これに対し、本実施形態では、このような画角の変化を防止するために、以下に説明するような画像合成処理を行なう。以下、ステップS112における画像合成処理を、図4に示す例中における、フレームF1における画像と、フレームF2における画像とを合成する場合を例示して説明する。ここにおいて、フレームF1における画像は、上述したステップS109においてクロップ処理することにより得られたクロップ画像であり、前フレーム画像に相当する画像である。すなわち、フレームF1における画像は、フォーカスレンズ12を駆動させる前の像倍率と同じ像倍率を有する、前フレーム画像である。また、フレームF2における画像は、今回フレーム画像に相当する。
まず、本実施形態における、画像合成処理においては、図9(A)に示す今回フレーム画像であるフレームF2における画像を、図9(B)に示すように、縮小する処理を行なう。なお、撮影画像を縮小する処理においては、連続する複数のフレームにおいて撮像された複数の画像を用いて、画素補間を行なうことで、高解像度を得る超解像処理を行なってもよい。また、この際における縮小率は、ステップS111におけるマッチング度の評価結果に基づいて、前フレーム画像であるフレームF1における画像と、今回フレーム画像であるフレームF2における画像とが互いにマッチングするような大きさとなるような縮小率とされる。具体的には、カメラ制御部70に予め保存されているフォーカスレンズ12のレンズ位置と、各レンズ位置において、撮像素子31により撮像される撮影画像の像倍率との関係を示すテーブルに基づいて、縮小後の画像が、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率となるように、画像の縮小を行なう。
そして、図9(C)に示すように、縮小処理された今回フレーム画像であるフレームF2における画像に、前フレーム画像であるフレームF1の画像のうち、周辺部分の画像を合成するための画像合成処理が行なわれる。ここで、前フレーム画像であるフレームF1は、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率とされている画像であるため、ステップS112の画像合成処理で得られる合成画像も、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率のものとすることができる。このように、本実施形態においては、このような前フレーム画像を利用した画像合成処理を行なうことにより、フォーカスレンズ12が、撮影倍率が大きくなる方向に駆動した結果、得られる撮影画像の画角が狭くなり、撮影画像にケラレが発生した場合でも、ケラレ部分を、前フレーム画像で補間することができ、これにより、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率である合成画像を得ることができる。
次いで、ステップS113では、カメラ制御部70により、ステップS112で得られた合成画像を、メモリ60に記憶させる処理が行なわれる。
次いで、ステップS114では、ステップS112で得られた合成画像が、カメラ制御部70から、表示部90に出力され、表示部90により、合成画像の出力が行なわれる。
なお、上記においては、本実施形態における画像合成処理を、図4に示すフレームF1における画像と、フレームF2における画像とに基づいて、行なう場合を例示したが、上述したように、フレームF1における画像と、フレームF2における画像とに基づいて得られる合成画像は、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率を有するものとされる。そのため、次回処理において、得られたフレームF2における合成画像と、これに続くフレームF3における画像とに基づいて、合成画像を生成する際にも、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率を有する合成画像を生成することができ、さらに、これ以降において得られる合成画像においても同様に、フォーカスレンズ12を駆動する前の像倍率と同じ像倍率を有するものとすることができる。
そのため、たとえば、図4に示す場面例においては、時間t4以降、時間t6の間において、各フレーム画像間のマッチング度が所定値以上(すなわち、ステップS111=Yes)である場合には、上述したように、前フレーム画像を利用して、合成画像を得て、得られた合成画像を、表示部90に表示するため、図7に示すように、フォーカスレンズ12が駆動することにより、撮像素子31により撮像される画像の撮影倍率が変化した場合でも、表示部90に表示される画像を、フォーカスレンズ12を駆動させる前の像倍率α1のままに保たれることとなる。
一方、ステップS111において、今回フレーム画像と、前フレーム画像とのマッチング度が所定値未満であると判定された場合、すなわち、構図変更がなされたと判断された場合には、ステップS115に進む。そして、ステップS115では、構図変更がなされ、上述した画像合成処理を行なうことは適切でないため、画像合成処理を行なうことなく、ステップS102で得られた画像信号に基づく画像が、カメラ制御部70から、表示部90に出力され、表示部90により、撮影画像の出力が行なわれる。
たとえば、図4に示す場面例において、図10に示すように、構図変更が行なわれた場合には、時間t4以降、時間t6の間であり、かつ、構図変更が行なわれている間においては、合成画像の生成を行なわず、撮像素子31で撮像された撮影画像が、表示部90に表示されることとなり、構図変更が終了すると、合成画像の生成が開始されることとなる。なお、図10においては、撮像素子31により撮像される画像の撮影倍率の変化を実線で、表示部90に表示される画像の撮影倍率の変化を破線で、それぞれ示した。また、図10における時間t0〜t7は、図4における時間t0〜t7と同じ時間を示している。
また、ステップS105において、オートフォーカス動作が実行されておらず、フォーカスレンズ12の駆動動作が行なわれていないと判断された場合には、図3に示すステップS116に進む。ステップS116では、カメラ制御部70により、前回処理時において表示部90に表示させた画像の像倍率が、現在のフォーカスレンズ12のレンズ位置における像倍率と一致しているか否かの判断が行なわれる。これらが一致していない場合には、ステップS117に進み、これらが一致している場合には、ステップS123に進む。なお、これらが一致しているか否かの判断は、たとえば、カメラ制御部70に予め保存されているフォーカスレンズ12のレンズ位置と、各レンズ位置において、撮像素子31により撮像される撮影画像の像倍率との関係を示すテーブルに基づいて、判断することができる。
ステップS117では、前回処理時において表示部90に表示させた画像が、合成画像であったか、あるいは、クロップ画像であったかの判断が行なわれる。前回処理時において表示部90に、合成画像を表示させた場合には、ステップS118に進む。一方、前回処理時において表示部90に、クロップ画像を表示させた場合には、ステップS124に進む。
たとえば、図3に示す場面例において、図6に示すように、時間t6〜t7においては、前回処理時において表示部90に表示させた画像の像倍率と、現在のフォーカスレンズ12のレンズ位置における像倍率とが一致しておらず(ステップS116=No)、前回処理時において表示部90に、合成画像を表示させている(ステップS117=Yes)。そのため、この場合には、ステップS118に進むこととなる。
そして、図3に示す場面例の時間t6〜t7のように、前回処理時において表示部90に表示させた画像が、合成画像であった場合には、ステップS118に進み、ステップS118では、メモリ60に保存されている前回処理時に生成された合成画像(以下、適宜、「前フレーム合成画像」とする。)の読み出しが行なわれる。
ステップS119では、ステップS118で読み出した前フレーム合成画像と、今回フレーム画像との間でマッチング度の評価が行われる。このマッチング度の評価は、上述したステップS111と同様にして行われる。そして、マッチング度の評価の結果、前フレーム合成画像と、今回フレーム画像とのマッチング度が所定値以上である場合には、ステップS120に進む。一方、マッチング度が所定値未満の場合には、ステップS123に進む。
ステップS120では、上述したステップS112と同様にして、前フレーム合成画像と、今回フレーム画像とに基づいて、画像合成処理が行なわれる。なお、ステップS120においては、上述したステップS112と異なり、生成される合成画像の像倍率が、前フレーム合成画像の像倍率と比較して、現在のフォーカスレンズ12のレンズ位置における像倍率に近づくように、像倍率を変更して、合成画像の生成を行なう。なお、この場合における、像倍率の変更量としては、たとえば、表示部90により表示される画像の像倍率の変化速度が、撮影者に違和感を与えないようなものとなるように、十分に小さい量に設定することができる。
そして、ステップS121において、カメラ制御部70により、ステップS112で得られた合成画像を、メモリ60に記憶させる処理が行なわれ、次いで、ステップS122において、ステップS120で得られた合成画像が、カメラ制御部70から、表示部90に出力され、表示部90により、合成画像の出力が行なわれる。
このように、図6に示す時間t6〜t7のように、前回処理時において表示部90に表示させた画像の像倍率と、現在のフォーカスレンズ12のレンズ位置における像倍率とが一致しておらず(ステップS116=No)、前回処理時において表示部90に、合成画像を表示させている(ステップS117=Yes)場合に、本実施形態においては、表示部90により表示される画像の像倍率を、撮影者に違和感を与えることなく、徐々に変更していき、最終的に、新たな合焦位置における、撮影倍率α2に変更することができる。
そして、表示部90により表示される画像の像倍率を、撮影者に違和感を与えることなく、徐々に変更していった後、表示部90により表示される画像の像倍率と、現在のフォーカスレンズ12のレンズ位置の像倍率が一致した場合には、ステップS116から、ステップS123に進み(ステップS116=Yes)、ステップS102で得られた画像信号に基づく撮影画像が、カメラ制御部70から、表示部90に出力され、表示部90により、ステップS102で得られた画像信号に基づく撮影画像の出力が行なわれる。
一方で、ステップS119において、前フレーム合成画像と、今回フレーム画像とのマッチング度が所定値未満であると判定される場合、すなわち、構図変更がなされたと判断される場合には、ステップS124に進む。そして、ステップS124では、構図変更がなされ、上述した画像合成処理を行なうことは適切でないため、画像合成処理を行なうことなく、ステップS102で得られた画像信号に基づく撮影画像が、カメラ制御部70から、表示部90に出力され、表示部90により、ステップS102で得られた画像信号に基づく撮影画像の出力が行なわれる。
あるいは、ステップS117において、前回処理時において表示部90に表示させた画像が、クロップ画像であったと判断された場合には、ステップS124に進み、ステップS124では、上述したステップS107と同様にして、ステップS102で得られた画像信号に基づく撮影画像について、一部の領域を切り出すクロップ処理が行なわれる。なお、ステップS124においては、上述したステップS107と異なり、生成されるクロップ画像の像倍率が、前回処理時に生成されたクロップ画像と比較して、現在のフォーカスレンズ12のレンズ位置における像倍率に近づくように、像倍率を変更して、クロップ画像の生成を行なう。なお、この場合における、像倍率の変更量としては、上述のステップS120と同様に、たとえば、表示部90により表示される画像の像倍率の変化速度が、撮影者に違和感を与えないようなものとなるように、十分に小さい量に設定することができる。
そして、ステップS125において、カメラ制御部70により、ステップS112で得られたクロップ画像を、メモリ60に記憶させる処理が行なわれ、次いで、ステップS126において、ステップS120で得られたクロップ画像が、カメラ制御部70から、表示部90に出力され、表示部90により、クロップ画像の出力が行なわれる。
このように、前回処理時において表示部90に表示させた画像の撮影倍率と、現在のフォーカスレンズ12のレンズ位置における撮影倍率とが一致しておらず(ステップS116=No)、前回処理時において表示部90に、クロップ画像を表示させている(ステップS117=No)場合においても、本実施形態においては、同様にして、表示部90により表示される画像の像倍率を、撮影者に違和感を与えることなく、徐々に、変更することができる。
以上、静止画撮影モードにおいて、撮像素子31により撮像された撮像画像が、逐次、表示部90に表示されている場面、すなわち、ライブビュー表示が行なわれている場面における、動作について説明を行なった。
なお、上述した動作例においては、図7、図10に示すように、フォーカスレンズ12の駆動が停止した後(時間t6〜t7)において、現在のフォーカスレンズ12のレンズ位置における像倍率とが一致していない場合に、現在のフォーカスレンズ12のレンズ位置における像倍率に近づくように、像倍率を変更する処理(ステップS119、S124)を行なう態様を例示したが、たとえば、図11、図12に示すように、フォーカスレンズ12の駆動が停止した後(時間t6〜t7)においても、このような処理を行なわずに、像倍率を変化させないような態様としてもよい。
次いで、このような静止画撮影モードにおいて、操作部80に備えられたレリーズボタンが押下された場合における、動作例について、図13に示す場面例を例示して、説明する。
ここで、図13は、本実施形態が適用される他の場面例であり、図13(A)は、他の場面例における、フォーカスレンズ12のレンズ位置の変化を示しており、また、図13(B)は、他の場面例における、撮像素子31により撮像される画像の像倍率の変化、および表示部90に表示される画像の像倍率の変化を示している。なお、図13においては、時間t11にレリーズが押下され、時間t11〜t15において、フォーカスレンズ12を駆動させることで、オートフォーカス動作が行なわれ、時間t15〜t16において、静止画撮影のための露光が行なわれた場面を示している。
図13(A)、図13(B)に示すように、操作部80に備えられたレリーズボタンが押下された場合には、フォーカスレンズ12の駆動中には、上述した図2、図3に示すフローチャートに従い、表示部90に表示させるための画像の画角の変化を防止するために、クロップ画像の生成(時間t11〜t13)および合成画像の生成(時間t13以降、時間t15まで)が行なわれ、生成したクロップ画像および合成画像を、表示部90に表示させるための処理が行なわれる。
そして、その一方で、図13(A)、図13(B)に示すように、レリーズボタンが押下された際には、オートフォーカス動作が行なわれ、フォーカスレンズ12のレンズ位置が新たな合焦位置であるP4に移動し、静止画撮影のために、撮像素子31への動作が開始されると、時間t15〜t16において、表示部90における画像表示を中止するブラックアウト動作が実行される。そのため、図13(A)、図13(B)に示すように、レリーズボタンが押下された際には、上述した図2、図3に示すフローチャートと異なり、表示部90における画像表示を中止するブラックアウト動作を利用して、上述したステップS120のような像倍率を徐々に変更しながら合成画像を生成する処理や、上述したステップS124のような像倍率を徐々に変更しながらクロップ画像を生成する処理を行なうことなく、ブラックアウト動作が終了した時間t16において、撮像素子31で撮像された画像信号に基づく画像を表示する処理を行なう。このように、本実施形態においては、レリーズボタンが押下された際には、表示部90における画像表示を中止するブラックアウト動作が実行されるため、このブラックアウト動作を利用して、表示部90に表示する画像を、像倍率の防止をするために用いたクロップ画像または合成画像から、撮像素子31で撮像された画像信号に基づく撮影画像に切り替えるものである。そして、本実施形態によれば、このブラックアウト動作を利用することで、撮影者に違和感を与えることなく、表示部90に表示する画像を、像倍率の防止をするために用いたクロップ画像または合成画像から、撮像素子31で撮像された画像信号に基づく撮影画像に切り替えることができる。
本実施形態においては、フォーカスレンズ12の駆動が開始された時点(すなわち、オートフォーカス動作が開始された時点)と比較して、フォーカスレンズ12が、撮影倍率が大きくなる方向(すなわち、画角が狭くなる方向)に移動した場合には、図9(A)〜図9(C)に示すように、撮像素子31により撮像された撮像画像に、前フレーム画像のうち、周辺部分の画像を合成する処理を行ない、得られた合成画像を、表示部90に表示させる。そのため、本実施形態によれば、フォーカスレンズ12が、撮影倍率が大きくなる方向に移動した場合でも、表示部90に表示される画像の画角の変化を抑制することができ、これにより、表示部90に表示される画像を画角変化の少ない良好なものとすることができる。
加えて、本実施形態によれば、フォーカスレンズ12の駆動が開始された時点(すなわち、オートフォーカス動作が開始された時点)と比較して、フォーカスレンズ12が、撮影倍率が小さくなる方向(すなわち、画角が広くなる方向)に移動した場合には、図6(A)〜図6(C)に示すように、撮像素子31により撮像された撮影画像について、一部の領域を切り出すクロップ処理を行ない、得られたクロップ画像を、表示部90に表示させる。そのため、本実施形態によれば、フォーカスレンズ12が、撮影倍率が小さくなる方向に移動した場合でも、表示部90に表示される画像の画角の変化を抑制することができ、これにより、表示部90に表示される画像を画角変化の少ない良好なものとすることができる。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した実施形態では、静止画撮影モードにおいて、撮像素子31により撮像された撮像画像が、逐次、表示部90に表示されている場面、すなわち、ライブビュー表示が行なわれている場面を例示して説明したが、動画撮影モードが選択されており、動画撮影を行なう際においても、上述した実施例と同様な処理を行なうことももちろん可能である。
また、上述した実施形態では、フォーカスレンズ12が駆動している際において、撮像素子31のフレームレートに応じて、クロップ画像または合成画像の生成を行い、撮像素子31のフレームレートに応じて、生成したクロップ画像または合成画像を、表示部90に表示させるような構成としたが、このようなクロップ画像または合成画像を生成する処理や、クロップ画像または合成画像を表示部90に表示させる処理は、たとえば、2フレームに1度や、3フレームに1度などの間隔で、間引いて行なうような構成としてもよい。特に、レリーズボタンが押下げられた後においては、表示部90に、このような間引いた画像を表示させた場合でも、撮影者が違和感を覚える可能性が低く、そのため、これらの処理を間引いて行なうことにより、撮影者に違和感を与えることなく、演算負荷を低減することが可能となる。
また、図13(A)、図13(B)に示すように、レリーズボタンが押下され、オートフォーカス動作を行なった結果、フォーカスレンズ12のレンズ位置が、オートフォーカス動作を行なう前におけるレンズ位置P3から、異なるレンズ位置P4となった場合には、レリーズボタンが押下された際における像倍率α3と、静止画撮影を行なう際における像倍率α4が異なってしまうこととなる。そのため、本実施形態では、オートフォーカス動作を行なった結果、フォーカスレンズ12のレンズ位置が、オートフォーカス動作を行なう前におけるレンズ位置から変更となる場合には、図14(A)、図14(B)に示すように、時間t24〜t25において、ズームレンズ13を駆動させることにより、静止画撮影を行なう際における像倍率が、レリーズ時の像倍率と同じものとなるように、調整するような構成としてもよい。なお、この場合においては、たとえば、フォーカスレンズ12が、レリーズボタンが押下されたときよりも撮影倍率が大きくなる方向に移動した場合には、ズームレンズ13を撮影倍率が小さくなる方向に駆動すればよく、フォーカスレンズ12が、レリーズボタンが押下されたときよりも撮影倍率が小さくなる方向に移動した場合には、ズームレンズ13を撮影倍率が大きくなる方向に駆動すればよい。また、この際における、ズームレンズ13の駆動量は、図14(A)、図14(B)に示す例のように、撮像素子31により撮像される撮影画像の像倍率が、レリーズボタン押下時の像倍率と同じとしてもよいし、あるいは、レリーズボタン押下時の像倍率よりも小さな倍率とし、上述したステップS107と同様にして、静止画撮影により得られた撮影画像に対して、クロップ処理を行なってもよい。
また、このような撮影倍率を調整するためにズームレンズ13を駆動させる処理は、たとえば、フォーカスレンズ12のレンズ位置が、レリーズボタンが押下されたときよりも撮影倍率が大きくなる方向に移動し、その結果、主要被写体が撮影範囲内に収まらなくなった場合にのみ、行うような構成としてもよい。
なお、上述した実施形態においては、レンズ一体型のデジタルカメラ1を例示して説明したが、レンズ交換型のデジタルカメラや、携帯電話機などに内蔵される小型カメラモジュールなどにも適用することができる。