JPWO2012132486A1 - 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体 - Google Patents

撮像装置、撮像方法、プログラム、及びプログラム記憶媒体 Download PDF

Info

Publication number
JPWO2012132486A1
JPWO2012132486A1 JP2013507209A JP2013507209A JPWO2012132486A1 JP WO2012132486 A1 JPWO2012132486 A1 JP WO2012132486A1 JP 2013507209 A JP2013507209 A JP 2013507209A JP 2013507209 A JP2013507209 A JP 2013507209A JP WO2012132486 A1 JPWO2012132486 A1 JP WO2012132486A1
Authority
JP
Japan
Prior art keywords
image
main subject
focus position
reference image
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013507209A
Other languages
English (en)
Other versions
JP5484631B2 (ja
Inventor
潤也 北川
潤也 北川
田中　康一
康一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013507209A priority Critical patent/JP5484631B2/ja
Application granted granted Critical
Publication of JP5484631B2 publication Critical patent/JP5484631B2/ja
Publication of JPWO2012132486A1 publication Critical patent/JPWO2012132486A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

フォーカスブラケット撮影を行う際に、対応点検出を行い易い画像を撮影することができ、対応点検出の精度向上を図ることができる、撮像装置、撮像方法及びプログラムを提供する。撮像装置は、複数の被写体の各合焦位置を判断する自動焦点位置判断手段、主要被写体を決定する決定手段、主要被写体と非主要被写体の合焦位置の差が閾値以上である場合に、非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトさせる焦点位置シフト手段、主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて順次画像を撮影する撮影手段、主要被写体の合焦位置で撮影された画像を基準画像として基準画像と非基準画像との間で被写体の対応点を検出する検出手段、検出された対応点の位置が一致するように非基準画像を変形する画像変形手段、及び基準画像と変形された非基準画像とに基づいてぼけ調整画像を生成する画像生成手段を備える。

Description

本願は２０１１年３月３１日出願の日本出願第２０１１−０８０３９８号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
本発明は、撮像装置、撮像方法、プログラム、及びプログラム記憶媒体に関する。
近年、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の固体撮像素子の高解像度化に伴い、デジタル電子スチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant：携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮影機能を有する情報機器を「撮像装置」と称する。
従来、フォーカスブラケット撮影により焦点位置の異なる複数の画像の撮影を行い、撮影された複数の画像（フォーカスブラケット画像）に対して、対応点検出や画像変形を行い、変形後の画像を合成処理することにより、被写界深度の深い画像や被写界深度の浅い画像を生成していた（例えば、特開２００８−２７１２４０号公報、特開２００８−２７１２４１号公報等参照）。即ち、フォーカスブラケット画像から、ぼけのコントロールを行った画像や、画面全体に焦点の合った全焦点画像を得ることが行われていた。
しかしながら、フォーカスブラケット画像は互いに焦点位置が異なるものであるため、画像毎にぼけ度合いが異なる。このため画像間の相関度が低下し、対応点検出に失敗しやすい。この問題は、至近距離から被写体を撮影する「マクロ撮影」を行う場合等に顕著となる。
本発明は上記を考慮してなされたものであり、フォーカスブラケット撮影を行う際に、対応点検出を行い易い画像を撮影することができ、対応点検出の精度を向上させることができる、撮像装置、撮像方法、プログラム、及びプログラム記憶媒体を提供する。
本発明の第一の態様は、画像データに基づいて複数の被写体の各合焦位置を判断する自動焦点位置判断手段と、前記画像データに基づいて主要被写体を決定する主要被写体決定手段と、前記主要被写体の合焦位置と非主要被写体の合焦位置との差を表す物理量が第１閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト手段と、前記主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影手段と、前記主要被写体の合焦位置で撮影された画像を基準画像として、前記基準画像と前記基準画像以外の非基準画像との間で被写体の対応点を検出する対応点検出手段と、前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形手段と、前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成手段と、を備えた撮像装置である。
第一の態様において、前記非主要被写体に対する焦点位置をシフトさせるシフト量は、前記差を表す物理量が第１閾値を超えないように設定されてもよい。
第一の態様において、前記差を表す物理量は、前記主要被写体の合焦位置と非主要被写体の合焦位置との間の光軸上の距離、前記画像データで表される画像内で選択された選択領域の鮮鋭度差、及び前記画像データで表される画像内で選択された選択領域の周波数成分の変化の少なくとも１つであってよい。
第一の態様において、前記画像生成手段は、前記基準画像と前記変形された前記非基準画像とに基づいて前記基準画像をぼかすためのフィルタ特性を画素毎に算出するフィルタ特性決定手段と、画素毎に算出されたフィルタ特性に基づいて前記基準画像にフィルタ処理を行うフィルタ処理手段と、を含んでいてもよい。
第一の態様において、前記対応点の検出を行う前に、前記基準画像及び前記非基準画像の少なくとも一方に、前記基準画像及び前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段を更に備えていてもよい。
本発明の第二の態様は、画像データに基づいて複数の被写体の各合焦位置を判断する自動焦点位置判断工程と、前記画像データに基づいて主要被写体を決定する主要被写体決定工程と、前記主要被写体の合焦位置と非主要被写体の合焦位置との差を表す物理量が第１閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト工程と、前記主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影工程と、前記主要被写体の合焦位置で撮影された画像を基準画像として、前記基準画像と前記基準画像以外の非基準画像との間で被写体の対応点を検出する対応点検出工程と、前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形工程と、前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成工程と、を備えた撮像方法である。
本発明の第三の態様は、コンピュータを、画像データに基づいて複数の被写体の各合焦位置を判断する自動焦点位置判断手段、前記画像データに基づいて主要被写体を決定する主要被写体決定手段、前記主要被写体の合焦位置と非主要被写体の合焦位置との差を表す物理量が第１閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト手段、前記主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影手段、前記主要被写体の合焦位置で撮影された画像を基準画像として、前記基準画像と前記基準画像以外の非基準画像との間で被写体の対応点を検出する対応点検出手段、前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形手段、前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成手段、として機能させるためのプログラムである。
本発明の第四の態様は、コンピュータに撮像処理を実行させるプログラムを記憶したコンピュータ可読記憶媒体であって、前記撮像処理が、画像データに基づいて複数の被写体の各合焦位置を判断する自動焦点位置判断工程と、前記画像データに基づいて主要被写体を決定する主要被写体決定工程と、前記主要被写体の合焦位置と非主要被写体の合焦位置との差を表す物理量が第１閾値を超える場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト工程と、前記主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影工程と、前記主要被写体の合焦位置で撮影された画像を基準画像として、前記基準画像と前記基準画像以外の非基準画像との間で被写体の対応点を検出する対応点検出工程と、前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形工程と、前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成工程と、を含む。
本発明の第五の態様は、画像データに基づいて複数の被写体の各焦点位置を判断する自動焦点位置判断手段と、前記画像データに基づいて主要被写体を決定する主要被写体決定手段と、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第２閾値を超える場合に、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影すると判断する追加撮影判断手段と、前記主要被写体の合焦位置、前記非主要被写体の合焦位置、及び中間焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影手段と、前記主要被写体の合焦位置で撮影された画像を基準画像とし、前記中間焦点位置で撮影された画像を中間画像とし、前記非主要被写体の合焦位置で撮影された画像を非基準画像として、前記基準画像と前記基準画像に隣接する中間画像とから開始し且つ前記中間画像と前記中間画像に隣接する非基準画像とで終了するように、互いに隣接する画像間で被写体の対応点を検出する対応点検出手段と、前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形手段と、前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成手段と、を備えた撮像装置である。
第五の態様において、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第３閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト手段を更に備え、前記フォーカスブラケット撮影手段は、更に非主要被写体のシフト後の焦点位置に基づいて画像を撮影してもよい。
第五の態様において、前記非主要被写体に対する焦点位置をシフトさせるシフト量は、前記差を表す物理量が第３閾値を超えないように設定されてもよい。
第五の態様において、前記差を表す物理量は、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間の光軸上の距離、前記画像データで表される画像内で選択された選択領域の鮮鋭度差、及び前記画像データで表される画像内で選択された選択領域の周波数成分の変化の少なくとも１つであってもよい。
本発明の第六の態様は、画像データに基づいて複数の被写体の各焦点位置を判断する自動焦点位置判断工程と、前記画像データに基づいて主要被写体を決定する主要被写体決定工程と、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第２閾値を超える場合に、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影すると判断する追加撮影判断工程と、前記主要被写体の合焦位置、前記非主要被写体の合焦位置、及び中間焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影工程と、前記主要被写体の合焦位置で撮影された画像を基準画像とし、前記中間焦点位置で撮影された画像を中間画像とし、前記非主要被写体の合焦位置で撮影された画像を非基準画像として、前記基準画像と前記基準画像に隣接する中間画像とから開始し且つ前記中間画像と前記中間画像に隣接する非基準画像とで終了するように、互いに隣接する画像間で被写体の対応点を検出する対応点検出工程と、前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形工程と、前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成工程と、を含む、撮像方法である。
本発明の第七の態様は、コンピュータを、画像データに基づいて複数の被写体の各焦点位置を判断する自動焦点位置判断手段、前記画像データに基づいて主要被写体を決定する主要被写体決定手段、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第２閾値を超える場合に、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影すると判断する追加撮影判断手段、前記主要被写体の合焦位置、前記非主要被写体の合焦位置、及び中間焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影手段、前記主要被写体の合焦位置で撮影された画像を基準画像とし、前記中間焦点位置で撮影された画像を中間画像とし、前記非主要被写体の合焦位置で撮影された画像を非基準画像として、前記基準画像と前記基準画像に隣接する中間画像とから開始し且つ前記中間画像と前記中間画像に隣接する非基準画像とで終了するように、互いに隣接する画像間で被写体の対応点を検出する対応点検出手段、前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形手段、前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成手段、として機能させるためのプログラムである。
本発明の第八の態様は、コンピュータに撮像処理を実行させるプログラムを記憶したコンピュータ可読記憶媒体であって、前記撮像処理が、画像データに基づいて複数の被写体の各焦点位置を判断する自動焦点位置判断工程と、前記画像データに基づいて主要被写体を決定する主要被写体決定工程と、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第２閾値を超える場合に、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影すると判断する追加撮影判断工程と、前記主要被写体の合焦位置、前記非主要被写体の合焦位置、及び中間焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影工程と、前記主要被写体の合焦位置で撮影された画像を基準画像とし、前記中間焦点位置で撮影された画像を中間画像とし、前記非主要被写体の合焦位置で撮影された画像を非基準画像として、前記基準画像と前記基準画像に隣接する中間画像とから開始し且つ前記中間画像と前記中間画像に隣接する非基準画像とで終了するように、互いに隣接する画像間で被写体の対応点を検出する対応点検出工程と、前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形工程と、前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成工程と、を含む。
本発明によれば、フォーカスブラケット撮影を行う際に、対応点検出を行い易い画像を撮影することができ、従来のフォーカスブラケット撮影に比べて、対応点検出の精度向上を図ることができる。
本発明の第１の実施の形態に係るデジタルカメラの電気系の要部構成の一例を示すブロック図である。 （Ａ）及び（Ｂ）は、第１の実施の形態に係るフォーカスブラケット撮影の動作を説明するための模式図である。 第１の実施の形態に係るフォーカスブラケット撮影で対応点検出が容易化する理由を説明するための模式図である。 第１の実施の形態に係る第１撮影処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係る閾値設定方法を説明する模式図である。 第２の実施の形態に係る第２撮影処理プログラムの処理の流れを示すフローチャートである。 第３の実施の形態に係る閾値設定方法を説明する模式図である。 第３の実施の形態に係る第３撮影処理プログラムの処理の流れを示すフローチャートである。 第４の実施の形態に係る第４撮影処理プログラムの処理内容を説明するための模式図である。 第４の実施の形態に係る第４撮影処理プログラムの処理の流れを示すフローチャートである。 （Ａ）及び（Ｂ）は第４の実施の形態に係るデジタルカメラにおけるぼかし量の決定手順を説明するための概略図である。 第５の実施の形態に係るフォーカスブラケット撮影の原理を説明するための模式図である。 第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。 第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。 第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。 第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。 第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。
以下、図面を参照して、本発明を実施するための形態について詳細に説明する。なお、ここでは、本発明を、静止画像の撮影を行うデジタル電子スチルカメラ（以下、「デジタルカメラ」という。）に適用した場合について説明する。
［第１の実施の形態］
（デジタルカメラの要部構成）
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。図１に示すように、本実施の形態に係るデジタルカメラ１０は、被写体の画像を撮影する撮像系２０を含んで構成されている。撮像系２０は、被写体像を結像させるためのレンズを含んで構成された光学ユニット２２、当該レンズの光軸後方に配設された固体撮像素子２４、及び入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６を含んで構成されている。
また、撮像系２０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８、及び入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０を含んで構成されている。なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。
固体撮像素子２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、固体撮像素子２４から出力された被写体像を示すアナログ信号は、アナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。
更に、撮像系２０は、タイミングジェネレータ３２とモータ駆動部３４とを含んで構成されている。タイミングジェネレータ３２は、主として固体撮像素子２４を駆動させるためのタイミング信号（パルス信号）を生成して固体撮像素子２４に供給する。固体撮像素子２４の駆動は、後述するＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。モータ駆動部３４は、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ、及び絞り駆動モータを駆動する。これら各モータの駆動は、ＣＰＵ４０によりモータ駆動部３４を介して制御される。
本実施の形態に係る光学ユニット２２は、複数枚のレンズを有しており、焦点距離の変更（変倍）が可能なズームレンズ系として構成されている。ズームレンズ系の各レンズは、図示しないレンズ駆動機構により各々独立に駆動されている。このレンズ駆動機構には、上記焦点調整モータ、ズームモータ、及び絞り駆動モータが含まれている。上述した通り、これら各モータは、各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動されて、焦点位置をシフトさせる。
また、デジタルカメラ１０は、撮影された被写体像やメニュー画面等を表示する液晶ディスプレイ（以下、「ＬＣＤ」という。）３８、当該被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０、撮影により得られたデジタル画像データ等を一時的に記憶するメモリ４８、及びメモリ４８に対するアクセスの制御を行うメモリインタフェース４６を含んで構成されている。
また、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０、及びデジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路５４を含んで構成されている。例えば、メモリ４８としてフラッシュ・メモリ（Flash Memory）等を用いることができるが、これに限定されるものではない。また、メモリカード５２としてｘＤピクチャ・カード（登録商標）等を用いることができるが、これに限定されるものではない。
デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、及び圧縮・伸張処理回路５４は、システムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８及びメモリカード５２へのメモリインタフェース４６ないし外部メモリインタフェース５０を介したアクセスを各々行うことができる。
更に、デジタルカメラ１０は、各種スイッチ類を含んで構成された操作部５６を備えている。上記の操作部５６はＣＰＵ４０に接続されている。従って、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握することができる。
各種スイッチとしては、撮影を実行する際に押圧操作されるレリーズスイッチ（所謂シャッタースイッチ）、デジタルカメラ１０の電源のオン／オフを切り替える際に操作される電源スイッチ、撮影を行うモードである撮影モード及び被写体像をＬＣＤ３８に再生するモードである再生モードの何れかのモードに設定する際に操作されるモード切替スイッチ、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチ、それまでの操作内容を確定するときに押圧操作される決定スイッチ、直前の操作内容をキャンセルするときに押圧操作されるキャンセルスイッチ等がある。
なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。
そして、デジタルカメラ１０では、レリーズスイッチを半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。
また、デジタルカメラ１０には、撮影時に必要に応じて被写体に照射する光を発するストロボ４４、及びストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２が備えられている。さらに、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。
本実施の形態に係るデジタルカメラ１０には、離散的に焦点位置を移動して順次画像を撮影することにより、少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像に基づいて主要被写体の領域（以下、「主要被写体領域」という。）を除く領域（以下、「非主要被写体領域」という。）のぼけの度合が調整されたぼけ調整画像を生成して記録するフォーカスブラケット撮影機能が搭載されている。
ここで、本実施の形態に係るデジタルカメラ１０では、ユーザによって操作部５６を介してフォーカスブラケット撮影機能を働かせることが設定された場合にのみ、上記のフォーカスブラケット撮影が行われ、上記ぼけ調整画像が生成されてメモリカード５２に記録される。
（フォーカスブラケット撮影の動作）
次に、図２（Ａ）及び（Ｂ）を参照して、本実施の形態に係るフォーカスブラケット撮影の動作について説明する。従来のフォーカスブラケット撮影では、主要被写体ＭＯ（例えば、人物等）と非主要被写体ＳＯ（例えば、背景等）の各々に合焦していたために、マクロモードなどで撮影した際に、ぼけ度合いの差が大きくなり過ぎて対応点検出に失敗してしまう場合があった。
図２（Ａ）及び（Ｂ）に示すように、本実施の形態のフォーカスブラケット撮影では、１枚は主要被写体ＭＯを合焦位置で撮影し、他の１枚は非主要被写体ＳＯに対する焦点位置を非主要被写体ＳＯの合焦位置から主要被写体側へシフトさせて撮影する。即ち、主要被写体ＭＯはピントを合わせて撮影し、非主要被写体ＳＯはピントをずらして撮影する。なお、本実施の形態では、光学ユニット２２のズームレンズ系の各レンズが移動されて、非主要被写体ＳＯに対する焦点位置がシフトする（図１参照）。
ここで、図３を参照して、上記のフォーカスブラケット撮影で対応点検出が容易化する理由について説明する。主要被写体ＭＯの合焦位置で撮影された画像を基準画像６０Ｍとする。基準画像６０Ｍでは、主要被写体ＭＯに合焦しているため、主要被写体ＭＯのぼけ度合いは小さく、非主要被写体ＳＯのぼけ度合いは大きい。一方、非主要被写体ＳＯの合焦位置で撮影された画像を対象画像６０Ｓとする。対象画像６０Ｓでは、非主要被写体ＳＯに合焦しているため、非主要被写体ＳＯのぼけ度合いは小さく、主要被写体ＭＯのぼけ度合いは大きい。このように、ぼけ度合いの差が大き過ぎると、対応点検出に失敗してしまう場合がある。
本実施の形態では、各ズームエリアで主要被写体ＭＯの合焦位置と非主要被写体ＳＯの合焦位置との差に閾値を設けて、この閾値以上となるシーンを撮影する場合には非主要被写体ＳＯに対する焦点位置を合焦位置から主要被写体ＭＯ側にシフトするようにする。非主要被写体ＳＯのシフト後の焦点位置で撮影された画像を非基準画像６０ＰＳとする。非基準画像６０ＰＳは、対象画像６０Ｓと比較すると、基準画像６０Ｍとのぼけ度合いの差が小さく対応点検出を行い易い。基準画像６０Ｍとの間で対応点の位置が一致するように非基準画像６０ＰＳを変形して、変形画像６０Ａを容易に得ることができる。
また、本実施の形態では、主要被写体ＭＯの合焦位置と非主要被写体ＳＯの合焦位置との差を表す物理量は「光軸上の距離」であり、その閾値として「主要被写体の焦点深度の倍数」が用いられる。焦点深度とは、結像面から像のぼけが許容できる面までの光軸上の距離である。主要被写体ＭＯの合焦位置と非主要被写体ＳＯの合焦位置との間の光軸上の距離に対する閾値は、主要被写体ＭＯの焦点深度のｘ倍、ｙ倍（例えば、２倍、３倍等）とされる。合焦位置間の光軸上の距離に対する閾値は、対応点検出に成功するか、失敗するかを分ける限界距離に応じて設定される。限界距離か否かは、例えば、経験則に基づいて判断することができる。また、非主要被写体ＳＯに対する焦点位置をシフトさせるシフト量は、合焦位置間の光軸上の距離が閾値を超えないように設定される。
（第１撮影処理の処理ルーチン）
次に、図４を参照して、本実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図４は、操作部５６のレリーズスイッチが半押し状態を経て全押し状態に移行した際に、デジタルカメラ１０のＣＰＵ４０によって実行される第１撮影処理プログラムの処理の流れを示すフローチャートである。ＣＰＵ４０が後述の各ステップを実行することにより、デジタルカメラ１０の各機能部が実現される。当該プログラムはメモリ４８の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
まず、ステップ１０１で、複数の被写体に対して自動合焦位置判断（ＡＦ）を行い、主要被写体の合焦位置及び非主要被写体の合焦位置を含む、各撮影位置の焦点位置が決定される（自動焦点位置判断部、主要被写体決定部に対応）。本実施の形態では、フォーカスブラケット撮影の際に設定される焦点位置には、主要被写体の合焦位置と非主要被写体のシフト後の焦点位置とが含まれる。例えば、後述する通り撮影枚数が３枚の場合には、主要被写体の合焦位置Ｆ１、第１の非主要被写体のシフト後の焦点位置Ｆ２、及び第２の非主要被写体のシフト後の焦点位置Ｆ３の計３点をフォーカスブラケット撮影の際の焦点位置とすることができる。また、設定される焦点位置は、その前後の焦点位置を含んでいてもよい。
次に、ステップ１０３で、撮影枚数が予め定められた枚数か否かを判定する。本実施の形態では、予め定められた撮影枚数は２枚であり、否定判定の場合は３枚撮影する。ステップ１０３で肯定判定の場合はステップ１０５に進み、否定判定の場合はステップ１１７に進む。ステップ１０５では、主要被写体の合焦位置と非主要被写体の合焦位置との間の光軸上の距離（以下、「合焦位置間の差」という。）が、主要被写体の焦点深度のｘ倍未満か否かを判定する。
合焦位置間の差が焦点深度のｘ倍以上の場合には、ステップ１０５で否定判定してステップ１０７に進む。ステップ１０７では、非主要被写体に対する焦点位置が、当該非主要被写体の合焦位置から主要被写体の焦点深度のｘ倍となる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。合焦位置間の差が焦点深度のｘ倍未満の場合には、ステップ１０５で肯定判定してステップ１０９に進む。ステップ１０９では、後述する通り、設定された焦点位置においてフォーカスブラケット撮影が行われる（フォーカスブラケット撮影部に対応）。
本実施の形態では、ステップ１０３で否定判定されると撮影枚数は３枚になる。撮影枚数が３枚の場合は、主要被写体の画像が何枚目の画像かにより焦点位置をシフトする画像群が異なる。ステップ１１７では、主要被写体の画像が１枚目か否かを判定する。ステップ１１７で肯定判定の場合はステップ１１９に進み、否定判定の場合はステップ１２７に進む。ステップ１１９では、主要被写体（１枚目）の合焦位置と非主要被写体（２枚目）の合焦位置との差が、主要被写体（１枚目）の焦点深度のｘ倍未満か否かを判定する。
合焦位置間の差が焦点深度のｘ倍以上の場合には、ステップ１１９で否定判定してステップ１２１に進む。ステップ１２１では、非主要被写体（２枚目）に対する焦点位置が、当該非主要被写体の合焦位置から主要被写体（１枚目）の焦点深度のｘ倍となる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体（２枚目）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。合焦位置間の差が焦点深度のｘ倍未満の場合には、ステップ１１９で肯定判定してステップ１２３に進む。
ステップ１２３では、主要被写体（１枚目）の合焦位置と非主要被写体（３枚目）の合焦位置との差が、主要被写体（１枚目）の焦点深度のｙ倍（ｙ＞ｘ）未満か否かを判定する。合焦位置間の差が焦点深度のｙ倍以上の場合には、ステップ１２３で否定判定してステップ１２５に進む。ステップ１２５では、非主要被写体（３枚目）に対する焦点位置が、当該非主要被写体の合焦位置から主要被写体（１枚目）の焦点深度のｙ倍となる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体（３枚目）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。
ステップ１２１の処理に続いてステップ１２５の処理が実行されて、ステップ１０９に進む。また、焦点位置間の差が焦点深度のｙ倍未満の場合には、ステップ１２３で肯定判定してステップ１０９に進む。ステップ１０９では、後述する通り、設定された焦点位置においてフォーカスブラケット撮影が行われる。
ステップ１２７では、主要被写体の画像が２枚目か否かを判定する。ステップ１２７で肯定判定の場合はステップ１２９に進み、否定判定の場合は主要被写体の画像は３枚目であるからステップ１３７に進む。ステップ１２９では、主要被写体（２枚目）の合焦位置と非主要被写体（１枚目）の合焦位置との差が、主要被写体（２枚目）の焦点深度のｘ倍未満か否かを判定する。
合焦位置間の差が焦点深度のｘ倍以上の場合には、ステップ１２９で否定判定してステップ１３１に進む。ステップ１３１では、非主要被写体（１枚目）に対する焦点位置が、当該非主要被写体の合焦位置から主要被写体（２枚目）の焦点深度のｘ倍となる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体（１枚目）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。合焦位置間の差が焦点深度のｘ倍未満の場合には、ステップ１２９で肯定判定してステップ１３３に進む。
ステップ１３３では、主要被写体（２枚目）の合焦位置と非主要被写体（３枚目）の合焦位置との差が、主要被写体（２枚目）の焦点深度のｙ倍未満か否かを判定する。合焦位置間の差が焦点深度のｙ倍以上の場合には、ステップ１３３で否定判定してステップ１３５に進む。ステップ１３５では、非主要被写体（３枚目）に対する焦点位置が、当該非主要被写体の合焦位置から主要被写体（２枚目）の焦点深度のｙ倍となる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体（３枚目）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。
ステップ１３５の処理が実行されて、ステップ１０９に進む。また、合焦位置間の差が焦点深度のｙ倍未満の場合には、ステップ１３３で肯定判定してステップ１０９に進む。ステップ１０９では、後述する通り、設定された焦点位置においてフォーカスブラケット撮影が行われる。
ステップ１３７では、主要被写体（３枚目）の合焦位置と非主要被写体（２枚目）の合焦位置との差が、主要被写体（３枚目）の焦点深度のｘ倍未満か否かを判定する。合焦位置間の差が焦点深度のｘ倍以上の場合には、ステップ１３７で否定判定してステップ１３９に進む。ステップ１３９では、非主要被写体（２枚目）に対する焦点位置が、当該非主要被写体の合焦位置から主要被写体（３枚目）の焦点深度のｘ倍となる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体（２枚目）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。合焦位置間の差が焦点深度のｘ倍未満の場合には、ステップ１３７で肯定判定してステップ１４１に進む。
ステップ１４１では、主要被写体（３枚目）の合焦位置と非主要被写体（１枚目）の合焦位置との差が、主要被写体（３枚目）の焦点深度のｙ倍未満か否かを判定する。合焦位置間の差が焦点深度のｙ倍以上の場合には、ステップ１４１で否定判定してステップ１４３に進む。ステップ１４３では、非主要被写体（１枚目）に対する焦点位置が、当該非主要被写体の合焦位置から主要被写体（３枚目）の焦点深度のｙ倍となる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体（１枚目）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。
ステップ１３９の処理に続いてステップ１４３の処理が実行されて、ステップ１０９に進む。また、合焦位置間の差が焦点深度のｘ倍未満の場合には、ステップ１４１で肯定判定してステップ１０９に進む。ステップ１０９では、後述する通り、設定された焦点位置においてフォーカスブラケット撮影が行われる。
次に、ステップ１０９で、設定された焦点位置においてフォーカスブラケット撮影が行われ、これにより得られた撮影画像がメモリ４８の所定領域に格納される。なお、本実施の形態では、光学ユニット２２のズームレンズ系の各レンズが、図示しないレンズ駆動機構により駆動されている。レンズ駆動機構に含まれる各モータは、ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動されて、設定された焦点位置で撮影が行われるように焦点位置が制御される（図１参照）。
次のステップ１１１では、以上の処理によって得られた撮影画像のうち、主要被写体に合焦されている画像を基準画像とし、当該基準画像を除く画像を非基準画像として、基準画像と非基準画像との間で対応点の検出を行う（対応点検出部に対応）。本実施の形態では、主要被写体の合焦位置と非主要被写体の合焦位置との差に閾値を設けて、この閾値以上となる場合には非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトするので、基準画像と非基準画像とのぼけ度合いの差が小さく対応点検出を行い易い。
なお、図３では説明の便宜上、非主要被写体のシフト後の焦点位置で撮影された画像を「非基準画像６０ＰＳ」とすると説明したが、非主要被写体のシフトしていない焦点位置で撮影された画像も非基準画像である。
以下、当該対応点の検出手順について説明する。対応点検出は、複数画像間で対応する点の位置関係を求めるものである。例えば、基準画像から特徴点を抽出し、その特徴点が非基準画像（追跡画像）のどの位置に移動したかを追跡することにより、対応点の検出を行う。特徴点の抽出の手法としては、従来公知の種々の手法を用いることができる。例えば、ある点を中心とする所定領域内の輝度の標準偏差が所定値以上の場合に、その点を特徴点として抽出することができる。特徴点が多い方が以後の処理を精度よく行うことができるが、特徴点が多くなると処理負荷が増大するため、特徴点の数はハード性能から適宜決めればよい。
次に、ＣＰＵ４０は、非基準画像の何れか１つを追跡画像として選択し、当該追跡画像において、基準画像から抽出された特徴点の１つを選択して、この特徴点がどの位置へ移動したかを追跡する。追跡の手法としては、従来公知の種々の手法を用いることができる。例えば、ある点を中心とする所定領域内の相互相関係数が最小となるような座標を見つける手法（ブロックマッチング法）を用いて追跡を行うことができる。以上の基準画像における特徴点の追跡を全ての非基準画像について実行することにより、対応点の検出処理が終了する。
次のステップ１１３では、上記ステップ１１１の処理によって得られた対応する非基準画像の対応点の位置が基準画像の対応点の位置に極力一致するように、非基準画像に対して画像の変形を行う（画像変形部に対応）。なお、本実施の形態に係るデジタルカメラ１０では、当該画像の変形を、非基準画像に対する平行移動、回転移動、縮小・拡大処理により行う。これらの画像変形は、複数組の対応点の距離の総和が最小となるように移動ベクトルを決めればよい。なお、これらの平行移動、回転移動、及び拡大・縮小処理は、アフィン変換により行う。
また、基準画像と非基準画像との間に複雑な動きが生じている場合は、全ての対応点をより精度よく一致させるためにはワーピングを行う。ワーピングは、全ての対応点の組を完全に一致するような移動ベクトルを選択すると共に、その周囲の点も補間により求めるものである。
次のステップ１１５で、ぼかし量を算出してぼけ強調処理等のぼかし処理を行う（画像生成部に対応）。なお、得られたぼけ調整画像は、外部メモリインタフェース５０を介してメモリカード５２に記録し、その後に本第１撮影処理プログラムを終了する。
以下では、ぼかし量の算出手順及びぼかし処理について説明する。まず、ＣＰＵ４０は、基準画像及び非基準画像の各々について、各画素の鮮鋭度を算出する（フィルタ特性決定部に相当）。鮮鋭度の算出については、ラプラシアンフィルタ処理による出力値の絶対値を算出することにより行う。ラプラシアンフィルタ処理を行うことによりエッジ検出をすることができ、この出力値の絶対値が鮮鋭度を示す。画像のぼけと鮮鋭度に関しては、画像のぼけが小さい画素ほど鮮鋭度が高く、ぼけが大きくなるほど鮮鋭度が低くなるという関係がある。なお、ラプラシアンフィルタのカーネルはこの例に限定されるものではなく、またラプラシアンフィルタ以外の鮮鋭度算出フィルタを用いてもよい。
次に、ＣＰＵ４０は、画素毎に、算出した鮮鋭度の最大値をｎとし、基準画像の鮮鋭度をｃとして、次の（８）式によりぼかし量ｋを算出する。
ｋ＝ｕ×（ｎ−ｃ） 式（８）
ここで、ｕはユーザが指定したぼけ強調度合いであり、ｕが１．０よりも大きければ基準設定よりもぼけが強調され、ｕが１．０未満の場合は基準設定よりもぼけが緩和される画像となる。なお、ぼけ強調度合いｕは、ユーザが操作部５６を操作することにより設定が可能となっている。また、本実施の形態では、ｃ＝３である。
次に、算出されたぼかし量を用いてぼかし処理を行う（フィルタ処理部に相当）。本実施の形態に係るデジタルカメラ１０では、ぼかし処理にガウシアンフィルタを用いる。まず、ＣＰＵ４０は、得られたぼかし量ｋから何れかの画素に対応するぼかし量を選択し、ぼかし量の絶対値｜ｋ｜と所定の閾値Ｔｈとの比較を行う。所定の閾値Ｔｈの方が大きい場合は、この画素を合焦領域とみなして被写体の合焦位置Ｆ３で撮影した画素値を出力する。ぼかし量の絶対値｜ｋ｜の方が大きい場合は、この画素をぼけ強調すべき領域とみなしてフィルタ係数を決定する。
前述したように、本実施の形態に係るデジタルカメラ１０では、このフィルタ処理にガウシアンフィルタを用いる。ぼかし量の絶対値｜ｋ｜が所定の閾値Ｔｈ以上のとき、ぼかし量の絶対値｜ｋ｜と比例関係にあるガウシアンフィルタのσパラメータが求められ、このσパラメータに応じたガウシアンフィルタ係数ｆ（ｘ）を決定する。ＣＰＵ４０は、メモリ４８の所定領域に記憶されたこの関係に基づいてσパラメータを決定する。
ガウシアンフィルタはσパラメータが大きいほど周辺画素の重みを大きくして加重平均をとる。従って、ぼかし量の絶対値｜ｋ｜の大きさに応じてσパラメータを大きくすることにより、ぼかし量の絶対値｜ｋ｜が大きいほど平滑化の度合いを大きくすることができる。このように求められたσパラメータからフィルタ係数ｆ（ｘ）を算出し、算出されたフィルタ係数の総和が１になるように正規化を行う。
以上のような、ぼかし量に応じたフィルタ処理を全ての画素について行うことにより、主要被写体の領域を除く領域のぼけの度合が調整された、ぼけ調整画像が生成される。このように、主要被写体の合焦位置で撮影された基準画像に対してフィルタ処理を行うことにより、より自然なぼけ強調が可能となる。なお、このフィルタ処理に用いるフィルタはガウシアンフィルタに限られるものではなく、ローパスフィルタなら他のフィルタでも構わない。例えば、絞りやレンズの特性に応じたぼけ形状を持ったフィルタを用いてもよい。
以上説明したように、本実施の形態によれば、主要被写体の合焦位置と非主要被写体の合焦位置との差に閾値を設けて、この閾値以上となる場合には非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトさせて非基準画像を取得するので、基準画像と非基準画像とのぼけ度合いの差が小さくなる。従って、ぼけ度合いの差が大き過ぎる場合であっても、焦点位置を変えずに非基準画像を撮影する従来のフォーカスブラケット撮影に比べて、対応点検出を行い易い画像を撮影することができ、対応点検出の精度向上を図ることができる。
特に、対応点検出の失敗が多い、ぼけ度合いの差が大きいシーン(マクロシーンや高倍率ズームシーン)でも、適切に対応点検出を行うことができ、ぼかし効果を発揮できるようになる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について詳細に説明する。第２の実施の形態は、合焦位置間の差が閾値以上か否かを判断する基準を変更した以外は、第１の実施の形態に係るデジタルカメラ１０と同様であるため、同じ部分については説明を省略する。なお、本第２の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
（フォーカスブラケット撮影の動作）
次に、本実施の形態に係るフォーカスブラケット撮影の動作について説明する。本実施の形態のフォーカスブラケット撮影では、第１の実施の形態と同様に、１枚は主要被写体ＭＯの合焦位置で撮影し、他の１枚は非主要被写体ＳＯに対する焦点位置を非主要被写体ＳＯの合焦位置から主要被写体側へシフトさせて撮影する。即ち、主要被写体ＭＯはピントを合わせて撮影し、非主要被写体ＳＯはピントをずらして撮影する。また、第１の実施の形態と同様に、主要被写体ＭＯの合焦位置と非主要被写体ＳＯの合焦位置との差に閾値を設けて、この閾値以上となるシーンを撮影する場合には非主要被写体ＳＯに対する焦点位置を合焦位置から主要被写体ＭＯ側にシフトするようにする。
ここで、図５を参照して、上記のフォーカスブラケット撮影で対応点検出が容易化する理由について説明する。主要被写体ＭＯの合焦位置で撮影された画像を基準画像６０Ｍでは、主要被写体ＭＯのぼけ度合いは小さく、非主要被写体ＳＯのぼけ度合いは大きい。一方、非主要被写体ＳＯの合焦位置で撮影された画像を対象画像６０Ｓでは、非主要被写体ＳＯのぼけ度合いは小さく、主要被写体ＭＯのぼけ度合いは大きい。
本実施の形態では、合焦位置間の差を表す物理量は「画像内で選択された選択領域の鮮鋭度差」であり、その閾値として「基準画像における主要被写体の鮮鋭度と非基準画像における主要被写体の鮮鋭度との差（選択領域の鮮鋭度差）」が用いられる。鮮鋭度とは、カメラの解像力を意味する。コントラストの再現性などを物理的に精密に測定することで、鮮鋭度が評価される。鮮鋭度の評価値としては、例えばＡＦ評価値等のコントラスト評価値を使用することができる。
図５に示すように、基準画像６０Ｍと対象画像６０Ｓとに関し鮮鋭度を分析するエリアを選択する。このとき、例えば、主要被写体ＭＯの一部等、基準画像６０Ｍ内で鮮鋭度が最も高いエリアを共通の分析エリアとして選択する。以下、選択された分析エリアを「選択領域」という。選択領域の鮮鋭度差に閾値を設けて、鮮鋭度分析を行った結果、選択領域の鮮鋭度差が閾値ｘ以上となる場合には、非主要被写体ＳＯに対する焦点位置を合焦位置から主要被写体ＭＯ側にシフトするようにする。なお、第１の実施の形態と同様に、撮影枚数が３枚以上となる場合には、閾値ｘ、閾値ｙというように複数の閾値が設定される。
選択領域の鮮鋭度差に対する閾値は、対応点検出に成功するか、失敗するかを分ける限界に応じて設定される。例えば、鮮鋭度の評価値として「ＡＦ評価値」を使用する場合には、経験則に従って閾値となる「ＡＦ評価値の差」を設定することができる。また、非主要被写体ＳＯに対する焦点位置をシフトさせるシフト量は、選択領域の鮮鋭度差が閾値を超えないように設定される。
非主要被写体ＳＯのシフト後の焦点位置で撮影された非基準画像６０ＰＳでは、対象画像６０Ｓと比較すると、選択領域の鮮鋭度差が小さくなっている。換言すれば、非基準画像６０ＰＳは、対象画像６０Ｓと比較すると、基準画像６０Ｍとのぼけ度合いの差が小さく対応点検出を行い易い。従って、基準画像６０Ｍとの間で対応点の位置が一致するように非基準画像６０ＰＳを変形して、変形画像を容易に得ることができる。
（第２撮影処理の処理ルーチン）
次に、図６を参照して、本実施の形態に係るデジタルカメラ１０の作用を説明する。図６は、操作部５６のレリーズスイッチが半押し状態を経て全押し状態に移行した際に、デジタルカメラ１０のＣＰＵ４０によって実行される第２撮影処理プログラムの処理の流れを示すフローチャートである。当該プログラムはメモリ４８の所定領域に予め記憶されている。また、第１の実施の形態と同様に、ユーザによってフォーカスブラケット撮影機能が設定されている。
なお、図６に示す第２撮影処理の処理ルーチンは、図４のステップ１０５、１０７及び１０９、ステップ１１９、１２１及び１０９、ステップ１２３、１２５及び１０９等、「主要被写体の合焦位置と非主要被写体の合焦位置との差が主要被写体の焦点深度のｘ倍（又はｙ倍）未満か否かを判定する工程」、「合焦位置間の差が焦点深度のｘ倍（又はｙ倍）以上の場合に、非主要被写体に対する焦点位置を当該非主要被写体の合焦位置から主要被写体の焦点深度のｘ倍（又はｙ倍）となる地点までシフトする工程」、「設定された焦点位置においてフォーカスブラケット撮影を行う工程」に代えて実行される。
まず、ステップ２０１で、基準画像と非基準画像（対象画像）とに共通する分析エリアとして、鮮鋭度分析エリア（選択領域）を決定する。次に、ステップ２０３で、選択領域内の鮮鋭度を評価し、「基準画像における主要被写体の鮮鋭度と非基準画像における主要被写体の鮮鋭度との差」、即ち、選択領域の鮮鋭度差が閾値ｘ以上か否かを判定する。選択領域の鮮鋭度差がｘ以上の場合には、ステップ２０３で肯定判定してステップ２０５に進む。
ステップ２０５では、非主要被写体の焦点位置が、当該非主要被写体の合焦位置から選択領域の鮮鋭度差がｘとなる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。続くステップ２０７では、設定された焦点位置においてフォーカスブラケット撮影が行われて、第２撮影処理プログラムを終了する。一方、選択領域の鮮鋭度差が閾値ｘ未満の場合には、ステップ２０３で否定判定してステップ２０７に進み、ステップ２０７でフォーカスブラケット撮影が行われて（フォーカスブラケット撮影部に対応）、第２撮影処理プログラムを終了する。
以上説明したように、本実施の形態によれば、選択領域の鮮鋭度差に閾値を設けて、この閾値以上となる場合には非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトさせて非基準画像を取得するので、選択領域の鮮鋭度差、即ち、基準画像と非基準画像とのぼけ度合いの差が小さくなる。従って、従来のフォーカスブラケット撮影に比べて、対応点検出を行い易い画像を撮影することができ、対応点検出の精度向上を図ることができる。特に、ぼけ度合いの差が大きいシーンでも、適切に対応点検出を行うことができ、ぼかし効果を発揮できるようになる。
また、鮮鋭度の評価値としてＡＦ評価値等のコントラスト評価値を使用することで、機差による影響を受け難くなる。
［第３の実施の形態］
次に、本発明の第３の実施の形態について詳細に説明する。第３の実施の形態は、合焦位置間の差が閾値以上か否かを判断する基準を変更した以外は、第１の実施の形態に係るデジタルカメラ１０と同様であるため、同じ部分については説明を省略する。なお、本第２の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
（フォーカスブラケット撮影の動作）
次に、本実施の形態に係るフォーカスブラケット撮影の動作について説明する。本実施の形態のフォーカスブラケット撮影では、第１の実施の形態と同様に、１枚は主要被写体ＭＯの合焦位置で撮影し、他の１枚は非主要被写体ＳＯに対する焦点位置を非主要被写体ＳＯの合焦位置から主要被写体側へシフトさせて撮影する。即ち、主要被写体ＭＯはピントを合わせて撮影し、非主要被写体ＳＯはピントをずらして撮影する。
ここで、図７を参照して、上記のフォーカスブラケット撮影で対応点検出が容易化する理由について説明する。主要被写体ＭＯの合焦位置で撮影された基準画像６０Ｍでは、主要被写体ＭＯのぼけ度合いは小さく、非主要被写体ＳＯのぼけ度合いは大きい。一方、非主要被写体ＳＯの合焦位置で撮影された対象画像６０Ｓでは、非主要被写体ＳＯのぼけ度合いは小さく、主要被写体ＭＯのぼけ度合いは大きい。レリーズスイッチを半押し状態にした時点で、ＡＦ機能により合焦制御しながら撮影されたプリ撮影画像でも同様である。
本実施の形態では、合焦位置間の差を表す物理量は「画像内で選択された選択領域の周波数成分の変化」であり、その閾値として「基準画像の平均周波数を非基準画像の平均周波数で除算した商（選択領域の周波数変化）」が用いられる。周波数成分（空間周波数成分）とは、画像を構成する周期的構造の細かさを表す量である。例えば、基準画像６０Ｍ内の主要被写体ＭＯの部分では、高周波成分の割合が多く、平均周波数は高くなる。
図７に示すように、プリ撮影を行って基準画像６０Ｍと対象画像６０Ｓとを取得する。得られた基準画像６０Ｍと対象画像６０Ｓの各々に、ハイパスフィルタをかけ高周波成分（輪郭）を抽出する。基準画像６０Ｍから高周波成分を抽出した画像を高周波基準画像６０ＦＭとする。高周波基準画像６０ＦＭでは、高周波成分を抽出しているため、主要被写体ＭＯ部分での平均周波数は高く、非主要被写体ＳＯ部分での平均周波数は低い。一方、対象画像６０Ｓから高周波成分を抽出した画像を高周波対象画像６０ＦＳとする。高周波基準画像６０ＦＳでは、主要被写体ＭＯ部分での平均周波数は低く、非主要被写体ＳＯ部分での平均周波数は高い。
高周波基準画像６０ＦＭと高周波対象画像６０ＦＳとに関し、周波数成分を分析するエリアを選択する。このとき、例えば、主要被写体ＭＯの一部等、基準画像６０ＦＭ内で最も高い周波数成分が存在するエリアを共通の分析エリアとして選択する。以下、選択された分析エリアを「選択領域」という。選択領域の周波数変化に閾値を設けて、周波数成分分析（即ち、周波数成分の比較）を行った結果、選択領域の周波数変化が閾値ｘ未満となる場合には、非主要被写体ＳＯに対する焦点位置を合焦位置から主要被写体ＭＯ側にシフトするようにする。
選択領域の周波数変化に対する閾値は、対応点検出に成功するか、失敗するかを分ける限界に応じて設定される。例えば、選択領域の周波数変化を「（基準画像の平均周波数／非基準画像の平均周波数）×１００」とした場合には、経験則に従って閾値ｘ％未満（例えば、５０％未満）と設定することができる。また、非主要被写体ＳＯに対する焦点位置をシフトさせるシフト量は、選択領域の周波数変化が閾値を超えないように設定される。
非主要被写体ＳＯのシフト後の焦点位置で撮影された非基準画像に対応する高周波画像では、高周波対象画像６０ＦＳと比較すると、選択領域の周波数変化が小さくなっている。換言すれば、非基準画像に対応する高周波画像は、高周波対象画像６０ＦＳと比較すると、高周波基準画像６０ＦＭとのぼけ度合いの差が小さく対応点検出を行い易い。従って、対応点の位置が一致するように非基準画像に対応する高周波画像を変形して、変形画像を容易に得ることができる。
（第３撮影処理の処理ルーチン）
次に、図８を参照して、本実施の形態に係るデジタルカメラ１０の作用を説明する。図８は、操作部５６のレリーズスイッチを半押し状態にした時点で、デジタルカメラ１０のＣＰＵ４０によって実行される第３撮影処理プログラムの処理の流れを示すフローチャートである。当該プログラムはメモリ４８の所定領域に予め記憶されている。また、第１の実施の形態と同様に、ユーザによってフォーカスブラケット撮影機能が設定されている。
なお、図８に示す第３撮影処理の処理ルーチンは、図４のステップ１０５、１０７及び１０９、ステップ１１９、１２１及び１０９、ステップ１２３、１２５及び１０９等、「主要被写体の合焦位置と非主要被写体の合焦位置との差が主要被写体の焦点深度のｘ倍（又はｙ倍）未満か否かを判定する工程」、「合焦位置間の差が焦点深度のｘ倍（又はｙ倍）以上の場合に、非主要被写体に対する焦点位置を当該非主要被写体の合焦位置から主要被写体の焦点深度のｘ倍（又はｙ倍）となる地点までシフトする工程」、「設定された焦点位置においてフォーカスブラケット撮影を行う工程」に代えて実行される。
まず、ステップ３０１で、レリーズスイッチが半押し状態にされたことを検出する。次のステップ３０３で、ＡＦ機能により合焦制御しながらプリ撮影が行われ、これにより得られたプリ撮影画像がメモリ４８の所定領域に格納される。次に、ステップ３０５で、プリ撮影画像をフィルタ処理して高周波成分を抽出する。フィルタ処理には、ハイパスフィルタを適用する。次に、ステップ３０７で、フィルタ処理されたプリ撮影画像に対し周波数成分の分析を行う分析エリア（選択領域）を決定する。
次に、ステップ３０９で、周波数成分分析を行う。即ち、基準画像と非基準画像（対象画像）の各々について選択領域内での平均周波数を算出し、選択領域の周波数変化として「（基準画像の平均周波数／非基準画像の平均周波数）×１００」の値を求める。次に、ステップ３１１で、選択領域の周波数変化が閾値であるｘ％未満か否かを判定する。ステップ３１１で肯定判定の場合はステップ３１３に進み、否定判定の場合はステップ３１５に進む。
ステップ３１３では、非主要被写体の焦点位置が、当該非主要被写体の合焦位置から選択領域の周波数変化がｘ％未満となる地点までシフトされる（焦点位置シフト部に対応）。即ち、非主要被写体のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。続くステップ３１５では、設定された焦点位置においてフォーカスブラケット撮影が行われて（フォーカスブラケット撮影部に対応）、第３撮影処理プログラムを終了する。一方、選択領域の周波数変化がｘ％以上の場合には、ステップ３１１で否定判定してステップ３１５に進み、ステップ３１５でフォーカスブラケット撮影が行われて、第３撮影処理プログラムを終了する。
以上説明したように、本実施の形態によれば、選択領域の周波数変化に閾値を設けて、この閾値以上となる場合には非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトさせて非基準画像を取得するので、選択領域の周波数変化、即ち、基準画像と非基準画像とのぼけ度合いの差が小さくなる。従って、従来のフォーカスブラケット撮影に比べて、対応点検出を行い易い画像を撮影することができ、対応点検出の精度向上を図ることができる。特に、ぼけ度合いの差が大きいシーンでも、適切に対応点検出を行うことができ、ぼかし効果を発揮できるようになる。
［第４の実施の形態］
次に、本発明の第４の実施の形態について詳細に説明する。第４の実施の形態は、フォーカスブラケット撮影の後で且つ対応点の検出を行う前に、基準画像に画像処理を施す以外は、第１の実施の形態に係るデジタルカメラ１０と同様であるため、同じ部分については説明を省略する。なお、本第４の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
次に、図９及び図１０を参照して、本実施の形態に係るデジタルカメラ１０の作用を説明する。図９は、第４の実施の形態に係る第４撮影処理プログラムの処理内容を説明するための模式図である。図１０は、操作部５６のレリーズスイッチが半押し状態を経て全押し状態に移行した際に、デジタルカメラ１０のＣＰＵ４０によって実行される第４撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ４８の所定領域に予め記憶されている。また、第１の実施の形態と同様に、ユーザによってフォーカスブラケット撮影機能が設定されている。
まず、ステップ４０１で、複数の被写体に対して自動合焦位置判断（ＡＦ）を行い、主要被写体の合焦位置及び非主要被写体の合焦位置を含む、各撮影位置の焦点位置が決定される（自動焦点位置判断部、主要被写体決定部、焦点位置シフト部に対応）。本実施の形態では、第１の実施の形態と同様に、主要被写体の合焦位置と非主要被写体の合焦位置との差に閾値を設けて、この閾値以上となるシーンを撮影する場合には非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトするようにする。従って、フォーカスブラケット撮影の際に設定される焦点位置には、主要被写体の合焦位置と非主要被写体のシフト後の焦点位置とが含まれる。また、設定される焦点位置は、その前後の焦点位置を含んでいてもよい。
次に、ステップ４０３で、設定された焦点位置においてフォーカスブラケット撮影が行われ、これにより得られた撮影画像がメモリ４８の所定領域に格納される（フォーカスブラケット撮影部に対応）。
次に、ステップ４０５では、以上の処理によって得られた撮影画像のうち、主要被写体に合焦されている画像を基準画像として設定する。続くステップ４０７で、基準画像を除く画像を非基準画像として選択し、非基準画像として設定する。
次に、ステップ４０９では、基準画像に対して平滑化処理を施すことにより、基準画像のぼけの度合を非基準画像のぼけの度合に近づける復元処理を行う（画像処理部に対応）。復元処理は、画像に生じた劣化を復元する復元フィルタを用いたフィルタ処理である。復元フィルタは、焦点位置ズレや手ブレによるぼけを復元する際に用いられるフィルタである。復元フィルタとしては、一般にウィナーフィルタ等が知られている。
本実施の形態では、復元処理は、後述するぼけ半径に基づいてフィルタ特性を有する復元フィルタを用いて行われる。なお、平滑化処理が施された基準画像は、フォーカスブラケット撮影によって得られた基準画像とは別に生成される。ここで、本実施の形態に係るデジタルカメラ１０では、基準画像に対する平滑化処理によるぼかし量を次のように決定する。
図１１に示すように、焦点距離をｆ［ｍｍ］、Ｆ値をＦとするレンズを用いて、ある基準被写体が合焦するように像面が配置されているとする。ここで、基準被写体距離（基準被写体からレンズ中心Ｈまでの距離）をｄｂ［ｍｍ］とし、基準被写体の焦点（像面）とレンズ中心Ｈとの距離をｂｂ［ｍｍ］とする。また、任意の位置にある被写体の被写体距離をｄ［ｍｍ］、この被写体の焦点とレンズ中心Ｈとの距離をｂ［ｍｍ］とする。
このとき、任意被写体の被写体距離ｄ［ｍｍ］とぼけ半径ｒ［ｍｍ］との関係について考える。なお、図１１（Ａ）は任意被写体が基準被写体よりも手前にあるとき（ＮＥＡＲ側：ｄ≦ｄｂ）の関係を表し、図１１（Ｂ）は任意被写体が基準被写体よりも遠くにあるとき（ＦＡＲ側：ｄ＞ｄｂ）の関係を表している。このとき、結像公式より以下の（１）式および（２）式が成り立つ。


また、像面側で形成する相似三角形の関係より、以下の（３）式および（４）式が成り立つ。


ここで、開口径の半径をｆ／２Ｆとしているが、これは「Ｆ値＝焦点距離／開口径」という定義に基づくものである。
また、（３）式および（４）式をまとめて、以下の（５）式で表せる。


（１）式および（２）式をｂ、ｂｂに対して解き、これらを（５）式に代入すると任意の被写体距離ｄとぼけ半径ｒについて以下の関係式が得られる。


ただし、合焦被写体距離は焦点距離よりも長い、つまりｄｂ＞ｆ（１／ｆ＞ｄｂ）が成り立つものとする。このぼけ半径ｒ［ｍｍ］が平滑化度合の目安となる。
固体撮像素子２４の画素ピッチをｐ［μｍ］とすれば、画素単位でのぼけ半径ｒｐは、以下の（７）式で表される。


最後に、上記ぼけ半径に基づいてフィルタ特性を決定する。具体的な方法としては、特開２００８−２７１２４０号公報の段落０１０９〜０１１１に記載されているガウシアンフィルタを適用する。当該公報では、σパラメータに基づいてガウシアンフィルタの係数を決定しているが、本実施の形態では、σ＝ｋ×ｒｐとしたうえで係数を決定する。ここで、ｋは平滑化度合を調整するための定数である。
次のステップ４１１では、上記ステップ４０９の処理によって平滑化処理が施された基準画像と非基準画像との間における対応点の検出を行う（対応点検出部に対応）。次のステップ４１３では、上記ステップ４１１の処理によって得られた対応する非基準画像の対応点の位置が基準画像の対応点の位置に極力一致するように、非基準画像に対して画像の変形を行う（画像変形部に対応）。対応点検出、画像変形の手法については、第１の実施の形態と同様であるため説明を省略する。
次に、ステップ４１５で、すべての非基準画像について画像変形が行われたか否かを判定し、肯定判定となるまでステップ４０７〜ステップ４１５の処理を繰り返し行う。即ち、ステップ４１５で肯定判定の場合はステップ４１７に進み、ステップ４１５で否定判定の場合はステップ４０７に戻る。
次に、ステップ４１７で、ぼかし量の算出を行う。なお、算出されたぼかし量を用いて、手前が黒で且つ奥が白の距離画像を生成することもできる。この距離画像では、手前（黒）から奥（白）にかけてぼかし量が減少する。次のステップ４１９では、算出されたぼかし量を用いてぼけ強調等のぼかし処理を行う（画像生成部に対応）。ぼかし量の算出、ぼかし処理の手法については、第１の実施の形態と同様であるため説明を省略する。得られたぼけ調整画像は、外部メモリインタフェース５０を介してメモリカード５２に記録し、その後に本第４撮影処理プログラムを終了する。
以上説明したように、本実施の形態によれば、主要被写体の合焦位置と非主要被写体の合焦位置との差に閾値を設けて、この閾値以上となる場合には非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトさせて非基準画像を取得するので、基準画像と非基準画像とのぼけ度合いの差が小さくなる。従って、ぼけ度合いの差が大き過ぎる場合であっても、焦点位置を変えずに非基準画像を撮影する従来のフォーカスブラケット撮影に比べて、対応点検出を行い易い画像を撮影することができ、対応点検出の精度向上を図ることができる。
また、本実施の形態によれば、距離画像を生成する場合には、焦点位置の差が一定量以上必要となるため焦点位置のシフトにも限界があるが、対応点検出前に基準画像に復元フィルタを適用して鮮鋭度を増した基準画像を取得し、復元処理後の基準画像と非基準画像との間で対応点検出を行うので、更に対応点検出の精度向上を図ることができる。
なお、上記第４の実施の形態では、基準画像について平滑化処理を行う場合について説明したが、基準画像及び非基準画像の少なくとも一方に画像処理（復元処理）が施されていればよい。また、復元処理を行うことにより基準画像のぼけ度合を非基準画像のぼけ度合に近づけることができればよく、復元処理は平滑化処理には限定されない。例えば、基準画像及び非基準画像の少なくとも一方に鮮鋭化処理を施してもよい。
［第５の実施の形態］
次に、本発明の第５の実施の形態について詳細に説明する。第５の実施の形態は、フォーカスブラケット撮影、対応点検出及び画像変形（位置合わせ）の手法を変更した以外は、第１の実施の形態に係るデジタルカメラ１０と同様であるため、同じ部分については説明を省略する。なお、本第５の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるため、ここでの説明は省略する。
（フォーカスブラケット撮影から画像変形までの動作）
次に、図１２を参照して、本実施の形態に係るフォーカスブラケット撮影から画像変形までの動作について説明する。図１２に示すように、本実施の形態に係るフォーカスブラケット撮影では、１枚は主要被写体ＭＯの合焦位置で撮影し、他の１枚は非主要被写体ＳＯの合焦位置で撮影する。即ち、主要被写体ＭＯ及び非主要被写体ＳＯの両方にピントを合わせて撮影する。
主要被写体ＭＯの合焦位置で撮影された基準画像６０Ｍは、主要被写体ＭＯに合焦しているため、主要被写体ＭＯのぼけ度合いは小さく、非主要被写体ＳＯのぼけ度合いは大きい。一方、非主要被写体ＳＯの合焦位置で撮影された対象画像６０Ｓは、非主要被写体ＳＯに合焦しているため、非主要被写体ＳＯのぼけ度合いは小さく、主要被写体ＭＯのぼけ度合いは大きい。このように、ぼけ度合いの差が大き過ぎると、対応点検出に失敗してしまう場合がある。
本実施の形態では、主要被写体ＭＯを合焦位置と非主要被写体ＳＯの焦点位置との間の焦点位置で、中間画像６０Ｎを撮影する。基準画像６０Ｍと中間画像６０Ｎとのぼけ度合いの差は、基準画像６０Ｍと対象画像６０Ｓとのぼけ度合いの差よりも小さい。また、中間画像６０Ｎと対象画像６０Ｓとのぼけ度合いの差は、基準画像６０Ｍと対象画像６０Ｓとのぼけ度合いの差よりも小さい。従って、基準画像６０Ｍと中間画像６０Ｎ、中間画像６０Ｎと対象画像６０Ｓというように、互いに隣接する隣接画像間で対応点検出を行うと、ぼけ度合いの差が小さく対応点検出を行い易い。
また、基準画像６０Ｍと中間画像６０Ｎ、中間画像６０Ｎと対象画像６０Ｓの順序で、対応点検出及び画像変形を行うと、基準画像６０Ｍと対象画像６０Ｓとの間で対応点検出及び画像変形を行ったのと同じ結果になる。即ち、基準画像６０Ｍと中間画像６０Ｎとの間で対応点検出及び画像変形を行うと、中間画像６０Ｎに対し画像変形された変形中間画像６０ＮＡが得られる。この変形中間画像６０ＮＡと対象画像６０Ｓとの間で対応点検出及び画像変形を行うと、対象画像６０Ｓに対し画像変形された変形対象画像６０ＳＡが得られる。変形対象画像６０ＳＡは、基準画像６０Ｍと対象画像６０Ｓとの間で対応点検出及び画像変形を行って得られた変形画像と同じ画像である。
（第５撮影処理の処理ルーチン）
次に、図１３〜図１７を参照して、本実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１３〜図１７は、操作部５６のレリーズスイッチが半押し状態を経て全押し状態に移行した際に、デジタルカメラ１０のＣＰＵ４０によって実行される第５撮影処理プログラムの処理の流れを示すフローチャートである。当該プログラムはメモリ４８の所定領域に予め記憶されている。また、第１の実施の形態と同様に、ユーザによってフォーカスブラケット撮影機能が設定されている。
まず、ステップ５０１で、複数の被写体に対して自動合焦位置判断（ＡＦ）を行い、主要被写体の合焦位置及び非主要被写体の合焦位置を含む、各撮影位置の焦点位置が決定される（自動焦点位置判断部、主要被写体決定部に対応）。本実施の形態では、主要被写体の合焦位置と非主要被写体の合焦位置との差に閾値を設けて、この閾値以上となるシーンを撮影する場合には主要被写体の合焦位置と非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影する。従って、フォーカスブラケット撮影の際に設定される焦点位置には、主要被写体の合焦位置、非主要被写体の合焦位置、及び中間焦点位置が含まれる。また、設定される焦点位置は、その前後の焦点位置を含んでいてもよい。
次に、ステップ５０３で、撮影枚数が予め定められた枚数か否かを判定する。本実施の形態では、予め定められた撮影枚数は２枚であり、否定判定の場合は３枚撮影する。ステップ５０３で肯定判定の場合はステップ５０５に進み、否定判定の場合は「処理Ａ」に進む。ステップ５０５では、主要被写体の合焦位置と非主要被写体の合焦位置との差が、主要被写体の焦点深度のｙ倍未満か否かを判定する。
焦点位置間の差が焦点深度のｙ倍未満の場合には、ステップ５０５で肯定判定してステップ５０７に進む。続くステップ５０７では、主要被写体の合焦位置と非主要被写体の合焦位置との差が、主要被写体の焦点深度のｘ倍以下か否かを判定する（追加撮影判断部に対応）。ここでｘ、ｙは、ｘ＜ｙの関係にある。合焦位置間の差が焦点深度のｘ倍以下の場合には、ステップ５０７で肯定判定してステップ５０９に進む。ステップ５０９では、合焦位置間の差がｘ倍以下と小さく中間画像を撮影する必要はないので、撮影枚数は２枚と決定されて次の「処理Ｅ」に進む。
合焦位置間の差が焦点深度のｘ倍より大きい場合には、ステップ５０７で否定判定してステップ５１１に進む。ステップ５０９では、主要被写体の合焦位置と非主要被写体の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。即ち、中間焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。従って、ステップ５１３では、中間画像を撮影するため撮影枚数が１枚増加し、撮影枚数は３枚と決定されて次の「処理Ｅ」に進む。
合焦位置間の差が焦点深度のｙ倍以上の場合には、ステップ５０５で否定判定してステップ５１５に進む。ステップ５１５では、中間画像を撮影するための中間焦点位置を決定する。中間焦点位置はフォーカスブラケット撮影の際の焦点位置として設定される。次に、ステップ５１７では、非主要被写体の焦点位置が、合焦位置から主要被写体の焦点深度のｙ倍となる地点までシフトされる（焦点位置シフト部に対応）。なお、非主要被写体のシフト後の焦点位置が、中間焦点位置と重ならないようにする。
即ち、合焦位置間の差が焦点深度のｙ倍以上と大きい場合には、中間画像の撮影を行うと共に、非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトさせる。この場合には、非主要被写体のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。この場合も、ステップ５１３で撮影枚数は３枚と決定されて、次の「処理Ｅ」に進む。
本実施の形態では、ステップ５０３で否定判定されると撮影枚数は３枚になる。撮影枚数が３枚の場合は、主要被写体の画像が何枚目の画像かにより中間焦点位置を設定する画像群が異なる。ステップ５１９では、主要被写体の画像が何枚目かを判定する。主要被写体の画像が１枚目の場合はステップ５２１に進み、主要被写体の画像が２枚目の場合は「処理Ｃ」に進み、主要被写体の画像が３枚目の場合は「処理Ｄ」に進む。
ステップ５２１では、主要被写体（１枚目）の合焦位置と非主要被写体（２枚目）の合焦位置との差が、主要被写体（１枚目）の焦点深度の何倍（ここでは「ａ倍」と表す）かを判定する（追加撮影判断部に対応）。詳しくは、合焦位置間の差が、「焦点深度のｘ倍以下か」、「焦点深度のｘ倍より大きく且つｙ倍未満か」及び「焦点深度のｙ倍以上か」の何れの場合であるかを判定する。
ステップ５２１で合焦位置間の差が焦点深度のｘ倍以下の場合には、ステップ５２３に進む。次のステップ５２３では、２枚目の合焦位置と３枚目の合焦位置との差が、主要被写体（１枚目）の焦点深度の何倍かを判定する（追加撮影判断部に対応）。ステップ５２３で合焦位置間の差が焦点深度のｘ倍以下の場合には、ステップ５２５に進む。ステップ５２５では、合焦位置間の差がｘ倍以下と小さく中間画像を追加撮影する必要はないので、撮影枚数は３枚と決定されて次の「処理Ｅ」に進む。
ステップ５２３で合焦位置間の差が焦点深度のｘ倍より大きく且つｙ倍未満である場合には、ステップ５２７に進む。次のステップ５２７では、２枚目の合焦位置と３枚目の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。即ち、中間焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。従って、ステップ５２９では、中間画像を追加撮影するため、撮影枚数は４枚と決定されて次の「処理Ｅ」に進む。
ステップ５２３で合焦位置間の差が焦点深度のｙ倍以上の場合には、ステップ５３１に進む。次のステップ５３１では、２枚目の合焦位置と３枚目の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。中間焦点位置がフォーカスブラケット撮影の際の焦点位置として設定される。次のステップ５３３では、非主要被写体（３枚明）の焦点位置が、合焦位置から主要被写体の焦点深度のｙ倍となる地点までシフトされる（焦点位置シフト部に対応）。
即ち、合焦位置間の差が焦点深度のｙ倍以上と大きい場合には、中間画像の撮影を行うと共に、非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトさせる。この場合には、非主要被写体（３枚明）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。この場合も、ステップ５２９で撮影枚数は４枚と決定されて、次の「処理Ｅ」に進む。
ステップ５２１で合焦位置間の差が焦点深度のｘ倍より大きく且つｙ倍未満である場合には、ステップ５３５に進む。次のステップ５３５では、主要被写体（１枚目）の合焦位置と２枚目の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。中間焦点位置がフォーカスブラケット撮影の際の焦点位置として設定される。ここで、中間画像を追加撮影することになるため、撮影枚数は４枚に増加する。
次に、ステップ５３７で、２枚目の合焦位置と３枚目の合焦位置との差が、主要被写体（１枚目）の焦点深度の何倍かを判定する（追加撮影判断部に対応）。ステップ５３７で合焦位置間の差が焦点深度のｘ倍以下の場合には、ステップ５３９に進む。ステップ５３９では、合焦位置間の差がｘ倍以下と小さく中間画像を更に追加撮影する必要はないので、撮影枚数は４枚と決定されて次の「処理Ｅ」に進む。
ステップ５３７で合焦位置間の差が焦点深度のｘ倍より大きく且つｙ倍未満である場合には、ステップ５４１に進む。次のステップ５４１では、２枚目の合焦位置と３枚目の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。中間焦点位置がフォーカスブラケット撮影の際の焦点位置として設定される。ここで、中間画像を更に追加撮影することになるため、撮影枚数は５枚に増加する。従って、ステップ５４３では、撮影枚数は５枚と決定されて次の「処理Ｅ」に進む。
ステップ５３７で合焦位置間の差が焦点深度のｙ倍以上の場合には、ステップ５４５に進む。次のステップ５４５では、２枚目の合焦位置と３枚目の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。中間焦点位置がフォーカスブラケット撮影の際の焦点位置として設定される。次のステップ５４７では、非主要被写体（３枚明）の焦点位置が、合焦位置から主要被写体の焦点深度のｙ倍となる地点までシフトされる（焦点位置シフト部に対応）。非主要被写体（３枚明）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。この場合も、ステップ５４３で撮影枚数は５枚と決定されて、次の「処理Ｅ」に進む。
ステップ５２１で合焦位置間の差が焦点深度のｙ倍以上の場合には、ステップ５４９に進む。次のステップ５４９では、主要被写体（１枚目）の合焦位置と２枚目の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。中間焦点位置がフォーカスブラケット撮影の際の焦点位置として設定される。ここで、中間画像を追加撮影することになるため、撮影枚数は４枚に増加する。
次に、ステップ５５１で、２枚目の合焦位置と３枚目の合焦位置との差が、主要被写体（１枚目）の焦点深度の何倍かを判定する（追加撮影判断部に対応）。ステップ５５１で合焦位置間の差が焦点深度のｘ倍以下の場合には、ステップ５５３に進む。ステップ５５３では、合焦位置間の差がｘ倍以下と小さく中間画像を更に追加撮影する必要はないので、撮影枚数は４枚と決定されて次の「処理Ｅ」に進む。
ステップ５５１で合焦位置間の差が焦点深度のｘ倍より大きく且つｙ倍未満である場合には、ステップ５５５に進む。次のステップ５５５では、２枚目の合焦位置と３枚目の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。中間焦点位置がフォーカスブラケット撮影の際の焦点位置として設定される。ここで、中間画像を更に追加撮影することになるため、撮影枚数は５枚に増加する。従って、ステップ５５７では、撮影枚数は５枚と決定されて次の「処理Ｅ」に進む。
ステップ５５１で合焦位置間の差が焦点深度のｙ倍以上の場合には、ステップ５５９に進む。次のステップ５５９では、２枚目の合焦位置と３枚目の合焦位置との間において、中間画像を撮影するための中間焦点位置を決定する。中間焦点位置がフォーカスブラケット撮影の際の焦点位置として設定される。次のステップ５６１では、非主要被写体（３枚明）の焦点位置が、合焦位置から主要被写体の焦点深度のｙ倍となる地点までシフトされる（焦点位置シフト部に対応）。非主要被写体（３枚明）のシフト後の焦点位置が決定され、フォーカスブラケット撮影の際の焦点位置として設定される。この場合も、ステップ５５７で撮影枚数は５枚と決定されて、次の「処理Ｅ」に進む。
ステップ５１９で主要被写体の画像が２枚目と判定されると「処理Ｃ」に進む。図１５に示す「処理Ｃ」は、主要被写体の画像が２枚目とされた以外は、図１４のステップ５２１〜ステップ５６１と同じ手順で処理を実行する。「処理Ｃ」のステップ５６３〜ステップ６０３は、図１４のステップ５２１〜ステップ５６１に各々対応する。「処理Ｃ」のステップ５６３〜ステップ６０３の処理により、種々の場合に応じて撮影枚数が決定されて次の「処理Ｅ」に進む。
例えば、「処理Ｃ」のステップ５６３では、主要被写体（２枚目）の合焦位置と非主要被写体（１枚目）の合焦位置との差が、主要被写体（２枚目）の焦点深度の何倍かを判定する。この処理は、図１４のステップ５２１で、主要被写体（１枚目）の合焦位置と非主要被写体（２枚目）の合焦位置との差が、主要被写体（１枚目）の焦点深度の何倍（ここでは「ａ倍」と表す）かを判定する処理に対応している。
また、「処理Ｃ」のステップ５６５、ステップ５７９及びステップ５９３では、主要被写体（２枚目）の合焦位置と３枚目の合焦位置との差が、主要被写体（２枚目）の焦点深度の何倍かを判定する。これらの処理は、図１４のステップ５２３、ステップ５３７及びステップ５５１で、２枚目の合焦位置と３枚目の合焦位置との差が、主要被写体（２枚目）の焦点深度の何倍かを判定する処理に対応している。
ステップ５１９で主要被写体の画像が３枚目と判定されると「処理Ｄ」に進む。図１６に示す「処理Ｄ」は、主要被写体の画像が３枚目とされた以外は、図１４のステップ５２１〜ステップ５６１と同じ手順で処理を実行する。「処理Ｄ」のステップ６０５〜ステップ６４５は、図１４のステップ５２１〜ステップ５６１に各々対応する。「処理Ｄ」のステップ６０５〜ステップ６４５の処理により、種々の場合に応じて撮影枚数が決定されて次の「処理Ｅ」に進む。
例えば、「処理Ｄ」のステップ６０５では、主要被写体（３枚目）の合焦位置と非主要被写体（２枚目）の合焦位置との差が、主要被写体（３枚目）の焦点深度の何倍かを判定する。この処理は、図１４のステップ５２１で、主要被写体（１枚目）の合焦位置と非主要被写体（２枚目）の合焦位置との差が、主要被写体（１枚目）の焦点深度の何倍（ここでは「ａ倍」と表す）かを判定する処理に対応している。
また、「処理Ｄ」のステップ６０７、ステップ６２１及びステップ６３５では、２枚目の合焦位置と１枚目の合焦位置との差が、主要被写体（３枚目）の焦点深度の何倍かを判定する。これらの処理は、図１４のステップ５２３、ステップ５３７及びステップ５５１で、２枚目の合焦位置と３枚目の合焦位置との差が、主要被写体（２枚目）の焦点深度の何倍かを判定する処理に対応している。
次に、図１７に示す「処理Ｅ」について説明する。フォーカスブラケット撮影の撮影枚数が決定されると「処理Ｅ」に進む。まず、ステップ７０１で、設定された焦点位置においてフォーカスブラケット撮影が行われ、これにより得られた撮影画像がメモリ４８の所定領域に格納される（フォーカスブラケット撮影部に対応）。次に、ステップ７０３で、以上の処理によって得られた撮影画像のうち、主要被写体に合焦されている画像を基準画像とし、当該基準画像を除く画像を非基準画像として、互いに隣接する隣接画像間で対応点の検出を行う（対応点検出部に対応）。互いに隣接する隣接画像間で対応点検出を行うと、ぼけ度合いの差が小さく対応点検出を行い易い。
例えば、図１２に示す例では、１枚目の画像が主要被写体ＭＯの合焦位置で撮影された基準画像６０Ｍであるとすると、基準画像６０Ｍに隣接する２枚目の画像は中間画像６０Ｎである。また、中間画像６０Ｎに隣接する３枚目の画像は対象画像６０Ｓである。従って、上述した通り、基準画像６０Ｍと中間画像６０Ｎ、中間画像６０Ｎと対象画像６０Ｓというように、互いに隣接する隣接画像間で対応点検出を行う。なお、対応点検出の手法については、第１の実施の形態と同様であるため説明を省略する。
次に、ステップ７０５では、上記ステップ７０３の処理によって得られた隣接画像の一方の画像の対応点の位置が、隣接画像の他方の対応点の位置に極力一致するように、隣接画像の一方の画像に対して画像の変形を行う（画像変形部に対応）。基準画像と非基準画像とが隣接する場合には、非基準画像に対して画像の変形（位置合わせ）を行う。隣接画像間では対応点検出が行い易いので、変形画像を容易に得ることができる。
例えば、図１２に示す例では、基準画像６０Ｍと中間画像６０Ｎとの間で対応点検出及び画像変形を行うと、中間画像６０Ｎに対し画像変形された変形中間画像６０ＮＡが得られる。この変形中間画像６０ＮＡと対象画像６０Ｓとの間で対応点検出及び画像変形を行うと、対象画像６０Ｓに対し画像変形された変形対象画像６０ＳＡが得られる。なお、画像変形の手法については、第１の実施の形態と同様であるため説明を省略する。
次に、ステップ７０７で、ぼかし量の算出を行う。なお、算出されたぼかし量を用いて、手前が黒で且つ奥が白の距離画像を生成することもできる。次のステップ７０９では、算出されたぼかし量を用いてぼけ強調等のぼかし処理を行う（画像生成部に対応）。ぼかし量の算出、ぼかし処理の手法については、第１の実施の形態と同様であるため説明を省略する。得られたぼけ調整画像は、外部メモリインタフェース５０を介してメモリカード５２に記録し、その後に本第５撮影処理プログラムを終了する。
以上説明したように、本実施の形態によれば、フォーカスブラケット撮影から画像変形までの動作において、主要被写体の合焦位置と非主要被写体の合焦位置との間に在る中間焦点位置で中間画像を撮影し、互いに隣接する隣接画像間で対応点検出を行うので、ぼけ度合いの差が小さく対応点検出を行い易い。従って、ぼけ度合いの差が大き過ぎる場合であっても撮影枚数を変えずに非基準画像を撮影する従来のフォーカスブラケット撮影に比べて、対応点検出を行い易い画像を撮影することができ、対応点検出の精度向上を図ることができる。
また、本実施の形態によれば、互いに隣接する隣接画像間で対応点検出及び画像変形を行うので、対応点検出及び画像変形を行う画像の組み合わせを変えることができ、従来のフォーカスブラケット撮影では対応点検出及び画像変形に失敗していたぼけ度合いの差が大きいシーン(マクロシーンや高倍率ズームシーン)でも、適切に対応点検出及び画像変形を行うことができ、ぼかし効果を発揮できるようになる。
更に、本実施の形態によれば、隣接画像に対応する合焦位置間の差に閾値を設けて、この閾値以上となる場合には非主要被写体に対する焦点位置を合焦位置から主要被写体側にシフトさせて非基準画像を取得するので、隣接画像間でのぼけ度合いの差が更に小さくなる。従って、対応点検出の精度が更に向上する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
例えば、上記第５の実施の形態では、中間画像を撮影し隣接画像間で対応点検出を行う手法と、合焦位置間の差が閾値を超えた場合に焦点位置のシフトを行う手法の両方を併用する例について説明したが、中間画像を撮影し隣接画像間で対応点検出を行う手法のみを用いてもよい。
また、上記第５の実施の形態では、合焦位置間の差が閾値を超えた場合に焦点位置のシフトを行う手法を併用する例について説明したが、第２の実施の形態や第３の実施の形態のように、焦点位置間の差が閾値以上か否かを判断する基準は、適宜変更することができる。
また、上記第４の実施の形態では、対応点の検出を行う前に復元処理等の画像処理を行う例について説明したが、他の実施の形態においても、対応点の検出を行う前に基準画像及び非基準画像の少なくとも一方に復元処理等の画像処理を施すことができる。
その他、上記各実施の形態で説明したデジタルカメラ１０の構成（図１参照。）は一例であり、本発明の主旨を逸脱しない範囲内において、不要な部分を削除したり、新たな部分を追加したり、接続状態等を変更したりすることができることは言うまでもない。
さらに、上記各実施の形態で説明した各種撮影処理プログラムの処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において、不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ換えたりすることができることは言うまでもない。

Claims (15)

  1. 画像データに基づいて複数の被写体の各合焦位置を判断する自動焦点位置判断手段と、
    前記画像データに基づいて主要被写体を決定する主要被写体決定手段と、
    前記主要被写体の合焦位置と非主要被写体の合焦位置との差を表す物理量が第１閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト手段と、
    前記主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影手段と、
    前記主要被写体の合焦位置で撮影された画像を基準画像として、前記基準画像と前記基準画像以外の非基準画像との間で被写体の対応点を検出する対応点検出手段と、
    前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形手段と、
    前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成手段と、
    を備えた撮像装置。
  2. 前記非主要被写体に対する焦点位置をシフトさせるシフト量は、前記差を表す物理量が第１閾値を超えないように設定される、請求項１記載の撮像装置。
  3. 前記差を表す物理量は、前記主要被写体の合焦位置と非主要被写体の合焦位置との間の光軸上の距離、前記画像データで表される画像内で選択された選択領域の鮮鋭度差、及び前記画像データで表される画像内で選択された選択領域の周波数成分の変化の少なくとも１つである、請求項１又は請求項２記載の撮像装置。
  4. 前記画像生成手段は、
    前記基準画像と前記変形された前記非基準画像とに基づいて前記基準画像をぼかすためのフィルタ特性を画素毎に算出するフィルタ特性決定手段と、
    画素毎に算出されたフィルタ特性に基づいて前記基準画像にフィルタ処理を行うフィルタ処理手段と、を含む、請求項１乃至３のいずれか１項に記載の撮像装置。
  5. 前記対応点の検出を行う前に、前記基準画像及び前記非基準画像の少なくとも一方に、前記基準画像及び前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段を更に備えた、請求項１乃至４のいずれか１項に記載の撮像装置。
  6. 画像データに基づいて複数の被写体の各合焦位置を判断する自動焦点位置判断工程と、
    前記画像データに基づいて主要被写体を決定する主要被写体決定工程と、
    前記主要被写体の合焦位置と非主要被写体の合焦位置との差を表す物理量が第１閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト工程と、
    前記主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影工程と、
    前記主要被写体の合焦位置で撮影された画像を基準画像として、当該基準画像と当該基準画像以外の非基準画像との間で被写体の対応点を検出する対応点検出工程と、
    前記対応点検出工程によって検出された対応点の位置が一致するように前記非基準画像を変形する画像変形工程と、
    前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成工程と、
    を備えた撮像方法。
  7. コンピュータを、
    画像データに基づいて複数の被写体の各合焦位置を判断する自動焦点位置判断手段、
    前記画像データに基づいて主要被写体を決定する主要被写体決定手段、
    前記主要被写体の合焦位置と非主要被写体の合焦位置との差を表す物理量が第１閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト手段、
    前記主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影手段、
    前記主要被写体の合焦位置で撮影された画像を基準画像として、前記基準画像と前記基準画像以外の非基準画像との間で被写体の対応点を検出する対応点検出手段、
    前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形手段、
    前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成手段、
    として機能させるためのプログラム。
  8. コンピュータに撮像処理を実行させるプログラムを記憶したコンピュータ可読記憶媒体であって、前記撮像処理が、
    画像データに基づいて複数の被写体の各合焦位置を判断する自動焦点位置判断工程と、
    前記画像データに基づいて主要被写体を決定する主要被写体決定工程と、
    前記主要被写体の合焦位置と非主要被写体の合焦位置との差を表す物理量が第１閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト工程と、
    前記主要被写体の合焦位置及び非主要被写体のシフト後の焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影工程と、
    前記主要被写体の合焦位置で撮影された画像を基準画像として、前記基準画像と前記基準画像以外の非基準画像との間で被写体の対応点を検出する対応点検出工程と、
    前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形工程と、
    前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成工程と、
    を含む、記憶媒体。
  9. 画像データに基づいて複数の被写体の各焦点位置を判断する自動焦点位置判断手段と、
    前記画像データに基づいて主要被写体を決定する主要被写体決定手段と、
    前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第２閾値を超える場合に、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影すると判断する追加撮影判断手段と、
    前記主要被写体の合焦位置、前記非主要被写体の合焦位置、及び中間焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影手段と、
    前記主要被写体の合焦位置で撮影された画像を基準画像とし、前記中間焦点位置で撮影された画像を中間画像とし、前記非主要被写体の合焦位置で撮影された画像を非基準画像として、前記基準画像と前記基準画像に隣接する中間画像とから開始し且つ前記中間画像と前記中間画像に隣接する非基準画像とで終了するように、互いに隣接する画像間で被写体の対応点を検出する対応点検出手段と、
    前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形手段と、
    前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成手段と、
    を備えた撮像装置。
  10. 前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第３閾値以上である場合に、前記非主要被写体に対する焦点位置を前記非主要被写体の合焦位置から主要被写体側にシフトさせる焦点位置シフト手段を更に備え、
    前記フォーカスブラケット撮影手段は、更に非主要被写体のシフト後の焦点位置に基づいて画像を撮影する、請求項９に記載の撮像装置。
  11. 前記非主要被写体に対する焦点位置をシフトさせるシフト量は、前記差を表す物理量が第３閾値を超えないように設定される、請求項１０に記載の撮像装置。
  12. 前記差を表す物理量は、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間の光軸上の距離、前記画像データで表される画像内で選択された選択領域の鮮鋭度差、及び前記画像データで表される画像内で選択された選択領域の周波数成分の変化の少なくとも１つである、請求項１０又は請求項１１に記載の撮像装置。
  13. 画像データに基づいて複数の被写体の各焦点位置を判断する自動焦点位置判断工程と、
    前記画像データに基づいて主要被写体を決定する主要被写体決定工程と、
    前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第２閾値を超える場合に、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影すると判断する追加撮影判断工程と、
    前記主要被写体の合焦位置、前記非主要被写体の合焦位置、及び中間焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影工程と、
    前記主要被写体の合焦位置で撮影された画像を基準画像とし、前記中間焦点位置で撮影された画像を中間画像とし、前記非主要被写体の合焦位置で撮影された画像を非基準画像として、前記基準画像と前記基準画像に隣接する中間画像とから開始し且つ前記中間画像と前記中間画像に隣接する非基準画像とで終了するように、互いに隣接する画像間で被写体の対応点を検出する対応点検出工程と、
    前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形工程と、
    前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成工程と、
    を含む、撮像方法。
  14. コンピュータを、
    画像データに基づいて複数の被写体の各焦点位置を判断する自動焦点位置判断手段、
    前記画像データに基づいて主要被写体を決定する主要被写体決定手段、
    前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第２閾値を超える場合に、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影すると判断する追加撮影判断手段、
    前記主要被写体の合焦位置、前記非主要被写体の合焦位置、及び中間焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影手段、
    前記主要被写体の合焦位置で撮影された画像を基準画像とし、前記中間焦点位置で撮影された画像を中間画像とし、前記非主要被写体の合焦位置で撮影された画像を非基準画像として、前記基準画像と前記基準画像に隣接する中間画像とから開始し且つ前記中間画像と前記中間画像に隣接する非基準画像とで終了するように、互いに隣接する画像間で被写体の対応点を検出する対応点検出手段、
    前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形手段、
    前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成手段、
    として機能させるためのプログラム。
  15. コンピュータに撮像処理を実行させるプログラムを記憶したコンピュータ可読記憶媒体であって、前記撮像処理が、
    画像データに基づいて複数の被写体の各焦点位置を判断する自動焦点位置判断工程と、
    前記画像データに基づいて主要被写体を決定する主要被写体決定工程と、
    前記主要被写体の合焦位置と前記非主要被写体の合焦位置との差を表す物理量が第２閾値を超える場合に、前記主要被写体の合焦位置と前記非主要被写体の合焦位置との間に在る中間焦点位置で少なくとも１枚の追加画像を撮影すると判断する追加撮影判断工程と、
    前記主要被写体の合焦位置、前記非主要被写体の合焦位置、及び中間焦点位置に基づいて、順次画像を撮影することにより複数の画像を取得するフォーカスブラケット撮影工程と、
    前記主要被写体の合焦位置で撮影された画像を基準画像とし、前記中間焦点位置で撮影された画像を中間画像とし、前記非主要被写体の合焦位置で撮影された画像を非基準画像として、前記基準画像と前記基準画像に隣接する中間画像とから開始し且つ前記中間画像と前記中間画像に隣接する非基準画像とで終了するように、互いに隣接する画像間で被写体の対応点を検出する対応点検出工程と、
    前記検出された対応点の位置が一致するように前記非基準画像を変形する画像変形工程と、
    前記基準画像と前記変形された前記非基準画像とに基づいて、前記主要被写体の領域を除く領域のぼけの度合が調整されたぼけ調整画像を生成する画像生成工程と、
    を含む、記憶媒体。
JP2013507209A 2011-03-31 2012-01-10 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体 Expired - Fee Related JP5484631B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013507209A JP5484631B2 (ja) 2011-03-31 2012-01-10 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011080398 2011-03-31
JP2011080398 2011-03-31
PCT/JP2012/050271 WO2012132486A1 (ja) 2011-03-31 2012-01-10 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
JP2013507209A JP5484631B2 (ja) 2011-03-31 2012-01-10 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JP5484631B2 JP5484631B2 (ja) 2014-05-07
JPWO2012132486A1 true JPWO2012132486A1 (ja) 2014-07-24

Family

ID=46930254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013507209A Expired - Fee Related JP5484631B2 (ja) 2011-03-31 2012-01-10 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体

Country Status (4)

Country Link
US (1) US8648927B2 (ja)
JP (1) JP5484631B2 (ja)
CN (1) CN103384998B (ja)
WO (1) WO2012132486A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
JP6486453B2 (ja) * 2013-01-31 2019-03-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP2015001609A (ja) * 2013-06-14 2015-01-05 ソニー株式会社 制御装置、および記憶媒体
JP2015012304A (ja) * 2013-06-26 2015-01-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP5953270B2 (ja) * 2013-07-04 2016-07-20 オリンパス株式会社 撮像装置
WO2015029114A1 (ja) * 2013-08-26 2015-03-05 株式会社 東芝 電子機器および通知制御方法
JP5744161B2 (ja) * 2013-11-18 2015-07-01 シャープ株式会社 画像処理装置
JP6325841B2 (ja) * 2014-02-27 2018-05-16 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
JP2015186170A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 画像処理装置および画像処理方法
CN104092946B (zh) * 2014-07-24 2018-09-04 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US10789679B2 (en) 2016-07-13 2020-09-29 SCREEN Holdings Co., Ltd. Image processing method, image processor, image capturing device, and image capturing method for generating omnifocal image
CN107800947A (zh) * 2016-09-02 2018-03-13 中兴通讯股份有限公司 一种拍摄方法和终端
JP6849430B2 (ja) * 2016-12-27 2021-03-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6590894B2 (ja) * 2017-11-08 2019-10-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6590899B2 (ja) * 2017-12-07 2019-10-16 キヤノン株式会社 撮像装置、撮像方法およびプログラム
JP2020052119A (ja) * 2018-09-25 2020-04-02 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
CN110177210B (zh) * 2019-06-17 2021-04-13 Oppo广东移动通信有限公司 拍照方法及相关装置
JP2021019228A (ja) * 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体
CN111641781B (zh) * 2020-05-25 2021-12-14 浙江大华技术股份有限公司 一种自动聚焦的方法、装置和电子设备
JP2022125529A (ja) * 2021-02-17 2022-08-29 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
JP2002077591A (ja) * 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
JP2002300373A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像処理方法、画像処理装置、記録媒体及びプログラム
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US7653298B2 (en) * 2005-03-03 2010-01-26 Fujifilm Corporation Image capturing apparatus, image capturing method, image capturing program, image recording output system and image recording output method
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP4678603B2 (ja) 2007-04-20 2011-04-27 富士フイルム株式会社 撮像装置及び撮像方法
JP4997043B2 (ja) * 2007-09-27 2012-08-08 富士フイルム株式会社 撮像装置、方法およびプログラム
JP5163446B2 (ja) * 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
US8405742B2 (en) * 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
JP5206494B2 (ja) * 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
US8314837B2 (en) * 2009-10-15 2012-11-20 General Electric Company System and method for imaging with enhanced depth of field
JP2013013061A (ja) * 2011-05-27 2013-01-17 Sanyo Electric Co Ltd 撮像装置

Also Published As

Publication number Publication date
WO2012132486A1 (ja) 2012-10-04
US8648927B2 (en) 2014-02-11
US20130342753A1 (en) 2013-12-26
CN103384998A (zh) 2013-11-06
JP5484631B2 (ja) 2014-05-07
CN103384998B (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
JP5484631B2 (ja) 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
JP5756099B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP4794963B2 (ja) 撮像装置および撮像プログラム
JP4582152B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4665718B2 (ja) 撮影装置
US20080192139A1 (en) Image Capture Method and Image Capture Device
JP2008271241A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2008288975A (ja) 撮像装置、撮像方法および撮像プログラム
US9485436B2 (en) Image processing apparatus and image processing method
JP2015012480A (ja) 画像処理装置及び画像処理方法
JP6300670B2 (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
JP2015216485A (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JPWO2014045740A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP4866317B2 (ja) 撮像装置及び撮像装置の制御方法
JP2010279054A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
WO2013094552A1 (ja) 撮像装置、その制御方法およびプログラム
WO2013094551A1 (ja) 撮像装置、その制御方法およびプログラム
US10917556B2 (en) Imaging apparatus
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2007201913A (ja) 撮像装置および撮像システム
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP5773659B2 (ja) 撮像装置および制御方法
JP6833607B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140218

R150 Certificate of patent or registration of utility model

Ref document number: 5484631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees