JP6622555B2 - 画像処理装置及びその制御方法、撮像装置、プログラム、記憶媒体 - Google Patents

Description

本発明は、リフォーカス処理が可能な画像処理装置に関するものである。

被写体を多くの視点から撮影した画像をもとに、所定のフォーカス距離、被写界深度、視点の画像を生成する方法が種々提案されている。

特許文献１には、光線の進行方向の情報を含むようにして取得した撮像データに基づいて、撮影レンズからリフォーカス面までの距離情報を抽出する撮像装置が開示されている。抽出された距離情報に基づいてリフォーカス係数を設定することにより、所定の位置に焦点を合わせた画像を生成する。その後にノイズ除去、ホワイトバランス処理、デモザイク処理などの各種画像処理を行う。

また、特許文献１では、タッチパネル式の表示装置を備え、ユーザーによってタッチされた表示画面内の位置において位置検知を行い、その位置における距離情報を抽出し、リフォーカス動作を行う。そして、現在表示されている画像から次に指示された位置においてリフォーカス動作を行うことで、画像の切り替えを行う。

特開２００９−２２４９８２号公報

しかし、例えば、特許文献１に記載の方法を用いる場合、画面内のある位置においてリフォーカス動作を行った後、その位置と被写体距離が同一で画面内の位置が異なる位置をユーザーが指定した場合、再びリフォーカス動作をする必要はないと考えられる。それにもかかわらず、特許文献１に記載の装置では、同一距離の画面内の位置が異なる被写体を指定した場合、リフォーカス動作、各種画像処理といった動作を、繰り返し行ってしまう。そのため、無駄な処理に時間がかかり、すぐに距離の異なる次の被写体に対するリフォーカス動作、及び画像処理に移行できないという問題がある。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、画面内の異なる位置にリフォーカス動作を行う場合、リフォーカス動作にかかる時間を短縮することである。

本発明に係わる画像処理装置は、所定の位置の被写体にリフォーカスすることが可能な画像データを処理する画像処理装置であって、前記画像データの画面上の所定の位置を指定する指定手段と、前記指定手段により指定された位置における被写体の距離情報を算出する算出手段と、前記算出手段により算出された距離情報を記憶する記憶手段と、今回のリフォーカス処理において、前記指定手段により指定された被写体について、前記算出手段により算出された距離情報と、前回のリフォーカス処理において、前記指定手段により指定された被写体について、前記算出手段により算出され前記記憶手段に記憶された距離情報とを比較する比較手段と、前記比較手段による比較の結果に基づいて、今回のリフォーカス処理において、リフォーカスされた画像を生成し、表示を更新するか否かを判定する判定手段と、を備え、前記判定手段は、前記比較手段により比較された距離情報の差が所定の閾値以下の場合には、今回のリフォーカス処理において、リフォーカスされた画像を生成しないと判定し、前記画像データが、該画像データを撮像する撮像装置の被写界深度が所定の被写界深度よりも浅い状態で撮影された画像データである場合には、前記所定の閾値を、前記被写界深度が前記所定の被写界深度以上の状態で撮影された画像データである場合よりも小さい値に設定することを特徴とする。

本発明によれば、画面内の異なる位置にリフォーカス動作を行う場合、リフォーカス動作にかかる時間を短縮することが可能となる。

本発明の一実施形態における撮像装置の全体構成を示すブロック図。 図１に示した画像処理部、表示部、記憶部の機能ブロック図。 図１に示した撮像素子上の受光領域を表す平面図。 距離情報比較部の構成を示す図。 一実施形態における再生時の動作を示すフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の一実施形態における撮像装置１０１の全体構成を示すブロック図である。図１において、撮影レンズ１０２は、１枚のレンズで図示されているが、複数枚のレンズから構成される。この複数枚のレンズの中に、可動なフォーカシングレンズを含み、フォーカシングレンズを動かすことにより、被写体のピントを調節することが可能である。マイクロレンズアレイ（以下、ＭＬＡと記す）１０３は、複数のマイクロレンズから構成され、撮影レンズ１０２の焦点位置近傍に配置される。撮影レンズ１０２の異なる瞳領域を通過した光は、ＭＬＡ１０３に入射し、それぞれのマイクロレンズに対応する瞳領域ごとに分離して出射される。撮像素子１０４は、ＣＣＤやＣＭＯＳイメージセンサなどで構成され、ＭＬＡ１０３の焦点位置近傍に配置される。ＡＤコンバータ１０５は、撮像素子１０４から出力されるアナログの画像信号をＡ／Ｄ変換することによりデジタルの画像データに変換する。画像処理部１０６は、ＡＤコンバータ１０５から出力されるデジタルの画像データに所定の画像処理等を施し、被写体のデジタル画像データを生成する。撮影制御部１０８は、画像処理部１０６で生成された画像データを、タッチパネルなどで構成される表示部１０７に表示し、また記録部１０９に保存する。操作部１１０は、ボタンやタッチパネル等といった、ユーザーからの操作を受け付ける部材からなり、受け付けた操作に応じて、ピント合わせ動作の開始や、記録部１０９に保存されたデジタル画像データの再生、消去など、各種の動作を指示する。また、撮影レンズ１０２は撮影制御部１０８と電気的、機械的に接続され、撮影制御部１０８は撮影レンズ１０２の情報を通信により取得出来る。また、ピント合わせの際はフォーカシングレンズの駆動命令等を送ることが出来る。

なお、本実施形態における画像処理プログラムは、画像処理部１０６における各画像処理機能をソフトウェア的に実現したものである。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。

次に、図２は、再生時における画像処理部１０６、表示部１０７、記録部１０９の関係を示す機能ブロック図である。なお、撮影時（現像時）の構成に関しては、記録部１０９からの画像データの代わりに、ＡＤコンバータ１０５からのデータが画像処理部１０６に入力され、その後、欠陥補正、センサ補正が行われる。その後の構成は図２と等価であるため、説明を省略する。

図２において、画像処理部１０６は、距離情報抽出部２０２、距離情報記憶部２０３、距離情報比較部２０５、リフォーカス係数設定部２０４、並べ替え処理部２０６を有する。また、さらにその後段に、ノイズ低減処理部２０７、ホワイトバランス処理部２０８、ガンマ補正処理部２０９、デモザイク処理部２１０を有する。デモザイク処理部２１０でのデモザイク処理後のデータは表示部（タッチパネル）１０７に出力される。表示部１０７は、表示画面上の所定の範囲の位置でフォーカス調整を行うことが可能であり、表示した画像から、それとは異なる位置に焦点を合わせた画像への切り替えが出来る。記録部１０９からの画像データは、ＳＤカード等の記録媒体である不揮発性メモリに記録された画像やＤＲＡＭ等の揮発性メモリに記憶された画像データであり、前述した欠陥補正やセンサ補正が行われている画像データである。

次に、前述した画像データについて簡単に説明する。撮像装置１０１において、撮影レンズ１０２を介して入射した被写体からの光は、マイクロレンズアレイ１０３上に被写体像として結像される。そして、マイクロレンズアレイ１０３への入射光線がこのマイクロレンズアレイ１０３を介して撮像素子１０４に入射し受光される。なお、撮像素子１０４は、１つのマイクロレンズに対して複数の画素が配置された単位画素が複数配列されて構成されている。マイクロレンズアレイ１０３への入射光線は、その進行方向に応じて撮像素子１０４上の異なる位置の画素で受光される。例えば図３に示したように、被写体のユニット像３０３がマイクロレンズごとに結像される。なお、このユニット像３０３に対応する領域、すなわち一つのマイクロレンズに割り当てられた複数の画素３０１によって構成される領域（再構築画素領域３０２）が、再構築される画像の一画素分に相当する。このようにして、撮像素子１０４で受光がなされると、画像データが得られ、この画像データが画像処理部１０６へ入力され、前述した各種画像処理が施された後、記録部１０９に記録される。

距離情報抽出部２０２は、画像データに基づいて被写体の距離情報を抽出する。そして、距離情報を抽出するために、例えば以下のような位相差検出部および距離情報算出部を有する。

位相差検出部は、記録部１０９からの画像データに基づいて、互いに視差の異なる複数の視差画像（異なる視点による視点画像）を生成し、これら複数の視差画像のうち少なくとも２枚の視差画像間の位相差を検出する。なお、位相差を検出するための視差画像は、撮像素子１０４上で受光したユニット像３０３同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより生成することが出来る。このため、生成される視差画像の数は、１つのマイクロレンズに割り当てられた画素と同数となる。距離情報抽出部２０２により算出される被写体の距離情報ｄに関しては、特許文献１に記載されている位相ずれＭａｐから算出する方法と同様であるため、説明を省略する。

また、算出された被写体の距離情報ｄは、画像データと共にリフォーカス係数設定部２０４にも入力され、リフォーカス係数設定部２０４では、この距離情報ｄに基づいてリフォーカス係数αが決定される。決定されたリフォーカス係数αは、並べ替え処理部２０６に入力される。なお、リフォーカス係数αから並べ替えを行う処理方法に関しても、特許文献１に記載されている手法と同様であるため、説明を省略する。

そして、並べ替え処理部２０６で再構築された画像データに対して、ノイズ低減部２０７、ホワイトバランス処理部２０８、ガンマ補正処理部２０９およびデモザイク処理部２１０により上述のような画像処理が施され、画像データが出力される。

以上のように、撮像装置１０１では、画像処理部１０６において、光線の進行方向の情報をも含むようにして取得した画像データに基づいて、所定の範囲の被写体の位置に焦点を合わせた画像を再構築（リフォーカス）する。その際に、距離情報抽出部２０２により画像データから被写体の距離情報を抽出し、この距離情報に基づいて設定したリフォーカス係数αを用いたリフォーカス演算処理による画像データの並べ替えを行う。そのため、合焦させたいリフォーカス面への焦点移動をリフォーカス係数を逐次変更しながら繰り返し行うことなく、適切なリフォーカス係数αを求めることが出来る。これにより、意図する被写体に焦点を合わせた画像を再構築することが可能となる。

距離情報記憶部２０３は、距離情報抽出部２０２により抽出された距離情報を一時的に記憶しておくバッファやメモリである。距離情報比較部２０５は、距離情報記憶部２０３に記憶されている前回のリフォーカス動作における距離情報と、距離情報抽出部２０２により抽出された今回のリフォーカス動作における距離情報とを比較する。

図４は、距離情報比較部２０５の詳細構成を説明するための図である。ここでは、距離情報記憶部２０３に記憶された距離情報を距離情報１、距離情報抽出部２０２により抽出された距離情報を距離情報２とし、減算器５０１は、距離情報１と距離情報２との差分を算出する。絶対値変換器５０２は、減算器５０１で算出された差分が負の場合は、正の値に、すなわち絶対値に変換する。

絶対値に変換された距離情報の差分は、比較器５０３に入力される。ここで距離情報の差分との比較対象となる閾値としては、画像データから算出される被写界深度の値や画像全体の距離情報を使用した平均値等の値、もしくはユーザーにより直接指定される値が考えられる。比較した結果、距離情報の差分が上記の閾値以下の場合、２つの距離は同一もしくは近似していると判断され、その後の並び替え処理および各画像処理（リフォーカス処理）は行わず、現在の再構築済みの画像データをそのまま出力する。一方、距離情報の差分が上記の閾値より大きい場合、後述する、並び替え処理や各画像処理が行われた画像データを出力する。なお、上記では、距離情報の差分に基づいて並べ替え処理を行うか否か等を判断しているが、距離情報の差分に限らず、距離情報の比など距離情報の比較結果や、デフォーカス量の差や比などの比較結果などを判断に用いてもよい。

リフォーカス係数設定部２０４は、距離情報抽出部２０２により抽出された（距離情報算出部により算出された）距離情報に基づいて、並べ替え処理部２０６における積分処理（リフォーカス演算処理）に用いられるリフォーカス係数を設定する。なお、画像データは、リフォーカス係数と共に並べ替え処理部２０６に入力される。

並べ替え処理部２０６は、リフォーカス係数設定部２０４により設定されたリフォーカス係数を用いて、画像データに対して、所定の並べ替え処理を施す。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理を施すことにより、意図する被写体に焦点を合わせた画像データを生成する。

ノイズ低減部２０７は、並べ替え処理部２０６から供給される画像データに含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行う。ホワイトバランス処理部２０８は、ノイズ低減部２０７から供給される画像データに対し、カラーフィルタの通過特性や撮像素子１０４の固体差や照明条件などの影響に起因した色バランスの乱れの調整処理（ホワイトバランス調整処理）を行う。

ガンマ補正処理部２０９は、ホワイトバランス処理部２０８から供給される画像データに対してガンマ補正処理（明暗やコントラストの補正）を行うことにより、画像データを生成する。デモザイク処理部２１０は、ガンマ補正処理部２０９から供給される画像データに対してカラーフィルタ配列のモザイク画像を基にデモザイク処理を行う。デモザイク処理とは、カラーフィルタが配列されたそれぞれの画素がＲＧＢのいずれかの色成分を有していない場合、有していない色成分を補間する処理であり、全画素がＲＧＢそれぞれの画素値を有する画像データが生成される。

表示部（タッチパネル）１０７は、記録部１０９から出力された画像データに基づく再構築画像を表示する表示部と、表示された画像の任意の位置が指定されたときに、その位置を検知する位置検知部とを備えて構成されている。例えば、表示部に指やペンなどが接触することにより、その接触した位置が、例えば感圧式や静電式によって検知されるように構成されている。表示パネルとしては、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどが用いられる。

距離情報抽出部２０２に含まれる距離情報算出部は、同じく距離情報抽出部２０２に含まれる位相差検出部で検出した各視差画像同士の位相差（位相ずれＭａｐ）から、表示部１０７により指定された位置（Ｐｉｘｅｌ）に応じた位相差を選択する。そして、この位相差に基づいて上述したような手法により指定された被写体の距離情報ｄを算出する。例えば、表示されている画像（以下、画像Ｐ0と呼ぶ）の指定された被写体に合焦した画像（以下、画像Ｐ1と呼ぶ）を生成したい場合には、指定された被写体の距離情報ｄを算出する。具体的には、撮影レンズ１０２と、表示部１０７により指定された被写体の位置で合焦となるようなリフォーカス面との間の距離を、指定された位置における位相差を用いて算出する。

距離情報抽出部２０２では、例えば指定された被写体の位置に対応する位相ずれが選択されたのち、この選択された位相ずれに基づいて被写体の距離情報ｄが算出され、距離情報記憶部２０３と距離情報比較部２０５に入力される。それと同時に距離情報記憶部２０３に記憶されている前回のリフォーカス処理で指定された被写体の距離情報が距離情報比較部２０５に入力される。距離情報比較部２０５では、前回の距離情報と今回の距離情報との差分をとり、その差分がある閾値より大きかった場合、距離情報比較部２０５から並び替え実行信号が出力される。距離情報比較部２０５から並び替え実行信号が出力されるか否かを示す「１」，「０」の信号が、表示部１０７に並び替え処理部２０６で並べ替えが行われた今回のリフォーカス画像を表示するか、前回のリフォーカス画像を表示するかの切り替え信号となる。距離情報比較部２０５から並び替え実行信号が出力されると、リフォーカス係数設定部２０４では、上述したように距離ｄに基づいてリフォーカス係数αが設定され、画像データと共に並べ替え処理部２０６に入力される。並び替え処理部２０６で今回のリフォーカスのための並べ替えが行われ、デモザイク処理部２１０の出力信号が表示部１０７に表示される。一方、距離情報比較部２０５から並べ替え実行信号が出力されない場合は、並び替え処理部２０６ではリフォーカスのための並べ替えは行われず、前回のリフォーカス画像が表示部２１１に表示される。

言い換えると、並べ替え処理部２０６では、上述したように、リフォーカス係数αに基づいて画像データの並べ替え処理が実行され、例えば画像Ｐ0の指定された被写体の位置に合焦した画像データが再構築（リフォーカス）される。このようにして再構築された画像データには、ノイズ低減部２０７、ホワイトバランス処理部２０８、ガンマ補正処理部２０９およびデモザイク処理部２１０による所定の画像処理が施され、画像データとして、表示部１０７に入力される。このようにして、距離情報比較部２０５で、前回の距離情報と今回の距離情報との差分がある閾値より大きいと判断された場合、表示部２１１には、画像Ｐ0において指定された被写体の位置に合焦した今回のリフォーカス画像Ｐ1が表示される。

次に、図５は、表示装置の表示動作を示すフローチャートである。記録した画像を再生するように指示された場合、Ｓ４０１の再生モードに移行する。再生モードに移行されると表示部１０７に画像データが表示される。Ｓ４０２では、画像データが表示された表示部（タッチパネル）１０７に対して、指やペンなどが接触したかどうかを判別し、接触していなければ再生表示状態はそのまま維持される。一方、接触した場合はＳ４０３に移行し、その位置を検知する位置検知部によりユーザーにより指定された位置情報を検知する。

位置情報が検知されると、Ｓ４０４において、距離情報抽出部２０３によって、指定された被写体の位置の距離情報ｄを算出する。Ｓ４０５では、記憶した距離情報と算出した距離情報を距離情報比較部２０５で比較する。この場合、初期状態等で記憶した距離情報を持っていない場合は、最初に再生指示があった時点での再生画像に対する距離情報を記憶しておいても良い。

ここで、比較した結果、Ｓ４０６において、２つの距離情報の差分が設定された閾値以下であると判断された場合は、２つの距離情報が同一もしくは近似していると考えられ、再生表示状態がそのまま維持される。すなわち並び替え処理や、各種画像処理（リフォーカス処理）は行われない。

ここで、上記の閾値の決定方法について説明する。本実施形態では、上記のように前回のリフォーカス処理で指定した被写体の距離情報と、今回リフォーカスのために指定された被写体の距離情報がほぼ同じ（距離の差が閾値以下）である場合、再度のリフォーカス処理を行わず、前回のリフォーカス画像を用いる（表示画像を更新しない）。このとき、撮影光学系１０２の被写界深度が深い場合には、前回と今回で被写体距離の差が多少大きくてもどちらも合焦しているように見える。そのため、撮影時に、画像が撮影光学系１０２の被写界深度が深い状態で撮影されている場合には、本実施形態では、上記の被写体距離の差を判定する閾値を大きくする。一方、撮影時に、画像が撮影光学系１０２の被写界深度が浅い状態で撮影されている場合には、上記の被写体距離の差を判定する閾値を小さくする。これにより、前回と今回のリフォーカス画像を切り替える場合の画像の変化を抑制することができる。

なお、被写界深度が深い（所定の被写界深度以上の）場合とは、撮影光学系１０２の焦点距離が所定の焦点距離よりも短い場合、絞りが所定の絞り値よりも絞り込まれている（絞り値（Ｆ値）が大きい）場合、被写体距離が所定の距離よりも遠い場合などである。このような場合には上記の再度のリフォーカス処理を行うか否かを判断する閾値を大きく設定する。すなわち、再度のリフォーカス処理が行われにくくする。一方、被写界深度が浅い場合とは、撮影光学系１０２の焦点距離が長い場合、絞りの開き量が大きい（絞り値（Ｆ値）が小さい）場合、被写体距離が近い場合などである。特に、マクロ撮影モードなどで絞りを開放に近い状態で撮影するような場合、被写界深度はきわめて浅くなる。このような場合には上記の閾値を小さく設定する。すなわち、再度のリフォーカス処理が行われやすくする。

図５の説明に戻って、Ｓ４０６において、２つの距離情報の差分が閾値よりも大きい場合は、算出した距離情報を記憶した距離情報に代わって記憶（Ｓ４０７）する。その後、画像データに対して並び替え処理（Ｓ４０８）、各種の画像処理（Ｓ４０９）を行い、その画像データが表示部１０７に再生表示される（表示が更新される）。

以上のように、タッチされた位置情報から距離情報を算出し、その算出した距離情報と記憶しておいた前回のリフォーカス処理での距離情報とが同一距離、もしくは近似した距離である場合、並び替え処理や各種画像処理（再度のリフォーカス処理）を行わない。そのため、ユーザーが連続的にタッチを繰り返した場合でも無駄な処理が発生せず、画像Ｐ0から意図する被写体の位置にフォーカス調整がなされた画像Ｐ１に短い時間で切り替えて表示することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像装置、１０２：撮影レンズ、１０３：マイクロレンズアレイ、１０４：撮像素子、１０５：ＡＤコンバータ、１０６：画像処理部、１０７：表示部、１０８：撮影制御部、１０９：記録部、１１０：操作部

Claims (12)

1. 所定の位置の被写体にリフォーカスすることが可能な画像データを処理する画像処理装置であって、
   前記画像データの画面上の所定の位置を指定する指定手段と、
   前記指定手段により指定された位置における被写体の距離情報を算出する算出手段と、
   前記算出手段により算出された距離情報を記憶する記憶手段と、
   今回のリフォーカス処理において、前記指定手段により指定された被写体について、前記算出手段により算出された距離情報と、前回のリフォーカス処理において、前記指定手段により指定された被写体について、前記算出手段により算出され前記記憶手段に記憶された距離情報とを比較する比較手段と、
   前記比較手段による比較の結果に基づいて、今回のリフォーカス処理において、リフォーカスされた画像を生成し、表示を更新するか否かを判定する判定手段と、
   を備え、
   前記判定手段は、前記比較手段により比較された距離情報の差が所定の閾値以下の場合には、今回のリフォーカス処理において、リフォーカスされた画像を生成しないと判定し、
   前記画像データが、該画像データを撮像する撮像装置の被写界深度が所定の被写界深度よりも浅い状態で撮影された画像データである場合には、前記所定の閾値を、前記被写界深度が前記所定の被写界深度以上の状態で撮影された画像データである場合よりも小さい値に設定することを特徴とする画像処理装置。
2. 前記所定の位置の被写体にリフォーカスすることが可能な画像データとは、１つのマイクロレンズに対して複数の画素が割り当てられた単位画素が複数配列されて構成された撮像素子により撮像された画像データであることを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、前記複数の画素のデータに基づいて互いに視差の異なる複数の視差画像を生成し、該複数の視差画像の位相差から被写体の距離情報を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像データを表示する表示手段をさらに備え、前記指定手段は、前記表示手段の画面上で被写体を指定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記指定手段は、前記表示手段の画面上に配置されたタッチパネルであることを特徴とする請求項４に記載の画像処理装置。
6. 前記被写体の距離情報に基づいてリフォーカス係数を設定する設定手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記判定手段は、前記比較手段により比較された距離情報の差が前記所定の閾値より大きい場合には、今回のリフォーカス処理において、リフォーカスされた画像を生成すると判定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記被写界深度が所定の被写界深度よりも浅い状態とは、前記撮像装置の撮影光学系の焦点距離が所定の焦点距離よりも長い場合、絞りの開き量が所定の開き量よりも大きい場合、被写体距離が所定の距離よりも近い場合の少なくともいずれかであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 請求項１乃至８のいずれか１項に記載の画像処理装置と、
   １つのマイクロレンズに対して複数の画素が割り当てられた単位画素が複数配列されて構成された撮像素子と、
   を備えることを特徴とする撮像装置。
10. 所定の位置の被写体にリフォーカスすることが可能な画像データを処理する画像処理装置を制御する方法であって、
    前記画像データの画面上の所定の位置を指定する指定工程と、
    前記指定工程において指定された位置における被写体の距離情報を算出する算出工程と、
    前記算出工程において算出された距離情報を記憶する記憶工程と、
    今回のリフォーカス処理において、前記指定工程において指定された被写体について、前記算出工程において算出された距離情報と、前回のリフォーカス処理において、前記指定工程において指定された被写体について、前記算出工程において算出され前記記憶工程において記憶された距離情報とを比較する比較工程と、
    前記比較工程における比較の結果に基づいて、今回のリフォーカス処理において、リフォーカスされた画像を生成し、表示を更新するか否かを判定する判定工程と、
    を有し、
    前記判定工程では、前記比較工程において比較された距離情報の差が所定の閾値以下の場合には、今回のリフォーカス処理において、リフォーカスされた画像を生成しないと判定し、
    前記画像データが、該画像データを撮像する撮像装置の被写界深度が所定の被写界深度よりも浅い状態で撮影された画像データである場合には、前記所定の閾値を、前記被写界深度が前記所定の被写界深度以上の状態で撮影された画像データである場合よりも小さい値に設定することを特徴とする画像処理装置の制御方法。
11. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images