JP6548367B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、リフォーカス処理のための表示を行う技術に関する。

複数の視点から撮像することにより取得された複数の画像を合成したり、被写体の距離情報に基づくフィルタ処理によって画像にぼけを付加したりすることで、画像の合焦状態を撮影後に調節する技術（リフォーカス）が知られている。リフォーカス処理では、撮影した画像中でピントが合っている位置である合焦位置や、ピントが合って見える領域の深度範囲を示す被写界深度を変化させた画像（リフォーカス画像）を生成することが可能である。特許文献１では、リフォーカスによりピントを合わせたい位置をユーザが指定することで、所望の位置にピントが合ったリフォーカス画像を生成し、ユーザに対して表示することが記載されている。

米国特許出願公開第２００８／０１３１０１９号明細書

特許文献１に記載の技術では、カメラの背面ディスプレイなどの解像度の低い画面でリフォーカス画像を表示した場合、出力するリフォーカス画像のどの領域にピントが合っているのかをユーザが判断することが難しいという課題があった。
そこで本発明は、リフォーカス処理によりピントが合う領域を、リフォーカス画像をそのまま表示する場合に比べてユーザに分かりやすく表示することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、画像を示す画像データを取得する取得手段と、前記画像データが示す画像の、画像中でピントが合っている位置である合焦位置を変化させた画像であるリフォーカス画像を生成するための、前記リフォーカス画像の合焦位置を示す第一のユーザ指示を入力する第一の入力手段と、前記第一のユーザ指示に対応するリフォーカス画像が生成できない場合にユーザに警告を通知し、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像を生成する第一の生成手段と、表示された表示画像に対して入力された、画像の出力指示である第二のユーザ指示を入力する第二の入力手段と、前記第二のユーザ指示に応じて、前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像を出力する出力手段とを有し、前記表示画像は、前記第一のユーザ指示が示す合焦位置に対応する画像領域を、前記出力手段により出力される前記リフォーカス画像における場合よりも強調した画像であることを特徴とする。

本発明によれば、リフォーカス処理によりピントが合う領域を、リフォーカス画像をそのまま表示する場合に比べてユーザが容易に判断することができる。

撮像装置の内部構成を示すブロック図。 撮像部の構成例を示す図。 撮像素子とレンズアレイの関係を示す図。 第一の実施例の画像処理部の構成を示すブロック図。 第一の実施例の処理の流れを示すフローチャート。 距離マップの例を示す図。 合焦位置の設定方法の例を示す図。 画像合成によるリフォーカス処理を説明する図。 表示画像の例を説明する図。 補正部の構成を示すブロック図。 第一の実施例の補正部で行われる処理の流れを示すフローチャート。 第二の実施例の画像処理部の構成を示すブロック図。 第二の実施例の処理の流れを示すフローチャート。 撮像部の構成の変形例を示す図。

＜実施例１＞
本実施例では、撮像装置を用いて撮像された画像から生成したリフォーカス画像を解像度の低いディスプレイで表示する場合に、リフォーカス画像において合焦している領域を強調表示する場合について説明する。まず、本実施例に係る撮像装置の構成について説明する。なお、同一の構成については、同じ符号を付して説明する。図１は、本実施例に係る撮像装置の内部構成を示すブロック図である。

撮像部１００は、被写体の光情報を撮像素子で受光し、受光した信号をＡ／Ｄ変換して、画像データを取得するカメラユニットである。撮像部１００は、操作部１０５などを介して入力されたユーザによる撮像指示を受けて画像データの取得を行い、取得された画像データは撮像データとして記録媒体に保存される。撮像部１００は、一度の撮像指示により、同一の被写体を複数の視点から捉えた、互いに視差のある複数の画像の情報を含む画像データ（以下、視差画像データと呼ぶ）を取得する。また、撮像部１００で取得された画像データは、撮像装置の背面に設けられた表示部１０６にリアルタイムに表示するいわゆるライブビュー機能にも利用される。

中央処理装置（ＣＰＵ）１０１は、撮像装置内の各構成部を統括的に制御するプロセッサである。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能するメモリである。また、ＲＯＭ１０３は、ＣＰＵ１０１で実行される制御プログラム等を格納するメモリである。バス１０４は、各種データの伝送経路であり、例えば、撮像部１００によって取得された画像データはこのバス１０４を介して所定の処理部に伝送される。操作部１０５はユーザから与えられる指示を撮像装置に入力する入力デバイスであり、操作部１０５にはボタンやモードダイヤルなどのハードウェアが含まれる。表示部１０６は画像や文字の表示を行う表示装置であり、本実施例では液晶ディスプレイを用いる。表示部１０６はタッチスクリーンとしてのタッチ入力機能を有していても良く、その場合は操作部１０５の機能の一部を表示部１０６が担うことになる。本実施例の表示部１０６は、タッチスクリーンとしてのタッチ入力機能を有しており、ユーザはリフォーカス処理におけるピント位置を、表示部１０６を介したタッチ入力によって指定する。

表示制御部１０７は、表示部１０６に表示される画像や文字の表示制御を行う制御回路である。撮像部制御部１０８は、ＣＰＵ１０１からの指示に基づき、フォーカスを合わせる、シャッターを開く・閉じる、開口絞りを調節するなどの、撮像部１００の撮像系の制御を行う制御回路である。デジタル信号処理部１０９は、バス１０４を介して受け取った画像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種画像処理を行う処理回路である。エンコーダ部１１０は、バス１０４を介して受取った画像データをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う処理回路である。外部メモリ制御部１１１は、撮像装置をＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。撮像装置で取得や生成された画像データは、この外部メモリ制御部１１１を介して外部の記憶装置に出力（格納）することができる。画像処理部１１２は、撮像部１００で取得された画像データ或いは、デジタル信号処理部１０９から出力された画像データを用いて、後述するリフォーカス処理、表示画像の生成などの画像処理を行う処理回路である。以上が本実施例の撮像装置の構成である。

次に、撮像部１００の光学系の構成の詳細について、図２を参照して説明する。撮像部１００の光学系は、メインレンズ２０２、レンズアレイ２０３、撮像素子２０４を有する。なお、この構成は説明を簡単にするための簡素なものであり、実際の撮像部１００は開口絞りやカラーフィルタなどを更に有し、メインレンズとしても複数のレンズを用いてもよい。レンズアレイ２０３は複数の微小な凸レンズが二次元のアレイ状に並べられた光学素子であり、メインレンズ２０２に対する被写体面２０１の像側共役面上に配置されている。さらに、撮像素子２０４は、メインレンズ２０２の射出瞳と撮像素子２０４が、レンズアレイ２０３を介して概ね共役関係となる位置に配置されている。このような構成のカメラはプレノプティックカメラと呼ばれ、光線の入射方向に関する情報を含んだ画像を撮像することができる。以下にその原理を説明する。

被写体面２０１から射出された光線を撮像素子２０４で受光する場合を考える。被写体面２０１上の一点から射出されメインレンズ２０２に入射された光線は、その射出方向に寄らずに全てレンズアレイ２０３上の一点に結像される。しかし、レンズアレイ２０３の働きにより、レンズアレイ２０３上で結像した各光線は、その入射角度に応じてそれぞれ異なる方向に射出され、それぞれが撮像素子２０４上の異なる画素に入射する。つまり、被写体からの射出角度が異なる光線、言い換えると被写体を異なる方向から見た時に観測される光線が、それぞれ区別されて撮像素子２０４上に記録されることになる。ゆえに、プレノプティックカメラにより撮像された画像は複数の異なる視点から見た被写体の情報を含むことになる。そして、各画素がどの方向から入射した光線に対応するかは計算により求めることができるので、メインレンズ２０２の同じ領域を通過した光線に対応する画素を抜き出して並べ替えることで、複数の異なる視点に対応する複数の画像を得ることもできる。

図３は撮像素子２０４とレンズアレイ２０３の対応関係を示す図である。円３０１はレンズアレイ２０３中の凸レンズを示しており、四角３０２は撮像素子２０４中の画素を示している。レンズアレイ２０３中の凸レンズはそれぞれ９つの画素に対応し、被写体面２０１から射出された光線を、それぞれが通過したメインレンズ２０２上の領域ごとに９つの画素に振り分けることができる。つまり、撮像センサの長辺方向を水平方向、短辺方向を垂直方向とすると、本実施例の撮像部１００では、水平方向に３つ×垂直方向に３つの９つの視点に対応する光線を区別することができる。例えば、図３中の斜線部で示した画素はそれぞれメインレンズ２０２の上部中央を通過した光線に対応する画素であり、この斜線部の画素を抜き出して並べることで、メインレンズ上部中央の視点から観察した被写体の像を得ることができる。以上が本実施例の撮像装置の撮像部１００の詳細である。

なお、本発明の撮像装置の構成は上記の物に限られず、一部の構成部を省いたり、別の構成部に置き換えたりしてもよい。また、上記で説明しなかった更なる構成部を追加してもよい。また、撮像部の構成も上記に挙げたものに限られず、被写体を複数の視点から同時に撮像した画像を取得可能な構成の撮像部であれば、複数のカメラユニットを並べた撮像部など、どのような構成の撮像部を用いるようにしてもよい。

次に、本実施例の撮像装置で行われる処理について説明する。図４は画像処理部１１２の構成を示すブロック図、図５は画像処理部１１２で行われる処理の流れを示すフローチャートである。本実施例の撮像装置は、ＣＰＵ１０１がＲＯＭ１０３に格納された図５のフローチャートを実行するプログラムを読み込んで、画像処理部１１２を図４に示す各構成部として制御することにより、リフォーカス処理および表示画像の生成を行う。なお、図５に示す処理は、画像処理部１１２の各構成部を独立した処理回路として用意したハードウェアを用いて実現するようにしてもよい。以下、画像処理部１１２で行われる処理の詳細について、図４および図５を参照して説明する。

ステップＳ５０１では、画像取得部４０１が、バス１０４を介して入力された視差画像データを取得し、導出部４０３に出力する。ここで取得される視差画像データは、撮像部１００から直接入力されるライブビュー画像データでも良いし、撮像部１００により取得され、外部メモリ制御部１１１を介して外部メモリに記録された画像データでも良い。

ステップＳ５０２では、光学パラメータ取得部４０２が、ステップＳ５０１で取得した画像データの撮像に用いられた光学パラメータを取得し、導出部４０３および合成部４０５と補正部４０７に出力する。光学パラメータとしては、レンズの焦点距離やレンズ―センサ間距離、絞りの大きさ、撮像素子２０４のセンササイズや画素数などのパラメータが取得される。光学パラメータは撮像部１００から出力されるようにしてもよいし、撮像部１００の設計パラメータとしてＲＯＭ１０３や外部メモリに格納されたものを取得するようにしてもよい。また、視差画像データのメタデータとして画像取得部４０１で取得されるようにしてもよい。

ステップＳ５０３では、導出部４０３が、画像取得部４０１から入力された視差画像データと、光学パラメータ取得部４０２から入力された光学パラメータとに基づいて、視差画像データの各画素位置に対応する被写体の距離を示す距離情報を導出する。ここで導出される距離情報は、各画素位置における距離を画素値で示した距離画像（距離マップ）である。距離マップは、視差画像データが示す各視点の画像の間でステレオマッチングを行う等の方法により求めることができる。距離マップを求める方法としては他に、複数の画像のぼけ状態の違いを利用するＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）法や、赤外線を利用したアクティブ測距法などを用いることができる。本実施例では、ステレオマッチング法を用いた場合について説明する。

ステレオマッチング法では、異なる視点で撮像された画像間で、同じ被写体に対応する点が画像内でどれだけずれて表示されているかに基づいて、各画素に対応する被写体までの距離が求められる。ステレオマッチング法では、まず、距離マップを導出する基準となる視点（基準視点）が決定され、基準視点に対応する画像と、比較対象である参照視点に対応する画像との間でブロックマッチングが行われる。このブロックマッチングにより、基準視点に対応する画像のある位置に存在する点が、参照視点に対応する画像のどの位置に存在しているかが求められる。視点の異なる画像間での各点のずれ量は、その点に対応する被写体距離および、各画像を撮像した光学パラメータに依存するので、以下の関係式に基づいて、被写体距離ｄを求めることができる。

ここで、αは撮像部１００の画角であり、ｌは基準視点と参照視点の間の視点間距離、ｌ_ｐｉｘは対応する点の画素ずれ量、ｐ_ｐｉｘは画素がずれている方向における、各画像の総画素数である。導出部４０３は、光学パラメータ取得部４０２から入力された光学パラメータとブロックマッチングの結果を式１に代入して各画素について被写体距離ｄを求め、生成した距離マップを合成部４０５と補正部４０７に出力する。

ここで生成される距離マップの例を図６に示す。図６（ａ）は、撮像部１００に撮像された視差画像データが示す視点のうちの１つに対応する画像であり、図６（ｂ）は図６（ａ）に示す画像について生成された距離マップである。図６（ａ）に示す画像には、撮像装置から異なる位置に存在する３種類の被写体（被写体Ａ、被写体Ｂ、被写体Ｃ）の像が含まれている。図６（ｂ）に示す距離マップでは、各被写体の撮像装置からの距離が色の濃淡で示されており、撮像装置の近傍にある被写体が暗い色で、撮像装置から遠方にある被写体が明るい色で表示されている。

図６の（ｃ）及び（ｄ）は、図６の（ｂ）に示した距離マップから各被写体に対応する被写体領域を抽出した結果の一例を示す図である。図６（ｃ）は各被写体の輪郭に沿って被写体領域が抽出された場合、図６（ｄ）は各被写体に外接する矩形領域を被写体領域として抽出された場合である。被写体領域の抽出方法としては、主要な被写体を包含するように領域を設定する限りにおいて、様々な手法が適用可能である。例えば、円形、楕円形、三角形、多角形など任意の形状で被写体領域を定義してもよい。

ステップＳ５０４では、ピント取得部４０４が、ユーザによって入力されたユーザ指示に基づいて、リフォーカス処理において画像を合焦させるピント位置（合焦位置）を示すリフォーカスパラメータを取得する。本実施例の撮像装置において、ユーザは、表示部１０６に設けられたタッチパネルを操作することで、リフォーカス処理において画像を合焦させる合焦位置を指定する。ユーザが合焦位置を指定するためのユーザインタフェースの例を図７に示す。図７（ａ）は、ユーザがタッチした点を、リフォーカス処理において画像を合焦させる合焦位置として設定する場合を示す。この場合では、ユーザが指定した点あるいは領域が矢印７０１により強調表示され、その位置に存在する被写体までの距離が、リフォーカス画像でピントを合わせるピント距離（合焦距離）として算出される。図７（ｂ）は、ユーザが合焦距離を直接設定する場合を示す例である。この場合では、表示部１０６には合焦距離を調整するためのスライドバー７０２が表示され、ユーザはスライドバー７０２を動かすことにより所望の合焦距離を設定する。

なお、ユーザによる合焦位置や合焦距離の設定に用いられるＵＩは図７に示す例に限られない。例えば画像の領域を距離ごとに分割した領域分割画像を用いて各被写体を区別し、ボタンやモードダイヤルの操作によりリフォーカス処理でピントを合わせる被写体を選択するようにしてもよい。図７（ｃ）にそのような場合の例を示す。図７（ｃ）は撮像装置の背面の一例を示す図である。レリーズボタン７０３とモードダイヤル７０４はそれぞれ操作部１０５の一部である。レリーズボタン７０３には撮像部１００のズーム機構を制御するレバーが付属されており、ユーザは該レバーの操作によりリフォーカス処理でピントを合わせる距離を変更することができる。また、モードダイヤル７０４はそれ自体を回転させたり、押下することで種々の入力が可能なボタンであり、このモードダイヤルの回転や押下に応じて選択する被写体を切り替えるようにしてもよい。

ピント取得部４０４は、ここで取得されたリフォーカスパラメータを合成部４０５と補正部４０７に出力する。なお、このステップにおいて、リフォーカス可能範囲を逸脱する合焦位置が取得された場合には、ユーザに警告を通知し、リフォーカス可能範囲に含まれる、新たな合焦位置の設定を促すようにしてもよい。あるいは、リフォーカス可能範囲に含まれる合焦位置の中で、ユーザが指定した合焦位置に最も近い合焦位置をリフォーカスに用いる合焦位置として取得するようにしてもよい。

ステップＳ５０５では、合成部４０５が、導出部４０３から入力された視差画像データおよび距離マップと、ピント取得部４０４から入力されたリフォーカスパラメータとに基づいて、リフォーカス画像を生成する。本実施例の合成部４０５は、視差画像データが示す各視点の画像を、ピント取得部４０４から入力されたリフォーカスパラメータに基づいてシフト合成することでリフォーカス画像を生成する。以下、リフォーカス処理の原理について図８を参照して説明する。

図８は、視差画像データが示す各視点の画像のうち、水平方向に並んだ３つの視点に対応する画像および、その３枚の画像を合成することで得られるリフォーカス画像を示す。視差画像データは右の視点に対応する画像８１０と、中央の視点に対応する画像８１１および左の視点に対応する画像８１２を含み、画像８１０〜８１２は被写体８０１〜８０３の像を含んでいる。なお、撮像装置から近い順に、被写体８０３、被写体８０２、被写体８０１が存在しており、各被写体の像には、被写体距離に応じた視差が付いている。これらの画像を合成することで得られたリフォーカス画像が、画像８２０〜８２２である。画像８２０〜８２２では、それぞれ合成に用いられた画像８１０〜８１２のシフト量が異なっている。画像８２０は被写体８０１が重なるように画像８１０〜８１２をシフト合成して得られた画像であり、被写体８０１にピントが合った画像となっている。一方、被写体８０２および被写体８０３は、それぞれ被写体８０１とは異なる大きさの視差が付いているため、画像８２０においてそれぞれがずれた位置で合成される。そのため、画像８２０は被写体８０２および被写体８０３がぼけた画像となる。この時、被写体８０３は被写体８０２よりも被写体８０１との視差の差が大きいため、画像８２０において被写体８０２よりもぼけている。

同様に、被写体８０２が重なるように画像８１０〜８１２をシフト合成した画像８２１では、被写体８０２にピントが合い被写体８０１および被写体８０３がぼける。また、被写体８０３が重なるように画像８１０〜８１２をシフト合成した画像８２２では、被写体８０３にピントが合い被写体８０１および８０２がぼける。このように、ピントを合わせたい被写体に応じて決定したシフト量に基づいて視差画像データが示す各視点の画像をシフト合成することで、所定の距離にピントが合い、合焦距離からの距離に応じてぼけが付与されたリフォーカス画像を生成することができる。合成部４０５は、上記の方法で生成したリフォーカス画像を４０７に出力して、次の処理に進む。

ステップＳ５０６では、表示パラメータ取得部４０６が、表示部１０６に表示する表示画像の生成に必要な表示パラメータを取得する。ここで取得される表示パラメータには、表示部１０６で表示可能な画像の解像度が含まれる。表示パラメータは、ＲＯＭ１０３から読み込んだり、表示制御部１０７から入力されたりして取得することが可能である。表示パラメータ取得部４０６は、取得した表示パラメータを補正部４０７に出力して次の処理に進む。

ステップＳ５０７では、補正部４０７が、合成部４０５から入力されたリフォーカス画像を補正して、表示部１０６に表示するための表示画像を生成する。ここで生成される表示画像の例を図９（ａ）〜（ｄ）に示す。いずれも、３つの被写体である、人物、家、山のうち、最も手前側に存在する人物にピントが合ったリフォーカス画像を補正することで生成された画像であり、リフォーカス画像においてピントが合っている合焦領域を強調した画像となっている。図９（ａ）は、リフォーカス画像においてピントが合っていない非合焦領域に対してぼかし処理を加えた画像であり、合焦領域と非合焦領域の差が強調されるため合焦領域を認識しやすくなる。図９（ｂ）は、リフォーカス画像においてピントが合っている被写体の領域付近にマーカー（図中では矢印）を重畳表示することで、合焦位置にある被写体をより判別しやすくした画像である。図９（ｃ）は、リフォーカス画像においてピントが合っている被写体を枠で囲むことにより、合焦領域に存在する被写体の輪郭を強調した画像である。また、図９（ｄ）はピントが合っている被写体に対応する画像領域のみを表示し、他の画像領域を表示しないように設定した表示画像である。リフォーカス画像においてピントが合っている合焦領域の判定は、導出部４０３から入力された距離マップと、ピント取得部４０４から入力されたリフォーカスパラメータに基づいて行われる。例えば、リフォーカスパラメータが示す合焦距離と、対応する被写体距離との差があらかじめ定められた閾値以内である画像領域が合焦領域として抽出され、上記の処理が行われる。なお、合焦領域の抽出を行う前に、距離マップに平滑化フィルタやローパスフィルタなどを作用させておくと、抽出される領域の形が滑らかになる。

なお、生成される表示画像の例は上記に限られず、例えば合焦領域と非合焦領域で色味を変化させた画像を表示画像としてもよい。また、上記に示した例を組み合わせて、非合焦領域についてぼかし処理を行った画像に、合焦領域を示すマーカーを追加した画像を表示画像としてもよい。あるいは非合焦領域の輝度を合焦領域に比べて低くして強調してもよく、合焦領域が非合焦領域に対して強調される処理であれば他の処理でもよい。本実施例の補正部４０７では、表示画像として、図９（ａ）に示す、リフォーカス画像の非合焦要域にぼかし処理を行った画像を生成する。なお、ここで行われる処理の詳細については後述する。

ステップＳ５０８では、補正部４０７が、ステップＳ４０７で生成した表示画像データを表示制御部１０７に出力する。表示制御部１０７は、入力された表示画像データが表示部１０６に表示されるように、表示部１０６を制御する。

ステップＳ５０９では、ピント取得部４０４が、変更された表示に基づいてユーザにより新たな合焦位置が指定されたかどうかを判定する。ユーザにより新たな合焦位置が指定されたと判定された場合、ステップＳ５０４に戻り新たなリフォーカスパラメータの取得を行う。ユーザにより新たな合焦位置が指定されたと判定されなかった場合、ステップＳ５１０に進む。

ステップＳ５１０では、指示取得部が、ユーザによりリフォーカス画像の出力指示がなされたかどうかを判定する。ユーザは、ステップＳ５０８で生成された表示画像を観察し、所望の合焦状態を有するリフォーカス画像が得られたと判断した場合に、そのリフォーカス画像を出力する指示を操作部１０５の操作により入力することができる。ユーザによりリフォーカス画像の出力指示が入力されたと判定されなかった場合、ステップＳ５０９に戻る。ユーザによりリフォーカス画像の出力指示が入力されたと判定された場合、ステップＳ５１１に進む。

ステップＳ５１１では、合成部４０５が、指示取得部からの信号を受取り、その時のリフォーカスパラメータを用いて生成された画像を出力部４０９に出力する。出力部４０９は、合成部４０５から入力されたリフォーカス画像を、外部メモリ制御部１１１などに出力して処理を終了する。

以上が、本実施例の画像処理部１１２で行われる処理の流れである。次に本実施例の補正部４０７で行われる処理（ステップＳ５０７）の詳細について説明する。図１０は補正部４０７の構成を示すブロック図、図１１は補正部４０７の処理の流れを示すフローチャートである。

まず、ステップＳ１１０１では、変形部１００１が、合成部４０５から入力されたリフォーカス画像と、導出部４０３から入力された距離マップとを取得する。次に、ステップＳ１１０２では、変形部１００１と設定部１００２が、表示パラメータ取得部４０６から入力された表示パラメータを取得する。ステップＳ１１０３では、変形部１００１が、ステップＳ１１０２で取得した表示パラメータに基づいて、ステップＳ１１０１で取得したリフォーカス画像と距離マップとを変形する。このステップでは、変形部１００１が、表示部１０６で表示可能な画像の解像度に合わせて、リフォーカス画像と距離マップのリサイズを行う。本実施例では、表示部１０６で表示可能な画像の解像度がリフォーカス画像と距離マップの解像度よりも低いので、ここでリフォーカス画像と距離マップの縮小処理を行う。縮小処理には、最近傍法や平均画素法などの公知の方法を用いることができる。変形部１００１は、リフォーカス画像と距離マップのリサイズが完了したら、リサイズしたリフォーカス画像と距離マップとを処理部１００３に出力する。

ステップＳ１１０４では、設定部１００２が、ステップＳ１１０２で取得した表示パラメータに基づいて、リフォーカス画像に適用するぼかしフィルタのタップ数（サイズ）およびフィルタ係数を決定する。リフォーカス画像の解像度をＲ_ｃｏｍｂ、表示画像の解像度をＲ_ｄｉｓｐとすると、ぼかしフィルタのタップ数σは以下の式で表わされる。

例えば、リフォーカス画像の有効画素数（解像度）が１８０×１０^６画素であり、表示画像の有効画素数が２０×１０^６画素の場合は、フィルタのタップ数σは６となる。フィルタ対象の着目画素の座標を（ｘ，ｙ）とすると、画素位置（ｋ，ｌ）におけるフィルタ係数ｃ（ｋ，ｌ）は以下の式で表わされる。

設定部１００２は、上記の式に基づいてフィルタのタップ数と係数を決定したら、その値を処理部１００３に出力する。なお、本実施例では、リフォーカス画像の解像度と表示画像の解像度からフィルタのタップ数を決定したが、フィルタのタップ数の求め方は式（２）の方法に限定されない。例えば、リフォーカス画像の解像度と表示画像の解像度にかかわらず、固定の値をタップ数として定めてもよい。例えば、３、５、８、１６などの整数値をフィルタのタップ数として設定可能である。ただし、式（２）に示すようにリフォーカス画像の解像度と表示画像の解像度に基づいてフィルタのタップ数を決定すると、画像の縮小に起因する解像度の劣化に応じたぼけ強調を行えるので、より縮小前の画像のぼけ度合いに近い画像を得ることができる。また、フィルタ係数についても、ぼかし処理を実現できる係数であればよいので、式（３）のガウシアンに限定されない。例えば、全てのフィルタ係数が同じ値となる平滑化フィルタを用いるようにしてもよい。

ステップＳ１１０５では、処理部１００３が、ピント取得部４０４から入力されたリフォーカスパラメータと、光学パラメータ取得部４０２から入力された光学パラメータとを取得する。ステップＳ１１０６では、処理部１００３が、変形部１００１から入力されたリサイズ後のリフォーカス画像と距離マップとを取得し、リサイズ後のリフォーカス画像における着目画素を決定する。ここで決定される着目画素は、その画素にフィルタ処理を行うか否かの判断の対象となる画素であり、最初はリフォーカス画像の一番左上の画素が選択される。なお、ここでの画素の選択は一例であり、最初の着目画素としてはどの画素を選択してもよい。

ステップＳ１１０７では、処理部１００３が、ステップＳ１１０５で取得したリフォーカスパラメータと、ステップＳ１１０６で取得した距離マップとを比較し、着目画素がフィルタ処理の対象画素であるかどうかを判定する。ここで、処理部１００３は、着目画素に対応する被写体距離が、リフォーカスパラメータが示すリフォーカス画像における合焦距離の近傍に存在しない場合に、その着目画素をフィルタ処理の対象画素として判定する。具体的には、着目画素（ｘ，ｙ）に対応する被写体距離ｄ（ｘ，ｙ）が以下の不等式を満たす場合に、着目画素（ｘ，ｙ）は合焦距離の近傍にあると判定される。

ここで、ｄ_{ｆｏｃｕｓ}は、リフォーカスパラメータが示す、リフォーカス画像における合焦距離であり、Ｄ_{ｆｒｏｎｔ}とＤ_ｒｅａｒはそれぞれリフォーカス画像の前方被写界深度と後方被写界深度である。撮像部１００の許容錯乱円径をε、撮像部１００の実行ＦナンバーをＦ、撮像部１００の焦点距離をｆとすると、Ｄ_{ｆｒｏｎｔ}とＤ_ｒｅａｒはそれぞれ以下の式で表わされる。

処理部１００３は、ステップＳ１３０５で取得したリフォーカスパラメータと光学パラメータを上記の式（４）〜（６）に代入し、着目画素がフィルタ処理の対象画素であるかどうかを判定する。着目画素がフィルタ処理の対象画素であると判定された場合、ステップＳ１１０８に進む。着目画素がフィルタ処理の対象画素でないと判定された場合、ステップＳ１１０９に進む。

なお、上記の判定に使用される前方被写界深度Ｄ_{ｆｒｏｎｔ}と後方被写界深度Ｄ_ｒｅａｒは、各合焦距離について予め計算しておき、ＲＡＭ１０２やＲＯＭ１０３などに保持しておいてもよい。また、上記の判定に被写界深度を用いず、着目画素に対応する被写体距離が、合焦距離からあらかじめ定められた閾値により規定される範囲に入っているかどうかに基づいて上記の判定を行うようにしてもよい。例えば、着目画素位置における距離ｄが合焦距離ｄ_{ｆｏｃｕｓ}の前後１ｍの範囲内にある場合に、着目画素がフィルタ対象画素ではないと判定するようにするなど、合焦距離と被写体距離の間の差が所定の閾値以下であるかどうかに基づいて判定すればよい。

ステップＳ１１０８では、処理部１００３が、設定部１００２から入力されたタップ数および係数のフィルタを用いて、リフォーカス画像の着目画素に対してフィルタ処理を行う。そしてフィルタ処理の結果を、表示画像の、着目画素と同じ位置に存在する画素の画素値として設定する。リフォーカス画像の画素位置（ｘ，ｙ）に存在する画素の画素値をＩ_ｃｏｍｂ（ｘ，ｙ）とすると、表示画像の画素位置（ｘ，ｙ）に存在する画素の画素値Ｉ_ｄｉｓｐ（ｘ，ｙ）は以下の式で表わされる。

処理部１００３は、リフォーカス画像の画素値とフィルタ係数を上記の式７に代入し、表示画像の画素値を求めると、ステップＳ１１１０に進む。

ステップＳ１１０９では、処理部１００３が、リフォーカス画像の着目画素の画素値を、表示画像の同じ画素位置の画素値として設定する。つまり、着目画素がフィルタ処理の対象でない場合、Ｉ_ｄｉｓｐ（ｘ，ｙ）は以下の式で表わされる。

処理部１００３は、表示画像の画素値を上記の式（８）に基づいて設定すると、ステップＳ１１１０に進む。

ステップＳ１１１０では、処理部１００３が、リフォーカス画像の全画素について処理が行われたかどうかを判定する。リフォーカス画像の全画素について処理が行われたと判定された場合、ステップＳ１１１２に進む。リフォーカス画像の全画素について処理が行われていないと判定された場合、ステップＳ１１１１に進む。ステップＳ１１１１では、処理部１００３が、これまでの処理で着目画素として選択されていない新たな画素を着目画素として設定し、ステップＳ１１０７に戻る。ステップＳ１１１２では、処理部１００３が、生成した表示画像を表示制御部１０７に出力し、処理を終了する。

以上が本実施例における表示画像の生成処理である。以上の処理によれば、リフォーカス画像においてピントが合っている被写体以外の被写体のぼけが強調されるので、リフォーカス画像においてピントが合っている領域の判断が容易となる。そのため、ユーザはリフォーカスパラメータの設定をより直感的に行うことができるようになり、所望のリフォーカス画像を得やすくなる。なお、上記の実施例では、着目画素の被写体距離に基づいて着目画素がフィルタ処理の対象であるかどうかを判定したが、導出部４０３が距離に換算する前の、基準視点と参照視点の間の画素ずれ量ｌ（ｘ，ｙ）を用いて上記の判定を行ってもよい。その場合には、以下の不等式を用いて着目画素がフィルタ処理の対象かどうかの判定が行われる。

ここで、ｌ_{ｆｏｃｕｓ}は、合焦距離に存在する被写体に対応する画素ずれである。ｓは、リフォーカス画像上でピントが合っている（ぼけていない）と判定される画素の許容移動量である。ここでは許容移動量をｓ＝１（画素）と設定するが、リフォーカス画像と表示画像の解像度を考慮して許容移動量ｓを定めてもよい。例えば、以下の式に従って許容移動量ｓを定めてもよい。

また、ステップ１１０９において、合焦距離の近傍に存在する被写体に対応する画素位置においては、リフォーカス画像の画素値をそのまま表示画像の画素値としたが、この位置に存在する画素に対してもフィルタ処理を行うようにしてもよい。この場合、合焦距離の近傍に存在する被写体の鮮鋭性をより強調するフィルタ処理が行われる。例えば、以下の式に示すフィルタを用いて画像の周波数成分の高域を強調した画像が生成される。

なお、画像の周波数成分の高域を強調するフィルタは式（１１）に限定されず、他のフィルタを用いて高域強調処理を実現してもよい。また、フーリエ変換を用いてリフォーカス画像を周波数空間へ変換した後、周波数空間上で高域強調処理を行うようにしてもよい。なお、上記の高域強調処理を行う場合には、ステップＳ１１０８で行われるぼかしフィルタによる処理を省略してもよい。いずれの場合も、合焦距離近傍に存在する被写体が、その他の距離に存在する被写体に比べて強調され、両者を区別しやすくなる画像が生成されればよい。

なお、図５における各種パラメータは、予めＲＯＭ１０３に保持した値を用いてもよく、その場合は対応する取得ステップを省略してもよい。また、ピント位置の変更を省略する場合、ステップＳ５０９およびステップＳ５１０は省略可能である。

なお、本実施例において、画像取得部４０１は、画像を示す画像データを取得する取得手段として機能する。また、ピント取得部４０４は、リフォーカス画像の合焦位置を示す第一のユーザ指示を入力する第一の入力手段として機能する。また、補正部４０７は、前記第一のユーザ指示に基づき、ユーザに表示するための表示画像を生成する第一の生成手段として機能する。また、指示取得部４０８は、表示された前記表示画像に対して入力された、画像の出力指示である第二のユーザ指示を入力する第二の入力手段として機能する。また、出力部４０９は、前記第二のユーザ指示に応じて、前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像を出力する出力手段として機能する。また、合成部４０５は、前記第一のユーザ指示に基づいて、前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像を前記画像データから生成する第二の生成手段として機能する。また、設定部１００２は、前記第一のユーザ指示が示す合焦位置にピントがあったリフォーカス画像の解像度と、前記表示画像を表示する表示手段の解像度とに基づいて、ぼかしフィルタのサイズを決定する決定手段として機能する。また、導出部４０３は、前記画像データが示す画像中の、各画素に対応する被写体距離を示す距離情報を取得する距離取得手段として機能する。

また、上記実施例では、解像度の低いディスプレイで表示する場合について説明したが、解像度の高いディスプレイの場合であっても上記実施例はリフォーカス画像をそのまま表示する場合に比べてユーザが容易に判断することができるという効果を有する。

＜実施例２＞
実施例１では、視差画像データを合成することで生成したリフォーカス画像を補正したものを表示画像として生成する場合について説明した。実施例２では、表示画像として、リフォーカス画像ではなく視差画像データが示す画像のうちの１枚の画像を補正したものを用いる場合について説明する。本実施例に係る撮像装置の構成は実施例１で説明したものと同様であるので、撮像装置の構成についての説明は省略する。

以下、実施例２の画像処理部１１２で行われる処理について、図１２に示すブロック図と図１３に示すフローチャートを参照して説明する。図１２は、実施例２の画像処理部１１２の機能ブロックを示す図である。実施例１と同様の構成については、図４における場合と同じ符号を付している。図１３のフローチャートにおいても、実施例１と同様の処理については図５と同様の符号を付して説明を省略する。ここでは、実施例１との差異についてのみ説明する。

ステップＳ１３０１では、ピント取得部１２０１が、ユーザによって入力された、リフォーカス処理において画像を合焦させる合焦位置を示す、リフォーカスパラメータを取得する。この処理では、ステップＳ５０４とは異なり、ピント取得部１２０１は、リフォーカスパラメータを補正部１２０２のみに出力する。

ステップＳ１３０２では、補正部１２０２が、導出部４０３から入力された視差画像データを補正することで、表示部１０６に表示するための表示画像を生成する。このステップでは、実施例１のステップＳ５０７とは異なり、補正部１２０２はリフォーカス画像ではなく視差画像データが示す画像のうちの一枚を補正することで表示画像を生成する。ここで用いられる画像は、導出部４０３で距離マップを導出する際に用いられた基準視点に対応する画像である。このステップで行われる画像処理の詳細は、図１１で示される実施例１の処理と、処理に用いるリフォーカス画像が、視差画像データが示す画像のうちの一枚に置き換えられた以外の差がないため、説明を省略する。

ステップＳ１３０３では、ユーザによるリフォーカス画像の出力指示が合った場合、指示取得部１２０３がピント取得部１２０１にリフォーカス画像の出力命令を出力し、ピント取得部１２０１はその時のリフォーカスパラメータを合成部１２０３に出力する。ステップＳ１３０４では、合成部１２０３が、ピント取得部から入力されたリフォーカスパラメータと、導出部４０３から入力された視差画像データおよび距離マップとを用いて、リフォーカス画像を生成する。そして、合成部１２０３はステップＳ５１１でリフォーカス画像の出力を行い、処理を終了する。

以上が実施例２に係る撮像装置で行われる処理である。以上の処理によれば、リフォーカスパラメータを変更する度にリフォーカス画像の生成処理を行わなくて済むので、より高速に表示画像の切り替えを行うことができるため、リフォーカスパラメータ設定時のユーザのストレスを低減することができる。

＜その他の実施形態＞
上記の実施例では、リフォーカス画像として、視差画像データが示す複数の視点の画像をシフト合成して生成した画像を用いた場合について説明した。リフォーカス画像の生成方法はこれに限られず、例えば視差画像データが示す画像の１つに、各画素に対応する被写体距離と合焦距離との差に応じて大きさや強度を変化させたぼけフィルタを作用させた画像をリフォーカス画像として用いるようにしてもよい。このような画像をリフォーカス画像として用いる場合には、入力する画像データは視差画像データである必要はなく、被写体を含む１枚の画像と、それに対応する距離マップさえ入力されれば良い。そのような画像をリフォーカス画像として用いた場合であっても、リフォーカス画像において合焦する領域が表示画像において強調されていればよい。すなわち、リフォーカス画像においてピントが合っていない領域にぼかしフィルタをかけることで合焦領域を強調する場合には、出力画像として、表示画像よりも弱いぼかしフィルタがかけられた、ぼけの度合いが小さい画像が出力されることになる。

また、上記の実施例では、ユーザ入力に基づくリフォーカスパラメータが変化するたびにリフォーカス画像を新たに生成していたが、リフォーカス画像の生成の形態はこれに限られない。例えば、異なる合焦位置に対応する複数のリフォーカス画像を予め生成してＲＡＭ１０２やＲＯＭ１０３や外部記憶装置に保存しておき、生成されたリフォーカス画像の中からユーザ入力に基づいて１枚を選択して読み出して出力するようにしてもよい。また、ユーザ入力に基づいて１枚を選択して出力するだけでなく、全てのリフォーカス画像を読み込んでから、ユーザに選択された１枚にフラグ情報を付加して、全てのリフォーカス画像を出力するようにしてもよい。

また、視差画像データを撮像するための撮像部１００の構成は、実施例１で説明したプレノプティックカメラに限られない。例えば図１４に示すような構成の撮像部を用いてもよい。図１４（ａ）示す構成では、レンズアレイ２０３が、被写体面２０１の像側共役面よりもメインレンズ２０２に近い位置に配置される。また、図１４（ｂ）に示す構成では、レンズアレイ２０３が、被写体面２０１の像側共役面よりもメインレンズ２０２から遠い位置に配置される。これらの構成では、実施例１で説明した構成とは異なり、いずれも被写体面２０１から射出された光線がレンズアレイ２０３によって撮像素子２０４上に結像される。そのため、撮像素子２０４上に形成されるレンズアレイ２０３中の各凸レンズに対応する像は、実施例１のような被写体上の１点から射出された光線が入射方向ごとに分解された像ではなく、被写体の一部の領域が映し出された像となる。このような構成では、実施例１で示した場合よりも光線方向と画素位置の関係が複雑となるが、このような構成であっても、同一の被写体から射出された光線は、その射出方向によって撮像素子２０４上のそれぞれ異なる画素に入射される。この対応関係は実施例１に示した構成の撮像部と同様に、光学パラメータに基づいて計算できる。そのため、図１４（ａ）および（ｂ）に示した構成の撮像部を用いた場合であっても、同じ方向の光線に対応する画素を抜き出して視差画像データを生成することが可能である。また、図１４（ｃ）に示すような構成の撮像部を用いることもできる。図１４（ｃ）に示す撮像部の構成は、それぞれが異なる視点から被写体を撮像する複数のカメラユニットを備えた構成である。この構成では、各カメラユニットでそれぞれ異なる視点に対応する画像が撮像されるので、各カメラユニットからの出力をそのまま視差画像データとして用いることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＣＰＵ
１１２ 画像処理部
４０１ 画像取得部
４０４ ピント取得部
４０７ 補正部
４０８ 指示取得部
４０９ 出力部

Claims (17)

1. 画像を示す画像データを取得する取得手段と、
   前記画像データが示す画像の、画像中でピントが合っている位置である合焦位置を変化させた画像であるリフォーカス画像を生成するための、前記リフォーカス画像の合焦位置を示す第一のユーザ指示を入力する第一の入力手段と、
   前記第一のユーザ指示に対応するリフォーカス画像が生成できない場合にユーザに警告を通知し、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像を生成する第一の生成手段と、
   表示された表示画像に対して入力された、画像の出力指示である第二のユーザ指示を入力する第二の入力手段と、
   前記第二のユーザ指示に応じて、前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像を出力する出力手段とを有し、
   前記表示画像は、前記第一のユーザ指示が示す合焦位置に対応する画像領域を、前記出力手段により出力される前記リフォーカス画像における場合よりも強調した画像であることを特徴とする画像処理装置。
2. 前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に、前記第一のユーザ指示が示す合焦位置にピントがあったリフォーカス画像の、ピントが合っている合焦領域とは異なる非合焦領域にぼかしフィルタをかけることで、前記第一のユーザ指示が示す合焦位置に存在する被写体が強調された画像を、前記表示画像として生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第一のユーザ指示が示す合焦位置にピントがあったリフォーカス画像の解像度と、前記表示画像を表示する表示手段の解像度とに基づいて、前記ぼかしフィルタのサイズを決定する決定手段を更に有し、
   前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に、前記決定手段により決定されたサイズのぼかしフィルタを用いて前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像にフィルタ処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に、前記第一のユーザ指示が示す合焦位置にピントがあったリフォーカス画像の、ピントが合っている合焦領域に、高域の周波数成分を強調するフィルタをかけることで、前記第一のユーザ指示が示す合焦位置に存在する被写体が強調された画像を、前記表示画像として生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に、前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像の、ピントが合っている合焦領域に存在する被写体の輪郭を強調した画像を、前記表示画像として生成することを特徴とする請求項１に記載の画像処理装置。
6. 前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に、前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像の、ピントが合っている合焦領域に存在する被写体の近傍にマーカーを重畳した画像を前記表示画像として生成することを特徴とする請求項１に記載の画像処理装置。
7. 前記画像データは、異なる視点に対応する複数の画像を示す視差画像データであり、
   前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像は、前記視差画像データが示す複数の画像を、前記第一のユーザ指示が示す合焦位置に基づいてシフト合成することで生成された画像であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像は、前記画像データが示す画像に、被写体距離に基づくぼかしフィルタを作用させることで生成された画像であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に、前記画像データが示す画像の、前記第一のユーザ指示が示す合焦位置に対応する画像領域とは異なる画像領域にぼかしフィルタをかけることで、前記第一のユーザ指示が示す合焦位置に対応する画像領域が強調された表示画像を生成し、
   前記出力手段は、前記リフォーカス画像として、前記合焦位置に対応する画像領域とは異なる画像領域におけるぼけの度合いが、前記表示画像における場合よりも小さい画像を出力することを特徴とする請求項１に記載の画像処理装置。
10. 前記画像データが示す画像中の、各画素に対応する被写体距離を示す距離情報を取得する距離取得手段を更に有し、
    前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に、前記距離取得手段により取得された距離情報に基づいて、前記画像データが示す画像において、前記第一のユーザ指示が示す合焦位置に対応する画像領域を判定し、該判定の結果に基づいて前記表示画像を生成することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記第一の入力手段は、前記第一のユーザ指示に基づいて、前記リフォーカス画像で合焦する被写体が存在する距離である合焦距離を導出し、
    前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に、前記距離情報が示す被写体距離と前記合焦距離との差が所定の閾値以下となる画像領域を、前記第一のユーザ指示が示す合焦位置に対応する画像領域として判定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記第一の生成手段は、前記距離情報が示す被写体距離と前記合焦距離との差が、前記リフォーカス画像の被写界深度の範囲におさまる領域を前記第一のユーザ指示が示す合焦位置に対応する画像領域として判定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記第一の生成手段は、前記第一のユーザ指示に対応するリフォーカス画像が生成でき、且つ前記表示画像を表示する表示手段の解像度が前記出力手段が出力するリフォーカス画像の解像度よりも小さい場合に、前記表示画像として、前記第一のユーザ指示が示す合焦位置に対応する画像領域を、前記リフォーカス画像における場合よりも強調した画像を生成することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 前記表示画像を表示する表示手段を更に有することを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 請求項１乃至１４のいずれか一項に記載の画像処理装置としての機能を有し、前記画像データを撮像により取得する撮像部を更に有することを特徴とする撮像装置。
16. コンピュータを請求項１乃至１５のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。
17. 画像を示す画像データを取得する取得工程と、
    前記画像データが示す画像の、画像中でピントが合っている位置である合焦位置を変化させた画像であるリフォーカス画像を生成するための、前記リフォーカス画像の合焦位置を示す第一のユーザ指示を入力する第一の入力工程と、
    前記第一のユーザ指示に対応するリフォーカス画像が生成できない場合にユーザに警告を通知し、前記第一のユーザ指示に対応するリフォーカス画像が生成できる場合に前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像を生成する第一の生成工程と、
    表示された表示画像の表示に対して入力された、画像の出力指示である第二のユーザ指示を入力する第二の入力工程と、
    前記第二のユーザ指示に応じて、前記第一のユーザ指示が示す合焦位置にピントが合ったリフォーカス画像を出力する出力工程とを含み、
    前記表示画像は、前記第一のユーザ指示が示す合焦位置に対応する画像領域を、前記出力工程において出力される前記リフォーカス画像における場合よりも強調した画像であることを特徴とする画像処理方法。

Images