JP6234401B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、被写体のピント制御に関する情報を得るための画像処理装置、撮像装置、画像処理方法、プログラムに関するものである。

ライトフィールドフォトグラフィでは、複数視点の撮像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド）を計算する。そして、得られたライトフィールドの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、前述したリフォーカスも可能となる。ライトフィールドを取得するための撮像装置としてはメインレンズの後ろにマイクロレンズアレイを置いたＰｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ（例えば、特許文献１）や、小型のカメラを並べたカメラアレイが知られている。いずれも被写体を異なる方向から撮像した複数視点の画像データを一回の撮像で得る事ができる。すなわち、ライトフィールドフォトグラフィとは、複数視点の画像データから仮想の光学条件下での仮想センサの取得する画像を計算することと言い換えることもできる。なお、以下では、この仮想のセンサが取得する画像を計算する処理を「リフォーカス処理」と呼ぶこととする。リフォーカス処理としては、取得した複数視点の画像データを仮想センサ上に射影変換し加算して平均化する方法が知られている（例えば、特許文献２）。

ピント位置を変更しながらリフォーカス処理された画像（以下、リフォーカス画像）を表示する方法としては、例えば、特許文献３に開示された方法がある。特許文献３の方法では、ピント位置を調整するユーザインターフェィス（ＵＩ）を、リフォーカス画像が表示される画面上に用意し、該ＵＩを介して、ピント位置を変更している。更に、特許文献３には、リフォーカス画像が表示される画面において、ピント位置を合わせたい被写体を、該画面を通じてユーザが指示し、同被写体にピント位置が調整されたリフォーカス画像を表示する方法が開示されている。

特開２００９−１２４２１３号公報 ＷＯ２００８０５０９０４ ＵＳ特許２００８／０１３１０１９号公報

Ｒｅｎ Ｎｇ著、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４、ｐ７３５−７４４

つまり、上述した特許文献等に開示される従来手法では、撮影時、或いは画像の編集時に、どの範囲の被写体がリフォーカス可能であるのかが明示されず、そのためユーザは意図した撮影や画像編集を行うことが困難であるという課題がある。

本発明に係る画像処理装置は、複数の被写体領域を含む画像および、前記複数の被写体領域に対応する距離情報を取得する取得手段と、前記距離情報に基づいて、前記複数の被写体領域を再配置した再配置画像を生成する第一の生成手段と、前記複数の被写体領域を含む前記画像の合焦状態を変化させるリフォーカス処理を行う際の合焦状態に関する情報を、前記再配置画像に反映した画像を生成する第二の生成手段と、を有し、前記合焦状態に関する情報には、前記複数の被写体領域についてのリフォーカス可能な範囲を示す情報を少なくとも含む、ことを特徴とする。

本発明によれば、ユーザは、撮影時、或いは画像の編集時に、被写体の合焦状態を直観的に把握することができる。

実施例１に係る多眼方式の撮像装置の内部構成を示すブロック図である。 結像光学系の像側にレンズアレイを配置した構成の一例である。 結像光学系の像側にレンズアレイを配置した構成の一例である。 結像光学系の像側にレンズアレイを配置した構成の一例である。 複数の結像光学系を配列した構成（カメラアレイ）の一例である。 レンズアレイと撮像素子の関係を表した図である。 実施例１におけるリフォーカスの係数α_±を表す式の関係を図で表したものである。 実施例１に係る画像処理部の内部構成を示したブロック図である。 実施例１に係る画像処理部における処理の流れを示すフローチャートである。 （ａ）は単視点画像の一例を示す図であり、（ｂ）は単視点画像について導出された距離情報としての距離マップを示す図である。 距離マップから被写体領域を抽出した結果の一例を示す図である。 単視点画像に係るシーンを真上から俯瞰した場合における再配置画像の一例を示す図である。 図２で示す撮像部の構成における光学配置を示した図である。 合焦情報表示画像の一例を示す図である。 合焦情報表示画像のバリエーションを示す図である。 合焦情報表示画像に、単視点画像及び／又は合成画像を併せて表示する場合の一例を示す図である。 図３で示す撮像部の構成におけるレンズアレイと撮像素子部分を中心に拡大した図である。 実施例２におけるリフォーカスの係数α_±を表す式の関係を図で表したものである。 カメラアレイの構成を有する撮像部を正面（物体側）から見た図である。 実施例３に係る、結像光学系と撮像素子を側面から見た図（断面図）である。 実施例３におけるリフォーカスの係数α_±を表す式の関係を図で表したものである。

＜実施例１＞
本実施例では、被写体領域ごとの距離に応じて、各被写体領域の座標（配置）を変更した画像を用いて、リフォーカス可能な範囲を直感的に把握できるようにする態様を説明する。

図１は、本実施例に係る多眼方式の撮像装置の内部構成を示すブロック図である。撮像部１５００は、被写体の光情報を撮像素子で受光し、受光した信号をＡ／Ｄ変換して、画像データ（デジタルデータ）を取得する。この画像データは、ユーザからの撮像指示を受けて撮像データとしてＳＤカード等の記録媒体に保存される。本実施例に係る撮像部１５００で取得される画像データは、被写体空間を複数の視点から捉えた視差のある画像データ（以下、「視差画像データ」と呼ぶ。）である。また、撮像部１５００で取得された画像データは、撮像装置の背面に設けられた表示部１５０６にリアルタイムに順次表示するいわゆるライブビュー機能にも利用される。以下では、ユーザからの撮像指示に応じて記録媒体に保存された画像を記録画像と呼び、ライブビュー表示においてリアルタイムに表示される画像をライブビュー画像と呼ぶこととする。

中央処理装置（ＣＰＵ）１５０１は、以下に述べる各部を統括的に制御する。ＲＡＭ１５０２は、ＣＰＵ１５０１の主メモリ、ワークエリア等として機能する。ＲＯＭ１５０３は、ＣＰＵ１５０１で実行される制御プログラム等を格納している。バス１５０４は、各種データの転送経路であり、例えば、撮像部１５００によって取得されたデジタルデータはこのバス１５０４を介して所定の処理部に送られる。ユーザの指示を受け取る操作部１５０５には、ボタンやモードダイアルなどが含まれる。画像や文字の表示を行う表示部１５０６には、例えば、液晶ディスプレイが用いられる。表示部１５０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部１５０５の入力として扱うことも可能である。本実施例では、リフォーカス可能な範囲を表示し、リフォーカス時の合焦位置を指定する場合は、このようなタッチスクリーンを介したユーザ入力によって指定される。

表示制御部１５０７は、表示部１５０６に表示される画像や文字の表示制御を行う。撮像部制御部１５０８は、フォーカスを合わせる、シャッターを開く・閉じる、開口絞りを調節するなどの、ＣＰＵ１５０１からの指示に基づいた撮像系の制御を行う。デジタル信号処理部１５０９は、バス１５０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコーダ部１５１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部１１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインタフェースである。画像処理部１５１２は、撮像部１５００で取得された画像データ或いは、デジタル信号処理部１５０９から出力される画像データから、後述するリフォーカス処理などの画像処理を行う。画像処理部１５１２の詳細については後述する。露出状態予測部１５１３は、撮像時における撮像部１５００の露出状態の予測を行う。なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。

まず、撮像部１５００の構成に関して詳しく説明する。

上述のとおり撮像部１５００は、視差画像データ、つまりライトフィールドデータを取得する。撮像部１５００の構成例を、図２〜図５に示す。このうち図２〜図４は結像光学系の像側にレンズアレイを配置した構成であり、図５は複数の結像光学系を配列した構成（カメラアレイ）である。撮像部の構成としては、図２〜図５に示したような、複数視点の画像を同時に得られる多眼方式の構成が望ましい。単眼方式の撮像装置を用いて位置を変化させながら複数回撮像を行う方法では、異なる時間における被写体空間を撮像した視差画像データとなり、被写体空間に移動物体が存在する場合には、正しい視差情報を得ることができないからである。

図２〜図５で示す構成の撮像部１５００で取得された視差画像データは、画素の抽出や並び換え、合成等の処理を行うことで、リフォーカスや被写界深度制御、視点の変更等を行うことができる。以下では、これらの処理を画像合成処理と呼び、画像合成処理によって生成された画像を合成画像と呼ぶ。合成画像は、ノイズリダクション等の処理や、被写界深度制御等の処理が施されていてもよい。また、被写体空間でリフォーカスが可能な範囲を「ピント制御範囲」と呼ぶこととする。

ここでは、図２に示した撮像部１５００の内部構成について詳しく説明する。

レンズアレイ１６０３は、結像光学系１６０２の被写体面１６０１に対する像側共役面上に配置されている。さらに、レンズアレイ１６０３は、結像光学系１６０２の射出瞳と撮像素子１６０４が、概ね共役関係となるように構成されている。被写体面１６０１からの光線は、結像光学系１６０２及びレンズアレイ１６０３を介することで、該光線の被写体面１６０１上における位置と角度に応じて、撮像素子１６０４の異なる画素へ入射する。これにより視差画像データ（ライトフィールドデータ）が取得される。ここでレンズアレイ１６０３は、被写体面１６０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子１６０４では、被写体面１６０１上の同一の領域を複数の視点から捉えた画素群が並んだ画像が取得されることになる。

なお、図２〜図５における被写体面１６０１上に、人物や建物などの物体が必ずしも存在している必要はない。これはリフォーカスによって、被写体面１６０１より奥或いは手前に存在する人物や建物等に、撮像後にピント位置を合わせることができるためである。

＜リフォーカスの原理＞
ここからはリフォーカス処理に関して説明する。リフォーカスに関しては、非特許文献１で詳しく説明されているので、ここでは簡単に述べる。リフォーカスの基本的な原理は、図２〜図５のいずれの構成でも共通である。ここでは図２の構成を例に説明する。図２では、結像光学系の瞳が２次元で９つ（１次元で３つ）に分割されているため、９視点の画像が取得されていることとなる。ここで、ある分割された瞳に対応する画像を単視点画像と呼ぶこととする。９つの単視点画像は互いに視差があるため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、ずれて合成されることとなる。このずれによって異なる被写体距離に位置する被写体はボケる。この時のボケは、合成に使用した単視点画像に対応した瞳で決まり、９枚全ての単視点画像を合成すると結像光学系１６０２で取得した画像のボケを再現することができる。単視点画像の合成で重ね合わせる被写体は任意なので、これにより結像光学系１６０２で任意の被写体に合焦した画像を再現することができる。これが撮像後のピント制御、つまりリフォーカスの原理である。

ここで、本実施例における単視点画像の生成方法を説明しておく。図６は、図２のレンズアレイ１６０３と撮像素子１６０４の関係を表した図である。破線の円２００１は、レンズアレイ１６０３を構成する１つのレンズ（マイクロレンズ）を通過した光線が入射する画素の領域を表している。図６は複数のマイクロレンズが格子状に配置された場合に対応しているが、マイクロレンズの配置はこれに限定されない。例えば、六回対称性（ハニカム構造）を持った配置にしてもよいし、規則的な配置から各マイクロレンズを微小にずらしてもよい。図６の斜線領域２００２は、結像光学系１６０２の同じ瞳領域を通過した光線が入射する画素を表している。よって、斜線領域１６０２の画素を抽出することで、結像光学系１６０２の瞳の下部から被写体空間を見た単視点画像が生成できる。同様に、破線の各円２００１に対する相対位置が同じ画素を抽出することで、他の単視点画像も生成できる。

＜ピント制御範囲＞
次に、リフォーカスが可能な範囲であるピント制御範囲に関して説明する。

リフォーカスは単視点画像を重ね合わせて行うため、各単視点画像内でボケている被写体にピントを合わせ直すことはできない。これはボケた画像を重ね合わせても、高周波成分は得られず、ボケたままだからである。

ここで、瞳を小さく分割するほど、各単視点画像における被写界深度が深くなるため、ピント制御範囲は広がる。つまり、ピント制御範囲は結像光学系１６０２の分割された瞳に依存するわけである。ただし、単視点画像における被写界深度とピント制御範囲は必ずしも一致しない。これは単視点画像とそれらを合成した合成画像の解像度比によって、ピント制御範囲が変化するためである。例えば、合成画像の解像度が各視点の単視点画像の解像度より低い場合、合成画像における空間成分のサンプリングピッチは単視点画像に対して大きくなる。そのため、単視点画像よりも合成画像は被写界深度が深くなり、それに伴ってそのピント制御範囲も広がる。逆に、合成画像の解像度が単視点画像よりも高い場合、ピント制御範囲は単視点画像の被写界深度よりも狭くなる。

合成画像の解像度を単視点画像より高くする方法として、画素ずらし超解像の使用などが考えられる。前述した通り、リフォーカスは単視点画像を互いにずらして合成する。この時のずれ量が単視点画像の画素ピッチの非整数倍になっていれば、画素ずらし超解像を行うことができ、合成画像の解像度を上げることができる。

ここまでの議論から、合成画像における正確なピント制御範囲を取得するためには、単視点画像を合成する時の条件を加味する必要があることが分かる。

次に、合成画像のピント制御範囲がどのようにして導出されるのかについて説明する。合成画像の被写界深度に対応する焦点深度を考える。焦点深度の許容錯乱円の大きさをε、光線の角度成分のサンプリングピッチをΔｕとする。この時、リフォーカスの係数α_±は以下の式（４）のように与えられる。

式（４）を用いて表される像側のリフォーカス可能な範囲α₊ｓ₂〜α_-ｓ₂と共役な範囲（結像光学系１６０２に対して共役な範囲）が、物体側のリフォーカス可能な範囲であるピント制御範囲となる。この式（４）の関係を図で表したものが図７であり、リフォーカス可能な範囲の中心位置は結像光学系１６０２のピント位置となる。（この場合、レンズアレイ１６０３の位置がリフォーカス可能な範囲の中心位置となる）。ここで、ｓ₂は、結像光学系１６０２の像側主平面と被写体面１６０１に対する結像光学系１６０２の像側共役面との間隔である。図７において、像側ピント制御範囲とは、結像光学系１６０２を介してピント制御範囲と共役な範囲を指す。また、Δｙは光の２次元強度分布のサンプリングピッチであり、図２の構成ではレンズアレイ１６０３のピッチΔ_LAに等しい。なお、式（４）の関係は、図２〜図５のいずれの構成でも成り立つものである。

そして、式（４）は、撮像素子１６０４の画素ピッチΔが、結像光学系１６０２の射出瞳距離Ｐに対して十分小さいことから、次の式（５）のように近似できる。

ここで、結像光学系１６０２の射出瞳距離Ｐとは、結像光学系１６０２の射出瞳面と被写体面１６０１に対する結像光学系１６０２の像側共役面との間隔である。また、Ｎは結像光学系１６０２の瞳の１次元分割数、Ｆは結像光学系１６０２のＦ値である。なお、Ｆ値は、結像光学系１６０２の焦点距離ｆとレンズ有効径Ｄから、以下の式（６）によって導出することができる。

すなわち、リフォーカス可能な範囲（ピント制御範囲）は、結像光学系の瞳の１次分割数と結像光学系の焦点距離とレンズ有効径で規定される画角範囲に応じて決定される。更には、後述する合成画像データの解像度に応じて、リフォーカス可能な範囲が決定される。

＜画像処理部＞
次に、画像処理部の構成について詳しく説明する。

図８は、本実施例に係る画像処理部１５１２の内部構成を示したブロック図である。

視差画像データ取得部２２０１は、撮像部１５００等から供給される視差画像データを取得する。

光学パラメータ取得部２２０２は、距離導出部２２０３とピント制御範囲導出部２２０７で必要となる撮像部１５００の光学パラメータを取得する。ここで、光学パラメータとは、撮像部１５００の構成や、絞りなどの露出状態、フォーカス位置、ズームレンズにおける焦点距離などである。

距離導出部２２０３は、シーン中の被写体までの距離情報を導出する。被写体までの距離は、視差画像データ取得部２２０１から供給される視差画像データ及び光学パラメータ取得部２２０２から供給される光学パラメータを用いて導出される。距離導出の詳細については後述する。

被写体領域抽出部２２０４は、シーン中にある被写体と距離導出部２２０３から供給される距離情報とに基づき、再配置画像生成部２２０５での処理の対象となる被写体領域を抽出する処理を行う。この被写体領域抽出処理は、一定の距離ごとに被写体の領域を分離する処理と言い換えることもできる。

再配置画像生成部２２０５は、距離導出部２２０３から供給される距離情報に応じて、被写体領域抽出部２２０４で抽出された各被写体領域の位置（座標）を変更する処理を行う。この処理によって、各被写体領域を撮像装置からの距離に応じて再配置した、被写体領域ごとの距離感を把握し易くした画像（以下、「再配置画像」と呼ぶ。）を生成する。

画像合成パラメータ取得部２２０６は、画像合成に必要となるパラメータ（合成後の解像度、視点、ピント位置、被写界深度など）を取得する。

ピント制御範囲導出部２２０７は、光学パラメータ取得部２２０２から供給される光学パラメータと、画像合成パラメータ取得部２２０６から供給される画像合成パラメータとを用いて、ピント制御範囲を導出する。

ピント位置取得部２２０８は、操作部１５０５を介したユーザ入力に基づいて、画像合成の際におけるピント位置を取得する。本実施例の場合、再配置画像生成部２２０５が生成する再配置画像に基づいて、操作部１５０５としてのタッチスクリーンを介して、ユーザが指定した距離がピント位置（合焦位置）として指定されることになる。指定されたピント位置に関する情報は、表示画像生成部２２０９に送られる。

表示画像生成部２２０９は、再配置画像生成部２２０５で生成した再配置画像に対して合焦状態に関する情報（ピント位置、ピント制御範囲、被写界深度など）を反映した画像（以下、「合焦情報表示画像」と呼ぶ。）を生成する。生成の際、上述した各部から供給される光学パラメータ、画像合成パラメータ、ピント制御範囲、ピント位置を用いる。この合焦情報表示画像の生成は、撮像前のライブビュー画像を対象に行ってもよいし、撮像後の記録画像を対象に行ってもよい。また、合焦情報表示画像は、視差画像に含まれる任意の単視点画像をベースにしたものでもよいし、複数の単視点画像を合成して得られた合成画像をベースにしたものであってもよい。生成された合焦情報表示画像のデータは、表示部１５０６に出力される。さらに、本実施例に係る表示画像生成部２２０９は、視差画像データを用いて、画像合成パラメータに従った画像合成処理も行うものとするが、画像合成処理を行う処理部を表示画像生成部２２０９とは別個に設けてもよい。

図９は、本実施例に係る画像処理部１５１２における処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１５０３からＲＡＭ１５０２上に読み込んだ後、ＣＰＵ１５０１によって該プログラムを実行することによって実施される。

ステップ２３０１において、視差画像データ取得部２２０１は、撮像部１５００で取得された視差画像データを取得する。ここで取得される視差画像データは、上述のとおり、ライブビュー画像としての視差画像データであってもよいし、記録画像としての視差画像データであってもよい。

ステップ２３０２において、光学パラメータ取得部２２０２及び画像合成パラメータ取得部２２０６は、それぞれ光学パラメータ及び画像合成パラメータを取得する。

ステップ２３０３において、距離導出部２２０３は、シーン全体における距離情報を導出する。具体的には、視差画像に含まれる単視点画像相互の間でステレオマッチングを行う等の方法により、シーンの距離を導出する。例えば、ステレオマッチング法では、まず基準となる単視点画像（例えば、瞳の中央付近を通過する光線に対応する単視点画像）を複数のブロックに分割し、その他の単視点画像の中から、対象となるブロックに一番近いブロック位置を検出する。そして、２つのブロックの位置関係、対応する瞳の位置関係、各瞳の画角を用いて、三角測量によって、対象ブロックの距離が導出される。なお、基準となる単視点画像は、視点位置が中心以外の単視点画像を選択してもよい。また、距離情報を取得する方法としては、上述のステレオマッチング法の他、ＤＦＤ（Depth From Defocus）などの手法や、赤外線などを利用した測距部を用いて計測する方法もある。

図１０の（ａ）は単視点画像の一例を示す図であり、同（ｂ）は（ａ）の単視点画像について導出された距離情報としての距離マップを示している。図１０の（ａ）に示される単視点画像で得られるシーンには、３種類の被写体（人物、建物、山）が撮像装置を基準としてそれぞれ異なる距離に存在している。図１０の（ｂ）に示す距離マップは、撮像装置からの距離に応じて濃淡で表示されており、撮像装置の近傍にある被写体「人物」を最も暗い色で、撮像装置から遠方にある被写体「山」を最も明るい色で、人物と山との間にある被写体「建物」を中間の明るさの色で表示している。このように、本ステップでは、シーン中にある被写体の距離情報が導出される。

図９のフローチャートの説明に戻る。

ステップ２３０４において、被写体領域抽出部２２０４は、ステップ２３０３において導出されたシーン全体についての距離マップに基づき、被写体領域を抽出する処理を行う。この被写体領域抽出処理は、一定の距離ごとに被写体の領域を分離する処理と言い換えることもできる。略同一の距離を持つ画像領域をグループ化し、グループ化された画像領域を被写体領域として抽出する。被写体領域抽出方法としては、被写体の距離情報を用いる以外に、例えば、以下のような方法が挙げられる。
１）視差画像データに対して顔認識等の技術を適用し、人物、動物、植物などが存在する領域を識別して、識別された人物等を被写体領域として抽出。
２）人物、動物、植物といった代表的な注目物体の画像データをテンプレートとして予め用意しておき、それらテンプレートとのパターンマッチングによって被写体領域を抽出。
３）ニューラルネットワークのように事前学習を行い、その学習結果を用いて主要な物体を認識して、被写体領域を抽出。

本実施例における被写体領域の抽出は、被写体の距離情報を用いる手法以外に、上記１）〜３）に挙げたような公知の様々な手法を適用して実現することが可能である。

図１１の（ａ）及び（ｂ）は、図１０の（ｂ）に示した距離マップから被写体領域を抽出した結果の一例を示す図であり、（ａ）は各被写体の輪郭に沿って被写体領域を抽出した場合、（ｂ）は各被写体に外接する矩形領域を被写体領域として抽出した場合である。図１１の（ａ）及び（ｂ）において、点線で囲まれる各領域が、「人物」、「建物」、「山」のそれぞれに対応する被写体領域である。被写体領域の抽出方法としては、主要な被写体を包含するように領域を設定する限りにおいて、その他の手法でも適用可能である。例えば、円形、楕円形、三角形、多角形など任意の形状で被写体領域を定義してもよい。

図９のフローチャートの説明に戻る。

ステップ２３０５において、再配置画像生成部２２０５は、ステップ２３０３で導出したシーン全体における距離情報とステップ２３０４で抽出したシーン中における被写体領域とを用いて、シーンの再配置画像を生成する。

図１２の（ａ）〜（ｄ）は、図１０の（ａ）に示した単視点画像に係るシーンを真上から俯瞰した場合における再配置画像の例を示す図である。

図１２の（ａ）〜（ｄ）のいずれにおいても、撮像装置に近い位置を下側、撮像装置から遠い位置を上側としており、「人物」が撮像装置に最も近い位置に配置され、「山」が撮像装置から最も遠い位置に配置されている。図１２の（ａ）は、ステップ２３０４で抽出された被写体領域（上述の図１１の（ａ）を参照）に沿って上記単視点画像から切り出した画像領域を、各被写体距離に対応する位置に配置し直した再配置画像である。この再配置画像の場合、単視点画像の一部分が被写体距離に対応付けて配置されるので、最も実際の画像に近い再配置画像となる。図１２の（ｂ）は、ステップ２３０３で導出された距離マップ（図１０の（ｂ）を参照）から上記被写体領域に沿って抽出された画像領域を、各被写体距離に対応する位置に配置し直した再配置画像である。この再配置画像の場合、被写体距離を強調した再配置画像となる。図１２の（ｃ）及び（ｄ）は、ステップ２３０４で抽出された被写体領域の枠（上述の図１１の（ａ）及び（ｂ）を参照）を、各被写体距離に対応する位置に配置し直した再配置画像である。これら再配置画像の場合、より簡略化された再配置画像となる。

図９のフローチャートの説明に戻る。

ステップ２３０６において、ピント制御範囲導出部２２０７は、ステップ２３０１で取得した視差画像について画像合成を行う場合におけるピント制御範囲を、ステップ２３０２で取得した光学パラメータ及び画像合成パラメータを用いて導出する。以下、詳しく説明する。

前述したようにピント制御範囲は、各単視点画像と合成画像との解像度比によって変化するが、ここでは説明を簡単にするため、解像度比が１の場合を考える。像側ピント制御範囲が上述の式（５）の範囲内に収まっていれば、ピント制御可能な領域を取得できていることとなる。よって、被写体面１６０１に対する結像光学系１６０２の像側共役面と像側ピント制御範囲ｄ_refocusとが、以下の式（７）を満たせばよい。

図１３は、図２で示す撮像部１５００の構成における光学配置を示した図であり、σはレンズアレイ１６０３の像側主平面と撮像素子１６０４の間隔である。図１３において、中央のマイクロレンズの両端から伸びる２本の平行な破線は、当該マイクロレンズに対応する撮像素子１６０４の領域を表し、撮像素子１６０４内の斜線の画素は光線の入射しない不感帯を表す。本実施例では不感帯が発生しないようにレンズアレイ１６０３が構成されており、この場合はΔ_LA＝ＮΔとなる。ただし、構成はこれに限らず、不感帯が存在していてもよい。図１３から、幾何学的にＮＦ＝σ／Δだと分かる。ここで、焦点深度を決める許容錯乱円の大きさを、空間成分のサンプリングピッチΔｙ＝Δ_LAで特徴付けると、式（７）は以下の式（８）のように書き換えられる。

次に、単視点画像と合成画像との解像度比が１以外の一般的な場合について考える。合成画像と合成に使用する単視点画像の画角は等しいから、解像度比が１以外の場合、両者のΔｙが異なることとなる。許容錯乱円は一般にΔｙが小さいほど小さく、大きいほど大きくなる。よって、上記式（８）は、単視点画像と合成画像のΔｙとの比をとって、以下の式（９）のように拡張できる。

ここで、Ｒ_monoは合成に使用する単視点画像の解像度、Ｒ_combは合成画像の解像度を表す。Ｒ_monoとＲ_combとの比の平方根をとることで、Δｙの比となる。単視点画像の解像度Ｒ_monoは、図１３から以下の式（１０）で表されることが分かる。

ここで、Ｒ_totalは、撮像素子１６０４の有効画素数である。式（９）及び式（１０）から、像側ピント制御範囲が満たすべき以下の条件式（１１）が求まる。

上記条件式（１１）では±10.0の範囲としているが、これを±6.0の範囲とすることで、より鮮鋭な合成画像を得ることができる。さらに望ましくは、±3.0の範囲とすることで、更に鮮鋭な合成画像を得ることができる。

以下に、各値の具体例を示す。
・撮像素子１６０４の有効画素数Ｒ_total：４６．７×１０⁶（pix）
・レンズアレイ１６０３の像側主平面と撮像素子１６０４の間隔σ：０．０３７４（mm）
・撮像素子１６０４の画素ピッチΔ：０．００４３（mm）
・レンズアレイ１６０３のピッチΔ_LA：０．０１２９（mm）
・結像光学系１６０２の焦点距離ｆ：１４．０（mm）
・Ｆ値：２．９
・１次元瞳分割数Ｎ：３
・単視点画像１枚当たりの解像度R_mono：５．２×１０⁶（pix）
・条件式（１１）の範囲、条件式（１１）の各範囲に対応する合成画像の解像度Ｒ_comb、合成画像の各解像度に対応するｄ_refocusは、例えば以下の表（１）のとおり。

操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒ_combが例えば上記３種類の中から選択される。

上記の例において、例えば８．０×１０⁶ｐｉｘの合成画像を生成するためには、単視点画像１枚当たりの解像度R_monoが５．２×１０⁶pixであるため、画素ずらし超解像などによる高解像度化が必要となることが分かる。なお、上述の合成画像の各解像度Ｒ_combの値は一例であり、種類も３種類に限られない。上記条件式（１１）を満たすようなR_combとｄ_refocusを適宜決定すればよい。

ピント制御範囲は、像側ピント制御範囲と結像光学系１６０２の焦点距離やフォーカス位置などを用いれば、結像公式から算出できる。このようにして取得したピント制御範囲の情報は、視差画像データや合成画像データにタグ情報として添付し、ＲＯＭ１５０３に保存してもよい。或いは、予め様々な条件に対応するピント制御範囲のテーブルを作成してＲＯＭ１５０３に記憶しておき、ピント制御範囲を導出する上述の演算を行う代わりに、入力された条件に対応するデータを読み込むようにしてもよい。

なお、ピント制御範囲を取得する他の方法として、リフォーカスした合成画像を実際に生成して、ピント位置に存在する被写体のコントラスト等を評価する方法が考えられる。しかし、この手法では、ピント位置を動かしながら合成画像を生成し、逐次リフォーカスができているかどうかを判断しなければならないため、処理に時間がかかってしまう。また、リフォーカスしたピント位置に被写体が存在していない場合、評価を行うことができないため、正確なピント制御範囲が取得できない。よって、ピント制御範囲の取得には、先に述べた手法を用いることが望ましい。

図９のフローチャートの説明に戻る。

ステップ２３０７において、表示画像生成部８０９は、ステップ２３０５で生成された再配置画像に対して合焦状態に関する情報（ピント位置、ピント制御範囲、被写界深度など）を反映した合焦情報表示画像を生成する。生成の際には、ステップ２３０２で取得された光学パラメータ及び画像合成パラメータ、及びステップ２３０６で導出されたピント制御範囲が用いられる。

図１４の（ａ）及び（ｂ）は、図１２の（ａ）に示した再配置画像をベースに生成された合焦情報表示画像の一例であって、ピント位置２８０１、ピント制御範囲２８０２、被写界深度２８０３の各情報が表示されている。スライダバー上に黒四角のマークで示されたピント位置２８０１は、光学パラメータに含まれる撮像時のレンズのピント位置、或いは後述のユーザ入力によって指定されたピント位置を示している。（ａ）の合焦情報表示画像では被写体距離ｄ0の位置（人物の位置）に、（ｂ）の合焦情報表示画像では被写体距離ｄ0’の位置（建物の位置）に、それぞれピント位置２８０１が設定されている。スライダバー上に斜線で示されたピント制御範囲２８０２は、被写体距離ｄ1（ｄ1’）から被写体距離ｄ2（ｄ2’）までの範囲を示しており、本実施例では「人物」と「建物」がこのピント制御範囲内の距離に位置していることが分かる。以下、単に「ピント制御範囲」という場合にはこの物体側ピント制御範囲を指すものとする。再配置画像上に斜線で示された被写界深度２８０３は、被写体距離ｄ3（ｄ3’）から被写体距離ｄ4（ｄ4’）までの範囲であって、（ａ）の合焦情報表示画像では人物にピントが合ったピント位置ｄ0における被写界深度、（ｂ）の合焦情報表示画像では建物にピントが合ったピント位置ｄ0’における被写界深度が示されている。

上述したような合焦情報表示画像を表示することで、ユーザはシーン中における被写体と合焦状態に関する情報の両方を、直観的に把握することが可能となる。なお、図１４の（ａ）及び（ｂ）には、説明の便宜上、撮像装置の模式図と撮像装置で撮像可能な視野範囲（画角）２８０４も表示しているが、本ステップで生成する合焦情報表示画像に、これらの情報を含めることは必ずしも要しない。

図９のフローチャートの説明に戻る。

ステップ２３０８において、表示画像生成部２２０９は、ステップ２３０７で生成した合焦情報表示画像のデータを表示部１５０６に出力する。

ステップ２３０９において、ＣＰＵ１５０１は、リフォーカス処理時におけるピント位置に関するユーザ入力が、新たになされたかどうかを判定する。この場合のユーザ入力は、タッチスクリーンや撮像装置の操作部１５０５などを介して行う。例えば、新たにピントを合わせたい被写体を再配置画像上で直接指定したり、新たなピント位置までの被写体距離を直接指定したり、スライドバー上のピント位置２８０１を表すマークを操作して指定したりする方法が考えられる。新たなピント位置の入力がなされた場合には、ステップ２３０７に戻り、ステップ２３０７〜ステップ２３０９の一連の処理を繰り返す。例えば、「人物」をピント位置とする合焦情報表示画像（図１４の（ａ））が表示されている状態において、「建物」を新たなピント位置とするユーザ入力がなされたとする。この場合、前述の図１４の（ｂ）に示した合焦情報表示画像が新たに表示されることになる。前述のとおり、図１４の（ｂ）では、新たに設定されたピント位置（被写体距離ｄ0’）に合わせて、被写界深度２８０３も変化している。つまり、リフォーカス処理時における新たなピント位置が入力された場合は、ピント制御範囲２８０２に変化はなく、ピント位置２８０１と該ピント位置における被写界深度２８０３が主に変化することになる。

なお、新たに入力されたピント位置がピント制御範囲外であることも考えられる。この場合、警告を通知するなどして、ピント制御範囲内のピント位置を入力するようユーザに促すようにしてもよい。或いは、ピント制御範囲外のピント位置は受け付けないよう、ユーザ入力可能な範囲を制限するようにしてもよい。

一方、新たなピント位置の入力がなければ、本処理を終える。

なお、上述の例では、シーンを真上から俯瞰している再配置画像をベースとした合焦情報表示画像について説明した。しかし、合焦情報表示画像は上述の例に限定されるものではなく、様々な態様が考えられる。図１５の（ａ）〜（ｃ）は、合焦情報表示画像のバリエーションの一例を示している。図１５の（ａ）は、シーンを横方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。同（ｂ）は、シーンを斜め上方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。同（ｃ）は、斜め横方向から俯瞰した再配置画像をベースとした合焦情報表示画像である。このように合焦情報表示画像のベースとなる再配置画像は、距離情報に基づいて被写体が奥行き方向に順次並んだものであれば、どのようなものでも構わない。

また、ステップ２３０８において合焦情報表示画像が表示されるが、その際、撮像部１５００で取得された単視点画像及び／又は表示画像生成部２２０９で合成された合成画像を併せて表示するようにしてもよい。図１６の（ａ）〜（ｃ）は、合焦情報表示画像に、単視点画像及び／又は合成画像を併せて表示する場合の一例を示している。

図１６の（ａ）は、シーンを横方向から俯瞰した再配置画像をベースとした合焦情報表示画像（前述の図１５の（ａ）を参照）に加え、単視点画像と２種類の合成画像を表示するケースを示している。図中の合成画像１は、「人物」を注目被写体としてピント位置を設定した状態（注目被写体以外の被写体である「建物」と「山」については被写界深度の範囲外でボケている状態）の合成画像である。図中の合成画像２は、「建物」を注目被写体としてピント位置を設定した状態（注目被写体以外の被写体である「人物」と「山」については被写界深度の範囲外でボケている状態）の合成画像である。このようなリフォーカス後の合成画像を併せて表示する場合は、注目被写体のみにピントが合っている合成画像によって、ユーザは特定された注目被写体の確認をより直感的に行うことが可能となる。なお、図１６の（ａ）では、シーンを横方向から俯瞰した再配置画像をベースとしているが、ベースとなる再配置画像はどのようなタイプでもよいことはいうまでもない。また、図１６の（ａ）の例では、２種類の合成画像を表示しているが、表示する合成画像は１種類だけでもよいし或いは３種類以上でも構わない。

図１６の（ｂ）は、シーンを真上から俯瞰した再配置画像をベースとした合焦情報表示画像（前述の図１４の（ａ）及び（ｂ）を参照）に加え、「人物」を注目被写体としてピント位置を設定した場合における合成画像を表示するケースを示している。このように表示することで、限られた表示画面内に、再配置画像と合焦状態に関する情報と合成画像を効率的に表示することが可能となる。なお、図１６の（ｂ）における合焦情報表示画像は、図１２の（ａ）で示されるシーンを真上から俯瞰した再配置画像に対して横方向の情報を省略し、奥行き方向の情報のみとしたものがベースとなっている。また、図１６の（ｃ）は、シーンを真上から俯瞰した再配置画像をベースとした合焦情報表示画像に加え、単視点画像を表示するケースを示している。このように単視点画像を併せて表示することで、撮像時の画像を確認しながら合焦状態を直観的に把握することが可能である。なお、図１６の（ｃ）における合焦情報表示画像は、図１２の（ｄ）で示されるシーンを真上から俯瞰した再配置画像であって被写体領域を矩形で囲んだ再配置画像に対して、横方向の情報を省略し、奥行き方向の情報のみとしたものがベースとなっている。

以上のように、合焦情報表示画像に単視点画像や合成画像を併せて表示するようにしてもよい。

なお、図１４〜図１６で示した合焦情報表示画像においては、合焦状態に関する情報として、ピント位置、ピント制御範囲、被写界深度の各情報が同時に分かるようになっている。しかしながら、これらの情報のすべてを同時に示す必要はなく、別個に表示しても構わない。例えば、ピント位置と被写界深度のみを初めに表示しておき、ユーザの指示に応じてピント制御範囲の情報を表示するようにしてもよい。

以上説明したように、本実施例によれば、撮像時や撮像した画像の編集時において、被写体を奥行き方向に並べた再配置画像をベースに、画像合成時のピント位置、ピント制御範囲、被写界深度といった合焦状態に関する情報が表示される。これによりユーザは、撮像時及び／又は撮像した画像の編集時に、被写体の合焦状態を直観的に把握することが可能となる。

［実施例２］
実施例１では、図１６に示す構成の撮像部を有する撮像装置を前提として説明を行った。次に、図３及び図４に示す構成の撮像部を有する撮像装置を前提とする様態について、実施例２として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。

図３及び図４に示された構成では、撮像視点及び撮像範囲が異なる複数の小画像が並んだ視差画像データが、撮像素子１６０４で取得される。図３の構成では、レンズアレイ１６０３が、結像光学系と像側共役面の間（像側共役面の左側）に配置されている。これに対し、図４の構成では、レンズアレイ１６０３が、結像光学系と像側共役面の間ではなく外（像側共役面の右側）に配置されている。そのため、図４の構成の場合は、レンズアレイ１６０３が結像光学系１６０２の形成した像を実物体として見て撮像素子１６０４へ再結像させることになる。しかし、どちらも結像光学系１６０２の結んだ像をレンズアレイ１６０３が物体として見て、その像を撮像素子１６０４へ結像しているため、両者は本質的には同じである。以下では、図３の構成を例に説明するが、その内容は、図４の構成に関しても同様に成立するものである。

まず、本実施例での画像合成（リフォーカス）処理に関して説明する。

定性的には実施例１と同様で、結像光学系１６０２の分割された瞳の画像を、合焦したい被写体距離に対応したずれ量で重ね合わせればよい。

図１７は、図３の構成において、レンズアレイ１６０３と撮像素子１６０４の部分を中心に拡大した図である。本実施例においてレンズアレイ１６０３は、物体側の面が平面で、像側の面が凸形状のマイクロレンズによって構成されている。もちろん、レンズアレイ１６０３の形状はこれに限らない。図１７において一点鎖線は、各マイクロレンズの画角を表している。撮像素子１６０４で得られた画素値を、その画素に対応するマイクロレンズを介して仮想結像面へ投影して合成することで、仮想結像面にピントの合った合成画像を生成することができる。ここで仮想結像面とは、画像合成により合焦したい物体側の面と共役な面（結像光学系１６０２を介して共役な面）のことを指す。例えば、図３において、被写体面１６０１にピントの合った画像を生成するためには、像側共役面１７０１に仮想結像面を設定すればよい。図１７においては、合成画像生成の際に投影した画素を、分かりやすくするために各マイクロレンズの画角単位でずらして、破線で表している。合成画像の生成は、上述した方法（撮像素子１６０４で得られた画素値をその画素に対応するマイクロレンズを介して仮想結像面へ投影して合成する方法）と同様の画素の重なりになるならば、各画素を平行移動させて合成する方法でもよい。この時、画素に入射した光束が通過したレンズアレイ１６０３の領域が同じである場合、それらの画素の平行移動量は同じになる。つまり、図３及び図４における合成画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１６０３の領域に応じて決まる。

次に、本実施例におけるピント制御範囲に関して説明する。

本実施例におけるピント制御範囲も、実施例１と同様に式（４）で記述される。すなわち、前述の式（４）を用いて表される像側のリフォーカス範囲α₊ｓ₂〜α_-ｓ₂と共役な範囲（結像光学系１６０２に対して共役な範囲）が、物体側のリフォーカス範囲であるピント制御範囲となる。図１８は、実施例１に係る図７に対応する図である。図１８中のΔｙは、光の２次元強度分布のサンプリングピッチを表し、Δｙ＝Δσ₁／σ₂（σ₁：像側共役面１７０１とレンズアレイ１６０３の物体側主平面との間隔、σ₂：レンズアレイ１６０３の像側主平面と撮像素子１６０４との間隔）である。これは、結像光学系１６０２が形成した像を、レンズアレイ１６０３が虚物体として見ることで、撮像素子１６０４へσ₂／σ₁倍で縮小結像するためである。そして、本実施例においても、Δ≪Ｐ（Ｐ：結像光学系１６０２の射出瞳距離）から、式（４）は式（５）に近似できる。

本実施例に係る画像処理部１５１２おける処理の流れは、実施例１に係る図９のフローチャートと同じであるが、撮像部１５００の構成の違いから、以下のようにしてピント制御範囲が導出される（ステップ２３０６）。

図１８から明らかなように、幾何学的にＮＦ＝σ₁／Δ_LAであり、また、Δｙ＝Δσ₁／σ₂であるから、以下の式（１２）が成り立つ。

この式（１２）等から、本実施例における像側ピント制御範囲ｄ_refocusが満たすべき条件式（１３）が求められる。

実施例１と同様、上記条件式（１３）において±10.0となっている範囲を、±6.0或いは±3.0とすることで、より鮮鋭な合成画像を得ることができる。

以下に、具体例を示す。
・撮像素子１６０４の有効画素数Ｒ_total：１５０．０×１０⁶（pix）
・σ₁：０．３７１２（mm）
・σ₂：０．０７４０（mm）
・撮像素子１６０４の画素ピッチΔ：０．００２４（ｍｍ）
・レンズアレイ１６０３のピッチはΔ_LA：０．０２５６（ｍｍ）
・結像光学系１６０２の広角端における焦点距離ｆ_W：７２．２（ｍｍ）
・結像光学系１６０２の望遠端における焦点距離ｆ_T：１９４．０（ｍｍ）
・Ｆ値（広角端から望遠端まで）：２．９
・１次元瞳分割数Ｎ：５
・単視点画像１枚当たりの解像度R_mono：６．０×１０⁶pix
・条件式（１３）の範囲、条件式（１３）の各範囲に対応する合成画像の解像度Ｒ_comb、合成画像の各解像度に対応するｄ_refocusは、例えば以下の表（２）のようになる。

実施例１と同様、操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒ_combが例えば上記３種類の中から選択される。

上記の例において、例えば１０．０×１０⁶pixの合成画像を生成するためには、単視点画像１枚当たりの解像度R_mono：６．０×１０⁶pixであるため、画素ずらし超解像などによる高解像度化が必要となることが分かる。

［実施例３］
次に、図５に示す構成（カメラアレイ）の撮像部を有する撮像装置を前提とする様態について、実施例３として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。

図１９は、本実施例に係る図５のカメラアレイの構成を有する撮像部１５００を正面（物体側）から見た図であり、７つの各個眼カメラにおける結像光学系１６０２ａ〜１６０２ｇと撮像素子１６０４ａ〜１６０４ｇの配置が示されている。この撮像部１５００の場合、結像光学系１６０２ｂの光軸を回転軸として、六回対称性を有したカメラアレイとなっている。しかし、カメラアレイの構成はこれに限定されるものではなく、結像光学系の個数や配列は任意である。また、各撮像素子１６０４ａ〜１６０４ｇが各結像光学系１６０２ａ〜１６０２ｇに対応してそれぞれ配列されているが、各結像光学系１６０２ａ〜１６０２ｇによって形成される像を取得できるならば撮像素子は１つでもよい。

図１９に示す構成の撮像部１５００において、各結像光学系１６０２ａ〜１６０２ｇで屈折された光線は、それぞれに対応した撮像素子１６０４ａ乃至１６０４ｇで受光される。撮像素子１６０４ａ〜１６０４ｇで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の視差画像を用いて画像合成を行うことで、被写体空間のライトフィールドを得ることができる。

図２０は、結像光学系１６０２ａと撮像素子１６０４ａを側面から見た図（断面図）である。他の結像光学系１６０２ｂ乃至１６０２ｇ及び、撮像素子１６０４ｂ乃至１６０４ｇも同様であるが、各結像光学系の構成はそれぞれ異なっていてもよい。結像光学系１６０２ａは、単焦点レンズであり、結像光学系１６０２ａと撮像素子１６０４ａとの間隔を変化させることで、リフォーカスを行う。

本実施例における画像合成処理も、実施例１と同様、ピントを合わせたい被写体距離に対応したずれ量で各視点の画像を重ね合わせればよい。また、ピント制御範囲に関しても、前述の式（４）で記述されるとおりである。図２１は、実施例１の図７に対応する図であり、本実施例の場合、Δｙ＝Δ、Δｕ＝Ｐ_mono／Ｆ_monoとなる。ここで、Ｆ_monoは、各結像光学系１６０２ａ乃至１６０２ｇにおけるＦ値、Ｐ_monoは、各結像光学系に対応する射出瞳距離を表している。そして、本実施例においては、Δ≪Ｐ_monoから、式（４）は以下の式（１４）に近似できる。

本実施例に係る画像処理部１５１２における処理の流れは、実施例１に係る図９のフローチャートと同じであるが、撮像部１５００の構成の違いから、以下のようにしてピント制御範囲が導出される（ステップ２３０２及びステップ２３０６）。

本実施例の場合、撮像部１５００を構成する各結像光学系１６０２ａ乃至１６０２ｇは、絞り値が可変の開口絞りをそれぞれ有している。そのため、ステップ２３０２では、撮像時の各結像光学系の絞り値が、光学パラメータとして取得される。

そして、ステップ２３０６では、実施例１と同様の考え方に基づき、ステップ２３０２で得られた撮像時の各結像光学系１６０２ａ乃至１６０２ｇのＦ値を、Ｆ_monoに代入し、ピント制御範囲を導出する。ここで、Ｆ_monoのＦ値を持つ結像光学系で結像される画像の解像度をＲ_monoとした時、ｄ_refocusが満たすべき条件式（１５）が求められる。

実施例１と同様、上記条件式（１５）において±10.0となっている範囲を、±6.0或いは±3.0とすることで、より鮮鋭な合成画像を得ることができる。

以下に、具体例を示す。
・各撮像素子１６０４ａ乃至１６０４ｇの有効画素数Ｒ_mono：１９．３×１０⁶（pix）
・画素ピッチΔ：０．００１２（mm）
・各結像光学系１６０２ａ乃至１６０２ｇの焦点距離ｆ：５０．０（mm）
・Ｆ値（Ｆ_mono）：１．８
・条件式（１５）の範囲、条件式（１５）の各範囲に対応する合成画像の解像度Ｒ_comb、合成画像の各解像度に対応するｄ_refocusは、例えば以下の表（３）のようになる。

そして、実施例１と同様、操作部１５０５を介したユーザ入力によって、合成画像の解像度Ｒ_combが例えば上記３種類の中から選択される。

なお、撮像時のF値が異なるＦ値だった場合は、条件式（１５）を満たすようにｄ_refocusが決定される。

［実施例４］
実施例１乃至３で説明した画像合成処理は、図２〜図５で示す撮像部を有する撮像装置によって取得された、複数の異なる視点から撮像されて得た視差画像を用いて実現していた。画像合成処理は、視差画像を用いた画像合成処理に限定されない。単視点の撮像データに対し、ピント位置、被写界深度を、後から画像処理により調整するものでもよい。

例えば、ピント位置を画像処理によって変更する方法としては、ピント位置からの相対的な距離に応じて、撮像データにフィルタ処理を施す方法が知られている。この場合、最初に被写界深度の深い撮像データとシーンの距離情報を取得する。距離情報は、撮像装置とは別に距離センサを設けて取得したり、撮像装置の撮像データを解析して取得する。次に、フォーカスを合わせたい被写体（或いは、被写体距離）に対してはフィルタ処理を行わずオリジナルの撮像データを用い、フォーカスを合わせたい被写体以外の領域については該被写体からの相対的な距離を距離情報から求める。そして、フォーカスを合わせたい被写体からの相対距離が近い領域については、ボケ量が小さくなるフィルタ処理を実施（例えば、フィルタサイズを相対的に小さく設定）する。一方、フォーカスを合わせたい被写体からの相対距離が遠い領域については、ボケ量が大きくなるフィルタ処理を実施（例えば、フィルタサイズを相対的に大きく設定）する。このような方法で、ピント位置を変更してもよい。

このように、単視点画像に対し、ピント位置からの相対的な距離に応じて、撮像データにフィルタ処理を施す方法では、ピント制御範囲は、単視点画像を得た際の被写界深度がピント制御範囲となる。

被写界深度の度合いの調整も、上記と類似の手法で画像処理によって調整可能である。すなわち、撮像データに対するフィルタリング処理において、フィルタサイズをより大きく設定することでボケ量が増大し、被写界深度の狭い画像データを生成することができる。反対に、被写界深度の深い画像データを生成するためには、フィルタサイズを小さくしてやればよい。

［実施例５］
実施例１乃至４では、複数視点の画像或いは単視点の画像に対して画像合成処理を実施して、ピント位置等を変化させた画像を生成していた。しかし、ピント位置等を変化させた画像は、画像合成処理を行わずとも得ることができる。

例えば、撮像パラメータを少しずつ変更しながら複数枚の画像を取得するブラケット撮像により、複数の撮像データを取得する方法が知られている。具体的には、撮像装置に具備されるフォーカス調整リング、絞り調整リングを段階的に変化させた撮像データを取得する。ブラケット撮像による撮像データには、撮像時のパラメータが撮像画像と一体となって保持されるものとする。つまり、実施例１乃至４では、複数視点の画像を含む１の撮像データから、ピント位置等を変更した合成画像を演算によって生成していたが、本実施例では、ブラケット撮像によって得られた複数の撮像データから、所望の撮像画像を選択し表示する。

ピント位置を段階的に変更したブラケット撮像（フォーカスブラケット撮像）では、撮像装置に具備されるフォーカス調整を行う操作部を使用しながらピント位置を段階的に変化させて、複数回の撮像を行う。前述の図１２の（ａ）では、撮像装置からそれぞれ異なる距離に３種類の被写体（人物、建物、山）が存在し、「人物」は撮像装置から最も近い位置、「建物」は中程度の位置、「山」最も離れた位置にそれぞれ位置している。本実施例では、近傍の被写体から遠方の被写体までが含まれるようにピント位置を連続的に変化させ、各ピント位置での撮像データを取得する。これにより、「人物」、「建物」、「山」の各被写体にピントが合っている撮像画像を得ることができる。なお、実際のフォーカスブラケット撮像では、主要な被写体が存在しない部分（例えば、人物と建物の間）にピントを合わせた撮像も行われる。そして、得られた撮像データにおいては、撮像時のピント位置の情報を距離情報として、撮像画像に関連付けられて記録される。なお、実施例６と同様に、シーンの距離情報は、撮像装置とは別に距離センサを設けて取得したり、撮像装置の撮像データを解析して取得してもよい。

このように、画像合成処理を実施せず、ブラケット撮像により、ピント位置を段階的に変化させた撮像データを表示する。この場合、ブラケット撮像の際に変化させたピント位置のうち、撮像装置に最も近いピント位置から最も遠いピント位置が、ピント制御範囲となる。また、被写界深度は、ブラケット撮像時における撮像装置の絞り調整リングによって定まる被写界深度と略同一として扱うことができる。

また、前述の図１６の（ａ）及び（ｂ）のように、合焦情報表示画像に加えて、ピント位置を変化させた画像を表示する場合には、ピント位置取得部２２０８から供給されるピント位置に応じて、所望の撮像画像を選択し表示する。

以上説明したように、ブラケット撮像で得られた複数の撮像データを用いて、ピント位置を変化させた画像データを得てもよい。

［その他の実施形態］
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

1. 複数の被写体領域を含む画像および、前記複数の被写体領域に対応する距離情報を取得する取得手段と、
   前記距離情報に基づいて、前記複数の被写体領域を再配置した再配置画像を生成する第一の生成手段と、
   前記複数の被写体領域を含む前記画像の合焦状態を変化させるリフォーカス処理を行う際の合焦状態に関する情報を、前記再配置画像に反映した画像を生成する第二の生成手段と、
   を有し、
   前記合焦状態に関する情報には、前記複数の被写体領域についてのリフォーカス可能な範囲を示す情報を少なくとも含む
   ことを特徴とする画像処理装置。
2. 前記合焦状態に関する情報には、さらに、ピント位置、被写界深度のいずれかの情報を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の生成手段は、前記距離情報に応じて、前記複数の被写体領域が奥行き方向に並ぶように前記再配置を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記距離情報は、前記複数の被写体領域を含む画像を撮像した撮像装置から、前記複数の被写体までの距離を示す情報であり、
   前記距離情報を導出する距離導出手段を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記取得手段は、前記複数の被写体領域を含む画像を示す画像データであって、複数の視点からの撮像によって得られる、前記複数の視点のそれぞれに対応する複数の単視点画像から構成される視差画像データを取得し、
   前記距離導出手段は、前記複数の単視点画像の間でステレオマッチングを行うことにより前記距離情報を導出する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段は、前記複数の被写体領域を含む画像を示す画像データであって、複数の視点からの撮像によって得られる、前記複数の視点のそれぞれに対応する複数の単視点画像から構成される視差画像データを取得し、
   前記第二の生成手段は、前記複数の単視点画像のうちの一つの単視点画像をベースにして、前記リフォーカス処理を行う際の、合焦状態に関する情報を前記再配置画像に反映した画像を生成することを特徴とする請求項１に記載の画像処理装置。
7. 前記取得手段は、前記複数の被写体領域を含む画像を示す画像データであって、複数の視点からの撮像によって得られる、前記複数の視点のそれぞれに対応する複数の単視点画像から構成される視差画像データを取得し、
   前記第二の生成手段は、前記複数の単視点画像のうちの２以上の単視点画像を合成した画像をベースにして、前記リフォーカス処理を行う際の、合焦状態に関する情報を前記再配置画像に反映した画像を生成することを特徴とする請求項１に記載の画像処理装置。
8. 前記リフォーカス処理は、前記複数の被写体領域を、複数の異なる視点から撮像して得られる複数の視差画像を合成する処理であることを特徴とする請求項１に記載の画像処理装置。
9. 前記距離情報に基づいて、前記複数の被写体領域を含む画像から、被写体領域を抽出する抽出手段を更に備え、
   前記第一の生成手段は、前記抽出手段によって抽出された被写体領域を再配置することで、前記再配置画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記抽出手段は、被写体の輪郭に沿った領域又は被写体を包含する任意の形状の領域を、前記被写体領域として抽出することを特徴とする請求項９に記載の画像処理装置。
11. 請求項１乃至１０のいずれか１項に記載の画像処理装置を有する撮像装置であって、
    ユーザ指示を受け付ける受付手段と、
    前記合焦状態に関する情報を反映した画像を表示する表示手段と、
    前記ユーザ指示に基づいて、前記表示手段に表示された画像の合焦状態を調整する調整手段と
    を備えることを特徴とする撮像装置。
12. 前記表示手段はライブビュー機能を有し、前記合焦状態に関する情報を反映した画像を、ライブビューにおいて表示することを特徴とする請求項１１に記載の撮像装置。
13. 複数の被写体領域を含む画像および、前記複数の被写体領域に対応する距離情報を取得するステップと、
    前記距離情報に基づいて、前記複数の被写体領域を再配置した再配置画像を生成するステップと、
    前記複数の被写体領域を含む画像の合焦状態を変化させるリフォーカス処理を行う際の、合焦状態に関する情報を前記再配置画像に反映した画像を生成するステップと、
    を含み、
    前記合焦状態に関する情報には、前記複数の被写体領域についてのリフォーカス可能な範囲を示す情報を少なくとも含む
    むことを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。