JP6087719B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、ライトフィールドデータの処理を行う画像処理装置に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報も取得可能（被写体空間の３次元的な情報を得ることが可能）な撮像装置（ライトフィールドカメラ）が提案されている。ライトフィールドは、遮蔽物のない空間を飛び交う光線の「場」と言える。ライトフィールド中の1本の光線を特定するには、例えば図２に示すようなかたちで２つの平行な平面を設定し、各平面と光線との交点（ｘ’，ｙ’）、（ｕ，ｖ）を指定すればよい。ライトフィールドカメラは、この光線情報の場を撮像素子で捉え、記録するカメラである。

例えば非特許文献１では、撮影レンズと撮像素子との間にマイクロレンズアレイが配置されており、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光が複数の画素によって入射方向別に取得される（図３）。したがって撮像素子のそれぞれの画素の出力値Ｌは光線としての情報を持ち、出力値Ｌ（ｘ’，ｙ’，ｕ，ｖ）がライトフィールド情報として記録される。ここで、通常の撮像装置の場合は、マイクロレンズアレイの位置に撮像素子が配置され、レンズ面（ｕ，ｖ）に対してＬ（ｘ’，ｙ’，ｕ，ｖ）が積分されたものが、それぞれの画素の出力値Ｅ（ｘ’，ｙ’）として記録されており、入射方向の情報が失われている。

上記のように取得されたライトフィールド情報に対して、従来の撮像装置では光学的に行われているｕ， ｖの積分を、ライトフィールドカメラでは、演算処理によって行う。これにより、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の仮想像面（リフォーカス面）にピントを合わせた２次元画像を撮影後に再構成することができる。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ライトフィールドカメラで撮影した静止画や動画をユーザーが検索目的で再生する際、静止画の場合はスライドショー再生、動画の場合は時間軸上に所定間隔で飛び飛びに１画面ずつ再生するサーチ再生を行う。

スライドショー再生やサーチ再生を行う際、リフォーカス面は複数存在するリフォーカス面のうちどれか一つになり、ある一つのリフォーカス面にピントを合わせたスライドショー再生、サーチ再生を行う。そのため、ユーザーが検索したいリフォーカス面の画像が見つけられず検索性が悪くなる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ライトフィールドカメラで撮影した静止画や動画の検索性を向上させることである。

本発明に係わる画像処理装置は、被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得手段と、前記第１の取得手段により取得されるライトフィールドデータに対応し、前記ライトフィールドデータを任意の焦点位置の画像となるように再構成することで得られる複数のリフォーカス画像を取得する第２の取得手段と、複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、１つのライトフィールドデータに対応する複数のリフォーカス画像を順次表示してから、次のライトフィールドデータに対応する複数のリフォーカス画像を表示するよう表示手段を制御する制御手段と、を有することを特徴とする。

本発明によれば、ライトフィールドカメラで撮影した静止画や動画の検索性を向上させることが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 光線を特定する座標系の説明図。 ライトフィールドカメラの光学系を示す図。 撮像素子とマイクロレンズアレイの構成を示す図。 撮影レンズ、マイクロレンズアレイ、撮像素子の構成を示す図。 撮影レンズの瞳領域と受光画素の対応関係を示す図。 リフォーカス画像生成光線の通過領域の説明図。 静止画撮影動作を示すフローチャート。 静止画におけるリフォーカス位置情報と被写体画像を関連付けた情報を示す図。 静止画スライドショー再生動作を示すフローチャート。 静止画スライドショー再生の表示例を示す図。 リフォーカス位置情報選択後の静止画スライドショー再生動作を示すフローチャート。 サーチ再生の概要を示す図。 動画におけるリフォーカス位置情報と被写体画像を関連付けた情報を示す図。 サーチ再生の表示例を示す図。 リフォーカス位置情報選択後のサーチ再生の表示例を示す図。 動画サーチ再生動作を示すフローチャート。 リフォーカス位置情報選択後の動画再生動作を示すフローチャート。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示すブロック図である。図１において、１０１は撮影レンズ、１０２はマイクロレンズアレイ、１０３は撮像素子である。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズから構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子である。複数のマイクロレンズのうちの一つに対して複数の画素が対応するように配置されることで、マイクロレンズで瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換することができる。

１０４はアナログ信号処理回路（ＡＦＥ）、１０５はデジタル信号処理回路（ＤＦＥ）である。アナログ信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路１０５は、アナログ信号処理回路１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

１０６は画像処理回路、１０７はコーデック部、１０８はＤＲＡＭ、１０９はユーザーとのインタフェースとなる各種操作キーを備える操作部、１１６は記録媒体である。画像処理回路１０６はデジタル信号処理回路１０５から出力された画像信号に対して所定の画像処理やライトフィールドカメラ特有のリフォーカス演算を施す。コーデック部１０７は画像データの符号化や符号化された符号化データを復号化する。ＤＲＡＭ１０８は画像データを一時保持する揮発性のメモリであり、高速でランダムなアクセス性に優れる。

１１０は、ＬＣＤ等の表示部である。１１１は、撮像装置１００全体の制御を行うメインのＣＰＵである。１１２はＣＰＵ１１１のプログラムが格納されているＲＯＭ（Read Only Memory）、１１３はＣＰＵ１１１のワークメモリであるＲＡＭ（Random Access Memory）である。ＲＯＭ１１３には後述するプログラムが格納されており、ＣＰＵ１１１によって実行可能である。１１４は、撮影時に記録媒体１１６に符号化データを書き込むことが可能で、さらに再生時に記録媒体１１６から符号化データをＤＲＡＭ１０８へ読み込むことが可能なＭｅｄｉａＩ／Ｆである。１１５は、撮像装置１００全体を接続するバスである。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。なお、本実施形態では、以下で図４に示すような光学系によってライトフィールドデータ（被写体空間の３次元的な光線情報）を取得しているが、撮像手段としてはこれに限らない。例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部１００２とみなす構成でもよい。また、図４の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

図４は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の分割画素４０１に対して１つのマイクロレンズが対応するように配置されている。１つのマイクロレンズの後方にある複数の分割画素４０１をまとめて画素配列（光電変換素子配列）４００と定義する。なお、本実施形態では画素配列４００には、分割画素４０１が５行５列の計２５個（所定数）あるものとする。

図５は、撮影レンズ１０１から出射された光が１つのマイクロレンズを通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズを通過した光は、後方の対応する分割画素ｐ１〜ｐ５にそれぞれ結像される。

図６（ａ）は、図５で示した撮影レンズ１０１での光の通過領域（瞳分割領域）と撮像素子１０３での受光領域の様子をさらに詳しく説明するために、撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図６（ｂ）は、１つのマイクロレンズとその後方に配置された画素配列４００を光軸Ｚ方向から見た図である。

図６（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズの後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズのＦナンバーがほぼ一致しているものとする。

図６（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図６（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素配列４００のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズを通過する光も、そのマイクロレンズ後方にある画素配列４００の中の画素ｐ１１に結像する。図４のような撮像素子とマイクロレンズの場合、瞳分割数は、１つのマイクロレンズ内に入る画素数（５＊５＝２５）となる。そして、瞳分割位置を（ｕ，ｖ）、ｕ＝０，１，２，３，４、ｖ＝０，１，２，３，４、マイクロレンズ位置座標を（ｘ’，ｙ’）、ｘ’＝０，１，２，３，４、ｙ’＝０，１，２，３，４とすると、撮像素子の画素座標（ｐ， ｑ）、ｐ＝０〜２４， ｑ＝０〜２４は、上記の瞳分割位置座標（ｕ， ｖ）， マイクロレンズ位置座標（ｘ’， ｙ’）で表現でき、
ｐ（ｘ’，ｕ）、ｑ（ｙ’，ｖ） …（１）
と表すことができる。

ここで、画面内の任意の被写体位置に対応した焦点位置の算出方法（被写体焦点位置算出手段）について説明する。

図６で説明したように、画素配列４００の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（２）は、ある画素配列４００の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１およびａ１２〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列４００に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（３）は、ある画素配列４００の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４およびａ１５〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列４００に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置（被写体距離情報）に対応した焦点位置を算出することができる。

次に、上記撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された撮像データ（ライトフィールド情報、撮影情報取得、リフォーカス情報取得）に対して、任意に設定した焦点位置（リフォーカス面）での画像の再構成処理について説明する。

図７は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見て表わした図である。図７において、撮影レンズの瞳分割領域の位置座標を（ｕ，ｖ）、リフォーカス面上の画素座標を（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置座標を（ｘ’，ｙ’）、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる。なお図７では、ｕ， ｘ， ｘ’の方向のみを示し、ｖ， ｙ， ｙ’については省略した。図７に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（４）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（５）のようになる。

式（４）において、リフォーカス係数αが定まれば、リフォーカス面上の座標（ｘ，ｙ）、瞳分割領域位置座標（ｕ，ｖ）を与えることで、光の入射するマイクロレンズの位置（ｘ’，ｙ’）が求まる。そして、そのマイクロレンズに対応する画素配列４００から（ｕ，ｖ）の位置に対応する撮像素子上の画素ｐ， ｑが式（１）より求まり、この撮像素子の画素出力がＬ（ｘ’，ｙ’，ｕ，ｖ）＝Ｌ（ｐ， ｑ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（５）の積分は、単純加算により計算することができる。

図８はＣＰＵ１１１の静止画撮影動作フローであり、撮影モードに入り、シャッターを押し、撮像画像を撮影するまでのフローとなっている。なお、後述のリフォーカス位置情報（リフォーカス係数）は予めユーザーにより複数設定されてもよい。

Ｓ８０１で撮影を継続するかを判断する。ユーザーからの撮影終了の指示を操作部１０９が検出すると終了する。そうでなければＳ８０２に進む。Ｓ８０２で撮像レンズ１０１、マイクロレンズアレイ１０２、撮像素子１０３、ＡＦＥ１０４、ＤＦＥ１０５を介し、被写体画像をＤＲＡＭ１０８に保持し、Ｓ８０３に進む。Ｓ８０３ではＳ８０２で保持した被写体画像を表示部１１０に表示し、Ｓ８０４に進む。

Ｓ８０４では撮影を行うか否かを判断する。ユーザーからのシャッター押下を操作部１０９が検出し、撮影を行うと判断されるとＳ８０５に進み、そうでなければＳ８０１に戻る。Ｓ８０５ではＳ８０２でＤＲＡＭ１０８に保持した被写体画像を画像処理部１０６で所定の静止画サイズに加工しＳ８０６に進む。尚、この際に画像処理回路１０６で被写体の位置を解析し、後述のリフォーカス位置情報（リフォーカス係数）を被写体の数分設定してもよい。

Ｓ８０６ではリフォーカス位置情報（リフォーカス係数）と被写体画像を関連付け（図９）、Ｓ８０７に進む。Ｓ８０７ではＳ８０５で加工した画像をコーデック部１０７で符号化し、Ｓ８０８に進む。Ｓ８０８ではＳ８０６で関連付けたリフォーカス位置情報とＳ８０７で生成した符号化データを記録媒体１１６に記録し、Ｓ８０１に戻る。

次に撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３によって取得されたリフォーカス位置情報と被写体画像を関連付けた情報を図９に示す。

図９は静止画を３枚撮影したときの情報で、９０１の列が静止画１（被写体画像）の情報、９０２の列が静止画２（被写体画像）の情報、９０３の列が静止画３（被写体画像）の情報である。それぞれの情報ごとにリフォーカス位置情報を４つ持ち、９０４の行がリフォーカス位置情報Ａの情報で、リフォーカス位置情報Ａ１、Ａ２、Ａ３となる。９０５の行がリフォーカス位置情報Ｂの情報で、リフォーカス位置情報Ｂ１、Ｂ２、Ｂ３となり、９０６の行がリフォーカス位置情報Ｃの情報で、リフォーカス位置情報Ｃ１、Ｃ２、Ｃ３となる。さらに、９０７の行がリフォーカス位置情報Ｄの情報で、リフォーカス位置情報Ｄ１、Ｄ２、Ｄ３となる。９０８の行は記録媒体１１６に記録される静止画のファイル名であり、符号化データが記録されている位置がわかる。

静止画１枚に対し、リフォーカス位置情報Ａ、Ｂ、Ｃ、Ｄの４つ分リフォーカス画像を生成（リフォーカス画像生成）することができる。静止画を１枚撮影するごとに静止画（被写体画像）の情報とリフォーカス位置情報を付加する。

図１０はＣＰＵ１１１の静止画スライドショー再生動作フローである。ユーザーからの再生開始指示を操作部１０９が検出し、再生が開始されたときからの図である。

Ｓ１００１で記録媒体１１６から被写体画像とリフォーカス位置情報を関連付けた情報（図９）を読み出し、ＤＲＡＭ１０８に格納し、Ｓ１００２に進む。Ｓ１００２で再生を継続するかを判断する。ユーザーからの再生終了の指示を操作部１０９が検出すると終了する。そうでなければＳ１００３に進む。

Ｓ１００３では再生するファイル名を更新し、Ｓ１００４に進む。ファイル名を記憶しておき、前回読み込んだファイル名をＳ１００１で読み込んだ情報から検索する。Ｓ１００４ではＳ１００３で更新したファイル名の符号化データを記録媒体１１６から読み込み、ＤＲＡＭ１０８に格納し、Ｓ１００５に進む。

Ｓ１００５ではＳ１００４で読み込んだ符号化データをコーデック部１０７で復号化し、画像データをＤＲＡＭ１０８に格納し、Ｓ１００６に進む。Ｓ１００６ではＳ１００１で読み出した情報からＳ１００５で生成した画像データに対応するリフォーカス位置情報を取得し、リフォーカス位置情報数（図９の例では４）をセットし、Ｓ１００７に進む。

Ｓ１００７ではリフォーカス位置情報数が０か否かを判断する。リフォーカス位置情報数が０であればＳ１００２に戻り、そうでなければＳ１００８に進む。Ｓ１００８ではＳ１００６で取得した画像データに対応するリフォーカス位置情報をもとに画像処理部１０６でリフォーカス演算を行いリフォーカス画像を生成し、表示部１１０に画像データを表示し、Ｓ１００９に進む。Ｓ１００９ではリフォーカス位置情報数を−１してＳ１００７に戻る。

図１１は静止画スライドショー再生動作の表示部１１０に順次表示される画像の例を示している。

１１０１から１１１２へ昇順に表示され、１１０１から１１０４が静止画１のリフォーカスした画像、１１０５から１１０８が静止画２のリフォーカスした画像、１１０９から１１１２が静止画３のリフォーカスした画像である。

１１０１、１１０５、１１０９が図９のリフォーカス位置情報Ａをもとにリフォーカスした画像で、１１０２、１１０６、１１１０が図９のリフォーカス位置情報Ｂをもとにリフォーカスした画像である。また、１１０３、１１０７、１１１１が図９のリフォーカス位置情報Ｃをもとにリフォーカスした画像で、１１０４、１１０８、１１１２が図９のリフォーカス位置情報Ｄをもとにリフォーカスした画像となる。

静止画１のリフォーカスした画像を全て画像処理回路１０６で生成し、ＣＰＵ１１１が表示部１１０に表示したあと、静止画２のリフォーカスした画像、静止画３のリフォーカスした画像と表示される。なお、静止画１（ライトフィールドデータ１）から静止画２（ライトフィールドデータ２）と、次の静止画に表示が遷移する際に表示画の枠色を変えるなどして元のデータが変わったことをユーザが認識可能とする表示を行ってもよい。また、必ずしもライトフィールドデータに関連付けられたリフォーカス位置情報の全てを参照してリフォーカス画像を生成、再生する必要はなく、一部を取捨選択してもよい。例えば、画像処理部１０６は、被写体検出技術により１つの被写体しか検出できていないライトフィールドデータは、検出された被写体にピントのあったリフォーカス画像と背景にピントのあったリフォーカス画像の２つ（表示枚数）を最低限生成する。一方、複数の被写体が検出されたライトフィールドデータは、各被写体にピントのあった複数のリフォーカス画像と、必要に応じて背景にピントのあったリフォーカス画像を生成する。

また例えば、各ライトフィールドデータに対応する画像の合計の再生時間を統一するため、リフォーカス位置情報を所定数ずつ取捨選択してリフォーカス画像を生成、表示するなどしてもよい。取捨選択方法としては、予め撮影時の被写体検出情報などからつけられた優先順位や、過去の再生時にユーザーから付与されたレーティング情報等に従って選択しても良いし、リフォーカス面を広角端から望遠端にかけて再生される数分だけほぼ均等な間隔で選択するようにしても良い。また、過去にリフォーカス画像を生成し、表示したことが有る場合、その履歴情報があるリフォーカス位置情報に基づいて再生画像を選択しても良い。これらの設定は、操作部１０９からの指示、あるいは画像処理回路１０６、ＣＰＵ１１１の演算等によって行われる。

また、過去にリフォーカス画像を生成し、表示したことがある場合、そのまま記録されているリフォーカス画像、またはその履歴情報に基づき生成されるリフォーカス画像のみを表示させてもよい。既にリフォーカス画像が生成されていてリフォーカス画像が記録されているものについては、再度リフォーカス画像を生成せず、記録された、あるいは個々のライトフィールドデータに対応づけられたリフォーカス画像を読み出して表示すればよい。この場合、Ｓ１００８のリフォーカス画像の生成ステップが省略される。

さらに、上述した実施形態では、記録されたリフォーカス位置情報の参照順は特に規定していないが、たとえば前述した優先順位、レーティング情報で高評価なものから表示したり、広角端あるいは望遠端から順に表示すると言う規則を以て表示させたりしてもよい。これらの設定は、操作部１０９からの指示、あるいは画像処理回路１０６、ＣＰＵ１１１の演算等によって行われる。

図１２は静止画スライドショー再生動作のあと、リフォーカス位置情報を選択し、静止画スライドショー再生動作を再開する動作フローである。

Ｓ１００２で再生を継続しないと判断するとＳ１２０１に進む。再生を継続しない判断はユーザーからのライトフィールド選択モード移行の指示を操作部１０９が検出したことで判断してもよい。

Ｓ１２０１ではユーザーからリフォーカス位置情報の選択指示を操作部１０９が検出したか否かを判断し、検出したらＳ１２０２に進み、そうでなければＳ１２０１に進む。Ｓ１２０２で再生を継続するかを判断する。ユーザーからの再生終了の指示を操作部１０９が検出すると終了する。そうでなければＳ１２０３に進む。

Ｓ１２０３では再生するファイル名を更新し、Ｓ１２０４に進む。ファイル名を記憶しておき、前回読み込んだファイル名をＳ１００１で読み込んだ情報から検索する。Ｓ１２０４ではＳ１２０３で更新したファイル名の静止画ファイルの符号化データを記録媒体１１６から読み込み、ＤＲＡＭ１０８に格納し、Ｓ１２０５に進む。

Ｓ１２０５ではＳ１２０４で読み込んだ符号化データをコーデック部１０７で復号化し、画像データをＤＲＡＭ１０８に格納し、Ｓ１２０６に進む。Ｓ１２０６ではＳ１００１で読み出した情報からＳ１２０５で生成した画像データに対応するＳ１２０１で選択したリフォーカス位置情報を取得し、Ｓ１２０７に進む。Ｓ１２０７ではＳ１２０６で取得した画像データに対応するリフォーカス位置情報をもとに画像処理部１０６でリフォーカス演算を行い、表示部１１０に表示し、Ｓ１２０２に進む。

Ｓ１２０１でリフォーカス位置情報Ａを選択したとすると１１０１、１１０５、１１０９の順に表示され、リフォーカス位置情報Ｂを選択したとすると１１０２、１１０６、１１１０の順に表示される。また、リフォーカス位置情報Ｃを選択したとすると１１０３、１１０７、１１１１の順に表示され、リフォーカス位置情報Ｄを選択したとすると１１０４、１１０８、１１１２の順に表示される。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、動画を撮影し、撮影した動画をサーチ再生する場合の実施形態である。

図１３にサーチ再生の概要を示す。１３０１は通常の再生において画像表示の様子を示したものであり、１３０２はサーチ再生において画像表示の様子を示したものである。四角内の数字は撮影された動画の画像の番号である。なお、１つの画像の表示時間は一般的な表示時間の約３３ｍｓｅｃとしている。１３０１の通常再生の場合、画像１から１ずつ昇順に表示される。

１３０２のサーチ再生の場合、画像１の表示を１５枚分の約３３ｍｓｅｃ×１５≒０．５ｓｅｃ行い、その後、画像８０の表示を同じく約０．５ｓｅｃ行っている。これは１つの画像の静止表示期間を０．５ｓｅｃに固定し、５倍速サーチ再生を想定したもので、画像１の表示のあと本来は画像１６が表示される状態に対し、画像１６×５倍＝画像８０の表示が行われる。１つの画像の静止表示期間及びサーチ倍速をどのようにするかによって表示される画像の位置は変わり、図１３はその一例を示したものである。

第２の実施形態での撮像装置１００のブロック図は図１と同じであるため説明は省略する。

ＣＰＵ１１１の動画撮影動作フローは図８と同じであり、差異のあるＳ８０４、Ｓ８０６のみ説明する。Ｓ８０４では撮影を行うか否かを判断する。ユーザーからの撮影開始指示を操作部１０９が検出すると、ユーザーからの撮影終了指示を操作部１０９が検出するまではＳ８０５に進む。また、ユーザーからの撮影終了指示を操作部１０９が検出すると、ユーザーからの撮影開始指示を操作部１０９が検出するまではＳ８０１に戻る。

Ｓ８０６では撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３によって取得されたリフォーカス位置情報と被写体画像を関連付け（図１４）、Ｓ８０７に進む。

次に撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３によって取得されたリフォーカス位置情報と被写体画像を関連付けた情報を図１４に示す。

図１４は動画を撮影したときの情報で、動画中に画像１、画像２、画像３、…、画像Ｎがあり、１４０１の列が画像１（被写体画像）の情報、１４０２の列が画像２（被写体画像）の情報、１４０３の列が画像３（被写体画像）の情報、１４０４の列が画像Ｎ（被写体画像）の情報である。それぞれの情報ごとにリフォーカス位置情報を４つ持ち、１４０５の行がリフォーカス位置情報Ａの情報で、リフォーカス位置情報Ａ１、Ａ２、Ａ３となる。１４０６の行がリフォーカス位置情報Ｂの情報で、リフォーカス位置情報Ｂ１、Ｂ２、Ｂ３となり、１４０７の行がリフォーカス位置情報Ｃの情報で、リフォーカス位置情報Ｃ１、Ｃ２、Ｃ３となる。さらに、１４０８の行がリフォーカス位置情報Ｄの情報で、リフォーカス位置情報Ｄ１、Ｄ２、Ｄ３となる。１４０９の行は記録媒体１１６に記録されている動画画像それぞれの符号化データの位置であり、再生する際、この情報を参照して読み込む符号化データの位置を判断することができる。

動画中の画像１枚に対し、リフォーカス位置情報Ａ、Ｂ、Ｃ、Ｄの４つ分リフォーカス画像を生成することができる。動画中の画像を１枚符号化するごとに画像（被写体画像）の情報とリフォーカス位置情報を付加する。尚、画像（被写体画像）の情報には記録媒体１１６に記録される画像のファイル名やファイル上の位置等が含まれる。

ＣＰＵ１１１の動画サーチ再生動作フローを図１７に示す。図１７は図１０と同様なフローであり、差異のあるＳ１７０１、Ｓ１７０３、Ｓ１７０４、Ｓ１７０８のみ説明する。

Ｓ１７０１で記録媒体１１６から被写体画像とリフォーカス位置情報を関連付けた情報（図１４）を読み出し、ＤＲＡＭ１０８に格納し、Ｓ１７０２に進む。

Ｓ１７０３では再生する画像の位置を更新し、Ｓ１７０４に進む。撮像装置１００にあらかじめ設定されているサーチ倍速や静止表示期間をもとに再生する画像を動画画像中から算出し、画像の位置を更新する。

Ｓ１７０４ではＳ１７０１で読み込んだ情報を見てＳ１７０３で更新した画像の位置の符号化データを記録媒体１１６から読み込み、ＤＲＡＭ１０８に格納し、Ｓ１７０５に進む。

Ｓ１７０８ではＳ１７０６で取得した画像データに対応するリフォーカス位置情報をもとに画像処理部１０６でリフォーカス演算を行い、表示部１１０に画像データを静止表示期間表示し、Ｓ１７０９に進む。

図１５は動画サーチ再生動作において表示部１１０に表示される画像の例を示している。

１５０１から１５１６へ昇順に表示され、１５０１から１５０４がサーチ再生で表示する画像のリフォーカスした画像、１５０５から１５０８が次の表示する画像のリフォーカスした画像である。さらに、１５０９から１５１２が次の表示する画像のリフォーカスした画像、１５１３から１５１６が次の表示する画像のリフォーカスした画像である。

１５０１、１５０５、１５０９、１５１３が図１４のリフォーカス位置情報Ａをもとにリフォーカスした画像で、１５０２、１５０６、１５１０、１５１４が図１４のリフォーカス位置情報Ｂをもとにリフォーカスした画像である。また、１５０３、１５０７、１５１１、１５１５が図１４のリフォーカス位置情報Ｃをもとにリフォーカスした画像で、１５０４、１５０８、１５１２、１５１６が図１４のリフォーカス位置情報Ａをもとにリフォーカスした画像となる。サーチ再生の画像のリフォーカスした画像を全て表示したあと、次のサーチ再生の画像のリフォーカスした画像の表示と、サーチ再生のたびにリフォーカスした画像を表示する。

動画サーチ再生動作のあと、リフォーカス位置情報を選択し、通常の再生動作を開始する動作フローを図１８に示す。図１８は図１２と同様のフローであり、差異のあるＳ１８０３のみ説明する。

Ｓ１８０３では再生する画像の位置を更新し、Ｓ１８０４に進む。再生する画像の位置は前回表示された画像の次の画像とする。

図１６は動画サーチ再生動作後、ユーザーがリフォーカス位置情報を選択し、通常の再生動作を行ったときの表示部１１０に表示される画像の例を示している。動画サーチ再生で１５１４を選択すると、リフォーカス位置情報Ｂが選択され、その後通常の再生が開始される。１６０１から１６０５は通常の再生で表示される画像で、いずれもリフォーカス位置情報Ｂをもとにリフォーカスされた画像である。

Claims (17)

1. 被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得手段と、
   前記第１の取得手段により取得されるライトフィールドデータに対応し、前記ライトフィールドデータを任意の焦点位置の画像となるように再構成することで得られる複数のリフォーカス画像を取得する第２の取得手段と、
   複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、１つのライトフィールドデータに対応する複数のリフォーカス画像を順次表示してから、次のライトフィールドデータに対応する複数のリフォーカス画像を表示するよう表示手段を制御する制御手段と、を有することを特徴とする画像処理装置。
2. 前記ライトフィールドデータのリフォーカスに関するリフォーカス情報を取得するリフォーカス情報取得手段と、
   前記ライトフィールドデータを、前記リフォーカス情報に基づいてリフォーカス画像に変換する生成手段と、を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記リフォーカス情報とは、被写体距離情報、所定の焦点位置の像面における被写体の位置情報及びリフォーカス係数のうちの少なくとも１つであることを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、ライトフィールドデータに応じて、該ライトフィールドデータに対応するリフォーカス画像の表示枚数を制御することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、ライトフィールドデータに関連付けられた被写体検出情報に基づいて、該ライトフィールドデータに対応するリフォーカス画像の表示枚数を制御することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、ライトフィールドデータに関連付けられた被写体検出情報に基づいて、検出された各被写体に対応するリフォーカス画像と、背景に対応するリフォーカス画像を表示させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、前記複数のライトフィールドデータに対応するリフォーカス画像の表示枚数を揃えて表示手段に順次表示させることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、ライトフィールドデータに対応づけられた被写体検出情報の優先順位に基づいて、該ライトフィールドデータに対応するリフォーカス画像を表示させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、ライトフィールドデータあるいはライトフィールドデータに対応するリフォーカス画像に対応づけられたレーティング情報に基づいて、該ライトフィールドデータに対応するリフォーカス画像を表示させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記制御手段は、ライトフィールドデータに対応づけられたリフォーカスに関するリフォーカス情報に基づいて、広角端から望遠端まで均等にリフォーカス画像を表示させることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 前記制御手段は、ライトフィールドデータに対応する画像を表示する指示がなされたとき、当該指示に従って表示するべき画像が既に記憶されている場合、前記記憶されているリフォーカス画像を用いて前記表示手段に表示させることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記生成手段は、ライトフィールドデータに対応する画像を表示する指示がなされたとき、当該指示に従って表示するべき画像が既に記憶されている場合、当該リフォーカス画像を改めて生成しないことを特徴とする請求項２に記載の画像処理装置。
13. 複数のライトフィールドデータに対応する画像を表示する指示とは、静止画スライドショー再生の指示であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
14. 複数のライトフィールドデータに対応する画像を表示する指示とは、動画サーチ再生の指示であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
15. 前記制御手段によってライトフィールドデータを再生する場合に、複数の前記ライトフィールドデータのリフォーカスに関するリフォーカス情報から１つを選択する選択手段をさらに備え、
    前記制御手段は、前記選択手段で選択した前記リフォーカス情報に対応するリフォーカス画像を表示手段に表示させることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
16. 前記制御手段は、前記１つのライトフィールドデータに対応するリフォーカス画像から次のライトフィールドデータに対応するリフォーカス画像に遷移することを認識可能な表示を行うように前記表示手段を制御することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
17. 被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得工程と、
    前記第１の取得工程にて取得されるライトフィールドデータに対応し、前記ライトフィールドデータを任意の焦点位置の画像となるように再構成することで得られる複数のリフォーカス画像を取得する第２の取得工程と、
    複数のライトフィールドデータに対応する画像を表示する指示がなされたとき、１つのライトフィールドデータに対応する複数のリフォーカス画像を順次表示してから、次のライトフィールドデータに対応する複数のリフォーカス画像を表示するよう表示手段を制御する制御工程と、を有することを特徴とする画像処理方法。