JP6702798B2

JP6702798B2 - 画像処理装置およびその制御方法、撮像装置、プログラム

Info

Publication number: JP6702798B2
Application number: JP2016101362A
Authority: JP
Inventors: 暁彦上田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2020-06-03
Anticipated expiration: 2036-05-20
Also published as: JP2017208756A

Description

本発明は、ライトフィールドデータを用いた画像処理技術に関する。

被写体を多視点で撮影した画像に基づき、任意のフォーカス距離、被写界深度、視点の画像を生成する方法がある。非特許文献１に開示の撮像装置では、撮像素子の前面に複数画素に対して１つの割合で並ぶマイクロレンズアレイを配置する。光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報を取得し、被写界空間の３次元的な情報を取得可能である。被写界空間の３次元的な情報を取得可能なカメラは、ライトフィールドカメラと呼ばれる。この３次元的な情報はライトフィールドデータ（以下、ＬＦデータともいう）と呼ばれ、ＬＦデータを用いた撮影後の画像再構成処理により、各種の画像処理が可能となる。画像のピント位置変更や、撮影視点の変更、被写界深度の調節等のリフォーカス処理が挙げられる。

ライトフィールドカメラによる動画撮影の場合、撮影後にリフォーカス処理を行って動画編集を行う例を説明する。この場合、動画像からの静止画切り出しと、動画像の処理とではリフォーカスしたい量が異なる。動画像からの静止画切り出しでは被写体に対してピントが正確に合う必要がある。一方、動画像では被写体に対して滑らかにピントが合っていくように各フレームのリフォーカス処理を行う必要がある。しかし、ライトフィールドカメラでは撮影後に、記録された複数の画像の中から観賞画像を選択して表示する場合、その都度焦点を合わせる被写体を選択する必要があった。特許文献１には、ライトフィールドカメラに関連付けられた特定の対象に合焦した合成画像を表示するための推奨情報に基づいて、合成画像を表示させる技術が開示されている。

特開２０１３−２５４１５１号公報

R. Ng, M. Levoy, M.Bredif, G. Duval, M. Horowitz, P. Hanrahan: "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02（2005） Ren Ng著，"Fourier Slice Photography"，2005 ACM Trans． Graph．24，735-744

特許文献１に記載された技術では、推奨情報としての評価領域に対して、リフォーカス画像が生成される。しかし、動画像の処理ではすべてのフレームで評価領域を設定し、評価領域の焦点検出を行った後にリフォーカス画像を生成する必要があるので、負荷が大きく処理に時間がかかる。
本発明は、リフォーカス処理の負荷を低減しつつ、動画像および静止画像のリフォーカス処理を行うことを目的とする。

本発明の一実施形態の画像処理装置は、撮像された画像のライトフィールドデータを取得する取得手段と、前記ライトフィールドデータに付加する付加情報を生成する情報生成手段と、撮像された動画像に係る前記ライトフィールドデータと、前記付加情報に含まれる前記動画像のフレーム間のデフォーカス変化量及び像面移動速度の情報とを用いてリフォーカス処理を行い、リフォーカス処理された動画像のデータを出力する第１の画像処理と、前記動画像から抽出した静止画像に係る前記ライトフィールドデータと、前記付加情報に含まれるデフォーカス量の情報とを用いてリフォーカス処理を行い、リフォーカス処理された静止画像のデータを出力する第２の画像処理を行う画像処理手段と、を有する。

本発明によれば、リフォーカス処理の負荷を低減しつつ、動画像および静止画像のリフォーカス処理を行うことができる。

本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。撮像装置とマイクロレンズアレイの構成を説明する図である。撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図である。撮影レンズの瞳領域と受光画素との対応関係を説明する図である。リフォーカス画像生成光線の通過領域を説明する図である。本実施形態の処理例を示すフローチャートである。本実施形態のリフォーカス処理のフローチャートである。本実施形態の動画用リフォーカス判定処理のサブフローチャートである。本実施形態の静止画用リフォーカス判定処理のサブフローチャートである。

以下、添付の図面を参照して、本発明の好適な実施形態を説明する。本実施形態ではリフォーカス画像処理が可能な撮像装置を例示する。
図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置１００は、撮像光学系を構成する撮影レンズ部１０１を備える。マイクロレンズアレイ１０２は複数のマイクロレンズを２次元アレイ状に配列させた光学素子である。以下、マイクロレンズアレイをＭＬＡと略記する。被写体からの光は撮影レンズ部１０１、ＭＬＡ１０２を通過して結像し、撮像素子１０３が光像を電気信号に光電変換する。

アナログ信号処理部１０４と画像処理部１０５は信号処理部を構成する。カメラ制御部１０６は撮像装置全体の制御中枢部であり、操作部１０７からの操作指示信号を受け付けて、各種処理や動作を制御する。被写体検出部１０８は撮像された画像内の被写体領域を検出する。焦点検出部１０９は、撮像光学系の焦点検出を行い、検出信号をカメラ制御部１０６に出力する。カメラ制御部１０６は焦点検出部１０９の検出信号を取得して焦点調節制御を行う。リフォーカス情報生成部１１０は後述のリフォーカス情報を生成する。

メモリ１１１は各種データを記憶する記憶デバイスである。表示部１１２は画像データや各種表示情報を画面に表示する。システムバス１１３は制御部や処理部の間で情報を送受する際に使用される。実施形態として、撮像装置が画像処理装置としてのリフォーカス処理部１２０を備える形態と、外部装置（画像処理装置）であるリフォーカス処理装置を撮像装置に接続して使用する形態がある。

図１に示す画像処理部１０５、カメラ制御部１０６、被写体検出部１０８、焦点検出部１０９、リフォーカス情報生成部１１０、メモリ１１１、表示部１１２、リフォーカス処理部１２０は、システムバス１１３を介して接続されている。また、撮影レンズ部１０１、アナログ信号処理部１０４、操作部１０７は、カメラ制御部１０６に接続されている。

リフォーカス処理部１２０は、被写体選択部１２２と、リフォーカス動画像生成部１２３と、リフォーカス静止画生成部１２４を備え、ローカルバス１２１を介して、システムバス１１３と接続されている。リフォーカス動画像生成部１２３を動画生成部１２３と略称し、リフォーカス静止画生成部１２４を静止画生成部１２４と略称する。

以下に、各部を詳細に説明する。撮影レンズ部１０１は、図１に単レンズで示すが、複数枚のレンズから構成される。複数枚のレンズとは、固定レンズや、フォーカスレンズ等の可動レンズである。カメラ制御部１０６の指示に応じて、フォーカスレンズの移動制御が行われることにより焦点調節動作が行われる。ＭＬＡ１０２は、撮影レンズ部１０１の焦点位置近傍に配置される。撮影レンズ部１０１の異なる瞳部分領域をそれぞれ通過した光は、ＭＬＡ１０２に入射し、瞳部分領域ごとに分離して出射される。

撮像素子１０３は、撮影レンズ部１０１とＭＬＡ１０２を通過した被写体からの光を受光し、光像をアナログ画像信号に光電変換する。多数の画素部を配列したＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等が使用される。なお、撮像素子１０３としては、視点の設定が異なる複数のカメラや撮像部をまとめて撮像素子１０３とみなす構成でもよい。この場合にも、ライトフィールドデータを取得可能な撮像光学系および撮像手段として本発明を適用可能である。被写界空間の３次元的な情報であるＬＦデータを取得できる撮像光学系であれば、特定の構成に限定されない。

アナログ信号処理部１０４は、カメラ制御部１０６の制御指示にしたがって、撮像素子１０３が出力したアナログ画像信号に対し、所定の信号処理を行う。所定の信号処理とは、例えばＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ（アナログ）／Ｄ（デジタル）変換等である。信号処理されたデジタル画像信号は画像処理部１０５へ転送される。画像処理部１０５は、カメラ制御部１０６の制御指示にしたがって、アナログ信号処理部１０４が処理したデジタル画像信号に対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換等の画像処理を施す。画像処理されたデジタル画像信号はメモリ１１１へ出力されて記憶される。メモリ１１１は、画像処理部１０５から出力されるデジタル画像信号を一時的に記憶する。またメモリ１１１は、カメラ制御部１０６による処理の過程で生成された設定情報を一時的に記憶する。

操作部１０７は、ユーザが使用するボタン等の操作部材やタッチパネル等の操作入力デバイスを備える。操作部１０７は、ユーザ操作に応じて、焦点合わせ動作の開始や、メモリ１１１に記憶されたデジタル画像データの再生、消去等、各種動作の操作指示信号をカメラ制御部１０６に出力する。カメラ制御部１０６は、操作部１０７からの操作指示信号にしたがって、撮影処理を実行するために各部の動作を統括制御する。

表示部１１２は、ＬＣＤ（液晶表示装置）等を備え、リフォーカス処理部１２０により処理されたデジタル画像信号等に応じて画面に画像を表示する。被写体検出部１０８は、画像処理部１０５で得られたデジタル画像から被写体領域を検出する。例えば被写体検出部１０８は、すべての被写体（人物）の顔画像を検出し、画面内における顔位置を検出する。顔検出の他、人体検出等を行ってもよい。被写体検出に関しては、公知の顔検出処理や人体検出処理が行われるものとする。

焦点検出部１０９は、撮像素子１０３の各画素部が有する複数の光電変換部の信号を取得して焦点検出を行う。例えば、１つの画素部あたり２つの光電変換部を有する構成の場合、撮像光学系の異なる２つの瞳部分領域をそれぞれ通過した光を第１および第２の光電変換部が受光して信号を各別に出力する。第１の光電変換部から得られる像をＡ像とし、第２の光電変換部から得られる像をＢ像とすると、焦点検出部１０９はＡ像およびＢ像の像ずれ量を相関演算で求め、像ずれ量に対して変換係数を乗じる処理を行う。これにより、被写体像のピントずれ量（デフォーカス量）が算出され、カメラ制御部１０６へ転送される。

リフォーカス情報生成部（以下、単に情報生成部という）１１０は、撮影された各フレームのリフォーカス画像を生成する際に必要となる付加情報をヘッダ情報として記録フレームに付加する。ヘッダ情報は、例えば焦点検出部１０９が算出したデフォーカス量、カメラ制御部１０６が算出したフォーカスレンズの像面移動速度、各フレームのデフォーカス量の差であるデフォーカス変化量の情報である。これらの情報は、各測距領域（焦点検出領域）ごとに記録フレームにヘッダ情報として付加される。さらに被写体検出部１０８による検出結果に応じた被写体検出領域（画像内で検出された被写体領域）は各フレームにヘッダ情報として付加される。

リフォーカス処理部１２０内の被写体選択部１２２は、距離算出結果をメモリ１１１から読み出し、ユーザが指定した位置から最も近い被写体を選択する。距離算出結果は、被写体の画像に関連する、撮像装置１００から被写体までの距離情報に相当する。距離情報に関して、画像における被写体の深さに対応する情報としてさまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置１００から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離（被写体距離）や深さの相対関係を表す情報であればよい。

具体的には、撮像素子１０３は、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを、対をなす画像データを複数の光電変換部から出力することができる。対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。距離情報の算出処理は、カメラ制御部１０６の制御下で、画像処理部１０５、被写体検出部１０８、焦点検出部１０９が協働して行う。リフォーカス処理部１２０の被写体選択部１２２は、選択した被写体の位置情報を、動画生成部１２３または静止画生成部１２４、あるいは両方に転送する。

動画生成部１２３は、被写体選択部１２２が選択した被写体の動画像を生成する。複数のフレームにてＬＦデータとして取得されたデータと、ヘッダ情報に基づいてリフォーカス処理を行うことで、リフォーカス動画像が生成される。動画像の各フレームにおける被写体検出領域のデフォーカス変化量が滑らかになるように、情報生成部１１０のヘッダ情報に基づき、記録フレームの信号をシフト加算するリフォーカス係数を用いて、動画像のリフォーカス処理が実行される。これにより、リフォーカス動画像、すなわちリフォーカス処理された動画像のデータが生成される。ヘッダ情報は、デフォーカス量、デフォーカス変化量、像面移動速度等の情報を含む。ヘッダ情報に基づいてリフォーカス動画像を生成できるため、リフォーカス処理の負荷を低減することができる。

静止画生成部１２４は、リフォーカス処理を行うことで、ピントずれ量を補正して静止画像を生成する。その際、静止画として取得された画像のヘッダ情報として付加されている被写体検出領域とデフォーカス量を参照し、画像信号をシフト加算するリフォーカス係数を用いて、リフォーカス演算が行われる。リフォーカス演算に関して、例えば、「ＦｏｕｒｉｅｒＳｌｉｃｅＰｈｏｔｏｇｒａｐｈｙ」（非特許文献２）という方法を用いることができる。

次に、撮像装置における撮影レンズ部１０１、ＭＬＡ１０２および撮像素子１０３の構成を説明する。
図２は、ＭＬＡ１０２および撮像素子１０３を、図１の光軸方向から観察した場合の模式図である。以下、光軸をＺ軸と定義し、Ｚ軸に直交する２軸をＸ軸およびＹ軸と定義する。図２の紙面に垂直な方向がＺ軸方向であり、左右方向がＸ軸方向、上下方向がＹ軸方向である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。１つのマイクロレンズ１０２０の後方に位置する複数の単位画素２０１をまとめて画素配列２０と定義する。図２に示す例では、画素配列２０は、５行５列の合計２５個の単位画素２０１から構成される。図２は、撮像素子１０３の画素配列２０を、５行５列の２５だけ抽出した範囲を例示している。

図３は、撮影レンズ部１０１、マイクロレンズ１０２０、撮像素子１０３に関する光路図である。撮影レンズ部１０１から出射された光は、１つのマイクロレンズ１０２０を通過して撮像素子１０３が受光する。図３は、光軸（Ｚ軸）に対して垂直方向から観察した場合の図である。撮影レンズ部１０１の瞳部分領域ａ１〜ａ５からそれぞれ出射されてマイクロレンズ１０２０を通過した光は、後方の撮像素子１０３上で対応する単位画素ｐ１〜ｐ５の受光面にそれぞれ結像する。

図４（Ａ）は、撮影レンズ部１０１の開口を光軸（Ｚ軸）方向から見た場合の図である。図４（Ａ）は、撮影レンズ部１０１の瞳部分領域を、１つのマイクロレンズ１０２０の後方にある画素と同数の領域に分割した場合を例示する。図４（Ｂ）は、１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸方向から見た場合の図である。この場合、１つの画素部には撮影レンズ部１０１の１つの瞳分割領域（瞳部分領域）から出射した光が結像される。ただし、撮影レンズ部１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（Ａ）には、撮影レンズ部１０１の瞳分割領域ａ１１〜ａ５５を２５個の領域として示す。図４（Ｂ）に示す画素ｐ５５〜ｐ１１は、瞳分割領域ａ１１〜ａ５５にそれぞれ対応する２５個の画素である。つまり、ａおよびｐにそれぞれ付記した２つの数字が同じであるもの同士が対応する関係にある。ａijとｐijの表記においてiが行を表わし、jが列を表わす。瞳分割領域ａ１１〜ａ５５と、画素ｐ１１〜ｐ５５との対応関係は、光軸方向から見て点対称となる。したがって、例えば撮影レンズ部１０１の瞳分割領域ａ１１から出射した光は、第１のマイクロレンズの後方にある画素配列２０のうちの画素ｐ１１に結像する。同様に、瞳分割領域ａ１１から出射し、第２のマイクロレンズを通過する光も、そのマイクロレンズの後方にある画素配列２０のうちの画素ｐ１１に結像する。

ここで、画面内（画像中）の任意の被写体位置に対応した焦点位置（リフォーカス面）を算出する処理について説明する。図４で説明したように、画素配列２０の各画素を構成する光電変換部は、撮影レンズ部１０１に対して互いに異なる瞳部分領域を通過した光を受光する。これらの瞳部分領域に対応する分割信号から、下記式のように複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成できる。

式（１）および式（２）中のＰabは、画素信号（画素ｐabの出力信号）を表わし、付記したaとbは画素位置を表わす指標である。式（１）は、ある画素配列２０の各画素について、撮影レンズ部１０１の射出瞳の左側領域（瞳分割領域ａ１１〜ａ５１、ａ１２〜ａ５２）を通過した光を積分（積算）した量を表わす式である。図４（Ａ）では、１列目と２列目の瞳分割領域に相当する。この処理を水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある画素配列２０の各画素について、撮影レンズ部１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４、ａ１５〜ａ５５）を通過した光を積分した量を表わす式である。図４（Ａ）では、４列目と５列目の瞳分割領域に相当する。この処理を水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。位相差検出処理では、Ａ像とＢ像に対して相関演算が行われ、像ずれ量（瞳分割位相差）が取得される。さらに、この像ずれ量に対して撮影レンズ部１０１の焦点位置と撮像光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。

次に、撮影レンズ部１０１、ＭＬＡ１０２および撮像素子１０３によって取得された撮像データ（画像データ）に対して、任意に設定した焦点位置（リフォーカス面）で画像を再構成する処理（リフォーカス可能とする処理）について説明する。

図５は、撮影レンズ面とリフォーカス面とマイクロレンズアレイ面との関係を説明する図であり、光軸（Ｚ軸）に対して垂直方向から見た場合の図である。任意に設定したリフォーカス面上のある画素を通過する光は、撮影レンズの瞳分割領域（瞳部分領域）から出射され、マイクロレンズへ入射する。図５において、以下の座標を設定する。
・座標（ｕ，ｖ）：撮影レンズの瞳分割領域の位置を示す。
・座標（ｘ，ｙ）：リフォーカス面上の画素位置を示す。
・座標（ｘ^*，ｙ^*）：マイクロレンズアレイ上のマイクロレンズの位置を示す。

撮影レンズ面からマイクロレンズアレイ面までの距離をＦとし、撮影レンズ面からリフォーカス面までの距離をαＦと定義する。αは、リフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定可能である。なお、図５ではｕ、ｘ、ｘ^*の方向のみを示し、ｖ、ｙ、ｙ^*については図示を省略している。座標（ｕ，ｖ）と座標（ｘ，ｙ）で示す各位置を通過する光は、マイクロレンズアレイ上の座標（ｘ^*，ｙ^*）に到達する。この座標（ｘ^*，ｙ^*）は下記式（３）で表すことができる。

座標（ｕ，ｖ）、座標（ｘ，ｙ）、座標（ｘ^*，ｙ^*）の各位置を通過する光を受光する画素の出力をＬ（ｘ^*，ｙ^*，ｕ，ｖ）と表記する。またリフォーカス面上の座標（ｘ，ｙ）で得られる出力をＥ（ｘ，ｙ）と表記する。Ｅ（ｘ，ｙ）は、Ｌ（ｘ^*，ｙ^*，ｕ，ｖ）を撮影レンズの瞳領域に関して積分した量であり、下記式（４）により算出される。

式（４）において、リフォーカス係数αはユーザ操作指示によって決定されるため、（ｘ，ｙ）と（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ^*，ｙ^*）が決まる。そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ^*，ｙ^*，ｕ，ｖ）となる。画素の出力値をすべての瞳分割領域（瞳部分領域）について求めて積分することでＥ（ｘ，ｙ）を算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

次に図６のフローチャートを参照して、本実施形態の処理を説明する。Ｓ１００で処理が開始し、Ｓ１０１の判定処理へ進む。Ｓ１０１でカメラ制御部１０６は、撮影者が行う操作部１０７の操作により、動画を記録するかどうかを判定する。動画記録を行わないことが判定された場合にはＳ１０１の処理を繰り返す。また動画記録を行うと判定された場合にはＳ１０２へ進む。

Ｓ１０２でカメラ制御部１０６は動画記録の制御を開始し、記録するフレームごとに処理が行われる。動画記録中には記録フレームごとに、Ｓ１０３〜Ｓ１１０の処理が実行される。Ｓ１０３で被写体検出部１０８は被写体検出を行い、画像内の被写体領域を特定する。次のＳ１０４では、撮像素子１０３から読み出された画像（フレーム画像）に対して焦点検出が行われる。焦点検出部１０９は、被写体検出部１０８で検出された被写体領域に基づいて焦点検出を行い、デフォーカス量を算出してＳ１０５へ進む。Ｓ１０５でカメラ制御部１０６は、Ｓ１０４で検出されたデフォーカス量からフォーカスレンズの駆動量を算出する。撮影レンズ部１０１内のフォーカスレンズの駆動制御により、焦点調節動作が行われる。

Ｓ１０６でカメラ制御部１０６は、焦点調節後に撮像素子１０３から読み出されたフレームの画像データをメモリ１１１に記録する制御を行い、Ｓ１０７へ進む。Ｓ１０７では動画像としてメモリ１１１に記録されたフレームの画像データに対して、焦点検出部１０９が焦点検出を行い、リフォーカス処理を行う際に利用する各被写体領域のデフォーカス量を算出する。次のＳ１０８では切り出し静止画用パラメータとしてデフォーカス量を記録フレームにヘッダ情報として付加する処理が実行される。切り出し静止画とは、ユーザ操作に応じて、動画像の記録フレームから抽出される静止画像のことである。次のＳ１０９では動画用パラメータとして記録フレーム間のデフォーカス変化量、動画記録時の像面移動速度をヘッダ情報として記録フレームに付加する処理が実行される。Ｓ１０８およびＳ１０９の処理はカメラ制御部１０６の制御下で行われ、Ｓ１１０へ進む。

Ｓ１１０でカメラ制御部１０６は、動画記録を終了するかどうかを判定する。動画記録を終了しない場合には、Ｓ１０３へ戻り、次の記録フレームの処理を続行する。動画記録を終了する場合にはＳ１１１へ進み、一連の処理を終了する。

本実施形態では、Ｓ１０６の動画記録後において記録フレームにヘッダ情報を付加する処理が、撮像装置で一連の処理として行われる例を説明した。この例に限らず、ヘッダ情報の付加処理は動画記録がすべて完了した後に行ってもよい。

次に図７のフローチャートを参照して、リフォーカス演算処理について説明する。以下の処理は、カメラ制御部１０６の制御下でリフォーカス処理部１２０が行う。Ｓ２００から処理が開始する。Ｓ２０１ではＬＦデータとして記録された動画像データをメモリ１１１から記録フレームごとに読み出す処理が行われ、リフォーカス処理を開始する。Ｓ２０２でカメラ制御部１０６は、リフォーカス演算処理の対象が動画であるか、または切り出し静止画であるかを判定する。リフォーカス演算処理の対象が動画である場合、Ｓ２０３へ処理を進め、切り出し静止画である場合にはＳ２０４へ進む。Ｓ２０３は動画用リフォーカス判定処理であり、次にＳ２０５へ進む。動画用リフォーカス判定処理については、図８のサブフローチャートを用いて後述する。

Ｓ２０４でカメラ制御部１０６は、メモリ１１１から読み出したフレーム画像がリフォーカス処理の対象である切り出し静止画かどうかを判定する。切り出し静止画とするフレームかどうかについては、ユーザが各記録フレームの中から、所望のフレームと、被写体を選択する操作を行ったときの情報に基づいて判定することができる。リフォーカス処理の対象である切り出し静止画のフレームであることが判定された場合にはＳ２０６へ進み、リフォーカス処理の対象である切り出し静止画のフレームでないと判定された場合にはＳ２０５へ進む。

Ｓ２０５は、リフォーカス処理を行うフレームがすべて終了したかどうかの判定処理である。すべてのフレームが終了した場合、Ｓ２０７へ進んで処理を終了し、未終了の場合にはＳ２０１に戻り、次のフレームから同様にリフォーカス処理を続行する。
Ｓ２０６は静止画用リフォーカス判定処理であり、判定結果に応じて静止画像のリフォーカス演算処理が行われる。静止画用リフォーカス判定処理については、図９のサブフローチャートを用いて後述する。Ｓ２０７でリフォーカス処理が終了する。Ｓ２００〜Ｓ２０７の処理は、撮像装置内のリフォーカス処理部、または、撮像装置に接続されたリフォーカス処理装置によって行われる。

次に図８のサブフローチャートを参照して、動画用リフォーカス判定処理について説明する。以下の処理は、カメラ制御部１０６の制御下で動画生成部１２３が行う。
Ｓ３００で処理が開始し、Ｓ３０１では記録フレームにヘッダ情報として付加されている動画用パラメータ（デフォーカス変化量、像面移動速度）が参照され、Ｓ３０２へ進む。デフォーカス変化量は、デフォーカス量の時間的な変化量である。Ｓ３０２では、像面移動速度が所定の閾値以下であるかどうかについて判定処理が行われる。像面移動速度が閾値より大きい場合にはＳ３０６へ進み、閾値以下の場合にはＳ３０３へ進む。像面移動速度が速い場合には、撮影者がピントを合わせる被写体を変更し、または被写体を見失っている可能性が高いため、リフォーカス演算処理には適さないと判定される。

Ｓ３０３は記録フレーム間のデフォーカス変化量に関する判定処理である。記録フレーム間のデフォーカス変化量が単調増加または単調減少であるかどうかが判定される。動画像のリフォーカス処理では、各フレームのデフォーカス変化量が単調増加または単調減少である場合に、撮影者が所望のフォーカス送り操作をしていると判定され、リフォーカス処理は行わない。例えば、処理対象とするフレームのデフォーカス量をＤｅｆ３とし、その前フレームのデフォーカス量をＤｅｆ２とし、前々フレームのデフォーカス量Ｄｅｆ１と定義する。処理対象とするフレームに対して、後フレームのデフォーカス量をＤｅｆ４、後々フレームのデフォーカス量Ｄｅｆ５と定義する。この場合、デフォーカス変化量はそれぞれＤｅｆ１−Ｄｅｆ２、Ｄｅｆ２−Ｄｅｆ３、Ｄｅｆ３−Ｄｅｆ４、Ｄｅｆ４−Ｄｅｆ５である。各デフォーカス変化量が単調増加または単調減少であるかどうかの判定処理が行われる。Ｓ３０３で判定の結果、デフォーカス変化量が単調増加でなく、かつ単調減少でない場合にはＳ３０４へ進み、単調増加または単調減少である場合にはＳ３０６へ進む。

Ｓ３０４では、デフォーカス変化量が所定の閾値以上であるかどうかについて判定処理が行われる。デフォーカス変化量は前述のＤｅｆ２−Ｄｅｆ３、Ｄｅｆ３−Ｄｅｆ４とする。デフォーカス変化量が所定の閾値以上である場合には、フレーム間での被写体像の消失の可能性や撮影者が被写体の変更を行っている可能性が高い。このため、デフォーカス変化量が大きいと判断された場合、リフォーカス処理は行わない。Ｓ３０４での判定の結果、デフォーカス変化量が閾値以上であると判定された場合、Ｓ３０６へ進み、閾値未満である場合にはＳ３０５へ進む。

Ｓ３０５では、記録フレームに記録されたデフォーカス量に基づいてリフォーカス処理が実行される。動画用処理の場合には、ピントをもとに戻すデフォーカス処理だけではなく、フレーム間のデフォーカス変化量が単調増加（または単調減少）となるデフォーカス量も算出される。算出されたデフォーカス量に基づくリフォーカス処理が行われる。デフォーカス量の算出処理では、デフォーカス変化量が単調増加（または単調減少）の値から１次または２次の近似曲線を最小２乗法等で求めることで、リフォーカス処理対象とするフレームに対して近似曲線上となるデフォーカス量を算出することができる。Ｓ３０６で動画用リフォーカス判定処理を完了してリターン処理へ移行し、図７のＳ２０５へ進む。

次に図９のサブフローチャートを参照して、静止画用リフォーカス判定処理を説明する。以下の処理はカメラ制御部１０６の制御下で静止画生成部１２４が行う。Ｓ４００で処理が開始し、Ｓ４０１では静止画用パラメータである記録フレームのデフォーカス量がヘッダ情報から参照され、Ｓ４０２へ進む。Ｓ４０２は、デフォーカス量がリフォーカス可能範囲内であるかどうかの判定処理である。リフォーカス可能範囲とは、瞳分割数をＮ、絞り値をＦ、許容錯乱円径をδとした場合に、これらの積ＮＦδである。デフォーカス量がＮＦδ以上のである場合には、瞳分割数Ｎの１領域からなる画像がピントの合っていない暈けた画像であるため、瞳分割数Ｎの各画像を用いてリフォーカス処理してもピントを元に戻すことができない。そのため、リフォーカス処理は行わない。Ｓ４０２での判定の結果、デフォーカス量がリフォーカス可能範囲内である場合、Ｓ４０３へ進み、リフォーカス可能範囲でない場合にはＳ４０４へ進む。Ｓ４０３ではデフォーカス量に基づいてリフォーカス処理が実行される。Ｓ４０４にて、静止画用リフォーカス判定処理を完了し、リターン処理に移行して図７のＳ２０７へ進む。

本実施形態では、撮影レンズ部１０１の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の光電変換部が配列された撮像素子１０３により、ＬＦデータを取得する。焦点検出部１０９は、ＬＦデータに基づいて焦点状態を検出する。情報生成部１１０は、ＬＦデータにヘッダ情報を付加する。そして動画生成部１２３は、動画像に係るＬＦデータおよび付加されたヘッダ情報に基づいて、ピント位置の異なる動画像を出力する。静止画生成部１２４は、動画像から抽出した静止画像に係るＬＦデータおよびヘッダ情報に基づいて、ピント位置の異なる静止画像を出力する。本実施形態によれば、リフォーカス処理の負荷を低減しつつ、動画像および静止画像のリフォーカス処理を行うことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００撮像装置
１０１撮影レンズ部
１０３撮像素子
１０６カメラ制御部
１１０リフォーカス情報生成部
１２０リフォーカス処理部
１２３リフォーカス動画像生成部
１２４リフォーカス静止画生成部

Claims

撮像された画像のライトフィールドデータを取得する取得手段と、
前記ライトフィールドデータに付加する付加情報を生成する情報生成手段と、
撮像された動画像に係る前記ライトフィールドデータと、前記付加情報に含まれる前記動画像のフレーム間のデフォーカス変化量及び像面移動速度の情報とを用いてリフォーカス処理を行い、リフォーカス処理された動画像のデータを出力する第１の画像処理と、前記動画像から抽出した静止画像に係る前記ライトフィールドデータと、前記付加情報に含まれるデフォーカス量の情報とを用いてリフォーカス処理を行い、リフォーカス処理された静止画像のデータを出力する第２の画像処理を行う画像処理手段と、を有することを特徴とする画像処理装置。
前記画像処理手段は、前記第１の画像処理にて、前記像面移動速度が閾値以下である場合に前記リフォーカス処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記画像処理手段は、前記第１の画像処理にて、前記デフォーカス変化量が単調増加でない場合かつ単調減少でない場合に前記リフォーカス処理を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
前記画像処理手段は、前記第１の画像処理にて、前記デフォーカス変化量が閾値より小さい場合に前記リフォーカス処理を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記画像処理手段は、前記第２の画像処理にて、前記デフォーカス量が設定された範囲内である場合に前記リフォーカス処理を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
請求項１から５のいずれか１項に記載の画像処理装置を備える撮像装置。
複数の画素部が配列された撮像素子を備え、
前記画素部は、マイクロレンズと、該マイクロレンズに対応する複数の光電変換部を有し、前記複数の光電変換部は撮像光学系の異なる瞳部分領域をそれぞれ通過する光を受光して信号を出力することを特徴とする請求項６に記載の撮像装置。
前記複数の光電変換部が出力する信号を取得して前記撮像光学系の焦点検出を行う焦点検出手段と、
前記焦点検出手段により検出された情報を用いて焦点調節を行う焦点調節手段と、を有することを特徴とする請求項７に記載の撮像装置。
撮像された画像のライトフィールドデータを取得して画像処理を行う画像処理装置にて実行される制御方法であって、
前記ライトフィールドデータに付加する付加情報を生成する情報生成ステップと、
撮像された動画像に係る前記ライトフィールドデータと、前記付加情報に含まれる前記動画像のフレーム間のデフォーカス変化量及び像面移動速度の情報とを用いてリフォーカス処理を行い、リフォーカス処理された動画像のデータを出力する第１の画像処理と、前記動画像から抽出した静止画像に係る前記ライトフィールドデータと、前記付加情報に含まれるデフォーカス量の情報とを用いてリフォーカス処理を行い、リフォーカス処理された静止画像のデータを出力する第２の画像処理を行う画像処理ステップと、を有することを特徴とする画像処理装置の制御方法。
請求項９に記載の各ステップを画像処理装置のコンピュータに実行させるプログラム。