JP6609194B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

従来、被写体を多くの視点から撮影した画像をもとに、任意のフォーカス距離、被写界深度、又は視点の画像を生成する方法があった。例えば、非特許文献１は、撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報を取得し、被写体空間の３次元的な情報を得ることを開示している。被写体空間の３次元的な情報を得ることが可能な撮像装置は、ライトフィールドカメラと呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータと呼ばれている。ライトフィールドデータの取得と撮影後の画像再構成処理とによって、画像のフォーカス位置変更、撮影視点の変更、及び被写界深度の調節等の、リフォーカス処理と呼ばれる画像処理が可能となる。

特許文献１は、ライトフィールドカメラにおいて、像面のずれ量を検出し、検出されたずれ量に基づいて受光信号の一部を選択し、選択した一部の受光信号に基づいて画像信号を生成する技術を開示している。

特開２０１１−９７６４５号公報

R. Ng, M. Levoy, M.Bredif, G. Duval, M. Horowitz, P. Hanrahan: "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02（2005）

特許文献１に記載された技術においては、像ずれ量に基づいて受光信号から異なるフォーカス位置の画像生成が行われるが、複数フレームから構成される動画のフォーカス位置の調整については記載がない。そのため、特許文献１に記載された技術では、動画を構成する複数フレームのフォーカス位置を制御することができない。

本発明はこのような状況に鑑みてなされたものであり、リフォーカス処理により動画の画質を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像手段により連続的に生成された複数のライトフィールド（ＬＦ）データそれぞれについて、所定の評価領域におけるデフォーカス量を取得する取得手段と、前記複数のＬＦデータのうち、１つ前のＬＦデータからのデフォーカス量の変化量が閾値よりも大きい第１のＬＦデータを検出する検出手段と、前記検出された第１のＬＦデータと、前記第１のＬＦデータの１つ前の第２のＬＦデータと、を少なくとも含む３以上のＬＦデータを選択する選択手段と、前記第２のＬＦデータから前記第１のＬＦデータへの目標デフォーカス量の変化量が前記第２のＬＦデータから前記第１のＬＦデータへのデフォーカス量の変化量よりも小さくなるように、前記選択された３以上のＬＦデータそれぞれのデフォーカス量に基づいて前記３以上のＬＦデータそれぞれの目標デフォーカス量を決定する決定手段と、前記複数のＬＦデータから動画を生成する生成手段であって、前記選択された３以上のＬＦデータに対して前記目標デフォーカス量に基づくリフォーカス処理を行う、生成手段と、を備えることを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、リフォーカス処理により動画の画質を向上させることが可能となる。

画像処理装置としての機能を持つ撮像装置１００の構成を示すブロック図。 撮像素子１０３及びＭＬＡ１０２を図１の光軸方向から観察した図。 撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を、光軸に対して垂直方向から観察した図。 （ａ）撮影レンズ１０１の開口を光軸方向から見た図、（ｂ）１つのマイクロレンズ１０２０とその後方に配置された画素配列２０とを光軸方向から見た図。 任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズ１０１のどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを、光軸に対して垂直方向から観察した図。 （ａ）合焦距離と動画の各フレームとの関係を示す図、（ｂ）デフォーカス量と動画の各フレームとの関係を示す図。 撮像装置１００の動作のフローチャート。 図７のＳ１１０におけるリフォーカス処理のフローチャート。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、画像処理装置としての機能を持つ撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮影レンズ１０１と、ＭＬＡ１０２（マイクロレンズアレイ）と、撮像素子１０３と、アナログ信号処理部１０４と、画像処理部１０５と、焦点調節機能を持つカメラ制御部１０６と、操作部１０７とを備える。また、撮像装置１００は、被写体検出部１０８と、焦点検出部１０９と、リフォーカス情報生成部１１０と、メモリ１１１と、表示部１１２と、システムバス１１３とを備える。更に、撮像装置１００は、リフォーカス処理部１２０を備える。ここで、画像処理部１０５、カメラ制御部１０６、被写体検出部１０８、焦点検出部１０９、リフォーカス情報生成部１１０、メモリ１１１、表示部１１２、及びリフォーカス処理部１２０は、システムバス１１３を介して接続されている。また、撮影レンズ１０１、アナログ信号処理部１０４、及び操作部１０７は、カメラ制御部１０６に接続されている。

リフォーカス処理部１２０は、領域選択部１２２と、リフォーカス動画生成部１２３と、リフォーカス静止画生成部１２４とを備える。領域選択部１２２、リフォーカス動画生成部１２３、及びリフォーカス静止画生成部１２４は、ローカルバス１２１を介して、システムバス１１３と接続されている。

図１の例では、リフォーカス処理部１２０は撮像装置１００と一体化されているが、リフォーカス処理部１２０は、撮像装置１００とは別の画像処理装置に備えられていてもよい。この場合、撮像装置１００は、ライトフィールド（ＬＦ）データをメモリ１１１に保存し、その後、メモリ１１１から別の画像処理装置が備えるリフォーカス処理部１２０へとＬＦデータを転送する。

撮影レンズ１０１は、図１においては１つのレンズとして図示されているが、実際には複数枚のレンズから構成される。この複数枚のレンズの中には、移動可能なフォーカスレンズが含まれる。カメラ制御部１０６は、フォーカスレンズを動かすことにより被写体のフォーカスを調節することで、焦点調節を行う。

ＭＬＡ１０２は、複数のマイクロレンズから構成され、撮影レンズ１０１の焦点位置近傍に配置される。撮影レンズ１０１の異なる瞳領域（瞳の部分領域）を通過した光は、ＭＬＡ１０２に入射し、瞳領域毎に分離して出射される。

撮像素子１０３は、撮影レンズ１０１及びＭＬＡ１０２を通過した被写体の画像光を光電変換してアナログ画像信号に変換する多数の画素配列を有する、ＣＣＤ又はＣＭＯＳセンサ等の撮像素子である。なお、撮影光学系の構成は、図１に示される構成に限定されず、被写体空間の３次元的な情報であるＬＦデータを取得可能であればいかなる構成であってもよい。例えば、特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮影光学系及び撮像素子とみなす構成でもよい。また、図１の撮影光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。更には、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でもよい。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

アナログ信号処理部１０４は、カメラ制御部１０６からの指示に応じて、撮像素子１０３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、及びＡ／Ｄ変換などの信号処理を施す。そして、アナログ信号処理部１０４は、信号処理されたデジタル画像信号を画像処理部１０５へ転送する。

画像処理部１０５は、カメラ制御部１０６からの指示に応じて、アナログ信号処理部１０４で処理されたデジタル画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、及び階調変換などの画像処理を施す。そして、画像処理部１０５は、信号処理されたデジタル画像信号をメモリ１１１に記憶させる。

メモリ１１１は、画像処理部１０５から出力されるデジタル画像信号を一時的に記憶する。また、メモリ１１１は、カメラ制御部１０６による処理の過程で作成された設定情報を一時的に記憶する。

操作部１０７は、ボタンやタッチパネルなどといった、ユーザからの操作を受け付ける部材を含む。カメラ制御部１０６は、操作部１０７により受け付けた操作に応じて、ＡＦ（オートフォーカス）動作の開始や、メモリ１１１に保存されたデジタル画像データの再生又は消去など、各種の動作を行う。

カメラ制御部１０６は、操作部１０７からの指示を受け、撮影を実行するために撮像装置１００の各ブロックの動作を統括制御する。表示部１１２は、ＬＣＤ（液晶表示装置）等で構成され、リフォーカス処理部１２０で処理されたデジタル画像信号を受けて表示する。カメラ制御部１０６は、焦点調節機能も有し、焦点検出部１０９の焦点検出結果に基づいて、撮影レンズ１０１に含まれるフォーカスレンズを駆動させることで焦点調節を行う。

被写体検出部１０８は、画像処理部１０５で得られたデジタル画像データの中からすべての被写体の顔を検出し、画面内における顔位置を検出するものである。ここでは、被写体検出の例として顔検出を挙げたが、人体検出等の被写体検出処理を行ってもよい。また、被写体検出に関しては、任意の公知の顔検出処理や人体検出処理を利用可能である。

焦点検出部１０９は、撮像素子１０３の各画素の少なくとも異なる２つの瞳領域を通過した光を光電変換して得られる信号を別々に取り込むことで、少なくとも異なる２つの像の像ずれ量を相関演算で求める。そして、焦点検出部１０９は、像ずれ量に対して変換係数を乗じることで被写体像のデフォーカス量を算出し、カメラ制御部１０６へ転送する。

リフォーカス情報生成部１１０は、撮像された各フレームに対して、リフォーカス画像を生成する際に必要となる情報をヘッダ情報として付加する。ヘッダ情報には、焦点検出部１０９で算出したデフォーカス量、カメラ制御部１０６によるフォーカスレンズの像面移動速度、各フレームのデフォーカス量の差であるデフォーカス変化量などが含まれる。これらの情報は、各測距領域ごとに記録フレームにヘッダ情報として付加される。更に、被写体検出部１０８による検出結果に応じた被写体検出領域に対して、前述のヘッダ情報が各フレームにヘッダ情報として付加される。

領域選択部１２２は、ユーザによる領域選択の結果をメモリ１１１から読み出し、ユーザが指定した位置から最も近い被写体を選択し、選択した被写体位置の情報をリフォーカス動画生成部１２３又はリフォーカス静止画生成部１２４へ転送する。リフォーカス動画生成部１２３は、領域選択部１２２で選択された被写体の動画として、複数フレームのＬＦデータとして取得されたデータとヘッダ情報とに基づいてリフォーカス処理を行うことにより、リフォーカス動画を生成する。また、リフォーカス動画生成部１２３は、動画の各フレームにおける被写体検出領域のデフォーカス変化量が滑らかになるように処理を行う。リフォーカス動画生成部１２３は、前述のリフォーカス情報生成部１１０のヘッダ情報に基づき、記録フレームをシフト加算するリフォーカス係数を用いて動画をリフォーカス処理することにより、リフォーカス動画を生成する。

本実施形態では、ヘッダ情報としてデフォーカス量、デフォーカス変化量、及び像面移動速度等を有していることにより、リフォーカス動画生成部１２３は、リフォーカス動画を生成する際にヘッダ情報に基づいてリフォーカス処理を行うことができる。そのため、リフォーカス処理時の負荷を小さくできる。

リフォーカス静止画生成部１２４は、静止画として取得された画像のヘッダ情報として付加されている被写体検出領域とデフォーカス量とを参照し、画像をシフト加算するリフォーカス係数を用いてリフォーカス演算処理を行う。これにより、静止画のデフォーカス量が補正される。

リフォーカス演算処理に関しては、任意の公知の技術を利用可能である。一例として、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）という手法を用いることができる。

次に、撮像装置１００の撮影レンズ１０１、ＭＬＡ１０２、及び撮像素子１０３の詳細な構成について説明する。

図２は、撮像素子１０３及びＭＬＡ１０２を図１の光軸方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。１つのマイクロレンズの後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施形態では、画素配列２０には、５行５列の計２５個の単位画素２０１が含まれるものとする。また、撮像素子１０３には、５行５列の計２５個の画素配列２０が含まれるものとする。なお、図２の例では、画素配列２０に含まれる単位画素２０１の数を５行５列の２５個としたが、１つのマイクロレンズの後方に複数の単位画素があればよいため、例えば１行２列、又は３行３列などであってもよい。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を、光軸に対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５にそれぞれ結像する。

図４（ａ）は、撮影レンズ１０１の開口を光軸方向から見た図である。図４（ｂ）は、１つのマイクロレンズ１０２０とその後方に配置された画素配列２０とを光軸方向から見た図である。図４（ａ）に示すように、撮影レンズ１０１の瞳領域を１つのマイクロレンズの後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は、光軸方向から見て点対称となる。従って、撮影レンズ１０１の瞳領域ａ１１から出射した光は、マイクロレンズ後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある画素配列２０の中の画素ｐ１１に結像する。

ここで、画面内（画像中）の任意の被写体位置に対応した焦点位置（リフォーカス面）を算出する方法について説明する。図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１、ａ１２〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像を「Ａ像」とする。また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４、ａ１５〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像を「Ｂ像」とする。Ａ像とＢ像に対して相関演算を行い、像のずれ量（瞳分割位相差）を検出する。その後、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置のデフォーカス量を算出することができる。

次に、上記の撮影レンズ１０１、ＭＬＡ１０２、及び撮像素子１０３の構成によって取得された撮像データ（ＬＦデータ）から、任意に設定した焦点位置（リフォーカス面）で画像を再構成する処理（リフォーカス処理）について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズ１０１のどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを、光軸に対して垂直方向から観察した図である。図５において、撮影レンズ１０１の瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、ＭＬＡ１０２上のマイクロレンズの位置を座標（ｘ’，ｙ’）とする。また、撮影レンズ１０１からＭＬＡ１０２までの距離をＦ、撮影レンズ１０１からリフォーカス面までの距離をαＦとする。αは、リフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる。なお、図５では、ｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、ＭＬＡ１０２上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は、式（３）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズ１０１の瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、リフォーカス係数αはユーザによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から位置（ｕ，ｖ）に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

次に、図６を参照して、本実施形態のリフォーカス処理について説明する。図６（ａ）は、合焦距離と動画の各フレームとの関係を示す図である。なお、本実施形態では、動画の各フレームは、ＬＦデータとして生成され記録される。図６（ａ）において、横軸は動画の各フレームを時系列に示し、縦軸は合焦距離を示す。点線が被写体の挙動を示し、一点鎖線がリフォーカス処理前である動画記録時のフォーカスの挙動を示し、実線が動画記録後にリフォーカス処理したフォーカスの挙動を示している。

被写体が動いている場合、撮像装置１００は、焦点検出部１０９により得られるデフォーカス量に基づいて被写体の動きを予測し、フォーカスレンズによる焦点調整を行う。しかしながら、被写体の動きが不規則な場合には、撮像装置１００は予測を誤り、被写体に対して前ピンや後ピンに変動してフォーカスが追従してしまう可能性がある。そのため、記録された動画（リフォーカス前）においては、被写体の合焦位置に対してフォーカス位置が変動し、ボケ状態から被写体に合焦した状態へと滑らかに遷移する動画を得ることができない。そこで、撮像装置１００は、動画記録後にリフォーカス処理を行うことにより滑らかに被写体に合焦する動画を生成させるために、動画記録後に各フレームの被写体の合焦位置と動画記録時のフォーカス位置との差であるデフォーカス量を算出する。

図６（ｂ）は、デフォーカス量と動画の各フレームとの関係を示す図である。図６（ｂ）において、横軸は動画の各フレームを時系列に示し、縦軸はデフォーカス量を示す。一点鎖線は、リフォーカス処理前である動画記録時の時系列に並んだ各フレームのデフォーカス量を示し、実線は、リフォーカス処理後の時系列に並んだ各フレームのデフォーカス量を示す。

撮像装置１００は、前フレームからのデフォーカス量の変化量が閾値よりも大きいフレームを検出する。撮像装置１００は、少なくとも検出したフレーム（第１のＬＦデータ）と前フレーム（第２のＬＦデータ）とを含む連続した３以上のフレームをリフォーカス処理対象のフレームのセット（リフォーカス対象フレームセット）として選択する。図６（ｂ）の例では、図示された１３個のフレームのすべてがリフォーカス対象フレームセットとして選択されたものとする。そして、撮像装置１００は、リフォーカス対象フレームセットの各フレームのデフォーカス量から多項式近似により近似関数を算出し、デフォーカス量が単調減少する関数を導出する。撮像装置１００は、導出した関数に従って各フレームの目標デフォーカス量を算出し、目標デフォーカス量から像ずれ量に換算する換算係数を乗じることによりシフト加算量を決定し、リフォーカス処理を行う。その結果、図６（ｂ）の実線に示すような、デフォーカス量が単調減少する動画（即ち、被写体に対して滑らかに合焦する動画）が生成される。

なお、上述の近似関数に基づく目標デフォーカス量の変化量が依然として閾値よりも大きいフレームが存在する場合、撮像装置１００は、変化量が閾値以下となるように目標デフォーカス量を修正してもよい。一例として、図６（ｂ）において１番目のフレームと２番目のフレームとの間の目標デフォーカス量（実線）の変化量が閾値よりも大きい場合を考える。この場合、撮像装置１００は、２番目のフレームの目標デフォーカス量を大きくすることにより、変化量を閾値以下にすることができる。また、２番目のフレームの目標デフォーカス量を大きくしたために２番目のフレームと３番目のフレームとの間の目標デフォーカス量の変化量が閾値よりも大きくなった場合、撮像装置１００は、３番目のフレームの目標デフォーカス量を大きくしてもよい。同様に、撮像装置１００は、４番目以降のフレームの目標デフォーカス量を大きくすることもできる。これにより、撮像装置１００は、リフォーカス対象フレームセットの全フレーム（即ち、連続する２つのフレームのすべての組み合わせ）について、目標デフォーカス量の変化量を閾値以下にすることができる。また、リフォーカス対象フレームセットの最後のフレームの目標デフォーカス量とその次のフレームのデフォーカス量との間の変化量が閾値よりも大きい場合、撮像装置１００は、後者のフレームをリフォーカス対象フレームセットに追加してもよい。これにより、動画全体に亘ってフレーム間のデフォーカス量の変化量を閾値以下にすることができる。

また、撮像装置１００は、閾値決定機能を有していてもよい。例えば、撮像装置１００は、デフォーカス量の変化量に関する閾値を、動画のフレームレート（ＬＦデータの生成時のフレームレート）に応じて決定する。連続する２フレーム間のデフォーカス量の変化量が一定の場合、フレームレートが高いほど、デフォーカス量の単位時間あたりの変化量は大きくなる。そこで、フレームレートが高いほど閾値を小さくすることにより、デフォーカス量の変動を抑えたより自然な動画を生成することが可能となる。

また、目標デフォーカス量の決定方法は、上述の近似関数に基づくものに限定されず、かつ、目標デフォーカス量が単調減少することは必須ではない。デフォーカス量の変化量が閾値よりも大きい２フレーム間について変化量を減少させるものであれば、いかなる決定方法によって目標デフォーカス量を決定してもよい。本実施形態では、リフォーカス対象フレームセットが３以上のフレームを含み、目標リフォーカス量の決定が３以上のフレームのデフォーカス量に基づいて行われる。そのため、単純に連続する２フレーム間のデフォーカス量の変化量を減少させる場合と比べて、動画の長い期間に亘ってデフォーカス量を滑らかに変化させることが可能となる。

次に、図７を参照して、撮像装置１００の動作を説明する。本フローチャートの各ステップの処理は、特に断らない限り、カメラ制御部１０６がＲＯＭ（不図示）に格納されたプログラムを実行して撮像装置１００の各部を制御することにより実現される。撮像装置１００が撮影スタンバイ状態になると、本フローチャートの処理が開始する。

Ｓ１０１で、カメラ制御部１０６は、ユーザから操作部１０７を介して動画記録開始指示を受信するまで待機する。動画記録開始指示を受信すると、カメラ制御部１０６は、処理をＳ１０２に進める。Ｓ１０２で、カメラ制御部１０６は、動画記録を開始し、ユーザから操作部１０７を介して動画記録終了指示を受信するまで、記録フレームごとにＳ１０３乃至Ｓ１０８の処理を繰り返す。本実施形態では、記録フレームはＬＦデータであり、Ｓ１０２から開始する動画記録は、撮像装置１００が複数のＬＦデータを連続的に生成して記録する処理である。

Ｓ１０３で、被写体検出部１０８は、被写体検出を行うことにより被写体領域を特定する。被写体検出は、現在の記録フレームよりも前のフレームを用いて行われる。従って、前のフレームにおいて特定された被写体領域が、現在の記録フレームの被写体領域として使用される。動画記録時には、被写体検出部１０８は、光軸方向における追従を優先して被写体検出を行う。そのため、被写体検出部１０８は、記録フレームのＸＹ方向（撮像面内）における検出位置の精度より、検出スピードを優先して被写体検出を行う。例えば、被写体検出部１０８は、記録フレームの１フレーム前で被写体検出を行い、検出結果を記録フレームの処理に用いる。

Ｓ１０４で、焦点検出部１０９は、撮像素子１０３から読み出された画像である記録フレームに対して、Ｓ１０３において特定された被写体領域について焦点検出を行い、デフォーカス量を算出する。Ｓ１０５で、カメラ制御部１０６は、Ｓ１０４において算出されたデフォーカス量に基づいてフォーカスレンズを駆動することにより、焦点調節を行う。Ｓ１０６で、カメラ制御部１０６は、Ｓ１０５における焦点調節後に撮像素子１０３から読み出されたフレーム（ＬＦデータ）をメモリ１１１に記録する。

Ｓ１０７で、焦点検出部１０９は、Ｓ１０６においてメモリ１１１に記録されたフレームに対して焦点検出を行い、リフォーカス処理を行う際に利用する各被写体領域のデフォーカス量を算出する。Ｓ１０８で、リフォーカス情報生成部１１０は、切り出し静止画用パラメータとしてデフォーカス量を記録フレームにヘッダ情報として付加する。

カメラ制御部１０６が動画記録終了指示を受信すると、Ｓ１０９で、動画記録を終了する。Ｓ１１０で、撮像装置１００は、動画として記録されたＬＦデータを用いてリフォーカス処理を行う。Ｓ１１０の詳細については、図８を参照して後述する。

なお、上の説明では、動画記録中にリフォーカス情報生成部１１０が記録フレームにヘッダ情報を付加するものとしたが、ヘッダ情報の付加は、動画記録終了後に行ってもよい。また、上の説明では、動画記録終了に続いてリフォーカス処理が行われるものとしたが、リフォーカス処理の実行タイミングはこれに限定されない。例えば、ユーザによるリフォーカス処理の指示が行われたタイミングや、撮像装置１００の処理負荷に応じて決定されるタイミングでリフォーカス処理が行われてもよい。

図８は、図７のＳ１１０におけるリフォーカス処理のフローチャートである。Ｓ２０１で、カメラ制御部１０６は、複数フレームのＬＦデータから任意のフレームを選択する。ここで選択されるフレーム（所定のＬＦデータ）は、例えば、動画の先頭フレームである。或いは、カメラ制御部１０６は、ユーザ指示に従ってフレームの選択を行ってもよい。Ｓ２０２で、カメラ制御部１０６は、Ｓ２０１において選択されたフレームから評価領域を選択する。評価領域としては、ユーザが任意の領域を選択してもよいし、被写体検出により例えば顔領域を自動選択してもよい。Ｓ２０３で、カメラ制御部１０６は、Ｓ２０２において選択された評価領域を追尾領域として記憶する。そして、カメラ制御部１０６は、Ｓ２０１において選択されたフレーム以外（選択されたＬＦデータ以外）の各フレームについて、追尾領域の被写体を含む領域を評価領域として設定する。各フレームにおける、追尾領域の被写体を含む領域の検出は、例えば、追尾領域と一致度が高い領域を検索することにより行うことができる。ここでの追尾処理は動画記録後の処理のため、カメラ制御部１０６は、処理速度よりも追尾領域の検出位置精度を優先して処理を行う。これにより、動画記録時の被写体検出処理（図７のＳ１０３）よりも、ＸＹ方向（撮像面内）の追尾精度を向上させることができ、各フレームのデフォーカス量の検出精度を向上させることができる。

Ｓ２０４で、カメラ制御部１０６は、各フレームについて、評価領域における合焦位置とリフォーカス処理前のフォーカス位置との差であるデフォーカス量を算出する。カメラ制御部１０６は、各フレームの評価領域とデフォーカス量とを対応付けてデータテーブルとして記憶する。

Ｓ２０５で、カメラ制御部１０６は、リフォーカス対象フレームセットを選択する。選択方法は、図６（ｂ）を参照して説明した通りである。なお、前フレームからのデフォーカス量の変化量が閾値よりも大きいフレームが離散的に複数存在する場合、カメラ制御部１０６は、複数のリフォーカス対象フレームセットを選択してもよい。

Ｓ２０６で、カメラ制御部１０６は、各リフォーカス対象フレームセットについて、各フレームの目標デフォーカス量を決定する。目標デフォーカス量の決定方法は、図６（ｂ）を参照して説明した通りである。

Ｓ２０７で、カメラ制御部１０６は、各リフォーカス対象フレームセットについて、各フレームのデフォーカス量と目標デフォーカス量との差分に基づいて、各フレームのリフォーカス処理のシフト加算量を算出する。

Ｓ２０８で、リフォーカス動画生成部１２３は、各リフォーカス対象フレームセットについて、Ｓ２０７において算出したシフト加算量に基づいて各フレームのリフォーカス処理を行い、目標デフォーカス量に対応する動画フレームを再構成する。また、リフォーカス対象フレームセットに含まれないフレームについては、リフォーカス動画生成部１２３は、フォーカス位置を変更せずに動画フレームを再構成する。その後、カメラ制御部１０６は、処理を図７のフローチャートに戻す。

なお、Ｓ２０８において、リフォーカス動画生成部１２３は、目標リフォーカス量に関わらず、画素ピッチ、画素分割数、及び動画撮影時のＦ値に依存して決まるリフォーカス可能範囲内でリフォーカス処理を行う。従って、リフォーカス処理前のデフォーカス量と目標リフォーカス量との差が大きい場合は、リフォーカス処理後のデフォーカス量が目標リフォーカス量に到達しない場合もある。

以上説明したように、第１の実施形態によれば、撮像装置１００は、ＬＦデータとして撮影された動画において、前フレームからのデフォーカス量の変化量が閾値よりも大きいフレームを検出する。そして、撮像装置１００は、少なくとも検出したフレームと前フレームとを含む連続した３以上のフレームをリフォーカス対象フレームセットとして選択する。撮像装置１００は、リフォーカス対象フレームセットの各フレームのデフォーカス量に基づき、各フレームの目標デフォーカス量を決定する。目標デフォーカス量の決定は、デフォーカス量の変化量が閾値よりも大きい２フレーム間について変化量を減少させるように行われる。撮像装置１００は、リフォーカス対象フレームセットの各フレームについて、目標デフォーカス量に基づいてリフォーカス処理を行う。これにより、デフォーカス量の急激な変動を抑制し、動画の画質を向上させることが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０４…アナログ信号処理部、１０５…画像処理部、１０６…カメラ制御部、１０８…被写体検出部、１０９…焦点検出部、１１０…リフォーカス情報生成部、１１１…メモリ、１１２…表示部、１２０…リフォーカス処理部

Claims (10)

1. 撮像手段により連続的に生成された複数のライトフィールド（ＬＦ）データそれぞれについて、所定の評価領域におけるデフォーカス量を取得する取得手段と、
   前記複数のＬＦデータのうち、１つ前のＬＦデータからのデフォーカス量の変化量が閾値よりも大きい第１のＬＦデータを検出する検出手段と、
   前記検出された第１のＬＦデータと、前記第１のＬＦデータの１つ前の第２のＬＦデータと、を少なくとも含む３以上のＬＦデータを選択する選択手段と、
   前記第２のＬＦデータから前記第１のＬＦデータへの目標デフォーカス量の変化量が前記第２のＬＦデータから前記第１のＬＦデータへのデフォーカス量の変化量よりも小さくなるように、前記選択された３以上のＬＦデータそれぞれのデフォーカス量に基づいて前記３以上のＬＦデータそれぞれの目標デフォーカス量を決定する決定手段と、
   前記複数のＬＦデータから動画を生成する生成手段であって、前記選択された３以上のＬＦデータに対して前記目標デフォーカス量に基づくリフォーカス処理を行う、生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記選択された３以上のＬＦデータそれぞれのデフォーカス量の多項式近似に基づいて前記３以上のＬＦデータそれぞれの目標デフォーカス量を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第２のＬＦデータから前記第１のＬＦデータへの目標デフォーカス量の変化量が前記閾値以下になるように、前記選択された３以上のＬＦデータそれぞれのデフォーカス量に基づいて前記３以上のＬＦデータそれぞれの目標デフォーカス量を決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記選択された３以上のＬＦデータにおいて連続する２つのＬＦデータのすべての組み合わせについて目標デフォーカス量の変化量が前記閾値以下になるように、前記選択された３以上のＬＦデータそれぞれのデフォーカス量に基づいて前記３以上のＬＦデータそれぞれの目標デフォーカス量を決定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数のＬＦデータの生成時のフレームレートが高いほど前記閾値が小さくなるように、前記フレームレートに基づいて前記閾値を決定する閾値決定手段
   を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記取得手段は、前記複数のＬＦデータのうちの所定のＬＦデータの所定の領域を前記所定のＬＦデータの前記所定の評価領域として選択し、前記所定のＬＦデータ以外の各ＬＦデータにおいて前記所定の領域の被写体を含む領域を前記各ＬＦデータの前記所定の評価領域として選択する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記所定のＬＦデータは、前記複数のＬＦデータのうちの先頭のＬＦデータ、又はユーザ指示に従って選択したＬＦデータである
   ことを特徴とする請求項６に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
   前記撮像手段と、
   を備えることを特徴とする撮像装置。
9. 画像処理装置が実行する画像処理方法であって、
   撮像手段により連続的に生成された複数のライトフィールド（ＬＦ）データそれぞれについて、所定の評価領域におけるデフォーカス量を取得する取得工程と、
   前記複数のＬＦデータのうち、１つ前のＬＦデータからのデフォーカス量の変化量が閾値よりも大きい第１のＬＦデータを検出する検出工程と、
   前記検出された第１のＬＦデータと、前記第１のＬＦデータの１つ前の第２のＬＦデータと、を少なくとも含む３以上のＬＦデータを選択する選択工程と、
   前記第２のＬＦデータから前記第１のＬＦデータへの目標デフォーカス量の変化量が前記第２のＬＦデータから前記第１のＬＦデータへのデフォーカス量の変化量よりも小さくなるように、前記選択された３以上のＬＦデータそれぞれのデフォーカス量に基づいて前記３以上のＬＦデータそれぞれの目標デフォーカス量を決定する決定工程と、
   前記複数のＬＦデータから動画を生成する生成工程であって、前記選択された３以上のＬＦデータに対して前記目標デフォーカス量に基づくリフォーカス処理を行う、生成工程と、
   を備えることを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images