JP6272099B2 - 画像処理装置、制御方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、制御方法およびプログラムに関し、特にフレームが光線空間情報で構成される動画像の再生技術に関する。

近年、撮影後に任意の被写体距離に合焦させることができるカメラとして、ライトフィールドカメラが提案されている。ライトフィールドカメラは、被写体からの反射光束の強度分布をその入射方向の情報とともに光線空間情報（Light Field Information）として記録できることが知られている。

光線空間情報を記録可能な構成には、撮像素子の前面に複数のマイクロレンズを配置し、一つのマイクロレンズに対して複数の画素を対応づけることにより、瞳領域を通過した光束を分離して記録するようにしたものがある。光線空間情報は入射方向ごとに反射光束の強度分布を有するため、該情報から任意の被写体距離の面における反射光束の強度分布を再現することができる。従って、光線空間情報を用いて任意の被写体距離に合焦した画像（再構成画像）を、光線空間情報の記録後に生成（再構成）することができる。

特許文献１は、再構成画像を用いたオートフォーカス機能を実現する技術を開示している。該技術では、取得した光線空間情報から合焦する被写体距離が異なる複数の再構成画像を生成し、生成した再構成画像について被写体に対する合焦状態を評価する。そして、合焦状態が最も合焦に近い再構成画像を特定することにより、適切な被写体距離に対応したフォーカスを制御する。光線空間情報から複数の再構成画像を生成することによって、光学系を駆動して複数の画像を撮像する動作が不要となり、フォーカス制御の迅速化を図ることができる。

特開２００９−２５８６１０号公報

ライトフィールドカメラによって取得した光線空間情報から被写体が好適な合焦状態となる再構成画像を得るには、合焦する被写体距離が異なる多数の再構成画像を生成して各再構成画像における被写体の合焦状態を評価する必要がある。このため、再構成画像の生成や合焦状態を評価するために多くの処理時間を必要とする。

ところで、例えば静止画像用に記録された光線空間情報から再構成画像を生成する場合等、生成後には再構成画像の表示処理以外の処理を行う必要がない場合等は、合焦状態の評価処理に時間をかけることが許容されうる。しかし、例えば動画像として記録される、あるいは記録された光線空間情報を順次取得して所定のフレームレートで表示するような場合、１フレームに係る合焦状態の評価処理に割り当て可能な時間は、フレームレートによって定まる時間に制限される。このため、合焦状態の評価処理を限られた時間内に完了するために、合焦状態の評価を行う被写体距離の数を減らす方法が考えられる。しかし、再構成画像の被写体距離の間隔が広がり、適切な被写体距離についての合焦状態の評価が行えなくなる可能性があるため、好適な合焦状態の再構成画像が得られないことがある。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、フレームが光線空間情報で構成される動画像の再生において、被写体に好適に合焦したフレームを生成可能な画像処理装置、制御方法およびプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、任意の被写体距離に合焦した再構成画像を生成可能な画像信号を各フレームに含む動画像から、画像信号を順次取得する取得手段と、合焦させる被写体距離を特定する特定情報を用いて、画像信号から該被写体距離に合焦した再構成画像を生成する生成手段と、画像信号について、各々異なる被写体距離を特定する複数の特定情報を設定する設定手段と、設定手段により設定された複数の特定情報を用いて生成された複数の再構成画像における被写体の合焦状態に基づいて、被写体の合焦状態が所定の条件を満たす被写体距離を特定する出力用の特定情報を決定する決定手段と、出力用の特定情報を用いて生成された再構成画像を出力する出力手段と、を有し、設定手段は、第１のフレームに後続する第２のフレームについての複数の特定情報により特定される被写体距離が、第１のフレームについて設定した複数の特定情報により特定される被写体距離よりも、第１のフレームについて決定された前記出力用の特定情報により特定される被写体距離を含む所定の被写体距離の範囲で密になるように、第２のフレームについての複数の特定情報を設定することを特徴とする。

本発明によれば、フレームが光線空間情報で構成される動画像の再生において、被写体に好適に合焦したフレームを生成可能になる。

本発明に係る画像処理装置の一例としてのデジタルビデオカメラの機能構成を示すブロック図 本発明に係るデジタルビデオカメラの一例としてのマイクロレンズアレイと撮像面に配置される画素を模式的に示す図 撮像素子で受光される被写体からの反射光束を模式的に示す図 撮像素子で受光される光束について、撮像レンズおよび再構成面における位置の対応を模式的に示す図 本発明の実施形態１に係るリフォーカス処理部の機能構成を示すブロック図 本発明の実施形態１に係るフレーム間におけるリフォーカス係数と合焦評価値の関係を示す図 本発明の実施形態２に係るリフォーカス処理部の機能構成を示すブロック図 本発明の実施形態２に係るフレーム間におけるリフォーカス係数と合焦評価値の関係を示す図 本発明の実施形態１に係るリフォーカス処理の一連の動作を示すフローチャート 本発明の実施形態２に係るリフォーカス処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、被写体からの反射光束の強度および入射角度の情報を有する画素値から構成される光線空間情報（ＬＦデータ）を記録可能なデジタルビデオカメラに本発明を適用した例を説明する。しかし、本発明はＬＦデータを記録可能なデジタルビデオカメラに限らず、記録されたＬＦデータを読み込んで、所望の被写体距離に合焦した動画像を再生可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれてよい。

（１ デジタルビデオカメラの構成）
図１は本実施形態のデジタルビデオカメラの機能構成例を示す図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

被写体からの反射光束は、撮像レンズ１０１により集光されてマイクロレンズアレイ１０２を通過した後、撮像素子１０３に投影されて光電変換される。撮像レンズ１０１は、単一または複数のレンズからなる撮像光学系であり、フォーカス機能やズーム機能を持たせてもよい。マイクロレンズアレイ１０２は、図２（ａ）に示すように、撮像レンズ１０１と撮像素子１０３の間、かつ撮像素子１０３の近傍に配置される。撮像素子１０３は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、複数の画素が格子状に配置されている。

マイクロレンズアレイ１０２には、例えばマイクロレンズが格子状に複数配置されている。１つのマイクロレンズには、撮像素子１０３のｎ×ｍ個の画素が対応するように配置され、例えば図２（ｂ）では、マイクロレンズ２０１に対して、撮像素子１０３の５×５個の画素が対応するように配置されている。

１つのマイクロレンズに結像した被写体からの反射光束は、該マイクロレンズによって展開されて撮像レンズ１０１の通過領域毎に対応する画素によって受光される。図３に示すように、被写体３０１の１点（３０２）から反射した光束は、撮像レンズ１０１に入射する。入射した光束は、撮像レンズ１０１によって集光されてマイクロレンズアレイ１０２表面の結像面３０３に結像される。結像された光束は、マイクロレンズによって、通過した瞳領域ごとに対応する画素３２１〜３２５に展開されて受光される。例えば、図３において撮像レンズ１０１の上端部を通過した光束３１１は画素３２１によって受光され、撮像レンズ１０１の下端部を通過した光束３１５は画素３２５によって受光される。このように撮像素子１０３の各画素がマイクロレンズによって展開された光束を受光するため、被写体３０１からの反射光束は、通過した撮像レンズ１０１の瞳領域ごとに分割された画像信号、即ちＬＦデータを構成する。撮像素子１０３は、各画素により光電変換されて得られたＬＦデータをＬＦデータ入力部１０４へ出力する。撮像素子１０３は、一秒間にフレームレートで定められたフレーム数のＬＦデータを順次出力する。順次出力されるＬＦデータは、各フレームにＬＦデータを含む動画像を構成する。

ＬＦデータ入力部１０４は、撮像素子１０３から入力されたＬＦデータに対して増幅処理やＡ／Ｄ変換処理を施す。ＬＦデータ入力部１０４は、ＬＦデータに対して、例えば予め設定された変換特性により傷補正、色バランス補正などの現像処理を行い、メモリ１０５に処理されたＬＦデータを格納する。メモリ１０５は、例えば高速にランダムアクセス可能なダイナミックＲＡＭである。

メディアＩ／Ｆ１０８は、コントローラ１１１の指示により、撮像動作によって順次メモリ１０５に格納されるＬＦデータを読み出して、記録メディア１０９に該ＬＦデータを書き込む。メディアＩ／Ｆ１０８は、例えばＦＡＴなどのファイルシステムの形式でデータの書き込みを行なう。また、メディアＩ／Ｆ１０８は、記録メディア１０９におけるＬＦデータのファイルの生成やファイルシステムの制御を行う。また、メディアＩ／Ｆ１０８は、記録メディア１０９に記録されたＬＦデータを再生する場合、該ＬＦデータを記録メディア１０９から読み出して、メモリ１０５に格納する。

記録メディア１０９は、例えばハードディスクドライブやフラッシュメモリ等の不揮発半導体メモリにより構成され、メディアＩ／Ｆ１０８の制御によりＬＦデータの書き込みおよび読み出しを行う。

リフォーカス処理部１１０は、撮像動作の場合、撮像によってメモリ１０５に格納されたＬＦデータを取得して、１フレームごとに特定の被写体距離に合焦した（特定の焦点面、焦点位置の）再構成画像を生成（リフォーカス処理）する。リフォーカス処理の詳細は後述するが、リフォーカス処理部１１０が１フレームごとに生成する再構成画像を順次出力することによって特定の被写体距離に合焦した映像（再構成映像）が生成される。リフォーカス処理部１１０は、生成した再構成画像を出力してメモリ１０５に格納する。一方、記録メディア１０９に記録されたＬＦデータを再生する場合、リフォーカス処理部１１０は、メディアＩ／Ｆ１０８を経由してメモリ１０５に格納されたＬＦデータを順次取得して、リフォーカス処理を行う。

映像出力部１０６は、コントローラ１１１の指示により、メモリ１０５に格納された再構成映像を順次取得して、表示部１０７と図示しない映像出力端子に出力する。表示部１０７は、映像出力部１０６から入力された再構成映像を表示する。撮像動作がされている場合、表示部に撮像中の再構成映像が表示され、ユーザは再構成映像を確認しながら撮像を行うことができる。また、記録メディア１０９に記録された動画像に係るＬＦデータを再生する場合、該ＬＦデータの再構成映像が表示部１０７に表示される。

操作部１１２は、動画像の撮像を開始するユーザ操作用のボタンや設定を行うスイッチのほか、表示部１０７の表面に配置されたタッチパネルセンサにより構成される。ユーザによる操作が操作部１１２からコントローラ１１１に通知されると、コントローラ１１１の指示により各機能ブロックが制御されて撮像動作や再生動作等が行われる。また、ユーザは操作部１１２を通じて、再構成映像において合焦させる画像内の領域を指定することができる。

コントローラ１１１は、本デジタルビデオカメラの全体的な動作制御を行うコントローラであり、いわゆるＣＰＵである。ＣＰＵが不図示のＲＯＭに格納されたプログラムをメモリ１０５の作業領域に展開し、実行することにより、デジタルビデオカメラの動作制御を行う。

上述した各機能ブロックは、データバス１１３に接続され、コントローラ１１１との制御信号の送受信を行なう。またデータバス１１３は各機能ブロックからの時分割によるデータの送受信を制御する。

（２ リフォーカス処理部の処理）
リフォーカス処理部１１０の処理について、より詳細に説明する。リフォーカス処理部は、図５に示す機能ブロックによって構成される。

リフォーカス処理部１１０において再構成画像は、評価用画像生成部６０１および再構成画像生成部６０５によって生成される。該機能ブロックにおける再構成画像の生成について説明する。撮像により得られたＬＦデータの各画素に入射した光束の光路は、図４（ａ）に示すように撮像レンズ１０１内の瞳領域の座標（ｕ、ｖ）と、対応するマイクロレンズの位置の座標（ｘ’，ｙ’）により規定される。再構成画像の生成においては、再構成画像を生成する任意の被写体距離に対応する再構成面（焦点面）上の画素（ｘ、ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

図４（ｂ）は、デジタルビデオカメラ１００の横位置における鉛直方向から見た光束の光路を示している。撮像レンズ面の瞳領域の座標を（ｕ，ｖ）、再構成面上の画素の座標を（ｘ，ｙ）とすると、該瞳領域と該再構成面上の画素を通過する光束が入射するマイクロレンズの位置の座標（ｘ’，ｙ’）は、


で表される。なお、Ｆは撮像レンズから結像面までの距離、αＦは撮像レンズの射出瞳から再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。

また該光束を受光する光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、


で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

評価用画像生成部６０１は、メモリ１０５から取得した１フレーム分のＬＦデータから、合焦状態を評価するための再構成画像（評価用画像）を複数生成する。複数の評価用画像は、各々異なる被写体距離に合焦するよう生成された再構成画像であり、被写体に対する合焦の度合がそれぞれ異なる。該複数の評価用画像は、評価用係数設定部６０４により設定される複数のリフォーカス係数に基づいて生成される。ここで、評価用画像を生成するために設定されるリフォーカス係数を、評価用係数と呼ぶ。評価用画像生成部６０１は、撮像した画像領域のうち、一部の合焦させたい被写体の領域（合焦対象の領域）に限った再構成画像を生成するようにしてもよい。合焦対象の領域とは例えば、被写体が人物である場合の顔領域などである。また、操作部１１２を通じてユーザにより設定された画像領域であってもよい。このように処理対象となる領域を小さくすることで、１つの評価用画像の生成にかかる処理量を低減できるため、より多くの被写体距離について合焦状態の評価を行うことができる。評価用画像生成部６０１は、生成した複数の評価用画像を合焦評価部６０２に出力する。

合焦評価部６０２は、評価用画像生成部６０１において生成された複数の評価用画像について画像ごとに合焦状態を評価するための合焦評価値を算出する。合焦評価部６０２は、各評価用画像に対して算出した合焦評価値をリフォーカス係数決定部６０３に出力する。

リフォーカス係数決定部６０３は、合焦評価部６０２により算出された複数の合焦評価値から、再構成画像生成部６０５で用いるリフォーカス係数を決定する。まずリフォーカス係数決定部６０３は、取得した合焦評価値のうち最も高い合焦評価値を選択することにより、対応する評価用画像を選択する。そして、選択した評価用画像に対応する評価用係数の値を、出力用の再構成画像（再生により表示されるフレームの画像）を生成するためのリフォーカス係数として決定する。リフォーカス係数決定部６０３は、決定したリフォーカス係数を再構成画像生成部６０５に出力する。また、リフォーカス係数決定部６０３は、決定したリフォーカス係数を評価用係数設定部６０４に出力する。

再構成画像生成部６０５は、リフォーカス係数決定部６０３により決定されたリフォーカス係数を用いて、画像全体に対する再構成画像、即ち撮影されている被写体全体の領域に対応する再構成画像を生成する。生成された再構成画像はメモリ１０５へ格納される。

評価用係数設定部６０４は、リフォーカス係数決定部６０３により決定されたリフォーカス係数を用いて、次のフレームの新たな評価用係数を設定する。評価用係数設定部６０４において設定される評価用係数は、直前のフレームに対して決定されたリフォーカス係数に基づいて設定される。一般に動画像における連続するフレームの画像は相関が高いため、Ｎ番目のフレームにおいて合焦した被写体の被写体距離は、後続するＮ＋１番目フレームにおいても大きく変動しないと考えられる。即ちＮ＋１番目のフレームにおいて被写体に合焦する被写体距離は、Ｎ番目のフレームにおいて被写体に合焦した被写体距離の近傍、即ち該被写体距離を含む所定の範囲である可能性が高いと考えられる。つまり、該被写体距離の近傍に、Ｎ＋１番目のフレームにおいて被写体に合焦する被写体距離がある可能性が高い場合、該近傍の複数の被写体距離において密に合焦状態の評価を行えば、より被写体に合焦する被写体距離を見つけやすい。従って、Ｎ＋１番目のフレームにおける再構成画像の合焦状態の評価を、Ｎ番目のフレームにおいて合焦状態が最も合焦に近い被写体距離の近傍で密に行えば、被写体に合焦する被写体距離を好適に決定することができる。なお、本実施形態の処理では、合焦状態の評価用や出力用の再構成画像をリフォーカス係数により特定して行うものとして説明するが、リフォーカス係数により特定される撮像光学系の焦点距離が、被写体距離と等価な情報であることは言うまでもない。即ち、特定の被写体距離に合焦するためには、撮像光学系の焦点距離を所定の距離に変更することが必要になるため、両者の間には各撮像光学系の特性に応じた因果関係がある。従って、本実施形態の再構成画像の生成ではリフォーカス係数により特定の再構成面を規定するものとして説明するが、該再構成面の規定には、リフォーカス係数以外も用いることができる。即ち、本発明の実施において再構成面を規定する情報は、リフォーカス係数のほか、焦点距離や被写体距離等、生成した再構成画像において合焦させる被写体距離を特定することができる情報（特定情報）であればいかなる情報であってもよい。なお、以下の説明では、Ｎ番目のフレームをフレームＮ、Ｎ＋１番目のフレームをフレームＮ＋１のように称する。

フレームＮにおいて、評価用画像生成部６０１により評価用係数が設定されて、各評価用係数に対応する再構成画像に対して、合焦評価部６０２による合焦状態の評価が行われる。フレームＮにおける、評価用係数の分布と合焦評価値の関係は、例えば図６（ａ）のようになる。図６（ａ）の横軸にはリフォーカス係数の値が、縦軸には合焦評価値が示されている。フレームＮでは、評価用係数の間隔が広く設定されている。最も合焦評価値の高い評価用係数はα３である。このため、設定された評価係数のうち、α３はフレームＮにおいて合焦状態が最も合焦に近いリフォーカス係数となる。

フレームＮ＋１において評価用画像生成部６０１は、フレームＮにおいて最も合焦評価値の高くなったα３の値を中央値として、中央値付近の評価用係数の設定間隔を密に設定する。図では一例として、評価係数を中央値の近傍で密に設定し、中心値から離れるほど評価係数の間隔が広くなるように設定した例を示している。フレームＮ＋１において設定された評価用係数と合焦評価値の関係は、例えば図６（ｂ）のようになる。フレームＮにおいて決定されたα３の値がフレームＮ＋１においてα４の値として設定され、α４の付近で密に合焦状態が評価される。結果として、合焦状態が最も合焦に近いリフォーカス係数の値がα５の値として決定される。

上述のように、被写体の被写体距離が変化する場合であっても、一般に連続するフレームにおける被写体距離の変化は小さいものとなる。従って、同様にフレームＮ＋２では、図６（ｃ）に示すようにフレームＮ＋１で決定した評価用係数α５の値の近傍に密に評価用係数を設定することにより、被写体に合焦するリフォーカス係数を決定することができる。

なお、評価用係数の設定間隔は、撮像フレームレートに応じて評価用係数の間隔がより密になるように変更するようにしてもよい。これは、フレームレートの高い場合にはフレーム間の被写体の動きがより小さくなるため、フレーム間の映像の相関が高く、合焦状態の変化が小さいことに依る。従って、フレームレートが高い場合には、評価用係数の設定間隔を狭くすれば、より高い合焦評価値を得られ、合焦精度を向上させることができる。

評価用係数設定部６０４は、上述の方法により複数の評価用係数を設定すると、設定した評価用係数を評価用画像生成部６０１に出力する。

（３ リフォーカス処理部の動作）
次に、リフォーカス処理部の動作を図９に示すフローチャートを用いて説明する。図９のフローチャートは、コントローラ１１１がユーザによる撮像動作の指示を検出して撮像を開始し、撮像されたＬＦデータがメモリ１０５に格納された時点から開始される。

Ｓ１０１においてコントローラ１１１は、メモリ１０５から１フレーム分のＬＦデータの読み出しを指示し、リフォーカス処理部１１０は該ＬＦデータを読み込む。リフォーカス処理部１１０の内部では、評価用画像生成部６０１は、供給された該ＬＦデータを読み込み、評価用係数設定部６０４に評価用係数の取得要求を出して、処理をＳ１０２へ進める。

Ｓ１０２において評価用係数設定部６０４は、リフォーカス係数が直前のフレームにおいて決定されているかを判断する。評価用係数設定部６０４は、リフォーカス係数決定部６０３によって決定される、直前のフレームのリフォーカス係数の値が予め設定した固定値でない場合、リフォーカス係数が決定されていると判断して処理をＳ１０３へ進める。一方、直前のフレームのリフォーカス係数の値が予め設定した固定値である場合、リフォーカス係数が決定されていないと判断する。ＬＦデータの読み込みを開始した最初のフレームが処理の対象である場合、直前のフレームのリフォーカス係数は決定されていないため、該リフォーカス係数の値は固定値に設定されている。また、Ｓ１１０において後述するが、リフォーカス係数が再利用できないものと判断された場合、直前のリフォーカス係数がリセットされて固定値に設定される。評価用係数設定部６０４は、リフォーカス係数が決定されていないと判断した場合、処理をＳ１０４へ進める。

Ｓ１０３において評価用係数設定部６０４は、リフォーカス係数決定部６０３によって決定された直前のフレームのリフォーカス係数を基に評価用係数を設定する。評価用係数設定部６０４は、例えば予め実験等により定められた基準に従って７つの評価用係数を設定する。評価用係数設定部６０４は、例えば７つの評価用係数を値の小さいものから順にα１〜α７として、直前のフレームのリフォーカス係数の値を中心の評価用係数となるα４に設定する。また、評価用係数設定部６０４は、α１〜α７の各係数について中心のα４からの変位を予め定めておき、評価用係数の変位テーブルとして記録しておく。テーブルに記録された変位は、中央値を持つα４から離れる評価用係数ほど、隣接する評価用係数との変位が大きくなるように設定されている。評価用係数設定部６０４は、設定したα４の値に該テーブルから読み出した変位に従って、各評価用係数α１〜α３およびα５〜α７を決定する。評価用係数設定部６０４は、７つの評価用係数の設定が完了すると、評価用画像生成部６０１へ該評価用係数を出力し、処理をＳ１０５へ進める。

Ｓ１０４において評価用画像生成部６０１は、評価用係数を等間隔に設定する。例えば予め設定された評価用係数がとり得る範囲を等分割した値をα１〜α７の各評価用係数に設定する。評価用係数設定部６０４は、各評価用係数の設定が完了すると、評価用係数を評価用画像生成部６０１へ出力し、処理をＳ１０５へ進める。

Ｓ１０５において評価用画像生成部６０１は、取得した７つの評価用係数を用いて、各評価用係数に対応する評価用画像を生成する。評価用画像生成部６０１は、上述の再構成面における画素出力Ｅ（ｘ，ｙ）を算出して評価用画像を生成する。評価用画像生成部６０１は、合焦対象の領域が設定されている場合、設定された合焦対象の領域を取得する。合焦対象の領域は、例えば直前のフレームあるいは現在のフレームについて公知の被写体認識技術により検出された人物の顔領域が設定されるものであってよい。合焦対象の領域が設定されている場合、評価用画像生成部６０１は、該画像領域の座標を取得して、該領域に限定された評価用画像を生成する。評価用画像生成部６０１は、取得した全ての評価用係数に対して評価用画像を生成すると、合焦評価部６０２へ出力して処理をＳ１０６へ進める。

Ｓ１０６において合焦評価部６０２は、各評価用画像に対する合焦状態の評価を行う。合焦状態の評価は、一般に知られている公知な方法で画像の合焦の度合を算出することにより行う。例えばエッジ成分の強度や、分散値、コントラスト比などの方法を用いれば画像の合焦している度合を算出できるため、本実施形態における詳細な説明は省略する。合焦評価部６０２は、例えば評価用画像内におけるエッジ成分の強度の平均値を算出して各評価用画像の合焦評価値として設定とする。合焦評価部６０２は、算出した合焦評価値をリフォーカス係数決定部６０３に出力し、処理をＳ１０７へ進める。

Ｓ１０７においてリフォーカス係数決定部６０３は、取得した合焦評価値に基づいて所定の条件を満たすリフォーカス係数を決定する。例えば合焦状態が最も合焦に近い１つのリフォーカス係数を決定する。リフォーカス係数決定部６０３は、取得した合焦評価値を比較することにより最も高い合焦評価値を特定する。リフォーカス係数決定部６０３は、該合焦評価値に対応する評価用係数を、出力するためのリフォーカス係数として決定する。リフォーカス係数決定部６０３は、決定したリフォーカス係数を再構成画像生成部６０５に出力し、処理をＳ１０８へ進める。

Ｓ１０８において再構成画像生成部６０５は、取得したリフォーカス係数に対応する再構成画像を生成する。再構成画像生成部６０５は、再構成画像の生成が完了すると、生成した再構成画像をメモリ１０５に格納する。

Ｓ１０９においてリフォーカス係数決定部６０３は、リフォーカス係数が次のフレームにおいて再利用可能であるかを判断する。リフォーカス係数決定部６０３は、決定されたリフォーカス係数に対応する合焦評価値が、予め決められた所定の値以下である場合、リフォーカス係数が再利用可能ではないと判断する。該合焦評価値が所定の値以下である場合、被写体の急激な動き等によってフレーム間の相関が下がり、設定されている評価用係数が適切で無くなった可能性があるためである。該合焦評価値が所定の値以上である場合、リフォーカス係数決定部６０３は処理をＳ１１０に進める。一方、所定の値より大きい場合、リフォーカス係数決定部６０３は、評価用係数設定部６０４へリフォーカス係数を出力して処理をＳ１１１へ進める。

Ｓ１１０においてリフォーカス係数決定部６０３は、評価用係数設定部６０４に通知するリフォーカス係数をリセットする。リフォーカス係数決定部６０３は、評価用係数設定部６０４に通知するリフォーカス係数の値を０に設定したうえで、評価用係数設定部６０４に出力し、処理をＳ１１１へ進める。

Ｓ１１１においてリフォーカス処理部１１０は、処理対象のフレームが最後のフレームかを判断し、最後のフレームで無い場合は処理を再びＳ１０１へ戻す。処理対象が最後のフレームであるときは、一連の処理を終了する。

リフォーカス処理部１１０から出力された再構成画像はメモリ１０５に順次出力された後、特定の被写体に合焦した再構成映像として、表示部１０７に表示される。

なお、リフォーカス係数決定部６０３は、離散的に存在する合焦評価値と評価用係数の値の関係から合焦評価値の分布に適合する曲線を求め、該曲線に基づいて最も高い合焦評価値を持つリフォーカス係数を求めるようにしてもよい。離散的に分布する評価用係数の間に現れる合焦評価値のピークを推定し、より合焦精度を向上させたリフォーカス係数を決定することができる。

以上説明したように本実施形態によれば、直前のフレームにおいて出力用に決定された被写体距離の近傍に合焦状態の評価を行う被写体距離を設定することにより、生成される再構成画像の合焦精度を向上させることが可能となる。即ち、フレームが光線空間情報で構成される動画像の再生において、被写体に好適に合焦したフレームを生成可能になる。

（実施形態２）
次に実施形態２について説明する。実施形態２では、リフォーカス処理部１１０において被写体の奥行き方向の動き検出を行い、該動き検出の結果に従って、評価用係数が補正される。本実施形態では奥行き方向の動きは被写体距離の変位とみなして説明する。本実施形態のデジタルビデオカメラは、リフォーカス処理部１１０の内部構成とリフォーカス処理部１１０における動作以外、実施形態１と同一である。このため、重複する説明は省略し、相違点について重点的に説明する。

本実施形態に係るリフォーカス処理部１１０の詳細について、図７を参照して実施形態１との相違点について説明する。

リフォーカス処理部１１０に入力された１フレーム分のＬＦデータは、評価用画像生成部６０１に加えて、検出用画像生成部７０１に入力される。

検出用画像生成部７０１は、１フレーム分のＬＦデータから、被写体の奥行き方向の動き検出に用いられる再構成画像（検出用画像）を生成する。検出用画像生成部７０１は、検出用画像を一部の画像領域、例えば上述した合焦対象の領域、に限定して生成してもよい。検出用画像生成部７０１は、生成した再構成画像を動き検出部７０２に出力する。なお、検出用画像生成部７０１は、生成した検出用画像を次のフレームにおける動き検出のために保持しておく。

動き検出部７０２は、検出用画像生成部７０１から取得した検出用画像を用いて、連続するフレーム間における被写体の奥行き方向の移動を検出する。動き検出部７０２は、該検出用画像におけるフレーム間の所定の画素数のブロックに対する動きベクトルを検出することにより、奥行き方向の動きを検出する。

評価用係数設定部６０４は、動き検出部７０２から取得した奥行き方向の動きに基づいて、直前のフレームにおいて決定されたリフォーカス係数を補正して評価用係数を設定する。具体的には、評価用係数設定部６０４は、該奥行き方向の動きの大きさを評価用係数の補正値に換算し、該補正値により該評価用係数を補正する。評価用係数設定部６０４は、得られた補正後のリフォーカス係数の値を中心の評価用係数に設定する。

図８（ｃ）には、該リフォーカス係数を補正する例を示す。図８（ａ）および図８（ｂ）は、実施形態１と共通し、フレームＮおよびフレームＮ＋１に対する評価用係数が、合焦評価値の高い値の近傍に設定されたことを示している。そして、図８（ｃ）は、フレームＮ＋２において、フレームＮ＋１の間に被写体に奥行き方向の移動があった場合に、奥行き方向の動きの大きさを用いて補正されたリフォーカス係数と該リフォーカス係数から設定された評価用係数を示している。フレームＮ＋１で決定されたリフォーカス係数α５の値が補正値βによって補正され、補正後のリフォーカス係数の値をα４として他の評価用係数を設定している。補正値βによって補正することにより、被写体に奥行き方向への動きが生じたとしても合焦評価値が高くなるリフォーカス係数の近傍に評価用係数を設定することができる。

評価用係数設定部６０４は、全ての評価用係数を設定すると、評価用画像生成部６０１に出力する。評価用画像生成部６０１により実行される処理以降は、実施形態１と共通である。

次に、実施形態２に係るリフォーカス処理部１１０の動作を説明する。

Ｓ２０１においてコントローラ１１１は、メモリ１０５から１フレーム分のＬＦデータの読み出しを指示し、検出用画像生成部７０１は、メモリ１０５から１フレーム分のＬＦデータを読み込む。ＬＦデータの読み込みが完了すると、検出用画像生成部７０１は、処理をＳ２０２へ進める。並行して、評価用画像生成部６０１は、供給された該ＬＦデータを読み込む。

Ｓ２０２において検出用画像生成部７０１は、検出用画像を生成する。検出用画像生成部７０１は、検出用画像を生成するために、被写界深度の深い再構成画像を生成する。検出用画像生成部７０１は、上述の再構成画像の生成における画素出力Ｅ（ｘ，ｙ）を、瞳領域の中心を通過した光束を受光した画素に限定して算出する。これは撮像時にレンズ絞りを絞ることに相当するため、検出用画像生成部７０１は被写界深度の深い再構成画像を生成することができる。検出用画像生成部７０１は、生成した検出用画像を動き検出部７０２に出力し、処理をＳ２０３に進める。

Ｓ２０３において動き検出部７０２は、検出用画像生成部７０１において生成された検出用画像に対し、奥行き方向の動きを検出する。動き検出部７０２は、直前のフレームの検出用画像を取得して該画像の合焦対象の領域について、現在のフレームの検出用画像との間の動きベクトルの検出処理を実行する。動きベクトルの検出については、公知の動き推定方法を使用してよい。動き検出部７０２は、合焦対象の領域における動きベクトルの分布が放射方向の成分を有するように構成される場合、奥行き方向の動きがあるものと判断する。動き検出部７０２は、例えば検出した各動きベクトルの放射方向の大きさの平均値を算出して、動きの大きさを表す情報とする。動き検出部７０２は、動きの大きさを表す情報を評価用画像生成部６０１に出力し、処理をＳ１０２へ進める。

Ｓ１０２において評価用係数設定部６０４は、実施形態１と同様に、直前のフレームにおいてリフォーカス係数が決定されているかを判断する。直前のリフォーカス係数の値が固定値である場合、処理をＳ１０４へ進める。一方、リフォーカス係数が固定値でない場合、処理をＳ２０４へ進める。

Ｓ２０４において評価用係数設定部６０４は、連続するフレームにおいて奥行き方向の動きがあったかを判断する。評価用係数設定部６０４は、動き検出部７０２から取得した動きの大きさを表す情報を参照して、該大きさと所定の閾値を比較する。評価用係数設定部６０４は、該大きさが閾値より大きい場合、奥行き方向の動きがあったと判断して、処理をＳ２０５へ進める。一方、該大きさが閾値以下である場合、奥行き方向の動きが無かったと判断して、処理をＳ１０３へ進める。

Ｓ２０５において評価用係数設定部６０４は、動き検出部７０２から取得した奥行き方向の動きの大きさに応じて、補正した評価用係数を設定する。評価用係数設定部６０４は、該奥行き方向の動きの大きさをリフォーカス係数の変位に換算する。例えば、検出されている人の顔領域の大きさと動きベクトルの大きさに対して実験的に定めた補正値を割り当てたテーブルを記録しておき、評価用係数設定部６０４は得られた奥行き方向の動きに応じて、補正値βを設定する。評価用係数設定部６０４は、補正値βを用いて直前のフレームにおいて決定されたリフォーカス係数に補正し、中心となる評価用係数（α４）を設定する。評価用係数設定部６０４は、該中心となる評価用係数をもとに、実施形態１と同様に他の評価係数を設定し、処理をＳ１０５に進める。

Ｓ１０５以降のリフォーカス処理部１１０は、実施形態１と同様であり、処理対象のフレームが最後のフレームであるときは一連の処理を終了する。

なお、本実施形態において、奥行き方向の動きの検出には動きベクトルを検出する方法により説明したが、動き検出部７０２は、画像内の被写体の大きさの変化を検出することにより、奥行き方向の動きを検出しても良い。例えば直前の検出用画像を多段階に縮小および拡大させた画像を生成して、現在のフレームの検出用画像とマッチングさせ、生成した拡大率に応じて予め決められた奥行き方向の大きさを割り当ててもよい。また、本実施形態では合焦対象の領域を被写体が人物である場合の顔領域として説明したが、合焦対象となる被写体は顔に限らず、人物全体や建物等、パターン検出が可能な所定の被写体であってよい。

以上、説明したように本実施形態のデジタルカメラでは、奥行き方向の動き検出の結果に基づいて補正した評価用係数を設定することにより、被写体に奥行き方向の動きが生じたとしても、動きに追従して合焦評価を行うことができる。即ち、被写体の動きがあったとしても、より高速に好適な合焦状態の再構成画像を表示させることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ デジタルビデオカメラ、１０２ マイクロレンズアレイ、１０３ 撮像素子、１１０ リフォーカス処理部、６０１ 評価用画像生成部、６０２ 合焦評価部、６０３ リフォーカス係数決定部、６０４ 評価用係数設定部、６０５ 再構成画像生成部

Claims (11)

1. 任意の被写体距離に合焦した再構成画像を生成可能な画像信号を各フレームに含む動画像から、前記画像信号を順次取得する取得手段と、
   合焦させる被写体距離を特定する特定情報を用いて、前記画像信号から該被写体距離に合焦した再構成画像を生成する生成手段と、
   前記画像信号について、各々異なる被写体距離を特定する複数の前記特定情報を設定する設定手段と、
   前記設定手段により設定された前記複数の特定情報を用いて生成された複数の再構成画像における被写体の合焦状態に基づいて、被写体の合焦状態が所定の条件を満たす被写体距離を特定する出力用の特定情報を決定する決定手段と、
   前記出力用の特定情報を用いて生成された再構成画像を出力する出力手段と、
   を有し、
   前記設定手段は、第１のフレームに後続する第２のフレームについての前記複数の特定情報により特定される被写体距離が、前記第１のフレームについて設定した前記複数の特定情報により特定される被写体距離よりも、前記第１のフレームについて決定された前記出力用の特定情報により特定される被写体距離を含む所定の被写体距離の範囲で密になるように、前記第２のフレームについての前記複数の特定情報を設定することを特徴とする画像処理装置。
2. 前記設定手段は、前記第１のフレームについて決定された前記出力用の特定情報を、前記第２のフレームについて設定する前記複数の特定情報に含めることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記動画像のフレームレートが高いほど、前記第２のフレームについての前記複数の特定情報により特定される被写体距離が前記所定の被写体距離の範囲でより密になるように、前記第２のフレームについての前記複数の特定情報を設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記複数の再構成画像の各々について、被写体の合焦状態と再構成画像の生成に用いた被写体距離との関係から、前記被写体の合焦状態が所定の条件を満たす被写体距離を求め、前記出力用の特定情報を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記決定手段は、前記複数の再構成画像のうち、被写体の合焦状態が最も合焦に近い再構成画像の生成に用いた特定情報を、前記出力用の特定情報として決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記特定情報は、被写体距離に合焦する撮像光学系の焦点距離を示す情報であり、
   前記設定手段は、前記第１のフレームについて決定された前記出力用の特定情報に係る焦点距離を中央値として前記第２のフレームについての前記複数の特定情報を設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第１のフレームと前記第２のフレームとの間における被写体の奥行き方向の移動を検出する検出手段を更に有し、
   前記設定手段は、前記第１のフレームについて決定された前記出力用の特定情報により特定される被写体距離を前記検出された被写体の奥行き方向の移動の大きさに応じて変更し、変更した被写体距離に基づいて前記第２のフレームについての前記複数の特定情報を設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記画像信号から生成可能な再構成画像の一部の領域に限定して前記複数の再構成画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記一部の領域は、前記画像信号から生成可能な再構成画像において所定の被写体が検出された領域であることを特徴とする請求項８に記載の画像処理装置。
10. 取得手段が、任意の被写体距離に合焦した再構成画像を生成可能な画像信号を各フレームに含む動画像から、前記画像信号を順次取得する取得工程と、
    生成手段が、合焦させる被写体距離を特定する特定情報を用いて、前記画像信号から該被写体距離に合焦した再構成画像を生成する生成工程と、
    設定手段が、前記画像信号について、各々異なる被写体距離を特定する複数の前記特定情報を設定する設定工程と、
    決定手段が、前記設定工程において設定された前記複数の特定情報を用いて生成された複数の再構成画像における被写体の合焦状態に基づいて、被写体の合焦状態が所定の条件を満たす被写体距離を特定する出力用の特定情報を決定する決定工程と、
    出力手段が、前記出力用の特定情報を用いて生成された再構成画像を出力する出力工程と、
    を有し、
    前記設定手段は、前記設定工程において、第１のフレームに後続する第２のフレームについての前記複数の特定情報により特定される被写体距離が、前記第１のフレームについて設定した前記複数の特定情報により特定される被写体距離よりも、前記第１のフレームについて決定された前記出力用の特定情報により特定される被写体距離を含む所定の被写体距離の範囲で密になるように、前記第２のフレームについての前記複数の特定情報を設定することを特徴とする画像処理装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。