JP6228402B2

JP6228402B2 - 画像再生装置、画像再生方法、プログラム、及び記憶媒体

Info

Publication number: JP6228402B2
Application number: JP2013152914A
Authority: JP
Inventors: 俊則山本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-07-23
Filing date: 2013-07-23
Publication date: 2017-11-08
Anticipated expiration: 2033-07-23
Also published as: JP2015023552A

Description

本発明は、動画を再生する場合のリフォーカス技術に関するものである。

従来より、記録時だけでなく、記録画像を鑑賞する際にも効果的な再生演出をしたいという要求が存在する。例えば、特許文献１では、顔位置や合焦位置を画像データと対応づけて記録し、拡大再生において再生画全体を顔位置中心あるいは合焦位置中心へ平行シフトさせる静止画撮像装置が提案されている。

一方、近年、固体撮像素子の前面に、複数の画素に対し一つの割合で並ぶマイクロレンズアレイを配置した構成の撮像装置が非特許文献１などにおいて提案されている。このような構成にすることで、撮像素子へ入射する光線の方向の情報を得ることができる。この撮像装置を使用した場合、各画素からの出力信号をもとに通常の撮影画像を生成する以外に、撮影された画像データに対して所定の画像処理を施せば、任意の距離の被写体に焦点を合わせた画像を再構築することが可能である。

特開２００７−１９５０９９号公報

Ｒｅｎ．Ｎｇ、他７名，「ＬｉｇｈｔＦｉｅｌｄＰｈｏｔｏｇｒａｐｈｙｗｉｔｈａＨａｎｄ−ＨｅｌｄＰｌｅｎｏｐｔｉｃＣａｍｅｒａ」，ＳｔａｎｆｏｒｄＴｅｃｈＲｅｐｏｒｔＣＴＳＲ２００５−０２

しかしながら、特許文献１の撮像装置は再生対象を静止画のみとしているため、時間的に連続する複数の静止画を動画として再生する場合の技術についての記載は無い。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ライトフィールド画像データに基づく動画データの各フレームにおける焦点位置を適切に決定することである。

本発明に係わる画像再生装置は、ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得手段と、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算手段と、を備え、前記演算手段は、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている被写体の合焦距離の情報から、これから再生される撮像フレームと関連付けて記録されている被写体の合焦距離の情報へと徐々に変化する合焦距離の情報で、現在再生している撮像フレームの合焦距離の情報を補間し、この補間した合焦距離の情報を用いてリフォーカス演算を行うことを特徴とする。
また、本発明に係わる画像再生装置は、ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得手段と、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算手段と、を備え、前記演算手段は、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている合焦距離の情報と、これから再生される撮像フレームと関連付けて記録されている合焦距離の情報をともに合焦範囲に含む被写界深度に対応する絞り値を用いて現在再生している撮像フレームのリフォーカス演算を行うことを特徴とする。
また、本発明に係わる画像再生装置は、ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得手段と、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算手段と、を備え、前記演算手段は、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、前記所定の数のフレームの前半において、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている被写体の合焦距離を用いてリフォーカス演算を行い、前記所定の数のフレームの後半において、これから再生される撮像フレームと関連付けて記録されている被写体の合焦距離の情報を用いてリフォーカス演算を行うことを特徴とする。

本発明によれば、ライトフィールド画像データに基づく動画データの各フレームにおける焦点位置を適切に決定することが可能となる。

本発明の第１の実施形態に係わる撮像装置であるデジタルカメラの撮像部、記録部、再生部の概略構成を示すブロック図。撮像した動画データの例を示す図。第１〜第４の実施形態の被写体別の合焦距離情報のメタデータ列を示す図。第１の実施形態における被写体距離の例を示す図。第１の実施形態の動作を示すフローチャート。第２の実施形態の被写体距離の例を示す図。第２の実施形態の動作を示すフローチャート。第３の実施形態の被写体距離の例を示す図。第３の実施形態の動作を示すフローチャート。第４の実施形態の被写体距離の例を示す図。第４の実施形態の動作を示すフローチャート。第５の実施形態の被写体別の合焦距離情報のメタデータ列を示す図。第６の実施形態の被写体別の合焦距離情報のメタデータ列を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
第１の実施形態では、リフォーカス演算に用いる距離値が動画像フレーム（動画像データ）の一部で欠けている場合、前フレームの距離値で現フレームの距離値を補間したリフォーカスパラメータを用いてリフォーカス演算を行う例について説明する。以下、図１を参照して、本発明の第１の実施形態の撮像装置について説明する。

図１は本発明の第１の実施形態に係わる撮像装置（画像再生装置）であるデジタルカメラの撮像部、記録部、再生部の概略構成を示すブロック図である。図１において、１０１は被写体からの光線を集光するための対物レンズ、１０３は撮像素子に隣接して配置されたマイクロレンズアレイ、１０５は被写体の光学像を光電変換した電気信号を出力する撮像素子である。１０７は撮像素子１０５から出力される画像信号に対し、増幅処理などを行うアナログフロントエンドおよびＡＤ変換回路である。１１１は被写体距離マップ生成回路である。

ここで被写体距離マップ生成回路１１１の動作を簡単に説明する。まず、ライトフィールド画像データに対し仮距離値を与えリフォーカス演算を施した結果の画像を複数の仮距離値に対し導出する。そして、この複数の仮距離値に対する複数のリフォーカス演算結果各々の画像どうしを比較し、コントラスト最大の画像を選出すると、ここで与えた仮距離値がコントラスト最大となった被写体に対応する合焦距離となる。この選出演算を画面中の被写体毎に実施する。そして、被写体領域に対応する合焦距離値と画面座標値との対応データを画面毎に生成する。以上が、被写体距離マップ生成回路１１１の動作である。

図１に戻って、１２１はリフォーカス演算回路、１３１は液晶モニタ等の画像データ表示装置、１４１は撮像データを保存するメモリカード等の記録メディアである。１５１は画像信号を一時保存するＲＡＭで構成されるメモリ、１６１は各種演算制御を司るＣＰＵ、１７１はタッチパネル等のユーザーインターフェースである。

最初に、記録動作について説明する。なお、撮像動作、記録動作、後述の再生動作を含め、各回路ブロックの動作は、ＣＰＵ１６１がその内部メモリに記録されているプログラムを実行することにより制御される。

被写体の光学像は、対物レンズ１０１で集光され、マイクロレンズアレイ１０３を通過し、撮像素子１０５へ投影され、光電変換される。そして、撮像素子１０５から出力される撮像データは、アナログフロントエンドおよびＡＤ変換回路１０７で増幅処理された後にＡＤ変換され、画像データとしてＲＡＭ１５１へ保存される。この画像データは被写体距離マップ生成回路１１１へ入力され、被写体別の合焦距離が算出される。被写体別の合焦距離は各画像データのメタデータとして、画像データと一組に括られ記録メディア１４１に保存される。

ここで、図２は撮像動画データ例、図３は図２に対応する被写体別の合焦距離情報のメタデータ、つまり１２フレーム分のメタデータ列の例である。すなわち図３は、図２のオブジェクトＡ、オブジェクトＢ、オブジェクトＣの各々の被写体の撮像素子からの距離情報、すなわち被写体距離マップ生成回路１１１が生成した合焦距離情報をフレーム番号順に図示したものである。

次に、記録された画像データの概略的な再生動作について説明する。記録メディア１４１中の一組に括られた画像データとメタデータは一つのフレーム毎に一旦、ＲＡＭ１５１へ転送される。ＣＰＵ１６１は画像データをリフォーカス演算回路１２１へ入力すると共に、後述するようにメタデータ中の距離情報を解析し、その距離値をリフォーカスパラメータとして、リフォーカス演算回路１２１へ入力する。リフォーカス演算回路１２１は与えられた距離パラメータを用いて画像データへリフォーカス演算を施す。この結果、一つの距離値で合焦した画像データが一つのフレーム毎にＲＡＭへ転送され、この画像データがデータ表示装置１３１にて連続したフレームとして描画される。

次に、再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値の制御動作を、図１のブロック図、図３のメタデータ列例、図４の被写体距離例、図５のフローチャートを用いて説明する。なお、図５のフローチャートの動作はＣＰＵ１６１がその内部メモリに記録されているプログラムを実行することによって制御される。

まずＣＰＵ１６１は、ユーザーへ主被写体の選択を促すメッセージを表示装置１３１へ出力し、ユーザーインターフェース１７１からのユーザー応答に従い、合焦対象とする主被写体をＣＰＵ１６１の内部へ記録する（ステップＳ２０３）。ここで、図２のオブジェクトＡが選択されたものとして説明する。

次にＣＰＵ１６１は、現在の表示フレームの画像データに括られているメタデータ中の複数の被写体の距離情報の中に、ステップＳ２０３で指示された主被写体に該当する値の存在有無を検査する（ステップＳ２０５）。図３でオブジェクトＡの距離情報はフレーム１からフレーム５の間で存在するため、ステップＳ２１１へ移行し、現在フレーム、すなわちフレーム１の距離値２．４ｍをリフォーカスパラメータとしてフレーム１の画像データへリフォーカス演算を施す。

次に、演算結果を表示装置１３１へ出力（ステップＳ２１２）し、次フレームへ移行（ステップＳ２１３）し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻るという動作をフレーム１からフレーム５まで繰り返す。

そして、図３のフレーム６ではオブジェクトＡの距離値が保存されていないため、図５のフローチャートのステップＳ２２１へ移行する。このステップでは、フレームアウトした被写体が同じ動画カット中において再度フレームインするか否かにつき、メタデータ中の該当する被写体距離値を検査する。さらに、再フレームインする場合、現在のフレーム番号より何フレーム後に再フレームインするかを検査し、再フレームインまでのフレーム数の多寡で制御を切換える。例えば本実施形態では、この閾値フレーム数Ｎを９フレームと仮定する。一方、本実施形態ではフレーム６の５フレーム後から再度オブジェクトＡの値が記録されている（図３）。従って、この例では、再度フレームインするフレーム１１はＮ未満先（閾値未満先）となり、ステップＳ２２３へ移行する。

そして、フレーム６は距離値の記録が無い（図３）ため、直前フレーム５の距離値２．１ｍを補間リフォーカスパラメータとして与え、フレーム６の画像データ（現在再生するフレーム）へリフォーカス演算を施す（ステップＳ２２３）。そして、演算結果を表示装置１３１へ出力（ステップＳ２２４）し、ステップＳ２２５へ移行する。一方、ステップＳ２２１にて、フレームアウトした被写体が再フレームインしない場合、あるいは、再フレームインまでのフレーム数が１０以上の場合は、ＣＰＵがユーザーへ主被写体の変更を促すメッセージを表示装置１３１へ出力する（ステップＳ２３１）。次にＣＰＵはユーザーインターフェース１７１からのユーザー応答を検査し、主被写体の更新が有ればステップＳ２０３へ移行し、主被写体の更新が無ければステップＳ２２３へ移行し、直前フレームの距離値で補間したリフォーカスパラメータを用いる。

以上説明したように本実施形態では、再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値が図４のｏｂｊＡの曲線で示す様に制御される。図４においてｏｂｊＡの曲線の実線部が補間なしのメタデータ記録値自身であり、ｏｂｊＡの曲線の破線部がメタデータ記録値からの補間値である。

このように、本実施形態では、主被写体がフレームアウトした時、フレームアウトする直前のフレームの距離値で現フレームの距離値を補間する方法を用いる。これにより、リフォーカス演算に用いる距離値が動画フレームの一部で欠けると合焦位置が頻繁に移動し、チラチラして鑑賞しにくい画像となる問題を回避している。

また、主被写体のフレームアウト時にユーザーへ主被写体の更新を促すことによっても、合焦位置が不安定になり、チラチラして鑑賞しにくい画像となる問題を回避している。

（第２の実施形態）
第２の実施形態では、リフォーカス演算に用いる距離値の補間期間を考慮したリフォーカスパラメータを用いリフォーカス演算を行う例について説明する。基本的な撮像動作、記録動作、再生動作は第１の実施形態と変わらない。従って、装置のブロック図は図１に示したものと同様である。第１の実施形態と第２の実施形態の違いは、再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値の制御動作である。

再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値の制御動作を図１のブロック図、図３のメタデータ列例、図６の被写体距離例、図７のフローチャートを用いて説明する。なお、図７のフローチャートの動作はＣＰＵ１６１がその内部メモリに記録されているプログラムを実行することによって制御される。

まず、ＣＰＵ１６１は、ユーザーへ主被写体の選択を促すメッセージを表示装置１３１へ出力し、ユーザーインターフェース１７１からのユーザー応答に従い、合焦対象とする主被写体をＣＰＵ内部へ記録する（ステップＳ２０３）。ここで、図２のオブジェクトＡが選択されたものとして説明する。次にＣＰＵは、現在の表示フレームの画像データに括られているメタデータ中の複数の被写体の距離情報の中に、ステップＳ２０３で指示された主被写体に該当する値の存在有無を検査する（ステップＳ２０５）。図３でオブジェクトＡの距離情報はフレーム１からフレーム５の間で存在するため、ステップＳ２１１へ移行し、現在フレーム、すなわちフレーム１の距離値２．４ｍをリフォーカスパラメータとしてフレーム１の画像データへリフォーカス演算を施す。次に、演算結果を表示装置１３１へ出力（ステップＳ２１２）し、次フレームへ移行（ステップＳ２１３）し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻るという動作をフレーム１からフレーム５まで繰り返す。

そして、図３のフレーム６ではオブジェクトＡの距離値が保存されていないため、図７のフローチャートのステップＳ２２１へ移行する。このステップでは、フレームアウトした被写体が同じ動画カット中において再度フレームインするか否かを検査する。さらに、再フレームインする場合、現在のフレーム番号より何フレーム後に再フレームインするかを検査し、再フレームインまでのフレーム数の多寡で制御を切換える。例えば本実施形態では、この閾値フレーム数Ｎを９フレームと仮定する。一方、本実施形態ではフレーム６の５フレーム後から再度オブジェクトＡの値が記録されている（図３）。従って、この例では、再度フレームインするフレーム１１はＮ未満先（閾値未満先）となり、ステップＳ２４１へ移行する。

ステップＳ２４１では、フレームアウトした被写体が再度フレームインする（将来の）フレーム番号と、現在のフレーム番号の差を検査する。そして、再度のフレームインの開始フレームよりＬフレーム未満の時間内であれば、再度のフレームインにおける主被写体距離値をリフォーカス演算に用いる。例えばこの実施形態のステップＳ２４１ではこのフレーム時間Ｌを２フレームと仮定しており、フレーム６から再度のフレームイン（フレーム１１）より２フレーム前のフレーム９までの間ステップＳ２５１へ移行する。

ステップＳ２５１では、フレームアウトする直前の被写体距離を用いる直前フレーム置換処置の継続期間を検査する。そして、直前フレーム置換処置の継続フレーム数がＫフレーム以上（所定数のフレーム以上）の時間に達していれば、直前フレーム置換処置から、再度のフレームインにおける被写体距離を用いる再フレームインフレーム置換処置へ切換える。例えば本実施形態のステップＳ２５１ではこのＫフレーム時間を５フレームと仮定する。この場合、フレーム６からフレーム９ではステップＳ２２３へ移行し、フレームアウトの直前フレームの距離値をリフォーカスパラメータとして画像データへリフォーカス演算を施す。次に、演算結果を表示装置１３１へ出力（ステップＳ２２４）し、次フレームへ移行（ステップＳ２２５）し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻る。

一方、ステップＳ２５１にて継続フレーム数がＫフレーム以上に達していれば、再度のフレームインにおける主被写体距離値、すなわちフレーム１１の３．０ｍで置換した距離値をリフォーカスパラメータとして画像データへリフォーカス演算を施す(ステップＳ２４３)。そして、演算結果を表示装置１３１へ出力（ステップＳ２４４）し、次フレームへ移行（ステップＳ２４５）する。

一方、ステップＳ２４１にて、再度のフレームインより１フレーム前のフレーム１０の場合は、ここでフレーム時間Ｌを２フレームと仮定したので次の動作をする。すなわち、再フレームインにおける主被写体距離値、すなわちフレーム１１の３．０ｍで置換した距離値をリフォーカスパラメータとして画像データへリフォーカス演算を施す(ステップＳ２４３)。そして、演算結果を表示装置１３１へ出力（ステップＳ２４４）し、次フレームへ移行（ステップＳ２４５）する。

一方、ステップＳ２２１にて、フレームアウトした被写体が再フレームインしない場合、あるいは、再フレームインまでのフレーム数が１０以上の場合は、ＣＰＵがユーザーへ主被写体の変更を促すメッセージを表示装置１３１へ出力する（ステップＳ２３１）。次にＣＰＵはユーザーインターフェース１７１からのユーザー応答を検査し、主被写体の更新が有ればステップＳ２０３へ移行し、主被写体の更新が無ければステップＳ２２３へ移行し、直前フレーム距離値で補間したリフォーカスパラメータを用いる。

以上説明したように本実施形態では、再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値が図６のｏｂｊＡの曲線で示す様に制御される。図６においてｏｂｊＡの曲線の実線部が補間なしのメタデータ記録値自身であり、ｏｂｊＡの曲線の破線部がメタデータ記録値からの補間値である。

このように、本実施形態では、リフォーカスパラメータの合焦距離補間の継続期間を検査し、それが長い場合に合焦距離を切換えることにより、主被写体のフレームアウト後の不自然な長時間に亘り合焦位置が固定されることを回避している。

また、主被写体が再フレームインするまでの期間を検査し、それが短い場合には、将来主被写体が再フレームインする距離へ事前合焦させる。このように合焦距離を制御することにより、被写体の周囲の合焦状況が安定した状態で主被写体のフレームイン待機が実現でき、効果的な再生演出ができる。

（第３の実施形態）
第３の実施形態では、被写体のフレームアウト時の被写体距離から再度のフレームイン時の被写体距離までを時間に比例して徐々に遷移するものと仮定して補間する例について説明する。基本的な撮像動作、記録動作、再生動作は第１の実施形態と同じである。また、撮像装置のブロック構成も図１と同じである。第１の実施形態と第３の実施形態の違いは再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値の制御動作である。

再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値の制御動作を図１のブロック図、図３のメタデータ列例、図８の被写体距離例、図９のフローチャートを用いて説明する。なお、図９のフローチャートの動作はＣＰＵ１６１がその内部メモリに記録されているプログラムを実行することによって制御される。

まずＣＰＵ１６１は、ユーザーへ主被写体の選択を促すメッセージを表示装置１３１へ出力し、ユーザーインターフェース１７１からのユーザー応答に従い、合焦対象とする主被写体をＣＰＵ内部へ記録する（ステップＳ２０３）。ここで、図２のオブジェクトＡが選択されたものとして説明する。次にＣＰＵは、現在の表示フレームの画像データに括られているメタデータ中の複数の被写体の距離情報の中に、ステップＳ２０３で指示された主被写体に該当する距離値の存在有無を検査する（ステップＳ２０５）。図３でオブジェクトＡの距離情報はフレーム１からフレーム５の間で存在するため、ステップＳ２１１へ移行し、現在フレーム、すなわちフレーム１の距離値２．４ｍをリフォーカスパラメータとしてフレーム１の画像データへリフォーカス演算を施す。

次に、演算結果を表示装置１３１へ出力（ステップＳ２１２）し、次フレームへ移行（ステップＳ２１３）し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻るという動作をフレーム１からフレーム５まで繰り返す。そして、図３のフレーム６ではオブジェクトＡの距離値が保存されていないため、図９のフローチャートのステップＳ２２１へ移行する。

このステップＳ２２１では、フレームアウトした被写体が同じ動画カット中において再度フレームインするか否かを検査する。さらに、被写体が再度フレームインする場合、現在のフレーム番号より何フレーム後に再フレームインするかを検査し、再フレームインまでのフレーム数の多寡で制御を切換える。例えば本実施形態では、この閾値フレーム数Ｎを９フレームと仮定する。一方、この例では、フレーム６の５フレーム後から再度オブジェクトＡの値が記録されている（図３）。そのため、再フレームインフレーム１１はＮ未満先（閾値未満先）となり、ステップＳ２６１へ移行する。

そして、フレーム６は距離値の記録が無い（図３）ため、主被写体がフレームアウトするフレーム５の距離値２．１ｍと再フレームインフレーム１１の距離値３．０ｍとの間を距離値が時間に比例して遷移すると仮定して各フレームの距離値を算出し、それを補間値とする。この補間値をリフォーカスパラメータとして与え、フレーム６の画像データへリフォーカス演算を施し（ステップＳ２６１）、演算結果を表示装置１３１へ出力（ステップＳ２６２）する。そして、ステップＳ２６３へ移行し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻る。

一方、ステップＳ２２１にて、フレームアウトした被写体が再フレームインしない場合、あるいは、再フレームインまでのフレーム数が１０以上の場合は、ＣＰＵがユーザーへ主被写体の変更を促すメッセージを表示装置１３１へ出力する（ステップＳ２３１）。次にＣＰＵはユーザーインターフェース１７１からのユーザー応答を検査し、主被写体の更新が有ればステップＳ２０３へ移行し、主被写体の更新が無ければステップＳ２２３へ移行し、直前フレームの距離値で補間したリフォーカスパラメータを用いる。次に、演算結果を表示装置１３１へ出力（ステップＳ２２４）し、次フレームへ移行（ステップＳ２２５）し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻る。

以上説明したように本実施形態では、再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値が図６のｏｂｊＡの曲線に示す様に制御される。図６においてｏｂｊＡの曲線の実線部が補間なしのメタデータ記録値自身であり、ｏｂｊＡの曲線の破線部はメタデータ記録値からの補間値である。

このように本実施形態では、フレームアウト時の被写体距離から再度フレームインする時の被写体距離までの期間の合焦距離を時間に比例して遷移するものと仮定して補間する。従って、フレームアウトから再度のフレームインまでの期間なめらかにズーム遷移したような効果的な再生演出ができる。

（第４の実施形態）
第４の実施形態では、被写体のフレームアウト時および再フレームイン時双方の距離を合焦範囲に含む被写界深度に対応する絞り値、合焦距離値で補間する。基本的な撮像動作、記録動作、再生動作は第１の実施形態と同じである。また、撮像装置のブロック構成も図１と同じである。第１の実施形態と第４の実施形態の違いは再生画像データのリフォーカス演算におけるリフォーカスパラメータである距離値及び絞り値の制御動作である。

再生画像データのリフォーカス演算におけるリフォーカスパラメータである距離値及び絞り値の制御動作を図１のブロック図、図３のメタデータ列例、図１０の被写体距離例、図１１のフローチャートを用いて説明する。なお、図１１のフローチャートの動作はＣＰＵ１６１がその内部メモリに記録されているプログラムを実行することによって制御される。

まずＣＰＵ１６１は、ユーザーへ主被写体の選択を促すメッセージを表示装置１３１へ出力し、ユーザーインターフェース１７１からのユーザー応答に従い、合焦対象とする主被写体をＣＰＵ内部へ記録する（ステップＳ２０３）。ここで、図２のオブジェクトＡが選択されたものとして説明する。次にＣＰＵは、現在の表示フレームの画像データに括られているメタデータ中の複数の被写体の距離情報の中に、ステップＳ２０３で指示された主被写体に該当する距離値の存在有無を検査する（ステップＳ２０５）。図３でオブジェクトＡの距離情報はフレーム１からフレーム５の間で存在するため、ステップＳ２１１へ移行し、現在フレーム、すなわちフレーム１の距離値２．４ｍをリフォーカスパラメータとしてフレーム１の画像データへリフォーカス演算を施す。次に、演算結果を表示装置１３１へ出力（ステップＳ２１２）し、次フレームへ移行（ステップＳ２１３）し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻るという動作をフレーム１からフレーム５まで繰り返す。

そして、図３のフレーム６ではオブジェクトＡの距離値が保存されていないため、図１１のフローチャートのステップＳ２２１へ移行する。このステップでは、フレームアウトした被写体が同じ動画カット中において再度フレームインするか否かを検査する。さらに、再フレームインする場合、現在のフレーム番号より何フレーム後に再フレームインするかを検査し、再フレームインまでのフレーム数の多寡で制御を切換える。例えば、本実施形態ではこの閾値フレーム数Ｎを９フレームと仮定する。一方、この例では、フレーム６の５フレーム後から再度オブジェクトＡの値が記録されている（図３）。そのため、再フレームインフレーム１１はＮ未満先（閾値未満先）となり、ステップＳ２７１へ移行する。

そして、フレーム６は距離値の記録が無い（図３）ため、フレームアウトフレーム５の距離値２．１ｍと再フレームインフレーム１１の距離値３．０ｍとを、それぞれ被写界深度前端距離、後端距離に設定する。すなわち、フレームアウト時および再フレームイン時双方の距離を合焦範囲に含む被写界深度に対応する絞り値、合焦距離値を補間値として算出する（ステップＳ２７１）。そして、この補間値をリフォーカスパラメータとして与え、フレーム６の画像データへリフォーカス演算を施し（ステップＳ２７３）、演算結果を表示装置１３１へ出力（ステップＳ２７４）する。そして、ステップＳ２７５へ移行し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻る。

一方、ステップＳ２２１にて、フレームアウトした被写体が再フレームインしない場合、あるいは、再フレームインまでのフレーム数が１０以上の場合は、ＣＰＵがユーザーへ主被写体の変更を促すメッセージを表示装置１３１へ出力する（ステップＳ２３１）。次にＣＰＵはユーザーインターフェース１７１からのユーザー応答を検査し、主被写体の更新が有ればステップＳ２０３へ移行し、主被写体の更新が無ければステップＳ２２３へ移行し、フレームアウトする直前フレームの距離値で補間したリフォーカスパラメータを用いる。次に、演算結果を表示装置１３１へ出力（ステップＳ２２４）し、次フレームへ移行（ステップＳ２２５）し、再び主被写体に該当する距離値の存在の検査（ステップＳ２０５）へ戻る。

以上説明したように本実施形態では、再生画像データのリフォーカス演算におけるリフォーカスパラメータである合焦距離値が図１０のｏｂｊＡの曲線に示す様に制御される。図１０においてｏｂｊＡの曲線の実線部が補間なしのメタデータ記録値自身であり、ｏｂｊＡの曲線の斜線部領域はメタデータ記録値からの補間値である。

このように本実施形態では、フレームアウト時および再フレームイン時双方の距離を合焦範囲に含む被写界深度に対応する絞り値、合焦距離値で補間する。従って、フレームアウトからフレームインまでの、主被写体がフレーム中で不在の期間において、合焦距離および被写界深度が変動することなく一定であるため、安定した再生画が出力できる。

（第５の実施形態）
第５の実施形態では、撮像装置が撮像フレーム毎、撮像被写体毎の合焦距離を測定し、この被写体毎の合焦距離を記録撮像フレームと関連付けて記録する際に、記録被写体数Ｍを制限する。

これは、被写体距離マップ生成回路１１１が算出する被写体別の合焦距離値をメタデータとして記録メディア１４１へ保存する際に、ユーザーインターフェース１７１の指示に応じてＣＰＵ１６１が記録被写体数Ｍを制限して記録するものである。

図１２は図２に対応する被写体別の合焦距離情報のメタデータ、つまり１２フレーム分メタデータ列の例である。そして、図１２（ａ）は記録被写体数Ｍを３に制限した例であり、オブジェクトＡ、オブジェクトＢ、オブジェクトＣの各々の被写体の撮像素子からの距離情報、すなわち合焦距離情報をフレーム番号順に図示したものである。図１１（ｂ）は記録被写体数Ｍを２に制限した例であり、オブジェクトＡ、オブジェクトＣの各々の被写体の撮像素子からの距離情報、すなわち合焦距離情報をフレーム番号順に図示したものである。

以上説明したようにこの実施形態では、被写体毎の合焦距離を記録撮像フレームと関連付けて記録する際に、記録被写体数Ｍを制限する。従って、メタデータ容量を制御することが可能になるため、再生時の合焦制御に対応する被写体のユーザー要求数を調整することにより記録媒体の有効利用が可能になる。

（第６の実施形態）
第６の実施形態では、撮像装置が撮像フレーム毎、撮像被写体毎の合焦距離を測定し、この被写体毎の合焦距離を記録撮像フレームと関連付けて記録する際に、最初の被写体検出時のみ距離値を記録する例について説明する。

これは、被写体距離マップ生成回路１１１が算出する被写体別の合焦距離値をメタデータとして記録メディア１４１へ保存する際に、まず、ＣＰＵ１６１が取得される距離値につき、被写体別に初取得フレームか、継続取得フレームかを判定する。そして、ＣＰＵ１６１が初取得フレームの被写体別の合焦距離値のみを選別し、メタデータとして記録メディア１４１へ保存するものである。

図１３は図１２に対応する被写体別の合焦距離情報のメタデータ、つまり１２フレーム分メタデータ列の例である。そして、図１３（ａ）はオブジェクトＡ、オブジェクトＢ、オブジェクトＣの各々の被写体の撮像素子からの距離情報、すなわち合焦距離情報を被写体検出および識別された全てのフレームについてフレーム番号順に図示したものである。そして、図１３（ｂ）はオブジェクトＡ、オブジェクトＢ、オブジェクトＣの各々の被写体の撮像素子からの距離情報、すなわち合焦距離情報を被写体検出および識別された最初のフレームのみについてフレーム番号順に図示したものである。

まず、一つのフレームのライトフィールド画像データについて整理すると、リフォーカスパラメータとして絞り値及び距離値を与えると再生画像データに対するリフォーカス演算ができる。まず、この絞り値についてはユーザー任意の値、例えばＦ４を与えると再生画像データに対するリフォーカス演算ができる。一方、この距離値、すなわち被写体合焦距離値を演算するにはライトフィールド画像データに対し仮距離値を与えリフォーカス演算を施した結果画像を、複数の仮距離値に対して実行して求める。そして、複数の仮距離値に対する複数リフォーカス演算結果の各々の画像を比較し、コントラスト最大の画像を選出する方法により被写体の合焦距離を求めることができる。

この演算で与える仮距離値の範囲が無限通りの場合、合焦距離の演算数も無限通りとなり、非常に演算量が大きくなる。しかし、仮定する仮距離値範囲について何らかの手掛かりがあり、仮距離値の範囲が制限できれば演算量を小さくできる。一方、隣接フレーム同士での被写体合焦距離の変化は一般的に小さいため、直前フレームの距離前後、微小値を加減算した仮距離値に制限することで演算量を小さくでき、再生処理中のコントラスト比較による合焦距離演算が可能になる。つまり、一つの被写体に対しその被写体が検出された最初のフレームの距離情報だけを記録すれば、隣接フレームの仮距離に制限を加えることができるため、再生処理中のコントラスト比較による合焦距離演算が可能になる。

以上説明したようにこの実施形態では、被写体毎の合焦距離を撮像フレームと関連付けて記録する際に、距離値を記録するフレーム数を大幅に少なくできる。従って、メタデータ容量を制御することが可能になり、記録媒体の有効利用が可能になる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

Claims

ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得手段と、
前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算手段と、を備え、
前記演算手段は、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている被写体の合焦距離の情報から、これから再生される撮像フレームと関連付けて記録されている被写体の合焦距離の情報へと徐々に変化する合焦距離の情報で、現在再生している撮像フレームの合焦距離の情報を補間し、この補間した合焦距離の情報を用いてリフォーカス演算を行うことを特徴とする画像再生装置。
ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得手段と、
前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算手段と、を備え、
前記演算手段は、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている合焦距離の情報と、これから再生される撮像フレームと関連付けて記録されている合焦距離の情報をともに合焦範囲に含む被写界深度に対応する絞り値を用いて現在再生している撮像フレームのリフォーカス演算を行うことを特徴とする画像再生装置。
ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得手段と、
前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算手段と、を備え、
前記演算手段は、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、前記所定の数のフレームの前半において、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている被写体の合焦距離を用いてリフォーカス演算を行い、前記所定の数のフレームの後半において、これから再生される撮像フレームと関連付けて記録されている被写体の合焦距離の情報を用いてリフォーカス演算を行うことを特徴とする画像再生装置。
ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得工程と、
前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算工程と、を備え、
前記演算工程では、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている被写体の合焦距離の情報から、これから再生される撮像フレームと関連付けて記録されている被写体の合焦距離の情報へと徐々に変化する合焦距離の情報で、現在再生している撮像フレームの合焦距離の情報を補間し、この補間した合焦距離の情報を用いてリフォーカス演算を行うことを特徴とする画像再生方法。
ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得工程と、
前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算工程と、を備え、
前記演算工程では、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている合焦距離の情報と、これから再生される撮像フレームと関連付けて記録されている合焦距離の情報をともに合焦範囲に含む被写界深度に対応する絞り値を用いて現在再生している撮像フレームのリフォーカス演算を行うことを特徴とする画像再生方法。
ライトフィールド画像データを取得することが可能な撮像装置により撮像され、該撮像装置により、動画像の撮像フレーム毎に、被写体の合焦距離を測定し、該合焦距離の情報が前記撮像フレームと関連付けて記録された動画像データを取得する取得工程と、
前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在する場合は、該合焦距離の情報に基づいてリフォーカス演算を行い、前記動画像データに、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が存在しない場合は他の撮像フレームと関連付けて記録されている被写体の合焦距離の情報に基づいて補間した合焦距離の情報あるいは絞り値の情報を用いてリフォーカス演算を行う演算工程と、を備え、
前記演算工程では、撮像フレームと関連付けて記録されている被写体の合焦距離の情報が、現在再生している撮像フレームから所定の数のフレームにわたり存在しない場合は、前記所定の数のフレームの前半において、合焦距離の情報がなくなる直前の撮像フレームと関連付けて記録されている被写体の合焦距離を用いてリフォーカス演算を行い、前記所定の数のフレームの後半において、これから再生される撮像フレームと関連付けて記録されている被写体の合焦距離の情報を用いてリフォーカス演算を行うことを特徴とする画像再生方法。
請求項４乃至６のいずれか１項に記載の画像再生方法の手順が記述されたコンピュータで実行可能なプログラム。
コンピュータに、請求項４乃至６のいずれか１項に記載の画像再生方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。