JP6202910B2 - 映像処理装置およびその制御方法、プログラム - Google Patents

Description

本発明は、動画像のピント状態を変更して再生することが可能な映像処理技術に関するものである。

近年、ライトフィールドカメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することで、複数の方向の光を撮影して光線情報を得ることができる。撮影後に光の強度と光の入射方向に基づいて所定の計算処理を実行することによって、任意の焦点距離および被写界深度（以下、ピント情報という）の画像を構築できる。光線情報を利用した撮影後の計算処理により、任意の画像を構築できることがライトフィールドカメラ（以下、ＬＦカメラという）の利点である。ＬＦカメラによる動画撮影時にも同様の利点があり、動画撮影後の再生時に画像データを再構築し、任意のピント情報を反映させて動画再生を実行することができる。

従来、動画の早送り再生時に別の画像を表示する技術が知られている。特許文献１に記載の技術では、３Ｄ（３次元）動画の早送りを行う際に、視認性向上のために２Ｄ（２次元）画像を表示する。特許文献２には、撮影後に画像の被写界深度を調整したりボケ具合を調整したりできることが開示されている。

特開２０１１−９７４５１号公報 特開２００９−１５９３５７号公報

しかしながら、ＬＦカメラで撮影した動画像に対して、早送り再生などを実行してユーザが所望のシーンを検索する場合、ピント情報の設定によってはシーンの見逃しが起り得る。これは、映像内で特定の奥行きにピントを合わせた状態でユーザが動画像を視聴する場合、合焦領域以外の被写体を認識することが困難であることによる。よって、ユーザはピントが合っていない領域についても所望のシーンを見逃さないように、細心の注意を払う必要がある。

前記特許文献１では、早送り再生時の視認性向上のために２Ｄ画像を表示しているが、任意にピント情報を指定可能な映像において合焦領域以外の被写体の認識については考慮されていない。３Ｄ表示から２Ｄ表示への切り替える方法ではピント情報自体が変わらないため、合焦領域以外の被写体を認識するという課題を解決できない。

本発明は、動画像のピント状態を変更して再生することが可能な映像処理装置において、再生速度に応じてピント状態を制御することで、ユーザが被写体像を認識し易くすることを目的とする。

上記課題を解決するために、本発明に係る装置は、動画像データを再生する映像処理装置であって、前記動画像データを再生する制御を行う制御手段と、前記動画像データの再生速度に応じて、前記動画像データから被写界深度の異なる画像を生成する生成手段と、を備える。

本発明によれば、再生速度に応じてピント状態を制御することで、被写体像を認識し易くすることができる。

ライトフィールドカメラ内部の構成例（Ａ）および（Ｂ）を示す模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示した模式図である。 マイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。 イメージセンサ１３に入射する光線の情報を説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 本発明の第１実施形態を説明するために、映像再生装置の構成例を示すブロック図である。 図８の表示ピント情報判定部１０８の動作を説明するフローチャートである。 通常再生時の画面例（Ａ）、通常再生から２倍速再生に切り替えた際の画面例（Ｂ）、２倍速再生から通常再生に切り替えた際の画面例（Ｃ）を示す図である。 本発明の第２実施形態に係る装置の構成例を示すブロック図である。 本発明の第２実施形態において再生速度を通常再生から２倍速再生に切り替えた際の画面例を示す図である。 本発明の第３実施形態に係る装置の構成例を示すブロック図である。

以下、添付図面を参照して、本発明の各実施形態について詳細に説明する。
本発明の実施形態に係る映像処理装置を説明する前に、ピント状態を指定可能な動画像の撮影に用いる撮像装置について説明する。図１（Ａ）、図１（Ｂ）は、ＬＦカメラの概略構成を例示する。撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号が得られる。尚、ここで得られた撮像データをライトフィールドデータ（以下、ＬＦデータという）と呼ぶ。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。イメージセンサ１３の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置や視点を指定した画像データを生成できる。この光線情報および方向情報はＬＦデータに含まれる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射する光線は、その進行方向に応じてイメージセンサ１３上の異なる位置で受光され、撮像レンズ１１の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。

図４は、イメージセンサ１３に入射する光線の情報を説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。撮像レンズ１１のレンズ面上における直交座標系（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とし、さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。すると、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加え、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）が記録される。

次に、撮像後のリフォーカス演算処理について説明する。図５は、リフォーカス演算処理を説明するための模式図である。図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ、ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。

また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。

従って、この（２）式からリフォーカス演算処理を行うことで、任意の焦点（リフォーカス面）に設定した画像を再構築することができる。

続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み係数を乗じて重みづけを行う。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理が行われる。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理を行う。このような処理を行うことで、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したＬＦデータ（光線情報）に基づいて、撮影後に画像の被写界深度を調整することができる。

［第１実施形態］
図８は、本発明の第１実施形態に係る映像再生装置１００の構成例を示すブロック図である。操作入力部１０１は、ユーザ操作による入力信号を受け付ける。操作入力部１０１は、動画像の再生速度を指定し、または変更する再生制御情報を再生制御部１０３へ出力し、ピント位置を指定する指定ピント情報を表示ピント情報判定部１０８へ出力する。指定ピント情報は、指定されたピント状態に応じた焦点距離および被写界深度などの情報を含む。例えば、オートフォーカス撮影時に自動的にフォーカス制御されたピント状態を示す情報や、マニュアルフォーカス撮影時にユーザがマニュアル指定したピント状態を示す情報であってもよい。記憶部１０２は、動画像ＬＦデータを記憶して保持する。

再生制御部１０３は、記憶部１０２から動画像ＬＦデータを読み出して画像生成部１０４へ出力する。操作入力部１０１からの再生制御情報は再生速度情報を含み、該再生速度情報に従って再生制御部１０３は、読み出すフレームとその読み出し速度を制御する。再生速度が指定され、または変更された場合、画面上に再生速度の情報を表示するために、再生制御部１０３は再生状態の遷移情報を合成画面生成部１０７へ出力する。また再生制御部１０３は、表示する映像のピント情報を判定するために表示ピント情報判定部１０８へ再生速度情報を出力する。

画像生成部１０４は、再生制御部１０３から入力された動画像ＬＦデータに対し、上記リフォーカス演算処理および被写界深度調整処理を施し、画像を再構築する。その際、表示ピント情報判定部１０８から入力された表示ピント情報に従って画像の再構築が行われ、生成された画像は所望のピント状態の画像（映像）のデータとして画像合成部１０５へ出力される。

画像合成部１０５は、画像生成部１０４より入力された画像（映像）と、合成画面生成部１０７より入力された合成画面とを合成した映像データを生成し、映像表示部１０６へ出力する。映像表示部１０６は、例えば、液晶パネルやプラズマディスプレイなどであり、画像合成部１０５が出力する映像データに従って映像を表示する。
合成画面生成部１０７は、再生制御部１０３から再生状態の遷移情報に従って、再生速度情報を表示する再生速度表示画面のデータを生成し、画像合成部１０５へ出力する。また合成画面生成部１０７は、表示ピント情報判定部１０８より操作ガイド表示指示が入力された場合、ピント情報変更の操作ガイド表示画面のデータを生成して画像合成部１０５へ出力する。尚、合成画面生成部１０７で生成した合成画面については、映像表示部１０６に表示され、一定時間の経過後に消去するように制御してもよい。

表示ピント情報判定部１０８は、操作入力部１０１からの指定ピント情報および再生制御部１０３からの再生速度情報に基づいて、表示する映像のピント情報（表示ピント情報）を判定し、判定結果を画像生成部１０４へ出力する。また、表示ピント情報判定部１０８は表示ピント情報の変更に従って、操作ガイド表示指示の有無を判定し、判定結果を合成画面生成部１０７へ出力する。ここで、ユーザによるピント情報の指定については、図１０（Ｃ）に示す操作ガイド表示画面２４の表示時に、操作入力部１０１にて上下方向のボタン操作による指示信号が入力された場合に行われるものとする。その際、ピント情報が変更される。操作ガイド表示画面２４は、通常の再生速度での再生時においても、操作入力部１０１にて操作ガイド表示画面の表示操作が行われた場合に、任意のタイミングで表示させることができる。なお、表示ピント情報判定部１０８の詳細な動作については後述する。

図９は、表示ピント情報判定部１０８が行う判定処理例を説明するフローチャートである。表示ピント情報の判定処理の開始条件は、操作入力部１０１からの指定ピント情報の入力があること、または再生制御部１０３からの再生速度情報の入力があることとする。表示ピント情報判定部１０８は、前述の開始条件が満たされた場合に処理を開始し、再生制御部１０３からの再生速度情報に基づき、再生速度の絶対値を閾値と比較し、再生速度の絶対値が閾値以上か否かを判定する（Ｓ１０１）。閾値とは、ユーザがピント情報を指定し、また変更操作を行う際、映像を認識し難いと感ずる再生速度の最小値を示す。尚、閾値については固定値でなく、ユーザによって任意に設定できるようにしてもよい。

表示ピント情報判定部１０８は、再生速度の絶対値が閾値未満の場合、表示する映像のピント情報（表示ピント情報）として、操作入力部１０１よりユーザが指定したピント情報（指定ピント情報）を設定する（Ｓ１０２）。一方、表示ピント情報判定部１０８は、再生速度が閾値以上の場合、表示ピント情報として、パンフォーカスピント情報を設定し（Ｓ１０３）、Ｓ１０６に処理を進める。パンフォーカスピント情報とは、複数の被写体にピントを合わせたパンフォーカス映像に係るピント情報である。パンフォーカス映像は、所定の合焦領域内の被写体は勿論、当該領域以外の被写体を含む広い奥行き範囲にピントが合った被写界深度の深い映像である。パンフォーカス映像を表示することで、ユーザは広範囲に亘って被写体の認識が容易になるので、検索時に所望のシーンの見逃しを防ぐことができる。

Ｓ１０２の後、Ｓ１０４へ処理を進め、表示ピント情報判定部１０８は、現在のピント情報がパンフォーカスピント情報であるか否かを判断する。現在のピント情報がパンフォーカスピント情報である場合、Ｓ１０５に処理を進め、現在のピント情報がパンフォーカスピント情報でない場合、Ｓ１０６に処理を進める。
現在のピント情報がパンフォーカスピント情報である場合に、ユーザが閾値以上の再生速度から閾値未満の再生速度へ変更する状況としては、例えば、所望のシーンの検索を完了した場合が想定される。この場合、パンフォーカスピント情報から指定ピント情報に切り替えた際に、ユーザがピント情報を変更し易いように、表示ピント情報判定部１０８は、合成画面生成部１０７へピント情報変更の操作ガイド表示画面２４の表示指示を出す（Ｓ１０５）。次に、表示ピント情報判定部１０８は、表示ピント情報を画像生成部１０４へ出力する（Ｓ１０６）。

図１０（Ａ）から（Ｃ）は、再生速度を切り替えた際の画面例を示す図である。図９のＳ１０１に示す閾値を１．５倍速再生に相当する値とし、通常再生（１倍速再生）の状態から２倍速に変更し、さらに１倍速と切り替えた場合を例示する。尚、指定ピント情報は、第１の被写体２１にピントを合わせるための情報であり、第２の被写体２２には合焦しないものとする。指定ピント情報を用いて再構築される映像は、ユーザが指定した被写体の狭い奥行き範囲にピントが合った被写界深度の浅い映像である。
図１０（Ａ）は通常再生時の画面例である。この場合、閾値（１．５倍速）未満の再生速度であるため、表示ピント情報判定部１０８は、表示ピント情報を指定ピント情報と判定する。よって、ユーザ操作で指定されたピント情報が表示映像に反映される。

図１０（Ｂ）は通常再生から２倍速再生に変更した際の画面例である。この場合、閾値（１．５倍速）以上の再生速度であるため、表示ピント情報判定部１０８は表示ピント情報をパンフォーカスピント情報と判定する。よって、複数の被写体にピントを合わせられるパンフォーカスピント情報が表示映像に反映される。パンフォーカス映像が２倍速再生されるので、通常再生時には合焦していなかった被写体２２にもピントが合った状態で、ユーザは被写体２２を認識できる。また、再生制御部１０３からの再生状態の遷移情報に基づいて、合成画面生成部１０７は再生速度表示画面２３のデータを生成し、この画面が表示映像に合成される。

図１０（Ｃ）は２倍速再生から通常再生に変更した際の画面例である。この場合、閾値（１．５倍速）未満の再生速度であるため、表示ピント情報判定部１０８は表示ピント情報を指定ピント情報と判定する。また、現在のピント情報がパンフォーカスピント情報であるため、表示ピント情報判定部１０８からの操作ガイド表示指示によって、合成画面生成部１０７は操作ガイド表示画面２４のデータを生成する。また、再生制御部１０３からの再生状態の遷移情報に基づいて、合成画面生成部１０７は再生速度表示画面２３のデータを生成し、この画面（通常再生速度の表示画面）が表示映像に合成される。

第１実施形態によれば、任意にピント状態の指定が可能な動画像データの再生時に、再生速度が閾値未満の場合、指定されたピント状態に従って生成される被写界深度の浅い第１画像を再生する制御が行われる。また再生速度が閾値以上の場合、複数の被写体にピントが合ったパンフォーカス映像に係る被写界深度の深い第２画像を生成して再生する制御が行われる。これにより、ユーザは各被写体の認識が容易になり、所望のシーンの見逃しを防ぐことができる。例えば、早送り再生は、ユーザが多数のシーンから所望のシーンを検索するために使用され、画像の鑑賞を目的とする再生とは異なるため、パンフォーカス映像の表示を行っても、シーン検索の目的は達成される。他方、通常速度での再生時や、再生速度が通常速度に近い場合、あるいはスキップするフレーム数が少ない場合などにおいては、予め指定されたピント情報に応じて生成される画像をユーザが確認できる。

なお、本実施形態では、動画像ＬＦデータの取得装置として、マイクロレンズアレイ１２により分割した光をイメージセンサ１３で検出することにより異なった方向の光を検出するＬＦカメラを例示した。これに限らず、例えば、多眼カメラにより方向の異なる光を検出する実施形態でもよい。また、再生速度については、早送り再生を主に説明した。巻き戻し再生についても、その速度に応じて表示ピント情報の判定および変更処理を行えばよい。この他、シーンやチャプターをジャンプする再生の場合、そのフレーム数または時間間隔を判断することにより、ピント情報の判定および変更処理が行われる。この場合、シーン検索時にスキップする映像信号のフレーム数が閾値未満の場合、指定されたピント情報に従って画像を生成して再生する制御が行われる。また、スキップする映像信号のフレーム数が閾値以上である場合、パンフォーカスピント情報に従って画像を生成して再生する制御が行われる。これらの事項は後述する実施形態でも同様である。

［第２実施形態］
次に、本発明の第２実施形態を説明する。第２実施形態では、ピント情報を指定可能な動画像の早送り再生時に、指定ピント情報に基づく被写界深度の浅い第１画像、および複数の被写体にピントが合ったパンフォーカス映像に係る被写界深度の深い第２画像を同時に表示する処理について説明する。なお、第１実施形態の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を中心に説明する。このような説明の省略の仕方は後述の実施形態でも同様とする。

図１１は、映像再生装置１００の構成例を示すブロック図である。
画像生成部１０４は、再生制御部１０３から入力された動画像ＬＦデータから画像を再構築する。その際、表示ピント情報判定部１０８から入力された表示ピント情報に従って再構築により画像（映像）が生成される。表示ピント情報がパンフォーカスピント情報である場合、現在生成中の指定ピント映像とパンフォーカス映像の両方のデータが生成され、画像合成部１０５へ出力される。また、表示ピント情報がパンフォーカスピント情報以外である場合、表示ピント情報に従う画像（映像）のみが生成されて、画像合成部１０５へ出力される。

画像合成部１０５は、画像生成部１０４から入力された表示ピント映像およびパンフォーカス映像と、合成画面生成部１０７より入力された合成画面とを合成した映像データを生成し、映像表示部１０６へ出力する。画像合成部１０５は、画像生成部１０４より、２つの映像データの入力があった場合、２つの映像を２画面でそれぞれ表示するように画面制御を行う（分割表示やＰinＰ表示など）。

図１２は、再生速度を変更した際の画面例を示す。閾値を１．５倍速再生に相当する値とし、通常再生の状態から２倍速に切り替えた場合を例示する。尚、指定ピント情報は、第１の被写体２１にピントを合わせるための情報であり、第２の被写体２２には合焦しないものとする。また、通常再生時の画面および２倍速再生から通常再生に切り替えた際の画面例については、図１０（Ａ）および図１０（Ｃ）と同様であるため、説明を省略する。

図１２では、通常再生から２倍速再生に切り替えた際の画面例を示す。この場合、閾値（１．５倍速）以上の再生速度であるため、表示ピント情報判定部１０８は表示ピント情報をパンフォーカスピント情報と判定する。画像生成部１０４は、表示ピント情報がパンフォーカスピント情報であることから、現在表示中であった指定ピント情報による映像２０Ａとパンフォーカス映像２０Ｂの各データを同時に生成して画像合成部１０５へ出力する。画像合成部１０５は、入力された映像２０Ａと２０Ｂの各データを２画面表示するために映像を合成する。このとき、通常再生時にはピントが合っていなかった被写体２２については、パンフォーカス映像２０Ｂをユーザが同時に視聴できるので、被写体２２を認識することができる。また、再生制御部１０３からの再生状態の遷移情報をもとに、合成画面生成部１０７は再生速度表示画面２３のデータを生成し、この画面は表示映像に合成される。
第２実施形態によれば、被写界深度の深いパンフォーカス映像および指定ピント情報を用いて生成される被写界深度の浅い映像を同時に視聴することによって、ユーザは被写体の認識が容易になるので、所望のシーンの見逃しを防ぐことができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。第３実施形態では、再生速度情報と表示ピント情報を映像情報から判別する処理について説明する。
図１３は、映像表示装置２００の構成例を示すブロック図である。映像信号解析部２０１は、入力されたＬＦ映像信号の付加情報から指定ピント情報を解析し、ＬＦ映像信号のフレーム情報から再生速度情報を解析する。ＬＦ映像信号に係る動画像ＬＦデータは画像生成部１０４へ出力され、指定ピント情報および再生速度情報は表示ピント情報判定部１０８へ出力される。再生速度が変更された場合、再生状態の遷移情報が合成画面生成部１０７へ出力される。ここで、ＬＦ映像信号とは、動画像ＬＦデータと併せて、指定ピント情報およびフレーム情報といった各種情報を付加した映像信号を示す。尚、ＬＦ映像信号のフォーマットについては上記に限らず、その他の手段によって各種情報が付加されていてもよい。映像信号解析部２０１はＬＦ映像信号のフォーマットに応じた解析を行い、指定ピント情報と再生速度情報を取得する。これにより、ユーザ操作以外にピント情報や再生速度が指定される場合でも、前記実施形態と同様にピント情報の判定および変更処理が行われるので、ユーザは被写体の認識が容易になり、所望のシーンの見逃しを防ぐことができる。

第３実施形態によれば、外部装置にて再生速度情報やピント情報が指定された場合であっても、ＬＦ映像信号に関連する情報を解析することで指定ピント情報および再生速度情報を取得することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 映像再生装置
１０３ 再生制御部
１０４ 画像生成部
１０５ 画像合成部
１０８ 表示ピント情報判定部
２０１ 映像信号解析部

Claims (23)

1. 動画像データを再生する映像処理装置であって、
   前記動画像データを再生する制御を行う制御手段と、
   前記動画像データの再生速度に応じて、前記動画像データから被写界深度の異なる画像を生成する生成手段と、
   を備えることを特徴とする映像処理装置。
2. 前記生成手段は、前記再生速度が閾値未満である場合、前記動画像データから被写界深度が浅い第１画像を生成し、前記再生速度が前記閾値以上である場合、前記動画像データから前記第１画像よりも被写界深度が深い第２画像を生成することを特徴とする請求項１に記載の映像処理装置。
3. 前記制御手段は、前記再生速度が前記閾値以上である場合、前記生成手段により前記第１画像および前記第２画像を生成して、生成された前記第１画像および前記第２画像を再生する制御を行うことを特徴とする請求項２に記載の映像処理装置。
4. 前記生成手段は、撮像された前記動画像データに係る光の強度を示す光線情報および光線の方向情報を取得し、取得した光線情報および光線の方向情報を用いて、指定されたピント状態での前記第１画像を生成することを特徴とする請求項２に記載の映像処理装置。
5. 前記動画像データのピント状態を指定する操作手段を備え、
   前記生成手段は、前記操作手段により指定されたピント状態に関するピント情報として焦点距離および被写界深度の情報を取得して、取得した焦点距離および被写界深度の情報を用いて、前記第１画像を生成することを特徴とする請求項２に記載の映像処理装置。
6. 前記制御手段は、前記動画像データの付加情報を解析し、解析により得られたピント情報を前記生成手段に出力することを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
7. 前記再生速度を指定する操作手段を備え、
   前記制御手段は、前記操作手段により指定された再生速度を前記閾値と比較することを特徴とする請求項２または３に記載の映像処理装置。
8. 前記制御手段は、前記動画像データのフレーム情報から再生速度を解析して、解析により得られた再生速度を前記閾値と比較することを特徴とする請求項２または３に記載の映像処理装置。
9. 前記制御手段は、早送り再生、巻き戻し再生、またはシーン検索の動作において、前記生成手段により前記第２画像を生成して、生成された前記第２画像を再生する制御を行うことを特徴とする請求項２または３に記載の映像処理装置。
10. 前記制御手段は、シーン検索時にスキップする前記動画像データのフレーム数が所定数未満の場合、前記生成手段により前記第１画像を生成して、生成された前記第１画像を再生する制御を行い、前記フレーム数が前記所定数以上である場合、前記生成手段により前記第２画像を生成して、生成された前記第２画像を再生する制御を行うことを特徴とする請求項２または３に記載の映像処理装置。
11. 前記動画像データは、ライトフィールドデータであることを特徴とする請求項１から１０までのいずれか１項に記載の映像処理装置。
12. 動画像データを再生する映像処理装置にて実行される制御方法であって、
    前記動画像データを再生する制御を行う制御ステップと、
    前記動画像データの再生速度に応じて、前記動画像データから被写界深度の異なる画像を生成手段により生成するステップと、
    を有することを特徴とする映像処理装置の制御方法。
13. 前記再生速度が閾値未満である場合、前記生成手段により前記動画像データから被写界深度が浅い第１画像を生成し、前記再生速度が前記閾値以上である場合、前記生成手段により前記動画像データから前記第１画像よりも被写界深度が深い第２画像を生成するステップを有することを特徴とする請求項１２に記載の映像処理装置の制御方法。
14. 前記制御ステップにて、前記再生速度が前記閾値以上である場合、前記生成手段により前記第１画像および前記第２画像を生成して、生成された前記第１画像および前記第２画像を再生する制御を行うことを特徴とする請求項１３に記載の映像処理装置の制御方法。
15. 撮像された前記動画像データに係る光の強度を示す光線情報および光線の方向情報を取得し、取得した光線情報および光線の方向情報を用いて、指定されたピント状態での前記第１画像を前記生成手段により生成するステップを有することを特徴とする請求項１３に記載の映像処理装置の制御方法。
16. 操作手段により指定されたピント状態に関するピント情報として焦点距離および被写界深度の情報を取得して、取得した焦点距離および被写界深度の情報を用いて、前記第１画像を前記生成手段により生成するステップを有することを特徴とする請求項１３に記載の映像処理装置の制御方法。
17. 前記動画像データの付加情報を制御手段により解析するステップと、
    前記解析により得られたピント情報に従って前記生成手段により画像を生成するステップと、
    を有することを特徴とする請求項１２から１５のいずれか１項に記載の映像処理装置の制御方法。
18. 操作手段により指定された再生速度を前記閾値と比較するステップを有することを特徴とする請求項１３または１４に記載の映像処理装置の制御方法。
19. 前記動画像データのフレーム情報から再生速度を制御手段により解析するステップと、
    前記解析により得られた再生速度を前記閾値と比較するステップと、
    を有することを特徴とする請求項１３または１４に記載の映像処理装置の制御方法。
20. 早送り再生、巻き戻し再生、またはシーン検索の動作において、前記生成手段により前記第２画像を生成して、生成された前記第２画像を再生するステップを有することを特徴とする請求項１３または１４に記載の映像処理装置の制御方法。
21. シーン検索時にスキップする前記動画像データのフレーム数が所定数未満の場合、前記生成手段により前記第１画像を生成して、生成された前記第１画像を再生する制御を行うステップと、前記フレーム数が前記所定数以上である場合、前記生成手段により前記第２画像を生成して、生成された前記第２画像を再生する制御を行うステップと、を有することを特徴とする請求項１３または１４に記載の映像処理装置の制御方法。
22. 前記動画像データは、ライトフィールドデータであることを特徴とする請求項１２から２１までのいずれか１項に記載の映像処理装置の制御方法。
23. 請求項１２から２２のいずれか１項に記載の、映像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。

Images