JP6377225B2 - 画像処理装置およびその制御方法、プログラム - Google Patents
画像処理装置およびその制御方法、プログラム Download PDFInfo
- Publication number
- JP6377225B2 JP6377225B2 JP2017159012A JP2017159012A JP6377225B2 JP 6377225 B2 JP6377225 B2 JP 6377225B2 JP 2017159012 A JP2017159012 A JP 2017159012A JP 2017159012 A JP2017159012 A JP 2017159012A JP 6377225 B2 JP6377225 B2 JP 6377225B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- field
- control
- processing apparatus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、動画像のピント状態を変更して再生することが可能な映像処理技術に関するものである。
近年、ライトフィールドカメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することで、複数の方向の光を撮影して光線情報を得ることができる。撮影後に光の強度と光の入射方向に基づいて所定の計算処理を実行することによって、任意の焦点距離および被写界深度(以下、ピント情報という)の画像を構築できる。光線情報を利用した撮影後の計算処理により、任意の画像を構築できることがライトフィールドカメラ(以下、LFカメラという)の利点である。LFカメラによる動画撮影時にも同様の利点があり、動画撮影後の再生時に画像データを再構築し、任意のピント情報を反映させて動画再生を実行することができる。
従来、動画の早送り再生時に別の画像を表示する技術が知られている。特許文献1に記載の技術では、3D(3次元)動画の早送りを行う際に、視認性向上のために2D(2次元)画像を表示する。特許文献2には、撮影後に画像の被写界深度を調整したりボケ具合を調整したりできることが開示されている。
しかしながら、LFカメラで撮影した動画像に対して、早送り再生などを実行してユーザが所望のシーンを検索する場合、ピント情報の設定によってはシーンの見逃しが起り得る。これは、映像内で特定の奥行きにピントを合わせた状態でユーザが動画像を視聴する場合、合焦領域以外の被写体を認識することが困難であることによる。よって、ユーザはピントが合っていない領域についても所望のシーンを見逃さないように、細心の注意を払う必要がある。
前記特許文献1では、早送り再生時の視認性向上のために2D画像を表示しているが、任意にピント情報を指定可能な映像において合焦領域以外の被写体の認識については考慮されていない。3D表示から2D表示への切り替える方法ではピント情報自体が変わらないため、合焦領域以外の被写体を認識するという課題を解決できない。
本発明は、動画像のピント状態を変更して再生することが可能な画像処理装置において、再生速度に応じてピント状態を制御することで、ユーザが被写体像を認識し易くすることを目的とする。
上記課題を解決するために、本発明に係る装置は、動画像データを再生する制御を行う制御手段と、前記制御手段が第1再生速度で再生する制御を行う場合、前記動画像データに対応する第1被写界深度の画像を表示部に出力し、前記制御手段が前記第1再生速度よりも速い第2再生速度で再生する制御を行う場合、前記動画像データに対応する前記第1被写界深度とは異なる第2被写界深度の画像を表示部に出力する出力手段と、を備える。
本発明によれば、再生速度に応じてピント状態を制御することで、被写体像を認識し易くすることができる。
以下、添付図面を参照して、本発明の各実施形態について詳細に説明する。
本発明の実施形態に係る映像処理装置を説明する前に、ピント状態を指定可能な動画像の撮影に用いる撮像装置について説明する。図1(A)、図1(B)は、LFカメラの概略構成を例示する。撮像レンズ11を通過してマイクロレンズアレイ12に入射した被写体からの光は、イメージセンサ13によって光電変換されて電気信号が得られる。尚、ここで得られた撮像データをライトフィールドデータ(以下、LFデータという)と呼ぶ。
本発明の実施形態に係る映像処理装置を説明する前に、ピント状態を指定可能な動画像の撮影に用いる撮像装置について説明する。図1(A)、図1(B)は、LFカメラの概略構成を例示する。撮像レンズ11を通過してマイクロレンズアレイ12に入射した被写体からの光は、イメージセンサ13によって光電変換されて電気信号が得られる。尚、ここで得られた撮像データをライトフィールドデータ(以下、LFデータという)と呼ぶ。
撮像レンズ11は、被写体からの光をマイクロレンズアレイ12に投射する。撮像レンズ11は交換可能であり、撮像装置10の本体部に装着して使用する。ユーザは撮像レンズ11のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ12は、微小レンズ(マイクロレンズ)を格子状に配列して構成されており、撮像レンズ11とイメージセンサ13の間に位置する。マイクロレンズアレイ12を構成する各マイクロレンズは、撮像レンズ11からの入射光を分割し、分割した光をイメージセンサ13に出力する。撮像部を構成するイメージセンサ13は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ13の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。
図2は、マイクロレンズアレイ12とイメージセンサ13の各画素との位置関係を示す模式図である。
マイクロレンズアレイ12の各マイクロレンズは、イメージセンサ13における複数の画素が対応するように配置される。イメージセンサ13の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度(光線情報)を検出することができる。また、各マイクロレンズとイメージセンサ13の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ13の各画素に入射した光線の入射方向(方向情報)が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ12のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ13の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な2平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置10は光線情報と方向情報を取得し、光線の並べ替えと計算処理(以下、再構築という)を行うことにより、任意のフォーカス位置や視点を指定した画像データを生成できる。この光線情報および方向情報はLFデータに含まれる。
マイクロレンズアレイ12の各マイクロレンズは、イメージセンサ13における複数の画素が対応するように配置される。イメージセンサ13の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度(光線情報)を検出することができる。また、各マイクロレンズとイメージセンサ13の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ13の各画素に入射した光線の入射方向(方向情報)が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。マイクロレンズアレイ12のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ13の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な2平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。
以上のように、撮像装置10は光線情報と方向情報を取得し、光線の並べ替えと計算処理(以下、再構築という)を行うことにより、任意のフォーカス位置や視点を指定した画像データを生成できる。この光線情報および方向情報はLFデータに含まれる。
図3は、マイクロレンズアレイ12のマイクロレンズへの入射光線の進行方向と、イメージセンサ13の記録領域との関係を説明する模式図である。
撮像レンズ11による被写体の像は、マイクロレンズアレイ12上に結像し、マイクロレンズアレイ12への入射光線はマイクロレンズアレイ12を介してイメージセンサ13で受光される。このとき、図3に示すように、マイクロレンズアレイ12への入射する光線は、その進行方向に応じてイメージセンサ13上の異なる位置で受光され、撮像レンズ11の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。
撮像レンズ11による被写体の像は、マイクロレンズアレイ12上に結像し、マイクロレンズアレイ12への入射光線はマイクロレンズアレイ12を介してイメージセンサ13で受光される。このとき、図3に示すように、マイクロレンズアレイ12への入射する光線は、その進行方向に応じてイメージセンサ13上の異なる位置で受光され、撮像レンズ11の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。
図4は、イメージセンサ13に入射する光線の情報を説明するための模式図である。
イメージセンサ13で受光される光線について図4を用いて説明する。撮像レンズ11のレンズ面上における直交座標系(u,v)とし、イメージセンサ13の撮像面上における直交座標系(x,y)とし、さらに、撮像レンズ11のレンズ面とイメージセンサ13の撮像面との距離をFとする。すると、撮像レンズ11およびイメージセンサ13を通る光線の強度は、4次元関数L(u,v,x,y)で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ13では、光線の位置情報に加え、光線の進行方向を保持する上記の4次元関数L(u,v,x,y)が記録される。
イメージセンサ13で受光される光線について図4を用いて説明する。撮像レンズ11のレンズ面上における直交座標系(u,v)とし、イメージセンサ13の撮像面上における直交座標系(x,y)とし、さらに、撮像レンズ11のレンズ面とイメージセンサ13の撮像面との距離をFとする。すると、撮像レンズ11およびイメージセンサ13を通る光線の強度は、4次元関数L(u,v,x,y)で表すことができる。
各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ13では、光線の位置情報に加え、光線の進行方向を保持する上記の4次元関数L(u,v,x,y)が記録される。
次に、撮像後のリフォーカス演算処理について説明する。図5は、リフォーカス演算処理を説明するための模式図である。図5に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系(s、t)における光線の強度L’(u,v,s,t)は、以下の(1)式のように表される。
また、リフォーカス面で得られるイメージE’(s,t)は、上記強度L’をレンズ口径に関して積分したものとなるので、以下の(2)式のように表される。
従って、この(2)式からリフォーカス演算処理を行うことで、任意の焦点(リフォーカス面)に設定した画像を再構築することができる。
続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み係数を乗じて重みづけを行う。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ13の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理が行われる。言い換えると、イメージセンサ13への入射角が相対的に大きい光線に関しては、重み係数0(ゼロ)を乗じることにより積分処理に含めない。
図6は、マイクロレンズへの入射角の違いと、イメージセンサ13の記録領域との関係を説明する模式図であり、図7は、被写界深度の調整処理を説明するための模式図である。図6に示すように、イメージセンサ13への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図7に示すように、領域の中央部(図中の斜線部)で取得された画素データのみを用いて積分処理を行う。このような処理を行うことで、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したLFデータ(光線情報)に基づいて、撮影後に画像の被写界深度を調整することができる。
[第1実施形態]
図8は、本発明の第1実施形態に係る映像再生装置100の構成例を示すブロック図である。操作入力部101は、ユーザ操作による入力信号を受け付ける。操作入力部101は、動画像の再生速度を指定し、または変更する再生制御情報を再生制御部103へ出力し、ピント位置を指定する指定ピント情報を表示ピント情報判定部108へ出力する。指定ピント情報は、指定されたピント状態に応じた焦点距離および被写界深度などの情報を含む。例えば、オートフォーカス撮影時に自動的にフォーカス制御されたピント状態を示す情報や、マニュアルフォーカス撮影時にユーザがマニュアル指定したピント状態を示す情報であってもよい。記憶部102は、動画像LFデータを記憶して保持する。
図8は、本発明の第1実施形態に係る映像再生装置100の構成例を示すブロック図である。操作入力部101は、ユーザ操作による入力信号を受け付ける。操作入力部101は、動画像の再生速度を指定し、または変更する再生制御情報を再生制御部103へ出力し、ピント位置を指定する指定ピント情報を表示ピント情報判定部108へ出力する。指定ピント情報は、指定されたピント状態に応じた焦点距離および被写界深度などの情報を含む。例えば、オートフォーカス撮影時に自動的にフォーカス制御されたピント状態を示す情報や、マニュアルフォーカス撮影時にユーザがマニュアル指定したピント状態を示す情報であってもよい。記憶部102は、動画像LFデータを記憶して保持する。
再生制御部103は、記憶部102から動画像LFデータを読み出して画像生成部104へ出力する。操作入力部101からの再生制御情報は再生速度情報を含み、該再生速度情報に従って再生制御部103は、読み出すフレームとその読み出し速度を制御する。再生速度が指定され、または変更された場合、画面上に再生速度の情報を表示するために、再生制御部103は再生状態の遷移情報を合成画面生成部107へ出力する。また再生制御部103は、表示する映像のピント情報を判定するために表示ピント情報判定部108へ再生速度情報を出力する。
画像生成部104は、再生制御部103から入力された動画像LFデータに対し、上記リフォーカス演算処理および被写界深度調整処理を施し、画像を再構築する。その際、表示ピント情報判定部108から入力された表示ピント情報に従って画像の再構築が行われ、生成された画像は所望のピント状態の画像(映像)のデータとして画像合成部105へ出力される。
画像合成部105は、画像生成部104より入力された画像(映像)と、合成画面生成部107より入力された合成画面とを合成した映像データを生成し、映像表示部106へ出力する。映像表示部106は、例えば、液晶パネルやプラズマディスプレイなどであり、画像合成部105が出力する映像データに従って映像を表示する。
合成画面生成部107は、再生制御部103から再生状態の遷移情報に従って、再生速度情報を表示する再生速度表示画面のデータを生成し、画像合成部105へ出力する。また合成画面生成部107は、表示ピント情報判定部108より操作ガイド表示指示が入力された場合、ピント情報変更の操作ガイド表示画面のデータを生成して画像合成部105へ出力する。尚、合成画面生成部107で生成した合成画面については、映像表示部106に表示され、一定時間の経過後に消去するように制御してもよい。
合成画面生成部107は、再生制御部103から再生状態の遷移情報に従って、再生速度情報を表示する再生速度表示画面のデータを生成し、画像合成部105へ出力する。また合成画面生成部107は、表示ピント情報判定部108より操作ガイド表示指示が入力された場合、ピント情報変更の操作ガイド表示画面のデータを生成して画像合成部105へ出力する。尚、合成画面生成部107で生成した合成画面については、映像表示部106に表示され、一定時間の経過後に消去するように制御してもよい。
表示ピント情報判定部108は、操作入力部101からの指定ピント情報および再生制御部103からの再生速度情報に基づいて、表示する映像のピント情報(表示ピント情報)を判定し、判定結果を画像生成部104へ出力する。また、表示ピント情報判定部108は表示ピント情報の変更に従って、操作ガイド表示指示の有無を判定し、判定結果を合成画面生成部107へ出力する。ここで、ユーザによるピント情報の指定については、図10(C)に示す操作ガイド表示画面24の表示時に、操作入力部101にて上下方向のボタン操作による指示信号が入力された場合に行われるものとする。その際、ピント情報が変更される。操作ガイド表示画面24は、通常の再生速度での再生時においても、操作入力部101にて操作ガイド表示画面の表示操作が行われた場合に、任意のタイミングで表示させることができる。なお、表示ピント情報判定部108の詳細な動作については後述する。
図9は、表示ピント情報判定部108が行う判定処理例を説明するフローチャートである。表示ピント情報の判定処理の開始条件は、操作入力部101からの指定ピント情報の入力があること、または再生制御部103からの再生速度情報の入力があることとする。表示ピント情報判定部108は、前述の開始条件が満たされた場合に処理を開始し、再生制御部103からの再生速度情報に基づき、再生速度の絶対値を閾値と比較し、再生速度の絶対値が閾値以上か否かを判定する(S101)。閾値とは、ユーザがピント情報を指定し、また変更操作を行う際、映像を認識し難いと感ずる再生速度の最小値を示す。尚、閾値については固定値でなく、ユーザによって任意に設定できるようにしてもよい。
表示ピント情報判定部108は、再生速度の絶対値が閾値未満の場合、表示する映像のピント情報(表示ピント情報)として、操作入力部101よりユーザが指定したピント情報(指定ピント情報)を設定する(S102)。一方、表示ピント情報判定部108は、再生速度が閾値以上の場合、表示ピント情報として、パンフォーカスピント情報を設定し(S103)、S106に処理を進める。パンフォーカスピント情報とは、複数の被写体にピントを合わせたパンフォーカス映像に係るピント情報である。パンフォーカス映像は、所定の合焦領域内の被写体は勿論、当該領域以外の被写体を含む広い奥行き範囲にピントが合った被写界深度の深い映像である。パンフォーカス映像を表示することで、ユーザは広範囲に亘って被写体の認識が容易になるので、検索時に所望のシーンの見逃しを防ぐことができる。
S102の後、S104へ処理を進め、表示ピント情報判定部108は、現在のピント情報がパンフォーカスピント情報であるか否かを判断する。現在のピント情報がパンフォーカスピント情報である場合、S105に処理を進め、現在のピント情報がパンフォーカスピント情報でない場合、S106に処理を進める。
現在のピント情報がパンフォーカスピント情報である場合に、ユーザが閾値以上の再生速度から閾値未満の再生速度へ変更する状況としては、例えば、所望のシーンの検索を完了した場合が想定される。この場合、パンフォーカスピント情報から指定ピント情報に切り替えた際に、ユーザがピント情報を変更し易いように、表示ピント情報判定部108は、合成画面生成部107へピント情報変更の操作ガイド表示画面24の表示指示を出す(S105)。次に、表示ピント情報判定部108は、表示ピント情報を画像生成部104へ出力する(S106)。
現在のピント情報がパンフォーカスピント情報である場合に、ユーザが閾値以上の再生速度から閾値未満の再生速度へ変更する状況としては、例えば、所望のシーンの検索を完了した場合が想定される。この場合、パンフォーカスピント情報から指定ピント情報に切り替えた際に、ユーザがピント情報を変更し易いように、表示ピント情報判定部108は、合成画面生成部107へピント情報変更の操作ガイド表示画面24の表示指示を出す(S105)。次に、表示ピント情報判定部108は、表示ピント情報を画像生成部104へ出力する(S106)。
図10(A)から(C)は、再生速度を切り替えた際の画面例を示す図である。図9のS101に示す閾値を1.5倍速再生に相当する値とし、通常再生(1倍速再生)の状態から2倍速に変更し、さらに1倍速と切り替えた場合を例示する。尚、指定ピント情報は、第1の被写体21にピントを合わせるための情報であり、第2の被写体22には合焦しないものとする。指定ピント情報を用いて再構築される映像は、ユーザが指定した被写体の狭い奥行き範囲にピントが合った被写界深度の浅い映像である。
図10(A)は通常再生時の画面例である。この場合、閾値(1.5倍速)未満の再生速度であるため、表示ピント情報判定部108は、表示ピント情報を指定ピント情報と判定する。よって、ユーザ操作で指定されたピント情報が表示映像に反映される。
図10(A)は通常再生時の画面例である。この場合、閾値(1.5倍速)未満の再生速度であるため、表示ピント情報判定部108は、表示ピント情報を指定ピント情報と判定する。よって、ユーザ操作で指定されたピント情報が表示映像に反映される。
図10(B)は通常再生から2倍速再生に変更した際の画面例である。この場合、閾値(1.5倍速)以上の再生速度であるため、表示ピント情報判定部108は表示ピント情報をパンフォーカスピント情報と判定する。よって、複数の被写体にピントを合わせられるパンフォーカスピント情報が表示映像に反映される。パンフォーカス映像が2倍速再生されるので、通常再生時には合焦していなかった被写体22にもピントが合った状態で、ユーザは被写体22を認識できる。また、再生制御部103からの再生状態の遷移情報に基づいて、合成画面生成部107は再生速度表示画面23のデータを生成し、この画面が表示映像に合成される。
図10(C)は2倍速再生から通常再生に変更した際の画面例である。この場合、閾値(1.5倍速)未満の再生速度であるため、表示ピント情報判定部108は表示ピント情報を指定ピント情報と判定する。また、現在のピント情報がパンフォーカスピント情報であるため、表示ピント情報判定部108からの操作ガイド表示指示によって、合成画面生成部107は操作ガイド表示画面24のデータを生成する。また、再生制御部103からの再生状態の遷移情報に基づいて、合成画面生成部107は再生速度表示画面23のデータを生成し、この画面(通常再生速度の表示画面)が表示映像に合成される。
第1実施形態によれば、任意にピント状態の指定が可能な動画像データの再生時に、再生速度が閾値未満の場合、指定されたピント状態に従って生成される被写界深度の浅い第1画像を再生する制御が行われる。また再生速度が閾値以上の場合、複数の被写体にピントが合ったパンフォーカス映像に係る被写界深度の深い第2画像を生成して再生する制御が行われる。これにより、ユーザは各被写体の認識が容易になり、所望のシーンの見逃しを防ぐことができる。例えば、早送り再生は、ユーザが多数のシーンから所望のシーンを検索するために使用され、画像の鑑賞を目的とする再生とは異なるため、パンフォーカス映像の表示を行っても、シーン検索の目的は達成される。他方、通常速度での再生時や、再生速度が通常速度に近い場合、あるいはスキップするフレーム数が少ない場合などにおいては、予め指定されたピント情報に応じて生成される画像をユーザが確認できる。
なお、本実施形態では、動画像LFデータの取得装置として、マイクロレンズアレイ12により分割した光をイメージセンサ13で検出することにより異なった方向の光を検出するLFカメラを例示した。これに限らず、例えば、多眼カメラにより方向の異なる光を検出する実施形態でもよい。また、再生速度については、早送り再生を主に説明した。巻き戻し再生についても、その速度に応じて表示ピント情報の判定および変更処理を行えばよい。この他、シーンやチャプターをジャンプする再生の場合、そのフレーム数または時間間隔を判断することにより、ピント情報の判定および変更処理が行われる。この場合、シーン検索時にスキップする映像信号のフレーム数が閾値未満の場合、指定されたピント情報に従って画像を生成して再生する制御が行われる。また、スキップする映像信号のフレーム数が閾値以上である場合、パンフォーカスピント情報に従って画像を生成して再生する制御が行われる。これらの事項は後述する実施形態でも同様である。
[第2実施形態]
次に、本発明の第2実施形態を説明する。第2実施形態では、ピント情報を指定可能な動画像の早送り再生時に、指定ピント情報に基づく被写界深度の浅い第1画像、および複数の被写体にピントが合ったパンフォーカス映像に係る被写界深度の深い第2画像を同時に表示する処理について説明する。なお、第1実施形態の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を中心に説明する。このような説明の省略の仕方は後述の実施形態でも同様とする。
次に、本発明の第2実施形態を説明する。第2実施形態では、ピント情報を指定可能な動画像の早送り再生時に、指定ピント情報に基づく被写界深度の浅い第1画像、および複数の被写体にピントが合ったパンフォーカス映像に係る被写界深度の深い第2画像を同時に表示する処理について説明する。なお、第1実施形態の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を中心に説明する。このような説明の省略の仕方は後述の実施形態でも同様とする。
図11は、映像再生装置100の構成例を示すブロック図である。
画像生成部104は、再生制御部103から入力された動画像LFデータから画像を再構築する。その際、表示ピント情報判定部108から入力された表示ピント情報に従って再構築により画像(映像)が生成される。表示ピント情報がパンフォーカスピント情報である場合、現在生成中の指定ピント映像とパンフォーカス映像の両方のデータが生成され、画像合成部105へ出力される。また、表示ピント情報がパンフォーカスピント情報以外である場合、表示ピント情報に従う画像(映像)のみが生成されて、画像合成部105へ出力される。
画像生成部104は、再生制御部103から入力された動画像LFデータから画像を再構築する。その際、表示ピント情報判定部108から入力された表示ピント情報に従って再構築により画像(映像)が生成される。表示ピント情報がパンフォーカスピント情報である場合、現在生成中の指定ピント映像とパンフォーカス映像の両方のデータが生成され、画像合成部105へ出力される。また、表示ピント情報がパンフォーカスピント情報以外である場合、表示ピント情報に従う画像(映像)のみが生成されて、画像合成部105へ出力される。
画像合成部105は、画像生成部104から入力された表示ピント映像およびパンフォーカス映像と、合成画面生成部107より入力された合成画面とを合成した映像データを生成し、映像表示部106へ出力する。画像合成部105は、画像生成部104より、2つの映像データの入力があった場合、2つの映像を2画面でそれぞれ表示するように画面制御を行う(分割表示やPinP表示など)。
図12は、再生速度を変更した際の画面例を示す。閾値を1.5倍速再生に相当する値とし、通常再生の状態から2倍速に切り替えた場合を例示する。尚、指定ピント情報は、第1の被写体21にピントを合わせるための情報であり、第2の被写体22には合焦しないものとする。また、通常再生時の画面および2倍速再生から通常再生に切り替えた際の画面例については、図10(A)および図10(C)と同様であるため、説明を省略する。
図12では、通常再生から2倍速再生に切り替えた際の画面例を示す。この場合、閾値(1.5倍速)以上の再生速度であるため、表示ピント情報判定部108は表示ピント情報をパンフォーカスピント情報と判定する。画像生成部104は、表示ピント情報がパンフォーカスピント情報であることから、現在表示中であった指定ピント情報による映像20Aとパンフォーカス映像20Bの各データを同時に生成して画像合成部105へ出力する。画像合成部105は、入力された映像20Aと20Bの各データを2画面表示するために映像を合成する。このとき、通常再生時にはピントが合っていなかった被写体22については、パンフォーカス映像20Bをユーザが同時に視聴できるので、被写体22を認識することができる。また、再生制御部103からの再生状態の遷移情報をもとに、合成画面生成部107は再生速度表示画面23のデータを生成し、この画面は表示映像に合成される。
第2実施形態によれば、被写界深度の深いパンフォーカス映像および指定ピント情報を用いて生成される被写界深度の浅い映像を同時に視聴することによって、ユーザは被写体の認識が容易になるので、所望のシーンの見逃しを防ぐことができる。
第2実施形態によれば、被写界深度の深いパンフォーカス映像および指定ピント情報を用いて生成される被写界深度の浅い映像を同時に視聴することによって、ユーザは被写体の認識が容易になるので、所望のシーンの見逃しを防ぐことができる。
[第3実施形態]
次に、本発明の第3実施形態を説明する。第3実施形態では、再生速度情報と表示ピント情報を映像情報から判別する処理について説明する。
図13は、映像表示装置200の構成例を示すブロック図である。映像信号解析部201は、入力されたLF映像信号の付加情報から指定ピント情報を解析し、LF映像信号のフレーム情報から再生速度情報を解析する。LF映像信号に係る動画像LFデータは画像生成部104へ出力され、指定ピント情報および再生速度情報は表示ピント情報判定部108へ出力される。再生速度が変更された場合、再生状態の遷移情報が合成画面生成部107へ出力される。ここで、LF映像信号とは、動画像LFデータと併せて、指定ピント情報およびフレーム情報といった各種情報を付加した映像信号を示す。尚、LF映像信号のフォーマットについては上記に限らず、その他の手段によって各種情報が付加されていてもよい。映像信号解析部201はLF映像信号のフォーマットに応じた解析を行い、指定ピント情報と再生速度情報を取得する。これにより、ユーザ操作以外にピント情報や再生速度が指定される場合でも、前記実施形態と同様にピント情報の判定および変更処理が行われるので、ユーザは被写体の認識が容易になり、所望のシーンの見逃しを防ぐことができる。
次に、本発明の第3実施形態を説明する。第3実施形態では、再生速度情報と表示ピント情報を映像情報から判別する処理について説明する。
図13は、映像表示装置200の構成例を示すブロック図である。映像信号解析部201は、入力されたLF映像信号の付加情報から指定ピント情報を解析し、LF映像信号のフレーム情報から再生速度情報を解析する。LF映像信号に係る動画像LFデータは画像生成部104へ出力され、指定ピント情報および再生速度情報は表示ピント情報判定部108へ出力される。再生速度が変更された場合、再生状態の遷移情報が合成画面生成部107へ出力される。ここで、LF映像信号とは、動画像LFデータと併せて、指定ピント情報およびフレーム情報といった各種情報を付加した映像信号を示す。尚、LF映像信号のフォーマットについては上記に限らず、その他の手段によって各種情報が付加されていてもよい。映像信号解析部201はLF映像信号のフォーマットに応じた解析を行い、指定ピント情報と再生速度情報を取得する。これにより、ユーザ操作以外にピント情報や再生速度が指定される場合でも、前記実施形態と同様にピント情報の判定および変更処理が行われるので、ユーザは被写体の認識が容易になり、所望のシーンの見逃しを防ぐことができる。
第3実施形態によれば、外部装置にて再生速度情報やピント情報が指定された場合であっても、LF映像信号に関連する情報を解析することで指定ピント情報および再生速度情報を取得することができる。
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100 映像再生装置
103 再生制御部
104 画像生成部
105 画像合成部
108 表示ピント情報判定部
201 映像信号解析部
103 再生制御部
104 画像生成部
105 画像合成部
108 表示ピント情報判定部
201 映像信号解析部
Claims (27)
- 動画像データを再生する制御を行う制御手段と、
前記制御手段が第1再生速度で再生する制御を行う場合、前記動画像データに対応する第1被写界深度の画像を表示部に出力し、前記制御手段が前記第1再生速度よりも速い第2再生速度で再生する制御を行う場合、前記動画像データに対応する前記第1被写界深度とは異なる第2被写界深度の画像を表示部に出力する出力手段と、
を備えることを特徴とする画像処理装置。 - 前記再生速度を指定する操作手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
- 前記第1再生速度は、1倍速の再生速度であることを特徴とする請求項1または2に記載の画像処理装置。
- 前記第2再生速度は、1.5倍速以上の再生速度であることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 動画像データを再生する制御を行う制御手段と、
前記制御手段が通常再生する制御を行う場合、前記動画像データに対応する第1被写界深度の画像を表示部に出力し、前記制御手段が特殊再生する制御を行う場合、前記動画像データに対応する前記第1被写界深度とは異なる第2被写界深度の画像を表示部に出力する出力手段と、
を備えることを特徴とする画像処理装置。 - 前記動画像データに係る光の強度を示す光線情報および光線の方向情報を取得し、取得した光線情報および光線の方向情報を用いて、前記第1被写界深度の画像を生成する生成手段をさらに備えることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 前記動画像データのピント状態を指定する操作手段と、
前記操作手段により指定されたピント状態に関するピント情報として焦点距離および被写界深度の情報を取得して、取得した焦点距離および被写界深度の情報を用いて、前記第1被写界深度の画像を生成する生成手段と、をさらに備えることを特徴とする請求項1または5に記載の画像処理装置。 - 前記動画像データの付加情報を解析し、解析により得られたピント情報を用いて、前記第1被写界深度の画像を生成する生成手段をさらに備えることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 前記動画像データは、ライトフィールドデータであることを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 連続して再生可能な複数の画像を含む画像データを再生する制御を行う制御手段と、
前記制御手段が通常再生する制御を行う場合、前記画像データに対応する第1被写界深度の画像を表示部に出力し、前記制御手段が特殊再生する制御を行う場合、前記画像データに対応する前記第1被写界深度とは異なる第2被写界深度の画像を表示部に出力する出力手段と、
を備えることを特徴とする画像処理装置。 - 前記特殊再生は、早送り再生、巻き戻し再生、スキップ再生の少なくともいずれかを含むことを特徴とする請求項5または10に記載の画像処理装置。
- 前記特殊再生は、前記通常再生よりも再生速度が速いことを特徴とする請求項5または10に記載の画像処理装置。
- 前記第2被写界深度は、前記第1被写界深度よりも深い被写界深度であることを特徴とする請求項1から12のいずれか1項に記載の画像処理装置。
- 画像処理装置にて実行される制御方法であって、
動画像データを再生する制御を行う制御ステップと、
前記制御ステップにて第1再生速度で再生する制御を行う場合、前記動画像データに対応する第1被写界深度の画像を表示部に出力し、前記制御ステップにて前記第1再生速度よりも速い第2再生速度で再生する制御を行う場合、前記動画像データに対応する前記第1被写界深度とは異なる第2被写界深度の画像を表示部に出力する出力ステップと、
を有することを特徴とする画像処理装置の制御方法。 - 前記再生速度を指定する操作ステップをさらに有することを特徴とする請求項14に記載の画像処理装置の制御方法。
- 前記第1再生速度は、1倍速の再生速度であることを特徴とする請求項14または15に記載の画像処理装置の制御方法。
- 前記第2再生速度は、1.5倍速以上の再生速度であることを特徴とする請求項14から16のいずれか1項に記載の画像処理装置の制御方法。
- 動画像データを再生する制御を行う制御ステップと、
前記制御ステップにて通常再生する制御を行う場合、前記動画像データに対応する第1被写界深度の画像を表示部に出力し、前記制御ステップにて特殊再生する制御を行う場合、前記動画像データに対応する前記第1被写界深度とは異なる第2被写界深度の画像を表示部に出力する出力ステップと、
を備えることを特徴とする画像処理装置の制御方法。 - 前記動画像データに係る光の強度を示す光線情報および光線の方向情報を取得し、取得した光線情報および光線の方向情報を用いて、前記第1被写界深度の画像を生成手段により生成するステップをさらに有することを特徴とする請求項14から18のいずれか1項に記載の画像処理装置の制御方法。
- 操作手段により指定されたピント状態に関するピント情報として焦点距離および被写界深度の情報を取得して、取得した焦点距離および被写界深度の情報を用いて、前記第1被写界深度の画像を生成するステップをさらに有することを特徴とする請求項14から18のいずれか1項に記載の画像処理装置の制御方法。
- 前記動画像データの付加情報を制御手段により解析するステップと、
前記解析により得られたピント情報を用いて、前記第1被写界深度の画像を生成するステップと、
をさらに有することを特徴とする請求項14から18のいずれか1項に記載の画像処理装置の制御方法。 - 前記動画像データは、ライトフィールドデータであることを特徴とする請求項14から21のいずれか1項に記載の画像処理装置の制御方法。
- 画像処理装置にて実行される制御方法であって、
連続して再生可能な複数の画像を含む画像データを再生する制御を行う制御ステップと、
前記制御ステップにて通常再生する制御を行う場合、前記画像データに対応する第1被写界深度の画像を表示部に出力し、前記制御ステップにて特殊再生する制御を行う場合、前記画像データに対応する前記第1被写界深度とは異なる第2被写界深度の画像を表示部に出力する出力ステップと、
を有することを特徴とする画像処理装置の制御方法。 - 前記特殊再生は、早送り再生、巻き戻し再生、スキップ再生の少なくともいずれかを含むことを特徴とする請求項18または23に記載の画像処理装置の制御方法。
- 前記特殊再生は、前記通常再生よりも再生速度が速いことを特徴とする請求項18または23に記載の画像処理装置の制御方法。
- 前記第2被写界深度は、前記第1被写界深度よりも深い被写界深度であることを特徴とする請求項14から25のいずれか1項に記載の画像処理装置の制御方法。
- 請求項14から26のいずれか1項に記載の、画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012179591 | 2012-08-13 | ||
JP2012179591 | 2012-08-13 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013145490A Division JP6202910B2 (ja) | 2012-08-13 | 2013-07-11 | 映像処理装置およびその制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018029340A JP2018029340A (ja) | 2018-02-22 |
JP6377225B2 true JP6377225B2 (ja) | 2018-08-22 |
Family
ID=61248618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017159012A Active JP6377225B2 (ja) | 2012-08-13 | 2017-08-22 | 画像処理装置およびその制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6377225B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4755565B2 (ja) * | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
JP5385672B2 (ja) * | 2009-04-27 | 2014-01-08 | キヤノン株式会社 | 撮像装置 |
KR20110025123A (ko) * | 2009-09-02 | 2011-03-09 | 삼성전자주식회사 | 비디오 영상 배속 재생 방법 및 장치 |
JP2011097451A (ja) * | 2009-10-30 | 2011-05-12 | Fujifilm Corp | 3次元画像表示装置及び方法 |
JP2012027408A (ja) * | 2010-07-27 | 2012-02-09 | Sanyo Electric Co Ltd | 電子機器 |
-
2017
- 2017-08-22 JP JP2017159012A patent/JP6377225B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018029340A (ja) | 2018-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6202910B2 (ja) | 映像処理装置およびその制御方法、プログラム | |
US10200590B2 (en) | Image pickup apparatus and method of controlling the same | |
US9451148B2 (en) | Image recording apparatus and image reproducing apparatus | |
US9503633B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP6663193B2 (ja) | 撮像装置およびその制御方法 | |
JP6061816B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2013201752A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2015204587A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
EP2866430B1 (en) | Imaging apparatus and its control method and program | |
CN103370943A (zh) | 成像装置和成像方法 | |
JP2014157425A (ja) | 撮像装置及びその制御方法 | |
JP6245892B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
WO2017130522A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5583242B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP6377225B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP2015198340A (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP2015198336A (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP6071173B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP6632384B2 (ja) | 画像再生装置及び画像再生方法 | |
JP6138222B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6223226B2 (ja) | カメラパラメータ算出装置及びそのプログラム | |
JP6195371B2 (ja) | 撮像装置、制御方法およびプログラム | |
US20150365599A1 (en) | Information processing apparatus, image capturing apparatus, and control method | |
JP2017184144A (ja) | 画像処理装置、撮像装置、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180724 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6377225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |