JP6988813B2 - 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム - Google Patents

再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム Download PDF

Info

Publication number
JP6988813B2
JP6988813B2 JP2018543838A JP2018543838A JP6988813B2 JP 6988813 B2 JP6988813 B2 JP 6988813B2 JP 2018543838 A JP2018543838 A JP 2018543838A JP 2018543838 A JP2018543838 A JP 2018543838A JP 6988813 B2 JP6988813 B2 JP 6988813B2
Authority
JP
Japan
Prior art keywords
model
moving image
viewpoint moving
display
edited
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018543838A
Other languages
English (en)
Other versions
JPWO2018066382A1 (ja
Inventor
充 勝股
仕豪 温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018066382A1 publication Critical patent/JPWO2018066382A1/ja
Application granted granted Critical
Publication of JP6988813B2 publication Critical patent/JP6988813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Description

本開示は、再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラムに関し、特に、より適切な３Ｄモデルの表示に対応することができるようにした再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラムに関する。
一般的に、ユーザにより動画像をアップロード可能な配信サイトにおいてＵＧＣ（User-Generated Contents）などの動画像コンテンツが配信されたり、商用の配信サイトにおいて映画やドラマなどの動画像コンテンツが無料または有料で配信されている。従来、これらの動画像コンテンツとしては、コンテンツ生成時のカメラワークによって視線方向および視点位置が固定されている２Ｄ動画像コンテンツが主流である。
これに対し、近年、視線方向を自由に変更することができる動画像コンテンツ（以下、全天球動画像コンテンツと称する）の作成が可能となっている。全天球動画像コンテンツは、例えば、ヘッドマウントディスプレイを利用して、顔の向きに合わせて視線方向を変更することができるため、より臨場感が高く、今後の普及が期待されている。
さらに、今後、全天球動画像コンテンツと同様に視線方向を変更することができ、かつ、動画像により再現されている空間内を自由に移動することができる動画像コンテンツ（以下、自由視点動画像コンテンツと称する）の普及が想定される。
例えば、特許文献１には、動画像データに関連したメタデータとして、出力する動画像の大きさや位置に関する情報などを編集することができるメタデータの構造が開示されている。また、特許文献２には、再生属性情報などを含むプレイリスト情報や、年齢に応じた表示方式を有効とするストリーム情報テーブルなどに基づいて表示形式を選択することができる再生装置が開示されている。
特開２００６−１４０９０号公報 特開２０１２−２１３２２０号公報
ところで、ゲームなどではオブジェクトやテクスチャデータをレンダリングすることで３Ｄモデルが配置されている自由視点空間を作り出している。上述したような自由視点動画像コンテンツでは、２Ｄ動画像コンテンツや全天球動画像コンテンツとは異なり、３Ｄモデルとしてデータを持つことが可能となっているが、様々な状況に応じて、３Ｄモデルを適切に表示することは行われていなかった。
本開示は、このような状況に鑑みてなされたものであり、より適切な３Ｄモデルの表示に対応することができるようにするものである。
本開示の第１の側面の再生装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部とを備え、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、前記表示制御部は、前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う。
本開示の第１の側面の再生方法またはプログラムは、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御するステップを含み、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う。
本開示の第１の側面においては、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツが再生され、編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示が、編集データで設定されている付加情報を参照して制御される。また、付加情報は、新たに配置する３Ｄモデルの優先度を、既に配置済みの他の３Ｄモデルに対して相対的に表す１ビットの値で設定する３Ｄモデルの表示の優先度を示す優先度情報、および、３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。そして、付加情報が優先度情報である場合、優先度情報を参照して、優先度が高く設定されている３Ｄモデルが優先的に表示されるように表示制御が行われ、付加情報が視聴年齢制限情報である場合、編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する３Ｄモデルを表示するように表示制御が行われる。
本開示の第２の側面の記録装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部とを備え、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。
本開示の第２の側面の記録方法またはプログラムは、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行うステップを含み、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。
本開示の第２の側面においては、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容が取得され、その編集内容に従い、編集データストリームを構成する編集データの付加情報に対する編集が行われ、編集が行われた編集データストリームと、その編集データストリームに対応する自由視点動画像ストリームとを、自由視点動画像コンテンツとして記録部に記録する処理が行われる。また、付加情報は、新たに配置する３Ｄモデルの優先度を、既に配置済みの他の３Ｄモデルに対して相対的に表す１ビットの値で設定する３Ｄモデルの表示の優先度を示す優先度情報、および、３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。
本開示の第３の側面の再生記録装置は、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部とを備え、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、前記表示制御部は、前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う。
本開示の第３の側面の再生記録方法またはプログラムは、自由視点動画像コンテンツを再生する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、自由視点動画像コンテンツを記録する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行うステップを含み、前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う。
本開示の第３の側面においては、自由視点動画像コンテンツを再生する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツが再生され、編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示が、編集データで設定されている付加情報を参照して制御される。一方、自由視点動画像コンテンツを記録する際に、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの編集データストリームを構成する編集データで設定されている基本情報に従って自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容が取得され、その編集内容に従い、編集データストリームを構成する編集データの付加情報に対する編集が行われ、編集が行われた編集データストリームと、その編集データストリームに対応する自由視点動画像ストリームとを、自由視点動画像コンテンツとして記録部に記録する処理が行われる。また、付加情報は、新たに配置する３Ｄモデルの優先度を、既に配置済みの他の３Ｄモデルに対して相対的に表す１ビットの値で設定する３Ｄモデルの表示の優先度を示す優先度情報、および、３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である。そして、付加情報が優先度情報である場合、優先度情報を参照して、優先度が高く設定されている３Ｄモデルが優先的に表示されるように表示制御が行われ、付加情報が視聴年齢制限情報である場合、編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する３Ｄモデルを表示するように表示制御が行われる。
本開示の一側面によれば、より適切な３Ｄモデルの表示に対応することができる。
記録再生装置の一実施の形態の構成例を示すブロック図である。 自由視点動画像コンテンツのデータ構造の一例を示す図である。 編集データに含まれる各種の情報の一例を示す図である。 優先度情報の一例について説明する図である。 優先度情報を参照した３Ｄモデルの表示制御について説明する図である。 自由視点動画像コンテンツを再生する再生処理を説明するフローチャートである。 優先度情報の変形例について説明する図である。 １ビットの優先度情報を用い再生処理を説明するフローチャートである。 視聴年齢制限情報を付加した編集データを示す図である。 視聴年齢制限情報を用いた再生処理を説明するフローチャートである。 自由視点動画像コンテンツを記録する記録処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜記録再生装置の構成例＞
図１は、本技術を適用した記録再生装置の一実施の形態の構成例を示すブロック図である。
図１に示すように、記録再生装置１１は、操作部１２、表示部１３、およびデータ入力部１４を接続して使用することができ、コンテンツ記録部２１、再生処理部２２、３Ｄモデル構築部２３、表示制御部２４、編集内容取得部２５、編集データ設定部２６、および記録処理部２７を備えて構成される。例えば、記録再生装置１１は、空間的な移動が可能であって様々な視点位置から任意の視線方向で見回すことが可能な自由視点動画像コンテンツを記録および再生することができる。
操作部１２は、例えば、リモートコントローラのように有線または無線により、ユーザによる操作に従った各種の操作信号を記録再生装置１１に供給する。例えば、操作部１２は、ユーザによる操作に従って、自由視点動画像コンテンツを再生する際の視線方向および視点位置を指示する操作信号や、自由視点動画像コンテンツを記録する際の編集内容を指示する操作信号などを、記録再生装置１１に供給する。
表示部１３は、記録再生装置１１により再生される動画像コンテンツを表示する。例えば、記録再生装置１１により自由視点動画像コンテンツが再生されるとき、表示部１３には、ユーザの操作に同期した視点位置から、ユーザの顔の向きに同期した視線方向の自由視点動画像が表示される。
データ入力部１４は、記録再生装置１１において記録および再生される動画像コンテンツの記録再生装置１１への入力を行う。
コンテンツ記録部２１は、データ入力部１４を介して入力される動画像コンテンツを記録する。例えば、コンテンツ記録部２１は、図２を参照して後述するような、自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを記録する。
再生処理部２２は、コンテンツ記録部２１から動画像コンテンツを読み出してデコードし、その動画像コンテンツを再生する処理を行う。また、再生処理部２２は、例えば、自由視点動画像コンテンツを再生するとき、自由視点動画像コンテンツを構成する編集データストリームを３Ｄモデル構築部２３に供給し、自由視点動画像コンテンツを構成する自由視点動画像ストリームを表示制御部２４に供給する。
３Ｄモデル構築部２３は、再生処理部２２から供給される編集データストリームを構成する編集データで設定されている基本情報（例えば、図２に示す３Ｄモデル情報、操作情報、および位置情報）に従って、記録再生装置１１において再生される自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルを構築する。例えば、３Ｄモデル構築部２３は、予め設定されているオブジェクトおよびテクスチャに従って３Ｄモデルを構築し、予め設定されている大きさや配置位置などで３Ｄモデルをレイアウトするための３Ｄモデル表示データを生成して、表示制御部２４に供給する。
表示制御部２４は、再生処理部２２から供給される自由視点動画像ストリームに従って再現される全天球の動画像により表される空間内に、３Ｄモデル構築部２３において構築された３Ｄモデルが所定のレイアウトで配置されるように表示を制御する。そして、表示制御部２４は、ユーザの操作に従った視線方向および視点位置から見える自由視点動画像を、表示部１３に供給して表示させる。さらに、表示制御部２４は、後述するように、編集データに設定されている付加情報を参照して、３Ｄモデルの表示制御を行う。
編集内容取得部２５は、記録再生装置１１に自由視点動画像コンテンツを記録する際に、ユーザの操作に従って操作部１２から供給される操作信号に基づいて、自由視点動画像コンテンツに対する編集内容を取得し、編集データ設定部２６に供給する。なお、例えば、編集内容取得部２５は、コンテンツ記録部２１に記録済みの自由視点動画像コンテンツに対する編集内容を取得してもよい。
編集データ設定部２６には、記録再生装置１１に自由視点動画像コンテンツを記録する際に、自由視点動画像コンテンツを構成する編集データストリームがデータ入力部１４を介して入力される。そして、編集データ設定部２６は、編集内容取得部２５から供給される編集内容に従い、編集データストリームを構成する編集データに対する設定（編集）を行って、編集データストリームを記録処理部２７に供給する。例えば、編集データ設定部２６は、編集データに設定される付加情報として、後述するような優先度情報や視聴年齢制限情報などを編集する。
記録処理部２７は、コンテンツ記録部２１に記録させる動画像コンテンツをエンコードし、コンテンツ記録部２１に供給する処理を行う。例えば、記録処理部２７は、記録再生装置１１に自由視点動画像コンテンツを記録する際に、自由視点動画像コンテンツを構成する自由視点動画像ストリームがデータ入力部１４を介して入力される。そして、記録処理部２７は、その自由視点動画像ストリームと、編集データ設定部２６から供給される編集データストリームとをエンコードし、自由視点動画像コンテンツとしてコンテンツ記録部２１に記録させる。
以上のように構成される記録再生装置１１は、例えば、自由視点動画像コンテンツを再生する際に、表示制御部２４において、３Ｄモデル構築部２３により構築された３Ｄモデルに対して、編集データに設定されている付加情報を参照した表示制御が行われる。これにより、記録再生装置１１は、付加情報の設定（編集）に応じて、従来よりも適切な３Ｄモデルの表示に対応することができる。
＜自由視点動画像コンテンツのデータ構造＞
図２および図３を参照して、記録再生装置１１において再生される自由視点動画像コンテンツのデータ構造について説明する。
図２に示すように、自由視点動画像コンテンツは、例えば、視線方向の変更および視点位置の移動を自由に行うことができる空間を表す全天球の動画像を再生するための自由視点動画像ストリームと、元のデータを改変することなく３Ｄモデルに対する編集を適用するための編集データストリームとにより構成される。
また、自由視点動画像コンテンツにおいて、複数の３Ｄモデルが編集可能である場合、図２に示すように、編集データストリームは、それぞれの３Ｄモデルごとの編集データの集合により構成される。一般的に、動画像データは符号化されており、例えば、一部分を編集するためには一度デコードした後に編集して再度エンコードする必要があるため、元の動画像データを改変せず編集を適応させるために、編集データが用いられる。これにより、動画像データの部分的な編集を行い易くすることができる。
編集データは、自由視点動画像コンテンツにおいて再現される空間内に配置される編集可能な３Ｄモデルに対して設定される情報により構成され、時間情報、３Ｄモデル情報、操作情報、位置情報、および付加情報を保持している。
図３には、編集データが保持している情報の一例が示されている。
時間情報には、３Ｄモデルの表示時間を示す情報として、例えば、３Ｄモデルの表示を開始する開始時刻、および、３Ｄモデルの表示を終了する終了時刻が設定される。
３Ｄモデル情報には、３Ｄモデルを示す情報として、例えば、３Ｄモデルのデータそのもの（即ち、３Ｄモデルの形状を表すオブジェクト、および、３Ｄモデルの表面の質感を表すテクスチャ）や、３Ｄモデルを識別するためのＩＤなどが設定される。
操作情報には、３Ｄモデルに対する操作を示す情報として、例えば、３Ｄモデルの回転や、３Ｄモデルの拡大または縮小、３Ｄモデルの消去、３Ｄモデルの透明度などが設定される。
位置情報には、３Ｄモデルの空間内での位置を示す情報として、例えば、３Ｄモデルの座標などが設定される。
付加情報には、例えば、自由視点動画像コンテンツにおいて再現される空間内に配置される編集可能な３Ｄモデルを表示する際に参照される付加的な情報として、例えば、優先度情報や視聴年齢制限情報などが設定される。
優先度情報は、複数の３Ｄモデルの表示を一意に行うための情報であり、例えば、図４に示すような数値により設定することができる。図４に示す例では、優先度情報の数値が大きいほど優先度が高いことを表しており、優先度情報の数値が小さいほど優先度が低いことを表している。例えば、編集データに従って複数の３Ｄモデルを配置したとき、いずれかの３Ｄモデルの表面が一致するようなレイアウトとなる場合に、優先度の高い３Ｄモデルの表面が手前側となり、優先度の低い３Ｄモデルの表面が奥側となるように表示が制御される。
なお、自由視点動画像コンテンツにおいて再現される空間における既存の３Ｄモデルの優先度情報は０に設定されている。また、複数の３Ｄモデルにおいて優先度情報の数値が同一である場合、どの３Ｄモデルを優先的に表示するかについて、優先度情報においては決定されない。
記録再生装置１１は、このようなデータ構造の編集データを用いて、自由視点動画像コンテンツにおいて再現される空間内に配置される３Ｄモデルの表示を適切に制御することができる。即ち、記録再生装置１１は、自由視点動画像ストリームそのものを変更することなく、自由視点動画像ストリームとは別に設けられる編集データストリームに対する編集を行うことで、編集作業を容易に行うことができる。そして、記録再生装置１１は、時間情報、３Ｄモデル情報、操作情報、および位置情報とともに、優先度情報を付加したデータ構造により、様々な状況に応じて、３Ｄモデルを適切に表示することができる。
図５を参照して、優先度情報を参照した３Ｄモデルの表示制御について説明する。
例えば、図５に示すような３ＤモデルＡおよび３ＤモデルＢの配置位置を編集した結果、３ＤモデルＡの表面と３ＤモデルＢの表面とが一致するようなレイアウトになった例について説明する。なお、優先度情報が用いられない場合、３ＤモデルＡの表面と３ＤモデルＢの表面とのどちらを手前側に表示するかは、一意に決定することができない。
これに対し、例えば、３ＤモデルＡの優先度が１に設定され、３ＤモデルＢの優先度が４に設定されていた場合、表示制御部２４は、それぞれの優先度情報を参照し、図５のＡに示すように、３ＤモデルＢの表面が手前側に表示されるように表示制御を行う。
また、例えば、自由視点動画像コンテンツにおいて再現される空間に、既存の３ＤモデルＡが存在しているときに、３ＤモデルＢの優先度情報が−１に設定されたとする。この場合、既存の３ＤモデルＡの優先度情報は０であり、表示制御部２４は、それぞれの優先度情報を参照し、図５のＢに示すように、３ＤモデルＡの表面が手前側に表示されるような表示制御を行うことができる。
このように、表示制御部２４は、図４に示したような数値により表される優先度情報を参照することで、複数の３Ｄモデルの表面が一致するような状況となったとしても、それぞれの３Ｄモデルを適切に表示することができる。ここで、優先度情報を数値で表し、かつ、既存の３Ｄモデルの優先度情報を０に設定することで、既に空間内に配置されている３Ｄモデルとの関係に基づいた表示制御を適切に行うことができる。
＜自由視点動画像コンテンツの再生処理＞
次に、図６は、自由視点動画像コンテンツを再生する再生処理を説明するフローチャートである。例えば、ユーザにより再生対象となる自由視点動画像コンテンツが選択されて、その再生を指示する操作が行われると再生処理が開始される。
ステップＳ１１において、再生処理部２２は、ユーザによる操作に従って、コンテンツ記録部２１から再生対象の自由視点動画像コンテンツを読み出し、その自由視点動画像コンテンツをデコードする。そして、再生処理部２２は、自由視点動画像コンテンツの再生時刻に従って、編集データストリームを３Ｄモデル構築部２３に供給するとともに、自由視点動画像ストリームを表示制御部２４に供給する。
ステップＳ１２において、３Ｄモデル構築部２３は、再生処理部２２から供給される編集データストリームの先頭から順次、編集データを取得する。
ステップＳ１３において、３Ｄモデル構築部２３は、ステップＳ１２で取得した編集データの３Ｄモデル情報に従って、オブジェクトおよびテクスチャに基づいた３Ｄモデルを構築する。
ステップＳ１４において、３Ｄモデル構築部２３は、ステップＳ１２で取得した編集データの操作情報および位置情報に従って、ステップＳ１３で構築した３Ｄモデルの大きさや配置位置などのレイアウトを決定し、３Ｄモデルを表示するための３Ｄモデル表示データを生成する。
ステップＳ１５において、３Ｄモデル構築部２３は、３Ｄモデル表示データが生成済みとなっている３Ｄモデルの編集データの時間情報に従って、自由視点動画像コンテンツの再生時刻が、３Ｄモデルを表示する表示時刻になったか否かを判定する。
ステップＳ１５において、３Ｄモデル構築部２３が、自由視点動画像コンテンツの再生時刻が３Ｄモデルを表示する表示時刻になっていないと判定した場合、処理はステップＳ１６およびＳ１７をスキップして、ステップＳ１８に進む。即ち、この場合、直前のステップＳ１４で３Ｄモデル表示データが生成された３Ｄモデルの表示は行われず、その３Ｄモデルの表示時刻となるまで表示が待機されることになる。
一方、ステップＳ１５において、３Ｄモデル構築部２３が、自由視点動画像コンテンツの再生時刻が、３Ｄモデルを表示する表示時刻になったと判定した場合、処理はステップＳ１６に進む。
ステップＳ１６において、３Ｄモデル構築部２３は、表示時刻になったと判定された３Ｄモデルの３Ｄモデル表示データとともに、その３Ｄモデルの編集データに設定されている優先度情報を表示制御部２４に供給する。これにより、表示制御部２４は、３Ｄモデル表示データおよび優先度情報を取得する。
ステップＳ１７において、表示制御部２４は、ステップＳ１６で取得した優先度情報を参照し、３Ｄモデル表示データに基づいた３Ｄモデルの表示制御を行う。即ち、表示制御部２４は、例えば、表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、それぞれの優先度情報を参照し、優先度が高い方の３Ｄモデルの表面が手前側に表示されるように表示制御を行う。
ステップＳ１８において、表示制御部２４は、ステップＳ１１で再生処理部２２から供給される自由視点動画像ストリームに基づいて自由視点動画像を生成し、表示部１３に供給して表示させる。このとき、表示制御部２４は、ステップＳ１５において表示時刻になったと判定された３Ｄモデルを、３Ｄモデル表示データに従って新たに配置した自由視点動画像を生成する。なお、表示制御部２４は、ステップＳ１５において表示時刻になったと判定された３Ｄモデルがない場合には、新たに配置される３Ｄモデルのない自由視点動画像を生成する。
ステップＳ１８の処理後、処理はステップＳ１１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
以上のように、記録再生装置１１は、優先度情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。
＜優先度情報の変形例＞
図７を参照して、優先度情報の変形例について説明する。
例えば、優先度情報は、上述の図４に示したような数値を用いて設定する他、新たに配置される３Ｄモデルの表示時刻において、既に配置されている３Ｄモデルと比較する１ビットの値により設定することができる。
即ち、図７に示すように、１ビットの優先度情報が０である場合、新たに配置される３Ｄモデルは、既存の３Ｄモデルより優先して手前側に表示されることを指定する。また、１ビットの優先度情報が１である場合、新たに配置される３Ｄモデルは、既存の３Ｄモデルを優先して奥側に表示されることを指定する。従って、表示制御部２４は、３Ｄモデルを表示する順番と、それまでに表示されている３Ｄモデルとの相対的な優先度に基づいて、３Ｄモデルの表示制御を行うことができる。
例えば、上述の図５を参照して説明する。例えば、３ＤモデルＡが先に表示され、３ＤモデルＢが後に表示される順番である場合、３ＤモデルＢの優先度情報が０に設定されているとき、表示制御部２４は、図５のＡに示すように、３ＤモデルＢの表面が手前側に表示されるように表示制御を行う。
また、例えば、自由視点動画像コンテンツにおいて再現される空間における既存の３ＤモデルＡが存在している場合に、３ＤモデルＢの優先度情報が１に設定されているとき、表示制御部２４は、図５のＢに示すように、３ＤモデルＡの表面が手前側に表示されるように表示制御を行う。
このように、優先度情報を１ビットで表すことによってデータ量を削減することができるとともに、既存の３Ｄモデルとの相対的な優先度に基づいて、３Ｄモデルの表示制御を容易に行うことができる。従って、１ビットの優先度情報は、３Ｄモデルが複雑に存在していないような自由視点動画像コンテンツに適用することが好適である。
このような１ビットの値で表される優先度情報を用いた再生処理について、図８のフローチャートを参照して説明する。
図８のフローチャートに示すステップＳ２１からステップＳ２６までの処理は、上述の図６を参照して説明したフローチャートのステップＳ１１からステップＳ１６までの処理と同様に行われる。
ステップＳ２７において、表示制御部２４は、ステップＳ２６で取得した１ビットの優先度情報が、１および０のどちらであるかを判定する。
ステップＳ２７において、表示制御部２４が、１ビットの優先度情報が０であると判定した場合、処理はステップＳ２８に進む。ステップＳ２８において、表示制御部２４は、ステップＳ２５で表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、新たに配置する３Ｄモデルの表示を優先し、その３Ｄモデルの表面が手前側に表示されるように表示制御を行う。
一方、ステップＳ２７において、表示制御部２４が、１ビットの優先度情報が１であると判定した場合、処理はステップＳ２９に進む。ステップＳ２９において、表示制御部２４は、ステップＳ２５で表示時刻になったと判定された３Ｄモデルの表面が、既に配置されている他の３Ｄモデルの表面と一致する場合、他の３Ｄモデルの表示を優先させ、他の３Ｄモデルの表面が手前側に表示されるように表示制御を行う。即ち、この場合、新たに配置する３Ｄモデルの表面は奥側に表示されることになる。
ステップＳ２８またはＳ２９の処理後、処理はステップＳ３０に進み、図６のフローチャートのステップＳ１８と同様の処理が行われる。その後、処理はステップＳ２１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
以上のように、記録再生装置１１は、１ビットの値で表される優先度情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。
＜付加情報の他の例＞
ところで、付加情報は、上述したような優先度情報の他、自由視点動画像コンテンツにおいて再現される空間内に配置される３Ｄモデルを表示する際に参照される様々な情報を設定することができる。
例えば、図９に示すように、付加情報として、優先度情報に加えて、３Ｄモデルごとに視聴年齢制限を設けるための視聴年齢制限情報を設定することができる。例えば、編集データには、時間情報が設定されており、さらに付加情報として視聴年齢制限情報を設定することで、自由視点動画像コンテンツを部分的に、視聴年齢制限情報に従って表示または非表示にすることができる。
例えば、表示制御部２４は、編集データに設定されている視聴年齢制限情報が、記録再生装置１１に対して予め設定されている視聴年齢制限情報以下である場合、その編集データの３Ｄモデルを表示するように表示制御を行う。また、表示制御部２４は、編集データに視聴年齢制限情報が設定されていない場合には、その編集データの３Ｄモデルを常に表示するように表示制御を行う。
ここで、視聴年齢制限情報は、視聴してもよい最小の年齢の数値情報が含まれており、例えば、この数値情報が２０に設定されている場合、２０歳以上は視聴しても良いことを示している。また、視聴年齢制限情報が設定されている編集データでは、既存のデータより優先表示する（上書きする）使い方をする場合は、上述した優先度情報を用いることができる。例えば、図４に示したように数値で設定される優先度情報を用いる場合は、優先度情報に０より大きな値を設定する。さらに、編集データごとに、複数の視聴年齢制限情報を設定してもよく、例えば、年齢が大きくなるほど優先度情報を大きくすることで、一番大きな年齢のデータが最も優先されるような表示制御を行うことができる。また、図７に示したように１ビットの優先度情報を用いる場合には、優先度情報に０を設定し、年齢が大きくなる順に編集データを編集データストリーム中に格納しておくことで、適切な表示制御を行うことができる。
このような視聴年齢制限情報を用いた再生処理について、図１０のフローチャートを参照して説明する。
図１０のフローチャートに示すステップＳ４１およびステップＳ４２の処理は、図６を参照して上述した再生処理のフローチャートのステップＳ１１およびステップＳ１２の処理と同様に行われる。
ステップＳ４３において、３Ｄモデル構築部２３は、ステップＳ４２で取得した編集データの３Ｄモデルに対して視聴年齢制限情報が設定されているか否かを判定する。
ステップＳ４３において、３Ｄモデル構築部２３が、視聴年齢制限情報が設定されていると判定した場合、処理はステップＳ４４に進む。
ステップＳ４４において、３Ｄモデル構築部２３は、記録再生装置１１に設定されている視聴年齢制限情報を、例えば、記録再生装置１１の各種設定を記憶しているメモリから読み出して取得する。
ステップＳ４５において、３Ｄモデル構築部２３は、編集データの３Ｄモデルに対して設定されていた視聴年齢制限情報が、記録再生装置１１から取得した視聴年齢制限情報以下であるか否かを判定する。
ステップＳ４５において、３Ｄモデル構築部２３が、３Ｄモデルの視聴年齢制限情報が、記録再生装置１１の聴年齢制限情報以下でないと判定した場合、処理はステップＳ４６乃至Ｓ５０をスキップして、ステップＳ５１に進む。即ち、この場合、記録再生装置１１において３Ｄモデルを表示することは適していないと判断することができ、その３Ｄモデルの３Ｄモデル表示データは生成されないことになる。
一方、３Ｄモデル構築部２３が、３Ｄモデルの視聴年齢制限情報が、記録再生装置１１の聴年齢制限情報以下であると判定した場合、記録再生装置１１において３Ｄモデルを表示することは適していると判断することができ、処理はステップＳ４６に進む。また、ステップＳ４３において、３Ｄモデル構築部２３が、視聴年齢制限情報が設定されていないと判定した場合にも、処理はステップＳ４６に進む。
ステップＳ４６からステップＳ５１までの処理は、上述の図６を参照して説明したフローチャートのステップＳ１３からステップＳ１８までの処理と同様に行われる。その後、処理はステップＳ４１に戻り、自由視点動画像コンテンツの再生が終了するまで、以下、同様の処理が繰り返して行われる。
以上のように、記録再生装置１１は、視聴年齢制限情報を参照して３Ｄモデルの表示制御を行う再生処理によって、３Ｄモデルの表示を適切に行うことができる。即ち、記録再生装置１１は、自由視点動画像コンテンツを構成する一部の３Ｄモデルだけ年齢制限を適用させることができ、記録再生装置１１に設定されている視聴年齢制限情報に従った３Ｄモデルの表示制御を行うことができる。
なお、例えば、視聴年齢制限情報は、自由視点動画像コンテンツの映像データへの適用に限定されることなく、例えば、音声データへも適用させることができる。即ち、自由視点動画像コンテンツでは、映像データに対応する音声データもオブジェクト化されており、３Ｄモデルと同様に、自由視点動画像コンテンツにおいて再現される空間内に配置されている。従って、音声データストリームに対応する音声編集データストリームを構成する編集データにおいて、それぞれの音声データに視聴年齢制限情報を付加することで、視聴年齢制限情報に従った音声の出力制御を行うことができる。これにより、例えば、記録再生装置１１は、音声データの視聴年齢制限情報が記録再生装置１１に設定されている視聴年齢制限情報以下である場合のみ、音声を出力することができる。
以上のように、記録再生装置１１は、編集データに設定されている付加情報を参照した表示制御を行うことができ、例えば、特定の３Ｄモデルに別の３Ｄモデルを重ねて配置することを編集データストリームとして伝送することができる。これにより、記録再生装置１１では、例えば、一部の３Ｄモデルの表面を広告に差し替えたり、現在と過去とで異なる表面（例えば、建物が建て替わったこと）を再現したりすることができる。また、記録再生装置１１は、編集データに対する編集の前後を容易に見比べることができる。
また、記録再生装置１１は、部分的な不都合を理由として全体に対して年齢制限が設定されていた自由視点動画像コンテンツについて、その不都合な部分だけに年齢制限を設定して、自由視点動画像コンテンツ自体の再生が制限されることを回避することができる。これにより、記録再生装置１１を利用することで、広範囲な年齢に対して体験可能な自由視点動画像コンテンツの提供が可能となる。また、記録再生装置１１は、音声データについても同様に、一部分の音声だけに年齢制限を適用することができる。
＜自由視点動画像コンテンツの記録処理＞
次に、図１１は、自由視点動画像コンテンツを記録する記録処理を説明するフローチャートである。例えば、ユーザの操作に従って、記録再生装置１１に記録させる自由視点動画像コンテンツがデータ入力部１４に入力されると記録処理が開始される。
ステップＳ６１において、編集内容取得部２５は、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われたか否かを判定する。例えば、ユーザが操作部１２を操作して所定の３Ｄモデルに対する編集を行い、その操作に従った操作信号が操作部１２から供給されると、編集内容取得部２５は、３Ｄモデルに対する編集が行われたと判定する。
ステップＳ６１において、編集内容取得部２５が、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われたと判定した場合、処理はステップＳ６２に進む。ステップＳ６２において、編集内容取得部２５は、操作部１２から供給された操作信号に基づいて、ユーザが自由視点動画像コンテンツを構成する３Ｄモデルに対して行った編集内容を取得して、編集データ設定部２６に供給する。例えば、編集内容取得部２５は、付加情報に対する編集内容を取得して、編集データ設定部２６に供給する。
一方、ステップＳ６１において、編集内容取得部２５が、自由視点動画像コンテンツを構成する３Ｄモデルに対する編集が行われなかったと判定した場合、処理はステップＳ６２をスキップして、ステップＳ６３に進む。
ステップＳ６３において、編集データ設定部２６は、データ入力部１４を介して入力される編集データストリームの先頭から順次、編集データを取得する。そして、編集データ設定部２６は、編集内容取得部２５から編集内容が供給された３Ｄモデルに対応する編集データに対し、その編集内容に従った編集を行って、記録処理部２７に供給する。例えば、編集データ設定部２６は、編集データの付加情報に対する編集を行って、記録処理部２７に供給する。なお、編集データ設定部２６は、編集内容取得部２５から編集内容が供給されなかった３Ｄモデルに対応する編集データについては、そのまま記録処理部２７に供給する。
ステップＳ６４において、記録処理部２７は、ステップＳ６３において編集データ設定部２６から供給される編集データにより構成される編集データストリームと、その編集データストリームに対応してデータ入力部１４を介して入力される自由視点動画像ストリームとをエンコードし、自由視点動画像コンテンツとしてコンテンツ記録部２１に記録する。
ステップＳ６４の処理後、処理はステップＳ６１に戻り、自由視点動画像コンテンツを構成する全ての自由視点動画像ストリームおよび編集データストリームの入力が終了するまで、以下、同様の処理が繰り返して行われる。
以上のように、記録再生装置１１は、自由視点動画像ストリームのデータを変更することなく、ユーザによる３Ｄモデルに対する編集を編集データストリームに反映させて、自由視点動画像コンテンツを記録することができる。
なお、本実施の形態では、自由視点動画像コンテンツの再生処理および記録処理の両方を行うことができる記録再生装置１１について説明したが、例えば、再生装置と記録装置とで独立した構成となっていてもよい。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（再生方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
（１）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と
を備える再生装置。
（２）
前記付加情報は、前記３Ｄモデルの表示の優先度を示す優先度情報であり、
前記表示制御部は、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行う
上記（１）に記載の再生装置。
（３）
前記表示制御部は、複数の前記３Ｄモデルの表面が一致している場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルの表面が手前に表示されるように表示制御を行う
上記（２）に記載の再生装置。
（４）
前記優先度情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する
上記（２）または（３）に記載の再生装置。
（５）
前記付加情報は、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報であり、
前記表示制御部は、前記編集データで設定されている視聴年齢制限情報が、前記再生装置に予め設定されている視聴年齢制限情報以下である場合、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
上記（１）から（４）までのいずれかに記載の再生装置。
（６）
前記自由視点動画像コンテンツは音声データストリームおよび音声編集データストリームを有して構成されており、
前記音声編集データを構成する編集データに設定されている前記視聴年齢制限情報に従って、その編集データに対応する音声データの出力が制御される
上記（５）に記載の再生装置。
（７）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
ステップを含む再生方法。
（８）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
ステップを含む再生処理をコンピュータに実行させるプログラム。
（９）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
を備える記録装置。
（１０）
前記記録装置に前記自由視点動画像コンテンツを記録する際に、前記編集データ設定部に前記編集データストリームが入力されるとともに、前記記録処理部に自由視点動画像ストリームが入力され、
前記編集データ設定部は、ユーザの操作に従って前記編集内容取得部が取得した編集内容に基づいて前記編集データに対する編集を行う
上記（９）に記載の記録装置。
（１１）
前記編集データ設定部は、前記編集データの付加情報として、前記３Ｄモデルの表示の優先度を示す優先度情報を設定する
上記（９）または（１０）に記載の記録装置。
（１２）
前記編集データ設定部は、前記編集データの付加情報として、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報を設定する
上記（９）から（１１）までのいずれかに記載の記録装置。
（１３）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含む記録方法。
（１４）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含む記録処理をコンピュータに実行させるプログラム。
（１５）
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
を備える再生記録装置。
（１６）
自由視点動画像コンテンツを再生する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
自由視点動画像コンテンツを記録する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含む再生記録方法。
（１７）
自由視点動画像コンテンツを再生する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
自由視点動画像コンテンツを記録する際に、
自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
ステップを含む再生記録処理をコンピュータに実行させるプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 記録再生装置， １２ 操作部， １３ 表示部， １４ データ入力部， ２１ コンテンツ記録部， ２２ 再生処理部， ２３ ３Ｄモデル構築部， ２４ 表示制御部， ２５ 編集内容取得部， ２６ 編集データ設定部， ２７ 記録処理部

Claims (12)

  1. 自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
    前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と
    を備え、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
    前記表示制御部は、
    前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
    前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
    再生装置。
  2. 前記表示制御部は、前記付加情報が前記優先度情報である場合、かつ、複数の前記３Ｄモデルの表面が一致している場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルの表面が手前に表示されるように表示制御を行う
    請求項１に記載の再生装置。
  3. 前記自由視点動画像コンテンツは音声データストリームおよび音声編集データストリームを有して構成されており、
    前記付加情報が前記視聴年齢制限情報である場合、前記音声編集データストリームを構成する編集データに設定されている前記視聴年齢制限情報に従って、その編集データに対応する音声データの出力が制御される
    請求項１に記載の再生装置。
  4. 自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
    前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
    ステップを含み、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
    前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
    前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
    再生方法。
  5. 自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
    前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する
    ステップを含み、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
    前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
    前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
    再生処理をコンピュータに実行させるプログラム。
  6. 自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
    前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
    前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
    を備え、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である
    記録装置。
  7. 前記記録装置に前記自由視点動画像コンテンツを記録する際に、前記編集データ設定部に前記編集データストリームが入力されるとともに、前記記録処理部に自由視点動画像ストリームが入力され、
    前記編集データ設定部は、ユーザの操作に従って前記編集内容取得部が取得した編集内容に基づいて前記編集データに対する編集を行う
    請求項６に記載の記録装置。
  8. 自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
    取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
    編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
    ステップを含み、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である
    記録方法。
  9. 自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
    取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
    編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
    ステップを含み、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方である
    記録処理をコンピュータに実行させるプログラム。
  10. 自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生する再生処理部と、
    前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御する表示制御部と、
    自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得する編集内容取得部と、
    前記編集内容取得部が取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行う編集データ設定部と、
    前記編集データ設定部により編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う記録処理部と
    を備え、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
    前記表示制御部は、
    前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
    前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
    再生記録装置。
  11. 自由視点動画像コンテンツを再生する際に、
    自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
    前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
    自由視点動画像コンテンツを記録する際に、
    自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
    取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
    編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
    ステップを含み、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
    前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
    前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
    再生記録方法。
  12. 自由視点動画像コンテンツを再生する際に、
    自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツを再生し、
    前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を、前記編集データで設定されている付加情報を参照して制御し、
    自由視点動画像コンテンツを記録する際に、
    自由視点動画像ストリームおよび編集データストリームから構成される自由視点動画像コンテンツの前記編集データストリームを構成する編集データで設定されている基本情報に従って前記自由視点動画像ストリームにより再現される空間内に配置される３Ｄモデルの表示を制御する際に参照される付加情報に対する編集内容を取得し、
    取得した編集内容に従い、前記編集データストリームを構成する前記編集データの付加情報に対する編集を行い、
    編集が行われた前記編集データストリームと、その編集データストリームに対応する前記自由視点動画像ストリームとを、前記自由視点動画像コンテンツとして記録部に記録する処理を行う
    ステップを含み、
    前記付加情報は、新たに配置する前記３Ｄモデルの優先度を、既に配置済みの他の前記３Ｄモデルに対して相対的に表す１ビットの値で設定する前記３Ｄモデルの表示の優先度を示す優先度情報、および、前記３Ｄモデルの表示を制限する年齢を示す視聴年齢制限情報のうちの、いずれか一方であり、
    前記付加情報が前記優先度情報である場合、前記優先度情報を参照して、優先度が高く設定されている前記３Ｄモデルが優先的に表示されるように表示制御を行い、
    前記付加情報が前記視聴年齢制限情報である場合、前記編集データで設定されている視聴年齢制限情報が、再生装置に予め設定されている視聴年齢制限情報以下であれば、その編集データに対応する前記３Ｄモデルを表示するように表示制御を行う
    再生記録処理をコンピュータに実行させるプログラム。
JP2018543838A 2016-10-06 2017-09-22 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム Active JP6988813B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016198250 2016-10-06
JP2016198250 2016-10-06
PCT/JP2017/034238 WO2018066382A1 (ja) 2016-10-06 2017-09-22 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018066382A1 JPWO2018066382A1 (ja) 2019-07-18
JP6988813B2 true JP6988813B2 (ja) 2022-01-05

Family

ID=61831004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018543838A Active JP6988813B2 (ja) 2016-10-06 2017-09-22 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11398077B2 (ja)
JP (1) JP6988813B2 (ja)
CN (1) CN109791707B (ja)
WO (1) WO2018066382A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7297439B2 (ja) * 2018-12-19 2023-06-26 キヤノン株式会社 ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム
WO2021006047A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
WO2021014775A1 (ja) * 2019-07-19 2021-01-28 富士フイルム株式会社 画像表示装置、方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4088274B2 (ja) 2004-06-28 2008-05-21 株式会社東芝 メタデータの構造及びその編集方法
US8683386B2 (en) * 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
CN102067591B (zh) 2008-06-26 2014-03-19 松下电器产业株式会社 再现装置、记录装置、再现方法及记录方法
JP4957831B2 (ja) * 2009-08-18 2012-06-20 ソニー株式会社 再生装置および再生方法、並びに記録装置および記録方法
US20130113879A1 (en) * 2011-11-04 2013-05-09 Comcast Cable Communications, Llc Multi-Depth Adaptation For Video Content
JP5295416B1 (ja) * 2012-08-01 2013-09-18 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10314559B2 (en) * 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
JP6161348B2 (ja) 2013-03-21 2017-07-12 株式会社ジオ技術研究所 立体視画像データ生成装置
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
US9836845B2 (en) * 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US20170286993A1 (en) * 2016-03-31 2017-10-05 Verizon Patent And Licensing Inc. Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World

Also Published As

Publication number Publication date
CN109791707B (zh) 2023-05-26
US11398077B2 (en) 2022-07-26
US20210287432A1 (en) 2021-09-16
WO2018066382A1 (ja) 2018-04-12
CN109791707A (zh) 2019-05-21
JPWO2018066382A1 (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
US11410704B2 (en) Generation and use of user-selected scenes playlist from distributed digital content
JP4274087B2 (ja) 情報処理装置および方法、並びにプログラム
JP6988813B2 (ja) 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
JP4257607B2 (ja) 情報処理装置および方法、並びにプログラム
CN102227913A (zh) 内容再生装置、再生方法、程序以及记录介质
US20060126088A1 (en) Information processing apparatus and method, and program
JP5381297B2 (ja) 情報処理装置及び編集方法
KR20070098362A (ko) 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법
US9620167B2 (en) Broadcast-quality graphics creation and playout
US8719864B2 (en) Multiple-resolution audio and video systems, methods of production, delivery and uses thereof
JP2010074258A (ja) 表示装置及び表示方法
JP6996511B2 (ja) 再生装置および再生方法、並びにプログラム
JP4333532B2 (ja) 再生装置
JP2008112495A (ja) 記録再生装置
JP5111422B2 (ja) コンテンツ制作システム及びコンテンツ制作プログラム
JP2006086621A (ja) 情報処理装置および方法、並びにプログラム
JP2004343472A (ja) 再生情報ファイル生成プログラム
JP2004328185A (ja) 再生情報ファイル生成プログラム
JP2004147202A (ja) Ｄｖｄ記録再生装置
JP2009017385A (ja) 動画像生成装置、動画像生成方法、及び動画像生成プログラム
JP2015185195A (ja) 音響・映像機器の再生制御装置
JP2021067845A (ja) 音声再生システムおよびプログラム
CN117544893A (zh) 音频调节方法、装置、电子设备和可读存储介质
JP4563099B2 (ja) 動画再生装置および動画再生情報生成装置
JP2009290484A (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R151 Written notification of patent or utility model registration

Ref document number: 6988813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151