JPWO2016084592A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JPWO2016084592A1
JPWO2016084592A1 JP2016561483A JP2016561483A JPWO2016084592A1 JP WO2016084592 A1 JPWO2016084592 A1 JP WO2016084592A1 JP 2016561483 A JP2016561483 A JP 2016561483A JP 2016561483 A JP2016561483 A JP 2016561483A JP WO2016084592 A1 JPWO2016084592 A1 JP WO2016084592A1
Authority
JP
Japan
Prior art keywords
view
stream
video
information
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016561483A
Other languages
English (en)
Other versions
JP6624068B2 (ja
Inventor
高橋　和幸
和幸 高橋
北里　直久
直久 北里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016084592A1 publication Critical patent/JPWO2016084592A1/ja
Application granted granted Critical
Publication of JP6624068B2 publication Critical patent/JP6624068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Otolaryngology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

受信側でビュー切り替えを行う場合であっても３Ｄオーディオレンダリングを正しく行い得るようにする。第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよびこのオブジェクト音源の第１のビューを基準とする位置情報を持つオーディオストリームを生成する。第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームと、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、ビデオストリームと共にオブジェクト音源のオーディオデータおよび位置情報を持つオーディオストリームを送信する送信装置等に関する。
従来、立体（３Ｄ）音響技術として、オブジェクト音源のオーディオデータをその位置情報に基づいて任意の位置に存在するスピーカにマッピングする３Ｄオーディオレンダリングの技術が提案されている（例えば、特許文献１参照）。
特表２０１４−５２０４９１号公報
上述したオブジェクト音源の位置情報は、一つのビューを基準としている。同じコンテンツに対して複数のビューを撮影する場合、使用するカメラの位置や方向は、カメラごとに異なる。そのため、受信側でビューを切り替える場合、基準としたビュー以外では、３Ｄオーディオレンダリングを正しく行うことができなくなる。
本技術の目的は、受信側でビュー切り替えを行う場合であっても３Ｄオーディオレンダリングを正しく行い得るようにすることにある。
本技術の概念は、
第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコード部と、
上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信部とを備える
送信装置にある。
本技術において、エンコード部により、第１のビューのビデオデータを持つ第１のビデオストリームおよび第２のビューのビデオデータを持つ第２のビデオストリームと共に、オーディオストリームが生成される。このオーディオストリームは、オブジェクト音源のオーディオデータおよびこのオブジェクト音源の第１のビューを基準とする位置情報を持つものである。
送信部により、第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームと、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナが送信される。例えば、位置補正情報は、第１のビューと第２のビューの位置および方向の差分成分である、ようにされてもよい。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
例えば、位置補正情報は、オーディオストリームのレイヤに挿入される、ようにされてもよい。この場合、オブジェクト音源のオーディオデータおよび位置情報と位置補正情報との同期が保証される。この場合、例えば、位置補正情報は、位置情報が含まれるメタデータ領域に挿入される、ようにされてもよい。また、この場合、例えば、位置補正情報は、ユーザデータ領域に挿入される、ようにされてもよい。
また、この場合、例えば、第２のビューが複数であるとき、オーディオストリームのレイヤに、複数の第２のビューに対応して複数の位置補正情報が挿入され、コンテナのレイヤに、複数の位置補正情報のそれぞれが対応する第２のビデオストリームを示す情報が挿入される、ようにされてもよい。
また、例えば、位置補正情報は、第２のビデオストリームのレイヤに挿入される、ようにされてもよい。この場合、位置補正情報と第２のビデオストリームとの対応付けが容易となる。この場合、例えば、位置補正情報は、ユーザデータ領域に挿入される、ようにされてもよい。
また、例えば、位置補正情報は、コンテナのレイヤに挿入される、ようにされてもよい。この場合、例えば、位置補正情報は、シグナリング情報として挿入される、ようにされてもよい。この場合、受信側では、システムのレイヤで位置補正情報を得ることが可能となる。
この場合、コンテナは、ＭＰＥＧ２―ＴＳであり、位置補正情報は、プログラムマップテーブルの第２のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入される、ようにされてもよい。
また、この場合、位置補正情報を含む情報ストリームが挿入される、ようにされてもよい。この場合、受信側では、オーディオストリームやビデオストリームとは独立した情報ストリームから位置補正情報を容易に取得可能となる。
このように本技術においては、第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームと共に、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報が送信されるものである。そのため、受信側で第２のビューに切り替えを行う場合、オブジェクト音源の位置情報としてこの位置補正情報で第２のビューを基準とするように補正されたものを用いることができ、３Ｄオーディオレンダリングを正しく行い得るようになる。
また、本技術の他の概念は、
第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信部と、
上記コンテナに含まれる情報を処理する処理部とを備える
受信装置にある。
本技術において、受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよびこのオブジェクト音源の第１のビューを基準とする位置情報を持つオーディオストリームと共に、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナが受信される。そして、処理部により、コンテナに含まれる情報が処理される。
例えば、処理部は、第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームから、第１のビューのビデオデータ、第２のビューのビデオデータ、オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、第１のビューのビデオデータまたは第２のビューのビデオデータを選択的に出力するセレクタと、オブジェクト音源のオーディオデータをオブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを有し、レンダリング部は、セレクタで第２のビューのビデオデータが選択されるとき位置補正情報に基づいて第２のビューを基準とするように補正された位置情報を用いる、ようにされてもよい。
このように本技術においては、例えば、第２のビューのビデオデータが選択されるとき、位置補正情報に基づいて第２のビューを基準とするように補正された位置情報が用いられてレンダリングが行われる。そのため、ビュー切り替えが行われる場合であっても、３Ｄオーディオレンダリングを正しく行い得るようになる。
また、本技術の他の概念は、
第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信部と、
上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得部と、
上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを備え、
上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
受信装置にある。
本技術において、受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよびこのオブジェクト音源の第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナが受信される。
取得部により、オブジェクト音源の位置情報を第２のビューを基準とする位置情報に補正するための位置補正情報が取得される。例えば、取得部は、位置補正情報を、オーディオストリームのレイヤ、第２のビデオストリームのレイヤあるいはコンテナのレイヤから取得する、ようにされてもよい。また、例えば、取得部は、位置補正情報を、ネットワーク上のサーバから取得する、ようにされてもよい。
デコード部により、第１のビデオストリーム、第２のビデオストリームおよびオーディオストリームから、第１のビューのビデオデータ、第２のビューのビデオデータ、オブジェクト音源のオーディオデータおよび位置情報が得られる。セレクタにより、第１のビューのビデオデータまたは第２のビューのビデオデータが選択的に出力される。
レンダリング部により、オブジェクト音源のオーディオデータがオブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングされる。このレンダリング部では、セレクタで第２のビューのビデオデータが選択されるとき、位置補正情報に基づいて第２のビューを基準とするように補正された位置情報が用いられる。
このように本技術においては、第２のビューのビデオデータが選択されるとき、位置補正情報に基づいて第２のビューを基準とするように補正された位置情報が用いられてレンダリングが行われる。そのため、ビュー切り替えが行われる場合であっても、３Ｄオーディオレンダリングを正しく行い得るようになる。
本技術によれば、受信側でビュー切り替えを行う場合であっても３Ｄオーディオレンダリングを正しく行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 カメラによるビュー（映像）撮影とマイクロホンによる音声聴取の想定される状況の一例を示す図である。 ビュー１（View1）とオブジェクト音源の位置関係を示す図である。 ビュー２（View2）とオブジェクト音源の位置関係を示す図である。 オブジェクト音源の位置情報ｓ（ｒ，θ，φ）を補正（変換）するための変換式の一例を示す図である。 送信装置の構成例を示すブロック図である。 ＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏのオーディオフレームの構造を説明するための図である。 オブジェクトメタデータ（object_metadata()）の構成例などを示す図である。 マルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）の構成例（Syntax）を示す図である。 構成情報「userdataConfig()」の構成例を示す図である。 コンポーネント・グループ・デスクリプタ（component_group_descriptor）の構造例を示す図である。 差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入される場合におけるトランスポートストリームＴＳの構成例を示す図である。 ビデオシーケンス（Video_sequence）の構成例を示す図である。 ユーザデータの構成例などを示す図である。 マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）の構成例を示す図である。 ＭＰＥＧ４−ＡＶＣやＨＥＶＣにおけるユーザデータＳＥＩの構成例などを示す図である。 差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入される場合におけるトランスポートストリームＴＳの構成例を示す図である。 マルチビュー・ポジション・インフォメーション・デスクリプタの構成例を示す図である。 差分成分ＶＰ２，ＶＰ３がコンテナ（システム）のレイヤにシグナリングとして挿入される場合におけるトランスポートストリームＴＳの構成例を示す図である。 送信装置の他の構成例を示すブロック図である。 位置補正情報ストリーム（エレメンタリストリーム）の構成例を示す図である。 差分成分ＶＰ２，ＶＰ３が位置補正情報ストリームとして挿入される場合におけるトランスポートストリームＴＳの構成例を示す図である。 位置補正情報の伝送方式をまとめて示す図である。 受信装置の構成例を示すブロック図である。 受信装置の他の構成例を示すブロック図である。 受信装置の他の構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システムの構成例］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と受信装置２００により構成されている。送信装置１００は、トランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて送信する。
このトランスポートストリームＴＳは、複数のビューのビデオデータをそれぞれ持つ複数のビデオストリームと、一つまたは複数のオブジェクト音源のオーディオデータおよび位置情報を持つオーディオストリームを有している。図２は、カメラによるビュー（映像）撮影とマイクロホンによる音声聴取の想定される状況の一例を示している。この実施の形態において、トランスポートストリームＴＳには、この想定状況に対応したビデオストリームおよびオーディオストリームが含まれるものとする。
すなわち、トランスポートストリームＴＳには、カメラ１１で撮影されて得られたビュー１（View1）のビデオデータＳＶ１を持つビデオストリームと、カメラ１２で撮影されて得られたビュー２（View2）のビデオデータＳＶ２を持つビデオストリームと、カメラ１３で撮影されて得られたビュー３（View3）のビデオデータＳＶ３を持つビデオストリームが含まれる。
また、トランスポートストリームＴＳには、１つのオーディオストリームが含まれる。このオーディオストリームには、マイクロホン２１で得られたオーディオデータ（オブジェクト音源１（Object1）のオーディオデータ）と、このマイクロホン２１のビュー１を基準とする位置情報（オブジェクト音源１の位置情報）が含まれる。また、このオーディオストリームには、マイクロホン２２で得られたオーディオデータ（オブジェクト音源２（Object2）のオーディオデータ）と、このマイクロホン２２のビュー１を基準とする位置の情報（オブジェクト音源２の位置情報）が含まれる。
また、このトランスポートストリームＴＳは、ビュー１とビュー２の位置および方向の差分成分を有している。この差分成分は、各オブジェクト音源の位置情報を、ビュー２を基準とする位置情報に補正するための位置補正情報を構成する。また、トランスポートストリームＴＳは、ビュー１とビュー３の位置および方向の差分成分を有している。この差分成分は、各オブジェクト音源の位置情報を、ビュー３を基準とする位置情報に補正するための位置補正情報を構成する。これらの差分成分は、オーディオストリームのレイヤ、あるいは第２のビューを構成するビュー２、ビュー３のビデオストリームのレイヤ、あるいはコンテナのレイヤに挿入される。
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、ビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームと、オブジェクト音源１およびオブジェクト音源２のオーディオデータおよび位置情報を持つ１つのオーディオストリームを有している。
また、このトランスポートストリームＴＳは、各オブジェクト音源の位置情報を、ビュー２を基準とする位置情報に補正するための位置補正情報として、ビュー１とビュー２の位置および方向の差分成分を有している。また、このトランスポートストリームＴＳは、各オブジェクト音源の位置情報を、ビュー３を基準とする位置情報に補正するための位置補正情報として、ビュー１とビュー３の位置および方向の差分成分を有している。
受信装置２００は、ビュー１、ビュー２、ビュー３のビデオデータによる画像を選択的に提示する。また、受信装置２００は、オブジェクト音源のオーディオデータをオブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリングを行って、音声再生をする。この際、ビュー２やビュー３が選択される場合には、差分成分により補正された位置情報が用いられ、レンダリングが正しく行い得るようにされる。
すなわち、ビュー２が選択されるとき、ビュー１とビュー２の位置および方向の差分成分に基づいて第２のビューを基準とするように補正された位置情報が用いられる。また、ビュー３が選択されるとき、ビュー１とビュー３の位置および方向の差分成分に基づいて第３のビューを基準とするように補正された位置情報が用いられる。
図３は、ビュー１（View1）とオブジェクト音源の位置の関係を示している。オブジェクト音源の位置は、ビュー１を基準として、極座標ｓ（ｒ，θ，φ）で表記でき、また、直交座標ｐ（ｘ，ｙ，ｚ）で表記できる。ここで、“ｒ”はラジアス（Radius）を示し、“θ”はエレベーション（Elevation）を示し、“φ”はアジマス（Azimuth）を示している。
上述したように、送信装置１００は、オブジェクト音源のオーディオデータおよび位置情報を含むオーディオストリームを送信する。このオーディオストリームには、３Ｄオーディオのメタデータが含まれる。このメタデータとして、オブジェクト音源の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が挿入される。
図４は、ビュー２（View2）とオブジェクト音源の位置関係を示している。オブジェクト音源の位置は、ビュー２を基準として、極座標ｓ’（ｒ’，θ’，φ’）で表記でき、また、直交座標ｐ’（ｘ’，ｙ’，ｚ’）で表記できる。ここで、ビュー１とビュー２の位置および方向の差分成分は、空間的な位置の差分成分（Δｘ，Δｙ，Δｚ）と、方向の差分成分（Δθ，Δφ）とからなる。
受信装置２００は、これらの差分成分を用いて、オブジェクト音源の位置情報ｓ（ｒ，θ，φ）を、ビュー２を基準とする位置情報ｓ’（ｒ’，θ’，φ’）に補正（変換）できる。図５は、その場合における変換式の一例を示している。なお、この変換式において、（ｘ，ｙ，ｚ）はオブジェクト音源の直交座標ｐ（ｘ，ｙ，ｚ）の各座標値に対応し、（ｘ1，ｙ1，ｚ1）は差分成分（Δｘ，Δｙ，Δｚ）に対応する。
なお、詳細説明は省略するが、ビュー３とオブジェクト音源の位置関係についても同様である。
［送信装置の構成例］
図６は、送信装置１００の構成例を示している。この送信装置１００は、制御部１１１と、ビデオエンコーダ１１２，１１３，１１４と、３Ｄオーディオエンコーダ１１５と、システムエンコーダ１１６と、送信部１１７を有している。制御部１１１は、送信装置１００の各部の動作を制御する。
ビデオエンコーダ１１２，１１３，１１４は、それぞれ、ビュー１，２，３のビデオデータＳＶ１，ＳＶ２，ＳＶ３を入力し、このビデオデータＳＶ１，ＳＶ２，ＳＶ３に対して、例えば、ＭＰＥＧ２、ＭＰＥＧ４−ＡＶＣあるいはＨＥＶＣなどの符号化を施し、ビデオストリームを得る。３Ｄオーディオエンコーダ１１５は、オブジェクト音源１，２に係るオブジェクトデータを入力し、このオブジェクトデータに対して、例えばＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏの符号化を施し、オーディオストリームを得る。
ここで、オブジェクト音源１に係るオブジェクトデータは、オブジェクトオーディオデータＳＡ１とオブジェクトメタデータＭＥＴＡ１とからなる。このオブジェクトメタデータＭＥＴＡ１には、オブジェクト音源１の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が含まれている。また、オブジェクト音源２に係るオブジェクトデータは、オブジェクトオーディオデータＳＡ２とオブジェクトメタデータＭＥＴＡ２からなる。このオブジェクトメタデータＭＥＴＡ２には、オブジェクト音源２の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が含まれている。
システムエンコーダ１１６は、ビデオエンコーダ１１２，１１３，１１４から出力されるビデオストリームおよび３Ｄオーディオエンコーダ１１５から出力されるオーディオストリームを、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１１７は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
この実施の形態において、送信装置１００では、ビュー１とビュー２の位置および方向の差分成分ＶＰ２（Δｘ，Δｙ，Δｚ，Δθ，Δφ）と、ビュー１とビュー３の位置および方向の差分成分ＶＰ３（Δｘ，Δｙ，Δｚ，Δθ，Δφ）が、（１）オーディオストリームのレイヤ、（２）ビデオストリームのレイヤ、あるいは（３）コンテナのレイヤに挿入される。ここで、差分成分ＶＰ２は、オブジェクト音源１，２の位置情報を、ビュー２を基準とする位置情報に補正するための位置補正情報を構成する。また、差分成分ＶＰ３は、オブジェクト音源１，２の位置情報を、ビュー３を基準とする位置情報に補正するための位置補正情報を構成する。
「（１）オーディオストリームのレイヤに挿入される場合」
差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入される場合について説明する。この場合、３Ｄオーディオエンコーダ１１５は、オーディオストリームのレイヤに、位置補正情報としての差分成分ＶＰ２，ＶＰ３を挿入する。この場合、メタデータ領域あるいはユーザデータ領域に挿入される。
図７は、ＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏのオーディオフレームの構造を示している。このオーディオフレームは、複数のＭＰＥＧオーディオストリームパケット（mpeg Audio Stream Packet）からなっている。各ＭＰＥＧオーディオストリームパケットは、ヘッダ（Header）とペイロード（Payload）により構成されている。
ヘッダは、パケットタイプ（Packet Type）、パケットラベル（Packet Label）、パケットレングス（Packet Length）などの情報を持つ。ペイロードには、ヘッダのパケットタイプで定義された情報が配置される。このペイロード情報には、同期スタートコードに相当する“ＳＹＮＣ”と、実際のデータである“Ｆｒａｍｅ”と、この“Ｆｒａｍｅ”の構成を示す“Ｃｏｎｆｉｇ”が存在する。
オブジェクト音源に係るオブジェクトデータは、上述したように、オブジェクトオーディオデータおよびオブジェクトメタデータとからなる。これらのデータは“Ｆｒａｍｅ”に含まれる。ここで、オブジェクトオーディオデータは、ＳＣＥ（Single Channel Element）の符号化サンプルデータとして含まれる。また、オブジェクトメタデータは、エクステンションエレメント（Ext_element）として含まれる。また、ユーザデータを含めるエクステンションエレメント（Ext_element）を定義することもできる。
差分成分ＶＰ２，ＶＰ３がメタデータ領域に挿入される場合、この差分成分ＶＰ２，ＶＰ３は、オブジェクトメタデータが含まれるエクステンションエレメント（Ext_element）に挿入される。
図８（ａ）は、オブジェクトメタデータ（object_metadata()）の構成例（Syntax）を示している。図８（ｂ）は、このオブジェクトメタデータに含まれる、オブジェクトメタデータ・エフィシェント（object_metadata_efficient()）の構成例（Syntax）を示している。このオブジェクト・メタデータ・エフィシェントのイントラコーデド・メタデータ・エフィシェント（intracoded_ object_metadata_efficient()）内に、差分成分ＶＰ２，ＶＰ３を持つマルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）が配置される。
図９は、マルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）の構成例（Syntax）を示している。「process_multiview」の１ビットフィールドは、マルチビューであることを示すフラグである。マルチビューであるとき、「multiview_count」の８ビットフィールドが存在する。このフィールドは、ビューの総数を示す。図２に示す例では、ビューの総数は「３」である。
そして、“総数−１”だけ、つまりビュー１（View1）以外の各ビューの差分成分のフィールドが存在する。図２に示す例では、ビュー２（View2）、ビュー３（View3）の差分成分ＶＰ２，ＶＰ３のフィールドが存在することになる。差分成分のフィールドは、「Δｘ」の８ビットフィールドと、「Δｙ」の８ビットフィールドと、「Δｚ」の８ビットフィールドと、「Δθ」の９ビットフィールドと、「Δφ」の７ビットフィールドとからなる。
「Δｘ」のフィールドには、Δｘ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｘ座標の値を示す。「Δｙ」のフィールドには、Δｙ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｙ座標の値を示す。「Δｚ」のフィールドには、Δｚ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｚ座標の値を示す。「Δθ」のフィールドは、Δθ、つまりビュー１（View1）に対するθの差を示す。「Δφ」のフィールドは、Δφ、つまりビュー１（View1）に対するφの差を示す。
差分成分ＶＰ２，ＶＰ３がユーザデータ領域に挿入される場合、この差分成分ＶＰ２，ＶＰ３は、ユーザデータを含めるエクステンションエレメント（Ext_element）に挿入される。
この場合、エクステンションエレメント（Ext_element）としてユーザデータ（user_data()）が含まれるエレメント（Ext_userdata）が新たに定義される。これに伴って、“Ｃｏｎｆｉｇ”に、そのエレメント（Ext_userdata）の構成情報「userdataConfig()」が新たに定義される。
図１０（ａ）は、構成情報「userdataConfig()」の構成例（syntax）を示している。「userdata_identifier」の３２ビットフィールドは、予め定義された配列の値がセットされることでユーザデータであることを示す。「userdata_frame_length」の１６ビットフィールドは、ユーザデータ（user_data()）のバイト数を示す。
図１０（ｂ）は、ユーザデータ（user_data()）の構成例（syntax）を示している。「user_data_identifier」の３２ビットフィールドに“０ｘ４７４１３９３４”（“ＧＡ９４”）が挿入されることで、「user_structure()」のフィールドに、「ATSC_user_data()」が含まれる。図１０（ｃ）は、「ATSC_user_data()」の構成例（syntax）を示している。
「user_data_type_code」の８ビットフィールドに、マルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）を示す、例えば“０ｘ０７”が挿入されることで、「user_data_type_structure()」のフィールドに、マルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）（図９参照）が含まれる。
なお、このように差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入される場合、システムエンコーダ１１６は、コンテナ（システム）のレイヤに、複数の差分成分のそれぞれが対応するビデオストリームを示す情報を挿入する。例えば、システムエンコーダ１１６は、オーディオストリームに対応したオーディオ・エレメンタリストリームループ内に、コンポーネント・グループ・デスクリプタ（component_group_descriptor）を用いて挿入する。
図１１は、コンポーネント・グループ・デスクリプタの構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、コンポーネント・グループ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
「component_group_type」の４ビットフィールドは、コンポーネント・グループのタイプを示す。ここでは、“０”とされ、３Ｄオーディオのマルチビューに関連する映像・音声のコンポーネント・グループであることが示される。「num_video」の４ビットフィールドは、ビデオストリーム（ビデオエレメンタリストリーム）の個数を示す。そして、この個数分だけフォーループ（for loop）で、「component_tag」の８ビットフィールドが繰り返えされる。この「component_tag」のフィールドは、関連する映像コンポーネントのコンポーネントタグ（Component_tag）の値を示す。
この実施の形態において、ビュー１（View1）、ビュー２（View2）、ビュー３（View3）のビデオデータを含むビデオストリームのコンポーネントタグの値が順に記述される。因みに、各ビデオストリームに対応したビデオ・エレメンタリストリームループ内には、パケット識別子（PID）、コンポーネントタグ（Component_tag）、ストリームタイプ（Stream_Type）等の情報が配置されている。これにより、ビュー２（View2）、ビュー３（View3）のビデオデータを含むビデオストリームが特定され、従って、オーディオストリームのレイヤに挿入される差分成分ＶＰ２，ＶＰ３のそれぞれが対応するビデオストリームが特定される。
「num_audio」の８ビットフィールドは、オーディオストリーム（オーディオエレメンタリストリーム）の個数を示す。そして、この個数分だけフォーループ（for loop）で、「component_tag」の８ビットフィールドが繰り返される。この「component_tag」のフィールドは、関連する音声コンポーネントのコンポーネントタグ（Component_tag）の値を示す。
図１２は、差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入される場合における、トランスポートストリームＴＳの構成例を示している。この場合、トランスポートストリームＴＳには、ビュー１（View1）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES1」と、ビュー２（View2）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES2」と、ビュー３（View3）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES3」が存在する。
また、トランスポートストリームＴＳには、オーディオストリームのＰＥＳパケット「audio PES」が存在する。このオーディオストリームのＰＥＳパケットのＰＥＳペイロードには、上述したマルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）（図９参照）が挿入されている。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。
また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、３つのビデオストリームにそれぞれ対応したビデオ・エレメンタリストリームループ（Video ES loop）が存在すると共に、オーディオストリームに対応したオーディオ・エレメンタリストリームループ（Audio ES loop）が存在する。
各ループには、パケット識別子（PID）、コンポーネントタグ（Component_tag）、ストリームタイプ（Stream_Type）等の情報が配置されている。 また、オーディオ・エレメンタリストリームループには、上述したコンポーネント・グループ・デスクリプタ（component_group_descriptor）（図１１参照）が配置されている。
「（２）ビデオストリームのレイヤに挿入される場合」
差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入される場合について説明する。この場合、ビデオエンコーダ１１３は、ビデオストリームのレイヤに、位置補正情報としての差分成分ＶＰ２を挿入する。また、この場合、ビデオエンコーダ１１４は、ビデオストリームのレイヤに、位置補正情報としての差分成分ＶＰ３を挿入する。この場合、ユーザデータ領域に挿入される。
最初にＭＰＥＧ２の符号化が施される場合について説明する。図１３は、ビデオシーケンス（Video_sequence）の構成例（Syntax）を示している。このビデオシーケンス（Video_sequence）にエクステンション・アンド・ユーザデータ（２）（extension_and_user_data(2)）のフィールドが存在する。図１４（ａ）は、このエクステンション・アンド・ユーザ・データ（２）の構成例（Syntax）を示している。
このエクステンション・アンド・ユーザデータ（２）にユーザデータ（user_data()）のフィールドが存在する。図１４（ｂ）は、このユーザデータの構成例（Syntax）を示している。「user_data_identifier」の３２ビットフィールドに“０ｘ４７４１３９３４”（“ＧＡ９４”）が挿入されることで、「user_structure()」のフィールドに、「ATSC_user_data()」が含まれる。
図１４（ｃ）は、「ATSC_user_data()」の構成例（syntax）を示している。「user_data_type_code」の８ビットフィールドに、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）を示す、例えば“０ｘ０７”が挿入されることで、「user_data_type_structure()」のフィールドに、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）が含まれる。
図１５は、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）の構成例（Syntax）を示している。「process_multiview」の１ビットフィールドは、マルチビューであることを示すフラグである。マルチビューであるとき、差分成分のフィールドが存在する。
ビュー２（View2）のビデオデータを含むビデオストリームのレイヤに挿入されるマルチビュー・ポジション・インフォメーション２には差分成分ＶＰ２のフィールドが存在し、ビュー３（View3）のビデオデータを含むビデオストリームのレイヤに挿入されるマルチビュー・ポジション・インフォメーション２には差分成分ＶＰ３のフィールドが存在することになる。
差分成分のフィールドは、「Δｘ」の８ビットフィールドと、「Δｙ」の８ビットフィールドと、「Δｚ」の８ビットフィールドと、「Δθ」の９ビットフィールドと、「Δφ」の７ビットフィールドとからなる。
「Δｘ」のフィールドには、Δｘ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｘ座標の値を示す。「Δｙ」のフィールドには、Δｙ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｙ座標の値を示す。「Δｚ」のフィールドには、Δｚ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｚ座標の値を示す。「Δθ」のフィールドは、Δθ、つまりビュー１（View1）に対するθの差を示す。「Δφ」のフィールドは、Δφ、つまりビュー１（View1）に対するφの差を示す。
次に、ＭＰＥＧ４−ＡＶＣやＨＥＶＣの符号化が施される場合について説明する。図１６（ａ）は、ユーザデータＳＥＩの構成例（syntax）を示している。「USER_identifier」の３２ビットフィールドに“０ｘ４７４１３９３４”（“ＧＡ９４”）が挿入されることで、「USER_structure()」のフィールドに、「ATSC1_data()」が含まれる。
図１６（ｂ）は、「ATSC1_data()」の構成例（syntax）を示している。「user_data_type_code」の８ビットフィールドに、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）を示す、例えば“０ｘ０７”が挿入されることで、「user_data_type_structure()」のフィールドに、マルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）が含まれる。
図１７は、差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入される場合における、トランスポートストリームＴＳの構成例を示している。この図１７において、図１２と対応する部分については、適宜、その説明は省略する。
ビュー２（View2）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES2」には、上述したマルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）（図１５参照）が挿入される。また、ビュー３（View3）のビデオデータを含むビデオストリームのＰＥＳパケット「Video PES3」には、上述したマルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）（図１５参照）が挿入される。
なお、このように差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入される場合、差分成分とビデオストリームの対応関係は明白となる。そのため、この場合には、コンテナ（システム）のレイヤに、コンポーネント・グループ・デスクリプタ（component_group_descriptor）が挿入される必要はない。
「（３）コンテナ（システム）のレイヤに挿入される場合」
差分成分ＶＰ２，ＶＰ３がコンテナ（システム）のレイヤに挿入される場合について説明する。この場合、シグナリング情報として挿入されるか、あるいは位置補正情報ストリームとして挿入される。
最初に、差分成分ＶＰ２，ＶＰ３がシグナリングとして挿入される場合について説明する。この場合、システムエンコーダ１１６は、ビュー２（View2）、ビュー３（View3）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に、マルチビュー・ポジション・インフォメーション・デスクリプタ（multiview_Position_information_descriptor）を挿入する。
図１８は、マルチビュー・ポジション・インフォメーション・デスクリプタの構成例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、マルチビュー・ポジション・インフォメーション・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
「PTS_flag」の１ビットフィールドは、オブジェクト音源の取得位置情報に対応する時刻情報（ＰＴＳ）があることを示すフラグ情報である。“１”であるとき、３３ビットの時刻情報が存在する。また、このデスクリプタには、差分成分のフィールドが存在する。
ビュー２（View2）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入されるマルチビュー・ポジション・インフォメーション・デスクリプタには差分成分ＶＰ２のフィールドが存在する。また、ビュー３（View3）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入されるマルチビュー・ポジション・インフォメーション・デスクリプタには差分成分ＶＰ３のフィールドが存在する。
差分成分のフィールドは、「Δｘ」の８ビットフィールドと、「Δｙ」の８ビットフィールドと、「Δｚ」の８ビットフィールドと、「Δθ」の９ビットフィールドと、「Δφ」の７ビットフィールドとからなる。
「Δｘ」のフィールドには、Δｘ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｘ座標の値を示す。「Δｙ」のフィールドには、Δｙ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｙ座標の値を示す。「Δｚ」のフィールドには、Δｚ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｚ座標の値を示す。「Δθ」のフィールドは、Δθ、つまりビュー１（View1）に対するθの差を示す。「Δφ」のフィールドは、Δφ、つまりビュー１（View1）に対するφの差を示す。
図１９は、差分成分ＶＰ２，ＶＰ３がコンテナ（システム）のレイヤにシグナリングとして挿入される場合における、トランスポートストリームＴＳの構成例を示している。この図１９において、図１２と対応する部分については、適宜、その説明は省略する。
ビュー２（View2）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に、上述した差分成分ＶＰ２が存在するマルチビュー・ポジション・インフォメーション・デスクリプタが挿入される。また、ビュー３（View3）のビデオストリームに対応したビデオ・エレメンタリストリームループ内に、上述した差分成分ＶＰ３が存在するマルチビュー・ポジション・インフォメーション・デスクリプタが挿入される。
次に、差分成分ＶＰ２，ＶＰ３が位置補正情報ストリームとして挿入される場合について説明する。図２０は、その場合における、送信装置１００の構成例を示している。この図２０において、図６と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。
この送信装置１００は、位置補正情報エンコーダ１１８，１１９を有している。位置補正情報エンコーダ１１８は、差分成分ＶＰ２に対して符号化を施し、位置補正情報ストリームを生成する。また、位置補正情報エンコーダ１１８は、差分成分ＶＰ３に対して符号化を施し、位置補正情報ストリームを生成する。
システムエンコーダ１１６は、ビデオエンコーダ１１２，１１３，１１４から出力されるビデオストリーム、３Ｄオーディオエンコーダ１１５から出力されるオーディオストリーム、さらには位置補正情報エンコーダ１１８，１１９から出力される位置補正情報ストリームを、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る
図２１は、位置補正情報ストリーム（エレメンタリストリーム）の構成例（Syntax）を示している。「data_identifier」の８ビットフィールドは、位置補正情報のＰＥＳデータであることを示す値とされる。「PES_data_packet_header_length」の４ビットフィールドは、「PES_Data_private_data_byte」のフィールドの長さを示す。「PES_Data_private_data_byte」のフィールドにサービス依存のプライベートデータが挿入される。
そして、この位置補正情報ストリームには、対応するビューの差分成分のフィールドが存在する。この差分成分のフィールドは、「Δｘ」の８ビットフィールドと、「Δｙ」の８ビットフィールドと、「Δｚ」の８ビットフィールドと、「Δθ」の９ビットフィールドと、「Δφ」の７ビットフィールドとからなる。
「Δｘ」のフィールドには、Δｘ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｘ座標の値を示す。「Δｙ」のフィールドには、Δｙ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｙ座標の値を示す。「Δｚ」のフィールドには、Δｚ、つまりビュー１（View1）を原点としたときの対象ビュー（View）のｚ座標の値を示す。「Δθ」のフィールドは、Δθ、つまりビュー１（View1）に対するθの差を示す。「Δφ」のフィールドは、Δφ、つまりビュー１（View1）に対するφの差を示す。
図２２は、差分成分ＶＰ２，ＶＰ３が位置補正情報ストリームとして挿入される場合における、トランスポートストリームＴＳの構成例を示している。この図２２において、図１２と対応する部分については、適宜、その説明は省略する。
トランスポートストリームＴＳには、ビュー２（View2）に係る差分成分ＶＰ２を含む位置補正情報ストリームのＰＥＳパケット「Position PES1」と、ビュー３（View3）に係る差分成分ＶＰ３を含む位置補正情報ストリームのＰＥＳパケット「Position PES2」が存在する。また、ＰＭＴには、２つの位置補正情報ストリームにそれぞれ対応した位置補正情報・エレメンタリストリームループ（Position ES loop）が存在する。
図２３は、上述した位置補正情報の伝送方式をまとめて示したものである。（１）オーディオストリームのレイヤに挿入される場合、例えば、「音声信号に、音声の聴取位置情報と、位置補正情報が付加される。音声信号のみから位置補正演算回路へ情報伝達すればよい。同一の音声信号に包含されているので、これらの信号の同期が保証される。」などの特徴がある。
また、（２）ビデオストリームのレイヤに挿入される場合、例えば、「映像信号ごとに、それぞれの位置補正情報を付加する。それぞれの映像ごとに必要な情報が伝送されるので、余分な情報が伝送されない（伝送する情報が少ない）。再送信で映像を選択する場合、位置補正情報がそのまま伝送されるため、余分な処理が不要となる。」などの特徴がある。
また、（３）コンテナ（システム）のレイヤに挿入される場合、シグナリングとして挿入するときには、例えば、「記述子として伝送することにより、システムレイヤで必要な情報が判別できる。」などの特徴があり、位置補正情報ストリームとして挿入するときには、例えば、「映像信号に対応した独立したストリームとして、タイムラインと共に位置補正情報を伝送する。再送信で映像を選択する場合、対応する位置補正情報を選択して伝送することができる。」などの特徴がある。
図６に示す送信装置１００の動作を簡単に説明する。ビュー１，２，３のビデオデータＳＶ１，ＳＶ２，ＳＶ３はそれぞれビデオエンコーダ１１２，１１３，１１４に供給される。ビデオエンコーダ１１２，１１３，１１４では、それぞれ、ビデオデータＳＶ１，ＳＶ２，ＳＶ３に対して、例えば、ＭＰＥＧ２、ＭＰＥＧ４−ＡＶＣあるいはＨＥＶＣなどの符号化が施され、ビデオストリームが得られる。
オブジェクト音源１に係るオブジェクトデータＳＡ１，ＭＥＴＡ１と、オブジェクト音源２に係るオブジェクトデータＳＡ２，ＭＥＴＡ２は、３Ｄオーディオエンコーダ１１５に供給される。３Ｄオーディオエンコーダ１１５では、オブジェクト音源１，２に係るオブジェクトデータに対して、例えばＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏの符号化が施され、オーディオストリームが得られる。
ビデオエンコーダ１１２，１１３，１１４で得られるビデオストリームは、システムエンコーダ１１６に供給される。３Ｄオーディオエンコーダ１１５で得られるオーディオストリームは、システムエンコーダ１１６に供給される。システムエンコーダ１１６では、各エンコーダから供給されるストリームが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
システムエンコーダ１１６で得られるトランスポートストリームＴＳは、送信部１１７に供給される。送信部１１７では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
また、送信装置１００では、ビュー１とビュー２の位置および方向の差分成分ＶＰ２と、ビュー１とビュー３の位置および方向の差分成分ＶＰ３が、（１）オーディオストリームのレイヤ、（２）ビデオストリームのレイヤ、あるいは（３）コンテナのレイヤに挿入されて、受信装置２００に送信される。
［受信装置の構成例］
図２４は、受信装置２００の構成例を示している。この受信装置２００は、制御部２１１と、受信部２１２と、システムデコーダ２１３と、セレクタ２１４と、ビデオデコーダ２１５と、表示部２１６と、３Ｄオーディオデコーダ２１７と、３Ｄオーディオレンダラ２１８と、スピーカシステム２１９を有している。制御部２１１は、受信装置２００の各部の動作を制御する。
受信部２１２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、ビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームと、オブジェクト音源１およびオブジェクト音源２のオーディオデータおよび位置情報を持つオーディオストリームを有している（図２参照）。
システムデコーダ２１３は、トランスポートストリームＴＳからビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームのパケットを抽出し、当該３つのビデオストリームを再構成する。また、システムデコーダ２１３は、トランスポートストリームＴＳからオーディオストリームのパケットを抽出し、当該オーディオストリームを再構成する。
システムデコーダ２１３は、トランスポートストリームＴＳからデスクリプタ情報などの各種情報を抽出し、制御部２１１に送る。各種情報には、差分成分ＶＰ２，ＶＰ３がシグナリングとして挿入されている場合におけるマルチビュー・ポジション・インフォメーション・デスクリプタ（multiview_Position_information_descriptor）（図１８参照）の情報も含まれる。また、この各種情報には、オーディオストリームのレイヤに挿入されている場合におけるコンポーネント・グループ・デスクリプタ（component_group_descriptor）（図１１参照）の情報も含まれる。
セレクタ２１４は、ユーザのビュー選択に応じた制御部２１１の選択制御に基づいて、システムデコーダ２１３で再構成された３つのビデオストリームのうちのいずれかを選択的に出力する。ビデオデコーダ２１５は、セレクタ２１４から出力されるビデオストリームに対して復号化処理を施し、ユーザが選択したビューのビデオデータを得る。
また、ビデオデコーダ２１５は、ビデオストリームのレイヤに挿入されている各種情報を抽出し、制御部２１１に送る。各種情報には、差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入されている場合におけるマルチビュー・ポジション・インフォメーション２（multiview_Position_information2()）（図１５参照）の情報も含まれる。
表示部２１６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などの表示パネルを備えている。表示部２１６は、ビデオデコーダ２１５で得られたビデオデータに対してスケーリング処理、画質調整処理などを行って表示用ビデオデータを得、当該表示用ビデオデータによる画像を表示パネルに表示する。
３Ｄオーディオデコーダ２１７は、システムデコーダ２１３で再構成されたオーディオストリームに対して復号化処理を施し、オブジェクト音源１，２に係るオブジェクトデータを得る。
ここで、オブジェクト音源１に係るオブジェクトデータはオブジェクトオーディオデータＳＡ１とオブジェクトメタデータＭＥＴＡ１とからなり、オブジェクトメタデータＭＥＴＡ１にはオブジェクト音源１の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が含まれている。また、オブジェクト音源２に係るオブジェクトデータはオブジェクトオーディオデータＳＡ２とオブジェクトメタデータＭＥＴＡ２からなり、このオブジェクトメタデータＭＥＴＡ２にはオブジェクト音源２の極座標ｓ（ｒ，θ，φ）の各座標値やゲイン（Gain）値が含まれている。
また、３Ｄオーディオデコーダ２１７は、オーディオストリームのレイヤに挿入されている各種情報を抽出し、制御部２１１に送る。各種情報には、差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入されている場合におけるマルチビュー・ポジション・インフォメーション１（multiview_Position_information1()）（図９参照）の情報も含まれる。
３Ｄオーディオレンダラ２１８は、３Ｄオーディオデコーダ２１７で得られるオブジェクト音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に基づいて、スピーカシステム２１９に合わせた所定チャネルのオーディオデータを得る。この場合、３Ｄオーディオレンダラ２１８は、スピーカ配置情報を参照して、各オブジェクト音源のオーディオデータをその位置情報に基づいて任意の位置に存在するスピーカにマッピングする。
３Ｄオーディオレンダラ２１８は、位置補正演算部２１８ａを備えている。ビュー１が選択される場合、３Ｄオーディオレンダラ２１８は、３Ｄオーディオデコーダ２１７で得られる音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に含まれる位置情報（ｒ，θ，φ）をそのまま使用する。
ビュー２あるいはビュー３が選択される場合、３Ｄオーディオレンダラ２１８は、３Ｄオーディオデコーダ２１７で得られる音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に含まれる位置情報（ｒ，θ，φ）を位置補正演算部２１８ａで、図５に示す変換式を用いて補正した後の位置情報（ｒ’，θ’，φ’）を使用する。
ここで、ビュー２が選択される場合、位置補正演算部２１８ａは、ビュー１とビュー２の位置および方向の差分成分ＶＰ２（Δｘ，Δｙ，Δｚ，Δθ，Δφ）を用いて、ビュー１を基準とする位置情報（ｒ，θ，φ）を、ビュー２を基準とする位置情報（ｒ’，θ’，φ’）に補正（変換）する。また、ビュー３が選択される場合、位置補正演算部２１８ａは、ビュー１とビュー３の位置および方向の差分成分ＶＰ３（Δｘ，Δｙ，Δｚ，Δθ，Δφ）を用いて、ビュー１を基準とする位置情報（ｒ，θ，φ）を、ビュー３を基準とする位置情報（ｒ’，θ’，φ’）に補正（変換）する。
スピーカシステム２１９は、３Ｄオーディオレンダラ２１８で得られた所定チャネルのオーディオデータに基づいて、表示部２１６の表示画像に対応した音響出力を得る。
図２４に示す受信装置２００の動作を簡単に説明する。受信部２１２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳには、ビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームと、オブジェクト音源１およびオブジェクト音源２のオーディオデータおよび位置情報を持つオーディオストリームが含まれている。このトランスポートストリームＴＳは、システムデコーダ２１３に供給される。
システムデコーダ２１３では、トランスポートストリームＴＳからビュー１、ビュー２およびビュー３のビデオデータをそれぞれ持つ３つのビデオストリームのパケットが抽出され、当該３つのビデオストリームが再構成される。また、システムデコーダ２１３では、トランスポートストリームＴＳからオーディオストリームのパケットが抽出され、当該オーディオストリームが再構成される。
また、システムデコーダ２１３では、トランスポートストリームＴＳからデスクリプタ情報などの各種情報が抽出され、制御部２１１に送られる。各種情報には、差分成分ＶＰ２，ＶＰ３がシグナリングとして挿入されている場合におけるマルチビュー・ポジション・インフォメーション・デスクリプタ（図１８参照）の情報も含まれる。また、この各種情報には、オーディオストリームのレイヤに挿入されている場合におけるコンポーネント・グループ・デスクリプタ（図１１参照）の情報も含まれる。
システムデコーダ２１３で再構成された３つのビデオストリームは、セレクタ２１４に供給される。セレクタ２１４では、ユーザのビュー選択に応じた制御部２１１の選択制御に基づいて、３つのビデオストリームのうちのいずれかが選択的に出力される。セレクタ２１４から出力されるビデオストリームは、ビデオデコーダ２１５に供給される。ビデオデコーダ２１５では、ビデオストリームに対して復号化処理が施され、ユーザが選択したビューのビデオデータが得られる。
また、ビデオデコーダ２１５では、ビデオストリームのレイヤに挿入されている各種情報が抽出され、制御部２１１に送られる。各種情報には、差分成分ＶＰ２，ＶＰ３がビデオストリームのレイヤに挿入されている場合におけるマルチビュー・ポジション・インフォメーション２（図１５参照）の情報も含まれる。
ビデオデコーダ２１５で得られるビデオデータは、表示部２１６に供給される。表示部２１６では、ビデオデコーダ２１５で得られたビデオデータに対してスケーリング処理、画質調整処理などが行われて表示用ビデオデータが得られ、当該表示用ビデオデータによる画像が表示パネルに表示される。
また、システムデコーダ２１３で再構成されたオーディオストリームは、３Ｄオーディオデコーダ２１７に供給される。３Ｄオーディオデコーダ２１７では、システムデコーダ２１３で再構成されたオーディオストリームに対して復号化処理が施され、オブジェクト音源１，２に係るオブジェクトデータ得られる。
また、３Ｄオーディオデコーダ２１７で、オーディオストリームのレイヤに挿入されている各種情報が抽出され、制御部２１１に送られる。各種情報には、差分成分ＶＰ２，ＶＰ３がオーディオストリームのレイヤに挿入されている場合におけるマルチビュー・ポジション・インフォメーション１（図９参照）の情報も含まれる。
３Ｄオーディオデコーダ２１７で得られるオブジェクト音源１，２に係るオブジェクトデータは、３Ｄオーディオレンダラ２１８に供給される。３Ｄオーディオレンダラ２１８では、オブジェクト音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に基づいて、スピーカシステム２１９に合わせた所定チャネルのオーディオデータが得られる。この場合、３Ｄオーディオレンダラ２１８では、スピーカ配置情報が参照されて、各オブジェクト音源のオーディオデータがその位置情報に基づいて任意の位置に存在するスピーカにマッピングされる。
この際、３Ｄオーディオレンダラ２１８では、ビュー２が選択される場合、３Ｄオーディオデコーダ２１７で得られる音源１，２に係るオブジェクトデータ（オーディオデータ、位置情報）に含まれる位置情報（ｒ，θ，φ）が、上述したようにコンテナのレイヤ、ビデオストリームのレイヤ、あるいはオーディオストリームのレイヤから抽出された差分成分（Δｘ，Δｙ，Δｚ，Δθ，Δφ）により補正されて用いられる。詳細説明は省略するが、ビュー３が選択される場合でも同様である。
３Ｄオーディオレンダラ２１８から出力される所定チャネルのオーディオデータは、スピーカシステム２１９に供給される。スピーカシステム２１９では、この所定チャネルのオーディオデータに基づいて、表示部２１６の表示画像に対応した音響出力が得られる。
図２５は、コンテナのレイヤに差分成分ＶＰ２，ＶＰ３が位置補正情報ストリームとして挿入されている場合における受信装置２００の構成例を示している。この図２５において、図２４と対応する部分には、同一符号を付し、その詳細説明は省略する。
システムデコーダ２１３では、トランスポートストリームＴＳから差分情報ＶＰ２，ＶＰ３をそれぞれ含む２つの位置補正情報ストリームが得られる。差分情報ＶＰ２を含む位置補正情報ストリームは位置補正情報デコーダ２２１に供給される。位置補正情報デコーダ２２１では、位置補正情報ストリームに対して復号化が施され、差分成分ＶＰ２が得られる。また、差分情報ＶＰ３を含む位置補正情報ストリームは位置補正情報デコーダ２２２に供給される。位置補正情報デコーダ２２２では、位置補正情報ストリームに対して復号化が施され、差分成分ＶＰ３が得られる。
これらの差分成分ＶＰ２，ＶＰ３は、３Ｄオーディオレンダラ２１８に供給される。３Ｄオーディオレンダラ２１８では、スピーカ配置情報が参照されて、各オブジェクト音源のオーディオデータがその位置情報（ｒ，θ，φ）に基づいて任意の位置に存在するスピーカにマッピングされる。ここで、ビュー２、ビュー３が選択される場合、それぞれ、差分成分ＶＰ２，ＶＰ３に基づいて、オブジェクト音源１，２の位置情報（ｒ’，θ’，φ’）が補正（変換）されて用いられる。
上述したように、図１に示す送受信システム１０において、送信装置１００は、各オブジェクト音源のビュー１を基準とする位置情報（ｒ，θ，φ）を、ビュー２、ビュー３を基準とする位置情報（ｒ’，θ’，φ’）に補正（変換）するための位置補正情報（差分成分ＶＰ２，ＶＰ３）を、オーディオストリームのレイヤ、ビデオストリームのレイヤあるいはコンテナのレイヤに挿入して送信するものである。そのため、受信側では、ビュー２やビュー３に切り替えを行う場合、オブジェクト音源の位置情報を補正して用いることができ、３Ｄオーディオレンダリングを正しく行い得るようになる。
＜２．変形例＞
なお、上述実施の形態においては、ビュー１の他にビュー２、ビュー３が存在し、またオブジェクト音源１，２が存在する例を示した。本技術において、ビューの数およびオブジェクト音源の数は、この例に限定されない。
また、上述実施の形態においては、位置補正情報が差分成分（Δｘ，Δｙ，Δｚ，Δθ，Δφ）である例を示した。しかし、本技術において、位置補正情報は、差分成分（Δｘ，Δｙ，Δｚ，Δθ，Δφ）に限定されない。
また、上述実施の形態において、受信装置２００は、差分成分ＶＰ２，ＶＰ３を、オーディオストリームのレイヤ、ビデオストリームのレイヤあるいはコンテナのレイヤから取得する例を示した。しかし、この差分成分を、ネットワークに接続されたサーバから取得する構成も考えられる。この場合、送信装置１００から受信装置２００にサーバへのアクセス情報がオーディオストリームのレイヤ、ビデオストリームのレイヤあるいはコンテナのレイヤに挿入されて送られるようにされてもよい。
図２６は、その場合における受信装置２００の構成例を示している。この図２６において、図２４と対応する部分には、同一符号を付し、その詳細説明は省略する。通信インタフェース２３１では、ネットワークに接続されたサーバにアクセスすることで、差分成分ＶＰ２，ＶＰ３が取得される。
これらの差分成分ＶＰ２，ＶＰ３は、３Ｄオーディオレンダラ２１８に供給される。３Ｄオーディオレンダラ２１８では、スピーカ配置情報が参照されて、各オブジェクト音源のオーディオデータがその位置情報（ｒ，θ，φ）に基づいて任意の位置に存在するスピーカにマッピングされる。ここで、ビュー２、ビュー３が選択される場合、それぞれ、差分成分ＶＰ２，ＶＰ３に基づいて、オブジェクト音源１，２の位置情報（ｒ’，θ’，φ’）が補正（変換）されて用いられる。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、ＭＰ４やそれ以外のフォーマットのコンテナで配信されるシステムにも同様に適用できる。例えば、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム、あるいは、ＭＭＴ（MPEG Media Transport）構造伝送ストリームを扱う送受信システムなどである。
なお、本技術は、以下のような構成もとることができる。
（１）第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコード部と、
上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信部とを備える
送信装置。
（２）上記位置補正情報は、上記第１のビューと上記第２のビューの位置および方向の差分成分である
前記（１）に記載の送信装置。
（３）上記位置補正情報は、上記オーディオストリームのレイヤに挿入される
前記（１）または（２）に記載の送信装置。
（４）上記位置補正情報は、上記位置情報が含まれるメタデータ領域に挿入される
前記（３）に記載の送信装置。
（５）上記位置補正情報は、ユーザデータ領域に挿入される
前記（３）に記載の送信装置。
（６）上記第２のビューが複数であるとき、上記オーディオストリームのレイヤに、上記複数の第２のビューに対応して複数の上記位置補正情報が挿入され、
上記コンテナのレイヤに、上記複数の位置補正情報のそれぞれが対応する上記第２のビデオストリームを示す情報が挿入される
前記（３）に記載の送信装置。
（７）上記位置補正情報は、上記第２のビデオストリームのレイヤに挿入される
前記（１）または（２）に記載の送信装置。
（８）上記位置補正情報は、上記コンテナのレイヤに挿入される
前記（１）または（２）に記載の送信装置。
（９）上記位置補正情報は、シグナリング情報として挿入される
前記（８）に記載の送信装置。
（１０）上記コンテナは、ＭＰＥＧ２―ＴＳであり、
上記位置補正情報は、プログラムマップテーブルの上記第２のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入される
前記（９）に記載の送信装置。
（１１）上記位置補正情報を含む情報ストリームが挿入される
前記（８）に記載の送信装置。
（１２）第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコードステップと、
送信部により、上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信ステップとを有する
送信方法。
（１３）第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信部と、
上記コンテナに含まれる情報を処理する処理部とを備える
受信装置。
（１４）上記処理部は、
上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを有し、
上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
前記（１３）に記載の受信装置。
（１５）受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信ステップと、
上記コンテナに含まれる情報を処理する処理ステップとを有する
受信方法。
（１６）第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信部と、
上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得部と、
上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを備え、
上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
受信装置。
（１７）上記取得部は、上記位置補正情報を、上記オーディオストリームのレイヤ、上記第２のビデオストリームのレイヤあるいは上記コンテナのレイヤから取得する
前記（１６）に記載の受信装置。
（１８）上記取得部は、上記位置補正情報を、ネットワーク上のサーバから取得する
前記（１６）に記載の受信装置。
（１９）受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得ステップと、
上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコードステップと、
上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクトステップと、
上記オブジェクト音源のオーディオデータおよび位置情報に基づいて、スピーカシステムに合わせたオーディオデータを得るレンダリングステップとを有し、
上記レンダリングステップでは、上記セレクトステップで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
受信方法。
１０・・・送受信システム
１００・・・送信装置
１１１・・・制御部
１１２，１１３，１１４・・・ビデオエンコーダ
１１５・・・３Ｄオーディオエンコーダ
１１６・・・システムエンコーダ
１１７・・・送信部
１１８，１１９・・・位置補正情報エンコーダ
２００・・・受信装置
２１１・・・制御部
２１２・・・受信部
２１３・・・システムデコーダ
２１４・・・セレクタ
２１５・・・ビデオデコーダ
２１６・・・表示部
２１７・・・３Ｄオーディオデコーダ
２１８・・・３Ｄオーディオレンダラ
２１８ａ・・・位置補正演算部
２１９・・・スピーカシステム
２２１，２２２・・・位置補正情報デコーダ
２３１・・・通信インタフェース

Claims (19)

  1. 第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコード部と、
    上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信部とを備える
    送信装置。
  2. 上記位置補正情報は、上記第１のビューと上記第２のビューの位置および方向の差分成分である
    請求項１に記載の送信装置。
  3. 上記位置補正情報は、上記オーディオストリームのレイヤに挿入される
    請求項１に記載の送信装置。
  4. 上記位置補正情報は、上記位置情報が含まれるメタデータ領域に挿入される
    請求項３に記載の送信装置。
  5. 上記位置補正情報は、ユーザデータ領域に挿入される
    請求項３に記載の送信装置。
  6. 上記第２のビューが複数であるとき、上記オーディオストリームのレイヤに、上記複数の第２のビューに対応して複数の上記位置補正情報が挿入され、
    上記コンテナのレイヤに、上記複数の位置補正情報のそれぞれが対応する上記第２のビデオストリームを示す情報が挿入される
    請求項３に記載の送信装置。
  7. 上記位置補正情報は、上記第２のビデオストリームのレイヤに挿入される
    請求項１に記載の送信装置。
  8. 上記位置補正情報は、上記コンテナのレイヤに挿入される
    請求項１に記載の送信装置。
  9. 上記位置補正情報は、シグナリング情報として挿入される
    請求項８に記載の送信装置。
  10. 上記コンテナは、ＭＰＥＧ２―ＴＳであり、
    上記位置補正情報は、プログラムマップテーブルの上記第２のビデオストリームに対応したビデオ・エレメンタリストリームループ内に挿入される
    請求項９に記載の送信装置。
  11. 上記位置補正情報を含む情報ストリームが挿入される
    請求項８に記載の送信装置。
  12. 第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームを生成するエンコードステップと、
    送信部により、上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを送信する送信ステップとを有する
    送信方法。
  13. 第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信部と、
    上記コンテナに含まれる情報を処理する処理部とを備える
    受信装置。
  14. 上記処理部は、
    上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
    上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
    上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを有し、
    上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
    請求項１３に記載の受信装置。
  15. 受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームと、上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報とを含む所定フォーマットのコンテナを受信する受信ステップと、
    上記コンテナに含まれる情報を処理する処理ステップとを有する
    受信方法。
  16. 第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信部と、
    上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得部と、
    上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコード部と、
    上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクタと、
    上記オブジェクト音源のオーディオデータを上記オブジェクト音源の位置情報に基づいて任意のスピーカ位置にマッピングするレンダリング部とを備え、
    上記レンダリング部は、上記セレクタで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
    受信装置。
  17. 上記取得部は、上記位置補正情報を、上記オーディオストリームのレイヤ、上記第２のビデオストリームのレイヤあるいは上記コンテナのレイヤから取得する
    請求項１６に記載の受信装置。
  18. 上記取得部は、上記位置補正情報を、ネットワーク上のサーバから取得する
    請求項１６に記載の受信装置。
  19. 受信部により、第１のビューのビデオデータを持つ第１のビデオストリームと、第２のビューのビデオデータを持つ第２のビデオストリームと、オブジェクト音源のオーディオデータおよび該オブジェクト音源の上記第１のビューを基準とする位置情報を持つオーディオストリームとを含む所定フォーマットのコンテナを受信する受信ステップと、
    上記オブジェクト音源の位置情報を上記第２のビューを基準とする位置情報に補正するための位置補正情報を取得する取得ステップと、
    上記第１のビデオストリーム、上記第２のビデオストリームおよび上記オーディオストリームから、上記第１のビューのビデオデータ、上記第２のビューのビデオデータ、上記オブジェクト音源のオーディオデータおよび位置情報を得るデコードステップと、
    上記第１のビューのビデオデータまたは上記第２のビューのビデオデータを選択的に出力するセレクトステップと、
    上記オブジェクト音源のオーディオデータおよび位置情報に基づいて、スピーカシステムに合わせたオーディオデータを得るレンダリングステップとを有し、
    上記レンダリングステップでは、上記セレクトステップで上記第２のビューのビデオデータが選択されるとき、上記位置補正情報に基づいて上記第２のビューを基準とするように補正された位置情報を用いる
    受信方法。
JP2016561483A 2014-11-28 2015-11-09 送信装置、送信方法、受信装置および受信方法 Active JP6624068B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014241953 2014-11-28
JP2014241953 2014-11-28
PCT/JP2015/081524 WO2016084592A1 (ja) 2014-11-28 2015-11-09 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2016084592A1 true JPWO2016084592A1 (ja) 2017-09-07
JP6624068B2 JP6624068B2 (ja) 2019-12-25

Family

ID=56074162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016561483A Active JP6624068B2 (ja) 2014-11-28 2015-11-09 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (1) US10880597B2 (ja)
EP (1) EP3226241B1 (ja)
JP (1) JP6624068B2 (ja)
KR (1) KR102605480B1 (ja)
CN (1) CN107004419B (ja)
CA (1) CA2967249C (ja)
MX (1) MX2017006581A (ja)
WO (1) WO2016084592A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US10460765B2 (en) * 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10820034B2 (en) 2017-05-26 2020-10-27 At&T Intellectual Property I, L.P. Providing streaming video from mobile computing nodes
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
WO2019187434A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2019187430A1 (ja) * 2018-03-29 2021-04-08 ソニー株式会社 情報処理装置、方法、及びプログラム
JP7396267B2 (ja) * 2018-03-29 2023-12-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
GB2574238A (en) * 2018-05-31 2019-12-04 Nokia Technologies Oy Spatial audio parameter merging
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
JP2020005038A (ja) * 2018-06-25 2020-01-09 キヤノン株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
CN110858925B (zh) * 2018-08-22 2021-10-15 华为技术有限公司 一种实现视频流切换的方法、设备、系统和存储介质
JP7415954B2 (ja) 2019-01-25 2024-01-17 ソニーグループ株式会社 情報処理装置及び情報処理方法
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
EP3968643A1 (en) * 2020-09-11 2022-03-16 Nokia Technologies Oy Alignment control information for aligning audio and video playback
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229618A (ja) * 2004-02-13 2005-08-25 Texas Instruments Inc 動的音源とリスナーの位置による音声レンダリング
JP2012004835A (ja) * 2010-06-16 2012-01-05 Canon Inc 再生装置及びその制御方法及びプログラム

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040261127A1 (en) * 1991-11-25 2004-12-23 Actv, Inc. Digital interactive system for providing full interactivity with programming events
US7448063B2 (en) * 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US5823786A (en) * 1993-08-24 1998-10-20 Easterbrook; Norman John System for instruction of a pupil
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
CA2269778A1 (en) * 1996-09-16 1998-03-19 Advanced Research Solutions, Llc Data correlation and analysis tool
US6353461B1 (en) * 1997-06-13 2002-03-05 Panavision, Inc. Multiple camera video assist control system
US6961954B1 (en) * 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
US6750919B1 (en) * 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
KR100324512B1 (ko) * 1998-07-14 2002-06-26 구자홍 실시간데이터기록및재생장치와그제어방법
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6229550B1 (en) * 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
US6266100B1 (en) * 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
US6825875B1 (en) * 1999-01-05 2004-11-30 Interval Research Corporation Hybrid recording unit including portable video recorder and auxillary device
US6466275B1 (en) * 1999-04-16 2002-10-15 Sportvision, Inc. Enhancing a video of an event at a remote location using data acquired at the event
EP1275247A2 (en) * 2000-03-31 2003-01-15 United Video Properties, Inc. Personal video recording system with home surveillance feed
US20020115047A1 (en) * 2001-02-16 2002-08-22 Golftec, Inc. Method and system for marking content for physical motion analysis
US6537076B2 (en) * 2001-02-16 2003-03-25 Golftec Enterprises Llc Method and system for presenting information for physical motion analysis
US20020170068A1 (en) * 2001-03-19 2002-11-14 Rafey Richter A. Virtual and condensed television programs
US7203693B2 (en) * 2001-06-12 2007-04-10 Lucent Technologies Inc. Instantly indexed databases for multimedia content analysis and retrieval
US20030033602A1 (en) * 2001-08-08 2003-02-13 Simon Gibbs Method and apparatus for automatic tagging and caching of highlights
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
EP1757087A4 (en) * 2004-04-16 2009-08-19 James A Aman AUTOMATIC VIDEO RECORDING OF EVENTS, PURSUIT AND CONTENT PRODUCTION SYSTEM
DE102005008369A1 (de) * 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Simulieren eines Wellenfeldsynthese-Systems
CN101129009B (zh) * 2005-02-25 2011-05-18 京瓷株式会社 通信系统
JP4669340B2 (ja) * 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP4683227B2 (ja) * 2006-05-30 2011-05-18 日本電気株式会社 映像音声ファイルシステム
EP2092409B1 (en) * 2006-12-01 2019-01-30 LG Electronics Inc. Apparatus and method for inputting a command, method for displaying user interface of media signal, and apparatus for implementing the same, apparatus for processing mix signal and method thereof
KR101461958B1 (ko) * 2007-06-29 2014-11-14 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP5593596B2 (ja) * 2008-02-04 2014-09-24 ソニー株式会社 映像信号送信装置および映像信号送信方法
JP4557035B2 (ja) 2008-04-03 2010-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び記録媒体
CN101350931B (zh) * 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
US20110052155A1 (en) * 2009-09-02 2011-03-03 Justin Desmarais Methods for producing low-cost, high-quality video excerpts using an automated sequence of camera switches
US8749609B2 (en) * 2009-09-03 2014-06-10 Samsung Electronics Co., Ltd. Apparatus, system and method for video call
US8370358B2 (en) * 2009-09-18 2013-02-05 Microsoft Corporation Tagging content with metadata pre-filtered by context
EP2346028A1 (en) * 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
KR101090356B1 (ko) * 2009-12-28 2011-12-13 주식회사 더블유코퍼레이션 오디오 신호 및 비디오 신호의 동기화 오차 보정 방법 및 장치
US9699431B2 (en) * 2010-02-10 2017-07-04 Satarii, Inc. Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
US9704393B2 (en) * 2011-01-11 2017-07-11 Videonetics Technology Private Limited Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
WO2012103649A1 (en) * 2011-01-31 2012-08-09 Cast Group Of Companies Inc. System and method for providing 3d sound
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
TWI701952B (zh) 2011-07-01 2020-08-11 美商杜比實驗室特許公司 用於增強３ｄ音頻編輯與呈現之設備、方法及非暫態媒體
US8867886B2 (en) * 2011-08-08 2014-10-21 Roy Feinson Surround video playback
US8917877B2 (en) * 2011-10-12 2014-12-23 Sony Corporation Distance-based rendering of media files
JP2013090016A (ja) * 2011-10-13 2013-05-13 Sony Corp 送信装置、送信方法、受信装置および受信方法
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
CN103460283B (zh) * 2012-04-05 2015-04-29 华为技术有限公司 确定多信道音频信号的编码参数的方法及多信道音频编码器
US20140002580A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
US8929573B2 (en) * 2012-09-14 2015-01-06 Bose Corporation Powered headset accessory devices
KR20140102386A (ko) * 2013-02-13 2014-08-22 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN104023265A (zh) * 2013-03-01 2014-09-03 联想(北京)有限公司 一种音频信息流的切换方法、装置及电子设备
US9282399B2 (en) * 2014-02-26 2016-03-08 Qualcomm Incorporated Listen to people you recognize
WO2015162947A1 (ja) 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法
US9693009B2 (en) * 2014-09-12 2017-06-27 International Business Machines Corporation Sound source selection for aural interest
US9930405B2 (en) * 2014-09-30 2018-03-27 Rovi Guides, Inc. Systems and methods for presenting user selected scenes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229618A (ja) * 2004-02-13 2005-08-25 Texas Instruments Inc 動的音源とリスナーの位置による音声レンダリング
JP2012004835A (ja) * 2010-06-16 2012-01-05 Canon Inc 再生装置及びその制御方法及びプログラム

Also Published As

Publication number Publication date
KR20170088843A (ko) 2017-08-02
CA2967249A1 (en) 2016-06-02
KR102605480B1 (ko) 2023-11-24
JP6624068B2 (ja) 2019-12-25
EP3226241A1 (en) 2017-10-04
US20180310049A1 (en) 2018-10-25
MX2017006581A (es) 2017-09-01
CN107004419A (zh) 2017-08-01
CA2967249C (en) 2023-03-14
CN107004419B (zh) 2021-02-02
EP3226241A4 (en) 2018-06-20
EP3226241B1 (en) 2022-08-17
US10880597B2 (en) 2020-12-29
WO2016084592A1 (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
JP6624068B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11700388B2 (en) Transmission device, transmitting method, reception device, and receiving method
CN105981391B (zh) 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法
KR102190718B1 (ko) Dash 에서 피쉬아이 가상 현실 비디오에 대한 강화된 하이레벨 시그널링
KR102247404B1 (ko) 어안 가상 현실 비디오에 대한 향상된 고레벨 시그널링
JP6908168B2 (ja) 受信装置、受信方法、送信装置および送信方法
CN110622516B (zh) 用于鱼眼视频数据的高级发信号
JPWO2017006948A1 (ja) 受信装置、受信方法、送信装置および送信方法
JPWO2016185947A1 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
JP2021105735A (ja) 受信装置および受信方法
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法
WO2017104519A1 (ja) 送信装置、送信方法、受信装置および受信方法
CA3071560C (en) Transmission apparatus, transmission method, reception apparatus, and reception method
KR20150045869A (ko) 전송 스트림 시스템 타겟 디코더 모델에 기초한 하이브리드 서비스를 제공하는 영상 수신 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191111

R151 Written notification of patent or utility model registration

Ref document number: 6624068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250