JPWO2016163325A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JPWO2016163325A1
JPWO2016163325A1 JP2017510971A JP2017510971A JPWO2016163325A1 JP WO2016163325 A1 JPWO2016163325 A1 JP WO2016163325A1 JP 2017510971 A JP2017510971 A JP 2017510971A JP 2017510971 A JP2017510971 A JP 2017510971A JP WO2016163325 A1 JPWO2016163325 A1 JP WO2016163325A1
Authority
JP
Japan
Prior art keywords
information
audio
predetermined
stream
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017510971A
Other languages
English (en)
Other versions
JP6809450B2 (ja
Inventor
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016163325A1 publication Critical patent/JPWO2016163325A1/ja
Application granted granted Critical
Publication of JP6809450B2 publication Critical patent/JP6809450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

所定の情報を所定数のオーディオフレームに分割して送信するとき、受信側において当該所定の情報の取得処理を容易かつ適切に行い得るようにする。オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続したオーディオ圧縮データストリームを生成する。所定の情報をオーディオ圧縮データストリームに挿入して送信する。所定の情報をオーディオ圧縮データストリームの所定数のオーディオフレームに分割して挿入し、各分割情報に、最初の情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、オーディオ圧縮データストリームに所定の情報を挿入して送信する送信装置等に関する。
例えば、特許文献1には、放送局、配信サーバ等から所定の情報をオーディオ圧縮データストリームに挿入して送信し、受信側のセットトップボックスがこのオーディオ圧縮データストリームをそのままHDMIのデジタルインタフェースを介してテレビ受信機に送信し、テレビ受信機が当該所定の情報を利用した情報処理を行うことが提案されている。
特開2012−010311号公報
本技術の目的は、所定の情報を所定数のオーディオフレームに分割して送信するとき、受信側において当該所定の情報の取得処理を容易かつ適切に行い得るようにすることにある。
本技術の概念は、
オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続したオーディオ圧縮データストリームを生成するストリーム生成部と、
上記オーディオ圧縮データストリームに所定の情報を挿入する情報挿入部と、
上記所定の情報が挿入されたオーディオ圧縮データストリームを送信するストリーム送信部を備え、
上記情報挿入部は、
上記オーディオ圧縮データストリームの所定数のオーディオフレームに上記所定の情報を分割して挿入し、各分割情報に、最初の情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する
送信装置にある。
本技術において、ストリーム生成部により、オーディオデータにエンコード処理が施されて、オーディオ圧縮データを含むオーディオフレームが連続したオーディオ圧縮データストリームが生成される。情報挿入部により、オーディオ圧縮データストリームに所定の情報が挿入される。例えば、所定の情報は、ネットワークアクセス情報またはメディアファイルである、ようにされてもよい。
ここで、オーディオ圧縮データストリームの所定数のオーディオフレームに所定の情報が分割挿入されるとき、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加される。
このように本技術においては、所定の情報が分割挿入され、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加される。そのため、受信側では、第1の情報から最初の分割情報を認識でき、また、この最初の分割情報に対応した第2の情報から分割数を認識でき、さらに、第2の情報から残りの分割情報の数を認識でき、所定の情報の取得処理を容易かつ適切に行うことが可能となる。
なお、本技術において、例えば、情報挿入部は、オーディオ圧縮データストリームに所定の情報を挿入するとき、この所定の情報に、時間同期を管理するためのUTCベースの時刻情報を付加する、ようにされてもよい。この場合、例えば、時刻情報は、絶対時刻または所定の基準時刻からの差分値である、ようにされてもよい。このようにUTCベースの時刻情報であるので、汎用システムとの親和性を持たせることができる。
また、本技術の他の概念は、
所定の情報が挿入されたオーディオ圧縮データストリームを、外部機器からデジタルインタフェースを介して受信するストリーム受信部を備え、
上記オーディオ圧縮データストリームの所定数のオーディオフレームに、上記所定の情報が分割されて得られた分割情報のそれぞれが、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加されて挿入されており、
上記オーディオ圧縮データストリームにデコード処理を施してオーディオデータを得ると共に、上記第1の情報および上記第2の情報に基づいて上記所定数のオーディオフレームから上記所定の情報を構成する各分割情報を得るデコード処理部と、
上記デコード処理部で得られた上記所定の情報を利用した情報処理を行う情報処理部をさらに備える
受信装置にある
本技術において、受信部により、所定の情報が挿入されたオーディオ圧縮データストリームが、外部機器から、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースを介して受信される。このオーディオ圧縮データストリームの所定数のオーディオフレームに、所定の情報が分割されて得られた分割情報のそれぞれが、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加されて挿入されている。
デコード処理部により、オーディオ圧縮データストリームにデコード処理が施されてオーディオデータが得られると共に、第1の情報および第2の情報に基づいて所定数のオーディオフレームから所定の情報を構成する各分割情報が得られる。そして、情報処理部により、デコード処理部で得られた所定の情報が利用された情報処理が行われる。
例えば、所定情報は、ネットワークアクセス情報であり、情報処理部は、ネットワークアクセス情報を利用してネットワーク上の所定のサーバにアクセスして所定のメディア情報を取得する、ようにされてもよい。また、例えば、所定情報は、メディアファイルであり、情報処理部は、メディアファイルの再生処理を行う、ようにされてもよい。
このように本技術においては、所定数のオーディオフレームから所定の情報を構成する各分割情報を得る処理が第1の情報および第2の情報に基づいて行われる。この場合、第1の情報から最初の分割情報を認識でき、また、この最初の分割情報に対応した第2の情報から分割数を認識でき、さらに、第2の情報から残りの分割情報の数を認識でき、所定の情報の取得処理を容易かつ適切に行うことが可能となる。
なお、本技術において、例えば、所定の情報に時間同期を管理するためのUTCベースの時刻情報が付加されており、情報処理部は、所定の情報を利用した情報処理の時間管理を、この所定の情報に付加されている時刻情報に基づいて行う、ようにされてもよい。
本技術によれば、所定の情報を所定数のオーディオフレームに分割して送信するとき、受信側において当該所定の情報の取得処理を容易かつ適切に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 放送送出装置が備えるストリーム生成部の構成例を示すブロック図である。 MPEG−H 3D Audioの伝送データにおけるオーディオフレーム(1024サンプル)の構造例を示す図である。 エクステンションエレメントのタイプとその値の対応関係を示す図である。 ユニバーサル・メタデータをエクステンションエレメントとして含むユニバーサル・メタデータ・フレームの構成例を示す図である。 ユニバーサル・メタデータ・フレーム内の「time_information()」のフィールドの構成例を示す図である。 ユニバーサル・メタデータ・フレームおよび「time_information()」のフィールドの構成例における主要な情報の内容を示す図である。 コンテナ対象データが複数のユニバーサル・メタデータ・フレームで伝送される場合の例を示す図である。 コンテナ対象データが1つのユニバーサル・メタデータ・フレームで伝送される場合の例を示す図である。 複数のコンテナ対象データが複数のユニバーサル・メタデータ・フレームで伝送される場合の例を示す図である。 複数のコンテナ対象データの実行が、それに付加されている時刻情報に基づいてオーディオ PTSとは独立して管理される例を示す図である。 受信側におけるコンテナ対象データ(所定の情報)の実行がオーディオタイムスタンプ非依存で行い得ることを示す図である。 複数のコンテナ対象データが、それに付加されている時刻情報に基づいて同期管理される具体例を示す図である。 セットトップボックスの構成例を示すブロック図である。 オーディオアンプの構成例を示すブロック図である。 テレビ受信機の構成例を示すブロック図である。 HDMI送信部とHDMI受信部の構成例を示すブロック図である。 TMDSチャネルで画像データが伝送される場合の各種の伝送データの区間を示す図である。 送受信システムの他の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、放送送出装置100と、セットトップボックス(STB)200と、オーディオアンプ(AMP)300と、テレビ受信機(TV)500を有している。オーディオアンプ300には、マルチチャネル用のスピーカシステム400が接続されている。
セットトップボックス200とオーディオアンプ300は、HDMIケーブル610を介して接続されている。この場合、セットトップボックス200がソースで、オーディオアンプ300はディスティネーションである。また、オーディオアンプ300とテレビ受信機500は、HDMIケーブル620を介して接続されている。この場合、オーディオアンプ300がソースで、テレビ受信機500はディスティネーションである。なお、「HDMI」は登録商標である。
放送送出装置100は、トランスポートストリームTSを、放送波に載せて送信する。このトランスポートストリームTSには、ビデオストリームおよびオーディオストリーム(オーディオ圧縮データストリーム)が含まれる。放送送出装置100は、オーディオストリームに、ネットワークアクセス情報、メディアファイルなどの所定の情報をコンテナ対象データとして挿入する。
例えば、ネットワークアクセス情報には、リンクサーバに接続するためのURLの情報、“Activate”または“Inactivate”などのリンクサーバに対する制御を行うコントロールコード群などが含まれる。例えば、メディアファイルには、キャラクタデータなどの一般のデータファイル、オーディオデータファイル、オーディオ・ビジュアルデータファイルなどが含まれる。
放送送出装置100は、オーディオストリームの所定数のオーディオフレームに所定の情報を分割して挿入する。このとき、放送送出装置100は、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する。なお、所定数は1を含むものとする。所定数が1であるとき、所定の情報は、実際には分割されず、その全体が1つのオーディオフレームに挿入される。
また、放送送出装置100は、オーディオストリームに所定の情報を挿入するとき、この所定の情報に、時間同期を管理するためのUTC(Coordinated Universal Time:協定世界時)ベースの時刻情報を付加する。例えば、時刻情報は、絶対時刻または所定の基準時刻からの差分値である。
セットトップボックス200は、放送送出装置100から放送波に載せて送信されてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、上述したように、ビデオストリームおよびオーディオストリームが含まれており、オーディオストリームには所定の情報が挿入されている。
セットトップボックス200は、ビデオストリームにデコード処理を施して得られた非圧縮のビデオデータと共に、受信されたオーディオストリームそのものを、HDMIケーブル610を介して、オーディオアンプ300に送信する。これにより、オーディオストリームに挿入されている所定の情報もオーディオアンプ300に送られることとなる。
オーディオアンプ300は、セットトップボックス200から、HDMIケーブル610を介して、非圧縮のビデオデータと共に、所定の情報が挿入されているオーディオストリームを受信する。オーディオアンプ300は、オーディオストリームにデコード処理を施してマルチチャネル用のオーディオデータを得、このオーディオデータをスピーカシステム400に供給する。
また、オーディオアンプ300は、受信された非圧縮のビデオデータとオーディオストリームを、HDMIケーブル620を介して、テレビ受信機500に送信する。これにより、オーディオストリームに挿入されている所定の情報もテレビ受信機500に送られることとなる。
テレビ受信機500は、オーディオアンプ300から、HDMIケーブル620を介して、非圧縮のビデオデータと共に、所定の情報が挿入されているオーディオストリームを受信する。テレビ受信機500は、非圧縮のビデオデータによる画像を表示する。また、テレビ受信機500は、オーディオストリームにデコード処理を施し、所定の情報を取得する。
所定の情報はオーディオストリームの所定数のオーディオフレームに分割されて挿入され、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加されている。テレビ受信機500は、第1の情報および第2の情報に基づいて、所定数のオーディオフレームから、所定の情報を構成する各分割情報を取得する。
この場合、テレビ受信機500は、第1の情報から最初の分割情報を認識でき、また、この最初の分割情報に対応した第2の情報から分割数を認識でき、さらに、第2の情報から残りの分割情報の数を認識できる。そのため、テレビ受信機500は、所定数のオーディオフレームから、所定の情報を構成する各分割情報を、容易かつ適切に、取得できる。
テレビ受信機500は、所定の情報を利用した情報処理を行う。例えば、所定の情報がネットワークアクセス情報であるとき、テレビ受信機500は、ネットワーク上の所定のサーバにアクセスして所定のメディア情報を取得する。また、例えば、所定の情報がメディアファイルであるとき、テレビ受信機500は、そのメディアファイルの再生処理を行う。
所定の情報には、時間同期を管理するためのUTCベースの時刻情報が付加されている。テレビ受信機500は、所定の情報を利用した情報処理の時間管理を、この付加されている時刻情報に基づいて行う。
[放送送出装置のストリーム生成部]
図2は、放送送出装置100が備えるストリーム生成部110の構成例を示している。このストリーム生成部110は、制御部111と、ビデオエンコーダ112と、オーディオエンコーダ113と、マルチプレクサ114を有している。
制御部111は、CPU111aを備えており、ストリーム生成部110の各部を制御する。ビデオエンコーダ112は、ビデオデータ(画像データ)SVに対して、MPEG2、H.264/AVC、H.265/HEVCなどの符号化を施し、ビデオストリーム(ビデオエレメンタリストリーム)を生成する。ビデオデータSVは、例えば、HDDなどの記録媒体から再生されたビデオデータ、あるいはビデオカメラで得られたライブビデオデータなどである。
オーディオエンコーダ113は、オーディオデータ(音声データ)SAに対して、MPEG−H 3D Audioの圧縮フォーマットによる符号化を施し、オーディオストリーム(オーディオエレメンタリストリーム)を生成する。オーディオデータSAは、上述のビデオデータSVに対応しており、HDDなどの記録媒体から再生されたオーディオデータ、あるいはマイクロホンで得られたライブオーディオデータなどである。
オーディオエンコーダ113は、オーディオ符号化ブロック部113aおよびオーディオフレーミング部113bを有している。オーディオ符号化ブロック部113aで符号化ブロックが生成され、オーディオフレーミング部113bでフレーミングが行われる。
オーディオエンコーダ113は、制御部111による制御のもと、オーディオストリームに、所定の情報を挿入する。この実施の形態において、所定の情報は、例えば、ネットワークアクセス情報、メディアファイルなどである。
オーディオエンコーダ113は、オーディオストリームの所定数(1を含む)のオーディオフレームに所定の情報を分割して挿入する。このとき、オーディオエンコーダ113は、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する。また、このとき、オーディオエンコーダ113は、所定の情報に、時間同期を管理するためのUTCベースの時刻情報(実行時刻を示す時間情報)を付加する。
図3は、MPEG−H 3D Audioの伝送データにおけるオーディオフレーム(1024サンプル)の構造例を示している。このオーディオフレームは、複数のMPEGオーディオストリームパケット(mpeg Audio Stream Packet)からなっている。各MPEGオーディオストリームパケットは、ヘッダ(Header)とペイロード(Payload)により構成されている。
ヘッダは、パケットタイプ(Packet Type)、パケットラベル(Packet Label)、パケットレングス(Packet Length)などの情報を持つ。ペイロードには、ヘッダのパケットタイプで定義された情報が配置される。このペイロード情報には、同期スタートコードに相当する“SYNC”と、3Dオーディオの伝送データの実際のデータである“Frame”と、この“Frame”の構成を示す“Config”が存在する。
“Frame”には、3Dオーディオの伝送データを構成するチャネル符号化データとオブジェクト符号化データが含まれる。ここで、チャネル符号化データは、SCE(Single Channel Element)、CPE(Channel Pair Element)、LFE(Low Frequency Element)などの符号化サンプルデータで構成される。また、オブジェクト符号化データは、SCE(Single Channel Element)の符号化サンプルデータと、それを任意の位置に存在するスピーカにマッピングさせてレンダリングするためのメタデータにより構成される。このメタデータは、エクステンションエレメント(Ext_element)として含まれる。
この実施の形態では、エクステンションエレメント(Ext_element)として、ネットワークアクセス情報、メディアファイルなどの所定の情報をユニバーサル・メタデータ(universal_metadata)として持つエレメント(Ext_userdata)を新たに定義する。これに伴って、“Config”に、そのエレメント(Ext_universal_metadata)の構成情報(universal_metadataConfig)を新たに定義する。
図4は、エクステンションエレメント(Ext_element)のタイプ(ExElementType)と、その値(Value)との対応関係を示している。現状は、0〜7が決められている。128以降はMPEG以外まで拡張可能なので、例えば、128を、新たに、“ID_EXT_ELE_universal_metadata”のタイプの値として定義する。なお、MPEGなどの規格の場合は、8〜127で定義することも可能である。
図5は、ユニバーサル・メタデータをエクステンションエレメントとして含むユニバーサル・メタデータ・フレーム(universal_metadata_frame())の構成例(syntax)を示している。図6は、ユニバーサル・メタデータ・フレーム内の「time_information()」のフィールドの構成例(syntax)を示している。図7は、各構成例における主要な情報の内容(semantics)を示している。
「metadata_type」の8ビットフィールドは、コンテナ対象データの種類を示す。例えば、“0x10”はコンテナ対象データがネットアクセス情報であることを示し、“0x11”はコンテナ対象データがメディアファイルであることを示す。「start_flag」の1ビットフィールドは、コンテナ対象データの開始か否かを示す。“1”は開始を示し、“0”は開始でないことを示す。「dcounter」の7ビットフィールドは、分割されたメタデータの分割位置を降順のカウント数で示す。“0”が最後の分割部分を示すものである。「start_flag」が“1” かつ、「dcounter」が“0”の場合、分割されてないコンテナ対象データであることを示す。
「dt_id」の6ビットフィールドは、データのIDを示す。アプリケーションでデータのIDを参照して関連付けが可能になる。「timing_control_flag」の1ビットフィールドは、同期管理情報が挿入されているかどうかを示す。“1”は挿入されていることを示し、“0”は挿入されていないことを示す。「length」の8ビットフィールドは、以降のデータのサイズをバイトカウント値で示す。
「data_byte」のフィールドに、コンテナ対象データ(ネットワークアクセス情報、メディアファイルなど)が配置される。また、「timing_control_flag」が“1”であるとき、「time_information()」のフィールドが存在する。
「absolute_time_flag」の1ビットフィールドは、実行時刻がUTC絶対時刻であるか基準時刻からの差分値であるかを示す。“1”は、UTC絶対時刻であることを示す。“0”は、基準時刻からの差分値であることを示す。
「absolute_time_flag」が“1”であるとき、「exec_time_msw」の32ビットフィールドと、「exec_time_1sw」の32ビットフィールドが存在する。「exec_time_msw」のフィールドは、データの実行時刻であるUTC絶対時刻の上位32ビットを示し、「exec_time_1sw」のフィールドは、その下位32ビットを示す。
「absolute_time_flag」が“0”であるとき、「reference_UTC_msw」の32ビットフィールドと、「reference_UTC_lsw」の32ビットフィールドと、「offset_exec_time_msw」の32ビットフィールドと、「offset_exec_time_1sw」の32ビットフィールドが存在する。「reference_UTC_msw」のフィールドは、基準時刻の上位32ビットを示し、「reference_UTC_lsw」のフィールドは、基準時刻の下位32ビットを示す。「offset_exec_time_msw」のフィールドは、データの実行時刻である基準時刻からの差分値の上位32ビットを示し、「offset_exec_time_1sw」のフィールドは、その下位32ビットを示す。
図2に戻って、マルチプレクサ114は、ビデオエンコーダ112から出力されるビデオストリームおよびオーディオエンコーダ113から出力されるオーディオストリームを、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
図2に示すストリーム生成部110の動作を簡単に説明する。ビデオデータSVはビデオエンコーダ112に供給される。このビデオエンコーダ112では、ビデオデータSVに対してH.264/AVC、H.265/HEVCなどの符号化が施され、符号化ビデオデータを含むビデオストリームが生成される。
また、オーディオデータSAは、オーディオエンコーダ113に供給される。このオーディオエンコーダ113では、そのオーディオデータSAに対して、MPEG−H 3D Audioの圧縮フォーマットによる符号化が施され、オーディオストリーム(オーディオ圧縮データストリーム)が生成される。
この際、制御部111からオーディオエンコーダ113に、オーディオストリームに挿入すべき所定の情報(ネットワークアクセス情報、メディアファイルなど)、すなわちコンテナ対象データが供給される。オーディオエンコーダ113では、オーディオストリームの所定数(1を含む)のオーディオフレームにコンテナ対象データ(所定の情報)が分割して挿入される。このとき、オーディオエンコーダ113では、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加される。また、このとき、オーディオエンコーダ113では、所定の情報に、時間同期を管理するためのUTCベースの時刻情報(実行時刻を示す時間情報)が付加される。
ビデオエンコーダ112で生成されたビデオストリームは、マルチプレクサ114に供給される。また、オーディオエンコーダ113で生成されたオーディオストリームは、マルチプレクサ114に供給される。そして、このマルチプレクサ114では、各エンコーダから供給されるストリームがパケット化されて多重され、伝送データとしてトランスポートストリームTSが得られる。
[コンテナ対象データ(所定の情報)の挿入]
オーディオストリームへのコンテナ対象データの挿入についてさらに説明する。図8は、コンテナ対象データが、複数のユニバーサル・メタデータ・フレームで伝送される場合の例を示している。
この場合、コンテナ対象データは複数に分割され、複数の分割情報のそれぞれが複数のユニバーサル・メタデータ・フレームに振り分けられ、「data_byte」のフィールドに挿入される(図5参照)。ここで、最初の分割情報に対応した「start_flag」は“1”とされ、最初の分割情報であることが示される。また、最初の分割情報に対応した「dcounter」は“n−1” とされ、その値に1を加算することで分割数“n”が示される。
2番目以降の分割情報に対応した「start_flag」は“0”とされ、最初の分割情報でないことが示される。また、2番目以降の分割情報に対応した「dcounter」は“n−1”から順次デクリメントされたカウント数とされ、分割位置が示されると共に、残りの分割情報の数が示される。また、最後の分割情報に対応した「dcounter」は“0”とされ、最後の分割情報であることが示される。
なお、最初の分割情報に対応した「dcounter」を“n” とし、2番目以降の分割情報に対応した「dcounter」を“n”から順次デクリメントされたカウント数とし、最後の分割情報に対応した「dcounter」を“1”とすることも考えられる。最初の分割情報に対応した「dcounter」の“n”は分割数を示し、「dcounter」が“1”であることは、最後の分割情報であることを示すものとなる。
図9は、コンテナ対象データが、1つのユニバーサル・メタデータ・フレームで伝送される場合の例を示している。この場合、コンテナ対象データは分割されずに、1つのユニバーサル・メタデータ・フレームの「data_byte」のフィールドに挿入される(図5参照)。ここで、「start_flag」は“1”とされ、最初の分割情報であることが示される。また、「dcounter」は“0” とされ、最後の分割情報であることが示される。従って、これらの情報から、分割されていないことが示される。
図10は、複数のコンテナ対象データが、複数のユニバーサル・メタデータ・フレームで伝送される場合の例を示している。図示の例は、「dt_id」が“0”で示されるコンテナ対象データAと、「dt_id」が“1”であるコンテナ対象データBの2つのコンテナ対象データが伝送される場合の例である。
この場合、コンテナ対象データAは3分割され、3つの分割情報のそれぞれが3つのユニバーサル・メタデータ・フレームに振り分けられ、「data_byte」のフィールドに挿入される(図5参照)。ここで、最初の分割情報に対応した「start_flag」は“1”とされ、最初の分割情報であることが示される。また、最初の分割情報に対応した「dcounter」は“2” とされ、その値に1を加算することで分割数“3”が示される。
2番目の分割情報に対応した「start_flag」は“0”とされ、最初の分割情報でないことが示される。また、2番目の分割情報に対応した「dcounter」は“1”とされ、分割位置が示されると共に、残りの分割情報の数が”1“であることが示される。また、最後の分割情報に対応した「start_flag」は“0”とされ、最後の分割情報でないことが示される。そして、最後の分割情報に対応した「dcounter」は“0”とされ、最後の分割情報であることが示される。
また、コンテナ対象データBは分割されずに、1つのユニバーサル・メタデータ・フレームの「data_byte」のフィールドに挿入される(図5参照)。ここで、「start_flag」は“1”とされ、最初の分割情報であることが示される。また、「dcounter」は“0” とされ、最後の分割情報であることが示される。従って、これらの情報から、分割されていないことが示される。
[コンテナ対象データ(所定の情報)の同期管理]
コンテナ対象データ(所定の情報)の同期管理について説明する。図11は、複数のコンテナ対象データの実行が、それに付加されている時刻情報に基づいて、オーディオ PTSとは独立して、管理される例を示している。
この例では、「dt_id」が“1”であるコンテナ対象データはそれに対応した実行時刻(exec_time)のタイミングで実行が開始され、「dt_id」が“2”であるコンテナ対象データはそれに対応した実行時刻のタイミングで実行が開始され、さらに、「dt_id」が“3”であるコンテナ対象データはそれに対応した実行時刻のタイミングで実行が開始される。
図12は、受信側におけるコンテナ対象データ(所定の情報)の実行が、オーディオタイムスタンプ非依存で行い得ることを示している。この例では、コンテナ対象データが3つ(Data_0-1,Data_0-2,Data_0-3)に分割されて、3つのオーディオフレームに振り分けられて挿入されている。
また、この例では、コンテナ対象データの実行時刻が基準時刻からの差分値OFSで与えられている場合を示し、この基準時刻が“Audio timestamp(n)”に一致する場合を示している。この“Audio timestamp(n)”は、オーディオフレーム0(Frame 0)がデコードされて得られたオーディオデータ(オーディオサンプル)の出力が開始されるタイミングを示している。この“Audio timestamp(n)”は「UTC値」に対応している。
3つのオーディオフレームに分割挿入されて伝送されるコンテナ対象データは、基準時刻に差分値OFSが加算された時刻を実行時刻(exec time)として、その実行が開始される。つまり、コンテナ対象データの実行がオーディオタイムスタンプ非依存で行われる。
ここで、コンテナ対象データが、その中に相対的なタイプスタンプを持つ場合には、実行時刻を基点とした相対時刻による同期管理が行われる。例えば、コンテナ対象データが時間の概念のないMP3のようなメディアファイルである場合には、実行時刻から直ちに再生が開始される。また、例えば、コンテナ対象が相対的なタイムスタンプを持っているMP4のようなメディアファイルである場合には、実行時刻を基点とした再生同期管理が行われる。
なお、図12の例は、コンテナ対象データの実行時刻が基準時刻からの差分値OFSで与えられる場合を示したが、このコンテナ対象データの実行時刻が、実行時刻(exec time)を示すUTC絶対時刻「UTC´値」で与えられても同様である。つまり、コンテナ対象データに付加する実行時刻を示す時刻情報としては、上述したように、UTC絶対時刻あるいは基準時刻からの差分値が考えられる。
図13は、複数のコンテナ対象データが、それに付加されている時刻情報に基づいて同期管理される具体例を示している。この例では、「dt_id」が“1”であるコンテナ対象データとして、リンクサーバに接続するためのURLの情報と、“Activate”または“Inactivate”などのリンクサーバに対する制御を行うコントロールコード群が伝送される。
この場合、「exec time1」の実行時刻で、URLによりリンクサーバへの接続が実行さされ、その後、「exec time3」の実行時刻からコントロールコード群により当該リンクサーバに対して“Activate”または“Inactivate”などの制御が実行され、当該リンクサーバからのメディア再生の開始、その終了など行われる。
また、この例では、「dt_id」が“2”であるコンテナ対象データとして、リンクサーバに接続するためのURLの情報と、“Activate”または“Inactivate”などのリンクサーバに対する制御を行うコントロールコード群が伝送される。
この場合、「exec time2」の実行時刻で、URLによりリンクサーバへの接続が実行さされ、その後、「exec time4」の実行時刻からコントロールコード群により当該リンクサーバに対して“Activate”または“Inactivate”などの制御が実行され、当該リンクサーバからのメディア再生の開始、その終了など行われる。
また、この例では、「dt_id」が“3”であるコンテナ対象データとして、メディアファイルが伝送される。「exec time5」の実行時刻から、メディアファイルの再生が開始される。
[セットトップボックスの構成例]
図14は、セットトップボックス200の構成例を示している。このセットトップボックス200は、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモコン受信部205と、リモコン送信機206を有している。また、セットトップボックス200は、アンテナ端子211と、デジタルチューナ212と、デマルチプレクサ213と、ビデオデコーダ214と、オーディオフレーミング部215と、HDMI送信部216と、HDMI端子217を有している。
CPU201は、セットトップボックス200の各部の動作を制御する。フラッシュROM202は、制御ソフトウェアの格納およびデータの保管を行う。DRAM203は、CPU201のワークエリアを構成する。CPU201は、フラッシュROM202から読み出したソフトウェアやデータをDRAM203上に展開してソフトウェアを起動させ、セットトップボックス200の各部を制御する。
リモコン受信部205は、リモコン送信機206から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU201に供給する。CPU201は、このリモコンコードに基づいて、セットトップボックス200の各部を制御する。CPU201、フラッシュROM202およびDRAM203は、内部バス204に接続されている。
アンテナ端子211は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ212は、アンテナ端子211に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームTSを出力する。
デマルチプレクサ213は、トランスポートストリームTSからビデオストリームのパケットを抽出し、ビデオデコーダ214に送る。ビデオデコーダ214は、デマルチプレクサ213で抽出されたビデオのパケットからビデオストリームを再構成し、デコード処理を行って非圧縮のビデオデータ(画像データ)を得る。
また、デマルチプレクサ213は、トランスポートストリームTSからオーディオストリームのパケットを抽出し、オーディオストリームを再構成する。オーディオフレーミング部215は、このように再構成されたオーディオストリームに対してフレーミングを行う。このオーディオストリームには、上述のストリーム生成部110(図2参照)で説明したように、ネットワークアクセス情報、メディアファイルなどの所定の情報(コンテナ対象データ)が挿入されている。
HDMI送信部216は、HDMIに準拠した通信により、ビデオデコーダ214で得られた非圧縮のビデオデータと、オーディオフレーミング部215でフレーミングされた後のオーディオストリームを、HDMI端子217から送出する。HDMI送信部216は、HDMIのTMDSチャネルで送信するため、ビデオデータおよびオーディオストリームをパッキングして、HDMI端子217に出力する。このHDMI送信部216の詳細は後述する。
セットトップボックス200の動作を簡単に説明する。アンテナ端子211に入力されたテレビ放送信号はデジタルチューナ212に供給される。このデジタルチューナ212では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリームTSが出力される。
デジタルチューナ212から出力されるトランスポートストリームTSは、デマルチプレクサ213に供給される。このデマルチプレクサ213では、トランスポートストリームTSからビデオのエレメンタリストリームのパケットが抽出され、ビデオデコーダ214に送られる。
ビデオデコーダ214では、デマルチプレクサ213で抽出されたビデオのパケットからビデオストリームが再構成された後、そのビデオストリームに対してデコード処理が行われて、非圧縮のビデオデータが得られる。この非圧縮のビデオデータは、HDMI送信部216に供給される。
また、デマルチプレクサ213では、トランスポートストリームTSからオーディオストリームのパケットが抽出され、ネットワークアクセス情報、メディアファイルなどの所定の情報(コンテナ対象データ)が挿入されているオーディオストリームが再構成される。このオーディオストリームはオーディオフレーミング部215でフレーミングされた後に、HDMI送信部216に供給される。そして、HDMI送信部216では、非圧縮のビデオデータおよびオーディオストリームがパッキングされ、HDMI端子217からHDMIケーブル610を介してオーディオアンプ300に送信される。
[オーディオアンプの構成例]
図15は、オーディオアンプ300の構成例を示している。オーディオアンプ300は、CPU301と、フラッシュROM302と、DRAM303と、内部バス304と、リモコン受信部305と、リモコン送信器306を有している。また、オーディオアンプ300は、HDMI端子311と、HDMI受信部312と、オーディオデコーダ313と、音声処理回路314と、音声増幅回路315と、音声出力端子316と、HDMI送信部317と、HDMI端子318を有している。
CPU301は、オーディオアンプ300の各部の動作を制御する。フラッシュROM302は、制御ソフトウェアの格納およびデータの保管を行う。DRAM303は、CPU301のワークエリアを構成する。CPU301は、フラッシュROM302から読み出したソフトウェアやデータをDRAM303上に展開してソフトウェアを起動させ、オーディオアンプ300の各部を制御する。
リモコン受信部305は、リモコン送信機306から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU301に供給する。CPU301は、このリモコンコードに基づいて、オーディオアンプ300の各部を制御する。CPU301、フラッシュROM302およびDRAM303は、内部バス304に接続されている。
HDMI受信部312は、HDMIに準拠した通信により、HDMIケーブル610を介してHDMI端子311に供給される非圧縮のビデオデータとオーディオストリームを受信する。オーディオストリームには、上述のセットトップボックス200(図14参照)で説明したように、ネットワークアクセス情報、メディアファイルなどの所定の情報(コンテナ対象データ)が挿入されている。このHDMI受信部312の詳細は後述する。
オーディオデコーダ313は、HDMI受信部212で受信されたオーディオストリームに対してデコード処理を施し、所定チャネル数の非圧縮のオーディオデータ(音声データ)を得る。音声処理回路314は、所定チャネル数の非圧縮のオーディオデータに、スピーカシステム400(図1参照)の構成に応じて必要なアップ/ダウンミックス処理を施して、必要なチャネル数のオーディオデータを得ると共に、D/A変換等の必要な処理を施す。
音声増幅回路315は、音声処理回路314で得られた各チャネルのオーディオ信号を増幅して音声出力端子316に出力する。なお、音声出力端子316には、スピーカシステム400が接続される。
HDMI送信部317は、HDMIに準拠した通信により、HDMI受信部212で受信された非圧縮のビデオデータとオーディオストリームを、HDMI端子318から送出する。HDMI送信部317は、HDMIのTMDSチャネルで送信するため、非圧縮のビデオデータおよびオーディオストリームをパッキングして、HDMI端子318に出力する。このHDMI送信部317の詳細は後述する。
図15に示すオーディオアンプ200の動作を簡単に説明する。HDMI受信部312では、セットトップボックス200からHDMIケーブル610を介してHDMI端子311に送信されてくる、非圧縮のビデオデータとオーディオストリームが受信される。
HDMI受信部312で受信されたオーディオストリームは、オーディオデコーダ313に供給される。オーディオデコーダ313では、オーディオストリームに対してデコード処理が施されて、所定チャネル数の非圧縮のオーディオデータが得られる。このオーディオデータは、音声処理回路314に供給される。
音声処理回路314では、所定チャネル数の非圧縮のオーディオデータに、スピーカシステム400(図1参照)の構成に応じて必要なアップ/ダウンミックス処理が施されて、必要なチャネル数のオーディオデータが得られると共に、D/A変換等の必要な処理が施される。音声処理回路314から出力される各チャネルのオーディオデータは音声増幅回路315で増幅されて音声出力端子316に出力される。そのため、音声出力端子316に接続されたスピーカシステム400から所定チャネル数の音声出力が得られる。
また、HDMI受信部312で受信された非圧縮のビデオデータとオーディオストリームは、HDMI送信部317に供給される。なお、HDMI受信部312で受信された非圧縮のビデオデータそのものではなく、この非圧縮のビデオデータにグラフィックスデータの重畳等の処理が施された後のビデオデータがHDMI送信部317に供給されてもよい。HDMI送信部317では、これらの非圧縮のビデオデータおよびオーディオストリームがパッキングされ、HDMI端子318からHDMIケーブル620を介してテレビ受信機500に送信される。
[テレビ受信機の構成例]
図16は、テレビ受信機500の構成例を示している。このテレビ受信機500は、CPU501と、フラッシュROM502と、DRAM503と、内部バス504と、リモコン受信部505と、リモコン送信器506と、通信インタフェース507を有している。
また、テレビ受信機500は、アンテナ端子511と、デジタルチューナ512と、デマルチプレクサ513と、ビデオデコーダ514と、HDMI端子515と、HDMI受信部516を有している。また、テレビ受信機500は、映像処理回路517と、パネル駆動回路518と、表示パネル519と、オーディオデコーダ520と、音声処理回路521と、音声増幅回路522と、スピーカ523を有している。
CPU501は、テレビ受信機500の各部の動作を制御する。フラッシュROM502は、制御ソフトウェアの格納およびデータの保管を行う。DRAM503は、CPU501のワークエリアを構成する。CPU501は、フラッシュROM502から読み出したソフトウェアやデータをDRAM503上に展開してソフトウェアを起動させ、テレビ受信機500の各部を制御する。
リモコン受信部505は、リモコン送信機506から送信されたリモートコントロール信号(リモコンコード)を受信し、CPU501に供給する。CPU501は、このリモコンコードに基づいて、テレビ受信機500の各部を制御する。CPU501、フラッシュROM502およびDRAM503は、内部バス504に接続されている。
通信インタフェース507は、CPU501の制御のもと、インターネット等のネットワーク上に存在するサーバとの間で通信を行う。この通信インタフェース507は、内部バス504に接続されている。
アンテナ端子511は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ512は、アンテナ端子511に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応したトランスポートストリームTSを出力する。
デマルチプレクサ513は、トランスポートストリームTSからビデオストリームのパケットを抽出し、ビデオデコーダ514に送る。ビデオデコーダ514は、デマルチプレクサ513で抽出されたビデオのパケットからビデオストリームを再構成し、デコード処理を行って非圧縮のビデオデータ(画像データ)を得る。
また、デマルチプレクサ513は、トランスポートストリームTSからオーディオストリームのパケットを抽出し、オーディオストリームを再構成する。このオーディオストリームには、上述のストリーム生成部110(図2参照)で説明したように、ネットワークアクセス情報、メディアファイルなどの所定の情報(コンテナ対象データ)が挿入されている。
HDMI受信部516は、HDMIに準拠した通信により、HDMIケーブル620を介してHDMI端子515に供給される非圧縮のビデオデータとオーディオストリームを受信する。オーディオストリームには、上述のオーディオアンプ300(図15参照)で説明したように、ネットワークアクセス情報、メディアファイルなどの所定の情報(コンテナ対象データ)が挿入されている。このHDMI受信部516の詳細は後述する。
映像処理回路517は、ビデオデコーダ514で得られた、あるいはHDMI受信部516で得られたビデオデータ、さらには、通信インタフェース507でネット上のサーバから受信されたビデオデータなどに対してスケーリング処理、合成処理などを行って、表示用のビデオデータを得る。
パネル駆動回路518は、映像処理回路517で得られる表示用の画像データに基づいて、表示パネル519を駆動する。表示パネル519は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成されている。
オーディオデコーダ520は、デマルチプレクサ513で得られた、あるいはHDMI受信部516で得られたオーディオストリームに対してデコード処理を施して非圧縮のオーディオデータ(音声データ)を得る。また、オーディオデコーダ520は、オーディオストリームに挿入されている、ネットワークアクセス情報、メディアファイルなどの所定の情報(コンテナ対象データ)を抽出し、CPU501に送信する。CPU501は、適宜、テレビ受信機500の各部に、この所定の情報を利用した情報処理を行わせる。
ここで、所定の情報は、オーディオストリームの所定数(1を含む)のオーディオフレームに分割されて挿入され、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加されている。オーディオデコーダ520は、第1の情報および第2の情報に基づいて、所定数のオーディオフレームから、所定の情報を構成する各分割情報を取得する。
この場合、オーディオデコーダ520は、第1の情報から最初の分割情報を認識でき、また、この最初の分割情報に対応した第2の情報から分割数を認識でき、さらに、第2の情報から残りの分割情報の数を認識できる。そのため、オーディオデコーダ520は、所定数のオーディオフレームから、所定の情報を構成する各分割情報を、容易かつ適切に、取得できる。また、第2の情報(カウンタ情報)によって、(1)途中の伝送パケットがエラーになった場合に、それを受信側で検出することが可能であり、(2)また、分割された最終パケットが到達するおよその時間を受信側で前もって知ることができる。
CPU501は、適宜、テレビ受信機500の各部にこの所定の情報を用いた情報処理を行わせる。例えば、所定の情報がネットワークアクセス情報であるとき、テレビ受信機500は、ネットワーク上の所定のサーバにアクセスして所定のメディア情報を取得する処理をする。また、例えば、所定の情報がメディアファイルであるとき、テレビ受信機500は、そのメディアファイルの再生処理をする。なお、この所定の情報にUTCベースの時刻情報が付加されているとき、この所定の情報を用いた情報処理の時間同期は、その付加されている時刻情報に基づいて管理される。
音声処理回路521は、オーディオデコーダ520で得られたオーディオデータに対してD/A変換等の必要な処理を行う。音声増幅回路522は、音声処理回路521から出力される音声信号を増幅してスピーカ523に供給する。
図16に示すテレビ受信機500の動作を簡単に説明する。アンテナ端子511に入力されたテレビ放送信号はデジタルチューナ512に供給される。このデジタルチューナ512では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応したトランスポートストリームTSが得られる。
デジタルチューナ512で得られるトランスポートストリームTSは、デマルチプレクサ513に供給される。デマルチプレクサ513は、トランスポートストリームTSからビデオストリームのパケットが抽出され、ビデオデコーダ514に供給される。ビデオデコーダ514では、デマルチプレクサ513で抽出されたビデオのパケットからビデオストリームが再構成され、デコード処理が施されて、非圧縮のビデオデータが得られる。この非圧縮のビデオデータは、映像処理回路517に供給される。
また、デマルチプレクサ513では、トランスポートストリームTSからオーディオストリームのパケットが抽出され、オーディオストリームが再構成される。このオーディオストリームは、オーディオデコーダ520に供給される。
HDMI受信部516では、HDMIに準拠した通信により、HDMIケーブル620を介してHDMI端子515に供給される非圧縮のビデオデータおよびオーディオストリームが受信される。非圧縮のビデオデータは、映像処理回路517に供給される。また、オーディオストリームはオーディオデコーダ520に供給される。
映像処理回路517では、ビデオデコーダ514で得られた、あるいはHDMI受信部516で得られたビデオデータ、さらには、通信インタフェース507でネット上のサーバから受信されたビデオデータなどに対してスケーリング処理、合成処理などが施され、表示用のビデオデータが得られる。
映像処理回路517で得られた表示用のビデオデータはパネル駆動回路518に供給される。パネル駆動回路518では、表示用のビデオデータに基づいて、表示パネル519を駆動することが行われる。これにより、表示パネル519には、表示用のビデオデータに対応した画像が表示される。
オーディオデコーダ520では、デマルチプレクサ513で得られた、あるいはHDMI受信部516で得られたオーディオストリームに対してデコード処理が施されて非圧縮のオーディオデータが得られる。オーディオデコーダ520で得られるオーディオデータは、音声処理回路521に供給される。音声処理回路521では、オーディオデータに対してD/A変換等の必要な処理が施される。このオーディオデータは、音声増幅回路522で増幅された後に、スピーカ523に供給される。そのため、スピーカ523から、表示パネル519の表示画像に対応した音声が出力される。
また、オーディオデコーダ520では、オーディオストリームに挿入されている、ネットワークアクセス情報、メディアファイルなどの所定の情報(コンテナ対象データ)が抽出される。このようにオーディオデコーダ520で抽出される所定の情報は、CPU501に送られる。そして、CPU501の制御により、適宜、テレビ受信機500の各部で所定の情報を利用した情報処理が行われる。
[HDMI送信部、HDMI受信部の構成例]
図17は、図1の送受信システム10における、セットトップボックス200のHDMI送信部216(図14参照)とオーディオアンプ300のHDMI受信部312(図15参照)の構成例を示している。なお、オーディオアンプ300のHDMI送信部317とテレビ受信機500のHDMI受信部516の構成例に関しては、同様の構成となるので、説明は省略する。
HDMI送信部216は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間22および垂直帰線区間23を除いた区間である有効画像区間21(以下、適宜、「アクティブビデオ区間」ともいう)(図18参照)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部312に一方向に送信する。また、HDMI送信部216は、水平帰線区間22または垂直帰線区間23において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部312に一方向に送信する。
すなわち、HDMI送信部216は、HDMIトランスミッタ31を有する。トランスミッタ31は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである3つのTMDS(Transition Minimized Differential Signaling)チャネル#0,#1,#2で、HDMI受信部312に、一方向にシリアル伝送する。
また、トランスミッタ31は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2で、HDMI受信部312に一方向にシリアル伝送する。
HDMI受信部312は、アクティブビデオ区間21(図18参照)において、複数のチャネルで、HDMI送信部216から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、HDMI受信部312は、水平帰線区間22(図18参照)または垂直帰線区間23(図18参照)において、複数のチャネルで、HDMI送信部216から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
HDMI送信部216とHDMI受信部312とからなるHDMIシステムの伝送チャネルには、画素データおよび音声データを伝送するための伝送チャネルとしての3つのTMDSチャネル#0乃至#2と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルの他に、DDC(Display Data Channel)33やCEC(Consumer Electronics Control)ライン34と呼ばれる伝送チャネルがある。
DDC33は、HDMIケーブル610に含まれる2本の信号線からなり、HDMI送信部216が、HDMIケーブル610を介して接続されたHDMI受信部312から、EDID(Extended Display Identification Data)を読み出すために使用される。すなわち、HDMI受信部312は、HDMIレシーバ32の他に、自身の性能(Configuration・Capability)に関する性能情報であるEDIDを記憶している、EDID ROM(Read Only Memory)を有している。HDMI送信部216がEDIDを読み出すことで、受信側の復号化能力情報が送信側に送られることになる。
HDMI送信部216は、HDMIケーブル610を介して接続されているHDMI受信部312から、EDIDを、DDC33を介して読み出す。そして、セットトップボックス200のCPU201は、そのEDIDに基づき、HDMI受信部312を有するオーディオアンプ300の性能を認識する。
CECライン34は、HDMIケーブル610に含まれる1本の信号線からなり、HDMI送信部216とHDMI受信部312との間で、制御用のデータの双方向通信を行うために用いられる。また、HDMIケーブル610には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるHPDライン35が含まれている。
ソース機器は、このHPDライン35を利用して、直流バイアス電位により、シンク機器(ディスティネーション機器)の接続を検出することができる。この場合、HPDライン35は、ソース機器側から見ると、直流バイアス電位によってシンク機器から接続状態の通知を受ける機能を有するものとなる。一方、このHPDラインは、シンク機器側から見ると、直流バイアス電位によってソース機器に接続状態を通知する機能を有するものとなる。また、HDMIケーブル610には、ソース機器からシンク機器に電源を供給するために用いられる電源ライン36が含まれている。
さらに、HDMIケーブル610には、リザーブライン37が含まれている。HPDライン35とリザーブライン37を用いた、イーサネットの信号を伝送するHDMIイーサネットチャネル(HDMI Ethernet Channel : HEC)が存在する。また、HPDライン35とリザーブライン37の双方またはHPDライン35のみを用いた、オーディオデータをディスティネーション機器(シンク機器)からソース機器に伝送するオーディオリターンチャネル(Audio Return Channel : ARC)が存在する。なお、「イーサネット」は、登録商標である。
図18は、TMDSチャネルにおいて、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。HDMIの3つのTMDSチャネルで伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、ビデオデータ区間24(Video Data Period)、データアイランド区間25(Data Island Period)、およびコントロール区間26(Control Period)の3種類の区間が存在する。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(Active Edge)から次の垂直同期信号の立ち上がりエッジまでの区間であり、水平帰線期間22(Horizontal Blanking)、垂直帰線期間23(Vertical Blanking)、並びに、ビデオフィールド区間から、水平帰線期間および垂直帰線期間を除いた区間である有効画素区間21(Active Video)に分けられる。
ビデオデータ区間24は、有効画素区間21に割り当てられる。このビデオデータ区間24では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active Pixel)のデータが伝送される。データアイランド区間25およびコントロール区間26は、水平帰線期間22および垂直帰線期間23に割り当てられる。このデータアイランド区間25およびコントロール区間26では、補助データ(Auxiliary Data)が伝送される。
すなわち、データアイランド区間25は、水平帰線期間22と垂直帰線期間23の一部分に割り当てられている。このデータアイランド区間25では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。コントロール区間26は、水平帰線期間22と垂直帰線期間23の他の部分に割り当てられている。このコントロール区間26では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
上述したように、図1に示す送受信システム10において、放送送出装置100は、オーディオストリームの複数のオーディオフレームに、所定の情報(コンテナ対象データ)を分割挿入し、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する。そのため、受信側では、第1の情報から最初の分割情報を認識でき、また、この最初の分割情報に対応した第2の情報から分割数を認識でき、さらに、第2の情報から残りの分割情報の数を認識でき、所定の情報の取得処理を容易かつ適切に行うことができる。
また、図1に示す送受信システム10において、放送送出装置100は、オーディオストリームに挿入される所定の情報(コンテナ対象データ)に、時間同期を管理するための時刻情報としてUTCベースの時刻情報(汎用的な時刻情報)を付加する。そのため、汎用システムとの親和性を持たせることができる。
<2.変形例>
なお、上述実施の形態においては、オーディオ圧縮フォーマットがMPEG−H 3D Audioである例を示した。しかし、本技術は、オーディオ圧縮フォーマットが、AAC、AC3、AC4などのその他のオーディオ圧縮フォーマットである場合にも、同様に適用できる。
また、上述実施の形態において、セットトップボックス200は、放送送出装置100からの放送信号からビデオストリームおよびオーディオストリームを受信する構成となっている。しかし、セットトップボックス200は、配信サーバ(ストリーミングサーバ)からネットワークを介してビデオストリームおよびオーディオストリームを受信する構成も考えられる。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、MP4やそれ以外のフォーマットのコンテナで配信されるシステムにも同様に適用できる。例えば、MPEG−DASHベースのストリーム配信システム、あるいは、MMT(MPEG Media Transport)構造伝送ストリームを扱う送受信システムなどである。
また、上述実施の形態においては、セットトップボックス200とテレビ受信機500との間にオーディオアンプ300が介在される例を示した。しかし、セットトップボックス200がテレビ受信機500に直接接続される、図19に示すような、送受信システム10Aも考えられる。
この送受信システム10Aにおいては、セットトップボックス200とテレビ受信機500はHDMIケーブル610を介して接続されている。この場合、セットトップボックス200がソースで、テレビ受信機500はディスティネーションである。オーディオアンプ300とテレビ受信機500は、HDMIケーブル620を介して接続されている。この場合、オーディオアンプ300がソースで、テレビ受信機500はディスティネーションである。
この場合、セットトップボックス200からテレビ受信機500に、HDMIのデジタルインタフェースで、非圧縮のビデオデータと、ネットワークアクセス情報、メディアファイルなどの所定の情報(コンテナ対象データ)が挿入されたオーディオストリームが、送信される。また、テレビ受信機500からオーディオアンプ300にHDMIのオーディオリターンチャネルを利用して、オーディオストリームそのもの、あるいはデコード後のオーディオデータが送信される。
また、上述実施の形態においては、セットトップボックス200およびテレビ受信機500を有する送受信システム10を示した。しかし、テレビ受信機500の代わりに、モニタ装置、あるいはプロジェクタ等が配置される構成も考えられる。また、セットトップボックス200の代わりに、受信機能付きのレコーダ、パーソナルコンピュータ等が配置される構成も考えられる。
また、上述実施の形態においては、受信側の各機器がHDMIのデジタルインタフェースにより有線で接続されている。しかし、各機器が、HDMIと同様のデジタルインタフェースで有線接続される場合、さらには、無線によって接続される場合にも、この発明を同様に適用できることは勿論である。
なお、本技術は、以下のような構成もとることができる。
(1)オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続したオーディオ圧縮データストリームを生成するストリーム生成部と、
上記オーディオ圧縮データストリームに所定の情報を挿入する情報挿入部と、
上記所定の情報が挿入されたオーディオ圧縮データストリームを送信するストリーム送信部を備え、
上記情報挿入部は、
上記オーディオ圧縮データストリームの所定数のオーディオフレームに上記所定の情報を分割して挿入し、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する
送信装置。
(2)上記情報挿入部は、
上記オーディオ圧縮データストリームに上記所定の情報を挿入するとき、上記所定の情報に、時間同期を管理するためのUTCベースの時刻情報を付加する
前記(1)に記載の送信装置。
(3)上記時刻情報は、絶対時刻または所定の基準時刻からの差分値である
前記(2)に記載の送信装置。
(4)上記所定の情報は、ネットワークアクセス情報またはメディアファイルである
前記(1)から(3)のいずれかに記載の送信装置。
(5)オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続したオーディオ圧縮データストリームを生成するストリーム生成ステップと、
上記オーディオ圧縮データストリームに所定の情報を挿入する情報挿入ステップと、
送信部により、上記所定の情報が挿入されたオーディオ圧縮データストリームを送信するストリーム送信ステップを有し、
上記情報挿入ステップでは、
上記オーディオ圧縮データストリームの所定数のオーディオフレームに上記所定の情報を上記所定数に分割して挿入し、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する
送信方法。
(6)所定の情報が挿入されたオーディオ圧縮データストリームを、外部機器からデジタルインタフェースを介して受信するストリーム受信部を備え、
上記オーディオ圧縮データストリームの所定数のオーディオフレームに、上記所定の情報が分割されて得られた分割情報のそれぞれが、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加されて挿入されており、
上記オーディオ圧縮データストリームにデコード処理を施してオーディオデータを得ると共に、上記第1の情報および上記第2の情報に基づいて上記所定数のオーディオフレームから上記所定の情報を構成する各分割情報を得るデコード処理部と、
上記デコード処理部で得られた上記所定の情報を利用した情報処理を行う情報処理部をさらに備える
受信装置。
(7)上記所定情報は、ネットワークアクセス情報であり、
上記情報処理部は、上記ネットワークアクセス情報を利用してネットワーク上の所定のサーバにアクセスして所定のメディア情報を取得する
前記(6)に記載の受信装置。
(8)上記所定情報は、メディアファイルであり、
上記情報処理部は、上記メディアファイルの再生処理を行う
前記(6)に記載の受信装置。
(9)上記所定の情報に時間同期を管理するためのUTCベースの時刻情報が付加されており、
上記情報処理部は、上記所定の情報を利用した情報処理の時間管理を、該所定の情報に付加されている上記時刻情報に基づいて行う
前記(6)から(8)のいずれかに記載の受信装置。
(10)受信部により、所定の情報が挿入されたオーディオ圧縮データストリームを、外部機器からデジタルインタフェースを介して受信するストリーム受信ステップを有し、
上記オーディオ圧縮データストリームの所定数のオーディオフレームに、上記所定の情報が分割されて得られた分割情報のそれぞれが、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加されて挿入されており、
上記オーディオ圧縮データストリームにデコード処理を施してオーディオデータを得ると共に、上記第1の情報および上記第2の情報に基づいて上記所定数のオーディオフレームから上記所定の情報を構成する各分割情報を得るデコード処理ステップと、
上記デコード処理ステップで得られた上記所定の情報を利用した情報処理を行う情報処理ステップをさらに有する
受信方法。
本技術の主な特徴は、オーディオストリームの複数のオーディオフレームに、所定の情報(コンテナ対象データ)を分割挿入するとき、各分割情報に、最初の分割情報であるか否かを示す第1の情報「start_flag」および分割位置を示す降順のカウント数である第2の情報「dcounter」を付加することで、受信側において、所定の情報の取得処理を容易かつ適切に行い得るようにしたことである(図5参照)。
10,10A・・・送受信システム
21・・・有効画素区間
22・・・水平帰線期間
23・・・垂直帰線期間
24・・・ビデオデータ区間
25・・・データアイランド区間
26・・・コントロール区間
31・・・HDMIトランスミッタ
32・・・HDMIレシーバ
33・・・DDC
34・・・CECライン
35・・・HPDライン
36・・・電源ライン
37・・・リザーブライン
100・・・放送送出装置
110・・・ストリーム生成部
111・・・制御部
111a・・・CPU
112・・・ビデオエンコーダ
113・・・オーディオエンコーダ
113a・・・オーディオ符号化ブロック部
113b・・・オーディオフレーミング部
114・・・マルチプレクサ
200・・・セットトップボックス(STB)
201・・・CPU
202・・・フラッシュROM
203・・・DRAM
204・・・内部バス
205・・・リモコン受信部
206・・・リモコン送信機
211・・・アンテナ端子
212・・・デジタルチューナ
213・・・デマルチプレクサ
214・・・ビデオデコーダ
215・・・オーディオフレーミング部
216・・・HDMI送信部
217・・・HDMI端子
300・・・オーディオアンプ(AMP)
301・・・CPU
302・・・フラッシュROM
303・・・DRAM
304・・・内部バス
305・・・リモコン受信部
306・・・リモコン送信機
311・・・HDMI端子
312・・・HDMI受信部
313・・・オーディオデコーダ
314・・・音声処理回路
315・・・音声増幅回路
316・・・音声出力端子
400・・・スピーカシステム(SP)
500・・・テレビ受信機(TV)
501・・・CPU
502・・・フラッシュROM
503・・・DRAM
504・・・内部バス
505・・・リモコン受信部
506・・・リモコン送信機
507・・・通信インタフェース
511・・・アンテナ端子
512・・・デジタルチューナ
513・・・デマルチプレクサ
514・・・ビデオデコーダ
515・・・HDMI端子
516・・・HDMI受信部
517・・・映像処理回路
518・・・パネル駆動回路
519・・・表示パネル
520・・・オーディオデコーダ
521・・・音声処理回路
522・・・音声増幅回路
523・・・スピーカ
610,620・・・HDMIケーブル

Claims (10)

  1. オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続したオーディオ圧縮データストリームを生成するストリーム生成部と、
    上記オーディオ圧縮データストリームに所定の情報を挿入する情報挿入部と、
    上記所定の情報が挿入されたオーディオ圧縮データストリームを送信するストリーム送信部を備え、
    上記情報挿入部は、
    上記オーディオ圧縮データストリームの所定数のオーディオフレームに上記所定の情報を分割して挿入し、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する
    送信装置。
  2. 上記情報挿入部は、
    上記オーディオ圧縮データストリームに上記所定の情報を挿入するとき、上記所定の情報に、時間同期を管理するためのUTCベースの時刻情報を付加する
    請求項1に記載の送信装置。
  3. 上記時刻情報は、絶対時刻または所定の基準時刻からの差分値である
    請求項2に記載の送信装置。
  4. 上記所定の情報は、ネットワークアクセス情報またはメディアファイルである
    請求項1に記載の送信装置。
  5. オーディオデータにエンコード処理を施し、オーディオ圧縮データを含むオーディオフレームが連続したオーディオ圧縮データストリームを生成するストリーム生成ステップと、
    上記オーディオ圧縮データストリームに所定の情報を挿入する情報挿入ステップと、
    送信部により、上記所定の情報が挿入されたオーディオ圧縮データストリームを送信するストリーム送信ステップを有し、
    上記情報挿入ステップでは、
    上記オーディオ圧縮データストリームの所定数のオーディオフレームに上記所定の情報を上記所定数に分割して挿入し、各分割情報に、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報を付加する
    送信方法。
  6. 所定の情報が挿入されたオーディオ圧縮データストリームを、外部機器からデジタルインタフェースを介して受信するストリーム受信部を備え、
    上記オーディオ圧縮データストリームの所定数のオーディオフレームに、上記所定の情報が分割されて得られた分割情報のそれぞれが、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加されて挿入されており、
    上記オーディオ圧縮データストリームにデコード処理を施してオーディオデータを得ると共に、上記第1の情報および上記第2の情報に基づいて上記所定数のオーディオフレームから上記所定の情報を構成する各分割情報を得るデコード処理部と、
    上記デコード処理部で得られた上記所定の情報を利用した情報処理を行う情報処理部をさらに備える
    受信装置。
  7. 上記所定情報は、ネットワークアクセス情報であり、
    上記情報処理部は、上記ネットワークアクセス情報を利用してネットワーク上の所定のサーバにアクセスして所定のメディア情報を取得する
    請求項6に記載の受信装置。
  8. 上記所定情報は、メディアファイルであり、
    上記情報処理部は、上記メディアファイルの再生処理を行う
    請求項6に記載の受信装置。
  9. 上記所定の情報に時間同期を管理するためのUTCベースの時刻情報が付加されており、
    上記情報処理部は、上記所定の情報を利用した情報処理の時間管理を、該所定の情報に付加されている上記時刻情報に基づいて行う
    請求項6に記載の受信装置。
  10. 受信部により、所定の情報が挿入されたオーディオ圧縮データストリームを、外部機器からデジタルインタフェースを介して受信するストリーム受信ステップを有し、
    上記オーディオ圧縮データストリームの所定数のオーディオフレームに、上記所定の情報が分割されて得られた分割情報のそれぞれが、最初の分割情報であるか否かを示す第1の情報および分割位置を示す降順のカウント数である第2の情報が付加されて挿入されており、
    上記オーディオ圧縮データストリームにデコード処理を施してオーディオデータを得ると共に、上記第1の情報および上記第2の情報に基づいて上記所定数のオーディオフレームから上記所定の情報を構成する各分割情報を得るデコード処理ステップと、
    上記デコード処理ステップで得られた上記所定の情報を利用した情報処理を行う情報処理ステップをさらに有する
    受信方法。
JP2017510971A 2015-04-07 2016-04-01 送信装置、送信方法、受信装置および受信方法 Active JP6809450B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015078807 2015-04-07
JP2015078807 2015-04-07
PCT/JP2016/060978 WO2016163325A1 (ja) 2015-04-07 2016-04-01 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2016163325A1 true JPWO2016163325A1 (ja) 2018-02-08
JP6809450B2 JP6809450B2 (ja) 2021-01-06

Family

ID=57072593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017510971A Active JP6809450B2 (ja) 2015-04-07 2016-04-01 送信装置、送信方法、受信装置および受信方法

Country Status (6)

Country Link
US (1) US11039182B2 (ja)
EP (1) EP3282709A4 (ja)
JP (1) JP6809450B2 (ja)
KR (1) KR20170134367A (ja)
CN (1) CN107431834B (ja)
WO (1) WO2016163325A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020015531A2 (pt) * 2018-02-22 2021-02-02 Dolby International Ab método e aparelho para processamento de fluxos de mídias auxiliares integrados em um fluxo de áudio mpeg-h 3d
EP3799042A4 (en) * 2018-05-23 2021-07-14 Sony Corporation TRANSMISSION DEVICE, TRANSMISSION PROCESS, RECEPTION DEVICE AND RECEPTION PROCESS
CN112073789B (zh) * 2019-06-10 2023-04-14 海信视像科技股份有限公司 一种声音处理法及显示设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
JP2013517699A (ja) * 2010-01-13 2013-05-16 クゥアルコム・インコーポレイテッド モバイル放送ネットワーク上での対話型アプリケーションの動的な生成、配信、および実行

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4530083B2 (ja) * 2002-06-07 2010-08-25 セイコーエプソン株式会社 電気光学装置及び電子機器
US7512278B2 (en) * 2003-04-07 2009-03-31 Modulus Video Inc. Scalable array encoding system and method
CN1764967B (zh) * 2003-07-23 2011-04-13 松下电器产业株式会社 数据处理装置
EP1662793B1 (en) * 2003-09-02 2020-01-15 Sony Corporation Content reception device, video/audio output timing control method, and content providing system
US8878836B2 (en) * 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
TWI574565B (zh) * 2011-03-31 2017-03-11 Sony Corp A transmitting apparatus, a transmitting method, a receiving apparatus, a receiving method, a computer-readable medium, and a broadcasting system
KR101946861B1 (ko) * 2011-09-21 2019-02-13 삼성전자주식회사 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
US9930409B2 (en) * 2014-02-10 2018-03-27 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
KR20170007261A (ko) * 2014-05-15 2017-01-18 소니 주식회사 통신 장치 및 통신 방법과 컴퓨터 프로그램

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517699A (ja) * 2010-01-13 2013-05-16 クゥアルコム・インコーポレイテッド モバイル放送ネットワーク上での対話型アプリケーションの動的な生成、配信、および実行
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
デジタル放送におけるMMTによるメディアトランスポート方式 ARIB STD-B60, vol. 1.0版, JPN6016023333, 31 July 2014 (2014-07-31), pages 34, ISSN: 0004265917 *

Also Published As

Publication number Publication date
KR20170134367A (ko) 2017-12-06
CN107431834A (zh) 2017-12-01
EP3282709A4 (en) 2018-11-21
EP3282709A1 (en) 2018-02-14
US20180054634A1 (en) 2018-02-22
JP6809450B2 (ja) 2021-01-06
US11039182B2 (en) 2021-06-15
CN107431834B (zh) 2020-10-09
WO2016163325A1 (ja) 2016-10-13

Similar Documents

Publication Publication Date Title
US10848801B2 (en) Transmission device, transmission method, reception device, and reception method
JP7099510B2 (ja) 受信装置および受信方法
JP6809450B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6891806B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10812838B2 (en) Transmission device, transmission method, reception device, and reception method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R151 Written notification of patent or utility model registration

Ref document number: 6809450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151