JP6294503B2 - 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法 - Google Patents

放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法

Info

Publication number
JP6294503B2
JP6294503B2 JP2016555355A JP2016555355A JP6294503B2 JP 6294503 B2 JP6294503 B2 JP 6294503B2 JP 2016555355 A JP2016555355 A JP 2016555355A JP 2016555355 A JP2016555355 A JP 2016555355A JP 6294503 B2 JP6294503 B2 JP 6294503B2
Authority
JP
Japan
Prior art keywords
information
service
content
watermark
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016555355A
Other languages
English (en)
Other versions
JP2017522742A (ja
Inventor
ソンリュル ヤン
ソンリュル ヤン
ミンソン カク
ミンソン カク
キョンソ ムン
キョンソ ムン
ウソク コ
ウソク コ
ソンリョン ホン
ソンリョン ホン
ウソク クォン
ウソク クォン
チャンウォン リ
チャンウォン リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2017522742A publication Critical patent/JP2017522742A/ja
Application granted granted Critical
Publication of JP6294503B2 publication Critical patent/JP6294503B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Description

本発明は、放送信号送信装置、放送信号受信装置、及び放送信号送受信方法に関する。
アナログ放送信号送信が終了することにより、デジタル放送信号を送受信するための様々な技術が開発されている。デジタル放送信号は、アナログ放送信号に比べて、より多量のビデオ/オーディオデータを含むことができ、ビデオ/オーディオデータの他、種々の付加データも含むことができる。
すなわち、デジタル放送システムは、HD(High Definition)イメージ、マルチチャネル(multi channel:多チャネル)オーディオ、及び様々な付加サービスを提供することができる。しかし、デジタル放送のためには、多量のデータ伝送に対するデータ伝送効率、送受信ネットワークの堅固性(robustness)、及びモバイル受信装置を考慮したネットワーク柔軟性(flexibility)が向上する必要がある。
本発明の目的によって、ここに含まれ、概略的に記載されるように、本発明は、地上波放送網及びインターネット網を使用する次世代ハイブリッド放送を支援する環境で、次世代放送サービスを効果的に支援することができるシステム及び関連したシグナリング方案を提案する。
本発明は、地上波放送網及びインターネット網を使用する次世代ハイブリッド放送を支援する環境で次世代放送サービスを効果的に支援することができる。また、本発明は、ビデオWM、オーディオWMを効率的に活用するための構造及び方案を提案する。
本発明の更なる理解を提供するために含まれ、本出願に含まれてその一部を構成する添付の図面は、本発明の原理を説明する詳細な説明と共に、本発明の実施例を示す。
本発明の一実施例に係るプロトコルスタックを示す図である。 本発明の一実施例に係るサービスディスカバリ手続を示す図である。 本発明の一実施例に係るLLS(Low Level Signaling)テーブル及びSLT(Service List Table)を示す図である。 本発明の一実施例に係る、ROUTEで伝達されるUSBD及びS−TSIDを示す図である。 本発明の一実施例に係る、MMTで伝達されるUSBDを示す図である。 本発明の一実施例に係るリンクレイヤ(Link Layer)動作を示す図である。 本発明の一実施例に係るLMT(Link Mapping Table)を示す図である。 本発明の一実施例に係るネットワークトポロジを示すブロック図である。 本発明の一実施例に係るウォーターマークベースのネットワークトポロジを示すブロック図である。 本発明の一実施例に係るウォーターマークベースのネットワークトポロジ内のデータ流れを示すラダーダイヤグラムである。 本発明の一実施例に係るウォーターマークベースのコンテンツ認識タイミングを示す図である。 本発明の一実施例に係るフィンガープリントベースのネットワークトポロジを示すブロック図である。 本発明の一実施例に係るフィンガープリントベースのネットワークトポロジ内のデータ流れを示すラダーダイヤグラムである。 本発明の一実施例に係る質疑結果が含まれるACR−ResulttypeのXMLスキマーダイヤグラム(schema diagram)を示す図である。 本発明の一実施例に係るウォーターマーク及びフィンガープリントベースのネットワークトポロジを示すブロック図である。 本発明の一実施例に係るウォーターマーク及びフィンガープリントベースのネットワークトポロジ内のデータ流れを示すラダーダイヤグラムである。 本発明の実施例に係る映像表示装置のブロック図である。 本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間とを同期化する方法を示すフローチャートである。 本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間とを同期化する方法を示す概念図である。 本発明の他の実施例に係るフィンガープリントベースの映像表示装置の構造を示すブロック図である。 本発明の他の実施例に係るウォーターマークベースの映像表示装置の構造を示すブロック図である。 本発明の一実施例に係るウォーターマーキング技法によって伝達可能なデータを例示する図である。 本発明の一実施例に係るタイムスタンプタイプフィールドの各値の意味を示す図である。 本発明の一実施例に係るURLプロトコルタイプフィールドの各値の意味を示す図である。 本発明の一実施例に係るURLプロトコルタイプフィールドの処理手続を示すフロ−チャ−トである。 本発明の一実施例に係るイベントフィールドの各値の意味を示す図である。 本発明の一実施例に係るデスティネーションタイプフィールドの各値の意味を示す図である。 本発明の実施例#1によるWMに挿入されるデータ構造を示す図である。 本発明の実施例#1によるWMに挿入されるデータ構造を処理する順序図である。 本発明の実施例#2によるWMに挿入されるデータ構造を示す図である。 本発明の実施例#2によるWMに挿入されるデータ構造を処理する順序図である。 本発明の実施例#3によるWMに挿入されるデータ構造を示す図である。 本発明の実施例#4によるWMに挿入されるデータ構造を示す図である。 本発明の実施例#4において、1番目のWMに挿入されるデータ構造を示す図である。 本発明の実施例#4において、2番目のWMに挿入されるデータ構造を示す図である。 本発明の実施例#4によるWMに挿入されるデータ構造を処理する順序図である。 本発明の他の実施例に係るウォーターマークベースの映像表示装置の構造を示す図である。 フィンガープリンティング方式において、本発明の一実施例に係るデータ構造を示す図である。 フィンガープリンティング方式において、本発明の一実施例に係るデータ構造を処理する順序図である。 本発明の他の実施例に係るウォーターマークペイロードの構造を示す図である。 本発明の一実施例に係る、サービス/コンテンツ情報を用いたウォーターマークペイロード構造の変形を示す図である。 本発明の一実施例に係る、NSCフィールドを用いたウォーターマークペイロード構造の変形を示す図である。 本発明の一実施例に係る、ビデオ−オーディオウォーターマーク間のリンキング(linking)のためのウォーターマークペイロード構造を示す図である。 本発明の一実施例に係る、リンクされたビデオ−オーディオウォーターマークを用いた動作を示す図である。 本発明の一実施例に係る放送コンテンツ処理方法を示す図である。 本発明の一実施例に係る放送コンテンツ処理装置を示す図である。
本発明の好適な実施例について具体的に説明し、その例を添付の図面に示す。添付の図面を参照した下記の詳細な説明は、本発明の具現可能な実施例を限定するものではなく、本発明の好適な実施例を説明するためのものである。下記の詳細な説明は、本発明に関する徹底した理解を提供するために細部事項を含む。しかし、当業者にとってはこれらの細部事項無しにも本発明の実行が可能であるということは明らかである。
本発明で使われる大部分の用語は、当該分野で広く使われる一般的なものから選択されるが、一部の用語は出願人によって任意に選択されてもよく、その意味は、必要時に次の説明で詳しく説明する。したがって、本発明は、用語の単純な名称や意味ではなく、用語の意図された意味に基づいて理解しなければならない。
本発明は、次世代放送サービスに対する放送信号の送信及び受信装置並びに方法を提供する。本発明の一実施例に係る次世代放送サービスは、地上波放送サービス、モバイル放送サービス、UHDTVサービスなどを含む。本発明は、一実施例によって、非−MIMO(non−Multiple Input Multiple Output)又はMIMO方式によって次世代放送サービスに対する放送信号を処理することができる。本発明の一実施例に係る非−MIMO方式は、MISO(Multiple Input Single Output)方式、SISO(Single Input Single Output)方式などを含むことができる。
図1は、本発明の一実施例に係るプロトコルスタックを示す図である。
サービスを複数個のレイヤを経て受信機に伝達することができる。まず、送信側ではサービスデータを生成することができる。送信側のデリバリレイヤでは、サービスデータに、伝送のための処理を行い、フィジカルレイヤでは、これを放送信号にエンコードして、放送網又はブロードバンドを介して伝送することができる。
ここで、サービスデータは、ISO BMFF(base media file format)によるフォーマットで生成することができる。ISO BMFFメディアファイルは、放送網/ブロードバンドデリバリ、メディアエンカプセレーション(media encapsulation)及び/又は同期化フォーマット(synchronization format)で用いることができる。ここで、サービスデータは、サービスに関連した全てのデータであり、リニアサービスを構成するサービスコンポーネント、それに対するシグナリング情報、NRT(Non Real Time)データ、その他のファイルなどを含む概念であってもよい。
デリバリレイヤについて説明する。デリバリレイヤはサービスデータに対する伝送機能を提供することができる。サービスデータは、放送網及び/又はブロードバンドを介して伝達することができる。
放送網を介したサービスデリバリ(broadcast service delivery)において、2つの方法を挙げることができる。
第一の方法は、MMT(MPEG Media Transport)に基づいて、サービスデータをMPU(Media Processing Units)として処理し、これをMMTP(MMT protocol)を用いて伝送することができる。この場合、MMTPによって伝達されるサービスデータは、リニアサービスのためのサービスコンポーネント及び/又はそれに関するサービスシグナリング情報などを含むことができる。
第二の方法は、MPEG DASHに基づいて、サービスデータをDASHセグメントとして処理し、これをROUTE(Real time Object delivery over Unidirectional Transport)を用いて伝送することができる。この場合、ROUTEプロトコルによって伝達されるサービスデータは、リニアサービスのためのサービスコンポーネント、それに関するサービスシグナリング情報、及び/又はNRTデータなどを含むことができる。すなわち、NRTデータ及びファイルなどのノンタイムド(non timed)データは、ROUTEを用いて伝達することができる。
MMTP又はROUTEプロトコルによって処理されたデータは、UDP/IPレイヤを経てIPパケットとして処理することができる。放送網を介したサービスデータ伝達において、SLT(Service List Table)もUDP/IPレイヤを経て放送網を介して伝達することができる。SLTは、LLS(Low Level Signaling)テーブルに含めて伝達することができる。SLT、LLSテーブルについては後述する。
IPパケットはリンクレイヤでリンクレイヤパケットとして処理されてもよい。リンクレイヤは、上位レイヤから伝達される様々なフォーマットのデータを、リンクレイヤパケットとしてエンカプセレーションした後、フィジカルレイヤに伝達することができる。リンクレイヤについては後述する。
ハイブリッドサービスデリバリ(hybrid service delivery)においては、少なくとも1つのサービスエレメントをブロードバンドパス(path)を通じて伝達することができる。ハイブリッドサービスデリバリの場合、ブロードバンドで伝達されるデータは、DASHフォーマットのサービスコンポーネント、それに関するサービスシグナリング情報、及び/又はNRTデータなどを含むことができる。これらのデータはHTTP/TCP/IPを経て処理され、ブロードバンド伝送のためのリンクレイヤを経て、ブロードバンド伝送のためのフィジカルレイヤに伝達されてもよい。
フィジカルレイヤは、デリバリレイヤ(上位レイヤ及び/又はリンクレイヤ)から伝達されたデータを処理して、放送網又はブロードバンドを介して伝送することができる。フィジカルレイヤに関する詳細な事項は後述する。
サービスについて説明する。サービスは、全体的にユーザに示すサービスコンポーネントのコレクションであり、コンポーネントは、様々なメディアタイプのものであり、サービスは、連続的又は間欠的であり、サービスは、実時間又は非実時間であってもよく、実時間サービスは、TV番組のシーケンスで構成することができる。
サービスは種々のタイプを有することができる。第一に、サービスはアプリベースのエンハンスメントを有し得るリニアオーディオ/ビデオサービス又はオーディオだけのサービスであってもよい。第二に、サービスは、ダウンロードされたアプリケーションによってその再生/構成などが制御されるアプリベースのサービスであってもよい。第三に、サービスは、ESG(Electronic Service Guide)を提供するESGサービスであってもよい。第四に、緊急警報情報を提供するEA(Emergency Alert)サービスであってもよい。
アプリベースのエンハンスメントを有しないリニアサービスを放送網を介して伝達する場合、サービスコンポーネントを、(1)1つ以上のROUTEセッション、又は(2)1つ以上のMMTPセッションで伝達することができる。
アプリベースのエンハンスメントを有するリニアサービスを放送網を介して伝達する場合、サービスコンポーネントを、(1)1つ以上のROUTEセッション、及び(2)0個以上のMMTPセッションで伝達してもよい。この場合、アプリベースのエンハンスメントに用いられるデータは、NRTデータ又はその他のファイルなどの形態でROUTEセッションを通じて伝達してもよい。本発明の一実施例において、1つのサービスのリニアサービスコンポーネント(ストリーミングメディアコンポーネント)が2つのプロトコルによって同時に伝達されることを許容しなくてもよい。
アプリベースのサービスを放送網を介して伝達する場合、サービスコンポーネントを、1つ以上のROUTEセッションで伝達することができる。この場合、アプリベースのサービスに用いられるサービスデータを、NRTデータ又はその他のファイルなどの形態でROUTEセッションを通じて伝達することができる。
また、このようなサービスの一部のサービスコンポーネント又は一部のNRTデータ、ファイルなどをブロードバンドを介して伝達してもよい(ハイブリッドサービスデリバリ)。
すなわち、本発明の一実施例で、一つのサービスのリニアサービスコンポーネントをMMTプロトコルによって伝達することができる。本発明の他の実施例で、一つのサービスのリニアサービスコンポーネントは、ROUTEプロトコルによって伝達してもよい。本発明の他の実施例で、一つのサービスのリニアサービスコンポーネント及びNRTデータ(NRTサービスコンポーネント)は、ROUTEプロトコルによって伝達してもよい。本発明の他の実施例で、一つのサービスのリニアサービスコンポーネントは、MMTプロトコルによって伝達し、NRTデータ(NRTサービスコンポーネント)は、ROUTEプロトコルによって伝達してもよい。これらの実施例において、サービスの一部のサービスコンポーネント又は一部のNRTデータは、ブロードバンドを介して伝達してもよい。ここで、アプリベースのサービス又はアプリベースのエンハンスメントに関するデータはNRTデータ形態で、ROUTEによる放送網を介して伝達したり、ブロードバンドを介して伝達してもよい。NRTデータは、ローカリキャッシュドデータ(Locally cashed data)などと呼ぶこともできる。
それぞれのROUTEセッションは、サービスを構成するコンテンツコンポーネントを全体的に又は部分的に伝達する1つ以上のLCTセッションを含む。ストリーミングサービスデリバリにおいて、LCTセッションはオーディオ、ビデオ、又はクローズドキャプションストリームのようなユーザサービスの個別コンポーネントを伝達することができる。ストリーミングメディアはDASHセグメントとしてフォーマットされる。
それぞれのMMTPセッションは、MMTシグナリングメッセージ又は全体又は一部のコンテンツコンポーネントを伝達する1つ以上のMMTPパケットフローを含む。MMTPパケットフローは、MMTシグナリングメッセージ又はMPUとしてフォーマットされたコンポーネントを伝達することができる。
NRTユーザサービス又はシステムメタデータのデリバリのために、LCTセッションはファイルベースのコンテンツアイテムを伝達する。これらのコンテンツファイルは、NRTサービスの連続的(タイムド)又は離散的(ノンタイムド)メディアコンポーネント、サービスシグナリング、又はESGフラグメントのようなメタデータで構成することができる。サービスシグナリング又はESGフラグメントのようなシステムメタデータのデリバリも、MMTPのシグナリングメッセージモードで行うことができる。
受信機では、チューナが周波数をスキャニングするが、特定周波数で放送シグナルを感知することができる。受信機は、SLTを抽出してその処理モジュールに送ることができる。SLTパーサーは、SLTをパースし、データを取得してチャネルマップに保存することができる。受信機は、SLTのブートストラップ情報を取得してROUTE又はMMTクライアントに伝達することができる。これによって受信機はSLSを取得して保存することができる。USBDなどを取得することができ、これはシグナリングパーサーによってパースされてもよい。
図2は、本発明の一実施例に係るサービスディスカバリ手続を示す図である。
フィジカルレイヤの放送信号フレームが伝達するブロードキャストストリームは、LLS(Low Level Signaling)を運搬することができる。LLSデータは、フェルノウン(well known)IPアドレス/ポートに伝達されるIPパケットのペイロードで運搬することができる。このLLSはそのタイプによってSLTを含むことができる。LLSデータは、LLSテーブルの形態にフォーマットすることができる。LLSデータを運搬する毎UDP/IPパケットの最初のバイトは、LLSテーブルの始めであってもよい。図示の実施例とは違い、LLSデータを伝達するIPストリームは、他のサービスデータと共に同一のPLPを介して伝達してもよい。
SLTは、高速のチャネルスキャンによって受信機がサービスリストを生成できるようにし、SLSをロケーティング(locating)するためのアクセス情報を提供する。SLTは、ブートストラップ情報を含むが、このブートストラップ情報は、受信機がそれぞれのサービスに対するSLS(Service Layer Signaling)を取得できるようにする。SLS、すなわち、サービスシグナリング情報がROUTEで伝達される場合、ブートストラップ情報は、SLSを運搬するLCTチャネル又はそのLCTチャネルを含むROUTEセッションのデスティネーションIPアドレス及びデスティネーションポート情報を含むことができる。SLSがMMTで伝達される場合、ブートストラップ情報は、SLSを運搬するMMTPセッションのデスティネーションIPアドレス及びデスティネーションポート情報を含むことができる。
図示された実施例で、SLTが記述するサービス#1のSLSはROUTEで伝達され、SLTは、当該SLSが伝達されるLCTチャネルを含むROUTEセッションに対するブートストラップ情報(sIP1,dIP1,dPort1)を含むことができる。SLTが記述するサービス#2のSLSはMMTで伝達され、SLTは、当該SLSが伝達されるMMTPパケットフローを含むMMTPセッションに対するブートストラップ情報(sIP2,dIP2,dPort2)を含むことができる。
SLSは、当該サービスに対する特性を記述するシグナリング情報であり、当該サービス及び当該サービスのサービスコンポーネントを取得するための情報を提供したり、当該サービスを有意に再生するための受信機キャパビリティ情報などを含むことができる。各サービスに対して別個のサービスシグナリングを有すると、受信機は、ブロードキャストストリーム内で伝達される全てのSLSをパースしないで、所望のサービスに対する適切なSLSを取得すればよい。
SLSをROUTEプロトコルによって伝達する場合、SLSを、SLTが示すROUTEセッションの特定(dedicated)のLCTチャネルを介して伝達することができる。実施例によって、このLCTチャネルはtsi=0と識別されるLCTチャネルであってもよい。この場合、SLSは、USBD/USD(User Service Bundle Description/User Service Description)、S−TSID(Service−based Transport Session Instance Description)及び/又はMPD(Media Presentation Description)を含むことができる。
ここで、USBD又はUSDは、SLSフラグメントの一つであり、サービスの具体的な技術的情報を記述するシグナリングハブの役割を担うことができる。USBDは、サービス識別情報、デバイスキャパビリティ情報などを含むことができる。USBDは、他のSLSフラグメント(S−TSID、MPDなど)へのリファレンス情報(URIリファレンス)を含むことができる。すなわち、USBD/USDは、S−TSIDとMPDをそれぞれリファレンシングすることができる。また、USBDは、受信機が伝送モード(放送網/ブロードバンド)を決定できるようにするメタデータ情報をさらに含むことができる。USBD/USDの具体的な内容については後述する。
S−TSIDは、SLSフラグメントの一つであり、当該サービスのサービスコンポーネントを運搬する伝送セッションに対する全体的なセッションデスクリプション情報を提供することができる。S−TSIDは、当該サービスのサービスコンポーネントが伝達されるROUTEセッション及び/又はそのROUTEセッションのLCTチャネルに対する伝送セッションデスクリプション情報を提供することができる。S−TSIDは、一つのサービスと関連したサービスコンポーネントのコンポーネント取得(acquisition)情報を提供することができる。S−TSIDは、MPDのDASHリプレゼンテーション(Representation)と当該サービスコンポーネントのtsi間のマッピングを提供することができる。S−TSIDのコンポーネント取得情報は、tsi、関連DASHリプレゼンテーションの識別子の形態で提供することができ、実施例によってPLP IDを含んでも含まなくてもよい。コンポーネント取得情報を用いて、受信機は一つのサービスのオーディオ/ビデオコンポーネントを収集し、DASHメディアセグメントのバッファリング、デコーディングなどを行うことができる。S−TSIDは、前述したように、USBDによってリファレンシングされてもよい。S−TSIDの具体的な内容については後述する。
MPDは、SLSフラグメントの一つであり、当該サービスのDASHメディアプレゼンテーションに関するデスクリプションを提供することができる。MPDは、メディアセグメントに対するリソース識別子(resource identifier)を提供し、識別されたリソースに対するメディアプレゼンテーション内におけるコンテクスト情報を提供することができる。MPDは、放送網を介して伝達されるDASHリプレゼンテーション(サービスコンポーネント)を記述し、またブロードバンドを介して伝達される追加的なDASHリプレゼンテーションを記述することができる(ハイブリッドデリバリ)。MPDは、前述したように、USBDによってリファレンシングされてもよい。
SLSをMMTプロトコルによって伝達する場合、SLSは、SLTが示すMMTPセッションの特定(dedicated)MMTPパケットフローで伝達することができる。実施例によって、SLSを伝達するMMTPパケットのpacket_idは00の値を有することができる。この場合、SLSは、USBD/USD及び/又はMMT Package(MP)テーブルを含むことができる。
ここで、USBDは、SLSフラグメントの一つであり、ROUTEにおけるそれと同様にサービスの具体的な技術的情報を記述することができる。ここでのUSBDも、他のSLSフラグメントへのリファレンス情報(URIリファレンス)を含むことができる。MMTのUSBDは、MMTシグナリングのMPテーブルをリファレンシングすることができる。実施例によって、MMTのUSBDは、S−TSID及び/又はMPDへのリファレンス情報も含むことができる。ここで、S−TSIDは、ROUTEプロトコルによって伝達されるNRTデータのためのものであってもよい。MMTプロトコルによってリニアサービスコンポーネントが伝達される場合にも、NRTデータはROUTEプロトコルによって伝達され得るからである。MPDは、ハイブリッドサービスデリバリにおいて、ブロードバンドで伝達されるサービスコンポーネントのためのものであってもよい。MMTのUSBDの具体的な内容については後述する。
MPテーブルは、MPUコンポーネントのためのMMTのシグナリングメッセージであり、当該サービスのサービスコンポーネントを運搬するMMTPセッションに対する全体的なセッションデスクリプション情報を提供することができる。また、MPテーブルは、このMMTPセッションを通じて伝達されるアセット(Asset)に対するデスクリプションを含むことができる。MPテーブルは、MPUコンポーネントのためのストリーミングシグナリング情報であり、一つのサービスに該当するアセットのリストとこれらのコンポーネントのロケーション情報(コンポーネント取得情報)を提供することができる。MPテーブルの具体的な内容は、MMTで定義された形態であってもよく、変形された形態であってもよい。ここでいうアセットは、マルチメディアデータエンティティであり、1つのユニークIDで連合し、1つのマルチメディアプレゼンテーションを生成するために用いられるデータエンティティを意味することができる。アセットは、一つのサービスを構成するサービスコンポーネントに該当してもよい。MPテーブルを用いて、所望のサービスに該当するストリーミングサービスコンポーネント(MPU)に接近することができる。MPテーブルは、前述したように、USBDによってリファレンシングされてもよい。
その他のMMTシグナリングメッセージを定義することもできる。このようなMMTシグナリングメッセージによってMMTPセッション又はサービスに関連した追加の情報を記述することができる。
ROUTEセッションはソースIPアドレス、デスティネーションIPアドレス、デスティネーションポートナンバーによって識別される。LCTセッションはペアレントROUTEセッションの範囲内で唯一のTSI(transport session identifier)によって識別される。MMTPセッションはデスティネーションIPアドレス及びデスティネーションポートナンバーによって識別される。MMTPパケットフローはペアレントMMTPセッションの範囲内で唯一のpacket_idによって識別される。
ROUTEの場合、S−TSID、USBD/USD、MPD又はこれらを伝達するLCTセッションをサービスシグナリングチャネルと呼ぶことができる。MMTPの場合、USBD/UD、MMTシグナリングメッセージ、又はこれらを伝達するパケットフローをサービスシグナリングチャネルと呼ぶことができる。
図示した実施例とは違い、1つのROUTE又はMMTPセッションは複数個のPLPで伝達されてもよい。すなわち、1つのサービスは1つ以上のPLPを介して伝達されてもよい。図示とは違い、実施例によって、1つのサービスを構成するコンポーネントが別個のROUTEセッションで伝達されてもよい。また、実施例によって、1つのサービスを構成するコンポーネントが別個のMMTPセッションで伝達されてもよい。実施例によって、1つのサービスを構成するコンポーネントがROUTEセッションとMMTPセッションとに分けて伝達されてもよい。図示してはいないが、1つのサービスを構成するコンポーネントがブロードバンドを介して伝達(ハイブリッドデリバリ)されてもよい。
図3は、本発明の一実施例に係るLLS(Low Level Signaling)テーブル及びSLT(Service List Table)を示す図である。
図示のLLSテーブルの一実施例(t3010)は、LLS_table_idフィールド、provider_idフィールド、LLS_table_versionフィールド及び/又はLLS_table_idフィールドによる情報を含むことができる。
LLS_table_idフィールドは、当該LLSテーブルのタイプを識別し、provider_idフィールドは、当該LLSテーブルによってシグナルされるサービスに関連したサービスプロバイダを識別することができる。ここで、サービスプロバイダは、当該ブロードキャストストリームの全部又は一部を用いるブロードキャスタであり、provider_idフィールドは、当該ブロードキャストストリームを用いている複数のブロードキャスタのうち1つを識別することができる。LLS_table_versionフィールドは、当該LLSテーブルのバージョン情報を提供することができる。
LLS_table_idフィールドの値によって、当該LLSテーブルは、前述したSLT、コンテンツアドバイザリレーティング(Content advisory rating)に関連した情報を含むRRT(Rating Region Table)、システムタイムに関連した情報を提供するSystemTime情報、緊急警報に関連した情報を提供するCAP(Common Alert Protocol)メッセージのうち1つを含むことができる。実施例によって、その他の情報がLLSテーブルに含まれてもよい。
図示のSLTの一実施例(t3020)は、@bsid属性、@sltCapabilities属性、sltInetUrlエレメント及び/又はServiceエレメントを含むことができる。各フィールドは、図示されたUseコラムの値によって省略されてもよく、複数個存在してもよい。
@bsid属性は、ブロードキャストストリームの識別子であってもよい。@sltCapabilities属性は、当該SLTが記述する全てのサービスをデコードして有意に再生するために必要なキャパビリティ情報を提供することができる。sltInetUrlエレメントは、当該SLTのサービスのためのESG又はサービスシグナリング情報をブロードバンドを介して得るために用いられるベースURL情報を提供することができる。sltInetUrlエレメントは、@urlType属性をさらに含むことができるが、これは、当該URLから得られるデータのタイプを示すことができる。
Serviceエレメントは、当該SLTが記述するサービスに関する情報を含むエレメントであり、それぞれのサービスに対してServiceエレメントが存在してもよい。Serviceエレメントは、@serviceId属性、@sltSvcSeqNum属性、@protected属性、@majorChannelNo属性、@minorChannelNo属性、@serviceCategory属性、@shortServiceName属性、@hidden属性、@broadbandAccessRequired属性、@svcCapabilities属性、BroadcastSvcSignalingエレメント及び/又はsvcInetUrlエレメントを含むことができる。
@serviceId属性は、当該サービスの識別子であり、@sltSvcSeqNum属性は、当該サービスに対するSLT情報のシーケンスナンバーを示すことができる。@protected属性は、当該サービスの有意な再生のために必要な少なくとも1つのサービスコンポーネントが保護(protected)されているか否かを示すことができる。@majorChannelNo属性と@minorChannelNo属性はそれぞれ、当該サービスのメジャーチャネルナンバーとマイナーチャネルナンバーを示すことができる。
@serviceCategory属性は、当該サービスのカテゴリーを示すことができる。サービスのカテゴリーとしては、リニアA/Vサービス、リニアオーディオサービス、アプリベースのサービス、ESGサービス、EASサービスなどを挙げることができる。@shortServiceName属性は、当該サービスの短い名(Short name)を提供することができる。@hidden属性は、当該サービスがテスティング又は独占的(proprietary)な使用のためのサービスであるか否かを示すことができる。@broadbandAccessRequired属性は、当該サービスの有意な再生のためにブロードバンドアクセスが必要であるか否かを示すことができる。@svcCapabilities属性は、当該サービスのデコーディング及び有意な再生のために必要なキャパビリティ情報を提供することができる。
BroadcastSvcSignalingエレメントは、当該サービスのブロードキャストシグナリングに関連した情報を提供することができる。このエレメントは、当該サービスの放送網を介したシグナリングに対して、ロケーション、プロトコル、アドレスなどの情報を提供することができる。詳細な事項は後述する。
svcInetUrlエレメントは、当該サービスのためのシグナリング情報をブロードバンドを介してアクセスするためのURL情報を提供することができる。sltInetUrlエレメントは、@urlType属性をさらに含むことができるが、これは、当該URLから得られるデータのタイプを示すことができる。
前述したBroadcastSvcSignalingエレメントは、@slsProtocol属性、@slsMajorProtocolVersion属性、@slsMinorProtocolVersion属性、@slsPlpId属性、@slsDestinationIpAddress属性、@slsDestinationUdpPort属性、及び/又は@slsSourceIpAddress属性を含むことができる。
@slsProtocol属性は、当該サービスのSLSを伝達するために用いられるプロトコルを示すことができる(ROUTE、MMTなど)。@slsMajorProtocolVersion属性及び@slsMinorProtocolVersion属性はそれぞれ、当該サービスのSLSを伝達するために用いられるプロトコルのメジャーバージョンナンバー及びマイナーバージョンナンバーを示すことができる。
@slsPlpId属性は、当該サービスのSLSを伝達するPLPを識別するPLP識別子を提供することができる。実施例によって、このフィールドは省略されてもよく、SLSが伝達されるPLP情報は、後述するLMT内の情報とSLTのブートストラップ情報とを組み合わせて確認してもよい。
@slsDestinationIpAddress属性、@slsDestinationUdpPort属性及び@slsSourceIpAddress属性はそれぞれ、当該サービスのSLSを伝達する伝送パケットのデスティネーションIPアドレス、デスティネーションUDPポート及びソースIPアドレスを示すことができる。これらは、SLSが伝達される伝送セッション(ROUTEセッション又はMMTPセッション)を識別することができる。これらはブートストラップ情報に含まれてもよい。
図4は、本発明の一実施例に係る、ROUTEで伝達されるUSBD及びS−TSIDを示す図である。
図示されたUSBDの一実施例(t4010)は、bundleDescriptionルートエレメントを有することができる。bundleDescriptionルートエレメントは、userServiceDescriptionエレメントを有することができる。userServiceDescriptionエレメントは、1つのサービスに対するインスタンスであってもよい。
userServiceDescriptionエレメントは、@globalServiceID属性、@serviceId属性、@serviceStatus属性、@fullMPDUri属性、@sTSIDUri属性、nameエレメント、serviceLanguageエレメント、capabilityCodeエレメント及び/又はdeliveryMethodエレメントを含むことができる。各フィールドは、図示されたUseコラムの値によって省略されてもよく、複数個存在してもよい。
@globalServiceID属性は、当該サービスのグローバルにユニークな(globally unique)識別子であり、ESGデータとリンクされる上で用いられてもよい(Service@globalServiceID)。@serviceId属性は、SLTの該当のサービスエントリーに対応するリファレンスであり、SLTのサービスID情報と同一であってもよい。@serviceStatus属性は、当該サービスの状態を示すことができる。このフィールドは、当該サービスがアクティブ状態かインアクティブ(inactive)状態かを示すことができる。
@fullMPDUri属性は、当該サービスのMPDフラグメントをリファレンシングすることができる。MPDは、前述したように、放送網又はブロードバンドを介して伝達されるサービスコンポーネントに対する再生デスクリプションを提供することができる。@sTSIDUri属性は、当該サービスのS−TSIDフラグメントをリファレンシングすることができる。S−TSIDは、前述したように、当該サービスを運搬する伝送セッションへのアクセスに関連したパラメータを提供することができる。
nameエレメントは、当該サービスの名を提供することができる。このエレメントは、@lang属性をさらに含むことができるが、このフィールドは、nameエレメントが提供する名の言語を示すことができる。serviceLanguageエレメントは、当該サービスの利用可能な(available)言語を示すことができる。すなわち、このエレメントは、当該サービスを提供できる言語を羅列することができる。
capabilityCodeエレメントは、当該サービスを有意に再生する上で必要な受信機側のキャパビリティ又はキャパビリティグループ情報を示すことができる。これらの情報は、サービスアナウンスメント(announccement)から提供されるキャパビリティ情報フォーマットと互換されてもよい。
deliveryMethodエレメントは、当該サービスの放送網又はブロードバンドを介してアクセスされるコンテンツに対して、伝送関連情報を提供することができる。deliveryMethodエレメントは、broadcastAppServiceエレメント及び/又はunicastAppServiceエレメントを含むことができる。このエレメントはそれぞれ、basePatternエレメントを下位エレメントとして有することができる。
broadcastAppServiceエレメントは放送網を介して伝達されるDASHリプレゼンテーションに対する伝送関連情報を含むことができる。このDASHリプレゼンテーションは、当該サービスメディアプレゼンテーションの全てのピリオド(Period)にわたるメディアコンポーネントを含むことができる。
このエレメントのbasePatternエレメントは、受信機がセグメントURLとマッチするために用いるキャラクタパターンを示すことができる。これは、DASHクライアントが該当のリプレゼンテーションのセグメントを要求するために用いることができる。マッチされるということは、該当のメディアセグメントが放送網を介して伝達されるということを暗示することができる。
unicastAppServiceエレメントは、ブロードバンドを介して伝達されるDASHリプレゼンテーションに対する伝送関連情報を含むことができる。このDASHリプレゼンテーションは、該当のサービスメディアプレゼンテーションの全ピリオド(Period)にわたるメディアコンポーネントを含むことができる。
このエレメントのbasePatternエレメントは、受信機がセグメントURLとマッチするために用いるキャラクタパターンを示すことができる。これは、DASHクライアントが該当のリプレゼンテーションのセグメントを要求するために用いることができる。マッチされるということは、当該メディアセグメントがブロードバンドを介して伝達されるということを暗示することができる。
図示のS−TSIDの一実施例(t4020)は、S−TSIDルートエレメントを有することができる。S−TSIDルートエレメントは、@serviceId属性及び/又はRSエレメントを含むことができる。各フィールドは、図示されたUseコラムの値によって省略されてもよく、複数個存在してもよい。
@serviceId属性は、当該サービスの識別子であり、USBD/USDの当該サービスをリファレンシングすることができる。RSエレメントは、当該サービスのサービスコンポーネントが伝達されるROUTEセッションに関する情報を記述することができる。このようなROUTEセッションの個数によって、このエレメントは複数個存在してもよい。RSエレメントは、@bsid属性、@sIpAddr属性、@dIpAddr属性、@dport属性、@PLPID属性及び/又はLSエレメントをさらに含むことができる。
@bsid属性は、当該サービスのサービスコンポーネントが伝達されるブロードキャストストリームの識別子であってもよい。このフィールドが省略された場合、デフォルトブロードキャストストリームは、当該サービスのSLSを伝達するPLPを含むブロードキャストストリームであってもよい。このフィールドの値は、SLTの@bsid属性と同じ値であってもよい。
@sIpAddr属性、@dIpAddr属性及び@dport属性はそれぞれ、該当のROUTEセッションのソースIPアドレス、デスティネーションIPアドレス及びデスティネーションUDPポートを示すことができる。このフィールドが省略される場合、デフォルト値は、該当のSLSを伝達する、すなわち、該当のS−TSIDを伝達している現在の、ROUTEセッションのソースIPアドレス、デスティネーションIPアドレス及びデスティネーションUDPポート値であってもよい。現在ROUTEセッションでない、当該のサービスのサービスコンポーネントを伝達する他のROUTEセッションに対しては、本フィールドが省略されなくてもよい。
@PLPID属性は、該当のROUTEセッションのPLP ID情報を示すことができる。このフィールドが省略される場合、デフォルト値は、該当のS−TSIDが伝達されている現在PLPのPLP ID値であってもよい。実施例によって、このフィールドは省略され、該当のROUTEセッションのPLP ID情報は、後述するLMT内の情報と、RSエレメントのIPアドレス/UDPポート情報とを組み合わせて確認してもよい。
LSエレメントは、当該サービスのサービスコンポーネントが伝達されるLCTチャネルに関する情報を記述することができる。このようなLCTチャネルの個数によって、このエレメントは複数個存在してもよい。LSエレメントは、@tsi属性、@PLPID属性、@bw属性、@startTime属性、@endTime属性、SrcFlowエレメント及び/又はRepairFlowエレメントを含むことができる。
@tsi属性は、該当のLCTチャネルのtsi情報を示すことができる。これによって、当該サービスのサービスコンポーネントが伝達されるLCTチャネルを識別することができる。@PLPID属性は、該当のLCTチャネルのPLP ID情報を示すことができる。実施例によって、このフィールドは省略されてもよい。@bw属性は、該当のLCTチャネルの最大の帯域幅を示すことができる。@startTime属性は、該当のLCTセッションのスタートタイムを示し、@endTime属性は、該当のLCTチャネルのエンドタイムを示すことができる。
SrcFlowエレメントは、ROUTEのソースフローについて記述することができる。ROUTEのソースプロトコルは、デリバリオブジェクトを伝送するために用いられ、1つのROUTEセッション内で少なくとも1つのソースフローを設定(establish)することができる。これらのソースフローは、関連したオブジェクトをオブジェクトフローとして伝達することができる。
RepairFlowエレメントは、ROUTEのリペアフローについて記述することができる。ソースプロトコルによって伝達されるデリバリオブジェクトは、FEC(Forward Error Correction)によって保護されてもよいが、リペアプロトコルは、このようなFECプロテクションを可能にするFECフレームワーク(framework)を定義することができる。
図5は、本発明の一実施例に係る、MMTで伝達されるUSBDを示す図である。
図示されたUSBDの一実施例は、bundleDescriptionルートエレメントを有することができる。bundleDescriptionルートエレメントは、userServiceDescriptionエレメントを有することができる。userServiceDescriptionエレメントは、1つのサービスに対するインスタンスであってもよい。
userServiceDescriptionエレメントは、@globalServiceID属性、@serviceId属性、Nameエレメント、serviceLanguageエレメント、contentAdvisoryRatingエレメント、Channelエレメント、mpuComponentエレメント、routeComponentエレメント、broadbandComponentエレメント及び/又はComponentInfoエレメントを含むことができる。各フィールドは、図示されたUseコラムの値によって省略されてもよく、複数個存在してもよい。
@globalServiceID属性、@serviceId属性、Nameエレメント及び/又はserviceLanguageエレメントは、前述したROUTEで伝達されるUSBDの該当のフィールドと同一であってもよい。contentAdvisoryRatingエレメントは、当該サービスのコンテンツアドバイザリ(advisory)レーティングを示すことができる。これらの情報は、サービスアナウンスメント(announccement)から提供されるコンテンツアドバイザリレーティング情報フォーマットと互換されてもよい。Channelエレメントは、当該サービスに関連した情報を含むことができる。このエレメントの詳細な内容については後述する。
mpuComponentエレメントは、当該サービスのMPUとして伝達されるサービスコンポーネントに関するデスクリプションを提供することができる。このエレメントは、@mmtPackageId属性及び/又は@nextMmtPackageId属性をさらに含むことができる。@mmtPackageId属性は、当該サービスのMPUとして伝達されるサービスコンポーネントのMMTパッケージ(Package)をリファレンシングすることができる。@nextMmtPackageId属性は、時間上、@mmtPackageId属性がリファレンシングするMMTパッケージの次に用いられるMMTパッケージをリファレンシングすることができる。このエレメントの情報を用いてMPテーブルをリファレンシングすることができる。
routeComponentエレメントは、ROUTEで伝達される当該サービスのサービスコンポーネントに関するデスクリプションを含むことができる。リニアサービスコンポーネントがMMTプロトコルで伝達される場合であっても、NRTデータは、前述したように、ROUTEプロトコルによって伝達されてもよい。このエレメントはこのようなNRTデータに関する情報を記述することができる。このエレメントの詳細な内容については後述する。
broadbandComponentエレメントは、ブロードバンドで伝達される当該サービスのサービスコンポーネントに関するデスクリプションを含むことができる。ハイブリッドサービスデリバリにおいて、一つのサービスの一部のサービスコンポーネント又はその他のファイルは、ブロードバンドを介して伝達されてもよい。このエレメントは、このようなデータに関する情報を記述することができる。このエレメントは、@fullMPDUri属性をさらに含むことができる。この属性は、ブロードバンドで伝達されるサービスコンポーネントについて記述するMPDをリファレンシングすることができる。ハイブリッドサービスデリバリの他にも、トンネル内の走行などによって放送信号が弱くなる場合において、放送網−ブロードバンド間のハンドオフ(handoff)を支援するためにこのエレメントが用いられてもよい。放送信号が弱くなる場合、ブロードバンドを介してサービスコンポーネントを取得するが、再び放送信号が強くなると、放送網を介してサービスコンポーネントを取得し、サービスの連続性を保障することができる。
ComponentInfoエレメントは、当該サービスのサービスコンポーネントに関する情報を含むことができる。サービスのサービスコンポーネントの個数によって、このエレメントは複数個存在してもよい。このエレメントは、各サービスコンポーネントのタイプ、ロール(role)、名、識別子、プロテクションの有無などの情報を記述することができる。このエレメントの詳細な情報については後述する。
前述したChannelエレメントは、@serviceGenre属性、@serviceIcon属性及び/又はServiceDescriptionエレメントをさらに含むことができる。@serviceGenre属性は、当該サービスのジャンルを示し、@serviceIcon属性は、当該サービスを代表するアイコン(icon)のURL情報を含むことができる。ServiceDescriptionエレメントは、当該サービスのサービスデスクリプションを提供するが、このエレメントは、@serviceDescrText属性及び/又は@serviceDescrLang属性をさらに含むことができる。これらの属性はそれぞれ、当該サービスデスクリプションのテキスト及びそのテキストに用いられる言語を示すことができる。
前述したrouteComponentエレメントは、@sTSIDUri属性、@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性、@sTSIDSourceIpAddress属性、@sTSIDMajorProtocolVersion属性、及び/又は@sTSIDMinorProtocolVersion属性をさらに含むことができる。
@sTSIDUri属性は、S−TSIDフラグメントをリファレンシングすることができる。このフィールドは、前述したROUTEで伝達されるUSBDの該当のフィールドと同一であってもよい。このS−TSIDは、ROUTEで伝達されるサービスコンポーネントに対するアクセス関連情報を提供することができる。このS−TSIDは、MMTプロトコルによってリニアサービスコンポーネントが伝達される状況で、ROUTEプロトコルによって伝達されるNRTデータのために存在してもよい。
@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性及び@sTSIDSourceIpAddress属性はそれぞれ、前述したS−TSIDを運搬する伝送パケットのデスティネーションIPアドレス、デスティネーションUDPポート、ソースIPアドレスを示すことができる。すなわち、これらのフィールドは、前述したS−TSIDを運搬する伝送セッション(MMTPセッション又はROUTEセッション)を識別することができる。
@sTSIDMajorProtocolVersion属性及び@sTSIDMinorProtocolVersion属性は、前述したS−TSIDを伝達するために用いられる伝送プロトコルのメジャーバージョンナンバー及びマイナーバージョンナンバーを示すことができる。
前述したComponentInfoエレメントは、@componentType属性、@componentRole属性、@componentProtectedFlag属性、@componentId属性及び/又は@componentName属性をさらに含むことができる。
@componentType属性は、当該コンポーネントのタイプを示すことができる。例えば、この属性は、当該コンポーネントがオーディオ、ビデオ、クローズドキャプションコンポーネントのいずれであるかを示すことができる。@componentRole属性は、当該コンポーネントのロール(役割)を示すことができる。例えば、この属性は、当該コンポーネントがオーディオコンポーネントである場合、メインオーディオ、ミュージック、コメンタリなどのいずれであるかを示すことができる。該当のコンポーネントがビデオコンポーネントである場合、プライマリビデオであるかなどを示すことができる。当該コンポーネントがクローズドキャプションコンポーネントである場合、ノーマルキャプションてあるか又はイージーリーダー(easy reader)タイプであるかなどを示すことができる。
@componentProtectedFlag属性は、当該サービスコンポーネントが保護されたか、例えば暗号化されたかを示すことができる。@componentId属性は、当該サービスコンポーネントの識別子を示すことができる。この属性の値は、このサービスコンポーネントに該当するMPテーブルのasset_id(アセットID)と同じ値であってもよい。@componentName属性は、当該サービスコンポーネントの名を示すことができる。
図6は、本発明の一実施例に係るリンクレイヤ(Link Layer)動作を示す図である。
リンクレイヤは、フィジカルレイヤとネットワークレイヤとの間のレイヤであり得る。送信側では、ネットワークレイヤからフィジカルレイヤにデータを伝送し、受信側では、フィジカルレイヤからネットワークレイヤにデータを伝送することができる(t6010)。リンクレイヤの目的は、フィジカルレイヤによる処理のために全入力パケットタイプを1つのフォーマットに圧縮(abstracting)すること、及びまだ定義されていない入力パケットタイプに対する柔軟性(flexibility)及び将来の拡張可能性を保障することにあり得る。また、リンクレイヤは、入力パケットのヘッダーの不要な情報を圧縮するオプションを提供することによって、入力データが効率的に伝送されるようにすることができる。リンクレイヤのオーバーヘッドリダクション、エンカプセレーションなどの動作は、リンクレイヤプロトコルと呼ばれ、当該プロトコルによって生成されたパケットは、リンクレイヤパケットと呼ぶことができる。リンクレイヤは、パケットエンカプセレーション(packet encapsulation)、オーバーヘッドリダクション(Overhead Reduction)及び/又はシグナリング伝送(Signaling Transmission)などの機能を有することができる。
送信側基準で、リンクレイヤ(ALP)は、入力パケットに対してオーバーヘッドリダクション過程を行った後、それらをリンクレイヤパケットにエンカプセレーションすることができる。また、実施例によって、リンクレイヤは、オーバーヘッドリダクション過程を行わないで、リンクレイヤパケットにエンカプセレーションしてもよい。リンクレイヤプロトコルの使用によって、フィジカルレイヤ上でデータの伝送に対するオーバーヘッドを大きく減少させることができ、本発明に係るリンクレイヤプロトコルは、IPオーバーヘッドリダクション及び/又はMPEG−2TSオーバーヘッドリダクションを提供することができる。
図示の、IPパケットが入力パケットとして入力される場合において(t6010)、リンクレイヤは、IPヘッダー圧縮、アダプテーション及び/又はエンカプセレーション過程を順に行うことができる。実施例によって、一部の過程は省略されてもよい。まず、RoHCモジュールでIPパケットヘッダー圧縮を行って不要なオーバーヘッドを減らし、アダプテーション過程によってコンテクスト情報を抽出し、これを帯域外で伝送することができる。IPヘッダー圧縮及びアダプテーション過程を総称して、IPヘッダー圧縮ということもできる。その後、エンカプセレーション過程を経てIPパケットをリンクレイヤパケットにエンカプセレーションすることができる。
MPEG2TSパケットが入力パケットとして入力される場合において、リンクレイヤは、TSパケットに対するオーバーヘッドリダクション及び/又はエンカプセレーション過程を順に行うことができる。実施例によって、一部の過程は省略されてもよい。オーバーヘッドリダクションにおいて、リンクレイヤは、シンクバイトの除去、ヌルパケットの削除及び/又は共通(common)ヘッダー除去(圧縮)を提供することができる。シンクバイト除去によってTSパケット当たりに1バイトのオーバーヘッドリダクションを提供することができる。受信側で再挿入可能な方式でヌルパケットの削除を行ってもよい。また、連続したヘッダー間の共通した情報を、受信側で復旧可能な方式で削除(圧縮)してもよい。各オーバーヘッドリダクション過程の一部は省略されてもよい。その後、エンカプセレーション過程を経てTSパケットをリンクレイヤパケッにエンカプセレーションすることができる。TSパケットのエンカプセレーションに対するリンクレイヤパケット構造は、他のタイプのパケットとは異なってもよい。
まず、IPヘッダー圧縮(IP Header Compression)について説明する。
IPパケットは、固定されたヘッダーフォーマットを有するが、通信環境で必要な一部の情報がブロードキャスト環境では不要な場合がある。リンクレイヤプロトコルは、IPパケットのヘッダーを圧縮することによって、ブロードキャストオーバーヘッドを減らすメカニズムを提供することができる。
IPヘッダー圧縮は、ヘッダーコンプレッサ/デコンプレッサ及び/又はアダプテーションモジュールを含むことができる。IPヘッダーコンプレッサ(RoHCコンプレッサ)は、RoHC方式に基づいて各IPパケットヘッダーのサイズを減少させることができる。その後、アダプテーションモジュールは、コンテクスト情報を抽出し、各パケットストリームからシグナリング情報を生成することができる。受信機は、該当のパケットストリームに関連したシグナリング情報をパースし、コンテクスト情報をそのパケットストリームに付加(attach)することができる。RoHCデコンプレッサは、パケットヘッダーを復旧して元来のIPパケットを再構成することができる。
以下、アダプテーション(Adaptation)について説明する。
単方向リンク上の伝送において、受信機がコンテクストの情報を有していないと、デコンプレッサは完全なコンテクストを受信するまでは、受信したパケットヘッダーを復旧することができない。これは、チャネル変更遅延及びターンオンディレー(turn−on delay)を招きうる。そこで、アダプテーション機能を用いて、コンプレッサ/デコンプレッサ間のコンフィギュレーションパラメータとコンテクスト情報を帯域外で伝送することができる。
圧縮されたIPパケットからコンテクスト情報を抽出するが、アダプテーションモードによって様々な方法を用いることができる。
モード#1は、圧縮されたパケットストリームに対していかなる動作も行わないモードであり、アダプテーションモジュールがバッファとして動作するモードであるといえる。
モード#2は、圧縮されたパケットストリームのうち、IRパケットを検出してコンテクスト情報(スタティックチェーン)を抽出するモードであってもよい。抽出の後、IRパケットはIR−DYNパケットに変換され、IR−DYNパケットを元来のIRパケットに代えてパケットストリーム内で同じ順序で伝送することができる。
モード#3(t6020)は、圧縮されたパケットストリームのうち、IR及びIR−DYNパケットを検出し、コンテクスト情報を抽出するモードであってもよい。IRパケットからスタティックチェーン及びダイナミックチェーンを、IR−DYNパケットからダイナミックチェーンを抽出することができる。抽出の後、IR及びIR−DYNパケットを一般圧縮パケットに変換することができる。変換されたパケットを、元来のIR及びIR−DYNパケットに代えてパケットストリーム内で同じ順序で伝送することができる。
各モードで、コンテクスト情報を抽出して残ったパケットは、圧縮されたIPパケットのためのリンクレイヤパケット構造によってエンカプセレーションして伝送することができる。コンテクスト情報は、リンクレイヤシグナリングであり、シグナリング情報のためのリンクレイヤパケット構造によってエンカプセレーションして伝送することができる。
抽出されたコンテクスト情報は、RDT(RoHC−U Description Table)に含めてRoHCパケットフローとは別に伝送することができる。コンテクスト情報は、他のシグナリング情報と共に特定(specific)フィジカルデータ経路で伝送することができる。特定フィジカルデータ経路とは、実施例によって、一般PLPのうちの一つを意味することもでき、LLS(Low Level Signaling)が伝達されるPLPを意味することもでき、指定された(dedicated)PLPであってもよく、L1シグナリングパス(path)を意味することもできる。ここで、RDTは、コンテクスト情報(スタティックチェーン及び/又はダイナミックチェーン)及び/又はヘッダーコンプレッションに関連した情報を含むシグナリング情報であってもよい。
受信機はパケットストリームを取得する前に、最初のPLPを選択してSLT、RDTなどのシグナリング情報をまず取得することができる。シグナリング情報を取得すると、該当のパケットストリームを運搬するPLPを選択することができる。アダプテーションモジュールは、コンテクスト情報をパースし、これを圧縮されたパケットと組み合わせることができる。これによってパケットストリームを復旧することができ、これをRoHCデコンプレッサに伝達することができる。その後、デコンプレッションを始まることができる。
以下、パケットエンカプセレーションについて説明する。
リンクレイヤプロトコルは、IPパケット、TSパケットなどの全てのタイプのインプットパケットをリンクレイヤパケットにエンカプセレーションすることができる。これによって、フィジカルレイヤは、ネットワークレイヤのプロトコルタイプとは独立して1つのパケットフォーマットだけを処理すればいい(ここでは、ネットワークレイヤパケットの一種としてMPEG−2TSパケットを考慮)。各ネットワークレイヤパケット又は入力パケットは、ゼネリックリンクレイヤパケットのペイロードに変形される。
パケットエンカプセレーション過程では分割(segmentation)を活用することができる。ネットワークレイヤパケットが大きすぎてフィジカルレイヤで処理できない場合、ネットワークレイヤパケットを2つ以上のセグメントに分割することができる。リンクレイヤパケットヘッダーは、送信側で分割を実行し、受信側で再結合を実行するためのフィールドを含むことができる。各セグメントを、元来の位置と同じ順序でリンクレイヤパケットにエンカプセレーションすることができる。
パケットエンカプセレーション過程で連鎖(concatenation)を活用することもできる。リンクレイヤパケットのペイロードが複数のネットワークレイヤパケットを含む程度にネットワークレイヤパケットが十分に小さい場合、連鎖を行ってもよい。リンクレイヤパケットヘッダーは、連鎖を実行するためのフィールドを含むことができる。連鎖の場合、各入力パケットを、元来の入力順序と同じ順序でリンクレイヤパケットのペイロードにエンカプセレーションすることができる。
リンクレイヤパケットは、ヘッダー及びペイロードを含むことができ、ヘッダーは、ベースヘッダー、追加(additional)ヘッダー及び/又はオプショナルヘッダーを含むことができる。追加ヘッダーは、連鎖又は分割などの状況によってさらに追加することができるが、追加ヘッダーには状況に応じて、必要なフィールドを含めることができる。また、追加的な情報の伝達のためにオプショナルヘッダーをさらに追加することもできる。それぞれのヘッダー構造は既に定義されていてもよい。前述したように、入力パケットがTSパケットである場合には、他のパケットとは異なるリンクレイヤヘッダー構造を用いることができる。
以下、リンクレイヤシグナリングについて説明する。
リンクレイヤシグナリングは、IPレイヤよりも下位レベルで動作することができる。受信側では、LLS、SLT、SLSなどのIPレベルシグナリングよりもリンクレイヤシグナリングを先に取得することができる。このため、リンクレイヤシグナリングをセッション設定(establishment)の前に取得することができる。
リンクレイヤシグナリングには、インターナルリンクレイヤシグナリングとエクスターナルリンクレイヤシグナリングがあり得る。インターナルリンクレイヤシグナリングは、リンクレイヤで生成されたシグナリング情報を意味することができる。前述したRDT又は後述するLMTなどがこれに当たる。エクスターナルリンクレイヤシグナリングは、外部のモジュール又は外部のプロトコル、上位レイヤから伝達されたシグナリング情報であってもよい。リンクレイヤは、リンクレイヤシグナリングをリンクレイヤパケットにエンカプセレーションして伝達することができる。リンクレイヤシグナリングのためのリンクレイヤパケット構造(ヘッダー構造)を定義することができ、この構造によって、リンクレイヤシグナリング情報をエンカプセレーションすることができる。
図7は、本発明の一実施例に係るLMT(Link Mapping Table)を示す図である。
LMTは、PLPで運搬される上位レイヤセッションのリストを提供することができる。また、LMTは、上位レイヤセッションを伝達するリンクレイヤパケットをプロセシングするための追加的な情報を提供することができる。
LMTから、あるPLPを介していかなるIPストリーム、いかなる伝送セッションが伝送されているかに関する情報を取得することができる。逆に、特定の伝送セッションがどのPLPで伝達されるかに関する情報も取得することができる。
実施例によって、前述したSLT、SLS等におけるPLP識別子情報を用いて、SLT、SLSが示す特定伝送セッションがどのPLPで伝送されているかに関する情報を確認することができる。
他の実施例によって、前述したSLT、SLS等におけるPLP識別子情報は省略され、SLT、SLSが示す特定伝送セッションに対するPLP情報は、LMT内の情報を参照することによって確認することもできる。この場合、受信機は、LMTと他のIPレベルシグナリング情報とを組み合わせて、所望のPLPを識別することができる。この実施例においても、SLT、SLS等におけるPLP情報は省略されず、SLT、SLS等に残っていてもよい。
同図の実施例に係るLMTは、signaling_typeフィールド、PLP_IDフィールド、num_sessionフィールド及び/又はそれぞれのセッションに関する情報を含むことができる。同図の実施例のLMTは、1つのPLPに対して、そのPLPで伝送されるIPストリームを記述しているが、実施例によって、LMTにPLPループを追加し、複数個のPLPに関する情報を記述してもよい。
signaling_typeフィールドは、当該テーブルによって伝達されるシグナリング情報のタイプを示すことができる。LMTに対するsignaling_typeフィールドの値は、0x01に設定することができる。PLP_IDフィールドは、当該LMTに該当するPLPを識別することができる。num_sessionフィールドは、PLP_IDフィールドによって識別されるPLPで伝達される上位レイヤセッションの個数を示すことができる。
num_sessionフィールドが示す個数によって、各セッションに関する情報が含まれてもよい。この情報は、src_IP_addフィールド、dst_IP_addフィールド、src_UDP_portフィールド、dst_UDP_portフィールド、SID_flagフィールド、compressed_flagフィールド、SIDフィールド及び/又はcontext_idフィールドを含むことができる。
src_IP_addフィールド、dst_IP_addフィールド、src_UDP_portフィールド及びdst_UDP_portフィールドは、PLP_IDフィールドによって識別されるPLPで伝達される上位レイヤセッションのうち、当該伝送セッションに対するソースIPアドレス、デスティネーションIPアドレス、ソースUDPポート、デスティネーションUDPポートを示すことができる。
SID_flagフィールドは、当該伝送セッションを伝達するリンクレイヤパケットがそのオプショナルヘッダーにSIDフィールドを有するか否かを示すことができる。上位レイヤセッションを伝達するリンクレイヤパケットは、そのオプショナルヘッダーにSIDフィールドを有することができ、そのSIDフィールド値は後述するLMT内のSIDフィールドと同一であってもよい。
compressed_flagフィールドは、当該伝送セッションを伝達するリンクレイヤパケットのデータにヘッダーコンプレッションが適用されたか否かを示すことができる。また、本フィールドの値によって、後述するcontext_idフィールドの存否が決定されてもよい。SIDフィールドは、当該伝送セッションを伝達するリンクレイヤパケットに対するSID(sub stream ID)を示すことができる。
context_idフィールドは、RDT内のCID(context id)に対するリファレンスを提供することができる。RDTのCID情報は、該当する圧縮IPパケットストリームに対するコンテクストIDを示すことができる。RDTは、該当する圧縮IPパケットストリームに対するコンテクスト情報を提供することができる。本フィールドによってRDTとLMTとが関連付けられてもよい。
前述した、本発明のシグナリング情報/テーブルの実施例において、それぞれのフィールド、エレメント、属性を省略したり他のフィールドに置き換えてもよく、実施例によって、更なるフィールド、エレメント、属性を追加してもよい。
本発明の一実施例で、一つのサービスのサービスコンポーネントを複数個のROUTEセッションで伝達することができる。この場合、SLTのブートストラップ情報を用いてSLSを取得することができる。このSLSのUSBDを用いてS−TSIDとMPDをリファレンシングすることができる。S−TSIDは、SLSを伝達しているROUTEセッションだけでなく、サービスコンポーネントを伝達している他のROUTEセッションに対する伝送セッションデスクリプション情報も記述することができる。これによって、複数個のROUTEセッションで伝達されるサービスコンポーネントを全て収集することができる。このような事項は、一つのサービスのサービスコンポーネントが複数個のMMTPセッションで伝達される場合にも同様に適用することができる。参考として、1つのサービスコンポーネントが複数個のサービスによって同時に用いられてもよい。
本発明の他の実施例で、ESGサービスに対するブートストラピングは放送網又はブロードバンドで行われてもよい。ブロードバンドを介してESGを取得し、SLTのURL情報を活用することができる。このURLにESG情報などを要求することができる。
本発明の他の実施例で、一つのサービスのいずれか一つのサービスコンポーネントは放送網で、いずれか他のサービスコンポーネントはブロードバンドで伝達することができる(ハイブリッド)。S−TSIDは、放送網で伝達されるコンポーネントについて記述して、ROUTEクライアントが所望のサービスコンポーネントを取得できるようにする。また、USBDは、ベースパターン情報を有しており、どのセグメントが(どのコンポーネントが)どの経路で伝達されるかを記述することができる。したがって、受信機は、これを用いて、ブロードバンドサーバーに要求すべきセグメント、及び放送ストリームから見つけるべきセグメントを識別することができる。
本発明の他の実施例で、サービスに対するスケーラブル(scalable)コーディングを行うこともできる。USBDは、当該サービスをレンダリングするために必要な全てのキャパビリティ情報を有することができる。例えば、一つのサービスがHD又はUHDで提供される場合、USBDのキャパビリティ情報は、“HD又はUHD”値を有することができる。受信機は、MPDから、UHD又はHDサービスをレンダリングするためにはどのコンポーネントを再生しなければならないかが分かる。
本発明の他の実施例で、SLSを伝達するLCTチャネルで伝達されるLCTパケットのTOIフィールドから、当該LCTパケットがどのSLSフラグメントを伝達しているか(USBD、S−TSID、MPDなど)を識別することができる。
本発明の他の実施例で、アプリベースのエンハンスメント/アプリベースのサービスに用いられるアプリコンポーネントを、NRTコンポーネントとして放送網で伝達されたり、又はブロードバンドで伝達してもよい。また、アプリベースのエンハンスメントに対するアプリシグナリングは、SLSと共に伝達されるAST(Application Signaling Table)によって行われてもよい。また、アプリが行う動作に対するシグナリングであるイベントは、SLSと共にEMT(Event Message Table)の形態で伝達されたり、MPD内にシグナルされたり、DASHリプレゼンテーション内にbox形態でインバンド(in−band)シグナルされてもよい。AST、EMTなどはブロードバンドを介して伝達されてもよい。収集されたアプリコンポーネントとこのようなシグナリング情報を用いてアプリベースのエンハンスメントなどを提供することができる。
本発明の他の実施例で、緊急警報のためにCAPメッセージを前述のLSテーブルに含めて提供することができる。緊急警報のためのリーチメディア(Rich Media)コンテンツも提供することができる。リーチメディアは、CAPメッセージによってシグナルすることができ、リーチメディアが存在する場合、これは、SLTによってシグナルされるEASサービスとして提供することができる。
本発明の他の実施例で、MMTプロトコルによってリニアサービスコンポーネントを放送網を介して伝達することができる。この場合、当該サービスに対するNRTデータ(例えば、アプリコンポーネント)をROUTEプロトコルによって放送網で伝達することができる。また、当該サービスに対するデータをブロードバンドで伝達することができる。受信機は、SLTのブートストラップ情報を用いてSLSを伝達するMMTPセッションに接近することができる。MMTによるSLSのUSBDは、MPテーブルをリファレンシングして、受信機がMMTプロトコルによって伝達されるMPUにフォーマットされたリニアサービスコンポーネントを取得できるようにする。また、USBDは、S−TSIDをさらにリファレンシングして、受信機がROUTEプロトコルによって伝達されるNRTデータを取得するようにしてもよい。また、USBDは、MPDをさらにリファレンシングして、ブロードバンドを介して伝達されるデータに対する再生デスクリプションを提供することができる。
本発明の他の実施例で、受信機はそのコンパニオンデバイスに、ストリーミングコンポーネント及び/又はファイルコンテンツアイテム(ファイルなど)を取得できるロケーションURL情報を、ウェブソケットなどの方法で伝達することができる。コンパニオンデバイスのアプリケーションはこのURLにHTTP GETなどを用いて要求して該当のコンポーネント、データなどを取得することができる。その他にも、受信機はシステムタイム情報、緊急警報情報などの情報をコンパニオンデバイス側に伝達することができる。
図8は、本発明の一実施例に係るネットワークトポロジを示すブロック図である。
図8に示すように、本発明の一実施例に係るネットワークトポロジは、コンテンツ提供サーバー10、コンテンツ認識サービス提供サーバー20、マルチチャネルビデオ分配サーバー30、付加サービス情報提供サーバー40、複数の付加サービス提供サーバー50、放送受信装置60、ネットワーク70、映像表示装置100を含む。
コンテンツ提供サーバー10は放送局などであってもよく、メイン視聴覚コンテンツ(main audio−visual content)を含む放送信号を放送する。放送信号は付加サービスをさらに含むことができる。付加サービスはメイン視聴覚コンテンツと関連があってもよく、関連がなくてもよい。付加サービスは、サービス情報(service information)、メタデータ(metadata)、付加データ、コンパイルされた実行ファイル、ウェブアプリケーション、HTML(Hypertext Markup Language)文書、XML文書、CSS(cascading style sheet)文書、オーディオファイル、ビデオファイル、ATSC2.0コンテンツ、URL(Uniform Resource Locator)のようなアドレスなどの形態を有することができる。1つ以上のコンテンツ提供サーバーが存在してもよい。
コンテンツ認識サービス提供サーバー20は、映像表示装置100がメイン視聴覚コンテンツに基づいてコンテンツを認識できるようにするコンテンツ認識サービスを提供する。コンテンツ認識サービス提供サーバー20は、メイン視聴覚コンテンツに修正を加えてもよく、修正を加えなくてもよい。1つ以上のコンテンツ認識サービス提供サーバーが存在してもよい。
コンテンツ認識サービス提供サーバー20は、メイン視聴覚コンテンツに変形を加えて、メイン視聴覚コンテンツにロゴのような見えるウォーターマーク(visible watermark)を挿入するウォーターマークサーバーであってもよい。このウォーターマークサーバーは、メイン視聴覚コンテンツの各フレームの左上端又は右上端にコンテンツプロバイダのロゴをウォーターマークすることができる。
また、コンテンツ認識サービス提供サーバー20は、メイン視聴覚コンテンツに変形を加えて、メイン視聴覚コンテンツに、コンテンツ情報を見えないウォーターマーク(invisible watermark)として挿入するウォーターマークサーバーであってもよい。
また、コンテンツ認識サービス提供サーバー20は、メイン視聴覚コンテンツの一部のフレーム又は一部のオーディオサンプルから特徴情報を抽出して保存するフィンガープリントサーバーであってもよい。この特徴情報は、シグネチャーとも呼ばれる。
マルチチャネルビデオ分配サーバー30は、複数の放送局から放送信号を受信して多重化し、多重化された信号を放送受信装置60に提供する。特に、マルチチャネルビデオ分配サーバー30は、受信した放送信号に対して復調及びチャネル復号化を行ってメイン視聴覚コンテンツ及び付加サービスを抽出した後、抽出されたメイン視聴覚コンテンツ及び抽出した付加サービスに対してチャネル符号化を行って、分配のための多重化信号を生成することができる。このとき、マルチチャネルビデオ分配サーバー30は、抽出した付加サービスを除外することも、別の付加サービスを追加することも可能であるため、放送局は放送局主導のサービスを提供することができない。1つ以上のマルチチャネルビデオ分配サーバーが存在してもよい。
放送受信装置60は、ユーザの選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信した信号に対して復調及びチャネル復号を行ってメイン視聴覚コンテンツを抽出する。そして、放送受信装置60は、抽出したメイン視聴覚コンテンツを、H.264/MPEG−4AVC(Moving Picture Experts Group−4 advanced video coding)、Dolby AC−3、MPEG−2 AAC(Moving Picture Experts Group−2 Advanced Audio Coding)アルゴリズムなどを用いて復号して非圧縮メイン視聴覚コンテンツ(uncompressed main AV content)を生成する。放送受信装置60は、生成した非圧縮メイン視聴覚コンテンツを、映像表示装置100の外部入力ポートなどを介して映像表示装置100に提供する。
付加サービス情報提供サーバー40は、映像表示装置の要求に応答して、メイン視聴覚コンテンツに関連した1つ以上の利用可能な付加サービスのための付加サービス情報を提供する。1つ以上の付加サービスアドレス提供サーバーが存在してもよい。付加サービス情報提供サーバー40は、複数の利用可能な付加サービスのうち、最も優先順位の高い付加サービスのための付加サービス情報を提供することもできる。
付加サービス提供サーバー50は、映像表示装置の要求に応答して、メイン視聴覚コンテンツと関連して利用可能な1つ以上の付加サービスを提供する。1つ以上の付加サービス提供サーバーが存在してもよい。
映像表示装置100は、テレビ、ノートパソコン、携帯電話、スマートフォンなどのようにディスプレイ部を有する装置であってもよい。映像表示装置100は、放送受信装置60から非圧縮のメイン視聴覚コンテンツを受信することもでき、コンテンツ提供サーバー10又はマルチチャネルビデオ分配サーバー30から、符号化されたメイン視聴覚コンテンツを含む放送信号を受信することもできる。映像表示装置100は、ネットワーク70を介してコンテンツ認識サービス提供サーバー20からコンテンツ認識サービス提供を受けることができ、ネットワーク70を介して付加サービス情報提供サーバー40から、メイン視聴覚コンテンツと関連して利用可能な1つ以上の付加サービスのアドレスを受けることができ、付加サービス提供サーバー50から、メイン視聴覚コンテンツと関連して利用可能な1つ以上の付加サービスの提供を受けることができる。
コンテンツ提供サーバー10、コンテンツ認識サービス提供サーバー20、マルチチャネルビデオ分配サーバー30、付加サービス情報提供サーバー40、複数の付加サービス提供サーバー50のうち2つ以上を1つのサーバーの形態で結合してもよく、一つの事業者によって運営されてもよい。
図9は、本発明の一実施例に係るウォーターマークベースのネットワークトポロジを示すブロック図である。
図9に示すように、本発明の一実施例に係るネットワークトポロジは、ウォーターマークサーバー21をさらに含む。
図9に示すようなウォーターマークサーバー21は、メイン視聴覚コンテンツに変形を加えて、メイン視聴覚コンテンツにコンテンツ情報を挿入する。マルチチャネルビデオ分配サーバー30は、変形されたメイン視聴覚コンテンツを含む放送信号を受信して分配する。特に、ウォーターマークサーバーは、以下に説明するようなデジタルウォーターマーキング技術を用いることができる。
デジタルウォーターマークは、削除し難い方法でデジタル信号に情報を挿入するプロセスである。例えば、デジタル信号は、オーディオ、写真、又はビデオであってもよい。このデジタル信号が複写されると、挿入された情報も複写本に含まれる。一つのデジタル信号が同時に別個の複数のウォーターマークを運搬することができる。
見えるウォーターマーキング(visible watermarking)において、挿入される情報は、写真又はビデオにおいて目で識別可能である。典型的に、挿入された情報は、メディアの所有者を識別するテキスト又はロゴである。テレビ放送局が自身のロゴを、伝送されるビデオのコーナーに追加すれば、これが目で識別可能なウォーターマークである。
目で識別不可能なウォーターマーキング(invisible watermarking)において、情報は、デジタルデータとしてオーディオ、写真、又はビデオに追加されるが、一定量の情報が隠れているという事実は感知できても、そのような情報を認知することはできない。このような目で識別不可能なウォーターマーキングを用いて秘密メッセージを伝達することもできる。
ウォーターマーキングの一つの応用は、デジタルメディアの不正複製を防止のための著作権保護システムにある。例えば、複製装置は、デジタルメディアの複製前にデジタルメディアからウォーターマークを得て、ウォーターマークの内容に基づいて複製をするか否かを決定することができる。
ウォーターマーキングの他の応用は、デジタルメディアの出処の追跡にある。配布経路上の各地点でウォーターマークがデジタルメディアに埋め込まれる。後でこのようなデジタルメディアが発見されると、このデジタルメディアからウォーターマークを抽出し、ウォーターマークの内容から配布の出処を把握することができる。
デジタルメディアに関する説明が、目で識別不可能なウォーターマーキングの他の一応用である。
デジタルメディアのためのファイルフォーマットが、メタデータと呼ばれる追加的な情報を含むことができるが、デジタルウォーターマークは、デジタルメディアの視聴覚信号自体で伝達されるという点でメタデータとは区別される。
ウォーターマーキング方法には、スプレッドスペクトル、量子化、アンプリチュード変調がある。
マーキングされる信号が追加的な修正によって得られる場合、ウォーターマーキング方法はスプレッドスペクトルに該当する。スプレッドスペクトルウォーターマークはかなり強じんなものと知られているが、ウォーターマークの埋め込まれるホスト信号に干渉を与えることから、多くの情報が載せられることはない。
マーキングされる信号が量子化によって得られる場合、ウォーターマーキング方法は量子化タイプに該当する。量子化ウォーターマークは、強じん性は低いが、かなり多い情報を載せることができる。
マーキングされる信号が空間ドメインでスプレッドスペクトルに類似の追加修正方法によって得られる場合、ウォーターマーキング方法はアンプリチュード変調に該当する。
図10は、本発明の一実施例に係るウォーターマークベースのネットワークトポロジ内のデータ流れを示すラダーダイヤグラムである。
まず、コンテンツ提供サーバー10は、メイン視聴覚コンテンツ及び付加サービスを含む放送信号を伝送する(S101)。
ウォーターマークサーバー21は、コンテンツ提供サーバー10が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えて、メイン視聴覚コンテンツにロゴのような見えるウォーターマーク(visible watermark)を挿入したり、メイン視聴覚コンテンツにウォーターマーク情報を見えないウォーターマーク(invisible watermark)として挿入し、ウォーターマーキングされたメイン視聴覚コンテンツと付加サービスをMVPD30に提供する(S103)。
見えないウォーターマークによって挿入されるウォーターマーク情報は、ウォーターマーク用途、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち1つ以上を含むことができる。ウォーターマーク用途は、無断複製防止、視聴率調査、付加サービス取得のうち1つを示すことができる。
コンテンツ情報は、メイン視聴覚コンテンツを提供するコンテンツプロバイダの識別情報、メイン視聴覚コンテンツ識別情報、メイン視聴覚コンテンツ等級情報、コンテンツ情報の取得に用いられたコンテンツ区間の時間情報、メイン視聴覚コンテンツが放送されるチャネルの名、メイン視聴覚コンテンツが放送されるチャネルのロゴ、メイン視聴覚コンテンツが放送されるチャネルの説明、利用情報報告アドレス、利用情報報告周期、利用情報の取得のための最小利用時間、メイン視聴覚コンテンツに関連して利用可能な付加サービス情報のうち1つ以上を含むことができる。
映像表示装置100がコンテンツ情報の取得のためにウォーターマークを用いた場合には、コンテンツ情報の取得に用いられたコンテンツ区間の時間情報は、利用されたウォーターマークが埋め込まれた(embeded)コンテンツ区間の時間情報であってもよい。映像表示装置100がコンテンツ情報の取得のためにフィンガープリントを用いた場合には、コンテンツ情報の取得に用いられたコンテンツ区間の時間情報は、特徴情報が抽出されたコンテンツ区間の時間情報であってもよい。コンテンツ情報の取得に用いられたコンテンツ区間の時間情報は、コンテンツ情報の取得に用いられたコンテンツ区間の開始時間、コンテンツ情報の取得に用いられたコンテンツ区間の持続時間(duration)、コンテンツ情報の取得に用いられたコンテンツ区間の終了時間のうち1つ以上を含むことができる。
利用情報報告アドレスは、メイン視聴覚コンテンツ視聴情報報告アドレス、付加サービス利用情報報告アドレスのうち1つ以上を含むことができる。利用情報報告周期は、メイン視聴覚コンテンツ視聴情報報告周期、付加サービス利用情報報告周期のうち1つ以上を含むことができる。利用情報取得のための最小利用時間は、メイン視聴覚コンテンツ視聴情報取得のための最小視聴時間、付加サービス利用情報抽出のための最小使用時間のうち1つ以上を含むことができる。
メイン視聴覚コンテンツが最小視聴時間以上視聴された場合に基づいて、映像表示装置100はメイン視聴覚コンテンツの視聴情報を取得し、メイン視聴覚コンテンツ視聴情報報告周期でメイン視聴覚コンテンツ視聴情報報告アドレスに、抽出した視聴情報を報告することができる。
付加サービスが最小使用時間以上用いられた場合に基づいて、映像表示装置100は付加サービス利用情報を取得し、付加サービス利用情報報告周期で付加サービス利用情報報告アドレスに、抽出した利用情報を報告することができる。
付加サービス情報は、付加サービスが存在するか否かに関する情報、付加サービスアドレス提供サーバーアドレス、それぞれの利用可能な付加サービスの取得経路、それぞれの利用可能な付加サービスのためのアドレス、それぞれの利用可能な付加サービスの開始時間、それぞれの利用可能な付加サービスの終了時間、それぞれの利用可能な付加サービスの寿命周期(lifetime)、それぞれの利用可能な付加サービスの取得モード、それぞれの利用可能な付加サービスのための要求周期、それぞれの利用可能な付加サービスの優先順位情報、それぞれの利用可能な付加サービスの説明、それぞれの利用可能な付加サービスの項目(category)、利用情報報告アドレス、利用情報報告周期、利用情報取得のための最小利用時間のうち1つ以上を含むことができる。
利用可能な付加サービスの取得経路は、IP又はATSC M/H(Advanced Television Systems Committee−Mobile/Handheld)を示すことができる。利用可能な付加サービスの取得経路がATSC M/Hである場合、付加サービス情報は周波数情報、チャネル情報をさらに含むことができる。それぞれの利用可能な付加サービスの取得モードは、Push又はPullを示すことができる。
一方、ウォーターマークサーバー21は、メイン視聴覚コンテンツのロゴにウォーターマーク情報を、見えないウォーターマーク(invisible watermark)として挿入することができる。
例えば、ウォーターマークサーバー21は、ロゴの一定位置にバーコードを挿入することができる。このとき、ロゴの一定位置は、ロゴがディスプレイされる区域における下端の1ラインに該当してもよい。映像表示装置100は、このようにバーコードが挿入されたロゴを含むメイン視聴覚コンテンツを受信する場合に、バーコードをディスプレイしなくてもよい。
また、ウォーターマークサーバー21は、ロゴのメタデータ形態でウォーターマーク情報を挿入することができる。このとき、ロゴの形状は維持されてもよい。
また、ウォーターマークサーバー21は、M個のフレームのロゴのそれぞれにNビットのウォーターマーク情報を挿入することができる。すなわち、ウォーターマークサーバー21は、M個のフレームでM*N個のウォーターマーク情報を挿入することができる。
MVPD30は、ウォーターマーキングされたメイン視聴覚コンテンツ及び付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供する(S105)。このとき、多重化信号は、受信した付加サービスを排除したり、新しい付加サービスを含んでもよい。
放送受信装置60は、ユーザの選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調してチャネル復号化(channel decoding)し、視聴覚復号(AV decoding)を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供する(S106)。
一方、コンテンツ提供サーバー10も、メイン視聴覚コンテンツを含む放送信号を無線チャネルなどで放送する(S107)。
また、MVPD30は、放送受信装置60を介さずに、映像表示装置100にメイン視聴覚コンテンツを含む放送信号を直接伝送することもできる(S108)。
映像表示装置100は、セットトップボックス60を介して非圧縮メイン視聴覚コンテンツを受信することができる。又は、映像表示装置100は、無線チャネルを介して放送信号を受信し、受信した放送信号を復調及び復号してメイン視聴覚コンテンツを得ることもできる。又は、映像表示装置100は、MVPD30から放送信号を受信し、受信した放送信号を復調及び復号してメイン視聴覚コンテンツを受信することもできる。映像表示装置100は、取得したメイン視聴覚コンテンツの一部のフレーム又は一部の区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに該当すると、映像表示装置100は、複数のロゴと複数のウォーターマークサーバーアドレスの対応関係から、抽出したロゴに該当するウォーターマークサーバーアドレスを確認する。ウォーターマーク情報がロゴに該当する場合、映像表示装置100は、ロゴだけではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置100はメイン視聴覚コンテンツを識別できないが、ウォーターマーク情報がコンテンツプロバイダ識別情報又はウォーターマークサーバーアドレスを含むことはできる。ウォーターマーク情報がコンテンツプロバイダ識別情報を含む場合に、映像表示装置100は、複数のコンテンツプロバイダ識別情報と複数のウォーターマークサーバーアドレスとの対応関係から、抽出したコンテンツプロバイダ識別情報に該当するウォーターマークサーバーアドレスを確認することができる。このように、映像表示装置100は、ウォーターマーク情報だけではメイン視聴覚コンテンツを識別できない場合、取得したウォーターマークサーバーアドレスに該当するウォーターマークサーバー21に接続し、第1質疑を伝送する(S109)。
ウォーターマークサーバー21は、第1質疑に対する第1応答を提供する(S111)。この第1応答は、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち1つ以上を含むことができる。
ウォーターマーク情報と第1応答が付加サービスアドレスを含んでいないと、映像表示装置100は付加サービスを取得することができない。しかし、ウォーターマーク情報と第1応答が付加サービスアドレス提供サーバーアドレスを含むことができる。このように、映像表示装置100は、ウォーターマーク情報と第1応答を介して付加サービスアドレス又は付加サービスを取得することはできず、付加サービスアドレス提供サーバーアドレスを取得した場合には、映像表示装置100は、取得した付加サービスアドレス提供サーバーアドレスに該当する付加サービス情報提供サーバー40に接続し、コンテンツ情報を含む第2質疑を伝送する(S119)。
付加サービス情報提供サーバー40は、第2質疑のコンテンツ情報に関連した1つ以上の利用可能な付加サービスを検索する。その後、付加サービス情報提供サーバー40は、第2質疑に対する第2応答として1つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置100に提供する(S121)。
映像表示装置100は、ウォーターマーク情報、第1応答又は第2応答によって1つ以上の利用可能な付加サービスアドレスを取得した場合には、この1つ以上の利用可能な付加サービスアドレスに接続して付加サービスを要求し(S123)、付加サービスを取得する(S125)。
図11は、本発明の一実施例に係るウォーターマークベースのコンテンツ認識タイミングを示す図である。
図11に示すように、放送受信装置60がターンオンされ、チャネルをチューニングし、映像表示装置100が外部入力ポート111を介して放送受信装置60からチューニングされたチャネルのメイン視聴覚コンテンツを受信すると、映像表示装置100は、メイン視聴覚コンテンツのウォーターマークからコンテンツプロバイダ識別子(又は放送局識別子)を感知することができる。その後、映像表示装置100は、感知したコンテンツプロバイダ識別子に基づいてメイン視聴覚コンテンツのウォーターマークからコンテンツ情報を感知することができる。
このとき、図11に示すように、コンテンツプロバイダ識別子の感知可能周期とコンテンツ情報の感知可能周期とが異なってもよい。特に、コンテンツプロバイダ識別子の感知可能周期はコンテンツ情報の感知可能周期よりも短くてもよい。これによって、映像表示装置100は、必要な情報だけを感知するための効率的な構成を有することができる。
図12は、本発明の一実施例に係るフィンガープリントベースのネットワークトポロジを示すブロック図である。
図12に示すように、本発明の一実施例に係るネットワークトポロジは、フィンガープリントサーバー22をさらに含む。
図12に示すようなフィンガープリントサーバー22は、メイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレーム又は一部の区間のオーディオサンプルから特徴情報を抽出して保存する。その後、フィンガープリントサーバー22は、映像表示装置100からの特徴情報を受信すると、受信した特徴情報に該当する視聴覚コンテンツの識別子及び時間情報を提供する。
図13は本発明の一実施例に係るフィンガープリントベースのネットワークトポロジ内のデータ流れを示すラダーダイヤグラムである。
まず、コンテンツ提供サーバー10は、メイン視聴覚コンテンツ及び付加サービスを含む放送信号を伝送する(S201)。
フィンガープリントサーバー22は、コンテンツ提供サーバー10が提供する放送信号を受信し、メイン視聴覚コンテンツの複数のフレーム区間又は複数のオーディオ区間から複数の特徴情報を抽出し、複数の特徴情報にそれぞれ対応する複数の質疑結果のためのデータベースを構築する(S203)。質疑結果は、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち1つ以上を含むことができる。
MVPD30は、メイン視聴覚コンテンツ及び付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供する(S205)。このとき、多重化信号は、受信した付加サービスを排除してもよく、新しい付加サービスを含んでもよい。
放送受信装置60は、ユーザの選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調してチャネル復号化(channel decoding)し、視聴覚復号(AV decoding)を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供する(S206)。
一方、コンテンツ提供サーバー10も、メイン視聴覚コンテンツを含む放送信号を無線チャネルなどで放送する(S207)。
また、MVPD30は、放送受信装置60を介さずに、映像表示装置100にメイン視聴覚コンテンツを含む信号を直接伝送することができる(S208)。
映像表示装置100は、セットトップボックス60を介して非圧縮メイン視聴覚コンテンツを受信することができる。又は、映像表示装置100は、無線チャネルを介して放送信号を受信し、受信した放送信号を復調及び復号してメイン視聴覚コンテンツを得ることができる。又は、映像表示装置100は、MVPD30から放送信号を受信し、受信した放送信号を復調及び復号してメイン視聴覚コンテンツを受信することができる。映像表示装置100は、取得したメイン視聴覚コンテンツの一部のフレーム又は一部の区間のオーディオサンプルから特徴情報を抽出する(S213)。
映像表示装置100は、あらかじめ設定されたフィンガープリントサーバーアドレスに該当するフィンガープリントサーバー22に接続し、抽出した特徴情報を含む第1質疑を伝送する(S215)。
フィンガープリントサーバー22は、第1質疑に対する第1応答として質疑結果を提供する(S217)。仮に第1応答が失敗に該当すると、映像表示装置100は、他のフィンガープリントサーバーアドレスに該当するフィンガープリントサーバー22に接続し、抽出した特徴情報を含む第1質疑を伝送することができる。
フィンガープリントサーバー22は、質疑結果としてXML(Extensible Markup Language)文書を提供することができる。以下、質疑結果が含まれるXML文書の例を説明する。
図14は、本発明の一実施例に係る質疑結果が含まれるACR−ResulttypeのXMLスキマーダイヤグラム(schema diagram)を示す図である。
図14に示すように、質疑結果が含まれるACR−Resulttypeは、ResultCode属性と、ContentID、NTPTimestamp、SignalingChannelInformation、ServiceInformationエレメントを有する。
例えば、ResultCode属性が200の値を有すると、これは質疑結果が成功であることを意味することができる。ResultCode属性が404の値を有すると、これは質疑結果が失敗であることを意味することができる。
SignalingChannelInformationエレメントは、SignalingChannelURLエレメントを有し、SignalingChannelURLエレメントは、UpdateMode、PollingCycle属性を有する。UpdateMode属性は、Pull値又はPush値を有することができる。
ServiceInformationエレメントは、ServiceName、ServiceLogo、ServiceDescriptionエレメントを有する。
次表に、このような質疑結果が含まれるACR−ResultTypeのXML Schemaを示す。
Figure 0006294503
ContentIDエレメントとして、下記の表に示すようなATSCコンテンツ識別子(ATSC content identifier)を用いることができる。
Figure 0006294503
上記の表に示したように、ATSCコンテンツ識別子は、TSIDとハウス番号で構成された構造を有する。
16ビット符号無し整数TSIDは、トランスポートストリーム識別子(transport stream identifier)を含む(carry)。
5ビット符号無し整数end_of_dayは、放送が終わってcontent_id値を再使用できる日付の時刻(hour)に設定される。
9ビット符号無し整数unique_forは、content_id値を再使用できない日数(the number of day)に設定される。
content_idは、コンテンツ識別子を示す。映像表示装置100は、毎日end_of_dayに該当する時刻でunique_forを1ずつ減少させ、unique_forが0になっていないと、content_idが唯一のものであると見なすことができる。
一方、ContentIDエレメントとして、下記に説明するようなATSC−M/H serviceのためのグローバルサービス識別子(Global Service Identifier)を用いることができる。
グローバルサービス識別子は、次のようなフォームを有する。
−urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
ここで、<region>は、ISO639−2によって規定されるような2個の文字からなる国際国家コードである。ローカルサービス(local service)のための<xsid>は、<region>で定義するようなTSIDの十進数であり、地域サービス(regional service)(major >69)のための<xsid>は、“0”である。<serviceid>は、<major>又は<minor>と定義される。<major>は、メジャーチャネル番号(Major Channel number)を示し、<minor>は、マイナーチャネル番号(Minor Channel Number)を示す。
グローバルサービス識別子の例は、下記のとおりである。
−urn:oma:bcast:iauth:atsc:service:us:1234:5.1
−urn:oma:bcast:iauth:atsc:service:us:0:100.200
一方、ContentIDエレメントとして、下記に説明するようなATSCコンテンツ識別子を用いることができる。
ATSCコンテンツ識別子は、次のようなフォームを有する。
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
ここで、<region>は、ISO639−2によって規定されるような2個の文字からなる国際国家コードである。ローカルサービス(local service)のための<xsid>は、<region>で定義するようなTSIDの十進数であり、“.”<serviceid>が続いてもよい。地域サービス(regional service)(major>69)のための<xsid>は、<serviceid>である。<content_id>は、上記の表に定義されているcontent_id fieldのbase64符号であり、<unique_for>は、上記の表に定義されているunique_for fieldの十進数符号であり、<end_of_day>は、上記の表に定義されているend_of_day fieldの十進数符号である。
続いて、再び図13を説明する。
質疑結果が付加サービスアドレス又は付加サービスを含んでおらず、付加サービスアドレス提供サーバーアドレスを含んでいると、映像表示装置100は、取得した付加サービスアドレス提供サーバーアドレスに該当する付加サービス情報提供サーバー40に接続し、コンテンツ情報を含む第2質疑を伝送する(S219)。
付加サービス情報提供サーバー40は、第2質疑のコンテンツ情報に関連した1つ以上の利用可能な付加サービスを検索する。その後、付加サービス情報提供サーバー40は、第2質疑に対する第2応答として、1つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置100に提供する(S221)。
映像表示装置100は、第1応答又は第2応答から1つ以上の利用可能な付加サービスアドレスを取得すると、この1つ以上の利用可能な付加サービスアドレスに接続し、付加サービスを要求して(S223)、付加サービスを取得する(S225)。
UpdateMode属性がPull値を有する場合、映像表示装置100は、SignalingChannelURLを介してHTTP要求を付加サービス提供サーバー50に伝送し、これに対する応答として、PSIPバイナリストリームを含むHTTP応答を付加サービス提供サーバー50から受信する。この場合、映像表示装置100は、PollingCycle属性で指定されるPolling周期によってHTTP要求を伝送することができる。また、SignalingChannelURLエレメントは、アップデート時間属性を有することができる。この場合、映像表示装置100は、アップデート時間属性で指定されるアップデート時間でHTTP要求を伝送することができる。
UpdateMode属性がPush値を有する場合、映像表示装置100は、XMLHTTPRequest APIを活用して非同期的にサーバーからアップデートを受信することができる。映像表示装置100がサーバーに、XMLHTTPRequest objectを介して非同期的な要求をした後、サーバーが、シグナリング情報に変更がある場合に、このチャネルを介して応答として、シグナリング情報を提供する方案である。セッションの待機時間に制限がある場合には、session timeout respondを発生させ、直ちに受信機はこれを認知し、再要求をして、受信機とサーバー間のシグナリングチャネルを常時維持することができる。
図15は、本発明の一実施例に係るウォーターマーク及びフィンガープリントベースのネットワークトポロジを示すブロック図である。
図15に示すように、本発明の一実施例に係るネットワークトポロジは、ウォーターマークサーバー21及びフィンガープリントサーバー22をさらに含む。
図15に示すようなウォーターマークサーバー21は、メイン視聴覚コンテンツにコンテンツプロバイダ識別情報を挿入する。ウォーターマークサーバー21は、ロゴのような見えるウォーターマークとしてコンテンツプロバイダ識別情報をメイン視聴覚コンテンツに挿入してもよく、見えないウォーターマークとしてコンテンツプロバイダ識別情報をメイン視聴覚コンテンツに挿入してもよい。
フィンガープリントサーバー22は、メイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレーム又は一部の区間のオーディオサンプルから特徴情報を抽出して保存する。その後、フィンガープリントサーバー22は、映像表示装置100からの特徴情報を受信すると、受信した特徴情報に該当する視聴覚コンテンツの識別子及び時間情報を提供する。
図16は、本発明の一実施例に係るウォーターマーク及びフィンガープリントベースのネットワークトポロジ内のデータ流れを示すラダーダイヤグラムである。
まず、コンテンツ提供サーバー10は、メイン視聴覚コンテンツ及び付加サービスを含む放送信号を伝送する(S301)。
ウォーターマークサーバー21は、コンテンツ提供サーバー10が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えて、メイン視聴覚コンテンツにロゴのような見えるウォーターマーク(visible watermark)を挿入したり、又はメイン視聴覚コンテンツにウォーターマーク情報を見えないウォーターマーク(invisible watermark)として挿入し、ウォーターマーキングされたメイン視聴覚コンテンツと付加サービスをMVPD30に提供する(S303)。見えないウォーターマークを介して挿入されるウォーターマーク情報は、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち1つ以上を含むことができる。コンテンツ情報と付加サービス情報は、前述したとおりである。
MVPD30は、ウォーターマーキングされたメイン視聴覚コンテンツ及び付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供する(S305)。このとき、多重化信号は、受信した付加サービスを排除してもよく、新しい付加サービスを含んでもよい。
放送受信装置60は、ユーザの選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調し、チャネル復号化(channel decoding)し、視聴覚復号(AV decoding)を行って、非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供する(S306)。
一方、コンテンツ提供サーバー10も、メイン視聴覚コンテンツを含む放送信号を無線チャネルなどで放送する(S307)。
また、MVPD30は、放送受信装置60を介さずに映像表示装置100にメイン視聴覚コンテンツを含む信号を直接伝送することができる(S308)。
映像表示装置100は、セットトップボックス60を介して非圧縮メイン視聴覚コンテンツを受信することができる。又は、映像表示装置100は、無線チャネルを介して放送信号を受信し、受信した放送信号を復調及び復号してメイン視聴覚コンテンツを得ることもできる。又は、映像表示装置100は、MVPD30から放送信号を受信し、受信した放送信号を復調及び復号してメイン視聴覚コンテンツを受信することもできる。映像表示装置100は、取得したメイン視聴覚コンテンツの一部のフレーム又は一部の区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに該当すると、映像表示装置100は、複数のロゴと複数のウォーターマークサーバーアドレスとの対応関係から、抽出したロゴに該当するウォーターマークサーバーアドレスを確認する。ウォーターマーク情報がロゴに該当する場合に、映像表示装置100は、ロゴだけではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置100はメイン視聴覚コンテンツを識別できないが、ウォーターマーク情報がコンテンツプロバイダ識別情報又はウォーターマークサーバーアドレスを含むことはできる。ウォーターマーク情報がコンテンツプロバイダ識別情報を含む場合に、映像表示装置100は、複数のコンテンツプロバイダ識別情報と複数のウォーターマークサーバーアドレスとの対応関係から、抽出したコンテンツプロバイダ識別情報に該当するウォーターマークサーバーアドレスを確認することができる。このように、映像表示装置100は、ウォーターマーク情報だけではメイン視聴覚コンテンツを識別できない場合、取得したウォーターマークサーバーアドレスに該当するウォーターマークサーバー21に接続し、第1質疑を伝送する(S309)。
ウォーターマークサーバー21は、第1質疑に対する第1応答を提供する(S311)。この第1応答は、フィンガープリントサーバーアドレス、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち1つ以上を含むことができる。コンテンツ情報と付加サービス情報は、前述したとおりである。
ウォーターマーク情報と第1応答がフィンガープリントサーバーアドレスを含んでいると、映像表示装置100は、メイン視聴覚コンテンツの一部のフレーム又は一部の区間のオーディオサンプルから特徴情報を抽出する(S313)。
映像表示装置100は、第1応答内のフィンガープリントサーバーアドレスに該当するフィンガープリントサーバー22に接続し、抽出した特徴情報を含む第2質疑を伝送する(S315)。
フィンガープリントサーバー22は、第2質疑に対する第2応答として質疑結果を提供する(S317)。
質疑結果が付加サービスアドレス又は付加サービスを含んでおらず、付加サービスアドレス提供サーバーアドレスを含んでいると、映像表示装置100は、取得した付加サービスアドレス提供サーバーアドレスに該当する付加サービス情報提供サーバー40に接続し、コンテンツ情報を含む第3質疑を伝送する(S319)。
付加サービス情報提供サーバー40は、第3質疑のコンテンツ情報に関連した1つ以上の利用可能な付加サービスを検索する。その後、付加サービス情報提供サーバー40は、第3質疑に対する第3応答として、1つ以上の利用可能な付加サービスのための付加サービス情報を、映像表示装置100に提供する(S321)。
映像表示装置100は、第1応答、第2応答、又は第3応答から、1つ以上の利用可能な付加サービスアドレスを取得すると、この1つ以上の利用可能な付加サービスアドレスに接続し、付加サービスを要求して(S323)、付加サービスを取得する(S325)。
次に、図17を参照して、本発明の実施例に係る映像表示装置100を説明する。
図17は、本発明の実施例に係る映像表示装置のブロック図である。
図17に示すように、本発明の実施例に係る映像表示装置100は、放送信号受信部101、復調部103、チャネル復号部105、逆多重化部107、視聴覚復号部109、外部入力ポート111、再生制御部113、再生装置120、付加サービス管理部130、データ送受信部141、メモリ150を含む。
放送信号受信部101は、コンテンツ提供サーバー10又はMVPD30から放送信号を受信する。
復調部103は、受信した放送信号を復調し、復調された信号を生成する。
チャネル復号部105は、復調された信号をチャネル復号し、チャネル復号されたデータを生成する。
逆多重化部107は、チャネル復号されたデータからメイン視聴覚コンテンツと付加サービスを分離する。分離された付加サービスは付加サービス保存部152に保存される。
視聴覚復号部109は、分離されたメイン視聴覚コンテンツを視聴覚復号(AV decoding)して非圧縮メイン視聴覚コンテンツを生成する。
一方、外部入力ポート111は、放送受信装置60、DVD(digital versatile disk)プレーヤー、ブルーレイディスク(Blu−ray(登録商標) disc)プレーヤーなどから非圧縮メイン視聴覚コンテンツを受信する。外部入力ポート111は、DSUBポート、HDMI(登録商標)(High Definition Multimedia Interface)ポート、DVI(Digital Visual Interface)ポート、コンポジット(composite)ポート、コンポーネント(component)ポート、S−Videoポートのうち1つ以上を含むことができる。
再生制御部113は、視聴覚復号部109が生成する非圧縮メイン視聴覚コンテンツ又は外部入力ポート111から受信した非圧縮メイン視聴覚コンテンツの少なくとも1つをユーザ選択によって再生装置120に再生する。
再生装置120は、ディスプレイ部121及びスピーカ123を含む。ディスプレイ部121は、液晶ディスプレイ(liquid crystal display:LCD)、薄膜トランジスタ液晶ディスプレイ(thin film transistor−liquid crystal display:TFT LCD)、有機発光ダイオード(organic light−emitting diode:OLED)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)の少なくとも1つを含むことができる。
付加サービス管理部130は、メイン視聴覚コンテンツのコンテンツ情報を取得し、取得されたコンテンツ情報に基づいて利用可能な付加サービスを取得する。特に、前述したように、付加サービス管理部130は、非圧縮メイン視聴覚コンテンツの一部のフレーム又は一部の区間のオーディオサンプルに基づいてメイン視聴覚コンテンツの識別情報を取得することができ、本明細書では、これを自動コンテンツ認識(automatic contents recognition:ACR)とも称する。
データ送受信部141は、ATSC−M/H(Advanced Television Systems Committee−Mobile/Handheld)チャネル送受信部141a及びIP送受信部141bを含むことができる。
メモリ150は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、SD又はXDメモリなど)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、ROM(Read−Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、PROM(Programmable Read−Only Memory)、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも1つのタイプの記憶媒体を含むことができる。映像表示装置100は、インターネット(internet)上で上記メモリ150の保存機能を行うウェブストレージ(web storage)と関連付いて動作することもできる。
メモリ150は、コンテンツ情報保存部151、付加サービス保存部152、ロゴ保存部153、設定情報保存部154、ブックマーク保存部155、ユーザ情報保存部156、利用情報保存部157を含むことができる。
コンテンツ情報保存部151は、複数の特徴情報に対応する複数のコンテンツ情報を保存する。
付加サービス保存部152は、複数の特徴情報に対応する複数の付加サービスを保存することもでき、複数のコンテンツ情報に対応する複数の付加サービスを保存することもできる。
ロゴ保存部153は、複数のロゴを保存する。また、ロゴ保存部は、この複数のロゴに対応するコンテンツプロバイダ識別子又は複数のロゴに対応するウォーターマークサーバーアドレスをさらに保存することもできる。
設定情報保存部154は、ACRのための設定情報を保存する。
ブックマーク保存部155は、ブックマークを保存する。
ユーザ情報保存部156は、ユーザ情報を保存する。ユーザ情報は、1つ以上のサービスのための1つ以上のアカウント情報、地域情報、家族構成員情報、選好ジャンル情報、映像表示装置情報、利用情報提供範囲のうち1つ以上を含むことができる。1つ以上のアカウント情報は、利用情報測定サーバーのためのアカウント情報、ツイッター(登録商標)(twitter)、フェイスブック(facebook)のようなソーシャルネットワークサービス(social network service)のアカウント情報を含むことができる。地域情報は、アドレス情報、郵便番号を含むことができる。家族構成員情報は、家族構成員の数、各構成員の年齢、各構成員の性別、各構成員の宗教、各構成員の職業などを含むことができる。選好ジャンル情報は、スポーツ、映画、ドラマ、教育、ニュース、娯楽、その他ジャンルのうち1つ以上に設定されてもよい。映像表示装置情報は、映像表示装置の種類、メーカー、ファームウェアバージョン、解像度、モデル名、OS、ブラウザ、保存装置の有無、保存装置の容量、ネットワーク速度に関する情報を含むことができる。利用情報提供範囲が設定されると、映像表示装置100は、設定された範囲内でメイン視聴覚コンテンツ視聴情報と付加サービス利用情報を収集し、報告することができる。利用情報提供範囲は、仮想チャネルのそれぞれに対して設定されてもよい。また、利用情報測定許容範囲は、全物理チャネルに対して設定されてもよい。
利用情報保存部157は、映像表示装置100によって収集されるメイン視聴覚コンテンツ視聴情報と付加サービス利用情報を保存する。また、映像表示装置100は、収集したメイン視聴覚コンテンツ視聴情報と収集した付加サービス利用情報に基づいてサービス利用パターンを分析し、分析されたサービス利用パターンを利用情報保存部157に保存することができる。
付加サービス管理部130は、フィンガープリントサーバー22又はコンテンツ情報保存部151からメイン視聴覚コンテンツのコンテンツ情報を取得することができる。コンテンツ情報保存部151に、抽出した特徴情報に該当するコンテンツ情報がないか又は十分のコンテンツ情報がない場合、付加サービス管理部130は、データ送受信部141を介して追加コンテンツ情報を受信することができる。また、付加サービス管理部130は持続的にコンテンツ情報をアップデートすることができる。
付加サービス管理部130は、付加サービス提供サーバー50又は付加サービス保存部153から利用可能な付加サービスを取得することができる。付加サービス保存部153に付加サービスがないか又は十分の付加サービスがない場合、付加サービス管理部130は、データ送受信部141を介して付加サービスをアップデートすることができる。また、付加サービス管理部130は持続的に付加サービスをアップデートすることができる。
付加サービス管理部130は、メイン視聴覚コンテンツからロゴを抽出し、ロゴ保存部155に質疑して、抽出したロゴに対応するコンテンツプロバイダ識別子又はウォーターマークサーバーアドレスを取得することができる。ロゴ保存部155に、抽出したロゴと一致するロゴがないか又は十分のロゴがない場合、付加サービス管理部130は、データ送受信部141を介して追加ロゴを受信することができる。また、付加サービス管理部130は持続的にロゴをアップデートすることができる。
付加サービス管理部130は、メイン視聴覚コンテンツから抽出したロゴとロゴ保存部155内の複数のロゴとの比較を行うが、演算の負担を軽減するための様々な方法を行うこともできる。
例えば、付加サービス管理部130は、色特性に基づいて比較を行うことができる。すなわち、付加サービス管理部130は、抽出したロゴの色特性とロゴ保存部155内のロゴの色特性とを比較し、一致するか否かを判断できる。
また、付加サービス管理部130は、文字認識に基づいて比較を行うことができる。すなわち、付加サービス管理部130は、抽出したロゴから認識される文字とロゴ保存部155内のロゴから認識される文字とを比較し、一致するか否かを判断できる。
また、付加サービス管理部130は、ロゴの輪郭に対する形状に基づいて比較を行うこともできる。すなわち、付加サービス管理部130は、抽出したロゴの輪郭形状とロゴ保存部155内のロゴの輪郭形状とを比較し、一致するか否かを判断できる。
次に、図18及び図19を参照して、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間とを同期化する方法を説明する。
図18は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間とを同期化する方法を示すフローチャートである。
付加サービス情報は、付加サービスの開始時間を含むことができる。このとき、映像表示装置100は、この開始時間で付加サービスを始める必要がある。しかし、映像表示装置100は、タイムスタンプを有しない非圧縮メイン視聴覚コンテンツを伝送する信号を受信するので、メイン視聴覚コンテンツの再生時間の基準と付加サービスの開始時間の基準とが異なる。映像表示装置100が時間情報を有するメイン視聴覚コンテンツを受信しても、再放送などのように、メイン視聴覚コンテンツの再生時間の基準と付加サービスの開始時間の基準とが異なることがある。したがって、映像表示装置100は、メイン視聴覚コンテンツの基準時間と付加サービスの基準時間とを同期化する必要がある。特に、映像表示装置100は、メイン視聴覚コンテンツの再生時間と付加サービスの開始時間とを同期化する必要がある。
まず、付加サービス管理部130は、メイン視聴覚コンテンツの一部の区間を抽出する(S801)。メイン視聴覚コンテンツの一部の区間は、メイン視聴覚コンテンツの一部のビデオフレームと一部のオーディオ区間のうち1つ以上を含むことができる。付加サービス管理部130がメイン視聴覚コンテンツの一部の区間を抽出した時間をTnという。
付加サービス管理部130は、抽出された区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を取得する(S803)。具体的に、付加サービス管理部130は、抽出された区間に見えないウォーターマーク(invisible watermark)で符号化された情報を復号してコンテンツ情報を取得することができる。また、付加サービス管理部130は、抽出された区間の特徴情報を抽出し、抽出された特徴情報に基づいてフィンガープリントサーバー22又はコンテンツ情報保存部151からメイン視聴覚コンテンツのコンテンツ情報を取得することができる。付加サービス管理部130がコンテンツ情報を取得した時間をTmという。
一方、コンテンツ情報は、抽出された区間の開始時間(Ts)を含む。付加サービス管理部130は、コンテンツ情報取得時間(Tm)以降では、時間(Ts)、時間(Tm)、時間(Tn)に基づいて、メイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化する(S805)。具体的に、付加サービス管理部130は、コンテンツ情報取得時間(Tm)を新しく計算される時間(Tp)と見なす。ここで、Tp=Ts+(Tm−Tn)といえる。
そして、付加サービス管理部130は、コンテンツ情報取得時間から時間(Tx)が経過した時間を、Tp+Txと見なすことができる。
その後、付加サービス管理部130は、取得したコンテンツ情報に基づいて付加サービスと付加サービスの開始時間(Ta)を取得する(S807)。
メイン視聴覚コンテンツの同期化された再生時間が付加サービスの開始時間(Ta)と一致れば、付加サービス管理部130は、取得した付加サービスを始める(S809)。具体的に、付加サービス管理部130は、Tp+Tx=Taを満たす場合に付加サービスを始めることができる。
図19は、発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間とを同期化する方法を示す概念図である。
図19に示すように、映像表示装置100は、システム時間Tnで視聴覚サンプルを抽出する。
映像表示装置100は、抽出した視聴覚サンプルから特徴情報を抽出し、抽出した特徴情報を含む質疑をフィンガープリントサーバー22に伝送して、質疑結果を受信する。映像表示装置100は質疑結果をパースし、抽出した視聴覚サンプルの開始時間Tsが11000msに該当することを時間Tmで確認する。
したがって、映像表示装置は、抽出した視聴覚サンプルの開始時間を確認した時点をTs+(Tm−Tn)と見なして、その後からメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化すことができる。
図20は、本発明の他の実施例に係るフィンガープリントベースの映像表示装置の構造を示すブロック図である。
図20で、チューナ501は、無線チャネルで伝送される8−VSB RF信号からシンボルを抽出する。
8−VSB復調器503は、チュ−ナ−501で抽出された8−VSBシンボルを復調して、有意なデジタルデータを復元する。
VSBデコーダ505は、8−VSB復調器503で復元されたデジタルデータを復号して、ATSCメインサービス及びATSCM/Hサービスを復元する。
MPEG−2TP逆多重化器507は、8−VSB信号を通じて伝送されるMPEG−2伝送パケット又はPVRストレージに保存されたMPEG−2伝送パケットのうち、映像表示装置100が処理しようとする伝送パケットをフィルタリングして適切な処理モジュールに中継する。
PESデコーダ539は、MPEG−2伝送ストリームを通じて伝送されたパケット化エレメンタリストリームをバッファして復元する。
PSI/PSIPデコーダ541は、MPEG−2伝送ストリームを通じて伝送されるPSI/PSIPセクションデータをバッファして分析する。分析されたPSI/PSIPデータはサービスマネジャー(図示せず)によって収集され、サービスマップ及びガイドデータの形態でDBに保存される。
DSMCCセクションバッファ/ハンドラ511は、MPEG−2TPを通じて伝送されるファイル伝送及びIPデータグラムカプセル化などのためのDSMCCセクションデータをバッファして(Buffering)処理する。
IP/UDPデータグラムバッファ/ヘッダーパーサー513は、DSMCCアドレサブルセクションでカプセル化され、MPEG−2TPを通じて伝送されるIPデータグラムをバッファして復元し、各データグラムのヘッダーを分析する。また、IP/UDPデータグラムバッファ/ヘッダーパーサー513は、IPデータグラムを通じて伝送されるUDPデータグラムをバッファリング及び復元して、復元されたUDPヘッダーを分析及び処理する。
ストリームコンポーネントハンドラ557は、ESバッファ/ハンドラ、PCRハンドラ、STCモジュール、デスクランブラ、CAストリームバッファ/ハンドラ、サービスシグナリングセクションバッファ/ハンドラを含むことができる。
ESバッファ/ハンドラは、PES形態で伝送されたビデオ、オーディオデータなどのエレメンタリストリームをバッファリング及び復元し、適切なA/Vデコーダに伝達する。
PCRハンドラは、オーディオ及びビデオストリームの時間同期化などのために用いられるPCR(Program Clock Reference)データを処理する。
STCモジュールは、PCRハンドラを介して伝達された参照クロック値を用いて、A/Vデコーダのクロック値を補正して時間同期化を行う。
受信されたIPデータグラムのペイロードにスクランブリングが適用された場合、デスクランブラはCAストリームハンドラから伝達された暗号化キーなどを用いてペイロードのデータを復元する。
CAストリームバッファ/ハンドラは、MPEG−2TS又はIPストリームを通じて伝送される限定受信(Conditional Access)機能のために伝送されるEMM、ECMなどのデスクランブリングのためキー値などのデータをバッファリング及び処理する。CAストリームバッファ/ハンドラの出力はデスクランブラに伝達され、デスクランブラは、A/Vデータ及びファイルデータなどを伝送するMPEG−2TP又はIPデータグラムの暗号化解除作業を行う。
サービスシグナリングセクションバッファ/ハンドラは、IPデータグラムの形態で伝送されるNRTサービスシグナリングチャネルセクションデータをバッファリング及び復元して分析する。サービスマネジャー(図示せず)は、分析されたNRTサービスシグナリングチャネルセクションデータを収集して、サービスマップ及びガイドデータの形態でDBに保存する。
A/Vデコーダ561は、ESハンドラを介して伝達されたオーディオ/ビデオデータの圧縮を復号化して、ユーザに示す(Presentation)。
MPEG−2サービス逆多重化器(図示せず)は、MPEG−2TPバッファ/パーサー、デスクランブラ、PVRストレージモジュールを含むことができる。
MPEG−2TPバッファ/パーサー(図示せず)は、8−VSB信号を通じて伝送されるMPEG−2伝送パケットをバッファリング及び復元して、伝送パケットヘッダーを検出及び処理する。
デスクランブラは、MPEG−2TPのうち、スクランブルが適用されたパケットペイロードに対して、CAストリームハンドラから伝達された暗号化キーなどを用いて、ペイロードのデータを復元する。
PVRストレージモジュールは、ユーザの要求などに応じて、8−VSB信号を用いて受信されたMPEG−2TPを保存し、また、ユーザの要求に応じてMPEG−2TPを出力する。PVRストレージモジュールは、マネジャー(図示せず)によって制御されてもよい。
ファイルハンドラ551は、ALC/LCTバッファ/パーサー、FDTハンドラ、XMLパーサー、ファイル復元(File Reconstruction)バッファ、デコンプレッサ、ファイルデコーダ、ファイルストレージを含むことができる。
ALC/LCTバッファ/パーサーは、UDP/IPストリームに伝送されるALC/LCTデータをバッファリング及び復元して、ALC/LCTのヘッダー及びヘッダー拡張を分析する。ALC/LCTバッファ/パーサーは、NRTサービスマネジャー(図示せず)によって制御されてもよい。
FDTハンドラは、ALC/LCTセッションで伝送されるFLUTEプロトコルのファイルデスクリプションテーブル(File Description Table)を分析及び処理する。FDTハンドラは、NRTサービスマネジャー(図示せず)によって制御されてもよい。
XMLパーサーは、ALC/LCTセッションで伝送されるXMLドキャメントを分析し、分析されたデータを、FDTハンドラ、SGハンドラなどの適切なモジュールに伝達する。
ファイル復元バッファは、ALC/LCT、FLUTEセッションで伝送されるファイルを復元する。
デコンプレッサは、ALC/LCT、FLUTEセッションで伝送されるファイルが圧縮されている場合、その圧縮を解除するプロセスを行う。
ファイルデコーダは、ファイル復元バッファで復元されたファイル又はデコンプレッサで圧縮解除されたファイル、又はファイルストレージで抽出されたファイルを復号する。
ファイルストレージは、復元されたファイルを必要によって保存したり抽出する。
M/Wエンジン(図示せず)は、DSMCCセクション、IPデータグラムなどを通じて伝送されるA/Vストリームではなくファイルなどのデータを処理する。M/Wエンジンは、処理されたデータをプレゼンテーションマネジャーモジュールに伝達する。
SGハンドラ(図示せず)は、XMLドキャメント形態で伝送されるサービスガイドデータを収集及び分析してEPGマネジャーに伝達するプロセスを行う。
サービスマネジャー(図示せず)は、MPEG−2伝送ストリームで伝送されるPSI/PSIPデータ、IPストリームで伝送されるサービスシグナリングセクションデータを収集及び分析してサービスマップを製作する。サービスマネジャー(図示せず)は、製作したサービスマップをサービスマップ及びガイドデータベースに保存し、ユーザーの所望するサービスに対するアクセスを制御する。オペレーションコントローラ(図示せず)によって制御され、チュ−ナ−501、MPEG−2TP逆多重化器507、IPデータグラムバッファ/ハンドラ513などに対する制御を行う。
NRTサービスマネジャー(図示せず)は、IP層上でFLUTEセッションを介してオブジェクト/ファイルの形態で伝送されるNRTサービスに対する全般的な管理を行う。NRTサービスマネジャー(図示せず)は、FDTハンドラ、ファイルストレージなどを制御することができる。
アプリケーションマネジャー(図示せず)は、オブジェクト、ファイルなどの形態で伝送されるアプリケーションデータの処理に関する全般的な管理を行う。
UIマネジャー(図示せず)は、ユーザインタフェースを介してユーザの入力をオペレーションコントローラに伝達し、ユーザが要求するサービスのためのプロセスの動作を始める。
オペレーションコントローラ(図示せず)は、UIマネジャーを介して伝達されたユーザの命令(Command)を処理し、必要なモジュールのマネジャーが該当のアクションを行うようにする。
フィンガープリント抽出器565は、オーディオ/ビデオストリームからフィンガープリント特徴情報を抽出する。
フィンガープリント比較器567は、フィンガープリント抽出器が抽出した特徴情報と参照フィンガープリントとを比較して、一致するコンテンツを探す。フィンガープリント比較器567は、ローカルに保存された参照フィンガープリントDBを利用してもよく、インターネット上のフィンガープリント質疑サーバーに質疑して結果を受信してもよい。比較の結果、マッチングされた結果データは、アプリケーションに伝達されて用いられてもよい。
アプリケーション569は、ACR機能を管掌するモジュール或いはACRに基づいて付加サービスを提供するアプリケーションモジュールであり、視聴中の放送コンテンツを識別し、それに関連付いた拡張されたサービスを提供する。
図21は、本発明の他の実施例に係るウォーターマークベースの映像表示装置の構造を示すブロック図である。
図21に示すウォーターマークベースの映像表示装置は、図20に示すフィンガープリントベースの映像表示装置とほぼ同様であり、ただし、フィンガープリントベースの映像表示装置におけるフィンガープリント抽出器565及びフィンガープリント比較器567を含まず、その代わりに、ウォーターマーク抽出器566をさらに含む。
ウォーターマーク抽出器566は、オーディオ/ビデオストリームからウォーターマーク形態で挿入されたデータを抽出する。このように抽出されたデータはアプリケーションに伝達されて利用されてもよい。
図22は、本発明の一実施例に係るウォーターマーキング技法によって伝達可能なデータを例示する図である。
前述したように、WMを用いたACRは、非圧縮的オーディオ/ビデオのみに接近可能な環境(すなわち、ケーブル/衛星/IPTVなどから受信する環境)で、その非圧縮的オーディオ/ビデオからコンテンツに対する付加サービス関連情報を得ることができるということに目的がある。このような環境をACR環境と呼ぶことができる。ACR環境で、受信機には非圧縮的オーディオ/ビデオデータだけが伝達されるため、受信機は、現在ディスプレイされているコンテンツがいかなるコンテンツであるか分からない。したがって、受信機は、WMによって伝達されるコンテンツソースID、放送の現在時点、関連アプリケーションのURL情報を用いて、ディスプレイされているコンテンツを識別し、インタラクティブサービスを提供してもよい。
オーディオ/ビデオウォーターマーク(WaterMark:WM)を用いて放送に関連した付加サービスを伝達するとき、最も簡単な状況としては、全ての付加情報がWMによって伝達される場合を挙げることができる。この場合、全ての付加情報がWM検出器によって検出され、受信機は検出された情報を一度で処理することができる。
しかしながら、この場合、オーディオ/ビデオデータにWMを挿入する量が増加すると、オーディオ/ビデオの全体クォリティーが低下しうる。この理由から、WMには可能なかぎり最小限の必要データだけを挿入することを一目標とすることができる。最小限のデータをWMに挿入しながらも、多い情報を効率的に受信機が受信して処理できるようにする、WMデータの構造を定義する必要がある。WMに用いられるデータ構造は、伝達されるデータの量によって相対的に影響を少なく受けるフィンガープリンティング方式においても同様に用いることができる。
同図に示すように、本発明の一実施例に係るウォーターマーキング技法によって伝達可能なデータとしては、コンテンツソースのID、タイムスタンプ、インタラクティブアプリケーションのURL、タイムスタンプの種類、URLプロトコルの種類、アプリケーションイベント、デスティネーションの種類などを挙げることができる。その他にも、種々のデータが本発明によるWM技法によって伝達されてもよい。
本発明は、WM技法によってACRが行われる場合において、WMに含まれるデータの構造を提案する。図示するそれぞれのデータ種類に対して、最も効率的なデータ構造を本発明によって提案することができる。
本発明の一実施例に係るウォーターマーキング技法によって伝達可能なデータには、コンテンツソースのIDが含まれてもよい。セットトップボックスス(set−top box)を用いた環境で、受信機(端末、TV)は、MVPDがセットトップボックススを介してプログラム関連情報を共に伝達しないと、プログラム名、チャネル情報などの情報が読み取れない。したがって、特定コンテンツソースを区別するためのユニークIDを用いてもよい。本発明では、コンテンツソースのID種類が限定されない。コンテンツソースのIDとして次のような実施例を挙げることができる。
まず、グローバルプログラムID(Global Program ID)は、各放送プログラムを区別できるグローバルな識別子であってもよい。当該IDは、コンテンツプロバイダが直接生成してもよく、権威のある団体で指定した形式に従ってもよい。例えば、北−米“TMS metadata”のTMSId、又は映画/放送プログラム区別子のEIDR IDなどがある。
グローバルチャネルID(Global Channel ID)は、MVPDと関係ない、全てのチャネルを区別できるチャネル識別子であってもよい。セットトップボックススで提供するMVPDごとにチャネル番号が異なってもよい。また、同じMVPDであっても、ユーザの指定するサービスによってチャネル番号が異なってもよい。グローバルチャネルIDは、MVPDなどに影響を受けないグローバルな識別子として用いられてもよい。実施例によって、地上波で伝送されるチャネルは、メジャーチャネルナンバー&マイナーチャネルナンバーで識別することができる。プログラムIDだけを使用する場合、複数の放送局で同一プログラムを放映する場合に問題が発生しうるので、特定の放送局を指定するためにグローバルチャネルIDを用いることができる。
WMに挿入するコンテンツソースのIDは、プログラムIDとチャネルIDを含むことができる。WMには、プログラムIDとチャネルIDが両方とも挿入されてもよく、両IDを組み合わせた新しい形態のIDが挿入されてもよく、又はそれぞれのIDが挿入されてもよい。実施例によって、各ID又は統合されたIDをハッシュ(hash)化してデータの量を減してもよい。
また、本発明の一実施例に係るウォーターマーキング技法によって伝達可能なデータとしては、タイムスタンプを挙げることができる。受信機は、現在視聴中の内容がコンテンツのどの時点であるかを知る必要がある。この時間関連情報は、タイムスタンプと呼ぶことができ、WMに挿入することができる。時間関連情報は、絶対時間(UTC、GPSなど)又はメディアタイムの形態を有することができる。時間関連情報は、正確度のためにミリセカンド単位まで伝達してもよく、実施例によって、より細かい単位まで伝達されてもよい。タイムスタンプは、後述するタイムスタンプの種類情報によって可変の長さを有してもよい。
また、本発明の一実施例に係るウォーターマーキング技法によって伝達可能なデータとしては、インタラクティブアプリケーションのURLを挙げることもできる。現在視聴中の放送プログラムに関連したインターアクティブアプリケーションがある場合、当該アプリケーションに対するURLがWMに挿入されてもよい。受信機は、WMを検出して該当のURLを得、ブラウザを用いてアプリケーションを実行することができる。
図23は、本発明の一実施例に係るタイムスタンプタイプフィールドの各値の意味を示す図である。
本発明は、ウォーターマーキング技法によって伝達可能なデータの一つとして、タイムスタンプタイプフィールドを提案する。また、本発明は、タイムスタンプタイプフィールドの効果的なデータ構造を提案する。
タイムスタンプタイプフィールドには5ビットを割り当てることができる。タイムスタンプの先頭の2ビットはタイムスタンプのサイズを意味でき、残りの続く3ビットは、タイムスタンプが示す時間情報の単位を意味することができる。ここで、先頭の2ビットは、タイムスタンプサイズフィールドと、残りの3ビットは、タイムスタンプユニットフィールドと呼ぶことができる。
同図に示すように、タイムスタンプのサイズ(size)とタイムスタンプの単位値によって、実際タイムスタンプ情報を可変的な量でWMに挿入することができる。この可変性を用いて、設計者は、タイムスタンプの正確度のレベルによってタイムスタンプに割り当てられるサイズ及びその単位を選択することができる。タイムスタンプの正確度が高くなると、正確な時刻にインタラクティブサービスを提供することが可能になるが、その分システムの複雑度が増加する。このトレードオフを考慮して、タイムスタンプに割り当てられるサイズ及びその単位を選択すればよい。
タイムスタンプタイプフィールドの先頭の2ビットが00である場合、タイムスタンプは1バイトのサイズを有することができる。タイムスタンプタイプフィールドの先頭の2ビットが01、10、11である場合、タイムスタンプのサイズはそれぞれ2、4、8バイトのサイズを有することができる。
タイムスタンプタイプフィールドの最後の3ビットが000である場合、タイムスタンプはミリセカンドの単位を有することができる。タイムスタンプタイプフィールドの最後の3ビットが001、010、011である場合、タイムスタンプはそれぞれ、秒、分、時間の単位を有することができる。タイムスタンプタイプフィールドの最後の3ビットが101〜111の値である場合は、将来の使用のために残すことができる。
ここで、タイムスタンプタイプフィールドの最後の3ビットが100である場合には、ミリセカンド、セカンドなどの特定時間単位ではなく別のタイムコードを単位として用いてもよい。例えば、SMPTEのタイムコード形態であるHH:MM:SS:FF形態のタイムコードをWMに挿入することもできる。ここで、HHは時間単位、MMは分単位、SSは秒単位であってもよい。そして、FFはフレーム情報であり、時間単位ではなくフレーム情報まで同時に伝達し、より正確な(Frame−accurate)サービスを提供することができる。WMに挿入されるように、実際タイムスタンプはコロンを除外したHHMMSSFFの形態を有してもよい。この場合、タイムスタンプサイズ値は11(8バイト)を有し、タイムスタンプユニット値は100を有することができる。可変ユニットの場合に、いかなる方式でタイムスタンプが挿入されるかは、本発明によって限定されない。
例えば、タイムスタンプ種類情報が10の値を有し、タイムスタンプの単位情報が000の値を有する場合、タイムスタンプのサイズは4バイトであり、タイムスタンプの単位がミリセカンドであってもよい。このとき、タイムスタンプがTs=3265087である場合、最後の3桁の087は、ミリセカンドを意味でき、残り3265は秒単位であってもよい。したがって、このタイムスタンプを解釈すれば、現在時間は、WMが挿入された該当のプログラムの開始から54分25.087秒が経過した時点であってもよい。これは一実施例に過ぎず、タイムスタンプはウォ−ルタイム(Wall time)の役割として、コンテンツにかかわらず、セグメント或いは受信機自体の時間を示すこともできる。
図24は、本発明の一実施例に係るURLプロトコルタイプフィールドの各値の意味を示す図である。
本発明は、ウォーターマーキング技法によって伝達可能なデータの一つとして、URLプロトコルタイプフィールドを提案する。また、本発明は、URLプロトコルタイプフィールドの効果的なデータ構造を提案する。
前述した情報のうち、URLは、その長さが長いため、挿入されるデータ量が相対的に多いのが一般的である。前述したように、WMに挿入されるデータは少ないほど効率的であるので、URLにおいて固定的な部分は受信機で処理することができる。そのために、本発明は、URLプロトコルタイプのためのフィールドを提案することができる。
URLプロトコルタイプフィールドは、3ビットのサイズを有することができる。サービスプロバイダは、URLプロトコルタイプフィールドを用いてWMにURLプロトコルを設定することができる。この場合、インタラクティブアプリケーションのURLは、ドメインから挿入されてWMで伝送されてもよい。
受信機のWM検出器は、まず、URLプロトコルタイプフィールドをパースしてURLプロトコル情報を得、その後、伝送されたURL値の前に該当のプロトコルを付けて全体URLを作ることができる。受信機は、ブラウザを用いて完成されたURLに接近し、該当のインタラクティブアプリケーションを実行することができる。
ここで、URLプロトコルタイプフィールドの値が000である場合には、URLプロトコルがWMのURLフィールドに直接明示されて挿入されてもよい。URLプロトコルタイプフィールドの値が001、010、011である場合、URLプロトコルはそれぞれhttp://、https://、ws://であってもよい。URLプロトコルタイプフィールドの値が100〜111の値を有する場合は、将来の使用のために残すことができる。
アプリケーションURLは、その自体でブラウザを用いてアプリケーションの実行が可能であってもよい(Web App.の形態)。また、実施例によって、コンテンツソースIDとタイムスタンプ情報を参照してもよい。後者の場合、コンテンツソースID情報とタイムスタンプ情報をアプリケーションサーバーに伝達するために最終的なURLが次のような形態を有してもよい。ここで、アプリケーションサーバーは、実施例によって、後述するリモートサーバーに該当してもよい。
要求(Request)URL:
この実施例は、コンテンツソースIDは123456であり、タイムスタンプは5005である場合であってもよい。cidは、アプリケーションサーバーに知らせるコンテンツソースIDの要求(query)識別子を意味することができる。tは、アプリケーションサーバーに知らせる現在時点の要求識別子を意味することができる。
図25は、本発明の一実施例に係るURLプロトコルタイプフィールドの処理手続を示すフロ−チャ−トである。
まず、サービスプロバイダ47010はWM挿入器47020にコンテンツを伝達することができる(s47010)。ここで、サービスプロバイダ47010は、前述したコンテンツ提供サーバーと類似の機能を有することができる。
WM挿入器47020は、受信したコンテンツにWMを挿入することができる(s47020)。ここで、WM挿入器47020は、前述したウォーターマークサーバーと類似の機能を有することができる。WM挿入器47020は、前述したようなWMをWMアルゴリズムによってオーディオ又はビデオに挿入することができる。ここで、挿入されるWMには、前述したアプリケーションURL情報、コンテンツソースID情報などが含まれてもよい。例えば、挿入されるWMには、前述したタイムスタンプタイプフィールド、タイムスタンプ、コンテンツIDなどの情報が含まれてもよい。前述したURLプロトコルタイプフィールドは001の値を有することができ、URL情報はatsc.orgの値を有することができる。WMに挿入されるフィールドの値は一実施例に過ぎず、本発明はこの実施例に限定されない。
WM挿入器47020は、WMの挿入されたコンテンツを送出することができる(s47030)。WMの挿入されたコンテンツの送出は、サービスプロバイダ47010によって行われてもよい。
STB47030は、WMの挿入されたコンテンツを受け取り、非圧縮的A/Vデータ(又は、ロー(raw)A/Vデータ)を出力することができる(s47040)。ここで、STB47030は、前述した放送受信装置、又はセットトップボックスを意味することができる。STB47030は、受信機の外部又は内部に設置することができる。
WMディテクタ47040は、受信した非圧縮的A/Vデータから、挿入されているWMを検出することができる(s47050)。WMディテクタ47040は、WM挿入器47020の挿入したWMを検出した後、この検出されたWMをWMマネジャーに伝達することができる。
WMマネジャー47050は、検出されたWMをパースすることができる(s47060)。前述した実施例で、WMは、URLプロトコルタイプフィールド値が001であり、URL値がatsc.orgである情報を有することができる。URLプロトコルタイプフィールド値が001であるので、http://プロトコルが用いられることを意味することができる。WMマネジャー47050はこの情報を用いて、http://とatsc.orgを結合して全体URLを生成することができる(s47070)。
WMマネジャー47050は、この完成されたURLをブラウザ47060に送り、アプリケーションをローンチすることができる(s47080)。場合によって、コンテンツソースID情報及びタイムスタンプ情報まで伝達する必要がある場合、http://atsc.org?cid=xxx&t=YYYの形態でアプリケーションをローンチすることもできる。
端末内のWM検出器47040とWMマネジャー47050は統合されて、単一のモジュールでその機能が行われてもよい。この場合、前述したs47050、s47060、s47070の過程が単一のモジュールで処理されてもよい。
図26は、本発明の一実施例に係るイベントフィールドの各値の意味を示す図である。
本発明は、ウォーターマーキング技法によって伝達可能なデータの一つとしてイベントフィールドを提案する。また、本発明は、イベントフィールドの効果的なデータ構造を提案する。
WMから抽出したURLを介してアプリケーションをローンチすることができる。より細部的なイベントを用いてアプリケーションを制御してもよい。アプリケーションを制御できるイベントをイベントフィールドで表示して伝達することができる。すなわち、現在視聴中の放送プログラムに関連したインタラクティブアプリケーションがある場合、当該アプリケーションに対するURLが伝送されてもよく、イベントを用いてそのアプリケーションを制御することができる。
イベントフィールドは、3ビットのサイズを有することができる。イベントフィールドの値が000である場合、‘Prepare’命令を意味することができる。Prepareとは、アプリケーションを実行する前の準備段階であり、この命令を受けた受信機は、あらかじめアプリケーションに関連したコンテンツアイテムをダウンロードしておくことができる。また、受信機は、当該アプリケーションを実行するために必要なリソースを解除しておくこともできる。ここで、必要なリソースを解除するということは、メモリを整理するか、又はまだ終了していない他のアプリケーションを終了させておくことを意味することができる。
イベントフィールド値が001である場合、‘Execute’命令を意味することができる。Executeとは、当該アプリケーションを実行するようとの命令であってもよい。イベントフィールド値が010である場合、‘Suspend’命令を意味することができる。Suspendとは、既に実行されている当該アプリケーションをしばらくの間動作しないようにすることを意味することができる。イベントフィールド値が011である場合、‘Kill’命令を意味することができる。Killとは、既に実行されている当該アプリケーションを終了させる命令であってもよい。イベントフィールド値が100〜111の値である場合、将来の使用のために残すことができる。
図27は、本発明の一実施例に係るデスティネーションタイプフィールドの各値の意味を示す図である。
本発明は、ウォーターマーキング技法によって伝達可能なデータの一つとしてデスティネーションタイプフィールドを提案する。また、本発明は、デスティネーションタイプフィールドの効果的なデータ構造を提案する。
DTV関連技術の発展により、放送コンテンツに関連した付加サービスは、TV受信機のスクリーンの他、コンパニオン(companion)デバイスでも提供されてもよい。しかし、コンパニオンデバイスは、放送受信が不可能であるか、可能であるとしてWM検出は不可能である。このため、現在放映中の放送コンテンツに関連した付加サービスを提供するアプリケーションのうち、コンパニオンデバイスで実行されるべきアプリケーションがあると、その関連情報はコンパニオンデバイスに伝達されなければならない。
このとき、受信機とコンパニオンデバイスとが連動して動作できる環境であっても、WMから検出されたアプリケーション又はデータがどの機器で消費されるべきかを知る必要がある。すなわち、各データ又はアプリケーションが受信機で消費されるべきか、それともコンパニオンデバイスで消費されるべきかに関する情報が必要であってもよい。このような情報をWMとして伝達するために、本発明はデスティネーションタイプフィールドを提案する。
デスティネーションタイプフィールドは、3ビットのサイズを有することができる。デスティネーションタイプフィールドの値が0x00である場合、WMによって検出されたアプリケーション又はデータが全ての機器をターゲッティングすることを意味することができる。デスティネーションタイプフィールドの値が0x01である場合、WMによって検出されたアプリケーション又はデータがTV受信機をターゲッティングすることを意味することができる。デスティネーションタイプフィールドの値が0x02である場合、WMによって検出されたアプリケーション又はデータがスマートフォンをターゲッティングすることを意味することができる。デスティネーションタイプフィールドの値が0x03である場合、WMによって検出されたアプリケーション又はデータがタブレット機器をターゲッティングすることを意味することができる。デスティネーションタイプフィールドの値が0x04である場合、WMによって検出されたアプリケーション又はデータがパーソナルコンピュータをターゲッティングすることを意味することができる。デスティネーションタイプフィールドの値が0x05である場合、WMによって検出されたアプリケーション又はデータがリモートサーバーをターゲッティングすることを意味することができる。デスティネーションタイプフィールドの値が0x06〜0xFFの値を有する場合は、将来の使用のために残すことができる。
ここで、リモートサーバーとは、放送に関連した全ての付加情報を持っているサーバーを意味することができる。このリモートサーバーは端末の外部に設けられてもよい。リモートサーバーが用いられる場合、WMに挿入されるURLは、特定アプリケーションのURLではなく、リモートサーバーのURLを示すことができる。受信機は、リモートサーバーのURLを通じてリモートサーバーと疎通して、放送プログラムに関連した付加情報を受け取ることができる。このとき、受け取った付加情報は、関連したアプリケーションのURLだけでなく、現在放送プログラムのジャンル、俳優情報、あらすじなどの様々な情報であってもよい。受け取り可能な情報はシステムによって異なってもよい。ここで、リモートサーバーは、前述したアプリケーションサーバーの一実施例であってもよい。
他の実施例によれば、デスティネーションタイプフィールドの各ビットを各デバイス別に割り当て、アプリケーションの宛先(destination)を示すこともできる。この場合、ビットワイズORを用いて複数のデスティネーションを同時に指定してもよい。
例えば、0x01をTV受信機、0x02をスマートフォン、0x04をタブレット、0x08をPC、0x10をリモートサーバーとしたとき、デスティネーションタイプフィールドが0x6の値を有すると、当該アプリケーション又はデータはスマートフォン及びタブレットをターゲットとすることができる。
前述したWMマネジャーによってパースされたWMのデスティネーションタイプフィールドの値によって、WMマネジャーは各アプリケーション又はデータをコンパニオンデバイスに伝達することができる。この場合、WMマネジャーは、受信機内のコンパニオンデバイスとの連動を処理するモジュールに、各アプリケーション又はデータに関連した情報を伝達することができる。
図28は、本発明の実施例#1によるWMに挿入されるデータ構造を示す図である。
本実施例で、WMに挿入されるデータは、タイムスタンプタイプフィールド、タイムスタンプ、コンテンツID、イベントフィールド、デスティネーションタイプフィールド、URLプロトコルタイプフィールド、URLなどの情報を有することができる。ここで、各データの順序を変更してもよく、それぞれのデータは実施例によって省略されてもよい。
本実施例で、タイムスタンプタイプフィールドにおけるタイムスタンプサイズフィールドは01、タイムスタンプユニットフィールドは000の値を有することができる。これはそれぞれ、タイムスタンプに2ビットが割り当てられ、タイムスタンプはミリセカンドの単位を有することを意味することができる。
また、イベントフィールドは001の値を有するが、これは、該当するアプリケーションが直ちに実行されなければならないことを意味することができる。デスティネーションタイプフィールドは0x02の値を有するが、これは、WMによって伝達されたデータがスマートフォンに伝達されなければならないことを意味することができる。URLプロトコルタイプフィールドは001、URLはatsc.orgの値を有するので、付加情報又はアプリケーションのURLはhttp://atsc.org.であることを意味することができる。
図29は、本発明の実施例#1によるWMに挿入されるデータ構造を処理する順序図である。
ここで、サービスプロバイダがWM挿入器にコンテンツを伝達する段階(s51010)、WM挿入器が受信したコンテンツにWMを挿入する段階(s51020)、WM挿入器がWMの挿入されたコンテンツを送出する段階(s51030)、STBがWMの挿入されたコンテンツを受け取り、非圧縮的A/Vデータを出力する段階(s51040)、WMディテクタがWMを検出する段階(s51050)、WMマネジャーが検出されたWMをパースする段階(s51060)、及び/又はWMマネジャーが全体URLを生成する段階(s51070)は、前述した各段階と同一であってもよい。
WMマネジャーは、パースされたWMのデスティネーションタイプフィールドによって、受信機内のコンパニオンデバイスプロトコルモジュールに、関連データを伝達することができる(s51080)。ここで、コンパニオンデバイスプロトコルモジュールは、受信機内でコンパニオンデバイスとの連動及び通信などを管掌するモジュールであってもよい。コンパニオンデバイスプロトコルモジュールは、コンパニオンデバイスとペアリング(pairing)されていてもよい。実施例によって、コンパニオンデバイスプロトコルモジュールは、UPnPデバイスであってもよい。実施例によって、コンパニオンデバイスプロトコルモジュールは端末の外部に位置してもよい。
コンパニオンデバイスプロトコルモジュールは、デスティネーションタイプフィールドによるコンパニオンデバイスに関連データを伝達することができる(s51090)。本実施例#1で、デスティネーションタイプフィールドの値は0x02であり、WMに挿入されたデータなどはスマートフォンのためのデータであってもよい。したがって、コンパニオンデバイスプロトコルモジュールは、パースされたデータをスマートフォン機器に送ることができる。すなわち、この実施例でコンパニオンデバイスはスマートフォンであってもよい。
実施例によって、WMマネジャー又はコンパニオンデバイスプロトコルモジュールは、コンパニオンデバイスにデータを伝達する前にデータ処理手続を行うことができる。コンパニオンデバイスの場合、一般に、携帯性が強調されるため、プロセシング/コンピューティング能力が相対的に劣ったり、メモリ量が少ないことがある。したがって、受信機は、コンパニオンデバイスが行うデータプロセシングを代行した後、プロセシングされたデータをコンパニオンデバイスに伝達することができる。
このようなプロセシングには様々な実施例があり得る。まず、WMマネジャー又はコンパニオンデバイスプロトコルモジュールは、コンパニオンデバイスが必要とするデータだけを選別する作業を行うことができる。また、実施例によって、イベントフィールドがアプリケーションを終了する旨の内容を含んでいる場合、アプリケーション関連情報を伝達しなくてもよい。また、データが複数のWMに分けて伝送された場合、それらのデータを保存し、これらを合わせた最終情報をコンパニオンデバイスに伝達することもできる。タイムスタンプを用いた同期化を代わりに行って、既に同期化されたアプリケーション関連命令を伝達するか、既に同期化されたインタラクティブサービスを伝達して、コンパニオンデバイスは単にディスプレイだけを行うようにしてもよい。また、タイムスタンプ関連情報を伝達せず、タイムベースを受信機内でのみ維持し、あるイベントが活性化されるべき時間に合わせて関連情報をコンパニオンデバイスに伝達することもできる。この場合、コンパニオンデバイスはタイムベースを維持する必要がなく、関連情報を受信した瞬間に合わせて該当のイベントを活性化するなどの動作を行うことができる。
前述と同様に、端末内のWM検出器とWMマネジャーとが統合されて、単一のモジュールでそれらの機能が行われてもよい。この場合、前述したs51050、s51060、s51070、s51080の過程が単一のモジュールで処理されてもよい。
また、実施例によって、コンパニオンデバイスもWM検出器を有することができる。各コンパニオンデバイスがWMの挿入された放送を受信可能な場合、各コンパニオンデバイスは、WMを直接検出した後に、他のコンパニオンデバイスに伝達することができる。例えば、スマートフォンがWMを検出及びパースして、関連情報をTVに伝達することもできる。この場合、デスティネーションタイプフィールドは0x01の値を有することができる。
図30は、本発明の実施例#2によるWMに挿入されるデータ構造を示す図である。
本実施例で、WMに挿入されるデータは、タイムスタンプタイプフィールド、タイムスタンプ、コンテンツID、イベントフィールド、デスティネーションタイプフィールド、URLプロトコルタイプフィールド、URLなどの情報を有することができる。ここで、各データの順序を変更してもよく、それぞれのデータは実施例によって省略されてもよい。
本実施例で、タイムスタンプタイプフィールドのタイムスタンプサイズフィールドは01、タイムスタンプユニットフィールドは000の値を有することができる。これはそれぞれ、タイムスタンプに2ビットが割り当てられ、タイムスタンプはミリセカンドの単位を有することを意味することができる。コンテンツIDは、123456の値を有することができる。
また、イベントフィールドは001の値を有するが、これは、該当するアプリケーションが直ちに実行されなければならないことを意味することができる。デスティネーションタイプフィールドは0x05の値を有するが、これは、WMによって伝達されたデータがリモートサーバーに伝達されなければならないことを意味することができる。URLプロトコルタイプフィールドは001、URLはremoteserver.comの値を有するので、付加情報又はアプリケーションのURLは、http://remoteserver.com.であることを意味することができる。
前述したように、リモートサーバーが用いられる場合、リモートサーバーから放送プログラムに対する付加情報を取り込むことができる。このとき、リモートサーバーのURLにコンテンツID及びタイムスタンプをパラメータとして挿入してリモートサーバーに要求することができる。また、実施例によって、リモートサーバーがAPIの支援によって現在放送プログラムに関する情報を得ることもできる。このとき、APIは、受信機内に保存されたコンテンツID、タイムスタンプをリモートサーバーが取得できるようにするするか、又は関連した付加情報を伝達できるようにする。
本実施例で、リモートサーバーのURLにコンテンツID及びタイムスタンプをパラメータとして挿入する場合、全体URLはhttp://remoteserver.com?cid=1233456&t=5005のようになり得る。ここで、cidは、リモートサーバーに知らせるコンテンツIDの要求識別子であってもよい。ここで、tは、リモートサーバーに知らせる現在時点の要求識別子であってもよい。
図31は、本発明の実施例#2によるWMに挿入されるデータ構造を処理する順序図である。
ここで、サービスプロバイダがWM挿入器にコンテンツを伝達する段階(s53010)、WM挿入器が、受信したコンテンツにWMを挿入する段階(s53020)、WM挿入器がWMの挿入されたコンテンツを送出する段階(s53030)、STBがWMの挿入されたコンテンツを受け取り、非圧縮的A/Vデータを出力する段階(s53040)、WMディテクタがWMを検出する段階(s53050)、及び/又はWMマネジャーが検出されたWMをパースする段階(s53060)は、前述した各段階と同一であってもよい。
WMマネジャーは、パースしたデスティネーションタイプフィールド(0x05)から、リモートサーバーと疎通しなければならない場合であることが分かる。WMマネジャーは、URLプロトコルタイプフィールドの値及びURL値を用いて、http://remoteserver.comというURLを生成することができる。また、コンテンツID及びタイムスタンプの値を用いて、最終的にhttp://remoteserver.com?cid=123456&t=5005のURLを生成することができる。WMマネジャーは、この最終URLで要求を行うことができる(s53070)。
リモートサーバーは要求を受けて、放送プログラムに合う関連アプリケーションのURLをWMマネジャーに伝送することができる(s53080)。WMマネジャーは、受信したアプリケーションのURLをブラウザに送り、当該アプリケーションをローンチすることができる(s53090)。
前述と同様に、端末内のWM検出器とWMマネジャーは統合されて、単一のモジュールでその機能が行われてもよい。この場合、前述したs53050、s53060、s53070、s53090の過程が単一のモジュールで処理されてもよい。
図32は、本発明の実施例#3によるWMに挿入されるデータ構造を示す図である。
本発明は、ウォーターマーキング技法によって伝達可能なデータの一つとして伝達タイプ(delivery type)フィールドを提案する。また、本発明は、伝達タイプフィールドの効果的なデータ構造を提案する。
WMに挿入されるデータ量の増加によるオーディオ/ビデオコンテンツのクォリティー低下を減らすために、WMが分けて挿入されてもよい。WMが分けて挿入されるか否かを示すために、伝達タイプフィールドを用いることができる。伝達タイプフィールドから、一度のWM検出によって放送関連情報習得が可能か、或いは複数のWMが検出されなければならないかを区別することができる。
伝達タイプフィールドが0の値を有する場合、1つのWMに全てのデータが挿入されて伝送されることを意味することができる。伝達タイプフィールドが1の値を有する場合、複数のWMにデータが分けて挿入されて伝送されることを意味することができる。
本実施例は、伝達タイプフィールドの値が0である場合であってもよい。この場合のWMのデータ構造は、前述したデータ構造に伝達タイプフィールドが付加された形態であってもよい。本実施例は、伝達タイプフィールドが先頭に位置するが、実施例によって他の箇所に位置してもよい。
WMマネジャー又はWM検出器は、伝達タイプフィールドが0の値を有する場合、WMの長さを参照してWMをパースすることができる。このとき、WMの長さは、既に定められたフィールドのビット数を考慮して計算することができる。例えば、前述したように、イベントフィールドの長さは3ビットであってもよい。コンテンツID、URLのサイズは可変であるが、実施例によってそのビット数が制限されてもよい。
図33は、本発明の実施例#4によるWMに挿入されるデータ構造を示す図である。
本実施例は、伝達タイプフィールドの値が1である場合であってもよい。この場合、WMのデータ構造にいくつかのフィールドが追加されてもよい。
WMIdフィールドは、WMを区別する識別子の役割を担うことができる。データが複数のMに分けて伝送される場合、WM検出器は、分けられたデータを有する各WMを識別する必要がある。このとき、分けられたデータを持つ各WMは、同じWMIdフィールド値を有することができる。WMIdフィールドは8ビットのサイズを有することができる。
ブロックナンバー(Block number)フィールドは、分けられたデータを持つ各WMのうち、現在WMの識別番号を示すフィールドであってもよい。分けられたデータを持つWMが伝送される順序によって1ずつ値が増加してもよい。例えば、分けられたデータを持つ各WMのうち、1番目のWMの場合、ブロックナンバーフィールドの値が0x00であってもよい。その後、伝送される2番目、3番目のWMはそれぞれ、0x01、0x02、...の値を有することができる。ブロックナンバーフィールドは、8ビットのサイズを有することができる。
最後のブロックナンバー(Last block number)フィールドは、分けられたデータを持つ各WMのうち、最後のWMの識別番号を示すフィールドであってもよい。前述したブロックナンバーフィールドと最後のブロックナンバーフィールドの値が同一になるまで、WM検出器又はWMマネジャーは検出したWMを集め、パースすることができる。最後のブロックナンバーフィールドは8ビットのサイズを有することができる。
ブロック長(Block length)フィールドは、該当のWMの全長を示すことができる。ここで、該当のWMとは、分けられたデータを持つ各WMのうちの1つを意味することができる。ブロック長フィールドは7ビットのサイズを有することができる。
コンテンツIDフラグ(Content Identifier Flag)フィールドは、分けられたデータを持つ各WMのうち、現在WMのペイロードにコンテンツIDが含まれているかを示すことができる。コンテンツIDが含まれている場合、コンテンツIDフラグフィールドは1に設定され、逆の場合、0に設定されてもよい。コンテンツIDフラグフィールドは1ビットのサイズを有することができる。
イベントフラグフィールドは、分けられたデータを持つ各WMのうち、現在WMのペイロードにイベントフィールドが含まれているかを示すことができる。イベントフィールドが含まれている場合、イベントフラグフィールドは1に設定され、逆の場合、0に設定されてもよい。イベントフラグフィールドは1ビットのサイズを有することができる。
デスティネーションフラグフィールドは、分けられたデータを持つ各WMのうち、現在WMのペイロードにデスティネーションタイプフィールドが含まれているかを示すことができる。デスティネーションタイプフィールドが含まれている場合、デスティネーションフラグフィールドは1に設定され、逆の場合、0に設定されてもよい。デスティネーションフラグフィールドは1ビットのサイズを有することができる。
URLプロトコルフラグフィールドは、分けられたデータを持つ各WMのうち、現在WMのペイロードにURLプロトコルタイプフィールドが含まれているかを示すことができる。URLプロトコルタイプフィールドが含まれている場合、URLプロトコルフラグフィールドは1に設定され、逆の場合、0に設定されてもよい。URLプロトコルフラグフィールドは1ビットのサイズを有することができる。
URLフラグフィールドは、分けられたデータを持つ各WMのうち、現在WMのペイロードにURL情報が含まれているかを示すことができる。URL情報が含まれている場合、URLフラグフィールドは1に設定され、逆の場合、0に設定されてもよい。URLフラグフィールドは1ビットのサイズを有することができる。
ペイロードには、前述したフィールド以外の実際データを含めることができる。
複数のWMに分けて伝送する場合、それぞれのWMが挿入された時点の時点情報を知る必要がある。この場合、実施例によって、それぞれのWMにタイムスタンプが挿入されてもよい。このとき、タイムスタンプタイプフィールドも、タイムスタンプの挿入されたWMに共に挿入されてもよい。WMが挿入された時点を知るうえで必要なためである。又は、実施例によって、受信機がWMタイムスタンプタイプ情報を保存して活用することができる。受信機は、最初のタイムスタンプ、最後のタイムスタンプ、又はそれぞれのタイムスタンプを基準にしてタイムシンクを取ることができる。
データを複数のWMに分けて伝送する場合、それぞれのWMのサイズは、上記フラグフィールドを用いて調節することができる。前述したように、WMによって伝送されるデータ量が大きくなる場合、オーディオ/ビデオコンテンツの質に影響を及ぼしうる。このため、伝送される各オーディオ/ビデオフレーム別の状況によって、該当のフレームに挿入されるWMのサイズを調節すればよい。このとき、WMのサイズは、前述したフラグフィールドによって調節することができる。
例えば、コンテンツのビデオフレームのいずれか一ビデオフレームが黒い画面のみからなっているとしよう。コンテンツの内容上、場面が切り換わったりする場合に、黒い画面のみからなるビデオフレームが1つ挿入されてもよい。このようなビデオフレームの場合、多量のWMが挿入されても、コンテンツの質が低下したりすることがない。すなわち、ユーザーがコンテンツの質の低下を感じなくてすむ。この場合、当該ビデオフレームには、多量のデータを有するWMを挿入することができる。このとき、当該ビデオフレームに挿入されるWMのフラグフィールドは殆ど1の値を有することができる。このWMは大部分のフィールドを実際に有するためである。特に、多いデータ量を占めるURLフィールドが、そのWMに含まれてもよい。これによって、他のビデオフレームに挿入されるWMには、相対的に少ない量のデータが挿入されてもよい。WMに挿入されるデータ量は設計者の意図によって変更されてもよい。
図34は、本発明の実施例#4において、1番目のWMに挿入されるデータ構造を示す図である。
本実施例は、伝達タイプフィールドの値が1である場合、すなわち、データがいくつかのWMに分けて伝送される場合において、1番目のWMの構造を図示のようにすることができる。
分けられたデータを持つ各WMのうち、1番目のWMであるため、ブロックナンバーフィールドの値が0x00であってもよい。もちろん、実施例によって、別のブロックナンバーフィールドの値が使用されると、図示のWMは1番目のWMでなくてもよい。
受信機は、1番目のWMを検出することができる。検出されたWMは、WMマネジャーによってパースすることができる。このとき、WMの伝達タイプフィールド値が1であり、ブロックナンバーフィールドの値と最後のブロックナンバーフィールドの値とが異なることが分かる。したがって、WMマネジャーは、WMIdが0x00である、残りのWMが来るまで、パースした情報を保存しておくことができる。特に、URL情報であるatsc.orgも保存してもよい。ここで、最後のブロックナンバーフィールドの値が0x01であるため、残り1つのWMだけを受信すると、WMIdが0x00であるWMに対しては全て受信するようになることが分かる。
本実施例で、各フラグフィールドの値がいすれも1である。したがって、このWMのペイロードにはイベントフィールドなどの各情報が含まれていることが分かる。また、タイムスタンプ値が5005であるため、このWMが挿入された部分の時点は5.005秒であることが分かる。
図35は、本発明の実施例#4において、2番目のWMに挿入されるデータ構造を示す図である。
本実施例は、伝達タイプフィールドの値が1である場合、すなわち、データが複数のWMに分けて伝送される場合において、2番目のWMの構造を図示のようにすることができる。
分けられたデータを持つ各WMのうち、2番目のWMであるため、ブロックナンバーフィールドの値が0x01であってもよい。実施例によって、別のブロックナンバーフィールドの値を使用する場合、図示のWMは2番目のWMでなくてもよい。
受信機は、2番目のWMを検出することができる。WMマネジャーは、検出された2番目のWMをパースすることができる。ブロックナンバーフィールドと最後のブロックナンバーフィールドの値が同一であるため、このWMが、WMId値が0x00である、WMのうちの最後のWMであることが分かる。
フラグフィールドうち、URLフラグの値だけが1であるため、ペイロードにはURL情報が含まれていることが分かる。現在ブロックナンバーフィールドの値が0x01であるため、既に保存されていた情報と結合されてもよい。特に、既に保存されていたatsc.org部分と、2番目のWMに含まれた/apps/app1.html部分とが結合されてもよい。また、既に保存されていた情報のうち、URLプロトコルタイプフィールドの値が001であるため、最終結合されたURLは、http://atsc.org/apps/app1.html.であってもよい。このURLがブラウザを介してローンチされてもよい。
2番目のWMによれば、2番目のWMが挿入された部分の時点は10.005秒である。受信機は1番目のWMの5.005秒を基準にタイムシンクを取ることができ、最後のWMの10.005秒を基準にタイムシンクを取ることもできる。本実施例は、5秒の間隔でWMを2回にわたって伝送した例示であり、WMが挿入されていない5秒の間は、完全にオーディオ/ビデオだけを伝送できる長所があるため、コンテンツのクォリティー低下を防止することができる。すなわち、複数のWMに分けてデータが伝達されても、クォリティーの低下を減らすことができる。WMを分けて挿入する時期は、実施例によって異なってもよい。
図36は、本発明の実施例#4によるWMに挿入されるデータ構造を処理する順序図である。
ここで、サービスプロバイダがWM挿入器にコンテンツを伝達する段階(s58010)、WM挿入器が受信したコンテンツにWM#1を挿入する段階(s58020)、WM挿入器がWM#1の挿入されたコンテンツを送出する段階(s58030)、STBがWM#1の挿入されたコンテンツを受け取り、非圧縮的A/Vデータを出力する段階(s58040)、及び/又はWMディテクタがWM#1を検出する段階(s58050)は、前述した各段階と同一であってもよい。
ここで、WM#1は、分けられたデータが挿入されたWMのうちの1つを意味し、前述した本発明の実施例#4における1番目のWMであってもよい。前述したように、このWMのブロックナンバーフィールドは0x00であり、URL情報はatsc.orgであってもよい。
WMマネジャーは、検出されたWM#1をパースした後、これを保存しておくことができる(s58060)。このとき、WMマネジャーは、既に定められた各フィールドのビット数と全WMの長さを参照してパーシングを行うことができる。ブロックナンバーフィールドと最後のブロックナンバーフィールドの値が異なるため、且つ伝達タイプフィールド値が1であるため、WMマネジャーはWMをパースして保存しておき、次のWMを待つことができる。
ここで、サービスプロバイダがWM挿入器にコンテンツを伝達する段階(s58070)、WM挿入器が受信したコンテンツにWM#2を挿入する段階(s58080)、WM挿入器がWM#2の挿入されたコンテンツを送出する段階(s58090)、STBがWM#2の挿入されたコンテンツを受け取り、非圧縮的A/Vデータを出力する段階(s58100)、及び/又はWMディテクタがWM#2を検出する段階(s58110)は、前述した各段階と同一であってもよい。
ここで、WM#2は、分けられたデータが挿入されたWMのうちの1つを意味し、前述した本発明の実施例#4における2番目のWMであってもよい。前述したように、このWMのブロックナンバーフィールドは0x01であり、URL情報は/apps/app1.htmlであってもよい。
WMマネジャーは、WM#2をパースすることができる(s58120)。WM#2をパースして得た情報と、既に保存されていたWM#1をパースして得た情報とを合わせて全体URLを生成することができる(s58130)。この場合、全体URLは前述と同一であってもよい。
ここで、WMマネジャーがデスティネーションタイプフィールドによって、受信機内のコンパニオンデバイスプロトコルモジュールに、関連データを伝達する段階(s58140)、コンパニオンデバイスプロトコルモジュールがデスティネーションタイプフィールドによるコンパニオンデバイスに関連データを伝達する段階(s58150)は、前述した各段階と同一であってもよい。
ただし、ここで、デスティネーションタイプフィールドは、前述したように、WM#1によって伝達されていてもよい。本発明の実施例#4の1番目のWMのデスティネーションフラグフィールド値が1であるためである。前述したように、このデスティネーションタイプフィールド値はパースされて保存されていてもよい。デスティネーションタイプフィールド値が0x02であるので、スマートフォンのためのデータであることが分かる。
コンパニオンデバイスプロトコルモジュールは、コンパニオンデバイスと疎通し、関連情報を処理することができる。これは、前述したとおりである。また、前述したように、WM検出器とWMマネジャーは統合されて単一のモジュールに含まれてもよく、その統合モジュールが、WM検出器とWMマネジャーの役割をすべて行うことができる。
図37は、本発明の他の実施例に係るウォーターマークベースの映像表示装置の構造を示す図である。
本実施例は、前述したウォーターマークベースの映像表示装置の構造と略同一であるが、ウォーターマーク抽出器t59030の下に、WMマネジャーt59010、コンパニオンデバイスプロトコルモジュールt59020が追加されている。その他のモジュールは、前述と同一であってもよい。
ここで、ウォーターマーク抽出器t59030は、前述したWM検出器に対応してもよい。ウォーターマーク抽出器t59030は、前述したウォーターマークベースの映像表示装置の構造の同名モジュールと同一であってもよい。また、WMマネジャーt59010は前述のWMマネジャーに、コンパニオンデバイスプロトコルモジュールt59020は前述のコンパニオンデバイスプロトコルモジュールに対応する構成であってもよい。各モジュールの動作は、前述したとおりである。
図38は、フィンガープリンティング方式において、本発明の一実施例に係るデータ構造を示す図である。
フィンガープリンティング(FingerPrinting)方式のACRシステムの場合、WMを使用する場合に比べて、オーディオ/ビデオコンテンツのクォリティー低下が少なくてすむ。フィンガープリンティング方式のACRシステムの場合、付加的な情報をACRサーバーから取り込むため、コンテンツに直接挿入されているWMに比べて、相対的にクォリティーの低下が少なくてすむ。
ACRサーバーから情報を取り込む際、前述したようにクォリティー低下による制約が少ないため、WMで用いられたデータ構造をそのまま用いてもよい。すなわち、本発明が提案するデータ構造をFP方式においてもそのまま用いることができる。又は、実施例によって、WMデータ構造の一部の構造だけを用いてもよい。
前述したWMのデータ構造が用いられる場合、デスティネーションタイプフィールドの値のうち0x05が示す意味は変更されてもよい。前述したように、デスティネーションタイプフィールドの値が0x05である場合、受信機がリモートサーバーにデータを要求するようになる。FP方式において、リモートサーバーの役割はACRサーバーで担うことができるため、デスティネーションタイプフィールドが0x05である場合は削除されたり再定義されてもよい。
その他のフィールドは、前述と同一であってもよい。
図39は、フィンガープリンティング方式において、本発明の一実施例に係るデータ構造を処理する順序図である。
サービスプロバイダは、送出する放送プログラムからフィンガープリント(FP)を抽出することができる(s61010)。ここで、サービスプロバイダは、前述したサービスプロバイダと同一であってもよい。サービスプロバイダは、ACRメーカーが提供するツールを用いてコンテンツ別にフィンガープリントを抽出したり、自身のツールを用いてフィンガープリントを抽出することができる。サービスプロバイダは、オーディオ/ビデオフィンガープリントを抽出することができる。
サービスプロバイダはACRサーバーに、抽出したフィンガープリントを伝達することができる(s61020)。このとき、伝達される時点は、事前製作プログラムの場合には、放送として送出される前であってもよく、ライブプログラムの場合には、実時間でFPが抽出されるやいなやACRサーバーに伝達されてもよい。実時間でFPが抽出されてACRサーバーに伝達される場合、サービスプロバイダは、コンテンツに対するコンテンツIDを付与し、伝送タイプ、デスティネーションタイプ、URLプロトコルタイプなどの情報を付与することができる。このとき、与えられた情報は、実時間で抽出されたFPにマップされて併せてACRサーバーに伝達されてもよい。
ACRサーバーは、受信したFP及び関連情報をACR DBに保存することができる(s61030)。受信機は、外部入力から入力されるオーディオ/ビデオ信号からFPを抽出することができる。ここで、オーディオ/ビデオ信号は非圧縮的信号であってもよい。このFPは、シグネチャと呼ぶことができる。受信機は、FPを用いてACRサーバーに要求を送ることができる(s61040)。
ACRサーバーは、受信したFPとACR DBとを比較することができる。受信したFPとマッチされるFPがACR DBにある場合、受信機で放映中のコンテンツを認識することができる。コンテンツを認識すると、伝達タイプ情報、タイムスタンプ、コンテンツID、イベントタイプ情報、デスティネーションタイプ情報、URLプロトコルタイプ情報、URL情報などを受信機に送ることができる(s61050)。
ここで、各情報は、前述した各フィールドに含めて伝送することができる。例えば、デスティネーションタイプ情報は、デスティネーションタイプフィールドに含まれて伝送されてもよい。受信機に応答する際、伝達されるデータの構造は、前述したWMで用いられるデータ構造を用いることができる。
受信機は、ACRサーバーから受信した情報をパースすることができる。本実施例では、デスティネーションタイプフィールドの値が0x01であるため、アプリケーションのURLがTVで実行されなければならないことが分かる。URLプロトコルタイプフィールドの値とURL情報を用いて、最終URLであるhttp://atsc.orgを生成することができる。URL生成手続きは、前述したとおりである。
受信機は、当該URLを用いてブラウザで放送関連アプリケーションを実行することができる(s61060)。ここで、ブラウザは、前述したブラウザと同一であってもよい。s61040、s61050、s61060の過程が反復されてもよい。
図40は、本発明の他の実施例に係るウォーターマークペイロードの構造を示す図である。
同図に示す実施例のウォーターマークペイロードは、ドメインタイプ情報、サーバーURL情報、タイムスタンプ情報及び/又はトリガータイプ情報を含むことができる。実施例によって、同図のウォーターマークペイロードはオーディオ又はビデオウォーターマクとして活用されてもよい。ここで、ウォーターマークはWM(Watermark)と呼ぶこともできる。実施例によって、WMペイロードは50ビットのサイズを有することができ、WMシステムは、この50ビットを1.5秒ごとに伝達することができる。
ドメインタイプ情報は、当該WMペイロードのタイプを示すことができる。ドメインタイプ情報は、当該ペイロードのサーバーURL情報及びタイムスタンプ情報のサイズがどのように割り当てられているかを示すことができる。ドメインタイプ情報によって、サーバーURLフィールドが有するサーバーコードとタイムスタンプフィールドのインターバルコード間のユニークさの範囲(scope of uniquness)が互いにトレードオフ(trade off)されてもよい。ドメインタイプ情報は、フィールドのサイズの割り当てによって、当該ペイロードがスモール(small)ドメイン、ミディアム(medium)ドメイン、ラージ(large)ドメイン構造のうちいずれの構造を有するかを示すことができる。実施例によって、ドメインタイプ情報は1ビットのサイズを有することもでき、この場合、当該ペイロードがスモールドメイン、又はラージドメインのうちいずれの構造を有するかを示すことができる。
サーバーURL情報は、サーバーコードを含むことができる。このサーバーコードは、付加(supplementary)コンテンツの取得のための開始ポイント(starting point)として動作するサーバーを識別するための値であってもよい。サーバーURL情報又はサーバーコードは、付加コンテンツを取得できるインターネットアドレスやIPアドレス形式、又はこのようなアドレスとマップされる特定コードの形態であってもよい。サーバーURL情報が示すURLに接近して様々な付加コンテンツを取得することができる。
付加コンテンツは、現在MVPDから受信機に伝送されているサービス/コンテンツを超えて視聴者に提供可能なコンテンツを意味することができる。付加コンテンツは、サービス、コンテンツ、タイムライン、アプリケーションデータ、代替コンポーネント又はアプリケーション関連情報を含むことができる。付加コンテンツは、インタラクティブサービス情報と呼ぶこともできる。また、付加コンテンツには放送サービス/コンテンツに対するインタラクティブサービス提供のための、アプリケーション特性(property)情報が含まれてもよい。また、付加コンテンツには特定(specific)アプリケーションに対するイベント情報が含まれてもよい。ここで、イベント情報は、アプリケーションによって行われる動作(action)を開始させる(initiates)報知(notification)又はシグナリング情報であってもよい。
タイムスタンプ情報は、インターバルコードを含むことができる。このインターバルコードは、当該ペイロードが挿入された(embedded)、コンテンツのインターバルを識別するための値であってもよい。タイムスタンプ情報又はインターバルコードは、当該ペイロードが挿入されたインターバルを識別したり、当該WMパケット又はWMペイロードが挿入される伝送時点情報又は当該WMパケット又はWMペイロードが何番目のものであるかを識別することができる。何番目のものであるかを識別する場合には、WM間の時間間隔があらかじめ定められてもよい。実施例によってタイムスタンプ情報をインターバル情報と呼ぶこともできる。
トリガータイプ情報は、イベントがいつ利用可能であるかをシグナルすることができる。連続したWMペイロード内で当該トリガータイプ情報の値が変わるということは、イベントをイベントサーバーから利用可能/取得可能であるということを示すことができる。ここで、イベントは、前述したイベント情報であってもよい。ここで、イベントはダイナミックイベントであってもよい。ダイナミックイベントは、当該イベントの開始時間を、イベント開始時間にほぼ近接して(at the last minute)認知可能になる場合のイベントを意味することができる。例えば、ライブ放送サービスに対するイベント情報はダイナミックイベントであってもよい。ここで、イベントサーバーは、ダイナミックイベントサーバーであってHTTPサーバーであってもよい。実施例によって、トリガータイプ情報をクエリ情報、クエリフラグなどと呼ぶこともできる。
すなわち、トリガータイプ情報は、サーバーURL情報によるURLにアクセスする必要があるかを示すことができる。実施例によって、トリガータイプ情報は、URLにアクセスする場合、アプリケーション特性情報が得られるか、又はイベント情報が得られるかを示すことができる。イベント情報は、タイムセンシティブ(time sensitive)な情報であるから、アプリケーション特性情報などと区別する必要がある。タイムセンシティブでない情報を得るためにリソースを浪費し、必要なタイムセンシティブな情報を得られなくなることを防止するためである。また、実施例によって、トリガータイプ情報は、取得するアプリケーション特性情報に変更があるか否かも示すことができる。詳細な事項は後述する。
実施例によって、サーバーURL情報及びタイムスタンプ情報はそれぞれ、30ビット、17ビットのサイズを有するか(スモールドメインタイプ)、22ビット、25ビットのサイズを有するか(ミディアムドメインタイプ)、18ビット、29ビットのサイズを有することができる(ラージドメインタイプ)。実施例によってこの数値は変更されてもよい。ここで、スモールドメインの場合、約10億個のサーバーコードと約54.6時間のインターバルコードを有することができ、ミディアムドメインの場合、約420万個のサーバーコードと約1.59年のインターバルコードを有することができ、ラージドメインの場合、約262,144個のサーバーコードと約25.5年のインターバルコードを有することができる。
実施例によって、サーバーURL情報及びタイムスタンプ情報はそれぞれ、31ビット、17ビットのサイズを有するか(スモールドメインタイプ)、23ビット、25ビットのサイズを有することができる(ラージドメインタイプ)。ここで、ドメインタイプ情報は1ビット、トリガータイプ情報は1ビットのサイズを有することができる。実施例によってこの数値は変更されてもよい。
実施例によって、図示のWMペイロードのトリガータイプ情報は2ビットのサイズを有することもできる。トリガータイプ情報が00である場合、これは、サーバーURLに接近することによってアプリケーション特性情報を取得することができ、この特性情報は、前のWMのサーバーURLから得られる特性情報に比べて変更されていないことを意味することができる。トリガータイプ情報が01である場合、これは、サーバーURLに接近することによってアプリケーション特性情報を取得することができ、この特性情報は、前のWMのサーバーURLから得られる特性情報に比べて変更されていることを意味することができる。トリガータイプ情報が10である場合、これは、サーバーURLに接近することによってイベント情報を取得できることを意味することができる。トリガータイプ情報が11である場合は、将来の使用のために残すことができる。
実施例によって、トリガータイプ情報が2ビットと割り当てられる場合において、トリガータイプ情報の値が示す意味は変更されてもよい。例えば、トリガータイプ情報が00である場合、これは、このインターバルでサーバーに要求をすることによって取得できる追加的なアプリ、コンポーネント又は他の情報がないことを意味することができる。この場合、要求(クエリ)がサーバーに送られなくてもよい。トリガータイプ情報が01である場合、これは、このインターバルでサーバーに要求をすることによって取得できる追加的なアプリ、コンポーネント又は他の情報があり得ることを意味することができる。この場合、要求(クエリ)がサーバーに送られてもよい。トリガータイプ情報が10である場合、これは、サーバーURLに接近することによってイベント情報が取得できることを意味することができる。したがって、この場合、最近に要求したことがあっても、再び要求が行われる必要がある。トリガータイプ情報が11である場合は、将来の使用のために残すことができる。
実施例によって、前述したWMペイロードの構造を互いに組み合わせてもよい。また、実施例によって、前述したWMペイロードの各情報の割り当てられたサイズを互いに組み合わせてもよい。例えば、それぞれのスモール、ミディアム、ラージドメインによるサーバーURL情報及びタイムスタンプ情報のサイズに対して、1ビットであるトリガータイプ情報を組み合わせたり、2ビットであるトリガータイプ情報を組み合わせてもよい。また、それぞれの場合に対して、1ビットであるドメインタイプ情報を組み合わせたり、2ビットであるドメインタイプ情報を組み合わせてもよい。
図41は、本発明の一実施例に係る、サービス/コンテンツ情報を用いたウォーターマークペイロード構造の変形を示す図である。
前述したそれぞれのWMペイロード構造又は組み合わせ可能なそれぞれのWMペイロード構造ごとに、サービス情報及び/又はコンテンツ情報を追加して伝達することができる。ここで、サービス情報は、当該WMが挿入されたサービスに関連した情報であってもよい。このサービス情報は、サービスID又はチャネルIDの形態であってもよい。サービス情報がWMペイロードに含まれて伝達される場合、サーバーは、特定サービス/チャネルに対する付加コンテンツ(インタラクティブサービス)だけを選択的に提供することができる。また、視聴中のサービス/チャネルが変更される場合、前のサービス/チャネルのインタラクティブサービスが早速終了してもよい。ここで、コンテンツ情報は、当該WMが挿入されたコンテンツに関連した情報であってもよい。コンテンツ情報は、コンテンツIDの形態であってもよい。コンテンツ情報がWMペイロードに含まれて共に伝達される場合、サーバーは、特定コンテンツに対する付加コンテンツ(インタラクティブサービス)だけを選択的に提供することができる。
同図の実施例t502010では、前述したWMペイロード構造の1つに、サービス情報及び/又はコンテンツ情報が追加されている。同図の実施例t502020は、前述したWMペイロード構造を最小化した後に、サービス情報及び/又はコンテンツ情報を追加した場合である。この場合、ドメインタイプ情報は省略され、サーバーURL情報、タイムスタンプ情報及びトリガータイプ情報はそれぞれ18ビット、17ビット、2ビットのサイズを有するものとして縮小している。両実施例において、それぞれのサービス情報及びコンテンツ情報は関連放送システムによって任意のサイズ(x、yビット)を有することができる。実施例によって、両情報のうち1つだけを追加してもよい。
図42は、本発明の一実施例に係る、NSCフィールドを用いたウォーターマークペイロード構造の変形を示す図である。
前述したそれぞれのWMペイロード構造に変形を加えて、NSC(No Supplemental Content)フィールドを追加してもよい。NSCフィールドは、付加コンテンツが利用可能か否かを示すことができる。NSCフィールドは1ビットであり、フラグとして動作することができる。付加コンテンツについては前述した。
NSCフィールドのための1ビットは、前述したドメインタイプ情報のサイズを減らすことによって取得することができる。実施例によって、ドメインタイプ情報のサイズは1ビットに減らすことができる。前述したように、ドメインタイプ情報はWMペイロードのタイプを示すが、この場合、ドメインタイプ情報は、WMペイロードがスモールドメインであるか、ラージドメインであるかの2つの場合を示すことができる。すなわち、2タイプのドメインで十分であれば、ドメインタイプ情報の1ビットをNSCフィールドとして割り当てて、付加コンテンツを使用できるか否かを示すことができる。実施例によってドメインタイプ情報のサイズを減らすことなく、単純に、前述したWMペイロード構造にNSCフィールドを追加してもよい。
この実施例で、スモールドメインの場合、サーバーURLフィールドは22ビット、タイムスタンプフィールドは25ビットであってもよい。ラージドメインの場合、サーバーURLフィールドは18ビット、タイムスタンプフィールドは29ビットであってもよい。これは、スモールドメインの場合、約420万個のサーバーコードと約1.59年のインターバルコードを有することができ、ラージドメインの場合、約262,144個のサーバーコードと約25.5年のインターバルコードを有することができる。ここで、トリガータイプ情報は1ビット又は2ビットのサイズを有することができる。
WMペイロードの情報によって、受信機はサーバーに要求(query)を送ることができる。この要求を送る場合は、(1)受信機が初めてウォーターマーキングされたセグメントを受信(tuned)して要求する場合、(2)付加コンテンツの要求情報によって追加に要求を送る場合、(3)前述したトリガータイプ情報による対応として要求する場合、であってもよい。
NSCフィールドの追加によって、付加コンテンツがない場合には要求が行われなくてすむ。例えば、受信機が初めてウォーターマークを受信した場合に送る要求は行われなくてもよい。したがって、チャネルサーフィン(channel surfing)する場合において、NSCフィールドの追加は効率的である。また、サービス/コンテンツは、付加コンテンツがない場合にも、サービス使用(usage)報告のためにマーキング(ウォーターマーキング)されてもよいが、この場合にもNSCフィールド追加は効率的である。特に、保存&使用報告を伝達するメカニズムの場合にいっそう効率的であろう。すなわち、一般に、多量のコンテンツがマーキング(ウォーターマーキング)されているが、付加コンテンツはない場合などにおいて効率的であろう。また、SMPTEオープンIDの場合、継続してウォーターマーキングされたコンテンツが好ましいだろう。この場合、継続してマーキングされたコンテンツは、2つのSDOが共通WMソリューションを決定することに役立てることができる。
図43は、本発明の一実施例に係る、ビデオ−オーディオウォーターマーク間のリンキング(linking)のためのウォーターマークペイロード構造を示す図である。
本発明は一実施例として、ビデオWMとオーディオWMを同時に(simultaneously)挿入する方法を提案する。そのために、ビデオWMペイロードの一部をオーディオWMペイロードのために割り当てることができる。ビデオWMペイロード(例えば、30〜60バイト)の一部(例えば、50ビット)は、オーディオWMペイロードと重複する情報(duplicate)を搬送することができる。この重複する情報は、オーディオWMペイロードの情報と同じ情報であり、複写本であってもよい。
また、このビデオWMとオーディオWMとがシンクして伝送されてもよい。ビデオWMは、少なくとも1つのメッセージブロックを含むことができ、このメッセージブロックの一つは、該当の構造のWMペイロードを有することができる。この場合、そのサービス/コンテンツのオーディオに挿入されたオーディオWMは、ビデオWMと同じWMペイロードを有することができる。このとき、ビデオWMペイロードを伝達するメッセージブロックの最初のビデオフレームは、該当するオーディオWMの最初の部分とタイムアライン(time aligned)されてもよい。実施例によって、一定の誤差内で両者がタイムアラインされてもよい。実施例によって、メッセージブロックは、複数個のビデオフレームを含むことができ、このそれぞれのビデオフレームは、同じビデオWMペイロードを繰り返して(repeated)有することができる。実施例によって、逆に、オーディオWMペイロードの一部を割り当てて、ビデオWMペイロードの複写本を搬送するようにしてもよい。
例えば、ユーザがMVPD STB(Set top box)からESG(Electronic Service Guide)を持ってきてディスプレイさせる場合に問題が発生しうる。まず、オーディオWMだけが用いられる場合において、ESGがディスプレイされても、オーディオは継続して再生されうる。しかし、オーディオWMクライアントは、ESGがディスプレイされるという点に気付けないことがある。したがって、アプリケーションは継続して実行され、これによるグラフィックなどはESGに重なって妨害を与えうる。
また、ビデオWMだけが用いられる場合において、ESGがディスプレイされると、ビデオWMクライアントはWMが消えたと認知し、視聴者によってチャネルを変更されたと判断したり、インタラクティブイベントが終わったと判断しうる。このため、視聴者がチャネル変更すことなく、ESGを消して再びインタラクティブサービスを以前時点で再開しようとしても、関連アプリケーションはビデオWMクライアントによって終了している場合がありうる。
したがって、オーディオWMとビデオWMを直列的に(in tandem)使用することが効率的である。オーディオWMと違い、ビデオWMは受信機に、メインビデオが現在スクリーンにフォーカスされていない(ESGが用いられる場合など)と知らせることができる。また、ビデオWMと違い、オーディオWMは、ESGが用いられる間にも続けてWM情報を提供することができる。これによって、受信機は、ESG作動中にも、WM又は関連付加コンテンツに変更があるかをトラッキングすることができる。
したがって、ビデオWMによって、ESGがスクリーンに表示されていることが認知でき、オーディオWMによって、適切な受信機動作が継続してシームレスに行われることが可能である。例えば、アプリケーションがグラフィックを提供しない場合(例えばバックグラウンドアプリ)、ESGに関係なく継続して実行されてもよい。例えば、アプリケーションがグラフィックを提供する場合、ESGが消えるまで抑制(suppressed)されてもよい。例えば、アプリケーションがイベントを受けると、受信機は、それをESGが消えるまでバックグラウンドで処理することができる。すなわち、オーディオWMとビデオWMとをリンキングすることによって、この問題を解決することができる。
図44は、本発明の一実施例に係る、リンクされたビデオ−オーディオウォーターマークを用いた動作を示す図である。
まず、ユーザによってESGがスクリーンに表示される場合の動作を説明する。まず、オリジナルサービス/コンテンツが放送局からSTBなどのMVPDに受信されてもよい(t505010)。STB、ケーブルなどの外部入力ソースはそれを受信機に伝達することができる(t505020)。ここで、伝達されるAVコンテンツは非圧縮された(uncompressed)状態であり、リンクされたオーディオWMとビデオWMを有することができる。受信機は、オーディオWMとビデオWMを感知し、それによる動作を行うことができる。
ここで、ユーザがSTBのリモートコントローラでESGを要求することができる(t505030)。STBは、それに応じてTVスクリーンにESGを表示させることができる(t505040)。ESGは、再生中のAVコンテンツに重なってもよい。すると、TV受信機は、オーディオWMは感知するが、ビデオWMは感知できなくなる(t505050)。受信機は、メインビデオコンテンツがESGなどのその他のグラフィックによって覆われたことを認知し、リンクされたオーディオWMにアクセスして必要な動作をシームレスに行うことができる。
次に、ユーザがコンテンツを音消去(mute)させた場合の動作を説明する。AVコンテンツをSTBを介してTV受信機が受信する内容(t505010〜t505020)は、前述したとおりである。ここで、ユーザは、STBのリモートコントローラで音消去(mute)を要求することができる(t505030)。STBはそれに応じてAVコンテンツを音消去させることができる(t505040)。すると、TV受信機は、ビデオWMは感知するが、オーディオWMは感知できなくなる(t505050)。受信機は、メインオーディオコンテンツが音消去されたことを認知し、該当のオーディオWMペイロードデータを、リンクされたビデオWMペイロードから取得することができる。これによって、受信機は必要な動作をシームレスに行うことができる。
図45は、本発明の一実施例に係る放送コンテンツ処理方法を示す図である。
本発明の一実施例に係る放送コンテンツ処理方法は、外部入力ソースから放送コンテンツを受信する段階、放送コンテンツからオーディオ又はビデオウォーターマークを抽出する段階、ウォーターマークから生成されたURLで放送コンテンツの付加コンテンツを要求する段階、及び/又はサーバーから付加コンテンツを取得する段階を含むことができる。
まず、受信機の受信ユニットは、外部入力ソースから放送コンテンツを受信することができる。ここで、外部入力ソースは、STB、ケーブル、衛星などのMVPDを意味することができる。放送コンテンツは放送ストリームから誘導されたものであり、非圧縮された(uncompressed)AVコンテンツであってもよい。この放送コンテンツは、オーディオ及び/又はビデオコンポーネントを含み、このコンポーネントはそれぞれ、オーディオWM、ビデオWMが挿入されていてもよい。
受信機の抽出器は、放送コンテンツからオーディオWM、ビデオWMの少なくとも1つを抽出することができる。受信機のネットワークインタフェースは、オーディオ/ビデオWMから生成されたURLで特定されるサーバーに、付加コンテンツを要求することができる。付加コンテンツは、放送コンテンツに関連したものであり、その詳細な事項は前述した。URLは、WMペイロードのサーバーコード又はサーバーURL情報から誘導されたものであってもよい。ネットワークインタフェースは、サーバーから付加コンテンツを取得することができる。オーディオ/ビデオWMは、放送コンテンツに関連した補充(auxiliary)データの伝達に用いられてもよい。
本発明の他の実施例に係る放送コンテンツ処理方法において、オーディオWMのうち少なくとも1つのオーディオWMは、オーディオWMペイロードを含み、そのオーディオWMペイロードは、ドメインタイプ情報、サーバー情報、インターバル情報及び/又はクエリ(query)情報を含むことができる。これらの情報は順に、前述したドメインタイプ情報、サーバーURL情報、タイムスタンプ情報及び/又はトリガータイプ情報であってもよい。
本発明の他の実施例に係る放送コンテンツ処理方法において、ドメインタイプ情報は、オーディオWMペイロードのタイプを特定し、サーバー情報は、付加コンテンツの取得のためのサーバーを識別し、インターバル情報は、オーディオWMペイロードが挿入されたオーディオコンポーネントのインターバルを識別し、クエリ情報は、サーバーからイベントシグナリングが使用可能か否かをシグナルすることができる。これらの情報については詳細に前述した。イベントシグナリングは、アプリケーションの動作を開始する、前述したイベント情報に該当してもよい。
本発明の他の実施例に係る放送コンテンツ処理方法において、ビデオWMのうち少なくとも1つのビデオWMは、ビデオWMペイロードを含み、そのビデオWMペイロードは、オーディオWMペイロードと同じ情報を含む少なくとも1つのメッセージブロックを含むことができる。前述したように、ビデオWMペイロードはオーディオWMペイロードのための空間を割り当てて、これを含むことができる。
本発明の他の実施例に係る放送コンテンツ処理方法において、オーディオWMペイロードと同じ情報を含むビデオWMは、オーディオWMペイロードを運搬するオーディオWMとタイムアライン(time−aligned)されてもよい。オーディオ/ビデオWM間のリンクは詳細に前述した。
本発明の他の実施例に係る放送コンテンツ処理方法において、付加コンテンツにはディスコンポーネント(thisComponent)情報及び/又はアザーコンポーネント(otherComponent)情報を含むことができる。ディスコンポーネント情報は、該当の付加コンテンツを要求するために用いられた該当のWMペイロードが感知されたサービスコンポーネントに関する情報を記述することができる。該当のWMペイロードのサーバー情報/インターバル情報によって該当の付加コンテンツが要求されたものであってもよい。アザーコンポーネント情報は、ディスコンポーネント情報が記述するコンポーネント以外のコンポーネントのうち、該当のWMペイロードと一致するWMペイロードを有するコンポーネントについて記述することができる。このWMペイロードはビデオ又はオーディオWMであってもよい。
本発明の他の実施例に係る放送コンテンツ処理方法は、受信機の抽出器が、オーディオ又はビデオWMのいずれか一つが消えたことを認知する段階と、消えていない他のWMを該当のコンポーネントから抽出する段階とをさらに含むことができる。これは、前述した動作のように、ESGがスクリーンに表示されたり音消去される場合において、ビデオ又はオーディオWMが消えたことを認知し、同じペイロードを有するWMにアクセスしてシームレスに正常動作を行うためであってもよい。
本発明の一実施例に係る放送コンテンツ処理方法(伝送側)を説明する。この方法は図面に図示されていない。
本発明の一実施例に係る放送コンテンツ処理方法(伝送側)は、サービスデータ生成モジュールがビデオ/オーディオコンポーネントを有する放送サービスを生成する段階、WM挿入モジュールがビデオ/オーディオコンポーネントにビデオ/オーディオWMを挿入する段階、サービスデータ生成モジュールが放送サービスに関連したシグナリング情報を生成する段階、及び/又は伝送ユニットが放送サービスデータ及びシグナリング情報をMVPDに伝送する段階を含むことができる。実施例によって、サービスデータ生成モジュールが、放送サービスに対する付加コンテンツを生成し、これを付加コンテンツサーバーに伝達し、WM挿入モジュールがこのサーバー及び付加コンテンツに関連した情報をWMに含める段階をさらに含むことができる。
本発明の実施例による放送コンテンツ処理方法(伝送側)は、前述した本発明の実施例による放送コンテンツ処理方法に対応してもよい。放送コンテンツ処理方法(伝送側)は、前述した放送コンテンツ処理方法の実施例に対応する実施例を有することができる。
前述した段階は、実施例によって省略してもよく、類似/同一の動作を行う他の段階に置き換えてもよい。
図46は、本発明の一実施例に係る放送コンテンツ処理装置を示す図である。
本発明の一実施例に係る放送コンテンツ処理装置は、前述した受信ユニット、抽出器及び/又はネットワークインタフェースを含むことができる。それぞれのブロック、モジュールは、前述したとおりである。本発明の一実施例に係る放送コンテンツ処理装置及びその内部モジュール/ブロックは、前述した本発明の放送コンテンツ処理方法の実施例を実行することができる。
本発明の一実施例に係る放送コンテンツ処理装置(伝送側)を説明する。この装置は図示を省略した。本発明の一実施例に係る放送コンテンツ処理装置(伝送側)は、前述したサービスデータ生成モジュール、WM挿入モジュール及び/又は伝送ユニットを含むことができる。それぞれのブロック、モジュールは、前述したとおりである。本発明の一実施例に係る放送コンテンツ処理装置(伝送側)及びその内部モジュール/ブロックは、前述した本発明の放送コンテンツ処理方法(伝送側)の実施例を実行することができる。
前述した装置の内部のブロック/モジュールなどは、メモリに保存された連続した手続を実行するプロセッサであり、実施例によって装置の内/外部に設けられるハードウェアエレメントであってもよい。前述したモジュールは、実施例によって省略してもよく、類似/同一の動作を行う他のモジュールに置き換えてもよい。
モジュール又はユニットは、メモリ(又は記憶ユニット)に格納された連続した手続を実行するプロセッサであってもよい。前述した実施例に記述された各段階は、ハードウェア/プロセッサによって行われてもよい。前述した実施例に記述された各モジュール/ブロック/ユニットは、ハードウェア/プロセッサとして動作することができる。また、本発明が提示する方法はコードとして実行されてもよい。このコードは、プロセッサが読み取り可能な記憶媒体に書き込まれてもよく、よって、装置(apparatus)の提供するプロセッサによって読み取られてもよい。
説明の便宜のために各図に分けて説明したが、各図に示した実施例を併合して新しい実施例を具現するように設計してもよい。そして、通常の技術者の必要によって、以前に説明された実施例を実行するためのプログラムが記録されているコンピュータで読み取り可能な記録媒体を設計することも、本発明の権利範囲に属する。
本発明に係る装置及び方法は、上述したように、説明された実施例の構成及び方法が限定的に適用されるものではなく、上述した実施例の様々な変形が可能なように、各実施例の全て又は一部を選択的に組み合わせて構成することもできる。
一方、本発明が提案する方法を、ネットワークデバイスに具備された、プロセッサが読み取り可能な記録媒体に、プロセッサが読み取り可能なコードとして具現することもできる。プロセッサが読み取り可能な記録媒体は、プロセッサで読み出し可能なデータが格納されるいかなる種類の記録装置をも含む。プロセッサが読み取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で具現されるものも含む。また、プロセッサが読み取り可能な記録媒体は、ネットワークに接続されたコンピュータシステムに分散され、分散方式によって、プロセッサが読み取り可能なコードを記憶して実行してもよい。
また、以上では本発明の好適な実施例について図示及び説明したが、本発明は、上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨から逸脱しない限度内で、当該発明の属する技術の分野における通常の知識を有する者にとって様々な変形実施が可能であることは勿論であり、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはならない。
そして、当該明細書では、物の発明と方法の発明が説明されており、必要によって両発明の説明を補充的に適用してもよい。
本発明の思想や範囲から逸脱することなく、当業者にとって本発明の様々な変更及び変形が可能であることは明らかである。したがって、本発明は、添付の請求項及びその同等範囲内で提供される本発明の変更及び変形を含むものとして意図される。
本明細書では装置の発明及び方法の発明を両方とも言及しており、装置の発明及び方法の発明の説明を互いに補完して適用することもできる。
様々な実施例を、本発明を実施するための形態で説明した。
本発明は一連の放送信号提供分野で利用される。
本発明の思想や範囲から逸脱することなく、本発明で様々な変更及び変形が可能であることは当業者には自明である。したがって、本発明は、添付の請求項及びその同等範囲内で提供される本発明の変更及び変形を含むものとして意図される。

Claims (6)

  1. 外部入力ソースから放送コンテンツを受信するステップであって、前記放送コンテンツは、ビデオウォーターマークが挿入された(embedded)ビデオコンポーネント、及びオーディオウォーターマークが挿入されたオーディオコンポーネントを含む、ステップと、
    前記放送コンテンツから前記オーディオウォーターマーク又は前記ビデオウォーターマークの少なくとも1つを抽出するステップと、
    前記オーディオウォーターマーク又は前記ビデオウォーターマークのペイロードから生成されたURLによって特定されるサーバーに前記放送コンテンツの付加(supplementary)コンテンツを要求するステップと、
    前記サーバーから前記付加コンテンツを取得するステップと、
    を有し、
    前記オーディオウォーターマークは、ドメインタイプフィールド、サーバーフィールド、インターバルフィールド及びクエリフィールドを有する前記ペイロードを含み、前記ドメインタイプフィールドは、前記サーバーフィールド及び前記インターバルフィールドのビット割当てを特定し、前記サーバーフィールドは、前記付加コンテンツの取得のための前記サーバーを識別し、前記インターバルフィールドは、前記ペイロードを有する前記オーディオウォーターマークが挿入された前記放送コンテンツのインターバルを識別し、前記クエリフィールドは、前記サーバーからイベントシグナリングが使用可能なときにシグナルし、前記イベントシグナリングは、アプリケーションにより行われる動作を開始し、
    前記ビデオウォーターマークは、前記オーディオウォーターマーク内の前記ペイロードと同じ情報を有するペイロードを含み、前記ビデオウォーターマークは、前記ペイロードを有する前記オーディオウォーターマークとタイムアラインされる、放送コンテンツ処理方法。
  2. 前記ペイロードは、50ビットのサイズを有し、前記サーバーフィールド及び前記インターバルフィールドは、前記50ビット内のサイズで変動する、請求項1に記載の放送コンテンツ処理方法。
  3. 前記放送コンテンツ処理方法は、
    前記オーディオウォーターマーク又は前記ビデオウォーターマークの一方が消えたことを認知するステップと、
    前記オーディオウォーターマーク又は前記ビデオウォーターマークの他方を前記放送コンテンツから抽出するステップと、
    をさらに有する、請求項に記載の放送コンテンツ処理方法。
  4. 外部入力ソースから放送コンテンツを受信する受信ユニットであって、前記放送コンテンツは、ビデオウォーターマークが挿入された(embedded)ビデオコンポーネント、及びオーディオウォーターマークが挿入されたオーディオコンポーネントを含む、受信ユニットと、
    前記放送コンテンツから前記オーディオウォーターマーク又は前記ビデオウォーターマークの少なくとも1つを抽出する抽出器と、
    前記オーディオウォーターマーク又は前記ビデオウォーターマークのペイロードから生成されたURLによって特定されるサーバーに前記放送コンテンツの付加(supplementary)コンテンツを要求するネットワークインタフェースと、
    を備え、
    前記ネットワークインタフェースは、前記サーバーから前記付加コンテンツを取得し、
    前記オーディオウォーターマークは、ドメインタイプフィールド、サーバーフィールド、インターバルフィールド及びクエリフィールドを有する前記ペイロードを含み、前記ドメインタイプフィールドは、前記サーバーフィールド及び前記インターバルフィールドのビット割当てを特定し、前記サーバーフィールドは、前記付加コンテンツの取得のための前記サーバーを識別し、前記インターバルフィールドは、前記ペイロードを有する前記オーディオウォーターマークが挿入された前記放送コンテンツのインターバルを識別し、前記クエリフィールドは、前記サーバーからイベントシグナリングが使用可能なときにシグナルし、前記イベントシグナリングは、アプリケーションにより行われる動作を開始し、
    前記ビデオウォーターマークは、前記オーディオウォーターマーク内の前記ペイロードと同じ情報を有するペイロードを含み、前記ビデオウォーターマークは、前記ペイロードを有する前記オーディオウォーターマークとタイムアラインされる、放送コンテンツ処理装置。
  5. 前記ペイロードは、50ビットのサイズを有し、前記サーバーフィールド及び前記インターバルフィールドは、前記50ビット内のサイズで変動する、請求項に記載の放送コンテンツ処理装置。
  6. 前記抽出器は、前記オーディオウォーターマーク又は前記ビデオウォーターマークの一方が消えたことを認知、前記オーディオウォーターマーク又は前記ビデオウォーターマークの他方を前記放送コンテンツから抽出する、請求項に記載の放送コンテンツ処理装置。
JP2016555355A 2015-04-23 2016-04-21 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法 Expired - Fee Related JP6294503B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562151447P 2015-04-23 2015-04-23
US62/151,447 2015-04-23
US201562152037P 2015-04-24 2015-04-24
US62/152,037 2015-04-24
US201562154733P 2015-04-30 2015-04-30
US201562155445P 2015-04-30 2015-04-30
US62/155,445 2015-04-30
US62/154,733 2015-04-30
PCT/KR2016/004174 WO2016171496A1 (ko) 2015-04-23 2016-04-21 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Publications (2)

Publication Number Publication Date
JP2017522742A JP2017522742A (ja) 2017-08-10
JP6294503B2 true JP6294503B2 (ja) 2018-03-14

Family

ID=57143334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016555355A Expired - Fee Related JP6294503B2 (ja) 2015-04-23 2016-04-21 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法

Country Status (6)

Country Link
US (1) US20170078765A1 (ja)
EP (1) EP3288277A4 (ja)
JP (1) JP6294503B2 (ja)
KR (2) KR101838084B1 (ja)
CN (1) CN106304851A (ja)
WO (1) WO2016171496A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107852530B (zh) * 2015-07-06 2021-07-09 Lg电子株式会社 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法
US20190253739A1 (en) * 2016-11-04 2019-08-15 Sharp Kabushiki Kaisha Dynamic event signaling
KR102514752B1 (ko) * 2017-03-14 2023-03-28 소니 세미컨덕터 솔루션즈 가부시키가이샤 송신 장치, 수신 장치 및 데이터 처리 방법
JP2019106592A (ja) * 2017-12-11 2019-06-27 トヨタ自動車株式会社 情報提供装置及び情報提供方法
KR20200021280A (ko) * 2018-08-20 2020-02-28 (주)스마일게이트스토브 게임 아이템의 구매를 위한 서버, 컨텐츠 제공자 단말 및 시청자 단말
US11356747B2 (en) * 2018-12-21 2022-06-07 The Nielsen Company (Us), Llc Apparatus and methods to associate different watermarks detected in media
WO2020259604A1 (zh) * 2019-06-28 2020-12-30 海信视像科技股份有限公司 数字内容发送装置、发送方法、数字内容接收装置、接收方法
CN110267062B (zh) * 2019-07-26 2022-07-08 深圳Tcl新技术有限公司 拼装视频帧的优化方法、装置及可读存储介质
KR102457065B1 (ko) 2021-02-18 2022-10-20 주식회사 엘지유플러스 컨텐츠 제공 서버 및 그 제어 방법, 컨텐츠 제공 방법 및 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US7644282B2 (en) * 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
JP2001292427A (ja) * 2000-04-06 2001-10-19 Nippon Television Network Corp コンテンツの連動方法、及びそのシステム
US7133534B2 (en) * 2002-09-03 2006-11-07 Koninklijke Philips Electronics N.V. Copy protection via redundant watermark encoding
US7970899B2 (en) 2006-03-03 2011-06-28 Barracuda Networks Inc Integrated data flow packet admission and traffic management apparatus
WO2008141169A1 (en) 2007-05-09 2008-11-20 Entropic Communications, Inc. Aggregating network packets for transmission to a destination node
KR100902887B1 (ko) * 2008-10-17 2009-06-16 주식회사 씨케이앤비 디지털 영상 장치의 영상 왜곡 판단 테스트 자동화 시스템
EP2257067A1 (en) * 2009-05-29 2010-12-01 Thomson Licensing Method for inserting watermark assistance data in a bitstream, method of watermarking said bitstream, device implementing the method of watermarking and bitstream comprising the watermark assistance data
GB2508451B (en) * 2010-12-26 2017-05-03 Lg Electronics Inc Broadcast service transmitting method, broadcast service receiving method and broadcast service receiving apparatus
KR101695514B1 (ko) * 2011-05-24 2017-01-11 엘지전자 주식회사 방송 서비스 전송 방법, 그 수신 장치 및 그 수신 장치의 부가 서비스 처리 방법
KR101995425B1 (ko) * 2011-08-21 2019-07-02 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
CA2851607C (en) * 2011-10-20 2018-02-06 Lg Electronics Inc. Broadcast service receiving method and broadcast service receiving apparatus
WO2014007571A1 (en) * 2012-07-05 2014-01-09 Lg Electronics Inc. Method and apparatus for processing digital service signals
JP6193993B2 (ja) * 2012-07-16 2017-09-06 エルジー エレクトロニクス インコーポレイティド デジタルサービス信号処理方法及び装置
US9286912B2 (en) * 2012-09-26 2016-03-15 The Nielsen Company (Us), Llc Methods and apparatus for identifying media
KR102113503B1 (ko) * 2013-08-26 2020-06-05 삼성전자주식회사 전자 장치 및 전자 장치에서 컨텐츠 제공 방법
WO2015138798A1 (en) * 2014-03-13 2015-09-17 Verance Corporation Interactive content acquisition using embedded codes

Also Published As

Publication number Publication date
JP2017522742A (ja) 2017-08-10
KR101838084B1 (ko) 2018-03-13
WO2016171496A1 (ko) 2016-10-27
KR20160137954A (ko) 2016-12-02
EP3288277A1 (en) 2018-02-28
US20170078765A1 (en) 2017-03-16
KR101805538B1 (ko) 2017-12-07
CN106304851A (zh) 2017-01-04
EP3288277A4 (en) 2018-09-12
KR20170136006A (ko) 2017-12-08

Similar Documents

Publication Publication Date Title
JP6294503B2 (ja) 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
US10939145B2 (en) Broadcasting signal transmission device, broadcasting signal reception device, broadcasting signal transmission method, and broadcasting signal reception method
JP6193993B2 (ja) デジタルサービス信号処理方法及び装置
US9912971B2 (en) Apparatus and method for processing an interactive service
JP6290935B2 (ja) 映像表示装置及びその動作方法
US9398341B2 (en) Apparatus and method for processing an interactive service
CA2851888C (en) Method of processing non-real time service and broadcast receiver
KR20140125766A (ko) 영상 표시 장치 및 그 동작 방법
US20170164071A1 (en) Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method, and broadcast signal reception method
US10171852B2 (en) Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
KR101666246B1 (ko) 메타데이터 우선제공 증강방송 장치 및 방법
KR102263146B1 (ko) 영상 표시 장치 및 그 동작 방법
US20180359495A1 (en) Apparatus for broadcast signal transmission, apparatus for broadcast signal reception, method for broadcast signal transmission, and method for broadcast signal reception

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180215

R150 Certificate of patent or registration of utility model

Ref document number: 6294503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees