JP6294238B2 - 映像表示装置及びその動作方法 - Google Patents

映像表示装置及びその動作方法 Download PDF

Info

Publication number
JP6294238B2
JP6294238B2 JP2014556480A JP2014556480A JP6294238B2 JP 6294238 B2 JP6294238 B2 JP 6294238B2 JP 2014556480 A JP2014556480 A JP 2014556480A JP 2014556480 A JP2014556480 A JP 2014556480A JP 6294238 B2 JP6294238 B2 JP 6294238B2
Authority
JP
Japan
Prior art keywords
information
content
fingerprint
video
video display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014556480A
Other languages
English (en)
Other versions
JP2015512198A (ja
JP2015512198A5 (ja
Inventor
キョンス ムン
キョンス ムン
サンヒュン キム
サンヒュン キム
チンピル キム
チンピル キム
エッティエ チ
エッティエ チ
チュンフイ リ
チュンフイ リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2015512198A publication Critical patent/JP2015512198A/ja
Publication of JP2015512198A5 publication Critical patent/JP2015512198A5/ja
Application granted granted Critical
Publication of JP6294238B2 publication Critical patent/JP6294238B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/237—Communication with additional data server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Description

本発明は、映像表示装置及びその動作方法に関するものである。
デジタル放送が活性化されるにつれ、放送局はメイン視聴覚コンテンツを送出しながら、このメイン視聴覚コンテンツと連携して利用可能であるかこのメイン視聴覚コンテンツとは独立的な付加サービスデータ（ｅｎｈａｎｃｅｄ ｓｅｒｖｉｃｅ ｄａｔａ）を共に送出する。
しかし、現在の放送環境では各家庭の映像表示装置が放送信号を地上波を介して直接受信する場合が少ない。逆に各家庭の映像表示装置はセットトップボックスのような放送受信装置に連結されており、この放送受信装置が提供する非圧縮視聴覚コンテンツを再生する場合が多い。
一方、放送受信装置はマルチチャネルビデオ分配者（ｍｕｌｔｉｃｈａｎｎｅｌ ｖｉｄｅｏ ｐｒｏｍｇｒａｍｍｉｎｇ ｄｉｓｔｒｉｂｕｔｏｒ，ＭＶＰＤ）と称するサーバからコンテンツを提供される。このマルチチャネルビデオ分配者は放送局から放送信号を受信し、受信した放送信号からコンテンツを抽出した後、自らが送出するに適合した形態の信号に変換して変換された信号を放送受信装置に提供する。この過程で、マルチチャネルビデオ分配者は抽出した付加サービスデータを除外してもよく、他の付加サービスデーアを追加してもよいため、放送受信装置はＭＰＶＤに従属された付加サービスを提供されるしかない。
放送受信装置も同じくマルチチャネルビデオ分配者から受信した信号からメイン視聴覚データを抽出して非圧縮視聴覚データのみを映像表示装置に提供するため、放送受信装置の統制下の付加サービスのみ利用することができ、映像表示装置統制下の付加サービスは行われることができない。
本発明は正確なコンテンツ識別を可能にする映像表示装置とその動作方法を提供するためのものである。
本発明の一実施例は映像表示装置の動作方法に関するものであり、ディスプレー部を含む映像表示装置の動作方法において、非圧縮視聴覚コンテンツを獲得するステップと、前記ディスプレー部を介して前記非圧縮視聴覚コンテンツを再生するステップと、前記非圧縮視聴覚コンテンツの一部に基づいて前記一部のビデオ特徴情報、オーディオ特徴情報のうち少なくとも一つを抽出するステップと、前記ビデオ特徴情報、前記オーディオ特徴情報のうち少なくとも一つを含む問合せに対する応答を介して前記非圧縮視聴覚コンテンツのコンテンツ情報を獲得するステップと、前記コンテンツ情報に基づいて付加サービスを獲得するステップと、前記ディスプレー部を介して前記付加サービスを再生するステップと、を含む。
本発明の他の実施例において、映像表示装置は、ディスプレー部と、非圧縮視聴覚コンテンツを獲得する受信部と、前記非圧縮視聴覚コンテンツの一部に基づいて前記一部のビデオ特徴情報、オーディオ特徴情報のうち少なくとも一つを抽出し、前記ビデオ特徴情報、前記オーディオ特徴情報のうち少なくとも一つを含む問合せに対する応答を介して前記非圧縮視聴覚コンテンツのコンテンツ情報を獲得し、前記コンテンツ情報に基づいて付加サービスを獲得する付加サービス管理部と、前記非圧縮視聴覚コンテンツと前記付加サービスを前記ディスプレー部に再生する再生制御部と、を含む。
本発明の実施例は映像表示装置で再生されるコンテンツがオーディオ信号を含まないか、複数のオーディオ信号を含む場合にもビデオ特徴情報に基づいて該当コンテンツを識別することができる。
また、本発明の実施例によると、同じプログラムが互いに異なるチャネルから送出される場合にも放送局のロゴなどのビデオ特徴情報に基づいて該当コンテンツを識別することができる。
また、本発明の実施例によると、該当コンテンツのビデオ映像にセットトップボックスのオンスクリーンディスプレーが重なる場合にはオーディオ特徴情報又はサンプリングウィンドウに基づいて該当コンテンツを識別することができる。
本発明の一実施例によるネットワークトポロジーを示すブロック図である。 本発明の一実施例によるウォーターマークに基づくネットワークトポロジーを示すブロック図である。 本発明の一実施例によるウォーターマークに基づくネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。 本発明の一実施例によるウォーターマークに基づくコンテンツの認識タイミングを示す図である。 本発明の一実施例によるフィンガープリントに基づくネットワークトポロジーを示す図である。 本発明の一実施例によるフィンガープリントに基づくネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。 本発明の一実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラム（ｓｃｈｅｍａ ｄｉａｇｒａｍ）である。 本発明の一実施例によるウォーターマークとフィンガープリントに基づいたネットワークトポロジーを示すブロック図である。 本発明の一実施例によるウォーターマークとフィンガープリントに基づくネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。 本発明の一実施例による映像表示装置の構造を示すブロック図である。 本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示すフローチャートである。 本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示す概念図である。 本発明の実施例による自動再生アプリケーションの実行画面を示す図である。 本発明の実施例によるコンテンツ提供者アプリケーションの実行画面を示す図である。 本発明の実施例によるＡＣＲ機能を制御するためのユーザインタフェースを示す図である。 本発明の一実施例による映像表示装置の動作方法を示すフローチャートである。 本発明の実施例によるネットワークトポロジーを示す図である。 本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを示す図である。 本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを実行する方法を示す図である。 本発明の実施例によるＬｉｖｅ＋アプリケーションのタブの機能を示す図である。 本発明の一実施例による第三者サーバ９０のアーキテクチャを示す図である。 本発明の実施例による自動実行アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。 本発明の一実施例によるチャネル−独立アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。 本発明の他の実施例によるチャネル−独立アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。 本発明の実施例による映像表示装置の概念図である。 本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジーを示すブロック図である。 本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジーを示すブロック図である。 本発明の他の実施例によるフィンガープリントに基づく映像表示装置の構造を示すブロック図である。 本発明の実施例によるフィンガープリント機能を制御するためのユーザインタフェースを示す図である。 本発明の一実施例によるフィンガープリント周期の変化を説明するための図である。 本発明の他の実施例によるフィンガープリント周期の変化を説明するための図である。 本発明の一実施例によるフィンガープリントに基づくネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアグラムである。 本発明の他の実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。 本発明の一実施例によるフィンガープリントに基づくネットワークトポロジーに含まれた複数の映像表示装置それぞれのフィンガープリント周期の変化を説明するための図である。 本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアグラムである。 本発明の他の実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。 本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアグラムである。 本発明の他の実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。 本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアグラムである。 本発明の他の実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。 本発明の他の実施例によるフィンガープリントに基づく映像表示装置の構造を示すブロック図である。 本発明の他の実施例によるウォーターマークに基づく映像表示装置の構造を示すブロック図である。
以下、本発明に関する移動端末機について図面を参照してより詳細に説明する。以下の説明で使用される構成要素に対する接尾語である「エンジン」、「モジュール」及び「部」は明細書を容易に作成するためにのみ付与されるか混用されるものであり、それ自体で互いに区別される意味又は役割を有するものではない。
以下、図１乃至図９を参照して本発明の一実施例によるネットワークトポロジーを説明する。
図１は、本発明の一実施例によるネットワークトポロジーを示すブロック図である。
図１に示したように、本発明の一実施例によるネットワークトポロジーはコンテンツ提供サーバ１０、コンテンツ認識サービス提供サーバ２０、マルチチャネルビデオ分配サーバ３０、付加サービス情報提供サーバ４０、複数の付加サービス提供サーバ５０、放送受信装置６０、ネットワーク７０、映像表示装置１００を含む。
コンテンツ提供サーバ１０は放送局などに当たり、メイン視聴覚コンテンツ（ｍａｉｎ ａｕｄｉｏ−ｖｉｓｕａｌ ｃｏｎｔｅｎｔ）を含む放送信号を放送する。放送信号は付加サービスを更に含んでもよく、付加サービスはメイン視聴覚コンテンツに関してもよく、関してなくてもよい。付加サービスはサービス情報（ｓｅｒｖｉｃｅ ｉｎｆｏｒｍａｔｉｏｎ）、メタデータ（ｍｅｔａｄａｔａ）、付加データ、コンパイルされた実行ファイル、ウェブアプリケーション、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）文書、ＸＭＬ文書、ＣＳＳ（ｃａｓｃａｄｉｎｇ ｓｔｙｌｅ ｓｈｅｅｔ）文書、オーディオファイル、ビデオファイル、ＡＴＳＣ２．０コンテンツ、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）のようなアドレスなどの形態を有する。一つ以上のコンテンツ提供サーバが存在する。
コンテンツ認識サービス提供サーバ２０は映像表示装置１００がメイン視聴覚コンテンツに基づいてコンテンツを認識可能にするコンテンツ認識サービスを提供する。コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツに修正を加えてもよく、修正を加えなくてもよい。一つ以上のコンテンツ認識サービス提供サーバが存在する。
コンテンツ認識サービス提供サーバ２０は、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような見えるウォーターマーク（ｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋ）を挿入するウォーターマークサーバであってもよい。このウォーターマークサーバはメイン視聴覚コンテンツの各フレームの左上又は右上にコンテンツ提供者のロゴをウォーターマーキングする。
また、コンテンツ認識サービス提供サーバ２０は、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を見えないウォーターマーク（ｉｎｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋ）として挿入するウォーターマークサーバであってもよい。
また、コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツの一部のフレーム又は一部のオーディオサンプルから特定情報を抽出して記憶するフィンガープリントサーバであってもよい。この特徴情報はシグネチャとも称する。
マルチチャネルビデオ分配サーバ３０は、複数の放送局から放送信号を受信し多重化して多重化された信号を放送受信装置６０に提供する。特に、マルチチャネルビデオ分配サーバ３０は受信した放送信号について復調とチャネル復号化を行ってメイン視聴覚コンテンツと付加サービスを抽出した後、抽出したメイン視聴覚コンテンツと抽出した付加サービスについてチャネル符号化を行って分配のための多重化信号を生成する。この際、マルチチャネルビデオ分配サーバ３０は抽出した付加サービスデータを除外してもよく、他の付加サービスデータを追加してもよいため、放送局は放送局が主導するサービスを提供することができない。一つ以上のマルチチャネルビデオ分配サーバが存在する。
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信して、受信した信号に対して復調とチャネル復号を行ってメイン視聴覚コンテンツを抽出する。そして、放送受信装置６０は抽出したメイン視聴覚コンテンツをＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｄｏｌｂｙ ＡＣ−３、ＭＰＥＧ−２ ＡＡＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）アルゴリズムなどを利用して復号し、非圧縮メイン視聴覚コンテンツ（ｕｎｃｏｍｐｒｅｓｓｅｄ ｍａｉｎ ＡＶ ｃｏｎｔｅｎｔ）を生成する。放送受信装置６０は生成した非圧縮メイン視聴覚コンテンツを映像表示装置１００の外部入力ポートなどを介して映像表示装置１００に提供する。
付加サービス情報提供サーバ４０は、映像表示装置１００の要求に応答してメイン視聴覚コンテンツに関する一つ以上の利用可能な付加サービスのための付加サービス情報を提供する。一つ以上の付加サービスアドレス提供サーバが存在する。付加サービス情報提供サーバ４０は、複数の利用可能な付加サービスのうちから最も優先順位が高い付加サービスのための付加サービス情報を提供してもよい。
付加サービス提供サーバ５０は、映像表示装置１００の要求に応答してメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供する。一つ以上の付加サービス提供サーバが存在する。
映像表示装置１００はテレビ、ノートブックコンピュータ、携帯電話、スマートフォンなどのようなディスプレー装置である。映像表示装置１００は放送受信装置６０から非圧縮メイン視聴覚コンテンツを受信してもよく、コンテンツ提供サーバ１０又はマルチチャネルビデオ分配サーバ３０から符号化されたメイン視聴覚コンテンツを含む放送信号を受信してもよい。映像表示装置１００はネットワーク７０を介してコンテンツ認識提供サーバ２０からコンテンツ認識サービスを提供され、ネットワーク７０を介して付加サービス情報提供サーバ４０からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスのアドレスを受信し、付加サービス提供サーバ５０からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供される。
コンテンツ提供サーバ１０、コンテンツ認識サービス提供サーバ２０、マルチチャネルビデオ分配サーバ３０、付加サービス情報提供サーバ４０、複数の付加サービス提供サーバ５０のうち２つ以上は一つのサーバの形態で結合されてもよく、一つの事業者によって運営されてもよい。
図２は、本発明の一実施例によるウォーターマークに基づいたネットワークトポロジーを示すブロック図である。
図２に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ２１を更に含む。
図２に示したようなウォーターマークサーバ２１はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を挿入する。マルチチャネルビデオ分配サーバ３０は変形されたメイン視聴覚コンテンツを含む放送信号を受信して分配する。特に、ウォーターマークサーバは以下で説明するようなデジタルウォーターマーキング技術を利用する。
デジタルウォーターマークとは、削除しにくい方法でデジタル信号に情報を挿入するプロセスである。例えば、デジタル信号はオーディオ、写真又はビデオである。このデジタル信号が複写されると、挿入された情報も写本に含まれる。あるデジタル信号が同時に多数個の他のウォーターマークを運搬してもよい。
見えるウォーターマーキング（ｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋｉｎｇ）において、挿入される情報は写真又はビデオにおいて目で識別可能である。典型的には、挿入された情報はメディアの所有者を識別するテキスト又はロゴである。テレビ局が自らのロゴを伝送されるビデオのコーナーに追加すると、これが目で識別可能なウォーターマークとなる。
目で識別不可能なウォーターマーキング（ｉｎｖｉｓｉｂｌｅ ｗａｔｅｒｍａｒｋｉｎｇ）で情報はデジタルデータであってオーディオ、写真又はビデオに追加されるが、一定量の情報が隠されていることを感知することはできてもそのような情報を認知することはできない。このような目で識別不可能なウォーターマーキングを介して秘密メッセージが伝達されてもよい。
ウォーターマーキングの一応用は、デジタルメディアの不法複製を防止するための著作権保護システムにある。例えば、複製装置はデジタルメディアが複製される前にデジタルメディアからウォーターマークを得てウォーターマークの内容に基づいて複製するのか否かを決定する。
ウォーターマーキングの他の応用は、デジタルメディアの出所の追跡にある。配布経路上の各地点でウォーターマークがデジタルメディアにインベーディングされる。後にこのようなデジタルメディアが発見されるとこのデジタルメディアからウォーターマークが抽出され、ウォーターマークの内容から配布の出所を把握することができる。
デジタルメディアに対する説明が目で識別不可能なウォーターマーキングの他の応用である。
デジタルメディアのためのファイルフォーマットはメタデータという追加的な情報を含むが、デジタルウォーターマークはデジタルメディアの視聴覚信号自体として伝達される点からメタデータとは区別される。
ウォーターマーキング方法としてはスプレッドスペクトル、量子化、振幅変調がある。
マーキングされる信号が追加的な修正によって得られるのであれば、ウォーターマーキング方法はスプレッドスペクトルに当たる。スプレッドスペクトルウォーターマークはかなり強いと知られているが、ウォーターマークがインバーディングされるホスト信号に干渉を与えるため多くの情報が載せられることはない。
マーキングされる信号が量子化によって得られるのであれば、ウォーターマーキング方法は量子化タイプに当たる。量子化ウォータマークの強靭性は低いが、かなり多くの情報が載せられる。
マーキングされる信号が空間ドメインからスプレッドスペクトルと類似した追加の修正方法によって得られるのであれば、ウォーターマーキング方法は振幅変調に当たる。
図３は、本発明の一実施例によるウォーターマークに基づいたネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ１０１。
ウォーターマークサーバ２１はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような見えるウォーターマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を見えないウォーターマークとして挿入し、ウォーターマーキングされた視聴覚コンテンツと付加サービスをＭＶＰＤ３０に提供するＳ１０３。
見えないウォーターマークを介して挿入されるウォーターマーク情報はウォーターマークの用途、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。ウォーターマークの用途は無断複製の防止、視聴率の調査、付加サービスの獲得のうち一つを示す。
コンテンツ情報はメイン視聴覚コンテンツを提供するコンテンツ提供者の識別情報、メイン視聴覚コンテンツ識別情報、メイン視聴覚コンテンツ等級情報、コンテンツ情報獲得に使用されたコンテンツ区間の時間情報、メイン視聴覚コンテンツが放送されるチャネルの名前、メイン視聴覚コンテンツが放送されるチャネルのロゴ、メイン視聴覚コンテンツが放送されるチャネルの説明、メイン視聴覚コンテンツに関して利用可能な付加サービス情報のうち一つ以上を含む。
映像表示装置１００がコンテンツ情報の獲得のためにウォーターマークを利用したのであれば、コンテンツ情報獲得に使用されたコンテンツ区間の時間情報は利用されたウォーターマークが内挿（ｅｍｂｅｄｄｉｎｇ）されたコンテンツ区間の時間情報である。映像表示装置１００がコンテンツ情報の獲得のためにフィンガープリントを利用したのであれば、コンテンツ情報獲得に使用されたコンテンツ区間の時間情報は特徴情報が抽出されたコンテンツ区間の時間情報である。コンテンツ情報獲得に使用されたコンテンツ区間の時間情報はコンテンツ情報獲得に使用されたコンテンツ区間の開始時間、コンテンツ情報獲得に使用されたコンテンツ区間の持続時間（ｄｕｒａｔｉｏｎ）、コンテンツ情報獲得に使用されたコンテンツ区間の終了時間のうち一つ以上を含む。
利用情報報告アドレスはメイン視聴覚コンテンツ視聴情報報告アドレス、付加サービス利用情報報告アドレスのうち一つ以上を含む。利用情報報告周期はメイン視聴覚コンテンツ視聴情報報告周期、付加サービス利用情報報告周期のうち一つ以上を含む。利用情報獲得のための最小利用時間はメイン視聴覚コンテンツ視聴情報獲得のための最小視聴時間、付加サービス利用情報抽出のための最小使用時間のうち一つ以上を含む。
メイン視聴覚コンテンツが最小視聴時間以上視聴された場合に基づいて映像表示装置１００はメイン視聴覚コンテンツの視聴情報を獲得し、メイン視聴覚コンテンツ視聴情報報告周期でメイン視聴覚コンテンツ視聴情報報告アドレスを抽出した視聴情報を報告する。
付加サービスが最小使用時間以上使用された場合に基づいて映像表示装置１００は付加サービス利用情報を獲得し、付加サービス利用情報報告周期で付加サービス利用情報報告アドレスを抽出した利用情報を報告する。
付加サービス情報は付加サービスが存在するのかに対する情報、付加サービスアドレス提供サーバアドレス、それぞれの利用可能な付加サービスの獲得経路、それぞれの利用可能な付加サービスのためのアドレス、それぞれの利用可能な付加サービス開始時間、それぞれの利用可能な付加サービスの終了時間、それぞれの利用可能な付加サービスの寿命周期（ｌｉｆｅｔｉｍｅ）、それぞれの利用可能な付加サービスの獲得モード、それぞれの利用可能な付加サービスのための要求周期、それぞれの利用可能な付加サービス付加サービスの優先順位情報、それぞれの利用可能な付加サービスの説明、それぞれの利用可能な付加サービスの項目（ｃａｔｅｇｏｒｙ）、利用情報報告アドレス、利用情報報告周期、利用情報獲得のための最小利用時間のうち一つ以上を含む。
利用可能な付加サービスの獲得経路はＩＰ又はＡＴＳＣ−Ｍ／Ｈ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ−Ｍｏｂｉｌｅ／Ｈａｎｄｈｅｌｄ）を示す。利用可能な付加サービスの獲得経路がＡＴＳＣ Ｍ／Ｈである場合、付加サービス情報は周波数情報、チャネル情報を更に含む。それぞれの利用可能な付加サービスの獲得モードはＰｕｓｈ又はＰｕｌｌを示す。
一方、ウォーターマークサーバ２１はメイン視聴覚コンテンツのロゴにウォーターマーク情報を見えないウォーターマークとして挿入する。
例えば、ウォーターマークサーバ２１はロゴの一定位置にバーコードを挿入する。この際、ロゴの一定位置はロゴがディスプレーされる区域の下端の１行に当たる。映像表示装置１００はこのようにバーコードが挿入されたロゴを含むメイン視聴覚コンテンツを受信する場合、バーコードをディスプレーしなくてもよい。
また、ウォーターマークサーバ２１はロゴのメタデータの形態にウォーターマークサーバ情報を挿入してもよい。この際、ロゴの形状は維持される。
また、ウォーターマークサーバ２１はＭ個のフレームのロゴそれぞれにＮビットのウォーターマーク情報を挿入してもよい。即ち、ウォーターマークサーバ２１はＭ個のフレームを介してＭ＊Ｎ個のウォーターマーク情報を挿入してもよい。
ＭＶＰＤ３０はウォーターマーキングされたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ１０５。この際、多重化信号は受信した付加サービスを排除するか新たな付加サービスを含む。
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調してチャネル復号化（ｃｈａｎｎｅｌ ｄｅｃｏｄｉｎｇ）し、視聴覚復号（ＡＶ ｄｅｃｏｄｉｎｇ）を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ１０６。
一方、コンテンツ提供サーバ１０もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ１０７。
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む放送信号を伝送してもよいＳ１０８。
映像表示装置１００はセットトップボックスのような放送受信装置６０を介して非圧縮メイン視聴覚コンテンツを受信する。又は、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。又は、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たれば、映像表示装置１００は複数のロゴと複数のウォーターマークサーバアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報はコンテンツ情報を含んでいない場合でも映像表示装置１００はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバアドレスを含んでもよい。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置１００は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバアドレスを確認する。このように、映像表示装置１００はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバアドレスに当たるウォーターマークサーバ２１に接続して第１問合せを伝送するＳ１０９。
ウォーターマークサーバ２１は第１問合せに対する第１応答を提供するＳ１１１。この第１応答はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
ウォーターマーク情報と第１応答が付加サービスアドレスを含んでいなければ映像表示装置１００は付加サービスを獲得することができない。しかし、ウォーターマーク情報と第１応答が付加サービスアドレス提供サーバアドレスを含んでもよい。このように、映像表示装置１００はウォーターマーク情報と第１応答を介して付加サービスアドレスや付加サービスを獲得することができずに付加サービスアドレス提供サーバアドレスを獲得したのであれば、映像表示装置１００は獲得した付加サービスアドレス提供サーバアドレスに当たる付加サービス情報提供サーバ４０に接続してコンテンツ情報を含む第２問合せを伝送するＳ１１９。
付加サービス情報提供サーバ４０は第２問合せのコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーバ４０は第２問合せに対する第２応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ１２１。
映像表示装置１００はウォーターマーク情報、第１応答又は第２応答を介して一つ以上の利用可能な付加サービスアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスアドレスに接続して付加サービスを要求しＳ１２３、付加サービスを獲得するＳ１２５。
図４は、本発明の一実施例によるウェーターマークに基づくコンテンツの認識タイミングを示す。
図４に示したように、放送受信装置６０がターンオンされてチャネルをチューニングし、映像表示装置１００が外部入力ポート１１１を介して放送受信装置６０からチューニングされたチャネルのメイン視聴覚コンテンツを受信すると、映像表示装置１００はメイン視聴覚コンテンツのウォーターマークからコンテンツ提供者識別子（又は放送局識別子）を感知する。次に、映像表示装置１００は感知したコンテンツ提供者識別子に基づいてメイン視聴覚コンテンツのウォーターマークからコンテンツ情報を感知する。
この際、図４に示したようにコンテンツ提供者識別子の感知可能周期とコンテンツ情報の感知可能周期は異なり得る。特に、コンテンツ提供者識別子の感知可能周期はコンテンツ情報の感知可能周期より短くてもよい。それによって映像表示装置１００は必要な情報のみを感知するための効率的な構成を有する。
図５は、本発明の一実施例によるフィンガープリントに基づくネットワークトポロジーを示す図である。
図５に示したように、本発明の一実施例によるネットワークトポロジーはフィンガープリントサーバ２２を更に含む。
図５に示したようなフィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えることはなく、メイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルから特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置１００からの特徴情報を受信すれば受信した特徴情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
図６は、本発明の一実施例によるフィンガープリントに基づくネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ２０１。
フィンガープリントサーバ２２はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツの複数のフレーム区間又は複数のオーディオ区間から複数の特徴情報を抽出し、複数の特徴情報にそれぞれ対応する複数の問合せ結果のためのデータベースを構築するＳ２０３。問合せ結果はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
ＭＶＰＤ３０はメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ２０５。この際、多重化信号は受信した付加サービスを排除するか新たな付加サービスを含む。
放送受信装置６０はユーザが選択したチャネルをチューニングしてチューニングしたチャネルの信号を受信し、受信された放送信号を復調してチャネル復号化し、視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ２０６。
一方、コンテンツ提供サーバ１０もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ２０７。
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む信号を伝送してもよいＳ２０８。
映像表示装置１００はセットトップボックス６０を介して非圧縮メイン視聴覚コンテンツを受信する。又は、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。又は、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルから特徴情報を抽出するＳ２１３。
映像表示装置１００は予め設定されたフィンガープリントサーバアドレスに当たるフィンガープリントサーバ２２に接続して抽出した特徴情報を含む第１問合せを伝送するＳ２１５。
フィンガープリントサーバ２２は第１問合せに対する第１応答として問合せ結果を提供するＳ２１７。もし第１応答が失敗に当たれば、映像表示装置１００は他のフィンガープリントサーバアドレスに当たるフィンガープリントサーバ２２に接続して抽出した特徴情報を含む第１問合せを伝送する。
フィンガープリントサーバ２２は問合せ結果としてＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）文書を提供する。問合せ結果を含むＸＭＬ文書の例を図７と表１を参照して説明する。
図７は、本発明の一実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムを示す。
図７に示したように、問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＩｎｆｏｒｍａｔｉｏｎ、ＳｅｒｖｉｃｅＩｎｆｏｒｍａｔｉｏｎエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有するとこれは問合せ結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有するとこれは問合せ結果が失敗であることを意味する。
ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＩｎｆｏｒｍａｔｉｏｎエレメントはＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントを有し、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントはＵｐｄａｔｅＭｏｄｅ、ＰｏｌｌｉｎｇＣｙｃｌｅ属性を有する。ＵｐｄａｔｅＭｏｄｅ属性はＰｕｌｌ値又はＰｕｓｈ値を有する。
ＳｅｒｖｉｃｅＩｎｆｏｒｍａｔｉｏｎエレメントはＳｅｒｖｉｃｅＮａｍｅ、ＳｅｒｖｉｃｅＬｏｇｏ、ＳｅｒｖｉｃｅＤｅｓｃｒｉｐｔｉｏｎエレメントを有する。
表１は、このような問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 0006294238
ＣｏｎｔｅｎｔＩＤエレメントとして、下記表２に示したようなＡＴＳＣコンテンツ識別子（ＡＴＳＣ ｃｏｎｔｅｎｔ ｉｄｅｎｔｉｆｉｅｒ）が利用される。
Figure 0006294238
表２に示したように、ＡＴＳＣ ｃｏｎｔｅｎｔ ｉｄｅｎｔｉｆｉｅｒはＴＳＩＤとハウス番号で構成された構造を有する。
１６ビットの符号のない整数ＴＳＩＤはトランスポートストリーム識別子（ｔｒａｎｓｐｏｒｔ ｓｔｒｅａｍ ｉｄｅｎｔｉｆｉｅｒ）を含む（ｃａｒｒｙ）。
５ビットの符号のない整数ｅｎｄ＿ｏｆ＿ｄａｙは放送が終わってｃｏｎｔｅｎｔ＿ｉｄ値が再使用可能な日の時刻（ｈｏｕｒ）にセッティングされる。
９ビットの符号のない整数Ｕｎｉｑｕｅ＿ｆｏｒはｃｏｎｔｅｎｔ＿ｉｄ値が再使用不可能な日の数（ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｄａｙ）として設定される。
ｃｏｎｔｅｎｔ＿ｉｄはコンテンツ識別子を示す。映像表示装置１００は毎日ｅｎｄ＿ｏｆ＿ｄａｙに当たる時間からｕｎｉｑｕｅ＿ｆｏｒを１ずつ減少させ、ｕｎｉｑｕｅ＿ｆｏｒが０になっていなければｃｏｎｔｅｎｔ＿ｉｄが唯一であるとみなす。
一方、ＣｏｎｔｅｎｔＩＤエレメントとして、下記で説明するようなＡＴＳＣ−Ｍ／Ｈ ｓｅｒｖｉｃｅのためのグローバルサービス識別子（ｇｌｏｂａｌ Ｓｅｒｖｉｃｅ Ｉｄｅｎｔｉｆｉｅｒ）が利用される。
グローバルサービス識別子は以下のようなフォームを有する。
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：＜ｒｅｓｉｏｎ＞：＜ｘｓｉｄ＞：＜ｓｅｒｖｉｃｅｉｄ＞
ここで、＜ｒｅｇｉｏｎ＞はＩＳＯ６３９−２によって規定される２文字の国際国家コードである。ローカルサービス（ｌｏｃａｌ ｓｅｒｖｉｃｅ）のための＜ｘｓｉｄ＞は＜ｒｅｓｉｏｎ＞で定義するようなＴＳＩＤの十進数であり、地域サービス（ｒｅｇｉｏｎａｌ ｓｅｒｖｉｃｅ）（ｍａｊｏｒ＞６９）のための＜ｘｓｉｄ＞は“０”である。＜ｓｅｒｖｉｃｅｉｄ＞は＜ｍａｊｏｒ＞や＜ｍｉｎｏｒ＞で定義される。＜ｍａｊｏｒ＞はメージャーチャネル番号（Ｍａｊｏｒ Ｃｈａｎｎｅｌ Ｎｕｍｂｅｒ）を示し、＜ｍｉｎｏｒ＞はマイナーチャネル番号（Ｍｉｎｏｒ Ｃｈａｎｎｅｌ Ｎｕｍｂｅｒ）を示す。
グローバルサービス識別子の例は以下のようである。
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：ｕｓ：１２３４：５．１
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：ｕｓ：０：１００．２００
一方、ＣｏｎｔｅｎｔＩＤエレメントとして後述するようなＡＴＳＣコンテンツ識別子が利用される。
ＡＴＳＣコンテンツ識別子は以下のようなフォームを有する。
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｃｏｎｔｅｎｔ：＜ｒｅｓｉｏｎ＞：＜ｘｓｉｄｚ＞：＜ｃｏｎｔｅｎｔｉｄ＞：＜ｕｎｉｑｕｅ＿ｆｏｒ＞：＜ｅｎｄ＿ｏｆ＿ｄａｙ＞
ここで、＜ｒｅｇｉｏｎ＞はＩＳＯ６３９−２によって規定される２文字の国際国家コードである。ローカルサービスのための＜ｘｓｉｄ＞は＜ｒｅｓｉｏｎ＞で定義するようなＴＳＩＤの十進数であり、“．”＜ｓｅｒｖｉｃｅｉｄ＞が続けられる。地域サービス（ｍａｊｏｒ＞６９）のための＜ｘｓｉｄ＞は＜ｓｅｒｖｉｃｅｉｄ＞である。＜ｃｏｎｔｅｎｔ＿ｉｄ＞は表２に定義されているｃｏｎｔｅｎｔ＿ｉｄ ｆｉｅｌｄのｂａｓｅ６４符号であり、＜ｕｎｉｑｕｅ＿ｆｏｒ＞は表２に定義されているｕｎｉｑｕｅ＿ｆｏｒ ｆｉｅｌｄの十進数の符号であり、＜ｅｎｄ＿ｏｆ＿ｄａｙ＞は表２に定義されているｅｎｄ＿ｏｆ＿ｄａｙ ｆｉｅｌｄの十進数の符号である。
以下、更に図６を説明する。
問合せ結果が付加サービスアドレスや付加サービスを含まずに付加サービスアドレス提供サーバアドレスを含めば、映像表示装置１００は獲得した付加サービスアドレス提供サーバアドレスに当たる付加サービス提供情報提供サーバ４０に接続してコンテンツ情報を含む第２問合せを伝送するＳ２１９。
付加サービス情報提供サーバ４０は第２問合せのコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーバ４０は第２問合せに対する第２応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ２２１。
映像表示装置１００は第１応答又は第２応答を介して一つ以上の利用可能な付加サービスアドレスを獲得したのであれば、この一つ以上利用可能な付加サービスアドレスに接続して付加サービスを要求しＳ２２３、付加サービスを獲得するＳ２２５。
ＵｐｄａｔｅＭｏｄｅ属性がＰｕｌｌ値を有する場合、映像表示装置１００はＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬを介してＨＴＴＰ ｒｅｑｕｅｓｔを付加サービス提供サーバ５０に伝送し、それに対する応答としてＰＳＩＰバイナリストリームを含むＨＴＴＰ ｒｅｓｐｏｎｓｅを付加サービス提供サーバ５０から受信する。この場合、映像表示装置１００はＰｏｌｌｉｎｇＣｙｃｌｅ属性として指定されるＰｏｌｌｉｎｇ周期に応じてＨＴＴＰ ｒｅｑｕｅｓｔを伝送する。また、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントはアップデート時間属性を有してもよい。この場合、映像表示装置１００はアップデート時間属性として指定されるアップデート時間にＨＴＴＰ ｒｅｑｕｅｓｔを伝送する。
ＵｐｄａｔｅＭｏｄｅ属性がＰｕｓｈ値を有する場合、映像表示装置１００はＸＭＬＨＴＴＰＲｅｑｕｅｓｔ ＡＰＩを活用して非同期的にサーバからアップデートを受信する。映像表示装置１００がサーバにＸＭＬＨＴＴＰＲｅｑｕｅｓｔ ｏｂｊｅｃｔを介して非同期的なｒｅｑｕｅｓｔをした後でサーバがシグナリング情報に変更がある際にこのチャネルを介してｒｅｓｐｏｎｓｅにシグナリング情報を提供する方案である。セッションの待機時間に制限がある場合にはｓｅｓｓｉｏｎ ｔｉｍｅｏｕｔ ｒｅｓｐｏｎｄを発生させ、受信機はそれをすぐに認知し再要求して受信器とサーバ間のシグナリングチャネルを常に維持する。
図８は、本発明の一実施例によるウォーターマークとフィンガープリントに基づいたネットワークトポロジーを示すブロック図である。
図８に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ２１とフィンガープリントサーバ２２を更に含む。
図８に示したようなウォーターマークサーバ２１はメイン視聴覚コンテンツにコンテンツ提供者識別情報を挿入する。ウォーターマークサーバ２１とはロゴのような見えるウォーターマークであって、コンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよく、見えないウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよい。
フィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えることはなく、メイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルから特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置１００からの特徴情報を受信すれば受信した特徴情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
図９は、本発明の一実施例によるウォーターマークとフィンガープリントに基づくネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ３０１。
ウォーターマークサーバ２１はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような見えるウォーターマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を見えないウォーターマークとして挿入し、ウォーターマーキングされた視聴覚コンテンツと付加サービスをＭＶＰＤ３０に提供するＳ３０３。見えないウォーターマークを介して挿入されるウォーターマーク情報はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
ＭＶＰＤ３０はウォーターマーキングされたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ３０５。この際、多重化信号は受信した付加サービスを排除するか新たな付加サービスを含む。
放送受信装置６０はユーザが選択したチャネルをチューニングしてチューニングしたチャネルの信号を受信し、受信された放送信号を復調してチャネル復号化し、視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ３０６。
一方、コンテンツ提供サーバ１０もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ３０７。
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む信号を伝送してもよいＳ３０８。
映像表示装置１００はセットトップボックス６０を介して非圧縮メイン視聴覚コンテンツを受信する。又は、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。又は、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たれば、映像表示装置１００は複数のロゴと複数のウォーターマークサーバアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合でも映像表示装置１００はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバアドレスを含んでもよい。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、像表示装置１００は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバアドレスを確認する。このように、映像表示装置１００はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバアドレスに当たるウォーターマークサーバ２１に接続して第１問合せを伝送するＳ３０９。
ウォーターマークサーバ２１は第１問合せに対する第１応答を提供するＳ３１１。この第１応答はフィンガープリントサーバアドレス、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
ウォーターマーク情報と第１応答がフィンガープリントサーバアドレスを含んでいれば、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルから特徴情報を抽出するＳ３１３。
映像表示装置１００は第１応答内のフィンガープリントサーバアドレスに当たるフィンガープリントサーバ２２に接続して抽出した特徴情報を含む第２問合せを伝送するＳ３１５。
フィンガープリントサーバ２２は第２問合せに対する第２応答として問合せ結果を提供するＳ３１７。
問合せ結果が付加サービスアドレスや付加サービスを含まずに付加サービスアドレス提供サーバアドレスを含めば、映像表示装置１００は獲得した付加サービスアドレス提供サーバアドレスに当たる付加サービス提供情報提供サーバ４０に接続してコンテンツ情報を含む第３問合せを伝送するＳ３１９。
付加サービス情報提供サーバ４０は第３問合せのコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーバ４０は第３問合せに対する第３応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ３２１。
映像表示装置１００は第１応答、第２応答又は第３応答を介して一つ以上の利用可能な付加サービスアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスアドレスに接続して付加サービスを要求しＳ３２３、付加サービスを獲得するＳ３２５。
以下、図１０を参照して本発明の実施例による映像表示装置１００を説明する。
図１０は、本発明の一実施例による映像表示装置の構造を示すブロック図である。
図１０に示したように、本発明の一実施例による映像表示装置１００は放送信号受信部１０１、復調部１０３、チャネル復号部１０５、逆多重化部１０７、視聴覚復号部１０９、外部入力ポート１１１、再生制御部１１３、再生装置１２０、付加サービス管理部１３０、データ送受信部１４１、メモリ１５０を含む。
放送信号受信部１０１はコンテンツ提供サーバ１０又はＭＶＰＤ３０から放送信号を受信する。
復調部１０３は受信した放送信号を復調して復調された信号を生成する。
チャネル復号部１０５は復調された信号をチャネル復号してチャネル復号されたデータを生成する。
逆多重化部１０７はチャネル復号されたデータからメイン視聴覚コンテンツと付加サービスを分離する。分離された付加サービスは付加サービス記憶部１５２に記憶される。
視聴覚復号部１０９は分離されたメイン視聴覚コンテンツを視聴覚復号して非圧縮メイン視聴覚コンテンツを生成する。
一方、外部入力ポート１１１は放送受信装置６０、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ，ＤＶＤプレーヤー、ブルーレイディスク（Ｂｌｕ−ｒａｙ ｄｉｓｃ）プレーヤーなどから非圧縮メイン視聴覚コンテンツを受信する。外部入力ポート１１１はＤＳＵＢポート、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）ポート、コンポジットポート（ｃｏｍｐｏｓｉｔｅ）ポート、コンポーネント（ｃｏｍｐｏｎｅｎｔ）ポート、Ｓ−Ｖｉｄｏｅポートのうち一つ以上を含む。
再生制御部１１３は視聴覚復号部１０９が生成する非圧縮メイン視聴覚コンテンツ又は外部入力ポート１１１から受信した非圧縮メイン視聴覚コンテンツのうち少なくとも一つをユーザの選択によって再生装置１２０に再生する。
再生装置１２０はディスプレー部１２１とスピーカ１２３を含む。ディスプレー部１２１は液晶ディスプレー（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ，ＬＣＤ）、薄膜トランジスタ液晶ディスプレー（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ−Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌｙ，ＴＦＴ ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ，ＯＬＥＤ）、フレキシブルディスプレー（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレー（３Ｄ ｄｉｓｐｌａｙ）などうち少なくとも一つを含む。
付加サービス管理部１３０はメイン視聴覚コンテンツのコンテンツ情報を獲得し、獲得したコンテンツ情報に基づいて利用可能な付加サービスを獲得する。特に、上述したように付加サービス管理部１３０は非圧縮メイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルに基づいてメイン視聴覚コンテンツの識別情報を獲得可能であるが、本明細書ではこれを自動コンテンツ認識（Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｅｎｔｓ Ｒｅｃｏｇｎｉｔｉｏｎ，ＡＣＲ）と称する。
データ送受信部１４１はＡＴＳＣ−Ｍ／Ｈ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ−Ｍｏｂｉｌｅ／Ｈａｎｄｈｅｌｄ）チャネル送受信部１４１ａとＩＰ送受信部１４１ｂを含む。
メモリ１５０は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤ又はＸＤメモリなど）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの記憶媒体を含む。映像表示装置１００はインターネット（ｉｎｔｅｒｎｅｔ）上で前記メモリ１５０の記憶機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）に関して動作してもよい。
メモリ１５０はコンテンツ情報記憶部１５１、付加サービス記憶部１５２、ロゴ記憶部１５３、設定情報記憶部１５４、お気に入り記憶部１５５、ユーザ情報記憶部１５６、利用情報記憶部１５７を含む。
コンテンツ情報記憶部１５１は複数の特徴情報に対応する複数のコンテンツ情報を記憶する。
付加サービス記憶部１５２は複数の特徴情報に対応する複数の付加サービスを記憶してもよく、複数のコンテンツ情報に対応する複数の付加サービスを記憶してもよい。
ロゴ記憶部１５３は複数のロゴを記憶する。また、ロゴ記憶部はこの複数のロゴに対応するコンテンツ提供者識別子又は複数のロゴに対応するウォーターマークサーバアドレスを記憶してもよい。
設定情報記憶部１５４はＡＣＲのための設定情報を記憶する。
お気に入り記憶部１５５はお気に入りを記憶する。
ユーザ情報記憶部１５６はユーザ情報を記憶する。ユーザ情報は一つ以上のサービスのための一つ以上のアカウント情報、地域情報、家族構成員情報、好みのジャンル情報、映像表示装置情報、利用情報提供範囲のうち一つ以上を含む。一つ以上のアカウント情報は利用情報測定サーバのためのアカウント情報、ツイッター（ｔｗｉｔｔｅｒ）、フェースブック（ｆａｃｅｂｏｏｋ）のようなソーシャルネットワークサービス（ｓｏｃｉａｌ ｎｅｔｗｏｒｋ ｓｅｒｖｉｃｅ）のアカウント情報を含む。地域情報は住所情報、郵便番号を含む。家族構成員情報は家族構成員の数、各構成員の年齢、各構成員の性別、各構成員の宗教、各構成員の職業などを含む。好みのジャンル情報はスポーツ、映画、ドラマ、教育、ニュース、エンタテインメント、その他のジャンルのうち一つ以上に設定される。映像表示装置情報は映像表示装置の種類、製造会社、ファームウェアバージョン、解像度、モデル名、ＯＳ、ブラウザ、記憶装置の有無、記憶装置の容量、ネットワーク速度に対する情報を含む。利用情報提供範囲が設定されると、映像表示装置１００は設定された範囲内でメイン視聴覚コンテンツ視聴情報と付加サービス利用情報を収集し報告する。利用情報制御範囲は仮想チャネルそれぞれに対して設定される。また、利用情報測定許容範囲は物理チャネル全体に対して設定されてもよい。
利用情報記憶部１５７は映像表示装置１００によって収集されるメイン視聴覚コンテンツ視聴情報と付加サービス使用情報を記憶する。また、映像表示装置１００は収集したメイン視聴覚コンテンツ視聴情報と収集した付加サービス使用情報に基づいてさービス利用パターンを分析し、分析されたサービス利用パターンを利用情報記憶部１４７に記憶する。
付加サービス管理部１３０はフィンガープリントサーバ２２又はコンテンツ情報記憶部１５１からメイン視聴覚コンテンツのコンテンツ情報を獲得する。コンテンツ情報記憶部１５１に抽出した特徴情報に当たるコンテンツに情報がないか十分なコンテンツ情報がない場合、付加サービス管理部１３０はデータ送受信部１４１を介して追加のコンテンツ情報を受信する。また、付加サービス管理部１３０は持続的にコンテンツ情報をアップデートする。
付加サービス管理部１３０は付加サービス提供サーバ５０又は付加サービス記憶部１５３から利用可能な付加サービスを獲得する。付加サービス記憶部１５３に付加サービスがないか十分な付加サービスがない場合、付加サービス管理部１３０はデータ送受信部１４１を介して付加サービスをアップデートする。また、付加サービス管理部１３０は持続的に付加サービスをアップデートする。
付加サービス管理部１３０はメイン視聴覚コンテンツからロゴを抽出し、ロゴ記憶部１５５に問合せして抽出したロゴに対応するコンテンツ提供者識別子又はウォーターマークサーバアドレスを獲得する。ロゴ記憶部１５５に抽出したロゴと一致するロゴがないか十分なロゴがない場合、付加サービス管理部１３０はデータ送受信部１４１を介して追加のロゴを受信する。また、付加サービス管理部１３０は持続的にロゴをアップデートする。
付加サービス管理部１３０はメイン視聴覚コンテンツから抽出したロゴとロゴ記憶部１５５内の複数のロゴとの比較を行うことに演算の負担を減らすための多様な方法を行う。
例えば、付加サービス管理部１３０は色の特性に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴの色の特性とロゴ記憶部１５５内のロゴの色の特性を比較して一致するか否かを判断する。
また、付加サービス管理部１３０は文字認識に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴから認識される文字とロゴ記憶部１５５内のロゴから認識される文字を比較して一致するか否かを判断する。
それだけでなく、付加サービス管理部１３０はロゴの輪郭に対する形状に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴの輪郭形状とロゴ記憶部１５５内のロゴの輪郭形状を比較して一致するか否かを判断する。
以下、図１１及び図１２を参照して本発明の一実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を説明する。
図１１は、本発明の一実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示すフローチャートである。
付加サービス情報は付加サービスの開始時間を含む。この際、映像表示装置１００はこの開始時間に付加サービスを開始する必要がある。しかし、映像表示装置１００はタイムスタンプを有しない非圧縮メイン視聴覚コンテンツを伝送する信号を受信するため、メイン視聴覚コンテンツの再生時間の基準と付加サービスの開始時間の基準は互いに異なる。映像表示装置１００が時間情報を有するメイン視聴覚コンテンツを受信しても、再放送のようにメイン視聴覚コンテンツの再生時間の基準と付加サービスの開始時間の基準は互いに異なり得る。よって、映像表示装置１００はメイン視聴覚コンテンツの基準時間と付加サービスの基準時間を同期化する必要がある。特に、映像表示装置１００はメイン視聴覚コンテンツの再生時間と付加サービスの開始時間を同期化する必要がある。
まず、付加サービス管理部１３０はメイン視聴覚コンテンツの一部区間を抽出するＳ８０１。メイン視聴覚コンテンツの一部区間はメイン視聴覚コンテンツの一部ビデオフレームと一部オーディオ区間のうち一つ以上を含む。付加サービス管理部１３０がメイン視聴覚コンテンツの一部区間を抽出した時間をＴｎと称する。
付加サービス管理部１３０は抽出された区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得するＳ８０３。詳しくは、付加サービス管理部１３０は抽出された区間に見えないウォーターマークで符号化された情報を復号してコンテンツ情報を獲得する。また、付加サービス管理部１３０は抽出された区間の特徴情報を抽出し、抽出された特徴情報に基づいてフィンガープリントサーバ２２又はコンテンツ情報記憶部１５１からメイン視聴覚コンテンツのコンテンツ情報を獲得する。付加サービス管理部１３０がコンテンツ情報を獲得した時間をＴｍと称する。
一方、コンテンツ情報は抽出された区間に開始時間Ｔｓを含む。付加サービス管理部１３０はコンテンツ情報獲得時間Ｔｍの後からは時間Ｔｓ、時間Ｔｍ、時間Ｔｎに基づいてメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化するＳ８０５。詳しくは、付加サービス管理部１３０がコンテンツ情報獲得時間をＴｍを下記数式１で計算される時間Ｔｐとみなす。
Figure 0006294238
そして、付加サービス管理部１３０はコンテンツ情報獲得時間から時間Ｔｘが経過した時間をＴｐ＋Ｔｘとみなす。
次に、付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービスと付加サービスの開始時間Ｔａを獲得するＳ８０７。
メイン視聴覚コンテンツの同期化された再生時間が付加サービスの開始時間Ｔａと一致すれば付加サービス管理部１３０は獲得した付加サービスを開始するＳ８０９。詳しくは、付加サービス管理部１３０は下記数式２を満足する場合に付加サービスを開始する。
Figure 0006294238
図１２は、本発明の一実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示す概念図である。
図１２に示したように、映像表示装置１００はシステム時間Ｔｎから視聴覚サンプルを抽出する。
映像表示装置１００は抽出した視聴覚サンプルから特徴情報を抽出し、フィンガープリントサーバ２２に抽出した特徴情報を含む問合せを伝送して問合せ結果を受信する。映像表示装置１００は問合せ結果をパーシングし、抽出した視聴覚サンプルの開始時間Ｔｓが１１０００ｍｓに当たることを時間Ｔｍで確認する。
よって、映像表示装置は数式１によって抽出した視聴覚サンプルの開始時間を確認した時点をＴｓ＋（Ｔｍ−Ｔｎ）とみなし、その後からメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化する。
以下、図１３及び図１４を参照して本発明の多様な実施例によるＡＣＲアプリケーションを説明する。
本発明の多様な実施例によるＡＣＲアプリケーションとして、自動再生アプリケーション、コンテンツ提供者アプリケーション、映像表示装置製造者アプリケーションなどが挙げられる。
図１３は、本発明の実施例による自動再生アプリケーションの実行画面を示す図である。
自動再生アプリケーションはユーザがいかなるアクションを取らなくても付加サービスを自動的に再生する。このような意味で、本明細書で自動再生アプリケーションをリーンバックアプリケーション（ｌｅａｎ ｂａｃｋ ａｐｐｌｉｃａｔｉｏｎ）とも称する。
自動再生アプリケーションは、メイン視聴覚コンテンツの再生途中にコンテンツ提供者又は放送局が提供する場面に関する情報のような付加サービスをメイン視聴覚コンテンツの再生時間に応じてユーザの入力がなくても自動的に再生する。即ち、コンテンツ提供者又は放送局が全的に自動再生アプリケーションをコントロールする。例えば、自動再生アプリケーションが特定チャネル又は特定コンテンツに関する場合、映像表示装置１００が自動再生アプリケーションに関するチャネル又はコンテンツに進入すれば映像表示装置１００は該当自動再生アプリケーションをユーザの入力がなくても自動的に実行する。そして、映像表示装置１００が自動再生アプリケーションに関するチャネル又はコンテンツから逸脱すると、映像表示装置１００は該当自動再生アプリケーションをユーザの入力がなくても自動的に終了する。このような意味で、本明細書で自動再生アプリケーションをチャネル−従属アプリケーション又はコンテンツ−従属アプリケーションとも称する。
図１３に示したように、自動再生アプリケーションが再生されると画面２００は縮小されたメイン視聴覚コンテンツが再生されるサブ画面２１０と付加情報がディスプレーされるサブ画面２２０を含む。付加情報がディスプレーされるサブ画面２２０はメイン視聴覚コンテンツが再生されるサブ画面２１０と空間的に分けられる。
一方、自動再生アプリケーションが実行される際に付加情報がディスプレーされる領域は半透明である。この場合、付加情報がディスプレーされる領域はメイン視聴覚コンテンツが再生される領域の上にオーバーレイされる。
図１４は、本発明の実施例によるコンテンツ提供者アプリケーションの実行画面を示す図である。
本明細書において、コンテンツ提供者アプリケーションをフルインタラクティブアプリケーション（ｆｕｌｌ ｉｎｔｅｒａｃｔｉｖｅ ａｐｐｌｉｃａｔｉｏｎ）とも称する。
図１４の（Ａ）に示したように、映像表示装置１００は複数のアプリケーションをダウンロードして記憶する。図１４の（Ａ）は複数のアプリケーションのアイコン２３０である。このようなアプリケーションのうちコンテンツ提供者アプリケーションはコンテンツ提供者によって製作され配布されるアプリケーションであるため、コンテンツ提供者のコントロール下にある。
映像表示装置１００のユーザはコンテンツ提供者アプリケーションをアプリケーションストアからダウンロードし、ダウンロードされたコンテンツ提供者アプリケーションの実行を決定する。
図１４の（Ｂ）はコンテンツ提供者アプリケーションの実行画面を示す。図１４の（Ｂ）に示したように、画面２００は縮小されたメイン視聴覚コンテンツが再生されるサブ画面２１０と付加情報がディスプレーされるサブ画面２２０、メニュがディスプレーされるサブ画面を含む。
映像表示装置製造者アプリケーションは映像表示装置製造者によって製作され、映像表示装置製造者によって制御され、映像表示装置１００の生産の際に予め記憶される。即ち、映像表示装置製造者アプリケーションはコンテンツ提供者やコンテンツとは関係なく同じサービスを提供し、コンテンツ提供者やコンテンツに関係なく同じユーザインタフェースを提供する。
映像装置製造者アプリケーションはコンテンツ提供者が提供する付加サービスが表示される領域と映像表示装置製造者が提供する付加サービスが表示される領域を分離して有する。映像表示装置製造者アプリケーションは映像表示装置１００のユーザによって実行するか否かが決定される。
映像表示装置製造者アプリケーションは２つのタイプを有する。
第１タイプの映像表示装置製造者アプリケーションはリサイジングユーザインタフェース（ｒｅｓｉｚｉｎｇ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を有する。リサイジングユーザインタフェースを有する映像表示装置製造者アプリケーションはメイン視聴覚コンテンツがディスプレーされる領域の大きさを減らし、減らした領域内で視聴覚コンテンツの内容全てがディスプレーされるようにする。また、リサイジングユーザインタフェースを有する映像表示装置製造者アプリケーションはアプリケーションがディスプレーされる領域をアルファベットのＬ字や逆Ｌ字構造にする。
第２タイプの映像表示装置製造者アプリケーションはオーバーレイユーザインタフェース（ｏｖｅｒｌａｙ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を有する。オーバーレイユーザインタフェースを有する映像表示装置製造者アプリケーションは、メイン視聴覚コンテンツがディスプレーされる領域の大きさはそのまま維持しながらアプリケーションがディスプレーされる領域をメイン視聴覚コンテンツの上に重ねる。アプリケーションがディスプレーされる領域がメイン視聴覚コンテンツを覆うため、アプリケーション領域は半透明である。
このように、映像表示装置製造者アプリケーションはいかなる単一コンテンツ提供者やいかなる単一チャネルに従属されない。このようなアプリケーションは映像表示装置製造者によって製作されると説明したが、これに限ることはない。このようないかなる単一コンテンツ提供者やいかなる単一チャネルに従属されないアプリケーションはチャネル変更によって実行されず、チャネル変更によって終了されない。本明細書では説明の便宜上、このようないかなる単一コンテンツ提供者やいかなる単一チャネルに従属されないアプリケーションをチャネル−独立アプリケーション、映像表示装置製造者アプリケーション又はＬｉｖｅ＋ａｐｐと称する。
以下、図１５及び図１６を参照して本発明の多様な実施例によるＡＣＲ機能のオン・オフ制御を説明する。
図１５は、本発明の実施例によるＡＣＲ機能を制御するためのユーザインタフェースを示す。
図１５に示したように、再生制御部１１３はＡＣＲ機能設定ウィンドウをディスプレーする。ユーザはＡＣＲ機能設定ウィンドウを介してＡＣＲ機能を活性化させてもよく、非活性化させてもよい。
ＡＣＲ機能が活性化された場合、ユーザはＡＣＲモードを選択してもよい。本発明の実施例によるＡＣＲモードは自動再生アプリケーションモード、コンテンツ提供者アプリケーションモード、映像表示装置製造者アプリケーションモードのうち一つとして設定される。
このようにＡＣＲ機能のモードが設定されると、再生制御部１１３は設定情報を設定情報記憶部１５４に記憶する。
図１６は、本発明の一実施例による映像表示装置の動作方法を示すフローチャートである。
付加サービス管理部１３０はＡＣＲ機能がターンオンされているのかを確認するＳ１９０１。
ＡＣＲ機能が非活性化されていれば、付加サービス管理部１３０はそれ以上コンテンツ情報獲得手順を行わない。
ＡＣＲ機能が活性化されていれば、付加サービス管理部１３０はメイン視聴覚コンテンツの一部区間を抽出するＳ１９０２。
付加サービス管理部１３０は抽出した区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得するＳ１９０３。
付加サービス管理部１３０はメイン視聴覚コンテンツの基準時間を代替広告の基準時間と同期化するＳ１９０５。
付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービスを獲得するＳ１９０７。付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービス情報を獲得し、獲得した付加サービス情報に基づいて付加サービスを獲得してもよい。
次に、付加サービス管理部１３０はＡＣＲモードを確認するＳ１９０９。
付加サービス管理部１３０はＡＣＲモードに応じて付加サービスを再生するＳ１９１１。
詳しくは、ＡＣＲモードが再生アプリケーションモードであれば付加サービス管理部１３０は自動再生アプリケーションを実行し、実行された自動再生アプリケーションは獲得した付加サービスを再生する。
ＡＣＲモードがコンテンツ提供者アプリケーションモードであれば、付加サービス管理部１３０は獲得したコンテンツ情報に対応するコンテンツ提供者アプリケーションをバックグランドで実行する。付加サービス管理部１３０は付加サービス利用に当たるユーザの入力を受信すればコンテンツ提供者アプリケーションをディスプレーする。このコンテンツ提供者アプリケーションが獲得した付加サービスを再生する。コンテンツ提供者アプリケーションが自動的にバックグラウンドで実行される代わりに、コンテンツ提供者アプリケーションはユーザの入力によって実行される。
ＡＣＲモードが映像表示装置製造者アプリケーションモードであれば、付加サービス管理部１３０は映像表示装置製造者アプリケーションをバックグランドで実行する。付加サービス管理部１３０は付加サービスの利用に当たるユーザの入力を受信すれば映像表示装置製造者アプリケーションをディスプレーする。この映像表示装置製造者アプリケーションが獲得した付加サービスを再生する。映像表示装置製造者アプリケーションが自動的にバックグラウンドで実行される代わりに、映像表示装置製造者は映像表示装置製造者アプリケーションはユーザの入力によって実行される。
以下、図１７乃至図２５を参照して本発明の実施例による第三者付加サービスについて説明する。
図１７は、本発明の実施例によるネットワークトポロジーを示す。
図１７に示したように、本発明の一実施例によるネットワークトポロジーはＢｒｏａｄｃａｓｔｅｒ／ＣＰ Ｂａｃｋｅｎｄサーバのようなコンテンツ提供サーバ１０、付加サービス提供サーバ５０の一種である第三者サーバ９０、ＡＣＲサーバのようなコンテンツ認識サービス提供サーバ２０、ＡＣＲ Ｓｍａｒｔ ＴＶのような映像表示装置１００を含む。
映像表示装置１００はチャネル−従属アプリケーション又はコンテンツ−従属アプリケーションであるＬｅａｎｂａｃｋアプリケーションを利用してコンテンツ提供サーバ１０から放送者付加サービスを得て、チャネル−独立アプリケーションであるＬｉｖｅ＋アプリケーションを利用して第三者サーバ９０から第三者付加サービスを得る。
チャネル従属アプリケーションであるＬｅａｎｂａｃｋ ａｐｐは放送局やＣＰ（ｃｏｎｔｅｎｔ ｏｗｎｅｒ）が提供するアプリケーションであって、プログラム単位又はｓｃｅｎｅ（場面）単位の同期化されたサービスを提供する。放送局はプログラムを製作する主体であるため、プログラム内にいかなる場面があるのかをよく知っているため特定場面に最も適合した内容を示すことができる。映像表示装置１００がプログラムを認識すると、映像表示装置１００は該当プログラムのコンテンツ提供サーバ１０からＬｅａｎｂａｃｋ ａｐｐをダウンロードし、ダウンロードしたＬｅａｎｂａｃｋ ａｐｐを自動的に実行する。しかし、映像表示装置１００が実行されたＬｅａｎｂａｃｋ ａｐｐとは関係ない他のチャネルに移動すると、映像表示装置１００は該当Ｌｅａｎｂａｃｋ ａｐｐを自動的に終了して移動されたチャネルのＬｅａｎｂａｃｋ ａｐｐがある場合には該当Ｌｅａｎｂａｃｋ ａｐｐを実行する。
Ｌｉｖｅ＋ａｐｐは第三者（例えば、製造会社）が提供するアプリケーションであってテレビ内に事前に設置されており、Ｌｅａｎｂａｃｋ ａｐｐとは異なってユーザが視聴中のチャネル又はプログラムに関係なく常に実行される。本特許で提案するＡＣＲ ａｒｃｈｉｔｅｃｔｕｒｅはＬｉｖｅ＋ａｐｐがプログラムに関する付加情報及び場面単位の同期化された内容を示すようにする。Ｌｉｖｅ＋ａｐｐは一貫したユーザインタフェースを有し、プログラムに関係なく常に実行可能で使用可能なアプリケーションである。Ｌｉｖｅ＋ａｐｐは放送局がプログラムに関する付加情報を与えなくてもプログラムに関するメタデータを利用して多様なサービスを提供する。例えば、プログラムに対する基本情報及びプログラムのキャストが登場する映画のお勧めなどを提供する。Ｌｉｖｅ＋ａｐｐは放送局／ＣＰに割り当てられた領域を有しており、放送局がプリグラムに関する付加情報を提供する場合にＬｉｖｅ＋ａｐｐは該当プログラムに関するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａを該当領域に示すことができる。例えば、放送局が提供するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａとしてはユーザが視聴中のプログラムの前回放送のリプレイ、場面が同期化された内容（例えば、商品の購入、場所の予約、音源の購入及びダウンロード、商品の広告など）がある。
映像表示装置１００はＡＣＲ ｍｏｄｕｌｅを搭載して非圧縮視聴覚コンテンツからシグネチャを抽出し、抽出したシグネチャを介してコンテンツ認識サービス提供サーバ２０に問合せしてプログラムを認識する。そして、映像表示装置１００は認識されたプログラムに基づいてプログラムに関するアプリケーションを駆動する。Ｌｅａｎｂａｃｋ ａｐｐはプログラムを認識した後にダウンロードされて実行される。Ｌｉｖｅ＋ａｐｐはテレビが市販される際に製造者によって事前に設置されてもよく、アプリストアからダウンロードされて設置されてもよい。
コンテンツ認識サービス提供サーバ２０は放送されるプログラムのオーディオ及び／又はビデオのシグネチャを記憶している。コンテンツ認識サービス提供サーバ２０はシグネチャｃａｐｔｕｒｅシステムを利用してリアルタイム放送のシグネチャを抽出して記憶してもよく、特定プログラムに当たるシグネチャを含むＡＣＲ ＤＢを放送局から提供されて記憶してもよい。コンテンツ認識サービス提供サーバ２０のＡＣＲ ＤＢにはプログラムのＣｏｎｔｅｎｔ ＩＤ、シグネチャ、ｔｉｍｅｓｔａｍｐ、ＵＲＬなどが記憶されている。本明細書において、２つのタイプのＣｏｎｔｅｎｔ ＩＤが利用される。
第１タイプのＣｏｎｔｅｎｔ ＩＤは放送局が直接付与するＩＤであって、放送局内でプログラムを唯一に認識するための区分子である。放送局は自らの望みのフォーマットでプログラムにＣｏｎｔｅｎｔ ＩＤを付与する。Ｃｏｎｔｅｎｔ ＩＤはコンテンツ提供サーバ１０にプログラムに関するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａを要求する際に使用される。
第２タイプのＣｏｎｔｅｎｔ ＩＤはｇｌｏｂａｌ ｕｎｉｑｕｅ Ｃｏｎｔｅｎｔ ＩＤであって、全国的に又は全世界的にプログラムを唯一に認識するための識別子である。プログラムは全国放送チャネル、地域放送チャネル、ケーブル放送又は衛星放送から送出されるため、この全てのプログラムのシグネチャを抽出するために複数の地域のために多数のシグネチャｃａｐｔｕｒｅ装備が設置される。そして、各プログラムを全国的に又は全世界的に唯一に認識し区分するためにプログラムにｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤが割り当てられる。各プログラムとｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤをマッピングするためにはメタデータデータベースが利用される。メタデータデータベースはプログラムに関する付加情報であるメタデータだけでなくプログラムスケジュール情報も含むため、このメタデータデータベースを利用してｃａｐｔｕｒｅシステムから伝達されたシグネチャがいかなるプログラムであるのかマッピングされる。ｃａｐｔｕｒｅシステムは抽出したシグネチャがどの地域、どのチャネル、どの時間であるのかを知っているため、この情報を参照してメタデータデータベースを検索するとプログラムが検索される。メタデータデータベースはコンテンツ認識サービス提供サーバ２０と第三者サーバ９０に一緒に使用され、コンテンツ認識サービス提供サーバ２０と第三者サーバ９０はメタデータデータベースを利用してｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤを介してプログラムを認識する。ｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤのフォーマットはサーバを運営する第三者が指定するフォーマットであってもよく、メタデータデータベースが提供するフォーマットであってもよい。
Ｌｉｖｅ＋ａｐｐが提供する全てのサービスは第三者サーバ９０から提供される。第三者サーバ９０はコンテンツ認識サービス提供サーバ２０が伝達したｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤを映像表示装置１００から受信する。第三者サーバ９０はｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤを介してメタデータデータベースからｇｌｏｂａｌ ｕｎｉｑｕｅ ｃｏｎｔｅｎｔ ＩＤに当たるプログラムに関するメタデータを抽出し、抽出したメタデータに基づいてプログラムと連係された多様なサービスを映像表示装置１００に提供する。また、認識されたプログラムに対して放送局が提供する付加情報があれば第三者サーバ９０は放送局サーバに接近してプログラムに関するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａを受信し、それを加工して映像表示装置１００に提供する。Ｌｉｖｅ＋ａｐｐを介して放送局が提供するプログラムに関する関連Ｅｎｈａｎｃｅｍｅｎｔ ＤａｔａはＬｅａｎｂａｃｋ ａｐｐが提供するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａと内容は同じであるが表現形態（ＵＩ）は異なり得る。しかし、他の実施例において、放送局に応じてＬｉｖｅ＋ａｐｐを介して放送局が提供するプログラムに関する関連Ｅｎｈａｎｃｅｍｅｎｔ Ｄａｔａの内容はＬｅａｎｂａｃｋ ａｐｐが提供するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａの内容と異なり得る。
複数の放送局又は複数のＣＰのために複数のコンテンツ提供サーバ１０が存在する。コンテンツ提供サーバ１０はプログラムターゲットされたＬｅａｎｂａｃｋアプリケーションと、このＬｅａｎｂａｃｋ ａｐｐが出力するプログラムに関するＥｎｈａｎｃｅｍｅｎｔ Ｄａｔａを有する。
図１８は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを示す図である。
Ｌｉｖｅ＋ａｐｐはメイン視聴覚メディアコンテンツのサイズを変更して（ｒｅｓｉｚｅ）画面の左上の領域に示し、画面の右側領域にプログラムに関する付加情報を示し、画面の下端領域にプログラムに関する広告を示す。Ｌｉｖｅ＋ａｐｐは右側領域であるコンテンツ領域の上端には複数のタブを示す。複数のタブはプログラム（Ｐｒｏｇｒａｍ）タブ、お勧め（Ｒｅｃｏｍｍｅｎｄｓ）タブ、トーク（Ｔａｌｋ）タブ、プラス（Ｐｌｕｓ）タブを含む。
図１９は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを実行する方法を示す。
映像表示装置１００はホーム画面又はＭｙ Ａｐｐｓ画面をディスプレーする。Ｍｙ Ａｐｐｓ画面は映像表示装置１００内に設置されたアプリケーションのリストを示す画面である。
映像表示装置１００はホーム画面又はＭｙ Ａｐｐｓ画面で示される複数のアプリケーションのうちＬｉｖｅ＋アプリケーションを選択するユーザ入力を受信すると、Ｌｉｖｅ＋アプリケーションを実行する。
また、映像表示装置１００は放送を再生しながらＬｉｖｅ＋ａｐｐがあることを知らせるグラフィックをタイマーを介して一定時間間隔にディスプレーし、このグラフィックに関するユーザの入力を受けるとＬｉｖｅ＋アプリケーションを実行してもよい。
図２０は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションの機能を示す。
プログラムタブは現在視聴者が見ているプログラムに対する基本情報とプログラムのリプレイサービスを提供する。映像表示装置１００はプログラムの基本情報を第三者サーバ９０のＭｅｔａ ＤＢから呼び込む。映像表示装置１００はプログラムのリプレイサービスに対する情報を第三者サーバ９０を経て該当プログラムを製作するコンテンツ提供サーバ１０から呼び込む。
Ｒｅｃｏｍｍｅｎｄｓ ｔａｂは現在のプログラムに関する他の視聴覚コンテンツである映画やビデオ（例えば、Ｙｏｕｔｕｂｅ）をお勧めするか、現在のプログラムに関するアプリをお勧めする。第三者サーバ９０は現在のプログラムのタイトル、ジャンルやキャストに基づいてお勧めのためのビデオを決定し、それに対する情報を加工して映像表示装置１００のＬｉｖｅ＋アプリケーションのお勧めタブに提供する。
Ｔａｌｋ ｔａｂは現在のプログラムに関するチャット内容に当たるツイッター記事を提供する。第三者サーバ９０は現在のプログラムのタイトル、ジャンルやキャストに基づいて現在のプログラムに関するツイッター記事を検索した後、検索した記事を加工して映像表示装置１００のＬｉｖｅ＋アプリケーションのトークタブに提供する。
Ｐｌｕｓ ｔａｂは放送局がプログラムに関するデータを示す領域であって、放送局サーバから受けた情報をそのまま提供するか又は第三者サーバ９０が放送局サーバから受けた情報を加工した情報を提供する。Ｐｌｕｓ ｔａｂから提供されるデータの種類と個数には制限がない。プラスタブは商品の購入、場所の予約、音源の購入、商品の広告などの多様な付加データを提供する。但し、放送局サーバから受けた情報がそのままプラスタブに提供される場合、第三者サーバ９０は放送局サーバから受けた情報をＬｉｖｅ＋ａｐｐのコンテンツ領域（即ち、画面の右側領域）の位置及び大きさに合わせて情報を加工してから映像表示装置１００に提供する。
図２１は、本発明の一実施例による第３者サーバ９０のアーキテクチャを示す。
図２１に示したように、本発明の一実施例による第三者サーバ９０はアプリケーション階層（Ａｐｐｌｉｃａｔｉｏｎ Ｌａｙｅｒ）、サービスコンポーネント階層（Ｓｅｒｖｉｃｅ Ｃｏｍｐｏｎｅｎｔ Ｌａｙｅｒ）、バックエンドシステム階層（Ｂａｃｋ−ｅｎｄ Ｓｙｓｔｅｍ Ｌａｙｅｒ）、データコンポーネント階層（Ｄａｔａ Ｃｏｍｐｏｎｅｎｔ Ｌａｙｅｒ）を含む。
アプリケーション階層はＤｅｌｉｖｅｒｙ Ｉｎｔｅｒｆａｃｅを介して映像表示装置１００を含む多様なディバイスと通信する。アプリケーション階層はアプリストアコンポーネント（ＡｐｐＳｔｏｒｅ ｃｏｍｐｏｎｅｎｔ）を含む。アプリストアコンポーネントは開発者がＡｐｐを登録可能なインタフェースを支援するだけでなく、一般ユーザがＡｐｐを検索、ダウンロード及び接地可能なインタフェースも支援する。また、Ｌｉｖｅ＋アプリケーションは第三者サーバ９０にある広告、検索、お勧めなどのサービスをアプリストアコンポーネントを介して受ける。
サービスコンポーネント階層はアプリケーション階層とサービス統合インタフェース（Ｓｅｒｖｉｃｅ Ｉｎｔｅｇｒａｔｉｏｎ Ｉｎｔｅｒｆａｃｅ）を介して通信する。サービスコンポーネント階層は広告サービスコンポーネント、統合検索コンポーネント、お勧めコンポーネント、ＡＣＲコンポーネントを含む。バックエンドシステム階層から加工されたデータを受けてそれをアプリケーション階層に伝達する。ＡＣＲコンポーネントは映像表示装置１００から受信したＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐ、放送局サーバＵＲＬを利用してバックエンドシステム階層のメタデータコンポーネントを介してプログラムに関する基本付加情報を得る。また、ＡＣＲコンポーネントはメタデータから得たプログラムタイトル（ｔｉｔｌｅ及び俳優に対する情報を統合検索コンポーネントに伝達してプログラムに関する検索結果を得る。
バックエンドシステム階層は元のデータをデータコンポーネント階層から読み込み、それを加工してサービスコンポーネント階層に伝達する。バックエンドシステム階層は検索エンジン、保安（Ｓｅｃｕｒｉｔｙ）コンポーネント、ＤＲＭコンポーネント、メタデータコンポーネント、広告フラットフォームコンポーネント、ＡＣＲコンポーネントを含む。
データコンポーネント階層は実際のデータを有している。ここで、データコンポーネント階層はファイル記憶所（Ｆｉｌｅ Ｒｅｐｏｓｉｔｏｒｙ）、統合データベース（Ｉｎｔｅｇｒａｔｅｄ ＤＢ）、ユーザプロフィール（Ｕｓｅｒ Ｐｒｏｆｉｌｅ）記憶所、メタデータ記憶所、広告データ記憶所を含む。ユーザプロフィール記憶所には視聴者又はユーザの性別、年齢、地域、所得、家族構成、好みのジャンル、好みのチャネル、好みのプログラムなどの情報が記憶されている。メタデータ記憶所にはコンテンツに対するｔｉｔｌｅ、ｅｐｉｓｏｄｅ、ｄｉｒｅｃｔｏｒ、ｓｙｎｏｐｓｉｓ、ｃａｓｔｓ、ｇｅｎｒｅ、ｃｈａｎｎｅｌ、ａｉｒ ｔｉｍｅなどの情報が記憶されている。第三者サーバ９０はｍｅｔａｄａｔａ ｐｒｏｖｉｄｅｒ又はリアルタイム放送のガイド情報（例えば、ＡＴＳＣ地上波の場合ＰＳＩＰ）からコンテンツに対する情報を受信してメタデータ記憶所に記憶する。
図２２は、本発明の実施例による自動実行アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。
まず、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むＡＣＲ問合せ要求メッセージ（ＡＣＲ ｑｕｅｒｙ ｒｅｑｕｅｓｔ ｍｅｓｓａｇｅ）をＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２１０５。
フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内の特徴情報をＡＣＲ ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに対するコンテンツ情報を含むＡＣＲ問合せ応答メッセージ（ＡＣＲ ｑｕｅｒｙ ｒｅｓｐｏｎｓｅ ｍｅｓｓａｇｅ）を映像表示装置１００に提供するＳ２１０７。この際、ＡＣＲ問合せ応答メッセージはプログラム認識を成功するか否かに対する情報と、コンテンツ情報、リーンバックアプリケーションのＵＲＬを含む。上述したように、コンテンツ情報は認識されたプログラムのＣｏｎｔｅｎｔ ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。ここで、Ｃｏｎｔｅｎｔ ＩＤのフォーマットは該当放送局のみ認識可能なフォーマットであり、特に、この場合には放送局が該当プログラムのＡＣＲ ＤＢをコンテンツ認識サービス提供サーバ２０に提供した場合に当たる。
映像表示装置１００がＡＣＲ問合せを介してプログラムの識別に成功し、Ｌｅａｎｂａｃｋ ａｐｐ ＵＲＬが有効である場合、映像表示装置１００は該当Ｌｅａｎｂａｃｋ ａｐｐ ＵＲＬにＬｅａｎｂａｃｋ アプリケーションを要求するＳ２１０９。
コンテンツ提供サーバ１０は該当映像表示装置１００が要求するＬｅａｎｂａｃｋアプリケーションを映像表示装置１００に提供しＳ２１１１、映像表示装置１００はリーンバックアプリケーションをダウンロードする。
映像表示装置１００がリーンバックアプリケーションのダウンロードの完了に成功すると、映像表示装置１００は自動的に該当リーンバックアプリケーションを実行するＳ２１１３。
映像表示装置１００内で実行されたリーンバックアプリケーションは映像表示装置１００内のＡＣＥエンジンから周期的にＣｏｎｔｅｎｔ ＩＤとｔｉｍｅｓｔａｍｐ（タイムスタンプ）を獲得し、獲得したＣｏｎｔｅｎｔ ＩＤとｔｉｍｅｓｔａｍｐを含む付加データ要求メッセージをコンテンツ提供サーバ１０に伝送してＳ２１１５、Ｃｏｎｔｅｎｔ ＩＤとｔｉｍｅｓｔａｍｐに当たる場面に関する付加データ（Ｅｎｈａｎｃｅｍｅｎｔ Ｄａｔａ）を要求する。
コンテンツ提供サーバ１０は要求された付加サービスをＬｅａｎｂａｃｋ ａｐｐに伝達するＳ２１１７。Ｌｅａｎｂａｃｋ ａｐｐは放送局が提供するアプリケーションであるため、ある放送局のコンテンツ提供サーバ１０のインタフェースは他の放送局のコンテンツ提供サーバ１０のインタフェースと異なり得る。場面に関する付加情報がある場合、Ｌｅａｎｂａｃｋ ａｐｐはＳ２１１３とＳ２１１７を繰り返し行う。
図２３は、本発明の一実施例によるチャネル−独立アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。
映像表示装置１００が設置されているＬｉｖｅ＋ａｐｐを実行するためのユーザの入力を受信すると、映像表示装置１００は設置されているＬｉｖｅ＋ａｐｐを実行するＳ２２０１。
ＡＣＲ機能がターンオフされている場合、映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはＡＣＲモジュールをターンオンするＳ２２０３。
映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むＡＣＲ問合せ要求メッセージをフィンガープリントサーバ２２に当たるＡＣＲサーバに伝送するＳ２２０５。
フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内の特徴情報をＡＣＲ ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに対するコンテンツ情報を含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２２０７。この際、ＡＣＲ問合せ応答メッセージはプログラム認識を成功するか否かに対する情報とコンテンツ情報を含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークＣｏｎｔｅｎｔ ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはサービスタイプを選択するためのユーザの入力を受けるＳ２２０９。この際、サービスタイプはプログラムタイプ、お勧めタイプ、トークタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムのキャストに関するリアルタイムのニュース記事であってもよく、プログラムのキャストが主演に登場する映画をお勧めするサービスであってもよい。
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションは映像表示装置１００内のＡＣＲエンジンから現在認識されたプログラムコンテンツ情報を獲得し、プログラムに関するコンテンツ要求メッセージを第三者サーバ９０に伝送してＳ２２１１、選択されたサービスタイプに当たる付加データを要求する。この際、プログラムに関するコンテンツ要求メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに対する情報を含む。
Ｌｉｖｅ＋ａｐｐは第三者サーバ９０にａｊａｘ ｃａｌｌを使用してＨＴＴＰ基盤のＲｅｑｕｅｓｔを送る。この際、伝達するパラメータとしてはサービスタイプ、Ｃｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐ、放送局サーバＵＲＬなどがある。ＨＴＴＰ ＲｅｑｕｅｓｔはＨＰＰＴ ＧＥＴ基盤であって、表３のようなシンタックス（ｓｙｎｔａｘ）でパラメータを伝達する。
Figure 0006294238
表３において、＜ｓｅｒｖｉｃｅ ｎａｍｅ＞にはＬｉｖｅ＋ａｐｐが要求するサービスの名前が入力される。本実施例は下記のような＜ｓｅｒｖｉｃｅ ｎａｍｅ＞を使用する。
−“ｇｅｔＰｒｏｇｒａｍ”：プログラムに関する基本情報と前回放送のエピソードを受信するためのｓｅｒｖｉｃｅ ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのｐｒｏｇｒａｍ ｔａｂで使用される。
−“ｇｅｔＲｅｃｏｍｍｅｎｄｓ”：プログラムに関するお勧め（ＶＯＤのお勧め、Ａｐｐのお勧めなど）データを受信するためのｓｅｒｖｉｃｅ ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのｒｅｃｏｍｍｎｅｎｄｓ ｔａｂで使用される。
−“ｇｅｔＴａｌｋ”：プログラムに関するリアルタイムの記事／ツイットを受信するためのｓｅｒｖｉｃｅ ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのｔａｌｋ ｔａｂで使用される。
−“ｇｅｔＰｌｕｓ”：放送局が提供するプログラムに関する付加データを受信するためのｓｅｒｖｉｃｅ ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのｐｌｕｓ ｔａｂで使用される。
＜Ｃｏｎｔｅｎｔ ＩＤ＞は放送局がコンテンツ認識サービス提供サーバ２０に伝達した値であり、放送局内部的にプログラムを唯一に識別するために使用するＣｏｎｔｅｎｔ ＩＤである。
＜Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ＞は放送局を区分せずにグローバルにプログラムを唯一に認識するために使用され、そのためにコンテンツ認識サービス提供サーバ２０と第三者サーバ９０は同じＭｅｔａ ＤＢを使用する必要がある。Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤはＭｅｔａ ＤＢのＣｏｎｔｅｎｔ ＩＤフォーマットに従ってもよい。
＜ｔｉｍｅｓｔａｍｐ＞は認識されたプログラムの現在の視聴時間を知らせるが、これはコンテンツ認識サービス提供サーバ２０から伝達された値である。
＜放送局サーバＵＲＬ＞は放送局がプログラムに関する付加データを提供する場合に伝達されるが、この値で第三者サーバ９０は放送局サーバに接近する。
第三者サーバ９０は伝達されたＧｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤに当たるプログラムの付加データを探すためにメタデータデータ記憶所を検索するＳ２２１３。メタデータデータ記憶所はＧｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤに当たるプログラムの付加データに対する検索結果を第三者サーバ９０にリターンする。
第三者サーバ９０はメタデータ記憶所から受信したプログラム付加データを加工し、加工した付加データを映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションに提供するＳ２２２１。第三者サーバ９０はａｊａｘ ｃａｌｌを使用してＨＴＴＰ基盤のｒｅｓｐｏｎｓｅに加工された付加データを伝達する。
図２４は、本発明の他の実施例によるチャネル−独立アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。
映像表示装置１００が設置されているＬｉｖｅ＋ａｐｐを実行するためのユーザの入力を受信すると、映像表示装置１００は設置されているＬｉｖｅ＋ａｐｐを実行するＳ２３０１。
ＡＣＲエンジンがターンオフされている場合、映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはＡＣＲエンジンをターンオンするＳ２３０３。
映像表示装置１００のＡＣＲエンジンはメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むＡＣＲ問合せ要求メッセージをフィンガープリントサーバ２２に当たるＡＣＲサーバに伝送するＳ２３０５。
フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内の特徴情報をＡＣＲ ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに対するコンテンツ情報を含むＡＣＲ問合せ応答メッセージを映像表示装置１００のＡＣＲエンジンに提供するＳ２３０７。この際、ＡＣＲ問合せ応答メッセージはプログラム認識を成功するか否かに対する情報と、コンテンツ情報及びコンテンツ提供サーバ１０のＵＲＬを含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークＣｏｎｔｅｎｔ ＩＤ、認識されたプログラムの放送局が識別可能なＣｏｎｔｅｎｔ ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。他の実施例において、映像表示装置１００はコンテンツ提供サーバ１０のＵＲＬをＡＣＲ問合せ応答メッセージから獲得するのではなく、予め有している可能性もある。
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはサービスタイプを選択するためのユーザの入力を受けるＳ２３０９。この際、サービスタイプはプログラムタイプ、お勧めタイプ、トークタイプ及びプラスタイプの少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムのキャストに関するリアルタイムのニュース記事であってもよく、プログラムのキャストが主演に登場する映画をお勧めするサービスであってもよい。
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションは映像表示装置１００内のＡＣＲエンジンから現在認識されたプログラムコンテンツ情報を獲得し、プログラムに関するコンテンツ要求メッセージを第三者サーバ９０に伝送してＳ２３１１、選択されたサービスタイプに当たる付加データを要求する。この際、プログラムに関するコンテンツ要求メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに対する情報及び放送局コンテンツ提供サーバ１０のＵＲＬを含む。
第三者サーバ９０は伝達されたＧｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤに当たるプログラムの付加データを探すためにメタデータデータ記憶所を検索するＳ２３１３。メタデータ記憶所はＧｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤに当たるプログラムの付加データに対する検索結果を第三者サーバ９０にリターンする。
第三者サーバ９０は伝達された放送局コンテンツ提供サーバ１０のＵＲＬに接続し、伝達された放送局Ｃｏｎｔｅｎｔ ＩＤとｔｉｍｅｓｔａｍｐを含むメタデータ要求メッセージをコンテンツ提供サーバ１０に伝送してＳ２３１７、現在の場面に関する付加データをコンテンツ提供サーバ１０に要求する。
第三者サーバ９０はコンテンツ提供サーバ１０から現在の場面に関する付加データを受信するＳ２３１９。
第三者サーバ９０はメタデータ記憶所から受信したプログラム付加データ及びコンテンツ提供サーバ１０から受信したプログラム付加データのうち一つ又はそれら２つの結合を加工し、加工された付加データを映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションに提供するＳ２３２１。
図２５は、本発明の一実施例による映像表示装置の概念図である。
図２５に示したように、本発明の実施例による概念図の映像表示装置１００はオーディオ／ビデオドライバー（Ａｕｄｉｏ／Ｖｉｄｅｏ ｄｒｉｖｅｒ）６０１、ＡＣＲエンジン６０３、ＡＣＲミドルウェア６０５、ＡＣＲユーザインタフェース６０７、ＡＣＲプラグイン（Ｐｌｕｇｉｎ）６０９を含む。
オーディオ／ビデオドライバー６０１はテレビの外部入力に入ってくるオーディオ／ビデオ信号をキャプチャーしてＡＣＲエンジン６０３に伝達する。オーディオ／ビデオドライバー６０１はＡＣＲエンジン６０３がオーディオ／ビデオバッファに接近可能であるようにＡＰＩを提供してもよい。オーディオ／ビデオドライバー６０１はＨＤＭＩのような外部入力に入ってくるオーディオ／ビデオの特性情報を共に提供する。例えば、オーディオ／ビデオドライバー６０１はオーディオの場合にはＳａｍｐｌｅ ｄｅｐｔｈ，ｓａｍｐｌｅｉｎｇ ｒａｔｅ，ｃｈａｎｎｅｌの数（ｍｏｎｏ／ｓｔｅｒｅｏなど），ｓａｍｐｌｅの数，ｓａｍｐｌｅ時間などの情報を提供する。ビデオの場合、オーディオ／ビデオドライバー６０１はｖｉｄｅｏ ｆｏｒｍａｔ，ｉｎｐｕｔ ｖｉｄｅｏのｗｉｄｔｈ，ｈｅｉｇｈｔ，ｓｔｒｉｄｅ，ｓｔｒｅａｍ時間，ｉｎｐｕｔ ｔｙｐｅ（ＨＤＭＩ１，ＨＤＭＩ２，ｃｏｍｐｏｓｉｔｅ，ｃｏｍｐｏｎｅｎｔなど），秒当たりのｆｒａｍｅの数などの情報を提供する。
ＡＣＲエンジン６０３は別途のプロセス（Ｐｒｏｃｅｓｓ）で実行されてもよく、上述した多様な方式を利用してプログラムを認識する。ＡＣＲエンジン６０３はＡｕｄｉｏ／Ｖｉｄｅｏサンプルからシグネチャを抽出し、抽出したシグネチャをＡＣＲサーバに伝達してコンテンツを認識する。上述したように、ＡＣＲエンジン６０３はフラットフォームの具現に応じてＡｕｄｉｏ／Ｖｉｄｅｏバッファに接近可能なＡＰＩを呼び出してもよく、オーディオ／ビデオドライバー６０１がキャプチャー（ｃａｐｔｕｒｅ）したオーディオ／ビデオストリームをｓｏｃｋｅｔのような方法を介してＡＣＲ ｐｒｏｃｅｓｓに伝達してもよい。ＡＣＲエンジン６０３はＡＣＲサーバにシグネチャと共にＡＣＲ問合せ要求を送り、Ｃｏｎｔｅｎｔ認識が成功するか否か、Ｃｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐ、ｌｅａｎｂａｃｋ ａｐｐ ＵＲＬ，放送局サーバＵＲＬなどを含むＡＣＲ ｑｕｅｒｙ ｒｅｓｐｏｎｓｅをＡＣＲサーバから受信する。ＡＣＲエンジン６０３はＡＣＲサーバから伝達された結果をＡＣＲミドルウェア６０５に伝達する。
ＡＣＲミドルウェア６０５はＤＴＶ ｐｒｅｃｅｓｓのミドルウェアに当たるモジュールであり、ＡＣＲ制御を管理しＡＣＲエンジン６０３からのＡＣＲ問合せ応答を処理する。ＡＣＲミドルウェア６０５はＡＣＲプロセスを実行するか終了するか、ＡＣＲエンジン６０３を開始するか中断することでＡＣＲを制御する。また、ＡＣＲミドルウェア６０５はＡＣＲ問合せ応答をパーシングしてＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどの値も記憶している。ＡＣＲミドルウェア６０５はこの記憶された値をＡＣＲ ＵＩに送るようにＡＰＩを提供するか、ｍｅｓｓａｇｅ ｑｕｅｕｅ、ｇｌｏｂａｌ変数などの方法を介してＡＣＲユーザインタフェース６０７に伝達する。また、ＡＣＲミドルウェア６０５はＬｉｖｅ＋アプリケーションやリーンバックアプリケーションのようなＡＣＲアプリケーションにＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなデータを伝達するためにｓｈａｒｅｄ ｍｅｍｏｒｙ、ｓｏｃｋｅｔなどのＩＣＰ（Ｉｎｔｅｒ−Ｐｒｏｃｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を介してＷｅｂブラウザに伝達する。
ＡＣＲユーザインターフェース（ＡＣＲ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ，ＡＣＲ ＵＩ）６０７はユーザにＡＣＲ Ｏｎ／ＯｆｆのようなＡＣＲを制御するＵＩを表出するか、認識されたプログラムの名前及び時間のような情報をテレビのステータスバーＵＩでユーザに示す。
ＡＣＲミドルウェア６０５がＡＣＲアプリケーションに伝達するためのＣｏｎｔｅｎｔ ＩＤ、Ｇｌｏｂａｌ Ｃｏｎｔｅｎｔ ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなデータをブラウザに伝達さればＡＣＲプラグイン６０９はこのような値を伝達される。ＡＣＲプラグイン９０６はＰｌｕｇｉｎ Ｏｂｊｅｃｔ Ｉｎｔｅｒｆａｃｅを介してＡＣＲアプリケーションに該当値を伝達する。表４は、ＡＣＲプラグイン６０９のＩｎｔｅｒｆａｃｅの一実施例を示す。
Figure 0006294238
表４において、ｍｅｔａｄａｔａは認識されたプログラムに対する基本的なメタデータを提供する。
ｂａｃｋｅｎｄＵＲＬは放送局／ＣＰサーバのＵＲＬを示す。
ｇｅｔＡＣＲＭｅｔａｄａｔａ（）は認識されたプログラムに対する基本的なメタデータを獲得するための関数であり、Ｍｅｔａｄａｔａ Ｐｒｏｐｅｒｔｙと同じ値をリターンする。
ｇｅｔＢａｃｋｅｎｄＵＲＬ（）は放送局／ＣＰサーバのＵＲＬをリターンする関数である。
ＮｏｔｉｆｙＡＣＲＡｐｐＬａｕｎｃｈｅｄ（）は移動端末機のような２ｎｄ Ｓｃｒｅｅｎ及びテレビがｐａｉｒｉｎｇされた際、テレビ上のＡＣＲアプリケーションが特定ＵＲＬ又はａｐｐを実行する場合にそれを２ｎｄ Ｓｃｒｅｅｎのアプリケーションに知らせるための関数である。
ｓｅｔＡｐｐＩｎｆｏ（）ＡＣＲアプリケーションの現在状態と該当アプリケーションの２ｎｄ Ｓｃｒｅｅｎバージョンのａｐｐ ＵＲＬを知らせる関数である。
ｏｎＣｏｎｔｅｎｔＣｈａｎｇｅｄ（）は認識されるプログラムが変更される場合に呼び出されるｃａｌｌｂａｃｋ関数である。
ｏｎＭｅｄｉａＴｉｍｅＵｐｄａｔｅ（）はＡＣＲを介してｔｉｍｅｓｔａｍｐが変更されるたびに呼び出されるｃａｌｌｂａｃｋ関数である。
ｏｎＡｐｐＳｈｏｗ（）はテレビと２ｎｄ Ｓｃｒｅｅｎ間でｐａｉｒｉｎｇされた状態で２ｎｄ Ｓｃｒｅｅｎにあるアプリケーションがテレビに移動する際に呼び出されるｃａｌｌｂａｃｋ関数である。
ｏｎＡｐｐＨｉｄｅ（）はテレビと２ｎｄ Ｓｃｒｅｅｎ間でｐａｉｒｉｎｇされた状態でテレビにあるアプリケーションが２ｎｄ Ｓｃｒｅｅｎに移動する際に呼び出されるｃａｌｌｂａｃｋ関数である。
図２６は、本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジーを示すブロック図である。
図２６に示したように、本発明の他の実施例によるネットワークトポロジーはビデオフィンガープリントサーバ２３及びオーディオフィンガープリントサーバ２４を更に含む。
図２６に示したビデオフィンガープリントサーバ２３はメイン視聴覚コンテンツに変形を加えることはなく、メイン視聴覚コンテンツから視覚的なビデオ特徴情報を抽出して記憶する。次に、ビデオフィンガープリントサーバ２３は映像表示装置１００からのビデオ特徴情報を受信すれば受信したビデオ特徴情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
一方、図２６に示したオーディオフィンガープリントサーバ２４はメイン視聴覚コンテンツに変形を加えることはなく、メイン視聴覚コンテンツから聴覚的なオーディオ特徴情報を抽出して記憶する。次に、オーディオフィンガープリントサーバ２４は映像表示装置１００からのオーディオ特徴情報を受信すれば受信したオーディオ特徴情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
この際、図２６に示した映像表示装置１００はビデオ特徴情報とオーディオ特徴情報が同時に使用される場合、ビデオフィンガープリントサーバ２３又はオーディオフィンガープリントサーバ２４それぞれに別々に接続すべきである。
図２７は、本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジーを示すブロック図である。
図２７に示したように、本発明の他の実施例によるネットワークトポロジーはビデオ特徴情報及びオーディオ特徴情報をそれぞれ記憶したフィンガープリントサーバ２２を更に含む。
図２７に示したフィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えることはなく、メイン視聴覚コンテンツから視覚的なビデオ特徴情報又は聴覚的なオーディオ特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置１００からのビデオ特徴情報を受信すれば受信したビデオ特徴情報に当たる視聴覚コンテンツの識別子と時間情報を提供し、映像表示装置１００からのオーディオ特徴情報を受信すれば受信したオーディオ特徴情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
この際、図２７に示した映像表示装置１００はビデオ特徴情報とオーディオ特徴情報が同時に使用される場合でも一つのフィンガープリントサーバ２２に接続すれば十分である。
図２８は、本発明の他の実施例によるフィンガープリントに基づく映像表示装置の構造を示すブロック図である。
図２８において、Ｔｕｎｅｒ／Ｄｅｍｏｄｕｌａｔｏｒ／Ｄｅｍｕｘ３０１は受信された地上波放送信号（ＲＦ、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）をアナログオーディオビデオ信号に復元した後、復元されたアナログオーディオビデオ信号をＡＤＣ／ＡＶ Ｄｅｃｏｄｅｒ３０３に伝送する。
ＡＤＣ／ＡＶ Ｄｅｃｏｄｅｒ３０３はアナログオーディオビデオ信号、アナログビデオ信号又はアナログオーディオ信号をデジタルオーディオビデオ信号、デジタルビデオ信号又はデジタルオーディオ信号に転換した後、転換されたデジタル信号をディコーディングする。
アナログオーディオビデオ信号は、例えばＴｕｎｅｒ／Ｄｅｍｏｄｕｌａｔｏｒ／Ｄｅｍｕｘ３０１が復元したアナログオーディオビデオ信号であってもよく、アナログビデオ信号は、例えば外部入力装置から伝送されたアナログビデオ信号（Ｃｏｍｐｏｓｉｔｅ／Ｓ−ｖｉｄｅｏ／Ｃｏｍｐｏｎｅｎｔ／ＲＧＢ）であってもよく、アナログオーディオ信号は、例えば外部入力装置から伝送されたアナログオーディオ信号（Ａｕｄｉｏ）であってもよい。
Ｄｅｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はデジタルオーディオビデオ信号、デジタルビデオ信号又はデジタルオーディオ信号などを処理する。
Ｄｅｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はＡＤＣ／ＡＶ Ｄｅｃｏｄｅｒ３０３がディコーディングしたデジタルオーディオビデオ信号、デジタルビデオ信号又はデジタルオーディオ信号などを処理する。また、Ｄｅｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はＨＤＭＩ又はＤＶＩを介して外部入力装置から伝送されたデジタルオーディオビデオ信号、デジタルビデオ信号又はデジタルオーディオ信号のうち少なくとも一つを処理してもよい。
Ｄｅｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はオーディオストリームをキャプチャーしてオーディオサンプル（Ａｕｄｉｏ ｓａｍｐｌｅ）を生成した後、生成されたオーディオサンプルをＡｕｄｉｏ ＦＰ ｍｏｄｕｌｅ３０７に伝送する。また、Ｄｅｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はビデオストリームをキャプチャーしてビデオサンプル（Ｖｉｄｅｏ ｓａｍｐｌｅ）を生成した後、生成されたビデオサンプルをＶｉｄｅｏ ＦＰ ｍｏｄｕｌｅ３０９に伝送する。また、Ｄｅｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ３０５はＤｉｓｐｌａｙ３２１に画面情報を伝送する。
Ａｕｄｉｏ ＦＰ ｍｏｄｕｌｅ３０７はオーディオサンプルを分析及び処理してオーディオ特徴情報（Ａｕｄｉｏ Ｓｉｇｎａｔｕｒｅ）を抽出する。
Ｖｉｄｅｏ ＦＰ ｍｏｄｕｌｅ３０９はビデオサンプルを分析及び処理してビデオ特徴情報（Ｖｉｄｅｏ Ｓｉｇｎａｔｕｒｅ）を抽出する。
Ｎｅｔｗｏｒｋ Ｉ／Ｆ３１１は上述したオーディオフィンガープリントサーバ２４又はオーディオフィンガープリントサービスが可能なフィンガープリントサーバ２２にオーディオ特徴情報を伝送しながら現在再生中のメイン視聴覚コンテンツのコンテンツ情報を問合せし、オーディオフィンガープリントサーバ２４又はオーディオフィンガープリントサービスが可能なフィンガープリントサーバ２２から問合せ結果を受信する（Ｑｕｅｒｙ／Ｒｅｓｏｉｎｓｅ）。
Ｎｅｔｗｏｒｋ Ｉ／Ｆ３１３は上述したビデオフィンガープリントサーバ２３又はビデオフィンガープリントサービスが可能なフィンガープリントサーバ２２にビデオ特徴情報を伝送しながら現在再生中のメイン視聴覚コンテンツのコンテンツ情報を問合せし、ビデオフィンガープリントサーバ２３又はビデオフィンガープリントサービスが可能なフィンガープリントサーバ２２から問合せ結果を受信する。
Ａｕｄｉｏ Ｑｕｅｒｙ Ｒｅｓｕｌｔ Ｐａｒｓｅｒ３１５はオーディオフィンガープリントサーバ２４又はオーディオフィンガープリントサービスが可能なフィンガープリントサーバ２２から伝送された問合せ結果（Ｑｕｅｒｙ Ｒｅｓｕｌｔ）を分析し、映像表示装置１００が必要とするメタデータを抽出する。
Ｖｉｄｅｏ Ｑｕｅｒｙ Ｒｅｓｕｌｔ Ｐａｒｓｅｒ３１７はビデオフィンガープリントサーバ２３又はビデオフィンガープリントサービスが可能なフィンガープリントサーバ２２から伝送された問合せ結果を分析し、映像表示装置１００が必要とするメタデータを抽出する。
メタデータ記憶装置（Ｍｅｔａｄａｔａ Ｓｔｏｒａｇｅ）３１０は抽出されたメタデータを記憶する。
表示装置（Ｄｉｓｐｌａｙ）３２１は場面に関する情報を画面上に示す。
図２９は、本発明の実施例によるフィンガープリント機能を制御するためのユーザインタフェースを示す。
図２９に示したように、再生制御部１１３はフィンガープリント機能設定ウィンドウをディスプレーする。ユーザはフィンガープリント機能設定ウィンドウを介してフィンガープリント機能を活性化させてもよく、非活性化させてもよい。
フィンガープリント機能が活性化された場合、ユーザはフィンガープリント設定モードを選択してもよい。本発明の実施例によるフィンガープリント設定モードは手動設定モード、自動設定モードのうち一つに設定される。
フィンガープリントの手動設定モードが活性化された場合、ユーザはシグネチャモードを選択してもよい。本発明の実施例によるシグネチャモードはオーディオシグネチャモード、ビデオシグネチャモード、オーディオ及びビデオシグネチャモードのうち一つに設定される。
また、フィンガープリントの手動設定モードが活性化された場合、ユーザはシグネチャ伝送周期を選択してもよい。シグネチャ伝送周期は映像表示装置１００の機能に応じて異なり、映像表示装置１００が自動的にシグネチャ伝送周期を設定してもよい。映像表示装置１００が自動的にシグネチャ伝送周期を設定する場合、映像表示装置１００は予め決められたデフォルト値をシグネチャ伝送周期として設定するか、シグネチャが伝送されるネットワーク環境に応じてシグネチャ伝送周期を設定してもよい。
フィンガープリントの自動設定モードが活性化された場合、ユーザはシグネチャモードを選択してもよい。本発明の実施例によるシグネチャモードはオーディオ優先モード、ビデオ優先モード、オーディオ・ビデオ同時モードのうち一つに設定される。
オーディオ優先モードはオーディオ特徴情報に対する問合せ結果に失敗すれば自動的にビデオ特徴情報が含まれた問合せを伝送するモードである（Ａｕｄｉｏ Ｆｉｒｓｔ，ｔｈｅｎ Ｖｉｄｅｏ Ｆｉｎｇｅｒｐｒｉｔｉｎｇ）。ビデオ優先モードはビデオ特徴情報に対する問合せ結果に失敗すれば自動的にオーディオ特徴情報が含まれた問合せを伝送するモードである（Ｖｉｄｅｏ Ｆｉｒｓｔ，ｔｈｅｎ Ａｕｄｉｏ Ｆｉｎｇｅｒｐｒｉｔｉｎｇ）。オーディオ・ビデオ同時モードはオーディオ特徴情報が含まれた問合せ及びビデオ特徴情報が含まれた問合せを同時に伝送するモードである（Ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ ｃｏｎｃｕｒｒｅｎｔｌｙ）。本発明の実施例によるシグネチャモードにおいて、シグネチャ伝送周期は上述したように映像表示装置１００によって自動的に設定されてもよいが、それに限ることはない。
このようにフィンガープリント機能のモードが設定されると、再生制御部１１３は設定情報を設定情報記憶部１５４に記憶する。
一方、オーディオ特徴情報が含まれた問合せ及びビデオ特徴情報が含まれた問合せが同時に伝送される場合、映像表示装置１００のリソース使用が増加して性能が阻害される恐れがある。映像表示装置１００の性能低下を防止するために、シグネチャ伝送周期がネットワーク環境の状態に応じて変更される必要がある。以下、図３０及び図３１を参照して本発明の一実施例によるシグネチャ伝送周期の変化を説明する。
図３０は、本発明の一実施例によるフィンガープリントの周期変化を説明するための図である。
図３０において、映像表示装置１００はコンテンツが認識されなければＡフィンガープリント（Ａ ＦＰ）周期及びＢフィンガープリント（Ｂ ＦＰ）周期を全て素早く設定し、コンテンツが認識されればＢフィンガープリント周期を遅くして映像表示装置１００のリソース使用を減少させる。この際、Ａフィンガープリント又はＢフィンガープリントはそれぞれオーディオ特徴情報又はビデオ特徴情報を意味し、Ａフィンガープリント周期、Ｂフィンガープリント周期はシグネチャ伝送周期を意味する。
図３１は、本発明の他の実施例によるフィンガープリント周期の変化を説明するための図である。
図３１において、映像表示装置１００はコンテンツが認識された後Ａフィンガープリント周期及びＢフィンガープリント周期を遅くしておき、Ｂフィンガープリンティングに失敗すればフＡィンガープリント周期のみを更に速く設定する。この際、Ｂフィンガープリンティングはオーディオ特徴情報又はビデオ特徴情報が含まれた問合せの伝送を意味し、Ｂフィンガープリンティングの失敗はオーディオ特徴情報又はビデオ特徴情報に対する問合せ結果が失敗であることを意味する。
結果的に、本発明の実施例によるフィンガープリント周期の変化によると、複数のフィンガープリンティングを適用した映像表示装置１００が失敗したフィンガープリンティンングのためのリソース使用を減らし、成功したフィンガープリンティングのためのリソース使用を増やして、コンテンツ認識効率を増加させる長所がある。
コンテンツ情報を獲得するためのフィンガープリントの利用の際には多様な要素が影響を及ぼし、状況に応じて多様な設定がそれぞれ適用される。そのためのフィンガープリント基板のＡＣＲのための設定情報も同じく上述した設定情報記憶部１５４に記憶される。このようなＡＣＲのための設定情報に基づいてビデオ特徴情報とオーディオ特徴情報が同時に使用される場合、ビデオ特徴情報とオーディオ特徴情報を組み合わせる方式などが導出される。ＡＣＲのための設定情報はユーザ入力又は映像表示装置１００の探知を介して獲得されるか、コンテンツ提供サーバ１０又はフィンガープリントサーバ２２のようなコンテンツ認識提供サーバ２０から提供される。
再生制御部１１３は設定情報記憶部１５４に記憶されたＡＣＲのための設定情報に基づいて動作する。又は、再生制御部１１３は外部から、例えばコンテンツ提供サーバ１０又はフィンガープリントサーバ２２から提供されたＡＣＲ動作に影響を及ぼす情報に基づいて動作してもよい。
ＡＣＲのための設定情報は外部入力インターフェースの種類による信号入力に対する情報、シグネチャ伝送周期に対する情報、ビデオ特徴情報抽出領域であるサンプリングウィンドウ（ｓａｍｐｌｉｎｇ ｗｉｎｄｏｗ）に対する情報、オーディオ特徴情報に対応する問合せ結果とビデオ特徴情報に対応する問合せ結果が異なる場合の優先順位判断に対する情報などを含む。
外部入力インタフェースの種類による信号入力に対する情報は複数の外部入力インタフェースそれぞれを介して入力された信号がオーディオ信号及びビデオ信号を含むのか否かに対する情報、オーディオ信号及びビデオ信号それぞれのフォーマット情報を含む。
映像表示装置１００は複数の外部入力インタフェースそれぞれを介して入力された信号がオーディオ信号及びビデオ信号を含むのか否かに対する情報に基づいて動作する。例えば、映像表示装置１００は第１外部入力インタフェースを介して入力された信号がオーディオ信号を含んでいないという情報に基づいて第１外部入力インタフェースから受信される信号からはビデオ特徴情報のみを抽出して利用する。また、映像表示装置１００は設定情報記憶部１５４に記憶されたオーディオ信号及びビデオ信号それぞれのフォーマット情報を利用してコンテンツ認識動作をより速く行う。
映像表示装置１００はこのような外部入力インタフェースの種類に応じた信号入力に対する情報を外部入力インタフェースの種類によってそれぞれ収集及び記憶し、最も最近入力された信号に対する情報を記憶する。また、映像表示装置１００は外部入力インタフェースに連結された大部入力装置の識別が可能な場合には各外部入力装置の種類による信号入力に対する情報も記憶する。例えば、映像表示装置１００はＨＤＭＩを介して連結された外部入力装置の情報を獲得することができるため、各外部入力装置の種類に応じて該当外部入力装置の情報を記憶する。一方、映像表示装置１００はこのような外部入力装置の情報を知らない場合には最も最近入力された信号に対する情報を記憶してもよい。
シグネチャ伝送周期に対する情報はいくら頻繁にシグネチャ伝送を行うのかに対する情報を意味し、例えば５秒のような時間周期に設定される。シグネチャ伝送周期は基本的なシグネチャ伝送周期だけでなく、ビデオ特徴情報とオーディオ特徴情報が同時に使用される場合にはビデオ特徴情報とオーディオ特徴情報を組み合わせて利用する周期を含む。ビデオ特徴情報がシグネチャとして利用されれば映像表示装置１００のコンテンツ認識速度が速い一方、大容量のデータを処理するためにＣＰＵ使用量などのリソース消耗量が増える短所がある。よって、映像表示装置１００のコンテンツ認識速度とリソース消耗量を適切に調節するためにシグネチャ伝送周期を動的に設定してもよく、このようなシグネチャ伝送周期の設定に対する情報などがＡＣＲのための設定情報として記憶される。
シグネチャ伝送周期の設定に対する情報は、例えば初期コンテンツ認識のためにビデオ特徴情報又はビデオ特徴情報及びオーディオ特徴情報が同時に利用されること、コンテンツが認識された後にはオーディオ特徴情報を介して同じサービス又は同じコンテンツを視聴中であると確認される場合に限ってビデオ特徴情報伝送周期が次第に延長されること、オーディオ特徴情報などを介して視聴中のサービス又はコンテンツの変更が探知されると直ちにビデオ特徴又はビデオ特徴情報及びオーディオ特徴情報を介して正確なコンテンツ認識が試みられることに対する情報などを含む。この際、ビデオ特徴情報伝送周期は、例えば同じコンテンツ視聴時点から５分以内には５秒、同じコンテンツ視聴時点から５分が経過してから１０分以内には１０秒、同じコンテンツ視聴時点から１０分が経過してから１５分以内には２０秒に増加され、同じコンテンツ視聴時点から１５分が経過してからは視聴時間が５分ずつ増加することで２倍に増加される方式に延長されてもよいが、それに限ることはない。
ビデオ特徴情報抽出領域であるサンプリングウィンドウに対する情報は事業者によってそれぞれ異なる放送受信装置のＧＵＩ特性情報に応じて指定される。即ち、フィンガープリントサーバ２２は映像表示装置１００から伝送されたビデオ特徴情報に対応する問合せ結果が失敗であれば映像表示装置１００のパターンヒストリを分析して放送受信装置又はマルチチャネルビデオ分配者の事業者を推定し、該当事業者の放送受信装置又はマルチチャネルビデオ分配者のＧＵＩ特性情報を考慮してサンプルウィンドウを指定する。よって、映像表示装置１００は映像表示装置１００自体の種類、放送受信装置又はマルチチャネルビデオ分配者の種類に応じてそれぞれ異なるサンプリングウィンドウを利用する。映像表示装置１００はこのようなサンプリングウィンドウに対する情報をＡＣＲのための設定譲歩として記憶した後、該当サンプリングウィンドウが含まれた問合せを最初から要求してもよい。
オーディオ特徴情報に対応する問合せ結果とビデオ特徴情報に対応する問合せ結果が相異なる場合、優先順位判断に対する情報は優先順位として判断される情報を予め指定する方法又は優先順位として判断される情報をアルゴリズムを介して計算する方法を含む。特に、一つの情報を予め指定する方法とアルゴリズムを介して優先順位情報を判断する方法がそれぞれ異なる場合、映像表示装置１００はＡＣＲのための設定情報として指定された優先順位判断に対する情報に基づいていずれか一つの情報をシグネチャとして決定する。
図３２は、本発明の一実施例によるフィンガープリントに基づくネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアグラムである。
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出してＡＣＲ問合せ周期を決定するＳ２４０１。
放送局／ＣＰは自ら保有した全てのプログラムに対してＡＣＲ ＤＢを構築してもよく、特定プログラムに対してＡＣＲ ＤＢを構築してもよい。特定プログラム、例えば放送局／ＣＰが保有したプログラムのうち人気のあるプログラムに対してＡＣＲ ＤＢを構築する場合、サーバ維持コストを減らしプログラム識別のための照会にかかる時間を減少させることができる。
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを利用してプログラムのフィンガープリントを抽出し、該当プログラムのＡＣＲ 問合せ周期を決定して抽出されたフィンガープリントと共に記憶する。
該当プログラムのＡＣＲ問合せ周期はコンテンツの特性に応じて決定される。
例えば、ＡＣＲ問合せ周期はコンテンツに関する付加サービスの有無に応じて決定される。コンテンツに関する付加サービスがない場合にはＡＣＲ問合せ周期は該当プログラムが終了される時間として決定される一方、コンテンツに関する付加サービスがある場合にはＡＣＲ問合せ周期はより短縮される。コンテンツに関する付加サービスがなければ不必要なＡＣＲ問合せが伝送されないように該当プログラムが終了される場合にのみＡＣＲ問合せが伝送されてコストが節減される。一方、コンテンツに関する付加サービスがあればＡＣＲ問合せが短く設定されて該当プログラムに対して同期化された付加サービスが提供される。
他の例として、ＡＣＲ問合せ周期は放送局の視聴率調査のようなＡＣＲ問合せ目的に応じて決定される。よって、放送局はコンテンツに関する付加サービスがない場合でも視聴率を調査するためにＡＣＲ問合せ周期を３秒などに短く設定してもよい。
このように、コンテンツ提供サーバ１０はチャネル別又はコンテンツ別に放送局のＡＣＲ問合せの活用目的、コンテンツの特徴などに適合するようにＡＣＲ問合せ周期をそれぞれ異なるように決定する。
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び決定されたＡＣＲ問合せ周期を伝送するＳ２４０３。この際、コンテンツ提供サーバ１０は該当プログラムに対するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ１０はプログラムが放送として送出される前又はフィンガープリントの抽出と同時にフィンガープリント及びＡＣＲ問合せ周期を伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに対するフィンガープリント及びＡＣＲ問合せ周期を該当プログラムが放送として送出される前にフィンガープリントサーバ２２に伝送する。又は、放送局／ＣＰは生放送のプログラムが放送されている場合にはリアルタイムに該当生放送のプログラムに対するフィンガープリントを抽出し、抽出されたフィンガープリント及びＡＣＲ問合せ周期をフィンガープリントサーバ２２に伝送してもよい。
フィンガープリントサーバ２２は受信されたフィンガープリント及びＡＣＲ問合せ周期を記憶するＳ２４０５。フィンガープリントサーバ２２はＡＣＲ ＤＢに該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、ＡＣＲ失語周期を記憶する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２４０７。
フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第１ＡＣＲ問合せ周期を含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２４０９。この際、ＡＣＲ問合せ応答メッセージには第１ＡＣＲ問合せ周期以外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ問合せ応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３３と表５を参照して説明する。
図３３は、本発明の他の実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図３３に示したように、問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＱｕｅｒｙＩｎｔｅｒｖａｌ，Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有するとこれは問合せ結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有するとこれは問合せ結果が失敗であることを意味する。
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出されたコンテンツ区間の開始時間、終了時間のうち一つ以上を含む。
ＱｕｅｒｙＩｎｔｅｒｖａｌエレメントはＡＣＲ問合せ周期を意味し、次のＡＣＲ問合せ（Ｎｅｘｔ ＡＣＲ Ｑｕｅｒｙ）の伝送時間を示す。次のＡＣＲ問合せ時間は絶対時間又は相対時間を意味する。絶対的なＡＣＲ問合せ時間は次のＡＣＲ問合せが伝送される時刻を示し、相対的なＡＣＲ問合せ時間は次のＡＣＲ問合せが伝送されるまで待つべき時間（ｗａｉｔ ｔｉｍｅ）を示す。
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされていると確信する場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
表５は、このような問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 0006294238
更に図３２を説明する。
次に、第１ＡＣＲ問合せ周期に当たる時間が経過した後、映像表示装置１００がメイン視聴覚コンテンツの他の一部フレーム又は他の一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するとＳ２４１１、フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第２ＡＣＲ問合せ周期を含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２４１３。
また、第２ＡＣＲ問合せ周期に当たる時間が経過した後、映像表示装置１００がメイン視聴覚コンテンツの他の一部フレーム又は他の一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するとＳ２４１５、フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第３ＡＣＲ問合せ周期を含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２４１７。
この際、第１乃至第３ＡＣＲ問合せ周期は同じであるかそれぞれ異なり得る。
以下、図３４と表６乃至表７を参照して本発明の実施例によるＡＣＲ問合せ周期決定方法を説明する。
図３４は、本発明の一実施例によるフィンガープリントに基づくネットワークトポロジーに含まれた複数の映像表示装置それぞれのフィンガープリント周期を説明するための図である。
図３４において、Ｐｒｏｇｒａｍ Ａは関連する付加サービスがない１時間分量のプログラムであり、Ｐｒｏｇｒａｍ Ｂは関連する付加サービスがある３０間分量のプログラムである。それによって、放送局はＰｒｏｇｒａｍ Ａ及びＰｒｏｇｒａｍ Ｂに対してＡＣＲ ＤＢを構築したが、Ｐｒｏｇｒａｍ Ａに対するＡＣＲ問合せ頻度が最低に設定された一方、人気のあるプログラムであるＰｒｏｇｒａｍ Ｂに対するＡＣＲ問合せ頻度はより高く設定された状態である。
図３４を参照すると、第１映像表示装置（装置１）が第１時点ｔ１にチャネルを変更してＰｒｏｇｒａｍ Ａの再生を開始すると、フィンガープリントサーバ２２から表６のようなＡＣＲ問合せ応答を受信する。
Figure 0006294238
表６において、ＱｕｅｒｙＩｎｅｒｖａｌは下記ＡＣＲ問合せが伝送されるまで待つべき相対的なＡＣＲ問合せであり、秒（ｓｅｃｏｎｄ）単位を有する。また、ＮＴＰＴｉｍｅｓｔａｍｐはコンテンツの現在再生時間を示し、コンテンツの開始時間から相対的な時間で表示され、ミリ秒（ｍｉｌｉｓｅｃｏｎｄ）の単位を有する。ちなみに、ＱｕｅｒｙＩｎｔｅｒｖａｌ及びＮＴＰＴｉｍｅｓｔａｍｐが示す内容及び単位は下記表７乃至図９で同じである。
表６を参照すると、第１映像表示装置（装置１）はＡＣＲ問合せ応答を受信してから２７００秒、即ち、４５分が経過した時点である３ａ時点ｔ３ａに次のＡＣＲ問合せを要求する。また、第１映像表示装置（装置１）の現在視聴時点はＰｒｏｇｒａｍ Ａの開始時点から９０００００ミリ秒、即ち、１５分が経過した時点であることが分かる。
更に図３４を参照すると、第２映像表示装置（装置２）が第２時点ｔ２にチャネルを変更してＰｒｏｇｒａｍ Ａの再生を開始すると、フィンガープリントサーバ２２から表7のようなＡＣＲ問合せ応答を受信する。
Figure 0006294238
表７を参照すると、第２映像表示装置（装置２）はＡＣＲ問合せ応答を受信してから９０５秒、即ち、１５分５秒が経過した時点である第３ｂ時点ｔ３ｂに次のＡＣＲ問合せを要求する。また、第２映像表示装置（装置２）の現在視聴時点はＰｒｏｇｒａｍ Ａの開始時点から２７０００００ミリ秒、即ち、４５分が経過した時点であることが分かる。
この際、放送局は複数の映像表示装置から複数のＡＣＲ問合せが同時に伝送されることを防止するために各映像表示装置ごとにＡＣＲ問合せ周期をそれぞれ異なるように決定してもよい。例えば、表６及び表７に示したように、第１映像表示装置（装置１）が次のＡＣＲ問合せを伝送する時間及び第２映像表示装置（装置２）が次のＡＣＲ問合せを伝送する時間の間に５秒の時間差が発生するようにＡＣＲ問合せ周期が設定される。
更に図３４を参照すると、第１映像表示装置（装置１）が第３ａ時点ｔ３ａに次のＡＣＲ問合せを要求すると、フィンガープリントサーバ２２から表８のようなＡＣＲ問合せ応答を受信する。この際、第３ａ時点ｔ３ａはＰｒｏｇｒａｍ Ｂの再生が開始される時点である。
Figure 0006294238
表８を参照すると、第１映像表示装置（装置１）はＡＣＲ問合せ応答を受信してから３００秒、即ち、５分が経過した時点である第４時点ｔ４に次のＡＣＲ問合せを要求する。また、第１映像表示装置（装置１）の現在視聴時点はＰｒｏｇｒａｍ Ｂの開始時点であることが分かる。
更に図３４を参照すると、第２映像表示装置（装置２）が第３ｂ時点ｔ３ｂに次のＡＣＲ問合せを要求すると、フィンガープリントサーバ２２から表９のようなＡＣＲ問合せ応答を受信する。この際、第３ｂ時点ｔ３ｂはＰｒｏｇｒａｍ Ｂの再生開始後５秒が経過した時点である。
Figure 0006294238
表９を参照すると、第２映像表示装置（装置２）はＡＣＲ問合せ応答を受信してから３００秒、即ち、５分が経過した時点（図示せず）に次のＡＣＲ問合せを要求する。また、第１映像表示装置（装置１）の現在視聴時点はＰｒｏｇｒａｍ Ｂの開始時点から５０００ミリ秒、即ち、５秒が経過した時点であることが分かる。
図３５は、本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアグラムである。
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出してフィンガープリントタイプを決定するＳ２５０１。
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを利用してプログラムのフィンガープリントを抽出し、該当プログラムのフィンガープリントタイプを決定して抽出されたフィンガープリントと共に記憶する。
該当プログラムのフィンガープリントタイプはコンテンツの特性に応じてビデオフィンガープリント、オーディオフィンガープリントのうち一つ以上を含むタイプに決定される。
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び決定されたフィンガープリントタイプを伝送するＳ２５０３。この際、コンテンツ提供サーバ１０は該当プログラムに対するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ１０はプログラムが放送として送出される前又はフィンガープリント抽出と同時にフィンガープリント及びフィンガープリントタイプを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに対するフィンガープリント及びフィンガープリントタイプを該当プログラムが放送として送出される前にフィンガープリントサーバ２２に伝送する。又は、放送局／ＣＰは生放送のプログラムが放送されている場合にはリアルタイムに該当生放送のプログラムに対するフィンガープリントを抽出し、抽出されたフィンガープリント及びフィンガープリントタイプをフィンガープリントサーバ２２に伝送してもよい。
フィンガープリントサーバ２２は受信されたフィンガープリントフィンガープリントタイプを記憶するＳ２５０５。フィンガープリントサーバ２２はＡＣＲ ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、フィンガープリントタイプを記憶する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２５０７。
この際、映像表示装置１００が抽出したフィンガープリントデフォルト（ｄｅｆａｕｌｔ）タイプのフィンガープリントである。映像表示装置１００から抽出されたフィンガープリントのデフォルトタイプは該当コンテンツを保有した放送局に応じてそれぞれ異なり得るが、ネットワークに含まれた複数の映像表示装置それぞれから抽出されたフィンガープリントのデフォルトタイプのそれぞれ異なり得る。
フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する次のフィンガープリントタイプを含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２５０９。
この際、ＡＣＲ問合せ応答メッセージは次のフィンガープリントタイプ以外にも多様な種類のコンテンツ情報を含む。以下、ＡＣＲ問合せ応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３６と表１０を参照して説明する。
図３６は、本発明の他の実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図３６に示したように、問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＮｅｘｔＦＰＴｙｐｅ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有するとこれは問合せ結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有するとこれは問合せ結果が失敗であることを意味する。
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出されたコンテンツ区間の開始時間、終了時間のうち一つ以上を含む。
ＮｅｘｔＦＰＴｙｐｅエレメントは次のフィンガープリントライプを意味し、映像表示装置１００から抽出されてフィンガープリントサーバ２２でマッピングの対象になるフィンガープリントの種類を示す。ＮｅｘｔＦＰＴｙｐｅエレメントは図面符号Ｓ２５０１で放送局がコンテンツの特性に応じて予め決定した該当プログラムのフィンガープリントタイプを意味する。この際、次のフィンガープリントタイプはビデオフィンガープリント、オーディオフィンガープリントのうち一つ以上を含むタイプである。コンテンツの特性に応じて一つのコンテンツ当たり一つのフィンガープリントタイプが決定されてもよく、一つのコンテンツ当たりのタイムスタンプに応じてそれぞれ異なるタイプの複数のフィンガープリントタイプが決定されてもよい。
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされていると確信する場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
表１０は、このような問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 0006294238
更に図３５を説明する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２５１１。
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２５０９で受信されたＡＣＲ問合せ応答メッセージに含まれた次のフィンガープリントタイプのフィンガープリントである。
フィンガープリントサーバ２２は図面符号Ｓ２５１１で受信されたＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する次のフィンガープリントタイプを含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２５１３。
以下、表１３乃至表１５を参照して本発明の実施例によるフィンガープリントタイプの決定基準とＡＣＲ問合せ応答を説明する。
第一、スポーツ中継のように類似した映像を多数のチャネルで放送するコンテンツはビデオ特性情報でプログラムを識別しにくい特性がある。但し、類似した映像を多数のチャネルで放送するコンテンツは放送局ごとに中継解説によるオーディオ信号が異なる可能性があり、オーディオ特性情報で該当プログラムを識別することができるため各放送局はフィンガープリントタイプをオーディオフィンガープリントとして予め決定する。
このような第一の場合、プログラムが始まるかチャネルの変更によって該当プログラムが視聴対象になればテレビのような映像表示装置１００は該当プログラムから抽出されたフィンガープリントが含まれたＡＣＲ問合せ要求メッセージをフィンガープリントサーバ２２に伝送する。この際、映像表示装置１００は予め決められたデフォルトタイプのフィンガープリントを抽出するかオーディオフィンガープリント及びビデオフィンガープリントを一緒に抽出することができるが、それに限ることはない。
ＡＣＲ問合せ要求メッセージを受信したフィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムの予め決められた次のフィンガープリントタイプを含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供する。表１１は、第一の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ問合せ応答を示す。
Figure 0006294238
表１１に示したように、第一の場合の次のフィンガープリントタイプはオーディオフィンガープリントタイプである。
第二、祝日の記念式典や演説又は一つの放送局が他の放送局で製作及び放送されたコンテンツを購入して再放送するなどのシンジケーテッドプログラム（ｓｙｎｄｉｃａｔｅｄ ｐｒｏｇｒａｍ）は、オーディオのみではコンテンツ自体を識別することはできるが放送主体である放送局を識別することができないため、放送局に応じたコンテンツを識別することができない。
このような第二の場合、ビデオフィンガープリントとしてコンテンツ及び放送局ロゴが識別される必要がある。又は、オーディオフィンガープリントとしてコンテンツが識別されながら追加にビデオフィンガープリントとして放送局ロゴが識別されてもよいが、それに限ることはない。
表１２は、第二の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ問合せ応答を示す。
Figure 0006294238
表１２に示したように、第二の場合の次のフィンガープリントタイプはオーディオ及びビデオ（ａｕｄｉｏａｎｄｖｉｄｅｏ）フィンガープリントタイプである。
第三、ドラマや映画でＢＧＭが流れる間には該当コンテンツを識別することができない瞬間がある。第三の場合、コンテンツのタイムラインに応じてフィンガープリントタイプを変更すれば該当コンテンツをより明確に識別することができる。この際、映像表示装置１００が予め決められた周期に応じてＡＣＲ問合せ要求を伝送すると、フィンガープリントサーバ２２は該当コンテンツの種類に応じて予め決められた時間に予め決められたフィンガープリントタイプが含まれたＡＣＲ問合せ要求を送る。この際、映像表示装置１００は受信されたＡＣＲ問合せ応答に含まれたフィンガープリントタイプのフィンガープリントを抽出して次のＡＣＲ問合せ要求に含ませる。
表１３は、第三の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ問合せ応答を示す。
Figure 0006294238
表１３に示したように、第三の場合の次のフィンガープリントタイプはコンテンツの現在の再生時間（ＮＴＰＴｉｍｅｓｔａｍｐ）に応じて変更される。例えば、コンテンツの現在の再生時間が３０００００秒、即ち、５分である際の次のフィンガープリントタイプはオーディオフィンガープリントタイプであり、コンテンツの現在の再生時間が９０００００秒、即ち、１５分である際の次のフィンガープリントタイプはビデオフィンガープリントタイプである。
一方、ｃａｐｔｉｏｎ又はｓｕｂｔｉｔｌｅのような字幕情報が含まれたコンテンツの識別のためにビデオフィンガープリントが使用される場合、ビデオ映像の上に字幕情報がオーバーレイされるとビデオフィンガープリントアルゴリズムによってコンテンツの識別に失敗する可能性がある。
もし、このような場合でもコンテンツの識別に成功すれば、ノイズ（ｎｏｉｓｅ）が含まれたコンテンツの識別を意味するためｆａｌｓｅ ｐｏｓｉｔｉｖｅが発生する。ｆａｌｓｅ ｐｏｓｉｔｉｖｅとは互いに異なるコンテンツを同じコンテンツとして認識する場合を意味し、例えば互いに異なるプログラム間で類似した場面が現れる場合には同じプログラムとして識別される可能性がある。
このようなビデオフィンガープリントによるエラーを防止するためのサンプリングウィンドウを利用したフィンガープリント技法を図３７乃至図４０を参照して説明する。
図３７は、本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアグラムである。
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出してサンプリングウィンドウを指定するＳ２６０１。
サンプリングウィンドウとはコンテンツの全体ビデオ画面のうちからビデオフィンガープリントを抽出するための領域を意味する。この際、サンプリングウィンドウはプログラムで字幕情報が出力される空間を避けて指定されたビデオ領域である。放送局／ＣＰはコンテンツを生成するだけでなくビデオ映像で字幕情報が表示される位置も決定するため、ビデオフィンガープリントのためにサンプリングすべき領域が分かる。
放送局／ＣＰはＡＣＲ事業者が提供するツール（ｔｏｏｌ）を利用してプログラムのフィンガープリントを抽出し、該当プログラムの字幕情報の出力位置に応じたサンプリングウィンドウを指定して抽出されたフィンガープリントと共に記憶する。
この際、字幕情報がプログラムの全体区間にわたって同じ位置で出力される場合、サンプリングウィンドウは該当プログラムに対して常に同じく指定される。一方、字幕情報がプログラムの時間区間に応じてそれぞれ異なる領域で出力される場合、サンプリングウィンドウはプログラムに応じてそれぞれ異なるように指定される。
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び指定されたサンプリングウィンドウを伝送するＳ２６０３。この際、コンテンツ提供サーバ１０は該当プログラムに対するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ１０はプログラムが放送として送出される前又はフィンガープリントの抽出と同時にフィンガープリント及びサンプリングウィンドウを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに対するフィンガープリント及び指定されたサンプリングウィンドウを該当プログラムが放送として送出される前にフィンガープリントサーバ２２に伝送する。また、放送局／ＣＰは生放送のプログラムが放送されている場合、リアルタイムに該当生放送のプログラムに対するフィンガープリントを抽出し、抽出されたフィンガープリント及びサンプリングウィンドウをフィンガープリントサーバ２２に伝送してもよい。
フィンガープリントサーバ２２は受信されたフィンガープリント及び指定されたサンプリングされたウィンドウを記憶するＳ２６０５。フィンガープリントサーバ２２はＡＣＲ ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、サンプリングウィンドウを記憶する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２６０７。
フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第１サンプリングウィンドウを含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２６０９。
この際、ＡＣＲ問合せ応答メッセージはサンプリングウィンドウ以外にも多様な種類のコンテンツ情報を含む。以下、ＡＣＲ問合せ応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３８と表１４を参照して説明する。
図３８は、本発明の他の実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図３８に示したように、問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳａｍｐｌｉｎｇＷｉｎｄｏｗ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有するとこれは問合せ結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有するとこれは問合せ結果が失敗であることを意味する。
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出されたコンテンツ区間の開始時間、終了時間のうち一つ以上を含む。
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＡＣＲ問合せのために必要なサンプリングウィンドウの有効時間、位置及び大きさなどを示す。
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはｘ ｅｌｅｍｅｎｔ、ｙ ｅｌｅｍｅｎｔ、ｗｉｄｔｈ ｅｌｅｍｅｎｔ、ｈｅｉｇｈｔ ｅｌｅｍｅｎｔを含み、各ｅｌｅｍｅｎｔの単位はピクセル（ｐｉｘｅｌ）である。ｘ ｅｌｅｍｅｎｔはサンプリングウィンドウの左上のｘ座標である。ｙ ｅｌｅｍｅｎｔはサンプリングウィンドウの左上のｙ座標である。ｗｉｄｔｈ ｅｌｅｍｅｎｔはサンプリングウィンドウの幅である。ｈｅｉｇｈｔ ｅｌｅｍｅｎｔはサンプリングウィンドウの高さである。
また、図３８のＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＶａｌｉｄＦｒｏｍ ｅｌｅｍｅｎｔ、ＶａｌｉｄＴｏ ｅｌｅｍｅｎｔを含む。ＶａｌｉｄＦｒｏｍ ｅｌｅｍｅｎｔはサンプリングウィンドウのサンプリング有効開始時点の時間である。ＶａｌｉｄＴｏ ｅｌｅｍｅｎｔはサンプリングウィンドウのサンプリング有効終了時点の時間である。映像表示装置１００はサンプリングウィンドウの有効時間、即ち、ウィンドウのサンプリング有効開始時点からサンプリングウィンドウのサンプリング有効終了時点に至る時間に該当サンプリングウィンドウを利用する。
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされていると確信する場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
表１４は、このような問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 0006294238
更に図３７を説明する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２６１１。
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２６０９で受信されたＡＣＲ問合せ応答メッセージに含まれたサンプリングウィンドウによるフィンガープリントである。
フィンガープリントサーバ２２は図面符号Ｓ２６１１で受信されたＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第２サンプリングウィンドウを含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２６１３。
この際、プログラムが同一であるか否か、プログラムの字幕情報有無、字幕情報位置が変更するか否かなどに応じて第１サンプリングウィンドウと第２サンプリングウィンドウのＳａｍｐｌｉｎｇＷｉｎｄｏｗ ｅｌｅｍｅｎｔが同じであるか又は互いに異なり得る。
一方、コンテンツを識別するためにビデオフィンガープリントを使用する場合、映像表示装置１００に伝送されるプログラムの映像に該当コンテンツには含まれていないオンスクリーンディスプレー（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ、ＯＳＤ）がオーバーレイされるとビデオフィンガープリントアルゴリズムによってコンテンツの識別に失敗する可能性がある。オンスクリーンディスプレーはメニュ、電子プログラムガイド（ＥＰＧ、Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）、チャネルバー、ウィジェットなどを含む。オンスクリーンディスプレーはコンテンツ提供サーバ１０とフィンガープリントサーバ２２を除いた事業者から提供される情報を意味する。以下では事業者はＭＶＰＤ事業者３０又は放送受信装置６０のようにコンテンツ提供サーバ１０とフィンガープリントサーバ２２を除いた事業者を意味する。このようなオンスクリーンディスプレーなどによって上述したｆａｌｓｅ ｐｏｓｉｔｉｖｅが発生する。
以下、ｆａｌｓｅ ｐｏｓｉｔｉｖｅなどの発生を防止するために映像表示装置１００と連結されたＭＶＰＤ３０事業者などを推定し、推定されたＭＶＰＤ３０事業者のＧＵＩ特性情報に応じてサンプリングウィンドウを指定する方法を図３９及び図４０を参照して説明する。
図３９は、本発明の他の実施例によるフィンガープリントに基づくネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアグラムである。
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出するＳ２７０１。
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを利用してプログラムのフィンガープリントを抽出し、該当プログラムのコンテンツＩＤ、タイムスタンプなどを抽出されたフィンガープリントと共に記憶する。
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリントを伝送するＳ２７０３。この際、コンテンツ提供サーバ１０は該当プログラムに対するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
コンテンツ提供サーバ１０はプログラムが放送として送出される前又はフィンガープリントの抽出と同時にフィンガープリントを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに対するフィンガープリントを該当プログラムが放送として送出される前にフィンガープリントサーバ２２に伝送する。又は、放送局／ＣＰは生放送のプログラムが放送されている場合にはリアルタイムに該当生放送のプログラムに対するフィンガープリントを抽出し、抽出されたフィンガープリントをフィンガープリントサーバ２２に伝送してもよい。
フィンガープリントサーバ２２は受信されたフィンガープリントを記憶するＳ２７０５。フィンガープリントサーバ２２はＡＣＲ ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリントを記憶する。
また、フィンガープリントサーバ２２はコンテンツ提供サーバ１０から事業者別ＧＵＩ特性情報を獲得するＳ２７０７。ＧＵＩ特性情報はオンスクリーンディスプレーに対する位置、大きさ、形態に対する情報を意味する。ＧＵＩ特性情報は放送局から提供されてもよく、第３の事業者から伝達されてもよく、ＡＣＲ事業者が直接把握してもよい。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２７０９。
フィンガープリントサーバ２２はＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別するＳ２７１１。
フィンガープリントサーバ２２はフィンガープリントにマッチングするプログラムがない場合、映像表示装置１００が伝送したフィンガープリントのうちから失敗したフィンガープリントリストを分析してオンスクリーンディスプレーを提供した事業者を推定するＳ２７１３。フィンガープリントサーバ２２は失敗したフィンガープリントリストを分析して事業者別ＧＵＩ特性情報を比較した結果、該当オンスクリーンディスプレーを提供した事業者を推定する。
また、フィンガープリントサーバ２２は推定された事業者のＧＵＩ特性情報を検索し、検索されたＧＵＩ特性情報に応じたサンプリングウィンドウを生成するＳ２７１５。
次に、フィンガープリントサーバ２２は認識失敗及び生成されたサンプリングウィンドウが含まれたＡＣＲ問合せ要求メッセージを映像表示装置１００に伝送するＳ２７１７。
この際、ＡＣＲ問合せ応答メッセージは認識失敗及びサンプリングウィンドウ以外にも多様な種類のコンテンツ情報を含む。以下、ＡＣＲ問合せ応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図４０及び表１５を参照して説明する。
図４０は、本発明の他の実施例による問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
図４０に示したように、問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳａｍｐｌｉｎｇＷｉｎｄｏｗ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有するとこれは問合せ結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有するとこれは問合せ結果が失敗であることを意味する。図３９の図面符号Ｓ２７１７で伝送されるＡＣＲ問合せ応答メッセージに含まれたＲｅｓｕｌｔＣｏｄｅ属性は４０４の値を有する。
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出されたコンテンツ区間の開始時間、終了時間のうち一つ以上を含む。
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＡＣＲ問合せのために必要なサンプリングウィンドウの位置及び大きさなどを示す。
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはｘ ｅｌｅｍｅｎｔ、ｙ ｅｌｅｍｅｎｔ、ｗｉｄｔｈ ｅｌｅｍｅｎｔ、ｈｅｉｇｈｔ ｅｌｅｍｅｎｔを含み、各ｅｌｅｍｅｎｔの単位はピクセルである。ｘ ｅｌｅｍｅｎｔはサンプリングウィンドウの左上のｘ座標である。ｙ ｅｌｅｍｅｎｔはサンプリングウィンドウの左上のｙ座標である。ｗｉｄｔｈ ｅｌｅｍｅｎｔはサンプリングウィンドウの幅である。ｈｅｉｇｈｔ ｅｌｅｍｅｎｔはサンプリングウィンドウの高さである。
また、図４０のＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはｇｕｉＴｙｐｅ ｅｌｅｍｅｎｔを含む。ｇｕｉＴｙｐｅ ｅｌｅｍｅｎｔはメニュ、電子プログラムガイドなどのオンスクリーンディスプレーのＧＵＩタイプを文字列に表示する。この際、該当コンテンツはｇｕｉＴｙｐｅ ｅｌｅｍｅｎｔに応じて互いに異なる複数のサンプリングウィンドウを有する。
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされていると確信する場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
表１５は、このような問合せ結果を含むＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ Ｓｃｈｅｍａを示す。
Figure 0006294238
更に図３９を説明する。
次に、映像表示装置１００はメイン視聴覚コンテンツの一部フレーム又は一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ問合せ要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２７１９。
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２７１７で受信されたＡＣＲ問合せ応答メッセージに含まれたサンプリングウィンドウによるフィンガープリントである。
フィンガープリントサーバ２２は図面符号Ｓ２７１９で受信されたＡＣＲ問合せ要求メッセージ内のフィンガープリントをＡＣＲ ＤＢから照会してフィンガープリントに当たるプログラムを識別し、認識成功を含むＡＣＲ問合せ応答メッセージを映像表示装置１００に提供するＳ２７２１。
以下、図４１及び図４２を参照して本発明の多様な実施例による映像表示装置１００の構造を説明する。
図４１は、本発明の他の実施例によるフィンガープリントに基づく映像表示装置の構造を示すブロック図である。
図４１において、Ｔｕｎｅｒ５０１はａｉｒチャネルを介して伝送される８−ＶＳＢ ＲＦ信号からＳｙｍｂｏｌを抽出する。
８−ＶＳＢ Ｄｅｍｏｄｕｌａｔｏｒ５０３はＴｕｎｅｒ５０１が抽出した８−ＶＳＢ Ｓｙｍｂｏｌを復調して有意味なデジタルデータを復元する。
ＶＳＢ Ｄｅｃｏｄｅｒ５０５は８−ＶＳＢ Ｄｅｍｏｄｕｌａｔｏｒ５０３が復元したデジタルデータを復号してＡＴＳＣメインサービスとＡＴＳＣ Ｍ／Ｈサービスを復元する。
ＭＰＥＧ−２ ＴＰ Ｄｅｍｕｘ５０７は８−ＶＳＢ信号を介して伝送されるＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｐａｃｋｅｔ又はＰＶＲ Ｓｔｏｒａｇｅに記憶されたＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｐａｃｋｅｔのうちから映像表示装置１００が処理しようとするＴｒａｎｓｐｏｒｔ Ｐａｃｋｅｔをフィルタリングして適切な処理モジュールに中継する。
ＰＥＳディコーダ５３９はＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍを介して伝送されたＰａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ ＳｔｒｅａｍをＢｕｆｆｅｒｉｎｇし復元する。
ＰＳＩ／ＰＳＩＰディコーダ５４１はＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍを介して伝送されるＰＳＩ／ＰＳＩＰ Ｓｅｃｔｉｏｎ ＤａｔａをＢｕｆｆｅｒｉｎｇし分析する。分析されたＰＳＩ／ＰＳＩＰデータはＳｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）によって収集され、Ｓｅｒｖｉｃｅ Ｍａｐ及びＧｕｉｄｅ ｄａｔａの形態にＤＢに記憶される。
ＤＳＭＣＣ Ｓｅｃｔｉｏｎ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ５１１はＭＰＥＧ−２ ＴＰを介して伝送されるファイル伝送及びＩＰ Ｄａｔａｇｒａｍ ｅｎｃａｐｓｕｌａｔｉｏｎなどのためのＤＳＭＣＣ Ｓｅｃｔｉｏｎ Ｄａｔａをバッファリング（Ｂｕｆｆｅｒｉｎｇ）し処理する。
ＩＰ／ＵＤＰ Ｄａｔａｇｒａｍ Ｂｕｆｆｅｒ／Ｈｅａｄｅｒ Ｐａｒｓｅｒ５１３はＤＳＭＣＣ Ａｄｄｒｅｓｓａｂｌｅ Ｓｅｃｔｉｏｎを介してｅｎｃａｐｓｕｌａｔｅされてＭＰＥＧ−２ ＴＰを介して伝送されるＩＰ Ｄａｔａｇｒａｍをバッファリングし復元して各ＤａｔａｇｒａｍのＨｅａｄｅｒを分析する。また、ＩＰ／ＵＤＰ Ｄａｔａｇｒａｍ Ｂｕｆｆｅｒ／Ｈｅａｄｅｒ Ｐａｒｓｅｒ５１３はＩＰ Ｄａｔａｇｒａｍ介して伝送されるＵＤＰ ＤａｔａｇｒａｍをＢｕｆｆｅｒｉｎｇ及び復元し、復元されたＵＤＰ Ｈｅａｄｅｒを分析及び処理する。
Ｓｔｒｅａｍ Ｃｏｍｐｏｎｅｎｔ ｈａｎｄｌｅｒ５５７はＥＳ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ、ＰＣＲ Ｈａｎｄｌｅｒ、ＳＴＣモジュール、Ｄｅｓｃｒａｍｂｌｅｒ、ＣＡ Ｓｔｒｅａｍ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ、Ｓｅｒｖｉｄｅ Ｓｉｇｎａｌｉｎｇ Ｓｅｃｔｉｏｎ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒを含む。
ＥＳ Ｂｕｆｆｅｒ／ＨａｎｄｌｅｒはＰＥＳ形態に伝送されたＶｉｄｅｏ、ＡｕｄｉｏデータなどのＥｌｅｍｅｔａｒｙ ＳｔｒｅａｍをＢｕｆｆｅｒｉｎｇ及び復元して適切なＡ／Ｖ Ｄｅｃｏｄｅｒに伝達する。
ＰＣＲ ＨａｎｄｌｅｒはＡｕｄｉｏ及びＶｉｄｅｏ ＳｔｒｅａｍのＴｉｍｅ ｓｙｍｃｈｒｏｎｉｚａｔｉｏｎのために使用されるＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ） Ｄａｔａを処理する。
ＳＴＣモジュールはＰＣＲ Ｈａｎｄｌｅｒを介して伝達されたＲｅｆｅｒｅｎｃｅ Ｃｌｏｃｋ値を利用し、Ａ／Ｖ ＤｅｃｏｄｅｒのＣｌｏｃｋ値を補正してＴｉｍｅ Ｓｙｎｃｈｒｏｎｉｚａｉｔｏｎを行う。
受信されたＩＰ ＤａｔａｇｒａｍのＰａｙｌｏａｄにＳｃｒａｍｂｌｉｎｇが適用された場合、ＤｅｓｃｒａｍｂｌｅｒはＣＡ Ｓｔｒｅａｍ Ｈａｎｄｌｅｒから伝達されたＥｎｃｒｙｐｔｉｏｎ ｋｅｙなどを利用してＰａｙｌｏａｄのデータを復元する。
ＣＡ Ｓｔｒｅａｍ Ｂｕｆｆｅｒ／ＨｅａｄｅｒはＭＰＥＧ−２ ＴＳ又はＩＰ Ｓｔｒｅａｍを介して伝送されるＣｏｎｄｉｔｉｏｎａｌ Ａｃｃｅｓｓ機能のために伝送されるＥＭＭ、ＥＣＭなどのＤｅｓｃｒａｍｂｌｉｎｇのためのＫｅｙ値などのＤａｔａをＢｕｆｆｅｒｉｎｇ及び処理する。ＣＡ Ｓｔｒｅａｍ Ｂｕｆｆｅｒ／ＨｅａｄｅｒのｏｕｔｐｕｔはＤｅｓｃｒａｍｂｌｅｒに伝達され、ｄｅｓｃｒａｍｂｌｅｒはＡ／Ｖ Ｄａｔａ及びＦｉｌｅ Ｄａｔａなどを伝送するＭＰＥＧ−２ ＴＰ又はＩＰ Ｄａｔａｇｒａｍの暗号化解除作業を行う。
Ｓｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｓｅｃｔｉｏｎ Ｂｕｆｆｅｒ／ＨａｎｄｌｅｒはＩＰ Ｄａｔａｇｒａｍの形態に伝送されるＮＲＴ Ｓｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｃｈａｎｎｅｌ Ｓｅｃｔｉｏｎ ＤａｔａをＢｕｆｆｅｒｉｎｇし復元して分析する。Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）は分析されたＮＲＴ Ｓｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｃｈａｎｎｅｌ Ｓｅｃｔｉｏｎデータを収集し、Ｓｅｒｖｉｃｅ Ｍａｐ及びＧｕｉｄｅ ｄａｔａ形態にＤＢに記憶する。
Ａ／Ｖ Ｄｅｃｏｄｅｒ５６１はＥＳ Ｈａｎｄｌｅｒを介して伝達されたＡｕｄｉｏ／Ｖｉｄｅｏデータの圧縮を複合化してユーザにＰｒｅｓｅｎｔａｔｉｏｎする。
ＭＰＥＧ−２ Ｓｅｒｖｉｃｅ Ｄｅｍｕｘ（図示せず）はＭＰＥＧ−２ ＴＰ Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ、Ｄｅｓｃｒａｍｂｌｅｒ、ＰＶＲ Ｓｔｏｒａｇｅモジュールを含む。
ＭＰＥＧ−２ ＴＰ Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ（図示せず）は８−ＶＳＢ信号を介して伝送されるＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ ＰａｃｋｅｔをＢｕｆｆｅｒｉｎｇ及び復元し、Ｔｒａｎｓｐｏｒｔ Ｐａｃｋｅｔ Ｈｅａｄｅｒを検出及び処理する。
ＤｅｓｃｒａｍｂｌｅｒはＭＰＥＧ−２ ＴＰのうちＳｃｒａｍｂｌｅが適用されたＰａｃｋｅｔ Ｐａｙｌｏａｄに対し、ＣＡ Ｓｔｒｅａｍ Ｈａｎｄｌｅｒから伝達されたＥｎｃｒｙｐｔｉｏｎ ｋｅｙなどを利用してＰａｙｌｏａｄのデータを復元する。
ＰＶＲ Ｓｔｏｒａｇｅモジュールはユーザの要求などに応じて８−ＶＳＢ信号を利用して受信されたＭＰＥＧ−２ ＴＰを記憶し、またユーザの要求によってＭＰＥＧ−２ ＴＰを出力する。ＰＶＲ ＳｔｏｒａｇｅモジュールはＰＶＲ Ｍａｎａｇｅｒ（図示せず）によって制御される。
Ｆｉｌｅ Ｈａｎｄｌｅｒ５５１はＡＬＣ／ＬＣＴ Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ、ＦＤＴ Ｈａｎｄｌｅｒ、ＸＭＬ Ｐａｒｓｅｒ、Ｆｉｌｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｂｕｆｆｅｒ、Ｄｅｃｏｍｐｒｅｓｓｏｒ、Ｆｉｌｅ Ｄｅｃｏｄｅｒ、Ｆｉｌｅ Ｓｔｏｒａｇｅを含む。
ＡＬＣ／ＬＣＴ Ｂｕｆｆｅｒ／ＰａｒｓｅｒはＵＤＰ／ＩＰ Ｓｔｒｅａｍに伝送されるＡＬＣ／ＬＣＴデータをＢｕｆｆｅｒｉｎｇ及び復元し、ＡＬＣ／ＬＣＴのＨｅａｄｅｒ及びＨｅａｄｅｒ ｅｘｔｅｎｓｉｏｎを分析する。ＡＬＣ／ＬＣＴ Ｂｕｆｆｅｒ／ＰａｒｓｅｒはＮＲＴ Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）によって制御される。
ＦＤＴ ＨａｎｄｌｅｒはＡＬＣ／ＬＣＴ Ｓｅｓｓｉｏｎを介して伝送されるＦＬＵＴＥ ｐｒｏｔｏｃｏｌのＦｉｌｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｔａｂｌｅを分析及び処理する。ＦＤＴ ＨａｎｄｌｅｒはＮＲＴ Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）によって制御される。
ＸＮＬ ＰａｒｓｅｒはＡＬＣ／ＬＣＴ Ｓｅｓｓｉｏｎを介して伝送されるＸＭＬ Ｄｏｃｕｍｅｎｔを分析し、ＦＤＴ Ｈａｎｄｌｅｒ、ＳＧ Ｈａｎｄｌｅｒなど適切なモジュールに分析されたデータを伝達する。
Ｆｉｌｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ＢｕｆｆｅｒはＡＬＣ／ＬＣＴ、ＦＬＵＴＥ Ｓｅｓｓｉｏｎに伝送されるファイルを復元する。
ＤｅｃｏｍｐｒｅｓｓｏｒはＡＬＣ／ＬＣＴ、ＦＬＵＴＥ Ｓｅｓｓｉｏｎに伝送されるファイルが圧縮されている場合、その圧縮を解除するプロセスを行う。
Ｆｉｌｅ ＤｅｃｏｄｅｒはＦｉｌｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｂｕｆｆｅｒで復元されたＦｉｌｅ又はＤｅｃｏｍｐｒｅｓｓｏｒで圧縮解除されたファイル、又はＦｉｌｅ Ｓｔｏｒａｇｅから抽出されたＦｉｌｅをＤｅｃｏｄｉｎｇする。
Ｆｉｌｅ Ｓｔｏｒａｇｅは復元されたファイルを必要に応じて記憶するか抽出する。
Ｍ／Ｗ Ｅｎｇｉｎｅ（図示せず）はＤＳＭＣＣ Ｓｅｃｔｉｏｎ、ＩＰ Ｄａｔａｇｒａｍなどを介して伝送されるＡ／Ｖ ＳｔｒｅａｍではないファイルなどのＤａｔａを処理する。Ｍ／Ｗ Ｅｎｇｉｎｅは処理されたデータをＰｒｅｓｅｎｔａｔｉｏｎ Ｍａｎａｇｅｒモジュールに伝達する。
ＳＧ Ｈａｎｄｌｅｒ（図示せず）はＸＭＬ Ｄｏｃｕｍｅｎｔ形態に伝送されるＳｅｒｖｉｃｅ Ｇｕｉｄｅデータを収集し分析してＥＰＧ Ｍａｎａｇｅｒに伝達するプロセスを行う。
Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）はＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍを介して伝送されるＰＳＩ／ＰＳＩＰ Ｄａｔａ、ＩＰ Ｓｔｒｅａｍに伝送されるＳｅｒｖｉｃｅ Ｓｉｇｎａｌｉｎｇ Ｓｅｃｔｉｏｎ Ｄａｔａを収集し分析してＳｅｒｖｉｃｅ Ｍａｐを製作する。Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）は製作したＳｅｒｖｉｃｅ ＭａｐをＳｅｒｖｉｃｅ Ｍａｐ＆Ｇｕｉｄｅ Ｄａｔａｂａｓｅに記憶し、ユーザの望みのＳｅｒｖｉｃｅに対するａｃｃｅｓｓを制御する。Ｏｐｅｒｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ（図示せず）によって制御され、Ｔｕｎｅｒ５０１、ＭＰＥＧ−２ ＴＰ Ｄｅｍｕｘ５０７、ＩＰ Ｄａｔａｇｒａｍ Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ５１３などに対する制御を行う。
ＮＲＴ Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）はＩＰ ｌａｙｅｒの上でＦＬＵＴＥ ｓｅｓｓｉｏｎを介してｏｂｊｅｃｔ／ｆｉｌｅ形態に伝送されるＮＲＴサービスに対する全般的な管理を行う。ＮＲＴ Ｓｅｒｖｉｃｅ Ｍａｎａｇｅｒ（図示せず）はＦＤＴ Ｈａｎｄｌｅｒ、Ｆｉｌｅ Ｓｔｏｒａｇｅなどを制御する。
Ａｐｐｌｉｃａｔｉｏｎ Ｍａｎａｇｅｒ（図示せず）はｏｂｊｅｃｔ、ｆｉｌｅの形態に伝送されるＡｐｐｌｉｃａｔｉｏｎデータの処理に関する全般的な管理を行う。
ＵＩ Ｍａｎａｇｅｒ（図示せず）はＵｓｅｒ Ｉｎｔｅｒｆａｃｅを介してユーザのＩｎｐｕｔをＯｐｅｒａｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒに伝達し、ユーザが要求するサービスのためのＰｒｏｃｅｓｓ動作を開始する。
Ｏｐｅｒａｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ（図示せず）はＵＩ Ｍａｎａｇｅｒを介して伝達されたユーザのＣｏｍｍａｎｄを処理し、必要なモジュールのＭａｎａｇｅｒが該当Ａｃｔｉｏｎを行うようにする。
Ｆｉｎｇｅｒｐｒｉｎｔ Ｅｘｔｒａｃｔｏｒ５６５はＡｕｄｉｏ／Ｖｉｄｅｏストリームからｆｉｎｇｅｒｐｒｉｎｔ特徴情報を抽出する。
Ｆｉｎｇｅｒｐｒｉｎｔ Ｃｏｍｐａｒａｔｏｒ５６７はＦｉｎｇｅｒｐｒｉｎｔ Ｅｘｔｒａｃｔｏｒが抽出した特徴情報とＲｅｆｅｒｅｎｃｅ ｆｉｎｇｅｒｐｒｉｎｔを比較して一致するコンテンツを探す。Ｆｉｎｇｅｒｐｒｉｎｔ Ｃｏｍｐａｒａｔｏｒ５６７はＬｏｃａｌに記憶されたＲｅｆｅｒｅｎｃｅ ｆｉｎｇｅｒｐｒｉｎｔ ＤＢを利用してもよく、インターネット上のＦｉｎｇｅｒｐｒｉｎｔ問合せサーバに問合せして結果を受信してもよい。比較結果としてマッチングされた結果データはＡｐｐｌｉｃａｔｉｏｎに伝達されて利用される。
Ａｐｐｌｉｃａｔｉｏｎ５６９はＡＣＲ機能を制御するモジュール或いはＡＣＲに基づいてＥｎｈａｎｃｅｄサービスを提供するアプリケーションモジュールであり、視聴中の放送コンテンツを識別してそれに関する拡張されたサービスを提供する。
図４２は、本発明の他の実施例によるウォーターマークに基づく映像表示装置の構造を示すブロック図である。
図４２に示したウォーターマークに基づく映像表示装置は図４１に示したフィンガープリントに基づく映像表示装置と類似しているが、フィンガープリントに基づく映像表示装置のＦｉｎｇｅｒｐｒｉｎｔ Ｅｘｔｒａｃｔｏｒ５６５とＦｉｎｇｅｒｐｒｉｎｔ Ｃｏｍｐａｒａｔｏｒ５６７を含まずに代わりにＷａｔｅｒｍａｒｋ Ｅｘｔｒａｃｔｏｒ５６６を更に含む。
Ｗａｔｅｒｍａｒｋ Ｅｘｔｒａｃｔｏｒ５６６はＡｕｄｉｏ／ＶｉｄｅｏストリームからＷａｔｅｒｍａｒｋ形態に挿入されたデータを抽出する。このように抽出されたデータはＡｐｐｌｉｃａｔｉｏｎに伝達されて利用される。
本発明の一実施例によると、上述した方法はプログラムが記録された媒体にプロセッサが読み込めるコードとして具現することができる。プロセッサが読み込める媒体の例としてはＲＯＭ，ＲＡＭ，ＣＤ−ＲＯＭ，磁気テープ、フロッピディスク、光データ記憶装置などがあり、キャリアウェーブ（例えば、インターネットを介した伝送）の形態に具現されることも含む。
前記のように説明された映像表示装置は前記説明された実施例の構成と方法が限られて適用されるのではなく、前記実施例は多様な変形が行われるように各実施例の全部又は一部が選択的に組み合わせられて構成されてもよい。

Claims (11)

  1. ディスプレー部を含む映像表示装置の動作方法において、
    非圧縮視聴覚コンテンツを獲得するステップと、
    前記ディスプレー部を介して前記非圧縮視聴覚コンテンツを再生するステップと、
    前記非圧縮視聴覚コンテンツの第１部分に含まれる第１ビデオフレーム又は第１オーディオサンプルから第１フィンガープリント情報を抽出するステップであって、前記第１フィンガープリント情報のタイプはデフォルトタイプである、ステップと、
    前記第１フィンガープリント情報を含む第１問合せをフィンガープリントサーバーに送信するステップと、
    前記第１問合せに基づいて前記非圧縮視聴覚コンテンツのコンテンツ情報を獲得するステップであって、前記コンテンツ情報は、第２問合せのためのビデオタイプ又はオーディオタイプを示す次の問合せタイプ情報、前記第１フィンガープリント情報が抽出されたコンテンツセクションの開始時間と終了時間の少なくとも一つを含むタイムスタンプエレメント、及びコンテンツ認識の正確さを表すコンフィデンスエレメントを含む、ステップと、
    前記第２問合せを送信するため前記非圧縮視聴覚コンテンツの第２部分に含まれた第２ビデオフレーム又は第２オーディオサンプルから、前記次の問合せタイプ情報にしたがって第２フィンガープリント情報を抽出するステップと、
    前記第２問合せに基づいて付加サービスを獲得するステップと、
    前記ディスプレー部を介して前記付加サービスを再生するステップと、
    前記第２フィンガープリント情報を抽出するステップは、
    前記次の問合せタイプ情報がビデオタイプを示す時、第２ビデオフレームからビデオタイプフィンガープリント情報を抽出するステップと、
    前記次の問合せタイプ情報がオーディオタイプを示す時、第２オーディオサンプルからオーディオタイプフィンガープリント情報を抽出するステップと含み、
    前記次の問合せタイプ情報がコンテンツプロバイダーにより決定され、プログラムが放送される前に前記フィンガープリントサーバーへ送信され、
    前記第２問合せに基づいて付加サービスを獲得するステップは、
    前記フィンガープリントサーバーから前記第２問合せに基づいた応答を獲得するステップであって、前記応答は、付加サービスプロバイディングサーバーのアドレス情報と、付加サービス情報を獲得するための方法を表すアップデートモードエレメント、及び前記付加サービスを要求するためのポーリング区間情報を含む、ステップと、
    前記アップデートモードエレメントが第１モードを表す時、前記ポーリング区間情報と前記付加サービスプロバイディングサーバーのアドレスを利用して前記付加サービスを受信するステップと、
    前記アップデートモードエレメントが第２モードを表す時、前記付加サービスプロバイディングサーバーの前記アドレスを非同期的に利用することにより前記付加サービスを受信するステップと、を含み、
    前記応答は、前記第２フィンガープリント情報の次の問合せを送信するために利用される問合せ周期エレメントをさらに含む、映像表示装置の動作方法。
  2. 前記応答は前記非圧縮視聴覚コンテンツの識別子、第１サンプリングウィンドウ情報を含み、
    前記第１サンプリングウィンドウは前記非圧縮視聴覚コンテンツの字幕位置の排他領域に位置するビデオ特徴情報の抽出領域に対応し、
    前記動作方法は、
    前記第１サンプリングウィンドウ情報に応じて抽出されたビデオ特徴情報を含む次の問合せを要求するステップを更に含む、請求項１に記載の映像表示装置の動作方法。
  3. 前記第１サンプリングウィンドウ情報は、前記第１サンプリングウィンドウの位置情報、大きさ情報、時間情報を含む、請求項２に記載の映像表示装置の動作方法。
  4. 前記第１サンプリングウィンドウ情報は、前記第１サンプリングウィンドウの一側上端又は一側下端のｘ座標に対する情報及びｙ座標に対する情報を含む、請求項３に記載の映像表示装置の動作方法。
  5. 前記第１サンプリングウィンドウの大きさ情報は、前記第１サンプリングウィンドウの横の長さに対する情報及び縦の長さに対する情報を含む、請求項３に記載の映像表示装置の動作方法。
  6. 前記第１サンプリングウィンドウの時間情報は、前記第１サンプリングウィンドウのサンプリング有効開始時点の時間情報及びサンプリング有効終了時点の時間情報を含む、請求項３に記載の映像表示装置の動作方法。
  7. 前記応答を獲得するステップは問合せに対する応答を介して第２サンプリングウィンドウ情報を獲得するステップを更に含み、
    前記第２サンプリングウィンドウはＧＵＩ特性情報に基づいて決定された領域に対応し、
    前記動作方法は、
    前記第２サンプリングウィンドウ情報に応じて抽出された前記ビデオ特徴情報を含む次の問合せを要求するステップを更に含む、請求項１に記載の映像表示装置の動作方法。
  8. 前記応答は前記ビデオ特徴情報、前記オーディオ特徴情報のうち少なくとも一つに対応する非圧縮視聴覚コンテンツ認識失敗に対するお知らせ情報を更に含む、請求項７に記載の映像表示装置の動作方法。
  9. 前記第２サンプリングウィンドウ情報は前記非圧縮視聴覚コンテンツを前記映像表示装置に供給する事業者別ＧＵＩ特性情報に基づいて決定される、請求項７に記載の映像表示装置の動作方法。
  10. 前記第２サンプリングウィンドウ情報は前記第２サンプリングウィンドウの位置情報、大きさ情報、ＧＵＩタイプ情報を含み、
    前記第２サンプリングウィンドウの位置情報は前記第２サンプリングウィンドウの一側上端又は一側下端のｘ座標に対する情報及びｙ座標に対する情報を含み、
    前記第２サンプリングウィンドウの大きさ情報は前記第２サンプリングウィンドウの横の長さに対する情報及び縦の長さに対する情報を含み、
    前記第２サンプリングウィンドウのＧＵＩタイプ情報はオンスクリーンディスプレー（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ、ＯＳＤ）のＧＵＩタイプを文字列に表示した情報を含む、請求項９に記載の映像表示装置の動作方法。
  11. 映像表示装置において、
    ディスプレイー部と、
    非圧縮視聴覚コンテンツを獲得する受信部と、
    前記非圧縮視聴覚コンテンツの第１部分に含まれる第１ビデオフレーム又は第１オーディオサンプルから第１フィンガープリント情報を抽出し、前記第１フィンガープリント情報のタイプはデフォルトタイプであり、
    前記第１フィンガープリント情報を含む第１問合せをフィンガープリントサーバーへ送信し、
    前記第１問合せに基づいて前記非圧縮視聴覚コンテンツのコンテンツ情報を獲得し、前記コンテンツ情報は、第２問合せのためのビデオタイプ又はオーディオタイプを示す次の問合せタイプ情報、前記第１フィンガープリント情報が抽出されたコンテンツセクションの開始時間及び終了時間の少なくとも一つを含むタイムスタンプエレメント、及びコンテンツ認識の正確さを表すコンフィデンスエレメントを含み、
    前記第２問合せを送信するために前記非圧縮視聴覚コンテンツの第２部分に含まれる第２ビデオフレーム又は第２オーディオサンプルから前記次の問合せタイプ情報にしたがって第２フィンガープリント情報を抽出し、
    前記第２問合せに基づいて付加サービスを獲得する付加サービス管理部と、
    前記非圧縮視聴覚コンテンツと前記付加サービスを前記ディスプレー部に再生する再生制御部と、を含み、
    前記付加サービス管理部は、前記次の問合せタイプ情報がビデオタイプを示す時、第２ビデオフレームからビデオタイプフィンガープリント情報を抽出し、前記次の問合せタイプ情報がオーディオタイプを示す時、第２オーディオサンプルからオーディオタイプフィンガープリント情報を抽出し、
    前記付加サービス管理部は、前記第２問合せに基づく応答を前記フィンガープリントサーバーから獲得し、
    前記応答は、付加サービスプロバイディングサーバーのアドレス情報、付加サービス情報を獲得するための方法を表すアップデートモードエレメント、及び前記付加サービスを要求するためのポーリング区間情報を含み、
    前記アップデートモードエレメントが第１モードを表す時、前記ポーリング区間情報及び前記付加サービスプロバイディングサーバーのアドレスを利用して前記付加サービスを受信し、前記アップデートモードエレメントが第２モードを表す時、前記付加サービスプロバイディングサーバーのアドレスを非同期的に利用して前記付加サービスを受信し、
    前記次の問合せタイプ情報はコンテンツプロバイダーにより決定され、プログラムが放送される前に前記フィンガープリントサーバーに送信され、
    前記応答は、前記第２フィンガープリント情報の次の問合せを送信するために利用される問合せ周期エレメントをさらに含む、映像表示装置。
JP2014556480A 2012-02-10 2013-02-08 映像表示装置及びその動作方法 Active JP6294238B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261597178P 2012-02-10 2012-02-10
US61/597,178 2012-02-10
PCT/KR2013/001050 WO2013119082A1 (ko) 2012-02-10 2013-02-08 영상 표시 장치 및 그 동작 방법

Publications (3)

Publication Number Publication Date
JP2015512198A JP2015512198A (ja) 2015-04-23
JP2015512198A5 JP2015512198A5 (ja) 2016-03-24
JP6294238B2 true JP6294238B2 (ja) 2018-03-14

Family

ID=48947785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014556480A Active JP6294238B2 (ja) 2012-02-10 2013-02-08 映像表示装置及びその動作方法

Country Status (6)

Country Link
US (1) US20150020094A1 (ja)
EP (1) EP2800392A4 (ja)
JP (1) JP6294238B2 (ja)
KR (1) KR20140125766A (ja)
CN (1) CN104137560B (ja)
WO (1) WO2013119082A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9161074B2 (en) * 2013-04-30 2015-10-13 Ensequence, Inc. Methods and systems for distributing interactive content
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
WO2015015712A1 (ja) 2013-07-30 2015-02-05 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
KR102123062B1 (ko) 2013-08-06 2020-06-15 삼성전자주식회사 콘텐츠에 관한 정보를 획득하는 방법 및 이를 이용한 영상 표시 장치, 그리고 콘텐츠에 관한 정보를 제공하는 서버 시스템.
EP2835917A1 (en) * 2013-08-09 2015-02-11 Thomson Licensing Second screen device and system for displaying a playload of a watermark
WO2015033501A1 (ja) * 2013-09-04 2015-03-12 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6281125B2 (ja) 2013-09-04 2018-02-21 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
CN106105136B (zh) * 2014-02-17 2019-08-23 Lg 电子株式会社 用于处理混合广播服务的装置和用于处理混合广播服务的方法
KR102166423B1 (ko) * 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
WO2015138798A1 (en) * 2014-03-13 2015-09-17 Verance Corporation Interactive content acquisition using embedded codes
JP6194483B2 (ja) 2014-03-26 2017-09-13 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
KR102155129B1 (ko) * 2014-03-26 2020-09-11 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 시스템
WO2015145493A1 (ja) 2014-03-26 2015-10-01 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
EP3171609B1 (en) 2014-07-17 2021-09-01 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method
US9639911B2 (en) 2014-08-20 2017-05-02 Verance Corporation Watermark detection using a multiplicity of predicted patterns
EP3185577B1 (en) * 2014-08-21 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
JP6043767B2 (ja) * 2014-09-26 2016-12-14 株式会社アステム 番組出力装置、補助情報管理サーバ、番組と補助情報の出力方法、及びプログラム
KR102199568B1 (ko) * 2014-11-10 2021-01-07 엘지전자 주식회사 전자 장치 및 그 동작 방법
KR20160085076A (ko) * 2015-01-07 2016-07-15 삼성전자주식회사 콘텐츠를 제공하는 방송 서버를 판단하는 방법 및 이를 제공하는 전자 장치
JP6635035B2 (ja) * 2015-01-13 2020-01-22 ソニー株式会社 受信装置及び受信方法
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
CN106331743A (zh) * 2015-07-03 2017-01-11 上海尚恩华科网络科技股份有限公司 一种基于音频水印的视频交互的系统及方法
US20170034596A1 (en) * 2015-07-27 2017-02-02 Echostar Technologies L.L.C. Personalized soundtrack
KR102358025B1 (ko) * 2015-10-07 2022-02-04 삼성전자주식회사 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법
KR101757878B1 (ko) * 2015-12-10 2017-07-14 삼성전자주식회사 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US10063917B2 (en) * 2016-03-16 2018-08-28 Sorenson Media Inc. Fingerprint layouts for content fingerprinting
CN106488319A (zh) * 2016-12-28 2017-03-08 上海昕丝文化传播有限公司 联网视频播放器件模块
KR20180083132A (ko) 2017-01-12 2018-07-20 삼성전자주식회사 전자 장치 및 그 동작방법
US11234060B2 (en) * 2017-09-01 2022-01-25 Roku, Inc. Weave streaming content into a linear viewing experience
CN107690078B (zh) * 2017-09-28 2020-04-21 腾讯科技（深圳）有限公司 弹幕信息显示方法、提供方法以及设备
US11432031B2 (en) * 2018-02-23 2022-08-30 Evixar Inc. Content playback program, content playback method, and content playback system
US10623800B2 (en) 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
CN114071050A (zh) * 2020-07-29 2022-02-18 北京字节跳动网络技术有限公司 一种基于视频的互动方法、装置、电子设备及介质
WO2022186683A1 (ko) * 2021-03-02 2022-09-09 엘지전자 주식회사 미디어 데이터 처리 방법 및 미디어 데이터 처리 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289643B2 (en) * 2000-12-21 2007-10-30 Digimarc Corporation Method, apparatus and programs for generating and utilizing content signatures
KR20010001726A (ko) * 1999-06-08 2001-01-05 윤종용 영상 표시장치에서 부가정보 선택방법 및 그 장치
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
JP2002077572A (ja) * 2000-08-29 2002-03-15 Nec Corp ディジタルコンテンツ生成・再生装置及び広告情報配信システム
KR20020072453A (ko) * 2001-03-10 2002-09-16 삼성전자 주식회사 재생장치 및 부가정보 서비스 서버 시스템
US20050198008A1 (en) * 2004-03-02 2005-09-08 Adler David W. Index exploitation for spatial data
JP2005333406A (ja) * 2004-05-19 2005-12-02 Dowango:Kk 情報提供システム、情報提供方法および情報提供プログラム
EP2103129A4 (en) * 2006-11-20 2014-07-23 Sk Planet Co Ltd SYSTEM, SERVER AND METHOD FOR PROVIDING A SUPPLEMENTARY INFORMATION SERVICE RELATED TO EQUIPPED CONTENT
KR100831035B1 (ko) * 2007-01-15 2008-05-20 에스케이 텔레콤주식회사 디지털 멀티미디어 방송의 부가 정보 제공을 위한 ｇｕｉｐ서비스 시스템 및 방법
US10552701B2 (en) * 2008-02-01 2020-02-04 Oath Inc. System and method for detecting the source of media content with application to business rules
KR20100053300A (ko) * 2008-11-12 2010-05-20 삼성전자주식회사 방송 부가정보를 제공하는 방송수신장치 및 그 방법
US8769584B2 (en) * 2009-05-29 2014-07-01 TVI Interactive Systems, Inc. Methods for displaying contextually targeted content on a connected television
US9277183B2 (en) * 2009-10-13 2016-03-01 Sony Corporation System and method for distributing auxiliary data embedded in video data
KR101081768B1 (ko) * 2009-11-04 2011-11-09 주식회사 아론티 방송 서비스 장치 및 방법
JP2011180792A (ja) * 2010-03-01 2011-09-15 Sony Corp 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
CA2820574C (en) * 2010-11-24 2016-10-25 Lg Electronics Inc. Method of receiving enhanced service and video display device thereof
EP2645730A4 (en) * 2010-11-24 2014-08-27 Lg Electronics Inc VIDEO DISPLAY DEVICE AND METHOD FOR THEIR CONTROL
EP2645731B8 (en) * 2010-11-24 2019-04-17 LG Electronics Inc. Video display device and method of controlling the same
US20120324495A1 (en) * 2011-06-17 2012-12-20 Microsoft Corporation Detecting and distributing video content identities
CN103718564B (zh) * 2011-08-05 2018-01-09 索尼公司 接收装置、接收方法以及信息处理系统
US8793274B2 (en) * 2011-08-08 2014-07-29 Lei Yu System and method for auto content recognition
KR101995425B1 (ko) * 2011-08-21 2019-07-02 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법

Also Published As

Publication number Publication date
JP2015512198A (ja) 2015-04-23
WO2013119082A1 (ko) 2013-08-15
EP2800392A1 (en) 2014-11-05
CN104137560A (zh) 2014-11-05
US20150020094A1 (en) 2015-01-15
CN104137560B (zh) 2018-07-24
EP2800392A4 (en) 2015-09-09
KR20140125766A (ko) 2014-10-29

Similar Documents

Publication Publication Date Title
JP6294238B2 (ja) 映像表示装置及びその動作方法
JP6290935B2 (ja) 映像表示装置及びその動作方法
KR102116679B1 (ko) 영상 표시 장치 및 그 동작 방법
US9967626B2 (en) Video display apparatus and operating method thereof
JP6151804B2 (ja) 映像表示装置及びその動作方法
US9913002B2 (en) Image display device and method for operating same
EP3288277A1 (en) Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method, and broadcast signal receiving method
US9712583B2 (en) Video display device and method of controlling the device
KR102263146B1 (ko) 영상 표시 장치 및 그 동작 방법
US20170347154A1 (en) Video display apparatus and operating method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180215

R150 Certificate of patent or registration of utility model

Ref document number: 6294238

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250