以下、本発明に関する移動端末機について図面を参照してより詳細に説明する。以下の説明で使用される構成要素に関する接尾辞「エンジン」、「モジュール」及び「部」は明細書を容易に作成するためにのみ考慮されて付与されるか混用されるものであって、それ自体で互いに区別される意味又は役割を有することはない。
以下、図1乃至図9を参照して本発明の一実施例によるネットワークトポロジーを説明する。
図1は、本発明の一実施例によるネットワークトポロジーを示すグロック図である。
図1に示したように、本発明の一実施例によるネットワークトポロジーはコンテンツ提供サーバ10、コンテンツ認識サービス提供サーバ20、多チャネルビデオ番組配布サーバ30、付加サービス情報提供サーバ40、複数の付加サービス提供サーバ50、放送受信サーバ60、ネットワーク70、映像表示装置100を含む。
コンテンツ提供サーバ10は放送局などであり、メイン視聴覚コンテンツ(main audio−visual content)を含む放送信号を放送する。放送信号は付加サービスを更に含む。付加サービスはメイン視聴覚コンテンツに関してもよく、関しなくてもよい。付加サービスはサービス情報(Service information)、メタデータ(metadata)、付加データ、コンパイルされた実行ファイル、ウェブアプリケーション、HTML(Hypertext Markup Language)文書、XML文書、CSS(cascading style sheet)文書、オーディオファイル、ビデオ不リアル、ATSC2.0コンテンツ、URL(Uniform Resource Locator)などのようなアドレスなどの形態を有する。一つ以上のコンテンツ提供サーバが存在する。
コンテンツ認識サービス提供サーバ20は映像表示装置100がメイン視聴覚コンテンツに基づいてコンテンツを認識するようにするコンテンツ認識サービスを提供する。コンテンツ認識サービス提供サーバ20はメイン視聴覚コンテンツに修正を加えてもよく、加えなくてもよい。一つ以上のコンテンツ認識サービス提供サーバが存在する。
コンテンツ認識サービス提供サーバ20はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォーターマーク(visible watermark)を挿入するウォーターマークサーバである。このウォーターマークサーバはメイン視聴覚コンテンツの各フレームの左上又は右上にコンテンツ提供者のロゴをウォーターマークで表示する。
また、コンテンツ認識サービス提供サーバ20はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を不可視ウォーターマーク(invisible watermark)として挿入するウォーターマークサーバである。
また、コンテンツ認識サービス提供サーバ20はメイン視聴覚コンテンツの一部のフレーム又は一部のオーディオサンプルから特徴情報を抽出して貯蔵するフィンガープリントサーバである。この特徴情報はシグネチャとも呼ばれる。
多チャネルビデオ番組配布サーバ30は複数の放送局から放送信号を受信し多重化して多重化された信号を放送受信装置60に提供する。特に、多チャネルビデオ番組配布サーバ30は受信した放送信号に対して復調とチャネル復号化を行ってメイン視聴覚コンテンツと付加サービスを抽出した後、抽出したメイン視聴覚コンテンツと付加サービスに対するチャネル復号化を行って配布のための多重化信号を生成する。この際、多チャネルビデオ番組配布サーバ30は抽出した付加サービスを除外してもよく他の付加サービスを抽出してもよいため、放送局は放送局が主導するサービスを提供することができない。一つ以上の多チャネルビデオ番組配布サーバが存在する。
放送受信装置60はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信した信号に対して復調とチャネル復号を行ってメイン視聴覚コンテンツを抽出する。そして、放送受信装置60は抽出したメイン視聴覚コンテンツをH.265/MPEG−4 AVC(Moving Picture Experts Group−4 advanced video coding)、Dolby AC−3、MPEG−2 AAC(Moving Picture Experts Group−2 advanced audio coding)アルゴリズムなどを利用し復号して非圧縮メイン視聴覚コンテンツ(uncompressed main AV content)を生成する。放送受信装置60は生成した非圧縮メイン視聴覚コンテンツを映像表示装置100の外部入力ポートなどを介して映像表示装置100に提供する。
付加サービス情報提供サーバ40は映像表示装置の要請に応答してメイン視聴覚コンテンツに関する一つ以上の利用可能な付加サービスのための付加サービス情報を提供する。一つ以上の負荷サービスアドレス提供サーバが存在する。付加サービス情報提供サーバ40は複数の利用可能な付加サービスのうち最も優先順位が高い付加サービスのための付加サービス情報を提供してもよい。
付加サービス提供サーバ50は映像表示装置の要請に応答してメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供する。一つ以上の付加サービス提供サーバが存在する。
映像表示装置100はテレビ、ノートブックPC、携帯電話、スマートフォンなどのようにディスプレー装置である。映像表示装置100は放送受信装置60から非圧縮メイン視聴覚コンテンツを受信してもよく、コンテンツ提供サーバ10又は多チャネルビデオ番組配布サーバ30から符号化されたメイン視聴覚コンテンツを含む放送信号を含んでもよい。映像表示装置100はネットワーク70を介してコンテンツ認識サービス提供サーバ20からコンテンツ認識サービスを提供され、ネットワーク70を介して付加サービス情報提供サーバ40からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスのアドレスを受信し、付加サービス提供サーバ50からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供される。
コンテンツ提供サーバ10、コンテンツ認識サービス提供サーバ20、多チャネルビデオ番組配布サーバ30、付加サービス情報提供サーバ40、複数の付加サービス提供サーバ50のうち2つ以上は一つのサーバの形態で結合されもよく、一つの事業者によって運営されてもよい。
図2は、本発明の一実施例によるウォーターマーク基盤のネットワークトポロジーを示すグロック図である。
図2に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ21を含む。
図2に示したようなウォーターマークサーバ21はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を挿入する。多チャネルビデオ番組配布サーバ30は変形されたメイン視聴覚コンテンツを含む放送信号を受信して配布する。特に、ウォーターマークサーバは後述するようなデジタルウォーターマーキング技術を利用する。
デジタルウォーターマークは削除しにくい方法でデジタル信号に情報を挿入するプロセスである。例えば、デジタル信号はオーディオ、写真又はビデオである。このデジタル信号がコピーされると、挿入された情報も写本に保持される。一つのデジタル信号が同時に他の多くのウォーターマークを運搬する。
可視ウォーターマーキング(visible watermarking)において、挿入される情報は写真又はビデオで目で識別可能である。典型的に挿入された情報はメディアの所有者を識別するテキスト又はロゴである。テレビ局が自らのロゴを伝送されるビデオのコーナーに追加すると、これは目で識別可能なウォーターマークになる。
不可視ウォーターマーキング(invisible watermarking)において、情報はデジタルデータとしてオーディオ、写真又はビデオに追加されるか、一定量の情報が隠されていることを感知することはできてもそのような情報を認知することはできない。このような目で識別不可能なウォーターマーキングを介して秘密メッセージが伝達される。
ウォーターマーキングのある応用は、デジタルメディアの不法コピーを防ぐための著作権保護システムである。例えば、コピー装置はデジタルメディアをコピーする前にデジタルメディアからウォーターマークを得て、ウォーターマークの内容に基づいてコピーするのか否かを決定する。
ウォーターマーキングの他の応用はメディアの出処追跡にある。配布経路上の各地点でウォーターマークがデジタルメディアに埋め込まれる(embedded)。後にこのようなデジタルメディアが発見されたらこのデジタルメディアからウォーターマークが抽出され、ウォーターマークの内容から配布の出処を把握することができる。
デジタルメディアに関する説明が目で識別不可能なウォーターマーキングの他の応用である。
デジタルメディアのためのファイルフォーマットがメタデータと呼ばれる追加的な情報を含むが、デジタルウォーターマークはデジタルメディアの視聴覚信号自体で伝達されることからメタデータとは区別される。
ウォーターマーキング方法としてはスプレッドスペクトル、量子化、アンプリチュード変調がある。
マーキングされる信号が追加的な修正によって得られるのであれば、ウォーターマーキング方法はスプレッドスペクトルに当たる。スプレッドスペクトルウォーターマークはかなり強いと知られているが、ウォーターマークが埋め込まれたホスト信号に干渉を与えるため多くの情報が含まれることはない。
マーキングされる信号が量子化によって得られるのであれば、ウォーターマーキング方法は量子化タイプに当たる。量子化ウォーターマークは強靭性は低いが多くの情報を含ませることができる。
マーキングされる信号が空間ドメインからスプレッドスペクトルと類似した追加の修正方法で得られるのであれば、ウォーターマーキング方法はアンプリチュード変調に当たる。
図3は、本発明の一実施例によるウォーターマーク基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ10はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送する(S101)。
ウォーターマークサーバ21はコンテンツ提供サーバ10が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォーターマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を不可視ウォーターマークとして挿入し、ウォーターマーキングとして表示されたメイン視聴覚コンテンツと付加サービスをMVPD30に提供する(S103)。
不可視ウォーターマークを介して挿入されるウォーターマーク情報はウォーターマークの用途、コンテンツの情報、付加サービスの情報、利用可能か付加サービスのうち一つ以上を含む。ウォーターマークの用途は無断コピーの防止、視聴率の調査、付加サービスの獲得のうち一つを示す。
コンテンツ情報はメイン視聴覚コンテンツを提供するコンテンツ提供者の識別情報、メイン視聴覚コンテンツの識別情報、メイン視聴覚コンテンツの等級情報、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報、メイン視聴覚コンテンツが放送されるチャネル名、メイン視聴覚コンテンツが放送されるチャネルのロゴ、メイン視聴覚コンテンツが放送されるチャネルの説明、利用情報を報告するアドレス、利用情報の報告周期、利用情報を獲得する耐えの最小の利用時間、メイン視聴覚コンテンツに関して利用可能な付加サービス情報のうち一つ以上を含む。
映像表示装置100がコンテンツ情報を獲得するためにウォーターマークを利用したのであれば、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報は利用されたウォーターマークが内挿(embedding)されたコンテンツ区間の時間情報である。映像表示装置100がコンテンツ情報を獲得するためにフィンガープリントを利用したのであれば、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報は特徴情報が抽出されたコンテンツ区間の時間情報である。コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報はコンテンツ情報の獲得に使用されたコンテンツ区間の開始時間、コンテンツ情報の獲得に使用されたコンテンツ区間の持続時間(duration)、コンテンツ情報の獲得に使用されたコンテンツ区間の終了時間のうち一つ以上を含む。
利用情報の報告アドレスはメイン視聴覚コンテンツの視聴情報の報告アドレス、付加サービス利用情報の報告アドレスのうち一つ以上を含む。利用情報の報告周期はメイン視聴覚コンテンツの視聴情報の報告周期、付加サービス利用情報の報告周期のうち一つ以上を含む。利用情報を獲得するための最小の利用時間はメイン視聴覚コンテンツの視聴情報を獲得するための最小の視聴時間、付加サービス利用情報を抽出するための最小の使用時間のうち一つ以上を含む。
メイン視聴覚コンテンツが最小時長時間以上視聴された場合に基づいて映像表示装置100はメイン視聴覚コンテンツの市長情報を獲得し、メイン視聴覚コンテンツ視聴情報の報告周期からメイン視聴覚コンテンツ視聴情報の報告アドレスとして抽出した視聴情報を報告する。
付加サービスが最小使用時間以上使用された場合に基づいて映像表示装置100は付加サービス利用情報を獲得し、付加サービス利用情報の報告周期から付加サービス利用情報の報告アドレスとして抽出した利用情報を報告する。
付加サービス情報は付加サービスが存在するのかに関する情報、付加サービスアドレス提供サーバのアドレス、それぞれの利用可能な付加サービスの獲得経路、それぞれの利用可能な付加サービスのためのアドレス、それぞれの利用可能な付加サービスの開始時間、それぞれの利用可能な付加サービスのための終了時間、それぞれの利用可能な付加サービスの寿命周期(lifetime)、それぞれの利用可能な付加サービスの獲得モード、それぞれの利用可能な付加サービスのための要請周期、それぞれの利用可能な付加サービスの優先順位情報、それぞれの利用可能な付加サービスの説明、それぞれの利用可能な付加サービスの項目(category)、利用情報の報告アドレス、利用情報の報告周期、利用情報を獲得するための最小利用時間のうち一つ以上を含む。
利用可能な付加サービスの獲得経路はIP又はATSC M/H(Advanced Television Systems Committee−Mobile/Hnadheld)を示す。利用可能な付加サービスの獲得経路がATSC M/Hであれば付加サービス情報は周波数情報、チャネル情報を更に含む。それぞれの利用可能な付加サービスの獲得モードはPush又はPullを示す。
一方、ウォーターマークサーバ21はメイン視聴覚コンテンツのロゴにウォーターマーク情報を不可視ウォーターマークとして挿入する。
例えば、ウォーターマークサーバ21はロゴの一定位置にバーコードを挿入する。この際、ロゴの一定値はロゴがディスプレーされる区域の下端の1ラインに当たる。映像表示装置100はこのようにバーコードが挿入されたロゴを含むメイン視聴覚コンテンツを受信する場合、バーコードをディスプレーしなくてもよい。
また、ウォーターマークサーバ21はロゴのメタデータの形態にウォーターマーク情報を挿入する。この際、ロゴの形状は維持される。
また、ウォーターマーク21はM個のフレームのロゴそれぞれにNビットのウォーターマーク情報を挿入する。即ち、ウォーターマークサーバ21はフレームを介してM*N個のウォーターマーク情報を挿入する。
MVPD30はウォーターマーキングで表示されたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供する(S105)。この際、多重化信号は受信した付加サービスを排除するか新しい付加サービスを含む。
放送受信装置60はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調しチャネル復号化(channel decoding)して視聴覚復号(AV decoding)を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供する(S106)。
一方、コンテンツ提供サーバ10もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送する(S107)。
また、MVPD30は放送受信装置60を介せずに直接映像表示装置100にメイン視聴覚コンテンツを含む放送信号を伝送してもよい(S108)。
映像表示装置100はセットトップボックスのような放送受信装置60を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置100は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置100はMVPD30から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置100は獲得したメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たる場合、映像表示装置100は複数のロゴと複数のウォーターマークサーバのアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバのアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置100はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置100はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバのアドレスを含む。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置100は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバのアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバのアドレスを確認する。このように、映像表示装置100はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバアドレスに当たるウォーターマークサーバ21にアクセスして第1質疑を伝送する(S109)。
ウォーターマークサーバ21は第1質疑に対する第1応答を提供する(S111)。この第1応答はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
ウォーターマーク情報と第1応答が付加サービスアドレスを含んでいなければ、映像表示装置100は付加サービスを獲得することができない。しかし、ウォーターマーク情報と第1応答が付加サービスアドレス提供サーバのアドレスを含む。このように、映像表示装置100はウォーターマーク情報と第1応答を介して付加サービスアドレスや付加サービスを獲得できず付加サービスアドレス提供サーバのアドレスを獲得したのであれば、映像表示装置100は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ40にアクセスしてコンテンツ情報を含む第2質疑を伝送する(S119)。
付加サービス情報提供サーバ40は第2質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを研削する。次に、付加サービス情報抵抗サーバ40は第2質疑に対する第2応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置100に提供する(S121)。
映像表示装置100はウォーターマーク情報、第1応答又は第2応答を介して一つ以上の利用可能な付加サービスアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスアドレスにアクセスして付加サービスを要請し(S123)、付加サービスを獲得する(S125)。
図4は、本発明の一実施例によるウォーターマーク基盤のコンテンツの認識タイミングを示す図である。
図4に示したように、放送受信装置60がターンオンされてチャネルをチューニングし、映像表示装置100が外部入力ポート11を介して放送受信装置60からチューニングされたチャネルのメイン視聴覚コンテンツを受信すると、映像表示装置100はメイン視聴覚コンテンツのウォーターマークからコンテンツ提供者識別子(または放送局識別子)を感知する。次に、映像表示装置100は感知したコンテンツ提供者識別子に基づいてメイン視聴覚コンテンツのウォーターマークからコンテンツ情報を感知する。
この際、図4に示したように、コンテンツ識別子の感知可能周期とコンテンツ情報の感知可能周期は異なり得る。特に、コンテンツ提供者識別子の感知可能周期はコンテンツ情報の感知可能周期より短い。それを介し、映像表示装置100は必要な情報のみを感知するための効率的な構成を有する。
図5は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーを示すグロック図である。
図5に示したように、本発明の一実施例によるネットワークトポロジーはフィンガープリントサーバ22を更に含む。
図5に示したようなフィンガープリントサーバ22はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出して貯蔵する。次に、フィンガープリントサーバ22は映像表示装置100からの特徴情報を受信したら、受信した情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
図6は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ10はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送する(S201)。
フィンガープリントサーバ22はコンテンツ提供サーバ10が提供する放送信号を受信し、メイン視聴覚コンテンツの複数のフレーム区間または複数のオーディオ区間から複数の特徴情報を抽出し、複数の特徴情報にそれぞれ対応する複数の質疑結果のためのデータベースを構築する(S203)。質疑結果はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
MVPD30はメイン視聴覚コンテンツ付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供する(S205)。この際、多重化信号は付加サービスを排除するか新しい付加サービスを含む。
放送受信装置60はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を不調しチャネル復号化して視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供する(S206)。
一方、コンテンツ提供サーバ10も視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送する(S207)。
また、MVPD30は放送受信装置60を介せずに直接映像表示装置100にメイン視聴覚コンテンツを含む信号を伝送する(S208)。
映像表示装置100はセットトップボックス60を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置100は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置100はMVPD30から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信する。映像表示装置100は獲得したメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出する(S213)。
映像表示装置100は予め設定されたフィンガープリントサーバのアドレスに当たるフィンガープリントサーバ22にアクセスして抽出した情報を含む第1質疑を伝送する(S215)。
フィンガープリントサーバ22は第1質疑に対する応答として質疑結果を提供する(S217)。もし第1応答が失敗に当たれば、映像表示装置100は他のフィンガープリントサーバアドレスに当たるフィンガープリントサーバ22にアクセスして抽出した特徴情報を含む第1質疑を伝送する。
フィンガープリントサーバ22は質疑結果としてXML(Extensible Markup Language)文書を提供する。質疑結果を保持するXML文書の例を図7と表1を参照して説明する。
図7は、本発明の一実施例による質疑結果を保持するACR−ResulttypeのXMLスキーマダイアグラムである。
図7に示したように、質疑結果を保持するACR−ResulttypeはResultCode属性とContentID、NTPTimestamp、SignalingChannelInformation、ServicInformaionエレメントを有する。
例えば、ResultCode属性が200の値を有すると、これは質疑結果が成功であることを意味する。ResultCode属性が404の値を有すると、これは質疑結果が失敗であることを意味する。
SignalingChannelInformationエレメントはSignalingChannelURLエレメントを有し、SignalingChannelURLエレメントはUpdateMode、PollingCycle属性を有する。属性はPull値またはPush値を有する。
ServicInformaionエレメントはServiceName, ServicInformaionエレメントはServiceName、ServiceLogo、ServiceDescriptionエレメントを有する。
表1は、このような質疑結果を保持するACR−ResultTypeのXML Schemaを示す。
ContentIDエレメントとして、下記表2で示したようなATSCコンテンツ識別子(ATSC content identifier)が利用される。
表2に示したように、ATSC content idetifierはTSIDとハウス番号で構成された構造を有する。
16ビットの符号のない整数TSIDはトランスポートストリーム識別子(transport stream identifier)を保持する(carry)。
5ビットの符号のない整数end_of_dayは放送が終わってcontent_id値が再使用される日の時(hour)としてセッティングされる。
9ビットの符号のない整数unique_forはcontent_id値が再使用できない日の数(number of day)に設定される。
content_idはコンテンツ識別子を示す。映像表示装置100は毎日end_of_dayに当たる時間からunique_forを1ずつ減少し、unique_forが0になっていなければcontent_idが唯一であるとみなす。
一方、ContentIDエレメントとして、後述するようなASTC−M/H serviceのためのグローバルサービス識別子(Clobal Service Identifier)が利用される。
グローバルサービス識別子は以下のようなフォームを有する。
−urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
ここで、<region>はISO 639−2によって規定される2桁の文字の国際コードである。ローカルサービス(local service)のための<xsid>は<region>で定義するようなTSIDの十進数であり、地域サービス(regional service)(major>69)のための<xsid>は「0」である。<serviceid>は<major>や<minot>に定義される。<major>はメジャーチャネル番号(Major Channel Number)を示し、<minor>はマイナーチャネル番号(Minor Channel Number)を示す。
グローバル識別子の例は以下のようである。
−urn:oma:bcast:iauth:atsc:service:us:1234:5.1
−urn:oma:bcast:iauth:atsc:service:us:0:100.200
一方、ContentIDエレメントとして、後述するようなATSCコンテンツ識別子が利用される。
ATSCコンテンツ識別子は以下のようなフォームを有する。
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
ここで、<region>はISO 639−2によって規定される2桁の文字の国際コードである。ローカルサービスのための<xsid>は<region>で定義するようなTSIDの十進数であり、「.」<serviceid>が後に続く。地域サービス(major>69)のための<xsid>は<serviceid>である。<content_id>は表2に定義されているcontent_id fieldはbase64符合であり、<unique_for>は表2に定義されているunique_for fieldの十進数の符号であり、<end_of_day>は表2に定義されているend_of_day fieldの十進数の符号である。
以下、更に図6を説明する。
質疑結果が付加サービスや付加サービスを含まず付加サービスアドレス提供サーバのアドレスを含めば、映像表示装置100は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ40にアクセスしてコンテンツ情報を含む第2質疑を伝送する(S219)。
付加サービス情報提供サーバ40は第2質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーバ40は第2質疑に対する第2応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置100に提供する(S221)。
映像表示装置100は第1応答または第2応答に応じて一つ以上の利用可能な付加サービスのアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスのアドレスにアクセスして付加サービスを要請し(S223)、付加サービスを獲得する(S225)。
UpdateMode属性がPull値を有する場合、映像表示装置100はSignalingChannelURLを介してHTTP requestを付加サービス提供サーバ50に伝送し、それに対する応答としてPSIPバイナリストリームを含むHTTP responseを付加サービス提供サーバ50から受信する。この場合、映像表示装置100はPollingCycle属性として指定されるPolling周期に応じてHTTP requestを伝送する。また、SignalingChannelURLエレメントはアップデート時間属性を有してもよい。この場合、映像表示装置100はアップデート時間属性として指定されるアップデート時間からHTTP requestを伝送する。
UpdateMode属性がPush値を有する場合、映像表示装置100はXNLHTTPRequest APIを活用して非同期的にサーバからアップデートを受信する。映像表示装置100がサーバにXMLHTTPRequest objectを介して非同期的なrequestをした後、シグナリング情報に変更があればこのチャネルを介してサーバがresponseにシグナリング情報を提供する方案である。セッションの待機時間に制限があればsession timeout respondを発生し、受信機は直ちにそれを認知し再要請して受信機とサーバ間のシグナリングチャネルを常に維持する。
図8は、本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジーを示すグロック図である。
図8に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ21とフィンガープリントサーバ22を更に含む。
図8に示したようなウォーターマークサーバ21はメイン視聴覚コンテンツにコンテンツ提供者識別情報を挿入する。ウォーターマークサーバ21はロゴのように可視ウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよく、不可視ウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよい。
フィンガープリントサーバ22はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出して貯蔵する。次に、フィンガープリントサーバ22は映像表示装置100からの特徴情報を受信すると、受信した情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
図9は、本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
まず、コンテンツ提供サーバ10はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送する(S301)。
ウォーターマークサーバ21はコンテンツ提供サーバ10が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォーターマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を不可視ウォーターマークとして挿入し、ウォーターマーキングとして表示されたメイン視聴覚コンテンツと付加サービスをMVPD30に提供する(S303)。不可視ウォーターマークを介して挿入されるウォーターマーク情報はコンテンツの情報、付加サービスの情報、利用可能か付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
MVPD30はウォーターマーキングで表示されたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置60に提供する(S305)。この際、多重化信号は受信した付加サービスを排除するか新しい付加サービスを含む。
放送受信装置60はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調しチャネル復号化して視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置100に提供する(S306)。
一方、コンテンツ提供サーバ10もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送する(S307)。
また、MVPD30は放送受信装置60を介せずに直接映像表示装置100にメイン視聴覚コンテンツを含む信号を伝送してもよい(S308)。
映像表示装置100はセットトップボックス60を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置100は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置100はMVPD30から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置100は獲得したメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たる場合、映像表示装置100は複数のロゴと複数のウォーターマークサーバのアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバのアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置100はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置100はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバのアドレスを含む。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置100は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバのアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバのアドレスを確認する。このように、映像表示装置100はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバアドレスに当たるウォーターマークサーバ21にアクセスして第1質疑を伝送する(S309)。
ウォーターマークサーバ21は第1質疑に対する第1応答を提供する(S311)。この第1応答はフィンガープリントサーバのアドレス、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
ウォーターマーク情報と第1応答が付加サービスアドレスを含んでいれば、映像表示装置100はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出する(S313)。
映像表示装置100は第1応答内のフィンガープリントサーバのアドレスに当たるフィンガープリントサーバ22にアクセスして抽出した情報を含む第2質疑を伝送する(S315)。
フィンガープリントサーバ22は第2質疑に対する第2応答として質疑結果を提供する(S317)。
質疑結果が付加サービスアドレスや付加サービスを含まずに付加サービスアドレス提供サーバのアドレスのみを含めば、映像表示装置100は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ40にアクセスしてコンテンツ情報を含む第3質疑を伝送する(S319)。
付加サービス情報提供サーバ40は第3質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーb40は第3質疑に対する第3応答として一つ以上の利用可能は付加サービスのための付加サービス情報を映像表示装置100に提供する(S321)。
映像表示装置100は第1応答、第2応答または第3応答を介して一つ以上の利用可能な付加サービスのアドレスを獲得したら、この一つ以上の利用可能な付加サービスのアドレスにアクセスして付加サービスを要請し(S323)、付加サービスを獲得する(S325)。
次に図10を参照して、本発明の一実施例による映像表示装置100を説明する。
図10は、本発明の実施例による映像表示装置のグロック図である。
図10に示したように、本発明の実施例による映像表示装置100は放送信号受信部101、復調部103、チャネル復号部105、逆多重化部107、視聴覚復号部109、外部入力ポート111、再生制御部113、再生装置120、付加サービス管理部130、データ送受信部141、メモリ150を含む。
放送信号受信部101はコンテンツ提供サーバ10またはMVPD30から放送信号を受信する。
復調部103は受信した放送信号を復調し、復調された信号を生成する。
チャネル復号部105は復調された信号をチャネル復号し、チャネル復号されたデータを生成する。
逆多重下部107はチャネル復号されたデータからメイン視聴覚コンテンツと付加サービスを分離する。分離された付加サービスは付加サービス貯蔵部152に貯蔵される。
視聴覚復号部109は分離されたメイン視聴覚コンテンツを視聴覚復号して日圧縮メイン視聴覚コンテンツを生成する。
一方、外部入力ポート111は放送受信装置60、DVD(versatile disk)プレーヤー、ブルーレイディスク(Blu−ray disc)プレーヤーなどから非圧縮メイン視聴覚コンテンツを受信する。外部入力ポート111はDSUBポート、HDMI(High Difinition Multimedia Interface)ポート、DVI(Digital Visual Interface)ポート、コンポジット(composite)ポート、コンポーネント(component)ポート、S−Videoポートのうち一つ以上を含む。
再生制御部113は視聴覚復号部109が生成する非圧縮メイン視聴覚コンテンツまたは外部入力ポート111から受信した非圧縮メイン視聴覚コンテンツのうち少なくとも一つをユーザの選択によって再生装置120に再生する。
再生装置120はディスプレー部121とスピーカ123を含む。ディスプレー部121は液晶ディスプレー(liquid crystal display,LCD)、薄膜トランジスタ液晶ディスプレー(thin film transistor−liquid crystal display,TFT LCD)、有機発光ダイオード(organic lisht−emitting diode,OLED)、フレキシブルディスプレー(flexible display)、3次元ディスプレー(3D display)のうち少なくとも一つを含む。
付加サービス管理部130はメイン視聴覚コンテンツのコンテンツ情報を獲得し、獲得したコンテンツ情報に基づいて利用可能な付加サービスを獲得する。特に、上述したように付加サービス管理部130は非圧縮メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルに基づいてメイン視聴覚コンテンツの識別情報を獲得するが、本明細書ではそれを自動コンテンツ認識(automatic contents recognition,ACR)と称することもある。
データ送受信部141はATSC−M/H(Advanced Television Systems Committee−Mobile/Handheld)チャネル送受信部141aとIP送受信部141bを含む。
メモリ150はフラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(Hard disk type)、マルチメディアカードマイクロタイプ(Multimedia card micro type)、カードタイプのメモリ(例えばSDまたはXDメモリなど)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、ROM(Read−Only memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、PROM(Programmable Read−Only Memory)、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの貯蔵媒体を含む。映像表示装置100はインターネット(internet)上で前記メモリ150の貯蔵機能を行うウェブストレッジ(web storage)に関して動作してもよい。
メモリ150はコンテンツ情報貯蔵部151、付加サービス貯蔵部152、ロゴ貯蔵部153、設定情報貯蔵部154、ブックマーク貯蔵部155、ユーザ情報貯蔵部156、利用情報貯蔵部157を含む。
コンテンツ情報貯蔵部151は複数の特徴情報に対応する複数のコンテンツ情報を貯蔵する。
付加サービス貯蔵部152は複数の特徴情報に対応する複数の付加サービスを貯蔵してもよく、複数のコンテンツ情報に対応する複数の付加サービスを貯蔵してもよい。
ロゴ貯蔵部153は複数のロゴを貯蔵する。また、ロゴ貯蔵部はこの複数のロゴに対応するコンテンツ提供者識別子または複数のロゴに対応するウォーターマークサーバのアドレスを更に含む。
設定情報貯蔵部154はACRのための設定情報を貯蔵する。
ブックマーク貯蔵部155はブックマークを貯蔵する。
ユーザ情報貯蔵部156はユーザ情報を貯蔵する。ユーザ情報は一つ以上のサービスのための一つ以上のアカウント情報、地域情報、家族構成員の情報、好みのジャンルの情報、映像表示装置の情報、利用情報提供範囲のうち一つ以上を含む。一つ以上のアカウント情報は利用情報測定サーバのためのアカウント情報、ツイッター(twitter)、フェースブック(facebook)のようなソーシャルネットワークサービス(social network service)のアカウント情報を含む。地域情報は住所情報、郵便番号を含む。家族構成員の情報は家族構成員の数、各構成員の年齢、各構成員の性別、各構成員の宗教、各構成員の職業などを含む。好みのジャンルの情報はスポーツ、映画、ドラマ、教育、ニュース、エンタテインメント、その他のジャンルのうち一つ以上に設定される。映像表示装置の情報は映像表示装置の種類、製造会社、ファームウェアのバージョン、解像度、モデル名、OS、ブラウザ、貯蔵装置の有無、貯蔵装置の容量、ネットワークの速度に関する情報を含む。利用情報提供範囲が設定されると、映像表示装置100は設定された範囲内でメイン視聴覚コンテンツ視聴情報と付加サービス利用情報を収集し報告する。利用情報提供範囲は仮想チャネルそれぞれに対して設定される。また、利用情報測定許容範囲は物理チャネル全体に対して設定されてもよい。
利用情報貯蔵部157は映像表示装置100によって収集されるメイン視聴覚コンテンツ視聴情報と付加サービス使用情報を貯蔵する。また、映像表示装置100は収集したメイン視聴覚コンテンツの視聴情報と収集した付加サービス使用情報に基づいてサービス利用パターンを分析し、分析されたサービス利用パターンを利用情報貯蔵部157に貯蔵する。
付加サービス管理部130はフィンガープリントサーバ22またはコンテンツ情報貯蔵部151からメイン視聴覚コンテンツのコンテンツ情報を獲得する。コンテンツ情報貯蔵部151に抽出した特徴情報に当たるコンテンツ情報がないか十分なコンテンツ情報がない場合、付加サービス管理部130はデータ送受信部151を介して追加にコンテンツ情報を受信する。また、付加サービス管理部130は持続的にコンテンツ情報をアップデートする。
付加サービス管理部130は付加サービス提供サーバ50または付加サービス貯蔵部153から利用可能な付加サービスを獲得する。付加サービス貯蔵部153に付加サービスがないか十分な付加サービスがない場合、付加サービス管理部130はデータ送受信部151を介して付加サービスをアップデートする。また、付加サービス管理部130は持続的に付加サービスをアップデートする。
付加サービス管理部130はメイン視聴覚コンテンツからロゴを抽出し、ロゴ貯蔵部155に質疑して抽出したロゴに対応するコンテンツ提供者識別子またはウォーターマークサーバのアドレスを獲得する。ロゴ貯蔵部155に抽出したロゴと一致するロゴがないか十分なロゴがない場合、付加サービス管理部130はデータ送受信部151を介して追加のロゴを受信する。また、付加サービス管理部130は持続的にロゴをアップデートする。
付加サービス管理部130はメイン視聴覚コンテンツから抽出したロゴとロゴ貯蔵部155内の複数のロゴとの比較を行うが、演算の負担を減らすための多様な方法を行う。
例えば、付加サービス管理部130は色相特性に基づいて比較を行う。即ち、付加サービス管理部130は抽出したロゴの色相特性とロゴ貯蔵部155内のロゴの色相特性を比較してその一致可否を判断する。
また、付加サービス管理部130は文字認識に基づいて比較を行う。即ち、付加サービス管理部130は抽出したロゴから認識される文字とロゴ貯蔵部151内のロゴから認識される文字を比較してその一致可否を判断する。
それだけでなく、付加サービス管理部130はロゴの輪郭に関する形状に基づいて比較を行う。即ち、付加サービス管理部130は抽出したロゴの輪郭形状とロゴ貯蔵部155内のロゴの輪郭形状を比較してその一致可否を判断する。
次に、図11及び図12を参照し、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を説明する。
図11は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示すフローチャートである。
付加サービス情報は付加サービスの開始時間を含む。この際、映像表示装置100はこの開始時間に付加サービスを開始する必要がある。しかし、映像表示装置100はタイムスタンプを有しない非圧縮メイン視聴覚コンテンツを伝送する信号を受信するため、メイン視聴覚コンテンツの再生時間の基準と付加サービスの開始時間の基準は互いに異なる。映像表示装置100が時間情報を有するメイン視聴覚コンテンツを受信しても、再放送のようにメイン視聴覚コンテンツの再生時間の基準と付加サービスの再生時間の基準は異なり得る。よって、映像表示装置100はメイン視聴覚コンテンツの基準時間と付加サービスの基準時間を同期化する必要がある。特に、映像表示装置100はメイン視聴覚コンテンツの再生時間と付加サービスの開始時間を同期化する必要がある。
まず、付加サービス管理部130はメイン視聴覚コンテンツの一部区間を抽出する(S801)。メイン視聴覚コンテンツの一部区間はメイン視聴覚コンテンツの一部のビデオフレームと一部のオーディオフレームのうち一つ以上を含む。付加サービス管理部130がメイン視聴覚コンテンツの一部区間を抽出する時間をTnと称する。
付加サービス管理部130は抽出された区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得する(S803)。詳しくは、付加サービス管理部130は抽出された区間に不可視ウォーターマークとして符号化された情報を復号してコンテンツ情報を獲得する。また、付加サービス管理部130は抽出された区間の特徴情報を抽出し、抽出された特徴情報に基づいてフィンガープリントサーバ22またはコンテンツ情報貯蔵部151からメイン視聴覚コンテンツのコンテンツ情報を獲得する。付加サービス管理部130がコンテンツ情報を獲得した時間をTmと称する。
一方、コンテンツ情報は抽出された区間の開始時間Tsを含む。付加サービス管理部130はコンテンツ情報獲得時間Tmの後からは時間Ts、時間Tm、時間Tnに基づいてメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化する(S805)。詳しくは、付加サービス管理部130はコンテンツ情報獲得時間Tmを下記数式1で計算される時間Tpとみなす。
そして、付加サービス管理部130はコンテンツ情報獲得時間から時間Txが経過した時間をTp+Txとみなす。
次に、付加サービス管理部130は獲得したコンテンツ情報に基づいて付加サービスと付加サービスの開始時間Taを獲得する(S807)。
メイン視聴覚コンテンツの同期化された再生時間が付加サービスの開始時間Taと一致すれば、付加サービス管理部130は獲得した付加サービスを開始する(S809)。詳しくは、付加サービス管理部130は下記数式2を満足する場合に付加サービスを開始する。
図12は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示す概念図である。
図12に示したように、映像表示装置100はシステム時間Tnで視聴覚サンプルを抽出する。
映像表示装置100は抽出した視聴覚サンプルから特徴情報を抽出し、フィンガープリントサーバ22に抽出した特徴情報を含む質疑を伝送して質疑結果を受信する。映像表示装置100は質疑結果をパーシングし、抽出した視聴覚サンプルの開始時間Tsが11000msに当たることを時間Tmで確認する。
よって、映像表示装置は数式1によって抽出した視聴覚サンプルの開始時間を確認した時点をTs+(Tm−Tn)とみなし、その後からメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化する。
次に、図13乃至図14を参照し、本発明の多様な実施例によるACRアプリケーションを説明する。
本発明の多様な実施例によるACRアプリケーションであって、自動再生アプリケーション、コンテンツ提供者アプリケーション、映像表示装置製造会社アプリケーションなどが挙げられる。
図13は、本発明の実施例による自動再生アプリケーションの実行画面を示す図である。
自動再生アプリケーションはユーザがいかなるアクションを取らなくても付加サービスを自動的に再生する。このような意味で、本明細書で自動再生アプリケーションをリーンバックアプリケーション(lean back application)と称することもある。
自動再生アプリケーションはメイン視聴覚コンテンツの再生中にコンテンツ提供者または放送局が提供する場面連関情報のような付加サービスをメイン視聴覚コンテンツの再生時間に応じてユーザの入力がなくても自動的に再生する。即ち、コンテンツ提供者または放送局が全的に自動再生アプリケーションを統制する。例えば、自動再生アプリケーションが特定チャネルまたは特定コンテンツに関する場合、映像表示装置100が自動再生アプリケーションに関するチャネルまたはコンテンツに進入すると、映像表示装置100は該当自動再生アプリケーションをユーザが入力がなくても自動的に実行する。そして、映像表示装置100が自動再生アプリケーションに関するチャネルまたはコンテンツから逸脱すると、映像表示装置100は該当自動再生アプリケーションをユーザの入力がなくても自動的に終了する。このような意味で、本明細書で自動再生アプリケーションをチャネル従属アプリケーションまたはコンテンツ従属アプリケーションと称することもある。
図13に示したように、自動再生アプリケーションが再生されると、画面200は縮小されたメイン視聴覚コンテンツが再生されるサブ画面210と付加情報がディスプレーされるサブ画面200を含む。付加情報がディスプレーされるサブ画面220はメイン視聴覚コンテンツが再生されるサブ画面210と空間的に分けられる。
一方、自動再生アプリケーションが実行される際、付加情報がディスプレーされる領域は半透明である。この場合、付加情報がディスプレーされる領域はメイン視聴覚コンテンツが再生される領域の上にオーバーレイ(overlay)される。
図14は、本発明の実施例によるコンテンツ提供者アプリケーションの実行画面を示す図である。
本明細書において、コンテンツ提供者アプリケーションをフルインタラクティブアプリケーション(full interactive applicaiton)と称することもある。
図14の(A)に示したように、映像表示装置100は複数のアプリケーションをダウンロードして貯蔵する。図14の(A)は複数のアプリケーションのアイコン230である。このようなアプリケーションのうちコンテンツ提供者アプリケーションはコンテンツ提供者によって製作され配布されるアプリケーションであって、コンテンツ提供者の統制下にある。
映像表示装置100のユーザはコンテンツ提供者アプリケーションをアプリケーションストアからダウンロードし、ダウンロードされたコンテンツ提供者アプリケーションの実行を決定する。
図14の(B)はコンテンツ提供者アプリケーションの実行画面を示す図である。図14の(B)に示したように、画面200は縮小されたメイン視聴覚コンテンツが再生されるサブ画面210と付加情報がディスプレーされるサブ画面220、メニューがディスプレーされるサブ画面を含む。
以下、図23〜図50を参照して、本発明の一実施形態に係る映像表示装置メーカーのアプリケーションを説明する。
映像表示装置製造会社アプリケーションは映像表示装置の製造会社によって製作され、映像表示装置の製造会社によって制御され、映像表示装置100の生産の際に予め貯蔵される。即ち、映像表示装置製造会社アプリケーションはコンテンツ提供者やコンテンツに関係なく同じサービスを提供し、コンテンツ提供者やコンテンツ関係なく同じユーザインタフェースを提供する。
映像表示装置製造会社アプリケーションはコンテンツ提供者が提供する付加サービスが表示される領域と映像表示装置製造会社が提供する付加サービスが表示される領域を分離して有する。映像表示装置製造会社アプリケーションは映像表示装置100のユーザによって実行可否が決定される。
映像表示装置製造会社アプリケーションは2つのタイプを有する。
第1タイプの映像表示装置製造会社アプリケーションはサイズ調節ユーザインタフェース(resizing user interface)を有する。サイズ調節ユーザインタフェースを有する映像表示装置製造会社アプリケーションは、メイン視聴覚コンテンツがディスプレーされる領域のサイズを減らし、減らした領域内でメイン視聴覚コンテンツの内容全てがディスプレーされるようにする。また、サイズ調節ユーザインタフェースを有する映像表示装置製造会社アプリケーションは、アプリケーションがディスプレーされる領域をアルファベットのLの字や逆のLの字のような構造にする。
第2タイプの映像表示装置製造会社アプリケーションはオーバレイユーザインタフェース(overlay user interface)を有する。オーバレイユーザインタフェースを有する映像表示装置製造会社アプリケーションはメイン視聴覚コンテンツがディスプレーされる領域のサイズはそのまま維持しながらアプリケーションがディスプレーされる領域をメイン視聴覚コンテンツの上に重ねる。アプリケーションがディスプレーされる領域がメイン視聴覚コンテンツを隠すため、アプリケーション領域は半透明である。
このように、映像表示装置製造会社アプリケーションはいかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しない。このようなアプリケーションは映像表示装置製造会社によって製作されると説明したが、それに限る必要はない。このようないかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しないアプリケーションはチャネル変更によっては実行されず、チャネル変更によっては終了されない。本明細書では説明の便宜上、このようないかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しないアプリケーションをチャネル独立アプリケーション、映像表示装置製造会社アプリケーションまたはLive+appと称する。
次に、図15と図16を参照して本発明の実施例によるACR機能のオンオフ制御を説明する。
図15は、本発明の実施例によるACR機能を制御するためのユーザインタフェースを示す図である。
図15に示したように、再生制御部113はACR機能設定ウィンドウをディスプレーする。ユーザはACR機能設定ウィンドウを介してACE機能を活性化するか非活性化する。
ACR機能が活性化された場合、ユーザはACRモードを選択する。本発明の実施例によるACRモードは自動再生アプリケーションモード、コンテンツ提供者アプリケーションモード、製造表示装置製造会社アプリケーションモードのうち一つとして設定される。
このようにACR機能のモードが設定されると、再生制御部113は設定情報を設定情報貯蔵部154に貯蔵する。
図16は、本発明の実施例による映像表示装置の動作方法示すフローチャートである。
付加サービス管理部130はACR機能がターンオンされているのかを確認する(S1901)。
ACR機能が非活性化されていれば、付加サービス管理部130はそれ以上コンテンツ情報獲得の手続を行わない。
ACR機能が活性化されていれば、付加サービス管理部130はメイン視聴覚コンテンツの一部区間を抽出する(S1902)。
付加サービス管理部130は抽出した区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得する(S1093)。
付加サービス管理部130はメイン視聴覚コンテンツの基準時間を代替広告の基準時間と同期化する(S1905)。
付加サービス管理部130は獲得したコンテンツ情報に基づいて付加サービスを獲得する(S1907)。付加サービス管理部130は獲得したコンテンツ情報に基づいて付加サービス情報を獲得し、獲得した付加サービス情報に基づいて付加サービスを獲得してもよい。
次に、付加サービス管理部130はACRモードを確認する(S1909)。
付加サービス管理部130はACRモードに応じて付加サービスを再生する(S1911)。
詳しくは、ACRモードが自動再生アプリケーションモードであれば付加サービス管理部130は自動再生アプリケーションを実行し、実行された自動再生アプリケーションは獲得した付加サービスを再生する。
ACRモードがコンテンツ提供者アプリケーションモードであれば、付加サービス管理部130は獲得したコンテンツ情報に対応するコンテンツ提供者アプリケーションをバックグラウンドで実行する。付加サービス管理部130は付加サービスの利用に当たるユーザ入力を受信すると、コンテンツ提供者アプリケーションをディスプレーする。このコンテンツ提供者アプリケーションが獲得した付加サービスを再生する。コンテンツ提供者アプリケーションが自動的にバックグラウンドで実行される代わりに、コンテンツ提供者アプリケーションはユーザ入力によって実行されてもよい。
ACRモードが映像表示装置製造会社アプリケーションモードであれば、付加サービス管理部130は映像表示装置製造会社アプリケーションをバックグラウンドで実行する。付加サービス管理部130は付加サービスの利用に当たるユーザ入力を受信すると、映像表示装置製造会社アプリケーションをディスプレーする。この映像表示装置製造会社アプリケーションが獲得した付加サービスを再生する。映像表示装置製造会社アプリケーションが自動的にバックグラウンドで実行される代わりに、映像表示装置製造会社アプリケーションはユーザ入力によって実行されてもよい。
次に、図17乃至図42を参照し、本発明の実施例による第三者付加サービスについて説明する。
図17は、本発明の実施例によるネットワークトポロジーを示す図である。
図17に示したように、本発明の実施例によるネットワークトポロジーはBroadcaster/CP Backendサーバのようなコンテンツ提供サーバ10、付加サービス提供サーバ50の一種である第三者サーバ90、ACRサーバのようなコンテンツ認識サービス提供サーバ20、ACR Smart TVのような映像表示装置100を含む。
映像表示装置100はチャネル従属アプリケーションまたはコンテンツ従属アプリケーションであるLeanbackアプリケーションを利用してコンテンツ提供サーバ10から放送局付加サービスを得て、チャネル独立アプリケーションであるLive+アプリケーションを利用して第三者サーバ90から第三者付加サービスを得る。
チャネル従属アプリケーションであるLeanback appは放送局やCP(Content Owner)が提供するアプリケーションであってプログラム単位またはscene(場面)単位の同期化されたサービスを提供する。放送局はプログラムを製作する主体であり、プログラム内にいかなる場面があるのかをよく知っているため特定場面に最も適合した内容を示すことができる。映像表示装置100がプログラムを認識すると、映像表示装置100は該当プログラムのコンテンツ提供サーバ10からLeanback appをダウンロードした後、ダウンロードされたLeanback appを自動的に実行する。しかし、映像表示装置100が実行されたLeanback appとは関係のない他のチャネルに移動すると映像表示装置100は該当Leanback appを自動的に終了し、移動されたチャネルのLeanback appがあれば該当Leanback appを実行する。
Live+appは第三者(例えば製造会社)が提供するアプリケーションであってTV内に事前に設置されており、Leanback appとは異なってユーザが視聴中のチャネルまたはプログラムに関係なく常に実行される。本特許で諦観するACR architectureはLive+ appがプログラムに関する付加情報及び場面単位の同期化された内容を示すようにする。Live+appはい一貫したユーザインタフェースを有し、プログラムに関係なく常に実行され使用されるアプリケーションである。Live+appは放送局がプログラムに関する付加情報を与えなくても、プログラムに関するメタデータを利用した多様なサービスを提供する。例えば、プログラムに関する基本情報及びプログラムの出演者が登場した映画のお勧めなどを提供する。Live+appは放送局/CPに割り当てられた領域を有しているため、放送局がプログラムに関する付加情報を提供する場合にLive+appは該当プログラムに関するEnhancement Dataを該当領域に示す。例えば、放送局が提供するEnhancement Dataとしてはユーザが視聴中のプログラムの前回の再視聴、場面同期化された内容(例えば商品の購入、場所の予約、音源の購入及びダウンロード、商品の広告など)がある。
映像表示装置100はACR moduleを搭載して非圧縮視聴覚コンテンツからシグネチャを抽出し、抽出したシグネチャを介してコンテンツ認識サービス提供サーバ20に質疑してプログラムを認識する。そして、映像表示装置100は認識されたプログラムに基づいてプログラムに関するアプリケーションを駆動する。Leanack appはプログラムを認識してからダインロードされ実行される。Live+appはTVの発売の際に製造会社によって事前に設置されてもよく、アップストアからダウンロードされて設置されてもよい。
コンテンツ認識サービス提供サーバ20は放送されるプログラムのオーディオ及び/またはビデオのシグネチャを貯蔵する。コンテンツ認識サービス提供サーバ20はシグネチャcaptureシステムを利用してリアルタイプ放送のシグネチャを抽出して貯蔵し、特定プログラムに当たるシグネチャを含むACR DBを放送局から提供されて貯蔵する。コンテンツ認識サービス提供素あー場20のACR DBにはプログラムcontent ID、シグネチャ、timestamp、URLなどが貯蔵されている。本明細書では2つのタイプのcontent IDが利用される。
第1タイプのcontent IDは放送局が直接与えるIDであって、放送局内でプログラムを結ういつに認識するための区分子である。放送局は自らが望むフォーマットにプログラムにcontent IDを与える。content IDはコンテンツ提供サーバ10にプログラムに関するEnhancement Dataを要請する際に使用される。
第2タイプのcontent IDはglobal unique content IDであって、全国的にまたは全世界的にプログラムを結ういつを認識するための区分子である。プログラムは全国放送チャネル、地域放送チャネル、ケーブル放送または衛星放送から負う出されるため、この全てのプログラムのシグネチャを抽出するために複数の地域のために多数のシグネチャcapture装備が設置される。そして、各プログラムを全国的にまたは全盛快適に唯一に認識し区分するためにプログラムにglobal unique content IDが割り当てられる。各プログラムとglobal unique content IDをマッピングするためにはメタデータデータベースが利用される。メタデータデータベースはプログラムに関する付加情報であるメタデータだけでなくプログラムスケジュール情報を含むため、好めたデータデータベースを利用してcaptureシステムから伝達されるシグネチャがいかなるプログラムであるのかマッピングされる。captureシステムは抽出したシグネチャがどの地域、どのチャネル、どの時間であるのかを知っているため、この情報を参照してメタデータデータベースを検索するとプログラムが検索される。メタデータデータベースはコンテンツ認識サービス提供サーバ20と第三者サーバ90に一緒に使用され、コンテンツ認識サービス提供サーバ20と第三者サーバ90はメタデータデータベースを利用してglobal unique content IDを介してプログラムを認識する。global unique content IDのフォーマットはサーバを運営する第三者が指定するフォーマットであってもよく、メタデータデータベースが提供するフォーマットであってもよい。
Live+appが提供する全てのサービスは第三者サーバ90から提供される。第三者サーバ90はコンテンツ認識サーバ提供サーバ20が伝達したglobal unique content IDを映像表示装置100から受信する。第三者サーバ90はglobal unique content IDを介してメタデータデータベースからglobal unique content IDに当たるプログラムに関するメタデータを抽出し、抽出したメタデータに基づいてプログラムと連携された多様なサービスを映像表示装置100に提供する。また、認識されたプログラムに対して放送局が提供する付加情報があれば第三者サーバ90は放送局サーバに接近してプログラムに関するEnhanced Dataを受信し、それを加工して映像表示装置100に提供する。Live+appを介して放送局が提供するプログラムに関するEnhancement DataはLeanback appが提供するEnhancement Dataと内容は同じであるが形態(UI)は異なり得る。しかし、他の実施例において、放送局によってLive+appを介して放送局が提供するプログラムに関するEnhancement Dataの内容はLeanback appが提供するEnhancement Dataと内容が異なり得る。
複数の放送局または複数のCPのための複数のコンテンツ提供サーバ10が存在する。コンテンツ提供サーバ10はプログラムターゲッティングされたLeanbackアプリケーションと、このLeanback appが出力するプログラムに関するEnhancement Dataを有する。
図18は、本発明の多様な実施例によるLive+アプリケーションを示す図である。
Live+appはメイン視聴覚メディアコンテンツをresizeして画面の左側上端の領域で示し、画面の右側領域でプログラムに関する付加情報を示し、画面の下端領域でプログラムに関する広告を示す。Live+appは右側領域であるコンテンツ領域の上端には複数のタブを示す。複数のタブはプログラム(Program)タブ、お勧め(Recommends)タブ、チャット(Talk)タブ、プラス(Plus)タブを含む。
図19は、本発明の多様な実施例によるLive+アプリケーションを実行する方法を示す図である。
映像表示装置100はホーム画面またはMy Apps画面をディスプレーする。My Apps画面は映像表示装置100内に設置されたアプリケーションのリストを示す画面である。
映像表示装置100はホーム画面またはMy Apps画面で示す複数のアプリケーションのうちLive+appアプリケーションを選択するユーザ入力を受信すると、Live+アプリケーションを実行する。
また、映像表示装置100は放送を再生しながらLive+appがあることを知らせるグラフィックをタイマーを介して一定時間間隔にディスプレーし、このグラフィックに関するユーザ入力を受けるとLive+appを実行してもよい。
図20は、本発明の多様な実施例によるLive+アプリケーションのタブの機能を示す図である。
プログラムタブは現在視聴者が見ているプログラムに対する基本情報と、プログラムの再視聴サービスを提供する。映像表示装置100はプログラム基本情報を第三者サーバ90のMeta DBからインポートする。映像表示装置100はプログラムの再視聴サービスに関する情報を第三者サーバ90を経て該当プログラムを製作するコンテンツ提供サーバ10からファイルをインポートする。
Recommends tabは現在のプログラムに関する他の視聴覚コンテンツである映画やビデオ(例えばYoutube)を勧めるか、現在のプログラムに関するアプリケーションを勧める。第三者サーバ90は現在のプログラムのタイトル、ジャンルや出演者に基づいて勧める映画やビデオを決定し、それに関する情報を加工して映像表示装置100のLive+アプリケーションのお勧めタブに提供する。
Talk tabは現在のプログラムに関するチャットの内容に当たるツイッター記事を提供する。第三者サーバ90は現在のプログラムのタイトル、ジャンルや出演者に基づいて現在のプログラムに関する記事を検索した後、検索した記事を加工して映像表示装置100のLive+アプリケーションのチャットタブに提供する。
Plus tabは放送局がプログラムに関するデータを示す領域であり、放送局サーバから受信した情報をそのまま提供するか、または第三者サーバ90が放送局サーバから受信した情報を加工した情報を提供する。Plus tabから提供されるデータの種類と個数には制限がない。プラスタブは商品の購入、場所の予約、音源の購入、商品の広告などの多様な付加サービスデータを提供する。但し、放送局サーバから受信した情報がそのままプラスタブに提供される場合、第三者サーバ90は放送局サーバから受信した情報をLive+appのコンテンツ領域(即ち、画面の右側領域)の位置及びサイズに合わせて情報を加工した後、映像表示装置100に提供する。
図21は、本発明に一実施例による第三者サーバ90のアーキテクチャを示す図である。
図21に示したように、本発明の一実施例による第三者サーバ90はアプリケーション階層(Application Layer)、サービスコンポーネント階層(Service Component Layer)、バックエンドシステム階層(Back−end System Layer)、データコンポーネント階層(Data component Layer)を含む。
アプリケーション階層はDelivery Interfaceを介して映像表示装置100を含む多様なディバイスと通信する。アプリケーション階層はアップストアコンポーネント(AppStore component)を含む。アップストアコンポーネントは開発者がAppを登録するインタフェースを支援するだけでなく、一般ユーザがAppを検索、ダウンロード及びインストールするインタフェースも支援する。また、Live+アプリケーションは第三者サーバ90にある広告、検索、お勧めなどのサービスをアップストアコンポーネントを介して受信する。
サービスコンポーネント階層はアプリケーション階層とサービス統合インタフェース(Service Integration Interface)を介して通信する。サービスコンポーネント階層は広告サービスコンポーネント、統合サービスコンポーネント、お勧めコンポーネント、ACRコンポーネントを含む。バックエンドシステム階層から加工されたデータを受けてそれをアプリケーション階層に伝達する。ACRコンポーネントは映像表示装置100から受信したContent ID、Global Content ID、timestamp、放送局サーバURLでバックエンドシステム階層のメタデータコンポーネントを介してプログラムに関する基本付加情報を得る。また、ACRコンポーネントはメタデータから得たプログラムtitleまたは俳優に関する情報を統合検索コンポーネントに伝達してプログラムに関する検索結果を得る。
バックエンドシステム階層は原本データをデータコンポーネント階層から読み込み、それを加工してサービスコンポーネント階層に伝達する。バックエンドシステム階層は検索エンジン、保安(Security)コンポーネント、DRMコンポーネント、メタデータコンポーネント、広告プラットフォームコンポーネント、ACRコンポーネントを含む。
データコンポーネント階層は実際のデータを有する。そこにはデータコンポーネント階層はファイル貯蔵所(File Repository)、統合データベース(Integrated DB)、ユーザプロファイル(User Profile)貯蔵所、メタデータ貯蔵所、広告データ貯蔵所を含む。ユーザプロファイル貯蔵所には視聴者またはユーザの性別、年齢、地域、所得、家族構成、好みのジャンル、好みのチャネル、好みの番組などの情報が貯蔵されている。メタデータ貯蔵所にはコンテンツに対するtitle、episode、director、synopsis、casts、genre、channel、air timeなどの情報が貯蔵されている。第三者サーバ90はmetadata providerまたはリアルタイム放送のガイド情報(例えば、ATSC地上波の場合にはPSIP)からコンテンツに関する情報を受信してメタデータ貯蔵所に貯蔵する。
図22は、本発明の実施例による自動実行アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。
まず、映像表示装置100はメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特長情報を含むACR質疑要請メッセージ(ACR query request message)をACRサーバに当たるフィンガープリントサーバ22に伝送する(S2105)。
フィンガープリントサーバ22はACR質疑要請メッセージ内の特徴情報をACR DBから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100に提供する(S2107)。この際、ACR質疑応答メッセージはプログラム認識成功可否に関する情報と、コンテンツ情報、リーンバックアプリケーションのURLを含む。上述したように、コンテンツ情報は認識されたプログラムのContent IDと認識されたプログラムのtimestampを含む。ここでのContent IDのフォーマットは該当放送局のみ認識可能なフォーマットであり、特にこの場合には放送局が該当プログラムのACR DBをコンテンツ認識サービス提供サーバ20に提供した場合に当たる。
映像表示装置100がACR質疑を介してプログラムの識別に成功し、leanback URLが有効であれば、映像表示装置100は該当leanback app URLにleanbackアプリケーションを要請する(S2109)。
コンテンツ提供サーバ10は映像表示装置100が要請するleanbackアプリケーションを映像表示装置100に提供し(S2111)、映像表示装置100はリーンバックアプリケーションをダウンロードする。
映像表示装置100がリーンバックアプリケーションのダウンロードに成功すると、映像表示装置100は自動的に該当リーンバックアプリケーションを実行する(S2113)。
映像表示装置100内で実行されたリーンバックアプリケーションは映像表示装置100内のACRエンジンから周期的にContent IDとtimestampを獲得し、獲得したContent IDとtimestampを含む付加データ要請メッセージをコンテンツ提供サーバ10に伝送して(S2115)、Content IDとtimestampに当たる場面に関する付加データ(Enahncement Data)を要請する。
コンテンツ提供サーバ10は要請された付加データをleanback appに伝達する(S2117)。leanback appは放送局が提供するアプリケーションであるため、ある放送局のコンテンツ提供サーバ10のインタフェースは他の放送局のコンテンツ提供サーバ10のインタフェースと異なり得る。場面に関する付加情報があれば、leanback appはS2113とS2117を繰り返し行う。
図23は、本発明のある実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
映像表示装置100が設置されているLive+appを実行するためのユーザ入力を受信すると、映像表示装置100は設置されているLive+appを実行する(S2201)。
ACR機能がターンオフされている場合、映像表示装置100内で実行されたLive+アプリケーションはACEモジュールをターンオンする(S2203)。
映像表示装置100はメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むACR質疑要請メッセージをフィンガープリントサーバ22に当たるACRサーバに伝送する(S2205)。
フィンガープリントサーバ22はACR質疑要請メッセージ内の特徴情報をACR DBから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100に提供する(S2207)。この際、ACR質疑応答メッセージはプログラム認識成功可否に関する情報とコンテンツ情報を含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークContent IDと認識されたプログラムのtimestampを含む。
映像表示装置100内で実行されたLive+アプリケーションはサービスタイプを選択するためのユーザ入力を受信する(S2209)。この際、サービスタイプはプログラムタイプ、お勧めタイプ、チャットタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムの出演者に関するリアルタイムのニュース記事やプログラムの出演者が主演に登場する映画を勧めるサービスなどになり得る。
映像表示装置100内で実行されたLive+アプリケーションは映像表示装置100内のACRエンジンから現在認識されたプログラムのコンテンツ情報を獲得し、プログラムに関するコンテンツ要請メッセージを第三者サーバ90に伝送して(S2211)、選択されたサービスタイプに当たる付加データを要請する。この際、プログラムに関するコンテンツ要請メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに関する情報を含む。
Live+アプリケーションは第三者サーバ90にajax callを使用してHTTP基盤のRequestを送る。この際、伝達するパラメータとしてはサービスタイプ、Content ID、Global Content ID、timestamp、放送局サーバURLなどがある。HTTP requestはHTTP GET基盤であって、以下のようなシンタックス(syntax)にパラメータを伝達する。
<service name>にはLive+appが要請するサービス名が入力される。本実施例は以下のような、<service name>を使用する。
−「getProgram」:プログラムに関する基本情報と以前のepisodeを受信するためのservice nameであって、Live+appのprogram tabに使用される。
−「getRecommends」:プログラムに関するお勧め(VOD、Appのお勧め)データを受信するためのservice nameであって、Live+appのRecommends tabに使用される。
−「getTalk」:プログラムに関するリアルタイムの記事やツイットを受信するためのservice nameであって、Live+appのTalk tabに使用される。
−「getPlus」:放送局が提供するプログラムに関する付加データを受信するためのservice nameであって、Live+appのPlus tabに使用される。
<Content ID>は放送局がコンテンツ認識サービス提供サーバ29に伝達した値であって、放送局内部でプログラムを唯一に識別するために使用するContent IDである。
<Global Content ID>は放送局の区分なしにグローバルにプログラムを唯一に識別するために使用され、そのためにコンテンツ認識提供サーバ20と第三者サーバ90は同じMeta DBを使用する必要がある。Global Content IDはMeta DBのContent IDフォーマットに従ってもよい。
<timestamp>は認識されたプログラムの現在の視聴時間を知らせるが、これはコンテンツ認識サービス提供サーバ20から伝達された値である。
<放送局サーバURL>は放送局がプログラムに関する付加データを提供する場合に伝達されるが、この値で第三者サーバ90は放送局サーバに接近することができる。
第三者サーバ90は伝達されたGlobal Content IDに当たるプログラムの付加データを見つけるためにメタデータ貯蔵所を検索する(S2213)。メタデータ貯蔵所はGlobal Content IDに当たるプログラムの付加データに関する検索結果を第三者サーバ90にリターンする。
第三者サーバ90はメタデータ貯蔵所から受信したプログラム付加データを加工し、加工された付加データを映像表示装置100内で実行されたLive+アプリケーションに提供する(S2221)。第三者サーバ90はajax callを使用してHTTP基盤のresponseとして加工された付加データを伝達する。
図24は、本発明の他の実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
映像表示装置100が設置されているLive+appを実行するためのユーザ入力を受信すると、映像表示装置100は設置されているLive+appを実行する(S2301)。
ACRエンジンがターンオフされている場合、映像表示装置100内で実行されたLive+アプリケーションはACRエンジンをターンオンする(S2303)。
映像表示装置100のACRエンジンはメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むACR質疑要請メッセージをフィンガープリントサーバ22に当たるACRサーバに伝送する(S2305)。
フィンガープリントサーバ22はACR質疑要請メッセージ内の特徴情報をACR DBから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100のACRエンジンに提供する(S2307)。この際、ACR質疑応答メッセージはプログラム認識成功可否に関する情報とコンテンツ情報及びコンテンツ提供サーバ10のURLを含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークContent ID、認識されたプログラムの放送局が識別し得るContent IDと認識されたプログラムのtimestampを含む。他の実施例において、映像表示装置100はコンテンツ提供サーバ10のURLをACR質疑応答メッセージから獲得するのではなく、予め有していてもよい。
映像表示装置100内で実行されたLive+アプリケーションはサービスタイプを選択するためのユーザ入力を受信する(S2309)。この際、サービスタイプはプログラムタイプ、お勧めタイプ、チャットタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムの出演者に関するリアルタイムのニュース記事やプログラムの出演者が主演に登場する映画を勧めるサービスになり得る。
映像表示装置100内で実行されたLive+アプリケーションは映像表示装置100内のACRエンジンから現在認識されたプログラムのコンテンツ情報を獲得し、プログラムに関する関連コンテンツ要請メッセージを第三者サーバ90に伝送して(S2311)、選択されたサービスタイプに当たる付加データを要請する。この際、プログラムに関するコンテンツ要請メッセージは現在二院指揮されたプログラムのコンテンツ情報と選択されたサービスタイプに関する情報及び放送局コンテンツ提供サーバ10のURLを含む。
第三者サーバ90は伝達されたGlobal Content IDに当たるプログラムの付加データを見つけるためにメタデータ貯蔵所を検索する(S2313)。メタデータ貯蔵所はGlobal Content IDに当たるプログラムの付加データに関する検索結果を第三者サーバ90にリターンする。
第三者サーバ90は伝達された放送局コンテンツ提供サーバ10のURLにアクセスし、伝達された放送局Content IDとtimestampを含むメタデータ要請メッセージをコンテンツ提供サーバ10に伝送して(S2317)、現在の場面に関する付加データをコンテンツ提供サーバ10に要請する。
第三者サーバ90はコンテンツ提供サーバ10から現在の場面に関する付加データを受信する(S2319)。
第三者サーバ90はメタデータ貯蔵所から受信したプログラム付加データ及びコンテンツ提供サーバ10から受信したプログラム付加データのうち一つ又は両方の結合を加工し、加工された付加データを映像表示装置100内で実行されたLive+アプリケーションに提供する(S2321)。
図25は、本発明の実施例による映像表示装置の概念図を示す図である。
図25に示したように、本発明の実施例による概念図の映像表示装置100はオーディオ/ビデオドライバ(Audio/Video driver)601、ACRエンジン603、ACRミドルウェア、ACRユーザインタフェース607、ACRプラグイン609を含む。
オーディオ/ビデオドライバ601はTVの外部入力に入っているオーディオ/ビデオ信号をキャプチャしACRエンジン603に伝達する。オーディオ/ビデオドライバ601はACRエンジンがオーディオ/ビデオバッファに接近するようにAPIを提供してもよい。オーディオ/ビデオドライバ601はHDMIのような外部入力に入ってくるオーディオ/ビデオの特性情報を一緒に提供する。例えば、オーディオ/ビデオドライバ601は、オーディオの場合sample depth、sample rate、channelの数(mono/stereoなの)、sampleの数、sampleの時間などの情報を提供する。ビデオの場合、オーディオ/ビデオドライバ601はvideo format、input videpのvidth、height、stride、stream時間、input type(HDMI1、HDMI2、composite、componentなど)、秒当たりのframeの数などの情報を提供する。
ACRエンジン603は別途のprocessで実行されるが、上述した多用な方式を利用してプログラムを認識する。ACRエンジン603はAudio/Videoサンプルからシグネチャを抽出し、抽出したシグネチャをACRサーバに伝達してコンテンツを認識する。上述したように、ACRエンジン603はプラットフォームの具現によってAudio/Videoバッファに接近可能なAPIを呼び出してもよく、オーディオ/ビデオドライバ601がキャプチャ(capture)したオーディオ/ビデオストリームをsocketのような方法を介してACR processに伝達してもよい。ACRエンジン603はACRサーバにシグネチャと共にACR質疑要請を送ってcontent認識成功可否、Global Content ID、timestamp、leanback app URL、放送局サーバURLなどを含むACR query responseをACRサーバから受信する。ACRエンジン603はACRサーバから伝達された結果をACRミドルウェア605に伝達する。
ACRミドルウェア605はDTV processのミドルウェアに当たるモジュールであり、ACR制御を処理しACRエンジン603からのACR質疑応答を処理する。ACRミドルウェア605はACRプロセスを実行するか、終了するか、ACRエンジン603を始めるか中断することでACRを制御する。また、ACRミドルウェア605はACR質疑応答をパーシングしてContent ID、Global Content ID、timestampなどの値も貯蔵している。ACRミドルウェア605はこの貯蔵された値をACR UIに送るようにAPIを提供するか、message queue、global変数などの方法を介してACRユーザインタフェース607に伝達する。また、ACRミドルウェア605はLive+アプリケーションやリーンバックアプリケーションのようなACRアプリケーションにContent ID、Global Content ID、timestampなどのようなIPC(Inter−Process Communication)を介してWebブラウザに伝達する。
ACRユーザインタフェース(ACR user interface、ACR UI)607はユーザにACR On/OffのようなACR制御を行うUIを表出するか、認識されたプログラムの名称及び時間のような情報をTVの状態バーUIを介してユーザに示す。
ACRミドルウェア605がACRアプリケーションに伝達するためのContent ID、Global Content ID、timestampなどのようなデータをブラウザに伝達すると、ACRプラグインはこのような値を伝達される。ACRプラグイン609はPlugin Object Interfaceを介してACRアプリケーション該当値を伝達する。以下、ACRプラグイン609のInterfaceのある実施例を示している。
前記において、matdataは認識されたプログラムに関する基本的なメタデータを提供する。
backendURLは放送局/CPサーバのURLを示す。
getACRMetadata()は認識されたプログラムに関する基本的なメタデータを獲得するための関数であり、metadata Propertyと同じ値をリターンする。
getBackendURLは放送局/CPサーバのURLをリターンする関数である。
NotifyACRAppLaunched()は移動端末機のような2nd Screen及びTVがpairingされた際、TV上でのACRアプリケーションが特定URL又はAppを実行した場合にそれを2nd Screenのアプリケーションに知らせるための関数である。
SetAppInfo()はACRアプリケーションの現在の状態と該当アプリケーションの2nd ScreenバージョンのApp URLを示す関数である。
onContentChanged()は認識されるプログラムが変更される場合に呼び出される関数である。
onMediaTimeUpdated()はACRを介してtimestampが変更されるたびに呼び出されるcallback関数である。
onAppShow()はTVと2nd Screenとがpairingされた状態で2nd ScreenにあるアプリケーションがTVに移動する際に呼び出されるcallback関数である。
onAppHide()はTVと2nd Screenとがpairingされた状態でTVにあるアプリケーションが2nd Screenに移動する際に呼び出されるcallback関数である。
図26は、本発明の他の実施例による映像表示装置の動作を示すラダーダイアブラムである。
まず、映像表示装置100がターンオンされると(S3101)、映像表示装置100はACR設定情報(ACR configuration information)を要請するACR設定情報要請メッセージを第三者サーバ90に伝送する(S3103)。第三者サーバ90はいかなる単一チャネルにも従属しない付加サービス提供サーバであり、複数のチャネルのための付加サービスを設けている。また、第三者サーバ90はいかなる単一チャネル、いかなるコンテンツプロバイダー、いかなるMVPD(サービス提供者)にも従属しないサーバである。
ACR設定情報要請メッセージはHTTP GET基板の要請メッセージであり、パラメータとして映像表示装置100に適用されたACR設定情報のバー所運に関する情報、製品の種類に関する情報、フラットフォームの種類に関する情報を含む。ACR設定情報要請メッセージは下記シンタックスを有する。
前記シンタックスにおいて、<version>は映像表示装置100に適用されたACR設定情報のバージョンに関する情報を示す。映像表示装置100にいかなるACR設定情報も適用されていなければ、<version>は0の値を有する。
<productType>は映像表示装置100の製品の種類に関する情報を示す。例えば、映像表示装置100がスマートTV(Smart TV)であれば、<productType>の値は「スマートTV」になる。また、映像表示装置100が「ブルーレイディスクプレーヤー(BDP)」であれば、<productType>の値は「ブルーレイディスクプレーヤー」になる。ACR設定情報要請メッセージが<productType>を含まなければ、ACR設定情報要請メッセージは全ての種類の製品のACR設定情報を要請することを意味する。
<platformVer>は映像表示装置100のプラットフォームの種類に関する情報を示す。例えば、映像表示装置100のプラットフォームの種類が「スマートプラットフォーム(SmartPlatform)」でそのバージョンが「3.0」であれば、<platformVer>の値は「SmartPlatform3.0」になる。
ACR設定情報要請メッセージが<platformVer>を含まなければ、ACR設定情報要請メッセージは全ての種類の製品のACR設定情報を要請することを意味する。
所定条件を満足すれば、映像表示装置100はACR設定情報要請メッセージを第三者サーバ90に伝送する。例えば、映像常時装置100がターンオンされると直ちに映像表示装置100はACR設定情報要請メッセージを第三者サーバ90に伝送する。また、映像表示装置100はACR設定情報要請メッセージを第三者サーバ90に周期的に伝送する。また、映像表示装置100はACR設定情報要請メッセージを第三者サーバ90に所定時点で伝送する。
ACR設定情報要請メッセージに対する応答として、第三者サーバ90はACR設定情報を含むACR設定情報応答メッセージを映像表示装置100に伝送する。
特に、ACR設定情報応答メッセージはACR設定情報要請メッセージのACR設定情報バージョン、製品の種類及びプラットフォームの種類に合う一つ以上のACR設定情報アイテムグループを含む。
第三者サーバ90が有するACR設定情報のバージョンがACR設定情報要請メッセージのACR設定情報バージョンと同じであれば、ACR設定情報応答メッセージはACR設定情報を含まなくてもよい。
ACR設定情報要請メッセージがなくてもACR設定情報が変更されると第三者サーバ90はACR設定情報応答メッセージを映像表示装置100に伝送してもよい。
次に、図27を参照して本発明の一実施例によるACR設定情報を説明する。
図27は、本発明の一実施例によるACR設定情報のXMLスキーマダイアグラムである。
特に、表3は図27の実施例によるACR設定情報のXMLスキーマ(Schmea)を示す。
図27と表3に示したように、本発明の実施例によるACR設定情報は一つのXML文書であって、トップエレメント(top element)であるACR設定(ACR_config)エレメントを含む。
ACR設定エレメントはACR設定バージョンを知らせるACR設定バージョン(ACR_config_ver)属性を有し、下位エレメントとして国家リスト(country_list)エレメント、測定(measurement)エレメントを含む。
国家リストエレメントは一つ以上の国家(country)エレメントを含む。各国家エレメントはこの国家エレメントに当たる国家にそれぞれ適用されるACR設定情報アイテムグループを含む。国家リストエレメントは複数の国家にそれぞれ適用される複数のACR設定情報アイテムグループを含む。
各国家エレメントはコード(code)属性、装置製品タイプ(device_product_type)属性、装置プラットフォームタイプ(device_platform_type)属性、一つ以上の放送局(broadcaster)エレメント、一つ以上のACRオンタイム(ACR_on_time)エレメントを含む。
コード属性はこのコード属性を有する国家エレメントのACR設定情報アイテムが適用される国家を認識する識別コードを保持するが、特にこの識別コードはISO 639言語コードに従う。
装置製品タイプ属性はこの装置製品属性を含む国家エレメントのACR設定情報アイテムが適用される製品の種類を保持する。例えば、装置製品タイプ属性の値は「スマートTV」または「ブルーレイディスクプレーヤー」などになる。
装置プラットフォームタイプ属性はこの装置プラットフォーム属性を含む国家エレメントのACR設定情報アイテムが適用される製品のプラットフォームの種類及び/またはバージョンを保持する。例えば、ACR設定情報アイテムが適用される製品のプラットフォームの種類が「スマートプラットフォーム」でそのバージョンが「3.0」である場合、装置プラットフォームタイプ属性の値は「SmartPlatform3.0」になる。
即ち、各国家エレメントは国家属性、装置製品タイプ属性及び装置プラットフォームタイプ属性に合うACR設定情報アイテムグループを含む。ACR設定情報アイテムグループは国家属性、装置製品タイプ属性及び装置プラットフォームタイプ属性に合う複数のACR設定情報アイテムを含む。
後述するが、国家属性、装置製品タイプ属性及び装置プラットフォームタイプ属性に合う複数のACR設定情報アイテムは国家属性の国家内の一つ以上の地域のための一つ以上のACRサーバアドレス、リーンバックアプリケーションの許容可否に関する情報、国家属性内の一つ以上の地域のためのACR機能のターンオン時間区間のリストを含む。
リーンバックアプリケーションの許容可否に関する情報はリーンバックアプリケーションの駆動許容情報、リーンバックアプリケーションの駆動制限情報を含む。リーンバックアプリケーションの駆動許容情報はリーンバックアプリケーションの駆動が許容される放送局のリスト、リーンバックアプリケーションの駆動が許容されるチャネルのリスト、リーンバックアプリケーションの駆動が許容されるプログラムのリストを含む。リーンバックアプリケーションの駆動制限情報はリーンバックアプリケーションの駆動が制限される放送局のリスト、リーンバックアプリケーション駆動が制限されるチャネルのリスト、リーンバックアプリケーションの駆動が制限されるプログラムのリストを含む。このように、第三者サーバ90はリーンバックアプリケーションの許容可否に関する情報を映像表示装置100に提供してリーンバックアプリケーションが映像表示装置100の安定性に深刻な影響を及ぼすことを防止する。
各ACRサーバURL(ACR_server_url)エレメントは地域(region)属性を含み、各ACRサーバURLエレメントの値は地域属性に当たる地域に適用されるACRサーバ(例えば、フィンガープリントサーバ)のアドレス(例えば、URL)を示す。地域属性を有しないACRサーバURLエレメントの値はこのACRサーバURLエレメントに当たる国家の全地域に適用されるACRサーバのアドレス(例えば、URL)を示す。このように、第三者サーバ90は映像表示装置100と地域的に近いACRサーバのURLアドレスを通知し、映像表示装置100が速くコンテンツの認識を行い、ネットワークレイタンシ(network latency)を減らすようにする。
各放送局エレメントは名前(name)属性、リーンバックイネーブル(leanback_enable)エレメント、一つ以上のチャネル(Channel)エレメントを含む。
放送局エレメントの名前属性の値はその放送局エレメントに当たる放送局の名前を示す。より広い意味で、放送局の識別子が使用されてもよい。
放送局エレメントのリーンバックイネーブルの値はその放送局エレメントに当たる放送局のためのリーンバックアプリケーションを駆動するのか否かを示す。例えば、放送局エレメントのリーンバックイネーブルエレメント後が「true」であれば、映像表示装置100はその放送局エレメントに当たる放送局のためのリーンバックアプリケーションをダウンロードし実行する。一方、放送局エレメントのリーンバックイネーブルエレメントの値が「false」であれば、映像表示装置100はその放送局エレメントに当たる放送局のためのリーンバックアプリケーションをダウンロードも実行もしない。放送局エレメントがリーンバックイネーブルエレメントを有しなければ、放送局エレメントのリーンバックイネーブルエレメントの値は「true」または「false」とみなされる。
各放送局エレメントは名前(name)属性、リーンバックイネーブル(leanback_enable)エレメント、一つ以上のプログラム(program)エレメントを含む。
プログラムエレメントの名前属性の値はそのプログラムエレメントに当たる放送局の名前を示す。より広い意味で、プログラムの識別子が使用されてもよい。
プログラムエレメントのリーンバックイネーブルの値はそのプログラムエレメントに当たるプログラムのためのリーンバックアプリケーションを駆動するのか否かを示す。例えば、プログラムエレメントのリーンバックイネーブルエレメント後が「true」であれば、映像表示装置100はそのプログラムエレメントに当たるプログラムのためのリーンバックアプリケーションをダウンロードし実行する。一方、プログラムエレメントのリーンバックイネーブルエレメントの値が「false」であれば、映像表示装置100はそのプログラムエレメントに当たるプログラムのためのリーンバックアプリケーションをダウンロードも実行もしない。プログラムエレメントがリーンバックイネーブルエレメントを有しなければ、プログラムエレメントのリーンバックイネーブルエレメントの値は「true」または「false」とみなされる。
プログラムエレメントのリーンバックイネーブルエレメントの値がチャネルエレメントのリーンバックイネーブルエレメントの値と異なる場合、プログラムエレメントのリーンバックイネーブルエレメントの値が優先順位を有する。
各放送局エレメントは名前(name)属性、リーンバックイネーブル(leanback_enable)エレメント、一つ以上のプログラム(program)エレメントを含む。
プログラムエレメントの名前属性の値はそのプログラムエレメントに当たる放送局の名前を示す。より広い意味で、プログラムの識別子が使用されてもよい。
プログラムエレメントのリーンバックイネーブルの値はそのプログラムエレメントに当たるプログラムのためのリーンバックアプリケーションを駆動するのか否かを示す。例えば、プログラムエレメントのリーンバックイネーブルエレメント後が「true」であれば、映像表示装置100はそのプログラムエレメントに当たるプログラムのためのリーンバックアプリケーションをダウンロードし実行する。一方、プログラムエレメントのリーンバックイネーブルエレメントの値が「false」であれば、映像表示装置100はそのプログラムエレメントに当たるプログラムのためのリーンバックアプリケーションをダウンロードも実行もしない。プログラムエレメントがリーンバックイネーブルエレメントを有しなければ、プログラムエレメントのリーンバックイネーブルエレメントの値は「true」または「false」とみなされる。
各ACRオンタイムエレメントは地域属性、期日(day)属性、フロム(from)属性、ツー(to)属性を含む。
ACRオンタイムエレメントの地域属性はそのACRオンタイムエレメントに当たるACRオンタイム区間が適用される地域を示す。ACRオンタイムエレメントが地域属性を有しなければ、そのACRオンタイムエレメントに当たるACRオンタイム区間はそのACRオンタイムエレメントを含む国家エレメントに当たる国家の全地域に適用される。
ACRオンタイムエレメントの期日属性はそのACRオンタイムエレメント荷当たるACRオンタイム区間の適用が始まる期日を示す。特に、ACRオンタイムエレメントの期日属性の値はそのACRオンタイムエレメントに当たるACRオンタイム区間の適用が始まる期日を示す。この場合、ACRオンタイムエレメントに当たるACRオンタイム区間の適用が始まる曜日が日曜日、月曜日、火曜日、水曜日、木曜日、金曜日、土曜日であれば、ACRオンタイムエレメントの期日属性の値はそれぞれ「SUN」、「MON」、「TUE」、「WED」、「THU」、「FRI」、「SAT」になる。
ACRオンタイムエレメントのフロム属性の値はそのACRオンタイムエレメントに当たるACRオンタイム区間の開始時間を示す。
ACRオンタイムエレメントのツー属性の値はそのACRオンタイムエレメントに当たるACRオンタイム区間の終了時間を示す。
もし、ACRオンタイムエレメントのツー属性の値がACRオンタイムエレメントのフロム属性の値より小さければ、そのACRオンタイムエレメントに当たるACRオンタイム区間の開始時間は期日属性に当たる日のフロム属性の値になり、そのACRオンタイムエレメントに当たるACRオンタイム区間の終了時間は期日属性に当たる値の翌日のツー属性の値になる。例えば、day属性の値が「MON」、from属性の値が「18:00:00」、to属性の値が「02:00:00」であれば、ACRオンタイム区間の開始時間は月曜日の午後6時(18時)になり、ACRオンタイム区間の終了時間は翌日の火曜日の午前2時になる。
通常、全ての時間帯のメイン視聴覚コンテンツに付加サービスが提供されることはなく、人気のあるメイン視聴覚コンテンツに付加サービスが提供されることが多い。このような場合も、映像再生装置100が持続的にACR質疑をACRサーバに伝送すれば映像再生装置100も不必要なリソースを消耗するようになり、ACRサーバも多くのACR質疑を処理すべきであるためサーバの増設が要求される。第三者サーバ90はACRオンタイム区間に関する情報を映像再生装置100に提供してこのような問題を防止する。
測定エレメントは最大ログサイズ(max_log_size)属性、報告間隔(report_interval)属性を含む。
最大ログサイズ属性は映像表示装置100が貯蔵する視聴情報の最大サイズを示す。例えば、映像表示装置100が貯蔵している視聴情報のサイズが最大ログサイズ属性の最大サイズの90%を超えると、映像表示装置100は貯蔵された視聴情報の一部または全部を第三者サーバ90に伝送し、伝送された視聴情報を削除する。max_log_sizeの単位はバイト(byte)である。
報告間隔属性は映像表示装置100が視聴情報を第三者サーバ90に伝送する時間管区を示す。例えば、映像表示装置100が以前の視聴情報を第三者サーバ90に伝送した後、報告間隔属性に当たる報告時間間隔が経過したら映像表示装置100は貯蔵された視聴情報の一部または全部を第三者サーバ90に伝送し、伝送された視聴情報を削除する。report_intervalの単位は秒(sec)である。映像表示装置100が報告する視聴情報はメイン視聴覚コンテンツの視聴時間、メイン視聴覚コンテンツの視聴回数、リーンバックアプリケーションに関するユーザ反応の回数などを含む。
第三者サーバ90は複数の映像表示装置から視聴情報を収集して蓄積する。映像表示装置100は蓄積された視聴情報を第三者サーバ90に要請し、その応答として蓄積された視聴情報を受信する。
図27と表3において、本発明の実施例によるACR設定情報は多様な情報アイテムをエレメントまたは属性として含むが、それに限ることはない。即ち、図27と表3とは異なってACR設定情報はエレメントとして含まれた情報アイテムを属性として含んでもよく、属性として含まれた情報アイテムをエレメントとして含んでもよい。また、本発明の多様な実施例において、ACR設定情報内の多様な情報アイテムを含むエレメントまたは属性の名称は変更される可能性がある。
表4の設定情報を介し、映像表示装置100はACR設定情報が製品の種類がDTVでプラットフォームの種類がSmartPlatform3.0である製品に適用され、米国に適用される一つのACR設定情報アイテムグループを有することが分かる。
また、映像表示装置100は米国内の全地域に対して製品の種類がDTVでプラットフォームの種類がSmartPlatform3.0である製品のためのACRサーバのアドレスがusa.acr.comであることが分かる。
また、映像表示装置100はNBCU放送局のBRAVOチャネルのTOPCHEFプログラムのためのリーンバックアプリケーションを駆動する必要があることを知る。
また、映像表示装置100はTURNER放送局のTBSチャネルの全てのプログラムのためのリーンバックアプリケーションを駆動する必要があることを知る。
また、映像表示装置100はTURNER放送局のTNTチャネルのLEVERAGEプログラムと「FALLING SKIES SEASEON 2」プログラムのためのリーンバックアプリケーションを駆動する必要があり、TURNER放送局のTNTチャネルのDALLASプログラムのためのリーンバックアプリケーションは駆動してはいけないことを知る。
また、映像表示装置100は月曜日の午後6時から火曜日の午前2時まで、水曜日の午後6時から木曜日の午前2時まで、そして金曜日の午後6時から土曜日の午前2時までACR機能をターンオンする必要があり、その他の時間にはACR機能をターンオフする必要かあることを知る。
映像表示装置100はACR設定情報から自らが属した国家、自らの製品種類及びプラットフォーム種類に合うACR設定情報アイテムグループを抽出する(S3107)。
映像表示装置100は抽出したACR設定情報アイテムグループから複数のACR設定情報アイテムを抽出する(S3109)。上述したように、複数のACR設定情報アイテムは国家属性の国家内の一つ以上の地域のための一つ以上のACRサーバアドレス、リーンバックアプリケーションの許容可否に関する情報、国家属性の国家内の一つ以上の地域のためのACR機能のターノン時間区間のリストを含む。特に、映像表示装置100は抽出したACR設定情報アイテムグループから映像表示装置100に属する地域のための複数のACR設定情報アイテムを抽出する。
映像表示装置100は複数の抽出したACR設定情報アイテムを映像表示双対100内に設定する(S3111)。映像表示装置100は複数の抽出したACR設定情報アイテムを設定された値を比較してアップデートする。
映像表示装置100は設定されたACR機能ターンオン時間区間リストに基づいてACR機能をターンオンする(S3112)。
ACR機能がターンオンされる際、映像表示装置100のACRエンジンはメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むACR質疑要請メッセージをフィンガープリントサーバ22に当たるACRサーバに伝送する(S3113)。映像表示装置100のACRエンジンは設定されたACRサーバアドレスに当たるACRサーバにACR質疑要請メッセージを伝送する。
ACR機能がターンオフされる際、映像表示装置100のACRエンジンは面視聴覚コンテンツの一部のフレームまたは一部の区間のオーディオサンプルから特徴情報を抽出する動作を中断してリソースの浪費を減らす。
フィンガープリントサーバ22はACR質疑要請メッセージ内の特徴情報をACR DBから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100のACRエンジンに提供する(S3115)。この際、ACR質疑応答メッセージはプログラム認識成功可否に関する情報と、コンテンツ情報、リーンバックアプリケーションのURLアドレス及びコンテンツ提供サーバ10のURLを含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークContent ID、認識されたプログラムの放送局が識別するContent IDと認識されたプログラムのtimestamp、認識されたプログラムを提供する放送局の識別子、認識されたプログラムを提供するチャネルの識別子、認識されたプログラムの名称を含む。放送局識別子は放送局の名称であってもよい。チャネル識別子はチャネルの名称であってもよい。他の実施例において、映像表示装置100はコンテンツ提供サーバ10のURLをACR質疑応答メッセージから獲得するのではなく予め有していてもよい。
映像表示装置100はリーンバックアプリケーションの許容可否に関する設定された情報に基づいてリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請する(S3117)。
詳しくは、ACR質疑応答メッセージ内のコンテンツ情報がリーンバックアプリケーションの駆動許容情報に関すれば、映像表示装置100はリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請する。また、ACR質疑応答メッセージ内のコンテンツ情報がリーンバックアプリケーションの駆動制限情報に関すれば、映像表示装置100はリーンバックアプリケーションの要請を行わない。
より詳しくは、ACR質疑応答メッセージを介してメイン視聴覚コンテンツを提供する放送局が識別され、識別された放送局がリーンバックアプリケーションの駆動が許容される放送局のリストに属する場合、映像表示装置100はリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請する。識別された放送局がリーンバックアプリケーションの駆動が制限される放送局のリストに属する場合、映像表示装置100はリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請しなくてもよい。また、ACR質疑応答メッセージを介してメイン視聴覚コンテンツを提供するチャネルが識別され、識別されたチャネルがリーンバックアプリケーションの駆動が許容されるチャネルのリストに属する場合、映像表示装置100はリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請する。識別されたチャネルがリーンバックアプリケーションの駆動が制限されるチャネルのリストに属する場合、映像表示装置100はリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請しなくてもよい。また、ACR質疑応答メッセージを介してメイン視聴覚コンテンツが識別され、識別されたメイン視聴覚コンテンツがリーンバックアプリケーションの駆動が許容されるプログラムのリストに属する場合、映像表示装置100はリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請する。識別されたメイン視聴覚コンテンツがリーンバックアプリケーションの駆動が制限されるプログラムのリストに属する場合、映像表示装置100はリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請しなくてもよい。
映像表示装置100はリーンバックアプリケーションのURLアドレスから
リーンバックアプリケーションを受信し(S3119)、受信されたリーンバックアプリケーションをユーザ入力とは関係なく自動的に実行する。
図28は、本発明の他の実施例による映像表示装置の動作示すラダーダイアブラムである。
映像表示装置100は第三者サーバ90からACR設定情報を獲得する(S3305)。映像表示装置100が第三者サーバ90からACR設定情報を獲得する手続は図26に従う。
次に、図29を参照して本発明の一実施例によるACR設定情報を説明する。
図29は、本発明の一実施例によるACR設定情報のXMLスキーマダイアグラムである。
特に、表5は図29の実施例によるACR設定情報のXMLスキーマ(Schmea)を示す。
図29との表5に示したように、ACR設定情報は一つのXML文書であって、トップエレメントであるACR設定エレメントを含む。
ACR設定エレメントは国家コード(country_code)属性、ACR設定フォーマットバージョン(acr_config_format_ver)属性、バージョン(version)属性を有し、一つ以上の装置(device)エレメントを含む。
各装置エレメントは装置製品タイプ属性、装置プラットフォームタイプ属性、ACRオン(ACR_on)属性、クエリ間隔(query_interval)属性、ユーザクエリ間隔(user_query_interval)属性を有し、一つ以上のACRサーバURLエレメント、一つ以上の放送局エレメント、一つ以上のMVPDエレメントを含む。各装置エレメントはこの装置エレメントが装置製品タイプ属性に当たる製品タイプ及び装置プラットフォームタイプ属性に当たるプラットフォームタイプに適用されるAC設定情報アイテムグループを含む。
装置製品タイプ属性、装置プラットフォームタイプ属性については表3を参照して説明したため、その説明を省略する。
ACRサーバURLエレメント、放送局エレメントについては表3を参照して説明したため、その説明を省略する。
各MVPDエレメントは識別子(Id)属性、タイプ(type)属性、感知オン(DetectOn)属性及び感知間隔(detect_interval)属性を有し、一つ以上のMVPDロゴ(MVPD_logo)エレメントを含む。
MVPDエレメントの識別子属性の値はMVPDエレメントに当たるMVPDを唯一に識別するための識別子を示す。例えば、北米の場合、MVPDエレメントの識別子属性の値は「TimeWarner」、「Comcast」などになる。
MVPDエレメントのタイプ属性の値はMVPDエレメントに当たるMVPDの種類を示す。特に、MVPDエレメントのタイプ属性の値はMVPDエレメントに当たるMVPD放送ネットワークの種類を示す。例えば、MVPDエレメントのタイプ属性の値は「Cable」、「Satellite」、「IPTV」などになる。
MVPDエレメントの感知オン属性の値は映像表示装置100MVPDのゴロを認識するのか否かを示す。MVPDエレメントの感知オン属性の値が「On」(または「true」)に当たる場合、映像表示装置100は放送受信装置60が出力する非圧縮視聴覚コンテンツからMVPDのゴロを感知し、感知したロゴに基づいてMVPDを識別する。既にMPVDが認識されている場合、映像表示装置100のリソースが不必要に浪費されることを防ぐためにMVPDエレメントの感知オン属性の値はOffに設定される。MVPDエレメントの感知オン属性の値が「Off」に当たる場合、映像表示装置100は放送受信装置60が出力する非圧縮視聴覚コンテンツから感知したロゴに基づいてMVPDを識別する動作を行わない。
MVPDエレメントの感知オン属性の値が「On」であれば、MVPDエレメントの感知感覚属性が存在する。MVPDエレメントの感知間隔属性は映像表示装置100が非圧縮視聴覚コンテンツからMVPDのロゴを感知する時間間隔を示し、その単位は秒(second)である。例えば、detect_intervalが300(5×60)であれば、映像表示装置100は非圧縮視聴覚コンテンツから5分ごとにMVPDロゴの認識を試みる。
ユーザは大概プログラムの終了後、広告の視聴中にEPGを介して他のチャネルのプログラムを確認する傾向があるため、このようなユーザがSTBリモコンを介してガイドやメニューを選択する成功を考慮し、第三者サーバ90はMVPDのロゴを感知する時間間隔を決定する。また、普通プログラムが時間ごとまたは30分ごとにプログラムが変更される場合が多ければ、第三者サーバ90はこのような状況を控除してMVPDのロゴを感知する時間間隔を決定する。例えば、第三者サーバ90は55分ごとに5分のみロゴを認識するように設定してもよい。また、第三者サーバ90は5分ごとに認識するように設定してもよい。
各MVPDロゴエレメントはMVPDロゴが現れる画面のタイプに関する情報を保持するタイプ属性、MVPDロゴが現れる画面領域に関する情報を含むロゴ領域属性を含む。ロゴ領域属性はMVPDロゴが画面の位置に関する情報を保持するロゴ位置属性、MVPDロゴのサイズに関する情報を保持するロゴサイズ属性を含む。ロゴ位置属性はx座標(x)属性、y座標(y)属性を含む。ロゴサイズ属性は幅(width)属性、高さ(height)属性を含む。
MVPDロゴエレメントのタイプ属性の値はそのMVPDロゴエレメントに当たるMVPDロゴのタイプを示す。詳しくは、MVPDロゴエレメントのタイプ属性の値はそのMVPDロゴエレメントに当たるMVPDロゴが示される画面のタイプを示す。例えば、タイプ属性の値は「EPG」、「Menu」、「Banner」などになる。
次に、図30乃至図33を参照して本発明の多様な実施例によるMVPDロゴの種類と位置を説明する。
図30は本発明の実施例による衛星事業者であるDish NetworkのMVPDロゴが露出されるEPGウィンドウを示し、図31は本発明の実施例によるCable事業者であるComcastのMPVDロゴが露出されるEPGウィンドウを示す図である。
図30と図31に示したように、MVPDロゴエレメントのタイプ属性の値が「EPG」に当たる場合、MVPDロゴはEPG画面に表示される。よって、MVPDロゴエレメントのタイプ属性の値が「EPG」に当たる場合、非圧縮視聴覚コンテンツにEPG画面が現れると映像表示装置100はEPG画面からMVPDロゴを抽出する。
図32は本発明の実施例によるCable事業者であるComcastのMPVDロゴが露出されるメニューウィンドウを示し、図33は本発明の実施例による衛星事業者であるDirecTVのMVPDロゴ顔露出されるメニューウィンドウを示す図である。
図32と図33に示したように、MVPDロゴエレメントのタイプ属性の値が「Menu」に当たる場合、MVPDロゴはメニュー画面に表示される。よって、MVPDロゴエレメントのタイプ属性の値が「Menu」に当たる場合、非圧縮視聴覚コンテンツにMenu画面が現れると映像表示装置100はMenu画面からMVPDロゴを抽出する。
MVPDロゴエレメントのタイプ属性の値が「Banner」に当たる場合、MVPDロゴはメニュー画面に表示される。よって、MVPDロゴエレメントのタイプ属性の値が「Banner」に当たる場合、非圧縮視聴覚コンテンツにBanner画面が現れると映像表示装置100はBanner画面からMVPDロゴを抽出する。
MVPDロゴエレメントのx座標属性とy座標属性の値はそのMVPDロゴエレメントに当たるMVPDロゴの位置に関する情報を示す。MVDPロゴエレメントのx座標の属性の値はそのMVPDロゴエレメントに当たるMVPDロゴのx座標の位置値を示す。MVDPロゴエレメントのy座標の属性の値はそのMVPDロゴエレメントに当たるMVPDロゴのy座標の位置値を示す。
MVPDロゴのx座標とy座標の位置値は解像度を基準に決定されてもよい。例えば、画面の解像度が1920×1080であれば、MVPDロゴのx座標の位置値は0から1919の間の値のうち一つに決定され、MVPDロゴのy座標の位置値は0から1079の間の値のうち一つに決定される。
一方、MVPDロゴのx座標とy座標の位置値は解像度とは関係なく相対的な位置関係を基準に決定されてもよい。例えば、画面の解像度が1920×1080であっても、画面のサイズを100×100に正規化し、MVPDロゴのx座標とy座標の位置値を正規化された範囲内のうちいずれか一つに決定する。この場合、映像表示装置100は正規化された範囲内の値を有するx座標とy座標の位置値を実際の画面解像度を基準にスケーリングしてMVPDロゴの位置を獲得する。
MVPDロゴエレメントの幅属性と高さ属性の値はそのMVPDロゴエレメントに当たるMVPDロゴのサイズに関する情報を示す。MVPDロゴエレメントの幅属性の値はそのMVPDロゴエレメントに当たるMVPDロゴの幅を示す。MVPDロゴエレメントの高さ属性の値はそのMVPDロゴエレメントに当たるMVPDロゴの高さを示す。
MVPDロゴの幅と高さは解像度を基準に決定されてもよい。例えば、画面の解像度が1920×1080であれば、MVPDロゴの幅は0から1919の間の値のうちいずれか一つに決定され、MVPDロゴの高さは0から1079の間の値のうちいずれか一つに決定される。
MVPDロゴの幅と高さは解像度を基準に決定されてもよい。例えば、画面の解像度が1920×1080であれば、MVPDロゴの幅は0から1919の間の値のうちいずれか一つに決定され、MVPDロゴの高さは0から1079の間の値のうちいずれか一つに決定される。
一方、MVPDロゴの幅と高さは解像度とは関係なく相対的な位置関係を基準に決定されてもよい。例えば、画面の解像度が1920×1080であっても、画面のサイズを100×100に正規化し、MVPDロゴの幅と高さは正規化された範囲内のうちいずれか一つに決定される。この場合、映像表示装置100は正規化された範囲内の値を有する幅と高さを実際の画面解像度を基準にスケーリングしてMVPDロゴの位置を獲得する。
映像表示装置100はACR設定情報から自らの製品種類及びフラットフォーう種類に合うACR設定情報アイテムグループを抽出する(S3307)。
映像表意装置100は抽出したACR設定情報アイテムグループから複数のACR設定情報アイテムを抽出する(S3309)。上述したように、複数のACR設定情報アイテムは一つ以上の地域のための一つ以上のACRサーバアドレス、一つ以上のMVPDにそれぞれ対応する一つ以上のMVPD情報アイテムグループを含む。各MVPD情報アイテムグループはMVPD識別子、MVPDタイプ、MVPDロゴ感知可否、MVPD感知時間間隔、MVPDロゴ画面タイプ、MVPDロゴ画面領域に関する情報を含む。MVPDロゴ画面領域に関する情報はMVPDロゴ画面位置及びMVPDロゴサイズに関する情報を含む。
映像表示装置100は複数の抽出したACR設定情報アイテムを映像表示装置100内に設定する(S3311)。映像表示装置100は複数の抽出したACR設定情報アイテムを設定された値と比較してアップデートする。
次に、映像表示装置100は一つ以上のMVPD情報アイテムグループに基づいて入力される非圧縮視聴覚コンテンツからMVPDロゴとして推定される一つ以上のイメージを抽出する(S3313)。特に、MVPD情報アイテムグループの個数が複数であれば映像表示装置100は複数のMVPD情報アイテムグループにそれぞれ対応する複数のMVPDロゴ推定イメージを抽出する。複数のMVPDロゴ推定イメージのそれぞれは対応する感知時間間隔に基づいて抽出されるため、複数のMVPDロゴ推定イメージは必ずしも同時に抽出される必要はない。複数のMVPD情報アイテムグループそれぞれに属する複数のMVPDロゴ感知時間が互いに同じであれば、複数のMVPDロゴ推定イメージは同時に抽出されてもよい。
詳しくは、MVPDエレメントの感知オン属性の値が「On」に当たれば、映像表示装置100は入力される非圧縮視聴覚コンテンツからMVPDロゴエレメントのタイプ属性の値に当たる画面が現れると、MVPDエレメントの感知間隔属性の値に当たる時間間隔に応じてMVPDエレメントのロゴ領域属性の値に当たる画面領域からイメージをMVPD情報アイテムグループの数だけ抽出し、複数のMVPDロゴ推定イメージを獲得する。
次に、映像表示装置100は一つ以上の抽出したMVPDロゴ推定イメージに基づいて映像表示装置100が加入した加入MVPDを識別し(S3315)、加入MVPDの識別子を獲得する。特に、MVPD情報アイテムグループの個数が複数であれば、映像表示装置100は複数の抽出したMVPDロゴ推定イメージに基づいてMVPDを識別する。
一実施例において、映像表示装置100は複数のMVPDそれぞれに対応する複数のMVPDロゴイメージに関する要請メッセージを第三者サーバ90に伝送する。次に、映像表示装置100は複数のMVPDにそれぞれ対応する複数のMVPDロゴイメージを第三者サーバ90から受信し、複数のMVPDにそれぞれ対応する風数のMVPDロゴイメージをデータベース化する。映像表示装置100が複数のMVPDにそれぞれ対応する複数のMVPDロゴイメージを含むデータベースを有していれば、映像表示装置100は複数のMVPDロゴイメージと複数の抽出したMVPDロゴ推定イメージを比較する。複数の抽出したMVPDロゴ推定イメージのうち少なくとも一つが複数のMVPDロゴイメージのうち一つと一致すると、映像表示装置100は一致したMVPDロゴイメージに当たるMVPDを自らが加入したMVPDとして識別する。
他の実施例において、映像表示装置100は複数の抽出したMVPDロゴ推定イメージを第三者サーバ90またはフィンガープリントサーバ22に伝送する。この場合、第三者サーバ90または負リンバープリントサーバ22は複数のMVPDにそれぞれ対応する複数のMVPDロゴイメージを含むデータベースを有している。第三者サーバ90またはフィンガープリントサーバ22は複数のMVPDロゴイメージと複数の抽出したMVPDロゴ推定イメージを比較する。複数の抽出したMVPDロゴ推定イメージのうち少なくとも一つが複数のMVPDロゴイメージのうち一つと一致すると、第三者サーバ90またはフィンガープリントサーバ22は一致したMVPDロゴイメージに当たるMVPDを映像表示装置100が加入したMVPDとして識別する。次に、第三者サーバ90またはフィンガープリントサーバ22は映像表示装置100が加入したMVPDの識別子を映像表示装置100に伝送し、映像表示装置100が加入MPVDを識別するようにする。第三者サーバ90が加入MVPDの識別子を映像表示装置100に伝送した場合、映像表示装置100はそれ以上MVPDロゴの抽出及びMVPDの識別を行う必要がないため、第三者サーバ90及び映像表示装置100の不必要なリソースを防止するために第三者サーバ90は映像表示装置100のためのACR設定情報内でMVPDエレメントの感知オン属性の値をOFFまたはfalseに設定し、次にMVPDエレメントの感知オン属性がOFFであるACR設定情報を映像表示装置100に提供する。一方、映像表示装置100がMVPDを識別した後にもユーザがMVPDを変更する可能性があるため、一定時間が経過した後、第三者サーバ90は映像表示装置100のためのACR設定情報内でMVPDエレメントの感知オン属性の値をONに設定する。
一方、映像表示装置100は加入MVPDの識別子に基づいて、一つ以上のMVPD情報アイテムグループから加入MVPDのタイプを確認する(S3317)。即ち、複数のMVPD情報アイテムグループにおいて、複数のMVPD識別子のそれぞれに対応するMVPDタイプを有しているため、映像表示装置100は加入MVPDの識別子に基づいて一つ以上のMVPD情報アイテムグループから加入MVPDのタイプを確認する。
加入MVPDのタイプが衛星事業者ではない場合、映像表示装置100は地理的加入者位置を確認する(S3319)。加入MVPDのタイプがケーブル事業者またはIPTV事業者であれば、映像表示装置100は地理的加入者位置を確認する。
一実施例において、映像表示装置100はユーザ入力に基づいて位置的加入者位置を確認する。この際、北米の場合、ユーザ入力はzip codeである。
他の実施例において、映像表示装置100はGeo−IPに基づいて映像表示装置100の地理的位置を確認する。Geo−IPとは、端末機のIP addressから端末の地政学的位置を探す方法である。
映像表示装置100は自らのIPアドレスを第三者サーバ90、フィンガープリントサーバ22または位置確認サーバに伝送する。第三者サーバ90、フィンガープリントサーバ22または位置確認サーバはIPアドレスを利用して映像表示装置100の地理的加入者位置を確認し、確認した地理的加入者位置に関する情報を映像表示装置100に伝送して、映像表示装置100が地理的加入者位置を確認するようにする。この際、北米の場合、確認した地理的加入者位置に関する情報はzip codeである。
映像表示装置100はパッケージ情報要請メッセージを第三者サーバ90に伝送する(S3321)。この際、パッケージ情報要請メッセージはMVPDの識別子、MVPDのタイプ、地理的加入者位置を含む。同じパッケージであっても地域によってチャネルマップが異なり得るため、パッケージ情報要請メッセージは地理的加入者位置を含む。
第三者サーバ90はMVPD識別子及びMVPDタイプに当たるMVPDが映像表示装置100の地理的加入者位置のために提供する複数のパッケージに関する情報を映像表示装置100に伝送する。それによって、映像表示装置100はMVDP識別子及びMVPDタイプに当たるMVPDが映像表示装置100の地理的加入者位置のために提供する複数のパッケージに関する情報を第三者サーバ90から受信する(S3323)。
下記表6に示したように、複数のパッケージに関する情報は複数のパッケージそれぞれから提供するチャネルリストに関する情報を含む。
特に、表6は米国のTime Warner Cable事業者が提供する複数のパッケージに関する情報を示す。
表6に示したように、米国のTime Warner Cable事業者はStandardパッケージ、TV Essentialsパッケージ、Premiumパッケージ及びSports Passパッケージを提供する。StandardパッケージはUSAチャネル、ESPNチャネル、CNNチャネルを提供するがHBOチャネルは提供しない。TV EssentialsパッケージはUSAチャネル及びCNNチャネルを提供するがESPNチャネル及びHBOチャネルは提供しない。PremiunパッケージはHBOチャネルを提供するがUSAチャネル、ESPNチャネル、CNNチャネルを提供しない。Sports PassパッケージESPNチャネルを提供するがUSAチャネル、HBOチャネル及びCNNチャネルは提供しない。
映像表示装置100は入力される非圧縮メイン視聴覚コンテンツから一つ以上のチャネルを識別する(S3325)。通常、ユーザは一日数回チャネルを変更するため、映像表示装置100は非圧縮視聴覚コンテンツから一つ以上のチャネルを識別する。特に、図3、図6、図6に示したような手続きを介し、映像表示装置100は入力される非圧縮視聴覚コンテンツのコンテンツ情報を獲得してチャネルを識別する。詳しくは、映像表示装置100は可視ウォーターマークである放送局ロゴを非圧縮視聴覚コンテンツから確認し、確認した放送局ロゴに基づいて非圧縮視聴覚コンテンツを提供するチャネルを識別する。この場合、映像表示装置100は複数の放送局ロゴを含む内部のデータベースを利用してチャネルを識別してもよく、ウォーターマークサーバを利用してチャネルを識別してもよい。また、映像表示装置100は不可視ウォーターマークからコンテンツ情報を獲得してチャネルを識別してもよい。また、映像表示装置100は非圧縮視聴覚コンテンツからシグネチャを抽出し、このシグネチャをフィンガープリントサーバに伝送してチャネルを識別してもよい。非圧縮メイン視聴覚コンテンツが再販売されたコンテンツであるか同じ視聴覚コンテンツが複数のチャネルから放送される場合、映像表示装置100は放送局のロゴに基づいたチャネル識別を行う。
映像表示装置100は一つ以上の識別したチャネルに基づいて加入パッケージを確認する(S3327)。
表6を参照すると、HBOチャネルが識別されると映像表示装置100は加入パッケージがPremiumパッケージであることを確認する。USAチャネルとESPNチャネルが識別されると、映像表示装置100は加入パッケージがStandardパッケージであることを確認する。CNNチャネルが識別され、ESPNチャネルが所定機関内に識別されなければ映像表示装置100は加入パッケージがTV Essentialsパッケージであることを確認する。
一つ以上の識別したチャネルに基づいて加入パッケージが唯一に確認されなければ、映像表示装置100は追加チャネルの識別を行う。
映像表示装置100は確認した加入パッケージに当たるチャネルマップを第三者サーバ90に要請する(S3329)。チャネルマップ要請に対応して、第三差者サーバ90は映像表示装置100のためのACR設定情報内でMVPDエレメントの感知オン属性の値をOFFまたはfalseに設定し、映像表示装置100の加入パッケージに当たるチャネルマップを映像表示装置100に提供する。
映像表示装置100は確認した加入パッケージに当たるチャネルマップを第三者サーバ90から受信する(S3331)。
映像表示装置100は受信したチャネルマップを処理する(S3333)。
図34は、本発明の実施例によるチャネルマップの処理を示す画面である。図34に示したように、映像表示装置100は画面に現在の非圧縮視聴覚コンテンツのチャネル名及びチャネル番号を画面にディスプレーする。
図35は、本発明の実施例によるチャネルマップの処理を示す画面である。図35に示したように、映像表示装置100はチャネルマップに基づいてEPG情報を獲得し、獲得したEPGをディスプレーする。
次に、図36乃至図37を参照して本発明の多様な実施例による映像表示装置の構造を説明する。
図36は、本発明の実施例による映像表示装置の概念図である。
図36に示したように、本発明の実施例による概念図の映像表示装置100はオーディオ/ビデオドライバ(Audio/Video driver)601、ACRエンジン603、ACRミドルウェア605、ACRプラグイン(Plugin)609、付加サービス管理部611、チャネルマップ管理部613、MVPDロゴデータベース管理部615を含む。
ACRエンジン603はコンテンツ認識設定管理部631、MVPDパッケージ情報管理部633及びMVPDロゴマッチング部635を含む。
コンテンツ認識設定管理部631はACR設定情報(ACR configuration information)を要請するACR設定情報要請メッセージを第三者サーバ90に伝送し、ACR設定情報を含むACR設定情報応答メッセージを受信する。コンテンツ認識設定管理部631はACR設定情報から自らが属した国家、自らの製品種類及びプラットフォーム種類に合うACR設定情報アイテムグループを抽出する。コンテンツ認識設定管理部631は抽出したACR設定情報アイテムグループから複数のACR設定情報アイテムを抽出する。コンテンツ認識設定管理部631は複数の抽出したACR設定情報アイテムを映像表示装置100内に設定する。コンテンツ認識設定管理部631は設定されたACRターンオン時間区間リストに基づいてACR機能をターンオンする。
ACR機能がターンオンされる際、映像表示装置100のACRエンジンは603メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むACR質疑要請メッセージをフィンガープリントサーバ22に当たるACRサーバに伝送して、識別したプログラムに関するコンテンツ情報を含むACR質疑応答メッセージを受信する。映像表示装置100のACRエンジン603は入力される非圧縮メイン視聴覚コンテンツから一つ以上のチャネルを識別する。
付加サービス管理部611はリーンバックアプリケーションの許容可否に関する設定された情報に基づいてリーンバックアプリケーションのURLアドレスにリーンバックアプリケーションを要請しリーンバックアプリケーションを受信し、受信されたリーンバックアプリケーションをユーザ入力とは関係なく自動的に実行する。
チャネルマップ管理者613は加入パッケージに当たるチャネルマップを第三者サーバ90に要請し、確認した加入パッケージに当たるチャネルマップを第三者サーバ90から受信し処理する。
MVPDパッケージ情報管理部633は一つ以上のMVPD情報アイテムグループに基づいて入力される非圧縮視聴覚コンテンツからMVPDロゴと推定される一つ以上のイメージを抽出し、一つ以上の抽出したMVPDロゴ推定イメージに基づいて映像表示装置100が加入した加入MVPDを識別して加入MVPDを獲得する。MVPDパッケージ情報管理部633は加入MVPD識別子に基づいて一つ以上のMVPD情報アイテムグループから加入MVPDタイプを確認し、加入MVPDタイプが衛星事業者ではなければ地理的加入者位置を確認する。MVPDパッケージ情報管理部633はパッケージ情報要請メッセージを第三者サーバ90に伝送し、加入MVPDが提供する複数のパッケージに関する情報を第三者サーバ90から受信する。MVPDパッケージ情報管理部633は一つ以上の識別したチャネルに基づいて加入パッケージを確認する。
MVPDロゴデータベース管理部614は複数のMVPDにそれぞれ対応する複数のMVPDロゴイメージに関する要請メッセージを第三者サーバ90に伝送し、複数のMVPDにそれぞれ対応する複数のMVPDロゴイメージを第三者サーバ90から受信し、複数のMVPDにそれぞれ対応する複数のMVPDロゴイメージをデータベース化する。
MVPDロゴマッチング部635は複数のMVPDロゴイメージと複数の抽出したMVPDロゴ推定イメージを比較する。複数の抽出したMVPDロゴ推定イメージのうち少なくとも一つが複数のMVPDロゴイメージのうち一つと一致すると、MVPDロゴマッチング部635は一致したMVPDロゴイメージに当たるMVPDを自らが加入したMVPDとして識別する。
図37は、本発明の実施例による映像表示装置の概念図である。
図37に示したように、本発明の実施例による概念図の映像表示装置100はオーディオ/ビデオドライバ601、ACRエンジン603、ACRミドルウェア605、ACRユーザインタフェース607、ACRプラグイン609、付加サービス管理部611、チャネルマップ管理部613を含む。
ACRエンジン603はコンテンツ認識設定管理部631及びMVPDパッケージ情報管理部633を含む。
図37の実施例では、ロゴマッチングが映像表示装置100の代わりに第三者サーバ90またはフィンガープリントサーバ22で行われる。これは図28に関して既に説明したため、ここではその説明を省略する。
EPGは放送コンテンツが放送される約7日乃至14日前からユーザに放送コンテンツを表示する。但し、各放送局またはコンテンツ提供者は放送コンテンツが放送される1ヶ月前から放送コンテンツの予告編などのプロモーションコンテンツ(promotional contents)を放送することが普通である。よって、ユーザはプロモーションコンテンツを見てもその包装コンテンツに関する予約視聴や予約録画を設定することができない場合が発生する。
また、EPGの場合には同じ伝送方式を介して伝送される放送コンテンツのみを案内することが普通である。例えば、ケーブル放送のEPGは同じケーブルネットワークを介して伝送される放送コンテンツのみを表示することが普通である。また、衛星放送のEPGは同じ衛星または同じ事業者によって提供される放送コンテンツのみを表示することが普通である。よって、ユーザが自ら視聴しようとする放送コンテンツが多様な形式に伝送されることを把握することが難しい問題がある。このような問題を解決するためには、映像表示双対100がACRに基づいて現在表示されている非圧縮視聴覚コンテンツに関するコンテンツの放送情報を通知するコンテンツ通知(contents reminder)アプリケーションを実行する必要がある。
図38乃至図49では、本発明の実施例による映像表示装置がACRに基づいてコンテンツ通知アプリケーションを実行することを説明する。
図38は、本発明の実施例による映像コンテンツ通知アプリケーションサービスのためのネットワークトポロジーを示す図である。
映像表示装置100は外部入力から獲得した非圧縮ビデオ及び非圧縮オーディオのうちいずれか一つを含む放送コンテンツから特徴情報を抽出する。この際、放送コンテンツはプロモーションコンテンツである。映像表示装置100は特徴情報に基づいてコンテンツ認識サービス提供サーバ20にACR質疑要請メッセージを伝送する。映像表示装置100はコンテンツ認識サービス提供サーバ20からACR質疑要請メッセージに対するACR質疑応答メッセージを受信する。特に、プロモーションコンテンツの特徴情報を抽出してACR質疑要請メッセージを伝送する場合、映像表示装置100はプロモーションアプリケーションのURLをACR質疑応答メッセージを介して受信する。映像表示装置100はプロモーションアプリケーションのURLに基づいてプロモーションアプリケーションをダウンロードする。映像表示装置100はアプリケーションのプラットフォームの役割をするブラウザを介してプロモーションアプリケーションを実行する。映像表示装置100はプロモーションアプリケーションを実行してプロモーションアプリケーションを製作したアプリケーションサービス提供者のアプリケーションサービス提供者サーバ300に映像表示装置識別子を伝送する。また、映像表示装置100はコンテンツ認識サービス提供サーバ20からコンテンツ通知アプリケーションのURLを受信し、コンテンツ通知アプリケーションのURLに基づいてコンテンツ通知アプリケーションをダウンロードする。映像表示装置100はコンテンツ通知アプリケーションをブラウザを介して実行する。映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツの放送情報をユーザに表示する。コンテンツの放送情報はコンテンツのタイトル、コンテンツの開始時間、コンテンツを放送する放送局名及びコンテンツを放送するチャネル情報のうち少なくともいずれか一つを含む。コンテンツを放送するチャネル情報はチャネル名、コンテンツを放送するチャネルのチャネル番号、コンテンツを放送するチャネルを含むサービスパッケージ及びサービスパッケージを提供するMVPDのうち少なくともいずれか一つを含む。
コンテンツ認識サービス提供サーバ20は映像表示装置100からACR質疑要請メッセージを受信する。コンテンツ認識サービス提供サーバ20は映像表示装置100からACR質疑応答メッセージを伝送する。コンテンツ認識サービス提供サーバ20はプロモーションコンテンツから抽出した特徴情報を貯蔵する。コンテンツ認識サービス提供サーバはACR質疑応答メッセージを介してプロモーションアプリケーションのURLを伝送する。詳しくは、コンテンツ認識サービス提供サーバ20はACR質疑要請メッセージに含まれた特徴情報に当たるプロモーションコンテンツを識別する。それによって、コンテンツ認識サービス提供サーバ20はプロモーションコンテンツに当たるプロモーションアプリケーションのURLを伝送する。また、コンテンツ認識サービス提供サーバ20はアプリケーションサービス提供者サーバ300から映像表示装置を識別する映像表示装置識別子、コンテンツの開始時間及びコンテンツ通知アプリケーションのURLを受信する。コンテンツ認識サービス提供サーバ20は映像表示装置識別子、コンテンツの開始時間及びコンテンツ通知アプリケーションのURLに基づいて映像表示装置100にコンテンツ通知アプリケーションのURLを伝送する。詳しくは、コンテンツ認識サービス提供サーバ20はコンテンツの開始時間または開始時間から一定時間前にコンテンツ通知アプリケーションのURLを映像表示装置識別子によって識別される映像表示装置100に伝送する。
アプリケーションサービス提供者サーバ300はアプリケーションサービス提供者が製作したプロモーションアプリケーションを介して映像表示装置100から映像表示装置識別子を受信する。また、アプリケーションサービス提供者サーバ300はプロモーションアプリケーションを介して映像表示装置100からコンテンツ識別子を受信する。アプリケーションサービス提供者サーバ300は映像表示装置識別子、コンテンツの開始時間及びコンテンツ通知アプリケーションのURLをコンテンツ認識サービス提供サーバ20に伝送する。詳しくは、アプリケーションサービス提供者サーバ300は映像表示装置100から受信した映像表示装置識別子及びコンテンツ識別しに基づいてコンテンツのタイトル、コンテンツの開始時間、コンテンツを放送する放送局名及びコンテンツを放送するチャネル情報及びコンテンツ通知アプリケーションのURLをコンテンツ認識サービス提供サーバ20に伝送する。コンテンツを放送するチャネルの情報はチャネル名、コンテンツを放送するチャネルのチャネル番号、コンテンツを放送するチャネルを含むサービスパッケージ及びサービスパッケージを提供するMVPDのうち少なくともいずれか一つを含む。
映像表示装置100、コンテンツ認識サービス提供サーバ20及びアプリケーションサービス提供者サーバ300の具体的な動作は図39を介して説明する。
図39は、本発明の一実施例による映像コンテンツ通知アプリケーションの動作を示すラダーダイアグラムである。
まず、映像表示装置100が一般的なリーンバックアプリケーションを実行する動作を説明する。
映像表示装置100は電源がオンされて動作を開始する(S2801)。映像表示装置100は外部入力端子を介して非圧縮視聴覚コンテンツを獲得する。この際、非圧縮視聴覚コンテンツは非圧縮オーディオ及び非圧縮ビデオのうち少なくともいずれか一つを含む。映像表示装置100は非圧縮視聴覚コンテンツをディスプレー部121を介して表示する。
映像表示装置100は非圧縮視聴覚コンテンツの特徴情報に基づいて非圧縮視聴覚コンテンツに関するコンテンツ情報を受信する。
映像表示装置100はACR質疑要請メッセージをコンテンツ認識サービス提供サーバ20に伝送する(S2803)。詳しくは、映像表示装置100は外部入力を介して入力された非圧縮視聴覚コンテンツから特徴情報を抽出し、特徴情報に基づいたACR質疑要請メッセージをコンテンツ認識サービス提供サーバ20に伝送する。
コンテンツ認識サービス提供サーバ20はACR質疑応答メッセージに対するACR質疑応答メッセージを映像表示装置100に伝送する(S2805)。詳しくは、コンテンツ認識サービス提供サーバ20は特徴情報に当たるコンテンツを識別する。コンテンツ認識サービス提供サーバ20はコンテンツに当たるコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100に伝送する。コンテンツ情報は識別したコンテンツのためのリーンバックアプリケーションのURL、コンテンツ識別子及びコンテンツのタイムスタンプのうち少なくともいずれか一つを含む。
映像表示装置100はACR質疑応答メッセージをコンテンツ認識サービス提供サーバから受信し、ACR設定情報を確認する(S2807)。詳しくは、映像表示装置100はACR質疑応答メッセージに含まれたリーンバックアプリケーションURLに当たるリーンバックアプリケーションがACR設定情報で許容されているのか或いは制限されているのかを確認する。
ACR設定情報でリーンバックアプリケーションが許容されていれば、映像表示装置100はリーンバックアプリケーションのURLに基づいてコンテンツ提供サーバ10にリーンバックアプリケーションを要請する(S2809)。
映像表示装置100はコンテンツ提供サーバからリーンバックアプリケーションをダウンロードしてリーンバックアプリケーションを実行する(S2811)。
以下、映像表示装置100がリーンバックアプリケーションのうち一つとして非圧縮視聴覚コンテンツに関する情報に基づいて非圧縮視聴覚コンテンツに関するコンテンツの放送情報を知らせるコンテンツ通知アプリケーションを実行する動作を説明する。この際、非圧縮視聴覚コンテンツは映画の予告編を含むプロモーションコンテンツであり、関連するコンテンツはプロモーションコンテンツの本編コンテンツである。
映像表示装置100は非圧縮視聴覚コンテンツの特徴情報に基づいて非圧縮視聴覚コンテンツに関するコンテンツ情報を受信する。
映像表示装置100は非圧縮視聴覚コンテンツに基づいたACR質疑要請メッセージをコンテンツ認識サービス提供サーバ20に伝送する(S2813)。詳しくは、外部入力を介して入力された非圧縮視聴覚コンテンツから特徴情報を抽出し、特徴情報に基づいてACR質疑要請メッセージをコンテンツ認識サービス提供サーバ20に伝送する。
コンテンツ認識サービス提供サーバ20はACR質疑要請メッセージに対するACR質疑応答メッセージを映像表示装置100に伝送する(S2815)。詳しくは、コンテンツ認識サービス提供サーバ20はACR失語要請メッセージに含まれた特徴情報に当たるコンテンツを識別する。この際、識別されたコンテンツがプロモーションコンテンツであれば、コンテンツ認識サービス提供サーバ20は識別したプロモーションコンテンツに当たるコンテンツ情報を含むACR質疑応答メッセージを映像表示装置100に伝送する。コンテンツ情報はプロモーションアプリケーションのURL、映像表示装置識別子、コンテンツ識別子、コンテンツのタイムスタンプ、プロモーションコンテンツの本編コンテンツを放送する放送局名、本編コンテンツを放送するチャネル情報のうち少なくともいずれか一つを含む。本編コンテンツを放送するチャネルの情報はチャネル名、コンテンツを放送するチャネルのチャネル番号、本編コンテンツを放送するチャネルを含むサービスパッケージ及びサービスパッケージを提供するMVPDのうち少なくともいずれか一つを含む。映像表示装置識別子は映像表示装置を識別する識別子である。それについては図40を参照して説明する。
図40は、本発明の実施例によって映像表示装置の識別子が伝送されることを示すグロック図である。
アプリケーション提供者はそれぞれの映像表示装置100で設定したコンテンツに対してそれぞれの映像表示装置100でコンテンツ通知アプリケーションを実行するようにすべきである。よって、映像表示装置100を識別する映像表示装置識別子を必要とする。この際、コンテンツ認識サービス提供サーバ20はそれぞれの映像表示装置100に対して映像表示装置識別子を生成する。この際、映像表示装置100が主に使用される一つの共有器を介して様々な映像表示装置100がアクセスするため、コンテンツ認識サービス提供サーバ20はインターネットプロトコルアドレス(Internet Protocol Address,IP Addess)を映像表示装置識別子として使用することが難しい。また、映像表示装置識別子は映像表示装置100に対する互換性のためにプラットフォーム、システム及び他のアプリケーションに従属されないべきである。コンテンツ認識サービス提供サーバ20はマックアドレス(Mac address)をハッシュ(hash)演算して映像表示装置識別子として使用する。
具体的な実施例において、コンテンツ認識サービス提供サーバ20はプロモーションアプリケーションURLと映像表示装置識別子を合成して映像表示装置識別子を伝送する。詳しくは、コンテンツ認識サービス提供サーバ20はプロモーションアプリケーションURLに映像表示装置識別子をパラメータとして付けて伝送する。この際、映像表示装置はプロモーションアプリケーションURLをトークン化(tokeniza)して映像表示装置識別子をい認識する。例えば、http://reminderservice.com?promoId=XXXがプロモーションアプリケーションのURLであり、YYYが映像表示装置識別子であれば、コンテンツ認識サービス提供サーバ20はURLであるhttp://reminderservice.com?promoId=YYYを映像表示装置100に伝送する。次に、アプリケーションサービス提供者サーバ300はコンテンツ通知アプリケーションのURLを伝送する際にコンテンツ通知アプリケーションのURLと映像表示装置識別子を合成して伝送する。詳しくは、アプリケーションサービス提供者サーバ300はコンテンツ通知アプリケーションのURLに映像表示装置識別子をパラメータとして付けて伝送する。例えば、http://reminderservice.com?remindId=ZZZがコンテンツ通知アプリケーションのURLでYYY映像表示装置識別子であれば、アプリケーションサービス提供者サーバ300はURLであるhttp://reminderservice.com?promoId=YYYを伝送する。
他の具体的な実施例において、コンテンツ認識サービス提供サーバ20はコマーシャル識別子を介して映像表示装置識別子を伝送する。詳しくは、コンテンツ認識サービス提供サーバ20がプロモーションコンテンツに当たる特徴情報を含むACR質疑要請メッセージを受信しACR質疑応答メッセージを伝送する場合、コンテンツ認識サービス提供サーバ20はコマーシャル識別子(commercial ID)を含むコンテンツ識別子を含んでACR質疑応答メッセージを伝送する。この際、コマーシャル識別子は映像表示装置識別子を含む。この際、コマーシャル識別子は無作為に生成される。映像表示装置100はプロモーションアプリケーションを介してコマーシャル識別子をトークン化して映像表示装置識別子を認識する。
映像表示装置100はACR質疑応答メッセージをコンテンツ認識サービス提供サーバから受信し、ACR設定情報を確認する(S2817)。詳しくは、映像表示装置100はACR質疑応答メッセージに含まれたプロモーションアプリケーションのURLに当たるプロモーションアプリケーションがACR設定情報で許容されているのか或いは制限されているのかを確認する。
ACR設定情報でプロモーションアプリケーションが許容されていれば、映像表示装置100はプロモーションアプリケーションのURLに基づいてアプリケーションサービス提供者サーバ300にプロモーションアプリケーション要請する(S2819)。
映像表示装置100はコンテンツ提供サーバからプロモーションアプリケーションをダウンロードする(S2811)。
映像表示装置100はプロモーションアプリケーションを実行してコンテンツ通知を予約する(S2823、S2825)。この際、プロモーションアプリケーションの動作については図41乃至図42を参照して説明する。
図41は、本発明の実施例によってプロモーションアプリケーションを実行する映像表示装置の動作を示すフローチャートである。図42は、本発明の実施例によるプロモーションアプリケーションのコンテンツ通知予約ユーザインタフェースを示す図である。
映像表示装置100はプロモーションアプリケーションを介してコンテンツ通知予約ユーザインタフェースを表示する(S2851)。この際、ユーザインタフェースはコンテンツ通知予約同意可否の選メニューとコンテンツのタイトル、コンテンツの放送日と時間、コンテンツの再生長さ(duration)、コンテンツのジャンル及びコンテンツ内容のうち少なくともいずれか一つを含むコンテンツ情報を一緒に表示する。図42に実施例において、ユーザインタフェースはコンテンツのタイトル、コンテンツの放送日と時間を一緒に表示する。
映像表示装置100はプロモーションアプリケーションを介してユーザ入力を受信する(S2853)。
映像表示装置100はプロモーションアプリケーションを介してユーザ入力がコンテンツ通知予約同意に関する入力であるのかを判断する(S2855)。
ユーザ入力がコンテンツ通知予約同意に関する入力であれば、映像表示装置100はプロモーションアプリケーションを介してコンテンツ通知を予約する(S2857)。この際、図38乃至図39の実施例において、映像表示装置100はアプリケーションサービス提供者サーバ300に伝送してコンテンツ通知を予約する。アプリケーションサービス提供者サーバ300はコンテンツ通知メッセージをコンテンツ通知予約に基づいてコンテンツ認識サービス提供サーバ20に伝送し、コンテンツ認識サービス提供サーバ20はコンテンツ通知メッセージをコンテンツ通知予約に基づいて映像表示装置100に伝送する。但し、コンテンツ通知メッセージを映像表示装置100に伝送する主体は実施例によってアプリケーションサービス提供者サーバ300であってもよい。また、実施例によって映像表示装置100は映像表示装置100の内部にコンテンツ通知を予約しコンテンツ通知予約に応じてコンテンツ通知アプリケーションを実行してもよい。それについては図49乃至図49を介してより詳しく説明する。映像表示装置100はコンテンツ通知予約の際にコンテンツ通知予約情報を貯蔵する。コンテンツ通知予約情報はコンテンツ識別子、映像表示装置識別子、映像表示装置のIPアドレス、MACアドレス、コンテンツを放送する放送社名、コンテンツを放送するチャネル情報、コンテンツの開始時間、コンテンツ通知マージン時間及びコンテンツ通知アプリケーションURLのうち少なくともいずれか一つを含む。コンテンツを放送するチャネルの情報はチャネル名、コンテンツを放送するチャネルのチャネル番号、コンテンツを放送するチャネルを含むサービスパッケージ及びサービスパッケージを提供するMVPDのうち少なくいともいずれか一つを含む。
映像表示装置100はプロモーションアプリケーションを終了する(S2827)。具体的な実施例において、プロモーションコンテンツが終了された場合、映像表示装置100はプロモーションアプリケーションを終了する。詳しくは、他のチャネルに転換されてプロモーションコンテンツが終了されるかプロモーションコンテンツが再生時間が終わって終了される場合、映像表示装置100はプロモーションアプリケーションを終了する。しかし、映像表示装置100がプロモーションコンテンツが終了されたのか以下名を把握するためには、ACR質疑要請メッセージを伝送しACR質疑応答メッセージを受信して現在ディスプレー部121に表示されるコンテンツを識別すべきである。よって、映像表示装置100がプロモーションアプリケーションを終了するのに過度に時間が多く所用される恐れがある。この過程でプロモーションコンテンツは就労され、プロモーションではない他のコンテンツがディスプレー部121にプロモーションアプリケーションと一緒に表示される。他のコンテンツがディスプレー部121にプロモーションアプリケーションと一緒に表示退れるとユーザの混乱を引き起こす恐れがある。よって、具体的な実施例において、映像表示装置100は予め設定された時間の間にアプリケーションを実行し、予め設定された時間が経過したらプロモーションアプリケーションを終了する。この際、予め設定された時間はプロモーションコンテンツに基づいて決定される。この際、予め決定された時間の長さはプロモーションコンテンツの再生時間の長さより小さい。他の具体的な実施例において、映像表示装置100は非圧縮視聴覚コンテンツのフェードアウト(fade out)に基づいてプロモーションアプリケーションを終了する。詳しくは、非圧縮視聴覚コンテンツのフェードアウトを感知した場合、映像表示装置100はプロモーションアプリケーションを終了する。他のコンテンツに転換されるかチャネルの変更がある場合、非圧縮視聴覚コンテンツに含まれたビデオまたはオーディオ信号がフェードアウトされることが普通である。よって、非圧縮視聴覚コンテンツのフェードアウトを介し、映像表示装置100はプロモーションコンテンツの終了を迅速で容易に把握することができる。
アプリケーションサービス提供者サーバ300はコンテンツ通知予約に基づいてコンテンツ通知メッセージを伝送する(S2829、S2831)。詳しくは、アプリケーションサービス提供者サーバ300はコンテンツ認識サービス提供サーバ20にコンテンツ通知メッセージを伝送し、コンテンツ認識サービス提供サーバ20は映像表示装置100にコンテンツ通知メッセージを伝送する。
具体的な実施例において、アプリケーションサービス提供者サーバ300は映像表示装置100にコンテンツ開始時間にコンテンツ通知メッセージを伝送する。他の具体的な実施例において、アプリケーションサービス提供者サーバ300は映像表示装置100にコンテンツ開始時間から予め設定されたコンテンツ通知マージン時間の前にコンテンツ通知メッセージを伝送する。この際、コンテンツ通知マージン時間はコンテンツ通知予約の際に予約された時間である。コンテンツ開始時間にコンテンツ通知を伝送すると、ユーザがコンテンツの最初の部分を見逃す場合がある。コンテンツ通知マージン時間だけコンテンツ開始じかにより早くコンテンツ通知メッセージを通知することは、ユーザがコンテンツの視聴を予め準備するようにすることでユーザがコンテンツの最初の部分を見逃すことを防止するためである。
この際、アプリケーションサービス提供者サーバ300は映像表示装置識別子に基づいてコンテンツ通知メッセージを伝送する。詳しくは、アプリケーションサービス提供者サーバ300は映像表示装置識別子に基づいてコンテンツ通知メッセージを受信する映像表示装置を識別してコンテンツ通知メッセージを伝送する。また、具体的な実施例において、コンテンツ通知メッセージはコンテンツ通知アプリケーションURLを含む。
映像表示装置100はアプリケーションサービス提供者サーバ300にコンテンツ通知アプリケーションを要請する(S2833)。詳しくは、映像表示装置100はコンテンツ通知アプリケーションURLに基づいてコンテンツ通知アプリケーションを要請する。
映像表示装置100アプリケーションサービス提供者サーバ300からコンテンツ通知アプリケーションをダウンロードする(S2835)。
映像表示装置100はコンテンツ通知アプリケーションを実行する(S2837)。コンテンツ通知アプリケーションの実行については、図43乃至図45を参照して説明する。
図43は、本発明の一実施例によるコンテンツ通知アプリケーションのコンテンツ通知ユーザインタフェースを示す図である。図44は、本発明の他の実施例によるコンテンツ通知アプリケーションのコンテンツ通知ユーザインタフェースを示す図である。図45は、本発明の他の実施例によるコンテンツ通知アプリケーションのコンテンツ通知ユーザインタフェースを示す図である。
映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツの放送情報を表示する。詳しくは、映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツの放送情報をアプリケーションサービス提供者サーバ300から受信してコンテンツの放送情報を表示する。コンテンツの放送情報はコンテンツのタイトル、コンテンツの開始時間、コンテンツを放送する放送局名及びコンテンツを放送するチャネル情報のうち少なくともいずれか一つを含む。コンテンツを放送するチャネルの情報はチャネル名、コンテンツを放送するチャネルのチャネル番号、コンテンツを放送するチャネルを含むサービスパッケージ及びサービスパッケージを含むMVPDのうち少なくともいずれか一つを含む。詳しくは、映像表示装置100は図44の実施例のようにコンテンツのタイトルとコンテンツが放送されるチャネルのチャネル番号を表示しながら、ユーザがリモコンにチャネル番号を入力するとコンテンツを視聴可能であることを表示する。または映像表示装置100は図45の実施例のようにコンテンツを見るために入力すべき特定入力ボタンを表示してユーザがリモコンに特定入力ボタンを入力するとコンテンツを視聴可能であることを表示する。
但し、コンテンツは同時に多数のチャネルで放送される可能性がある。この際、映像表示装置100がユーザには見えないチャネルのみを表示する場合、ユーザは結局コンテンツを見ることができない問題がある。それを防止するために、映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツが放送される全てのチャネルを表示する。他の具体的な実施例において、映像表示装置100はユーザには見えないチャネルを表示せずにユーザが視聴可能なチャネルのみを表示する。そのために映像表示装置識別子をアプリケーションサービス提供者サーバ300に伝送する場合、映像表示装置100は映像表示装置100のユーザが使用しているMVPD名及びサービスパッケージ情報を一緒に伝送する。映像表示装置識別子を貯蔵する際、アプリケーションサービス提供者サーバ300は該当映像表示装置100のユーザが使用しているMVPD名及びサービスパッケージ情報を一緒に貯蔵する。アプリケーションサービス提供者サーバ300は映像表示装置100にコンテンツの放送情報を伝送する際にコンテンツが放送されるチャネルのうちから映像表示装置100のユーザが加入したサービスパッケージに含まれていないチャネルを伝送せずにサービスパッケージに含まれたサービスのみを伝送する。他の具体的な実施例において、チャネル通知情報に含まれたコンテンツを放送するチャネルの情報のうち映像表示装置100のユーザが記入したサービスパッケージに含まれていないチャネルがある場合、映像表示装置100はコンテンツ通知アプリケーションを介して映像表示装置100のユーザが加入したサービスパッケージに含まれていないチャネルの情報を表示せずにサービスパッケージに含まれたチャネルの情報のみを表示する。他の具体的な実施例において、コンテンツが放送されるチャネルが映像表示装置100のユーザが加入したサービスパッケージチャネルに存在しない場合、映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツが放送されるチャネルを含むサービスパッケージに関する情報を表示する。そのために映像表示装置100はコンテンツ通知アプリケーションを介してアプリケーションサービス提供者サーバ300からコンテンツが放送されるチャネルを含むサービスパッケージに関する情報を受信する。詳しくは、映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツが放送されるチャネルが映像表示装置100のユーザが加入したサービスパッケージに含まれていないというメッセージを伝送し、コンテンツ通知アプリケーションを介してアプリケーションサービス提供者サーバ300からコンテンツが放送されるチャネルを含むサービスパッケージに関する情報を受信する。他の具体的な実施例において、コンテンツが放送されるチャネルが映像表示装置100のユーザが加入したサービスパッケージチャネルに存在しない場合、映像表示装置100はコンテンツ通知アプリケーションをコンテンツの放送情報を表示せずにコンテンツ通知アプリケーションを終了する。
映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツの放送情報をコンテンツ通知対象ではなく他の特定のコンテンツの終了時間に表示する。他の具体的な実施例において、映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツの放送情報を広告コンテンツが放送される際にコンテンツ情報を表示する。他の具体的な実施例において、映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツの放送情報をコンテンツの開始時間に表示する。他の具体的な実施例において、映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツの放送情報をコンテンツの開始時間からコンテンツ通知マージン時間の前に表示する。
映像表示装置100はコンテンツ通知アプリケーションを介して一定時間の後から更にコンテンツの放送情報をスヌーズ(snooze)通知を実行する。詳しくは、映像表示装置100はコンテンツ通知アプリケーションを介して図43の実施例のように一定時間の後から更に通知を表示するのかを問い合わせる選択メニューを表示する。この際、映像表示装置100が同意を示すユーザ入力を受信した場合、映像表示装置100はコンテンツ通知アプリケーションを介して一定時間の後から更にコンテンツの放送情報を表示する。
また、映像表示装置100はコンテンツ通知アプリケーションを介してユーザが実際にコンテンツを視聴しているのかを判断する。詳しくは、映像表示装置100はコンテンツ通知アプリケーションがコンテンツの放送情報を表示した後、受信部を介して獲得される非圧縮視聴覚コンテンツがコンテンツ通知予約の対象になるコンテンツであるのかを判断する。詳しくは、映像表示装置100はコンテンツ通知アプリケーションがコンテンツの放送情報を表示した後、周期的に非圧縮視聴覚コンテンツの特徴情報を抽出する。映像表示装置100は特徴情報を含むACR質疑要請メッセージをコンテンツ認識サービス提供サーバ20に伝送し、ACR質疑応答メッセージをコンテンツ認識サービス提供サーバ20から受信する。この際、映像表示装置100はACR質疑応答メッセージに含まれたコンテンツ識別子を介して非圧縮視聴覚コンテンツがコンテンツ通知予約の対象になったコンテンツであるのかを判断する。これを介し、映像表示装置100はユーザが通知予約されたコンテンツを視聴するのかを判断することができる。また、映像表示装置100は放送事業者またはアプリケーションサービス提供者にプロモーションコンテンツがどれだけ効果的であるのかを判断する資料を提供することができる。
図46乃至図47を介し、アプリケーションサービス提供者サーバ300がコンテンツ通知メッセージを伝送する実施例について説明する。
図46は、本発明の他の実施例による映像コンテンツ通知アプリケーションサービスのためのネットワークトポロジーを示す図である。図46の実施例は図38の実施例に比べコンテンツ認識サービス提供サーバ20ではなくアプリケーションサービス提供者サーバ300が映像表示装置100にコンテンツ通知メッセージを伝送することに差があり、他の構成と動作は全て同じである。同じ構成と動作については上述したためここでは省略する。
図46の実施例において、映像表示装置100はアプリケーションサービス提供者サーバ300からコンテンツ通知アプリケーションのURLを受信し、コンテンツ通知アプリケーションのURLに基づいてコンテンツ通知アプリケーションをダウンロードする。
図46の実施例において、アプリケーションサービス提供者サーバ300はアプリケーションサービス提供者が製作したプロモーションを介して映像表示装置100から映像表示装置識別子を受信する。また、アプリケーションサービス提供者サーバ300はプロモーションアプリケーションを介して映像表示装置100からコンテンツ識別子を受信する。アプリケーションサービス提供者サーバ300は映像表示装置識別子、コンテンツ開始時間及びコンテンツ通知アプリケーションのURLをコンテンツ映像表示装置100に伝送する。詳しくは、アプリケーションサービス提供者サーバ300は映像表示装置100から受信した映像表示装置識別子及びコンテンツ識別しに基づいてコンテンツのタイトル、コンテンツ開始時間、コンテンツを放送する放送局名及びコンテンツを放送するチャネルの情報及びコンテンツ通知アプリケーションのURLを映像表示装置100に伝送する。コンテンツを放送するチャネルの情報はチャネル名、コンテンツを放送するチャネルのチャネル番号、コンテンツを放送するチャネルを含むサービスパッケージ及びサービスパッケージを提供するMVPDのうち少なくともいずれか一つを含む。
映像表示装置100、コンテンツ認識サービス提供サーバ20及びアプリケーションサービス提供者サーバ300の具体的な動作は図47を介して説明する。
図47は、本発明の他の実施例によって映像コンテンツ通知アプリケーションの動作を示すラダーダイアグラムである。図47の実施例は図39の実施例に比べコンテンツ認識サービス提供サーバ20ではなくアプリケーションサービス提供者サーバ300が映像表示装置100にコンテンツ通知メッセージを伝送することに差があり、他の構成と動作は全て同じである。同じ構成と動作については上述したためここでは省略する。
アプリケーションサービス提供者サーバ300はコンテンツ通知メッセージを伝送する(S2929)。詳しくは、アプリケーションサービス提供者サーバ300は映像表示装置100にコンテンツ通知メッセージを伝送する。よって、図39の実施例とは異なって、映像表示装置100はアプリケーションサービス提供者サーバ300からコンテンツ通知メッセージを受信する。よって、コンテンツ通知メッセージの伝送に必要な時間を減らすことができる。
図48乃至図49を介し、映像表示装置100が映像表示装置100の内部にコンテンツ通知予約しコンテンツ通知予約に応じてコンテンツ通知アプリケーションを実行する実施例について説明する。
図48は、本発明の他の実施例による映像コンテンツ通知アプリケーションサービスのためのネットワークトポロジーを示す図である。図48の実施例は図38の実施例に比べ映像表示装置100が映像表示装置100の内部にコンテンツ通知を予約し、コンテンツ通知予約に応じてコンテンツ通知アプリケーションを実行することに差があり、他の構成と動作は全て同じである。同じ構成と動作については上述したためここでは省略する。
図48の実施例において、映像表示装置100はプロモーションアプリケーションを介して映像表示装置100の内部にコンテンツ通知を予約する。また、映像表示装置100はコンテンツ通知予約に基づいてアプリケーションサービス提供者サーバ300からコンテンツ通知アプリケーションのURLを受信し、コンテンツ通知アプリケーションのURLに基づいてコンテンツ通知アプリケーションをダウンロードする。映像表示装置100はコンテンツ通知アプリケーションをブラウザを介して実行する。映像表示装置100はコンテンツ通知アプリケーションを介してコンテンツの放送情報をユーザに表示する。
映像表示装置10、コンテンツ認識サービス提供サーバ20及びアプリケーションサービス提供者サーバ300の具体的な動作を図49を介して説明する。
図49は、本発明の他の実施例によって映像コンテンツ通知アプリケーションの動作を示すラダーダイアグラムである。図49の実施例は図39の実施例に比べ映像表示装置100が映像表示装置100の内部にコンテンツ通知を予約し、コンテンツ通知予約に応じてコンテンツ通知アプリケーションを実行することに差があり、他の構成と動作は全て同じである。同じ構成と動作については上述したためここでは省略する。
映像表示装置100はプロモーションアプリケーションを実行してコンテンツ通知を予約する(S3023、S3025)。図48乃至図49の実施例において、映像表示装置100は映像表示装置100内部にコンテンツ通知を予約する。映像表示装置100はコンテンツ通知予約の際にコンテンツ通知予約情報を設定する。コンテンツ通知予約情報はコンテンツ識別子、映像表示装置識別子、映像表示装置のIPアドレス、MACアドレス、コンテンツを放送する放送局名、コンテンツを放送するチャネルの情報、コンテンツの開始時間、コンテンツ通知マージに時間及びコンテンツ通知アプリケーションURLのうち少なくともいずれか一つを含む。コンテンツを放送するチャネルの情報はチャネル名、コンテンツを放送するチャネルのチャネル番号、コンテンツを放送するチャネルを含むサービスパッケージ及びサービスパッケージを提供するMVPDのうち少なくともいずれか一つを含む。特に、コンテンツ開始時間前に映像表示装置100がコンテンツ通知アプリケーションをダウンロードして実行すべきであるため、コンテンツの放送情報はコンテンツの開始時間及びコンテンツ通知マージン時間を含む必要がある。映像表示装置100はコンテンツ通知予約情報を設定するためにアプリケーションサービス提供者サーバ300からコンテンツ通知予約情報を受信する。
但し、コンテンツを放送する放送局の自乗などによって次のコンテンツ開始時間などが変更される可能性がある。よって、映像表示装置100はコンテンツ通知予約の後にもコンテンツ開始時間の変更をコンテンツ予約情報に反映する必要がある。そのために映像表示装置100はアプリケーションサービス提供者サーバ300からコンテンツ通知予約の対象になるコンテンツの情報を受信し、従来予約されたコンテンツ通知予約情報との不一致可否を確認する。
詳しくは、映像表示装置100はプロモーションアプリケーションを実行するたびにコンテンツの情報と従来に設定されたコンテンツ通知予約情報との不一致可否を確認する。但し、このような場合にはプロモーションアプリケーションが一度も実行されていないか、プロモーションアプリケーションが実行されないようにACR設定情報が変更された場合に映像表示装置100がコンテンツ開始時間の変更を確認することができない問題がある。他の具体的な実施例において、映像表示装置100はコンテンツ通知予約の対象になるコンテンツに対するプロモーションコンテンツを認識するたびにコンテンツ情報と従来に設定されたコンテンツ通知予約情報との不一致可否を確認する。但し、このような場合、コンテンツ通知予約の対象になるプロモーションアプリケーションを認識することができなければ映像表示装置100がコンテンツ開始時間の変更を確認することができない問題がある。他の具体的な実施例において、映像表示装置100は映像表示装置の電源がオンされるたびにコンテンツ情報と従来に設定されたコンテンツ通知予約情報との不一致可否を確認する。他の具体的な実施例において、映像表示装置100は予め設定された確認周期に従ってコンテンツ情報と従来に設定されたコンテンツ通知予約情報との不一致可否を確認する。この際、映像表示装置100はユーザ入力に基づいて確認周期を決定する。この際、コンテンツ情報と従来に設定されたコンテンツ通知予約情報が不一致する場合、映像表示装置100はコンテンツ通知予約情報を変更する。それを介し、コンテンツ通知予約の後でコンテンツ開始時間などコンテンツの情報が変更されても映像表示装置100は正確にコンテンツ通知アプリケーションを実行することができる。
映像表示装置100はプロモーションアプリケーションを終了する(S3027)。
映像表示装置100はコンテンツ通知予約に基づいてコンテンツ通知アプリケーションをダウンロードする(S3029)。詳しくは、映像表示装置100は映像表示装置100にコンテンツ開始時間にコンテンツ通知アプリケーションをダウンロードする。他の具体的な実施例において、映像表示装置100はコンテンツ開始時間から予め設定されたコンテンツ通知マージン時間の前にコンテンツ通知アプリケーションをダウンロードする。この際、コンテンツ通知マージン時間はコンテンツ通知予約の際に設定された時間である。コンテンツ開始時間がコンテンツ通知を伝送するようになると、ユーザがコンテンツの最初部分を見逃す可能性がある。コンテンツ通知マージン時間だけコンテンツ開始時間より早くコンテンツ通知メッセージを通知することは、ユーザがコンテンツの視聴を予め準備するようにすることでユーザがコンテンツの最初部分を見逃すことを防止するためである。
映像表示装置100にコンテンツ通知アプリケーションを実行する(S3031)。
図50は、本発明の実施例によるコンテンツ通知アプリケーションを実行する映像表示装置の概念図である。
図50に示したように、本発明の実施例による概念図の映像表示装置100はオーディオ/ビデオドライバ(Audio/Video driver)601、ACRエンジン603、ACRミドルウェア605、ACRユーザインタフェース607、ACRプラグイン(Plugin)609を含む。
オーディオ/ビデオドライバ601やTVの外部入力に入力されるオーディオ/ビデオ信号をキャプチャしてACRエンジン603に伝達する。オーディオ/ビデオドライバ601はACRエンジン603がオーディオ/ビデオバッファに接近するようにAPIを提供してもよい。オーディオ/ビデオドライバ601はHDMIのような外部入力に入力されるオーディオ/ビデオ特性情報を共に提供する。例えば、オーディオ/ビデオドライバ601はオーディオの場合にはsample depth、sampling rate、channelの数(mono/stereoなど)、sampleの数、sample時間などの情報を提供する。ビデオの場合にはオーディオ/ビデオドライバ601はvideo format、input videoのwidth、height、stride、stream時間、input type(HDMI1、HDMI2、Composite、componentなど)、秒当たりのframeの数などの情報を提供する。
ACRエンジン603は別途のprocessで実行されるが、上述した多用な方式を利用してプログラムを認識する。ACRエンジン603はAudip/Videoサンプルからシグネチャを抽出し、抽出したシグネチャをACRサーバに伝達してコンテンツを認識する。上述したように、ACRエンジン603はフラットフォームの具現に応じてAudio/Videoバッファに接近可能なAPIを呼び出してもよく、オーディオ/ビデオドライバ601がキャプチャしたオーディオ/ビデオストリームをsocketのような方法を介してACR processに伝達してもよい。ACRエンジン603はACRサーバにシグネチャと共にACR質疑要請を伝送してcontent認識の成功可否、Content ID、Global Content ID、timestamp、leanback app URL、放送局サーバURLプロモーションアプリケーションURL、コンテンツ通知アプリケーションURLなどを含むACR query responseをACRサーバから受信する。ACRエンジン603はACRサーバから伝達された結果をACRミドルウェア605に伝達する。
ACRミドルウェア605はDTV processのミドルウェアに当たるモジュールであり、ACR制御を処理してACRエンジン603からのACR質疑応答を処理する。ACRミドルウェア605はACRプロセスを実行するか終了するかACRエンジン603を開始するか中断することでACEを制御する。また、ACRミドルウェア605はACE質疑応答をパーシングしてContent ID、Global Content ID、timestampなどの値も貯蔵している。ACRミドルウェア605は貯蔵された値をACR UIに伝送するようにAPIを提供するかmessage queue、global変数などの方法を介してACRユーザインタフェース607に伝達する。また、ACRミドルウェア605はLive+アプリケーションやリーンバックアプリケーションのようなACRアプリケーションにContent ID、Global Content ID、timestampなどのようなデータを伝達するためにshared memory、socketなどのIPC(Inter−Process Communication)を介してWebブラウザに伝達する。
ACRユーザインタフェース(ACR user interface,ACR UI)607はユーザにACR On/OffのようなACRを制御するUIを表出するか、認識されたプログラム名及び時間のような情報をTVの状態バーUIからユーザに示す。
ACRミドルウェア605がACRアプリケーションに伝達するためのContent ID、Global Content ID、timestampなどのようなデータをブラウザに伝達すると、ACRプラグイン609はこのような値を伝達される。ACRプラグイン609はPlugin Object Interfaceを介してACRアプリケーションに該当値を伝達する。以下、ACRプラグイン609のInterfaceの一実施例を示している。特に、図48乃至図49のように映像表示装置100が映像表示装置100内部にコンテンツ通知を予約しコンテンツ通知予約に応じてコンテンツ通知アプリケーションを実行するACRプラグイン609のInterfaceの一実施例を示す。
前記において、reminderURLはコンテンツ通知アプリケーションのURLを示す。
reminderTimestampはコンテンツ通知アプリケーションを実行する時間を示す。
SetACRReminderApp()はコンテンツ通知を予約するためにコンテンツ通知アプリケーションURLとコンテンツ通知アプリケーションを実行する時間を設定するための関数である。
次は、図51〜図52を参照して、本発明の一実施形態に係る映像表示装置の構造を説明する。
図51は本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すグロック図である。
図51において、Tuner501はairチャネルを介して伝送される8−VSB RFシングからSymbolを抽出する。
8−VSD Demodulator503はTuner501が抽出した8−VSD Symbolを復調し、意味のあるデジタルデータを復元する。
VSB Decoder505は8−VSD Demodulator503が復元したデジタルデータを復号し、ATSCメインサービスとATSC M/Hサービスを復元する。
MPEG−2 TP Demux507は8−VSD信号を介して伝送されるMPEG−2 Transport PacketまたはPVR Storageに貯蔵されたMPEG−2 Transport Packetのうちから映像表示装置100が処理しようとするTransport Packetをフィルタリングし、適切な処理モジュールに中継する。
PESデコーダ539はMPEG−2 Transport Streamを介して伝送されたPacketized Elemetrary StreamをBefferingし復元する。
PSI/PSIPデコーダ541はMPEG−2 Transport Streamを介して伝送されるPSI/PSIP Section DataをBeffuringし分析する。分析されたPSI/PSIPデータはService Manager(図示せず)によって収集され、Service Map及びGuide dataの形態にDBに貯蔵される。
DSMCC Section Buffer/Handler511はMPEG−2 TPを介して伝送されるファイルの伝送及びIP Datagram encapsulationなどのためのDSMCC Section Dataをバッファリング(Beffering)し処理する。
IP/UDP Datagram Buffer/Header Parser531はDSMCC Addressable sectionを介してencapsulateされてMPEG−2 TPを介して伝送されるIP Datagramをバッファリングし復元して各DatagramのHeaderを分析する。また、IP/UDP Datagram Buffer/Header Parser531はIP Datagramを介して伝送されるUDP DatagramをBuffering及び復元し、復元されたUDP Headerを分析及び処理する。
Stream component handler577はES Buffer/handler、PCR Handler、STCモジュール、Descrabler、CA Stream Buffer/Handler、Service Signaling Senciton Buffer/Handlerを含む。
ES Buffer/HandlerはPES形態に伝送されたVideo、AudioデータなどのElementary StreamをBuffering及び復元し、適切なA/V Decoderに伝達する。
PCR HandlerはAudio及びVideo StreamのTime synchronizationなどのために使用されるPCR(Program Clock Reference) Dataを処理する。
STCモジュールはPCR Handlerを介して伝達されたReference Clock値を利用し、A/V DecoderのClock値を補正してTime synchronizationを行う。
受信されたIP DatagramのPayloadにScramblingが適用された場合、DescramblerはCA Stream Handlerから伝達されたEncryption keyなどを利用してPayloadのデータを復元する。
CA Stream Buffer/HandelrはMPEG−2 TSまたはIP Streamを介して伝送されるConditional Access機能のために伝送されるEMM、ECMなどのDescramblingのためのkey値などのDataをBuffering及び処理する。CA Stream Buffer/HandelrのOutputはDescramblerに伝達され、DescramblerはA/V Data及びFile Dataなどを伝送するMPEG−2 TPまたはIP Datagramの暗号化解除作業を行う。
Service Signaling Buffer/HandlerはIP Datagramの形態に伝送されるNRT Service Signaling Channel Section DataをBufferingし復元して分析する。Service Manager(図示せず)は分析されたNRT Service Signaling Channel Sectionデータを収集し、Service Map及びGuide dataの形態にDBに貯蔵する。
A/V Decoder561はES Handlerを介して伝達されたAudio/Videoデータの圧縮を復号化してユーザにPresentationする。
MPEG−2 Service Demux(図示せず)はMPEG−2 TP Buffer/Parser、Descrambler、PVR Storageモジュールを含む。
MPEG−2 TP Buffer/Parser(図示せず)は8−VSB信号を介して伝送されるMPEG−2 Transport PacketをBuffering及び復元し、Transport Packet Headerを検出及び処理する。
DescramblerはMPEG−2 TPのうちScrambleが適用されたPacket payloadに対し、CA Stream Handlerから伝達されたEncryption keyなどを利用してPayloadのデータを復元する。
PVR Storageモジュールはユーザの要求などに応じて8−VSB信号を利用して受信されたMPEG−2 TPを貯蔵し、またユーザの要求によってMPEG−2 TPを出力する。PVR StorageモジュールはPVR Manager(図示せず)によって制御される。
File Handler551はALC/LCT Buffer/Parser、FDT Handler、XML Parser、File Recostruction Buffer、Decompressor、File Decoder、File Storageを含む。
ALC/LCT Buffer/ParserはUDP/IP Streamに伝送されるALC/LCTデータをBuffering及び復元し、ALC/LCTのHeader及びHeader extensionを分析する。ALC/LCT Buffer/ParserはNRT Service Manager(図示せず)によって制御される。
FDT HandlerはALC/LCT sessionを介して伝送されるFLUTE protocolのFile Description Tableを分析及び処理する。FDT HandlerはNRT Service Manager(図示せず)によって制御される。
XML ParserはALC/LCT sessionを介して伝送されるXML Documentを分析し、FDT Handler、SG Handlerなど適切なモジュールに分析されたデータを伝達する。
File Reconstruction BufferはALC/LCT、FLUTE sessionに伝送されるファイルを復元する。
DecompressorはALC/LCT、FLUTE sessionに伝送されるファイルが圧縮されている場合、その圧縮を解除するプロセスを行う。
File DecoderはFile Reconstruction Bufferで復元されたFileまたはDecompressorで圧縮解除されたファイル、またはFile Storageから抽出されたFileをDecodingする。
File Storageは復元されたファイルを必要に応じて貯蔵するか抽出する。
M/W Engine(図示せず)はDSMCC Section、IP Datagramなどを介して伝送されるA/V StreamではないファイルなどのDataを処理する。M/W Engineは処理されたデータをPresentation Managerモジュールに伝達する。
SG Handler(図示せず)はXML Documentの形態に伝送されるService Guideデータを収集し分析してEPG Managerに伝達するプロセスを行う。
Service Manager(図示せず)はMPEG−2 Transport Streamを介して伝送されるPSI/PSIP Data、IP Streamに伝送されるService Signaling Section Dataを収集し分析してService Mapを製作する。Servcie Manager(図示せず)は製作したService mapをService Map&Guide Databaseに貯蔵し、ユーザの望みのServiceに対するaccessを制御する。Operation Contraoller(図示せず)によって制御され、Tuner501、MPEG−2 TP Demux507、IP Datagram Buffer/Handler513などに関する制御を行う。
NRT Service Manager(図示せず)はIP layer上でFLUTE sessionを介してobject/fileの形態に伝送されるNRTサービスに関する全般的な管理を行う。NRT Service Manager(図示せず)はFDT Handler、File Storageなどを制御する。
Application Manager(図示せず)はObjcet、Fileなどの形態で伝送されるApplicationデータの処理に関する全般的な管理を行う。
UI Manager(図示せず)はUser Interfaceを介してユーザのInputをOpertion Controllerに伝達し、ユーザが要求するサービスのためのProcessの動作を開始する。
Opertion Controller(図示せず)はUI Managerを介して伝達されたユーザのCommandを処理し、必要なモジュールのManagerが該当Actionを行うようにする。
Fingerprint Extractor565はAudio/Videoストリームからfingerprint特徴情報を抽出する。
Fingerprint Comparator567はFingerprint Extractorが抽出した特徴情報とReference fingerprintを比較して一致するコンテンツを見つける。Fingerprint Comparator567はLocalに貯蔵されたReference fingerprint DBを利用してもよく、インターネット上のFingerprint質疑サーバに質疑して結果を受信してもよい。比較結果でマッチングされた結果データはApplicationに伝達されて利用される。
Application569はACR機能を管掌するモジュールまたはACRに基づいてEnhancedサービスを提供するアプリケーションモジュールであって、視聴中の放送コンテンツを識別子それと連携された拡張されたサービスを提供する。
図52は、本発明の他の実施例によるウォーターマーク基盤の映像表示装置の構造を示すグロック図である。
図52に示したウォーターマーク基盤の映像表示装置は図38に示したフィンガープリント基盤の映像常時装置と類似しているが、フィンガープリント基盤の映像表示装置のFingerprint Extractor565とFingerprint Comparator567を含まず、代わりにWatermark Extractor566を更に含む。
Watermark Extractor566はAudio/Videoストリームからwatermarkの形態に挿入されたデータを抽出する。このように抽出されたデータはApplicationに伝達されて利用される。
本発明の一実施例によれば、MVPDに依存せずに付加サービスを利用することができる。特に、放送局やコンテンツプロバイダーが付加サービスを提供していなくても、放送局やコンテンツプロバイダーに依存しない第3のサーバが付加サービスを提供することができる。
さらに、一実施形態によれば、情報検索、チャット、ニュース検索、デジタルメディアのダウンロード、商品カタログダウンロード、および商品購入をリモートコントローラを用いた不快なテキスト入力せずに行うことができ利用できる。
さらに、一実施形態によれば、無線チャネルの帯域幅を超過する付加サービスも利用可能である。
本発明の一実施例によると、上述した方法はプログラムが記録された媒体にプロセッサが読み込めるコードとして具現することができる。プロセッサが読み込める媒体の例としては、ROM,RAM,CD−ROM,磁気テープ、フロッピーディスク、光データ貯蔵装置などがあり、キャリアウェーブ(例えば、インターネットを介した伝送)の形態に具現されることも含む。
前記のように記載された実施例は説明した実施例の構成と方法が限定されて適用されるのではなく、前記実施例は多様な変形が行われるように各実施例の全部又は一部が選択的に組み合わせられて構成されてもよい。
実施形態は、その例示的な実施形態の数を参照して説明したが、それは多くの他の修正及び実施形態は、本開示の原理の精神および範囲内に入る第当業者によって考案され得ることが理解されるべきです。より具体的には、様々な変形及び変更は、構成部品、および/または開示、図面および添付の特許請求の範囲内の被写体の組み合わせの配置の配置が可能です。構成部品および/または構成において変形及び変更に加えて、代替的な用途は、当業者には明らかであろう。