JP6662784B2 - 無線通信システムにおけるアプリケーションデータを表示するための方法及び装置 - Google Patents

Description

本発明は、無線通信システムにおいて、デバイス間に共有するコンテンツを表示する方法及び装置に関する。

ワイファイ表示（ＷＦＤ：Wi-Fi display)標準は、高品質と低レイテンシを満たしながら、オーディオ/ビデオ(ＡＶ：audio/video)データを転送するようにするニーズに従って規定された。ＷＦＤ標準の適用されたＷＦＤネットワークは、Ｗｉ−Ｆｉデバイスが、ホームネットワーク、オフィスネットワーク、又はホットスポットネットワークに参加しなくても、ピアツーピア（peer to peer）方式で相互接続できるようにするＷｉ−Ｆｉアライアンス（Alliance）により提案されたネットワークシステムである。ＷＦＤネットワーク内のＷＦＤデバイスは、互いに関する情報、例えば、互いに関する能力情報を探索し、ＷＦＤセッションを確立し、そのＷＦＤセッションの間に受信されたコンテンツをレンダすることができる。

ＷＦＤネットワークは、２種類のデバイス、一例として、ソースデバイス（source device）と、シンクデバイス（sink device）とを含む。ソースデバイスは、ソーススクリーン上に存在するデータを、シンクデバイスのスクリーン上にミラー化する。ソースデバイスと、シンクデバイスとは、相互間に第１シーケンスメッセージを交換して、デバイス探索及びサービス探索の手続きを行う。デバイス探索及びサービス探索の手続きが完了した後、ソースデバイス及びシンクデバイスの各々には、インターネットプロトコル（ＩＰ：internet protocol）アドレスが割り当てられる。ソースデバイスとシンクデバイスとの間には、転送制御プロトコル（ＴＣＰ：transmission control protocol）の接続が確立され、その後、ソースデバイス及びシンクデバイスのリアルタイムストリーミングプロトコル（ＲＴＳＰ：real time streaming protocol）及びリアルタイムプロトコル（ＲＴＰ：real time protocol）スタックが活性化される。

ソースデバイスとシンクデバイスとの間のケイパビリティ交渉の手続きは、ＲＴＳＰを通じて行われ、ケイパビリティ交渉の手続きが行われる間、前記ソースデバイスと、前記シンクデバイスとは、Ｍ１〜Ｍ４メッセージを交換する。その後、ソースデバイスとシンクデバイスとは、ＷＦＤセッション制御メッセージを交換する。また、ソースデバイスとシンクデバイスとの間には、ＲＴＰを通じたデータセッションが確立される。

一方、ＷＦＤネットワークでは、データ転送のために、ユーザデータグラムプロトコル（ＵＤＰ：User Datagram Protocol）を用いる。しかし、ＵＤＰは、信頼性がないため、無線送信が行われる過程において、一部のパケットのロスが発生する恐れがある。ロスしたパケットは、再送信されないので、データロスがユーザにより認識される。特に、サブタイトルのようなテキストやグラフィックユーザインターフェース（ＧＵＩ：Graphical User Interface）に関連したデータロスは、ＡＶデータよりユーザに顕著である。従って、シンクデバイスにおけるテキスト及びＧＵＩデータの品質改善のための方案が必要である。

シンクデバイスにおけるテキスト及びＧＵＩ関連のデータ品質での認識可能な歪曲を減少するための方案として、ソースデバイスにおいて、ＡＶデータと、テキスト及びＧＵＩ関連のデータを併合して、シンクデバイスに転送する代わりに、シンクデバイスにおいて、ＡＶデータと、テキスト及びＧＵＩ関連のデータを併合するようにすることができる。シンクデバイスにおいて、サブタイトルのようなテキストを、ＡＶデータと併合するためには、ＳＭＩＬ（Synchronized Multimedia Integration Language）又はＴＴＭＬ（Timed Text Markup Language）のような技術が使用できる。同様に、シンクデバイスにおいて、ＧＵＩデータをＡＶデータと併合するためには、リモートビュー（ＲＶＵ：Remote View）、ＨＴＭＬ５（Hyper Text Markup Language）又はＣＥ（Consumer Electronics）−ＨＴＭＬのような技術が利用できる。

本発明が解決しようとする課題は、シンクデバイスが、ＡＶデータとテキスト又はＧＵＩデータを併合する方法及び装置を提案することである。

また、本発明が解決しようとする課題は、シンクデバイスが、ＡＶデータとテキスト又はＧＵＩデータを併合する際に、同期を合わせる方法及び装置を提案することである。

本発明の一実施形態によると、無線通信システムにおけるアプリケーションデータを表示するための方法において、第１デバイスと第２デバイスとの間の探索により、ワイファイ表示（ＷＦＤ）セッションが設定されると、前記第１デバイスが、前記第１デバイスにより実行されるアプリケーションデータのうち、オーディオ及びビデオデータを、前記ワイファイ表示セッションを通じて、前記第２デバイスに転送するステップと、前記第１デバイスが、前記転送されたオーディオ及びビデオデータと関連したテキスト又はグラフィックユーザインターフェースデータを、前記ワイファイ表示セッションと異なるセッションを通じて、前記第２デバイスに転送するステップと、前記第１デバイスが、前記アプリケーションデータについての終了コマンドを受信し、前記テキスト又はグラフィックユーザインターフェースデータの表示を中止するための設定パラメータを含むメッセージを、前記第２デバイスに転送するステップとを含む。

また、本発明の他の実施形態によると、無線通信システムにおけるアプリケーションデータを表示するための方法において、第１デバイスと第２デバイスとの間の探索により、ワイファイ表示セッションが設定されると、前記第１デバイスが、前記第２デバイスにより実行されるアプリケーションデータのうち、オーディオ及びビデオデータを、前記ワイファイ表示セッションを通じて、前記第２デバイスから受信するステップと、前記第１デバイスが、前記受信されたオーディオ及びビデオデータと関連したテキスト又はグラフィックユーザインターフェースデータを、前記ワイファイ表示セッションと異なるセッションを通じて、前記第２デバイスから受信するステップと、前記第１デバイスが、前記受信されたオーディオ及びビデオデータに、前記テキスト又はグラフィックユーザインターフェースデータを併合して表示するステップと、前記第２デバイスにおいて、前記アプリケーションデータについての終了コマンドが受信されたことによって、前記第１デバイスが、前記テキスト又はグラフィックユーザインターフェースデータの表示を中止するための設定パラメータを含むメッセージを、前記第２デバイスから受信し、前記テキスト又はグラフィックユーザインターフェースデータの表示を中止するステップとを含む。

本発明の他の実施形態によると、無線通信システムにおけるアプリケーションデータを表示するための方法において、第１デバイスが、前記第１デバイスにより実行されるアプリケーションデータのうち、テキストデータを含むファイルを、第２デバイスに転送するステップと、前記第１デバイスが、前記ファイルを分析して、前記テキストデータに関するタイミング情報を獲得し、前記アプリケーションデータのうち、オーディオ及びビデオデータと、前記獲得したタイミング情報を含むパケットデータとを、ワイファイ表示セッションを通じて、前記第２デバイスに転送するステップとを含む。

本発明の他の実施形態によると、無線通信システムにおけるアプリケーションデータを表示するための方法において、第１デバイスが、第２デバイスにより実行されるアプリケーションデータのうち、テキストデータを含むファイルを、前記第２デバイスから受信するステップと、前記第１デバイスが、前記アプリケーションデータのうち、オーディオ及びビデオデータと、前記獲得したタイミング情報を含むパケットデータとを、ワイファイ表示セッションを通じて、前記第２デバイスから受信するステップと、前記第１デバイスが、前記パケットデータをデコードして前記タイミング情報を検出し、前記第２デバイスから受信したファイルに含まれたタイミング情報と比較し、前記比較の結果に基づいて、前記オーディオ及びビデオデータと、該当するテキストデータとを表示するステップとを含む。

本発明の他の実施形態によると、無線通信システムにおけるアプリケーションデータを表示するためのデバイスにおいて、他のデバイスとの探索により、 ワイファイ表示セッションが設定されると、現行のアプリケーションデータのうち、オーディオ及びビデオデータを、前記ワイファイ表示セッションを通じて、前記他のデバイスに転送し、前記転送されたオーディオ及びビデオデータと関連したテキスト又はグラフィックユーザインターフェースデータを、前記ワイファイ表示セッションと異なるセッションを通じて、前記他のデバイスに転送し、前記アプリケーションデータについての終了コマンドを受信し、前記テキスト又はグラフィックユーザインターフェースデータの表示を中止するための設定パラメータを含むメッセージを、前記他のデバイスに転送する送受信部と、前記送受信部を制御し、前記他のデバイスとの接続を設定する制御部とを含む。

本発明の他の実施形態によると、無線通信システムにおけるアプリケーションデータを表示するためのデバイスにおいて、他のデバイスとの探索により、ワイファイ表示セッションが設定されると、前記他のデバイスにより実行されるアプリケーションデータのうち、オーディオ及びビデオデータを、前記ワイファイ表示セッションを通じて、前記他のデバイスから受信し、前記受信されたオーディオ及びビデオデータと関連したテキスト又はグラフィックユーザインターフェースデータを、前記ワイファイ表示セッションと異なるセッションを通じて、前記他のデバイスから受信し、前記他のデバイスにおいて、前記アプリケーションデータについての終了コマンドが受信されたことにより、前記テキスト又はグラフィックユーザインターフェースデータの表示を中止するための設定パラメータを含むメッセージを、前記他のデバイスから受信する送受信部と、前記受信されたオーディオ及びビデオデータと、前記テキスト又はグラフィックユーザインターフェースデータを併合して表示し、前記設定パラメータを含むメッセージを、前記他のデバイスから受信することによって、前記テキスト又はグラフィックユーザインターフェースデータの表示を中止するように制御し、前記他のデバイスとの接続を設定する制御部とを含む。

本発明の他の実施形態によると、無線通信システムにおけるアプリケーションデータを表示するためのデバイスにおいて、現行のアプリケーションデータのうち、テキストデータを含むファイルを他のデバイスに転送し、前記ファイルを分析して、前記テキストデータに関するタイミング情報を獲得し、前記アプリケーションデータのうち、オーディオ及びビデオデータと、前記獲得したタイミング情報を含むパケットデータとを、ワイファイ表示セッションを通じて、前記他のデバイスに転送する送受信部と、前記送受信部を制御する制御部とを含む。

本発明の他の実施形態によると、無線通信システムにおけるアプリケーションデータを表示するためのデバイスにおいて、他のデバイスにより実行されるアプリケーションデータのうち、テキストデータを含むファイルを前記デバイスから受信し、前記アプリケーションデータのうち、オーディオ及びビデオデータと、前記獲得したタイミング情報を含むパケットデータとを、ワイファイ表示セッションを通じて、前記他のデバイスから受信する送受信部と、前記パケットデータをデコードして前記タイミング情報を検出し、前記他のデバイスから受信したファイルに含まれたタイミング情報と比較し、前記比較の結果に基づいて、前記オーディオ及びビデオデータと、該当するテキストデータとを表示するように制御し、前記送受信部を制御する制御部とを含む。

本発明の一実施形態によるＷＦＤデバイス間に、コンテンツを共有するためのシステムを示す概略図である。 本発明の一実施形態によるソースデバイスとシンクデバイスとの間の同期化のための一連の過程を示す図である。 本発明の他の実施形態によるソースデバイスとシンクデバイスとの間の同期化のための一連の過程を示す図である。 本発明の一実施形態によるソースデバイスとシンクデバイスとの間の同期化を行うためのソースデバイス及びシンクデバイスの構成を示す図である。 本発明の一実施形態によるソースデバイス及びシンクデバイスの同期化の一例を示す図である。 本発明の一実施形態によるソースデバイス及びシンクデバイスの同期化の一例を示す図である。

以下、添付の図面を参照して、本発明の実施形態について詳細に説明する。そして、以下では、本発明の実施形態による動作を理解するために必要な部分のみが説明され、それ以外の部分の説明は、本発明の要旨を乱されないように省略することを留意すべきである。後述する用語は、本発明の実施形態における機能を考慮して定義された用語であって、これは、ユーザ、オペレーターの意図又は慣例などに従って変わり得る。したがって、それらの定義は、本明細書の全般に渡る内容に基づいて定めるべきである。

本発明においては、多様な変更を加えてもよく、様々な実施形態を有してもよいものの、特定の実施形態を図面に例示して詳細に説明する。しかし、これは、本発明を特定の実施形態に限定することではなく、本発明の思想及び技術範囲に含まれるいずれの変更、均等物乃至代替物を含むものと理解すべきである。

また、第１、第２などの序数を含む用語は、様々な構成要素を説明するために使われ得るが、前記構成要素は、前記用語により限定されない。前記用語は、一構成要素を他の構成要素から区別する目的としてのみ使われる。例えば、本発明の権利範囲から外れることなく、第１構成要素は、第２構成要素と命名してもよく、同様に、第２構成要素も第１構成要素と命名してもよい。「及び／又は」という用語は、複数の関連した記載の項目の組み合わせ又は複数の関連した記載の項目のうちのいずれかを含む。

さらに、本明細書において使われる用語は、特定の実施形態を説明するため使われたものに過ぎず、本発明を限定しようとする意図ではない。単数の表現は、文脈から異なる旨を明示しない限り、複数の表現を含む。本明細書において、「含む」又は「有する」などの用語は、明細書に記載された特徴、数字、段階、動作、構成要素、部品又はこれらの組み合わせが存在することを指定することで、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらの組み合わせの存在又は付加の可能性を予め排除しないことと理解すべきである。

また、本発明の実施形態において、別の定めのない限り、技術的であるか、科学的な用語を含んで、ここで使われる全ての用語は、本発明が属する技術分野における通常の知識を有する者により、一般的に理解されることと同様の意味を有している。一般に使われる辞書に定義されているもののような用語は、関連の技術の文脈上、有する意味と一致する意味を有することと解釈すべく、本発明の実施形態において明確に定義しない限り、理想的であるか、過度に形式的な意味として解釈しない。

図１は、本発明の一実施形態によるＷＦＤデバイス間に、コンテンツを共有するためのシステムを示す概略図である。
図１を参照すると、ＷＦＤシステムは、ソースデバイス１１０と、シンクデバイス１２０とを含む。

ソースデバイス１１０は、移動通信デバイス、スマートフォン、タブレットＰＣ、携帯用マルチメディアプレーヤー、個人情報デバイス（Personal Digital Assistant）などのような比較的小型の画面を有する携帯デバイスであり得る。ソースデバイス１１０は、マルチメディアコンテンツを無線で転送するための通信チャンネルを、シンクデバイス１２０と形成できる。一例として、前記通信チャンネルは、ミラキャストセッション（Miracast Session）から構成できる。詳しくは、ソースデバイス１１０は、通信チャンネルを介して マルチメディアコンテンツ及び制御コマンドを、シンクデバイス１２０に転送する。この際、前記通信チャンネルは、ＴＣＰ（Transmission Control Protocol）又はＵＤＰ（User Datagram Protocol）方式の通信チャンネルが利用できる。特に、本発明の実施形態による通信システムにおいて、ソースデバイス１１０とシンクデバイス１２０との間のＷＦＤを提供する場合、順方向チャンネルでは、ソースデバイス１１０とシンクデバイス１２０との間のストリーミングプロトコル（streaming protocol）を定義する。即ち、ソースデバイス１１０は、前記シンクデバイス１２０と通信チャンネルが接続されると、マルチメディアコンテンツ及び制御コマンドを、シンクデバイス１２０にリアルタイムで転送できる。詳しくは、前記ソースデバイス１１０は、マルチメディアコンテンツを、ストリームの形式に変換した後、通信チャンネルを介してシンクデバイス１２０に転送できる。また、ソースデバイス１１０は、制御コマンドを、通信チャンネルを介してシンクデバイス１２０に転送できる。前記制御コマンドは、マルチメディアコンテンツの再生を制御するためのコマンドである。一例として、前記制御コマンドは、ボリューム変更、ポーズ、レジューム（Resume）、ストップ、巻き戻し（Rewind）などを含んでもよい。また、ソースデバイス１１０は、シンクデバイス１２０に、ＡＶデータを転送するのとは別途に、テキスト又はＧＵＩデータを転送するごとができる。

シンクデバイス１２０は、デスクトップＰＣ、ノートブック、スマートＴＶなどのように、相対的に大型の画面を有する電子機器となり得る。シンクデバイス１２０は、ソースデバイス１１０からストリーミング形式に変換されたマルチメディアコンテンツを、通信チャンネルを介して受信し、前記受信されたマルチメディアコンテンツを、逆変換して再生できる。また、シンクデバイス１２０は、ソースデバイス１１０から転送されるＡＶデータと、テキスト又はＧＵＩデータを併合して表示できる。さらに、シンクデバイス１２０は、ソースデバイス１１０から制御コマンドを受信し、前記制御コマンドに該当する機能を行うことができる。

図１においては、シンクデバイスの一つのみを示したが、本発明は、これに限定されず、シンクデバイスが二つ以上の場合にも、本発明が適用できる。以下、説明の便宜上、シンクデバイスが一つである場合を例として説明する。

一方、テキスト又はＧＵＩは、一般に、現在プレーしているプログラムと関連している。シンクデバイスにおいて、ＡＶデータと、テキスト又はＧＵＩデータが併合される場合、ＡＶデータのためのＡＶセッション（又はミラキャストセッション）と、テキスト又はＧＵＩデータのためのセッションとが存在する。ソースデバイスにおける動作は、シンクデバイスに反映される必要があり、 シンクデバイスは、ＡＶデータとテキスト/ＧＵＩデータを同期化させる必要がある。即ち、ソースデバイスにおける動作は、ＡＶセッションと時間同期をもって表示されなければならず、またソース側における動作は、該当するプログラムのＡＶセッションが進行中の場合のみに、表示されなければならない。ミラキャストセッションの有効時間の間に、多数のプログラムが、ソースデバイスで開始及び終了することができ、プログラムが、ソースデバイスで終了される度に、当該プログラムに関連したテキスト／ＧＵＩも、シンクデバイスで終了されるべきである。ソースデバイスにおけるプログラムの終了は，ユーザにより終了ボタン又はバック（back）ボタンが入力されることにより行われる。従って、プログラムの終了と関連した動作が、ソースデバイスで行われる度に、ソースデバイスが、シンクデバイスにプログラムを終了することを知らせるメカニズムが必要である。

図２は、本発明の一実施形態によるソースデバイスとシンクデバイスとの間の同期化のための一連の過程を示す図である。

図２を参照すると、ソースデバイスとシンクデバイスとは、相互探索を行い、ミラキャストセッションを開始する（２０１）。ソースデバイスにおいて、ユーザによりビデオプレーヤーなどのプログラムが実行され、ビデオをプレーするコマンドが入力されると（２０２）、ソースデバイスは、ミラキャストセッションを通じて、該当するＡＶコンテンツを、シンクデバイスに伝達する（２０３）。また、ソースデバイスは、ミラキャストセッションとは別途のセッション（例えば、ファイル転送プロトコル（ＦＴＰ：file transfer protocol））を通じて、サブタイトル／ＧＵＩコンテンツを、シンクデバイスに伝達する（２０４）。サブタイトル/ＧＵＩコンテンツは、ミラキャストセッションについてのＭＰＥＧパケットに、新たなメディアコンポーネントを追加することにより伝達できる。シンクデバイスは、サブタイトル/ＧＵＩコンテンツを既に受信したＡＶコンテンツと併合して表示する（２０５）。その後、ミラキャストセッションが進まれている間、ソースデバイスは、ＡＶコンテンツをシンクデバイスに転送する。

その後、ソースデバイスにおいて、ユーザにより現在実行中のビデオを終了するコマンドが入力されると（２０７）、ソースデバイスは、メディアコンポーネントをストップするための新たな設定パラメータ"stop_media_components"を含むＲＴＳＰメッセージを、シンクデバイスに送信し（２０８）、シンクデバイスは、ソースデバイスから受信されたＲＴＳＰメッセージに応じて、現在表示しているＧＵＩ／テキストのようなメディアコンポーネントをストップする（２０９）。その後にも、ミラキャストセッションは、進行し続き、ユーザにより、ソースデバイスでは、他のＡＶアプリケーションを開始することができる（２１０）。

一方、テキスト/ＧＵＩコンテンツは、ＳＭＩＬ／ＴＴＭＬの形態で伝達できるが、ＳＭＩＬ／ＴＴＭＬファイルは、ＳＭＩＬ／ＴＴＭＬのみで時間同期に基づいてプレーするだけで、ビデオファイルのタイミングを考慮しない。従って、シンクデバイスにおいて、テキストを表示する際に、テキストが、ＡＶコンテンツと同期化されなく、表示され得る。これは、同一のコンテンツが、一つのデバイスから他のデバイスにストリーム(stream)されることにより発生される。従って、ＷＦＤネットワークにおいては、ＳＭＩＬファイルのプレータイミングを、ビデオコンテンツのタイミングと同期化する操作が必要である。

従って、本発明の実施形態においては、ソースデバイスが、テキストのタイミング情報（ＳＭＩＬ／ＴＴＭＬタイミング情報）を、ＡＶコンテンツのＭＰＥＧパケットに挿入して、シンクデバイスに転送する方法を提案する。タイミング情報は、シンクデバイスにおいて、コンテンツがレンダされるとき、ある時間でどんなＳＭＩＬ／ＴＴＭＬを検出するかを示す情報である。

図３は、本発明の他の実施形態によるソースデバイスとシンクデバイスとの間の同期化のための一連の過程を示す図である。

図３を参照すると、ソースデバイスは、テキストを含むＳＭＩＬ／ＴＴＭＬ ファイルをシンクデバイスに伝達する（３０１）。ＳＭＩＬ／ＴＴＭＬファイルは、いつ、どんなテキストを表示するかに関するタイミング情報を含む。ソースデバイスは、ソースデバイスに伝達したＳＭＩＬ／ＴＴＭＬファイルを分析し、テキストに関するタイミング情報を獲得する。その後、ミラキャストセッションの動作の一部として、ソースデバイスは、スクリーンをキャプチャーし、キャプチャーしたスクリーン情報をパケット化する。また、パケット化の過程において、ソースデバイスは、ＳＭＩＬ／ＴＴＭＬファイルから獲得したタイミング情報をパケットに含ませる（３０２）。そして、タイミング情報を含むパケット（例えば、ＭＰＥＧ２−ＴＳ）を、シンクデバイスに伝達する（３０３）。シンクデバイスは、パケットをデコードして、ＳＭＩＬ／ＴＴＭＬタイミング情報を検出する。シンクデバイスは、既に受信して有しているＳＭＩＬ／ＴＴＭＬファイルをパースし、ＳＭＩＬ／ＴＴＭＬファイルに含まれたタイミング情報と、前記検出されたタイミング情報とを比較して、当該テキストを検出して、ＡＶデータと共に表示する（３０４）。また、ソースデバイスにおいて、ユーザによりポーズコマンドが入力されると、ソースデバイスは、シンクデバイスにポーズをトリガーし（３０５）、シンクデバイスは、ポーズに対する応答として、ＲＴＳＰメッセージを、ソースデバイスに転送し（３０６）、表示中のテキストをポーズする（３０７）。

図４は、本発明の一実施形態によるソースデバイスとシンクデバイスとの間の同期化を行うためのソースデバイスとシンクデバイスの構成を示した図である。

図４を参照すると、ソースデバイスとシンクデバイスは、制御部４１０と、送受信部４２０と、格納部４３０とを含んでもよい。図４においては、便宜上、一つの装置のみを示したが、ソースデバイスとシンクデバイスは、別途の装置から構成されることは、当業者には自明である。

制御部４１０は、本発明の一実施形態によるデバイス間の同期化のための一連の動作のために、送受信部４２０と、格納部４３０とを制御する。これと関連の全般的な動作については、図２及び図３で説明したと同様であるので、ここではその詳細な説明を省略する。

送受信部４２０は、制御部４１０の制御の下で、本発明の一実施形態によるデバイス間の同期化のために、ソースデバイスとシンクデバイスとの間に、データ、メッセージ、信号などを送受信する。格納部４３０は、相手のデバイスに送信するデータを格納するか、相手のデバイスから受信されたデータを格納することができる。これと関連の全般的な動作については、図２及び図３で説明したことと同様であるので、ここではその詳細な説明を省略する。

また、図４には示していないが、ソースデバイスとシンクデバイスは、ユーザのコマンドの入力を受けるための入力部、及びコンテンツを表示するための表示部をさらに備えてもよい。入力部及び表示部は、デバイスの種類によって、一つのユニットから構成できる。特に、ソースデバイス１１０に含まれた入力部、及びシンクデバイスに含まれた入力部は、それぞれ数字又は文字情報の入力を受け、機能を設定及び制御するための多数の入力キー及び機能キーを含んでもよく、タッチキー、タッチパッド及びタッチスクリーンなどのような入力手段のうちのいずれか一つ又はこれらの組み合わせから形成できる。

図５及び図６は、本発明の一実施形態によるソースデバイスとシンクデバイスの同期化の一例を示した図である。

図５は、ソースデバイスに該当するスマートフォンにおいて、ナビゲーションアプリケーションを実行し、ナビゲーション実行画面を、シンクデバイスに該当する車両内部のスクリーンに、コンテンツを転送する場合を示した図である。ナビゲーションプログラムの場合、マップ画像と共に、具体的なロードガイダンスのためのテキスト及びロードガイダンスの条件などを設定するためのＧＵＩを画面に一緒に表示する。このような場合、図２及び図３から説明した本発明の一実施形態による同期化方法を適用すると、車両用スクリーンに表示されるテキスト及びＧＵＩデータを、ロスなく表示できる。

また、図６は、ソースデバイスに該当するスマートフォンにおいて、ビデオプレープログラムを実行し、シンクデバイスに該当するＴＶのスクリーンに、コンテンツを転送する場合を示した図である。映画などのコンテンツは、ビデオ及びオーディオデータと共に、字幕（サブタイトル）データを含む。この場合、図２及び図３を参照して説明した発明の一実施形態による同期化方法を適用すると、サブタイトルを、歪曲なく、ＴＶスクリーン上に表示でき、又はビデオ及びオーディオデータと同期化することもできる。

本発明の特定の態様は、またコンピュータ読取り可能記録媒体上で、コンピュータ読取り可能コードとして実現できる。コンピュータ読取り可能記録媒体は、コンピュータシステムにより読み取れるデータを格納することのできる任意のデータ格納デバイスである。前記コンピュータ読取り可能媒体の例は、ＲＯＭ（Read-Only Memory）と、ＲＡＭ（Random-Access Memory）と、ＣＤ−ＲＯＭと、磁気テープと、フロッピーディスク（登録商標）と、光データ格納デバイスと、搬送波（前記インターネットを介したデータ送信のような）を含んでもよい。前記コンピュータ読取り可能記録媒体は、またネットワークに接続されたコンピュータシステムを通じて分散でき、従って、前記コンピュータ読取り可能コードは、分散方式で格納及び実行される。さらに、本発明を成し遂げるためのプログラム、コード、及びコードセグメントは、本発明が適用される分野において熟練したプログラマーにより容易に解釈できる。

また、本発明の一実施形態による装置及び方法は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせの形で実現可能であることが分かる。このような任意のソフトウェアは、例えば、削除可能又は再記録可能の如可を問わず、ＲＯＭなどの格納装置のような揮発性又は非揮発性格納装置、又は、例えば、ＲＡＭ、メモリチップ、装置又は集積回路のようなメモリ、又は、例えば、ＣＤ、ＤＶＤ、磁気ディスク又は磁気テープなどのような光学又は磁気的に記録可能であると共に、機械（例えば、コンピュータ）で読み取れる格納媒体に格納できる。本発明の一実施形態による方法は、制御部及びメモリを含むコンピュータ又は携帯端末により実現でき、前記メモリは、本発明の実施形態を実現する指示を含むプログラム、又はプログラムを格納するのに適切な機械で読み取れる格納媒体の一例であることが分かる。

したがって、本発明は、本明細書の任意の請求項に記載の装置又は方法を実現するためのコードを含むプログラム、及び該プログラムを格納する機械（コンピュータなど）で読み取れる格納媒体を含む。また、このようなプログラムは、有線又は無線の接続を通じて伝達される通信信号のような任意の媒体を通じて電子的に移送でき、本発明は、これと均等したものを適切に含む。

また、本発明の一実施形態による装置は、有線又は無線で接続されるプログラム提供装置から、前記プログラムを受信して格納できる。前記プログラム提供装置は、前記プログラム処理装置が、既に設定されたコンテンツ保護方法を行うようにする指示を含むプログラム, コンテンツ保護方法に必要な情報などを格納するためのメモリと、前記グラフィック処理装置との有線又は無線通信を行うための通信部と、前記グラフィック処理装置の要請又は自動で、当該プログラムを、前記送受信装置に転送する制御部とを含んでもよい。

一方、本発明の詳細な説明では、具体的な実施形態について説明したが、本発明の範囲から外れない限度の内において、様々な変形が可能であることは自明である。したがって、本発明の範囲は、説明された実施形態に局限して定めては行けず、後述の特許請求の範囲のみならず、この特許請求の範囲と均等したものにより定めるべきである。

１１０ ソースデバイス
１２０ シンクデバイス
４１０ 制御部
４２０ 送受信部
４３０ 格納部

Claims (8)

1. 無線通信システムにおけるデータを表示するための方法であって、
   第１デバイスと第２デバイス間のワイファイ表示セッションを設定するステップと、
   前記第１デバイスが、グラフィックデータとメディアコンテンツを再生するステップと、ここで、前記メディアコンテンツは、オーディオデータ及びビデオデータを含み、前記グラフィックデータは、前記ビデオデータに関連するものであり、
   前記第１デバイスが、前記オーディオデータ及び前記ビデオデータを前記ワイファイ表示セッションを通じて第１ストリームで前記第２デバイスに転送するステップと、
   前記第１デバイスが、メタデータと前記グラフィックデータを、前記ワイファイ表示セッションと異なるセッションを通じて第２ストリームで前記第２デバイスに転送するステップと、を含み、
   ここで、前記グラフィックデータと前記ビデオデータは、前記メタデータを用いて前記第２デバイスにより併合され、
   前記メタデータは、前記グラフィックデータと前記ビデオデータを併合するためのタイミング情報を含む、表示方法。
2. 前記メタデータと前記グラフィックデータを前記ワイファイ表示セッションと異なるセッションを通じて前記第２ストリームで前記第２デバイスに転送するステップは、前記メタデータと前記グラフィックデータを含むＳＭＩＬ（synchronized multimedia integration language）又はＴＴＭＬ（timed text markup language）ファイルを前記ワイファイ表示セッションと異なるセッションを通じて前記第２ストリームで前記第２デバイスに転送するステップである、請求項１に記載の表示方法。
3. 無線通信システムにおけるデータを表示するための方法において、
   第１デバイスと第２デバイス間のワイファイ表示セッションを設定するステップと、
   前記第１デバイスが、オーディオデータ及びビデオデータを含むメディアコンテンツを前記ワイファイ表示セッションを通じて第１ストリームで第２デバイスから受信するステップと、
   前記第１デバイスが、メタデータと前記ビデオデータと関連したグラフィックデータとを、前記ワイファイ表示セッションと異なるセッションを通じて第２ストリームで前記第２デバイスから受信するステップと、
   前記第１デバイスが、前記メタデータを用いて前記オーディオデータ及び前記ビデオデータに、前記グラフィックデータを併合して表示するステップと、を含み、
   ここで、前記メタデータは、前記グラフィックデータと前記ビデオデータを併合するためのタイミング情報を含む、表示方法。
4. 前記メタデータと前記グラフィックデータを前記ワイファイ表示セッションと異なるセッションを通じて前記第２ストリームで前記第２デバイスから受信するステップは、前記メタデータと前記グラフィックデータを含むＳＭＩＬ（synchronized multimedia integration language）又はＴＴＭＬ（timed text markup language）ファイルを前記ワイファイ表示セッションと異なるセッションを通じて前記第２ストリームで前記第２デバイスから受信するステップである、請求項３に記載の表示方法。
5. 無線通信システムにおけるデータを表示するためのデバイスにおいて、
   データを送受信する送受信部と、
   前記デバイスと他のデバイス間のワイファイ表示セッションを設定し、グラフィックデータとメディアコンテンツを再生し、ここで、前記メディアコンテンツは、オーディオデータ及びビデオデータを含み、前記グラフィックデータは、前記ビデオデータに関連するものであり、前記オーディオデータ及び前記ビデオデータを、前記ワイファイ表示セッションを通じて第１ストリームで前記他のデバイスに転送し、メタデータと前記グラフィックデータを、前記ワイファイ表示セッションと異なるセッションを通じて第２ストリームで前記他のデバイスに転送するように制御する少なくとも一つのプロセッサと、を含み、
   ここで、前記グラフィックデータと前記ビデオデータは、前記メタデータを用いて前記第２デバイスにより併合され、
   前記メタデータは、前記グラフィックデータと前記ビデオデータを併合するためのタイミング情報を含む、デバイス。
6. 前記少なくとも一つのプロセッサは、前記メタデータと前記グラフィックデータを含むＳＭＩＬ（synchronized multimedia integration language）又はＴＴＭＬ（timed text markup language）ファイルを前記ワイファイ表示セッションと異なるセッションを通じて前記第２ストリームで前記他のデバイスに転送するように制御する、請求項５に記載のデバイス。
7. 無線通信システムにおけるデータを表示するためのデバイスにおいて、
   データを送受信する送受信部と、
   前記デバイスと他のデバイス間のワイファイ表示セッションを設定し、オーディオデータ及びビデオデータを含むメディアコンテンツを前記ワイファイ表示セッションを通じて第１ストリームで前記他のデバイスから受信し、メタデータと前記ビデオデータと関連したグラフィックデータとを、前記ワイファイ表示セッションと異なるセッションを通じて第２ストリームで前記他のデバイスから受信し、
   前記メタデータを用いて前記オーディオデータ及び前記ビデオデータに、前記グラフィックデータを併合して表示する少なくとも一つのプロセッサと、を含み、
   ここで、前記メタデータは、前記グラフィックデータと前記ビデオデータを併合するためのタイミング情報を含む、デバイス。
8. 前記少なくとも一つのプロセッサは、前記メタデータと前記グラフィックデータを含むＳＭＩＬ（synchronized multimedia integration language）又はＴＴＭＬ（timed text markup language）ファイルを前記ワイファイ表示セッションと異なるセッションを通じて前記第２ストリームで前記他のデバイスから受信するように制御する、請求項７に記載のデバイス。

Images