WO2006100843A1 - デバイス切替システム、送信元および配信先デバイス - Google Patents

Abstract

　切替先デバイスが切替元デバイスからメディア出力通知を受け取ると、スイッチ（４０１）は接点Ｂと接続し、拡張メディアバッファ（４０２）に蓄積されているすべての画像データが、先頭フレーム（Ｉフレーム）よりデコーダ（２０１）に入力される。デコーダ（２０１）は、Ｉフレームより復号を行い、再構築画像を再構築画像バッファ（２０２）に保持する。メディアバッファ（２１０８）から出力される動画データを復号するために必要となる再構築画像は再構築画像バッファ（２０２）に保持され、デバイス切替時にメディアバッファ（２１０８）から入力される動画データがイントラフレームであるか否かにかかわらずデコーダ（２０１）は即座に復号を行うことが可能である。

Description

明 細 書

デバイス切替システム、送信元および配信先デバイス

技術分野

[0001] 本発明は、 IPネットワークにおける通信技術およびメディア伝送技術に関する。より 具体的には、本発明は、パーソナルエリアネットワーク（PAN)内の適切なデバイスへ 動画伝送を行う高速デバイス切替における高速画像復号化技術に関する。

背景技術

[0002] 近年、固定網における光ファイバや ADSLに加え、モパイル網においても、 WLA Nやアドホックネットワークと 、つたスポット的な無線技術が普及してきて 、る。「何処 にでも存在するネットワーク」、すなわち、何処にいても、何時でも、どんなものからで もネットワーク接続できるュビキタスネットワーク環境が現実のものになろうとしている。 通信端末の分野においても、ネット家電や公衆構内デュアル端末に代表される多種 多様な能力をもつデバイスが開発されている。このような状況の中で、ュビキタスネッ トワーク環境の多様なアクセスネットワークと多種多様な能力をもつデバイスを自由に 切替えて、利用場所が変わっても利用者が何もすることなく通信可能として継続的に サービスが行える「シームレスサービス」の実現が強く要請されてきて 、る。

[0003] このようなシームレスサービスを実現するための技術として、以下のような 3つのシー ムレス技術が提案されている。その第 1は、 「ネットワークシームレス」と呼ばれる技術 である。「ネットワークシームレス」は、一つのモパイル端末が移動などに伴って異なる ネットワークをシームレスに切替えて通信を継続することを可能とする。この場合のモ パイル端末は、複数のネットワークインターフェースを有し、その移動に応じてァクセ ス網を自由に切替えることができる。なお、この「ネットワークシームレス」は、「ターミナ ノレモビリティ」と呼ばれることもある。

[0004] 2つ目は、「デバイスシームレス」と呼ばれる技術である。「デバイスシームレス」は、 ユーザが利用中の端末をシームレスに切替えて利用することを可能とする。この場合 は、ある端末で利用中のセッションを、別の端末で引き続き継続することができる。こ のように、 「デバイスシームレス」は、セッションを別の端末に移動するため、 「セッショ ンモピリティ」とも呼ばれる。

[0005] 3つ目は、「コンテンツシームレス」と呼ばれる技術である。「コンテンツシームレス」 は、メディアのフォーマットやメディアのタイプなどをシームレスに切替えて利用するこ とを可能とする。「コンテンツシームレス」では、ネットワーク帯域やデバイス能力ある いは周辺環境などに応じて、メディアを切替えて表示 ·再生することが可能である。「 コンテンツシームレス」は、「メディアァダプティブ」（メディア適応）と呼ばれることもある

[0006] これらの 3つの技術は、シームレスサービスを実現する上で極めて重要なものであり 、それぞれの技術に固有の効果を独立に得ることができる。したがって、これらの技 術を単独に用いることのみならず、相互に組み合わせて利用することも可能である。

[0007] ところで、デバイスシームレス技術が適用されるシームレスサービス（以下では、「デ バイス切替」と呼ぶ）の提供が求められる状況としては、次の例がある。たとえば、ュ 一ザが、携帯電話などのモパイル端末を利用してストリーミング映画を視聴しながら 帰宅し、自宅のリビングルームに入り、す力さず大型テレビにディスプレイを切替えて 映画の続きを視聴するなどの場面が考えられる。一般的なモパイル端末のディスプレ ィは、映画の視聴目的のためには小さすぎる。ユーザの場所的移動などに伴って、 サービスが継続できるより好ましいデバイスがユーザ周辺に見出されたような場合に 、サービスの供給先をモパイル端末力 見出されたデバイスに切替えることができれ ば利用価値が極めて高くなる。デバイス切替のこのような利点に鑑みて、これを実現 するための技術開発が従来よりなされてきている。

[0008] 図 14は、デバイス切替の一般的なシステム構成を説明するための図である。図 14 に示す全体システムは、切替元デバイスであるモパイルノード（MN) 2001と、通信 相手である相手先ノード（CN) 2002と、インターネット 2003と、デバイス切替の切替 先デバイスとなりうるプラズマ TV、ステレオ、 PCなどのデバイス群 2004と、 MN2001 とデバイス群 2004によって形成されるパーソナルエリアネットワーク（PAN) 2005と 力も構成される。なお、デバイス群 2004を構成するプラズマ TVやステレオや PCは 単なる例示であり、これらのデバイスに限るものではない。また、 MN2001は、必ずし も携帯性を有するデバイスである必要はなぐデバイス群 2004に含まれるデバイスと 何ら変るものではない。

[0009] MN2001およびデバイス群 2004は、 PAN2005を利用することにより、 PAN内で お互いに自由に通信をすることができる。また、 CN2002と MN2001は、インターネ ット 2003を介して通信を行っている。 CN2002は、例えばストリーミングサーバであり 、 MN2001は、 CN2002から配信される映画をストリーミング受信している。ここで、 MN2001と CN2002との間のネットワークは、必ずしもインターネットである必要はな ぐ例えば、第三世代モパイル通信網（3GPPネットワーク）であってもよい。

[0010] 図 15は、デバイス切替を実現するための MN2001のデバイス内部の構成例を説 明するためのブロック図である。 MN2001は、アプリケーション 2101と、一つ以上の ネットワーク IZF 2102と、表示 ·出力を行う出力部 2103と、ユーザとの iZFとなる 入力部 2104と、オペレーティングシステム 2105と、オペレーティングシステム 2105 を介して外部のデバイス (不図示）と通信を行うメディア送信部 2106と、メディア受信 部 2107と、メディア受信部 2107が受信したメディアデータを保持するためのメディア ノ ッファ 2108と、メディアデータが圧縮されている場合にデータをデコードするため のデコーダ部 2109と、セッションを制御するためのシグナリング部 2110と、図示しな Vヽ外部の切替先デバイスが提供するサービスを発見するためのサービス発見部 211 1と、受信したメディアデータをメディア送信部 2106が切替先デバイスに転送をする ように制御を行うミドルウェア 2112とから構成されて 、る。

[0011] 上述したように、 MN2001はデバイス群 2004のデバイスの一つであると考えること ができ、切替先のデバイスも MN2001と同様の構成を有する。ただし、切替先のデ バイスは、切替元として動作する必要がないときは、アプリケーション 2101、入力部 2 104、メディア送信部 2106を備えない構成とすることができる。

[0012] 図 16は、 MN2001と切替先デバイス群 2004との間のメッセージシーケンスを示す 図であり、図 17は、このメッセージシーケンスを流れ図で示したものである。ここでは、 デバイス群 2004には、 N個（デバイス 1からデバイス N)のデバイスが存在する場合を 仮定している。また、図示はしないが、 MN2001は、 CN2002と別途セッションを保 持している。なお、図 16において「ユーザ」とは、 MN2001を現在使用しているユー ザを意味し、 MN2001内で動作しているアプリケーション 2101の提供するユーザ I ZFを通じて、 MN2001に指示を与えることができる。また、この図の矢印は、始点か ら終点にむけてメッセージが送られて 、ることを示して 、る。

[0013] 図 17に示す各ステップの具体的な処理内容は以下のとおりである。先ず、デバイス 切替を行おうとするユーザは、 MN2001力備えている入力部 2104力ら MN2001に 切替先デバイス表示要求 (U1)を指示する（S2301)。この指示を受けたミドルウェア 2112は、サービス発見部 2111を通じて、サービス発見要求（Ml)を PAN内のデバ イス 1からデバイス Nに一斉に送る（S2302)。切替先デバイスのサービス発見部 211 1がサービス発見要求（Ml)を受けると、 MN2001に対してサービス発見応答（M2) を返信する（S2303)。ここで、サービス発見部 2111が使用するサービス発見プロト コルに特に制限はなぐ例えば、 UPnP (ユニバーサル 'プラグ 'アンド'プレイ）の SS DP (シンプルサービスディスカバリプロトコル）や Blue— toothの SDP、あるいは SL P (サービスロケーションプロトコル）など、既存のプロトコルを利用可能である。

[0014] MN2001( — t^¾ ¾2111«,切替先デバイスからのサービス発見応答（ M2)を受信してミドルウェア 2111に通知する。ミドルウェア 2111は、その通知に基 づ 、てサービス提供可能なデバイス力もなる切替先デバイスリストを生成し、ォペレ 一ティングシステム 2105を介して出力部 2103がユーザに対してそのリストを提示 (U 2)する（S2304)。この切替先デバイスリストの提示を受けたユーザは、表示された切 替先デバイスリストの中から、入力部 2104を通じて切替先デバイスを選択 (U3)し、 上記選択されたデバイスがミドルウェア 2112へと通知される（S2305)。ここでは、「 デバイス 2」が選択されたものと仮定する。

[0015] ミドルウェア 2111は、選択された切替先たる「デバイス 2」と PAN内でセッションを確 立し、メディアの伝送を行うために、シグナリング部 2110を通じてセッション確立'メデ ィァ処理準備要求 (M3)を切替先「デバイス 2」に送信する。これと同時に、メディア受 信部 2107およびメディア送信部 2106に対して、受信したメディアデータを切替先デ バイスに転送する準備を開始するように通知する（S2306)。ここで、シグナリング部 2 110が使用するプロトコルに特に制限はなぐ例えば、 SIP (セッションィニシエーショ ンプロトコル）などの既存のプロトコルを利用可能である。

[0016] 切替先の「デバイス 2」のシグナリング部 2110が、 MN2001からセッション確立'メ ディア処理準備要求を受信すると、ミドルウェア 2112は、メディア受信部 2107、メデ ィァバッファ 2108、およびデコーダ部 2109に対して、メディア処理準備を開始するよ うに指示する。そして、このメディア処理準備が完了すると、ミドルウェア 2112は、シ ダナリング部 2110を通じて、セッション確立'メディア処理準備応答 (M4)を送信する (S2307)。

[0017] MN2001のシグナリング部2110カS、切替先の「デバイス 2」力 セッション確立'メ ディア処理準備応答 (M4)を受信すると、ミドルウェア 2112は、メディア送信部 2106 に対して、メディア受信部 2107が CN2002から受信したメディアデータの伝送 (D1) を開始するように通知する（S2308)。

[0018] 切替先の「デバイス 2」のメディア受信部 2107は、 MN2001によって転送されたメ ディアデータを受信し、メディアバッファ 2108へのバッファリングを開始する。メディア バッファ 2108に一定のデータがバッファリングされた状態になると、ミドルウェア 211 2は、メディアデータが圧縮されている場合には、デコーダ部 2109にデコード動作を 開始するように通知する。デコーダ部 2109は、デコードされたデータを、オペレーテ イングシステム 2105を介して出力部 2103に出力（D2)する（S2309)。なお、デコー ダ部 2109は、メディアデータが非圧縮の場合には、メディアバッファ 2108にバッファ リングされたデータを、オペレーティングシステム 2105を介して出力部 2103に出力 する。

[0019] 上記の各ステップを経て、 MN2001から、切替先として選択された「デバイス 2」へ のデバイス切替を実現することができる。その結果、 MN2001の出力部 2103に出 力されていたメディアデータは、切替先の「デバイス 2」の出力部 2103から出力され るようになる。この一連の切替シーケンスにおいて、ユーザが切替を意図して、 MN2 001に対して切替先デバイス表示要求 (U1)を指示してから、切替先の「デバイス 2」 の出力部 2103にデータが出力される（D2)までの時間力 切替に要する時間となる 。そして、この切替に要する時間が短いほど、ユーザ側が切替に関与する際の待ち 時間が減少し、よりシームレスなサービスの提供が可能となる。

[0020] しかし、上述したような従来技術においては、サービス発見要求 (Ml)力もサービス 発見応答 (M2)を受信するまでに数秒程度の時間を必要とする。さらに、セッション 確立'メディア処理準備要求 (M3)力 セッション確立'メディア処理準備応答 (M4) を受信するまでにも数秒程度の時間が必要である。その結果、切替に要する時間、 すなわちユーザの待ち時間はかなり長いものとなってしまう。このような状況では、例 えば、リアルタイムのサッカーの試合を視聴している場合を想定すると、デバイス切替 に要する時間が原因となってゴールシーンなどのユーザにとって重要な瞬間を見逃 してしまう可能性が生じる。

[0021] そこで、「シームレスサービス実現のためのモパイルマルチメディアミドルウェア」情 報処理学会研究報告（「モノくイルコンピューティングとワイヤレス通信」、 2001年、 No . 18- 35. )には、デバイス切替に要する時間を短縮するための新たな 2つの技術 が開示されている。その第 1の技術は、「サービス発見をあら力じめ周期的に行って おくこと」であり、第 2の技術は「サービス発見の結果得られた全てのデバイスに対し てセッション確立及びメディア処理の準備を先行的に行っておくこと」である。

[0022] 以下に、これらの 2つの技術によって、デバイス切替に要する時間を短縮ィヒ可能で あることについて、図面を参照しながら説明する。なお、「シームレスサービス実現の ためのモパイルマルチメディアミドルウェア」情報処理学会研究報告（「モバイルコン ピューティングとワイヤレス通信」、 2001年、 No. 18- 35. )に開示されている技術 は、 MN2001もしくは切替先デバイスの端末内部の構成は従来の一般的なものと全 く同じであり、ミドルウェア 2112の動作のみが異なる。そこで、従来の一般的な技術 におけるミドルウェア 2112と「シームレスサービス実現のためのモパイルマルチメディ アミドルウェア」情報処理学会研究報告（「モバイルコンピューティングとワイヤレス通 信」、 2001年、 No. 18- 35. )に開示された技術におけるミドルウェアとを区別する ために、後者のミドルウェアを「高速ミドルウェア」と呼ぶことにする。また、従来一般技 術と全く同じ部〖こは、同じ符号を割り当てて図示することとする。

[0023] 図 18、図 19、および図 20はそれぞれ、「シームレスサービス実現のためのモパイル マルチメディアミドルウェア」情報処理学会研究報告（「モノくイルコンピューティングと ワイヤレス通信」、 2001年、 No. 18- 35. )に開示された技術における MN2001と 切替先デバイス群 2004との間でのメッセージシーケンスを示す図（図 18)、このシー ケンスにおける切替元デバイスの動作を示す流れ図（図 19)、および当該シーケンス での切替先デバイスの動作を示す流れ図（図 20)である。ここでも、デバイス群 2004 にはデバイス 1からデバイス Nまでの N個のデバイスが存在しているものと仮定する。 また、図示はしないが、 MN2001は CN2002と別途セッションを保持している。

[0024] 先ず、図 19を参照して切替元デバイスの動作を説明する。切替元デバイスは、 CN 2002とのセッションが継続中であるか否かを判断する（S2501)。継続中でないと判 断された場合 (S2501 : No)、切替元デバイスは、処理を終了させる。継続中と判断 された場合（S2501： Yes)、周囲のデバイス群 2004に対してサービス発見を行うた めに、切替元デバイスの高速ミドルウェア力 サービス発見部 2111を通じて、サービ ス発見要求 (Ml)を、周期的に PAN内のデバイス 1からデバイス Nに一斉に送信す る（S2502)。サービス発見要求を受信した切替先デバイスは、サービス発見応答を 切替元デバイスのサービス発見部 2111へと送信 (返信)する。切替元デバイスは、 切替先デバイス力 受信したサービス発見応答を、サービス発見部 2111から高速ミ ドルウェアへと通知する。高速ミドルウェアは、その通知に基づいて、サービス提供可 能なデバイス力もなる切替先デバイスリストを生成し、内部に保持する（S2503)。な お、既に保持している切替先デバイスリストが存在する際には、高速ミドルウェアは、 生成した切替先デバイスリストによって上書きする。

[0025] 高速ミドルウェアは、切替先デバイスリストに記された切替先候補となるデバイスに 対して、セッションを確立し、メディアの伝送を行うために、シグナリング部 2110を通 じてセッション確立'メディア処理準備要求 (M3)を送信する（S2504)。ここで、切替 先候補となるデバイスは、 n(l≤n≤N)個存在する。また、高速ミドルウェアは、メディ ァ受信部 2107およびメディア送信部 2106に対して、受信したメディアデータを切替 先デバイスに転送する準備を開始するように通知する（S2505)。シグナリング部 211 0が、切替先候補となるデバイス力 セッション確立'メディア処理準備応答を受信す ると、高速ミドルウエアは一定時間待機する（S2506)。そして、高速ミドルウェアが待 機している間にユーザ力も切替先デバイスリストの表示要求 (U1)の指示があるかな いかの判断がなされ (S2507)、当該要求がないと判断された場合（S2507 : No)に は、切替元デバイスは、ステップ S2501に戻って再びサービス発見を行い、以降の 各ステップを繰り返す。一方、当該要求があると判断された場合 (S2507 : Yes)には 、ステップ S2508に移行する。高速ミドルウェアは、内部に保持している切替先デバ イスリストを、出力部 2103を通じてユーザに提示 (U2)する。

[0026] ユーザは、表示された切替先デバイスリストの中から、入力部 2104を通じて切替先 デバイスを選択 (U3)する（S2509)。ここで選択されたデバイスの情報は、オペレー ティングシステム 2105を介して高速ミドルウェアに通知される。なお、本シーケンス図 では、「デバイス 2」が選択されたものと仮定する。

[0027] 高速ミドルウェアは、メディア送信部 2106に対して、メディア受信部 2107が CN20 02から受信したメディアデータの伝送 (D1)を開始するように通知する（S2510)。こ の通知を受けて、メディア送信部 2106は、切替先の「デバイス 2」に対して、メディア データの転送を開始する。そして、高速ミドルウェアは、切替先候補となったデバイス のうち切替先の「デバイス 2」を除いたすべてのデバイスに対して、シグナリング部 21 10を通じて、セッション切断要求（M5)を送信し（S2511)、それらのデバイスカもセ ッシヨン切断応答 (M6)を受信して切替動作を完了する。以上、切替元デバイスの動 作について説明した。

[0028] 次に、図 20を参照して切替先デバイスの動作を説明する。サービス発見要求を受 けた切替先候補となるデバイスのサービス発見部 2111は、サービス発見応答 (M2) を MN2001に送信 (返信)する（S2601)。切替先候補となるデバイスのシグナリング 部 2110は、 MN2001からセッション確立要求およびメディア処理準備要求（図中の 「セッション確立要求」）を受信する（S2602)。セッション確立要求を受信すると、高 速ミドルウェアは、メディア受信部 2107、メディアバッファ 2108、およびデコーダ部 2 109に対して、メディア処理準備を開始するように指示する（S2603)。そして、高速ミ ドルウェアは、メディア処理準備が完了すると、シグナリング部 2110を通じて、切替元 デバイスに対してセッション確立'メディア処理準備応答 (M4)を送信する（S2604)

[0029] メディアデータが転送された場合には、切替先の「デバイス 2」のメディア受信部 21 07は、切替元デバイスによって転送されたメディアデータの受信を開始し（S2605) 、メディアバッファ 2108へのバッファリング（蓄積）を開始する（S2606)。メディアバッ ファ 2108に一定のデータがバッファリングされた状態になると、高速ミドルウェアは、 ノ ッファリングされたメディアデータが非圧縮力否かを判断する（S2607)。高速ミドル ウェアは、メディアデータが非圧縮の場合（S2607 : Yes)、メディアバッファ 2108に バッファリングされたデータを、オペレーティングシステム 2105を介して出力部 2103 に送る。一方、メディアデータが圧縮されている場合（S2607 : No)には、高速ミドル ウェアは、デコーダ部 2109にデコード動作を開始するように通知してデコードが開始 される（S2608)。デコードされたデータは、オペレーティングシステム 2105を介して 出力部 2103へと送られる。そして、出力部 2103は、受信したデータの出力（D2)を 開始し、切替動作を完了する（S2609)。

[0030] 切替先候補となるデバイスのシグナリング部 2110が、切替元デバイスカもセッショ ン切断要求 (M5)を受信した場合、高速ミドルウェアは、メディア受信部 2107、メディ ァバッファ 2108、およびデコーダ部 2109に対してメディア処理準備を終了するよう に指示をしてメディア受信準備を終了する（S2610)。そして、メディア処理準備が終 了すると、高速ミドルウェアは、シグナリング部 2110を通じて、切替元デバイスに対し てセッション切断応答 (M6)を送信して（S2611)、切替動作を終了する。

[0031] 以上のようにして、 「シームレスサービス実現のためのモパイルマルチメディアミドル ウェア」情報処理学会研究報告（「モバイルコンピューティングとワイヤレス通信」、 20 01年、 No. 18- 35. )に開示された技術では、切替元デバイスから切替先デバイス へのデバイス切替が高速に実現可能となる。上記技術の効果を、デバイス切替に要 する時間を短縮するための新たな 2つの技術のそれぞれについて纏めると次のよう になる。

[0032] 第 1の技術 (サービス発見をあら力じめ周期的に行っておくこと）の効果は、サービ ス発見要求 (Ml)から、サービス発見応答 (M2)受信にかかわる動作 (S2502から S 2503および S2601)を、ユーザから切替先デバイス表示要求（S2507)の指示があ る以前に周期的に行っておくことにより、切替時の実質的な動作時間をゼロとするこ とが可能となる。これにより、第 1の技術は、デバイスリストが提示されるまでに必要な 時間を短縮できる。

[0033] 第 2の技術 (サービス発見の結果得られた全てのデバイスに対してセッション確立 及びメディア処理の準備を先行的に行っておくこと）の効果は、セッション確立'メディ ァ処理準備要求 (M3)力 セッション確立'メディア処理準備応答 (M4)の受信にか 力わる動 ί乍（S2504力ら S2506お Jび S2602力ら S2604)を、ユーザ力ら切 #先デ バイス選択 (S2509)の指示がある以前に、サービス発見により得られた切替先候補 となるすべてのデバイスに対して行っておくことにより、切替時の実質的な動作時間 をゼロとすることが可能となる。これにより、第 2の技術は、選択した切替先デバイスで メディアの処理準備が完了するまでに要する時間を短縮できる。

[0034] すなわち、上記 2つの効果の結果として、切替に要する時間、すなわちユーザが切 替を意図して、切替元デバイスに対して切替先デバイス表示要求 (U1)を指示してか ら、切替先デバイスの出力部にデータが出力される（D2)までの時間が大幅に減少 されることとなる。

発明の開示

発明が解決しょうとする課題

[0035] しかしながら、「シームレスサービス実現のためのモパイルマルチメディアミドルゥェ ァ」情報処理学会研究報告（「モバイルコンピューティングとワイヤレス通信」、 2001 年、 No. 18- 35. )に開示されている技術によっても、切替先デバイスでメディアの 受信を開始して力 切替先デバイスの出力部カ^ディアの出力を開始するまでの間（ S2605から S2609)に、数百ミリ秒程度の時間が必要とされる。

[0036] また、フレーム間圧縮を用いた MPEG等の動画データを利用する場合には、上記 の待ち時間は、さらに長くなる。フレーム間圧縮された動画データにおいて、デコー ダ部は、イントラフレームの挿入されている位置からし力復号を開始することができな い。従って、メディアバッファ 2108にデータがバッファリングされているとしても、先頭 フレームがイントラフレームで無い場合には、即座に復号できず、イントラフレームが デコーダ部に入力されるまでの時間をさらに要する。

[0037] この「数百ミリ秒程度の時間」は「数秒程度の時間」に比較すれば大幅な短縮では あるものの、ユーザに完全なシームレスサービスを提供するという観点からは依然とし て「長い待ち時間」であり、更なる短縮化が望まれる。

[0038] 本発明は、このような問題に鑑みてなされたもので、その目的とするところは、フレ ーム間圧縮を用 V、た MPEG等の動画データを利用する場合にも、切替時のフレー ム力 高速に復号することが可能であり、ユーザが知覚できない程高速に（事実上切 替と同時に)デバイス切替を可能とする技術を提供することにある。

課題を解決するための手段

[0039] 本発明は、このような課題を解決するために、以下のような構成を備えたデバイス切 替システムおよび当該システムに用いられる送信元デバイスおよび配信先デバイス を提供する。

[0040] 本発明のデバイス切替システムは、情報元との間でセッションを保持する送信元デ バイスと、この送信元デバイスと通信可能な複数の配信先デバイスとを備え、上記送 信元デバイスは、上記セッションに係るフレーム間圧縮された動画データを上記複数 の配信先デバイスに送信し、上記フレーム間圧縮された動画データは、上記複数の 配信先デバイスの中から選択された配信先デバイスにより受信され、上記送信元デ バイスは、上記選択された配信先デバイスの中から切替先デバイスを決定し、上記切 替先デバイスは、上記切替先デバイスの決定と同時に上記フレーム間圧縮された動 画データを出力する。なお、上記送信元デバイスカゝら選択された上記複数の配信先 デバイスへのフレーム間圧縮された動画データの送信は、マルチキャストもしくはブロ ードキャストにより実行されるようにしてもょ ヽ。

[0041] 本発明のデバイス切替システムが備えて ヽる配信先デバイスは、例えば、外部デバ イスとの間で通信を行うメディア受信部と、このメディア受信部で受信したフレーム間 圧縮された動画データを保持するメディアバッファと、フレーム間圧縮された動画デ 一タを復号するためのデコーダ部と、セッションを制御するためのシグナリング部と、 ネットワークインターフェースと、上記動画データの出力を行う出力部とを備えている

[0042] 配信先デバイスのデコーダ部の第 1の態様は、上記メディアバッファから出力された 上記フレーム間圧縮された動画データを常時復号するデコーダと、上記復号された 再構築画像を保持する再構築画像バッファと、デバイスの切替時に上記出力部へと 上記再構築画像の出力を行うスィッチとを備えている。

[0043] 配信先デバイスのデコーダ部の第 2の態様は、上記メディアバッファから出力された 上記フレーム間圧縮された動画データを複数フレーム分蓄積する拡張メディアバッフ ァと、上記拡張メディアバッファに入力された動画データが Iフレームであるか否かを 判断し上記動画データが Iフレームの場合には蓄積されている複数フレーム分の動 画データを消去して上記入力された Iフレーム力も蓄積を行うように制御する Iフレー ムカウンタと、上記デバイスの切替時に、上記拡張メディアバッファに蓄積された複数 フレームの動画データを Iフレーム力 順に復号した後に、上記メディアバッファから 出力される上記デバイス切替後の動画データの復号を行うデコーダと、復号された 再構築画像を保持する再構築画像バッファと、上記拡張メディアバッファに蓄積され た複数フレームの動画データを復号した後に上記出力部へと再構築画像を出力す るスィッチとを備えて 、る。

[0044] 配信先デバイスのデコーダ部の第 3の態様は、上記デバイスの切替時に上記メディ ァ受信部カゝら送られたイントラ符号ィ匕画像を復号した後に上記メディアバッファから 出力される動画データの復号を行うデコーダと、上記復号された再構築画像を保持 する再構築画像バッファと、上記メディア受信部から送られたイントラ符号化画像を復 号した後に上記出力部へ再構築画像を出力するスィッチとを備えている。なお、上記 メディア受信部は、上記シグナリング部を介して通知された送信元デバイスからのメ ディア出力通知に基づいて、上記メディア出力通知のペイロードに付加されたイント ラ符号ィ匕画像を取り出して上記デコーダ部に送信する。

[0045] 配信先デバイスのデコーダ部の第 4の態様は、動画データを蓄積する拡張メディア バッファと、上記メディアバッファから出力される動画データ力 フレームであるか否か を判断し上記動画データが Iフレームの場合には上記拡張メディアバッファに蓄積さ れている Iフレームを消去して上記出力された動画データの Iフレームの蓄積を行うよ うに上記拡張メディアバッファを制御する Iフレームカウンタと、上記デバイスの切替時 に、上記拡張メディアバッファに蓄積されている Iフレームの復号につづいて上記メデ ィァ受信部から送られたインター符号ィ匕画像を復号した後に、上記メディアバッファ 力 出力される上記デバイス切替後の動画データの復号を行うデコーダと、上記復 号された再構築画像を保持する再構築画像バッファと、上記メディア受信部から送ら れたインター符号ィ匕画像を復号した後に上記出力部へ再構築画像を出力するスイツ チを備えており、この態様において、上記メディア受信部は、上記シグナリング部を介 して通知された送信元デバイスからのメディア出力通知に基づいて、上記メディア出 力通知のペイロードに付加されたインター符号ィ匕画像を取得して上記デコーダ部に 送信するようにしてもよ ヽ。

[0046] 本発明のデバイス切替システムが備えている送信元デバイスは、例えば、アプリケ ーシヨンと、ネットワークインターフェースと、メディア出力を行う出力部と、ユーザ端末 としての入力部と、外部デバイスとの送受信を行うメディア送信部およびメディア受信 部と、上記メディア受信部が受信したフレーム間圧縮された動画データを保持するた めのメディアバッファと、上記フレーム間圧縮された動画データを復号するためのデ コーダ部と、上記デコーダ部が復号した再構築画像を符号化するエンコーダ部と、セ ッシヨンを制御するためのシグナリング部と、外部デバイスが提供するサービスを発見 するためのサービス発見部とを備え、上記メディア送信部は、上記サービス発見部の 応答に基づ 、て配信先デバイスを選択し、情報元力 受信した上記フレーム間圧縮 された動画データを上記選択された配信先デバイスへと転送を行う。

[0047] 送信元デバイスのエンコーダ部の第 1の態様は、上記デコーダ部が復号した再構 築画像を上書き更新して保持する再構築画像バッファと、デバイスの切替時に上記 再構築画像バッファに保持されている再構築画像をイントラ符号ィ匕するイントラ符号 化エンコーダとを備えており、この態様において、上記メディア送信部は、上記メディ ァ出力通知を切替先デバイスに通知する際に、上記エンコーダ部が生成したイントラ 符号ィ匕画像を上記メディア出力通知のペイロードに付加して送信するようにしてもよ い。

[0048] 送信元デバイスのエンコーダ部の第 2の態様は、上記デコーダ部が復号した再構 築画像を上書き更新して保持する再構築画像バッファと、上記再構築画像が上記デ コーダ部で復号される際に Iフレームであった力否かを判断する Iフレーム検出器と、 上記 Iフレーム検出器により Iフレームであると判断された場合に上記再構築画像を参 照画像として上書き更新して保持する第 2の再構築画像バッファと、デバイスの切替 時に、上記第 2の再構築画像バッファに保持されている参照画像を用いて上記再構 築画像バッファに保持されている再構築画像をインター符号化するインター符号ィ匕 エンコーダとを備えており、この態様において、上記メディア送信部は、上記メディア 出力通知を切替先デバイスに通知する際に、上記ェンコーダ部が生成したインター 符号ィ匕画像を上記メディア出力通知のペイロードに付加して送信するようにしてもよ い。

[0049] なお、以下に説明するように、本発明には他の態様が存在する。したがって、この 発明の開示は、本発明の一部の態様の提供を意図しており、ここで既述され請求さ れる発明の範囲を制限することは意図していない。

発明の効果

[0050] 本発明によれば、フレーム間圧縮を用いた MPEG等の動画データを利用する場合 にも、切替時のフレームから高速に復号することが可能であり、ユーザが知覚できな Vヽ程高速にデバイス切替を実現する技術が提供される。

図面の簡単な説明

[0051] [図 1]図 1は、実施例 1における、切替元デバイスと切替先デバイス群間でのメッセ一 ジに関するシーケンスを示す図

[図 2]図 2は、実施例 1における、切替元デバイスの動作を示す流れ図

[図 3]図 3は、実施例 1における、切替先デバイスの動作を示す流れ図

[図 4]図 4は、実施例 2の高速デバイス切替システムが備えている切替先デバイスの 内部の構成を示す図

[図 5]図 5は、実施例 2のデコーダ部の内部の構成を示す図

[図 6]図 6は、実施例 1の切替先デバイスにおけるフレーム間圧縮動画の復号の仕方 を説明するための図

[図 7]図 7は、実施例 3のデコーダ部の内部の構成を示す図

[図 8]図 8は、実施例 4の切替元端末の構成を示す図

[図 9]図 9は、実施例 4の第 1の実施態様でのエンコーダ部の内部の構成を示す図 [図 10]図 10は、実施例 4の切替先デバイスの構成を説明するための図

[図 11]図 11は、実施例 4の第 1の実施態様でのデコーダ部の内部の構成を示す図 [図 12]図 12は、実施例 4の第 2の実施態様における切替元デバイスのエンコーダ部 の内部構成を示す図

[図 13]図 13は、実施例 4の第 2の実施態様の切替先デバイスのデコーダ部の内部の 構成を示す図

[図 14]図 14は、従来のデバイス切替の一般的なシステム構成を説明するための図 [図 15]図 15は、デバイス切替を実現するためのモパイルノード（MN)のデバイス内 部の構成例を説明するためのブロック図

[図 16]図 16は、モパイルノードと切替先デバイス群との間のメッセージシーケンスを 示す図

[図 17]図 17は、図 16に示したメッセージシーケンスの流れ図

[図 18]図 18は、「シームレスサービス実現のためのモパイルマルチメディアミドルゥェ ァ」情報処理学会研究報告（「モバイルコンピューティングとワイヤレス通信」、 2001 年、 No. 18- 35. )に開示された技術における、モノィルノードと切替先デバイス群 との間でのメッセージシーケンスを示す図

[図 19]図 19は、「シームレスサービス実現のためのモパイルマルチメディアミドルゥェ ァ」情報処理学会研究報告（「モバイルコンピューティングとワイヤレス通信」、 2001 年、 No. 18- 35. )に開示された技術のシーケンスでの、切替元デバイスの動作を 示す流れ図

[図 20]図 20は、「シームレスサービス実現のためのモパイルマルチメディアミドルゥェ ァ」情報処理学会研究報告（「モバイルコンピューティングとワイヤレス通信」、 2001 年、 No. 18- 35. )に開示された技術のシーケンスでの、切替先デバイスの動作を 示す流れ図

発明を実施するための最良の形態

[0052] 以下に、本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面 は発明を限定するものではない。代わりに、発明の詳細な説明は添付の特許請求の 範囲により規定される。

[0053] 本実施の形態のデバイス切替システムは、情報元との間でセッションを保持する送 信元デバイスと、この送信元デバイスと通信可能な複数の配信先デバイスとを備え、 上記送信元デバイスは、上記セッションに係るフレーム間圧縮された動画データを上 記複数の配信先デバイスに送信し、上記フレーム間圧縮された動画データは、上記 複数の配信先デバイスの中から選択された配信先デバイスにより受信され、上記送 信元デバイスは、上記選択された配信先デバイスの中から切替先デバイスを決定し、 上記切替先デバイスは、上記切替先デバイスの決定と同時に上記フレーム間圧縮さ れた動画データを出力する。なお、上記送信元デバイスから選択された上記複数の 配信先デバイスへのフレーム間圧縮された動画データの送信は、マルチキャストもし くはブロードキャストにより実行されるようにしてもよ!ヽ。

[0054] 力かる構成とすることにより、ユーザ力 の切替先デバイス選択の指示に先立って、 送信元デバイスがマルチキャストもしくはブロードキャストにより情報元とのセッション に係るメディアデータの伝送を行 ヽ、切替先の候補となる配信先デバイスが伝送され たメディアを蓄積しておくこととなる。これにより、ユーザの切替先デバイス選択によつ て決定される配信先デバイスは、予め蓄積してぉ 、たメディアデータを瞬時に出力す ることが可能となるので、デバイス切替が極めて高速化される。「切替遅延」は、ユー ザに事実上知覚されることはなくなり、シームレスサービスの質の向上を図ることが可 能となる。

[0055] 本実施の形態のデバイス切替システムが備えて ヽる配信先デバイスは、例えば、外 部デバイスとの間で通信を行うメディア受信部と、このメディア受信部で受信したフレ ーム間圧縮された動画データを保持するメディアバッファと、フレーム間圧縮された 動画データを復号するためのデコーダ部と、セッションを制御するためのシグナリング 部と、ネットワークインターフェースと、上記動画データの出力を行う出力部とを備え ている。

[0056] 力かる構成とすることにより、ユーザの切替先デバイス選択によって決定される配信 先デバイスは、予めメディアバッファに蓄積しておいたメディアデータを瞬時に出力 することが可能となる。

[0057] 配信先デバイスのデコーダ部の第 1の態様は、上記メディアバッファから出力された 上記フレーム間圧縮された動画データを常時復号するデコーダと、上記復号された 再構築画像を保持する再構築画像バッファと、デバイスの切替時に上記出力部へと 上記再構築画像の出力を行うスィッチとを備えている。

[0058] 配信先デバイスのデコーダ部の第 2の態様は、上記メディアバッファから出力された 上記フレーム間圧縮された動画データを複数フレーム分蓄積する拡張メディアバッフ ァと、上記拡張メディアバッファに入力された動画データが Iフレームであるか否かを 判断し上記動画データが Iフレームの場合には蓄積されている複数フレーム分の動 画データを消去して上記入力された Iフレーム力も蓄積を行うように制御する Iフレー ムカウンタと、上記デバイスの切替時に、上記拡張メディアバッファに蓄積された複数 フレームの動画データを Iフレーム力 順に復号した後に、上記メディアバッファから 出力される上記デバイス切替後の動画データの復号を行うデコーダと、復号された 再構築画像を保持する再構築画像バッファと、上記拡張メディアバッファに蓄積され た複数フレームの動画データを復号した後に上記出力部へと再構築画像を出力す るスィッチとを備えて 、る。

[0059] 配信先デバイスのデコーダ部の第 3の態様は、上記デバイスの切替時に上記メディ ァ受信部カゝら送られたイントラ符号ィ匕画像を復号した後に上記メディアバッファから 出力される動画データの復号を行うデコーダと、上記復号された再構築画像を保持 する再構築画像バッファと、上記メディア受信部から送られたイントラ符号化画像を復 号した後に上記出力部へ再構築画像を出力するスィッチとを備えている。なお、上記 メディア受信部は、上記シグナリング部を介して通知された送信元デバイスからのメ ディア出力通知に基づいて、上記メディア出力通知のペイロードに付加されたイント ラ符号ィ匕画像を取り出して上記デコーダ部に送信する。

[0060] 配信先デバイスのデコーダ部の第 4の態様は、動画データを蓄積する拡張メディア バッファと、上記メディアバッファから出力される動画データ力 フレームであるか否か を判断し上記動画データが Iフレームの場合には上記拡張メディアバッファに蓄積さ れている Iフレームを消去して上記出力された動画データの Iフレームの蓄積を行うよ うに上記拡張メディアバッファを制御する Iフレームカウンタと、上記デバイスの切替時 に、上記拡張メディアバッファに蓄積されている Iフレームの復号につづいて上記メデ ィァ受信部から送られたインター符号ィ匕画像を復号した後に、上記メディアバッファ 力 出力される上記デバイス切替後の動画データの復号を行うデコーダと、上記復 号された再構築画像を保持する再構築画像バッファと、上記メディア受信部から送ら れたインター符号ィ匕画像を復号した後に上記出力部へ再構築画像を出力するスイツ チを備えており、この態様において、上記メディア受信部は、上記シグナリング部を介 して通知された送信元デバイスからのメディア出力通知に基づいて、上記メディア出 力通知のペイロードに付加されたインター符号ィ匕画像を取得して上記デコーダ部に 送信するようにしてもよ ヽ。

[0061] これらのデコーダ部の構成とすることにより、メディアバッファから出力される画像デ 一タを復号するために必要となる再構築画像は、常に再構築画像バッファに保持さ れていることになるため、デバイス切替時にメディアバッファ力も入力される動画デー タがイントラフレームである力否かにかかわらず、デコーダは即座に復号を行うことが できる。また、配信先デバイスは、送信元デバイスからメディア出力通知を受け取ると 、スィッチがオンとなりデコーダによって復号された再構築画像は出力部に送られて 出力部によって表示される。これにより、配信先デバイスは、メディアバッファの先頭 のフレーム力 復号することが可能となる。フレーム間圧縮を用いた MPEG等の動画 データを利用する場合にも、切替時のフレームから高速に復号することが可能であり 、ユーザが知覚できな 、程高速にデバイス切替を行える効果が得られる。

[0062] 本実施の形態のデバイス切替システムが備えて ヽる送信元デバイスは、例えば、ァ プリケーシヨンと、ネットワークインターフェースと、メディア出力を行う出力部と、ユー ザ端末としての入力部と、外部デバイスとの送受信を行うメディア送信部およびメディ ァ受信部と、上記メディア受信部が受信したフレーム間圧縮された動画データを保持 するためのメディアバッファと、上記フレーム間圧縮された動画データを復号するた めのデコーダ部と、上記デコーダ部が復号した再構築画像を符号化するエンコーダ 部と、セッションを制御するためのシグナリング部と、外部デバイスが提供するサービ スを発見するためのサービス発見部とを備え、上記メディア送信部は、上記サービス 発見部の応答に基づ 、て配信先デバイスを選択し、情報元力 受信した上記フレー ム間圧縮された動画データを上記選択された配信先デバイスへと転送を行う。

[0063] 送信元デバイスのエンコーダ部の第 1の態様は、上記デコーダ部が復号した再構 築画像を上書き更新して保持する再構築画像バッファと、デバイスの切替時に上記 再構築画像バッファに保持されている再構築画像をイントラ符号ィ匕するイントラ符号 化エンコーダとを備えており、この態様において、上記メディア送信部は、上記メディ ァ出力通知を切替先デバイスに通知する際に、上記エンコーダ部が生成したイントラ 符号ィ匕画像を上記メディア出力通知のペイロードに付加して送信するようにしてもよ い。

[0064] 送信元デバイスのエンコーダ部の第 2の態様は、上記デコーダ部が復号した再構 築画像を上書き更新して保持する再構築画像バッファと、上記再構築画像が上記デ コーダ部で復号される際に Iフレームであった力否かを判断する Iフレーム検出器と、 上記 Iフレーム検出器により Iフレームであると判断された場合に上記再構築画像を参 照画像として上書き更新して保持する第 2の再構築画像バッファと、デバイスの切替 時に、上記第 2の再構築画像バッファに保持されている参照画像を用いて上記再構 築画像バッファに保持されている再構築画像をインター符号化するインター符号ィ匕 エンコーダとを備えており、この態様において、上記メディア送信部は、上記メディア 出力通知を切替先デバイスに通知する際に、上記ェンコーダ部が生成したインター 符号ィ匕画像を上記メディア出力通知のペイロードに付加して送信するようにしてもよ い。

[0065] これらのエンコーダ部の構成とすることにより、切替先デバイスのメディアノ ッファか ら出力される画像データを復号するために必要となる再構築画像を符号化して切替 先デバイスに送信することが可能となる。これにより、切替先デバイスは、メディアバッ ファの先頭のフレーム力 復号することが可能となる。フレーム間圧縮を用いた MPE G等の動画データを利用する場合にも、切替時のフレーム力 高速に復号することが 可能であり、ユーザが知覚できない程高速にデバイス切替を行える効果が得られる。

[0066] 以下、本発明の実施の形態について、図面を用いて説明する。

実施例 1

[0067] 本実施例の高速デバイス切替システムにおいては、ユーザからの切替先デバイス 選択の指示に先立って、切替元デバイス (送信元デバイス）がマルチキャストもしくは ブロードキャストにより通信相手とのセッションに係るメディアデータの伝送を行い、切 替先の候補となるデバイス (配信先デバイス）は伝送されたメディアデータの受信を行 つてメディアバッファにメディアを蓄積しておく。このような構成とすると、ユーザの切 替先デバイス選択によって決定される切替先デバイスは予めメディアバッファに蓄積 しておいたメディアデータを瞬時に出力することが可能となるので、デバイス切替が 極めて高速化される。このような高速なデバイス切替がなされると、「切替遅延」はュ 一ザに事実上知覚されることはなくなり、シームレスサービスの質の向上を図ることが 可能となる。以下に、図面により当該高速デバイス切替の時間短縮について説明す る。

[0068] 図 1、図 2、および図 3はそれぞれ、切替元デバイスと切替先デバイス群間でのメッ セージに関するシーケンスを示す図（図 1)、切替元デバイスの動作を示す流れ図（ 図 2)、および切替先デバイスの動作を示す流れ図（図 3)である。ここで、デバイス群 として、デバイス 1からデバイス Nまでの N個のデバイスが存在しているものと仮定す る。また、図示はしないが、切替元デバイスは、 CNと別途セッションを保持している。 この高速デバイス切替システムは、既に説明した「シームレスサービス実現のための モノくィルマルチメディアミドルウェア」情報処理学会研究報告（「モバイルコンピューテ イングとワイヤレス通信」、 2001年、 No. 18- 35. )に開示される技術の上述した問 題点を改善するシステムである。本実施の形態の高速デバイス切替システムが従来 の切替元デバイスおよび切替先デバイスと比較した場合に相違する構成要素は、高 速ミドルウェアとメディアバッファ 2108とメディア送信部 2106とシグナリング部 2110 の 4つの構成要素であり、これらの構成要素が従来のものとは異なる動作を行う。

[0069] まず、切替元デバイスの動作について、図 2を参照しながら説明する。図 2に示す 動作のうち、図 19を用いて説明済みの動作については、重複しての説明は省略する

[0070] 切替元デバイスは、 CN2002とのセッションが継続中であるか否かを判断（S2801 )、サービス発見要求 (Ml)を周期的に PAN内のデバイス 1からデバイス Nに一斉に 送信し (S2802)、切替先デバイスカゝら受信したサービス発見応答に基づいてデバイ スリストを生成する（S2803)までの動作 ίま、図 19に示すステップ S2501〜S2503に 対応する。

[0071] 図 2に示す流れ図において、高速ミドルゥヱァは、切替先候補となるデバイスが当 該デバイスのメディアバッファを制御することができるように、メディアバッファ 2108内 部の図示しないバッファ制御部を通じて、バッファ制御情報を生成する（S2804)。高 速ミドルウェアは、切替先デバイスリストに記されたデバイスに対して、セッションを確 立し、メディアデータの伝送を行うために、シグナリング部 2110を通じてセッション確 立'メディア処理準備要求 (Μ3' )を切替先候補となるデバイスに送信する（S2805) 。ここで、切替先候補となるデバイスは、 η(1≤η≤Ν)個存在する。このとき、メディア 処理準備要求（Μ3，）メッセージのペイロードに、ノ ッファ制御部が生成したバッファ 制御情報を付加する。ただし、ノ ッファ制御情報を付加する位置は、ペイロードに限 らず、ヘッダーに付カ卩してもよい。

[0072] また、同時に、メディア受信部 2107およびメディア送信部 2106に対して、受信した メディアデータおよびメディアバッファ 2108に蓄積されているメディアデータを切替 先候補となるデバイスに転送する準備を開始するように通知する（S2806)。シグナリ ング部 2110が、切替先候補となるデバイス力もセッション確立'メディア処理準備応 答を受信すると（S2807)、高速ミドルウェアは、メディア送信部 2106に対して、メディ ァ受信部 2107が CN2002から受信したメディアデータの伝送 (D1 ' )を開始するよう に通知する（S2808)。ここでは、メディア送信部 2106は、マルチキャストもしくはブロ ードキャストにより、切替先デバイスリストに記された切替先候補となるデバイスに対し て、メディアデータの転送を開始し、高速ミドルウェアは、一定時間待機する。

[0073] 高速ミドルウェアが待機して 、る間にユーザ力 切替先デバイスリストの表示要求（ U1)の指示があるかないかの判断がなされる（S2809)。ユーザから切替先デバイス リストの表示要求ありと判断された場合（S2809 : Yes)には、ステップ S2810および ステップ S2811 (図 19のステップ S2508とステップ S2509に対応）を経て、高速ミド ルウェアは、切替先として選択された切替先の「デバイス 2」力 Sメディア出力を開始す るために、シグナリング部 2110を通じて、切替先の「デバイス 2」に対してメディア出 力通知（M7)を送信する（S2812)。このステップでは、高速ミドルウェアは、バッファ 制御部が生成したメディアバッファ 2108のメディアデータ状況をメディア出力通知（ M7)のペイロードに付加する。ただし、メディアデータ状況の付加は、ペイロードに限 つたものである必要はなぐヘッダーに対して付カ卩してもよい。次に、高速ミドルウェア は、切替先候補となったデバイスのうち切替先の「デバイス 2」を除 、たすベてのデバ イスに対して、シグナリング部 2110を通じて、セッション切断要求 (M5)を送信し (S2 813)、それらのデバイスカゝらセッション切断応答 (M6)を受信して切替動作を完了 する。

[0074] 次に、切替先デバイスの動作について図 3を参照しながら説明するが、図 3に示す 動作のうち、図 20を用いて説明済みの動作については、重複しての説明は省略する

[0075] 図 3に示す流れ図において、 サービス発見要求を受けた切替先候補となるデバィ スのサービス発見部 2111は、サービス発見応答 (M2)を MN2001に送信 (返信)す る（S2901)。切替先候補となるデバイスのシグナリング部 2110は、 MN2001からセ ッシヨン確立要求およびメディア処理準備要求（図中の「セッション確立要求」）を受信 する（S2902)。ここまでの動作は、図 20に示すステップ S 2601およびステップ S 26 02に対応する。

[0076] 切替先候補となるデバイスのシグナリング部 2110が、切替元デバイスカもセッショ ン確立'メディア処理準備要求を受信すると、メッセージからバッファ制御情報を取り 出し、高速ミドルウェアに送る（S2903)。切替先候補となるデバイスは、メディア処理 準備が完了すると、図 20に示すステップ S2604と同様に、切替元デバイスに対して セッション確立'メディア処理準備応答 (M4)を送信する（S2904)。

[0077] 切替先候補となるデバイスのメディア受信部 2107は、切替元デバイスがマルチキ ャストもしくはブロードキャストによって転送しているメディアデータを受信し（S2905) 、メディアバッファ 2108へのバッファリングを開始する（S2906)。ステップ S2906に おいて高速ミドルウェアは、ノッファ制御情報をメディアバッファ 2108内部の図示し ないバッファ制御部に送り、ノ ッファ制御部は、その情報を利用してメディアバッファ 2 108が切替元デバイスのメディアバッファと同じ状態になるように制御する。

[0078] 切替先候補となるデバイスの高速ミドルウェアは、シグナリング部 2110を通じて切 替元デバイスによって送信された通知を受信すると、受信した通知の内容を判断し（ S2907)、通知内容に応じた処理を行う。高速ミドルウェアは、メディア出力通知（M7 )を受信した場合には、切替先デバイスとして選択されたことを知り、切替先デバイス としての処理を進める。そして、高速ミドルウェアは、メディア出力通知（M7)に付加さ れたメディアデータ状況をバッファ制御部に送り、ノ ッファ制御部は、その情報を利 用して、メディアバッファ 2108が切替元デバイスのメディアバッファと同じ状態になる ように制御する。その後、高速ミドルウェア力 ノ ッファリングされたメディアデータが 非圧縮か否かを判断し (S2908)、一方、メディアデータが圧縮されている場合 (S29 08 : No)には、高速ミドルウエアは、デコーダ部 2109にデコード動作を開始するよう に通知してデコードして（S2909)、圧縮されていない場合には（S2909 :Yes)、そ のまま、オペレーティングシステム 2105を介して出力部 2103に送る動作は、図 20に 示すステップ S2607〜ステップ S2609に対応する。

[0079] 切替先候補となるデバイスのシグナリング部 2110が、切替元デバイスによって送信 されたセッション切断要求 (M5)を受信した場合には、高速ミドルゥヱァは、メディア 受信部 2107に対してメディアの受信を終了するように指示する。また、メディアバッフ ァ 2108、デコーダ部 2109に対してメディア処理準備を終了するように指示をする（S 2911)。高速ミドルウェアは、セッションの切断応答を切替元デバイスに送信する（S 2902)。

[0080] 以上のようにして、本実施例の高速デバイス切替システムの切替元デバイスおよび 切替先デバイスは、ユーザが切替遅延を事実上知覚できないほどに高速なデバイス 切替を実現することができる。

実施例 2

[0081] 以降の実施例では、フレーム間圧縮された動画データを高速に切替えることのでき る高速デバイス切替システムにつ 、て説明する。フレーム間圧縮された動画データ は、一連のフレームシーケンスの中で任意のタイミング（例えば 30フレームに一枚な ど）で挿入されるフレーム内圧縮されたフレーム、すなわちイントラフレーム以外のフ レーム力 復号することができないという特性を有する。以降の実施例では、フレーム 間圧縮を用いた MPEG等の動画データを利用する場合に、デバイスの切替えタイミ ングと、イントラフレームの受信タイミングが異なっても、即座に復号を開始することを 可能とした高速デバイス切替システムについて説明する。これにより、ユーザが知覚 できない程高速にデバイス切替を実現するものである。

[0082] 本実施例の高速デバイス切替システムの基本構成は、既に図 14で示した構成と全 く同じであるが、デバイス群 2004を構成する切替先端末の内部の構成および動作 が異なる。より具体的には、従来の高速デバイス切替システムの切替先デバイスのデ コーダ部 2109の内部構成及び動作が異なる。これにより、フレーム間圧縮を用いた MPEG等の動画データを利用する場合にも、切替時のフレーム力 高速に復号する ことを可能とし、ユーザが知覚できない程高速にデバイス切替を実現する。以下で、 切替先デバイスの内部の構成および動作について詳細に説明する。

[0083] 図 4は、本実施例の高速デバイス切替システムが備えて ヽる切替先デバイスの内部 の構成図を示す。この図において、図 15に示した従来のデバイスと同じ構成要素に 対しては、同一の符号を付与している。図 15の従来のデバイスは、切替先デバイス だけでなぐ切替元デバイスとしても動作できる構成であるが、本実施例では、切替 先デバイスの機能に限定し、切替先デバイスとして動作する上で必要のないアプリケ ーシヨン 2101、入力部 2104、メディア送信部 2106を具備しない構成である。本実 施例の切替先デバイスでは、デコーダ部 101が従来とは異なる構成要素である。

[0084] 図 5は、本実施例のデコーダ部 101の内部の構成を示す図である。デコーダ部 10 1は、動画データを復号ィ匕するためのデコーダ 201と、復号した再構築画像を後続の 動画データの復号ィ匕のために保持する再構築画像バッファ 202と、デコーダ 201が 復号した再構築画像がデコーダ部 101から流出し、出力部 2103で表示されないよう に制御するスィッチ 203とから構成される。理解の容易のために、デコーダ部 101の 内部の動作を説明する前に、実施例 2の高速デバイス切替システムの切替先デバイ スにおけるフレーム間圧縮されている動画データの復号の仕方について説明する。

[0085] 図 6は、図 15に示す従来のデコーダ部 2109の内部構成を示す図である。この図 6 に示す構成と対比して、実施例 2の切替先デバイスにおけるフレーム間圧縮動画の 復号の仕方を説明する。

[0086] 図 6に示すデコーダ部 2109は、メディアバッファ 2108とデコーダ部 2109とからな る。メディアバッファ 2108には、動画データ（7〜12)が蓄積されている。メディアバッ ファ 2108内部の動画データには説明のために番号が付され、ここでは圧縮された画 像フレーム番号とする。すなわち、フレーム 7からフレーム 12までが順番に蓄積され ている。

[0087] メディアバッファ 2108は、 FIFO (ファーストイン 'ファーストアウト）で制御され、新し い画像フレームが到着すると最も古いデータであるフレーム 7が出力される。デコー ダ部 2109は、デコーダ 201、再構築画像バッファ 202、スィッチ 203と力 構成され 、それぞれ図 5に示される本実施例で使用されるものと同一である。スィッチ 203がォ ン状態にあると、画像データはデコーダ 201に入力され復号が行われる。復号された 再構築画像は、表示のためにデコーダ部 2109外部へ出力されると同時に、再構築 画像バッファ 202に保持される。

[0088] イントラフレーム以外のフレーム間圧縮された画像データを復号する際、当該復号 化しようとするフレームの前のフレームを復号した再構築画像が必要になる。図 6に おいて、メディアバッファ 2108のフレーム 7がイントラフレームでない場合、フレーム 7 を復号するためには、フレーム 6の再構築画像を利用する必要がある。フレーム 7が イントラフレームである場合は、再構築画像を必要とせず、フレーム 7のみから直接復 号を行うことができる。

[0089] 実施例 2の高速デバイス切替システムでは、切替先デバイスが切替元デバイスから メディア出力通知（M7)を受け取ると、スィッチ 203がオンとなり復号が開始される（図 3のステップ S2909)。このとき、再構築画像バッファ 202には、再構築された画像は 保持されておらず、上述したようにフレーム 7がイントラフレームでない場合は、後続 のイントラフレームがデコーダ 201に入力されるまで画像データの復号は行われず、 それまでの画像データはデコーダ 201によって破棄される。

[0090] 次に、再び図 5を参照して本実施例のデコーダ部 101の内部の動作を説明する。

本実施例では、メディアバッファ 2108の出力は、常にデコーダ 201に入力される。デ コーダ 201はイントラフレームが入力された後、復号を開始し、復号により得られた再 構築画像を再構築画像バッファ 202に保持する。次のインターフレーム (イントラフレ ーム以外のフレーム）が入力されると、再構築画像バッファ 202に保持された再構築 画像を用いて、当該インターフレームを復号し、復号により得られた新たな再構築画 像を再構築画像バッファ 202に保持する。このとき前に保持されていた再構築画像を 上書きする。

[0091] このような動作により、メディアバッファ 2108から出力される画像データを復号する ために必要となる再構築画像は、常に再構築画像バッファ 202に保持されていること になる。従って、デバイス切替時にメディアバッファ 2108から入力される動画データ 力 Sイントラフレームであるか否かにかかわらず、デコーダ 201は、即座に復号を行うこ とができる。一方で、本実施例の切替先デバイスが切替元デバイスからメディア出力 通知（M7)を受け取ると、スィッチ 203がオンとなりデコーダ 201によって復号された 再構築画像は、オペレーティングシステム 2105を介して出力部 2103に送られ、出 力部 2103によって表示される。

[0092] 以上のようにして、本発明の高速デバイス切替システムが備えて 、る切替先デバイ スは、フレーム間圧縮を用いた MPEG等の動画データを利用する場合にも、切替時 のフレーム力 復号することが可能であり、ユーザが知覚できない程高速にデバイス 切替を実現することが可能となる。

実施例 3

[0093] 本実施例の高速デバイス切替システムの基本構成も図 14で示したものと全く同じ であるが、デバイス群 2004を構成する切替先端末の内部の構成および動作が異な る。本実施例も、フレーム間圧縮を用いた MPEG等の動画データを利用する場合に 切替時のフレーム力 高速に復号することを可能とし、ユーザが知覚できな 、程高速 にデバイス切替を実現するものである。なお、本実施例においては、実施例 2のシス テムが備えている切替先デバイスのデコーダ部 101の内部構成および動作が異なる

[0094] 図 7は、本実施例のデコーダ部 101の内部の構成を示す図である。図 7において、 図 5に示した実施例 2のデコーダ部 101と同じ構成要素に対しては、同一の符号を付 与している。本実施例のデコーダ部 101は、複数フレーム分の動画データを蓄積す るための拡張メディアバッファ 402と、動画データのフレームタイプを認識して Iフレー ム (イントラフレームと同義）が拡張メディアバッファ 402に入力されるとバッファをリセ ットする Iフレームカウンタ 403と、接点 Aもしくは接点 Bと接続又は非接続の 3つの状 態を取り得るスィッチ 401と、動画を復号ィ匕するためのデコーダ 201と、復号化した再 構築画像を後続のフレームの復号ィ匕のために保持する再構築画像バッファ 202と、 デコーダ 201が復号した再構築画像がデコーダ部 101から流出して出力部 2103で 表示されな 、ように制御するスィッチ 203とから構成されて 、る。

[0095] 次に、本実施例のデコーダ部 101の内部の動作を説明する。本実施例では、メディ ァバッファ 2108の出力は、常に拡張メディアバッファ 402に入力されており、拡張メ ディアバッファ 402は、 FIFO制御方式で画像データを蓄積する。 Iフレームカウンタ 4 03は、拡張メディアバッファに入力される画像データのフレームタイプを監視し、 Iフ レームが拡張メディアバッファ 402に入力される際にバッファをリセットする。すなわち 、拡張メディアバッファ 402には常に Iフレームが含まれ、かつ Iフレームが先頭 (最初 に出力されるフレーム）になるように画像データは蓄積される。スィッチ 401の接点 A は、メディアバッファ 2108に接続され、接点 Bは拡張メディアバッファ 402と接続され ている。デバイス切替が発生するまでは、スィッチ 401は、接点 A、接点 Bのどちらとも 接続されていない。すなわち、デコーダ 201にはデータは入力されないので、実施例 2のシステムとは異なり、デコーダ 201は動作しない。

[0096] 本実施例の切替先デバイスが切替元デバイス力 メディア出力通知（M7)を受け 取ると、スィッチ 401は接点 Bと接続し、拡張メディアノッファ 402に蓄積されているす ベての画像データが、先頭フレーム（Iフレーム）よりデコーダ 201に入力される。デコ ーダ 201は、 Iフレーム力ゝら復号を開始し、復号により得られた再構築画像を再構築 画像バッファ 202に保持する。このときスィッチ 203はオフであり、再構築画像はデコ ーダ部 101から外には出力されない。拡張メディアバッファ 402に蓄積されていた最 後のフレームを復号し終えると、スィッチ 401は、接点 Aと接続する。また、同時にスィ ツチ 203をオンにする。デコーダ 201の処理能力を高くすることで、拡張メディアバッ ファ 402に蓄積されているすべてのフレームは、極めて短時間、例えば通常のフレー ム間隔より短い時間で復号することができる。

[0097] このような動作をすることにより、メディアバッファ 2108から出力される動画データを 復号するために必要となる再構築画像は、再構築画像バッファ 202に保持されてい ることになる。従って、デバイス切替時にメディアバッファ 2108から入力される動画デ ータがイントラフレームであるか否かにかかわらず、デコーダ 201は即座に復号を行う ことが可能である。

[0098] 以上のようにして、本実施例の高速切替システムの切替先デバイスは、フレーム間 圧縮を用いた MPEG等の動画データを利用する場合にも、切替時のフレームカも復 号することが可能であり、ユーザが知覚できない程高速にデバイス切替を実現するこ とができる。また、切替時までデコーダ 201を動作させる必要がないので、消費電力 を削減する効果がある。

実施例 4

[0099] 本発明の第 4の実施例の高速デバイス切替システムの全体の概要にっ ヽて説明す る。システムの基本構成は、図 14で示したものと全く同じである力 切替元デバイス である MN2001およびデバイス群 2004を構成する切替先端末の内部構成および 動作が異なる。これにより、フレーム間圧縮を用いた MPEG等の動画データを利用 する場合にも、切替時のフレームから高速に復号することを可能とし、ユーザが知覚 できな 、程高速にデバイス切替を実現できる。

[0100] 図 8は、本実施例の切替元端末の構成を示す図である。本実施例では、デコーダ 部 2109の復号した再構築画像を再び符号化してメディア送信部 2106に渡すェンコ ーダ部 501が新たに追加されている。なお、既に説明したデバイスと同じ構成要素に 対しては、同一の符号を付与している。

[0101] 図 9は、本実施例の（第 1の実施態様での）エンコーダ部 501の内部の構成を示す 図である。エンコーダ部 501は、デコーダ部 2109によって復号された再構築画像を 保持するための再構築画像バッファ 601と、スィッチ 602と、再構築画像を画面内符 号ィ匕するイントラ符号ィ匕エンコーダ 603とから構成される。ここで、再構築画像バッフ ァ 601とスィッチ 602は、実施例 2の再構築画像バッファ 202とスィッチ 203とそれぞ れ同一のものである。

[0102] 次に、本実施例のエンコーダ部 501の内部の動作を説明する。本実施例では、デ コーダ部 2109の出力は、常にエンコーダ部 501にも入力されており、再構築画像バ ッファ 601には最新の復号化された再構築画像が保持される。当該再構築画像は、 当該切替元端末のデコーダ部 2109内部の図示しない再構築画像バッファに保持さ れる再構築画像と等しい。

[0103] スィッチ 602は、通常はオフであり、デバイス切替時にオンとなる。スィッチ 602がォ ンにされると、再構築画像バッファ 601に保持されている再構築画像は、イントラ符号 化エンコーダ 603に送られ、イントラ符号ィ匕され Iフレームが生成される。当該 Iフレー ムは、メディア送信部 2106に送られ、メディア出力通知メッセージ（M7)のペイロード に付加されて、切替先デバイスに送信される (図 2のステップ S2812)。

[0104] 以上のような動作により、本実施例の切替元デバイスは、切替先デバイスで切替時 のフレームを復号するために必要となる再構築画像を、イントラ符号化して切替先デ バイスに送信する。

[0105] 続 ヽて、切替元デバイスから送られたイントラ符号化された再構築画像を受信する 切替先デバイスについて説明する。

[0106] 図 10は、本実施例の切替先デバイスの構成を説明するための図である。図 10にお いて、図 4に示される実施例 2の切替先デバイスと同じ構成要素に対しては、同一の 符号を付与している。なお、本実施例の切替先デバイスは、デコーダ部 701の内部 構成及び動作が異なる。また、デコーダ部 701は、メディア受信部 2107から画像デ ータを受けられるように、メディア受信部 2107と接続されている。

[0107] 図 11は、本実施例の（第 1の実施態様での）デコーダ部 701の内部の構成を示す 図である。この図において、図 5に示されている実施例 2のデコーダ部、もしくは図 7 に示されている実施例 3のデコーダ部と同じ構成要素に対しては、同一の符号を付 与するものとする。

[0108] 本実施例のデコーダ部 701は、接点 Aもしくは接点 Bと接続又は非接続の 3つの状 態を取り得るスィッチ 401と、動画データを復号するためのデコーダ 201と、復号した 再構築画像を後続の動画データの復号化のために保持する再構築画像バッファ 20 2と、デコーダ 201が復号した再構築画像がデコーダ部 701から流出して出力部 210 3で表示されな ヽように制御するスィッチ 203とから構成される。

[0109] 次に、本実施例のデコーダ部 701の内部の動作を説明する。本実施例では、スイツ チ 401の接点 Aはメディアバッファ 2108の出力に接続され、スィッチ 401の接点 Bは メディア受信部 2107の出力に接続されている。スィッチ 401は、切替が発生するまで は、接点 Aおよび接点 Bの何れの接点とも接続されていない。すなわち、本実施例に おいても、デコーダ 201にはデータは入力されないので、実施例 3と同様に、デコー ダ 201は動作していない。

[0110] 本実施例において、切替先デバイスが切替元デバイスからメディア出力通知（M7) を受け取ると、スィッチ 401は接点 Bと接続し、メディア受信部 2107は、メディア出力 通知メッセージ（M7)のペイロードに付加されたイントラ符号ィ匕された Iフレームを分 離し、当該 Iフレームをデコーダ 201に送る。デコーダ 201は、当該 Iフレームの復号 を行い、復号した再構築画像を再構築画像バッファ 202に保持する。このときスイツ チ 203はオフであり、再構築画像はデコーダ部 701から外には出力されない。 Iフレ ームは、もともとメディアバッファ 2108の先頭 (最初に出力されるフレーム）フレームを 復号ィ匕するのに必要となる再構築画像を切替元デバイスでイントラ符号ィ匕したもので あり、 Iフレームを復号することにより、必要な再構築画像が得られる。 Iフレームを復 号し、再構築画像を再構築画像バッファ 202に保持し終えると、スィッチ 401を接点 Aと接続する。また、同時にスィッチ 203をオンにする。本実施例の切替先デバイス では、デコーダ 201はデバイス切替に先立ってイントラフレームを 1フレームのみ復号 するだけでよい。

[0111] このような動作をすることにより、メディアバッファ 2108から出力される画像データを 復号するために必要となる再構築画像は、再構築画像バッファ 202に保持されてい ることになる。従って、切替時にメディアバッファ 2108から入力されるフレームがイント ラフレームであるか否かにかかわらず、デコーダ 201は、即座に復号を行うことが可 能である。

[0112] 以上のようにして、本実施例の高速切替システムの切替先デバイスは、フレーム間 圧縮を用いた MPEG等の動画データを利用する場合にも、切替時のフレームカも復 号することが可能であり、ユーザが知覚できない程高速にデバイス切替を実現するこ とができる。また、切替時までデコーダ 201を動作させる必要がなぐ切替に先立って 1フレームの復号を行うだけでよいので消費電力を削減する効果がある。

[0113] 本実施例のシステムは、以下のような切替元デバイスと切替先デバイスを備えてい る第 2の実施態様とすることもできる。この実施態様での切替元デバイスの基本構成 は、図 8で示した構成と同じであり、エンコーダ部 501の内部構成と動作のみが異な る。また、切替先デバイスの基本構成は、図 10で示した構成と同じであり、デコーダ 部 701の内部構成と動作のみが異なる。

[0114] 図 12は、本実施例の第 2の実施態様における切替元デバイスのエンコーダ部 501 の内部構成を示す図である。この実施形態のエンコーダ部 501は、デコーダ部 2109 によって復号化された再構築画像を保持するための再構築画像バッファ 901と、復 号された再構築画像をフレーム間符号ィ匕の際の参照画像として保持するための再構 築画像バッファ 906と、 3つのスィッチ 902、 904、および 907と、再構築画像をフレ ーム間符号ィ匕するインター符号ィ匕エンコーダ 903と、デコーダ部 2109から送られる フレームタイプ情報から Iフレームを検知しスィッチ 904を制御する Iフレーム検知器 9 05と力ら構成される。ここで、スィッチ 902、スィッチ 904、スィッチ 907は、図 5を用い て説明した実施例 2のスィッチ 203と同一のものである。また、再構築画像バッファ 90 1および再構築画像バッファ 906は、図 9を用いて説明した、本実施例の第 1の実施 態様における再構築画像バッファ 601と同一のものである。

[0115] 次に、本実施例の第 2の実施態様のエンコーダ部の内部の動作を説明する。この 実施態様では、デコーダ部 2109の出力である復号ィ匕された再構築画像は、常に再 構築画像バッファ 901に入力される。さらに、デコーダ部 2109の出力であるフレーム タイプ情報は、 Iフレーム検知器 905に入力され、 Iフレーム検知器 905がフレームタ イブ情報から当該再構築画像がデコーダ部 2109による復号前に Iフレームであった と判断したときは、スィッチ 904をオンとすることで、当該再構築画像を、参照画像とし て再構築画像バッファ 906に入力する。反対に、 Iフレーム検知器 905がフレームタイ プ情報から当該再構築画像が Iフレームでな力つたと判断したときは、スィッチ 904を オフとすることで、再構築画像バッファ 906にすでに保持されている参照画像はその まま維持される。

[0116] スィッチ 902およびスィッチ 907は通常はオフであり、デバイス切替時にオンとなる 。スィッチ 902およびスィッチ 907がオンになると、再構築画像バッファ 901に保持さ れた再構築画像と、再構築画像バッファ 906に保持された参照画像とは、インター符 号化エンコーダ 903に入力され、フレーム間符号化が施されて Pフレームが生成され る。この Pフレームは、参照画像との相関性を用いて符号ィ匕されるもので、復号の際 に当該参照画像を必要とする。出力された Pフレームは、メディア送信部 2106に送ら れ、メディア送信部 2106によりメディア出力通知メッセージ（M7)のペイロードに付 加されて、切替先端末に送信される (図 2中のステップ S2812)。

[0117] このような動作により、本実施例の第 2の実施態様の切替元デバイスは、切替先デ バイスで切替時のフレームを復号ィ匕するために必要となる再構築画像を、参照画像 を用 、てインター符号ィ匕して切替先デバイスに送信するものである。

[0118] 続いて、切替元デバイスカゝら送られたインター符号化された再構築画像を受信する 切替先デバイスについて説明する。

[0119] 図 13は、本実施例の第 2の実施態様の切替先デバイスのデコーダ部の内部の構 成を示す図である。なお、図 5に示されている実施例 2のデコーダ部、もしくは図 7に 示されている実施例 3のデコーダ部と同じ構成要素に対しては、同一の符号を付与 している。本実施態様のデコーダ部は、接点 A、接点 Bもしくは接点 Cと接続又は非 接続の 4つの状態を取り得るスィッチ 1001と、動画データを復号ィ匕するためのデコ ーダ 201と、復号した再構築画像を後続の動画データの復号化のために保持する再 構築画像バッファ 202と、デコーダ 201が復号した再構築画像がデコーダ部力も流 出して出力部 2103で表示されないように制御するスィッチ 203と、 1フレーム分の画 像データを蓄積するための拡張メディアバッファ 1002と、画像データのフレームタイ プを認識して Iフレーム (イントラフレームと同義）が拡張メディアバッファ 1002に入力 される際にバッファをリセットする Iフレームカウンタ 403とから構成される。

[0120] 次に、本実施態様のデコーダ部の内部の動作を説明する。本実施態様では、メデ ィァバッファ 2108の出力は、常に拡張メディアバッファ 1002に入力されている。拡張 メディアバッファ 1002は、実施例 3のデコーダ部の拡張メディアバッファ 402と動作は 同じであるが、本実施態様では、拡張メディアバッファのノ ッファサイズが小さぐ 1フ レーム分の画像データのみを蓄積しておくことができる。 Iフレームカウンタ 403は、拡 張メディアバッファ 1002に入力される画像データを監視し、 Iフレームが拡張メディア ノ ッファ 1002に入力される際にバッファが保持するフレームを更新する。すなわち、 I フレームのみの蓄積を許可し、拡張メディアバッファ 1002は、最新の Iフレームのみ を保持する。スィッチ 1001の接点 Aはメディアバッファ 2108の出力に接続され、スィ ツチ 1001の接点 Bは拡張メディアバッファ 1002の出力に接続され、スィッチ 1001の 接点 Cはメディア受信部 2107の出力に接続されている。スィッチ 1001は、切替が発 生するまでは、接点 A、接点 B、接点 Cのいずれとも接続されていない。すなわち、本 実施態様においても、デコーダ 201にはデータは入力されないので、実施例 3と同様 に、デコーダ 201は動作していない。

[0121] 本実施例の第 2の実施態様の切替先デバイスが切替元デバイスカゝらメディア出力 通知（M7)を受け取ると、スィッチ 1001は最初に接点 Bと接続し、拡張メディアノ ッフ ァ 1002に保持された Iフレームがデコーダ 201に送られる。デコーダ 201は、当該 Iフ レームの復号を行 ヽ、復号した再構築画像を再構築画像バッファ 202に保持する。 このときスィッチ 203はオフであり、再構築画像はデコーダ部力も外には出力されな い。

[0122] 次に、スィッチ 1001は、接点 Cと接続し、メディア受信部 2107はメディア出力通知 メッセージ (M7)のペイロードに付加されたインター符号化された Pフレームを分離し 、当該 Pフレームをデコーダ 201に送る。デコーダ 201は、再構築画像バッファ 202 に保持された参照画像を用いて当該 Pフレームの復号化を行 ヽ、得られた再構築画 像を再構築画像バッファ 202に保持する。このときもまた、スィッチ 203はオフであり、 再構築画像はデコーダ部力も外には出力されない。

[0123] Pフレームは、もともとメディアバッファ 2108の先頭（最初に出力されるフレーム）フ レームを復号ィ匕するのに必要となる再構築画像を切替元デバイスでインター符号ィ匕 したものであり、 Pフレームを復号ィ匕することにより、必要な再構築画像が得られる。 P フレームを復号し再構築画像を再構築画像バッファ 202に保持し終えると、スィッチ 1 001を接点 Aと接続する。また、同時にスィッチ 203をオンにする。本実施態様の切 替先デバイスでは、デコーダ 201は切替に先立って Iフレーム、 Pフレームの 2フレー ムの復号を行うだけでょ 、。

[0124] このような動作により、メディアバッファ 2108から出力される画像データを復号する ために必要となる再構築画像は、再構築画像バッファ 202に保持されていることにな る。従って、デバイス切替時にメディアバッファ 2108から入力される画像データがィ ントラフレームであるか否かにかかわらず、デコーダ 201は、即座に復号を行うことが 可能である。

[0125] 以上のようにして、本実施例の第 2の実施態様の高速切替システムの切替先デバ イスは、フレーム間圧縮を用いた MPEG等の動画データを利用する場合にも、切替 時のフレーム力 復号することが可能であり、ユーザが知覚できない程高速にデバイ ス切替を実現することができる。また、切替時までデコーダ 201を動作させる必要が なぐ切替に先立って 2フレームの復号を行うだけでよいので消費電力を削減する効 果がある。さらに、切替元デバイス力も切替先デバイスに送られるメディア出力通知メ ッセージ (M7)のペイロードに付加される情報はインター符号ィ匕された Pフレームであ るので、送信する情報量の削減が図れ、 PANの帯域が小さい場合においてもメッセ ージ転送に係る遅延が発生しな 、。

[0126] 以上、実施例により、現時点で考えられる本発明の高速デバイス切替技術につい ての好適な形態について説明したが、上記実施例は本発明を実施するための例に すぎず、本発明はこれらに限定されるものではない。これらの実施例を種々変形する ことは本発明の範囲内にあり、更に本発明の範囲内において他の様々な実施例が 可能であることは上記記載力 自明である。本実施の形態に対して多様な変形が可 能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべて の変形を添付の特許請求の範囲が含むことが意図されている。

産業上の利用可能性

[0127] 以上のように、本発明に力かるデバイス切替システムは、ュビキタスネットワーク環 境において、多種多様な能力を持つデバイスを自由に切替えてシームレスサービス を実現するために必須の高速デバイス切替システムである。

[0128] また、当該システムに用いられるデバイスは、携帯電話、デジタルスチルカメラ、デ ジタルビデオムービー等で撮影した映像をテレビ等の表示デバイスに出力する装置 等としても適用が可能である。

Claims

請求の範囲

[1] 情報元との間でセッションを保持する送信元デバイスと、前記送信元デバイスと通 信可能な複数の配信先デバイスとを備え、

前記送信元デバイスは、前記セッションに係るフレーム間圧縮された動画データを 前記複数の配信先デバイスの中から選択した配信先デバイスに送信し、

前記フレーム間圧縮された動画データは、前記複数の配信先デバイスの中から選 択された配信先デバイスにより受信され、

前記送信元デバイスは、前記選択された配信先デバイスの中から切替先デバイス を決定し、

前記切替先デバイスは、前記切替先デバイスの決定と同時に前記フレーム間圧縮 された動画データを出力するデバイス切替システム。

[2] 前記送信元デバイスカゝら前記選択された複数の配信先デバイスへのフレーム間圧 縮された動画データの送信は、マルチキャストもしくはブロードキャストにより実行され る請求項 1に記載のデバイス切替システム。

[3] 前記配信先デバイスは、外部デバイスとの間で通信を行うメディア受信部と、前記メ ディア受信部で受信したフレーム間圧縮された動画データを保持するメディアバッフ ァと、前記フレーム間圧縮された動画データを復号するためのデコーダ部と、前記セ ッシヨンを制御するためのシグナリング部と、ネットワークインターフェースと、前記動 画データの出力を行う出力部とを備えている請求項 1または 2に記載のデバイス切替 システム。

[4] 前記デコーダ部は、前記メディアバッファから出力された前記フレーム間圧縮され た動画データを常時復号するデコーダと、前記復号された再構築画像を保持する再 構築画像バッファと、前記デバイスの切替時に、前記出力部へと前記再構築画像の 出力を行うスィッチとを備えている請求項 3に記載のデバイス切替システム。

[5] 前記デコーダ部は、前記メディアバッファから出力された前記フレーム間圧縮され た動画データを複数フレーム分蓄積する拡張メディアバッファと、前記拡張メディア ノ ッファに入力された動画データが Iフレームである力否かを判断し前記動画データ が Iフレームの場合には蓄積されている複数フレーム分の動画データを消去して前記 入力された Iフレーム力も蓄積を行うように制御する Iフレームカウンタと、前記デバイ スの切替時に、前記拡張メディアバッファに蓄積された一フレーム以上の動画データ を Iフレーム力も順に復号した後に、前記メディアバッファから出力される前記デバイ ス切替後の動画データの復号を行うデコーダと、復号された再構築画像を保持する 再構築画像バッファと、前記拡張メディアバッファに蓄積された一フレーム以上の動 画データを復号した後に前記出力部へと再構築画像を出力するスィッチとを備えて

V、る請求項 3に記載のデバイス切替システム。

[6] 前記デコーダ部は、前記デバイスの切替時に前記メディア受信部力 送られたイン トラ符号ィ匕画像を復号した後に前記メディアバッファから出力される動画データの復 号を行うデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、 前記メディア受信部カゝら送られたイントラ符号ィ匕画像を復号した後に前記出力部へ 再構築画像を出力するスィッチとを備えている請求項 3に記載のデバイス切替システ ム。

[7] 前記メディア受信部は、前記シグナリング部を介して通知された前記送信元デバイ スからのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加さ れたイントラ符号ィ匕画像を取り出して前記デコーダ部に送信する請求項 6に記載の デバイス切替システム。

[8] 前記デコーダ部は、動画データを蓄積する拡張メディアバッファと、前記メディアバ ッファから出力される動画データが Iフレームであるか否かを判断し前記動画データ が Iフレームの場合には前記拡張メディアバッファに蓄積されている Iフレームを消去 して前記出力された動画データの Iフレームの蓄積を行うように前記拡張メディアバッ ファを制御する Iフレームカウンタと、前記デバイスの切替時に、前記拡張メディアバッ ファに蓄積されて 、る Iフレームの復号につづ 、て前記メディア受信部から送られたィ ンター符号ィ匕画像を復号した後に、前記メディアバッファから出力される前記デバイ ス切替後の動画データの復号を行うデコーダと、前記復号された再構築画像を保持 する再構築画像バッファと、前記メディア受信部から送られたインター符号化画像を 復号した後に前記出力部へ再構築画像を出力するスィッチを備えている請求項 3に 記載のデバイス切替システム。

[9] 前記メディア受信部は、前記シグナリング部を介して通知された前記送信元デバイ スからのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加さ れたインター符号化画像を取得して前記デコーダ部に送信する請求項 8に記載のデ バイス切替システム。

[10] 前記送信元デバイスは、アプリケーションと、ネットワークインターフェースと、メディ ァ出力を行う出力部と、ユーザ端末としての入力部と、外部デバイスとの送受信を行 うメディア送信部およびメディア受信部と、前記メディア受信部が受信したフレーム間 圧縮された動画データを保持するためのメディアバッファと、前記フレーム間圧縮さ れた動画データを復号するためのデコーダ部と、前記デコーダ部が復号した再構築 画像を符号化するエンコーダ部と、セッションを制御するためのシグナリング部と、外 部デバイスが提供するサービスを発見するためのサービス発見部とを備え、

前記メディア送信部は、前記サービス発見部の応答に基づ ヽて配信先デバイスを 選択し、前記情報元から受信した前記フレーム間圧縮された動画データを前記選択 された配信先デバイスへと転送を行う請求項 1乃至 9の何れか 1項に記載のデバイス 切替システム。

[11] 前記エンコーダ部は、前記デコーダ部が復号した再構築画像を上書き更新して保 持する再構築画像バッファと、前記デバイスの切替時に、前記再構築画像バッファに 保持されている再構築画像をイントラ符号ィ匕するイントラ符号ィ匕エンコーダとを備えて V、る請求項 10に記載のデバイス切替システム。

[12] 前記メディア送信部は、前記メディア出力通知を切替先デバイスに通知する際に、 前記エンコーダ部が生成したイントラ符号ィ匕画像を前記メディア出力通知のペイロー ドに付加して送信する請求項 11に記載のデバイス切替システム。

[13] 前記エンコーダ部は、前記デコーダ部が復号した再構築画像を上書き更新して保 持する再構築画像バッファと、前記再構築画像が前記デコーダ部で復号される際に I フレームであった力否かを判断する Iフレーム検出器と、前記 Iフレーム検出器により I フレームであると判断された場合に前記再構築画像を参照画像として上書き更新し て保持する第 2の再構築画像バッファと、前記デバイスの切替時に、前記第 2の再構 築画像バッファに保持されている参照画像を用いて前記再構築画像バッファに保持 されて 、る再構築画像をインター符号ィ匕するインター符号ィ匕エンコーダとを備えて ヽ る請求項 10に記載のデバイス切替システム。

[14] 前記メディア送信部は、前記メディア出力通知を切替先デバイスに通知する際に、 前記エンコーダ部が生成したインター符号ィ匕画像を前記メディア出力通知のペイ口 ードに付加して送信する請求項 13に記載のデバイス切替システム。

[15] 外部デバイスとの間で通信を行うメディア受信部と、前記メディア受信部で受信した フレーム間圧縮された動画データを保持するメディアバッファと、前記フレーム間圧 縮された動画データを復号するためのデコーダ部と、セッションを制御するためのシ ダナリング部と、ネットワークインターフェースと、前記動画データの出力を行う出力部 とを備えて ヽる配信先デバイス。

[16] 前記デコーダ部は、前記メディアバッファから出力された前記フレーム間圧縮され た動画データを常時復号するデコーダと、前記復号された再構築画像を保持する再 構築画像バッファと、デバイスの切替時に前記出力部へと前記再構築画像の出力を 行うスィッチとを備えている請求項 15に記載の配信先デバイス。

[17] 前記デコーダ部は、前記メディアバッファから出力された前記フレーム間圧縮され た動画データを複数フレーム分蓄積する拡張メディアバッファと、前記拡張メディア ノ ッファに入力された動画データが Iフレームである力否かを判断し前記動画データ が Iフレームの場合には蓄積されている複数フレーム分の動画データを消去して前記 入力された Iフレーム力も蓄積を行うように制御する Iフレームカウンタと、前記デバイ スの切替時に、前記拡張メディアバッファに蓄積された一フレーム以上の動画データ を Iフレーム力も順に復号した後に、前記メディアバッファから出力される前記デバイ ス切替後の動画データの復号を行うデコーダと、復号された再構築画像を保持する 再構築画像バッファと、前記拡張メディアバッファに蓄積された一フレーム以上の動 画データを復号した後に前記出力部へと再構築画像を出力するスィッチとを備えて V、る請求項 15に記載の配信先デバイス。

[18] 前記デコーダ部は、前記デバイスの切替時に前記メディア受信部力 送られたイン トラ符号ィ匕画像を復号した後に前記メディアバッファから出力される動画データの復 号を行うデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、 前記メディア受信部カゝら送られたイントラ符号ィ匕画像を復号した後に前記出力部へ 再構築画像を出力するスィッチとを備えている請求項 15に記載の配信先デバイス。

[19] 前記メディア受信部は、前記シグナリング部を介して通知された送信元デバイスか らのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加された イントラ符号ィ匕画像を取り出して前記デコーダ部に送信する請求項 18に記載の配信 先デバイス。

[20] 前記デコーダ部は、動画データを蓄積する拡張メディアバッファと、前記メディアバ ッファから出力される動画データが Iフレームであるか否かを判断し前記動画データ が Iフレームの場合には前記拡張メディアバッファに蓄積されている Iフレームを消去 して前記出力された動画データの Iフレームの蓄積を行うように前記拡張メディアバッ ファを制御する Iフレームカウンタと、前記デバイスの切替時に、前記拡張メディアバッ ファに蓄積されて 、る Iフレームの復号につづ 、て前記メディア受信部から送られたィ ンター符号ィ匕画像を復号した後に、前記メディアバッファから出力される前記デバイ ス切替後の動画データの復号を行うデコーダと、前記復号された再構築画像を保持 する再構築画像バッファと、前記メディア受信部から送られたインター符号化画像を 復号した後に前記出力部へ再構築画像を出力するスィッチを備えている請求項 15 に記載の配信先デバイス。

[21] 前記メディア受信部は、前記シグナリング部を介して通知された送信元デバイスか らのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加された インター符号ィ匕画像を取得して前記デコーダ部に送信する請求項 20に記載の配信 先デバイス。

[22] アプリケーションと、ネットワークインターフェースと、メディア出力を行う出力部と、ュ 一ザ端末としての入力部と、外部デバイスとの送受信を行うメディア送信部およびメ ディア受信部と、前記メディア受信部が受信したフレーム間圧縮された動画データを 保持するためのメディアバッファと、前記フレーム間圧縮された動画データを復号す るためのデコーダ部と、前記デコーダ部が復号した再構築画像を符号ィ匕するェンコ ーダ部と、セッションを制御するためのシグナリング部と、外部デバイスが提供するサ 一ビスを発見するためのサービス発見部とを備え、 前記メディア送信部は、前記サービス発見部の応答に基づ ヽて配信先デバイスを 選択し、情報元力 受信した前記フレーム間圧縮された動画データを前記選択され た配信先デバイスへと転送を行う送信元デバイス。

[23] 前記エンコーダ部は、前記デコーダ部が復号した再構築画像を上書き更新して保 持する再構築画像バッファと、デバイスの切替時に前記再構築画像バッファに保持さ れている再構築画像をイントラ符号ィ匕するイントラ符号ィ匕エンコーダとを備えている請 求項 22に記載の送信元デバイス。

[24] 前記メディア送信部は、前記メディア出力通知を切替先デバイスに通知する際に、 前記エンコーダ部が生成したイントラ符号ィ匕画像を前記メディア出力通知のペイロー ドに付加して送信する請求項 23に記載の送信元デバイス。

[25] 前記エンコーダ部は、前記デコーダ部が復号した再構築画像を上書き更新して保 持する再構築画像バッファと、前記再構築画像が前記デコーダ部で復号される際に I フレームであった力否かを判断する Iフレーム検出器と、前記 Iフレーム検出器により I フレームであると判断された場合に前記再構築画像を参照画像として上書き更新し て保持する第 2の再構築画像バッファと、デバイスの切替時に、前記第 2の再構築画 像バッファに保持されている参照画像を用いて前記再構築画像バッファに保持され て 、る再構築画像をインター符号ィ匕するインター符号ィ匕エンコーダとを備えて 、る請 求項 22に記載の送信元デバイス。

[26] 前記メディア送信部は、前記メディア出力通知を切替先デバイスに通知する際に、 前記エンコーダ部が生成したインター符号ィ匕画像を前記メディア出力通知のペイ口 ードに付加して送信する請求項 25に記載の送信元デバイス。