WO2006064689A1

WO2006064689A1 - 無線通信システム

Info

Publication number: WO2006064689A1
Application number: PCT/JP2005/022379
Authority: WO
Inventors: Hiroyuki Yurugi
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-12-16
Filing date: 2005-12-06
Publication date: 2006-06-22
Also published as: CN101080926A; US20080013512A1; JPWO2006064689A1

Abstract

　映像再生装置１２０は映像データの時刻データＴ１に処理時間Ｔ１を加算してなる再生推定時刻情報ＴＴ１をサーバ装置１００に無線送信し、オーディオ再生装置１１０はオーディオデータの時刻データＴ２に処理時間Ｔ２を加算してなる再生推定時刻情報ＴＴ２をサーバ装置１００に無線送信する。サーバ装置１００は再生推定時刻情報ＴＴ１，ＴＴ２を無線受信しこれらの再生推定時刻差情報Δｔを計算して無線送信する。映像再生装置１２０は再生推定時刻差情報Δｔに基づき映像とオーディオが実質的に同期して再生するように映像データを再生する時刻を制御し、オーディオ再生装置１１０は再生推定時刻差情報Δｔに基づき映像とオーディオが実質的に同期して再生するようにオーディオデータを再生する時刻を制御する。

Description

明細書

無線通信システム

技術分野

[0001] 本発明は、無線通信システムに関する。特に、本発明は、同一のプログラムの映像データやオーディオデータを同期再生するための無線通信システム及びそれを用いた同期再生方法に関する。

背景技術

[0002] 近年、インターネットのブロードバンドィ匕ゃ無線 LANに代表される各種無線通信システムの普及に伴い、家庭内で機器間の配線が不要で、かつ設置場所に制限されないワイヤレスのディジタル家庭電ィ匕製品が注目を集めている。その例として、いくつもの動画 (例えば、 TV番組など）を記録したサーバ装置と、映像を再生するディスプレイと、オーディオを再生するスピーカとを相互に無線ネットワークを介して接続して、サーバ装置力動画データを送信して、当該動画データに含まれる映像データの映像をディスプレイ力も再生して出力し、オーディオデータのオーディオをスピーカから再生して出力するワイヤレス映像オーディオ再生システムが提案されている。

[0003] 上述のワイヤレス映像オーディオ再生システムでは、無線ネットワークを介して送受信されるデータはディジタル符号化されてヽるため、データの復号ィ匕に要する時間や、無線ネットワークを介するデータ伝送に要する時間などにより、映像データ及びオーディオデータの送信力再生出力までにはある程度の遅延時間が存在する。ここで、映像データに要する遅延時間と、オーディオデータに要する遅延時間はそれぞれ異なり、映像データとオーディオデータが同時刻にサーバ装置から送信されたとしても、そのデータがディスプレイ及びスピーカから同時刻に再生出力されるとは限らない。このような映像データとオーディオデータとの再生時間差は、 100ミリ秒以下程度のわずかな時間であれば視聴者は気にならな、が、 100ミリ秒を超える再生時間差は視聴者に違和感を覚えさせてしまう。そのため、遅延時間の差による映像とォーディォの再生時間差を小さくし、極力映像とオーディオを同期させて再生する必要がある。このような無線通信を利用した映像とオーディオの同期再生に関する従来技術として、例えば特許文献 1に記載された無線送受信システムが知られて、る。

[0004] 特許文献 1：特開 2004— 193868号公報。

発明の開示

発明が解決しょうとする課題

[0005] 特許文献 1に記載された無線送受信システムは、当該システムを構成する全ての機器に共通の基準時刻を設け、動画の再生を始める前にタイムスタンプ要求及び応答パケットを送受信し、無線のデータ伝送に要する遅延時間を計測し、その結果に基づ、て映像とオーディオの再生時間を定めることを特徴として、る。このような方法を用いた場合、無線のデータ伝送によって発生する遅延を、映像の出力タイミングを意図的に遅延させることにより吸収し、映像とオーディオの再生時間差を小さくすることができ、一定の効果があるが、同時に以下に示す問題点を有している。

[0006] (1)実際の無線通信システムでは、無線通信路におけるデータの誤り率が有線通信路に比べて大きいことから、送受信機器の双方で十分なバッファメモリを用意し、無線通信路において多少の誤りが発生しても映像やオーディオの再生が途切れないような工夫がなされている。このバッファメモリによって発生する遅延時間が考慮されていない。

[0007] (2)システムを使用する機器周辺の電波環境は常に一定であるとは限らず、無線のデータ伝送時間も一定であるとは限らないが、電波環境の変化によって映像又はォ一ディォの再生時間を随時補正する手段を有して 1、な、。

[0008] 本発明の目的は以上の問題点を解決し、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおヽて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる無線通信システム及びそれを用いた同期再生方法を提供することにある。

課題を解決するための手段

[0009] 第 1の発明に係る無線通信システムは、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、

上記サーバ装置力無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、

上記サーバ装置力無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムにお、て、

上記映像再生装置は、上記映像データの映像を再生出力するときに、当該映像データの時刻データ T1に、当該映像データを再生出力するために必要な既知のデータ処理時間 tlを加算してなる再生推定時刻情報 TT1を計算して上記サーバ装置に無線送信し、

上記オーディオ再生装置は、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データ T2に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間 t2を加算してなる再生推定時刻情報 TT 2を計算して上記サーバ装置に無線送信し、

上記サーバ装置は、上記映像再生装置から再生推定時刻情報 TT1を無線受信するとともに、上記オーディオ再生装置力再生推定時刻情報 TT2を無線受信した後、上記再生推定時刻情報 TT1と上記再生推定時刻情報 TT2との間の再生推定時刻差情報 Δ tを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信し、

上記映像再生装置は、上記サーバ装置力上記再生推定時刻差情報 Δ tを無線受信した後、上記無線受信した再生推定時刻差情報 A tに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御し、

上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報 Δ tを無線受信した後、上記無線受信した再生推定時刻差情報 A tに基づいて、上記ォーディォ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置力再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする。

また、上記無線通信システムにおいて、上記映像再生装置による再生推定時刻情報 TTlを計算して無線送信すること及び上記無線受信した再生推定時刻差情報 Δ t に基づく上記映像データの映像の再生出力する時刻を制御することと、

上記オーディオ再生装置による再生推定時刻情報 TT2を計算して無線送信すること及び上記無線受信した再生推定時刻差情報 A tに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、

所定の時間間隔で周期的に繰り返して実行することを特徴とする。

[0011] さらに、上記無線通信システムにおいて、上記映像データは圧縮符号ィ匕された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号ィ匕し、上記データ処理時間 tlは上記伸張復号化に係る時間を含み、

上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディォ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間 t2は上記伸張復号化に係る時間を含むことを特徴とする。

[0012] 第 2の発明に係る同期再生方法は、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、

上記サーバ装置力無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムを用いた同期再生方法にぉ、て、

上記映像再生装置において、上記映像データの映像を再生出力するときに、当該映像データの時刻データ T1に、当該映像データを再生出力するために必要な既知のデータ処理時間 tlを加算してなる再生推定時刻情報 TT1を計算して上記サーバ装置に無線送信するステップと、

上記オーディオ再生装置にお、て、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データ T2に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間 t2を加算してなる再生推定時刻情報 TT2を計算して上記サーバ装置に無線送信するステップと、

上記サーバ装置において、上記映像再生装置から再生推定時刻情報 TT1を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報 TT2を無線受信した後、上記再生推定時刻情報 TT1と上記再生推定時刻情報 TT2との間の再生推定時刻差情報 Δ tを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信するステップと、

上記映像再生装置において、上記サーバ装置から上記再生推定時刻差情報 A t を無線受信した後、上記無線受信した再生推定時刻差情報 A tに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御するステップと、

上記オーディオ再生装置にお!、て、上記サーバ装置から上記再生推定時刻差情報 Δ tを無線受信した後、上記無線受信した再生推定時刻差情報 Δ tに基づ、て、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置力再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする。

[0013] また、上記同期再生方法において、上記映像再生装置による再生推定時刻情報 T T1を計算して無線送信すること及び上記無線受信した再生推定時刻差情報 Δ tに基づく上記映像データの映像の再生出力する時刻を制御することと、

所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする。

[0014] さらに、上記同期再生方法において、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号ィ匕し、上記データ処理時間 tlは上記伸張復号化に係る時間を含み、

発明の効果

[0015] 従って、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる図面の簡単な説明

[0016] [図 1]本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。

[図 2]図 1の無線通信システムにおいて送受信されるパケット信号の構成を示すプロック図である。

[図 3]図 1のオーディオ再生装置 110及び映像再生装置 120によって実行される同期再生出力制御処理を示すフローチャートである。

[図 4]図 1の無線通信システムにお、て実行される同期再生出力制御処理を示すシ一ケンス図である。

[図 5]本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。

符号の説明

[0017] 100…サーバ装置、

101, 111, 121…無線送受信回路、

101A, 111A, 121Α···アンテナ、

102, 112, 122···システムコントローラ、

103, 113, 123···ノッファメモリ、

104···動画データメモリ、

110·· 'オーディオ再生装置、

114·· 'オーディオデコーダ、

115, 125- DZA変、

116···スピーカ、 117, 127· ··デコーダコントローラ、

120· ··映像再生装置、

124· ··映像デコーダ、

126· "ディスプレイ、

301· ··映像データパラメータ情報、

302· • -オーディオデータパラメータ情報、

303· "映像データパケット、

304· "オーディオデータパケット、

311· · ·タイムスタンプ†青報、

312· ··キーフレーム情報、

313· • -圧縮符号化された映像データ、

321· · ·タイムスタンプ†青報、

322· • '圧縮符号化されたオーディオデータ。

発明を実施するための最良の形態

[0018] 以下、本発明に係る実施形態について図面を参照して説明する。なお、同様の構成要素にっ、ては同一の符号を付して、る。

[0019] 実施形態.

図 1は本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。本実施形態に係る無線通信システムは、ワイヤレス映像オーディオ再生システムに適用されるものであり、図 1に示すように、例えば DVDレコーダ又はパーソナルコンピュータなどのサーバ装置 100と、オーディオ再生装置 110と、映像再生装置 120 とを備えて構成され、それらは無線 LANなどの無線ネットワークを介して接続されている。

[0020] 図 1において、サーバ装置 100は、アンテナ 101Aが接続された無線送受信回路 1 01と、システムコントローラ 102と、ノッファメモリ 103と、例えばハードディスクドライブなどの動画データメモリ 104とを備えて構成される。また、オーディオ再生装置 110は、アンテナ 111Aが接続された無線送受信回路 111と、システムコントローラ 112と、ノッファメモリ 113と、オーディオデコーダ 114と、ディジタル Zアナログ変翻（以下、 D/ A変翻という。） 115と、スピーカ 116と、デコーダコントローラ 117とを備えて構成される。ここで、システムコントローラ 112はオーディオ再生装置 110の他の回路要素 111乃至 115の動作を制御する。さらに、映像再生装置 120は、アンテナ 121A が接続された無線送受信回路 121と、システムコントローラ 122と、ノッファメモリ 123 と、映像デコーダ 124と、 DZA変^^ 125と、ディスプレイ 126と、デコーダコント口ーラ 127とを備えて構成される。ここで、システムコントローラ 122は映像再生装置 12 0の他の回路要素 121乃至 125の動作を制御する。

[0021] サーバ装置 100において、ユーザの操作により動画データメモリ 104に予め格納された動画データ（例えば複数のプログラムデータを含み、各プログラムデータは、映像データと、オーディオデータとを含む。）は、例えばブルートゥース（Bluetooth)や無線 LAN等の無線ネットワークの規格に準拠した無線通信機能を有する無線送受信回路 101に入力され、無線送受信回路 101は入力される動画データに従って、無線搬送波を所定のディジタル変調方式を用いて無線信号にディジタル変調した後、アンテナ 101Aを用いて、オーディオ再生装置 110、及び映像再生装置 120に対して送信する。ここで、動画データメモリ 104に記録された動画データは、例えば、圧縮符号化された映像オーディオデータ（例えば、 MPEG (Moving Picture Expert Group)方式などに準拠して形成された動画データである。）であるが、本発明はこれに限らず、その他の方式で符号ィ匕されたデータであってもよ、。

[0022] 図 2は図 1の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。なお、当該 1つのパケット信号の前段には、無線ネットワークにおいて送受信するための情報 (発信元アドレスや、宛作アドレスなどの情報）が付加される。当該パケット信号は、図 2に示すように、映像データに関する IDや圧縮符号化方式及びそれに関する仕様情報などを含む映像データパラメータ情報 301と、オーディォデータに関する IDや圧縮符号ィ匕方式及びそれに関する仕様情報などを含むォーディォデータパラメータ情報 302と、映像データパケット 303と、オーディオデータパケット 304と、それに続く映像データパケット 303及びオーディオデータパケット 304とを含み構成される。ここで、映像データパケット 303は、 1つのプログラムの最初の時刻を 0時 0分 0秒として計時され当該圧縮符号ィ匕された映像データ 313の最初のデータの時刻情報であるタイムスタンプ情報 311と、例えば MPEG方式で圧縮符号ィ匕されているときは Iピクチャのフレーム情報であるキーフレーム情報 312と、圧縮符号化された映像データ（映像コンテンツデータ） 313とを含む。また、オーディオデータパケット 304は、 1つのプログラムの最初の時刻を 0時 0分 0秒として計時され当該圧縮符号ィ匕されたオーディオデータ 322の最初のデータの時刻情報であるタイムスタンプ情報 321と、圧縮符号ィ匕されたオーディオデータ (オーディオコンテンツデータ） 322とを含む。すなわち、図 2に示すように、圧縮符号化された映像データ及びォーディォデータには、再生時刻を定めるためのタイムスタンプ情報が含まれて、る。

[0023] 図 1において、オーディオ再生装置 110では、サーバ装置 100から無線送信された動画データを含む無線信号をアンテナ 111 Aを用いて受信して無線送受信回路 11 1に出力する。無線送受信回路 111は無線送受信回路 101と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用 Vヽて動画データに復調した後、システムコントローラ 112を介してー且バッファメモリ 113に格納する。次いで、オーディオデコーダ 114はバッファメモリ 113に格納された動画データカゝら圧縮符号ィ匕されたオーディオデータを抽出し、伸張及び復号ィ匕処理を行って伸張復号化されたオーディオデータに変換した後 DZA 変翻 115に出力する。 DZA変翻115は入力されるオーディオデータをアナ口グオーディオデータに変換した後、スピーカ 116に出力してオーディオの音として再生する。

[0024] また、映像再生装置 120では、サーバ装置 100から無線送信された動画データを含む無線信号をアンテナ 121 Aを用、て受信して無線送受信回路 121に出力する。無線送受信回路 121は無線送受信回路 101と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ 122を介してー且バッファメモリ 123に格納する。次いで、映像デコーダ 124はバッファメモリ 123に格納された動画データカゝら圧縮符号化された映像データを抽出し、伸張及び復号ィ匕処理を行って伸張復号化された映像データに変換した後 DZA変 125に出力する。 DZA変換器 125は入力される映像データをアナログ映像データに変換した後、ディスプレイ 12 6に出力して当該映像データの映像を再生して表示する。

[0025] ここで、バッファメモリ 113, 123は、無線通信における伝送誤りによって映像ゃォ一ディォの再生が途切れな、ようにデータを格納しておく役割を担って、る。一方でこのバッファメモリ 113, 123のそれぞれに再生すべきデータが格納されることにより、サーバ装置 100から送信された動画データがスピーカ 116とディスプレイ 126から同時にオーディオと映像が出力されるとは限らないという問題点があった。この問題点を解決するために、本実施形態に係る無線通信システムでは、以下の同期再生出力制御処理を実行する。

[0026] 図 3は図 1のオーディオ再生装置 110及び映像再生装置 120によって実行される同期再生出力制御処理を示すフローチャートである。

[0027] 図 3において、まず、ステップ S1では、時間 T3を計時する T3タイマ（図 3のステップ S 10での NOの処理に示すように、所定の時間 T3以内では、復号化時の再生時刻の補正は不要で即時に復号ィ匕するように制御するために、 T3タイマが設けられてヽる。）の計時をスタートさせ、ステップ S2において動画再生の開始か又は動画の再生中であるか否かが判断され、 YESのときはステップ S3に進む一方、 NOのときは当該同期再生出力制御処理を終了する。ステップ S3において、データを無線受信したか否かが判断され、 YESのときはステップ S4に進む一方、 NOのときはステップ S2に戻る。次いで、ステップ S4では、無線受信したデータは時間差情報（A t)である否かが判断され、 YESのときはステップ S5に進む一方、 NOのとき、すなわち動画データのときはステップ S7に進む。ステップ S5では、受信された時間差情報（A t)に基づいて復号ィ匕再生時刻の補正が必要である力否かが判断される。ここでは、例えば I A t I > 100ミリ秒であるときにユーザが顕著な映像とオーディオの時間差として認識可能であると判断して、ステップ S6において、受信された時間差情報（A t)に基づいて、デコーダ 114又は 124を制御して各データの再生時刻を遅延させた後、ステップ S2 に戻る。一方、ステップ S5で NOであるときは、ステップ S6の処理を実行させずに、ステツプ S2に戻る。

[0028] ステップ S7では、動画データをバッファメモリ 113又は 123に格納し、ステップ S8では、バッファメモリ 113又は 123に例えば 10MBなど一定量の動画データが格納されたか否かが判断され、 YESのときはステップ S9に進む一方、 NOのときはステップ S2 に戻る。次いで、ステップ S9では、復号ィ匕すべき動画データをバッファメモリ 113又は 123から読み出し、ステップ S10では、 T3タイマは一定時間 T3だけ計時してタイムオーバーしたか否かが判断され、 YESのときはステップ S11に進む一方、 NOのときはステップ S14に進む。ステップ S11では、読み出したデータ力もタイムスタンプ情報 T1又は T2を取り出し、ステップ S12では、再生推定時刻情報 TTl =Tl +tl又は TT2=T2+t2を計算し、計算した再生推定時刻情報 TT1又は TT2をサーバ装置 1 00に無線送信する。

[0029] ここで、 tlは、図 4に示すように、所定の圧縮符号ィ匕された映像データ量に対して、映像デコーダ 124による映像データの抽出及び伸張復号化処理から、 DZA変換器 125による DZA変換処理を経て、ディスプレイ 126による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。また、 t2は、図 4 に示すように、所定の圧縮符号化されたオーディオデータ量に対して、オーディオデコーダ 114によるオーディオデータの抽出及び伸張復号ィ匕処理から、 DZA変換器 125による DZA変換処理を経て、スピーカ 116による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。ここで、既知のデータ処理時間 tl, t2は周囲の電波環境や温度、湿度などによらずほぼ一定である。

[0030] そして、ステップ S 13では、 T3タイマをリセットしステップ S 14に進む。ステップ S 14 では、デコーダ 114又は 124に伸張復号化すべきデータを転送して伸張復号化処理を実行させた後、ステップ S2に戻る。

[0031] 図 4は図 1の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。以下、図 4を参照して、映像とオーディオを同期再生させるための同期再生出力制御処理について説明する。

[0032] (1)まず、サーバ装置 100は、再生すべき動画データを抽出して (ステップ 201)、ォ一ディォ再生装置 110及び映像再生装置 120に対して無線送信する (ステップ 202

) o

(2)オーディオ再生装置 110は、サーバ装置 100から無線送信された動画データを無線受信して (ステップ 204)、バッファメモリ 113に格納する（ステップ 206)。また、映像再生装置 120でも同様に、サーバ装置 100から無線送信された動画データを無線受信して (ステップ 203)、バッファメモリ 123に格納する（ステップ 205)。

[0033] (3A)オーディオ再生装置 110のオーディオデコーダ 114は、バッファメモリ 113に格納された動画データカゝら圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号ィ匕処理を行うオーディオデータに含まれるタイムスタンプ情報 T2をデコーダコントローラ 117に通知する。デコーダコントローラ 117は、通知されたタイムスタンプ情報 T2に対して、圧縮符号ィ匕されたオーディオデータがバッファメモリ 113から読み出されてから抽出及び伸張復号化処理、 DZA変換処理を施してスピーカ 116から出力されるまでに要する既知のデータ処理時間 t2を加算してなる再生推定時刻情報 TT2=T2 +t2を計算して、計算された再生推定時刻情報 TT2をシステムコントローラ 112及び無線送受信回路 111を介してサーバ装置 100に対して無線送信する (ステップ 208) 。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、 DZA変換処理並びに再生出力処理を実行する (ステツプ 210, 212, 214)。

[0034] (3B)映像再生装置 120の映像デコーダ 124は、バッファメモリ 123に格納された動画データカゝら圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報 T1をデコーダコントローラ 127に通知する。デコーダコントローラ 127は、通知されたタイムスタンプ情報 T1に対して、圧縮符号化された映像データがバッファメモリ 123から読み出されて力も抽出及び伸張復号ィ匕処理、 DZA 変換処理を施してディスプレイ 126から表示出力されるまでに要する既知のデータ処理時間 tlを加算してなる再生推定時刻情報 TT1 =T1 +tlを計算して、計算された再生推定時刻情報 TT1をシステムコントローラ 122及び無線送受信回路 121を介してサーバ装置 100に対して無線送信する (ステップ 207)。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号ィ匕処理、 DZA変換処理並びに再生出力処理を実行する (ステップ 209, 211, 213)。

[0035] (4)サーバ装置 100の無線送受信回路 101は、オーディオ再生装置 110及び映像再生装置 120より送信された再生推定時刻情報 TT1, TT2を受信し、映像データの再生推定時刻情報 TT1と、オーディオデータの再生推定時刻情報 TT2とを比較して再生推定時刻差情報 A t=TTl— TT2を計算し (ステップ 215)、計算した再生推定時刻差情報 A t (例えば、 A t= 100ミリ秒であれば、映像データの出力の方が 100 ミリ秒遅いことを示す。 )をオーディオ再生装置 120及びオーディオ再生装置 110に対して無線送信する (ステップ 216)。

[0036] (5)オーディオ再生装置 110のシステムコントローラ 112は、無線受信した再生推定時刻差情報 A tに応じて、その時間差が小さくなるようにデコーダコントローラ 117がオーディオデコーダ 114を制御する（ステップ 218)。一方、映像再生装置 120のシステムコントローラ 122でも、同様に、無線受信した再生推定時刻差情報 A tに応じて、その時間差が小さくなるようにデコーダコントローラ 127がオーディオデコーダ 124を制御する（ステップ 217)。デコーダコントローラ 117又は 127はそれぞれ、オーディオデコーダ 114又は映像デコーダ 124の動作クロックを数 ppm程度早くなるように補正したり、数パケットのデータの復号ィ匕を省略して制御することにより、再生時刻を早めることができ、逆にオーディオデコーダ 114又は映像デコーダ 124の動作クロックを数 ppm程度遅くなるように補正することにより、再生時刻を遅らせることができる。

[0037] 以上説明したように、本発明に係る実施形態によれば、無線通信システムを利用して送受信される動画データを再生する際に、容易に映像データとオーディオデータの再生を実質的に同期させることが可能となる。また、再生推定時刻情報及び再生推定生時間差情報の送受信、並びに、オーディオデコーダ 114及び映像デコーダ 1 24の制御処理を、例えば上記 T3タイマを用いて一定時間間隔で周期的に繰り返し行うことにより、周囲の電波環境の変化に随時対応した同期再生を実現させることが可能となる。

[0038] また、本発明に係る実施形態にお!、て、例えばホームシアターのようにオーディオを左右 2つ、もしくは、さらに多数のスピーカを備えて再生する無線通信システムや、複数のディスプレイを備える無線通信システム等にも適用することができる。

[0039] さらに、本発明に係る実施形態にお!、て、映像データとオーディオデータの再生時刻を制御できるので、複数のスピーカによって構成される無線通信システムの場合、それぞれのスピーカから再生される時刻を意図的に遅延させることにより、臨場感あるサラウンド'効果を演出させることち可會となる。

[0040] またさらに、本発明に係る実施形態では、無線通信システムを利用して送受信されるデータを映像データとオーディオデータを含む動画データとして説明した力本発明はこれに限らず、動画データであることに限定するものではなぐミニコンポなどや、ラジオ受信機のように映像出力を必要としな、オーディオシステム等にも適用することができる。

[0041] 変形例.

図 5は、本発明の変形例に係る無線通信システムにおヽて実行される同期再生出力制御処理を示すシーケンス図である。変形例は、上記の実施形態に比較して、以下の点が異なることを特徴として、る。

[0042] (1)サーバ装置 100は、再生時刻記録要求をオーディオ再生装置 110及び映像再生装置 120に対して所定の時間間隔でブロードキャスト送信する。また、オーディオ再生装置 110及び映像再生装置 120は、サーバ装置 100からの再生時刻記録要求を受信したときに、再生推定時刻情報 TT1及び TT2をそれぞれ計算する。

[0043] (2)サーバ装置 100は、再生推定時刻情送信要求をオーディオ再生装置 110及び映像再生装置 120に対して所定の時間間隔でそれぞれ無線送信する。また、ォーディォ再生装置 110及び映像再生装置 120は、サーバ装置 100からの再生推定時刻情報送信要求を受信したときに、計算された再生推定時刻情報 TT1及び TT2をサーバ装置 100に対してそれぞれ無線送信する。

[0044] ここで、サーバ装置 100は、再生時刻記録要求と、オーディオ再生装置 110への再生推定時刻情送信要求と、映像再生装置 120への再生推定時刻情送信要求とを、例えば 10秒間隔でそれぞれ無線送信する。

[0045] 変形例におけるシーケンスは、実施形態におけるシーケンスの（3A)及び（3B)を、以下の（3C) , (3C1) , (3C2) , (3D) , (3D1) , (3E)及び（3E1)に置き換えたものである。以下、実施形態との相違点について詳述する。

[0046] (3C)サーバ装置 100は、再生時刻記録要求をオーディオ再生装置 110と映像再生装置 120に対して無線送信する (ステップ 301)。 [0047] (3C1)映像再生装置 120の映像デコーダ 124は、バッファメモリ 123に格納された動画データカゝら圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報 T1をデコーダコントローラ 127に通知する。システムコントローラ 122は、サーバ装置 100から無線送信された再生時刻記録要求をアンテナ 121 A及び無線送受信回路 121を介して受信して、デコーダコントローラ 127に再生推定時刻情報 TT1の計算を指示する指令を送信する。デコーダコントローラ 127 は、再生推定時刻情報 TT1の計算を指示する指令を受信すると、映像デコーダ 124 力も通知されたタイムスタンプ情報 T1に対して、圧縮符号ィ匕された映像データがバッファメモリ 123から読み出されてカゝら抽出及び伸張復号ィ匕処理、 DZA変換処理を施してディスプレイ 126から表示出力されるまでに要する既知のデータ処理時間 tlをカロ算してなる再生推定時刻情報 TTl =Tl +tlを計算し、映像再生装置 120の一時メモリに記録する (ステップ 302)。

[0048] (3C2)オーディオ再生装置 110のオーディオデコーダ 114は、ノッファメモリ 113に格納された動画データカゝら圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれるタイムスタンプ情報 T2をデコーダコント口ーラ 117に通知する。システムコントローラ 112は、サーバ装置 100から無線送信された再生時刻記録要求をアンテナ 111A及び無線送受信回路 111を介して受信して、デコーダコントローラ 117に再生推定時刻情報 TT2の計算を指示する指令を送信する。デコーダコントローラ 117は、再生推定時刻情報 TT2の計算を指示する指令を受信すると、オーディオデコーダ 114から通知されたタイムスタンプ情報 T2に対して、圧縮符号ィ匕されたオーディオデータがバッファメモリ 113から読み出されてから抽出及び伸張復号化処理、 DZA変換処理を施してスピーカ 116から出力されるまでに要する既知のデータ処理時間 t2を加算してなる再生推定時刻情報 TT2=T2 +t2を計算し、オーディオ再生装置 110の一時メモリに記録する (ステップ 303)。

[0049] (3D)次に、サーバ装置 100は、再生推定時刻情送信要求を映像再生装置 120に対して無線送信する (ステップ 304)。 [0050] (3D1)映像再生装置 120のシステムコントローラ 122は、サーバ装置 100から無線送信された再生推定時刻情送信要求をアンテナ 121A及び無線送受信回路 121を介して受信して、デコーダコントローラ 127に再生推定時刻情報 TT1の送信指令を送信する。デコーダコントローラ 127は、計算された再生推定時刻情報 TT1をシステムコントローラ 122及び無線送受信回路 121を介してサーバ装置 100に対して無線送信する (ステップ 305)。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号ィ匕処理、 DZA変換処理並びに再生出力処理を実行する（ステップ 209, 211, 213)。

[0051] (3E)次に、サーバ装置 100は、再生推定時刻情送信要求をオーディオ再生装置 1 10に対して無線送信する (ステップ 306)。

[0052] (3E1)オーディオ再生装置 110のシステムコントローラ 112は、サーバ装置 100から無線送信された再生推定時刻情送信要求をアンテナ 111A及び無線送受信回路 111を介して受信して、デコーダコントローラ 117に再生推定時刻情報 TT2の送信指令を送信する。デコーダコントローラ 117は、計算された再生推定時刻情報 TT2をシステムコントローラ 112及び無線送受信回路 111を介してサーバ装置 100に対して無線送信する (ステップ 208)。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号ィヒ処理、 DZA変換処理並びに再生出力処理を実行する (ステップ 210, 212, 214)。

[0053] 以上の変形例においては、サーバ装置 100は再生時刻記録要求をオーディオ再生装置 110及び映像再生装置 120に対してブロードキャスト送信して、るが、本発明はこれに限らず、サーバ装置 100は再生時刻記録要求をオーディオ再生装置 110 及び映像再生装置 120に対してュ-キャスト送信しても良い。この場合は、サーバ装置 100は、再生時刻記録要求を各装置に対して無線送信した時刻の差を記録しておき、再生推定時間差情報 Δ tに加算し又は減算する。

産業上の利用可能性

[0054] 以上詳述したように、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。

Claims

請求の範囲

時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、

上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報 Δ tを無線受信した後、上記無線受信した再生推定時刻差情報 A tに基づいて、上記ォーディォ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置力再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする無線通信システム。

[2] 上記映像再生装置による再生推定時刻情報 TT1を計算して無線送信すること及び上記無線受信した再生推定時刻差情報 Δ tに基づく上記映像データの映像の再生出力する時刻を制御することと、

所定の時間間隔で周期的に繰り返して実行することを特徴とする請求項 1記載の無線通信システム。

[3] 上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間 tlは上記伸張復号化〖こ係る時間を含み、

上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディォ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間 t2は上記伸張復号化に係る時間を含むことを特徴とする請求項 1又は 2記載の無線通信システム。

[4] 時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、

上記オーディオ再生装置にお!、て、上記サーバ装置から上記再生推定時刻差情報 Δ tを無線受信した後、上記無線受信した再生推定時刻差情報 Δ tに基づ、て、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置力再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする同期再生方法。

上記映像再生装置による再生推定時刻情報 TT1を計算して無線送信すること及び上記無線受信した再生推定時刻差情報 Δ tに基づく上記映像データの映像の再生出力する時刻を制御することと、

上記オーディオ再生装置による再生推定時刻情報 TT2を計算して無線送信すること及び上記無線受信した再生推定時刻差情報 A tに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする請求項 4記載の同期再生方法。

上記映像データは圧縮符号ィヒされた映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間 tlは上記伸張復号化〖こ係る時間を含み、

上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディォ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間 t2は上記伸張復号化に係る時間を含むことを特徴とする請求項 4又は 5記載の同期再生方法。