JPWO2006064689A1 - 無線通信システム - Google Patents

無線通信システム Download PDF

Info

Publication number
JPWO2006064689A1
JPWO2006064689A1 JP2006548777A JP2006548777A JPWO2006064689A1 JP WO2006064689 A1 JPWO2006064689 A1 JP WO2006064689A1 JP 2006548777 A JP2006548777 A JP 2006548777A JP 2006548777 A JP2006548777 A JP 2006548777A JP WO2006064689 A1 JPWO2006064689 A1 JP WO2006064689A1
Authority
JP
Japan
Prior art keywords
reproduction
data
video
audio
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006548777A
Other languages
English (en)
Inventor
弘之 万木
弘之 万木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006064689A1 publication Critical patent/JPWO2006064689A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

映像再生装置１２０は映像データの時刻データＴ１に処理時間Ｔ１を加算してなる再生推定時刻情報ＴＴ１をサーバ装置１００に無線送信し、オーディオ再生装置１１０はオーディオデータの時刻データＴ２に処理時間Ｔ２を加算してなる再生推定時刻情報ＴＴ２をサーバ装置１００に無線送信する。サーバ装置１００は再生推定時刻情報ＴＴ１，ＴＴ２を無線受信しこれらの再生推定時刻差情報Δｔを計算して無線送信する。映像再生装置１２０は再生推定時刻差情報Δｔに基づき映像とオーディオが実質的に同期して再生するように映像データを再生する時刻を制御し、オーディオ再生装置１１０は再生推定時刻差情報Δｔに基づき映像とオーディオが実質的に同期して再生するようにオーディオデータを再生する時刻を制御する。

Description

本発明は、無線通信システムに関する。特に、本発明は、同一のプログラムの映像データやオーディオデータを同期再生するための無線通信システム及びそれを用いた同期再生方法に関する。
近年、インターネットのブロードバンド化や無線ＬＡＮに代表される各種無線通信システムの普及に伴い、家庭内で機器間の配線が不要で、かつ設置場所に制限されないワイヤレスのディジタル家庭電化製品が注目を集めている。その例として、いくつもの動画（例えば、ＴＶ番組など）を記録したサーバ装置と、映像を再生するディスプレイと、オーディオを再生するスピーカとを相互に無線ネットワークを介して接続して、サーバ装置から動画データを送信して、当該動画データに含まれる映像データの映像をディスプレイから再生して出力し、オーディオデータのオーディオをスピーカから再生して出力するワイヤレス映像オーディオ再生システムが提案されている。
上述のワイヤレス映像オーディオ再生システムでは、無線ネットワークを介して送受信されるデータはディジタル符号化されているため、データの復号化に要する時間や、無線ネットワークを介するデータ伝送に要する時間などにより、映像データ及びオーディオデータの送信から再生出力までにはある程度の遅延時間が存在する。ここで、映像データに要する遅延時間と、オーディオデータに要する遅延時間はそれぞれ異なり、映像データとオーディオデータが同時刻にサーバ装置から送信されたとしても、そのデータがディスプレイ及びスピーカから同時刻に再生出力されるとは限らない。このような映像データとオーディオデータとの再生時間差は、１００ミリ秒以下程度のわずかな時間であれば視聴者は気にならないが、１００ミリ秒を超える再生時間差は視聴者に違和感を覚えさせてしまう。そのため、遅延時間の差による映像とオーディオの再生時間差を小さくし、極力映像とオーディオを同期させて再生する必要がある。このような無線通信を利用した映像とオーディオの同期再生に関する従来技術として、例えば特許文献１に記載された無線送受信システムが知られている。
特開２００４−１９３８６８号公報。
特許文献１に記載された無線送受信システムは、当該システムを構成する全ての機器に共通の基準時刻を設け、動画の再生を始める前にタイムスタンプ要求及び応答パケットを送受信し、無線のデータ伝送に要する遅延時間を計測し、その結果に基づいて映像とオーディオの再生時間を定めることを特徴としている。このような方法を用いた場合、無線のデータ伝送によって発生する遅延を、映像の出力タイミングを意図的に遅延させることにより吸収し、映像とオーディオの再生時間差を小さくすることができ、一定の効果があるが、同時に以下に示す問題点を有している。
（１）実際の無線通信システムでは、無線通信路におけるデータの誤り率が有線通信路に比べて大きいことから、送受信機器の双方で十分なバッファメモリを用意し、無線通信路において多少の誤りが発生しても映像やオーディオの再生が途切れないような工夫がなされている。このバッファメモリによって発生する遅延時間が考慮されていない。
（２）システムを使用する機器周辺の電波環境は常に一定であるとは限らず、無線のデータ伝送時間も一定であるとは限らないが、電波環境の変化によって映像又はオーディオの再生時間を随時補正する手段を有していない。
本発明の目的は以上の問題点を解決し、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる無線通信システム及びそれを用いた同期再生方法を提供することにある。
第１の発明に係る無線通信システムは、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムにおいて、
上記映像再生装置は、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信し、
上記オーディオ再生装置は、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信し、
上記サーバ装置は、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信し、
上記映像再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御し、
上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする。
また、上記無線通信システムにおいて、上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行することを特徴とする。
さらに、上記無線通信システムにおいて、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする。
第２の発明に係る同期再生方法は、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムを用いた同期再生方法において、
上記映像再生装置において、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信するステップと、
上記オーディオ再生装置において、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信するステップと、
上記サーバ装置において、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信するステップと、
上記映像再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御するステップと、
上記オーディオ再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする。
また、上記同期再生方法において、上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする。
さらに、上記同期再生方法において、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする。
従って、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。
本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。 図１の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。 図１のオーディオ再生装置１１０及び映像再生装置１２０によって実行される同期再生出力制御処理を示すフローチャートである。 図１の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。 本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。
符号の説明
１００…サーバ装置、
１０１，１１１，１２１…無線送受信回路、
１０１Ａ，１１１Ａ，１２１Ａ…アンテナ、
１０２，１１２，１２２…システムコントローラ、
１０３，１１３，１２３…バッファメモリ、
１０４…動画データメモリ、
１１０…オーディオ再生装置、
１１４…オーディオデコーダ、
１１５，１２５…Ｄ／Ａ変換器、
１１６…スピーカ、
１１７，１２７…デコーダコントローラ、
１２０…映像再生装置、
１２４…映像デコーダ、
１２６…ディスプレイ、
３０１…映像データパラメータ情報、
３０２…オーディオデータパラメータ情報、
３０３…映像データパケット、
３０４…オーディオデータパケット、
３１１…タイムスタンプ情報、
３１２…キーフレーム情報、
３１３…圧縮符号化された映像データ、
３２１…タイムスタンプ情報、
３２２…圧縮符号化されたオーディオデータ。
以下、本発明に係る実施形態について図面を参照して説明する。なお、同様の構成要素については同一の符号を付している。
実施形態．
図１は本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。本実施形態に係る無線通信システムは、ワイヤレス映像オーディオ再生システムに適用されるものであり、図１に示すように、例えばＤＶＤレコーダ又はパーソナルコンピュータなどのサーバ装置１００と、オーディオ再生装置１１０と、映像再生装置１２０とを備えて構成され、それらは無線ＬＡＮなどの無線ネットワークを介して接続されている。
図１において、サーバ装置１００は、アンテナ１０１Ａが接続された無線送受信回路１０１と、システムコントローラ１０２と、バッファメモリ１０３と、例えばハードディスクドライブなどの動画データメモリ１０４とを備えて構成される。また、オーディオ再生装置１１０は、アンテナ１１１Ａが接続された無線送受信回路１１１と、システムコントローラ１１２と、バッファメモリ１１３と、オーディオデコーダ１１４と、ディジタル／アナログ変換器（以下、Ｄ／Ａ変換器という。）１１５と、スピーカ１１６と、デコーダコントローラ１１７とを備えて構成される。ここで、システムコントローラ１１２はオーディオ再生装置１１０の他の回路要素１１１乃至１１５の動作を制御する。さらに、映像再生装置１２０は、アンテナ１２１Ａが接続された無線送受信回路１２１と、システムコントローラ１２２と、バッファメモリ１２３と、映像デコーダ１２４と、Ｄ／Ａ変換器１２５と、ディスプレイ１２６と、デコーダコントローラ１２７とを備えて構成される。ここで、システムコントローラ１２２は映像再生装置１２０の他の回路要素１２１乃至１２５の動作を制御する。
サーバ装置１００において、ユーザの操作により動画データメモリ１０４に予め格納された動画データ（例えば複数のプログラムデータを含み、各プログラムデータは、映像データと、オーディオデータとを含む。）は、例えばブルートゥース（Ｂｌｕｅｔｏｏｔｈ）や無線ＬＡＮ等の無線ネットワークの規格に準拠した無線通信機能を有する無線送受信回路１０１に入力され、無線送受信回路１０１は入力される動画データに従って、無線搬送波を所定のディジタル変調方式を用いて無線信号にディジタル変調した後、アンテナ１０１Ａを用いて、オーディオ再生装置１１０、及び映像再生装置１２０に対して送信する。ここで、動画データメモリ１０４に記録された動画データは、例えば、圧縮符号化された映像オーディオデータ（例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などに準拠して形成された動画データである。）であるが、本発明はこれに限らず、その他の方式で符号化されたデータであってもよい。
図２は図１の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。なお、当該１つのパケット信号の前段には、無線ネットワークにおいて送受信するための情報（発信元アドレスや、宛作アドレスなどの情報）が付加される。当該パケット信号は、図２に示すように、映像データに関するＩＤや圧縮符号化方式及びそれに関する仕様情報などを含む映像データパラメータ情報３０１と、オーディオデータに関するＩＤや圧縮符号化方式及びそれに関する仕様情報などを含むオーディオデータパラメータ情報３０２と、映像データパケット３０３と、オーディオデータパケット３０４と、それに続く映像データパケット３０３及びオーディオデータパケット３０４とを含み構成される。ここで、映像データパケット３０３は、１つのプログラムの最初の時刻を０時０分０秒として計時され当該圧縮符号化された映像データ３１３の最初のデータの時刻情報であるタイムスタンプ情報３１１と、例えばＭＰＥＧ方式で圧縮符号化されているときはＩピクチャのフレーム情報であるキーフレーム情報３１２と、圧縮符号化された映像データ（映像コンテンツデータ）３１３とを含む。また、オーディオデータパケット３０４は、１つのプログラムの最初の時刻を０時０分０秒として計時され当該圧縮符号化されたオーディオデータ３２２の最初のデータの時刻情報であるタイムスタンプ情報３２１と、圧縮符号化されたオーディオデータ（オーディオコンテンツデータ）３２２とを含む。すなわち、図２に示すように、圧縮符号化された映像データ及びオーディオデータには、再生時刻を定めるためのタイムスタンプ情報が含まれている。
図１において、オーディオ再生装置１１０では、サーバ装置１００から無線送信された動画データを含む無線信号をアンテナ１１１Ａを用いて受信して無線送受信回路１１１に出力する。無線送受信回路１１１は無線送受信回路１０１と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ１１２を介して一旦バッファメモリ１１３に格納する。次いで、オーディオデコーダ１１４はバッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出し、伸張及び復号化処理を行って伸張復号化されたオーディオデータに変換した後Ｄ／Ａ変換器１１５に出力する。Ｄ／Ａ変換器１１５は入力されるオーディオデータをアナログオーディオデータに変換した後、スピーカ１１６に出力してオーディオの音として再生する。
また、映像再生装置１２０では、サーバ装置１００から無線送信された動画データを含む無線信号をアンテナ１２１Ａを用いて受信して無線送受信回路１２１に出力する。無線送受信回路１２１は無線送受信回路１０１と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ１２２を介して一旦バッファメモリ１２３に格納する。次いで、映像デコーダ１２４はバッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出し、伸張及び復号化処理を行って伸張復号化された映像データに変換した後Ｄ／Ａ変換器１２５に出力する。Ｄ／Ａ変換器１２５は入力される映像データをアナログ映像データに変換した後、ディスプレイ１２６に出力して当該映像データの映像を再生して表示する。
ここで、バッファメモリ１１３，１２３は、無線通信における伝送誤りによって映像やオーディオの再生が途切れないようにデータを格納しておく役割を担っている。一方でこのバッファメモリ１１３，１２３のそれぞれに再生すべきデータが格納されることにより、サーバ装置１００から送信された動画データがスピーカ１１６とディスプレイ１２６から同時にオーディオと映像が出力されるとは限らないという問題点があった。この問題点を解決するために、本実施形態に係る無線通信システムでは、以下の同期再生出力制御処理を実行する。
図３は図１のオーディオ再生装置１１０及び映像再生装置１２０によって実行される同期再生出力制御処理を示すフローチャートである。
図３において、まず、ステップＳ１では、時間Ｔ３を計時するＴ３タイマ（図３のステップＳ１０でのＮＯの処理に示すように、所定の時間Ｔ３以内では、復号化時の再生時刻の補正は不要で即時に復号化するように制御するために、Ｔ３タイマが設けられている。）の計時をスタートさせ、ステップＳ２において動画再生の開始か又は動画の再生中であるか否かが判断され、ＹＥＳのときはステップＳ３に進む一方、ＮＯのときは当該同期再生出力制御処理を終了する。ステップＳ３において、データを無線受信したか否かが判断され、ＹＥＳのときはステップＳ４に進む一方、ＮＯのときはステップＳ２に戻る。次いで、ステップＳ４では、無線受信したデータは時間差情報（Δｔ）である否かが判断され、ＹＥＳのときはステップＳ５に進む一方、ＮＯのとき、すなわち動画データのときはステップＳ７に進む。ステップＳ５では、受信された時間差情報（Δｔ）に基づいて復号化再生時刻の補正が必要であるか否かが判断される。ここでは、例えば｜Δｔ｜＞１００ミリ秒であるときにユーザが顕著な映像とオーディオの時間差として認識可能であると判断して、ステップＳ６において、受信された時間差情報（Δｔ）に基づいて、デコーダ１１４又は１２４を制御して各データの再生時刻を遅延させた後、ステップＳ２に戻る。一方、ステップＳ５でＮＯであるときは、ステップＳ６の処理を実行させずに、ステップＳ２に戻る。
ステップＳ７では、動画データをバッファメモリ１１３又は１２３に格納し、ステップＳ８では、バッファメモリ１１３又は１２３に例えば１０ＭＢなど一定量の動画データが格納されたか否かが判断され、ＹＥＳのときはステップＳ９に進む一方、ＮＯのときはステップＳ２に戻る。次いで、ステップＳ９では、復号化すべき動画データをバッファメモリ１１３又は１２３から読み出し、ステップＳ１０では、Ｔ３タイマは一定時間Ｔ３だけ計時してタイムオーバーしたか否かが判断され、ＹＥＳのときはステップＳ１１に進む一方、ＮＯのときはステップＳ１４に進む。ステップＳ１１では、読み出したデータからタイムスタンプ情報Ｔ１又はＴ２を取り出し、ステップＳ１２では、再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１又はＴＴ２＝Ｔ２＋ｔ２を計算し、計算した再生推定時刻情報ＴＴ１又はＴＴ２をサーバ装置１００に無線送信する。
ここで、ｔ１は、図４に示すように、所定の圧縮符号化された映像データ量に対して、映像デコーダ１２４による映像データの抽出及び伸張復号化処理から、Ｄ／Ａ変換器１２５によるＤ／Ａ変換処理を経て、ディスプレイ１２６による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。また、ｔ２は、図４に示すように、所定の圧縮符号化されたオーディオデータ量に対して、オーディオデコーダ１１４によるオーディオデータの抽出及び伸張復号化処理から、Ｄ／Ａ変換器１２５によるＤ／Ａ変換処理を経て、スピーカ１１６による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。ここで、既知のデータ処理時間ｔ１，ｔ２は周囲の電波環境や温度、湿度などによらずほぼ一定である。
そして、ステップＳ１３では、Ｔ３タイマをリセットしステップＳ１４に進む。ステップＳ１４では、デコーダ１１４又は１２４に伸張復号化すべきデータを転送して伸張復号化処理を実行させた後、ステップＳ２に戻る。
図４は図１の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。以下、図４を参照して、映像とオーディオを同期再生させるための同期再生出力制御処理について説明する。
（１）まず、サーバ装置１００は、再生すべき動画データを抽出して（ステップ２０１）、オーディオ再生装置１１０及び映像再生装置１２０に対して無線送信する（ステップ２０２）。
（２）オーディオ再生装置１１０は、サーバ装置１００から無線送信された動画データを無線受信して（ステップ２０４）、バッファメモリ１１３に格納する（ステップ２０６）。また、映像再生装置１２０でも同様に、サーバ装置１００から無線送信された動画データを無線受信して（ステップ２０３）、バッファメモリ１２３に格納する（ステップ２０５）。
（３Ａ）オーディオ再生装置１１０のオーディオデコーダ１１４は、バッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれるタイムスタンプ情報Ｔ２をデコーダコントローラ１１７に通知する。デコーダコントローラ１１７は、通知されたタイムスタンプ情報Ｔ２に対して、圧縮符号化されたオーディオデータがバッファメモリ１１３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してスピーカ１１６から出力されるまでに要する既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２＝Ｔ２＋ｔ２を計算して、計算された再生推定時刻情報ＴＴ２をシステムコントローラ１１２及び無線送受信回路１１１を介してサーバ装置１００に対して無線送信する（ステップ２０８）。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２１０，２１２，２１４）。
（３Ｂ）映像再生装置１２０の映像デコーダ１２４は、バッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報Ｔ１をデコーダコントローラ１２７に通知する。デコーダコントローラ１２７は、通知されたタイムスタンプ情報Ｔ１に対して、圧縮符号化された映像データがバッファメモリ１２３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してディスプレイ１２６から表示出力されるまでに要する既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１を計算して、計算された再生推定時刻情報ＴＴ１をシステムコントローラ１２２及び無線送受信回路１２１を介してサーバ装置１００に対して無線送信する（ステップ２０７）。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２０９，２１１，２１３）。
（４）サーバ装置１００の無線送受信回路１０１は、オーディオ再生装置１１０及び映像再生装置１２０より送信された再生推定時刻情報ＴＴ１，ＴＴ２を受信し、映像データの再生推定時刻情報ＴＴ１と、オーディオデータの再生推定時刻情報ＴＴ２とを比較して再生推定時刻差情報Δｔ＝ＴＴ１−ＴＴ２を計算し（ステップ２１５）、計算した再生推定時刻差情報Δｔ（例えば、Δｔ＝１００ミリ秒であれば、映像データの出力の方が１００ミリ秒遅いことを示す。）をオーディオ再生装置１２０及びオーディオ再生装置１１０に対して無線送信する（ステップ２１６）。
（５）オーディオ再生装置１１０のシステムコントローラ１１２は、無線受信した再生推定時刻差情報Δｔに応じて、その時間差が小さくなるようにデコーダコントローラ１１７がオーディオデコーダ１１４を制御する（ステップ２１８）。一方、映像再生装置１２０のシステムコントローラ１２２でも、同様に、無線受信した再生推定時刻差情報Δｔに応じて、その時間差が小さくなるようにデコーダコントローラ１２７がオーディオデコーダ１２４を制御する（ステップ２１７）。デコーダコントローラ１１７又は１２７はそれぞれ、オーディオデコーダ１１４又は映像デコーダ１２４の動作クロックを数ｐｐｍ程度早くなるように補正したり、数パケットのデータの復号化を省略して制御することにより、再生時刻を早めることができ、逆にオーディオデコーダ１１４又は映像デコーダ１２４の動作クロックを数ｐｐｍ程度遅くなるように補正することにより、再生時刻を遅らせることができる。
以上説明したように、本発明に係る実施形態によれば、無線通信システムを利用して送受信される動画データを再生する際に、容易に映像データとオーディオデータの再生を実質的に同期させることが可能となる。また、再生推定時刻情報及び再生推定生時間差情報の送受信、並びに、オーディオデコーダ１１４及び映像デコーダ１２４の制御処理を、例えば上記Ｔ３タイマを用いて一定時間間隔で周期的に繰り返し行うことにより、周囲の電波環境の変化に随時対応した同期再生を実現させることが可能となる。
また、本発明に係る実施形態において、例えばホームシアターのようにオーディオを左右２つ、もしくは、さらに多数のスピーカを備えて再生する無線通信システムや、複数のディスプレイを備える無線通信システム等にも適用することができる。
さらに、本発明に係る実施形態において、映像データとオーディオデータの再生時刻を制御できるので、複数のスピーカによって構成される無線通信システムの場合、それぞれのスピーカから再生される時刻を意図的に遅延させることにより、臨場感あるサラウンド効果を演出させることも可能となる。
またさらに、本発明に係る実施形態では、無線通信システムを利用して送受信されるデータを映像データとオーディオデータを含む動画データとして説明したが、本発明はこれに限らず、動画データであることに限定するものではなく、ミニコンポなどや、ラジオ受信機のように映像出力を必要としないオーディオシステム等にも適用することができる。
変形例．
図５は、本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。変形例は、上記の実施形態に比較して、以下の点が異なることを特徴としている。
（１）サーバ装置１００は、再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対して所定の時間間隔でブロードキャスト送信する。また、オーディオ再生装置１１０及び映像再生装置１２０は、サーバ装置１００からの再生時刻記録要求を受信したときに、再生推定時刻情報ＴＴ１及びＴＴ２をそれぞれ計算する。
（２）サーバ装置１００は、再生推定時刻情送信要求をオーディオ再生装置１１０及び映像再生装置１２０に対して所定の時間間隔でそれぞれ無線送信する。また、オーディオ再生装置１１０及び映像再生装置１２０は、サーバ装置１００からの再生推定時刻情報送信要求を受信したときに、計算された再生推定時刻情報ＴＴ１及びＴＴ２をサーバ装置１００に対してそれぞれ無線送信する。
ここで、サーバ装置１００は、再生時刻記録要求と、オーディオ再生装置１１０への再生推定時刻情送信要求と、映像再生装置１２０への再生推定時刻情送信要求とを、例えば１０秒間隔でそれぞれ無線送信する。
変形例におけるシーケンスは、実施形態におけるシーケンスの（３Ａ）及び（３Ｂ）を、以下の（３Ｃ），（３Ｃ１），（３Ｃ２），（３Ｄ），（３Ｄ１），（３Ｅ）及び（３Ｅ１）に置き換えたものである。以下、実施形態との相違点について詳述する。
（３Ｃ）サーバ装置１００は、再生時刻記録要求をオーディオ再生装置１１０と映像再生装置１２０に対して無線送信する（ステップ３０１）。
（３Ｃ１）映像再生装置１２０の映像デコーダ１２４は、バッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報Ｔ１をデコーダコントローラ１２７に通知する。システムコントローラ１２２は、サーバ装置１００から無線送信された再生時刻記録要求をアンテナ１２１Ａ及び無線送受信回路１２１を介して受信して、デコーダコントローラ１２７に再生推定時刻情報ＴＴ１の計算を指示する指令を送信する。デコーダコントローラ１２７は、再生推定時刻情報ＴＴ１の計算を指示する指令を受信すると、映像デコーダ１２４から通知されたタイムスタンプ情報Ｔ１に対して、圧縮符号化された映像データがバッファメモリ１２３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してディスプレイ１２６から表示出力されるまでに要する既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１を計算し、映像再生装置１２０の一時メモリに記録する（ステップ３０２）。
（３Ｃ２）オーディオ再生装置１１０のオーディオデコーダ１１４は、バッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれるタイムスタンプ情報Ｔ２をデコーダコントローラ１１７に通知する。システムコントローラ１１２は、サーバ装置１００から無線送信された再生時刻記録要求をアンテナ１１１Ａ及び無線送受信回路１１１を介して受信して、デコーダコントローラ１１７に再生推定時刻情報ＴＴ２の計算を指示する指令を送信する。デコーダコントローラ１１７は、再生推定時刻情報ＴＴ２の計算を指示する指令を受信すると、オーディオデコーダ１１４から通知されたタイムスタンプ情報Ｔ２に対して、圧縮符号化されたオーディオデータがバッファメモリ１１３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してスピーカ１１６から出力されるまでに要する既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２＝Ｔ２＋ｔ２を計算し、オーディオ再生装置１１０の一時メモリに記録する（ステップ３０３）。
（３Ｄ）次に、サーバ装置１００は、再生推定時刻情送信要求を映像再生装置１２０に対して無線送信する（ステップ３０４）。
（３Ｄ１）映像再生装置１２０のシステムコントローラ１２２は、サーバ装置１００から無線送信された再生推定時刻情送信要求をアンテナ１２１Ａ及び無線送受信回路１２１を介して受信して、デコーダコントローラ１２７に再生推定時刻情報ＴＴ１の送信指令を送信する。デコーダコントローラ１２７は、計算された再生推定時刻情報ＴＴ１をシステムコントローラ１２２及び無線送受信回路１２１を介してサーバ装置１００に対して無線送信する（ステップ３０５）。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２０９，２１１，２１３）。
（３Ｅ）次に、サーバ装置１００は、再生推定時刻情送信要求をオーディオ再生装置１１０に対して無線送信する（ステップ３０６）。
（３Ｅ１）オーディオ再生装置１１０のシステムコントローラ１１２は、サーバ装置１００から無線送信された再生推定時刻情送信要求をアンテナ１１１Ａ及び無線送受信回路１１１を介して受信して、デコーダコントローラ１１７に再生推定時刻情報ＴＴ２の送信指令を送信する。デコーダコントローラ１１７は、計算された再生推定時刻情報ＴＴ２をシステムコントローラ１１２及び無線送受信回路１１１を介してサーバ装置１００に対して無線送信する（ステップ２０８）。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２１０，２１２，２１４）。
以上の変形例においては、サーバ装置１００は再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対してブロードキャスト送信しているが、本発明はこれに限らず、サーバ装置１００は再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対してユニキャスト送信しても良い。この場合は、サーバ装置１００は、再生時刻記録要求を各装置に対して無線送信した時刻の差を記録しておき、再生推定時間差情報Δｔに加算し又は減算する。
以上詳述したように、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。
本発明は、無線通信システムに関する。特に、本発明は、同一のプログラムの映像データやオーディオデータを同期再生するための無線通信システム及びそれを用いた同期再生方法に関する。
近年、インターネットのブロードバンド化や無線ＬＡＮに代表される各種無線通信システムの普及に伴い、家庭内で機器間の配線が不要で、かつ設置場所に制限されないワイヤレスのディジタル家庭電化製品が注目を集めている。その例として、いくつもの動画（例えば、ＴＶ番組など）を記録したサーバ装置と、映像を再生するディスプレイと、オーディオを再生するスピーカとを相互に無線ネットワークを介して接続して、サーバ装置から動画データを送信して、当該動画データに含まれる映像データの映像をディスプレイから再生して出力し、オーディオデータのオーディオをスピーカから再生して出力するワイヤレス映像オーディオ再生システムが提案されている。
上述のワイヤレス映像オーディオ再生システムでは、無線ネットワークを介して送受信されるデータはディジタル符号化されているため、データの復号化に要する時間や、無線ネットワークを介するデータ伝送に要する時間などにより、映像データ及びオーディオデータの送信から再生出力までにはある程度の遅延時間が存在する。ここで、映像データに要する遅延時間と、オーディオデータに要する遅延時間はそれぞれ異なり、映像データとオーディオデータが同時刻にサーバ装置から送信されたとしても、そのデータがディスプレイ及びスピーカから同時刻に再生出力されるとは限らない。このような映像データとオーディオデータとの再生時間差は、１００ミリ秒以下程度のわずかな時間であれば視聴者は気にならないが、１００ミリ秒を超える再生時間差は視聴者に違和感を覚えさせてしまう。そのため、遅延時間の差による映像とオーディオの再生時間差を小さくし、極力映像とオーディオを同期させて再生する必要がある。このような無線通信を利用した映像とオーディオの同期再生に関する従来技術として、例えば特許文献１に記載された無線送受信システムが知られている。
特開２００４−１９３８６８号公報。
特許文献１に記載された無線送受信システムは、当該システムを構成する全ての機器に共通の基準時刻を設け、動画の再生を始める前にタイムスタンプ要求及び応答パケットを送受信し、無線のデータ伝送に要する遅延時間を計測し、その結果に基づいて映像とオーディオの再生時間を定めることを特徴としている。このような方法を用いた場合、無線のデータ伝送によって発生する遅延を、映像の出力タイミングを意図的に遅延させることにより吸収し、映像とオーディオの再生時間差を小さくすることができ、一定の効果があるが、同時に以下に示す問題点を有している。
（１）実際の無線通信システムでは、無線通信路におけるデータの誤り率が有線通信路に比べて大きいことから、送受信機器の双方で十分なバッファメモリを用意し、無線通信路において多少の誤りが発生しても映像やオーディオの再生が途切れないような工夫がなされている。このバッファメモリによって発生する遅延時間が考慮されていない。
（２）システムを使用する機器周辺の電波環境は常に一定であるとは限らず、無線のデータ伝送時間も一定であるとは限らないが、電波環境の変化によって映像又はオーディオの再生時間を随時補正する手段を有していない。
本発明の目的は以上の問題点を解決し、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる無線通信システム及びそれを用いた同期再生方法を提供することにある。
第１の発明に係る無線通信システムは、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムにおいて、
上記映像再生装置は、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信し、
上記オーディオ再生装置は、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信し、
上記サーバ装置は、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信し、
上記映像再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御し、
上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする。
また、上記無線通信システムにおいて、上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行することを特徴とする。
さらに、上記無線通信システムにおいて、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする。
第２の発明に係る同期再生方法は、時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムを用いた同期再生方法において、
上記映像再生装置において、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信するステップと、
上記オーディオ再生装置において、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信するステップと、
上記サーバ装置において、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信するステップと、
上記映像再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御するステップと、
上記オーディオ再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする。
また、上記同期再生方法において、上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする。
さらに、上記同期再生方法において、上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする。
従って、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。
以下、本発明に係る実施形態について図面を参照して説明する。なお、同様の構成要素については同一の符号を付している。
実施形態．
図１は本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。本実施形態に係る無線通信システムは、ワイヤレス映像オーディオ再生システムに適用されるものであり、図１に示すように、例えばＤＶＤレコーダ又はパーソナルコンピュータなどのサーバ装置１００と、オーディオ再生装置１１０と、映像再生装置１２０とを備えて構成され、それらは無線ＬＡＮなどの無線ネットワークを介して接続されている。
図１において、サーバ装置１００は、アンテナ１０１Ａが接続された無線送受信回路１０１と、システムコントローラ１０２と、バッファメモリ１０３と、例えばハードディスクドライブなどの動画データメモリ１０４とを備えて構成される。また、オーディオ再生装置１１０は、アンテナ１１１Ａが接続された無線送受信回路１１１と、システムコントローラ１１２と、バッファメモリ１１３と、オーディオデコーダ１１４と、ディジタル／アナログ変換器（以下、Ｄ／Ａ変換器という。）１１５と、スピーカ１１６と、デコーダコントローラ１１７とを備えて構成される。ここで、システムコントローラ１１２はオーディオ再生装置１１０の他の回路要素１１１乃至１１５の動作を制御する。さらに、映像再生装置１２０は、アンテナ１２１Ａが接続された無線送受信回路１２１と、システムコントローラ１２２と、バッファメモリ１２３と、映像デコーダ１２４と、Ｄ／Ａ変換器１２５と、ディスプレイ１２６と、デコーダコントローラ１２７とを備えて構成される。ここで、システムコントローラ１２２は映像再生装置１２０の他の回路要素１２１乃至１２５の動作を制御する。
サーバ装置１００において、ユーザの操作により動画データメモリ１０４に予め格納された動画データ（例えば複数のプログラムデータを含み、各プログラムデータは、映像データと、オーディオデータとを含む。）は、例えばブルートゥース（Ｂｌｕｅｔｏｏｔｈ）や無線ＬＡＮ等の無線ネットワークの規格に準拠した無線通信機能を有する無線送受信回路１０１に入力され、無線送受信回路１０１は入力される動画データに従って、無線搬送波を所定のディジタル変調方式を用いて無線信号にディジタル変調した後、アンテナ１０１Ａを用いて、オーディオ再生装置１１０、及び映像再生装置１２０に対して送信する。ここで、動画データメモリ１０４に記録された動画データは、例えば、圧縮符号化された映像オーディオデータ（例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などに準拠して形成された動画データである。）であるが、本発明はこれに限らず、その他の方式で符号化されたデータであってもよい。
図２は図１の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。なお、当該１つのパケット信号の前段には、無線ネットワークにおいて送受信するための情報（発信元アドレスや、宛作アドレスなどの情報）が付加される。当該パケット信号は、図２に示すように、映像データに関するＩＤや圧縮符号化方式及びそれに関する仕様情報などを含む映像データパラメータ情報３０１と、オーディオデータに関するＩＤや圧縮符号化方式及びそれに関する仕様情報などを含むオーディオデータパラメータ情報３０２と、映像データパケット３０３と、オーディオデータパケット３０４と、それに続く映像データパケット３０３及びオーディオデータパケット３０４とを含み構成される。ここで、映像データパケット３０３は、１つのプログラムの最初の時刻を０時０分０秒として計時され当該圧縮符号化された映像データ３１３の最初のデータの時刻情報であるタイムスタンプ情報３１１と、例えばＭＰＥＧ方式で圧縮符号化されているときはＩピクチャのフレーム情報であるキーフレーム情報３１２と、圧縮符号化された映像データ（映像コンテンツデータ）３１３とを含む。また、オーディオデータパケット３０４は、１つのプログラムの最初の時刻を０時０分０秒として計時され当該圧縮符号化されたオーディオデータ３２２の最初のデータの時刻情報であるタイムスタンプ情報３２１と、圧縮符号化されたオーディオデータ（オーディオコンテンツデータ）３２２とを含む。すなわち、図２に示すように、圧縮符号化された映像データ及びオーディオデータには、再生時刻を定めるためのタイムスタンプ情報が含まれている。
図１において、オーディオ再生装置１１０では、サーバ装置１００から無線送信された動画データを含む無線信号をアンテナ１１１Ａを用いて受信して無線送受信回路１１１に出力する。無線送受信回路１１１は無線送受信回路１０１と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ１１２を介して一旦バッファメモリ１１３に格納する。次いで、オーディオデコーダ１１４はバッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出し、伸張及び復号化処理を行って伸張復号化されたオーディオデータに変換した後Ｄ／Ａ変換器１１５に出力する。Ｄ／Ａ変換器１１５は入力されるオーディオデータをアナログオーディオデータに変換した後、スピーカ１１６に出力してオーディオの音として再生する。
また、映像再生装置１２０では、サーバ装置１００から無線送信された動画データを含む無線信号をアンテナ１２１Ａを用いて受信して無線送受信回路１２１に出力する。無線送受信回路１２１は無線送受信回路１０１と同様の無線送受信機能を有し、入力される無線信号を受信して、上記ディジタル変調方式とは逆のディジタル復調方式を用いて動画データに復調した後、システムコントローラ１２２を介して一旦バッファメモリ１２３に格納する。次いで、映像デコーダ１２４はバッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出し、伸張及び復号化処理を行って伸張復号化された映像データに変換した後Ｄ／Ａ変換器１２５に出力する。Ｄ／Ａ変換器１２５は入力される映像データをアナログ映像データに変換した後、ディスプレイ１２６に出力して当該映像データの映像を再生して表示する。
ここで、バッファメモリ１１３，１２３は、無線通信における伝送誤りによって映像やオーディオの再生が途切れないようにデータを格納しておく役割を担っている。一方でこのバッファメモリ１１３，１２３のそれぞれに再生すべきデータが格納されることにより、サーバ装置１００から送信された動画データがスピーカ１１６とディスプレイ１２６から同時にオーディオと映像が出力されるとは限らないという問題点があった。この問題点を解決するために、本実施形態に係る無線通信システムでは、以下の同期再生出力制御処理を実行する。
図３は図１のオーディオ再生装置１１０及び映像再生装置１２０によって実行される同期再生出力制御処理を示すフローチャートである。
図３において、まず、ステップＳ１では、時間Ｔ３を計時するＴ３タイマ（図３のステップＳ１０でのＮＯの処理に示すように、所定の時間Ｔ３以内では、復号化時の再生時刻の補正は不要で即時に復号化するように制御するために、Ｔ３タイマが設けられている。）の計時をスタートさせ、ステップＳ２において動画再生の開始か又は動画の再生中であるか否かが判断され、ＹＥＳのときはステップＳ３に進む一方、ＮＯのときは当該同期再生出力制御処理を終了する。ステップＳ３において、データを無線受信したか否かが判断され、ＹＥＳのときはステップＳ４に進む一方、ＮＯのときはステップＳ２に戻る。次いで、ステップＳ４では、無線受信したデータは時間差情報（Δｔ）である否かが判断され、ＹＥＳのときはステップＳ５に進む一方、ＮＯのとき、すなわち動画データのときはステップＳ７に進む。ステップＳ５では、受信された時間差情報（Δｔ）に基づいて復号化再生時刻の補正が必要であるか否かが判断される。ここでは、例えば｜Δｔ｜＞１００ミリ秒であるときにユーザが顕著な映像とオーディオの時間差として認識可能であると判断して、ステップＳ６において、受信された時間差情報（Δｔ）に基づいて、デコーダ１１４又は１２４を制御して各データの再生時刻を遅延させた後、ステップＳ２に戻る。一方、ステップＳ５でＮＯであるときは、ステップＳ６の処理を実行させずに、ステップＳ２に戻る。
ステップＳ７では、動画データをバッファメモリ１１３又は１２３に格納し、ステップＳ８では、バッファメモリ１１３又は１２３に例えば１０ＭＢなど一定量の動画データが格納されたか否かが判断され、ＹＥＳのときはステップＳ９に進む一方、ＮＯのときはステップＳ２に戻る。次いで、ステップＳ９では、復号化すべき動画データをバッファメモリ１１３又は１２３から読み出し、ステップＳ１０では、Ｔ３タイマは一定時間Ｔ３だけ計時してタイムオーバーしたか否かが判断され、ＹＥＳのときはステップＳ１１に進む一方、ＮＯのときはステップＳ１４に進む。ステップＳ１１では、読み出したデータからタイムスタンプ情報Ｔ１又はＴ２を取り出し、ステップＳ１２では、再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１又はＴＴ２＝Ｔ２＋ｔ２を計算し、計算した再生推定時刻情報ＴＴ１又はＴＴ２をサーバ装置１００に無線送信する。
ここで、ｔ１は、図４に示すように、所定の圧縮符号化された映像データ量に対して、映像デコーダ１２４による映像データの抽出及び伸張復号化処理から、Ｄ／Ａ変換器１２５によるＤ／Ａ変換処理を経て、ディスプレイ１２６による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。また、ｔ２は、図４に示すように、所定の圧縮符号化されたオーディオデータ量に対して、オーディオデコーダ１１４によるオーディオデータの抽出及び伸張復号化処理から、Ｄ／Ａ変換器１２５によるＤ／Ａ変換処理を経て、スピーカ１１６による再生出力処理までに要する、装置に依存して予め決定可能な既知のデータ処理時間である。ここで、既知のデータ処理時間ｔ１，ｔ２は周囲の電波環境や温度、湿度などによらずほぼ一定である。
そして、ステップＳ１３では、Ｔ３タイマをリセットしステップＳ１４に進む。ステップＳ１４では、デコーダ１１４又は１２４に伸張復号化すべきデータを転送して伸張復号化処理を実行させた後、ステップＳ２に戻る。
図４は図１の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。以下、図４を参照して、映像とオーディオを同期再生させるための同期再生出力制御処理について説明する。
（１）まず、サーバ装置１００は、再生すべき動画データを抽出して（ステップ２０１）、オーディオ再生装置１１０及び映像再生装置１２０に対して無線送信する（ステップ２０２）。
（２）オーディオ再生装置１１０は、サーバ装置１００から無線送信された動画データを無線受信して（ステップ２０４）、バッファメモリ１１３に格納する（ステップ２０６）。また、映像再生装置１２０でも同様に、サーバ装置１００から無線送信された動画データを無線受信して（ステップ２０３）、バッファメモリ１２３に格納する（ステップ２０５）。
（３Ａ）オーディオ再生装置１１０のオーディオデコーダ１１４は、バッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれるタイムスタンプ情報Ｔ２をデコーダコントローラ１１７に通知する。デコーダコントローラ１１７は、通知されたタイムスタンプ情報Ｔ２に対して、圧縮符号化されたオーディオデータがバッファメモリ１１３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してスピーカ１１６から出力されるまでに要する既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２＝Ｔ２＋ｔ２を計算して、計算された再生推定時刻情報ＴＴ２をシステムコントローラ１１２及び無線送受信回路１１１を介してサーバ装置１００に対して無線送信する（ステップ２０８）。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２１０，２１２，２１４）。
（３Ｂ）映像再生装置１２０の映像デコーダ１２４は、バッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報Ｔ１をデコーダコントローラ１２７に通知する。デコーダコントローラ１２７は、通知されたタイムスタンプ情報Ｔ１に対して、圧縮符号化された映像データがバッファメモリ１２３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してディスプレイ１２６から表示出力されるまでに要する既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１を計算して、計算された再生推定時刻情報ＴＴ１をシステムコントローラ１２２及び無線送受信回路１２１を介してサーバ装置１００に対して無線送信する（ステップ２０７）。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２０９，２１１，２１３）。
（４）サーバ装置１００の無線送受信回路１０１は、オーディオ再生装置１１０及び映像再生装置１２０より送信された再生推定時刻情報ＴＴ１，ＴＴ２を受信し、映像データの再生推定時刻情報ＴＴ１と、オーディオデータの再生推定時刻情報ＴＴ２とを比較して再生推定時刻差情報Δｔ＝ＴＴ１−ＴＴ２を計算し（ステップ２１５）、計算した再生推定時刻差情報Δｔ（例えば、Δｔ＝１００ミリ秒であれば、映像データの出力の方が１００ミリ秒遅いことを示す。）をオーディオ再生装置１２０及びオーディオ再生装置１１０に対して無線送信する（ステップ２１６）。
（５）オーディオ再生装置１１０のシステムコントローラ１１２は、無線受信した再生推定時刻差情報Δｔに応じて、その時間差が小さくなるようにデコーダコントローラ１１７がオーディオデコーダ１１４を制御する（ステップ２１８）。一方、映像再生装置１２０のシステムコントローラ１２２でも、同様に、無線受信した再生推定時刻差情報Δｔに応じて、その時間差が小さくなるようにデコーダコントローラ１２７がオーディオデコーダ１２４を制御する（ステップ２１７）。デコーダコントローラ１１７又は１２７はそれぞれ、オーディオデコーダ１１４又は映像デコーダ１２４の動作クロックを数ｐｐｍ程度早くなるように補正したり、数パケットのデータの復号化を省略して制御することにより、再生時刻を早めることができ、逆にオーディオデコーダ１１４又は映像デコーダ１２４の動作クロックを数ｐｐｍ程度遅くなるように補正することにより、再生時刻を遅らせることができる。
以上説明したように、本発明に係る実施形態によれば、無線通信システムを利用して送受信される動画データを再生する際に、容易に映像データとオーディオデータの再生を実質的に同期させることが可能となる。また、再生推定時刻情報及び再生推定生時間差情報の送受信、並びに、オーディオデコーダ１１４及び映像デコーダ１２４の制御処理を、例えば上記Ｔ３タイマを用いて一定時間間隔で周期的に繰り返し行うことにより、周囲の電波環境の変化に随時対応した同期再生を実現させることが可能となる。
また、本発明に係る実施形態において、例えばホームシアターのようにオーディオを左右２つ、もしくは、さらに多数のスピーカを備えて再生する無線通信システムや、複数のディスプレイを備える無線通信システム等にも適用することができる。
さらに、本発明に係る実施形態において、映像データとオーディオデータの再生時刻を制御できるので、複数のスピーカによって構成される無線通信システムの場合、それぞれのスピーカから再生される時刻を意図的に遅延させることにより、臨場感あるサラウンド効果を演出させることも可能となる。
またさらに、本発明に係る実施形態では、無線通信システムを利用して送受信されるデータを映像データとオーディオデータを含む動画データとして説明したが、本発明はこれに限らず、動画データであることに限定するものではなく、ミニコンポなどや、ラジオ受信機のように映像出力を必要としないオーディオシステム等にも適用することができる。
変形例．
図５は、本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。変形例は、上記の実施形態に比較して、以下の点が異なることを特徴としている。
（１）サーバ装置１００は、再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対して所定の時間間隔でブロードキャスト送信する。また、オーディオ再生装置１１０及び映像再生装置１２０は、サーバ装置１００からの再生時刻記録要求を受信したときに、再生推定時刻情報ＴＴ１及びＴＴ２をそれぞれ計算する。
（２）サーバ装置１００は、再生推定時刻情送信要求をオーディオ再生装置１１０及び映像再生装置１２０に対して所定の時間間隔でそれぞれ無線送信する。また、オーディオ再生装置１１０及び映像再生装置１２０は、サーバ装置１００からの再生推定時刻情報送信要求を受信したときに、計算された再生推定時刻情報ＴＴ１及びＴＴ２をサーバ装置１００に対してそれぞれ無線送信する。
ここで、サーバ装置１００は、再生時刻記録要求と、オーディオ再生装置１１０への再生推定時刻情送信要求と、映像再生装置１２０への再生推定時刻情送信要求とを、例えば１０秒間隔でそれぞれ無線送信する。
変形例におけるシーケンスは、実施形態におけるシーケンスの（３Ａ）及び（３Ｂ）を、以下の（３Ｃ），（３Ｃ１），（３Ｃ２），（３Ｄ），（３Ｄ１），（３Ｅ）及び（３Ｅ１）に置き換えたものである。以下、実施形態との相違点について詳述する。
（３Ｃ）サーバ装置１００は、再生時刻記録要求をオーディオ再生装置１１０と映像再生装置１２０に対して無線送信する（ステップ３０１）。
（３Ｃ１）映像再生装置１２０の映像デコーダ１２４は、バッファメモリ１２３に格納された動画データから圧縮符号化された映像データを抽出して、当該圧縮符号化された映像データに対して伸張復号化処理を行うが、当該伸張復号化処理を行う映像データに含まれるタイムスタンプ情報Ｔ１をデコーダコントローラ１２７に通知する。システムコントローラ１２２は、サーバ装置１００から無線送信された再生時刻記録要求をアンテナ１２１Ａ及び無線送受信回路１２１を介して受信して、デコーダコントローラ１２７に再生推定時刻情報ＴＴ１の計算を指示する指令を送信する。デコーダコントローラ１２７は、再生推定時刻情報ＴＴ１の計算を指示する指令を受信すると、映像デコーダ１２４から通知されたタイムスタンプ情報Ｔ１に対して、圧縮符号化された映像データがバッファメモリ１２３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してディスプレイ１２６から表示出力されるまでに要する既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１＝Ｔ１＋ｔ１を計算し、映像再生装置１２０の一時メモリに記録する（ステップ３０２）。
（３Ｃ２）オーディオ再生装置１１０のオーディオデコーダ１１４は、バッファメモリ１１３に格納された動画データから圧縮符号化されたオーディオデータを抽出して、当該圧縮符号化されたオーディオデータに対して伸張復号化処理を行うが、当該伸張復号化処理を行うオーディオデータに含まれるタイムスタンプ情報Ｔ２をデコーダコントローラ１１７に通知する。システムコントローラ１１２は、サーバ装置１００から無線送信された再生時刻記録要求をアンテナ１１１Ａ及び無線送受信回路１１１を介して受信して、デコーダコントローラ１１７に再生推定時刻情報ＴＴ２の計算を指示する指令を送信する。デコーダコントローラ１１７は、再生推定時刻情報ＴＴ２の計算を指示する指令を受信すると、オーディオデコーダ１１４から通知されたタイムスタンプ情報Ｔ２に対して、圧縮符号化されたオーディオデータがバッファメモリ１１３から読み出されてから抽出及び伸張復号化処理、Ｄ／Ａ変換処理を施してスピーカ１１６から出力されるまでに要する既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２＝Ｔ２＋ｔ２を計算し、オーディオ再生装置１１０の一時メモリに記録する（ステップ３０３）。
（３Ｄ）次に、サーバ装置１００は、再生推定時刻情送信要求を映像再生装置１２０に対して無線送信する（ステップ３０４）。
（３Ｄ１）映像再生装置１２０のシステムコントローラ１２２は、サーバ装置１００から無線送信された再生推定時刻情送信要求をアンテナ１２１Ａ及び無線送受信回路１２１を介して受信して、デコーダコントローラ１２７に再生推定時刻情報ＴＴ１の送信指令を送信する。デコーダコントローラ１２７は、計算された再生推定時刻情報ＴＴ１をシステムコントローラ１２２及び無線送受信回路１２１を介してサーバ装置１００に対して無線送信する（ステップ３０５）。当該無線送信の後、上記読み出した映像データに対して、映像データの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２０９，２１１，２１３）。
（３Ｅ）次に、サーバ装置１００は、再生推定時刻情送信要求をオーディオ再生装置１１０に対して無線送信する（ステップ３０６）。
（３Ｅ１）オーディオ再生装置１１０のシステムコントローラ１１２は、サーバ装置１００から無線送信された再生推定時刻情送信要求をアンテナ１１１Ａ及び無線送受信回路１１１を介して受信して、デコーダコントローラ１１７に再生推定時刻情報ＴＴ２の送信指令を送信する。デコーダコントローラ１１７は、計算された再生推定時刻情報ＴＴ２をシステムコントローラ１１２及び無線送受信回路１１１を介してサーバ装置１００に対して無線送信する（ステップ２０８）。当該無線送信の後、上記読み出したオーディオデータに対して、オーディオデータの抽出及び伸張復号化処理、Ｄ／Ａ変換処理並びに再生出力処理を実行する（ステップ２１０，２１２，２１４）。
以上の変形例においては、サーバ装置１００は再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対してブロードキャスト送信しているが、本発明はこれに限らず、サーバ装置１００は再生時刻記録要求をオーディオ再生装置１１０及び映像再生装置１２０に対してユニキャスト送信しても良い。この場合は、サーバ装置１００は、再生時刻記録要求を各装置に対して無線送信した時刻の差を記録しておき、再生推定時間差情報Δｔに加算し又は減算する。
以上詳述したように、本発明に係る無線通信システム及び同期再生方法によれば、動画データを送信するサーバ装置と、映像データを再生出力するディスプレイと、オーディオデータを再生出力するスピーカとを備えて構成される無線通信システムにおいて、映像データとオーディオデータの同期再生を、従来技術に比較して高精度で実行できる。
本発明の一実施形態に係る無線通信システムの構成を示すブロック図である。 図１の無線通信システムにおいて送受信されるパケット信号の構成を示すブロック図である。 図１のオーディオ再生装置１１０及び映像再生装置１２０によって実行される同期再生出力制御処理を示すフローチャートである。 図１の無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。 本発明の変形例に係る無線通信システムにおいて実行される同期再生出力制御処理を示すシーケンス図である。
符号の説明
１００…サーバ装置、
１０１，１１１，１２１…無線送受信回路、
１０１Ａ，１１１Ａ，１２１Ａ…アンテナ、
１０２，１１２，１２２…システムコントローラ、
１０３，１１３，１２３…バッファメモリ、
１０４…動画データメモリ、
１１０…オーディオ再生装置、
１１４…オーディオデコーダ、
１１５，１２５…Ｄ／Ａ変換器、
１１６…スピーカ、
１１７，１２７…デコーダコントローラ、
１２０…映像再生装置、
１２４…映像デコーダ、
１２６…ディスプレイ、
３０１…映像データパラメータ情報、
３０２…オーディオデータパラメータ情報、
３０３…映像データパケット、
３０４…オーディオデータパケット、
３１１…タイムスタンプ情報、
３１２…キーフレーム情報、
３１３…圧縮符号化された映像データ、
３２１…タイムスタンプ情報、
３２２…圧縮符号化されたオーディオデータ。

Claims (6)

  1. 時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
    上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
    上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムにおいて、
    上記映像再生装置は、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信し、
    上記オーディオ再生装置は、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信し、
    上記サーバ装置は、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信し、
    上記映像再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御し、
    上記オーディオ再生装置は、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御することを特徴とする無線通信システム。
  2. 上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
    上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
    所定の時間間隔で周期的に繰り返して実行することを特徴とする請求項１記載の無線通信システム。
  3. 上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
    上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする請求項１又は２記載の無線通信システム。
  4. 時刻データ付き映像データと、時刻データ付きオーディオデータとをそれぞれ無線送信するサーバ装置と、
    上記サーバ装置から無線送信される時刻データ付き映像データを無線受信して、上記映像データの映像を再生出力する映像再生装置と、
    上記サーバ装置から無線送信される時刻データ付きオーディオデータを無線受信して、上記オーディオデータのオーディオを再生出力するオーディオ再生装置とを備えた無線通信システムを用いた同期再生方法において、
    上記映像再生装置において、上記映像データの映像を再生出力するときに、当該映像データの時刻データＴ１に、当該映像データを再生出力するために必要な既知のデータ処理時間ｔ１を加算してなる再生推定時刻情報ＴＴ１を計算して上記サーバ装置に無線送信するステップと、
    上記オーディオ再生装置において、上記オーディオデータのオーディオを再生出力するときに、当該オーディオデータの時刻データＴ２に、当該オーディオデータを再生出力するために必要な既知のデータ処理時間ｔ２を加算してなる再生推定時刻情報ＴＴ２を計算して上記サーバ装置に無線送信するステップと、
    上記サーバ装置において、上記映像再生装置から再生推定時刻情報ＴＴ１を無線受信するとともに、上記オーディオ再生装置から再生推定時刻情報ＴＴ２を無線受信した後、上記再生推定時刻情報ＴＴ１と上記再生推定時刻情報ＴＴ２との間の再生推定時刻差情報Δｔを計算して上記映像再生装置及び上記オーディオ再生装置に無線送信するステップと、
    上記映像再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記映像再生装置から再生出力される映像データの映像と、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオとが実質的に同期して再生出力するように上記映像データを再生出力する時刻を制御するステップと、
    上記オーディオ再生装置において、上記サーバ装置から上記再生推定時刻差情報Δｔを無線受信した後、上記無線受信した再生推定時刻差情報Δｔに基づいて、上記オーディオ再生装置から再生出力されるオーディオデータのオーディオと、上記映像再生装置から再生出力される映像データの映像とが実質的に同期して再生出力するように上記オーディオデータを再生出力する時刻を制御するステップとを含むことを特徴とする同期再生方法。
  5. 上記映像再生装置による再生推定時刻情報ＴＴ１を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記映像データの映像の再生出力する時刻を制御することと、
    上記オーディオ再生装置による再生推定時刻情報ＴＴ２を計算して無線送信すること及び上記無線受信した再生推定時刻差情報Δｔに基づく上記オーディオデータの映像の再生出力する時刻を制御することとを、
    所定の時間間隔で周期的に繰り返して実行するステップをさらに含むことを特徴とする請求項４記載の同期再生方法。
  6. 上記映像データは圧縮符号化された映像データであり、上記映像再生装置は無線受信した映像データを伸張復号化し、上記データ処理時間ｔ１は上記伸張復号化に係る時間を含み、
    上記オーディオデータは圧縮符号化されたオーディオデータであり、上記オーディオ再生装置は無線受信したオーディオデータを伸張復号化し、上記データ処理時間ｔ２は上記伸張復号化に係る時間を含むことを特徴とする請求項４又は５記載の同期再生方法。
JP2006548777A 2004-12-16 2005-12-06 無線通信システム Pending JPWO2006064689A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004364056 2004-12-16
JP2004364056 2004-12-16
PCT/JP2005/022379 WO2006064689A1 (ja) 2004-12-16 2005-12-06 無線通信システム

Publications (1)

Publication Number Publication Date
JPWO2006064689A1 true JPWO2006064689A1 (ja) 2008-06-12

Family

ID=36587746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006548777A Pending JPWO2006064689A1 (ja) 2004-12-16 2005-12-06 無線通信システム

Country Status (4)

Country Link
US (1) US20080013512A1 (ja)
JP (1) JPWO2006064689A1 (ja)
CN (1) CN101080926A (ja)
WO (1) WO2006064689A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2043323A1 (en) * 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
US9124769B2 (en) * 2008-10-31 2015-09-01 The Nielsen Company (Us), Llc Methods and apparatus to verify presentation of media content
JP2011216178A (ja) * 2010-03-18 2011-10-27 Panasonic Corp 再生装置、再生システム及びサーバ
US9088818B2 (en) 2011-06-21 2015-07-21 Harman International Industries, Incorporated Adaptive media delay matching
US9819839B2 (en) 2012-10-30 2017-11-14 Mitsubishi Electric Corporation Audio/video reproduction system, video display device, and audio output device for synchronizing decoding of video frames by the video display device to decoding of audio frames by the audio output device
CN104980820B (zh) * 2015-06-17 2018-09-18 小米科技有限责任公司 多媒体文件播放方法及装置
CN105338393A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 媒体同步方法和装置
KR20180068069A (ko) * 2016-12-13 2018-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN111132087B (zh) * 2018-10-31 2023-06-20 阿尔卑斯通信器件技术（上海）有限公司 通信装置、车载音频装置及车载音频系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5021114B2 (ja) * 2000-09-07 2012-09-05 ソニー株式会社 無線中継システム及び方法
JP2002094950A (ja) * 2000-09-13 2002-03-29 Matsushita Electric Ind Co Ltd 映像音声伝送装置および映像符号化装置および音声符号化装置および多重伝送装置
JP3578069B2 (ja) * 2000-09-13 2004-10-20 日本電気株式会社 長時間用画像・音声圧縮装置及びその方法
KR100782234B1 (ko) * 2001-10-08 2007-12-05 엘지전자 주식회사 피브이알에서의 방송장애구간 자동처리 방법
WO2003086003A1 (fr) * 2002-04-04 2003-10-16 Fujitsu Limited Organe de commande de synchronisation et procede de commande dans un reseau radio
JP2004193868A (ja) * 2002-12-10 2004-07-08 Alps Electric Co Ltd 無線送受信システム及び無線送受信方法
JP2004254149A (ja) * 2003-02-21 2004-09-09 Nippon Telegr & Teleph Corp <Ntt> データ伝送制御方法およびシステム
EP1615433A4 (en) * 2003-03-19 2010-05-26 Panasonic Corp DATA PROCESSING DEVICE
WO2005109815A1 (ja) * 2004-05-10 2005-11-17 Fujitsu Limited 通信装置、通信方法およびプログラム

Also Published As

Publication number Publication date
CN101080926A (zh) 2007-11-28
US20080013512A1 (en) 2008-01-17
WO2006064689A1 (ja) 2006-06-22

Similar Documents

Publication Publication Date Title
JPWO2006064689A1 (ja) 無線通信システム
JP4612171B2 (ja) 動画像復号再生モジュールと再生時刻管理プログラムとマルチメディア情報受信装置
JP4182437B2 (ja) オーディオビデオ同期システム及びモニター装置
JP2009272945A (ja) 同期再生装置
JP2007274607A (ja) デジタル信号処理装置及びデータストリーム処理方法
US7990479B2 (en) Communication system and communication method
KR20060124523A (ko) 전송 스트림의 시간 정보를 이용하여 디지털 방송 수신장치의 시간을 설정하는 방법 및 그 장치
JP4564350B2 (ja) 信号処理装置
JP4096915B2 (ja) デジタル情報再生装置及び方法
JP2009049919A (ja) 映像音声再生方法および映像音声再生システム
JP4359024B2 (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
JP2006019888A (ja) 記録装置および記録制御方法
JP4823960B2 (ja) 再生制御方法および受信装置
WO2010146780A1 (ja) 再生装置およびコンテンツ再生方法
JP4953707B2 (ja) デジタル放送受信機
WO2012131832A1 (ja) 音声読み上げシステム、音声読み上げ装置、および音声読み上げ方法
JP2003272297A (ja) デジタル放送受信装置とその制御方法
JP2008263404A (ja) 受信装置および受信方法
JP4127799B2 (ja) 復号再生装置
JP6596363B2 (ja) 時刻マッピング情報生成装置、同期再生システム、時刻マッピング情報生成方法及び時刻マッピング情報生成プログラム
JP2004248104A (ja) 情報処理装置及び情報処理方法
JP2007214735A (ja) 番組記録再生装置
KR100847178B1 (ko) 통신 시스템 및 통신 방법
JP2015204509A (ja) 無線通信システム、無線通信装置、及び無線通信方法
JP4820877B2 (ja) 情報データ受信装置、情報データ受信方法、情報データ受信プログラムおよび情報データ受信プログラムを格納した記録媒体