JP3544963B2

JP3544963B2 - 同期再生のための方法および装置

Info

Publication number: JP3544963B2
Application number: JP2001287375A
Authority: JP
Inventors: 賢一井手
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-09-20
Filing date: 2001-09-20
Publication date: 2004-07-21
Anticipated expiration: 2021-09-20
Also published as: JP2003101958A

Description

【０００１】
【発明の属する技術分野】
本発明は例えば動画データと音声データのように同期して再生する必要がある第一及び第二のデータを再生するための方法および装置に関し、特に第一及び第二のデータを互いに異なる機器で同期して再生するための方法および装置に関する。
【０００２】
【従来の技術】
動画データ、音声データのようなストリームデータを送信側機器から受信側機器へ伝送して、予め定められた時刻に処理させる方法としては、例えば特開平１１−３１７７４８号公報に開示された手法に見られるように、送信するデータに処理されるべき時刻情報を付加して送信し、受信側では受信したデータに含まれる処理すべき時刻の到来を待ってデータを処理する方法が知られている。
【０００３】
【発明が解決しようとする課題】
しかし、上記手法ではデータを処理すべき時刻を示すタイムスタンプをデータの他に送信する必要があった。このため、データを送信する手順やデータ形式とあわせて、データを処理すべき時刻を示すタイムスタンプについてもそれを送信する手順や形式が定められている必要がある。よって、これらが定められていない通信規約を用いる場合には適用できないという問題があった。
【０００４】
本発明は上述の事情を考慮してなされたもので、再生時刻に関する情報を送信することなく、動画とそれに付随する音声のように互いに同期した情報を異なる機器で同期して再生することが可能な方法および装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、第一のデータの再生を行い且つ前記第一のデータと同期して再生すべき第二のデータを通信路を介して送信する第一の機器と前記第一の機器から送信された第二のデータを受信して再生する第二の機器との間で、前記第一および第二のデータの再生タイミングを同期させるための同期再生方法であって、前記第一の機器の時計と前記第二の機器の時計を同期させる同期処理を実行し、前記第二のデータの送信は、前記第二のデータを送信してから受信側で再生可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に開始し、前記第一および第二のデータの再生は、前記第二のデータの送信を開始した送信開始可能区間後の最初の基準点を基に開始することを特徴とする。
【０００６】
このように、最大遅延時間に所定の送信開始可能区間を加えた時間間隔で予め時間軸上に複数の基準点を定め、これら複数の基準点の内のいずれかの基準点から始まる送信開始可能区間内に第二のデータの送信を開始することで、次の基準点以前に第二のデータが受信側で再生可能になることを保証することができる。よって、送信側と受信側が予め定められた同一の規則で複数の基準点それぞれの時刻を定めるだけで、再生時刻に関する情報を何等送信することなく、動画とそれに付随する音声のように互いに同期した情報を異なる機器で同期して再生することが可能となる。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１には、本発明の一実施形態に係る同期再生システムが示されている。この同期再生システムは音声が付随した動画データを再生するシステムであり、図１に示すように２台の機器から構成されている。第一の機器（送信側機器）１１は動画データおよびそれに付随する音声データが記録されている記憶装置を備え、動画データを再生してディスプレイ上に再生すると同時に、第二の機器（受信側機器）１４に通信路１３を介して音声データを送信する。この第一の機器１１は例えば携帯情報端末、ビデオプレーヤ、パーソナルコンピュータなどの電子機器から構成される。一方、第二の機器１４は、音声データの受信部と受信した音声データを再生する機構を備えており、第一の機器１１から受信した音声データを再生する。この第二の機器１４も第一の機器１１と同様に様々な電子機器として実現できるが、その典型的な一例としてはヘッドフォンである。
【０００８】
このシステムでは通信路１３として無線通信路が用いられており、例えばＢｌｕｅｔｏｏｔｈ（２．４ＧＨｚＩＳＭ帯を用いる短距離無線通信方式）を用いることによって動画表示を行う機器と音声の再生を行う機器とを無線接続することによって、便利な視聴システムを実現している。
【０００９】
ここで、第一の機器１１で再生される動画データの呈示と第二の機器１４で再生される音声データの発音を同期させることによっていわゆるリップシンク（ｌｉｐｓｙｎｃ）を実現したいと考える。
【００１０】
次に、上記の要求を実現するために必要な技術的要素について説明する。
動画データとそれに付随する音声データは、それらをディジタルデータとして取り込む際に、互いの時間関係を保存することが既に行われている。例えばパーソナルコンピュータ上の音声つき動画データの形式として用いられているＡＶＩ形式（ＡｕｄｉｏＶｉｄｅｏＩｎｔｅｒｌｅａｖｅＦｏｒｍａｔ）では、動画および音声のメディア毎に、サンプリングレートが記録されており、かつ、記録されている各々のメディアの再生開始時刻が一致しているという仕組みになっている。このため、各々の再生を同時に開始し、かつ、各々のメディアの再生速度を、単一の時計あるいは正確に同期した時計とサンプリングレートに従って決めることによって、リップシンク（ｌｉｐｓｙｎｃ）を保つことができる仕組みになっている。
【００１１】
また、複数のメディアの再生を同期させる他の方法としては、インターネット上のストリーミング伝送で用いられるＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ，インターネット上で動画，音声などのメディアデータを送受信するための方式。ＩＥＴＦのＲＦＣ１８８９等で規格化されている。）に見られるように、一群のメディアデータ毎にタイムスタンプを付与すると共にサンプリングレートに関する情報を付与するなどの方法も用いられている。
【００１２】
このように、互いに同期して再生されるべき複数のメディアデータを同期して再生するためには、進み方が正確な時計と例えばメディアデータの呈示開始時刻を一致させる手段が必要である。
【００１３】
ここで本発明が解決しようとする状況では、動画および音声データは異なる機器上で再生される。そこで、前述の要件を満たすためには、各々の機器の時計間で時刻の同期をとり、さらに、各々のメディアデータの再生開始時刻を２台の機器同士で示し合わせることが必要となる。
【００１４】
まず、時刻の同期をとる件については、例えばＮＴＰ（ＮｅｔｗｏｒｋＴｉｍｅＰｒｏｔｏｃｏｌ、インターネット上で計算機同士の時刻あわせを行うための方式。ＩＥＴＦのＲＦＣ１３０５等で規格化されている。）と呼ばれる時刻合わせ方式を用いることで実現可能である。あるいは、例えば特開２０００−３３２８０２号公報に開示されているように、時刻情報を送信側機器から受信側機器へ送り、受信側機器の時計を送信側機器に合わせることによっても実現可能である。これら２例の他にも、方式によって実現可能な時刻あわせの精度が異なるものの、様々な時刻あわせ手法が知られており、これらの内の任意の手法を用いることが可能である。
【００１５】
次に、再生開始時刻を示しあわせる件については、本実施形態では次のような方法を使用する。
【００１６】
本実施形態では再生開始時刻に関する情報を機器間で伝送せずに、再生開始時刻を合わせることが特徴である。まず、前提条件として以下の条件を設ける。
前提条件：
・２台の機器１１，１４の時計は互いに同期している。
・送信側機器１１から受信側機器１４へ最初のメディアデータを送信する時刻Ｓを送信側機器１１は制御できる。
・送信側機器１１から受信側機器１４へのメディアデータ送信から、受信されたデータが再生されるまでの所要時間ｄｅｌａｙＭａｘ（伝送遅延、メディアデータのデコード処理などに必要な処理遅延時間を含む）の最大値を見積もり可能。
【００１７】
上記の前提条件の下で、以下に示す方法によって再生開始時刻を同期させる。
同時刻に再生を開始する方法：
送信側機器１１および受信側機器１４がメディアデータ、例えば動画と音声データを再生開始可能な時刻（再生開始基準点）は、予め定められた離散的な時刻に限る。
各々の時刻の間隔はＰｅｒｉｏｄ（＝Ａｌｐｈａ＋ｄｅｌａｙＭａｘ）とする。Ｐｅｒｉｏｄ，Ａｌｐｈａ，ｄｅｌａｙＭａｘの定義は以下の通りである。
【００１８】
・ｄｅｌａｙＭａｘ（伝送遅延＋処理遅延）の最大見積もり値
・Ｐｅｒｉｏｄ再生開始基準点の間隔
・Ａｌｐｈａ（＝Ｐｅｒｉｏｄ − ｄｅｌａｙＭａｘ）
送信側機器１１がメディアデータを受信側機器１４へ送信開始する時刻Ｓは、各再生開始基準点以降Ａｌｐｈａの区間内に限る。すなわち、送信側機器１１および受信側機器１４ではそれぞれ同一の規則を用いて、互いに同期した時間軸上にＰｅｒｉｏｄの間隔で再生開始基準点を定める処理が行われる。そして、送信側機器１１から受信側機器１４への音声データの送信は、いずれかの再生開始基準点からＡｌｐｈａの区間内に開始される。つまりＡｌｐｈａが送信開始可能区間となる。
【００１９】
図２は図１に示した各々の機器のシステム構成図である。
まず、送信側機器１１について説明する。送信側機器１１は、図示のように、動画／音声記憶部２１、動画／音声分離部２２、動画復号部２３、動画一時記憶部２４、動画表示部２５、送信データ一時記憶部２６、音声データ送信部２７、制御部２８、時刻管理部２９、および制御データ送受信部２Ａから構成されている。
【００２０】
動画／音声記憶部２１には送信側機器１１で再生される動画データと受信側機器１４で再生される音声データが記憶されている。これらのデータはたとえば前述のＡＶＩ形式で保存されており、動画と音声の対応関係を知るために必要な情報とともに記憶されている。また、一般に動画や音声のデータは圧縮されて保存されることが多く、本実施形態の場合も適当な形式で圧縮された上でＡＶＩ形式で保管されているものとする。
【００２１】
動画／音声分離部２２は動画／音声記憶部２１から読み込まれたＡＶＩ形式の動画／音声データを動画データと音声データに分離する。動画復号部２３は圧縮形式の動画データを復号して動画表示部２５で表示可能な形式に変換する。動画一時記憶部２４は復号された動画データを、表示される時点に達するまでの間、一時的に記憶する。一般に動画の復号処理は時間がかかるため、予め復号処理を行って動画一時記憶部２４に保存しておくことによって、表示すべき時刻の到来時に即座に表示することが可能になる。
【００２２】
動画表示部２５は動画一時記憶部２４に記憶されている動画データを制御部２８からの指示に従って表示する。送信データ一時記憶部２６は音声データが送信されるべき時刻が来るまでの間、一時的に音声データを記憶する。音声データ送信部２７はＢｌｕｅｔｏｏｔｈなどの無線通信インタフェースを用いて受信側機器１４へ音声データを送信する。
【００２３】
制御データ送受信部２ＡはＢｌｕｅｔｏｏｔｈなどの無線通信インタフェースを介して受信側機器１４との間で制御情報をやりとりする。時刻管理部２９は受信側機器１４の時刻と同期した時刻を刻み、動画再生や音声データの送信の基準となる時刻情報を提供する。受信側機器１４の時刻との同期は制御部２８および制御データ送受信部２Ａと連携して前述のＮＴＰ方式などの時刻合わせ手順を実行することで行う。
【００２４】
制御部２８は送信側機器１１全体の連携制御を行う。制御部２８は例えば汎用ＣＰＵとＲＡＭ，ＲＯＭで構成されるマイクロコンピュータとして実現することが可能である。また、制御部２８以外の前述した機能モジュールも基本的にマイクロコンピュータにその動作を行わせる形での実現が可能である。
【００２５】
受信側機器１４は、図示のように、音声データ受信部２Ｂ、音声復号部２Ｃ、音声データ一時記憶部２Ｄ、音声再生部２Ｅ、制御部２Ｆ、制御データ送受信部２Ｇ、時刻管理部２Ｈから構成されている。
【００２６】
音声データ受信部２Ｂは送信側機器１１から送信された音声データを受信する。音声復号部２Ｃは圧縮されている音声データの復号を行い、音声再生部２Ｅで再生可能な形式に変換する。
【００２７】
音声データ一時記憶部２Ｄは復号した音声データを再生すべき時刻に達するまでの間、一時的に保存する。一般に音声データは圧縮された形式で伝送される場合が多く、復号には時間がかかるため、予め復号を行って音声データ一時記憶部２Ｄに記憶しておくことによって、再生時刻の到来時に即座に発音させることが可能になる。
【００２８】
時刻管理部２Ｈは送信側機器１１の時刻と同期した時刻を刻み、音声データの再生の基準となる時刻情報を提供する。送信側機器１１の時刻との同期は制御部２Ｆおよび制御データ送受信部２Ｇと連携して送信側機器１１と前述のＮＴＰ方式などの時刻合わせ手順を実行することで行う。制御部２Ｆは受信側機器１４全体の連携制御を行う。制御部２Ｆは例えば汎用ＣＰＵとＲＡＭ，ＲＯＭで構成されるマイクロコンピュータとして実現することが可能である。また、制御部２Ｆ以外の前述した機能モジュールも基本的にマイクロコンピュータにその動作を行わせる形での実現が可能である。
【００２９】
次に、図３を用いて本実施形態のシステムの動作の概要を説明する。
受信側機器１４は通常は待機モードで動作しており、送信側機器１１からの電源ＯＮ指示を受けて待機モードから通常の動作モードへ移行する。待機中は電力消費が非常に低い状態であり、電源ＯＮ指示のみに反応することが可能である。ユーザが送信側機器１１の操作パネル１２の電源オンボタンを操作することにより（Ｓ３８）、電源ＯＮ指示（Ｓ３１）が送信側機器１１から受信側機器１４に送信される。電源ＯＮの後、双方の機器１１，１４は通信路確立処理（Ｓ３２）を行う。
【００３０】
次に、時刻あわせ処理（Ｓ３３）を前述のＮＴＰ方式などにより行う。送信側機器１１と受信側機器１４との間の時刻あわせが完了すると、送信側機器１１および受信側機器１４でそれぞれ上述の送信開始可能区間および再生開始基準点が設定されて同期再生を行うための準備が行われる。
【００３１】
ユーザが送信側機器１１の操作パネル１２の再生ボタンを押下すると（Ｓ３９）、送信側機器１１では音声データの送信と動画データの再生が行われる。受信側機器１４では受信した音声データの再生が行われる。これらの動作は動画と音声の同期をとるために本発明で提案する手法に従って行われる。この処理の詳細については図４で後述するが、基本的には、送信側機器１１から受信側機器１４への音声データの送信は送信開始可能区間内でのみ開始され、そして、送信側機器１１および受信側機器１４それぞれにおける動画データおよび音声データの再生は、音声データが送信開始された送信開始可能区間後の最初の再生開始基準点を基準とすることにより、同時に開始されることになる。
【００３２】
ユーザが操作パネル１２の電源ＯＦＦボタンを押下すると（Ｓ４０）、通信路切断および電源ＯＦＦ処理が行われ、受信側機器１３は待機状態に移行し、送信側機器１１は電源ＯＦＦ状態になる。
【００３３】
次に図４を用いて本実施形態の特徴とする同期再生の方法を説明する。
【００３４】
データの伝送遅延時間と復号処理などに要する処理遅延時間を含む合計の遅延時間の最大見積もり値をｄｅｌａｙＭａｘとする。このｄｅｌａｙＭａｘの値は、予め測定を行うことによって決められる値である。そして、ｄｅｌａｙＭａｘよりも大きい値Ｐｅｒｉｏｄを定め、間隔Ｐｅｒｉｏｄで時間軸上に再生開始基準点を設ける。また、Ａｌｐｈａを（Ｐｅｒｉｏｄ − ｄｅｌａｙＭａｘ）と定め、前記再生開始基準点からＡｌｐｈａの区間を送信開始可能区間とする。これらの情報は予め決めておくことにより、容易に双方の機器で再生開始基準点の周期を一致させることが可能である。例えば、ｄｅｌａｙＭａｘが１００ｍｓｅｃである場合にＰｅｒｉｏｄを２００ｍｓｅｃに定め、２００ｍｓｅｃの整数倍の時刻を再生開始基準点とするという具合である。時刻合わせを行っているので、双方の機器で各再生開始基準点の時刻は一致する。
【００３５】
ここで、図４中のＣａｓｅ１およびＣａｓｅ２の場合を例にあげ、送信開始時刻および再生開始時刻の決め方を説明する。
【００３６】
Ｃａｓｅ１は、送信開始可能区間内の時刻Ｔにユーザが再生ボタンを押下した場合を示している。この場合は、直ちにデータの送信を開始する。図では時刻Ｓで送信している。このデータが受信側機器１４に届いた後、復号などの処理を経て再生可能になる時刻をＲとすれば、前述のｄｅｌａｙＭａｘの定義からＲの存在範囲は時刻Ｓ以降で、前記送信開始可能区間経過後に最初に到来する再生開始基準点までの範囲に限定される。この再生開始基準点をＰ０とするとＰ０は送信側機器１１においても、受信側機器１４においても一意に定まる。送信側機器１１においては送信開始時刻を把握しているため自明であり、受信側機器１４においてはＲの存在範囲から時刻Ｒ以降の最初の再生可能基準点をＰ０と判断すれば良い。要するに、受信側機器１４では受信データの再生が可能になってから最初の再生開始基準点がＰ０である。
【００３７】
そこで、Ｐ０に予め定めた値Ｂｅｔａを加算した時刻ＰＸも一意に定まり、時刻ＰＸに両方の機器で再生を開始することによって、再生開始時刻を一致させることができる。Ｂｅｔａは０以上の値が可能であるが、０にした場合にユーザの再生ボタン押下に対する反応が一番速い。
【００３８】
Ｃａｓｅ２は、送信可能区間外の時刻Ｔにユーザが再生ボタンを押下した場合を示している。この場合は、データの送信開始は時刻Ｔの直後に到来する送信開始可能区間まで待たされる。送信開始可能区間の到来と共に時刻Ｓにデータの送信を開始する。なお、データの送信開始はこの送信開始可能区間内であれば良い。受信側１４でデータが再生可能になる時刻Ｒの存在範囲は、時刻Ｓ以降で、時刻Ｓが含まれる送信開始可能区間経過後の最初の再生開始基準点までの範囲に限定される。この再生開始基準点をＰ０とするとＰ０は送信側機器１１においても受信側機器１４においても一意に定まる。送信側機器１１においては送信開始時刻を把握しているため自明であり、受信側機器１４においてはＲの存在範囲から時刻Ｒ以降の最初の再生可能基準点をＰ０と判断すれば良い。そこで、Ｐ０に予め定めた値Ｂｅｔａを加算した時刻ＰＸも一意に定まり、時刻ＰＸに両方の機器で再生を開始することによって、再生開始時刻を一致させることができる。Ｂｅｔａの値はＣａｓｅ１の場合と同様、０の場合にユーザの再生ボタン押下に対する反応が一番速い。
【００３９】
なお、Ｂｅｔａ＝０とした場合には、Ｃａｓｅ１の場合のユーザの再生ボタン押下から再生開始までの最大遅延はＰｅｒｉｏｄとなり、Ｃａｓｅ２の場合のユーザの再生ボタン押下から再生開始までの最大遅延は（ｄｅｌａｙＭａｘ＋Ｐｅｒｉｏｄ）となる。
【００４０】
次に図５のフローチャートを用いて、再生開始ボタン押下時の送信側機器１１の処理手順を説明する。
【００４１】
ユーザが再生ボタンを押すと図５に示す処理が起動される。Ｓｔｅｐ５１では現在の時刻を取得する。これは送信側機器１１の時刻管理部２９に問い合わせを行うことにより行う。次にＳｔｅｐ５２に進み、現在、送信開始可能区間の内部であるか否かを判定する。送信開始可能区間に関する情報は時刻管理部２９が保持している。ここで、現在、送信開始可能区間の内部である場合にはＳｔｅｐ５３に進み、直ちに音声データの送信処理を起動する。引き続きＳｔｅｐ５４に進み、動画再生準備処理を起動した後、処理を終了する。動画再生準備処理では圧縮されている動画データの復号を表示に先行して行い、動画一時記憶部２４に蓄積する。この段階では表示は行われない。動画表示部２５への表示開始は、後述する動画データ再生開始判定処理の中で起動される。Ｓｔｅｐ５２で送信開始可能区間外と判定された場合はＳｔｅｐ５５に進み、既定の時間待機した後にＳｔｅｐ５１へ進み、再度、前述の処理を行う。
【００４２】
次に図６のフローチャートを用いて、動画データ再生開始判定処理について説明する。
【００４３】
この処理は図５のＳｔｅｐ５４から起動される。まず、Ｓｔｅｐ６１では現在の時刻を取得する。次にＳｔｅｐ６２に進み、現在、再生開始可能時刻（Ｐ０）に達しているか否かを判定する。再生開始可能時刻（Ｐ０）に関する情報は時刻管理部２９が保持している。ここで、現在、再生開始可能時刻（Ｐ０）に達している場合はＳｔｅｐ６３へ進み、動画データの再生処理を起動する。Ｓｔｅｐ６２で再生開始時刻に達していないと判定された場合はＳｔｅｐ６４へ進み、既定の時間待機した後Ｓｔｅｐ６１へ進み、再度、前述の処理を行う。Ｓｔｅｐ６３で起動された動画データの再生処理では、時刻管理部２９の刻む時刻と動画データのフレームレートに従って再生を行う。
【００４４】
次に、図７を用いて受信側機器１４における音声データの再生開始処理について説明する。この処理は例えば、最初の音声データを受信した時に起動される。Ｓｔｅｐ７１では現在の時刻を取得する。次にＳｔｅｐ７２に進み、現在、再生開始時刻（Ｐ０）に達しているかを判定する。再生開始時刻に達している場合はＳｔｅｐ７３へ進み、音声データの再生処理を起動する。Ｓｔｅｐ７２で再生開始時刻に達していないと判定された場合はＳｔｅｐ７４へ進み、既定の時間待機した後Ｓｔｅｐ７１へ進み、再度、前述の処理を行う。Ｓｔｅｐ７３で起動された音声データの再生処理では、時刻管理部２Ｈの刻む時刻と音声データのサンプリングレートに従って再生を行う。
【００４５】
このように、本方式によれば送信開始時刻に関する情報を伝送路を介して送らなくとも、再生指示から再生までの遅延時間が高々（ｄｅｌａｙＭａｘ＋Ｐｅｒｉｏｄ）で、同時に再生を開始することが可能になる。再生開始タイミングを揃えることで、後は、動画データおよび音声データそれぞれのサンプリングレートに従って再生処理を行うことで、リップシンク（ｌｉｐｓｙｎｃ）を保つことができる。
【００４６】
なお、以上の説明では、音声データの送信開始を送信開始可能区間内に限定したが、これに代えて、送信側機器１１から受信側機器１４に対して再生開始を指示するための再生開始コマンドの送信開始時刻を、送信開始可能区間内に限定してもよい。つまり、音声データについては例えば再生開始ボタンが押された時点で送信し始めておき、再生開始コマンドの送信は、最初の送信開始可能区間で開始する。なお、この場合、ｄｅｌａｙＭａｘは、再生開始コマンドの送信を開始してから受信側機器１４がその再生開始コマンドに応答して再生処理を開始可能となるまでの最大時間となり、これは再生開始コマンドの伝送遅延時間とそのコマンド解釈処理などに要する処理遅延時間を含む合計の遅延時間の最大見積もり値として規定される。また、この場合には、音声データを記憶した記憶装置を受信側機器１４に用意しておくことも可能となる。他の点については音声データの送信開始タイミングを制御する場合と全く同じ方法が用いられる。
【００４７】
また、上記の例では動画データを送信側機器１１で再生し、動画データと同期再生すべき音声データを送信側機器１１から受信側機器１４に送信したが、これとは逆に、音声データを送信側機器１１で再生し、音声データと同期再生すべき動画データを送信側機器１１から受信側機器１４に送信しても良い。この再生システムの一例を図８に示す。
【００４８】
図８のシステムでは、携帯型オーディオプレイヤ１０１は、動画データおよびそれに付随する音声データが記録されている記憶装置を備えており、音声データを再生してイヤホン１０３から出力すると共に、携帯型ＬＣＤなどの表示装置１０２に無線通信路を介して動画データを送信する。
【００４９】
また、本実施形態の同期再生方法は、同期再生する必要がある２つの動画データ同士を２つの異なる機器で再生する場合や、同期再生する必要がある２つの音声データ同士を２つの異なる機器で再生する場合にも適用可能である。２つの音声データを２つの異なる機器で同期再生するシステムの一例を図９に示す。
【００５０】
図９のシステムは、ＤＶＤプレイヤ２０１を用いた視聴システムであり、ＤＶＤプレイヤ２０１によって再生される動画データはＴＶなどのモニタ２０３に表示される。またＤＶＤプレイヤ２０１から出力される複数チャネルの音声データはオーディオアンプ２０２に送られる。オーディオアンプ２０２はメインのＬ，Ｒチャネルの音声データを再生してＬ，Ｒのフロントスピーカ２０４，２０５から再生すると共に、サラウンド用のＬ，Ｒチャネルの音声データを無線通信路などを介してＬ，Ｒのバックスピーカシステム２０６，２０７に送信する。オーディオアンプ２０２とバックスピーカシステム２０６，２０７にそれぞれ本実施形態の方法を適用することで、音声データ同士の同期再生を容易に実現することが出来る。
【００５１】
また、本実施形態の同期再生方法で使用する送信側機器および受信側機器それぞれの機能はすべてコンピュータプログラムによって実現することができるので、そのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を通じてそのコンピュータプログラムを通常のコンピュータに導入して実行するだけで、本実施形態と同様の効果を容易に得ることが出来る。
【００５２】
また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。例えばＰｅｒｉｏｄは常に一定である必要はなく、ｄｅｌａｙＭａｘよりも長ければ、予め決められたパターンで変化させるようにしても良い。同様に、Ａｌｐｈａの値も一定である必要はなく、予め決められたパターンで変化させるようにしても良い。また、ｄｅｌａｙＭａｘの値を通信環境に合わせて最適化する仕組みなどを用意することで、ｄｅｌａｙＭａｘの値も可変にすることが可能となる。
【００５３】
更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、再生時刻に関する情報を送信することなく、動画とそれに付随する音声のように互いに同期した情報を異なる機器で同期して再生することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る再生システムの構成の一例を示すブロック図。
【図２】同実施形態の再生システムを構成する送信側機器と受信側機器それぞれの構成を示すブロック図。
【図３】同実施形態の再生システムの動作を示す図。
【図４】同実施形態の再生システムにおける同期再生処理のタイミングを説明するための図。
【図５】同実施形態の再生システムにおける再生開始ボタン押下時の送信側機器の処理手順を示すフローチャート。
【図６】同実施形態の再生システムにおける送信側機器の動画データ再生開始判定処理の手順を示すフローチャート。
【図７】同実施形態の再生システムにおける受信側機器の音声データ再生開始判定処理の手順を示すフローチャート。
【図８】本発明の一実施形態に係る再生システムの他の構成の一例を示すブロック図。
【図９】本発明の一実施形態に係る再生システムのさらに他の構成の一例を示すブロック図。
【符号の説明】
１１…送信側機器
１２…操作パネル
１３…通信路
１４…受信側機器
２１…動画／音声記憶部
２２…動画／音声分離部
２３…動画復号部
２４…動画一時記憶部
２５…動画表示部
２６…送信データ一時記憶部
２７…音声データ送信部
２８…制御部
２９…時刻管理部
２Ａ…制御データ送受信部
２Ｂ…音声データ受信部
２Ｃ…音声復号部
２Ｄ…音声データ一時記憶部
２Ｅ…音声再生部
２Ｆ…制御部
２Ｇ…制御データ送受信部
２Ｈ…時刻管理部

Claims

第一のデータの再生を行い且つ前記第一のデータと同期して再生すべき第二のデータを通信路を介して送信する第一の機器と前記第一の機器から送信された第二のデータを受信して再生する第二の機器との間で、前記第一および第二のデータの再生タイミングを同期させるための同期再生方法であって、
前記第一の機器の時計と前記第二の機器の時計を同期させる同期処理を実行し、
前記第二のデータの送信は、前記第二のデータを送信してから受信側で再生可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に開始し、
前記第一および第二のデータの再生は、前記第二のデータの送信を開始した送信開始可能区間後の最初の基準点を基に開始することを特徴とする同期再生方法。
前記第二のデータの送信を開始する前に、前記第一の機器と前記第二の機器との間で前記同期処理を実行することを特徴とする請求項１記載の同期再生方法。
前記第一のデータは動画データであり、前記第二のデータは音声データであることを特徴とする請求項１記載の同期再生方法。
前記第一のデータは音声データであり、前記第二のデータは動画データであることを特徴とする請求項１記載の同期再生方法。
前記第一および第二のデータの再生は、前記第二のデータの送信を開始した送信開始可能区間後の最初の基準点から予め定められた時間が経過した時点で開始することを特徴とする請求項１記載の同期再生方法。
前記通信路は、無線通信路であることを特徴とする請求項１記載の同期再生方法。
第一のデータの再生を行い且つ前記第一のデータと同期して再生すべき第二のデータと前記第二のデータの再生開始を指示する再生開始コマンドとを通信路を介して送信する第一の機器と前記第一の機器から送信された再生開始コマンドに応答して前記第二のデータの再生を行う第二の機器との間で、前記第一および第二のデータの再生タイミングを同期させるための同期再生方法であって、
前記第一の機器の時計と前記第二の機器の時計を同期させる同期処理を実行し、
前記再生開始コマンドの送信は、前記再生開始コマンドを送信してから受信側で前記再生開始コマンドに応答した再生処理を開始可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に開始し、
前記第一および第二のデータの再生は、前記再生開始コマンドの送信を開始した送信開始可能区間後の最初の基準点を基に開始することを特徴とする同期再生方法。
前記再生開始コマンドの送信を開始する前に、前記通信路を介して前記第一の機器から前記第二の機器に前記第二のデータの送信を開始することを特徴とする請求項７記載の同期再生方法。
第一のデータの再生を行い且つ前記第一のデータと同期して再生すべき第二のデータを通信路を介して送信する第一の機器と前記第一の機器から送信された前記第二のデータを受信して再生する第二の機器とを含み、前記第一の機器の時計と前記第二の機器の時計を同期させる同期手段を有する同期再生システムであって、
前記第一の機器は、
前記第二のデータを送信してから受信側で再生可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に、前記第二のデータの送信を開始する手段と、前記第二のデータの送信を開始した送信開始可能区間後の最初の基準点を基に、前記第一のデータの再生を開始する手段とを具備し、
前記第２の機器は、
前記第二のデータを受信する手段と、
前記時間間隔で時間軸上に一意に定められた前記複数の基準点を管理し、前記受信した第二のデータの再生開始可能後の最初の基準点を基に、前記第二のデータの再生を開始する手段とを具備することを特徴とする同期再生システム。
第一のデータの再生を行い且つ前記第一のデータと同期して再生すべき第二のデータと前記第二のデータの再生開始を指示する再生開始コマンドとを通信路を介して送信する第一の機器と前記第一の機器から送信された再生開始コマンドに応答して前記第二のデータの再生を行う第二の機器とを含み、前記第一の機器の時計と前記第二の機器の時計を同期させる同期手段を有する同期再生システムであって、
前記第一の機器は、
前記再生開始コマンドを送信してから受信側で前記再生開始コマンドに応答した再生処理を開始可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に、前記再生開始コマンドの送信を開始する手段と、
前記再生開始コマンドの送信を開始した送信開始可能区間後の最初の基準点を基に、前記第一のデータの再生を開始する手段とを具備し、
前記第二の機器は、
前記再生開始コマンドを受信する手段と、
前記時間間隔で時間軸上に一意に定められる前記複数の基準点を管理し、前記再生開始コマンドに応答して再生処理が開始可能になった後の最初の基準点を基に、前記第二のデータの再生を開始する手段とを具備することを特徴とする同期再生システム。
第一のデータの再生を行い且つ前記第一のデータと同期して再生すべき第二のデータを通信路を介して前記受信側の装置に送信可能な再生装置であって、
前記再生装置の時計と前記受信側の装置の時計とは同期が取られており、
前記第二のデータを送信してから受信側で再生可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に、前記第二のデータの送信を開始する手段と、
前記第二のデータの送信を開始した送信開始可能区間後の最初の基準点を基に、前記第一のデータの再生を開始する手段とを具備することを特徴とする再生装置。
第一のデータを再生する送信側装置から通信路を介して送信される、前記第一のデータと同期して再生すべき第二のデータを受信して再生する再生装置であって、
前記再生装置の時計と前記送信側装置の時計とは同期が取られており、
前記第二のデータを送信してから受信側で再生可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に前記送信側装置によって送信が開始された前記第二のデータを受信する手段と、
前記時間間隔で時間軸上に一意に定められた前記複数の基準点を管理し、前記受信した第二のデータの再生開始可能後の最初の基準点を基に、前記第二のデータの再生を開始する手段とを具備することを特徴とする再生装置。
第一のデータの再生を行い且つ前記第一のデータと同期して再生すべき第二のデータと前記第二のデータの再生開始を指示する再生開始コマンドとを通信路を介して受信側の装置に送信する再生装置であって、
前記再生装置の時計と前記受信側の装置の時計とは同期が取られており、
前記再生開始コマンドを送信してから受信側で前記再生開始コマンドに応答した再生処理を開始可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に、前記再生開始コマンドの送信を開始する手段と、
前記再生開始コマンドの送信を開始した送信開始可能区間後の最初の基準点を基に、前記第一のデータの再生を開始する手段とを具備することを特徴とする再生装置。
第一のデータを再生する送信側装置から通信路を介して送信される再生開始コマンドに応答して、前記送信側装置から前記通信路を介して送信される、前記第一のデータと同期して再生すべき第二のデータを再生する再生装置であって、
前記再生装置の時計と前記送信側装置の時計とは同期が取られており、
前記再生開始コマンドを送信してから受信側で前記再生開始コマンドに応答した再生処理を開始可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に前記送信側装置が送信を開始した前記再生開始コマンドを受信する手段と、
前記時間間隔で時間軸上に一意に定められる前記複数の基準点を管理し、前記再生開始コマンドに応答して再生処理が開始可能になった後の最初の基準点を基に、前記第二のデータの再生を開始する手段とを具備することを特徴とする再生装置。
コンピュータに第一のデータを再生させ且つ前記第一のデータと同期して再生すべき第二のデータを通信路を介して受信側の装置に送信させるコンピュータプログラムであって、
前記コンピュータの時計と前記受信側の装置の時計とは同期が取られており、
前記第二のデータを送信してから受信側で再生可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に、前記第二のデータの送信を前記コンピュータに開始させる手順と、
前記第二のデータの送信を開始した送信開始可能区間後の最初の基準点を基に、前記第一のデータの再生を前記コンピュータに開始させる手段とを具備することを特徴とするコンピュータプログラム。
第一のデータを再生する送信側装置から通信路を介して送信される、前記第一のデータと同期して再生すべき第二のデータをコンピュータに再生させるコンピュータプログラムであって、
前記コンピュータの時計と前記送信側装置の時計とは同期が取られており、
前記第二のデータを送信してから受信側で再生可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に前記送信側装置によって送信が開始された前記第二のデータを前記コンピュータに受信させる手順と、
前記時間間隔で時間軸上に一意に定められた前記複数の基準点を前記コンピュータに管理させ、前記受信した第二のデータの再生開始可能後の最初の基準点を基に、前記第二のデータの再生を前記コンピュータに開始させる手順とを含むことを特徴とするコンピュータプログラム。
コンピュータに第一のデータを再生させ且つ前記第一のデータと同期して再生すべき第二のデータと前記第二のデータの再生開始を指示する再生開始コマンドとを通信路を介して受信側の装置に送信させるコンピュータプログラムであって、
前記コンピュータの時計と前記受信側の装置の時計とは同期が取られており、
前記再生開始コマンドを送信してから受信側で前記再生開始コマンドに応答した再生処理を開始可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に、前記再生開始コマンドの送信を前記コンピュータに開始させる手順と、
前記再生開始コマンドの送信を開始した送信開始可能区間後の最初の基準点を基に、前記第一のデータの再生を前記コンピュータに開始させる手順とを具備することを特徴とするコンピュータプログラム。
第一のデータを再生する送信側装置から通信路を介して送信される再生開始コマンドに応答して、前記送信側装置から前記通信路を介して送信される、前記第一のデータと同期して再生すべき第二のデータを、コンピュータに再生させるコンピュータプログラムであって、
前記コンピュータの時計と前記受信側の装置の時計とは同期が取られており、
前記再生開始コマンドを送信してから受信側で前記再生開始コマンドに応答した再生処理を開始可能になるまでの最大遅延時間に所定の送信開始可能区間を加えた時間間隔で時間軸上に一意に定められる複数の基準点の内、いずれかの基準点から始まる送信開始可能区間内に前記送信側装置が送信を開始した前記再生開始コマンドを前記コンピュータに受信させる手順と、
前記時間間隔で時間軸上に一意に定められる前記複数の基準点を前記コンピュータに管理させ、前記再生開始コマンドに応答して再生処理が開始可能になった後の最初の基準点を基に、前記第二のデータの再生を前記コンピュータに開始させる手順とを具備することを特徴とするコンピュータプログラム。