JPH0876966A - マルチメディア同期再生装置 - Google Patents

Abstract

(57)【要約】 【目的】 マルチメディア再生装置において、時系列的
な制御の基に、オーディオやビデオなど複数のメディア
を同期させて再生する場合、メディア間の制御時間のず
れを常に調節してシステム全体の同期を保つことを可能
とする。 【構成】 メディアデータ管理手段１０と、システム全
体の時間を決定するクロックとタイムラインを管理する
タイムライン管理手段１１と、データを出力再生するメ
ディア再生手段１３と、タイムライン情報に従ってメデ
ィア再生を制御するメディア再生制御手段１２と、同期
ずれが生じたメディアのクロックを調節するクロック更
新手段１４を有し、メディア再生の際、システム全体の
時間を決定するクロックと再生時間にずれが生じたメデ
ィアのクロックを調節して、システム全体のメディア同
期を実現することを特徴とするマルチメディア同期再生
装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のメディアをタイ
ムラインスケジュールの管理下で同期を取りながら再生
するマルチメディア同期再生装置に関するものである。

【０００２】

【従来の技術】時間制御の基に、オーディオやビデオと
いった複数のメディアを同時に再生するようなマルチメ
ディア再生装置が、近年、情報処理の分野で広範囲に渡
って用いられるようになった。

【０００３】最近、一般的に用いられるようになった例
として、ＣＤ−ＲＯＭのような光ディスクによる記憶手
段を用いたパーソナルなマルチメディア再生装置が考え
られる。このような装置では、ＣＤ−ＲＯＭから音声や
ビデオ、静止画、文書などのメディアデータを取り出
し、それらをディスプレイやスピーカー上で再生するの
だが、マルチメディア再生装置においてはこれらのメデ
ィアを時間管理の基に同時に再生するのが常である。

【０００４】時間制御の方法は様々だが、例えば、適当
にＣＤ−ＲＯＭ上に並べられたデータのアドレスをプロ
グラムにより指定して呼びだすことで時間制御を行なう
方法や、予め定められた時間順序に応じてインターリー
ブされたＣＤ−ＲＯＭによって時系列的な同期再生を行
なう方法があり、タイムスケジュールの基に同期再生が
行なわれる。

【０００５】

【発明が解決しようとする課題】しかしながら上記従来
技術では、メディア再生の命令を受けてデータのアクセ
ス、取得が行なわれて複数のメディアを同時に再生して
いる場合や、データ圧縮されたデータを解凍する場合、
データのタイプや容量によっては、システムのＣＰＵに
許容能力を越えた負荷がかかることがあり、設定されて
いた再生時間にずれが生じて、メディア間で同期が取れ
なくなることがあった。

【０００６】このような状態を簡単に図１１を用いて説
明する。図１１は、時間の進行に応じて再生されるメデ
ィアとデータを摸式的に表したタイムライン図であり、
この図のＡのようにメディア再生が設定されていたとす
る。ここでオーディオとビデオはいずれのデータも同期
ラインで同時にスタートするように設定されている。し
かしこれを再生すると、一方のメディアに遅れが生じる
場合があり、同図のＢのような状態では、オーディオに
生じた最初は少しのおくれが後になるにつれ、著しい遅
れになっている。

【０００７】このような状況を解決するために、ＣＤ−
ＲＯＭ等の記録媒体におけるデータの並びを工夫するな
どの方法が取られるが、複数のデータが一つのデータと
して記録されたストリームデータでもメディア再生の際
にはメディア毎に独立して制御されるので、完全な同期
ずれの解消にはなっていないことが多い。

【０００８】本発明では、上記問題に鑑み、システム全
体を管理するクロックを参照することによって常時メデ
ィア間の同期性を確保する方法を提供することを目的と
する。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、請求項１のマルチメディア同期再生方法は、マルチ
メディアのデータを管理するメディアデータ管理手段
と、システム全体の時間を決定するクロックとタイムラ
インを管理するタイムライン管理手段と、マルチメディ
アのデータを出力再生するメディア再生手段と、前記タ
イムライン管理手段から得たタイムライン情報に従って
メディア再生を制御するメディア再生制御手段と、同期
ずれが生じたメディアのクロックを調節するクロック更
新手段とを備え、前記メディアデータ管理手段から前記
タイムライン管理手段が管理するタイムラインに設定さ
れた必要なデータを取りだし、そのタイムラインに従っ
て前記メディア再生制御手段が制御した内容を前記メデ
ィア再生手段が再生し、前記タイムライン管理手段が所
有するシステム全体を管理するクロックに合わせてずれ
の生じたメディアそれぞれに対してクロック更新を行な
いシステム全体のメディア同期を実現することを特徴と
している。

【００１０】請求項２のマルチメディア同期再生方法
は、前記メディア再生手段は、各メディアの再生クロッ
クを参照するメディア再生クロック参照手段を備え、前
記メディア再生クロック参照手段が参照した他のメディ
アより遅れているメディアのクロックの時刻に合わせて
タイムライン管理部のクロックを含めて全てのメディア
のクロックを前記クロック更新部が調節することを特徴
としている。

【００１１】請求項３のマルチメディア同期再生方法
は、請求項２記載のマルチメディア同期再生装置は、オ
ーディオのクロックを参照するオーディオクロック参照
手段を備え、オーディオクロックに合わせてタイムライ
ン管理部のクロックを含めて全てのメディアのクロック
を前記クロック更新部が調節することを特徴としてい
る。

【００１２】請求項４のマルチメディア同期再生装置
は、マルチメディアのデータを管理するメディアデータ
管理手段と、システム全体の時間を決定するクロックと
タイムラインを管理するタイムライン管理手段と、マル
チメディアのデータを出力再生するメディア再生手段
と、前記タイムライン管理手段から得たタイムライン情
報に従ってメディア再生を制御するメディア再生制御手
段と、同期ずれが生じたメディアのクロックを調節する
クロック更新手段とを備え、前記メディアデータ管理手
段から前記タイムライン管理手段が管理するタイムライ
ンに設定された必要なデータを取りだし、そのタイムラ
インに従って前記メディア再生制御手段が制御した内容
を前記メディア再生手段が再生し、前記タイムライン管
理手段が所有するシステム全体を管理するクロックに合
わせてずれの生じたメディアそれぞれに対してクロック
更新を行ないシステム全体のメディア同期を実現する手
段を備えたことを特徴としている。

【００１３】請求項５のマルチメディア同期再生装置
は、前記メディア再生手段は、各メディアの再生クロッ
クを参照するメディア再生クロック参照手段を備え、前
記メディア再生クロック参照手段が参照した他のメディ
アより遅れているメディアのクロックの時刻に合わせて
タイムライン管理部のクロックを含めて全てのメディア
のクロックを前記クロック更新部が調節する手段を備え
たことを特徴としている。

【００１４】請求項６のマルチメディア同期再生装置
は、請求項５記載のマルチメディア同期再生装置は、オ
ーディオのクロックを参照するオーディオクロック参照
手段を備え、オーディオクロックに合わせてタイムライ
ン管理部のクロックを含めて全てのメディアのクロック
を前記クロック更新部が調節する手段を備えたことを特
徴としている。

【００１５】

【作用】請求項１のマルチメディア同期再生方法、及び
請求項４記載のマルチメディア同期再生装置は、上記の
構成により、タイムライン管理手段に備えられたシステ
ム全体を管理するシステムクロックの進行時間に対応さ
せながら、タイムライン管理手段が所有するタイムライ
ンに設定されたメディアデータをメディア再生制御手段
がメディアデータ管理手段から呼びだし、そのデータの
再生をメディア再生手段が行なう。一方、クロック更新
手段はタイムライン管理手段に備えられたシステムクロ
ックとメディア再生手段における各メディアのクロック
の間における時間のずれを常にチェックして、もしずれ
が生じれば、クロック更新手段がメディアのクロックを
システム全体を管理するクロックに合わせて更新するこ
とにより、システム全体の同期再生を保証することがで
きる。

【００１６】請求項２のマルチメディア同期再生方法、
及び請求項５記載のマルチメディア同期再生装置は、上
記の構成により、クロック更新手段がメディア再生手段
における各メディアのクロックを更新する場合、クロッ
ク更新手段はシステム全体を管理するシステムクロック
を参照せずに、メディア再生クロック参照手段が参照し
たメディアクロックの中で最も遅れているメディアの時
間を優先させて、各メディアのクロック、及びタイムラ
イン管理手段に備えられたシステム全体のクロックを更
新することにより、システム全てのクロックを統一させ
て同期再生を保証する。

【００１７】請求項３のマルチメディア同期再生方法、
及び請求項６記載のマルチメディア同期再生装置は、上
記の構成により、クロック更新手段がメディア再生手段
における各メディアのクロックを更新する場合、クロッ
ク更新手段はシステム全体を管理するシステムクロック
を参照せずに、オーディオクロック参照手段が参照した
オーディオクロックの時間を優先させて、各メディアの
クロック、タイムライン管理手段に備えられたシステム
全体のクロックを更新することにより、同期のずれを生
じさせ易いオーディオにシステム全体のクロックを統一
させて同期再生を保証する。

【００１８】

【実施例】以下、本発明に係るマルチメディア同期再生
装置の一実施例について、図面を参照しながら詳細に説
明する。

【００１９】（実施例１）図１は請求項１記載のマルチ
メディア同期再生方法、または請求項４記載のマルチメ
ディア同期再生装置の構成を示すクレーム図である。

【００２０】図１においてこのマルチメディア同期再生
方法、及び装置は、オーディオやビデオ等のマルチメデ
ィアデータを管理するメディアデータ管理手段１０と、
システム全体の時間を決定するクロックとタイムライン
を管理するタイムライン管理手段１１と、マルチメディ
アのデータを出力再生するメディア再生手段１３と、タ
イムライン管理手段１１から得たタイムライン情報に従
ってメディアデータ管理手段１０から取り出したデータ
をメディア再生手段１３に渡すメディア再生制御手段１
２と、各メディアが所有するクロックの更新を行なって
も支障がないメディアをメディア再生手段１３から検出
してタイムライン管理手段１１に備えられたシステム全
体を管理するシステムクロックに対してずれの生じたメ
ディアそれぞれに備えられたクロックの更新を行ないシ
ステム全体のメディア同期を図るクロック更新手段１４
から構成されている。

【００２１】図２は本実施例のマルチメディア同期再生
方法、及び装置を含むシステム全体の構成図である。

【００２２】この例では対象とするマルチメディアをオ
ーディオ、ビデオに限定して構成の簡略化を図っている
が、実際はこれ以外のメディアを対象とすることも可能
である。

【００２３】システムとしては、図２に示すようにＣＰ
Ｕ１００と、ハードディスクと、作業用ＲＡＭ１０１
と、システムクロック１１１とタイムライン設定部１１
２を含むタイムライン管理部１１と、マルチメディアデ
ータ用ＲＯＭ１０２と、ケーブルやネットワークとの接
続部１０３と、メディア再生制御部１２と、メディア再
生クロック１３１と、ＤＲＡＭ１３２と、ＶＲＡＭ１３
３と、オーディオデバイス１３４と、ディスプレイ１３
５と、クロック更新部１４とで構成されている。

【００２４】尚、図１のクレーム図の１１から１４まで
の各手段に対応する部については同じ番号を付してい
る。

【００２５】次に、上記各部のうち主なものの内容につ
いて概略説明する。ＣＰＵ１００は、本実施例のマルチ
メディア同期再生装置全体の制御と各部の必要な演算処
理等を実行する。

【００２６】作業用ＲＡＭ１０１は、上記ＣＰＵ１００
が作業を行なうための作業用領域である。

【００２７】マルチメディアデータ用ＲＯＭ１０２は、
ビデオやオーディオ等のマルチメディアデータを蓄えて
いる部分であり、例えばＣＤ−ＲＯＭやＬＤ等が考えら
れる。

【００２８】ケーブル、ネットワークとの接続部１０３
は、この装置で使用するマルチメディアデータを通信ネ
ットワークやケーブル等から得る場合に使用されるもの
である。

【００２９】図１のタイムライン管理手段に相当するタ
イムライン管理部１１はシステムクロック１１１とタイ
ムライン設定部１１２を含み、システムクロック１１１
は、システム全体の時間、同期制御の管理を行なう。タ
イムライン設定部１１２はメディア再生時の実行スケジ
ュールを管理する。タイムラインとは、複数のメディア
の同期再生を実行するためのタイムスケジュールを記し
た時系列的な管理テーブルである。

【００３０】図３は、タイムラインを設定するために使
用されるユーザインターフェースの表示画面の例を示し
たもので、この図において、横軸は時間の進行を意味
し、３１０、３２０、３３０はそれぞれビデオ、オーデ
ィオＡ、オーディオＢの再生される内容を時系列的に設
定できるタイムテーブルである。３１１、３１２、３１
３の模様が付いた長方形は、この時間区間において特定
のビデオデータが再生されることを意味するものであ
り、３２１、３２２、３２３、３３１は異なるオーディ
オデータを意味する。３３２は３３１と同じオーディオ
データである。このタイムラインに従ってマルチメディ
ア再生を行なうと、時間ｔ０でビデオ３１１とオーディ
オ３２１がスタートし、時間ｔ１から遅れてオーディオ
３３１がオーディオ３２１に被さるようにしてスタート
する。時間ｔ２でビデオ再生が３１２に変わり、同時に
オーディオも３２１から３２２に変わって３３１は停止
する。続いて時間ｔ３からビデオ再生がなくなり（例え
ば、再生画面において単色で何も絵がない状態）、オー
ディオは３２２から３２３に変わる。時間ｔ４でビデオ
３１３の再生が始まり、オーディオ３３２がオーディオ
３２３に被さってスタートし、最後に時間ｔ５で全ての
メディアが終了する。

【００３１】図２のマルチメディアデータ用ＲＯＭ１０
２と接続部１０３は、図１においてメディアデータ管理
手段１０に相当する。

【００３２】図１のメディア再生制御手段に相当するメ
ディア再生制御部１２は、マルチメディアデータ用ＲＯ
Ｍ１０２やネットワークとの接続部１０３からメディア
再生に必要なデータを取り出し、タイムライン設定部１
１２に設定された時系列のタイムラインスケジュールに
従って、メディア再生全体の制御を行なう。

【００３３】図１のメディア再生手段に相当するメディ
ア再生部１３において、メディア再生クロック１３１
は、この再生部で再生される各メディアに連動したクロ
ックを管理し、メディア再生における絶対時間の情報を
持つ。ＤＲＡＭ１３２と、オーディオデバイス１３４
は、メディア再生制御部１２のコントロールの基にオー
ディオデータの再生を行なう。ＶＲＡＭ１３３と、ディ
スプレイ１３５は、メディア再生制御部１２のコントロ
ールの基にビデオデータの再生を行なう。

【００３４】図１のクロック更新手段に相当するクロッ
ク更新部１４は、メディア再生クロック１３１を常に監
視し、システムクロック１１１との間で時間ずれが認め
られた場合、メディア再生クロック１３１においてずれ
が生じたメディアのクロックをシステムクロック１１１
に合わせて更新する。

【００３５】図４は、クロック更新の動作を中心とした
本実施例の方法、及び装置の動作を説明したフローチャ
ートである。

【００３６】以下、図２とこの図を参照して動作説明を
する。 （ｓ１）タイムライン設定部１１２で設定されたタイム
ラインとシステムクロック１１１に従って、メディア再
生部１３においてマルチメディア再生が行なわれる。

【００３７】（ｓ２）クロック更新部１４はメディア再
生部１３における各メディアの実行時間を常に監視す
る。

【００３８】（ｓ３）メディア再生クロック１３１にお
ける各メディアのクロックとシステムクロック１１１の
進行時間を比較し、それぞれのクロック間で時間のずれ
が生じていないかをチェックする。

【００３９】ずれがなければステップｓ２〜ｓ３の操作
を繰り返す。 （ｓ４）ステップｓ３で時間ずれを認めた場合、タイム
ライン設定部が所有するタイムラインに照合して、正常
再生の場合と比べてそのずれがタイムライン上において
どこでどの程度ずれているのかを調べる。

【００４０】（ｓ５）クロック更新部１４が実際に同期
修正を行なうために、現時刻において、ずれの生じたメ
ディアデータが再生されていなかったり、動画なら全く
動きのない単色画面、音声なら単調で波長変化のない音
のように、対象メディアのクロックを調節して再生をカ
ットしたり伸ばしたりしても表面的に支障が少ないデー
タであるかどうかを調べる。

【００４１】（ｓ６）ステップｓ５で調節可能な状態だ
った場合、クロック更新部１４は、その時刻においてず
れの生じたメディアのクロックをシステムクロック１１
１に合わせる。

【００４２】（ｓ７）ステップｓ５で調節可能なデータ
でなかった場合は、なるべく早い時間のうちに強制的に
同期調節を行なう。

【００４３】（ｓ８）再びステップｓ２に戻り、同様の
操作を繰り返す。具体例を用いて上記のクロック更新部
が行なう、同期調節の動作例を図５を用いて説明する。

【００４４】図５において、ＴＬ１は予め設定されてい
るタイムラインで、ＴＬ２は実際に再生した場合、オー
ディオの再生が遅れてしまったことを示すタイムライン
実行図で、ＴＬ３はＴＬ２の同期ずれの状態を解決する
ために同期調節を施したタイムラインによって再生され
た実行図である。

【００４５】また、図５においてＶ１、Ｖ２はビデオデ
ータを表し、Ａ１、Ａ２はオーディオデータを表す。

【００４６】ｔ１〜ｔ４はシステムクロックにおける特
定の時刻を表し、ａ１〜ａ６はメディア再生部に存在す
るオーディオ再生を管理するクロックにおける時刻を表
す。例えば時刻ｔ１〜ｔ２までの間でビデオデータＶ２
とオーディオデータＡ２が同時に再生されることがこの
タイムライン図で表現されている。また、メディア制御
はシステムクロックの時刻に合わせて同期が取られる。

【００４７】今、タイムラインＴＬ１のようにメディア
再生のタイムスケジュールを設定したとする。

【００４８】このとき、時刻ｔ１より前にビデオデータ
Ｖ２、オーディオデータＡ２がロードされることになる
のだが、Ｖ２、Ａ２のデータが非常に大きいと、システ
ムの処理能力によってＴＬ２のようにオーディオデータ
Ａ２が遅れてスタートするような状況が生じることがあ
る。

【００４９】このＴＬ２において、システムクロックの
時刻ｔ１にスタートするはずだったオーディオデータＡ
２は、遅れて時刻ｔ３にスタートしている。この時、時
刻ｔ１と同期するはずのオーディオクロックの時刻ａ１
は、システムクロックの時刻ｔ３と同時刻であり、ここ
でクロック間の時間ずれが生じる。このために、オーデ
ィオＡ２の再生はビデオＶ２の再生より、時間（ｔ３−
ｔ１）だけ遅れて行なわれることになる。

【００５０】クロック間の時間ずれを認知したクロック
更新部は、オーディオデータＡ２において現在同期調節
可能であるかを調べる。同期調節可能であると判断した
として、このＴＬ２の図の例では、（ｔ３−ｔ１）だけ
の長さの時間に相当するオーディオクロックの時刻ａ５
〜ａ６までの再生内容をカットして調節を行なう。（例
えば、オーディオデータＡ２の音声が単純な音階の繰り
返しだった場合） ＴＬ３において、オーディオクロックの時刻ａ５に相当
するシステムクロックの時刻ｔ４で実際に同期調節が行
なわれ、時刻ｔ４においてオーディオクロックの時刻は
ａ５からａ６に更新される。この時、オーディオデータ
Ａ２の終了時刻ａ２はシステムクロックの時刻ｔ２と一
致するようになる。

【００５１】以上のような処理によって、システムクロ
ックの時刻ｔ４〜ｔ２までの間では、ビデオデータＶ２
とオーディオデータＡ２の間で同期の取れた再生が確保
される。

【００５２】以上のように本実施例によれば、メディア
再生の際にメディア間で同期ずれが生じた場合、同期調
節を行なっても支障がない箇所を探し、システム全体を
管理するシステムクロックの時刻に全てのメディアのク
ロックを合わせることによって、時間のずれの少ない同
期メディア再生を可能とする。

【００５３】（実施例２）図６は請求項２記載のマルチ
メディア同期再生方法、及び請求項５記載のマルチメデ
ィア同期再生装置の構成を示すクレーム図である。

【００５４】図６においてこのマルチメディア同期再生
方法、及び装置は、オーディオやビデオ等のマルチメデ
ィアデータを管理するメディアデータ管理手段１０と、
システム全体の時間を決定するクロックとタイムライン
を管理するタイムライン管理手段１１と、マルチメディ
アのデータを出力再生するメディア再生手段１３と、タ
イムライン管理手段１１から得たタイムライン情報に従
ってメディアデータ管理手段１０から取り出したデータ
をメディア再生手段１３に渡すメディア再生制御手段１
２と、メディア再生手段１３における各メディアを管理
するクロックを参照するメディア再生クロック参照手段
２１と、メディア再生クロック参照手段２１が検出した
最も遅れの生じたメディアのクロックに合わせて、タイ
ムライン管理手段１１が管理するシステム全体のクロッ
クを含め全てのクロックの更新を行ない、システム全体
の同期再生を図るクロック更新手段１４とから構成され
ている。

【００５５】図７は請求項３記載のマルチメディア同期
再生方法、及び請求項６記載のマルチメディア同期再生
装置の構成を示すクレーム図である。

【００５６】構成はほぼ請求項２記載のマルチメディア
同期再生方法及び請求項５記載のマルチメディア同期再
生装置と同じだが、メディア再生クロック参照手段に替
わり、オーディオのクロックのみを参照するオーディオ
クロック参照手段３１を備え、クロック更新手段１４
は、オーディオクロックに全てのクロックを合わせてク
ロック更新を行なう。

【００５７】第２実施例では、システム全体を管理する
クロックではなく、同期ずれをおこしたメディアの再生
を管理するクロックにシステム全体の同期時間を合わせ
るものである。

【００５８】また、ここで取り上げる例では、遅れの生
じるメディアをオーディオとして説明をしている。

【００５９】図８は本実施例のマルチメディア同期再生
方法、または装置を含むシステム全体の構成図である。
この例では対象とするメディアをオーディオ、ビデオに
限定して構成の簡略化を謀っているが、実際はこれ以外
のメディアを対象とすることも可能である。

【００６０】システムの構成としては、図７に示すよう
に第１の実施例のマルチメディア同期再生装置とほぼ同
じであるため、同一の参照符合を付しているが、メディ
ア再生部１３におけるメディア再生クロック１３１から
オーディオ再生クロック１３６を独立させて示してあ
る。また、図６のメディア再生クロック参照手段に相当
するオーディオ再生クロック１３６やメディア再生クロ
ック１３１の時刻を見るメディア再生クロック参照部２
１を備えている。

【００６１】図９はクロック更新の動作を中心とした本
実施例の方法、及び装置の動作を説明したフローチャー
トである。

【００６２】以下、図７とこの図を参照して動作説明を
する。 （ｓ１）タイムライン設定部１１２で設定されたタイム
ラインとシステムクロック１１１に従って、メディア再
生部１３においてマルチメディア再生が行なわれる。

【００６３】（ｓ２）メディア再生クロック参照部はメ
ディア再生部１３における各メディアの再生クロックを
常に参照して監視する。

【００６４】（ｓ３）メディア再生クロック１３１にお
ける各メディアのクロックやシステムクロック１１１を
比較し、それぞれのクロック間で時間のずれが生じてい
ないかをチェックする。

【００６５】ずれがなければステップｓ２〜ｓ３の操作
を繰り返す。 （ｓ４）ステップｓ３で時間ずれを認めた場合、そのず
れのあるメディアのクロックを参照して、タイムライン
設定部が所有するタイムラインに照合し、正常再生の場
合と比べてそのずれがタイムライン上においてどの程度
ずれているのかを調べる。

【００６６】（ｓ５）ステップｓ４で最も遅れていると
認められたメディアのクロックと同期が取れるように、
クロック更新部１４はシステム全体を管理するクロック
を含め、全てのクロックを止めて、同期調節を行なう。
調節操作は、動きの少ない再生時に行なう。

【００６７】（ｓ６）再びステップｓ２に戻り、同様の
操作を繰り返す。ここで、遅れの生じたメディアとし
て、オーディオの再生クロックを優先して同期調節を行
なう動作を、具体例を用いて説明する。

【００６８】図１０において、ＴＬ４は予め設定されて
いるタイムラインで、ＴＬ５は実際に再生した場合、オ
ーディオの再生が遅れてしまったことを示すタイムライ
ン実行図で、ＴＬ６はＴＬ５の同期ずれの状態を解決す
るために同期調節を施したタイムラインによって再生さ
れた実行図である。

【００６９】この例は第１実施例の図５における同期ず
れと同じ状況に関するものである。また、図１０におい
てＶ１、Ｖ２はビデオデータを表し、Ａ１、Ａ２はオー
ディオデータを表すのは図５と同じである。

【００７０】ｔ１〜ｔ４はシステムクロックにおける特
定の時刻を表し、ａ１〜ａ３はメディア再生部に存在す
るオーディオ再生を管理するクロックにおける時刻を表
す。例えば時刻ｔ２〜ｔ３までの間で、ビデオデータＶ
２とオーディオデータＡ２が同時に再生されることがこ
のタイムラインＴＬ４の図で表現されている。また、通
常は、メディア再生はシステムクロックの時刻に合わせ
て進行している。

【００７１】今、タイムラインＴＬ４のようにメディア
再生のタイムスケジュールを設定したとする。この図に
おいて、ビデオＶ１とオーディオＡ１が時刻ｔ１におい
て同期されて同時にスタートし、時刻ｔ２においてはビ
デオＶ２とオーディオＡ２が同時にスタートするように
同期調節ラインが設けられている。

【００７２】再生時にはこのタイムラインに従って、時
刻ｔ２より前にビデオデータＶ２、オーディオデータＡ
２がロードされることになるのだが、Ｖ２、Ａ２のデー
タが非常に大きかったり、システムのＣＰＵの処理能力
の限界によっては、ＴＬ５のようにオーディオデータＡ
２が遅れてスタートするような状況が生じることがあ
る。

【００７３】このＴＬ５において、システムクロックの
時刻ｔ２にスタートするはずだったオーディオデータＡ
２は、遅れて時刻ｔ４にスタートしたとする。この時、
時刻ｔ２と同期するはずのオーディオクロックの時刻ａ
２は、システムクロックの時刻ｔ４（ｔ２より後の時
刻）と同時刻にあり、ここでクロック間の時間ずれが生
じる。このために、オーディオＡ２の再生はビデオＶ２
の再生より、（ｔ４−ｔ２）だけの時間遅れて行なわれ
ることになる。

【００７４】メディア再生クロック参照部によりクロッ
ク間の時間ずれを認知したクロック更新部は、遅れてい
るメディアを優先した同期調節ラインをオーディオクロ
ックの時刻ａ２に設定し、（この例ではシステムクロッ
クの時刻ｔ４）、このラインで全てのメディアのクロッ
クを調節するような処理を行なう。

【００７５】この例では、システムクロックの時刻ｔ２
をオーディオクロックの時刻ａ２と同じｔ４に合わせ
る。

【００７６】その結果、ＴＬ６において、オーディオク
ロックの時刻ａ２に合わせられたシステムクロックの更
新時刻ｔ２（オーディオクロック時刻ａ２）が来るまで
ビデオデータＶ２は再生されず、更新時刻ｔ２、つまり
オーディオデータＡ２が再生可能になる時刻が来ると同
期再生が始まることになる。

【００７７】以上のような処理によって、システムクロ
ックは更新されてオーディオクロックと同じ時刻を刻
み、システムクロックの更新時刻ｔ２〜ｔ３までの間で
は、ビデオデータＶ２とオーディオデータＡ２の間で同
期の取れた再生が確保される。

【００７８】以上のように本実施例によれば、メディア
再生の際にメディア間で同期ずれが生じた場合、同期調
節を行なっても支障がない箇所を探し、同期ずれをおこ
したメディアのクロックにシステム全体を管理するシス
テムクロックの時刻と全てのメディアのクロックを合わ
せることによって、無理な同期調節の少ない同期メディ
ア再生を可能とする。

【００７９】

【発明の効果】以上説明したように請求項１の発明に係
るマルチメディア同期再生方法、及び請求項４の発明に
係るマルチメディア同期再生装置によれば、複数のメデ
ィアを同期再生する際に、装置全体を管理するシステム
クロックと再生されているメディアのクロックに時差が
生じた場合、装置全体を管理するクロックに合わせて更
新することによって、マルチメディア再生の同期性を常
に保証することができ、パーソナルなメディア再生機器
においても、多様なメディアデータの同期時間制御を容
易にすることができる。

【００８０】また、請求項２に係るマルチメディア同期
再生方法、及び請求項５の発明に係るマルチメディア同
期再生装置によれば、同期のずれのために遅れてしまっ
たメディアのクロックを優先させ、全てのクロックをそ
れに合わせて更新することにより、同期調節処理を容易
にして、マルチメディア再生の同期性を常に保証するこ
とができる。

【００８１】また、請求項３に係るマルチメディア同期
再生方法、及び請求項６の発明に係るマルチメディア同
期再生装置によれば、同期のずれを招き易く、かつ、同
期ずれを人間が最も感じ取り易いメディアであるオーデ
ィオを優先させて、オーディオのクロックに全てのクロ
ックを合わせて更新することにより、安定した同期再生
を容易にすることができる。

【図面の簡単な説明】

【図１】請求項１、及び４記載の発明の基本構成を示す
クレーム対応構成図

【図２】第１実施例のマルチメディア同期再生装置が備
えられるシステムの構成図

【図３】タイムラインインターフェースの一例を示す図

【図４】クロック更新部１４によって行なわれる同期調
節操作のフローチャート

【図５】システムクロック１１１に合わせる同期調節操
作の一例を示す図

【図６】請求項２、及び５記載の発明の基本構成を示す
クレーム対応構成図

【図７】請求項２、及び５記載の発明の基本構成を示す
クレーム対応構成図

【図８】第２実施例のマルチメディア同期再生装置が備
えられるシステムの構成図

【図９】遅れの生じたメディアを優先したクロック更新
部１４によって行なわれる同期調節操作のフローチャー
ト

【図１０】実施例２の同期調節操作の一例を示す図

【図１１】発明が解決しようとする課題を説明する同期
ずれの例を示した時系列図

【符号の説明】 １０ メディアデータ管理手段 １１ タイムライン管理手段、及びタイムライン管理部 １２ メディア再生制御手段、及びメディア再生制御部 １３ メディア再生手段、及びメディア再生部 １４ クロック更新手段、及びクロック更新部 ２１ オーディオクロック参照手段 １００ ＣＰＵ １０１ 作業用ＲＡＭ １０２ マルチメディアデータ用ＲＯＭ １０３ ケーブル、ネットワークとの接続部 １１１ システムクロック １１２ タイムライン設定部 １３１ メディア再生クロック １３２ ＤＲＡＭ １３３ ＶＲＡＭ １３４ オーディオデバイス １３５ ディスプレイ １３６ オーディオ再生クロック

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/93

Claims (6)

【特許請求の範囲】
1. 【請求項１】マルチメディアのデータを管理するメディ
   アデータ管理手段と、システム全体の時間を決定するク
   ロックとタイムラインを管理するタイムライン管理手段
   と、マルチメディアのデータを出力再生するメディア再
   生手段と、前記タイムライン管理手段から得たタイムラ
   イン情報に従ってメディア再生を制御するメディア再生
   制御手段と、同期ずれが生じたメディアのクロックを調
   節するクロック更新手段を有し、前記メディアデータ管
   理手段から前記タイムライン管理手段が管理するタイム
   ラインに設定された必要なデータを取りだし、そのタイ
   ムラインに従って前記メディア再生制御手段が制御した
   内容を前記メディア再生手段が再生し、前記タイムライ
   ン管理手段が所有するシステム全体を管理するクロック
   に合わせてずれの生じたメディアそれぞれに対してクロ
   ック更新を行ないシステム全体のメディア同期を実現す
   ることを特徴とするマルチメディア同期再生方法。
2. 【請求項２】前記メディア再生手段は、各メディアの再
   生クロックを参照するメディア再生クロック参照手段を
   備え、前記メディア再生クロック参照手段が参照した他
   のメディアより遅れているメディアのクロックの時刻に
   合わせてタイムライン管理部のクロックを含めて全ての
   メディアのクロックを前記クロック更新部が調節するこ
   とを特徴とする請求項１記載のマルチメディア同期再生
   方法。
3. 【請求項３】請求項２記載のマルチメディア同期再生装
   置において、オーディオのクロックを参照するオーディ
   オクロック参照手段を備え、オーディオクロックに合わ
   せてタイムライン管理部のクロックを含めて全てのメデ
   ィアのクロックを前記クロック更新部が調節することを
   特徴とするマルチメディア同期再生方法。
4. 【請求項４】マルチメディアのデータを管理するメディ
   アデータ管理手段と、システム全体の時間を決定するク
   ロックとタイムラインを管理するタイムライン管理手段
   と、マルチメディアのデータを出力再生するメディア再
   生手段と、前記タイムライン管理手段から得たタイムラ
   イン情報に従ってメディア再生を制御するメディア再生
   制御手段と、同期ずれが生じたメディアのクロックを調
   節するクロック更新手段を有し、前記メディアデータ管
   理手段から前記タイムライン管理手段が管理するタイム
   ラインに設定された必要なデータを取りだし、そのタイ
   ムラインに従って前記メディア再生制御手段が制御した
   内容を前記メディア再生手段が再生し、前記タイムライ
   ン管理手段が所有するシステム全体を管理するクロック
   に合わせてずれの生じたメディアそれぞれに対してクロ
   ック更新を行ないシステム全体のメディア同期を実現す
   る手段を備えたことを特徴とするマルチメディア同期再
   生装置。
5. 【請求項５】メディア再生手段は、 各メディアの再生
   クロックを参照するメディア再生クロック参照手段を備
   え、前記メディア再生クロック参照手段が参照した他の
   メディアより遅れているメディアのクロックの時刻に合
   わせてタイムライン管理部のクロックを含めて全てのメ
   ディアのクロックを前記クロック更新部が調節する手段
   を備えたことを特徴とする請求項４記載のマルチメディ
   ア同期再生装置。
6. 【請求項６】請求項５記載のマルチメディア同期再生装
   置において、 オーディオのクロックを参照するオーデ
   ィオクロック参照手段を備え、オーディオクロックに合
   わせてタイムライン管理部のクロックを含めて全てのメ
   ディアのクロックを前記クロック更新部が調節する手段
   を備えたことを特徴とするマルチメディア同期再生装
   置。