JP2833511B2 - クライアントサーバ型マルチメディア再生方法及び再生システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、サーバとクライアント
間でマルチメディアデータを伝送し再生する再生方法及
び再生システムに関する。更に詳細には、動画や音声等
の複数メディアのデータをそれぞれデータベースとして
蓄積しているサーバから、クライアント側の要求に従い
伝送路を経由してサーバのデータベースからデータを読
み出し、クライアント側で各メディア毎に再生するクラ
イアントサーバ型マルチメディア再生方法及び再生シス
テムに関するものである。

【０００２】

【従来の技術】従来、サーバとクライアント間でマルチ
メディアデータを伝送し再生する方法の一つとして、特
開平５−１９１４５１号公報に記載された方式がある。
この方式は、各端末（クライアント）において、音声メ
ディアデータを分割して複数のフレームを形成するとと
もに、この音声メディアデータと同期させるべき画像・
テキストメディアデータも分割して音声メディアデータ
と同数のフレームを形成する。更に、音声メディアデー
タフレームと画像・テキストメディアデータとをそれぞ
れ１フレームずつ復号化して複数のマルチメディアデー
タフレームを形成し、各マルチメディアデータフレーム
の前後にはフレームを管理するための付加情報を付け
る。そして、このマルチメディアデータフレームを単一
回線のみを介してサーバへ送信し、サーバにおいてデー
タベースとして蓄積しておく。他の端末からサーバに対
してデータ要求があったとき、その端末へ単一回線を介
してサーバから送信する。要求したデータを受信した端
末では、受信したマルチメディアデータフレームの全て
を一旦記憶装置に記憶し、マルチメディアデータフレー
ムの前後に付加されている付加情報をキーとして順次読
み出しながら、マルチメディアデータフレーム毎にその
音声メディアデータと画像・テキストメディアデータと
を別々に再生する。

【０００３】しかしながら、これによると次のような問
題点があった。第一の問題点は、単一回線のみを使って
マルチメディアデータを伝送するため、各メディアが要
求する通信品質毎の取り扱いができないことである。第
二の問題点は、音声メディアデータフレームと画像・テ
キストメディアデータとをそれぞれ複数のフレームに分
割した上、これをそれぞれ１フレームずつ復号化して一
つのマルチメディアデータフレームとし、マルチメディ
アデータフレーム単位で管理するため、ネットワークや
デバイス上のバァファリングにより一律な遅延作用を受
け、再生モード（標準再生、逆送り再生、早送り再生、
一時停止等）を変更する際に、ユーザが要求したメディ
アとは異なるメディア上の時刻から変更されてしまう
（例えば、動画を基準に再生モードを変更したいのに、
音声を基準として変更されてしまう）ことである。第三
の問題点は、メディア毎に存在する時間軸を、復号化す
る時点で一つの時間軸に統一してしまうため、ネットワ
ーク上において各メディアが持つメディア毎の時間的特
性等を考慮した融通性のある再生を行うことができない
ことである。

【０００４】

【発明が解決しようとする課題】本発明の課題は、この
ような問題点を解決することにあり、その一つ一つにつ
いて解説すると次のとおりである。

【０００５】第一の問題点について 音声メディアデータと画像・テキストメディアデータと
をそれぞれ複数のフレームに分割した上、更にそれぞれ
１フレームずつ一つのマルチメディアデータフレームに
復号化して単一チャネルで伝送すると、全てのデータト
ラフィックが同じ条件で転送されるので、全てのメディ
アに関する通信品質は同一となる。ところが、マルチメ
ディアの通信環境を考慮した場合、メディア毎に通信品
質を変更できることが必要である。例えば、動画を転送
させる場合には実時間性が重視されるべきであるが、静
止画を転送させる場合には信頼性が重視されるべきであ
る。そのためには、通信プロトコルや通信プロトコルの
品質に関するパラメタをメディア毎に調整できるように
することが要求される。

【０００６】第二の問題点について マルチメディアデータがサーバから送信されてから実際
にクライアントに到達し、クライアントで再生するまで
には若干の遅延が生ずる。この遅延のために、上記のよ
うにユーザが要求するメディアとは異なるメディアに従
った時刻から再生が行われるという事態が生ずる。更
に、信頼性等のためにネットワークやクライアントで受
信マルチメディアデータのバァファリングを行っている
場合には、この現象は一層顕著になる。これは、クライ
アントからの要求をサーバに通知するときに、メディア
間の時刻を整合又は調整する通知をしていないからで、
それを行えば上記のような事態を回避できる。

【０００７】第三の問題点について 動画と音声とが混在したデータを再生する場合、音声は
通常の速度で再生し、動画はスローモーションで再生す
るような要求をすることがある。また、各メディアを再
生するためにかかる時間が端末によって異なる場合もあ
り、端末が特定のメディアを他のメディアよりも先に送
信することを要求することもある。このような要求に対
応するためには、メディア毎に存在する時間軸を一つの
時間軸に統一しないで、各メディア毎の時間軸上の再生
開始時刻を端末から別々に要求できるようにする必要が
ある。

【０００８】

【課題を解決するための手段】上記した課題を解決する
ため、本発明によるマルチメディア再生方法は、クライ
アント側からの要求に従い再生モードを変更する際に、
該クライアントからサーバに対し、同じ時点をゼロとし
た各メディア毎の相対的な新たな再生開始時刻を通知
し、サーバ側では、通知された各メディア毎の再生開始
時刻に従い各メディア毎にデータの読み取りを開始し、
各メディア毎の論理的な通信チャネルによって各メディ
アのデータをクライアントへ伝送する。

【０００９】サーバやネットワークやクライアント内の
バッファにデータを一時的に蓄積して再生する構成にな
っている場合には、バッファに残っている再生モード変
更前のデータを消去した後、サーバからクライアントへ
データを伝送する。

【００１０】更に、バッファ内の残留データを消去した
後、クライアントからサーバへ頭出し要求信号を送信
し、これを受信したサーバにおいてデータベース読み取
りの頭だしを行って一時停止状態に遷移させた後、サー
バからクライアントへ頭だし完了信号を送信し、これを
受信したクライアントにおいて再生動作を一時停止状態
へ遷移させるようにしてもよい。

【００１１】本発明によるマルチメディア再生システム
は、クライアントのメディア毎の再生部に、それぞれの
再生時刻を計測する再生時刻計測手段を設けたこと、ク
ライアント側の送受信部に、再生モードが変更された
時、少なくとも一つの再生時刻計測手段からの時刻に基
づいて、同じ時点をゼロとした各メディア毎の相対的な
新たな再生開始時刻をサーバへ通知する再生開始時刻通
知手段を設けたこと、サーバのメディア毎の読取部に、
クライアント側から通知された再生開始時刻に従ってそ
れぞれの読み取り時刻を制御する読取時刻制御手段を設
けたこと、サーバの送受信部に、読取時刻制御手段の制
御により読み取られたメディア毎のデータを論理的な通
信チャネルによって送信する送信手段を設けたことを特
徴とする。

【００１２】

【作用】クライアント側では、各メディア毎にデータが
再生され、その各メディア毎の再生時刻が計測されてい
る。クライアントにおいて再生モードを変更すると、そ
の時点のメディア毎の再生時刻が読み出され、同じ時点
をゼロとした各メディア毎の相対的な新たな再生開始時
刻がサーバへ通知される。これをサーバが受け取ると、
サーバは、その再生開始時刻に対応した時刻から新たに
各メディア毎にデータを読み取り、メディア毎の論理的
な通信チャネルによってクライアントへ伝送する。これ
によりクライアント側では、再生モードを変更しても、
メデイア間で時間的なズレなく次の再生を開始できる。

【００１３】

【実施例】次に本発明の実施例を図面を参照して説明す
る。

【００１４】図１は本発明によるクライアントサーバ型
マルチメディア再生システムの一例を示し、サーバ１と
クライアント２とは伝送路３を介して接続されている。
サーバ１は、動画データベース４と音声データベース５
と動画データベース４を読み取る動画読取部６と音声デ
ータベース５を読み取る音声読取部７と送受信部８とを
有する。クライアント２は、送受信部９とユーザ操作部
１０と画像用バッファ１１と音声用バッファ１２と一定
のフレーム間隔で画像を再生する画像再生部１３と一定
の標本周波数で音声を再生する音声再生部１４と動画表
示用ディスプレイ１５と音声再生用スピーカ１６とを有
する。

【００１５】サーバ１側の動画読取部６及び音声読取部
７は、それぞれのデータベース４・５の読み取り時刻を
制御する読取時刻制御手段６ａ・７ａをそれぞれ有し、
各メディア毎に任意の時刻から読み取る（頭だし）こと
ができるようになっている。また、クライアント２側の
画像再生部１３及び音声再生部１４は、それぞれの再生
時刻を常時計測する再生時刻計測手段１３ａ・１４ａを
有している。サーバ１側の送受信部８は、読取時刻制御
手段６ａ・７ａの制御により読み取られたメディア毎の
データを論理的な通信チャネルによって送信する送信手
段８ａを有している。クライアント２側の送受信部９
は、再生時刻計測手段１３ａ・１４ａの計測時刻を監視
し、ユーザ操作部１０からの再生モード変更時に、再生
時刻計測手段１３ａ又は１４ａからの時刻に基づいて新
たな再生開始時刻をサーバ１へ通知する再生開始時刻通
知手段９ａを有する。

【００１６】図２は上記システムのモード遷移を示し、
ＩＮＩＴは初期状態、Ｓｙｎｃｒｏｎｉｚｉｎｇはモー
ド変更要求状態、Ｐｌａｙは標準再生状態、Ｐａｕｓｅ
は一時停止状態、ＦＷＤは早送り状態、ＲＥＷは逆再生
状態、Ｑｕｉｔは終了状態を表す。図３は上記システム
のメッセージフローチャートで、左から、サーバ１の状
態、サーバ１側の動作、メッセージの内容、クライアン
ト２側の動作、クライアント２側の状態を示し、縦軸を
時間軸として上から下へ流れる。

【００１７】図１、図２及び図３を参照して上記システ
ムの動作例を説明する。このシステムの初期化が終了し
た状態では、サーバ１及びクライアント２共にＩＮＩＴ
となる。クライアント２側では、送受信部９が、ユーザ
操作部１０によるモード変更の操作を受けてモード変更
要求メーセージをサーバ１へ発信すると同時に、画像再
生部１３及び音声再生部１４の再生モード（標準再生、
逆送り再生、早送り再生、一時停止、終了）を要求され
たモードへ遷移させる。勿論、ユーザ操作部１０による
操作により画像再生部１３及び音声再生部１４を初期化
することもできる。

【００１８】サーバ１側では、クライアント２側からの
要求に従い動画読取部６が動画データベース４から動画
を読み取るとともに、音声読取部７が音声データベース
５から音声を読み取り、その読み取られたメディア毎の
データを、送受信部８の送信手段８ａが伝送路３上の論
理通信チャネルによってクライアント２へ送信する。こ
れをクライアント２側の送受信部９が受信すると、動画
データを画像用バッファ１１にバァファリングしながら
画像再生部１３によって動画表示用ディスプレイ１５上
に動画を再生し、同時に、音声データを音声用バッファ
１２にバァファリングしながら音声再生部１４を通じて
音声再生用スピーカ１６により音声を再生する。

【００１９】いま、クライアント２側では、画像再生部
１３及び音声再生部１４共に再生当初から１分１５秒後
のデータを標準再生し、サーバ１側では、動画読取部６
が読取当初から１分２０秒後の動画データを読み取り、
音声読取部７も１分２０秒後の音声データを読み取って
いたとき、ユーザがユーザ操作部１０を操作して標準再
生から早送り再生へのモード変更を指示したとする。こ
の場合、サーバ１とクライアント２間の通信方式やバッ
ファ１１・１２の量の差、伝送帯域、再生方式などによ
り、クライアント２側の画像再生部１３及び音声再生部
１４の再生時刻と、サーバ１側の動画読取部６及び音声
読取部７の読取時刻は異なるので、画像と音声との再生
モード変更を同じように実施したのでは、次の再生に時
間的なズレが生ずる。

【００２０】そこで、クライアント２側の送受信部９で
は、ユーザ操作部１０から上記のようにモード変更指示
があったときに、再生時刻計測手段１３ａ・１４ａの計
測時刻を読み出し（因に、上記の場合だと１分２０
秒）、その一方又は両方からの計測時刻を基にして、同
じ時点をゼロとした各メディア毎の相対的な新たな再生
開始時刻を、一時停止メッセージと共に再生開始時刻通
知手段９ａによりサーバ１へ発信すると同時に、Ｆｕｌ
ｌ Ｓｙｎｃｈ状態へ遷移する。新たな再生開始時刻を
通知する方法としては、一つのメッセージ中に各メディ
ア毎の再生時刻を例えば次のように記述する。 ｓｅｅｋ ａｕｄｉｏ＝1050 ｖｉｄｅｏ＝9041：17 ここで、ａｕｄｉｏとｖｉｄｅｏとで書式が異なるの
は、各メディア毎に標本周波数が異なるからである。な
お、実時間に換算し、動画と音声とで新たな再生時刻に
差をあるように、次のように記述することも考えられ
る。 ｓｅｅｋ ａｕｄｉｏ＝15′17″02 ｖｉｄｅｏ＝15′17″03

【００２１】サーバ１は、一時停止メッセージを受信す
るとＳｙｎｃｒｏｎｉｚｉｎｇ状態へ遷移し、データ転
送完了メーセージをクライアント２へ発信する。このと
き、つまりクライアント２が一時停止メッセージを発信
してからデータ転送完了メーセージを受信するまでの間
に、クライアント２は不要なデータを受信しているの
で、クライアント２は、画像用バッファ１１及び音声用
バッファ１２内の廃棄すべきデータを消去する。

【００２２】次に、クライアント２は、頭だし要求信号
をサーバ１へ発信する。サーバ１は、これを受信する
と、クライアント２側から上記のように通知された新た
な再生開始時刻に従い時刻動画読取部６及び音声読取部
７に頭だしを行わせる。上記の例のように、１分１５秒
後の標準再生状態から早送り再生モードへ変更しようと
する場合には、動画読取部６及び音声読取部７は、読取
時刻制御手段６ａ・７ａの制御により１分１５秒の位置
に頭だしを行う。その後、サーバ１は、頭だし完了メー
セージをクライアント２へ送信し、状態をＰａｕｓｅへ
遷移させ、これを受信したクライアント２も状態をＰａ
ｕｓｅへ遷移させる。

【００２３】以上の手順をもって、サーバ１とクライア
ント２とは同じく一時停止状態となり、サーバ１とクラ
イアント２との間で次に再生すべき時刻が一致し、しか
も動画及び音声の両メディアも再生再開時刻が一致した
状態から早送り再生が実行されることになる。なお、早
送り再生以外の他の再生モード変更についても、ユーザ
からの指示が一時停止でなければ、クライアント２がモ
ード変更メッセージと状態の遷移を行うことにより、ユ
ーザの要求した再生モードへ移行できる。

【００２４】

【発明の効果】本発明によれば次のような効果がある。 各メディア毎に異なる論理通信チャネルを用いて伝
送することにより、メディア毎に異なる通信プロトコル
又はパラメタの異なる通信プロトコルを利用することが
可能となり、各メディア毎の通信品質要求に応じたサー
ビスが行える。 サーバはクライアント側から再生モード変更要求が
あると、再同期を行って送信することになるため、サー
バやネットワークやクライアント内のバッファに残って
いるデータを廃棄しても、クライアントでの再生動作を
正しく行うことができる。これにより、ユーザがクライ
アントの再生モードを遷移させたときに、クライアント
は直ちに再生を一時停止させ、サーバが再送信したデー
タの到着を待って再生を再開できるので、ユーザの意図
に適応した動作を行える。 再生モードの遷移が生じたとき、クライアントの少
なくとも一つのメディアの再生時刻をサーバへ通知して
サーバ側での読み取り時刻を制御するので、再生モード
遷移後のメディア間の再同期を実現できる。

【図面の簡単な説明】

【図１】本発明によるクライアントサーバ型マルチメデ
ィア再生システムの一例のブロック図である。

【図２】図１のシステムのモード遷移図である。

【図３】図１のシステムのメッセージフローチャートで
ある。

【符号の説明】

１ サーバ ２ クライアント ３ 伝送路 ４ 動画データベース ５ 音声データベース ６ 動画読取部 ６ａ 動画読取部の読取時刻制御手段 ７ 音声読取部 ７ａ 音声読取部の読取時刻制御手段 ８ サーバ側の送受信部 ８ａ サーバ側の送受信部の送信手段 ９ クライアント側の送受信部 ９ａ 再生開始時刻通知手段 １０ ユーザ操作部 １１ 画像用バッファ １２ 音声用バッファ １３ 画像再生部 １３ａ 画像再生部の再生時刻計測手段 １４ 音声再生部 １４ａ 音声再生部の再生時刻計測手段 １５ 動画表示用ディスプレイ １６ スピーカ

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 動画と音声の異なるメディアのデータを
   それぞれデータベースとして蓄積しているサーバから、
   クライアント側の要求に従い伝送路を経由してデータベ
   ースからデータを読み取り、クライアント側で各メディ
   ア毎に再生するクライアントサーバ型マルチメディア再
   生方法において、前記クライアント側からの要求に従い
   再生モードを変更する際に、該クライアントからサーバ
   に対し、同じ時点をゼロとした各メディア毎の相対的な
   新たな再生開始時刻を通知し、サーバ側では、通知され
   た各メディア毎の再生開始時刻に従い各メディア毎にデ
   ータの読み取りを開始し、各メディア毎の論理的な通信
   チャネルによって各メディアのデータをクライアントへ
   伝送することを特徴とするクライアントサーバ型マルチ
   メディア再生方法。
2. 【請求項２】 サーバやネットワークやクライアント内
   のバッファに残っている再生モード変更前のデータを消
   去した後、サーバからクライアントへデータを伝送する
   ことを特徴とする請求項１に記載のクライアントサーバ
   型マルチメディア再生方法。
3. 【請求項３】 バッファ内の残留データを消去した後、
   クライアントからサーバへ頭出し要求信号を送信し、こ
   れを受信したサーバにおいてデータベース読み取りの頭
   だしを行って一時停止状態に遷移させた後、サーバから
   クライアントへ頭だし完了信号を送信し、これを受信し
   たクライアントにおいて再生動作を一時停止状態へ遷移
   させることを特徴とする請求項２に記載のクライアント
   サーバ型マルチメディア再生方法。
4. 【請求項４】 動画と音声の異なるメディアのデータを
   蓄積したデータベース、そのデータを読み取るメディア
   毎の読取部、及び送受信部を有するサーバと、このサー
   バの送受信部と伝送路を介して接続された送受信部、及
   び各メディアのデータをそれぞれ再生するメディア毎の
   再生部を有するクライアントとからなり、クライアント
   側の要求に従い伝送路を経由してデータベースからデー
   タを読み取り、クライアント側で各メディア毎にデータ
   を再生するクライアントサーバ型マルチメディア再生シ
   ステムにおいて、 前記クライアントのメディア毎の再生部に、それぞれの
   再生時刻を計測する再生時刻計測手段を設けたこと、 前記クライアント側の送受信部に、再生モードが変更さ
   れた時、少なくとも一つの前記再生時刻計測手段からの
   時刻に基づいて、同じ時点をゼロとした各メディア毎の
   相対的な新たな再生開始時刻を前記サーバへ通知する再
   生開始時刻通知手段を設けたこと、 前記サーバのメディア毎の読取部に、クライアント側か
   ら通知された前記再生開始時刻に従ってそれぞれの読み
   取り時刻を制御する読取時刻制御手段を設けたこと、 前記サーバの送受信部に、前記読取時刻制御手段の制御
   により読み取られたメディア毎のデータを論理的な通信
   チャネルによって送信する送信手段を設けたことを特徴
   とするクライアントサーバ型マルチメディア再生システ
   ム。
5. 【請求項５】 クライアントの送受信部と各メディア毎
   の再生部との間に、再生モード変更時に蓄積データを消
   去されるバッファを設けたことを特徴とする請求項４に
   記載のクライアントサーバ型マルチメディア再生システ
   ム。