JPH09214936A - ネットワーク動画像配信システム - Google Patents

Abstract

(57)【要約】 【課題】 外的内的要因により影響される環境下で、状
況に適応しながら動画像配信サービスを中断させる事無
く運用できる動画像配信システムを実現する。 【解決手段】 サーバ１、ネットワーク３の状況を伝送
処理遅延検出部２５によりデータの到着状況を見て、又
クライアント２の状況を復号処理遅延検出部２４により
復号の進捗を監視して、クライアント２が集中的に把握
する。クライアント２は、サーバ１に復号に必要なサイ
ズの動画像データを逐次要求し、サーバ１は大きなデー
タも分割して転送する。動画像データの復号処理がシス
テムの状況に応じて遅延する場合、既定値までの遅延を
許容する。クライアント２は、遅延が既定値を超え増加
した場合にはサーバ１から受信しバッファに蓄積した未
処理の動画像データをクリアし、サーバ１に遅延解消可
能な時間からの新たな動画像データを要求し復号を開始
することで、遅延を解消する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、分散管理されたサ
ーバ、クライアント、ネットワークで構成されるシステ
ムに於いて、品質の良い動画像の配信を可能にするネッ
トワーク動画像配信システムに関するものである。

【０００２】

【従来の技術】ローカルエリアネットワーク（以降ＬＡ
Ｎと記す）の普及、計算機の性能の向上、ディスク装置
の大容量化と低価格化により、サーバ・クライアント型
のデータベースシステムが広く普及しはじめている。こ
のデータベースシステムでは、サーバ側にデータベース
を構築し、クライアント側は必要に応じてサーバに情報
を問い合わせる。

【０００３】近年のデータベースシステムでは、テキス
トベースの情報だけではなく、音声情報や動画像情報の
ようなデータも扱わなければならなくなっている。特に
動画像データは、事前に圧縮符号化され蓄積されている
ものの、他のメディアに比べてデータのサイズも大きい
ので、ファイル転送のような一度クライアントにデータ
をすべて転送し再生を始めるといった手段はあまり現実
的ではない。このため、クライアントが実時間で映像を
復号ならびに再生を行うのに必要なデータをサーバから
連続的に供給する方式が一般的に用いられている。サー
バ側がデータの供給レートの制御を行い、クライアント
はデータをただ受け取り再生をするだけでよい。

【０００４】

【発明が解決しようとする課題】しかしながら、動画像
の配信を行う従来のデータベースシステムにおける配信
サービスの方式によって安定した動画像配信サービスを
行うには、複数のクライアントに安定したデータの供給
を保証する高性能のサーバ、データを転送する際に他の
トラフィックに影響を受けることのない伝送帯域の保証
されたネットワーク、ならびに供給されたデータを取り
こぼしなく再生する均質な性能を持ったクライアントに
よるシステムの構成が必要となる。これらは、他の外的
な要因を考慮せず理想的なシステム環境の上において実
現されることを前提としている。しかし、効率性や経済
性の観点からも、動画像配信サービスを既存の環境下で
実現することが望まれている。

【０００５】既存の環境下とは、サーバ、ネットワー
ク、クライアントのそれぞれに対して定義される。サー
バは、既存のネットワークに接続された汎用的な計算機
を想定し、動画像配信サービス以外の用途でも使用でき
る。ネットワークは、動画像配信以外の用途でも利用さ
れ、動画像転送時の帯域保証はされないものとする。ま
た、複数のネットワークが相互接続された環境下で、サ
ーバからクライアントまでの経路に複数のネットワーク
を経由するような状況も想定する。クライアント側は、
既存のＰＣ（パーソナルコンピュータ）／ＷＳ（ワーク
ステーション）等で、専用の動画像符号化データの復号
ハードウェアを持ったクライアントから、内外の処理状
況によりＣＰＵ、メモリ等のリソースが時々変化する等
の影響を受け易いソフトウェアベースのクライアントま
でを想定する。

【０００６】本発明は、以上のような、外的内的要因に
よって影響を受ける環境下において、その状況に適応し
ながら動画像配信サービスを中断させる事無く運用され
るネットワーク動画像配信システムの実現を目的とす
る。

【０００７】

【課題を解決するための手段】本発明は、サーバ側に蓄
積している圧縮符号化した動画像データをネットワーク
を介してクライアントに実時間で配信するネットワーク
動画像配信システムであって、サーバ側には、クライア
ントからの要求により指定された動画像データの番組を
選択してクライアントに送出する手段を有し、クライア
ント側には、該サーバに所望の動画像データの番組を要
求する手段を有するネットワーク動画像配信システムに
おいて、サーバ側には、動画像データの送出に当たって
動画像データをデータパケットに分割し該データパケッ
ト内に該データパケットの時間インデックスを付加して
送出する手段と、クライアントから通知されたデータパ
ケットの時間インデックスを判定して該判定の条件に合
致した場合に、送信すべきデータパケットを選択してク
ライアントに送出する手段と、を有し、クライアント側
には、該サーバからのデータパケットを受信して該デー
タパケットに含まれる時間インデックスより伝送遅延を
算出する手段と、該サーバから受信したデータパケット
がクライアント内部で処理されるまでの処理遅延を算出
する手段と、該算出された伝送遅延および処理遅延を判
定し遅延調整の為の最適なデータパケットの時間インデ
ックスを算出し該サーバに通知する手段と、を有するこ
とを特徴とするネットワーク動画像配信システムを、上
記の目的を達成するための手段とする。

【０００８】上記のネットワーク動画像配信システムで
は、サーバ側において、データパケットの送出に当たっ
て該データパケット内に該データパケットの時間インデ
ックスを付加して送出する手段は、該時間インデックス
とともに該データパケット内にフレーム内符号化データ
が含まれるか否かの識別子を付加して送出し、クライア
ントから通知されたデータパケットの時間インデックス
を判定して該判定の条件に合致した場合に、送信すべき
データパケットを選択してクライアントに送出する手段
は、該時間インデックスとともにクライアントから通知
された識別子を判定して、該判定の条件に合致した場合
に、送信すべきデータパケットを選択してクライアント
に送出するものとし、クライアント側において、時間イ
ンデックスを算出し該サーバに通知する手段は、該時間
インデックスとともにフレーム内符号化データを要求す
る識別子を送出するものとするのが、フレーム内符号化
モードで符号化したデータの挿入で、復号した動画に乱
れをなくし、レスポンスを早くする点で好適である。

【０００９】さらに、以上のネットワーク動画像配信シ
ステムにおいて、サーバ側には、クライアントからの要
求により該クライアントからの要求で指定された複数個
のパケットを連続して該クライアントに送信する手段を
有し、クライアント側には、フレーム内符号化で符号化
されている映像フレームの動画像データが分割され配置
されているデータパケット数を復号時に算出し予測する
手段と、サーバに複数のデータパケットの送信を要求す
る手段と、伝送遅延、処理遅延及び動画像データの復号
器に於いてフレーム内符号化動画像データまたはフレー
ム間符号化動画像データの復号モードを識別し復号器の
停止及び遅延調整の判定を行う手段と、を有する構成と
するのが、ネットワークの伝送帯域が低い場合、伝送遅
延が大きい場合に、処理遅延を解消する上で好適であ
る。

【００１０】本発明では、システムそれぞれの状況を検
出する手段を有して、サーバ、ネットワーク、クライア
ントの状況に応じてその処理を適応させながら実行を行
う。既存のシステムの多くが、サーバ側より動画像デー
タの転送レートが制御されているが、本発明では、転送
レートの制御ならびに状況の検出をクライアント主導で
行う。サーバ、ネットワークの状況はデータの到着状況
を見ることによって、またクライアントの状況について
は復号の進捗を監視することによって、クライアントが
集中的に把握する。クライアントは、サーバに復号に必
要なサイズの動画像データを逐次要求し、サーバは大き
なデータも細かくパケットに分割して転送する。動画像
データの復号については、システムのそれぞれの状況に
応じて処理が遅延する可能性があるが、遅延を解消する
には、例えば、既定値までの遅延を許容し、遅延が既定
値を超え増加した場合は、クライアントはサーバから受
信済みで一時バッファに蓄積され処理していない動画像
データをクリアするとともに、サーバに遅延を解消でき
る時間からの新たな動画像データを要求し復号を開始す
る。ここで、動画像の符号化方式としてフレーム間符号
化を行う方式を用いている場合には、周期的にフレーム
内符号化モードで符号化したデータを挿入することによ
り、復号した動画に乱れをなくし、レスポンスを早くす
ることが可能となる。以上のように、システムそれぞれ
の状況を検出し、その状況に応じてその処理を適応させ
ながら実行することにより、現在多く利用されている分
散管理されたサーバ、ネットワーク、クライアントから
なるシステムに於いて、良好な動画像の配信サービスを
実現する。

【００１１】

【発明の実施の形態】次に、本発明の実施の形態を、図
を用いて詳しく説明する。

【００１２】図１は、本発明の第１の実施形態例を説明
するシステム構成図である。本実施形態例では、ＩＳＤ
Ｎテレビ電話等で使われているＨ．２６１画像符号化方
式を用いたシステム例を示す。本システムは、図１に示
すようなＬＡＮの集合体として構築されるインターネッ
ト等のネットワーク３上で、サーバ１と複数のクライア
ント２により実現される。サーバ１ならびにクライアン
ト２は、それぞれが接続されているネットワーク３を介
して相互接続を行う。

【００１３】図２に、本実施形態例におけるデータの伝
送形態を示す。Ｈ．２６１符号化方式は、フレーム間差
分を用いた符号化方式である。クライアント２に配信す
る動画像データには、図２（ａ）に示すように符号化時
に符号化器に指示を出し、フレーム内符号化モードで符
号化した映像フレームを周期的に挿入する。以降、この
フレーム内符号化モードで符号化した映像フレームをリ
フレッシュ処理データと呼ぶ。図２（ａ）の４は、動画
像データの中に周期的に挿入されたリフレッシュ処理デ
ータの先頭を示す。Ｈ．２６１による符号化データは、
ビット列として表されるので、ネットワーク３上のデー
タの転送処理を容易にするため、図２（ｂ）に示すよう
にデータのビットストリームをネットワーク上に転送す
る適当な大きさのパケット５に分割し、図２（ｃ）に示
すようにパケット６内にヘッダ７を付加して、そのパケ
ットデータ６の集合体を単一の動画像データとしてサー
バ１が保持する。

【００１４】蓄積サービスの場合は、ファイルとしてパ
ケットデータ６の集合体を保持しておき、実時間の配信
の場合は最新のデータからあらかじめ設定しておいた時
間過去にさかのぼった範囲のパケットデータ６の集合体
を保持する。

【００１５】個々のパケットデータのヘッダ７には、そ
のパケットに含まれるビットストリームが直前までのビ
ットストリームの復号が遅延等の影響を受けず正常に行
われた状況での復号処理開始時間によって表される時間
インデックス７１と、パケット内にフレーム内符号化デ
ータが含まれているかどうかの識別子７２が含まれてい
る。

【００１６】図３に、本実施形態例におけるサーバとク
ライアントの構成をブロック図で示す。サーバ１側は、
動画像データ蓄積処理部１１、リフレッシュ処理データ
検出部１２、およびサーバ側パケット送出処理部１３を
有する。一方、クライアント２側は、動画像表示処理部
２１、復号処理部２２、パケット要求及び受信処理部２
３、復号処理遅延検出部２４、および伝送処理遅延検出
部２５を有する。そして、サーバ１側のサーバ側パケッ
ト送出処理部１３と、クライアント２側のパケット要求
及び受信処理部２３が、ネットワーク３に接続されてい
る。

【００１７】このような図３の構成をもとに本実施形態
例の動作を説明する。

【００１８】まず、パケット要求及び受信処理部２３が
ネットワーク３を介してサーバ側パケット送出処理部１
３と接続を行ない、最初に要求する動画像データのコン
テンツ名を指定する。次に、クライアント２側のパケッ
ト要求及び受信処理部２３はサーバ側パケット送出処理
部１３に対して最初に出現するリフレッシュ処理データ
からパケット単位でデータの転送を要求し、データの復
号を開始する。パケット要求及び受信処理部２３にて受
信されたパケットは、パケット要求及び受信処理部２３
内の受信バッファに蓄積され、復号処理部２２が順次読
み出して処理を行う。また、クライアント２側において
は、サーバ側パケット送出処理部１３により送られた最
初の動画像データのパケット受信と同時に復号処理遅延
検出部２４および伝送処理遅延検出部２５において伝送
および復号の処理経過時間の計測を始める。

【００１９】伝送処理遅延検出部２５は、新しいパケッ
トを受け取る時点で、転送開始時の最初の第１パケット
到着時間からの処理経過時間を計測する。伝送処理遅延
検出部２５において計測されたそのパケットの処理経過
時間は、到着パケットに記録されているパケット内のデ
ータストリームの時間インデックス７１と比較する。

【００２０】復号処理遅延検出部２４は、パケット要求
及び受信処理部２３から受け取ったパケットに含まれる
映像データの復号処理が終了する時点で、パケット要求
及び受信処理部２３の受信バッファから転送開始時の最
初の第１パケットを読み出した時間からの処理経過時間
を計測する。復号処理遅延検出部２４において計測され
た処理経過時間は、パケット要求及び受信処理部２３か
ら読み出す次のパケット内のデータストリームの時間イ
ンデックス７１と比較する。

【００２１】復号処理遅延検出部２４ならびに伝送処理
遅延検出部２５で行われる処理遅延検出は、以下の同様
の手続きで行われる。図５にその概念図を示す。

【００２２】処理経過時間が時間インデックス７１より
小さい場合、処理開始時間になるまで復号処理部２２お
よびパケット要求及び受信処理部２３の処理を中断す
る。図５（ａ）に示すように、１パケットあたりの伝送
ならびに復号処理の時間１１１が１パケットあたりの処
理時間１１０以下で処理される場合がこの場合にあた
る。

【００２３】図５（ｂ）に示すように、１パケットあた
りの伝送ならびに復号処理時間１１２が処理時間１１０
を上回ることにより処理経過時間が処理開始時間より大
きかった場合、その差分１１３の大きさによって２通り
動作を行う。

【００２４】クライアント側において処理遅延許容値を
設定し、差分１１３が許容値より小さい場合にはそのま
ま復号処理部２２およびパケット要求及び受信処理部２
３の処理を継続する。

【００２５】差分１１３が許容値よりも大きい場合に
は、復号処理部２２の処理を中断し、パケット要求及び
受信処理部２３にすでに到着しているパケットをクリア
した後、サーバ側パケット送出処理部１２に次の送信待
ちパケットの後に出現するリフレッシュ処理データを要
求する。リフレッシュ処理データ要求時に、復号処理遅
延検出部２４ならびに伝送処理遅延検出部２５で算出さ
れた差分１１３の値もあわせてサーバ１に通知する。サ
ーバ１側では、クライアント２からのリフレッシュ処理
データ要求に対して、リフレッシュ処理データ検出部１
３において次の送信予定パケットの時間インデックス７
１から送られてきた差分値より後の時刻に出現するリフ
レッシュ処理データを含んだパケットを検出し、そのパ
ケットから送信する。クライアント２側は、要求に応じ
たリフレッシュ処理データを受け取ると、パケット要求
及び受信処理部２３は引き続きそのパケットに連続する
パケットを要求し、復号処理部２２はそのパケットに記
録されている開始時間まで復号処理を中断することによ
って遅延を解消し、開始時間が来たところで復号処理を
再開する。

【００２６】次に、本発明の第２の実施形態例について
説明する。

【００２７】本実施形態例は、サーバとクライアント間
のネットワークが動画像データを要求する伝送帯域を大
幅に下回る場合や複数のネットワークを経由し伝送遅延
が大きい場合に有効となる実施形態例である。図４に本
実施形態例における伝送処理の概念図を示す。

【００２８】本システムでは、処理遅延を解消する手段
としてリフレッシュ処理データを用いている。Ｈ．２６
１の符号化方式を用いた動画像データでは、リフレッシ
ュ処理データ自身は他のデータに比べ大きなサイズとな
り、図４（ｂ）に示すようにネットワーク上を伝送され
るパケット１０４の最大サイズと比較しても大きくな
り、複数パケットにまたがる１０５のような場合があ
る。処理遅延を解消するためには、リフレッシュ処理デ
ータをすべて受信し復号して表示しなければならない
が、複数パケットが必要な場合には、図４（ａ）のよう
に１個の要求パケット１０１に対して１個のデータパケ
ット１０２を転送するのは効率が悪い。特に、伝送帯域
が低い場合や伝送遅延が大きい場合は、要求パケットの
送信時間１０３に含まれてくる処理遅延は無視できな
い。そこで、クライアントはサーバに対して１回の要求
で複数のパケットを要求する手段を用いる。

【００２９】まず、クライアント側ではサーバに接続し
最初のリフレッシュ処理データを受信する際は、パケッ
ト単位で要求を行う。この時に、１回の要求に対してパ
ケットが到着するまでの時間を計測し、１パケットあた
りの伝送時間が１パケットに含まれる動画像データの処
理時間を上回っていないか確認する。また、リフレッシ
ュ処理データがいくつのパケットにまたがっていたかも
確認する。

【００３０】１パケットの伝送時間が１パケットの処理
時間に対して十分に小さい場合は、ネットワーク上の伝
送帯域は確保されていると判断し、トラフィックの分散
を図るためにもパケットの複数要求は行わず、図４
（ｂ）の要求パケット１０６とデータパケット１０７の
ように毎回伝送を行う。

【００３１】１パケットの伝送時間が１パケットの処理
時間を超えるような状況においては、再同期を行うため
に新たにリフレッシュ処理データを要求する際に、最初
のリフレッシュ処理データ要求の際に確認したパケット
の個数をもとに複数パケットの要求を図４（ｃ）の１０
８の様に行う。この場合サーバは、１度の指示で指示さ
れた個数のパケットを１０９に示すように連続的に伝送
する。クライアント側は、連続的に送られる動画像パケ
ットを受信バッファ内に蓄積する。蓄積された受信バッ
ファ内の動画像パケットは、到達したものから復号処理
にまわされる。

【００３２】伝送遅延が確保できない場合は、第１の実
施形態例で設定した処理遅延許容値の範囲ではリフレッ
シュ処理データを処理できない可能性があるため、許容
値を超えた場合においてもリフレッシュ処理データの処
理が完了していない場合には再同期の抑制を行う機能を
持つ。許容値を超えてリフレッシュ処理データを処理し
た場合は、処理が完了した時点で再び再同期を行う。そ
の他の処理については、第１の実施形態例の手順に従う
ものとする。

【００３３】

【発明の効果】以上説明したように、本発明によれば、
ネットワークを介しての動画像配信に際し、分散管理さ
れたサーバ、ネットワーク、クライアントそれぞれの場
所で生ずる負荷の状況に適応的に動作し、能力の範囲で
最善の動画像再生を行うことができる。本発明において
は、制御の主体がクライアント側にあるためサーバ側の
負荷を軽減し、同時アクセスクライアント数の上限を引
き上げることができ、ネットワーク上に不要なパケット
の送出を抑えることもできる。クライアント側がソフト
ウェアを用いた復号を行う場合や、動画像データの配信
に必要とされる伝送帯域の保証されないようなネットワ
ーク上で特に効果がある。

【図面の簡単な説明】

【図１】本発明の一実施形態例を示すシステム構成図

【図２】（ａ），（ｂ），（ｃ）は上記実施形態例にお
けるデータパケットの伝送形態を説明する図

【図３】上記実施形態例におけるサーバとクライアント
のブロック構成図

【図４】（ａ）は１個の要求パケットに対し１個のデー
タパケットを転送する場合の伝送処理を説明する図、
（ｂ）は要求パケットとデータパケットを交互に送る時
の伝送処理の概念図、（ｃ）は要求パケットの後で複数
のパケットを一括して送る時の伝送処理の概念図

【図５】（ａ）は１パケットあたりの伝送ならびに復号
処理時間がパケットあたりの処理時間より小さい場合の
伝送処理の概念図、（ｂ）は１パケットあたりの伝送な
らびに復号処理時間がパケットあたりの処理時間より大
きい場合の伝送処理の概念図

【符号の説明】

１…サーバ １１…動画像データ蓄積処理部 １２…リフレッシュ処理データ検出部 １３…サーバ側パケット送出処理部 ２…クライアント ２１…動画像表示処理部 ２２…復号処理部 ２３…パケット要求及び受信処理部 ２４…復号処理遅延検出部 ２５…伝送処理遅延検出部 ３…ネットワーク ４…リフレッシュデータの先頭 ５、６…パケット ７…ヘッダ ７１…時間インデックス ７２…識別子

Claims (3)

【特許請求の範囲】
1. 【請求項１】 サーバ側に蓄積している圧縮符号化した
   動画像データをネットワークを介してクライアントに実
   時間で配信するネットワーク動画像配信システムであっ
   て、 サーバ側には、クライアントからの要求により指定され
   た動画像データの番組を選択してクライアントに送出す
   る手段を有し、クライアント側には、該サーバに所望の
   動画像データの番組を要求する手段を有するネットワー
   ク動画像配信システムにおいて、 サーバ側には、 動画像データの送出に当たって動画像データをデータパ
   ケットに分割し該データパケット内に該データパケット
   の時間インデックスを付加して送出する手段と、 クライアントから通知されたデータパケットの時間イン
   デックスを判定して該判定の条件に合致した場合に、送
   信すべきデータパケットを選択してクライアントに送出
   する手段と、を有し、 クライアント側には、 該サーバからのデータパケットを受信して該データパケ
   ットに含まれる時間インデックスより伝送遅延を算出す
   る手段と、 該サーバから受信したデータパケットがクライアント内
   部で処理されるまでの処理遅延を算出する手段と、 該算出された伝送遅延および処理遅延を判定し遅延調整
   の為の最適なデータパケットの時間インデックスを算出
   し該サーバに通知する手段と、を有することを特徴とす
   るネットワーク動画像配信システム。
2. 【請求項２】 サーバ側において、 データパケットの送出に当たって該データパケット内に
   該データパケットの時間インデックスを付加して送出す
   る手段は、該時間インデックスとともに該データパケッ
   ト内にフレーム内符号化データが含まれるか否かの識別
   子を付加して送出し、 クライアントから通知されたデータパケットの時間イン
   デックスを判定して該判定の条件に合致した場合に、送
   信すべきデータパケットを選択してクライアントに送出
   する手段は、該時間インデックスとともにクライアント
   から通知された識別子を判定して、該判定の条件に合致
   した場合に、送信すべきデータパケットを選択してクラ
   イアントに送出し、 クライアント側において、 時間インデックスを算出し該サーバに通知する手段は、
   該時間インデックスとともにフレーム内符号化データを
   要求する識別子を送出することを特徴とする請求項１記
   載のネットワーク動画像配信システム。
3. 【請求項３】 サーバ側には、クライアントからの要求
   により該クライアントからの要求で指定された複数個の
   パケットを連続して該クライアントに送信する手段を有
   し、 クライアント側には、 フレーム内符号化で符号化されている映像フレームの動
   画像データが分割され配置されているデータパケット数
   を復号時に算出し予測する手段と、サーバに複数のデー
   タパケットの送信を要求する手段と、 伝送遅延、処理遅延及び動画像データの復号器に於いて
   フレーム内符号化動画像データまたはフレーム間符号化
   動画像データの復号モードを識別し復号器の停止及び遅
   延調整の判定を行う手段と、を有することを特徴とする
   請求項１または請求項２記載のネットワーク動画像配信
   システム。