JP2928881B1 - 動画転送方法 - Google Patents

Abstract

【要約】 【課題】 ネットワークの負荷が増大した場合でも遅延
を生じることなく動画を転送する。 【解決手段】 サーバ１からクライアント２Ａ〜２Ｃへ
至るネットワーク３の途中に設けられたゲートウェイ
（中継局）４Ａ，４Ｂにおいて、サーバ側から差分フレ
ームを受信するごとに、その差分値から各頂点の座標変
化量を算出し、その変化量が差分精度値以上のものとな
った差分値のみを新たな差分フレームとしてクライアン
ト側に送信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画転送方法に関
し、特に時系列的に連続する複数の静止画像からなる一
連の動画を、基準フレームと差分フレームとに変換して
転送する場合の動画転送方法に関するものである。

【０００２】

【従来の技術】一般に、時系列的に連続する複数の静止
画像からなる一連の動画を、ネットワークを介して送信
元のサーバから送信先のクライアントに転送する場合、
転送するデータ量の削減を目的として、一連の動画を基
準フレームと差分フレームとに変換して転送する方式が
用いられる。一方、動画データ受信中にクライアントか
らの要求に応えるために、動画データを加工して送信す
る方式が提案されている（例えば、特開平６−１４９６
４９号公報など参照）。

【０００３】この場合、３次元動画データの表現形式と
して代表的なポリゴン形式では３次元物体を頂点座標、
稜線、面のデータで静止画像を表現しており、これら静
止画像を時系列的に並べることにより３次元動画データ
が構成されている。ここで、クライアントで処理能力が
低下し、受信したフレームを所定時間ごとに表示できな
くなった場合、クライアントからサーバに対して画質の
低下を指示する。

【０００４】これに応じて、サーバは、送信する動画デ
ータのうち、各フレームからポリゴン数を削減して画質
を低下させたり、基準フレームを間引きすることによ
り、送信する動画データ量を削減する。したがって、ク
ライアントで処理すべき動画データ量が減少するため、
処理能力が低下した場合でも、受信したフレームを所定
時間ごとに表示可能となる。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画転送方法では、受信した動画データを再
生表示するクライアントからの要求に応じて、送信する
動画データを削減するものであるため、サーバとクライ
アントとを結ぶネットワークの負荷が増大した場合には
対応できず、このような場合にはネットワーク内で動画
データが停滞し、各フレームを所定時間ごとに表示でき
なくなるという問題点があった。本発明は、前記問題点
を解決するためになされたものであり、ネットワークの
負荷が増大した場合でも遅延を生じることなく動画を転
送できる動画転送方法を提供することを目的としてい
る。

【０００６】

【課題を解決するための手段】このような目的を達成す
るために、本発明による動画転送方法は、サーバからク
ライアントへ至るネットワークの途中に設けられた中継
局において、サーバ側から差分フレームを受信した場
合、その差分フレームから得られた異なる時点の２つの
静止画像間で変化した個々の図形データの差分値と、差
分フレームから生成される画像の精度を示す差分精度値
とをそれぞれ比較し、その比較結果に応じて個々の差分
値の転送要否を判断し、転送要と判断された差分値から
新たな差分フレームを生成してクライアント側に転送す
るようにしたものである。したがって、この差分精度値
の大きさをネットワーク負荷やクライアント要求に応じ
て制御することにより、中継局からクライアント側に送
信する差分フレームのデータ容量が調整される。

【０００７】

【発明の実施の形態】次に、本発明について図面を参照
して説明する。図１は本発明の一実施の形態である動画
転送システムを示すブロック図であり、同図において、
１は動画を送信するサーバ、２Ａ〜２Ｃは受信した動画
を表示するクライアント、３はインターネットあるいは
イントラネットなどから構成され、サーバ１とクライア
ント２Ａ〜２Ｃを接続する通信ネットワーク（以下、ネ
ットワークという）、４Ａ，４Ｂはネットワーク３を構
成するゲートウェイ（中継局）である。

【０００８】ここでは、クライアント２Ａがゲートウェ
イ４Ａを介してサーバ１と接続されている。また、クラ
イアント２Ｂ，２Ｃがゲートウェイ４Ｂに接続され、さ
らにこのゲートウェイ４Ｂがゲートウェイ４Ａを介して
サーバ１に接続されている。

【０００９】以下では、前述と同様に、時系列的に連続
する複数の静止画像からなる一連の動画を、ネットワー
ク３を介して送信元のサーバ１から送信先のクライアン
ト２Ａ〜２Ｃに送信する方法として、一連の動画を基準
フレームと差分フレームとに変換して送信する場合を例
に説明する。

【００１０】図２はゲートウェイの構成を示すブロック
図である。同図において、１１はサーバ１側からの動画
データを受信するデータ受信部、１２はデータ受信部１
１で受信した動画データのうち差分フレームの精度を変
換して出力する差分フレーム変換部、１３は差分フレー
ム変換部１２からの動画データをクライアント側に送信
するデータ送信部である。

【００１１】１４はデータ送信部１３から動画データが
送信される出力側のネットワークの負荷を監視するネッ
トワーク監視部、１５はこのネットワーク監視部１４に
より得られたネットワークの負荷に応じた差分精度値を
設定する差分精度設定部、１７はクライアントからの差
分精度設定要求を受信し、その要求に含まれている差分
精度値を出力するコマンド受信部、１６は差分精度設定
部１５およびコマンド受信部１７からの差分精度値を、
各クライアントごとに管理する差分精度管理部である。

【００１２】特に、ネットワーク監視部１４では、各ク
ライアントごとに、ネットワーク送信部１３からクライ
アントに対して送信したフレームの長さと送信に要した
時間とから現在の出力側のネットワークの実効帯域幅を
求めることにより、ネットワークの負荷を監視してい
る。また、差分精度設定部１５では、実行帯域幅が小さ
くなり、ネットワークの負荷が大きくなった場合、差分
精度を低下させる。

【００１３】図３はクライアントの構成を示すブロック
図である。同図において、２１はサーバ１側（ゲートウ
ェイ４Ａ，４Ｂ側）から動画データを受信するデータ受
信部、２２はこのデータ受信部２１で受信した動画デー
タすなわち基準フレームと差分フレームをメモリからな
るフレームバッファ２３に停止画像として展開する画像
展開処理部、２４はフレームバッファ２３を走査するこ
とにより静止画像を画面に表示する表示部である。

【００１４】また、２５はクライアント利用者から差分
精度値の設定要求を受け付けるコマンド入力部、２６は
コマンド入力部２５から入力された差分精度設定要求を
ゲートウェイへ送信するコマンド送信部である。

【００１５】図４は動画データの構成を示す説明図であ
り、（ａ）は３次元静止画像を構成するポリゴンの変
化、（ｂ）は各ポリゴンに対応して生成されるフレーム
を示している。図４（ａ）では、頂点Ａ，Ｂ，Ｃを有す
る三角形のポリゴン３１が、時間経過とともにポリゴン
３２〜３４に変形している。

【００１６】これらポリゴンの変化は、所定時間間隔ご
とに静止画像（フレーム）として捉えられ、これら静止
画像は、任意の時点における静止画像の全図形データか
らなる基準フレームと、異なる時点の２つの静止画像間
で変化した個々の図形データの差分値からなる差分フレ
ームとに変換される。

【００１７】したがって、基準フレーム４１は、ポリゴ
ン３１を構成する各頂点Ａ〜Ｃの座標値と、各頂点Ａ〜
Ｃ間の接続情報とを示す図形データから生成される。ま
た、差分フレーム４２は、ポリゴン３２とその直前のポ
リゴン３１とを比較し、その差分ここでは各頂点Ａ〜Ｃ
の座標値を示す図形データの変化量から生成される。こ
のようにして、直前のポリゴンとの差分から差分フレー
ム４３，４４…が順次生成され、所定数の差分フレーム
が生成されるごとに基準フレームが生成される。

【００１８】次に、本発明の動作として、差分フレーム
変換部の動作について説明する。図５は差分フレーム変
換部の構成を示すブロック図、図６は差分フレーム変換
処理を示すフローチャート、図７は変換された差分フレ
ームを示す説明図である。本発明では、サーバ側から差
分フレームを受信するごとに、その差分値から各頂点の
座標変化量を算出し、その変化量が差分精度値以上のも
のとなった差分値のみを新たな差分フレームとしてクラ
イアント側に送信するようにしたものである。

【００１９】また、送信しなかった各頂点の差分値を累
積差分値として順次累積保持するとともに、新たな差分
フレームを受信するごとにその差分フレームに含まれる
各頂点の差分値を、対応する累積差分値に加算し、加算
後の累積差分値から各頂点の座標変化量を算出するよう
にしたものである。

【００２０】図５において、５１はデータ受信部１１
（図２参照）で受信された差分フレームが入力される入
力レジスタ、５２は内部で保持する累積差分値に入力レ
ジスタ５１内の差分フレームに含まれる差分値を加算す
るアキュムレータである。また５３はアキュムレータ５
２で得られた累積差分値から、各頂点座標の変化量を算
出する演算処理部、５４は演算処理部５３で得られた各
頂点座標の変化量と、差分精度管理部１６からのクライ
アントに応じた差分精度値とを比較し、その累積差分値
の転送要否を判断する判定部である。

【００２１】５５はアキュムレータ５２に保持されてい
る各累積差分値のうち判定部５４により転送要と判断さ
れた累積差分値のみを出力するゲート、５６は判定部５
４からの転送要を示す出力を遅延させ、ゲート５５から
対応する累積差分値の出力が完了した後にリセット信号
を出力することにより、アキュムレータ５２内に保持さ
れている送信済みの累積差分値を初期化する遅延部
（Ｄ）である。

【００２２】図７（ａ）は各フレームで示される静止画
像１０１〜１０４の変化、ここでは頂点Ａ〜Ｃを有する
３次元座標上の三角形ポリゴンの変化を示しており、図
７（ｂ）は各静止画像１０１〜１０４内の各頂点Ａ〜Ｃ
の座標値１１１〜１１４を示している。この場合、静止
画像１０１は基準フレームにより送信されるため、各頂
点の座標値１１１がそのままサーバ１（図１参照）から
送信される。なお、実際には、これら頂点座標値の他に
各頂点の接続情報も送信されるがここでは省略する。

【００２３】また図７（ｃ）は各頂点座標値の差分で構
成されたサーバからの差分フレーム、図７（ｄ）は判定
部５４による判断結果、図７（ｅ）は判断結果に応じて
ゲートウェイのゲート５５から送信される新たな差分フ
レームを示している。静止画像１０２を示すフレームを
送信するタイミングでは、直前の静止画像１０１の座標
値１１１と静止画像１０２の座標値１１２との差分値が
差分フレーム１２２としてサーバから送信される。

【００２４】一般に、静止画像１０ｉおよび静止画像１
０ｊ（ただし、ｊ＝ｉ＋１）内の頂点ｎの座標が次のよ
うな場合、 静止画像１０ｉ 頂点ｎ：（ｘ_ni，ｙ_ni，ｚ_ni） 静止画像１０ｊ 頂点ｎ：（ｘ_nj，ｙ_nj，ｚ_nj） 差分フレームにおける頂点ｎの差分値は、 静止画像１０ｊ 頂点ｎ：（ｄｘ_nj＝ｘ_nj−ｘ_ni （差分フレーム１２ｊ） ｄｙ_nj＝ｙ_nj−ｙ_ni ｄｚ_nj＝ｚ_nj−ｚ_ni） となる。

【００２５】サーバ１から送信された基準フレームおよ
び差分フレームは、ネットワーク３内のゲートウェイ４
Ａ，４Ｂのデータ受信部１１（図２参照）で受信され、
差分フレーム変換部１２の入力レジスタ５１（図５参
照）に格納され保持される。入力レジスタ５１に保持さ
れているフレームが基準フレームである場合、アキュム
レータ５２で保持されている累積差分値が全て初期化さ
れる（累積差分値＝０）とともに、その基準フレームが
ゲート５５からそのまま出力される。

【００２６】一方、入力レジスタ５１に保持されている
フレームが差分フレームである場合、図６に示すよう
に、まずその差分フレームの各頂点差分値がアキュムレ
ータ５２で保持されている累積差分値に加算され（ステ
ップ６１）、新たな得られたこの累積差分値から演算処
理部５３により各頂点の変化量が算出される（ステップ
６２）。

【００２７】例えば、静止画像１０ｊを示す差分フレー
ム１２ｊを受信した時点における頂点ｎの累積差分値
は、以下のようにして算出される。 累積差分値 頂点ｎ：（Ｓｄｘ_nj＝ｄｘ_nj＋Ｓｄｘ_ni （差分フレーム１２ｊ） Ｓｄｙ_nj＝ｄｙ_nj＋Ｓｄｙ_ni Ｓｄｚ_nj＝ｄｚ_nj＋Ｓｄｚ_ni）

【００２８】演算処理部５３では、この新たな累積差分
値に基づき、次のようにして各頂点の変化量を算出す
る。例えば、差分フレーム１２ｊから算出された頂点ｎ
の累積差分値が（Ｓｄｘ_nj，Ｓｄｙ_nj，Ｓｄｚ_nj）の場
合、最後に送信された頂点座標と静止画像１０ｊとの間
における頂点ｎの変化量ｄ_njは、 ｄ_nj＝（Ｓｄｘ_nj ² ＋Ｓｄｙ_nj ² ＋Ｓｄｚ_nj ² ）^1/2 となる。

【００２９】演算処理部５３により算出された頂点ｎの
変化量ｄ_njは、判定部５４においてネットワークの負荷
やクライアントからの要求に基づく差分精度値ｐと比較
され、その頂点ｎの累積差分値の転送要否が判断される
（ステップ６３）。ここで、頂点ｎの変化量ｄ_njが差分
精度値ｐ以上の場合は（ステップ６３：ＹＥＳ）、最後
に送信された頂点ｎの座標位置から頂点ｎが大きく移動
したと判断して、その頂点ｎの累積差分値が転送要であ
ることをゲート５５に指示する（ステップ６４）。

【００３０】一方、頂点ｎの変化量ｄ_njが差分精度値ｐ
より小さい場合は（ステップ６３：ＮＯ）、最後に送信
された頂点ｎの座標位置から頂点ｎがほとんど移動して
おらず、その頂点ｎの累積差分値が転送不要であると判
断する。このようにして、各頂点ごとにその変化量が算
出されて差分精度値ｐと比較され、各頂点の転送要否が
判断される。そして、転送要の指示を受けた頂点の累積
差分値だけが、アキュムレータ５２からゲート５５を介
してクライアント側に送信される。

【００３１】なお、転送不要と判断された頂点の累積差
分値は、そのままアキュムレータ５２に保持されるが、
転送要と判断された頂点の累積差分値は、その送信完了
後に初期化される（ステップ６５）。図５では、判定部
５４からゲート５５への転送指示を遅延部５６で遅延さ
せてアキュムレータ５２にリセット信号として入力する
ことにより、初期化指示を行っているが、他の方法でも
よい。

【００３２】図７において、２つの静止画像１０１，１
０２間で、頂点Ｃが差分精度値ｐより大きく移動し、頂
点Ａ，Ｂがほとんど移動していない場合、判断結果１３
２に示すように、頂点Ｃについてのみ転送要と判断さ
れ、頂点Ｃの累積差分値からなる新たな差分フレーム１
４２がクライアント側に送信される。これにより、サー
バ１から送信された差分フレーム１２２と比較して、デ
ータ容量の少ない差分フレーム１４２が新たに生成され
てゲートウェイ４Ａ，４Ｂから送信されるものとなる。

【００３３】したがって、累積差分値の転送要否判断に
用いる差分精度値ｐの大きさを、ゲートウェイ４Ａ，４
Ｂ以降のネットワーク負荷に応じて制御することによ
り、差分フレームのデータ容量を増減できる。これによ
り、ネットワーク負荷が大きくなり、使用可能帯域が小
さくなった場合でも、データ容量の小さい差分フレーム
を送信することにより、所定時間間隔でクライアント２
Ａ〜２Ｃにフレームデータを送信でき、ネットワークの
負荷が増大した場合でも遅延を生じることなく動画を転
送できる。

【００３４】また、このような差分フレームの変換処理
をネットワーク内に設けられた各ゲートウェイで行うよ
うにしたので、ネットワークの各方路の負荷に応じて個
別に対応でき、各クライアントに対して最適なサービス
を提供できる。さらに、各頂点について、各フレーム間
の差分を累積しておき、転送要の判断に応じてその累積
差分値を送信するようにしたので、各頂点ごとに、最後
に送信した座標値から新たな座標値までの正確な差分値
を送信でき、クライアント側で精度よく画像を再生でき
る。

【００３５】なお、ネットワーク負荷に応じて差分精度
値ｐを制御するだけでなく、クライアント側からの要求
に応じて差分精度値ｐを制御してもよい。例えば、クラ
イアント側で他の処理により処理能力が低下した場合
は、サーバからのフレームデータを再生する処理が遅延
する。このような場合にクライアントからゲートウェイ
に対して差分精度値ｐを大きくする要求を送信する。

【００３６】これに応じて、ゲートウェイでは、直ちに
そのクライアントに対して送信される差分フレームのデ
ータ容量を低減するため、クライアント側の負荷が低下
している場合でも、遅延を生じることなく動画を再生で
きる。また、その後、クライアント側の負荷が低減した
場合に、差分精度値ｐを小さくする要求を送信すること
により、ゲートウェイからデータ容量の大きい差分フレ
ームが送信されるものとなり、クライアントにおいて精
度の高い動画を再生できる。

【００３７】なお、以上の説明では、１つのクライアン
トに対する差分フレーム変換処理について説明したが、
このような差分フレーム変換処理を各クライアントごと
に個別に行うようにしてもよい。これにより、各クライ
アントに対して個々のクライアントへのネットワークの
負荷や個々のクライアントの負荷に応じて最適なサービ
スを提供できる。

【００３８】

【発明の効果】以上説明したように、本発明は、サーバ
からクライアントへ至るネットワークの途中に設けられ
た中継局において、サーバ側から差分フレームを受信し
た場合、その差分フレームから得られた異なる時点の２
つの静止画像間で変化した個々の図形データの差分値
と、差分フレームから生成される画像の精度を示す差分
精度値とをそれぞれ比較し、その比較結果に応じて個々
の差分値の転送要否を判断し、転送要と判断された差分
値から新たな差分フレームを生成してクライアント側に
転送するようにしたものである。

【００３９】したがって、この差分精度値の大きさをネ
ットワーク負荷やクライアント要求に応じて制御するこ
とにより、中継局からクライアント側に送信する差分フ
レームのデータ容量が調整できる。これにより、ネット
ワーク負荷が大きくなり、使用可能帯域が小さくなった
場合でも、データ容量の小さい差分フレームを送信する
ことにより、所定時間間隔でクライアントにフレームデ
ータを送信でき、ネットワークの負荷が増大した場合で
も遅延を生じることなく動画を転送できる。

【００４０】さらに、このような差分フレームの変換処
理をネットワーク内に設けられた各ゲートウェイで行う
ようにしたので、ネットワークの各方路の負荷に応じて
個別に対応でき、各クライアントに対して最適なサービ
スを提供できる。また、クライアントからの要求に応じ
てデータ容量の小さい差分フレームが送信されるため、
クライアントの負荷が大きくなった場合でも、遅延を生
じることなく動画を再生できる。また、ネットワークの
各方路やクライアントごとに対応できることから、サー
バから複数のクライアントに対して同時に並列して動画
データを送信するマルチキャスト方式において極めて有
用である。

【図面の簡単な説明】

【図１】 本発明の一実施の形態により動画転送システ
ム示すブロック図である。

【図２】 ゲートウェイを示すブロック図である。

【図３】 クライアントを示すブロック図である。

【図４】 動画データの構成を示す説明図である。

【図５】 差分フレーム変換部を示すブロック図であ
る。

【図６】 差分フレーム変換処理を示すフローチャート
である。

【図７】 変換された差分フレームを示す説明図であ
る。

【符号の説明】

１…サーバ、２Ａ〜２Ｃ…クライアント、３…ネットワ
ーク、４Ａ，４Ｂ…ゲートウェイ、１１…データ受信
部、１２…差分フレーム変換部、１３…データ送信部、
１４…ネットワーク監視部、１５…差分精度設定部、１
６…差分精度管理部、１７…コマンド受信部、２１…デ
ータ受信部、２２…画像展開処理部、２３…フレームバ
ッファ、２４…表示部，２５…コマンド入力部、２６…
コマンド送信部、３１〜３４…ポリゴン、４１…基準フ
レーム、４２〜４４…差分フレーム、５１…入力レジス
タ、５２…アキュムレータ、５３…演算処理部、５４…
判定部、５５…ゲート、５６…遅延部、１０１〜１０
４，１０ｉ，１０ｊ…静止画像、１１１〜１１４座標
値、１２２〜１２４，１２ｊ…差分フレーム、１３２〜
１３４判断結果、１４２〜１４４新たな差分フレーム。

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 図形の座標情報や接続情報などを示す多
   数の図形データから構成される静止画像を時系列的に連
   続させてなる一連の動画を、任意の時点における静止画
   像の全図形データからなる基準フレームと、異なる時点
   の２つの静止画像間で変化した個々の図形データの差分
   値からなる差分フレームとに変換し、これら基準フレー
   ムと差分フレームとを動画データとしてサーバからクラ
   イアントへネットワークを介して転送する動画転送方法
   において、 サーバからクライアントへ至るネットワークの途中に設
   けられた中継局は、 サーバ側から差分フレームを受信した場合、 その差分フレームから得られた異なる時点の２つの静止
   画像間で変化した個々の図形データの差分値と、差分フ
   レームから生成される画像の精度を示す差分精度値とを
   それぞれ比較し、 その比較結果に応じて個々の差分値の転送要否を判断
   し、 転送要と判断された差分値から新たな差分フレームを生
   成してクライアント側に転送することを特徴とする動画
   転送方法。
2. 【請求項２】 請求項１記載の動画転送方法において、 中継局は、 基準フレームおよび差分フレームを転送するネットワー
   クの負荷を監視し、 この監視により得られたネットワークの負荷に基づいて
   差分値の転送要否判断に用いる差分精度値を設定するこ
   とを特徴とする動画転送方法。
3. 【請求項３】 請求項１記載の動画転送方法において、 中継局は、 差分精度値を指示するクライアントからの差分精度設定
   要求に応じて、差分値の転送要否判断に用いる差分精度
   値を設定することを特徴とする動画転送方法。
4. 【請求項４】 請求項１記載の動画転送方法において、 中継局は、 転送不要と判断された差分値の累積を個々の図形データ
   ごとに累積差分値として保持し、 新たに差分フレームを受信した場合は、 受信した差分フレームを構成する差分値を対応する累積
   差分値に加算し、 加算後の累積差分値と差分精度値とを比較することによ
   り個々の累積差分値の転送要否を判断し、 転送要と判断された累積差分値から新たな差分フレーム
   を生成してクライアント側に転送するとともに、転送し
   た累積差分値を初期化して保持することを特徴とする動
   画転送方法。