JPH10200494A - データ送信システム及びデータ送信方法 - Google Patents

Abstract

(57)【要約】 【課題】利用する動画像符号化方式に依存することな
く、使用可能なネットワーク帯域に応じた動的なビット
レート制御を可能とする。 【解決手段】符号化ストリームを、ネットワーク３１を
介して送信するデータ送信システムにおいて、破棄可能
なデータ単位を基準にパケット化されると共に、各パケ
ットにパケット優先度を兼ねるパケット識別子を含むヘ
ッダが付加された符号化ストリームを生成するストリー
ム符号化部３４と、ストリーム符号化部４によって生成
された符号化ストリームについて、指定されたビットレ
ートに応じて、パケット単位で各パケットのヘッダに含
まれるパケット識別子に基づく優先度を利用して送信ま
たは破棄を制御するストリームシェーピング処理部３６
を有する映像送信部３６とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオやオーディ
オ等の実時間データをパケット化されたストリームデー
タとして扱うデータ送信システム、及びデータ送信方法
に関する。

【０００２】

【従来の技術】近年、コンピュータネットワーク技術や
ディジタル情報の通信技術の発展に伴って、例えばビデ
オ・オン・デマンド（ｖｉｄｅｏ ｏｎ ｄｅｍａｎ
ｄ）を実現するような、時系列上に構成される一連のデ
ータ列（以下、ストリームデータと称する）を転送する
データ転送システムが開発されている。

【０００３】このようなデータ転送システムでは、要求
された例えば映画等の映像信号あるいは音声信号をディ
ジタル情報に変換してストリームデータとし、ネットワ
ークを介して送信側システムから受信側システムに送信
される。

【０００４】一般に、音声を伴う映像等のデータをネッ
トワーク配送する場合には、ＭＰＥＧ（Moving Picture
Experts Group）やＭｏｔｉｏｎ−ＪＰＥＧ（Joint Ph
otographic Coding Experts Group ）、Ｈ．２６１等の
動画像符号化が用いられ、パケット化された符号化スト
リームとして送信される。

【０００５】また、複数のユーザが共有するネットワー
ク上で、音声や映像等のマルチメディアデータを実時間
転送するとき、常に必要なネットワーク帯域を確保でき
るとは限らないため、符号化された映像ストリームを転
送する際に、使用可能なネットワーク帯域に合わせてス
トリームのビットレートを削減している。

【０００６】従来、ビットレート削減方法の一つとし
て、エンコード処理とストリーム転送を並行して行な
い、ビットレート制御の必要が生じた場合には、エンコ
ーダにフィードバックをかけて、符号化パラメータ（画
質、フレーム数等）を調整する方法がある。しかし、こ
の方法は、符号化部とデータ送信部とが互いに依存しあ
うシステム構成になるため、パケット化された符号化ス
トリームとして予め蓄積されたストリームを送信するオ
ンデマンド型の映像通信システムに適用することができ
なかった。

【０００７】ここでは、エンコード部とデータ転送部が
独立しており、データ転送部において符号化済みのスト
リームのビットレート削減を行なう方式を対象として説
明する。なお、符号化済みのストリームのビットレート
を削減することを、ストリーム・シェーピング（Shapin
g ）と呼び、使用可能なネットワーク帯域に合わせてビ
ットレートを削減するストリーム制御をストリームシェ
ーピング処理と呼ぶこととする。

【０００８】一般に、ビデオストリームに関するストリ
ーム・シェーピングの方法としては、次の（１）〜
（３）の方法がある。

【０００９】（１）表示フレーム数を削減する（時間解
像度）。

【００１０】（２）画像サイズ（幅・高さ）を縮小する
（空間解像度）。

【００１１】（３）原画の１画素あたりのビット数を削
減する（階調数あるいは色解像度）。

【００１２】例えば、表示フレーム数を削減する方法を
用いて、３０Frame/sec でフレーム内符号化されている
ストリーム（例：Ｍｏｔｉｏｎ−ＪＰＥＧ）を時間解像
度を半分にして１５Frame/sec のストリームとして送信
する場合には、データ送信処理中に、ストリーム解析に
より、符号化されたフレームデータの境界を検出して、
１フレームおきにデータ送信／データ破棄を繰り返す。

【００１３】また、画像サイズ（幅・高さ）を縮小する
空間解像度を変更する方法を用いる場合には、ストリー
ム中の各フレームデータが、低解像度データとそれを補
う高解像度拡張データとに分離されて符号化されている
（すなわち、階層符号化ストリームである）ことを前提
とし、データ転送時に高解像度拡張データを破棄するこ
とでビットレートを削減する。この場合には、空間解像
度と時間解像度を組み合わせたストリーム・シェーピン
グも可能である。

【００１４】動画像符号化における用語である「スケー
ラビリティ」とは、一つのビットストリームから空間解
像度、時間解像度が異なった２種類以上の画像を復号で
きることを指す。上記のビットレート制御は、この符号
化ストリームのスケーラビリティを利用したものであ
る。

【００１５】動画像符号化方式の国際標準であるＭＰＥ
Ｇは、スケーラビリティ機能を持つ符号化ストリーム
（スケーラブル符号化ストリームと呼ぶ）を規定してい
るが、これは、復号器におけるスケーラビリティを実現
するものであり、ストリーム送信時のスケーラビリティ
を考慮したものとはいえない。

【００１６】例えば、ＭＰＥＧではビデオとオーディオ
の多重化方法を定めているが、多重化ストリームからビ
デオストリーム中の特定のピクチャ（例えばＢピクチ
ャ）に相当するデータ部分を分離するのは容易ではな
い。

【００１７】

【発明が解決しようとする課題】従来では、送信時にス
トリームのビットレート制御を行なう試みが数多くなさ
れている。ＭＰＥＧビデオストリームを扱ったものに関
しては、ピクチャタイプにより数段回のレベルを設ける
方法がある。この方法では、全データの配送、Ｂピクチ
ャの破棄、Ｂ，Ｐピクチャの破棄、全ビデオ破棄（オー
ディオのみ配送）というレベル指定によるもので、離散
的なレート制御しかできないものである。

【００１８】また、従来ではビデオとオーディオが多重
化されているストリームに対して、間引いてしまうと品
質が大きく劣化してしまうオーディオを優先して送信さ
せ、ビデオストリームからビットレート削減を始めるレ
ート制御があるが、ビデオとオーディオのどちらが重要
なデータであるかは、映像の内容やユーザの要求により
異なるものである。また、複数の映像が多重化されてい
るストリームを対象とする場合もあることを考えると、
ビットレート制御のポリシーをユーザが設定できないこ
とは、非常に大きな制約となっていた。

【００１９】また、中継ノードにおけるビットレート制
御や、マルチキャスト映像配送を考慮に入れるならば、
ビットレート制御方法は、符号化方法に依存しないもの
であることが好ましい。そのためには、そのストリーム
構造は、ＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６
１等の代表的な動画像符号化方式からの拡張が容易であ
り、かつ、符号化後のビットレート制御に適したストリ
ーム構造であることが必要である。しかしながら、従来
では利用する動画像符号化方式に依存する特殊なストリ
ーム構造のフォーマットを定義した上でビットレート制
御を行なうもので拡張性に乏しかった。

【００２０】本発明は前記のような事情を考慮してなさ
れたもので、利用する動画像符号化方式に依存すること
なく、使用可能なネットワーク帯域に応じた動的なビッ
トレート制御を可能とするデータ送信システム及びデー
タ送信方法を提供することを目的とする。

【００２１】

【課題を解決するための手段】本発明は、符号化ストリ
ームを、ネットワークを介して送信するデータ送信シス
テムにおいて、破棄可能なデータ単位を基準にパケット
化されると共に、各パケットにパケット優先度を兼ねる
パケット識別子を含むヘッダが付加された符号化ストリ
ームを生成するストリーム符号化手段と、前記ストリー
ム符号化手段によって生成された符号化ストリームにつ
いて、使用可能なネットワーク帯域に応じて（「指定ビ
ットレートに応じて」と同義）、パケット単位で各パケ
ットのヘッダに含まれるパケット識別子に基づく優先度
を利用して送信または破棄を決定するストリームシェー
ピング処理手段と、前記ストリームシェーピング処理手
段によって送信と決定されたパケットによる符号化スト
リームを送信する送信手段とを具備したことを特徴とす
る。

【００２２】このような構成によれば、ストリーム符号
化手段による符号化ストリームの生成が、符号化データ
に対して破棄可能なデータ単位を基準にパケット化する
だけであって、符号化方式そのものに依存しないため、
例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６１
等の任意のスケーラブル符号化方式の何れを用いた場合
にも適用することができる。すなわち、符号化したデー
タのパケット化方法のみを規定している。これは、既存
の符号化方式からの拡張が容易であり、かつビットレー
ト制御機能を有するストリーム送受信手段の汎用性を高
めるという効用を持つ。また、ストリーム送信処理中に
複雑なストリーム解析を行なわず、パケットヘッダ中の
情報のみを参照してビットレート制御を行なうので高速
な処理が実現される。

【００２３】また、前記ストリームシェーピング処理手
段は、前記ストリーム符号化手段によって生成された符
号化ストリームの各パケットのヘッダに含まれるパケッ
ト識別子とパケット優先度との対応関係が登録されたフ
ィルタリング情報テーブルを作成するテーブル作成手段
と、送信対象とする符号化ストリームの各パケットから
抽出されるヘッダに含まれるパケット識別子をもとに、
前記テーブル作成手段によって作成されたフィルタリン
グ情報テーブルを参照して各パケットについて送信ある
いは破棄を判定するフィルタリング判定手段とを具備し
たことを特徴とする。

【００２４】このような構成によれば、ストリーム符号
化手段によって付加されたヘッダに含まれる、パケット
優先度を兼ねるパケット識別子により自動的にファイリ
ング情報テーブルを作成し、このテーブルを利用してビ
ットレート制御が行われる。すなわち、テーブル作成手
段を具備することにより、パケット識別子をパケット優
先度として一意に定義させないようにしている。

【００２５】また、前記テーブル作成手段は、外部から
与えられる指定に応じて、パケット識別子とパケット優
先度との対応関係を設定することを特徴とする。

【００２６】これにより、外部、すなわちユーザからの
指定に応じて、フィルタリング情報テーブルに登録され
るパケット識別子とパケット優先度の対応関係が変更さ
れる。従って、ユーザからの指定に応じたビットレート
制御が行われる。

【００２７】また、前記ストリーム符号化手段は、符号
化周期を示す制御用パケットを周期的に挿入して符号化
ストリームを生成し、前記ストリームシェーピング処理
手段は、前記制御用パケットにより判別される周期毎
に、送信するパケットを増加しながら使用可能なネット
ワーク帯域を越えないように（あるいは、指定されたビ
ットレートを越えないように）パケットの送信または破
棄を決定することを特徴とする。

【００２８】これにより、符号化ストリームの送信途中
で使用可能なネットワーク帯域が変更されても、制御用
パケットにより判別される周期毎に、使用可能なネット
ワーク帯域に応じたビットレートであるか判定され、許
容される範囲内で順次パケット優先度に基づく優先度の
高いパケットから優先して送信するように制御されるた
め、ネットワーク帯域の変更に対して動的に対応するこ
とができる。

【００２９】また、前記ストリーム符号化手段は、前記
ヘッダに含まれるパケット識別子に階層構造を持たせ、
各階層の内容によってパケット優先度を表すことを特徴
とする。

【００３０】これにより、パケット識別子に階層構造を
持たせ、各階層の内容によってパケット優先度を表すこ
とで、例えば符号化ストリームを多重化ストリームとし
た場合に、多重化されたデータのそれぞれに対する優先
度の設定を行なう等、詳細なパケット優先度の設定を可
能としている。

【００３１】また、前記ストリーム符号化手段は、前記
ヘッダに含まれるパケット識別子のパケット優先度を、
絶対的なパケット優先度と変更可能なパケット優先度と
を区別できるようにすることを特徴とする。

【００３２】これにより、例えば、ＭＰＥＧを符号化方
式として用いた符号化ストリームの場合、復号画像の品
質を低下させないために、Ｉピクチャ、Ｐピクチャ、Ｂ
ピクチャという順で絶対的な優先順位が存在するが、こ
れら変更することができない絶対的なパケット優先度を
設定した場合に、この絶対的なパケット優先度が存在す
ることが明示される。

【００３３】また、前記ストリーム符号化手段は、前記
ヘッダに含まれるパケット識別子を、パケットの破棄が
可能であるか否か表すようにすることを特徴とする。

【００３４】これにより、例えば、階層符号化されてい
ないオーディオデータやユーザデータ等のストリームの
ように、ストリーム途中のパケットを破棄すると復号後
の品質が大きく劣化したり、意味のないデータとなって
しまう場合には、部分的なパケット破棄を許さずに全て
送信するか、全く送信しないように明示される。

【００３５】また、ネットワーク経路上に設けられ、デ
ータ送信側システムとデータ受信側システムとの間に位
置する中継ノードであって、破棄可能なデータ単位を基
準にパケット化されると共に、各パケットにパケット優
先度を兼ねるパケット識別子を含むヘッダが付加され
た、前記データ送信側システムからの符号化ストリーム
について、使用可能なネットワーク帯域に応じて、パケ
ット単位で各パケットのヘッダに含まれるパケット識別
子に基づく優先度を利用して送信または破棄を決定する
ストリームシェーピング処理手段と、前記ストリームシ
ェーピング処理手段によって送信と決定されたパケット
による符号化ストリームを前記データ受信側システムに
ネットワークを介して送信する送信手段とを具備したこ
とを特徴とする。

【００３６】このような構成によれば、ネットワーク経
路上のデータ送信側システムとデータ受信側システムと
の間に位置する中継ノードにおいても、スデータ受信側
システムまでのネットワークの状態（使用可能なネット
ワーク帯域）に応じたストリームシェーピング処理を、
データ送信システムにおけるストリームシェーピング処
理と同様にして行なうことができる。すなわち、符号化
ストリームに対するストリームシェーピング処理を多段
階に施すことができる。

【００３７】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は、本発明のデータ送
信システムの概要を説明するためのブロック図である。
本実施形態では、データ送信システムとして、音声を伴
う映像をパケット化された符号化ストリームとして送信
する映像送信システムを例にして説明する。

【００３８】［概要］はじめに、本実施形態における映
像送信システムの概要について、図１に示すブロック図
を参照しながら説明する。

【００３９】本実施形態では、ＭＰＥＧ、Ｍｏｔｉｏｎ
−ＪＰＥＧ等の符号化ビデオストリームを扱う映像送信
システムに、ビットレート制御機能を有するストリーム
シェーピング処理部０２を付加する。

【００４０】複数のユーザが利用しているネットワーク
では、映像ストリーム（符号化ストリーム）を配送する
ために必要なネットワーク帯域を常に十分確保できると
は限らない。このため、例えば６Ｍｂｐｓのビットレー
トによって送信したいところ、ネットワーク帯域を十分
確保できず、ストリームのビットレートをビットレート
制御によって例えば２Ｍｂｐｓに削減した上で配送する
必要が発生する。ビットレート削減の際には、可能な限
り復号画像の品質を損なわないように配慮することが好
ましい。そこで、本実施形態における映像送信システム
では、以下のような方法を用いる。

【００４１】符号化ストリームを、破棄可能な符号化デ
ータ単位毎にパケット化して、例えば蓄積ストリームと
して外部記憶部０８に蓄積しておく。外部記憶部０８に
蓄積される符号化ストリームは、パケットフィルタリン
グによるビットレート制御（送信／破棄判定）に適した
ストリーム構造が定義されている。

【００４２】ストリーム構造の定義には、符号化データ
単位毎にパケット化すること、ストリーム中に符号化周
期を示す制御用パケットを周期的に挿入すること、パケ
ットヘッダフォーマット（パケット優先度を兼ねるパケ
ット識別子）を規定する。このストリーム構造は、符号
化データそのものに対する規定を含まないため、ＭＰＥ
ＧやＭｏｔｉｏｎ−ＪＰＥＧ等の既存の動画像符号化方
式から拡張することが容易となっている。

【００４３】ストリームシェーピング処理部０２は、入
力部００から与えられる外部記憶部０８に蓄積されてい
る符号化ストリームについて、各パケットのヘッダに付
加されているパケット優先度を兼ねるパケット識別子を
利用して、パケット・フィルタリングによるストリーム
シェーピング処理（ビットレート制御方法）を行なった
上で送信部０４を通じてネットワークにストリームを送
信する。

【００４４】ストリームシェーピング処理部０２は、ス
トリームシェーピング処理を行なう際、テーブル０３に
登録されているパケット識別子に対する優先度に応じ
て、各パケットの破棄または送信を決定する。

【００４５】また、ストリームシェーピング処理部０２
は、数値指定によるビットレート制御を可能にするた
め、テーブル０３に登録されるパケット識別子と優先度
との対応関係に基づいて、使用可能なネットワーク帯域
の範囲内で優先度の高いパケットから優先して送信し、
許容される範囲内で順次送信するパケットを増加してい
く。なお、同一周期内で、同じ優先度を持つパケットに
ついては、暗に前方にあるパケットほど優先度が高いも
のとして処理する。

【００４６】ここで、ビットレート制御方法について簡
単に記す。パケットの送信／破棄を判定する境界となっ
ている優先度より高い優先度をもつパケットについては
無条件で送信し、判定境界の優先度より低い優先度をも
つパケットについては無条件で破棄する。そして、判定
境界の優先度と同じ優先度を持つパケットについては、
周期を重ねる毎に徐々にパケット送信数を増やしてい
く。数周期後に一周期内に存在する判定境界と同じ優先
度のパケットを全て送信した状態になったら、判定境界
の優先度を下げ、より多くのパケットを送信できるよう
にする。このような処理を繰り返していくと、徐々に指
定されたビットレートに近づいていく。指定ビットレー
トを越えそうになったら、送信パケット数を増やすこと
を止め、その後は、ほぼ定常状態になる。また、テーブ
ル０３に登録されるパケット識別子と優先度との対応関
係を（所定の範囲内で）任意に変更可能とすることで、
優先して出力されるパケットを変更できるようにする。

【００４７】なお、送信対象とする符号化ストリーム
は、必ずしも予め外部記憶部０８に蓄積されている必要
がなく、本実施形態における規定によるストリーム構造
に従って生成されるパケット化された符号化ストリーム
を直接入力するようにすることも勿論可能である。ま
た、指定ビットレートは、ストリーム送信中に動的に変
更可能である。

【００４８】［システム構成］ ＜映像送信システム＞次に、本実施形態における映像送
信システムの構成例について説明する。図２は、本実施
形態における映像送信システムの構成を示すブロック図
である。図２に示すように、本実施形態における映像送
信システムは、入力部１０、ストリームシェーピング部
１２、送信部１４、ストリーム情報取得部１６から構成
される。

【００４９】入力部１０は、ハードディスク装置等によ
って構成される外部記憶装置１８から符号化ストリーム
を読み込み、パケット単位でストリームシェーピング処
理部１２に送り出す。ストリーム読み込み速度は、スト
リーム情報取得部１６から与えられる符号化ストリーム
（入力ストリーム）のビットレートを基準とする。入力
部１０は、十分な容量があるバッファを有するものとす
る。なお、入力部１０は、符号化器（後述するストリー
ム符号化部３４）から直接、符号化ストリームを受信し
てもよい。

【００５０】ストリームシェーピング部１２は、入力部
１０を介してパケット単位で符号化ストリームを読み込
み、パケット優先度を含むパケットヘッダに付加されて
いる情報（パケットフォーマットの詳細については後述
する）を利用して、パケットの送信／破棄を決定し、送
信と判断されたパケットのみを送信部１４に送る。スト
リームシェーピング部１２は、パケット優先度に基づく
単純なパケットフィルタリング処理だけでなく、指定さ
れた目標ビットレートを超えないように出力ストリーム
のビットレートを調整する機能も有している。

【００５１】送信部１４は、ストリームシェーピング部
１２から受け取ったパケットをバッファに保持し、適当
なデータ量に達したらこれを受信側システムに送信す
る。ストリームシェーピング処理後の目標ビットレート
が指定されている場合、送信部１４は、そのレートを守
って送信処理を行なう。この時、符号化周期情報を利用
するようにしてもよい。また、ネットワーク負荷が大き
く、定められた送信レートを守れない状況になったら、
ストリームシェーピング部１２に目標ビットレートを下
げる要求を出す機能を有しているものとする。

【００５２】ストリーム情報取得部１６は、ストリーム
の符号化処理時に外部記憶部１８に保存された、パケッ
ト優先度を含むパケット識別子（詳細については後述す
る）に関する情報を読み込み、この情報に基づいてスト
リームシェーピング処理のために必要な情報をストリー
ムシェーピング処理部１２に伝える。また、ストリーム
情報取得部１６は、入力部１０に対して入力ストリーム
のビットレートを通知する。

【００５３】次に、ストリームシェーピング処理部１２
の詳細について説明する。ストリームシェーピング処理
部１２は、図２示すように、テーブル作成部２０、フィ
ルタリング判定部２２、ヘッダ抽出部２４、パケット保
持部２６、及びフィルタリング情報テーブル２８から構
成される。

【００５４】テーブル作成部２０は、ストリーム情報取
得部１６から受け取ったパケット識別子に関する情報を
基にして、パケット識別子とパケット優先度との対応関
係を定義する対応テーブルを作成し、これをフィルタリ
ング情報テーブル２８として保存する。もしくは、パケ
ット識別子とパケット優先度との対応関係が予め登録さ
れている対応テーブルを受信してフィルタリング情報テ
ーブル２８として保存する。フィルタリング情報テーブ
ル２８には、制御パケットに関する情報、及び目標ビッ
トレート（正確には１符号化周期中に送信可能な最大バ
イト数）を含んでいる。また、テーブル作成部２０は、
外部からの指示、すなわちユーザからの指定（ストリー
ムシェーピング機能のＯＮ／ＯＦＦ、優先度指定、指定
されたビットレート（要求ビットレート））に応じて、
フィルタリング情報テーブル２８の内容を変更すること
ができる。なお、優先度テーブルに関してユーザからの
指示が無い場合には、テーブル作成部２０は、パケット
識別子に関する情報のみを利用して、デフォルトのファ
イリング情報テーブルを作成する。

【００５５】目標ビットレートは、ストリーム送信中に
動的に変更することが可能である。目標ビットレートの
値は外部から与えられるものとするが、使用可能なネッ
トワーク資源（帯域）をモニタリングする手段を有する
場合には、これを利用して自動的にビットレート指定を
行ってもよい。また、送信部１４がネットワークのバッ
クプレッシャーを検知できる場合には、送信部１４がス
トリームシェーピング部１２へ目標ビットレート変更要
求（レート調整命令）を送信する機能を有するようにし
てもよい。

【００５６】ヘッダ抽出部２４は、入力部１０から受け
取ったパケットからヘッダ部分（ヘッダ情報）をコピー
し、これをフィルタリング判定部２２に送る。また、パ
ケット（ヘッダを含む）をパケット保持部２６に送る。

【００５７】パケット保持部２６は、ヘッダ抽出部２４
から受け取ったパケットを一時的に保持し、フィルタリ
ング判定部２２から送信／破棄の決定通知に従ってパケ
ット処理を行なう。パケットを送信する場合、ヘッダを
付けたまま送信部１４に送信する。ただし、送信側シス
テムと受信側システムとを結ぶネットワークにストリー
ムシェーピング機能を持つ中継ノード（後述する）が存
在せず、受信側システムがパケットヘッダを削除した符
号化ストリームを要求するならば、ヘッダ部分を削除し
て後段の送信部へデータを渡すようにしてもよい。この
ヘッダ削除機能はヘッダ抽出部２４の機能としてもよ
い。

【００５８】フィルタリング判定部２２は、フィルタリ
ング情報テーブル２８を利用して、ヘッダ抽出部２４か
ら送られたヘッダ情報に含まれるパケット識別子をキー
としファイリング情報テーブルを参照して、パケット優
先度を求め、このパケット優先度に基づいて、フィルタ
リング判定を行ない、判定結果をパケット保持部２６に
通知する。フィルタリング判定は、パケット単位で送信
／破棄を決定するものである。ビットレートが指定され
ている場合には、（周期通知パケット（後述する）を基
準にして）優先度が最も高いパケットから徐々に優先度
が低いパケットへと、指定されたビットレートを超えな
い範囲で送信するパケット数を徐々に増やしていく。ま
た、フィルタリング機能がオフの場合は、全てのパケッ
トを送信部１４に送る。

【００５９】＜映像送信システムを組み込んだ映像通信
システム＞次に、図２に示す映像送信システムを組み込
んだ映像通信システムの構成について説明する。図３
は、本実施形態における映像通信システムの構成を示す
ブロック図である。図３に示すように、本実施形態にお
ける映像通信システムは、送信側システム３０、ネット
ワーク３１、受信側システム３２から構成され、送信側
システム３０中に図２に示す映像送信システムが含まれ
ている。

【００６０】送信側システム３０は、ストリーム符号化
部３４、外部記憶部１８、映像送信部３６から構成され
る。

【００６１】また、ストリーム符号化部３４は、ビデオ
・オーディオ符号化部４０とパケット化処理部４２から
構成される。

【００６２】ビデオ・オーディオ符号化部４０は、入力
される映像信号に対して符号化処理を行ない、パケット
化処理部４２に符号化データを出力する。本実施形態で
は、符号化方式の種類については問わないが、例えばＭ
ＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６１等の動画
像符号化が用いられる。ただし、符号化データは、パケ
ット化処理に適した構造をしているものとする。

【００６３】パケット化処理部４２は、ビデオ・オーデ
ィオ符号化部４０から出力された符号化データを、本実
施形態において固有の規定されたストリーム構造（詳細
については後述する）に合わせてパケット化する処理を
実行し、パケット化された符号化ストリームを生成す
る。パケット化処理部４２におけるパケット処理によっ
て、ビデオ・オーディオ符号化部４０において用いられ
る各種符号化方式の差異が吸収される。また、制御用パ
ケットは、ストリーム符号化部３４でストリーム中に挿
入される。

【００６４】ここで、パケットとは、ストリームシェー
ピング処理部１２におけるパケット・フィルタリングの
基本単位であり、各パケットのヘッダ部分（ヘッダ情
報）にはパケット種別識別子が付加されている。パケッ
ト種別識別子とは、パケット種別を示す識別子であり、
階層的な設定ができるものである。なお、パケット種別
識別子と実際の符号化データの内容を示すパケット種別
（ビデオまたはオーディオ等）の対応に関する情報は、
別ファイルとして、もしくはストリーム先頭に制御用パ
ケットとしても保存可能であるものとする。

【００６５】ストリーム符号化部３４から出力される符
号化ストリームは、外部記憶装置１８に蓄積されるか、
もしくは映像送信部３６に直接に送られる。ここでは、
符号化処理を行なうビデオ・オーディオ符号化部４０
と、パケット化処理を行なうパケット化処理部４２とを
分離し、逐次、行なうようにしているが同時に実行され
ても構わない。また、ストリーム符号化部３４は、複数
の映像信号を多重化し、１本のストリームとする機能も
有していてもよい。

【００６６】映像送信部３６は、図２に示す映像送信シ
ステムに相当する部分である。映像送信部３６は、スト
リーム情報取得部１６が得たストリーム情報だけを用い
てパケット識別子とパケット優先度の対応テーブルを作
成するだけでなく、外部から与えられるユーザからの指
定（ストリームシェーピング機能のＯＮ／ＯＦＦ、優先
度指定、ビットレート指定）を反映させることができ
る。

【００６７】映像送信部３６の外部からユーザによる指
定（ファイリング情報テーブル作成のための情報）を入
力するために設定部３８が設けられている。設定部３８
は、適当なＧＵＩ（Graphical User Interface）を持
ち、ストリーム中の優先度等を示すパケット種別識別子
と実際のパケット種別（ビデオまたはオーディオ等）に
関する情報を、例えば表示装置（図示せず）においてユ
ーザに提示できるものとする。設定部３８は、提示した
内容を変更する指定がユーザからあると、ストリームシ
ェーピング処理部１２のテーブル作成部２０に通知す
る。また、設定部３８は、使用可能なネットワーク帯域
を示す、１秒当たりの送信データのビット数（要求ビッ
トレート）の指定を入力してテーブル作成部２０に通知
する。

【００６８】なお、設定部３８は、送信側システム３０
においてのみユーザからの指定を入力するだけでなく、
受信側システム３２とネットワークを介して接続されて
いれば、受信側システム３２において入力された指定を
ネットワークを通じて受信して、この指定を対応テーブ
ルに反映（優先度の変更等）させることができる。

【００６９】一方、受信側システム３２は、受信部５０
とストリーム復号部５２から構成される。

【００７０】受信部５０は、ネットワーク３１を介して
符号化ストリームを受信し、ストリーム復号部５２に送
る。

【００７１】ストリーム復号部５２は、パケット分解処
理部６０とビデオ・オーディオ復号処理部６２から構成
される。

【００７２】パケット分解処理部６０は、ストリーム・
シェーピング処理のために付加されていたパケットヘッ
ダを取り除き、純粋な符号化ストリームに戻した上でビ
デオ・オーディオ復号部６２に送出する。

【００７３】ビデオ・オーディオ復号部６２は、パケッ
ト分解処理部６０からの純粋な符号化ストリームに対し
てビデオ・オーディオの復号を行ない、復号した信号
（復号信号）を出力する。なお、ここでは、パケット分
解処理部６０におけるパケット分解処理と、ビデオ・オ
ーディオ復号部６２における復号処理とを分離したが、
同時に行なう構成にしても構わない。また、パケットヘ
ッダを取り除いた（純粋な）符号化ストリームを受信す
る構成にしてもよい。

【００７４】＜ストリームシェーピング機能を有するス
トリーム中継ノード＞図４には、ストリームシェーピン
グ機能を有する中継ノード７０の構成例を示している。

【００７５】中継ノード７０は、送信側システム３０と
受信側システム３２との間のネットワーク３１の経路上
に設けられる。中継ノード７０は、例えばネットワーク
帯域の異なるネットワーク間での符号化ストリームの送
信速度の違いを吸収するために用いられるもので、任意
の場所に任意の数を設けることができる。

【００７６】図４に示すように、中継ノード７０は、通
信インタフェース部７１、ストリームシェーピング処理
部７２、受信部７４、送信部７６、及びテーブル受信部
７８によって構成されている。

【００７７】通信インタフェース部７１は、ネットワー
ク３１との間で符号化ストリーム（さらにはフィルタリ
ング情報テーブル）を送受信するインタフェースであ
り、受信した符号化ストリームを受信部７４に出力し、
送信部７６からのストリームシェーピング処理された符
号化ストリームをネットワーク３１に送出する。

【００７８】ストリームシェーピング処理部７２は、図
２に示すストリームシェーピング処理部１２と同様の機
能を有する（詳細な説明を省略する）。

【００７９】受信部７４と送信部７６は、それぞれ図２
に示す入力部１０と送信部１４と同様の機能を有するも
のとして説明を省略する。

【００８０】テーブル受信部７８は、パケット識別子と
パケット優先度の対応関係が登録されたフィルタリング
情報テーブルを通信インタフェース部７１を通じてネッ
トワーク経由で受信し、ストリームシェーピング処理部
７２に提供する。なお、フィルタリング情報テーブル
は、制御用パケットとしてストリーム中に挿入されてい
てもよい。

【００８１】送信側システム３０と受信側システム３２
との間に以上のような中継ノード７０を設けることで、
パケット化された符号化ストリームが受信側システム３
２に送信されるまでにストリームシェーピング処理部が
多段階接続されることになる。映像送信部３６のストリ
ームシェーピング処理部１２、中継ノード７０のストリ
ームシェーピング処理部７２のそれぞれにおいて、フィ
ルタリング情報テーブルを参照して、符号化ストリーム
に対するストリームシェーピング処理が実行される。な
お、非均質なネットワークにおけるマルチキャスト通信
を行なう場合には、各中継ノードにおいて、送信ノード
の数だけ、ファイリング情報テーブル（および、その他
のビットレート制御に必要なパラメータ）を持ち、中継
ノードと各送信ノードとの間の使用可能ネットワーク帯
域に応じてビットレート制御を行なうことになる。

【００８２】［ストリーム構造］次に、本実施形態にお
ける符号化ストリームの詳細な構造について説明する。
本実施形態における符号化ストリームは、次のような特
徴を有している。

【００８３】（１）ビデオ・オーディオ等の実時間デー
タを扱うパケット化ストリーム。

【００８４】（２）ストリーム中には、複数種類のデー
タ（ビデオ、オーディオ）が多重化されている。

【００８５】（３）フレーム内符号化ストリーム（例：
Ｍｏｔｉｏｎ−ＪＰＥＧ）とフレーム間予測符号化スト
リーム（例：ＭＰＥＧ）の両方を対象とする。

【００８６】（４）パケット単位のデータ削減が可能で
あることを前提とする。

【００８７】（５）パケット構造のみを定義（符号化方
式に依存しない）している。

【００８８】（６）ヘッダ中にパケット種別識別子を持
つ。

【００８９】（７）ストリームに関する統計情報、制御
情報を制御用パケットとして挿入可能。

【００９０】（８）符号化周期を示す制御用パケットが
周期的に挿入されている。

【００９１】以下、詳細について説明する。

【００９２】任意の符号化方式（ＭＰＥＧ、Ｍｏｔｉｏ
ｎ−ＪＰＥＧ、Ｈ．２６１等）の固定長符号化ストリー
ムを対象とする。ただし、破棄可能な符号化データ単位
（例：１フレーム分のビデオデータ）を基準にしてパケ
ット化し、これにヘッダを付加したストリーム構造にな
っていることを条件とする。各パケットのヘッダには、
パケット種別識別子が付加されている。この識別子は、
パケット優先度を兼ねるものであり、この優先度を利用
してパケット・フィルタリングによるストリーム・シェ
ーピング処理が行なわれる。

【００９３】パケット・フィルタリングは、パケット単
位で送信／破棄を決定するものである。従って、１個の
パケットの中に複数の符号化データ単位が含まれていて
はいけない（例：１パケットの中に２フレームにまたが
る符号化データが含まれていてはいけない）。

【００９４】逆に、１つの符号化データ単位が複数のパ
ケットに分割されることは許す（例：１画面（フレー
ム）分のビデオデータを複数パケットに分割する）。た
だし、その複数パケット内のデータが、同一符号化デー
タ単位に属するものであることがわかるようにしてお
く。そのために、パケットヘッダ中に前後のパケットと
のリンク関係を示すフィールドを用意しておく。これ
は、パケット・フィルタリング処理を容易にするために
準備したものである。

【００９５】上の例では、符号化データ単位としてフレ
ームを挙げたが、１フレームデータが階層符号化されて
おり、低解像度成分とそれを補う高解像度成分に分割さ
れている場合には、それぞれをひとつの符号化データ単
位として扱う。

【００９６】また、ストリーム中には、特別な識別子を
持った制御用のパケットを含むことができる。この制御
用パケットは、ストリームの統計情報や制御情報をスト
リーム中に挿入するためのものである。

【００９７】具体的には、図５に示すように、符号化周
期を示す制御パケットを挿入し、このパケットを基準に
してフィルタリング処理や、ビットレート制御を行なう
ことを想定している。ここで、符号化周期とは、ＭＰＥ
ＧのＧＯＰ（Group of Picture）構造の様な符号化処理
の周期を示す。すなわち、ＭＰＥＧの場合は、ＧＯＰを
一周期と見てビットレート制御を行なう。また、Ｍｏｔ
ｉｏｎ−ＪＰＥＧの場合は、フレームレートを基準にし
て符号化周期を定義する。また、制御パケットは、フィ
ルタリングにより破棄したデータサイズ等を中継ノード
や受信ノードに知らせるためにも使用できる。

【００９８】このストリーム構造は、パケット化方法と
ヘッダとして付加すべき情報について規定しただけであ
り、この規定を守れば、符号化器および復号器がこの規
定を守るように設計されていれば、本実施形態における
ビットレート制御方法は任意の符号化方式に対応でき
る。

【００９９】［パケットヘッダ］次に、本実施形態にお
ける符号化ストリームの各パケットに付加されるヘッダ
情報について説明する。本実施形態におけるパケットヘ
ッダは次のような特徴を有している。

【０１００】（１）パケットヘッダには、同期ビットフ
ィールド、リンクフィールド、パケット種別識別子フィ
ールド、パケット長フィールドを持つ（リンクフィール
ド、パケット長は必須ではない）。

【０１０１】（２）パケット種別識別子中の特定のビッ
トを見ることにより、制御用パケットとストリームデー
タ用パケットを識別できる。

【０１０２】（３）リンクフィールドを見ることによ
り、（同じパケット種別識別子を持つ）前後のパケット
とのリンク関係を確認できる。

【０１０３】（４）パケット種別識別子フィールドは、
複数のサブフィールドに分割し、階層構造を持たせるこ
とができる。

【０１０４】（５）パケット種別識別子は、パケット優
先度を兼ねる。

【０１０５】（６）パケット識別子フィールドには、絶
対優先度と可変優先度を区別するフラグを持つことがで
きる。

【０１０６】（７）パケット識別子フィールドには、部
分破棄可能パケットと部分破棄不可パケットを区別する
フラグを持つことができる。

【０１０７】次に、図を参照しながら詳細について説明
する。

【０１０８】パケットヘッダは、図６（ａ）に示すよう
に、同期ビットフィールド、制御用フィールド、リンク
フィールド、パケット種別識別子フィールド、パケット
長フィールドから構成される。各フィールドのサイズに
関しては規定しない。ただし、パケットヘッダサイズは
（処理高速化のため）固定長であることが望ましい。ま
た、パケットのペイロードサイズが固定長とするなら
ば、パケット長フィールドは不要である。

【０１０９】（ａ）同期ビットフィールドは、ストリー
ム中からパケットヘッダを検出するために付加されたも
ので、ヘッダ検出が容易なように固定ビット列を書き込
む。パケット種別識別子は、パケットのペイロードに含
まれるデータの種類を示すものである。

【０１１０】（ｂ）リンクフィールドは、例えば図７に
示すように、１ビデオフレーム分の符号化データが複数
のパケットに分割される場合に、各パケットにおいて前
後のパケットとのリンク状態を示すものである。リンク
フィールドを設けることで、例えば前のパケットがフィ
ルタリング処理により破棄され、かつ、前のパケットと
リンク関係にあるパケットである場合には、自動的に破
棄すべきパケットであることを決定できる。リンクフィ
ールドは、パケット・フィルタリング処理を容易にする
ために準備したものである。また、同じパケット種別識
別子のパケットが連続する場合に、その境界を示す役割
も果たす。下の例は、前後のパケットとのリンク関係を
２ビットを使用して表したものである。

【０１１１】 （００）：独立パケット（リンク関係なし） （０１）：同じ識別子を持つ後ろのパケットとリンク関
係がある （１１）：同じ識別子を持つ前後のパケットとリンク関
係がある （１０）：同じ識別子を持つ後ろのパケットとリンク関
係がある なお、複数種のデータが多重化されているストリームで
は、異なるパケット種別識別子を持つパケットが混在し
ている。そのため、リンク関係にあるパケットの間に、
パケット種別識別子が異なるパケットが挟まれる場合が
ある。

【０１１２】（ｃ）パケット長フィールドは、パケット
のペイロード長（もしくはパケット長）を示す。ストリ
ーム・シェーピング処理では、パケットヘッダのみを参
照し、ペイロード中のデータを参照しない。そこで、パ
ケット長情報を付加しておき、ストリーム中のパケット
ヘッダ検出を容易にする。

【０１１３】パケットヘッダに続くペイロードには、符
号化データ単位、もしくは、その一部が含まれている。
符号化データ単位とは、ストリーム中から削除しても復
号器における復号処理に大きな影響を与えないデータ単
位（例：ビデオの１フレーム分のデータ）を指す。ただ
し、ＭＰＥＧのＩ，Ｐ，Ｂピクチャ（Intra-picture,Pr
edictive-Picture,Bidirectionally Predictive-Pictur
e ）のように、データ単位間に優先順位が存在すること
は構わない。

【０１１４】（ｄ）パケット種別識別子は、パケット種
別を判定するためのものである。パケット種別識別子フ
ィールドの最上位ビットは、制御用パケットとデータパ
ケットを区別するための制御フラグである。

【０１１５】また、パケット識別子は、パケット優先度
を兼ねたものである。パケット優先度を「兼ねる」と
は、次のような意味を持つ。パケット種別識別子は、ス
トリーム符号化時に付加されるものである。そのため、
「識別子＝優先度」と固定的に定めてしまうとユーザの
要望（例：ビデオとオーディオの優先度の変更等）を反
映させることができなくなる。そこで、パケット種別識
別子は、デフォルトのパケット優先度としている。

【０１１６】パケット識別子フィールドは、図６（ｂ）
（ｃ）（ｄ）に示すように、複数のサブフィールドに分
割して使用し、階層構造を持たせることができる。

【０１１７】パケット種別識別子の階層構造の説明のた
めに、ビデオとオーディオ、および、その他の付加デー
タをセットとした番組を２本多重化したＭＰＥＧストリ
ームを考える。この場合、図８に示すように、パケット
種別識別子は、番組、データタイプ、ピクチャタイプと
いう３階層を持つ。

【０１１８】例えば、この多重化ストリーム中から番組
１のみを抽出して送信する場合には、第一階層のパケッ
ト種別識別子のみを参照してパケットの配送／破棄を決
定することができる。また、ＭＰＥＧビデオストリーム
に関してＰ，Ｂピクチャの破棄を行なう場合には、第三
階層のパケット種別識別子まで確認することになる。こ
のような識別子の階層化は、データ管理の面においても
役立つ。

【０１１９】パケット種別識別子フィールドに階層構造
を与える場合は、このフィールドに与えられたビットを
各階層に振り分ける。ただし、上位ビットの分割フィー
ルドを上位階層とするように割り振る。また、識別子の
番号の割り振りに関しては、原則として優先度の高いパ
ケット種別に小さな値を割り振るものとする。これら
は、識別子フィールドの各階層の境界や、識別子と実際
のデータタイプの対応がわからなくても、識別子を（デ
フォルトの）優先度として利用できるように配慮したも
のである。

【０１２０】ＭＰＥＧストリームは、フレーム間予測符
号化方式でありＩ，Ｐ，Ｂという３種類のピクチャタイ
プを持つ。Ｐ，Ｂピクチャの復号のためには、Ｉ，Ｐピ
クチャの復号データが必要である。すなわち、ＭＰＥＧ
ストリームでは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ
という順で、絶対的な優先順位が存在する。パケットフ
ィルタリングの際には、この優先度を守らないと復号画
像の品質が大きく劣化することになる。そこで、絶対的
な優先度であることを示すフラグ（絶対優先度フラグ）
を各識別子サブフィールドの最下位ビットに用意する。
このフラグが“１”の時は、その階層の識別子が絶対的
な優先度であることを示すものとする。

【０１２１】ここでは、オーディオデータやユーザデー
タは、階層符号化されていないストリームを想定してい
る。そのため、ストリーム途中のパケットを破棄すると
品質が大きく劣化したり、パケット破棄発生後に送信し
たデータが全く意味を持たなくなる。このようなストリ
ームは、パケット破棄を許さずにすべて送信するか、全
く送信しないかのいずれかの処理を行なうことが好まし
い。そこで、部分破棄が可能なストリームであるか否か
を示すフラグ（部分破棄可能フラグ）を各識別子サブフ
ィールドの下位第２ビットに用意する。このフラグが
“１”の時は、その階層の識別子が部分破棄可能なスト
リームであることを示す。

【０１２２】図９は、部分破棄可能フラグと絶対優先度
フラグを説明したものである。ただし、この２種類のフ
ラグは必須のものではない。また、識別子フィールドの
サイズを十分に取れない場合には、識別子フィールド中
にこれらのフラグを付加せず、各識別子サブフィールド
と部分破棄可能フラグ、および、絶対優先度フラグの対
応を取るテーブルを用意しておいてもかまわない。

【０１２３】図１０（ａ）は、ＭＰＥＧストリームを想
定したパケット種別識別子の割り振りの例であり、図１
０（ｂ）は、Ｍｏｔｉｏｎ−ＪＰＥＧストリームを想定
したパケット種別識別子の割り振りの例である。両者と
も、パケット種別識別子の階層は、データタイプとフレ
ームタイプ（ピクチャタイプと同義）の２階層とし、各
階層に４ビット割り当て、絶対優先度フラグ、および、
部分破棄可能フラグを付加している。

【０１２４】図１０（ａ）のフレーム種類に示すシステ
ムとは、ＭＰＥＧビデオストリームのピクチャヘッダよ
り上位層のＧＯＰヘッダ等を指す。この例では第二階層
の識別子は４ビットあるが、その下位１、２ビット目が
部分破棄可能フラグ、絶対優先度フラグである。そこ
で、上位２ビットを使用して、システム、Ｉ，Ｐ，Ｂピ
クチャの識別子を付けるが、この識別子をデフォルトの
優先度として使用できるように、符号化処理時の重要度
が大きいものに高い優先度（すなわち識別子の値は小さ
くする）を与えている。

【０１２５】一方、図１０（ａ）（ｂ）のビデオ、オー
ディオ、ユーザデータの間には、絶対的な優先度が存在
しないので、第一階層の最下位ビットは“０”にし、上
位２ビットを使用して３つのデータタイプに識別子を割
り当てる。この部分の優先度に関しては、ユーザが変更
することが可能である。また、オーディオとユーザデー
タに関しては部分破棄可能フラグをオフ“０”にし、ビ
デオに関してはオン“１”にしている。

【０１２６】図１０（ｂ）のＭｏｔｉｏｎ−ＪＰＥＧは
フレーム内符号化画像なので、各フレームは対等な関係
にある。すなわち、ビデオのフレームタイプを区別しな
くて良いので、第二階層の識別子は必要がない。しか
し、これは、どのフレームから破棄すべきかを決定する
手がかりが全くないことを同時に意味する。そこで、図
１０（ｂ）では、偶数フレームと奇数フレームに分けて
識別子を付けている（絶対的な優先度ではない）。この
ように、識別子を利用して符号化時にフレーム破棄の順
序を定めておくこともできる。

【０１２７】なお、部分破棄可能フラグをオフに設定す
ると、パケット破棄を絶対に行わないことを意味するも
のではない。特に、部分破棄不可能なデータに中位の優
先度を設定する場合には、そのデータの一部が破棄され
ることは十分有り得る。これを避けたい場合には、部分
破棄不可能なデータには、最も高い優先度を与えるか、
最も低い優先度を与えるものとする。

【０１２８】［パケット優先度について］次に、パケッ
トの優先度について説明する。本実施形態におけるパケ
ット優先度は次のような特徴を有している。

【０１２９】（１）パケット識別子は、そのままパケッ
ト優先度として使用できる。

【０１３０】（２）ユーザの要望に応じてパケット優先
度を変更することも可能である。ただし、絶対優先度フ
ラグ、部分破棄可能フラグを使用している場合には、こ
れを考慮する。

【０１３１】（３）パケット識別子とパケット優先度の
対応テーブルを用意する。

【０１３２】（４）パケット優先度には、「必ず送信す
る」と「必ず破棄する」を意味するものを用意する。

【０１３３】次に、本実施形態におけるパケット優先度
の詳細について説明する。

【０１３４】パケット識別子は、そのままパケット優先
度として使用できるが、ストリーム送信に先立ち、パケ
ット優先度を変更することも可能である。優先度を変更
するためには、ストリーム中に含まれるパケット識別子
とそのパケットの属性（ビデオ、オーディオ等）の関係
をユーザが理解できる形で示す必要である。そのための
情報（ストリーム情報）は符号化処理時に、符号化スト
リームとは別ファイルとして、もしくは、制御用パケッ
トとしてストリーム先頭に付加される形で保存されるも
のとする。

【０１３５】ユーザに優先度を設定をしてもらうため
に、識別子とその内容を提示する手段（設定部３８）、
および、優先度設定を変更する手段（テーブル作成部２
０）が用意されている。ただし、（符号化方法に依存し
て決定される）絶対優先順位がある部分の優先度は変更
できないようにする。

【０１３６】なお、絶対優先度があるパケットであって
も、高い優先度のパケットから順に「必ず送信」する設
定にしたり、低い優先度のパケットから順に「必ず破
棄」する設定に変更することは可能である。

【０１３７】次にパケット優先度の設定方法について説
明する。

【０１３８】パケット種別識別子は、パケット間の優先
度を示すものであるが（階層構造を持っているので）不
連続な値である。また、ユーザが優先度を変更する場合
もある。従って、ある識別子より１つだけ優先度が高い
（低い）識別子がどれであるか、すなわち使用可能なネ
ットワーク帯域の範囲内で優先度の高いパケットから優
先して送信し、許容される範囲内で順次送信するパケッ
トを増加していくときの対象とするパケットがどれであ
るかを知るために、パケット種別識別子とパケット優先
度を対応付ける対応テーブルが用意される。

【０１３９】図１１は、１番組から構成されるストリー
ムの場合のパケット優先度の設定例であり、図１２は、
２番組を含むストリームの場合の例である。ここで番組
とは、複数のビデオ、オーディオ、ユーザデータから構
成されるストリームを指す。図１１（ｂ）および図１２
（ｂ）が、パケット種別識別子と優先度とを対応付ける
対応テーブルの例である。ここで、図１２（ｂ）の優先
度設定例Ｄについて説明を加える。

【０１４０】図１２を参照してわかるように、このスト
リームは、２本の番組を含み、各番組がオーディオスト
リームを含んでいる。番組２は番組１より優先度が低く
設定されているので、まず番組１を送信し、余裕があっ
たら番組２に属するパケットも徐々に送信されていく。
番組２の中では、オーディオが最も優先度が高いが、こ
れは部分破棄不可パケットに設定されている（図１２
（ａ）参照）。このように、優先度は中間レベルであり
ながら、部分破棄不可パケットがある。識別子の特定ビ
ットを参照すれば、部分破棄の可／不可は確認できる
が、図１３のように部分破棄可／不可を示すフラグを対
応テーブル（識別子−優先度対応テーブル）中に用意し
ても構わない。

【０１４１】なお、パケット優先度は、必ず連続した値
にする。ただし、「必ず送信」するを意味する０ｘ００
と「必ず破棄」を意味する０ｘＦＦは連続していなくて
良い。また、同じ優先度を持つ識別子が複数存在しても
構わないものとする。

【０１４２】［ストリーム・シェーピングに必要な情
報］次に、ストリームシェーピング処理に必要な情報の
詳細について説明する。

【０１４３】＜符号化時に保存されている情報＞以下に
挙げる情報は、符号化処理時に符号化ストリームと共に
保存されるものであり、パケット識別子とパケット優先
度の対応テーブル、ストリームシェーピング時のビット
レート制御のために必要なものである。これらの情報
（ストリーム情報）は、ストリーム送信開始前に、スト
リーム情報取得部１６によって取得される。

【０１４４】（１）符号化ストリームのビットレート オリジナルの符号化ストリームのビットレートを通知す
る。これは、外部記憶部１８からの符号化ストリームの
読み込みレートとして使用する。

【０１４５】（２）ストリーム中に含まれるパケット種
別識別子の階層構造、優先度 ストリーム中の含まれるすべてのパケット種別識別子と
その属性（ビデオ、オーディオ等、ユーザがデータ種別
を判別できる情報）の対応テーブル。また、パケット識
別子フィールドが階層構造を持つ場合には、各階層のビ
ット数も与える。これらは、ユーザがパケット優先度を
設定する際に必要なデータである。

【０１４６】（３）１符号化周期の時間 ビデオストリームの符号化処理には周期性があることを
前提にしている。ストリーム中に符号化周期を示す制御
用パケットを挿入して、ある時間間隔を教える。この値
は、１符号化周期当たりの送信バイト数を求めるために
使用される。例えば、ＭＰＥＧのＧＯＰ（Group Of Pic
ture）を１符号化周期とした場合は、１ＧＯＰ分のデー
タの再生（送信）時間を与える。

【０１４７】（４）パケットヘッダ構造 パケットヘッダの同期ビット、識別子等のフィールドサ
イズが可変の場合には、パケット構造に関する情報を与
える（ヘッダ構造が固定であれば必要ない）。

【０１４８】（５）制御用パケットに関する情報 どのパケット識別子が、どのような意味を持つ制御用パ
ケットであるかを示す情報を与える（予め規定してお
く）。ここでは、符号化周期を通知するための周期通知
パケットと、ストリームの終端であることを示す終端パ
ケットを挿入することを想定している。受信側システム
に、送信側のパラメータ等を通知するためのパケットを
用意することも可能である。

【０１４９】＜ストリーム送信開始前に取得するパラメ
ータ＞ （１）パケットフィルタリング機能のＯＮ／ＯＦＦ、お
よび、モード そのままストリーム送信する場合には、フィルタリング
機能をオフにできるようにする。フィルタリングには、
単純フィルタリング処理とビットレート制御を伴うフィ
ルタリング処理の２種類がある。

【０１５０】（２）指定ビットレート ビットレート制御を伴うパケット・フィルタリング処理
を行なう際には、処理後のストリームのビットレートを
指定する。内部では、指定されたビットレートを符号化
周期当たりの送信可能バイト数（Ｂｐｃ：Bytes per cy
cle ）に変換して保持する。

【０１５１】（３）パケット優先度変更に関する情報 ユーザがパケット優先度を変更する場合には、この情報
が取得される。最終的には、フィルタリング情報テーブ
ル２８の識別子と優先度の対応テーブルとなる。

【０１５２】＜フィルタリング情報テーブルの内容：３
種類＞ （１）パケット識別子とパケット優先度の対応テーブル パケット識別子が持つデフォルトの優先度とユーザから
の設定を考慮して作成されたパケット識別子とパケット
優先度の対応テーブルである。図１４は、フィルタリン
グ情報テーブルの例であり、ここでは、優先度が８ビッ
トで表される０ｘ００から０ｘＦＦまでの値を持つとし
ている。値が小さいほど優先度が高く、０ｘ００は「必
ず送信」するパケットを意味し、０ｘＦＦは「必ず破
棄」するパケットを意味する（優先度は８ビットでなく
ても良い）。

【０１５３】なお、識別子が異なり同じ優先度を持つパ
ケットがあってはならないものとし、またパケット優先
度は連続した値でなければならないものとする。

【０１５４】（２）１周期当たりの送信可能バイト数
（ｒｅｑ＿Ｂｐｃ） １周期（符号化周期を示す制御パケットが来る間隔）当
たりに送信して構わないデータバイト数を示す。通常、
要求ビットレート（使用可能なネットワーク帯域）は、
１秒当たりの送信データのビット数（ｂｐｓ：bits per
second ）として与えられるが、この値をＢｐｃ（Byte
s per cycle ）に変換した値をテーブル中に保持する。

【０１５５】Ｂｐｃは、ストリーム送信中に外部からの
指示に応じて変更することができる。（Ｂｐｃが前より
も小さな値に変更された場合には、後述する判定境界優
先度（判定境界レベル）を初期化する。Ｂｐｃが前より
も大きな値に変更された場合には、フィルタリング判定
処理をそのまま継続する。） （３）制御パケットに関する情報 本実施形態では、周期通知パケットと終端パケットを使
用している。識別子と制御パケットの属性（周期通知、
終端）の対応は、予め定められているものとする。

【０１５６】＜フィルタリング判定部２２が保持するデ
ータ＞ （１）フィルタリング判定対象パケットのヘッダ情報 パケット種別識別子フィールド、リンクフィールド、パ
ケット長フィールドをコピーする。パケット長フィール
ド内のデータは、送信済みバイト数を計算するために使
用する。（パケット長フィールド内のデータがペイロー
ドサイズを意味する場合には、これにヘッダサイズを加
算する。） （２）判定境界レベル（ｂｏｕｎｄａｒｙ＿ｌｅｖｅ
ｌ） パケットを送信するか破棄するかを決定する判定境界と
なるパケット優先度。判定境界レベルより小さな値の優
先度を持つ（すなわち優先度が高い）パケットについて
は「送信」と判定する。逆に、判定境界レベルより大き
な値の優先度を持つパケットについては「破棄」と判定
する。判定境界レベルと同じ値の優先度を持つパケット
に関しては、そのパケットのサイズ、送信済みバイト
数、および、Ｂｐｃの値よりフィルタリング判定を行な
う。

【０１５７】１周期分のパケット判定を終了した時点
で、フレーム破棄の実績がない場合には、１ずつ値を加
算していく（判定境界レベルを下げる）。

【０１５８】なお、判定境界レベルの値より小さな値の
優先度を持つパケットについては送信する場合でも、パ
ケットサイズ、送信済みバイト数、および、Ｂｐｃの値
により確認処理を行なう。

【０１５９】（３）送信済みバイト数（ｎｏｗ＿Ｂｐ
ｃ） １符号化周期内に送信したパケットサイズを加算してい
く。１周期毎にリセットする。

【０１６０】（４）フレームカウンタ（ｆｒａｍｅ＿ｃ
ｏｕｎｔ） フレームとは、符号化データ単位（データ破棄の単位）
のことを指す。ビデオデータの場合には、１画面分のデ
ータに相当する。オーディオデータの場合は、階層符号
化されていないときにはフレームという概念はない。フ
レームカウンタは、１周期中に存在する判定境界レベル
と同じ優先度を持つフレームを数える。１フレーム分の
データは、複数パケットに分割されている場合がある。
従って、フレームをカウントする際には、パケットヘッ
ダのリンクフィールドを見て、フレーム先頭パケットで
あることを確認する。フレームカウンタは、１周期毎に
リセットする。図１５は、リンクフィールドを利用して
多重化ストリーム中でのフレーム境界を判別する方法を
示したものである。

【０１６１】（５）送信許容フレーム数（ｐｅｒｍｉｔ
＿ｆｒａｍｅｓ） １周期中に送信して構わない判定境界レベルと同じ優先
度を持つフレームの数。１周期分のパケットを送信した
時点で、実際に送信したバイト数が送信可能バイト数に
満たなかったら、１ずつ加算していく（１周期に送信す
るフレーム数が徐々に増えていく）。

【０１６２】（６）破棄実績フラグ 破棄実績フラグには、バイト数超過フラグとフレーム数
超過フラグがある。これらのフラグを用いて、１周期毎
に送信するパケット数を増やすか否かを判定する。

【０１６３】（ａ）バイト超過フラグ（ｂｙｔｅｓ＿ｏ
ｖｅｒ＿ｆｌａｇ） 送信可能バイト数を超えることを理由として、判定境界
レベルと同じ優先度を持つパケットを破棄した実績があ
ることを示すフラグ。１周期毎にリセットする。このフ
ラグがオフの時はパケット破棄実績がないことを、オン
のときはパケット破棄実績があることを意味する。

【０１６４】（ｂ）フレーム超過フラグ（ｆｒａｍｅ＿
ｏｖｅｒ＿ｆｌａｇ） 送信許容フレーム数を超えることを理由として、判定境
界レベルと同じ優先度のパケットを破棄した実績がある
ことを示すフラグ。１周期毎にリセットする。

【０１６５】（７）固定フラグ（ｆｉｘ＿ｆｌａｇ） １周期に送信するデータ量が、送信可能バイト数に達し
たので、これ以上送信パケット数を増やすのを止めるこ
とを示すフラグ。

【０１６６】次に、本実施形態の動作について説明す
る。

【０１６７】［ストリーム・シェーピング処理］図１６
は、本発明の映像送信システムのストリームシェーピン
グ処理部の処理概要を説明したフローチャートである。
図１６に示すフローチャートを参照しながら説明する。

【０１６８】まず、ストリームシェーピング処理部１２
は、ストリーム送信に先立ち、初期化処理、テーブル作
成部２０によるフィルタリング情報テーブル２８の作成
等を行なう（ステップＡ１）。その後、入力部１０によ
り符号化ストリームの送信が開始されると同時に、スト
リームシェーピング処理を開始する。

【０１６９】ヘッダ抽出部２４は、符号化ストリームか
らパケットヘッダを検出し（ステップＡ２）、フィルタ
リング判定に使用するパケットヘッダ部を抽出してヘッ
ダ情報としてフィルタリング判定部２２に転送するとと
もに、パケットをパケット保持部２６に転送して保持さ
せる（ステップＡ３）。

【０１７０】フィルタリング判定部２２は、ヘッダ情報
に含まれる情報に基づいてフィルタリング判定を行な
い、その判定結果をパケット保持部２６に通知する（ス
テップＡ４）。この判定の結果、送信と決定されたなら
ば、パケット保持部２６は、保持していたパケットを後
段の送信部１４に出力する（ステップＡ５）。一方、破
棄と決定されたならば、パケット保持部２６は、そのパ
ケットを破棄する。

【０１７１】入力部１０からの符号化ストリームが終端
に達しておらず、パケットがまだあるならば、後続する
パケットに対して同様の処理を繰り返す。ストリーム終
端に達したならば、処理を終了する（ステップＡ６）。

【０１７２】ストリームシェーピング処理は、パケット
・フィルタリングにより実行される。この、パケット・
フィルタリングの方法には、下に示すの２種類がある。

【０１７３】（１）単純フィルタリング判定処理 （２）ビットレート制御を伴うフィルタリング判定処理 これらのフィルタリングの方法のそれぞれの詳細につい
て、以下順に説明する。

【０１７４】＜単純フィルタリング判定＞図１７は、単
純フィルタリング判定処理のフローチャートである。単
純フィルタリング判定では、パケット識別子の値だけを
用いて、単純に送信／破棄を決定する方法である。その
ため、パケット識別子とパケット優先度の対応テーブル
には、「必ず送信」を示す優先度（０ｘ００）と「必ず
破棄する」を示す優先度（０ｘＦＦ）が設定されていな
ければならない。

【０１７５】まず、フィルタリング判定部２２は、フィ
ルタリング判定が開始されると、ヘッダからパケット識
別子を取得する（ステップＢ１）。

【０１７６】パケット識別子が制御用パケット（すなわ
ち周期通知あるいは終端）を示すものであるならば、フ
ィルタリング判定部２２は、パケット送信通知をパケッ
ト保持部２６に出力し、フィルタリング判定処理を終了
する（制御用パケットを受信側に送信しないことにして
もよい）。

【０１７７】一方、パケット識別子がデータパケットを
示すものであるならば、フィルタリング判定部２２は、
その識別子をキーにしてフィルタリング情報テーブル２
８を参照し、該当する識別子に対応するパケット優先度
を取得する（ステップＢ３）。

【０１７８】パケット優先度が、「必ず送信」を示すも
の（０ｘ００）であるならば、フィルタリング判定部２
２は、パケット送信通知をパケット保持部２６に出力
し、フィルタリング判定処理を終了する（ステップＢ
５）。

【０１７９】一方、パケット優先度が、「必ず破棄」を
示すもの（０ｘＦＦ）であるならば、フィルタリング判
定部２２は、パケット破棄通知をパケット保持部２６に
出力し、フィルタリング判定処理を終了する（ステップ
Ｂ６）。

【０１８０】＜ビットレート制御を伴うフィルタリング
判定＞次にビットレート制御を伴うパケット・フィルタ
リング判定の方法について説明する。

【０１８１】図１８は、ビデオデータに着目した場合の
パケット送信状況の時間的変化をＭＰＥＧを例として示
したものである。最初の周期は、最も優先度が高いＩピ
クチャのデータを含むパケットのみを送信する。次の周
期からは徐々にＰピクチャのデータを含むパケットも送
信に加えていく。そして、全Ｉ，Ｐピクチャのデータを
含むパケットも送信に追加していき、指定ビットレート
に達したら、それ以上、送信パケットを増やすことを止
める。フィルタリング判定のためには、以下の３種類の
比較判定処理を行なう。

【０１８２】（１）パケット優先度と判定境界レベルの
比較 （２）送信済みデータバイト数と送信可能最大バイト数
の比較 （３）送信許容フレーム数とフレームカウンタの比較 ストリーム送信開始直後は、判定境界レベルをｂｏｕｎ
ｄａｒｙ＿ｌｅｖｅｌ＝０ｘ００、とする。これは、優
先度が０ｘ００を持つパケットのみを送信し、それ以外
のパケットは破棄することを意味する。また、送信許容
フレーム数をｐｅｒｍｉｔ＿ｆｒａｍｅｓ＝０とする。
送信許容フレーム数とは、１周期中に送信して構わない
フレーム数を示している。

【０１８３】ストリーム送信を開始し、最初の周期通知
パケットを検出するとｂｏｕｎｄａｒｙ＿ｌｅｖｅｌ＝
０ｘ０１、ｐｅｒｍｉｔ＿ｆｒａｍｅｓ＝１となる。こ
れは、０ｘ００という優先度を持つパケットと、０ｘ０
１という優先度を持ち、かつ、最初の１フレームに属す
るパケットのみを送信してよいことを意味する。

【０１８４】この場合、優先度が０ｘ０２以上のパケッ
トは無条件で破棄する。１周期分のパケット処理を終了
した時点で、送信可能バイト数を超過していなかった
ら、ｐｅｒｍｉｔ＿ｆｒａｍｅｓ＝２とし、次の周期で
は、０ｘ０１という優先度をもつフレームを２フレーム
送信することを許可する。

【０１８５】周期を重ね、優先度が０ｘ０１のパケット
をすべて送信しても送信可能バイト数を超過していなか
ったら、送信許容フレーム数ｐｅｒｍｉｔ＿ｆｒａｍｅ
ｓをリセット（＝１）し、判定境界レベルを一つ上げて
ｂｏｕｎｄａｒｙ＿ｌｅｖｅｌ＝０ｘ０２とする。

【０１８６】次の周期は、優先度が０ｘ００、０ｘ０１
のパケットは無条件で送信し、優先度が０ｘ０２のパケ
ットは、送信許容フレーム数と送信したバイト数の実績
を考慮して送信／破棄を決定し、優先度が０ｘ０３以上
のパケットに関しては、無条件で破棄する。

【０１８７】周期を重ねる毎に送信パケット数が徐々に
増えていき、そのうち、１周期当たりの送信可能バイト
数に達する。これは、パケット・フィルタリング判定の
境界レベルが決定されたことを意味し、これ以後の周期
では判定境界レベルは動かず、１周期当たりの送信パケ
ット数がほぼ一定に落ち着く。

【０１８８】図１９は、ビットレート制御を伴うフィル
タリング判定処理のフローチャートである。以下、図１
９に示すフローチャートを参照しながら説明する。

【０１８９】送信開始前には、図２０のフローチャート
に示す初期化処理（ステップＤ１）が予め行われている
ものとする。

【０１９０】フィルタリング判定部２２は、ヘッダ抽出
部２４から得られたパケットヘッダから各フィールドに
おけるパケット識別子、リンク情報、パケット長を取得
する（ステップＣ１）。また、フィルタリング判定部２
２は、パケット識別子の最上位ビットを参照して、制御
用パケットであるかを確認する（ステップＣ２）。

【０１９１】ここで、パケットが制御用パケットであ
り、周期パケットであった場合には（ステップＣ３）、
フィルタリング判定部２２は、周期開始処理を行なう
（ステップＣ４）。この周期開始処理では、前周期のパ
ケット破棄実績を確認し、判定境界レベルや送信許容フ
レーム数の更新、各種の周期変数のリセットを行なう。

【０１９２】制御用パケットを受信側に送信する場合に
は、フィルタリング判定部２２は、パケット送信通知を
パケット保持部２６に出力し（ステップＣ５）、送信済
みバイト数を更新してフィルタリング判定を終了する
（ステップＣ６）（制御用パケットは送信しないことに
してもよい）。

【０１９３】一方、データパケットである場合には（ス
テップＣ２）、フィルタリング判定部２２は、ヘッダ識
別子をキーにしてフィルタリング情報テーブル２８を参
照し、該当する識別子に対応するパケット優先度を取得
する（ステップＣ７）。

【０１９４】フィルタリング判定部２２は、フレームカ
ウント処理を行なう（ステップＣ８）（詳細な処理手順
については後述する（図２３））。この処理は、パケッ
トヘッダの識別子およびリンクフィールドを参照して、
判定境界レベルと同じ優先度を持つパケットについて、
フレーム数をカウントするものである。なお、リンクフ
ィールドを参照するのは、一つのフレームに属するデー
タが複数のパケットに分割されている場合にも、フレー
ム数のカウントを正確に行なうためである。

【０１９５】次に、フィルタリング判定部２２は、判定
コードを作成する（ステップＣ９）（詳細な処理手順に
ついては後述する（図２４））。判定コードは、３種類
の比較判定処理の結果をまとめたものであり、パケット
送信／破棄を決定するために使用する。

【０１９６】フィルタリング判定部２２は、判定コード
に基づいて判定１（パケットの送信／破棄の決定）を行
ない（ステップＣ１０）、この判定結果に応じた処理に
移行する。

【０１９７】判定１によってパケット送信すると判定さ
れた場合、フィルタリング判定部２２は、パケット送信
を決定し、パケット送信通知をパケット保持部２６に対
して出力すると共に（ステップＣ１５）、送信済みバイ
ト数を更新する（ステップＣ１６）。

【０１９８】ここで、フィルタリング判定部２２は、判
定３により（ステップＣ１７）、送信済みバイト数が、
送信可能バイト数を超過しているか否かを判定し、超過
していることが判明したら、バイト超過フラグをＯＮに
する（ステップＣ１８）。

【０１９９】以上の処理によってフィルタリング処理が
終了する。

【０２００】一方、判定１によってパケット破棄と判定
された場合（ステップＣ１０）、フィルタリング判定部
２２は、パケット破棄を決定し、パケット保持部２６に
対してパケット破棄通知を出力する（ステップＣ１
１）。

【０２０１】ここで、フィルタリング判定部２２は、判
定２により、パケット破棄の理由を判定し（ステップＣ
１２）、それぞれの理由に応じた処理を行なう。

【０２０２】すなわち、パケット破棄の理由が、優先度
が低いことである場合には、何もせずにフィルタリング
判定処理を終了する。また、パケット破棄の理由が、バ
イト超過の場合、バイト超過フラグをオンにする（ステ
ップＣ１３）。また、パケット破棄の理由がフレーム数
超過の場合、フレーム超過フラグをオンにする（ステッ
プＣ１４）。

【０２０３】以上の処理によってフィルタリング処理が
終了する。

【０２０４】次に、周期先頭処理（図１９（ステップＣ
４））の詳細を図２１のフローチャートに示している。

【０２０５】周期先頭であることは、同時に前周期の終
端に達したことも意味する。そこで、周期先頭処理で
は、周期先頭における初期化処理（各種の周期変数のリ
セット）を行なう（ステップＥ９）。すなわち、周期先
頭における初期化処理は、フレームカウンタ、送信済み
バイト数、破棄バイト数、フレーム超過フラグ、バイト
超過フラグをリセットすることである。

【０２０６】また、周期先頭における初期化処理と共
に、前周期の送信実績確認処理として、判定境界レベ
ル、送信許容フレーム数の更新、及び固定フラグの状態
の変更が行われる。図２２は、前周期の送信実績確認処
理をまとめたものである。

【０２０７】すなわち、フィルタリング判定部２２は、
固定フラグがＯＦＦの場合に（ステップＥ１）、バイト
超過フラグがＯＦＦ、フレーム超過フラグがＯＮであっ
た場合には（ステップＥ２，Ｅ５）、送信可能バイト数
に達していないので、１周期にに送信するフレーム数を
＋１する（ステップＥ６）。

【０２０８】また、フィルタリング判定部２２は、固定
フラグがＯＦＦの場合に（ステップＥ１）、バイト超過
フラグがＯＮであった場合（ステップＥ２）、パケット
送信／破棄の境界レベルが決定されたものとして、固定
フラグをＯＮにし（ステップＥ３）、送信許容フレーム
数を−１することで許容範囲内となるようにする（ステ
ップＥ４）。

【０２０９】また、フィルタリング判定部２２は、固定
フラグがＯＦＦの場合に（ステップＥ１）、フレーム超
過フラグ、フレーム超過フラグが共にＯＦＦであった場
合（ステップＥ５）、判定境界レベルと同じ優先度を持
つパケット全てを送信し、かつ送信可能バイト数に達し
ていないので、次に低いレベルに対する送信許容フレー
ム数を１とし（ステップＥ７）、判定境界レベルの値を
＋１、すなわち境界判定レベルを下げる（ステップＥ
８）。

【０２１０】次に、フレームカウント処理（図１９（ス
テップＣ８））の詳細を図２３のフローチャートに示し
ている。

【０２１１】フレームカウント処理では、フィルタリン
グ判定部２２は、優先度と判定境界レベルとの比較（比
較１）によって、判定境界レベルと同じ優先度を持つパ
ケットであるか否かを判定する（ステップＦ１）。この
結果、判定境界レベルと同じ優先度を持つパケットであ
ると判定された場合、フィルタリング判定部２２は、該
当するパケットに関してフレーム数をカウントする。フ
レーム境界は、パケットヘッダのリンクフィールドによ
り確認する（ステップＦ２，Ｆ３）。

【０２１２】次に、判定コード作成の処理（図１９（ス
テップＣ９））の詳細を図２４のフローチャートに示し
ている。

【０２１３】判定コード（８ビット）は、パケットの送
信／破棄を決定するために必要な３種類の比較演算の結
果をまとめたものである。比較演算は以下の通りであ
る。

【０２１４】（ａ）比較演算１ 「パケットの優先度」と「判定境界レベルの優先度」を
比較する（ステップＧ２）。これにより無条件に送信／
破棄が決定されるパケットを選別する。比較演算結果
は、判定コードの下位第３、４ビットに保存する（ステ
ップＧ３，Ｇ４）。

【０２１５】（ｂ）比較演算２ 「判定対象パケットが属するフレームのフレーム番号」
と「送信許容フレーム数」を比較する（ステップＧ
５）。送信許容フレーム数に達したら、その周期中にあ
る判定境界レベルと同じ優先度のパケットはすべて破棄
することになる。比較演算結果は、判定コードの下位第
２ビットに保存する（ステップＧ６）。

【０２１６】（ｃ）比較演算３ 「判定対象パケットを送信すると仮定した場合の送信済
みバイト数」と「１周期当たりの送信可能バイト数」を
比較する（ステップＧ７）。送信可能バイト数に達した
ことは、これ以上１周期当たりに送信するパケット数を
増やせないことを意味する。比較演算結果は、判定コー
ドの下位第１ビットに保存する（ステップＧ８）。

【０２１７】図２５には判定コード作成時の比較演算の
符号割り当てを示し、また図２６には判定コード（割り
当てコード）とパケット処理の処理内容との対応関係を
示している。

【０２１８】［ストリーム・シェーピング処理の効果］
図２７は、本実施形態における映像送信システムのスト
リームシェーピング処理により、どのようにビットレー
トが推移していくかを示したものである。

【０２１９】ストリーム送信開始直後は、優先度の高い
パケットのみを送信するので、指定された目標ビットレ
ート（指定ビットレート）以下の送信量しかない。そし
て、パケット優先度を考慮して、１符号化周期毎に徐々
に送信パケット数を増やしていき、目標ビットレートに
近づけていく（図１８参照）。

【０２２０】符号化ストリーム送信中にそれまでの目標
ビットレートより大きな値に変更された場合には、それ
までの送信状態から送信パケット数を再び増やしてい
き、新たな目標ビットレートに近づけていく。

【０２２１】逆に、目標ビットレートが下げられた場合
には、初期状態に戻し、最も優先度の高いパケットから
徐々に送信パケット数を増やしていき、目標ビットレー
トに近づけていく。

【０２２２】このようにして、階層符号化ストリームの
各階層データを単位としてパケット化を行ない、かつ、
各パケットに優先度を付加したストリームを対象とし、
使用可能ネットワーク帯域、パケット優先度、および、
ユーザの要望を考慮して、パケットフィルタリングによ
るビットレート制御をしながら符号化ストリームの送信
を行なう。また、ビットレート制御は、予め用意されて
いるレベル指定によるものだけでなく、送信ストリーム
のビットレートを任意に設定可能であり、設定されたビ
ットレートを越えないように動的に対応することができ
る。

【０２２３】なお、前述した実施形態では、対象とする
符号化ストリームが、ビデオ、オーディオ、ユーザデー
タ等が多重化されているストリームであり、主にビデオ
データ部分のビットレート制御方法について説明してい
るが、オーディオデータが階層符号化されているなら
ば、オーディオ部分もビットレートの制御対象とするこ
とが可能である。また、他のデータを対象とすることも
勿論可能である。

【０２２４】

【発明の効果】以上詳述したように本発明によれば、利
用する動画像符号化方式に依存することなく、指定ビッ
トレートに応じた動的なビットレート制御が可能となる
ものである。

【図面の簡単な説明】

【図１】本発明のデータ送信システムの概要を説明する
ためのブロック図。

【図２】本実施形態における映像送信システムの構成を
示すブロック図。

【図３】本実施形態における図２に示す映像送信システ
ムを組み込んだ映像通信システムの構成を示すブロック
図。

【図４】本実施形態におけるストリームシェーピング機
能を有する中継ノードの構成例を示す図。

【図５】本実施形態において扱われる符号化ストリーム
の越え構造を説明するための図。

【図６】本実施形態におけるパケットフォーマット（パ
ケットヘッダ）の構成を説明するための図。

【図７】本実施形態におけるパケットリンクの概念を説
明するための図。

【図８】本実施形態におけるパケット種別識別子の階層
を説明するための図。

【図９】本実施形態における部分破棄可能フラグと絶対
優先度フラグを説明するための図。

【図１０】本実施形態におけるパケット種別識別子の割
り振りの例を示す図。

【図１１】本実施形態における１番組から構成されるス
トリームの場合のパケット優先度の設定例を示す図。

【図１２】本実施形態における２番組から構成されるス
トリームの場合のパケット優先度の設定例を示す図。

【図１３】本実施形態における部分破棄可／不可フラグ
を設けた識別子−優先度対応テーブルの設定例を示す
図。

【図１４】本実施形態におけるフィルタリング情報テー
ブルの一例を示す図。

【図１５】本実施形態におけるリンクフィールドを利用
して多重化ストリーム中でのフレーム境界を判別する方
法を示す図。

【図１６】本実施形態における映像送信システムのスト
リームシェーピング処理部の処理概要を説明したフロー
チャート。

【図１７】本実施形態における単純フィルタリング判定
処理のフローチャート。

【図１８】本実施形態におけるビデオデータに着目した
場合のパケット送信状況の時間的変化を示す図。

【図１９】本実施形態におけるビットレート制御を伴う
フィルタリング判定処理のフローチャート。

【図２０】図１９中の初期化処理を示すフローチャー
ト。

【図２１】図１９中の周期先頭処理の詳細を示すフロー
チャート。

【図２２】本実施形態における前周期の送信実績確認処
理を説明するための図。

【図２３】図１９中のフレームカウント処理の詳細を示
すフローチャート。

【図２４】図１９中の判定コード作成の処理の詳細を示
すフローチャート。

【図２５】本実施形態における判定コード作成時の比較
演算の符号割り当てを示す図。

【図２６】本実施形態における判定コード（割り当てコ
ード）とパケット処理の処理内容との対応関係を示す
図。

【図２７】本実施形態における映像送信システムのスト
リームシェーピング処理によるビットレートの推移を示
す図。

【符号の説明】

１０…入力部 １２…ストリームシェーピング処理部 １４…送信部 １６…ストリーム情報取得部 １８…外部記憶部 ２０…テーブル作成部 ２２…フィルタリング判定部 ２４…ヘッダ抽出部 ２６…パケット保持部 ２８…フィルタリング情報テーブル ３０…送信側システム ３１…ネットワーク ３２…受信側システム ３４…ストリーム符号化部 ３６…映像送信部 ３８…設定部 ４０…ビデオ・オーディオ符号化部 ４２…パケット化処理部 ５０…受信部 ５２…ストリーム復号部 ６０…パケット分解処理部 ６２…ビデオ・オーディオ復号部

Claims (15)

【特許請求の範囲】
1. 【請求項１】 符号化ストリームを、ネットワークを介
   して送信するデータ送信システムにおいて、 破棄可能なデータ単位を基準にパケット化されると共
   に、各パケットにパケット識別子を含むヘッダが付加さ
   れた符号化ストリームに対して、指定されたビットレー
   トに応じて、パケット単位で、各パケットのヘッダに含
   まれるパケット識別子をもとに決定されるパケット優先
   度を利用して送信または破棄することによりビットレー
   トを制御しながら符号化ストリームを送信することを特
   徴とするデータ送信システム。
2. 【請求項２】 前記符号化ストリームには符号化周期を
   示す制御用パケットが周期的に挿入されており、 前記制御用パケットにより判別される周期毎に、送信す
   るパケットを増加しながら指定されたビットレートを越
   えないようにパケットの送信または破棄を決定すること
   を特徴とする請求項１記載のデータ送信システム。
3. 【請求項３】 符号化ストリームを、ネットワークを介
   して送信するデータ送信システムにおいて、 破棄可能なデータ単位を基準にパケット化されると共
   に、各パケットにパケット優先度を兼ねるパケット識別
   子を含むヘッダが付加された符号化ストリームを生成す
   るストリーム符号化手段と、 前記ストリーム符号化手段によって生成された符号化ス
   トリームについて、指定されたビットレートに応じて、
   パケット単位で各パケットのヘッダに含まれるパケット
   識別子に基づく優先度を利用して送信または破棄を決定
   するストリームシェーピング処理手段と、 前記ストリームシェーピング処理手段によって送信と決
   定されたパケットによる符号化ストリームを送信する送
   信手段とを具備したことを特徴とするデータ送信システ
   ム。
4. 【請求項４】 前記送信手段による符号化ストリームの
   送信中に、指定によりビットレートを動的に変更可能と
   することを特徴とする請求項３記載のデータ送信システ
   ム。
5. 【請求項５】 前記ストリームシェーピング処理手段
   は、 前記ストリーム符号化手段によって生成された符号化ス
   トリームの各パケットのヘッダに含まれるパケット識別
   子とパケット優先度との対応関係が登録されたフィルタ
   リング情報テーブルを作成するテーブル作成手段と、 送信対象とする符号化ストリームの各パケットから抽出
   されるヘッダに含まれるパケット識別子をもとに、前記
   テーブル作成手段によって作成されたフィルタリング情
   報テーブルを参照して各パケットについて送信あるいは
   破棄を判定するフィルタリング判定手段とを具備したこ
   とを特徴とする請求項３記載のデータ送信システム。
6. 【請求項６】 前記テーブル作成手段は、 外部から与えられる指定を反映させて、パケット識別子
   とパケット優先度との対応関係を設定することを特徴と
   する請求項５記載のデータ送信システム。
7. 【請求項７】 前記ストリーム符号化手段は、符号化周
   期を示す制御用パケットを周期的に挿入して符号化スト
   リームを生成し、 前記ストリームシェーピング処理手段は、前記制御用パ
   ケットにより判別される周期毎に、送信するパケットを
   増加しながら指定されたビットレートを越えないように
   パケットの送信または破棄を決定することを特徴とする
   請求項３記載のデータ送信システム。
8. 【請求項８】 前記ストリームシェーピング処理手段
   は、 パケットの送信または破棄を決定するための、パケット
   識別子に基づく優先度に対する判定境界優先度を保持
   し、 この判定境界優先度より高い優先度のパケットを送信
   し、 判定境界優先度より低い優先度のパケットを破棄し、 判定境界優先度と同じ優先度のパケットを、前記制御用
   パケットにより判別される周期毎に徐々に送信パケット
   数を増やしていき、 一周期内の判定境界優先度と同じ優先度のパケットを全
   て送信した後、判定境界優先度を下げ、 指定されたビットレートに到達したら送信するパケット
   の増加を停止することを特徴とする請求項７記載のデー
   タ送信システム。
9. 【請求項９】 前記ストリーム符号化手段は、 前記ヘッダに含まれるパケット識別子に階層構造を持た
   せ、各階層の内容によってパケット優先度を表すことを
   特徴とする請求項３記載のデータ送信システム。
10. 【請求項１０】 前記ストリーム符号化手段は、 前記ヘッダに含まれるパケット識別子のパケット優先度
    を、絶対的なパケット優先度と変更可能なパケット優先
    度とを区別できるようにすることを特徴とする請求項３
    記載のデータ送信システム。
11. 【請求項１１】 前記ストリーム符号化手段は、 前記ヘッダに含まれるパケット識別子を、パケットの破
    棄が可能であるか否か表すようにすることを特徴とする
    請求項３記載のデータ送信システム。
12. 【請求項１２】 前記ストリーム符号化手段は、 前記ヘッダ中に前後のパケットとのリンク関係を示すデ
    ータを設定することを特徴とする請求項３記載のデータ
    送信システム。
13. 【請求項１３】 ネットワーク経路上に設けられ、デー
    タ送信側システムとデータ受信側システムとの間に位置
    する中継ノードであって、 破棄可能なデータ単位を基準にパケット化されると共
    に、各パケットにパケット優先度を兼ねるパケット識別
    子を含むヘッダが付加された、前記データ送信側システ
    ムからの符号化ストリームについて、指定されたビット
    レートに応じて、パケット単位で各パケットのヘッダに
    含まれるパケット識別子に基づく優先度を利用して送信
    または破棄を決定するストリームシェーピング処理手段
    と、 前記ストリームシェーピング処理手段によって送信と決
    定されたパケットによる符号化ストリームを前記データ
    受信側システムにネットワークを介して送信する送信手
    段とを具備したことを特徴とする中継ノード。
14. 【請求項１４】 符号化ストリームを、ネットワークを
    介して送信するデータ送信方法において、 破棄可能なデータ単位を基準にパケット化されると共
    に、各パケットにパケット識別子を含むヘッダが付加さ
    れた符号化ストリームに対して、指定されたビットレー
    トに応じて、パケット単位で、各パケットのヘッダに含
    まれるパケット識別子をもとに決定されるパケット優先
    度を利用して送信または破棄することによりビットレー
    トを制御しながら符号化ストリームを送信することを特
    徴とするデータ送信方法。
15. 【請求項１５】 前記符号化ストリームには符号化周期
    を示す制御用パケットが周期的に挿入されており、 前記制御用パケットにより判別される周期毎に、送信す
    るパケットを増加しながら指定されたビットレートを越
    えないようにパケットの送信または破棄を決定すること
    を特徴とする請求項１４記載のデータ送信方法。