JPH10336670A

JPH10336670A - 画像伝送装置および画像伝送方法、提供媒体

Info

Publication number: JPH10336670A
Application number: JP8975998A
Authority: JP
Inventors: Satoshi Mihashi; 聡三橋; Tomohiko Sakamoto; 智彦坂本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-04-04
Filing date: 1998-04-02
Publication date: 1998-12-18

Abstract

(57)【要約】【課題】伝送路の伝送レートに対応したビットレート
の符号化データを、容易に得ることができるようにす
る。【解決手段】ビデオカメラ１で得られる画像データ
は、動画カメラサーバ２において、所定のビットレート
でＭＰＥＧ符号化され、その結果得られる符号化データ
が中継サーバ３に転送される。中継サーバ３は、ユーザ
が有するコンピュータ７乃至９に対して、符号化データ
を、イーサネット４、アナログ公衆回線５、またはディ
ジタル回線６の伝送レート以下のビットレートのデータ
にそれぞれ変更して伝送する。ＭＰＥＧにおいては、前
に伝送した符号化データに対応する画面をコピーしたコ
ピー画面を生成することを指示するデータが規定されて
おり、符号化データのビットレートの変更は、本来伝送
すべき符号化データに代えて、コピー画面を伝送するこ
とで行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像伝送装置およ
び画像伝送方法、並びに提供媒体に関し、特に、画像を
符号化した符号化データを、所定の伝送レートの伝送路
を介して伝送する場合に、例えば、その伝送レートに対
応したビットレートの符号化データを得るためのエンコ
ーダを用いずに済むようにする画像伝送装置および画像
伝送方法、並びに提供媒体に関する。

【０００２】

【従来の技術】例えば、最近急速に普及してきたインタ
ーネットを利用して、動画像を放送することが提案され
ている。動画像は、そのままではデータ量が莫大となる
ことから、通常、圧縮符号化して伝送される。動画像の
符号化方式としては、例えば、動き補償予測符号化とＤ
ＣＴ（Discrete Cosine Transform）符号化とを組み合
わせたハイブリッド方式としてのＭＰＥＧ（Moving Pic
ture Experts Group）などが知られている。

【０００３】

【発明が解決しようとする課題】ところで、ユーザは、
インターネット上のサーバから所定の伝送路を介して、
画像を符号化した符号化データを受信し、その符号化デ
ータを復号することで、動画像を視聴するが、インター
ネットとユーザ（ユーザが使用するコンピュータなどの
端末）とを接続する伝送路としては、例えば、アナログ
回線（例えば、ＰＳＴＮ（Public Switched Telephone
Network）など）や、ディジタル回線（例えば、ＩＳＤ
Ｎ（Integrated Service Digital Network）やイーサネ
ットなど）があり、伝送路によって、その伝送レート
（伝送帯域）が異なる。

【０００４】一方、インターネットを利用して、例え
ば、リアルタイムの放送（いわゆる生放送など）を行う
場合においては、少なくとも、伝送路の伝送レート以下
のビットレートで、画像を符号化する必要がある。

【０００５】従って、ユーザと接続されている伝送路
が、複数種類存在する場合には、各伝送路の伝送レート
に対応したビットレートで符号化を行うエンコーダを用
意する必要がある。即ち、この場合、内容が同一の画像
についての符号化データを伝送するのにも拘らず、異な
る伝送レートごとに、その伝送レートに対応したビット
レートの符号化データを出力するエンコーダを用意する
必要があり、この結果、システム（「システム」とは、
複数の装置が論理的に集合したものをいい、各構成の装
置が同一筐体中にあるか否かは問わない）全体が高コス
ト化することになる。このことは、放送形態が、いわゆ
るユニキャスト（uni cast）であっても、また、マルチ
キャスト（multi cast）であっても、変わらない。

【０００６】さらに、例えば、ＭＰＥＧ１では、一般
に、１．５Ｍｂｐｓ程度のビットレートが要求されるの
に対して、ＩＳＤＮなどの伝送レートは、６４Ｋｂｐｓ
程度であるから、そのような一般的なビットレートでＭ
ＰＥＧ符号化されたデータを、そのままＩＳＤＮを介し
て伝送し、リアルタイム放送を行うのは困難である。

【０００７】そこで、例えば、１９９７年４月１日にお
いて、ＵＲＬ（Uniform Resource Locator）として、ht
tp://www.comp.lancs.ac.uk/computing/users/njy/dem
o.htmlを指定して得られるホームページには、画像をＭ
ＰＥＧ符号化して得られた符号化データのうちの、Ｂピ
クチャやＰピクチャについてのデータを単純に間引い
て、伝送を行うサービス（ＱＯＳ（Quarity Of Servic
e））が開示されている。

【０００８】しかしながら、単純にＢピクチャやＰピク
チャを間引いただけでは、ピクチャ数が、本来のピクチ
ャ数よりも少なくなり、その結果、そのような符号化デ
ータを、ＭＰＥＧの規格に準拠した通常のデコーダで復
号したのでは、それにより得られる画像は、いわゆる早
送り再生をしたようなものとなる。即ち、ピクチャを単
純に間引いた符号化データから、画像を正常に再生する
には、そのような符号化データに専用のデコーダが必要
となる。ここで、例えば、ＵＲＬとして、http://www.n
ettoob.comを指定して得られるホームページでは、ピク
チャを単純に間引いた符号化データから、正常な画像を
再生するための専用のデコーダが提供されている。

【０００９】なお、ＭＰＥＧ１では、ピクチャレートと
して、２３．９７６Ｈｚが最小の値として規定されてい
るため、ＢピクチャやＰピクチャを単純に間引いた場合
には、ピクチャレートが、２３．９７６Ｈｚよりも小さ
くなり、ＭＰＥＧの規格に適合しなくなる。

【００１０】本発明は、このような状況に鑑みてなされ
たものであり、ピクチャ数を変えることなく、符号化デ
ータのビットレートを変更し、これにより、伝送路の伝
送レートに対応したビットレートの符号化データを得る
ためのエンコーダを用いなくても、そのようなビットレ
ートの符号化データを得ることができるようにするもの
である。

【００１１】

【課題を解決するための手段】請求項１に記載の画像伝
送装置は、符号化データのビットレートと所定の伝送レ
ートとの差に基づいて、前に伝送した符号化データに対
応する画面をコピーしたコピー画面を生成することを指
示するデータを、本来伝送すべき符号化データに代え
て、伝送手段に伝送させる制御手段を備えることを特徴
とする。

【００１２】請求項１０に記載の画像伝送方法は、符号
化データのビットレートと所定の伝送レートとの差に基
づいて、前に伝送した符号化データに対応する画面をコ
ピーしたコピー画面を生成することを指示するデータ
を、本来伝送すべき符号化データに代えて伝送するよう
に制御する制御ステップを備えることを特徴とする。

【００１３】請求項１９に記載の提供媒体は、符号化デ
ータのビットレートと所定の伝送レートとの差に基づい
て、前に伝送した符号化データに対応する画面をコピー
したコピー画面を生成することを指示するデータを、本
来伝送すべき符号化データに代えて伝送するように制御
する制御ステップを備えるコンピュータプログラムを提
供することを特徴とする。

【００１４】請求項１に記載の画像伝送装置において
は、制御手段が、符号化データのビットレートと所定の
伝送レートとの差に基づいて、前に伝送した符号化デー
タに対応する画面をコピーしたコピー画面を生成するこ
とを指示するデータを、本来伝送すべき符号化データに
代えて、伝送手段に伝送させるようになされている。

【００１５】請求項１０に記載の画像伝送方法において
は、符号化データのビットレートと所定の伝送レートと
の差に基づいて、前に伝送した符号化データに対応する
画面をコピーしたコピー画面を生成することを指示する
データを、本来伝送すべき符号化データに代えて伝送す
るように制御するようになされている。

【００１６】請求項１９に記載の提供媒体においては、
符号化データのビットレートと所定の伝送レートとの差
に基づいて、前に伝送した符号化データに対応する画面
をコピーしたコピー画面を生成することを指示するデー
タを、本来伝送すべき符号化データに代えて伝送するよ
うに制御する制御ステップを備えるコンピュータプログ
ラムを提供するようになされている。

【００１７】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、その前段階の準備として、本発明
の原理について説明する。なお、ここでは、画像を、例
えば、ＭＰＥＧ符号化（ＭＰＥＧの規格に準拠した符号
化）を行って得られる符号化データを伝送するものとす
る。

【００１８】ＭＰＥＧ（ＭＰＥＧ１，２）では、ランダ
ムアクセスなどのために、例えば、図１に示すように、
幾つかの連続するピクチャで構成されるＧＯＰ（Group
Of Picture）が定義されている。図１の実施の形態で
は、各ＧＯＰが１５のピクチャで構成されている。

【００１９】なお、図１では、各ピクチャのピクチャタ
イプ、即ち、そのピクチャがＩピクチャ、Ｐピクチャ、
またはＢピクチャのうちのいずれであるかを、その頭文
字のアルファベット（Ｉ，Ｐ、またはＢ）で示してあ
り、さらに、各ＧＯＰを構成するピクチャの表示順序
を、０からのシーケンシャルな数字で示してある。

【００２０】ＧＯＰを構成するピクチャを単純に間引い
て、符号化データのビットレートを低下させた場合、そ
のＧＯＰを構成するピクチャの数が、本来の数よりも少
なくなるため、前述したように、それを復号すると、早
送り再生したようなものとなる。

【００２１】ところで、ＭＰＥＧにおいては、動きベク
トルが０で、予測誤差も０の画面（を構成するマクロブ
ロック）について、前に伝送した符号化データに対応す
る画面をコピーしたコピー画面（以下、適宜、コピーピ
クチャともいう）を生成することを指示するデータが規
定されている。ＭＰＥＧでは、ＰピクチャとＢピクチャ
とについて、そのようなデータを用いることができるこ
とが規定されているが、ここでは、Ｉピクチャについて
も用いることができるようにし、このコピーピクチャを
用いることで、符号化データのビットレートを低下させ
る。即ち、コピーピクチャは、前に伝送した符号化デー
タに対応する画面をコピーしたコピー画面を生成するこ
とを指示するものであり、そのデータ量は僅かであるか
ら、本来伝送すべき符号化データに代えて、コピーピク
チャを伝送することにより、符号化データのビットレー
トを低下させることができる。

【００２２】具体的には、Ｉピクチャ、Ｐピクチャ、ま
たはＢピクチャをコピーピクチャに置き換えることによ
って、符号化データのデータ量を、次のように低下させ
ることができる。即ち、ＧＯＰが、例えば、図１に示し
たように構成される場合においては、Ｂピクチャのみを
コピーピクチャ（図２において、点線で示す）に置き換
えることで、ＧＯＰは、図２に示すように、実質的に、
ＩおよびＰピクチャから構成されるようになり、符号化
データのデータ量は、約１０フレーム（ピクチャ）／秒
となる（但し、元の符号化データ（図１）のデータ量
を、約３０フレーム／秒とする）。さらに、Ｐピクチャ
もコピーピクチャ（図３において、点線で示す）に置き
換えることで、ＧＯＰは、図３に示すように、実質的
に、Ｉピクチャのみから構成されるようになり、符号化
データのデータ量は、約２フレーム／秒となる。そし
て、これらに加えてＩピクチャもコピーピクチャ（図４
において、点線で示す）に置き換えた場合には、符号化
データのデータ量は、約１フレーム／秒となる。

【００２３】なお、図１の実施の形態では、各ＧＯＰ
に、１つのＩピクチャしか含まれておらず、また、１の
ＧＯＰの中には、１以上のＩピクチャが必要であるか
ら、例えば、図１において、ＧＯＰ＃２を構成するＩピ
クチャをコピーピクチャに置き換えた場合には、図４に
示すように、ＧＯＰ＃２を構成するピクチャは、例え
ば、その前のＧＯＰ＃１を構成するピクチャとあわせ
て、ＧＯＰ＃１を構成させるようにする。従って、この
場合、ＧＯＰ＃２はなくなり、ＧＯＰ＃１が３０のピク
チャで構成されるようになる。但し、この場合、元のＧ
ＯＰ＃１を構成するＩピクチャがコピーピクチャとされ
ていないものとする（元のＧＯＰ＃１を構成するＩピク
チャもコピーピクチャとされている場合には、ＧＯＰ＃
１および＃２を構成するピクチャとあわせて、ＧＯＰ＃
１の前のＧＯＰを構成させれば良い）。

【００２４】コピーピクチャへの置き換えを行った符号
化データのビットレートは、基本的に、Ｉピクチャにつ
いてのデータ量に依存するが、このビットレートをほぼ
一定にするために、Ｂピクチャだけでなく、必要に応じ
て、Ｐピクチャ、さらにはＩピクチャをコピーピクチャ
に置き換える。

【００２５】但し、ＭＰＥＧでは、Ｉピクチャは、コピ
ーピクチャとすることができない旨が規定されているた
め、Ｉピクチャについてコピーピクチャを用いる場合に
は、ＭＰＥＧの規格に適合するように、そのピクチャタ
イプを、Ｐピクチャか、またはＢピクチャに変更する必
要がある。

【００２６】ここでは、以上のような原理により、ピク
チャ数を変えることなく、符号化データのビットレート
を変更し（低下させ）、これにより、伝送路の伝送レー
トに対応したビットレートの符号化データを得るように
なされている。

【００２７】次に、図５は、ＭＰＥＧ１において規定さ
れているマクロブロック層のデータ構成を示している。

【００２８】MB STUFF(Macroblock Stuffing)は、符号
量が不足するときに用いられるダミーのコードで、MB E
SC(Macroblock Escape)は、３３以上の長さのスキップ
マクロブロック（Skipped Macroblock）を指定するため
のものである。ここで、スキップマクロブロックとは、
Ｐピクチャのマクロブロックでは、動き補償なしで、符
号化不要（Not Coded：ＤＣＴ係数を持たないこと、従
って、予測誤差が０となっている）のものを意味し、Ｂ
ピクチャのマクロブロックでは、１つ前のマクロブロッ
クと、予測方向（前方予測、後方予測、または両方向予
測）および動きベクトルが同一の符号化不要のものを意
味する。従って、Ｐピクチャのスキップマクロブロック
は、そのＰピクチャが符号化時に参照した参照画像と同
一のものに復号される。また、Ｂピクチャのスキップマ
クロブロックは、１つ前のマクロブロックの予測方向
が、例えば後方で、動きベクトルが、例えば、０（＝
（０，０））であれば、そのＢピクチャが後方予測時に
参照した参照画像と同一のものに復号される。なお、Ｉ
ピクチャでは、スキップマクロブロックとされるものは
ない。

【００２９】MBAI(Macroblock Address Increment)は、
マクロブロック（図５のデータに対応するマクロブロッ
ク）の前に配置されるスキップマクロブロックの数に対
応する値を表し、MBTYPE(Macroblock Type)は、マクロ
ブロックの符号化モードを表す。QS(Quantizer Scale)
は、マクロブロックの量子化ステップに対応する値を表
す。MHF(Motion Horizontal Forward Code Motion Hori
zontal Backward r)またはMVF(Motion Vertical Code M
otion Vertical Backward r)は、前方予測における動き
ベクトルのｘまたはｙ成分に対応する値をそれぞれ表
し、MHB(Motion Horizontal Backward Code Motion Hor
izontal Backward r)またはMVB(Motion Vertical Backw
ard Code Motion Vertical Backward r)は、後方予測に
おける動きベクトルのｘまたはｙ成分に対応する値をそ
れぞれ表す。CBP(Coded Block Pattern)は、その後に続
くブロック層のデータが存在するかどうか（マクロブロ
ックを構成する６つのブロック（４つの輝度ブロック
と、２つの色差ブロック）それぞれが係数を有するかど
うか）を表し、EOMB(End Of Block)は、マクロブロック
の終了を表す。

【００３０】マクロブロックについては、図５に示した
データすべてが配置されるわけではなく、必要なものだ
けが配置される。即ち、例えば、イントラ符号化される
Ｉピクチャのマクロブロックについては、動き補償がさ
れないため、動きベクトルの情報であるMHF，MVF，MH
B，MVBは配置されない。また、ＤＣＴ係数を必ず有する
ので（ブロック層のデータに、ＤＣＴ係数が必ず配置さ
れるので）、CBPは必要がないために配置されない。一
方、インター符号化されるＰピクチャおよびＢピクチャ
のマクロブロックについては、MBTYPEで表される予測方
向に対応して、必要な動きベクトルの情報であるMHF，M
VF，MHB，MVBが付加され、また、参照画像との差分情報
（予測誤差）としてのＤＣＴ係数が、必要に応じて、ブ
ロック層のデータに配置される。

【００３１】上述したように、スキップマクロブロック
は、何もデータを必要とせず、参照画像と同一のものに
復号され得るので、これにより、コピーピクチャを実現
することができる。

【００３２】ここで、ＭＰＥＧでは、１画面につき、１
以上のスライスが必要であり、かつ、スライスの最後の
マクロブロックをスキップマクロブロックとすることは
できないとされているため、ＭＰＥＧの規定に準拠し
て、コピーピクチャを実現するには、画面の先頭のマク
ロブロックについては、動きベクトルが０で、かつ参照
画像との差分情報（予測誤差）がないとするデータを配
置するとともに、画面の最後のマクロブロックについて
は、動きベクトルが０であるとするデータを配置し、そ
の間にあるマクロブロックを、すべてスキップマクロブ
ロックにするようにすれば良い。なお、この方法による
場合が、ＭＰＥＧの規定に反しない範囲で、コピーピク
チャを、最も少ないデータ量で実現することができる。

【００３３】次に、図６は、本発明を適用した画像伝送
システムの一実施の形態の構成例を示している。

【００３４】ビデオカメラ１では、画像（動画像）の撮
影が行われ、その結果得られる画像データが動画カメラ
サーバ２に供給される。動画カメラサーバ２では、ビデ
オカメラ１からの画像データが取り込まれ、所定のビッ
トレートで、例えば、ＭＰＥＧ符号化される。また、動
画カメラサーバ２は、例えば、ＴＣＰ／ＩＰ（Transmis
sion Control Protocol/Internet Protocol）などの高
速ネットワーク１１を介して、中継サーバ３と接続され
ており、動画カメラサーバ２は、ＭＰＥＧ符号化の結果
得られた符号化データを、高速ネットワーク１１を介し
て、中継サーバ３に転送する。

【００３５】中継サーバ３は、ユーザ（クライアント）
が有するコンピュータ７乃至９などに対して、例えば、
ＲＴＰ（Realtime Transport Protocol）マルチキャス
トによる放送を、低速ネットワーク１２を介して行う。
即ち、ここでは、コンピュータ７乃至９は、低速ネット
ワーク１２としての、例えば、イーサネット４、アナロ
グ公衆回線５（ＰＳＴＮなど）、またはディジタル回線
６（ＩＳＤＮなど）それぞれを介して、中継サーバ３と
接続されており、中継サーバ３は、上述の原理に基づ
き、動画カメラサーバ２からの符号化データを、イーサ
ネット４、アナログ公衆回線５、またはディジタル回線
６の伝送レート（イーサネット４であれば、例えば１０
Ｍｂｐｓ、アナログ公衆回線５であれば、例えば２８．
８ｋｂｐｓ、ディジタル回線６であれば、例えば６４ｋ
ｂｐｓや１２８ｋｂｐｓなど）以下のビットレートのデ
ータに変更し、それぞれを介して、コンピュータ７乃至
９に伝送（送信）する。コンピュータ７乃至９それぞれ
では、中継サーバ３からの符号化データが受信され、復
号されて表示される。

【００３６】次に、図７は、図６の動画カメラサーバ２
の構成例を示している。

【００３７】ＲＯＭ（Read Only Memory）２１には、例
えば、ＩＰＬ（Initial Program Loading）プログラム
などが記憶されている。ＣＰＵ（Central Processor Un
it）２２は、例えば、ＲＯＭ２１に記憶されているＩＰ
Ｌプログラムにしたがって、外部記憶装置２６に記憶
（記録）されたＯＳ（Operating System）のプログラム
を実行し、さらに、そのＯＳの制御の下、外部記憶装置
２６に記憶された各種のアプリケーションプログラムを
実行することで、ビデオカメラ１からの画像データのＭ
ＰＥＧ符号化処理や、そのＭＰＥＧ符号化処理の結果得
られた符号化データの、中継サーバ３への転送（送信）
処理などを行う。ＲＡＭ（Random AccessMemory）２３
は、ＣＰＵ２２の動作上必要なプログラムやデータなど
を記憶する。入力装置２４は、例えば、キーボードやマ
ウス、マイクなどで構成され、必要なデータやコマンド
を入力するときに操作される。出力装置２５は、例え
ば、ディスプレイや、スピーカ、プリンタなどで構成さ
れ、必要な情報を表示、出力する。外部記憶装置２６
は、例えば、ハードディスクなどでなり、上述したＯＳ
やアプリケーションプログラムなどを記憶している。ま
た、外部記憶装置２６は、その他、ＣＰＵ２２の動作上
必要なデータなども記憶する。通信装置２７は、ビデオ
カメラ１や中継サーバ３などとの通信に必要な制御を行
う。

【００３８】次に、図８は、図６の中継サーバ３の構成
例を示している。

【００３９】中継サーバ３は、ＲＯＭ３１乃至通信装置
３７で構成され、上述したＲＯＭ２１乃至通信装置２７
で構成される動画カメラサーバ２と基本的に同様に構成
されている。

【００４０】但し、外部記憶装置２６には、アプリケー
ションプログラムとして、例えば、動画カメラからの符
号化データを所定のビットレートのデータに変更し、例
えば、ＲＴＰマルチキャストで送信する送信処理を行う
ためのプログラムなどが記憶されており、ＣＰＵ３２
（制御手段）では、このアプリケーションプログラムが
実行されることで、符号化データのビットレートの変更
や、そのようにビットレートが変更された符号化データ
のＲＴＰマルチキャストによる伝送などが行われるよう
になされている。

【００４１】また、通信装置３７（伝送手段）は、動画
カメラサーバ２との通信や、低速ネットワーク１２を介
してのコンピュータ７乃至９との通信を制御するように
なされている。

【００４２】次に、図９は、図６のコンピュータ７乃至
９の構成例を示している。

【００４３】コンピュータ７乃至９は、ＲＯＭ４１乃至
通信装置４７で構成され、上述したＲＯＭ２１乃至通信
装置２７で構成される動画カメラサーバ２と基本的に同
様に構成されている。

【００４４】但し、例えば、ＣＰＵ４２としては、ＣＰ
Ｕ２２に比較して処理速度の遅いものが、また、ＲＡＭ
４３や外部記憶装置４６としては、ＲＡＭ２３や外部記
憶装置２６と比較して容量の小さいものが使用されてい
る。

【００４５】また、外部記憶装置４６には、アプリケー
ションプログラムとして、例えば、中継サーバ３からの
符号化データを受信し、ＭＰＥＧ復号して表示するため
のプログラムなどが記憶されており、ＣＰＵ４２では、
これらのアプリケーションプログラムが実行されること
で、符号化データが受信され、ＭＰＥＧ復号されて表示
されるようになされている。さらに、通信装置４７は、
中継サーバ３との通信のための制御を行うようになされ
ている。なお、イーサネット４、アナログ公衆回線５、
またはディジタル回線６を介して中継サーバ３と通信を
行うコンピュータ７乃至９それぞれの通信装置４７は、
例えば、トランシーバ、モデム、またはＴＡ（ターミナ
ルアダプタ）などで構成される。

【００４６】次に、図１０は、ビデオカメラ１からの画
像をＭＰＥＧ符号化する動画カメラサーバ２（符号化手
段）の機能的構成例を示している。なお、この構成は、
ＣＰＵ２２が、外部記憶装置２６に記憶されたアプリケ
ーションプログラムを実行することで実現される。

【００４７】ビデオカメラ１からの画像データは、図示
せぬＡ／Ｄ変換器においてＡ／Ｄ変換された後、フレー
ムメモリ５１に入力され、一時記憶される。そして、動
きベクトル検出器５２は、フレームメモリ５１に記憶さ
れた画像データを、例えば、１６画素×１６画素などで
構成されるマクロブロック単位で読み出し、その動きベ
クトルを検出する。

【００４８】ここで、動きベクトル検出器５２において
は、各フレームの画像データを、Ｉピクチャ(フレーム
内符号化）、Ｐピクチャ（前方予測符号化）、またはＢ
ピクチャ（両方向予測符号化）のうちのいずれかとして
処理する。なお、シーケンシャルに入力される各フレー
ムの画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャと
して処理するかは、例えば、予め定められている（例え
ば、図１に示したように、Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ，
Ｂ，Ｂ，Ｐ，・・・，Ｂ，Ｂ，Ｐとして処理される）。

【００４９】即ち、動きベクトル検出器５２は、フレー
ムメモリ５１に記憶された画像データの中の、予め定め
られた所定の参照フレームを参照し、その参照フレーム
（参照画像）と、現在符号化の対象となっているフレー
ムの１６画素×１６ラインの小ブロック（マクロブロッ
ク）とをパターンマッチング（ブロックマッチング）す
ることにより、そのマクロブロックの動きベクトルを検
出する。

【００５０】ここで、ＭＰＥＧにおいては、画像の予測
モードには、イントラ符号化（フレーム内符号化）、前
方予測符号化、後方予測符号化、両方向予測符号化の４
種類があり、Ｉピクチャはイントラ符号化され、Ｐピク
チャはイントラ符号化または前方予測符号化のいずれか
で符号化され、Ｂピクチャはイントラ符号化、前方予測
符号化、後方予測符号化、または両方法予測符号化のい
ずれかで符号化される。

【００５１】動きベクトル検出器５２は、Ｉピクチャに
ついては、予測モードとしてイントラ符号化モードを設
定する。この場合、動きベクトル検出器５２は、動きベ
クトルの検出は行わず、予測モード（イントラ予測モー
ド）を、ＶＬＣ（可変長符号化）器５６および動き補償
器６２に出力する。

【００５２】また、動きベクトル検出器５２は、Ｐピク
チャについては、前方予測を行い、その動きベクトルを
検出する。さらに、動きベクトル検出器５２は、前方予
測を行うことにより生じる予測誤差と、符号化対象のマ
クロブロック（Ｐピクチャのマクロブロック）の、例え
ば分散とを比較する。その比較の結果、マクロブロック
の分散の方が予測誤差より小さい場合、動きベクトル検
出器５２は、予測モードとしてイントラ符号化モードを
設定し、ＶＬＣ器５６および動き補償器６２に出力す
る。また、動きベクトル検出器５２は、前方予測を行う
ことにより生じる予測誤差の方が小さければ、予測モー
ドとして前方予測符号化モードを設定し、検出した動き
ベクトルとともに、ＶＬＣ器５６および動き補償器６２
に出力する。

【００５３】さらに、動きベクトル検出器５２は、Ｂピ
クチャについては、前方予測、後方予測、および両方向
予測を行い、それぞれの動きベクトルを検出する。そし
て、動きベクトル検出器５２は、前方予測、後方予測、
および両方向予測についての予測誤差の中の最小のもの
（以下、適宜、最小予測誤差という）を検出し、その最
小予測誤差と、符号化対象のマクロブロック（Ｂピクチ
ャのマクロブロック）の、例えば分散とを比較する。そ
の比較の結果、マクロブロックの分散の方が最小予測誤
差より小さい場合、動きベクトル検出器５２は、予測モ
ードとしてイントラ符号化モードを設定し、ＶＬＣ器５
６および動き補償器６２に出力する。また、動きベクト
ル検出器５２は、最小予測誤差の方が小さければ、予測
モードとして、その最小予測誤差が得られた予測モード
を設定し、対応する動きベクトルとともに、ＶＬＣ器５
６および動き補償器６２に出力する。

【００５４】動き補償器６２は、動きベクトル検出器５
２から予測モードと動きベクトルの両方を受信すると、
その予測モードおよび動きベクトルにしたがって、フレ
ームメモリ６１に記憶されている、符号化され、かつ既
に局所復号された画像データを読み出し、この読み出さ
れた画像データを、予測画像データ（参照画像）とし
て、演算器５３および６０に供給する。

【００５５】演算器５３は、動きベクトル検出器５２が
フレームメモリ５１から読み出した画像データと同一の
マクロブロックをフレームメモリ５１から読み出し、そ
のマクロブロックと、動き補償器６２からの予測画像と
の差分を演算する。この差分値（参照画像との差分情
報）（予測誤差）は、ＤＣＴ器５４に供給される。

【００５６】一方、動き補償器６２は、動きベクトル検
出器５２から予測モードのみを受信した場合、即ち、予
測モードがイントラ符号化モードである場合には、予測
画像を出力しない。この場合、演算器５３（演算器６０
も同様）は、特に処理を行わず、フレームメモリ５１か
ら読み出したマクロブロックを、そのままＤＣＴ器５４
に出力する。

【００５７】ＤＣＴ器５４では、演算器５３の出力デー
タに対して、ＤＣＴ処理が施され、その結果得られるＤ
ＣＴ係数が、量子化器５５に供給される。量子化器５５
では、バッファ５７のデータ蓄積量（バッファ５７に記
憶されているデータの量）（バッファフィードバック）
に対応して量子化ステップ（量子化スケール）が設定さ
れ、その量子化ステップで、ＤＣＴ器５４からのＤＣＴ
係数が量子化される。この量子化されたＤＣＴ係数（以
下、適宜、量子化係数という）は、設定された量子化ス
テップとともに、ＶＬＣ器５６に供給される。

【００５８】ＶＬＣ器５６では、量子化器５５より供給
される量子化係数が、例えばハフマン符号などの可変長
符号に変換され、バッファ５７に出力される。さらに、
ＶＬＣ器５６は、量子化器５５からの量子化ステップ、
動きベクトル検出器５２からの予測モード（イントラ符
号化（画像内予測符号化）、前方予測符号化、後方予測
符号化、または両方向予測符号化のうちのいずれが設定
されたかを示すモード）および動きベクトルも可変長符
号化し、その結果得られる符号化データを、バッフ５７
に出力する。

【００５９】バッファ５７は、ＶＬＣ器５６からの符号
化データを一時蓄積することにより、そのデータ量を平
滑化し、符号化ビットストリームとして、高速ネットワ
ーク１１を介して、中継サーバ３に伝送する。

【００６０】また、バッファ５７は、そのデータ蓄積量
を量子化器５５に出力しており、量子化器５５は、この
バッファ５７からのデータ蓄積量にしたがって量子化ス
テップを設定する。即ち、量子化器５５は、バッファ５
７がオーバーフローしそうなとき、量子化ステップを大
きくし、これにより、量子化係数のデータ量を低下させ
る。また、量子化器５５は、バッファ５７がアンダーフ
ローしそうなとき、量子化ステップを小さくし、これに
より、量子化係数のデータ量を増大させる。このように
して、バッファ５７のオーバフローとアンダフローを防
止するようになっている。

【００６１】量子化器５５が出力する量子化係数と量子
化ステップは、ＶＬＣ器５６だけでなく、逆量子化器５
８にも供給されるようになされている。逆量子化器５８
では、量子化器５５からの量子化係数が、同じく量子化
器５５からの量子化ステップにしたがって逆量子化さ
れ、これによりＤＣＴ係数に変換される。このＤＣＴ係
数は、ＩＤＣＴ器（逆ＤＣＴ器）５９に供給される。Ｉ
ＤＣＴ器５９では、ＤＣＴ係数が逆ＤＣＴ処理され、そ
の処理の結果得られるデータが、演算器６０に供給され
る。

【００６２】演算器６０には、ＩＤＣＴ器５９の出力デ
ータの他、上述したように、動き補償器６２から、演算
器５３に供給されている予測画像と同一のデータが供給
されている。演算器６０は、ＩＤＣＴ器５９の出力デー
タ（予測残差（差分情報））と、動き補償器６２からの
予測画像データとを加算することで、元の画像データを
局所復号し、この局所復号された画像データ（局所復号
画像データ）が出力される（但し、予測モードがイント
ラ符号化である場合には、ＩＤＣＴ器５９の出力データ
は、演算器６０をスルーして、そのまま、局所復号画像
データとして、フレームメモリ６１に供給される）。な
お、この復号画像データは、受信側において得られる復
号画像データと同一のものである（但し、バッファ５７
から出力される符号化ビットストリームが、そのまま受
信側に伝送される場合）。

【００６３】演算器６０において得られた復号画像デー
タ（局所復号画像データ）は、フレームメモリ６１に供
給されて記憶され、その後、インター符号化（前方予測
符号化、後方予測符号化、量方向予測符号化）される画
像に対する予測画像（参照画像）として用いられる。

【００６４】次に、図１１のフローチャートを参照し
て、中継サーバ３によるコンピュータ７乃至９への符号
化データの送信処理（伝送処理）について説明する。

【００６５】なお、ここでは、中継サーバ３が動画カメ
ラサーバ２から受信する符号化データのＧＯＰが、例え
ば、図１に示したように、１５のピクチャで構成され、
また、その中のＩピクチャの数は１であるとする。

【００６６】中継サーバ３は、例えば、コンピュータ７
乃至９のいずれかからアクセスがあると、そのアクセス
のあったコンピュータとのコネクション（通信リンク）
を確立し、その確立したコネクションごとに、図１１の
フローチャートにしたがった送信処理を行う。

【００６７】即ち、まず最初に、ステップＳ１におい
て、ＣＰＵ３２は、送信すべき符号化データに対応する
ピクチャのピクチャタイプを認識する。この認識は、例
えば、ピクチャヘッダをデコードすることで行われる。
そして、ステップＳ２に進み、ＣＰＵ３２において、ス
テップＳ１で認識されたピクチャタイプが、Ｉピクチャ
であるかどうかが判定される。ステップＳ２において、
送信すべきピクチャのピクチャタイプがＩピクチャでな
いと判定された場合、ステップＳ３に進み、変数ｌｅｖ
ｅｌが０であるか、またはｌｅｖｅｌが１で、かつ送信
すべきピクチャのピクチャタイプがＰピクチャであるか
どうかが判定される。

【００６８】ここで、ｌｅｖｅｌは、コピーピクチャへ
の置き換えを、Ｂピクチャについてのみ行うか、Ｂピク
チャとＰピクチャについて行うか、またはＢピクチャ、
Ｐピクチャ、およびＩピクチャのすべてについて行うか
を示す変数で、その値によって次のような置き換えが行
われる。即ち、ｌｅｖｅｌが０の場合、いずれのピクチ
ャについてもコピーピクチャへの置き換えは行われな
い。ｌｅｖｅｌが１の場合は、Ｂピクチャすべてがコピ
ーピクチャに置き換えられ、ｌｅｖｅｌが２の場合は、
Ｂピクチャに加え、Ｐピクチャもすべてコピーピクチャ
に置き換えられる。さらに、ｌｅｖｅｌが３以上の場合
は、ＢピクチャおよびＰピクチャに加え、ｌｅｖｅｌ−
２フレームのＩピクチャがコピーピクチャに置き換えら
れる。このｌｅｖｅｌは、後述するステップＳ１１やＳ
１５において、コネクションが確立された低速ネットワ
ーク１２の伝送レートtarget_rateと、符号化データの
ビットレートcurrent_rateとの差に基づいて設定され
る。従って、ｌｅｖｅｌは、伝送レートtarget_rate
と、符号化データのビットレートcurrent_rateとの違い
を表す。

【００６９】なお、ｌｅｖｅｌが３以上の場合において
は、Ｉピクチャもコピーピクチャに置き換えられるが、
図１で説明したように、あるＧＯＰの中のＩピクチャが
コピーピクチャに置き換えられたときには、そのＧＯＰ
は、例えば、その前のＧＯＰにいわば吸収される。従っ
て、ｌｅｖｅｌが３以上の場合、１のＧＯＰを構成する
ピクチャ数は、最大で、（ｌｅｖｅｌ−１）×１５とな
ることがある（１５は、上述したように、コピーピクチ
ャへの置き換えを行う前のＧＯＰを構成するピクチャ
数）。また、ＧＯＰの中には、少なくとも１のＩピクチ
ャが必要であるから、コピーピクチャへの置き換えが行
われた後のＧＯＰの中に含まれるコピーピクチャの数
は、最大で、（ｌｅｖｅｌ−１）×１５−１となる。

【００７０】ここで、以下、適宜、この式（（ｌｅｖｅ
ｌ−１）×１５−１）で表されるコピーピクチャの最大
数を、ＭＡＸ_copyと表す。

【００７１】ステップＳ３において、ｌｅｖｅｌが０で
あるか、またはｌｅｖｅｌが１で、かつ送信すべきピク
チャのピクチャタイプがＰピクチャであると判定された
場合、即ち、いずれのピクチャについてもコピーピクチ
ャに置き換えないこととなっている場合か、またはＢピ
クチャについてのみコピーピクチャへの置き換えを行う
こととなっているが、送信すべきピクチャがＰピクチャ
である場合、ステップＳ４に進み、ＣＰＵ３２は、その
送信すべきピクチャ（ここでは、Ｐピクチャか、または
Ｂピクチャ）についての符号化データを、そのまま送信
するように、通信装置３７を制御し、ステップＳ１に戻
る。これにより、通信装置３７では、本来送信すべきピ
クチャについての符号化データが、そのまま低速ネット
ワーク１２を介して伝送される。

【００７２】また、ステップＳ３において、ｌｅｖｅｌ
が０でなく、さらにｌｅｖｅｌが１で、かつ送信すべき
ピクチャのピクチャタイプがＰピクチャでもないと判定
された場合、即ち、送信すべきピクチャがＢピクチャで
あり、Ｂピクチャについてのみコピーピクチャへの置き
換えを行うこととなっている場合か、または、送信すべ
きピクチャがＰピクチャであり、ＢピクチャおよびＰピ
クチャの両方についてコピーピクチャへの置き換えを行
うこととなっている場合、ステップＳ５に進み、ＣＰＵ
３２は、送信すべきピクチャに代えて、コピーピクチャ
を送信するように、通信装置３７を制御し、ステップＳ
６に進む。これにより、通信装置３７では、本来送信す
べきピクチャについての符号化データが、図５を参照し
て説明したように、コピーピクチャを実現するスキップ
マクロブロックのデータに変更され、低速ネットワーク
１２を介して伝送される。

【００７３】ステップＳ６では、ＣＰＵ３２において、
ＧＯＰを構成するピクチャのうち、コピーピクチャとし
たものの数をカウントする変数Ｃ_copyが１だけインクリ
メントされ、ステップＳ１に戻る。

【００７４】一方、ステップＳ２において、送信すべき
ピクチャのピクチャタイプがＩピクチャであると判定さ
れた場合、ステップＳ７に進み、ＣＰＵ３２において、
ｌｅｖｅｌが２以上で、かつＣ_copyがＭＡＸ_copyより小
であるかどうかが判定される。ステップＳ７において、
ｌｅｖｅｌが２以上で、かつＣ_copyがＭＡＸ_copyより小
であると判定された場合、即ち、Ｂピクチャ、Ｐピクチ
ャ、Ｉピクチャのいずれについてもコピーピクチャへの
置き換えを行うこととなっており、かつ、コピーピクチ
ャに置き換えたピクチャ数Ｃ_copyが、コピーピクチャと
することのできる最大数ＭＡＸ_copyより小さい場合、ス
テップＳ５に進み、ＣＰＵ３２は、送信すべきＩピクチ
ャに代えて、コピーピクチャを送信するように、通信装
置３７を制御し、ステップＳ６に進む。これにより、通
信装置３７では、上述したように、本来送信すべきＩピ
クチャについての符号化データに代えて、コピーピクチ
ャが低速ネットワーク１２を介して伝送される。

【００７５】ステップＳ６では、上述したように、Ｃ
_copyが１だけインクリメントされ、ステップＳ１に戻
る。

【００７６】また、ステップＳ７において、ｌｅｖｅｌ
が２以上でないか、またはＣ_copyがＭＡＸ_copyより小で
ないと判定された場合、ステップＳ８に進み、ＣＰＵ３
２は、通信装置３７に伝送させている符号化データのビ
ットレートcurrent_rateを認識し、ステップＳ９に進
む。即ち、ＣＰＵ３２は、例えば、通信装置３７が伝送
している符号化データのビット数を、所定時間単位でカ
ウントしており、そのカウント値に基づいて、伝送して
いる符号化データの現在のビットレートcurrent_rateを
認識する。

【００７７】ステップＳ９では、ＣＰＵ３２において、
ビットレートcurrent_rateが、コネクションが確立され
た低速ネットワーク１２の伝送レートtarget_rateより
大であるかどうかが判定される。

【００７８】ここで、ＣＰＵ３２は、低速ネットワーク
１２の伝送レートtarget_rateを、例えば、次のように
して認識するようになされている。即ち、例えば、ユー
ザのコンピュータ（図６の実施の形態では、コンピュー
タ７乃至９）と接続されている伝送路（図６の実施の形
態では、低速ネットワーク１２としてのイーサネット
４、アナログ公衆回線５、ディジタル回線６）の伝送レ
ートを、各ユーザごとにあらかじめ外部記憶装置３６に
記憶させておき、ＣＰＵ３２は、それを参照すること
で、コネクションが確立された低速ネットワーク１２の
伝送レートtarget_rateを認識する。あるいは、また、
例えば、コネクションが確立されたコンピュータと通信
を行うことで、そのコンピュータから、伝送レートtarg
et_rateを送信してもらうようにしても良い。

【００７９】ステップＳ９において、ビットレートcurr
ent_rateが、伝送レートtarget_rateより大であると判
定された場合、ステップＳ１１に進み、ＣＰＵ３２にお
いて、変数ｌｅｖｅｌが１だけインクリメントされ、さ
らに、そのインクリメントされたｌｅｖｅｌを用い、上
述した式にしたがって、変数ＭＡＸ_copyが計算し直され
る。即ち、ビットレートcurrent_rateが、伝送レートta
rget_rateより大である場合には、より多くのピクチャ
について、コピーピクチャへの置き換えが行われ、これ
により、符号化データのビットレートcurrent_rateが、
伝送レートtarget_rate以下となるように、ｌｅｖｅｌ
が増加される。

【００８０】なお、ステップＳ１１においては、ｌｅｖ
ｅｌを１ずつではなく、２以上ずつ増加させるようにす
ることも可能である。ｌｅｖｅｌを、幾つずつ増加させ
るかは、例えば、ステップＳ９での判定の対象となるcu
rrent_rateとtarget_rateとの差などに基づいて設定す
ることができる。即ち、例えば、差分diff１＝current_
rate-target_rateが大の場合には、ｌｅｖｅｌをより大
きく増加させるようにする。このようにすることで、迅
速に、ビットレートcurrent_rateを、伝送レートtarget
_rate以下にすることが可能となる。

【００８１】その後、ステップＳ１２に進み、ＣＰＵ３
２は、変数Ｃ_copyを、例えば０にリセットし、ステップ
Ｓ１３に進む。ステップＳ１３では、ＣＰＵ３２は、送
信すべきＩピクチャについての符号化データを、そのま
ま送信するように、通信装置３７を制御し、ステップＳ
１に戻る。これにより、通信装置３７では、本来送信す
べきＩピクチャについての符号化データが、そのまま低
速ネットワーク１２を介して伝送される。

【００８２】一方、ステップＳ９において、ビットレー
トcurrent_rateが、伝送レートtarget_rateより大でな
いと判定された場合、ステップＳ１４に進み、ＣＰＵ３
２において、ビットレートcurrent_rateが、伝送レート
target_rateの、例えば９５％より小さく、かつｌｅｖ
ｅｌが０より大きいかどうかが判定される。ステップＳ
１４において、ビットレートcurrent_rateが、伝送レー
トtarget_rateの９５％より小さく、かつｌｅｖｅｌが
０より大きいと判定された場合、ステップＳ１５に進
み、ＣＰＵ３２において、変数ｌｅｖｅｌが１だけデク
リメントされ、さらに、そのデクリメントされたｌｅｖ
ｅｌを用い、上述した式にしたがって、変数ＭＡＸ_copy
が計算し直される。即ち、ビットレートcurrent_rate
が、伝送レートtarget_rateの９５％より小である場合
には、本来伝送すべき符号化データを復号したときの画
像により近い画質の画像を得ることができるように、コ
ピーピクチャへの置き換えを行うピクチャ数を少なくす
るため、ｌｅｖｅｌが減少される。

【００８３】なお、ステップＳ１５においては、ｌｅｖ
ｅｌを１ずつではなく、２以上ずつ減少させるようにす
ることも可能である。ｌｅｖｅｌを、幾つずつ減少させ
るかは、ステップＳ１１における場合と同様に、target
_rateとcurrent_rateとの差分diff２（＝target_rate-c
urrent_rate）などに基づいて設定することができる。
即ち、例えば、差分diff２が大の場合は、ｌｅｖｅｌを
より大きく減少させることで、ビットレートcurrent_ra
teを、迅速に、伝送レートtarget_rateに近づけること
が可能となる。

【００８４】また、ステップＳ１４において、ビットレ
ートcurrent_rateが、伝送レートtarget_rateの９５％
より小さくないか、またはｌｅｖｅｌが０より大きくな
いと判定された場合、即ち、ビットレートcurrent_rate
が、伝送レートtarget_rateからその９５％の間の、い
わば適切な範囲の値となっているか、またはｌｅｖｅｌ
を、それ以上小さくすることができない場合、ステップ
Ｓ１５をスキップして、ステップＳ１２に進み、以下、
上述した場合と同様の処理が行われる。

【００８５】以上のようにして、中間サーバ３では、ビ
ットレートが、低速ネットワーク１２の伝送レートtarg
et_rateからその９５％の間の範囲の値に変更された符
号化データが伝送される。但し、伝送する符号化データ
のビットレートの下限値は、伝送レートtarget_rateの
９５％以外の値とすることも可能である。

【００８６】なお、中継サーバ３では、ビットレートを
変更した符号化データを送信する際に、そのシーケンス
ヘッダに配置されているビットレートＢＲと、ＶＢＶ
（Video Buffering Verifier）ディレイＶＤとが、所定
の固定値に変更され、これにより、可変ビットレート
（ＶＢＲ）のモードとされる。

【００８７】また、ステップＳ５において、Ｉピクチャ
に代えて、コピーピクチャを送信する場合は、ＣＰＵ３
２は、そのピクチャタイプを、Ｉピクチャ以外のＰまた
はＢピクチャに変更する。さらに、この場合、ＣＰＵ３
２は、上述したように、そのＩピクチャであったピクチ
ャを含んで構成されるＧＯＰの符号化データを、そのＧ
ＯＰの前（または後）のＧＯＰに含めさせる。

【００８８】次に、図１２は、図１１の送信処理によっ
て送信されてくる符号化ビットストリームのＭＰＥＧデ
コードを行うコンピュータ７乃至９の機能的構成例を示
している。なお、この構成は、ＣＰＵ４２が、外部記憶
装置４６に記憶されたアプリケーションプログラムを実
行することで実現される。

【００８９】コンピュータ７乃至９では、中継サーバ３
から伝送されてきた符号化ビットストリーム（符号化デ
ータ）が受信され、バッファ７１に供給されて記憶され
る。

【００９０】ＩＶＬＣ器（逆ＶＬＣ器（可変長復号
器））７２は、バッファ７１に記憶された符号化データ
を読み出し、可変長復号することにより、その符号化デ
ータを、マクロブロック単位で、動きベクトル、予測モ
ード、量子化ステップ、および量子化係数などに分離す
る。これらのデータのうち、動きベクトルおよび予測モ
ードは動き補償器７７に供給され、量子化ステップおよ
びマクロブロックの量子化係数は逆量子化器７３に供給
される。

【００９１】逆量子化器７３は、ＩＶＬＣ器７２より供
給されたマクロブロックの量子化係数を、同じくＩＶＬ
Ｃ器７２より供給された量子化ステップにしたがって逆
量子化し、その結果得られるＤＣＴ係数を、ＩＤＣＴ器
７４に出力する。ＩＤＣＴ器７４は、逆量子化器７３か
らのマクロブロックのＤＣＴ係数を逆ＤＣＴし、演算器
７５に供給する。

【００９２】演算器７５には、ＩＤＣＴ器７４の出力デ
ータの他、動き補償器７７の出力データも供給されてい
る。即ち、動き補償器７７は、フレームメモリ７６に記
憶されている、既に復号された画像データを、図１０の
動き補償器６２における場合と同様に、ＩＶＬＣ器７２
からの動きベクトルおよび予測モードにしたがって読み
出し、予測画像データとして、演算器７５に供給する。
演算器７５は、ＩＤＣＴ器７４の出力データ（予測残差
（差分値））と、動き補償器７７からの予測画像データ
とを加算することで、元の画像データを復号する。この
復号画像データは、フレームメモリ７６に供給されて記
憶される。なお、ＩＤＣＴ器７４の出力データが、イン
トラ符号化されたものである場合には、その出力データ
は、演算器７５をスルーして、復号画像データとして、
そのままフレームメモリ７６に供給されて記憶される。

【００９３】フレームメモリ７６に記憶された復号画像
データは、その後に復号される画像データの参照画像デ
ータとして用いられる。さらに、復号画像データは、出
力再生画像として、例えば、図示せぬディスプレイなど
に供給されて表示される。

【００９４】次に、図１３は、本発明を適用した画像伝
送システムの他の実施の形態の構成例を示している。な
お、図中、図６における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。

【００９５】この実施の形態では、動画カメラサーバ２
からの符号化データが、中継サーバ１０１で受信され、
インターネット１０３を介して、中継サーバ３に転送さ
れる。そして、中継サーバ３において、上述した場合と
同様の処理が行われることにより、ビットレートが低速
ネットワーク１２の伝送レートに対応した変更された符
号化データが、コンピュータ７乃至９に伝送される。

【００９６】なお、中継サーバ１０１からは、中継サー
バ３以外のインターネット１０３上のサーバ（例えば、
図１３において点線で示す中継サーバ）にも符号化デー
タを伝送することが可能である。また、中継サーバ１０
１では、動画カメラサーバ２からの符号化データを、記
憶媒体１０２に一旦記憶し、所定のタイミングで、その
記憶した符号化データを伝送するようにすることなども
可能である。さらに、符号化データの、記憶媒体１０２
への記憶は、その符号化データを、中継サーバ３に送信
しながら行うことも可能である。また、中継サーバ１０
１には、図１１で説明した送信処理によって、動画カメ
ラサーバ２からの符号化データを、中継サーバ３に送信
させることが可能である。

【００９７】以上のように、ビットレートcurrent_rate
と伝送レートtarget_rateとの差に対応する変数ｌｅｖ
ｅｌに基づき、本来伝送すべきピクチャに代えて、コピ
ーピクチャを伝送するようにしたので、符号化データの
ビットレートを適応的に変更することができ、その結
果、動画カメラサーバ２において、各種のビットレート
で符号化を行うエンコーダを用意して符号化を行う必要
がなくなり、さらに、そのような各種のビットレートの
符号化データを、動画カメラサーバ２から送信する必要
もなくなる。従って、動画カメラサーバ２から符号化デ
ータを送信するための伝送路（図６や図１３の実施の形
態では、高速ネットワーク１１）の伝送帯域も、各種の
ビットレートの符号化データを送信する場合に比較して
狭いもので済む（あるいは、伝送帯域が余るので、その
余った分を、他のデータの伝送に利用することが可能と
なる）。

【００９８】また、ビットレートの変更後の符号化デー
タは、可変ビットレートのモードに変更することによ
り、ＭＰＥＧの規格に準拠したものとなっており、さら
に、その変更前後で、ピクチャ数は変化しないから、ビ
ットレートの変更後の符号化データは、標準的なＭＰＥ
Ｇデコーダで、正常に再生することができる（早送り再
生などが行われることがない）。

【００９９】さらに、例えば、図１３に示したように、
インターネット１０３を介して、符号化データを伝送す
る場合においては、通常ならば、例えば、イーサネット
４、アナログ公衆回線５、およびディジタル回線６の３
つの伝送路の伝送レートに対応したビットレートの符号
化データを、インターネット１０３を介して中継サーバ
３に送信する必要があるが、その途中のルートのトラフ
ィックが混雑していると、その３種類のビットレートの
符号化データのすべてをリアルタイムで送信することが
できないことがある。この場合、送信することができな
い符号化データのビットレートに対応する伝送レートの
伝送路と接続されているユーザには、符号化データを伝
送することができない。即ち、この場合、接続可能なユ
ーザ数が制限されることになる。これに対して、中継サ
ーバ３においてビットレートを変更する場合において
は、あるビットレートの符号化データだけを送信すれば
良いので、上述したようなことが生じる頻度を低下させ
ることができる。

【０１００】また、ビットレートを低下させる方法とし
て、例えば、符号化データの中に含まれるＤＣＴ（離散
コサイン変換）係数の高次成分を０とする方法などがあ
るが、この方法では、符号化データを、ＤＣＴ係数が得
られるレベルまで復号する必要があり、さらに、ＤＣＴ
係数の高次成分をカットした後に、再度符号化する必要
もある。これに対して、本来の符号化データをコピーピ
クチャに入れ替える場合には、符号化データをデコード
する必要はなく、例えば、シーケンスヘッダやピクチャ
ヘッダを検出して、ビットレートＢＲや、ＶＢＶディレ
イＶＤ、ピクチャタイプなどを変更するといった、いわ
ば負担の軽い処理を行うだけで済む。

【０１０１】なお、本実施の形態では、マルチキャスト
（例えば、ＩＰマルチキャスト）による放送を行う場合
について説明したが、本発明は、ユニキャスト（例え
ば、ＩＰユニキャスト）による放送にも適用可能であ
る。

【０１０２】また、本実施の形態では、リアルタイムで
放送を行うこととしたが、本発明は、その他、例えば、
ＶＯＤ（Video On Demand）サービスなどのように、デ
ータを記憶媒体にあらかじめ記憶しておき、それを配信
するような場合などにも適用可能である。即ち、例え
ば、ＶＯＤサービスにおいては、同一の映画などを、同
時に、複数のユーザに配信するが、この場合に、各ユー
ザとの伝送路が異なる伝送レートのものであったとして
も、上述したような伝送を行うことにより、複数の伝送
レートに対応した符号化データを記憶しておく必要がな
くなる。その結果、そのような複数の符号化データを用
意する手間を省き、さらに、記憶媒体を効率的に利用す
ることが可能となる。

【０１０３】また、本実施の形態では、画像をＭＰＥＧ
符号化するようにしたが、画像の符号化方式は、ＭＰＥ
Ｇに限定されるものではない。

【０１０４】なお、実際問題として、低速ネットワーク
１２の中の伝送路の伝送レート（伝送帯域）の最大値と
最小値との差が大きい場合には、１のビットレートの符
号化データから、そのような幅の広い伝送レートに対応
したビットレートの符号化データのすべてを生成するこ
とが困難なこともある。このような場合には、幾つかの
種類のビットレートの符号化データを用意し、適当なビ
ットレートの符号化データを変更するようにすれば良
い。この場合、幾つかの種類のビットレートの符号化デ
ータを用意する必要があるが、それでも、低速ネットワ
ーク１２の中のすべての伝送路の伝送レートに対応した
符号化データを用意する場合と比較すれば、その用意す
る符号化データの数を少なくすることができる。

【０１０５】さらに、本実施の形態では、中継サーバ３
において、動画カメラサーバ２が出力する符号化ビット
ストリームの一部を、コピーピクチャを生成することを
指示するデータに変更して伝送するようにしたが、その
他、例えば、動画カメラサーバ２には、符号化ビットス
トリームの一部を、コピーピクチャを生成することを指
示するデータに変更したものを出力させ、中継サーバ３
には、その動画カメラサーバ２の出力を、そのまま伝送
させるようにすることも可能である。

【０１０６】即ち、コピーピクチャは、画面のすべての
マクロブロックを、動きベクトルを０とし、かつ差分情
報（予測誤差）も０としてＭＰＥＧ符号化を行うことに
より得ることができるので、例えば、中継サーバ３によ
って、動画カメラサーバ２を、そのように制御させれば
良い。但し、この場合、ビットレートの異なる符号化ビ
ットストリームを得るには、その異なるビットレートの
数と同一回数のエンコードを、動画カメラサーバ２にお
いて行うことが必要となる（あるいは、異なるビットレ
ートの数と同一回数のエンコード処理を並列に行うこと
が必要となる）。

【０１０７】また、動画カメラサーバ２が行うＭＰＥＧ
エンコード処理、中継サーバ３が行う送信処理、および
コンピュータ７乃至９が行うＭＰＥＧデコード処理は、
上述したように、ＣＰＵにコンピュータプログラムを実
行させることによって行う他、それ専用のハードウェア
によって行うことも可能である。さらに、これらのＭＰ
ＥＧエンコード処理、送信処理、およびＭＰＥＧデコー
ド処理を行うためのコンピュータプログラムは、ＣＤ−
ＲＯＭなどの記録媒体に記録して提供する他、インター
ネットなどの伝送媒体を介して伝送することにより提供
することも可能である。

【０１０８】なお、図１１の実施の形態では、ｌｅｖｅ
ｌが１または２のときは、ＢまたはＰピクチャそれぞれ
を、すべてコピーピクチャとし、ｌｅｖｅｌが３以上の
ときは、その値に応じた数のＩピクチャをコピーピクチ
ャとするようにしたが、ＢピクチャやＰピクチャについ
ても、Ｉピクチャと同様に、ｌｅｖｅｌの値に基づい
て、コピーピクチャとする画面の数を決めるようにする
ことが可能である。

【０１０９】

【発明の効果】以上の如く、本発明の画像伝送装置およ
び画像伝送方法、並びに提供媒体によれば、符号化デー
タのビットレートと所定の伝送レートとの差に基づい
て、前に伝送した符号化データに対応する画面をコピー
したコピー画面を生成することを指示するデータが、本
来伝送すべき符号化データに代えて伝送される。従っ
て、符号化データを、所定の伝送レートの伝送路を介し
て伝送する場合に、その伝送レートに対応したビットレ
ートの符号化データを得るためのエンコーダを用意せず
に済むようになる。

【図面の簡単な説明】

【図１】ＧＯＰの構成例を示す図である。

【図２】本発明の原理を説明するための図である。

【図３】本発明の原理を説明するための図である。

【図４】本発明の原理を説明するための図である。

【図５】マクロブロックのデータ構造を示す図である。

【図６】本発明を適用した画像伝送システムの第１実施
の形態の構成例を示すブロック図である。

【図７】図６の動画カメラサーバ２のハードウェア構成
例を示すブロック図である。

【図８】図６の中継サーバ３のハードウェア構成例を示
すブロック図である。

【図９】図６のコンピュータ７乃至９のハードウェア構
成例を示すブロック図である。

【図１０】図６の動画カメラサーバ２の機能的構成例を
示すブロック図である。

【図１１】中継サーバ３による画像の送信処理を説明す
るためのフローチャートである。

【図１２】図６のコンピュータ７乃至９の機能的構成例
を示すブロック図である。

【図１３】本発明を適用した画像伝送システムの第２実
施の形態の構成例を示すブロック図である。

【符号の説明】

１ビデオカメラ，２動画カメラサーバ（符号化手
段），３中継サーバ（制御手段）（伝送手段），
４イーサネット，５アナログ公衆回線，６ディ
ジタル回線，７乃至９コンピュータ，１１高速
ネットワーク，１２低速ネットワーク，２１Ｒ
ＯＭ，２２ＣＰＵ，２３ＲＡＭ，２４入力
装置，２５出力装置，２６外部記憶装置，２
７通信装置，３１ＲＯＭ，３２ＣＰＵ（制御
手段），３３ＲＡＭ，３４入力装置，３５
出力装置，３６外部記憶装置，３７通信装置
（伝送手段），４１ＲＯＭ，４２ＣＰＵ，４
３ＲＡＭ，４４入力装置，４５出力装置，
４６外部記憶装置，４７通信装置，５１フレー
ムメモリ，５２動きベクトル検出器，５３演算
器，５４ＤＣＴ器，５５量子化器，５６Ｖ
ＬＣ器，５８逆量子化器，５９ＩＤＣＴ器，
６０演算器，６１フレームメモリ，６２動き
補償器，６３フレームメモリ，７１バッファ，
７２ＩＶＬＣ器，７３逆量子化器，７４ＩＤ
ＣＴ器，７５演算器，７６フレームメモリ，
７７動き補償器，１０１中継サーバ，１０２
記憶媒体，１０３インターネット

Claims

【特許請求の範囲】

【請求項１】画像を符号化した符号化データを、所定
の伝送レートの伝送路を介して伝送する画像伝送装置で
あって、前記符号化データを伝送する伝送手段と、前記符号化データのビットレートと前記所定の伝送レー
トとの差に基づいて、前に伝送した符号化データに対応
する画面をコピーしたコピー画面を生成することを指示
するデータを、本来伝送すべき前記符号化データに代え
て、前記伝送手段に伝送させる制御手段とを備えること
を特徴とする画像伝送装置。
【請求項２】イントラ符号化される画面をＩピクチャ
（Intraピクチャ）と、イントラ符号化または前方予測
符号化のうちのいずれかで符号化される画面をＰピクチ
ャ（Predictiveピクチャ）と、イントラ符号化、前方予
測符号化、後方予測符号化、または両方向予測符号化の
うちのいずれかで符号化される画面をＢピクチャ（Bide
rectionally Predictiveピクチャ）と、それぞれすると
き、前記符号化データは、前記画像を構成する各画面を、前
記Ｉピクチャ、Ｐピクチャ、またはＢピクチャのうちの
いずれかとして予測符号化することにより得られたもの
であることを特徴とする請求項１に記載の画像伝送装
置。
【請求項３】前記制御手段は、Ｂピクチャについての
み、そのＢピクチャの符号化データに代えて、前に伝送
した符号化データに対応する画面をコピーしたコピー画
面を生成することを指示するデータを伝送させることを
特徴とする請求項２に記載の画像伝送装置。
【請求項４】前記制御手段は、Ｂピクチャの符号化デ
ータに代えて、前に伝送した符号化データに対応する画
面をコピーしたコピー画面を生成することを指示するデ
ータを伝送させるだけでは、前記符号化データのビット
レートが前記所定の伝送レート以下にならないとき、さ
らに、Ｐピクチャの符号化データに代えて、前に伝送し
た符号化データに対応する画面をコピーしたコピー画面
を生成することを指示するデータを伝送させることを特
徴とする請求項３に記載の画像伝送装置。
【請求項５】前記制御手段は、ＢピクチャおよびＰピ
クチャの符号化データに代えて、前に伝送した符号化デ
ータに対応する画面をコピーしたコピー画面を生成する
ことを指示するデータを伝送させるだけでは、前記符号
化データのビットレートが前記所定の伝送レート以下に
ならないとき、さらに、Ｉピクチャの符号化データに代
えて、前に伝送した符号化データに対応する画面をコピ
ーしたコピー画面を生成することを指示するデータを伝
送させることを特徴とする請求項４に記載の画像伝送装
置。
【請求項６】前記符号化データは、ＭＰＥＧ（Moving
Picture Experts Group）の規格に準拠して、前記画像
を符号化したものであり、前記制御手段は、Ｉピクチャの符号化データに代えて、
前に伝送した符号化データに対応する画面をコピーした
コピー画面を生成することを指示するデータを伝送させ
るとき、そのＩピクチャのピクチャタイプを、Ｉピクチ
ャ以外に変更するとともに、そのＩピクチャを含むＧＯ
Ｐ（Group Of Picture）を構成する前記符号化データ
を、そのＧＯＰに隣接するＧＯＰに含めることを特徴と
する請求項５に記載の画像伝送装置。
【請求項７】前記画像を符号化して前記符号化データ
を出力する符号化手段をさらに備えることを特徴とする
請求項１に記載の画像伝送装置。
【請求項８】前記伝送手段は、前記符号化手段の出力
を伝送し、前記制御手段は、前記コピー画面を生成することを指示
するデータを出力するように、前記符号化手段を制御す
ることで、本来伝送すべき前記符号化データに代えて、
前記コピー画面を生成することを指示するデータを、前
記伝送手段に伝送させることを特徴とする請求項７に記
載の画像伝送装置。
【請求項９】前記符号化手段が、前記画像を、その動
きベクトルに基づいて予測符号化するとき、前記制御手段は、前記画像を構成する画面のうち、前記
コピー画面とするものを、前記動きベクトルと予測誤差
とが、いずれも０であるとして、前記符号化手段に符号
化させることを特徴とする請求項８に記載の画像伝送装
置。
【請求項１０】画像を符号化した符号化データを、所
定の伝送レートの伝送路を介して伝送する画像伝送方法
であって、前記符号化データを伝送する伝送ステップと、前記符号化データのビットレートと前記所定の伝送レー
トとの差に基づいて、前に伝送した符号化データに対応
する画面をコピーしたコピー画面を生成することを指示
するデータを、本来伝送すべき前記符号化データに代え
て伝送するように制御する制御ステップとを備えること
を特徴とする画像伝送方法。
【請求項１１】イントラ符号化される画面をＩピクチ
ャ（Intraピクチャ）と、イントラ符号化または前方予
測符号化のうちのいずれかで符号化される画面をＰピク
チャ（Predictiveピクチャ）と、イントラ符号化、前方
予測符号化、後方予測符号化、または両方向予測符号化
のうちのいずれかで符号化される画面をＢピクチャ（Bi
derectionally Predictiveピクチャ）と、それぞれする
とき、前記符号化データは、前記画像を構成する各画面
を、前記Ｉピクチャ、Ｐピクチャ、またはＢピクチャの
うちのいずれかとして予測符号化することにより得られ
たものであることを特徴とする請求項１０に記載の画像
伝送方法。
【請求項１２】前記制御ステップにおいて、Ｂピクチ
ャについてのみ、そのＢピクチャの符号化データに代え
て、前に伝送した符号化データに対応する画面をコピー
したコピー画面を生成することを指示するデータを伝送
するように制御することを特徴とする請求項１１に記載
の画像伝送方法。
【請求項１３】前記制御ステップにおいて、Ｂピクチ
ャの符号化データに代えて、前に伝送した符号化データ
に対応する画面をコピーしたコピー画面を生成すること
を指示するデータを伝送するだけでは、前記符号化デー
タのビットレートが前記所定の伝送レート以下にならな
いとき、さらに、Ｐピクチャの符号化データに代えて、
前に伝送した符号化データに対応する画面をコピーした
コピー画面を生成することを指示するデータを伝送する
ように制御することを特徴とする請求項１２に記載の画
像伝送方法。
【請求項１４】前記制御ステップにおいて、Ｂピクチ
ャおよびＰピクチャの符号化データに代えて、前に伝送
した符号化データに対応する画面をコピーしたコピー画
面を生成することを指示するデータを伝送するだけで
は、前記符号化データのビットレートが前記所定の伝送
レート以下にならないとき、さらに、Ｉピクチャの符号
化データに代えて、前に伝送した符号化データに対応す
る画面をコピーしたコピー画面を生成することを指示す
るデータを伝送するように制御することを特徴とする請
求項１３に記載の画像伝送方法。
【請求項１５】前記符号化データは、ＭＰＥＧ（Movi
ng Picture ExpertsGroup）の規格に準拠して、前記画
像を符号化したものであり、前記制御ステップにおいて、Ｉピクチャの符号化データ
に代えて、前に伝送した符号化データに対応する画面を
コピーしたコピー画面を生成することを指示するデータ
を伝送するとき、そのＩピクチャのピクチャタイプを、
Ｉピクチャ以外に変更するとともに、そのＩピクチャを
含むＧＯＰ（Group Of Picture）を構成する前記符号化
データを、そのＧＯＰに隣接するＧＯＰに含めることを
特徴とする請求項１４に記載の画像伝送方法。
【請求項１６】前記画像を符号化して前記符号化デー
タを出力する符号化ステップをさらに備えることを特徴
とする請求項１０に記載の画像伝送方法。
【請求項１７】前記伝送ステップにおいて、前記符号
化ステップで得られる前記符号化データを伝送し、前記制御ステップにおいて、前記コピー画面を生成する
ことを指示するデータを出力するように、前記符号化ス
テップの処理を制御することで、本来伝送すべき前記符
号化データに代えて、前記コピー画面を生成することを
指示するデータを、前記伝送ステップで伝送させること
を特徴とする請求項１６に記載の画像伝送方法。
【請求項１８】前記符号化ステップにおいて、前記画
像を、その動きベクトルに基づいて予測符号化すると
き、前記制御ステップにおいて、前記画像を構成する画面の
うち、前記コピー画面とするものを、前記動きベクトル
と予測誤差とが、いずれも０であるとして、前記符号化
ステップで符号化させることを特徴とする請求項１７に
記載の画像伝送方法。
【請求項１９】画像を符号化した符号化データを、所
定の伝送レートの伝送路を介して伝送する処理を、コン
ピュータに行わせるためのコンピュータプログラムを提
供する提供媒体であって、前記符号化データを伝送する伝送ステップと、前記符号化データのビットレートと前記所定の伝送レー
トとの差に基づいて、前に伝送した符号化データに対応
する画面をコピーしたコピー画面を生成することを指示
するデータを、本来伝送すべき前記符号化データに代え
て伝送するように制御する制御ステップとを備えるコン
ピュータプログラムを提供することを特徴とする提供媒
体。
【請求項２０】イントラ符号化される画面をＩピクチ
ャ（Intraピクチャ）と、イントラ符号化または前方予
測符号化のうちのいずれかで符号化される画面をＰピク
チャ（Predictiveピクチャ）と、イントラ符号化、前方
予測符号化、後方予測符号化、または両方向予測符号化
のうちのいずれかで符号化される画面をＢピクチャ（Bi
derectionally Predictiveピクチャ）と、それぞれする
とき、前記符号化データは、前記画像を構成する各画面を、前
記Ｉピクチャ、Ｐピクチャ、またはＢピクチャのうちの
いずれかとして予測符号化することにより得られたもの
であることを特徴とする請求項１９に記載の提供媒体。
【請求項２１】前記制御ステップにおいて、Ｂピクチ
ャについてのみ、そのＢピクチャの符号化データに代え
て、前に伝送した符号化データに対応する画面をコピー
したコピー画面を生成することを指示するデータを伝送
するように制御することを特徴とする請求項２０に記載
の提供媒体。
【請求項２２】前記制御ステップにおいて、Ｂピクチ
ャの符号化データに代えて、前に伝送した符号化データ
に対応する画面をコピーしたコピー画面を生成すること
を指示するデータを伝送するだけでは、前記符号化デー
タのビットレートが前記所定の伝送レート以下にならな
いとき、さらに、Ｐピクチャの符号化データに代えて、
前に伝送した符号化データに対応する画面をコピーした
コピー画面を生成することを指示するデータを伝送する
ように制御することを特徴とする請求項２１に記載の提
供媒体。
【請求項２３】前記制御ステップにおいて、Ｂピクチ
ャおよびＰピクチャの符号化データに代えて、前に伝送
した符号化データに対応する画面をコピーしたコピー画
面を生成することを指示するデータを伝送するだけで
は、前記符号化データのビットレートが前記所定の伝送
レート以下にならないとき、さらに、Ｉピクチャの符号
化データに代えて、前に伝送した符号化データに対応す
る画面をコピーしたコピー画面を生成することを指示す
るデータを伝送するように制御することを特徴とする請
求項２２に記載の提供媒体。
【請求項２４】前記符号化データは、ＭＰＥＧ（Movi
ng Picture ExpertsGroup）の規格に準拠して、前記画
像を符号化したものであり、前記制御ステップにおいて、Ｉピクチャの符号化データ
に代えて、前に伝送した符号化データに対応する画面を
コピーしたコピー画面を生成することを指示するデータ
を伝送するとき、そのＩピクチャのピクチャタイプを、
Ｉピクチャ以外に変更するとともに、そのＩピクチャを
含むＧＯＰ（Group Of Picture）を構成する前記符号化
データを、そのＧＯＰに隣接するＧＯＰに含めることを
特徴とする請求項２３に記載の提供媒体。
【請求項２５】前記コンピュータプログラムが、前記
画像を符号化して前記符号化データを出力する符号化ス
テップをさらに備えることを特徴とする請求項１９に記
載の提供媒体。
【請求項２６】前記伝送ステップにおいて、前記符号
化ステップで得られる前記符号化データを伝送し、前記制御ステップにおいて、前記コピー画面を生成する
ことを指示するデータを出力するように、前記符号化ス
テップの処理を制御することで、本来伝送すべき前記符
号化データに代えて、前記コピー画面を生成することを
指示するデータを、前記伝送ステップで伝送させること
を特徴とする請求項２５に記載の提供媒体。
【請求項２７】前記符号化ステップにおいて、前記画
像を、その動きベクトルに基づいて予測符号化すると
き、前記制御ステップにおいて、前記画像を構成する画面の
うち、前記コピー画面とするものを、前記動きベクトル
と予測誤差とが、いずれも０であるとして、前記符号化
ステップで符号化させることを特徴とする請求項２６に
記載の提供媒体。