JPH1023427A

JPH1023427A - 映像信号符号化及び復号化装置と映像信号伝送装置

Info

Publication number: JPH1023427A
Application number: JP17470796A
Authority: JP
Inventors: Takeshi Hatakeyama; 武士畠山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-07-04
Filing date: 1996-07-04
Publication date: 1998-01-23

Abstract

(57)【要約】【課題】複数の画像オブジェクトを符号化する映像信
号符号化装置において、発生符号量及び復号時の処理負
荷の時間的な変動を少なくすることを目的とする。【解決手段】複数の画像オブジェクトを符号化する場
合に、各画像オブジェクトのＩピクチャの発生タイミン
グが時間的に重複しないように、Ｉピクチャの発生タイ
ミングを調整することにより、発生符号量、復号時の処
理負荷の時間的変動を少なくする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像の符
号化・復号を行う映像信号符号化装置、映像信号復号装
置、映像信号伝送装置に関するもので、特に原画像を複
数の画像オブジェクトに分けて符号化、復号化を行う映
像信号符号化装置、映像信号復号装置、映像信号伝送装
置に関するものである。

【０００２】

【従来の技術】従来のデジタル画像の符号化装置、復号
装置としては、国際規格であるＭＰＥＧ２(ISO/IEC JTC
１/SC29 N80１,"ISO/IEC CD 13818-1:Information tech
nology- Generic coding of moving pictures and asso
ciated audio ",1994.11)の符号化装置、復号装置があ
る。

【０００３】図１２はＭＰＥＧ２の映像信号におけるピ
クチャの構造図である。図１２において、（ａ）は、Ｍ
ＰＥＧ２におけるピクチャの表示順序、（ｂ）はＭＰＥ
Ｇ２におけるピクチャの復号順序である。

【０００４】以下、図１２を用いてＭＰＥＧ２における
ピクチャの構造について説明する。ＭＰＥＧ２のピクチ
ャは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つに分
けられる。

【０００５】まず、Ｉピクチャとは、そのピクチャのみ
により復号を行うピクチャである。すなわち、ピクチャ
間の予測を行わずに、そのピクチャ内で閉じた符号化を
行うフレーム内符号化画像である。

【０００６】次に、Ｐピクチャは、順方向予測によっ
て、画像の復号を行うピクチャである。すなわち、図１
２（ａ）のように、Ｐピクチャは、Ｉピクチャもしくは
Ｐピクチャに順方向予測を行ったピクチャを基に復号を
行う。順方向予測のピクチャは、Ｉピクチャ、Ｐピクチ
ャと、基のピクチャとの動きを示す動きベクトルにより
合成される。復号されるＰピクチャは、この順方向予測
画像と、順方向予測画像との差分の符号を基に合成され
る。すなわち順方向予測を行うことにより、動きベクト
ルと順方向予測画像との差分符号のみによりＰピクチャ
を合成することができるため、Ｐピクチャにおいては、
Ｉピクチャより少ない符号により１枚の画像を合成する
ことが可能となる。

【０００７】更に、Ｂピクチャは、双方向予測によっ
て、画像の復号を行うピクチャである。すなわち、図１
２（ａ）のように、Ｂピクチャは、ＩピクチャまたはＰ
ピクチャの２枚の画像から順方向予測と逆方向予測を合
わせた双方向予測を行ったピクチャを基に復号を行う。
順方向予測のピクチャは、ＩピクチャまたはＰピクチャ
と、元のピクチャとの動きを示す順方向動きベクトルに
より合成される。一方、逆方向予測のピクチャは、Ｉピ
クチャまたはＰピクチャと、元のピクチャとの動きを示
す逆方向動きベクトルにより合成される。更に、順方向
予測画像と逆方向予測画像の２つを平均し、双方向予測
画像が合成される。復号されるＢピクチャは、この双方
向予測画像と、双方向予測画像との差分の符号を基に合
成される。すなわち双方向予測を行うことにより、２つ
の動きベクトルと双方向予測画像との差分符号のみによ
りＢピクチャを合成することができる。双方向予測によ
り、順方向予測より、精度の高い予測を行うことができ
るため、予測画像との差分符号がＰピクチャより少なく
て済むため、Ｂピクチャは、Ｐピクチャより少ない符号
で合成することが可能となる。

【０００８】次に、図１２（ｂ）により、画像の復号順
序を説明する。画像の復号は、まず単独で復号可能なＩ
１ピクチャから復号される。次に、表示されるのは、Ｂ
１であるが、Ｂ１の復号では、Ｐ１が必要なため、先に
Ｐ１が復号され、次に、ＢピクチャであるＢ１、Ｂ２が
順に復号される。すなわち、ピクチャの表示順序と復号
順序は、必ずしも一致するわけではなく、ＭＰＥＧ２の
映像信号符号化装置は、復号順序に従って、画像の符号
の出力を行い、一方、ＭＰＥＧ２の映像信号復号装置
は、受信した順に、画像の復号を行う。

【０００９】

【発明が解決しようとする課題】しかし、上記のような
ＭＰＥＧ２の符号化・復号化を行う映像信号符号化装
置、映像信号復号装置では、以下のような問題があっ
た。

【００１０】オブジェクト符号化における発生符号量の
平滑化および復号時の処理負荷の平滑化の問題である。

【００１１】画像符号化において、画像を構成するコン
ポーネント、すなわち、背景、人物、動いている物体な
ど、いわゆるオブジェクトごとに別々に符号化を行うオ
ブジェクト符号化方法が注目されている。オブジェクト
符号化では物体ごとに符号化するため、特定の物体など
を置き換える、取り除くなどといった編集やある物体を
検索することが簡単にできる。

【００１２】オブジェクト符号化において、各オブジェ
クトの符号化はＭＰＥＧ２と同様にＩピクチャ、Ｐピク
チャ、Ｂピクチャの３つのピクチャを基に行われるが、
各オブジェクトのＩピクチャの時間的位置を合わせる
と、符号量がＩピクチャの生成時に集中し、逆に、復号
時の処理量はＢピクチャの処理時に集中するという問題
があった。

【００１３】まず、符号量の問題について、図１を用い
て説明する。図１は、オブジェクト符号化における符号
量の問題の説明図である。

【００１４】図１において、（ａ）はオブジェクトＡの
符号発生量、（ｂ）はオブジェクトＢの符号発生量、
（ｃ）は２つのオブジェクトを合わせた符号発生量であ
る。

【００１５】（ａ）、（ｂ）に示すように、符号発生量
は、単独で符号化を行うＩピクチャで最も多く、次にＰ
ピクチャ、Ｂピクチャの順となる。従って、２つのオブ
ジェクトのＩピクチャの時間的な位置が重なると、２つ
のオブジェクトの合計発生符号量は、（ｃ）に示すよう
に、最大と最小の差が大きいものとなり、符号側、復号
側のバッファ量が多く必要になる、ＡＴＭネットワーク
においてセル廃棄の確率が増加するなどの問題が生じ
る。

【００１６】図２は、オブジェクト符号化における復号
時の処理負荷の問題の説明図である。

【００１７】図２において、（ａ）はオブジェクトＡの
復号時の処理負荷、（ｂ）はオブジェクトＢの復号時の
処理負荷、（ｃ）は２つのオブジェクトを合わせた復号
時の処理負荷である。

【００１８】（ａ）、（ｂ）に示すように、処理負荷
は、順方向と逆方向の２つの画像を予測により合成する
必要のあるＢピクチャが最も多く、次にＰピクチャ、Ｉ
ピクチャの順となる。従って、２つのオブジェクトのＩ
ピクチャの時間的な位置が重なると、２つのオブジェク
トの復号時の合計処理負荷は、（ｃ）に示すように、最
大と最小の差が大きいものとなり、復号をＣＰＵにより
行う場合には、最大の処理負荷を保証するために、より
高性能のＣＰＵが必要になるなどの問題が生じる。

【００１９】本件では、かかる点に鑑み、発生符号量お
よび復号時の処理負荷の平滑化を行う映像信号符号化装
置、映像信号復号装置、映像伝送装置を実現すること
を、目的とする。

【００２０】

【課題を解決するための手段】本願における第１の発明
は、複数のオブジェクトを符号化する映像信号符号化装
置において、複数のオブジェクトのＩピクチャの発生タ
イミングが重複しないように、オブジェクトの符号化を
行うものである。

【００２１】本願における第１の発明では、前記した構
成により、Ｉピクチャの発生タイミングをオブジェクト
ごとに重複しないように符号化することにより、映像信
号符号化装置が発生する符号量の平滑化、復号時の処理
負荷の平滑化を実現することができる。

【００２２】本願における第２の発明は、複数のオブジ
ェクトを複数のＣＰＵで復号化する映像信号復号装置に
おいて、複数のオブジェクトのピクチャの発生タイミン
グとオブジェクトの領域の面積から、ＣＰＵ処理負荷の
時間軸上で最大値のすべてのＣＰＵにおける最大値が、
最小になるように、各ＣＰＵにオブジェクトを割り当
て、復号するものである。

【００２３】本願における第２の発明では、前記した構
成により、各ＣＰＵにおける処理負荷の平滑化を実現す
ることが可能となる。

【００２４】本願における第３の発明は、映像信号復号
装置からのピクチャの周期・オフセットの生成タイミン
グの指示に従って、オブジェクトの符号化を行う映像信
号符号化装置と、発生符号量、処理負荷が平滑になるよ
うに、映像信号符号化装置に、ピクチャの周期・オフセ
ットの生成タイミングを指示し、受信した画像オブジェ
クトの復号を行う映像信号復号装置からなる映像伝送装
置である。

【００２５】本願における第３の発明では、前記した構
成により、映像信号復号装置における復号のための発生
符号量の平滑化、処理負荷の平滑化を実現することが可
能となる。

【００２６】

【発明の実施の形態】

（第１の実施形態）以下、本発明の第１の実施形態にお
ける映像信号符号化装置について、図面を参照しながら
説明する。

【００２７】図３は、本発明の第１の実施形態における
映像信号符号化装置の構成図である。図３において、３
１はピクチャタイミング指示装置、３２、３３、３４は
オブジェクト符号化装置、３５は、多重化装置である。

【００２８】以上のように構成された本実施形態の映像
信号符号化装置において、以下、その動作を説明する。

【００２９】符号化する符号としては、複数の画像オブ
ジェクトよりなるオブジェクト符号を考える。

【００３０】オブジェクト符号については、例えば、"I
SO/IEC JTC1/SC29/WG11 N1240"にその解説がある。

【００３１】オブジェクト符号化においては、画像を、
画像を構成するコンポーネント、すなわち、背景、人
物、動いている物体など、いわゆるオブジェクトごとに
別々に符号化を行う。

【００３２】原信号として、本実施例では、図４のよう
な信号を考える。図４は、本発明の第１の実施形態にお
ける原信号の説明図で、４１は原画像、４２、４３、４
４、４５、４６は画像オブジェクトである。

【００３３】図４では、映像データ中の１枚の画像を示
している。図４では、１枚の画像４１は、背景に当たる
４２、背景中を移動する物体４３、更に、オブジェクト
４３は胴体４４、車輪４５、車輪４６で構成される。す
なわち、オブジェクト符号では、原画像４１を、背景４
２、胴体４４、車輪４５、車輪４６に分割し、それぞれ
を圧縮符号する。

【００３４】また、各画像オブジェクトは、原画像４１
において、点線で示されるような長方形状の領域をも
ち、これらの領域がＭＰＥＧのピクチャに対応し、それ
ぞれの画像オブジェクトごとに符号化される。それぞれ
のオブジェクトの領域は、長方形の左上の点の座標と
縦、横の辺の長さの情報により記述され、復号時に用い
られる。

【００３５】以上のように、原画像を画像オブジェクト
に分割し,それぞれ符号化を行う場合について以下、図
３を用いて説明する。

【００３６】本実施例の映像信号符号化装置において
は、１つの画像オブジェクトをそれぞれ１つのオブジェ
クト符号化装置３２、３３、３４により符号化を行う
が、この際、ピクチャタイミング指示装置の指示したピ
クチャの発生タイミングで、各オブジェクト符号化装置
は符号化を行い、多重化装置３５が各オブジェクト符号
化装置３２、３３、３４の出力を多重化し、出力する。

【００３７】ピクチャタイミング指示装置３１における
ピクチャの発生タイミングの決定方法について、以下、
図を用いて説明を行う。

【００３８】図５は、ピクチャの発生タイミングの決定
方法のフローチャートである。図５において、５１、５
２、５３、５４、５５、５６、５７、５８はフローチャ
ート項目である。

【００３９】図６は、オブジェクト重みの時間変化の計
算の説明図である。図６において、（ａ）はピクチャの
時間変化、（ｂ）はピクチャ重み係数の時間変化、
（ｃ）はオブジェクト重みの時間変化である。

【００４０】ピクチャ重みとは、各ピクチャの符号発生
量、復号時の処理負荷の目安となる値である。

【００４１】本実施例では、Ｉピクチャ、Ｐピクチャ、
Ｂピクチャごとに、発生符号量または復号時の処理負荷
に応じて予めピクチャの重みを示す値として、ピクチャ
重み係数が決まっているものとし、Ｉピクチャのピクチ
ャ重み係数をＷＰI、Ｐピクチャのピクチャ重み係数を
ＷＰP、Ｂピクチャのピクチャ重み係数をＷＰB、とす
る。

【００４２】基準となるピクチャ重み係数は、映像信号
符号化装置の発生する符号化について、発生符号量を重
視するか、ＣＰＵの処理負荷を重視するか等の情報によ
り、決定される。

【００４３】図１、図２から、発生符号量を基準に考え
る場合には、ＷＰI＞ＷＰB＞ＷＰPとなり、復号時の処
理量を基準に考える場合には、ＷＰB＞ＷＰP＞ＷＰIと
なる。

【００４４】本実施例では、Ｉピクチャの周期Ｎは一定
とし、図６のように周期Ｎ＝６であるとする。

【００４５】この時、ＩピクチャのオフセットＭは１か
ら（Ｎ−１）の値を取りうる。図６（ａ）のように、あ
るオブジェクトのピクチャが時間的に変化する時、ピク
チャ重み係数は図６（ｂ）のように変化する。

【００４６】オフセットがＭの時の、オブジェクトＫの
ピクチャ重み係数の時間的変化を関数ＰMK（ｔ）で示す
ことにする。

【００４７】次に、実際の発生符号量、復号時の処理負
荷は、オブジェクトの領域の面積に比例することから、
オブジェクトＫの領域面積をＡKとすると、各オブジェ
クトの発生符号量または復号時の処理負荷の時間変化を
示す関数であるオブジェクト重み時間関数は結局、ＡK・
ＰMK（ｔ）で示され、図６（ｃ）のようになる。

【００４８】従って、このオブジェクト重み時間関数を
すべてのオブジェクトについて足した関数は下記の通り
である。

【００４９】

【数１】

【００５０】この（数１）が映像信号符号化装置の発生
する符号の発生符号量または復号時の処理負荷の時間関
数となる。

【００５１】この関数の、時間に関する最大値ＭＡＸｉ
を、すべてのオブジェクトのオフセットの組み合わせに
ついて計算し、すなわち本実施例のようにオブジェクト
が４つ、オフセットが６つの場合には、２４つの組み合
わせについて、ＭＡＸｉを計算し、ＭＡＸｉが最小とな
るオフセットの組み合わせをピクチャタイミング指示装
置は選択し、周期、オフセットのピクチャの生成タイミ
ングをオブジェクト符号化装置３２、３３、３４に対
し、指示する。

【００５２】図７は、オブジェクト重み時間関数の計算
例である。図７において、（ａ）は画像オブジェクト４
２のオブジェクト重みの時間変化の計算例、（ｂ）は画
像オブジェクト４４のオブジェクト重みの時間変化の計
算例、（ｃ）は画像オブジェクト４５のオブジェクト重
みの時間変化の計算例、（ｄ）は画像オブジェクト４６
のオブジェクト重みの時間変化の計算例、（ｅ）はオブ
ジェクト重みの合計の時間変化の計算例である。

【００５３】図７のように各オブジェクトのＩピクチャ
の位置がずれるオブジェクトを符号化することにより発
生符号量のピーク値を小さくすることが可能となる。こ
のようにして発生符号量を時間的に平滑にすると、符号
装置、復号装置側のバッファなどのリソースが少なくて
済むこと、ネットワークにおけるパケット廃棄の確率が
減少するなどのメリットがある。また、同時にＩピクチ
ャの位置をずらすようにオブジェクトを符号化すること
により、図３に示したようなＢピクチャ再生時に最大と
なる復号時の処理負荷も時間的に平滑化されるため、よ
り性能の低いＣＰＵにより同じ画質のオブジェクト符号
の復号を行うことが、可能となる。

【００５４】なお、本実施例では、発生符号量に対する
ピクチャ重み係数を考え、各オブジェクトのオフセット
を計算する場合を考えたが、復号時の処理負荷を第一に
考える場合にも、ピクチャ重み係数を変更し、同様の手
法を用いることにより、復号時の処理量の平滑化を実現
できる。

【００５５】また、本実施例では、ピクチャの周期をす
べての画像オブジェクトについて一定としたがこのよう
にすることにより、本実施例のように、オブジェクト重
み関数の計算を、周期内でオフセットのみ考えて行うこ
とが可能となり、計算が簡易になるという効果がある。

【００５６】（第２の実施形態）以下、本発明の第２の
実施形態における映像信号復号装置について、図面を参
照しながら説明する。

【００５７】図８は、本発明の第２の実施形態における
映像信号復号装置の構成図である。図８において、８１
は分離装置、８２はオブジェクト割当装置、８３、８
４、８５はＣＰＵ、８６は画像合成装置である。

【００５８】以上のように構成された本実施形態の映像
信号復号装置において、以下、その動作を説明する。

【００５９】復号化する符号としては、複数の画像オブ
ジェクトよりなるオブジェクト符号を考える。原画像と
して、第１の実施形態で説明を行った図４に示す画像を
考え、この原画像を第１の実施形態の映像信号符号化装
置で符号化したオブジェクト符号を原信号として考え
る。すなわち、各オブジェクトにおけるIピクチャ、Pピ
クチャ、Bピクチャの構成は図６のようになっているも
のとする。また、これらの画像オブジェクトを多重化し
た原信号には、各画像オブジェクトの領域の大きさ、I
ピクチャ、Pピクチャ、Bピクチャの周期、オフセットの
情報が多重されているものとする。

【００６０】このような信号を受信した図８の映像信号
符号化装置において、原信号はまず、分離装置８１に入
力される。分離装置８１は、オブジェクト割当装置８２
の指示に基づき、各オブジェクトのオブジェクト符号を
それらを復号するＣＰＵ８３、８４、８５に出力する。
オブジェクト割当装置８２は、原信号を解析し、各オブ
ジェクトの領域の大きさとIピクチャ、Pピクチャ、Bピ
クチャの周期、オフセットの情報から、ＣＰＵでの処理
負荷の時間的な最大値のすべてのＣＰＵにおける最大値
が、最小となるように、各ＣＰＵに各画像オブジェクト
を割り当てるように、分離装置８１に指示する。

【００６１】今、２つのＣＰＵに対し、画像オブジェク
トを割り当てる例について、以下、図を用いて説明す
る。

【００６２】図９は、オブジェクト割当装置８２におけ
るオブジェクトのＣＰＵ割り当て決定のフローチャート
である。

【００６３】図９において、９１、９２、９３、９４、
９５、９６、９７、９８はフローチャート項目である。

【００６４】図１０は、オブジェクト割当装置における
画像オブジェクトのＣＰＵ割り当ての説明図である。

【００６５】図１０において、（ａ）は画像オブジェク
ト４２のオブジェクト重みの時間変化の計算例、（ｂ）
は画像オブジェクト４４のオブジェクト重みの時間変化
の計算例、（ｃ）は画像オブジェクト４５のオブジェク
ト重みの時間変化の計算例、（ｄ）は画像オブジェクト
４６のオブジェクト重みの時間変化の計算例、（ｅ）
は、ＣＰＵ８３において画像オブジェクト４２と画像オ
ブジェクト４５を処理した場合のオブジェクト重みの時
間変化の合計の計算例、（ｆ）はＣＰＵ８４において、
画像オブジェクト４４と画像オブジェクト４６を処理し
た場合のオブジェクト重みの時間変化の合計の計算例で
ある。

【００６６】オブジェクト重みとは、符号発生量、復号
時の処理負荷の目安となる値である。

【００６７】本実施例では、Ｉピクチャ、Ｐピクチャ、
Ｂピクチャごとに、復号時の処理負荷に応じて予めピク
チャの重みを示す値として、ピクチャ重み係数が決まっ
ているものとし、Ｉピクチャのピクチャ重み係数をＷＰ
I、Ｐピクチャのピクチャ重み係数をＷＰP、Ｂピクチャ
のピクチャ重み係数をＷＰBとする。

【００６８】図２から、復号時の処理負荷を基準に考え
る場合には、ＷＰB＞ＷＰP＞ＷＰIとなる。

【００６９】オブジェクトＫのピクチャ重み係数の時間
的変化を関数ＰK（ｔ）で示すことにする。

【００７０】この関数と、各オブジェクトＫの領域面積
をＡKを掛け合わせた値を、オブジェクト重み時間関数
ＡK・ＰK（ｔ）を算出する。このオブジェクト重み関数
は、ピクチャごとの復号時の処理負荷の係数と各オブジ
ェクトの領域面積を掛け合わせた値であるので、ほぼ各
オブジェクトの復号時の処理負荷を示す時間関数とな
る。

【００７１】例えば、各オブジェクト４２、４４、４
５、４６に対応するオブジェクト重み時間関数は、図１
０（ａ）、（ｂ）、（ｃ）、（ｄ）に示すような関数と
なる。

【００７２】次に、各ＣＰＵに対する各オブジェクトの
すべての割り当てについて、オブジェクト重み時間関数
の合計 Σ ＡK・ＰK（ｔ）、K=各ＣＰＵに割り当てた
オブジェクトを計算し、すべてのＣＰＵにおけるオブジ
ェクト重みの時間軸上での最大値ＭＡｍ（ｍ＝１・・Ｃ
ＰＵの数）を求める。

【００７３】すべてのＣＰＵについてのＭＡｍの最大値
を更に求め、ＭＢｎ（ｎ＝１・・オブジェクトのＣＰＵ
への割り当ての組み合わせ数）とする。

【００７４】ＭＢｎが最小となるような、オブジェクト
のＣＰＵへの割り当て法が、すなわち各ＣＰＵの処理負
荷の最大値が最小となる割り当て法であるので、この割
り当て法をオブジェクト割当装置８２は選択し、分離装
置８１に指示を行う。

【００７５】本実施例のように、ＣＰＵとして、８３、
８４の２つ、画像オブジェクトとして４２、４４、４
５、４６の４つを考える場合には、以下（表１）のよう
なの７つの割り当ての組み合わせが考えられる。

【００７６】

【表１】

【００７７】ＣＰＵ８３、８４、８５は、分離装置８１
からのオブジェクトをそれぞれ復号し、画像合成装置８
６に出力する。

【００７８】画像合成装置８６は、各ＣＰＵ８３、８
４、８５からのオブジェクトを合成し、図４の４１のよ
うな原画像にして出力を行う。

【００７９】以上の動作により、本実施形態における映
像信号復号装置によれば、ＣＰＵにおける処理負荷の時
間的な最大値を、最小にするようなオブジェクトのＣＰ
Ｕに対する割り当てを実現することができるため、処理
時間の不足による画像の欠落などの確率減少、より低性
能のＣＰＵによる復号の実現が可能となる。

【００８０】なお、本実施例では、ＣＰＵが２つの例に
ついて述べたが、ＣＰＵが３つ以上存在する場合にも、
同様のオブジェクト割当法により、ＣＰＵ処理負荷のピ
ーク値の最小化を行うことができる。

【００８１】（第３の実施形態）以下、本発明の第３の
実施形態における映像信号伝送装置、映像信号符号化装
置、映像信号復号装置について、図面を参照しながら説
明する。

【００８２】図１１は、本発明の第３の実施形態におけ
る映像信号伝送装置の構成図である。図１１において、
１１１は映像信号符号化装置であり、ピクチャタイミン
グ指示装置１１１１、オブジェクト符号化装置１１１
２、１１１３、１１１４、多重化装置１１１５、ピクチ
ャ情報送受信装置１１１６よりなる。１１２は映像信号
符号化装置であり、ピクチャタイミング指示装置１１２
１、オブジェクト符号化装置１１２２、１１２３、１１
２４、多重化装置１１２５、ピクチャ情報送受信装置１
１２６よりなる。１１３は、映像信号復号装置であり、
ピクチャタイミング算出装置１１３１、ピクチャ情報送
受信装置１１３２、多重化装置１１３４、ＣＰＵ１１３
５、画像メモリ１１３６よりなる。

【００８３】以上のように構成された本実施形態の映像
信号伝送装置において、以下、その動作を説明する。

【００８４】復号化する符号としては、複数の画像オブ
ジェクトよりなるオブジェクト符号を考える。原画像と
して、第１の実施形態で説明を行った図４のような画像
を考え、背景にあたる画像オブジェクト４２の符号化を
映像信号符号化装置１１１で、汽車にあたるオブジェク
ト４４、４５、４６の符号化を映像信号符号化装置１１
２で行うとする。

【００８５】まず、映像信号符号化装置１１１のピクチ
ャ情報送受信装置１１１６は、映像信号符号化装置１１
１の符号化する画像オブジェクト４２の、オブジェクト
の領域の情報を映像信号復号装置１１３に出力する。同
様に、映像信号符号化装置１１２のピクチャ情報送受信
装置１１２６は、映像信号符号化装置１１２の符号化す
る画像オブジェクト４４、４５、４６の画像オブジェク
トの領域の情報を映像信号復号装置１１３に出力する。

【００８６】映像信号復号装置１１３は、映像信号符号
化装置１１１、映像信号符号化装置１１２からの、画像
オブジェクトをピクチャ情報送受信装置１１３２で受信
し、ピクチャタイミング算出装置１１３１では、これら
の画像オブジェクトの領域の情報と、Ｉピクチャ、Ｐピ
クチャ、Ｂピクチャごとに、発生符号量、復号時の処理
負荷に応じて予め定めたピクチャの重みを示す値である
ピクチャ重み係数により、各オブジェクトのピクチャの
発生周期とオフセットを、各オブジェクトのＩピクチャ
の時間的位置が重複せず、処理負荷の時間的な平滑化ま
たは発生符号量の平滑化が実現されるように決定する。
この時の決定アルゴリズムは、実施例１における図３の
映像信号符号化装置のピクチャタイミング指示装置３１
の決定アルゴリズムと全く同様である。

【００８７】従って、映像信号復号装置１１３の指示に
より、映像信号符号化装置１１１、映像信号符号化装置
１１２が符号化を行えば、図７に示すピクチャ構造のオ
ブジェクト符号が出力される。

【００８８】ピクチャタイミング算出装置１１３１はこ
のようにして決定されたピクチャの周期、オフセットを
ピクチャ情報送受信装置１１３２に出力する。

【００８９】次に、ピクチャ情報送受信装置１１３２
は、これらピクチャの周期、オフセットの情報を映像信
号符号化装置１１１と映像信号符号化装置１１２に出力
する。

【００９０】これらのピクチャの周期、オフセットの情
報を受けた映像信号符号化装置１１１は、これに従っ
て、画像オブジェクト４２の符号化を行う。また、ピク
チャの周期、オフセットの情報を受けた映像信号符号化
装置１１２は、これに従って、画像オブジェクト４４、
４５、４６の符号化を行う。

【００９１】映像信号符号化装置１１１は、オブジェク
ト情報送受信装置１１１６により、Ｉピクチャの周期、
オフセットの情報を受け、この情報をＩピクチャタイミ
ング指示装置１１１１に伝える。

【００９２】Ｉピクチャタイミング指示装置１１１１
は、これらの情報を元にピクチャの発生タイミングをオ
ブジェクト符号化装置１１１２、１１１３、１１１４に
指示する。本実施例においては、図７に示すようなピク
チャ構造を有する画像オブジェクト４２を合成すること
のできるようなピクチャの発生タイミングをオブジェク
ト符号化装置１１１２に指示する。

【００９３】オブジェクト符号化装置１１１２、１１１
３、１１１４はこれらの指示に基づいて、、オブジェク
トの符号化を行い、出力する。本実施例では、画像オブ
ジェクト４２を符号化し、出力する。

【００９４】多重化装置１１１５は、これらオブジェク
ト符号化装置１１１２、１１１３、１１１４からのオブ
ジェクト符号を多重化して、映像信号符号化装置１１１
の出力として、出力を行う。

【００９５】映像信号符号化装置１１２でも、同様の手
順で、符号化が行われる。すなわち、ピクチャ情報送受
信装置１１２６により、ピクチャの周期、オフセットの
情報を受け、ピクチャタイミング指示装置１１２１に出
力し、ピクチャタイミング指示装置１１２１が、各オブ
ジェクト符号化装置１１２２、１１２３、１１２４にＩ
ピクチャの発生タイミングを指示する。各オブジェクト
符号化装置１１２２、１１２３、１１２４は、ピクチャ
の発生タイミングに従って、オブジェクト４４、４５、
４６の符号化を行い、多重化装置１１２５により多重化
された後、出力される。

【００９６】これら映像信号符号化装置１１１、映像信
号符号化装置１１２からの信号を受けた映像信号復号装
置１１３は、まず、多重化装置１１３が、２つの映像信
号符号化装置１１１、１１２からの信号を多重化する。

【００９７】次に、ＣＰＵ１１３５は、各画像オブジェ
クト４２、４４、４５、４６の復号を行い、画像メモリ
１１３６に出力し、更に画像メモリ１１３６は画像を出
力し、原画像４１を得ることができる。

【００９８】以上の動作により、本実施形態における映
像信号伝送装置によれば、複数の映像信号符号化装置か
ら、画像オブジェクトを得て、映像信号復号装置により
復号し、画像を合成する場合において、映像信号復号装
置における復号の処理の負荷が時間的に平滑になるよう
な画像オブジェクトの発生を実現することができるため
処理時間の不足による画像の欠落などの確率を減少す
ることが可能となること、符号の発生量の平滑化を実現
できるため、符号側、復号側のバッファが少なくて済
む、ネットワーク上でのパケット廃棄の確率が低減され
るなどのメリットがある。

【００９９】なお、本実施例では、映像信号符号化装置
が２つの例について述べたが、映像信号符号化装置が３
つ以上存在する場合にも、同様の方法により、映像信号
復号装置の処理負荷、発生符号量の時間的平滑化を図る
ことができる。

【０１００】また、映像信号符号化装置と映像信号復号
装置が一体となった端末装置を考えることにより、遠隔
の映像信号符号化装置の画像オブジェクトと端末装置の
画像オブジェクトを合成して、ある画像を作成する場合
の、処理負荷、発生符号量の時間的平滑化にも本発明は
有効である。

【０１０１】

【発明の効果】以上説明したように、本願における第１
の発明によれば、複数の画像オブジェクトを符号化する
映像信号符号化装置において、複数の画像オブジェクト
のＩピクチャの発生タイミングが重複しないように、画
像オブジェクトの符号化を行うことにより、映像信号符
号化装置が発生する符号量の平滑化、復号時の処理負荷
の平滑化を実現することができる。

【０１０２】本願における第２の発明によれば、複数の
画像オブジェクトを複数のＣＰＵで復号化する映像信号
復号装置において、複数の画像オブジェクトのピクチャ
の発生タイミングとオブジェクトの領域の面積から、Ｃ
ＰＵにおける処理負荷の時間軸上での最大値のすべての
ＣＰＵにおける最大値が最小になるように、各ＣＰＵに
オブジェクトを割り当て、復号することにより、各ＣＰ
Ｕにおける処理負荷の平均化を実現することが可能とな
る。

【０１０３】本願における第３の発明によれば、映像信
号復号装置からのピクチャの生成タイミングの指示に従
って、画像オブジェクトの符号化を行う映像信号符号化
装置と、処理負荷・発生符号量が平滑になるように、複
数オブジェクトのＩピクチャの復号タイミングが重複し
ないように映像信号符号化装置にピクチャの生成タイミ
ングを指示し、受信した画像オブジェクトの復号を行う
映像信号復号装置からなる映像信号伝送装置により、映
像信号復号装置における復号のための処理負荷の平滑化
・発生符号量の平滑化を実現することが可能となる。

【図面の簡単な説明】

【図１】（ａ）オブジェクトＡの符号発生量を示す図（ｂ）オブジェクトＢの符号発生量を示す図（ｃ）２つのオブジェクトを合わせた符号発生量を示す
図

【図２】（ａ）オブジェクトＡの復号時の処理負荷を示
す図（ｂ）オブジェクトＢの復号時の処理負荷を示す図（ｃ）２つのオブジェクトを合わせた復号時の処理負荷
を示す図

【図３】本発明の第１の実施形態における映像信号符号
化装置の構成図

【図４】発明の第１の実施形態における原信号の説明図

【図５】ピクチャの発生タイミングの決定方法のフロー
チャート

【図６】（ａ）ピクチャの時間変化を示す図（ｂ）ピクチャ重み係数の時間変化を示す図（ｃ）オブジェクト重みの時間変化を示す図

【図７】（ａ）画像オブジェクト４２のオブジェクト重
みの時間変化の計算例を示す図（ｂ）画像オブジェクト４４のオブジェクト重みの時間
変化の計算例を示す図（ｃ）画像オブジェクト４５のオブジェクト重みの時間
変化の計算例を示す図（ｄ）画像オブジェクト４６のオブジェクト重みの時間
変化の計算例を示す図（ｅ）オブジェクト重みの時間変化の合計の計算例を示
す図

【図８】本発明の第２の実施形態における映像信号復号
装置の構成図

【図９】オブジェクトのＣＰＵ割り当て決定のフローチ
ャート

【図１０】（ａ）画像オブジェクト４２のオブジェクト
重みの時間変化の計算例を示す図（ｂ）画像オブジェクト４４のオブジェクト重みの時間
変化の計算例を示す図（ｃ）画像オブジェクト４５のオブジェクト重みの時間
変化の計算例を示す図（ｄ）画像オブジェクト４６のオブジェクト重みの時間
変化の計算例を示す図（ｅ）ＣＰＵ８３において画像オブジェクト４２と画像
オブジェクト４５を処理した場合のオブジェクト重みの
時間変化の合計の計算例を示す図（ｆ）ＣＰＵ８４において画像オブジェクト４４と画像
オブジェクト４６を処理した場合のオブジェクト重みの
時間変化の合計の計算例を示す図

【図１１】本発明の第３の実施形態における映像信号伝
送装置の構成図

【図１２】（ａ）ＭＰＥＧ２におけるピクチャの表示順
序を示す図（ｂ）ＭＰＥＧ２におけるピクチャの復号順序を示す図

【符号の説明】

３１ピクチャタイミング指示装置３２，３３，３４オブジェクト符号化装置３５多重化装置４１原画像４２，４３，４４，４５，４６画像オブジェクト５１，５２，５３，５４，５５，５６，５７，５８フ
ローチャート項目８１分離装置８２オブジェクト割当装置８３，８４，８５ＣＰＵ８６画像合成装置９１，９２，９３，９４，９５，９６，９７，９８フ
ローチャート項目１１１，１１２映像信号符号化装置１１１１，１１２１ピクチャタイミング指示装置１１１２，１１１３，１１１４，１１２２，１１２３，
１１２４オブジェクト符号化装置１１１５，１１２５，１１３４多重化装置１１１６，１１２６，１１３２ピクチャ情報送受信装
置１１１３，１１２３映像信号復号装置１１３１ピクチャタイミング算出装置１１３５ＣＰＵ１１３６画像メモリ

Claims

【特許請求の範囲】

【請求項１】複数のオブジェクトを符号化する映像信
号符号化装置であって、各前記オブジェクトのＩピクチ
ャの符号化タイミングが時間的に重ならないように、複
数の前記オブジェクトを符号化することを特徴とする映
像信号符号化装置。
【請求項２】ピクチャタイミング指示装置と複数のオ
ブジェクト符号化装置と多重化装置を具備し、前記ピク
チャタイミング指示装置は、複数の前記オブジェクト符
号化装置に対し、各前記オブジェクト符号化装置の生成
するＩピクチャのタイミングが時間的に重ならないよう
に、ピクチャの周期、オフセットの情報を指定して出力
し、複数の前記オブジェクト符号化装置は、前記ピクチャタ
イミング指示装置から出力された前記ピクチャの周期、
オフセットの情報に従って、前記オブジェクトの符号化
を行った後、出力し、前記多重化装置は、複数の前記オ
ブジェクト符号化装置からのオブジェクト符号を多重化
した後、出力することを特徴とする映像信号符号化装
置。
【請求項３】複数のオブジェクトを符号化する映像信
号符号化装置であって、オブジェクトｉの領域の大きさＡｉと、予め定めた発生符号量または復号時の処理負荷の度合い
を示す値であるＩピクチャ、Ｐピクチャ、Ｂピクチャの
ピクチャ重みをもとに計算した時間軸上で変化するピク
チャ重みＰi（ｔ）を掛け合わせたオブジェクト重み、Ａｉ・Ｐｉ（ｔ）をすべてのオブジェクトについて足しあわせた合計、 ΣＡｉ・Ｐｉ（ｔ）の時間的ピーク値をＭＡＸＡとし、前記ＭＡＸＡが最小となるように、各前記オブジェクト
のピクチャの周期、オフセットを決定することを特徴と
する映像信号符号化装置。
【請求項４】ピクチャタイミング指示装置と複数のオ
ブジェクト符号化装置と多重化装置を具備し、前記ピク
チャタイミング指示装置は、オブジェクトｉの領域の大きさＡｉと、予め定めた発生符号量または復号時の処理負荷の度合い
を示す値であるＩピクチャ、Ｐピクチャ、Ｂピクチャの
ピクチャ重みをもとに計算した時間軸上で変化するピク
チャ重みＰi（ｔ）を掛け合わせたオブジェクト重み、Ａｉ・Ｐｉ（ｔ）をすべてのオブジェクトについて足しあわせた合計、 ΣＡｉ・Ｐｉ（ｔ）の時間的ピーク値をＭＡＸＡとし、前記ＭＡＸＡが最小となるように、各オブジェクトのピ
クチャの周期、オフセットを決定した後、前記ピクチャ
の周期、オフセットの情報を、各オブジェクト符号化装
置に出力し、複数の前記オブジェクト符号化装置は、前記ピクチャタ
イミング指示装置から出力された前記ピクチャの周期、
オフセットに従って、前記オブジェクトの符号化を行っ
た後、出力し、前記多重化装置は、複数の前記オブジェ
クト符号化装置からの前記オブジェクト符号を多重化し
た後、出力することを特徴とする映像信号符号化装置。
【請求項５】複数のオブジェクトを符号化する映像信
号符号化装置であって、各前記オブジェクトのピクチャ
の周期を一定にして、各前記オブジェクトのＩピクチャ
の符号化タイミングが時間的に重ならないように、複数
の前記オブジェクトを符号化することを特徴とする映像
信号符号化装置。
【請求項６】複数のオブジェクトを複数のＣＰＵを用
いて復号する映像信号復号装置であって、前記ＣＰＵに
おける処理負荷の時間軸上での最大値の、すべての前記
ＣＰＵにおける最大値が、最小になるように、複数の前
記オブジェクトを複数の前記ＣＰＵに割り当て、復号す
ることを特徴とする映像信号復号装置。
【請求項７】分離装置とオブジェクト割当装置と複数
のＣＰＵと画像合成装置を具備し、前記分離装置は、複
数のオブジェクトが多重化されたオブジェクト多重信号
を入力とし、前記オブジェクト割当装置の指示に基づ
き、各オブジェクト符号を前記ＣＰＵに出力し、前記オ
ブジェクト割当装置は、前記ＣＰＵにおける処理負荷の
時間軸上での最大値の、すべての前記ＣＰＵにおける最
大値が、最小になるように、複数のオブジェクトを複数
の前記ＣＰＵに割り当て、各前記オブジェクトを割り当
てられた前記ＣＰＵに出力するように前記分離装置を制
御し、前記ＣＰＵは、前記分離装置からの前記オブジェクトを
復号した後、前記画像合成装置に出力し、前記画像合成
装置は、前記ＣＰＵからの復号された画像を合成し、出
力することを特徴とする映像信号復号装置。
【請求項８】複数のオブジェクトを複数のＣＰＵを用
いて復号する映像信号復号装置であって、各前記ＣＰＵに割り当てられたオブジェクトｉについ
て、前記オブジェクトの領域の大きさＡｉと、Ｉピクチャ、Ｐピクチャ、Ｂピクチャごとに予め定めた
復号時の処理負荷の各ピクチャの度合いを示すピクチャ
重みをもとに計算した時間軸上で変化するピクチャ重み
Ｐi（ｔ）を掛け合わせた値、Ａｉ・Ｐｉ（ｔ）を各前記ＣＰＵのすべての前記オブジェクトについて合
計した、 ΣＡｉ・Ｐｉ（ｔ）を計算した後、この時間的ピーク値を求め、ＭＡＸＡと
し、すべての前記ＣＰＵについての最大のＭＡＸＡをＭＡＸ
Ｂとする時、ＭＡＸＢが最小となるように、複数の前記オブジェクト
を複数の前記ＣＰＵに割り当て、復号することを特徴と
する映像信号復号装置。
【請求項９】分離装置とオブジェクト割当装置と複数
のＣＰＵと画像合成装置を具備し、前記分離装置は、複
数のオブジェクトが多重化されたオブジェクト信号を入
力とし、前記オブジェクト割当装置の指示に基づき、各
前記オブジェクト符号を前記ＣＰＵに出力し、前記オブ
ジェクト割り当て装置は、各前記ＣＰＵに割り当てられたオブジェクトｉについ
て、前記オブジェクトの領域の大きさＡｉと、Ｉピクチャ、Ｐピクチャ、Ｂピクチャごとに予め定めた
復号時の処理負荷の度合いを示すピクチャ重みをもとに
計算した時間軸上で変化するピクチャ重みＰi（ｔ）を
掛け合わせた値、Ａｉ・Ｐｉ（ｔ）を各前記ＣＰＵのすべての前記オブジェクトについて合
計した、 ΣＡｉ・Ｐｉ（ｔ）を計算した後、この時間的ピーク値を求め、ＭＡＸＡと
し、すべての前記ＣＰＵについての最大のＭＡＸＡをＭＡＸ
Ｂとする時、ＭＡＸＢが最小となるように複数の前記オブジェクトを
複数の前記ＣＰＵに割り当て、各前記オブジェクトを、
割り当てられた各前記ＣＰＵに出力するように前記分離
装置を制御し、前記ＣＰＵは、前記分離装置からの前記オブジェクトを
復号した後、前記画像合成装置に出力し、前記画像合成
装置は、前記ＣＰＵからの復号された画像を合成し、出
力することを特徴とする映像信号復号装置。
【請求項１０】映像信号符号化装置と映像信号復号装
置を具備し、前記映像信号符号化装置は、前記映像信号復号装置から
指示されたピクチャの周期、オフセットの発生タイミン
グでピクチャを生成するようにオブジェクト符号の符号
化を行い、前記映像信号復号装置は、ＣＰＵの処理負荷
または発生符号量の時間軸上での最大値が最小となるよ
うに、前記映像信号符号化装置にピクチャの発生タイミ
ングの情報を送信し、前記映像信号符号化装置からの前
記オブジェクト符号の復号を行うことを特徴とする映像
信号伝送装置。
【請求項１１】映像信号符号化装置と映像信号復号装
置を具備し、前記映像信号符号化装置は、前記映像信号復号装置から
指示されたピクチャの周期、オフセットなどの発生タイ
ミングでピクチャを生成するようにオブジェクト符号の
符号化を行い、前記映像信号復号装置は、オブジェクトｉの領域の大きさＡｉと、予め定めた発生符号量または復号時の処理負荷の各ピク
チャの度合いを示す値であるＩピクチャ、Ｐピクチャ、
Ｂピクチャのピクチャ重みをもとに計算した時間軸上で
変化するピクチャ重みＰi（ｔ）を掛け合わせたオブジ
ェクト重み、Ａｉ・Ｐｉ（ｔ）をすべてのオブジェクトについて足しあわせた合計、 ΣＡｉ・Ｐｉ（ｔ）の時間的ピーク値をＭＡＸＡとし、前記ＭＡＸＡが最小となるように、各前記オブジェクト
のピクチャの周期、オフセットを決定し、前記映像信号符号化装置に、前記ピクチャの周期・オフ
セットの情報を送信し、前記映像信号符号化装置からの
前記オブジェクト符号の復号を行うことを特徴とする映
像信号伝送装置。
【請求項１２】複数のオブジェクトを符号化する映像
信号符号化装置であり、映像信号復号装置から指示され
たピクチャの周期、オフセットの発生タイミングでピク
チャを生成するようにオブジェクト符号の符号化を行う
ことを特徴とする映像信号符号化装置。
【請求項１３】複数のオブジェクトを符号化する映像
信号復号装置であり、ＣＰＵの処理負荷または発生符号
量の時間軸上での最大値が最小となるように、映像信号
符号化装置にピクチャの周期、オフセットの情報を送信
し、前記映像信号符号化装置からのオブジェクト符号の
復号を行うことを特徴とする映像信号復号装置
【請求項１４】複数のオブジェクトを符号化する映像
信号復号装置であり、復号を行うオブジェクトｉの領域
の大きさＡｉと、予め定めた発生符号量または復号時の処理負荷の各ピク
チャの度合いを示す値であるＩピクチャ、Ｐピクチャ、
Ｂピクチャのピクチャ重みをもとに計算した時間軸上で
変化するピクチャ重みＰi（ｔ）を掛け合わせたオブジ
ェクト重み、Ａｉ・Ｐｉ（ｔ）をすべてのオブジェクトについて足しあわせた合計、 ΣＡｉ・Ｐｉ（ｔ）の時間的ピーク値をＭＡＸＡとし、前記ＭＡＸＡが最小となるように、各前記オブジェクト
のピクチャの周期、オフセットを決定し、前記映像信号符号化装置に前記ピクチャの周期・オフセ
ットの情報を送信し、前記映像信号符号化装置からのオ
ブジェクト符号の復号を行うことを特徴とする映像信号
伝送装置。
【請求項１５】請求項１、２、３、４、１２記載の映
像信号符号化装置から発生したデータを記録する記録媒
体。
【請求項１６】請求項１、２、３、４、１２記載の映
像符号化生成装置から羽切歯したデータを伝送する伝送
媒体。