JPH10243403A - 動画像符号化装置及び動画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 テレビ電話、テレビ会議、監視システムなど
のような動画像の符号化レートが低レートである場合に
おいても、好適な動画像を得られる動画像符号化、復号
化装置を提供する。 【解決手段】 動画像データの符号化を行なう動画像符
号化装置において、所定の間隔毎に符号化する領域を決
定する領域設定手段１０１と、前記領域設定手段により
決定された領域を符号化する符号化手段１０２と、前記
符号化する領域の位置と大きさの情報を符号化して前記
符号化手段に供給する領域情報符号化手段１０３とを備
えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、テレビ電
話、テレビ会議、監視システム等のような動画像の符号
化レートが低レートである場合においても、好適な動画
像を得られる動画像符号化、復号化装置に関する。

【０００２】

【従来の技術】従来のテレビ電話、テレビ会議、監視シ
ステムのシステムにおける低レートでの動画像符号化方
法では、入力画像データをそのまま符号化したのでは画
質が悪くなるため、入力画像データをサブサンプルして
画像の大きさを小さくしたり、画像のコマを間引いたり
することで、符号化効率を上げて符号化していた。画像
データをサブサンプルすると、画像の解像度が落ちてし
まう。また、限られたレートで画像データをサブサンプ
ルしないで符号化するためには、コマ数を少なくする方
法がとられるが、そうすると動きが表現出来なくなって
しまう。

【０００３】

【発明が解決しようとする課題】入力画像データをその
まま符号化したのでは画質が悪くなるため、入力画像デ
ータをサブサンプルして画像の大きさを小さくしたり、
画像のコマを間引いたりして符号化効率を上げて符号化
すると画像の解像度が落ちるという欠点がある。また、
限られたレートで画像データをサブサンプルしないで符
号化するためには、コマ数を少なくする方法を行なう
が、そうすると動きが表現出来なくなるという欠点があ
った。よって、低レートであっても解像度のある画像の
コマを間引いたりせずに、動画像符号化、復号化を行な
える装置の実現が望まれていた。

【０００４】

【課題を解決するための手段】以上のような課題を解決
するために、符号化する画像をサブサンプルする代わり
に、符号化する領域を小さくすることで、画像サイズを
小さくすることを行なう。画像を比較して前の画像と差
のある小領域のみを符号化する。そして復号化するとき
には、復号化した画像を前の画像のその領域にはめ込み
合成することにより、動画像の再生を行なう。このよう
な手段を用いることにより、低レートであっても解像度
のある画像を必要以上にコマを間引くといったこともな
く、符号化、復号化を行なうことの出来る動画像符号化
装置、復号化装置を提供する。

【０００５】すなわち、請求項１の発明は、動画像デー
タの符号化を行なう動画像符号化装置において、所定の
間隔毎に符号化する領域を決定する領域設定手段と、前
記領域設定手段により決定された領域を符号化する符号
化手段と、前記符号化する領域の位置と大きさの情報を
符号化して前記符号化手段に供給する領域情報符号化手
段とを備えた動画像符号化装置を提供する。請求項２の
発明は、請求項１に記載された動画像符号化装置におい
て、前記所定の間隔毎に符号化する領域を決定する領域
設定手段は、画像を複数領域に分割する画像分割手段
と、前記画像分割された夫々の領域について前画像の同
位置にある領域との輝度成分の絶対差分和を計算する絶
対差分和計算手段と、前記絶対差分和計算手段により計
算された絶対差分和と所定値と比較して、前記絶対差分
和が前記所定値を越えている場合にはその領域を基準と
して符号化する領域を決定する領域決定手段とを有する
構成とした動画像符号化装置を提供する。

【０００６】請求項３の発明は、請求項１又は請求項２
に記載された動画像符号化装置において、前記領域設定
手段により決定される符号化領域は、四角形の範囲にな
るように領域設定した動画像符号化装置を提供する。請
求項４の発明は、動画像データの復号化を行なう動画像
復号化装置において、符号化されたデータを復号化する
動画像復号化手段と、前記動画像復号化手段の出力の動
画像データを記憶する画像記憶手段と、前記画像記憶手
段で記憶された画像データの一部分を復号した画像デー
タで置き換える画像合成手段と、前記動画像復号化手段
の出力信号が供給されて、画像領域の位置と大きさの情
報を復号化して前記画像合成手段に供給する領域情報復
号化手段とを備えた動画像復号化装置を提供する。

【０００７】

【発明の実施の形態】まず、本発明の符号化装置の一実
施例について、図と共に以下に説明する。図１は本発明
の符号化装置の一実施例のブロック図である。本発明の
符号化装置１０は、入力データが供給される符号化領域
設定部１０１、前記符号化領域設定部１０１の出力が供
給される動画像符号化部１０２及び前記符号化領域設定
部１０１の出力が供給される領域情報符号化部１０３よ
り構成されている。

【０００８】｛ 符号化領域設定部１０１ ｝図３に示
したように本発明の符号化領域設定部１０１は、入力デ
ータが供給される画像分割部３０１、前記画像分割部３
０１の出力が供給される絶対差分和計算部３０２及び前
記絶対差分和計算部３０２の出力が供給される符号化領
域決定部３０３より構成されている。

【０００９】符号化領域設定部１０１の画像分割部３０
１に供給される入力データは動画像データであり、その
大きさは輝度成分で７０４×４８０であるとする。その
入力画像データを図４のように夫々の大きさが８８×６
０である６４個の小領域に分割し、夫々の小領域を小領
域１、小領域２、小領域３から小領域６４までとする。

【００１０】ここで、輝度成分の各小領域の大きさは縦
横ともに１６の倍数であれば、８８×６０に限定するも
のではない。絶対差分和計算部３０２において、夫々の
輝度成分の小領域について次の表１の絶対差分和の計算
を、例えば１秒毎に行なう。この計算間隔はＭＰＥＧの
ＧＯＰの大きさの単位で可変にしても良い。

【００１１】

【表１】

【００１２】つぎに、符号化領域決定部３０３より、符
号化領域の決定を行なう。符号化する領域を決める手順
をつぎに示す。 符号化領域決定手順(A) 小領域a のDS(a) を所定値Ｔと比較し、DS(a) がＴより
大きい場合に、その小領域a を符号化候補小領域とする
（a=1,....,64 ）。符号化候補小領域が１つである場合
には、その小領域を符号化領域とする。

【００１３】符号化領域決定手順(B) 符号化候補小領域が２つ以上ある場合には、符号化候補
小領域の周り（上下斜め方向の８つの小領域）に別の符
号化候補小領域があるかどうか調べて、あればそれらの
小領域を含むように四角形にする。ここでは、その四角
形を符号化候補範囲と呼ぶ。

【００１４】各符号化候補範囲に含まれる符号化候補小
領域の絶対差分和DSの合計値SDS をつぎの表２に基づい
て計算する。

【００１５】

【表２】

【００１６】符号化領域決定手順(C) 同じ総絶対差分和の符号化候補範囲が２つ以上あれば、
前の画像で符号化小領域に選ばれた小領域を多く含む方
の符号化候補範囲に選ぶ。

【００１７】符号化領域決定手順(D) さらに同じ数の符号化小領域を有する符号化候補範囲が
２つ以上あれば、最も小さい小領域番号を含む符号化候
補範囲を選ぶ。

【００１８】例えば、図５にマークしたように符号化候
補小領域に小領域１８、２４、２７、３４、３５、３
６、５５、６３が選ばれたとする。今所定値Ｔを１００
とし、符号化候補小領域に選ばれた各小領域の絶対差分
和DS(k) が次の表３のようになったとする。

【００１９】

【表３】

【００２０】この場合には、符号化候補小領域が２つ以
上あるので、前記の符号化領域決定手順の(C) に行く。
そうすると符号化候補範囲は、図５に示したように符号
化候補範囲１〜３の３個出来る。各符号化候補範囲の総
絶対差分和SDS をつぎの表４のように求める。

【００２１】

【表４】

【００２２】総絶対差分和の最も大きい符号化候補範囲
１を符号化する領域に決定する。符号化候補範囲１を構
成する小領域１８〜２０、２６〜２８、３４〜３６が符
号化される領域となる。ここで、符号化する範囲を四角
形の範囲にすることは、動画像符号化部（ここではＭＰ
ＥＧエンコーダ）１０２の発生するストリームが１本に
なる長所がある。そうすることで動画像符号部の後段に
存在するであろう多重化装置において、その構造を簡単
にすることが出来る。

【００２３】符号化する領域を四角形にしないで、２つ
以上の符号化候補小領域を符号化することも出来、その
場合には四角形にする場合に比べて符号化効率が上がる
（四角形を作るときに符号化候補小領域でない小領域の
数が増えればそうなる）。この場合には多重化装置の構
造が動画像１本の場合に比べると複雑になる。

【００２４】ここで、最初の画像と比較する画像は輝度
値が全て０であるとする。一般に、上記のように設定す
ると、最初の画像は画面全体が符号化領域となる。そう
すると、最初の画像は発生符号量が大きくなり、その符
号量を単位時間内に伝送することば出来ない。

【００２５】この様に伝送するのに十分な容量を持たな
い場合には、量子化幅を必要以上に大きくして、画質を
落として伝送するようなことはせずに、その後のフレー
ムはコマ落としを行ない、その後に続く数フレームにつ
いては符号化しないようにして、画質を損なわずに符号
化する。シーンチェンジ等のように画像が急激に変化す
る場合にも、同様な処理を行なう。

【００２６】また、動画像符号化データのレートがある
固定レートに設定されている場合、動画像符号化部１０
２において、前画像の発生符号量が非常に大きく、設定
されたレートを越えてしまいそうな場合にも、上記と同
様にこま落としとを行ない、その後に続く数フレームに
ついては符号化しない。符号化領域に決定した画像デー
タを動画像符号化部１０２に、符号化領域の大きさと位
置情報を領域情報符号化部１０３へ夫々送る。

【００２７】｛ 動画像符号化部１０２ ｝動画像符号
化部１０２は、動画像を符号化する装置であり、ここで
はＭＰＥＧ符号化装置とする。ＭＰＥＧにはＧＯＰ（Gr
oup of Pictures ）という概念があり、ＧＯＰ単位で符
号化の大きさを変えることが出来る。ここでは、前記符
号化領域決定部１０１の符号化領域決定間隔のことを考
慮して、ＧＯＰの長さを１／Ｎ秒（Ｎは１、２、３、・
・・・）とする。

【００２８】｛ 領域情報符号化部１０３ ｝領域情報
符号化部１０３は、動画像符号化部１０２で符号化した
領域の位置の情報をＭＰＥＧのビットストリームのユー
ザデータ領域に挿入する。ＭＰＥＧ２では、Picture-di
splay-extension を使って同様の効果を得ている。大き
さの情報は、ＭＰＥＧではシーケンスヘッダに符号化す
ることになっている。

【００２９】本発明の符号化装置は、符号化する画像領
域の大きさと位置をある所定間隔で可変にすることで、
画像サイズをサブサンプルすることなく小さくすること
が出来、画像の解像度を損なうことなく符号化すること
が出来る。また、符号化した画像データの位置と大きさ
を復号化装置に送ることで、符号化する画像領域の大き
さと位置を、符号化装置と復号化装置が予め決めた法則
に従って変える必要が無く、符号化装置が自由に決める
ことが出来る。

【００３０】次に、本発明の復号化装置の一実施例につ
いて、図と共に以下に説明する。図２は本発明の復号化
装置の一実施例のブロック図である。本発明の復号化装
置２０は、入力ビットストリームが供給される動画像復
号化部２０１、前記動画像復号化部２０１が供給される
画像合成部２０２、前記動画像復号化部２０１が供給さ
れる領域情報復号化部２０３及び前記領域情報復号化部
２０３が供給されその出力を前記画像合成部２０２に供
給する画像記憶部２０４より構成されている。

【００３１】｛ 動画像復号化部２０１ ｝図２に示さ
れる動画像復号化部２０１は、入力ビットストリームを
復号化する装置であり、ここではＭＰＥＧ復号化装置と
する。復号化された画像データは、画像合成部２０２へ
送られる。領域情報の入っているユーザデータは、領域
情報復号化部２０３へ送られる。

【００３２】｛ 領域情報復号化部２０３ ｝図２に示
される領域情報復号化部２０３は、符号化されている画
像領域の位置の情報を復号化する装置である。復号化さ
れた位置の情報は画像合成部２０２へ送られる。

【００３３】本発明の復号化装置は、新たに復号化した
画像データを、以前に復号化した画像データの適切な位
置に置き換える際に、復号化装置が予め復号化した画像
をどこにはめ込むかを知らなくても、領域情報復号化部
２０３により復号化した画像データの位置と大きさの情
報を使うことで、適切な位置に置き換えることが出来
る。

【００３４】｛ 画像記憶部２０４ ｝図２に示される
画像記憶部２０４は、画像合成部２０２から出力された
画像データを記憶しておく装置である。また、画像記憶
部２０４に記憶していた画像データを画像合成部２０２
に供給する。

【００３５】｛ 画像合成部２０２ ｝図２に示す画像
合成部２０２は、画像記憶部２０４に記憶されている画
像データと動画像復号化部２０１により復号された画像
データとを合成する。図５に示されるように、領域１８
〜２０、領域２６〜２８、領域３４〜３６が符号化され
ていた場合に、領域１〜１７、領域２１〜２５、領域２
９〜３３、領域３７〜６４には画像記憶部２０４の画像
データを用い、領域１８〜２０、２６〜２８、３４〜３
６には動画像復号化部２０１により復号化した画像デー
タを用いる。

【００３６】復号化するときには、復号化した画像（領
域１８〜２０、２６〜２８、３４〜３６の画像）を前の
画像（領域１〜１７、２１〜２５、２９〜３３、３７〜
６４の画像）のその領域（領域１８〜２０、２６〜２
８、３４〜３６）にはめ込み合成することにより、動画
像の再生を行なう。

【００３７】本発明の復号化装置は、新たに復号化した
画像データを、以前に復号化した画像データの適切な位
置に置き換えることで、ある画像に対してその領域の一
部しか送られてこない画像データに対しても、あたかも
全体の画像があるようにすることが出来る。

【００３８】

【発明の効果】以上説明したように、本発明の動画像符
号化復号化装置は、つぎの特徴を有する。 (1) 符号化する画像領域の大きさと位置をある所定間隔
で可変（バリアブル）にすることで、画像サイズをサブ
サンプルすることなく小さくすることが出来、画像の解
像度を損なうことなく符号化することが出来る。

【００３９】(2) 符号化した画像データの位置と大きさ
を復号化装置に送ることで、符号化する画像領域の大き
さと位置を、符号化装置と復号化装置が予め決めた法則
に従って変える必要が無く、符号化装置が自由に決める
ことが出来る。

【００４０】(3) 新たに復号化した画像データを、以前
に復号化した画像データの適切な位置に置き換えること
で、ある画像に対してその領域の一部しか送られて来な
い画像データに対しても、あたかも全体の画像があるよ
うにすることが出来る。

【００４１】(4) 新たに復号化した画像データを、以前
に復号化した画像データの適切な位置に置き換える際
に、復号化装置が予め復号化した画像をどこにはめ込む
かを知らなくても、復号化した画像データの位置と大き
さの情報を使うことで、適切な位置に置き換えることが
出来る。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置の一実施例のブロッ
ク構成を示した図である。

【図２】本発明の動画像復号化装置の一実施例のブロッ
ク構成を示した図である。

【図３】本発明の動画像符号化装置の符号化領域設定部
の一実施例のブロック構成を示した図である。

【図４】本発明の符号化領域を説明したブロック図を示
したものである。

【図５】本発明の符号化領域を説明したブロック図を示
したものである。

【符号の説明】

１０ 符号化装置 ２０ 復号化装置 １０１ 符号化領域設定部 １０２ 動画像符号化部 １０３ 領域情報符号化部 ２０１ 動画像復号化部 ２０２ 画像合成部 ２０３ 領域情報復号化部 ２０４ 画像記憶部 ３０１ 画像分割部 ３０２ 絶対差分和計算部 ３０３ 符号化領域決定部

Claims (4)

【特許請求の範囲】
1. 【請求項１】動画像データの符号化を行なう動画像符号
   化装置において、 所定の間隔毎に符号化する領域を決定する領域設定手段
   と、 前記領域設定手段により決定された領域を符号化する符
   号化手段と、 前記符号化する領域の位置と大きさの情報を符号化して
   前記符号化手段に供給する領域情報符号化手段とを備え
   たことを特徴とする動画像符号化装置。
2. 【請求項２】請求項１に記載された動画像符号化装置に
   おいて、 前記所定の間隔毎に符号化する領域を決定する領域設定
   手段は、 画像を複数領域に分割する画像分割手段と、 前記画像分割された夫々の領域について前画像の同位置
   にある領域との輝度成分の絶対差分和を計算する絶対差
   分和計算手段と、 前記絶対差分和計算手段により計算された絶対差分和と
   所定値と比較して、前記絶対差分和が前記所定値を越え
   ている場合にはその領域を基準として符号化する領域を
   決定する領域決定手段とを有する構成としたことを特徴
   とする動画像符号化装置。
3. 【請求項３】請求項１又は請求項２に記載された動画像
   符号化装置において、 前記領域設定手段により決定される符号化領域は、四角
   形の範囲になるように領域設定したことを特徴とする動
   画像符号化装置。
4. 【請求項４】動画像データの復号化を行なう動画像復号
   化装置において、 符号化されたデータを復号化する動画像復号化手段と、 前記動画像復号化手段の出力の動画像データを記憶する
   画像記憶手段と、 前記画像記憶手段で記憶された画像データの一部分を復
   号した画像データで置き換える画像合成手段と、 前記動画像復号化手段の出力信号が供給されて、画像領
   域の位置と大きさの情報を復号化して前記画像合成手段
   に供給する領域情報復号化手段とを備えたことを特徴と
   する動画像復号化装置。