JPH0818976A - 動画像符号化／復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 入力画像信号の状態によらず発生符号量を設
定符号量に制御でき、設定符号量が少ない場合でも量子
化幅が大きくなりすぎず符号化品質の高い動画像符号化
装置を提供する。 【構成】 入力画像信号１３１を動き補償単位領域毎に
予測して予測信号１３２を得る予測回路１０１と、入力
画像信号１３１に対する予測信号１３２の予測残差信号
１３３を符号化する第１の符号化回路１０４〜１０６
と、予測回路１０１で予測に用いた動きベクトル情報お
よび動き補償単位領域の大きさに関する情報１３４を符
号化する第２の符号化回路１１０と、動き補償単位領域
の大きさを動きベクトル情報の情報量に応じて制御する
動き補償サイズ制御部１２２とを有する動画像符号化装
置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばＴＶ電話、ＴＶ
電議システム、ディジタルビデオディスクシステム、デ
ィジタルＴＶ放送システムのような画像を伝送または蓄
積するシステムおよびこれら画像を受信または再生する
システムに関し、特に画像を少ない情報量に圧縮符号化
する動画像符号化装置および圧縮符号化された情報を復
元し画像を再生する動画像復号化装置に関する。

【０００２】

【従来の技術】画像を伝送、蓄積するために少ない情報
量に圧縮符号化する技術として、動き補償、離散コサイ
ン変換、サブバンド符号化、ピラミッド符号化等の方式
や、これらを組み合わせた方式など様々な方式が開発さ
れている。また、動画像の圧縮符号化の国際標準方式と
してＩＳＯ・ＭＰＥＧ１，ＭＰＥＧ２、およびＩＴＵ−
Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。

【０００３】従来の動画像符号化方式の例として、動き
補償適応予測離散コサイン変換符号化方式について説明
する。この方式は、例えば文献１：安田浩編著、“マル
チメディア符号化の国際標準”、丸善（平成３年６月発
行）等に詳しく述べられている。概略的な動作を説明す
ると、入力画像信号についてまず動き補償適応予測が行
われる。すなわち、入力画像信号が複数のブロックに分
割され、ブロック単位でフレームメモリ中に蓄えられて
いる既に符号化／局部復号が行われた画像信号との間の
動きベクトルが検出され、この動きベクトルを用いて第
１の予測信号が作成される。次に、必要に応じて上記ブ
ロックがさらに複数の小ブロックに分割され、この小ブ
ロック単位で動きベクトル検出が行われて第２の予測信
号が作成する。

【０００４】第１の予測信号を用いる第１の予測モード
と、第２の予測信号を用いる第２の予測モード、および
入力画像信号をそのまま符号化に用いるフレーム内符号
化モード（予測信号＝０）のうち、符号化に最適な予測
モードが選択され、対応する予測信号が出力される。そ
して、選択された予測モードを示す情報および動きベル
トル情報が可変長符号化される。動きベクトル情報につ
いては、隣接の既に符号化したブロックの動きベクトル
との差分をとり、この差分を可変長符号化する方法が一
般に用いられている。

【０００５】一方、選択された予測信号が入力画像信号
から減算されることにより、予測残差信号が生成され
る。この予測残差信号は一定の大きさのブロック単位で
離散コサイン変換（ＤＣＴ）され、これにより得られた
ＤＣＴ係数はさらに量子化される。量子化された信号は
２分岐され、一方は可変長符号化され、他方は逆量子化
された後、逆離散コサイン変換（逆ＤＣＴ）される。逆
ＤＣＴにより得られた信号は予測信号と加算され、フレ
ームメモリに記憶される。

【０００６】予測モードを示す情報および動きベルトル
情報の可変長符号と、量子化されたＤＣＴ係数の可変長
符号は、量子化幅を示す情報と共に多重化され、出力符
号列として出力される。この出力符号列の符号量は、伝
送路や蓄積媒体で定められている伝送／蓄積レートに合
わせて制御する必要がある。一般に、このような符号量
制御はＤＣＴ係数を量子化する際の量子化幅を制御する
ことにより行われる。すなわち、量子化幅を大きくすれ
ばＤＣＴ係数を表す精度は低下して符号化品質が低下す
るが、符号量は少なくなり、逆に量子化幅を小さくすれ
ばＤＣＴ係数を表す精度が向上して符号化品質が向上す
る代わりに、符号量が増加する。量子化幅を決定する方
法としては様々な方法が提案されているが、出力符号列
を仮想的なバッファに入れたときのバッファ充填率を基
に決定する方法や、入力画像信号あるいは予測残差信号
のアクティビティを基に、出力符号列の符号量が設定符
号量となる量子化幅を推定する方法等が用いられてい
る。

【０００７】しかし、上述したような量子化幅を制御す
ることによって出力符号列の符号量を制御する従来の方
式では、ＤＣＴ係数情報の符号量は制御できるものの、
それ以外の適応予測のモードを示す情報や動きベクトル
に関する情報の符号量を制御することができないという
問題がある。前述のように、モード情報や動きベクトル
情報は可変長符号化されるため、符号化する画像の種類
によって発生符号量が異なり、特に動きベクトル情報の
符号量の変化は著しい。前述のように動きベクトルの差
分をとって可変長符号化する方式においては、隣り合う
動きベクトル成分が揃っている場合には差分が小さくな
るため発生符号量は少ないが、動きが複雑でフレーム内
で動きベクトルが大きく変化する場合には、発生符号量
が多くなる。しかしながら従来の符号化装置では、動き
ベクトル情報の発生符号量を制御できないため、以下に
示す様々な問題が生じていた。

【０００８】第１に、特に設定符号量が少ない場合にお
いて複雑な動きのある画像信号を符号化すると、動きベ
クトル情報だけで設定符号量を上回ってしまい、量子化
幅の制御のみでは発生符号量の制御不能に陥ってしまう
場合がある。このような現象を避けるため、従来の符号
化装置においては、前述した仮想的なバッファのバッフ
ァ充填率が規定値を超えた場合には全ての符号化を強制
的に停止して符号が発生するのを抑えたり、入力画像信
号の一部のフレームを間引くフレーム間引きによって符
号量を抑える方法が用いられていた。しかし、このよう
な方法では符号量が強制的に抑えられるため、符号化品
質が著しく低下したり、動きが不自然になるなどの問題
が生じる。

【０００９】第２に、設定符号量が少ない場合には量子
化幅が非常に大きな値となり、符号化品質が低下すると
いう問題がある。特に、ＤＣＴを用いた符号化方式にお
いては、量子化幅を大きくするとブロック歪やモスキー
ト歪と呼ばれる歪が生じ、符号化品質が低下する。

【００１０】

【発明が解決しようとする課題】上述したように、従来
の動画像符号化装置においては、動き補償適応予測の予
測残差信号を変換した信号を量子化する際の量子化幅を
制御することによって発生符号量を設定符号量に制御し
ているため、設定符号量が少ない条件下で複雑な動きの
ある画像信号を符号化する場合などに符号量制御ができ
なくなったり、量子化幅が大きくなりすぎて符号化品質
が低下するという問題点があった。

【００１１】本発明の目的は、入力画像信号の状態によ
らず発生符号量を設定符号量となるように制御すること
ができる動画像符号化装置およびこれに対応した動画像
復号化装置を提供することにある。

【００１２】本発明の他の目的は、設定符号量が少ない
場合でも量子化幅が大きくなりすぎることがなく符号化
品質の高い動画像符号化装置およびこれに対応した動画
像復号化装置を提供することにある。

【００１３】本発明のもう一つの目的は、画像の静止領
域や動きの小さな領域では高い解像度を保ち、動きの大
きな領域では過度の情報が発生することなく符号化を行
うことができる動画像符号化装置およびこれに対応した
動画像復号化装置を提供することにある。

【００１４】

【課題を解決するための手段】上記課題を解決するた
め、第１の発明に係る動画像符号化装置は、入力画像信
号を単位領域毎に予測して予測信号を得る予測手段と、
前記入力画像信号に対する前記予測信号の予測残差信号
を符号化する第１の符号化手段と、前記予測手段におけ
る予測に用いた情報および前記単位領域の大きさに関す
る情報を符号化する第２の符号化手段と、前記単位領域
の大きさを少なくとも前記予測に用いた情報の情報量に
応じて制御する制御手段とを有することを特徴とする。
ここで、予測に用いた情報とは例えば動きベクトル情報
である。

【００１５】第２の発明に係る動画像符号化装置は、フ
レーム単位で入力される入力画像信号を単位領域毎に予
測して予測信号を得る予測手段と、前記入力画像信号に
対する前記予測信号の予測残差信号を符号化する第１の
符号化手段と、前記予測手段における予測に用いた情報
および前記単位領域の大きさに関する情報を符号化する
第２の符号化手段と、前記単位領域の大きさを少なくと
も前記予測に用いた情報の情報量に応じて前記入力画像
信号のフレーム毎に制御する制御手段とを有することを
特徴とする。

【００１６】第３の発明に係る動画像復号化装置は、第
１または第２の発明に係る動画像符号化装置により復号
された信号から基の画像信号を復号するための装置であ
って、動画像符号化装置からの予測残差信号を復号する
第１の復号手段と、前記動画像符号化装置で入力画像信
号を単位領域毎に予測して符号化する際に予測に用いた
情報および前記単位領域の大きさに関する情報を復号す
る第２の復号手段と、この第２の復号手段により復号さ
れた前記予測に用いた情報を基に、前記第２の復号手段
により復号された大きさの前記単位領域毎に予測信号を
生成する予測信号生成手段と、この予測手段により生成
された予測信号と前記第１の復号手段により復号された
予測残差信号を基に画像信号を再生する再生手段とを有
することを特徴とする。

【００１７】第４の発明に係る動画像符号化装置は、入
力画像信号をダウンサンプリングするダウンサンプリン
グ手段と、このダウンサンプリング手段によりダウンサ
ンプリングされた入力画像信号を予測して予測信号を得
る予測手段と、前記入力画像信号に対する前記予測信号
の予測残差信号を所定の符号化制御パラメータで符号化
する第１の符号化手段と、前記入力画像信号および前記
予測残差信号の少なくとも一方の信号のアクティビティ
を用いて発生符号量が設定値となる前記ダウンサンプリ
ング手段でのダウンサンプリング比と前記符号化制御パ
ラメータの複数の組み合わせを推定し、これら複数の組
み合わせから最適な組み合わせを選択して決定する手段
とを有することを特徴とする。

【００１８】第５の発明に係る動画像符号化装置は、入
力画像信号の一部の領域をダウンサンプリングするダウ
ンサンプリング手段と、このダウンサンプリング手段に
よりダウンサンプリングされた領域およびダウンサンプ
リングされない領域の入力画像信号をそれぞれ予測して
予測信号を得る予測手段と、前記入力画像信号に対する
前記予測信号の予測残差信号を所定の符号化制御パラメ
ータで符号化する第１の符号化手段と、この第１の符号
化手段により符号化された信号から画像信号を復号する
局部復号手段と、この局部復号手段により復号された画
像信号を前記予測手段におけるダウンサンプリングされ
た領域の入力動画像信号の予測のために一時記憶する第
１の一時記憶手段と、前記局部復号手段により復号され
た画像信号のうちダウンサンプリングされた領域の画像
信号をアップサンプリングするアップサンプリング手段
と、前記局部復号手段により復号された画像信号のうち
前記ダウンサンプリング手段によりダウンサンプリング
されない領域の画像信号と前記アップサンプリング手段
によりアップサンプリングされた領域の画像信号から再
生画像信号を生成する手段と、前記予測手段におけるダ
ウンサンプリングされない領域の入力動画像信号の予測
のための画像信号を一時記憶する第２の一時記憶手段
と、前記第２の一時記憶手段に記憶されている画像信号
の一部を前記再生画像信号に置き換える手段とを有する
ことを特徴とする。

【００１９】第６の発明に係る動画像復号化装置は、第
５の発明に係る動画像符号化装置により復号された信号
から基の画像信号を復号するための装置であって、ダウ
ンサンプリングされた領域およびダウンサンプリングさ
れない領域の入力画像信号をそれぞれ予測して予測信号
を得る予測手段と、前記ダウンサンプリングされた領域
およびダウンサンプリングされない領域の予測残差信号
と前記予測手段により得られた予測信号から画像信号を
復号する復号手段と、前記復号手段により復号された前
記ダウンサンプリングされた領域の画像信号をアップサ
ンプリングするアップサンプリング手段と、前記復号手
段により復号された前記ダウンサンプリングされない領
域の画像信号と前記アップサンプリング手段によりアッ
プサンプリングされた画像信号から再生画像信号を生成
する手段と、前記復号手段により復号された画像信号を
前記ダウンサンプリングされた領域の画像信号の予測の
ために一時記憶する第１の一時記憶手段と、前記前記復
号手段により復号された画像信号を前記ダウンサンプリ
ングされない領域の画像信号の予測のために一時記憶す
る第２の一時記憶手段と、前記第２の一時記憶手段に記
憶されている画像信号の一部を前記再生画像信号に置き
換える手段とを有することを特徴とする。

【００２０】

【作用】第１および第２の発明では、予測を行う単位領
域の大きさを可変とし、これを少なくとも動きベクトル
情報などの予測に用いた情報の情報量に応じて制御する
ことにより、動きベクトル情報量などの予測に伴うサイ
ド情報の符号量を制御できるようになる。このような制
御によって、動きベクトル情報などのサイド情報の符号
だけで設定符号量を上回ってしまったり、量子化幅が大
きくなりすぎたりするという、量子化幅のみを制御する
ことによって符号量の制御を行う従来方式の問題点が解
決される。

【００２１】第３の発明では、第１または第２の発明に
よる動画像符号化装置により符号化された信号から基の
画像信号が再生される。第４の発明では、入力画像信号
をダウンサンプリングして符号化し、そのダウンサンプ
リング比と量子化幅等の符号化制御パラメータの組み合
わせから最適な組み合わせを選択しているため、サンプ
リング密度が固定で量子化幅のみを制御していた従来方
式に比べ符号化品質が向上する。

【００２２】第５の発明では、入力画像信号をそのまま
符号化する部分とダウンサンプリングして符号化する部
分に分け、それぞれに対して予測を行っているため、静
止領域や動きの小さな領域では高い解像度が保たれ、動
きの大きな領域ではダウンサンプリングされて過度の情
報が発生することなく符号化が行われる。第６の発明で
は、第５の発明による動画像符号化装置により符号化さ
れた信号から基の画像信号が再生される。

【００２３】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１は、本発明による動画像符号化装置の第１の
実施例のブロック図であり、動き補償適応予測ＤＣＴ符
号化方式を用いた例である。動き補償適応ＤＣＴ符号化
方式については、前述の文献１等に詳しいので動作の概
略のみを説明し、従来方式との差異を詳細に説明する。

【００２４】この動画像符号化装置では、入力画像信号
１３１についてまず動き補償適応予測が行われる。すな
わち、動き補償予測回路１０１において、入力画像信号
１３１とフレームメモリ１０２に蓄えられている既に符
号化／局部復号が行われた画像信号（参照画像信号）と
の間の動きベクトルがブロック単位で検出され、この動
きベクトルに基づいて動き補償予測信号が作成される。
動き補償予測回路１０１では、さらに動き補償予測モー
ド（フレーム間予測モード）と入力画像信号１３１をそ
のまま符号化するフレーム内符号化モード（予測信号＝
０）のうち最適な予測モードが選択され、選択された予
測モードに対応する予測信号１３２が出力される。この
動き補償予測回路１０１から出力される予測信号１３２
は、減算回路１０３において入力画像信号１３１から減
算され、予測残差信号１３３が出力される。

【００２５】予測残差信号１３３はＤＣＴ（離散コサイ
ン変換）回路１０４において一定の大きさのブロック単
位で離散コサイン変換され、これにより得られたＤＣＴ
係数は量子化回路１０５において量子化幅制御部１２１
により制御された量子化幅（量子化ステップサイズとも
いう）で量子化される。量子化回路１０５からの出力は
２分岐され、一方は第１の可変長符号化回路１０６で可
変長符号化され、他方は逆量子化回路１０７で逆量子化
され、さらに逆ＤＣＴ回路１０８で逆離散コサイン変換
される。逆ＤＣＴ回路１０８からの出力は、加算回路１
０９において適応予測信号１３２と加算され、フレーム
メモリ１０２に記憶される。

【００２６】一方、動き補償予測回路１０１において選
択された予測モードおよび動きベクトルを示すサイド情
報１３４は、第２の可変長符号化回路１１０で可変長符
号化される。この際、動きベクトル情報については隣接
の既に符号化したブロックの動きベクトルとの差分が可
変長符号化される。

【００２７】第１および第２の可変長符号化回路１０
６，１１０からの出力と、量子化幅制御部１２１からの
量子化幅を示す情報は、マルチプレクサ１１１において
多重化され、出力符号列１３５として出力される。

【００２８】ここで、動き補償予測回路１０１において
動き補償予測における動き補償を行う単位ブロックの大
きさ（以下、動き補償サイズという）は可変であり、動
き補償サイズ制御部１２２によって制御される。動き補
償サイズ制御部１２２からは動き補償サイズの情報を含
む動き補償領域を示す情報１４０が出力され、この動き
補償領域情報１４０も第２の可変長符号化回路１１０で
符号化され、出力符号列１３５中に付加されて出力され
る。動き補償サイズ制御部１２２では、第２の可変長符
号化回路１１０の出力を受け、少なくとも予測に用いた
情報である動きベクトル情報の情報量（符号量）に応じ
て動き補償サイズを制御する。以下、この動き補償サイ
ズの制御方法について、詳細に説明する。

【００２９】図２は、動き補償単位ブロックの第１の例
を動きベクトルと共に示したものである。図２の例で
は、基本的に（ａ）のようにフレーム毎に定められた一
定の大きさのブロックを動き補償単位ブロックとして、
このブロックに区切って動き補償を行う。但し、画面端
で一定のブロックの大きさでは割り切れない余りが生じ
た場合には、余りの部分は図２（ｂ）のように小さなブ
ロックとするか、あるいは隣接のブロックに統合する。
動き補償単位ブロックの大きさ（動き補償サイズ）はフ
レーム単位に一定であるため、動き補償領域情報１４０
はフレーム毎に１回符号化すればよく、これに伴う符号
量の増加は極くわずかである。区切られた単位毎に動き
ベクトル検出を行い、図２中の矢印で示したように単位
ブロック毎に一つずつ動きベクトルを求める。なお、
（０，０）の動きベクトルは図２において「・」の記号
で示してある。

【００３０】図２（ａ）および（ｂ）はそれぞれ動き補
償単位ブロックを小さく取った場合および大きく取った
場合の例である。図２（ａ）のように動き補償単位ブロ
ックを小さくすると、それだけ細かな領域毎に動き補償
が行われることになるため、動き補償の精度が向上し、
予測残差信号１３３の符号量は少なくなる。しかし反
面、多くの動きベクトル情報を符号化しなければならな
いため、動きベクトル情報の符号量が増加してしまう。
一方、図２（ｂ）のように動き補償単位ブロックを大き
く取った場合には、図２（ａ）より動き補償精度は低下
し、予測残差信号１３３の符号量は多くなくなるが、動
きベクトル符号量は少なくなる。

【００３１】このように、動き補償単位ブロックの大き
さ、つまり動き補償サイズは、予測残差信号１３３の符
号量（第１の可変長符号回路１０６の発生符号量）と動
きベクトル情報の符号量とのトレードオフで最適なもの
があるため、いくつかの動き補償サイズの候補を用意し
ておいて、それらの候補の中で予測残差信号と動きベク
トル情報のトータルの符号量が最小となるようなサイズ
を選択すれば、最適な動き補償サイズを決定することが
できる。

【００３２】但し、サイズ毎に動きベクトルを求め直す
ことが演算量の点から困難である場合には、最初に小さ
なブロック毎に動きベクトルを求めておき、大きなブロ
ックサイズの動きベクトルは、フレーム上で位置的にそ
のブロックの中に入る動きベクトルあるいは隣接する小
ブロックの動きベクトルを基に推定してもよい。あるい
は、最初に大きなブロック単位に動きベクトルを検出
し、小さなブロックの動きベクトルはフレーム上で位置
的に含まれる大きなブロックの動きベクトルを基にして
その周囲で動きベクトル探索を行うようにしてもよい。

【００３３】以上のようにして動き補償サイズを決定
し、かつ動きベクトル検出を行うことにより、サイズ毎
に動きベクトルを求め直す場合に比べて演算量は大幅に
低下する。なお、予測残差信号１３３の符号量は実際に
ＤＣＴ、量子化、可変長符号化を行って符号量を調べて
もよいが、予測残差信号１３３の自乗和、絶対値和等を
基に符号量を推定するようにしてもよい。

【００３４】ところで、画面内に複雑な動きが含まれる
場合には、小さな動き補償単位で符号化を行おうとする
と、動きベクトルの符号量が膨大なものとなる。この結
果、量子化幅を非常に大きくしなければならなくなって
符号化品質が低下したり、動きベクトル情報だけで符号
量が設定符号量を上回ってしまい、符号量制御不能に陥
ることがある。これを防ぐために、動きベクトル情報の
符号量があるしきい値を上回らないように動き補償サイ
ズの制御を行ってもよい。具体的には、例えば以下のよ
うなアルゴリズムで制御を行えばよい。

【００３５】 ｉｆ（ＭＣ＿ｂｉｔｓ（ｔ−１）＞ｔｈ１）｛ ｓｉｚｅ＝ｓｉｚｅ（ｔ−１）＋Ｃ； ｝ｅｌｓｅ ｉｆ（ＭＣ＿ｂｉｔｓ（ｔ−１）＜ｔｈ２）｛ ｓｉｚｅ＝ｓｉｚｅ（ｔ−１）−Ｃ； ｝ｅｌｓｅ｛ ｓｉｚｅ＝ｓｉｚｅ（ｔ−１）； ｝ ここで、 ｓｉｚｅ：動き補償サイズ（動き補償単位の大きさ） ｓｉｚｅ（ｔ−１）：直前に符号化したフレームの動き
補償サイズ ＭＣ＿ｂｉｔｓ（ｔ−１）：直前に符号化したフレーム
の動きベクトル情報の符号量 ｔｈ１，ｔｈ２：しきい値（ｔｈ１＞ｔｈ２） Ｃ：定数 である。

【００３６】図３は、この制御をフローチャートで表し
たものである。すなわち、まず直前に符号化したフレー
ムの動きベクトルの符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）
がしきい値ｔｈ１を越えているかどうかを調べ（Ｓ１
１）、ｔｈ１を越えていれば直前に符号化したフレーム
の動き補償サイズ：ｓｉｚｅ（ｔ−１）から定数Ｃを減
じたものを新たな動き補償サイズ：ｓｉｚｅとする（Ｓ
１２）。

【００３７】一方、符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）
がしきい値ｔｈ１以上でない場合には、さらに符号量：
ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ２に満たない
かどうかを調べ（Ｓ１３）、ｔｈ２に満たない場合は直
前に符号化したフレームの動き補償サイズ：ｓｉｚｅ
（ｔ−１）に定数Ｃを加えたものを新たな動き補償サイ
ズ：ｓｉｚｅとし（Ｓ１４）、そうでなければ直前に符
号化したフレームの動き補償サイズ：ｓｉｚｅ（ｔ−
１）を新たな動き補償サイズとする（Ｓ１５）。

【００３８】この例では、直前に符号化したフレームと
現フレームの動きベクトル符号量には強い相関があるこ
とを利用して直前フレームの動きベクトル符号量でサイ
ズの制御を行っている。直前に符号化したフレームの動
きベクトル符号量がしきい値ｔｈ１を上回るほど多い場
合には、そのままのサイズで符号化すると動きベクトル
符号量が過度に大きくなる可能性があるため、サイズを
大きくして動きベクトル符号量を抑え、逆に以前に符号
化したフレームの動きベクトル符号量を十分少ない場合
にはサイズを小さくして動き補償精度を向上させるよう
に制御する。

【００３９】このような制御を行うことにより、動きが
非常に複雑な画像でも動きベクトル符号量が過度に多く
なって符号量制御不能に陥ったり量子化幅が大きくなり
すぎることによって符号化品質が低下するといった問題
がなくなり、また動きが小さく動きベクトル符号量がそ
れほど多くない画像では、高い精度で動き補償を行うこ
とができる。

【００４０】なお、動き補償サイズにある上限および下
限を設け、サイズが一定の範囲内におさまるようにして
もよい。これによって、動き補償サイズが大きくなりす
ぎて動き補償の精度が低下しすぎたり、動き補償サイズ
が小さくなりすぎて動きベクトル符号量が極端に多くな
ることを防ぐことができる。

【００４１】また、しきい値ｔｈ１，ｔｈ２は設定符号
量等によって定められる定数としてもよいが、動きの大
きさや動きベクトルが（０，０）となる領域の大きさ等
を変えるようにしてもよい。

【００４２】なお、本発明は一部の動き補償ブロックを
さらに細かなブロックに分割してそれぞれ動き補償を行
う技術と組み合わせて用いることも可能である。図４
に、そのような分割を行ったときの動き補償ブロックの
例を動きベクトルと共に示す。図中で破線によって示さ
れているブロックが分割されたブロックであり、各分割
ブロック毎に動きベクトルを求める。分割を行うか行わ
ないかを示す情報も符号化する。特に、図４（ｂ）のよ
うに動き補償ブロックを大きく取った場合には、大きな
ブロックでは動き補償精度が著しく低下する部分のブロ
ックのみを分割して細かな単位で動き補償することによ
り、その部分の動き補償精度を向上させることができ
る。

【００４３】また、動き補償ブロック、つまり動き補償
を行う単位領域の形状および大きさは、画像内の部分毎
に異なっていてもよい。図５は、このような動き補償単
位領域を動きベクトルと共に示した例である。フレーム
内は図中の太線で示した画面上の対象物の概形を示す領
域に分割されており、それがさらに細線で示す小領域に
分割されている。この領域分割に関する情報も動き補償
サイズ情報１４０中に含めて符号化する。

【００４４】図５（ａ）と（ｂ）は、動き補償単位領域
をそれぞれ細かな領域および大きな領域に分割した例で
ある。図５（ａ）と（ｂ）とでは、太線を表す精度およ
び、太線領域内をいくつの細線領域に分割するかが異な
っている。図５（ａ）の方が図５（ｂ）よりも太線を表
す精度が高く、それだけ対象物体の概形を高い精度で表
すことが可能となり動き補償の精度は高いが、領域情報
は多い。さらに、図５（ａ）のほうが図５（ｂ）よりも
細かな補線領域に分割されているため、動き補償の精度
は高いが動きベクトル情報は多くなる。そこで、動き補
償精度と領域情報量および動きベクトル情報量とのトレ
ードオフを考慮して、最適な領域に分割し符号化を行
う。

【００４５】なお、太線の表現精度および太線領域をど
の程度の細線領域に分割するかは各太線領域で異なるも
のとしてもよい。例えば、人物の顔部分のように非常に
重要な対象物体に対してはなるべく高い精度で太線を表
現すると共に細かな細線領域に分割するようにし、背景
部分のようにそれほど重要でない部分は太線を粗く表現
すると共に大きな細線領域に分割する。図５（ａ）から
図５（ｂ）のように領域を粗くしていく場合にも、顔領
域等の重要な領域はあまり粗い領域とならないように
し、背景部分のように重要度が高くない領域は粗い領域
となるようにする。このように画像内で重要な部分とそ
うでない部分で領域が粗くする程度を変えることによ
り、画像全体の動き情報量を削減しても重要な領域は高
い動き補償精度をとることができ、符号化画像の主観的
品質が向上する。

【００４６】以上の例では、動き補償単位領域内で同一
の動きベクトルを用いることとしたが、隣接の領域の動
きベクトルを用いて動きベクトルの補間を行い、領域内
で異なる動きベクトルを用いることにしてもよい。ま
た、動き補償単位の大きさに応じて補間の方法を変えた
り、補間を行うか否かを選択するようにしてもよい。

【００４７】図６は、図１の動画像符号化装置に対応し
た動画像復号化装置である。図１の動画像符号化装置か
ら伝送／蓄積系を介して入力された符号列２３５は、動
き補償情報符号列、予測残差信号符号列および量子化幅
情報に分離され、それぞれ第１の可変長復号回路２１
０、第２の可変長復号回路２０６および逆量子化回路２
０７に入力される。

【００４８】第２の可変長復号回路２０６では予測残差
信号が可変長復号され、さらに逆量子化回路２０７にお
いて逆量子化、逆ＤＣＴ回路２０８で逆離散コサイン変
換という一連の処理が行われ、加算回路２０９で予測信
号２３２と加算されることにより再生画像信号２５０が
生成される。再生画像信号２５０は動画像復号化装置の
外部へ出力されると共に、フレームメモリ２２０に記憶
される。

【００４９】一方、第１の可変長復号回路２１０では、
動き補償情報符号列から予測モードおよび動きベクトル
情報２３４と動き補償領域情報２３０が復号され、予測
回路２０１へ入力される。予測回路２０１は、フレーム
メモリ２２０に記録されている復号画像信号を基にし
て、これらの情報２３４および２４０に従って図１にお
ける予測信号１３２と同一の信号２３２を出力する。

【００５０】以上の処理は、図１の動画像符号化装置に
対応して画像信号を再生する処理であり、逆量子化回路
２０７、逆ＤＣＴ回路２０８、加算回路２０９およびフ
レームメモリ２０９が行う処理は、それぞれ図１におけ
る逆量子化回路１０７、逆ＤＣＴ回路１０８、加算回路
１０９およびフレームメモリ１２０が行う処理とその実
現手段は異なる場合もあるが本質的に同一である。ま
た、第１および第２の可変長復号回路２１０，２０６お
よびデマルチプレクサ２１１は、それぞれ図１の可変長
符号化回路１１０，１０６およびマルチプレクサ１１１
の処理の逆の処理を行う。

【００５１】図７は、本発明による動画像符号化装置の
第２の実施例のブロック図であり、第１の実施例と同様
に動き補償適応予測ＤＣＴ符号化方式を用いた例であ
る。また、本実施例においても第１の実施例で説明した
動き補償領域の大きさを可変にする方式を用いている
が、この部分は第１の実施例との差異についてのみ詳細
に説明する。

【００５２】入力画像信号３３１はまずダウンサンプリ
ング回路３２１において、必要に応じて入力画像信号３
３１よりも空間的に少ない画素数にダウンサンプリング
される。入力画像信号３３１またはダウンサンプリング
された入力画像信号３４１は、減算回路３０３において
予測回路３０１で作成された予測信号３３２が減算され
て予測残差信号３３３となり、この予測残差信号３３３
はＤＣＴ回路３０４で離散コサイン変換された後、量子
化回路３０５で量子化される。量子化された信号は２分
岐され、一方は第１の可変長符号化回路３０６で可変長
符号化され、他方は逆量子化回路３０７で逆量子化さ
れ、さらに逆ＤＣＴ回路３０８で逆離散コサイン変換さ
れた後、加算回路３０９で予測信号３３２と加算されて
フレームメモリ３０２に記憶される。

【００５３】ここで、ダウンサンプリング回路３２１に
おけるダウンサンプリング比は、符号化フレーム毎に異
なった値をとる。また、予測回路３０１はダウンサンプ
リングした画像信号３４１を入力画像信号と考え、これ
を予測する予測信号３３２を作成する。予測信号３３２
を作成する際、フレームメモリ３０２に記憶されている
既に符号化されたフレームの局部復号画像信号を用いる
が、フレームメモリ３０２に記憶されているフレームの
局部復号画像信号と入力画像信号３３１をダウンサンプ
リングした信号３４１のサンプリング密度が異なる場合
には、サンプリング変換回路３２２で信号３４１と同一
のサンプリング密度にサンプリング変換して予測に用い
る。

【００５４】入力画像信号に対するダウンサンプリング
比および量子化幅は、量子化幅・ダウンサンプリング比
制御部３２３で決定して制御する。具体的には、発生符
号量が予め設定した値に近い値になるものの中で最適な
ダウンサンプリング比と量子化幅を選択して決定する。

【００５５】最初に、フレーム内符号化を行う場合（予
測信号３３２＝０）のダウンサンプリング比および量子
化幅の決定法を説明する。この場合、まず入力画像信号
３３１のアクティビティを計算する。これは例えば、分
散や各画素から平均値を引いた絶対値和や二乗和を用い
ればよい。

【００５６】次に、図８（ａ）に示すような与えられた
設定符号量に対するアクティビティと量子化幅の関係を
基に、発生符号量が設定符号量となるような量子化幅の
推定値を求める。ここで、設定符号量はフレーム内符号
に対する設定符号量としてトータルの発生符号量を基に
そのフレームの符号化に先だって定めておく。また、ア
クティビティと量子化幅の関係は符号化に予め決定して
おいてもよいし、既に符号化した画像信号におけるアク
ティビティ、符号量、量子化幅の関係から更新するよう
にしてもよい。次に、入力画像信号をダウンサンプリン
グした画像信号のアクティビティをいくつかのダウンサ
ンプリング比について計算する。この計算は実際に入力
画像信号をダウンサンプリングして求めてもよい。

【００５７】また、図９に示すようなサンプリング密度
とアクティビティの関係を予め定めておき、これを基に
入力画像信号３３１のアクティビティから変換して計算
してもよく、この場合はダウンサンプリングした画像信
号からアクティビティを計算する場合に比べて計算量を
削減することができる。

【００５８】次に、図８（ｂ）（ｃ）のようなダウンサ
ンプリングを行った画像信号に対するアクティビティと
量子化比幅の関係を用い、それぞれのダウンサンプリン
グ比に対して設定符号量となる量子化幅の推定値を求め
る。以上のようにして求められたいくつかにダウンサン
プリング比と量子化幅の組の中から、符号化に用いて最
適なものを選択する。この選択は、例えば量子化幅があ
る値以下になる最高のサンプリング密度となる組を選択
してもよい。このようにすれば、量子化幅が非常に大き
くなって符号化品質が著しく低下することがなくなる。
また、ダウンサンプリングによって失われる成分と、量
子化によって生じる歪という２つの歪の合計が最小にな
るような組を選択してもよい。あるいは、これら２つの
歪に視覚的特性を考慮した重み付けフィルタリングを行
った値が最小になる組を選択してもよい。このようにす
れば、視覚的に最適なサンプリング密度と量子化幅が選
択される。

【００５９】次に、動き補償フレーム間予測符号化を行
う場合のダウンサンプリング比および量子化幅の決定法
について説明する。この場合は、予測残差信号の分散や
絶対値和を用いてアクティビティを計算する。ただし、
各ダウンサンプリング比について動きベクトルを検出し
て予測画像信号を求めると演算処理量が膨大なものとな
ってしまう。このため、直前に符号化したフレームのア
クティビティを基にこれをサンプリング密度に応じて変
換した値を用いてもよい。あるいは、入力画像信号に対
して動きベクトル検出を行って予測画像信号を求めてこ
のアクティビティをサンプリング密度に応じて変換する
ようにし、符号化における予測信号３３２を求める際に
もこの入力画像信号に対する動きベクトルを変換した動
きベクトルを用いて動き補償を行うようにしてもよい。
以上のようにすることにより、アクティビティ計算のた
めの演算処理量を削減することができる。計算されたア
クティビティからダウンサンプリング比と量子化幅の組
を選択する手順は、上述のフレーム内符号化の場合と同
様である。ただし、フレーム毎の設定符号量やアクティ
ビティと量子化幅の関係、サンプリング密度とアクティ
ビティの関係はフレーム内符号とは異なるものを用い
る。

【００６０】なお、ダウンサンプリング比の決定はフレ
ーム内符号化とフレーム間符号化で異なる方法を用いて
もよい。例えば、フレーム間符号化については動きの大
きさを考慮して決定するようにしてもよい。これは、例
えば動きベクトル等動き補償に関する情報の発生符号量
を基に、以下のようなアルゴリズムで制御を行うことに
より実現することできる。

【００６１】 ｉｆ（ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）＞ＭＩＮ＿ＳＩＺＥ ＆＆ ＭＣ＿ ｂｉｔｓ（ｔ−１）＞ｔｈ１）｛ ｆｒａｍｅ＿ｓｉｚｅ＝ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）−Ｃ； ｝ｅｌｓｅ ｉｆ（ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）＜ＭＡＸ＿ＳＩＺＥ ＆＆ ＭＣ＿ｂｉｔｓ（ｔ−１）＜ｔｈ２）｛ ｆｒａｍｅ＿ｓｉｚｅ＝ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）＋Ｃ； ｝ｅｌｓｅ｛ ｆｒａｍｅ＿ｓｉｚｅ＝ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）； ｝ ここで、 ｆｒａｍｅ＿ｓｉｚｅ：ダウンサンプリング画像信号の
フレーム内画素数 ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）：直前に符号化したフ
レームのダウンサンプリング画像信号のフレーム内画素
数 ＭＣ＿ｂｉｔｓ（ｔ−１）：直前に符号化したフレーム
の動きベクトルの符号量 ｔｈ１，ｔｈ２：しきい値（ｔｈ１＞ｔｈ２） Ｃ：定数 ＭＩＮ＿ＳＩＺＥ：フレーム内画素数の最小値 ＭＡＸ＿ＳＩＺＥ：フレーム内画素数の最大値＝入力動
画像信号のフレーム内画素数 である。

【００６２】図１０は、この制御をフローチャートで表
したものである。すなわち、まず直前に符号化したフレ
ームのダウンサンプリング画像信号のフレーム内画素
数：ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がフレーム内画素
数の最小値：ＭＩＮ＿ＳＩＺＥを越えているかどうかを
調べ（Ｓ２１）、ＭＩＮ＿ＳＩＺＥを越えていれば、さ
らに直前に符号化したフレームの動きベクトルの符号
量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ１を越え
ているかどうかを調べ（Ｓ２２）、ｔｈ１を越えていれ
ばｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）から定数Ｃを減じた
ものを新たなフレームのダウンサンプリング画像信号の
フレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅとする（Ｓ２
３）。

【００６３】一方、直前に符号化したフレームのダウン
サンプリング画像信号のフレーム内画素数：ｆｒａｍｅ
＿ｓｉｚｅ（ｔ−１）がフレーム内画素数の最小値：Ｍ
ＩＮ＿ＳＩＺＥ以上でない場合には、ｆｒａｍｅ＿ｓｉ
ｚｅ（ｔ−１）がフレーム内画素数の最大値：ＭＡＸ＿
ＳＩＺＥに満たないかどうかを調べる（Ｓ２４）. そし
て、ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がＭＡＸ＿ＳＩＺ
Ｅに満たない場合は、さらに直前に符号化したフレーム
の動きベクトルの符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）が
しきい値ｔｈ２に満たないかどうかを調べ（Ｓ２５）、
ｔｈ２に満たない場合はｆｒａｍｅ＿ｓｉｚｅ（ｔ−
１）に定数Ｃを加えたものを新たなフレームのダウンサ
ンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿
ｓｉｚｅとし（Ｓ２６）、そうでなければｆｒａｍｅ＿
ｓｉｚｅ（ｔ−１）を新たなフレームのダウンサンプリ
ング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚ
ｅとする（Ｓ２７）。

【００６４】この例は、一般に視覚的特性として動きが
大きい場合には空間的解像度はある程度低くしてもよ
く、逆に動きが小さい場合には高い空間的解像度が要求
されることを利用して、動きベクトル符号量が多い場合
にはダウンサンプリング比を大きくとって空間的解像度
を落とし、逆に動きベクトル符号量が少ない場合にはダ
ウンサンプリング比を小さくとって空間的解像度を上げ
る制御を行う例である。このような制御を行うことによ
って視覚的に好適な解像度を保ちながら符号化を行うこ
とができる。なお、直前に符号化したフレームと現フレ
ームの動きベクトル符号量には強い相関があることを利
用して直前フレームの動きベクトル符号量でダウンサン
プリング比の制御を行っている。また、直前フレームの
画素数から定数Ｃだけ増減するようにして画素数を決定
しているが、これは直前フレームからあまり大きく解像
度を変化させると視覚的に好ましくないという問題を防
ぐためである。

【００６５】また、しきい値ｔｈ１、ｔｈ２は設定符号
量等によって定められる定数としてもよいが、動きの大
きさや動きベクトルが（０，０）となる領域の大きさ等
を変えるようにしてもよい。例えば、動きベクトル（Ｍ
Ｖ）が（０，０）となる領域の数を基に図１１のような
関係を定義して決めてもよい。図１１に示されるよう
に、動きベクトル＝（０，０）の領域が多い場合には、
しきい値を大きくすることによってサンプリング密度に
制御されるようになる。これにより、特に高い空間的解
像度を保ったほうが好ましい静止部分つまりＭＶ＝
（０，０）の領域で常に高い空間的解像度が保たれるよ
うになり、静止した背景の前で物体や人物が動いている
ような画像信号において符号化品質が向上する。

【００６６】なお、動き補償サイズについてもダウンサ
ンプリング比を考慮して決定する。具体的には、例えば
ダウンサンプリング比と動き補償サイズの拡大比を等し
くとるようにしてもよい。これにより、各動き補償領域
内に含まれる画素数は一定に保たれるようになる。動き
補償領域内の画素数はＤＣＴの単位と同一、あるいはそ
の整数倍という関係を常に保つようにすれば、ＤＣＴ係
数情報の一部と動き補償適応予測に関する情報の一部を
まとめて可変長符号化することにより符号量を削減する
ことが可能になる。さらに、動き補償単位内の画素数が
常に一定であるため、動きベクトル検出および動き補償
予測用のハードウエアを簡素化することができる。

【００６７】図１２は、本発明による動画像符号化装置
の第３の実施例のブロック図であり、やはり動き補償適
応予測ＤＣＴ符号化方式を用いた例である。また、本実
施例においても第１および第２の実施例で説明した技術
を用いているが、この部分は先の実施例との差異につい
てのみ詳細に説明する。

【００６８】本実施例においても、第２の実施例と同様
に入力信号をダウンサンプリングして符号化する技術を
用いているが、画像内の一部はダウンサンプリングせず
に予測符号化を行っていること、およびその部分の予測
信号を作成するために第２のフレームメモリを有してい
る。

【００６９】まず、予測回路４０１において第２のフレ
ームメモリ４２５に記憶されている画像信号を基に入力
画像信号４３１を予測する第１の予測信号を作成し、予
測残差信号４３３が小さくなる領域を判定する。こうし
て判定された領域ではスイッチ４２４で入力画像信号４
３１を選択し、また予測回路４０１からは予測信号４３
２として前記第１の予測信号を出力して入力画像信号４
３１と同じサンプリング密度で予測符号化を行う。第１
の予測信号による予測残差が大きな領域では、第２の実
施例と同様に入力画像信号４３１をダウンサンプリング
回路４２１でダウンサンプリングし、予測回路４０１で
ダウンサンプリングした画像信号に対する第２の予測信
号を作成してこれを予測信号４３２として出力し、スイ
ッチ４２４でダウンサンプリングした入力画像信号を選
択して予測符号化を行う。

【００７０】局部復号画像信号４３３は、第１のフレー
ムメモリ４０２に記憶されるとともに、アップサンプリ
ング回路４２６で入力画像信号４３１と同じサンプリン
グ密度にアップサンプリングされた後、スイッチ４２８
を介して第２のフレームメモリ４２５にも入力され、こ
のフレームメモリ４２５の内容を一部書き換えするため
にも用いられる。この場合、選択部４２７において第２
のフレームメモリ４２５の書き換えを行う領域を決定す
る。これは、例えば入力画像信号と比較して予測残差が
小さい領域を選択し、その選択情報をサイド情報として
符号化するようにしてもよい。あるいは、動きベクトル
の大きさが小さい領域を選択してもよいし、量子化され
たＤＣＴ係数の自乗和、絶対値和等の評価量が小さい領
域を選択してもよく、この場合は選択情報は符号化する
必要がない。こうして選択部４２７で選択された領域に
ついて、第２のフレームメモリ４２５内のデータの書換
えを行う。

【００７１】なお、局部復号画像信号にはサンプリング
密度が入力画像信号と同じ部分とダウンサンプリングさ
れた部分がある。このため、サンプリング変換回路４２
２におけるサンプリング密度変換の際にはこの２つの部
分に対して異なる比でサンプリング変換を行い、フレー
ム内の全ての部分がダウンサンプリング回路４２１でダ
ウンサンプリングされた入力画像信号と同一のサンプリ
ング密度を持つようにする。

【００７２】本実施例のように入力画像信号と同一のサ
ンプリング密度を有するフレームメモリを用いることに
より、入力画像信号と同一解像度の信号を予測に用いる
ことが可能になり、予測精度が向上する。すなわち、本
実施例では静止ないしは動きが小さい背景部分等のよう
に、ダウンサンプリングを行わなくてもそれほど多くの
符号量が発生しないため高い解像度を保つことが可能な
部分と、大きな動きがある領域のように、予測効率が悪
くダウンサンプリングを行わないと発生符号量が多くな
り過ぎてしまう部分とを切り分けている。こうすること
により、画面全体をダウンサンプリングする場合に比べ
わずかな符号量の増加で、背景部分等の符号化品質を改
善できる。さらに、第２のフレームメモリ４２５には動
きベクトルが小さい部分や予測残差が小さい部分のみの
書換えを行っているために背景部分が記憶されているこ
とが多く、第１のフレームメモリ４０２に記憶されてい
る局部復号画像信号からは予測することが不可能な、い
わゆるアンカバードバックグラウンドを予測することが
可能になる。

【００７３】なお、入力画像信号４３１と同じサンプリ
ング密度を有する第１の予測信号を作成する際には、第
２のフレームメモリ４２５内で入力画像信号４３１と空
間的に同一の位置にある画像信号を予測信号として用い
てもよい。あるいは、動き補償を用いれば予測の精度を
向上させることができる。パン、ズーム、回転、平行移
動等を伴う背景部分を予測する場合にはグローバル動き
補償を用いてもよく、少ない動き補償情報で高い精度の
予測を行うことができる。

【００７４】図１３は、図１２の動画像符号化装置に対
応した動画像復号化装置である。符号化装置から伝送系
または蓄積系を介して入力された符号列５３５は、デマ
ルチプレクサ５１１で予測残差信号符号列、動き補償情
報符号列、量子化幅情報およびサンプリング密度情報に
分割され、それぞれ第１の可変長復号回路５０６、第２
の可変長復号回路５１０、逆量子化回路５０７およびア
ップサンプリング回路５２１に入力される。第１の可変
長復号回路５０６では予測残差信号が可変長復号され、
さらに逆量子化回路５０７において逆量子化、逆ＤＣＴ
回路５０８で逆離散コサイン変換という一連の処理が行
われ、加算回路５０９で予測信号５３２と加算される。

【００７５】図１２の動画像符号化装置でダウンサンプ
リングして符号化された部分は、アップサンプリング回
路５２１で入力画像信号と同じサンプリング密度までア
ップサンプリングされてスイッチ５２８を介して再生画
像信号５５０として出力され、ダウンサンプリングされ
なかった部分はそのままスイッチ５２８を介して再生画
像信号５５０として出力される。選択部５２７で再生画
像信号５５０の一部が選択され、第２のフレームメモリ
５２５の内容の一部書き換えが行われる。

【００７６】一方、第２の可変長符号回路５１０で動き
補償情報符号列から予測モードおよび動きベクトル情報
５３４と動き補償領域情報５３０が復号され、予測回路
５０１へ入力される。予測回路５０１は、第１のフレー
ムメモリ５０２および第２のフレームメモリ５２５に記
憶されている復号画像信号を基にして、これらの情報５
３４および５３０に従って図１における予測信号４３２
と同一の予測信号５３２を出力する。

【００７７】以上の処理は、図１２の動画像符号化装置
に対応して画像信号を再生する処理であり、逆量子化回
路５０７、逆ＤＣＴ回路５０８、加算回路５０９、フレ
ームメモリ５０２，５２５、アップサンプリング回路５
２６およびサンプリング変換回路５２２が行う処理は、
それぞれ図１２における逆量子化回路４０７、逆ＤＣＴ
回路４０８、加算回路４０９、フレームメモリ４０２，
４２５、アップサンプリング回路４２６およびサンプリ
ング変換回路４２２と、その実現手段は異なる場合もあ
るが本質的に同一である。また、選択部５２７は図１２
の選択部４２７で選択した部分と同一の部分を選択す
る。また、第１および第２の可変長復号回路５０６，５
１０、およびデマルチプレクサ５１１は、それぞれ図１
の可変長符号化回路４０６，４１０およびマルチプレク
サ４１１と逆の処理を行う。

【００７８】

【発明の効果】以上説明したように、本発明によれば動
き補償サイズや符号化画像信号のサンプリング密度を可
変化することにより、量子化幅の制御のみで符号量制御
を行っていた従来方式の様々な問題点が解決される。す
なわち、動きベクトル情報量を基に動き補償サイズやサ
ンプリング密度を制御することにより、従来方式で生じ
ていた動きベクトル情報量のみで設定符号量を上回って
しまい符号量制御不能になるといった問題や、量子化幅
が大きくなりすぎて符号化品質が低下するという問題が
解決される。また、最適なダウンサンプリング比と量子
化幅の組を選択して符号化することにより、サンプリン
グ密度が固定であった従来方式に比べ符号化品質が向上
する。

【００７９】さらに、本発明によれば入力画像信号をそ
のまま符号化する部分とダウンサンプリングして符号化
する部分に分け、それぞれに対して予測を行うことによ
り、静止領域や動きの小さな領域では高い解像度を保
ち、動きの大きな領域ではダウンサンプリングされて過
度の情報を発生することなく符号化を行うことが可能と
なる。

【図面の簡単な説明】

【図１】 本発明による動画像符号化装置の第１の実施
例のブロック図

【図２】 動き補償領域の第１の例を表す図

【図３】 同実施例の改良された動き補償サイズの制御
例を示すフローチャート

【図４】 動き補償領域の第２の例を表す図

【図５】 動き補償領域の第３の例を表す図

【図６】 図１の動画像符号化装置に対応した動画像復
号化装置の実施例のブロック図

【図７】 本発明による動画像符号化装置の第２の実施
例のブロック図

【図８】 アクティビティと量子化幅の関係を示す図

【図９】 フレーム内画素数とアクティビティの関係を
示す図

【図１０】 同実施例の改良された動き補償サイズの制
御例を示すフローチャート

【図１１】 ダウンサンプリング比決定の際のしきい値
を示す図

【図１２】 本発明による動画像符号化装置の第３の実
施例のブロック図

【図１３】 図１２の動画像符号化装置に対応した動画
像復号化装置の実施例のブロック図

【符号の説明】

１０１…動き補償予測回路 １０２…フレームメ
モリ １０３…減算回路 １０４…ＤＣＴ回路 １０５…量子化回路 １０６…可変長符号
化回路 １０７…逆量子化回路 １０８…逆ＤＣＴ回
路 １０９…加算回路 １１０…可変長符号
回路 １１１…マルチプレクサ １２１…量子化幅制
御部 １２２…動き補償サイズ制御部 １３１…入力画像信
号 １３２…予測信号 １３３…予測残差信
号 １３５…符号列 １４０…動き補償領
域情報 ２０１…動き補償予測回路 ２０６…可変長復号
回路 ２０７…逆量子化回路 ２０８…逆ＤＣＴ回
路 ２０９…加算回路 ２１０…可変長復号
回路 ２１１…デマルチプレクサ ２２０…フレームメ
モリ ２３０…動き補償領域情報 ２３２…予測信号 ２３４…予測モード／動きベクトル情報 ２５０…再生画像信号 ３０１…動き補償予測回路 ３０２…フレームメ
モリ ３０３…減算回路 ３０４…ＤＣＴ回路 ３０５…量子化回路 ３０６…可変長符号
化回路 ３０７…逆量子化回路 ３０８…逆ＤＣＴ回
路 ３０９…加算回路 ３１０…可変長符号
回路 ３１１…マルチプレクサ ３２０…動き補償サ
イズ制御部 ３２１…ダウンサンプリング回路 ３２２…サンプリン
グ変換回路 ３２３…量子化幅・ダウンサンプリング比制御部 ３３１…入力画像信号 ３３２…予測信号 ３３３…予測残差信号 ３３５…符号列 ３４０…動き補償領域情報 ３４１…ダウンサン
プリング画像信号 ４０１…動き補償予測回路 ４０２…フレームメ
モリ ４０３…減算回路 ４０４…ＤＣＴ回路 ４０５…量子化回路 ４０６…可変長符号
化回路 ４０７…逆量子化回路 ４０８…逆ＤＣＴ回
路 ４０９…加算回路 ４１０…可変長符号
回路 ４１１…マルチプレクサ ４２０…動き補償サ
イズ制御部 ４２１…ダウンサンプリング回路 ４２２…サンプリン
グ変換回路 ４２３…量子化幅・ダウンサンプリング比制御部 ４３１…入力画像信号 ４３２…予測信号 ４３３…予測残差信号 ４３５…符号列 ４４０…動き補償領域情報 ４４１…ダウンサン
プリング画像信号 ５０１…動き補償予測回路 ５０２…フレームメ
モリ ５０６…可変長復号回路 ５０７…逆量子化回
路 ５０８…逆ＤＣＴ回路 ５０９…加算回路 ５１０…可変長復号回路 ５１１…デマルチプ
レクサ ５２２…サンプリング変換回路 ５２５…フレームメ
モリ ５３０…動き補償領域情報 ５３２…予測信号 ５３４…予測モード／動きベクトル情報 ５５０…再生画像信号

Claims (6)

【特許請求の範囲】
1. 【請求項１】入力画像信号を単位領域毎に予測して予測
   信号を得る予測手段と、 前記入力画像信号に対する前記予測信号の予測残差信号
   を符号化する第１の符号化手段と、 前記予測手段における予測に用いた情報および前記単位
   領域の大きさに関する情報を符号化する第２の符号化手
   段と、 前記単位領域の大きさを少なくとも前記予測に用いた情
   報の情報量に応じて制御する制御手段とを有することを
   特徴とする動画像符号化装置。
2. 【請求項２】フレーム単位で入力される入力画像信号を
   単位領域毎に予測して予測信号を得る予測手段と、 前記入力画像信号に対する前記予測信号の予測残差信号
   を符号化する第１の符号化手段と、 前記予測手段における予測に用いた情報および前記単位
   領域の大きさに関する情報を符号化する第２の符号化手
   段と、 前記単位領域の大きさを少なくとも前記予測に用いた情
   報の情報量に応じて前記入力画像信号のフレーム毎に制
   御する制御手段とを有することを特徴とする動画像符号
   化装置。
3. 【請求項３】動画像符号化装置からの予測残差信号を復
   号する第１の復号手段と、 前記動画像符号化装置で入力画像信号を単位領域毎に予
   測して符号化する際に予測に用いた情報および前記単位
   領域の大きさに関する情報を復号する第２の復号手段
   と、 この第２の復号手段により復号された前記予測に用いた
   情報を基に、前記第２の復号手段により復号された大き
   さの前記単位領域毎に予測信号を生成する予測信号生成
   手段と、 この予測手段により生成された予測信号と前記第１の復
   号手段により復号された予測残差信号を基に画像信号を
   再生する再生手段とを有することを特徴とする動画像復
   号化装置。
4. 【請求項４】入力画像信号をダウンサンプリングするダ
   ウンサンプリング手段と、 このダウンサンプリング手段によりダウンサンプリング
   された入力画像信号を予測して予測信号を得る予測手段
   と、 前記入力画像信号に対する前記予測信号の予測残差信号
   を所定の符号化制御パラメータで符号化する第１の符号
   化手段と、 前記入力画像信号および前記予測残差信号の少なくとも
   一方の信号のアクティビティを用いて発生符号量が設定
   値となる前記ダウンサンプリング手段でのダウンサンプ
   リング比と前記符号化制御パラメータの複数の組み合わ
   せを推定し、これら複数の組み合わせから最適な組み合
   わせを選択して決定する手段とを有することを特徴とす
   る動画像符号化装置。
5. 【請求項５】入力画像信号の一部の領域をダウンサンプ
   リングするダウンサンプリング手段と、 このダウンサンプリング手段によりダウンサンプリング
   された領域およびダウンサンプリングされない領域の入
   力画像信号をそれぞれ予測して予測信号を得る予測手段
   と、 前記入力画像信号に対する前記予測信号の予測残差信号
   を所定の符号化制御パラメータで符号化する第１の符号
   化手段と、 この第１の符号化手段により符号化された信号から画像
   信号を復号する局部復号手段と、 この局部復号手段により復号された画像信号を前記予測
   手段におけるダウンサンプリングされた領域の入力動画
   像信号の予測のために一時記憶する第１の一時記憶手段
   と、 前記局部復号手段により復号された画像信号のうちダウ
   ンサンプリングされた領域の画像信号をアップサンプリ
   ングするアップサンプリング手段と、 前記局部復号手段により復号された画像信号のうち前記
   ダウンサンプリング手段によりダウンサンプリングされ
   ない領域の画像信号と前記アップサンプリング手段によ
   りアップサンプリングされた領域の画像信号から再生画
   像信号を生成する手段と、 前記予測手段におけるダウンサンプリングされない領域
   の入力動画像信号の予測のための画像信号を一時記憶す
   る第２の一時記憶手段と、 前記第２の一時記憶手段に記憶されている画像信号の一
   部を前記再生画像信号に置き換える手段とを有すること
   を特徴とする動画像符号化装置。
6. 【請求項６】ダウンサンプリングされた領域およびダウ
   ンサンプリングされない領域の入力画像信号をそれぞれ
   予測して予測信号を得る予測手段と、 前記ダウンサンプリングされた領域およびダウンサンプ
   リングされない領域の予測残差信号と前記予測手段によ
   り得られた予測信号から画像信号を復号する復号手段
   と、 前記復号手段により復号された前記ダウンサンプリング
   された領域の画像信号をアップサンプリングするアップ
   サンプリング手段と、 前記復号手段により復号された前記ダウンサンプリング
   されない領域の画像信号と前記アップサンプリング手段
   によりアップサンプリングされた画像信号から再生画像
   信号を生成する手段と、 前記復号手段により復号された画像信号を前記ダウンサ
   ンプリングされた領域の画像信号の予測のために一時記
   憶する第１の一時記憶手段と、 前記前記復号手段により復号された画像信号を前記ダウ
   ンサンプリングされない領域の画像信号の予測のために
   一時記憶する第２の一時記憶手段と、 前記第２の一時記憶手段に記憶されている画像信号の一
   部を前記再生画像信号に置き換える手段とを有すること
   を特徴とする動画像復号化装置。