JPH1042297A - 動画像復号化装置及び動画像復号化方法 - Google Patents

Abstract

(57)【要約】 【課題】インタレース画像に対する予測精度を向上して
予測誤差の符号化出力の情報量を減らす共に、動きベク
トル情報の増加を最小限に止めることができる動画像復
号化装置を提供する。 【解決手段】連続した第１、第２の参照フィールドの画
像信号について符号化対象フィールドの画像信号との間
の第１、第２の動きベクトルにより指定された参照画像
信号に対し時空間フィルタ処理を施すことにより生成さ
れた予測信号と符号化対象フィールドの画像信号との差
分信号を符号化する符号化モードであって、第２の動き
ベクトルとなり得る複数の動きベクトル候補のうち、第
１の動きベクトルに方向が最も近いベクトルと第２の動
きベクトルとの差分の大きさが所定値以下の範囲でのみ
を選択される符号化モードによって符号化された分信号
を復号化し、この差分信号を用いて符号化対象フィール
ドの画像信号を再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像通信、伝送、
蓄積および放送等において、ビデオ信号などの動画像信
号を符号化するための動画像復号化装置及び動画像復号
化方法に係り、特に動き補償予測符号化を用いた動画像
復号化装置及び動画像復号化方法に関する。

【０００２】

【従来の技術】ＴＶ電話、ＴＶ会議、光ディスク装置、
ＶＴＲおよびＣＡＴＶ等の装置では、動画像信号を符号
化する技術が必要となる。このような動画像の符号化方
式として、符号化しようとする画像（以下、符号化象画
像という）の画素値を動きベクトルで指定される既に符
号化されている参照画像の画素値を用いて予測し、その
予測誤差と動きベクトルを符号化する、いわゆる動き補
償予測符号化が知られている。

【０００３】この動き補償予測符号化を通常のテレビジ
ョンビデオ信号のようなインターレース画像（フィール
ド画像）に適用する場合、フィールド内１／２ライン精
度以上の動き精度（フレーム内１ライン精度以上の動き
精度）に対しては、参照画像中に対応する画素値が存在
しないために対応出来ないという問題がある。

【０００４】そこで、参照画像上で対応する画素が存在
しない画素の画素値を隣接する２フィールドの画像を用
いて補間して動き補償を行う方法が提案されている（例
えば１９９０年画像符号化シンポジウム（ＰＣＳＪ９
０）、８−１、「適応ライン補間フィールド間動き補償
方式の検討」）。この動き補償方式では、符号化対象画
像信号は参照画像信号および最適動きベクトルを用いて
符号化される。参照画像信号は、過去２フィールドの符
号化済み画像信号のうち、動きベクトル探索回路で得ら
れる動きベクトルによって指定される位置の信号から補
間によって作成される。具体的には３つのフィールドメ
モリを用意し、第１のフィールドメモリの出力からフィ
ールド内補間によって作成される信号と、第２のフィー
ルドメモリの出力とを混合比ｋm ：１−ｋm で混合する
ことにより参照画像信号が作成される。ｋm は第１のフ
ィールドメモリと第３のフィールドメモリの出力を基
に、動き検出回路によって検出される動き量によって変
化する。

【０００５】図２は、この従来技術による各画像信号の
関係を示すための図である。３つのフィールドメモリに
蓄積された画像信号４１，４２，４３および符号化対象
画像信号４４の関係は図に示す通りであり、動きベクト
ルの垂直方向成分がフィールド内ｎ＋１／２ライン（ｎ
は整数）の場合、画像信号４１内の対応する画素値をそ
のまま参照画像信号として出力する。例えばｎ＝０の場
合、符号化対象画像信号４４の画素値４５に対する参照
画像信号の画素値は４６となる。動きベクトルの垂直方
向成分がフィールド内ｎラインの場合には、画像信号４
２，４３の補間値△に隣接する信号○を用いて補間値△
を作成する。即ち、例えば符号化対象画像信号４４内の
画素値４５に対する参照画像信号となる補間値４９は、
フィールド内補間によって作成される、画素値４６と画
素値４７の平均値がｋm 倍された値と、画素値４８が
（１−ｋm ）倍された値との加算値となる。このとき、
動き検出回路において動きが大と判定された場合には、
補間値△をそれと同一フィールドの画像信号内の、補間
値△に隣接する信号を主に用いて補間することが適切で
あるからｋm を大とし、動きが小と判定された場合に
は、補間値△をそれに隣接するフィールドの画像信号内
の、補間値△に隣接する信号を主に用いて補間すること
が適切であるからｋm を小とする。

【０００６】このように、隣接する２フィールドの画像
信号を用いて動き量に適応させて補間値を作成すること
により、フィールド画像においてもフィールド内１／２
ライン精度以上の動き精度（フレーム内１ライン精度以
上の動き精度）に対して適切な参照画像信号を発生する
ことができるようになり、精度の良い動き補償予測が可
能となる。

【０００７】しかしながら、この方式では上述のように
参照画像における動きの検出が必要であり、そのための
動き検出回路が必要となる。また、動き検出を可能とす
るために、隣接する３フィールドが既に符号化済みでな
ければならない。従って、隣接する３フィールドが既に
符号化されていない場合には、動き検出ができないとい
う問題が生じる。

【０００８】図３に、隣接する３フィールドが既に符号
化されていない場合の一例を示す。この例においては、
ＶＴＲでの特殊再生（ランダムアクセス、早送り再生、
逆転再生等）の必要な蓄積系への適応を考慮して、複数
フィールド毎（図においては６フィールド毎）に隣接す
る２フィールド（図の例ではフィールド１，２，７，
８）を予め符号化し、残りの４フィールド（図の例では
３〜６）を予め符号化した近傍の２フィールドを参照画
像として動き補償予測符号化する方法をとっている。こ
のような場合、隣接する３フィールドが既に符号化され
ていないため、動き検出が出来ないことになる。

【０００９】一方、上述したような動き補償予測符号化
方式を用いた動画像符号化装置において、従来では順方
向あるいは逆方向の動き補償のための動きベクトル探索
に際し、動きベクトルを探索する参照画像としては、符
号化対象画像がノンインタレース画像の場合は符号化済
みの１画像だけに限定されるため、隣接する画像間で１
／２画素単位の移動が存在する動画像に対しては正確な
動き補償ができないという問題があった。画像がインタ
レース画像の場合は、前述のように符号化済みの連続す
る２画面の画像を使用するが、従来では２画面とも同一
面積を探索しているため、探索のための演算量が非常に
多くなっていた。

【００１０】また、上述したような動画像符号化方式の
うちでも特にＶＴＲや光ディスクのような蓄積メディア
のための符号化方式として、１〜２Ｍｂｐｓ程度の伝送
レートをターゲットとした動画像符号化方式がＭＰＥＧ
１なる規格名で標準化されつつある。これは、動き補償
フレーム間予測＋ＤＣＴを基本とした方式である。

【００１１】現在、類似の目的でＴＶ放送程度以上の品
質の動画像を２〜１０Ｍｂｐｓ程度で符号化する方式の
検討が進んでいる。ＭＰＥＧ１の符号化方式をこれに適
応しようとする場合、ＭＰＥＧ１は入力画像としてノン
インタレース画像を前提としているのに対して、ＴＶ信
号はインタレース画像の信号であるため、インタレース
画像に適した新たな工夫が必要となる。インタレース画
像の符号化においては、フィールド間／フレーム間適応
予測が知られている。これは注目フィールドと走査位相
の一致するフィールド（注目フィールドが奇数フィール
ドの場合は奇数フィールド、また注目フィールドが偶数
フィールドの場合は偶数フィールド）と、一致しないが
時間的に近いフィールド（例えば注目フィールドが奇数
フィールドの場合はそれに隣接する偶数フィールド、ま
た注目フィールドが偶数フィールドの場合はそれに隣接
する奇数フィールド）とを予測信号として切り替える方
式である。また、最近の研究では複数のフィールドに対
して動き補償した信号を平均して予測する内挿予測も検
討されている（例えばF.Wang et al.,"High-quality co
ding of the even fields based on the odd fields of
interlaced videosequences",IEEE trans.CS）。

【００１２】しかしながら、インタレース画像において
もＭＰＥＧ１の符号化におけるような過去のフィールド
と未来のフィールドを使った予測符号化を行なう上で、
インタレース画像に適した偶／奇両フィールドを使った
予測方法をとり入れることが望まれる。この場合、各フ
ィールドに対して動きベクトルを送ると、動きベクトル
の情報量が増大するので、効率を極力落とさずに動きベ
クトルの情報量も減らすことが必要となる。すなわち、
インタレース画像に対する予測精度を向上して予測誤差
の符号化出力の情報量を減らすと共に、動きベクトル情
報の増加を最小限に止めることが要求されるが、従来で
はこのような要求に応えられる有効な技術は未だ提案さ
れていない。

【００１３】

【発明が解決しようとする課題】上述したように、従来
の技術では参照画像上の画素が存在しない点の画素を参
照画像に隣接する２フィールドの画像を用いて補間する
場合、参照画像について動き検出が必要であるため、動
き検出回路が必要となりハードウェアが複雑になると共
に、隣接する３フィールドが既に符号化されていない場
合には動き検出ができないという問題があった。

【００１４】また、従来の技術では符号化対象画像がノ
ンインタレース画像の場合、動きベクトル探索に際して
参照画像は符号化済みの１画像だけに限定されるため、
隣接する画像間で１／２画素単位の移動が存在する動画
像に対しては正確な動き補償ができず、符号化効率が低
下するという問題があり、さらに符号化対象画像がイン
タレース画像の場合は、動きベクトル探索のための演算
量が非常に多くなるため、動きベクトル探索時間が長く
なったり、ハードウェアの回路規模が増大するという問
題があった。

【００１５】さらに、従来の技術ではインターレース画
像に対する予測精度を効果的に向上させることができ
ず、また各フィールドに対して送られる動きベクトルの
情報量が増大するという問題があった。

【００１６】本発明の目的は、インタレース画像に対す
る予測精度を向上して予測誤差の符号化出力の情報量を
減らす共に、動きベクトル情報の増加を最小限に止める
ことができる動画像復号化装置及び動画像復号化方法を
提供することにある。

【００１７】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係る動画像復号化装置および動画像復号化
方法は、符号化済み画像信号に対応する連続した第１、
第２の参照フィールドの画像の画像信号について符号化
対象フィールドの画像の画像信号との間の第１、第２の
動きベクトルによりそれぞれ指定された参照画像信号に
対し時空間フィルタ処理を施すことにより生成された、
符号化対象フィールドの画像信号に対する予測信号と該
符号化対象フィールドの画像信号との差分信号を符号化
する符号化モードであって、第２の動きベクトルとなり
得る複数の動きベクトル候補のうち、第１の動きベクト
ルに方向が最も近いベクトルと第２の動きベクトルとの
差分の大きさが所定値以下の範囲でのみを選択される符
号化モードによって符号化された差分信号を復号化し、
この復号化された差分信号を用いて符号化対象フィール
ドの画像の画像信号を再生することを特徴とする。

【００１８】ここで、予測信号はより具体的には第１、
第２の動きベクトルによりそれぞれ指定された参照画像
信号を時空間フィルタ処理により平均化することによっ
て生成された信号である。

【００１９】他の観点によれば、本発明に係る動画像復
号化装置および動画像復号化方法は、連続する第１、第
２の参照フィールドの画像の画像信号と符号化対象フィ
ールドの画像の画像信号との間の第１、第２の動きベク
トルによりそれぞれ指定された第１、第２の参照フィー
ルドの画像上の参照画像信号に対し時空間フィルタ処理
を施すことにより生成された、符号化対象フィールドの
画像の画像信号に対する予測信号と、符号化対象フィー
ルドの画像の画像信号と予測信号との誤差情報を符号化
する符号化モードであって、第２の動きベクトルとなり
得る複数の動きベクトル候補のうち、第１の動きベクト
ルに方向が最も近い換算ベクトルと第２の動きベクトル
との差分の大きさが所定値以下の範囲でのみ選択される
符号化モードによって符号化された誤差情報を復号化
し、この復号化された誤差情報を用いて符号化対象フィ
ールドの画像の画像信号を再生することを特徴とする。

【００２０】ここで、時空間フィルタ処理は、より具体
的には第１、第２の動きベクトルによってそれぞれ指定
された第１、第２の参照フィールドの画像上の参照画像
信号を平均化する処理によって生成された信号である。

【００２１】さらに、具体的には例えば予測信号候補の
生成においては、予測に用いる過去の１フィールドの複
数画素に空間フィルタ処理を施した出力と、この空間フ
ィルタ処理を施した出力の１画素以下の精度の位置に補
間した補間画素と予測に用いる過去の他のフィールドの
画素との間で時間フィルタを施した出力とを複数の予測
信号候補として生成し、また符号化においては空間フィ
ルタ処理が施されるフィールドに対する動きベクトルは
１画素以下の精度で符号化し、それ以外のフィールドに
対する動きベクトルは該１画素以下の精度で符号化する
動きベクトルを当該フィールドにおける動きベクトルと
の差分を符号化する。

【００２２】

【作用】このように本発明では、連続する第１、第２の
参照フィールドの画像の画像信号と符号化対象フィール
ドの画像の画像信号との間の第１、第２の動きベクトル
によりそれぞれ指定された第１、第２の参照フィールド
の画像上の参照画像信号に対し時空間フィルタ処理を施
すことにより、符号化対象フィールドの画像の画像信号
に対する予測信号を生成し、符号化対象フィールドの画
像の画像信号と予測信号との誤差情報を符号化する符号
化モードを有する動画像符号化装置において、第２の動
きベクトルとなり得る複数の動きベクトル候補のうち、
第１の動きベクトルに方向が最も近い換算ベクトルと第
２の動きベクトルとの差分の大きさが所定値以下の範囲
でのみ該符号化モードが選択されるようにすることによ
り、インタレース画像に適した効率的で精度の良い予測
を行うことが可能であり、特にインタレース画像におけ
る動領域においてより精度の高い予測信号を得ることが
でき、しかも、これに伴う動きベクトル情報の増加を差
分動きベクトルの採用により最小限に抑えることができ
る。

【００２３】また、符号化済みの２つのフィールドの画
像を参照画像として動きベクトルを探索する場合、符号
化対象フィールドの画像に時間的に近い符号化済み画像
については広い範囲にわたり探索を行い、符号化対象画
像から時間的に遠い符号化済み画像についてはより限定
された狭い範囲にわたり探索を行うことにより、動きベ
クトル探索のための演算量を抑えつつ、正確な動き補償
が可能となる。

【００２４】例えば、符号化対象フィールドの画像と時
間的に近い符号化済み画像での探索により、少なくとも
１つの符号化効率の良い動きベクトルの候補を求め、そ
の動きベクトルを基準にベクトルの延長等の操作を行え
ば、符号化対象フィールドの画像と時間的に離れた符号
化済み画像との間の符号化効率の良い動きベクトルの候
補となる領域の中心を限定できる。この場合、時間的に
近い符号化済み画像で動きベクトルの候補として選択さ
れた領域が時間的に離れた符号化済み画像との間の動き
ベクトルを用いて符号化されていれば、直ちにその時間
的に離れた画像と符号化対象フィールドの画像との間の
動きベクトルの候補となる領域の存在する範囲を限定で
きる。

【００２５】画像間で動きが非常に大きく、時間的に近
い符号化済み画像でも候補となる動きベクトルが存在し
ない場合や、時間的に近い符号化済み画像で候補として
求められた動きベクトルが非常に大きく時間的に離れた
符号化済み画像では符号化効率の良い動きベクトルが存
在しないことを予想できる場合には、時間的に離れた符
号化済み画像での動きベクトルの探索を行わないこと
や、更に探索範囲を限定するなどのことができる。この
ようにすることにより、探索に要する演算量が少なくと
も符号化効率の良い動きベクトルが求められる。

【００２６】一方、時間的に近い画像間の動きが大きな
場合には、通常のカメラ撮影の画像では１画像の中でも
動きによるぼけが存在するために、画像間で動き補償を
行う時に、１／２画素単位の差を生じ難い。即ち、その
様な場合は時間的に更に離れた画像で動きベクトルを求
めても、探索のための演算量が増加するにも拘らず、符
号化効率の向上は少ない。従って、時間的に離れた画像
での動きベクトルの探索範囲を符号化対象フレームの画
像の符号化領域の近傍に制限することにより、探索のた
めの演算量を更に低減して高い符号化効率が得られる。

【００２７】さらに、本発明では符号化対象フィールド
の画像間の動きベクトルで指定される領域の参照画像に
時空間フィルタ処理を施して予測信号候補を生成し、こ
れらの中から予測信号を決定するため、フィールド単位
で入力される入力画像、すなわちインターレース画像に
適した予測が可能となり、予測精度が向上する。この場
合、時空間フィルタ処理が施されるフィールドに対する
動きベクトルは１画素以下の精度で符号化するが、それ
以外のフィールドに対する動きベクトルは該１画素以下
の精度で符号化する動きベクトルを当該フィールドにお
ける動きベクトルに換算したものと当該フィールドにお
ける動きベクトルとの差分として符号化して伝送するこ
とで、最終的に伝送される動きベクトルの情報が減少す
る。

【００２８】そして、本発明によると上記のようにして
符号化されたデータから元の動画像信号を再生すること
ができる。

【００２９】

【発明の実施の形態】以下、本発明の実施形態について
説明する。図１は、本発明の第１の実施形態に係る動画
像符号化装置のブロック図である。図１の動画像符号化
装置は、符号化部１４、２つのフィールドメモリ１５，
１６、動きベクトル探索回路１７、補間値発生回路１９
および局部復号部２５によって構成される。

【００３０】符号化対象画像信号１１は、補間値発生回
路１９から出力される参照画像信号１２と、動きベクト
ル探索回路１７から出力される最適動きベクトル１３を
用いて符号化部１４で符号化される。参照画像信号１２
は、フィールドメモリ１５，１６に蓄積されている過去
２フィールドの符号化済み画像信号のうち動きベクトル
探索回路１７から出力される動きベクトル候補１８によ
って指定される位置の画像信号から、補間値発生回路１
９によって作成される。

【００３１】動きベクトル探索回路１７は、相関演算回
路２０、動きベクトル候補発生回路２１、最適ベクトル
判定回路２２および切替器２３からなり、動きベクトル
探索動作中は動きベクトル候補発生回路２１が逐次発生
する動きベクトル候補２４が切替器２３によりフィール
ドメモリ１５，１６に入力され、これをもとに補間値発
生回路１９により発生される参照画像信号１２と符号化
対象画像信号１１との相関演算が相関演算回路２０によ
って行われる。最適ベクトル判定回路２２は、符号化対
象画像信号１１と参照画像信号１２との相関を最大とす
る動きベクトルを記憶し、動きベクトル探索動作終了時
には最適動きベクトル１３が切替器２３によって出力さ
れる。この最適動きベクトル１３と補間値発生回路１９
からの最適な参照画像信号１２に基づいて符号化対象画
像信号１１が符号化部１４で符号化され、符号化データ
２６が出力される。

【００３２】局部復号部２５は、符号化部１４から出力
される符号化データ２６を基に、局部復号画像信号２７
を作成する。この局部復号画像信号２７は切替器２８に
よりフィールドメモリ１５，１６のいずれかに入力さ
れ、それらの出力は切替器２９を経て補間値発生回路１
９に入力される。ここで、切替器２８，２９は符号化対
象画像に対して予め定めた参照画像を作成するための２
画像の信号が補間値発生回路１９に入力されるように切
替えられる。

【００３３】補間値発生回路１９は、フィールド内補間
回路３０、乗算器３１、乗算器３２および加算器３３か
らなり、フィールドメモリ１５からの出力信号よりフィ
ールド内補間回路３０によって作成される信号と、フィ
ールドメモリ１６からの出力信号とを混合比ｋ：１−ｋ
で混合することにより参照画像信号１２を得る。

【００３４】動きベクトル探索回路１７から出力される
動きベクトル候補１８は補間値発生回路１９にも入力さ
れ、フィールドメモリ１５，１６からの出力信号に対す
る混合比を決定するパラメータｋを制御する。すなわ
ち、動きベクトル候補１８の垂直方向成分がフィールド
内ｎ＋１／２ライン（ｎは整数）の場合はｋ＝１に制御
され、フィールドメモリ１５に記憶された対応する画素
値（ここでは、フィールドメモリ１５の内容が符号化対
象画像に近い画像であると仮定して説明する）がそのま
ま参照画像信号１２として出力される。

【００３５】動きベクトル候補１８の垂直方向成分がフ
ィールド内ｎラインの場合には、フィールドメモリ１
５，１６からの出力信号を用いて図２における補間値△
が補間される。このとき、動きベクトル候補１８の垂直
方向成分の絶対値がある閾値より大の場合は、参照画像
における動きも大とみなし、補間値△をそれと同一フィ
ールドのフィールドメモリ１５内の補間値△に隣接する
信号を主に用いて補間することが適切であるから、パラ
メータｋを大とする。逆に、動きベクトル候補１８の垂
直方向成分の絶対値が閾値より小の場合は、参照画像に
おける動きも小とみなし、補間値△をフィールドメモリ
内の補間値△に隣接する信号を主に用いて補間すること
が適切であるから、パラメータｋを小とする。

【００３６】なお、図２に示すように符号化対象画像４
４と参照画像４１が隣接している場合には、パラメータ
ｋを０に近づけてフィールドメモリ１６からの信号を参
照画像４１の補間値として使用することが有効なのは、
動きベクトル候補１８の垂直成分の絶対値が０の場合に
ほとんど限られる。一方、図３に示したような符号化順
序を採用する場合、図４に示すように符号化対象画像５
３と参照画像５１とが比較的離れる場合も生じる。この
ような場合は、パラメータｋを０に近づけてフィールド
メモリ１６からの信号を参照画像５１の補間値として使
用することが、動きベクトルの垂直成分の絶対値が０で
ない場合にも有効となってくる。

【００３７】図５に、本発明の第２の実施形態を示す。
補間値発生回路１９の構成以外は図１と同一であるた
め、その詳細な説明は省略する。補間値発生回路１９は
２つの補間値発生回路３４，３５と、これらの出力を選
択する切替器３６によって構成される。補間値発生回路
３４，３５は、いずれも図１に示した補間値発生回路１
９と同様に、フィールド内補間回路３０と乗算器３１，
３２および加算器３３により構成される。図６に本実施
形態における各画像信号の関係を示す。

【００３８】第１の補間値発生回路３４は、参照画像６
１における動き量が大の場合に有効な補間値を発生す
る。すなわち、図６（ａ）に示すように、動きベクトル
候補１８の垂直方向成分がフィールド内ｎ＋１／２ライ
ン（ｎは整数）の場合は、フィールドメモリ１５に記憶
された対応する画素値○（ここでは、フィールドメモリ
１５の内容が符号化対象画像６３に近い画像であると仮
定して説明する）がそのまま参照画像信号として出力さ
れる（ｋ＝１に制御される）。

【００３９】また、第１の補間値発生回路３４は動きベ
クトル候補１８の垂直方向成分がフィールド内ｎライン
（ｎは整数）の場合には、補間すべき画素△に隣接する
フィールドメモリ１５内の画像信号６１の二つの画素値
○の平均によって補間値△を作成する。

【００４０】第２の補間値発生回路３５は、参照画像６
１における動き量が小の場合に有効な補間値を発生す
る。すなわち、図６（ｂ）に示すように、動きベクトル
候補１８の垂直方向成分がフィールド内ｎ＋１／２ライ
ン（ｎは整数）の場合、フィールドメモリ１５に記憶さ
れた対応する画素値○（ここでは、フィールドメモリ１
５の内容が符号化対象画像６３に近い画像であると仮定
して説明する）がそのまま参照画像信号として出力され
る（ｋ＝１に制御される）。例えばｎ＝０の場合、符号
化対象画像信号６４に対する参照画像信号は画素値６５
となる。

【００４１】また、第２の補間値発生回路３５は動きベ
クトル候補１８の垂直方向成分がフィールド内ｎライン
の場合は、補間すべき画素◎を隣接するフィールドメモ
リ１６内の信号○とする。例えば、ｎ＝０の場合、符号
化対象画像信号６４に対する参照画像信号の補間値６８
は、画素値６６となる。

【００４２】動きベクトル候補１８の垂直方向成分がフ
ィールド内ｎ／２＋１／４ラインの場合には、補間すべ
き画素△に隣接するフィールドメモリ１５からの画素値
○と、フィールドメモリ１６からの画素値○との平均に
よって、補間値△が作成される。例えばｎ＝０の場合、
符号化対象画像信号６４に対する参照画像信号の補間値
６７は、画素値６５と画素値６６の平均値となる。

【００４３】このように、補間値発生回路３５はフィー
ルド内１／４ライン単位の精度で参照画像信号を発生さ
せることができ、動きが少なく解像度の高い画像に対し
て有効な動き補償を可能とする。

【００４４】ここで、切替器３６は動きベクトル探索回
路１７から出力される動きベクトル候補１８の垂直方向
成分の絶対値がある閾値より大の場合、補間値発生回路
３４の出力を選択し、閾値より小の場合は補間値回路３
５の出力を選択することにより、それぞれに適切な参照
画像信号を発生する。また、別の方式として、動きベク
トル探索回路１７から出力される動きベクトル候補１８
の垂直方向成分の絶対値が大の時は補間値回路３４の出
力を選択し、小の場合は補間値発生回路３４，３５の両
方の出力を参照画像信号とし、両者について相関演算を
行って、いずれか一方を選択する方法も有効である。

【００４５】次に、本発明の第３の実施形態について説
明する。図７は、本発明の第３の実施形態に係る動画像
符号化装置のブロック図である。

【００４６】図７において、入力端子００１に入力され
る画像データは、入力バッファメモリ１００に一時的に
蓄えられた後、符号化対象画像の順序に従って、複数画
素で構成される部分領域毎に、部分画像データ入力バッ
ファメモリ１００より読み出される。入力バッファメモ
リ１００より読み出される部分画像データは、動きベク
トル検出回路２００に入力される。動きベクトル検出回
路２００は、過去に符号化した再生画像の中から入力デ
ータを効率良く符号化できる部分画像を求め、その部分
画像の領域のデータおよびその領域の位置を示す動きベ
クトル（アドレスデータ）を出力する。

【００４７】入力バッファメモリ１００より出力される
部分画像データは、動きベクトル検出回路２００より出
力される部分画像データおよび動きベクトルと共に局部
符号化回路３００にも入力される。この局部符号化回路
３００では、入力バッファメモリ１００より出力される
部分画像データそのもの、または動きベクトルで指定さ
れる部分画像データとの差分データのうち何れか一方が
符号化される。ここで、動きベクトルで指定される領域
との差分の符号化データには、その動きベクトルを可変
長符号化したデータも含まれる。

【００４８】局部符号化回路３００で符号化されたデー
タは、動きベクトル検出回路２００より出力される部分
画像データと共に局部復号回路４００に入力され復号さ
れることにより、再生画像が得られる。また、符号化デ
ータが動きベクトルを用いて符号化されている場合に
は、復号結果が動きベクトル検出回路２００より出力さ
れる部分画像データに加算されて再生画像が得られる。
この再生画像データは、動きベクトル検出回路２００に
入力され、次に入力される画像データの符号化のために
一時記憶される。

【００４９】次に、動きベクトル検出回路２００、局部
符号化回路３００および局部復号回路４００の具体的な
動作例を説明する。

【００５０】先ず、動きベクトル検出回路２００におい
ては、入力バッファメモリ１００より入力されるデータ
は、動きベクトルの探索に不要となった画像データが記
憶されていた画像メモリ（２１１〜２１４の何れか）
に、書込制御回路２２２によって順次書き込まれる。こ
の様にして画像メモリ（２１１〜２１４）に保存された
符号化済み画像データは、読出制御回路２２１およびデ
ータ切り換え回路２３１により、符号化画像に時間的に
近い画像から領域毎に順次読み出され、差分回路２４１
で入力データとの差分が領域毎に算出される。評価回路
２４２は、この領域毎の差分の合計値の大きさを順次比
較し、読出制御回路２２１が画像メモリ内を探索する方
向を制御し、先に検出した部分画像よりも入力された部
分画像との差分が更に小さな符号化済み画像の部分領域
を検出する毎に、ベクトルレジスタ２４３にその部分画
像の領域を示すアドレスを記憶させ、入力された部分画
像に最も近い符号化済み画像の部分領域を求める。この
ようにしてクトルレジスタ２４３に記憶された、入力さ
れた部分画像との差分が最も小さな符号化済み画像の部
分領域を示すアドレスデータは読出制御回路２３３およ
び切替回路２３２に入力され、その符号化済み画像の部
分領域に対する符号化データの再生画像が再生画像メモ
リ（２１５〜２１８）より読み出され、そのアドレスデ
ータと共に局部符号化回路３００に入力される。

【００５１】一方、局部符号化回路３００においては、
この実施形態では動き補償誤差の符号化方法として直交
変換の一つであるＤＣＴ（離散コサイン変換）と量子化
および可変長符号化を用いている。局部符号化回路３０
０において、先ず入力バッファメモリ１００から出力さ
れる部分画像データは差分回路３１１に入力され、その
部分画像データに対して動きベクトル検出回路２００か
ら出力される、符号化データを再生した部分画像データ
との差分が算出される。切替回路３１２は、差分回路３
１１より入力される差分画像データと入力バッファメモ
リ１００より入力される部分画像データとを端子００２
に入力される制御信号によって順次切り替えて出力す
る。

【００５２】ＤＣＴ回路３２０は、切替回路３１２より
順次出力される部分画像データおよび差分画像データを
順次周波数変換して出力する。量子化回路３３０は、Ｄ
ＣＴ回路３２０から出力される周波数変換されたデータ
を予め設定された量子化幅で量子化して出力する。エン
トロピ符号器３４０は、量子化回路３３０で量子化され
たデータと、その量子化幅情報および部分画像データと
差分データとの識別符号を併せて符号化し、更に差分画
像データの符号化にはベクトルレジスタ２４３より出力
される該部分画像に対する動きベクトルも併せて、それ
ぞれの出現確率に応じたハフマン符号等を用いて可変長
符号化して出力する。この識別符号と動きベクトルを併
せて１つのハフマン符号を形成すれば、効率の良い符号
化が可能である。また、この符号化において、予め決め
られた規則により指定される領域の符号化データを再生
して得られた画像データ、或いは固定データとの差分が
設定値以下の入力画像データについては、その様な部分
画像の連続数を可変長符号化すれば、更に符号化効率が
向上する。

【００５３】符号量評価回路３５１は、符号化対象の部
分画像が動きベクトルで指定された領域との差分を符号
化した場合と、入力データをそのままＤＣＴして符号化
した場合とで符号量の比較を行い、符号化効率の良い方
の符号化データを出力バッファ３６０および局部復号回
路４００に出力する。

【００５４】出力バッファ３６０は、出力データ速度の
調整の為に、この符号化データを一時的に記憶すると共
に、量子化回路３３０で用いられる量子化幅とエントロ
ピ符号化器３４０で用いられる符号化テーブルを制御す
る。

【００５５】局部復号回路４００においては、動きベク
トル検出回路２００より出力される部分画像データがデ
ータメモリ４４１に一時記憶されるとともに、符号量評
価回路３５１より出力される符号化データが可変長復号
器４１０に入力され、識別符号を含む動きベクトルおよ
び符号化前の量子化データが復号される。この復号され
た量子化データは逆量子化回路４２０に入力され、量子
化前のダイナミックレンジを持つ代表値に変換（逆量子
化）された後、加算回路４５０に入力される。逆量子化
回路４２０で逆量子化されたデータは逆ＤＣＴ回路４３
０に入力され、部分画像データ又は差分画像データが再
生される。ゲート回路４４２は、可変長復号器４１０が
復号した識別符号により、逆ＤＣＴ回路４３０より出力
される再生データが差分画像データである場合にはデー
タメモリ４４１より出力される部分画像データを通過さ
せ、差分画像でない場合には出力データを零にして、そ
れぞれ加算回路４５０に出力する。

【００５６】こうして逆ＤＣＴされた画像データが差分
画像を符号化したものである場合には、動きベクトル検
出回路２００より出力される部分画像データに加算さ
れ、差分画像でない場合には、動きベクトル検出回路２
００より出力された部分画像データを使用せずに、加算
回路４５０より再生画像が得られる。この再生画像デー
タは、動きベクトル検出回路２００に入力され、次に入
力される画像データの符号化の為に一時記憶される。

【００５７】図８は本発明の第４の実施形態であり、図
１の符号化回路４００に含まれる可変長復号回路４１０
の代わりに量子化データを記憶するデータメモリ４６０
を用いた点が異なっている。この場合には、入力バッフ
ァメモリ１００より出力される部分画像データとそれに
対する動きベクトルで指定される再生画像との差分画像
データをＤＣＴおよび量子化したデータがデータメモリ
４６０に一時記憶される。そして、符号量評価回路３５
２で選択され、出力バッファ３６０に出力される符号化
データに対応する画像データが逆量子化回路４２０に出
力される。この画像データが差分画像データである場合
には、図１の例と同様にデータメモリ４４１から出力さ
れる部分画像データと加算回路４５０において加算され
ることによって再生画像が得られる。

【００５８】この実施形態は、復号の為の演算が不要で
あるために、図１よりも処理時間が短くなるという利点
がある。

【００５９】図９は本発明の第５の実施形態であり、符
号化回路４００の一部を動きベクトル検出回路に用いる
様にした例である。この実施形態においても、動きベク
トル検出回路２００は既に符号化し再生した画像の中か
ら読出制御回路２２４に従って部分画像データを切替回
路２３２を介して読み出すと共に、その領域の位置を示
す動きベクトル（アドレスデータ）を出力する。

【００６０】図９において、入力端子００１に入力され
る画像データは、図７および図８と同様に入力バッファ
メモリ１００に一時的に蓄えられた後、符号化対象画像
の順序に従って複数画素で構成される領域毎に入力バッ
ファメモリ１００より読み出され、局部符号化回路３０
０に入力される。この入力バッファメモリ１００より出
力される部分画像データは、先ず入力端子００２に入力
される制御信号によりゲート回路３１３を介して入力さ
れる動きベクトル検出回路２００からの出力データとの
差分はとられず、図７および図８と同様にＤＣＴ、量子
化、可変長符号化が施される。量子化データはデータメ
モリ４６０に記憶され、符号化データおよび符号量は符
号量評価器３５３に記憶される。次に、入力端子００２
に入力される制御信号が変更され、動きベクトル検出回
路２００により出力される部分画像データとの差分を算
出されて、図７および図８と同様にＤＣＴ、量子化、可
変長符号化が行われる。

【００６１】符号量評価器３５３は、エントロピ符号器
３４０からの符号化データを評価して、その評価結果に
従って読出制御回路２２４を制御することにより、符号
量を更に少なくできる領域を検出する毎にその符号化デ
ータを記憶させると共に、動きベクトル検出回路２００
から出力された部分画像データをデータメモリ４４１に
記憶させ、その差分画像をＤＣＴして量子化したデータ
をデータメモリ４６０に記憶させる。この様にして最終
的に最も符号量の少なくなる符号化データが出力バッフ
ァ３６０に出力される。この符号化データに対する量子
化データが局部復号回路４００において図７および図８
と同様に再生される。再生データは動きベクトル検出回
路２００に入力され、次に入力される画像データの符号
化の為に一時記憶される。

【００６２】図７および図８の実施形態においては、最
適動きベクトルとして、より正確な動きベクトルが求ま
るのに対し、図９の実施形態では符号化効率を最大にす
る動きベクトルが求められる。

【００６３】図１０は、図７〜図９で示した実施形態に
おいて符号化されたデータを再生する回路例を示すもの
である。可変長復号器５１０は入力端子００４から入力
される符号化データを復号し、量子化幅情報、動きベク
トル（動きベクトルで指定される部分画像との差分画像
データかそうでないかの識別符号を含む）、および量子
化データを再生する。量子化データは逆量子化回路５２
０、逆ＤＣＴ回路５３０を通して再生される。この再生
データが動きベクトルで指定される部分画像との差分画
像データであれば、読出制御回路５２１がその部分画像
データを再生画像メモリ６１１〜６１４より読み出して
動きベクトル検出回路６００から出力し、局部復号回路
５００に入力する。この部分画像データは、ゲート回路
５４０を介して加算回路５５０で差分画像データと加算
されて、再生画像データとなる。この再生画像データ
は、次に入力される符号化データの再生の為に動きベク
トル検出回路６００に入力され、一時記憶される。ま
た、この再生画像データは出力バッファ５６０にも入力
され、本来の画像の順序に戻されて出力される。

【００６４】次に、図７および図８の評価回路２４２お
よび読出制御回路２２１、図９の符号量評価器３５２お
よび読出制御回路２２４において行われる動きベクトル
の探索動作について説明する。

【００６５】図１１〜図１６は、本発明による動きベク
トル探索例を示すものである。これらの図１１〜図１６
において、ｓ１，ｓ２，…，ｓ６は１フレームまたは１
フィールドの画像を意味し、１０１，１０２，…，１２
０は水平方向または垂直方向の１画素または複数画素を
意味する。

【００６６】図１１に示す動きベクトル探索例において
は、符号化対象の部分画像（例えばｓ４−１０４）に対
して、先ず時間的に近い符号化済み画像ｓ３全体（１０
１〜１２０）を探索し、その探索により求められた最適
動きベクトル、すなわち符号化効率が高いか、またはよ
り正確な動きベクトル（例えばｓ３−１０７）を基にし
て符号化対象画像に符号化済み画像ｓ３よりも時間的に
離れた符号化済み画像ｓ２での探索範囲（面積）を例え
ば（１０５〜１１５）に限定する。

【００６７】この時間的に離れた符号化済み画像ｓ２で
の探索においては、先に求められた最適動きベクトル
（例えばｓ０３−１０７）を含めて、最適動きベクトル
（例えばｓ０２−１０９或いはｓ０３−１０７）を求め
る。

【００６８】そして、得られた最適動きベクトル（例え
ばｓ２−１０７）により指定される領域の画像と、符号
化対象の部分画像（例えばｓ４−１０４）との差分、す
なわち動き補償誤差を求め、その最適動きベクトルと動
き補償誤差を符号化する。

【００６９】図１２〜図１４に示す動きベクトル探索例
は、符号化対象画像ｓ４に時間的に近い画像（例えばｓ
３）が時間的に離れた画像（例えばｓ１）との間の動き
ベクトルを用いて符号化されている場合に好適な例であ
る。この場合、符号化対象の部分画像ｓ４−１０４に対
して時間的に近い画像ｓ３との間の動きベクトルを予測
することが可能であるため、その時間的に近い画像ｓ３
での探索範囲を例えば（１０３〜１１２）に制限してい
る。また、これによって時間的に近い画像との間の符号
化効率の良い動きベクトル（例えばｓ３−１０７）が求
まれば、その動きベクトルで指定される時間的に近い画
像の部分領域（例えばｓ３−１０７）に対して使用され
た時間的に離れた画像（例えばｓ１）との間の動きベク
トル（例えばｓ１−１１０）を用いて、符号化対象画像
ｓ４の部分画像ｓ４−１０４の時間的に離れた画像（例
えばｓ２）との間の動きベクトルの候補となる領域を更
に狭い範囲、例えば（１０７〜１１０）に限定できる。

【００７０】図１５に示す動きベクトル探索例は、画像
間で動きが非常に大きく、時間的に近い画像ｓ３でも候
補となる動きベクトルが存在しない場合や、時間的に近
い画像ｓ３で候補として求められた動きベクトル（例え
ばｓ３−１１６）が非常に大きく、時間的に離れた画像
ｓ２では符号化効率の良い動きベクトルが存在しないこ
とを予想できる場合の例である。

【００７１】このような場合、時間的に離れた画像ｓ２
については動きベクトルの探索を行わないか、または探
索範囲を例えば（１１６〜１２０）のように更に限定す
ることができる。これにより、動きベクトルの探索に要
する演算量が少なくても、符号化効率の良い動きベクト
ルを求めることが可能となる。

【００７２】図１６に示す動きベクトル探索例は、符号
化対象の部分画像ｓ４−１０４に時間的に近い画像ｓ３
で求められた動きベクトル（例えばｓ３−１０７）があ
る程度大きな場合や、適当な動きベクトルが求められな
かった場合の例である。これらの場合は、時間的に離れ
た画像ｓ２での動きベクトルの探索は行わず、時間的に
近い画像ｓ３との間の動きベクトルが小さい場合にの
み、時間的に離れた画像ｓ２での探索範囲を符号化対象
画像ｓ４の符号化領域と同じ位置の近傍（例えば１０３
〜１０５）に制限して動きベクトルの探索を行うように
する。

【００７３】時間的に近い画像間の動きが大きな場合に
は、通常のカメラ撮影の画像では１画像の中でも動きに
よる“ぼけ”が存在するため、画像間で動き補償を行う
ときに１／２画素単位の差を生じ難い。即ち、そのよう
な場合は時間的に更に離れた画像で動きベクトルを求め
ても、探索のための演算量が増加するにも拘らず、符号
化効率の向上は少ない。図１６の例によれば、このよう
な場合は動きの大きな画像では時間的に離れた画像の動
きベクトルを符号化しないために、符号化する種類が少
なくなり、更に符号化効率が高くなる。

【００７４】なお、本発明における符号化の方法はフレ
ーム内、フィールド内符号化、或いはフレーム間、フィ
ールド間差分符号化のいずれでもよく、更に他の符号化
方式と組み合わせることも可能である。また、本発明に
よる動きベクトルの探索方法は、予め任意の画像数間隔
で符号化した符号化済み画像を参照画像として、それら
の間の画像に対して動きベクトルを求める場合にも同様
に符号化対象画像の前後から探索を行うことができる。

【００７５】次に、第６の実施形態について説明する。
図１７は、本発明の第６の実施形態に係る動画像符号化
装置のブロック図である。本実施形態は、ＭＰＥＧ１の
シミュレーションモデルであるＳＭ３のような符号化方
式に本発明を適用した例であり、符号化のアルゴリズム
は基本的に動き補償＋ＤＣＴ（離散コサイン変換）方式
を採用している。但し、入力画像フォーマットは例えば
ＣＣＩＲ Ｒｅｃ．６０１／５２５に定義される画像フ
ォーマットのようなインタレースフォーマットである。
この画像フォーマットを図１８に示す。図１８におい
て、Ｙは輝度信号、Ｃｒ，Ｃｂは色信号であり、それぞ
れの信号の１フィールド当たりの画素数は図中に示した
通りである。

【００７６】符号化単位はＳＭ３と同様に、階層的に構
成される。すなわち、図１９に示されるように、下位か
らブロック、マクロブロック、スライス、ピクチャ、そ
して図１９には示されていないがグループオブピクチャ
およびシーケンスの順に階層化される。ブロックは８×
８画素よりなり、ＤＣＴはこのブロック単位で行われ
る。マクロブロックはＹブロック２個と、Ｃｒブロック
およびＣｂブロック各１個の計４ブロックよりなり、動
き補償および各符号化モードの選択は、このマクロブロ
ック単位で行われる。

【００７７】グループオブピクチャ（ＧＯＰ）は、次の
ように構成される。ピクチャはＳＭ３と同様に予測モー
ドとして許されるマクロブロック毎のモードの種類によ
って大きくＩ，Ｐ，Ｂの各ピクチャに分けられる。モー
ドとしては、フィールド内予測（Ｉｎｔｒａ）、前方予
測（Ｉｎｔｅｒ：動き補償を含む）、後方予測および両
方向内挿予測の４モードがある（詳細は後述）。これら
のうち、どの予測モードを使用できるかによって表１に
示すようにピクチャの種類がＩ，Ｐ，Ｂの３通りに分類
される。

【００７８】

【表１】

【００７９】本実施形態では、ＳＭ３と異なり、符号化
ピクチャフォーマットとしてインタレースフォーマット
を採用しており、同じ種類のピクチャでもＧＯＰ内での
位置により予測方法等が異なるため、ピクチャはさらに
細かく分類される。図２０に、ＧＯＰの構成と各ピクチ
ャがどのピクチャから予測されるかを示す。同図に示さ
れるように、ＧＯＰはランダムアクセスおよび特殊再生
用にエントリポイントとして周期的に設けられたＩピク
チャに先行するＢ₀ ピクチャから始まり、次のＩピクチ
ャの前にあるＰ₂ で終わるピクチャの組によって定義さ
れる。Ｉピクチャは偶数フィールドのみに現われる。

【００８０】また、各ピクチャがどのピクチャからどの
ように予測されるかを表２および図２１に示した。

【００８１】

【表２】

【００８２】予測方法には偶数フィールドのみから予測
するフィールド間予測と、偶／奇各１フィールドずつか
ら適応的に予測を行なうフィールド間／フレーム間適応
予測の二通りがある。図２１で矢印は、フィールド間予
測に行なうことを示し、また２本の線が１本の矢印に統
合されている記号は、フィールド間／フレーム間適応予
測を行なうことを示している。また、１ＧＯＰ内での各
ピクチャの符号化順序は図２０（ｂ）に示される通りで
ある。

【００８３】以上の点を踏まえて、図１７に示す動画像
符号化装置を説明する。図１７において、入力端子７０
０にはインターレースされた動画像信号が入力される。
この入力動画像信号は、フィールドメモリ７０１に連続
した８フィールド分蓄えられる。フィールドメモリ７０
１内の動画像信号は第１の動きベクトル検出回路７１０
に供給され、原動画像によるテレスコーピックサーチ
（後述）により、動きベクトル検出が１画素精度で行わ
れる。これが動き補償の第１段階の処理である。

【００８４】次に、動き補償の第２段階での前処理とし
て、局部復号ループ内のフィールドメモリ７０８に蓄え
られた局部復号信号を用いて、動きベクトル検出回路７
１０で原画像を用いて求められた動きベクトルをその回
りの±１の範囲を全探索することにより、リファインす
る。

【００８５】次に、動き補償の第２の段階として、フィ
ールドメモリ７０８とフィールド間／フレーム間適応予
測回路７０９および第２の動きベクトル検出回路７１１
において局部復号信号を用いた１／２画素精度の動きベ
クトル検出が行われ、予測回路７０９により予測信号が
生成される。この予測信号は減算器７０２に入力されて
フィールドメモリ７０１からの動画像信号との差がとら
れ、この差が予測誤差信号として出力される。

【００８６】この予測誤差信号はＤＣＴ回路７０３によ
り離散コサイン変換され、ＤＣＴ係数データが得られ
る。このＤＣＴ係数データは量子化回路７０４で量子化
され適応スキャンされた後、２次元可変長符号化回路７
１０を経てマルチプレクサ７１４に入力される。量子化
後のＤＣＴ係数データは、逆量子化回路７０５および逆
ＤＣＴ回路７０６を経て局部復号され、Ｉ，Ｐピクチャ
のみがフィールドメモリ７０８に書きこまれる。フィー
ルドメモリ７０８は、適応予測に必要な４フィルード分
用意される。

【００８７】マルチプレクサ７１４では、ＤＣＴ係数デ
ータと、後述する第２の動きベクトル検出回路７１１か
らの動きベクトルおよび符号化制御部７１７からのマク
ロブロックタイプや、ステップサイズ等の付加情報が多
重化される。マルチプレクサ７１４で多重化された情報
は、バッファ７１５を経て一定の伝送レートとされ、例
えばＶＴＲ等の蓄積系（記録媒体）へ出力される。

【００８８】符号化制御部７１７においては、バッファ
７１５でのバッファ量と、アクティビティ計算回路７１
６で計算されたマクロブロック内アクティビティ（Ｉピ
クチャ）または直前の同モードの量子化前の信号のマク
ロブロック内アクティビティ（Ｐ，Ｂピクチャ）を使っ
て、量子化回路７０４での量子化ステップサイズを制御
している。

【００８９】次に、図１７の動画像符号化装置に対応す
る動画像復号装置の構成を図２２により説明する。入力
端子８００には、蓄積系から読み出された信号が入力さ
れ、バッファ８０１に一旦蓄えられる。バッファ８０１
から読み出された信号は、デマルチプレクサ／可変長復
号回路８０１に入力され、図１７のマルチプレクサ７１
４で多重化されたＤＣＴ係数データ、動きベクトルおよ
びステップサイズ等の付加情報が分離されると共に復号
される。

【００９０】すなわち、ＤＣＴ係数データは２次元可変
長復号されスキャン変換された後、図１７の動画像符号
化装置における局部復号ループと同様、逆量子化回路８
０３および逆ＤＣＴ回路８０４を経て局部復号され、加
算器８０５および４フィールド分のフィールドメモリ８
０６を経て適応予測回路８０７に入力される。一方、動
きベクトルは後述のように差分の形で送られてくるの
で、可変長復号の後、もとの形に戻されて適応予測回路
８０７に供給される。適応予測回路８０７では予測信号
が生成され、この予測信号と逆ＤＣＴ回路８０４からの
局部復号信号が加算器８０５で加算されることにより、
元の動画像信号がフィールドメモリ８０６を介して取り
出される。フィールドメモリ８０６の出力は図示しない
画像表示部に供給される。

【００９１】但し、画像の表示については復号順序と表
示順序が異なることと、Ｂピクチャは予測に用いないた
めフィールドメモリに蓄えておく必要がないことから、
Ｉ，Ｐピクチャの出力はフィールドメモリ８０６から出
力し、Ｂピクチャは復号しながらそのまま出力するとい
う切替えを行っている。

【００９２】次に、本実施形態における動き補償と動き
ベクトル検出動作について詳細に説明する。動き補償
は、前述のようにマクロブロック単位で行われる。動き
ベクトル検出は、第１の動きベクトル検出回路７１０で
の１画素精度の通常のブロックマッチングによる動きベ
クトル検出と、この１画素精度の動きベクトルで指定さ
れる参照画像の周囲１／２画素精度の画素位置に適応的
な時空間内挿を行った各点について、動きベクトルを探
索することによる第２の動きベクトル検出回路７１１で
の動きベクトル検出である。時空間内挿の具体的な方法
については、後述する。

【００９３】第１の動きベクトル検出回路７１０での動
きベクトル検出は、入力動画像の各フィールド画像どう
しを用いて１画素精度で各フィールド毎に全探索により
最適な動きベクトルを見つける処理である。離れたフィ
ールド間のサーチには、テレスコーピックサーチ（ＳＭ
３参照）を用いている。但し、フィールド画像ではフィ
ールド間のサーチ経路として、複数の経路が考えられ
る。本実施形態では、以下の規則に従ってサーチ経路を
決定している。

【００９４】１）同位相フィールド間のサーチ 同位相のフィールドのみを用いて行う。 ２）逆位相フィールド間のサーチ できるだけ同位相のフィールドを用いて行う。

【００９５】唯１回、逆位相フィールド間のサーチを経
路に含める必要があるが、本実施形態では図２４にテレ
スコーピックサーチの順序を示すように、始めに異なる
位相のフィールドをサーチするようにしている。例えば
Ｉ→Ｐ₂ の動きベクトルを求める時は、Ｉ→Ｐ_o →Ｂ₁
→Ｂ₃ →Ｐ₂ の順でサーチし、Ｉ→Ｂ₀ →Ｂ₂ →Ｐ₁→
Ｐ₂ のような経路は通らない。なお、図２４で斜線を施
して示す範囲がサーチ範囲である。このテレスコーピッ
クサーチは、順方向と逆方向について別々に行われる。
また、各隣接フィールド間のサーチ範囲は、水平±１５
画素、垂直±７画素である。

【００９６】第２の動きベクトル検出回路７１１での動
きベクトル検出は、局部復号ループ内のフィールドメモ
リ７０８に蓄積されている画像を参照画像として行われ
る。まず、この動きベクトル検出の前処理として、第１
の動きベクトル検出回路７１０で得られた動きベクトル
で指定される参照画像の周囲±１画素の範囲を全探索す
ることにより、動きベクトルがリファインされる。第２
の動きベクトル検出回路７１１での動きベクトル検出の
メインプロセスは、リファインにより得られた動きベク
トルで指定される参照画像の周囲１／２画素精度の位置
に後述する方法で生成された複数の予測信号候補につい
て、予測誤差電力を全て評価し比較することにより、最
適な予測信号候補を選択することによって行われる。

【００９７】なお、色信号については動きベクトル検出
は行われず、動き補償は輝度信号で得られた動きベクト
ルを基にして行われる。

【００９８】次に、図１７のフィールド間／フレーム間
適応予測回路７０９の処理について説明する。図２３
は、フィールド間／フレーム間適応予測回路７０９の一
部の構成を示すブロック図である。

【００９９】前述したように、動き補償の第２段階は第
１の動きベクトル検出回路７１０で得られた動きベクト
ルで指定される参照画像の周囲１／２画素精度の範囲の
探索である。図２５（ｂ）に、その様子を示した。この
フィールド間／フレーム間適応予測は、Ｐ₁ ，Ｐ₂ ，Ｂ
の各ピクチャにおいて、符号化対象画像（符号化フィー
ルド）に対して例えばその前の偶奇各１フィールドのペ
ア＃１，＃２を参照画像（参照フィールド）として用い
て行われる。

【０１００】図２５（ａ）に示す動き補償の第１段階
で、動きベクトル検出回路７１０により、それぞれの参
照フィールド＃１，＃２での最適点（●で示す）が各々
動きベクトルＶ１，Ｖ２で得られたとする。図２５
（ｂ）に示す動き補償の第２段階では、この動きベクト
ルＶ１，Ｖ２で指定される２つの最適点の周囲の１／２
画素精度の領域の参照画像にフィールド間／フレーム間
適応予測回路７０９において時空間フィルタを施して複
数の予測信号候補を求め、この予測信号候補と動きベク
トル検出回路７１０で検出された動きベクトルとから、
動きベクトル検出回路７１１で最適動きベクトルの探索
を行う。この場合、予測信号候補の生成法としては、フ
ィールド補間モードとフレーム補間モードの２つのモー
ドがある。

【０１０１】まず、フィールド補間モードでは、予測信
号候補は時空間フィルタのうち空間フィルタのみによっ
て生成される。すなわち、図２５（ｂ）の画素Ａ〜Ｃの
画素値は、 Ａ＝（Ｏ＋Ｄ）／２ Ｂ＝（Ｏ＋Ｄ＋Ｅ＋Ｆ）／４ Ｃ＝（Ｏ＋Ｆ）２ により作成される。このフィールド補間モードでは、偶
奇各フィールドに９点ずつ、計１８点の予測信号候補の
探索点が存在する。

【０１０２】一方、フレーム補間モードでは、予測信号
候補は各フィールドにおいて１画素精度の動き補償を行
った信号に、時空間フィルタの処理を施すことにより作
成される。例えば図２５（ｂ）の画素Ａ〜Ｃの画素値
は、 Ａ＝Ｇ／２＋（Ｏ＋Ｄ）／４ Ｂ＝Ｇ／２＋（Ｏ＋Ｄ＋Ｅ＋Ｆ）／８ Ｃ＝Ｇ／２＋（Ｏ＋Ｆ）１／４ により作成される。この場合に、１／２画素精度の画素
位置のデータを提供する側のフィールドを基準フィール
ドと呼ぶことにする。このフレーム補間モードにおいて
も、予測信号候補は偶奇各フィールドに９点ずつある
が、画素Ｏの位置の予測信号は一致するので、計１７点
の予測信号候補の探索点が存在することになる。

【０１０３】動き補償の第２段階では、この両者の和３
５点の予測信号候補の探索を行って最も予測誤差が小さ
い予測信号候補を予測信号として決定する。但し、両フ
ィールドに対し指している動きベクトルの方向が大きく
ずれている場合には、フレーム補間モードは選択されな
い（詳細は後述）。

【０１０４】フィールド補間モードおよびフレーム補間
モードのいずれが選択されたかを示す情報と、どのフィ
ールドをフィールド補間モードに使用する参照フィール
ドまたはフレーム補間モードにおける基準フィールドと
して選んだかを示す情報は、１ビットのフラグにより伝
送される。なお、Ｐ₀ 及びＰ₂ の直前のフィールドによ
る予測については、フィールド補間モードを単一フィー
ルドに適応したモードのみによって予測される。この場
合、モード選択のフラグは伝送されない。

【０１０５】以上はＰピクチャについての説明であった
が、Ｂピクチャの場合もほぼ同様である。但し、Ｂピク
チャの場合、フィールド補間モードの探索フィールド及
びフレーム補間モードの基準フィールドとしては、符号
化フィールドと同位相のフィールドのみを選択するよう
にしている。勿論、この場合にいずれのフィールドを選
択したかのフラグは伝送されない。

【０１０６】次に、図２３により上述の原理が実際にハ
ードウェア上でどのように実現されるかについて説明す
る。キャッシュメモリ９０１ａ，９０１ｂおよび９０２
ａ，９０２ｂには、図１７の局部復号ループの４フィー
ルド分のフィールドメモリ７０８からの画像信号のう
ち、第２の動きベクトル検出の前処理で得られた動きベ
クトルで指示された部分が記憶される。切替回路９００
は、第２の動きベクトル検出回路７１１からの制御信号
に従ってキャッシュメモリ９０１ａ，９０１ｂの出力を
時間フィルタ９０３と空間フィルタ９０５に振り分け、
またキャッシュメモリ９０２ａ，９０２ｂの出力を時間
フィルタ９０４と空間フィルタ９０６に振り分ける。

【０１０７】セレクタ９０７は第２の動きベクトル検出
回路７１１からのフィールド補間モードおよびフレーム
補間モードのいずれを選択するかを示す制御信号に従っ
て、空間フィルタ９０５のみを通過した信号と、空間フ
ィルタ９０５および時間フィルタ９０３の両方を通過し
た信号のいずれかを選択する。セレクタ９０８も同様で
ある。例えば、切替回路９００から時間フィルタ９０３
に図２５（ｂ）の画素Ｇの信号が入力され、空間フィル
タ９０５から図２５（ｂ）の画素Ｂの信号が出力された
とすると、時間フィルタ９０３の出力には画素Ｇと画素
Ｂの信号を平均した信号、つまり時空間フィルタ処理を
施した信号が得られる。従って、フィールド補間モード
では空間フィルタ９０５の出力を選択し、フレーム補間
モードでは時間フィルタ９０３の出力を選択すればよ
い。

【０１０８】セレクタ９０７，９０８の出力はセレクタ
９１１に直接入力される一方、加算器９０９で加算され
除算器９１０で１／２にされた後セレクタ９１１に入力
される。セレクタ９１１は、これら３つの入力、すなわ
ちセレクタ９０７からの参照フィールド＃１，＃２を使
って予測した信号と、セレクタ９０８からの参照フィー
ルド＃３，＃４を使って予測した信号および除算器９１
０からの参照フィールド＃１〜＃４を使って予測した信
号を選択して、予測信号候補として第２の動きベクトル
検出回路７１１へ出力する。動きベクトル検出回路７１
１では、これらの予測信号候補３５個の中から、前述の
ようにして最も予測誤差が小さい予測信号候補を予測信
号として決定し、その旨を示す情報をへ返送する。これ
によりフィールド間／フレーム間適応予測回路７０９
は、動きベクトル検出回路７１１により指示された予測
信号を減算器および加算器７０７へ出力する。

【０１０９】次に、第２の動きベクトル検出回路７１１
からの動きベクトルをどのような形態で符号化して送る
かについて説明する。まず、フィールド補間モードでの
動きベクトルまたはフレーム補間モードでの基準フィー
ルド側の動きベクトルを基準ベクトルとして可変長符号
化回路７１３で符号化してマルチプレクサ７１４へ送
る。この動きベクトル（基準ベクトル）は１／２画素精
度である。フレーム補間モードが選ばれた場合には、さ
らに基準フィールドでない方のフィールドの動きベクト
ルと基準フィールドでの動きベクトル（基準ベクトル）
を当該フィールドに換算したものとの差分を同様に符号
化して送る。すなわち、基準フィールドでの動きベクト
ルの延長線と、基準フィールドでない方のフィールドの
交わる点に一番近い点と、該動きベクトルとの差分を１
画素精度で送るものとする。この２つの動きベクトルの
方向が近い場合以外は、フレーム補間モードは有効でな
いと考えて、この差分の値が±１の範囲を越える場合に
はフレーム補間モードは選択しないものとする。

【０１１０】図２６は、この動きベクトルの送り方の具
体例を示したもので、参照フィールド＃１の１／２画素
精度の動きベクトル（図中上側の矢印で示す）と参照フ
ィールド＃２の交わる点△に一番近い点●と、参照フィ
ールド＃２の１画素精度の動きベクトル（図中下側の矢
印で示す）との差分（図中縦方向に延びた矢印）を１画
素精度で送る。図２６の例では、差分は−１である。こ
のようにすることによって、予測の性能を落とすことな
く、動きベクトルの情報量を節約することができる。

【０１１１】次に、色信号の動き補償について説明す
る。図１９に示したように、一つのマクロブロック内で
輝度信号Ｙと色信号Ｃｒ，Ｃｂは垂直方向には同じ画素
数であるが、水平方向では色信号の画素数が半分になっ
ている。従って、輝度信号で得られた動きベクトルを色
信号に適用する際には、動きベクトルの水平方向の成分
を１／２にする。１／２の除算は、整数以下を０の方向
に丸めるようにして行われる。これはフィールド補間モ
ードでもフレーム補間モードでも同じである。

【０１１２】図２７（ａ）（ｂ）に、フィールド補間モ
ードおよびフレーム補間モードにおいて輝度信号の動き
ベクトルから色信号の動きベクトルを求める場合の具体
例を示す。図２７において点線で示された丸印は、色信
号が存在しない画素位置である。第１段階で得られた画
素位置を中央の丸印、第２段階で得られた点を×とす
る。また、この例ではいずれの場合も原点の水平方向座
標は、中央の丸の点の水平方向座標よりも大きいものと
する。図２７（ａ）のフィールド補間モードの場合、×
の位置に輝度信号の動きベクトルが得られると、色信号
の１／４画素精度分はＡ方向に丸められて補間画素△が
作られる。この補間画素△は、 △＝１／４（Ａ＋Ｂ＋Ｃ＋Ｄ） により作成される。図２７（ｂ）のフレーム補間モード
での参照フィールド＃１についても、同様に △＝１／４（Ｅ＋Ｆ＋Ｇ＋Ｈ） により参照フィールド＃１内の補間画素△が作られる。

【０１１３】一、方参照フィールド＃２での補間画素は
色信号の１／２画素精度分がＡ方向に丸められて、Ｉの
位置の画素が使用される。結局、図２７の例の場合、補
間画素△の値は Ｉ×１／２＋（Ｅ＋Ｆ＋Ｇ＋Ｈ）×１／８ により得られることとなる。

【０１１４】

【発明の効果】以上説明したように、本発明によればイ
ンターレース画像に対する精度の良い動き補償予測符号
化を行うことが可能となる。

【０１１５】また、本発明によれば動きベクトル探索に
要する演算量を低減しつつ、正確な動き補償を行い、高
い符号化効率を得ることができる。

【０１１６】さらに、本発明によれば多くの参照フィー
ルドを効果的に使ってインタレース画像に適した効率的
て精度の高い予測を行うことが可能であり、かつこれに
伴う動きベクトル情報の増加を最小限に抑えることがで
きる。

【図面の簡単な説明】

【図１】 第１の実施形態を示すブロック図

【図２】 従来技術における各画面の画像信号の関係を
示す図

【図３】 隣接する３フィールドが既に符号化されてい
ない例を示す図

【図４】 第１の実施形態における各画面の画像信号の
関係を示す図

【図５】 第２の実施形態を示すブロック図

【図６】 第２の実施形態における各画面の画像信号の
関係を示す図

【図７】 第３の実施形態を示すブロック図

【図８】 第４の実施形態を示すブロック図

【図９】 第５の実施形態を示すブロック図

【図１０】 動画像復号装置のブロック図

【図１１】 本発明による動きベクトル探索例を示す図

【図１２】 本発明による動きベクトル探索例を示す図

【図１３】 本発明による動きベクトル探索例を示す図

【図１４】 本発明による動きベクトル探索例を示す図

【図１５】 本発明による動きベクトル探索例を示す図

【図１６】 本発明による動きベクトル探索例を示す図

【図１７】 本発明の第６の実施形態に係る動画像符号
化装置のブロック図

【図１８】 同実施形態における入力画像フォーマット
を示す図

【図１９】 同実施形態における符号化単位の階層構造
を示す図

【図２０】 同実施形態におけるグループオブピクチャ
の構成と符号化順序を示す図

【図２１】 同実施形態における各ピクチャの予測法を
説明するための図

【図２２】 図１７の動画像符号化装置に対応する動画
像復号装置のブロック図

【図２３】 図１７におけるフィールド間／フレーム間
適応予測回路のブロック図

【図２４】 同実施形態におけるテレスコーピックサー
チの順序を示す図

【図２５】 同実施形態におけるフィールド間／フレー
ム間適応予測処理を説明するための図

【図２６】 同実施形態における動きベクトルの送り方
の一例を示す図

【図２７】 同実施形態における動きベクトルから色信
号の動きベクトルを求める具体例を示す図

【符号の説明】

１４…符号化部 １７…動きベクトル探索回路 １９…補間値発生回路 ２０…相関演算回路 ２１…動きベクトル候補発生回路 ２２…最適ベクトル判定回路 ２００，６００…動きベクトル検出回路 ２２１，２２３，２２４，６２１…画像データ読出制御
回路 ２４２，３５１，３５２，３５３…評価回路 ３００…局部符号化回路 ４００…局部復号回路 １０１…フィールドメモリ １０３…ＤＣＴ回路 １０４…量子化回路 １０５…逆量子化回路 １０６…逆ＤＣＴ回路 １０８…フィールドメモリ １０９…適応予測回路 １１０…動きベクトル検出回路 １１１…動きベクトル検出回路 １１２…可変長符号化回路 １１３…可変長符号化回路 １１４…マルチプレクサ １１５…バッファ １１６…アクティビティ計算回路 １１７…符号制御部 ７００…入力端子 ７０１…第１のフィールドメモリ ７０２…減算器 ７０３…ＤＣＴ回路 ７０４…量子化回路 ７０５…逆量子化回路 ７０６…逆ＤＣＴ回路 ７０７…加算器 ７０８…第２のフィールドメモリ ７０９…フィールド間／フレーム間適応予測回路 ７１０…第１の動きベクトル検出回路 ７１１…第２の動きベクトル検出回路 ７１２，７１３…可変長符号化回路 ７１４…マルチプレクサ ７１５…バッファ ７１６…アクティビティ計算回路 ７１７…符号化制御部 ９０３，９０４…時間フィルタ ９０５，９０６…空間フィルタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上野 秀幸 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝総合研究所内 (72)発明者 山口 昇 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝総合研究所内 (72)発明者 山影 朋夫 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝総合研究所内

Claims (8)

【特許請求の範囲】
1. 【請求項１】符号化済み画像信号に対応する連続した第
   １、第２の参照フィールドの画像の画像信号について符
   号化対象フィールドの画像の画像信号との間の第１、第
   ２の動きベクトルによりそれぞれ指定された参照画像信
   号に対し時空間フィルタ処理を施すことにより生成され
   た、前記符号化対象フィールドの画像信号に対する予測
   信号と該符号化対象フィールドの画像信号との差分信号
   を符号化する符号化モードであって、前記第２の動きベ
   クトルとなり得る複数の動きベクトル候補のうち、前記
   第１の動きベクトルに方向が最も近いベクトルと前記第
   ２の動きベクトルとの差分の大きさが所定値以下の範囲
   でのみを選択される符号化モードによって符号化された
   前記差分信号を復号化する復号化手段と、 この復号化手段により復号化された前記差分信号を用い
   て前記符号化対象フィールドの画像の画像信号を再生す
   る手段とを具備することを特徴とする動画像復号化装
   置。
2. 【請求項２】前記予測信号は、前記第１、第２の動きベ
   クトルによりそれぞれ指定された参照画像信号を前記時
   空間フィルタ処理により平均化することによって生成さ
   れた信号であることを特徴とする請求項１記載の動画像
   復号化装置。
3. 【請求項３】連続する第１、第２の参照フィールドの画
   像の画像信号と符号化対象フィールドの画像の画像信号
   との間の第１、第２の動きベクトルによりそれぞれ指定
   された前記第１、第２の参照フィールドの画像上の参照
   画像信号に対し時空間フィルタ処理を施すことにより生
   成された、前記符号化対象フィールドの画像の画像信号
   に対する予測信号と、前記符号化対象フィールドの画像
   の画像信号と前記予測信号との誤差情報を符号化する符
   号化モードであって、前記第２の動きベクトルとなり得
   る複数の動きベクトル候補のうち、前記第１の動きベク
   トルに方向が最も近い換算ベクトルと前記第２の動きベ
   クトルとの差分の大きさが所定値以下の範囲でのみ選択
   される前記符号化モードによって符号化された前記誤差
   情報を復号化する復号化手段と、 前記復号化手段により復号化された前記誤差情報を用い
   て前記符号化対象フィールドの画像の画像信号を再生す
   る手段とを具備することを特徴とする動画像復号化装
   置。
4. 【請求項４】前記時空間フィルタ処理は、前記第１、第
   ２の動きベクトルによってそれぞれ指定された第１、第
   ２の参照フィールドの画像上の参照画像信号を平均化す
   る処理によって生成された信号であることを特徴とする
   請求項３記載の動画像復号化装置。
5. 【請求項５】符号化済み画像信号に対応する連続した第
   １、第２の参照フィールドの画像の画像信号について符
   号化対象フィールドの画像の画像信号との間の第１、第
   ２の動きベクトルによりそれぞれ指定された参照画像信
   号に対し時空間フィルタ処理を施すことにより生成され
   た、前記符号化対象フィールドの画像信号に対する予測
   信号と該符号化対象フィールドの画像信号との差分信号
   を符号化する符号化モードであって、前記第２の動きベ
   クトルとなり得る複数の動きベクトル候補のうち、前記
   第１の動きベクトルに方向が最も近いベクトルと前記第
   ２の動きベクトルとの差分の大きさが所定値以下の範囲
   でのみを選択される符号化モードによって符号化された
   前記差分信号を復号化する復号化ステップと、 この復号化ステップにより復号化された前記差分信号を
   用いて前記符号化対象フィールドの画像の画像信号を再
   生するステップとを具備することを特徴とする動画像復
   号化方法。
6. 【請求項６】前記予測信号は、前記第１、第２の動きベ
   クトルによりそれぞれ指定された参照画像信号を前記時
   空間フィルタ処理により平均化することによって生成さ
   れた信号であることを特徴とする請求項５記載の動画像
   復号化方法。
7. 【請求項７】連続する第１、第２の参照フィールドの画
   像の画像信号と符号化対象フィールドの画像の画像信号
   との間の第１、第２の動きベクトルによりそれぞれ指定
   された前記第１、第２の参照フィールドの画像上の参照
   画像信号に対し時空間フィルタ処理を施すことにより生
   成された、前記符号化対象フィールドの画像の画像信号
   に対する予測信号と、前記符号化対象フィールドの画像
   の画像信号と前記予測信号との誤差情報を符号化する符
   号化モードであって、前記第２の動きベクトルとなり得
   る複数の動きベクトル候補のうち、前記第１の動きベク
   トルに方向が最も近い換算ベクトルと前記第２の動きベ
   クトルとの差分の大きさが所定値以下の範囲でのみ選択
   される前記符号化モードによって符号化された前記誤差
   情報を復号化する復号化ステップと、 前記復号化ステップにより復号化された前記誤差情報を
   用いて前記符号化対象フィールドの画像の画像信号を再
   生するステップとを具備することを特徴とする動画像復
   号化方法。
8. 【請求項８】前記時空間フィルタ処理は、前記第１、第
   ２の動きベクトルによってそれぞれ指定された第１、第
   ２の参照フィールドの画像上の参照画像信号を平均化す
   る処理によって生成された信号であることを特徴とする
   請求項７記載の動画像復号化方法。