JPH06153185A - 動き補償装置及びこれを用いた符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】画像が拡大又は縮小された場合でも動き補償誤
差を低減させる。 【構成】フレームメモリ11からの前フレームの再生画像
データは間引き回路31及び補間回路32に与えて、縮小及
び拡大して夫々動き補償回路29，30に与える。これによ
り、前フレームの再生画像を現フレームの画像に対応し
た大きさに変換することができる。動きベクトル検出回
路27，28は、夫々、間引き回路25及び補間回路26によっ
て夫々縮小又は拡大された前フレームの画像データと現
フレームの画像データとから動きベクトルを求める。動
き補償回路29，30は動きベクトル検出回路27，28からの
動きベクトルを用いて間引き回路31及び補間回路32の出
力を動き補償する。画像の拡大又は縮小に応じて、動き
補償回路29，30の出力を選択することにより、動き補償
誤差を低減することができ、予測誤差を小さくして圧縮
効率を向上させることができる。

Description

【発明の詳細な説明】

【０００１】［発明の目的］

【産業上の利用分野】本発明は、予測誤差を最小にする
ようにした動き補償装置及びこれを用いた符号化装置に
関する。

【０００２】

【従来の技術】近年、画像のディジタル圧縮が検討され
ている。特に、ＤＣＴ（離散コサイン変換）を用いた高
能率符号化については、各種標準化案が提案されてい
る。ＤＣＴは、１フレームを複数のブロック（ｍ画素×
ｎ水平走査線）に分割し、このブロック単位で映像信号
を周波数成分に変換することにより、空間軸方向の冗長
度を削減するものである。ところで、テレビジョン信号
の動画用の高能率符号化方式として、ＣＣＩＴＴ（Comi
te Consultafif Internatinal Telegraphique et Telep
honique ）はＭＰＥＧ（Moving Picture Experts Grou
p）方式を提案した。この方式においては、１フレーム
内でＤＣＴによる圧縮（フレーム内圧縮）を行うだけで
なく、フレーム間の相関を利用して時間軸方向の冗長度
を削減するフレーム間圧縮も採用する。フレーム間圧縮
は、一般の動画像が前後のフレームでよく似ているとい
う性質を利用して、前後のフレームの差分を求め差分値
を符号化することによって、ビットレートを一層低減さ
せるものである。この場合には、画像の動きを予測して
フレーム間差を求めることにより予測誤差を低減する動
き補償フレーム間予測符号化が採用される。

【０００３】この動き補償フレーム間予測符号化につい
ては、例えば、「テレビディジタル符号化技術の動向」
（放送技術（1992-5 ,p.70））等に詳述されている。す
なわち、この符号化においては、現フレームの画像デー
タＤ（ｎ）と１フレーム前の画像データＤ（ｎ−１）と
の間で動きベクトルを求める。前フレームの符号化デー
タを復号化して得た画像データを動きベクトルによって
動き補償して、動き補償した前フレームの画像データ
Ｄ′（ｎ−１）を得る。この画像データＤ′（ｎ−１）
と現フレームの画像データＤ（ｎ）との間で差分をと
り、この差分値（動き予測による誤差成分）を符号化し
て出力する。

【０００４】図７はこのような従来の動き補償装置を組
込んだ符号化装置を示すブロック図である。

【０００５】入力端子１には例えば８×８画素のブロッ
ク単位の画像データを入力する。この画像データはスイ
ッチ３の端子ａを介してＤＣＴ回路４に与えると共に、
減算器２及びスイッチ３の端子ｂを介してＤＣＴ回路４
に与える。フレーム内圧縮を行う場合には、後述するよ
うに、スイッチ３は端子ａを選択しており、画像データ
はそのままＤＣＴ回路４に入力される。ＤＣＴ回路４は
例えば８×８画素の２次元ＤＣＴ処理によって、空間座
標成分を周波数成分に変換する。これにより、入力画像
が有する空間冗長性によって、エネルギの殆どは直流成
分から周波数低域成分に集中し、相関成分を削減可能と
なる。すなわち、ＤＣＴ回路４の出力は量子化回路５に
与え、量子化回路５はＤＣＴ出力を可変長符号化回路６
からの量子化係数で量子化することによって、１ブロッ
クの信号の冗長度を低減する。

【０００６】量子化回路５からの量子化データは可変長
符号化回路６に与えて、量子化出力の統計的符号量から
算出した結果に基づいて、例えばハフマン符号化する。
これにより、出現確率が高いデータは短いビットが割当
られ、出現確率が低いデータは長いビットが割当られ
て、伝送量が一層削減される。可変長符号化回路６の出
力を出力端子７に出力する。

【０００７】なお、可変長符号化回路６は図示しないバ
ッファメモリを介して符号化出力を出力している。符号
化出力のデータ量は、入力画像に依存して大きく変化す
る。そこで、可変長符号化回路６は、バッファメモリの
データ占有量を監視し、この占有量に基づいた量子化係
数を量子化回路５に与えることにより、出力データ量を
調整して定レート化を図っている。

【０００８】一方、スイッチ３が端子ｂを選択している
場合には、減算器２において、入力端子１からの現フレ
ームの信号と、後述する動き補償された前フレームのデ
ータとを引算して、差分値（予測誤差）をＤＣＴ回路４
に与える。すなわち、この場合には、フレーム間の画像
の冗長性を利用して差分データを符号化するフレーム間
圧縮符号化が行われる。フレーム間圧縮において、単に
前フレームと現フレームとの差分を求めると、画像に動
きがある場合には差分が大きなものとなる。そこで、現
フレームの所定位置に対応する前フレームの位置を求め
て動きベクトルを検出し、この動きベクトルに応じた画
素位置において差分を求めることによって動き補償を行
って差分値を小さくするようにしている。

【０００９】すなわち、量子化回路５の出力は逆量子化
回路８にも与えている。量子化出力は逆量子化回路８に
おいて逆量子化し、更に逆ＤＣＴ回路９において逆ＤＣ
Ｔ処理して、周波数成分を空間座標成分に戻す。この場
合には、減算器２の出力が差分情報であるので、逆ＤＣ
Ｔ回路９の出力も差分情報である。逆ＤＣＴ回路９の出
力は加算器10に与える。加算器10の出力は約１フレーム
期間信号を遅延させるフレームメモリ11、動き補償回路
12及びスイッチ13を介して帰還されており、加算器10は
動き補正された前フレームのデータに差分データを加算
して現フレームのデータを再生しフレームメモリ11に出
力する。フレームメモリ11は入力されたデータを１フレ
ーム期間遅延させて前フレームのデータを動き補償回路
12に出力する。

【００１０】一方、入力端子１からの現フレームの画像
データＤ（ｎ）及びフレームメモリ14によって１フレー
ム期間遅延させて得た前フレームの画像データＤ（ｎ−
１）を動きベクトル検出回路15に与える。動き検出回路
15は例えばマッチング計算によって動きベクトルを求め
る。動き補償回路12は、フレームメモリ11から対応する
ブロックのデータを抽出して動きベクトルに応じて補正
を行い、減算器２に出力すると共に、スイッチ13を介し
て加算器10に出力する。こうして、動き補償された前フ
レームのデータが動き補償回路12から減算器２に供給さ
れることになり、スイッチ３が端子ｂを選択時にはフレ
ーム間圧縮モードとなり、スイッチ３が端子ａを選択時
にはフレーム内圧縮モードとなる。

【００１１】図８は図７中の動きベクトル検出回路の動
作を説明するための説明図である。図８の動きベクトル
検出方法については、例えば、「動き検出専用ＬＳＩ
ＳＴＩ３２２０の機能とその活用法」（映像情報（1991
-6 p.83 ））等に詳述されている。すなわち、動きベク
トル検出においては、先ず、現フレームを水平ｘ画素×
垂直ｙ画素のブロックに分割し、現フレームの参照する
ブロックに対して相対的な位置関係が同一である前フレ
ームのブロックを中心とした水平ｕ画素×垂直ｖ画素の
探索ブロックを設定する。参照ブロックを探索ブロック
内で１画素単位に移動させ、各位置毎に参照ブロックの
全画素と前フレームの対応する各画素との間でマッチン
グ計算を行ってパターン間の近似を求める。そして、探
索ブロック範囲内で最小歪みを与えるブロック位置を算
出し、参照ブロックとの位置関係を動きベクトルとして
求めるのである。

【００１２】例えば、図８（ａ）に示す半径８画素の円
（第（ｎ−１）フレーム）が次のフレーム（第ｎフレー
ム）において図８（ｂ）に示す位置に水平移動するもの
とする。なお、図８の破線は動きベクトル算出の単位と
なるブロックを示し、図８（ａ）乃至（ｅ）は画面上の
同一位置を示すものとする。各ブロックの大きさは１６
画素×１６画素であり、探索ブロックの大きさは３１画
素×３１画素である。

【００１３】現フレーム（第ｎフレーム）（図８
（ｂ））の参照ブロックの画像データＤ（ｎ）を図８
（ｃ）に示すように、画面上の同一位置の前フレームの
探索ブロック範囲内において１画素単位で移動させる。
そして、参照ブロックの各ブロック位置において、参照
ブロックの各画素とこれらの各画素に対応する位置の前
フレームの各画素とのマッチング計算、すなわち、各画
素同士の差分の累積値を求める。求めた累積値が最小と
なるブロックがブロックマッチングがとれているブロッ
ク（図８（ｄ））であり、このブロックの位置と参照ブ
ロックの位置との位置関係を示すベクトルを、図８
（ｄ）に示すように、第ｎフレームから第（ｎ−１）フ
レームに対するベクトルとして求める。第（ｎ−１）フ
レームから第ｎフレームに対する動きベクトルは、この
ベクトルの向きと逆の向きのベクトルであり、図８
（ｅ）に示すベクトルを動きベクトルとして求める。つ
まり、図８の例では、図８（ｂ）の参照ブロックを水平
右方向に−８画素、垂直方向に０画素ずらした位置にお
いてブロックマッチングがとれており、この動きの逆方
向の動きベクトル（ｘ，ｙ）は（＋８，０）となる。

【００１４】このように、従来の動き補償装置において
は、動きベクトル検出回路によって動きベクトルを検出
し、動き補償回路によって検出した動きベクトルを用い
て前フレームのデータを動き補償して予測誤差を求めて
おり、予測誤差の符号量を低減させることができる。例
えば、図８の例のように、動きベクトル検出回路が画像
の正確な動きを示す動きベクトルを求めることができた
場合には、減算器２の出力、すなわち、予測誤差は０と
なり、このフレームについては伝送符号量を０にするこ
とができる。しかしながら、図８の例は画像の動きが画
面上の水平及び垂直方向である場合について動きベクト
ルを求めたものであるが、画面上の前後の移動、即ち画
像の拡大縮小について動きベクトルを求めると誤差が大
きくなってしまう。そうすると、動き補償誤差も大きく
なって予測誤差も大きくなるという問題があった。

【００１５】図９及び図１０はこの問題点を説明するた
めの説明図である。

【００１６】いま、図９（ａ）に示す第（ｎ−１）フレ
ームの小さい円が前後左右に移動して、図９（ｂ）に示
す次の第ｎフレームにおいて拡大されて大きな円になる
ものとする。この場合において、マッチング計算を行う
と、参照ブロックの円と前フレームの円とが重なるいず
れのブロック位置においてもブロックマッチングがとれ
る。例えば、最小ベクトルを動きベクトルとして出力す
る場合には、図９（ｃ）の矢印で示す動きベクトルが得
られる。この動きベクトルを用いて前フレームのデータ
を動き補償すると、図９（ｃ）の黒部分については予測
誤差は小さいが、斜線部については大きな予測誤差とな
る。すなわち、ＤＣＴ回路４に入力される符号量が増大
して圧縮率が低下してしまう。

【００１７】また、図１０（ａ）に示す第（ｎ−１）フ
レームの大きい円が前後左右に移動して、図１０（ｂ）
に示す次の第ｎフレームにおいて縮小されて小さな円に
なるものとする。この場合において、マッチング計算を
行うことにより、図１０（ｃ）の矢印で示す動きベクト
ルが得られるものとする。この動きベクトルを用いて前
フレームのデータを動き補償すると、図１０（ｃ）の黒
部分については予測誤差は小さいが、斜線部については
予測誤差は大きくなってしまう。

【００１８】

【発明が解決しようとする課題】このように、上述した
従来の動き補償装置及びこれを用いた符号化装置におい
ては、画像が前後に動いて拡大又は縮小された場合に
は、動き補償誤差が大きく予測誤差が大きくなって、画
像データの圧縮率が低下してしまうという問題点があっ
た。

【００１９】本発明は、画像が拡大縮小した場合でも予
測誤差が大きくなることを抑制して圧縮率を向上させる
ことができる動き補償装置及びこれを用いた符号化装置
を提供することを目的とする。

【００２０】［発明の構成］

【課題を解決するための手段】本発明に係る動き補償装
置は、現画像のデータに対して所定期間以前の前画像の
データが与えられ、所定の間引き画素数で間引きを行う
か又は所定の補間画素数で補間を行うことにより前記前
画像を縮小又は拡大した変換画像のデータを出力する第
１の画像変換手段と、前記現画像及び前記変換画像のデ
ータが与えられ、前記現画像の所定の参照ブロックと相
対的な位置関係が同一の前記変換画像のブロックを含む
所定の探索ブロック内で、前記参照ブロックとのマッチ
ング結果が最小となるブロック位置を求め、求めたブロ
ックと前記参照ブロックとの位置関係を動きベクトルと
して出力する動きベクトル検出手段と、再生した前記前
画像が与えられ、前記第１の画像変換手段と同一の間引
き画素数又は補間画素数で間引き又は補間を行って、再
生した前画像を縮小又は拡大した変換画像のデータを出
力する第２の画像変換手段と、前記第２の画像変換手段
からの変換画像のデータを前記動きベクトルによって動
き補償する動き補償手段とを具備したものであり、本発
明に係る符号化装置は、請求項２又は請求項３に記載の
動き補償装置と、前記現画像と前記選択手段の出力との
差分を求める減算手段と、前記減算手段の出力を符号化
する予測符号化手段と、前記予測符号化手段からの符号
化出力を復号して前記減算手段の出力を復元する復号化
手段と、前記復号化手段の出力と前記選択手段の出力と
から前記現画像を再生し再生した現画像を所定期間遅延
させることにより前記前画像を再生する遅延手段と、前
記減算手段の出力データが最小となるように前記選択手
段の選択を制御する比較手段とを具備したものである。

【００２１】

【作用】本発明において、第２の画像変換手段によっ
て、再生した前画像を縮小又は拡大して現画像に対応す
る大きさに変換する。一方、第１の画像変換手段は前画
像を第２の画像変換手段と同一の縮小率又は拡大率で縮
小又は拡大し、動きベクトル検出手段は第１の画像変換
手段からの変換画像と現画像との間で動きベクトルを求
める。動き補償手段は動きベクトル検出手段が求めた動
きベクトルを用いて第２の画像変換手段の出力を動き補
償する。第２の画像変換手段が画像の拡大又は縮小に基
づいた拡大又は縮小を行うことにより、動き補償誤差は
小さくなる。また、第２の画像変換手段の出力と入力現
画像との差分を予測符号化する。これにより、圧縮率が
向上する。

【００２２】

【実施例】以下、図面を参照して本発明の実施例につい
て説明する。図１は本発明の一実施例に係る動き補償装
置を組込んだ符号化装置を示すブロック図である。図１
において図７と同一の構成要素には同一符号を付してあ
る。

【００２３】入力端子１にはブロック単位の画像データ
を入力する。この画像データはスイッチ３の端子ａ、フ
レームメモリ14、動きベクトル検出回路15，27，28及び
減算器２，21，22に供給する。減算器２，21，22には夫
々後述する動き補償回路12，29，30から動き補償された
前フレームのデータも与えられ、２入力の差分を予測誤
差として比較回路24に出力すると共に、スイッチ23の端
子ａ，ｂ，ｃに夫々出力するようになっている。比較回
路24は入力された予測誤差の符号量を比較して最も小さ
い符号量の予測誤差を選択するための切換え信号をスイ
ッチ23に出力する。スイッチ23は切換え信号に基づいて
制御され、減算器２，21，22のいずれか１つの出力を選
択してスイッチ３の端子ｂに与える。スイッチ３はフレ
ーム内圧縮モード時には端子ａを選択し、フレーム間圧
縮モード時には端子ｂを選択して、入力画像データ又は
前フレームとの予測誤差をＤＣＴ回路４に与えるように
なっている。

【００２４】ＤＣＴ回路４はスイッチ３からのデータを
８×８の２次元ＤＣＴ処理して量子化回路５に出力す
る。量子化回路５は、可変長符号化回路６によって量子
化係数が制御され、ＤＣＴ回路４出力を量子化係数を用
いて量子化してビットレートを低減し可変長符号化回路
６に出力する。可変長符号化回路６は、入力されたデー
タを可変長符号に変換してビットレートを更に低減させ
て出力端子７に出力するようになっている。

【００２５】量子化回路５の出力は逆量子化回路８にも
与える。逆量子化回路８は量子化出力を逆量子化して逆
ＤＣＴ回路９に出力する。逆ＤＣＴ回路９は逆量子化回
路８の出力を逆ＤＣＴ処理してＤＣＴ処理以前の元のデ
ータに戻して加算器10に出力する。加算器10は後述する
スイッチ33を介して動き補償された前フレームのデータ
が入力されており、現フレームの差分データと前フレー
ムのデータとを加算することにより、減算器２，21，22
による差分処理以前の元のデータに戻してフレームメモ
リ11に出力する。本実施例においては、フレームメモリ
11は入力されたデータを１フレーム期間遅延させて動き
補償回路12に与えると共に、間引き回路31及び補間回路
32にも与えるようになっている。

【００２６】図２は図１中の間引き回路を説明するため
の説明図である。図２（ａ）は入力される画像を示し、
図２（ｂ）は間引画素を示し、図２（ｃ）は間引画像を
示している。

【００２７】間引き回路31は水平及び垂直方向に画素を
間引くことにより、画像を縮小して動き補償回路29に与
える。例えば、間引き回路31に、図２（ａ）に示す円の
画像を示す画像データが入力されるものとする。間引き
回路31は例えば図２（ｂ）の白部分で示す１画素おきに
画素データを間引いて出力する。そうすると、間引き回
路31からの画像データによって構成される画像は図２
（ｃ）に示すように、図２（ａ）の元の画像を水平及び
垂直方向に１／２に縮小した縮小画像となる。間引き画
素数を変化させることにより、所望の縮小率を得ること
ができる。

【００２８】すなわち、現フレームの画像が前フレーム
の画像を縮小したものである場合には、間引き回路31に
よって、復元された前フレーム画像を現フレームに対応
した大きさに縮小することができる。

【００２９】また、図３は図１中の補間回路を説明する
ための説明図である。図３（ａ）は入力される画像を示
し、図３（ｂ）は補間画素を示し、図３（ｃ）は補間画
像を示している。

【００３０】補間回路32は水平及び垂直方向に画素を補
間することにより、画像を拡大して動き補償回路30に出
力する。例えば、補間回路32には図３（ａ）に示す画像
が入力されるものとする。補間回路32は隣接する２つの
画素の平均値を求めて補間画素とし、図３（ｂ）に示す
ように、水平及び垂直方向の１画素毎に補間画素を挿入
する。これにより、補間回路32からは、図３（ｃ）に示
すように、図３（ａ）の元の画像を水平及び垂直方向に
２倍に拡大した拡大画像が得られる。補間画素数を変化
させることにより、所望の拡大率を得ることができる。

【００３１】すなわち、現フレームの画像が前フレーム
の画像を拡大したものである場合には、補間回路32によ
って、復元された前フレーム画像を現フレームに対応し
た大きさに拡大することができる。

【００３２】動き補償回路29，30は夫々間引き回路31及
び補間回路32によって縮小又は拡大された画像の動きを
補償するようになっている。この場合には、縮小又は拡
大画像の動きベクトルを求める必要がある。そこで、フ
レームメモリ14は入力映像信号を１フレーム期間遅延さ
せて動きベクトル検出回路15に出力すると共に、間引き
回路25及び補間回路26にも出力する。間引き回路25は間
引き回路31と同様の構成であり、間引き回路31と同一の
間引率で画素を間引いて前フレームの縮小画像を動きベ
クトル検出回路27に出力する。動きベクトル検出回路27
は間引き回路25からの縮小された前フレームの画像デー
タと現フレームの画像データとのマッチング計算によっ
て動きベクトルを求めて、縮小率を示すデータと共に動
き補償回路29に出力する。

【００３３】また、補間回路26は補間回路32と同様の構
成であり、補間回路32と同一の補間を行って、前フレー
ムの拡大画像を動きベクトル検出回路28に出力する。動
きベクトル検出回路28は補間回路26からの拡大された前
フレームの画像データと現フレームの画像データとのマ
ッチング計算によって動きベクトルを求めて、拡大率を
示すデータと共に動き補償回路30に出力する。なお、動
きベクトル検出回路15は現フレームの画像と前フレーム
画像とのマッチング計算によって動きベクトルを求めて
動き補償回路12に出力するようになっている。

【００３４】動き補償回路12はフレームメモリ11からの
前フレームのデータを動きベクトル検出回路15からの動
きベクトルによって動き補償して減算器２に出力すると
共に、スイッチ34及びスイッチ33の端子ａを介して加算
器10に帰還させる。動き補償回路29は間引き回路31から
の縮小された前フレームのデータを動きベクトル検出回
路27からの動きベクトルによって動き補償して減算器21
に出力すると共に、スイッチ35及びスイッチ33の端子ｂ
を介して加算器10に帰還させる。また、動き補償回路30
は補間回路32からの拡大された前フレームのデータを動
きベクトル検出回路28からの動きベクトルによって動き
補償して減算器22に出力すると共に、スイッチ36及びス
イッチ33の端子ｃを介して加算器10に帰還させるように
なっている。スイッチ33は比較回路24によって制御され
てスイッチ23と連動して動作し、スイッチ23が端子ａ乃
至ｃを選択すると、スイッチ33も端子ａ乃至ｃを夫々選
択するようになっている。

【００３５】次に、このように構成された実施例の動作
について図４及び図５の説明図を参照して説明する。図
４（ａ）は前フレームの画像を示し、図４（ｂ）は現フ
レームの画像を示し、図４（ｃ）乃至（ｅ）は夫々フレ
ームメモリ14の出力画像、間引き回路25の出力画像、補
間回路26の出力画像を示している。また、図５（ａ１）
乃至（ｃ１）は破線によって現フレームの画像を出力
し、実線によって夫々フレームメモリ11の出力画像、間
引き回路25の出力画像及び補間回路26の出力画像を示
し、矢印によって動きベクトルを示している。また、図
５（ａ２）乃至（ｃ２）は夫々動き補償回路12，29，30
の出力画像を示し、図５（ａ３）乃至（ｃ３）は夫々減
算器２，21，22からの予測誤差を示している。

【００３６】フレーム内圧縮時の処理は従来と同様であ
る。すなわち、この場合には、スイッチ３は端子ａを選
択し、入力端子１からの画像データはＤＣＴ回路４にそ
のまま与える。ＤＣＴ回路４は画像データをＤＣＴ処理
し、量子化回路５は変換係数を量子化してビットレート
を低減する。量子化出力は可変長符号化回路６に与え
て、可変長符号化した後出力端子７に出力する。

【００３７】一方、フレーム間圧縮処理時には、スイッ
チ３は端子ｂを選択して、予測誤差をＤＣＴ回路４に与
える。本実施例においては、再生した前フレームのデー
タをそのまま用いるか又は拡大若しくは縮小して用いる
ことにより、予測誤差の符号量を低減するようにしてい
る。すなわち、量子化回路５の出力は逆量子化回路８に
おいて逆量子化し、逆量子化出力を逆ＤＣＴ回路９にお
いて逆ＤＣＴ処理して差分情報を復元する。加算器10は
復元した差分情報と後述するスイッチ33からの動き補償
された前フレームのデータとから現フレームのデータを
再現してフレームメモリ11に与える。フレームメモリ11
からは前フレームのデータが再生される。

【００３８】いま、前フレームの画像が図４（ａ）に示
す黒丸であり、この画像が後ろ及び右方向に移動して縮
小され、現フレームにおいて図４（ｂ）に示す黒丸画像
となるものとする。なお、図４（ａ）乃至（ｅ）の実線
枠は画面上の同一領域を示すものとする。図４（ｂ）の
現フレームの画像データは動きベクトル検出回路15，2
7，28に与える。また、フレームメモリ14は入力された
画像データを１フレーム期間遅延させて、図４（ｃ）に
示す前フレームの画像データを動きベクトル検出回路1
5、間引き回路25及び補間回路26に与える。間引き回路2
5は画素を間引いて入力画像を所定の縮小率で縮小させ
て、図４（ｄ）に示す縮小画像を動きベクトル検出回路
27に与える。なお、説明の簡略化のために、前フレーム
画像と現フレーム画像との縮小率と間引き回路25による
縮小率とが同一であるものとする。また、補間回路26は
画素を補間することにより入力画像を所定の拡大率で拡
大させて、図４（ｅ）に示す拡大画像を動きベクトル検
出回路28に出力する。

【００３９】動きベクトル検出回路15は現フレームの画
像と前フレームの画像とから動きベクトルを求める。こ
の場合には、図５（ａ１）に示すように、現フレームの
画像は前フレームの画像の一部となっているので、動き
検出回路15は動いていないものと判断して、動きベクト
ルとして０を、縮小又は拡大が行われていないことを示
すデータと共に動き補償回路12に出力する。動きベクト
ル検出回路27は、図４の（ｂ），（ｄ）に示す画像同士
の動きを求める。すなわち、動きベクトル検出回路27
は、図４（ｂ）の破線の領域を参照ブロックとし、図４
（ｄ）の実線にて示す探索範囲内でブロックマッチング
計算を行う。こうして、動きベクトル検出回路27は図５
（ｂ１）の矢印で示す動きベクトル求めて縮小率を示す
データと共に動き補償回路29に出力する。また、動きベ
クトル検出回路28は、図４（ｂ），（ｅ）に示す画像同
士の動きベクトルを求める。この場合には、動きベクト
ル検出回路28は、図４（ｂ）の破線の領域を参照ブロッ
クとし、図４（ｅ）の実線にて示す探索範囲内でブロッ
クマッチング計算を行う。こうして、動きベクトル検出
回路28は図５（ｃ１）の矢印で示す動きベクトル求めて
拡大率を示すデータと共に動き補償回路30に出力する。

【００４０】フレームメモリ11からは図４（ｃ）に示す
前フレームの再生画像が得られる。この再生画像を動き
補償回路12に与えて動き補償する。動き補償回路12には
動きベクトル検出回路15から０ベクトルが与えられてお
り、動き補償回路12は図５（ａ２）に示すように、再生
画像をそのまま減算器２に出力する。減算器２は現フレ
ームの入力画像と動き補償回路12からの前フレームの画
像との差分（図５（ａ３）の黒部分）を予測誤差として
スイッチ23の端子ａに出力する。

【００４１】フレームメモリ11からの再生画像は間引き
回路31にも与えられ、間引き回路31は図４（ｄ）に示す
縮小画像を作成して動き補償回路29に出力する。動き補
償回路29は、図５（ｂ１）に示す動きベクトルも与えら
れており、縮小画像を動きベクトルを用いて動き補償し
て、図５（ｂ２）に示す画像を得る。動き補償回路29に
よって動き補償された前フレームの縮小画像は減算器21
に与えられ、減算器21は、現フレームの入力画像と動き
補償回路29の出力画像との差分を予測誤差としてスイッ
チ23の端子ｂに出力する。この場合には、図５（ｂ３）
に示すように、予測誤差は０である。

【００４２】また、フレームメモリ11からの再生画像は
補間回路32にも与え、補間回路32は図４（ｅ）に示す拡
大画像を再生して動き補償回路30に出力する。動き補償
回路30には図５（ｃ１）に示す動きベクトルも与えられ
ており、動き補償回路30は動きベクトルを用いて拡大画
像を動き補正して、図５（ｃ２）に示す画像を減算器22
に出力する。減算器22は入力画像と動き補償された拡大
画像との差分（図５（ｃ３））を予測誤差としてスイッ
チ23の端子ｃに出力する。

【００４３】減算器２，21，22からの予測誤差は比較回
路24にも与える。比較回路24は３つの予測誤差同士を比
較して、最小データを選択するための切換え信号をスイ
ッチ23，33に出力する。この場合には、減算器21の出力
が最小データ（０）であり、比較回路24はスイッチ23，
33に端子ｂを選択させる。これにより、予測誤差として
０がスイッチ３を介してＤＣＴ回路４に入力される。ま
た、動き補償回路29からの動き補償された前フレームの
縮小画像は加算器30にも与え、加算器30は逆ＤＣＴ回路
９の出力との加算によって現フレームを再生する。以
後、同様の動作が繰返されて、フレーム間圧縮処理が行
われる。なお、前フレームの画像が拡大されて現フレー
ムの画像となった場合には、減算器22の出力が選択さ
れ、この場合にも最小の予測誤差がＤＣＴ回路４に与え
られる。

【００４４】このように、本実施例においては、前フレ
ームのデータをそのまま用いるか又は前フレームのデー
タを間引き回路31，25若しくは補間回路32，26によって
縮小若しくは拡大して用いることにより、画像が前後に
移動した場合の動き補償誤差を低減して、予測誤差を小
さな値にしている。これにより、圧縮率が著しく向上す
る。なお、本実施例においては、間引き回路31，25によ
る縮小率を１／２とし補間回路32，26による拡大率を２
としたが、これに限定されるものではない。また、間引
き回路及び補間回路の数を増加させて、複数の圧縮率又
は拡大率で画像を縮小又は拡大して動き補償を行うこと
により、動き補償精度を向上させることができる。

【００４５】図６は本発明の他の実施例を示すブロック
図である。図６において図１と同一の構成要素には同一
符号を付して説明を省略する。本実施例はビデオカメラ
からの画像信号を符号化する符号化装置に適用したもの
である。

【００４６】本実施例は間引き回路31，25及び補間回路
32，26に夫々代えて間引き回路41，42及び補間回路43，
44を用いると共に、拡大率算出回路45によって間引き回
路41，42及び補間回路43，44の縮小率及び拡大率を制御
する点が図１の実施例と異なる。拡大率算出回路45には
端子46を介してズーム信号を与える。ズーム信号は例え
ばビデオカメラのズームレンズ駆動回路（図示せず）か
ら供給するものであり、ズーム操作に基づく画像の拡大
率又は縮小率を示している。すなわち、ズーム信号はズ
ーム駆動回路が動作中であるか否かを示すと共に、ズー
ムレンズ（図示せず）を拡大方向に駆動するか縮小方向
に駆動するかを示す信号である。例えば、ズームレンズ
を拡大方向に駆動する場合には、（＋）を示すデータ
“１０”が端子46に入力され、縮小方向に駆動する場合
には、（−）を示すデータ“１１”が端子46に入力され
る。また、ズーム駆動回路が動作していない場合には、
ズーム信号は“００”又は“０１”となる。拡大率算出
回路45はズーム信号に基づいて、単位時間当たりの拡大
率（縮小率）を求め、間引き回路41，42の間引き画素数
又は補間回路43，44の補間画素数を決定するようになっ
ている。

【００４７】このように構成された実施例においては、
拡大率算出回路45は、ズーム信号に基づいて、間引き回
路41，42の縮小率又は補間回路43，44の拡大率を決定す
る。例えば、ズーム操作によって、１フレーム間に画像
を３倍に拡大すると、端子46にはデータ“１０”のズー
ム信号が入力される。拡大率算出回路45は入力されたズ
ーム信号から１フレーム間の補間画素数を決定する。す
なわち、拡大率算出回路45は、間引き回路41，42に間引
き画素数０を設定し、補間回路43，44に補間画素数２を
設定する。これにより、補間回路43，44は入力画像を３
倍に拡大して出力する。つまり、現フレームの画像が前
後に移動していない場合には、現フレームの画像の大き
さと補間回路43からの画像の大きさが一致するので、動
き補償回路30によって動き補償された前フレームの拡大
画像は現フレームの画像と一致し、予測誤差は０とな
る。

【００４８】このように、本実施例においては、ズーム
操作によって画像が拡大又は縮小された場合には、ズー
ム信号によって画像を拡大又は縮小して動き補償を行っ
ており、予測誤差を最小にして圧縮率を向上させること
ができる。

【００４９】

【発明の効果】以上説明したように本発明によれば、画
像が拡大縮小した場合でも予測誤差を低減して圧縮率を
向上させることができるという効果を有する。

【図面の簡単な説明】

【図１】本発明に係る動き補償装置が組込まれた符号化
装置の一実施例を示すブロック図。

【図２】図１中の間引き回路を説明するための説明図。

【図３】図１中の補間回路を説明するための説明図。

【図４】実施例の動作を説明するための説明図。

【図５】実施例の動作を説明するための説明図。

【図６】本発明の他の実施例を示すブロック図。

【図７】従来の符号化装置を示すブロック図。

【図８】図７中の動きベクトル検出回路の動作を説明す
るための説明図。

【図９】従来例の問題点を説明するための説明図であ
る。

【図１０】従来例の問題点を説明するための説明図であ
る。

【符号の説明】

12，29，30…動き補償回路、15，27，28…動きベクトル
検出回路、24…比較回路、25，31…間引き回路、26，32
…補間回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 現画像のデータに対して所定期間以前の
   前画像のデータが与えられ、所定の間引き画素数で間引
   きを行うか又は所定の補間画素数で補間を行うことによ
   り前記前画像を縮小又は拡大した変換画像のデータを出
   力する第１の画像変換手段と、 前記現画像及び前記変換画像のデータが与えられ、前記
   現画像の所定の参照ブロックと相対的な位置関係が同一
   の前記変換画像のブロックを含む所定の探索ブロック内
   で、前記参照ブロックとのマッチング結果が最小となる
   ブロック位置を求め、求めたブロックと前記参照ブロッ
   クとの位置関係を動きベクトルとして出力する動きベク
   トル検出手段と、 再生した前記前画像が与えられ、前記第１の画像変換手
   段と同一の間引き画素数又は補間画素数で間引き又は補
   間を行って、再生した前画像を縮小又は拡大した変換画
   像のデータを出力する第２の画像変換手段と、 前記第２の画像変換手段からの変換画像のデータを前記
   動きベクトルによって動き補償する動き補償手段とを具
   備したことを特徴とする動き補償装置。
2. 【請求項２】 現画像のデータに対して所定期間以前の
   前画像のデータが与えられ、所定の間引き画素数で間引
   きを行うことにより前記前画像を縮小した縮小画像のデ
   ータを出力する第１の間引手段と、 前記前画像のデータが与えられ、所定の補間画素数で補
   間を行うことにより前記前画像を拡大した拡大画像のデ
   ータを出力する第１の補間手段と、 前記現画像及び前記前画像のデータが与えられ、前記現
   画像の所定の参照ブロックと相対的な位置関係が同一の
   前記前画像のブロックを含む所定の探索ブロック内で、
   前記参照ブロックとのマッチング結果が最小となるブロ
   ック位置を求め、求めたブロックと前記参照ブロックと
   の位置関係を第１の動きベクトルとして出力する第１の
   動きベクトル検出手段と、 前記現画像及び前記縮小画像のデータが与えられ、前記
   現画像の所定の参照ブロックと相対的な位置関係が同一
   の前記縮小画像のブロックを含む所定の探索ブロック内
   で、前記参照ブロックとのマッチング結果が最小となる
   ブロック位置を求め、求めたブロックと前記参照ブロッ
   クとの位置関係を第２の動きベクトルとして出力する第
   ２の動きベクトル検出手段と、 前記現画像及び前記拡大画像のデータが与えられ、前記
   現画像の所定の参照ブロックと相対的な位置関係が同一
   の前記拡大画像のブロックを含む所定の探索ブロック内
   で、前記参照ブロックとのマッチング結果が最小となる
   ブロック位置を求め、求めたブロックと前記参照ブロッ
   クとの位置関係を第３の動きベクトルとして出力する第
   ３の動きベクトル検出手段と、 再生した前記前画像が与えられ、前記第１の間引手段と
   同一の間引き画素数で間引きを行って、再生した前画像
   を縮小した縮小画像のデータを出力する第２の間引手段
   と、 再生した前記前画像が与えられ、前記第１の補間手段と
   同一の補間画素数で補間を行って、再生した前画像を拡
   大した拡大画像のデータを出力する第２の補間手段と、 再生した前記前画像を前記第１の動きベクトルによって
   動き補償する第１の動き補償手段と、 前記第２の間引手段からの縮小画像のデータを前記第２
   の動きベクトルによって動き補償する第２の動き補償手
   段と、 前記第２の補間手段からの拡大画像のデータを前記第３
   の動きベクトルによって動き補償する第３の動き補償手
   段と、 前記前画像から前記現画像への画像の拡大及び縮小に基
   づいて前記第１乃至第３の動き補償手段の出力を選択的
   に出力する選択手段とを具備したことを特徴とする動き
   補償装置。
3. 【請求項３】 前記第１及び第２の間引手段の少なくと
   も一方は、前記間引き画素数のデータを前記縮小画像の
   データと共に出力し、前記第１及び第２の補間手段の少
   なくとも一方は、前記補間画素数のデータを前記拡大画
   像のデータと共に出力することを特徴とする請求項２に
   記載の動き補償装置。
4. 【請求項４】 請求項２又は請求項３に記載の動き補償
   装置と、 前記現画像と前記選択手段の出力との差分を求める減算
   手段と、 前記減算手段の出力を符号化する予測符号化手段と、 前記予測符号化手段からの符号化出力を復号して前記減
   算手段の出力を復元する復号化手段と、 前記復号化手段の出力と前記選択手段の出力とから前記
   現画像を再生し再生した現画像を所定期間遅延させるこ
   とにより前記前画像を再生する遅延手段と、 前記減算手段の出力データが最小となるように前記選択
   手段の選択を制御する比較手段とを具備したことを特徴
   とする符号化装置。