JP2964633B2

JP2964633B2 - 画像信号符号化装置及び方法

Info

Publication number: JP2964633B2
Application number: JP33849390A
Authority: JP
Inventors: 清一郎岩瀬
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1990-11-30
Filing date: 1990-11-30
Publication date: 1999-10-18
Anticipated expiration: 2014-10-18
Also published as: JPH04207789A

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、動き補償とフレーム間符号化とを組み合
わせた画像信号符号化装置及び方法に関する。

〔発明の概要〕

この発明は、動き補償とフレーム間符号化とを組み合
わせた帯域圧縮装置において、現フレームの入力画像データとずれた複数の位置に夫
々対応する前フレームの画像データを発生する遅延回路
と、現フレームの入力画像データと複数の前フレームの画
像データとの直交変換符号化した後の差分を形成する回
路と、差分の中でデータ圧縮効果の最も高い位置を検出し、
この検出された位置の差分を選択的に出力する回路とからなることを特徴とする帯域圧縮装置である。この発
明は、ベクトル検出装置に必要とされるフレームメモリ
と、符号化のために必要とされるフレームメモリとを兼
用できると共に、動き補償の精度を高くすることができ
る。

〔従来の技術および解決しようとする課題〕

動きベクトルの検出について、最初に説明する。ここ
では、１枚の画像（フレームとする。ここでは、インタ
ーレースは考えないとする）を第26図のように水平Ｈ画
素、垂直Ｖラインであるとする。そして、その画面をＰ
画素×Ｑラインのブロックに細分化するものとする。第
27図は１つのブロックを示している。この場合はＰ＝
５、Ｑ＝５の例である。Ｃと示したのはこのブロックの
中心画素位置である。

第28図ではＣを中心画素とするブロックとＣ′を中心
とするブロックの位置関係を示しており、前者を現フレ
ームの注目しているあるブロックとする時、その画像と
一致するブロックが前フレームにおいてＣ′を中心とす
るブロックの位置にあるものとしている。第28A図は、
水平方向に＋１画素、垂直方向に＋１ラインの動きベク
トルの場合である。第28図Ｂは、水平方向に＋３画素、
垂直方向に＋３ラインの動きベクトルの場合である。第
28図Ｃは、水平方向に＋２画素、垂直方向に−１ライン
の動きベクトルの場合である。一般に、動きベクトルは
現フレームの各ブロックごとに求められる。

動きベクトルを検出する範囲を水平に±Ｓ画素、垂直
に±Ｔラインの範囲とする時、現フレームのあるブロッ
クは、その中心Ｃに対して、水平に±Ｓ、垂直に±Ｔず
れた所にＣ′がある種々の前フレームのブロックと比較
されねばならない。第29図は現フレームのあるブロック
の中心Ｃの位置をＲとする時に、比較すべき前フレーム
の（2S＋１）×（2T＋１）個のブロックとの比較が必要
なことを示している。即ち、この第29図のます目の位置
にＣ′がある前フレームのブロックの全てが比較対象で
ある。第29図はＳ＝４、Ｔ＝３とした例である。

以下Ｐ＝５、Ｑ＝５、Ｓ＝４、Ｔ＝３の例で説明する
ことにする。

見方を変えると、現フレームの注目するあるブロック
を第30図の内側の中央部の５画素×５ラインの位置と考
える時、前フレームの同じ位置を中心にした水平±Ｓ画
素、垂直±Ｔラインを含む第30図の外側の（Ｐ＋2S）画
素×（Ｑ＋2T）ラインの太線の内部に置きうる全ての５
画素×５ラインの領域が比較される対象となる。

動きベクトル検出は、しばしば実現上の簡単化のた
め、間引いて考えることがある。即ち、上述の例では水
平±Ｓ画素、垂直±Ｔラインの範囲で全て位置関係につ
いて比較するとしているが、この比較のうちいくつかの
組合せの比較を省略することがある。しかし、以下の説
明では説明の簡単化のため、全ての組合せを比較するも
のとして話を進める。

第31図は動きベクトル検出の構成概念図である。入力
端子101から供給されるデータａが現フレーム画像デー
タであり、データｂがフレームメモリ102により１フレ
ーム遅延された１フレーム前の画像データである。前フ
レームのデータｂが遅延部103により第28図のようない
ろいろな位置関係のデータとなり、その各々がデータａ
と比較される。ブロック比較部104は、各ずれ位置ごと
の画像の一致の度合い（マッチ度）を出力し、判定部10
5がマッチ度を比較して最も妥当なずれの量、即ち、動
きベクトルを出力端子106に出力する。

この第31図に示す動きベクトル検出のハードウェアは
フレームメモリ102のほか、遅延部103とブロック比較部
104に大容量のメモリが必要とされ、また、比較が間引
かれないとブロック比較部104の演算部も大規模とな
り、更に、判定部105も、その方法によっては大規模に
なる。従って、動きベクトル検出が利用されるシステム
の中でそのハードウェア量はかなりの比率を占めるとい
う問題がある。

動きベクトルの検出をソフトウェアで行うことも提案
されている（特開昭61−105178号公報参照）。しかしな
がら、ソフトウェアの処理速度の制約から、比較および
判定の方法として、かなり簡略化されたものを使用せざ
るをえず、検出された動きベクトルの精度が低い問題が
生じる。

この発明は、第31図のうち判定部105を除く遅延部103
およびブロック比較部104の部分、特に、遅延部103につ
いてハードウェア量を少なくすることに関する。

第32図、第33図が第１の従来例である。第32図は、第
31図のフレームメモリ102と遅延部103の部分に相当す
る。

第32図でＦがフレームメモリ102で１フレーム入力デ
ータを遅延させる。Ｈが１水平走査（ライン）分の遅延
回路である。また、文字が付されていない四角が１画素
分の遅延回路、即ち、レジスタである。更に、（Ｈ−
９）と書いてあるのは１ライン分の画素数より９画素分
少ない遅延回路で、その他の９画素分のレジスタと合わ
せて１ライン分の遅延になる。

現フレームの入力データａが破線で囲んだ遅延回路10
7により、３ライン分および５画素、遅延されて、ブロ
ックの中心の位置Ｒとなり、出力端子108に取り出され
る。

データｂは、データａと１フレームの差があるので、
データａおよびｂは、全く同じ画素位置のデータであ
る。そして、第32図のように、９段のレジスタと（Ｈ−
９）遅延回路とが直列接続されているので、データｂか
ら３ラインと５画素分遅延したＣ（0,0）のタップが、
Ｒとちょうど１フレームの時間差となる。

第32図の入力端子101には、通常の画像信号と同様
に、水平走査したデータ列が来るとする。するとあるタ
イミングで止めた時、｛Ｃ（i,j）｝（ｉ＝−Sn＋S,j＝
−Tn＋Ｔ）には、丁度、現フレームのＲの画素に対して
前フレームのその位置の周辺の第29図の画素が得られる
ようになっている。例えばＣ（1,0）にはＣ（0,0）
（Ｒ）に対して水平に１画素分古いもので、第29図がデ
ィスプレイ画面とすればＲの左隣りの画素のデータが得
られる。

動きベクトルを得るには、この第32図の各タップを使
って次のような処理をする。即ち、｛Ｃ（i,j）｝（ｉ
＝−Sn＋S,j＝Tn＋Ｔ）の各タップには、第29図の各ず
れた位置ごとのデータが得られるので、ブロック比較部
104により、それぞれのタップとＲを比較し、マッチ度
（画像の一致の度合い）を演算し、各（i,j）ごとにそ
の結果を得る。そして、その結果を判定部105で判定し
て妥当な動きベクトル（i,j）を選び出す。場合によっ
ては、i,jは整数ではなく、実数として決めることもあ
る。

そこで次は各（i,j）ごとのマッチ度の求め方だか、
それは第33図の構成でなされる。この第33図の回路は各
Ｃ（i,j）ごとに必要である。即ち、ブロック比較を間
引かないので、第33図の回路は（2S＋１）×（2T＋１）
個必要である。

第33図では各Ｃ（i,j）について、第28図のようなブ
ロック比較をしたいのであって、Ｒからは第30図の内側
中央部のブロックの各画素を得、またあるＣ（i,j）の
タップからは前フレームの水平にｉ画素、垂直にｊライ
ンずれたブロックの各画素を得、両ブロック内の対応す
る位置ごとに減算回路109により差をとり、絶対値化回
路110により絶対値をとり、それを１ブロックを構成す
る全画素数、即ち、Ｐ×Ｑ、加算回路111およびメモリ1
12により累算し、この累算出力を（i,j）についてのマ
ッチ度としている。

なお、ここでは差の絶対値（ABS）をとる例を示した
が、差の自乗などを使うこともある。

ここまでの説明はまだ不充分なところがある。それは
第32図の入力は水平走査されていて、Ｒ及び各Ｃ（i,
j）のタップには時間的にシフトするだけで基本的に同
じ水平走査されたデータが出力されるので、第28図のよ
うなブロックごとに比較ができないことである。しか
し、それは第33図のアキュムレータにメモリ112を持っ
ていることで解決される。

もし、第33図のＲとＣ（i,j）の両入力に第28図の各
組合せのようなブロックの対応する各画素が順に得られ
ればよいが、水平走査されているのでそのＲとＣ（i,
j）の入力にはブロックの最初のラインの各画素があら
われたあと、次のラインに移らずに隣りのブロックの比
較のためのデータになってしまい、第26図の上で水平に
並ぶH/P個のブロック分進んだ後、やっと元のブロック
比較の２番目のラインの各画素の比較に入れることにな
るのである。よって、マッチ度を得るための累算は、１
ランインごとに計算途中で保留し、隣のブロック比較の
ための累算に変えていけば良い。このために、累算用の
メモリとしてH/P個以上のワードの記憶ができるメモリ1
12が設けられている。

第34図は、このメモリ112を説明するもので、ｎ＝H/P
として考えており、bk（ｋ＝０〜ｎ−１）は演算途中の
格納用の各アドレスの内容である。

また、第33図で、113がアドレス発生回路で、このア
ドレス発生回路113は、１ブロックを構成する水平画素
数に相当するＰサイクルごとにアドレスをインクリメン
トし、１水平走査終了後アドレス“0"にもどす動作を行
い、第34図のようなメモリアドレス割当ての回路を制御
できる。

また、画面に水平方向に並ぶH/P個のブロック数ごと
にブロックマッチングのための累算がリセットされる必
要がある。このリセットは、メモリ112のb₀〜b_n-1を全
て“0"にしてもよいし、或いは各ブロック比較の最初の
画素の累算の時にメモリに“0"をあらかじめ記憶したア
ドレスＺを選ぶように、アドレス発生回路113を構成し
ても良い。

第32図でＲの位置のデータを得るために（3H＋５）の
遅延を与えているが、これはフレーム遅延（Ｆ）におい
てこれを（Ｆ＝−3H−５）の遅延回路とすることにより
省略することが可能である。

第34図のように、累算のためのメモリ112として、ｎ
＝H/Pのワード栓を用意しているが、これは第26図の各
ブロックごとに動きベクトルを求めようとしているから
である。若し、１フレームにつき１つの動きベクトルを
得るというような時は１ワードでよいし、その方針によ
って必要なワード線が異なる。

第32図、第33図による回路は実現可能で制御も比較的
簡単だが、大規模なハードウェアとなることが問題であ
る。

ハードウェアのうちフレームメモリ102と、ブロック
比較のための第33図の演算回路（109、110、111）は、
原理的に不可欠なものである。（Ｈ−９）の多数の遅延
回路と各累算用のH/Pワードづつのメモリ112は、実現上
の問題、即ち、構造上必要になっただけで本質的に必要
なものではないので別の構成法でこれを省くことが望ま
しい。

これらの遅延回路及びメモリは入力データが水平走査
しているごとに起因して必要となっている。即ち、通常
の第35図Ａのように、水平走査をしている入力に対して
第28図のようなブロックの比較をするためには、メモリ
が必要となるからである。

よって、それを避けるためにはブロックに合わせた走
査方法、即ち、第35図Ｂのように、ブロック単位の水平
走査をしたデータ列を入力に使えば良い。

そこで考えられる第２の従来例は、入力データ列ａと
しては、第35B図のようにブロックごとに走査したデー
タを用いる一方、１フレーム遅延したデータ列ｂとして
は、データａの側が通過中のブロックを第30図の中央部
のものとする時の外側の広い領域について、この領域内
で走査するようなデータ列をつくりブロック比較をする
方法である。

この場合、両データ列はデータ数が異なるので次のよ
うな工夫が必要である。即ち、データ列ａは１つのブロ
ック比較単位が（Ｐ×Ｑ）画素分であるのに対し、デー
タ列ｂの側は｛（2S＋Ｐ）×（2T＋Ｑ）｝画素分なので
その比の分だけクロックを上げ、第36図のタイムチャー
トで動作させることである。即ち、第35図Ｂのように走
査する時は、データ列ａが第36Aのようなタイミングと
なるはずであるが、このデータ列ａのレイトを上げて、
第36Bのようなタイミングとする。このクロックの周波
数の比は、（2S＋Ｐ）・（2T＋Ｑ）÷Ｐ・Ｑである。その結果、データが存在しないタイムストロッ
トが生ずるようになる。一方、データ列ｂ側は、第36図
Ｃのようになる。

第37図において、走査変換回路115は、入力データ列
ａを第36図Ｂのように変換する回路であり、走査変換回
路116は、フレームメモリ102′からのデータ列ｂを第36
図Ｃのように変換する回路である。この走査変換がされ
たデータ列ｂ′は、第37図のように、第32図と同様の
（2S＋１）×（2T＋１）段のシフトレジスタからなる遅
延部に供給され、第33図の構成でブロック比較がなされ
る。この第２の従来例は、第１の従来例（第32図）の
（Ｈ−９）の遅延回路が不要となり、第33図のアキュム
レータのメモリが１ワードづつで良いことになる。

但し、第36図Ｃから判るように、データ列ｂ′のは水
平に（Ｐ＋2S）画素があり、2S画素分の余分があり、ま
た、垂直には、同様に2Tライン余分があるので、その余
分な画素の所で累算動作を止める制御が必要である。

第37図で、102′が付されたＰ−32はフレーム遅延よ
り32画素分少ない遅延という意味で、ＲとＣ（0,0）の
タイミングを１フレーム差にするためのものである。

テレビジョン走査から（Ｐ×Ｑ）のブロック単位の走
査変換は、第35図Ａのような走査からブロック単位の第
35図Ｂの走査に変換するもので、このためにはブロック
の垂直長さ分のラインメモリが最低必要でハードウェア
的にあまり小さくない。しかし、動きベクトル検出が必
要とされる帯域圧縮などの用途で、種々の目的で第35図
Ｂの走査が必要とされるので、第36図ＡのようなＰ×Ｑ
の走査変換は必ずしも負担ではない。しかしながら、第
36図Ｂのように、ａ′のようなデータ列にするとか、第
36図Ｃのように、（Ｐ＋2S）・（Ｑ＋2T）の走査変換
は、他の処理に使われず、このためだけのものであり負
担である。

なお、この（Ｐ＋2S）・（Ｑ＋2T）の走査変換は正確
には、水平に2S画素、垂直に2Tラインだけオーバーラッ
プさせながら第35図Ｂの如く走査するものである。

上述の第２の従来例は（Ｐ＋2S）×（Ｑ＋2T）段のシ
フトレジスタが（Ｈ−９）の遅延回路群に比べてハード
ウェアとして簡単なので、第１の従来例と比較すると、
遅延部が簡単になり、またアキュムレータのメモリも単
なるレジスタで良く、かなりの効果があるる。反面、Ｐ
×Ｑ走査変換及び（Ｐ＋2S）・（Ｑ＋2T）走査変換が必
要で、そのためには第32図の（Ｈ−９）遅延回路群より
多いメモリが必要となるし、また走査変換後には、デー
タレートが（Ｐ＋2S）×（Ｑ＋2T）÷Ｐ×Ｑ倍データレートが上昇し、更に、累算の制御が必要にな
るというような問題がある。

また、検出された動きベクトルにより、いろいろな画
像処理で動きベクトル補償がなされる。

これは１枚フレーム或いはフィールドの上だけではで
きない処理の場合に、画面に写っている動画像の動きを
考慮しないとフレーム間或いはフィールド間の処理がで
きないからである。具体的には画像の帯域圧縮の際にし
ばしば必要とされるが、ほかにY/C分離とかノンインタ
ーレース化といった時にも必要となる。

動きベクトル補償は、まず２つのフレーム（或いはフ
ィールド）を比較して動きベクトル即ち両者の画像のず
れを得て、その分だけどちらかのフレーム（フィール
ド）をずらして両者を重ね合わさるようにすることであ
る。

本来、動画というのは動体が単に平行移動するのみな
らず回転や拡大縮小も伴っているのであるが、現状の画
像処理技術では動きベクトルという形で平行移動分のみ
を検出しこれを考慮しようとしているのである。動きベ
クトル検出の方法としては、上述のように、一般に画像
を小さな四角のブロックに分けてそのブロック単位に動
きベクトルを得るのが一般的である。動きベクトルを検
出し、動き補償をするような時に問題となるのは（１）ブロックマッチングの結果として、マッチの度合
いの関数が、多数の極小値を持つ時の判断の仕方（２）ブロックに１つのベクトルしか得ないから、複数
の動きがある場合は論外としても、単純な動きでも動体
の輪郭部になるブロックとか小さな孤立動体を含むブロ
ックも救えない。

例えば第39図のように自動車が右方向へ動いている
時、この画面では、（１）Ｃ−ｃ、Ｃ−ｄのブロックではブロックマッチン
グで自動車の動きをとらえることができる。

（２）Ｂ−ｂ、Ｂ−ｃ、Ｂ−ｄ、Ｂ−ｅ、Ｃ−ｂ、Ｃ−
ｅ、Ｄ−ｂ、Ｄ−ｃ、Ｄ−ｄ、Ｄ−ｅのブロックは動体
の輪郭に相当し、ブロック内に２つの動きベクトルがあ
るので、動きベクトルの決定が面倒である。

（３）上記（１），（２）以外のブロックは静止であ
り、これは動きベクトルをとらえることができる。

従来では、第31図の判定部105において、第41図のよ
うな手順で動きベクトルを検出し、この動きベクトルで
動き補償をしている。この判定部105は、第38図のよう
に、ブロック比較後の各ずれの位置ごとの段差が供給さ
れる段差比較回路120と、比較およびノイズ除去回路121
とからなる。比較およびノイズ除去回路121には、残差
比較回路120から残差が最小の極小値の位置とその量、
残差が２番目に少ない極小値の位置とその量、残差が３
番目に少ない極小値の位置とその量が供給される。そし
て、比較およびノイズ除去回路121では、ノイズと思わ
れるものの除去と、残差の大小比較とがなされる。その
結果、動き補償の可否を示す判定信号と、ANDゲート123
を介された動きベクトルとが出力される。

この従来の判定部は、第41図のように、ブロックマッ
チングがなされ（ステップ124）、マッチ度の極小の検
出がなされる（ステップ125）。この極小点のベクトル
がマッチ度順にソーティングされ（ステップ126）、有
意な（そのベクトルの動き物体が存在すると判定され
る）極小点が決定される（ステップ127）。この極小点
のピーク数が検査され（ステップ128）、ピーク点が１
個の時には、動き補償がされ（ステップ129）、その他
の場合では、動き補償がされない。

このような判定の手順において、微小の検出、極小点
ベクトルのマッチ度順のソーティング、有意な極小点の
決定の方法としてはいろいろなアルゴリズムが考えら
れ、概して複雑な操作である。つまり、画一的、単純繰
り返しの操作ではなく、判断が多く、判断により次の操
作がきまるというような操作である。

ブロックマッチングにおいて動きベクトルを探す範囲
を水平（ｘ軸）に±Ｓ画素、垂直に±Ｔ画素とする時に
それぞれの動きベクトル量（x,y）（ｘ＝±S,y＝±Ｔ）
ごとに画像ブロックのフレーム差（フィールド差）が積
算され、第40図のように、等高線表示されるような３次
元的なデータが得られる。この３次元的なデータの中の
極小値がマッチ度の極小である。

例えば第40図Ａは、カメラのパニングの時の背景とか
動体内部の場合などであるベクトルの所に極小値が存在
する。第40図Ｂは、動体輪郭部の場合などで２つの極小
が（２つのベクトルが）存在している。

なお、動体輪郭部とは、例えば39図のＤ−ｂで第42図
のようなブロックを言う。

従来の動きベクトルの判定部および動き補償の欠点
は、（１）動きベクトル検出手順、即ちブロックマッチング
の結果のマッチ度の分布から有意な極小点を決定する手
順が複雑である。

（２）ブロックに１つのベクトルしか得られないので、
動体の輪郭部が補償できず、従って輪郭のぼけた動画像
になりやすい。

ことである。

この発明は、かかる欠点を除去することを目的とする
ものである。

更に、動き補償を用いたフレーム間符号化が知られて
いる。フレーム間符号化は画像信号を伝送するための帯
域圧縮で用いられており、動き補償とフレーム間差分を
組合せた符号化方式は、簡単には第43図にような構成で
実現される。第43図の動作原理等は、例えば下記の文献
を参照されたい。

（「TV画像の多次元信号処理」吹抜著、日刊工業新聞、
P266〜P280、例えばこの中のP274の図7,29）第43図でDCTと示す132は、離散的コサイン変換回路、
IDCTで示す133は、その逆変換回路、135は、フレーム遅
延をつくるフレームメモリである。入力データが動きベ
クトル検出回路136に供給されると共に、減算回路131に
供給され、フレームメモリ135からの前フレームの局部
復号出力と減算される。局部復号が逆変換回路133およ
び加算回路134で形成される。離散的コサイン変換回路1
32から発生する符号化データが符号割当て回路137によ
り、ハフマン符号などの符号化によってデータ量が縮小
される。

このような中でフレームメモリ（FM）の動き補償は、
第43図中央のループの外に動きベクトル検出回路136を
持ち、その出力である動きベクトルにより実現される。
前述のように、動きベクトル検出回路130は、帯域圧縮
装置（第43図）で必要なフレームメモリ135とは別にフ
レームメモリを必要とする問題がある。

従って、このように、動きベクトルの検出と帯域圧縮
とのそれぞれでフレームメモリを必要とすることは、問
題である。

この発明は、この両者を兼用して、一つのフレームメ
モリで構成できる画像信号符号化装置及び方法を提供し
ようとするものである。

〔課題を解決するための手段〕

請求項１の発明は、複数の画素データからなる画像信
号を複数のブロックに分割し、ブロック毎にフレーム間
動き補償とフレーム間差分データの直交交換を組み合わ
せた符号化を行う画像信号符号化装置において、フレームメモリに蓄えられた参照画像信号の所定の範
囲から複数の参照ブロックを生成する手段と、入力画像信号の基準ブロックと複数の参照ブロックと
のそれぞれの差分データを生成する複数の差分データ生
成手段と、複数の差分データのそれぞれについて直交変換を行う
複数の直交変換手段と、複数の直交変換手段からの出力に基づいて複数の参照
ブロックから一の参照ブロックを選択し、基準ブロック
と選択された参照ブロックとの間の動きベクトルを検出
する手段と、選択された参照ブロックに対応する直交変換手段が出
力するデータを、基準ブロックの画像信号を帯域圧縮し
た符号化データとして選択する手段とを備えたことを特
徴とする画像信号符号化装置である。請求項２の発明
は、上述のように画像信号を符号化するようにした符号
化方法である。

また、請求項３の発明は、複数の画素データからなる
画像信号を複数のブロックに分割し、ブロック毎にフレ
ーム間動き補償とフレーム間差分データの直交変換を組
み合わせた符号化を行う画像信号符号化装置において、フレームメモリに蓄えられた参照画像信号の所定の範
囲から複数の参照ブロックを生成する手段と、入力画像信号の基準ブロックに対して直交変換を行う
第１の直交変換手段と、複数の参照ブロックのそれぞれに対して直交変換を行
う複数の第２の直交変換手段と、第１の直交変換手段の出力データと複数の第２の直交
変換手段のそれぞれの出力データとの差分データを生成
する複数の差分データ生成手段と、複数の差分データ生成手段からの出力に基づいて複数
の参照ブロックから一の参照ブロックを選択し、基準ブ
ロックと選択された参照ブロックとの間の動きベクトル
を検出する手段と、選択された参照ブロックに対応する差分データ生成手
段が出力するデータを、基準ブロックの画像信号を帯域
圧縮した符号化データとして選択する手段とを備えたこ
とを特徴とする画像信号符号化装置である。請求項４の
発明は、上述のように画像信号を符号化するようにした
符号化方法である。

〔作用〕

ベクトル検出装置のフレームメモリと、符号化のため
のフレームメモリとを兼用できると共に、動き補償の精
度を高くすることができる。

〔実施例〕

以下、この発明の実施例について、図面を参照して説
明する。以下の説明は、ブロックマッチングのための好
適な実施例、動きベクトルの検出時の判定部の好適な実
施例、フレーム補償を組み合わせたフレーム間符号化、
即ち、帯域圧縮装置の好適な実施例について、順に述べ
られている。

まずブロックマッチングに関するこの発明の一実施例
について説明する。この実施例では入力データはＰ×Ｑ
走査変換がすでになされていると考える。即ち、第35図
Ｂおよび第35図Ａのデータ列で入力されるとする。前に
も述べたように、１回のＰ×Ｑ走査変換は負担ではない
ことに注意されたい。

第１図の回路を使うとＲに対してその前フレームのそ
のＲの出力画素の周辺がちょうど画面の上下左右を逆に
した形で各タップに得られることになる。

ここでフレームメモリ102は、３つの出力を待ち、出
力ｅは１フレームより5Hと50画素少ない遅延（Ｆ−5H−
50）、出力ｆが１フレームより50画素分少ない遅延（Ｆ
−50）、出力ｇが１フレームより5H多く50画素少ない遅
延（Ｆ＋5H−50）である。

また各ｅ、ｆ、ｇにつながるシフトレジスタはブロッ
ク内の走査の如く接続され、その各々がタップを有して
いる。なお、50画素とはＰ×Ｑの２倍のことである。そ
して第１図でｄで示すｆから50画素分シフトレジスタで
遅延された所のタップがＲと丁度、１フレームの時間差
となるタップである。

なおｅ′、ｆ′、ｇ′に対して、各々それまでと同様
の回路が続くと考えてよいが、後述のようにその必要が
ない。またｆやｇはｅ′やｆ′に対して遅延回路をつけ
ても得ることができるが、ここではフレームメモリから
得られるものとしている。

まずＲに現フレームのあるブロックの先頭データが現
れたタイミングを考えると、その時そこから後の25画素
はそのブロックの各画素であり、その時、同時にｄには
画面上そのブロックと同じ位置の前フレームのブロック
の先頭データが現れており、そこから後の25画素はそれ
ぞれＲ側と画面上位置が対応するデータが順次得られ
る。

よってこの25画素の期間を第33図の構成中のメモリ11
2を単なるレジスタにした回路でブロック比較すると、
Ｃ（0,0）のタップの場合と同じマッチ度が得られる。

第１図の各タップをその配列の通りに略記するのが第
２図である。ここで２本線による区切りは１ブロック分
（Ｐ×Ｑ＝25画素）のシフトレジスタ段の区切りであ
る。第２図以後も常に第１図のように接続されているこ
とを念頭において考える。第２図のような図では画面と
比べると、画素の並びが上下と左右で逆になっている。

さて、次に水平方向に−２画素ずれた場合、即ち、Ｃ
（−2,0）とＲのブロック比較を考える。この場合でも
Ｒ側は現フレームのあるブロックの先頭データがＲに現
れたタイミングから考える。そのブロックに相当する前
フレームの25画素はその時、第２図の点線の領域のレジ
スタにある。さて、水平方向に−２画素ずれたブロック
は、同じその時に実線の領域のレジスタにある。この領
域は２本線をまたいでおり、シフトレジスタはこの２本
線の間では水平にはつながっていないので、この２本線
の右側と左側で分けて考える必要がある。

まず、右側ではＣ（−2,0）のタップとして第１図の
ｄから水平に−２画素ずれたＣ′でよい。しかし、Ｃ′
のタップではブロックの先頭画素から続く３画素はよい
が、その次の２画素は領域外となり、その後の３画素は
有効でまた、その後の２画素は外のものということにな
る。

次に左側の部分についてだが、この部分の図上一番右
下の画素について考えると、ブロックの先頭データが
Ｃ′にいる時から３サイクル後にＣ′のタップにあらわ
れるべきものなので、これは実はＣ″のタップになって
しまう。即ち、この左側の部分についてはＣ″をタップ
とすれば良いことがわかる。そしてＣ′のタップで実線
の領域から出てしまうタイミングでは、Ｃ″を選ぶよう
にＣ′とＣ″を選択すればよいことがわかる。

結局、水平に−ｉ画素（０＜ｉ≦Ｓ）ずれたブロック
マッチングは、シフトレジスタでｄよりｉタップ手前の
タップと、ｄよりＰ×Ｑ−ｉタップ手前の２つのタップ
を使いそれをＰ−ｉサイクルとｉサイクルごとに選択す
ることにより、比較回路に必要なデータを供給すること
ができる。

同様に垂直に例えば−２画素ずれたケースを考える
と、一点鎖線の領域を前フレームの比較用ブロックとし
て考えねばならないから、今度は上下に別のシフトレジ
スタ列をまたがってしまう。しかし、この場合も同様に
考えてＣとＣ′を選択するようにすればよいことが
直ぐにわかる。

即ち、垂直に−ｊ画素（０＜ｊ≦Ｔ）ずれたブロック
マッチングは、シフトレジスタでｄよりｊ×Ｑタップと
ｄより｛Ｈ×Ｑ−（Ｑ−ｊ）×Ｐ｝タップ手前のタップ
（言い換えると後者はｆからｄまでと同じ遅延分だけｅ
から遅延した所ｄ′より（Ｑ−ｉ）×Ｐタップ後のタッ
プ）を前半のｊ×Ｐサイクルと後半の（Ｑ−ｊ）×Ｐサ
イクルで切換えればよい。

問題は一般的な水平に−ｉ画素、垂直に−ｊ画素ずれ
たケースだが、例えば水平に−３画素、垂直に−２画素
ずれる場合を考える。この場合は、第３図の実線の領域
を意味し、これとＲ側の点線の領域がブロック比較され
ねばならない。

第３図の実線領域は今度は縦と横の２本の２本線をま
たぎ、４分割されている。即ち、第１図のシフトレジス
タ上でシフトレジスタのつながりで考えるとあちこちに
分割されている。第４図のタイムチャートはその様子を
示している。

第４図Ａがクロックである。第４図ＢのＲは、第３図
の点線の領域の現フレームのデータがあらわれるタイミ
ングを“H"として示している。これはＰ×Ｑ＝25サイク
ル続く。これにあわせて第３図の実線の領域のデータが
第４図ＣおよびＤとｄとｄ′に示している。

第４図で使われる00〜44の番号は、Ｒにブロックの最
初の画素があらわれる時、即ち、第４図の最初のサイク
ルにおいて第３図上で比較されるブロックの各画素がど
こにあるかを示すものである。この00〜44の25画素が第
４図Ｉのｙのように並ばないと、第33図のような演算器
でＲと比較ができない。

第３図の実線の領域は２本線で右下、左下、右上、左
上の４つの部分に分かれる。右下の部分には00、01、1
0、11、20、21の各画素があるが、これはＣ′のタップ
から見るとＲのデータ列とタイミングが合う。

左下の部分には02、03、04、12、13、14、22、23、24
がある。これは先の水平ずれのみの時の例と同様の考え
方でＣ″のタップでＲとタイミングが合う。

右上の部分は30、31、40、41があり、これは先の垂直
ずれと同様の考え方でＣのタップでＲとタイミングが
合う。

左上の部分は32、33、34、42、43、44があり、例えば
32は画面上00の位置から水平に−２画素、垂直に−３画
素ずれていて、若し、ブロックが点線の領域のように１
つのシフトレジスタの列からはみ出さなければ、00の位
置から17段手前の遅延量の所にあるので、現実のシフト
レジスタの接続方法へ32の所から17段遅れたＣ′のタ
ップが代わりになることがわかる。

これらのことは第４図のタイムチャートで見るとよく
わかる。ｄ及びｄ′に対してＣ′、Ｃ″、Ｃ、Ｃ′
は単に時間ずれの関係であるから、シフトレジスタの段
数間隔に応じて第４図F,G,HのＣ′、Ｃ″、Ｃ、Ｃ
′が得られる。ｙのデータ列は第４図Ｉの下に示した
タイミングでＣ′〜Ｃ′を選択すればよい。

一般化すると水平に−ｉ画素（０＜ｉ≦Ｓ）、垂直に
−ｊ画素（０＜ｊ≦Ｔ）ずれたブロックとの比較は（１）ｄより（ｊ×Ｐ＋ｉ）段、手前のＣ′を示すタッ
プと（２）ｄより｛（Ｐ×Ｑ＋ｊ×Ｐ）−（Ｐ−ｉ）｝段手
前のＣ″で示すタップ（３）ｄ′より｛ｊ×Ｐ−（Ｐ−ｉ）｝段後のＣで示
すタップ（４）ｄ′よりＰ×Ｑ−｛（Ｑ−ｉ）×Ｐ＋（Ｐ−
ｊ）｝段手前のＣ′で示すタップなる４つのタップを使いその出力を適当に選択してＲ
出力と比較すれば良い。またその選択手順は（１）ブロックの先頭から（Ｑ−ｊ）×Ｐサイクルの範
囲では、（Ｐ−ｉ）サイクルをＣ′次のｉサイクルを
Ｃ″という選択を繰返す。

（２）残りのｉ×Ｐサイクルでは、（Ｐ−ｉ）サイクル
をＣ、次のｉサイクルをＣ′という選択を繰返す。

以上のことを要約して下記に示す。

水平に−ｉ画素、垂直に−ｊ画素ずれた前フレームの
ブロックとのブロック比較に（０≦ｉ≦Ｓ）、（０≦ｊ
≦Ｔ）必要なデータ列は第５図のＣ′（−ｉ、−ｊ）、
Ｃ″（−ｉ、−ｊ）、Ｃ（−ｉ、−ｊ）、Ｃ′（−
ｉ、−ｊ）の最大４つのタップを切換えて得られるので
ある。

また、第５図ではこれまでのｄの位置がＣ′（０、
０）である。また、これまでの実施例の説明は全て水平
垂直に負のずれの場合のみであったが、正の場合も基本
的に同じ考え方で考えることができる。第５図は水平と
垂直に両方とも正にずれる場合について必要なアップが
記入されている。水平が正で垂直が負というような組合
せに必要なタップは他の目的に必要なタップと重なるの
で記入を省略している。

第５図ではｅ入力から３ブロック分、ｆ入力から４ブ
ロック分、ｇ入力から３ブロック分のシフトレジスタが
必要である。しかし、これは工夫してシフトレジスタを
減らすことが可能である。

例えば第５図では正のずれの場合にも負のずれの時と
同じ場所即ちＣ′（０、０）の位置を基準としているが
この基準を第５図のｄ″の位置に移して考えてみると正
のずれの場合に必要なタップは第６図のように負のずれ
の時に必要なタップとかなり兼ねることができるように
なる。

正のずれの場合にタップのとり出しを第６図にする
と、第５図と合わせて考えて少なくともｇから導かれる
シフトレジスタは不要となるので、一見よさそうだが、
実は基準をｄの位置からｄ″の位置に変えるということ
はＲ側について負のずれの場合と正のずれの場合で変え
ねばならず、正のずれの場合はｄとｄ′の遅延差分だけ
Ｒから手前の遅延量のタップをつくらねばならず、これ
は先のｇについてのシフトレジスタが不要になる分に比
べてあまり得ではない。

例えば第６図では水平、垂直共に正のずれの場合にも
水平、垂直共に負のずれの時と同じ場所、即ち、Ｃ′
（０、０）の位置を基準にしているが、この基準を第７
図のｄ″の位置に移して考えると水平垂直共に正のずれ
の場合に必要なタップは、第７図のように水平垂直共に
負のずれの時に必要なタップと全部兼ねてしまうことが
できる。

この第７図のｄ″の位置はｄの位置から最大ずれのｉ
＝Ｓ＝４、ｊ＝Ｔ＝３だけずれた位置で、ここを基準に
とると全てのタップ選択の手順は水平、垂直共に負のず
れの場合と同じ組合せが使えるのである。

同様なことは水平に正、垂直に負或いは水平に負、垂
直の正にずれの場合でも言える。水平垂直共に正のずれ
の場合にタップのとり出しを第７図にすると、第５図と
合わせて考えてｇから導かれるシフトレジスタは不要と
なり、またｆからのシフトレジスタ２もブロック分で良
い。但し、水平垂直共に正のずれの場合には、基準がｄ
からｄ″の位置に変わるので、Ｒ側について水平垂直共
に負のずれの場合とｄとｄ′の遅延差の分だけＲより手
前の遅延量のタップをつくり、これを使わねばならな
い。しかし、そのための遅延回路はわずかである。

なお、ｅからのシフトレジスタのうち最初の１ブロッ
ク分についてつながるものがないから、これは節約する
ことが可能である。

以上まとめると本実施例は第８図のように、フレーム
メモリ13、14および遅延部と第９図のようなブロック比
較部となる。

結局、第８図のように、Ｒは、水平と垂直のずれの正
負でＲ＋＋、Ｒ−＋、Ｒ＋−、Ｒ−−、の４つに分けて
考えられる。

そして、それらのそれぞれの基準となる点は第８図の
ｄ＋＋、ｄ−＋、ｄ＋−、ｄ−−なので、その間の遅延
差を補償する。即ち、Ｒ＋＋とＲ−＋及びＲ＋−とＲ−
−はちょうどＳ（＝４画素）、Ｒ＋＋とＲ−−はTP＋Ｓ
（＝３×５＋４＝19画素）となる。第１図の出力ｅ、
ｆ、ｇにつながるシフトレジスタに相当するものはｅ′
とｆ′につながるシフトレジスタとなる。

ｅ′では、第７図のように最初の１ブロック分につい
てはつながるタップがないので、これを省略しその分フ
レームメモリに遅延を課している。また、次のブロック
についても最初の２ラインの10画素分はやはり使われて
いない。これはちょうどｆ′につながるシフトレジスタ
列についても最初のブロックの最初の２ライン分の10画
素分が使われないので、まとめてフレームメモリに遅延
を移している。また、ｇに相当するものは必要ないの
で、第８図にはない。第８図で点線で示す四角はこのよ
うに不要なシフトレジスタ部分で節約したことを示して
いる。

ｅ′とｆ′の間の遅延差は本来Ｑライン分でＱ×Ｈ画
素分であるが、ｅ′からのシフトレジスタのうち最初の
ブロックを省略しているのでＱ×Ｈ−Ｐ×Ｑ＝5H−25画
素分の遅延になっている。フレームメモリはＲ−−とｄ
−−が１フレーム（Ｆ）差になるようにされていなけれ
ばならずＦ−２（PQ）＋（TP＋Ｓ）−（QH−PQ）＋10＝Ｆ−5H
＋４となる。

ブロック比較は、第９図のような回路を使う。即ち、
Ｒからセレクタ１で選択されたデータを減算する減算回
路９と、絶対値化回路10と、加算回路11と、レジスタ12
とからなる累算器の構成が使用される。

このＲには、ずれの量を水平方向ｉ画素、垂直方向ｊ
画素とする時にｉが正でｊが正の時は、Ｒ＋＋をｉが負でｊが正の時は、Ｒ−−をｉが正でｊが負の時は、Ｒ＋−をｉが負でｊが負の時は、Ｒ−−をそれぞれ使用する。

そしてＣ′（ｉ、ｊ）、Ｃ″（ｉ、ｊ）、Ｃ（ｉ、
ｊ）、Ｃ′（ｉ、ｊ）の最大４つのタップをセレクタ
１に導き、これを第４図の説明に示した方法で選択し、
フレーム間の差をとり絶対値をとり、（或いは自乗な
ど）そして１ブロック分アキュムレートする。

以上の実施例の説明はＳ≦Ｐ、Ｔ≦Ｑのケースであっ
て、この条件以外の場合はもっと複雑になるが、同様な
考え方を拡張するだけで実現できる。

第９図のようなブロック比較演算回路は、ずれの量
（ｉ、ｊ）ごとに必要であるが、先に示したようにこれ
は間引くことがある。また、データレートとこの演算器
の演算速度の間で例えばｎ倍演算が速くできるとすれば
１つの演算回路でｎ個の（ｉ、ｊ）用の演算を時分割多
重が可能であり、そのようにすれば演算器数は1/nとな
る。

ここでの説明はインターレースしない画像についての
話であったがインターレースする場合でも適用できる。
ただしインターレースされたフィールド間の動きベクト
ルを求める時は先の（ｉ、ｊ）のずれのうちｊは全て0.
5画素オフセットを持つことになる。

次に、上述の実施例により得られたブロックマッチン
グの結果に基づいて、動きベクトルを検出する時の判断
の手順を簡単化できる実施例について、説明する。

本発明の手順は第10図のようなものである。従来の第
41図と異なり、マッチ度の分布、即ち、いろいろな極小
を調べたりしない。

ブロックマッチングのステップ21の後で、マッチ度最
小のベクトル量（x,y）をのみまず得る。（ステップ2
2）そして、周辺ベクトルの相関検出がなされる（ステッ
プ23）。これは、注目ブロックの周辺の８つのブロック
のマッチ度最小ベクトル（xi,yi）（ｉはブロックにつ
けた番号）について、例えばフーリエを変換を行う。ｘ
が左右、ｙが上下方向とする。即ち、今、例えば第39図
のＤ−ｂのブロックに注目しているとすると、そのまわ
りの８つのブロックに第11図のように順に周囲を巡るよ
うに番号をつけ（どちらまわりでも、どこのブロックか
ら始めてもよい）その番号をｉとする。するとこの第11
図のケースだと、例えば第12図のような波形が得られ
る。第12図で横軸は空間的な位置（SP）で、具体的には
番号ｉである。縦軸は動きベクトルのｘ成分或いはｙ成
分である。第12図Ａが動きベクトルのｘ成分、第12図Ｂ
が動きベクトルのｙ成分である。第39図で車が右へ動い
ていると（右へ動く時がｘが正で、上へ動く時ｙが正で
あるとすると）、第12図のような波形になる。

第11図の場合、ｉ＝１とｉ＝３においてはそれぞれＣ
−ｂとＤ−ｃのブロックであるが、これは輪郭部で動き
ベクトルは背景のものと車のもののどちらになるかわか
らないが例えば第12図のようになったとする。するとフ
ーリエ変換により第12図の波形は周波数分析され、変換
後は第13図Ａのような結果が得られるはずである。第13
図Ａはフーリエ変換後のパワースペクトラムである。第
13図Ａは波が基本波として１波存在しているので、第13
図Ａでは横軸の空間周波数（sf）の１の所にピークが出
ている。

第13図Ｂは例えば背景だけの部分とか大きな動体内部
で注目ブロックのまわりのブロックの最小マッチ度ベク
トルが、全て同じベクトルに近い時の場合で、sf＝０、
即ち直流成分にピークがでる。

フーリエ変換のあとは第13図ＡおよびＢのようなデー
タについてあるレベル以上の周波数成分を探し、それが
空間周波数がいくつのところかで分類する（ステップ2
4）。

第13図Ｂのように直流成分にピークのある時は、動き
ベクトルは注目ブロックの周辺でほぼ一定なので注目ブ
ロックも周辺と同じであろうと考えられ、動きベクトル
は注目ブロックのマッチ度最小ベクトルでよいと思われ
る（ステップ25）。なお、この注目ブロックが孤立動体
の場合は、周辺と異なるベクトルとなっているかも知れ
ない。しかし、孤立動体を救うのは容易ではないので、
マッチ度最小ベクトルがその動体によるものかその周辺
と同じかはマッチ度の大小で決めるしかないので特に問
題はないと考える。

第13図Ａのように、sf＝１にピークが出ている時は、
注目ブロックの周辺のブロックの動きベクトルは１周で
１波の変化がある訳で、これは注目ブロックが動体輪郭
部に存在することを意味する。この場合は２つの動きベ
クトルがこのブロック内に存在するはずで、よって、こ
の時のみ適応的にブロックを更に例えば４分割したサブ
ブロックをつくり、そのサブブロックについて動きベク
トル検出を行う（ステップ26および27）。ただし、この
時は再びブロックマッチングをする必要はない。なぜな
ら候補となるベクトルは周辺のブロックに存在する２種
のベクトルのグループの付近であることは明らかで、か
なり限定した範囲でのブロックマッチングとなり、操作
が簡略化される。

ステップ25および27の後で、動き補償がなされる（ス
テップ28）。しかし、フーリエ変換出力が第13図のよう
にならない時は従来同様、動きベクトル検出不能であ
り、動き補償は断念される。

第14図は、適応ブロック化を説明するもので、第14図
Ａのような動き物体である車が走っている場合で、ステ
ップ24の判定で、sf＝１〜３にピークが検出された時
に、第14図Ｂに示すように、そのブロックの周辺で局部
的にサブブロック化を行う。第14図Ｃに示すように、こ
の細かいサブブロックの単位で動きベクトルの検出を再
帰的に行う。

上述のこの発明の判定部の一例が第15図に示されてい
る。残差比較回路31では、１ブロック当りの残差が最小
のずれの位置が検出され、これが仮の動きベクトルとし
て出力される。この仮の動きベクトルが遅延回路群32に
供給される。これは、Ｐで示す仮の動きベクトルの一つ
を記憶するレジスタと、Ｑで示す画素の水平方向に並ぶ
ブロック３だけ少ない数の仮の動きベクトルを記憶する
シフトレジスタとからなる。そして、フーリエ変換等の
直交変換回路33と、その出力が供給されるピーク検出回
路34とが設けられ、ORゲート35の出力端子38には、sf＝
１、２、３にピークがある時の判定信号が取り出され、
この判定信号がサブブロック化回路に供給され、また、
ANDゲート36の出力には、動きベクトルが出力される。

上記説明でフーリエ変換で説明した部分は、フーリエ
変換に限らずアダマール変換やハートレー変換なども使
える。要するにいろいろな波数の参照波との相関演算を
して、どの波数と最も相関が強いかが出せればよい。

フーリエ変換の場合について補足すると、一見乗算等
が多く演算が大変そうだが、この変換は必ず８次の変換
であり、FFTの手法により８次の場合は、ほとんど加算
のみでよく乗算はごくわずかであることが周知である。
よって問題ない。アダマール変換などは係数が１か０で
ありもっと演算が簡単である。

第10図の手順は、従来の処理に比べ単純操作ばかりで
あり、複雑な判断は必要ない。

最後に、動きベクトル補償とフレーム差分符号化方式
とを組み合わせたこの発明の更なる実施例について、以
下に説明する。第16図がその実施例である。

第16図で、41が最初の実施例について述べたようなブ
ロックマッチングのための遅延部であり、42が減算回路
群であり、PIで示す43が電力積分回路群で、二乗のため
の乗算回路とその乗算出力を累算する構成とされてい
る。この電力積分回路群43の出力が判定部44に供給され
る。減算回路群42および電力積分回路群43は、上述のブ
ロック比較のために、（ｉ、ｊ）（ｉ＝−Ｓ〜＋Ｓ、ｉ
＝−Ｔ〜＋Ｔ）毎に、計（2S＋１）（2T＋１）個設けら
れている。判定部44は、差の電力が最低とされたずれの
量のフレーム差を選ぶものであり、出力端子45には、検
出された動きベクトルが得られる。

減算回路群42に接続されたセレクタ46が設けられてい
る。このセレクタ46の出力がDCTの変換回路47に供給さ
れる。変換回路47の出力ｄが符号割当て回路51を介して
符号化出力として取り出され、また、逆変換回路48を介
して加算回路49に供給される。加算回路49の出力信号ｃ
がフレームメモリ50に供給され、フレームメモリ50の出
力ｂが遅延図41および加算回路49に供給されている。

従来の構成と異なる点は、符号化回路のループ内に動
きベクトル検出の構成を移動させた点である。

なお、動きベクトル検出点を減らす方法を利用する場
合、および第16図のように（2S＋１）（2T＋１）個演算
回路を用意しても動きベクトルを画素格子の整数単位で
なく、実数として得るというような場合には、セレクタ
46の所は単なるセレクタだけでなく、セレクタ46に対し
て若干の可変遅延回路を接続して、この可変遅延回路の
遅延量を検出点の存在しない分、制御しても良い。ま
た、セレクタ46に対して遅延回路を接続し、この遅延回
路に補間演算回路例えば線形補間回路を接続し、所望の
ずれた点のフレーム差を得るようにしても良い。また、
両者を組合せることも可能である。

上述のように、この発明の適用された帯域圧縮装置
は、フレームメモリが１つでよく、小型である。また、
フレームメモリのアドレス制御（遅延量制御）が不要で
ある。従来に比べてふえるのはセレクタだけでたいした
ハードウェア増ではない。

なお、第16図のループ内にはDCT変換回路と逆変換回
路しか挿入しなかったが、ここにいろいろな処理を入れ
ることがあるが、それは、この発明と独立であるので、
ここでは触れないが、どのようなものも可である。ま
た、ブロック比較（マッチ度を求める）回路はパワー
（自乗）を使っているが、それは絶対値でも他の非線型
演算でも可能である。更に、従来から知られる動きベク
トル検出点を減らす方法は、この発明でも同様に適用で
きる。

動き補償を組み合わせたフレーム差分符号化方式の帯
域圧縮装置の他の実施例について説明する。この実施例
は、第17図のようなもので基本的には、上述の第16図の
実施例の変換回路47を動きベクトル検出の部分の中へ入
れた構成となっている（変換回路群61）。従って、第17
図の詳細は、第16図とほぼ同様であり、ここでは異なる
点のみ補足的に説明する。

第17図で、IIと示すデータ量検出回路は、第16図の電
力積分回路PIと同じようなものでもよいのだが、より良
い帯域圧縮をするためDCT後の帯域圧縮されたデータ量
を検出するものである必要がある。例えば絶対値の積分
とか零ではないデータの数とか２進数表現の各ビットの
“1"の数などである。このデータ量検出回路群62の出力
が判定部44に供給される。

また、ここでDCTと示した変換回路は、最低限DCTを含
むが、それと組み合わせて使われるジグザグ変換等の帯
域圧縮テクニックを含んでよい。勿論その場合には逆変
換回路で、その逆の手順を実施することが必要である。

第17図は第16図より、より帯域圧縮に適した動きベク
トル補償ができる。

第17図はまた、DCTが線型演算即ち内積演算（マトリ
ックス演算）であることから、フレーム差をとった後で
もその前でも同じ結果となるので、第18図のように考え
てもよいことは明白である。第18図は第17図の変換回路
群61の位置を更に前へ移したものである。

第17図、第18図のように、変換回路群61を動きベクト
ル検出回路内に移した時は、DCTの演算量が増えること
が問題点である。しかし以下のように考えることができ
る。

まず前提として画像のブロック化は、既に説明したも
のと重複するが、第19図のように水平Ｐ画素×垂直Ｑ画
素とする。ここでは、Ｐ＝５、Ｑ＝５の例を示す。ま
た、動きベクトルは、水平に±Ｓ画素、垂直に±Ｔ画素
ずれた範囲で考えるとする。以下、Ｓ＝4,T＝３とす
る。

従って、現フレームにおけるあるＰ×Ｑ画素のブロッ
クを第20図の内側の太線とする時の第20図の外側の太線
が、前フレームの画素のうちブロック比較に使われる範
囲である。第20図では、中央を座標0,0（ｘ＝0,y＝０）
として画素毎に座標を記してある。ただし、省略して一
部の画素にしか記していない。

（１）（垂直）例えば、まず、１フレームで水平には左から右へ４画
素、垂直には上から下へ３画素ずれた場合に相当するブ
ロック比較は、現フレームのあるブロックを第20図の内
側の太線とするなら、前フレームにおいては第21図のα
の太線の位置のＰ画素×Ｑ画素のブロックを比較対象と
することになる。即ち、第22図Ａのような座標のブロッ
クを使う。

次に、１フレームで水平には左から右へ４画素、垂直
には上から下へ２画素ずれた場合に相当するブロック比
較は、今度は第21図のβの太線の位置のブロックを比較
対象とする。これは即ち、第22図Ｂのような座標のブロ
ックを使う。

以下、水平のずれは同じ垂直方向のずれのみ異なるブ
ロック比較は以下同様である。

ここでαのDCTとβのDCTの比較をすると、次のような
ことがわかる。DCTは２次元で行われるが、まずはじめ
に水平方向に変換を行い、その後垂直にするものとすれ
ば、αの水平方向の変換が演算される第22図Ａの５ライ
ンの各画素のグループは、βの水平方向の変換画演算さ
れる。第22図Ｂの５ラインの各画素のグループは、68で
示すように、実はそのうちの４ラインがオーバーラップ
していて、αについて計算されていればβでは演算不要
であることがわかる。

結局、水平のずれは同じで垂直のずれのみ異なるブロ
ック比較については、水平方向の変換の際にかなり演算
を省略できる。

（２）（水平）次に今度は、水平には左から右へ３画素、垂直には上
から下へ３画素ずれた場合に相当するブロック比較は、
現フレームのあるブロックを第20図内側の太線とするな
ら前フレームについては第21図のαを右に１つずらした
ブロックを比較対象とすることになり、即ち第22図Ｃの
ような座標のブロックを使う。第22図Ｃのデータブロッ
クは、第22図Ａのデータブロックと比較すると、第22図
Ａの左端のデータが第22図Ｃになくて、一方、第22図Ｃ
の右端のデータが第22図Ａにない。

２次元DCTをまず水平方向を先に変換するとすると、
フーリエ変換について例えば（産報出版“FETの使い
型”安居院猛他著P132〜133の“重なりデータに対する
高速解法”）のような方法が知られているから、第22図
Ａのようなαのブロックのデータについて変換演算され
ていれば、69で示すように、それを右に１画素ずらした
ブロックの変換演算は新規に演算しなくても、簡単な演
算で求まる。この参考資料はフーリエ変換の話だが、コ
サイン変換でも同様である。

上記説明は２次元DCTの最初の水平の１次元DCT変換に
ついてのみの話であったが、同様の考え方で、２次元に
拡張し、大幅な演算量削減がはかれる。第16図に対する
第17図は大幅な演算ハードウェア増になるが、第17図を
第18図にすると、大幅に演算量が減らされ、それは第16
図よりは多いがDCT等を動きベクトル制御に含めたこと
によるメリットを生かせるようになる。

ここで演算量の比較を行う。

第16図において、PIは自乗積分であれば、その構成は、
第23図の回路となる。即ち、第23図において、71で示す
減算回路の出力が乗算器72で自乗され、自乗出力が加算
回路73およびメモリ74で累算される。また、絶対値積分
なら第24図である。即ち、第24図において、71で示す減
算回路の出力が乗算器72で自乗され、自乗出力が符号反
転回路75およびセレクタ76に供給される。セレクタ76の
出力が累算される。現フレームのＰ×Ｑ画素の１ブロッ
クについて積分はＰ×Ｑ回演算累積し、それが（2S＋
１）×（2T＋１）個必要である。トータルでＰ・Ｑ・
（2S＋１）×（2T＋１）回の演算で、１画素当たりでは
（2S＋１）（2T＋１）回ということになる。

DCTは、積和演算回路で演算でき、現フレームのＰ×
Ｑ画素の１ブロックについて、Ｐ×Ｑ×P² Ｑ回演算す
る必要であり、１画素当たりＰ回である。

第18図において今DCTと示す部分は本当にDCTのみである。またデータ
量検出回路IIも、電力積分回路PIと同じとする。その
時、IIの演算量は第16図のPIと同じである。DCTの前後
でデータ数は変わらないからである。

DCT演算については、単純に考えると、第18図にはDCT
が（2S＋１）（2T＋１）＋１個あるので、その分第16図
より多くて、１画素当たり｛（2S＋１）（2T＋１）＋
１｝×Ｐ回の演算となって膨大である。しかし、先に述
べた理由により、これを全て演算する必要はなくて、少
なくともａ側とｂ側に１つずつのDCT演算回路は必要
で、第16図より必ず２倍以上は必要だが、非現実的な大
きさにはならない。

更に注目すべきことは、DCT出力においてはデータが
周波数分析されているのであり、あたかもフィルタバン
クを通したようなものなので、これまで考えられなかっ
たことを考えることができる。

まず、例えば帯域圧縮では、DCT出力のある周波数成
分はのぞいてしまうことがあるが、そうであればその周
波数成分については、II即ちPIは演算しなくてもよく、
ここで演算が減る。

次に、例えば入力ａの所に入れたDCTで入力データの
各周波数成分がわかっているので、このDCT出力を判断
して、やはりIIで計算しなくてよい部分を見つけ出すこ
とができて演算を省略できる。

或いはまた、動きベクトル検出にブロック内の高周波
成分はあまり影響しないとして低減の限られた周波数成
分にIIの演算を限定できる。

また、動きベクトル検出について、そのための演算量
を減らすための先に引用した参考文献（日刊工業新聞社
刊“TV画像の多次元信号処理”吹掀著P203〜204の“３
段階探索法”）のような方法があるが、このようなテク
ニックも本件に適用することが可能である。

第25図がその実施例である。第25図では、ずれた９つ
の位置について調べることを３回繰り返してずれの量を
局限していく例を示している。第25図は、第18図のa,b
入力からｄまでを置き換えるべき部分についてのみ記し
てある。第25図で遅延部41Aはこれまでの説明のものと
同じだが、タップが９つしかないもの、遅延部41Bは基
本的に同様だが、判定部41Aによって得られる最も、第
雑把な領域最低結果を踏まえて各タップの遅延量を決め
るもの。遅延部41Cは同じように判定部44Aと判定部44B
によって限定された領域の各タップの遅延量を与えるも
のである。また、ED1〜４で示す65A、65B、66A、66B
は、演算部の遅延を保証する等価遅延回路である。

第25図には示していないが、ここにもDCTの演算を減
らす既に説明した方法を適用することができる。

〔発明の効果〕

この発明は、直交変換符号化した後のフレーム間差分
について、圧縮効果の良否を判定しているので、圧縮処
理を最適化することができる。また、この発明は、フレ
ーム差分符号化と動きベクトル検出とでフレームメモリ
を共用しているので、回路規模を小さくすることができ
る。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図及び
第３図はこの一実施例の説明に用いる略線図、第４図は
この一実施例の説明に用いるタイミングチャート、第５
図、第６図及び第７図はこの一実施例の説明に用いる略
線図、第８図及び第９図はこの一実施例の説明のための
ブロック図、第10図はこの発明の第２の実施例の説明に
用いるフローチャート、第11図、第12図、第13図及び第
14図はこの発明の第２の実施例の説明に用いる略線図、
第15図はこの発明の第２の実施例の説明に用いるブロッ
ク図、第16図はこの発明の第３の実施例のブロック図、
第17図及び第18図はこの発明の第４の実施例を夫々示す
ブロック図、第19図、第20図、第21図、第22図はこの発
明の第４の実施例の説明に用いる略線図、第23図及び第
24図はこの発明の第４の実施例の説明に用いるブロック
図、第25図はこの発明の第５の実施例のブロック図、第
26図、第27図、第28図、第29図及び第30図は従来の動き
ベクトル検出方法の説明に用いる略線図、第31図は動き
ベクトル検出装置の概略を示すブロック図、第32図は従
来の動きベクトル検出装置の一部のブロック図、第33図
は従来の動きベクトル検出装置の他の部分のブロック
図、第34図及び第35図は従来の動きベクトル検出装置の
説明に用いる略線図、第36図は従来の動きベクトル検出
装置の説明に用いるタイミングチャート、第37図は従来
の動きベクトル検出装置の一部のブロック図、第38図は
従来の動きベクトル検出装置の判定部のブロック図、第
39図、第40図、第42図は従来の動きベクトル検出装置の
判定部の説明に用いる略線図、第41図は従来の動きベク
トル検出装置の判定部の説明に用いるフローチャート、
第43図は従来の帯域圧縮装置の説明に用いるブロック図
である。図面における主要な符号の説明 101:入力端子 103:遅延部 104:ブロック比較部 105:判定部

Claims

(57)【特許請求の範囲】

【請求項１】複数の画素データからなる画像信号を複数
のブロックに分割し、ブロック毎にフレーム間動き補償
とフレーム間差分データの直交変換を組み合わせた符号
化を行う画像信号符号化装置において、フレームメモリに蓄えられた参照画像信号の所定の範囲
から複数の参照ブロックを生成する手段と、入力画像信号の基準ブロックと上記複数の参照ブロック
とのそれぞれの差分データを生成する複数の差分データ
生成手段と、上記複数の差分データのそれぞれについて直交変換を行
う複数の直交変換手段と、上記複数の直交変換手段からの出力に基づいて上記複数
の参照ブロックから一の参照ブロックを選択し、上記基
準ブロックと上記選択された参照ブロックとの間の動き
ベクトルを検出する手段と、上記選択された参照ブロックに対応する直交変換手段が
出力するデータを、上記基準ブロックの画像信号を帯域
圧縮した符号化データとして選択する手段とを備えたこ
とを特徴とする画像信号符号化装置。
【請求項２】複数の画素データからなる画像信号を複数
のブロックに分割し、ブロック毎にフレーム間動き補償
とフレーム間差分データの直交変換を組み合わせた符号
化を行う画像信号符号化方法において、フレームメモリに蓄えられた参照画像信号の所定の範囲
から複数の参照ブロックを生成するステップと、入力画像信号の基準ブロックと上記複数の参照ブロック
とのそれぞれの差分データを生成するステップと、上記複数の差分データのそれぞれについて直交変換を行
うステップと、複数の直交変換出力に基づいて上記複数の参照ブロック
から一の参照ブロックを選択し、上記基準ブロックと上
記選択された参照ブロックとの間の動きベクトルを検出
するステップと、上記選択された参照ブロックに対する直交変換出力デー
タを、上記基準ブロックの画像信号を帯域圧縮した符号
化データとして選択するステップとを備えたことを特徴
とする画像信号符号化方法。
【請求項３】複数の画素データからなる画像信号を複数
のブロックに分割し、ブロック毎にフレーム間動き補償
とフレーム間差分データの直交変換を組み合わせた符号
化を行う画像信号符号化装置において、フレームメモリに蓄えられた参照画像信号の所定の範囲
から複数の参照ブロックを生成する手段と、入力画像信号の基準ブロックに対して直交変換を行う第
１の直交変換手段と、上記複数の参照ブロックのそれぞれに対して直交変換を
行う複数の第２の直交変換手段と、上記第１の直交変換手段の出力データと上記複数の第２
の直交変換手段のそれぞれの出力データとの差分データ
を生成する複数の差分データ生成手段と、上記複数の差分データ生成手段からの出力に基づいて上
記複数の参照ブロックから一の参照ブロックを選択し、
上記基準ブロックと上記選択された参照ブロックとの間
の動きベクトルを検出する手段と、上記選択された参照ブロックに対応する差分データ生成
手段が出力するデータを、上記基準ブロックの画像信号
を帯域圧縮した符号化データとして選択する手段とを備
えたことを特徴とする画像信号符号化装置。
【請求項４】複数の画素データからなる画像信号を複数
のブロックに分割し、ブロック毎にフレーム間動き補償
とフレーム間差分データの直交変換を組み合わせた符号
化を行う画像信号符号化方法において、フレームメモリに蓄えられた参照画像信号の所定の範囲
から複数の参照ブロックを生成するステップと、入力画像信号の基準ブロックに対して第１の直交変換を
行うステップと、上記複数の参照ブロックのそれぞれに対して第２の直交
変換を行うステップと、上記第１の直交変換の出力データと上記第２の直交変換
のそれぞれの出力データとの差分データを生成するステ
ップと、複数の上記差分データに基づいて上記複数の参照ブロッ
クから一の参照ブロックを選択し、上記基準ブロックと
上記選択された参照ブロックとの間の動きベクトルを検
出する手段と、上記選択された参照ブロックに対応する差分データを、
上記基準ブロックの画像信号を帯域圧縮した符号化デー
タとして選択するステップとを備えたことを特徴とする
画像信号符号化方法。