JPH04207788A - 画像信号符号化装置及び方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、動き補償とフレーム間符号化とを組み合わ
せた帯域圧縮装置に関する。

〔発明の概要〕

この発明は、動き補償とフレーム間符号化とを組み合わ
せた帯域圧縮装置において、 入力画像データを直交変換して、第１の直交変換出力を
形成し、 フレームメモリの出力に対しても、直交変換と同じ直交
変換を行う共に、遅延を与えることにより、現フレーム
とずれた複数の位置に夫々対応する第２の直交変換出力
を形成し、 第１の直交変換出力と複数の位置に対応する第２の直交
変換出力との差を夫々演算し、差に基づいて、データ圧
縮効果の最も高いずれの量のデータについての出力差を
符号化出力として利用するようにしたことを特徴とする
帯域圧縮装置である。この発明は、ベクトル検出装置に
必要とされるフレームメモリと、符号化のために必要と
されるフレームメモリとを兼用できると共に、動き補償
の精度を高（することができる。

〔従来の技術および解決しようとする課題］動きベクト
ルの検出について、最初に説明する。

ここでは、１枚の画像（フレームとする。ここでは、イ
ンターレースは考えないとする）を第２６図のように水
平Ｈ画素、垂直■ラインであるとする。そして、その画
面をＰ画素×Ｑラインのブロックに細分化するものとす
る。第２７図は１つのブロックを示している。この場合
はＰ＝５、Ｑ−５の例である。Ｃと示したのはこのブロ
ックの中心画素位置である。

第２８図ではＣを中心画素とするブロックとＣ′を中心
とするブロックの位置関係を示しており、前者を現フレ
ームの注目しているあるブロックとする時、その画像と
一致するブロックが前フレームにおいてＣ′を中心とす
るブロックの位置にあるものとしている。第２８図Ａは
、水平方向に＋１画素、垂直方向に＋１ラインの動きベ
クトルの場合である。第２８図Ｂは、水平方向に＋３画
素、垂直方向に＋３ラインの動きベクトルの場合である
。第２８図Ｃは、水平方向に＋２画素、垂直方向に一１
ラインの動きベクトルの場合である。−船に、動きベク
トルは現フレームの各ブロックごとに求められる。

動きベクトルを検出する範囲を水平に＋３画素、垂直に
±Ｔラインの範囲とする時、現フレームのあるブロック
は、その中心Ｃに対して、水平に±Ｓ、垂直に±Ｔずれ
た所にＣ′がある種々の前フレームのブロックと比較さ
れねばならない。第２９図は現フレームのあるブロック
の中心Ｃの位置をＲとする時に、比較すべき前フレーム
の（２Ｓ＋１）Ｘ　（２Ｔ＋１）個のブロックとの比較
が必要なことを示している。即ち、この第２９図のます
目の位置にＣ′がある前フレームのブロックの全てが比
較対象である。第２９図はＳ＝４、Ｔ＝３とした例であ
る。

以下Ｐ＝５、Ｑ＝５、Ｓ＝４、Ｔ＝３の例で説明するこ
とにする。

見方を変えると、現フレームの注目するあるブロックを
第３０図の内側の中央部の５画素×５ラインの位置と考
える時、前フレームの同じ位置を中心にした水平＋５画
素、垂直±Ｔラインを含む第３０図の外側の（Ｐ＋２３
）画素Ｘ　（Ｑ＋２Ｔ）ラインの太線の内部に置きうる
全ての５画素×５ラインの領域が比較される対象となる
。

動きベクトル検出は、しばしば実現上の簡単化のため、
間引いて考えることがある。即ち、上述の例では水平上
Ｓ画素、垂直±Ｔラインの範囲で全て位置関係について
比較するとしているが、この比較のうちいくつかの組合
せの比較を省略することがある。しかし、以下の説明で
は説明の簡単化のため、全ての組合せを比較するものと
して話を進める。

第３１図は動きベクトル検出の構成概念図である。入力
端子１０１から供給されるデータａが現フレーム画像デ
ータであり、データｂがフレームメモリ１０２により１
フレーム遅延された１フレーム前の画像データである。

前フレームのデータｂが遅延部１０３により第２８図の
ようないろいろな位置関係のデータとなり、その各々が
データａと比較される。ブロック比較部１０４は、各ず
れ位置ごとの画像の一致の度合い（マツチ度）を出力し
、判定部１０５がマツチ度を比較して最も妥当なずれの
量、即ち、動きベクトルを出力端子１０６に出力する。

この第３１図に示す動きベクトル検出のハードウェアは
フレームメモリ１０２のほか、遅延部１０３とブロック
比較部１０４に大容量のメモリが必要とされ、また、比
較が間引かれないとブロック比較部１０４の演算部も大
規模となり、更に、判定部１０５も、その方法によって
は大規模になる。従って、動きベクトル検出が利用され
るシステムの中でそのバー−ドウエア量はかなりの比率
を占めるという問題がある。

動きベクトルの検出をソフトウェアで行うことも提案さ
れている（特開昭６１−１０５１７８号公報参照）。し
かしながら、ソフトウェアの処理速度の制約から、比較
および判定の方法として、かなり簡略化されたものを使
用せざるをえず、検出された動きベクトルの精度が低い
問題が生じる。

この発明は、第３１図のうち判定部１０５を除く遅延部
１０３およびブロック比較部１０４の部分、特に、遅延
部１０３についてハードウェア量を少なくすることに関
する。

第３２図、第３３図が第１の従来例である。第３２図は
、第３１図のフレームメモリ１０２と遅延部１０３の部
分に相当する。

第３２図でＦがフレームメモリ１０２で１フレーム入力
データを遅延させる。Ｈが１水平走査（ライン）分の遅
延回路である。また、文字が付されていない四角が１画
素分の遅延回路、即ち、レジスタである。更に、（Ｈ−
９）と書いであるのは１ライン分の画素数より９画素分
少ない遅延回路で、その他の９画素分のレジスタと合わ
せて１ライン分の遅延になる。

現フレームの入力データａが破線で囲んだ遅延回路１０
７により、３ライン分および５画素、遅延されて、ブロ
ックの中心の位ｆｉＲとなり、出力端子１０８に取り出
される。

データｂは、データａと１フレームの差があるので、デ
ータａおよびｂは、全く同し画素位置のデータである。

そして、第３２図のように、９段のレジスタと（Ｈ−９
）遅延回路とが直列接続されているので、データｂから
３ラインと５画素分遅延したＣ、（０，０）のタップが
、Ｒとちょうど１フレームの時間差となる。

第３２図の入力端子１０１には、通常の画像信号と同様
に、水平走査したデータ列が来るとする。

するとあるタイミングで止めた時、（Ｃ（ｉ。

ｊ））（ｉ＝−３ｎ＋Ｓ、ｊ＝−Ｔｎ＋Ｔ）には、丁度
、現フレームのＲの画素に対して前フレームのその位置
の周辺の第２９図の画素が得られるようになっている。

例えばＣ（１，０）にはＣ（０゜０）（Ｒ）に対して水
平に１画素分古いもので、第２９図がデイスプレィ画面
とすればＲの左隣りの画素のデータが得られる。

動きベクトルを得るには、この第３２図の各タップを使
って次のような処理をする。即ち、（Ｃ（ｉ、ｊ））（
ｉ＝−３ｎ＋Ｓ、ｊ＝−Ｔｎ＋Ｔ）の各タップには、第
２９図の各ずれた位置ごとのデータが得られるので、ブ
ロック比較部１０４により、それぞれのタップとＲを比
較し、マツチ度（画像の一致の度合い）を演算し、各（
ｉ。

ｊ）ごとにその結果を得る。そして、その結果を判定部
１０５で判定して妥当な動きベクトル（ｉ。

ｊ）を選び出す。場合によっては、ｉ、ｊは整数ではな
く、実数として決めることもある。

そこで次は各（ｉ、ｊ）ごとのマツチ度の求め方だが、
それは第３３図の構成でなされる。この第３３図の回路
は各Ｃ（ｉ、ｊ）ごとに必要である。即ち、ブロック比
較を間引かないので、第３３図の回路は（２Ｓ＋１）Ｘ
　（２Ｔ−１７１）個必要である。

第３３図では各Ｃ（ｉ、ｊ）について、第２８図のよう
なブロック比較をしたいのであって、Ｒからは第３０図
の内側中央部のブロックの各画素を得、またあるＣ（ｉ
、ｊ）のタップからは前フレームの水平に１画素、垂直
にｊラインずれたブロックの各画素を得、両ブロック内
の対応する位置ごとに減算回路１０９により差をとり、
絶対値化回路１１０により絶対値をとり、それを１ブロ
ツクを構成する全画素数、即ち、ＰＸＱ、加算回路１１
１およびメモリ１１２により累算し、この累算出力を（
ｉ、ｊ）についてのマツチ度としている。

なお、ここでは差の絶対値（ＡＢＳ）をとる例を示した
が、差の自乗などを使うこともある。

ここまでの説明はまだ不充分なところがある。

それは第３２図の入力は水平走査されていて、Ｒ及び各
Ｃ（ｉ、ｊ）のタップには時間的にシフトするだけで基
本的に同し水平走査されたデータが出力されるので、第
２８図のようなブロックごとの比較ができないことであ
る。しかし、それは第３３図のアキュムレータにメモリ
１１２を持っていることで解決される。

もし、第３３図のＲとＣ（ｉ、ｊ）の両人力に第２８図
の各組合せのようなブロックの対応する各画素が順に得
られればよいが、水平走査されているのでそのＲとＣ（
ｉ、ｊ）の入力にはブロックの最初のラインの各画素が
あられれたあと、次のラインに移らずに隣りのブロック
の比較のためのデータになってしまい、第２６図の上で
水平に並ぶＨ／Ｐ個のブロック分進んだ後、やっと元の
ブロック比較の２番目のラインの各画素の比較に入れる
ことになるのである。よって、マツチ度を得るための累
算は、１ラインごとに計算途中で保留し、隣のブロック
比較のための累算に変えていけば良い。このために、累
算用のメモリとして８７２個以上のワードの記憶ができ
るメモリ１１２が設けられている。

第３４図は、このメモリ１１２を説明するもので、ｎ　
＝　Ｈ／　Ｐとして考えており、ｂｋ　（ｋ＝０〜ｎ−
１）は演算途中の格納用の各アドレスの内容である。

また、第３３図で、１１３がアドレス発生回路で、この
アドレス発生回路１１３は、１ブロツクを構成する水平
画素数に相当するＰサイクルごとにアドレスをインクリ
メントし、１水平走査終了後アドレスを“０°′にもど
す動作を行い、第３４図のようなメモリアドレス割当て
の回路を制御できる。

また、画面に水平方向に並ぶＨ／Ｐ個のブロック数ごと
にブロックマンチングのための累算がリセットされる必
要がある。このリセットは、メモリ１１２のｂ０〜ｂｆ
ｌ−１を全て“Ｏ”にしてもよいし、或いは各ブロック
比較の最初の画素の累算の時にメモリに°゛０”をあら
かじめ記憶したアドレスＺを選ぶように、アドレス発生
回路１１３を構成しても良い。

第３２図でＲの位１のデータを得るために（３Ｈ±５）
の遅延を与えているが、これはフレーム遅延（Ｆ）にお
いてこれを（Ｆ＝−３Ｈ−５）の遅延回路とすることに
より省略することが可能である。

第３４図のように、累算のためのメモリ１１２として、
ｎ　＝　Ｈ／　Ｐのワード数を用意しているが、これは
第２６図の各プロ・ツクごとに動きベクトルを求めよう
としているからである。若し、１フレームにつき１つの
動きベクトルを得るというような時はｌワードでよいし
、その方針によって必要なワード数が異なる。

第３２図、第３３図による回路は実現可能で制御も比較
的簡単だが、大規模なハードウェアとなることが問題で
ある。

ハードウェアのうちフレームメモリ１０２と、ブロック
比較のための第３３図の演算回路（１０９，１１０，１
１１）は、原理的に不可欠なものである。（Ｈ−９）の
多数の遅延回路と各累算用のＨ／Ｐワードづつのメモリ
１１２は、実現上の問題、即ち、構造上必要になっただ
けで本質的に必要なものではないので別の構成法でこれ
を省くことが望ましい。

これらの遅延回路及びメモリは入力データが水平走査し
ているごとに起因して必要となっている。

即ち、通常の第３５図Ａのように、水平走査をしている
入力に対して第２８図のようなブロックの比較をするた
めには、メモリが必要となるからである。

よって、それを避けるためにはブロックに合わせた走査
方法、即ち、第３５図Ｂのように、ブロック単位の水平
走査をしたデータ列を入力に使えば良い。

そこで考えられる第２の従来例は、入力データ列ａとし
ては、第３５図Ｂのようにブロックごとに走査したデー
タを用いる一方、１フレーム遅延したデータ列すとして
は、データａの側が通過中のブロックを第３０図の中央
部のものとする時の外側の広い領域について、この領域
内で走査するようなデータ列をつくりブロック比較をす
る方法である。

この場合、両データ列はデータ数が異なるので次のよう
な工夫が必要である。即ち、データ列ａは１つのブロッ
ク比較単位が（ＰＸＱ）画素分であるのに対し、データ
列すの側は（（２，ｓ＋Ｐ）Ｘ　（２Ｔ＋Ｑ））画素分
なのでその比の分だけクロックを上げ、第３６図のタイ
ムチャートで動作させることである。即ち、第３５図Ｂ
のように走査する時は、データ列ａが第３６図Ａのよう
なタイミングとなるはずであるが、このデータ列ａのレ
イトを上げて、第３６図Ｂのようなタイミングとする。

このクロックの周波数の比は、（２Ｓ＋Ｐ）　　・　（
２Ｔ＋Ｑ）　　十Ｐ−Ｑである。その結果、データが存
在しないタイムストロットが生ずるようになる。一方、
データ列す側は、第３６図Ｃのようになる。

第３７図において、走査変換回路１１５は、入力データ
列ａを第３６図Ｂのように変換する回路であり、走査変
換回路１１６は、フレームメモリ１０２′からのデータ
列すを第３６図Ｃのように変換する回路である。この走
査変換がされたデータ列ｂ′は、第３７図のように、第
３２図と同様の（２Ｓ＋１）Ｘ　（２Ｔ＋１）段のシフ
トレジスタからなる遅延部に供給され、第３３図の構成
でブロック比較がなされる。この第２の従来例は、第１
の従来例（第３２図）の（Ｈ−９）の遅延回路が不要と
なり、第３３図のアキュムレータのメモリが１ワードづ
つで良いことになる。

但し、第３６図Ｃから判るように、データ列ｂ′のは水
平に（Ｐ＋２３）画素あり、２Ｓ画素分の余分があり、
また、垂直には、同様に２Ｔライン余分があるので、そ
の余分な画素の所で累算動作を止める制御が必要である
。

第３７図で、１０２゛が付されたＰ−３２はフレーム遅
延より３２画素分少ない遅延という意味で、ＲとＣ，（
０，０）のタイミングを１フレーム差にするためのもの
である。

テレビジョン走査から（ＰＸＱ）のブロック単位の走査
変換は、第３５図へのような走査からブロック単位の第
３５図Ｂの走査に変換するもので、このためにはブロッ
クの垂直長さ分のラインメモリが最低必要でハードウェ
ア的にあまり小さくない。しかし、動きベクトル検出が
必要とされる帯域圧縮などの用途で、種々の目的で第３
５図Ｂの走査が必要とされるので、第３６図Ａのような
ＰＸＱの走査変換は必ずしも負担ではない。しかしなが
ら、第３６図Ｂのように、ａ′のようなデータ列にする
とか、第３６図Ｃのように、（Ｐ＋２Ｓ）・　（Ｑ＋２
７）の走査変換は、他の処理に使われず、このためだけ
のものであり負担である。

なお、この（Ｐ＋２３）　　・　（Ｑ＋２７）の走査変
換は正確には、水平に２３画素、垂直に２Ｔラインだけ
オーバーラツプさせながら第３５図Ｂの如く走査するも
のである。

上述の第２の従来例は（Ｐ＋２３）ｘ　（Ｑ＋２Ｔ）段
のシフトレジスタが（Ｈ−９）の遅延回路群に比べてハ
ードウェアとして簡単なので、第１の従来例と比較する
と、遅延部が簡単になり、またアキュムレータのメモリ
も単なるレジスタで良く、かなりの効果があるる。反面
、ＰＸＱ走査変換及び（Ｐ＋２３）　・　（Ｑ＋２７）
走査変換が必要で、そのためには第３２図の（Ｈ−９）
遅延回路群より多いメモリが必要となるし、また走査変
換後には、データレートが （Ｐ＋２３）Ｘ　（Ｑ＋２７）＋ＰＸＱ倍デー少データ
レートし、更に、累算の制御が必要になるというような
問題がある。

また、検出された動きベクトルにより、いろいろな画像
処理で動きベクトル補償がなされる。

これは１枚フレーム或いはフィールドの上だけではでき
ない処理の場合に、画面に写っている動画像の動きを考
慮しないとフレーム間或いはフィ−ルビ間の処理ができ
ないからである。具体的には画像の帯域圧縮の際にしば
しば必要とされるが、ほかにＹ／Ｃ分離とかノンインタ
ーレース化といった時にも必要となる。

動きヘクトル補償は、まず２つのフレーム（或いはフィ
ールド）を比較して動きベクトル即ち両者の画像のずれ
を得て、その分だけどちらかのフレーム（フィールド）
をずらして両者を重ね合わさるようにすることである。

本来、動画というのは動体が単に平行移動するのみなら
ず回転や拡大縮小も伴っているのであるが、現状の画像
処理技術では動きベクトルという形で平行移動分のみを
検出しこれを考慮しようとしているのである。動きベク
トル検出の方法としては、上述のように、一般に画面を
小さな四角のブロックに分けてそのブロック単位に動き
ベクトルを得るのが一般的である。動きベクトルを検出
し、動き補償をするような時に問題となるのは（１）ブ
ロックマツチングの結果として、マツチの度合いの関数
が、多数の極小値を持つ時の判断の仕（２）ブロックに
１つのへクトルしか得ないから、複数の動きがある場合
は論外としても、単純な動きでも動体の輪郭部になるブ
ロックとか小さな孤立動体を含むブロックも救えない。

例えば第３９図のように自動車が右方向へ動いている時
、この画面では、 （１）Ｃ−ｃ、Ｃ−ｄのブロックではブロックマツチン
グで自動車の動きをとらえることができる。

（２）Ｂ−ｂ、　Ｂ−ｃ、　Ｂ−ｄ、　Ｂ−ｅ、　Ｃ−
ｂ、　Ｃ−ｅ、　Ｄ−ｂ、　Ｄ−ｃ、、Ｄ−ｄ、、Ｄ−
ｅのプロ。

りは動体の輪郭に相当し、ブロック内に２つの動きベク
トルがあるので、動きベクトルの決定が面倒である。

（３）上記（１）　、　（２）以外のブロックは静止で
あり、これは動きベクトルをとらえることができる。

従来では、第３１図の判定部１０５において、第４１図
のような手順で動きベクトルを検出し、この動きベクト
ルで動き補償をしている。この判定部１０５は、第３８
図のように、ブロック比較後の各ずれの位置ごとの残差
が供給される残差比較回路１２０と、比較およびノイズ
除去回路１２１とからなる。比較およびノイズ除去回路
１２１には、残差比較回路１２０から残差が最小の極小
値の位置とその量、残差が２番目に少ない極小値の位置
とその量、残差が３番目に少ない極小値の位置とその量
が供給される。そして、比較およびノイズ除去回路１２
１では、ノイズと思われるものの除去と、残差の大小比
較とがなされる。その結果、動き補償の可否を示す判定
信号と、ＡＮＤゲート１２３を介された動きベクトルと
が出力される。

この従来の判定部は、第４１図のように、ブロックマツ
チングがなされ（ステップ１２４Ｌマツチ度の極小の検
出がなされる（ステップ１２５）。この極小点のベクト
ルがマツチ度順にソーティングされ（ステップ１２６Ｌ
有意な（そのベクトルの動き物体が存在すると判定され
る）極小点が決定される（ステップ１２７）。この極小
点のピーク数が検査され（ステップ１２８Ｌビーク数が
１個の時には、動き補償がされ（ステップ１２９）、そ
の他の場合では、動き補償がされない。

このような判定の手順において、極小の検出、極小点ベ
クトルのマツチ度順のソーティング、有意な極小点の決
定の方法としてはいろいろなアルゴリズムが考えられ、
概して複雑な操作である。

つまり、画一的、単純繰り返しの操作ではなく、判断が
多く、判断により次の操作がきまるというような操作で
ある。

ブロックマツチングにおいて動きベクトルを探す範囲を
水平（Ｘ軸）に±Ｓ画素、垂直に±Ｔ画素とする時にそ
れぞれの動きベクトル量（Ｘ。

ｙ）（ｘ＝±ｓ、ｙ＝±Ｔ）ごとに画像ブロックのフレ
ーム差（フィールド差）が積算され、第４０図のように
、等高線表示されるような３次元的なデータが得られる
。この３次元的なデータの中の極小値がマツチ度の極小
である。

例えば第４０図Ａは、カメラのパニングの時の背景とか
動体内部の場合などであるベクトルの所に極小値が存在
する。第４０図Ｂは、動体輪郭部の場合などで２つの極
小が（２つのベクトルが）存在している。

なお、動体輪郭部とは、例えば第３９図のＤ−ｂで第４
２図のようなブロックを言う。

従来の動きベクトルの判定部および動き補償の欠点は、 （１）動きベクトル検出手順、即ちブロックマツチング
の結果のマツチ度の分布から有意な極小点を決定する手
順が複雑である。

（２）ブロックに１つのベクトルしか得られないので、
動体の輪郭部が補償できず、従って輪郭のぼけた動画像
になりやすい。

ことである。

この発明は、かかる欠点を除去することを目的とするも
のである。

更に、動き補償を用いたフレーム間符号化が知られてい
る。フレーム間符号化は画像信号を伝送するための帯域
圧縮で用いられており、動き補償とフレーム間差分を組
合せた符号化方式は、簡単には第４３図のような構成で
実現される。第４３図の動作原理等は、例えば下記の文
献を参照されたい。

（ｒＴＶ画像の多次元信号処理」吹抜著、日刊工業新聞
、Ｐ２６６〜Ｐ２８０、例えばこの中のＰ２７４の図７
゜第４３図でＤＣＴと示す１３２は、離散的コサイン変
換回路、ＩＤＣＴで示す１３３は、その逆変換回路、１
３５は、フレーム遅延をつくるフレームメモリである。

入力データが動きベクトル検出回路１３６に供給される
と共に、減算回路１３１に供給され、フレームメモリ１
３５からの前フレームの局部復号出力と減算される。局
部復号が逆変換回路１３３および加夏回路１３４で形成
される。離散的コサイン変換回路１３２から発生する符
号化データが符号割当て回路１３７により、ハフマン符
号などの符号化によってデータ量が縮小される。

このような中でフレームメモリ（ＦＭ）の動き補償は、
第４３図中央のループの外に動きベクトル検出回路１３
６を持ち、その出力である動きベクトルにより実現され
る。前述のように、動きベクトル検出回路１３６は、帯
域圧縮装置（第４３図）で必要なフレームメモリ１３５
とは別にフレームメモリを必要する問題がある。

従って、このように、動きベクトルの検出と帯域圧縮と
のそれぞれでフレームメモリを必要とすることは、問題
である。

この発明は、この両者を兼用して、一つのフレームメモ
リで構成できる帯域圧縮装置を提供しようとするもので
ある。

〔課題を解決するための手段〕

この発明は、画像データを通常の水平走査から、Ｐ画素
×Ｑラインのブロック内の走査に変換された第１のデー
タ系列を発生する走査並換手段と、１フレームの時間差
を生じさせ、第２のデータ系列を発生するフレームメモ
リとを有し、第１および第２のデータ系列の一方に対し
てシフトレジスタを接続し、シフトレジスタのあるタッ
プを基準として、タップからさかのぼる（ＰＸＱ）画素
を構成する画像ブロックと、水平にｉ、垂直に１画素ず
れたブロックを設定し、そのブロックの各画素からブロ
ックがずれない時に、基準のタップまでの遅延差となる
遅延分だけ遅れたタップを選択し、フレームメモリの他
端と比較して、マツチ度を検査するようにしたことを特
徴とする動きベクトル検出装置である。

〔作用〕

ブロックマツチングに必要な遅延を発生させるためのメ
モリ容量を大幅に低減できる。

〔実施例〕

以下、この発明の実施例について、図面を参照して説明
する。以下の説明は、ブロックマ・ノチングのための好
適な実施例、動きベクトルの検出時の判定部の好適な実
施例、フレーム補償を組み合わせたフレーム間符号化、
即ち、帯域圧縮装置の好適な実施例について、順に述べ
られている。

まずブロックマツチングに関するこの発明の一実施例に
ついて説明する。この実施例では入力データはＰＸＱ走
査変換がすでになされていると考える。即ち、第３５図
Ｂおよび第３５図へのデータ列で入力されるとする。前
にも述べたように、１回のＰＸＱ走査変換は負担ではな
いことに注意されたい。

第１図の回路を使うとＲに対してその前フレームのその
Ｒの出力画素の周辺がちょうど画面の上下左右を逆にし
た形で各タップに得られることになる。

ここでフレームメモリ１０２は、３つの出力を待ち、出
力ｅは１フレームより５Ｈと５０画素少ない遅延（Ｆ−
５Ｈ−５０）　、出力ｆが１フレームより５０画素分少
ない遅延（Ｆ−５０）、出力ｇが１フレームより５Ｈ多
く５０画素少ない遅延（Ｆ＋５Ｈ−５０）である。

また各ｅ、ｆ、ｇにつながるシフトレジスタはブロック
内の走査の如く接続され、その各々がタップを有してい
る。なお、５０画素とはＰＸＱの２倍のことである。そ
して第１図でｄと示すｆから５０画素分シフトレジスタ
で遅延された所のタップがＲと丁度、１フレームの時間
差となるタップである。

なおｅ′、ｒ′、ｇ′に対して、各々それまでと同様の
回路が続くと考えてよいが、後述のようにその必要がな
い。またｆやｇはｅ′やｆ′に対して遅延回路をつけて
も得ることができるが、ここではフレームメモリから得
られるものとしている。

まずＲに現フレームのあるブロックの先頭データが現れ
たタイミングを考えると、その時そこから後の２５画素
はそのブロックの各画素であり、その時、同時にｄには
画面上そのブロックと同じ位置の前フレームのブロック
の先頭データが現れており、そこから後の２５画素はそ
れぞれＲ側と画面上位置が対応するデータが順次得られ
る。

よってこの２５画素の期間を第３３図の構成中のメモリ
１１２を単なるレジスタにした回路でブロック比較する
と、Ｃ（０，０）のタップの場合と同じマツチ度が得ら
れる。

第１図の各タップをその配列の通りに略記するのが第２
図である。ここで２本線による区切りは１ブロック分（
ＰＸＱ＝２５画素）のシフトレジスタ段の区切りである
。第２図以後も常に第１図のように接続されていること
を念頭において考える。第２図のような図では画面と比
べると、画素の並びが上下と左右で逆になっている。

さて、次に水平方向に一２画素ずれた場合、即ち、Ｃ（
−２，０）とＲのブロック比較を考える。

この場合でもＲ側は現フレームのあるブロックの先頭デ
ータがＲに現れたタイミングから考える。

そのブロックに相当する前フレームの２５画素はその時
、第２図の点線の領域のレジスタにある。

さて、水平方向に一２画素ずれたブロックは、同じその
時に実線の領域のレジスタにある。この領域は２本線を
またいでおり、シフトレジスタはこの２本線の間では水
平にはつながっていないので、この２本線の右側と左側
で分けて考える必要がある。

まず、右側ではＣ（−２，Ｏ）のタップとして第１図の
ｄから水平に一２画素ずれたｅ′でよい。

しかし、ｅ′のタップではブロックの先頭画素から続く
３画素はよいが、その次の２画素は領域外となり、その
後の３画素は有効でまた、その後の２画素は外のものと
いうことになる。

次に左側の部分についてだが、この部分の図上−香石下
の画素について考えると、ブロックの先頭データがｅ′
にいる時から３サイクル後にｅ′のタップにあられれる
べきものなので、これは実はＣ＃のタップになってしま
う。即ち、この左側の部分についてはＣ″をタップとす
れば良いことがわかる。そしてｅ′のタップで実線の領
域から出てしまうタイミングでは、Ｃ′を選ぶようにＣ
′とＣ″を選択すればよいことがわかる。

結局、水平に一１画素（０〈ｉ≦Ｓ）ずれたブロックマ
ツチングは、シフトレジスタでｄよりｉタップ手前のタ
ンプと、ｄよりＰｘＱ−ｉタップ手前の２つのタップを
使いそれをＰ−ｉサイクルとｉサイクルごとに選択する
ことにより、比較回路に必要なデータを供給することが
できる。

同様に垂直に例えば−２画素ずれたケースを考えると、
−点鎖線の領域を前フレームの比較用ブロックとして考
えねばならないから、今度は上下に別のシフトレジスタ
列をまたがってしまう。しかし、この場合も同様に考え
てＣ１２とＣ″″を選択するようにすればよいことが直
ぐにわかる。

即ち、垂直に−ｊ画素（０〈ｊ≦Ｔ）ずれたブロックマ
ツチングは、シフトレジスタでｄよりｊ×Ｑタップとｄ
より　（ＨＸＱ−（Ｑ−ｊ）ＸＰ）タップ手前のタップ
（言い換えると後者はｆからｄまでと同じ遅延分だけｅ
から遅延した所ｄ′より（Ｑ−ｊ）ＸＰタップ後のタッ
プ）を前半のｊ×Ｐサイクルと後半の（Ｑ−ｊ）ｘＰサ
イクルで切換えればよい。

問題は一般的な水平に−ｉ画素、垂直に−ｊ画素ずれた
ケースだが、例えば水平に一３ｉｅｉｉ素、垂直に一２
画素ずれる場合を考える。この場合は、第３図の実線の
領域を意味し、これとＲ側の点線の領域がブロック比較
されねばならない。

第３図の実線領域は今度は縦と横の２本の２本線をまた
ぎ、４分割されている。即ち、第１図のシフトレジスタ
上でシフトレジスタのつながりで考えるとあちこちに分
割されている。第４図のタイムチャートはその様子を示
している。

第４図Ａがクロックである。第４図ＢのＲは、第３図の
点線の領域の現フレームのデータがあられれるタイミン
グをＨ″として示している。これはＰＸＱ＝２５サイク
ル続く。これにあわせて第３図の実線の領域のデータが
第４図ＣおよびＤのｄとｄ′に示している。

第４図で使われる００〜４４の番号は、Ｒにブロックの
最初の画素があられれる時、即ち、第４図の最初のサイ
クルにおいて第３図上で比較されるブロックの各画素が
どこにあるかを示すものである。このＯＯ〜４４の２５
画素が第４図Ｉのｙのように並ばないと、第３３図のよ
うな演算器でＲと比較ができない。

第３図の実線の領域は２本線で右下、左下、右上、左上
の４つの部分に分かれる。右下の部分には００．０１．
１０．１１．２０．２１の各画素があるが、これはＣ′
のタップから見るとＲのデータ列とタイミングが合う。

左下の部分には０２．０３．０４．１２．１３．１４．
２２．２３．２４がある。これは先の水平ずれのみの時
の例と同様の考え方でＣ”のタップでＲとタイミングが
合う。

右上の部分は３０．３１．４０．４１があり、これは先
の垂直すれと同様の考え方でＣ１２のタップでＲとタイ
ミングが合う。

左上の部分は３２．３３．３４．４２．４３．４４があ
り、例えば３２は画面上ＯＯの位置から水平に一２画素
、垂直に一３画素ずれていて、若し、ブロックが点線の
領域のように１つのシフトレジスタの列からはみ出さな
ければ、００の位！から１７段手前の遅延量の所にある
ので、現実のシフトレジスタの接続方向へ３２の所から
１７段遅れたＣ″“のタンプが代わりになることがわか
る。

これらのことは第４図のタイムチャートで見るとよくわ
かる。ｄ及びｄ′に対してＣ′、Ｃ＃、Ｃ１２、Ｃ″″
は単に時間ずれの関係であるから、シフトレジスタの段
数間隔に応じて第４図Ｆ。

Ｇ、ＨのＣ′、Ｃ＃、Ｃ１２、Ｃ＃′が得られる。ｙの
データ列は第４図■の下に示したタイミングでＣ′〜Ｃ
″“を選択すればよい。

−膜化すると水平に一１画素（０くｉ≦Ｓ）、垂直に−
ｊ画素（０〈ｊ≦Ｔ）ずれたブロックとの比較は （１）ｄより（ｊＸＰ＋ｉ）段、手前（７）Ｃ’　テ示
すタップと （２）ｄより（（ＰＸＱ＋ｊＸＰ）　　（Ｐ−ｉ））投
手前のＣ＃で示すタップ （３）　ｄ　’より（ｊＸＰ−（Ｐ−ｉ））段後のｃ”
′で示すタップ （４）　ｄ　’よりＰＸＱ−（（Ｑ−ｊ）ｘＰ＋（Ｐ−
ｊ））投手前のＣ″″で示すタップ なる４つのタップを使いその出力を適当に選択してＲ出
力と比較すれば良い。またその選択手順は （１）ブロックの先頭から（Ｑ−ｊ）ＸＰサイクルの範
囲では、（Ｐ−ｉ）サイクルをＣ′次のｉサイクルをＣ
＃という選択を繰返す。

（２）残りのｊＸＰサイクルでは、（Ｐ−ｉ）サイクル
をＣｒｔｒ、次のｉサイクルをＣ＃“という選択を繰返
す。

以上のことを要約して下記に示す。

水平に−ｉ画素、垂直に−ｊ画素ずれた前フレームのブ
ロックとのブロック比較に（０≦ｉ≦Ｓ）、（０≦ｊ≦
Ｔ）必要なデータ列は第５図のＣ’（−ｉ、−ｊ）、Ｃ
’（−ｉ、−ｊ）、Ｃ’″　（−１、−ｊ）、ｃａ＃（
ｉ、−ｊ）の最大４つのタップを切換えて得られるので
ある。

また、第５図ではこれまでのｄの位置がＣ′（０，０）
である。また、これまでの実施例の説明は全て水平垂直
に負のずれの場合のみであったが、正の場合も基本的に
同じ考え方で考えることができる。第５図では水平と垂
直に両方とも正にずれる場合について必要なタップが記
入されている。水平が正で垂直が負というような組合せ
に必要なタップは他の目的に必要なタップと重なるので
記入を省略している。

第５図ではｅ入力から３ブロック分、ｆ入力から４ブロ
ック分、ｇ入力から３ブロック分のシフトレジスタが必
要である。しかし、これは工夫してシフトレジスタを減
らすことが可能である。

例えば第５図では正のずれの場合にも負のずれの時と同
じ場所即ちＣ′　（０，０）の位置を基準としているが
この基準を第５図のｄ′の位置に移して考えてみると正
のずれの場合に必要なタップは第６図のように負のずれ
の時に必要なタップとかなり兼ねることができるように
なる。

正のずれの場合にタップのとり出しを第６図にすると、
第５図と合わせて考えて少なくともｇから導かれるシフ
トレジスタは不要となるので、−見よさそうだが、実は
基準をｄの位置からｄ′の位置に変えるということはＲ
側について負のずれの場合と正のずれの場合で変えねば
ならず、正のずれの場合はｄとｄ′の遅延差分だけＲか
ら手前の遅延量のタップをつ（らねばならず、これは先
のｇ　についてのシフトレジスタが不要になる分に比べ
てあまり得ではない。

例えば第６図では水平、垂直共に正のずれの場合にも水
平、垂直共に負のずれの時と同じ場所、即ち、Ｃ′　（
０，０）の位置を基準にしているが、この基準を第７図
のｄ’の位置に移して考えると水平垂直共に正のずれの
場合に必要なタップは、第７図のように水平垂直共に負
のずれの時に必要なタップと全部兼ねてしまうことがで
きる。

この第７図のｄ“の位置はｄの位置から最大ずれの１＝
ｓ＝４、ｊ−Ｔ＝３だけずれた位置で、ここを基準にと
ると全てのタップ選択の手順は水平、垂直共に負のずれ
の場合と同じ組合せが使えるのである。

同様なことは水平に正、垂直に負或いは水平に負、垂直
に正のずれの場合でも言える。水平垂直共に正のずれの
場合にタップのとり出しを第７図にすると、第５図と合
わせて考えてｇから導かれるシフトレジスタは不要とな
り、またｒからのシフトレジスタも２ブロック分で良い
。但し、水平垂直共に正のずれの場合には、基準がｄか
らｄ′の位置に変わるので、Ｒ側について水平垂直共に
負のずれの場合とｄとｄ′の遅延差の分だけＲより手前
の遅延量のタップをつくり、これを使わねばならない。

しかし、そのための遅延回路はわずかである。

なお、ｅからのシフトレジスタのうち最初の１ブロック
分についてつながるものがないから、これは節約するこ
とが可能である。

以上まとめると本実施例は第８図のように、フレームメ
モリ１３．１４および遅延部と第９図のようなブロック
比較部となる。

結局、第８図のように、Ｒは、水平と垂直のずれの正負
でＲ＋＋、Ｒ−十、Ｒ＋−１Ｒ−−１の４つに分けて考
えられる。

そして、それらのそれぞれの基準となる点は第８図のｄ
↓＋、ｄ−＋、６丁−１ｄ−−なので、その間の遅延差
を補償する。即ち、Ｒ＋十とＲ−＋及びＲ＋−とＲ−−
はちょうど５（＝４画素）、Ｒ＋十とＲ−一はＴＰ−ｉ
−３（＝３Ｘ５＋４＝１９画素）となる。第１図の出力
ｅ、ｆ、ｇにつながるシフトレジスタに相当するものは
ｅ′とｆ′につながるシフトレジスタとなる。

ｅ′では、第７図のように最初の１ブロック分について
はつながるタップがないので、これを省略しその分フレ
ームメモリに遅延を課している。

また、次のブロックについても最初の２ラインの１０画
素分はやはり使われていない。これはちょうどｆ′につ
ながるシフトレジスタ列についても最初のブロックの最
初の２ライン分の１０画素分が使われないので、まとめ
てフレームメモリに遅延を移している。また、ｇに相当
するものは必要ないので、第８図にはない。第８図で点
線で示す四角はこのように不要なシフトレジスタ部分で
節約したことを示している。

ｅ′とｆ′の間の遅延差は本来０９４７分でＱ×Ｈ画素
分であるが、ｅ′からのシフトレジスタのうち最初のブ
ロックを省略しているのでＱＸＨ−ＰｘＱ＝５Ｈ−２５
画素分の遅延になっている。

フレームメモリはＲ−一とｄ−一が１フレーム（Ｆ）差
になるようにされていなければならずＦ−２（ＰＱ）＋
　（ＴＰ＋Ｓ）−（ＱＨ−ＰＱ）＋１０＝Ｆ−５Ｈ＋４
となる。

ブロック比較は、第９図のような回路を使う。

即ち、Ｒからセレクタ１で選択されたデータを減算する
減算回路９と、絶対値化回路１０と、加算回路１１と、
レジスタ１２とからなる累算器の構成が使用される。

このＲには、ずれの量を水平方向１画素、垂直方向３画
素とする時に ｉが正でｊが正の時は、Ｒ＋＋を ｉが負でｊが正の時は、Ｒ−＋を ｉが正でｊが負の時は、Ｒ＋−を ｉが負でｊが負の時は、Ｒ−一を それぞれ使用する。

そしてＣ’　　（ｉ、ｊ）、Ｃ“　（ｉ、ｊ）、Ｃ’”
　　（ｉ、ｊ）、Ｃ″″　（ｉ、ｊ）の最大４つのタッ
プをセレクタ１に導き、これを第４図の説明に示した方
法で選択し、フレーム間の差をとり絶対値をとり、（或
いは自乗など）そしてｌブロック分アキュムレートする
。

以上の実施例の説明はＳ≦Ｐ、Ｔ≦Ｑのケースであって
、この条件以外の場合はもっと複雑になるが、同様な考
え方を拡張するだけで実現できる。

第９図のようなブロック比較演算回路は、ずれの量（ｉ
、ｊ）ごとに必要であるが、先に示したようにこれは間
引（ことがある、また、データレートとこの演算器の演
算速度の間で例えばｎ倍演算が速くできるとすれば１つ
の演算回路でｎ個の（ｉ、ｊ）用の演算を時分割多重が
可能であり、そのようにすれば演真器数は１　／　ｎと
なる。

ここでの説明はインターレースしない画像についての話
であったがインターレースする場合でも適用できる。た
だしインターレースされたフィールド間の動きベクトル
を求める時は先の（ｉ、ｊ）のずれのうちｊは全て０．
５画素オフセットを持つことになる。

次に、上述の実施例により得られたブロックマツチング
の結果に基づいて、動きベクトルを検出する時の判断の
手順を簡単化できる実施例について、説明する。

本実施例の手順は第１０図のようなものである。

従来の第４１図と異なり、マツチ度の分布、即ち、いろ
いろな極小を調べたりしない。

ブロックマツチングのステップ２１の後で、マツチ度最
小のベクトル量（ｘ、ｙ）をのみまず得る。（ステップ
２２） そして、周辺ベクトルの相関検出がなされる（ステップ
２３）。これは、注目ブロックの周辺の８つのブロック
のマツチ度最小ベクトル（ｘ　ｔ。

ｙｉ）（ｉはブロックにつけた番号）について、例えば
フーリエを変換を行う。Ｘが左右、ｙが上下方向とする
。即ち、今、例えば第３９図のＤ−ｂのフ′ロンクに注
目しているとすると、そのまわりの８つのブロックに第
１１図のように順に周囲を巡るように番号をつけ（どち
らまわりでも、どこのブロックから始めてもよい）その
番号をｉとする。するとこの第１１図のケースだと、例
えば第１２図のような波形が得られる。第１２図で横軸
は空間的な位置（ＳＰ）で、具体的には番号ｉである。

縦軸は動きベクトルのＸ成分或いはＸ成分である。第１
２図Ａが動きベクトルのＸ成分、第１２図Ｂが動きベク
トルのＸ成分である。第３９図で車が右へ動いていると
（右へ動く時がＸが正で、上へ動（時ｙが正であるとす
ると）、第１２図のような波形になる。

第１１図の場合、ｉ＝１とｉ＝３においてはそれぞれｃ
−ｂとＤ−ｃのブロックであるが、これは輪郭部で動き
ベクトルは背景のものと車のもののどちらになるかわか
らないが例えば第１２図のようになったとする。すると
フーリエ変換により第１２図の波形は周波数分析され、
変換後は第１３図Ａのような結果が得られるはずである
。第１３図Ａはフーリエ変換後のパワースペクトラムで
ある。第１３図Ａは波が基本波として１波存在している
ので、第１３図Ａでは横軸の空間周波数（ｓｆ）の１の
所にピークが出ている。

第１３図Ｂは例えば背景だけの部分とか大きな動体内部
で注目ブロックのまわりのブロックの最小マツチ度ベク
トルが、全て同じベクトルに近い時の場合で、５ｆ＝０
、即ち直流成分にピークがでる。

フーリエ変換のあとは第１３図ＡおよびＢのようなデー
タについであるレベル以上の周波数成分を探し、それが
空間周波数がいくつのところかで分類する（ステップ２
４）。

第１３図Ｂのように直流成分にピークのある時は、動き
ベクトルは注目ブロックの周辺でほぼ一定なので注目ブ
ロックも周辺と同じであろうと考えられ、動きベクトル
は注目ブロックのマツチ度最小ベクトルでよいと思われ
る（ステップ２５）。

なお、この注目ブロックが孤立動体の場合は、周辺と異
なるベクトルとなっているかも知れない。

しかし、孤立動体を救うのは容易ではないので、マツチ
度最小ベクトルがその動体によるものかその周辺と同じ
かはマツチ度の大小で決めるしかないので特に問題はな
いと考える。

第１３図Ａのように、５ｆ＝１にピークが出ている時は
、注目ブロックの周辺のブロックの動きベクトルは１周
で１波の変化がある訳で、これは注目ブロックが動体輪
郭部に存在することを意味する。この場合は２つの動き
ベクトルがこのブロック内に存在するはずで、よって、
この時のみ適応的にブロックを更に例えば４分割したサ
ブブロックをつくり、そのサブブロックについて動きベ
クトル検出を行う（ステップ２６および２７）。

ただし、この時は再びブロックマツチングをする必要は
ない。なぜなら候補となるベクトルは周辺のブロックに
存在する２種のベクトルのグループの付近であることは
明らかで、かなり限定した範囲でのブロックマツチング
となり、操作が簡略化される。

ステップ２５および２７の後で、動き補償がなされる（
ステップ２８）。しかし、フーリエ変換出力が第１３図
のようにならない時は従来同様、動きベクトル検出不能
であり、動き補償は断念される。

第１４図は、適応ブロック化を説明するもので、第１４
図Ａのような動き物体である車が走っている場合で、ス
テップ２４の判定で、５ｆ＝１〜３にピークが検出され
た時に、第１４図Ｂに示すように、そのブロックの周辺
で局部的にサブブロック化を行う、第１４図Ｃに示すよ
うに、この細かいサブブロックの単位で動きベクトルの
検出を再帰的に行う。

上述のこの発明の判定部の一例が第１５図に示されてい
る。残差比較回路３１では、１ブロック当りの残差が最
小のずれの位置が検出され、これが仮の動きベクトルと
して出力される。この仮の動きベクトルが遅延回路群３
２に供給される。これは、Ｐで示す仮の動きベクトルの
一つを記憶するレジスタと、Ｑで示す画素の水平方向に
並ぶブロック３だけ少ない数の仮の動きベクトルを記憶
するシフトレジスタとからなる。そして、フーリエ変換
等の直交変換回路３３と、その出力が供給されるピーク
検出回路３４とが設けられ、ＯＲゲート３５の出力端子
３８には、５ｆ＝１．２．３にピークがある時の判定信
号が取り出され、この判定信号がサブブロック化回路に
供給され、また、ＡＮＤゲート３６の出力には、動きベ
クトルが出力される。

上記説明でフーリエ変換で説明した部分は、フーリエ変
換に限らすアダマール変換やハートレー変換なども使え
る。要するにいろいろな波数の参照波との相関演算をし
て、どの波数と最も相関が強いかが出せればよい。

フーリエ変換の場合について補足すると、−見乗算等が
多く演算が大変そうだが、この変換は必ず８次の変換で
あり、ＦＦＴの手法により８次の場合は、はとんど加算
のみでよく乗算はごくわずかであることが周知である。

よって問題ない。アダマール変換などは係数が１かＯで
ありもっと演算が簡単である。

第１０図の手順は、従来の処理に比べ単純操作ばかりで
あり、複雑な判断は必要ない。

最後に、動きベクトル補償とフレーム差分符号化方式と
を組み合わせたこの発明の更なる実施例について、以下
に説明する。第１６図がその実施例である。

第１６図で、４１が最初の実施例について述べたような
ブロックマツチングのための遅延部であり、４２が減算
回路群であり、ＰＩで示す４３が電力積分回路群で、二
乗のための乗算回路とその乗算出力を累算する構成とさ
れている。この電力積分回路群４３の出力が判定部４４
に供給される。

減算回路群４２および電力積分回路群４３は、上述のブ
ロック比較のために、（ｉ、ｊ）Ｎ＝−３〜＋Ｓ、ｊ＝
−Ｔ〜十Ｔ）毎に、計（２Ｓ＋１）（２Ｔ＋１）個設け
られている。判定部４４は、差の電力が最低とされたず
れの量のフレーム差を選ぶものであり、出力端子４５に
は、検出された動きベクトルが得られる。

減算回路群４２に接続されたセレクタ４６が設けられて
いる。このセレクタ４６の出力がＤＣＴの変換回路４７
に供給される。変換回路４７の出力ｄが符号割当て回路
５１を介して符号化出力として取り出され、また、逆変
換回路４８を介して加算回路４９に供給される。加算回
路４９の出力信号Ｃがフレームメモリ５０に供給され、
フレームメモリ５０の出力すが遅延図４１および加算回
路４９に供給されている。

従来の構成と異なる点は、符号化回路のループ内に動き
ベクトル検出の構成を移動させた点である。

なお、動きベクトル検出点を減らす方法を利用する場合
、および第１６図のように（２Ｓ＋１）（２Ｔ＋１＞個
演算回路を用意しても動きベクトルを画素格子の整数単
位でなく、実数として得るというような場合には、セレ
クタ４６の所は単なるセレクタだけでなく、セレクタ４
６に対して若干の可変遅延回路を接続して、この可変遅
延回路の遅延量を検出点の存在しない分、制御しても良
い。また、セレクタ４６に対して遅延回路を接続し、こ
の遅延回路に補開演夏回路例えば線形補間回路を接続し
、所望のずれた点のフレーム差を得るようにしても良い
。また、両者を組合せることも可能である。

上述のように、この発明の通用された帯域圧縮装置は、
フレームメモリが１つでよく、小型である。また、フレ
ームメモリのアドレス制′ａ（遅延置割？ＩＩ）が不要
である。従来に比べてふえるのはセレクタだけでたいし
たハードウェア増ではない。

なお、第１６図のループ内にはＤＣＴ変換回路と逆変換
回路しか挿入しなかったが、ここにいろいろな処理を入
れることがあるが、それは、この発明と独立であるので
、ここでは触れないが、どのようなものも可である。ま
た、ブロック比較（マツチ度を求める）回路はパワー（
自乗）を使っているが、それは絶対値でも他の非線型演
算でも可能である。更に、従来から知られる動きベクト
ル検出点を減らす方法は、この発明でも同様に適用でき
る。

動き補償を組み合わせたフレーム差分符号化方式の帯域
圧縮装置の他の実施例について説明する。この実施例は
、第１７図のようなもので基本的には、上述の第１６図
の実施例の変換回路４７を動きベクトル検出の部分の中
へ入れた構成となっている（変換回路群６１）。従って
、第１７図の詳細は、第１６図とほぼ同様であり、ここ
では異なる点のみ補足的に説明する。

第１７図で、ＩＩと示すデータ量検出回路は、第１６図
の電力積分回路ＰＩと同じようなものでもよいのだが、
より良い帯域圧縮をするためＤＣＴ後の帯域圧縮された
データ量を検出するものである必要がある。例えば絶対
値の積分とか零ではないデータの数とか２進数表現の各
ビットの“１”の数などである。このデータ量検出回路
群６２の出力が判定部４４に供給される。

また、ここでＤＣＴと示した変換回路は、最低＠ＤＣＴ
を含むが、それと組み合わせて使われるジグザク変換等
の帯域圧縮テクニックを含んでよい。勿論その場合には
逆変換回路で、その逆の手順を実施することが必要であ
る。

第１７図は第１６図より、より帯域圧縮に適した動きベ
クトル補償ができる。

第１７図はまた、ＤＣＴが線型演算即ち内積演算（マト
リックス演算）であることから、フレーム差をとった後
でもその前でも同じ結果となるので、第１８図のように
考えてもよいことは明白である。第１８図は第１７図の
変換回路群６１の位置を更に前へ移したものである。

第１７図、第１８図のように、変換回路群６１を動きベ
クトル検出回路内に移した時は、ＤＣＴの演算量が増え
ることが問題点である。しかし以下のように考えること
ができる。

まず前提として画像のブロック化は、既に説明したもの
と重複するが、第１９図のように水平Ｐ画素×垂直Ｑ画
素とする。ここでは、Ｐ＝５、Ｑ＝５の例を示す。また
、動きベクトルは、水平に士Ｓ画素、垂直に±Ｔ画素ず
れた範囲で考えるとする。以下、Ｓ＝４．Ｔ＝３とする
。

従って、現フレームにおけるあるＰＸＱ画素のブロック
を第２０図の内側の太線とする時の第２０図の外側の太
線が、前フレームの画素のうちブロック比較に使われる
範囲である。第２０図では、中央を座標０．Ｏ（ｘ＝Ｏ
，ｙ＝ｏ）として画素毎に座標を記しである。ただし、
省略して一部の画素にしか記していない。

（］）（垂直） 例えば、まず、１フレームで水平には左から右へ４ｉｊ
素、垂直には上から下へ３１ｉ素ずれた場合に相当する
ブロック比較は、現フレームのあるブロックを第２０図
の内側の太線とするなら、前フレームにおいては第２１
図のαの太線の位置のＰ画素×Ｑ画素のブロックを比較
対象とすることになる。即ち、第２２図Ａのような座標
のブロックを使う。

次に、１フレームで水平には左から右へ４画素、垂直に
は上から下へ２画素ずれた場合に相当するブロック比較
は、今度は第２１図のβの太線の位置のブロックを比較
対象とする。これは即ち、第２２図Ｂのような座標のブ
ロックを使う。

以下、水平のずれは同じで垂直方向のずれのみ異なるブ
ロック比較は以下同様である。

ここでαのＤＣＴとβのＤＣＴの比較をすると、次のよ
うなことがわかる。ＤＣＴは２次元で行われるが、まず
はじめに水平方向に変換を行い、その後垂直にするもの
とすれば、αの水平方向の変換が演算される第２２図Ａ
の５ラインの各画素のグループは、βの水平方向の変換
画演算される。

第２２図Ｂの５ラインの各画素のグループは、６８で示
すように、実はそのうちの４ラインがオーバーラツプし
ていて、αについて計算されていればβでは演算不要で
あることがわかる。

結局、水平のずれは同じで垂直のずれのみ異なるブロッ
ク比較については、水平方向の変換の際にかなり演算を
省略できる。

（２）（水平） 次に今度は、水平には左から右へ３画素、垂直には上か
ら下へ３画素ずれた場合に相当するブロック比較は、現
フレームのあるブロックを第２０図内側の太線とするな
ら前フレームについては第２１図のαを右に１つずらし
たブロックを比較対象とすることになり、即ち第２２図
Ｃのような座標のブロックを使う。第２２図Ｃのデータ
ブロックは、第２２図Ａのデータブロックと比較すると
、第２２図Ａの左端のデータが第２２図Ｃになくて、一
方、第２２図Ｃの右端のデータが第２２図Ａにない。

２次元ＤＣＴをまず水平方向を先に変換するとすると、
フーリエ変換について例えば（産報出版′“ＦＦＴの使
い型”安居院猛他著Ｐ１３２〜１３３の“重なりデータ
に対する高速解法”）のような方法が知られているから
、第２２図Ａのようなαのブロックのデータについて変
換演算されていれば、６９で示すように、それを右に１
画素ずらしたブロックの変換演算は新規に演算しなくて
も、簡単な演算で求まる。この参考資料はフーリエ変換
の話だが、コサイン変換でも同様である。

上記説明は２次元ＤＣＴの最初の水平の１次元ＤＣＴ変
換についてのみの話であったが、同様の考え方で、２次
元に拡張し、大幅な演算量削減がはかれる。第１６図に
対する第１７図は大幅な演算ハードウェア増になるが、
第１７図を第１８図にすると、大幅に演算量が減らされ
、それは第１６図よりは多いがＤＣＴ等を動きベクトル
制御に含めたことによるメリットを生かせるようになる
。

ここで演算量の比較を行う。

第１６図において、ＰＩは自乗積分であれば、その構成
は、第２３図の回路となる。即ち、第２３図において、
７１で示す減算回路の出力が乗算器７２で自乗され、自
乗出力が加算回路７３およびメモリ７４で累算される。

また、絶対値積分なら第２４図である。即ち、第２４図
において、７１で示す減算回路の出力が乗算器７２で自
乗され、自乗出力が符号反転回路７５およびセレクタ７
６に供給される。セレクタ７６の出力が累算される。

現フレームのＰＸＱ画素の１ブロツクについて積分はＰ
ＸＱ回演算累積し、それが（２Ｓ＋１）Ｘ（２Ｔ＋１）
個必要である。トータルでＰ−Ｑ・（２Ｓ＋１）Ｘ　（
２Ｔ＋１）回の演算で、１画素当たりでは（２Ｓ＋１）
（２Ｔ＋１）回ということになる。

ＤＣＴは、積和演算回路で演算でき、現フレームのＰＸ
Ｑ画素の１ブロツクについて、Ｐ　ＸＱＸＰ”Ｑ回演算
する必要であり、１画素当たりＰ回である。

第１８図において 今ＤＣＴと示す部分は本当にＤＣＴのみである。

またデータ量検出回路ＩＩも、電力積分回路ＰＩと同じ
とする。その時、ＩＩの演算量は第１６図のＰＩと同じ
である。ＤＣＴの前後でデータ数は変わらないからであ
る。

ＤＣＴ演算については、単純に考えると、第１８図には
ＤＣＴが（２Ｓ＋１）（２Ｔ＋１）＋１個あるので、そ
の分第１６図より多（て、１画素当たり（（２Ｓ＋１）
（２Ｔ＋１）＋１）ＸＰ回の演算となって膨大である。

しかし、先に述べた理由により、これを全て演算する必
要はなくて、少なくともａ側とｂ側に１つずつのＤＣＴ
演算回路は必要で、第１６図より必ず２倍以上は必要だ
が、非現実的な大きさにはならない。

更に注目すべきことは、ＤＣＴ出力においてはデータが
周波数分析されているのであり、あたかもフィルタバン
クを通したようなものなので、これまで考えられなかっ
たことを考えることができる。

まず、例えば帯域圧縮では、ＤＣＴ出力のある周波数成
分はのぞいてしまうことがあるが、そうであればその周
波数成分については、ＩＩ即ちＰＩは演算しな（てよく
、ここで演算が減る。

次に、例えば入力ａの所に入れたＤＣＴで入力データの
各周波数成分がわかっているので、このＤＣＴ出力を判
断して、やはりＩＩで計夏しな（てよい部分を見つけ出
すことができて演算を省略できる。

或いはまた、動きベクトル検出にブロック内の高周波成
分はあまり影響しないとして低域の限られた周波数成分
にＩＩの演算を限定できる。

また、動きベクトル検出について、そのための演算量を
減らすための先に引用した参考文献（日刊工業新聞社刊
”ＴＶ画像の多次元信号処理”吹撤著Ｐ２Ｏ３〜２０４
の“３段階探索法′”）のような方法があるが、このよ
うなテクニックも本件に適用することが可能である。

第２５図がその実施例である。第２５図では、ずれた９
つの位置について調べることを３回繰り返してずれの量
を局限していく例を示している。

第２５図は、第１８図のａ、ｂ入力からｄまでを置き換
えるべき部分についてのみ記しである。第２５図で遅延
部４１Ａはこれまでの説明のものと同じだが、タップが
９つしかないもの、遅延部４１Ｂは基本的に同様だが、
判定部４１Ａによって得られる最も、大雑把な領域最低
結果を踏まえて各タップの遅延量を決めるもの、遅延部
４１Ｃは同じように判定部４４Ａと判定部４４Ｂによっ
て限定された領域の各タップの遅延量を与えるものであ
る。また、ＥＤＩ〜４で示す６５Ａ、６５Ｂ、６６Ａ、
６６Ｂは、演算部の遅延を保証する等価遅延回路である
。

第２５図には示していないが、ここにもＤＣＴの演算を
減らす既に説明した方法を適用することができる。

〔発明の効果〕

この発明は、動きベクトルの検出、特に、ブロックマツ
チングのための遅延部を構成するメモリの容量、累算の
ためのメモリの容量を従来と比して大幅に小さくできる
。従って、動きベクトル検出装置の全体の規模を小さく
できる。

ゝゝ＼４、 ＼ ＼、 ＼、 ゝ＼ ＼ ＼ ゛〜１、 ゛・・２１、 ゛＼ ゛・８、 ＼へ、 ゝ＼

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図及び
第３図はこの一実施例の説明に用いる路線図、第４図は
この一実施例の説明に用いるタイミングチャート、第５
図、第６図及び第７図はこの一実施例の説明に用いる路
線図、第８図及び第９図はこの一実施例の説明のための
ブロック図、第１０図はこの発明の第２の実施例の説明
に用いるフローチャート、第１１図、第１２図、第１３
図及び第１４図はこの発明の第２の実施例の説明に用い
る路線図、第１５図はこの発明の第２の実施例の説明に
用いるブロック図、第１６図はこの発明の第３の実施例
のブロック図、第１７図及び第１８図はこの発明の第４
の実施例を夫々示すブロック図、第１９図、第２０図、
第２１図、第２２図はこの発明の第４の実施例の説明に
用いる路線図、第２３図及び第２４図はこの発明の第４
の実施例の説明に用いるブロック図、第２５図はこの発
明の第５の実施例のブロック図、第２６図、第２７図、
第２８図、第２９図及び第３０図は従来の動きベクトル
検出方法の説明に用いる路線図、第３１図は動きベクト
ル検出装置の概略を示すブロック図、第３２図は従来の
動きベクトル検出装置の一部のブロック図、第３３図は
従来の動きベクトル検出装置の他の部分のブロック図、
第３４図及び第３５は従来の動きベクトル検出装置の説
明に用いる路線図、第３６図は従来の動きベクトル検出
装置の説明に用いるタイミングチャート、第３７図は従
来の動きベクトル検出装置の一部のブロック図、第３８
図は従来の動きベクトル検出装置の判定部のブロック図
、第３９図、第４０図、第４２図は従来の動きベクトル
検出装置の判定部の説明に用いる路線図、第４１図は従
来の動きベクトル検出装置の判定部の説明に用いるフロ
ーチャート、第４３図は従来の帯域圧縮装置の説明に用
いるブロック図である。 図面における主要な符号の説明 １０１：入力端子 １０３：遅延部 １０４ニブロツク比較部 １０５：判定部 代理人　弁理士　杉　浦　正　知 フロー乎マート 第１０図 第１４甲 第４３図 第２２図・ 第２８図 第２９図 第３０図 第３１図 第３８図 第３９図 第４２図 ６、補正の対象 明細書の特許請求の範囲の欄及び発明の詳細な説明の欄 ７、補正の内容 （１）特許請求の範囲を別紙の通り訂正する。 （２）明細書中、第２頁第５行〜同、第３頁１行、［こ
の発明は、動き補償と・・・・高くすることができる。 」を下記の通り訂正する。 ［この発明は、動き補償とフレーム間符号化とを組み合
わせた帯域圧縮装置において、動きベクトル検出に必要
な比較毎に、入力画像データのフレーム差を生成する回
路と、 比較点の夫々において、ブロック毎のマツチ度を見るこ
とにより、最もマツチしている動きベクトルを検出する
回路と、 フレーム差の中で、検出された動きベクトルに対応する
ものを選択し、符号化する回路とを有することを特徴と
する帯域圧縮装置である。 この発明は、動きベクトルの検出用に必要とされるフレ
ームメモリと、フレーム間の差分を符号化するのに必要
とされるフレームメモリとを兼用することができる。」 （３）同、第２６頁第２行〜同、同頁第２０行、「この
発明は、・・・・大幅に低減できる。Ｊを下記の通り訂
正する。 「この発明は、動き補償とフレーム間符号化とを組み合
わせた帯域圧縮装置において、動きベクトル検出に必要
な比較点毎に、入力画像データのフレーム差を生成する
回路と、 比較点の夫々において、ブロック毎のマツチ度を見るこ
とにより、最もマツチしている動きベクトルを検出する
回路と、 フレーム差の中で、検出された動きベクトルに対応する
ものを選択し、符号化する回路とを有することを特徴と
する帯域圧縮装置である。 〔作用〕 現フレームと前フレームとのフレーム差分ヲ形成するた
めのフレームメモリが動きベクトルを検出するのに必要
なフレームメモリを兼用し、構成の簡略化を達成できる
。」 （４）同、第６０頁第２行〜同、同頁６行、「この発明
は、・・・・規模を小さくできる。」を下記の通り訂正
する。 「この発明は、動きベクトル検出用とフレーム間差分符
号化とのために夫々必要とされていたフレームメモリが
１個で済むので、回路規模を小さくすることができる。 」 ２、特許請求の範囲 動き補償とフレーム間符号化とを組み合わせた帯域圧縮
装置において、 点 を有することを特徴とする帯域圧縮装置。

Claims (1)

1. 【特許請求の範囲】 動き補償とフレーム間符号化とを組み合わせた帯域圧縮
   装置において、 入力画像データを直交変換して、第１の直交変換出力を
   形成し、 フレームメモリの出力に対しても、上記直交変換と同じ
   直交変換を行う共に、遅延を与えることにより、現フレ
   ームとずれた複数の位置に夫々対応する第２の直交変換
   出力を形成し、 上記第１の直交変換出力と上記複数の位置に対応する第
   ２の直交変換出力との差を夫々演算し、上記差に基づい
   て、データ圧縮効果の最も高いずれの量のデータについ
   ての出力差を符号化出力として利用するようにしたこと
   を特徴とする帯域圧縮装置。