JPS63263884A - 画像列における動き推定方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は一連の画像における動きを推定するための方法
および装置に関するものである。このような方法は情報
圧縮、画像品質の改善、ターゲットトラッキング等に対
するデジタル信号処理の分野及び例えば伝送すべき情報
か、又は例えばマグネトスコープに関連する場合には記
録すべき情報の速度を低減させるデジタル画像符号化装
置に本来適用することができる。

「ザ　ベル　システム　テクニカル　ジャーナル」（↑
ｈｅ　Ｂｅ１ｌ　Ｓｙｓｔｅｍ　Ｔｅｃｈｎｉｃａｌ　
Ｊｏｕｒｎａｌ”。

Ｖｏｌ、　５８．　Ｎａ　３．１９７９年３月）に発表
されたニー・エフ・ネトラバリ（Ａ、　Ｎ、　Ｎｅｔｒ
ａｖａｌｉ　）及びジェー・ディー・ロビンス（Ｊ、　
Ｄ、Ｒｏｂｂｉｎｓ　）による論文「動きを補償したテ
レビジョン信号の符号化：パー）　Ｉ　Ｊ　　（Ｍｏｔ
ｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ　Ｔｅｌｅｖｉｓｉｏ
ｎｃｏｄｉｎｇ　：　Ｐａｒｔ　Ｉ　）には、本来画素
を静止画素と移動画素に類別し、かつ先行画像の画素を
現行画像の画素と位置及び光度について比較するために
先行画像の画素を利用する適応性の予測法により動きを
推定する動き推定方法につき記載されている。

画素−再帰法なる名称で知られている画素毎に動きを推
定する斯かる方法では、２つの連続する画像間のエネル
ギー差が最小となるように各画素に変位ベクトルを関連
させ、また推定される動きを考慮してエネルギー差の最
小化をこの場合にはニュートンーラフソン（Ｎｅｗｔｏ
ｎ−Ｒａｐｈｓｏｎ　）法によって行うようにしている
。

「アイ・イー・イー・イー　トランザクションズ　オン
　インフォーメーション　セオリ」（”Ｉ　Ｅ　Ｅ　Ｅ
　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｎｆｏｒｍａｔ
ｉｏｎ　Ｔｈｅｏｒｙ”ＩＴ−２２，１９７６年９月、
第５７３〜５７９頁）に発表されたシー・カッフォリオ
（Ｃ１Ｃａｆｆｏｒｉｏ　）及びエフ・ロッカ（Ｆ、　
Ｒｏｃｃａ）による論文［テレビジョン画像の僅かな変
位測定方法」でも前記論文のものと同し原理を利用して
いるが、この場合には画素のブロックで作動させるもの
であり、しかもブロックのすべての画素に対する変位ベ
クトルは同じとなるようにしている。しかし、この論文
に記載されている方法には隣接するブロック間の相関関
係が考慮されていないと云う欠点がある。

本発明の目的は上述した欠点を除去して一連の画像にお
ける動きを推定する方法を提供することにある。

本発明は、画像列における動きを推定する方法であって
、各画像をＩ×Ｊ個の画素のブロックに細分割し、各画
素の光度をデジタル形態にて表わし、かつこれらの各ブ
ロックを該ブロックが存在する画像ラインの行と、この
ｍ番目の画像ラインにおけるブロックの行をそれぞれ示
す２つの座標（ｍ、ｎ）によって規定して画像列におけ
る動きを推定する方法において、 （Ａ）基準画像を制定するために現行画像に対する先行
画像を保存し； （Ｂ）静止ブロック、移動ブロック及び露呈ブロックと
称されるブロックに類別される種々のブロックに対する
３つのグループを規定し、これらのグループにおけるブ
ロックを、当面の現行ブロックＸに続くＬ個のブロック
に対して所定数の可能なグループ列を調べることにより
画像走査に従い、かつ所定の類別基準に従ってＬ個のブ
ロックの遅延で類別し、静止及び移動ブロックに対する
前記基準を、他方の画像に対する一方の画像のブロック
の変位を移動ブロックに対し考慮して２つの連続する画
像間の光度差とし、かつ露呈ブロックに対する前記基準
を２つの隣接するライン間の光度差とし； （Ｃ）類別トリーを制定し、該トリーの各連続レベルに
おける３Ｌ本のブランチの数を可能グループの数に等し
くし、かつ第１レベルからＬ番目のレベルまでのブラン
チ数を画像列のＬ個の当面の連続ブロックに対する可能
なグループ列に対応させ； ゛（Ｄ）各レベルの各ブランチに次の２つのパラメータ
を関連させ： （ａ）先行画像、又は先行ラインに対するブロックの可
能な変位を表し、かつ該ブロックを表す中央画素に対し
て再帰的変位推定法により決定される変位ベクトルと称
される第１パラメータ；（ｂ）先行ブロックの類別誤差
の累積和を表す累積ひずみと称される第２パラメータで
あって、これら先行ブロックのグループが現行ブランチ
に到達すべく通過してきたトリーブランチのグループで
あり、各類別誤差を、成るブロックに対して推　・定し
た変位がそれに続くＬ個のブロックに対して推定される
変位に及ぼす影響を考慮して最小とし、前記影響をトリ
ーの３Ｌ本のブランチの内で生残りブランチと称される
累積ひずみが最弱のＭ本のブランチについてのみ調べ、
ここにＭをブランチの最大数３Ｌよりも遥かに小さい値
に選定するようにする第２パラメータ； （Ｅ）Ｌ個のブロックに関連する斯かる処置に従って、
有効グループに関連し、かつ現行ブロックに対してＬブ
ロック早く位置するくブロックの変位ベクトルに関して
多数決判定をし、この判定を生残りブランチを調べるこ
とにより、かつこれらの生残りブランチの最大数が対応
するグループにおけるしブロック早く位置する各ブロッ
クを類別することにより行い、対応する変位ベクトルを
Ｌブロック早く位置する前記ブロックの変位と見なし、
前記判定処置を画像列の内の判定を行わないＬ個の最終
ブロックを除いて同じように繰り返す：ことを特徴とす
る画像列における動き推定方法にある。

上述したような方法によれば、ブロック間に有り得る相
関が、成る所定ブロックのクラスについての判定をする
ために所定数のブロックの出現を待機することにより考
慮されると云う点で有利である。また、上述した本発明
による方法によれば露呈ブロックと称されるカテゴリー
を含む画像ブロックを一層正確に類別し、移動物体の輪
郭領域にて動き推定方法を再初期化することができる。

本発明方法を簡単に実施し得るようにするために、成る
ブロックに対して推定される変位がそのブロックに続く
Ｌ個の後続するブロックに対して推定される変位に及ぼ
す影響を、トリーの３Ｌ本の可能なブランチの内で、生
残りブランチと称される累積ひずみが最も弱いＭ本のブ
ランチについてのみ調べるようにし、ここにＭは最大ブ
ランチ数よりも遥かに小さい限定数とする。また、生残
りブランチを調べ、かつこれらの生残りブランチの最大
数が対応するグループ内にてＬ個のブロック分早く位置
している各ブロックを類別することにより多数決判定を
行うようにする。従って、対応する変位ベクトルはＬ個
のブロック分だけ早く位置していた斯かるブロックの変
位と見なされ、また前記多数決処置は判定を行わない画
像列のＬ個の最終ブロックを除いて同じように繰り返さ
れる。

このような方法を実施するために、本発明は−連の画像
における動きを推定するための装置にも関するものであ
り、本発明は該装置が入力端子から画像遅延回路を経て
番号付けした画像列を受信する画像メモリと、同じく番
号付けした画像列を受信するライン遅延回路と、同じく
番号付けした画像列を受信して、類別トリーの各延長部
にて該トリーのノードに関する変位ベクトルを更新し、
かつこれらの変位ベクトルを遅延判定回路に供給せしめ
る再帰的変位推定器とを具え、前記変位ベクトルを前記
画像メモリにも供給し、該メモリにより先行画像におけ
る現行ブロックを表す画素Ｘの相当画素の光度を前記変
位推定器及び前記遅延判定回路に戻すようにしたことを
特徴とする画像列における動き推定装置にある。

以下図面につき本発明を説明する。

多数の用途、特に前述したような用途では、番号付けし
た画像列を取扱う必要があり、特に成る画像とつぎの画
像との間の動きの存在を検出する必要がある。後に説明
する動きを推定するための方法及び装置は、変位推定器
を初期設定して、そのパーフォーマンスを改善するため
に遅延判定で変位を推定する再帰的な方法に基づくもの
である。

連続画像の各画像に対しては各画素の輝度値を番号付け
するものとする。また、各画像を各々が順次走査される
Ｉ×Ｊ個の画素から成るブロックに細分割し、かつこれ
らの各ブロックが２つの座標（ｍ、ｎ）によって規定さ
れ、ここにｍは画像ラインの行であり、ｎはこのｍ番目
のラインにおけるブロック行であるものとする。

本発明によれば、画像ブロックの走査に応じてこれらの
ブロックをＬ個のブロックの遅延でつぎの３つのグルー
プのいずれかに類別する。即ち、（ａ）静止ブロックの
グループ； （ｂ）移動ブロックのグループ； （Ｃ）露呈ブロックのグループ； この類別の正確な意味については後に説明する。

また、上述したような各ブロックに対する類別は、当面
のブロックに続くＬ個のブロックに対する可能なグルー
プの所定数のシーケンスを調べることによって行われる
こともいずれ明らかとなる。

また、本発明によれば各当面のブロックに変位ベクトル
を関連させる。成るブロックからつぎのブロックへの変
位ミクトルの方向及び大きさは、ブロックのグループと
、ブロックの中央画素（以後ブロックを表す画素と称す
る）によって生ずる類別誤差との関数として補正すべき
ものとする。

斯かる類別誤差は、３つのグループに対して同じように
は規定されず、前述した最初の２つのグループに関連す
るブロックの画素に対しては、この画素と先行画像にお
けるその画像に相当する画素との光度差に相当し、この
場合には斯かる先行画像に対して行った変位を考慮し、
また第３グループのブロックの画像に対しては推定誤差
を垂直方向、即ち成るラインから他のラインへの現行画
像の光度の変化によって決定する。

前述したように成される類別はつぎのような考えに基づ
いて成したものである。成る物体が画像中で変位される
場合に３つのタイプのブロックを区別することができる
。即ち、 （ａ）画像の静止部分に位置するブロック。これらのブ
ロックは静止ブロックである。

（ｂ）２つの連続画像に見えるも、異なる個所に見える
ブロック。これらのブロックは移動ブロックである。

（Ｃ）物体が変位した後に見えるようになったブロック
。これらのブロックは露呈されたと見なされるブロック
である。これらの露呈ブロックに関連する画素は先行画
像の画素には対応せず、空間的相関性が強くなり、例え
ばそれらの光度は先行ラインの光度に近いものとなる。

種々の領域に関連する画素を再度グループ化するブロッ
クは、ひずみが最小となるグループに類別することがで
きる。

この場合に採用する客観的な類別基準はブロックを３つ
のカテゴリーに分けること、即ち移動ブロックに対する
ブロックの変位を考慮しての最初の２つのタイプのブロ
ックに対する２つの連続画像間における光度差と、第３
番目のタイプのブロックに対する２つの隣接ライン間の
光度差との絶対値の和から推論する。

効率向上のために、上述した再帰的変位推定法では３種
類のブロックのタイプを区別し、ついでこれらのブロッ
クが適当な方法で相関関係を持つようにする。変位推定
処置の初期設定は、移動物体の輪郭をトレースするブロ
ックに対してゼロの推定値から出発することにより物体
の変位を最終的に再生できるようにする必要があり、即
ち変位ベクトルは斯かる物体の輪郭を形成するブロック
に対しては初期設定時に予想されず、従って斯様なブロ
ックは第３カテゴリーのブロック、つまり露呈ブロック
のカテゴリーに類別すべきである。

類別基準を規定すれば本発明の範暗においては便宜上所
定の限度内で成るブロックに対して推定した変位がその
ブロックに続くＬ個のブロックに対して推定される変位
に及ぼす影響を調べることにより斯かる類別基準の非最
適特性による類別誤差を最小とすることもできる。斯か
る影響は、類別誤差の最小化のために順次のブランチが
３つの可能なグループに対応し、これらのグループに画
像の（走査方向における）Ｌ個の順次の画素が関連する
ように類別トリーを構成することにより観測することが
できる。斯種のトリーは理論的には３Ｌ木のブランチを
具えているが、装置の簡単化のために以後生残りブラン
チと称する監視ブランチの数は制限するものとする。

従って、類別トリーの簡単な構成方法は、種々のブラン
チの交点をノードと称し、各レベルが画像ブロックに対
応するＬ個のレベルでトリーを構成する構成の仕方であ
る。第１画像ブロックから出発する場合に、その画像ブ
ロックを３つの規定グループ（静止ブロックのグループ
、移動ブロックのグループ、露呈ブロックのグループ）
の内のいずれか１つのグループに推定的に関連させるこ
とができる。従って、第１図に示した類別トリーでは、
これら３つのグループに関連する３つのブランチが形成
され、これらの各ブランチに２つのパラメータを関連付
ける。

第１パラメータはＤ（１−リーレベル；可能グループ）
にて示す変位ベクトルであり、レベルは０とＬとの間に
あり、グループをｆ（静止ブロックのグループ）、ｍ（
移動ブロックのグループ）又はｄ（露呈ブロックのグル
ープ）にてそれぞれ示す。最初の２つのブロックグルー
プに対する斯かる変位ベクトルは先行ノード（この場合
には当面のＬ個のブロックの内の最初のブロックに対す
るゼロノード）に関連するものに依存し、またこの先行
ベクトルに対して斯かる変位ベクトルは推定誤差りによ
り再更新され、類別誤差を識別する。

第３グループに対する変位ベクトルは前記推定誤差に単
に等しくなり、この場合にこのことはく先行変位ベクト
ルがない場合に）動き推定器の初期化を意味し、従って
こ゛の方法にとって同じく重要なことは、再帰的推定特
性には不連続点があるものとすることにある。推定誤差
そのものは、先行画像における変位を考慮しての相当画
素についての光度の空間的変動分によるものと、現行ブ
ロックを表す画素と先行画像の相当ブロックを表す画素
との間の光度差とに比例する。

第２のパラメータは前述したようにｄｉｓｔ　（）リー
のレベル；可能グループ）にて示す累積ひずみである。

ここの説明では先行ブロックの類別誤差についての累積
和を二乗したものを使用し、″またこれらブロックのグ
ループは現行ブランチに到達すべく類別トリーにて通過
したブランチのグループであるものとする。第１図のベ
クトルＤ（・、・）及びひずみｄｉｓｔ　（・、・）は
各ブランチに関連するが、図面が不明瞭とならないよう
にするために全部は図示してない。その理由はトリーの
分割は膨大となるからである。

処理する画像列の第１ブロツクを例にとる場合、斯かる
ひずみは第１トリーレベルのブランチの二乗誤差に相当
する。第２画像ブロックに到達すると、先行レベルの各
ブランチの先端にトリーの３つのブランチが構成され、
そこで新規の対応するパラメータ（変位ベクトル、累積
ひずみ）を計算する。この処置は各画像ブロックに対し
て繰り返され、ブランチの数は、少なくともこの全体数
を認定ブランチ数の制限値Ｍ（これは各ブロックに対す
る最大ブランチ数よりも遥かに小さい）以下に留める限
り３倍に逓倍される。斯かる制限値は装置が複雑となら
ないようにするために一定とする。この制限値を越える
と直ぐに生残りブランチと称される最弱ひずみのＭ本の
ブランチが実際上トリーの構成に保留されるが３Ｌ−Ｍ
本の他のブランチは、例えばそれらのひずみを無限大の
値とすることによって除去する。

このような処置をＬ番目の画像ブロックまで続ける。こ
の処置に基づいて最弱ひずみのＭ本のブランチを保留し
た後に、第１画像ブロックの有効グループ及び変位ベク
トルに関して多数決をとる。

この判定は遅延される。その理由は、Ｌ個の補充画像ブ
ロックを先行する当面のブロックで前記判定をする以前
にこれらＬ個のブロックについての情報に対する待機時
間があるからである。斯かる判定はつぎのようにして行
われる。即ち、生残りブランチを調べて、これらの生残
りブランチの最大数が対応するグループに第１ブロツク
を類別し、かつ対応する変位ベグ′トルを第１ブロツク
の変位と見なし、以下同様に処置する。Ｌ番目のブロッ
クからは各新規ブロックの到達時に斯かる新規ブロック
に先行しているブロックに対応するグループ及び変位ベ
クトルをＬ個のブロックにより決定する。例えば１秒（
画像を処理すべき時間を１秒とする場合）に２５画像の
ような全画像列を選定する場合には、最終画像ブロック
に対すると云うよりはむしろ画像列に対する多数決はと
らないようにする。

第２図は前述した一連の画像における動きを推定する方
法を実施することのできる動き推定装置の一例を示すブ
ロック線図であり、この装置は入力画像を構成するデジ
タルサンプルが（例えばビデオ画像の場合に１３．５　
Ｍ）ｌｚのサンプリング周波数にて）供給される入力端
子Ｅを具えている。入力画像を一方では現行画像の処理
中先行画像を保存する機能を有している画像メモリｌＯ
に供給する。

入力端子Ｅと画像メモリ１０の入力端との間には画像遅
延回路２０を設ける。入力画像を他方ではライン遅延回
路３０に供給する。この遅延回路は（第３グループの露
呈ブロックの場合に）現行画像の先のラインの現行画素
にアクセスする。各々が１つのブロックの１ラインを構
成する１個の連続画像ラインもメモリ回路６０に記憶さ
せる。このメモリ回路は種々のブロックの現行ラインに
アクセスする。入力画像は最終的には再帰的変位推定装
置４０に供給し、この装置により分類トリーにおける各
ステップでトリーのノードに関連する変位ベクトルを更
新させる。

これらＭ個の変位ベクトルを遅延判定回路５０に供給し
、この回路により前述した多数決処置に従って上記Ｍ個
の変位ベクトルの内から最良のベクトルを当面のブロッ
クの変位推定値として選択する。従って、遅延判定回路
５０は画像列の各ブロックに対するグループ及び変位ベ
クトルを決定するも、この決定はＬブロックの遅延で行
われる。変位ベクトルを考慮することにより先行画像の
ブロックにアクセスする画像メモリ１０は再帰的変位推
定装置４０から類別トリーのＭ個の連続ノードに関連す
るＭ個の変位ベクトル（これらのベクトルは回路５０に
供給される変位ベクトルと同じものである）を受信し、
かつｌサンプリング周期遅れて、しかも間接アドレスの
後に現行ブロックを表す新規画素Ｘの相当画素の光度を
斯かる変位推定装置４０に供給し、ここにＸは現行ブロ
ックを表す斯かる画素、即ち先行画素の画素Ｘ−ＤＥＰ
ｌ、　Ｘ−ＤＥＰ２゜−−−Ｘ−ＤＨＰＭの座標ｍ、ｎ
を符号化したものである。メモ１月０は前記相当画素の
光度を遅延判定回路５０にも供給する。

第３図は再帰的変位推定器４０の一例を示したものであ
り、これは各々が画像メモ１月ＯのＭ個の出力の内の１
つの出力で作動するＭ個の同様な回路を具えているため
、この第３図ではこれら回路の内の１つ、即ち回路素子
４０１１〜４１５ｉ（ｉはｌ　−Ｍまでの任意の整数）
から成る回路だけを示しである。減算器４０１１は、そ
の一端、例えば正の入力端にて入力端子已に供給される
入力画像を受信し、また他端、例えば負の入力端にて画
像メモ１月Ｏの出力信号、即ちｉ番目の画素の光度を受
信して、現行ブロックを表す画素Ｘと、先行画像の相当
する画素Ｘ−ＤＥＰｉとの光度差を差信号として供給す
る。減算器４０１：ｉの斯かる出力信号を乗算器４０２
１及び４１２１に供給する。これらの乗算器は画像メモ
リ１０にて読取られる画素Ｘ−ＤＥＰｉの隣接画素Ａ、
Ｂ。

Ｃ，Ｄの光度に作用する勾配回路４０３１によってベク
トル形態にて空間的勾配そのものが供給される画素Ｘ−
ＤＥＰｉにおける光度の空間的勾配（方向ｍにおける勾
配、方向ｎにおける勾配）と前記光度差との積をとる。

第４図は先行画像における画素Ｘ−ＤＥＰｉを囲む上記
４つの隣接画素Ａ、Ｂ、Ｃ。

Ｄを示し、前記空間的勾配は次式によって表される。即
ち、 前述した推定誤差である乗算器のベクトル的な出力信号
を減算器４０４１及び４１４１と画素遅延回路４０５１
及び４１５１とを具えている荷重なしの２個の巡回形フ
ィルタによって処理する。遅延回路４０５（又は４１５
ｉ　）は減算器４０４ｉ　（又は４１４ｉ）から出力信
号を受信して、この出力信号を遅延させて減算器４０４
ｉ（又は４１４ｉ）の負の入力端に供給し、減算器の正
の入力端は前記推定誤差を受信して当面の現行ブロック
を表す画素Ｘに関連する新規の変位ベクトルを供給する
。

斯くして再更新された変位ベクトルＤＥＰＩ、　ＤＥＰ
２゜−−−、ＤＥＰＭを一方ではアドレス指定の目的の
ために画像メモリ１０に供給して、このメモリにおける
先のベクトルを上記再更新ベクトルに代え、他方では本
発明による特定例としての第５図に示す遅延判定回路５
０に供給する。この遅延判定回路５ｏは先ず（Ｍ＋２）
個の減算回路５０１．５０２及び５０（１）〜５０　（
Ｍ）を具えており、これらの減算回路の内で減算回路５
０２を除く他の減算回路は先行画像の画素と現行画像の
画素との間の光度差を推定することによって類別誤差を
計算し、上記減算器５０２では斯かる光度差を先行ライ
ンの画素と現行ラインの画素との間にて推定する。なお
、減算回路の表記５０（１）〜５０　（Ｍ）におけるカ
ッコ内の英数字記号は類別トリー〇ノードを示す。減算
回路５０（１）〜５０　（Ｍ）にて得られた値は（Ｍ＋
２）個の二乗回路５１３、５１２及び５１　（１）〜５
１　（Ｍ）に供給する。二乗回路５１　（１）〜５ＨＭ
）の出力信号は、現行ブロックを形成するすべての画素
に対する類別誤差の和を得ることのできる３Ｍ個の累算
器に供給する。二乗回路の出力信号は叶個の第１加算器
５２１（１）〜５２１　（Ｍ）　。

５２２（１）〜５２２（Ｍ）、　５２３（１）〜５２３
　（Ｍ）につぎのように、即ち５１１　から５２１　（
１）〜５２ＨＭ）、　５１２から５２２（１）〜５２２
（Ｍ）、　５１（１）〜５１（Ｍ）から５２３（１）〜
５２３　（Ｍ）へとそれぞれ供給する。３Ｍ個の加算器
は、これらの他方の入力端子にてＭ個の遅延回路５４　
（１）〜５４　（Ｍ）の出力端子に現れるノードのひず
みを受信し、上記遅延回路５４　（１）〜５４　（Ｍ）
の前段にはＭ個の加算器５３（１）〜５３　（Ｍ）を設
ける。これらの加算器及び遅延回路の役目については下
記に説明する。

計測の第１加算器の出力信号は最強ひずみを有している
２Ｍ本のブランチを除去する以前の３Ｍ本のブランチの
累積ひずみを表し、これらを分類回路５９０に供給する
。分類回路５９０は、上記３Ｍ個の受信信号の内からＭ
個の最弱値の累積ひずみを表す信号を分類して、これ゛
らの信号をＭ個の加算器５３（１）〜５３　（Ｍ）の第
１入力端子に供給すると共に、これらＭ個のひずみ値に
加え、しかもこれらの各ひずみ値に従ってこれらのひず
み値が分類回路の入力端にて有している類別グループに
対応するインデックスを供給せしめるようにする。

これらＭ個のインデックスは後に類別トリーの保存兼更
新回路６００により利用する。第６図の特定例に示すこ
の回路６００は本例の場合復号化回路６０１を具えてお
り、これは例えばｌと３Ｍとの間の各アドレスに対して
下記に示すように計算される商とあまりを提供すべくプ
ログラム化した読取専用メモリを用いてブランチ（この
ブランチからグループが推定される）の番号とノードの
番号との２つのデータを抽出する。上記計算は各インデ
ックスに２を乗じ、この乗算した各インデックスを３で
割った後に類別トリーの最終レベルのノード番号（１と
Ｍとの間）を示す商（ａ）を求め、かつひずみが関連す
るブランチのグループ、即ち静止ブロックの第１グルー
プ、移動ブロックの第２グループ又は露呈ブロックの第
３グループにそれぞれ対応させた値である１／３．　　
Ｏ，又は２／３に相当するあまり（ｂ）を求める。

保存兼更新回路は２Ｍ個の主レジスタ６０２（１）。

６０２（２）、　　−−−、６０２（Ｍ）、　　６０３
（１）、　　６０３（２）、　　−−−。

６０３　（Ｍ）と２Ｍ個の補助レジスタ６１２（１）、
　６１２（２）、　−−−。

６１２（Ｍ）、　６１３（１）、　６１３（２Ｌ　−−
−、６１３（Ｍ）も具えている。これら４Ｍ個のシフト
レジスタの各々は類別トリーの長さく即ち、レベルの数
）に関してのＬ個のワードに対するＬ個の位置を具えて
いる。これら４Ｍ個のレジスタの内の最初のレジスタ（
即ち、２Ｍ個の主レジスタ）は最も近時のレベル（即ち
、現行画素ブロックを表す画素Ｘ）などに関連するデー
タを記憶する。Ｍ個の主レジスタ６０２（１）〜６０２
　（Ｍ）及びＭ個の補助レジスタ６１２（１）〜６１２
（肋は類別トリー０１個連続するレベルに対する変位ベ
クトルを記憶し、またＭ個の主レジスタ６０３（１）〜
６０３　（Ｍ）及びＭ個の補助レジスタ６１３（１）〜
６１３（Ｍ）はＬ個の連続レベルに対する生残りブラン
チのグループについてのデータを記憶する。これらレジ
スタの内容によって類別トリーをノードがそれらのひず
みが小さくなる順序で配置されるように再構成すること
ができ、この構成は後に詳述するような方法で行う。

第６図の一方では乗算器６２１と主レジスタ６０２（１
）〜６０２　（Ｍ）との間、及び他方では補助レジスタ
６１２（１）〜６１２（Ｍ）と乗算器６２１　との間に
、この図における他のトラックとは異なる各転送結線を
各々多少太目の矢印によって示しである。上述したＭ本
の結線と全く同じように示されるＭ本の同様な結線も一
方では乗算器６２２と主レジスタ６０３（１）〜６０３
　（Ｍ）との間、及び他方゛では補助レジスタ６１３（
１）〜６１３（Ｍ）と乗算器６２２との間に接続されて
、Ｍ本の最初の結線の存在によって行われるのと同じ記
憶、保存、更新機能を行わせることができるようにする
ことは勿論である。この第６図の回路を見易く、しかも
理解し易（するために、乗算器６２２と主レジスタ６０
３（１）〜６０３　（Ｍ）との間及び補助レジスタ６１
３　（１）〜６１３（Ｍ）と乗算器６２２との間の上述
したＭ本の結線を勝手に省いてあり、またこれらの素子
を実線で示す代わりに復合化回路６０１からレジスタ６
０３（１）〜６０３　（Ｍ）に至るＭ本の結線、レジス
タ６０３（１）〜６０３　（Ｍ）からレジ、２．タロ１
３（１）　〜６１３（Ｍ）ニ至るＭｘＬ本の結線及びレ
ジスタ６１３（１）〜６１３（Ｍ）から多数決回路６３
０に至るＭ本の結線と同様に破線にて示しである。

最初の期間に類別トリーを再構成するために、２Ｍ個の
主レジスタ６０２（１）〜６０２　（Ｍ）及び６０３（
１）〜６０３　（Ｍ）の内容を２Ｈ個の補助レジスタ６
１２（１）〜６１２（Ｍ）及び６１３（１）〜６１３（
Ｍ）にそれぞれ転送して、類別トリーを再編制する前に
この類別トリーを保存せしめるようにする。このような
転送によって２Ｍ個の主レジスタは旧の類別トリーを失
うことなく新規構成の類別トリーを受信するようになる
。第２期間には２Ｍ個の補助レジスタ６１２（１）〜６
１２（Ｍ）及び６１３（１）〜６１３（Ｍ）の内容を乗
算器６２１及び６２２（変位ベクトルに対しては乗算器
６２１を用い、グループデータに対しては乗算器６２２
を用いる）によって２Ｍ個の主レジスタ６０２（１）〜
６０２（１１）及び６０３（１）〜６０３　（Ｍ）に供
給して、主レジスタに前記内容をこれらの内容に関連す
るひずみが小さくなる順序で記憶させる。主レジスタ６
０２　（Ｋ）及び６０３　（Ｋ）は、例えばこれらの転
送作業後にトリーのブランチの変位ベクトル及びグルー
プをそれぞれ含み、このブランチのノードのひずみはこ
れが低下する順序でに番目のものである。

現行ブロックを表す画素Ｘに関するレベルＸのデータを
提供するためには、実際上次の２つの掻作が必要である
。即ち、 （ａ）Ｍ個の主レジスタ６０３（１）　〜６０３（Ｍ）
の第１ワードをレベルＸ（画素Ｘに関連するレベル）の
ブランチのグループ番号によって命じるようにする。

この番号そのものは復号化回路６０１から到来し、この
復号化回路は実際上ひずみが最も弱いＭ個のノード数を
３で割ったあまりを提供する。

（ｂ）乗算回路６２０によって回路４０から到来する変
位ベクトルＤＥＰ１．　ＤＥＰ２．−−−、　ＤＥＰ（
Ｍ）は、対応するブランチが静止ブロックのグループ又
は移動ブロックのグループに関連する場合にはＭ個の主
レジスタ６０２（１）〜６０２　（Ｍ）の第１ワードに
保存され、これらのブロックは逆のケース（初期化）で
はゼロとなる。

遅延判定は多数決回路６３０によって行われ、この回路
は実際に゛はＭ個の主レジスタ６０３（１）〜６０３（
Ｍ）のＬ番目のワードを調べ、かつ発生番号が最大グル
ープ（即ち、最も頻繁に戻るグループ）を決定する。こ
れが例えばこのグループを記憶しているレジスタ６０３
　（Ｋ）でもそうである場合に、主レジスタ６０３　（
Ｋ）及び６０２　（Ｋ）のＬ番目のワードの内容はそれ
ぞれブロックＸ−ＬのグループＧ　（Ｘ−Ｌ）及び変位
ベクトルＤ　（Ｘ−Ｌ）であるとして見なされる。これ
ら２つのデータは多数決回路６３０の出力端子、即ち実
際には第２図に示すように回路５０の出力端子に供給さ
れる。Ｌ番目のワードの内容が決定的なグループ（この
グループそのものはレジスタ６０３　（Ｋ）のＬ番目の
ワードに示される）とは異なる場合に、画像のブロック
Ｘ−Ｌに対しこのグループに属さないブランチを除去す
るために、累積ひずみを例えば番号付けした画像の最大
光度よりも高い値を加えることによって無限大値または
少なくとも極めて大きな値とする。

回路６００の出力信号６１５　（１）〜６１５（Ｍ）は
除去すべきブランチに対しては最大光度に等しく、また
他のブランチに対してはゼロに等しく、このような出力
信号をＭ個の加算器５３（１）〜５３　（！’Ｉ）の各
第２入力端子に供給し、これらの加算器には遅延回路５
４（１）〜５４　（Ｍ）をそれぞれ後続させる。これら
の遅延回路は、これらの回路を通る信号を１サンプリン
グ期間だけ遅延させる。ｍ終判定が成されると、２Ｍ個
の主レジスタ６０２（１）〜６０２　（Ｍ）及び６０３
　（１）〜６０３　（Ｍ）のワードが下方へとシフトさ
れ、これらのレジスタは新規の遅延判定操作に備え、こ
れらの各判定が主レジスタと補助レジスタとの１単位に
よるシフトにより追従されることは勿論である。

【図面の簡単な説明】

第１図は各画像ブロックに対する区別を静止ブロックの
第１グループか、移動ブロックの第２グループか、又は
露呈ブロックと称される第３グループに関連するグルー
プ間で行う画像ブロックの類別トリーの一例を示す説明
図； 第２図は本発明による動き推定装置の一例を示すブロッ
ク線図； 第３図は第２図の装置に設けられる再帰的変位推定装置
の一例を示すブロック線図； 第４図は画素Ｘ−ＤＥＰｉの光度を決定するために各光
度が利用される４つの画素Ａ、Ｂ、Ｃ，Ｄを示す説明図
； 第５図は第２図の装置に設けられる遅延判定回路の一例
を示すブロック線図； 第６図は第５図の回路に設けられる保存兼更新回路の一
例を示すブロック線図である。 １０・・・画像メモリ ２０・・・画像遅延回路 ３０・・・ライン遅延回路 ４０・・・変位推定器 ５０・・・遅延判定回路 ６０・・・メモリ回路 ４０１１・・・減算器 ４０２ｉ、　４１２ｉ・・・乗算器 ４０３１・・・勾配回路 ４０４ｉ、　４１４ｉ・・・減算器 ４０５ｉ、　４１５ｉ・・・画素遅延回路５０１、５０
２．５０（１）〜５０　（Ｍ）・・・減算回路５１Ｌ　
５１２．５Ｈ１）〜５ＨＭ）・・・二乗回路５２１〜５
２１（Ｍ）、　５２２〜５２２（Ｍ）、　５２３〜５２
３　（Ｍ）・・・加算器５３（１）〜５３　（Ｍ）・・
・加算器５４（１）〜５４　（Ｍ）・・・遅延回路５９
０・・・分類回路 ６００・・・類別トリー保存兼更新回路６０１・・・復
号化回路 ６０２（１）、　６０２（２）〜６０２（１’ｌ）、　
６０３（１）、　６０３（２）〜６０３　（Ｍ）・・・
主レジスタ ６１２（１）、　６１２（２）〜６１２（Ｍ）、　６１
３（１）、　６１３（２）〜６１３（Ｍ）・・・補助レ
ジスタ ６２０・・・乗算回路 ６２１、６２２・・・乗算器 ６３０・・・多数決回路

Claims (1)

1. 【特許請求の範囲】 １、画像列における動きを推定する方法であって、各画
   像をＩ×Ｊ個の画素のブロックに細分割し、各画素の光
   度をデジタル形態にて表わし、かつこれらの各ブロック
   を該ブロックが存在する画像ラインの行と、このｍ番目
   の画像ラインにおけるブロックの行をそれぞれ示す２つ
   の座標（ｍ、ｎ）によって規定して画像列における動き
   を推定する方法において、（Ａ）基準画像を制定するた
   めに現行画像に対する先行画像を保存し； （Ｂ）静止ブロック、移動ブロック及び露呈ブロックと
   称されるブロックに類別される種々のブロックに対する
   ３つのグループを規定し、これらのグループにおけるブ
   ロックを、当面の現行ブロックＸに続くＬ個のブロック
   に対して所定数の可能なグループ列を調べることにより
   画像走査に従い、かつ所定の類別基準に従ってＬ個のブ
   ロックの遅延で類別し、静止及び移動ブロックに対する
   前記基準を、他方の画像に対する一方の画像のブロック
   の変位を移動ブロックに対し考慮して２つの連続する画
   像間の光度差とし、かつ露呈ブロックに対する前記基準
   を２つの隣接するライン間の光度差とし； （Ｃ）類別トリーを制定し、該トリーの各連続レベルに
   おける３＾Ｌ本のブランチの数を可能グループの数に等
   しくし、かつ第１レベルからＬ番目のレベルまでのブラ
   ンチ数を画像列のＬ個の当面の連続ブロックに対する可
   能なグループ列に対応させ； （Ｄ）各レベルの各ブランチに次の２つのパラメータを
   関連させ： （ａ）先行画像、又は先行ラインに対するブロックの可
   能な変位を表し、かつ該ブロックを表す中央画素に対し
   て再帰的変位推定法により決定される変位ベクトルと称
   される第１パラメータ； （ｂ）先行ブロックの類別誤差の累積和を表す累積ひず
   みと称される第２パラメータであって、これら先行ブロ
   ックのグループが現行ブランチに到達すべく通過してき
   たトリーブランチのグループであり、各類別誤差を、或
   るブロックに対して推定した変位がそれに続くＬ個のブ
   ロックに対して推定される変位に及ぼす影響を考慮して
   最小とし、前記影響をトリーの３＾Ｌ本のブランチの内
   で生残りブランチと称される累積ひずみが最弱のＭ本の
   ブランチについてのみ調べ、ここにＭをブランチの最大
   数３＾Ｌよりも遥かに小さい値に選定するようにする第
   ２パラメータ； （Ｅ）Ｌ個のブロックに関連する斯かる処置に従って、
   有効グループに関連し、かつ現行ブロックに対してＬブ
   ロック早く位置するくブロックの変位ベクトルに関して
   多数決判定をし、この判定を生残りブランチを調べるこ
   とにより、かつこれらの生残りブランチの最大数が対応
   するグループにおけるＬブロック早く位置する各ブロッ
   クを類別することにより行い、対応する変位ベクトルを
   Ｌブロック早く位置する前記ブロックの変位と見なし、
   前記判定処置を画像列の内の判定を行わないＬ個の最終
   ブロックを除いて同じように繰り返す； ことを特徴とする画像列における動き推定方法。 ２、画像列における動きを推定する装置において、該装
   置が入力端子から画像遅延回路を経て番号付けした画像
   列を受信する画像メモリと、同じく番号付けした画像列
   を受信するライン遅延回路と、同じく番号付けした画像
   列を受信して、類別トリーの各延長部にて該トリーのノ
   ードに関する変位ベクトルを更新し、かつこれらの変位
   ベクトルを遅延判定回路に供給せしめる再帰的変位推定
   器とを具え、前記変位ベクトルを前記画像メモリにも供
   給し、該メモリにより先行画像における現行ブロックを
   表す画素Ｘの相当画素の光度を前記変位推定器及び前記
   遅延判定回路に戻すようにしたことを特徴とする画像列
   における動き推定装置。 ３、前記遅延判定回路が： （Ａ）第１減算回路とＭ個の減算回路とが先行画像のブ
   ロックと現行画像のブロックとの間の光度差を推定する
   ことによって類別誤差を計算し、第２減算回路が先行ラ
   インの画素と現行ラインの画素との間の光度差を推定す
   ることにより前記類別誤差を計算する全部で（Ｍ＋２）
   個の減算回路と； （Ｂ）各出力信号が類別トリーの３Ｍ本のブランチの累
   積ひずみを表す３Ｍ個の加算器と；（Ｃ）前記３Ｍ個の
   出力信号を受信し、これらの信号の内から累積ひずみが
   最弱のＭ個のひずみ値を表す信号を選択し、これらＭ個
   の選択信号にこれらの信号の類別グループに対応するイ
   ンデックスを入力端にて付随させる分類回路と； （Ｄ）一方では前記Ｍ個の選択インデックスを、他方で
   は類別トリーのＬ個連続するレベルに対する変位ベクト
   ルを受信し、かつ現行ブロックにＬブロックだけ先行し
   ているブロックに対しては該ブロックのグループ及び該
   ブロックの変位ベクトルに関連するデータを供給するよ
   うにして類別トリーを保存及び更新するための保存兼更
   新回路； とを具えることを特徴とする請求項２に記載の装置。 ４、前記保存兼更新回路が； （Ａ）すべてのレジスタがＬ個の記憶位置を有している
   Ｍ個の主レジスタとＭ個の補助レジスタとから成る第１
   組のレジスタであって、Ｍ個の主レジスタは乗算回路に
   よって再帰的変位推定器から到来する変位ベクトルを記
   憶させるために設けられ、Ｍ個の補助レジスタはこれら
   の変位ベクトルを再編制する前に保存して、これらのベ
   クトルをひずみが小さくなる順序で再編制した後に第１
   乗算器によって前記主レジスタに戻すために設けられる
   第１組のレジスタと； （Ｂ）すべてのレジスタがＬ個の記憶位置を有している
   Ｍ個の主レジスタとＭ個の補助レジスタとから成る第２
   組レジスタであって、この第２組のＭ個の主レジスタは
   Ｌ個の連続レベルに対する復号器によって前記分類回路
   から到来する生残りブランチのグループからのデータを
   記憶するために設けられ、かつこの第２組の前記Ｍ個の
   補助レジスタは前記生残りブランチのグループのデータ
   を再編制する前に保存して、前記主レジスタに対するひ
   ずみが小さくなる順序で再編制した後に前記データを第
   ２乗算器によって前記主レジスタに戻すために設けられ
   る第２組のレジスタと；（Ｃ）前記各レジスタのＬ番目
   のワードの内容を受信して、発生回数が最大のグループ
   を決定するための多数決回路であって、レジスタの内の
   該グループを記憶しているレジスタの内容を現行ブロッ
   クにＬブロックだけ先行しているブロックのグループと
   見なし、かつ対応する主レジスタにおける変位ベクトル
   も現行ブロックにＬブロックだけ先行している前記ブロ
   ックの変位ベクトルＤ（Ｘ−Ｌ）として見なし、かつ多
   数決回路による各判定を主レジスタと補助レジスタとの
   １単位によるシフトにより追従させるようにする多数決
   回路； とを具えることを特徴とする請求項３に記載の装置。