JPH0724071B2 - 画像列における動き推定方法及び装置 - Google Patents

Description

【発明の詳細な説明】 本発明は画像列における動きを推定する方法及び装置に
関するものである。斯様な方法は本来情報圧縮や、画像
品質の改良や、目標物の追跡等に対するディジタル信号
処理の分野及び例えばマグネットスコープに関するよう
な場合に、伝送又は記録すべき情報の速度を低減するた
めのディジタル画像符号化装置に適用することができ
る。

米国の雑誌「ザ ベル システム テクニカル ジャー
ナル」（The Bell System Technical Journal）にエー
・エヌ・ネットラバリ（A.N.Netravali）及びジェ・デ
ィー・ロビンス（J.D.Robbins）により発表された論文
「モーション−コンペンセーティッド テレビジョン
コーディング：パートＩ」（“Motion-Compensated Tel
evision Coding:PartI"）には、本来画素の分類を固定
画素及び移動画素について行い、しかも前画像の画素を
利用し、これらの画素を現行画像の画素と位置及び光度
について比較する適応予測法によって動きを推定する動
き指定方法について記載されている。しかし斯かる方法
にはまだかなりの欠点がある。先ず動きに関して言え
ば、斯かる方法は近傍画素間の相関を全く考慮していな
い。さらに、画素を分類するのに、所定画素に関連する
画素の分類がつぎの画素の分類に及ぼす影響についても
何等考慮していない。

本発明の目的は上述したような欠点を除去して画像列に
おける動きを適切に推定する方法を提供することにあ
る。

本発明は、各画素の光度をディジタル形態にて表わし、
かつこれらの各画素を２つの座標（m,n）によって定
め、ここにｍはこの画素が存在する画像ラインの行番号
を示し、かつｎは第ｍ画像ライン上に存在するこの画素
の列番号を示すものとして画像列における動きを評価す
る方法において、該方法が： （Ａ） 基準画像を作成するために現行画像に対し前画
像を保存する行程と： （Ｂ） 画像のタイプとして固定画素、移動画素の３つ
のタイプを定め、画像の走査に従って各画素をこれら３
つのタイプに分類し、この分類は当面の現画素Ｘに後続
するＬ個の画素の取り得るタイプの所定数の系列を所定
の分類規準に従って調べることによりＬ画素の遅れで行
ない、固定及び移動画素に対する前記分類規準は、移動
画素に対しては前画像に対する現画像画素の動きを考慮
して、前画像と現画像間の光度差とし、また出現画素に
対する前記分類規準は現画像内の２つの隣接する画像ラ
イン間の光度差とする行程と； （Ｃ） 全部で3^L本の枝路を有し、順次の各連続レベル
において画素が取り得るタイプの数に等しい枝路を有
し、第１レベルから第Ｌレベルまでの系路が画像列の当
面のＬ個の連続画素の取り得るタイプの系列に対応する
分類トリーを作成する行程と； （Ｄ） 各レベルの各枝路につぎの２つのパラメータ、
即ち、 （ａ） 前画像又は前画像ラインに対して起き得る動き
を表わす、巡回式動き推定法によって決定される動きベ
クトルと称する第１パラメータ、及び （ｂ） 先行画素の分類誤差の累積和を表わす累積ひず
みと称される第２パラメータであって、前記先行画素の
タイプは現行枝路に到達するまでに通過したトリー枝路
のタイプであり、各分類誤差は、或る画素に対して推定
された動きが該画素に後続するＬ個の画素に対して推定
された動きに及ぼす影響を考慮することにより最小にさ
れ、前記影響をトリーの3^L本の枝路の内の、生存枝路と
称する累積ひずみの最も弱いＭ本（ここにＭは最大数3^L
よりも遥かに小さい限定数）の枝路に対してのみ調べて
なる第２パラメータ； を関連させる行程と； （Ｅ） Ｌ個の画素に関連する前記処置の終了時に、現
画素に対してＬ画素前に位置する画素の有効タイプにつ
いて、及び動きベクトルについて多数決の判定を行い、
該判定は生存枝路を調べ、Ｌ画素前に位置する各画素を
これらの生存枝路のうち最大発生回数の枝路に対応する
タイプに分類すると共に、対応する動きベクトルをＬ画
素前に位置するこの画素の動きと見なすことによって行
ない、前記判定処理を、この判定を行わない画像列の最
后のＬ画素以外の画素について全く同じように繰り返す
判定行程； を含むことを特徴とする。

上述した本発明による方法によれば、出現画素と称され
るカテゴリを包む従来とは異なる非常に正確な画素の分
類が達成され、移動物体の輪郭個所にて動き推定法を初
期設定し直すことができると言う利点がある。さらに、
所定数の２値画素の出現を待って画素のタイプについて
判定をすることにより画素間の相関を考慮することがで
きる。

以下図面につき本発明を説明する。

多数の用途、特に前述したような用途にとっては、番号
付けした画像列を処理し、特に各画像とつぎの画像との
間の動きの存在を検出する必要がある。後に詳述する動
きを推定するための方法及び装置は、その推定装置を初
期設定し、かつその性能を向上させるために、遅延判定
を用いて動きを推定する巡回式の方法に基づくものであ
る。連続する各画像ごとに、各画素の光度値をディジタ
タル化し、かつこれらの各画素を２つの座標（m,n）に
より定め、ここにｍはこの画素が存在する画像ラインの
行番号であり、かつｎは第ｍ画像ラインにおけるこの画
素の列番号である。

本発明によれば、画像の走査中にこの画像の各画素をＬ
画素後に３つのタイプの内の１つに分類する。

（ａ） 固定画素タイプ （ｂ） 移動画素タイプ （ｃ） 出現（exposed）画素タイプ この分類の正確な意味については後に詳細に説明する。
また、後に明らかとなるように、上記分類は各画素に対
して行われ、この分類は当面の画素に後続するＬ個の画
素の取り得るタイプの所定数の系列を調べることによっ
て行われる。

また、本発明によれば各当面の画素に動きベクトルを関
連させ、一画素から次の画素へ、この動きベクトルの方
向及び大きさを１個又は数個の先行画素のタイプの関数
及び斯かる又はこれらの先行画素によって生ずる分類誤
差の関数として補正する必要がある。この分類誤差は３
つのタイプに対して同一に決定されず、前述した最初の
２つのタイプに対する誤差は当面の画素と、前画像に対
し生じた動きを考慮した前画像内の同族（同一タイプ）
画素との光度差に等しく、また第３タイプの画素に対す
る推定誤差は現画像における垂直方向の光度変化、即ち
一画像ラインから他の画像ラインへの光度変化によって
決定される。

上述したようにして行う分類はつぎのような考察に基づ
くものである。画像中にて或る物体が移動する場合に
は、つぎの３つのタイプの画素を区別することができ
る。即ち、 （ａ） 画像の固定部分に位置する固定画素； （ｂ） ２つの連続する画像中に見えるが、異なる個所
に見える移動画素； （ｃ） 物体の移動後に見えるようになった出現画素と
称する画素。

前画素の画素に対応しない出現画素は前画像ラインと強
い相関を有し、例えばそれらの光度は前画像ラインの光
度に近い値を有する。

この場合に採用する客観的な分類規準は、最初の２つの
タイプの画素に対しては連続する２画像間の光度差（移
動画素に対しては画素の動きを考慮する必要がある）及
び第３タイプの画素に対しては２つの隣接ライン間の光
度差から得られる。

本発明では３つの画素タイプを効率よく区別しするため
に巡回式動き推定方法を提案する。指定処理の初期設定
は、移動物体の輪郭を形成する画素に対する動き推定を
ゼロにすることから出発することによって物体の動きを
最終的に復元し得るようにする必要がある。即ち斯かる
輪郭を形成する画素に対する動きベクトルは、その初期
設定時には予測されないため、斯様な画素は第３テゴリ
の画素、即ち出現画素のカテゴリに分類すべきである。

本発明によれば、更に、分類規準を決めたら、或る画素
に対して推定された動きがＬ個の後続する画素に対して
推定される動きに及ぼす影響を便宜上所定の限度内で検
査することによりこの規準の非最適特性による分類誤差
が最小になるようにする。斯かる影響は、この目的のた
めに分類トリーを構成することによって観察することが
でき、この分類トリーの連続枝路は画像の（走査方向に
おける）Ｌ個の連続画素が取り得る３つのタイプに対応
する。斯様なトリーは論理的には3^L本の枝路を具える
が、装置の簡素化のために、以後生存枝路と称する観測
枝路の本数を制限する。

分類トリーの簡単な構成方法は次の通りである。先ず、
分類トリーは種々の枝路の交点をノードとし、かつＬ個
の各画素に対応するＬ個のレベルを具えるものとする。
第１画素から出発するものとすると、その第１画素は３
つのタイプ（固定画素、移動画素、出現画素）の内の１
つに関連するものとすることができる。従って第１図に
示した分類トリーでは、これら３つのタイプに関連する
３つの枝路を形成し、これらの各枝路に２つのパラメー
タを関連させる。

上記２つのパラメータの内の最初のパラメータはＤにて
示す動きベクトル（トリーレベル；タイプ）であり、ト
リーレベルは0,1,…Ｌであり、タイプはf,m又はｄ（そ
れぞれ固定画素、移動画素、出現画素）によって示して
ある。２つの最初の画素タイプに対する斯かる動きベク
トルは先行ノード（この場合には当面のＬ個の画素の内
の最初の画素に対するゼロノード）に関連する動きベク
トルに依存し、また斯かる先行ベクトルに対して最初の
２つの画素タイプに対する動きベクトルは分類誤差を区
別する推定誤差Ｄによって再更新される。第３画素タイ
プに対する動きベクトルは前記推定誤差に等しくし、こ
のことはこの場合には（先行動きベクトルがない場合
の）動き推定装置の初期設定を意味し、従ってこの方法
の同一原理において、巡回式推定特性に断絶個所がある
ことを意味する。推定誤差そのものは、前画像における
動きを考慮した同族画素の空間的光度変化と、現画素と
前画像内の同族画素との光度差との積に比例する。

前記パラメータの内の２番目のパラメータはdistにて示
す累積ひずみ（トリーレベル；画素タイプ）であり、こ
こでは先行画素の分類誤差の累積和を二乗したものを用
い、これらの画素のタイプは現枝路に到達するまでに通
った分類トリーの枝路のタイプとする。第１図ではベク
トルＤ（・，・）及びひずみdist（・，・）が各枝路に
関連するが、図面が煩雑とならないようにするためにこ
れらのすべては図示してない。その理由はトリーの細分
割はおびただしい数になるからである。

例えば取扱う画像列の第１画素に注目する場合、斯かる
ひずみは第１トリーレベルの枝路の二乗誤差に等しい。
第２画素に到達すると、トリーには先行のレベルの各枝
路の先端に３つの枝路が形成され、対応する新パラメー
タ（動きベクトル、累積ひずみ）が計算される。この処
理が各新画素に対して繰り返され、枝路の数は３倍にな
るも、この枝路総数は許可枝路の制限数Ｍ（各画素に対
する可能最大数枝路よりも遥かに少ない）以下に制限す
る。斯かる制限数は装置を複数にしないようにするため
に一定にする。斯かる枝路数が制限値を越すと直ちに最
弱ひずみのＭ本の枝路（生存枝路と称する）は実際上ト
リーに保持するが、3^L−Ｍ本の他の枝路は例えばそれら
のひずみを無限大とすることによって除去する。

斯様な処理をＬ番目の画素まで続ける。この処理に基づ
き、最弱ひずみのＭ本の枝路を保持させた後に、第１画
素の実際のタイプ及び動きベクトルに関して多数決を採
る。この判定は、Ｌ個の画素に先行する当面の画素につ
いて上述の判定を行う前にＬ個の画素についての情報を
待つ時間があるから、幾分遅れて行なわれる。上記判定
はつぎのようにして行う。即ち、生存している枝路を調
べ、第１画素を、これらの生存枝路の最大数が対応する
タイプに類別し、かつ対応する動きベクトルを、第１画
素の動きであると見なし、以下同様に行なう。Ｌ番目の
画素からは、各新画素の到来時に、この新画素のＬ画素
前の画素に対応するタイプ及び動きベクトルを決定する
ことができる。Ｌ個の最后の画素、或いは或る全画像列
が選定された（例えば１秒間に取り扱う画像を25画像と
する）場合の画像列に対しては多数決を採ることはな
い。

第２図は上述したような動きを評価する方法を実施する
評価装置の一例を示すブロック線図である。図示の評価
装置は入力結線Ｅを具えており、これには入力画像を構
成するディジタルサンプルを（例えばビデオ画像の場合
には13.5MHzのサンプリング周波数で）供給される。入
力画像は一方では画像遅延回路20を介して画像メモリ10
に供給される。画像メモリ10は現画像の処理中前画像を
保存する機能を有している。画像遅延回路20は入力結線
Ｅと画像メモリ10の入力端子との間に配置する。入力画
像は他方ではライン遅延回路30に供給され、この遅延回
路は（第３タイプの出現画素の場合に）現画像の前画像
ラインの対応画素を供給する。入力画像は巡回式動き推
定装置40にも供給され、この推定装置は分類トリーの各
ステップでトリーのノードに関連する動きベクトルを更
新する。これらＭ個の動きベクトルは遅延判定回路50に
供給される。この判定回路50は、当面の画素の動きを評
価するように前述した多数決処理に従ってＭ個の動きベ
クトルから最善のベクトルを選定する。従って判定回路
50は画像列の各画素のタイプ及び動きベクトルを決定す
るが、この判定はＬ画素分だけ遅れて行われる。動きベ
クトルを考慮して前画像の画素をアクセスする画像メモ
リ10は、巡回式動き推定装置40から分類トリーのＭ個の
連続ノードに関連するＭ個の動きベクトル（これらの動
きベクトルは回路50に供給されるものと同じものであ
る）を受信し、１サンプリング周期後に間接アドレスに
より新しい現画素Ｘの同族画素の光度を動き推定装置40
に供給する。なお、ここにＸは画素、即ち前画像の画素
Ｘ−DEP1,X−DEP2,…,X−DEPMの座標m,nを表わす。メモ
リ10は上記同族画素の光度を回路50にも供給する。

第３図は巡回式動き推定装置40の一例を示すブロック線
図である。この推定装置40は画像メモリ10のＭ個の出力
の内の１つの出力で各々作動するＭ個の同様な回路を具
えており、従ってそれぞれ素子401i〜415i（ｉ＝1,…
Ｍ）から成るＭ個の回路の内の１つの回路だけを示して
ある。減算器401iは、例えばその正の入力端子にて入力
結線Ｅに現れる入力画像を受信し、かつ負の入力端子に
て画像メモリ10の出力信号、即ちｉ番目の光度を受信し
て、現画素Ｘと前画像内の同族画素Ｘ−DEPiとの光度差
を差信号として供給する。減算器401iの出力信号は２つ
の乗算器402i及び412iに供給され、画素Ｘ−DEPiにおけ
る光度の空間的勾配（変化度）との積を形成する。空間
的勾配そのものは勾配回路403iによってベクトル形態
（方向ｍの勾配及び、方向ｎの勾配）で供給され、勾配
回路403iは画像メモリ10から読取られる画素Ｘ−DEPiの
近傍の画素の光度を用いる。第４図は前画像内の画素Ｘ
−DEPiのまわりの４つの画素A,B,C,Dを示し、上記空間
的勾配は次式によって与えられる。

ついで前述したように推定誤差である乗算器のベクトル
出力信号を重み付けすることなく２つの巡回式フィルタ
で処理する。これらの巡回式フィルタは減算器404i及び
414iと、画素遅延回路405i及び415iとで構成する。画素
遅延回路405i（又は415i）が減算器404i（又は414i）か
らの出力信号を受信し、この信号を減算器404i（又は41
4i）の負の入力端子に遅延させて再び供給すると共に減
算器404i（又は414i）がその正の入力端子に前記推定誤
差を受信し、当面の現画素Ｘに関連する新しい動きベク
トルを供給する。

上述したようにして再更新されたベクトルDEP1,DEP2,
…,DEPMは一方ではアドレス指定のために画像メモリ10
に供給され、これらのベクトルが先のベクトルに取って
代わり、他方では本発明の特定例における第５図に示す
遅延判定回路50に供給される。この遅延判定回路50は先
ず第１に（Ｍ＋２）個の減算回路501,502及び50（ｉ）
〜50（Ｍ）を具えており、これらの回路は減算器502以
外は前画像の画素と現画像の画素との間の光度差を評価
することによる分類誤差を計算し、減算器502では斯か
る光度差を前画像ラインの画素と現画像ラインの画素か
ら評価し、減算回路の参照符号50（１）〜50（Ｍ）にお
けるカッコ内の数値は分類トリーのノードを示してい
る。ついで各減算回路にて得た光度差の値を（Ｍ＋２）
個の二乗回路511,512及び51（１）〜51（Ｍ）にて二乗
する。これらの二乗回路の出力信号は3M個の第１加算器
521（１）〜521（Ｍ）、522（１）〜522（Ｍ）、523
（１）〜523（Ｍ）につぎのように、即ち511から521
（１）〜521（Ｍ）、512から522（１）〜522（Ｍ）、51
（１）〜51（Ｍ）から523（１）〜523（Ｍ）へとそれぞ
れ供給する。3M個の加算器はそれらの他の入力端子にて
Ｍ個の遅延回路54（１）〜54（Ｍ）の出力端子に存在す
るノードのひずみを受信する。遅延回路54（１）〜54
（Ｍ）の前段にはＭ個の加算器53（１）〜53（Ｍ）を設
ける。これらの加算器及び遅延回路の役割については下
記に説明する。

3M個の第１加算器の出力信号は、最強ひずみを有してい
る2M本の枝路を除去する前の3M本の枝路についての累積
ひずみを表し、これらの出力信号が分類（ソート）回路
590に供給される。この分類回路590は上記3M個の受信信
号の中からＭ個の最強累積ひずみ値を表わす信号を分類
して、これらのＭ個の信号をＭ個の加算器53（１）〜53
（Ｍ）の第１入力端子に供給し、かつこれらのＭ個のひ
ずみ値及び、これらの各ひずみ値と一致して、これらの
ひずみ値が分類回路の入力端子にて有している分類に対
応する指標を追加的に供給する。

上記Ｍ個の指標は分類トリーの保存兼更新用の回路600
によって利用される。第６図の特定例に示す斯かる回路
600は復号回路601を具えており、この復号回路は、例え
ば１〜3Mの各アドレスに対して後に示すように計算され
る商及び余りを出力するようにプログラムされた読取専
用メモリを用いて、枝路番号（これからタイプを推定す
る）及びノード番号に関する２つのデータを抽出する。
即ち、各指標を２倍し、２倍した各指標を３で割った後
に、（ａ）商を求め、且つ（ｂ）余りも求める。斯かる
商は分類トリーの最終レベルのノード（１〜Ｍ）の番号
を示し、余り（1/3,0,2/3）はひずみが関係する枝路の
タイプ、即ち固定画素の第１タイプ、移動画素の第２タ
イプ又は出現画素の第３タイプにそれぞれ対応する。

保存兼更新回路は2M個の主レジスタ602（１）,602
（２），…,602（Ｍ）,603（１）,603（２），…,613
（Ｍ）及び2M個の補助レジスタ612（１）,612（２），
…,612（Ｍ）,613（１）,613（２），…,613（Ｍ）も具
えている。これら4M個のシフトレジスタの各々は分類ト
リーの長さ（即ち、レベルの番号）に関してＬ個のワー
ドに対するＬ個の位置を具えている。これらのレジスタ
（即ち、2M個の主レジスタ）の内の最初のレジスタは最
新レベルに関するデータ（即ち、画像の現画素Ｘのデー
タ）を記憶し、以下同様に第2,第3,…レジスタも順次最
近レベルに関するデータを記憶する。Ｍ個の主レジスタ
602（１）〜602（Ｍ）及びＭ個の補助レジスタ612
（１）〜612（Ｍ）は分類トリーのＬ個連続するレベル
に対する動きベクトルを記憶し、またＭ個の主レジスタ
603（１）〜603（Ｍ）及びＭ個の補助レジスタ613
（１）〜613（Ｍ）はＬ個の連続するレベルに対する生
存枝路タイプのデータを記憶する。これらレジスタの内
容によってノードがそれらのひずみの低下順に配列され
るように分類トリーを再構成することができる。この分
類トリーの再構成は後に詳述するように実施される。

第６図には、乗算器621と主レジスタ602（１）〜602
（Ｍ）との間及び補助レジスタ612（１）〜612（Ｍ）と
乗算器621との間にはそれぞれ他のトラックと区別する
ように太矢印によって示す転送結線を示してある。乗算
器622と主レジスタ603（１）〜603（Ｍ）との間及び補
助レジスタ612（１）〜613（Ｍ）と乗算器622との間に
も上述したＭ本の結線と全く同じように示されるＭ本の
同様な結線を設けて、Ｍ本の最初の結線により実施され
るのと同じ記憶、保存及び更新機能を実行させる。第６
図では図面を見易く、しかも理解し易くするために、乗
算器622、レジスタ603（１）〜603（Ｍ）及び613（１）
〜613（Ｍ）の各素子を適当に省き、またこれらの素子
を実線で示す代わりに破線にて示してあり、同様に復号
器601からレジスタ603（１）〜603（Ｍ）へのＭ本の結
線、レジスタ603（１）〜603（Ｍ）からレジスタ613
（１）〜613（Ｍ）へのＭ×Ｌ本の結線及びレジスタ613
（１）〜613（Ｍ）から多数決回路630へのＭ本の結線も
破線にて示してある。

トリーを再構成する第１段階では、2M個の主レジスタ60
2（１）〜602（Ｍ）及び603（１）〜603（Ｍ）の内容
を、それぞれ分類トリーの再構成以前に分類トリーを保
存しておく2M個の補助レジスタ612（１）〜613（Ｍ）及
び613（１）〜613（Ｍ）に転送する。この転送によって
2M個の主レジスタは、斯かる転送によって旧のトリーを
失うことなく新しい構成の分類トリーを受信するように
なる。第２段階では、主レジスタにひずみが低下する順
序で前記内容を記憶させるために、2M個の補助レジスタ
612（１）〜612（Ｍ）及び613（１）〜613（Ｍ）の内容
を乗算器621及び622（621は動きベクトルに対するもの
であり、623はタイプデータに対するものである）によ
っって2M個の主レジスタ602（１）〜602（Ｍ）及び603
（１）〜603（Ｍ）に供給する。主レジスタ602（Ｋ）及
び603（Ｋ）は例えばこれらの転送操作後にはトリーの
動きベクトル及び枝路のタイプデータを含み、その場合
のひずみはその低下順序でｋ番目のものである。

現画素Ｘに関するレベルＸのデータを導入するには実際
上つぎのような操作が必要である。即ち、 （ａ） Ｍ個の主レジスタ603（１）〜603（Ｍ）の第１
ワードに、復号回路601から到来するレベルＸ（このレ
ベルは現画素Ｘに関連する）の枝路タイプの番号を充填
する。実際には斯かる復号回路601は最弱ひずみを有し
ているＭ個のノード数を３で割った余りを出力する。

（ｂ） 対応する枝路が固定画素タイプ又は移動画素タ
イプに関連する場合には、乗算回路620によって回路40
から到来する動きベクトルDEP1,DEP2,…,DEP（Ｍ）をＭ
個の主レジスタ602（１）〜602（Ｍ）の第１ワードに保
存させる。これらの第１ワードは初期設定の場合にはゼ
ロとする。

ついで多数決回路630によって遅延判定を行う。この多
数決回路は実際にはＭ個の主レジスタ603（１）〜603
（Ｍ）のＬ番目のワードを調べて、発生回数が最も大き
いタイプ（即ち、最も頻繁に戻るタイプ）を決定する。
これが再びレジスタ603（ｋ）であり、例えばこのレジ
スタがこのタイプを記憶している場合には、主レジスタ
603（Ｋ）及び602（Ｋ）のＬ番目のワードの内容が、画
素Ｘ−ＬのタイプＧ（Ｘ−Ｌ）及び動きベクトルＤ（Ｘ
−Ｌ）であると見なされる。これら２つのデータは多数
決回路630の出力端子、即ち実際には第２図に示すよう
な回路50の出力端子に現れる。画像の画素Ｘ−Ｌに対す
るこのタイプに至らない枝路を除去するために、Ｌ番目
のワードの内容が決定されたタイプ（それ自体はレジス
タ603（Ｋ）のＬ番目のワードで示される）と異なる場
合に、累積ひずみを無限大値にするか、又は例えば画像
の最大光度よりも高い値を加えることによって極めて大
きな値にする。

除去すべき枝路に対しては最大光度に等しく、また他の
枝路に対してはゼロに等しい回路600の出力信号615
（１）〜615（Ｍ）は遅延回路54（１）〜54（Ｍ）が後
続するＭ個の加算器53（１）〜53（Ｍ）の各第２入力端
子に供給する。遅延回路54（１）〜54（Ｍ）は、これら
を通る信号を１サンプリング期間だけ遅延させる。ここ
で最終判定を行なわれると、2M個の主レジスタ602
（１）〜602（Ｍ）及び603（１）〜603（Ｍ）のワード
が下方にシフトされ、これらのレジスタが新たな遅延判
定処理のために準備され、判定ごとに主レジスタ及び補
助レジスタが１ユニットづつシフトされること勿論であ
る。

【図面の簡単な説明】

第１図は各画素が第１タイプの固定画素、第２タイプの
移動画素又は第３タイプの出現画素と称する画素に関連
するかを区別する画素分類トリーの一例を示す線図； 第２図は本発明による動き推定装置の一例を示すブロッ
ク線図； 第３図は第２図の装置に用いられる巡回式動き推定装置
の一例を示すブロック線図； 第４図は画素Ｘ−DEPiの光度勾配を決定するのに利用す
る４つの画素A,B,C,Dを示す説明図； 第５図は第２図の装置に用いる遅延判定回路の一例を示
すブロック線図； 第６図は第５図の回路に用いる分類トリーの保存兼更新
用回路の一例を示すブロック線図である。 10……画像メモリ、20……画像遅延回路 30……ライン遅延回路、40……動き推定装置 50……遅延判定回路 401₁〜401_M……減算器、402i,412i……乗算器 403i……勾配回路、404i,414i……減算器 405i,415i……画素遅延回路 501,502,50（１）〜50（Ｍ）……減算回路 511,512,51（１）〜51（Ｍ）……二乗回路 521（１）〜52（Ｍ）,522（１）〜522（Ｍ）,523（１）
〜523（Ｍ）……第１加算器 53（１）〜53（Ｍ）……加算器 54（１）〜54（Ｍ）……遅延回路 590……分類回路 600……分類トリー保存兼更新用回路 601……復号回路 602（１）,602（２）〜602（Ｍ）,603（１）,603（２）
〜603（Ｍ）……主レジスタ 612（１）,612（２）〜612（Ｍ）,613（１）,613（２）
〜613（Ｍ）……補助レジスタ 621,622……乗算器、630……多数決回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】各画素の光度をディジタル形態にて表わ
   し、かつこれらの各画素を２つの座標（m,n）によって
   定め、ここにｍはこの画素が存在する画像ラインの行番
   号を示し、かつｎは第ｍ画像ライン上に存在するこの画
   素の列番号を示すものとして画像列における動きを評価
   する方法において、該方法が： （Ａ） 基準画像を作成するために現行画像に対し前画
   像を保存する行程と： （Ｂ） 画像のタイプとして固定画素、移動画素及び出
   現画素の３つのタイプを定め、画像の走査に従って各画
   素をこれら３つのタイプに分類し、この分類は当面の現
   画素Ｘに後続するＬ個の画素の取り得るタイプの所定数
   の系列を所定の分類基準に従って調べることによりＬ画
   素の遅れで行ない、固定及び移動画素に対する前記分類
   規準は、移動画素に対しては前画像に対する現画像画素
   の動きを考慮して、前画像と現画像間の光度差とし、ま
   た出現画素に対する前記分類規準は現画像内の２つの隣
   接する画像ライン間の光度差とする行程と； （Ｃ） 全部で3^L本の枝路を有し、順次の各連続レベル
   において画素が取り得るタイプの数に等しい枝路を有
   し、第１レベルから第Ｌレベルまでの系路が画像列の当
   面のＬ個の連続画素の取り得るタイプの系列に対応する
   分類トリーを作成する行程と； （Ｄ） 各レベルの各枝路につぎの２つのパラメータ、
   即ち、 （ａ） 前画像又は前画像ラインに対して起り得る動き
   を表わす、巡回式動き推定法によって決定される動きベ
   クトルと称する第１パラメータ、及び （ｂ） 先行画素の分類誤差の累積和を表わす累積ひず
   みと称される第２パラメータであって、前記先行画素の
   タイプは現行枝路に到達するまでに通過したトリー枝路
   のタイプであり、各分類誤差は、或る画素に対して推定
   された動きが該画素に後続するＬ個の画素に対して推定
   された動きに及ぼす影響を考慮することにより最小にさ
   れ、前記影響をトリーの3^L本の枝路の内の、生存枝路と
   称する累積ひずみの最も弱いＭ本（ここにＭは最大数3^L
   よりも遥かに小さい限定数）の枝路に対してのみ調べて
   なる第２パラメータ；を関連させる行程と； （Ｅ） Ｌ個の画素に関連する前記処置の終了時に、現
   画素に対してＬ画素前に位置する画素のタイプについ
   て、及び動きベクトルについて多数決の判定を行い、該
   判定は生存枝路を調べ、Ｌ画素前に位置する各画素をこ
   れらの生存枝路のうち最大発生回数の枝路に対応するタ
   イプに分類すると共に、対応する動きベクトルをＬ画素
   前に位置するこの画素の動きと見なすことによって行な
   い、前記判定処置を、この判定を行わない画像列の最后
   のＬ画素以外の画素について全く同じように繰り返す判
   定行程； を含むことを特徴とする画像列における動き評価方法。
2. 【請求項２】画像列における動き評価装置において、該
   装置が入力結線から画像遅延回路を介して番号付けした
   画像列を受信する画像メモリと、前記番号付けた画像列
   を受信するライン遅延回路と、同じく前記番号付けした
   画像列を受信して分類トリーの各延長線にて該トリーの
   ノードに関する動きベクトルを更新すると共に、これら
   の更新動きベクトルを遅延判定回路に供給する巡回式動
   き推定装置とを具え、前記更新ベクトルを前記画像メモ
   リにも供給し、該画像メモリが前画像内の、現画素Ｘと
   同一タイプの同族画素の光度を前記推定装置及び前記判
   定回路に戻すようにしたことを特徴とする画像列におけ
   る動き評価装置。
3. 【請求項３】前記遅延判定回路が： （Ａ） （Ｍ＋２）個の減算回路を含み、第１及びＭ個
   の演算回路が前画像の画素と現画像の画素との間の光度
   差を評価することによって分類誤差を計算し、第２減算
   回路が前画像ラインの画素と現画像ラインの画素との間
   の光度差を評価することによって前記分類誤差を計算す
   る減算手段と、； （Ｂ） 前記（Ｍ＋２）個の減算回路の出力信号を二乗
   する（Ｍ＋２）個の二乗回路と； （Ｃ） 出力信号が分類トリーの3M本の枝路の累積ひず
   みを表わす3M個の加算器と； （Ｄ） 前記3M個の出力信号を受信して、これらの信号
   からＭ個の累積ひずみの最も弱い値を表わす出力信号を
   取出すとともに、これらＭ個の信号に、これら信号の分
   類に対応する指標を付ける分類回路と； （Ｅ） 一方では前記Ｍ個の選択指標を受信し、他方で
   は分類トリーのＬ個の連続するレベルに対する動きベク
   トルを受信し、かつ現画素ＸのＬ画素前の画素に該画素
   のタイプ及び該画素の動きベクトルに関するデータを供
   給する分類トリー保存兼更新用回路； とを具えることを特徴とする特許請求の範囲第２項に記
   載の装置。
4. 【請求項４】前記保存兼更新用回路が： （Ａ） いずれもＬ個の位置を有しているＭ個の主レジ
   スタとＭ個の補助レジスタとから成る第１組のレジスタ
   であって、主レジスタには乗算回路を介して巡回式動き
   推定装置から到来する動きベクトルを記憶させ、前記補
   助レジスタには前記動きベクトルをトリーの再編成以前
   に保存させると共に、ひずみが低下している順にトリー
   を再編成した後に前記動きベクトルを第１乗算器を介し
   て前記主レジスタに戻すようにする第１組のレジスタ
   と； （Ｂ） いずれもＬ個の位置を有しているＭ個の主レジ
   スタとＭ個の補助レジスタとから成る第２組のレジスタ
   であって、主レジスタにはＬ個の連続レベルに対し復号
   器を介して前記分類回路から到来する生存枝路のタイプ
   に関するデータを記憶させ、前記補助レジスタには再編
   成する前にタイプに関する前記データを保存させると共
   に前記データを再編成後にひずみの低くなる順に前記主
   レジスタに第２乗算器を介して戻すようにする第２組の
   レジスタと； （Ｃ） 前記各レジスタのＬ番目のワードの内容を受信
   し、かつ発生回数が最大のタイプを決定する多数決回路
   であって、このタイプを記憶するレジスタのＬ番目のワ
   ードの内容を現画素ＸのＬ画素前の画素のタイプＧ（Ｘ
   −Ｌ）と見なし、かつ対応する主レジスタ内の動きベク
   トルを現画素ＸのＬ画素前の前記画素の動きベクトルＤ
   （Ｘ−Ｌ）と見なすようにする多数決回路；とを具え、
   前記多数決回路が判定を行なうたびに主レジスタ及び補
   助レジスタが１ユニットづつシフトするようにしたこと
   を特徴とする特許請求の範囲第３項に記載の装置。