JPS62131383A - 画像列における動き推定方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は画像列における動きを評１ｄｌｉする方法及び
装置に関するものである。

１、Ｗ　＋、套な方法は木来情ｆＩ圧縮や、画像品質の
改良や、目標物の追跡等に対するディンタル悟す゛ひ浬
の分野及び例えばマグネットスコープに閏ずろような場
合に、伝送したり又は記↑Ｊｋ　したりずべき［Ｉ′１
報の速度を下げるためのディジタル画１象符号比装置に
適用することができる。

米国の雑誌「ザ　ベル　システム　テクニカルジャーナ
ルＪ　（Ｔｈｅ　Ｂｅ１ｌ　Ｓｙｓｔｅｍ　Ｔｅｃｈｒ
＋＋ｃａｌＪｏｕｒｎａｌ）にニー・エヌ・ネットラハ
リ（Ａ、　　Ｎ。

Ｎｅｔｒａｖａｌｉ）及びジェー・ディー・ロビンス（
、Ｊ、　Ｄ。

Ｒｏｂｂｉｎｓ）　　により発表された論文「モーンヨ
ノーコンペンセーティソド　テレビジョン　コーディン
グ：パート［ｊ　（”Ｍｏｔ＋ｏｎ−Ｃｏｍｐｅｎｓａ
ｔｅｄ　Ｔｅ１ｅｖ＋ｓ＋ｏｎＣｏｄｉｎｇ：　Ｐａｒ
ｔビ″）には、本来画素の分類を固定画素及び移動画素
について行い、しかも先行画像の画素を利用し、これら
の画素を現行画像の画素と位置及び光度について比１校
する適応性の予測法によって動きを評価する動き評価方
法について記載されている。しかし斯かる方法にはまだ
かなりの欠点がある。先ず動きに関して言えば、斯かる
方法は近傍画素間の相互関係を全く考慮していない。

さらに、画素を分類するのに、所定画素に関連する画素
の分類かつぎの画素の分類に及ぼず影習についても河等
考ＬＢしていない。

本発明の目的は上述したような欠点を除去して画像列に
おける動きを適切に評価する方法を提供することにある
。

本発明は、各画素の光度をディジタル形態にて表わし、
かつこれらの各画素を２つの座標（ｍ。

ｎ）によって規定し、ここにｍは各画素が存在している
画像ラインの行を示し、かつｎは前記ｍ番目の画像ライ
ンにおける画素列を示すものとして画１象列における動
きを評価する方法において、該方法が： （Ａ）基準画像を作成するために現行画像に対する先行
画像を保存する工程と： （Ｂ）固定画素、移動画翠及び出現画素と［４Ｊ：され
る画素に分類される３つの画素グループを規定し、これ
らのグループでは当面の現行画素Ｘ　ｌこ後続するＬ個
の画素が取り得る所定数のグループ列を調べることによ
り画像の走査に応じ、しかも所定の分類規準に基づいて
画素をＬ個の遅延側５携で類別し、固定及び移動画素に
対する前記分顕現・（Ｊｉは、成る画像の池の画像に対
する画素の変位を移動画素に対して考慮しての２つの連
続画像間の光度差とし、また出現画素に対する前記分類
規準は２つの隣接する画像ライン間の光度差とするよう
にして画素に対する３つのグループを規定する工程と； （Ｃ）分類トリーを作成し、該トリーの各連続レベルに
おける３Ｉ一本の枝路の数を画素が取りｉ）グループの
故に等しくシ、この数を分類トリーの第１レベルからＬ
番目のレベルまて；よ画像列のＬ個の当面の連続画素が
取ゆ升るグループ列に対応さけるように分類トリーを作
成する工程と；（Ｄ）各レベルの各枝路につぎの２つの
パラメータ、即し、 （ａＪ　　画素が先行画素又は先行画１象ラインに対し
て取１．）　ｉｒｊ、る変位を表わすパラメータで、し
かも巡回式の変位計１＋ｌＩｉ法によって決定される変
位ベクトルと称する第１パラメータと； Ｃｂ）　　先行画素の分類誤差の累算用を表わす累′！
、７びずみどＦ３Ｊ：される第２パラメータにあって、
ｍＩ記先７１画素のグループは現行［支路に到達するま
でに通過したトリー枝路のグループとし、各公印誤添は
、成る画素に対して評価した変位が該画素に（（続する
Ｌ個の画素に対して評価した変位に及ぼす冨響を考慮し
て最小となるようにし、前記影響１１トリーが取り得る
３ヒ本の枝路の内で、生存枝路と称する累算ひずみの最
も弱いＭ本の枝路に対してのみ調べ、ここにＭの値を枝
路の最大数３Ｌよりら１缶かに小さ＝）Ｌ４Ｒ定攻とし
た第２バラ、メー＋＋　：とを関連付けろ工程と； （Ｅ）Ｌ個の画素に関連する前記処置に従って、現７１
画素に対してＬ画素分以前に位置した画素の仔効グルー
プについて、及び変位ベクトルにつ・、１て多数決の１
：す定を行い、該判定は生存（支路を調べることによっ
て、及びこれらの生（′ｆ−を支路の１シフ′ｕに：二
対応するグループにおけるＬ画界分以前に位；１ｑした
各画素を類別することによって行い、従って対応する変
位ベクトルはＬ画零分層萌に位置した斯かる画素の変位
吉見なされるようにし、１１ｆＩ記刊定処置を、この判
定を行わない画像列のＬ番［°１の最終画素以外の画素
について全く回りように繰り返す１′１１定王程：を含
むことを′ＩＳ徴とする。

上述した本発明による方法によれば、出現画素と称され
るカテフリを包含している画素について従来とは異なる
非常に正確な分類を行い、移動物体の輪郭個所にて動き
評価法を初期設定し直すことができると言う利点がある
。さらに、画素のクラスについて判定をするための所定
数の２１直素子の出現を侍って画素間のト目閏を考芯す
ることができる。

以下図面につき本発明を説明する。

多数の用途、特に前述したような用途にとっては、番号
付けしだ画像列を取扱う、特に成る画像とつぎの画像と
の間の動きの（７在を検出する必要がある。後に詳述す
るヨＪきを評ｆ＋１１ｉするための方法及び１υ置は、
その評１ｌＩＩｉ装：ｊりを初期設定し、かつそのパー
ホーマンスを改善するために遅延判定で変（ケを評１ｉ
１１ｉする巡回式の方法に基づくものである。

（４連続画像に対して、各画、姑の輝度性をディジタク
ル１ヒし、かつこれらの各回ぶを２つの座標（ｍ。

ｎ　）によって規定し、ここにｍを画像ラインの行とし
、かつｎを斯かるｎ番目の画１象ラインにおける画素列
とすることになっている。

本発明によれば、画像の走査中にこの画像の画素をつぎ
の３つのグループの内の１つのグループにてＬ個の面木
を遅延さけて分類する。

（ａ）固定画素グループ （ｂ）移動画素グループ （Ｃ）出現（ｅｘｐｏｓｅｄ）画素グループこの分類の
正確な意味については後に詳♀Ｉｌｌに説明する。また
、上記分類が各画素に対して行われ、これが当面の画素
に後続するＬ個の画素について飄える所定数の連続グル
ープを調べることによって行われることも確かめること
ができる。

また、本発明によれば各当面の画素に変位ベクトルを関
連させ、成る画素からつぎの画素への斯かる変位ベクト
ルの方向及び振幅を１個又：まルに個の先行画素のグル
ープ及び斯かる又はこれらの先行画素によって生ずる分
類誤差の関数として浦正けしめるようにする。この分類
誤差は３一つのグループに対して同じようには規定され
ず、前述した最明の２つのグループに対する誤差は当面
の画素と、先行画像について行った変位を各週しての先
行画像における同じ箇所のく同族）画素の光度差に等し
く、また第３グループの画素に対する評ｆｉｌｌｉ誤差
は当面の画像の垂直方向、叩ら成る画像ラインから他の
画像ラインへの光度変化によって決定される。

上述したようにして行う分′！’、Ｑは一つぎのような
考察に仄つくものである。画像中にて成る物体が変位す
る場合に（ま、つぎの３つのタイプの画崇ヲ区別するこ
とができる。即ち、 （ａ）　　画１象の固定部分に位置する固定画素；（ｂ
）２つの連続する画１象中てはあるが、異なる個所に見
える移動画素； （Ｃ）　　物体の変位後に見えるようになった出現画素
と称する画素。

先行画１象の画素に対応しない出現画素は強力な空間的
ト目関をとり、例えばそれらの光度は先行画像ラインの
光度に近い幀を有する。

この場合に採用する客観的な分類規準は、３つのカテコ
リの画素への斯かる分配方法から、即ち移動画素に対す
る画素の変位と、第３タイプの画素に対する２つの隣接
する画像ライン間の光度差とを考慮しての最初の２つの
タイプの画素に対する２つの連続画像間の光度差から推
論する。

効率の点からして上述した巡回式の変位評価は、ｍｊ記
３つの規定した画素タイプを区別し、かっこれろを適当
なｈ　’ｒ人でト目互ｊこｌ’ｒ　ＩＴ］さけろも・７
）−二５６ろっ１神１ｉ１１ｉ処置の初期設定は、移動
物体の輪郭を追）４・する画素に対しての七口評ｆｉｌ
ｌｉかろ出発ずろこと（二上って物体の変位を最終的に
再生し占るようにする必要がある。即ら斯かる輪郭を形
成する画素ｊ二対する変位ベクトルは、その１１月用設
定時：こは千ｎ１されないため、斯トｌな画素は第３カ
テコリの画、外、即ら出現画素のカデゴＩＪ　ｌこ分類
すべきである。

本発明によれば、分類用（Ｍを１見定する−と１＝よっ
て、成る画素に対して計１１ｉ　１．た変泣かＬ　ｊ［
、’、ｌ　、、ニー）後続する画素に対して評！＋ｔｌ
ｉ　した変位に檗ぼ才影、１；１ゝを匣宜上所定の限度
内で調べろことによｊつ斯かる規準の非最適時匹による
分類誤差も１′に小にずろ一所かる影響は、この目的の
ために分類トリーを１１１立てることによって観察する
ことができ、この分類トリーの連続枝路は３つの取り得
るグループ：てマ１応し、これらのグループには画像の
く走査方向における）Ｌ個の連続画素を関連付ける。背
髄なトリーは理論的には３’本の枝路を具えるが、カイ
の簡素比のために、以後生ｑ枝路と称する観測枝路の本
数は制限すること明らかである。

従って分類トリーはつぎのように、叩ち腫々の枝路の交
点をノードとし、かつトリーが各々成る画素に対応する
Ｌ個のレベルを具えるものとして現定して簡単に組立て
る。第１画素から出発する場合に：ま、その第１画素を
３つの現定グループ（固定画素グループ、移動画素グル
ープ、出現画一シホグループ）の内の１つ：こ関連さけ
て没先付けることができる。従って第１図に示した分類
トリーでは、これら３つのグループに関連する３つの［
支路を作り、これらの各１支路に２つのパラメータを関
連させる。

］二記２つのパラメータの内の最初のパラメータはＤに
て示す変位ベクトル（トリーレベル；画素がｊ１］する
グループ）であり、トリーレベルは０とＬとの間にあり
、グループはｆ、ｍ又はｄ（それぞれ固定画素グループ
、移動画素グループ、出現画素グループ）によって示し
である。２つの最初の画素グループに対する斯かる変位
ベクトルは先行ノード（この場合には当面のし個の画素
の内の最初の画素に対するゼロノード）に関連するぐｊ
１☆：ベクトルに依存し、また斯かる先行ベクトル；二
対しての最ン刀の２つの画素グループに対ずろ変位ベク
トルは分類誤差を区別するための評１ｄｎ誤差りによっ
て再更新される。第３画にグループに対する変位ベクト
ルは前記註１１Ｉ［ｉ　、誤差に等しく、このことはこ
の場合（先行変位ベクトルがない場合の）　！Ｉ’、ｌ
Ｊき評１ｄｌｉ　％すｊｉｆｆを初期設定することを意
味し、従ってこれは方法が同じ原理では、巡回式の評１
＋Ｉｌｉ特性に断絶個所があることを意味する。評価誤
差そのものは、先行画像における変位を考慮しての七に
と同じ個所の画素の空間的光邸変（ヒによるものに比例
すると共に、現行画素と先ｉｊ゛画素におけるそれと同
じ個所の画素との光度差に比例する。

前記パラメータの内の２番目のパラメータはｌ＞Ｑ述し
たようにｄｉｓｔにて示す累算ひずみ（トリーレベル；
画素が居するグループ）である。なお、この説明では先
行側窓の分類誤差の累算和を二乗したものを用い、これ
らの画素のグループを現在の枝路に到達するまでに分類
トリーの枝路をＪ＋ったグループとずろっ）Ｔ目図では
ベクトルＩ）（・１．）反ひびずみｄｉｓｊ（・、・）
を各１支路に関連イ・ｊけるが、図面が（、ｌ”ｉ　ｉ
：Ｉ￥とならないようにずろためにこれらのすべて：ま
図示してない。その理由はトリーの１１１１分、！；す
はおびｊ二だしい？！１こなるからである。

例えば取扱う画１象列の第１ＥｇＪ零に注目する場合、
１ｍかるひずみ：ま第１トリーレベルの枝路の二乗誤；
ρに等しくなる。、第２画素に到達ずろと、トリーには
光のレベルの各枝路の先端に３つの枝路が形成さり、新
１．（ｌの対応するパラメータ（変位ベクトル、累算ひ
ずみ）が計算される。この処置は各折ｔｌ、ｌの画素に
対して操り返され、枝路の数は３倍になるも、この（支
路総数は指定枝路の制限数り、１以下であり、その指定
（支路の故は各画素がとりｉ４）る最大枝路よりも血か
に少ない数である。斯かる制限数は装置をｍＳｌにしな
いようにするために一定にする。斯かる枝路数が制限値
を越すと直ちに最弱ひずみの〜１本の枝路（生存枝路と
称する）は実際上１−　ＩＪ−の作成用に保留されるが
、３Ｌ−Ｍ木の池の枝路は例えばそれらのひずみを無限
大とすること？こま、、て除去されろ。

斯［ｌな処置はＬ？ｌ；ｌ−］の画翠まて続行さσるっ
このような処置ｊこ１、（つき、最弱ひずみのＸ・・１
本の枝路を保留さけた後ｊこ、第１画素の実際のグルー
プ及び変位ベクトルに関しての多数決を採る。この判定
は多少遅みせる。その理由は、Ｌ個の画素：こ先行する
当面の画素について上述してような１：す定を行う［）
Ｌ１にＬ個の追加画素についての情＋ｆｊに２．ｔする
侍し時間があるからである。上記判定はつぎのようにし
て行う。即ち、生（Ｆ　Ｌで５）ろ枝路を調べ、これろ
の生１７枝路の最大数が対応して′、）るグループに第
１画素を類別し、かつ対応する変位ベクトルを、第１画
Ｑ；等の変位てあろと見なすようｊこして行う。Ｌ番日
の画素から；よ、各新規の画、）なの到来時に、Ｌ個の
画素によりこの新規の画素に先行している画素に対応す
る画素グループ及び変（ケベククルを決定し得るように
する。Ｌ個の最新の画素、或いは成る全体の画像ノーケ
ンスを選定する（例えば１沙間に取り扱う画像を２５画
像とする）場合の画像列に対しては多数決を採ることは
ない。

４、−Ｈ；　ｔ）図は」二連したような：１リノきを計
１１１１ｉする方法を実施する評ｆ＋Ｉｌｉ装置の一例
を示すブロック線図である。図示の評価装置は人力結線
Ｅを具えており、これには人力画像を構成するディジク
ルサンプルを（例えばビデオ画像の場合には１３．５　
Ｍｔｌｚのサンプリング周液数で）供給する。人ノＪ画
像は一方では画像遅延回路２０を介して画像メモリ団に
供給する。画像メモ１月０は現行画像の処１１ｑ中先行
画像を（１コ什する代能を有している。画像遅延回路２
０は入力語Ｉ８Ｅと画像メモ１月０の人力・１子との間
に配置−４−ろ。人力画像は他方ではライン６延回路３
０に供給し、この遅延回路は（第３グループの出現画素
の場合に）現行画像の先の画１象ラインに係わる対応面
木にアクセスする。人力画像は巡回式の変位７）ヱ１１
１′Ｉｉ皆１δ４０にも供給し、この評ｂｌｌｉ装置は
分類トリーの各ステップでトリーのノードに関連する変
位ベクトルを更新する。これらＭｉ［ｌＳｌの変位ベク
トルは遅延判定回路５０に供給する。この判定回路５０
は、当面の画素の変位を評価するように前述した多数決
処置に従ってＭ個の変位ベクトルから最箸のベタトルを
選定し、１追って判定回路５０は画１象列の各画素に対
するグループ及び変位ベクトルを決定するも、この判定
はし個の画累分だ（ｙ遅れて行われる。変位ベクトルを
考慮して先行画像の画素にアクセスする画像メモリ１０
は、巡回式の変位計１ｉ１１ｉｉ置１１０から分類トリ
ー〇Ｍ個の連続ノードに関連するＭ個の変位ベクトル（
これらの変位ベクトルは回路５０に供給されるものと同
じものである）を受信すると共に、ｌサンプリンク周期
後で、しかも新規の現行画９Ｘの同族画素の光度を間接
的にアドレスした後には上記〜１個の変位ベクトルを変
位計１＋ｌｉ持置１１０に供給する。なお、ここにＸは
画素、叩ら先の画像の画素Ｘ−ＤεＰｉ、　Ｘ−ＤｆＥ
Ｐ２．−−−、Ｘ−叶）Ｌ　’、１の座標ｍ、ｎを表わ
す。メモ１月Ｏは上記同族画一・蕗の斯かる光度を回路
５０にも供給する。

第３図は巡回式の変位計ｆＩＴｌｉ装置４０の一例を示
すブロック線図である。この評価装置４０は画像メモ１
月りのＭ個の出力の内の１″つの出力で各々作動するＭ
個の同髄な回路を具えており、従ってそれぞれ素子ζ１
ｏ１ｉ〜４１５ｉ　（ｉは１とＭとの間で変化する）か
ら成る＼、・１個の回路の内の１つの回路だけを示しで
ある。減算器４０１＋は、例えばその正の入力端子ンこ
て人力結線Ｅに現れる人力画像を受信し、かつ負の入力
端子にて画像メモ１月Ｏの出力信号、即ち１番目の光度
を受信して、現行画素Ｘと先の画像における同族画素Ｘ
−Ｄ［ＥＰｉとの光度差を差信号として供給する。減算
器４０１ｉの出力信号は画素Ｘ−ＤεＰ１：こおける光
度の空間的勾配（変化度〉によって債を１′「る２つの
乗算ａ５４０２＋及びｌ１１２ｉに供給する。空間的勾
配そのものは勾配回路４０３Ｌによってベクトル形態（
方向ｍの勾配と、方向ｎの勾配〉で供給され、勾配回路
を印３Ｌは画像メモリ１０にて読取られる画素Ｘ−ＤＥ
Ｐ　＋の近傍の画素の光度にて作用する。

第・１図は先の画像における画素Ｘ−ＤＥＰ＋のまわり
の４つの画素△、Ｂ、Ｃ，Ｄを示し、上記空間的勾配：
ま次式によって与えられる。

ついで前述したような計画誤差である乗算器のベクトル
的な出力信号を重み付けすることなく２つの巡回式フィ
ルタで処理する。これろの巡回式フィルタは減算器・団
４１及び４１１１と、側窓遅延回路４（１５！及び４１
５＋とてｉｌ、＋７成ずろ。画累遅延回路４０５ｉ　（
又は１１１５ｉ）　は減算器４０４＋　（又は４１１１
１）からの出力信号を受信し、この信号を減算器１０＝
１１（又はｌｌ　ｌ　４　＋　）の負の入力端子に遅延
させて再び供給する。、に１（算器１１０４１　（又は
４１　＝Ｉ　ｉ　）の正の人力ぐ；ル：子はＩ’＋？ｊ
記評１１１１誤差を受信する。斯くして減算器１０４＋
　（又は１１１・１１）は当面の現行画素Ｘに関連する
新規の変位ベクｌ−ルを供給する。

上述した。ようにして古史゛訴されたベクトルＤ　ｉ：
　Ｐ　１　。

Ｄεｐ２．−−−、　ｏ＋：、ｐｌｘは一方ではアドレ
ス指定ずろために画像メモ１月０に供給されて、ここに
てこＩ″１ろのベクトルは先のベクトルに取って代わり
、油力では本発明による特定例における第５図に示す遅
延判定回路５０に供給される。この遅延ｉ′ｌＪ定回路
５０は先ず第１に（Ｍ＋２）個の減算回路５０１．５０
２及び５０（１）〜５０　（Ｍ）を具えており、これら
の回路は減算器５０２以外は先の画像の画素と現行画像
の画素との間の光度差を評価することによる分類誤差を
計算し、減算器５０２では斯かる光度差を先の画１象ラ
インの画素と現行画像ラインの画素から評価し、減算回
路の参照符号５０（１）〜５０（１，１）　　における
カッコ内の’Ｊｉｌ　ｆａは分類トリーの７−ドを示し
ている。ついて各減算回路にて得た光度差の１直を（１
２）個の二乗回路５１１．５１２及び５１（１）〜５１
（Ｍ）　　にて二乗する。

これらの二乗回路の出力信号１ま３Ｍ個の第１加算器５
２Ｈ１）〜５２１（λ１）、５２２　（１）〜５２２　
（Ｍ）、５２３　（１）〜５２３（！、１）につぎのよ
うにして、叩ち５１１から５２１（１）〜５２１（Ｍ）
、５１２　　から５２２　（１）〜５２２（’Ｊ）、５
１（１）　　〜５１（！、Ｄから５２３　（１）〜５２
３（λ１）へとそれぞれ供給する。３Ｍ個のυ［１算器
はそれるの池の入力端子にてＸ・１個の遅延回路５４（
１）〜５４（）υ　の出ノｊ端子に存在するノードのひ
ずみを受信する。遅延回路５４（１）〜５４（！、１）
の前段にはＭ個の加算器５３（１）〜５３（！、ｌ）を
設ける。

これらの加算器及び遅延回路の役割については下記に説
明する。

３Ｍ個の第１加算器の出力信号は、最強ひずみを有して
いる２〜１木の枝路を除去する前の３Ｍ木の枝路につい
ての累涼ひずみを表し、これらの出力信号は分類（ソー
ト）回路５９０に供給する。この分類回路５９０は上記
３Ｍ個の受信信号Ｑ）内から累算ひずみのＭ個の最弱１
直を表わす信号を分類して、これらの信号を〜１個の加
算９Ｓ５３（１）〜５３（Ｍ）の第１入力端子に供給し
、かつこれらのＭ個のひずみ（直及びこれらの各ひずみ
１直とＦ目（臭って、こ１′ｌ。

らのひずみ暁が分類回路の入力端子にて有している分１
ｎに対応する指［ｔを迫り旧′ＩＪ：Ｊに供給する。

上記＼、・１個の指標は分類トリーの促存兼更新用の回
路６００によって利用される。第６図の特定例に示す斯
かる回路６００は本例の場合ｉＭ番号路６（〕ｌを具え
ており、このｉＭ番号路は例えばｌと３Ｍとの間の各ア
ドレスに対して後！＝示すように４算される商及び余り
を提供すべくプログラムした読取専用メモリを用いて［
支路番号（これからグループをｆｌＬ論する）及びノー
ド番号に関する２つのデータを抽出する。各指標を２倍
し、これらの乗算した各指標を３で割った後に商を求め
る（ａ）と共に余り（ｂ）も求める。斯かる商は分類ト
リーの＝ｉｔレベルに関するノード（１と〜１との間）
の番号を示し、余りはひずみが関係している枝路のグル
ープ、叩ら固定画素の第１グループ、移動画窓の第２グ
ループ又は出現画譜の第３グループにそれぞれ対応させ
た１直である１／３　、Ｏ又は２／３にト目等する。

促６Ｙ兼更新回路は２Ｍ個の主レジスタ６０２（１）。

６０２（２）、　　　−−−、６０２０１）、　　　６
０３（１）、　　　　６０３（２）、　　−−−。

６０３　（Ｍ）及び２〜・１個の補助レジスタ６１２（
１）、　６１２（２）。

−−−、６１２（ゝ、Ｉ）、　６１３（１）、　６１３
（２）、−、６１３（Ｗｌ）も具えているっこれら４Ｍ
個の／フトレジスクの各々は分類トリーの長さく即ち、
レベルの番号）に１；：Ｉ　してのし個のワードに対す
るＩ−個の位置を具えている。これらのレジスタ（即し
、２Ｍ個の主しジス７り）の内の最明のレジスタは」ｌ
新しベルに関するデータ（即ち、画像の現行画素Ｘのデ
ータ）を記憶し、以下同様に第２．第３．−ｍ−レジス
タも順次最゛折レベルに関するデータを記１．へする。

Ｍ個の主レジスタ６０２（１）〜６０２（！Ｊ）及びＭ
個の補助レジスタ６１２（１）〜６１２（Ｍ）は分類ト
リーのＬ個連続するレベルに対する変位ベクトルを記憶
し、またＭ個の主レジスタ６０３　（１）〜６［）３（
Ｍ）及びＭ個の補助レジスタ６１″）（１）〜’３Ｄ（
Ｍ）ｉまｌ７個の連続ずろレベル２こ２［する生ｉ′？
：枝路グループのデータを記憶、ずろ。これらレジスタ
の内′各ｊこよって）−ドがそれるのひずみの低ド順ｊ
こ配列されるように分類トリーを再１１１７成すること
がてきる。この分類トリーの再ｉｉ’ｌ’ｊ　成は後に
詳述するように実施される。

第６図で、乗算器６２［と主レジスタ６０２（１）〜（
ｊ１〕２Ｃ１Ｄとの間及び補助レジスタ６１２（１）〜
６１２（Ｍ）と乗算２）；６２１１の間にはそれぞれ池
のトラックと区別するように大口の矢印によって示ず転
を結線を示しであるっ乗算器６２２と主レジスタ６０３
　（１）〜ｌｊ０３Ｑｌ）　　との間及び浦曲レジスタ
Ｇ１２＜１）〜６１３（曳、１）と電算：！９６２２と
の間にも上述したＮ１木の結線と全く同じように示され
るＮ１木の同様な結線を設けて、Ｎ４木の最初の結線に
より実施されるのと同じ記憶、１呆存及び更新筬能を実
行させる。第６図では図面を見易く、しかも理解し易く
するために、乗算器６２２、レジスタ６０３　（１）〜
６０３（＋、１）及び６１３（１）〜６１３（！Ｊ）の
各崇子を適当に省き、またこれらの米子を実線で示す代
わりに破線にて示してあり、同様にｆ’、ｉ　号１１６
０１　カラ１／　’；’　スフ６０３　（１）　〜６０
３　（、’Ｊ）　ヘノＭ　木の結線、レジスタ６０３（
１）〜６０３（ｊＤからレジスタｆｉ１３（１）〜６１
３０Ｊ）へのＭＸＬ本の結線及びレジスタ６１３（１）
〜６１３（Ｍ）から多数決回路６３０へのＭ本の結線も
破線にて示しである。

トリーを再構成する第１段階では、２Ｍ個の主レジスタ
６０２（１）〜６０２（！、ｌ）及び６０３（１）〜６
０３（Ｍ）の内容を、それぞれ分類トリーの再構成以前
に分類トリーを保存しておく２Ｍ個の補助レジスタ６１
２（１）〜６１３（’、Ｉ）及び６１３（１）〜６１３
（λ１）に転送する。この転送によって２Ｍ（Ｉ！の主
レジスタは、斯かる転送によって旧のトリーを失うこと
なく新規（、■成の分類トリーを受ＩＪするようになる
。第２段階では、主レジスタにひずみが低下する順序で
前記内容を記憶させるために２ＭＩ固の１市助レジスタ
６１２（１）〜６１２（λ１）及び６１３（１）〜６１
３（１，１）の内容を乗算器６２１及び６２２（６２１
は変位ベクトルに対するものであり、６２３はグループ
データに対するものである）によっつで２Ｍ個の主レジ
スタ６０２　（１）〜６０２（１，１）及び６０３（１
）〜６０３（Ｍ）に供給する。主レジスタ６０２　（Ｋ
）及び６０３（Ｋ）　＋ま例えばこれらの転送燥作後に
は変位ベクトル及びトリーの枝路のグループデータを含
み、この場合のひずみはその低下順序でに番目のもので
ある。

現行画素Ｘに関するレベルＸのデータを導入するには実
際」二つぎのような操作が必要である。即ち、 （ａ）　　Ｍ個の主レジスタ６０３　（１）　〜６０３
　Ｅ）　ノ第１７−トは復号回路６０１から到来するレ
ベルＸ〈このレベルは現行画素Ｘに関連する）の枝路グ
ループの番号を表わす。実際」ニ斯かるｉ夏号回路６０
［は最弱ひずみを酢しているＭ個のノード孜を３で割っ
た余りを供給する。

（ｂ）　　対応する枝路が固定画窓グループ又は移動側
窓グループに関連する場合には、乗算回路６２０によっ
て回路４０から到来する変位ベクトルＤ［ＥＰｌ。

ＤＥＰ２．−−−、　ＤＥＰ（λ１）をＭ個の主レジス
タ６０２　（１）〜６０２（！、Ｉ）の第１ワードに保
存させる。これらの第１ワードは逆の場合（初期設定の
場合）にはゼロとする。

ついで多数決回路６３ｆ）　！こまって遅延判定を行う
。

この多数決回路は実際には〜１個の主レジスタ６０３（
１）〜６０３０．ＤのＬ番目のワードを調べて、発生番
号が最も大きいグループ（即ち、最も頻繁に戻るグルー
プ）を決定する。これが再びレジスタ６０３（ｋ）であ
り、例えばこのレジスタが斯かるグループを記憶してい
る場合には主レジスタ６０３　（Ｋ）及び６０２＜Ｋ）
の１４＝目のワードの内容は、画ＲＸ　　Ｌに係４つる
グループｔ”；（Ｘ−Ｌ）反び変位ベクトルであると見
なされる。これら２つのデータは多Ｅｋ決回路６３０の
出力、％ｉａｉ子、叩ぢ実際には第２図に示したような
回路５０の出力端子に現れる。画１象の画素Ｘ−Ｌに対
する斯かるグループに至らない枝路をなくすために、Ｌ
番目のワードの内容が判定グループの内容（この内容自
体はレジスタ６０３　（Ｋ）のＬ番目のワードで示され
る）とは異なる場合に、累算ひずみは無限大１直にする
か、又は例えば番号付けした画像の最大光度よりも高い
値を加えることによって極めて大きな値とする。

除去すべき枝路に対しては最大光度に等しく、また１ｍ
の枝路ｊこ対して：ま上口ｊ二等しり）回路６　Ｄ　（
ｌの出力信号６１５（１）〜６１５ＣＩ）：ま遅延回路
５・１（１）〜）・１（“、１）が後続するＭ個のυ１
１算２Ｈ５，３（ｉ）　　〜：＋３＜Ｍ）の各第２入力
端子に供給する。遅延回路５・１（１）〜５４（！、Ｄ
　　は、これらを通る信号をｌザンプリンタ期間だけ遅
延させる。最終判定をｊｌつだ場合、２〜１個の主レジ
スタ６０２　（１）及び６０２　（Ｍ）のワードは下ノ
ｊにソフトされ、これらのレジスタ（ま訴り見の遅延１
′１１定操（乍の・す（＋ｉｉをし、各判定は主レジス
タと袖助レジスタとから成るｌユニットづつ順次〉・フ
トされることは力論である。

【図面の簡単な説明】

第１図は各画素が第１グループの固定画景、第２グルー
プの移動画素又は第３グループの出現画素と称する画素
に関連するか４区別する画素分類トリーの一例を示す線
図； 第２図は本発明による動き評価装置の一例を示すブロッ
ク線図； 第３図は第２図の装置に用いられる巡回式の変位評価装
置の一例を示ずブ０７タ線図；第４図は画素Ｘ−ＤＥＰ
ｉの光度を決定するのに利用する４つの画素△、Ｂ、Ｃ
，Ｄを示す説明図；第５図は第２図の装置に用いる遅延
判定回路の一例を示すブロック線図； 第６図は第５図の回路に用いる分類トリーの保存兼更新
用回路の一例を示すブ０．７り線図である。 １０・・画像メモＩＪ　　　　　２０・・・画像遅延回
路３０・・・ライン遅延回路　　４０・・・変位計１＋
ＩＴｉ　ｉ買５０・・・遅延判定回路 ４０１、〜４０１．４・・・減算器　４０２ｉ、　４１
２ｉ・・・乗算器１１０３ｉ・・・勾配回路　　　　４
０４＋、　４１４１・・減算：（Ｋ・１０５ｉ、　４１
５ｉ・・・画素遅延回路５０１、　’、）０２．５０（
１）〜５０（！、０　・・・減算回路５１１、５１２．
５１（１）〜５１にわ・・・二乗回路５２１（１）〜５
２１（Ｍ）、　５２２（１）〜５２２（Ｍ）、　５２３
（１）〜５２３（Ｍ）・・・第１加算器 ５３（１）〜５３（１，１）・・・加算器５４（１）〜
５４（Ｍ）・・・遅延回路５９０・・・分類回路 ６００・・・分類トリー保存兼更新用回路６０１・・・
復号回路 ６０２（１）、　　６０２（２）〜６０２（’わ、　　
６０３（１）、　　６０３（２）　〜６０３ｆｊｌ）・
・・主レジスタ ６）２（１）、　６１２（２）〜６１２（Ｍ）、　６１
３（１）、　６１３（２）〜６１：３（！、Ｄ・・７市
助レジスタ ６２１、６２２・・・乗算器　　　６３０・・・多数決
回路ｆ！ｒ　＋：’ｌ出願人　　　エヌ・べ−・フィリ
ップス・フルーイランベンファブリケン

Claims (1)

1. 【特許請求の範囲】 １、各画素の光度をディジタル形態にて表わし、かつこ
   れらの各画素を２つの座標（ｍ、ｎ）によって規定し、
   ここにｍは各画素が存在している画像ラインの行を示し
   、かつｎは前記ｍ番目の画像ラインにおける画素列を示
   すものとして画像列における動きを評価する方法におい
   て、該方法が： （Ａ）基準画像を作成するために現行画像 に対する先行画像を保存する工程と： （Ｂ）固定画素、移動画素及び出現画素と 称される画素に分類される３つの画素グループを規定し
   、これらのグループでは当面の現行画素Ｘに後続するＬ
   個の画素が取り得る所定数のグループ列を調べることに
   より画像の走査に応じ、しかも所定の分類規準に基づい
   て画素をＬ個の遅延画素で類別し、固定及び移動画素に
   対する前記分類規準は、或る画像の他の画像に対する画
   素の変位を移動画素に対して考慮しての２つの連続画像
   間の光度差とし、また出現画素に対する前記分類規準は
   ２つの隣接する画像ライン間の光度差とするようにして
   画素に対する３つのグループを規定する工程と； （Ｃ）分類トリーを作成し、該トリーの各 連続レベルにおける３＾Ｌ本の枝路の数を画素が取り得
   るグループの数に等しくし、この数を分類トリーの第１
   レベルからＬ番目のレベルまでは画像列のＬ個の当面の
   連続画素が取り得るグループ列に対応させるように分類
   トリーを作成する工程と； （Ｄ）各レベルの各枝路につぎの２つのパ ラメータ、即ち、 （ａ）画素が先行画像又は先行画像ライン に対して取り得る変位を表わすパラメータで、しかも巡
   回式の変位評価法によって決定される変位ベクトルと称
   する第１パラメータと；（ｂ）先行画素の分類誤差の累
   算和を表わ す累算ひずみと称される第２パラメータにあって、前記
   先行画素のグループは現行枝路に到達するまでに通過し
   たトリー枝路のグループとし、各分類誤差は、或る画素
   に対して評価した変位が該画素に後続するＬ個の画素に
   対して評価した変位に及ぼず影響を考慮して最小となる
   ようにし、前記影響はトリーが取り得る３＾Ｌ本の枝路
   の内で、生存枝路と称する累算ひずみの最も弱いＭ本の
   枝路に対してのみ調べ、ここにＭの値を枝路の最大数３
   ＾Ｌよりも遥かに小さい限定数とした第２パラメータ； とを関連付ける工程と； （Ｅ）Ｌ個の画素に関連する前記処置に従 って、現行画素に対してＬ画素分以前に位置した画素の
   有効グループについて、及び変位ベクトルについて多数
   決の判定を行い、該判定は生存枝路を調べることによっ
   て、及びこれらの生存枝路の最大数に対応するグループ
   におけるＬ画素分以前に位置した各画素を類別すること
   によって行い、従って対応する変位ベクトルはＬ画素分
   以前に位置した斯かる画素の変位と見なされるようにし
   、前記判定処置を、この判定を行わない画像列のＬ番目
   の最終画素以外の画素について全く同じように繰り返す
   判定工程； を含むことを特徴とする画像列における動き評価方法。 ２、画像列における動き評価装置において、該装置が入
   力結線から画像遅延回路を介して番号付けした画像列を
   受信する画像メモリと、前記番号付けした画像列を受信
   するライン遅延回路と、同じく前記番号付けした画像列
   を受信して分類トリーの各延長線にて該トリーのノード
   に関する変位ベクトルを更新すると共に、これらの更新
   変位ベクトルを遅延判定回路に供給するための巡回式変
   位評価装置とを具え、前記更新ベクトルを前記画像メモ
   リにも供給し、該画像メモリが先行画像における現行画
   素Ｘと同じ個所の同族画素の光度を前記評価装置及び前
   記判定回路に戻すようにしたことを特徴とする画像列に
   おける動き評価装置。 ３、前記遅延判定回路が： （Ａ）減算回路にあって、第１及びＭ個の 減算回路は先行画像の画素と現行画像の画素との間の光
   度差を評価することによって分類誤差を計算し、第２減
   算回路は先行画像ラインの画素と現行画像ラインの画素
   との間の光度差を評価することによって前記分類誤差を
   計算する（Ｍ＋２）個の減算回路と； （Ｂ）前記減算回路の出力信号を二乗する （Ｍ＋２）個の二乗回路と； （Ｃ）出力信号が分類トリーの３Ｍ本の枝 路の累算ひずみを表わす３Ｍ個の加算器と；（Ｄ）前記
   ３Ｍ個の出力信号を受信して、 これらの信号からＭ個の累算ひずみの最も弱い値を表わ
   す出力信号を取出し、これらＭ個の選択信号に前記３Ｍ
   個の加算器からの出力信号の類別に対応する指標を付け
   るようにする分類回路と； （Ｅ）一方では前記Ｍ個の選択指標を受信 し、他方では分類トリーのＬ個連続するレベルに対する
   変位ベクトルを受信し、かつ現行画素ＸにＬ画素先行す
   る画素に該画素のグループ及び該画素の変位ベクトルに
   関するデータを供給する分類トリー保存兼更新用回路；
   とを具えることを特徴とする特許請求の範囲第２項に記
   載の装置。 ４、前記保存兼更新用回路が： （Ａ）いずれもＬ個の位置を有しているＭ 個の主レジスタとＭ個の補助レジスタとから成る第１組
   のレジスタにあって、主レジスタには乗算回路によって
   巡回式変位評価装置から到来する変位ベクトルを記憶さ
   せ、前記補助レジスタには前記変位ベクトルをトリーの
   再編成以前に保存させると共に、ひずみが低下している
   順にトリーを再編成した後に前記変位ベクトルを第１乗
   算器によって前記主レジスタに戻すようにする第１組の
   レジスタと；（Ｂ）いずれもＬ個の位置を有しているＭ 個の主レジスタとＭ個の補助レジスタとから成る第２組
   のレジスタにあって、主レジスタにはＬ個の連続レベル
   に対する復号器によって前記分類回路から到来する生存
   枝路グループからのデータを記憶させ、前記補助レジス
   タには再編成する前にグループに関する前記データを保
   存させると共に再編成後にひずみの低くなる順に前記主
   レジスタに第２乗算器によって前記データを戻すように
   する第２組のレジスタと； （Ｃ）前記各レジスタのＬ番目のワードの 内容を受信し、かつ発生回数が最大のグループを決定す
   る多数決回路にあって、該グループを記憶するレジスタ
   のＬ番目のワードの内容を現行画素ＸよりもＬ個の画素
   だけ先行している画素のグループＧ（Ｘ−Ｌ）と見なし
   、かつ対応する主レジスタにおける変位ベクトルも現行
   画素ＸよりもＬ個の画素だけ先行している前記画素の変
   位ベクトルＤ（Ｘ−Ｌ）と見なすようにする多数決回路
   ； とを具え、前記多数決回路が行った各判定を主レジスタ
   と補助レジスタとによる１ユニットづつ順次シフトさせ
   るようにしたことを特徴とする特許請求の範囲第３項に
   記載の装置。