JP3154255B2 - 動きベクトル導出方法 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、動き適応型のビデオ信号処理に関し、より
詳しくは、そのような信号処理を使用する動き補正付き
テレビジョン方式変換器に適用する動きベクトル導出方
法に関する。

［従来の技術］ テレビジョン信号方式（ビデオ信号の標準方式）の変
換器は、例えばビデオ信号を50フィールド／秒且つ625
ライン／フレームの標準方式から60フィールド／秒且つ
525ライン／フレームの標準方式に変換する如く、ビデ
オ信号を一の標準方式から他の標準方式へ変換する装置
として周知である。ビデオ信号に付随する時間方向及び
垂直方向の折り返し歪により、単純な線形補間技術を使
用するだけでは高画質のビデオ信号の標準方式の変換は
達成されない。このため、単純な線形補間を行ったので
は処理結果としての画像に不要な人工的なノイズが混入
し、特にその画像は垂直方向にボケると共に時間方向に
振動する。

これらの問題を解決するため、ビデオ信号の標準方式
の変換装置に入力ビデオ信号により表される画像の動き
の程度に応じて線形補間回路のパラメータを切り換える
適応制御技術を用いることが提案されている。

また、例えばビデオ信号処理におけるデータ圧縮のた
め、ブロック整合技術により入力されるビデオ信号から
動きベクトルを生成することも提案されている。このブ
ロック整合技術においては、或るフィールド又はフレー
ムのサーチブロックの内容がそれに続くフィールド又は
フレームのサーチエリア内の複数のサーチブロックの夫
々の内容と比較され、そのように比較される内容の間の
最小偏差ひいては（仮に存在するならば）その原サーチ
ブロックの内容の動きの方向及び距離が決定される。

［発明が解決しようとする課題］ しかしながら、そのようなサーチブロック同士の比較
によって充分な数の良好な動きベクトルが得られない場
合が生じ得るが、従来はそのような場合に対する対策は
講じられていなかった。従って、例えば良好な動きベク
トルが１個も得られなかった場合等にはそのサーチブロ
ックに対する良好な動き補正ができない不都合があっ
た。

本発明は斯かる点に鑑み、充分な数の動きベクトルが
得られなかった場合に対する有効な対策の講じられた動
き補正付きテレビジョン方式変換器に適用する動きベク
トル導出方法を提供することを目的とする。

［課題を解決するための手段］ 上記課題を解決するために、本発明は、下記の手段を
備えた動きベクトル導出方法を提供する。即ち、 ビデオ信号の連続するフレームの間の画像の動きを表
す複数の動きベクトルを導出する方法であって、 第１フレームの複数のブロックを次のフレームの複数
のブロックと比較して、上記第１フレームと上記次のフ
レームの間の対応するブロック内の画像の動きを表す動
きベクトルを導出するステップと、 上記比較の結果、導出された動きベクトルの数が予め
定められた良好な動きベクトルの数よりも少ないブロッ
クに割り当てるために、上記フレームに対して導出され
た全ての良好で非定常的な動きベクトルを生起頻度の順
にランク付けするステップと、 上記良好で非定常的な動きベクトルが既に選択された
１つの動きベクトルに比べて予め定められた画素範囲
（誤差としての許容範囲、「窓」）内に納まらない限
り、最も頻繁に起こる動きベクトルを選択するステップ
と、 を含む動きベクトル導出方法を提供する。

［作用］ 斯かる本発明によれば、その比較の結果として導出さ
れた良好な動きベクトルの数が予め定められた数よりも
少ないブロックに対しては、そのフィールド又はフレー
ム用に導出された全ての良好で或る程度以上異なると共
に非零のベクトルが最も出現頻度の高い順に選別されて
補充される。

従って、そのようなブロックに対しては一般に出現頻
度の高い良好な動きベクトルが補充されることになり、
そのようなブロックに対しても良好な動き補正を行うこ
とができる。

［実施例］ 以下、本発明の一実施例につき図面を参照して説明し
よう。本例は、60フィールド／秒且つ1125ライン／フレ
ームの高品位ビデオ信号（HDVS）を24フレーム／秒の35
mmフィルム用のビデオ信号に変換するビデオ信号の標準
方式の変換装置に本発明を適用したものである。しかし
ながら、本発明はこれに限定されず容易に他の標準方式
間の変換装置にも適用することができる。

第１図は本例の標準方式の変換装置のブロック図であ
り、この第１図において、入力端子（１）に入力ビデオ
信号を供給する。その入力端子（１）を順次走査変換手
段（２）に接続し、この手段で入力ビデオフィールドを
ビデオフレームに変換し、このビデオフレームを相関面
を生成するための直接ブロック整合手段（３）に供給す
る。動きベクトル評価手段（４）がこれらの相関面を解
析して生成した動きベクトルを動きベクトル減少手段
（５）に供給し、この動きベクトル減少手段（５）が個
々の画素の動きベクトルの数を減少させた後に、これら
動きベクトル及び順次走査変換手段（２）の出力を動き
ベクトル選別手段（６）に供給する。その動きベクトル
選別手段（６）による動きベクトルの選別において発見
された如何なる不規則性も動きベクトル後処理手段
（７）により除去され、この動きベクトル後処理手段
（７）は処理後の動きベクトルを補間手段（８）に供給
すると共にこの補間手段（８）を制御し、この補間手段
（８）には順次走査変換手段（２）の出力をも供給す
る。標準方式が変換され且つ動き補償のなされたビデオ
信号である補間手段（８）の出力を出力端子（９）に供
給する。本例の標準方式の変換装置の各構成部及びそれ
らの動作につき以下で詳細に説明する。

まず、順次走査変換手段（２）を説明する。この順次
走査変換手段（２）は、入力フィールドと同じ周波数で
出力フレームを生成する。従って、一連の連続したフィ
ールドにおける一連の連続したライン（水平走査ライ
ン）を図示する第２図において、入力フィールドに存在
するライン（水平走査ライン）を十字形で示し補間され
たラインを正方形で示すように、個々の出力フレームは
入力フィールドのラインの２倍の数のラインを含み、そ
れらのラインは入力ビデオ信号のラインと下記の方法の
内の何れかの方法により補間されたラインとが互い違い
になっている。それらの補間されたラインは、その入力
フィールドに対して反対の極性を持つ１つの補間された
フィールドとみなすことができる。

主に２つの理由で、順次走査変換が実行されるのが好
ましい。第１に、後続の直接ブロック・マッチングを容
易にし、第２に、最終的な出力ビデオ・フォーマットを
考慮してである。これら２つの理由をより詳細に説明す
る。

直接ブロック整合処理は次に詳細に述べるように、２
つの連続するビデオフィールド間の水平方向及び垂直方
向の動きの正確な評価を行うために用いられる。しかし
ながら、直接ブロック整合が施されるビデオ信号のイン
ターレース構造により、問題が生じ得る。

第３図により表される画像につき考えるに、この第３
図は一連の連続するフィールドにおける一連の連続する
ラインにおいて、白レベルの画素を白い正方形で、黒レ
ベルの画素を黒い正方形で、更にグレイレベルの画素を
斜線が施された正方形で表す。この場合は垂直方向の周
波数がHDVS方式では1125/3cph（cycles per picture he
ight,サイクル／像高）に相当する垂直方向の構造が微
細な静止画が表示されている。この画像を通常のインタ
ーレース走査処理でサンプルすると、個々のフィールド
は第４図に示す如く何れも垂直方向の周波数が1125/6cp
hの静止している輝度成分Ｙを含んでいる如く見える。
しかしながら、個々のフィールドの周波数成分の位相は
逆相である。これらのフィールド間で直接ブロック整合
を実施すると、垂直方向の動き成分として多数の不正確
な且つ異なった値が得られる。この状態が第５図に示さ
れ、この第５図において短縮語のLPFはライン／フィー
ルド（lines per field）を意味する。図５から、直接
ブロック・マッチング（整合）法は垂直動き成分に対す
る正確な答えを与えないであろう。この成分は実際には
零である。これは、直接ブロック・マッチング法は、実
際の動きというよりは、むしろそのビデオ信号のエイリ
アス成分を追跡しているからである。

ここで図６について考えてみよう。この図は、１つの
フレームを形成するために各入力フィールドが順次走査
変換されている点を除いて、第３図と同じ静止画像をと
りあげており、三角形は補間されたピクセル（画素）を
表している。この例では各フレームは原入力フィールド
と同じ静止状態の垂直方向の周波数成分、即ち周波数11
25/3cphの成分を含む。従って、本例では２個の連続す
るフレーム間の直接ブロック整合により垂直方向の動き
に対する正確な値即ち０が得られ、垂直方向の異なる位
置の値を比較することが回避される。更に、順次走査に
変換されたフレームに直接ブロック整合処理を施すと、
その直接ブロック整合処理が２倍のラインを有するフレ
ームに施されることになるため、より正確に垂直方向の
動きの評価ができるようになることが重要である。

本実施例の場合、最終的に得られるビデオ信号のフォ
ーマットを考慮すると、この変換されたビデオ信号はテ
ープを介して電子ビーム式の記録装置に供給され、24フ
レーム／秒の動画フィルム用レイト（速度）に相当する
フレームから構成する必要がある。このため、順次走査
により変換されたフレームの生成が必要であり、更に、
例えば、動きの状態が多様すぎて満足に解析できない場
合のように、動き補償のなされた標準方式の変換が受け
入れ難い結果を生じると認められる場合にも、その順次
走査により変換されたフレームは代替フレームとして使
用できる。この場合には、要求される出力フレームとし
て最寄りの順次走査変換されたフレームを使用すると正
当に受け入れられる結果が得られる。

順次走査変換は、多くの方法で実行でき、その方法に
は例えば前フィールドによる置換、３本の空間的に連続
するライン（これら３本のラインは時間的には２個の連
続するフィールドに属する）が試験されるメジアン（中
央値）フィルターを使う方法、又は多方向の線形補間を
後に伴う多傾斜度動き検出を使う動き補償技術がある。
しかし、この実施例において好ましい方法は、動き適応
型の順次走査変換であり、第７図に各ステップがブロッ
ク図で示されている。この変換では、完全な静止画領域
では垂直方向の情報をできるだけ保つためにフィールド
間補間を使用し、動きが大きいときにはフィールド内補
間を使用する。これにより更に動きが滑らかに表現され
る。動きの程度がこれら両極端の間であるときには、そ
の画像の中に存在する局所的な動きの評価がなされ、こ
の評価結果によりフィールド間補間とフィールド内補間
とが夫々異なる割合で混合される。

更に来をしく述べるに、第８図に示す如く、前フィー
ルドと次フィールドとのフレーム差の係数が先ず生成さ
れる。必要とされる評価量を生成するためには、前フィ
ールド及び次フィールドからの次式により定義されるフ
レーム間の差分係数配列が各点毎に生成される。

Δ_Ｕ（画素，現ライン，現フィールド）＝ |Y（画素，現ライン，次フィールド）− Ｙ（画素，現ライン，前フィールド）｜ この式において、Δ_Ｕは正規化されていない差分係数
配列、Ｙは３次元画像に対応する輝度配列である。

その差分係数はその後低輝度領域の変化の大きさを調
整するために次のように正規化される。

Δ_Ｎ（画素，現ライン，現フィールド）＝ Ｆ（（画素，現ライン））＊ Δ_Ｕ（画素，現ライン，現フィールド） この式において、Δ_Ｎは正規化された差分係数配列、
はフレーム間の平均輝度レベルであり、 （画素，現ライン）＝ （Ｙ（画素，現ライン，前フィールド）＋ Ｙ（画素，現ライン，次フィールド））/2 が成立し、Ｆ（）（正規化関数）はに対して第９図
に示すような関数となる。

その差分配列Δにはその次のフィールドの差分配列と
共に３タップフィルタ（タップ係数が例えば1/4,1/2,1/
4又は0,1,0）により垂直方向のフィルタリングが施さ
れ、垂直方向の折り返し歪が減少されると共に、特に時
間方向の折り返し歪が最小になされる。従って、 Δ_Ｆ（画素，現ライン，現フィールド）＝ Δ_Ｎ（画素，現ライン−1,前フィールド）＊ C1＋Δ_Ｎ（画素，現ライン，現フィールド）＊ C2＋Δ_Ｎ（画素，現ライン＋1,前フィールド） ＊C1 が成立し、この式において、Δ_Ｆはフィルタ通過後の正
規化された差分配列、C1及びC2はフィルタ係数であり、
直流ゲインが１に維持されるように2C1＋C2＝１に設定
される。

その後５タップ×15タップ程度までの垂直方向及び水
平方向のフィールド内フィルタにより現フィールド内の
差分値が平滑化される。実際には、３タップ×３タップ
のフィルタで充分である。最後に、実際の動きの評価を
行うために、次式で定義される動き評価量（ME）を表す
関数を使用して非線形関数が適用される。

ME（画素，現ライン）＝ γ（空間周波数領域でフィルタがかけられた Δ_Ｆ（画素，現ライン）） その非線形関数γは第10図に示す如く導出され、静止
画に対してはMEの値は０、完全な動画に対してはMEの値
は１、中間領域の画像に対してはMEの値は過渡的な値と
なる。

補間された画素を生成するために、第11図に示す如
く、周辺のラインの加重平均をとることによりその欠け
ている（未完成）のラインの画素が生成される。それか
ら動き評価量MEがフレーム内で補間された値（2,4,6又
は好ましくは８タップフィルタにより生成される）に適
用され、評価量（１−ME）がフィールド間の平均値（又
はより複雑な補間値）に適用され、これらの結果が加算
されて次式で定義される順次走査の画素の評価量が導出
される。

ここに、C0,C1,C2及びC3はフレーム内のフィルタ係数
であり、直流ゲインを１に維持するために２（C0＋C1＋
C2＋C3）＝１に設定される。

この順次走査変換の方法によれば、入力フィールドか
ら高品質のフレームが生成されることがわかるが、これ
は特に動体を分離し、異なる方法で静止している背景に
挿入することができるからである。

第１図に戻ると、動きベクトルを導出するためには順
次走査変換手段（２）により導出されたビデオ信号の複
数のフレームが使用される。動きベクトルの評価は２つ
のステップより構成される。第１に、連続するフレーム
から選ばれたサーチブロックの相関を取ることにより相
関面が生成される。これら相関面が得られた後に、これ
らは相関が最も良好な１個又は複数の位置を決定するた
めに検査される。相関面を得る方法には数種類の方法が
あるが、その内の主な２個の方法は位相相関法及び直接
ブロック整合法である。しかしながら、位相相関法の使
用には多くの問題があり、これらの問題は手短かに言う
と変換メカニズム，ウィンドゥ関数，ブロックの大きさ
及び生成される相関面の輪郭の変動し易い性質に関連す
る。そのため、この実施例では直接ブロック整合法を使
用する。

次に、直接ブロック整合手段（３）を説明する。この
直接ブロック整合手段（３）は、次のように動作する。
この場合順次走査変換されたビデオ信号の連続するフレ
ームから画素の矩形を含む２個のブロックの相関をとる
ことにより、相関面が生成され、この相関面より動きベ
クトルが導出される。

第12図に示す如く、先ず１フレームより32画素×23ラ
インの大きさのサーチブロックと称する小さなブロック
を取り出す。それから、その次のフレームより128画素
×69ラインの大きさのサーチエリアと称するより大きな
ブロックを取り出す。そのサーチブロック（SB）を第13
図に示す如くサーチエリア（SA）中の可能な位置（全部
で96×46の位置がある）の夫々に配し、夫々の位置でそ
れら２個のブロック間の画素の輝度レベルの差分の絶対
値の和を計算する。この計算結果がこの結果が導出され
た位置における相関面の高さとして使用される。この計
算結果をサーチエリア内のサーチブロックの可能な位置
の夫々について導出された結果と共に使用することによ
り、第14図に一例を示すような相関面が得られる。理解
を容易にするためその相関面は反転して示してあり、実
際に必要とされるのは最小値であるため、第14図におい
て必要とされる点は最も大きなピークである。

サーチブロックの大きさは動き補償が必要とされる物
体の最小の大きさを調べることにより選択される。625
ライン／フレーム且つ50フィールド／秒のPAL方式の信
号に対しては、16画素×８ラインのサーチブロックが小
さな物体の追跡に適していることが分かっており、この
場合にはその物体の中には存在しないがそのサーチブロ
ックの中には存在する如何なる周囲の情報もその物体の
追跡を妨害することがない。このため、本例ではその方
法が採用されたが、HDVS方式では625/50のPAL方式に比
べて有効画素数／ライン，有効ライン数／フレーム及び
アスペクト比が異なることに鑑みて修正が加えられてい
る。HDVS方式の場合を最初にして両者の値を示すと、有
効画素数／ラインは1920（720），有効ライン数／フレ
ームは1035（575）及びアスペクト比は3:5.33（3:4）と
なる。

より大きな物体を追跡するために、より大きなサーチ
ブロックを使用する方法もある。一方、大きな物体又は
背景の効果により小さな物体が覆い隠されてしまうこと
を防ぐため、より小さなサーチブロックを使用する方法
も考えられる。しかしながら、小さなサーチブロックを
使用した場合には、個々のサーチブロックについて１個
を超える動きベクトルを導出する必要がないという利点
がある。１個の動きベクトルを導出するのはそれを超え
る数の動きベクトルを導出するよりも極めて容易である
ため、本例では上述の小さなサーチブロックを先ず使用
し、満足な結果が得られなかった場合にそのサーチブロ
ックをより大きなサーチブロックに成長させる。これに
より小さなサーチブロック及び大きなサーチブロックの
両方の利点を享受できる。満足な結果か否かの判定条件
は次に詳細に説明する動きベクトル評価手段（４）（第
１図）により設定され、この動きベクトル評価手段
（４）が与えられた相関面より動きベクトルを決定す
る。

サーチブロックを次第に大きくする技術はより大きな
物体を追跡するためにのみ有効であるのではない。それ
によれば周期的な規則適パターンの形状を有する物体の
動きの追跡にも役立つ。従って、第15図に示す如く、サ
ーチブロックＡがサーチエリアＢに対して位置V1,V2及
びV3で整合し、夫々の位置で一見正確な動き量が得られ
る場合を考慮する。しかしながら、この場合実際に相関
面を解析するプロセスである動きベクトルの評価によ
り、同一直線上に存在する３箇所の位置で相関が良好に
なることが分かる。従って、そのサーチブロックは水平
方向に元の幅の３倍の長さになるまで成長させられ、こ
の方向はこの例で多重の良好な相関が発生した方向であ
る。サーチエリアもそれに対応して水平方向に拡大され
る。第16図に示す如く、その拡大したサーチブロック
（3A）を使用すれば、相関が良好な点は１点のみとな
り、それによりその物体の動きが正確に検出される。

この特別な場合には、多重相関の方向が水平方向であ
るため、サーチブロック及びサーチエリアの両方を水平
方向に成長させる必要がある。しかしながら相関面の状
態によっては、サーチブロック及びサーチエリアを垂直
方向に成長させなければならない場合もあり、実際に水
平方向及び垂直方向の両方に成長させなければならない
場合もある。

境界領域にはサーチエリアを切り出す充分な余地がな
いため、ブロック整合は必ずしもそのフレーム中の全て
のサーチブロックに適用できるとは限らない。従って、
ブロック整合はそのフレームの第17図に斜線で示す境界
領域では実行することができない。この問題点は以下に
説明する動きベクトル減少手段（５）（第１図）により
処理され、この動きベクトル減少手段（５）はその斜線
を施した領域のサーチブロックに適当な動きベクトルを
供給する。

１フレーム中の個々のサーチブロックに対して生成さ
れる相関面（第14図）より、動きベクトル評価手段
（４）（第１図）はそのサーチブロックとそれに対応す
るサーチエリアとの間のフレーム間の動きらしき量を推
定する。再度述べるに、理解を容易にするため相関面の
全ての図は反転して示され、最小値がピークとして示さ
れている。

次に、動きベクトル評価手段（４）（第１図）を説明
する。この動きベクトル評価手段（４）は、動きベクト
ルの評価アルゴリズムを使用して各相関面上の最小値の
点（相関が最大の点）を検出する。この点がサーチブロ
ックとサーチエリアとの間の相関が最大となる点を示
し、ひいてはこの点により略それらブロック間の動きと
認められる量が示される。その相関面上の原点（本例で
はその面の中央に存在する）に対するこの最小値の変位
が、画素／フレームを単位とするその動きの直接的な測
定値になる。その相関面が唯一の孤立した最小値を有す
るという最も単純な場合には、その相関面上の最小値の
点を検出するだけでサーチブロックとサーチエリアとの
間の動き量を正確に決定することができる。前に述べた
如く、小さなサーチブロックを使用すれば動き検出及び
動き評価の精度を改善することができるが、小さな１個
のサーチブロックでは次に述べる多くの場合に動きを検
出することができない。

動きベクトルを（水平方向の画素単位の動き，垂直方
向の画素単位の動き）で表した場合、第18図は動きベク
トル（5,0）を有し或るフレーム（ｔ）内でサーチブロ
ック（1A），（2A）及び（3A）にまたがる物体を示す。
サーチブロック（1A）及び（3A）とその次のフレーム
（ｔ＋１）の対応するサーチエリア（（1B）及び（3
B））との相関をとると、第19図に示す相関面には（5,
0）の位置に最小値（図面上では反転）が現れる。（但
し、ビデオソースにノイズは含まれていないと仮定して
いる。）しかしながら、サーチブロック（2A）とそれに
対応するサーチエリア（2B）との相関をとると、第20図
に示す相関面が生成され、この相関面においてサーチブ
ロック（2A）とサーチエリア（2B）とはｙ方向の全ての
点で相関が高くなる。従って、その相関面には唯一の最
小値の点は存在せず、そのサーチブロック（2A）とサー
チエリア（2B）との間の動きを決定することができな
い。

しかしながら、サーチブロック（2A）が成長して元の
サーチブロック（1A），（2A）及び（3A）を覆う場合を
考えてみる。その成長後のサーチブロック（2A）と元の
サーチエリア（1B），（2B）及び（3B）を覆うサーチエ
リアとの相関をとることにより、第21図に示すような相
関面が得られる。これにより位置（5,0）に元のサーチ
ブロック（2A）の正確な動きを示す唯一の最小点が存在
することが分かる。この例により、正確に動きを検出す
るためにはソースビデオ信号に何らかの特徴がなければ
ならないことが分かる。即ち、サーチブロック（1A）及
び（3A）には垂直方向及び水平方向にその物体のエッジ
が存在するという特徴があるため、動きが検出できる。
それに対して、サーチブロック（2A）には垂直方向に特
徴的な形態が存在しても水平方向には特徴がないため、
水平方向の動きを検出することができない。しかしなが
ら、そのサーチブロックを水平方向及び垂直方向の両方
向に特徴を有するようになるまで成長させることによ
り、そのサーチブロックの完全な動きが決定できるよう
になる。更に、ソースビデオ信号中のノイズを考慮する
とそのサーチブロックを成長させることには別の利点が
ある。

第22図を参照して他の例について検討する。この例は
動きベクトルが（5,3）であるサーチブロックに対する
相関面を示す。しかしながら、そのサーチブロックとそ
のサーチエリエとの間の他の多くの相関が良好な点によ
り、真の動きが検出し難くなっている。そのような相関
面を生成するソースビデオ信号の例は例えば風で揺れて
いる低コントラストの木であろう。これからそのサーチ
ブロック及びサーチエリアが成長するものと仮定する。
その成長は先の例のように水平方向に生じてもよく、又
は垂直方向に生じてもよく、又は両方向に生じてもよ
い。隣合うサーチブロックが同じ動きをする場合には、
その結果生じる相関面に対する平均的な効果により他の
相関が良好なピークの大きさに比べて位置（5,3）の最
小ピークの大きさがずっと大きな割合で増加する。この
状態を第23図に示し、これにより正確な動きベクトルを
より容易に検出できることが分かる。サーチブロックが
成長する状態について第18図を参照して更に検討する。
本例ではサーチブロック（2A）の領域を成長させてサー
チブロック（1A）及び（3A）の領域を覆い、それに対応
する相関面を生成することが必要である。実際に、対応
する相関面はサーチブロック（1A），（2A）及び（3A）
に対応する３個の相関面の個々の要素を加算することに
より直接生成される。

実際には、各相関面を複数の点の値のマトリックスで
あると考えると、その拡大されたサーチブロック（2A）
の相関面は元のサーチブロック（1A），（2A）及び（3
A）の相関面のマトリックスの加算に相当する。

そのサーチブロック（2A）の領域は上下のサーチブロ
ックの相関面を加算することにより垂直方向にも成長さ
せることができる。一方、そのサーチブロック（2A）を
水中方向及び垂直方向の両方向に成長させるには、４個
の対角線方向の相関面をも同様に加算しなければならな
い。このことより或るサーチブロックを隣りのサーチブ
ロックを覆うように成長させる実際のプロセスは比較的
容易であることが分かるが、より困難なプロセスはいつ
その成長を起こせるかを決定すること及び近傍のどのサ
ーチブロックまでその成長を行わせるかを決定すること
である。基本的には、その答えは良好な最小値即ち良好
な動きベクトルが検出されるまでそのサーチブロックの
領域を成長させなければならないということである。従
って、或る動きベクトルが良好なベクトルとして検出さ
れたときを特定することが必要となり、これは実際に上
述の例より推定することができる。

第18図〜第21図を参照して述べた例においては、その
物体の水平方向の唯一の特徴を捉えて唯一の最小値を得
るためにそのサーチブロックを水平方向に成長させる必
要があった。この状況は第20図の相関面上には同一の最
小値の列が存在すること及び第21図の相関面上には唯一
の最小値のみが存在することによって特徴付けられてい
る。これにより、良好な最小値のための第１判定条件が
得られ、それら良好な最小値の点とはその相関面上の最
も値が小さい点であり、その点の値とその次に最も値が
小さい点の値との差が或る与えられた値を超えるという
ことである。この或る与えられた値は閾値として知ら
れ、この判定条件を充足するか否かの検査をここでは閾
値テストと言う。

その次に最も値がが小さい点は、以下に述べるリング
テストと称される別のテストにおいては生じることがな
い点に注意すべきである。３個のリング（輪）を使用す
るリングテストの場合には、問題の点の３個の画素の中
の１点からその次に最も値が小さい点は生じさせない。
第18図〜第21図の例では、第20図の相関面は閾値テスト
では失敗したかもしれないが、サーチエリア（2A）は成
長させられ、或適当な閾値が与えられ、第21図の相関面
が閾値テストに合格するであろう。

その閾値テストは、第22図及び第23図を参照して上述
した例において領域を成長させる場合にも使用すること
ができる。サーチブロックを成長させる前には、周囲に
同程度の値の点が存在するため正確な最小値を検出する
ことができない。従って、或る適当な閾値が与えられて
も、その相関面は閾値テストをクリアすることができな
いので、そのサーチブロックは成長することになる。そ
の結果として、他の見せかけの最小点の中から真の最小
値の点を検出することが可能になる。

閾値の使用は主観的なテストであると思われるかもし
れないが、検査対象の相関面の内部における値の変動範
囲の一部に収まるようにその閾値を正規化することによ
り、その相関面の正確な閾値を選択することができる。
これにより例えばビデオソースのコントラストの影響を
軽減することができる。

上述のリングテストは主観的な傾向はずっと少なく、
以下その内容を詳細に説明する。そのリングテストの前
提は、良好な最小値（又は最大値）の点にはその点を囲
む次第に大きさが減少する（又は増大する）複数の点が
存在するということである。第24図はこの前提を図示し
たもので、点（０、０）で最小値を示し、その点の所
で、複数の点よりなる周囲の３個のリングの平均的大き
さが外側にいくほど小さくなっている。これは、第25図
に示す相関面とは対照的であり、そこでは複数のリン
グ、特に中心から２番目のリングの平均的大きさが外側
の方が小さくなるような大きさにはなっていない。

この場合、そのリングテストにより定義される良好な
最小値を得るための判断条件は、平均の傾きが単調であ
ることである。従って、問題となっている最小値を囲む
点の予め定められた数のリングに対して、内側から外側
に向かう個々のリングの平均の大きさは前のリングの大
きさよりも大きくなければならない（図面上では小さく
なる）。第18図〜第21図を参照して述べた例に再び戻
り、第20図及び第21図より第20図の相関面はそのリング
テストをクリアすることができない（最小値が特定でき
ない）が、第21図の相関面はそのリングテストをクリア
できることが分かる。そのリングテストは絶対値ではな
く平均値を比較するため、閾値テストに比べてずっと主
観的ではなく、実際にそのリングテストにおける唯一の
変数は考慮すべきリングの数である。

サーチブロックを成長させるメカニグムについて述べ
た後は、相関面の形状の検査によって如何にそのサーチ
ブロックを成長させる最も効果的な方向を決定すること
ができるかを検討することが必要である。

第20図に戻り、その相関面には垂直方向には唯一の特
徴部があるが水平方向には何等特徴部がない。これは、
水平方向に相関の良好な部分が多く存在するために、そ
の相関面にはその相関面を水平方向に横切るように一列
の最小点が存在することに反映されている。この事実よ
りそのサーチブロックは水平方向に成長させるべきこと
が推定できる。逆に垂直方向に相関の良好な一列の点が
存在する場合には、そのサーチブロックは垂直方向に成
長させる必要があることを示し、一方、相関の良好な点
が円周状に存在するときにはそのサーチブロックは水平
方向及び垂直方向の両方向に成長させる必要があること
を示す。

この判断条件を使用することにより、そのサーチブロ
ックを成長させる方向を決定するためにその相関面の形
状の定量的な測定値が必要となる。この測定値は次のよ
うに決定される。先ず、閾値が決定される。それからそ
の閾値より小さいその相関面上の如何なる点も考慮され
る。この閾値は閾値テストで使用されたものと同様に、
その相関面内の値の変動範囲に収まるように正規化され
る。この閾値を使用してその相関面上の各点が順番に４
段階のシーケンスに従って検査される。各シーケンスに
おいて、その相関面の値がその閾値より小さくなる点が
注目される。第26図を参照してこれら４段階のシーケン
スにつき説明するに、この第26図において、上端部，下
端部，左端部及び右端部に夫々存在する数値1,2,3及び
４はそれら４段階のシーケンスを示し、斜線を施した領
域がその閾値よりも値が小さな点を示す。各シーケンス
の動作は以下のとおりである。

シーケンス１ その相関面の上端部から下方に向かって値がその閾値
よりも小さくなる点Ａを捜す。

シーケンス２ その相関面の下端部から上方に向かって値がその閾値
よりも小さくなる点Ｃを捜す。

シーケンス３ その相関面の左端部から右方向に向かって値がその閾
値よりも小さくなる点Ｄを捜す。

シーケンス４ その相関面の右端部から左方向に向かって値がその閾
値よりも小さくなる点Ｂを捜す。

その結果生じる４点A,B,C及びＤは第26図に示す２箇
所の長さＸ及びＹの計算に使用され、これらの長さＸ及
びＹがその閾値よりも値が小さい点を含む斜線を施した
領域の大きさを示す。従って、それらの長さＸ及びＹよ
り、その形状がｙ方向よりｘ方向に長いが、その逆か又
は略円形かが推定できる。例えば10％程度の小さな差は
その形状を推定する上で許容され、その形状をｘ方向に
長いと判断するためにはその長さＸは少なくともその長
さＹよりも10％以上長くなければならない。ｙ方向につ
いても同様である。それらの長さＸ及びＹの差が互いに
10％以内に収まっているならば、その形状は円形である
と判定されてそのサーチブロックは両方向に成長させら
れる。第26図例では長さＸが長さＹよりも長いので、そ
のサーチブロックはｘ方向即ち水平方向に成長させられ
る。

そのサーチブロックの成長は１個はそれを超える成長
限界に達するまで続く。これら限界とは次のようなもの
である。即ち、その相関面の最小値が閾値テスト及びリ
ングテストの両方をクリアすること、そのビデオフレー
ムのエッジに達すること又はそのサーチブロックが既に
水平方向及び垂直方向に予め定められた回数だけ成長し
たことである。この最後の限界はハードウェアに依存す
る。即ち、最後の限界は許容時間内に実行できる処理の
量によって定まる。本発明の一実施例においては、その
限界は水平方向には２回，垂直方向には１回に設定され
ている。

その相関面の最小点が閾値テスト及びリングテストの
両方をクリアする場合には、良好な動きベクトルが決定
されたものとみなされ、この動きベクトルは動きベクト
ル減少手段（５）（第１図）に供給される。しかしなが
ら、フレームのエッジに到達するか又はサーチブロック
が水平方向及び垂直方向に予め定められた回数だけ成長
した場合には、その特別なサーチブロックについては良
好な動きベクトルが決定されなかったものとみなされ
て、１個の良好な動きベクトルを決定する代わりに重み
付けにより最も有益な動きベクトルが決定される。

その最も有益な動きベクトルが定常的な即ち中心の動
きベクトルとして重み付けされるように、その相関面に
は重み付けがなされる。これには２つの理由があり、第
１にそのサーチブロックが、成長後でさえもソースビデ
オ画像の広い平面領域の一部であるならば、１個の良好
な動きベクトルを検出するのは不可能である。しかしな
がら、そのソースビデオ画像は、１個の平面領域から成
る画像であるため、それに続く処理において１個の定常
的な動きベクトルによって正確な結果をもたらす。第２
に、動きベクトル減少手段（５）（第１図）に対して非
常に劣悪な動きベクトルが供給される可能性を減少する
ために、重み付けがなされる。これは、１個の良好な動
きベクトルが決定できないときには、１個の非常に劣悪
な動きベクトルよりも１個の少し劣悪な動きベクトルの
方が好ましいという理由からである。

図27は、その相関面に対して重み付け関数をどのよう
に適用するかの一例を示す。この例では、その相関面上
の或与えられた点に対して適用される重みはその点のそ
の定常的な中心の動きベクトルからの距離に比例する。
その相関面のその点の値にはその重み係数が乗算され
る。例えば、その重み付け関数の傾きはその中心の定常
的な動きベクトルからプラス又はマイナス32画素離れた
位置にある点に係数３が乗算されるように定められる。
言い替えると、第27図に示す如くその中心の定常的な動
きベクトルを黒い丸で表した場合、その重み付け関数は
その中心の定常的な動きベクトルを中心として上下が反
転した円錐のような形状になる。

その相関面の重み付けが終わった後、その相関面には
再び閾値テスト及びリングテストを施す。これら両テス
トをクリアする１個の最小値が決定されると、これは良
好な動きベクトルであるとみなされ、それが良好な動き
ベクトルであると共に重み付けが適用されたことを示す
情報（フラッグ）が付加される。このフラッグはその動
きベクトルと共に動きベクトル減少手段（５）（第１
図）に供給される。一方、重み付けを適用した後でさえ
良好な動きベクトルも最も有益な動きベクトルも決定で
きない場合には、このサーチブロックに関して動きベク
トル減少手段（５）（第１図）に供給される如何なる動
きベクトルも悪い動きベクトルであることを示す情報
（フラッグ）がセットされる。これを行うのは、悪い動
きベクトルは動きベクトル減少の処理においては使用し
てはならず以下で述べるように他の動きベクトルで代用
されなければならないことによる。

従って要約すると、動きベクトル評価手段（４）（第
１図）の動作は直接ブロック整合手段（３）（第１図）
により生成された相関面から最も相関が良好な点、即ち
最小値の点を導出することである。この最小値にはそれ
から閾値テスト及びリングテストが施され、その最小値
の点がそのサーチブロックの動きを代表するとみなされ
るためにはその最小値はそれら両方のテストをクリアし
なければならない。ところで、閾値テスト及びリングテ
ストで使用される閾値は絶対的な値又は規格化された相
対的な値の何れでもよいことに注意すべきである。その
最小値がどちらかのテストをクリアすることができなけ
れば、そのサーチブロックは成長させられて新たな最小
値が決定され、閾値テスト及びリングテストが再び適用
される。そのサーチブロックを成長させる最も有効な方
向はその相関面の形状から決定される。

次に、動きベクトル減少手段（５）（第１図）を説明
する。HDVS方式を使用すると、各サーチブロックの大き
さは32画素×23ラインであると仮定され、この場合は最
大で2451個の動きベクトルが存在しえることが示され
る。サーチブロックの大きさは適度な分解能を維持する
こととハードウェアをあまり大きくしないこととのバラ
ンスに鑑みて選択される。これら動きベクトルを全て動
きベクトル選別手段（６）に供給するならば、要求され
る処理が多量であるため動きベクトル選別の動作は実用
的ではない。この問題を克服するため動きベクトル評価
手段（４）と動きベクトル選別手段（６）との間に動き
ベクトル減少手段（５）を配してある。動きベクトル減
少手段（５）は動きベクトル評価手段（４）により生成
された動きベクトルを受取り、そのフレーム用に導出さ
れた全ての動きベクトルではなくそのフレームの夫々の
サーチブロック（境界領域のサーチブロックを含む）に
ついて４個の動きベクトルを動きベクトル選別手段
（６）に供給する。この効果は２つある。先ず、正しい
動きベクトルが動きベクトル選別手段（６）に供給され
る４個の動きベクトルのグループの中に含まれている限
り、それによりその正しい動きベクトルを選別するのが
ずっと容易になる。しかしながら、次にこのことは、も
しその正しい動きベクトルがその４個の内の１個として
供給されない場合には、動きベクトル選別手段（６）は
正しい動きベクトルを選別することができないことをも
意味する。従って、動きベクトル減少手段（５）は動き
ベクトル選別手段（６）に供給する動きベクトルの中に
その正しい動きベクトルを含むことを保障するように努
める必要がある。また、動きベクトル減少手段（５）に
より動きベクトル選別手段（６）に対して４個の動きベ
クトルが供給されても、これらの内で３個だけが実際に
動きを表し、第４の動きベクトルは常に定常的な動きベ
クトルであることに注意すべきである。その定常的な動
きベクトルにより、動きベクトル選別手段（６）が定常
的な画素に対して強制的に動きを表す動きベクトルを割
り当てることを防止することが保障される。その動きベ
クトル選別手段（６）には異なる数の動きベクトルを伝
達することもでき、例えば、別の実施例では動きを表す
４個の動きベクトルとその定常的な動きベクトルとを伝
達するようにしてもよい。

これ以後は“サンプルブロック”という言葉は、ビデ
オ信号の１フレーム中のブロックであってその中の個々
の画素に動きベクトル減少手段（５）より同じ４個の動
きベクトルが供給されているブロックを意味する。従っ
て、１個のサンプルブロックはサーチブロックが成長す
る前にはその１個のサーチブロックと同じである。第28
図に示す如く、ビデオ信号の１フレーム中ではサンプル
ブロック及びサーチブロックの初期位置は同じである。

動きベクトル減少手段（５）（第１図）は動きベクト
ル評価手段（４）（第１図）より動きベクトル及びフラ
ッグを受取り、そのフラッグを調べることによりその動
きベクトルの品質を決定する。その動きベクトルが曖昧
な面から導出されたものではなくそれに高い信頼性があ
る場合には、それは良好な動きベクトルと呼ばれるが、
仮にある程度の曖昧さが存在するとその動きベクトルは
悪い動きベクトルと呼ばれる。動きベクトル減少のプロ
セスにおいて、悪い動きベクトルであると分類された動
きベクトルは全て無視される。というのは、動きベクト
ル選別手段（６）において悪い動きベクトルが選別され
ないためには、その動きベクトル選別手段（６）に不正
確な動きベクトルを伝達しないようにすることが重要で
あるからである。そのような悪い選別により一般に最終
的に得られる画像において極めて目障りなノイズ状のド
ットが生ずる。

動きベクトル減少手段（５）（第１図）に供給される
動きベクトルの夫々は或る特別なサーチブロックひいて
は或る特別なサンプルブロック（第28図）より得られた
ものであり、その動きベクトルと共にこれらブロックの
位置も記録される。悪い動きベクトルであると分類され
た如何なる動きベクトルも無視されるため、全てのサン
プルブロックがその位置にあるサーチブロックから導出
された動きベクトルを持つとは限らない。良好な動きベ
クトルであるとして分類され、或る特別なサーチブロッ
クひいては或る特別なサンプルブロックに関係する動き
ベクトルは局所的な（ローカル）動きベクトルと呼ばれ
る。というのは、それらはそのサンプルブロックが得ら
れた領域で導出されたからである。これに加えて、他の
動きベクトルの減少プロセスでは個々の良好な動きベク
トルが生ずる頻度を計数し、それら良好な動きベクトル
を導出するために使用されたサーチブロックの実際の位
置を考慮することがない。これら動きベクトルは頻度が
小さいくなる順序で分類され、この場合の動きベクトル
を共通な動きベクトルと称する。最悪の場合には、３個
の共通な動きベクトルだけが利用でき、これらが定常的
な動きベクトルと共に動きベクトル選別手段（６）（第
１図）に伝達される４個の動きベクトルを構成する。し
かしながら、３個を超える数の共通な動きベクトルが存
在することもよくあるので、その数を減少させて１組の
減少した数の共通の動きベクトルを構成しなければなら
ない。これら１組の減少した数の共通な動きベクトルを
グローバルな（global）動きベクトルと称する。

共通な動きベクトルの数を減少させる最も単純な方法
は、３個の最も出現頻度の高い動きベクトルを使用して
他の動きベクトルを無視することである。しかしなが
ら、これら３個の最も出現頻度の高い共通な動きベクト
ルは、初期状態では垂直方向及び／又は水平方向に互い
に夫々プラス又はマイナス１画素以内の動きである３個
の動きベクトルであることが多い。言い替えると、これ
ら共通な動きベクトルは全て同じ動きをわずかな違いで
追跡していたものであり、無視されていた他の共通な動
きベクトルは実際に異なる動きを追跡していたものであ
る。

或る場面の中の全ての又は大部分の動きを表す共通な
動きベクトルを選択するためには、同じ動きを表す複数
のグローバルな動きベクトルが選択するのを避ける必要
がある。従って、実際に採用された方法は、先ず３個の
最も頻繁に出現する共通な動きベクトルを取り、それら
３個の内の最も頻度が小さい動きベクトルが他の２個の
共通な動きベクトルの何れかに対して垂直方向及び／又
は水平方向に夫々プラス又はマイナス１画素の動き居内
であるかどうかを調べる。それが正しいならば、その動
きベクトルは排除されて、この排除された動きベクトル
の次に最も頻度の高い共通の動きベクトルが選ばれてそ
の動きベクトルの代わりにチェックを受ける。このプロ
セスは全ての最も出現頻度の高い共通な動きベクトルに
ついて継続され、最後に互いに同程度ではない３個の共
通な動きベクトルが残るか、又は３個若しくはそれより
少ない数の共通な動きベクトルが残るまでそのプロセス
は継続される。しかしながら、そのプロセスが収束せず
互いに同程度ではない３個を超える数の共通な動きベク
トルが残った場合には、それらの中で最も頻度の小さい
動きベクトルが他の動きベクトルに対して垂直方向／又
は水平方向に夫々プラス又はマイナス２画素の動き以内
であるかどうかを調べるプロセスが反復され、必要に応
じてその距離を増加させながらそのプロセスが反復され
る。これら３個の共通な動きベクトルが要求されている
グローバルな動きベクトルであり、これらはまだ出現頻
度の順に並べられていることが重要である。

本発明が特に関係する（但し、排他的にではない）そ
のグローバルな動きベクトルの選別について第29図及び
第30図を参照して詳細に説明する。

第29図は領域Ｂにおいてそのような選別を実行するた
めの回路構成の一例を示す。その回路は、カウンタ（2
1）〜（24）を含む計数システム（20）、バッファ（2
5），（26），（28），（29），（32）及び（33）、マ
イクロプロセッサ（27）、ランダムアクセスメモリ（RA
M）（30）及びマイクロプロセッサ（27）用のプログラ
ムを保持するリードオンリーメモリ（ROM）（31）を図
示のように接続して構成され、次のように動作する。

計数システム（20）は、１フレームの始めにリセット
され、その後、そのフレーム用の動きベクトルがバッフ
ァ（32）を介してロードされる。それら動きベクトルが
ロードされている間は、最終的にそれら動きベクトルが
バッファ（33）を介して読出される間と同様に、そのマ
イクロプロセッサ（27）は動作しない。

動きベクトルがロードされている間、カウンタ（21）
はその入力動きベクトルの数を計数すると共に、バッフ
ァ（25）を介してRAM（30）にサンプルブロックのアド
レスを供給することによりそのRAM（30）への動きベク
トルの入力を制御する。一方、カウンタ（23）はそのフ
レームの水平方向のサンプルブロックの数を計数し、カ
ウンタ（24）はそのフレームの垂直方向のサンプルブロ
ックの数を計数する。そのフレームの終りにカウンタ
（24）の指示に応じてカウンタ（22）は、バッファ（2
6）を介してRAM（30）にサンプルブロックのアドレスを
供給することによりそのRAM（30）からの動きベクトル
の出力を制御する。

RAM（30）は３個の領域を有する。第１の領域はサン
プルブロックに関係する元の動きを記憶するために確保
される。この領域はマイクロプロセッサ（27）により読
出されるだけであり、そのマイクロプロセッサにより書
込まれることはない。第２の領域は出力用の動きベクト
ルを記憶するために確保され、これにより読み出しが容
易になる。第３の領域はデータ処理用に確保される。

初期状態では、入力される動きベクトルがRAM（30）
に書込まれている間はマイクロプロセッサ（27）及び動
きベクトルの出力部は動作しない。その後、次に述べる
アルゴリズムに応じた処理が実行される間はその動きベ
クトルの入出力部は動作しない。動きベクトルの出力部
よりバッファ（33）を介してRAM（30）より動きベクト
ルが読出されている間は、その動きベクトルの入力部及
びマイクロプロセッサ（27）は動作しない。

動作に際して、全体のフレームに対する良好な動きベ
クトルの夫々の出現頻度が第１に計算される。仮に、良
好であるというフラッグを付加されていると共に非零且
つ非定常的な動きベクトルが３個を超える数だけ存在す
ると、これらを３個まで減少させなければならない。し
かしながら、既に説明した如く、その３個の最も出現頻
度の高い動きベクトルが必ずしも全体の場面の動きを最
も良く表わす３個の動きベクトルとはならない。

第30図のフローチャートをも参照して説明するに、３
個を超える数の良好な非定常的な動きベクトルが存在す
るときには、２番目に（第２に）出現頻度の高い動きベ
クトルが最も出現頻度の高い動きベクトルと画素の動き
に関して比較される。それら２つのベクトルが予め定め
られた窓（ウィンドウ）の中に両方共収まる場合、即ち
例えば、それら２つのベクトルの値の差が水平方向及び
／又は垂直方向に±１画素の動き量（他の異なる距離を
選択することもできる）以内であるときには、その出現
頻度の小さい方の動きベクトルがリストより削除され
る。それからそのアルゴリズムは３番目に出現頻度の高
い動きベクトル（第３頻度ベクトル）に進み、それから
次第にそのリストを下がっていく。最終的に動きベクト
ルが３個又はそれより小さい数だけ残るか、又は、３個
の最も出現頻度の高い動きベクトルが互いに予め定めら
れた窓の内部に収まらない状態になる。尚、第30図のフ
ローチャートでは最終的に４個の最も出現頻度が高く且
つ互いに窓の内部に収まらない動きベクトルが得られた
ときに、これらをグローバルな動きベクトルとみなして
いる。

動きベクトル減少のプロセス及び１フレームのビデオ
画像中のサンプルブロックを考慮する場合、３個の異な
るタイプのサンプルブロックに注目する必要がある。こ
れらのタイプは１フレームのビデオ画像中のその実際の
位置によって定まり、第31図において異なる領域として
表されている。領域Ａは全体が他のサンプルブロックに
囲まれると共に画像の境界に近くないサンプルブロック
より構成される。領域Ｂは部分的に他のサンプルブロッ
クに囲まれると共に画像の境界に近くないサンプルブロ
ックを含む。最後に領域Ｃは、その画像の境界に近いサ
ンプルブロックを含む。これらの各領域に適用される動
きベクトル減少のアルゴリズムは夫々異なる。これらの
アルゴリズムにつき説明するに、先ずその１フレームの
ビデオ画像中のサンプルブロックの中には良好な動きベ
クトルを有するものが存在し、更にその場面の主要な動
きの大部分を表すべき３個のグローバルな動きベクトル
が存在することが前提となっている。各サンプルブロッ
クについて３個の動きベクトルと共に定常的な動きベク
トルを伝達するために、これら動きベクトルの選別が行
われる。

第32図は領域Ａにおける動きベクトル減少の手順を示
す。この領域にはチェックすべき動きベクトルが最も多
く存在するため、この領域を扱うのに最も複雑な領域で
ある。第32図において、斜線を施された中央のサンプル
ブロックが他のサンプルブロックａ〜ｈに囲まれてい
る。先ず局所的に導出された動きベクトルが良好な動き
ベクトルとして分類されるかどうかが調べられる。それ
が良好であり且つ定常的な動きベクトルと同一でないと
きには、その動きベクトルは伝達される。しかしなが
ら、これらの条件の内の一方でも充足されないときに
は、その動きベクトルは無視される。それから、そのサ
ンプルブロックｄに対応する動きベクトルが良好な動き
ベクトルとして分類されるかどうかが調べられる。それ
が良好であり、更にその動きベクトルが既に選別された
どの動きベクトルとも同じではなく且つその定常的な動
きベクトルとも同じでないときには、その動きベクトル
は伝達される。これらの条件の内の一方でも充足されな
いときには、その動きベクトルも無視される。このプロ
セスはそれから同様にサンプルブロックe,b,g,a,h,c及
びｆの順序で継続される。定常的な動きベクトルを含ま
ない３個の動きベクトルが得られると、そのアルゴリズ
ムは終了する。というのは、それらがそのサンプルブロ
ックについての動きベクトルの選別で要求される全てで
あるからである。しかしながら、上述の必ずしも全ての
チェックにおいて３個の良好な動きベクトルが得られな
ければならないというものではない。３個の良好な動き
ベクトルが得られない場合には、残りの空間にはグロー
バルな動きベクトルが割当てられ、より出現頻度の高い
グローバルな動きベクトルが優先的に割当てられる。

第33図は領域ｂにおける動きベクトルの減少手順を示
す。領域のサンプルブロックは他のサンブルブロックに
より全体には囲まれていない点を除いて、領域ａのサン
プルブロックと同じである。従って、これらのサンプル
ブロックに適用されるプロセスは領域Ａ用のプロセス
と、全ての周辺のサンプルブロックの中ではチェックを
行うことができない点を除いて全く同じである。従っ
て、第33図に示す如く、サンプルブロックａ〜ｅに対し
て動きベクトルをチェックすることができるだけであ
り、動きベクトル用に残されている空間には何れも前と
同様にグローバルな動きベクトルが割当てられる。同様
に、第33図の斜線を施したサンプルブロックを左へ２単
位移動させると、それらグローバルな動きベクトルを割
当てる前にチェックすべき隣接する周辺のブロックの数
は３個だけになる。

第34図は領域Ｃにおける動きベクトルの減少手順を示
す。そのサンプルブロックには局所的に導出された動き
ベクトルもなく、動きベクトルが利用できる多くの周辺
のサンプルブロックもないので、この場合が最も厳しい
場合である。この問題を処理する最も単純な方法は、単
にその領域Ｃのサンプルブロックにグローバルな動きベ
クトルと共に定常的な動きベクトルを割当てることであ
る。しかしながら、この場合には、領域Ｂの隣接するサ
ンプルブロックと比較した場合に、その領域Ｃのサンプ
ルブロックに割当てられた動きベクトルの値が突然変化
することにより、最終的に得られる画像にブロック処理
による影響が生じることが分かっている。従って、より
好適な方法は、領域Ｃのサンプルブロックに対しては領
域Ｂのサンプルブロックに対して用いられるものと同じ
動きベクトルを使用して、動きベクトルの突然の変化を
防ぐことである。より好ましくは、領域Ｃの各サンプル
ブロックにはそのサンプルブロックに物理的に最も近い
領域Ｂのサンプルブロックの動きベクトルと同じものを
割当てるのがよい。従ってこの場合には第34図例では、
領域Ｃの個々の斜線を施したサンプルブロックには領域
Ｂのサンプルブロックａと同じ動きベクトルが割当てら
れ、これにより良好な結果が得られることが確認され
た。

次に、動きベクトル選別手段（６）を説明する。動き
ベクトル選別手段（６）の目的はそこへ供給された４個
の動きベクトルの内の１個をそのサンプルブロック内の
個々の画素に夫々割当てることである。これにより、そ
れら動きベクトルは物体の輪郭に正確に割当てることが
できる。この割当てを実行するには特に、微細な構造を
囲む背景画像によりその正しい動きベクトルにより生成
される実際の構造が置き換えられる可能性を無くすよう
にする必要がある。これを達成するために、その動きベ
クトルの選別プロセスは２個の主な段階に分割される。
第１段階では入力フレームの各画素について動きベクト
ルが生成される。言い替えると、出力フレームの各画素
に対する動きベクトルの値を直接決定することはない。
第２段階では出力フレーム中の各画素に対する動きベク
トルの値を決定するために、その第１段階で生成された
動きベクトルの値が使用される。

第35図において、入力フレーム（２）の各画素は供給
される４個の動きベクトルの夫々を使用することによ
り、全フレーム（１）及び次のフレーム（３）のビデオ
データの中で最も良く輝度の値が合致する画素を求める
ために調べられる。画素の輝度の差分は次のように決定
される。

この場合、 P1nmは、フレーム（２）で検査対象となっている画素
の位置から検査対象となっている動きベクトルの座標を
差し引いて得られる位置に存在する画素を囲む４×４個
の画素よりなるブロックの中のフレーム（１）の画素の
輝度値であり、 P2nmは、検査対象となっている画素を囲む４×４個の
画素よりなるブロックの中のフレーム（２）の画素の輝
度値であり、 P3nmは、フレーム（２）で検査対象となっている画素
の位置に検査対象となっている動きベクトルの座標を加
算して得られる位置に存在する画素を囲む４×４個の画
素よりなるブロックの中のフレーム（３）の画素の輝度
値である。

その画素の差分が最小になる条件により輝度が最も良
く合致する所が求められ、従って、検査対象となってい
る画素に適用すべき正しい動きベクトルが求められる。
正しい動きベクトルが適用できない場合又は以下で詳細
に述べるように露出されたエリア若しくは被覆されたエ
リアが存在する場合には、その輝度の良好な合致は起こ
らない。

良好な合致が起こらない場合とは、使用されている複
数の画素内の平均的な画素の輝度の差分が或る所定の閾
値を超えているときに生じる。正しい動きベクトルが検
査されているときでさえ、空間周波数の高い微細な構造
では良好な合致が生じないことがあるので、その閾値が
重要である。閾値が如何なる値のときに良好な合致が起
こらないことが示されるかを決定するためには、動きベ
クトルが要求されている画素を囲むブロック内の画像の
周波数成分にその閾値を関連づける必要がある。これを
達成するため、検査対象の画素についての水平方向又は
垂直方向の画素の輝度の差分の最大値の半分に等しい閾
値を自己閾値とする。このようにして得られた閾値が比
較対象となっている全体のブロックデータの代表的な値
であることを保障するために、使用される４個の中央部
の夫々４×４個の画素よりなるブロックを対象として平
均値が求められる。

４×４のブロックを示す第37図を参照して、必要とさ
れる閾値Ｔは次式で与えられる。

Ｔ＝（T1＋T2＋T3＋T4）/8 この式において例えばT3は、第38図に示すように４個
の画素の輝度の差分値の中の最大値に等しい値として決
定され、これら４個の差分値とは２個の垂直方向の差分
値の絶対値|B2−B3|,|B4−B3|及び２個の水平方向の差
分値の絶対値|A3−B3|,|C3−B3|である。

このようにして入力フレーム（２）に対して１フレー
ム分の動きベクトルが得られ、同様にして第36図に示す
如く入力フレーム（３）に対して１フレーム分の動きベ
クトルが得られる。

場面の変化は別として、動きベクトル選別の上述の第
１段階において発生する不適合（ミスマッチ）の原因は
露出面及び被覆面の現象である。或る物体、例えば自動
車がトンネルに入るときには、その自動車は被覆され
て、一方それが出て来るときにはその自動車は露出され
る。その自動車のフレーム（１）及び（２）で露出され
た部分がフレーム（３）及び（４）で被覆されるときに
は、その基本的なベクトル選別プロセスではその正しい
ベクトルを決定することができない。更に、そのトンネ
ルの中に入る自動車が被覆される一方で、その自動車の
後ろの道路及び物体は露出される。同様にそのトンネル
を離れる自動車は露出されるが、その自動車の後ろの道
路及び物体は被覆される。従って、一般に被覆される物
体と露出される物体とが同時に存在する。或る場面の終
わりもまた被覆される物体と同様に動きの不連続性を有
する。斯かる状況下でさえも動きベクトルを決定する試
みにおいては、その輝度値のブロック毎の合致の程度を
調べる方法は、第35図及び第36図の３フレーム間の合致
の程度を調べる方法から２フレーム間の合致の程度を調
べる方法に変えられる。即ち、動きベクトルが要求され
ているフレーム（例えばフレーム（２））は供給される
４個の動きベクトルを使用することにより、前フレーム
及び次フレームに対して（フレーム（２）の場合には夫
々フレーム（１）及び（３）に対して）個別にブロック
毎の合致の程度が調べられる。最も良好な合致を生ずる
動きベクトルが検査対象となる画素に適用される動きベ
クトルとして選別される。しかしながら、この場合には
２フレーム間の合致の程度だけを調べる方法が使用され
たことを示す情報（フラッグ）がセットされる。

特に積分型のテレビカメラを用いた場合には、良好な
合致が起こらないという状況が生じる。物体が微細構造
を有する背景の上を動くときには、積分型のカメラによ
るとその物体の先端及び後端のエッジがその背景の微細
構造と混合されて独特の部分を有する画像が生成され
る。そのような状況では、２フレーム間の合致を調べる
方法でさえも平均的な画素間の差分がその閾値を超える
ことがある。こような場合には、動きベクトルの値は０
に設定され、エラーフラッグもセットされる。

動きベクトル選別の第２段階では第１段階で導出され
た２フレーム分の動きベクトルを利用する。最初の（入
力フレーム（２）の）１フレーム分の動きベクトルは基
準フレームであるとみなされ、これに続く（入力フレー
ム（３）の）１フレーム分も使用される。出力フレーム
の位置はこれら２個のフレームの動きベクトルの間の何
れかに存在する。第39図を参照して説明するに、個々の
出力画素の位置に対して入力フレーム（２）のサンプル
ブロックに関連する４個の可能な動きベクトルが検査さ
れる。検査対象である動きベクトルの角度でその出力画
素の位置を通って引かれた線は入力フレーム（２）及び
入力フレーム（３）の両方の上に存在する位置を指し示
す。動きベクトルの値が奇数（例えば1,3及び５）であ
る場合には、出力フレームが入力フレーム（１）と
（２）との間の正確に中央にあるとすると、入力フレー
ムの２個の画素の間の（画素の中心ではない）或る点が
指し示されるであろう。この不正確さを考慮し更に感度
を画素単位まで低下させるために、各フレームに対して
最も近い画素の位置を中心として１組の３×３ブロック
の動きベクトルが得られる。実際には、２組の３×３ブ
ロックの動きベクトルの夫々と検査対象である動きベク
トルを含むブロックとの間でブロック間の合致の程度を
調べる動作が実行される。使用される動きベクトルの差
分は次式により与えられる２個の動きベクトルの値の空
間的な差分を表す。

この場合、x1及びy1はそれらブロックの１つにおける
その動きベクトルの直交座標であり、x2及びy2は検査対
象となる動きベクトルの直交座標である。

３個の入力フレーム、即ち入力フレーム（２）（第34
図）に対しては入力フレーム（１），（２）及び（３）
を使用して計算された動きベクトルだけを使用すること
により、上述のように先ず最も良好に合致する動きベク
トルが生成される。それら３個の入力フレームは入力フ
レーム（３）（第36図）に対しては入力フレーム
（２），（３）及び（４）となり、その結果はそれに応
じて段階的に変化する。その９個のブロックには少なく
とも４個の使用可能な動きベクトルがあるのが好まし
い。フレーム（２）及びフレーム（３）が両方の動きベ
クトルのブロックが使用できるときには、その動きベク
トルの差分値はフレーム（２）による動きベクトルの差
分値の半分及びフレーム（３）による動きベクトルの差
分値の半分を加算して構成される。上述の方法を使用し
て動きベクトルの最小の差分値を生成する動きベクトル
であれば、検査対象となる出力画素に適用できる動きベ
クトルであると考えることができる。３個のフレーム間
の入力動きベクトルの整合（第35図及び第36図）により
生成された動きベクトルの差分値が１より大きいときに
は、被覆面又は露出面が検出されたことになる。そし
て、同じプロセスが繰り返されるが今度はエラーフラッ
グが無視される。即ち、２個の入力フレームを用いて計
算された動きベクトルが使用される。理論的にはこれは
露出面又は被覆面だけに必要であるが、実際にはより一
般的な領域の画像に適用しても画質が改善される。

上述の両方の検査が実行された後に、良好な合致する
と判定された最小の動きベクトルの値が２を超えている
場合には、その動きベクトルの値は０に設定され、動き
ベクトル後処理手段（７）（第１図）の使用に供するた
めエラーフラッグがセットされる。

次に、動きベクトル後処理手段（７）を説明する。動
きベクトルの選別に伴い、如何なる実際の画像の状況に
おいてもほぼ確実に或る画素に関連して疑似的な動きベ
クトルが残存する。第40図〜第45図は疑似的な動きベク
トルであると見なされる場合を示し、これらの各図にお
いて、三角形は同じ動きベクトルが割当てられた画素を
示し、一方、星は周囲の画素に割り当てられた動きベク
トルと異なる動きベクトルが割り当てられた画素を示
し、円は検査対象の動きベクトルを示す。

第40図は１個の特異点を示し、この場合１個の画素だ
けが全ての周囲の画素の動きベクトルとは異なる動きベ
クトルを有する。

第41図は水平方向の動きベクトルのインパルスを示
し、この場合３個の水平方向に並んだ画素だけが周囲の
画素の動きベクトルとは異なる同一の動きベクトルを有
する。

第42図は垂直方向の動きベクトルのインパルスを示
し、この場合３個の垂直方向に並んだ画素だけが周囲の
画素の動きベクトルとは異なる同一の動きベクトルを有
する。

第43図は対角方向の動きベクトルのインパルスを示
し、この場合３個の対角方向に並んだ画素だけが全ての
周囲の画素の動きベクトルとは異なる同一の動きベクト
ルを有する。

第44図は水平方向及び垂直方向の動きベクトルのイン
パルスを示し、この場合縦十字型に配列された５個の画
素だけが全ての周囲の画素の動きベクトルとは異なる同
一の動きベクトルを有する。

第45図は２対角方向の動きベクトルのインパルスを示
し、この場合対角方向の十字型に配列された５個の画素
だけが全ての周囲の画素の動きベクトルとは異なる同一
の動きベクトルを有する。

上述の６個の範躊に分類される画素の動きベクトルは
実際には現実の画像について生じることはなく、更にそ
れらは不正確な動きベクトルの選別により直接生じた結
果でもある。そのような動きベクトルが補間プロセスの
途中で使用されると、最終的に得られる出力画像にはド
ット妨害が生じることがある。従って、そのような動き
ベクトルを特定して排除するのが望ましい。これは上述
の動きベクトルの全てのグループ分けを行うと共に、各
グループに応じてフラッグを割当てるアルゴリズムを使
用することにより実行される。

そのアルゴリズムは２回繰り返すプロセスを使用し、
１回毎の処理は同一である。２回繰り返すことの必要性
につき説明する。画素の配列を示す第46図を参照して説
明するに、三角形が付された全ての画素は夫々同一の動
きベクトルを有する。中央の９個の画素よりなるブロッ
クは、夫々ベクトル１〜ベクトル９として各画素に割り
当てられた動きベクトルを有し、これら動きベクトルは
同一でも同一でなくてもよい。ベクトル５が検査対象の
動きベクトル（被検ベクトル）である。

第１回目の処理では、ベクトル５がチェックされ、最
初にそのベクトルが正確に又は所定の許容値内でベクト
ル1,ベクトル3,ベクトル７又はベクトル９と同じである
かどうかが決定され、その次にそのベクトルが正確に又
は所定の許容値内でベクトル2,ベクトル4,ベクトル６又
はベクトルと同じであるかどうかが決定される。

このチェックは、そのベクトル５が少なくとも水平方
向又は垂直方向に隣接するベクトルの１つと同じであ
り、且つ少なくとも対角方向に隣接するベクトルの１つ
と同じであるかどうかを調べるものである。これが否定
的ならば、その画素５が不良であることを示すフラッグ
がセットされる。言い替えると、水平方向（又は垂直方
向）及び対角方向の隣接画素に夫々少なくとも１個の、
即ち少なくとも合計２個の同程度の動きベクトルが存在
しない場合には、その画素に不良であることを示すフラ
ッグがセットされる。

この第１回目の処理によれば、特異点，水平方向の動
きベクトルのインパルス，垂直方向の動きベクトルのイ
ンパルス，対角方向の動きベクトルのインパルス及び対
角方向の動きベクトルのインパルス（第40図〜第43図及
び第45図）に対応する動きベクトルには全て不良である
ことを示すフラッグが付加されるが、水平方向及び垂直
方向の動きベクトルのインパルス（第44図）に対応する
動きベクトルの内で中央のベクトルを除く４隅のベクト
ルは良いベクトルであると判断され、このベクトルには
２回目の処理が必要になる。例えば、第45図例におい
て、その縦十字形の４隅の動きベクトルは夫々水平方向
（又は垂直方向）及び対角方向に１個づつ同一の動きベ
クトルを有するため、良いベクトルであると判定され
る。

２回目の処理は第１回目の処理と正確に同じ条件を調
べるものであるが、今回は既に不良であるとしてフラッ
グを付加された動きベクトルはその計算から除外され
る。従って、第44図例において、第１回目の処理後には
中央の動きベクトルだけに不良のフラッグが立てられる
が、第２回目の処理後には縦十字形に配列された５個の
動きベクトルの全てに不良のフラッグが立てられる。

不良の動きベクトルを特定した後には、それらを修正
することが必要になり、この修正もまた動きベクトル後
処理手段（７）（第１図）により実行される。補間又は
高頻度の動きベクトルによる置換などの種々の方法を使
用することができるが、実際には単純な置換により良好
な結果が生じることが分かった。これは次のように実行
される。（但し、この場合は符号「＝」は正確に等しい
だけではなく、予め定められた許容値内に収まっている
ことをも意味する。）即ち、ベクトル５が不良であると
判定されたときには、そのベクトルは（ベクトル４＝ベ
クトル６）が成立するならばベクトル４により置き換え
られ、それが成立せず（ベクトル２＝ベクトル８）が成
立するならばベクトル２により置き換えられ、それが成
立せず（ベクトル１＝ベクトル９）が成立するならばベ
クトル１により置き換えられ、それが成立せず（ベクト
ル３＝ベクトル７）が成立するならばベクトル７により
置き換えられ、それも成立しない場合には置換は行われ
ない。

再び第１図において、各画素について最終的に選択さ
れた動きベクトルが動きベクトル後処理手段（７）より
補間手段（８）に供給されると共に、60フレーム／秒で
順次走査変換されたフレームが順次走査変換手段（２）
から補間手段（８）に供給される。

次に、補間手段（８）を説明する。補間手段（８）
は、第47図に示す如く、２個の順次走査変換されたフレ
ームを使用するだけの比較的単純な構造である。出力フ
レームの連続する入力フレームであるフレーム（１）及
びフレーム（２）に対して相対的な時間軸上の位置、及
びその出力フレーム上の画素に対する動きベクトルを使
用することにより、周知の方法でその補間手段（８）は
第１フレームのどの部分と第２フレームのどの部分とを
結合するべきかを決定し、更に正確な出力フレームの画
素の値を生成するための重み付けの値を決定する。言い
替えると、補間手段（８）は動きベクトルを用いて動き
の方向に沿って適応的に補間を行い、24フレーム／秒に
対応する動き補償のなされた順次走査フレームを生成す
る。その動きベクトルは各画素の輝度の値だけを使用し
て導出されていたが、その同じ動きベクトルは要求され
る出力フレームの画素の色成分の値を導出するために使
用される。その要求される出力を生成するためには、各
フレームにたいして８×８個の画素よりなるアレイが使
用される。従って、その補間手段（８）は２次元の垂直
方向／水平方向の補間手段であり、その補間手段（８）
で使用される係数はレメツ（Remez）の交換アルゴリズ
ムを使用して導出することができる。このアルゴリズム
は‘Theory and application of signal processing',L
awrence R Rabiner,Bernard Gold.Prentice−Hall In
c.,pp 136−140,227.にて詳細に説明されている。

第47図は３個の異なる場合についてその補間手段
（８）（第１図）により実行される補間を模式的に示
す。左側の第１の場合は露出面も被覆面もない場合、中
央の第２の場合は１個の被覆面がある場合、右側の第３
の場合は１個の露出面がある場合である。被覆された面
の場合にはその補間でフレーム（１）だけが使用され、
露出された面の場合にはその補間でフレーム（２）だけ
が使用される。

その補間手段（８）においては動き補償を行わない補
間を行うこともでき、この場合には時間的に最も近い順
次走査変換されたフレームが補間フレームとして使用さ
れる。

尚、本発明は上述実施例に限定されず本発明の要旨を
逸脱しない範囲で種々の構成を採り得ることは勿論であ
る。

［発明の効果］ 本発明によれば、ブロック同士の比較によって充分な
動きベクトルが得られなかったブロックに対して、適当
な動きベクトルを補充できる利益がある。

【図面の簡単な説明】

第１図は本発明の一実施例のビデオ標準方式の変換装置
を示すブロック図、第２図は順次走査変換の説明図、第
３図〜第６図は夫々順次走査変換時の連続するフィール
ド及び連続するラインを示す説明図、第７図は動き適応
順次走査変換における各ステップを示すブロック図、第
８図は連続するフィールド間の差分等を示す線図、第９
図及び第10図は夫々順次走査正規化関数及び順次走査の
非線形関数を示す線図、第11図は順次走査変換における
未完成のラインの画素を示す線図、第12図及び第13図は
夫々サーチブロックとサーチエリア及びそれらの相互の
関係を示す線図、第14図は相関面を示す線図、第15図及
び第16図は夫々サーチブロックの成長を示す線図、第17
図はサーチブロックの整合ができない１フレームの領域
を示す線図、第18図は３個のサーチブロックにまたがる
動体を示す線図、第19図〜第21図は夫々生成される相関
面を示す線図、第22図及び第23図は夫々閾値テストの説
明に供する相関面の他の例を示す線図、第24図及び第25
図は夫々リングテストの説明に供する相関面の更に他の
例を示す線図、第26図はサーチブロックが成長する方向
の決定方法の説明図、第27図は相関面の重み付けの方法
の説明図、第28図はサンプルブロック及びサーチブロッ
クと１フレームのビデオ画像との関係を示す線図、第29
図は実施例の要部の構成図、第30図は第29図例の動作を
示すフローチャート図、第31図は１フレームのビデオ画
像の動きベクトルの領域を示す線図、第32図〜第34図は
夫々１フレームのビデオ画像の個々の領域における動き
ベクトルの説明に供する線図、第35図及び第36図は動き
ベクトル選別の第１段階の説明図、第37図及び第38図は
夫々閾値の決定方法の説明に供する線図、第39図は動き
ベクトル選別の第２段階の説明図、第40図〜第46図は夫
々動きベクトルの後処理時における動きベクトルが属す
る画像の配列を示す線図、第47図は補間動作の説明に供
する線図である。 （２）は順次走査変換手段、（３）は直接ブロック整合
手段、（４）は動きベクトル評価手段、（５）は動きベ
クトル評価手段、（６）は動きベクトル選別手段、
（７）は動きベクトルの後処理手段、（８）は補間手段
である。

───────────────────────────────────────────────────── フロントページの続き 合議体 審判長 井上 雅夫 審判官 石川 伸一 審判官 橋本 恵一

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】ビデオ信号の連続するフレームの間の画像
   の動きを表す複数の動きベクトルを導出する方法であっ
   て、 第１フレームの複数のブロックを次のフレームの複数の
   ブロックと比較して、上記第１フレームと上記次のフレ
   ームの間の対応するブロック内の画像の動きを表す動き
   ベクトルを導出するステップと、 上記比較の結果、導出された動きベクトルの数が予め定
   められた良好な動きベクトルの数よりも少ないブロック
   に割り当てるために、上記フレームに対して導出された
   全ての良好で非定常的な動きベクトルを生起頻度の順に
   ランク付けするステップと、 上記良好で非定常的な動きベクトルが既に選択された１
   つの動きベクトルに比べて予め定められた画素範囲内に
   納まらない限り、最も頻繁に起こる動きベクトルを選択
   するステップと、 を含む動きベクトル導出方法。