JPH0646383A

JPH0646383A - 動画の動き解析装置及び方法

Info

Publication number: JPH0646383A
Application number: JP5064108A
Authority: JP
Inventors: Carl William Walters; カール・ウィリアム・ウォルターズ; Stephen M Keating; スティーブン・マーク・キーティング; Nicholas I Saunders; ニコラス・イアン・サーンダース; Martin R Dorricott; レックスドリコットマーチン
Original assignee: Sony Broadcast and Communications Ltd
Current assignee: Sony Broadcast and Communications Ltd
Priority date: 1992-03-24
Filing date: 1993-03-23
Publication date: 1994-02-18
Also published as: GB2292039B; GB9519720D0; GB2265516B; GB9206419D0; GB9519719D0; GB2292040A; GB2265516A; GB2292040B; GB2292039A

Abstract

(57)【要約】【目的】動画の動き解析装置において、解析に要する
処理の量を減らし、高速処理を行なうこと。【構成】相関面を高解像度の第１相関面と低解像度の
第２相関面で作り、この相関面から相関最大値を探す
際、最小寸法変位ベクトルを真の動きベクトルとして決
め、こうして画像を構成する全ブロックについて動きベ
クトルを決めた後、ベクトル削減器で、目標ブロックと
それに隣接する第１組ブロック及びそれから離間した第
２組ブロックを使って、予め定められた選択テストによ
って、より少数のベクトルを取り出す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画の動きを解析する
装置に関し、特に、例えば、高品位テレビフォーマット
から５０Ｈｚ、２：１パル・テレビフォーマットへの動
き補償動画標準変換の一部として動画の動きを解析する
ことに関する。

【０００２】

【従来の技術】動き補償動画標準変換器については、英
国公開特許出願第ＧＢ−Ａ−２２３１７４９号（ソニー
株式会社）に説明されている。

【０００３】ＧＢ−Ａ−２２３１７４９号のシステム
は、異なったフォーマットを有する一連の入力画像から
一連の出力画像を導出するために動き補償補間を行な
う。

【０００４】ＧＢ−Ａ−２２３１７４９号の図１（添付
図面の図１としてここに転記してある）に図示されてい
るように、この標準変換器は、一連の処理ユニットを含
んでいる。

【０００５】入力端子１にビデオ信号が供給される。こ
の入力端子１は、プログレッシブ変換器２に接続されて
おり、そこで、これらの入力ビデオ・フィールドがビデ
オ・フレームに変換され、直接ブロック付き合わせ器３
へ供給され、そこで、相関面が作られる。

【０００６】これらの相関面は動きベクトル推定器４に
よって解析され、動きベクトルを導出し動きベクトル削
減器５へ供給する。動きベクトル削減器において、各ピ
クセルに対する動きベクトルの数が削減されてから、動
きベクトル選択器６に供給される。この動きベクトル選
択器はプログレッシブ走査変換器２からの出力も受信す
る。

【０００７】動きベクトル選択器６による動きベクトル
の選択における不規則性は、動きベクトル選択後処理器
７によって取り除かれ、そこから処理された動きベクト
ルが供給されて、補間器８を制御する。この補間器は、
プログレッシブ走査変換器２からの入力も受信する。

【０００８】補間器８からの出力は、標準変換され、か
つ、動き補償されたビデオ信号であって、出力端子９に
供給される。

【０００９】

【発明が解決しようとする課題】そのような標準変換器
は、補間される各出力画像に対して大量のデータ処理を
要する。この処理を高速化し、ハードウェアに対する要
求を軽減する方策があれば非常に好都合である。

【００１０】同様にして、動き補償標準変換器によって
作られた画像は、一般に良質であるが、この質をさらに
改良する方策があれば、非常に好都合である。

【００１１】公知の標準変換器においては、相関面は等
間隔点アレイ上で計算され、各々が異なった候補変位ベ
クトルに対応する。この相関面の計算は、実行すべき大
量のデータ処理を必要とし、システムの全速度に悪い影
響を及ぼすことになり得る。

【００１２】本発明は、上述の点に鑑みて、データ処理
量を減らし、高速処理を行なうことを目的とする。

【００１３】

【課題を解決するための手段】第１の観点からみると、
本発明は動画の動き解析のための装置を提供することで
あり、現画像内の画像データの第１サーチブロックと該
第１サーチブロックからの複数の異なる変位ベクトルに
よって変位された時間的に隣接する画像の第１部分の間
の画像相関を表わす第１相関面を計算する手段と、

【００１４】前記現画像内の画像データの第２サーチブ
ロックと該第２サーチブロックからの複数の異なる変位
ベクトルによって変位された時間的隣接画像の第２部分
の間の画像相関を表わす第２相関面を計算する手段と、
を含み、

【００１５】前記第１部分は、前記第２部分が広がる第
２サーチエリアと同心的で、それよりも小さい第１サー
チエリアにわたって広がっており、前記第１相関面は、
前記第２相関面より高い空間解像度になるように計算さ
れている。

【００１６】本発明の認識によれば、推定した動きベク
トル中の誤りによる影響は、大きい動きベクトルに対す
るよりも小さい動きベクトルに対して大きいと云うこと
である。もし或る画像を横切ってある物体が急速に動く
と、人間の目ではそれを正確に追跡することが困難であ
り、その動きのゆらぎは視覚的には明らかでない。

【００１７】この揺らぎは、小さい変位ベクトルに対応
する相関面の部分を計算することにより除かれて、大き
い変位ベクトルに対応する相関面よりも高空間解像度に
なる。

【００１８】この方法で、相関面を作るのに要する処理
の量は、補間された出力画像の質の低下を招くことなく
減らすことができる。

【００１９】第１相関面は、低寸法変位ベクトルに対応
し、第２相関面は、高寸法変位ベクトルに対応してい
る。

【００２０】第１相関面と第２相関面の計算はサーチブ
ロックの異なった形及び形式について行なうことができ
る。しかしながら、本発明の好ましい実施例において
は、第１サーチブロック及び第２サーチブロックは、前
記現在画像内部で同延である。

【００２１】この性質があるため、第１相関面と第２相
関面を計算して作った結果を結合することは容易にな
る。第１相関面と第２相関面の空間解像度が異なるよう
に作る好ましい方法は、前記第１サーチブロックと前記
第１部分が前記第２サーチブロックよりも高い空間解像
度にあることである。

【００２２】これは、もし前記第１サーチブロックと前
記第２部分が前記第１サーチブロックと前記第１部分を
それぞれサブ・サンプル（副標本化）すれば、あまり複
雑になることなしに行える。これらサブ・サンプルされ
たものはフィルターも通されるのが好ましい。

【００２３】第１相関面と第２相関面が別々に解析でき
て、相関最大、同定相関最大一致を照合できるようにす
るのがよい。

【００２４】しかしながら、本発明の好ましい実施例に
おいては、前記第１相関面と前記第２相関面は結合して
複合相関面を形成し、前記第１相関面は前記第２相関面
内の対応する部分を変位する。

【００２５】相関面は多くの異なった方法で計算でき、
或る場合には、計算された相関面の最小値が事実上最大
相関の点に対応するのも良い。

【００２６】この手法で結合相関面を作ると、後続の処
理ステップにおける不利な複雑さを避けることができ
る。

【００２７】本発明の好ましい実施例によれば、前記第
１相関面計算手段及び前記第２相関面計算手段が平行し
て動作する。

【００２８】第１相関面及び第２相関面の明らかな性質
は、その処理を並列化し、それによって処理速度を増す
ように利用できる分離を設けることである。

【００２９】この相関面が幾つかの異なった方法で計算
することができるという点は評価できよう。２つの主も
な方法は、位相相関と直接ブロック突き合わせである。

【００３０】本発明の好ましい実施例においては、直接
ブロック突き合わせが使われ、前記第１相関面計算手段
及び前記第２相関面計算手段が前記第１相関面と前記第
２相関面をそれぞれ計算し、各点に、前記現在画像と前
記先行画像の間のその点での画像データ値の大きさに比
例する高さを得る。そこでは、前記第１相関面又は第２
相関面の、より高い（複数の）点が低い相関の点に相当
し、前記第１相関面又は前記第２相関面の最小値が相関
の最大に相当する。

【００３１】上述のとおり、第１及び第２相関面を使う
動き解析装置は、動き補償画像標準変換器内部で特に有
用である。

【００３２】第２の観点からみると、本発明は動画の動
き解析のための方法を提供することであり、現画像内の
画像データの第１サーチブロックと該第１サーチブロッ
クからの複数の異なる変位ベクトルによって変位された
時間的に隣接する画像の第１部分の間の画像相関を表わ
す第１相関面を計算すること、

【００３３】前記現画像内の画像データの第２サーチブ
ロックと該第２サーチブロックからの複数の異なる変位
ベクトルによって変位された時間的隣接画像の第２部分
の間の画像相関を表わす第２相関面を計算すること、を
含み、

【００３４】前記第１部分は、前記第２部分が広がる第
２サーチエリアと同心的で、それよりも小さい第１サー
チエリアにわたって広がっており、前記第１相関面は、
前記第２相関面より高い空間解像度になるように計算さ
れている。

【００３５】公知の動きベクトル推定器においては、動
きベクトルは、相関面の最大振幅相関最大値を探すこと
によって相関面から発生されてきた。

【００３６】このように、相関面が１つ以上の相関最大
値を含むとき、その最大寸法の最大値を使って動きベク
トルを決定する。

【００３７】第３の観点からみると、本発明は動画の動
き解析をするための装置を提供することにあり、前記装
置は、

【００３８】現在画像内部の画像データのサーチブロッ
クと前記サーチブロックからの変位ベクトルを異ならせ
ることによって変位された時間的に隣接した画像の部分
との間の画像相関を表わす相関面を計算する手段、及び

【００３９】前記時間的に隣接した画像と前記現在画像
の間の前記サーチブロック内部の前記現在画像の部分の
動きを表わす動きベクトルを推定する手段であって、前
記相関面に同等の有効性を持つ複数の相関最大値がある
ときは、前記推定手段が、前記動きベクトルを、前記複
数の相関最大値の１つに終着する最低寸法変位ベクトル
として、推定する。

【００４０】多数の明らかに同等の有効相関最大値に直
面したとき、本発明は、動きベクトルを推定するために
最低寸法変位ベクトルを持つ相関最大値を使う。

【００４１】本発明は、低変位ベクトル（従って、低寸
法動きベクトル）の所の相関最大値となる低速動きは、
画像内部の方が高速動きよりも統計的により普通であ
る。

【００４２】従って、これにふさわしい方法で行なわれ
た動きベクトル推定は、良い結果をもたらす可能性が高
い。

【００４３】全相関面が探され（例えばラスタ走査サー
チパターン）、それから、検出された全相関最大値の中
から最低の寸法の変位ベクトルを持つ相関最大値が探さ
れる（この相関最大値については閾値テスト等のテスト
がなされ、相関面の背景ノイズの変化から本物の最大値
を区別する）。

【００４４】しかしながら、本発明の好ましい実施例に
おいては、前記推定手段が、単調に増加する変位ベクト
ル値の前記相関面内の点をテストすることによって、相
関最大値をサーチする。それによって、明らかに同等に
有効な相関最大値の群の中から見出された第１相関最大
値を使って前記動きベクトルを推定する。

【００４５】この特色によれば、この群の中から最低寸
法変位ベクトルを持つ相関最大値を見つけ出したら、類
似相関最大値を見つけるために残りの相関面のサーチに
おいて、その点はないという認識をしている。

【００４６】本発明の好ましい実施例においては、前記
相関面計算手段は、アドレス指定可能メモリの前記相関
面を表わすデータを蓄積する。

【００４７】この方法で、相関面を計算しその相関面を
解析する機能は都合よく分離でき、パイプライン処理で
きる。

【００４８】特に高速動きベクトル推定は、本発明の好
ましい実施例によって遂行できる。そこでは、前記推定
手段は、前記アドレス指定可能メモリから受信したデー
タから前記相関面の相関最大値を検出する構成となった
論理ゲートアレーを含む。

【００４９】相関面を通して好ましいサーチパターンを
実現する簡単で効果的な方法は、次のとおりである。す
なわち、前記推定手段が前記アドレス指定可能なメモリ
内のアドレスを発生するアドレス発生器を含み、そこか
ら、データが前記論理ゲートアレイが単調に増加する変
位ベクトルの大きさを持つ前記相関面内の複数の点での
相関最大値のためのテストを行なうような順序で、前記
論理ゲートアレイに送られる。

【００５０】このサーチブロックは異なった形と形式を
取り得ることで評価できる。しかし、前記サーチブロッ
クが、前記現在画像内部からの画像データ・エレメント
の矩形配列であるときは簡単化された実施ができる。

【００５１】同様にして、本発明の好ましい実施例にお
いては、前記先行画像の前記部分が前記時間的に隣接し
た画像内の矩形サーチエリアを形成する。

【００５２】前にも述べたように、相関面は多くの異な
った方法で計算できる。しかしながら、本発明の好まし
い実施例においては、前記相関面計算手段は、前記相関
面を計算して、前記現在画像と前記先行画像の間の点に
おける画像データ値の相違の大きさに比例する各点での
高さを得る。それによって、前記第１相関面又は前記第
２相関面における高い方の複数の点が相関の低い点に相
当し、前記第１相関面又は第２相関面の最小値が相関最
大値に対応する。

【００５３】この相関面計算技術は、前記相関面計算手
段が前記相関面に重み付けして、低い方の変位ベクトル
の大きさに対する一層高い値を得ることによって本発明
をもっと有効に利用できる。

【００５４】低い方の変位ベクトルの大きさに対して重
み付けすると、その結果、動きベクトルが信頼性のある
低い（大きさの）動きベクトルとなる見込みを増す。

【００５５】本発明は、出力画像の質及び高処理速度が
非常に重要な動き補償画像標準変換に使うのに特に適し
ていることは評価できる。

【００５６】第４の観点から見ると、本発明は、動画の
動き解析方法を提供するもので、次のステップを含む。
すなわち、

【００５７】現画像内の画像データのサーチブロックと
前記サーチブロックから異ならせる変位ベクトルによっ
て、変位された時間的に隣接した画像の部分の間の画像
データ相関を表わす相関面を計算すること、及び、

【００５８】前記時間的に隣接した画像と前記現画像の
間の前記サーチブロック内の前記現画像の部分の動きを
表わす動きベクトルを計算することであって、前記相関
面に等しい有効性を持つ複数の相関最大値があるとき、
前記相関は、前記動きベクトルとして前記複数の相関最
大値の１つに終端する最低の大きさの変位ベクトルを取
る。

【００５９】公知の標準変換器においては、この動きベ
クトル推定器の下流に動きベクトル削減器が設けられて
いる。

【００６０】この動きベクトル削減器の機能は、画像の
その部分を補間するのに使うため画像の各部分に対して
小組の動きベクトルを提供することである。

【００６１】この小組動きベクトルは、全画像に対し
て、計算された動きベクトルから選択される。矩形サー
チブロックを備えた公知のシステムにおいて、与えられ
た目標ブロックに対する小組の動きベクトルは、その目
標ブロックそれ自体、その目標ブロックに接する８ブロ
ックに対する動きベクトル及びグローバル動きベクトル
から選ばれる。動きベクトル削減器で作られる動きベク
トルは広範な断面の異なった型の動きベクトル、即ち、
部分動きベクトルとグローバル動きベクトルの混在で表
わすべきであることが重要である。

【００６２】画像の各部を補間するのに使う動きベクト
ルの広範な断面の型を準備しておけば、その画像内の真
の動きによくマッチした動きベクトルを使える可能性が
増す。

【００６３】このことは、良質の補間出力画像を作るた
めに望ましい。

【００６４】上述の要望は誤った（スプリアスの）動き
ベクトルが補間に使われないことを確実ならしめる必要
から複雑化している。

【００６５】これを達成するためには、動きベクトル
は、有効動きベクトルの期待される特性に基いて有効性
チェックに供される。

【００６６】もし、或る特定の動きベクトルが有効性チ
ェックに失敗すれば、そのベクトルに無効のマークがつ
けられ、動きベクトル削減器によって作られる動きベク
トルの小組内には含めない。

【００６７】第５観点からみると、本発明は、動画の動
き解析装置を提供するもので、次の手段を含む。すなわ
ち、

【００６８】現画像内のブロックの対応するアレイに対
する動きベクトルのアレイを計算する手段であって、前
記動きベクトルが、時間的に隣接する画像と前記現在画
像との間の前記ブロックの各々内の前記現画像のその部
分の動きを表わす手段と、

【００６９】さらに解析するのに使うための、現在目標
ブロックとしての各ブロックと関連付けられるべき複数
の動きベクトルを編集する手段と、を含み、前記編集手
段が、

【００７０】動きベクトルの前記アレイ内の前記動きベ
クトルが予め定められた有効テストに合う有効動きベク
トルであるかどうかを検出する手段と、

【００７１】もし有効であれば、前記現在目標ブロック
をその目標ブロックのために計算された動きベクトルと
関連づける手段と、

【００７２】もし有効であって、前回関連付けた動きベ
クトルのどれとも違い、あらかじめ定められた選択テス
トに満足すれば、前記現在目標ブロックを、その現在目
標ブロックを取り囲む１以上の組のブロックから取った
１以上の補充動きベクトルと関連付けるローカル・ベク
トル補充手段とを含む。

【００７３】本発明によれば、補充動きベクトルが使わ
れるべきベクトルの選択は、達成できる補間の精度に著
しい影響を与え得ることを認識している。

【００７４】この結果、本発明によれば、最もよく適合
する目標ブロックを囲む１以上の組の

【００７５】ブロックから、それらの動きベクトルを決
定する予め定められた選択テストを導入することによっ
て混入した付加層を準備することである。

【００７６】先行技術においては、固定し、かつ、或る
程度任意の順序で８つの隣接ブロックからのベクトルを
調べ、到達した第１の有効で、かつ、以前に選択されな
かったベクトルを選ぶことであった。

【００７７】１つの好ましい予め定められた選択テスト
は、前記編集手段が次の手段を含むシステムで実現でき
る。

【００７８】前記１以上の組のブロックからの前記動き
ベクトルのどれもが、前記１以上の組のブロックの前記
動きベクトルの全ての内部で、複数回生起するか否かを
決定し、そこで、ローカルベクトル補充手段が単一生起
をもつベクトルに先行する複数回生起を持つどの動きベ
クトルをも関係付けする。

【００７９】他の有利な選択テストは、前記編集手段が
次の手段を含むシステムにおいて実現される。すなわ
ち、前記１以上の組のブロックからの前記動きベクトル
のどれもが前記現在目標ブロックに向かう方向を有する
か否かを決定する手段を含み、そこにおいて、前記ロー
カルベクトル補充手段が、前記現在目標ブロックに向か
う方向を有しないベクトルに先行して前記現在目標ブロ
ックに向かう方向を持つ、どの動きベクトルも関連付け
る。

【００８０】本発明のもう一つの好ましい実施例は、前
記ローカルベクトル補充手段が前記現在目標ブロックに
最も近い第１組のブロックから補充ベクトルを取ること
であり、もし充分な補充の動きが前記現在目標ブロック
と関連付けられなければ、前記現在目標ブロックを囲む
第２組のブロックから補充ベクトルを取り、介在ブロッ
クによって前記第１組ブロックから空間的に離して置か
れる。

【００８１】この特徴によれば、もし与えられた動きベ
クトルが無効ならば、隣接動きベクトルも無効である可
能性が大きくなるという認識がある。

【００８２】この結果、もし与えられた動きベクトルが
無効であれば、隣接する８つの動きベクトルが全て無効
となることもある。この環境の下で、公知のシステム
は、そのブロックに対する小組の動きベクトル内部のグ
ローバル及びゼロ動きベクトルだけしか含まない。

【００８３】この小組内部にローカル動きベクトルが無
い場合は、その点で補間された出力画像の質は低下し易
い。

【００８４】この問題を認識して、本発明の特徴によれ
ば、現在目標ブロックに最も近い第１組のブロックと、
現在目標ブロックを囲んでいるが、第１組ブロックから
離して置かれた第２ブロックを提供することである。

【００８５】この好ましい特徴を含む本発明の実施例
は、第１に第１組のブロックにおいてローカルベクトル
を探し、次いで、もし必要があれば、第２組のブロック
を探す。

【００８６】第１組のブロックと第２組のブロックの間
の間隔は、その第１組ブロックのベクトルが無効であっ
ても、第２組のブロックからのブロックの動きベクトル
が、有効である可動性を増す。

【００８７】もし、現在目標ブロックだけが無効である
ような場合には、ローカルベクトル情報は、第１組ブロ
ック内部の空間的に近いブロックから見つけ出すことが
できる。この第１組ブロックは現在目標ブロックに対し
て得られた値に最も類似していそうである。

【００８８】しかしながら、問題が、現目標ブロックと
第１組ブロックの全部又は一部がともに無効動きベクト
ルであることを意味するものであれば、少なくとも幾つ
かのローカルベクトル情報は第２組ブロックから抽出さ
れ、そのシステムはグローバルベクトルに依存するのみ
である必要はない。

【００８９】前述のとおり、もしローカルベクトル情報
が適用できなければ、それはグローバルベクトル情報で
置換されるのが好ましい。従って、本発明の好ましい実
施例においては、前記編集手段が次の手段を含む。すな
わち、

【００９０】グローバルベクトル補充手段は、もし、前
記ローカルベクトル補充手段が充分な補充動きベクトル
を前記現在目標ブロックと関連付けることができなかっ
たならば、前記現在目標ブロックを前記現画像の全体の
動きから導出した１以上のグローバルベクトルと関連付
けるため、動作できる。

【００９１】これらのブロックは、多くの異なった形や
形式を取ることができるが、本発明の進歩したあまり複
雑でない実施例においては、前記ブロックは、前記現画
像内からの画像データエレメントの矩形配列である。

【００９２】そのような矩形ブロックを使えば、好まし
い実施例においては、前記現在目標ブロックは、前記８
個の修正ブロックからの全代替ブロックを含む前記第１
組のブロックを持つ８個の修正ブロックに境を接してい
る。

【００９３】もし、これらの代替ブロックが全部無効で
あれば妨害ブロックも無効であるということがありそう
なので、第１組の内部には、全代替ブロックだけが含ま
れている。修正ブロックの全てについて無効チェックを
するのは処理時間の無駄である。

【００９４】上記装置を使うと、前記第２組のブロック
が、前記第１組ブロックに含まれていない前記８個の修
正ブロックのブロックによって前記現在目標ブロックか
ら空間的に離して置かれた４のブロックを含む点が進歩
しているとわかった。

【００９５】この装置は、第１組のブロックと同じ無効
性を分け持つ可能性が少ない第２組のブロックの間に良
いバランスを与え、それでもまだ、現目標ブロックから
遠すぎることはない。

【００９６】この予め与えられた有効性テストは、多く
の形式を取り得るが、相関面振幅閾値判断をすることが
簡単になるものにするのが好ましい。

【００９７】本発明は、動き補償画像標準変換に使うの
に特に適した動きベクトル削減器を提供する。

【００９８】第６の観点からみると、本発明は動画の動
き解析の方法を提供するものであって、次のステップを
含む：

【００９９】或る現在画像内の複数のブロックで成る対
応アレーに対する動きベクトルであって、時間的に隣接
した画像と前記現在画像の間の前記ブロックの各々の内
部の前記現画像のその部分の動きを表わしている動きベ
クトルのアレイを計算するステップと；

【０１００】さらに解析するのに使う、現在目標ブロッ
クとしての各ブロックと関連付けるべき複数の動きベク
トルを編集するステップであって、前記動きベクトルの
アレイ内の前記動きベクトルが予め定められた有効性テ
ストに合う有効動きベクトルであるかどうかを決め、前
記現在目標ブロックを、もしそれが有効ならば、前記目
標ブロックに対して計算された動きベクトルと関連付
け、前記現在目標ブロックを、もしそれが有効で先行す
る関連動きベクトルのどれとも違い、予め定められた選
択テストを満足するならば、前記現在目標ブロックに囲
まれた１以上の組のブロックから取られた１以上の補充
動きベクトルと関連つける、ステップを含んでいる。

【０１０１】

【作用】本発明によれば、相関面の計算を第１相関面と
第２相関面に分けて計算し、第１相関面を第２相関面よ
り空間解像度の高いものとすることにより、全体の処理
量を減らすことができる。また、第１相関面と第２相関
面を平行して計算できるので処理速度が増す。動きベク
トルの推定は、複数候補の中で一番近い最大値（最も小
さいベクトル）を真のベクトルと推定する。動きベクト
ルの削減は、目標ブロックと補充ブロックについて有効
性チェックを行ない、この補充ブロックは目標ブロック
に近い第１組ブロックと目標ブロックから遠い第２組ブ
ロックに分け、第１組補充ブロックにより有効性判断が
できれば、それ以上のチェックを省いて処理量を減らし
ている。

【０１０２】

【実施例】図２は逆転相関面を示している。Ｘ及びＹ軸
は１フレーム中のサーチ・エリア内の位置を表わしてい
る。そこでは、時間的に隣接したフレーム内の１サーチ
ブロックからのその位置に対する整合パターンの各テス
トが行なわれた。

【０１０３】この相関テストは、サーチ・エリアのその
位置にある対応ピクセルと比較されるサーチブロック内
のピクセルに対する振幅値の差を合計することによって
なされる。

【０１０４】その結果得られた高い値は、相関が低いこ
とを、その結果得られた低い値は、相関が高いことを表
わしている。

【０１０５】図２に示された相関面は反転されたＺ軸を
持っていた。従って、図２の相関面における最大値２は
相関最大値である。

【０１０６】図３は相関面の空間解像度を示している。
図３の複合相関面４は第１解像度相関面６及び第２解像
度相関面８から成ると考えられる。

【０１０７】第１相関面６は、第２相関面８よりも小さ
くて同心的である。この図においては、第１相関面６は
第２相関面８の８倍の空間解像度を持っている。

【０１０８】図３において引かれた格子線の交点は、対
応するサーチ・エリア内で相関テストが行なわれる点を
表わしている。

【０１０９】図４は、テストされている画像が高相関の
エリアを探す方法と図３の複合相関面４の間の関係を示
す。サーチは、時間的に隣接した画像のサーチ・エリア
１０内に一連の相違する位置にあるサーチブロック１２
に対して、前に述べた相関計算を遂行することによって
実行される。

【０１１０】Ｘ線で示す境界内の内部エリア１４は、高
い方の空間解像度の第１相関面６に相当するサーチ・エ
リア１０のその部分である。Ｘ線で示す境界の外側の外
部エリア１６は、低い方の解像度の第２相関面８に対応
するサーチ・エリア１０のその部分である。

【０１１１】外部エリア１６内では、サーチブロック１
２は点Ａ，Ｂ，Ｃ等のシーケンス上に中心を持つ位置に
動かされる。これらの点は、距離δだけ空間的に離され
ている。上述のとおり、各点で、画像整合の度合を表わ
す相関値が計算される。

【０１１２】内部エリア１４内では、サーチブロック１
８は、再び点Ｘ，Ｙ，Ｚ等の上に中心を持つ一連の位置
に動かされる。これらの位置は、距離δ／２だけ離され
ている。上に説明したとおり、各点で画像整合の度合を
表わす相関値が計算される。

【０１１３】サーチブロック１２は、サーチブロック１
８をサブ・サンプルしたもの（これもフィルターを通さ
れる）である。同様にして、外部エリア１６は現画像を
サブ・サンプルしたもの（これもフィルターを通され
る）である。これに対して、内部エリア１４は現画像の
対応部分を全解像度で表わしたものである。

【０１１４】このようにして、外部エリア１６内の隣接
ピクセル位置の間の動きは、内部エリア内の隣接ピクセ
ル間の動きよりも大きい現画像内の空間的変位に相当す
る。

【０１１５】これは、図４の点Ａ，Ｂ，Ｃと点Ｘ，Ｙ，
Ｚの異なった間隔によって反映されている。

【０１１６】本発明を用いるときに行なう必要のある計
算の数の減少を図解するため、次の例を考える。

【０１１７】例１サーチ・エリアは８０×４８ピクセルの寸法としサーチ
ブロックは１６×１６ピクセルの寸法とする。サーチ・
エリア内のサーチブロックの動く範囲は、８０ピクセル
の方向に±３２ピクセル、４８ピクセル方向に±１６ピ
クセルである。

【０１１８】従って、結果としての相関面は１６×３２
点を有し、それらの点で、１６×１６の差計算を行なっ
て相関値を計算する必要がある。この結果、各相関面に
対して全部で５２４，２８８の差計算が行なわれる。

【０１１９】この相関面内の各点で、その点に対する１
６×１６の差計算をしてそれらを合計して相関値を作る
必要もある。この結果、各相関面に対して総計２０４８
の和計算が行なわれる。例２異なった解像度特性をもつ内部エリアと外部エリアが用
いられる。

【０１２０】４８×３２ピクセル寸法の内部エリア内
に、１６×１６ピクセル寸法のサーチブロックが使われ
る。この内部エリア内において、これは、４８ピクセル
方向に±ピクセル、３２ピクセル方向に±８ピクセルの
可動範囲に相当する。

【０１２１】従って、対応する第１高空間解像度相関面
は３２×１６に等しい点を有する。上述のとおり、第１
相関面内の点の各々に対して、差計算が行なわれなけれ
ばならない。

【０１２２】この結果、第１相関面のために、総計１３
１，０７２個の差計算が必要である。この第１相関面内
の各点ついて、合計１６×１６個の差が必要である。こ
れは、第１相関面に対する５１２和計算に相当する。

【０１２３】第２相関面を計算するため、例１の全８０
×４８サーチ・エリアの２：１にサブ・サンプルしたも
のが使われる。この例では、事実、第２相関面は、第１
相関面において、もっと正確に決定されたその中央部分
領域を含む。

【０１２４】第２相関面に対するサブ・サンプルされた
サーチ・エリアは４０×２４ピクセル寸法を持つ。対応
するサブ・サンプルされたサーチブロックは８×８ピク
セルの寸法を持つ。

【０１２５】サブ・サンプルされたサーチ・エリア内の
ピクセルの動く範囲は４０ピクセル方向に±１６，２４
ピクセル方向に±８である。従って、第２相関面は３２
×１６の寸法を有する。

【０１２６】第２相関面の場合には、相関面内の各点に
対して、８×８個の差計算が必要である。このように、
第２相関面を発生するのに必要な差計算の総数は３２，
７６８である。相関面内の各点では、第２相関面に対し
て合計５１２個の和計算に相当する和計算が行われなく
てはならない。

【０１２７】例１と例２を比較すると、差計算の総数
は、５２４，２８８回から１６３，８４０回に減らさ
れ、和計算の総数は２０４８から１０２４に減らされ
た。この行なわれる必要のある計算の数の減少は、第２
相関面内におさまる大きな振幅変位ベクトルに対して空
間解像度を減らすという代価を払って達成された。

【０１２８】しかし、前にも検討したように、大きな振
幅の動きベクトルが計算できる、より低い空間解像度に
することに伴なう影響のために、知覚できる画像の質を
著しく低下させることはない。

【０１２９】図５は、図３及び４との関係で検討された
相関面を計算する回路を示す。現在フレームは、フレー
ム蓄積器２０に蓄積されている。前回フレームはフレー
ム蓄積器２２に蓄積されている。

【０１３０】サーチブロック選択器２４は現在画像中か
らｎ×ｍサーチブロックを拾い出す。この回路の機能
は、サーチブロックに整合する対応するｎ×ｍブロック
に対し前回フレーム内で探すことである。

【０１３１】サーチブロックからのｎ×ｍピクセル値の
アレイがバス２６を下って相関評価器２８に供給され
る。前回フレームのサーチ・エリア内部の異なった位置
からのｎ×ｍピクセル値のアレイは、バス３０を通して
順次相関評価器２８へ供給される。

【０１３２】アドレス発生器３２は、アドレスを作り、
サーチ・エリア内の位置を指示し、そのエリアからｎ×
ｍピクセル値が選択され、バス３０を介して、相関評価
器２８に供給される。

【０１３３】このアドレス値は、サーチブロック選択器
２４、相関評価器２８及び相関面メモリ３４へも供給さ
れる。アドレス発生器３２で発生された一連のアドレス
値は、増分計数値を予め定められた順序のアドレスにマ
ッピングするためＰＲＯＭ３８のアドレス指定をするカ
ウンタ３６を有することによって都合よく作られる。

【０１３４】相関面メモリ３４に供給されたアドレス値
は、相関評価器２８からの各出力値が蓄積されている点
の相関面メモリ３４内の位置を制御するのに使われる。

【０１３５】相関評価器２８に供給されたアドレス値
は、相関評価器２８によって発生された相関値に重み付
け機能を与える制御をするのに使われる。

【０１３６】この重み付け機能は、より小さい振幅変位
ベクトルに対して示された相関を増加する役目をする。
それに加えて、相関評価器２８に供給されたアドレス値
は、そのアドレス値が第１相関面内の或る点を示すか、
それとも第２相関面内の或る点を示すかによって、採択
される異なった数の差計算を持つ相関評価器２８を、高
解像度計算モードと低解像度計算モードの間で切り換え
るのに役立つ。

【０１３７】サーチブロック選択器２４へ与えられるア
ドレス値も、そのアドレス値が第１相関面内部の点を示
しているか第２相関面内部の点を示しているかに依っ
て、バス２６上へ、全解像度又はサブ・サンプルされた
サーチブロックのどちらか一方を供給するようにサーチ
ブロック選択器２４を制御する役目をする。

【０１３８】図５の回路において、第１相関面及び第２
相関面の計算は、平行しては行なわれない。

【０１３９】図５に示すとおり、低解像度計算に永久的
に切り換えられた回路と、高解像度計算に永久的に切り
換えられた回路の２つの回路を備えることによって平行
動作が容易に行なえるようにするのも良いであろう。

【０１４０】それぞれの相関面メモリ内に蓄えられた第
１及び第２相関面は、それぞれ、重畳して複合相関面を
発生する。実際には、必要なのは複合相関面内の位置に
依ってそれぞれの相関面メモリから相関面データが読み
出された点の適正な切換をすることだけである。

【０１４１】図６及び図７は２つの時間的に隣接した画
像を示す。図６の画像は、図７の画像を作る。両画像
は、人４０の手及びクロス（ばつ印）４２を含む。人４
０の手は、左方へ動き、クロス４２は左方及び下方へ動
く。

【０１４２】図示の例において、図６の画像と図７の画
像の間でクロス４２の動きを表わす動きベクトルを決定
するのが好ましい。この動きベクトルは、図６と７の画
像の時間的に中間の画像を補間するのに使うこともでき
るだろう。

【０１４３】クロス４２を囲むサーチブロック４４は、
図７の画像内の種々の位置でテストされる。たまたま、
人４０の手の中央の部分は、サーチブロック４４に良く
相関一致している。

【０１４４】真の動きに対する動きベクトルはＶ₁であ
り、人４０の手の中央の部分から誤って相関一致した点
に対応する動きベクトルはＶ₂である。

【０１４５】図８は、図７の画像内のサーチブロック４
４に対して発生された反転相関面を表わしている。この
相関面は、真の動きベクトルに相当する相関最大値Ｍ₁
と偽の動きベクトルに相当する相関最大値Ｍ₂を示して
いる。

【０１４６】相関決定処理とフレーム間で同じ物体を表
わすピクセル値の間の正規の変化（例えば、物体が影に
動いて行く）が与えられていれば、偽の相関最大値Ｍ₂
が真の相関最大値Ｍ₁と同じ大きさを持つであろうこと
は全く可能である。

【０１４７】この場合、正しい結果を選ぶ助けとなる何
らかの方策が必要である。相関面内の点Ｃが隣接フレー
ム間の物体のゼロ変位に相当する相関面の中央点を表わ
している。

【０１４８】図９は、立体等高線で図解された相関最大
値Ｍ₁及びＭ₂を有する図８の相関面の平面図を示す。

【０１４９】図９からわかるとおり、偽最大値Ｍ₂に対
する変位ベクトルＶ₂の大きさは真最大値Ｍ₁に対す変
位ベクトルＶ₁よりも大きい。

【０１５０】一般的ルールとして、等しい高さ（又は深
さ）の１以上の相関最大値を持つ相関面であって、有効
なものにおいて、真の相関最大値は、変位ベクトルの大
きさが最小のものが最もありうる値である。このルール
はどんな場合にもあてはまるものではないが、これを使
えば、動きベクトル照合の全体的な改善がなされる。

【０１５１】図１０，１１及び１２は、複数の相関最大
値を同定するために相関面がサーチされる種々のパター
ンを示している。

【０１５２】図１０は、単純なラスタ走査サーチ・パタ
ーンである。このサーチパターンの間に各相関最大値に
出会うので、その対応する変位ベクトルの大きさは前回
同定された相関最大値のどれとも比較される。

【０１５３】もし、新たに同定された相関最大値の変位
ベクトルの大きさが、前回蓄積された相関最大値の値よ
りも小さければ、現在の最良の相関最大値候補として、
その前回に蓄積された値を新たに出会った相関最大値で
置換する。

【０１５４】ラスタ走査サーチが終ったとき、相関最大
値と、蓄積された対応する変位ベクトルは、サーチ・パ
ターンの間に出会った最小変位ベクトルの大きさを持つ
ものであろう。

【０１５５】図１１は、もう一つの可能なサーチ・パタ
ーンを示している。このサーチ・パターンにおいては、
相関面の中央から外に向けてスパイラル状に広がる点が
順次テストされて、相関最大値を表わしているかどうか
をみる。この方法において、単調に増加する変位ベクト
ルの大きさを持つ点が順次テストされる。このサーチパ
ターンは一群の等しく有効な複数の最大値内で出会った
最初の相関最大値が最小の変位ベクトルの大きさを持つ
ものであることを確実にする。

【０１５６】図１１のサーチ・パターンは、実際上、最
終解像度相関面に対してエレガントで理想的なものであ
るが、純粋にスパイラルなサーチ・パターンを達成する
ことは容易なことではない。

【０１５７】図１２のサーチパターンは解を示してい
る。各マス内の数値は、その四角の中央にある相関面の
点が、相関最大値を表わしているかどうかを見るために
テストされる順序を示している。図１２に示された順序
は、変位ベクトルの大きさにおける単調増加変化を示し
ている。

【０１５８】図１３及び１４は、それぞれ図１１及び１
２のサーチ・パターンに対する変位ベクトルの大きさの
変化を表わしている。図１１の理想化されたサーチパタ
ーンが図１３に示されたような滑らかに増加する変位ベ
クトルの大きさになるのに対して、図１２のシステム及
びそれに伴なうサーチパターンの最終解像度は図１４に
示すように変位ベクトルの大きさが階段状に増加する。

【０１５９】図１４に示した変位ベクトルの大きさは、
それが増加し続けるか、同じにとどまるかして、決して
減少することはないから、依然として、単調増加であ
る。

【０１６０】図１５は、図１０，１１及び１２のサーチ
パターンを実行する回路を示す。図５の回路によって計
算された相関面は、相関面メモリ４６内に蓄積される。

【０１６１】相関面における各点がテストされると、テ
スト下に置かれたピクセル（ばっ点で示されている）上
に中心を持つピクセル値のアレイ４８はマルチ・ビット
・バスを介して論理ゲートアレイ５０に与えられる。

【０１６２】この論理ゲート・アレイは、周囲の点に比
べてテスト中の点に対する相関値の高速ハードワイヤ比
較を提供する。もしテスト中の点での相関値が周囲の点
よりも高く、閾値判定等の他のテスト基準に合うなら
ば、最大値として同定される。そして、テスト中のピク
セルのアドレスが、論理ゲートアレイ５０からのＭＡＸ
信号のあるとき最大値位置メモリ５２に蓄積される。

【０１６３】相関面内の点がテストされるシーケンスは
カウンタ５７によって制御される。このカウンタの増分
計数値はＰＲＯＭアドレスマップ５６を介して、相関面
内の予め定められた順序のアドレス位置にマップされ
る。

【０１６４】ＰＲＯＭアドレス・マップ５６を適正にプ
ログラムすることによって、図１０及び１２に図示され
た所望のサーチパターンのどれか１つを行なうことがで
きる。

【０１６５】「ベクトル削減」と称する処理段を有する
英国公告特許出願ＧＢ−Ａ−２，２３１，７４９号に説
明されている型の動き補償標準変換器等のシステムを提
供することは知られている。この段では、適正動きベク
トルの小選択がその画像の各エリアに対して決められ
る。

【０１６６】その後、この小組の動きベクトルの中から
１つのベクトルのピクセル選択を行ったピクセルは、
「ベクトル選択」段で作られ、選択された動きベクトル
は、それが関係する画像のそのピクセルを補間するのに
使われる。

【０１６７】この選択ができる適正組の動きベクトルを
与えることが重要である。その特定の位置それ自体、又
はそれに接近した位置から導出されたローカル動きベク
トル情報を持つことが有利である。動きベクトル解析は
複雑な多段処理であって、多くの異なった点で故障しう
ることを評価されるであろう。

【０１６８】従って、画像の特定のブロックに対して、
動きベクトルが計算されてこなかったと云うことは特別
のことではない。この環境下では、図１６に示したサー
チパターンを採用して、動きベクトルを境界８ブロック
から減算したものを探すことが以前に提案された。

【０１６９】この複数のブロックは、それらが有効動き
ベクトルを含んでいるか否かがわかるような順序でテス
トされ、もし含んでいれば、目標ブロックに対してこれ
が選ばれる。目標ブロックが有効動きベクトルを持って
いる場合でも、後続の処理に潜在的に使われる周囲ブロ
ックからの１以上のローカル動きベクトルを選ぶのが有
利である。

【０１７０】図１６に示されたサーチ・パターンを使え
ば、ローカル・ベクトル情報が選ばれる固定的でかつ或
る程度任意の順序にして、その結果、遂行の程度が減ら
せる。

【０１７１】それに加えて、もし問題の目標ブロックが
無効動きベクトルを持つならば、周囲の８ブロックが全
部同じ欠点になやまされると云う好ましくない確率が高
い。

【０１７２】この場合、選択がなされなければならない
動きベクトルの組内には、ローカル動きベクトル情報が
含まれていないであろう。ローカル動きベクトルが無け
れば、作られる補間の質を低下できる。

【０１７３】図１７に示したサーチパターンは、第１組
の補充ブロック（１，２，３，４）と第２組の補充ブロ
ック（５，６，７，８）を提供する。第１組の補充ブロ
ックは、中央目標ブロックに直接境界を接する。

【０１７４】もし大きな誤りがないならば、ローカル・
ベクトル情報は目標及び第１補充ブロックから抽出でき
る。このローカル・ベクトル情報は、補間をする部分に
最も近い画像の部分から抽出されるので、最も正確であ
ると考えられる。

【０１７５】しかし、もし大エリアの誤りが起こったな
らば、その第１補充ブロックから隔てられた第２補充ブ
ロックを用意することは、目標及び第１補充ブロックの
どんな誤りも第２補充ブロックにも影響を与えることは
なさそうだと云うことを意味している。

【０１７６】この場合、大型誤りが起こったとしても、
少なくとも或るローカル・ベクトル情報は抽出され、グ
ローバル及びゼロ動きベクトルにだけ頼る必要はない。

【０１７７】動きベクトル削減処理において、選択テス
トを準備する一方法は、図１８及び１９に示した戦略に
よって提供される。後続の処理に使われる３つのローカ
ル動きベクトルを選ぶのに望ましい例を考えよう。

【０１７８】ステップ５８と６０で、問題の目標ブロッ
クに対する動きベクトルが、もし有効ならば、選択され
る。ステップ６２で、第１及び第２組からの動きベクト
ルが全て比較され、１度以上生起したものは、どれもマ
ークされる。

【０１７９】ステップ６４で、有効、かつ１度以上発生
したベクトルは第１組から選択される。ステップ６６
で、それ以上の動きベクトルが選ばれる必要があるか否
かに関してテストが行なわれる。もし、まだ動きベクト
ルが要求されるならば、ステップ６８で、有効、かつ既
に選択されているものではない第１組から、それらの動
きベクトルを選択する。

【０１８０】ステップ７０で、再び、もっと動きベクト
ルが要求されるかどうかをチェックする。もし、もっと
多くの動きベクトルがまだ要求されていれば、ステップ
７２で、一度以上起こり、かつ有効な第２組から動きベ
クトルを選択する。

【０１８１】ステップ７４で、もっと動きベクトルが要
求されているかどうかを再びチェックする。もし、もっ
と動きベクトルが要求されていれば、ステップ７６で、
有効、かつ既に選ばれたものではない第２組からそれら
の動きベクトルを選択する。

【０１８２】ステップ７８及び８０で、グローバル動き
ベクトルを持つ動きベクトルに対する残余の要求を満た
す。

【０１８３】全体的に見て、この選択戦略は、次の順で
ベクトルを選択する。１．有効目標ブロック・ベクトル２．１度以上生起する有効第１組ベクトル３．有効第１組ベクトル４．１度以上生起する有効第２組ベクトル５．有効第２組ベクトル６．グローバル・ベクトル

【０１８４】もう一つの有利な戦略は、図２０及び２１
に示されている。ステップ８２及び８４において、目標
ブロックに対するベクトルが、もし有効ならば、選択さ
れる。

【０１８５】ステップ８６において、第１及び第２組か
らの全ベクトルは、それらが目標ブロックの方向を指し
ているかどうかを知るために、テストされる。ステップ
８８及び９２において、第１、もし必要ならば第２組の
ベクトルが検査され、有効かつ集束としてマークされた
ものは、どれも選択される。

【０１８６】ステップ９４で、これ以上のベクトルが要
求されているか否かに関してテストが行なわれる。も
し、もっとベクトルが要求されるならば、ステップ９６
と１００で第１組からの有効ベクトルを選択し、必要な
らば（ステップ９８）、第２組からの有効ベクトルを選
択する。

【０１８７】ステップ１０２で、もっとベクトルを要求
するか否かに関して、もう一つのテストが行なわれる。
もし、もっとベクトルが要求されていれば、ステップ１
０４で、グローバル・ベクトルが選択される。

【０１８８】全体的にみて、この選択戦略は、次の順序
でベクトルを選択する。１．有効目標ブロック・ベクトル２．目標ブロックに向けて集束する有効第１組ベクトル３．目標ブロックに向けて集束する有効第２組ベクトル４．有効第１組ベクトル５．有効第２組ベクトル６．グローバル・ベクトル

【０１８９】図１８，１９，２０及び２１に示された戦
略は適正にプログラムされた一般目的コンピュータ上で
実行できる。もし速度が非常に重要ならば、適正論理は
ハードワイヤにすることができる。

【０１９０】上述のテストの組み合わせを使うことがで
きることも評価されるであろう。

【０１９１】好ましい高速の実施例においては、可能な
有効補充動きベクトルは全て、所望の用途順で計算され
ＦＩＦＯメモリに蓄積される。

【０１９２】その後ＦＩＦＯメモリから１時に１つずつ
蓄積されたベクトルを読み出す際、それらは、正しい優
先順序を持つであろう。このように、１ブロックに対し
て１組の３つのベクトルが要求されるならば、初めの３
つの値はＦＩＦＯから読み上げられ、これらは、前回同
定した最も高い優先順位の適合ベクトルに対応する。

【０１９３】まだ充分なベクトルが同定されていないか
どおかを決めるのに図１８，１９，２０及び２１に示す
如き、繰り返しテストステップを必要としない。

【０１９４】

【発明の効果】本発明の動き解析方法及び装置は、その
解析のための処理量が減り、高速解析ができるようにな
った。

【図面の簡単な説明】

【図１】動き補償された動画標準変換器のブロック図で
ある。

【図２】逆転した相関面を示す図である。

【図３】相関面の中央及び周辺部分に対して異なった空
間解像度を使ったものを示す図である。

【図４】図３の相関面が計算される仕方を示す図であ
る。

【図５】図３及び図４の相関面を計算する回路を示す図
である。

【図６】動きベクトル照合のための潜在的にめんどうな
情況を示す図である。

【図７】動きベクトル照合のための潜在的にめんどうな
情況を示す図である。

【図８】図６及び図７の画像から計算された逆転相関面
を示す図である。

【図９】図６及び図７の画像から計算された逆転相関面
を示す図である。

【図１０】相関面の相関最大値を探す走査パターンを示
す図である。

【図１１】相関面の相関最大値を探す走査パターンを示
す図である。

【図１２】相関面の相関最大値を探す走査パターンを示
す図である。

【図１３】図１１の走査パターンによる変位ベクトルの
大きさの変化を示す図である。

【図１４】図１２の走査パターンによる変位ベクトルの
大きさの変化を示す図である。

【図１５】相関面の走査を制御する回路を示す図であ
る。

【図１６】動きベクトル削減のための方策を示す図であ
る。

【図１７】動きベクトル削減のための他の方策を示す図
である

【図１８】ベクトル削減処理を示すフローチャートであ
る。

【図１９】ベクトル削減処理を示すフローチャートであ
る。

【図２０】ベクトル削減処理の他の例を示すフローチャ
ートである。

【図２１】ベクトル削減処理の他の例を示すフローチャ
ートである。

【符号の説明】

２０フレーム蓄積器（現在フレーム用）２２フレーム蓄積器（前回フレーム用）２４サーチブロック選択器２８相関評価器３２アドレス発生器３４相関面メモリ

フロントページの続き (72)発明者カール・ウィリアム・ウォルターズイギリス国ＲＧ１７ＨＰ，バークシャー，レディング，グレートノリスストリート 139 (72)発明者スティーブン・マーク・キーティングイギリス国ＲＧ６３ＡＢ，バークシャー，レディング，ローワーアーリー，ハンティングトンクロース28 (72)発明者ニコラス・イアン・サーンダースイギリス国ＲＧ24 ０ＲＬ，ハンプシャー，ベージングストーク，チャイネハム, モンガースピース 21 (72)発明者マーチンレックスドリコットイギリス国ＲＧ24 ０ＥＤ，ハンプシャー，ベージングストーク，ベージング，リングフィールドクロース６

Claims

【特許請求の範囲】

【請求項１】現在画像内部の画像データの第１サーチ
ブロックと該第１サーチブロックから異ならせる変位ベ
クトルによって変位された時間的に隣接する画像の第１
部分の間の画像相関を表わす第１相関面を計算する手段
と、前記画像内部の画像データの第２サーチブロックと該第
２サーチブロックから異ならせる変位ベクトルによって
変位させた時間的に隣接する画像の第２部分の間の画像
相関を表わす第２相関面を計算する手段と、を含み、前記第１部分が、前記第２部分が広がる第２サーチ・エ
リアよりも小さく、かつ、同心的である第１サーチ・エ
リア上に広がり、前記第１相関面が、前記第２相関面よ
りも高い空間解像度となるように計算されていることを
特徴とする動画の動きの解析装置。
【請求項２】請求項１記載の装置において、前記第１サーチブロックと前記第２サーチブロックが前
記現在画像内に同時に存在することを特徴とする動画の
動き解析装置。
【請求項３】請求項１又は２記載の装置において、前記第１サーチブロックと前記第１部分が、第２サーチ
ブロックよりも高空間解像度であることを特徴とする動
画の動き解析装置。
【請求項４】請求項２又は３記載の装置において、前
記第２サーチブロック及び前記第２部分がそれぞれ前記
第１サーチブロック及び前記第１部分からのサブ・サン
プルされたものであることを特徴とする動画の動き解析
装置。
【請求項５】前記各請求項のいずれかに記載された装
置において、前記第１相関面と前記第２相関面が結合し
て複合相関面を形成し、前記第１相関面が、前記第２相
関面内の対応する部分のいずれをも置換することを特徴
とする動画の動き解析装置。
【請求項６】前記各請求項のいずれかに記載された装
置において、前記第１相関面計算手段と前記第２相関面
計算手段が平行して動作することを特徴とする動画の動
き解析装置。
【請求項７】前記各請求項のいずれかに記載された装
置において、前記第１相関面計算手段と第２相関面計算
手段が、それぞれ前記第１相関面と前記第２相関面を計
算し、前記現在画像と前記先行画像の間のその点での画
像データ値の差の大きさに比例した各点での高さを得る
ことにより、前記第１相関面又は第２相関面における高
い方の点が低相関の点に対応し、前記第１相関面又は前
記第２相関面における最小値が相関最大値に相当するこ
とを特徴とする動画の動き解析装置。
【請求項８】前記請求項のいずれか１つに記載した装
置における動画の動き解析のための装置を含む動き補償
画像標準変換装置。
【請求項９】現在画像内部の画像データの第１サーチ
ブロックと該第１サーチブロックから異ならせる変位ベ
クトルによって変位された時間的に隣接する画像の第１
部分の間の画像相関を表わす第１相関面を計算するステ
ップと、前記画像内部の画像データの第２サーチブロックと該第
２サーチブロックから異ならせる変位ベクトルによって
変位された時間的に隣接する画像の第２部分の間の画像
相関を表わす第２相関面を計算するステップと、を含み、前記第１部分が、前記第２部分が広がる第２サーチ・エ
リアよりも小さく、かつ同心的である第１サーチ・エリ
ア上に広がり、前記第１相関面が、前記第２相関面より
も高い空間解像度となるように計算されることを特徴と
する動画の動き解析方法。
【請求項１０】現在画像内の画像データのサーチブロ
ックと前記サーチブロックから異ならせる変位ベクトル
によって変位された時間的に隣接する画像の部分の間の
画像相関を表わす相関面を計算する手段と、前記時間的に隣接した画像と前記現在画像の間の前記サ
ーチブロック内の前記現在画像のその部分の動きを表わ
す動きベクトルを推定する手段とを含み、前記相関面
に、等しく有効な複数の相関最大値があるとき、前記推
定手段が前記動きベクトルを、前記複数の相関最大値の
１つに終端する最低の大きさの変位ベクトルとして推定
するようになした動画の動き解析装置。
【請求項１１】請求項１０記載の装置において、前記
推定手段が、単調に増加する変位ベクトルの大きさの前
記相関面内の点をテストすることにより相関最大値を探
し、それによって、出会った最初の相関最大値が前記動
きベクトルを推定するのに使われることを特徴とする動
画の動き解析装置。
【請求項１２】請求項１０又は１１記載の装置におい
て、前記相関面計算手段がアドレス指定可能なメモリの
前記相関面を表わすデータを蓄積することを特徴とする
動画の動き解析装置。
【請求項１３】請求項１２に記載の装置において、前
記推定手段が、前記アドレス指定可能なメモリから受信
したデータから、前記相関面における相関最大値を検出
するように構成された論理ゲートアレイを含むことを特
徴とする動画の動き解析装置。
【請求項１４】請求項１１，１２及び１３記載の装置
において、前記推定手段が、前記アドレス指定可能メモ
リ内のアドレスを発生するためのアドレス発生器を含
み、そのメモリから、データが、単調増加変位ベクトル
の大きさの前記相関面内の点で、前記論理ゲートアレイ
が相関最大値をテストするような順序で、前記論理ゲー
トアレイに送られることを特徴とする動画の動き解析装
置。
【請求項１５】請求項１０〜１４のいずれかに記載の
装置において、前記サーチブロックが、前記現在画像内
からの画像データ・エレメントの矩形アレイであること
を特徴とする動画の動き解析装置。
【請求項１６】請求項１０〜１５のいずれかに記載の
装置において、前記先行画像の前記部分が前記時間的に
隣接した画像内の矩形サーチエリアを形成することを特
徴とする動画の動き解析装置。
【請求項１７】請求項１０〜１６のいずれかに記載さ
れた装置において、前記相関面計算手段が前記相関面を
計算し、前記現在画像と前記先行画像の間のその点での
画像データ値の差の大きさに比例した各点での高さを得
ることにより、前記第１相関面又は第２相関面における
高い方の点が低相関の点に対応し、前記第１相関面又は
前記第２相関面における最小値が相関最大値に対応する
ことを特徴とする動画の動き解析装置。
【請求項１８】請求項１０〜１７のいずれかに記載さ
れた装置において、前記相関面計算手段が前記相関面に
重み付けをして、低い方の変位ベクトルの大きさに対し
て高めの値を持つようにしたことを特徴とする動画の動
き解析装置。
【請求項１９】請求項１０〜１８のいずれか１つに記
載の動画の動き解析装置を含む動き補償画像標準変換装
置。
【請求項２０】現在画像内部の画像データのサーチブ
ロックと該サーチブロックから異ならせる変位ベクトル
によって変位された時間的に隣接する画像の第１部分の
間の画像データ相関を表わす相関面を計算するステップ
と、前記時間的に隣接する画像と前記現在画像の間の前記サ
ーチブロック内の現在画像のその部分の動きを表わす動
きベクトルを推定するステップを含み、前記相関面に同等の有効性を持つ複数の相関最大値があ
るときは、前記推定は前記動きベクトルとして、前記複
数の相関最大値の１つに終着する最低の大きさの変位ベ
クトルを取ることを特徴とする動画の動き解析方法。
【請求項２１】現在画像内のブロックの対応するアレ
イに対する動きベクトルのアレイを計算し、時間的に隣
接する画像と前記現在画像の間の前記ブロックの各々の
内部の前記現在画像のその部分の動きを表わす動きベク
トルを得る手段と、さらに解析するために、現在目標ブロックとして、各ブ
ロックと関連付けるべき複数の動きベクトルを編集する
手段と、を含み、この編集手段が、もし前記動きベクトルのアレイ内の前記動きベクトルが
予め定められた有効性テストに合う有効動きベクトルで
あるか否かを検出する手段と、前記現在目標ブロックが、もし有効ならば、それを前記
目標ブロックに対して計算された動きベクトルと関連付
ける手段と、前記現在目標ブロックが、もし有効であり、かつ、前に
関連付けられた動きベクトルのどれとも違い、予め定め
られた選択テストを満たすならば、それを、前記現在目
標ブロックを囲む１以上の組のブロックから取られた１
以上の補充動きベクトルと関連付けるローカル・ベクト
ル補充手段とを含むことを特徴とする動画の動き解析装
置。
【請求項２２】請求項２１記載の装置において、前記
編集手段が、前記１以上の組のブロックからの前記動き
ベクトルのどれもが、前記１以上の組のブロックにおい
て前記動きベクトルの全て内で複数回発生するかどうか
を決める手段を含み、前記ローカル・ベクトル補充手段
が１回起こるものに先行して複数回起こったどの動きベ
クトルとも関連付けることを特徴とする動画の動き解析
装置。
【請求項２３】請求項２１に記載の装置において、前
記編集手段が、前記１以上の組のブロックからの前記動
きベクトルのどれもが前記現在目標ブロックに向かう方
向を持つかどうかを決める手段を含み、前記ローカル・ベクトル補充手段が、前記現在目標ブロ
ックに向かう方向を持たないものに先行して、前記現在
目標ブロックに向かう方向を持つ動きベクトルを関連付
ける。
【請求項２４】請求項２１，２２又は２３のいずれか
に記載した装置において、前記ローカルベクトル補充手
段が、前記目標ブロックに最も近い第１組のブロックか
ら補充ベクトルを取り、もし、充分な補充動きが前記現
在目標ブロックと関連付けられなかったならば、前記現
在目標ブロックを囲む第２組のブロックから取り、介入
ブロックによって前記第１組のブロックから隔てて置か
れることを特徴とする動画の動き解析装置。
【請求項２５】請求項２１〜２４のいずれか１つに記
載された装置において、前記編集手段が、もし前記第２
ローカル・ベクトル補充手段が充分な補充動きベクトル
を前記目標ブロックと関係付けすることができなかった
ならば、前記現在目標ブロックを前記現在画像の全体の
動きから導出された１以上のグローバル・ベクトルと関
係付けるように動作できるグローバル・ベクトル補充手
段を含むことを特徴とする動画の動き解析装置。
【請求項２６】請求項２１〜２５のいずれか１つに記
載の装置において、前記ブロックが前記現在画像内から
の画像データ・エレメントの矩形アレイであることを特
徴とする動画の動きベクトル解析装置。
【請求項２７】請求項２６記載の装置において、前記
現在目標ブロックが、前記８つの修正ブロックからの全
交替ブロックを含む前記第１組のブロックを備えた８つ
の修正ブロックに境を接していることを特徴とする動画
の動き解析装置。
【請求項２８】請求項２７記載の装置において、前記
第２組のブロックが、前記８つの修正ブロックの中の前
記第１組のブロックに含まれていないブロックによって
前記現在目標ブロックから隔離された４つのブロックを
含むことを特徴とする動画の動き解析装置。
【請求項２９】請求項２１〜２８のいずれか１つに記
載された装置において、前記あらかじめ定められたテス
ト判定基準が振幅閾値判定基準であることを特徴とする
動画の動き解析装置。
【請求項３０】請求項２１〜２９のいずれか１つに記
載された動画の動き解析のための装置を含む動き補償動
画標準変換装置。
【請求項３１】或る現在画像内のブロックの対応する
アレイに対するものであって、時間的に隣接する画像と
現在画像の間の前記ブロックの各々内部の前記現在画像
のその部分の動きを表わす動きベクトルのアレイを計算
するステップと、現在目標ブロックとして、さらに解析するのに使う、各
ブロックと関連付けられる、複数の動きベクトルを編集
するステップであって、前記動きベクトルのアレイ内の前記動きベクトルが予め
定められた有効性テストに合う有効動きベクトルである
か否かを検出し、前記現在目標ブロックを、もしそれが有効ならば、前記
目標ブロックに対して計算された動きベクトルと関連付
け、前記現在目標ブロックを、もしそれが有効であって、以
前に関連付けられた動きベクトルのどれとも異なり、予
め定められた選択テストを満足するならば、前記現在目
標ブロックを囲む１以上の組のブロックから取られた１
以上の補充動きベクトルと関連付けるステップと、を含む動画の動き解析方法。