JPH04229795A - 動きを補正した映像方式変換装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動きに合せ（適応させ
）た映像信号の処理に関するものである。もっと詳しく
いえば、本発明は、映像信号のフィールド又はフレーム
間の動きを表す運動ベクトルを導出する信号処理を行う
映像方式変換装置に関するものである。

【０００２】

【従来の技術】１つの映像方式から他の方式への、例え
ばフレーム当たり６２５ライン、毎秒５０フィールド方
式からフレーム当たり５２５ライン、毎秒６０フィール
ド方式への映像信号変換に用いる映像方式変換装置は、
周知である。映像方式変換は、映像信号のなかに時間的
及び垂直方向のエイリアス（一種の歪み）が存在するの
で、簡単な線形（１次）補間技法を用いるだけでは十分
な結果が得られない。すなわち、簡単な線形補間技法で
得られる画像には不所望の雑音を生じ、特に、画像が垂
直方向で不鮮明になり、時間的に激しく揺れる。

【０００３】これらの問題を軽減するため、入力映像信
号が表わす画像における動きの度合いに応じて、線形補
間のパラメータ（変数）を切替える適応技法を映像方式
変換装置に使用することが提案された。

【０００４】また、例えば映像信号処理におけるデータ
を減らす目的で、入力映像信号からブロック（区画）・
マッチング技法により運動ベクトルを発生することも提
案された。ブロック・マッチング技法は、１フィールド
又はフレームにおけるサーチ（検査）ブロックの内容を
、次のフィールド又はフレームにおけるサーチ区域に含
まれる複数のサーチ・ブロックの各内容と比較し、比較
した内容間の最小差、したがって原サーチ・ブロックの
内容の運動（もし在る場合）方向と距離を決定するもの
である。

【０００５】例えば欧州特許第ＥＰ−Ａ２−０　　３９
５　　２６８号明細書には、映像信号の最初のフィール
ド又はフレームにおけるブロック（区画）を映像信号の
次のフィールド又はフレームにおける複数のブロックと
比較し、それぞれのブロックの内容の動きを表す運動ベ
クトルを導出する動き補正の映像方式変換装置が記載さ
れている。運動ベクトルは運動ベクトル推定器によって
導出されるが、この推定器では、運動ベルトル推定の結
果を或る閾（しきい）と比較し、導出した運動ベクトル
が正しいかどうかをチェックしている。この閾は、経験
から割出され、プログラムの全過程を通じて変更されな
い。

【０００６】この技法における難点は、その閾がどうし
ても最良の結果を生むため番組過程の平均的場面（シー
ン）内容と妥協したものとなることである。したがって
、或る映像素材に対しては閾が高すぎて殆どの運動ベク
トルが閾テストに合格せず、次の段階で選べる運動ベク
トルが制限される。反対に、他の映像素材に対しては、
閾が低すぎて閾テストに合格する運動ベクトルが多すぎ
、次の段階に送られる運動ベクトルの確実性が減少する
。

【０００７】

【発明が解決しようとする課題】本発明の課題は、動き
を補正した映像方式変換装置を改良することである。本
発明の他の課題は、運動ベクトルの選択方法を改良した
動き補正の映像方式変換装置を得ることである。

【０００８】

【課題を解決するための手段】本発明による動きを補正
した映像方式変換装置は、次のような構成要素より成る
。 （イ）映像信号の最初のフィールド又はフレームにおけ
るブロックをその映像信号の次のフィールド又はフレー
ムにおける複数のブロックと比較して、上記最初のフィ
ールド又はフレームから次のフィールド又はフレームに
かけての各ブロック内容の動きを表す運動ベクトルを導
出する手段（ただし、比較の結果、上記最初のフィール
ド又はフレームにおけるブロックに対しそれぞれ相関面
（ｃｏｒｒｅｌａｔｉｏｎ　ｓｕｒｆａｃｅ　）を発生
して運動ベクトルを導出する。この相関面とは、上記最
初のフィールド又はフレームにおけるブロックの内容と
、これと比較された上記次のフィールド又はフレームに
おける各ブロックの内容との差を表すものである。）。 （ロ）上記相関面より上記差の最小値に対応する運動ベ
クトルを決定する手段（ただし、上記相関面により表さ
れる次に最も小さい差と所定の閾値より大きく異なる、
上記相関面により表される最小差を決定することによっ
て決定する。）。 （ハ）上記のようにして決定した運動ベクトルの数を所
定数のフィールド又はフレームにわたって平均する手段
。 （ニ）上記閾値を上記平均値に応じて変える手段。 （ホ）上記運動ベクトルに応じて制御される補間器。

【０００９】

【実施例】以下、図面により本発明を具体的に説明する
。図１は、本発明の実施例の概略を示すブロック図であ
る。この実施例は、フレーム当たり１１２５ライン、毎
秒６０フィールドの高解像度映像信号（ＨＤＶＳ）を毎
秒２４フレームの３５ミリ・フィルムに変換するのに使
用するものであるが、本発明は、これに限定されるもの
ではなく、他の映像方式間の変換を行うため容易に適用
させることができるものである。

【００１０】図１において、１は入力映像信号が供給さ
れる入力端子である。入力端子１はプログレッシブ（順
次又は連続）走査変換器２に接続され、そこで入力映像
フィールドは映像フレームに変換されて直接ブロック突
合せ器３に供給され、そこで相関面が作られる。これら
の相関面は運動ベクトル推定器４により解析され、そこ
で運動ベクトルが導出されて運動ベクトル減少器５に供
給される。該減少器において、各画素に対する運動ベク
トルの数が減らされ、次いで運動ベクトル選択器６に供
給される。該選択器には、プログレッシブ走査変換器２
の出力も加えられる。運動ベクトル選択器６により選択
された運動ベクトルに異常なものがあると、これは運動
ベクトルあと処理器７で除去され、そこで処理された運
動ベクトルは、補間器８に供給されこれを制御する。該
補間器にはまた、プログレッシブ走査変換器２の出力も
加えられる。補間器８の出力は、方式変換され動きが補
正された映像信号で、出力端子９に供給される。上述の
方式変換装置の各部分及びその動作について、以下詳細
に述べる。

【００１１】図２は、プログレッシブ走査変換の説明図
である。同図は、一連の連続フィールドにおける一連の
連続ラインを示し、Ｘ印は入力フィールドに存在するラ
インを表し、□印は補間されたラインを示す。プログレ
ッシブ走査変換器２は、入力フィールドと同じレート（
速度）で出力フレームを発生する。したがって、各出力
フレームは、図２に示すように入力フィールドのライン
数の２倍を含み、これらのライン群は、入力映像信号か
らのラインと、後述する方法の１つにより補間されたラ
インとが交互に並んだものとなっている。補間されたラ
イン群は、入力フィールドと反対の極性であるが時間的
位置が同じ１つの補間フィールドであると見なすことが
できる。プログレッシブ走査変換は、２つの主な理由に
より行う。第１は、次の直接ブロック突合せ（マッチン
グ）処理を容易にするためであり、第２は、最終出力の
映像フォーマットを考慮してである。

【００１２】直接ブロック突合せは、後述のように２つ
の連続する映像フィールド間における水平及び垂直方向
の運動を正確に推定するために行うものである。しかし
、プログレッシブ走査変換を行わなければ、映像信号が
インタレース（飛越し）構造であるため、直接ブロック
突合せを行うときに問題を生じることが分かるであろう
。

【００１３】最終出力映像フォーマットを考慮というの
は、本実施例の場合、変換された映像は、テープを介し
て電子ビーム記録器に供給され、毎秒２４フレームの映
画フィールドのレートに対応するフレームで構成されて
いなければならないからである。したがって、この理由
によりプログレッシブ走査変換されたフレームの作成が
必要であり、また動きを補正した方式変換が受入れられ
ない結果を生じると考えられる場合、例えば動きが余り
に多様で十分に解析できない場合にプログレッシブ走査
変換されたフレームを代用することもできる。かような
場合、最も近いプログレッシブ走査変換されたフレーム
を所要の出力フレームとして使用すると、無理なく受入
れられる結果が得られる。

【００１４】プログレッシブ走査変換は、色々な方法で
行うことができる。例えば、先行フィールドの代用、３
つの空間的に連続するラインを調べる中間（ｍｅｄｉａ
ｎ）濾波処理（これら３つのラインは、時間的には２つ
の連続フィールドからのものである。）、或いは、多方
向線形補間に続いて多勾配運動検出を用いる運動補正技
法などがある。しかし、本実施例では、動きに合せた（
ｍｏｔｉｏｎ　ａｄａｐｔｉｖｅ　）プログレッシブ走
査変換方法を使用するのがよい。図３は、その方法の段
階を示すブロック図である。その概念は、全く静止した
画像区域では、できる限り多くの垂直情報を保持するた
めのフィールド間補間を使用し、かなりの動きがある場
合にフィールド内補間を使用することである。これはま
た、運動の滑らかな描写を助ける。動きがこれら２つの
極端の中間にある場面（シーン）では、画像内にある局
部的な動きを推定し、フィールド間及びフィールド内補
間を異なる比率で一緒に混合するのにこれを使用する。 これは、上述の欧州特許明細書にもっと詳しく記載され
ている。

【００１５】図１に戻り、プログレッシブ走査変換器２
により作成された映像フレームは、運動ベクトルを導出
するのに使用する。運動ベクトルの導出（推定）は、２
つの段階より成る。まず、連続するフレームからサーチ
（検査）ブロックの相関関係を示す相関面を作る。これ
らの相関面を得たのち、これを調べて相関関係が最も大
きい位置（１つ又はそれ以上）を決定しなければならな
い。相関面を得るには幾つかの方法があるが、２つの主
な方法は、位相相関法及び直接ブロック・マッチング（
突合せ）法である。しかし、位相相関法については若干
の問題があり、これらは、極めて簡単にいえば、変換機
構、窓付け機能、ブロックの大きさ、作成した相関面の
外形の質が変わることに関する問題である。よって、本
実施例では、直接ブロック突合せ法を採用した。

【００１６】直接ブロック突合せ器３の動作は、次のと
おりである。プロレッシブ走査変換された映像信号の連
続フレームから矩形状の画素アレイをそれぞれ含む２つ
のブロックを取り、その相関関係に基いて運動ベクトル
導出用の相関面を発生する。

【００１７】図４は、サーチ・ブロック及びサーチ区域
の例を示す説明図である。まず、同図に示すように、フ
レームＮから３２画素×２３ラインの大きさのサーチ・
ブロックと呼ぶ小さなブロック（区画）を取る。そして
、次のフレーム（Ｎ＋１）から１２８画素×６９ライン
の大きさのサーチ区域と呼ぶもっと大きなブロックを取
る。図５は、サーチ・ブロックとサーチ区域の関係を示
す説明図である。同図に示すようにサーチ・ブロック（
ＳＢ）をサーチ区域（ＳＡ）内の考えられる各位置にお
き、その各位置に対し、２ブロック間の画素輝度レベル
の絶対差の和を計算する。この値は、その点において導
出する相関面の高さとして使用する。その高さは、サー
チ区域内のサーチ・ブロックの考えられる各位置に対し
他の同様に導出した値と共に、相関面を作るのに使用す
る。図６に、相関面の一般例を示す。分かり易くするた
め、同図の相関面は反対にして示してあり、実際に必要
なのは最小点であるから、図６で必要な点は一番高い所
（ピーク）である。

【００１８】サーチ・ブロックの大きさは、動きの補正
に必要な対象物の一番小さい大きさを調べて選定する。 フレーム当たり６２５ライン、毎秒５０フィールドのＰ
ＡＬ信号に対しては、対象物内でなくサーチ・ブロック
内に周りの情報があっても、それが小さい対象物の追跡
に影響を与えないようにするためには、１６画素×８ラ
インの大きさのサーチ・ブロックが適当であることが分
かった。したがって、本実施例ではこれに近いものを採
用した。ただし、ＰＡＬ６２５／５０方式に比べてライ
ン当たりの能動画素数、フレーム当たりの能動ライン数
、ＨＤＶＳの縦横比が異なる点を考慮に入れて修正を加
えた。ＨＤＶＳを先にしてこれと比較した値を書くと、
次のとおりである。ライン当たり能動画素数１９２０（
７２０）、フレーム当たり能動ライン数１０３５（５７
５）、縦横比３：５．３３（３：４）。

【００１９】大きい対象物を追跡できるため、もっと大
きいサーチ・ブロックの使用に対する賛成論があること
を付け加えねばならない。他方、大きな対象物又は背景
区域の影響によって小さな対象物の影が薄くなるため、
もっと小さいサーチ・ブロックの使用に賛成する論もあ
る。また、小さいサーチ・ブロックの場合、各ブロック
から１つより多い運動ベクトルを導出する必要がないと
いう利点がある。ただ１つの運動ベクトルを導く方法が
１つより多くの運動ベクトルを導くより遙かに容易であ
るから、本実施例では、上述のように小さいサーチ・ブ
ロックで始め、十分な結果が得られない場合にサーチ・
ブロックを大きくすることにした。これは、小さいブロ
ックと大きいブロックの両方の利点を併有する。結果が
十分がどうかの判断基準は、あとで詳述する運動ベクト
ル推定器４（図１）に設定されており、そこで与えられ
た相関面から運動ベクトルを決定する。

【００２０】サーチ・ブロックを大きくしてゆくこの技
法は、大きい対象物を追跡するのに好都合であるばかり
でなく、周期性の規則的な形をもつ対象物の動きの追跡
を助けることもできる。

【００２１】サーチ・ブロックとサーチ区域は、相関面
が示唆する場合、ともに水平又は垂直方向に、或いは両
方向に大きくすることができる。

【００２２】１つのフレームの各サーチ・ブロックに対
して発生した相関面（図６）から、運動ベクトル推定器
４（図１）がサーチ・ブロックとそれに対応するサーチ
区域との間のありそうなフレーム間運動を推定する。分
かり易いように、相関面に関する図面はすべて逆に、す
なわち最小点をピークとして示してあることをもう１度
述べておく。

【００２３】運動ベクトル推定器４は、運動ベクトル決
定アルゴリズムを用いて各相関面における最小点を検出
する。これは、サーチ・ブロック及びサーチ区域間の最
大相関点を表し、したがって両者の間に起こりそうな動
きを示す。相関面上のこの最小点の原点、この場合は相
関面の中心に対する変位は、動きをフレーム当たりの画
素で直接表したものである。相関面がただ１つの明瞭な
最小点を有する最も簡単な場合、相関面上の最小点を検
出するだけで十分正確にサーチ・ブロック及びサーチ区
域間の動きを決定できる。上述のように、小さいサーチ
・ブロックを使用すると、動きの検出及び運動推定の正
確度は改善されるが、小さな１つのサーチ・ブロックで
は後述する幾つかの状況において動きを検出することが
できない。

【００２４】図７は、３つのサーチ・ブロックに跨る運
動体を示す説明図である。同図は、フレーム（ｔ）にお
ける３つのサーチ・ブロック１Ａ，２Ａ，３Ａに跨る運
動ベクトル（５，０）をもつ物体（対象物）を示す。サ
ーチ・ブロック１Ａ及び３Ａをそれぞれ次のフレーム（
ｔ＋１）におけるサーチ区域１Ｂ及び３Ｂと対応させる
と、その相関面は図８のような（５，０）に最小点をも
つものとなる。（これは、無雑音映像源を想定している
。）しかし、サーチ・ブロック２Ａをそのサーチ区域２
Ｂと対応させると、その相関面は図９のようになる。 すなわち、サーチ・ブロック２Ａは、サーチ区域２Ｂと
ｙ軸方向のあらゆる点で大きな相関関係をもつ。したが
って、相関面に最小点がただ１つではなくなり、サーチ
・ブロック２Ａとサーチ区域２Ｂ間の動きを決定できな
い。

【００２５】しかし、いまサーチ・ブロック２Ａを最初
の３つのサーチ・ブロック１Ａ，２Ａ，３Ａの全部を含
むように大きくした場合を考える。大きくしたサーチ・
ブロック２Ａを最初の３サーチ区域１Ｂ，２Ｂ，３Ｂを
含むサーチ区域と対応させると、得られる相関面は図１
０のようになる。これには、最初のサーチ・ブロック２
Ａの正確な動きを示すただ１つの最小点（５，０）が見
られる。この例は、動きを正確に検出するためには原映
像に或る特有の特徴をもたせる必要があることを示して
いる。すなわち、サーチ・ブロック１Ａ及び３Ａは共に
、特有な垂直及び水平方向の特徴、すなわち対象物の端
縁を有し、これにより動きを決定できる。これに対し、
サーチ・ブロック２Ａは特有な垂直方向の特徴を有する
が、水平方向には何も特有な特徴がなく、したがって水
平方向の動きが決定できない。しかし、サーチ・ブロッ
クをそれが水平及び垂直両方向に特有の特徴を包含する
ようになるまで拡大すれば、そのサーチ・ブロックに対
する動きを完全に決定することができる。また、サーチ
・ブロックの拡大は、原映像に雑音が考えられる場合に
も有益である。

【００２６】次に、図１１に示すような別の例を考える
。これは、運動ベクトルが（５，３）であるサーチ・ブ
ロックに対する相関面を示す。しかし、サーチ・ブロッ
クとサーチ区域の間に生じた多くの他の相関関係により
、本当の動きを検出するのが困難である。かような相関
面を生じる可能性のある原映像の例としては、風と共に
動いているコントラストの低い木が挙げられる。いま、
サーチ・ブロックとサーチ区域を拡大することを考える
。拡大は、前の例のように水平方向に行っても、或いは
垂直方向でも、更に両方向に行ってもよい。隣接したサ
ーチ・ブロックが同じ動きを有するものとすれば、得ら
れる相関面は平均化効果を受けて、（５，３）における
最小点の大きさが他の相関ピークの大きさより大きな比
率で増加する。これを図１２に示す。これより、正確な
運動ベクトルの検出がより容易となることが分かるであ
ろう。

【００２７】次に、図７を参照して更にサーチ・ブロッ
クの拡大の仕方を考える。前は、サーチ・ブロック２Ａ
の面積をサーチ・ブロック１Ａ及び３Ａを包含するよう
に拡大して、図１０に示したような相関面を得た。実際
上、得られた相関面は、サーチ・ブロック１Ａ，２Ａ，
３Ａに対応する３つの相関面を直接加え合せて生じてい
る。各相関面を点の大きさのマトリックス（行列）と考
えると、拡大したサーチ・ブロック２Ａの相関面は、最
初のサーチ・ブロック１Ａ，２Ａ，３Ａの相関面のマト
リックスを加えたものである。

【００２８】サーチ・ブロック２Ａの面積は、その上下
のサーチ・ブロックの相関面を加えることにより垂直方
向に拡大することもできるが、サーチ・ブロック２Ａを
水平及び垂直の両方向に拡大しようとすれば、横と斜め
の４つの相関面をも同様に加えなければならない。これ
より、実際にサーチ・ブロックを隣接サーチ・ブロック
を包含するよう拡大する仕方は比較的容易であることが
分かるであろうが、難しいのはいつ拡大すべきか、また
どの隣接サーチ・ブロックを含めるべきかを決めること
である。基本的な答えは、良好な最小点すなわち良好な
運動ベクトルが検出されるまでサーチ・ブロックの面積
を拡大すべきである、ということである。したがって、
運動ベクトルをいつ良好な運動ベクトルと考えるかを決
める必要があり、これは、実際には上述の例から推定す
ることができる。

【００２９】図７〜１０の上述した例では、対象物の水
平方向に特有な特徴を包含させてただ１つの最小点を得
るためにサーチ・ブロックを水平方向に拡大する必要が
あった。この状態は、図９の相関面における同じ最小点
の列と図１０の相関面におけるただ１つの最小点とでよ
く表されている。これより、良好な最小点に対する第１
の判断基準が得られる。すなわち、良好な最小点は、相
関面上における大きさが最小の点で、その点の大きさと
その次に小さい点の大きさとの差が一定値を越えるもの
である。この一定値は閾（しきい）値として知られてお
り、したがって、以後このテストを閾テストと呼ぶこと
にする。

【００３０】次の最小（次に小さい）点は、後述のリン
グテストと呼ぶもう１つのテストの範囲内で生じないよ
うにされる。３つのリングを用いるリングテストの場合
、次の最小点は、その点の３画素以内の所から生じない
ようにされる。図７〜１０の例では、図９の相関面は閾
テストに合格せず、したがってサーチ・ブロック２Ａを
拡大して適当な閾値を与えると、図１０の相関面は閾テ
ストに合格することになる。

【００３１】閾テストはまた、上述した図１１及び図１
２の例においてサーチ・ブロックを拡大させるのに使用
することもできる。サーチ・ブロックを拡大する前は、
周りの点の大きさが非常に似ているため、正確な最小点
は検出不能である。すなわち、適当な閾値を与えると、
その相関面は閾テストに合格しないであろう。そこで、
サーチ・ブロックを拡大させるのである。その結果、他
の類似点の中にある最小点を検出することが可能となる
であろう。

【００３２】閾値を用いるテストは主観的なものである
が、テストされる相関面に対する正しい閾は、これを相
関面内の大きさの幅（限度）に対する比として規準化す
ることにより選択することができる。これはまた、例え
ば映像源のコントラストの効果をも教えてくれる。

【００３３】本発明に用いうる閾テストについて、更に
図１３及び１４を参照して述べる。図１３は、相関面の
一端を示すもので、左側に点のアレイより或る相関面の
一部の平面図を示し、右上にこれらの点の線ＸＹ上にあ
るものをアレイより抽出して示し、その下に線ＸＹ内の
点で表される差の大きさをｙ軸に沿って示す。実際上、
これは相関面の断面であり、この図では、全体の相関面
を示すものと異なり反転されておらず、したがって最小
差が一番下にある点に注意されたい。また、次の最小点
も図示されており、これは、その大きさが最小点の大き
さに等しいか又はこれより大きいが、相関面の他の点よ
りは小さい相関面上の点である。

【００３４】閾テストでは、閾値を決める必要がある。 このため、本例では平常の閾値を１２．５％とする。

【００３５】閾テストに合格するためには、次の条件を
満たさなければならない。すなわち、最小点の大きさと
次の最小点の大きさとの絶対差（図１３のＡ）が、最小
点の大きさと最大点の大きさとの絶対差（図１３のＢ）
の所定閾値（％）部分より大きいことである。

【００３６】いいかえると、Ａ（最小点と次の最小点と
の差）がＢ（最小点と最大点との差）の１２．５％より
大きくなければならない。

【００３７】図１４及び図１５は、それぞれ閾テストを
行うための回路の各部分を示し、該回路はこれら２つの
部分を組合せて成るものである。これらの図により、閾
テストを更に説明する。これらの図において、２０，２
１，２３，２４，２５，２７，２８、３１，３２，３５
，３６，３８，３９，４１，４２，４４，４５及び４７
はラッチ回路、２２，２６，３０及び４６は比較器、２
９は遅延回路、３３及び３４はプログラマブル・リード
オンリメモリ（ＰＲＯＭ）、３７は論理ゲート、４０は
加算器、４３はバレル回転回路を示す。

【００３８】閾テストの第１段階は、相関面上の最小点
、次の最小点、最大点を決めることである。相関面の大
きさは、ラッチ回路２０によってラッチ（一時記憶）さ
れ、そこからラッチ回路２１及び２７、比較器２２及び
２６、そして遅延回路２９に送られる。

【００３９】最小点は、ラッチ回路２１，２３及び比較
器２２を用いて決定される。ラッチ回路２１は、新しい
相関面の各々の始めにリセットされ、最大２進値（１１
．１）が供給される。ラッチ回路２１の出力は比較器２
２の入力に使用され、該比較器はこれを入来する相関面
の各大きさと比較する。この入来する大きさがラッチ回
路２１の出力に等しいか又はこれより小さい場合、比較
器２２に出力が現れる。これはラッチ回路２１のクロッ
ク（刻時）に使用され、したがってその入来した大きさ
がラッチされる。そこでこれが新しい最小値となり、比
較器２２の入力に送られ、後続の大きさと比較される。 相関面の最後の大きさの比較が終わると、ラッチ回路２
１は、相関面上の最小点の大きさを保持することになる
。この大きさは、各相関面の始めに発生されるリセット
パルスを用いて、ラッチ回路２３にラッチされる。

【００４０】比較器２２の出力はまた、ラッチ回路２４
のクロックにも使用される。該回路２４は、入来する大
きさのＸ及びＹ相関面座標を受け、最後の大きさが終わ
ると、相関面上の最小点の座標を保持することになる。

【００４１】最大点も同様に、ラッチ回路２７，２８及
び比較器２６を用いて同時に決定される。ただ、ラッチ
回路２７はリセット時に最小２進値（ゼロ）が供給され
、比較器２６の出力は入来する大きさが前にラッチした
最大値より大きい場合に現れる点が異なる。ただし、最
大点の座標は必要でない点に注意されたい。

【００４２】相関面の１段階後に、最小点の値、最大点
の値及び最小点の座標がそれぞれラッチ回路２３，２８
及び２５の出力に得られる

【００４３】次の最小点は、上記の決定された最小点の
周りの、リングテストにより定められた区域以外に存在
する相関面の最小点として決定される。リングテストに
３つのリングを使用する場合、これは、次の最小点が最
小点の相関面の３つの点内に入らないことを意味する。 その方法は、最小点を決定するのに用いたものと似てい
るが、先の最小点の近くでは無能化される点が異なる。

【００４４】すなわち、次の最小点は、ラッチ回路３１
，３２及び比較器３０を用いて同様な方法で決定される
。先の最大点及び最小点決定における遅延は、先入れ先
出し回路のような簡単な遅延素子である遅延回路２９を
用いて補償する。所要の無能化は、ＰＲＯＭ３３及び３
４、ラッチ回路３５及び３６、論理ゲート３７を用いて
行う。ＰＲＯＭ３３及び３４は、最小点の座標（Ｘ及び
Ｙ）と現在の相関面の大きさの座標を受ける。ＰＲＯＭ
３３及び３４は、２組の座標を比較し、現在の大きさの
座標が先の最小点の周りのリング外にあるとき出力信号
を発生するようにプログラムされている。これら２つの
信号は、ラッチ回路３５及び３６を介して論理ゲート３
７に送られる。これら２信号が存在しないとき、比較器
３０は、上記リング内にある最小点をラッチさせること
ができない。

【００４５】相関面のこの第２の段階後に、ラッチ回路
３２は次の最小点の値を保持することになる。ラッチ回
路３８及び３９は、ラッチ回路２３及び２８より最小及
び最大点の値を受ける。これらは、相関面のリセットに
よりクロックされるので、第２段階の終わりに最小及び
最大点の大きさを保持する。本来の閾テストは、これか
ら行われる。

【００４６】また図１３において、まず最大マイナス最
小（Ｂ）及び次の最小マイナス最小（Ａ）を決定する必
要がある。これは、加算器４０及び２つのラッチ回路４
１，４２を用いて行われる。加算器４０の一方の入力は
、ラッチ回路３８より線Ｌ１を介して加えられる負の形
の最小値である。他の入力はラッチ回路３２から線Ｌ２
を介して加えられる次の最小値か又はラッチ回路３９か
らの最大値である。これらの値の加算器４０への供給は
、外部で制御される。

【００４７】差の値Ａ及びＢは、順に計算される。最初
のラッチ回路３９が能動化されて加算器４０に最大値が
供給され、加算器４０は差値Ｂを出力し、この値をラッ
チ回路４１にラッチする。次にラッチ回路３２が能動化
されて、加算器４０に次の最小値が供給され、加算器４
０は差値Ａを出力し、この値をラッチ回路４２にラッチ
する。

【００４８】２つの差値Ａ及びＢは、それから比較され
る。ただし、第１の差値Ａには所定の閾値を乗じる。こ
れは、バレル回転回路４３（ロジック・デバイス・イン
コーポレイテッド社のＬＳＨ３２でよい。）を用い、後
述のようにして決定される閾値の制御の下に行われる。 バレル回転回路４３を用いると、閾値を例えば５０％、
２５％又は１２．５％に選択することができる。しかし
、もっと複雑なハードウエアより成る乗算器を用いて他
の数字を使用することもできる。特に、閾値をより小さ
なステップで変えることができる。乗算された閾値Ａは
ラッチ回路４５にラッチし、差値Ｂはラッチ回路４４を
用いてそれぞれと揃える。これら２つの差値Ａ及びＢは
比較器４６で比較される。乗算された差値Ａが差値Ｂよ
り大きい場合、閾テストに合格とする。そうでない場合
は、不合格とする。いずれの場合も、比較の結果は、ラ
ッチ回路４７にラッチし後の処理に使用する。

【００４９】前に簡単に述べたリングテストについて、
更に説明する。リングテストは、良好な最小（又は最大
）点はその周りに大きさが増加（又は減少）する点があ
るという考えに基いている。図１６はこの考えを示すも
ので、周りの３つのリングの点の平均の大きさが減少し
ている所（０，０）に最小点がある。図１７に示す相関
面は、リング、特に内側から２番目のリングが減少する
平均の大きさを有しない点でこれと異なっている。

【００５０】この場合、リングテストによって決まる良
好な最小点に対する判断基準は、平均勾配が単調なこと
である。したがって、該最小点の周りの点の予め定めた
数のリングについて、各リングの（点の）平均の大きさ
は、一番内側のリングから外側にゆくに従って前のリン
グの大きさより大きくならなければならない。再び図７
〜１０の例に戻ると、図９及び１０から、図９の相関面
はリングテストに合格しないが、図１０の相関面はリン
グテストに合格することが分かるであろう。リングテス
トは、個々の大きさでなく平均の大きさを比較するので
、閾テストより主観的ではない。リングテストでの唯一
の変数は、考えられるリングの数だけである。

【００５１】サーチ・ブロック拡大の手法について既に
述べたが、次に、相関面の形を調べることにより、サー
チ・ブロックを拡大すべき最も効果的な方向を決定する
方法を考える。

【００５２】再び図９に戻ると、この相関面は、垂直方
向に特有な特徴があるが、水平方向に特有な特徴がない
場合に生じるものである。このため、相関面において、
水平方向に多くの相関関係があることにより最小点が相
関面を横切って水平方向に延びる結果となる。これより
、サーチ・ブロックを水平方向に拡大すべきことが推論
できる。逆に、相関関係の多い線が垂直方向に伸びると
きは、サーチ・ブロックを垂直方向に拡大する必要があ
ることを示し、相関関係の多い所が円形に集合している
ときは、サーチ・ブロックを水平及び垂直の両方向に拡
大する必要があることを示す。

【００５３】この判断基準を用いてサーチ・ブロックを
どの方向に拡大すべきかを決めるため、相関面の形状を
量的に測る必要がある。この測定は、次のようにして行
う。最初に、閾（しきい）を決める。相関面においてこ
の閾より低い点を考える。この閾は、閾テストで用いた
ものと同様、相関面内の大きさの限度に対する比として
規準化する。この閾を使用し、相関面上の点を４つの特
別な段階で順に調べる。各段階で、相関面値が閾より下
になる点に注意する。図１８は、サーチ・ブロックの拡
大方向を決める方法を示す説明図で、これら４つの段階
を示している。上，下，左及び右の番号１，２，３及び
４は、これら４段階を指し、陰影区域は閾より下の点を
示す。

【００５４】 段階１ 相関面の上部から下方へ閾より下の点Ａを探す。 段階２ 相関面の下部から上方へ閾より下の点Ｃを探す。 段階３ 相関面の左から右へ閾より下の点Ｄを探す。 段階４ 相関面の左から右へ閾より下の点Ｄを探す。

【００５５】こうして得られた４つの点Ａ，Ｂ，Ｃ，Ｄ
の位置を用い、図１８に示す２つの寸法Ｘ，Ｙを計算す
る。これらの寸法Ｘ，Ｙは、上記閾値より下の点を包含
する陰影区域の大きさを示す。よって、寸法Ｘ，Ｙより
、形状がｙ方向よりｘ方向に長いか又はその逆であるか
、或いは形状が円に近いかどうかを推定することができ
る。形状の推定においては、最小限の差を例えば１０％
とする。すなわち、形状がｘ方向に長いとするには、寸
法Ｘが寸法Ｙより最小限１０％大きくなければならない
。ｙ方向についても、同様である。寸法Ｘ，Ｙの差が互
いに１０％内である場合、形状を円と考え、サーチ・ブ
ロックを両方向に拡大する。図１８の例では、寸法Ｘが
寸法Ｙより大きく、したがってサーチ・ブロックはｘす
なわち水平方向に拡大される。

【００５６】サーチ・ブロックの拡大は、１つ以上の拡
大限界に達するまで続けられる。これらの限界とは、相
関面における最小点が閾テスト及びリングテストの両方
に合格すること、映像フレームの端縁に達すること、又
はサーチ・ブロックが既に水平及び垂直方向に所定回数
拡大されたことである。この最後の限界は、ハードウエ
アによって決まる。すなわち、使用できる時間内で行え
る処理量によって制限される。本発明による実施例では
、この限界は水平方向が２回、垂直方向が１回に設定さ
れた。

【００５７】相関面における最小点が閾テスト及びリン
グテストの両方に合格すると、良好な運動ベクトルが決
定されたと見なして運動ベクトル減少器５（図１）に送
ることができる。しかし、映像フレームの端縁に達する
か、又はサーチ・ブロックが既に水平及び垂直方向に所
定回数拡大された場合は、その特定のサーチ・ブロック
では良好な運動ベクトルが決定されなかったと見なし、
良好な運動ベクトルを決定しようとせずに加重（重み付
け）により最も役に立つ（ｂｅｓｔ　ａｖａｉｌａｂｌ
ｅ）運動ベクトルを決定する。

【００５８】相関面の加重は、静止すなわち中心運動ベ
クトルに向かって最も役に立つ運動ベクトルが選択され
るように行われる。これは、２つの理由からである。第
１は、サーチ・ブロックが拡大後も原映像の大きな平凡
な区域の一部である場合、良好な運動ベクトルを検出で
きないであろうということである。しかし、原映像が平
凡な区域であれば、静止運動ベクトルは、あとの処理に
おいて正確な結果を導くことになる。第２に、加重は、
非常に間違った運動ベクトルが運動ベクトル減少器５（
図１）に送られる可能性を減じるよう設計されることで
ある。これは、良好な運動ベクトルを決定できないとき
、大きな不正確な運動ベクトルより小さな不正確な運動
ベクトルの方がよいという理由から行われる。

【００５９】図１９は、相関面の加重方法の例を示す説
明図である。この例では、相関面上の与えられた点に加
える重みは、静止の中心運動ベクトルからその点までの
距離に正比例する。相関面上のその点の大きさには、加
重係数が乗ぜられる。例えば、その加重作用の勾配は、
中心の静止運動ベクトルからプラス又はマイナス３２画
素の点が３の係数を乗ぜられるようなものがよい。いい
かえると、図１９に示すように、中心の静止運動ベクト
ルを黒い円で示すとき、その加重作用は中心の静止運動
ベクトルを中心とする逆円錐形になる。

【００６０】相関面に加重を施したのち、これを再び閾
テスト及びリングテストにかける。これらのテストに合
格する最小点が決まると、それを良好な運動ベクトルと
見なし、それに良好な運動ベクトルであるが加重を用い
たことを示す標識を付ける。この標識は、運動ベクトル
と共に運動ベクトル減少器５（図１）に送られる。他方
、良好な運動ベクトルも、最も役に立つ運動ベクトルを
加重後も決定できない場合、このサーチ・ブロックに対
し運動ベクトル減少器５に送られる運動ベクトルはどれ
も不良運動ベクトルであることを示す標識を付ける。 これは、不良運動ベクトルを運動ベクトル減少処理に使
用してはならず、後述のように代わりを用いなければな
らないために行うものである。

【００６１】要約すると、運動ベクトル推定器４（図１
）の作用は、直接ブロック突合せ器３（図１）により発
生された相関面より最も相関関係がある点、すなわち最
小点を導出することである。それから、この最小点を閾
テスト及びリングテストにかける。これら２つのテスト
は、サーチ・ブロックの動きを表すとするために最小点
が合格しなければならないものである。閾テスト及びリ
ングテストに用いる閾は、絶対値又は比率値のいずれで
もよい。その最小点がどちらかのテストに不合格の場合
、そのサーチ・ブロックを拡大し、新しい最小点を決定
し、再び閾テスト及びリングテストを行う。相関面の形
状から、サーチ・ブロックを拡大すべき最も効果的な方
向を決定する。

【００６２】図１に戻り、運動ベクトル減少処理につい
て述べる。ＨＤＶＳを使用し、各サーチ・ブロックを３
２画素×２３ラインと想定すると、運動ベクトルが最大
２４５１個に達することが考えられる。サーチ・ブロッ
クの大きさは、解像度の維持とハードウエアの余剰回避
との両要求に妥協して選択する。仮に、これらすべての
運動ベクトルが運動ベクトル選択器６に送られるとする
と、運動ベクトル選択の仕事は、処理量が多すぎて実行
できないであろう。この問題を克服するため、運動ベク
トル推定器４及び運動ベクトル選択器６間に運動ベクト
ル減少器５を設ける。運動ベクトル減少器５は、運動ベ
クトル推定器４により当該フレームに対して発生される
全運動ベクトルのうち、該フレームの各サーチ・ブロッ
クに対し、境界部分にあるものを含めて、例えば４つの
運動ベクトルだけを取出して運動ベクトル選択器６に与
える。この作用は、２つある。１つは、正確な運動ベク
トルの選択が容易になることである。それは、運動ベク
トル選択器６に送られる４つの運動ベクトルの中から選
べばよいからである。しかし、２つ目は、その４つのう
ちの１つとして正確な運動ベクトルが送られない場合、
運動ベクトル選択器６は正しい運動ベクトルを選択でき
ないことである。したがって、運動ベクトル減少器５は
、運動ベクトル選択器６に送るものの中に正確な運動ベ
クトルが含まれることを確認する必要がある。また、運
動ベクトル減少器５により４つの運動ベクトルが運動ベ
クトル選択器６に送られるものの、これらの３つのみが
実際に動きを表し、４番目の運動ベクトルは常に静止運
動ベクトルである。これは、運動ベクトル選択器６が動
きを表す運動ベクトルを静止画素に適用することを強制
されないように、含められるものである。他の数の運動
ベクトルを運動ベクトル選択器６に送ってもよく、例え
ば、動きを表す４つの運動ベクトルと静止運動ベクトル
とを送ってもよい。

【００６３】以後「サンプル・ブロック」の用語は、各
画素が運動ベクトル減少器５による４つの運動ベクトル
を有する映像フレームにおけるブロックを指すものとす
る。したがって、サンプル・ブロックは、拡大される前
のサーチ・ブロックと同じであり、映像フレームにおい
てサンプル・ブロックとサーチ・ブロックの最初の位置
は同じである。

【００６４】運動ベクトル減少器５（図１）は、運動ベ
クトル推定器４（図１）より運動ベクトル及び標識を受
け、標識を調べることによりその運動ベクトルの質を決
める。運動ベクトルが不明瞭な面から導出されたもので
ない、すなわち高度の確実性がある場合、良好な運動ベ
クトルとされ、若干の不明瞭性があると、その運動ベク
トルは不良運動ベクトルとされる。運動ベクトル減少処
理において、不良運動ベクトルとされた運動ベクトルは
すべて無視される。それは、不正確な運動ベクトルが運
動ベクトル選択器６（図１）に送られ、そのため不良運
動ベクトルが選択されてはならないからである。かよう
な選択が行われると、一般に最終画面に偽（にせ）の点
を生じ、これは非常に目障りになる。

【００６５】運動ベクトル減少器５に供給される各運動
ベクトルは、特定のサーチ・ブロックしたがって特定の
サンプル・ブロックから得られたもので、それらの位置
は運動ベクトルと共に示されている。不良運動ベクトル
に分類された運動ベクトルはどれも無視されるので、す
べてのサンプル・ブロックが必ずしもその位置にあるサ
ーチ・ブロックから導出される運動ベクトルを有するわ
けではない。良好な運動ベクトルに分類され、特定のサ
ーチ・ブロックしたがって特定のサンプル・ブロックに
関する運動ベクトルは、局部運動ベクトルと呼ぶ。それ
らは、サンプル・ブロックが得られた区域において導出
したものであるからである。これに加え、もう１つの運
動ベクトル減少処理において、良好運動ベクトルを導出
するのに用いたサーチ・ブロックの実際の位置を考える
ことなく、各良好運動ベクトルが発生する頻度を計数す
る。これらの運動ベクトルは、頻度が減少する順に格付
けして共通運動ベクトルと呼ぶ。３つの共通運動ベクト
ルしか使用できない最悪の場合、これらを静止運動ベク
トルと組み合わせて４つの運動ベクトルを作り、運動ベ
クトル選択器６（図１）に送る。しかし、３つより多く
の共通運動ベクトルがあることが多いので、その数を減
らして全体的（ｇｌｏｂａｌ）運動ベクトルと呼ぶ共通
運動ベクトルの組を作る。

【００６６】共通運動ベクトルの数を減らす簡単な方法
は、最も頻度が高い３つの共通運動ベクトルを使用し、
残りを無視することである。しかし、３つの最も頻度の
高い共通運動ベクトルは、最初互いに垂直及び（又は）
水平方向のプラス又はマイナス１画素運動以内にあった
３つの運動ベクトルであることが多い。いいかえると、
これら共通運動ベクトルはすべて僅かな差の同じ動きを
追うものであり、無視された他の共通運動ベクトルは他
の異なる動きを追うものである。

【００６７】１つの場面における動きの全部又は大部分
を表す共通運動ベクトルを選択するためには、同じ動き
を表す全体的運動ベクトルを選択することを避ける必要
がある。したがって、実際に採用する方策は、まず最も
頻繁に生じる３つの共通運動ベクトルを取り、それの中
で最も頻度の少ないものが、他の２つの共通運動ベクト
ルのどちらかのプラス又はマイナス１画素の垂直運動及
び（又は）プラス又はマイナス１画素の水平運動以内に
あるかどうかを調べることである。そうである場合はそ
れを退け、その代わりに次に最も頻繁に生じる共通運動
ベクトルを選ぶ。この処理は、最も頻繁に生じる共通運
動ベクトルの全部に対し、互いに類似しない３つの共通
運動ベクトルが存在するか、或いは３つ以下の共通運動
ベクトルが残されるまで続ける。しかし、なお３つより
多くの共通運動ベクトルが残っている場合、今度は、そ
れらの中で最も頻度の少ないものが他のプラス又はマイ
ナス２画素の垂直運動及び（又は）プラス又はマイナス
２画素の水平運動以内にあるかどうかを調べながら、そ
の処理を繰返す。そして、必要に応じ距離を増してこれ
を続ける。これら３つの共通運動ベクトルは所要の全体
的運動ベクトルであり、これらが頻度の順になお格付け
されている点は、重要なことである。

【００６８】運動ベクトル減少処理及び映像フレームの
サンプル・ブロックを考える場合、３つの異なるタイプ
のサンプル・ブロックに目を向ける必要がある。これら
のタイプは、映像フレームにおけるそれらの実際の位置
に関係しており、図２０に領域として示す。領域Ａは、
全体が他のサンプル・ブロックにより囲まれ画像の境界
に近くないサンプル・ブロックより成る。領域Ｂは、部
分的に他のサンプル・ブロックに囲まれ画像の境界に近
くないサンプル・ブロックを包含する。領域Ｃは、画像
の境界に近いサンプル・ブロックを包含する。これらの
各領域に対して使用する運動ベクトル減少アルゴリズム
は、それぞれ異なる。これらのアルゴリズムをこれより
述べるが、まず第１にその映像フレームにおける幾つか
のサンプル・ブロックに対し良好な運動ベクトルが存在
することを繰返しておく。そして、補助的に、その場面
における主な動きを表す３つの全体的（ｇｌｏｂａｌ）
運動ベクトルがある。これらの運動ベクトルを選択し、
各サンプル・ブロックに対し静止運動ベクトルと共に３
つの運動ベクトルを送るのに使用する。

【００６９】図２１は、領域Ａにおける運動ベクトルの
減少を示す説明図である。これは、調べるべき運動ベク
トルの数が最も多いので、取扱いが一番複雑である。図
２１には、他のサンプル・ブロックａ〜ｈにより囲まれ
陰影を施した中心サンプル・ブロックを示す。最初に、
局部的に導出された運動ベクトルについて、それが良好
な運動ベクトルに分類されたかどうかを調べる。そうで
あり、且つ静止運動ベクトルと同じでない場合、それは
合格となる。しかし、これらのテストのどちらかに不合
格であれば、それは無視される。次に、サンプル・ブロ
ックｄに対応する運動ベクトルについて、それが良好な
運動ベクトルとして分類されたかどうかを調べる。そう
であり、且つ既に選択された運動ベクトルと同じでなく
、静止運動ベクトルとも同じでないならば、それも合格
となる。これらのテストのどれかに不合格ならば、それ
も無視される。この処理は、ｅ，ｂ，ｇ，ａ，ｈ，ｃ，
ｆの順に同様に続けられる。静止運動ベクトルを含まな
い３つの運動ベクトルが得られると、直ちにアルゴリズ
ムは停止する。それは、そのサンプル・ブロックに対す
る所要の運動ベクトル選択が終わるからである。しかし
、これらのチェックを全部行っても３つの良好な運動ベ
クトルが得られないことがある。その場合、残りの空白
を全体的運動ベクトルで埋めるが、より頻度の高い全体
的運動ベクトルに優先権が与えられる。

【００７０】図２２は、領域Ｂにおける運動ベクトルの
減少を示す。領域Ｂにおけるサンプル・ブロックは、領
域Ａにおけるものと同じであるが、他のサンプル・ブロ
ックで周りを全部囲まれていない点が異なる。したがっ
て、これらのサンプル・ブロックに加える処理は、領域
Ａにおける場合と全く同じである。ただ、周りのすべて
のサンプル・ブロックにおいて探すことができない点が
異なる。したがって、図２２に示すように、サンプル・
ブロックａ〜ｅに対する運動ベクトルのチェックができ
るだけであり、運動ベクトルに対し空白が残っておれば
、前と同様に全体的運動ベクトルで埋める。同様に、図
２２における陰影付きサンプル・ブロックが２位置だけ
左に移動すると、全体的運動ベクトルに頼る前に３つの
隣接する周りのブロックのみチェックすればよいことが
分かるであろう。

【００７１】図２３は、領域Ｃにおける運動ベクトルの
減少を示す。これは、サンプル・ブロックが局部的に導
出された運動ベクトルをもたず、周りにその運動ベクト
ルを使用できる多くのサンプル・ブロックもないので、
最も取扱いが難しい。この問題を取扱う最も簡単な方法
は、単に、領域Ｃのサンプル・ブロックに静止運動ベク
トルと共に全体的運動ベクトルを与えることである。し
かし、そうすると、領域Ｂの隣接サンプル・ブロックと
比べ領域Ｃのサンプル・ブロックに与えられる運動ベク
トルが急激に変わるため、得られる画像にブロック状（
ａｂｌｏｃｋ−ｌｉｋｅ）の影響が出ることに気付いた
。したがって、好ましい方策は、この急激な変化を避け
るため、領域Ｃのサンプル・ブロックに対し、領域Ｂの
サンプル・ブロックに用いたものと同じ運動ベクトルを
用いることである。領域Ｃの各サンプル・ブロックに、
物理的に最も近い領域Ｂのサンプル・ブロックと同じ運
動ベクトルを割当てるのがよい。したがって、図２３の
例においては、領域Ｃの陰影付き各サンプル・ブロック
に領域Ｂのサンプル・ブロックと同じ運動ベクトルを与
える。こうすると、よい結果が得られることが分かった
。

【００７２】再び図１に戻り、運動ベクトル選択器６の
目的は、これに供給される４つの運動ベクトルの１つを
サンプル・ブロック内の各画素に割当てることである。 しかし、それに移る前に、本発明に関係がある上述の閾
テストについて、図２４及び２５により更に説明する。

【００７３】上述のように、各サンプル・ブロックには
、静止運動ベクトル、３つまでの良好運動ベクトル、及
び（時に）残りの全体的運動ベクトルより成る４つの運
動ベクトルが割当てられている。上述の例では、閾テス
トに用いた閾値は１２．５％であった。この値は、番組
素材の場面の平均的内容をもつ主観的に最良の結果を生
じるように選定されたものである。しかし、実際には、
この実施例においてはこれから述べるように閾値を変え
る。これは、閾値を一定にすると、どうしても幾つかの
番組素材にとって高すぎる妥協的なものとなるために行
うものである。高すぎると、運動ベクトル減少器５より
供給される良好運動ベクトルが比較的少なくなり、全体
的運動ベクトルに大きく頼ることになる。反対に、他の
番組素材に対して閾値が低すぎることがあり、その場合
は運動ベクトル減少器５により供給される良好運動ベク
トルが比較的多くなり、全体的運動ベクトルには殆ど頼
らない。一見するとこの後者の場合は容認できるよう考
えられるかも知れないが、実際には、送られる良好な運
動ベクトルは比較的確実性に乏しいということになる。

【００７４】番組素材における変化のほかに、類似の効
果をもつ他の要因（ファクタ）がある。すなわち、入力
信号が電荷結合デバイス（ＣＣＤ）ビデオカメラから取
出される場合、比較的高解像度の映像信号が得られ、低
い閾値を使用できる。

【００７５】実施例では、この問題を運動ベクトル推定
過程に自動閾を設けることにより解決した。図２４に示
すように、運動ベクトル減少器５の出力より閾制御器５
１を介して運動ベクトル推定器４に至る帰還路５０を設
ける。閾制御器５１は、閾値を連続的に調整し、良好な
運動ベクトルの数、すなわち閾テストに合格する運動ベ
クトルの数を所定の範囲内に保つように動作する。

【００７６】閾値の調整を可能とするため、運動ベクト
ル減少器５より供給される良好運動ベクトルの数を連続
的にカウントし、数フィールド又はフレームにわたって
平均する。フィールド又はフレーム当たり良好な運動ベ
クトルの平均数が当該素材に対する所定の最大及び最小
限の外にある場合、閾値レベルをそれに応じて変える。 帰還路５０は、閾値レベルが振動を起こさないようヒス
テリシスを含み、また両方向における閾値の最大変化率
を制限する。

【００７７】帰還路５０の特性を制御する少なくとも下
記のパラメータは、閾制御器５１内のＰＲＯＭに記憶し
た参照表から得るのがよい。 １．上記ベクトルのカウントが平均されるフィールド又
はフレームの数 ２．帰還路内に含まれるヒステリシスの量３．閾値の最
大許容変化率

【００７８】また、運動ベクトル減少器５より供給され
る運動ベクトルの数が極端に少ないとき、運動ベクトル
選択器６に対してこれを示す標識が付けられ、強制的に
運動補償なしの標準方式変換、すなわち全位置に静止運
動ベクトルを用いる動作に戻される。

【００７９】運動ベクトル減少器５、運動ベクトル選択
器６、運動ベクトルあと処理器７及び補間器８（図１）
は、各映像フィールド全体に対し同一の閾値で動作する
ことができるが、或いは、各映像フィールドを小部分に
分け閾値を各小部分に対して最適値に調整してもよい。

【００８０】閾制御器５１の例を図２５に示す。入力６
０に運動ベクトル減少器５からの運動ベクトルが供給さ
れ、出力６１から閾制御器５１により導出された閾値が
運動ベクトル推定器４に帰還される。閾制御器５１は、
平均計算器６２、加算器６３、減算器６４、２つの比較
器６５及び６６、閾減少器６７、閾増加器６８、マルチ
プレクサ６９、レジスタ７０を有する。

【００８１】平均計算器６２は、所定数フィールド又は
フレーム当たりの良好な運動ベクトルの数の現在の平均
を連続的に計算する。この所定数は、映像の素材により
設定又はＰＲＯＭから導出する。得られる平均信号Ｖａ
ｖは、それぞれＰＲＯＭから導出され正及び負のヒステ
リシスを設定する信号Ｖ＋ｈｙｓ，　Ｖ−ｈｙｓと共に
加算器６３及び減算器６４に供給される。それから得ら
れる出力は、比較器６５及び６６においてそれぞれ所定
の限界を定めるＶｍａｘ　及びＶｍｉｎ　と比較される
。平均信号Ｖａｖが上限より大きいとき、減衰信号ＤＥ
Ｃが閾減少器６７に供給され、平均信号Ｖａｖが下限よ
り小さいとき、増加信号ＩＮＣが閾増加器６８に供給さ
れる。信号ＤＥＣ及びＩＮＣはまたマルチプレクサ６９
の各制御端子に供給され、信号ＤＥＣが存在するとき、
新しい低い閾値がレジスタ７０を経て出力６１に供給さ
れ、信号ＩＮＣが存在するとき、新しい高い閾値がレジ
スタ７０を経て出力６１に供給される。両信号ＤＥＣ及
びＩＮＣが共に存在しないとき、出力６１に供給される
閾値は変わらない。レジスタ７０は、所要の間隔で、例
えば１フィールドの小部分毎に１回、フィールド毎に１
回、又はフレーム毎に１回トリガされる。

【００８２】使用の際、操作者が単に映像素材のタイプ
、例えばフットボールの試合（迅速なカメラ移動が特徴
）、ステージ・ドラマ（カメラ移動が少なく比較的遅い
動きが特徴）などを決めれば、ＰＲＯＭは自動的に適当
なパラメータを閾制御器５１に供給する。すなわち、パ
ラメータの選択は、操作者の主観的な選択を必要とせず
、必要に応じ徹底的な装置のテストの後、種々のタイプ
の映像素材に対し予め定めることができる。

【００８３】再び図１に戻り、運動ベクトル選択器６の
目的は、これに供給される４つの運動ベクトルの１つを
サンプル・ブロック内の各画素に割当てることである。 こうして、運動ベクトルが対象物の外形に正確に割当て
られ（マッピングされ）る。この割当てを行う方法は、
微細な細部の周りの背景が正確な運動ベクトルにより生
じるものよりよくマッチする（よく合う）ことがないよ
う特に意図される。これを達成するため、運動ベクトル
選択過程を２つの主な段階に分ける。第１段階において
、入力フレームの各画素に対し運動ベクトルを作る。 いいかえると、出力フレーム位置にある画素に対する運
動ベクトル値を決めようとしない。第２段階では、第１
段階で作った運動ベクトル値を用いて出力フレームにお
ける各画素に対する運動ベクトル値を決める。

【００８４】図２６及び２７は、運動ベクトル選択の第
１段階を示す説明図である。図２６において、入力フレ
ーム２の各画素に対し、供給される４つの各運動ベクト
ルを用い、映像データの前及び後のフレーム１及び３と
最もよくマッチする輝度値のテストを行う。画素の輝度
差は、次式により決定される。

【００８５】

【数１】

【００８６】ただし、Ｐ１ｎｍは、フレーム２でテスト
されている画素の位置からテストされている運動ベクト
ルの座標を減じて位置が得られる画素を囲む４×４画素
ブロック内のフレーム１の画素の輝度値、Ｐ２ｎｍは、
テストされている画素を囲む４×４画素ブロック内のフ
レーム２の画素の輝度値、Ｐ３ｎｍは、フレーム２でテ
ストされている画素の位置にテストされている運動ベク
トルの座標を加算して位置が得られる画素を囲む４×４
画素ブロック内のフレーム３の画素の輝度値である。

【００８７】画素（輝度）差が極めて小さいことは、輝
度が最もよくマッチしている、したがってテストされて
いる画素に適用しうる正確な運動ベクトルであることを
示す。正確な運動ベクトルが得られない場合又は後述す
る非遮蔽もしくは遮蔽区域がある場合は、良好なマッチ
は生じないであろう。

【００８８】使用される画素ブロック内の平均画素差が
或る閾より上にあるとき、マッチ不良の指示が行われる
。この閾は、正確な運動ベクトルがテストされるときで
も高周波細部は不良のマッチを生じるので、重要な意味
がある。この不良マッチの理由は、運動ベクトル推定に
おける半画素エラー（ａ　ｈａｌｆ　ｐｉｘｅｌ　ｅｒ
ｒｏｒ）の可能性がある。不良マッチを指示すべき閾を
決めるためには、運動ベクトルを必要とする画素を囲む
データ・ブロック内の画素の周波数内容と閾を関係付け
る必要がある。これを達成するため、テストされている
画素に関する最大水平又は垂直画素輝度差の半分に閾値
が等しい場合、自動閾値を決定する。得られる閾値に、
比較される全データ・ブロックを代表させるため、使用
する４×４ブロックの４つの中心画素に対する平均値を
取る。

【００８９】図２８及び２９は、運動ベクトル選択時の
閾値の決め方を示す説明図である。図２８に４×４ブロ
ックが示されており、所要の閾値Ｔは次式で与えられる
。 Ｔ＝（Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４）／８ ただし、例えばＴ３は、図２９に示すように、次の成分
を含む４画素輝度差の最大値に等しく定める。 ２つの垂直差　　｜Ｂ２−Ｂ３｜及び｜Ｂ４−Ｂ３｜，
並びに２つの水平差　　｜Ａ３−Ｂ３｜及び｜Ｃ３−Ｂ
３｜

【００９０】こうして、図２７に示すように入力フ
レーム２に対し１フレームの運動ベクトルが得られ、入
力フレーム３に対して同様に１フレームの運動ベクトル
が得られる。

【００９１】場面（シーン）の変化は別として、上述の
運動ベクトル選択の第１段階で生じるミスマッチ（不良
マッチ）の原因に非遮蔽及び遮蔽区域（面）の現象があ
る。対象物、例えば車がトンネルに入ると車は遮蔽され
、トンネルから出ると遮蔽されなくなる。フレーム１及
び２で遮蔽されなかった車の一部がフレーム３及び４で
遮蔽されると、基本的なベクトル選択方法では正確なベ
クトルを決定できない。また、トンネルに入る車は遮蔽
されるが、車の後の道路や物体は遮蔽されていない。 同様に、トンネルを出る車は遮蔽されなくなるが、車の
後の道路や物体は遮蔽されている。したがって、大抵こ
れら遮蔽及び非遮蔽物体は同時に存在する。１場面の終
わりにも、遮蔽される物体と類似した不連続な動きがあ
る。かような状況でも運動ベクトルを決定するため、輝
度値のブロック・マッチ（突合せ）を図２６及び２７の
３フレーム・マッチの代わりに２フレーム・マッチに減
らす。運動ベクトルが要求されるフレーム（例えばフレ
ーム２）は、供給される４つの運動ベクトルを用いて前
及び次のフレーム（フレーム２の場合、それぞれフレー
ム１及び３）と個別にブロックの突合せが行われる。最
良のマッチを生じる運動ベクトルが、テストされている
画素に適用しうる運動ベクトルとして選ばれる。しかし
、この場合、２フレーム・マッチのみを用いたことを示
す標識を付ける。

【００９２】特に積分型テレビカメラの場合、マッチが
生じない場合がある。対象物が詳細な背景を渡って動く
場合、積分型カメラは、対象物の前縁及び後縁が背景の
細部と混合する特有な画像部分を生じる。このような状
況では、２フレーム・マッチでも閾値より上の平均画素
差を生じることがある。これらの場合、運動ベクトル値
をゼロとし、同時にエラー標識を付ける。

【００９３】図３０は、運動ベクトル選択の第２段階を
示す説明図である。この第２段階では、第１段階で導出
された２フレームの運動ベクトルを利用する。１つのフ
レーム（入力フレーム２）の運動ベクトルを基準フレー
ムと考え、これに続くフレーム（入力フレーム３）を使
用する。そのとき、出力フレームの位置はこれら２フレ
ームの運動ベクトルの間になる。図３０において、各出
力画素位置に対し、入力フレーム２のサンプル・ブロッ
クに対応する４つの考えられる運動ベクトルがテストさ
れる。テストされている運動ベクトルの角度で出力画素
位置を通って引かれる線は、入力フレーム２及び入力フ
レーム３の両方における位置を指す。例えば、１，３，
５のような奇数値運動ベクトルの場合、出力フレームが
正確に入力フレーム１と２の中間にあるとき、２つの入
力フレーム画素の間に１つの点が指示されるであろう。 この不正確性を考慮し、且つ個々の画素に対する感度を
減らすため、最も近い画素位置を中心とする３×３の運
動ベクトル・ブロックを各フレームに対して求める。そ
れから、２つの３×３運動ベクトル・ブロックの各々と
、テストされる運動ベクトルを包含するブロックとの間
でブロック突合せを行う。使用される運動ベクトル差は
、次式で考えられる２つの運動ベクトル値の空間差を表
する。

【００９４】

【数２】

【００９５】ただし、ｘ１及びｙ１はブロックの１つに
おける運動ベクトルの平行座標、ｘ２及びｙ２はテスト
される運動ベクトルの平行座標である。

【００９６】該ブロック突合せの結果、画素当たりの平
均ベクトル差が得られる。

【００９７】３つの入力フレーム、すなわち入力フレー
ム２に対しては入力フレーム１，２，３（図２６）、入
力フレーム３に対しては入力フレーム２，３，４（図２
７）を用いて計算した運動ベクトル値のみを使用し、上
述のようにまず運動ベクトル・マッチ（突合せ）を行い
、その結果をそれ相応に判断する。９つのブロックに少
なくとも４つの使用可能な運動ベクトルがあるのがよい
。フレーム２及びフレーム３の２つの運動ベクトル・ブ
ロックを使用しうる場合、運動ベクトル差値は、フレー
ム２からの運動ベクトル差値の半分と、フレーム３から
の運動ベクトル差値の半分とを足したものとなる。上述
の技法を用いて最小運動ベクトル差を生じる運動ベクト
ルは、テストされている出力画素に適用可能な運動ベク
トルであると考えられる。３フレーム・マッチ入力運動
ベクトル（図２６及び２７）により生じた運動ベクトル
差値が１より大きい場合、遮蔽又は非遮蔽面が検出され
、同じ処理が繰返される。しかし、今度はエラー標識を
無視する。すなわち、２入力フレームを用いて計算した
運動ベクトル値を使用する。これは、事実上画像のもっ
と一般的な区域が改良されるが、理論上は非遮蔽及び遮
蔽面に対して必要なだけである。

【００９８】上述の両テスト終了後、最小運動ベクトル
・マッチが２より大きい場合、その運動ベクトル値はゼ
ロとし、エラー標識を付ける。これは、運動ベクトルあ
と処理器７（図１）で使用する。

【００９９】運動ベクトル選択のあと、殆ど確実にどの
実際の画像状態においても幾つかの画素に対応する偽の
運動ベクトルが若干残る。かかる偽の信号ベクトルは、
ただ１つの画素が周りの画素の全部と異なる運動ベクト
ルをもつ場合特異点に、水平線上の３つの画素が周りの
画素と異なる運動ベクトルをもつ場合水平運動ベクトル
・インパルスに、垂直線上の３つの画素が周りの画素と
異なる運動ベクトルをもつ場合垂直運動ベクトル・イン
パルスに、対角線上の３つの画素が周りの画素と異なる
運動ベクトルをもつ場合対角線運動ベクトル・インパル
スに、直立十字形に配置された５つの画素が周りのすべ
ての画素と異なる運動ベクトルをもつ場合水平プラス垂
直運動ベクトル・インパルスに、斜め十字形に配置され
た５つの画素が周りのすべての画素と異なる運動ベクト
ルをもつ場合２対角線運動ベクトル・インパルスに存在
すると考えられる。

【０１００】上記６つの部類に該当する画素運動ベクト
ルは、実際に本当の画像には属せず、不正確な運動ベク
トルを選択した結果生じたものである。かような運動ベ
クトルを補間過程で使用すると、最終出力画像に点を生
じることがあり、したがって、かような運動ベクトルを
識別して除去するのがよい。これは、上述の運動ベクト
ル群をすべて検出し標識を付けるアルゴリズムを用いて
行う。

【０１０１】不良運動ベクトルを識別すると、それらを
修復する必要があり、これは、運動ベクトルあと処理器
７（図１）によって行われる。補間や大多数の代用など
種々の方法を使用しうるが、実際には簡単な置換により
好結果が得られることが分かった。

【０１０２】再び図１に戻り、各画素に対し最終的に選
択された運動ベクトルは、運動ベクトルあと処理器７を
介して補間器８に供給され、該補間器にはまた、プログ
レッシブ走査変換器２よりプログレッシブ走査変換され
た毎秒６０フレームの映像フレームが供給される。補間
器８は、図３１に示すように、２つのプログレッシブ走
査変換されたフレームのみを用いる比較的簡単なもので
ある。連続する入力フレーム、フレーム１及び２に対す
る出力フレームの時間的位置と、出力フレームにおける
画素に対する運動ベクトルとを用い、補間器８は、公知
のように、正確な出力画素値を作るため第１フレームの
どの部分を第２フレームのどの部分とどんな重みを付け
て組合せるかを決定する。いいかえると、補間器８は、
運動ベクトルに従う運動方向に沿って適当な補間を行い
、毎秒２４フレームに対応する動きが補正されたプログ
レッシブ走査フレームを作成する。運動ベクトルは画素
の輝度値のみを用いて導出されたものであるが、同じ運
動ベクトルを所要の出力画素の色（クロミナンス）値を
導出するのに使用する。所要の出力を生ずるのに、各フ
レームから８×８画素アレイを用いる。したがって、補
間器８は、２次元的垂直及び水平方向補間器であり、補
間器８で使用する計数は、レメズ（Ｒｅｍｅｚ　）交換
アルゴリズムを用いて導出できる。このアルゴリズムに
ついては、プレンティス−ホール・インコーポレイテッ
ド社発行ローレンス・アール・ラビナー及びバーナード
・ゴールド著「ディジタル信号処理の理論と応用」１３
６〜１４０頁及び２２７頁に詳述されている。

【０１０３】図３１は、補間器８の動作を示す説明図で
、３つの異なる場合の補間動作が示されている。左側の
第１の場合は非遮蔽又は遮蔽の面がない場合であり、中
央の第２の場合は遮蔽面がある場合、右側の第３の場合
は非遮蔽面がある場合である。遮蔽面の場合、補間には
フレーム１のみを用いるが、非遮蔽面の場合、補間には
フレーム２のみを用いる。

【０１０４】補間器８に、動きを補正しない補間に省略
時（ｄｅｆａｕｌｔ　）を与えることができる。その場
合、時間的に最も近いプログレッシブ走査変換されたフ
レームが用いられる。

【０１０５】上述した欧州特許明細書は次の連続番号の
１４の出願の１つである点に注意されたい。 　　ＥＰ−Ａ２−０　　３９５　　２６３，　　ＥＰ−
Ａ２−０　　３９５　　２６４，　　ＥＰ−Ａ２−０　
　３９５　　２６５，　　ＥＰ−Ａ２−０　　３９５　
　２６６，　　ＥＰ−Ａ２−０　　３９５　　２６７，
　　ＥＰ−Ａ２−０　　３９５　　２６８，　　ＥＰ−
Ａ２−０　　３９５　　２６９，　　ＥＰ−Ａ２−０　
　３９５　　２７０，　　ＥＰ−Ａ２−０　　３９５　
　２７１，　　ＥＰ−Ａ２−０　　３９５　　２７２，
　　ＥＰ−Ａ２−０　　３９５　　２７３，　　ＥＰ−
Ａ２−０　　３９５　　２７４，　　ＥＰ−Ａ２−０　
　３９５　　２７５，　　ＥＰ−Ａ２−０　　３９５　
　２７６。 これらの出願はすべて本発明に類似の要旨に関するもの
で、これらの記載内容を本発明に参照されたい。以上、
本発明の実施例を図面について説明したが、本発明は、
これらの具体例を限定されず、特許請求の範囲内におい
て種々の変形、変更をすることができるものである。

【図面の簡単な説明】

【図１】本発明の実施例の概略を示すブロック図である
。

【図２】プログレッシブ走査変換の説明図である。

【図３】動きに合せたプログレッシブ走査変換の段階例
を示すブロック図である。

【図４】サーチ・ブロック及びサーチ区域の例を示す説
明図である。

【図５】サーチ・ブロックとサーチ区域の関係を示す説
明図である。

【図６】相関面の一般例を示す斜視図である。

【図７】３つのサーチ・ブロックに跨る運動体を示す説
明図である。

【図８】図７から得られる相関面の第１例を示す斜視図
である。

【図９】図７から得られる相関面の第２例を示す斜視図
である。

【図１０】図７から得られる相関面の第３例を示す斜視
図である。

【図１１】相関面の特殊な例を示す斜視図である。

【図１２】改善後の図１１の相関面を示す斜視図である
。

【図１３】相関面の一部を示す閾テスト説明図である。

【図１４】閾テストを行うための回路の一部を示す略式
回路図である。

【図１５】閾テストを行うための回路の残部を示す略式
回路図である。

【図１６】リングテスト説明用相関面の第１例を示す斜
視図である。

【図１７】リングテスト説明用相関面の第２例を示す斜
視図である。

【図１８】サーチ・ブロックの拡大方向の決め方を示す
説明図である。

【図１９】相関面の加重方法を示す説明図である。

【図２０】映像フレームにおける運動ベクトル領域を示
す説明図である。

【図２１】映像フレームのＡ領域における運動ベクトル
減少説明図である。

【図２２】映像フレームのＢ領域における運動ベクトル
減少説明図である。

【図２３】映像フレームのＣ領域における運動ベクトル
減少説明図である。

【図２４】図１の実施例の要部の詳細を示すブロック図
である。

【図２５】図２４の閾制御器の例を示すブロック図であ
る。

【図２６】運動ベクトル選択の第１段階（１）を示す説
明図である。

【図２７】運動ベクトル選択の第１段階（２）を示す説
明図である。

【図２８】運動ベクトル選択時の閾設定法（１）を示す
説明図である。

【図２９】運動ベクトル選択時の閾設定法（２）を示す
説明図である。

【図３０】運動ベクトル選択の第２段階を示す説明図で
ある。

【図３１】補間器の動作を示す説明図である。

【符号の説明】

３　　運動ベクトル導出決定手段 ４　　相関面発生手段 ５１　　閾制御器 ６２　　平均手段 ６７，６８，６９　　閾値を平均値に応じて変える手段
８　　補間器

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　映像信号の最初のフィールド又はフレ
   ームにおけるブロックを上記映像信号の次のフィールド
   又はフレームにおける複数のブロックと比較して上記最
   初のフィールド又はフレームにおけるブロックに対して
   それぞれ相関面を発生することにより、上記最初のフィ
   ールド又はフレームから次のフィールド又はフレームに
   かけての各ブロック内容の動きを表す運動ベクトルを導
   出する手段（ただし、上記相関面とは、上記最初のフィ
   ールド又はフレームにおけるブロックの内容と、これと
   比較された上記次のフィールド又はフレームにおける各
   ブロックの内容との差を表すものである。）と、上記相
   関面により表される次の最小差と所定の閾値より大きく
   異なる、上記相関面により表される最小差を決定するこ
   とにより、上記相関面から上記最小差値に対応する運動
   ベクトルを決定する手段と、上記のようにして決定した
   運動ベクトルの数を所定数のフィールド又はフレームに
   わたって平均する手段と、上記閾値を上記平均値に応じ
   て変える手段と、上記運動ベクトルに応じて制御される
   補間器とを具える動きを補正した映像方式変換装置。