JP2609263B2 - テレビジョン画像における運動の測定方法及び装置 - Google Patents

テレビジョン画像における運動の測定方法及び装置

Info

Publication number
JP2609263B2
JP2609263B2 JP62500409A JP50040987A JP2609263B2 JP 2609263 B2 JP2609263 B2 JP 2609263B2 JP 62500409 A JP62500409 A JP 62500409A JP 50040987 A JP50040987 A JP 50040987A JP 2609263 B2 JP2609263 B2 JP 2609263B2
Authority
JP
Japan
Prior art keywords
image
images
fields
motion
motion vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP62500409A
Other languages
English (en)
Other versions
JPH01500238A (ja
Inventor
トーマス，グラハム・エイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Broadcasting Corp
Original Assignee
British Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB868606809A external-priority patent/GB8606809D0/en
Application filed by British Broadcasting Corp filed Critical British Broadcasting Corp
Publication of JPH01500238A publication Critical patent/JPH01500238A/ja
Application granted granted Critical
Publication of JP2609263B2 publication Critical patent/JP2609263B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/12—Transmission systems characterised by the manner in which the individual colour picture signal components are combined using simultaneous signals only
    • H04N11/14—Transmission systems characterised by the manner in which the individual colour picture signal components are combined using simultaneous signals only in which one signal, modulated in phase and amplitude, conveys colour information and a second signal conveys brightness information, e.g. NTSC-system
    • H04N11/16—Transmission systems characterised by the manner in which the individual colour picture signal components are combined using simultaneous signals only in which one signal, modulated in phase and amplitude, conveys colour information and a second signal conveys brightness information, e.g. NTSC-system the chrominance signal alternating in phase, e.g. PAL-system
    • H04N11/167—Transmission systems characterised by the manner in which the individual colour picture signal components are combined using simultaneous signals only in which one signal, modulated in phase and amplitude, conveys colour information and a second signal conveys brightness information, e.g. NTSC-system the chrominance signal alternating in phase, e.g. PAL-system a resolution-increasing signal being multiplexed to the PAL-system signal, e.g. PAL-PLUS-system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/02—Colour television systems with bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H04N11/28—High-definition television systems involving bandwidth reduction, e.g. subsampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/122—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
    • H04N7/125—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line the signal segment being a picture element
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】 1.0 技術分野 TV画像の全ての部分の運動の速度および方向を知るこ
とが非常に有効である数多くの画像処理の用途がある。
これらの用途には、標準変換、ノイズ除去、帯域巾圧縮
方式、および何等かの時間的補間操作が要求されるその
他のものが含まれる。情景における比較的大きな対象の
パン（水平回転）および運動に関する情報さえも非常に
有効となろう。
1.1 従来技術 種々の手法がTV画像における運動の測定のために使用
されてきた。これらの内で最も有望な方法は、完全な情
景の大きな運動をピクセルの寸法以下の精度で測定する
ことができることが示された位相の相関に基づく方法の
ように思われていた。（J.J.Pearson、D.C.Hines、S.Go
losman、C.D.Kuglin著の「ビデオ速度の画像相関プロセ
ッサ」S.P.I.E.第119巻、ディジタル画像処理の応用（I
OCC1977年）） 1.2 本発明 本発明の目的は、公知の技術を、異なる方向および速
度で運動する多くの対象を含む情景における運動ベクト
ルの測定に拡張することである。
本発明の望ましい実施態様については第２項以下にお
いて説明する。
2.0 基本的な位相の相関手法 画像内のピクセル毎に運動ベクトルを計算する方法は
２つの段階に分けられる。
第１の段階は、情景に存在する主な運動ベクトルを決
定するために、２つの連続的な画像（即ち、正確な用途
によれば、フィールド）の相関操作を含む。
第２の段階は、これら運動ベクトルの１つを各ピクセ
ルに対して割当てる試みである。あるピクセルについて
は、例えば特定のピクセルが非常に小さな対象あるいは
覆われない（アンカバード）・バックグランド（対象が
動いたために見えてくる背景）に対応する場合には、運
動ベクトルを割当てることは不可能である。
2.1 第１の段階−ベクトルの測定 プロセスの第１の段階において、２つの連続する画像
の輝度成分の二次元高速フーリェ変換（FFT）が計算さ
れる。この時、変換における各空間周波数成分毎に、単
位長さのベクトルが計算され、その位相角度は２つの画
像におけるこの周波数の位相の差に等しい。結果として
得られる複素数行列についてフーリェ逆変換が行なわ
れ、この演算が２つの画像間の相関を与える実数行列を
生じる。数学的には、もしG1、G2が２つの連続する画像
の二次元の離散フーリェ変換であるならば、複素数行列
Ｚが下式を用いて空間周波数（m,n）毎に計算される。
即ち、 但し、G2 ＊はG2の複素共役を示す。
また、位相の相関はｚのフーリェ逆変換によって与え
られ、実成分のみを持つことになる。
その結果として得られる位相の相関行列は、２つの画
像間の相対的な変位量が（x,y）で与えられる時、特定
の点（x,y）におけるその高さが２つの画像がどれだけ
良好に相関するかを示す程度に比例する面として考える
ことができる。２つの平行状態にないカメラ入力の場合
のように、２つの画像間の簡単なシフトの場合には、相
関面はシフト・ベクトルに集中する△関数となる。情景
における主な運動ベクトル毎にこの相関面内にピーク値
が存在すると考えられる。これらの運動ベクトルの測定
は、この相関面内の大きなピーク値を探すことを含む。
ピーク値の相対的高さは、運動する対象の相対的な寸法
を、即ち、運動の程度を反映することになる。この方法
の主な新しい特徴は、単に１つではなくいくつかのピー
ク値を探し、これにより一回の演算で多くの速度の検出
を可能にすることである。
ピクセルの寸法以下の精度で運動ベクトルを測定する
ためには、相関面においてある補間操作を行なうことが
必要となる。
１つの情景に存在するできるだけ多くの速度を測定す
るためには、全画像について相関操作を行なうのではな
く、画像を複数のブロックに分割することが役立つ。こ
れは、正確に検出することができる個々のピークの数が
ノイズによりブロック当たり約３つのピークに制限され
る故である。更に、もし速度のピーク値がフィールド期
間当たり約１ピクセル以上に大きなシフト・ベクトルに
よって分離されるならば、速度ピーク値を解くことしか
できない。この手法はブロック間で運動する対象を相関
させることができないため、ブロックの大きさは、予期
される最も大きなシフト量に比較して大きくなる。64×
64ピクセルの大きさが好都合である。一方、少数の最も
顕著な運動ベクトルを測定することだけが必要ならば、
全画像あるいは少なくとも非常に大きなブロックを変換
してもよい。このブロックへの分割は、運動ベクトルの
測定の目的のみに行なわれることを想起すべきであり、
ベクトルは依然としてピクセル単位に割当てられる。
2.2 第２の段階−ベクトルの割当て 本プロセスの第１の段階は、情景に存在する１組の運
動ベクトルを与えるものであるが、情景のどの部分がど
のベクトルにより運動するかについては何も教えない。
第２の段階は、各ピクセルについて可能な各ベクトルを
「考察する」こと、および最良の「適合」を生じるベク
トルを割当てることを含む。ブロック単位に運動の情報
が要求される場合（例えば、ブロックに基づく帯域巾圧
縮システムの場合）には、１つのベクトルを各ピクセル
に割当てることが不要となり、またこの割当てはブロッ
ク単位に行なわれることになる。
対象となる運動ベクトルでシフトされる時２つの入力
画像間のモジュラス差（modulus difference）を計算す
ることにより、検出されたベクトル毎に「エラー面」が
形成される。良好なマッチングを与える２つの画像の領
域が生じるエラーは小さく、そのためこれらの領域がこ
の特定の運動ベクトルにより運動する対象に対応すると
仮定することが適当である。ノイズ効果を低下させるた
めに、ある種の空間フィルタ操作をエラー面に対して行
なうことが望ましい。
運動ベクトルがピクセルの寸法以下の精度で測定され
るとすると、エラー面の計算の際ある種の空間補間操作
を用いることが必要となる。
第１の段階において測定された全ての運動ベクトルが
一旦試算されると、各ピクセルは最も小さなエラー値を
生じた運動ベクトルが割当てられる。受入れ得る最大エ
ラー・レベルを定義する１つの閾値エラー・レベルを設
定することができる。エラーが各試算ベクトルを有する
このレベルよりも高いピクセルには「未知の運動」なる
フラッグを付すことができる。このようなピクセルは、
おそらくは、並外れた運動領域、即ち覆われているかあ
るいは覆われていないバックグランドに対応することに
なろう。
運動ベクトルが全体としてではなくブロックにおける
入力画像を変換することにより測定されたものとする
と、問題となるピクセルの近傍において測定されるベク
トルを試算する価値がある。ほとんどのピクセルがこの
ピクセルを含むブロックにおいて測定されたベクトルに
ついて考察するだけで、これらピクセルに割当てられた
適正なベクトルを持ち得る公算がある。理想的には、直
接包囲されたブロックにおいて測定されるベクトルもま
た、特にブロックの縁部付近のピクセルについて試算さ
れるべきである。このことは、運動する対象の小さな部
分が隣接するブロックに侵入する場合に重要である。
2.3 位相相関操作の利点 位相相関操作以外に用いられた運動量評価の基本的な
方法が２つあり、即ち空間時間的勾配手法および最適マ
ッチング手法である。
これら両手法は大きな運動の場合にはうまく行かず、
またこれら手法を画像単位に反復的に使用することが役
立つが、これらの手法は依然として急速に加速する対象
には役立たず、また急激な変化後に回復するのにかなり
長い時間が掛り得る。画像を小さなブロックに分割して
ブロック単位で運動ベクトルを割当てることがしばしば
必要となるが、このことは運動する対象の縁部がしばし
ばこれらに割当てた不適正な速度ベクトルを持つことに
なることを意味する。
位相相関操作は、これらの更に「伝統的な」手法にお
ける諸問題を克服する。小さな運動の場合は、３つの全
ての手法は略々同様に見えるが、大きな運動の場合に
は、位相相関法は極めて効果的なものとなる。
２つの連続する画像の大きな部分の間で相関操作を行
なうことは、非常に多数の試算ベクトルにより最適マッ
チング手法を用いることに等しい。このような相関操作
を行なう最も迅速な方法は、両方の画像のFFTを計算
し、これらを一緒に掛け合せ、その結果として得られる
行列を逆変換することである。この方法が一旦用いられ
れば、位相の相関を行なうことは極く僅かな余分な手間
にすぎない。この方法は、この手法が情景の明るさの変
化の影響を受けないようにするという利点を有し、また
相関面に更に鮮明なピーク値を生じる傾向を有する。位
相相関法は、交差相関法の場合に必要とされるものより
も簡単なハードウェアで実施することができるが、これ
はＺ軸の単位振幅ベクトルを極くおおまかに量子化する
ことが可能であるためである。
この手法は、情景における主な運動ベクトルを検出す
る本来的な利点を有する。これら運動ベクトルは、通
常、大きなバックグランド領域および大きな運動する対
象に対応する。これらは人間の目が容易に追従し得る種
類のものであり、従って適正に処理するために情景の最
も重要な部分である。
3.0 望ましい実施態様の説明 本発明は、位相相関法のコンピュータ・シミュレーシ
ョンにより詳細に検討され、かつ図面に関して更に詳細
に説明されよう。
第１図乃至第４図および第６図乃至第９図は、以下に
おいて更に詳細を尽される如き種々の相関面を示す図。
これら全ての図面において、Ｚ軸は相関のピーク値を示
すが、ＸおよびＹ軸はそれぞれＸ−ＶおよびＹ−Ｖで示
されピクセル／フィールド期間で測定されるＸ軸方向速
度およびＹ軸方向速度を示している。
これまで行なわれてきたコンピュータ・シミュレーシ
ョンの目的は、位相相関法がどれだけ実際に役立つかを
見出すためである。我々は、シミュレーションを、ハー
ドウェアで実現することが容易なアルゴリズムに対して
限定しておらず、我々の意図は、最もよいアルゴリズム
がどれだけ優れているかを見出すことであった。今後の
シミュレーションの主題は、ある用途における実時間の
ハードウェア構成において適当なものにするために「理
想的な」アルゴリズムがどれだけ簡素化できるかを見出
すことにある。
3.1 ベクトル測定法の検討 先ず最初に、アルゴリズムの「ベクトルの測定」段階
を調べた。この目的は、位相相関法の精度を検討するこ
とであり、かつこの手法が相対的シフトの大きさ、運動
する対象の数、および対象の大きさ、ノイズ量、等に対
してどれだけ依存するかを知ることであった。
3.1.1 簡単なパン動作における測定精度 最初の検討は簡単なパン動作について行なった。共に
比較的大きな同じ大きさであるが僅かに異なる場所を有
する画像から得た２つの画像部分を相関させた。両方の
画像部分は64ピクセル四方であり精度に過ぎず、ある適
当量のデテールを含んだテスト・スライドPONDの一部か
ら取られた。
第１図は、２つの同一の画像部分が相関されたときに
得られた相関面を示している。位相行列Ｚは、逆FFTを
行なうのに先立ち128×128の行列を形成するため零で充
填され、このため半整数シフトにおける値をsin（ｘ）/
xのインパルス応答で補間することを可能にした。これ
は、ピーク値付近で目に見える「リンギング」の原因と
なる。第２図は、同じ方法で作られたが２つの画像部分
の間に10ピクセルの１つの水平方向シフトを含む。この
ピーク値の場所は移動し、（ｘおよびｙ方向に独立的に
用いた）二次補間法の使用で（9.99,0.02）の如きピー
ク点をもたらす。従って、シフトは10ピクセルにおいて
数百分の一ピクセルの精度で測定された。ピークの高さ
は減衰し、ノイズが生じたが、これら両方の効果は画像
の縁部において露呈され且つ隠された画材に起因し得
る。
同様な実験が他のシフト値において試みられた。この
手法は、画像サイズの半分である計器上の限界までのシ
フト量（この場合では、32ピクセル）を正確に測定する
ことができることが判った。これより大きなシフトは、
単にピーク値を反対方向の更に小さなシフトに対応する
場所に生じる（例えば、＋34ピクセルのシフトは−30と
して現われる）。部分シフトは、上記の補間法を用いて
約0.02ピクセルの精度まで測定された。sin（ｘ）/x補
間法を先に用いないで単に二次補間を用いると、測定精
度を約0.1ピクセルに低下させた。
3.1.2 異なる補間フィルタ・ウインドウの効果 sin（ｘ）/xの補間子を用いることにより生じたリン
ギングは、小さな運動する対象により生じるピークをし
ばしばマスクし得るスプリアス・ピークを生じる。この
リンギングは、異なる補間子の使用により低減させるこ
とができる。補間子は、逆変換を行なうのに先立って位
相行列Ｚ（m,n）をウインドウ処理することにより変更
することができる。種々のウインドウの効果について研
究した。ウインドウは全て下式の形態のものである。即
ち、 ａ＋（１−ａ）cos（f/f0・π/2） ｆ≦f0 ０ ｆ＞f0 但し、ｆは水平または垂直の周波数、またf0は零が挿
入される前に元の行列に支持された最も高い周波数であ
る。第５図は、グラフによりウインドウ構成を示してい
る。
実線は、周波数０乃至f0が行列Ｚに支持されかつ零が
f0乃至2f0から挿入されて中間点の補間を可能にする簡
単なウインドウを示している。このため、鋭いピークで
あるが「リンギング」を伴なうsin（ｘ）/xインパルス
応答を生じる。破線は、解像度が荒い主ピークを生じる
が更に小さな子ピークをもたらすハミング（Hamming）
状のウインドウを示している。この１次元のウインドウ
処理関数は、水平および垂直の両方向に用いられた。
「ａ」に対する零の値は、第１図および第２図を生じた
矩形状ウインドウをもたらすが、0.54の値はハミング・
ウインドウをもたらすことになった。実験によれば、約
0.8の値がスプリアス・ピークの高さと各ピークの鋭さ
との間の妥当な折合いをもたらすことを示した。第３図
および第４図は第１図および第２図に対応するが、ａが
0.8の補間フィルタによるものである。このフィルタ
は、全てのピークの高さを減少しまた僅かに広げる効果
を有するが、補間されたピーク位置には影響を及ぼすこ
とはない。
スプリアス・ピークが問題を生じる状態の回数は小さ
く、全てのスプリアス・ピークを排除するために必要と
なる補間子の種類として主ピーク値の受入れ難い拡がり
を生じ、従って簡単な矩形状ウインドウ以外には使用に
価しない。
スプリアス・ピークを避ける別の方法は、補間されな
い面についてピーク探索操作を行なうことである。一旦
ピークが見出されると、半整数シフト値における相関面
の高さは、sin（ｘ）/x型の応答を有する補間子を用い
て計算することもできる。これは、最大点を見出すため
更に少ない点を探すという別の利点を有する。この試み
は、今後のコンピュータ・シミュレーションの主題とな
ろう。
「適応ウインドウ」を用いることによって信号対ノイ
ズ比のある程度の改善を得ることが可能である。基本的
な位相相関法においては、位相行列Ｚにおける全ての数
のモジュラスは１に設定される。このことは、これらの
成分の信号対ノイズ比が小さいことを前提にして、小さ
な振幅の周波数における情報がそれが持つべきものより
も更に大きな重みを有することを意味する。比較すれ
ば、交差相関を行なう時はこのような正規化は生じず、
その結果、相関ピークは巾が広くなり、ピークの高さは
情景に依存することになる。位相相関法と交差相関法と
の間の妥協は、いずれかの方式を用いるよりも良好な結
果をもたらし得る。この結果として、更に大きな振幅を
正規化しかつ小さな成分の振幅を少なくすることにな
る。これらの考えは、シミュレーション作業の次の段階
において検討されよう。
3.1.3 異なる入力画像ウインドウの効果 ある種の零による充填またはウインドウ処理が、入力
画像の変換前に、これら画像について行なわれるべきこ
とが示唆された。この背後の理由付けは、水平成分を有
するシフトの場合の相関を計算する際に、（例えば）左
右の縁部を相関させようとする試みにより、望ましくな
いノイズを生じるおそれがあることである。
（他のウインドウ表示は用いず）零のガードバンドを
用いて行なった実験は、ノイズの減少がわずかに生じ得
るが、零の速度におけるスプリアス・ピークが形成され
ることを示した。第６図は、第２図と同じ相関法である
が、零で充填した入力画像を用いて128ピクセル四方の
画像を形成する方法を示している。スプリアス・ピーク
が明瞭に見え、このピークはおそらくは画像部分と２つ
の画像における零の「ガードバンド」相関操作との間の
鋭い縁部によるものである。
（位相行列Ｚにおいて用いた形態の）累乗（raised）
余弦のウインドウを入力画像部分に用いる効果もまた検
討された。「ガードバンド」と関連して用いた場合、零
の速度におけるスプリアス・ピークが除去された（これ
が画像とガードバンドとの間の鋭い接合部により生じた
という考え方に一致する）。信号対ノイズ比における更
なる改善が得られた。第７図は、64ピクセル巾のガード
バンドと画像部分における累乗余弦の開口を有するが、
第２図と同じ画像部分における相関面を示している。信
号対ノイズ比は更に改善され、零の速度におけるスプリ
アス・ピークが消えた。この試みにおける計算上の不利
な点は、変換が画像の比較的小さな領域を対象とするこ
とである。
これらの研究は、信号対ノイズ比における改善が累乗
余弦の開口を有し零で囲まれた入力画像をウインドウ処
理することにより得られることを示した。しかし、この
ため、必要な処理電力の大きな増加を示し、改善点は信
号対ノイズ比が非常に小さい（因数２より小さい）こと
である。他のウインドウ処理を行なうことなく入力画像
を零で充填することは、スプリアス・ピークが生じるた
め不利である。零で充填することなく累乗余弦のウイン
ドウを使用することはノイズを僅かに低減するが、画像
全体で運動を検出するために、重なり合うブロックを用
いなければならないことを意味することになる。従っ
て、多くの用途において、おそらく敢えて何等かのウイ
ンドウ処理を煩わす価値はない。
3.1.4 ノイズの効果 入力画像におけるノイズが位相相関操作の結果に影響
を及ぼす方法が検討された。ノイズを含む画像は、乱数
値（あるピーク値を含む）を各ピクセルにおける輝度に
加えることにより生成された。異なるレベルのノイズを
有する（第２図相関面の生成のため用いられる如き）10
ピクセルだけシフトされた２つの画像間で相関操作が行
なわれた。ピークのホワイト・レベルより低いピーク値
20dBのノイズが加算すると、相関面上のノイズの全般レ
ベルに著しい変化を生じることなく因数2.4だけ相関ピ
ーク値の高さを減じた。測定誤差は約0.08ピクセルまで
増加した。ピークのホワイト・レベルより低い10dBまで
ノイズ量を増加すると、因数2.2だけ更に減少を生じる
がピークは依然として検出可能であった。測定誤差は約
0.3ピクセルまで上昇した。このことは、ノイズを含む
画像が運動測定プロセスのこの部分に対して大きな問題
を生じないことを示唆する。本文3.1.2に述べたよう
に、ノイズ排除能力は、位相行列に対するある「適応ウ
インドウ操作法」によって増加できることがあり得る。
相関面におけるノイズを減少する可能な方法は、ある
種の時間的フィルタ操作を行なうことであろう。例え
ば、各ブロックの相関面に対して加えられる一次の反復
的な時間的フィルタは、ノイズ・ピーク値のレベルを低
減する間に、静止状態あるいは徐々に変化するピークを
強化する。この方法の欠点は、対象を急激に加速するこ
とにより生じる速度のピークが減衰されることである。
純粋な運動ピーク値を不当に減衰することなくノイズの
良好な減衰をもたらすフィルタを選択することが可能な
筈である。ショットの変化を検出して変化の直後の時間
的なフィルタ処理を禁止することが望ましい。
3.1.5 １つ以上の運動ベクトルを含む情景 本手法がパン動作に対して良好に働くことが示された
ので、バックグランド上で運動する１つの対象を含む画
像について検討した。これらの研究の目的は、この手法
がいくつかのピークを生成することによりいくつかの運
動する対象を正確に検出することができるかどうかを調
べることにあった。
64ピクセル四方の画像（「ディックとジーン（Dick a
nd Jean）」）の一部が抽出され、別の画像からの32×3
2ピクセルの部分（「テストカードＦ」からの黒板の十
字」がこの画像の中間に挿入された。挿入された画像の
縁部は、結果として生じる画像に人為的に高い周波数を
生じることのないように、３ピクセルの距離にわたって
バックグランド画像と「混ぜ合わ」された。第２の同様
な画像が形成されたが、挿入された画像部分は左方に３
ピクセルだけ、また下方に３ピクセルだけシフトされ
た。
第８図は、結果として得られる相関面を示している。
（前と同様に二次式をsin（ｘ）/x補間データに対して
適合させることにより計算された）補間されたピークの
場所は正確に0.01ピクセルであった。高さの比率が対象
の領域の比率よりも小さい（４に比較して1.6）が、ピ
ークの相対的高さが運動する対象の相対領域およびバッ
クグランドを反映している。ピーク付近のノイズは、挿
入された画像部分の周囲で覆われず露呈したバックグラ
ンドによるものである。
位相相関手法はこの運動の正確な測定に何等問題がな
いため、更に厳しいある実験が試みられた。これら実験
の目的は、運動する対象がどれだけ小さくできるか、ま
た依然として検出できるかを調べることであった。種々
の大きさの画像部分が、64ピクセル四方であるバックグ
ランド画像上で（5,5）のシフト・ベクトルで「運動」
させられた。この対象の運動ベクトルは、特に対象がそ
れ自体の長さの２倍以上運動したことを考えれば、全く
驚くべき２ピクセル四方という小さな対象について正確
に検出された。
静止バックグランド上で運動する２つの対象について
の検討は、通常３つのピーク（バックグランドに対して
１つ、また対象に対して２つ）が検出できることを示し
た。しかしある場合には、速度のピークはノイズ（おそ
らく、覆われていないバックグランドによる）およびsi
n（ｘ）/x補間子からのスプリアス・ピーク値によって
ぼけた状態となった。前に述べたように、ノイズの量は
おそらくは、入力画像部分におけるウインドウおよび位
相行列に対するある形態の適応ウインドウ操作を用いる
ことにより減少させることができる。補間子からのスプ
リアス・ピークは、もしピークを探すプロセスが補間さ
れない行列において実施されるならば問題を生じること
はない。
最終テストとして、実シーケンスからの２つの連続す
るフィールドに対する相関面が生成された。略々静止状
のバックグランドにおいてやや急激に移動するゲートを
示した「フォイト（VOIT）」シーケンスの一部が選択さ
れた。第９図は、得られた相関面を示している。２つの
大きなピークは、（0.03,−0.42）および（2.38,−0.2
5）の速度に対応している。（定規を使用する）測定
は、ゲートの速度がフィールド期間当たり約2.40ピクセ
ルであったことを示唆し、このことは相関操作により得
られる値の１つと非常によく一致する。相関操作が２つ
の連続するフィールド間であったため、半ピクセルの垂
直方向のシフトが予期されることになり、このことは検
出される垂直方向のシフトとかなりよく一致する。２つ
の大きなピークの高さは略々同じであり、ゲートおよび
バックグランドが略々同じ大きさの領域を占めるという
事実を反映している。
3.1.6 運動ベクトル検出研究のまとめ 上記の実験は、前記の位相相関法が前に引用した文献
に述べられたように実際に働くことを示した。パン動作
および運動する１つの対象に典型的な0.02ピクセルのベ
クトル測定精度が、（ほぼsin（ｘ）/xのインパルス応
答を有する補間子を用いて）両方向において２の因数で
相関面を最初に補間することにより、次いで（それぞれ
ｘおよびｙについて）最大のいずれかの側で補間された
点に二次式を適合させることにより得ることができる。
単に二次式を補間されない相関面に適合させることによ
り、約0.2ピクセルの精度を得ることができる。この手
法の精度はほとんどノイズによる影響がなく、非常に小
さな対象の検出が可能であった。
相関操作に施されている画像領域における２あるいは
３以上の対象の速度を測定することができるようにする
ため、基本的な手法にある修正を施すことが望ましい。
１つの可能な修正法は、累乗余弦関数で入力画像部分を
ウインドウ処理すること、およびおそらくはこれを零で
充填することであり、これで相関面のノイズを低減する
ことができる。また、小さな振幅成分が比較的小さな重
みを有するように、ある種の適応ウインドウを位相行列
に対して加えることによりノイズを低減することも可能
であろう。補間プロセスにより生じるスプリアス・ピー
クで経験される問題は、おそらくは補間されない行列に
対するピーク探索プロセスを実行することにより避ける
ことができよう。これらの改善のどれが特定の用途に対
して取入れる価値があるかを判定するため更なるシミュ
レーション操作が必要となる。
3.2. ベクトル割当ての検討 この検討の目的は、運動測定プロセスの第２の段階、
即ち特定のピクセルに対して主な運動ベクトルを割当て
ることをシミュレートすることであった。当面すべき最
初の問題は、どれだけ適切にベクトルの測定および割当
てが行なわれたかを示す方法を見出すことであった。運
動ベクトルを用いて２つの入力画像間に１つの画像を時
間的に補間することによりこれを行なうことが決定され
た。これは、方法の厳密なテストのみならず、もしこの
手法を用いて中間の画像を「補う」ことによりフィルム
の運動描写を改善するならばどのような種類の結果を得
ることができるかを示している。
偶数フィールド間の時間的補間操作により一連の奇数
フィールドを生じる（あるいはその逆）ことができるコ
ンピュータ・プログラムが開発された。このプログラム
は、ユーザが入力画像の大きさ、相関操作が行なわれた
ブロックの大きさ、ブロック当たり抽出されるベクトル
数等の如き、本方法と関連の種々のパラメータを変更す
ることを可能にした。
3.2.1 使用した方法の詳細 これら全ての検討は、画像部分および行列Ｚにおける
簡単な四角いウインドウにより、前述の「基本的な」位
相相関法を用いて行なわれた。相関面は前に述べたよう
に零で充填することによって補間された。
本手法が最もよく作用することを調べるためには、で
きるだけ多くの運動ベクトルを測定するため全画像では
なくブロック（64ピクセル×32ライン）について相関操
作が行なわれた。ブロック毎に最大３つのベクトルが測
定された。あるピクセルに対する試算ベクトルのメニュ
ーは、ピクセルを含むブロックならびにすぐ隣のブロッ
クにおいて測定されたベクトルからなっていた。このた
め、画像の中間における１つのブロックのピクセルにつ
いては、最大27ベクトルが試算されることになる。
１つのピクセルに対して１つの運動ベクトルを割当て
るためには、前述の第2.2項において述べたように、
「エラー面」がベクトル毎に計算された。最初の作業
は、非常に簡単なアルゴリズムを用いて入力画像の補間
を行ない、その結果整数でないベクトル長さを取扱うこ
とができるようになった。このアルゴニズムは、４つの
最も近いピクセルの値の加重和をとることを含む。補間
されつつある点が４つのピクセルのいずれかの位置と一
致した時補間された値がこのピクセルの値と等しくなる
ように重みが選択された。その後の研究は、二次元の三
次スプライン適合法を用いることによりこのアルゴリズ
ムを改善した。（H.S.HouおよびH.C.Andrews著「画像の
補間法およびディジタル・フィルタ法のための三次（cu
bic）スプライン」（IEEETrans.ASSP,第ASSP−26巻、第
６号、1978年12月刊） 各試算ベクトルに対する「エラー面」が下式の形態の
開口を有する簡単な空間的フィルタによりフィルタ処理
された。即ち、 1/（dx＋dy＋１） dx,dy≦２ ０ dx,dy＞２ 但し、dxおよびdyは、問題となるエラー行列における点
からの水平および垂直方向の距離（ピクセル単位）であ
る。この種類のフィルタは、主として構成が容易である
故に多く用いられ、洗練することが可能であった。中間
フィルタ操作の如き別の形態のフィルタ操作が更に良好
な結果を生じることは証明し得る。
運動ベクトルが各ピクセルに割当てられ、受入れ得る
エラーに対して上限は設定されなかった。理想的な構成
においては、大きなエラーを有するピクセルについて更
に研究され、ある大きさの覆われていないバックグラン
ドが作られることになろう。
出力画像における各ピクセルの輝度値は、ピクセルに
対する運動ベクトルにより変位された位置において、隣
接する２つのフィールドにおける値を平均化することに
よって計算された。
第10図は、前のフィールドＰ、次のフィールドＮおよ
び生成されつつあるフィールドＧを示している。フィー
ルドＧにおける点の輝度の値は、フィールドＰおよびＮ
における点ｘおよびｚの値の平均値であり、この場合点
ｘおよびｙはｙから±V/2だけ変位され、Ｖは点ｙにお
いて割当てられた速度のベクトルである。このベクトル
は、（空間的フィルタ操作の後）点ｘおよびｚ間の輝度
の差を最小にするように選択された。
3.2.2 結果 前に概要を述べた方法を用いて、「フォイト」シーケ
ンスからの偶数フィールドが奇数フィールドから運動補
償された補間操作を行なうことによって生成された。
エラー面における空間的フィルタ操作なしに行なわれ
た最初の検討は、不適性なベクトルがしばしばノイズに
よりピクセルに対して割当てられたことを示した。上記
の空間的フィルタがこの問題を解消した。空間的フィル
タを用いる代償は、運動する対象のすぐ隣りのバックグ
ランドがしばしば対象に「沿って引き出される」ことで
ある。この問題は、フィルタの形式を変更することによ
り解消することができる。露呈したかあるいは隠された
バックグランドの場合には、下記の基本的な問題があ
る。即ち、画像情報は２つの入力画像の一方にしか存在
しないため、運動ベクトルをこれに割当てることができ
ない。この問題は別の試みを必要とし、以下に簡単に論
述する。
一旦エラー面の空間的フィルタ操作が含まれると、補
間された画像が非常に明瞭に見え始め、１つの大きな問
題が残る。自動車のラジエータの下方部分および移動す
るゲートの「柱」の各部が時々見えなくなることを除い
て、補間された画像のほとんどの部分は正しく見えた。
この問題は、大小両方のベクトルが有効である場合に、
大きな運動ベクトルが緩やかに運動する領域に加えられ
るためであることが見出された。第11図は、自動車のラ
ジエータの場合におけるこのような問題について示して
いる。これは、静止した均一なバックグランドに対する
静止する対象Ｏを表わす。V1およびV2は共に、バックグ
ランドが均一であればフィールドＧにおける点Ｐに対し
て存在し得る運動ベクトルである。例えば、対象Ｏは、
自動車のラジエータ自体および「フォイト」シーケンス
におけるその下方の黒の領域により与えられるバックグ
ランドに対するラジエータの底部における銀色の周部と
なろう。ここで触れた画像は、1986年７月に発行された
BBC Research Dept.のレポート1986/5の第３図に示され
ている。ゲートの消滅の理由付けはやや把握し難い。ゲ
ートは、１つの画像周期において約4.7ピクセルだけ水
平に運動する周期的な構造であり、それ自体14ピクセル
毎に空間的に反復する。このことは、ゲートに対して２
つの有効な運動ベクトル、即ち（ゲートの縁部の効果を
無視して）画像周期毎に＋4.7および−9.4ピクセルが存
在することを意味する。もし不適正な運動ベクトルが選
択されるならば、ゲートは補間された画像において「分
解」する。
この問題は、増加するベクトル長さと共に増加した関
数で各ベクトル毎にエラー面を乗じることにより緩和さ
れた。このことは、２つのベクトルが略々同じマッチン
グエラーを生じる時、この種の２つのベクトルが割当て
られることを意味する。用いられた加重関数は下記の形
態のものであった。即ち、 但し、ｖは運動ベクトルの長さ、voは加重関数が10とな
る速度である。この関数は、全く任意な方法で到達し
た。画像周期当たり５ピクセルのv0の値は、ゲートが実
際に左方ではなく右方へ運動しつつあったというプログ
ラムを信じさせるに充分であった。この「欺瞞因子」が
どれだけ一般に妥当するかを知るため、他の画像シーケ
ンスによる検討を行なう必要がある。
この特徴が盛り込まれると、全く見苦しくない出力画
像が生成された。出力画像は、一部は不充分な垂直方向
のデテールが入力画像に利用できるため（奇数フィール
ドのみを用いたため）、また一部は非整数成分による運
動ベクトルを加える時使用された極端に単純な空間補間
子のため、僅かに軟調であった。空間補間子は、三次ス
プラインとの適合に基いて１に増進され、その結果必要
な処理時間が大きく増加するという犠牲はあるが、更に
鮮明な出力画像を生じた。
完全に調整された方法を用いて補間されたフォイト・
シーケンスから１つのフィールドを調べると、このフィ
ールドが特に「アンダーカバード・バックグランド」ア
ルゴリズムを欠くことを考慮すると驚く程よく見えるこ
とが判る。
（アンダーカバード・バックグランドとは別に）僅か
に残る問題は、（前に述べた欺瞞因子にも拘らず）ゲー
トの各部の運動ベクトルが時々不適正に割当てられるこ
と、またエラー面における空間フィルタは対象（または
隣接するバックグランド）の縁部を僅かに崩れた状態に
見せ得ることである。アルゴリズムに対する更に小さな
修正でこれらの問題を解消することができる筈である。
覆われていないバックグランド領域は、画像における
運動ベクトルの配置を調べることによって検出すること
ができた。境界に対し直角をなす異なるベクトル成分を
有する領域間の境界にある隠された又は露呈されたバッ
クグランドがある筈である。どの画像情報が補間された
画像におけるこのような領域において帰属するかを調べ
るためには、２つ以上の入力画像を調べる必要がある。
これらの検討は相関操作を行なうために入力画像を多
くのブロックに分割することを含むが、これは多くの用
途において必要ではない。フォイト・シーケンスの一部
が、16の小さなブロックの代りに１つの大きなブロック
として画像を変換することにより、また相関面から４つ
の主なベクトルを抽出することによって、補間操作が行
なわれた。この補間操作された画像は、多くのブロック
を用いて得られたものとほとんど見分けることができな
かった。しかし、このシーケンスは、３つの主な対象
（ゲートと、自動車と、バックグランド）を示すに過ぎ
ずかつそのどれもが非常に速く運動しないため、やや特
殊な場合である。多くの速く運動する対象または回転す
る対象を含むシーケンスは、更に多くのブロック従って
ベクトルを用いれば遙かによく見えるであろう。
3.2.3 運動ベクトル割当ての検討のまとめ 上記の実験は、前述の第2.2項に述べた方法を用いて
運動ベクトルをピクセルに対して適正に割当てることが
可能であることを示した。唯一必要な修正は、ベクトル
割当てを小さなベクトルになるように加重因子を取込む
ことであった。
エラー面に対する改善されたフィルタ（おそらくは別
の種類の空間フィルタ、あるいは時間的フィルタ）操作
を含むベクトルの割当てアルゴリズムに取込むことがで
きるいくつかの微修正が行なわれた。また、パラメータ
を「微調整」するある範囲がある。更に、ベクトル測定
アルゴリズムについて前述の第3.1.6項で示唆した改善
も盛り込むことができ、またこれらの改善は全体として
手法の性能を改善することもできる。もし運動ベクトル
が多くの小さなブロックではなく１つの大きなブロック
として画像を変換することにより測定されるならば、こ
れらの改善は特に重要となろう。別の有効な実験は、
「覆われていないバックグランド」アルゴリズムを盛り
込もうとする試みであろう。
4.0 ハードウェアの構成 上記の手法のハードウェアへの取込みの細部は、主と
して運動情報が用いられるべき用途に依存することにな
ろう。しかし、ほとんどの構成に対して妥当し得るいく
つかの共通点があり、これらのいくつかについて以下に
論述する。以下の論議においては、13.5MHZのサンプリ
ング速度が用いられる。
4.1 ベクトル測定用ハードウェア ハードウェアのベクトル測定部分は、データの１つの
行列について一次元FFTを実行することができる回路に
基くものとなろう。このような回路は、１回のFFTの
「バタフライ（butterfly）」演算を実現するため、い
くつかの乗算器（あるいはPROM）および加算器を用いて
構築することができよう。変換されるデータはRAM内に
保持され、PROMが適当なRAMアドレス間でバタフライ演
算を行なうため適当なアドレス・シーケンスを生成する
ことになる。別のPROMが「拘束（twiddle）因子」を保
持することになる。パイプライン化構造を用いることに
より、このような回路はｎ点の複素FFTを行なうためｎ
・（log2 n）のクロック・パルスをとることになろう。
このような回路は、８つの乗算器、６つの加算器、拘束
因子を保持するPROMの内の１つ、および各々が変換され
る行列のコピーを保持する４つのRAMからなることにな
る。このような回路の物理的な大きさは計算に必要なビ
ット数（未だ決定されていない）に依存することになろ
うが、この数は１つまたは２つの4Uボードに適合するも
のとなる。
制御ボードは、変換される画像の部分（あるいは画像
全体）を保持し、これをFFTボードに対し（一時に１ラ
インまたは１列ずつ）送出する。変換される画像がｎ個
のピクセル四方であれば、二次元FFT当たり2n2log2 n個
の合計クロック周期を生じる2n回のFFTが必要となる。
このような構成は複素FFTを実行することができるた
め、２つの実行列が一回の演算で変換することができる
ようにデータを配列することが可能となる。１つのブロ
ックに対する相関面を計算するためには、FFTに対して2
n2log2 nの如き合計クロック周期数を生じる２回の二次
元FFTが必要となる。
画像毎に速度を測定することが望まれる簡単な場合に
ついて考えよう。画像が512画素四方の１つのブロック
として変換されると、変換は１つのFFTブロックにより
約0.35秒で行うことができる。必要な変換速度は50HZの
フィールド速度において画像当たり40ミリ秒となり、そ
の結果約10のこのような「FFTエンジン」が必要とな
る。このため、全体で約80個の乗算器と60個の加算器と
なる。このため大量のハードウェアとなるが、実施は可
能である。変換の間に位相行列の乗算を行なうためには
別のハードウェアが必要となるが、これはFFTに必要な
ハードウェアの約1/9であるに過ぎない。
ピークの探索および補間操作を行なうためには更にハ
ードウェアが必要となる。このようなハードウェアは、
寸法で３ピクセル四方の開口を持つディジタル・フィル
タに類似する（１つの点が１つの最大値であるかどうか
を判定するためには９つの点を調べる必要があるため）
ものになるが、乗算器の代りにコンパレータに基くこと
になる。このように、この構成は著しい量のハードウェ
アを必要とするものではない。
4.2 ベクトル割当て用ハードウェア 装置のこの部分の複雑度はまた特殊な用途に非常に大
きく依存することになる。ある点で標準的なコンバータ
におけるように、ピクセルの寸法以下の精度の１つの運
動ベクトルがピクセル毎に必要となるが、帯域巾圧縮シ
ステムにおいては、ブロック毎にベクトルをピクセルに
割当てることを必要とするのに過ぎず、ピクセルの寸法
以下の精度は重要ではない。ブロック当たりの試算ベク
トル数もまた、ハードウェアの大きさに直接的な影響を
及ぼすことになる。
ピクセルの寸法以下の精度の１つのベクトルがピクセ
ル毎に必要となる最悪の場合について考えよう。２つの
空間補間装置、１つの減算器および１つの空間フィルタ
に類似するハードウェアが各試算ベクトル毎に必要とな
る。このことは、関連した加算器を持つ20乃至30個程度
の乗算器のようなものを意味することになる。ピクセル
当たり４つのベクトルを試算するものとすれば、合計約
100個の乗算器が必要となる。
一方、ピクセルの寸法以下の精度が重要ではないブロ
ックに基くベクトル割当てシステムは遙かに簡単なもの
となる。必要なハードウェアは、ベクトル当たり僅かに
少数の減算器と加算器まで減少し得る。
変換が比較的小さいブロックにおいて実行されるもの
とすればコストは僅かに減少するが、ベクトル割当てハ
ードウェアは更に複雑なものとなり得る。運動ベクトル
がピクセルの寸法以下の精度で要求されなければ、FFT
実行に先立ち両方向で２の因数で入力画像のフィルタ操
作を済ませることができ、このためハードウェアのコス
トを因数４だけ減少することができる。
5.0 一次元変換の使用 上記の如き運動ベクトル測定法の第１の段階は、ある
シーケンスで２つの連続する画像間の二次元の位相相関
操作を行なうことを含む。（ｍ×ｎ）個の画素を含む１
つの画像部分の場合は、この段階は、長さｍのｎ回のフ
ーリェ変換が後に続く長さｎのｍ回のフーリェ変換を実
施し、（ｍ×ｎ）なる空間周波数毎の位相差を計算し、
同じ回数の逆変換を行なうことを含む。次いで、主ピー
ク値の場所を見出すため、その結果として得られる位相
相関面が照会される。
この演算の大部分は、画像に対し一次元のフィルタ操
作を用いた後画像データについて１対の直交一次元変換
を実行し、従って与えられた軸方向に平行な主要シフト
の成分を測定することにより回避することができる。こ
のことは、「変数分離可能な」試み即ち変数分離法とし
て記述することができる。例えば、画像は、各ピクセル
列の全ての画素を加算することによって、最初に垂直方
向にフィルタ操作が可能である。次いで、結果として得
る値の行と前の画像のフィルタ操作から得た値の行との
間で位相相関の操作が行なわれることになる。相関関数
における主ピーク値は、画像における主要な運動ベクト
ルの水平成分を与えることになる。同様な処理が、主要
なシフトの垂直成分を測定するために実行されることに
なる。
この試みの結果、著しく少ない変換操作で済むことに
なる。（ｎ×ｎ）個のサンプルの画像部分については、
二次元の操作に合計4n回の変換を必要とするが、変換分
離法では４回を要する。この試みの短所は、相関関数に
おけるピークが更にノイズを受け易くまた拾うことが更
に困難であることである。
このため、本方法は主ピークの場所を一義的に識別す
ることができないが、これはどの水平および垂直方向成
分を組合せるべきかについての表示がないためである。
このことは、１つ以上の主ベクトルに感心がある場合に
唯一つ問題である。ｎ個のピークの場所が、相互に平行
でない軸上で少なくとも（ｎ＋１）回の相関操作を計算
することにより、一義的に識別できることを示すことが
可能である。しかし、ｎ回の場合には、例えｎ個以下の
軸が存在する場合でも、ｎ個より多くのピーク場所が存
在し得る確率は少くなる。例えば４つのピークを見出す
ことを望む場合には、おそらく４回の相関操作で充分で
あろう。不適正なピーク場所を割当てる確率もまた、座
標の測定精度と共に低下する。例えピークの場所におい
てある不確実性が残る場合でも、これはベクトル割当て
段階において試みられるシフト・ベクトル数を増やすこ
とにより常に克服され得る。
要約すれば、２つの画像に対する相関面における主ピ
ークを見出すために必要な計算量は、フィルタ画像につ
いて多くの一次元相関操作を実行することにより著しく
減少させることができる。このフィルタ操作量は、相関
軸に直交する線に沿った画素の和に相当する。相関操作
は、相互に平行でない軸において実行されなければなら
ない。この手法を用いてｎ個のピークの場所を一義的に
識別するためには、ｎ＞３の場合は通常より少ない相関
操作で充分であるが、少なくとも（ｎ＋１）回の相関操
作を行なうことが必要である。４回の相関操作がｄ個の
ピクセル四方の１つの画像部分について実行されたもの
とすれば、完全な二次元法の場合の4dと比較して、入力
画像当たり必要なフーリェ変換の回数は８となる。典型
的なブロック・サイズの場合には、この数値は因数30程
度のハードウェアの節減に相当する。払われた犠牲は、
ピーク巾が更に広くなってノイズが多くなり、誤ったピ
ーク場所が生じ得ることである。
6.0 用途例 本項は、テレビジョン画像における運動を測定するの
に相関操作を適用するための斬新な手法について説明す
る。コンピュータ・シミュレーションによれば、本手法
は非常に良好に（おそらくは他のどんな公表された手法
よりも良好に）働くように思われる。本手法に対する種
々の調整が示唆されている。
本発明は、（二次元の一般的な場合に）変位量の関数
として相関量を決定することにより、各運動ベクトルに
対応する複数のピーク相関値を決定するために２つの画
像を相関させ、その後これら運動ベクトルのどれが一方
の画像を他方の画像から得る際に最もよく適合するかを
ピクセル単位またはブロック単位にテストすることに存
在することが判るであろう。
本手法は、標準方式コンバータの如き装置の品質が劇
的に改善され得るという大きな希望を与えるように思わ
れる。更に、本手法は、フィルムの運動描写の改善の如
き新しい用途への扉を開くものである。
この手法の１つの有効な用途は、運動適応型の帯域圧
縮システムの品質を改善することである。これは、ある
情景における主な運動ベクトルを測定し、これらベクト
ルをブロック（１ブロックは約６ピクセル四方である）
単位に割当てることからなる。
この運動ベクトル測定法は、一連の画像について時間
的補間操作を行ない、あるいは１つの情景における対象
の動きを追従することが必要な如何なる場合でも、有効
に適用し得る。以下の項は、いくつかの用法について更
に詳細に説明する。
6.1 フィルムの運動描写の改善 あるフィルムがテレビジョンで上演される時、各フレ
ームは２回表示される（インターレース・システムにお
いて、１回は奇数テレビジョン・フィールドとして走査
され、もう１回は偶数フィールドとして走査される）。
このような構成は、１つのフィルム・ショットを１秒に
25（または24）フレームの（略々）適正な速度で見るこ
とを可能にする。連続するフィールドで画像を反復する
プロセスは、各画像が一回しか示されなければ、経験さ
れるフリッカーのレベルを著しく低下させるが、このプ
ロセスはまた動きの悪化をももたらす。視聴者の目は運
動する対象を追う時、二重像が網膜上に現われるが、こ
れは運動する各対象が適当な時点で適当な位置に示され
ないためである。
本システムにより生じる運動の悪化は、フィルム・シ
ーケンスにおける中間の画像が運動補償された補間操作
を用いて生成されるならば、実質的に除去することがで
きる。
中間画像における各ピクセルは、適当な運動ベクトル
をそれぞれ±0.5だけ変位された前後の画像において、
対応するピクセルにおける輝度レベルを平均化すること
により生成することができる。カラー・フィルムの場合
は、Ｒ、Ｇ、Ｂ成分の値がそれぞれこの方法で得られる
ことにある。
覆われていない、あるいは隠されたバックグランド領
域は、この領域が適正な運動ベクトルを持たないため、
前述の方法で処理することはできない。これら領域を処
理するためには、最初にこの領域が覆われていない、あ
るいは隠されたバックグランドに対応しているかどうか
を判定することが必要である。このことは、境界に対し
て直角をなす周囲の領域における運動ベクトルの成分を
調べることにより判定することができる。覆われていな
いバックグランドの領域は、この領域から遠去る方向に
向く近傍ベクトルを持ち、また隠されたバックグランド
領域はこれら領域に向いた近傍ベクトルを持つことにな
る。覆われていない領域における画像情報は後続の画像
から得なければならず、隠された領域における情報は前
の画像からのものでなければならない。後あるいは前の
画像において要求される画像情報の場所を判定するため
に、後の２つの画像または前の２つの画像間で測定され
た運動ベクトルを調べることが必要となる。要求された
領域は、動きが時間的に後または前に補外される時、割
当てされない領域で始まるか終るものとなる。
これらの原理は、等しく有効に他のフィールドまたは
フィルム速度に適用し得る。例えば、フィルムを60HZの
テレビジョン方式により表示する時、２つの中間のフレ
ームが各対のフィルム・フレーム間で生成されることに
なる。新しい画像は、１対のフレーム間の2/5および4/5
の位置に、また次の対のフレーム間の1/5および3/5の位
置に・・・というように生成されることになる。２つの
フレームの中間以外の時点における中間画像の生成は、
ベクトルの割当てが画像の中間ではなく画像間の適当な
時点において行なわれることを除いて、上に説明したも
のと全く同じプロセスを含む。生成されている画像にお
ける各ピクセルの輝度（またはカラー成分）信号の振幅
は、比例的に大きくなる加重操作が最も近い画像の値に
与えられるように、隣接する画像における適当な点にお
ける値の加重平均となる。
6.2 高品位標準変換 あるフィールド速度から他のフィールド速度へ画像を
変換することが必要な場合は常に、時間的補間操作が必
要となる。情景の運動ベクトルを知ることにより、従来
の手法を用いる場合よりも遙かに良好に本プロセスを実
施することを可能にする。
運動補償した標準変換法を実施するためには、信号が
符号化された形態であったならば、この信号を最初に輝
度およびクロミナンス成分に復号し、入力するインター
レース画像を順次走査標準方式に変換することが必要で
ある。この後者のプロセス自体は情景の運動ベクトルの
知識から得ることができるが、これは、１つのフィール
ドが欠落するラインを補間する前に、一方のフィールド
が他方のフィールドに関して適当な運動ベクトルで変位
され得るためである。あるいはまた、垂直方向の時間的
フィルタを用いることができるが、この手法は運動する
領域における垂直方向のデテールがある程度脱落する結
果をもたらす。
一旦入力画像が順次方式へ変換されると、運動補償さ
れた時間的補間法を用いて、出力フィールド速度が要求
する時点で画像を生成する。このプロセスは、インター
レースされた標準方式への変換を仮定すれば、出力画像
の１つ置きのラインを生成するだけでよいという点を除
いて、前に述べたフィルムの運動描写を改善するための
プロセスと同じものである。
6.3 平滑なスロー・モーション・シーケンスの生成 短いシーケンスのテレビジョン画像をスロー・モーシ
ョンで再生することがしばしば必要となる。従来は、こ
れは各フィールドを数回反復する（もしくは１つのフィ
ールドの後に簡単な補間プロセスを用いて生成されたフ
ィールドを続けて反復する）ことにより行なわれる。そ
の結果、揺れ運動を生じる。非常に速いフィールド速度
を持つ特殊なカメラを用いて平滑なスロー・モーション
を得ることが可能であるが、この方法は操作上の問題を
もたらす。
平滑なスロー・モーションは、時間的補間操作を用い
て追加のフィールドを生成することができるならば、従
来のカメラを使用して達成することが可能である。これ
は、前に述べた標準変換を行なうためのプロセスを用い
て行なうことができる。生成される必要のある中間のフ
ィールド数は、運動が遅らされた量に依存することにな
る。
中間のフィールドを生成するために必要な電子装置
は、簡単なスロー・モーション再生能力を備えた従来の
ビデオ・テープ・レコーダの出力側に置かれる。この装
置は、各フィールドが反復された回数を測定し、反復さ
れたフィールドを置換する適当な数の介在フィールドを
生成することになる。
鮮明な画像を得るためには、短い積分時間を有するカ
メラを使用することが必要となる。これは一切の大きな
操作上の問題を生じることがなく、実際に将来のカメラ
は全て短い積分時間を有する傾向となる。
6.4 ビデオ・ノイズの低減 テレビジョン画像におけるノイズを低減するために
は、信号に対してフィルタを用いることが必要である。
空間的フィルタ操作は、通常受入れ難い画像のデテール
の損失をもたらす結果となる。時間的フィルタ操作は非
常に有効であり得るが、簡単な時間的フィルタ操作は画
像の運動領域に重大な劣化をもたらし、このためにこの
ようなフィルタ操作はこれらの領域においては使用を禁
止せざるを得ない。このため、運動する対象およびその
周囲にノイズが生じる結果となる。
運動ベクトル測定手法は、運動領域まで拡張し得るよ
うに時間的フィルタ処理に盛り込むことができる。一次
的反復時間フィルタ操作の場合に、各反復を行なう前
に、フレーム・ストアにおける各ピクセル（あるいは一
群のピクセル）を対応する運動ベクトルでシフトする結
果を招くことになる。このフィルタ操作が横方向フィル
タを用いて行なわれるならば、各ストアの読出しアドレ
スは、出力フィールドと格納されたフィールドとの間の
フィールド数にわたる局部的な運動ベクトルの和に従っ
て変位されることになる。
6.5 帯域巾圧縮 運動ベクトル測定法は、局部的な運動ベクトルを知る
ことが信号における時間的冗長度を調べる可能性に対す
るキーとなるため、ほとんど全てのビデオ帯域巾圧縮手
法において非常に有利に用いることができる。適応する
サブサンプリング方式は、欠落するサンプルを前のフィ
ールドから再構成することを可能にするために運動ベク
トルの知識を用いることができる。DPCM方式は、予期さ
れる画素の基準として運動ベクトルを使用することがで
きる。これらの両方式において、運動ベクトルについて
の情報は、２つの連続フィールド間で本測定法を実行す
ることにより送信機で得られ、かつ残りの信号と共に受
信機に送出することができる。
6.6 白黒フィルムに対する着色 最近、「色彩化（Colorization）」として知られるプ
ロセスが（Colorization社により）開発され、これによ
り白黒フィルムのカラー版を作成することができる。
（コンピュータに格納されている）フィルムからのスチ
ル・フレームがアーチストにより「着色」される。次い
で、コンピュータは、どの領域が静止状態にあるかを検
討し、これら領域をそれについて前に指定されたカラー
により着色することによって、以降のフレームに着色し
ようと試みる。運動領域は対象にされず、アーチストの
介入を必要とする。
運動ベクトルが（前のフレームとの相関操作により）
着色すべき１つのフレームにおける各点に割当てられ、
各点にベクトルにより示された前のフレームにおける点
のカラーが割当てられたならば、本手法を運動領域まで
拡張することができる。アーチストの介入を必要とする
僅かな領域は、覆われていないバックグランドの領域お
よび追跡でない複雑な運動領域である。（ベクトルが直
接２つの画像の２番目に割当てられて「隠された」とし
て表示される領域が決してあり得ないため、隠されたバ
ックグランドに伴う問題はない。このように、運動ベク
トルの測定操作をこのプロセスに加えることは、アーチ
ストがしなければならない仕事量を大幅に減らすことに
なり、このため着色プロセスの速度を著しく増加する。
6.7 フィールド速度の増加 補間操作は、表示の目的のためにフィールド速度を増
加するため使用することもできる。
〔図面の簡単な説明」 第１図は、SIN（ｘ）/x補間子を用いる静止画像に対
する相関面を示し、 第２図は、SIN（ｘ）/x補間子を再び用いるフィール
ド期間当たり10ピクセルの１対に対する相関面を示し、 第３図は、スムーザー補間子を用いる静止画像に対す
る相関面を示し、 第４図は第２図と対応するも、スムーザー補間子を用
いた図、 第５図は逆変換に先立って位相行列のウインドウ処理
を示し、 第６図は、フィールド当たり10ピクセルの１対である
も、入力画像に「ガードバンド」を有するものに対する
相関面を示し、 第７図は第６図に対応するが、更に入力画像における
累乗余弦の開口を有するものを示し、 第８図は静止バックグランド上で運動する対象に対す
る相関面を示し、 第９図は、「フォイト（voit）」シーケンスにおいて
移動するゲートに対する相関面を示し、 第10図は、運動補償された補間法を実行する際どのよ
うに速度ベクトルを割当てることができるかを示し、 第11図は、大きなベクトルと小さなベクトルの双方が
いかに１つの点に適合し得るかを示している。

Claims (24)

    (57)【特許請求の範囲】
  1. 【請求項１】テレビジョン画像における運動の測定方法
    において、 テレビジョン信号の２つの連続する画像又はフィールド
    を比較して、 前記２つの連続する画像又はフィールドの２次元の変位
    の関数として、比較された前記２つの連続する画像又は
    フィールドのフーリエ変換の積のフーリエ逆変換から得
    られる位相相関関数を求め、 前記位相相関関数の相関面において、前記２つの連続す
    る画像又はフィールドの間で測定された複数の運動ベク
    トルのそれぞれに対応し、またピークを生ずる前記変位
    によって少なくとも画像の一部が移動したことをそれぞ
    れが示す、複数のピーク相関値を決定する第１の段階
    と、 前記２つの連続する画像又はフィールドの一方が前記運
    動ベクトルによって変位され且つその他方に比較される
    ときに、前記２つの連続する画像又はフィールドの複数
    の基本領域のそれぞれに対して前記複数の運動ベクトル
    のいずれが最適マッチングを与えるかをテストする第２
    の段階と、 から成ることを特徴とするテレビジョン画像における運
    動の測定方法。
  2. 【請求項２】前記複数の運動ベクトルが、前記位相相関
    関数を補間することによって、テレビジョン画像のピク
    セル寸法以下の精度で測定されることを特徴とする請求
    の範囲第１項に記載の測定方法。
  3. 【請求項３】前記第１の段階が、ピクセルの複数のブロ
    ックについて個々に実行され、それによって決定された
    前記複数の運動ベクトルの全集合が、前記第２の段階で
    使用されることを特徴とする請求の範囲第１項又は第２
    項に記載の測定方法。
  4. 【請求項４】前記第１の段階が、ピクセルの複数のブロ
    ックについて個々に実行され、前記第２の段階におい
    て、特定の１つのブロックについて決定された運動ベク
    トルのみが当該ブロックについての前記テストで使用さ
    れることを特徴とする請求の範囲第１項又は第２項に記
    載の測定方法。
  5. 【請求項５】前記第１の段階が、ピクセルの複数のブロ
    ックについて個々に実行され、前記第２の段階におい
    て、特定の１つのブロックと複数の隣接ブロックについ
    て決定された運動ベクトルが、前記特定の１つのブロッ
    クについての前記テストで使用されることを特徴とする
    請求の範囲第１項又は第２項に記載の測定方法。
  6. 【請求項６】前記複数のブロックの各ブロックが累乗余
    弦又は他のウインドウ開口を使用してウインドウ処理さ
    れることを特徴とする請求の範囲第３項乃至第５項のい
    ずれか１つに記載の測定方法。
  7. 【請求項７】ウインドウ処理される前記各ブロックが零
    で包囲されることを特徴とする請求の範囲第６項に記載
    の測定方法。
  8. 【請求項８】前記複数のブロックが重なり合うブロック
    であることを特徴とする請求の範囲第３項乃至第７項の
    いずれか１つに記載の測定方法。
  9. 【請求項９】前記複数の基本領域の各領域が１つのピク
    セルからなることを特徴とする請求の範囲第１項乃至第
    ８項のいずれか１つに記載の測定方法。
  10. 【請求項１０】前記複数の基本領域の各領域が複数のピ
    クセルからなる１つのブロックであることを特徴とする
    請求の範囲第１項乃至第８項のいずれか１つに記載の測
    定方法。
  11. 【請求項１１】前記位相相関関数が、前記ピーク相関値
    の決定に先立って、時間的フィルタ処理を受けてノイズ
    のピークを低減することを特徴とする請求の範囲第１項
    乃至第10項のいずれか１つに記載の測定方法。
  12. 【請求項１２】前記時間的フィルタ処理が、ショットの
    変化がある時は常に、一時的に禁止されることを特徴と
    する請求の範囲第11項に記載の測定方法。
  13. 【請求項１３】前記第２の段階において、前記複数の運
    動ベクトルの各ベクトルに対してエラー面が得られ、そ
    して、各ピクセルに対して、前記エラー面が最小値を示
    す運動ベクトルが当該ピクセルに割当てられることを特
    徴とする請求の範囲第１項乃至第12項のいずれか１つに
    記載の測定方法。
  14. 【請求項１４】前記最小値が予め定めた閾値を越えると
    きに、運動ベクトルが割当てられないことを特徴とする
    請求の範囲第13項に記載の測定方法。
  15. 【請求項１５】前記エラー面のそれぞれが空間的フィル
    タ処理を受けてノイズ効果を低減することを特徴とする
    請求の範囲第13項又は第14項に記載の測定方法。
  16. 【請求項１６】前記エラー面に関するベクトル長さと共
    に増加する因数によって前記エラー面が乗算されること
    を特徴とする請求の範囲第13項乃至第15項のいずれか１
    つに記載の測定方法。
  17. 【請求項１７】運動する対象の位置を補間するために、
    前後の画像から補間される画像が受取られるところの前
    記前後の画像の間の前記補間される画像の時点に従っ
    て、前記複数の運動ベクトルを用いて、前記２つの画像
    の時間的補間操作を行う段階を更に含むことを特徴とす
    る請求の範囲第１項乃至第16項のいずれか１つに記載の
    測定方法。
  18. 【請求項１８】覆われていないバックグランドに対する
    画像情報は、そこから遠去る方向を指示する前記複数の
    運動ベクトルを伴って、前記後の画像から前記補間され
    る画像に取込まれ、また、隠されたバックグランドに対
    する画像情報は、そこに向かう方向を指示する前記複数
    の運動ベクトルを伴って、前記前の画像から前記補間さ
    れる画像に取込まれることを特徴とする請求の範囲第17
    項に記載の測定方法。
  19. 【請求項１９】連続する入力画像の間で複数の画像が補
    間されて、スローモーション・シーケンスを生じるか、
    あるいは表示の目的のためにフィールド速度を増加させ
    ることを特徴とする請求の範囲第17項又は第18項の測定
    方法。
  20. 【請求項２０】前記２つの画像が時間的フィルタ処理を
    受けてノイズを低減し、前記時間的フィルタ処理が、割
    当てられた運動ベクトルに従って、フィールド間でシフ
    トされる運動する対象を含むように拡張されることを特
    徴とする請求の範囲第１項乃至第16項のいずれか１つに
    記載の測定方法。
  21. 【請求項２１】前記２つの画像が、運動する対象の欠落
    サンプルの再構成のための運動ベクトル情報を伴って、
    帯域巾圧縮法で送出されあるいは記録されることを特徴
    とする請求の範囲第１項乃至第16項のいずれか１つに記
    載の測定方法。
  22. 【請求項２２】前記運動ベクトルによって決定された位
    置において、割当てられたカラーをフレーム間で自動的
    に反復することによって白黒の画像が着色されることを
    特徴とする請求の範囲第１項乃至第17項のいずれか１つ
    に記載の測定方法。
  23. 【請求項２３】前記第２の段階が、 ａ） 前記第１の段階で決定された複数の運動ベクトル
    のそれぞれを用いて、前記２つの連続する画像又はフィ
    ールドのうちの一方から画像の基本領域を得て、前記複
    数の運動ベクトルのそれぞれに対応する１組の得られた
    基本領域を形成する段階と、 ｂ） 前記１組の得られた基本領域のそれぞれを、それ
    ら基本領域にわたってそれらの対応する点の間の差の大
    きさの合計としての対応するエラーと比較する段階と、 ｃ） 前記２つの連続する画像又はフィールドの一方の
    基本領域から他方の基本領域を得る際に、前記最適マッ
    チングを与えるものとして、前記複数の運動ベクトルか
    ら比較による最小エラーを生ずる運動ベクトルを選択す
    る段階と、 ｄ） 前記複数の基本領域のそれぞれに対して、前記
    ａ）、ｂ）及びｃ）の段階を反復する段階と、 からなることを特徴とする請求の範囲第１項に記載の測
    定方法。
  24. 【請求項２４】テレビジョン画像における運動の測定装
    置において、 テレビジョン信号の２つの連続する画像又はフィールド
    を比較して、 前記２つの連続する画像又はフィールドの２次元の変位
    の関数として、比較された前記２つの連続する画像又は
    フィールドのフーリエ変換の積のフーリエ逆変換から得
    られる位相相関関数を求め、 前記位相相関関数の相関面において、前記２つの連続す
    る画像又はフィールドの間で測定された複数の運動ベク
    トルのそれぞれに対応し、またピークを生ずる前記変位
    によって少なくとも画像の一部が移動したことをそれぞ
    れが示す、複数のピーク相関値を決定する第１の手段
    と、 前記２つの連続する画像又はフィールドの一方が前記運
    動ベクトルによって変位され且つその他方に比較される
    ときに、前記２つの連続する画像又はフィールドの複数
    の基本領域のそれぞれに対して前記複数の運動ベクトル
    のいずれが最適マッチングを与えるかをテストする第２
    の手段と、 から成ることを特徴とするテレビジョン画像における運
    動の測定装置。
JP62500409A 1986-03-19 1986-12-23 テレビジョン画像における運動の測定方法及び装置 Expired - Fee Related JP2609263B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB8606809 1986-03-19
GB868606809A GB8606809D0 (en) 1986-03-19 1986-03-19 Tv picture motion measurement
GB868617320A GB8617320D0 (en) 1986-03-19 1986-07-16 Tv picture motion measurement
GB8617320 1986-07-16

Publications (2)

Publication Number Publication Date
JPH01500238A JPH01500238A (ja) 1989-01-26
JP2609263B2 true JP2609263B2 (ja) 1997-05-14

Family

ID=26290510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP62500409A Expired - Fee Related JP2609263B2 (ja) 1986-03-19 1986-12-23 テレビジョン画像における運動の測定方法及び装置

Country Status (6)

Country Link
US (1) US4890160A (ja)
EP (1) EP0261137B1 (ja)
JP (1) JP2609263B2 (ja)
DE (1) DE3682068D1 (ja)
GB (1) GB2188510B (ja)
WO (1) WO1987005769A1 (ja)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873573A (en) 1986-03-19 1989-10-10 British Broadcasting Corporation Video signal processing for bandwidth reduction
GB8626527D0 (en) * 1986-11-06 1986-12-10 British Broadcasting Corp 3d video transmission
GB8713455D0 (en) * 1987-06-09 1987-07-15 Sony Corp Television standards converters
EP0294962B1 (en) * 1987-06-09 1995-07-19 Sony Corporation Motion vector estimation in television images
GB8713454D0 (en) * 1987-06-09 1987-07-15 Sony Corp Television standards converters
GB2208056A (en) * 1987-08-10 1989-02-15 Philips Electronic Associated Television transmission system
DE3740066C1 (de) * 1987-11-26 1989-03-23 Messerschmitt Boelkow Blohm Einrichtung zur Auffindung und Lokalisierung eines Bildausschnittes
DE3888169T2 (de) * 1987-12-07 1994-06-09 British Broadcasting Corp Datenübertragung in aktiver bildperiode.
GB2250889B (en) * 1987-12-07 1992-09-09 British Broadcasting Corp Data transmission in active picture period
GB8728530D0 (en) * 1987-12-07 1988-01-13 British Broadcasting Corp Data transmission in active picture period
GB8814822D0 (en) * 1988-06-22 1988-07-27 British Broadcasting Corp Bandwidth reduction system for television
US5111511A (en) * 1988-06-24 1992-05-05 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting apparatus
GB2222500A (en) * 1988-09-05 1990-03-07 Philips Electronic Associated Picture motion measurement
GB2222498A (en) * 1988-09-05 1990-03-07 Philips Electronic Associated Picture motion measurement
GB2222499A (en) * 1988-09-05 1990-03-07 Philips Electronic Associated Picture motion measurement
US5055927A (en) * 1988-09-13 1991-10-08 Deutsche Thomson-Brandt Gmbh Dual channel video signal transmission system
FR2638873B1 (fr) * 1988-11-10 1990-12-14 Thomson Csf Procede pour recaler une image en rotation et dispositif pour la mise en oeuvre de ce procede
FR2638874B1 (fr) * 1988-11-10 1994-07-01 Thomson Csf Procede d'estimation du mouvement d'au moins une cible dans une suite d'images, et dispositif pour la mise en oeuvre de ce procede
US5029000A (en) * 1988-12-23 1991-07-02 U.S. Philips Corp. High definition television system
JPH07105949B2 (ja) * 1989-03-20 1995-11-13 松下電器産業株式会社 画像の動きベクトル検出装置および揺れ補正装置
JPH0771296B2 (ja) * 1989-03-20 1995-07-31 松下電器産業株式会社 動きベクトル検出装置
GB2231749B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231745B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231227B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231744B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231750B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
GB2231228B (en) * 1989-04-27 1993-09-22 Sony Corp Video signal to photographic film conversion
GB2231743B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
GB2231748B (en) * 1989-04-27 1993-08-18 Sony Corp Motion dependent video signal processing
GB2231226B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB2231747B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231746B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231751B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB2231752B (en) * 1989-04-27 1993-08-04 Sony Corp Motion dependent video signal processing
JP2861249B2 (ja) * 1989-05-11 1999-02-24 日本電気株式会社 画像変化検出方法および画像変化検出装置
US5640210A (en) * 1990-01-19 1997-06-17 British Broadcasting Corporation High definition television coder/decoder which divides an HDTV signal into stripes for individual processing
US5107348A (en) * 1990-07-11 1992-04-21 Zenith Electronics Corporation Temporal decorrelation of block artifacts
DE69029999T2 (de) * 1990-07-20 1997-08-14 Philips Electronics Nv Vorrichtung zur Verarbeitung von Bewegungsvektoren
GB2246488B (en) * 1990-07-24 1994-04-20 Sony Corp Motion dependant video signal processing
SK399692A3 (en) * 1990-09-20 1995-01-05 British Broadcasting Corp Method of determination of suitable motion vector
GB2249907B (en) * 1990-11-15 1994-10-05 Sony Broadcast & Communication Format conversion of digital video signals
US5600731A (en) * 1991-05-09 1997-02-04 Eastman Kodak Company Method for temporally adaptive filtering of frames of a noisy image sequence using motion estimation
EP0540762B1 (en) * 1991-05-23 1999-08-04 Nippon Hoso Kyokai Method for detecting moving vector and apparatus therefor, and system for processing image signal using the apparatus
ES2112316T3 (es) * 1991-05-24 1998-04-01 British Broadcasting Corp Tratamiento de imagenes de video.
GB9118782D0 (en) * 1991-09-03 1991-10-16 British Broadcasting Corp Video image processing
KR940008808B1 (ko) * 1991-10-05 1994-09-26 대우전자 주식회사 Hd-mac 방식 영상 신호 엔코더의 모드 결정 시스템
GB2262853B (en) * 1991-12-20 1995-07-19 Sony Broadcast & Communication Digital video signal processing
GB9204117D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
GB2265516B (en) * 1992-03-24 1996-04-10 Sony Broadcast & Communication Motion analysis of moving images
GB2265783B (en) * 1992-04-01 1996-05-29 Kenneth Stanley Jones Bandwidth reduction employing a classification channel
FI91341C (fi) * 1992-05-20 1994-06-10 Salon Televisiotehdas Oy Menetelmä ja laite kohinan vaimentamiseksi HD-MAC-signaalista
US5335017A (en) * 1993-01-08 1994-08-02 Scott C. Harris Method for encoding transmitting and receiving high definition television signals using single variable independent equations representing each pixel over time
US5588067A (en) * 1993-02-19 1996-12-24 Peterson; Fred M. Motion detection and image acquisition apparatus and method of detecting the motion of and acquiring an image of an object
US5537529A (en) * 1993-04-22 1996-07-16 Apple Computer, Inc. Apparatus and method for creating versions of computer models and creating communications incorporating created versions therefrom
GB2278972B (en) * 1993-06-09 1997-06-04 Sony Uk Ltd Motion vector generation
GB9316153D0 (en) * 1993-08-04 1993-09-22 Avt Communications Ltd Image processing
GB9321372D0 (en) * 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
GB9325914D0 (en) * 1993-12-18 1994-02-23 Kodak Ltd Detection of global translations between images
US5502489A (en) * 1994-01-03 1996-03-26 Daewoo Electronics Co., Ltd. Method for the motion adaptive spatial filtering of video signals in an image coding apparatus
GB9404190D0 (en) 1994-03-04 1994-04-20 Snell & Wilcox Limited Video Video signal processing
EP0697788A3 (en) 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
GB9419777D0 (en) * 1994-09-30 1994-11-16 Snell & Wilcox Ltd Moving image reproduction system
JP3268953B2 (ja) * 1995-02-27 2002-03-25 三洋電機株式会社 追尾領域設定装置，動きベクトル検出回路およびそれを用いた被写体追尾装置
DE19517357C1 (de) * 1995-05-11 1996-11-14 Ldt Gmbh & Co Verfahren und Vorrichtung zur Aufbereitung eines Videobildes
US5703970A (en) * 1995-06-07 1997-12-30 Martin Marietta Corporation Method of and apparatus for improved image correlation
FR2742901B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede de correction d'estimation de mouvement dans des images a structures periodiques
JPH09212650A (ja) * 1996-02-05 1997-08-15 Sony Corp 動きベクトル検出装置および検出方法
TW303555B (en) * 1996-08-08 1997-04-21 Ind Tech Res Inst Digital data detecting method
US6067367A (en) * 1996-10-31 2000-05-23 Yamatake-Honeywell Co., Ltd. Moving direction measuring device and tracking apparatus
US5878151A (en) * 1996-10-31 1999-03-02 Combustion Engineering, Inc. Moving object tracking
DE19648963C1 (de) * 1996-11-26 1998-04-30 Siemens Ag Verfahren zur Bildcodierung eines digitalisierten Bildes, Verfahren zur Bilddecodierung eines digitalisierten Bildes und Anordnung zur Durchführung der Verfahren
US6473458B1 (en) * 1997-07-09 2002-10-29 Nippon Telegraph And Telephone Corporation Method for encoding and decoding moving vector, encoder and decoder for moving vector, and recording medium stored with encoding and decoding programs for moving vector
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
EP0951781B1 (en) * 1997-10-15 2008-07-23 Nxp B.V. Motion estimation
US6295377B1 (en) * 1998-07-13 2001-09-25 Compaq Computer Corporation Combined spline and block based motion estimation for coding a sequence of video images
US6870564B1 (en) * 1998-10-02 2005-03-22 Eastman Kodak Company Image processing for improvement of color registration in digital images
US6532264B1 (en) 2000-03-27 2003-03-11 Teranex, Inc. Processing sequential video images to detect image motion among interlaced video fields or progressive video images
JP2003533800A (ja) * 2000-05-18 2003-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｃアップコンバージョンにおけるハローを低減する動き推定器
JP4197434B2 (ja) * 2001-02-21 2008-12-17 エヌエックスピー ビー ヴィ 動き推定の容易化
US7242717B2 (en) * 2001-06-08 2007-07-10 Sharp Laboratories Of America, Inc. Wavelet domain motion compensation system
US7167602B2 (en) * 2001-07-09 2007-01-23 Sanyo Electric Co., Ltd. Interpolation pixel value determining method
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
EP1442608B1 (en) * 2001-10-29 2015-05-06 Ceva D.S.P. Ltd. Method and apparatus for motion estimation in a sequence of digital images
US7092584B2 (en) 2002-01-04 2006-08-15 Time Warner Entertainment Company Lp Registration of separations
US7127125B2 (en) * 2002-01-04 2006-10-24 Warner Bros. Entertainment Inc. Registration of separations
US6947607B2 (en) * 2002-01-04 2005-09-20 Warner Bros. Entertainment Inc. Reduction of differential resolution of separations
US6885706B2 (en) * 2002-01-05 2005-04-26 Aiptek International Inc. Method for promoting temporal resolution of sequential images
US7623719B2 (en) * 2003-09-26 2009-11-24 The Regents Of The University Of California Video encoding methods and devices
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US20060034531A1 (en) * 2004-05-10 2006-02-16 Seiko Epson Corporation Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method
US8126085B2 (en) * 2004-11-22 2012-02-28 Intel Corporation Method and apparatus to estimate channel tap
EP1732329A1 (en) * 2005-06-06 2006-12-13 STMicroelectronics S.r.l. Method and apparatus for coding moving images
US20090234088A1 (en) * 2006-05-19 2009-09-17 Nissan Chemical Industries, Ltd. Hyperbranched Polymer and Method for Producing the Same
US8553758B2 (en) 2007-03-02 2013-10-08 Sony Corporation Motion parameter engine for true motion
US8565309B2 (en) 2007-08-28 2013-10-22 Surapong Lertrattanapanich System and method for motion vector collection for motion compensated interpolation of digital video
US8861603B2 (en) 2007-08-28 2014-10-14 Samsung Electronics Co., Ltd. System and method for motion vector collection based on K-means clustering for motion compensated interpolation of digital video
US20090175539A1 (en) * 2008-01-09 2009-07-09 Authorizer Technologies, Inc. Method and system for swipe sensor image alignment using fourier phase analysis
WO2009087493A1 (en) 2008-01-11 2009-07-16 Zoran (France) Sparse geometry for super resolution video processing
US8363728B2 (en) 2008-04-18 2013-01-29 Sony Corporation Block based codec friendly edge detection and transform selection
US8139883B2 (en) 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
US20100103323A1 (en) * 2008-10-24 2010-04-29 Ati Technologies Ulc Method, apparatus and software for determining motion vectors
WO2010091937A1 (en) 2009-02-12 2010-08-19 Zoran (France) Temporal video interpolation method with 2-frame occlusion handling
WO2010091934A1 (en) 2009-02-12 2010-08-19 Zoran (France) Video sequence analysis for robust motion estimation
GB2476298A (en) * 2009-12-18 2011-06-22 Snell Ltd Changing the temporal sample rate of a motion image sequence
US8488007B2 (en) 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
US8285079B2 (en) 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation
US8792559B2 (en) 2010-10-26 2014-07-29 Sony Corporation Method to improve accuracy and reliability of motion estimated with phase correlation
GB201117191D0 (en) 2011-10-04 2011-11-16 Imagination Tech Ltd +Detecting image impairments in an interpolated image
US9177390B2 (en) * 2012-01-09 2015-11-03 Intel Corporation Optical flow measurement divide
GB2502047B (en) 2012-04-04 2019-06-05 Snell Advanced Media Ltd Video sequence processing
US9241128B2 (en) 2013-02-14 2016-01-19 Warner Bros. Entertainment Inc. Video conversion technology
GB2513112B (en) * 2013-04-08 2020-01-08 Snell Advanced Media Ltd Video sequence processing
GB2514334B (en) * 2013-05-13 2020-04-22 Snell Advanced Media Ltd Video processing
US10609328B2 (en) 2013-05-13 2020-03-31 Grass Valley Limited Video processing using a one-dimensional control function to control processing time and error
GB2525137A (en) * 2013-08-30 2015-10-21 Amberfin Ltd Conversion of video frame rate
JP6412819B2 (ja) * 2015-03-30 2018-10-24 株式会社東芝 画像処理装置、画像処理方法、および画像処理プログラム
US10416275B2 (en) * 2016-05-12 2019-09-17 Isolynx, Llc Advanced tools for an object tracking system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5215949B1 (ja) * 1970-06-15 1977-05-06
GB2050752B (en) * 1979-06-07 1984-05-31 Japan Broadcasting Corp Motion compensated interframe coding system
CA1175557A (en) * 1981-06-01 1984-10-02 Akira Hirano Predictive coding system for television signals
JPS61118085A (ja) * 1984-11-14 1986-06-05 Nec Corp 画像信号の符号化方式およびその装置
JPS61200789A (ja) * 1985-03-04 1986-09-05 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の物体の動きベクトル検出方式
US4727422A (en) * 1985-06-03 1988-02-23 Picturetel Corporation Method and apparatus for efficiently communicating image sequence having improved motion compensation
AU579550B2 (en) * 1985-06-10 1988-11-24 Nec Corporation Movement compensation predictive encoder for a moving picture signal with a reduced amount of information
CA1252569A (en) * 1985-09-13 1989-04-11 Akihiro Furukawa Method and device of coding a digital video signal for reproduction of pictures with a high quality even upon occurrence of a drastical change between the pictures

Also Published As

Publication number Publication date
GB8702582D0 (en) 1987-03-11
GB2188510A (en) 1987-09-30
JPH01500238A (ja) 1989-01-26
DE3682068D1 (de) 1991-11-21
EP0261137B1 (en) 1991-10-16
EP0261137A1 (en) 1988-03-30
GB2188510B (en) 1989-11-15
US4890160A (en) 1989-12-26
WO1987005769A1 (en) 1987-09-24

Similar Documents

Publication Publication Date Title
JP2609263B2 (ja) テレビジョン画像における運動の測定方法及び装置
US6285804B1 (en) Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6057892A (en) Correlation processing for motion estimation
Kim et al. Spatio-temporal adaptive 3-D Kalman filter for video
Katkovnik et al. A spatially adaptive nonparametric regression image deblurring
CN101677358B (zh) 用于高质量图像和视频升频的系统和方法
US5012337A (en) Motion dependent video signal processing
Koc et al. DCT-based motion estimation
JPH06506578A (ja) ビデオ信号における運動内容推定方法
CN101971209A (zh) 超高分辨率视频处理的稀疏几何结构
EP0395263A2 (en) Motion dependent video signal processing
EP0395266B1 (en) Motion dependent video signal processing
US5485224A (en) Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same
JP2004513546A (ja) 画像の動き補償
US5226114A (en) Television pictures
EP0659021B1 (en) Detection of global translations between images
Biswas et al. A novel motion estimation algorithm using phase plane correlation for frame rate conversion
GB2222499A (en) Picture motion measurement
Schultz et al. Video resolution enhancement
KR100282305B1 (ko) 디지탈 카메라의 움직임 번짐에 의해 열화된 영상의 움직임 번짐 정보를 추정하는 장치와 방법
EP1636987B1 (en) Spatial signal conversion
Clarke Basic principles of motion estimation and compensation
de Haan et al. Video scanning format conversion and motion estimation
Venkatesan et al. Video deinterlacing with control grid interpolation
Bandari et al. Cepstral methods in computational vision

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees