JPH0779417A - 動き補正ビデオ信号処理方式 - Google Patents

動き補正ビデオ信号処理方式

Info

Publication number
JPH0779417A
JPH0779417A JP6191593A JP19159394A JPH0779417A JP H0779417 A JPH0779417 A JP H0779417A JP 6191593 A JP6191593 A JP 6191593A JP 19159394 A JP19159394 A JP 19159394A JP H0779417 A JPH0779417 A JP H0779417A
Authority
JP
Japan
Prior art keywords
correlation
motion
motion vector
correlation surface
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6191593A
Other languages
English (en)
Inventor
Morgan W A David
ウィリアム エイモス デビッド モーガン
Martin Rex Dorricott
レックス ドリコット マーチン
James E Burns
エドワード バーンズ ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JPH0779417A publication Critical patent/JPH0779417A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】 動き補正ビデオ信号処理において、複数の局
部最大相関点をもつ相関面から対応する複数の動きベク
トルを発生すること。 【構成】 入力映像対のブロックを比較して該対間の映
像の動きを表す複数の相関面を発生し、相関面を調べて
相関面内の最大相関点を検出し、検出した最大相関点か
ら動きベクトルを発生する。その際、動きベクトル発生
手段は、複数の局部最大相関点をもつ相関面に対して、
その相関面から対応する複数の動きベクトルを発生する
動作を行う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動き補正ビデオ信号処
理方式に関するものである。
【0002】
【従来の技術】動き補正ビデオ信号処理は、テレビジョ
ン標準方式変換、フィルム標準方式変換、ビデオ及びフ
ィルム標準方式間の変換の如き分野で使用されている。
英国特許出願GB−A−2231749号に記載された
変換装置のような動き補正テレビジョン標準方式変換装
置では、連続する入力映像対を処理して、入力映像対間
の映像の動きを表す動きベクトルの複数組を発生してい
る。この処理は映像の個別的なブロックについて行われ
るので、各動きベクトルは、夫々のブロックの内容の映
像間の動きを表す。
【0003】動きベクトル推定プロセス(過程)では、
2入力映像のブロック間の空間相関を表す相関面を調べ
て最大相関点を検出する。(相関面は2入力映像間の差
を表すので、最大相関点は実際には相関面上の最小点で
ある。)最小点が検出されると、相関面における最小点
の空間位置から動きベクトルが発生される。その最小点
が相関面の残りの部分と比べて顕著な相関のピークを表
すかどうかを判定するため、テストが行われる。最小点
がこのテストに合格すると「有効」なものとして扱わ
れ、その動きベクトルに対する確認フラグがセットされ
る。
【0004】「局部」動きベクトルと称する個々の動き
ベクトルが、入力映像のブロックについて導出され終わ
ると、該局部動きベクトルは動きベクトル減数器に供給
される。動きベクトル減数器は、ゼロ動きベクトル、当
該ブロックに対する局部動きベクトル、入力映像におい
て当該ブロックと隣り合うブロックに対する局部動きベ
クトル、「広域」動きベクトルとして知られる一連のベ
クトルからこの優先順で選択した1組の動きベクトルを
各ブロックに割当てる。広域動きベクトルは、各映像に
対し、当該映像に対する全(有効)局部動きベクトルを
発生する頻度が減少する順に格付けし、局部動きベクト
ルのうち最も共通するものから広域動きベクトルとして
使用する或る数の独特な動きベクトルを選択することに
より、導出する。この場合、広域動きベクトルが互いに
少なくとも僅かに異なるように制限を加えてもよい。入
力映像の全ブロックに対する複数組の動きベクトルは、
次いで動きベクトル選択器に供給される。動きベクトル
選択器の目的は、出力映像の1つのブロックの各画素
(ピクセル)に、入力映像の対応するブロックに対して
供給された動きベクトルの組から選択した唯1つの動き
ベクトルを割当てることである。この動きベクトルは出
力ピクセルの補間に使用されるので、動きベクトル選択
器に供給される動きベクトルは、各ピクセルに対し、対
応するブロックに対する動きベクトルの組から「最良」
の動きベクトルが選択されるようにテストされる。各ピ
クセルに対して選択された動きベクトルは次いで動き補
正補間器に供給され、該補間器は、これらの動きベクト
ルを用い、出力映像の入力映像対からの時間的なずれに
応じて、入力映像対から出力映像のピクセルを補間す
る。
【0005】相関面の発生に使用するサーチブロックの
大部分が大きな物体で占められる場合、その大きな物体
の動きは、相関面に大きな最小点を発生させるであろ
う。そのため、その大きな物体の動きを表す動きベクト
ルが発生されることになる。各相関面から唯1つの動き
ベクトルが導出されるので、同じブロックのもっと小さ
な物体の動きは、大きな物体の動きによって隠されてし
まう。この小さな物体を他のブロックの中まで延長しな
ければ、小さい物体の動きを表す適切な動きベクトルは
発生されなくなる可能性がある。
【0006】この問題の一例を図1に示す。この例で
は、大きな静止物体(例えば、壁)がサーチブロック2
0の大部分を占めており、該ブロックはまた、これより
ずっと小さい動く物体30(トラック)を含んでいる。
このサーチブロックを用いて発生した相関面の断面を図
2に示す。同図の大きな最小点40(これから動きベク
トルが発生される。)は静止壁10の動きを表し、より
小さい局部的な最小点50(これは、より大きい最小点
40のために無視される。)はトラックの動きを表す。
【0007】
【発明が解決しようとする課題】本発明は、出力ビデオ
信号の出力映像の補間に用いるために、入力ビデオ信号
の入力映像対間の映像の動きを表す動きベクトルを発生
する動き補正ビデオ信号処理装置において、複数の局部
的な最大相関点をもつ相関面に対し、その相関面から対
応する複数の動きベクトルを発生する手段を設けようと
するものである。
【0008】
【課題を解決するための手段及び作用】本発明による装
置は、各々が、入力映像対の一方の入力映像の夫々のブ
ロックと、該映像対の他方の映像における、複数のブロ
ックを含む領域との間の相関を表す、複数の相関面を発
生する手段と、該相関面を調べて該相関面内の最大相関
点を検出する手段と、上記相関面内で検出された最大相
関点から動きベクトルを発生する手段とを具え、この動
きベクトル発生手段は、複数の局部的な最大相関点をも
つ相関面に対し、その相関面から対応する複数の動きベ
クトルを発生する動作を行う。
【0009】本発明の装置では、唯1つの相関面から1
より多い動きベクトルを発生することができる。このこ
とは、動きベクトルを、単に最大の物体又は背景部分で
なく、サーチブロック内の或る数の物体の動きを表すよ
うに発生できる、ということを意味する。
【0010】動きベクトルのあと処理の便宜上、唯1つ
の相関面から発生できる動きベクトルの最大数を制限す
るのがよい。そのためには、上記動きベクトル発生手段
は、各相関面から所定数までの動きベクトルを発生する
動作をするのがよい。
【0011】所定数より多くの局部最大相関点を有する
相関面の場合、動きベクトルの上記所定数は任意に選択
できるが、上記動きベクトル発生手段は、所定数の最上
位局部最大相関点より夫々の動きベクトルを発生する動
作をするのがよい。
【0012】究極的に出力映像の1ピクセルの補間に用
いる動きベクトルを、相関面のノイズ又は偽の成分から
発生する危険を減らすために、本装置は、2次的相関最
大点から発生される各動きベクトルについて確認(信
頼)テストを行う手段を含むのがよい。2次相関最大点
は、相関面における絶対的最大相関点以外の、該相関面
における局部最大相関点である。そして、出力映像の補
間時に、2次相関最大点から導出される確認テストに合
格しなかった動きベクトルの使用を防止する手段を設け
るのがよい。
【0013】1つの好適な具体構成では、確認テストを
行う手段は、2次相関最大点から発生された各動きベク
トルが、隣接する入力映像ブロックから発生された相関
面より導出された1つ以上の動きベクトルの所定閾量の
範囲内にあるかどうかを検出する手段を有する。2次相
関最大点から発生された動きベクトルは、隣りの動きベ
クトルの所定閾量内にあるとき、確認テストに合格とな
る。
【0014】本装置は、動きベクトルのうち最も共通す
るものから選択された複数の個別的動きベクトルを含む
1組の広域動きベクトルを導出する手段を有するのがよ
い。
【0015】他の好適な具体構成では、確認テストを行
う手段は、2次相関最大点から発生された各動きベクト
ルが、広域動きベクトルの所定閾量の範囲内にあるかど
うかを検出する手段を有する。
【0016】更に他の具体構成では、確認テストを行う
手段は、2次相関最大点を通過する所定数の非平行直線
方向における相関面の変化率の符号の変化を検出する手
段を有する。
【0017】所定数の非平行直線方向は、映像の水平の
動きを示す方向と、映像の垂直の動きを示す方向とを含
むのがよい。
【0018】上述の「変化率」テストには、次の判断基
準を加えてもよい。即ち、確認テストを行う手段は、2
次相関最大点に隣接する相関面の変化率が所定量を越え
るかどうかを検出する手段を含むのがよい。
【0019】ベクトルの減数(1組の動きベクトルを各
ブロックに割当てること。あとでそれらから、出力映像
のピクセルの補間に用いるベクトルが選択される。)
は、唯1つの相関面からの複数ベクトルの有用性を活か
すように変更するのがよい。この目的のためには、本装
置は、1組の動きベクトルを次のものから次の優先順位
で選び、これらを各ブロックに割当てる手段を有するの
がよい。 (i)ゼロの映像の動きを示す動きベクトル、(ii) 当
該ブロックから導出された相関面における絶対最大相関
点から発生される動きベクトル、(iii)当該ブロックか
ら導出された相関面における2次最大相関点から発生さ
れる動きベクトル、(iv) 広域動きベクトル。
【0020】本発明は、第2の面からみて、入力ビデオ
信号の入力映像対間の映像の動きを表す動きベクトルを
発生する動き補正ビデオ信号処理方法を提供する。その
方法は、各々が、入力映像対の一方の入力映像の夫々の
ブロックと、該映像対の他方の映像における、複数のブ
ロックを含む領域との間の相関を表す、複数の相関面を
発生するステップと、該相関面を調べて該相関面内の最
大相関点を検出するステップと、上記相関面内で検出さ
れた最大相関点から動きベクトルを発生するステップと
を含み、該動きベクトル発生ステップは、複数の局部的
な最大相関点をもつ相関面に対し、その相関面から対応
する複数の動きベクトルを発生することを含む。
【0021】以前に提案された動き補正標準方式変換装
置に用いる技法は、ベクトル推定時に相関面を「拡大」
させることであった。この技法では、各相関面の最小点
を個々に検査し、更に検査するため、各相関面を隣接す
る相関面に加えて「拡大された」面を作っている。
【0022】相関面を拡大する処理を図3及び4に示
す。図3は、動きベクトルを導出しようとしている入力
映像対の一方の入力映像におけるサーチブロック100
のアレイを示す。相関面は、各サーチブロック100か
ら、当該サーチブロックを入力映像対の他方におけるも
っと大きいサーチ領域と比較することにより、発生す
る。15個のサーチブロック群(正確には、水平方向に
5個のサーチブロック、垂直方向に3個のサーチブロッ
クの矩形アレイ)の各々を小文字「a」〜「o」で表
す。
【0023】以前に提案された相関面拡大技法では、各
相関面を周囲のサーチブロックから発生された所定の相
関面群に加えてから、正規化処理を行っている。一例を
図4のA〜Fに示す。図には、相関面「h」(図3)か
ら発生された6個の拡大(された)相関面を示す。図4
のA〜Fは夫々、各「拡大」相関面を構成する各相関面
の空間的関係を示す。詳しくいえば、図4のAは相関面
「h」自体を示し、図4のBは相関面「g」,「h」及
び「i」の和を表し、図4のCは相関面「f」,
「g」,「h」,「i」及び「j」の和を表し、図4の
Dは相関面「c」,「h」及び「m」の和を表し、図4
のEは相関面「b」,「c」,「d」,「g」,
「h」,「i」,「l」,「m」及び「n」の和を表
し、図4のFは15個の相関面「a」〜「o」全部の和
を表す。
【0024】図5は、相関面拡大を行う以前提案された
回路を示すブロック図である。各相関面は順次「拡大回
路」110に送られ、そこで、隣接する(相関)面群が
加えられ、図4のA〜Fに示す6つの出力面が発生され
る。最小点検出及びベクトル・テスト(例えば、上述の
確認テスト)が、それから120において6つの面の各
々につき並列に行われる。最小点テストの結果はそれか
ら選択ロジック(論理回路)130に送られ、そこで、
6つの面の1つだけから導出された動きベクトルが選択
され、ベクトル減数器に送られている。
【0025】「拡大」面から導出された最小点を用いる
場合、これは、ベクトル推定が実効的により広い映像区
域にわたって行われることを意味する。しかし、小物体
の動きを追跡する能力が減少している。ベクトル減数に
回すために、「拡大」相関面の1つから導出された動き
ベクトルを選択することは、微細な動きの検出(小相関
面から導出されたベクトルを用いることによる)と、も
っと大きな(拡大された)相関面を用いることによる正
確度の向上との中間を取ることになる。
【0026】本発明は、第3の面からみて、入力ビデオ
信号の入力映像対間の映像の動きを表す動きベクトルを
発生する動き補正ビデオ信号処理装置であって、次の如
き構成のものを提供する。即ち、各々が、入力映像対の
一方の入力映像の夫々のサーチブロックと、該映像対の
他方の映像における、複数のブロックを含むサーチ領域
との間の相関を表す、複数の相関面を発生する手段と、
複数の結合(された)相関面を発生するために、各原相
関面を周囲のサーチブロックから発生した原相関面群と
夫々結合する手段と、上記原相関面及び上記結合相関面
の各々から動きベクトルを発生する手段とを具える装置
である。
【0027】本発明のこの面によれば、複数の動きベク
トルが、種々の「拡大された」相関面から発生され、ベ
クトル減数に回される。こうすると、微細な動きの検出
(小相関面から導出されたベクトルの使用による)と、
もっと大きな(拡大された)相関面の使用による正確度
の向上との中間を、早い時期に取る必要がなくなる。
【0028】種々の構成を取りうるが、上記の結合手段
は、各原相関面を、周囲のサーチブロックのアレイ内の
サーチブロックから発生された5つの原相関面群と結合
する動作をするのがよい。上記サーチブロックのアレイ
は、5×3アレイであるのがよい。
【0029】簡単で有利な具体構成では、上記結合手段
は、連続する原相関面を表す直列データを受信する手段
と、該直列データから夫々遅延されたデータを発生する
複数の遅延回路と、結合相関面を表す出力データを発生
するために、上記遅延回路の所定グループにより発生さ
れた遅延データを加算する手段とを含むのがよい。上記
加算手段は、遅延データを正規化して加算する手段を有
するのがよい。
【0030】好適な具体構成では、上記装置は、動きベ
クトルのうち最も共通するものから選択された複数の別
々の動きベクトルを含む1組の広域動きベクトルを導出
する手段を有する。
【0031】ベクトル減数処理は、「拡大」された相関
面から発生される複数の動きベクトルの有用性を活かす
ように修正するのがよい。上記装置は、次の優先順序で
選択される1組の動きベクトルを上記ブロックの各々に
割当てる手段を含むのがよい。 (i)ゼロの映像の動きを示す動きベクトル、(ii) 選
択された結合相関面から発生される動きベクトル、(ii
i)現在のブロックと隣接するブロックから導出された原
相関面から発生される動きベクトル中、少なくとも所定
の発生頻度を有する動きベクトル、(iv) 広域動きベク
トル。
【0032】他の具体構成では、すべての結合相関面か
ら導出された動きベクトルを広域動きベクトルに優先し
て選択することができる。好適な具体構成では、選択さ
れた結合相関面は、サーチブロックのアレイの各々から
発生された原相関面の結合によって発生される結合相関
面である。
【0033】上記装置は、原及び結合相関面内の最大相
関点を検出するために相関面を調べる手段と、検出され
た最大相関点から動きベクトルを発生する手段とを有
し、複数の局部最大相関点をもつ相関面に対して、上記
動きベクトル発生手段は、当該相関面から対応する複数
の動きベクトルを発生する動作をするのがよい。上記装
置はまた、各動きベクトルについて所定の確認テストを
行う手段と、該テストに不合格の動きベクトルの割当て
を防止する手段とを含むのがよい。
【0034】本発明は、第4の面からみて、入力ビデオ
信号の入力映像対間の映像の動きを表す動きベクトルを
発生する動き補正ビデオ信号処理方法であって、次の如
きステップを含む方法を提供する。即ち、各々が、入力
映像対の一方の入力映像の夫々のサーチブロックと、該
映像対の他方の映像における、複数のブロックを含むサ
ーチ領域との間の相関を表す、複数の相関面を発生する
ステップと、複数の結合相関面を発生するために、各原
相関面を周囲のサーチブロックから発生した原相関面群
と夫々結合するステップと、上記原相関面及び上記結合
相関面の各々から動きベクトルを発生するステップとを
含む方法である。
【0035】上述のように、動きベクトル減数器の目的
は、当該ブロックに対応する各出力ピクセルに対し最も
適正な動きベクトルを選択するための、各ブロックに対
する動きベクトルを合理的に選択する動きベクトル選択
器を設けることである。広域動きベクトルの各々は、そ
の映像に全体として頻繁に検出された動きを表すので、
これらのベクトルを、動きベクトル選択器が最も適正な
ベクトルを選択するためのベクトルの組の中に含めるの
は、理にかなうことが多い。
【0036】しかし、この動きベクトル選択プロセス
は、完全に信頼できるわけではなく、状況によっては、
正確な局部動きベクトルでなく間違った広域動きベクト
ル(映像の異なる部分の動きから導出されたもの)を選
択することがある。その結果、図6に示すように、出力
映像の中に邪魔な人為雑音(artifact) を生じることに
なる。ここでは、乗物140の動きに対応する広域動き
ベクトルが、映像の背景にある静止窓におけるテストブ
ロック150,160の間で良好な整合をもたらしてい
る。そのため、乗物の動きベクトルが、映像の窓の中央
近くの部分の補間をするのに不適正に選択されてしま
い、その結果として、窓の中央垂直フレーム部材に間隙
170が生じている。
【0037】本発明は、第5の面からみて、入力ビデオ
信号の入力映像対間の映像の動きを表す動きベクトルを
発生する動き補正ビデオ信号処理装置であって、次の如
き構成のものを提供する。即ち、各々が、入力映像対の
一方の入力映像の夫々のブロックと、該映像対の他方の
映像における、複数のブロックを含む領域との間の相関
を表す、複数の相関面を発生する手段と、各々が、当該
相関面における最大相関点によって決まる複数の動きベ
クトルを、上記相関面から発生する手段と、複数の動き
ベクトルのうち最も共通するものから選択された複数の
異なる動きベクトルを含む1組の広域動きベクトルを導
出する手段と、上記相関面を調べて、当該ブロックから
発生された相関面が、各広域動きベクトルにより表され
る映像の動きとほぼ同一の映像の動きを示す局部最大相
関点を有するかどうかを検出することにより、各ブロッ
クに対して局部的に有効な広域動きベクトルを検出する
手段と、ゼロ動きベクトルと、当該ブロックの映像の動
きを表す動きベクトルと、当該ブロックに対して局部的
に有効な広域動きベクトルとから選択された1組の動き
ベクトルを、上記ブロックの各々に割当てる手段とを具
えた装置である。
【0038】本発明のこの面によれば、出力映像の各ブ
ロックに対して各広域動きベクトルが「局部的に有効で
ある」かどうかを検出するテストを行う。そのテスト
は、対応する相関面を調べて、その広域動きベクトルに
より表される動きの証拠(形跡)を検出することによっ
て行う。そのような証拠が発見されない場合、当該広域
動きベクトルは、上記出力ブロックの補間に使用できる
ものとして選択することが許されない。こうすれば、前
述した問題点を解決もしくは軽減することができる。
【0039】上記検出手段は、広域動きベクトルにより
表される映像の動きを示す位置を通過する所定数の非平
行直線方向における相関面の変化率の符号の変化を検出
する手段を有するのがよい。
【0040】種々の直線方向を使用できるが、簡単で都
合のよい具体構成では、所定数の非平行直線方向は、水
平の映像の動きを示す方向と垂直な映像の動きを示す方
向とを含む。
【0041】上記装置は、相関面を調べて、該相関面内
の最大相関点を検出する手段を有し、上記動きベクトル
発生手段は、複数の局部最大相関点をもつ相関面に対し
て、当該相関面から対応する複数の動きベクトルを発生
する動作をするのがよい。
【0042】好適な具体構成では、上記装置は、各相関
面を周囲のブロックから発生された相関面群と結合し
て、夫々の複数の結合相関面を発生する手段と、これら
結合相関面の各々から夫々の動きベクトルを発生する手
段とを有する。
【0043】本発明は、第6の面からみて、入力ビデオ
信号の入力映像対間の映像の動きを表す動きベクトルを
発生する動き補正ビデオ信号処理方法であって、次のス
テップを含む方法を提供する。即ち、各々が、入力映像
対の一方の入力映像の夫々のブロックと、該映像対の他
方の映像における、複数のブロックを含む領域との間の
相関を表す、複数の相関面を発生するステップと、各々
が、当該相関面における最大相関点によって決まる複数
の動きベクトルを、上記相関面から発生するステップ
と、複数の動きベクトルのうち最も共通するものから選
択された複数の異なる動きベクトルを含む1組の広域動
きベクトルを導出するステップと、当該ブロックから発
生された相関面が、各広域動きベクトルで表される映像
の動きと大体同じ映像の動きを示す局部最大相関点を有
するかどうかを検出することにより、各ブロックに対し
て局部的に有効な広域動きベクトルを検出するステップ
と、ゼロ動きベクトルと、当該ブロックの映像の動きを
表す動きベクトルと、当該ブロックに対して局部的に有
効な広域動きベクトルとから選択された1組の動きベク
トルを、上記ブロックの各々に割当てるステップとを含
む方法である。
【0044】本発明による装置は、特にテレビジョン標
準方式変換装置に用いて好適である。上述した本発明の
夫々の面の特徴は、考えられるすべての種々の組合せに
従って組合せることができる。
【0045】
【実施例】以下、図面により本発明を具体的に説明す
る。図7は、本発明を用いうる動き補正テレビジョン標
準方式変換装置を示すブロック図である。本装置は、入
力飛越しデジタルビデオ信号250(例えば、1125
/60、2:1高精細度ビデオ信号(HDVS))を受
信し、出力飛越しデジタルビデオ信号260(例えば、
1250/50、2:1信号)を発生するものである。
【0046】入力ビデオ信号はまず、入力バッファ・パ
ッカー310に供給される。通常精細度入力信号の場
合、入力バッファ・パッカー310は、映像データを高
精細度(16:9縦横比)フォーマットに変え、必要に
応じ黒ピクセルを詰める。HDVS入力の場合、入力バ
ッファ・パッカー310は、単にデータを一時記憶する
だけである。
【0047】データは、入力バッファ・パッカー310
からマトリクス回路320に送られ、該回路では(必要
に応じ)入力ビデオ信号の測色法を標準の「CCIR
勧告601」(Y,Cr,Cb)測色法に変換する。
【0048】入力ビデオ信号は、マトリクス回路320
からタイムベース変換(TBC)及びディレー(遅延)
回路330に、またサブサンプラー370を介してサブ
サンプルされたTBC及びディレー回路380に送られ
る。TBC及びディレー回路330は、出力ビデオ信号
の各フィールドの時間位置を決め、出力フィールドの補
間に用いるため、当該出力フィールドに時間的に最も近
い2フィールドの入力ビデオ信号を選択する。出力ビデ
オ信号の各フィールドのために、上記TBC回路で選択
された2入力フィールドは、当該出力フィールドを補間
する補間器340に送る前に適正に遅らされる。制御信
号tは、各出力フィールドの選択された2入力フィール
ドに対する時間位置を指示するもので、タイムベース変
換(TBC)及びディレー回路330から補間器340
に供給される。
【0049】サブサンプルされたTBC及びディレー回
路380も、同様な動作をするが、サブサンプラー37
0により供給される空間的にサブ(ダウン)サンプルさ
れたビデオを使用する点が異なる。上記TBC回路33
0で選択されたフィールド対に対応するフィールド対
が、サブサンプルされたTBC及びディレー回路380
によりサブサンプルされたビデオから選択され、動きベ
クトルの発生に使用される。
【0050】TBC回路330及び380は、入力ビデ
オ信号、出力ビデオ信号又はその双方に関連した同期信
号に従って動作することができる。ただ1つの同期信号
しか供給されない場合、上記2ビデオ信号の他方のフィ
ールドのタイミングは、TBC回路330,380で決
定論的に発生することができる。
【0051】サブサンプルされたTBC及びディレー回
路380によって選択された、サブサンプルされた入力
ビデオ信号のフィールド対は、直接ブロック突合せ器3
90、相関面処理器400、動きベクトル推定器41
0、動きベクトル減数器420、動きベクトル選択器4
30及び動きベクトルあと処理器440より成る動き処
理装置385に供給される。上記入力フィールド対はま
ず直接ブロック突合せ器390に送られ、そこで、選択
された2入力フィールドのうち時間的に早いものにおけ
るサーチブロックと、上記2入力フィールドのうち時間
的に遅いものにおける(より大きい)サーチ領域との間
の空間的相関を表す相関面を計算する。
【0052】相関面処理器400は、ブロック突合せ器
390より出力された相関面から多数の補間された相関
面を発生し、これらは動きベクトル推定器410に送ら
れる。動きベクトル推定器410は、補間された相関面
における最大相関点を検出する。(元の相関面は実際上
2入力フィールドのブロック間の差を表すので、最大相
関点は相関面では最小点になる。よって、以下「最小
点」という。)最小点を検出するために、相関面に点を
補足して補間し、相関面発生のためにサブサンプルされ
たビデオを用いたことにより生じる解像度のロスを或る
程度補償する。動きベクトル推定器410は、検出した
各相関面における最小点から動きベクトルを発生し、こ
れを動きベクトル減数器420に送る。
【0053】動きベクトル推定器410はまた、発生し
た各動きベクトルについて確認(信頼)テストを行い、
当該動きベクトルが平均データレベルよりかなり上にあ
るかをどうかを確かめ、確認テストの結果を示す確認フ
ラグを各動きベクトルに付ける。確認テストは、「閾
値」テストとして知られ、前記GB−A−2,231,
749号に(図7の装置の幾つかの他の特色と共に)記
載されている。
【0054】動きベクトル推定器410はまた、各ベク
トルが偽物であるかどうかを検出するテストも行う。こ
のテストでは、相関面(検出した最小点の周りの除外域
は除く。)を調べて次の最小点を検出する。この2番目
の最小点が除外域のエッジ(端縁)にない場合、最初の
最小点から導出された動きベクトルは、偽物の可能性が
あるものとしてフラグが付けられる。
【0055】動きベクトル減数器420は、出力フィー
ルドの各ピクセルについて可能性のある動きベクトルの
選択幅を減らしてから、動きベクトルを動きベクトル選
択器430に送る。出力フィールドは、概念的に複数の
ピクセルブロックに分割される。それら各ブロックは、
出力フィールド内に上記選択された入力フィールドのう
ち早いものにおけるサーチブロックと対応する位置を有
する。動きベクトル減数器は、4つの動きベクトルのグ
ループを出力フィールドの各ブロックに対応させ、当該
ブロック内の各ピクセルは、当該グループの4動きベク
トルの選択された1つを用いて補間される。
【0056】「偽物」としてフラグを付けられたベクト
ルは、すぐ近くのブロックにおけるフラグの付かないベ
クトルと同一である場合、ベクトル減数時に再適格化さ
れる。
【0057】動きベクトル減数器420は、その機能の
一部として、「適正な」動きベクトル(即ち、確認テス
ト及び偽物テストに合格した動きベクトル、又は偽物で
ないと再適格化されたもの)の発生頻度を、それらの動
きベクトルを得るのに用いた入力フィールドのブロック
の位置を考慮することなくカウントする。適正な動きベ
クトルをそれから、頻度が減少する順に格付けする。互
いにかなり異なる適正動きベクトルのうち最も共通する
ものを、「広域」動きベクトルとして分類する。確認テ
ストに合格した3つの動きベクトルがそれから、出力ピ
クセルの各ブロックに対して選択され、ゼロ動きベクト
ルと共に、動きベクトル選択器430に送られ更に処理
される。これら3つの選択された動きベクトルは、所定
の優先順で次のものから選択される。 (i)対応するサーチブロックから発生された動きベク
トル(「局部」動きベクトル)、(ii) 周囲のサーチブ
ロックから発生されたもの(「隣接」動きベクトル)、
(iii)広域動きベクトル。
【0058】動きベクトル選択器430は、サブサンプ
ルされたTBC及びディレー回路380によって選択さ
れ、動きベクトルの計算に使用された2入力フィールド
をも入力として受信する。これらのフィールドは、適当
に遅延されて、動きベクトル選択器430にこれらのフ
ィールドから導出されたベクトルと同時に供給される。
動きベクトル選択器430は、出力フィールドのピクセ
ル当たり1つの動きベクトルを含む出力を供給する。こ
の動きベクトルは、動きベクトル減数器420によって
供給される当該ブロックに対する4つの動きベクトルか
ら選択される。
【0059】ベクトル選択プロセスは、被テスト(テス
トされている)動きベクトルによって指し示される2つ
の入力フィールドのテストブロック間の相関度の検出を
含んでいる。テストブロック間の最大相関度をもつ動き
ベクトルが、出力ピクセルの補間に使用するために選択
される。ベクトル選択器はまた、「動きフラグ」を発生
する。このフラグは、ゼロ動きベクトルによって指し示
されるブロック間の相関度がプリセットされた閾値より
大きい場合、「静止」(動きなし)にセットされる。
【0060】ベクトルあと処理器440は、動きベクト
ル選択器430により選択された動きベクトルのフォー
マットを、画像の垂直又は水平のスケーリングがある場
合これを表すように改め、このフォーマットを変えたベ
クトルを補間器340に供給する。補間器340は、動
きベクトルを用いて、TBC及びディレー回路330に
より選択された対応する2つの(サブサンプルされな
い)飛越し入力フィールドから出力フィールドを補間す
る。この場合、現在補間器340に供給されている動き
ベクトルによって示されるいかなる映像の動きをも考慮
する。
【0061】動きフラグが、現在の出力ピクセルが映像
の動き部分内に在ることを示す場合、補間器に供給され
る2つの選択されたフィールドからのピクセルが、出力
フィールドの上記2入力フィールド(制御信号tで示さ
れる如き)に対する時間位置に応じて、相対的比率で結
合される。即ち、より近い入力フィールドがより大きな
比率で結合される。動きフラグが「静止」にセットされ
ている場合、時間的加重(重み付け)は各入力フィール
ドの50%に固定される。補間器340の出力は、出力
バッファ350に送られ高精細度出力信号として出力さ
れると共に、ダウンコンバータ360に送られ通常精細
度出力信号365として出力される。
【0062】ダウンコンバータ360は、本装置の出力
(例えば、高精細度ビデオ信号)の表示を従来精細度の
装置を用いてモニタしたり、送信したり、又は記録した
りすることを可能とする。これは、従来精細度記録機器
が高精細度機器よりかなり安価で、遙かに広く普及して
いるので、有益である。例えば、夫々地上及び衛星チャ
ンネルによって送信するには、通常及び高精細度ビデオ
の同時出力が必要であろう。
【0063】サブサンプラー370は、マトリクス32
0より受信した入力ビデオフィールドを水平及び垂直方
向に空間的にサブ(ダウン)サンプリングしてから、そ
れらの入力フィールドをタイムベース変換(TBC)及
びディレー回路380に供給する。水平サブサンプリン
グは、入力フィールドがまず半帯域幅ローパスフィルタ
(2:1水平デシメーション(間引き)の本例の場合)
により予めフィルタリング(ろ波)され、各ビデオライ
ンに沿ってビデオサンプルが1つおきに捨てられ、これ
によって、各ビデオラインに沿うサンプルの数が半分に
減るという点において、容易な動作である。
【0064】入力フィールドの垂直サブサンプリング
は、入力ビデオ信号250が飛越し走査されているた
め、複雑である。これは、各飛越しフィールドにおける
ビデオサンプルの連続するラインが実効的に2つのビデ
オラインに分かれ、各フィールドにおけるラインが前後
のフィールドのラインより完全フレームの1ビデオライ
ンだけ垂直にずれていることを意味する。
【0065】垂直サブサンプリングの1つの方法は、プ
ログレッシブ(連続又は順次)走査変換を行い(各々が
1125ラインをもつ連続するブログレッシブ走査され
たビデオフレームを発生し)、該プログレッシブ走査さ
れたフレームを2の率でサブサンプルして、垂直サブサ
ンプルを行うことであろう。しかし、効率のよいプログ
レッシブ走査変換は、或る程度の動き補正処理を必要と
し、その処理が動き処理装置385の動作に悪い影響を
与えることがある。更に、高精細度ビデオ信号の実時間
プログレッシブ走査変換は、特別に強力で複雑な処理装
置を必要とすることであろう。
【0066】垂直空間サブサンプリングのもっと簡単な
方法は、図8に示すように、入力フィールドをまず垂直
方向にローパスろ波し(潜在的エイリアシング(重複歪
み)を避けるため)、次いで、各ピクセルを垂直方向に
ビデオラインの1/2だけ下方(偶数フィールドの場
合)又は上方(奇数フィールドの場合)に実効的にずら
す如きろ波を行うことである。その結果得られるずれた
フィールドは、2の率で垂直方向にサブサンプルされた
プログレッシブ走査フレームと広い意味で等価である。
【0067】したがって、要約すると、上述したサブサ
ンプリング動作の結果、動き処理装置385は、水平及
び垂直方向に2の率で空間的にサブサンプルされた入力
フィールド対について動作することになる。これによ
り、動きベクトル推定に要する処理が1/4に減少す
る。
【0068】図9は、相関面の例を示す図である。相関
面500は、該面が発生される2つの入力フィールドの
うち早い方のサーチブロックと、該2入力フィールドの
遅い方における(もっと大きい)サーチ領域との差を表
す。したがって、相関におけるピークは、相関面500
における最小点510で表される。最小点510の相関
面500上の位置は、当該相関面から導出される動きベ
クトルの大きさ及び方向を決める。
【0069】前述のように、相関面の発生に用いるサー
チブロックの大部分が大きい物体(動くか又は静止して
いる。)で占められている場合、検出される当該大きい
物体の動きは、相関面にそれに対応して大きな最小点を
生じさせる。もし、各相関面から1つの動きベクトルを
発生するとすれば、その動きベクトルは大きい物体の動
きを表し、同一ブロック内のもっと小さな物体の動きが
隠されてしまう。これは、小さな動く物体が唯1つのサ
ーチブロック内に位置する場合、各相関面から1つの動
きベクトルしか発生しない装置では、小物体の動きを正
確に表す方法がないことを意味する。
【0070】図10は、相関面処理器400より出力さ
れた各補間相関面から複数の動きベクトルを発生する動
き処理装置385(図7)を本発明により一部変更した
もの(385′)を示す。詳しくいえば、ベクトル推定
器550とベクトル減数器560が変更されている。
【0071】ベクトル推定器550の動作を説明する前
に、サーチブロック内の大きさが異なる物体の動きを表
す複数の最小点をもつ相関面の特質を先に説明する。か
かる相関面の例を図11に示す。
【0072】図11において、相関面570は、大きな
最小点580と第2の最小点590を有する。最小点5
80は、全相関面上の最小差(最大相関)点を表す。し
かし、これに対し、最小点590は、相関面の直ぐ周り
の部分より大きい相関点を表す2次的な(局部的な)最
小点にすぎない。よって、ベクトル推定器550は、相
関面における局部的並びに絶対的な最小点を検出しなけ
ればならない。
【0073】動作時、ベクトル推定器550は、各補間
相関面で検出した各最小点に対し1つの動きベクトル
を、最小点の所定最大数まで発生する。図10に示す例
では、6個までの動きベクトルが、各補間相関面から発
生されベクトル減数器560に送られる。相関面が6つ
より多くの最小点を有するときは、6つの最上位最小点
から動きベクトルを発生する。
【0074】唯1つの相関面から複数の最小点が検出さ
れるときに起こる幾つかの問題に対し、予防措置を取る
のが望ましい。図11に示した例において、2つの最小
点は、同一サーチブロック内の大及び小物体の動きを表
す。しかし、規則正しい間隔で並ぶパターンをもつ映像
では、相関面に規則正しい間隔で並ぶ多くの最小点が検
出される可能性がある。これらの最小点の1つは該映像
パターンの正しい動きを表すであろう。その他は、該映
像パターンと、相関面の発生に用いたサーチブロックの
大きさとの間の偽の相互作用によるものである。出力映
像の補間に間違った動きベクトルを用いることを防ぐた
めに、唯1つの相関面から発生された複数の動きベクト
ルを使用前にテストする。唯1つの相関面から発生され
た複数の動きベクトルをテストするための考えられる技
法は、次のとおりである。 a)2次最小点から導出された各動きベクトルを、隣り
の相関面から導出されたベクトルと比較する。多分ベク
トル減数器560で行われることになるこの比較によ
り、2次最小点から導出された動きベクトルが、隣りの
相関面から導出された動きベクトルの所定閾内にある場
合に、前者の動きベクトルを出力映像の補間に使用でき
るようになる。 b)2次最小点から導出された動きベクトルは、当該ベ
クトルが既知の広域動きベクトルとほぼ同一の場合にの
み、使用してもよい。2次最小点と広域動きベクトルの
比較は、あとで詳しく述べる。 c)相関面の変化(変化率)を種々の直線方向に沿って
検査する変化率技法を用いることができる。変化率の符
号の変化は、検査の方向における局部的最小点を示す。
所定数の方向に沿って変化率の符号の変化がある場合、
当該最小点を動きベクトルの発生に使用できる。 d)技法c)の変形として、局部最小点の両側の変化率
が閾値より大きい場合にのみ、局部最小点から動きベク
トルを発生する。
【0075】技法c)の例を図12及び13に示す。図
12において、相関面600が直交2方向A−A及びB
−Bに沿って検査される。図13のAは、A−A方向に
沿う上記相関面の断面を示し、同図のBは、B−B方向
に沿う上記相関面の断面を示す。
【0076】上記相関面の変化率を2方向A−A及びB
−Bに沿って調べる。図13のA及びBに示すように、
変化率が直交2方向A−A及びB−Bの両方に沿って符
号を変える(局部的最小点を示す。)場合、許容可能な
局部最小点が示され、当該局部最小点から動きベクトル
が発生される。
【0077】唯1つの相関面から導出された各動きベク
トルは、ベクトル推定器550からベクトル減数器56
0に送られる。ベクトル減数器560は、図7のベクト
ル減数器420と同じように、出力映像の各ブロックに
割当てるべき4つの動きベクトルを選択する。各ブロッ
クに対する4つの動きベクトルは、下記のベクトルから
次の優先順位で選択される。 (i)ゼロ動きベクトル、(ii) 当該ブロックに対する
相関面内の最上位最小点から導出される局部動きベクト
ル、(iii)当該相関面内の2次最小点から導出される局
部動きベクトル、(iv) 広域動きベクトル。
【0078】図14は、本発明により変更された動き処
理装置の他の例385″を示すブロック図である。変更
された相関面処理器610は、各補間相関面を当該相関
面と所定の空間関係にある他の補間相関面グループ
(群)と結合することにより、補間相関面の「拡大」を
行う。相関面群の種々の例は、前述のように図4のA〜
Fに示してある。
【0079】相関面処理器610より出力された6つの
「拡大」相関面の各々は、ベクトル推定器620に送ら
れる。図7に示した以前提案された装置に対し、ベクト
ル推定器620は、各拡大相関面から動きベクトルを発
生し、それらの動きベクトルをベクトル減数器630に
送る。
【0080】ベクトル減数器は、種々の拡大相関面から
導出された動きベクトルを受取り、ベクトル選択に送る
べき各ブロックに対する4つの動きベクトルを選択す
る。これら4つの動きベクトルは、次の優先順序でこれ
らのベクトルから選択される。 (i)ゼロ動きベクトル、(ii) 選択された結合相関面
(例えば、図4のFの拡大相関面)から発生される動き
ベクトル、(iii)現ブロックと隣接ブロックから導出さ
れた原相関面から発生される動きベクトル中、少なくと
も所定の発生頻度数を有する動きベクトル、(iv) 広域
動きベクトル。
【0081】他の具体構成では、すべての結合相関面か
ら導出された動きベクトルを広域動きベクトルに優先し
て選択することができる。動きベクトルは、前述の確認
テストを用いてテストされる。確認テストを通過した動
きベクトルのみ、ベクトル選択に供給される。
【0082】図15は、相関面の「拡大」を行う相関面
処理器610の一部を示すブロック図である。図15に
おいて、補間相関面を表す入力データ640が、直列形
式で或る数の相関面(CS)遅延器(ディレー)650
に供給される。各CSディレー650は、入力データ6
40を、1つの相関面を表すデータの伝送時間に等しい
期間だけ遅らせる。これは、各CSディレー650の入
力及び出力におけるデータが、隣接する2相関面内の同
一点を表すことを意味する。
【0083】入力データ640はまた、2つの横列ディ
レー660,670にも供給される。横列ディレーは、
相関面の1つの横列全体を伝送する時間に等しい期間だ
けデータを遅らせる。これは、横列ディレー660又は
670の入力及び出力におけるデータが、2つの隣接す
る横列における対応位置にある2相関面内の同一点を表
すことを意味する。各横列ディレー660,670の出
力は、一連の4つのCSディレー650に供給される。
【0084】各CSディレー(相関面遅延器)650の
入力及び出力は、aからoまでの小文字によって注釈を
付けてある。これらの点におけるデータは、図3に示し
た形式の5×3相関面アレイの夫々の部分を示す。した
がって、図4のA〜Fに示した拡大相関面の1つを発生
するために、図15の装置におけるデータ及び出力を適
正に加算し、正規化する。
【0085】正規化加算器680を使用する例を図16
に示す。この例では、図4のDに示す拡大相関面を発生
している。詳しくいうと、図15の装置の出力c,h及
びmにおけるデータを正規化加算器680に供給し、該
加算器は次の関数に従う出力データを発生する。 CSout =(c+h+m)/3
【0086】図4のAの相関面(単に現在の相関面であ
る。)は、図16に示すタイプの正規化加算器を要しな
い。しかし、図16に示すものと類似の正規化加算器
を、図4のB〜Fの残りの拡大相関面の発生に使用す
る。
【0087】
【0088】動きベクトル減数器700では、各相関面
が広域(動き)ベクトルの位置で検査される。当該位置
に局部最小点が存在するかどうかを検出するために、変
化率テスト(図12及び13を参照して前述したタイプ
の)が行われる。かような局部最小点が存在するとき
は、当該広域ベクトルを出力映像の現ブロックに対して
使用することが許される。
【0089】この変更されたベクトル減数プロセスの効
果は、或る広域ベクトルが少なくとも特定ブロックの小
さい部分の動きを表す何らかの証拠がある場合にのみ、
該広域ベクトルが当該ブロックに対するベクトル選択の
ために送られる、ということである。
【0090】図18は、映像のブロック710に対して
広域ベクトルの車の動きを表す証拠が見付かった場合
の、図6の映像を表したものである。当該広域ベクトル
の使用は、上記ブロック710に限定される。これは、
図6について述べた広域ベクトルの間違った使用を避け
るのに役立つ。
【0091】図19及び20は、各広域ベクトルの証拠
を求めて相関面を調べるためにベクトル減数器700が
行うテストを示す。図19は、座標が(Vl(x)
l(y))である主な最小点(局部ベクトルに対応する)
を有する相関面720を示す。広域動きベクトルの位
置、即ち(Vg(x),Vg(y))において、相関面720
が、局部最小点の証拠を検出するために、直交2方向に
沿って検査される。
【0092】図20は、(Vl(x),Vl(y))における主
最小点及び広域ベクトルの位置(V g(x),Vg(y))を通
る相関面720の断面を示す。この場合、局部最小点が
広域ベクトルの位置で検出され、該広域ベクトルを、出
力映像の現ブロックのピクセルの補間に使えるものとし
てパスさせる。
【0093】所望ならば、図10,14及び17の装置
を、例えば、相関面を再検査してベクトル推定器が各拡
大相関面より1つ以上の動きベクトルを導出するよう
に、種々組合せてもよい。
【0094】
【発明の効果】以上述べたとおり、本発明によれば、出
力ビデオ信号の出力映像の補間に用いるために、入力ビ
デオ信号の入力映像対間の映像の動きを表す動きベクト
ルを発生する動き補正ビデオ信号処理において、複数の
局部最大相関点を有する相関面に対して、それらの相関
面から対応する複数の動きベクトルを発生することがで
きる。したがって、相関面の発生に使用するサーチブロ
ック内に大きな物体と小さな物体が含まれる場合に、小
さい物体の動きが無視されることのない適正な動きベク
トルが選択され、不適正な動きベクトルの選択により出
力映像に生じる人為雑音を防止することができる。
【図面の簡単な説明】
【図1】サーチブロック内に大きい物体と小さい物体が
含まれる場合の問題点を示す図(その1)である。
【図2】サーチブロック内に大きい物体と小さい物体が
含まれる場合の問題点を示す図(その2)である。
【図3】サーチブロックのアレイを示す図である。
【図4】相関面の拡大例を示す図である。
【図5】従来の相関面拡大技法を示すブロック図であ
る。
【図6】広域動きベクトルの選択ミスにより現れる出力
映像内の人為雑音を示す図である。
【図7】本発明を用いうる動き補正テレビジョン標準方
式変換装置を示すブロック図である。
【図8】垂直空間サブサンプリングの簡単な例を示す図
である。
【図9】相関面の例を示す図である。
【図10】本発明を図7の動き処理装置に実施した例1
を示すブロック図である。
【図11】2つの最小点をもつ相関面の例を示す図であ
る。
【図12】直交2方向における相関面の検査を示す図で
ある。
【図13】図12の相関面の直交2方向に沿う断面を示
す図である。
【図14】本発明を図7の動き処理装置に実施した例2
を示すブロック図である。
【図15】相関面を拡大する相関面処理器(図7)の例
(一部)を示すブロック図である。
【図16】相関面処理器に正規化加算器を使用する例を
示す図である。
【図17】本発明を図7の動き処理装置に実施した例3
を示すブロック図である。
【図18】広域動きベクトルの車の動きを表す証拠が見
付かった場合の図6の映像を示す図である。
【図19】テストされる相関面を示す図である。
【図20】図19の相関面のA−A線に沿う断面を示す
図である。
【符号の説明】
390 相関面発生手段(ブロック突合せ器) 550,620 相関面検査、動きベクトル発生及び確
認テストを行う手段(ベクトル推定器) 610 相関面結合手段(相関面処理器) 560,630 広域ベクトル導出及び動きベクトル割
当て手段を含むベクトル減数器 700 特に有効広域ベクトル検出手段を含むベクトル
減数器 650,660 遅延回路 680 加算手段(正規化加算器)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 マーチン レックス ドリコット イギリス国 ハンプシャー,ベージングス トーク,ベージング,リングフィールド クロース 6 (72)発明者 ジェームズ エドワード バーンズ イギリス国 ハンプシャー,ベージングス トーク,オールド ベージング,ハッチ レーン 81

Claims (30)

    【特許請求の範囲】
  1. 【請求項1】 出力ビデオ信号の出力映像の補間に用い
    るために、入力ビデオ信号の入力映像対間の映像の動き
    を表す動きベクトルを発生する動き補正ビデオ信号処理
    装置であって、 各々が、上記対の一方の入力映像の夫々のブロックと、
    上記対の他方の映像における、複数のブロックを含む領
    域との間の相関を表す、複数の相関面を発生する手段
    と、 該相関面内の最大相関点を検出するために該相関面を検
    査する手段と、 上記相関面内で検出された最大相関点から動きベクトル
    を発生する手段とを具え、 該動きベクトル発生手段は、複数の局部的な最大相関点
    をもつ相関面に対し、その相関面から対応する複数の動
    きベクトルを発生する動作を行う動き補正ビデオ信号処
    理装置。
  2. 【請求項2】 上記動きベクトル発生手段は、各相関面
    から所定数までの動きベクトルを発生する動作をする請
    求項1の装置。
  3. 【請求項3】 所定数より多くの局部相関最大点を有す
    る相関面の場合、上記動きベクトル発生手段は、所定数
    の最上位局部最大相関点より夫々の動きベクトルを発生
    する動作をする請求項2の装置。
  4. 【請求項4】 相関面における絶対的最大相関点以外
    の、該相関面における局部最大相関点である2次的最大
    相関点から発生される各動きベクトルに確認テストを行
    う手段と、 出力映像の補間時に、上記2次的最大相関点から導出さ
    れ上記確認テストに合格しなかった動きベクトルの使用
    を防止する手段とを有する請求項1〜3のいずれか1項
    の装置。
  5. 【請求項5】 上記確認テストを行う手段は、 2次最大相関点から発生された各動きベクトルが、入力
    映像の隣接するブロックから発生された相関面より導出
    された1つ以上の動きベクトルの所定閾量の範囲内にあ
    るかどうかを検出する手段を有する請求項4の装置。
  6. 【請求項6】 動きベクトルの最も共通するものから選
    択された複数の異なる動きベクトルを含む1組の広域動
    きベクトルを導出する手段を有する請求項4の装置。
  7. 【請求項7】 上記確認テストを行う手段は、2次最大
    相関点から発生された各動きベクトルが、広域動きベク
    トルの所定閾量の範囲内にあるかどうかを検出する手段
    を有する請求項6の装置。
  8. 【請求項8】 上記確認テストを行う手段は、2次最大
    相関点を通る所定数の非平行直線方向における相関面の
    変化率の符号の変化を検出する手段を有する請求項4の
    装置。
  9. 【請求項9】 上記所定数の非平行直線方向は、映像の
    水平の動きを示す方向と、映像の垂直の動きを示す方向
    とを含む請求項8の装置。
  10. 【請求項10】 上記確認テストを行う手段は、2次最
    大相関点に隣接する相関面の変化率が所定量を越えるか
    どうかを検出する手段を有する請求項8又は9の装置。
  11. 【請求項11】 次のものから次の優先順序で選択され
    た1組の動きベクトルを上記各ブロックに割当てる手段
    を含む請求項6の装置 (i)ゼロの映像の動きを示す動きベクトル、 (ii) 当該ブロックから導出された相関面における絶対
    的最大相関点より発生される動きベクトル、 (iii)当該ブロックから導出された相関面における2次
    的最大相関点より発生される動きベクトル。 (iv) 広域動きベクトル。
  12. 【請求項12】 入力ビデオ信号の入力映像対間の映像
    の動きを表す動きベクトルを発生する動き補正ビデオ信
    号処理方法であって、 各々が、上記対の一方の入力映像の夫々のブロックと、
    該対の他方の映像における、複数のブロックを含む領域
    との間の相関を表す、複数の相関面を発生するステップ
    と、 該相関面内の最大相関点を検出するために該相関面を検
    査するステップと、 上記相関面内で検出された最大相関点から動きベクトル
    を発生するステップとを含み、 該動きベクトル発生ステップは、複数の局部的最大相関
    点をもつ相関面に対し、その相関面から対応する複数の
    動きベクトルを発生することを含む方法。
  13. 【請求項13】 入力ビデオ信号の入力映像対間の映像
    の動きを表す動きベクトルを発生する動き補正ビデオ信
    号処理装置であって、 各々が、上記対の一方の入力映像の夫々のサーチブロッ
    クと、該対の他方の映像における、複数のブロックを含
    むサーチ領域との間の相関を表す、複数の相関面を発生
    する手段と、 複数の結合相関面を発生するために、各原相関面を周囲
    のサーチブロックから発生した原相関面群と夫々結合す
    る手段と、 上記原相関面及び上記結合相関面の各々から動きベクト
    ルを発生する手段とを具えた装置。
  14. 【請求項14】 上記結合手段は、各原相関面を、周囲
    のサーチブロックのアレイ内のサーチブロックから発生
    された5つの原相関面群と結合する動作をする請求項1
    3の装置。
  15. 【請求項15】 上記サーチブロックのアレイが5×3
    アレイである請求項14の装置。
  16. 【請求項16】 上記結合手段は、連続する相関面を表
    す直列データを受信する手段と、該直列データから夫々
    遅延されたデータを発生する複数の遅延回路と、結合相
    関面を表す出力データを発生するために、上記遅延回路
    の所定グループにより発生された遅延データを加算する
    手段とを含む請求項13〜15のいずれか1項の装置。
  17. 【請求項17】 上記加算手段は、遅延データを正規化
    して加算する手段を有する請求項16の装置。
  18. 【請求項18】 動きベクトルのうち最も共通するもの
    から選択された複数の異なる動きベクトルを含む1組の
    広域動きベクトルを導出する手段を有する請求項13〜
    17のいずれか1項の装置。
  19. 【請求項19】 次のものから次の優先順序で選択され
    る1組の動きベクトルを上記ブロックの各々に割当てる
    手段を含む請求項18の装置 (i)ゼロの映像の動きを示す動きベクトル、 (ii) 選択された結合相関面から発生される動きベクト
    ル、 (iii)現在のブロックと隣接するブロックから導出され
    た原相関面から発生される動きベクトル中、少なくとも
    所定の発生頻度数を有する動きベクトル、 (iv) 広域動きベクトル。
  20. 【請求項20】 上記選択された結合相関面は、サーチ
    ブロックのアレイの各々から発生された原相関面の結合
    によって発生される結合相関面である請求項14及び1
    9の装置。
  21. 【請求項21】 原及び結合相関面内の最大相関点を検
    出するために相関面を調べる手段と、検出された最大相
    関点から動きベクトルを発生する手段とを有し、該動き
    ベクトル発生手段は、複数の局部最大相関点をもつ相関
    面に対して、当該相関面から対応する複数の動きベクト
    ルを発生する動作をする請求項13〜20のいずれか1
    項の装置。
  22. 【請求項22】 各動きベクトルについて所定の確認テ
    ストを行う手段と、該テストに不合格の動きベクトルの
    割当てを防止する手段とを有する請求項21の装置。
  23. 【請求項23】 入力ビデオ信号の入力映像対間の映像
    の動きを表す動きベクトルを発生する動き補正ビデオ信
    号処理方法であって、 各々が、上記対の一方の入力映像の夫々のサーチブロッ
    クと、該対の他方の映像における、複数のブロックを含
    むサーチ領域との間の相関を表す、複数の相関面を発生
    するステップと、 複数の結合相関面を発生するために、各原相関面を周囲
    のサーチブロックから発生した原相関面群と夫々結合す
    るステップと、 上記原相関面及び上記結合相関面の各々から動きベクト
    ルを発生するステップとを含む方法。
  24. 【請求項24】 入力ビデオ信号の入力映像対間の映像
    の動きを表す動きベクトルを発生する動き補正ビデオ信
    号処理装置であって、 各々が、上記対の一方の入力映像の夫々のブロックと、
    該対の他方の映像における、複数のブロックを含む領域
    との間の相関を表す、複数の相関面を発生する手段と、 各々が、当該相関面における最大相関点によって決まる
    複数の動きベクトルを、上記相関面から発生する手段
    と、 複数の動きベクトルのうち最も共通するものから選択さ
    れた複数の異なる動きベクトルを含む1組の広域動きベ
    クトルを導出する手段と、 上記相関面を調べて、当該ブロックから発生された相関
    面が、各広域動きベクトルにより表される映像の動きと
    ほぼ同一の映像の動きを示す局部最大相関点を有するか
    どうかを検出することにより、各ブロックに対して局部
    的に有効な広域動きベクトルを検出する手段と、 ゼロ動きベクトルと、当該ブロックの映像の動きを表す
    動きベクトルと、当該ブロックに対して局部的に有効な
    広域動きベクトルとから選択された1組の動きベクトル
    を、上記ブロックの各々に割当てる手段とを具えた装
    置。
  25. 【請求項25】 上記検出手段は、広域動きベクトルに
    より表される映像の動きを示す位置を通る所定数の非平
    行直線方向における相関面の変化率の符号の変化を検出
    する手段を含む請求項24の装置。
  26. 【請求項26】 上記所定数の非平行直線方向は、水平
    の映像の動きを示す方向と垂直な映像の動きを示す方向
    とを含む請求項25の装置。
  27. 【請求項27】 上記相関面を調べて、該相関面内の最
    大相関点を検出する手段を有し、上記動きベクトル発生
    手段は、複数の局部最大相関点をもつ相関面に対して、
    当該相関面から対応する複数の動きベクトルを発生する
    動作をする請求項24〜26のいずれか1項の装置。
  28. 【請求項28】 各相関面を周囲のブロックから発生さ
    れた相関面群と結合して、夫々の複数の結合相関面を発
    生する手段と、これら結合相関面の各々から夫々の動き
    ベクトルを発生する手段とを有する請求項24〜27の
    いずれか1項の装置。
  29. 【請求項29】 入力ビデオ信号の入力映像対間の映像
    の動きを表す動きベクトルを発生する動き補正ビデオ信
    号処理方法であって、 各々が、上記対の一方の入力映像の夫々のブロックと、
    該対の他方の映像における、複数のブロックを含む領域
    との間の相関を表す、複数の相関面を発生するステップ
    と、 各々が、当該相関面における最大相関点によって決まる
    複数の動きベクトルを、上記相関面から発生するステッ
    プと、 複数の動きベクトルのうち最も共通するものから選択さ
    れた複数の異なる動きベクトルを含む1組の広域動きベ
    クトルを導出するステップと、 当該ブロックから発生された相関面が、各広域動きベク
    トルで表される映像の動きとほぼ同じ映像の動きを示す
    局部最大相関点を有するかどうかを検出することによ
    り、各ブロックに対して局部的に有効な広域動きベクト
    ルを検出するステップと、 ゼロ動きベクトルと、当該ブロックの映像の動きを表す
    動きベクトルと、当該ブロックに対して局部的に有効な
    広域動きベクトルとから選択された1組の動きベクトル
    を、上記ブロックの各々に割当てるステップとを含む方
    法。
  30. 【請求項30】 請求項1〜11,13〜22又は24
    〜28のいずれか1項の装置を有するテレビジョン標準
    方式変換装置。
JP6191593A 1993-08-19 1994-08-15 動き補正ビデオ信号処理方式 Pending JPH0779417A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9317253:4 1993-08-19
GB9317253A GB2281167B (en) 1993-08-19 1993-08-19 Motion compensated video signal processing

Publications (1)

Publication Number Publication Date
JPH0779417A true JPH0779417A (ja) 1995-03-20

Family

ID=10740730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6191593A Pending JPH0779417A (ja) 1993-08-19 1994-08-15 動き補正ビデオ信号処理方式

Country Status (2)

Country Link
JP (1) JPH0779417A (ja)
GB (3) GB2281167B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2319684B (en) * 1996-11-26 2000-09-06 Sony Uk Ltd Scene change detection
WO2001091448A2 (en) * 2000-05-19 2001-11-29 Koninklijke Philips Electronics N.V. Method system and apparatus_for motion estimation using block matching
US10404996B1 (en) * 2015-10-13 2019-09-03 Marvell International Ltd. Systems and methods for using multiple frames to adjust local and global motion in an image
US10334175B1 (en) * 2018-05-23 2019-06-25 Raytheon Company System and method for sensor pointing control

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2222499A (en) * 1988-09-05 1990-03-07 Philips Electronic Associated Picture motion measurement
GB2266023B (en) * 1992-03-31 1995-09-06 Sony Broadcast & Communication Motion dependent video signal processing
GB2277002B (en) * 1993-04-08 1997-04-09 Sony Uk Ltd Motion compensated video signal processing

Also Published As

Publication number Publication date
GB9716973D0 (en) 1997-10-15
GB9716974D0 (en) 1997-10-15
GB2315182B (en) 1998-04-15
GB9317253D0 (en) 1993-10-06
GB2315181A (en) 1998-01-21
GB2315181B (en) 1998-04-15
GB2281167B (en) 1998-04-15
GB2315182A (en) 1998-01-21
GB2281167A (en) 1995-02-22

Similar Documents

Publication Publication Date Title
EP0395274B1 (en) Motion dependent video signal processing
JP3287864B2 (ja) 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置
US5365273A (en) Method and device for film-mode detection
JP3845456B2 (ja) 動き補正ビデオ信号処理方式
US5600377A (en) Apparatus and method for motion compensating video signals to produce interpolated video signals
EP0395264B1 (en) Motion dependent video signal processing
KR20040009967A (ko) 디인터레이싱장치 및 방법
EP0395263B1 (en) Motion dependent video signal processing
EP0395266B1 (en) Motion dependent video signal processing
EP0395272B1 (en) Motion dependent video signal processing
JP3619542B2 (ja) 動き補正ビデオ信号処理装置及び方法
US5485224A (en) Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same
JP3875286B2 (ja) 動きベクトル発生方式
JPH0779417A (ja) 動き補正ビデオ信号処理方式
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
JPH06326980A (ja) 動き補償映像信号処理方式
GB2277006A (en) Generating motion vectors; subsampling video signals, interpolating correlation surfaces
GB2312806A (en) Motion compensated video signal interpolation
GB2277003A (en) Determining the motion of regular patterns in video images
KR100628190B1 (ko) 영상 데이터의 칼라 포맷 변환 방법
JPH0715700A (ja) 動き補正映像信号処理装置及び方法