JP3298104B2 - 動き補正付きテレビジョン信号の方式変換器 - Google Patents

動き補正付きテレビジョン信号の方式変換器

Info

Publication number
JP3298104B2
JP3298104B2 JP11081190A JP11081190A JP3298104B2 JP 3298104 B2 JP3298104 B2 JP 3298104B2 JP 11081190 A JP11081190 A JP 11081190A JP 11081190 A JP11081190 A JP 11081190A JP 3298104 B2 JP3298104 B2 JP 3298104B2
Authority
JP
Japan
Prior art keywords
motion vector
block
motion
frame
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11081190A
Other languages
English (en)
Other versions
JPH0362690A (ja
Inventor
サマッド ラファエル
ヘンリー ギラード クリーブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPH0362690A publication Critical patent/JPH0362690A/ja
Application granted granted Critical
Publication of JP3298104B2 publication Critical patent/JP3298104B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/553Motion estimation dealing with occlusions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、動き適応型のビデオ信号処理に関し、より
詳しくは、そのような信号処理を使用する動き補正付き
テレビジョン信号方式変換器に関する。
[従来の技術] テレビジョン信号方式(ビデオ信号の標準方式)の変
換器は、例えばビデオ信号を50フィールド/秒且つ625
ライン/フレームの標準方式から60フィールド/秒且つ
525ライン/フレームの標準方法に変換する如く、ビデ
オ信号を一の標準方式から他の標準方式へ変換する装置
として周知である。ビデオ信号に付随する時間方向及び
垂直方向の折り返し歪により、単純な線形補間技術を使
用するだけでは高画質のビデオ信号の標準方式の変換は
達成されない。このため、単純な線形補間を行ったので
は処理結果としての画像に不要な人工的なノイズが混入
し、特にその画像は垂直方向にボケると共に時間方向に
振動する。
これらの問題を解決するため、ビデオ信号の標準方式
の変換装置に入力ビデオ信号により表される画像の動き
の程度に応じて線形補間回路のパラメータを切り換える
適応制御技術を用いることが提案されている。
また、例えばビデオ信号処理におけるデータ圧縮のた
め、ブロック整合技術により入力されるビデオ信号から
動きベクトルを生成することも提案されている。このブ
ロック整合技術においては、或るフィールド又はフレー
ムのサーチブロックの内容がそれに続くフィールド又は
フレームのサーチエリア内の複数のサーチブロックの夫
々の内容と比較され、そのように比較される内容の間の
最小偏差ひいては(仮に存在するならば)その原サーチ
ブロックの内容の動きの方向及び距離が決定される。
[発明が解決しようとする課題] しかしながら、その場合ブロック整合を行う場合、そ
のフィールド又はフレームの周辺部の境界領域に隣接す
るサーチブロックについては、ブロック整合を行うのに
充分な広さのサーチエリアを確保することができないの
で、良好な動きベクトルを求めることができない不都合
がある。
本発明は斯かる点に鑑み、そのフィールド又はフレー
ムの周辺部の境界領域の近接のサーチブロックに対して
も良好な動きベクトルを割り当てることができる動き補
正付きテレビジョン信号方式変換器を提供することを課
題とする。
[課題を解決するための手段] 上記課題を解決するために、本発明は、下記の手段を
備えたテレビジョン信号の方式変換器を提供する。即
ち、 第1のビデオ信号を異なるテレビジョン方式である第
2のビデオ信号に変換する動き補正付きテレビジョン信
号の方式変換器であって、 上記第1のビデオ信号の各フレームの2フィールドを
1つの順次走査フレームに変換する順次走査変換手段
と、 上記順次走査変換手段によって順次走査に変換された
画像フレームをブロックに分割し、連続する2つのフレ
ームの対応するブロック毎に画素の相関値を導出するブ
ロック整合手段と、 上記ブロック毎に多数の動きベクトルを生成し、上記
ブロック整合手段によって導出した相関値を上記各動き
ベクトルに付加する動きベクトル評価手段と、 上記ブロック毎に、上記相関値に基いて上記多数の動
きベクトルを減少させるとともに、上記第1のビデオ信
号を画面で表したとき上記画面の境界部分に相当するブ
ロックの動きベクトルを上記境界部分の近傍のブロック
の動きベクトルで置き換える動きベクトル減少手段と、 上記ブロックの画素の輝度に基いて、上記動きベクト
ル減少手段出力の動きベクトルの中の1個を上記ブロッ
クの各画素に動きベクトルを割り当て、且つ周囲の画素
の動きベクトルと許容範囲外の動きベクトルに不良フラ
グを付加する動きベクトル選別手段と、 上記動きベクトル選別手段で選別した各画素毎の動き
ベクトルに上記不良フラグが付加された場合に、近傍の
画素の動きベクトルに置き換える後処理を施す動きベク
トル後処理手段と、 上記動きベクトル後処理手段から出力された動きベク
トルに基いて、上記ビデオフレームの各々の画素を補間
する補間手段とを有すること を特徴とする動き補正付きテレビジョン信号の方式変換
器を提供する。
[作用] かかる本発明によれば、そのフィールド又はフレーム
の境界領域の近傍のブロックに対してはそのブロックの
近傍に存在すると共にその境界領域には存在しないブロ
ック用として導出された動きベクトルの中から選別した
動きベクトルが割り当てられるので、その境界領域の近
傍のブロックの動きベクトルの値とその他のブロックの
動きベクトルの値との間に大きな不連続性が発生するこ
とがない。従って、最終的に得られる画像にブロック処
理に起因する画質劣化が発生することがない。
[実施例] 以下、本発明の一実施例につき図面を参照して説明し
よう。本例は、60フィールド/秒且つ1125ライン/フレ
ームの高品位ビデオ信号(HDVS)を24フレーム/秒の35
mmフィルム用のビデオ信号に変換するビデオ信号の標準
方式の変換装置に本発明を適用したものである。しかし
ながら、本発明はこれに限定されず容易に他の標準方式
間の変換装置にも適用することができる。
第1図は本例の標準方式の変換装置のブロック図であ
り、この第1図において、入力端子(1)に入力ビデオ
信号を供給する。その入力端子(1)を順次走査変換手
段(2)に接続し、この手段で入力ビデオフィールドを
ビデオフレームに変換し、このビデオフレームを相関面
を生成するための直接ブロック整合手段(3)に供給す
る。動きベクトル評価手段(4)がこれらの相関面を解
析して生成した動きベクトルを動きベクトル減少手段
(5)に供給し、この動きベクトル減少手段(5)が個
々の画素の動きベクトルの数を減少させた後に、これら
動きベクトル及び順次走査変換手段(2)の出力を動き
ベクトル選別手段(6)に供給する。その動きベクトル
選別手段(6)による動きベクトルの選別において発見
された如何なる不規則性も動きベクトル後処理手段
(7)により除去され、この動きベクトル後処理手段
(7)は処理後の動きベクトルを補間手段(8)に供給
すると共にこの補間手段(8)を制御し、この補間手段
(8)には順次走査変換手段(2)の出力をも供給す
る。標準方式が変換され且つ動き補償のなされたビデオ
信号である補間手段(8)の出力を出力端子(9)に供
給する。本例の標準方式の変換装置の各構成部及びそれ
らの動作につき以下で詳細に説明する。
順次走査変換手段(2)は入力フィールドと同じ周波
数で出力フレームを生成する。従って、一連の連続した
フィールドにおける一連の連続したライン(水平走査ラ
イン)を図示する第2図において、入力フィールドに存
在するライン(水平走査ライン)を十字形で示し補間さ
れたラインを正方形で示すように、個々の出力フレーム
は入力フィールドのラインの2倍の数のラインを含み、
それらのラインは入力ビデオ信号のラインと下記の方法
の内の何れかの方法により補間されたラインとが互い違
いになっている。それらの補間されたラインは、その入
力フィールドに対して反対の極性を持つ1つの補間され
たフィールドとみなすことができる。
主に2つの理由で、順次走査変換が実行されるのが好
ましい。第1に、後続の直接ブロック・マッチングを容
易にし、第2に、最終的な出力ビデオ・フォーマットを
考慮してである。これら2つの理由をより詳細に説明す
る。
直接ブロック整合処理は次に詳細に述べるように、2
つの連続するビデオフィールド間の水平方向及び垂直方
向の動きの正確な評価を行うために用いられる。しかし
ながら、直接ブロック整合が施されるビデオ信号のイン
ターレース構造により、問題が生じ得る。
第3図により表される画像につき考えるに、この第3
図は一連の連続するフィールドにおける一連の連続する
ラインにおいて、白レベルの画素を白い正方形で、黒レ
ベルの画素を黒い正方形で、更にグレイレベルの画素を
斜線が施された正方形で表す。この場合は垂直方向の周
波数がHDVS方式では1125/3 cph(cycles per picture h
eight,サイクル/像高)に相当する垂直方向の構造が微
細な静止画が表示されている。この画像を通常のインタ
ーレース走査処理でサンプルすると、個々のフィールド
は第4図に示す如く何れも垂直方向の周波数が1125/6 c
phの静止している輝度成分Yを含んでいる如く見える。
しかしながら、個々のフィールドの周波数成分の位相は
逆相である。これらのフィールド間で直接ブロック整合
を実施すると、垂直方向の動き成分として多数の不正確
な且つ異なった値が得られる。この状態が第5図に示さ
れ、この第5図において短縮語のLPFはライン/フィー
ルド(lines per field)を意味する。第5図から、直
接ブロック・マッチング(整合)法は垂直動き成分に対
する正確な答えを与えないであろう。この成分は実際に
は零である。これは、直接ブロック・マッチング法は、
実際の動きというよりは、むしろそのビデオ信号のエイ
リアス成分を追跡しているからである。
ここで第6図について考えてみよう。この図は、1つ
のフレームを形成するために各入力フィールドが順次走
査変換されている点を除いて、第3図と同じ静止画像を
とりあげており、三角形は補間されたピクセル(画素)
を表している。この例では各フレームは原入力フィール
ドと同じ静止状態の垂直方向の周波数成分、即ち周波数
1125/3 cphの成分を含む。従って、本例では2個の連続
するフレーム間の直接ブロック整合により垂直方向の動
きに対する正確な値即ち0が得られ、垂直方向の異なる
位置の値を比較することが回避される。更に、順次走査
に変換されたフレームに直接ブロック整合処理を施す
と、その直接ブロック整合処理が2倍のラインを有する
フレームに施されることになるため、より正確に垂直方
向の動きの評価ができるようになることが重要である。
本実施例の場合、最終的に得られるビデオ信号のフォ
ーマットを考慮すると、この変換されたビデオ信号はテ
ープを介して電子ビーム式の記録装置に供給され、24フ
レーム/秒の動画フィルム用レイト(速度)に相当する
フレームから構成する必要がある。このため、順次走査
により変換されたフレームの生成が必要であり、更に、
例えば、動きの状態が多様すぎて満足に解析できない場
合のように、動き補償のなされた標準方式の変換が受け
入れ難い結果を生じると認められる場合にも、その順次
走査により変換されたフレームは代替フレームとして使
用できる。この場合には、要求される出力フレームとし
て最寄りの順次走査変換されたフレームを使用すると正
当に受け入れられる結果が得られる。
順次走査変換は、多くの方法で実行でき、その方法に
は例えば前フィールドによる置換、3本の空間的に連続
するライン(これら3本のラインは時間的には2個の連
続するフィールドに属する)が試験されるメジアン(中
央値)フィルターを使う方法、又は多方向の線形補間を
後に伴う多傾斜度動き検出を使う動き補償技術がある。
しかし、この実施例において好ましい方法は、動き適応
型の順次走査変換であり、第7図に各ステップがブロッ
ク図で示されている。この変換では、完全な静止画領域
では垂直方向の情報をできるだけ保つためにフィールド
間補間を使用し、動きが大きいときにはフィールド内補
間を使用する。これにより更に動きが滑らかに表現され
る。動きの程度がこれら両極端の間であるときには、そ
の画像の中に存在する局所的な動きの評価がなされ、こ
の評価結果によりフィールド間補間とフィールド内補間
とが夫々異なる割合で混合される。
更に詳しく述べるに、第8図に示す如く、前フィール
ドと次フィールドとのフレーム差の係数が先ず生成され
る。必要とされる評価量を生成するためには、前フィー
ルド及び次フィールドからの次式により定義されるフレ
ーム間の差分係数配列が各点毎に生成される。
Δ(画素,現ライン,現フィールド)= |Y(画素,現ライン,次フィールド)− Y(画素,現ライン,前フィールド)| この式において、Δは正規化されていない差分係数
配列、Yは3次元画像に対応する輝度配列である。
その差分係数はその後低輝度領域の変化の大きさを調
製するために次のように正規化される。
Δ(画素,現ライン,現フィールド)= F()(画素,現ライン))* Δ(画素,現ライン,現フィールド) この式において、Δは正規化された差分係数配列、
はフレーム間の平均輝度レベルであり、 (画素,現ライン)= (Y(画素,現ライン,前フィールド)+ Y(画素,現ライン,次フィールド))/2 が成立し、F()(正規化関数)はに対して第9図
に示すような関数となる。
その差分配列Δにはその次のフィールドの差分配列と
共に3タップフィルタ(タップ係数が例えば1/4,1/2,1/
4又は0,1,0)により垂直方向のフィルタリングが施さ
れ、垂直方向の折り返し歪が減少されると共に、特に時
間方向の折り返し歪が最小になされる。従って、 Δ(画素,現ライン,現フィールド)= Δ(画素,現ライン−1,前フィールド)* C1+Δ(画素,現ライン,現フィールド)* C2+Δ(画素,現ライン+1,前フィールド) *C1 が成立し、この式において、Δはフィルタ通過後の正
規化された差分配列、C1及びC2はフィルタ係数であり、
直流ゲインが1に維持されるように2 C1+C2=1に設定
される。
その後5タップ×15タップ程度までの垂直方向及び水
平方向のフィールド内フィルタにより現フィールド内の
差分値が平滑化される。実際には、3タップ×3タップ
のフィルタで充分である。最後に、実際の動きの評価を
行うために、次式で定義される動き評価量(ME)を表す
関数を使用して非線形関数が適用される。
ME(画素,現ライン)= γ(空間周波数領域でフィルタがかけられた Δ(画素,現ライン)) その非線形関数γは第10図に示す如く導出され、静止
画に対してはMEの値は0、完全な動画に対してしてはME
の値は1、中間領域の画像に対してはMEの値は過渡的な
値となる。
補間された画素を生成するために、第11図に示す如
く、周辺のラインの加重平均をとることによりその欠け
ている(未完成)のラインの画素が生成される。それか
ら動き評価量MEがフレーム内で補間された値(2,4,6又
は好ましくは8タップフィルタにより生成される)に適
用され、評価量(1−ME)がフィールド間の平均値(又
はより複雑な補間値)に適用され、これらの結果が加算
されて次式で定義される順次走査の画素の評価量が導出
される。
ここに、C0,C1,C2及びC3はフレーム内のフィルタ係数
であり、直流ゲインを1に維持するために2(C0+C1+
C2+C3)=1に設定される。
この順次走査変換の方法によれば、入力フィールドか
ら高品質のフレームが生成されることがわかるが、これ
は特に動体を分離し、異なる方法で静止している背景に
挿入することができるからである。
第1図に戻ると、動きベクトルを導出するためには順
次走査変換手段(2)により導出されたビデオ信号の複
数のフレームが使用される。動きベクトルの評価は2つ
のステップより構成される。第1に、連続するフレーム
から選ばれたサーチブロックの相関を取ることにより相
関面が生成される。これら相関面が得られた後に、これ
らは相関が最も良好な1個又は複数の位置を決定するた
めに検査される。相関面を得る方法には数種類の方法が
あるが、その内の主な2個の方法は位相相関法及び直接
ブロック整合法である。しかしながら、位相相関法の使
用には多くの問題があり、これらの問題は手短かに言う
と変換メカニズム,ウィンドゥ関数,ブロックの大きさ
及び生成される相関面の輪郭の変動し易い性質に関連す
る。そのため、この実施例では直接ブロック整合法を使
用する。
直接ブロック整合手段(3)は次のように動作する。
この場合、順次走査に変換されたビデオ信号の連続する
フレームの画素の矩形の配列よりなる2個のブロックの
相関をとることにより、相関面が生成され、この相関面
より動きベクトルが導出される。
第12図に示す如く、先ず1つフレームより32画素×23
ラインの大きさのサーチブロックと称する小さなブロッ
クを取り出す。それから、その次のフレームより128画
素×69ラインの大きさのサーチエリアと称するより大き
なブロックを取り出す。そのサーチブロック(SB)を第
13図に示す如くサーチエリア(SA)中の可能な位置(全
部で96×46の位置がある)の夫々に配し、夫々の位置で
それら2個のブロック間の画素の輝度レベルの差分の絶
対値の和を計算する。この計算結果がこの結果が導出さ
れた位置における相関面の高さとして使用される。この
計算結果をサーチエリア内のサーチブロックの可能な位
置の夫々について導出された結果と共に使用することに
より、第14図に一例を示すような相関面が得られる。理
解を容易にするためその相関面は反転して示してあり、
実際に必要とされるのは最小値であるため、第14図にお
いて必要とされる点は最も大きなピークである。
サーチブロックの大きさは動き補償が必要とされる物
体の最小の大きさを調べることにより選択される。625
ライン/フレーム且つ50フィールド/秒のPAL方式の信
号に対しては、16画素×8ラインのサーチブロックが小
さな物体の追跡に適していることが分かっており、この
場合にはその物体の中には存在しないがそのサーチブロ
ックの中には存在する如何なる周囲の情報もその物体の
追跡を妨害することがない。このため、本例ではその方
法が採用されたが、HDVS方式では625/50のPAL方式に比
べて有効画素数/ライン,有効ライン数/フレーム及び
アスペクト比が異なることに鑑みて修正が加えられてい
る。HDVS方式の場合を最初にして両者の値を示すと、有
効画素数/ラインは1920(720),有効ライン数/フレ
ームは1035(575)及びアスペクト比は3:5.33(3:4)と
なる。
より大きな物体を追跡するために、より大きなサーチ
ブロックを使用する方法もある。一方、大きな物体又は
背景の効果により小さな物体が覆い隠されてしまうこと
を防ぐため、より小さなサーチブロックを使用する方法
も考えられる。しかしながら、小さなサーチブロックを
使用した場合には、個々のサーチブロックについて1個
を超える動きベクトルを導出する必要がないという利点
がある。1個の動きベクトルを導出するのはそれを超え
る数の動きベクトルを導出するよりも極めて容易である
ため、本例では上述の小さなサーチブロックを先ず使用
し、満足な結果が得られなかった場合にそのサーチブロ
ックをより大きなサーチブロックに成長させる。これに
より小さなサーチブロック及び大きなサーチブロックの
両方の利点を享受できる。満足な結果か否かの判定条件
は次に詳細に説明する動きベクトルが評価手段(4)
(第1図)により設定され、この動きベクトル評価手段
(4)が与えられた相関面より動きベクトルを決定す
る。
サーチブロックを次第に大きくする技術はより大きな
物体を追跡するためにのみ有効であるのではない。それ
によれば周期的な規則的パターンの形状を有する物体の
動きの追跡にも役立つ。従って、第15図に示す如く、サ
ーチブロックAがサーチエリアBに対して位置V1,V2及
びV3で整合し、夫々の位置で一見正確な動き量が得られ
る場合を考慮する。しかしながら、この場合実際に相関
面を解析するプロセスである動きベクトルの評価によ
り、同一直線上に存在する3箇所の位置で相関が良好に
なることが分かる。従って、そのサーチブロックは水平
方向に元の幅の3倍の長さになるまで成長させられ、こ
の方向はこの例で多重の良好な相関が発生した方向であ
る。サーチエリアもそれに対応して水平方向に拡大され
る。第16図に示す如く、その拡大したサーチブロック
(3A)を使用すれば、相関が良好な点は1点のみとな
り、それによりその物体の動きが正確に検出される。
この特別な場合には、多重相関の方向が水平方向であ
るため、サーチブロック及びサーチエリアの両方を水平
方向に成長させる必要がある。しかしながら相関面の状
態によっては、サーチブロック及びサーチエリアを垂直
方向に成長させなければならない場合もあり、実際に水
平方向及び垂直方向の両方に成長させなければならない
場合もある。
境界領域にはサーチエリアを切り出す充分な余地がな
いため、ブロック整合は必ずしもそのフレーム中の全て
のサーチブロックに適用できるとは限らない。従って、
ブロック整合はそのフレームの第17図に斜線で示す境界
領域では実行することができない。この問題点は以下に
説明する動きベクトル減少手段(5)(第1図)により
処理され、この動きベクトル減少手段(5)はその斜線
を施した領域のサーチブロックに適当な動きベクトルを
供給する。
1フレーム中の個々のサーチブロックに対して生成さ
れる相関面(第14図)より、動きベクトル評価手段
(4)(第1図)はそのサーチブロックとそれに対応す
るサーチエリアとの間のフレーム間の動きらしき量を推
定する。再度述べるに、理解を容易にするため相関面の
全ての図は反転して示され、最小値がピークとして示さ
れている。
動きベクトル評価手段(4)(第1図)は動きベクト
ルの評価アルゴリズムを使用して各相関面上の最小値の
点(相関が最大の点)を検出する。この点がサーチブロ
ックとサーチエリアとの間の相関が最大となる点を示
し、ひいてはこの点により略それらブロック間の動きと
認められる量が示される。その相関面上の原点(本例で
はその面の中央に存在する)に対するこの最小値の変位
が、画素/フレームを単位とするその動きの直接的な測
定値になる。その相関面が唯一の孤立した最小値を有す
るという最も単純な場合には、その相関面上の最小値の
点を検出するだけでサーチブロックとサーチエリアとの
間の動き量を正確に決定することができる。前に述べた
如く、小さなサーチブロックを使用すれば動き検出及び
動き評価の精度を改善することができるが、小さな1個
のサーチブロックでは次に述べる多くの場合に動きを検
出することができない。
動きベクトルを(水平方向の画素単位の動き,垂直方
向の画素単位の動き)で表した場合、第18図は動きベク
トル(5,0)を有し或るフレーム(t)内でサーチブロ
ック(1A),(2A)及び(3A)にまたがる物体を示す。
サーチブロック(1A)及び(3A)とその次のフレーム
(t+1)の対応するサーチエリア((1B)及び(3
B))との相関をとると、第19図に示す相関面には(5,
0)の位置に最小値(図面上では反転)が現れる。(但
し、ビデオソースにノイズは含まれていないと仮定して
いる。)しかしながら、サーチブロック(2A)とそれに
対応するサーチエリア(2B)との相関をとると、第20図
に示す相関面が生成され、この相関面においてサーチブ
ロック(2A)とサーチエリア(2B)とはy方向の全ての
点で相関が高くなる。従って、その相関面には唯一の最
小値の点は存在せず、そのサーチブロック(2A)とサー
チエリア(2B)との間の動きを決定することができな
い。
しかしながら、サーチブロック(2A)が成長して元の
サーチブロック(1A),(2A)及び(3A)を覆う場合を
考えてみる。その成長後のサーチブロック(2A)と元の
サーチエリア(1B),(2B)及び(3B)を覆うサーチエ
リアとの相関をとることにより、第21図に示すような相
関面が得られる。これにより位置(5,0)に元のサーチ
ブロック(2A)の正確な動きを示す唯一の最小点が存在
することが分かる。この例により、正確に動きを検出す
るためにはソースビデオ信号に何らかの特徴がなければ
ならないことが分かる。即ち、サーチブロック(1A)及
び(3A)には垂直方向及び水平方向にその物体のエッジ
が存在するという特徴があるため、動きが検出できる。
それに対して、サーチブロック(2A)には垂直方向に特
徴的な形態が存在しても水平方向には特徴がないため、
水平方向の動きを検出することができない。しかしなが
ら、そのサーチブロックを水平方向及び垂直方向の両方
向に特徴を有するようになるまで成長させることによ
り、そのサーチブロックの完全な動きが決定できるよう
になる。更に、ソースビデオ信号中のノイズを考慮する
とそのサーチブロックを成長させることには別の利点が
ある。
第22図を参照して他の例について検討する。この例は
動きベクトルが(5,3)であるサーチブロックに対する
相関面を示す。しかしながら、そのサーチブロックとそ
のサーチエリアとの間の他の多くの相関が良好な点によ
り、真の動きが検出し難くなっている。そのような相関
面を生成するソースビデオ信号の例は例えば風で揺れて
いる低コントラストの木であろう。これからそのサーチ
ブロック及びサーチエリアが成長するものと仮定する。
その成長は先の例のように水平方向に生じてもよく、又
は垂直方向に生じてもよく、又は両方向に生じてもよ
い。該合うサーチブロックが同じ動きをする場合には、
その結果生じる相関面に対する平均的な効果により他の
相関が良好なピークの大きさに比べて位置(5,3)の最
小ピークの大きさがずっと大きな割合で増加する。この
状態を第23図に示し、これにより正確な動きベクトルを
より容易に検出できることが分かる。
サーチブロックが成長する状態について第18図を参照
して更に検討する。本例ではサーチブロック(2A)の領
域を成長させてサーチブロック(1A)及び(3A)の領域
を覆い、それに対応する相関面を生成することが必要で
ある。実際に、対応する相関面はサーチブロック(1
A),(2A)及び(3A)に対応する3個の相関面の個々
の要素を加算することにより直接生成される。
実際には、各相関面を複数の点の値のマトリックスで
あると考えると、その拡大されたサーチブロック(2A)
の相関面は元のサーチブロック(1A),(2A)及び(3
A)の相関面のマトリックスの加算に相当する。
そのサーチブロック(2A)の領域は上下のサーチブロ
ックの相関面を加算することにより垂直方向にも成長さ
せることができる。一方、そのサーチブロック(2A)を
水平方向及び垂直方向の両方向に成長させるには、4個
の対角線方向の相関面をも同様に加算しなければならな
い。このことにょり或るサーチブロックを隣りのサーチ
ブロックを覆うように成長させる実際のプロセスは比較
的容易であることが分かるが、より困難なプロセスはい
つその成長を起こさせるかを決定すること及び近傍のど
のサーチブロックまでその成長を行わせるかを決定する
ことである。基本的には、その答えは良好な最小値即ち
良好な動きベクトルが検出されるまでそのサーチブロッ
クの領域を成長させなければならないということであ
る。従って、或る動きベクトルが良好なベクトルとして
検出されたときを特定することが必要となり、これは実
際に上述の例より推定することができる。
第18図〜第21図を参照して述べた例においては、その
物体の水平方向の唯一の特徴を捉えて唯一の最小値を得
るためにそのサーチブロックを水平方向に成長させる必
要があった。この状況は第20図の相関面上には同一の最
小値の列が存在すること及び第21図の相関面上には唯一
の最小値のみが存在することによって特徴付けられてい
る。これにより、良好な最小値のための第1判定条件が
得られ、それら良好な最小値の点とはその相関面上の最
も値が小さい点であり、その点の値とその次に最も値が
小さい点の値との差が或る与えられた値を超えるという
ことである。この或る与えられた値は閾値として知ら
れ、この判定条件を充足するか否かの検査をここでは閾
値テストと言う。
その次に最も値が小さい点は、以下に述べるリングテ
ストと称される別のテストにおいては生じることがない
点に注意すべきである。3個のリング(輪)を使用する
リングテストの場合には、問題の点の3個の画素の中の
1点からその次に最も値が小さい点は生じさせない。第
18図〜第21図の例では、第20図の相関面は閾値テストで
は失敗したかもしれないが、サーチエリア(2A)は成長
させられ、或適当な閾値が与えられ、第21図の相関面が
閾値テストに合格するであろう。
その閾値テストは、第22図及び第23図を参照して上述
した例において領域を成長させる場合にも使用すること
ができる。サーチブロックを成長させる前には、周囲に
同程度の値の点が存在するため正確な最小値を検出する
ことができない。従って、或る適当な閾値が与えられて
も、その相関面は閾値テストをクリアすることができな
いので、そのサーチブロックは成長することになる。そ
の結果として、他の見せかけの最小点の中から真の最小
値の点を検出することが可能になる。
閾値の使用は主観的なテストであると思われるかもし
れないが、検査対象の相関面の内部における値の変動範
囲の一部に収まるようにその閾値を正規化することによ
り、その相関面の正確な閾値を選択することができる。
これにより例えばビデオソースのコントラストの影響を
軽減することができる。
上述のリングテストは主観的な傾向はずっと少なく、
以下その内容を詳細に説明する。そのリングテストの前
提は、良好な最小値(又は最大値)の点にはその点を囲
む次第に大きさが減少する(又は増大する)複数の点が
存在するということである。第24図はこの前提を図示し
たもので、点(0、0)で最小値を示し、その点の所
で、複数の点よりなる周囲の3個のリングの平均的大き
さが外側にいくほど小さくなっている。これは、第25図
に示す相関図とは対照的であり、そこでは複数のリン
グ、特に中心から2番目のリングの平均的大きさが外側
の方が小さくなるような大きさにはなっていない。
この場合、そのリングテストにより定義される良好な
最小値を得るための判断条件は、平均の傾きが単調であ
ることである。従って、問題となっている最小値を囲む
点の予め定められた数のリングに対して、内側から外側
に向かう個々のリングの平均の大きさな前のリングの大
きさよりも大きくなければならない(図面上では小さく
なる)。第18図〜第21図を参照して述べた例に再び戻
り、第20図及び第21図より第20図の相関面はそのリング
テストをクリアすることができない(最小値が特定でき
ない)が、第21図の相関面はそのリングテストをクリア
できることが分かる。そのリングテストは絶対値ではな
く平均値を比較をするため、閾値テストに比べてずっと
主観的ではなく、実際にそのリングテストにおける唯一
の変数は考慮すべきリングの数である。
サーチブロックを成長させるメカニズムについて述べ
た後は、相関面の形状の検査によって如何にそのサーチ
ブロックを成長させる最も効果的な方向を決定すること
ができるかを検討することが必要である。
第20図に戻り、その相関面には垂直方向には唯一の特
徴部があるが水平方向には何等特徴部がない。これは、
水平方向に相関の良好な部分が多く存在するために、そ
の相関面にはその相関面を水平方向に横切るように一列
の最小点が存在することに反映されている。この事実よ
りそのサーチブロックは水平方向に成長させるべきこと
が推定できる。逆に垂直方向に相関の良好な一列の点が
存在する場合には、そのサーチブロックは垂直方向に成
長させる必要があることを示し、一方、相関の良好な点
が円周状に存在するときにはそのサーチブロックは水平
方向及び垂直方向の両方向に成長させる必要があること
を示す。
この判断条件を使用することにより、そのサーチブロ
ックを成長させる方向を決定するためにその相関面の形
状の定量的な測定値が必要となる。この測定値は次のよ
うに決定される。先ず、閾値が決定される。それからそ
の閾値より小さいその相関面上の如何なる点も考慮され
る。この閾値は閾値テストで使用されたものと同様に、
その相関面内の値の変動範囲に収まるように正規化され
る。この閾値を使用してその相関面上の各点が順番に4
段階のシーケンスに従って検査される。各シーケンスに
おいて、その相関面の値がその閾値より小さくなる点が
注目される。第26図を参照してこれら4段階のシーケン
スにつき説明するに、この第26図において、上端部,下
端部,左端部及び右端部に夫々存在する数値1,2,3及び
4はそれら4段階のシーケンスを示し、斜線を施した領
域がその閾値よりも値が小さな点を示す。各シーケンス
の動作は以下のとおりである。
シーケンス1 その相関面の上端部から下方に向かって値がその閾値
よりも小さくなる点Aを捜す。
シーケンス2 その相関面の下端部から上方に向かって値がその閾値
よりも小さくなる点Cを捜す。
シーケンス3 その相関面の左端部から右方向に向かって値がその閾
値よりも小さくなる点Dを捜す。
シーケンス4 その相関面の右端部から左方向に向かって値がその閾
値よりも小さくなる点Bを捜す。
その結果生じる4点A,B,C及びDは第26図に示す2箇
所の長さX及びYの計算に使用され、これらの長さX及
びYがその閾値よりも値が小さい点を含む斜線を施した
領域の大きさを示す。従って、それらの長さX及びYよ
り、その形状がy方向よりx方向に長いか、その逆か又
は略円形かが推定できる。例えば10%程度の小さな差は
その形状を推定する上で許容され、その形状をx方向に
長いと判断するためにはその長さXは少なくともその長
さYよりも10%以上長くなければならない。y方向につ
いても同様である。それらの長さX及びYの差が互いに
10%以内に収まっているならば、その形状は円形である
と判定されてそのサーチブロックは両方向に成長させら
れる。第26図例では長さXが長さYよりも長いので、そ
のサーチブロックはx方向即ち水平方向に成長させられ
る。
そのサーチブロックの成長は1個又はそれを超える成
長限界に達するまで続く。これら限界とは次のようなも
のである。即ち、その相関面の最小値が閾値テスト及び
リングテストの両方をクリアすること、そのビデオフレ
ームのエッジに達すること又はそのサーチブロックが既
に水平方向及び垂直方向に予め定められた回数だけ成長
したことである。この最後の限界はハードウェアに依存
する。即ち、最後の限界は許容時間内に実行できる処理
の量によって定まる。本発明の一実施例においては、そ
の限界は水平方向には2回,垂直方向には1回に設定さ
れている。
その相関面の最小点が閾値テスト及びリングテストの
両方をクリアする場合には、良好な動きベクトルが決定
されたものとみなされ、この動きベクトルは動きベクト
ル減少手段(5)(第1図)に供給される。しかしなが
ら、フレームのエッジに到達するか又はサーチブロック
が水平方向及び垂直方向に予め定められた回数だけ成長
した場合には、その特別なサーチブロックについては良
好な動きベクトルが決定されなかったものとみなされ
て、1個の良好な動きベクトルを決定する代わりに重み
付けにより最も有益な動きベクトルが決定される。
その最も有益な動きベクトルが定常的な即ち中心の動
きベクトルとして重み付けされるように、その相関面に
は重み付けがなされる。これには2つの理由があり、第
1にそのサーチブロックが、成長後でさえもソースビデ
オ画像の広い平面領域の一部であるならば、1個の良好
な動きベクトルを検出するのは不可能である。しかしな
がら、そのソースビデオ画像は、1個の平面領域から成
る画像であるため、それに続く処理において1個の定常
的な動きベクトルによって正確な結果をもたらす。第2
に、動きベクトル減少手段(5)(第1図)に対して非
常に劣悪な動きベクトルが供給される可能性を減少する
ために、重み付けがなされる。これは、1個の良好な動
きベクトルが決定できないときには、1個の非常に劣悪
な動きベクトルよりも1個の少し劣悪な動きベクトルの
方が好ましいという理由からである。
第27図は、その相関面に対して重み付け関数をどのよ
うに適用するかの一例を示す。この例では、その相関面
上の或与えられた点に対して適用される重みはその点の
その定常的な中心の動きベクトルからの距離に比例す
る。その相関面のその点の値にはその重み係数が乗算さ
れる。例えば、その重み付け関数の傾きはその中心の定
常的な動きベクトルからプラス又はマイナス32画素離れ
た位置にある点に係数3が乗算されるように定められ
る。言い替えると、第27図に示す如くその中心の定常的
な動きベクトルを黒い丸で表した場合、その重み付け関
数はその中心の定常的な動きベクトルを中心として上下
が反転した円錐のような形状になる。
その相関面の重み付けが終わった後に、その相関面に
は再び閾値テスト及びリングテストを施す。これら両テ
ストをクリアする1個の最小値が決定されると、これは
良好な動きベクトルであるとみなされ、それが良好な動
きベクトルであると共に重み付けが適用されたことを示
す情報(フラッグ)が付加される。このフラッグはその
動きベクトルと共に動きベクトルが減少手段(5)(第
1図)に供給される。一方、重み付けを適用した後でさ
え良好な動きベクトルも最も有益な動きベクトルも決定
できない場合には、このサーチブロックに関して動きベ
クトル減少手段(5)(第1図)に供給される如何なる
動きベクトルも悪い動きベクトルであることを示す情報
(フラッグ)がセットされる。これを行うのは、悪い動
きベクトルは動きベクトル減少の処理においては使用し
てはならず以下で述べるように他の動きベクトルで代用
されなければならないことによる。
従って要約すると、動きベクトル評価手段(4)(第
1図)の動作は直接ブロック整合手段(3)(第1図)
により生成された相関面から最も相関が良好な点、即ち
最小値の点を導出することである。この最小値にはそれ
から閾値テスト及びリングテストが施され、その最小値
の点がそのサーチブロックの動きを代表するとみなされ
るためにはその最小値はそれら両方のテストをクリアし
なければならない。ところで、閾値テスト及びリングテ
ストで使用される閾値は絶対的な値又は規格化された相
対的な値の何れでもよいことに注意すべきである。その
最小値がどちらかのテストをクリアすることができなけ
れば、そのサーチブロックは成長させられて新たな最小
値が決定され、閾値テスト及びリングテストが再び適用
される。そのサーチブロックを成長させる最も有効な方
向はその相関面の形状から決定される。
第1図に戻り、動きベクトル減少のプロセスについて
説明する。HDVS方式を使用すると、各サーチブロックの
大きさは32画素×23ラインであると仮定され、この場合
は最大で2451個の動きベクトルが存在しえることが示さ
れる。サーチブロックの大きさは適度な分解能を維持す
ることとハードウェアをあまり大きくしないこととのバ
ランスに鑑みて選択される。これら動きベクトルを全て
動きベクトル選別手段(6)に供給するならば、要求さ
れる処理が多量であるため動きベクトル選別の動作は実
用的ではない。この問題を克服するため動きベクトル評
価手段(4)と動きベクトル選別手段(6)との間に動
きベクトル減少手段(5)を配してある。動きベクトル
減少手段(5)は動きベクトル評価手段(4)により生
成された動きベクトルを受取り、そのフレーム用に導出
された全ての動きベクトルではなくそのフレームの夫々
のサーチブロック(境界領域のサーチブロックを含む)
について4個の動きベクトルを動きベクトル選別手段
(6)に供給する。この効果は2つある。先ず、正しい
動きベクトルが動きベクトル選別手段(6)に供給され
る4個の動きベクトルのグループの中に含まれている限
り、それによりその正しい動きベクトルを選別するのが
ずっと容易になる。しかしながら、次にこのことは、も
しその正しい動きベクトルがその4個の内の1個として
供給されない場合には、動きベクトル選別手段(6)は
正しい動きベクトルを選別することができないことをも
意味する。従って、動きベクトル減少手段(5)は動き
ベクトル選別手段(6)に供給する動きベクトルの中に
その正しい動きベクトルを含むことを保障するように努
める必要がある。また、動きベクトル減少手段(5)に
より動きベクトル選別手段(6)に対して4個の動きベ
クトルが供給されても、これらの内で3個だけが実際に
動きを表し、第4の動きベクトルは常に定常的な動きベ
クトルであることに注意すべきである。その正常的な動
きベクトルにより、動きベクトル選別手段(6)が定常
的な画素に対して強制的に動きを表す動きベクトルを割
り当てることを防止することが保障される。その動きベ
クトル選別手段(6)には異なる数の動きベクトルを伝
達することもでき、例えば、別の実施例では動きを表す
4個の動きベクトルとその定常的な動きベクトルとを伝
達するようにしてもよい。
これ以後は「サンプルブロック」という言葉は、ビデ
オ信号の1フレーム中の1つのブロックであって、動き
ベクトル減少手段(5)によって各画素に同じ4個の動
きベクトルが与えられているブロックを意味する。従っ
て、1個のサンプルブロックはサーチブロックが成長す
る前にはその1個のサーチブロックと同じである。第28
図に示す如く、ビデオ信号の1フレーム中ではサンプル
ブロック及びサーチブロックの初期位置は同じである。
動きベクトル減少手段(5)(第1図)は動きベクト
ル評価手段(4)(第1図)より動きベクトル及びフラ
ッグを受取り、そのフラッグを調べることによりその動
きベクトルの品質を決定する。その動きベクトルが曖昧
な面から導出されたものではなくそれに高い信頼性があ
る場合には、それは良好な動きベクトルと呼ばれるが、
仮にある程度の曖昧さが存在するとその動きベクトルは
悪い動きベクトルと呼ばれる。動きベクトル減少のプロ
セスにおいて、悪い動きベクトルであると分類された動
きベクトルは全て無視される。というのは、動きベクト
ル選別手段(6)において悪い動きベクトルが選別され
ないためには、その動きベクトル選別手段(6)に不正
確な動きベクトルを伝達しないようにすることが重要で
あるからである。そのような悪い選別により一般に最終
的に得られる画像において極めて目障りなノイズ状のド
ットが生ずる。
動きベクトル減少手段(5)(第1図)に供給される
動きベクトルの夫々は或る特別なサーチブロックひいて
は或る特別なサンプルブロック(第28図)より得られた
ものであり、その動きベクトルと共にこれらブロックの
位置も記録される。悪い動きベクトルであると分類され
た如何なる動きベクトルも無視されるため、全てのサン
プルブロックがその位置にあるサーチブロックから導出
された動きベクトルを持つとは限らない。良好な動きベ
クトルであるとして分類され、或る特別なサーチブロッ
クひいては或る特別なサンプルブロックに関係する動き
ベクトルは局所的な(ローカル)動きベクトルと呼ばれ
る。というのは、それらはそのサンプルブロックが得ら
れた領域で導出されたからである。これに加えて、他の
動きベクトルの減少プロセスでは個々の良好な動きベク
トルが生ずる頻度を計数し、それら良好な動きベクトル
を導出するために使用されたサーチブロックの実際の位
置を考慮することがない。これら動きベクトルは頻度が
小さくなる順序で分類され、この場合の動きベクトルを
共通な動きベクトルと称する。最悪の場合には、3個の
共通な動きベクトルだけが利用でき、これらが定常的な
動きベクトルと共に動きベクトル選別手段(6)(第1
図)に伝達される4個の動きベクトルを構成する。しか
しながら、3個を超える数の共通な動きベクトルが存在
することもよくあるので、その数を減少させて1組の減
少した数の共通な動きベクトルを構成しなければならな
い。これら1組の減少した数の共通な動きベクトルをグ
ローバルな(global)動きベクトルと称する。
共通な動きベクトルの数を減少させる最も単純な方法
は、3個の最も出現頻度の高い動きベクトルを使用して
他の動きベクトルを無視することである。しかしなが
ら、これら3個の最も出現頻度の高い共通な動きベクト
ルは、初期状態では垂直方向及び/又は水平方向に互い
に夫々プラス又はマイナス1画素以内の動きである3個
の動きベクトルであることが多い。言い替えると、これ
ら共通な動きベクトルは全て同じ動きをわずかな違いで
追跡していたものであり、無視されていた他の共通な動
きベクトルは実際に異なる動きを追跡していたものであ
る。
或る場面の中の全ての又は大部分の動きを表す共通な
動きベクトルを選択するためには、同じ動きを表す複数
のグローバルな動きベクトルを選択するのを避ける必要
がある。従って、実際に採用された方法は、先ず3個の
最も頻繁に出現する共通な動きベクトルを取り、それら
3個の内の最も頻度が小さい動きベクトルが他の2個の
共通な動きベクトルの何れかに対して垂直方向及び/又
は水平方向に夫々プラズマ又はマイナス1画素の動き以
内であるかどうかを調べる。それが正しいならば、その
動きベクトルは排除されて、この排除された動きベクト
ルの次に最も頻度の高い共通な動きベクトルが選ばれて
その動きベクトルの代わりにチェックを受ける。このプ
ロセスは全ての最も出現頻度の高い共通な動きベクトル
について継続され、最後に互いに同程度ではない3個の
共通な動きベクトルが残るか、又は3個若しくはそれよ
り少ない数の共通な動きベクトルが残るまでそのプロセ
スは継続される。しかしながら、そのプロセスが収束せ
ず互いに同程度ではない3個を超える数の共通な動きベ
クトルが残った場合には、それらの中で最も頻度の小さ
い動きベクトルが他の動きベクトルに対して垂直方向及
び/又は水平方向に夫々プラズマ又はマイナス2画素の
動き以内であるかどうかを調べるプロセスが反復され、
必要に応じてその距離を増加させながらそのプロセスが
反復される。これら3個の共通な動きベクトルが要求さ
れているグローバルな動きベクトルであり、これらはま
だ出現頻度の順に並べられていることが重要である。
動きベクトル減少のプロセス及び1フレームのビデオ
画像中のサンプルブロックを考慮する場合、3個の異な
るタイプのサンプルブロックに注目する必要がある。こ
れらのタイプは1フレームのビデオ画像中のその実際の
位置によって定まり、第29図において異なる領域として
表されている。領域Aは全体が他のサンプルブロックに
囲まれると共に画像の境界に近くないサンプルブロック
より構成される。領域Bは部分的に他のサンプルブロッ
クに囲まれると共に画像の境界に近くないサンプルブロ
ックを含む。最後に領域Cは、その画像の境界に近いサ
ンプルブロックを含む。これらの各領域に適用される動
きベクトル減少のアルゴリズムは夫々異なる。これらの
アルゴリズムにつき説明するに、先ずその1フレームの
ビデオ画像中のサンプルブロックの中には良好な動きベ
クトルを有するものが存在し、更にその場面の主要な動
きの大部分を表すべき3個のグローバルな動きベクトル
が存在することが前提となっている。各サンプルブロッ
クについて3個の動きベクトルと共に定常的な動きベク
トルを伝達するために、これら動きベクトルの選別が行
われる。
第30図は領域Aにおける動きベクトル減少の手順を示
す。この領域にはチェックすべき動きベクトルが最も多
く存在すため、この領域が扱うのに最も複雑な領域であ
る。第30図において、斜線を施された中央のサンプルブ
ロックが他のサンプルブロックa〜hに囲まれている。
先ず局所的に導出された動きベクトルが良好な動きベク
トルとして分類されるかどうかが調べられる。それが良
好であり且つ定常的な動きベクトルと同一でないときに
は、その動きベクトルは伝達される。しかしながら、こ
れらの条件の内の一方でも充足されないときには、その
動きベクトルは無視される。それから、そのサンプルブ
ロックdに対応する動きベクトルが良好な動きベクトル
として分類されるかどうかが調べられる。それが良好で
あり、更にその動きベクトルが既に選別されたどの動き
ベクトルとも同じではなく且つその定常的な動きベクト
ルとも同じでないときには、その動きベクトルは伝達さ
れる。これらの条件の内の一方でも充足されないときに
は、その動きベクトルも無視される。このプロセスはそ
れから同様にサンプルブロックe,b,g,a,h,c及びfの順
序で継続される。定常的な動きベクトルを含まない3個
の動きベクトルが得られると、そのアルゴリズムは終了
する。というのは、それらがそのサンプルブロックにつ
いての動きベクトルの選別で要求される全てであるから
である。しかしながら、上述の必ずしも全てのチェック
において3個の良好な動きベクトルが得られなければな
らないというものではない。3個の良好な動きベクトル
が得られない場合には、残りの空間にはグローバルな動
きベクトルが割当てられ、より出現頻度の高いグローバ
ルな動きベクトルが優先的に割当てられる。
第31図は領域Bにおける動きベクトルの減少手順を示
す。領域Bのサンプルブロックは他のサンプルブロック
により全体には囲まれていない点を除いて、領域Aのサ
ンプルブロックと同じである。従って、これらのサンプ
ルブロックに適用されるプロセスは領域A用のプロセス
と、全ての周辺のサンプルブロックの中ではチェックを
行うことができない点を除いて全く同じである。従っ
て、第31図に示す如く、サンプルブロックa〜eに対し
て動きベクトルをチェックすることができるだけであ
り、動きベクトル用に残されている空間には何れも前と
同様にグローバルな動きベクトルが割当てられる。同様
に、第31図の斜線を施したサンプルブロックを左へ2単
位移動させると、それらグローバルな動きベクトルを割
当てる前にチェックすべき隣接する周辺のブロックの数
は3個だけになる。
第32図は領域Cにおける動きベクトルの減少手順を示
す。そのサンプルブロックには局所的に導出された動き
ベクトルもなく、動きベクトルが利用できる多くの周辺
のサンプルブロックもないので、この場合が最も厳しい
場合である。この問題を処理する最も単純な方法は、単
にその領域Cのサンプルブロックにグローバルな動きベ
クトルと共に定常的な動きベクトルを割当てることであ
る。しかしながら、この場合には、領域Bの隣接するサ
ンプルブロックと比較した場合に、その領域Cのサンプ
ルブロックに割当てられた動きベクトルの値が突然変化
することにより、最終的に得られる画像にブロック処理
による影響が生じることが分かっている。従って、より
好適な方法は、領域Cのサンプルブロックに対しては領
域Bのサンプルブロックに対して用いられるものと同じ
動きベクトルを使用して、動きベクトルの突然の変化を
防ぐことである。より好ましくは、領域Cの各サンプル
ブロックにはそのサンプルブロックに物理的に最も近い
領域Bのサンプルブロックの動きベクトルと同じものを
割当てるのがよい。従ってこの場合には第32図例では、
領域Cの個々の斜線を施したサンプルブロックには領域
Bのサンプルブロックaと同じ動きベクトルが割当てら
れ、これにより良好な結果が得られることが確認され
た。
本発明が特に関係する(但し、関係するのはこれだけ
ではない)その領域B上のサンプルブロックへの動きベ
クトルの割り当てについて第33図〜第35図を参照して詳
細に説明する。しかしながらその説明の前提として次の
2点を繰り返し述べておく。第1に、領域Cに存在する
サンプルブロックにはブロック整合を行うためのそれら
のサンプルブロックを囲むサンプルエリアが存在しない
ため、そのようなサンプルブロックには局所的に導出さ
れた動きベクトルは存在しない。第2に、そのフレーム
の全ての他のサンプルブロックに動きベクトルが割り当
てられた後に初めて、その領域Cのサンプルブロックへ
の動きベクトルの割り当てが実行される。
第33図は領域Bで必要とされる割り当てを実行するた
めの回路構成の一例を示す。この回路は、カウンタ(2
1)〜(24)を含む計数システム(20)、バッファ(2
5),(26),(28),(29),(32)及び(33)、マ
イクロプロセッサ(27)、ランダムアクセスメモリ(RA
M)(30)並びにマイクロプロセッサ(27)用のプログ
ラムを保持するリードオンリーメモリ(ROM)(31)を
図示の如く接続して構成され、次のように動作する。
計数システム(20)は1フレームの始めにリセットさ
れ、それからそのフレーム用の動きベクトルがバッファ
(32)を介してロードされる。その動きベクトルがロー
ドされている間はその動きベクトルが最終的にバッファ
(33)を介して読出される間と同じく、そのマイクロプ
ロセッサ(27)は動作しない。
その動きベクトルが供給されている間、カウンタ(2
1)はその入力動きベクトルの数を計数し、更にバッフ
ァ(25)を介してサンプルブロックのアドレスをRAM(3
0)に供給することによりそのRAM(30)への動きベクト
ルの入力を制御する。一方、カウンタ(23)はそのフレ
ームの水平方向のサンプルブロックの数を計数し、カウ
ンタ(24)はそのフレームの垂直方向のサンプルブロッ
クの数を計数する。そのフレームの処理の終了時にその
カウンタ(24)の指令によりカウンタ(22)は、バッフ
ァ(26)を介してRAM(30)にサンプルブロックのアド
レスを供給することによりそのRAM(30)からの動きベ
クトルの出力を制御する。
RAM(30)には3つの領域がある。第1の領域は元の
動きベクトル、即ち領域Cにはないサンプルブロックに
関連する動きベクトルを記憶するために確保される。こ
の領域はマイクロプロセッサ(27)によって読取られる
だけであり、そのマイクロプロセッサ(27)によって書
込まれることはない。第2の領域は出力用の動きベクト
ルを記憶するために確保され、これにより読出しが容易
になる。第3の領域はデータ処理に使用される。
初期状態では、そのRAM(30)に入力された動きベク
トルが書込まれている間、そのマイクロプロセッサ(2
7)及びその動きベクトルの出力部は動作しない。以下
で述べるアルゴリズムに基いた処理が実行されている間
はその動きベクトルの入力及び出力部は動作しない。そ
の後、バッファ(33)を介して動きベクトルの出力部に
よりRAM(30)から動きベクトルが読出されている間、
その動きベクトルの入力部及びマイクロプロセッサ(2
7)は動作しない。
第34図を参照して説明するに、この第34図は1フレー
ムのビデオ画像及び特に境界領域Cに直接に接するが実
際にはその境界領域Cの中には存在しない領域である領
域Bに対応するサンプルブロックを示す。
最初にサンプルブロックaを考える。仮にそのサンプ
ルブロックaのために生成された局所的な動きベクトル
が良好で且つ非零であるときには、そのベクトルはその
サンプルブロックaのための4個の動きベクトルの1つ
として保持される。次に、サンプルブロックdのために
生成された局所的な動きベクトルがサンプルブロックa
のために既に保持されているベクトルと比較される。そ
のベクトルがそのサンプルブロックaの局所的な動きベ
クトルと同じであるか、又は0であるときには、そのベ
クトルは排除される。しかし、そのベクトルが良好であ
ると共に非零であり、且つそのサンプルブロックaの局
所的な動きベクトルと同じではないときには、そのベク
トルもそのサンプルブロックa用に保持される。それか
ら、サンプルブロックbについての局所的な動きベクト
ルがそのサンプルブロックaのために既に保持されてい
るベクトルと比較される。そのベクトルが既に保持され
ている動きベクトルと同じであるか、又は0であるとき
には、そのベクトルは排除される。しかし、そのベクト
ルが良好であると共に非零であり、且つ既に保持されて
いる動きベクトルと同じでないときには、そのベクトル
もそのサンプルブロックa用に保持される。それから、
サンプルブロックcのための局所的な動きベクトルが同
様に検査されるが、この場合、その動きベクトルは(も
し保持されているならば)サンプルブロックa,d及びb
のための局所的な動きベクトルに対して検査される。
その境界領域Cに隣接する残りのサンプルブロックに
ついても同様に動きベクトルの減少又は割り当てが行わ
れる。しかしながら、保持されるべき動きベクトルの選
別に使用されるサンプルブロックはその境界領域Cに対
して相対的なその元のサンプルブロックの位置に依存す
る。次のリストは本例のアルゴリズムが処理しなければ
ならない種々の異なった位置を例示すると共に、その各
場合について、考慮しなければならないサンプルブロッ
ク及びこの考慮の順序を示す。
処理対象の位置:考慮するサンプルブロック サンプルブロックa:サンプルブロックd,b,c サンプルブロックe:サンプルブロックf,h,g サンプルブロックq:サンプルブロックr,f,s,t,g サンプルブロックu:サンプルブロックv,h,w,g,x サンプルブロックi:サンプルブロックl,h,k サンプルブロックl:サンプルブロックy,i,k,z,j サンプルブロックm:サンプルブロックp,n,o 3個の動きベクトルが保持されるか又は検査すべきサ
ンプルブロックが残っていないときに、動きベクトルの
減少又は割り当てが停止する。サンプルブロックに対し
て3個の動きベクトルが保持されていないときには、残
りの空間はグローバルな動きベクトルを出現頻度の高い
順に使用することによって充填される。このようにし
て、各サンプルブロックには3個の異なる非零の動きベ
ル及び0即ち常に供給される定常な動きベクトルが割り
当てられる。
このアルゴリズムに従う第33図例の動作を第35図のフ
ローチャートの形で示す。
再び第1図を参照して、動きベクトル選別手段(6)
の目的はそこへ供給された4個の動きベクトルの内の1
個をそのサンプルブロック内の個々の画素に夫々割当て
ることである。これにより、それら動きベクトルは物体
の輪郭に正確に割当てることができる。この割当てを実
行するには特に、微細な構造を囲む背景画像によりその
正しい動きベクトルにより生成される実際の構造が置き
換えられる可能性を無くすようにする必要がある。これ
を達成するために、その動きベクトルの選別プロセスは
2個の主な段階に分割される。第1段階では入力フレー
ムの各画素について動きベクトルが生成される。言い替
えると、出力フレームの各画素に対する動きベクトルの
値を直接決定することはない。第2段階では出力フレー
ム中の各画素に対する動きベクトルの値を決定するため
に、その第1段階で生成された動きベクトルの値が使用
される。
第36図において、入力フレーム(2)の各画素は供給
される4個の動きベクトルの夫々を使用することによ
り、前フレーム(1)及び次のフレーム(3)のビデオ
データ中で最も良く輝度の値が合致する画素を求めるた
めに調べられる。画素の輝度の差分は次のように決定さ
れる。
この場合、 P1nmは、フレーム(2)で検査対象となっている画素
の位置から検査対象となっている動きベクトルの座標を
差し引いて得られる位置に存在する画素を囲む4×4個
の画素よりなるブロックの中のフレーム(1)の画素の
輝度値であり、 P2nmは、検査対象となっている画素を囲む4×4個の
画素よりなるブロックの中のフレーム(2)の画素の輝
度値であり、 P3nmは、フレーム(2)で検査対象となっている画素
の位置に検査対象となっている動きベクトルの座標を加
算して得られる位置に存在する画素を囲む4×4個の画
素よりなるブロックの中のフレーム(3)の画素の輝度
値である。
その画素の差分が最小になる条件により輝度が最も良
く合致する所が求められ、従って、検査対象となってい
る画素に適用すべき正しい動きベクトルが求められる。
正しい動きベクトルが適用できない場合又は以下で詳細
に述べるように露出されたエリア若しくは被覆されたエ
リアが存在する場合には、その輝度の良好な合致は起こ
らない。
良好な合致が起こらない場合とは、使用されている複
数の画素内の平均的な画素の輝度の差分が或る所定の閾
値を超えているときに生じる。正しい動きベクトルが検
査されているときでさえ、空間周波数の高い微細な構造
では良好な合致が生じないことがあるので、その閾値が
重要である。閾値が如何なる値のときに良好な合致が起
こらないことが示されるかを決定するためには、動きベ
クトルが要求されている画素を囲むブロック内の画像の
周波数成分にその閾値を関連づける必要がある。これを
達成するため、検査対象の画素についての水平方向又は
垂直方向の画素の輝度の差分の最大値の半分に等しい閾
値を自己閾値とする。このようにして得られた閾値が比
較対象となっている全体のブロックデータの代表的な値
であることを保障するために、使用される4個の中央部
の夫々4×4個の画素よりなるブロックを対象として平
均値が求められる。
4×4のブロックを示す第38図を参照して、必要とさ
れる閾値Tは次式で与えられる。
T=(T1+T2+T3+T4)/8 この式において例えばT3は、第39図に示すように4個
の画素の輝度の差分値の中の最大値に等しい値として決
定され、これら4個の差分値とは2個の垂直方向の差分
値の絶対値|B2−B3|,|B4−B3|及び2個の水平方向の差
分値の絶対値|A3−B3|,|C3−B3|である。
このようにして入力フレーム(2)に対して1フレー
ム分の動きベクトルが得られ、同様にして第37図に示す
如く入力フレーム(3)に対して1フレーム分の動きベ
クトルが得られる。
場面の変化は別として、動きベクトル選別の上述の第
1段階において発生する不適合(ミスマッチ)の原因は
露出面及び被覆面の現象である。或る物体、例えば自動
車がトンネルに入るときには、その自動車は被覆され
て、一方それが出て来るときにはその自動車は露出され
る。その自動車のフレーム(1)及び(2)で露出され
た部分がフレーム(3)及び(4)で被覆されたときに
は、その基本的なベクトル選別プロセスではその正しい
ベクトルを決定することができない。更に、そのトンネ
ルの中に入る自動車が被覆される一方で、その自動車の
後ろの道路及び物体は露出される。同様にそのトンネル
を離れる自動車は露出されるが、その自動車の後ろの道
路及び物体は被覆される。従って、一般に被覆される物
体と露出される物体とが同時に存在する。或る場面の終
わりもまた被覆される物体と同様に動きの不連続性を有
する。斯かる状況下でさえも動きベクトルを決定する試
みにおいては、その輝度値のブロック毎の合致の程度を
調べる方法は、第36図及び第37図の3フレーム間の合致
の程度を調べる方法から2フレーム間の合致の程度を調
べる方法に変えられる。即ち、動きベクトルが要求され
ているフレーム(例えばフレーム(2))は供給される
4個の動きベクトルを使用することにより、前フレーム
及び次フレームに対して(フレーム(2)の場合には夫
々フレーム(1)及び(3)に対して)個別にブロック
毎の合致の程度が調べられる。最も良好な合致を生ずる
動きベクトルが検査対称となる画素に適用される動きベ
クトルとして選別される。しかしながら、この場合には
2フレーム間の合致の程度だけを調べる方法が使用され
たことを示す情報(フラッグ)がセットされる。
特に積分型のテレビカメラを用いた場合には、良好な
合致が起こらないという状況が生じる。物体が微細構造
を有する背景の上を動くときには、積分型のカメラによ
るとその物体の先端及び後端のエッジがその背景の微細
構造と混合されて独特の部分を有する画像が生成され
る。そのような状況では、2フレーム間の合致を調べる
方法でさえも平均的な画素間の差分がその閾値を超える
ことがある。こような場合には、動きベクトルの値は0
に設定され、エラーフラッグもセットされる。
動きベクトル選別の第2段階では第1段階で導出され
た2フレーム分の動きベクトルを利用する。最初の(入
力フレーム(2)の)1フレーム分の動きベクトルは基
準フレームであるとみなされ、これに続く(入力フレー
ム(3)の)1フレーム分も使用される。出力フレーム
の位置はこれら2個のフレームの動きベクトルの間の何
れかに依存する。第40図を参照して説明するに、個々の
出力画素の位置に対して入力フレーム(2)のサンプル
ブロックに関連する4個の可能な動きベクトルが検査さ
れる。検査対象である動きベクトルの角度でその出力画
素の位置を通って引かれた線は入力フレーム(2)及び
入力フレーム(3)の両方の上に存在する位置を指し示
す。動きベクトルの値が奇数(例えば1,3及び5)であ
る場合には、出力フレームが入力フレーム(1)と
(2)との間の正確に中央にあるとすると、入力フレー
ムの2個の画素の間の(画素の中心ではない)或る点が
指し示されるであろう。この不正確さを考慮し更に感度
を画素単位まで低下させるために、各フレームに対して
最も近い画素の位置を中心として1組の3×3ブロック
の動きベクトルが得られる。実際には、2組の3×3ブ
ロックの動きベクトルの夫々と検査対象である動きベク
トルを含むブロックとの間でブロック間の合致の程度を
調べる動作が実行される。使用される動きベクトルの差
分は次式により与えられる2個の動きベクトルの値の空
間的な差分を表す。
この場合、x1及びy1はそれらブロックの1つにおける
その動きベクトルの直交座標であり、x2及びy2は検査対
象となる動きベクトルの直交座標である。
3個の入力フレーム、即ち入力フレーム(2)(第36
図)に対しては入力フレーム(1),(2)及び(3)
を使用して計算された動きベクトルだけを使用すること
により、上述のように先ず最も良好に合致する動きベク
トルが生成される。それら3個の入力フレームは入力フ
レーム(3)(第37図)に対しては入力フレーム
(2),(3)及び(4)となり、その結果はそれに応
じて段階的に変化する。その9個のブロックには少なく
とも4個の使用可能な動きベクトルがあるのが好まし
い。フレーム(2)及びフレーム(3)の両方の動きベ
クトルのブロックが使用できるときには、その動きベク
トルの差分値はフレーム(2)による動きベクトルの差
分値の半分及びフレーム(3)による動きベクトルの差
分値の半分を加算して構成される。上述の方法を使用し
て動きベクトルの最小の差分値を生成する動きベクトル
であれば、検査対象となる出力画素に適用できる動きベ
クトルであると考えることができる。3個のフレーム間
の入力動きベクトルの整合(第36図及び第37図)により
生成された動きベクトルの差分値が1より大きいときに
は、被覆面又は露出面が検出されたことになる。そし
て、同じプロセスが繰り返されるが今度はエラーフラッ
グが無視される。即ち、2個の入力フレームを用いて計
算された動きベクトルが使用される。理論的にはこれは
露出面又は被覆面だけに必要であるが、実際にはより一
般的な領域の画像に適用しても画質が改善される。
上述の両方の検査が実行された後に、良好に合致する
と判定された最小の動きベクトルの値が2を超えている
場合には、その動きベクトルの値は0に設定され、動き
ベクトル後処理手段(7)(第1図)の使用に供するた
めエラーフラッグがセットされる。
動きベクトルの選別に伴い、如何なる実際の画像の状
況においてもほぼ確実に或る画素に関連して疑似的な動
きベクトルが残存する。第41図〜第46図は疑似的な動き
ベクトルであると見なされる場合を示し、これらの各図
において、三角形は同じ動きベクトルが割当てられた画
素を示し、一方、量は周囲の画素に割り当てられた動き
ベクトルと異なる動きベクトルが割り当てられた画素を
示し、円は検査対象の動きベクトルを示す。
第41図は1個の特異点を示し、この場合1個の画素だ
けが全ての周囲の画素の動きベクトルとは異なる動きベ
クトルを有する。
第42図は水平方向の動きベクトルのインパルスを示
し、この場合3個の水平方向に並んだ画素だけが周囲の
画素の動きベクトルとは異なる同一の動きベクトルを有
する。
第43図は垂直方向の動きベクトルのインパルスを示
し、この場合3個の垂直方向に並んだ画素だけが周囲の
画素の動きベクトルとは異なる同一の動きベクトルを有
する。
第44図は対角方向の動きベクトルのインパルスを示
し、この場合3個の対角方向に並んだ画素だけが全ての
周囲の画素の動きベクトルとは異なる同一の動きベクト
ルを有する。
第45図は水平方向及び垂直方向の動きベクトルのイン
パルスを示し、この場合縦十字型に配列された5個の画
素だけが全ての周囲の画素の動きベクトルとは異なる同
一の動きベクトルを有する。
第46図は2対角方向の動きベクトルのインパルスを示
し、この場合対角方向の十字型に配列された5個の画素
だけが全ての周囲の画素の動きベクトルとは異なる同一
の動きベクトルを有する。
上述の6個の範疇に分類される画素の動きベクトルは
実際には現実の画像について生じることはなく、更にそ
れらは不正確な動きベクトルの選別により直接生じた結
果でもある。そのような動きベクトルが補間プロセスの
途中で使用されると、最終的に得られる出力画像にはド
ット妨害が生じることがある。従って、そのような動き
ベクトルを特定して排除するのが望ましい。これは上述
の動きベクトルの全てのグループ分けを行うと共に、各
グループに応じてフラッグを割当てるアルゴリズムを使
用することにより実行される。
そのアルゴリズムは2回繰り返すプロセスを使用し、
1回毎の処理は同一である。2回繰り返すことの必要性
につき説明する。画素の配列を示す第47図を参照して説
明するに、三角形が付された全ての画素は夫々同一の動
きベクトルを有する。中央の9個の画素よりなるブロッ
クは、夫々ベクトル1〜ベクトル9として各画素に割り
当てられた動きベクトルを有し、これら動きベクトルは
同一でも同一でなくともよい。ベクトル5が検査対象の
動きベクトル(被検ベクトル)である。
第1回目の処理では、ベクトル5がチェックされ、最
初にそのベクトルが正確に又は所定の許容値内でベクト
ル1,ベクトル3,ベクトル7又はベクトル9と同じである
かどうかが決定され、その次にそのベクトルが正確に又
は所定の許容値内でベクトル2,ベクトル4,ベクトル6又
はベクトル8と同じであるかどうかが決定される。
このチェックは、そのベクトル5が少なくとも水平方
向又は垂直方向に隣接するベクトルの1つと同じであ
り、且つ少なくとも対角方向に隣接するベクトルの1つ
と同じであるかどうかを調べるものである。これが否定
的ならば、その画素5が不良であることを示すフラグが
セットされる。言い替えると、水平方向(又は垂直方
向)及び対角方向の隣接画素に夫々少なくとも1個の、
即ち少なくとも合計2個の同程度の動きベクトルが存在
しない場合には、その画素に不良であることを示すフラ
グがセットされる。
この第1回目の処理によれば、特異点,水平方向の動
きベクトルのインパルス,垂直方向の動きベクトルのイ
ンパルス,対角方向の動きベクトルのインパルス及び対
角方向の動きベクトルのインパルス(第41図〜第44図及
び第46図)に対応する動きベクトルには全て不良である
ことを示すフラッグが付加されるが、水平方向及び垂直
方向の動きベクトルのインパルス(第45図)に対応する
動きベクトルの内で中央のベクトルを除く4隅のベクト
ルは良いベクトルであると判断され、このベクトルには
2回目の処理が必要になる。例えば、第45図例におい
て、その縦十字形の4隅の動きベクトルは夫々水平方向
(又は垂直方向)及び対角方向に1個づつ同一の動きベ
クトルを有するため、良いベクトルであると判定され
る。
2回目の処理は第1回目の処理と正確に同じ条件を調
べるものであるが、今回は既に不良であるとしてフラッ
グを付加された動きベクトルはその計算から除外され
る。従って、第45図例において、第1回目の処理後には
中央の動きベクトルだけに不良のフラッグが立てられる
が、第2回目の処理後には縦十字形に配列された5個の
動きベクトルの全てに不良のフラッグが立てられる。
不良の動きベクトルを特定した後には、それらを修正
することが必要になり、この修正もまた動きベクトル後
処理手段(7)(第1図)により実行される。補間又は
高頻度の動きベクトルによる置換などの種々の方法を使
用することができるが、実際には単純な置換により良好
な結果が生じることが分かった。これは次のように実行
される。(但し、この場合は符号「=」は正確に等しい
だけではなく、予め定められた許容値内に収まっている
ことをも意味する。)即ち、ベクトル5が不良であると
判定されたときには、そのベクトルは(ベクトル4=ベ
クトル6)が成立するならばベクトル4により置き換え
られ、それが成立せず(ベクトル2=ベクトル8)が成
立するならばベクトル2により置き換えられ、それが成
立せず(ベクトル1=ベクトル9)が成立するならばベ
クトル1により置き換えられ、それが成立せず(ベクト
ル3=ベクトル7)が成立するならばベクトル7により
置き換えられ、それも成立しない場合には置換は行われ
ない。
再び第1図において、各画素について最終的に選択さ
れた動きベクトルが動きベクトル後処理手段(7)より
補間手段(8)に供給されると共に、60フレーム/秒で
順次走査変換されたフレームが順次走査変換手段(2)
から補間手段(8)に供給される。その補間手段(8)
は第48図に示す如く、2個の順次走査変換されたフレー
ムを使用するだけの比較的単純な構造である。出力フレ
ームの連続する入力フレームであるフレーム(1)及び
フレーム(2)に対して相対的な時間軸上の位置、及び
その出力フレーム上の画素に対する動きベクトルを使用
することにより、周知の方法でその補間手段(8)は第
1フレームのどの部分と第2フレームのどの部分とを結
合するべきかを決定し、更に正確な出力フレームの画素
の値を生成するための重み付けの値を決定する。言い替
えると、補間手段(8)は動きベクトルを用いて動きの
方向に沿って適応的に補間を行い、24フレーム/秒に対
応する動き補償のなされた順次走査フレームを生成す
る。その動きベクトルは各画素の輝度の値だけを使用し
て導出されていたが、その同じ動きベクトルは要求され
る出力フレームの画素の色成分の値を導出するために使
用される。その要求される出力を生成するためには、各
フレームにたいして8×8個の画素よりなるアレイが使
用される。従って、その補間手段(8)は2次元の垂直
方向/水平方向の補間手段であり、その補間手段(8)
で使用される係数はレメツ(Remez)の交換アルゴリズ
ムを使用して導出することができる。このアルゴリズム
は“Theory and application of signal processing",L
awrence R Rabiner,Bernard Gold.Prentice−Hall In
c.,pp 136−140,227.にて詳細に説明されている。
第48図は3個の異なる場合についてその補間手段
(8)(第1図)により実行される補間を模式的に示
す。左側の第1の場合は露出面も被覆面もない場合、中
央の第2の場合は1個の被覆面がある場合、右側の第3
の場合は1個の露出面がある場合である。被覆された面
の場合にはその補間でフレーム(1)だけが使用され、
露出された面の場合にはその補間でフレーム(2)だけ
が使用される。その補間手段(8)においては動き補償
を行わない補間を行うこともでき、この場合には時間的
に最も近い順次走査変換されたフレームが補間フレーム
として使用される。
尚、本発明は上述実施例に限定されず本発明の要旨を
逸脱しない範囲で種々の構成を採り得ることは勿論であ
る。
[発明の効果] 本発明によれば、境界領域の近傍のブロックの動きベ
クトルとその境界領域には存在しない他のブロックの動
きベクトルとの間に大きな変化(不連続性)が生じるこ
とが防止され、得られる画像にブロック処理の影響が表
われることが防止される利益がある。
【図面の簡単な説明】
第1図は本発明の一実施例のビデオ標準方式の変換装置
を示すブロック図、第2図は順次走査変換の説明図、第
3図〜第6図は夫々順次走査変換時の連続するフィール
ド及び連続するラインを示す説明図、第7図は動き適応
順次走査変換における各ステップを示すブロック図、第
8図は連続するフィールド間の差分等を示す線図、第9
図及び第10図は夫々順次走査正規化関数及び順次走査の
非線形関数を示す線図、第11図は順次走査変換における
未完成のラインの画素を示す線図、第12図及び第13図は
夫々サーチブロックとサーチエリア及びそれらの相互の
関係を示す線図、第14図は相関面を示す線図、第15図及
び第16図は夫々サーチブロックの成長を示す線図、第17
図はサーチブロックの整合ができない1フレームの領域
を示す線図、第18図は3個のサーチブロックにまたがる
動体を示す線図、第19図〜第21図は夫々生成される相関
面を示す線図、第22図及び第23図は夫々閾値テストの説
明に供する相関面の他の例を示す線図、第24図及び第25
図は夫々リングテストの説明に供する相関面の更に他の
例を示す線図、第26図はサーチブロックが成長する方向
の決定方法の説明図、第27図は相関面の重み付けの方法
の説明図、第28図はサンプルブロック及びサーチブロッ
クと1フレームのビデオ画像との関係を示す線図、第29
図は1フレームのビデオ画像の動きベクトルの領域を示
す線図、第30図〜第32図は夫々1フレームのビデオ画像
の個々の領域における動きベクトルの説明に供する線
図、第33図は実施例の要部のより詳細な構成図、第34図
は1フレームの境界領域の近傍のサーチブロックへの動
きベクトルの割り当ての説明に供する線図、第35図は第
33図例の動作を示すフローチャート図、第36図及び第37
図は動きベクトル選別の第1段階の説明図、第38図及び
第39図は夫々閾値の決定方法の説明に供する線図、第40
図は動きベクトル選別の第2段階の説明図、第41図〜第
47図は夫々動きベクトルの後処理時における動きベクト
ルが属する画像の配列を示す線図、第48図は補間動作の
説明に供する線図である。 (2)は順次走査変換手段、(3)は直接ブロック整合
手段、(4)は動きベクトル評価手段、(5)は動きベ
クトル評価手段、(6)は動きベクトル選別手段、
(7)は動きベクトルの後処理手段、(8)は補間手段
である。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】第1のビデオ信号を異なるテレビジョン方
    式である第2のビデオ信号に変換する動き補正付きテレ
    ビジョン信号の方式変換器であって、 上記第1のビデオ信号の各フレームの2フィールドを1
    つの順次走査フレームに変換する順次走査変換手段と、 上記順次走査変換手段によって順次走査に変換された画
    像フレームをブロックに分割し、連続する2つのフレー
    ムの対応するブロック毎に画素の相関値を導出するブロ
    ック整合手段と、 上記ブロック毎に多数の動きベクトルを生成し、上記ブ
    ロック整合手段によって導出した相関値を上記各動きベ
    クトルに付加する動きベクトル評価手段と、 上記ブロック毎に、上記相関値に基いて上記多数の動き
    ベクトルを減少させるとともに、上記第1のビデオ信号
    を画面で表したとき上記画面の境界部分に相当するブロ
    ックの動きベクトルを上記境界部分の近傍のブロックの
    動きベクトルで置き換える動きベクトル減少手段と、 上記ブロックの画素の輝度に基いて、上記動きベクトル
    減少手段出力の動きベクトルの中の1個を上記ブロック
    の各画素に動きベクトルを割り当て、且つ周囲の画素の
    動きベクトルと許容範囲外の動きベクトルに不良フラグ
    を付加する動きベクトル選別手段と、 上記動きベクトル選別手段で選別した各画素毎の動きベ
    クトルに上記不良フラグが付加された場合に、近傍の画
    素の動きベクトルに置き換える後処理を施す動きベクト
    ル後処理手段と、 上記動きベクトル後処理手段から出力された動きベクト
    ルに基いて、上記ビデオフレームの各々の画素を補間す
    る補間手段とを有すること を特徴とする動き補正付きテレビジョン信号の方式変換
    器。
JP11081190A 1989-04-27 1990-04-26 動き補正付きテレビジョン信号の方式変換器 Expired - Fee Related JP3298104B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB8909651A GB2231749B (en) 1989-04-27 1989-04-27 Motion dependent video signal processing
GB8909651.5 1989-04-27

Publications (2)

Publication Number Publication Date
JPH0362690A JPH0362690A (ja) 1991-03-18
JP3298104B2 true JP3298104B2 (ja) 2002-07-02

Family

ID=10655823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11081190A Expired - Fee Related JP3298104B2 (ja) 1989-04-27 1990-04-26 動き補正付きテレビジョン信号の方式変換器

Country Status (5)

Country Link
US (1) US5005077A (ja)
EP (1) EP0395271B1 (ja)
JP (1) JP3298104B2 (ja)
DE (1) DE69031055T2 (ja)
GB (1) GB2231749B (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6393711A (ja) * 1986-10-09 1988-04-25 Kao Corp 入浴剤
US5166788A (en) * 1990-06-29 1992-11-24 Samsung Electronics Co., Ltd. Motion signal processor
DE69114791T2 (de) * 1990-09-03 1996-06-27 Philips Electronics Nv Verfahren und Anordnung zum Verarbeiten eines Bildsignals.
DE4104067C2 (de) * 1991-02-11 1994-08-25 Telefonbau & Normalzeit Gmbh Verfahren zur Verbesserung der Qualität von Bewegungsvektoren für digitale Bildübertragung
US5337088A (en) * 1991-04-18 1994-08-09 Matsushita Electric Industrial Co. Ltd. Method of correcting an image signal decoded in block units
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
USRE39279E1 (en) * 1991-11-08 2006-09-12 Matsushita Electric Industrial Co., Ltd. Method for determining motion compensation
USRE39276E1 (en) * 1991-11-08 2006-09-12 Matsushita Electric Industrial Co., Ltd. Method for determining motion compensation
US5369449A (en) * 1991-11-08 1994-11-29 Matsushita Electric Industrial Co., Ltd. Method for predicting move compensation
GB2263601B (en) * 1992-01-24 1995-05-24 Sony Broadcast & Communication Motion compensated video signal processing
JPH05236465A (ja) * 1992-02-24 1993-09-10 Sony Corp ビデオ信号の伝送方法
GB2265065B (en) * 1992-03-02 1995-08-16 Sony Broadcast & Communication Motion compensated image processing
GB2292039B (en) * 1992-03-24 1996-04-10 Sony Uk Ltd Motion analysis of moving images
GB2266023B (en) * 1992-03-31 1995-09-06 Sony Broadcast & Communication Motion dependent video signal processing
GB2268658B (en) * 1992-07-06 1995-12-13 Sony Broadcast & Communication Video signal processing
GB2277004B (en) * 1993-04-08 1998-01-07 Sony Uk Ltd Motion compensated video signal processing
GB2308774B (en) * 1993-04-08 1997-10-08 Sony Uk Ltd Motion compensated video signal processing
US5436666A (en) * 1993-05-21 1995-07-25 Intel Corporation Limited-domain motion estimation/compensation for video encoding/decoding
GB2278972B (en) * 1993-06-09 1997-06-04 Sony Uk Ltd Motion vector generation
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
GB2283385B (en) * 1993-10-26 1998-04-01 Sony Uk Ltd Motion compensated video signal processing
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
GB2283633B (en) * 1993-11-05 1997-10-29 Sony Uk Ltd Anti-alias filter control for a split picture
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
EP0697788A3 (en) 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
US5687097A (en) * 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
US5910909A (en) * 1995-08-28 1999-06-08 C-Cube Microsystems, Inc. Non-linear digital filters for interlaced video signals and method thereof
KR100223205B1 (ko) * 1996-08-05 1999-10-15 윤종용 디지탈 비디오 디스크의 영상신호 재생장치 및 그 제어방법
EP1075147A1 (en) * 1999-08-02 2001-02-07 Koninklijke Philips Electronics N.V. Motion estimation
FR2809917B1 (fr) * 2000-05-30 2002-08-30 Cit Alcatel Codage d'image par segments avec prediction du mouvement
US20030189980A1 (en) * 2001-07-02 2003-10-09 Moonlight Cordless Ltd. Method and apparatus for motion estimation between video frames
DE10236207A1 (de) * 2002-08-07 2004-02-26 Micronas Gmbh Verfahren zur bewegungsvektorgestützten Interpolation eines Bildpunktes eines Zwischenbildes einer Bildfolge
EP1422928A3 (en) 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US7620254B2 (en) * 2003-08-07 2009-11-17 Trident Microsystems (Far East) Ltd. Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
KR20060103430A (ko) 2003-10-28 2006-09-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법
FR2882160B1 (fr) * 2005-02-17 2007-06-15 St Microelectronics Sa Procede de capture d'images comprenant une mesure de mouvements locaux
JP5254997B2 (ja) * 2007-01-26 2013-08-07 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 発見フレーム領域についての動き推定
JP5187266B2 (ja) * 2009-04-21 2013-04-24 株式会社Jvcケンウッド 動きベクトル検出装置及び方法
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
US9213901B2 (en) * 2013-09-04 2015-12-15 Xerox Corporation Robust and computationally efficient video-based object tracking in regularized motion environments
GB2522663B (en) * 2014-01-31 2020-02-12 Apical Ltd A method of selecting a region of interest

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3679553D1 (de) * 1985-12-24 1991-07-04 British Broadcasting Corp Bandbreitenreduktion fuer fernsehsignale.
WO1987005770A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Video signal processing for bandwidth reduction
US4890160A (en) * 1986-03-19 1989-12-26 British Broadcasting Corporation TV picture motion vector measurement by correlation of pictures
EP0294956B1 (en) * 1987-06-09 1994-07-20 Sony Corporation Motion vector reduction in television images
DE3853554T2 (de) * 1987-06-09 1995-08-24 Sony Corp Bewegungsvektorabschätzung in Fernsehbildern.
GB8722612D0 (en) * 1987-09-25 1987-11-04 British Telecomm Motion estimator

Also Published As

Publication number Publication date
EP0395271B1 (en) 1997-07-16
DE69031055D1 (de) 1997-08-21
DE69031055T2 (de) 1998-01-15
GB8909651D0 (en) 1989-06-14
GB2231749A (en) 1990-11-21
EP0395271A2 (en) 1990-10-31
JPH0362690A (ja) 1991-03-18
US5005077A (en) 1991-04-02
GB2231749B (en) 1993-09-29
EP0395271A3 (en) 1992-01-08

Similar Documents

Publication Publication Date Title
JP3298104B2 (ja) 動き補正付きテレビジョン信号の方式変換器
JP3154255B2 (ja) 動きベクトル導出方法
JP3047429B2 (ja) 動き補償映像信号フォーマット変換装置
JP3287864B2 (ja) 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置
US5036393A (en) Motion dependent video signal processing
US5012337A (en) Motion dependent video signal processing
US5027205A (en) Motion dependent video signal processing
JPH02290387A (ja) 動き補正付きテレビジョン信号方式変換器
US4998168A (en) Motion dependent video signal processing
US5025495A (en) Motion dependent video signal processing
US4992870A (en) Motion dependent video signal processing
US5012336A (en) Motion dependent video signal processing
JPH02290382A (ja) ビデオ信号をフィルム画像に変換する方法
US5021881A (en) Motion dependent video signal processing
US5016102A (en) Motion dependent video signal processing
JPH02290386A (ja) 動き補正付きテレビジョン信号方式変換器

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees