JPH0362692A - 動き補償映像信号フォーマット変換装置 - Google Patents

動き補償映像信号フォーマット変換装置

Info

Publication number
JPH0362692A
JPH0362692A JP2110813A JP11081390A JPH0362692A JP H0362692 A JPH0362692 A JP H0362692A JP 2110813 A JP2110813 A JP 2110813A JP 11081390 A JP11081390 A JP 11081390A JP H0362692 A JPH0362692 A JP H0362692A
Authority
JP
Japan
Prior art keywords
motion vector
motion
frame
block
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2110813A
Other languages
English (en)
Other versions
JP3047429B2 (ja
Inventor
Samatsudo Rafuaeru
ラファエル・サマッド
Uiriamu Richiyaado Jiyon
ジョン・ウィリアム・リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPH0362692A publication Critical patent/JPH0362692A/ja
Application granted granted Critical
Publication of JP3047429B2 publication Critical patent/JP3047429B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野コ 本発明は、動き適応型のビデオ信号処理に関し、より詳
しくは、そのような信号処理を使用する動き補償映像信
号標準変換器に関する。
[発明の概要コ 本発明は、動き補償映像信号標準変換器であって、映像
信号の第1のフィールド又はフレームのブロックを次の
フィールド又はフレームの複数のブロックと比較し、こ
の第1のフィールド又はフレーム中のブロックに対する
各相関面を生じることにより、この第1のフィールド又
はフレームとこの次のフィールド又はフレームとの間の
この各ブロックの内容の動きを示す動きベクトルを得る
手段を有し、この相関面は比較せるこの第1のフィール
ド又はフレームのこのブロックの内容とこの次のフィー
ルド又はフレームの各ブロックの内容との違いを示し、
更に、明瞭な最小値を得る為のこの相関面を試験する手
段とこのブロックの大きさを増し、これによって新しい
この相関面を生ずる手段と、より明瞭な最小値を得るた
めのこの新相関面の各々を試験する手段と、この動きベ
クトルをこの得られた最も明瞭な最小値に応じて得る手
段と、この動きベクトルとに応じて制御される補間器と
から成ることにより、最も有益な動きベクトルが得られ
ると共に相関面が映像信号の各フィールドはフレーム中
のブロックを比較することにより得られ、またブロック
の大きさが増加することにより、より明瞭な最小値をも
った相関面が得られる。
[従来の技術] テレビジョン信号方式(ビデオ信号の標準方式)の変換
器は、例えばビデオ信号を50フィールド/秒且つ62
5ライン/フレームの標準方式から60フィールド/秒
且つ525ライン/フレームの標準方式に変換する如く
、ビデオ信号を−の標準方式から他の標準方式へ変換す
る装置として周知である。
ビデオ信号に付随する時間方向及び垂直方向の折り返し
歪により、単純な線形補間技術を使用するだけでは高画
質のビデオ信号の標準方式の変換は達成されない。この
ため、単純な線形補間を行ったのでは処理結果としての
画像に不要な人工的なノイズが混入し、特にその画像は
垂直方向にボケると共に時間方向に振動する。
これらの問題を解決するため、ビデオ信号の標準方式の
変換装置に人力ビデオ信号により表される画像の動きの
程度に応じて線形補間回路のパラメータを切り換える適
応制御技術を用いることが提案されている。
また、例えばビデオ信号処理におけるデータ圧縮のため
、ブロック整合技術により人力されるビデオ信号から動
きベクトルを受戒することも提案されている。このブロ
ック整合技術においては、成るフィールド又はフレーム
のサーチブロックの内容がそれに続くフィールド又はフ
レームのサーチエリア内の複数のサーチブロックの夫々
の内容と比較され、そのように比較される内容の間の最
小偏差ひいては〈仮に存在するならば〉その原サーチブ
ロックの内容の動きの方向及び距離が決定される。
[発明が解決しようとする課題] しかしながら、ブロック整合技術を各種映像の情報に適
用した場合に種々問題が起きる。
本発明は斯かる点に鑑み、動きベクトルを得るための手
段を改良した動き補償映像信号標準変換器を提供するこ
とを目的とする。
また本発明の更なる目的は、相関面が映像信号の各フィ
ールド又はフレーム中のブロックを比較することにより
得られ、また、ブロックの大きさが増加することにより
より明瞭な最小値をもった相関面が得られる動き補償映
像信号標準変換器を提供することである。
[課題を解決するための手段] 本発明動き補償映像信号標準変換器は映像信号の第1の
フィールド又はフレームのブロックヲ次のフィールド又
はフレームの複数のブロックと比較し、この第■のフィ
ールド又はフレーム中のブロックに対する各相関面を生
じることによりこの第1のフィールド又はフレームとこ
の次のフィールド又はフレームとの間のこの各ブロック
の内容の動きを示す動きベクトルを得る手段を有し、こ
の相関面は比較せるこの第1のフィールド又はフレーム
のこのブロックの内容とこの次のフィールド又はフレー
ムの各ブロックの内容との違いを示し、更に明瞭な最小
値を得る為のこの相関面を試験する手段と、このブロッ
クの大きさを増し、それによって新しいこの相関面を生
じる手段と、より明瞭な最小値を得るためのこの新相関
面の各々を試験する手段と、この動きベクトルをこの得
られた最も明瞭な最小値に応じて得る手段と、この動き
ベクトルとに応じて制御される補間器とから戒るもので
ある。
[作用] 斯かる本発明によれば、最も有益な動きベクトルが得ら
れると共に映像信号の各フィールド又はフレーム中のブ
ロックを比較することにより相関面が得られ、またブロ
ックの大きさが増加することにより、より明瞭な最小値
をもった相関面が得られる。
[実施例] 以下、本発明の一実施例につき図面を参照して説明しよ
う。本例は、60フィールド/秒且つ1125ライン/
フレームの高品位ビデオ信号()fDVs)を24フレ
一ム/秒の35mmフィルム用のビデオ信号に変換する
ビデオ信号の標準方式の変換装置に本発明を適用したも
のである。しかしながら、本発明はこれに限定されず容
易に他の標準方式間の変換装置にも適用することができ
る。
第1図は本例の標準方式の変換装置のブロック図であり
、この第1図において、入力端子(1)に人力ビデオ信
号を供給する。その入力端子(1)を順次走査変換手段
(2)に接続し、この手段で入力ビデオフィールドをビ
デオフレームに変換し、このビデオフレームを相関面を
生成するための直接ブロック整合手段(3)に供給する
。動きベクトル評価手段(4)がこれらの相関面を解析
して生成した動きベクトルを動きベクトル減少手段(5
)に供給し、この動きベクトル減少手段〈5〉  が個
々の画素の動きベクトルの数を減少させた後に、これら
動きベクトル及び順次走査変換手段(2)の出力を動き
ベクトル選別手段(6)に供給する。その動きベクトル
選別手段(6)による動きベクトルの選別において発見
された如何なる不規則性も動きベクトル後処理手段(7
〉  により除去され、この動きベクトル後処理手段(
7)は処理後の動きベクトルを補間手段(8)に供給す
ると共にこの補間手段(8)を制御し、この補間手段(
8)には順次走査変換手段(2)の出力をも供給する。
標準方式が変換され且つ動き補償のなされたビデオ信号
である補間手段(8)の出力を出力端子(9)に供給す
る。本例の標準方式の変換装置の各構成部及びそれらの
動作につき以下で詳細に説明する。
順次走査変換手段(2)は入力フィールドと同じ周波数
で出力フレームを生成する。従って、一連の連続したフ
ィールドにおける一連の連続したライン(水平走査ライ
ン)を図示する第2図において、人力フィールドに存在
するライン(水平走査ライン)を十字形で示し補間され
たラインを正方形で示すように、個々の出力フレームは
人力フィールドのラインの2倍の数のラインを含み、そ
れらのラインは人力ビデオ信号のラインと下記の方法の
内の何れかの方法により補間されたラインとが互い違い
になっている。それら補間されたラインは人力フィール
ドに対して同じ時間軸上の且つ逆極性の補間フィールド
と考えることができる。
順次走査変換を実行するのは主に2つの理由による。第
1に、それに続く直接ブロック整合処理を容易にするた
めであり、第2に最終的に出力されるビデオ信号のフォ
ーマットを考慮したものである。これら2つの理由をよ
り詳細に説明する。
直接ブロック整合処理は次に詳細に述べるように、2つ
の連続するビデオフィールド間の水平方向及び垂直方向
の動きの正確な評価を行うために用いられる。しかしな
がら、直接ブロック整合が施されるビデオ信号のインタ
ーレース構造により、問題が生じ得る。
第3図により表される画像につき考えるに、この第3図
は一連の連続するフィールドにおける一連の連続するラ
インにおいて、白レベルの画素を白い正方形で、黒レベ
ルの画素を黒い正方形で、更にグレイレベルの画素を斜
線が施された正方形で表す。この場合は垂直方向の周波
数が1(DVS方式%式% イクル/像高ンに相当する垂直方向の構造が微細な静止
画が表示されている。この画像を通常のインターレース
走査処理でサンプルすると、個々のフィールドは第4図
に示す如く何れも垂直方向の周波数が1125/6 c
phの静止している輝度成分Yを含んでいる如く見える
。しかしながら、個々のフィールドの周波数成分の位相
は逆相である。これらのフィールド間で直接ブロック整
合を実施すると、垂直方向の動き成分として多数の不正
確な且つ異なった値が得られる。この状態が第5図に示
され、この第5図において短縮語のLPFはライン/フ
ィールド(lines per field)を意味す
る。
第4図例の動き成分の値は実際にはOであるべきである
が、第5図によれば、直接ブロック整合はその垂直方向
の動き成分について正確な答えを与えないことが明かで
ある。このことは、その直接ブロック整合は実際には現
実の動きではなくそのビデオ信号の異なる成分を追跡し
ていることに起因する。
第3図と同様な静止画を表示する第6図について考える
に、この場合各人カフイールドは順次走査に変換されて
フレームを形成し、三角形が補間された画素を表す。こ
の例では各フレームは原人カフイールドと同じ静止状態
の垂直方向の周波数成分、即ち周波数1125/3 c
phの成分を含む。従って、本例では2個の連続するフ
レーム間の直接ブロック整合により垂直方向の動きに対
する正確な値即ちOが得られ、垂直方向の異なる位置の
値を比較することが回避される。更に、順次走査に変換
されたフレームに直接ブロック整合処理を施すと、その
直接ブロック整合処理が2倍のラインを有するフレーム
に施されることになるため、より正確に垂直方向の動き
の評価ができるようになることが重要である。
この実施例において最終的に得られるビデオ信号のフォ
ーマットを考慮すると、この変換されたビデオ信号はテ
ープを介して電子ビーム式の記録装置に供給されるので
、24フレ一ム/秒の動画フィルム用の周波数のフレー
ムから構成する必要がある。このため、順次走査に変換
されたフレームの生成が必要であり、更に、例えば動き
の状態が多様すぎて満足に解析できない場合のように動
き補償のなされた標準方式の変換が受は入れられない結
果を生じる虞がある場合にも、その順次走査に変換され
たフレームは極めて有効に使用される。
この場合には、必要とされる出力フレームとしてほとん
ど順次走査に変換されたフレームを使用すると充分に受
は入れられる結果が得られる。
順次走査への変換は多くの方法で実行でき、その方法に
は例えば前フィールドによる置換、3本の空間的に連続
するライン(これら3本のラインは時間的には2個の連
続するフィールドに属する)のメジアンを求めるメジア
ンフィルター又は多段階の動き検出に続いて多方向の線
形補間を行う動き補償のなされた技術がある。しかし、
この実施例には第7図に各ステップが示されている動き
適応型の順次走査変換が好適である。この変換では、完
全な静止画領域では垂直方向の情報をできるだけ保つた
めにフィールド間補間を使用し、動きが大きいときには
フィールド内補間を使用する。これにより更に動きが滑
らかに表現される。動きの程度がこれら両極端の間であ
るときには、その画像の中に存在する局所的な動きの評
価がなされ、この評価結果によりフィールド間補間とフ
ィールド内補間とが夫々異なる割合で混合される。
更に詳しく述べるに、第8図に示す如く、前フィールド
と次フィールドとのフレーム差の係数が先ず生成される
。必要とされる評価量を生成するためには、前フィール
ド及び次フィールドからの次式により定義されるフレー
ム間の差分係数配列が各点毎に生成される。
ΔU (画素、現ライン、現フィールド)=Y(画素、
現ライン、次フィールド) Y(画素、現ライン、前フィールド〉 この式において、Δ。は正規化されていない差分係数配
列、Yは3次元画像に対応する輝度配列である。
その差分係数はその後低輝度領域の変化の大きさを調整
するために次のように正規化される。
Δ、 (画素、現ライン、現フィールド)=F  (Y
 (画素、現ライン))* ΔU (画素、現ライン、現フィールド)この式におい
て、△9は正規化された差分係数配列、Yはフレーム間
の平均輝度レベルであり、了(画素、現ライン) (Y (画素、現ライン、前フィールド)+Y(画素、
現ライン、次フィールド))/2が成立し、F(Y)(
正規化関数)は了に対して第9図に示すような関数とな
る。
その差分配列Δにはその次のフィールドの差分配列と共
に3タツプフイルタ(タップ係数が例えば1/4.1/
2.1/4又ハ0.1.0> ニよす垂直方向のフィル
タリングが施され、垂直方向の折り返し歪が減少される
と共に、特に時間方向の折り返し歪が最小になされる。
従って、 ΔF (画素、現ライン、現フィールド)=Δ、 (画
素、現ラインー1.前フィールド〉*C1+ΔN (画
素、現ライン、現フィールド)*C2+ΔN (画素、
現ライン+1.前フィールド)*C1 が成立し、この式において、Δ、はフィルタ通過後の正
規化された差分配列、cl及びC2はフィルタ係数であ
り、直流ゲインが1に維持されるように2 C1+C2
= 1に設定される。
その後5タップX15タップ程度までの垂直方向及び水
平方向のフィールド内フィルタにより現フイールド内の
差分値が平滑化される。実際には、3クツプ×3タツプ
のフィルタで充分である。最後に、実際の動きの評価を
行うために、次式で定義される動き評価11 (ME)
を表す関数を使用して非線形関数が適用される。
ME (画素、現ライン)= γ(空間周波数領域でフィルタがかけられたΔF (画
素、現ライン)) その非線形関数γは第10図に示す如く導出され、静止
画に対してはMEの値は0、完全な動画に対してはME
の値は11中間領域の画像に対してはMEの値は過渡的
な値となる。
補間された画素を生成するために、第11図に示す如く
、周辺のラインの加重平均をとることによりその欠けて
いる(未完成)のラインの画素が生成される。それから
動き評価量MEがフレーム内で補間された値(2,4,
6又は好ましくは8タツプフイルタにより生成される)
に適用され、評価量(1−ME)がフィールド間の平均
値(又はより複雑な補間値)に適用され、これらの結果
が加算されて次式で定義される順次走査の画素の評価量
が導出される。
Yout (画素、現ライン)= ME  (画素、現ライン)* ルド) +Yin (画素、現ライン+1+2n、現フ
ィールド))*Cn) + (1−ME)(画素、現ラ
イン)* (Yin (画素、現ライン、前フィールド
)十Yin (画素、現ライン、次フィールド))/2
ここに、CO,C1,C2及びC3はフレーム内のフィ
ルタ係数であり、直流ゲインを1に維持するため!、:
2  (CO+C1+C2+C3)= 1 に設定サレ
ル。
この順次走査変換の方法によれば入力フィールドより高
品質のフレームが生成されるが、これは主に動体が分離
されて静止している背景とは異なる方法で補間されるこ
とによる。
第1図に戻り、順次走査変換手段(2)により導出され
たビデオ信号のフレームを動きベクトルを導出するため
に使用する。動きベクトルの評価は2つのステップより
構成される。第1に、連続するフレームから選ばれたサ
ーチブロックの相関を取ることにより相関面が生成され
る。これら相関面が得られた後に、これらは相関が最も
良好な1個又は複数の位置を決定するために検査される
相関面を得る方法には数種類の方法があるが、その内の
主な2個の方法は位相相関法及び直接ブロック整合法で
ある。しかしながら、位相相関法の使用には多くの問題
があり、これらの問題は手短かに言うと変換メカニズム
1 ウィンドウ関数、ブロックの大きさ及び生成される
相関面の輪郭の変動し易い性質に関連する。そのため、
この実施例では直接ブロック整合法を使用する。
本発明が特に関係する(但し関係するのはこれだけでは
ない)直接ブロック整合手段(3〉  は次のように動
作する。この場合、順次走査に変換されたビデオ信号の
連続するフレームの画素の矩形の配列よりなる2個のブ
ロックの相関をとることにより、相関面が生成され、こ
の相関面より動きベクトルが導出される。
第12図に示す如く、先ず1フレームより32画素×2
3ラインの大きさのサーチブロックと称する小さなブロ
ックを取り出す。それから、その次のフレームより12
828画素×69ラインきさのサーチエリアと称するよ
り大きなブロックを取り出す。
そのサーチブロック(S B)を第13図に示す如くサ
ーチエリア(SA)中の可能な位置(全部で96×46
の位置がある)の夫々に配し、夫々の位置でそれら2個
のブロック間の画素の輝度レベルの差分の絶対値の和を
計算する。この計算結果がこの結果が導出された位置に
おける相関面の高さとして使用される。この計算結果を
サーチエリア内のサーチブロックの可能な位置の夫々に
ついて導出された結果と共に使用することにより、第1
4図に一例を示すような相関面が得られる。理解を容易
にするためその相関面は反転して示してあり、実際に必
要と、されるのは最小値であるため、第14図において
必要とされる点は最も大きなピークである。
サーチブロックの大きさは動き補償が必要とされる物体
の最小の大きさを調べることにより選択される。625
ライン/フレーム且つ50フイ一ルド/秒のPAL方式
の信号に対しては、16画素×8ラインのサーチブロッ
クが小さな物体の追跡に適していることが分かっており
、この場合にはその物体の中には存在しないがそのサー
チブロックの中には存在する如何なる周囲の情報もその
物体の追跡を妨害することがない。このため、本例では
その方法が採用されたが、tlDVs方式では6251
50のPAL方式に比べて有効画素数/ライン、有効ラ
イン数/フレーム及びアスペクト比が異なることに鑑み
て修正が加えられている。HDVS方式の場合を最初に
して両者の値を示すと、有効画素数/ラインは1920
 (720) 、有効ライン数/フレームは1035(
575)及びアスペクト比は3:5.33(3:4)と
なる。
本発明は特にこのサーチブロックの大きさの問題に関す
るものである。
このようにより大きな物体を追跡するために、より大き
なサーチブロックを使用する方法もある。
一方、大きな物体又は背景の効果により小さな物体が覆
い隠されてしまうことを防ぐため、より小さなサーチブ
ロックを使用する方法も考えられる。
しかしながら、小さなサーチブロックを使用した場合に
は、個々のサーチブロックについて1個を超える動きベ
クトルを導出する必要がないという利点がある。1個の
動きベクトルを導出するのはそれを超える数の動きベク
トルを導出するよりも極めて容易であるため、本例では
上述の小さなサーチブ0.7りを先ず使用し、満足な結
果が得られなかった場合にそのサーチブロックをより大
きなサーチブロックに成長させる。これにより小さなサ
ーチブロック及び大きなサーチブロックの両方の利点を
享受できる。満足な結果か否かの判定条件は次に詳細に
説明する動きベクトル評価手段(4)(第1図)により
設定され、この動きベクトル評価手段(4)が与えられ
た相関面より動きベクトルを決定する。
サーチブロックを次第に大きくする技術はより大きな物
体を追跡するためにのみ有効であるのではない。それに
よれば周期的な規則的パターンの形状を有する物体の動
きの追跡にも役立つ。従って、第15図に示す如く、サ
ーチブロックAがサーチエリアBに対して位置v1. 
v2及びV3で整合し、夫々の位置で一見正確な動き量
が得られる場合を考慮する。しかしながら、この場合実
際に相関面を解析するプロセスである動きベクトルの評
価により、同一直線上に存在する3箇所の位置で相関が
良好になることが分かる。従って、そのサーチブロック
は水平方向に元の幅の3倍の長さになるまで成長させら
れ、この方向はこの例で多重の良好な相関が発生した方
向である。サーチエリアもそれに対応して水平方向に拡
大される。第16図に示す如く、その拡大したサーチブ
ロック(3A)を使用すれば、相関が良好な点は1点の
みとなり、それによりその物体の動きが正確に検出され
る。
この特別な場合には、多重相関の方向が水平方向である
ため、サーチブロック及びサーチエリアの両方を水平方
向に成長させる必要がある。しかしながら相関面の状態
によっては、サーチブロック及びサーチエリアを垂直方
向に成長させなければならない場合もあり、実際に水平
方向及び垂直方向の両方に成長させなければならない場
合もある。
境界領域にはサーチエリアを切り出す充分な余地がない
ため、ブロック整合は必ずしもそのフレーム中の全ての
サーチブロックに適用できるとは限らない。従って、ブ
ロック整合はそのフレームの第17図に斜線で示す境界
領域では実行することができない。この問題点は以下に
説明する動きベクトル減少手段(5)(第1図)により
処理され、この動きベクトル減少手段(5)はその斜線
を施した領域のサーチブロックに適当な動きベクトルを
供給する。
1フレーム中の個々のサーチブロックに対して生成され
る相関面(第14図〉より、動きベクトル評価手段(4
〉(第1図)はそのサーチブロックとそれに対応するサ
ーチエリアとの間のフレーム間の動きらしき量を推定す
る。再度述べるに、理解を容易にするため相関面の全て
の図は反転して示され、最小値がピークとして示されて
いる。
動きベクトル評価手段(4〉(第1図)は動きベクトル
の評価アルゴリズムを使用して各相関面上の最小値の点
(相関が最大の点)を検出する。この点がサーチブロッ
クとサーチエリアとの間の相関が最大となる点を示し、
ひいてはこの点により略それらブロック間の動きと認め
られる量が示される。その相関面上の原点(本例ではそ
の面の中央に存在する)に対するこの最小値の変位が、
画素/フレームを単位とするその動きの直接的な測定値
になる。その相関面が唯一の孤立した最小値を有すると
いう最も単純な場合には、その相関面上の最小値の点を
検出するだけでサーチブロックとサーチエリアとの間の
動き量を正確に決定することができる。前に述べた如く
、小さなサーチブロックを使用すれば動き検出及び動き
評価の精度を改善することができるが、小さな1個のサ
ーチブロックでは次に述べる多くの場合に動きを検出す
ることができない。
動きベクトルを(水平方向の画素単位の動き。
垂直方向の画素単位の動き)で表した場合、第18図は
動きベクトル(5,0)を有し成るフレーム(t)内で
サーチブロック(IA)、 (2A)及び(3A)にま
たがる物体を示す。サーチブロック(IA)及び(3A
)とその次のフレーム(t+1)の対応するサーチエリ
アmB)及び(3El))との相関をとると、第19図
に示す相関面には(5,0)の位置に最小値(図面上で
は反転〉が現れる。(但し、ビデオソースにノイズは含
まれていないと仮定している。〉しかしながら、サーチ
ブロック(2A)とそれに対応するサーチエリア(2B
)との相関をとると、第20図に示す相関面が生成され
、この相関面においてサーチブロック(2A)とサーチ
エリア(2B)とはy方向の全ての点で相関が高くなる
。従って、その相関面には唯一の最小値の点は存在せず
、そのサーチブロック(2A)とサーチエリア(2B)
との間の動きを決定することができない。
しかしながら、サーチブロック(2A)が成長じて元の
サーチブロック(LA>、 (2A)及び(3A)を覆
う場合を考えてみる。その成長後のサーチブロック(2
A)と元のサーチエリア(1B)、 (2B>及び(3
B)を覆うサーチエリアとの相関をとることにより、第
21図に示すような相関面が得られる。これにより位置
(5,0)  に元のサーチブロック(2A〉の正確な
動きを示す唯一の最小点が存在することが分かる。この
例により、正確に動きを検出するためにはソースビデオ
信号に何らかの特徴がなければならないことが分かる。
即ち、サーチブロック(1A)及び(3A)には垂直方
向及び水平方向にその物体のエツジが存在するという特
徴があるため、動きが検出できる。それに対して、サー
チブロック(2A)には垂直方向に特徴的な形態が存在
しても水平方向には特徴がないため、水平方向の動きを
検出することができない。しかしながら、そのサーチブ
ロックを水平方向及び垂直方向の両方向に特徴を有する
ようになるまで成長させることにより、そのサーチブロ
ックの完全な動きが決定できるようになる。更に、ソー
スビデオ信号中のノイズを考慮するとそのサーチブロッ
クを成長させることには別の利点がある。
第22図を参照して他の例について検討する。この例は
動きベクトルが(5,3)  であるサーチブロックに
対する相関面を示す。しかしながら、そのサーチブロッ
クとそのサーチエリアとの間の他の多くの相関が良好な
点により、真の動きが検出し難くなっている。そのよう
な相関面を生成するソースビデオ信号の例は例えば風で
揺れている低コントラストの木であろう。これからその
サーチブロック及びサーチエリアが成長するものと仮定
する。
その成長は先の例のように水平方向に生じてもよく、又
は垂直方向に生じてもよく、又は両方向に生じてもよい
。隣合うサーチブロックが同じ動きをする場合には、そ
の結果生じる相関面に対する平均的な効果により他の相
関が良好なピークの大きさに比べて位置(5,3)  
の最小ピークの大きさがずっと大きな割合で増加する。
この状態を第23図に示し、これにより正確な動きベク
トルをより容易に検出できることが分かる。サーチブロ
ックが成長する状態について第18図を参照して更に検
討する。本例ではサーチブロック(2A)の領域を成長
させてサーチブロック(IA)及び(3A)の領域を覆
い、それに対応する相関面を生成することが必要である
。実際に、対応する相関面はサーチブロック(IA)、
 (2A)及び(3A)に対応する3個の相関面の個々
の要素を加算することにより直接生成される。
実際には、各相関面を複数の点の値のマトリックスであ
ると考えると、その拡大されたサーチブロック(2A)
の相関面は元のサーチブロック(LA)。
(2A)及び(3A)の相関面のマトリックスの加算に
相当する。
そのサーチブロック(2A)の領域は上下のサーチブロ
ックの相関面を加算することにより垂直方向にも成長さ
せることができる。一方、そのサーチブロック(2A)
を水平方向及び垂直方向の両方向に成長させるには、4
個の対角線方向の相関面をも同様に加算しなければなら
ない。このことより成るサーチブロックを隣りのサーチ
ブロックを覆うように成長させる実際のプロセスは比較
的容易であることが分かるが、より困難なプロセスはい
っその成長を起こせるかを決定すること及び近傍のどの
サーチブロックまでその成長を行わせるかを決定するこ
とである。基本的には、その答えは良好な最小値即ち良
好な動きベクトルが検出されるまでそのサーチブロック
の領域を成長させなければならないということである。
従って、成る動きベクトルが良好なベクトルとして検出
されたときを特定することが必要となり、これは実際に
上述の例より推定することができる。
第18図〜第21図を参照して述べた例においては、そ
の物体の水平方向の唯一の特徴を捉えて唯一の最小値を
得るためにそのサーチブロックを水平方向に成長させる
必要があった。この状況は第20図の相関面上には同一
の最小値の列が存在すること及び第21図の相関面上に
は唯一の最小値のみが存在することによって理解するこ
とができる。このことより良好な最小値の判定条件が得
られ、それら良好な最小値の点とはその相関面上の最も
値が小さい点であり、その点の値とその次に最も値が小
さい点の値との差が成る与えられた値を超えるというこ
とである。この成る与えられた値は閾値として知られ、
この判定条件を充足するか否かの検査をここでは閾値テ
ストと言う。
その次に最も値が小さい点は、以下に述べるリングテス
トと称される別のテストにおいては生じることがない点
に注意すべきである。3個のリング(輪)を使用するリ
ングテストの場合には、最良の最小値の点の候補として
の3個の画素の中にはその次に最も値が小さい点は存在
しない。第18図〜第21図の例では、第20図の相関
面の良好な最小値は閾値テストでは特定することができ
ない。
従って、サーチエリア(2A)は成長させられ、成る適
当な閾値の下で第21図の相関面の良好な最小値が閾値
テストにより特定される。
その闇値テストは、第22図及び第23図を参照して上
述した例において領域を成長させる場合にも使用するこ
とができる。サーチブロックを成長させる前には、周囲
に同程度の値の点が存在するため正確な最小値を検出す
ることができない。従って、成る適当な閾値が与えられ
ても、その相関面は閾値テストをクリアすることができ
ないので、そのサーチブロックは成長することになる。
その結果として、他の見せかけの最小点の中から真の最
小値の点を検出することが可能になる。
閾値の使用は主観的なテストであると思われるかもしれ
ないが、検査対象の相関面の内部における値の変動範囲
の一部に収まるようにその閾値を正規化することにより
、その相関面の正確な閾値を選択することができる。こ
れにより例えばビデオソースのコントラストの影響を軽
減することができる。
上述のリングテストは主観的な傾向はずっと少なく、以
下その内容を詳細に説明する。そのリングテストの前提
は、良好な最小値(又は最大値〉の点にはその点を囲む
次第に大きさが減少する(又は増大する)複数の点が存
在するということである。この前提を図示する第24図
において、原点(0,0)  の最小値を囲むように夫
々平均の大きさが次第に減少する複数の点よりなる3個
のリングがある。これは第25図に示す相関面とは異な
っており、この第25図例では複数のリング、特に中心
から2番目のリングの平均の大きさが次第に減少しては
いない。
この場合、そのリングテストにより定義される良好な最
小値を得るための判断条件は、平均の傾きが単調である
ことである。従って、問題となっている最小値を囲む点
の予め定められた数のリングに対して、内側から外側に
向かう個々のリングの平均の大きさは前のリングの大き
さよりも大きくなければならない(図面上では小さくな
る)。
第18図〜第21図を参照して述べた例に再び戻り、第
20図及び第21図より第20図の相関面はそのリング
テストをクリアすることができない(最小値が特定でき
ない)が、第21図の相関面はそのリングテストをクリ
アできることが分かる。そのリングテストは絶対値では
なく平均値を比較するため、閾値テストに比べてずっと
主観的ではなく、実際にそのリングテストにおける唯一
の変数は考慮すべきリングの数である。
サーチブロックを成長させるメカニズムについて述べた
後は、相関面の形状の検査によって如何にそのサーチブ
ロックを成長させる最も効果的な方向を決定することが
できるかを検討することが必要である。
第20図に戻り、その相関面には垂直方向には唯一の特
徴部があるが水平方向には何等特徴部がない。これは、
水平方向に相関の良好な部分が多く存在するために、そ
の相関面にはその相関面を水平方向に横切るように一列
の最小点が存在することに反映されている。この事実よ
りそのサーチブロックは水平方向に成長させるべきこと
が推定できる。逆に垂直方向に相関の良好な一列の点が
存在する場合には、そのサーチブロックは垂直方向に成
長させる必要があることを示し、一方、相関の良好な点
が円周状に存在するときにはそのサーチブロックは水平
方向及び垂直方向の両方向に成長させる必要があること
を示す。
この判断条件を使用することにより、そのサーチブロッ
クを成長させる方向を決定するためにその相関面の形状
の定量的な測定値が必要となる。
この測定値は次のように決定される。先ず、閾値が決定
される。それからその闇値より小さいその相関面上の如
何なる点も考慮される。この閾値は閾値テストで使用さ
れたものと同様に、その相関面内の値の変動範囲に収ま
るように正規化される。
この閾値を使用してその相関面上の各点が順番に4段階
のシーケンスに従って検査される。各シーケンスにおい
て、その相関面の値がその閾値より小さくなる点が注目
される。第26図を参照してこれら4段階のシーケンス
につき説明するに、この第26図において、上端部、下
端部、左端部及び右端部に夫々存在する数値1,2.3
及び4はそれら4段階のシーケンスを示し、斜線を施し
た領域がその閾値よりも値が小さな点を示す。各シーケ
ンスの動作は以下のとおりである。
シーケンス1 その相関面の上端部から下方に向かって値がその閾値よ
りも小さくなる点Aを捜す。
シーケンス2 その相関面の下端部から上方に向かって値がその閾値よ
りも小さくなる点Cを捜す。
シーケンス3 その相関面の左端部から右方向に向かって値がその闇値
よりも小さくなる点りを捜す。
シーケンス4 その相関面の右端部から左方向に向かって値がその閾値
よりも小さくなる点Bを捜す。
その結果生じる4点A、B、C及びDは第26図に示す
2箇所の長さX及びYの計算に使用され、これらの長さ
X及びYがその閾値よりも値が小さい点を含む斜線を施
した領域の大きさを示す。従って、それらの長さX及び
Yより、その形状がy方向よりX方向に長いか、その逆
か又は略円形かが推定できる。例えばlO%程度の小さ
な差はその形状を推定する上で許容され、その形状をX
方向に長いと判断するためにはその長さXは少なくとも
その長さYよりも■0%以上長くなければならない。y
方向についても同様である。それらの長さX及びYの差
が互いに10%以内に収まっているならば、その形状は
円形であると判定されてそのサーチブロックは両方向に
成長させられる。第26図例では長さXが長さYよりも
長いので、そのサーチブロックはX方向即ち水平方向に
成長させられる。
そのサーチブロックの成長は1個又はそれを超える成長
限界に達するまで続く。これら限界とは次のようなもの
である。即ち、その相関面の最小値が閾値テスト及びリ
ングテストの両方をクリアすること、そのビデオフレー
ムのエツジに達すること又はそのサーチブロックが既に
水平方向及び垂直方向に予め定められた回数だけ成長し
たことである。この最後の限界はハードウェアに依存す
る。即ち、最後の限界は許容時間内に実行できる処理の
量によって定まる。本発明の一実施例においては、その
限界は水平方向には2回、垂直方向には1回に設定され
ている。
その相関面の最小点が閾値テスト及びリングテストの両
方をクリアする場合には、良好な動きベクトルが決定さ
れたものとみなされ、この動きベクトルは動きベクトル
減少手段(5)(第1図〉に供給される。しかしながら
、フレームのエツジに到達するか又はサーチブロックが
水平方向及び垂直方向に予め定められた回数だけ成長し
た場合には、その特別なサーチブロックについては良好
な動きベクトルが決定されなかったものとみなされて、
1個の良好な動きベクトルを決定する代わりに重み付け
により最も有益な動きベクトルが決定される。
第27図〜第30図を参照してサーチブロックを増す方
法の二つの例について詳細に述べよう。
第27図に上記のプロセスに従った第1の方法のフロー
チャートを示す。なおこの図で、C3は相関面を示し、
このプロセスでは有効な最小値が得られる迄、即ち閾値
領域とリング試験をパスしたことが判明した最小値、又
は水平に2個増し垂直に1個増した又はフレームの端縁
部までの所定の増加限界値が、得られる迄そのループを
繰り返す。
このループを繰り返すことにより、有効(又は最も有効
な)最小値を得る場合の遅延が変化し、またこれは比較
的長くなりうる。この為、この第1の方法はあまり好ま
しくないので、以降、その説明は省略する。
第2の方法は遅延が固定していて、短いという利点があ
る。第28図に於いて、増加限界値は予め求められ、本
実施例では、水平的に2個にまた垂直的には1個に設定
するが、他の実施例では別の限界値を設定してもよい。
従って、この場合、第28図(a)〜(f)に示すよう
に、6つの配列が存在する。
ここで、(a)  は増加の無い場合、(b)  は水
平方向に各1個増す場合、(C)  は水平方向に各2
個増す場合、(d)  は垂直方向に各1個増す場合、
(e)  は垂直方向に各1個、水平方向に各1個増す
場合、 (f)  は垂直方向に各1個、水平方向に各2個増す
場合。
本実施例では、連続して2つの相関面を得る。
従って、この6つの配列を有する為にはこの第2の方法
によりまず3つの配列を並列に分析し、そして残る3つ
の配列を並列に求める。これを第29図のフローチャー
トに示す。前述のように、有効値とは閾値試験とリング
試験を通過したものである。従って、図から明らかのよ
うに、たいていの場合、映像情報は有効値がサーチブロ
ックの増加に頼ることなしに得られるようなときでもす
べてのこの可能な6つの配列について試験が行なわれる
。この方法は更に、ハードウェアと処理を必要とするが
、処理による不定の遅延を生ずるものよりももっと利用
できるものである。すべての場合に於いて、このフロー
チャートに示す後部から2番目のステップでは、この6
つの配列の処理結果から有効な(最も有効な)最小値が
得られる。
第29図のフローチャートの処理を行なう為には、第3
0図の回路構成が用いられる。これはマトリクス回路(
20)と、最小値決定回路(21〉〜(31)と記憶部
(24)〜(26)と評価回路(27〉とから戒り、こ
れらは図の如く接続され以下に述べる如く動作する。
相関面がマ) IJクス回路(20)に供給され、この
回路により2度に分けて合計6つの第28図に示した配
列が発生する。即ち、第1の時点では配列、(a)、 
(b)、 (c)  がそれぞれ、マトリクス回路(2
0)の出力端x、y、zより発生し、これらは最小値決
定回路(21)、 (22)、 (23)にそれぞれ供
給される。又、第2の時点では配列(d)、 (e)、
 (f)  が同様に発生し、供給される。この各配列
は、それが有効最小値を含むかどうかが判定され、また
これらの配列(a)。
(El)、(C)  の判定結果が記憶部(24)、 
(25)、 (26)に−時的に記録され、この間配列
(d)、 (e)、 (f)  の分析が行なわれる。
この第2の通過の最終時点では、6つの結果がすべて評
価回路(27)に供給され、これにより、好ましい動き
ベクトルに相当する最終の最小値を決定し、供給する。
しかし、もしサーチブロックの増加時、フレームの縁端
に達すると、即ち、閾値試験とリング試験とをパスする
最小値が得られないときは、重み付けによってその相関
面から最も有効な動きベクトルが決定される。
この相間面の重み付けは、最も有効な動きベクトルを選
び、これを定常な、つまり中心の動きベクトルに向かう
ように重み付けするごとく行なう。
これは2つの理由によるものである。一つは、もし増加
後でも、サーチブロックが元の映像の大きな明瞭な面の
一部である場合、良好な動きベクトルを検出することは
出来ないからである。しかし、元の映像は明瞭な領域の
ものであるから、定常の動きベクトルは結局その後の処
理で正しい結果に到る。その第2の理由として、重み付
けは、極めて悪い動きベクトルが動きベクトル減衰器(
5)(第1図)に供給され可能性を低下するように設定
されるからである。これは、良好な動きベクトルが決め
られないとき、小さく正しくない動きベクトルの方が大
きくて正しくない動きベクトルより好ましいことによる
第31図は重み付は関数の、相関面への適用の方法の一
例を示す。この例に於ては、相関面上の任意の点に適用
した重みは定常の、中心の動きベクトルからのその点の
距離に正比例する。又、相関面上のその点の大きさに重
み付は係数を乗算する。
例えば、重み付は傾度は、中心、定常の動きペクトベク
トルを黒い円で示すが、重み付は関数は中心、定常の動
きベクトルに集中した逆円錐となる。
その相関面の重み付けが終わった後に、その相関面には
再び閾値テスト及びリングテストを施す。
これら両テストをクリアする1個の最小値が決定される
と、これは良好な動きベクトルであるとみなされ、それ
が良好な動きベクトルであると共に重み付けが適用され
たことを示す情報(フラッグ)が付加される。このフラ
ッグはその動きベクトルと共に動きベクトル減少手段(
5)(第1図)に供給される。一方、重み付けを適用し
た後でさえ良好な動きベクトルも最も有益な動きベクト
ルも決定できない場合には、このサーチブロックに関し
て動きベクトル減少手段(5)(第1図〉に供給される
如何なる動きベクトルも悪い動きベクトルであることを
示す情報(フラッグ)がセットされる。これを行うのは
、悪い動きベクトルは動きベクトル減少の処理において
は使用してはならず以下で述べるように他の動きベクト
ルで代用されなければならないことによる。
従って要約すると、動きベクトル評価手段(4)(第1
図〉の動作は直接ブロック整合手段(3)(第1図)に
より生成された相関面から最も相関が良好な点、即ち最
小値の点を導出することである。
この最小値にはそれから閾値テスト及びリングテストが
施され、その最小値の点がそのサーチブロックの動きを
代表するとみなされるためにはその最小値はそれら両方
のテストをクリアしなければならない。ところで、閾値
テスト及びリングテストで使用される閾値は絶対的な値
又は規格化された相対的な値の何れでもよいことに注意
すべきである。その最小値がどちらかのテストをクリア
することができなければ、そのサーチブロックは成長さ
せられて新たな最小値が決定され、閾値テスト及びリン
グテストが再び適用される。そのサーチブロックを成長
させる最も有効な方向はその相関面の形状から決定され
る。
第1図に戻り、動きベクトル減少のプロセスについて説
明する。HDVS方式を使用すると、各サーチブロック
の大きさは32画素×23ラインであると仮定され、こ
の場合は最大で2451個の動きベクトルが存在しえる
ことが示される。サーチブロックの大きさは適度な分解
能を維持することとハードウェアをあまり大きくしない
こととのバランスに鑑みて選択される。これら動きベク
トルを全て動きベクトル選別手段(6)に供給するなら
ば、要求される処理が多量であるため動きベクトル選別
の動作は実用的ではない。この問題を克服するため動き
ベクトル評価手段(4)と動きベクトル選別手段(6)
との間に動きベクトル減少手段(5)を配しである。動
きベクトル減少手段(5〉  は動きベクトル評価手段
(4)により生成された動きベクトルを受取り、そのフ
レーム用に導出された全ての動きベクトルではなくその
フレームの夫々のサーチブロック(境界領域のサーチブ
ロックを含む)について4個の動きベクトルを動きベク
トル選別手段〈6)に供給する。この効果は2つある。
先ず、正しい動きベクトルが動きベクトル選別手段(6
)に供給される4個の動きベクトルのグループの中に含
まれている限り、それによりその正しい動きベクトルを
選別するのがずっと容易になる。しかしながら、次にこ
のことは、もしその正しい動きベクトルがその4個の内
の1個として供給されない場合には、動きベクトル選別
手段(6)は正しい動きベクトルを選別することができ
ないことをも意味する。従って、動きベクトル減少手段
(5)は動きベクトル選別手段(6〉に供給する動きベ
クトルの中にその正しい動きベクトルを含むことを保障
するように努める必要がある。また、動きベクトル減少
手段(5)により動きベクトル選別手段(6)に対して
4個の動きベクトルが供給されても、これらの内で3個
だけが実際に動きを表し、第4の動きベクトルは常に定
常的な動きベクトルであることに注意すべきである。そ
の定常的な動きベクトルにより、動きベクトル選別手段
(6)が定常的な画素に対して強制的に動きを表す動き
ベクトルを割り当てることを防止することが保障される
。その動きベクトル選別手段(6)には異なる数の動き
ベクトルを伝達することもでき、例えば、別の実施例で
は動きを表す4個の動きベクトルとその定常的な動きベ
クトルとを伝達するようにしてもよい。
これ以後は“サンプルブロック”という言葉は、ビデオ
信号の1フレーム中のブロックであってその中の個々の
画素に動きベクトル減少手段(5〉  より同じ4個の
動きベクトルが供給されているブロックを意味する。従
って、I個のサンプルブロックはサーチブロックが成長
する前にはその1個のサーチブロックと同じである。第
32図に示す如く、ビデオ信号の1フレーム中ではサン
プルブロック及びサーチブロックの初期位置は同じであ
る。
動きベクトル減少手段(5)(第1図)は動きベクトル
評価手段(4)(第1図)より動きベクトル及びフラッ
グを受取り、そのフラッグを調べることによりその動き
ベクトルの品質を決定する。その動きベクトルが曖昧な
面から導出されたものではなくそれに高い信頼性がある
場合には、それは良好な動きベクトルと呼ばれるが、仮
にある程度の曖昧さが存在するとその動きベクトルは悪
い動きベクトルと呼ばれる。動きベクトル減少のプロセ
スにおいて、悪い動きベクトルであると分類された動き
ベクトルは全て無視される。というのは、動きベクトル
選別手段(6)において悪い動きベクトルが選別されな
いためには、その動きベクトル選別手段(6)に不正確
な動きベクトルを伝達しないようにすることが重要であ
るからである。そのような悪い選別により一般に最終的
に得られる画像において極めて目障りなノイズ状のドツ
トが生ずる。
動きベクトル減少手段(5)(第1図〉に供給される動
きベクトルの夫々は成る特別なサーチブロックひいては
成る特別なサンプルブロック(第32図)より得られた
ものであり、その動きベクトルと共にこれらブロックの
位置も記録される。悪い動きベクトルであると分類され
た如何なる動きベクトルも無視されるため、全てのサン
プルブロックがその位置にあるサーチブロックから導出
された動きベクトルを持つとは限らない。良好な動きベ
クトルであるとして分類され、成る特別なサーチブロッ
クひいては成る特別なサンプルブロックに関係する動き
ベクトルは局所的な(ローカル)動きベクトルと呼ばれ
る。というのは、それらはそのサンプルブロックが得ら
れた領域で導出されたからである。これに加えて、他の
動きベクトルの減少プロセスでは個々の良好な動きベク
トルが生ずる頻度を計数し、それら良好な動きベクトル
を導出するために使用されたサーチブロックの実際の位
置を考慮することがない。これら動きベクトルは頻度が
小さくなる順序で分類され、この場合の動きベクトルを
共通な動きベクトルと称する。最悪の場合には、3個の
共通な動きベクトルだけが利用でき、これらが定常的な
動きベクトルと共に動きベクトル選別手段(6)(第1
図)に伝達される4個の動きベクトルを構成する。しか
しながら、3個を超える数の共通な動きベクトルが存在
することもよくあるので、その数を減少させて1組の減
少した数の共通な動きベクトルを構成しなければならな
い。これら1組の減少した数の共通な動きベクトルをグ
ローバルな(global) 動きベクトルと称する。
共通な動きベクトルの数を減少させる最も単純な方法は
、3個の最も出現頻度の高い動きベクトルを使用して他
の動きベクトルを無視することである。しかしながら、
これら3個の最も出現頻度の高い共通な動きベクトルは
、初期状態では垂直方向及び/又は水平方向に互いに夫
々プラス又はマイナス1画素以内の動きである3個の動
きベクトルであることが多い。言い替えると、これら共
通な動きベクトルは全て同じ動きをわずかな違いで追跡
していたものであり、無視されていた他の共通な動きベ
クトルは実際に異なる動きを追跡していたものである。
成る場面の中の全ての又は大部分の動きを表す共通な動
・きベクトルを選択するためには、同じ動きを表す複数
のグローバルな動きベクトルを選択するのを避ける必要
がある。従って、実際に採用された方法は、先ず3個の
最も頻繁に出現する共通な動きベクトルを取り、それら
3個の内の最も頻度が小さい動きベクトルが他の2個の
共通な動きベクトルの何れかに対して垂直方向及び/又
は水平方向に夫々プラス又はマイナス1画素の動き以内
であるかどうかを調べる。それが正しいならば、その動
きベクトルは排除されて、この排除された動きベクトル
の次に最も頻度の高い共通な動きベクトルが選ばれてそ
の動きベクトルの代わりにチエツクを受ける。このプロ
セスは全ての最も出現頻度の高い共通な動きベクトルに
ついて継続され、最後に互いに同程度ではない3個の共
通な動きベクトルが残るか、又は3個若しくはそれより
少ない数の共通な動きベクトルが残るまでそのプロセス
は継続される。しかしながら、そのプロセスが収束せず
互いに同程度ではない3個を超える数の共通な動きベク
トルが残った場合には、それらの中で最も頻度の小さい
動きベクトルが他の動きベクトルに対して垂直方向及び
/又は水平方向に夫々プラス又はマイナス2画素の動き
以内であるかどうかを調べるプロセスが反復され、必要
に応じてその距離を増加させながらそのプロセスが反復
される。これら3個の共通な動きベクトルが要求されて
いるグローバルな動きベクトルであり、これらはまだ出
現頻度の順に並べられていることが重要である。
動きベクトル減少のプロセス及び1フレームのビデオ画
像中のサンプルブロックを考慮する場合、3個の異なる
タイプのサンプルブロックに注目する必要がある。これ
らのタイプは1フレームのビデオ画像中のその実際の位
置によって定まり、第33図において異なる領域として
表されている。′領域Aは全体が他のサンプルブロック
に囲まれると共に画像の境界に近くないサンプルブロッ
クより構成される。領域Bは部分的に他のサンプルブロ
ックに囲まれると共に画像の境界に近くないサンプルブ
ロックを含む。最後に領域Cは、その画像の境界に近い
サンプルブロックを含む。これらの各領域に適用される
動きベクトル減少のアルゴリズムは夫々異なる。これら
のアルゴリズムにつき説明するに、先ずその1フレーム
のビデオ画(i 中のサンプルブロックの中には良好な
動きベクトルを有するものが存在し、更にその場面の主
要な動きの大部分を表すべき3個のグローバルな動きベ
クトルが存在することが前提となっている。各サンプル
ブロックについて3個の動きベクトルと共に定常的な動
きベクトルを伝達するために、これら動きベクトルの選
別が行われる。
第34図は領域Aにおける動きベクトル減少の手順を示
す。この領域にはチエツクすべき動きベクトルが最も多
く存在するため、この領域が扱うのに最も複雑な領域で
ある。第34図において、斜線を施された中央のサンプ
ルブロックが他のサンプルブロックa −hに囲まれて
いる。先ず局所的に導出された動きベクトルが良好な動
きベクトルとして分類されるかどうかが調べられる。そ
れが良好であり且つ定常的な動きベクトルと同一でない
ときには、その動きベクトルは伝達される。しかしなが
ら、これらの条件の内の一方でも充足されないときには
、その動きベクトルは無視される。
それから、そのサンプルブロックdに対応する動きベク
トルが良好な動きベクトルとして分類されるかどうかが
調べられる。それが良好であり、更にその動きベクトル
が既に選別されたどの動きベクトルとも同じではなく且
つその定常的な動きベクトルとも同じでないときには、
その動きベクトルは伝達される。これらの条件の内の一
方でも充足されないときには、その動きベクトルも無視
される。このプロセスはそれから同様にサンプルブ07
りe、b、g、a、h、c及びfの順序で継続される。
定常的な動きベクトルを含まない3個の動きベクトルが
得られると、そのアルゴリズムは終了する。というのは
、それらがそのサンプルブロックについての動きベクト
ルの選別で要求される全てであるからである。しかしな
がら、上述の必ずしも全てのチエツクにおいて3個の良
好な動きベクトルが得られなければならないというもの
ではない。3個の良好な動きベクトルが得られない場合
には、残りの空間にはグローバルな動きベクトルが割当
てられ、より出現頻度の高いグローバルな動きベクトル
が優先的に割当てられる。
第35図は領域Bにおける動きベクトルの減少手順を示
す。領域Bのサンプルブロックは他のサンプルブロック
により全体には囲まれていない点を除いて、領域Aのサ
ンプルブロックと同じである。
従って、これらのサンプルブロックに適用されるプロセ
スは領域A用のプロセスと、全ての周辺のサンプルブロ
ックの中ではチエツクを行うことができない点を除いて
全く同じである。従って、第35図に示す如く、サンプ
ルブロックa −eに対して動きベクトルをチエツクす
ることができるだけであり、動きベクトル用に残されて
いる空間には何れも前と同様にグローバルな動きベクト
ルが割当てられる。同様に、第35図の斜線を施したサ
ンプルブロックを左へ2単位移動させると、それらグロ
ーバルな動きベクトルを割当てる前にチエツクすべき隣
接する周辺のブロックの数は3個だけになる。
第36図は領域Cにおける動きベクトルの減少手順ヲ示
す。そのサンプルブロックには局所的に導出された動き
ベクトルもなく、動きベクトルが利用できる多くの周辺
のサンプルブロックもないので、この場合が最も厳しい
場合である。この問題を処理する最も単純な方法は、単
にその領域Cのサンプルブロックにグローバルな動きベ
クトルと共に定常的な動きベクトルを割当てることであ
る。
しかしながら、この場合には、領域Bの隣接するサンプ
ルブロックと比較した場合に、その領域Cのサンプルブ
ロックに割当てられた動きベクトルの値が突然変化する
ことにより、最終的に得られる画像にブロック処理によ
る影響が生じることが分かっている。従って、より好適
な方法は、領域Cのサンプルブロックに対しては領域B
のサンプルブロックに対して用いられるものと同じ動き
ベクトルを使用して、動きベクトルの突然の変化を防ぐ
ことである。より好ましくは、領域Cの各サンプルブロ
ックにはそのサンプルブロックに物理的に最も近い領域
Bのサンプルブロックの動きベクトルと同じものを割当
てるのがよい。従ってこの場合には第36図例では、領
域Cの個々の斜線を施したサンプルブロックには領域B
のサンプルブロックaと同じ動きベクトルが割当てられ
、これにより良好な結果が得られることが確認された。
再び第1図を参照して、動きベクトル選別手段(6)の
目的はそこへ供給された4個の動きベクトルの内の1個
をそのサンプルブロック内の個々の画素に夫々割当てる
ことである。これにより、それら動きベクトルは物体の
輪郭に正確に割当てることができる。この割当てを実行
するには特に、微細な構造を囲む背景画像によりその正
しい動きベクトルにより生成される実際の構造が置き換
えられる可能性を無くすようにする必要がある。これを
達成するために、その動きベクトルの選別プロセスは2
個の主な段階に分割される。第1段階では入力フレーム
の各画素について動きベクトルが生成される。言い替え
ると、出力フレームの各画素に対する動きベクトルの値
を直接決定することはない。第2段階では出力フレーム
中の各画素に対する動きベクトルの値を決定するために
、その第1段階で生成された動きベクトルの値が使用さ
れる。
第37図において、入力フレーム(2〉の各画素は供給
される4個の動きベクトルの夫々を使用することにより
、前フレーム(1)及び次のフレーム(3)のビデオデ
ータの中で最も良く輝度の値が合致する画素を求めるた
めに調べられる。画素の輝度の差分は次のように決定さ
れる。
この場合、 Plnmは、フレーム(2)で検査対象となっている画
素の位置から検査対象となっている動きベクトルの座標
を差し引いて得られる位置に存在する画素を囲む4×4
個の画素よりなるブロックの中のフレーム(1)の画素
の輝度値であり、P2nmは、検査対象となっている画
素を囲む4×4個の画素よりなるブロックの中のフレー
ム(2)の画素の輝度値であり、 P3nmは、フレーム(2)で検査対象となっている画
素の位置に検査対象となっている動きベクトルの座標を
加算して得られる位置に存在する画素を囲む4×4個の
画素よりなるブロックの中のフレーム(3〉の画素の輝
度値である。
その画素の差分が最小になる条件により輝度が最も良く
合致する所が求められ、従って、検査対象となっている
画素に適用すべき正しい動きベクトルが求められる。正
しい動きベクトルが適用できない場合又は以下で詳細に
述べるように露出されたエリア若しくは被覆されたエリ
アが存在する場合には、その輝度の良好な合致は起こら
ない。
良好な合致が起こらない場合とは、使用されている複数
の画素内の平均的な画素の輝度の差分が成る所定の閾値
を超えているときに生じる。正しい動きベクトルが検査
されているときでさえ、空間周波数の高い微細な構造で
は良好な合致が生じないことがあるので、その闇値が重
要である。閾値が如何なる値のときに良好な合致が起こ
らなし)ことが示されるかを決定するためには、動きベ
クトルが要求されている画素を囲むブロック内の画像の
周波数成分にその閾値を関連づける必要がある。これを
達成するため、検査対象の画素についての水平方向又は
垂直方向の画素の輝度の差分の最大値の半分に等しい闇
値を自己闇値とする。このようにして得られた閾値が比
較対象となっている全体のブロックデータの代表的な値
であることを保障するために、使用される4個の中央部
の夫々4×4個の画素よりなるブロックを対象として平
均値が求められる。
4×4のブロックを示す第39図を参照して、必要とさ
れる閾値Tは次式で与えられる。
T = (TI+72+T3+74)/8この式におい
て例えばT3は、第40図に示すように4個の画素の輝
度の差分値の中の最大値に等しい値として決定され、こ
れら4個の差分値とは2個の垂直方向の差分値の絶対値
1 B2−831 、  B4−83  及び2個の水
平方向の差分値の絶対値lA3−831 、  C3−
83である。
このようにして入力フレーム(2)に対して1フレ一ム
分の動きベクトルが得られ、同様にして第38図に示す
如く人力フレーム(3)に対して1フレ一ム分の動きベ
クトルが得られる。
場面の変化は別として、動きベクトル選別の上述の第1
段階において発生する不適合(ミスマツチ)の原因は露
出面及び被覆面の現象である。成る物体、例えば自動車
がトンネルに入るときには、その自動車は被覆されて、
一方それが出て来るときにはその自動車は露出される。
その自動車のフレーム(1)及び(2)で露出された部
分がフレーム(3)及びり4)で被覆されるときには、
その基本的なベクトル選別プロセスではその正しいベク
トルを決定することができない。更に、そのトンネルの
中に入る自動車が被覆される一方で、その自動車の後ろ
の道路及び物体は露出される。同様にそのトンネルを離
れる自動車は露出されるが、その自動車の後ろの道路及
び物体は被覆される。従って、一般に被覆される物体と
露出される物体とが同時に存在する。成る場面の終わり
もまた被覆される物体と同様に動きの不連続性を有する
。斯かる状況下でさえも動きベクトルを決定する試みに
おいては、その輝度値のブロック毎の合致の程度を調べ
る方法は、第37図及び第38図の3フレ一ム間の合致
の程度を調べる方法から2フレ一ム間の合致の程度を調
べる方法に変えられる。即ち、動きベクトルが要求され
ているフレーム(例えばフレーム(2))は供給される
4個の動きベクトルを使用することにより、前フレーム
及び次フレームに対して(フレーム(2)の場合には夫
々フレーム(1)及び(3)に対して)個別にブロック
毎の合致の程度が調べられる。最も良好な合致を生ずる
動きベクトルが検査対称となる画素に適用される動きベ
クトルとして選別される。しかしながら、この場合には
2フレ一ム間の合致の程度だけを調べる方法が使用され
たことを示す情報(フラッグ)がセットされる。
特に積分型のテレビカメラを用いた場合には、良好な合
致が起こらないという状況が生じる。物体が微細構造を
有する背景の上を動くときには、積分型のカメラによる
とその物体の先端及び後端のエツジがその背景の微細構
造と混合されて独特の部分を有する画像が生成される。
そのような状況では、2フレ一ム間の合致を調べる方法
でさえも平均的な画素間の差分がその閾値を超えること
がある。こような場合には、動きベクトルの値は0に設
定され、エラーフラッグもセットされる。
動きベクトル選別の第2段階では第1段階で導出された
2フレ一ム分の動きベクトルを利用する。
最初のく入力フレーム(2)の)lフレーム分の動きベ
クトルは基準フレームであるとみなされ、これに続く 
(入力フレーム(3)の〉 lフレーム分も使用される
。出力フレームの位置はこれら2個のフレームの動きベ
クトルの間の何れかに存在する。
第41図を参照して説明するに、個々の出力画素の位置
に対して入力フレーム(2)のサンプルブロックに関連
する4個の可能な動きベクトルが検査される。検査対象
である動きベクトルの角度でその出力画素の位置を通っ
て引かれた線は入力フレーム(2)及び入力フレーム(
3)の両方の上に存在する位置を指し示す。動きベクト
ルの値が奇数(例えば1.3及び5)である場合には、
出力フレームが入力フレーム(1)と(2)との間の正
確に中央にあるとすると、入力フレームの2個の画素の
間のく画素の中心ではない)成る点が指し示されるであ
ろう。この不正確さを考慮し更に感度を画素単位まで低
下させるために、各フレームに対して最も近い画素の位
置を中心として1組の3×3ブロツクの動きベクトルが
得られる。実際には、2組の383ブロツクの動きベク
トルの夫々と検査対象である動きベクトルを含むブロッ
クとの間でブロック間の合致の程度を調べる動作が実行
される。
使用される動きベクトルの差分は次式により与えられる
2個の動きベクトルの値の空間的な差分を表す。
この場合、xl及びylはそれらブロックの1つにおけ
るその動きベクトルの直交座標であり、X2及びylは
検査対象となる動きベクトルの直交座標である。
3個の入力フレーム、即ち入力フレーム(2)(第37
図)に対しては入力フレーム(1)、 (2)及び(3
)を使用して計算された動きベクトルだけを使用するこ
とにより、上述のように先ず最も良好に合致する動きベ
クトルが生成される。それら3個の人力フレームは入力
フレーム(3)(第38図)に対しては入力フレーム(
2)、 (3)及び(4)となり、その結果はそれに応
じて段階的に変化する。その9個のブロックには少なく
とも4個の使用可能な動きベクトルがあるのが好ましい
。フレーム(2)及びフレーム(3)の両方の動きベク
トルのブロックが使用できるときには、その動きベクト
ルの差分値はフレーム(2)による動きベクトルの差分
値の半分及びフレーム(3)による動きベクトルの差分
値の半分を加算して構成される。上述の方法を使用して
動きベクトルの最小の差分値を生成する動きベクトルで
あれば、検査対象となる出力画素に適用できる動きベク
トルであると考えることができる。3個のフレーム間の
入力動きベクトルの整合(第37図及び第38図)によ
り生成された動きベクトルの差分値が1より大きいとき
には、被覆面又は露出面が検出されたことになる。そし
て、同じプロセスが繰り返されるが今度はエラーフラッ
グが無視される。即ち、2個の入力フレームを用いて計
算された動きベクトルが使用される。理論的にはこれは
露出面又は被覆面だけに必要であるが、実際にはより一
般的な領域の画像に適用しても画質が改善される。
上述の両方の検査が実行された後に、良好に合致すると
判定された最小の動きベクトルの値が2を超えている場
合;こは、その動きベクトルの値は0に設定され、動き
ベクトル後処理手段(7〉(第1図)の使用に供するた
めエラーフラッグがセットされる。
動きベクトルの選別に伴い、如何なる実際の画像の状況
においてもほぼ確実に成る画素に関連して疑似的な動き
ベクトルが残存する。第42図〜第47図は疑似的な動
きベクトルであると見なされる場合を示し、これらの各
図において、三角形は同じ動きベクトルが割当てられた
画素を示し、一方、星は周囲の画素に割り当てられた動
きベクトルと異なる動きベクトルが割り当てられた画素
を示し、円は検査対象の動きベクトルを示す。
第42図は1個の特異点を示し、この場合1個の画素だ
けが全ての周囲の画素の動きベクトルとは異なる動きベ
クトルを有する。
第43図は水平方向の動きベクトルのインパルスを示し
、この場合3個の水平方向に並んだ画素だけが周囲の画
素の動きベクトルとは異なる同一の動きベクトルを有す
る。
第44図は垂直方向の動きベクトルのインパルスを示し
、この場合3個の垂直方向に並んだ画素だけが周囲の画
素の動きベクトルとは異なる同一の動きベクトルを有す
る。
第45図は対角方向の動きベクトルのインパルスを示し
、この場合3個の対角方向に並んだ画素だけが全ての周
囲の画素の動きベクトルとは異なる同一の動きベクトル
を有する。
第46図は水平方向及び垂直方向の動きベクトルのイン
パルスを示し、この場合縦十字型に配列された5個の画
素だけが全ての周囲の画素の動きベクトルとは異なる同
一の動きベクトルを有する。
第47図は2対角方向の動きベクトルのインパルスを示
し、この場合対角方向の十字型に配列された5個の画素
だけが全ての周囲の画素の動きベクトルとは異なる同一
の動きベクトルを有する。
上述の6個の範躊に分類される画素の動きベクトルは実
際には現実の画像について生じることはなく、更にそれ
らは不正確な動きベクトルの選別により直接生じた結果
でもある。そのような動きベクトルが補間プロセスの途
中で使用されると、最終的に得られる出力画像にはドツ
ト妨害が生じることがある。従って、そのような動きベ
クトルを特定して排除するのが望ましい。これは上述の
動きベクトルの全てのグループ分けを行うと共に、各グ
ループに応じてフラッグを割当てるアルゴリズムを使用
することにより実行される。
そのアルゴリズムは2回繰り返すプロセスを使用し、1
回毎の処理は同一である。2回繰り返すことの必要性に
つき説明する。画素の配列を示す第48図を参照して説
明するに、三角形が付された全ての画素は夫々同一の動
きベクトルを有する。
中央の9個の画素よりなるブロックは、夫々ベクトル1
〜ベクトル9として各画素に割り当てられた動きベクト
ルを有し、これら動きベクトルは同一でも同一でなくと
もよい。ベクトル5が検査対象の動きベクトル(被検ベ
クトル)である。
第1回目の処理では、ベクトル5がチエツクされ、最初
にそのベクトルが正確に又は所定の許容値内でベクトル
1.ベクトル3.ベクトル7又はベクトル9と同じであ
るかどうかが決定され、その次にそのベクトルが正確に
又は所定の許容値内でベクトル2.ベクトル4.ベクト
ル6又はベクトル8と同じであるかどうかが決定される
このチエツクは、そのベクトル5が少なくとも水平方向
又は垂直方向に隣接するベクトルの1つと同じであり、
且つ少なくとも対角方向に隣接するベクトルの1つと同
じであるかどうかを調べるものである。これが否定的な
らば、その画素5が不良であることを示すフラッグがセ
ットされる。
言い替えると、水平方向く又は垂直方向)及び対角方向
の隣接画素に夫々少なくとも1個の、即ち少なくとも合
計2個の同程度の動きベクトルが存在しない場合には、
その画素に不良であることを示すフラッグがセットされ
る。
この第1回目の処理によれば、特異点、水平方向の動き
ベクトルのインパルス、垂直方向の動きベクトルのイン
パルス、対角方向の動きベクトルのインパルス及び対角
方向の動きベクトルのインパルス(第42図〜第45図
及び第47図)に対応する動きベクトルには全て不良で
あることを示すフラッグが付加されるが、水平方向及び
垂直方向の動きベクトルのインパルス(第46図)に対
応する動きベクトルの内で中央のベクトルを除く4隅の
ベクトルは良いベクトルであると判断され、このベクト
ルには2回目の処理が必要になる。例えば、第46図例
において、その縦十字形の4隅の動きベクトルは夫々水
平方向く又は垂直方向)及び対角方向に1個づつ同一の
動きベクトルを有するため、良いベクトルであると判定
される。
2回目の処理は第1回目の処理と正確に同じ条件を調べ
るものであるが、今回は既に不良であるとしてフラッグ
を付加された動きベクトルはその計算から除外される。
従って、第46図例において、第1回目の処理後には中
央の動きベクトルだけに不良のフラッグが立てられるが
、第2回目の処理後には縦十字形に配列された5個の動
きベクトルの全てに不良のフラッグが立てられる。
不良の動きベクトルを特定した後には、それらを修正す
ることが必要になり、この修正もまた動きベクトル後処
理手段(7)(第1図)により実行される。補間又は高
頻度の動きベクトルによる置換などの種々の方法を使用
することができるが、実際には単純な置換により良好な
結果が生じることが分かった。これは次のように実行さ
れる。(但し、この場合は符号「=」は正確に等しいだ
けではなく、予め定められた許容値内に収まっているこ
とをも意味する。)即ち、ベクトル5が不良であると判
定されたときには、そのベクトルはくベクトル4=ベク
トル6)が成立するならばベクトル4により置き換えら
れ、それが成立せず(ベクトル2=ベクトル8)が成立
するならばベクトル2により置き換えられ、それが成立
せず(ベクトル1=ベクトル9)が成立するならばベク
トル1により置き換えられ、それが成立せず(ベクトル
3=ベクトル7)が成立するならばベクトル7により置
き換えられ、それも成立しない場合には置換は行われな
い。
再び第1図において、各画素について最終的に選択され
た動きベクトルが動きベクトル後処理手段(7)より補
間手段(8)に供給されると共に、60フレーム/秒で
順次走査変換されたフレームが順次走査変換手段(2)
から補間手段(8)に供給される。
その補間手段(8)は第49図に示す如く、2個のh次
走査変換されたフレームを使用するだけの比卑的単純な
構造である。出力フレームの連続するツカフレームであ
るフレーム(1)及びフレーム(2) 11対して相対
的な時間軸上の位置、及びその出力:レーム上の画素に
対する動きベクトルを使用す七ことにより、周知の方法
でその補間手段(8)は負エフレームのどの部分と第2
フレームのとのIfとを結合するべきかを決定し、更に
正確な出力:レームの画素の値を生成するための重み付
けの僧を決定する。言い替えると、補間手段(8)は動
自ベクトルを用いて動きの方向に沿って適応的に補間を
行い、24フレ一ム/秒に対応する動き補償(なされた
順次走査フレームを生成する。その動きベクトルは各画
素の輝度の値だけを使用して導圧されていたが、その同
じ動きベクトルは要求される出力フレームの画素の色成
分の値を導出するために使用される。その要求される出
力を生成するためには、各フレームにたいして8×8個
の画素よりなるアレイが使用される。従って、その補間
手段(8)は2次元の垂直方向/水平方向の補間手段で
あり、その補間手段(8)で使用される係数はレメツ(
Remez )の交換アルゴリズムを使用して導出する
ことができる。このアルゴリズムは’Theory a
nd application of signal 
processing’。
Lawrence RRabiner、Bernard
 Gold、 Prentice−HallInc、、
pp 136−140.227.  にて詳細に説明さ
れテいる。
第49図は3個の異なる場合についてその補間手段(8
)(第1図)により実行される補間を模式的に示す。左
側の第1の場合は露出面も被覆面もない場合、中央の第
2の場合は1個の被覆面がある場合、右側の第3の場合
は1個の露出面がある場合である。被覆された面の場合
にはその補間でフレーム(1)だけが使用され、露出さ
れた面の場合にはその補間でフレーム(2)だけが使用
される。
その補間手段(8)においては動き補償を行わない補間
を行うこともでき、この場合には時間的に最も近い順次
走査変換されたフレームが補間フレームとして使用され
る。
尚、本発明は上述実施例に限定されず本発明の要旨を逸
脱しない範囲で種々の構成を採り得ることは勿論である
[発明の効果コ 本発明によれば、最も有益な動きベクトルが得られると
共に相関面が映像信号の各フィールド又は)L/−ム中
のブロックを比較することによす得られ、またブロック
の大きさが増加することにより、より明瞭な最小値をも
った相関面を得ることができる利益がある。
【図面の簡単な説明】
第1図は本発明の一実施例のビデオ標準方式の変換装置
を示すブロック図、第2図は順次走査変換の説明図、第
3図〜第6図は夫々順次走査変換時の連続するフィール
ド及び連続するラインを示す説明図、第7図は動き適応
順次走査変換における各ステップを示すブロック図、第
8図は連続するフィールド間の差分等を示す線図、第9
図及び第10図は夫々順次走査正規化関数及び順次走査
の非線形関数を示す線図、第11は順次走査変換におけ
る未完成のラインの画素を示す線図、第12図及び第1
3図は夫々サーチブロックとサーチエリア及びそれらの
相互の関係を示す線図、第14図は相関面を示す線図、
第15図及び第16図は夫々サーチブロックの成長を示
す線図、第17図はサーチブロックの整合ができないl
フレームの領域を示す線図、第18図は3個のサーチブ
ロックにまたがる動体を示す線図、′!J19図〜第2
1図は夫々生成される相関面を示す線図、第22図及び
第23図は夫々閾値テストの説明に供する相関面の他の
例を示す線図、第24図及び第25図は夫々リングテス
トの説明に供する相関面の更に他の例を示す線図、第2
6図はサーチブロックが成長する方向の決定方法の説明
図、第27図及び第29図は夫々サーチブロックを増す
ための各方法に関するフローチャートを示す線図、第2
8図はサーチブロックが増加する仕方を説明するための
線図、第30図は本実施例の一部の詳細を示すブロック
図、第31図は相関面の重み付けの方法の説明図、第3
2図はサンプルブロック及びサーチブロックと1フレー
ムのビデオ画像との関係を示す線図、第33図は1フレ
ームのビデオ画像の動きベクトルの領域を示す線図、第
34図〜第36図は夫々1フレームのビデオ画像の個々
の領域における動きベクトルの説明に供する線図、第3
7図及び第38図は動きベクトル選別の第1段階の説明
図、第39図及び第40図は夫々閾値の決定方法の説明
に供する線図、第41図は動きベクトル選別の第2段階
の説明図、第42図〜第48図は夫々動きベクトルの後
処理時における動きベクトルが属する画像の配列を示す
線図、第49図は補間動作の説明に供する線図である。 〔2)は順次走査変換手段、(3)は直接ブロック整合
手段、(4)は動きベクトル評価手段、(5)は動きベ
クトル評価手段、(6)は動きベクトル選別手段、(7
)は動きベクトルの後処理手段、(8)は補間手段であ
る。 (m◆2) × 順;℃走食変校 第2図 第3図 第4rI!J 第5 図 第6 図 豹フィールド 1免フづ−ルド 仄フィールド 必譬とΣ収ケ評価lゑび遠糧劣るフィール1間つ差分イ
l第8図 1項;2走iつ正規イし聞政 第9図 フ゛し−ク;t、″イ〉I−1 “フ゛レクノ不呵〉ト2 順;E:、ttI)非赫焉関数 第10図 ス 月Lライ〉 +1 傾;2乏it浸にhげう朱完底つラインつ画素つ生へ第
11図 フレームN 第12図 相 聞 面 第14図 サーチプロ1.りつ説哨 第15図 第26図 第28図 リー千フ゛口・ツク3A サーチLリア ワーチブロ・・、りの説明 第16図 サーチ70・Vりtvl1合力゛で子0いフし−ム頑爪
ワー千ブ°口・・、り IA   2A    3A vJき (5,0) B B ザーチェソア B 3個つサーチフ゛口・ツクにまた71Fる初体第18図 袷 flJ’1  面 第19図 指 &1 面 第20図 第21図 招 間 面 第22図 相聞面 第23図 相 聞 面 第24図 相関面 第25図 第27図 ベクトル Y ↑ 定+1ベアF−ル 被覆面しS飄面 L r; Ll rlh合 1個つ被覆面 11回つi菰の 補′ 問 回 路 つ 初 作 欠す/(1rQ リンフルプロ1.7り及びげ−チフ゛0・シフとごヂオ
侶号つIフレームとつ聞係 第32図 1)し−ム中つtかきベクトルつ預域 第33図 初きベクトルの:A+ 第34図 第35図 #jJキベクトルつ懺り 第36図 z1段階 出nフ[−ム 動きベクトルつ置2°1つ猶1投階 第37図 す子ベクトルggIjつ′#1段隈 第38図 第39図 第40図 X3 #7−!ベクトル区ff’Jり#2没附第41図 手続補正書 (方式) %式% 敏   殿     1す 1、事件の表示 平底 2年 特 許 願 第110813号3、補正を
する者 事件との関係

Claims (1)

    【特許請求の範囲】
  1. 映像信号の第1のフィールド又はフレームのブロックを
    次のフィールド又はフレームの複数のブロックと比較し
    、前記第1のフィールド又はフレーム中のブロックに対
    する各相関面を生じることにより、前記第1のフィール
    ド又はフレームと前記次のフィールド又はフレームとの
    間の前記各ブロックの内容の動きを示す動きベクトルを
    得る手段を有し、前記相関面は比較せる前記第1のフィ
    ールド又はフレームの前記ブロックの内容と前記次のフ
    ィールド又はフレームの各ブロックの内容との違いを示
    し、更に、明瞭な最小値を得る為の前記相関面を試験す
    る手段と前記ブロックの大きさを増し、これによって新
    しい前記相関面を生ずる手段と、より明瞭な最小値を得
    るための前記新相関面の各々を試験する手段と、前記動
    きベクトルを前記得られた最も明瞭な最小値に応じて得
    る手段と、前記動きベクトルとに応じて制御される補間
    器とから成ることを特徴とする動き補償映像信号標準変
    換器。
JP2110813A 1989-04-27 1990-04-26 動き補償映像信号フォーマット変換装置 Expired - Fee Related JP3047429B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB8909654.9 1989-04-27
GB8909654A GB2231752B (en) 1989-04-27 1989-04-27 Motion dependent video signal processing

Publications (2)

Publication Number Publication Date
JPH0362692A true JPH0362692A (ja) 1991-03-18
JP3047429B2 JP3047429B2 (ja) 2000-05-29

Family

ID=10655826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2110813A Expired - Fee Related JP3047429B2 (ja) 1989-04-27 1990-04-26 動き補償映像信号フォーマット変換装置

Country Status (5)

Country Link
US (1) US4992869A (ja)
EP (1) EP0395274B1 (ja)
JP (1) JP3047429B2 (ja)
DE (1) DE69027479T2 (ja)
GB (1) GB2231752B (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230557A (ja) * 2001-02-05 2002-08-16 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002230556A (ja) * 2001-02-01 2002-08-16 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002245463A (ja) * 2001-02-19 2002-08-30 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2002366949A (ja) * 2001-06-05 2002-12-20 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006650A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006648A (ja) * 2001-06-26 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006656A (ja) * 2001-06-22 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006651A (ja) * 2001-06-22 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003008991A (ja) * 2001-06-27 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006657A (ja) * 2001-06-26 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006652A (ja) * 2001-06-25 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006658A (ja) * 2001-06-19 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006653A (ja) * 2001-06-26 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003016446A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003016452A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003016453A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003016455A (ja) * 2001-06-27 2003-01-17 Sony Corp 通信装置および方法、通信システム、記録媒体、並びにプログラム
JP2003016456A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003233817A (ja) * 2002-02-08 2003-08-22 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
WO2003088660A1 (fr) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Dispositif convertisseur d'image et procede correspondant
WO2003088661A1 (en) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Image conversion device and image conversion method
US7139019B2 (en) 2001-06-05 2006-11-21 Sony Corporation Image processing device
JP2008035404A (ja) * 2006-07-31 2008-02-14 Toshiba Corp 補間フレーム作成方法及び補間フレーム作成装置
JP2008141394A (ja) * 2006-11-30 2008-06-19 Toshiba Corp 補間フレーム作成方法および補間フレーム作成装置
JP2008147951A (ja) * 2006-12-08 2008-06-26 Toshiba Corp 補間フレーム作成方法および補間フレーム作成装置
US8144777B2 (en) 2002-03-15 2012-03-27 Kabushiki Kaisha Toshiba Motion vector detection method and apparatus

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU660020B2 (en) * 1991-05-24 1995-06-08 British Broadcasting Corporation, The Video image processing
JP3064598B2 (ja) * 1991-12-02 2000-07-12 松下電器産業株式会社 相関検出補間方法および装置
GB2265065B (en) * 1992-03-02 1995-08-16 Sony Broadcast & Communication Motion compensated image processing
GB2268351B (en) * 1992-06-10 1995-09-06 Sony Broadcast & Communication Motion analysis of moving images
GB2276999B (en) * 1993-04-08 1997-10-08 Sony Uk Ltd Motion compensated video signal processing
GB2277003B (en) * 1993-04-08 1997-09-24 Sony Uk Ltd Motion compensated image processing
US5497338A (en) * 1993-04-09 1996-03-05 Sharp Kabushiki Kaisha Motion vector detecting circuit
GB2278972B (en) * 1993-06-09 1997-06-04 Sony Uk Ltd Motion vector generation
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
KR0178231B1 (ko) * 1995-08-10 1999-05-01 배순훈 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
JP2902966B2 (ja) * 1994-12-16 1999-06-07 三洋電機株式会社 手振れ補正装置およびそれを用いたビデオカメラ
JPH0965339A (ja) * 1995-08-18 1997-03-07 Mitsubishi Electric Corp 画像ブロック動き検出装置
GB2319684B (en) * 1996-11-26 2000-09-06 Sony Uk Ltd Scene change detection
US6034733A (en) * 1998-07-29 2000-03-07 S3 Incorporated Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data
US6348949B1 (en) * 1998-12-22 2002-02-19 Intel Corporation Deinterlacing a video signal using a motion detector
WO2001091469A1 (en) * 2000-05-19 2001-11-29 Koninklijke Philips Electronics N.V. Method, system and apparatus
KR100563866B1 (ko) * 2003-05-19 2006-03-23 매크로영상기술(주) 영상 신호의 디인터레이스 방법 및 장치
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
US7860165B2 (en) * 2005-05-20 2010-12-28 Microsoft Corporation Framework for fine-granular computational-complexity scalable motion estimation
GB2444529A (en) * 2006-12-06 2008-06-11 Sony Uk Ltd Motion adaptive image processing
GB2446616B (en) * 2006-12-06 2011-12-07 Sony Uk Ltd Motion adaptive image processing
JP4846644B2 (ja) * 2007-03-30 2011-12-28 株式会社東芝 映像信号補間装置および映像信号補間方法
JP2009060377A (ja) * 2007-08-31 2009-03-19 Toshiba Corp 補間フレーム生成装置及び補間フレーム生成方法
WO2009034487A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for motion estimation and motion compensation in video image data
US9251423B2 (en) * 2008-03-21 2016-02-02 Intel Corporation Estimating motion of an event captured using a digital video camera
US9256789B2 (en) * 2008-03-21 2016-02-09 Intel Corporation Estimating motion of an event captured using a digital video camera
JP5187266B2 (ja) * 2009-04-21 2013-04-24 株式会社Jvcケンウッド 動きベクトル検出装置及び方法
JP4893847B2 (ja) 2010-05-13 2012-03-07 株式会社Jvcケンウッド 動きベクトル補正装置及び方法、並びに、映像信号処理装置及び方法
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックIpマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61113377A (ja) * 1984-11-07 1986-05-31 Sony Corp テレビジヨン信号の動き検出装置
DE3679553D1 (de) * 1985-12-24 1991-07-04 British Broadcasting Corp Bandbreitenreduktion fuer fernsehsignale.
WO1987005769A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Tv picture motion measurement
US4873573A (en) * 1986-03-19 1989-10-10 British Broadcasting Corporation Video signal processing for bandwidth reduction
EP0294956B1 (en) * 1987-06-09 1994-07-20 Sony Corporation Motion vector reduction in television images

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230556A (ja) * 2001-02-01 2002-08-16 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2002230557A (ja) * 2001-02-05 2002-08-16 Sony Corp 画像処理装置および方法、並びに記録媒体
JP4596202B2 (ja) * 2001-02-05 2010-12-08 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2002245463A (ja) * 2001-02-19 2002-08-30 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4596203B2 (ja) * 2001-02-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7139019B2 (en) 2001-06-05 2006-11-21 Sony Corporation Image processing device
JP2002366949A (ja) * 2001-06-05 2002-12-20 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4596209B2 (ja) * 2001-06-05 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596215B2 (ja) * 2001-06-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006658A (ja) * 2001-06-19 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006650A (ja) * 2001-06-20 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4596216B2 (ja) * 2001-06-20 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596217B2 (ja) * 2001-06-22 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596218B2 (ja) * 2001-06-22 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006656A (ja) * 2001-06-22 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006651A (ja) * 2001-06-22 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006652A (ja) * 2001-06-25 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4596219B2 (ja) * 2001-06-25 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006653A (ja) * 2001-06-26 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006657A (ja) * 2001-06-26 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003006648A (ja) * 2001-06-26 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4596221B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7221778B2 (en) 2001-06-26 2007-05-22 Sony Corporation Image processing apparatus and method, and image pickup apparatus
JP4596220B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7340106B2 (en) 2001-06-26 2008-03-04 Sony Corporation Image processing apparatus and method, and image-capturing apparatus
JP4596222B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596224B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003016455A (ja) * 2001-06-27 2003-01-17 Sony Corp 通信装置および方法、通信システム、記録媒体、並びにプログラム
US8164638B2 (en) 2001-06-27 2012-04-24 Sony Corporation Communication system and method thereof
JP2003016452A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4596226B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596227B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
JP2003016453A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003008991A (ja) * 2001-06-27 2003-01-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003016456A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4596225B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003016446A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003233817A (ja) * 2002-02-08 2003-08-22 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US8144777B2 (en) 2002-03-15 2012-03-27 Kabushiki Kaisha Toshiba Motion vector detection method and apparatus
WO2003088660A1 (fr) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Dispositif convertisseur d'image et procede correspondant
WO2003088661A1 (en) * 2002-04-17 2003-10-23 Matsushita Electric Industrial Co., Ltd. Image conversion device and image conversion method
US7388617B2 (en) 2002-04-17 2008-06-17 Matsushita Electric Industrial Co., Ltd. Image conversion device and image conversion method
US7446815B2 (en) 2002-04-17 2008-11-04 Matsushita Electric Industrial Co., Ltd. Image conversion device and image conversion method
JP2008035404A (ja) * 2006-07-31 2008-02-14 Toshiba Corp 補間フレーム作成方法及び補間フレーム作成装置
JP2008141394A (ja) * 2006-11-30 2008-06-19 Toshiba Corp 補間フレーム作成方法および補間フレーム作成装置
JP2008147951A (ja) * 2006-12-08 2008-06-26 Toshiba Corp 補間フレーム作成方法および補間フレーム作成装置

Also Published As

Publication number Publication date
GB2231752B (en) 1993-08-04
EP0395274B1 (en) 1996-06-19
GB8909654D0 (en) 1989-06-14
EP0395274A2 (en) 1990-10-31
JP3047429B2 (ja) 2000-05-29
DE69027479D1 (de) 1996-07-25
US4992869A (en) 1991-02-12
GB2231752A (en) 1990-11-21
EP0395274A3 (en) 1992-01-08
DE69027479T2 (de) 1996-12-05

Similar Documents

Publication Publication Date Title
JPH0362692A (ja) 動き補償映像信号フォーマット変換装置
JPH0362691A (ja) 動き補償映像信号標準変換器
JPH0362690A (ja) 動き補正付きテレビジョン信号方式変換器
JPH02290385A (ja) 動きベクトル導出方法
JPH02290387A (ja) 動き補正付きテレビジョン信号方式変換器
JPH02290384A (ja) 動き補正付きテレビジョン信号方式変換器
JPH02290382A (ja) ビデオ信号をフィルム画像に変換する方法
JPH02290383A (ja) 動き補正付きテレビジョン信号方式変換器
US5027205A (en) Motion dependent video signal processing
JPH02290381A (ja) 動き補正付きテレビジョン信号方式変換器
EP0395268B1 (en) Motion dependent video signal processing
JPH0362689A (ja) 動き補正付きテレビジョン方式変換器
EP0395269B1 (en) Motion dependent video signal processing
JPH02290386A (ja) 動き補正付きテレビジョン信号方式変換器

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees