JP3845456B2 - 動き補正ビデオ信号処理方式 - Google Patents
動き補正ビデオ信号処理方式 Download PDFInfo
- Publication number
- JP3845456B2 JP3845456B2 JP26060794A JP26060794A JP3845456B2 JP 3845456 B2 JP3845456 B2 JP 3845456B2 JP 26060794 A JP26060794 A JP 26060794A JP 26060794 A JP26060794 A JP 26060794A JP 3845456 B2 JP3845456 B2 JP 3845456B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- motion
- video
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、動き補正ビデオ信号処理方式に関するものである。
【０００２】
【従来の技術】
動き補正ビデオ信号処理は、テレビジョン標準方式変換やビデオ対フィルム変換の如きビデオ処理の分野で使用されている。以前に提案された動き補正ビデオ処理装置の一例が英国公開特許出願ＧＢ−Ａ−２，２３１，７４９号に記載されており、これは、入力デジタルビデオ信号の時間的に隣接する映像（フィールド又はフレーム）の対を処理して対応する動きベクトルの組を発生するものである。この処理は映像の別々のブロックについて行われるので、各動きベクトルは夫々のブロックの内容の映像間の動きを表す。該動きベクトルの組は、更に処理されたあと動き補正補間器に供給され、該補間器は、入力映像間の動きを考えに入れながら、入力映像の対から出力映像を補間している。
【０００３】
上述の装置では、動きベクトルは次のようにして発生される。第１段階で、時間的に所要の出力映像の前を行く入力映像内の個々のサーチブロックを、時間的に当該出力映像の後に続く入力映像のサーチ区域内の複数のかようなブロックと比較する。各比較毎に、時間的に前後する入力映像の夫々のブロック内の対応する位置にあるピクセル間の絶対輝度差の計算を含む相関テストを行う。これらの絶対輝度差を合計して、比較した２つのブロック間の相関を示す相関値を発生する。時間的に後の映像のサーチ区域内のブロックで相関値が最も低いものは、時間的に前の映像のサーチブロックと相関があると考えられ、該サーチブロックからサーチ区域内の当該ブロックへの映像の動きを表す動きベクトルが発生される。
【０００４】
【発明が解決しようとする課題】
以前に提案された動き補正ビデオ信号処理装置に起こりうる問題点を、これより図１〜５を参照して説明する。
【０００５】
図１は、入力ビデオ信号の連続する２フィールド（ｆ０，ｆ１）間を速度Ｖで動く物体１０の１次元図である。上述のように、入力フィールドｆ０は、任意にサーチブロックの格子（例えば、図１のブロック２０，３０）に分割され、各サーチブロックが入力フィールドｆ１内の、複数のかようなブロックを含む夫々のサーチ区域４０と比較される。動きベクトル５０は、サーチブロック２０と最高の相関（即ち、最小の差）をもつサーチ区域４０内の位置に応じて発生される。
【０００６】
図２は、図１の入力フィールドｆ０のサーチブロックから発生した動きベクトルのアレイを示す。本例では、動きベクトルＶは、入力フィールドｆ０，ｆ１間の物体１０の動きを表すために、サーチブロック２０から発生されている。入力フィールドｆ０における周りのサーチブロックは動く物体を含まないので、それらのサーチブロックからはゼロ動きベクトルが発生される。
【０００７】
出力フィールドの複数のブロックの各々（位置が入力フィールドｆ０の各サーチブロックに対応する）に或るグループの動きベクトルを割当てるために、ベクトル減数処理を用いる。この動きベクトルのグループは、次のものから次の優先順序で選択される。
１．ゼロ動きベクトル、
２．入力フィールドｆ０の対応するサーチブロックから発生される動きベクトル（「局部」動きベクトル）、
３．入力フィールドｆ０の周囲のサーチブロックから発生される動きベクトル（「近隣」動きベクトル）、
４．入力フィールドｆ０全体において最も頻繁に現れる所定数の異なる動きベクトル（「広域」動きベクトル）。
【０００８】
出力フィールドの各ブロックの各ピクセルは、出力フィールドの当該ブロックに割当てられた動きベクトルのグループの中から１つの動きベクトルを用いて、２入力フィールドから補間される。
【０００９】
以前に提案された上述の装置では、ベクトル減数処理により出力映像の各ブロックに４つの動きベクトルのグループが割当てられている。あとの説明を簡単にするため、２つの動きベクトルのグルーブが出力映像のブロックに割当てられる場合を図３に示す。ブロック６０（位置が入力フィールドｆ０のサーチブロック２０に対応する）には、動きベクトルＶ及びゼロが割当てられる。動きベクトルＶはまた、出力映像の直ぐ隣りのブロック７０，８０にも（「近隣」動きベクトルとして）割当てられる。出力映像の残りのブロックには、動きベクトルＶは割当てられない。
【００１０】
図４は、出力映像の時間的位置が入力フィールドｆ０及びｆ１間の３／１０にあるときの出力映像の補間を示す。即ち、入力フィールドｆ０がｔ＝０の時間に発生し、入力フィールドｆ１がｔ＝１の時間に発生すると考えたとき、出力フィールドがｔ＝０．３の時間に発生する場合である。
【００１１】
物体１０の動きを表すためには、物体１０は出力フィールドの位置９０にて補間されるべきである。位置９０は、ベクトル減数時に動きベクトルＶが割当てられた、出力フィールドのブロック８０の中にある。したがって、物体１０は、動きベクトルＶを用いて正確に補間することができる。
【００１２】
これに対し、図５は、時間位置ｔ＝０．７における出力フィールドの補間を示す。この場合、物体１０が補間されるべき位置１００は、動きベクトルＶが割当てられなかった、出力フィールドのブロック１１０の中にある。したがって、動きベクトルＶを補間に使用できないので、物体１０を出力フィールドで正確に補間することができない。
【００１３】
よって、出力フィールドのブロックが、他のブロックからもっと適当な動きベクトルを「借りる」ことができるベクトル減数を用いるにも拘らず、出力フィールドの一部分を正確に補間するのに必要な動きベクトルが、ベクトル減数によって使用できなくなる（図５に示したような）事態が起こりうる。これは、２連続フィールド間を物体が急速に動き、その動きを表す動きベクトルがサーチブロックの大きさより著しく大きい場合に、特に問題となる。
したがって、本発明の課題は、かような問題を解決することである。
【００１４】
【課題を解決するための手段及び作用】
本発明は、入力ビデオ信号の時間的に隣接する入力映像の対応する対から出力ビデオ信号の出力映像を補間する、次の如き動き補正ビデオ信号処理装置を提供する。即ち、このビデオ信号処理装置は、
入力映像対の一方の夫々のサーチブロックの当該映像及び上記対の他方の映像間の映像の動きを表す動きベクトルを発生する手段と、
出力映像の時間的位置において空間的に分割された各ブロックのうち、各動きベクトルによって指し示されるブロックを検出する手段と、
出力映像の時間的位置における上記各ブロックについて、少なくとも、当該ブロックを指し示す動きベクトルと、当該ブロックと空間的に同じ位置にあるサーチブロックから発生した動きベクトルである局部動きベクトルとを含む動きベクトルの組の、当該ブロックのピクセルの補間の使用に対する適性を示す公算値を導出し、公算値の高い順の２以上の所定数の動きベクトルを当該ブロックに割当てる手段であって、当該ブロックを指し示す動きベクトルに対する公算値を、当該ブロックと、当該動きベクトルの方向に投影された当該動きベクトルに対応するサーチブロックとの間の交差面積に比例させて導出し、局部動きベクトルに対する公算値を、補間の使用に適することを示す定数として導出するものである、上記割当て手段と、
当該ブロックに割当てられた各動きベクトルによって指し示される入力映像対のテストブロック間の相関度を検出し、テストブロック間で最高相関度をもつ１つの動きベクトルを選択する手段と、
選択された１つの動きベクトルを用いて、入力映像対から出力映像の各ブロックのピクセルを補間する動き補正補間器とを具える。
【００１５】
本発明によれば、各動きベクトルが、当該動きベクトルによって指し示される、出力映像のブロックに割当てられる。こうすれば、適正な動きベクトルを該動きベクトルが関係する映像部分の補間に使用することができなかった上述の問題が回避される。
【００１６】
補間に用いる動きベクトルの選択幅を与え、特定のブロックを指し示す動きベクトルがないという事態に備えるために、動きベクトルの組は、対応するサーチブロックに対する局部動きベクトルを含む。
【００１８】
出力映像の各ブロックについて、局部動きベクトルは、公算値として、補間の使用に適することを示す定数を有する。
出力映像の各ブロックについて、当該ブロックを指し示す動きベクトルに対する公算値は、当該ブロックと、当該動きベクトルの方向に投影された当該動きベクトルに対応するサーチブロックとの間の交差面積に比例する。
【００１９】
例えば、動く物体が僅かに隣接ブロックと重なる場合に適当な動きベクトルを与えるため、動きベクトルの組は、出力映像の当該ブロックに隣接する複数ブロックを指し示す複数の動きベクトルを含むのがよい。
【００２０】
この場合、出力映像の各ブロックについて、当該ブロックに隣接するブロックを指し示す動きベクトルに対する公算値は、当該ブロックと、該動きベクトルの方向に投影された該動きベクトルに対応するサーチブロックとの間の交差面積に比例するのがよい。
【００２１】
出力映像の各ブロックについて、当該ブロックに隣接するブロックを指し示す動きベクトルに対する公算値は、上記隣接するブロックについての該動きベクトルに対する公算値よりも低く、且つ、当該ブロックが該動きベクトルの方向に沿っていない位置にある場合よりも該動きベクトルの方向に沿った位置にある場合に高く決まるのがよい。
【００２２】
本装置は、複数の局部動きベクトルのうち最も共通するものから選択された複数の異なる動きベクトルを含む広域動きベクトルを導出する手段を具えるのがよい。この場合、広域動きベクトルを補間処理に関与させるため、動きベクトルの組は広域動きベクトルを含むのがよい。
【００２３】
ただし、広域動きベクトルの動きに関係しない出力映像部分を表すブロックに広域動きベクトルが割当てられるのを避けるため、本装置は、出力映像の各ブロックについて、当該ブロックにおける局部動きベクトルと各広域動きベクトルとを比較し、当該局部動きベクトルが各広域動きベクトルと同一又は類似か否かを示す、広域ベクトル・マスクを導出する手段を具えるのがよい。また、出力映像の時間的位置における各ブロックについて、各広域動きベクトルに対する公算値は、同一又は類似であることを示す広域動きベクトル・マスクが導出された広域動きベクトルでは一定値に決まり、同一又は類似でないことを示す広域動きベクトル・マスクが導出された広域動きベクトルではゼロに決まるのがよい。
【００２４】
好適な具体構成では、本装置は、各広域動きベクトルについて、当該広域動きベクトルの発生頻度と、当該広域動きベクトルと垂直又は水平成分が近い動きベクトルの発生頻度とを合算し、いずれかの広域動きベクトルについて合算した発生頻度が、入力映像対全体にわたって発生された動きベクトルの数に対して所定比率を越えているかどうかを検出することにより、入力映像のパンされる（上下左右の）動きを検出する手段を具えるのがよい。この場合、割当て処理において一層大きな重みを広域動きベクトルに与えてもよい。詳しくは、出力映像の各ブロックについて、入力映像のパン運動が検出され、且つ、同一又は類似であることを示す広域動きベクトル・マスクが導出された広域動きベクトルに対しては、公算値を増すのがよい。
【００２５】
また、補間に使用できる動きベクトルの選択範囲を増すために、割当て手段は、出力映像の各ブロックに、動きベクトルの組のうち公算値の高い順の２以上の所定数の動きベクトルと、ゼロ動きベクトルとを割当てる動作をするのがよい。これは、他に適当な動きベクトルが見付からないとき、本装置の動作が非動き補正装置の動作より悪くはならないことを意味する。
【００２７】
本発明は、種々のフォーマットの入力及び出力ビデオ信号に適用できるが、入力映像は、入力飛越しビデオ信号の連続するフィールドを含むものがよい。また、出力映像は、出力飛越しビデオ信号のフィールドを含むのがよい。
【００２８】
本発明による装置は、出力ビデオ信号の各出力映像の時間的位置を決め、各出力映像の補間に用いるために、入力ビデオ信号の各入力映像のうち当該出力映像に時間的に最も近い入力映像の対を選択する手段を有し、入力映像の対から出力映像を補間することによって入力ビデオ信号のテレビジョン標準方式を変換するテレビジョン方式変換装置に用いて好適である。
【００２９】
本発明は、他の面からみて、出力ビデオ信号の出力映像を入力ビデオ信号の時間的に隣接する入力映像の対応する対から補間する動き補正ビデオ信号処理方法を提供する。その方法は、
入力映像対の一方の夫々のサーチブロックの、当該映像及び上記対の他方の映像間の映像の動きを表す動きベクトルを発生するステップと、
出力映像の時間的位置において空間的に分割された各ブロックのうち、各動きベクトルによって指し示されるブロックを検出するステップと、
出力映像の時間的位置における上記各ブロックについて、少なくとも、当該ブロックを指し示す動きベクトルと、当該ブロックと空間的に同じ位置にあるサーチブロックから発生した動きベクトルである局部動きベクトルとを含む動きベクトルの組の、当該ブロックのピクセルの補間の使用に対する適性を示す公算値を導出し、公算値の高い順の２以上の所定数の動きベクトルを当該ブロックに割当てるステップであって、当該ブロックを指し示す動きベクトルに対する公算値を、当該ブロックと、当該動きベクトルの方向に投影された当該動きベクトルに対応するサーチブロックとの間の交差面積に比例させて導出し、局部動きベクトルに対する公算値を、補間の使用に適することを示す定数として導出するものである、上記割当てステップと、
当該ブロックに割当てられた各動きベクトルによって指し示される入力映像対のテストブロック間の相関度を検出し、テストブロック間で最高相関度をもつ１つの動きベクトルを選択するステップと、
選択された１つの動きベクトルを用いて、入力映像の対から出力映像の各ブロックのピクセルを補間するステップとを含む。
【００３０】
【実施例】
以下、図面により本発明を具体的に説明する。
図６は、本発明を用いうる動き補正テレビジョン（標準）方式変換装置を示すブロック図である。本装置は、入力飛越しデジタルビデオ信号２５０（例えば、１１２５／６０、２：１高精細度ビデオ信号（ＨＤＶＳ））を受信し、出力飛越しデジタルビデオ信号２６０（例えば、１２５０／５０、２：１信号）を発生するものである。
【００３１】
入力ビデオ信号はまず、入力バッファ・パッカー３１０に供給される。通常精細度入力信号の場合、入力バッファ・パッカー３１０は、映像データを高精細度（１６：９縦横比）フォーマットに変え、必要に応じ黒ピクセルを詰める。ＨＤＶＳ入力の場合、入力バッファ・パッカー３１０は、単にデータを一時記憶するだけである。
【００３２】
データは、入力バッファ・パッカー３１０からマトリクス回路３２０に送られ、該回路では（必要に応じ）入力ビデオ信号の測色法を標準の「ＣＣＩＲ 勧告６０１」（Ｙ，Ｃｒ，Ｃｂ）測色法に変換する。
【００３３】
入力ビデオ信号は、マトリクス回路３２０からタイムベース変換（ＴＢＣ）及びディレー（遅延）回路３３０に、またサブサンプラー３７０を介してサブサンプルされたＴＢＣ及びディレー回路３８０に送られる。ＴＢＣ及びディレー回路３３０は、出力ビデオ信号の各フィールドの時間位置を決め、出力フィールドの補間に用いるため、当該出力フィールドに時間的に最も近い２フィールドの入力ビデオ信号を選択する。出力ビデオ信号の各フィールドのために、上記ＴＢＣ回路で選択された２入力フィールドは、当該出力フィールドを補間する補間器３４０に送る前に適正に遅らされる。制御信号ｔは、各出力フィールドの選択された２入力フィールドに対する時間位置を指示するもので、タイムベース変換（ＴＢＣ）及びディレー回路３３０から補間器３４０に供給される。
【００３４】
サブサンプルされたＴＢＣ及びディレー回路３８０も、同様な動作をするが、サブサンプラー３７０により供給される空間的にサブ（ダウン）サンプルされたビデオを使用する点が異なる。上記ＴＢＣ回路３３０で選択されたフィールド対に対応するフィールド対が、サブサンプルされたＴＢＣ及びディレー回路３８０によりサブサンプルされたビデオから選択され、動きベクトルの発生に使用される。
【００３５】
ＴＢＣ回路３３０及び３８０は、入力ビデオ信号、出力ビデオ信号又はその双方に関連した同期信号に従って動作することができる。ただ１つの同期信号しか供給されない場合、上記２ビデオ信号の他方のフィールドのタイミングは、ＴＢＣ回路３３０，３８０で決定論的に発生することができる。
【００３６】
サブサンプルされたＴＢＣ及びディレー回路３８０によって選択された、サブサンプルされた入力ビデオ信号のフィールド対は、ブロック突合せ器３９０、相関面処理器４００、動きベクトル推定器４１０、動きベクトル減数器４２０、動きベクトル選択器４３０及び動きベクトルあと処理器４４０より成る動き処理装置３８５に供給される。上記入力フィールド対はまずブロック突合せ器３９０に送られ、そこで、選択された２入力フィールドのうち時間的に早いものにおけるサーチブロックと、上記２入力フィールドのうち時間的に遅いものにおける（より大きい）サーチ区域との間の空間的相関を表す相関面を計算する。
【００３７】
相関面処理器４００は、ブロック突合せ器３９０より出力された相関面から多数の補間された相関面を発生し、これらは動きベクトル推定器４１０に送られる。動きベクトル推定器４１０は、補間された相関面における最大相関点を検出する。（元の相関面は実際上２入力フィールドのブロック間の差を表すので、最大相関点は相関面では最小点になる。よって、以下「最小点」という。）最小点を検出するために、相関面に点を補足して補間し、相関面発生のためにサブサンプルされたビデオを用いたことにより生じる解像度のロスを或る程度補償する。動きベクトル推定器４１０は、検出した各相関面における最小点から動きベクトルを発生し、これを動きベクトル減数器４２０に送る。
【００３８】
動きベクトル推定器４１０はまた、発生した各動きベクトルについて確認（信頼）テストを行い、当該動きベクトルが平均データレベルよりかなり上にあるかをどうかを確かめ、確認テストの結果を示す確認フラグを各動きベクトルに付ける。確認テストは、「閾値」テストとして知られ、前記ＧＢ−Ａ−２，２３１，７４９号に（図６の装置の幾つかの他の特色と共に）記載されている。
【００３９】
動きベクトル推定器４１０はまた、各ベクトルが偽物であるかどうかを検出するテストも行う。このテストでは、相関面（検出した最小点の周りの除外域は除く。）を調べて次の最小点を検出する。この２番目の最小点が除外域のエッジ（端縁）にない場合、最初の最小点から導出された動きベクトルは、偽物の可能性があるものとしてフラグが付けられる。
【００４０】
動きベクトル減数器４２０は、出力フィールドの各ピクセルについて可能性のある動きベクトルの選択幅を減らしてから、動きベクトルを動きベクトル選択器４３０に送る。出力フィールドは、概念的に複数のピクセルブロックに分割される。それら各ブロックは、出力フィールド内に上記選択された入力フィールドのうち早いものにおけるサーチブロックと対応する位置を有する。動きベクトル減数器は、４つの動きベクトルのグループを出力フィールドの各ブロックに対応させ、当該ブロック内の各ピクセルは、当該グループの４動きベクトルの選択された１つを用いて補間される。
【００４１】
「偽物」としてフラグを付けられたベクトルは、すぐ近くのブロックにおけるフラグの付かないベクトルと同一である場合、ベクトル減数時に再適格化される。
【００４２】
動きベクトル減数器４２０は、その機能の一部として、「適正な」動きベクトル（即ち、確認テスト及び偽物テストに合格した動きベクトル、又は偽物でないと再適格化されたもの）の発生頻度を、それらの動きベクトルを得るのに用いた入力フィールドのブロックの位置を考慮することなくカウントする。適正な動きベクトルをそれから、頻度が減少する順に格付けする。互いにかなり異なる適正動きベクトルのうち最も共通するものを、「広域」動きベクトルとして分類する。確認テストに合格した３つの動きベクトルがそれから、出力ピクセルの各ブロックに対して選択され、ゼロ動きベクトルと共に、動きベクトル選択器４３０に送られ更に処理される。出力フィールドの各ブロックに対する３つの動きベクトルの選び方は、あとで詳しく述べる。
【００４３】
動きベクトル選択器４３０は、サブサンプルされたＴＢＣ及びディレー回路３８０によって選択され、動きベクトルの計算に使用された２入力フィールドをも入力として受信する。これらのフィールドは、適当に遅延されて、動きベクトル選択器４３０にこれらのフィールドから導出されたベクトルと同時に供給される。動きベクトル選択器４３０は、出力フィールドのピクセル当たり１つの動きベクトルを含む出力を供給する。この動きベクトルは、動きベクトル減数器４２０によって供給される当該ブロックに対する４つの動きベクトルから選択される。
【００４４】
ベクトル選択プロセスは、被テスト（テストされている）動きベクトルによって指し示される２つの入力フィールドのテストブロック間の相関度の検出を含んでいる。テストブロック間の最大相関度をもつ動きベクトルが、出力ピクセルの補間に使用するために選択される。ベクトル選択器はまた、「動きフラグ」を発生する。このフラグは、ゼロ動きベクトルによって指し示されるブロック間の相関度がプリセットされた閾値より大きい場合、「静止」（動きなし）にセットされる。
【００４５】
ベクトルあと処理器４４０は、動きベクトル選択器４３０により選択された動きベクトルのフォーマットを、画像の垂直又は水平のスケーリングがある場合これを表すように改め、このフォーマットを変えたベクトルを補間器３４０に供給する。補間器３４０は、動きベクトルを用いて、ＴＢＣ及びディレー回路３３０により選択された対応する２つの（サブサンプルされない）飛越し入力フィールドから出力フィールドを補間する。この場合、現在補間器３４０に供給されている動きベクトルによって示されるいかなる映像の動きをも考慮しながら補間を行う。
【００４６】
動きフラグが、現在の出力ピクセルが映像の動き部分内に在ることを示す場合、補間器に供給される２つの選択されたフィールドからのピクセルが、出力フィールドの上記２入力フィールドに対する時間位置（制御信号ｔで示される如き）に応じて、相対的比率で結合される。即ち、より近い入力フィールドがより大きな比率で結合される。動きフラグが「静止」にセットされている場合、時間的加重（重み付け）は各入力フィールドの５０％に固定される。補間器３４０の出力は、出力バッファ３５０に送られ高精細度出力信号として出力されると共に、通常精細度変換器（ダウンコンバータ）３６０にも送られ通常精細度出力信号３６５として出力される。
【００４７】
ダウンコンバータ３６０は、本装置の出力（例えば、高精細度ビデオ信号）の表示を従来精細度の装置を用いてモニタしたり、送信したり、又は記録したりすることを可能とする。これは、従来精細度記録機器が高精細度機器よりかなり安価で、遙かに広く普及しているので、有益である。例えば、夫々地上及び衛星チャンネルによって送信するには、通常及び高精細度ビデオの同時出力が必要であろう。
【００４８】
サブサンプラー３７０は、マトリクス３２０より受信した入力ビデオフィールドを水平及び垂直方向に空間的にサブ（ダウン）サンプリングしてから、それらの入力フィールドをタイムベース変換（ＴＢＣ）及びディレー回路３８０に供給する。水平サブサンプリングは、入力フィールドがまず半帯域幅ローパスフィルタ（２：１水平デシメーション（間引き）の本例の場合）により予めフィルタリング（ろ波）され、各ビデオラインに沿ってビデオサンプルが１つおきに捨てられ、これによって、各ビデオラインに沿うサンプルの数が半分に減るという点において、容易な動作である。
【００４９】
入力フィールドの垂直サブサンプリングは、本例では、入力ビデオ信号２５０が飛越し走査されているため、複雑である。これは、各飛越しフィールドにおけるビデオサンプルの連続するラインが実効的に２つのビデオラインに分かれ、各フィールドにおけるラインが前後のフィールドのラインより完全フレームの１ビデオラインだけ垂直にずれていることを意味する。
【００５０】
垂直サブサンプリングの１つの方法は、プログレッシブ（連続又は順次）走査変換を行い（各々が１１２５ラインをもつ連続するブログレッシブ走査されたビデオフレームを発生し）、該プログレッシブ走査されたフレームを２の率でサブサンプルして、垂直サブサンプルを行うことであろう。しかし、効率のよいプログレッシブ走査変換は、或る程度の動き補正処理を必要とし、その処理が動き処理装置３８５の動作に悪い影響を与えることがある。更に、高精細度ビデオ信号の実時間プログレッシブ走査変換は、特別に強力で複雑な処理装置を必要とすることであろう。
【００５１】
垂直空間サブサンプリングのもっと簡単な方法は、図７に示すように、入力フィールドをまず垂直方向にローパスろ波し（潜在的エイリアシングを減らすため）、次いで、各ピクセルを垂直方向にビデオラインの１／２だけ下方（偶数フィールドの場合）又は上方（奇数フィールドの場合）に実効的にずらす如きろ波を行うことである。その結果得られるずれたフィールドは、２の率で垂直方向にサブサンプルされたプログレッシブ走査フレームとほぼ均等である。
【００５２】
したがって、要約すると、上述したサブサンプリング動作の結果、動き処理装置３８５は、水平及び垂直方向に２の率で空間的にサブサンプルされた入力フィールド対について動作することになる。これにより、動きベクトル推定に要する処理が１／４に減少する。
【００５３】
これより、動きベクトル減数器４２０の動作を説明する。
動きベクトル減数器４２０では、動きベクトルをそれらのベクトル方向に沿って投影して出力フィールドに交差させ、これらのベクトルを投影された位置でのベクトル選択に供する。このプロセスの例を図８に示す。図８では、動きベクトルＶが出力映像のブロック１１０に投影されている。よって、ブロック１１０のピクセルを入力フィールドｆ０及びｆ１間における物体１０の動きを表すために補間するとき、正しい動きベクトル（Ｖ）を補間に使用することができる。
【００５４】
図９は、図８と類似しているが、動きベクトル投影の結果、出力フィールドの特定ブロックに対して１以上の動きベクトルが使用可能となる場合を示す。図９において、物体５００がこれに対応する動きベクトルＶａを有し、物体５１０がこれに対応する動きベクトルＶｂを有する。動きベクトルＶａ及びＶｂを夫々のベクトル方向に沿って投影すると、出力フィールドのブロック５２０に動きベクトルＶａ，Ｖｂの両方が割当てられることになる。そのとき、当該ブロックの各ピクセルの補間に用いて適切な動きベクトルは、ベクトル選択器によって決められる。
【００５５】
図９はまた、例えば、入力フィールドｆ０のブロック５３０から出力フィールドのブロック５４０（このブロックは、ブロック５３０と対応する位置にある。）へのゼロ動きベクトルの投影をも示す。
ブロック５５０の如き出力フィールドのブロックは、このブロック位置に投影される動きベクトルがない。ブロック５５０のようなブロックに１以上の動きベクトルを割当てるために、修正したベクトル減数処理により、出力フィールドの近隣ブロックに投影される動きベクトルを割当てることができる。
【００５６】
動きベクトルの投影を用いるベクトル減数処理を次に述べる。図１０は、最も共通する動きベクトル、即ち広域動きベクトルを検出する動きベクトル減数器４２０の一部を示す。図１０において、入力フィールドの個々の対から発生された動きベクトルはすべて、まず頻度アレイ６００に送られる。頻度アレイ６００は、各々が頻度値を記憶するメモリ位置のアレイを含む。各メモリ位置のアドレスは、動きベクトルの考えられる値の夫々の水平及び垂直成分に等しい。各動きベクトルを受信するに従い、対応するメモリ位置における頻度値がインクリメントされる。
【００５７】
動きベクトル全部の頻度値が頻度アレイ６００に記憶され終わると、頻度アレイはアレイ走査器６１０によって走査される。アレイ走査器６１０は、フィールドの当該特定の対に対して発生された動きベクトルの全体から、少なくとも所定量だけ異なる８つの最もよく現れる動きベクトルを検出する。これら８つの最もよく現れる動きベクトルは、「広域」動きベクトルと呼ばれ、図１０の装置から出力され更に処理される。
【００５８】
図１１は、動きベクトル減数器４２０の一部をなす広域ベクトルマスク発生器を示すブロック図である。
図１１において、夫々のサーチブロックから発生された局部動きベクトル及び関連する確認フラグは、ベクトルアレイメモリ６８０に記憶される。各局部ベクトルは、該ベクトルが導出された入力フィールド対の先行するフィールドにおけるサーチブロックの位置に対応する、ベクトルアレイメモリ６８０内の位置に記憶される。
【００５９】
同時に、図１０の広域ベクトル検出器により導出された８つの広域ベクトルの各々は、６８１で全体的に示した８つの比較器の夫々１つの一方の入力に供給される。（実際には、８つの広域ベクトルの各々を夫々の広域ベクトルメモリに記憶し、その内容を繰返して読出し、必要に応じて対応する比較器６８１の入力に供給するようにしてもよい。）
【００６０】
アドレス発生器６８２の制御の下に、局部動きベクトルをベクトルアレイメモリ６８０の連続する位置から次々に読出し、各局部ベクトルを読出しながら８つの比較器６８１の各々の他方の入力６８３に供給する。比較器６８１はそれから、局部動きベクトルと、比較器の一方の入力に供給された８つの広域動きベクトルの各々とを同時に比較する。
【００６１】
各比較器６８１の出力は、同じくアドレス発生器６８２によりアドレスされる、対応するマスクアレイメモリ６８４を制御する。各比較器６８１において、広域動きベクトルが、現在比較器に供給されている局部動きベクトルの所定の許容誤差６８５の範囲内にあれば、比較器６８１は、ベクトルアレイメモリ６８０における局部動きベクトルの位置に対応するマスクアレイメモリ６８４内の位置にあるマスクビットを「１」にセットする。広域ベクトルが、局部動きベクトルの所定許容誤差６８５の範囲内になければ、比較器６８１は上記マスクビットを「０」にセットする。比較器６８１に供給される許容誤差６８５の代表的な値は、例えば、水平及び垂直方向に±１ピクセルであろう。
【００６２】
こうして、各局部動きベクトルが順次ベクトルアレイメモリ６８０から読出されるにつれ、各マスクアレイメモリ６８４に、当該局部動きベクトルが、各マスクアレイメモリ６８４が対応する広域動きベクトルと同一又は類似かどうかを示すマスクビットがセットされる。与えられた局部動きベクトルと比較の結果セットされるマスクビットの位置は、ベクトルアレイメモリ６８０内の当該ベクトルの位置、即ち、該局部ベクトルが対応するブロックの原入力映像における位置に対応する。入力映像に対するすべての局部ベクトルについてこれが繰返され、広域マスクアレイ又はビットフィールドが各々マスクアレイメモリ６８４に作り上げられる。各広域マスクアレイは、広域動きベクトル及び原入力映像のブロック間の結びつき、即ち対応を示す。
【００６３】
図１２は、静止物体（窓７００）と動く物体（車７１０）を含む映像の一部を示す図である。車７１０の動きを表す動きベクトルの広域マスクアレイを図１３に示す。
【００６４】
図１３において、広域マスクアレイ７２０は、図１２に示す原入力映像に対応するものである。図示の広域マスクアレイ７２０は、図１２の車の動きに対応する広域動きベクトルと、映像全体にわたって導出された局部動きベクトルとの比較によって得られたものである。黒い正方形は、「セットされた」マスクビット、即ち、広域動きベクトルと入力映像内の対応位置にあるブロックとのつながりを示す、「１」にセットされたマスクビット、又はアレイエントリを示す。したがって、予想されるように、図１２の動く車の部分を含むブロックに対応する殆どのマスクビットは、マスクアレイ７２０においてセットされている。
【００６５】
しかし、例えば入力信号におけるノイズによって生じるエラーのため、動く車の体内のブロックに対応する幾つかのマスクビットがセットされていないことに気が付くであろう。同じく、広域マスクアレイ７２０は、入力映像の静止部分に対応する幾つかのマスクビットがセットされることを示している。広域マスクにおけるかようなエラーをなくすため、図１１のマスクアレイメモリ６８４に記憶された各広域マスクに多段マスク調整処理操作を施す。この操作は、実効的に、各々が対応するマスクアレイメモリ６８４に接続された夫々の多段フィルタ６８６によって行われる多段フィルタリング（ろ波）操作である。このろ波処理の第１段階で行われる操作を、これより図１４を参照して説明する。
【００６６】
図１４は、図１３に示したマスクアレイ７２０の如き広域マスクアレイの一部拡大図である。同図において、黒い正方形はセットされたマスクビット（値「１」）を表し、白い正方形はセットされないマスクビット（値「０」）を表す。フィルタ６８６によるろ波操作の第１段階で、各マスクビットを、テストされている（被テスト）マスクビット（中心マスクビット）の周囲の３×３のマスクビット・グルーブの中の８つのマスクビットと一緒に考える。各３×３グルーブについて、セットされたマスクビットの数を決定し、これを所定の第１段階閾値と比較する（本例では、この第１段階閾値は、例えば４又は５に設定してよい。）。セットされたマスクビットの数が第１段階閾値を越え、且つ中心マスクビットがセットされていない場合（図１４に示すような場合）、中心マスクビットがセットされる。
【００６７】
したがって、或るセットされないマスクビットの周りの十分な数のマスクビットがセットされておれば、セットされないマスクビットを、セットされたマスクビットを示す「１」にセットする。３×３グルーブ内のセットされたマスクビットの総数が第１段階閾値を越えず、且つ中心マスクビットがセットされていなければ、中心マスクビットはそのままである。
【００６８】
逆に、３×３グルーブ内のセットされたマスクの総数が第１段階閾値を越えないのに、中心マスクビットがセットされておれば、中心マスクビットは、セットされないマスクビットを示す「０」にリセットされる。３×３グルーブ内のセットされたマスクビットの総数が第１段階閾値を越え、且つ中心マスクビットがセットされておれば、中心マスクビットはそのままである。
【００６９】
ろ波処理時にマスクビットをリセットしても、その段階における残りのろ波操作には影響しない。これは、例えば、未ろ波マスクビットが読出されているメモリアレイとは別のメモリにろ波済みマスクビットを記憶させることにより、達せられる。ただし、この場合、未ろ波マスクビットの読出しと既ろ波マスクビットの出力との間に十分な遅れがあって、或るマスクビットがリセットされたことが当該段階の残りのろ波操作時に考慮されないように、フィルタを配置する。
【００７０】
４又は５という比較的高い第１段階閾値での第１段階ろ波操作は、図１３に示す如き広域マスクアレイに対し、図１２の車に対応するマスクアレイ７２０の範囲における偽（にせ）のギャップを「埋め」、同じく図１２の映像の静止部分に対応する偽のセットされたマスクビットを消すという効果を与えることになる。即ち、第１段階ろ波操作の効果は、元の広域マスクアレイにおける偽のエラーをなくすことである。
【００７１】
しかし、第１段階ろ波処理には、図１２の車に対応するセットされたマスクビットのグループの全体の面積を「縮める」という副作用がある。これは、車の外縁に対応するセットされたマスクビットについては、その端縁から向こうのブロックに対するマスクビットがセットされず、且つ、これらが十分な数に達すると、車の端縁に対応する、最初にセットされたマスクビットが「０」にリセットされるからである。この作用に対抗するため、ろ波操作のあとの段階で閾値を減らして、ろ波操作を繰返す。例えば、第１段階後、第１段階ろ波操作で生じた広域マスクを、２又は３に設定した所定の閾値で再びフィルタ６８６に加えればよい。これは、広域マスクアレイにおいてセットされたマスクビットの面積を、最初の未ろ波マスクアレイにおける面積とほぼ同じになるように「広げる」（勿論、偽のエラーなしに）効果を有する。
【００７２】
実際には、ろ波操作を第１段階後（より低い閾値で）或る回数繰返し、最初の未ろ波マスクと比べて、広域マスクにおけるセットされたマスクビットの面積が全体的にやや広がるようにするのがよい。本例では、ろ波操作を、高い閾値での第１段階ろ波操作のあと３又は４回もっと低い閾値で繰返す。これは、与えられた広域ベクトルの適用を広域ベクトルが局部ベクトルの許容誤差６８５の範囲内にあったブロックの近隣ブロックをほんの少し越えるブロックまで拡大する効果を有する。即ち、ろ波操作に十分な段階を追加することにより、広域ベクトルの適用を、未ろ波広域マスクにおいて対応するマスクビットがセットされたブロックに隣接するブロックを越えて拡大するのである。
【００７３】
図１３に示した未ろ波広域マスクアレイ７２０について、最終的なろ波された広域マスクアレイ７３０を図１５に例示する。同図から、セットされたマスクビットが、図１２の車に対応する広域動きベクトルと、映像内の車の面積との間の対応関係を遙かに正確に示していることが判るであろう。
【００７４】
勿論、フィルタ６８６に２次元ＦＩＲ（有限インパルス応答）３×３フィルタを用いてもよく、その場合、係数をすべて１に設定し、出力が比較器への入力となる加算器に９個のタップを接続する。該比較器の他方の入力に関連する閾値を供給する。該比較器の出力は、ろ波された広域マスクアレイを形成し、必要に応じて調整した閾値と共に再び次の段階のフィルタ入力に加えることができる。
【００７５】
したがって、フィルタ６８６から出力されるろ波済み広域マスクアレイは、各広域ベクトルに対し１つずつ、広域ベクトル制限器６８４によって出力される。
【００７６】
図１６は、出力フィルタの各ブロックに割当てるべき３つの動きベクトルを選択する作用をする、動きベクトル減数器４２０の更に他の部分を示すブロック図である。
図１６には、入力ベクトルメモリ８００、位置発生器８１０、隣接オフセット加算器８２０、ベクトル投影加算器８３０、乗算器８４０、出力ベクトルメモリ８５０、公算メモリ８６０、公算処理器８７０、比較器８８０，８９０及びラッチ９００が示されている。
【００７７】
出力ベクトルメモリ８５０は、３つのメモリ（番号１，２，３を付す）に常時ゼロ動きベクトルを保持する１つのメモリを加えたものと考えられる。同様に、公算メモリ８６０も、実際には３つの公算メモリ（同じ番号１，２，３を付す）を含む。
【００７８】
図１６の装置の動作をこれより図１７〜２７を参照して説明する。しかし、図１６の装置（特に公算処理器８７０）の基本動作は、夫々の「公算」（見込み、確率）を出力フィルタの各ブロックに対する各広域ベクトル、各局部ベクトル及び各投影（された）局部ベクトルに割当てることである。この処理の間、各ブロックに対し現在最も高い３つの公算を公算メモリ８６０に記憶させ、それらの公算値に対応する動きベクトルを出力ベクトル８５０に記憶させる。
【００７９】
位置発生器８１０は、入力フィルタにおける考えられるすべてのブロックアドレスを循環するアドレスカウンタを発生する（各アドレスに対し、動きベクトルが入力ベクトルメモリに記憶されている。）。
【００８０】
投影されるベクトルを考えるに、乗算器８４０は、各動きベクトルに、出力フィールドの時間位置（図６のタイムベース変換器から得られる）を１ブロックにおけるピクセル数（ブロックサイズ）で割ったものを乗じる。これは、ベクトル投影加算器８３０によって、位置発生器８１０が出力する現在のアドレス及び隣接オフセット（ｉ，ｊ）に加算される。ベクトル投影加算器８３０は、ベクトル方向に沿って投影された架空のサーチブロックの左下隅による、交差されるブロックの整数アドレスＦと、投影されたブロック位置の小数部を表す小数アドレスｆ（ただし、０≦ｆ＜１）とを出力する。
【００８１】
広域ベクトル、局部ベクトル及び投影（された）局部ベクトルのすべてに対する公算値を考慮し終わったとき、出力ベクトルメモリ８５０は、出力フィールドの各ブロックに対する３つの最も選ばれる見込みがあるベクトルを含有すると考えられる。これら３つの最も見込みがある動きベクトルは、ゼロ動きベクトルと一緒に出力ベクトルメモリ８５０から出力され、ベクトル選択器４３０に供給される。この基本動作を図１７のフローチャートに示す。同図は、個々の出力映像の各ブロックに４つの動きベクトルを割当てるために図１６の装置が行うステップを示している。
【００８２】
図１６及び１７において、ステップ９００で、出力ベクトルメモリ８５０及び公算メモリ８６０がリセット信号８５５によりリセットされる。これに伴い、出力ベクトルメモリ８５０に記憶された動きベクトルがゼロ動きベクトルに設定され、公算メモリ８６０に記憶された全公算値がゼロに設定される。
【００８３】
ステップ９１０で、局部動きベクトルに対する公算値が決定され、公算メモリ８６０に記憶される。このプロセスは、あとで図１８を参照して説明する。
ステップ９２０で、広域動きベクトルに対する公算値が決定され、記憶される。このプロセスは、図１９及び２０を参照してあとで説明する。
ステップ９３０で、投影動きベクトルに対する公算値が決定され、記憶される。このプロセスは、図２１〜２７を参照してあとで説明する。
【００８４】
ステップ９３０に続いて、局部動きベクトル、広域動きベクトル及び投影動きベクトル全部に対する公算値が考慮される。そうすれば、出力ベクトルメモリ８５０は、出力フィールドの各ブロックに対する３つの最も選ばれる見込みのあるベクトルを含有すると考えられる。したがって、図１７の最終ステップ９４０で、出力フィールドの各ブロックに対し、出力ベクトルメモリ８５０に記憶されたそれら３つの動きベクトル（これにゼロ動きベクトルを加えたもの）がベクトル選択器４３０に供給される。
【００８５】
図１８は、局部動きベクトルに対応する公算値を設定する図１７のステップ９１０を詳細に示すフローチャートである。これらの公算値は、入力フィールドｆ０における個々のサーチブロックから発生された動きベクトルが、当該サーチブロックと位置が対応する出力フィールドのブロックのピクセルの補間のための使用に適するという概念的な公算（可能性）を表すものである。
【００８６】
次の説明において、入力ベクトルメモリ８００に記憶された動きベクトルは、入力フィールドｆ０内の対応サーチブロックの水平及び垂直位置を表す夫々の水平及び垂直座標によってアドレスされるものとする。
図１８において、ステップ１０００で、出力ベクトルメモリ８５０及び公算メモリ８６０における位置のアドレスを表すアドレスカウンタが（０，０）に設定される。制御は、ステップ１０１０，１０２０，１０３０及び１０４０を含むループに回される。
【００８７】
ステップ１０１０で、公算変数は定数、即ちＬlocal に設定される。ステップ１０２０で、公算値及び現在の局部ベクトルの公算メモリ８６０及び出力ベクトルメモリ８５０への書込みを制御する書込みイネーブル（許可）信号Ｗ１，Ｗ２及びＷ３が導出される。これら３つの書込みイネーブル信号の導出は、次のＢoolean方程式によって決められる。
【００８８】
【数１】
【００８９】
上式における変数その他の記号の意味は、次のとおりである。
Ｗ１，Ｗ２，Ｗ３：３出力ベクトルメモリ８５０及び３公算メモリ８６０の夫々１つに対する書込みイネーブル信号
Ｌ1 ，Ｌ2 ，Ｌ3 ：公算メモリ８６０の夫々１つに記憶された公算値
Ｃ1 ，Ｃ2 ，Ｃ3 ：比較器８８０によって発生され、現在の動きベクトルが３出力ベクトルメモリ８５０の夫々１つに記憶された動きベクトルの１つに等しいかどうかを示す変数
Ｚ ：比較器８９０によって発生され、現在の動きベクトルがゼロ動きベクトルに等しいかどうかを示す変数
Ｌlocal ：上述のステップ１０１０で各局部動きベクトルに割当てられた一定公算値
【００９０】
いい換えると、書込みイネーブル（信号）Ｗ１（これは、公算メモリ及び出力ベクトルメモリの最初の１つへの現在の動きベクトルの書込みを制御する。）は、次の条件がすべて満たされると、セットされる。
(i) 現在公算メモリ１に保持されている公算値がＬlocal より小さくなければならないこと、及び
(ii) 公算メモリ１に保持されている公算値が、他の２つのどちらの公算メモリに保持されている公算値より小さいか、又は、現在考えている動きベクトルが現在出力ベクトルメモリ１に記憶されている動きベクトルと等しいこと、及び
(iii) 現在の動きベクトルがゼロでないこと、及び
(iv) 現在の動きベクトルが、他の２つの出力ベクトルメモリに現在記憶されている動きベクトルのどちらとも等しくないこと。
【００９１】
他の２つの書込みイネーブルＷ２及びＷ３も同様にして導出するが、上述の条件が２以上の書込みイネーブルに当てはまるとき、Ｗ１がＷ２に優先してセットされ、Ｗ２がＷ３に優先してセットされるように考慮する。
【００９２】
図１８に示す動作は、出力ベクトルメモリ８５０及び公算メモリ８６０がリセットされ終わると（ステップ９００）直ちに行われるので、Ｗ１は常にステップ１０２０でセットされることが明らかである。したがって、ステップ１０２０は、簡単な「Ｗ１をセットせよ」のステップで置換えてもよいことになる。しかし、本例では、ステップ１０２０での処理と類似の処理を、広域及び投影ベクトルに対する公算を設定するときにも使用する。３つの処理に類似の処理方法を用いると、装置が簡単になる。
【００９３】
ステップ１０３０で、入力ベクトルメモリ８００の現在のアドレスにある動きベクトルが、書込みイネーブルＷ１，Ｗ２及びＷ３の制御の下に出力ベクトルメモリ８５０の１つに書込まれる。同時に、ステップ１０１０で設定された公算（値）が、公算メモリ８６０の対応する１つの同じ位置に（同じく書込みイネーブルＷ１，Ｗ２及びＷ３の制御の下で）書込まれる。
【００９４】
ステップ１０４０で、アドレス値がインクリメントされる。アドレス値がその時（ｍａｘ−ｘ，ｍａｘ−ｙ）、即ち、全アドレスを考え終わったことを示す、ｘ及びｙ方向における最高値に達すると、処理は終了する。最大ｘ及びｙ値に達しなければ、制御は新しいアドレス値と共にステップ１０１０に回される。
【００９５】
図１９は、図１８と同様に、図１７のステップ９２０、即ち広域ベクトルに対する公算値の設定に含まれるステップを示す。
図１９に示す処理ステップは、８つの広域動きベクトルを考えるために、次のステップに進む前に１つ１つ８回繰返される。或いは、図１９全体のプロセスを８回繰返してもよい。
【００９６】
図１９におてい、出力ベクトルメモリ８５０及び公算メモリ８６０内の位置のアドレスを表すアドレスカウンタが、ステップ１１００で（０，０）に設定される。制御はそれから、ステップ１１１０，１１２０，１１３０及び１１４０を含むループへと進む。
【００９７】
ステップ１１１０で、アドレスカウンタにより指定される現アドレスにある各広域（動き）ベクトルに対し、公算値が発生される。この公算値は、次式により導出される。
公算＝ｇｍａｓｋ（ベクトル、アドレス）・Ｌg
上式においてｇｍａｓｋ（ベクトル、アドレス）は、当該位置の当該広域ベクトルに対する広域ベクトルマスク（例えば、図１５に示したマスク）の状態を表すものであり、値Ｌg は定数である。
【００９８】
いい換えると、考慮中の広域ベクトルに対する現アドレス位置に広域ベクトルマスクがセットされていれば、当該位置において当該ベクトルに公算値Ｌg が割当てられ、広域ベクトルマスクビットがセットされていなければ、公算値はゼロに設定されることになる。
【００９９】
ステップ１１２０で、上述と同様にして書込みイネーブル信号Ｗ１，Ｗ２及びＷ３が導出される。実際に使用される式は、次のとおりである
【０１００】
【数２】
【０１０１】
ステップ１１３０で、入力ベクトルメモリ８００内の現アドレスにある動きベクトルが、書込みイネーブルＷ１，Ｗ２及びＷ３の制御の下に出力ベクトルメモリ８５０の１つに書込まれる。同時に、ステップ１１１０で設定された公算が、公算メモリ８６０の対応する１つにおける同じ位置に（同じく書込みイネーブルＷ１，Ｗ２及びＷ３の制御の下で）書込まれる。
【０１０２】
ステップ１１４０で、アドレス値がインクリメントされる。アドレス値が（ｍａｘ−ｘ，ｍａｘ−ｙ）、即ち、全アドレスが考慮され終わったことを示す、ｘ及びｙ方向における最大値に達すると、処理は終了する。最大ｘ及びｙ値に達しなければ、制御は新しいアドレス値と共にステップ１１１０に回される。
【０１０３】
図１９の説明では、ステップ１１１０で割当てられた広域ベクトル公算は、当該位置における広域ベクトルマスクビットの状態と定数Ｌg とのみによって決定された。他の具体構成では、値Ｌg も変数である。この方法を次に図２０を参照して説明する。この図は、図１０の頻度アレイ６００の一部を示すものである。
【０１０４】
頻度アレイ６００において、アレイ内の１位置に記憶された頻度値Ｎは、アレイ内の当該頻度値のｘ及びｙアドレスに対応する水平及び垂直成分をもつ動きベクトルの発生頻度（入力フィールド対全体にわたる）を表す。実際には、前述のように、夫々動きベクトルが所定量以上異なる８つの最高頻度値を頻度アレイ６００の中で検出することにより、８つの広域動きベクトルを導出する。
【０１０５】
頻度アレイ６００または、映像全体のパンする動きの検出にも用いられる。この具体構成では、該検出を、広域ベクトルの１つの発生頻度を表す頻度値Ｎ1 の周りの３×３グリッドを形成する９つの頻度値Ｎ1 〜Ｎ9 を合算することによって行う。いい換えると、８つの広域ベクトルを導出するために上述のように８つの最高頻度値を検出し、それから、それら８つの値の各々の周りの３×３グリッドにおける頻度値を合算する。
【０１０６】
広域動きベクトルのどれか１つに対する３×３グリッドの頻度値の和が、映像対全体にわたって検出された有効な動きベクトルの数の所定比率（例えば、１／４）を越えると、これは、映像の大部分がほぼ同じ動きをしている（例えば、カメラのパンが行われている。）ことを示す。このことは、ベクトル減数処理でもっと大きな重みを広域ベクトルに与えてよいことを意味する。
【０１０７】
したがって、次の場合には「パン」フラグがセットされる。
パンフラグがセットされると、、これは、広域動きベクトルに対する公算値を増すべきであることを示す。これは、パンフラグがセットされたとき、値Ｌg を増すことによって行うことができる。
【０１０８】
図２１は、図１７のステップ９３０、即ち、投影局部動きベクトルに対する公算値の設定を行うのに必要なステップを詳細に示すフローチャートである。
図２１において、出力ベクトルメモリ８５０及び公算メモリ８６０における位置のアドレスを表すアドレスカウンタが、ステップ１２００で（０，０）に設定される。制御はステップ１２１０に進み、そこで、２つのオフセットカウンタｉ及びｊが夫々（０，０）の値にセットされる。
制御はそれから、ステップ１２２０，１２３０，１２４０及び１２５０を含むループに進む。
【０１０９】
ステップ１２２０で、アドレスカウンタにより指定される現アドレス、ベクトルの大きさと方向、及びオフセットカウンタによって決まる投影（された）アドレスにある各局部動きベクトルに対し、公算値が発生される。
【０１１０】
（ｉ，ｊ）＝（０，０）の場合、この公算値は次式より導出される。
ｇ（ｆ，０，０）＝（１−ｆX ）・（１−ｆy ）
ただし、ｆX はベクトル投影加算器８３０（図１６）によって発生される水平アドレス成分の小数部分、ｆy はベクトル投影加算器８３０によって発生される垂直アドレス成分の小数部分を示す。
【０１１１】
ｇ（ｆ，０，０）の値は、現在の動きベクトルに沿って投影された、入力フィールドの架空のサーチブロックと、ベクトル投影加算器８３０の出力の整数部分によって指定されるアドレスにおける出力映像のブロックとの間の交差面積を表す。該面積は、サーチブロックの面積の一部分として表すことができる。この概念を図２２に図式的に示す。同図において、陰影を付した面積１３００は、現動きベクトルに沿って投影されたサーチブロック１３１０と、ベクトル投影加算器８３０の出力の整数部分に対応するアドレス、即ちＦX ，Ｆy にある出力映像のブロック１３２０との交差面積を表す。図２２にはまた、その小数値ｆX 及びｆy をも示す。同図より、面積１３００は、ブロック１３２０の面積の一部分（１−ｆX ）・（１−ｆy ）に等しいことが明らかである。
【０１１２】
一般に、投影サーチブロックは、出力フィールドの２×２アレイの４つのブロックと交差する。これらの交差されるブロックの投影アドレスに対する位置は、オフセットカウンタ（ｉ，ｊ）によって指定される。図２３は、投影サーチブロック１３１０と、（０，１）だけ、即ち水平に０ブロック、垂直に１ブロックだけオフセットした（ずれた）ブロックとの間の交差面積１３３０を示す。図２４は、投影サーチブロック１３１０と、（１，０）だけ、即ち水平に１ブロック、垂直に０ブロックずれたブロックとの間の交差面積１３４０を示す。図２５は、投影サーチブロック１３１０と、（１，１）だけ、即ち水平に１ブロック、垂直に１ブロックずれたブロックとの間の交差面積１３５０を示す。
【０１１３】
これらの近隣ブロックに割当てるべき公算値は、夫々の交差面積を１ブロックの面積の一部分として計算することによって決定される。ただし、投影サーチブロックが出力映像のブロックと正確に重なる（一方又は両方の方向において）特殊な場合には、上記近隣ブロックに対する公算値を、交差されるブロックに対する公算値の或る比率として計算する必要がある。
【０１１４】
上記３つの近隣公算値の導出は、したがって次のようになる。
上式において、Ｔは定数（１より小さい）である。
【０１１５】
図２６は、図２３，２４，２５に示した２×２アレイのブロックを囲む１２の近隣ブロック１４００への公算（値）の割当てを示す。
図２６の各ブロックは、ブロック（１３２０）に対する夫々のオフセット値（ｉ，ｊ）と共に示してある。各ブロック１４００について、矢印は、当該ブロック１４００に対する公算を得るため、公算値をどのブロックから修正したかを示す。詳しくは、公算値をブロック１４００に割当てるための計算に、次の式を使用する。
ｇ（ｆ，−１，−１）＝ｇ（ｆ，０，０）・Ｔ
ｇ（ｆ，−１，０）＝ｇ（ｆ，０，０）・Ｔ
ｇ（ｆ，−１，１）＝ｇ（ｆ，０，１）・Ｔ
ｇ（ｆ，−１，２）＝ｇ（ｆ，０，１）・Ｔ
ｇ（ｆ，０，−１）＝ｇ（ｆ，０，０）・Ｔ
ｇ（ｆ，０，２）＝ｇ（ｆ，０，１）・Ｔ
ｇ（ｆ，１，−１）＝ｇ（ｆ，１，０）・Ｔ
ｇ（ｆ，１，２）＝ｇ（ｆ，１，１）・Ｔ
ｇ（ｆ，２，−１）＝ｇ（ｆ，１，０）・Ｔ
ｇ（ｆ，２，０）＝ｇ（ｆ，１，０）・Ｔ
ｇ（ｆ，２，１）＝ｇ（ｆ，１，１）・Ｔ
ｇ（ｆ，２，２）＝ｇ（ｆ，１，１）・Ｔ
これらの式において、Ｔは定数（１より小）である。
【０１１６】
図２１のステップ１２３０で、３つの書込みイーネブル信号が、現在の投影アドレス及び現オフセット値（ｉ，ｊ）にある現在の投影動きベクトルに対して導出される。書込みイネーブル信号の導出式は、次のとおりである。
【０１１７】
【数３】
【０１１８】
書込みイネーブル信号Ｗ１，Ｗ２及びＷ３に応答して、現在のベクトルが出力ベクトルメモリ８５０に書込まれ、公算は公算メモリ８６０に書込まれるが、そのアドレスは、ベクトル投影加算器８３０の現出力の整数部分、即ち、現ベクトルの投影アドレスにオフセット値（ｉ，ｊ）を加えたものに等しい。
【０１１９】
ステップ１２５０で、オフセット値（ｉ，ｊ）の次の組が選択され、制御はステップ１２２０に戻る。
上述の計算の相互依存性により、ステップ１２２０で上述の式の全部を計算するために、ステップ１２５０で、オフセットカウンタｉ及びｊを簡単に（−１，−１）から（２，２）へインクリメントできない。その代わりに、ステップ１２５０では、（ｉ，ｊ）の値を次の順序で（０，０）からスタートして（２，２）で終わるように変えている。
（０，０） （０，１） （１，０） （１，１）
（−１，−１） （−１，０） （−１，１） （−１，２）
（０，−１） （０，２）
（１，−１） （１，２）
（２，−１） （２，０） （２，１） （２，２）
【０１２０】
ステップ１２５０で全オフセット値を使用し終わると、制御はステップ１２６０に進み、そこでアドレスカウンタがインクリメントされる。制御は再びステップ１２１０に戻り、考えられる全アドレス値が考慮され終わるまで続けられる（そのとき、プロセスは終了する。）。
【０１２１】
図２７は、図１７のステップ９３０（投影ベクトルに対する公算値の設定）を行う図１６の装置の動作の考えられる他のモードを示す図である。図１７の残りのステップは、既に述べたように行うことができる。
【０１２２】
図２７において、連続２入力フィールドｆ０及びｆ１間での物体１５００の動きは、動きベクトル１５１０で表されている。動きベクトル１５１０の投影は、図１６に示したのと同じ方法で決定され、動きベクトル１５１０によって交差される出力フィールドのブロック１５２０が特定される。
【０１２３】
動きベクトル１５１０はそれから、（例えば）３の公算（値）でブロック１５２０に割当てられ、動きベクトルの方向によって変わる一層低い公算で隣接（近隣）ブロックに割当てられる。詳しくは、交差ブロック１５２０に対して右上及び左下の位置にある近隣ブロックには、他の近隣ブロックより高い公算が割当てられる。
【０１２４】
割当てる公算値を上述のように変化させると、動きベクトルの方向におおむね沿ってブロック１５４０に、動きベクトルの方向に沿っていないブロック１５５０より高い公算が当該動きベクトルに対して与えられる。ブロックが動きベクトルの方向に沿っているかどうかは、次のようにして決める。
ａ）動きベクトルが正の水平成分及び正の垂直成分をもつ場合、交差ブロックと左下及び右上の位置に隣接するブロックに、より高い公算値を与える。
ｂ）動きベクトルが正の水平成分及び負の垂直成分をもつ場合、交差ブロックと右下及び左上位置に隣接するブロックに、より高い公算値を与える。
ｃ）動きベクトルが非ゼロ水平成分及びほぼゼロの垂直成分をもつ場合、交差ブロックと水平方向に隣接するブロックに、より高い公算値を与える。
ｄ）動きベクトルが非ゼロ垂直成分及びほぼゼロの水平成分をもつ場合、交差ブロックと垂直方向に隣接するブロックに、より高い公算値を与える。
【０１２５】
動きベクトルが特定方向にゼロ又は非ゼロの成分を有するかどうかは、動きベクトル発生時の無作為（ランダム）ノイズの影響を補償するように、或る範囲の値を用いて決定することができる。例えば、±５ピクセルまでの成分をもつ動きベクトルは、当該方向にゼロ成分を有すると考えてよいであろう。
【０１２６】
【発明の効果】
以上説明したとおり、本発明によれば、以前に提案された動き補正ビデオ信号処理方式において、出力フィールドの一部分を正確に補間するのに必要な動きベクトルが、ベクトル減数処理によって使用できなくなる事態が発生するのを回避することができる。
【図面の簡単な説明】
【図１】入力ビデオ信号の２連続フィールド間を動く物体の１次元図である。
【図２】図１の入力フィールドから発生された動きベクトルのアレイを示す図である。
【図３】出力フィールドのブロックへの動きベクトルのグループの割当てを示す図である。
【図４】２入力フィールド間の３／１０時間位置にある出力フィールドの補間を示す図である。
【図５】２入力フィールド間の７／１０時間位置にある出力フィールドの補間を示す図である。
【図６】本発明を用いうる動き補正テレビジョン方式変換装置のブロック図である。
【図７】飛越しフィールドの垂直サブサンプリングの簡単な例を示す図である。
【図８】動きベクトルの投影の例を示す図である。
【図９】出力フィールドの１ブロックと２以上の投影動きベクトルとが交差する場合の、動きベクトルの投影の例を示す図である。
【図１０】図６の動きベクトル減数器の広域動きベクトルを検出する部分を示す図である。
【図１１】動きベクトル減数器内の広域ベクトルマスク発生器を示す図である。
【図１２】静止物体及び動く物体を含む映像の例を示す図である。
【図１３】図１２の車の動きベクトルの広域マスクアレイを示す図である。
【図１４】マスクろ波処理の第１段階操作の例を示す図である。
【図１５】ろ波された広域ベクトルマスクの例を示す図である。
【図１６】図１０の動きベクトル減数器の、出力映像の各ブロックに３つの動きベクトルを割当てる部分を示すブロック図である。
【図１７】図１６の装置の基本動作を示すフローチャートである。
【図１８】図１７のステップ９１０の詳細を示すフローチャートである。
【図１９】図１７のステップ９２０の詳細を示すフローチャートである。
【図２０】図１０の頻度アレイ６００の一部を示す図である。
【図２１】図１７のステップ９３０の詳細を示すフローチャートである。
【図２２】図２１の動作の説明に供する図（その１）である。
【図２３】図２１の動作の説明に供する図（その２）である。
【図２４】図２１の動作の説明に供する図（その３）である。
【図２５】図２１の動作の説明に供する図（その４）である。
【図２６】近隣ブロック１４００への公算値の割当てを示す説明図である。
【図２７】図１７のステップ９３０における他の動作（本発明の第２実施例の動作）を示す説明図である。
【符号の説明】
８００，８１０ 局部動きベクトル発生手段
８２０，８３０，８４０ 出力映像ブロック検出手段
８５０，８６０，８７０，８８０，８９０ 割当て手段（公算値導出手段及び最高の公算値をもつ所定数の動きベクトルを検出する手段）
６００，６１０ 広域ベクトル導出手段
６８１，６８４ 広域ベクトルマスク導出手段
３４０ 動き補正補間器
４３０ ベクトル選択器（動きベクトル選択手段）
【産業上の利用分野】
本発明は、動き補正ビデオ信号処理方式に関するものである。
【０００２】
【従来の技術】
動き補正ビデオ信号処理は、テレビジョン標準方式変換やビデオ対フィルム変換の如きビデオ処理の分野で使用されている。以前に提案された動き補正ビデオ処理装置の一例が英国公開特許出願ＧＢ−Ａ−２，２３１，７４９号に記載されており、これは、入力デジタルビデオ信号の時間的に隣接する映像（フィールド又はフレーム）の対を処理して対応する動きベクトルの組を発生するものである。この処理は映像の別々のブロックについて行われるので、各動きベクトルは夫々のブロックの内容の映像間の動きを表す。該動きベクトルの組は、更に処理されたあと動き補正補間器に供給され、該補間器は、入力映像間の動きを考えに入れながら、入力映像の対から出力映像を補間している。
【０００３】
上述の装置では、動きベクトルは次のようにして発生される。第１段階で、時間的に所要の出力映像の前を行く入力映像内の個々のサーチブロックを、時間的に当該出力映像の後に続く入力映像のサーチ区域内の複数のかようなブロックと比較する。各比較毎に、時間的に前後する入力映像の夫々のブロック内の対応する位置にあるピクセル間の絶対輝度差の計算を含む相関テストを行う。これらの絶対輝度差を合計して、比較した２つのブロック間の相関を示す相関値を発生する。時間的に後の映像のサーチ区域内のブロックで相関値が最も低いものは、時間的に前の映像のサーチブロックと相関があると考えられ、該サーチブロックからサーチ区域内の当該ブロックへの映像の動きを表す動きベクトルが発生される。
【０００４】
【発明が解決しようとする課題】
以前に提案された動き補正ビデオ信号処理装置に起こりうる問題点を、これより図１〜５を参照して説明する。
【０００５】
図１は、入力ビデオ信号の連続する２フィールド（ｆ０，ｆ１）間を速度Ｖで動く物体１０の１次元図である。上述のように、入力フィールドｆ０は、任意にサーチブロックの格子（例えば、図１のブロック２０，３０）に分割され、各サーチブロックが入力フィールドｆ１内の、複数のかようなブロックを含む夫々のサーチ区域４０と比較される。動きベクトル５０は、サーチブロック２０と最高の相関（即ち、最小の差）をもつサーチ区域４０内の位置に応じて発生される。
【０００６】
図２は、図１の入力フィールドｆ０のサーチブロックから発生した動きベクトルのアレイを示す。本例では、動きベクトルＶは、入力フィールドｆ０，ｆ１間の物体１０の動きを表すために、サーチブロック２０から発生されている。入力フィールドｆ０における周りのサーチブロックは動く物体を含まないので、それらのサーチブロックからはゼロ動きベクトルが発生される。
【０００７】
出力フィールドの複数のブロックの各々（位置が入力フィールドｆ０の各サーチブロックに対応する）に或るグループの動きベクトルを割当てるために、ベクトル減数処理を用いる。この動きベクトルのグループは、次のものから次の優先順序で選択される。
１．ゼロ動きベクトル、
２．入力フィールドｆ０の対応するサーチブロックから発生される動きベクトル（「局部」動きベクトル）、
３．入力フィールドｆ０の周囲のサーチブロックから発生される動きベクトル（「近隣」動きベクトル）、
４．入力フィールドｆ０全体において最も頻繁に現れる所定数の異なる動きベクトル（「広域」動きベクトル）。
【０００８】
出力フィールドの各ブロックの各ピクセルは、出力フィールドの当該ブロックに割当てられた動きベクトルのグループの中から１つの動きベクトルを用いて、２入力フィールドから補間される。
【０００９】
以前に提案された上述の装置では、ベクトル減数処理により出力映像の各ブロックに４つの動きベクトルのグループが割当てられている。あとの説明を簡単にするため、２つの動きベクトルのグルーブが出力映像のブロックに割当てられる場合を図３に示す。ブロック６０（位置が入力フィールドｆ０のサーチブロック２０に対応する）には、動きベクトルＶ及びゼロが割当てられる。動きベクトルＶはまた、出力映像の直ぐ隣りのブロック７０，８０にも（「近隣」動きベクトルとして）割当てられる。出力映像の残りのブロックには、動きベクトルＶは割当てられない。
【００１０】
図４は、出力映像の時間的位置が入力フィールドｆ０及びｆ１間の３／１０にあるときの出力映像の補間を示す。即ち、入力フィールドｆ０がｔ＝０の時間に発生し、入力フィールドｆ１がｔ＝１の時間に発生すると考えたとき、出力フィールドがｔ＝０．３の時間に発生する場合である。
【００１１】
物体１０の動きを表すためには、物体１０は出力フィールドの位置９０にて補間されるべきである。位置９０は、ベクトル減数時に動きベクトルＶが割当てられた、出力フィールドのブロック８０の中にある。したがって、物体１０は、動きベクトルＶを用いて正確に補間することができる。
【００１２】
これに対し、図５は、時間位置ｔ＝０．７における出力フィールドの補間を示す。この場合、物体１０が補間されるべき位置１００は、動きベクトルＶが割当てられなかった、出力フィールドのブロック１１０の中にある。したがって、動きベクトルＶを補間に使用できないので、物体１０を出力フィールドで正確に補間することができない。
【００１３】
よって、出力フィールドのブロックが、他のブロックからもっと適当な動きベクトルを「借りる」ことができるベクトル減数を用いるにも拘らず、出力フィールドの一部分を正確に補間するのに必要な動きベクトルが、ベクトル減数によって使用できなくなる（図５に示したような）事態が起こりうる。これは、２連続フィールド間を物体が急速に動き、その動きを表す動きベクトルがサーチブロックの大きさより著しく大きい場合に、特に問題となる。
したがって、本発明の課題は、かような問題を解決することである。
【００１４】
【課題を解決するための手段及び作用】
本発明は、入力ビデオ信号の時間的に隣接する入力映像の対応する対から出力ビデオ信号の出力映像を補間する、次の如き動き補正ビデオ信号処理装置を提供する。即ち、このビデオ信号処理装置は、
入力映像対の一方の夫々のサーチブロックの当該映像及び上記対の他方の映像間の映像の動きを表す動きベクトルを発生する手段と、
出力映像の時間的位置において空間的に分割された各ブロックのうち、各動きベクトルによって指し示されるブロックを検出する手段と、
出力映像の時間的位置における上記各ブロックについて、少なくとも、当該ブロックを指し示す動きベクトルと、当該ブロックと空間的に同じ位置にあるサーチブロックから発生した動きベクトルである局部動きベクトルとを含む動きベクトルの組の、当該ブロックのピクセルの補間の使用に対する適性を示す公算値を導出し、公算値の高い順の２以上の所定数の動きベクトルを当該ブロックに割当てる手段であって、当該ブロックを指し示す動きベクトルに対する公算値を、当該ブロックと、当該動きベクトルの方向に投影された当該動きベクトルに対応するサーチブロックとの間の交差面積に比例させて導出し、局部動きベクトルに対する公算値を、補間の使用に適することを示す定数として導出するものである、上記割当て手段と、
当該ブロックに割当てられた各動きベクトルによって指し示される入力映像対のテストブロック間の相関度を検出し、テストブロック間で最高相関度をもつ１つの動きベクトルを選択する手段と、
選択された１つの動きベクトルを用いて、入力映像対から出力映像の各ブロックのピクセルを補間する動き補正補間器とを具える。
【００１５】
本発明によれば、各動きベクトルが、当該動きベクトルによって指し示される、出力映像のブロックに割当てられる。こうすれば、適正な動きベクトルを該動きベクトルが関係する映像部分の補間に使用することができなかった上述の問題が回避される。
【００１６】
補間に用いる動きベクトルの選択幅を与え、特定のブロックを指し示す動きベクトルがないという事態に備えるために、動きベクトルの組は、対応するサーチブロックに対する局部動きベクトルを含む。
【００１８】
出力映像の各ブロックについて、局部動きベクトルは、公算値として、補間の使用に適することを示す定数を有する。
出力映像の各ブロックについて、当該ブロックを指し示す動きベクトルに対する公算値は、当該ブロックと、当該動きベクトルの方向に投影された当該動きベクトルに対応するサーチブロックとの間の交差面積に比例する。
【００１９】
例えば、動く物体が僅かに隣接ブロックと重なる場合に適当な動きベクトルを与えるため、動きベクトルの組は、出力映像の当該ブロックに隣接する複数ブロックを指し示す複数の動きベクトルを含むのがよい。
【００２０】
この場合、出力映像の各ブロックについて、当該ブロックに隣接するブロックを指し示す動きベクトルに対する公算値は、当該ブロックと、該動きベクトルの方向に投影された該動きベクトルに対応するサーチブロックとの間の交差面積に比例するのがよい。
【００２１】
出力映像の各ブロックについて、当該ブロックに隣接するブロックを指し示す動きベクトルに対する公算値は、上記隣接するブロックについての該動きベクトルに対する公算値よりも低く、且つ、当該ブロックが該動きベクトルの方向に沿っていない位置にある場合よりも該動きベクトルの方向に沿った位置にある場合に高く決まるのがよい。
【００２２】
本装置は、複数の局部動きベクトルのうち最も共通するものから選択された複数の異なる動きベクトルを含む広域動きベクトルを導出する手段を具えるのがよい。この場合、広域動きベクトルを補間処理に関与させるため、動きベクトルの組は広域動きベクトルを含むのがよい。
【００２３】
ただし、広域動きベクトルの動きに関係しない出力映像部分を表すブロックに広域動きベクトルが割当てられるのを避けるため、本装置は、出力映像の各ブロックについて、当該ブロックにおける局部動きベクトルと各広域動きベクトルとを比較し、当該局部動きベクトルが各広域動きベクトルと同一又は類似か否かを示す、広域ベクトル・マスクを導出する手段を具えるのがよい。また、出力映像の時間的位置における各ブロックについて、各広域動きベクトルに対する公算値は、同一又は類似であることを示す広域動きベクトル・マスクが導出された広域動きベクトルでは一定値に決まり、同一又は類似でないことを示す広域動きベクトル・マスクが導出された広域動きベクトルではゼロに決まるのがよい。
【００２４】
好適な具体構成では、本装置は、各広域動きベクトルについて、当該広域動きベクトルの発生頻度と、当該広域動きベクトルと垂直又は水平成分が近い動きベクトルの発生頻度とを合算し、いずれかの広域動きベクトルについて合算した発生頻度が、入力映像対全体にわたって発生された動きベクトルの数に対して所定比率を越えているかどうかを検出することにより、入力映像のパンされる（上下左右の）動きを検出する手段を具えるのがよい。この場合、割当て処理において一層大きな重みを広域動きベクトルに与えてもよい。詳しくは、出力映像の各ブロックについて、入力映像のパン運動が検出され、且つ、同一又は類似であることを示す広域動きベクトル・マスクが導出された広域動きベクトルに対しては、公算値を増すのがよい。
【００２５】
また、補間に使用できる動きベクトルの選択範囲を増すために、割当て手段は、出力映像の各ブロックに、動きベクトルの組のうち公算値の高い順の２以上の所定数の動きベクトルと、ゼロ動きベクトルとを割当てる動作をするのがよい。これは、他に適当な動きベクトルが見付からないとき、本装置の動作が非動き補正装置の動作より悪くはならないことを意味する。
【００２７】
本発明は、種々のフォーマットの入力及び出力ビデオ信号に適用できるが、入力映像は、入力飛越しビデオ信号の連続するフィールドを含むものがよい。また、出力映像は、出力飛越しビデオ信号のフィールドを含むのがよい。
【００２８】
本発明による装置は、出力ビデオ信号の各出力映像の時間的位置を決め、各出力映像の補間に用いるために、入力ビデオ信号の各入力映像のうち当該出力映像に時間的に最も近い入力映像の対を選択する手段を有し、入力映像の対から出力映像を補間することによって入力ビデオ信号のテレビジョン標準方式を変換するテレビジョン方式変換装置に用いて好適である。
【００２９】
本発明は、他の面からみて、出力ビデオ信号の出力映像を入力ビデオ信号の時間的に隣接する入力映像の対応する対から補間する動き補正ビデオ信号処理方法を提供する。その方法は、
入力映像対の一方の夫々のサーチブロックの、当該映像及び上記対の他方の映像間の映像の動きを表す動きベクトルを発生するステップと、
出力映像の時間的位置において空間的に分割された各ブロックのうち、各動きベクトルによって指し示されるブロックを検出するステップと、
出力映像の時間的位置における上記各ブロックについて、少なくとも、当該ブロックを指し示す動きベクトルと、当該ブロックと空間的に同じ位置にあるサーチブロックから発生した動きベクトルである局部動きベクトルとを含む動きベクトルの組の、当該ブロックのピクセルの補間の使用に対する適性を示す公算値を導出し、公算値の高い順の２以上の所定数の動きベクトルを当該ブロックに割当てるステップであって、当該ブロックを指し示す動きベクトルに対する公算値を、当該ブロックと、当該動きベクトルの方向に投影された当該動きベクトルに対応するサーチブロックとの間の交差面積に比例させて導出し、局部動きベクトルに対する公算値を、補間の使用に適することを示す定数として導出するものである、上記割当てステップと、
当該ブロックに割当てられた各動きベクトルによって指し示される入力映像対のテストブロック間の相関度を検出し、テストブロック間で最高相関度をもつ１つの動きベクトルを選択するステップと、
選択された１つの動きベクトルを用いて、入力映像の対から出力映像の各ブロックのピクセルを補間するステップとを含む。
【００３０】
【実施例】
以下、図面により本発明を具体的に説明する。
図６は、本発明を用いうる動き補正テレビジョン（標準）方式変換装置を示すブロック図である。本装置は、入力飛越しデジタルビデオ信号２５０（例えば、１１２５／６０、２：１高精細度ビデオ信号（ＨＤＶＳ））を受信し、出力飛越しデジタルビデオ信号２６０（例えば、１２５０／５０、２：１信号）を発生するものである。
【００３１】
入力ビデオ信号はまず、入力バッファ・パッカー３１０に供給される。通常精細度入力信号の場合、入力バッファ・パッカー３１０は、映像データを高精細度（１６：９縦横比）フォーマットに変え、必要に応じ黒ピクセルを詰める。ＨＤＶＳ入力の場合、入力バッファ・パッカー３１０は、単にデータを一時記憶するだけである。
【００３２】
データは、入力バッファ・パッカー３１０からマトリクス回路３２０に送られ、該回路では（必要に応じ）入力ビデオ信号の測色法を標準の「ＣＣＩＲ 勧告６０１」（Ｙ，Ｃｒ，Ｃｂ）測色法に変換する。
【００３３】
入力ビデオ信号は、マトリクス回路３２０からタイムベース変換（ＴＢＣ）及びディレー（遅延）回路３３０に、またサブサンプラー３７０を介してサブサンプルされたＴＢＣ及びディレー回路３８０に送られる。ＴＢＣ及びディレー回路３３０は、出力ビデオ信号の各フィールドの時間位置を決め、出力フィールドの補間に用いるため、当該出力フィールドに時間的に最も近い２フィールドの入力ビデオ信号を選択する。出力ビデオ信号の各フィールドのために、上記ＴＢＣ回路で選択された２入力フィールドは、当該出力フィールドを補間する補間器３４０に送る前に適正に遅らされる。制御信号ｔは、各出力フィールドの選択された２入力フィールドに対する時間位置を指示するもので、タイムベース変換（ＴＢＣ）及びディレー回路３３０から補間器３４０に供給される。
【００３４】
サブサンプルされたＴＢＣ及びディレー回路３８０も、同様な動作をするが、サブサンプラー３７０により供給される空間的にサブ（ダウン）サンプルされたビデオを使用する点が異なる。上記ＴＢＣ回路３３０で選択されたフィールド対に対応するフィールド対が、サブサンプルされたＴＢＣ及びディレー回路３８０によりサブサンプルされたビデオから選択され、動きベクトルの発生に使用される。
【００３５】
ＴＢＣ回路３３０及び３８０は、入力ビデオ信号、出力ビデオ信号又はその双方に関連した同期信号に従って動作することができる。ただ１つの同期信号しか供給されない場合、上記２ビデオ信号の他方のフィールドのタイミングは、ＴＢＣ回路３３０，３８０で決定論的に発生することができる。
【００３６】
サブサンプルされたＴＢＣ及びディレー回路３８０によって選択された、サブサンプルされた入力ビデオ信号のフィールド対は、ブロック突合せ器３９０、相関面処理器４００、動きベクトル推定器４１０、動きベクトル減数器４２０、動きベクトル選択器４３０及び動きベクトルあと処理器４４０より成る動き処理装置３８５に供給される。上記入力フィールド対はまずブロック突合せ器３９０に送られ、そこで、選択された２入力フィールドのうち時間的に早いものにおけるサーチブロックと、上記２入力フィールドのうち時間的に遅いものにおける（より大きい）サーチ区域との間の空間的相関を表す相関面を計算する。
【００３７】
相関面処理器４００は、ブロック突合せ器３９０より出力された相関面から多数の補間された相関面を発生し、これらは動きベクトル推定器４１０に送られる。動きベクトル推定器４１０は、補間された相関面における最大相関点を検出する。（元の相関面は実際上２入力フィールドのブロック間の差を表すので、最大相関点は相関面では最小点になる。よって、以下「最小点」という。）最小点を検出するために、相関面に点を補足して補間し、相関面発生のためにサブサンプルされたビデオを用いたことにより生じる解像度のロスを或る程度補償する。動きベクトル推定器４１０は、検出した各相関面における最小点から動きベクトルを発生し、これを動きベクトル減数器４２０に送る。
【００３８】
動きベクトル推定器４１０はまた、発生した各動きベクトルについて確認（信頼）テストを行い、当該動きベクトルが平均データレベルよりかなり上にあるかをどうかを確かめ、確認テストの結果を示す確認フラグを各動きベクトルに付ける。確認テストは、「閾値」テストとして知られ、前記ＧＢ−Ａ−２，２３１，７４９号に（図６の装置の幾つかの他の特色と共に）記載されている。
【００３９】
動きベクトル推定器４１０はまた、各ベクトルが偽物であるかどうかを検出するテストも行う。このテストでは、相関面（検出した最小点の周りの除外域は除く。）を調べて次の最小点を検出する。この２番目の最小点が除外域のエッジ（端縁）にない場合、最初の最小点から導出された動きベクトルは、偽物の可能性があるものとしてフラグが付けられる。
【００４０】
動きベクトル減数器４２０は、出力フィールドの各ピクセルについて可能性のある動きベクトルの選択幅を減らしてから、動きベクトルを動きベクトル選択器４３０に送る。出力フィールドは、概念的に複数のピクセルブロックに分割される。それら各ブロックは、出力フィールド内に上記選択された入力フィールドのうち早いものにおけるサーチブロックと対応する位置を有する。動きベクトル減数器は、４つの動きベクトルのグループを出力フィールドの各ブロックに対応させ、当該ブロック内の各ピクセルは、当該グループの４動きベクトルの選択された１つを用いて補間される。
【００４１】
「偽物」としてフラグを付けられたベクトルは、すぐ近くのブロックにおけるフラグの付かないベクトルと同一である場合、ベクトル減数時に再適格化される。
【００４２】
動きベクトル減数器４２０は、その機能の一部として、「適正な」動きベクトル（即ち、確認テスト及び偽物テストに合格した動きベクトル、又は偽物でないと再適格化されたもの）の発生頻度を、それらの動きベクトルを得るのに用いた入力フィールドのブロックの位置を考慮することなくカウントする。適正な動きベクトルをそれから、頻度が減少する順に格付けする。互いにかなり異なる適正動きベクトルのうち最も共通するものを、「広域」動きベクトルとして分類する。確認テストに合格した３つの動きベクトルがそれから、出力ピクセルの各ブロックに対して選択され、ゼロ動きベクトルと共に、動きベクトル選択器４３０に送られ更に処理される。出力フィールドの各ブロックに対する３つの動きベクトルの選び方は、あとで詳しく述べる。
【００４３】
動きベクトル選択器４３０は、サブサンプルされたＴＢＣ及びディレー回路３８０によって選択され、動きベクトルの計算に使用された２入力フィールドをも入力として受信する。これらのフィールドは、適当に遅延されて、動きベクトル選択器４３０にこれらのフィールドから導出されたベクトルと同時に供給される。動きベクトル選択器４３０は、出力フィールドのピクセル当たり１つの動きベクトルを含む出力を供給する。この動きベクトルは、動きベクトル減数器４２０によって供給される当該ブロックに対する４つの動きベクトルから選択される。
【００４４】
ベクトル選択プロセスは、被テスト（テストされている）動きベクトルによって指し示される２つの入力フィールドのテストブロック間の相関度の検出を含んでいる。テストブロック間の最大相関度をもつ動きベクトルが、出力ピクセルの補間に使用するために選択される。ベクトル選択器はまた、「動きフラグ」を発生する。このフラグは、ゼロ動きベクトルによって指し示されるブロック間の相関度がプリセットされた閾値より大きい場合、「静止」（動きなし）にセットされる。
【００４５】
ベクトルあと処理器４４０は、動きベクトル選択器４３０により選択された動きベクトルのフォーマットを、画像の垂直又は水平のスケーリングがある場合これを表すように改め、このフォーマットを変えたベクトルを補間器３４０に供給する。補間器３４０は、動きベクトルを用いて、ＴＢＣ及びディレー回路３３０により選択された対応する２つの（サブサンプルされない）飛越し入力フィールドから出力フィールドを補間する。この場合、現在補間器３４０に供給されている動きベクトルによって示されるいかなる映像の動きをも考慮しながら補間を行う。
【００４６】
動きフラグが、現在の出力ピクセルが映像の動き部分内に在ることを示す場合、補間器に供給される２つの選択されたフィールドからのピクセルが、出力フィールドの上記２入力フィールドに対する時間位置（制御信号ｔで示される如き）に応じて、相対的比率で結合される。即ち、より近い入力フィールドがより大きな比率で結合される。動きフラグが「静止」にセットされている場合、時間的加重（重み付け）は各入力フィールドの５０％に固定される。補間器３４０の出力は、出力バッファ３５０に送られ高精細度出力信号として出力されると共に、通常精細度変換器（ダウンコンバータ）３６０にも送られ通常精細度出力信号３６５として出力される。
【００４７】
ダウンコンバータ３６０は、本装置の出力（例えば、高精細度ビデオ信号）の表示を従来精細度の装置を用いてモニタしたり、送信したり、又は記録したりすることを可能とする。これは、従来精細度記録機器が高精細度機器よりかなり安価で、遙かに広く普及しているので、有益である。例えば、夫々地上及び衛星チャンネルによって送信するには、通常及び高精細度ビデオの同時出力が必要であろう。
【００４８】
サブサンプラー３７０は、マトリクス３２０より受信した入力ビデオフィールドを水平及び垂直方向に空間的にサブ（ダウン）サンプリングしてから、それらの入力フィールドをタイムベース変換（ＴＢＣ）及びディレー回路３８０に供給する。水平サブサンプリングは、入力フィールドがまず半帯域幅ローパスフィルタ（２：１水平デシメーション（間引き）の本例の場合）により予めフィルタリング（ろ波）され、各ビデオラインに沿ってビデオサンプルが１つおきに捨てられ、これによって、各ビデオラインに沿うサンプルの数が半分に減るという点において、容易な動作である。
【００４９】
入力フィールドの垂直サブサンプリングは、本例では、入力ビデオ信号２５０が飛越し走査されているため、複雑である。これは、各飛越しフィールドにおけるビデオサンプルの連続するラインが実効的に２つのビデオラインに分かれ、各フィールドにおけるラインが前後のフィールドのラインより完全フレームの１ビデオラインだけ垂直にずれていることを意味する。
【００５０】
垂直サブサンプリングの１つの方法は、プログレッシブ（連続又は順次）走査変換を行い（各々が１１２５ラインをもつ連続するブログレッシブ走査されたビデオフレームを発生し）、該プログレッシブ走査されたフレームを２の率でサブサンプルして、垂直サブサンプルを行うことであろう。しかし、効率のよいプログレッシブ走査変換は、或る程度の動き補正処理を必要とし、その処理が動き処理装置３８５の動作に悪い影響を与えることがある。更に、高精細度ビデオ信号の実時間プログレッシブ走査変換は、特別に強力で複雑な処理装置を必要とすることであろう。
【００５１】
垂直空間サブサンプリングのもっと簡単な方法は、図７に示すように、入力フィールドをまず垂直方向にローパスろ波し（潜在的エイリアシングを減らすため）、次いで、各ピクセルを垂直方向にビデオラインの１／２だけ下方（偶数フィールドの場合）又は上方（奇数フィールドの場合）に実効的にずらす如きろ波を行うことである。その結果得られるずれたフィールドは、２の率で垂直方向にサブサンプルされたプログレッシブ走査フレームとほぼ均等である。
【００５２】
したがって、要約すると、上述したサブサンプリング動作の結果、動き処理装置３８５は、水平及び垂直方向に２の率で空間的にサブサンプルされた入力フィールド対について動作することになる。これにより、動きベクトル推定に要する処理が１／４に減少する。
【００５３】
これより、動きベクトル減数器４２０の動作を説明する。
動きベクトル減数器４２０では、動きベクトルをそれらのベクトル方向に沿って投影して出力フィールドに交差させ、これらのベクトルを投影された位置でのベクトル選択に供する。このプロセスの例を図８に示す。図８では、動きベクトルＶが出力映像のブロック１１０に投影されている。よって、ブロック１１０のピクセルを入力フィールドｆ０及びｆ１間における物体１０の動きを表すために補間するとき、正しい動きベクトル（Ｖ）を補間に使用することができる。
【００５４】
図９は、図８と類似しているが、動きベクトル投影の結果、出力フィールドの特定ブロックに対して１以上の動きベクトルが使用可能となる場合を示す。図９において、物体５００がこれに対応する動きベクトルＶａを有し、物体５１０がこれに対応する動きベクトルＶｂを有する。動きベクトルＶａ及びＶｂを夫々のベクトル方向に沿って投影すると、出力フィールドのブロック５２０に動きベクトルＶａ，Ｖｂの両方が割当てられることになる。そのとき、当該ブロックの各ピクセルの補間に用いて適切な動きベクトルは、ベクトル選択器によって決められる。
【００５５】
図９はまた、例えば、入力フィールドｆ０のブロック５３０から出力フィールドのブロック５４０（このブロックは、ブロック５３０と対応する位置にある。）へのゼロ動きベクトルの投影をも示す。
ブロック５５０の如き出力フィールドのブロックは、このブロック位置に投影される動きベクトルがない。ブロック５５０のようなブロックに１以上の動きベクトルを割当てるために、修正したベクトル減数処理により、出力フィールドの近隣ブロックに投影される動きベクトルを割当てることができる。
【００５６】
動きベクトルの投影を用いるベクトル減数処理を次に述べる。図１０は、最も共通する動きベクトル、即ち広域動きベクトルを検出する動きベクトル減数器４２０の一部を示す。図１０において、入力フィールドの個々の対から発生された動きベクトルはすべて、まず頻度アレイ６００に送られる。頻度アレイ６００は、各々が頻度値を記憶するメモリ位置のアレイを含む。各メモリ位置のアドレスは、動きベクトルの考えられる値の夫々の水平及び垂直成分に等しい。各動きベクトルを受信するに従い、対応するメモリ位置における頻度値がインクリメントされる。
【００５７】
動きベクトル全部の頻度値が頻度アレイ６００に記憶され終わると、頻度アレイはアレイ走査器６１０によって走査される。アレイ走査器６１０は、フィールドの当該特定の対に対して発生された動きベクトルの全体から、少なくとも所定量だけ異なる８つの最もよく現れる動きベクトルを検出する。これら８つの最もよく現れる動きベクトルは、「広域」動きベクトルと呼ばれ、図１０の装置から出力され更に処理される。
【００５８】
図１１は、動きベクトル減数器４２０の一部をなす広域ベクトルマスク発生器を示すブロック図である。
図１１において、夫々のサーチブロックから発生された局部動きベクトル及び関連する確認フラグは、ベクトルアレイメモリ６８０に記憶される。各局部ベクトルは、該ベクトルが導出された入力フィールド対の先行するフィールドにおけるサーチブロックの位置に対応する、ベクトルアレイメモリ６８０内の位置に記憶される。
【００５９】
同時に、図１０の広域ベクトル検出器により導出された８つの広域ベクトルの各々は、６８１で全体的に示した８つの比較器の夫々１つの一方の入力に供給される。（実際には、８つの広域ベクトルの各々を夫々の広域ベクトルメモリに記憶し、その内容を繰返して読出し、必要に応じて対応する比較器６８１の入力に供給するようにしてもよい。）
【００６０】
アドレス発生器６８２の制御の下に、局部動きベクトルをベクトルアレイメモリ６８０の連続する位置から次々に読出し、各局部ベクトルを読出しながら８つの比較器６８１の各々の他方の入力６８３に供給する。比較器６８１はそれから、局部動きベクトルと、比較器の一方の入力に供給された８つの広域動きベクトルの各々とを同時に比較する。
【００６１】
各比較器６８１の出力は、同じくアドレス発生器６８２によりアドレスされる、対応するマスクアレイメモリ６８４を制御する。各比較器６８１において、広域動きベクトルが、現在比較器に供給されている局部動きベクトルの所定の許容誤差６８５の範囲内にあれば、比較器６８１は、ベクトルアレイメモリ６８０における局部動きベクトルの位置に対応するマスクアレイメモリ６８４内の位置にあるマスクビットを「１」にセットする。広域ベクトルが、局部動きベクトルの所定許容誤差６８５の範囲内になければ、比較器６８１は上記マスクビットを「０」にセットする。比較器６８１に供給される許容誤差６８５の代表的な値は、例えば、水平及び垂直方向に±１ピクセルであろう。
【００６２】
こうして、各局部動きベクトルが順次ベクトルアレイメモリ６８０から読出されるにつれ、各マスクアレイメモリ６８４に、当該局部動きベクトルが、各マスクアレイメモリ６８４が対応する広域動きベクトルと同一又は類似かどうかを示すマスクビットがセットされる。与えられた局部動きベクトルと比較の結果セットされるマスクビットの位置は、ベクトルアレイメモリ６８０内の当該ベクトルの位置、即ち、該局部ベクトルが対応するブロックの原入力映像における位置に対応する。入力映像に対するすべての局部ベクトルについてこれが繰返され、広域マスクアレイ又はビットフィールドが各々マスクアレイメモリ６８４に作り上げられる。各広域マスクアレイは、広域動きベクトル及び原入力映像のブロック間の結びつき、即ち対応を示す。
【００６３】
図１２は、静止物体（窓７００）と動く物体（車７１０）を含む映像の一部を示す図である。車７１０の動きを表す動きベクトルの広域マスクアレイを図１３に示す。
【００６４】
図１３において、広域マスクアレイ７２０は、図１２に示す原入力映像に対応するものである。図示の広域マスクアレイ７２０は、図１２の車の動きに対応する広域動きベクトルと、映像全体にわたって導出された局部動きベクトルとの比較によって得られたものである。黒い正方形は、「セットされた」マスクビット、即ち、広域動きベクトルと入力映像内の対応位置にあるブロックとのつながりを示す、「１」にセットされたマスクビット、又はアレイエントリを示す。したがって、予想されるように、図１２の動く車の部分を含むブロックに対応する殆どのマスクビットは、マスクアレイ７２０においてセットされている。
【００６５】
しかし、例えば入力信号におけるノイズによって生じるエラーのため、動く車の体内のブロックに対応する幾つかのマスクビットがセットされていないことに気が付くであろう。同じく、広域マスクアレイ７２０は、入力映像の静止部分に対応する幾つかのマスクビットがセットされることを示している。広域マスクにおけるかようなエラーをなくすため、図１１のマスクアレイメモリ６８４に記憶された各広域マスクに多段マスク調整処理操作を施す。この操作は、実効的に、各々が対応するマスクアレイメモリ６８４に接続された夫々の多段フィルタ６８６によって行われる多段フィルタリング（ろ波）操作である。このろ波処理の第１段階で行われる操作を、これより図１４を参照して説明する。
【００６６】
図１４は、図１３に示したマスクアレイ７２０の如き広域マスクアレイの一部拡大図である。同図において、黒い正方形はセットされたマスクビット（値「１」）を表し、白い正方形はセットされないマスクビット（値「０」）を表す。フィルタ６８６によるろ波操作の第１段階で、各マスクビットを、テストされている（被テスト）マスクビット（中心マスクビット）の周囲の３×３のマスクビット・グルーブの中の８つのマスクビットと一緒に考える。各３×３グルーブについて、セットされたマスクビットの数を決定し、これを所定の第１段階閾値と比較する（本例では、この第１段階閾値は、例えば４又は５に設定してよい。）。セットされたマスクビットの数が第１段階閾値を越え、且つ中心マスクビットがセットされていない場合（図１４に示すような場合）、中心マスクビットがセットされる。
【００６７】
したがって、或るセットされないマスクビットの周りの十分な数のマスクビットがセットされておれば、セットされないマスクビットを、セットされたマスクビットを示す「１」にセットする。３×３グルーブ内のセットされたマスクビットの総数が第１段階閾値を越えず、且つ中心マスクビットがセットされていなければ、中心マスクビットはそのままである。
【００６８】
逆に、３×３グルーブ内のセットされたマスクの総数が第１段階閾値を越えないのに、中心マスクビットがセットされておれば、中心マスクビットは、セットされないマスクビットを示す「０」にリセットされる。３×３グルーブ内のセットされたマスクビットの総数が第１段階閾値を越え、且つ中心マスクビットがセットされておれば、中心マスクビットはそのままである。
【００６９】
ろ波処理時にマスクビットをリセットしても、その段階における残りのろ波操作には影響しない。これは、例えば、未ろ波マスクビットが読出されているメモリアレイとは別のメモリにろ波済みマスクビットを記憶させることにより、達せられる。ただし、この場合、未ろ波マスクビットの読出しと既ろ波マスクビットの出力との間に十分な遅れがあって、或るマスクビットがリセットされたことが当該段階の残りのろ波操作時に考慮されないように、フィルタを配置する。
【００７０】
４又は５という比較的高い第１段階閾値での第１段階ろ波操作は、図１３に示す如き広域マスクアレイに対し、図１２の車に対応するマスクアレイ７２０の範囲における偽（にせ）のギャップを「埋め」、同じく図１２の映像の静止部分に対応する偽のセットされたマスクビットを消すという効果を与えることになる。即ち、第１段階ろ波操作の効果は、元の広域マスクアレイにおける偽のエラーをなくすことである。
【００７１】
しかし、第１段階ろ波処理には、図１２の車に対応するセットされたマスクビットのグループの全体の面積を「縮める」という副作用がある。これは、車の外縁に対応するセットされたマスクビットについては、その端縁から向こうのブロックに対するマスクビットがセットされず、且つ、これらが十分な数に達すると、車の端縁に対応する、最初にセットされたマスクビットが「０」にリセットされるからである。この作用に対抗するため、ろ波操作のあとの段階で閾値を減らして、ろ波操作を繰返す。例えば、第１段階後、第１段階ろ波操作で生じた広域マスクを、２又は３に設定した所定の閾値で再びフィルタ６８６に加えればよい。これは、広域マスクアレイにおいてセットされたマスクビットの面積を、最初の未ろ波マスクアレイにおける面積とほぼ同じになるように「広げる」（勿論、偽のエラーなしに）効果を有する。
【００７２】
実際には、ろ波操作を第１段階後（より低い閾値で）或る回数繰返し、最初の未ろ波マスクと比べて、広域マスクにおけるセットされたマスクビットの面積が全体的にやや広がるようにするのがよい。本例では、ろ波操作を、高い閾値での第１段階ろ波操作のあと３又は４回もっと低い閾値で繰返す。これは、与えられた広域ベクトルの適用を広域ベクトルが局部ベクトルの許容誤差６８５の範囲内にあったブロックの近隣ブロックをほんの少し越えるブロックまで拡大する効果を有する。即ち、ろ波操作に十分な段階を追加することにより、広域ベクトルの適用を、未ろ波広域マスクにおいて対応するマスクビットがセットされたブロックに隣接するブロックを越えて拡大するのである。
【００７３】
図１３に示した未ろ波広域マスクアレイ７２０について、最終的なろ波された広域マスクアレイ７３０を図１５に例示する。同図から、セットされたマスクビットが、図１２の車に対応する広域動きベクトルと、映像内の車の面積との間の対応関係を遙かに正確に示していることが判るであろう。
【００７４】
勿論、フィルタ６８６に２次元ＦＩＲ（有限インパルス応答）３×３フィルタを用いてもよく、その場合、係数をすべて１に設定し、出力が比較器への入力となる加算器に９個のタップを接続する。該比較器の他方の入力に関連する閾値を供給する。該比較器の出力は、ろ波された広域マスクアレイを形成し、必要に応じて調整した閾値と共に再び次の段階のフィルタ入力に加えることができる。
【００７５】
したがって、フィルタ６８６から出力されるろ波済み広域マスクアレイは、各広域ベクトルに対し１つずつ、広域ベクトル制限器６８４によって出力される。
【００７６】
図１６は、出力フィルタの各ブロックに割当てるべき３つの動きベクトルを選択する作用をする、動きベクトル減数器４２０の更に他の部分を示すブロック図である。
図１６には、入力ベクトルメモリ８００、位置発生器８１０、隣接オフセット加算器８２０、ベクトル投影加算器８３０、乗算器８４０、出力ベクトルメモリ８５０、公算メモリ８６０、公算処理器８７０、比較器８８０，８９０及びラッチ９００が示されている。
【００７７】
出力ベクトルメモリ８５０は、３つのメモリ（番号１，２，３を付す）に常時ゼロ動きベクトルを保持する１つのメモリを加えたものと考えられる。同様に、公算メモリ８６０も、実際には３つの公算メモリ（同じ番号１，２，３を付す）を含む。
【００７８】
図１６の装置の動作をこれより図１７〜２７を参照して説明する。しかし、図１６の装置（特に公算処理器８７０）の基本動作は、夫々の「公算」（見込み、確率）を出力フィルタの各ブロックに対する各広域ベクトル、各局部ベクトル及び各投影（された）局部ベクトルに割当てることである。この処理の間、各ブロックに対し現在最も高い３つの公算を公算メモリ８６０に記憶させ、それらの公算値に対応する動きベクトルを出力ベクトル８５０に記憶させる。
【００７９】
位置発生器８１０は、入力フィルタにおける考えられるすべてのブロックアドレスを循環するアドレスカウンタを発生する（各アドレスに対し、動きベクトルが入力ベクトルメモリに記憶されている。）。
【００８０】
投影されるベクトルを考えるに、乗算器８４０は、各動きベクトルに、出力フィールドの時間位置（図６のタイムベース変換器から得られる）を１ブロックにおけるピクセル数（ブロックサイズ）で割ったものを乗じる。これは、ベクトル投影加算器８３０によって、位置発生器８１０が出力する現在のアドレス及び隣接オフセット（ｉ，ｊ）に加算される。ベクトル投影加算器８３０は、ベクトル方向に沿って投影された架空のサーチブロックの左下隅による、交差されるブロックの整数アドレスＦと、投影されたブロック位置の小数部を表す小数アドレスｆ（ただし、０≦ｆ＜１）とを出力する。
【００８１】
広域ベクトル、局部ベクトル及び投影（された）局部ベクトルのすべてに対する公算値を考慮し終わったとき、出力ベクトルメモリ８５０は、出力フィールドの各ブロックに対する３つの最も選ばれる見込みがあるベクトルを含有すると考えられる。これら３つの最も見込みがある動きベクトルは、ゼロ動きベクトルと一緒に出力ベクトルメモリ８５０から出力され、ベクトル選択器４３０に供給される。この基本動作を図１７のフローチャートに示す。同図は、個々の出力映像の各ブロックに４つの動きベクトルを割当てるために図１６の装置が行うステップを示している。
【００８２】
図１６及び１７において、ステップ９００で、出力ベクトルメモリ８５０及び公算メモリ８６０がリセット信号８５５によりリセットされる。これに伴い、出力ベクトルメモリ８５０に記憶された動きベクトルがゼロ動きベクトルに設定され、公算メモリ８６０に記憶された全公算値がゼロに設定される。
【００８３】
ステップ９１０で、局部動きベクトルに対する公算値が決定され、公算メモリ８６０に記憶される。このプロセスは、あとで図１８を参照して説明する。
ステップ９２０で、広域動きベクトルに対する公算値が決定され、記憶される。このプロセスは、図１９及び２０を参照してあとで説明する。
ステップ９３０で、投影動きベクトルに対する公算値が決定され、記憶される。このプロセスは、図２１〜２７を参照してあとで説明する。
【００８４】
ステップ９３０に続いて、局部動きベクトル、広域動きベクトル及び投影動きベクトル全部に対する公算値が考慮される。そうすれば、出力ベクトルメモリ８５０は、出力フィールドの各ブロックに対する３つの最も選ばれる見込みのあるベクトルを含有すると考えられる。したがって、図１７の最終ステップ９４０で、出力フィールドの各ブロックに対し、出力ベクトルメモリ８５０に記憶されたそれら３つの動きベクトル（これにゼロ動きベクトルを加えたもの）がベクトル選択器４３０に供給される。
【００８５】
図１８は、局部動きベクトルに対応する公算値を設定する図１７のステップ９１０を詳細に示すフローチャートである。これらの公算値は、入力フィールドｆ０における個々のサーチブロックから発生された動きベクトルが、当該サーチブロックと位置が対応する出力フィールドのブロックのピクセルの補間のための使用に適するという概念的な公算（可能性）を表すものである。
【００８６】
次の説明において、入力ベクトルメモリ８００に記憶された動きベクトルは、入力フィールドｆ０内の対応サーチブロックの水平及び垂直位置を表す夫々の水平及び垂直座標によってアドレスされるものとする。
図１８において、ステップ１０００で、出力ベクトルメモリ８５０及び公算メモリ８６０における位置のアドレスを表すアドレスカウンタが（０，０）に設定される。制御は、ステップ１０１０，１０２０，１０３０及び１０４０を含むループに回される。
【００８７】
ステップ１０１０で、公算変数は定数、即ちＬlocal に設定される。ステップ１０２０で、公算値及び現在の局部ベクトルの公算メモリ８６０及び出力ベクトルメモリ８５０への書込みを制御する書込みイネーブル（許可）信号Ｗ１，Ｗ２及びＷ３が導出される。これら３つの書込みイネーブル信号の導出は、次のＢoolean方程式によって決められる。
【００８８】
【数１】
上式における変数その他の記号の意味は、次のとおりである。
Ｗ１，Ｗ２，Ｗ３：３出力ベクトルメモリ８５０及び３公算メモリ８６０の夫々１つに対する書込みイネーブル信号
Ｌ1 ，Ｌ2 ，Ｌ3 ：公算メモリ８６０の夫々１つに記憶された公算値
Ｃ1 ，Ｃ2 ，Ｃ3 ：比較器８８０によって発生され、現在の動きベクトルが３出力ベクトルメモリ８５０の夫々１つに記憶された動きベクトルの１つに等しいかどうかを示す変数
Ｚ ：比較器８９０によって発生され、現在の動きベクトルがゼロ動きベクトルに等しいかどうかを示す変数
Ｌlocal ：上述のステップ１０１０で各局部動きベクトルに割当てられた一定公算値
【００９０】
いい換えると、書込みイネーブル（信号）Ｗ１（これは、公算メモリ及び出力ベクトルメモリの最初の１つへの現在の動きベクトルの書込みを制御する。）は、次の条件がすべて満たされると、セットされる。
(i) 現在公算メモリ１に保持されている公算値がＬlocal より小さくなければならないこと、及び
(ii) 公算メモリ１に保持されている公算値が、他の２つのどちらの公算メモリに保持されている公算値より小さいか、又は、現在考えている動きベクトルが現在出力ベクトルメモリ１に記憶されている動きベクトルと等しいこと、及び
(iii) 現在の動きベクトルがゼロでないこと、及び
(iv) 現在の動きベクトルが、他の２つの出力ベクトルメモリに現在記憶されている動きベクトルのどちらとも等しくないこと。
【００９１】
他の２つの書込みイネーブルＷ２及びＷ３も同様にして導出するが、上述の条件が２以上の書込みイネーブルに当てはまるとき、Ｗ１がＷ２に優先してセットされ、Ｗ２がＷ３に優先してセットされるように考慮する。
【００９２】
図１８に示す動作は、出力ベクトルメモリ８５０及び公算メモリ８６０がリセットされ終わると（ステップ９００）直ちに行われるので、Ｗ１は常にステップ１０２０でセットされることが明らかである。したがって、ステップ１０２０は、簡単な「Ｗ１をセットせよ」のステップで置換えてもよいことになる。しかし、本例では、ステップ１０２０での処理と類似の処理を、広域及び投影ベクトルに対する公算を設定するときにも使用する。３つの処理に類似の処理方法を用いると、装置が簡単になる。
【００９３】
ステップ１０３０で、入力ベクトルメモリ８００の現在のアドレスにある動きベクトルが、書込みイネーブルＷ１，Ｗ２及びＷ３の制御の下に出力ベクトルメモリ８５０の１つに書込まれる。同時に、ステップ１０１０で設定された公算（値）が、公算メモリ８６０の対応する１つの同じ位置に（同じく書込みイネーブルＷ１，Ｗ２及びＷ３の制御の下で）書込まれる。
【００９４】
ステップ１０４０で、アドレス値がインクリメントされる。アドレス値がその時（ｍａｘ−ｘ，ｍａｘ−ｙ）、即ち、全アドレスを考え終わったことを示す、ｘ及びｙ方向における最高値に達すると、処理は終了する。最大ｘ及びｙ値に達しなければ、制御は新しいアドレス値と共にステップ１０１０に回される。
【００９５】
図１９は、図１８と同様に、図１７のステップ９２０、即ち広域ベクトルに対する公算値の設定に含まれるステップを示す。
図１９に示す処理ステップは、８つの広域動きベクトルを考えるために、次のステップに進む前に１つ１つ８回繰返される。或いは、図１９全体のプロセスを８回繰返してもよい。
【００９６】
図１９におてい、出力ベクトルメモリ８５０及び公算メモリ８６０内の位置のアドレスを表すアドレスカウンタが、ステップ１１００で（０，０）に設定される。制御はそれから、ステップ１１１０，１１２０，１１３０及び１１４０を含むループへと進む。
【００９７】
ステップ１１１０で、アドレスカウンタにより指定される現アドレスにある各広域（動き）ベクトルに対し、公算値が発生される。この公算値は、次式により導出される。
公算＝ｇｍａｓｋ（ベクトル、アドレス）・Ｌg
上式においてｇｍａｓｋ（ベクトル、アドレス）は、当該位置の当該広域ベクトルに対する広域ベクトルマスク（例えば、図１５に示したマスク）の状態を表すものであり、値Ｌg は定数である。
【００９８】
いい換えると、考慮中の広域ベクトルに対する現アドレス位置に広域ベクトルマスクがセットされていれば、当該位置において当該ベクトルに公算値Ｌg が割当てられ、広域ベクトルマスクビットがセットされていなければ、公算値はゼロに設定されることになる。
【００９９】
ステップ１１２０で、上述と同様にして書込みイネーブル信号Ｗ１，Ｗ２及びＷ３が導出される。実際に使用される式は、次のとおりである
【０１００】
【数２】
ステップ１１３０で、入力ベクトルメモリ８００内の現アドレスにある動きベクトルが、書込みイネーブルＷ１，Ｗ２及びＷ３の制御の下に出力ベクトルメモリ８５０の１つに書込まれる。同時に、ステップ１１１０で設定された公算が、公算メモリ８６０の対応する１つにおける同じ位置に（同じく書込みイネーブルＷ１，Ｗ２及びＷ３の制御の下で）書込まれる。
【０１０２】
ステップ１１４０で、アドレス値がインクリメントされる。アドレス値が（ｍａｘ−ｘ，ｍａｘ−ｙ）、即ち、全アドレスが考慮され終わったことを示す、ｘ及びｙ方向における最大値に達すると、処理は終了する。最大ｘ及びｙ値に達しなければ、制御は新しいアドレス値と共にステップ１１１０に回される。
【０１０３】
図１９の説明では、ステップ１１１０で割当てられた広域ベクトル公算は、当該位置における広域ベクトルマスクビットの状態と定数Ｌg とのみによって決定された。他の具体構成では、値Ｌg も変数である。この方法を次に図２０を参照して説明する。この図は、図１０の頻度アレイ６００の一部を示すものである。
【０１０４】
頻度アレイ６００において、アレイ内の１位置に記憶された頻度値Ｎは、アレイ内の当該頻度値のｘ及びｙアドレスに対応する水平及び垂直成分をもつ動きベクトルの発生頻度（入力フィールド対全体にわたる）を表す。実際には、前述のように、夫々動きベクトルが所定量以上異なる８つの最高頻度値を頻度アレイ６００の中で検出することにより、８つの広域動きベクトルを導出する。
【０１０５】
頻度アレイ６００または、映像全体のパンする動きの検出にも用いられる。この具体構成では、該検出を、広域ベクトルの１つの発生頻度を表す頻度値Ｎ1 の周りの３×３グリッドを形成する９つの頻度値Ｎ1 〜Ｎ9 を合算することによって行う。いい換えると、８つの広域ベクトルを導出するために上述のように８つの最高頻度値を検出し、それから、それら８つの値の各々の周りの３×３グリッドにおける頻度値を合算する。
【０１０６】
広域動きベクトルのどれか１つに対する３×３グリッドの頻度値の和が、映像対全体にわたって検出された有効な動きベクトルの数の所定比率（例えば、１／４）を越えると、これは、映像の大部分がほぼ同じ動きをしている（例えば、カメラのパンが行われている。）ことを示す。このことは、ベクトル減数処理でもっと大きな重みを広域ベクトルに与えてよいことを意味する。
【０１０７】
したがって、次の場合には「パン」フラグがセットされる。
【０１０８】
図２１は、図１７のステップ９３０、即ち、投影局部動きベクトルに対する公算値の設定を行うのに必要なステップを詳細に示すフローチャートである。
図２１において、出力ベクトルメモリ８５０及び公算メモリ８６０における位置のアドレスを表すアドレスカウンタが、ステップ１２００で（０，０）に設定される。制御はステップ１２１０に進み、そこで、２つのオフセットカウンタｉ及びｊが夫々（０，０）の値にセットされる。
制御はそれから、ステップ１２２０，１２３０，１２４０及び１２５０を含むループに進む。
【０１０９】
ステップ１２２０で、アドレスカウンタにより指定される現アドレス、ベクトルの大きさと方向、及びオフセットカウンタによって決まる投影（された）アドレスにある各局部動きベクトルに対し、公算値が発生される。
【０１１０】
（ｉ，ｊ）＝（０，０）の場合、この公算値は次式より導出される。
ｇ（ｆ，０，０）＝（１−ｆX ）・（１−ｆy ）
ただし、ｆX はベクトル投影加算器８３０（図１６）によって発生される水平アドレス成分の小数部分、ｆy はベクトル投影加算器８３０によって発生される垂直アドレス成分の小数部分を示す。
【０１１１】
ｇ（ｆ，０，０）の値は、現在の動きベクトルに沿って投影された、入力フィールドの架空のサーチブロックと、ベクトル投影加算器８３０の出力の整数部分によって指定されるアドレスにおける出力映像のブロックとの間の交差面積を表す。該面積は、サーチブロックの面積の一部分として表すことができる。この概念を図２２に図式的に示す。同図において、陰影を付した面積１３００は、現動きベクトルに沿って投影されたサーチブロック１３１０と、ベクトル投影加算器８３０の出力の整数部分に対応するアドレス、即ちＦX ，Ｆy にある出力映像のブロック１３２０との交差面積を表す。図２２にはまた、その小数値ｆX 及びｆy をも示す。同図より、面積１３００は、ブロック１３２０の面積の一部分（１−ｆX ）・（１−ｆy ）に等しいことが明らかである。
【０１１２】
一般に、投影サーチブロックは、出力フィールドの２×２アレイの４つのブロックと交差する。これらの交差されるブロックの投影アドレスに対する位置は、オフセットカウンタ（ｉ，ｊ）によって指定される。図２３は、投影サーチブロック１３１０と、（０，１）だけ、即ち水平に０ブロック、垂直に１ブロックだけオフセットした（ずれた）ブロックとの間の交差面積１３３０を示す。図２４は、投影サーチブロック１３１０と、（１，０）だけ、即ち水平に１ブロック、垂直に０ブロックずれたブロックとの間の交差面積１３４０を示す。図２５は、投影サーチブロック１３１０と、（１，１）だけ、即ち水平に１ブロック、垂直に１ブロックずれたブロックとの間の交差面積１３５０を示す。
【０１１３】
これらの近隣ブロックに割当てるべき公算値は、夫々の交差面積を１ブロックの面積の一部分として計算することによって決定される。ただし、投影サーチブロックが出力映像のブロックと正確に重なる（一方又は両方の方向において）特殊な場合には、上記近隣ブロックに対する公算値を、交差されるブロックに対する公算値の或る比率として計算する必要がある。
【０１１４】
上記３つの近隣公算値の導出は、したがって次のようになる。
【０１１５】
図２６は、図２３，２４，２５に示した２×２アレイのブロックを囲む１２の近隣ブロック１４００への公算（値）の割当てを示す。
図２６の各ブロックは、ブロック（１３２０）に対する夫々のオフセット値（ｉ，ｊ）と共に示してある。各ブロック１４００について、矢印は、当該ブロック１４００に対する公算を得るため、公算値をどのブロックから修正したかを示す。詳しくは、公算値をブロック１４００に割当てるための計算に、次の式を使用する。
ｇ（ｆ，−１，−１）＝ｇ（ｆ，０，０）・Ｔ
ｇ（ｆ，−１，０）＝ｇ（ｆ，０，０）・Ｔ
ｇ（ｆ，−１，１）＝ｇ（ｆ，０，１）・Ｔ
ｇ（ｆ，−１，２）＝ｇ（ｆ，０，１）・Ｔ
ｇ（ｆ，０，−１）＝ｇ（ｆ，０，０）・Ｔ
ｇ（ｆ，０，２）＝ｇ（ｆ，０，１）・Ｔ
ｇ（ｆ，１，−１）＝ｇ（ｆ，１，０）・Ｔ
ｇ（ｆ，１，２）＝ｇ（ｆ，１，１）・Ｔ
ｇ（ｆ，２，−１）＝ｇ（ｆ，１，０）・Ｔ
ｇ（ｆ，２，０）＝ｇ（ｆ，１，０）・Ｔ
ｇ（ｆ，２，１）＝ｇ（ｆ，１，１）・Ｔ
ｇ（ｆ，２，２）＝ｇ（ｆ，１，１）・Ｔ
これらの式において、Ｔは定数（１より小）である。
【０１１６】
図２１のステップ１２３０で、３つの書込みイーネブル信号が、現在の投影アドレス及び現オフセット値（ｉ，ｊ）にある現在の投影動きベクトルに対して導出される。書込みイネーブル信号の導出式は、次のとおりである。
【０１１７】
【数３】
書込みイネーブル信号Ｗ１，Ｗ２及びＷ３に応答して、現在のベクトルが出力ベクトルメモリ８５０に書込まれ、公算は公算メモリ８６０に書込まれるが、そのアドレスは、ベクトル投影加算器８３０の現出力の整数部分、即ち、現ベクトルの投影アドレスにオフセット値（ｉ，ｊ）を加えたものに等しい。
【０１１９】
ステップ１２５０で、オフセット値（ｉ，ｊ）の次の組が選択され、制御はステップ１２２０に戻る。
上述の計算の相互依存性により、ステップ１２２０で上述の式の全部を計算するために、ステップ１２５０で、オフセットカウンタｉ及びｊを簡単に（−１，−１）から（２，２）へインクリメントできない。その代わりに、ステップ１２５０では、（ｉ，ｊ）の値を次の順序で（０，０）からスタートして（２，２）で終わるように変えている。
（０，０） （０，１） （１，０） （１，１）
（−１，−１） （−１，０） （−１，１） （−１，２）
（０，−１） （０，２）
（１，−１） （１，２）
（２，−１） （２，０） （２，１） （２，２）
【０１２０】
ステップ１２５０で全オフセット値を使用し終わると、制御はステップ１２６０に進み、そこでアドレスカウンタがインクリメントされる。制御は再びステップ１２１０に戻り、考えられる全アドレス値が考慮され終わるまで続けられる（そのとき、プロセスは終了する。）。
【０１２１】
図２７は、図１７のステップ９３０（投影ベクトルに対する公算値の設定）を行う図１６の装置の動作の考えられる他のモードを示す図である。図１７の残りのステップは、既に述べたように行うことができる。
【０１２２】
図２７において、連続２入力フィールドｆ０及びｆ１間での物体１５００の動きは、動きベクトル１５１０で表されている。動きベクトル１５１０の投影は、図１６に示したのと同じ方法で決定され、動きベクトル１５１０によって交差される出力フィールドのブロック１５２０が特定される。
【０１２３】
動きベクトル１５１０はそれから、（例えば）３の公算（値）でブロック１５２０に割当てられ、動きベクトルの方向によって変わる一層低い公算で隣接（近隣）ブロックに割当てられる。詳しくは、交差ブロック１５２０に対して右上及び左下の位置にある近隣ブロックには、他の近隣ブロックより高い公算が割当てられる。
【０１２４】
割当てる公算値を上述のように変化させると、動きベクトルの方向におおむね沿ってブロック１５４０に、動きベクトルの方向に沿っていないブロック１５５０より高い公算が当該動きベクトルに対して与えられる。ブロックが動きベクトルの方向に沿っているかどうかは、次のようにして決める。
ａ）動きベクトルが正の水平成分及び正の垂直成分をもつ場合、交差ブロックと左下及び右上の位置に隣接するブロックに、より高い公算値を与える。
ｂ）動きベクトルが正の水平成分及び負の垂直成分をもつ場合、交差ブロックと右下及び左上位置に隣接するブロックに、より高い公算値を与える。
ｃ）動きベクトルが非ゼロ水平成分及びほぼゼロの垂直成分をもつ場合、交差ブロックと水平方向に隣接するブロックに、より高い公算値を与える。
ｄ）動きベクトルが非ゼロ垂直成分及びほぼゼロの水平成分をもつ場合、交差ブロックと垂直方向に隣接するブロックに、より高い公算値を与える。
【０１２５】
動きベクトルが特定方向にゼロ又は非ゼロの成分を有するかどうかは、動きベクトル発生時の無作為（ランダム）ノイズの影響を補償するように、或る範囲の値を用いて決定することができる。例えば、±５ピクセルまでの成分をもつ動きベクトルは、当該方向にゼロ成分を有すると考えてよいであろう。
【０１２６】
【発明の効果】
以上説明したとおり、本発明によれば、以前に提案された動き補正ビデオ信号処理方式において、出力フィールドの一部分を正確に補間するのに必要な動きベクトルが、ベクトル減数処理によって使用できなくなる事態が発生するのを回避することができる。
【図面の簡単な説明】
【図１】入力ビデオ信号の２連続フィールド間を動く物体の１次元図である。
【図２】図１の入力フィールドから発生された動きベクトルのアレイを示す図である。
【図３】出力フィールドのブロックへの動きベクトルのグループの割当てを示す図である。
【図４】２入力フィールド間の３／１０時間位置にある出力フィールドの補間を示す図である。
【図５】２入力フィールド間の７／１０時間位置にある出力フィールドの補間を示す図である。
【図６】本発明を用いうる動き補正テレビジョン方式変換装置のブロック図である。
【図７】飛越しフィールドの垂直サブサンプリングの簡単な例を示す図である。
【図８】動きベクトルの投影の例を示す図である。
【図９】出力フィールドの１ブロックと２以上の投影動きベクトルとが交差する場合の、動きベクトルの投影の例を示す図である。
【図１０】図６の動きベクトル減数器の広域動きベクトルを検出する部分を示す図である。
【図１１】動きベクトル減数器内の広域ベクトルマスク発生器を示す図である。
【図１２】静止物体及び動く物体を含む映像の例を示す図である。
【図１３】図１２の車の動きベクトルの広域マスクアレイを示す図である。
【図１４】マスクろ波処理の第１段階操作の例を示す図である。
【図１５】ろ波された広域ベクトルマスクの例を示す図である。
【図１６】図１０の動きベクトル減数器の、出力映像の各ブロックに３つの動きベクトルを割当てる部分を示すブロック図である。
【図１７】図１６の装置の基本動作を示すフローチャートである。
【図１８】図１７のステップ９１０の詳細を示すフローチャートである。
【図１９】図１７のステップ９２０の詳細を示すフローチャートである。
【図２０】図１０の頻度アレイ６００の一部を示す図である。
【図２１】図１７のステップ９３０の詳細を示すフローチャートである。
【図２２】図２１の動作の説明に供する図（その１）である。
【図２３】図２１の動作の説明に供する図（その２）である。
【図２４】図２１の動作の説明に供する図（その３）である。
【図２５】図２１の動作の説明に供する図（その４）である。
【図２６】近隣ブロック１４００への公算値の割当てを示す説明図である。
【図２７】図１７のステップ９３０における他の動作（本発明の第２実施例の動作）を示す説明図である。
【符号の説明】
８００，８１０ 局部動きベクトル発生手段
８２０，８３０，８４０ 出力映像ブロック検出手段
８５０，８６０，８７０，８８０，８９０ 割当て手段（公算値導出手段及び最高の公算値をもつ所定数の動きベクトルを検出する手段）
６００，６１０ 広域ベクトル導出手段
６８１，６８４ 広域ベクトルマスク導出手段
３４０ 動き補正補間器
４３０ ベクトル選択器（動きベクトル選択手段）
Claims (12)
- 入力ビデオ信号の時間的に隣接する入力映像の対応する対から出力ビデオ信号の出力映像を補間する動き補正ビデオ信号処理装置であって、
上記対の一方の入力映像の夫々のサーチブロックの、当該映像及び上記対の他方の映像間の映像の動きを表す動きベクトルを発生する手段と、
出力映像の時間的位置において空間的に分割された各ブロックのうち、各動きベクトルによって指し示されるブロックを検出する手段と、
出力映像の時間的位置における上記各ブロックについて、少なくとも、当該ブロックを指し示す動きベクトルと、当該ブロックと空間的に同じ位置にあるサーチブロックから発生した動きベクトルである局部動きベクトルとを含む動きベクトルの組の、当該ブロックのピクセルの補間の使用に対する適性を示す公算値を導出し、公算値の高い順の２以上の所定数の動きベクトルを当該ブロックに割当てる手段であって、当該ブロックを指し示す動きベクトルに対する公算値を、当該ブロックと、当該動きベクトルの方向に投影された当該動きベクトルに対応するサーチブロックとの間の交差面積に比例させて導出し、局部動きベクトルに対する公算値を、補間の使用に適することを示す定数として導出するものである、上記割当て手段と、
当該ブロックに割当てられた各動きベクトルによって指し示される入力映像対のテストブロック間の相関度を検出し、テストブロック間で最高相関度をもつ１つの動きベクトルを選択する手段と、
選択された１つの動きベクトルを用いて、入力映像対から出力映像の各ブロックのピクセルを補間する動き補正補間器と
を具えた動き補正ビデオ信号処理装置。 - 上記動きベクトルの組は、出力映像の当該ブロックに隣接する複数ブロックを指し示す複数の動きベクトルを含む請求項１の装置。
- 出力映像の時間的位置における上記各ブロックについて、当該ブロックに隣接するブロックを指し示す動きベクトルに対する公算値は、当該ブロックと、該動きベクトルの方向に投影された該動きベクトルに対応するサーチブロックとの間の交差面積に比例する請求項２の装置。
- 出力映像の時間的位置における上記各ブロックについて、当該ブロックに隣接するブロックを指し示す動きベクトルに対する公算値は、上記隣接するブロックについての該動きベクトルに対する公算値よりも低く、且つ、当該ブロックが該動きベクトルの方向に沿っていない位置にある場合よりも該動きベクトルの方向に沿った位置にある場合に高く決定される請求項２の装置。
- 複数の動きベクトルのうち最も共通するものから選択された複数の異なる動きベクトルを含む広域動きベクトルを導出する手段と、
出力映像の時間的位置における上記各ブロックについて、当該ブロックにおける局部動きベクトルと各広域動きベクトルとを比較し、当該局部動きベクトルが各広域動きベクトルと同一又は類似か否かを示す広域動きベクトル・マスクを導出する手段と
を具え、
上記動きベクトルの組は広域動きベクトルを含み、
出力映像の時間的位置における上記各ブロックについて、各広域動きベクトルに対する公算値は、同一又は類似であることを示す広域動きベクトル・マスクが導出された広域動きベクトルでは一定値に決定され、同一又は類似でないことを示す広域動きベクトル・マスクが導出された広域動きベクトルではゼロに決定される請求項１〜４のいずれかの装置。 - 各広域動きベクトルについて、当該広域動きベクトルの発生頻度と、当該広域動きベクトルと垂直又は水平成分が近い動きベクトルの発生頻度とを合算し、いずれかの広域動きベクトルについて合算した発生頻度が、入力映像対全体にわたって発生された動きベクトルの数に対して所定比率を越えているかどうかを検出することにより、入力映像のパンされる動きを検出する手段を具える請求項５の装置。
- 出力映像の時間的位置における上記各ブロックについて、入力映像のパン運動が検出され、且つ、同一又は類似であることを示す広域動きベクトル・マスクが導出された広域動きベクトルに対しては、公算値が増やされる請求項６の装置。
- 上記割当て手段は、
出力映像の時間的位置における上記各ブロックに、動きベクトルの組のうち公算値の高い順の２以上の所定数の動きベクトルと、ゼロ動きベクトルとを割当てる請求項１の装置。 - 入力映像が入力飛越しビデオ信号の連続するフィールドを含む請求項１〜８のいずれか１項の装置。
- 出力映像が出力飛越しビデオ信号のフィールドを含む請求項１〜９のいずれか１項の装置。
- 出力ビデオ信号の各出力映像の時間的位置を決め、各出力映像の補間に用いるために、入力ビデオ信号の各入力映像のうち当該出力映像に時間的に最も近い入力映像の対を選択する手段
を有し、上記入力映像の対から出力映像を補間することによって入力ビデオ信号のテレビジョン標準方式を変換する装置であって、
請求項１〜１０のいずれか１項の装置を含むテレビジョン標準方式変換装置。 - 入力ビデオ信号の時間的に隣接する入力映像の対応する対から出力ビデオ信号の出力映像を補間する動き補正ビデオ信号処理方法であって、
上記対の一方の入力映像の夫々のサーチブロックの、当該映像及び上記対の他方の映像間の映像の動きを表す動きベクトルを発生するステップと、
出力映像の時間的位置において空間的に分割された各ブロックのうち、各動きベクトルによって指し示されるブロックを検出するステップと、
出力映像の時間的位置における上記各ブロックについて、少なくとも、当該ブロックを指し示す動きベクトルであると、当該ブロックと空間的に同じ位置にあるサーチブロックから発生した動きベクトルである局部動きベクトルとの、当該ブロックのピクセルの補間の使用に対する適性を示す公算値を導出し、公算値の高い順の２以上の所定数の動きベクトルを当該ブロックに割当てるステップであって、当該ブロックを指し示す動きベクトルに対する公算値を、当該ブロックと、当該動きベクトルの方向に投影された当該動きベクトルに対応するサーチブロックとの間の交差面積に比例させて導出し、局部動きベクトルに対する公算値を、補間の使用に適することを示す定数として導出するものである、上記割当てステップと、
当該ブロックに割当てられた各動きベクトルによって指し示される入力映像対のテストブロック間の相関度を検出し、テストブロック間で最高相関度をもつ１つの動きベクトルを選択するステップと、
選択された１つの動きベクトルを用いて、入力映像対から出力映像の各ブロックのピクセルを補間するステップと
を含む動き補正ビデオ信号処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9322052A GB2283385B (en) | 1993-10-26 | 1993-10-26 | Motion compensated video signal processing |
| GB9322052:3 | 1993-10-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07184167A JPH07184167A (ja) | 1995-07-21 |
| JP3845456B2 true JP3845456B2 (ja) | 2006-11-15 |
Family
ID=10744131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26060794A Expired - Fee Related JP3845456B2 (ja) | 1993-10-26 | 1994-10-25 | 動き補正ビデオ信号処理方式 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5526053A (ja) |
| JP (1) | JP3845456B2 (ja) |
| GB (1) | GB2283385B (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1045859C (zh) * | 1993-09-08 | 1999-10-20 | 汤姆森多媒体公司 | 使用块匹配进行运动估算的方法和装置 |
| JP3319133B2 (ja) * | 1994-03-29 | 2002-08-26 | ソニー株式会社 | 画像プリンタ装置 |
| GB2301971B (en) * | 1995-06-06 | 1999-10-06 | Sony Uk Ltd | Video compression |
| JPH11259662A (ja) * | 1998-01-09 | 1999-09-24 | Hewlett Packard Co <Hp> | 画像フレ―ムの移動検出方法および装置 |
| US6876702B1 (en) * | 1998-10-13 | 2005-04-05 | Stmicroelectronics Asia Pacific (Pte) Ltd. | Motion vector detection with local motion estimator |
| US6330032B1 (en) * | 1999-09-30 | 2001-12-11 | Focus Enhancements, Inc. | Motion adaptive de-interlace filter |
| KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
| US6870945B2 (en) * | 2001-06-04 | 2005-03-22 | University Of Washington | Video object tracking by estimating and subtracting background |
| JP3596520B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| DE10236207A1 (de) * | 2002-08-07 | 2004-02-26 | Micronas Gmbh | Verfahren zur bewegungsvektorgestützten Interpolation eines Bildpunktes eines Zwischenbildes einer Bildfolge |
| US7362374B2 (en) * | 2002-08-30 | 2008-04-22 | Altera Corporation | Video interlacing using object motion estimation |
| US7620254B2 (en) * | 2003-08-07 | 2009-11-17 | Trident Microsystems (Far East) Ltd. | Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence |
| KR100584597B1 (ko) * | 2004-05-10 | 2006-05-30 | 삼성전자주식회사 | 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치 |
| JP4650683B2 (ja) * | 2005-09-09 | 2011-03-16 | ソニー株式会社 | 画像処理装置および方法、プログラム並びに記録媒体 |
| GB0519698D0 (en) * | 2005-09-28 | 2005-11-02 | Univ Dundee | Apparatus and method for movement analysis |
| GB2431798A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Motion vector selection based on integrity |
| GB2431795A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Motion vector selection based on integrity |
| GB2431801A (en) * | 2005-10-31 | 2007-05-02 | Sony Uk Ltd | Interpolation using motion vectors |
| US20080018788A1 (en) * | 2006-07-20 | 2008-01-24 | Samsung Electronics Co., Ltd. | Methods and systems of deinterlacing using super resolution technology |
| DE102007015002A1 (de) | 2007-03-28 | 2008-10-02 | Micronas Gmbh | Iteratives Verfahren zur Interpolation von Bildinformationswerten |
| EP2106136A1 (en) * | 2008-03-28 | 2009-09-30 | Sony Corporation | Motion compensated temporal interpolation for frame rate conversion of video signals |
| US20110038553A1 (en) * | 2009-08-17 | 2011-02-17 | Chien-Tang Tseng | Picture image file transmission system and method thereof |
| JP2012186593A (ja) * | 2011-03-04 | 2012-09-27 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| EP3448032B1 (en) * | 2013-03-25 | 2022-10-19 | Imax Corporation | Enhancing motion pictures with accurate motion information |
| GB2569557B (en) | 2017-12-19 | 2022-01-12 | Canon Kk | Method and apparatus for detecting motion deviation in a video |
| GB2569556B (en) | 2017-12-19 | 2022-01-12 | Canon Kk | Method and apparatus for detecting motion deviation in a video sequence |
| GB2569555B (en) * | 2017-12-19 | 2022-01-12 | Canon Kk | Method and apparatus for detecting deviation from a motion pattern in a video |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2630842B1 (fr) * | 1988-04-29 | 1994-04-08 | Labo Electronique Physique Appli | Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif |
| GB2231749B (en) * | 1989-04-27 | 1993-09-29 | Sony Corp | Motion dependent video signal processing |
| GB2248361B (en) * | 1990-09-28 | 1994-06-01 | Sony Broadcast & Communication | Motion dependent video signal processing |
| GB2263601B (en) * | 1992-01-24 | 1995-05-24 | Sony Broadcast & Communication | Motion compensated video signal processing |
| GB2265065B (en) * | 1992-03-02 | 1995-08-16 | Sony Broadcast & Communication | Motion compensated image processing |
-
1993
- 1993-10-26 GB GB9322052A patent/GB2283385B/en not_active Expired - Fee Related
-
1994
- 1994-10-04 US US08/317,485 patent/US5526053A/en not_active Expired - Lifetime
- 1994-10-25 JP JP26060794A patent/JP3845456B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07184167A (ja) | 1995-07-21 |
| GB2283385A (en) | 1995-05-03 |
| US5526053A (en) | 1996-06-11 |
| GB2283385B (en) | 1998-04-01 |
| GB9322052D0 (en) | 1993-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3845456B2 (ja) | 動き補正ビデオ信号処理方式 | |
| US5784115A (en) | System and method for motion compensated de-interlacing of video frames | |
| EP1164792A2 (en) | Format converter using bidirectional motion vector and method thereof | |
| JP3287864B2 (ja) | 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置 | |
| US5070403A (en) | Video signal interpolation | |
| US5027203A (en) | Motion dependent video signal processing | |
| US6005639A (en) | Vector assignment for video image motion compensation | |
| JP3619530B2 (ja) | 画像処理方法及び画像処理装置及びテレビジョン標準変換器 | |
| JP4153480B2 (ja) | ノイズ減衰装置及び順次走査変換装置 | |
| US7499102B2 (en) | Image processing apparatus using judder-map and method thereof | |
| US4998168A (en) | Motion dependent video signal processing | |
| WO2009052430A1 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
| EP0395268B1 (en) | Motion dependent video signal processing | |
| EP0395272B1 (en) | Motion dependent video signal processing | |
| US20020001347A1 (en) | Apparatus and method for converting to progressive scanning format | |
| JP3619542B2 (ja) | 動き補正ビデオ信号処理装置及び方法 | |
| GB2231748A (en) | Motion compensated video signal processing | |
| EP0395269B1 (en) | Motion dependent video signal processing | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP2826018B2 (ja) | ビデオ信号のノイズ低減システム | |
| JPH06326975A (ja) | 動き補償ビデオ信号処理方法及び装置 | |
| JPH08163573A (ja) | 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置 | |
| JPH06326980A (ja) | 動き補償映像信号処理方式 | |
| Braun et al. | Motion-compensating real-time format converter for video on multimedia displays | |
| JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050506 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060821 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |