JPH08508138A - 動き補正を伴う映像信号処理 - Google Patents

Abstract

(57)【要約】 動き補正を伴う例えば方式変換等の映像信号処理の方法であって、実質的に各ピクセルごとに割り当てられた動きベクトルを利用した方法である。入力映像信号のピクセルを、映像信号メモリ（２４）の中の、当該ピクセルに割り当てられた動きベクトルによって指定される記憶位置に書き込む。書き込まれる１つのピクセルへ複数のベクトルを関連付けることができるようにしてあり、それによって、順行方向ベクトルと遡行方向ベクトルとの混合を可能にしている。信頼度の値を用いて、複数のピクセルの積算と、その後に行なう、動き補正済みフィールドどうしの間の内挿とを制御している。

Description

【発明の詳細な説明】 動き補正を伴う映像信号処理 本発明は、ビデオ画像シーケンスの中から検出した動きを利用して行なう映像 信号処理方法及び装置に関するものであり、その具体例のうちの最も重要なもの を挙げるならば、本発明は、動き補正を伴う方式変換に関するものである。 方式変換のプロセスは、テレビジョン信号をある走査方式から別の走査方式へ 変換するプロセスであり、具体的には、例えば欧州テレビジョン信号（ＰＡＬ） と米国テレビジョン信号（ＮＴＳＣ）との間の変換を行なうプロセスである。方 式変換のためには色信号のエンコード及びデコードという処理も必要であるが、 本発明が関係しているのは、その種の処理ではなく、内挿処理を実行することに よってそれまでフィールドが存在していなかった時刻に対応したフィールドを形 成する、時間的内挿処理に関するものである。以下の説明は輝度信号の処理に関 するものであるが、色信号の処理もこれと同様にして、これと並行して処理する ようにしている。 方式変換は従来、線形フィルタ法を用いて行なわれていた。線形フィルタ法は 基本的に、テレビジョン信号に対して線形の垂直方向の時間フィルタを適用する 方法である。線形フィルタ法を用いた方式変換プロセスの質は、使用する内挿開 口の具体的な設定（フィルタ係数）に大きく影響される。フィルタの開口の設計 は、ジャダーやフリッカ等の不都合な画像欠陥を発生させる信号中のエリアシン グを除去するという条件と、動いている像のディテールないしブレを除去すると いう条件とを適当に妥協さぜるということで行なわれていた。このような方法で もそれなりに良好な結果が得られないわけではないが、ただしそれは、あくまで も妥協点を求めたものでしかなく、画像の種類によっては、ジャダーやブレ等の 画像欠陥が容易に見て取れた。 従来の方式変換方法に本来的に付随していたこれらの問題を回避するために、 動き補正形の内挿法が提案された。この方法は、テレビジョンのシーンの中の物 体の明瞭な動きに関する情報に基づいて方式変換プロセスを改善するようにした 方法であった。 従来の方式変換方法で変換された画像にはエリアシング欠陥が不可避的に付随 してくるが、動き補正を施すことによってそのエリアシング欠陥を著しく軽減す ることができる。エリアシング欠陥が回避されれば、内挿処理に用いるフィルタ 係数に妥協を持ち込む必要はなくなる。従って動き補正を用いれば、エリアシン グ欠陥が付随しない画像が得られることに加えて、更に、方式変換前の元の画像 に存在していた解像度を方式変換後までより多く保存することができる。 本発明の一局面における目的は、方式変換のための、高画質の動き補正内挿法 を提供することにある。この動き補正内挿法のためには、テレビジョン画像中の 明瞭な動きを検出することも必要であるが、本発明が関係しているのは、そのよ うな動きの検出ではなくて、動きベクトルを用いた画像内挿処理の改良の方であ る。本発明に用いるのに適した動きベクトル場を導出することのできる、様々な 動き検出方法が公知となっている。 動き補正を伴う方式変換プロセスは基本的に、移動の軌跡に沿った内挿のプロ セスである。この種の動き補正のための内挿法が可能であるための前提条件は、 シーンの中に、直線的に平行移動している剛体の物体が複数存在していることで ある。このような簡単なモデルは、画像中の大部分の領域において成り立つが、 ただし、覆い隠されていた背景が現われてくる領域や見えていた背景が覆い隠さ れて行く領域では成り立たない。画像中のそのような領域を処理する際には十分 に注意ぜねばならず、なぜならばその種の領域は、内挿法を用いて形成した画像 の全体としての画質に対し、悪い影響を及ぼすことがあるからである。 動き補正のための内挿法を実行するには、入力画像中の物体の像を、出力画像 中の適切な位置へ変位させる必要がある。これを行なうには、「像シフタ」と呼 ぶべきものを使用する。像シフタは、入力画像中の全ての物体を出力画像中のそ れら物体の夫々に対応した適切な位置へ変位させるように、入力両像の再構成を 実行する。こうして動き補正を施した入力フィールドを結合することによって出 力画像を生成することができる。この方法で生成した出力画像には、物体に対応 した正確に位置付けられた像が、各物体に対して１つずつだけ存在する。これに 対して、上述の従来の方式変換方法では、生成した出力両像中に、各物体に対応 した像が複数存在しており、しかもそれら複数の像はいずれも、その物体の正し い位置に存在してはいない。 動き補正システムにおいては、像をシフトさせる機能を得るために、しばしば 可変遅延が利用されている。ラスタ走査をするテレビジョン方式では、信号経路 に遅延を導入すると画像中に空間的シフトが発生する。遅延が小さければ水平方 向のシフトが発生するだけであるが、走査線１本分のピクセル個数の何倍にも相 当する遅延を導入すれば垂直方向のシフトが発生する。適切な大きさの遅延を導 入することによって、どのような空間的変位でも発生させることもできる。従っ て、可変遅延を導入するという方法で、画像内の物体の位置を動的にシフトさせ る機構を構成することができる。 公知の動き補正を伴う方式変換装置には、例えばフィールド・メモリを４つ備 えたものがあり、この方式変換装置では、フィールド内挿処理によって出力フィ ールドのピクセルを生成するために必要な情報を、４つの入力フィールドから、 当該ピクセルに対応した動きベクトル（遅延）を用いて読み出している。これを 実行するためには、その前に予め、動きベクトルを変換先の方式に変換しておく ことが必要であることはいうまでもない。また、覆い隠されていた背景が現われ てきたり見えていた背景が覆い隠されて行ったりする場合には、問題が発生しが ちであり、不都合な画像欠陥の発生を回避するためには、更なる処理が必要なこ ともある。 本発明の目的は、−例えば方式変換等の−動き補正を伴う映像信号処理の方法 であって、過度の複雑さを伴わずに高画質の出力を発生することのできる優れた 方法を提供することにある。 従って本発明は、その一局面として、実質的に各ピクセルごとに割り当てられ た動きベクトルを利用した動き補正を伴う映像信号処理の方法において、入力映 像信号のピクセルを、映像信号メモリの中の、当該ピクセルに割り当てられた動 きベクトルによって指定される記憶位置に書き込むことを特徴とする方法を含む ものである。 各動きベクトルごとにその動きベクトルの信頼度を導出するようにすれば良好 な結果が得られる。 複数のピクセルを、夫々のピクセルを書き込むべきアドレスを制御している動 きベクトルの信頼度によって指定される重み付けを施して積算することが好まし い。 動きベクトルの各々に対してその信頼度に関連したスケーリングを施すように すれば好適な結果が得られる。 本発明は、その更なる一局面として、動き補正を実行する前にインターレース ・シーケンシャル変換を実行するようにしたことを特徴とする、動き補正を伴う 映像信号処理の方法を含むものである。 本発明に係る方法を方式変換に用いた場合には、動きベクトルの方式変換が不 要になるという重要な利点が得られる。また、それと同じくらい重要な利点とし て、個々の出力ピクセルに対応した動きベクトルが１つだけでなく複数存在する ということがある。後に更に詳細に説明するように、従来の動き補正を伴う方式 変換方法に付随していた、出力ピクセルの各々に動きベクトルをただ１つずつし か対応付けられないという制約は、時間的位相処理の期間中にそれまで見えてい た背景が覆い隠されたり覆い隠されていた背景が現われてきたりする場合には重 大な欠点となるものである。公知のシステムでは、前景と背景との双方に対して 同一の動きベクトルが割り当てられていた。本発明では前景と背景とに別々の動 きベクトルを割り当てることができる。前景と背景とを混合することが適切であ る場合には、そうすることも可能である。物体のエッジが明瞭でないことはしば しばあるが、従来のシステムでは、そのような物体の周縁部の付近では背景と前 景とのいずれかを選択しなければならず、そのため、運動している物体が「切り 抜かれた」ような外観になってしまっていたが、前景と背景とを混合することに より、そのような外観となるのを回避できるという重要な利点が得られる。 あるピクセルに、何の情報も書き込まれなかった場合に、本発明ではそのピク セルに「空孔」フラグを付すことができるようにしている。そして、後の適当な 段階で、その空孔を当該ピクセルの周囲のピクセルからの内挿によって充填する ようにしている。 これより添付図面を参照しつつ、本発明をその具体例に即して説明して行く。 添付図面については以下の通りである。 図１は、本発明において、動きベクトルを表わす可変遅延をどのように導入す るかを説明した図である。 図２は、サブピクセルの細かさの変位にどのように対応するかを説明した図で ある。 図３は、従来例に係る動き補正形方式変換における時間的内挿を示した図であ る。 図４は、図３と同様の図であるが、本発明における時間的内挿を示した図であ る。 図５は、本発明に係る動き補正形方式変換装置のブロック図である。 図６は、ベクトル処理を説明した図である。 図７は、図５に示されている複数の動き補正ユニットのうちの１つのユニット のブロック図である。 図８は、動き補正ユニットにおけるベクトル処理を説明した図である。 図９は、図７に示した動き補正用メモリのブロック図である。 図１０は、図５に示されている複数の方式変換ユニットのうちの１つのユニッ トのブロック図である。 図１１は、図１０に示されている時間的積算回路のブロック図である。 既述のごとく、像シフタの機能は、可変遅延によって実現することができる。 より詳しく説明すると、読出しポインタを、定期的に（クロック・サイクルごと に）インクリメントするとともに、書込みポインタに対して、動きベクトルに応 じて変更を加えるようにしている。定数遅延としては、読出しポインタの値が、 書込みポインタの値からｎ／２を減じた値になるようにしており、ここでｎはサ ンプルの個数を表わす。書込みポインタに動きベクトルを加算すると、像をその 移動の軌跡に沿って（時間的な）順行方向へ「押しやる」効果が得られる。同様 に、書込みポインタから動きベクトルを減算すると、像をその動きベクトルに沿 って遡行方向へ押しやる効果が得られる。この方法を用いてサブピクセルの大き さのシフトを生じさせることができ、それには入力両像に内挿処理を施して導出 した値をバッファに書き込めばよい。このプロセスを示したのが図２である。 従来例の方法と本発明の方法との間の、動き補正を実行する上での相違を、図 ３及び図４に示した。いずれの方法でも、連続した４面の入力フィールドからの 夫々の寄与を結合して各出力ピクセルを生成している。図３には、従来例の方式 を示した。図３の方式では、当該出力ピクセルに対応した動きベクトルにスケー リングを施したものを、４つのフィールド・メモリの各々に付随している夫々の 読出しポインタに加算している。これによって、移動の軌跡に沿った時間的内挿 を達成している。各出力ピクセルには、動きピクセルを１つずつしか対応させる ことができない。そのため、同じ１つの動きベクトルを使用して、４面のフィー ルドの各々で変位を発生させている。ところが、動いている物体どうしの間の境 界の部分には、それまで見えていた背景が覆い隠されて行く領域や、それまで覆 い隠されていた背景が現われてくる領域が存在している。背景の物体と前景の物 体とは互いに異なった速度で動くものである。従って、画像のうちでも、背景が 覆い隠されて行く領域や背景が現われてくる領域では、メモリの読出しポインタ に変更を加えるために使用する動きベクトルがただ１つしかないということは不 都合である。本発明によれば、読出しポインタではなく書込みポインタの方に変 更を加えることによって、夫々の入力ピクセルに対応た複数の動きベクトルを用 いて物体を変位させるようにしている。そのため図４に示したように、背景の物 体と、前景の物体とに、異なった別々の動きベクトルが用いられる。これによっ て隠されていた背景が現われてくる領域及び見えていた背景が隠されて行く領域 の内挿処理の結果が大幅に改善されており、ひいては画像全体としての画質が大 幅に改善されている。 図５は、動き補正形方式変換装置の全体ブロック図である。このシステムへ入 力している入力信号は、入力側方式に従って走査して得た映像信号と、その入力 映像信号の中の個々のピクセルに対応した順行方向及び遡行方向の動きベクトル を表わす信号とである。それら２つの（順行方向と遡行方向の）動きベクトル信 号には、動きベクトルの信頼度がどれほどであるかを示した指標値を付随させて ある。更に、個々の動きベクトルには、その動きベクトルが前景の物体に対応し たものかそれとも背景の物体に対応したものかを表示したステータス・フラグを 付随させてある。このような動きベクトル信号を発生さぜることのできる動き検 出装置の具体例としては、英国特許公開公報第９１１１３４８．０号に記載され ているものがあるが、ただし、その他の動き検出システムを利用することも可能 である。 順行方向の動きベクトルを使用すれば、物体をその動きの軌跡に沿って、時間 が進行する方向へ押しやることができ、一方、遡行方向の動きベクトルを使用す れば、逆の方向へ押しやることができる。従って、４フィールド形の方式変換装 置では、順行方向の動きベクトルは、内挿開口の中の４面のフィールドのうちの 先行する２面のフィールドに適用し、遡行方向の動きベクトルは後続の２面のフ ィールドに適用する。順行方向動きベクトルと遡行方向動きベクトルとが異なっ たベクトルとなり得るのは、一方が順行方向に変位したフレームのフレーム差信 号に基づいて導出されるのに対して、他方が遡行方向に変位したフレームのフレ ーム差信号に基づいて導出されるからである。あるピクセルに関して変位フレー ム差が定義されるのは、そのピクセルに対応したピクセルが直前のフレームない し直後のフレームの中に存在している場合だけである。従って順行方向変位フレ ーム差と遡行方向変位フレーム差とは相違しており、なぜならば、遡行方向のフ レーム差は新たに現われたばかりの領域に関しては定義されず、一方、遡行方向 のフレーム差は今まさに覆い隠されようとしている領域に関しては定義されない からである。この相違は重要であり、なぜならばこの相違は、背景が現われたば かりの領域ないし背景が覆い隠されようとしている領域に直接関係しているから である。 それら動きベクトルには、それらを動き補正に使用する前に、ベクトル処理部 １０、１２で処理を施す。ベクトル処理部１０、１２の動作を図解したのが図６ である。動き推定装置から送られてくる「ベクトル推定誤差信号」に基づいて、 動きベクトルの信頼度の値を求めるようにしている。ベクトル推定誤差信号をル ックアップ・テーブル１４に通すことによって、様々な種類の動き推定装置から 発せられる出力に対応できるようにしている。このルックアップ・テーブルの特 性は、図６に概略的に図示した形をしており、実験結果に基づいて調節を加える ことによってこのルックアップ・テーブルの特性を動き推定装置に適合させるよ うにしている。動き推定の誤差に対するシステムの耐性を更に増強するために、 動きベクトルに信頼度が付随している場合には、その動きベクトル自体にその信 頼度に応じたスケーリングを施すようにするのが良い。そのために、動きベクト ルの誤差との間に所定の関係を有するスケーリング係数をルックアップ・テーブ ル１４から取り出して、乗算器１６においてその動きベクトルに乗じるようにし ている。動き推定装置が大きな推定誤差を有するものである場合には、その動き ベクトルには小さな信頼度しかないため、その動きベクトルの大きさを縮小する ようにしている。これによって、不正確な動き推定結果の実質的な影響を低減し ており、このようにしているのは、使用する動きベクトルが不正確である場合に は、その動きベクトルが大きいほど、大きな不都合が発生するからである。 ルックアップ・テーブル２０は、このプロセスの中で後に使用する信頼度の値 を、ベクトル推定誤差をはじめとする種々の信頼度に関するパラメータ（例えば ピーク高さ等）に基づいて生成するためのルックアップ・テーブルである。補償 遅延部１８は、この装置のその他の部分との間でタイミングを取る機能を果たし ている。 説明を図５に戻して、この方式変換装置は３つの部分から構成されており、そ れら３つの部分とは、インターレース・シーケンシャル変換回路２２の部分、複 数の動き推定ユニット２４から成る部分、それに複数の方式変換ユニット２６か ら成る部分である。動き推定は、本明細書の冒頭部分で述べたように、映像信号 メモリの書込みポインタに変更を加えることによって実行するようにしている。 こうすることによって得られる利点の１つは、完全に入力側映像信号方式に則っ て動き補正を行なえることにある。これによって、動きベクトルの出力側方式へ の変換が不要になっている。従来の動き補正形方式変換では、この動きベクトル の方式変換が必要であったし、しかもそれは相当に面倒なプロセスであった。動 きベクトルの方式変換を不要化したために、処理が簡明になったばかりでなく、 更に信頼性も向上している。 入力映像信号のインターレース・シーケンシャル変換は、垂直方向の時間的フ ィルタを用いて行なっている。このフィルタの開口の大きさに関する絶対的な仕 様というべきものはないが、ただしこの具体例の用途では、３フィールド×４フ ィールド・ラインの大きさにすると好都合である。このインターレース・シーケ ンシャル変換が目的としている機能は、空間解像度を向上させることと、システ ムの動き補正部の出力における空間エリアシングの時間変調を回避することとの ２点である。この目的のために生成したフレームは、これに続いて行なう方式変 換の処理の間中、そのフレーム構造のままで保持しておくようにしても良く、或 いは、インターレース方式のフィールド構造へ戻すようにしても良い。図示の具 体例ではフィールド構造へ戻すようにしており、それによって方式変換に必要な ハードウェアの量を減らしている。本発明のこの特徴は、この特徴だけでも新規 性及び発明性を有するものであると考えられる。 図示の具体例のシステムでは、動き補正と方式変換とのいずれも、複数の並列 プロセスに分解してある。欧州テレビジョン方式（50Hz）と米国テレビジョン方 式（60Hz）との間の方式変換のためには５つの並列経路が必要である。用途が異 なれば使用する並列経路の数も異なったものと成りうる。複数の方式変換ユニッ トは、その各々が５面の出力フィールドのうちの１面ずつを生成する。出力フィ ールドの各々は、連続した４面の動き補正済み入力フィールドを使用して構成す る（用途が異なれば、使用するフィールドの面数が３面以下または５面以上にな ることもある）。複数の動き補正ユニットは、その各々が、１つの方式変換ユニ ットが必要とする４面の動き補正済み入力フィールドをシーケンシャルに生成す るようにしてある。 動き補正及び方式変換のプロセスの全体を通して、使用する動きベクトルの信 頼性についての綿密なチェックを継続して実行するようにしている。使用する動 きベクトルは、その信頼性が、システムの中を流れて行く「信頼度」信号によっ て表示されている。方式変換に必要な動き推定プロセスは、簡単なプロセスでは ない。動き推定の結果は必ずしも常に正確ではないことが、経験によって知られ ている。そこで、使用する動きベクトルの信頼性を継続してチェックし続けるこ とによって、動き推定の誤差の有害な影響を最小限にとどめ得るようにしている のである。 動き補正を完全に入力側方式に則って行なえるようにするために、図７に示し たように、映像信号メモリの書込みポインタに変更を加えるようにしている。本 明細書の冒頭で説明し、また図２に示したように、サブピクセルの細かさのシフ トを実現できるようにしており、そのためにサブピクセル内挿部３０において空 間的フィルタを使用している。この空間的内挿用フィルタの開口の大きさに関す る絶対的な仕様というべきものはないが、ただし図示例の用途には、２ピクセル ×２フィールド・ライン（或いは４ピクセル×３フィールド・ライン）の大きさ が適当であると思われる。 必要な変位量のうちの整数部分に相当する変位を発生させるために、動きベク トルの整数部分−即ち動きベクトル処理ユニット２８からの出力−を、動き補正 用映像信号メモリ３２の書込みアドレスに加算している。このメモリの出力が、 基本動き補正済みフィールドを表わす。ただし、この動き補正済みフィールドの 中に、信頼性が低い部分ないし誤った部分が存在している可能性がある。そのよ うな部分は、覆い隠されていた背景が現われてくる領域や見えていた背景が覆い 隠されて行く領域に存在し、なぜならば、そのような領域では使用する動きベク トルの信頼性が低いからである。使用する動きベクトルの信頼性が低いというこ とは、メモリから出力される信頼度の値が小さいことによって表示されている。 メモリから出力されるこの信頼度の値が、ルックアップ・テーブル３４へ取り込 まれて、このルックアップ・テーブル３４から乗算器３６へスケーリング係数が 送出される。メモリから出力される信頼度の値が小さいときには、基本動き補正 済みフィールドを表わす上述の出力のうちの適当な割合の一部分だけが入力フィ ールドに加算されるようにしてある。即ち、信頼度の値が小さくなるにつれて、 このシステムは次第に、動き補正を施さない状態へと近づいて行く。基本動き補 正済みフィールドと入力フィールドとの、最終出力中における割合は、信頼度信 号によって駆動される上述のルックアップ・テーブルによって制御されている。 このルックアップ・テーブルの特性は、図面中に概略的に図示してようなもので あり、実験結果に従って調節を加えることによって、動き推定装置に適合させる ようにしている。尚、動き補正ユニットから送出される、動き補正済みフィール ドに関する信頼度を表わす出力は、別のルックアップ・テーブル３８によって導 出するようにしている。 動き補正用メモリ３２からの出力は、空孔充填処理部３７の中を通過させるよ うにしてあり、この空孔充填処理部３７は、信頼度の値の中に組み込まれている 前述の空孔フラグに従って動作し、内挿処理を実行することによって空孔充填を 行なう。 図８には、サブピクセル内挿部３０及び動き補正用メモリ３２が使用する、ベ クトル及び信頼度信号の導出の仕方を示した。内挿開口の中の先行する２面のフ ィールドに関しては順行方向ベクトル及び信頼度信号使用し、一方、後続の２面 のフィールドに関しては遡行方向ベクトル及び信頼度信号を使用する。また、使 用するそれら動きベクトルに対しては、出力フィールドと当該入力フィールドと の間の相対的な位置関係に応じてスケーリングを施すようにしている。 例えば、内挿開口の中の入力フィールドのうちの最も先行している入力フィー ルドには、図４に示したように、スケーリング係数として（１＋α）を使用する ことになる。更に図４に示したように、その他の入力フィールドには、夫々その スケーリング係数として、α、（１−α）、それに（２−α）を使用することに なる。 図９には、動き補正用メモリ３２を示した。既述の如く、動きベクトルの整数 部分を書込みカウンタ４０の出力に加算することによって、このメモリへの書込 みのための書込みアドレスに変更を加えるようにしており、一方、読出しカウン タ４２は、その読出しアドレスを、一定の周期でインクリメントして進めて行く ようにしている。動きベクトルのベクトル場が、画像中の、それまで見えていた 背景が覆い隠されて行く領域に対応した部分において収束している場合には、同 じ出力ピクセルに複数の入力値が書き込まれる。これが可能であるのは、出力ピ クセルの各々に、単純に最新の書込み値を保持するのではなく、複数の値を積算 して書き込めるようにしてあるからである。そのため、このメモリの書込み側で は、実際には、図９に示したように加算器４４を使用して、読出し−変更−書込 みサイクルを実行している。１回の読出し−変更−書込みサイクルを実行するた めには、複数回のアクセスが必要であるが、それには、このメモリを映像信号の サンプル速度の２倍の速度で動作させるようにしておけば良い。また、このメモ リを複数の物理的デバイス（例えば４個のデバイス）で構成しておけば、このメ モリに対する読出しアクセスを、書込みアクセスと並行して同時に実行すること もできるようになる。それが可能であるのは、読出しアドレスを、このメモリの 容量の約半分に相当する分だけ、書込みアドレスからオフセットさせてあるから である（図１参照）。尚、この映像信号メモリの中で単純に複数の入力値を積算 するだけであると、画像中の場所によって輝度がばらつくことになる。そこで、 単純に積算するのではなく、入力ピクセルの夫々に、動きベクトルに対応した信 頼度の値を乗じることによって、予めスケーリングを施すようにしている。そし て、この動き補正用メモリ全体の出力部において、その出力値を、複数の信頼度 の値を積算した積算値（この積算値は「信頼度メモリ」で算出している）で割る 除算を実行している。このプロセスによって、どの出力ピクセルついても、複数 の入力ピクセルからその出力ピクセルへの寄与の合計が常に、正確に「１」にな る。従って、出力フィールドの場所による輝度のばらつきは発生しない。 図１０は方式変換のプロセスを示した図である。図示の方式変換ユニットは、 ＷＯ９０／０３７０５号公報に記載されている動き補正なしの方式変換装置のア ーキテクチャを大幅に取り入れたものである。図示の方式変換ユニツトは・ＦＩ ＦＯバッファ１００と、垂直方向内挿回路１０２と、時間的積算回路１０４と、 出力フィールド・バッファ１０６とを含んでいる。図示の構成では、上記公報の 装置と比べて、時間的積算回路の部分に対して、動きベクトルの信頼度信号を利 用できるようにするための変更を加えてある。また、出力フィールド・バッファ を追加してある。これを追加したのは、この方式変換ユニットの計算処理を実行 している部分に動作を継続させつつ、この方式変換ユニットが既に計算を終了し た部分の結果を出力させることができるようにするためである。このような変更 が実際的なものとなったのは、集積回路メモリの価格が劇的に低下したことに負 うところが大きい。 以上のように変更を加えた時間的積算回路を示した図が、図１１である。この 時間的積算回路は、垂直方向フィルタから出力される部分的結果を表わす複数の フィールドを、５フィールド・サイクルの間に積算する。その基本は、新たな入 力を受け取る度に、それまでの積算結果とその新たな入力とをクロス・フェード して、個々の寄与の重みの如何にかかわらずそれら寄与の合計が常に「１」にな るようにするということである。こうすることによって、寄与するフィールドの 各々を、そのフィールドを構成するために使用した動きベクトルの信頼度の値に 従って重み付けできるようにしている。また、各フィールドから得られた結果に 対して、時間的開口の開口係数で重み付けすることによって、時間的フィルタ処 理を実行するようにしている。この回路の動作の具体的な一形態は、例えば次の ようなものである。先ず、時間的開口の開口係数と動きベクトルの信頼度の値と が、５つのフィールドのいずれにおいても「１」に保たれていたものとする。ま た、点Ｐにおける値のシーケンスが「１、１、１、１、１」であり、一方、点Ｑ における値のシーケンスが「１、２、３、４、５」であるものとする。このよう な場合、それまでの積算結果に新たな入力を混入する割合を指定している点Ｒに おける値のシーケンスは、「１、１／２、１／３、１／４、１／５」になる。従 ってこの時間的積算回路の入力に対して適用される重み値の合計値は常に「１」 に維持される。そのため、信頼度信号がどのような値を取っていても、また時間 的開口の開口係数がどのような値を取っていても、ある１回の５フィールド・サ イクルが終了した時点では、そのサイクルの積算プロセスで使用した重み値の合 計は常に「１」になっている。 変更例の１つとして、次の事実を考慮したものが考えられ、その事実とは、方 式変換装置の開口は、その開口内の複数のフィールドのうち時間的に最も先行し ているフィールドと最も遅いフィールドとから、周波数が特に高い情報を取り込 むように構成することが好ましいという事実である。そのため、本発明に係る好 適な動き補正形方式変換装置の１つに、複数のフィールドの内挿処理を基本的に ２つの段階で実行するようにした装置がある。第１の段階では、時間的に先行す る一対のフィールドを結合して１つの先行フィールドを形成すると共に、後続の 一対のフィールドを結合して１つの後続フィールドを形成する。この結合を実行 する際には、各一対のフィールドのうちの外側の方のフィールド（先行する一対 のフィールドに関してはそれらのうちの先行している方のフィールド、後続の一 対のフィールドに関してはそれらのうちの後の方のフィールド）から、周波数が 特に高い情報を取り込む必要があるということを考慮して行なう。第２の段階で は、結合して形成したそれら先行フィールドと後続フィールドとを、それらの時 間的位相とそれらの信頼度の値の合計値の相対的な大きさとを考慮した比率で結 合する。図１１に示した構成で以上の処理を実行するには、次のようにする。 結合するフィールドをＦ₁〜Ｆ₄で表わすことにする。第１のステップでは、混 合器１２０が、Ｆ₁を新データとして受け取る。第２のステップでは、旧データ となったそのデータに、新データであるＦ₂を加算した上で、それらデータの重 み値の合計値ｋ₂を格納する。この値ｋ₂と、同じフレームを形成する残りのフィ ールドに関するこれに対応した値ｋ₃とは、ｋ回路網１２２での処理によって生 成する。この処理の際に更に、正規化のための分母（ｋ₂＋ｋ₃）を併せて生成す る。第３のステップでは、新データＦ₃に適当な重み付けをしたものを、旧デー タとなった上記加算結果に混合する。最後に、スケーリングを施した新データＦ₄ を、旧データとなったその混合結果に更に混合する。以上のステップを実行し たならば、その結果として、次の式で表わされる値が積算される。 以上の本発明の説明はあくまでも具体例を提示することを目的としたものであ り、本発明の範囲から逸脱することなく広範な様々な変更態様が可能であること を理解されたい。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ボーアー，ティモシー・ジョン イギリス国サリー アールエイチ２・８エ イチエックス，レイゲート，オーリンハ ム・ロード 86 (72)発明者 ライオン，デイヴィッド イギリス国サリー ジーユー９・０エルエ イ，ファーナム，ヒース・エンド，アル マ・レーン 20

Claims (1)

1. 【特許請求の範囲】 １．実質的に各ピクセルごとに割り当てられた動きベクトルを利用した動き補 正を伴う映像信号処理方法において、入力映像信号のピクセルを、映像信号メモ リの中の、当該ピクセルに割り当てられた動きベクトルによって指定される記憶 位置に書き込むことを特徴とする方法。 ２．各動きベクトルごとにその動きベクトルの信頼度を導出することを特徴と する請求項１記載の方法。 ３．複数のピクセルを、夫々のピクセルを書き込むべきアドレスを制御してい る動きベクトルの信頼度によって指定される重み付けを施して積算することを特 徴とする請求項２記載の方法。 ４．動きベクトルの各々に対してその信頼度に関連したスケーリングを施すこ とを特徴とする請求項２記載の方法。 ５．動き補正を実行する前にインターレース・シーケンシャル変換を実行する ことを特徴とする先行請求項のいずれかに記載の方法。 ６．データが書き込まれていない出力ピクセルにそれが空孔であることを表わ すフラグを付し、その後に、その出力ピクセルを内挿処理によって充填すること を特徴とする方法。