JPH02293793A - ビデオ信号補間方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、デジタルビデオ信号の走査線間を補関するた
めの方法に関する。

［従来の技術］ インターレース走査方式のビデオ信号をプログレッシブ
走査方式（順次走査方式とも呼ばれる）に変換する必要
が生じることがある。これは、ビデオ信号の１つのフレ
ームが奇数番目の走査線と偶数馬目の走査線とからなる
インターレース方式で走査されるフィールドを、奇数番
目の走査線も偶数番目の走査線も一括して順次走査され
るフィールドに変換することも含んでいる。そのような
要求がおこる例としては、画像をスローモーションで表
示しなければならないときとか、ビデオ表示モニタの性
能を向上させねばならないときがある。

既に提案されている方法のひとつは、１つの入力された
フィールドから垂直方向に（空間的に）補間を行い（フ
ィルタをかけ）、補関された（順次走査される）フィー
ルドを生成する単純な技術を採用している。既に提案さ
れているもうひとつの方法は、運動してい、る画像の部
分に対しては垂直フィルタ（補間器）を用い、運動のな
い画像の部分に対しては時間的（ｔｅｍｐｏｒａｌ　）
フィルタ（補間器）　（これは入力フィールド間を、補
間する）を用いるような動きに適合させる技術を含んで
いる。

この動きに適合させる技術は、順次走査方式によるフィ
ールドによって表現されている画像が垂直方向（ヒ充分
な解像度を有する点において、動きのない部分では、単
なる垂直補間技術よりも優っている。しかしながら、動
きのある部分では垂直方向の解像度が目に見えて低下す
る。

［発明が解決しようとする課題］ 本発明の課題は、従来の単純な垂直方向の空間補間等の
技術が陥りがちであった補間走査線における誤差及び解
像度の低下、特に画像の動きのある部分における解像度
の低下が抑えられるビデオ信号補間方法を提供すること
にある。

［課題を解決するための手段及び作用］本発明はデジタ
ルビデオ信号の走査線間において空間補間を行うことに
よって補間走査線を生成する方法を提供する。この方法
は、ビデオ信号のサンプル間の水平補間を行い、元のサ
ンプルと、この元のサンプルのとなりあう対間に挿入さ
れた少なくとも１個の補間サンプルとを具えたスーパー
サンプル信号を生成する水平補間の摸作を含んでいる。

次に、このスーパーサンプル信号の各サンプルに対して
、（Ｎを走査線の本数、Ｍをサンプルの数として）Ｎｘ
Ｍを寸法とするスーパーサンプル信号のサンプルによる
ブロックを２個設定し、このブロック間でのマッチング
の範囲を決定する。この２つのブロックは、補間される
べき走査線を中心として垂直に相互に反対方向にオフセ
ットされる。また、補間を行いたい所定のサンプル位置
を中心に水平に相互に反対方向にもオフセットされる。

上述の決定のためのステップは、ゼロを中心に各方向に
少なくともサンプル１個分行うオフセットとゼロオフセ
ットとを含む複数の異なるオフセットも行い、スーパー
サンプル信号の各サンプルに対して、各水平オフセット
のマッチングの範囲の値を決定する。異なる水平オフセ
ットのおのおのに対応する複数の勾配ベクトルから、補
関されるべき走査線の各サンプルに対して、２個のブロ
ック間のマッチングの範囲の最大値を生成する水平オフ
セットに対応した勾配ベクトルを選択する。そして、発
生させるサンプルに対応した上述のサンプル位置に対し
て選択された勾配ベクトルに従って、発生させる各サン
プルに関して空間補間の方向を制御して、ビデオ信号の
異なった走査線間に補間走査線のサンプルを発生させる
ことによって補間を行う。

以下に一層詳しく説明するように、選択された勾配ベク
トルに従って、空間補間器の補間の方向を「舵取」する
ことは、補関前の画像の緑を位置あわせすることを通じ
て効果的に解像度を向上させることになる。このため特
に画像の動きのあるところでの垂直方向の解像度の低下
は、（舵取のできる空間的な補間よりも）垂直な補間が
用いられている場合と比較して抑制することができる。

本発明のその他の目的、特徴及び利点は、以下の図面を
用いての実施例の詳細な説明によって明らかになる。こ
れらの図面において共通する要素には共通な参照番号を
付した。

［実施例］ インターレース方式で走査されるデジタルビデオ信号の
フィールドの走査線を空間的に補間し、元の走査線と紐
み合わせることによってデジタルビデオ信号の順次走査
される補間された走査線（これは、例えばスローモーシ
ョン処理装置に用いられてもよい）を生成するための、
本発明を使用した好適な方法を説明する。

まず、空間補間の概要を説明する。第２図はデジタルビ
デオ信号の１フレーム中の並んで配置された３本の走査
線の部分を示している。１つのフィールド（フィールド
（０））中の連続する２本の走査線のなかでは、ピクセ
ルを矩形で表し、フィールド（０）の中のこの２本の走
査線の間にある極性が反対のフィールド（フィールド（
１））の走査線の中のピクセルは、丸で示してある。黒
と白のピクセルは、それぞれ黒と白のサンプル値（ゼロ
と最大値の輝度）を示している。これらのピクセルは左
上から右下へ対角線状に延びる黒い画像の縁または物体
を表している。

第３図は、第２図と同様フィールド（０）の走査線を示
している。これらの走査線の間には、フィールド（０）
の２本の走査線の垂直にとなりあうピク、セルの間で（
平均をとることによって）補間を行い（垂直補間）、こ
れによって得られたピクセルからなる走査線が示されて
いる。これが垂直補間によって得られた走査線である（
第３図の矢印が示す方向）。垂直補間は、振幅が半分の
斜線を付した（灰色の）６つの補間ピクセルを生み出し
ている。第２図と第３図との比較によって明らかなよう
に、第３図では不正確な結果となっている。すなわち補
関された走査線の図示の輝度値は、第２図におけるフィ
ールド（１）の走査線（正しい補間が行われたとして）
と対応していない。これが垂直の誤差（ａ　１　ｉａｓ
　ｉｎｇ　）となっている。

第４図は、正しい結果を示しているが、これはフィール
ド（０）における垂直方向の空間補間を行う代わりに、
画像の縁と少なくとも近似的に追随した方向である第４
図中の矢印の方向に空間補間することによって得られた
ものである。この方向のことを以後勾配ベクトルと呼ぶ
。そして各補関された走査線の各ピクセルに対して最適
の勾配ベクトルを生成し、空間補間のための最適の方向
あるいは角度を決定するための方法を以下に説明する。

第５図は１つのフィールドにおける２つの順番に配置さ
れた走査線を示している。この走査線の間にピクセルの
連なりからなる、すなわちサンプルの連なりからなる補
間走査線を生成させる。フィールドとは、順番になって
いるフィールドの連なったピクセルを表す連なったサン
プル（デジタルワードの形式による）によって構成され
るデジタルビデオ信号の一部であることを思い起こして
いただきたい。第５図では補間走査線は破線によって示
してある。当然のことながら、補間走査線のピクセルの
位置はフィールドの走査線のピクセルと垂直位置が揃っ
ているのでなければならない。

この発明で用いている方法では、補間されるべき各ピク
セルに対して勾配ベクトルはいくつかの異なった方向に
沿って測定され、そのベクトルの各々は補間されるべき
ピクセルの位置を通過する。

ピクセルの輝度値において最も絶対値の相違が小さい勾
配ベクトル（最小値勾配ベクトル）の１つを、問題のピ
クセルの補間に際して採用するに適したものとして選択
する。例えば、もし第５図のＸで示す補間ピクセル位置
のための最小値ベクトルを確定させたい場合は、第５図
の各矢印で示す５つの勾配ベクトルを測定する。１つの
勾配ベクトルは垂直であり、他の４つのベクトルは、垂
直なベクトルに関して反対方向のものと２つで対をなし
ている。明らかに勾配ベクトルは５つ以上でも以下でも
測定可能である。実際この発明を実施した方法では、「
スーパーサンプリング」　（以下に説明する）を用いて
おり、９つの勾配ベクトルを測定する。

本発明の方法は、ピクセルのブロックまたはウインドー
（配列）のマッチングを用いた技術を採用している。こ
の方法は、各補間されるべきピクセルの位置に関連した
勾配ベクトルを測定する考えに基づいている。この方法
は、「本物の」　（元の）ピクセルの値にとって適切と
なるような補間ピクセルがあるべき位匿を決定する他の
代替技術（これは曖昧さの原因となる）とは異なってい
る。

言い替えると、ピクセルがどこへ行くかではなく、ピク
セルがどこから来たかを決定しようとする考え方を含ん
でいる。一層詳しくいうと、ＮｘＭ個のサンプル（Ｎは
走査線の数、Ｍはサンプルの数）からなる２つのブロッ
クの間で、各サンプルごとにマッチングの程度を決定す
ることを含む技術である。２つのブロックは補関される
べき走査線に関して垂直に相互に反対方向にずれている
。同様に、この２つのブロックは、補間されるべき走査
線の所定のサンプル位置に関して水平にも相互に反対方
向にずれている。マッチングの度合を決定するための上
述の手順は、異なった複数の水平のオフセットくずれ）
（異なった複数の勾配ベクトルに対応する）に対して行
われ、各水平オフセットに対してマッチングの度合の値
（以後整合（マッチ）値と呼ぶ）を生成する。この最大
整合値は、最小勾配ベクトルをもたらし、この勾配ベク
トルを問題のピクセルの補間のために選択する。

上述したこをは第６図を参照して一層詳しく説明する。

位置Ｘにおいて補間されるべきピクセルに対する最小勾
配ベクトルの推測にあたって、Ｎ＝１、Ｍ＝３のブロッ
クを採用する。まずピクセルＡＯ〜Ａ２よりなるブロッ
クをピクセルＢＩＯ〜Ｂ１２よりなるブロックと比較す
る。一層詳しくいうと、ピクセルの輝度の差異の絶対値
ＩＡＯ一ＢＩＯ　　、　Ａｌ−Ｂｌｌ　　、　Ａ２−Ｂ
１２を計算し次に平均化する。見てわかるとおり、ピク
セルＡＯからＡ２までは黒であり、ピクセルＢＩＯから
８１２までは白であるので、絶対値の差異が大きな信号
すなわち勾配の大きな勾配ベクトルは、ピクセルＡ１と
Ｂｌｌとを結ぶ（しかも補間されるべきピクセル位置Ｘ
を通過する）線となる。次にピクセルＡ１〜Ａ３よりな
るブロックをピクセルＢ９〜Ｂｌｌよりなるブロックと
比較する。次にピクセルＡ２〜Ａ４よりなるブロックを
ピクセルＢ８〜ＢＩＯよりなるブロックと比較する。こ
のようにして、ピクセルＡＩＯ〜ＡＩ２１ｌ よりなるブロックと、ピクセルＢＯ〜Ｂ２よりなるブロ
ックとの比較が終わるまでこの動作を続行する。（実際
のところ、異なるブロックのマッチング動作は上述した
ように順次行う必要はない。

実際、時間の関係で複数のブロックマッチング動作を同
時に行うことが一般には好まれている。）このブロック
マッチング動作のうちの１つによって、最大整合値（す
なわち最小勾配ベクトル）が選択される。

比較された異なるブロックの対の間での異なる水平オフ
セットは、シフトの単位で測定することが可能であり、
ここでシフトとは、ブロックが相互に垂直に並ぶ状態（
シフト＝０）である中央の位置からの各ブロック（対向
しているブロック）の水平方向のずれ（ピクセルの間隔
を単位とする）として定義される。第６図に示すような
場合、ずれは＋５　（すなわち、第６図に示すピクセル
によって限定されると考えられる検索領域の一方の端部
にブロックが位置している場合に相当する。）から−５
　（すなわち、この検索領域の他方の端部にブロックが
位置している場合に相当する。）まで変化することが見
てとれよう。第６図に枠で囲んで示したブロックの場合
は、シフト量は＋３である。（下側のブロックが左にシ
フト　（上側のブロックが右にシフト）することを正方
向のシフトとし、逆方向のシフトを負のシフトとする（
任意の）取り決めをしておく。） ブロックマッチングのアルゴリズムを選択するにあたっ
て、まず考慮しなければならないことは使用するブロッ
クの寸法である。すなわち、もし小さいウインドーを用
いると、１以上のシフト値でもブロックが整合（一致）
する可能性があり、正しい最小勾配値ベクトルを選択で
きるかどうかの不確かさ（すなわち、間違った勾配ベク
トルを選択する可能性）が存在する。第６図からただち
に明らかなように、２本のフィールド走査線上の垂直に
並んだすべてのサンプルの輝度値はみな等しく、このた
めピクセル位置Ｘにおける正しい最小勾配ベクトルは垂
直な勾配ベクトル（シフ｝一〇）、すなわちピクセルＡ
６とＢ６とを通過するベクトルとなる。ピクセルＡ５か
らＡ７までからなるブロックは、ピクセルＢ５からＢ７
までがらなるブロックと完全に一致し、それゆえ、これ
らのブロックは１００％の整合値（平均絶対値の差異が
ゼロ）従って（正確に）ゼロ勾配値のベクトルを作り出
す。これによって位置Ｘにおいては、（正しく）白のピ
クセルを発生させることになる。

しかしながら、同様のことがピクセルＡ８〜Ａ１０より
なるブロックとピクセルＢ２〜Ｂ４よりなるブロック　
（枠で囲ってある）との間にも（誤って）成り立ってお
り、ピクセルＡ９とＢ３とを結ぶ図示の線の勾配ベクト
ルとなる。これは、位置Ｘにおいて黒のピクセルを発生
させるという（完全に間違った）結果を導く。

このような問題は、第７図に示すような例えばＮ＝１、
Ｍ＝７の寸法となった大きなブロックを使用すれば回避
することができる。この場合は、第６図の枠で囲ったブ
ロックように、同様なシフト量（＋３）となっている（
大きな）ブロック（枠で囲ってある）も、よく一致しな
い。この場合、中心のピクセルとなっている八６とＢ６
とにおいてしかブロックの間で一致しないので、最小勾
配ベクトルについての不明確性は存在しない。

従って、可能なかぎり大きなウィンドーを採用する方法
が最良のやり方であるように考えられる。

しかしながら発明者はこれが最良の方法であるとは考え
ていない。この点に関しては、大きなウィンドーを採用
するとその領域の細かい点、つまりピクセルのわずかな
シフトが見のがされてしまう、と考えている。ゆえに、
ウィンドーの寸法に関しては中間を取るべきである。と
はいえ、（小さい）ブロックを採用することによってマ
ッチングを誤るという極端な場合と（大きな）ブロック
を採用することによって細部を見失う極端な場合との間
の中間として、ある寸法のブロックを採用するよりも、
発明者は寸法が異なる複数のブロックを採用し、上述の
妥協策が陥る誤りを回避する技術を提案する。特に整合
値を決定するにあたっては、少なくともいくつかの水平
オフセット　（シフト）に対して、それぞれ異なった寸
法の複数のプロックに関してこの決定手順を実行する。

そして生成した各水平オフセット値における複数の整合
値を結合し、各水平オフセット値の単一整合値を形成し
、異なった水平オフセット値に対する整合値に従った最
小勾配ベクトルの選択のステップに至る。

上述の方法に忠実に沿ってブロックマッチングを実行し
た場合に発生すると考えられる問題について説明する。

第５図を注意深く研究すると解るように、１つのフィー
ルドの走査線から他の走査線に向かってピクセルＡから
ピクセルＢまでピクセル１つ分シフトした場合、すなわ
ちこの場合勾配が最小となるが（ピクセルＸを通過しな
い）、これは検出されない。このときの勾配ベクトルは
位置Ｘを通過しないために、この勾配に関してはなんら
検証が行われない。例として第８図に示すような画像の
縁があったとする。ここではデジタルビデオ信号のフレ
ームの３本の順番に並んだ走査線が示されており、矩形
のピクセルで示されたものは２つの順番に並んだ１つの
極性のフィールド走査線（たとえばフィールド（０）の
走査線）を表し、円のピクセルで表されたものは反対の
極性のフィールドの走査線を表し、これが上述の２本の
フィールド走査線の間に挿入されている。この問題の解
決を可能にするために、デジタルビデオ信号を水平に「
スーパーサンプル」する。すなわち、水平にとなりあう
対となったサンプル間で（単純な水平フィルタを用いて
）補間を行い、このような対の間で半分のピクセル間隔
の補間ピクセルを作成する。この補間ピクセルは元のデ
ータ（サンプルの連なり）に加えられ、サンプル（デー
タ）レートが元の信号の２倍になったスーパーサンプル
信号を作成する。そこで、ブロックのマッチング比較を
（元の信号のサンプル間のみではなく）スーパーサンプ
ル信号のサンプル間において実行する。

第９図は、２本のフィールド走査線内に水平に補間され
たサンプルを付け加えた第５図の変形例を示している。

この挿入されたサンプルはひし形によって示されている
。検証が行われる方向（勾配ベクトル）は、第５図に示
す５方向に加えて、ピクセル位置Ｘ及び補間されたピク
セルの対を通過する４つのベクトルがある。Ｃ及びＤに
示す付加されたピクセルを通過する付加されたこれら４
つの勾配ベクトルのうちの１つが最良のマッチングを示
す。スーパーサンプルを行わない方法と比較すると、ス
ーパーサンプルを行う方法では、１つのフィールド走査
線から次のフィールド走査線に向かってピクセル１つ分
のシフトしか発生しなかった場合でも検出することがで
きる。このようにして水平方向に−４から＋４までのシ
フトに対応する９つの勾配ベクトルの検証が実行される
。

第１０図は、第９図のスーパーサンプル信号を空間的に
補関し、しかるのちに「サブサンプル」し、元のデジタ
ルビデオ信号のサンプルの水平位置に対応するところの
サンプルだけを残してその他の水平に補関されたサンプ
ルを除去することによって元のデータレートに変換して
得られた補間フレーム出力（順次走査のフィールド）を
表している。

上述の例では、マッチングされるブロックの垂直方向の
寸法は各場合においてただ１本の走査線分であり、従っ
てＮ＝１であり、ブロックは走査線の補間によって（走
査線１本分だけ）相互に垂直にオフセットしたことにな
る。しかしながら、Ｎの値は、補関される走査線に関し
て反対方向に相互にオフセットされるのでありさえすれ
ば、１を越えることが可能である。実際、本発明を用い
た好適な方法では、Ｎ＝３のブロック（垂直方向に走査
線３．本分の寸法となっているブロック）を採用するこ
とが好ましい。

本発明を具体化した好適な方法を要約する。

まず、入力データ（デジタルビデオ信号）を上述のごと
く水平にスーパーサンプルし、水平方向のデークレート
を２倍にし、ハーフピクセルのオフセットでの計算が可
能になるようにする。

各サンプルに関してスーパーサンプル信号を上述のブロ
ックマッチング操作にかける。特に−４から＋４までの
９つのシフトのうちのいくつかについて、寸法の異なっ
た複数のウインドーに関してブロックマッチングを行う
。特にウインドーの寸法がＮｘＭ＝３ｘ９，３ｘ７，３
ｘ５，３ｘ３の場合について行う。２つのブロックの関
連するサンプル藺の絶対値の差異を、各ブロック寸法各
シフトごとに計算する。各シフＦ各ブロック寸法ごとに
計算された差異値の平均を、ウィンドー寸法に関して標
準化し、各シフトに関して標準化された絶対値差異（Ｎ
ＡＤ）を生成する。各シフトに関するＮＡＤを平均化し
、各シフトに関する平均ＮＡＤを生成する。

各ウインドー寸法に適用されうるシフト量の範囲は次の
規則に従う。

一Ｍ／２≦（シフト量）≦＋Ｍ／２ 最小の平均ＮＡＤ．（これが最適のブロック整合値とな
る）を作り出すシフト量に関係する勾配ベクトルを、い
まある補間サンプル位置にて使用する適当な勾配ベクト
ルとして選択し、選択された勾配ベクトルによって「方
向付」された空間補間器（フィルタ）によって補間サン
プルが空間補間される。これは、選択された勾配ベクト
ルに対応した方向での空間フィルタリング作用をするよ
うに構成されている。

場合によっては、選択された勾配ベクトルは誤ったもの
であり、この誤差が画面上に見えることが理解されるで
あろう。この単独の勾配ベクトルの誤りを抑えるために
、上述の選択操作によって作り出された勾配ベクトルの
連なりを、例えば２次元の有限インパルス応答（２ＤＦ
ＩＲ）フィルタのようなローバス・フィルタに通しても
よい。

これによって空間補間器に向かって通過した各勾配ベク
トルは、勾配ベクトルの空間配列の合計を重み付けられ
、どんな見せかけの誤差も抑制され、減少し、あるいは
消滅する。

上述のようにローパス・フィルタによって勾配ベクトル
を選択する処理の後であっても、空間補間は誤って補間
された出力サンプルをときどき作り出すことがあり、画
像上では点の欠損として現れる。このようなことが起こ
る可能性を抑制し、あるいは消滅させるためには、各補
間サンプルを検証し、水平的にとなりあう補間サンプル
値と比較することによって合理的に予測される値である
かどうか調べる。これは同じ補間走査線中の外側へ出て
行くサンプルである。これは第１１図でこれから説明す
るようにしてもよい。

水平な線内で囲んでいるいるサンプルのなかに実際に「
挿入される」補間サンプルＸの値を予測する操作は、Ｘ
−２とＸ−１の位置の先行する２つのサンプル値の差を
用い、ピクセルＸのための予測値Ｘ゛を線形補間によっ
て計算する。また同様に後続する２つの位置Ｘ＋１とＸ
＋２におけるサンプル値から予測値Ｘ”を計算する。こ
の計算（予測）値Ｘ′とＸ”の平均値をサンプルＸにお
ける期待（予測）値とする。もしサンプルＸの実際の値
が予測値によって決定される範囲Ｒ（この範囲Ｒは第１
１図に示すように、値Ｘ゜　と値Ｘ”によって区切られ
る範囲であるが、これよりも大きくてもよい）の中に落
ちなければ、その実際の値を採用しない。この実際値は
、デジタルビデオ信号の適当に配置されているサンプル
間の垂直フィルタリング（補間）によって発生したサン
プルによって代替するかもしくはこれと混合する。

上述の方法は順次走査方式のフィールド全体の空間補間
に利用できる。しかしながら（上述の）時間的フィルタ
リングは、静止画像領域では一般に満足のいく結果が得
られることがわかっているので、時間的フィルタリング
の方法と上述の方法とを組み合わせることも可能である
。このとき、デジタルビデオ信号によって表される画像
の局部的な動きの度合は、（既知の）運動検出手段によ
って検出し、時間フィルタが提供される。もし動きの度
合が所定の値を下回れば、上述のごとく発生した補間サ
ンプルは、時間的フィルタによって生成したサンプルに
よって代替される（かまたはこれと混合される）。

本発明を実施した上述の好適な方法を行うための装置を
以下に説明する。この装置は第１図にブロック図の形式
で示してある。８ビットの輝度データ（サンプル）の形
式をとるインターレース方式のデジタルビデオ信号をバ
ス（１０）を介してスーパーサンプラ（１１）に入力す
る。ここで（上述の）スーパーサンプル信号を生成する
ために上述のごとくスーパーサンプルし、サンプルレー
トまたはデータレートが２倍となった信号をバス（１２
）に出力する。３本の走査線遅延回路（１４）、（１６
）及び（１８）を図示のごとくバス（１２）に対して並
列に接続する。このようにすることによって、フィール
ド内で続けて走っている４本の走査線に対応するスーパ
ーサンプルされた信号はいつでもバス（１　２）　、及
び（２０）、（２２）、（２４）（それぞれ走査線遅延
回路く１４）、（１６）、（１８）の出力に接続されて
いる）上にそれぞれ発生することになる。

バス（１２）、（２０）、（２２）、（２４）は９つの
シフト検出器（ブロックマッチング回路）ＳＤ（−４）
〜ＳＤ（＋４）のそれぞれの入力に接続する。簡単に図
示するために、第１図ではシフト検出器ＳＤ（−４）〜
ＳＤ（＋４）はあたかもカスケード接続されているかの
ように描いてあるが、それぞれの４つの入力はバス（１
２）、（２０）、（２２）、（２４）と直接接続されて
いる。このためシフト検出器はみな並列に動作する。

以下に一層詳しく説明するように、シフト検出器ＳＤ（
　−４）〜ＳＤ（＋４）は、シフト　（水平オフセット
）−４〜＋４までの各１つ１つについてブロックマッチ
ング操作を行う。特にその関係するシフトでは、シフト
検出器ＳＤ（−４）〜ＳＤ（＋４＞のおのおのはブロッ
ク寸法がＮｘＭ３Ｘ９、３Ｘ７、３Ｘ５、３Ｘ３の少な
くとも１つに対してブロックマッチング操作を行い、各
ブロック寸法における２つのブロックの関連するサンプ
ル間での絶対値差を計算し、各ブロックでの絶対値差を
標準化して、標準化された絶対値差（ＮＡＤ）を生成し
、そして関連のシフトのための平均ＮＡＤを生成するべ
くこれらＮＡＤを平均化する。

９つのシフト検出器ＳＤ（−４）〜ＳＤ（＋４）それぞ
れからの平均ＮＡＤを、最小シフト選択器（２６）に供
給し、ここで上述したように最小の平均ＮＡＤを有する
シフトに関連したそれぞれ９つのシフトに関連した９つ
の勾配ベクトルのうちから１つを選択する。

選択された勾配ベクトルは、ベクトルフィルタ（２８）
（ローパス・フィルタ）に出力され、ここで上述のよう
に選択された勾配ベクトルの連なりに生じる疑似的誤差
を抑制する。

バス（１２）、（２０）、（２２）及び（２４）はそれ
ぞれの等価遅延回路（３０）、（３２）、（３４）及び
（３６）（これらは入力と出力との正しい時間関係を保
存する）を介してそれぞれの可変サンプル遅延回路（３
８）、（４０）、（４２）及び（４４）に接続される。

回路（３８）及び（４４）は０〜２４のサンプルに対し
て遅延を作り出すことができ、回路（４０）と（４２）
は０から８までのサンプルに対して遅延を作り出すこと
ができる。可変サンプル遅延回路（３８）、（４０）、
（４２）及び（４４）の出力は、４タップ垂直補間フィ
ルタ（４６）の入力にそれぞれ接続する。これはこの技
術分野で既に知られている方法により、それぞれの重み
付け係数を伴って４つの入力の積を生成する４つのかけ
算器と、かけ算器の出力の総和をとり出力サンプルを生
成する手段とを具える。

当業者にとっては明かなことであろうが、垂直補間フィ
ルタ（４６）は走査線遅延回路（１４）、（１６》及び
（１８）及び可変サンプル遅延回路と関連して、可変方
向（勾配）空間補間フィルタとして作用している。この
フィルタは、バス（１２）、（２０）、（２２）及び（
２４）のデジタルビデオ信号の４本のスーパーサンプル
走査線のサンプル間に空間補間をし、バス（２０）、（
２２）上のサンプルによって表される走査線の中間に配
置されるべき補間走査線のサンプルを生成する。さらに
、垂直サンプル遅延回路（３８）、（４０）、（４２）
及び（４４）の中から選択されたサンプル遅延の数に対
して選択された値によって、各サンプルに対して空間補
間の方向（勾配）が決定され、９つの異なった勾配（シ
フト−４〜＋４までに対応する）が選択されうる。

このことは第１２図を詳しく調べることによっていっそ
う深く理解される。この図では、バス（１２）及び（２
４）にある走査線信号のピクセルの位置（ただし、この
場合値は示していない）を示す上部と下部の走査線をそ
れぞれ２５個のドット　（点）によって表している。ま
たこの上部と下部の走査線の間には９つのドットによっ
て、バス（２０）と（２２）の走査線信号のピクセルを
表している。このドット線は補間走査線を表し、Ｘは補
間されるべきサンプルの位置を表している。

９つの可能な勾配ベクトルの中で、（（シフト量が＋４
のものと−４のものの）極端な２本のベクトルと、（シ
フト量がゼロである）中央の（垂直な）ベクトルの）３
本だけが第１２図に示されている。また第１２図から、
可変サンプル遅延回路（３８）及び（４４）は０から２
４のサンプル遅延を有し、可変サンプル遅延回路（４ｏ
）及び（４２）は０から８までのサンプルの遅延を有す
る必要がある理由が理解されよう。このように、極端な
勾配ベクトル（シフト量＋４から−４に対応する）を達
成するためには、回路（３８）、（４　０）　、．（４
　２）及び（４４）それぞれはサンプル遅延が０、０、
８及び２４に設定されねばならない。一方、他方の極端
な勾配ベクトルを形成するためには回路（３８）、（４
ｏ）、（４２）及び（４４）それぞれはサンプル遅延が
２４、８、０、０に設定されねばならない。９つの勾配
ベクトル間で切り替えを行うためには、回路（４ｏ）及
び（４２）は１サンプル遅延分だけインクリメント（漸
増）させねばならず、回路（３８）及び（４４）が切り
替えられるためには３サンプル遅延分だけインクリメン
トされねばならない。

サンプル遅延回路（３８）、（４ｏ）、（４２）及び（
４４）は、フィルタ（２８）を通じて選択器（２６）に
よって適用された勾配ベクトルの選択に従って９つの異
なった勾配ベクトルの間で切り替えを行う。（サンプル
遅延回路（３８）、（４０）、（４２）及び（４４）の
切り替え手段及びその構成は明かなので示さない。）こ
のようにして、バス（４８）にはフィルタ（４６）の出
力が発生する。すなわちバス（２ｏ）、（２２）にある
走査線信号の間に補間されるべき走査線の３ｎ サンプルの連なりであって、このおのおののサンプルの
連なりは、シフト検出器（ブロックマッチング回路）Ｓ
Ｄ　（−４）からＳＤ（＋４）及び選択器（２６）によ
って作られ、選択された勾配ベクトルによって決定され
た適当な方向に沿って空間的に補間されたものである。

バス（１２）、（２０）、（２２）及び（２４）上の走
査線信号はスーパーサンプルされたものであるため、補
間用の走査線信号がバス（４８）に生成される。従って
、バス（４８）はサブサンプラ（５０）に接続され、上
述のごとく水平に補関され（サブピクセルの間隔で）だ
サンプルを除去し、入力デジタルビデオ信号のサンプル
の水平位置に対応するサンプルだけを残すという処置に
よって、補間用の走査線信号出力のデータレートを入力
信号のデータレートに変換する。

サブサンプラ（５０）からのサブサンプルされた出力は
、バス（５２）を介してレイショ素子（５４）、レイシ
ョ素子（５６）及び合算回路（５８）によって構成され
るミキサに入力される。

人力デジタルビデオ信号を載せたバス（１０）は、等価
遅延回路（６０）、垂直補間器（フィルタ）及びバス（
６４）を介してミキサのもう１つの入力と接続されてい
る。水平予測器（６６）は、バス（５２）上の信号をモ
ニタし、レイショ信号Ｍ（１よりは大きい）をレイショ
素子（５４）に、またレイショ信号（１−Ｍ）をレイシ
ョ素子（５６）に印加することによって、バス（５２）
上の空間的に補間された可変信号とバス（６４）上の垂
直に補間された信号とを混合する制御を行う。水平予測
器（６６）は、第１１図を用いて上述したように作動す
る。このように、もしサブサンプラ（５０）から発生し
た空間補間サンプルが予測範囲Ｒに中に収まれば、Ｍは
１に設定され、ミキサの出力と接続されているバス（６
８）、より正確にいうと合算回路（５８）の出力上にサ
ンプルが現れる。しかしながら、もしサブサンプラ（５
０）から発生した空間補間サンプルが予測範囲Ｒの中に
収まらないなら、Ｍは０に設定され、垂直補間器〈６２
）から発生する垂直補間用サンプルバス（６８）に供給
される。

上述のミキサは、上述のことがらから理解されるように
スイッチによって代替されてもよい。しかしながら、目
に見える切り替え時の雑音（ａｒｔｉｆａｃｔｓ　）の
発生可能性を抑制するためにもミキサを用いることが好
ましい。ミキサは空間上の垂直信号間でのゆるやかなク
ロスフ二一ディング（ｃｒｏｓｓ−ｆ　ａｄ　ｉｎｇ　
）の可能性を提供し、いくつかのサンプルにわたってＭ
の値が１から０　（またはその逆）にゆるやかに変化さ
せながら水平予測器（６６）の操作を達成する。同様に
ミキサを用いることによって、例えばＭの値を０と１の
間に制御することにより２つの信号の混合比を、例えば
サブサンプラ（５０）によって出力される空間補間サン
プルの予測値と実際の値との間の関係の関数として変化
させることができる。

バス（６８）上に生成される補間走査線信号は、（図示
しない手段によって）補間用走査線となって補関され、
順次走査フィールドを生成する。

水平予測器（６６）の可能な実施形態は、第１３図に示
す。４つのサンプル遅延回路（７０）、（７２）、（７
４）及び（７６）は直列に接続されており、サンプル（
Ｘ＋２）、（Ｘ＋　１）　、Ｘ，（Ｘ−１）、（Ｘ−２
）は、それが図示されているところで入手可能である。

Ｘの（実際の）値は、プログラム可能な読みだし専用メ
モ！Ｊ　　（ＦＲＯＭ）（７８）の入力に導かれている
。これは、Ｘの実際値と予測値との間の関係に応じてＭ
（及び（Ｍ−１））の値を生成するようにプログラムし
ておく。かけ算器（８０）、（８２）、（８４）及び（
８６）並びに合算素子（８８）、（９０）及び（９２）
は、図示のごとくｘに関する予測値を生成するべく接続
され、これをＦＲＯＭ　（７　８）に供給する。重み付
けの係数は、予測値が（（Ｘ−１）　−　（Ｘ−２）　
／２）　＋（　（Ｘ＋１）　一（Ｘ＋２）／２）と等し
くなるように（図示の）かけ算器に印加される。

すでに約束したように、シフト検出器（ブロックマッチ
ング回路）ＳＤ　（−４）〜ＳＤ（＋４）をより詳しく
説明する。第１４図はシフト検出器（１４）のいずれか
１つのブロック図であり、ＳＤ　（ｎ）によって規定さ
れている。このシフト検出器ＳＤ　（ｎ）は３つの類似
した部分によって構成されている。３つのうちの上の部
分はバス（１２）とく２０）との間に接続され、バス（
１２）と接続されている（＋）入力とＰサンプル遅延回
路＜１０　２）を介してバス（２０）と接続されている
（一）入力とを有する合算素子（１　０　０）を具えて
いる。（実際以下に説明するように、シフト検出器のい
くつかに関して遅延回路（１　０　２）は、合算回路（
１　０　０）のく＋）入力とバス（１２）との間に接続
する。）シフト量が０でないシフトはシフト量Ｏの位置
からの両方のブロック（反対方向のという意味での）の
シフトを含むため、Ｐの値はシフト量の２倍でなければ
ならない。言い替えれば、シフト量＝Ｐ／２である。

合算回路（１　０　０）の出力は９タップフィルタ（１
　０　４）と接続されている。既に知られている方法に
より、フィルタ　（１　０　４）は必要とされる９つの
タップを提供する８つのサンプル遅延回路（図示せず）
により構成される。９つのタップは、それぞれ重み付け
係数が供給されている各かけ算器（図示せず）に供給す
る。かけ算器の出力はフィルタの出力を生成すべく合算
され、重み付け係数ＷＯが供給されているかけ算器（１
　０　６）を通過する。

シフト検出器ＳＤ　（ｎ）の残りの２つの部分は、上述
の上部の構成と実質的には同一の構成を有し、再度の説
明を要しない。バス（２０）及び（２２）の間に接続さ
れている構成要素は、ダッシ５（゛）を付加して上部の
参照記号と同一のものによって指し示されている。また
バス（２２）及び（２４）の間に接続されている構成要
素は、２重のダッシュ（″）を付加して上部の参照記号
と同一のものによって指し示されている。

かけ算器（１　０　６）、（１０６’）及び（１０６”
）は合算素子（１　０　８）の各人力に接続されている
。またこの合算素子の出力はシフト検出器ＳＤ　（ｎ）
の出力ともなっており、第１図に示すごとく選択器（２
６）の入カにそれぞれ接続されている。

かけ算器（１０６）、（１　０　６’　）、（１　０　
６”　”）には、それぞれ異なった重み付け係数ＷＯ，
　Ｗｌ、Ｗ２が供給される。この構成は、その結果に対
して絶対値の差異を計算する３本の走査線それぞれの作
用を変更することを可能にする。そのような変更の必要
がないときは、がけ算器（１　０　６）・、（１０６”
）、（１ｏ６”）は省略されてもよく、フィルタ（１　
０　４）、（１０４’）及び（１０４”）の出力は合算
素子（１　０　８）と直接接続してもよい。

整合されるべき２つのブロックのピクセル間での絶対値
差異は合算素子（１　０　０）、（１　０　０’　）、
（１００”）によって計算する。（大きさ出カを生成す
る段階ではＦＲＯＭ（図示せず）を含むことが好ましい
。）分析されている各シフト　（すなわち各勾配ベクト
ル）は、合算素子（１　０　０）、（１００゜）、（１
００”）の（−）（または（＋））入力の前に挿入され
てぃるＰサンプル遅延回路（１　０　２）、（１０２’
）、（１０２”）に対して異なった値を必要としている
。（シフト検出器ＳＤ　（ｎ）の各々においては、３つ
の回路（１　０　２）、（１０２’）、（１　０　２’
”）のそれぞれにおいてＰの値は同一となる。）異なっ
たシフト検出器ＳＤ　（ｎ）に対する値は、以下の表の
ごとく設定される。

表 （（＊）では、いずれの入力にも遅延がない。）９タッ
プフィルタ　（１　０　４）、（１０４゜　）、（１０
４”）のおのおのは、関連する合算素子（１００）、（
１００′）、（ｌ　Ｏ　Ｏ”　）からのピクセル値の差
異を合算し、以下に説明するよう３　只 に適当な重み付けを行う。合算素子（１　０　８）にお
ける合算の後は、特定のシフト検出器ＳＤ（ｎ）と関連
した特定のシフトに対して採用された４つのブロック寸
法（ＮｘＭ＝３ｘ３，３ｘ５，３ｘ７，３Ｘ９）のうち
の１つ以上に対して、８ビットの数が実質上絶対値差異
（ＮＡＤ）に標準化される。

シフト検出器ＳＤ　（ｎ）によって実行されるブロック
マッチング操作は、第１５図を研究することによって一
層よく理解される。この図においては、４本の走査線中
に１７個の点（０から１６の番号が付けてある）があり
、これらがそれぞれバス（１２）、（２０）、（２２）
、（２４）にある走査線信号のピクセルの位置（ただし
この場合値ではない）を表している。破線は補間される
べき走査線を表し、Ｘは補間されるべきサンプルの位置
を表している。シフト量が＋４でブロック寸法が３ｘ９
のときの整合させるべき２つのブロックを枠で囲って示
してある。仮にバス（１２）及び（２０）に対応する走
査線をＡとＢで示すとすると、この場合シフト検出器Ｓ
Ｄ（−４）の上部は次の９つの絶対値差異ＩＡ８−ＢＯ
Ｉ　　ＩＡ９Ｂｌｌ　　ＩＡＩＯ−Ｂ２１　　１ＡＩＩ
−Ｂ３Ａ１２−Ｂ４１、ｌＡ１３−Ｂ５　　、　Ａ１４
一Ｂ６｝、ｌＡ１５−Ｂ７１、及びｌＡ１６−Ｂ８１を
算出する。これらの差異を合算し、ブロック寸法に応じ
て標準化し、この合計値を２７　（＝３Ｘ７）で割る。

（中間部と下部のシフト検出器ＳＤ（−４）は、バス（
２０）、（２２）の上の走査線信号に対して、また（２
２）、（２４）の上の走査線信号に対して計算を実行す
る。）シフトとブロック寸法に関連した上述の規則（一
Ｍ／２≦（シフト量）≦＋Ｍ／２）に鑑み、最大シフ｝
（＋４）の場合３ｘ９の寸法のブロック　（及びこれよ
り小さくないブロック）のみが整合する。

しかしながら、シフト量が小さいときは異なった寸法の
ブロックも整合する。ブロックの各寸法に対して第１４
図に示す回路の操作を繰り返す必要があるように思われ
る。しかしながら、実際にはこれは必要ではない。なぜ
ならブロックの垂直寸法に対応するブロックの走査線の
数Ｎは、すべてのブロック寸法に対して同一（３本）で
あるため、９タップフィルタ　（１　０　４）、（１０
４゜　）、（１０４”）のタップのサブセッ｝　　（７
、５または３）を採用することによって、より小さなブ
ロックにアクセスすることが可能である。すなわち異な
った寸法のすべてのブロックは、９タップフィルタ　（
１　０　４）、（１０４’）、（１　０　４”　）のタ
ップの適当な重み付けにより、同じ回路によって整合し
うる（またＮＡＤの平均値も計算される）。

より詳しくいうと、各異なったシフト検出器ＳＤ　（ｎ
）に対して形成されねばならない絶対値差異は、概念と
してはこれから示す方程式によって規定される。これら
の方程式では、シフト量０とシフト量１に関する式の４
つの項は、それぞれ４つのブロック寸法（３　ｘ　３，
　　３　ｘ　５，　　３　ｘ　７．　　３ｘ９）すべて
にわたる整合を表す項であり、シフト量２に関する式の
３つの項は、それぞれブロック寸法３Ｘ５，３Ｘ７，３
Ｘ９のものにわたる整合を表す項であり、シフト量３に
関する式の２つの項は、それぞれブロック寸法３ｘ７，
３ｘ９のものにわたる整合を表す項であり、シフト量４
に関する単一の項は、３ｘ９のブロック寸法の整合を表
す項となっている。各項が関係するブロック寸法は、項
の頭に付いている分数によって明かである。なぜなら１
／９．１／１５．１／２１，１／２７を掛けることは、
３ｘ３　　（−９）　、３ｘ５（＝１５）　、３ｘ７　
（−２１）、３ｘ９　（＝２７）の寸法の各ブロックに
対して以下に示す絶対値差異の標準化をすることを意味
しているからである。

シフト量０　　（Ｐ＝Ｏ）： １／９　　（　　　Ａ７−Ｂ７　　　＋　　Ａ８−Ｂ８
１　　＋　ｌＡ９−Ｂ９１）＋１／１５　（ｌＡ６−Ｂ
６１＋ｌＡ７−Ｂ７　　　　＋　　Ａ８−Ｂ８　　　＋
　　Ａ！１１−Ｂ９　　　　＋ＡＩＯ−Ｂ１０　　） ＋１／２１　（ｌＡ５−Ｂ５　　＋ｌＡ６−Ｂ６１十Ａ
７−ＢＹ　　＋　　Ａ８−Ｂ８　　＋　　Ａ９−Ｂ９＋
ｌＡ１０−Ｂ１０ｌ＋ＩＡＩＩ−Ｂｌｌｌ）＋１／２７
（　　Ａ４−８４１＋ｌＡ５−８５１十Ａ６−Ｂ６　１
＋ｌＡ７−Ｂ７　１＋ｌＡ８−Ｂ８＋ｌＡ９−Ｂ９１＋
ｌＡ１０−Ｂ１０１＋ｌＡ１１−Ｂｌｌ　　　＋　　Ａ
１２−８１２　　　”）シフト量＋１　　（Ｐ＝２）： １／９（　　Ａ８−Ｂ６１＋　　　Ａ９−Ｂ７＋＋ｌＡ
１　０−８８　　）　＋１／１　５　（　　Ａ７−Ｂ５
　　十Ａ８−Ｂ６　　　＋　　Ａ９−Ｂ７　　　＋　　
ＡＩＯ−Ｂ８十ｌＡ１１−Ｂ９１） ＋１／２１　（ｌＡ６−Ｂ４１＋ｌＡ？−８５１＋Ａ８
−Ｂ６　　　＋　　Ａ９−Ｂ７　　　　＋　　ＡＩＯ−
Ｂ８１＋ｌＡ１１−Ｂ９１＋ｌＡ１２−ＢＩＯＩ）＋１
／２７　（　　Ａ５−Ｂ３　　＋　　Ａ６−Ｂ４　　十
ｌＡ？−Ｂ５１＋ｌＡ８−Ｂ６　１　＋ｌＡ９−Ｂ７＋
　　　ＡＩＯ−Ｂ８　　　＋　　　Ａｌｌ−Ｂ９　　　
＋　　Ａｔ２−Ｂ１０１＋ｌＡ１３−Ｂｉｌｌ） シフト量＋２　　（Ｐ＝４）： １／１５　　（　　　Ａ８−Ｂ４　　　＋　　　Ａ９−
Ｂ５　　　＋ＡＩＯ−Ｂ６　　　＋　　Ａｌｌ−８７　
　　＋　　Ａ１２　　−＋１／２１　（　　Ａ７−Ｂ３
　　＋　　Ａ８−Ｂ４１十Ａ９−Ｂ５　　　＋　　　Ａ
ＩＯ　　−　Ｂ　６　　　＋　　Ａｌｌ　　−ＢＴ　　
　　＋　　　Ａ１２−Ｂ８　　　＋　　Ａ１３−Ｂ９　
　　）＋１／２７　（ｌＡ６−Ｂ２　１＋ｌＡ？−Ｂ３
１＋Ａ８−Ｂ４　　　＋　　Ａ９−Ｂ５　　　＋　　Ａ
ＩＯ−Ｂ６１＋ｌＡ１１−ＢＴｌ＋ｌＡ１２−Ｂ８１＋
Ａ１３−Ｂ９　　　＋　　　Ａ１４−ＢＩＯ　　　）シ
フト量＋３　　（Ｐ＝６） １／２１　　（　　Ａ８−Ｂ２　　＋　　Ａ９−Ｂ３　
　＋ＡＩＯ−Ｂ４　　　＋　　Ａｌｌ−Ｂ５　　　＋　
　Ａ１２−Ｂ６　　　　＋　　Ａ１３−Ｂ７　　　　＋
　　Ａ１４−Ｂ８　　　）＋１／２７　（　　Ａ７−Ｂ
ｌ　　＋　　Ａ８−Ｂ２　　＋Ａ９−Ｂ３　　　＋　　
　ＡＩＯ−Ｂ４　　　　＋　　Ａｌｌ　　−Ｂ５　　　
　＋　　Ａ１２−Ｂ６　　　　＋　　Ａ１３−Ｂ７　　
　　＋Ａｌ４−Ｂ８　　　＋　　Ａ１５−Ｂ９　　　）
シフト量＋４　　（Ｐ＝８）： １／２７　　＜　　　Ａ８−ＢＯ　　　　＋　　Ａ９−
Ｂｌ　　　　＋ＡＩＯ−Ｂ２　　＋　　Ａｌｌ−８３　
　＋　　ＡＩ２−Ｂ４　　　　＋　　Ａ１３−Ｂ５　　
　　＋　　Ａ１４−Ｂ６　　　＋Ａ１５−ＢＴ　　＋　
　Ａ１６−８８　　）上述の方程式は、異なった項に現
れる同一の絶対値をまとめることによって以下に示すよ
うな簡単な方程式に書き換えることができる。

シフト量０： ０．０３７　　［ＩＡ４−８４１＋ｌＡＩ２−Ｂ１２１
コ＋０．０８５　［：ｌＡ５−Ｂ５　１＋ｌＡ１　１Ｂ
１１　］ ＋０．１５１３　［ｌＡ６−Ｂ６１＋ｌＡ１０−８１０
１’１ ＋０．２６２４　　［ＩＡ？−８７　１＋ｌＡ８−Ｂ８
＋　Ａ９−Ｂ９コ シフト量＋１： ０．０３７　［ＩＡ５−Ｂ３　１＋ｌＡ１３−Ｂｌ　１
　１］＋０．０８５　［ｌＡ６−Ｂ４１＋ｌＡ１２−Ｂ
１０　］ 十０．１５１３　［ＩＡ７−Ｂ５１＋ｌＡ１１−Ｂ９コ 十０．　２．６　２　４　［Ｉ　Ａ８−Ｂ６　１　＋　
ｌ　Ａ９−ＢＴ＋　　ＡＩＯ−８８　　］ シフト量＋２： ０．０３７　［ＩＡ６−Ｂ２　１＋ｌＡ１４−ＢＩＯ　
ｌ］＋０．　　０８５［　　　Ａ７−Ｂ３　　　＋　　
　Ａ１３−Ｂ９　　　］＋０．　　１５１３［　　　Ａ
８−Ｂ４　　　＋ｌＡ９−Ｂ５＋　　　ＡＩＯ−Ｂ６　
　　＋　　Ａｌｌ−Ｂ７　　　＋　　　Ａ１２−Ｂ８コ シフト量＋３： ０．０３７　［ＩＡ？−Ｂｌ　ｌ＋ｌＡ１５−８９　１
］十０．０８５［　　Ａ８−８２１＋　Ａ９−８３十ｌ
．Ａ１０−８４１＋ｌＡ１１−Ｂ５１＋ｌＡ１２Ｂ６　
＋　Ａ１３−８７　＋　ＡＩ４−Ｂ８コシフト量＋４＝ ０．　　　０３７　　［　　　Ａ８−ＢＯ　　　　＋　
　Ａ９−Ｂｌ　　ｌ＋ＡＩＯ−Ｂ２　　＋　　Ａｌｌ−
Ｂ３　　＋　　Ａ１２−Ｂ４　　　＋　　Ａ１３−Ｂ５
　　　＋　　　Ａ１４−Ｂ６　　　＋Ａ１５−ＢＹ　　
＋　　Ａ１６−８８　　］上述の方程式は、シフト検出
器ＳＤ　（０）からＳＤ（＋４）までのそれぞれの３つ
の部分のうちの上部に対して導かれたものである。いい
かえると、シフト量０から＋４までのブロックの上部の
走査線に関して絶対値の差異を計算したものである。し
かしながら、ブロックの中部と下部の部分ＡＲ によって行われる操作は同一であるため、これらの方程
式は同様に適用される。（すなわち、これらの部分は上
部と同一の構成とすることができる。）さらに、シフト
量−１から−４までに関する方程式は＋１から＋４まで
に関する方程式とは、Ａの項とＢの項とで文字が入れ替
わる点を除けば同一となる。例えば　Ａ７−Ｂ５　　は
　Ｂ７−Ａ５などとなる。

このように、平均化されたＮＡＤは、９タップフィルタ
　（１　０　４）、（１０４′　）、（１０４”）のよ
うな構成によってシフト検出器ＳＤ　（ｎ）がつくりだ
すことができる。上述のような方程式に従って（サンプ
ル遅延回路（１　０　２）　、（１　０　２″）、（１
０２”）によって生成された）適当な絶対値差異を取り
出し合算する。

このようなシフト検出器ＳＤ　（ｎ）のおのおのは、そ
れぞれの異なったブロック寸法に対するそれぞれのシフ
ト量に関して、ちょうど平均化されたＮＡＤとなる８ビ
ットの数を生成する。このように、選択器（２６）は、
９つのシフト量−４から＋４までのうちの特定の１つに
関する平均化されたＮＡＤを表す９つの８ビット数（最
大値は２５５）の供給を受ける。この選択器（２６）は
、どれが最も小さいものかを特定できるまでこの９つの
数を相互比較し、どのシフト量が最良に整合するかを確
かめる。次にどのシフト量が最も絶対値差異が小さく、
最良のマッチングとなるかに応じて勾配ベクトルに対し
て−４から＋４までの値を割り当てる。

第１図に示す装置が輝度値を扱っていることはすでに述
べた。輝度値は当然ながら複合カラー信号から分離され
る。この場合、色成分に対してはどのように処理するか
という問題が起こる。様々な可能性がある。色成分は輝
度成分に追随するであろうから、単に無視（すなわち補
間を行わない）してもよいかもしれない。この場合、垂
直補間のみか、または輝度成分に関しては（上述の装置
によって）発生した同様な勾配ベクトルを用いた複数方
向の空間補関を前提とすることになろう。しかしながら
輝度成分と色成分とを個別に扱うことは可能であり、そ
れぞれは上述の２つの装置のうちの各１つによって扱わ
れる。

複合カラー信号の場合、例えばＲ／Ｇ／ＢまたはＹ／Ｕ
／Ｖ成分にデコードされた複合信号の場合、上述の３つ
の装置のうちの各１つにおいて各成分を扱うことは可能
である。

局部的な画像の動きを感知し、動きのない画像部分には
時間的フィルタを用いることは可能であろうことはすで
に述べた。このことを達成するための第１図に示す装置
の変形を第１６図に示す。

第１図の空間補間装置に印加されるバス（１０）上のデ
ジタルビデオ信号を、（すくなくとも１個のフィールド
ストアを具える）時間フィルタ（１　１　０）にも供給
するとともに局部運動検出器（１　１　２）にも供給す
る。空間補間装置の出力から延びるバスは、スイッチま
たはミキサ（例えば第１図における要素（５４）、（５
６）、（５８）によって同様に構成される）であっても
よい装置（１　１　４）の入力に接続する。時間フィル
タ（１　１　０）から延びる出力バス（１　１　６）は
装置（１　１　４）のもう１つの入力に接続されている
。

混合されあるいは切り替えられた出力はバス（１　１　
８）に生成される。バス（１　１　８）上の信号は、画
像の一部または全体にわたってそれぞれの比率で２つの
信号を混合することが可能であるとしても、上述したご
とく、画像の動きのある部分に対しては実質的に全体的
な空間補間信号となり、画像の動きのない部分に対して
は実質的に全体的な時間補間（フィルタされた）信号と
なることができよう。

上述の装置は様々な方法によって変形されうる。

例えば、上述の構成ではサブサンプリングは空間補間の
後に行われているが、これは複数の走査線に対応するス
ーパーサンプルされた信号が走査線遅延回路から入手可
能であるためそうすることが便利であるからであり、本
質的原理によるものではない。サブサンプリングは、原
理的には空間補間に先だって行ってもかまわない。

さらに、空間補間を実行するのに４タップフィルタを用
いているが、２タップフィルタを用いることも可能であ
る。しかしながら補関の精度を高めるためにできるだけ
多くのタップを用いることが望ましい。

上述の構成では、９つの勾配ベクトルの方向に関して検
証を行っているが、より少ない、あるいは多い方向につ
いて行ってもよい。一般的にいって、設計と費用の制約
条件を前提として、方向の数を増やすとより低い傾斜エ
ッジの検出が可能になるので、方向の数を増やすほどよ
い。

また、元のデジタルビデオ信号のサンプルのとなりあう
対間には、１個を越える中間（補間）サンプルを作り出
すようにスーパーサンプルを拡張することも可能である
。こうすることによって走査線間のサブピクセルシフト
の精度が高まる。

［発明の効果］ 本発明によれば、ビデオ信号のサンプル間に水平補間を
行い、元のサンプルとこの元のサンプルのとなりあう対
間に挿入された少なくとも１個の補間サンプルとを具え
たスーパーサンプル信号を生成する水平補間の操作を行
い、次にこのスーパーサンプル信号の各サンプルに対し
て、（Ｎを走査線の本数、Ｍをサンプルの数として）Ｎ
ｘＭを寸法とするスーパーサンプル信号のサンプルによ
るブロックを２゛個設定し、このブロック間でのマッチ
ングの程度を決定している。この２つのブロックは、補
間されるべき走査線を中心として垂直に相互に反対方向
にオフセットされる。また、補間を行いたい所定のサン
プル位置を中心に水乎に相互に反対方向にもオフセット
される。上述の決定のためのステップは、ゼロを中心に
各方向に少なくともサンプル１個分行うオフセットとゼ
ロオフセットとを含む複数の異なるオフセットも行い、
スーパーサンプル信号の各サンプルに対して、各水平オ
フセットのマッチングの程度の値を決定している。次に
異なる水平オフセットのおのおのに対応する複数の勾配
ベクトルから、補間されるべき走査線の各サンプルに対
して、２個のブロック間のマッチングの程度の最大値を
生成する水平オフセットに対応した勾配ベクトルを選択
している。

そして、発生させるサンプルに対応した上述のサンプル
位置に対して選択された勾配ベクトルに従って、発生さ
せる各サンプルに関して空間補間の方向を制御して、ビ
デオ信号の異なった走査線間に補間走査線のサンプルを
発生させることによって補間を行っている。

本発明のビデオ信号補間方法は上述のようであるから、
補間のための走査線信号の生成に於ける誤差の発生が抑
えられるのみならず、特に画像中の動きのある部分での
補間において、解像度の低下が抑えられる。

１０図は本発明の方法で用いられているスーパーサンプ
ルの技術を説明した図、第１１図は本発明の方法で用い
ている水平補間サンプルの予測手順を説明するための図
、第１２図は第１図の装置の一部の動作を説明するため
の図、第１３図は第１図に示す装置の一部をなす水平予
測器のブロック図、第１４図は第１図に示す装置の一部
をなすシフト検出器（ブロックマッチング回路）のブロ
ック図、第１５図はシフト検出器の動作を説明するため
の図、第１６図は第１図に示す装置の変形を示したブロ
ック図である。

【図面の簡単な説明】

Claims (1)

1. 【特許請求の範囲】 デジタルビデオ信号の走査線間に空間補間を行い、補間
   走査線を生成するビデオ信号補間方法において、 元の走査線信号におけるサンプルと、該サンプルのとな
   りあう各対の間に少なくとも１個補間されたサンプルと
   を具えるスーパーサンプル信号を、上記ビデオ信号のサ
   ンプル間に水平補間し、Ｎを走査線の本数、Ｍをサンプ
   ルの数としてＮｘＭを寸法とするブロックを２個設定し
   、該２個のブロックを補間されるべき走査線を中心とし
   て垂直に相互に反対方向にオフセットを行い、補間を行
   いたい所定のサンプル位置を中心に水平に相互に反対方
   向に、ゼロを中心に各方向に少なくともサンプル１個分
   行うオフセットとゼロオフセットとを含む複数の異なる
   オフセットを行い、上記スーパーサンプル信号の各サン
   プルに対して、各水平オフセットのマッチングの範囲の
   値を決定し、上記異なる水平オフセットのおのおのに対
   応する複数の勾配ベクトルから、補間されるべき走査線
   の各サンプルに対して、上記２個のブロック間のマッチ
   ングの範囲の最大値を生成する水平オフセットに対応し
   た勾配ベクトルを選択し、 発生させるサンプルに対応した上記所定のサンプル位置
   に対して選択された上記勾配ベクトルに従って、上記発
   生させる各サンプルに関して空間補間の方向を制御して
   、上記ビデオ信号の異なった走査線間に補間走査線の上
   記サンプルを発生させることによって補間を行うビデオ
   信号補間方法。