JPH0795593A - 動き補償ビデオ信号処理方式 - Google Patents

Abstract

(57)【要約】 【目的】 動きを補償するビデオ信号処理方式におい
て、垂直方向の画像の動き、特に奇数番と偶数番のライ
ン間に画像の動きがあるとき顕著になる画像情報の損失
を補償すること。 【構成】 実質的に動きのないことを示すゼロ動きベク
トルによって指し示された入力画像の信号ブロック間の
相関度を検出する手段と、このゼロ動きベクトルによっ
て指し示された試験ブロック間の相関度が所定の相関し
きい値を上回るかどうかを検出することにより、出力画
像のピクセルが出力画像の動的部分にあるのか靜的部分
にあるのかを検出する手段とを具え、この検出結果に応
じて補間のための入力画像のペア間での中間ピクセルの
形成方法を選択するようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動き補償ビデオ信号処理
方式に関する。

【従来の技術】動きが補償されたビデオ信号の処理はテ
レビジョン方式変換、フィルム方式変換及びビデオとフ
ィルムとの間の方式変換などの応用に用いられる。

【０００２】動き補償テレビジョン方式変換器では、例
えば英国特許出願番号ＧＢ−Ａ−２２３１７４９に開示
されている変換器では、一連の入力画像のペアが処理さ
れ、この入力画像のペア間の画像の動きを表す動きベク
トルの組を生成させる。この処理は、画像ブロックごと
に個別に行われ、各動きベクトルが、夫々のブロックの
内容の画像間の動きを表すようにする。

【０００３】動きベクトルの各組は動きベクトル削減器
に供給され、各ブロックに関する動きベクトルの組のサ
ブセット（subset）を生成させる。このサブセットは動
きベクトル選択器に送られ、ここで動きベクトルのサブ
セットの１つを画像の各ブロックの画素（ピクセル）に
割り当てる。各ピクセルに割り当てられて選択された動
きベクトルは、動き補償された補間器に送られ、ここで
入力画像から出力画像を補間し、入力画像間の動きを考
慮に入れる。

【０００４】

【発明が解決しようとする課題】この場合、入力画像が
インターレースされたビデオ信号の一連のフィールドか
ら成るとき、連続するフィールド間で奇数個のビデオラ
イン分だけ画像が垂直に動くと、垂直方向の情報が損失
する。更に、これによって奇数番と偶数番のラインにお
ける垂直方向の画像の動きに、雑音的な食い違い（主観
的な混乱を招く）が起こる。この点については、またあ
とで述べる。

【０００５】そこで本発明の目的は、動きを補償するビ
デオ信号処理方式において、垂直方向の画像の動き、特
に奇数番と偶数番のライン間にわたる画像の動きがある
とき顕著になる画像情報の損失をうまく補償し、滑らか
に画像の変換等を行うことのできるビデオ信号処理方式
を提供することにある。

【０００６】

【問題を解決するための手段及び作用】本発明は、入力
画像のペアの間での画像の動きを表す動きベクトルを生
成し、動きを補償するための補間によって出力画像を形
成する動き補償ビデオ信号処理装置であって、実質的に
動きのないことを示すゼロ動きベクトルによって指し示
された入力画像の信号ブロック間の相関度を検出する手
段と、このゼロ動きベクトルによって指し示された被試
験ブロック間の相関度が所定の相関しきい値を超過して
いるかどうかを検出することにより、出力画像のピクセ
ルが出力画像の動的部分にあるのか靜的部分にあるのか
を検出する手段とを具える装置である。

【０００７】本発明によれば、出力画像の各ピクセル
が、この出力画像の動的部分を表しているか靜的部分を
表しているかを検出する手段を具えている。この情報
は、例えばこのピクセルを生成させる補間方法の適合
化、又は後続の出力画像の格下げ変換で用いられる。

【０００８】出力画像のピクセルが動的部分にあるか靜
的部分にあるかに関する検出結果を装置の他の部分とも
交信するためには、装置は出力画像の各ピクセルと関連
付けられた動きフラグを生成する手段を設け、このフラ
グにより、このピクセルが出力画像の動的部分と靜的部
分のどちらにあると検出されたかを示すのが好ましい。

【０００９】装置の複雑さを減少させるために、出力ピ
クセルの動きの検出は、動きベクトル選択処理の一部に
て行うのが望ましい。このために、装置は出力画像の各
ピクセルに対してゼロ動きベクトルを含む複数の動きベ
クトルを生成させる手段と、この動きベクトルを試験し
て出力画像のピクセルの補間に用いる動きベクトルを選
択する、１つの試験中の動きベクトルによって指し示さ
れた入力画像の被試験ブロック間の相関度を検出する手
段を具える手段と、この複数の動きベクトルからその動
きベクトルによって指し示されている被試験ブロック間
のうちで最大相関度をもつ動きベクトルを選択する手段
とを具える。

【００１０】好適実施例の装置では、そのピクセルの補
間に用いるために選択した動きベクトルに従って、入力
画像の夫々のペアから出力画像の各ピクセルを生成させ
る動き補償補間器を具える。

【００１１】出力ピクセルの動きの検出は、補間器の動
作を変えることに用いることができる。特に、動き補償
補間器は２個のピクセル補間器と、この２個のピクセル
補間器のうちの一方を選択する手段とを具え、そのピク
セルが出力画像の動的部分にあるのか靜的部分にあるの
かの検出結果に応じて出力画像のピクセルの補間を行う
のが望ましい。

【００１２】例えば、入力画像がインターレースされた
ビデオ信号の一連のフィールドから成るときは、一連の
フィールド間で奇数個のビデオライン分だけ画像が垂直
に動くと、垂直方向の情報が失われる。この状況は、出
力ピクセルの補間のために選択された動きベクトルの奇
数垂直成分を検出することによって検出できる。ただ
し、これによって雑音的な（また主観上目障りな）食い
違い（差）が奇数番ラインと偶数番ラインとの間の画像
の垂直方向の動きに現れる。従って、動的ピクセルと非
動的ピクセルとを区別することが望ましい。この場合、
画像の動きが検出されない場合のために、ピクセル補間
器の１つは、２個の入力画像からピクセルをインターリ
ーブ（間挿）してインターリーブされたピクセル値のブ
ロックを生成させる手段と、インターリーブされたピク
セル値のブロックのブロック内補間によって出力画像の
ピクセルを生成させる手段とを具えることが望ましい。
同様に、画像の動きが検出されたときのために、ピクセ
ル補間器の１つは、入力画像の各ペアの画像内補間によ
って夫々の中間ピクセル値を２個生成する手段と、この
２個の中間ピクセル値を結合させて出力画像のピクセル
を生成させる手段とを具えるのが望ましい。

【００１３】この結合手段は、入力画像のペアに関する
出力画像の時間上の位置に応じた結合比に従い、２個の
中間ピクセル値を結合するように動作する。１つの好適
実施例では、結合比が入力画像のペアに関する出力画像
の位置時間上の位置に比例するように線形関係を用い
る。

【００１４】この装置がインタレースされた入力ビデオ
信号の一連のフィールドから成る入力画像のペアに関し
て動作し、出力画像がインターレースされた出力ビデオ
信号のフィールドから成ることが望ましい。インターレ
ースされた入力画像を用いることによって、入力ビデオ
信号のプログレッシブ（順次）走査変換を行う必要がな
くなり、必要な処理が著しく削減される。

【００１５】本発明の第２の観点によれば、入力画像の
ペアの間での画像の動きの検出に応じて、動きが補償さ
れた補間によって出力画像を形成する動き補償ビデオ信
号処理装置であって、複数の動き補償ピクセル補間器
と、この複数のピクセル補間器から１つを選択し、この
入力画像のペア間の画像の動き検出に応じて、この入力
画像のペアから出力画像のピクセル補間を行う手段とを
具える装置である。

【００１６】本発明による装置は、テレビジョン方式変
換装置に用いるのが特に有利である。

【００１７】本発明の第３の観点では、動き補償補間に
よって出力画像を形成する入力画像のペア間の画像の動
きを表す動きベクトルを形成するための方法であって、
画像の動きが実質ゼロであることを示すゼロ動きベクト
ルによって指し示された入力画像の被試験ブロック間の
相関度を検出すること、このゼロ動きベクトルによって
指し示された被試験ブロック間の相関度が所定の相関度
しきい値を超過しているかどうかを検出することによ
り、出力画像のピクセルが出力画像の動的部分にあるか
靜的部分にあるかを検出することの各ステップを含む方
法である。

【００１８】本発明の第４の観点によれば、入力画像の
ペア間の画像の動きの検出結果に応じて、動き補償され
た補間によって出力画像を形成させる動き補償ビデオ信
号処理方法であって、複数のピクセル補間器から１つを
選択し、入力画像のペア間の画像の動きの検出結果に応
じて、入力画像のペアから出力画像のピクセルを補間す
るステップを含む方法である。

【００１９】本発明の実施例は、添付の図面を参照しな
がら例によってのみ説明するが、これらを通じて同一の
部分には同一の参照符号を付す。

【００２０】

【実施例】図１は、動き補償テレビジョン方式変換装置
の概略を示すブロック図である。この装置は、インター
レース・デジタルビデオ信号５０の入力（例えば１１２
５／６０、２：１高精細ビデオ信号（ＨＤＶＳ））を受
信し、インターレース・デジタルビデオ信号６０（例え
ば１２５０／５０、２：１、ＨＤＶＳ））の出力を生成
させる。

【００２１】入力ビデオ信号５０は、まず入力バッファ
／パッカ１１０に供給される。通常精細度入力信号の場
合は、この入力バッファ／パッカ１１０が入力画像を高
精細（１６：９のアスペクト比）のフォーマットに変換
し、黒ピクセルを必要な箇所に充填する。ＨＤＶＳ入力
に関しては、入力バッファ／パッカ１１０は、データの
一時記憶を行うのみである。

【００２２】データは入力バッファ／パッカ１１０から
マトリクス回路１２０に送られ、ここで（必要であれ
ば）入力ビデオ信号のフォーマットを標準的な「ＣＣＩ
Ｒ推薦６０１」（Ｙ，Ｃｒ，Ｃｂ）フォーマットに変換
する。マトリクス回路１２０から入力ビデオ信号はタイ
ムベース変換（ＴＢＣ）遅延器１３０に送信され、ある
いはサブサンプラ１７０を介してサブ（ダウン）サンプ
ルされたタイムベース変換遅延器１８０に送信される。
タイムベース変換遅延器１３０は、出力ビデオ信号の各
フィールドの時間上の位置を決定し、当該出力フィール
ドに時間上最も近い入力ビデオ信号の２フィールドを選
択し、この出力フィールドの補間に用いる。出力ビデオ
信号の各フィールドに対して、タイムベース変換器によ
って選択された２個の入力フィールドは、適度の遅延を
付与されてから補間器１４０に供給され、ここでこの出
力フィールドが補間される。２個の選択された入力フィ
ールドに対する各出力フィールドの時間位置を示す制御
信号ｔは、タイムベース変換遅延器１３０から補間器１
４０へと送られる。

【００２３】サブサンプル・タイムベース変換遅延器１
８０も同様の方法で動作するが、サブサンプラ１７０か
ら供給される空間的にサブサンプルされたビデオ信号を
使用する。入力フィールドのペア（対）がサブサンプル
されたビデオ信号からサブサンプル・タイムベース変換
遅延器１８０によって選択され、動きベクトルの生成に
用いられる。

【００２４】タイムベース変換器１３０及び１８０は入
力ビデオ信号又は出力ビデオ信号もしくはこの両者と関
連した同期信号に従って動作する。同期信号が１つしか
供給されない場合は、２個のビデオ信号の他方のフィー
ルドのタイミングがタイムベース変換器１３０及び１８
０内で決定的なものとして生成される。

【００２５】サブサンプルタイムベース変換遅延器１８
０によって選択されたサブサンプル入力ビデオ信号のフ
ィールドのペアは、直接ブロック突合せ器１９０、デー
タストリッパ２００、動きベクトル推定器２１０、動き
ベクトル削減器２２０、動きベクトル選択器２３０及び
ベクトル後処理器２４０から成る動き処理器１８５に供
給される。入力フィールドのペアは、まず直接ブロック
突合せ器１９０に供給され、ここで２個の選択された入
力フィールドのうち時間上先のサーチブロックと、この
２個の入力フィールドのうち時間上後の（より大きな）
サーチエリアとの空間的相関性を表す相関面を計算す
る。これらの相関面を表すデータは、データストリッパ
２００によって再度フォーマット化され、動きベクトル
推定器に送信される。動きベクトル推定器２１０は、相
関面の中の相関が最大となる点を検出する。（相関面は
実際には２個の入力フィールドのブロック間の差値を表
す。このことは、相関が最大となる点は、実際上は相関
面では最小値をとることを意味し、以下「最小値」と称
する。）１つの最小値を検出するために、相関面上で点
を付加して補間し、該面生成のためサブサンプルされた
ビデオ信号を用いることによって生じた解像度の損失を
ある程度補償する。各相関面の検出された最小値から、
動きベクトル推定器２１０は動きベクトルを生成させ、
これを動きベクトル削減器２２０に供給する。

【００２６】動きベクトル推定器２１０はこの動きベク
トルが一般的なノイズレベルよりもかなり上回っている
かどうかを確認するための確認試験を、生成した各運動
ベクトルに対して行ない、この確認試験の結果を示す確
認フラグを各動きベクトルに関連させる。しきい値試験
と称されるこの確認試験は英国特許出願ＧＢ−Ａ−２２
３１７４９号に（図１の装置の特徴と共に）説明されて
いる。

【００２７】動きベクトル推定器２１０によって試験が
更に行われ、各ベクトルが真性のものであるかどうかを
検出する。この試験では、相関面（ただし検出された最
小値の周囲の除外領域除いた部分）が調べられ、次の最
小値を検出する。この２番目の最小値が除外領域の境界
部分には存在しないのであれば、元の最小値から導出し
た動きベクトルには、潜在的に偽のベクトルの可能性が
あるものとしてフラグが立てられる。

【００２８】動きベクトル削減器２２０は、出力フィー
ルドの各ピクセルに対する考えられる動きベクトルの選
択枝を削減する動作を行い、後に動きベクトルを動きベ
クトル選択器２３０に供給する。出力フィールドは仮想
的に複数のピクセルのブロックに分割され、各ブロック
は、出力フィールド内に、選択された入力フィールドの
より先のほうのサーチブロックの位置と対応する位置を
付与されるようにする。動きベクトル削減器は、４個の
動きベクトルのグループを編成し、出力フィールドの各
ブロックと関連付け、このブロック内の各ピクセルを、
この４個の動きベクトルのグループの中から選択された
１個を用いて最終的に補間する。

【００２９】「偽のベクトル」としてフラグが立てられ
たベクトルは、これらが隣接するブロックのフラグが立
てられていないベクトルと同一であるときは、ベクトル
削減過程で再度適格性を付与される。

【００３０】この機能の一部として、動きベクトル削減
器２２０は「適格」な動きベクトル（即ち、確認試験及
び偽可能性試験を通過した動きベクトル、もしくは偽の
可能性なしとして再度適格性を付与された動きベクト
ル）の生成頻度を計数し、これらの動きベクトルを得る
のに用いた入力フィールドのブロック位置は考慮に入れ
ないものとする。適格な動きベクトルは、頻度の高い方
から低い方へと順に格付けされる。相互に明確に異なっ
ている適格な動きベクトルのうち最も共通性の高いベク
トルを「グローバル（広域）」動きベクトルとして分類
する。確認試験を通過した３個の動きベクトルを、出力
ピクセルの各ブロック用に選択し、ゼロ動きベクトルと
共に動きベクトル選択器３２０に供給し、更に処理され
る。これら３個の選択された動きベクトルは、下記の所
定の優先順位に従って選択される。 （１）対応するサーチブロックから生成した動きベクト
ル （２）周辺のサーチブロックから生成した動きベクトル
（ローカル（局所的）動きベクトル） （３）グローバル動きベクトル

【００３１】動きベクトル選択器２３０は、サブサンプ
ル・タイムベース変換（ＴＢＣ）遅延器１８０によって
選択され、動きベクトルを導出するのに用いられた２個
の入力フィールドを入力として受信する。これらのフィ
ールドに適度な遅延を与え、これらのフィールドから生
成するベクトルと同時に動きベクトル選択器２３０に供
給されるようにする。動きベクトル選択器２３０は、出
力フィールドのピクセルあたり１個の動きベクトルが対
応する出力を供給する。この動きベクトルは、動きベク
トル削減器２２０によって供給されるこのブロックに対
する４個の動きベクトルの中から選択される。

【００３２】ベクトルの選択過程（詳細はあとで説明す
る）は、試験中動きベクトルによって特定される２個の
入力フィールドの被試験ブロック間の相関度を検出する
ことを含む。試験ブロック間で最大の相関度を有する動
きベクトルが選択され、出力ピクセルの補間に用いられ
る。「動きフラグ」が同様にベクトル選択器２３０によ
って生成される。ゼロの動きベクトルによって特定され
るブロック間の相関度が所定のしきい値よりも大きいと
きは、このフラグは「靜止」（動きのない）として設定
される。

【００３３】ベクトル後処理器２４０は、動きベクトル
選択器２３０によって選択された動きベクトルを再度フ
ォーマットし、画像の垂直方向の尺度が反映されるよう
にし、この再度フォーマットされたベクトルを補間器１
４０に供給する。動きベクトルを用いることにより、補
間器１４０は、タイムベース変換遅延器１３０によって
選択された対応する２個の（サブサンプルされていな
い）補間された入力フィールドから出力フィールドを補
間して生成し、現在補間器１４０に供給されている動き
ベクトルによって示される画像の動きを考慮に入れる。

【００３４】動きフラグが、現在の出力ピクセルが画像
の動く部分にあることを示すときは、この補間器に供給
される２個の選択されたフィールドからのピクセルは、
２個の入力信号（制御信号ｔによって示す）に関する出
力フィールドの時間上の位置に応じた相対比率にて結合
され、より出力フィールドに近い入力フィールドが大き
な比率が用いられる。動きフラグの示すものが「靜止」
に設定されていれば、時間上の比重配分は行なわない。
補間器１４０の出力は、出力バッファ１５０に供給さ
れ、ＨＤＶＳ出力信号として出力すると共に、ダウンコ
ンバータ１６０にも供給されて、ここで動きフラグを用
いて通常精細度の出力信号１６５を生成させる。

【００３５】サブサンプラ１７０は、マトリクス回路１
２０から受信した入力フィールドの水平及び垂直空間サ
ブサンプリングを行う。この水平サブサンプリングで
は、入力フィールドがまず帯域が半分のローパスフィル
タによって前ろ波されて（本実施例の場合、２：１の水
平間引き）、次に各ビデオラインに沿った１つおきのビ
デオサンプルが廃棄され、各ビデオライン上のサンプル
数を半分に削減する。

【００３６】入力フィールドの垂直サブサンプリング
は、入力ビデオ信号がインターレースされるため複雑で
ある。このことは、各インターレースフィールドのビデ
オサンプルの一連のラインは、完成したフレームにおけ
る２本のビデオライン分だけ分離されているのと同一の
効果があり、各フィールドのラインは完成フレームのビ
デオラインにおける直前又は直後のフィールドのライン
から垂直に位置がずれる。実際に用いられる垂直サンプ
リングの方法は、垂直方向に低域通過ろ波する最初の段
階（エイリアシングを回避するため）と、これに続く各
ピクセルを垂直方向にビデオライン半分だけ下方に移動
させるか（偶数フィールドの場合）又は上方に移動させ
る（奇数フィールドの場合）ろ波動作とを含む。結果と
して生ずるフィールドは、２をファクタとして垂直方向
にサブサンプルされたプログレッシブ（順次）走査フレ
ームと大ざっぱに等価である。

【００３７】図２は、動きベクトル選択器２３０の動作
の概略を示す図である。

【００３８】上述したように、動きベクトル選択器２３
０は動きベクトル削減器２２０からのローカル及びグロ
ーバル動きベクトルと、動きベクトルを生成させる２個
のサブサンプルされた入力フィールドと、タイムベース
変換遅延器１８０から制御信号ｔとを受信する。現在の
出力フィールド３１０の各ピクセル３００に対して動き
ベクトル選択器２３０は、先行及び後続の各入力フィー
ルド３２０、３３０動きベクトルによって指示されてい
るピクセルのブロック３４０を比較することによって、
当該ピクセルに関する４個の考えられる動きベクトルの
各々を試験する。

【００３９】被試験ブロック３４０の比較動作は、２個
のブロック内の対応するピクセル間の輝度の差の絶対値
の和を計算することによって行われ、和が小さい方がブ
ロック間に高い相関度があることになる。この比較動作
は、動きベクトル選択器２３０に供給される４個の動き
ベクトルの各々に対して行われるが、図の明瞭さのため
に、図２では、４個のうちの２個のみ（ゼロ動きベクト
ル３５０ともう１つの非ゼロ動きベクトル３６０）を示
す。

【００４０】図３は、動きベクトル選択器２３０の概略
ブロック図である。出力ピクセルの各ブロックに関する
４個の動きベクトルは、動きベクトル削減器２２０によ
って動きベクトル選択器２３０へと供給される。これら
４個の動きベクトル、即ちゼロ動きベクトルとｖ１、ｖ
２、ｖ３によって示される３個の他のベクトルは、４個
の各処理ユニット４００、４１０、４２０及び４３０に
供給される。処理ユニット４４０、４１０、４２０、４
３０の各々は、アドレスオフセット演算器４４０、タイ
ムベース変換遅延器１８０によって選択された入力フィ
ールドのペアの各１個の関連部分を夫々記憶する２個の
ランダムアクセスメモリ（ＲＡＭ）４５０、４６０及び
ブロック突合せ比較器４７０を具える。

【００４１】各処理ユニットの中では、アドレスオフセ
ット演算器４４０が、タイムベース変換遅延器１８０に
よって生成する時間オフセット制御信号（ｔ）と共に、
この処理ユニットに割り当てられた動きベクトルを受信
する。これら２個の値からアドレスオフセット演算器
は、その動きベクトルによって指し示されたピクセルの
被試験ブロックにアクセスするために、ＲＡＭ４５０、
４６０に記憶されるべき複数のメモリアドレスを生成さ
せる。アドレスオフセット演算器によって供給されたア
ドレスに応じて、各ＲＡＭ４５０、４６０は、試験ブロ
ックを表すピクセル値のアレイをブロック突合せ比較器
４７０に供給する。

【００４２】ブロック突合せ比較器４７０は、２個の試
験ブロックの対応する位置におけるピクセル値（特にピ
クセル値の輝度成分）を比較する。各ピクセルペア間の
輝度の差値の絶対値が計算され、輝度差の絶対値の全合
算値（ＳＡＤ）を生成させて、２個の試験ブロック間の
全体的な相関を表す。特定の動きベクトルに関するＳＡ
Ｄ値が低いときは、この動きベクトルによって指し示さ
れた試験ブロック間の相関度が高いことを示している。

【００４３】処理ユニット４３０は動きベクトルｖ３を
受信し、この動きベクトルによって指し示された被試験
ブロックに関するＳＡＤ値を計算する。処理ユニット４
３０はそこでＳＡＤ値及びベクトルｖ３の識別子を処理
ユニット４２０に供給する。

【００４４】処理ユニット４２０の中では、ベクトルｖ
２に関するＳＡＤ値は、夫々のブロック突合せ比較器４
７０から生成する。そのＳＡＤ値は、そこで処理ユニッ
ト４３０から受信したｖ３に関するＳＡＤ値と比較され
る。このＳＡＤ値が低いときは、動きベクトル（ｖ２又
はｖ３）は、この動きベクトルによって指し示される試
験ブロック間の相関度が高いことを示す。従って、処理
ユニット４２０は、ＳＡＤ値の低い方４７５及びこの低
い方のＳＡＤ値が生成されたベクトルを特定するベクト
ル識別子４８０を出力する。

【００４５】処理ユニット４１０は、ベクトルｖ１を受
信し、このベクトルからＳＡＤ値を計算する。ｖ１に関
するＳＡＤ値を、処理ユニット４２０から供給されたベ
クトルｖ２及びｖ３の低い方のＳＡＤ値４７５と比較す
る。処理ユニット４１０は、ここでベクトルｖ１、ｖ
２、ｖ３のうちの最も低いＳＡＤ値４７７を、このＳＡ
Ｄ値が生成されるベクトル識別子４８５と共に出力す
る。

【００４６】処理ユニット４００は、ゼロ動きベクトル
に関するＳＡＤ値を生成し、これを処理ユニット４１０
から受信したベクトルｖ１，ｖ２，ｖ３に関する現在の
最小のＳＡＤ値と比較する。この比較処理によって、４
個のベクトルのうち最小のＳＡＤ値を生成する１つを表
す選択されたベクトル識別子４９０を、処理ユニット４
００内のブロック突合せ比較器４７０から出力する。

【００４７】ゼロ動きベクトルに関するＳＡＤ値（処理
ユニット４００内のブロック突合せ比較器４７０によっ
て生成する）を、比較器５００に供給し、ここであらか
じめ設定されたしきい値５１０と比較する。ゼロ動きベ
クトルに関するＳＡＤ値は、４個のベクトル（ゼロ、ｖ
１、ｖ２、ｖ３）のどれが出力ピクセル３００の補間に
用いるべく選択されたかに関わりなく、比較器５００に
供給される。

【００４８】比較器５００は、ゼロ動きベクトルに関す
るＳＡＤ値がしきい値５１０よりも大きいとき、（画像
の動きありを示す）動きフラグ５２０をセットする。ゼ
ロ動きベクトルに関するＳＡＤ値がしきい値５１０より
も小さいときは、動きフラグはセットされず、現在の出
力ピクセルが実質的に画像の靜止部分に存在することを
示す。

【００４９】上述のように、補間器１４０の動作は、動
きフラグが補間中の出力ピクセルに関してセットされた
かどうかに従って変化する。この変化の理由を図４、
５、６、７及び図８を参照して説明する。

【００５０】図４はひし形のプログレッシブ（順次）走
査されたビデオフレームの部分を示す概略図である。画
像が２個の連続するインターレース・ビデオフィールド
として示されているときは、図５のａ（奇数ビデオフィ
ールド）及び図５のｂ（次の偶数ビデオフィールド）に
示すように、２個のビデオフィールドは再び結合されて
完全なひし形パターンが生成されるため、垂直方向の情
報損失はない。

【００５１】しかし、２個の連続するビデオフィールド
間に垂直方向の奇数番のラインだけの垂直な画像の動き
があるとき、情報は補間過程で損失する。この状態は図
６のａ及びｂに示される。図６ａは図４に示すパターン
に由来する奇数番ビデオフィールドを表し、図６ｂは、
画像が１ライン分だけ垂直方向に移動したのちの次の
（偶数）ビデオフィールドを表す。図６ａ及び図６ｂに
示す図は同一であり、言い替えればこの場合画像情報の
半分は損失される。

【００５２】上述の問題を解決するために、補間器１４
０が、動きフラグがセットされたかどうかに応じて２つ
の動作モードの間にて切り替えを行なう。動きフラグが
セットされたときは、現在の出力ピクセルが画像の動き
のある部分を形成していることを示し、入力フィールド
のペアの各々のフィールド内補間によって、２個の中間
ピクセル値を生成する。これらの中間値を結合して出力
ピクセルを生成する。これに対して動きフラグがセット
されないときは、現在の出力ピクセルが画像の動きのあ
る部分を形成していないことを示し、２個の入力フィー
ルドからのピクセルをインターリーブ（間挿）し、この
インターリーブしたピクセルに対して単一フィルタリン
グ動作を行い、出力ピクセルを生成する。

【００５３】図７は、動きフラグがセットされたときの
補間器の動作を示す図である。半帯域幅（half-bandwid
th）補間フィルタ６００が２個の入力フィールド３２
０、３３０に夫々個別に適用され、夫々の中間ピクセル
値６１０、６２０を生成する。半帯域幅フィルタは垂直
エイリアス問題を避けるために用いられる。

【００５４】ここでは、２個の中間ピクセル値６１０、
６２０を、現在の出力フィールドに時間上最も近いフィ
ールドから大きな比率で用いて中間ピクセルを形成する
という時間重み付けに従って結合し、出力ピクセルを生
成する。実際、２個の入力フィールド間における出力フ
ィールドの時間上の位置（ｔ）に従い、結合比率が線形
に変化する。もしｔが０と１との間の値であれば、これ
は、出力フィールドと先行する入力フィールドとの間の
時間的距離が１入力フィールド周期の一部であることを
示すので、２個の中間ピクセルが次のように結合され
る。 出力ピクセル＝（１−ｔ）×（先行する入力フィールド
からの中間ピクセル）＋ｔ×（後続する入力フィールド
からの中間ピクセル）

【００５５】図８は、動きフラグがセットされないとき
の補間器１４０の動作の概略を示す図である。この場
合、現在出力されているピクセルが画像の動きのある部
分を形成しておらず、従って垂直方向の周波数帯域が
（図５のａ及びｂに示すように）すべて使えると判断さ
れる。従って全帯域幅（full-bandwidth）補間フィルタ
６３０を２個の入力フィールド３２０及び３３０のイン
ターリーブされたピクセルに適用し、出力ピクセルを生
成させることになる。

【００５６】図８に示すフィルタ構成に時間上の重み付
けを用いることが考えられるが、いくつかの理由により
本実施例では実際に採用していない。 （１）２組のピクセルの重み付けが変化しても、フィル
タは全体で１の利得を保つために空間的には変形されな
ければならない。このように変形させることは可能では
あるが、フィルタの設計上に新たな制約が加わり、フィ
ルタの性能（例えば帯域幅など）が低下する。 （２）時間上の重み付けを行うと、出力フィールドの時
間上の位置が２個の入力フィールドの一方に近づくにつ
れ、ピクセル値の半分の値がフィルタを凌ぐようにな
る。この結果フィルタの帯域幅が半減してしまう。 （３）更に、入力フィールドに対する出力フィールドの
時間位置が変化するので、上記の（２）で述べたように
帯域幅が周期的に減少する。これによって（６０Ｈｚか
ら５０Ｈｚへの変換の場合）１０Ｈｚの周期で靜的な物
体の外見上の明瞭さが周期的に変化する。

【００５７】図９は、補間器１４０の概略ブロック図で
ある。ビデオフィールドの組は２個の補間器７００、７
１０に供給され、現在の出力フィールドは、先行及び後
続する入力フィールドから夫々補間する。各補間器７０
０、７１０は図７及び図８のフィルタ構成に従い、選択
的に動作する。

【００５８】各出力ピクセルの動きフラグを「靜的」係
数メモリ７２０に供給し、また反転ゲート７３０を通じ
て「動的」係数メモリ７４０に供給する。フィルタ係数
の適当な組を係数メモリ７２０、７４０の１つから出力
し、動きフラグの状態に応じて出力ピクセルの補間に用
いる。選択された係数の組は並直列変換器７５０を介し
て補間器７００、７１０に供給される。

【００５９】各補間器７００、７１０は、選択されたフ
ィルタ係数の組に従って夫々の入力フィールドからの多
数のピクセルを結合させる。補間器の出力は２個の乗算
器７６０、７７０の重み付け係数を乗算され、ここから
の出力が加算器８００によって加算される。０．５又は
ｔ（出力フィールドの時間的な位置）のいずれかの重み
付け係数が、動きフラグの制御に従って並直列変換器７
８０より乗算器７６０に供給される。同様に、０．５又
は（１−ｔ）のいずれかの重み付け係数が、ここでも動
きフラグの制御に従って並直列変換器７９０より乗算器
７７０に供給される。

【００６０】重み付け係数としてｔ及び（１−ｔ）を使
用するときは、動きフラグがセットされた係数との関連
から、補間器１４０が図７に示すフィルタリング構成に
従って動作し、２個の中間ピクセルを生成させ、時間的
重み付けを用いて結合させる。夫々の０．５の重み付け
をもつ「靜的」係数を使用するときは、図８に示すイン
ターリーブされた全帯域幅のフィルタ構成と等価にな
る。補間器１４０は、ゆえに動きフラグに応じて２個の
異なる補間器の一方として選択的に動作する。

【００６１】上述の実施例の様々な改良型によって、全
帯域幅フィルタ６３０が動作状態に切り替えられたと
き、静止に向かう運動物体が突然焦点状態に持ち込まれ
るという潜在的問題を軽減できるであろう。例えば、 （１）一方が「静的」（全帯域幅）補間器を用いて形成
され、他方が「動的」（半帯域幅）補間器を用いて形成
された２個の出力フィールド間にて、クロスフェード
（cross-fade：編集点で信号を滑らかに接続すること）
を行うことができる。 （２）全帯域幅フィルタを用いる前に、動きがゼロに定
着した後に１つ又は２つの中間帯域幅（全帯域幅と半帯
域幅との間）フィルタを用いることができる。

【００６２】

【発明の効果】本発明によれば、出力画像の各ピクセル
が、この出力画像の動的部分を表しているか靜的部分を
表しているかを検出する手段を具え、この手段を通じて
得た情報を、例えばこのピクセルを生成させる補間方法
の適合化に用いている。従って、入力画像がインターレ
ースされたビデオ信号の一連のフィールドから成る場
合、連続するフィールド間で奇数個のビデオラインだけ
画像が垂直に動くときの情報損失をうまく補償すること
ができる。

【図面の簡単な説明】

【図１】動き補償テレビジョン方式変換装置の概略を示
すブロック図である。

【図２】動きベクトル選択器の動作の概略を示すブロッ
ク図である。

【図３】動きベクトル選択器の概略を示すブロック図で
ある。

【図４】順次走査ビデオフレームの概略を示す図であ
る。

【図５】インターレースの関係にある２個の連続ビデオ
フィールドの例１を示す。

【図６】インターレースの関係にある２個の連続ビデオ
フィールドの例２を示す図である。

【図７】動きフラグがセットされたときの動き補償補間
器の動作の概略を示す図である。

【図８】動きフラグがセットされないときの動き補償補
間器の動作の概略を示す図である。

【図９】動き補償補間器の概略を示すブロック図であ
る。

【符号の説明】

１４０ 動き補償補間器 ２１０ ベクトル推定器 ２２０ ベクトル削減器 ２３０ 動きベクトル選択器（ベクトル選択手段） ２４０ ベクトル後処理器（動きフラグ生成手段） ４７０ ブロック突合せ比較器（ブロック間相関度検出
手段） ５００ 比較器（靜動検出手段） ７８０，７９０ 並直列変換器（ピクセル選択手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 サイモン マシュー マンズ イギリス国 サリー，ギルドフォード デ ンジル ロード ２ (72)発明者 マーチン レックス ドリコット イギリス国 ハンプシャー，ベーシングス トーク，ベーシング，リングフィールド クロース ６

Claims (15)

【特許請求の範囲】
1. 【請求項１】 入力画像のペアの間での画像の動きを表
   す動きベクトルを生成し、動きを補償する補間によって
   出力画像を形成する動き補償ビデオ信号処理装置であっ
   て、 実質的に動きのないことを示すゼロ動きベクトルによっ
   て指し示された入力画像の信号ブロック間の相関度を検
   出する手段と、 このゼロ動きベクトルによって指し示された被試験ブロ
   ック間の相関度が所定の相関しきい値を超過しているか
   どうかを検出することにより、出力画像のピクセルが出
   力画像の動的部分にあるのか靜的部分にあるのかを検出
   する手段とを具える装置。
2. 【請求項２】 このピクセルが出力画像の動的部分と靜
   的部分のどちらにあると検出されたかを示す、出力画像
   の各ピクセルと関連付けられた動きフラグを生成する手
   段を具える請求項１の装置。
3. 【請求項３】 出力画像の各ピクセルに対してゼロ動き
   ベクトルを含む複数の動きベクトルを生成させる手段
   と、 出力画像のピクセルの補間に用いる動きベクトルを選択
   するためにこの動きベクトルを試験する手段、及び１つ
   の試験中の動きベクトルによって指し示された入力画像
   の被試験ブロック間の相関度を検出する手段を含む手段
   と、 上記複数の動きベクトルからその動きベクトルによって
   指し示されている被試験ブロック間のうちで最大相関度
   をもつ動きベクトルを選択する手段とを具える請求項１
   又は２の装置。
4. 【請求項４】 入力画像の夫々のペアから当該ピクセル
   の補間に用いるために選択した動きベクトルに従って、
   出力画像の各ピクセルを生成させる動き補償補間器を具
   える請求項３の装置。
5. 【請求項５】 上記動き補償補間器は、 ２個のピクセル補間器と、 該２個のピクセル補間器のうちの一方を選択する手段と
   を具え、当該ピクセルが出力画像の動的部分にあるのか
   靜的部分にあるのかの検出結果に応じて出力画像のピク
   セルの補間を行う請求項４の装置。
6. 【請求項６】 上記ピクセル補間器の一方は、 ２個の入力画像からピクセルをインターリーブしてイン
   ターリーブされたピクセル値のブロックを生成させる手
   段と、 上記インターリーブされたピクセル値のブロックのブロ
   ック内補間によって出力画像のピクセルを生成させる手
   段とを具える請求項５の装置。
7. 【請求項７】 上記ピクセル補間器の一方は、 入力画像の各ペアの画像内補間によって夫々の中間ピク
   セル値を２個生成する手段と、 上記２個の中間ピクセル値を結合させて出力画像のピク
   セルを生成させる結合手段とを具えた請求項５又は６の
   装置。
8. 【請求項８】 上記結合手段は、入力画像のペアに対す
   る出力画像の時間上の位置に応じた結合比に従い、２個
   の中間ピクセル値を結合するように動作する請求項７の
   装置。
9. 【請求項９】 上記結合比を入力画像のペアに対する出
   力画像の位置時間上の位置に比例するように定めた請求
   項８の装置。
10. 【請求項１０】 上記入力画像のペアが、インタレース
    された入力ビデオ信号の連続する２フィールドから成る
    請求項１〜９の装置。
11. 【請求項１１】 上記出力画像が、インターレースされ
    た出力ビデオ信号のフィールドから成る請求項１〜１０
    の装置。
12. 【請求項１２】 入力画像のペアの間での画像の動きの
    検出に応じて、動きが補償された補間によって出力画像
    を形成する動き補償ビデオ信号処理装置であって、 複数の動き補償ピクセル補間器と、 該複数のピクセル補間器から１つを選択し、この入力画
    像のペア間の画像の動き検出に応じて、この入力画像の
    ペアから出力画像のピクセル補間を行う手段とを具える
    装置。
13. 【請求項１３】 請求項１〜１２のいずれかの装置を適
    用した、テレビジョン方式変換装置。
14. 【請求項１４】 動き補償補間によって出力画像を生成
    するために、入力画像のペア間の画像の動きを表す動き
    ベクトルを生成する方法であって、 画像の動きが実質ゼロであることを示すゼロ動きベクト
    ルによって指し示された入力画像の被試験ブロック間の
    相関度を検出すること、 上記ゼロ動きベクトルによって指し示された被試験ブロ
    ック間の相関度が所定の相関度しきい値を超過している
    かどうかを検出することにより、出力画像のピクセルが
    出力画像の動的部分にあるか靜的部分にあるかを検出す
    ることの各ステップを含む方法。
15. 【請求項１５】 入力画像のペア間の画像の動きの検出
    結果に応じて、動き補償された補間によって出力画像を
    形成させる動き補償ビデオ信号処理方法であって、 複数のピクセル補間器から１つを選択し、入力画像のペ
    ア間の画像の動きの検出結果に応じて、入力画像のペア
    から出力画像のピクセルを補間するステップを含む方
    法。