JPH0750815A - 動き補正画像処理方式 - Google Patents

Abstract

(57)【要約】 【目的】 動き補正画像処理において、偽動きベクトル
である可能性を有する動きベクトルの取り扱いを改善す
る。 【構成】 映像信号の画像ペア間の画像の動きを表わす
動きベクトルを生成するようにした動き補正画像処理の
ための装置であり、前記画像ペアの夫々のブロックどう
しの間の相関を表わす相関曲面４２０を生成する手段
と、前記相関曲面のうちから第１最大相関点４３０を検
出する手段と、前記第１最大相関点に応じて動きベクト
ルを生成する手段と、前記相関曲面のうちの前記第１最
大相関点の周囲の除外領域４６０を除いた部分から第２
最大相関点４４０を検出する手段と、前記第２最大相関
点が前記相関曲面の前記除外領域に隣接しているか否か
を判定することによって、前記動きベクトルが偽動きベ
クトルである可能性を有するものか否かを判定する手段
とを備えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補正画像処理方式
（装置及び方法）に関する。

【０００２】

【従来の技術】動き補正画像処理の用途には、あるテレ
ビジョン方式から別のテレビジョン方式への方式変換、
あるフィルム方式から別のフィルム方式への方式変換、
それにテレビジョン方式とフィルム方式との間での方式
変換等の様々な用途がある。

【０００３】例えば英国特許公開公報 GB-A-2231749 に
記載されている方式変換装置のような、動き補正を行な
うテレビジョン方式変換装置においては、連続する２つ
の入力画像である入力画像ペア（対）に処理を施して、
その入力画像ペアの２つの画像の間の、画像の動きを表
わす動きベクトル集合を生成するようにしている。この
処理は個々の画像ブロックごとに実行されるため、動き
ベクトルの各々が、それら画像の間の、夫々の画像ブロ
ックの内容の動きを表わすことになる。

【０００４】以上の、動きベクトル推定処理において
は、２つの入力画像のブロックどうしの間の空間的相関
を表わした相関曲面を調べて最大相関点を検出するよう
にしている。（使用する相関曲面は、実際には、２つの
入力画像の間の差を表わした曲面である。従って最大相
関点は、実際には、その相関曲面上の極小点（ないし最
小点）であり、それゆえ以下の説明では、最大相関点を
「極小点」と呼ぶことにする）。極小点が検出されたな
らば、相関曲面上におけるその極小点の空間位置に基づ
いて動きベクトルを生成する。更に、その極小点が、相
関曲面のその他の部分に対して、有意の相関値のピーク
を表わしているか否かを判定するための試験を行なう。
その極小点がこの試験に合格したならば、その極小点を
「有効」極小点として取り扱い、その動きベクトルに付
随している有効性フラグをセットするようにしている。

【０００５】こうして推定された動きベクトル集合の各
々は、動きベクトル減数処理部へ送られ、動きベクトル
減数処理部は、各々のブロックごとに、そのブロックに
対応した（有効動きベクトルから成る）動きベクトル集
合から部分集合を抽出して、その抽出した部分集合に所
属する動きベクトルを、動きベクトル選択部へ供給す
る。動きベクトル選択部は、その部分集合に所属する動
きベクトルのうちの１つを選択して、画像の各ブロック
の中の各ピクセルに割当てる。各ピクセルごとに選択さ
れた動きベクトルは、動き補正用内挿処理（補間）部へ
送られ、この動き補正用内挿処理部は、２つの入力画像
に基づいて、それら入力画像の間の動きを考慮に入れた
内挿処理を実行して出力画像を生成する。

【０００６】

【発明が解決しようとする課題】ところが、画像が一定
間隔の繰返しパターンの領域を含んでいる場合には問題
を生じることがあり、そのような画像の一例を添付図面
の図１に示した。この図１の画像は（カメラが水平方向
へパンすることによって）、水平方向の動きを生じる。
また、相関曲面を生成するために使用しているサーチ・
ブロック１０は、一定間隔の繰返しパターンの「１周
期」よりも大きな領域を包含している。

【０００７】この図１に示した画像に対して上述の動き
ベクトル推定処理を施すと、相関曲面の上に、ある間隔
で離隔した複数の極小点が検出されることがあり得る。
そのような複数の極小点の一例を、添付図面の図２に示
してあり、この図２は、サーチ・ブロック１０によって
生成される相関曲面の断面を模式的に表わした図であ
る。

【０００８】検出された極小点のうちの一方の極小点２
０はそのシーンの真正の動きを表わしている。これに対
して他方の極小点３０は、画像のパターンどうしの偽相
互作用と、相関曲面を生成するために使用したサーチ・
ブロックの大きさとが原因となって発生したものであ
る。上述の動きベクトル推定処理は、それら極小点のう
ちのいずれが画像の真正の動きを表わしているのかを知
るすべがなく、そのため実際に、偽動きベクトル（真正
でない動きベクトル）が生成されてしまうことがしばし
ばあった。偽動きベクトルが用いた内挿処理が実行され
て出力画像が生成されると、例えば添付図面の図３に例
示したような目障りな画像欠陥４０が生じるおそれがあ
る。

【０００９】本発明の目的は、偽動きベクトルである可
能性を有する動きベクトルの取り扱いを改善することに
ある。

【００１０】

【課題を解決するための手段及び作用】本発明は、映像
信号の画像ペア間の画像の動きを表わす動きベクトルを
生成するようにした動き補正画像処理のための装置を提
供し、この装置は、前記画像ペアの夫々のブロックどう
しの間の相関を表わす相関曲面を生成する手段と、前記
相関曲面のうちから第１最大相関点を検出する手段と、
前記第１最大相関点に応じて動きベクトルを生成する手
段と、前記相関曲面のうちの前記第１最大相関点の周囲
の除外領域を除いた部分から第２最大相関点を検出する
手段と、前記第２最大相関点が前記相関曲面の前記除外
領域に隣接しているか否かを判定することによって、前
記動きベクトルが、偽動きベクトルである可能性を有す
るものか否かを判定する手段と、を備えたことを特徴と
する装置である。

【００１１】本発明に係る装置では、相関曲面を調べる
ことによって、最大相関点が複数検出されても（即ち、
偽動きベクトルである可能性を有する動きベクトルが検
出されても）構わない。その検出の後に、様々な手法
（例えば、内挿処理を実行して出力画像を生成する際
に、偽動きベクトルである可能性を有する動きベクトル
は使用しない等の手法）を用いて、図３に示したような
目障りな画像欠陥の発生頻度を低下させ得るようにして
いる。

【００１２】ある動きベクトルが、偽動きベクトルであ
る可能性を有すると判定されたことを、この装置のその
他の構成要素に対して表示するためには、この装置に次
のような手段を備えておくことが好ましく、その手段と
は、前記第２最大相関点が前記相関曲面の前記除外領域
に隣接していない場合に、前記動きベクトルに付随して
いる偽可能性フラグをセットすることによって、該動き
ベクトルが、偽動きベクトルである可能性を有するもの
であることを表示する手段である。

【００１３】偽動きベクトルである可能性を有すると判
定された動きベクトルは、単に廃棄してしまい、内挿処
理を実行して出力画像を生成するためには使用しないよ
うにするのも１つの方法である。また、そうする場合に
は、偽動きベクトルである可能性を有する動きベクトル
に替えて、（例えば）ゼロ動きベクトルを用いるように
することも考えられる。ただし好ましい方法は、更なる
調査を実行して、その動きベクトルが実際に使用不可能
なものか否かを判定するという方法である。それを行な
うために、好適実施例に係る装置は、付随している偽可
能性フラグがセットされている被験動きベクトルと、前
記画像ペアから生成されたその他の動きベクトルのうち
の、所定グループに所属している動きベクトルとを比較
する手段を備えると共に、前記被験動きベクトルの大き
さが前記所定グループに所属している動きベクトルのう
ちの少なくとも１つの動きベクトルの大きさの所定閾値
内にあると判定された場合に、そのように判定されたこ
とに応答して、前記被験動きベクトルに付随している偽
可能性フラグをリセットする手段を備えている。これら
を備えることによって、偽動きベクトルである可能性を
有すると判定された動きベクトルが周囲の動きベクトル
と殆ど同一のものであった場合には、その動きベクトル
の判定変更を行なって、その動きベクトルを、偽動きベ
クトルである可能性がないと判定された動きベクトル
（或いは、偽動きベクトルである可能性を有すると判定
されたが判定変更された動きベクトル）として取り扱
い、その動きベクトルを内挿処理において使用するよう
にしている。

【００１４】好適実施例においては、前記相関曲面は、
前記画像ペアのうちの一方の画像の中のサーチ・ブロッ
クと、前記画像ペアのうちの他方の画像の中の複数のブ
ロックで形成された矩形のブロック・アレイから成るサ
ーチ領域との間の相関を表わす曲面である。

【００１５】偽動きベクトルである可能性を有すると判
定された動きベクトルの判定変更を行なう際には、被験
動きベクトル（即ち、調査対象の動きベクトル）を、前
記入力画像のうちの、その被験動きベクトルの近傍部分
から生成されたその他の動きベクトルと比較することが
好ましい。また、これを行なうためには、前記所定グル
ープに所属している動きベクトルが、前記被験動きベク
トルに対応したサーチ・ブロックに隣接している所定個
数の複数のサーチ・ブロックのうちの、夫々の前記偽可
能性フラグがセットされていないサーチ・ブロックに対
応した動きベクトルから成るものであることが好まし
い。

【００１６】前記所定個数の複数の隣接サーチ・ブロッ
クは、５×５アレイを形成している複数の隣接サーチ・
ブロックであることが好ましい。

【００１７】前記相関曲面の表わし方には様々な方法が
あるが、好ましいのは、前記相関曲面が、前記サーチ・
ブロックの内容と前記サーチ領域の内容との差を表わす
相関値の配列から成るものにするという方法である。こ
うすることによって、その相関値の配列の中から、ブロ
ックどうしの間の差が最小であることを表わしている相
関値を検出するだけで、最大相関点を検出することがで
きる。

【００１８】前記相関値は、色の差に関する値にするこ
とも考えられ、或いは、輝度及び色の組合せの差に関す
る値にすることも考えられるが、好ましいのは、前記相
関値を、前記サーチ・ブロックの輝度内容と前記サーチ
領域の輝度内容との差を表わした値にするというもので
ある。

【００１９】前記除外領域は、前記第１最大相関点の周
囲に位置する複数の相関値から成るものであれば、それ
ら複数の相関値が形成するパターンは様々なパターンの
うちのどのパターンとしても良く、例えば円環形の領域
としても良い。ただし、好ましいのは、前記除外領域
が、前記第１最大相関点の周囲に位置する複数の相関値
で形成された矩形の相関値アレイから成るようにすると
いうものである。また、前記除外領域は、相関値の３×
３アレイから成るものとすることが好ましい。

【００２０】好適実施例においては、この装置は、前記
入力画像ペアから生成された動きベクトルのうち、偽動
きベクトルである可能性を持たないと判定された動きベ
クトルを用いて内挿処理を実行することによって、出力
画像を生成するように動作するようにした、動き補正用
内挿処理部を備えている。

【００２１】ノイズに関連した画像欠陥と混同すること
なく、真正の最大相関点を識別するためには、この装置
が、前記動きベクトルの各々に対して所定の信頼度試験
を実行することによって、前記第１最大相関点が前記相
関曲面における有意の最大相関を表わしているか否かを
判定する手段を備えたものであることが好ましい。更に
は、偽動きベクトルである可能性を有するある動きベク
トルが、ノイズ現象に起因して生成されたその他の動き
ベクトルに基づいて判定変更が行なわれることによっ
て、偽動きベクトルである可能性を持たないと判定され
てしまうという事態を回避するために、前記所定グルー
プに所属している動きベクトルが、前記信頼度試験に合
格した動きベクトルから成るものであることが好まし
い。

【００２２】本発明に係る装置は、動き補正式テレビジ
ョン方式変換装置に用いられることによって利点を提供
するものである。

【００２３】本発明は、その第２の局面として、映像信
号の画像ペア間の画像の動きを表わす動きベクトルを生
成するようにした動き補正画像処理の方法を提供し、こ
の方法は、前記画像ペアの夫々のブロックどうしの間の
相関を表わす相関曲面を生成するステップと、前記相関
曲面のうちから第１最大相関点を検出するステップと、
前記第１最大相関点に応じて動きベクトルを生成するス
テップと、前記相関曲面のうちの前記第１最大相関点の
周囲の除外領域を除いた部分から第２最大相関点を検出
するステップと、前記第２最大相関点が前記相関曲面の
前記除外領域に隣接しているか否かを判定することによ
って、前記動きベクトルが、偽動きベクトルである可能
性を有するものか否かを判定するステップと、を含んで
いることを特徴とする方法である。

【００２４】

【実施例】本発明の以上の目的、特徴、及び利点、並び
にその他の目的、特徴、利点を、添付図面に即した具体
的実施例についての以下の詳細な説明によって明らかに
して行く。図４は、動き補正処理を行なうテレビジョン
方式変換装置のブロック図である。この装置は、インタ
レース走査したディジタル信号の入力映像信号５０（例
えば１１２５本／６０フィールド、２：１インタレース
の高精細度映像信号（ＨＤＶＳ）等）を受け取って、イ
ンタレース走査したディジタル信号の出力映像信号６０
（例えば１２５０本／５０フィールド、２：１インタレ
ースのＨＤＶＳ等）を生成する装置である。

【００２５】入力映像信号５０は、先ず入力バッファ／
パッカ１１０へ供給される。入力映像信号が標準精細度
の信号である場合には、入力バッファ／パッカ１１０
は、その画像データのフォーマットを、高精細度方式の
フォーマット（アスペクト比が１６：９のフォーマッ
ト）にした上で、必要な位置に黒ピクセルを充填する。
一方、入力映像信号がＨＤＶＳである場合には、入力バ
ッファ／パッカ１１０は、単にそのデータをバッファす
る機能を果たす。

【００２６】そのデータは、入力バッファ／パッカ１１
０からマトリックス回路１２０へ渡され、このマトリッ
クス回路１２０において（もし必要ならば）入力映像信
号のフォーマットが「ＣＣＩＲ勧告６０１」規格のフォ
ーマット（Ｙ、Ｃｒ、Ｃｂ）に変換される。

【００２７】入力映像信号は、マトリックス回路１２０
から、時間軸変換遅延部１３０へ供給されると共に、サ
ブサンプラ１７０を介して、サブサンプル時間軸変換遅
延部１８０へも供給されている。時間軸変換遅延部１３
０は、出力映像信号の各フィールドの時間軸上の位置を
識別して、内挿処理を実行して出力フィールドを生成す
る際に使用する、その出力フィールドに時間的に最も近
接している、入力映像信号の２つのフィールドを選択す
る。出力映像信号の各フィールドごとに、この時間軸変
換遅延部１３０によって選択された２つの入力フィール
ドが適当な遅延を付与された上で内挿処理部１４０へ供
給され、この内挿処理部１４０において内挿処理が実行
されて、然るべき出力フィールドが生成される。また、
各々の出力フィールドの時間軸上の位置に関しては、選
択された２つの入力フィールドに対するその出力フィー
ルドの相対的な位置を示す制御信号ｔが、時間軸変換遅
延部１３０から内挿処理部１４０へ供給されている。

【００２８】サブサンプル時間軸変換遅延部１８０は、
時間軸変換遅延部１３０と同様に機能するものである
が、ただし、このサブサンプル時間軸変換遅延部１８０
が取り扱う映像信号は、サブサンプラ１７０から供給さ
れる、空間的にサブサンプリングされた映像信号であ
る。このサブサンプリングされた映像信号からサブサン
プル時間軸変換遅延部１８０が選択する２つの入力フィ
ールド、即ち入力フィールド・ペアが、動きベクトルの
生成に使用される。

【００２９】時間軸変換遅延部１３０及び１８０は、入
力映像信号に付随している同期信号に従って動作するよ
うにしても良く、また、出力映像信号に付随している同
期信号に従って動作するようにしても良く、更には、そ
れら両方の同期信号に従って動作するようにしても良
い。いずれか一方の同期信号しか供給されていない場合
には、入力映像信号と出力映像信号とのうち、同期信号
が供給されていない方の映像信号のフィールドのタイミ
ングは、時間軸変換遅延部１３０、１８０の内部におい
て結果論的に決定される。

【００３０】サブサンプル時間軸変換遅延部１８０によ
って選択された、サブサンプリングされた入力映像信号
のフィールド・ペアは、動き処理部１８５へ供給され、
この動き処理部１８５は、直接ブロック突合せ処理部１
９０と、データ・ストリッパ２００と、動きベクトル推
定部２１０と、動きベクトル減数処理部２２０と、動き
ベクトル選択部２３０と、動きベクトル後置処理部２４
０とを含んでいる。入力フィールド・ペアは、先ず、直
接ブロック突合せ処理部１９０へ供給される。直接ブロ
ック突合せ処理部１９０は、複数の相関曲面を算出し、
それら相関曲面は、選択されたそれら２つの入力フィー
ルドのうちの先行する方の入力フィールドの中の夫々の
サーチ・ブロックと、後続の方の入力フィールドの中の
（より大きな）夫々のサーチ領域との間の空間的相関を
表わす曲面である。それら複数の相関曲面を表わしてい
るデータは、データ・ストリッパ２００によって再フォ
ーマットされた後に動きベクトル推定部２１０へ受け渡
される。動きベクトル推定部２１０は、各々の相関曲面
ごとに、その相関曲面上の最大相関点を検出する。（そ
れら相関曲面は、実際には、２つの入力フィールドのブ
ロックどうしの間の差を表わした曲面であり、従って、
最大相関点は、実際には、相関曲面上の極小点（ないし
は最小点）に他ならず、それゆえ、ここでは最大相関点
のことを「極小点」と呼ぶことにする）。この極小点の
検出の際には、相関曲面上のその他の点との間で内挿処
理を行なうようにしており、それによって、サブサンプ
リングされた映像信号を使用して相関曲面を算出したた
めに生じた解像度の低下をある程度埋め合わせるように
している。動きベクトル推定部２１０は、各々の相関曲
面ごとに、その相関曲面上で検出された極小点に基づい
て動きベクトルを生成し、そしてその生成した動きベク
トルを、動きベクトル減数処理部２２０へ供給してい
る。

【００３１】動きベクトル推定部２１０は更に、生成し
た動きベクトルの各々に対して信頼度試験を実行して、
その動きベクトルが一般ノイズ・レベルを超えた有意の
動きベクトルであるか否かを判定し、そして、その信頼
度試験の結果を表わす信頼度フラグを各々の動きベクト
ルに付与している。この信頼度試験は「閾値」試験と呼
ばれており、この信頼度試験については（図４の装置の
その他の幾つかの特徴と共に）英国特許公開公報 GB-A-
2231749 に記載されている。

【００３２】動きベクトル推定部２１０は更にもう１つ
の試験を実行しており、その試験とは、各々の動きベク
トルが、偽動きベクトルである可能性を有するものか否
かを判定する試験である。この試験（この試験について
は後に更に詳細に説明する）においては、先ず、相関曲
面を調べて（ただし、検出された極小点の周囲の除外領
域を除いた部分だけを調べる）第２番目に小さな値の極
小点（ないし最小点）を検出する。そして、この第２番
目に小さな値の極小点（ないし最小点）が、除外領域の
境界部分に存在していなかったならば、然るべきフラグ
をセットすることによって、最初に検出した極小点から
導出した動きベクトルが、偽動きベクトルである可能性
を有するものであることを表示するようにする。

【００３３】動きベクトル減数処理部２２０は、動きベ
クトル選択部２３０へ動きベクトルを供給する前に、出
力フィールドの各ピクセルに対応させられる可能性のあ
る動きベクトルの候補数（選択権）を減らす機能を果た
している。出力フィールドは仮想的に複数のピクセル・
ブロックに分割されており、それら各々のピクセル・ブ
ロックの出力フィールドの中における位置は、選択され
た２つの入力フィールドのうちの先行する方の入力フィ
ールドの中のサーチ・ブロックの位置に対応している。
動きベクトル減数処理部２２０は、出力フィールドの各
ブロックに割当てる４つずつの動きベクトルから成る動
きベクトル・グループを編成し、最終的には各ブロック
の中の各ピクセルが、そのブロックに割当てられた動き
ベクトル・グループに所属している４つの動きベクトル
のうちから選択された、いずれか１つの動きベクトルを
用いた内挿処理によって生成される。

【００３４】フラグで「偽の可能性有り」と表示されて
いる動きベクトルであっても、もしその動きベクトル
が、隣接するブロックの中の、フラグで「偽の可能性無
し」と表示されている動きベクトルと略々同一の動きベ
クトルであるならば、以上の動きベクトル減数処理の実
行中に、その動きベクトルに対して偽の可能性について
の判定変更が行なわれるようにしてある。

【００３５】動きベクトル減数処理部２２０は、その機
能の一部として、「優良」動きベクトル（即ち、信頼度
試験に合格した上、偽可能性試験にも合格したか、或い
は、判定変更の結果、偽の可能性無しと判定し直された
動きベクトル）の発生頻度のカウントを行なっており、
このカウントに際に、それら優良動きベクトルの導出に
用いられた入力フィールドのブロックの位置は考慮して
いない。更に、優良動きベクトルを、その発生頻度に従
って高頻度から低頻度へ順にランク付けする。このラン
ク付けにおいては、互いに明確に異なる優良動きベクト
ルに分けたうちで、最も多くの優良動きベクトルが共通
して入れられているクラスをもって「大域的」動きベク
トルのクラスとする。続いて、出力ピクセルの各々のブ
ロックごとに、信頼度試験に合格した動きベクトルをゼ
ロ動きベクトルも含めて３つずつ選択し、選択したそれ
ら動きベクトルを、以後の処理のために動きベクトル選
択部２３０へ供給する。選択されるそれら３つの動きベ
クトルは、以下の（１）〜（３）のうちから所定の優先
順位に従って選択される。 （１）その出力ピクセル・ブロックに対応したサーチ・
ブロックから生成された動きベクトル。 （２）その出力ピクセル・ブロックの周囲の複数のサー
チ・ブロックから生成された動きベクトル（「局所的」
動きベクトル）。 （３）大域的動きベクトル。

【００３６】動きベクトル選択部２３０は、その入力と
して更に、サブサンプル時間軸変換遅延部１８０によっ
て先に選択されて、動きベクトルを導出するために使用
された２つの入力フィールドを受け取っている。それら
入力フィールドは、適当に遅延されて入力されており、
その遅延は、それら入力フィールドが、それら入力フィ
ールドから導出された動きベクトルと同時に動きベクト
ル選択部２３０へ供給されるようにするためのものであ
る。動きベクトル選択部２３０が送出する出力は、出力
フィールドの各ピクセルに１つずつが対応した動きベク
トルから成るものである。各ピクセルに対応した１つず
つの動きベクトルは、動きベクトル減数処理部２２０か
ら供給された、当該ブロックに対応した４つの動きベク
トルのうちから選択された動きベクトルである。

【００３７】動きベクトルを選択するための選択処理に
おいては、先ず、被験動きベクトルによって指し示され
ている、２つの入力フィールドの被験ブロックどうしの
間の相関度を判定する。そして、それら被験ブロックど
うしの間の相関度が最大である動きベクトルを、内挿処
理を実行して出力ピクセルを生成する際に用いるべき動
きベクトルとして選択する。動きベクトル選択部２３０
においては更に「動きフラグ」の生成も行なわれてい
る。このフラグは、ゼロ動きベクトルによって指し示さ
れているブロックどうしの間の相関度が所定の閾値より
大きかったならば「静止」（動きなし）にセットされ
る。

【００３８】動きベクトル後置処理部２４０は、画像の
垂直スケーリングが必要な場合に、動きベクトル選択部
２３０が選択した動きベクトルに、その垂直スケーリン
グを反映させるための再フォーマットを施し、そして、
再フォーマットを施した動きベクトルを、内挿処理部１
４０へ供給する。内挿処理部１４０は、供給された動き
ベクトルを用いて内挿処理を実行して、時間軸変換遅延
部１３０によって選択された、対応する２つの（サブサ
ンプリングされていない）インターレース走査された入
力フィールドから１つの出力フィールドを生成し、この
内挿処理において、もしそのとき内挿処理部１４０へ供
給されている動きベクトルが、画像の動きを表示してい
たならば、その画像の動きを考慮に入れた出力フィール
ドが生成される。

【００３９】この内挿処理においては、もしその動きベ
クトルの「動きフラグ」が、現在出力ピクセルが画像の
うちの動いている部分の中に位置していることを表示し
ていたならば、内挿処理部１４０へ供給されている選択
された２つの入力フィールドの中のピクセルどうしを然
るべき相対的比率で結合するようにしており、この比率
は、それら２つの入力フィールドに対する出力フィール
ドの相対的な時間軸上の位置（この相対位置は、制御信
号ｔによって表わされている）に応じた比率であり、そ
れら２つの入力フィールドのうち、出力フィールドに近
い方の入力フィールドの方の使用割合が大きくなるよう
な比率である。一方、その動きフラグが「静止」表示に
セットされていたならば、そのような時間的重み付け処
理は行なわない。内挿処理部１４０の出力は、ＨＤＶＳ
出力信号として出力させるための出力バッファ１５０
と、標準精細度の出力信号１６５を生成するダウン・コ
ンバータ１６０との、両方へ供給されている。

【００４０】前述のサブサンプラ１７０は、マトリック
ス回路１２０から受け取った入力フィールドの、水平方
向及び垂直方向の空間的サブサンプリングを実行してい
る。水平方向のサブサンプリングは簡単な処理動作で行
なえ、即ち、先ずその入力フィールドに対して、２分の
１帯域幅の低域通過フィルタを用いて予備フィルタ処理
を施す（本実施例の場合では、２：１の水平方向の間引
き処理を施す）ことによって、各映像ライン上の１つお
きの映像サンプルを廃棄して、各映像ライン上のサンプ
ル数を２分の１に低減する。

【００４１】入力フィールドの垂直方向のサブサンプリ
ングは複雑であり、その原因は、入力映像信号がインタ
レース走査された信号であることにある。そのため、イ
ンタレース走査された１つのフィールドの中の前後に続
く２本の映像サンプルのラインの間の間隔は、実際に
は、完成した１つのフレームの中の映像ラインの２本分
の間隔となっており、また、各フィールドの中のライン
の位置は、そのフィールドの直前のフィールドのライ
ン、ないしはそのフィールドの直後のフィールドのライ
ンから、完成した１つのフレームの中の映像ラインの１
本分の間隔だけ垂直方向にずれている。ここで実際に採
用している垂直方向のサブサンプリングの方法は、その
第１段階として、垂直方向の低域通過フィルタ処理（こ
れはエイリアシングを回避するためである）を実行し、
それに続いて、各ピクセルの位置を、垂直方向に、映像
ライン１本分の間隔の２分の１だけ下方へ（偶数フィー
ルドの場合）または上方へ（奇数フィールドの場合）変
位させる結果が得られるフィルタ処理を施すという方法
である。これによって得られる変位したフィールドは、
順次走査したフィールドに垂直方向の２分の１のサブサ
ンプリングを施して得られたフィールドと、広い意味で
等価なフィールドとなっている。

【００４２】図５は相関曲面３００の模式図である。こ
の相関曲面は、この相関曲面を生成する元になった２つ
の入力フィールドのうちの、先行する方の入力フィール
ドのサーチ・ブロックと、後続の方の入力フィールドの
中の、より大きなサーチ領域との間の差を表わした曲面
である。従って相関のピークは、この相関曲面３００上
の極小点３１０によって表わされている。相関曲面３０
０上におけるこの極小点（最大相関点）３１０の位置に
よって、この相関曲面３００から導出される動きベクト
ルの大きさと方向とが決定される。

【００４３】相関曲面３００から導出された動きベクト
ルが、偽動きベクトルである可能性を有するものか否か
を判定するためには、先ず、極小点３１０の周囲に除外
領域３２０を設定する。続いて、相関曲面３００を再度
調べて（ただし極小点３１０の周囲の除外領域３２０を
除いた部分だけを調べる）次に小さな値の極小点（ない
しは最小点）を識別する。そして、この第２番目に小さ
な値の極小点（ないしは最小点）が、除外領域３２０の
境界部分に位置していなかったならば、然るべきフラグ
をセットして、その生成された動きベクトルが、偽動き
ベクトルである可能性を有するものであることを表示す
る。

【００４４】これより図６及び図７を参照しつつ、ある
動きベクトルが、偽動きベクトルである可能性を有する
ものか否かを判定するための処理手順における２通りの
具体的な事例について説明する。図６及び図７は、典型
的な２通りの相関曲面４００及び４２０の断面を表わし
た模式図である。図６の相関曲面４００には、極小点が
１つしか存在しておらず、そのためこの相関曲面４００
は、先に説明した偽動きベクトルの問題にわずらわされ
ることはない。この極小点４０５の周囲に除外領域４１
０を設定したならば、次に小さな値の最小点４１５は、
この除外領域の境界部分に位置することになる。このこ
とは、この相関曲面４００が偽相関曲面ではないという
ことを示すものであり、それゆえ、この相関曲面４００
から生成された動きベクトルに付随している偽可能性フ
ラグをリセットして「偽の可能性無し」状態を表示させ
るようにする。

【００４５】これに対して、図７の相関曲面４２０に
は、明確に識別することのできる複数の極小点４３０、
４４０、４５０が存在している。この相関曲面４２０
は、一定間隔の繰返しパターンを有する２つの画像の間
の相関を表わした曲面である。この相関曲面４２０を対
象とした動きベクトル推定処理を実行すると、最も小さ
な値の極小点４３０（最大相関点）が検出されるため、
この極小点４３０の周囲に除外領域４６０を設定するこ
とになる。これによって、その次に小さな値の極小点ま
たは最小点となるのは、極小点４４０であるが、この極
小点４４０は除外領域４６０の境界部分に位置してはい
ない。そのため、最初の極小点４３０から生成された動
きベクトルは、フラグによって、それが偽動きベクトル
である可能性を有するものであることを表示するように
し、即ち、その動きベクトルに付随している偽可能性フ
ラグをセットして「偽の可能性有り」状態を表示させる
ようにする。

【００４６】図８に示したのは、動きベクトル減数処理
部２２０のうちの一部分であって、一旦はフラグがセッ
トされて偽の可能性有りと表示された動きベクトルの判
定変更を行なって、偽の可能性無しと判定し直す機能を
担当している部分のブロック図である。

【００４７】動きベクトル推定処理の実行中に生成され
る動きベクトルは、その各々の動きベクトルが、メモリ
・アレイ５００の中の、その動きベクトルに対応した相
関曲面を導出したサーチ・ブロックの（入力画像内にお
ける）位置に応じた格納位置に格納される。また、その
動きベクトルに付随している信頼度フラグは、それに対
応した信頼度フラグ用メモリ・アレイ５１０の中に格納
され、偽可能性フラグ（以上のようにして生成されたも
の）は、入力側偽可能性フラグ用メモリ・アレイ５２０
の中に格納される。

【００４８】一旦は偽の可能性有りと判定された動きベ
クトルの判定変更を行なうために、アドレス・ジェネレ
ータ５３０の制御の下に、アレイ・メモリ５００、５１
０、５２０が順次走査されるようにしている。これによ
って、各々の動きベクトルに関して、その動きベクトル
５２５の、偽可能性フラグと、ベクトル値（大きさ及び
方向）と、信頼度フラグとが、比較器５４０へ供給され
る。アドレス・ジェネレータ５３０は更に、被験動きベ
クトル（調査対象の動きベクトル）５２５の周囲の５×
５アレイのパターン５３５の中に含まれる２４個の動き
ベクトルの、偽可能性フラグと、信頼度フラグと、ベク
トル値とを読み出す動作の制御を行なう。それら２４組
のフラグ及びベクトル値もまた、比較器５４０へ供給さ
れる。

【００４９】比較器５４０は、被験動きベクトルを、以
下に示す１組の規則に従って、周囲の２４個の動きベク
トルとの間で比較照合し、そして、その被験動きベクト
ルのための修正後偽可能性フラグを発生する。この修正
後偽可能性フラグは、アドレス・ジェネレータ５３０の
制御の下に、出力側偽可能性フラグ用メモリ・アレイ５
６０の中の対応する位置５５０に書き込まれる。

【００５０】比較器５４０がそれに従って動作する規則
は次のとおりである。 １．被験動きベクトルの信頼度フラグがセットされてい
なかったならば（これは、被験動きベクトルが信頼度試
験に不合格であったことを意味している）、被験動きベ
クトルのそれまでの偽可能性フラグを、修正を加えるこ
となくそのまま出力側偽可能性フラグ用メモリ・アレイ
５６０に書き込む。この場合、その偽可能性フラグの状
態は考慮する必要がなく、なぜならば、信頼度試験に不
合格であった動きベクトルは、動き補正用内挿処理に使
用しないからである。 ２．被験動きベクトルの信頼度フラグがセットされてお
り、偽可能性フラグがセットされていなかったならば
（これは、被験動きベクトルが信頼度試験に合格し、偽
の可能性無しと判定されたことを意味している）、被験
動きベクトルのその偽可能性フラグを、修正を加えるこ
となくそのまま、出力側偽可能性フラグ用メモリ・アレ
イ５６０の対応する位置に書き込む。 ３．被験動きベクトルの偽可能性フラグと信頼度フラグ
とが共にセットされていたならば（これは、被験動きベ
クトルが、信頼度試験には合格したが、偽の可能性あり
と判定されたことを意味している）、更に以下のａ）及
びｂ）について調べる。 ａ）被験動きベクトルの値が、周囲の２４個の動きベク
トルのうちの１つないし幾つかの動きベクトル（この１
つないし幾つかの動きベクトルは、偽の可能性無しと判
定され信頼度試験に合格したものである）の値の、所定
の閾値５７０の中の値であったならば、被験動きベクト
ルの偽可能性フラグに対して判定変更を行なって「偽の
可能性無し」を表示させるようにする。そして、この判
定変更した偽可能性フラグを、出力側偽可能性フラグ用
メモリ・アレイ５６０に書き込む。 ｂ）被験動きベクトルの値が、周囲の２４個の動きベク
トルのうちの１つないし幾つかのベクトルの値の、所定
の閾値５７０から外れた値であったならば、被験動きベ
クトルの偽可能性フラグの判定変更を行なわず、その偽
可能性フラグを、修正することなくそのまま、出力側偽
可能性フラグ用メモリ・アレイ５６０に書き込む。

【００５１】入力側偽可能性フラグ用メモリ・アレイと
出力側偽可能性フラグ用メモリ・アレイとを別々に設け
たことによって、偽の可能性ありと判定された動きベク
トルの判定変更によって誤りが伝搬されるのを防止して
いる。

【００５２】信頼度試験に合格し、且つ、出力側偽可能
性フラグ用メモリ・アレイ５６０の中の偽可能性フラグ
がセットされていない動きベクトル（即ち、動きベクト
ル推定処理において偽の可能性無しと判定されたか、或
いは、動きベクトル減数処理において判定変更されて偽
の可能性無しと判定し直された動きベクトル）だけが動
きベクトル減数処理部２２０から出力され、従って、そ
のような動きベクトルだけが、内挿処理部１４０におい
て使用される可能性を有する動きベクトルになる。

【００５３】以上、添付図面を参照しつつ、本発明の具
体的実施例について詳細に説明したが、本発明はそれら
具体的な実施例に限定されるものではなく、当業者であ
れば本発明の概念並びに範囲から逸脱することなく、そ
れら実施例に対して様々な変更ないし改変を加えること
ができるということを理解されたい。

【図面の簡単な説明】

【図１】繰返しパターンを含むテレビジョン画像の例を
示す模式図である。

【図２】相関曲面の断面の例を示す模式図である。

【図３】偽動きベクトルの使用によって発生する画像欠
陥を例示した図である。

【図４】本発明による動き補正を行なうテレビジョン方
式変換装置のブロック図である。

【図５】相関曲面の例を示す模式図である。

【図６】相関曲面の断面の例を示す説明図である。

【図７】図６の相関曲面とは別の相関曲面の断面の例を
示す説明図である。

【図８】動きベクトル減数処理部の一部分のブロック図
である。

【符号の説明】

３００ 相関曲面 ３１０ 極小点 ４００ 相関曲面 ４０５ 極小点 ４１０ 除外領域 ４２０ 相関曲面 ４３０、４４０、４５０ 極小点 ４６０ 除外領域

フロントページの続き (72)発明者 マーチン レックス ドリコット イギリス国 ハンプシャー，ベーシングス トーク，ベーシング，リングフィールド クロース ６ (72)発明者 シーマ ラビジ ヴァーサニ イギリス国 ハンプシャー，ベーシングス トーク，フック，フォーエイカー コピス ５ (72)発明者 ジェームズ エドワード バーンズ イギリス国 ハンプシャー，ベーシングス トーク，オールド ベーシング，ハッチ レーン 81 (72)発明者 カール ウィリアム ウォルターズ イギリス国 バークシャー，レディング, グレートノリス ストリート 139 (72)発明者 スチーブン マーク キーティング イギリス国 バークシャー，レディング, ローワーアーリー，ハンティングドン ク ロース 28

Claims (15)

【特許請求の範囲】
1. 【請求項１】 映像信号の画像ペア間の画像の動きを表
   わす動きベクトルを生成するようにした動き補正画像処
   理のための装置において、 前記画像ペアの夫々のブロックどうしの間の相関を表わ
   す相関曲面を生成する手段と、 前記相関曲面のうちから第１最大相関点を検出する手段
   と、 前記第１最大相関点に応じて動きベクトルを生成する手
   段と、 前記相関曲面のうちの前記第１最大相関点の周囲の除外
   領域を除いた部分から第２最大相関点を検出する手段
   と、 前記第２最大相関点が前記相関曲面の前記除外領域に隣
   接しているか否かを判定することによって、前記動きベ
   クトルが偽動きベクトルである可能性を有するものか否
   かを判定する手段と、を備えたことを特徴とする装置。
2. 【請求項２】 前記第２最大相関点が前記相関曲面の前
   記除外領域に隣接していない場合に、前記動きベクトル
   に付随している偽可能性フラグをセットすることによっ
   て、該動きベクトルが、偽動きベクトルである可能性を
   有するものであることを表示する手段を更に備えたこと
   を特徴とする請求項１記載の装置。
3. 【請求項３】 付随している偽可能性フラグがセットさ
   れている被験動きベクトルと、前記画像ペアから生成さ
   れたその他の動きベクトルのうちの所定グループに所属
   している動きベクトルとを比較する手段と、 前記被験動きベクトルの大きさが前記所定グループに所
   属している動きベクトルのうちの少なくとも１つの動き
   ベクトルの大きさの所定閾値内にあると判定された場合
   に、そのように判定されたことに応答して、前記被験動
   きベクトルに付随している偽可能性フラグをリセットす
   る手段と、を備えたことを特徴とする請求項２記載の装
   置。
4. 【請求項４】 前記相関曲面が、前記画像ペアのうちの
   一方の画像の中のサーチ・ブロックと、前記画像ペアの
   うちの他方の画像の中の複数のブロックで形成された矩
   形のブロック・アレイから成るサーチ領域との間の相関
   を表わす曲面であることを特徴とする請求項３記載の装
   置。
5. 【請求項５】 前記所定グループに所属している動きベ
   クトルが、前記被験動きベクトルに対応したサーチ・ブ
   ロックに隣接している所定個数の複数のサーチ・ブロッ
   クのうちの、夫々の前記偽可能性フラグがセットされて
   いないサーチ・ブロックに対応した動きベクトルから成
   ることを特徴とする請求項４記載の装置。
6. 【請求項６】 前記所定個数の複数の隣接サーチ・ブロ
   ックが、５×５アレイを形成している複数の隣接サーチ
   ・ブロックであることを特徴とする請求項５記載の装
   置。
7. 【請求項７】 前記相関曲面が、前記サーチ・ブロック
   の内容と前記サーチ領域の内容との差を表わす相関値の
   配列から成ることを特徴とする請求項４記載の装置。
8. 【請求項８】 前記相関値が、前記サーチ・ブロックの
   輝度内容と前記サーチ領域の輝度内容との差を表わした
   値であることを特徴とする請求項７記載の装置。
9. 【請求項９】 前記除外領域が、前記第１最大相関点の
   周囲に位置する複数の相関値で形成された矩形の相関値
   アレイから成ることを特徴とする請求項７記載の装置。
10. 【請求項１０】 前記除外領域が、３×３アレイを形成
    している複数の相関値から成ることを特徴とする請求項
    ７記載の装置。
11. 【請求項１１】 前記入力画像ペアから生成された動き
    ベクトルのうち偽動きベクトルである可能性を持たない
    と判定された動きベクトルを用いて内挿処理を実行する
    ことによって出力画像を生成するように動作する動き補
    正用内挿処理部を備えたことを特徴とする請求項１記載
    の装置。
12. 【請求項１２】 前記動きベクトルの各々に対して所定
    の信頼度試験を実行することによって、前記第１最大相
    関点が前記相関曲面における有意の最大相関を表わして
    いるか否かを判定する手段を備えたことを特徴とする請
    求項５記載の装置。
13. 【請求項１３】 前記所定グループに所属している動き
    ベクトルが、前記信頼度試験に合格した動きベクトルか
    ら成ることを特徴とする請求項１２記載の装置。
14. 【請求項１４】 請求項１記載の装置を備えた動き補正
    式テレビジョン方式変換装置。
15. 【請求項１５】 映像信号の画像ペア間の画像の動きを
    表わす動きベクトルを生成するようにした動き補正画像
    処理の方法において、 前記画像ペアの夫々のブロックどうしの間の相関を表わ
    す相関曲面を生成するステップと、 前記相関曲面のうちから第１最大相関点を検出するステ
    ップと、 前記第１最大相関点に応じて動きベクトルを生成するス
    テップと、 前記相関曲面のうちの前記第１最大相関点の周囲の除外
    領域を除いた部分から第２最大相関点を検出するステッ
    プと、 前記第２最大相関点が前記相関曲面の前記除外領域に隣
    接しているか否かを判定することによって、前記動きベ
    クトルが偽動きベクトルである可能性を有するものか否
    かを判定するステップと、を含んでいることを特徴とす
    る方法。