JPS62213392A - フイ−ルド補間方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

産業上の利用分野 本発明はディジタルテレビジョンシーケンスの省略され
たフィールドの再構成に適した動き補償フィールド補間
方法およびその方法の利用に関する。 従来技術 ディジタルテレビジョンシーケンスにおいてフィールド
の補間の問題が、フィールド周波数変換の場合に生じる
。ソースコーディングを適用する場合には、非常に低い
送信ビットレートでディジタルチャンネルを通じてテレ
ビジョン信号を送信しうるようにするためにコーダーに
おいて脱落されるフィールｒを再構成しなければならナ
イ。ＣＣＩＴ’Ｉ’研究りＡ／−プＸＶは６８４ｘｂｔ
ｉ／ｓの伝送速度でのテレビジョンコーデクスを現在開
発中である。その目的は統合サービスディジタル回路網
（Ｉ８ＤＮ）を用いたビデオ会鑓サービスを提供するこ
とである。このデータの速度を達成するには、周知のソ
ースコーディる ング技術に加えて伝送され戸フィールドのａｔ−減らす
必要がある。この問題について最近提案された技術では
、ハイブリッドコーディングアルゴリズムと組合せて４
：１でのフィールドのサブサンプリングを使用している
（クンマーフェルラ他、「６２０および６４１ｂｔｉ／
ｓでのテレビジョン信号のコータ化」、光学および電子
光学応用科学および技術に関する第２回国際技術シンポ
ジウム、カンタ、１９８５年１２月、（以下文献〔１〕
という）参照のこと）。そして、受信側において３個の
フィールドを２個の送信フィールド間毎に補間しなけれ
ばならない。 この場合の問題はテレビジョンシーケンスの２個の連続
するフィー）ｖｐ間で与えられた瞬時位置で１個のフィ
ールドを発生するということである。移動中の目標物に
よってしばしば瞬時ルミナンスの変化が生じるから、最
も近くにあるフィールドをそう人するという単純なフィ
ールド反覆技術ではヤクシャク動く目標物が得られる（
ハスケル他、［ビデオ電話用低ビツト速度インターフレ
ームコ−／−Ｊベルシステムテクニカルジャーナル、Ｖ
ｏｌ、５４．　魔８　、　ｐｐｌ　４７５−１４９５．
１９７５年１０月（以下文献〔２〕という）参照）。も
う一つの簡単な方法は瞬時フィルタリングによる線形補
間であるジョン信号のｆ、Ｉｙ化」ハノーバー工科大学
博士論文、１９７８年（以下文献〔６〕という）参照）
。この場合、補間されるべき画素のそれぞれについて同
じ空間位置にある対応する画素の重み平均が計算される
。この補間技術は、例えば背景成分の輝度変化のみによ
るルミナンス変化には適用できるが、動きの量によって
は動きの領域ににじみが生じる。 その後、モーション補償補間（ＭＣＩ　）技術が開発さ
れている（ムスマン他「画像コード化の進歩」プロシー
ディンゲス・オフーデＩＥＥＥ、　ｖｏｌ。 ７５、ＰＰ５２３−５４８．１９８５年４月（以下文献
〔４〕という）参照）。ＭＣＩ技術は動きの自然さを保
存するために目標物の動きを考慮している。その主たる
問題点は動きのパラメータについて充分正確な予測を与
えることが困難であるということである。アルゴリズム
が複雑になりすぎるのを抑えるために殆んどのＭＣＩ技
術は画像面において目標物が純並進変位するという仮定
に立脚している（文献〔１〕および、ジエイン他「変位
測定およびそのインターフレーム画像コード化への応用
Ｊ　ＩｇＥＥ　トランデクジョンｅオン・コミニュケー
ション、ｖｏｌ、　Ｃ０Ｍ−２９，、％１　２．　　Ｐ
Ｐ１　７９９−１　８０８゜１９８１年１２月（以下文
献〔５〕）、フルカワ他「ビデオ会議画像のための動き
に対する補間」プロシーデインダス・オフ・デ・インタ
ーナショナル・コンファレンス・オン・コミュニケーシ
ョン、１９８４年、ＰＰ７０７−７１０、アムステルダ
ム、１９８４（以下文献〔６〕）およびベルクマン他「
動きに対するフレーム補間」ゾロシーデインダス・オフ
・デ・１９８４インターナシヨナルチユーリツヒ・セミ
ナー・オン・テイシタル・コミュニケーション・Ｄ　２
．１−Ｄ２．５、チューリッヒ１９８４（以下文献〔７
〕参照）。文献〔１〕と〔５〕では画像が一定数の矩形
のブロックに細分割される。１つの変位ベクトルが動く
領域に属するそれぞれのブロックについて決定されてお
り、一方文献〔６〕では、１個の代表的変位ベクトルが
それぞれの動く領域について決定される。文献〔７〕に
示されるアルゴリズムは、再構成されるテレビジョンシ
ーケンスでの動きの改善された演出を得るべく動く画像
の部分的のそれぞれの画素について１個の変位ベクトル
を推定するものである。 発明が解決しようとする問題点 これら従来の方法においては大きな変位については対処
できない。本発明の目的はそのような大きな変位に対処
できる方法を提供するものであり、他の目的は伝送され
たフィールドではなく補間されるべきフィールｒの瞬間
位置について有効な特別に限定された変位ベクトルを与
えることである。 本発明の課題は例えばビデオ会議コーデックにおける省
略されたフィールｒの再構成に適用出来る動き補償フィ
ールド補間器の完全なアルゴリズムを提供することであ
るっ 発明の構成 上記課題は特許請求の範囲第１項記載の構成により解決
される。 変化検出器と組合せた、階層構造変位予測技術では、送
信側でいくつかの連続するフィールドが脱落しても、典
型的なビデオ会議シーケンされるフィールドではなく、
補間されるべきフィールげの瞬時位置について有効な特
別に限定された変位ベクトルフィールドを与えるもので
ある。この変位予測技術はビアリング、「改良された安
定性を有する差変位予測アルイリズム」セコンド・イン
ターナショナル・テクニカル・シンポジウム・オン拳オ
ゾチカル・アンド・エレクトロ−オプチカルアゾライげ
・サイエンス・アンド・エンジニアリング、カンタ、１
９８５年１２月（以下文献〔８〕という）に示される差
変位予測アルゴリズムにもとづいている。 実施例 １、　補間器の一般構成 まず、動き補償フィールド補間器の構成は変位予測器、
変化検出器および動き補償補間フィルタの６個のブロッ
クからなる。これらブロックはそれぞれの項で詳述する
。そしてコンピュータシミュレーションによる１８０個
以上のフィールドについての補間にもとづく実験結果も
別の項で説明する。 ２、動き補償補間器の構成 動き補償フィールド補間器は＠１図に示すように変位予
測器、変化検出器および動き補償補間フィルタから成る
。入力データはラインインターレースのない、フィール
ド内のルミナンスおよびクロミナンス成分を含むディジ
タルテレビジョンシーケンスである。フィールドシーケ
ンスがラインインターレースを有する場合には、第２フ
イールド毎に垂直フィルタリングを適用して非インター
レースフォーマットを得ることができる。 補間アルがリズムは画像面内で並進変位した目標物に限
られる画像モデルにもとづいている。 変位予測器は２個のフィールド間の与えられた瞬間位置
で補間されるべきフィールげのそれぞれの画素について
の変位ベクトルを計算する。 変化検出器は画像内容の変化した領域と変化しない領域
を区別する。この情報は変化しない領域内の画素にゼロ
変位を割当てるために使用する。このようにこれら領域
内で誤って非ゼロと予測されるベクトルが除かれる。ル
ミナンスデータのみが変位予測と変化検出に用いられる
。 それぞれの変位ベクトルは、２個のフィールドの２個の
画素を結合しそして補間されるべき画素の空間位置を交
差させるように決定される。 動き補償補間フィルタでは変位ベクトルにより結合され
る画素の重みづけ和が補間されるべきフィールドのそれ
ぞれの画素について計算される。ルミナンスデータのみ
により計算される変位ベクトルはルミナンス信号の補間
およびクロミナンス信号の補間の両方に使用される。 ６、変位予測器 ６・１基本予測アルプリズム 予測アルがリズムは第２図に示すようにフィー＃）’に
一１７５Ｔｈラフイールげｋへとルミナンス変化のない
目標物の画像面内での並進変位を仮定してつくられてい
る。このとき、動く領域については式 ％式％（１） が成シ立つ。但し、８に−１（ｘ　、　ｙ　）は空間位
置Ｘ。 ｙでのフィールドに−ｉにおけるルミナンス、５ｋ（ｘ
＋ｄｘ　、ｙ＋ｄｙ　）はフィールｌＩｋにおける成分
ｄｘ　、　ｄｙをもつベクトルＤだけ変位した対応する
ルミナンスを表わす。このように動く目標物によりフレ
ーム差信号ＦＤが生じる。但しＦＤ（ｘ、ｙ）＝Ｓｋ（
ｘ、ｙ）　−８に−１（ｘｔｙ）　　　　（２）成分ｔ
ｉｘ　、　ｄｙ　１にもつ予測変位ベクトルＤでこの変
位を補償すれば、変位フレーム差ＤＦＤと呼ぶＩＡシの
フレーム差は次のようになる。 ＤＦＤ（Ｘ、３！、Ｄ）　＝　５ｋ（ｃ＋ａｘ、ｙ＋ａ
ｙ）　−５ｋ−１（ｃ、ｙ）上記仮定により予測りが真
の変位ベクトルＤに近ければＤＦＤがゼロに近づくシ前
記文献〔８〕では局部自乗平均変位フレーム差を最少と
するような予測アルゴリズムを導出している。予測され
た変位ベクトル成分は次のように決定される。 Ｈｚ　＝　（Ｋ５ニーｏ、’）−ｇ（ｐＤ−６，〕−Ｅ
（ｐＤ−Ｈ）・ｇ（徒））／ＤＥＮｄｙ　＝　（Ｋδ工
・ｅ、）・Ｅ［ＦＤ−ｅ工］−Ｅ（ＦＤ”ｙ）”ＥＣ”
］　）　／　ＤＥＮ　　　　（４ａ）但し分母ＤＥＮは
次の通りである。 ＤＥＮ　＝　ＫＥＧ嬰〕・Ｅ（δ夛）　−ｇ２［：Ｇ工
・へ〕ここでは座標ｘ、ｙは便宜上省いである。 成分 Ｇｘ（ｘ、ｙ）　−（６８ｋ（ｘ、ｙ）／δχ＋δ８に
−１（ｘ、ｙ）／δＸ）々”ｙ（ｘ、ｙ）　＝　（δ５
ｋ（ｘ、ｙ）／δｙ＋δ５ｋ−１（）Ｃ＋Ｖ）／δｙ）
／２（４ｂ） はそれぞれ座標Ｘとｙに対する２個の連続するフィール
ドのルミナンス信号の１次導関数の平均である。式（４
）で与えられるアルゴリズムはルミナンスイざ号５ｋ（
ｘ＋ｙ）とＢｋ−１（ｘ、ｙ）についての画像モデルと
して２次導２次元多項式を用いてと９出されている。こ
の画１象モデルのために予測の精度は文献〔８〕に述べ
られているように他のアルゴリズム（文献〔７〕および
カフォリオ他、「テレビジョン画像の小さい変位の測定
方法Ｊ　ＩＥｇｇ　）ランデクジョン・インフオーメー
シ’Ｅ７−セオリ、ｖｏｌ、Ｉ　Ｆ　−２２ｔ　４５　
＋　　Ｐ　Ｐ５７５−５７９．１９７６年９月（以下文
献

〔９〕という））と比較して改良されている。勿論デ
ィジタルビデオ処理では式（４）での期待度はある寸法
の測定ウィンドウにわたり加算することにより近似され
ねばならない。一般にこれら測定ウィンドウは矩形であ
って式（４）から得られる予測はこのウィンドウの中心
に割当てられる。また空間傾度はルミナンス信号のサン
プリングにより近似されねばならない。力７オリオ他、
「画像動作予測のための微分方法」、ファンク員イメー
ゾシーケンス・プロセシング・アンド・ダイナミック・
シーン・アナリシス、ＰＰ１０４−１２４、シュゾリン
ガ一−７エルラク、ベルリン１９８６年（以下文献〔１
０〕という）による提案を適用すると、これら空間導関
数はそれぞれＸおよびｙ方向における２個の隣接した画
素間の差の半分で近似される。 式（４）で得られるすべてのベクトル成分は最も近いａ
数値に切上または切下げられる。従って非整数ベクトル
成分はない。変位予測にも動き補償フィールド補間にも
フィールドに−１またはフィールドにの格子エレメント
間の画素の空間補間を行う必要はない。画像面内での任
意の並進運動を含む信号はジロー他、「インタレースお
よび非インタレース格子からの動き補償フィールド補間
」セコンドインターナショナル、テクニク・シンポジウ
ム、オン・オシティカル・アンド・エレクトロ−オシテ
ィカル・アプライド・サイエンス・アンド・エンジニア
リング、カンタ、１９８５年１２月（以下文献〔１１〕
という）に示されるように整数変位ベクトル成分を用い
て完全に補間できる、 ６・２動き補償反覆 微分予測アルゴリズムを評価することにより得られる変
位予測は、現在のＭｔｂ＠が純並進運動に制限されてい
ても真の変位からかな９離れたものとなることがしばし
ばある。これは、実際の画障信号がこのアルゴリズムの
基本である数学的な画像モデルから大きくｉもているた
めに生じる。その場合には、変位予測は後述するように
予測アルゴリズムの動き補償の反僅により改善すること
ができる。フィールドに一１内の任意の位ｔ？Ｉ　Ｘｏ
　＋　Ｖｏからの目標物のフィールドに内の未知の位１
１　Ｘ６＋ｄＸ　、　３１０＋ｄ’Ｖへの変位を示すベ
クトルについての予測を得るために、測定ウィンドウは
両フィールドについて中心が”Ｑ＋ｙｏで与えられるラ
イン内に配置される。式（４ａ）に必要な５個の期待値
がそのように配置されたウィンドウにわたる加算により
近似される。成分ｄｘ　、　ｄｙの！ｒｔ算後に、予測
はこのアルがリズムの動き補償の反覆により改善できる
。 そのためにフレーム差がこれまで予測されたベクトルに
より、すなわち反砿第１段階で得られたベクトルにより
補償される。これはフィールドにの測定ウィンドウを位
置Ｘｏ＋ｄｚ　、　７０＋ｄ７に移しそして再び５個の
期待１１を計算することにより行われる。式（４ａ）の
フレーム差ＦＤは次に、前に計算された成分ｄｘ　、　
ｄｙの関数として式（６）で与えられる変位フレーム差
ＤＦＤに変わる。 更に、フィールドｋに属するすべての項が５ｋ（ｘ、ｙ
）の空間導関数を含む変位位置からとり出されなければ
ならない。この第２段階で計算される変位ベクトルは第
１段階の反覆で得られたベクトルに加算される。この操
作が充分に正確な予測となるまでくシ返される。 第６Ａ図に示すフィールドに−１のすべての画素に適用
されるこの反覆技術はフィールドに−１について固有の
変位ベクトルフィールドを得る。しかしながら、これは
フィールドにのすべての画素に変位ベクトルを割当てる
ものではない。フィールげｋに固有のベクトルフィール
ドを得るために、フィールドｋに置かれた測定ウィンド
ウは固定され、フィールｙｋ−１のそれは４６Ｂ図に示
すように動き補償反覆において変位される。 ６・６対称化動き補償の反覆 テレビジョンシーケンスの２個の連続するフィールド間
の任意の暫定位置におけるフィールドの動き補償補間に
ついて、補間されるべきフィールドについての特別に限
定された変位ベクトルフィールドが必要である。３・２
項に述べた反覆技術を用い、フィール１Ｉｋ−１または
フィールドｋについて限定されたベクトルフィール−が
得られる。このように補間されるべきフィールドのすべ
ての画素へ変位ベクトルの割当てを行わない。この問題
を解決するために、べ一ヤー、「最少評価誤差変数を有
するテレピゾヨンＩ＆像信号用の変位−評価方法」学位
論文、ドイツ、ハノーバー大学、１９８５年（以下文献
〔１２〕という）に示される対称化反積技術を用いる。 文献〔１２〕の技術は第３Ｃ図のフィールドｋ−１とフ
ィールドにの間の中心にある暫定位置にあるフィールド
について説明している。動き補償反覆の第２段階におい
て、両方の測定ウィンドウが互いに変位して配置される
。この例において、フィールドにのウィンドウは、位ｄ
ｘ□＋ｄｘ／２．　　ｙ□＋ｄｙ／２に移され、フィー
ルドに−１のそれはｘ（１−ｄｘ７／２ｔ　　ｙｏ−ｄ
ｙ／２に移される。このように変位ベクトルが得られそ
れはフィールドｋ−ｉからフィールドにへ移される目標
物を接続しそしてベクトルが予測されるべき空間位置”
Ｏｒ　”ＩＱと交わる。この方法は２個の連続するフィ
ール１間の他の暫定位置にあるフィールｒにも適用でき
る。この対称化反覆技術は与えられた暫定位置で補間さ
れるべきフィールドのすべての画素について固有に限定
される変位ベクトルフィールドが得られる。 フィールドの格子葉間の画素の空間は補間を避けるため
に両測定ウィンドウは反覆の各段階において整数個の画
素だけ移されねばならない。 かくして、第６Ｃ図の例においては測定ウィンドウを互
いに対称的に移すことによる動き補償の反覆は常に変位
ベクトル成分すなわち２画素の＋１！ｒ数のベクトル成
分を得る。フィールドｋとに−１との間の中心でない暫
定位置においては変位ベクトル成分用のとりうる値群は
更に制限を受ける。例えば、フィールドに−１に対して
４分の１フイールドの距離のところの暫定位置において
はベクトル成分は４画素の倍数となる。 この問題を避けるために、２個の与えられたフィールド
間毎の６個のフィールｒの動き補償補間用の特別な処理
が６・２項に述べるように用いられる。 ３・４空間的および暫時的リカージョン充分に精確な予
測を得るに必要な反覆の回数をリカージョン（ｒｅｃｕ
ｒｓｉｏｎ　）技術を用いることによυ減少させること
ができる。リカージョン予測は６・２項で述べた反檎の
第２段階と同様にスタートする。空間的リカージョンに
ついては隣接する画素について予め計算された変位ベク
トルにより得られる初期予想が第１動き補償段階に対し
て作用する。このように更新項のみが決定されて初期ベ
クトルに加えられる。この技術は例えばニトラバリ他、
「ｇｌｈき補償テレビジョンコーディング−パート■」
ベルシステム・テクニカル・ジャーナルｖｏ１．５８．
　Ｐ　Ｐ　６３１−６７０．１９７９年３月（以下文献
〔１６〕という）に示されている。暫時的リカージョン
は画像シーケンスの前のフィールドについて決定された
変位ベクトルフィールドを用いることにより行われる。 パキン他、「時間に依存して変化する画源内の変位ベク
トルフィールドの予測のための空間−瞬間的傾度方法」
コンピュータ・ビジョン・グラフィックス・アンｒ・イ
メージプロセシング２１．ＰＰ２０５−２２１゜１９８
３（以下文献〔１４〕という）に開示されるアル、０　
リズムはこの技術を使用する。空間的リカージョンおよ
び暫時的リカージョン技術は共に目標物の境界でのノＪ
ｔｖ非静止、移動目標物の場合の予測＋′Ａ差伝達の危
険を含んでいる。 ここではこれらのりカージョン技術は動き補償補間アル
ゴリズムにおいて考慮されていない。 ６・５階層構造変位予測装置 微分変位予測装置の最も重要なパラメータの一つは期待
度の近似のために用いられる測定ウィンドウの寸法であ
る。使用可能な最大のウィンドウは画像全体をカバーす
るものであり、例えばパンする場合の：うに全画像内容
が一つの移動目標物として変位されるときには充分な変
位予測を得る。しかしながら、動き補償補間には各画素
での現在の動きを局部的に近似する予測が数個の移動目
標物により生じる変位の平均値よりもむしろ必要である
。他方、例えば６×５画素のような非常に小さいウィン
Ｐつを用いれば予測は信頼性の低いものとなる傾向があ
る。 大きな変位の場合には、テレビジョンシーケンスの２個
の連続するフィールド内に置かれたこれら小さいウィン
ドウの内容間には対応性がないことがある。すなわち、
これらウィンドウは２個の全く異った画像部分金倉み、
そして微分予測アルゴリズムの評価が無意味となる。測
定ウィンドウの内の１個によってのみカバーされる移動
目標物についての変位ベクトルの微分予測は不可能であ
る。更に、小さいウィンドウを用いた場合、期待度はは
ソ不充分であり、せいぜい１個または２個の画素の変位
に対処できるにすぎない。このように、大きな変位に対
処するには大きな測定ウィンドウが必要である。他方、
小さいウィンドウは充分に局部的な適応性を要求される
。 この問題を解決するために、階層構造変位予測器が開発
されている。第１段階においては３・２項および６・６
項で述べたような大きなウィンドウ寸法をもつ場合の動
き補償反覆が適用される。画渾信号はこれらの第１段階
でＦＩＲ低域フィルタによっては波される。反覆の一つ
の段階から他の段階へとウィンドウ寸法を減少させそし
てａｘｅ量を減少させる。反覆の、ｉｇ１段階は大きな
変位に対処する。濾波は予測アルゴリズムの基本である
画像モデルに整合した画像信号を与える。このように予
測は信頼度を上げるためには精度が低くなる。反憶の第
１段階で予測されたベクトルによる動き補償の後に残シ
の変位が次の段階でよシ精確に予測されなければならな
い。予測誤差を小さくするためにより小さい残留変位、
より小さいウィンドウ寸法が選ばれる。予測されるべき
実際の変位に近ずくと、アルゴリズムは濾波されない画
譚信号について評価される。 反覆の第１段階での計算上の複雑さを抑えるために画像
信号はＦＩＲ濾波により達成される帯域゛制限に従って
空間的に副サンプリングされる。 これは、測定ウィンドウに含められる画素の数が各段階
において同一となるようにして行われる。但し、ウィン
ドウによりカバーされる画像の部分は反積段階毎に異る
。 ４、変化検出器 ４・１変化検出の原理 変化検出器は２個の連続するフィールドの一時的に変化
する領域と変化しない領域を区別する。これらフィール
ドの画素の変化した領域への割当ては変化しない領域内
の固有の雑音にょシしばしば誤ったものになる。変化検
出器の目的は一時的な変化が目標物の動きまたは照明の
変化により生じたかあるいは雑音により生じたかを決定
することである。 このための従来の変化検出アルゴリズム（文献〔２〕お
よび［：１３〕）はこれらフィールｒのすべての画素に
ついてのフレーム差を評価する。フレーム差が与えられ
たしきい値を越えると、その画素が変化したものとされ
、他が変化しないものとされる。このように、変化検出
器は２個の連続するフィールドの変化した領域と変化し
ない領域を示す２進マスクとなる。 しかしながら、この検出方法は雑音の発生により影響さ
れる。すなわち、画素が変化した領域に割当てられるに
も拘らず変化しない領域に属している場合あるいはその
逆の場合が生じる。 この問題を解決するために、フレーム差が測定ウィンド
ウにわたり加算され、それが与えられたしきい値と比較
される（文献〔２〕および〔３〕）。 この操作は動く目標物により事実上半じるよシも著しく
大きい変化した領域を有する２進マスクあるいは変化し
た領域と変化しない領域の間でぼやける境界の問題を生
じさせる。 第４図は例として１次元信号を用いる変化検出を示す。 目標物はフィールドに−１からフィールげｋまで変位ｄ
ｘだけ動いている。絶対フレーム差は無雑音信号を仮定
してゼロしきい値と比較され、結果としての変化検出マ
スクが変化する領域と変化しない領域を区別する。この
マスクはフィールｐｋ−１内の目標物の左側境界部とし
て境界を有する。 ４・２変化検出アルヒリズム 第５図はフレーム差を決定すると共に、しきい値操作、
単一の不確定画素の除去、中間濾波および単一画素の除
去を行う変化検出器のブロック図である。 まず、フィールげｋとに−１の間のフレーム差が式（２
）で示されるように計算される、それぞれの画素につい
ての絶対フレーム差を独立的に評価し、３つの状態の１
つ、すなわち不変Ｃ１＝０．変化Ｃ１＝１ｔたは不確定
Ｃ１＝Ｘが画像のそれぞれの画素に割当てられる。不確
定状態Ｃ１＝Ｘｔ−用いて雑音により生じる誤った決定
がこの第１処理段階で回避できる。それ故、不確定状態
は以降の操作では別途扱われる。 画素は絶対フレーム差が成るしきい値Ｔ１より小さいと
き不変状態に割当てられ、これがＴ２（＞ＴＩ）より大
であるとき変化状態に割当てられる。残りの画素は不確
定状態に割当てられる。 しきい値Ｔ１とＴ２の選択は画像シーケンス内の雑音の
振幅に適合しなければならない。 変化した画素と不変画素の間の区別のみを行う２進マス
クを得る丸めに、単独の不確定画素の除去が行われそし
て非単独不確定画素は変化領域に割当てられる。ある画
素が１つのタイゾイプ、すなわち不変または変化である
とき、その画素を単独と呼ぶ。このように単独不確定画
素のそれぞれは隣接する画素が変化形のとき不変領域に
あるいは隣接する画素が不変形のとき変化領域に割当て
られる。残シの不確定画素は変化領域に割当てられる。 ここに２個の伝送されるフィールドのそれぞれの画素に
ついて変化画素と不変画素との間の区別を行う２進マス
クが出来る。 次の段階においてＮＸＮ画素の寸法をもつ測定ウィンド
ウを用いて中間濾波が適用される。 マスクのＮ２／　２　＋　１画素が変化領域に属する場
合には、このウィンドウの中心の画素も変化領域に割当
てられあるいはその逆となる。このフィルタは単純な計
数操作として実現できる。この中間濾波は変化領域と不
変領域の境界をスムーズなものにする。更に前の段階で
誤決定された小さい領域が修正される。 上記最後の段階、すなわち単独画素の除去、において、
更に残りの単独画素は隣接する画素の状態に再び割当て
られる０ ５、動き補償補間フィルタ 動き補償補間フィルタは２個の伝送されるフィールｒお
よび予測された水平および垂直変位ベクトル成分Ｃ第ｙ
７図）とにより補間されるべきフィールドのそれぞれの
画素を計算する。 積分変位ベクトル成分（６・１項参照）のために、この
フィルタは２係数−空間−テンポラルフィルタとして実
現される。 位置Ｘ　ｒ　１について予測された積分変位ベクトル成
分を用いて、まず伝送されたフィールげの対応する画素
のアドレスが決定される。これらは補間されるべきフィ
ールド内の位置Ｘ　＋　’１にある画素を計算しなけれ
ばならない。変位ベクトルと２個の画素が補間されるべ
きフィールドと伝送されるフィールドとの間の暫定的な
距離に対応する重みをつけられる。次に補間されるべき
画素がこれら２個の重みづけされた画素の和から得られ
る。 第６図はＭＣｌ−フィルタアルイリズムの動作を例示し
ている。伝送されるフィールドはフィールドに−ｊにつ
いて関連暫定位置ｔ＝Ｑをそしてフィールドｋについて
ｔ＝１を有する。暫定位置ｔ＝τ（但し０≦τ≦１）は
フィールｒｋ−１に対する補間されるべきフィールｒの
暫定的距離に対応している。補間されるべきフィールド
のそれぞれの画素は変位ベクトル成分と暫定位置τの関
数として次のように計算される。 ８（Ｘｓ）’＋τ）＝（１−τ）・５ｋ−１（ｘ−τ・
ｄｘ、ｙ−τ・ｄｙ）十τ−５ｋ（ｘ−（１ｒ）ａｄｚ
、ｙ　（１−ｒ）・ｄｙ）但し０≦τ≦１ ルミナンスデータのみにより予測された変位ベクトルは
クロミナンス信号の補間にも使用される。 ＆　実験結果 ６１１１テストシーケンス 本発明の動き補償フィールド補間器はコンピュータシミ
ュレーションにより実験的に考察されている。フィール
ド周波数５　Ｑ　Ｈｚの２個の１５０フイールｒからな
る「トレパ（Ｔｒｅｖｏｒ）Ｊと１００フイールドの「
スプリットスクリーン」からなる代表的なビデオ会議シ
ーンが用いられた。これらシーケンスはビデオ会議コー
デクスノ試験用にヨーロッパＣ０８Ｔ　２１１ビスシミ
ユレーシヨンサブグループにより選ばれている。オリジ
ナルのシーケンスはルミナンス成分（Ｙ）について１５
−５ＭＨｚ、各クロミナンス成分（Ｒ−Ｙ、Ｂ−Ｙ）に
ついて６．７５　Ｍ　Ｈｚでサンプリングされ、８ビツ
ト／サンプルで均一に量子化された。補間器のシミュレ
ーションについてはルミナンス成分およびクロミナンス
成分の水平解像度はオリジナルのサンプリング速度の半
分とされた。このようにすべてのルミナンスフィールド
は２８８ラインで構成され、６１２画ＩＡ／ラインであ
シ、またクロミナンスフィールドは２８８ラインで、１
５６画素／ラインであった。 データ圧縮の目的でフィールド周波数は送信側における
４フイールド中の６フイールＰの省略に！Ｊ）１２．５
Ｈｚに低減される。ライン・インｐ−リープの効果は連
続するフィールド中の奇蚊番を脱落させた結果考慮され
ていない。受信側では省略されたフィールｒが本発明の
動き補償補間により再構成される。最後に再構成された
シーケンスが標準ビデオモニタでのその表示の丸めに第
２フイールド毎の垂直濾波により標準のラインーインタ
ーリープフォーマットに変換される。 ６−２シミユレ一シヨンパラメータ ２個のフィールｒ間の非中心暫定位置で対称化動き補償
反覆技術を用いた変位ベクトル成分の整数予測による問
題は特殊な順序でのこれらフィールげの補間により減少
する。まず、３個の省略されたフィール−の第２４目の
ものが中心位置となる暫定位置においてそれ自体により
補間される。次に残シの２フイールドがここで本来伝送
されたフィールドの１個と前に補間されたフィールドと
の間の中心となった暫定位置において補間される。ルミ
ナンスデータのみが変位ベクトルフィールドと変化検出
マスクの計算に用いられる。変位ベクトルフィールには
ルミナンスフィールドの補間およびクロミナンスフィー
ルドの補間の双方に用いられる。 変位予測のためのパラメータを第１表に示す。 第１表 段階Ｗ’Ｖ、ＷＨＦ　　ＳＦ　　Ｉ　　　ＧＶ、ＧＨｌ
　　６５．６５ＦＩＬ１　４　３　　８，８２　２７．
２７ＦＩＬ１　４　３　　４，４３　１３．１３ＦＩＬ
２　２　３　　２，２但しＷＶ、ＷＨ＝矩形測定ライン
Ｐつ（画素内）の高さおよび幅 Ｆ　　＝画像信号の帯域制限用フィルタの各称。 ８Ｆ　　＝測定ウィンドウの画像内容のサブサンプリン
グファクタ エ　　＝各段階で行われる反覆の数 Ｇｖ、ＧＨ＝変位ベクトルフィールドの予測を要する格
子に属する画素間の垂直 および水平方向距離 画像信号の帯域制限用に用いられるＦＩＲフィルタのパ
ルスレスポンスを第２表に示す。 第２表 フィルタ　　　パルスレスポンス ＦＩＬｌ　　〜１３．−９．８，３７，６６．７８，６
６．３７，８．−９．−１３Ｆ’ＩＬ２　１３．−１．
−２５．−１．７９，１２６．７９．−１．−２５．−
１゜補償反覆技術の組合せを用いて評価される。それぞ
れのパラメータを有する６段階が用いられる。各段階に
おいて、３回の反覆が行われる。 変位ベクトルはそれぞれの段階でのすべての空間位置く
ついてではなく特定の画素の小群についてのみ予測され
る。他の画素についてはベクトルはベクトルフィールド
の予測を要する矩形格子に属する最も近い４個のベクト
ルの距離で重みのついた平均を計算することによる双方
向補間によって得られる。変位ベクトル成分の大きさは
Ｘおよびｙ方向において６０画素に限定される。 ６・６Ｎ果の考察 本発明の動き補償補間器により再構成されるシーケンス
を動き補償のない場合に得られる結果と比較する。この
ためにこれらシーケンスは実時間画像表示システムを用
いてビデオモニタに表示された。−形補間により得られ
るシーケンス並びに７．イールド〈シ返しにより発生さ
れるシーケンスは可視的劣化が認められる。画品質は比
較的大きな動きにょシ劣化する。動作補償補間技術は動
作の自然感を広く保持した、鮮明な動く目標物を与える
。 発明の効果 このようにディジタルテレビジョンシーケンスにおける
動き補償フィールド補間のためのアルゴリズムが提供さ
れる。動き補償のない線形補間およびフィールド反覆技
術ではぼけおよび不自然な動きのような可視的な劣化が
認められる。これらの結果を回避するために、目標物の
動きが考慮されねばならない。 本発明の階層構造変位予測器は動き補償の反覆により大
きな変位を処理することができる。 この階層構造の第１段階における画像信号の低域濾波を
備えた大きな測定ウィンＰりについての予測アルゴリズ
ムの評価は予−ｊ結果の信頼性を高めるものである。大
型ウィンドウによる計算上の複雑さは帯域濾波による濾
波画像内容のサブサンプリングにより低減できる。対称
化反覆技術は補間されるべきフィールげについて限定さ
れる変位ベクトルフィールドを与えることができる。不
変領域内の誤った非ゼロベクトルはジッタの原因となる
。これらは特殊な変化検出器により抑制される。動き補
償補間用にこれらベクトルフィールドを用いることによ
り、動作のほん訳は従来の補間技術と比較して著しく改
善される。 本願の補間方法は整数変位ベクトル成分を用いて２個の
伝送フィールド毎の間に数個のフィールドの鮮明な再構
成を可能にするものである。 シーケンスの第４フイールげ毎にのみ伝送する場合につ
いてのコンピュータシミュレーションにより補間された
はソ２００フィールドの評価によれば、動作の自然感が
広範囲に保持されることがわかった。いくつかの残シの
可視的な欠陥は変位ベクトルにより充分に近似されない
６０画素以上の大きな変位あるいは非はん訳動作による
ものである。 本発明の補間器により達成される著しく改善された画品
質は比較的複雑なアルゴリズムを必要とする。 本発明の方法はディジタルテレビジョンシーケンスの２
個の伝送されるフィール１間で省略された１個以上のテ
レビジョン１儂の受信側での再構成、２個の連続する画
像間に１個以上の付加フィールドの発生およびディジタ
ルテレビジョンシーケンスの動作補償雑音の低減に用い
ることができる。

【図面の簡単な説明】

第１図は動き補償補間器の原理図、第２図はテレビジョ
ンジ−タンスにおける中間変位を示す図、第６Ａ図、第
３Ｂ図、第６Ｃ図は変位−１定ウインドウを用いた変位
予測用動き補償の反稜を示す図であって、第６Ａ図はフ
ィールドに内の測定ウィンＰつの変位、第５Ｂ図はフィ
ールドに−１における測定ウィンドウの変位、第３Ｃ図
は測定ウィンドウが互に対称的に変位する場合をそれぞ
れ示す図、第４図は１次元信号の場合の変化検出を例示
する因、第５図は変化検出器のブロック図、第６図は動
き補償補間フィルタであって、補間されるべきフィール
ド内のｘｏ、ｙｏにおける画素を変位ベクトルＤにより
結合されるフィールｌＩｋとに一１内の画素の重みづけ
和によって計算するごとくしたものを示す図である。 第３Ｃ図 第４図

Claims (1)

1. 【特許請求の範囲】 １、下記の段階から成る、ディジタルテレビジョンシー
   ケンスの２個の送信フィールド間毎に１個以上のフィー
   ルドをそう入するための動きの補償用フィールド補間方
   法。 補間されるべきフィールドの各画素についての反覆プロ
   セスにより整数成分を有する変位ベクトルを発生する段
   階、 変化検出器により変化しない画領域にゼロ変位ベクトル
   を割当てる段階、 階層構造変位予測を大きな変位に対処するために加え、
   反覆の第１の段階において予測されたベクトルによる動
   きの補償後に残留変化を次の段階で更に正確に予測する
   段階、 対称化された動きの補償の反覆を実行し、補間フィルタ
   が２個の伝送フィールド毎の変位ベクトルと画素により
   補間されるべきフィールドの各画素を補間するように、
   補間されるべきフィールドの瞬時位について限定される
   変位ベクトルを得る段階。 ２、階層構造変位予測の第１段階において、画像信号が
   低域濾波され、そして次の反覆プロセスの段階での初期
   値として作用する大きい測定ウィンドウが大きな変位の
   予測のために加えられており、階層構造変位予測の最後
   の段階において濾波されない画像信号と小さい測定ウィ
   ンドウが局部的に適用可能な変位ベクトル成分の予測の
   ために加えられる特許請求の範囲第１項記載の方法。 ３、すべての画素を変化しない領域または変化する領域
   に割当てて絶対フレーム差に加えられるしきい値操作に
   より処理される変化検出情報を、２進変化検出マスクの
   変化する領域と変化しない領域の間の境界が動作中の目
   標物の境界に適用されるように測定ウィンドウを用いる
   中間フィルタにより後処理される特許請求の範囲第１項
   または第２項記載の方法。 ４、ディジタルテレビジョンシーケンスの２個の伝送フ
   ィールド間毎に省略される１個以上のテレビジョン画像
   の受像側における再構成のための、特許請求の範囲第１
   、２または３項記載の方法の利用。 ５、それぞれ２個の連続する画像からなる画像群間での
   １個以上の付加的フィールドの発生のための、特許請求
   の範囲第１、２または３項記載の方法の利用。 ６、ディジタルテレビジョンシーケンスの動き補償雑音
   低減のための、特許請求の範囲第１、２または３項記載
   の方法の利用。