JPH08510880A

JPH08510880A - 動き補償された補間の方法及び装置

Info

Publication number: JPH08510880A
Application number: JP7500245A
Authority: JP
Inventors: コレ，エリック; ケルドランバ，ミシェル
Original assignee: トムソンマルチメディアソシエテアノニム
Priority date: 1993-06-01
Filing date: 1994-05-28
Publication date: 1996-11-12
Also published as: KR100318786B1; DE69405740T2; CN1052840C; CN1125030A; KR960702712A; US5844616A; EP0701760B1; WO1994028677A1; DE69405740D1; EP0701760A1

Abstract

(57)【要約】サブピクセルの精度で動き補償された補間（ＭＣＩ）に対し、失われた画素は動き補償の前に生成又は補間される必要がある。必要とされる画素の値（Ｐ，Ｑ，Ｒ，Ｓ）は、ライン及び画素遅延（ＤＨＶ）を用いて記憶される。スイッチマトリックスは動きベクトルに応じて、この時処理に必要とされるような記憶された画素を選択する。サブピクセルＭＣＩを回避するため、補間（ＩＮＴ）が動き補償の前に実行される。従って、動き補償回路の入力データレートは、補間回路の入力データレートの２倍である。これにより生じるハードウェアの複雑さは甚大である。本発明によれば、サブピクセルＭＣＩを実行するため記憶されたデータ量は、簡単なスイッチマトリックス（ＳＭ）だけを使用して削減される。処理に必要とされる画素の値を記憶する遅延（ＤＨ）の特別な配置は、既にある遅延アレイ（ＤＨＶ）を拡大するため使用される。増加した数の関連のある画素が使用されるので、改良されたサブピクセルＭＣＩが実現される。上記改良を実現し得る理由は、たとえ隣合う動きベクトルが現在の動きベクトルに正確に一致していなくても、上記の遅延の拡大は復号化された画質に著しく影響を与えることはないという事実に帰する。本発明はＭＣＩを利用するあらゆる装置、特に、空間−時間的な副サンプリング及び動き補償に基づく符号化装置の復号化器に使用することが可能である。動きの補償及び補間は入力データストリームのクロック周波数で同時に実行される。

Description

【発明の詳細な説明】動き補償された補間の方法及び装置本発明は動き補償された補間の方法及び装置に関する。背景サブピクセルの精度で動き補償された補間（ＭＣＩ）の場合、失われている画素は動き補償の前に生成、補間される必要がある。バルセロナオリンピック競技のため、トムソン（ＴＨＯＭＳＯＮ）ＨＤＭＡＣ受像機が作られた。上記受像機は、オリンピック受像機プロジェクト／バージョン２．１、フィリップスのためのＢＲＤ（帯域幅再生復号化器）のチップセットの予備ＨＤＭＡＣ仕様を満たしている。必要とされる画素の値はライン及び画素の遅延を用いて記憶される。スイッチマトリックスはこの時処理に必要とされる上記記憶された画素を選択する。サブピクセルのＭＣＩを避けるため、補間は動き補償の前に行なわれる。従って、動き補償回路の入力データレートは補間回路の入力データレートの２倍である。これにより、ハードウェアの複雑さは高くなる。サブピクセル補間とは、利用可能なサンプルの間にある画素の補間を意味する。発明本発明の一つの目的は、動き補償が、サブピクセルの精度を有する一方、スイッチマトリックスによってアクセスされた限られた数の画素しか使用しない補間と結合された方法を開示することである。上記目的は請求項１に記載の方法によって達成される。本発明の更なる目的は、本発明の方法を利用する装置を開示することである。この目的は請求項８に記載された装置によって達成される。本発明によれば、簡単なスイッチマトリックスだけを使用するサブピクセルＭＣＩを実行するため記憶されるデータ量は削減される。処理に必要とされる画素の値を記憶する遅延の特有の配置は現行の遅延アレイを拡張するため使用される。増加した数の関係する画素が使用されるので改良されたサブピクセルＭＣＩが実現される。上記改良を実現し得る理由は、たとえ隣合う動きベクトルが現在の動きベクトルに正確に一致していなくても、上記の遅延の拡大は復号化された画質に著しく影響を与えることはないという事実に帰する。本発明はＭＣＩを利用するあらゆる装置、特に、空間一時間的な副サンプリング及び動き補償に基づく符号化装置の復号化器に使用することが可能である。動きの補償及び補間は入力データストリームのクロック周波数で同時に実行される。従って、処理すべきデータの量と、これにより生じるハードウェアの複雑さは、引用された従来技術よりも少ない。スイッチマトリックスは、時点ｔにフレーム（又はフィールド）のウィンドウを記憶するライン及び画素遅延に接続され、これにより、動きベクトルに依存するランダムアクセスによって時点（ｔ＋／−Ｔ）にフレーム（又はフィールド）を構成するためのＭＣＩが実現される。Ｔはフレーム（フィールド）間隔の倍数である。各クロック間隔にスイッチマトリックスによって得られる画素の数は、ハードウェアの複雑さの制約による制限をうける。本発明は、スイッチマトリックス出力の二つの連続的な組が並列又は交差しているという仮説に基づいている。従って、スイッチマトリックス出力の幾つかの連続的な組は、利用可能な全ての画素を用いて補間を実行するため記憶することが可能である。上記仮説は非常に決定的なソース素材上の挙動を調査することによって確認された。本発明は動き補償を利用する全ての装置で使用することが可能である。特に、ＨＤＭＡＣのような空間−時間的な副サンプリング及び補間に基づく符号化／復号化装置に適している。ＨＤＭＡＣの場合、上記技術は副サンプリングされたフィールド上で直接実施できる。補間されるべき画素の現在の各対（８０＿１，８０２として表わされている）に対し、６個のサンプルがスイッチマトリックスから得られる。実際上、４個のサンプルだけが上記画素の中の一つの補間のために使用されるが、２＊４個のサンプルの中の２個のサンプルは共通である。従って、６個のスイッチマトリックス出力だけが必要とされる。本発明のスイッチマトリックスの出力の遅延拡大に起因して、補間フィルタは、出力画素の値（８０１，８０２）を計算するため１０個の画素の入力ウィンドウを使用してもよい。補間フィルタの垂直寸法はスイッチマトリックスによりアクセスされた別々のラインの数、例えば、３によって与えられる。水平寸法はスイッチマトリックスによって制限されることはないが、記憶されたスイッチマトリックス出力の組の数だけに依存する。従来技術において、補間フィルタは、スイッチマトリックス出力によって得られた画素の広がりよりも大きい画素の広がりを有する。従って、必要とされる精度を達成するため補間はスイッチマトリックスの前に行なわれる必要がある。しかし、このようなハードウェア実装法は、スイッチマトリックスの入力でのサンプルレートを２倍にすること、及び、補間器の入力周波数を維持するためデータのデマルチプレキシングを必要とする。補間と動き補償の組合せは、処理のための低い入力周波数を維持し、著しいハードウェア上の無駄があるライン遅延の必要とされる数を最適化する。このライン数は、垂直方向の動き補償の範囲だけによって決められる。更に、本発明は、表示レートアップコンバージョン用の動き補償された補間を使用するあらゆる装置に適用し得る利点がある。ＭＰＥＧ（動画像専門家グループ）方式のコーデック（ｃｏｄｅｃ）装置はサブピクセルの精度の動きベクトルで動き補償を使用する。従って、サブピクセルの動き補償がされた補間は直交グリッド（ＨＤＭＡＣの５の目形（ quincunx）のグリッド）に必要とされる。動き補償された補間を実現する方法はＭＰＥＧ規格の一部をなす場合、ブロックの符号化予測誤差が動き補償に加えられるのでブロックの境界の近似は許容されない。原理的に、本発明の動き補償された補間方法において、出力画素の値は現在の出力画素の空間的及び／又は時間的場所に関係するウィンドウ内にある入力画素の値から補間され、上記ウィンドウのため必要とされる上記画素の値は遅延手段とスイッチマトリックス手段を用いることにより得られ、スイッチマトリックス手段の出力は、この時動きベクトルに応答して、上記入力画素の値をこの時送り出すような上記遅延手段に接続され、上記スイッチマトリックス手段の各出力は少なくとも一つの更なる遅延ユニットを通過し、上記スイッチマトリックス手段の上記出力及び上記遅延ユニットの出力は、上記出力画素の値を補間するための拡大したウィンドウを形成するため使用される。本発明の方法の有利な更なる実施例は、夫々の従属する請求項から得られる。原理的に本発明の装置は動き補償された補間に適当であり、出力画素の値は、現在の出力画素の空間的及び／又は時間的場所に関係するウィンドウ内にある入力画素の値から補間され： −上記ウィンドウに必要とされる上記画素の値が得られる遅延手段と； −出力がこの時動きベクトルに応答して、上記入力画素の値をこの時送り出すような上記遅延手段に接続されているスイッチマトリックス手段と； −各スイッチマトリックス手段の出力にあり、上記スイッチマトリックス手段の各出力が通過する少なくとも一つの遅延ユニットであって、上記スイッチマトリックス手段の上記出力と、上記遅延ユニットの上記出力は拡大されたウィンドウを形成するため使用される遅延ユニットと； −上記遅延ユニットの次にあり上記出力画素の値を補間する補間手段とからなる。本発明の装置の有利な更なる実施例は、夫々の従属する請求項から得られる。図面以下、添付図面を参照して本発明の好ましい実施例を説明する：図１は本発明のＭＣＩのブロック図である。図２はＭＣＩで使用される画素である。図３は５の目形のサンプリンググリッド内の動きベクトルが配置された画素が存在する可能性のある場所を示す図である。図４は水平及び垂直遅延をより詳細に示す図である。図５は補間ウィンドウを示す図である。図６は本発明の遅延配置を使用する補間の概要図である。図７は補間回路図である。図８はサンプリンググリッド内の補間ウィンドウの位置を示す図である。図９はスイッチマトリックスの入力でのウィンドウを示す図である。図１０はフィールド４０Ａの垂直位置の限界の表である。図１１はフィールド４０Ｃの垂直位置の限界の表である。図１２は直交サンプリンググリッド内の動きベクトルが配置された画素が存在する可能性のある場所を示す図である。好ましい実施例ＨＤＭＡＣ方式のＨＤＴＶ（高品位テレビジョン）装置の場合、輝度及びクロミナンスの画素はブロック単位で処理される。ブロックの画像の内容の範囲内の動きの量に依存するブロックタイプに以下のように別々の処理モードが割り当てられる：モード動きの速さ８０ｍｓ静止又は略静止４０ｍｓ中速２０ｍｓ高速データ圧縮は、空間的及び時間的なサンプリングと、動き補償によって実現される。各モードに対し固有のサンプリングパターンが割り当てられる。４０ｍｓモードの場合、２番目のフィールド毎に動き補償が使用される。４０ｍｓモードはＨＤＭＡＣ方式の符号化アルゴリズムに統計的に最も多用されるので、ＢＲＤ中に適切な４０ｍｓ処理を達成することが非常に重要である。互換性を考慮しない改良形回路の場合、４０ｍｓ処理はＳＳＰＣ（副サンプリングパターン変換）回路で開始され、ＳＳＰＣ回路は伝送された全ての画像情報（例えば、副サンプリングされた画素の値）を４０ｍｓの副サンプリングパターンに変換する。占有されたフィールドメモリは付随的に５から３に縮小されるので、４０ｍｓモードと８０ｍｓモードの間の時間的通信の中には適切に処理されないものがある。これによって動き補償されたフィールドに著しい影響が及ぼされる。その理由は動き補償には対称性があり、４０ｍｓモード中に伝送されないブロックを調べることができるからである。次いで、４０ｍｓ処理自体は、奇数フィールドで補間を使用し、偶数フィールドで動き補償を使用して実行される。有利な簡単化は４０ｍｓの分岐の出力パターンに係りがある。周知のＢＲＤにおいて、ハードウェアコストはモード分岐の間の遅延を補償する以外の処理を行なわない回路によって著しく増加させられる。このことは、特に、８０ｍｓ処理が実行されている間に４０ｍｓの分岐に続いて誘起される補償遅延の場合に確かである。上記補償遅延を抑制するため、４０ｍｓ分岐の出力は８０ｍｓのパターンと対応し、４０ｍｓのブロックが８０ｍｓの補間器で処理されることを可能にする。本発明による更なる簡単化は動き補償処理に関係する。周知のＢＲＤにおいて、動き補償は二つの周囲の奇数フィールドを補間した後に実行される。その出力は完全な鮮明度のフィールドである。ここで、動き補償が４０ｍｓの５の目形グリッド上で行なわれ、その出力は二つの８０ｍｓモードの８０１及び８０２である。先の４０ｍｓ分岐は６個の回路：即ち、二つの補間器と四つの動き補償された遅延から構成される。ここで、動き補償された補間器は二つしかない。上記回路のハードウェアの複雑さは、主として必要とされるスイッチマトリックスによって生じる。上記スイッチマトリックスは、動きベクトルが配置された画素へのランダムアクセスを可能にさせるライン遅延及び画素遅延により構成される。周知のスイッチマトリックスでは９個のライン遅延が４個の画素へのアクセスに使用され、新規のスイッチマトリックスによれば、６個の画素にアクセスするために７個のライン遅延しか必要とされない。図１において、二つの動き補償された補間器１１及び１２は、二つの連続する各フレームの第１及び第３のフィールドのブロック４０Ａ及び４０Ｃを受ける。水平及び垂直遅延の組ＤＨＶにはスイッチマトリックスＳＭが後置されている。各スイッチマトリックスＳＭの６個の出力画素の値Ｐ、Ｑ、Ｒ、Ｓ、Ｔ及びＵは、更なる水平遅延ＤＨの中を通過する。８０ｍｓの出力グリッドに対し、全ての画素の値を得るため、上記遅延の後ろには補間器ＩＮＴが置かれる。補間のため、動きベクトルが配置された一つの出力画素の最も近くにある４個の画素Ｐ、Ｑ、Ｒ及びＳが必要とされる。４個の画素からなる二つの対応する組は、出力８０１及び８０２の空間的場所のため少なくとも二つの共通の画素を有する。これは、同一のウィンドウを使用することにより、６個の画素Ｐ、Ｑ、Ｒ、Ｓ、Ｔ及びＵへのアクセスが出力８０１及び８０２を動き補償するために十分であることを意味する。４０ｍｓ分岐の計算された出力の値８０＿１及び８０＿２はマルチプレクサＭＵＸにおいて結合され、マルチプレクサＭＵＸは、２７ＭＨｚの各クロックサイクルで８０ｍｓモードのパターン内の奇数フィールドの最終的な出力の値８０１と８０ｍｓモードのパターン内の偶数フィールドの最終的な出力の値８０１を送出する。図３には、８０ｍｓのグリッド内の動きベクトルが配置された画素の可能性のある４個のライン３０及びカラム３１の場所ＩＰ１、ＩＰ２、ＩＰ３及びＩＰ４が、必要とされる６個の補間入力Ｐ、Ｑ、Ｒ、Ｓ、Ｔ及びＵを示すため表わされている。円形○は出力の値８０１の空間的場所を表わし、三角形△は出力の値８０２の空間的場所を表わす。上記の如く、５の目形グリッド上の動き補償は、動きベクトルの配置された画素が５の目形グリッド上にないとき、補間を必要とする。この例では、最も近傍にある４個の画素Ｐ、Ｑ、Ｒ及びＳしか使用しないとき、正しい補間画素を得ることは難しい。かかる問題は、水平遅延ＤＨに三つの連続的なスイッチマトリックス出力を記憶させることにより解決される。図２ａに示したように、１０個の異なる空間的場所Ｑ−１、Ｑ０、Ｑ１、Ｐ−１、Ｒ−１／Ｐ０、Ｒ０／Ｐ１、Ｒ１、Ｓ−１、Ｓ０及びＳ１を有する１２個の画素は、同一ベクトルを用いてアクセスされる場合、補間器ＩＮＴにおいて出力画素の値８０１及び８０２の補間のため利用することが可能である。図２ｂに示す如く、隣接するブロックの動きベクトルが異なる場合、ブロックの境界２０である種の問題が生じる。上記例の場合、補間器ＩＮＴで使用される１０個の中の７個の画素Ｑ０、Ｑ１、Ｐ０、Ｒ０、Ｒ１、Ｓ０及びＳ１は、正確な入力の値を与える。ブロックの境界の複雑な制御を回避するため、二つのことが仮定される。上記仮定は非常に頻繁な動きの領域を与える画像シーケンスに亘って注意深く調査された。この調査によって、上記仮定は認められることが保証された。第１の仮定とは、図５に示された補間ウィンドウに含まれた１０個から７個の正しい画素、特に、最も近傍にある４個の画素を使用する補間は、著しい誤差を生じることはないが、ある特定の画像内容の場合にぼんやりした画素だけを生ずるということである。第２の仮定はブロック単位の動き評価器によって得られたあらゆる動きベクトルのフィールドに存在する連続性に関し、これにより、現在のブロックの外側の３個の画素の利用が可能になる。動きベクトルのフィールドに不連続性が現れたとき、ＨＤＭＡＣ方式の符号化器は通常２０ｍｓモードを選択する。動き補償によって良い結果が得られない場合、零ベクトルが２０ｍｓのブロックに供給されるので、第１の仮定が機能する。図４ｂには、水平及び垂直遅延ＤＨＶのセットがより詳細に示されている。入力の値４０Ａ及び４０Ｂは、夫々、出力Ｐｖ１乃至Ｐｖ８の現在のフィールドの８ラインの画素が並列に得られる７個のライン遅延ＬＤの回路を通過する。上記出力は垂直ベクトルの位置Ｖｙ＝７，Ｖｙ＝５，Ｖｙ＝３，．．．，Ｖｙ＝ −７に対応する。Ｐｖ１乃至Ｐｖ８の出力は出力４０（Ｐｈ１乃至Ｐｈ９）を有する水平遅延部ＨＤＳの入力４１に供給されることが図４により詳細に示されている。各ブロックＴは画素遅延である。４個の水平遅延部（ＨＤＳ１、ＨＤＳ２、ＨＤＳ３、ＨＤＳ４）が表わされた図４ｂは、次のスイッチマトリックスＳＭが現在の位置毎に出力４０を画素Ｐ、Ｑ、Ｒ、Ｓ、Ｔ及びＵを表わす夫々の６個のスイッチマトリックスの出力に接続することを示している。図５には現在の画素１１に対する出力８０１の補間ウィンドウ５１と、現在の画素１２に対する出力８０２の補間ウィンドウ５２が示されている。図６において、６個の入力の値Ｐ、Ｑ、Ｒ、Ｓ、Ｔ及びＵは二つの画素遅延ＰＤの回路を通過し、二つの画素遅延ＰＤの回路は補間ウィンドウ５１及び５２が使用されるように入力及び出力が夫々補間器ＩＮＴに接続されている。図７は補間器ＩＮＴの可能性のあるハードウェア実装を示している。補間ウィンドウ５１から得られる入力画素の値Ｑ−１、Ｑ１、Ｓ−１、Ｔ０、Ｑ０、Ｓ０、Ｐ０、Ｒ０、Ｐ−１及びＲ１は、加算器“＋”と、乗算器“−２”、“４”、 “７”と、遅延Ｔと、除算器又はシフター“÷１６”を使用して結合される。現在の４０ｍｓ分岐の出力の６個のスイッチマトリックスの出力は、ブロック：現在の組＝（Ｐ０，Ｑ０，Ｒ０，Ｓ０，Ｔ０，Ｕ０）の右側の境界でさえ正確であるので、８０１側のウィンドウ５１で常に使用されることに注意する必要がある。しかし、ハードウェアを簡単化するため、１１の補間の際にＴ０は使用されず、１２の補間の際にＰ０は使用されない。図８は現在のラインが奇数（図８ａ）又は偶数（図８ｂ）である場合のウィンドウの位置を精密に示している。ＰＢは画像の境界を表わし、符号８１及び８３は８０１側のウィンドウを表わし、符号８２及び８４は８０２側のウィンドウを表わしている。図中のマークには以下の意味がある： × 伝送された画素（４０ｍｓ） □ ウィンドウの中心 ○ サンプル８０１ △ サンプル８０＿２Ｉ１及びＩ２は以下の式：に従って計算することができる。奇数フィールド処理：奇数フィールドに動き処理は適用されないが、スイッチマトリックスＳＭはＨＤＭＡＣ方式のＢＲＤの動き補償された補間器（ＭＣＩ）を介する処理を許容するため零ベクトルを用いて動作する。入力４０Ａを用いるＭＣＩだけが作動状態である。図８ａ及び図８ｂのウィンドウの空間的場所は、フィールド内の出力ラインのパリティに依存する。奇数ライン：偶数ライン：偶数フィールド処理：インパクト点ＩＰは、スイッチマトリックスＳＭの出力である６個の画素の組内にある動きベクトルが配置された画素である（図３を参照のこと）。事実上、インパクト点は点８０＿１と８０＿２の対の位置を表わしている。動きベクトル（Ｖｘ，Ｖｙ）と現在のラインのパリティはインパクト点の場所を定める。８０ｍｓの出力パターンに対しインターレースは存在しないので、現在のラインのパリティは奇数フィールドであるとみなされる。奇数ライン：インパクト点ＩＰは以下の式：によって知られている。｜Ｖｘ｜はＶｘの絶対値を表わしている。Ｖｘ及びＶｙは整数であるので、Ｓは整数又は非整数の両方の場合があり：偶数ライン：インパクト点ＩＰは以下の式：によって知られている。Ｓの計算は奇数ラインの場合と同一であるが、ＩＰの割当は以下のように相違している：実現されるべき補間は以下のようにインパクト点に依存している：垂直ベクトル成分が極端に負のＶｙ＝−６及びＶｙ＝−５である場合には、垂直ベクトル成分が極端に正のＶｙ＝＋６及びＶｙ＝＋５である場合と同様に、画素Ｕは常に得られるとは限らない。図１０及び図１１には上記の場合が規定されている。従って、補間は以下の如く簡単化する必要がある：スイッチマトリックスＳＭの出力は、動きベクトル（奇数フィールドの場合、零ベクトル）とラインのパリティ（常に奇数フィールドとみなされる）に依存する。図９には、奇数ライン（図９ａのＰｖ＝５）と偶数ライン（図９ｂのＰｖ＝５）に対しアクセスし得る画素が示されている。マーク＠は８０１の位置を表わし、マーク○は８０２の位置を表わしている。必要なライン遅延の数を削減するため、垂直ベクトル成分が極端に大きい場合、何れにしても補間に必要とされる画素の全てが得られる訳ではない。図１０及び図１１により、スイッチマトリックスの座標が図９の番号付けとフィールド４０Ａ（ｔ−２０ｍｓ）に従って得られる。水平ベクトル成分は画像の下から上への垂直移動の場合に正である。フィールド４０Ｃ（ｔ＋２０ｍｓ）に関する表を得るため、垂直成分の符号は反転される必要がある。図１０ａは奇数ラインの場合にＶｙと、ＶｘのパリティＶＸＰとに関し垂直位置ＰＶを定める表である。図１０ｂは奇数ラインの場合にＶｘと、ＳのパリティＳＰとに関し水平位置ＰＨを定める表である。奇数ラインに対するＳのパリティは：である。図１１ａは偶数ラインの場合にＶｙと、ＶｘのパリティＶＸＰとに関し垂直位置ＰＶを定める表である。図１１ｂは偶数ラインの場合にＶｘと、ＳのパリティＳＰとに関し水平位置ＰＨを定める表である。偶数ラインに対するＳのパリティは：である。Ｓが偶数である場合、Ｓのパリティは偶数である。Ｓが偶数ではない場合、Ｓのパリティは奇数である。例えば、ＭＰＥＧ方式のような直交サンプリンググリッド方式において、動き補償された補間は可能性のある動きベクトルのインパクト点の周囲の最近傍の４画素Ｐ０、Ｑ０、Ｐ１、Ｑ１を使用することによって双一次（即ち、空間的な２方向に線形）である。インパクト点は図１２に示されているようにサンプリンググリッド内に４個の別々の場所０を有する場合がある。従って、スイッチマトリックスＳＭは４個の画素Ｐ０、Ｑ０、Ｐ１、Ｑ１をアクセスする必要がある。本発明によれば、動き補償されたブロックの各出力画素の場所に対しアクセスされるべき画素の量は２個（ＰとＱ）に減少させることが可能である。遅延ＰＤに起因して（図６に示されたのと同様に）４個の必要とされる入力画素の値の全部は正確な補間のため利用することが可能である。ブロックの境界の問題は、１ブロックライン当たり１画素ずつ動き補償の処理を拡張することにより解決され得る。例えは、ベクトルが１６＊１６のブロックに供給される場合、スイッチマトリックスＳＭは１７＊１６のブロックの各画素の位置で２個の画素（ＰとＱ）だけをアクセスすることが必要である。従って、１６＊１６のブロックのあらゆる場所で動き補償に使用される４個の画素は同一のベクトルでアクセスすることが可能であり、動き補償されたブロックは、たとえブロックの境界であっても完全に再構成することが可能である。本発明は、例えば、テレビジョンセット及びディジタルＶＣＲ（ビデオカセットレコーダ）に使用することができる。

【手続補正書】特許法第１８４条の８【提出日】１９９５年５月３日【補正内容】請求の範囲１．出力画素の値（８０１，８０２）は、補間されるべき現在の出力画素（８０１，８０２，Ｉ１，Ｉ２）の空間的場所（ＩＰ１−ＩＰ４）に関係するディジタルビデオ信号の入力画素の空間的ウィンドウ（５１，５２，８１−８４）にある画素の値（Ｐ，Ｑ，Ｒ，Ｓ）から補間され、該ウィンドウのため必要とされる上記画素の値は、該入力画素を夫々に遅延させること（ＤＨＶ，ＬＤ，Ｔ）により得られ、該補間に必要とされる該ウィンドウからの上記画素の値が供給される（ＳＭ）、ディジタルビデオ信号の動き補償された補間方法であって： −該補間は空間的なサブピクセルの分解能を提供し、 −該与えられた画素の値は付加的に遅延され（ＰＤ）、これにより、該与えられた画素の値及び上記更に遅延した画素の値は、一方の側で水平方向に延在させられた該出力画素の値（８０１，８０２）を補間する（ＩＮＴ）拡大されたウィンドウを形成することを特徴とする方法。２．該出力画素（８０１，８０２）は、該入力画素が副サンプリングされた画素であるサンプルグリッドを形成することを特徴とする請求項１記載の方法。３．少なくとも二つの該出力画素の値（８０１，８０２）は並列に補間され（ＩＮＴ）、上記出力画素の各々に対し（８０＿１；８０２）入力画素の値の別々の組（Ｐ，Ｑ，Ｒ，Ｓ；Ｓ，Ｒ，Ｔ，Ｕ）が必要とされ、幾つかの該入力画素の値（Ｒ，Ｓ）は上記別々の組に共通であることを特徴とする請求項１又は２記載の方法。４．該補間（ＩＮＴ）は一つのタイプのフィールド（４０Ａ，４０Ｃ）の出力画素だけに実行されることを特徴とする請求項１乃至３のうちいずれか１項記載の方法。５．該動き補償された補間は表示レートのアップコンバージョンに使用される請求項１乃至４のうちいずれか１項記載の方法。６．該動き補償された補間はＨＤＭＡＣ式復号器において実行され、該スイッチマトリックス（ＳＭ）は奇数フィールド内の零ベクトル（Ｖｘ＝０，Ｖｙ＝０）で動作することを特徴とする請求項１乃至５のうちいずれか１項記載の方法。７．該動き補償された補間は垂直ベクトル成分（Ｖｙ）が大きい場合に修正されることを特徴とする請求項１乃至６のうちいずれか１項記載の方法。８．出力画素の値（８０１，８０２）は、補間されるべき現在の出力画素（８０１，８０２，Ｉ１，Ｉ２）の空間的場所（ＩＰ１−ＩＰ４）に関係するディジタルビデオ信号の入力画素の空間的ウィンドウ（５１，５２，８１−８４）にある画素の値（Ｐ，Ｑ，Ｒ，Ｓ）から補間され、該ウィンドウのため必要とされる上記画素の値は遅延手段（ＤＨＶ，ＬＤ，Ｔ）を用いて得られ、スイッチマトリックス手段（ＳＭ）は該補間に必要とされる該ウィンドウからの上記画素の値を出力に供給する、ディジタルビデオ信号の動き補償された補間装置であって： −該補間は空間的なサブピクセルの分解能を提供し、 −該スイッチマトリックス手段（ＳＭ）の各出力は少なくとも一つの更なる画素遅延ユニット（ＰＤ）を通過し、これにより、該スイッチマトリックスの上記出力と該更なる画素遅延ユニット（ＰＤ）の上記出力は、一方の側で水平方向に延在させられた該出力画素の値（８０１，８０２）を補間する（ＩＮＴ）ための拡大されたウィンドウを形成することを特徴とする請求項１乃至７のうちいずれか１項記載の方法を実施するディジタルビデオ信号の動く補償された補間装置。９．ＴＶ受像機、特に、ＨＤＭＡＣ式又はＭＰＥＧ式受像機、或いは、ディジタルビデオカセットレコーダーのＨＤＭＡＣ式又はＭＰＥＧ式の復号化器の一部であることを特徴とする請求項８記載の装置。

───────────────────────────────────────────────────── 【要約の続き】記の遅延の拡大は復号化された画質に著しく影響を与えることはないという事実に帰する。本発明はＭＣＩを利用するあらゆる装置、特に、空間−時間的な副サンプリング及び動き補償に基づく符号化装置の復号化器に使用することが可能である。動きの補償及び補間は入力データストリームのクロック周波数で同時に実行される。

Claims

【特許請求の範囲】１．出力画素の値（８０＿１，８０＿２）は、現在の出力画素（８０＿１，８０２，Ｉ１，Ｉ２）の空間的及び／又は時間的場所（ＩＰ１−ＩＰ４）に関係するウィンドウ（５１，５２，８１−８４）内にある入力画素の値（Ｐ，Ｑ，Ｒ，Ｓ）から補間され、該ウィンドウのため必要とされる上記画素の値は、遅延手段（ＤＨＶ，ＬＤ，Ｔ）とスイッチマトリックス手段（ＳＭ）を用いることにより得られ、上記スイッチマトリックス手段の出力は、この時動きベクトル（Ｖｘ，Ｖｙ）に応答して、該入力画素の値（Ｐ，Ｑ，Ｒ，Ｓ）をこの時送り出すような該遅延手段に接続されている動き補償された補間方法であって：該スイッチマトリックス手段（ＳＭ）の各出力は少なくとも一つの更なる遅延ユニット（ＰＤ）を通過すること、及び、上記スイッチマトリックス手段の該出力及び該遅延ユニットの出力は該出力画素の値（８０１，８０２）を補間（ＩＮＴ）するための拡大したウィンドウを形成するため使用されることを特徴とする方法。２．該出力画素（８０１，８０２）はサンプルグリッドを形成し、該入力画素は副サンプリングされた画素であることを特徴とする請求項１記載の方法。３．少なくとも二つの該出力画素の値（８０１，８０２）は並列に補間され（ＩＮＴ）、上記出力画素の各々に対し（８０１；８０２）入力画素の値の別々の組（Ｐ，Ｑ，Ｒ，Ｓ；Ｓ，Ｒ，Ｔ，Ｕ）が必要とされ、一方、上記組の一部は共通（Ｒ，Ｓ）の入力画素の値により構成されていることを特徴とする請求項１又は２記載の方法。４．該補間（ＩＮＴ）はフィールド（４０＿Ａ，４０＿Ｃ）に基づいて実行されることを特徴とする請求項１乃至３のうちいずれか１項記載の方法。５．該動き補償された補間は表示レートのアップコンバージョンに使用される請求項１乃至４のうちいずれか１項記載の方法。６．該動き補償された補間はＨＤＭＡＣ式復号器において実行され、該スイッチマトリックス（ＳＭ）は奇数フィールド内の零ベクトル（Ｖｘ＝０，Ｖｙ＝０）で動作することを特徴とする請求項１乃至５のうちいずれか１項記載の方法。７．該動き補償された補間は垂直ベクトル成分（Ｖｙ）が大きい場合に修正されることを特徴とする請求項１乃至６のうちいずれか１項記載の方法。８．出力画素の値（８０１，８０２）は、現在の出力画素（８０１，８０２，Ｉ１，Ｉ２）の空間的及び／又は時間的場所（ＩＰ１−ＩＰ４）に関係するウィンドウ（５１，５２，８１−８４）内にある入力画素の値（Ｐ，Ｑ，Ｒ，Ｓ）から補間される動き補償された補間装置であって： −該ウィンドウに必要とされる上記画素の値が得られる遅延手段（ＤＨＶ，ＬＤ，Ｔ）と； −出力がこの時動きベクトル（Ｖｘ，Ｖｙ）に応答して、該入力画素の値（Ｐ，Ｑ，Ｒ，Ｓ）をこの時送り出すような該遅延手段に接続されたスイッチマトリックス手段と； −各スイッチマトリックス手段（ＳＭ）の出力（Ｐ，Ｑ，Ｒ，Ｓ，Ｔ，Ｕ）にあり、上記スイッチマトリックス手段の各出力が通過する少なくとも一つの遅延ユニット（ＰＤ）であって、上記スイッチマトリックス手段の該出力と、該遅延ユニットの上記出力は拡大されたウィンドウを形成するため使用される遅延ユニットと； −該遅延ユニットの次にあり該出力画素の値（８０＿１，８０＿２）を補間する補間手段（ＩＮＴ）とからなる、請求項１乃至７のうちいずれか１項記載の方法を実施するディジタルビデオ信号の動き補償された補間装置。９．ＴＶ受像機、特に、ＨＤＭＡＣ式又はＭＰＥＧ式受像機、或いは、ディジタルビデオカセットレコーダーのＨＤＭＡＣ式又はＭＰＥＧ式復号化器であることを特徴とする請求項８記載の装置。