JP4313543B2

JP4313543B2 - 部分的に復号された入力ビットストリームのマクロブロック群を変換符号化する方法及び装置

Info

Publication number: JP4313543B2
Application number: JP2002132740A
Authority: JP
Inventors: アンソニー・ヴェトロ; ハイファン・スン; ペン・イン; ベデ・リュー; トミー・シー・プーン
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2001-05-11
Filing date: 2002-05-08
Publication date: 2009-08-12
Anticipated expiration: 2022-05-08
Also published as: EP1257127A2; US6671322B2; JP2003032682A; US20030016751A1; EP1257127A3; EP1257127B1

Description

【０００１】
【発明の属する技術分野】
本発明は、一般にビットストリームのトランスコーディング（transcoding）もしくは変換符号化の技術分野に係わり、特に、ビデオビットストリームのトランスコーディング、即ち符号変換中に空間解像度を縮減する技術に関する。殊に、本発明は、空間解像度の縮減機能を有するビデオトランスコーダ（変換符号化器或いは変換符号化装置）に関する。
【０００２】
［発明の背景］
ビデオ圧縮は、少ない記憶、ネットワーク及びプロセッサ資源で画像情報の記憶、伝送及び処理を可能にする。最も広範に用いられているビデオ圧縮規格には、動画の記憶及び検索のためのＭＰＥＧ−１、ディジタルテレビジョン用のＭＰＥＧ−２及びビデオ会議用のＨ.２６３がある。これ等については、ISO/IEC 11172-2: 1993 「Information Technology - Coding of Moving Pictures and Associated Audio for Digital Storage Media up to about 1.5 Mbit/s Part 2: Video」、D. LeGallの「MPEG: A Video Compression Standard for Multimedia Applications」、 Communications of the ACM, Vol. 34, No. 4, pp. 46-58, 1991, ISO/IEC 13818-2: 1996, 「Information Technology Generic Coding of Moving Pictures and Associated Audio Information Part 2: Video」、1994, ITU-T SG XV, DRAFT H. 263, 「Video Coding for Low Bitrate Communication」1996, ITU-T SG XVI, DRAFT13 H. 263 + Q15-A-60 rev. 0, 「Video Coding for Low Bitrate Communication」1997を参照されたい。
【０００３】
上述の規格は、主に画像或いはフレームの空間圧縮並びにフレームシーケンスの空間及び時間圧縮を取り扱う比較的低レベルの仕様である。共通の特徴として、これら規格はフレームベースで圧縮を行う。これら規格によれば、広範囲の用途に対して高い圧縮率を達成することができる。
【０００４】
マルチメディア用途のためのＭＰＥＧ−４のような新たなビデオ符号化規格（ISO/IEC 14496-2: 1999, 「Information technology-coding of audio/visual objects, Part 2: Visual」、参照）の出現で、任意の形状のオブジェクトを別個のビデオオブジェクト平面（ＶＯＰ）として符号化したり或いは復号することが可能である。この場合オブジェクトとしては、ビジュアルオブジェクト、オーディオオブジェクト、自然オブジェクト、人工オブジェクト、原始オブジェクト、混成オブジェクト或いはそれらの組み合わせからなるオブジェクトがある。また、無線チャンネルのようなエラーの起こりがちなチャンネルを介して堅実な（即ち、ロバストな）伝送を可能にするために相当量の耐エラー対策が組み込まれている。
【０００５】
新たに出現したＭＰＥＧ−４規格は、インタラクチブビデオのようなマルチメディア用途、即ち、自然及び人工材料が統合され、アクセスが普遍（一方的ではない）であるマルチメディアへの適用を可能にするように企図されている。ビデオ伝送と関連して、ネットワーク上での帯域幅の大きさを減少もしくは縮減するのに圧縮規格が必要とされる。この場合ネットワークは無線でもインターネットでも良い。いずれにせよ、ネットワークの容量には制限があり、従って、少ない資源に対する競合は最小に抑止すべきである。
【０００６】
装置がコンテンツをロバストに、即ち堅実に伝送したりコンテンツの品質を利用可能なネットワーク資源に適合することを可能にするシステム及び方法に関して多大な努力が払われている。これと関連し、コンテンツをエンコードもしくは符号化する場合、低ビットレート或いは低解像度でネットワークを介しビットストリームを伝送できるようにするために先ず前に該ビットストリームを復号（デコーディング）する必要がある場合がある。
【０００７】
これは、図１に示すように、変換符号化器（トランスコーダ）１００により達成することができる。最も単純な構成において、該変換符号化器１００は、カスケード接続されたデコーダ（復号器）１１０及びエンコーダ（符号化器）１２０を有する。圧縮された入力ビットストリーム１０１は入力ビット・レート
【数４】

で完全に復号され、次いで、再符号化されビットレート
【数５】

の出力ビットストリーム１０３が生成される。通常、出力ビットレートは入力ビットレートよりも小さい。しかしながら、実際例では、復号されたビットストリームの再符号化が非常に複雑であるために変換符号化器で完全な復号化及び完全な再符号化は行われていない。
【０００８】
ＭＰＥＧ−２規格の変換符号化（トランスコーディング）に関する初期の研究として、Sun外により公表された論文「Architectures for MPEG compressed bitstream scaling」、IEEE Transactions on Circuits and Systems for Video Technology（１９９６年４月）がある。この論文には、複雑性及びアーキテクチャの変更に伴い４つのレート縮減方法が記述されている。
【０００９】
図２は、開ループアーキテクチャと称する第１の方法例２００を示している。このアーキテクチャにおいては、入力ビットストリーム２０１は部分的にのみ復号されるだけである。具体的に述べると、入力ビットストリームのマクロブロックは可変長復号（ＶＬＤ）２１０及び微細量子化器
【数６】

での逆量子化２２０を受け、それにより離散コサイン変換（ＤＣＴ）係数が生成される。所与の所望の出力ビット・レート２０２に対し、ＤＣＴブロックは、量子化器２３０の粗レベル量子化
【数７】

で再量子化される。これら再量子化されたブロックは、次いで２４０で示すように可変長符号化（ＶＬＣ）され、その結果として低ビットレートで新たな出力ビットストリーム２０３が形成される。この方式は、図１に示した方式よりも相当に単純である。その理由は、運動ベクトルが再使用され、逆ＤＣＴ演算が不必要であるからである。ここで、
【数８】

及び
【数９】

の選択は厳密にビットストリームのビットレート特性に依存する。場合によりあり得る他の要因、例えばビットストリームの空間特性のようなファクタ（要因）は考慮されない。
【００１０】
図３は、第２の方法例３００を示す。この方法は閉ループアーキテクチャと称されている。この方法においては、入力ビデオビットストリームが再び部分的に復号され、即ち、入力ビットストリームのマクロブロックが可変長復号（ＶＬＤ）３１０並びに量子化器
【数１０】

での逆量子化３２０を受け、それにより離散コサイン変換（ＤＣＴ）係数３２１が生成される。上述した第１の方法例とは対照的に、入力ＤＣＴ係数３２１に対して補正ＤＣＴ係数３３２が加算（３３０参照）され、それにより、再量子化によって生じた不整合（ミスマッチ）が補償される。この補正により、終局的に復号もしくはデコーディングに用いられる基準フレームの品質、即ちクオリティが改善される。補正を行った後、新たに形成されたブロックは、新たなビットレートとなるように
【数１１】

で再量子化（３４０）されると共に既述のように可変長符号化（３５０）される。この場合にも、
【数１２】

及び
【数１３】

はビットレートに基づいて定められることを注記しておく。
【００１１】
補正コンポーネント（成分）３３２を得るために、再量子化されたＤＣＴ係数は逆量子化（３６０）され、元の部分的に復号されたＤＣＴ係数から減算（３７０）される。この減算から得られる差は、逆ＤＣＴ（ＩＤＣＴ）３６５を介して空間ドメインに変換されてフレームメモリ３８０に記憶される。ここで、各入力ブロックと関連の運動ベクトル３８１が、運動補償（３９０）を行うために対応の差ブロックを再読み出しするのに用いられる。そこで、対応のブロックは、ＤＣＴ３３２を介して変換され、それにより補正コンポーネントが生成される。図３に示した方法の派生例が、Assuncao外の論文「A frequency domain video transcoder for dynamic bit-rate reduction of MPEG-2 bitstreams」、IEEE Transaction on Circuits and System for Video Technology, pp. 953-957, 1998に記述されている。
【００１２】
即ち、Assuncao外はまた、同じタスクのための別の方法をも提案している。この別の方法においては、ドリフト補償の目的で、周波数ドメインで動作する運動補償（ＭＣ）ループを用いている。周波数ドメインでＭＣブロックの高速計算を行うために近似行列（マトリックス）が導出される。変換符号化（transcoding）に対し最良の量子化スケールを算出するためにラグランジェの最適化が採用されている。この方法によれば、ＩＤＣＴ／ＤＣＴコンポーネントに対する必要性が除かれる。
【００１３】
従来の圧縮規格に従えば、テクスチャ情報の符号化に割り当てられるビット数は、量子化パラメータ（ＱＰ）により制御される。上に述べた方法は、元のビットストリームに含まれている情報をベースとするＱＰ、即ち量子化パラメータを変えることによりテクスチャ・ビットレートを縮減する点で類似性を有している。効率的に実施するために、情報は通常、圧縮されたドメインから直接抽出され、マクロブロックの運動またはＤＣＴブロックの残存エネルギーに関する尺度を含むことができる。上述の方法はビットレートの縮減に対してのみ適用可能である。
【００１４】
ビットレートの縮減に加えて、他の形式のビットストリームの変換をも行うことができる。例えば、オブジェクトベースの変換が、Vetro外の２０００年２月１４日付けの米国特許出願０９／５０４,３２３号明細書（発明の名称：Object-Based Bitstream Transcoder）に記述されている。また、空間解像度に関する変換が、Shanableh及びGhanbariの論文「Heterogeneous video transcoding to lower spatio-temporal resolution, and different encoding formats」、IEEE Transaction on Multimedia（June 2000）に記述されている。
【００１５】
これらの方法では、品質の面で不満がある低い空間解像度でビットストリームが生成され、品質を高めようとすれば複雑性が増加する。また、再構成マクロブロックを形成する手段に関し適切な考慮が払われいない。これは、品質及び複雑性双方に関し大きなインパクトを与えるばかりでなく２とは異なる縮減因数を考慮した場合に特に問題となる。更にまた、これらの方法には具体的なアーキテクチャの詳細が伴っていない。関心の多くは因数「２」による運動ベクトルの種々なスケーリング手段に注がれている。
【００１６】
図４は、入力ビットストリームを低い空間解像度で出力ビットストリーム４０２に変換符号化（transcoding）する方法４００の詳細を示す。この方法は、図１に示した方法を拡張したものに対応するが、デコーダ１１０及びエンコーダ１２０の詳細を示すと共に、復号化プロセス及び符号化プロセス間にダウンサンプリング・ブロック４１０を有する。デコーダ１１０は、ビットストリームの部分的復号を行う。ダウンサンプリング・ブロック４１０は、部分的にマクロブロックを含む群の空間解像度を縮減する。デコーダにおける運動補償４２０では全解像度の運動ベクトル
【数１４】

４２１が用いられ、他方、エンコーダにおける運動補償４３０では低解像度の運動ベクトル
【数１５】

４３１が用いられる。低解像度の運動ベクトルはダウンサンプリングした空間ドメインフレーム
【数１６】

４０３から推定されるか或いは全解像度の運動ベクトルからマップされる。変換符号化器（トランスコーダ）４００の詳細について更に下に説明する。
【００１７】
図５は、入力ビットストリーム５０１を低空間解像度で出力ビットストリーム５０２にトランスコード即ち変換符号化するための開ループ方法５００の詳細を示す。この方法においては、ビットストリーム１０１はやはり部分的に復号される。即ち、入力ビットストリームのマクロブロックが可変長復号（ＶＬＤ）（５１０）及び逆量子化（５２０）され、それにより離散コサイン変換（ＤＣＴ）係数が生成される。なお、これらの処理ステップは周知のものである。
【００１８】
次いで、ＤＣＴマクロブロックは、１６×１６(2^４×2^４) マクロブロック内の各８×８ (2^３×2^３) ルミナンスブロックの高周波係数をマスキングすることにより「２」の因数でダウンサンプリング（５３０）され、それにより４つの４×４ＤＣＴブロックが生成される。これに関しては、１９９３年１１月１６日付けのNgの米国特許第５,２６２,８５４号「Low-resolution HDTV receivers」を参照されたい。言い換えるならば、ダウンサンプリングにより、例えば、４個のブロックからなるブロック群は、小さいサイズの４ブロックからなるグループ、即ちブロック群に変換される。
【００１９】
変換符号化器においてダウンサンプリングを行うことにより、変換符号化器は、従属１６×１６マクロブロックを再形成するための付加的なステップを取らなければならない。即ち、空間ドメインへの逆変換と、それに続くＤＣＴドメインへの再変換である。ダウンサンプリング後、ブロックは、同じ量子化レベルを用いて再量子化され（５４０）、次いで、可変長符号化される（５５０）。なお、縮減された解像度ブロックに関するビットレート制御の実施に関する方法は何ら記載されていない。
【００２０】
全運動ベクトル５５９から縮減運動ベクトル５６１への運動ベクトルマッピング５６０を行うのに、従来、フレームベースの運動ベクトルに対し幾つかの適切な方法が提案されている。４個のフレームベースの運動ベクトルを、１つの群内の各マクロブロックに対し１つづつ、新たに形成される１６×１６マクロブロックに対する１つの運動ベクトルに写像するため、単純な平均化もしくはメディアン・フィルタを適用することができる。これは、４：１マッピングと称されている。
【００２１】
しかしながら、ＭＰＥＧ−４及びＨ.２６３のような或る圧縮規格では、８×８ブロック毎に１つの運動ベクトルを許容する高度な予測モードを支持している。この場合、各運動ベクトルは、元の解像度での１６×１６マクロブロックから、縮減された解像度マクロブロックでの８×８ブロックに写像される。これは、１：１マッピングと称されている。
【００２２】
図６は、４つの１６×１６マクロブロック群６０１から１つの１６×１６マクロブロック６０２または４つの８×８マクロブロック群６０３のいずれかに運動ベクトルを写像、即ちマッピングする（６００）例が示してある。常に１：１マッピングを用いるのは、４つの運動ベクトルを符号化するのに多くのビットが用いられるため非効率である。また、一般に、インターレースされた画像のためのフィールドベースの運動ベクトルへの拡張は無意味ではない。周知のように、ダウンサンプリングされたＤＣＴ係数及びマッピングされた運動ベクトルについては、データを可変長符号化し、縮減された解像度のビットストリームを形成することが可能である。
【００２３】
更にまた、ドリフトを補償したり変換符号化もしくはトランスコーディング処理中良好なアプサンプリング技術を採用するのが望ましい。
【００２４】
【発明の概要】
本発明は、圧縮されたビットストリームをアプサンプリング（up-sampling）する方法を提供する。圧縮されたビットストリームを部分的に復号してマクロブロックを生成する。各マクロブロックは、該マクロブロックの予め定められた次元（dimensionality）に従いＤＣＴ係数を有する。
【００２５】
ＤＣＴフィルタを各マクロブロックのＤＣＴ係数に適用して各マクロブロックに対しアプサンプリングされたマクロブロックを生成する。ここで、１つのアプサンプリングされたマクロブロックは各フィルタによって生成される。各アプサンプリングされ生成されたマクロブロックは予め定められた次元を有する。
【００２６】
［好適な実施の形態の詳細な説明］
導入
本発明は、ディジタルビデオ信号の圧縮されたビットストリームを最小のドリフトで縮減した空間解像度にトランスコーディング、即ち、変換符号化するシステム及び方法を提供するものである。先ず、本発明による変換符号化器もしくはトランスコーダを使用することができるコンテンツの配信に関する幾つかの用途例について説明する。次に、低空間解像度でビットストリームを発生するための基本的な方法について解析的に説明する。この解析に基づき、基本的な方法に対する幾つかの実施例並びに各実施例と関連する対応のアーキテクチャについて述べる。
【００２７】
第１の実施例（図９参照）においては、開ループアーキテクチャが採用され、他方、他の３つの実施例（図１０及び図１１Ａ乃至図１１Ｂ参照）は、ダウンサンプリング、再量子化及び運動ベクトル打ち切りにより生ずるドリフトを補償する手段を構成する閉ループアーキテクチャに対応するものである。なお、これら閉ループアーキテクチャの内の１つは上記補償を縮減解像度で行い、他方、他の２つの閉ループアーキテクチャは上記補償を良好な品質を確保するためにＤＣＴドメインで元解像度で行う。
【００２８】
追って詳細に説明するように、図９の開ループアーキテクチャはあまり複雑ではない。復元ループも存在しなければＤＣＴ／ＩＤＣＴブロックも存在せず、またフレームメモリも設けられておらず、従って、品質は低い画像解像度及びビット・レートに相応のものである。このアーキテクチャは、インターネットでの使用及びソフトウエアでの実現に適している。図１０に示した第１の閉ループアーキテクチャも複雑性は中程度のものである。この第１の閉ループアーキテクチャは、復元ループ、ＩＤＣＴ／ＤＣＴブロック及びフレームメモリを備えている。このアーキテクチャによれば、縮減解像度ドメインでドリフトを補償し品質を改善することができる。図１１Ａに示した第２の閉ループアーキテクチャの複雑性も中程度である。この第２のアーキテクチャは、復元ループ、ＩＤＣＴ／ＤＣＴブロック及びフレームメモリを備えている。このアーキテクチャによれば、元解像度ドメインでドリフトを補償し品質を改善することができるが、縮減解像度のフレームのアプサンプリング（up-sampling）が要求される。第３の閉ループアーキテクチャでは、縮減解像度ドメインで得られる補正信号が用いられる。
【００２９】
本発明によるアーキテクチャについて深い理解を得るために、縮減解像度で「混合モード（mixed mode）」のマクロブロック群を有するブロックを処理するための幾つかの付加的な技術についても説明する。
【００３０】
ダウンサンプリング（down-sampling）すべき１群のブロック、例えば、４つのブロックは、これらブロック群がイントラモード（intra-mode）及びインターモード（inter-mode）の双方で符号化されたブロックを含む場合に「混合ブロック（mixed block）」と称する。ＭＰＥＧ規格においては、Ｉ−フレームはイントラモードに従って符号化されたマクロブロックだけを含むが、Ｐ−フレームはイントラモード及びインターモードで符号化されたブロックを含み得る。これらモードは、特にダウンサンプリングに際して考慮する必要がある。然もなければ、出力の品質、即ち画質が劣化する可能性があるからである。
【００３１】
また、ドリフト補償並びにＤＣＴベース・データのアプサンプリング方法についても説明する。これら方法は、アプサンプリング後の動作もしくは演算を付加的な変換ステップを伴うことなく適切に行うことができ、第２及び第３の閉ループアーキテクチャにとって有用である。
【００３２】
縮減空間解像度の変換符号化（transcoding）への適用
本発明の目標とする主たる用途は、ディジタルテレビジョン（ＤＴＶ）放送及びインターネットのコンテンツを、例えば無線電話、ページャ及びＰＤＡ（personal digital assistance）のような低解像度のディスプレイを有するデバイスもしくは装置へ配布もしくは配信することである。現在、ＤＴＶ放送及びＤＶＤ記録のための圧縮フォーマットとしてＭＰＥＧ−２が採用されており、インターネットを介してＭＰＥＧ−１コンテンツが利用可能である。
【００３３】
ＭＰＥＧ−４は、移動ネットワークを介してのビデオ伝送用の圧縮フォーマットとして採用されていたものであるので、本発明では、ＭＰＥＧ−１／２コンテンツを低解像度のＭＰＥＧ−４コンテンツに変換符号化する方法を取り上げる。
【００３４】
図７は、本発明を利用したマルチメディア・コンテンツ分配システム７００の第１の例を示す。システム７００は、外部ネットワーク７０３を介してクライアント７０２に接続された適応型サーバ７０１を有する。このシステムの１つの特徴は、クライアントのディスプレイはサイズが小さく、また、低いビットレートのチャンネルで接続されていることである。従って、クライアント７０２に配信されるコンテンツの解像度を縮減する必要がある。
【００３５】
マルチメディアコンテンツの入力ソース７０４はデータベース７１０に格納される。コンテンツは特徴抽出及びインデキシング処理（指標付け処理）７２０を受ける。データベースサーバ７４０により、クライアント７０２は、データベース７１０のコンテンツを走査検索し特定のコンテンツに対する要求を行うことができる。マルチメディアコンテンツを探索するのにサーチエンジン７３０を使用することができる。所望のコンテンツが検索されたならば、データベースサーバ７４０はマルチメディアコンテンツを本発明による変換符号化器（トランスコーダ）７５０に送る。
【００３６】
変換符号化器７５０は、ネットワーク及びクライアントの特性を読み取る。コンテンツの空間解像度がクライアントのディスプレイの特性よりも高い場合には、本発明による方法を用いて、コンテンツの解像度をクライアントのディスプレイ特性と整合するように縮減する。また、ネットワークチャンネル上のビット・レートがコンテンツのビット・レートよりも小さい場合にも本発明を適用することができる。
【００３７】
図８は、コンテンツ配信システム８００の第２の実施例を示す。このシステム８００はローカルな「ホーム（home）」ネットワーク８０１、外部ネットワーク７０３、放送ネットワーク８０３及び図７と関連して説明した適応型サーバ７０１を具備する。この実施例においては、高品質の入力ソースコンテンツ８０４を、放送ネットワーク８０３、例えば、ケーブル、地上或いは衛星放送のネットワークを介してホームネットワーク８０１に接続されているクライアント８０５に転送することができる。コンテンツはセットトップ・ボックスもしくはゲートウエイ８２０により受信されてローカルメモリ或いはハードディスクドライブ（ＨＤＤ）８３０に格納される。受信したコンテンツは、ホーム即ち家庭内のクライアント８０５に配送することができる。加えて、コンテンツは、全解像度のコンテンツを復号したり表示する能力を有しないクライアントにも利用可能なように変換符号化（８５０）を行うことができる。これは、例えば、ハイデフィニションテレビジョン（ＨＤＴＶ）のビットストリームを標準デフィニションのテレビジョンセットで受信する場合に相当する。従って、コンテンツは、ホーム（家庭）内のクライアントの能力を満足するようにトランスコード、即ち変換符号化すべきである。
【００３８】
更にまた、外部ネットワーク８０２を介し低解像度の外部クライアント８０６よりローカルメモリ（ＨＤＤ）８３０に格納されているコンテンツへのアクセスが要求された場合には、変換符号化器８５０を用いて当該クライアントに対して低解像度のマルチメディアコンテンツを配布することができる。
【００３９】
基本的方法の分析
複雑性及び品質が可変である変換符号化器を設計するために図４に示した方法で発生される信号について更に分析し説明することにする。なお、式中の表記法と関連し、小文字の変数は空間ドメインの信号を表し、他方、大文字の変数はＤＣＴドメインにおける等価の信号を表すものとする。また、変数に付した下付け文字は時間を、他方、１に等しい上付け文字はドリフトを有する信号を表し、そして２に等しい上付け文字はドリフトの無い信号を表すものとする。なお、ドリフトは、例えば再量子化、運動ベクトルの打ち切り（丸め）或いはダウンサンプリングのようなロスの多いプロセスで生じ得る。ドリフトの補償方法については追って説明する。
【００４０】
Ｉ−フレイム
Ｉ−フレームについては運動補償予測は不可能である。即ち、
【数１７】

であり、従って、信号はダウンサンプリングされる（４１０）。即ち、
【数１８】

である。次いで、符号化器もしくはエンコーダ１２０で次式に従い符号化される。
【数１９】

【００４１】
信号
【数２０】

はＤＣＴ４４０を受け、次いで、量子化パラメータ
【数２１】

で量子化される（４５０）。量子化された信号
【数２２】

は可変長符号化され（４６０）、符号変換されたビットストリーム（transcoded bitstream）４０２に書き込まれる。エンコーダにおける運動補償ループの一部分として
【数２３】

は逆量子化され（４７０）、ＩＤＣＴ４８０を受ける。このようにして、縮減された解像度の基準信号
【数２４】

４８１がフレームバッファ４９０に、将来のフレーム予測に対する基準信号として格納される。
【００４２】
Ｐ−フレーム
Ｐ−フレームの場合には、下式
【数２５】

から、再構成もしくは復元された全解像度の画像が生成される。Ｉ−フレームの場合と同様に、この信号は次いで式（２）に従いダウン変換（縮減変換）される。次いで、下式（５）に従い縮減解像度残留分（reduced resolution residual）が生成される。
【数２６】

上式（５）は、等価的に次のように表される。
【数２７】

【００４３】
式（６）によって与えられる信号は、本発明によるアーキテクチャが近似する基準信号を表す。なお、この基準信号の発生における複雑性は高く、従って複雑性を相当に低減しつつ品質の近似を実現するのが望ましいことは言うまでもない。
【００４４】
開ループアーキテクチャ
近似として、
【数２８】

とすると、式（６）の縮減解像度残留分信号は下式で表される。
【数２９】

【００４５】
上式は、図９に示した変換符号化器９００のための開ループアーキテクチャを示唆する。
【００４６】
変換符号化器９００において、入力ビットストリーム９０１の信号は、可変長復号され（９１０）、それにより逆量子化ＤＣＴ係数９１１及び全解像度の運動ベクトル
【数３０】

９０２が生成される。全解像度の運動ベクトルは、ＭＶマッピング（ＭＶ写像）９２０によって縮減解像度の運動ベクトル
【数３１】

９０３に写像、即ちマップされる。量子化されたＤＣＴ係数９１１は、量子化
【数３２】

９３０で逆量子化され、信号
【数３３】

９３１が生成される。次いで、この信号は、追って詳述するように、ブロック群のプロセッサ１３００に供給される。プロセッサ１３００の出力は、ダウンサンプリング（９５０）され、それにより信号
【数３４】

９５１が生成される。ダウンサンプリング後、この信号は量子化
【数３５】

（９６０）される。最後に、縮減解像度の再量子化されたＤＣＴ係数及び運動ベクトルは、可変長符号化（９７０）されて、変換符号化された出力ビット９０２に書き込まれる。
【００４７】
ブロック群プロセッサ１３００の好適な実施例に関する詳細については追って説明するが、ここでは簡単に、このプロセッサの目的は、ダウンサンプリングプロセス９５０で、サブブロックが異なった符号化モード、例えば、インターブロック及びイントラブロックモードを有するマクロブロック群が発生することのないように、選択されたマクロブロック群を予備処理することにあることを述べておく。なお、マクロブロック内の混合符号化モード（ミックストコーディングモード）は公知のいずれのビデオ符号化規格によっても支持されていない。
【００４８】
縮減解像度におけるドリフト補償
式（７ｂ）で与えられた近似だけだとすると、式（６）の縮減解像度残留信号は下式で表される。
【数３６】

【００４９】
上式は、縮減解像度でのドリフト補償を行う図１０に示した閉ループアーキテクチャ１０００を示唆している。
【００５０】
このアーキテクチャにおいては、入力信号１００１は、可変長復号（１０１０）され、それにより、量子化されたＤＣＴ係数１０１１及び全解像度の運動ベクトル
【数３７】

１０１２が生成される。全解像度の運動ベクトル１０１２はＭＶマッピング１０２０によってマップされる。それにより縮減解像度の運動ベクトル
【数３８】

の集合１０２１が生成される。量子化されたＤＣＴ係数は量子化
【数３９】

で逆量子化され（１０３０）、それにより信号
【数４０】

１０３１が生成される。この信号は次いでブロック群プロセッサ１３００に供給されてダウンサンプリング（１０５０）される。ダウンサンプリング１０５０後、縮減解像度ドリフト補償信号１０５１がＤＣＴドメインの低解像度残留信号１０５２に加算される（１０６０）。
【００５１】
信号１０６１は空間量子化器
【数４１】

１０７０で量子化される。最後に、縮減解像度の再量子化されたＤＣＴ係数１０７１及び運動ベクトル１０２１が可変長符号化（１０８０）されて、変換符号化された出力ビットストリーム１００２が生成される。
【００５２】
縮減解像度ドリフト補償信号が生成される基準フレームは、再量子化残留分
【数４２】

１０７１を逆量子化（１０９０）し、ダウンサンプリングされた残留分
【数４３】

１０５２から減算（１０９２）することにより得られる。この差信号は、ＩＤＣＴ１０９４に与えられて、フレームメモリ１０９１に格納されている前のマクロブロックの低解像度予測コンポーネント１０９６に加算（１０９５）される。この新しい信号は、差
【数４４】

１０９７を表し、現在のブロックに対する低解像度の運動補償のための基準として用いられる。
【００５３】
格納された基準信号に対して、低解像度の運動補償１０９８が行われ、ＤＣＴ１０９９に対し予測がなされる。このＤＣＴドメイン信号は、縮減解像度ドリフト補償信号１０５１である。この動作は、低解像度の運動ベクトル集合
【数４５】

１０２１を用いてマクロブロックベースで行われる。
【００５４】
元解像度での第１のドリフト補償方法
近似
【数４６】

に対し、式（６）の縮減解像度残留信号は下記のように表される。
【数４７】

【００５５】
上式は、元解像度のビットストリームにおけるドリフトを補償する図１１に示した閉ループアーキテクチャ１１００を示唆している。
【００５６】
このアーキテクチャにおいて、入力信号１００１は、可変長復号（１１１０）され、量子化されたＤＣＴ係数１１１１及び全解像度の運動ベクトル
【数４８】

１１１２が生成される。量子化されたＤＣＴ係数１１１１は量子化器
【数４９】

で逆量子化され（１１３０）、それにより信号
【数５０】

１１３１が生成される。この信号は次いでブロック群プロセッサ１３００に供給される。ブロック群処理（１３００）後、元解像度ドリフト補償信号１１５１がＤＣＴドメインの残留信号１１４１に加算される（１１６０）。次いで信号１１６２はダウンサンプリング（１１５０）され、量子化器
【数５１】

で量子化（１１７０）される。最後に、縮減解像度の復元されたＤＣＴ係数１１７１及び運動ベクトル１１２１は可変長符号化（１１８０）されて、変換符号化された（transcoded）ビットストリーム１１０２に書き込まれる。
【００５７】
元解像度ドリフト補償信号１１５１が生成される基準フレームは、再量子化残留分
【数５２】

１１７１を逆量子化（１１９０）し、アプサンプリング（１１９１）することにより得られる。この例では、アプサンプリング後にアプサンプリングされた信号は元解像度残留分１１６１から減算（１１９２）される。この差信号は、ＩＤＣＴ１１９４に与えられて、前のマクロブロックの元解像度予測コンポーネント１１９６に加算（１１９５）される。この新しい信号は、差
【数５３】

１１９７を表し、元解像度における現在のマクロブロックに対する運動補償のための基準として用いられる。
【００５８】
フレームバッファ１１８１に格納された基準信号に対して、元解像度での運動補償１１９８が行われ、ＤＣＴ１１９９に対し予測がなされる。このＤＣＴドメイン信号は、元解像度のドリフト補償信号１１５１である。この演算は、元解像度の運動ベクトル集合
【数５４】

１１２１を用いてマクロブロック・ベースで行われる。
【００５９】
元解像度での第２のドリフト補償方法
図１１Ｂは図１１Ａに示した閉ループアーキテクチャの別の変形例を示す。この実施例においては、再量子化残留分
【数５５】

１１７２の逆量子化出力１１９０がアプサンプリング１１９１前に縮減解像度信号から減算（１１９２）される。
【００６０】
元解像度における上述の２つのドリフト補償アーキテクチャでは、ドリフト補償信号１１５１を発生するのに運動ベクトル近似を用いていない。これは、アプサンプリング（up-sampling）１１９１を採用することにより実現可能である。上述の２つの代替アーキテクチャは、主として、差信号を発生するのに用いられる信号の選択において異なる。第１番目の方法においては、差信号は再量子化及び解像度変換に起因するエラーを表し、他方、第２番目の方法における差信号においては再量子化に起因するエラーだけが考慮される。
【００６１】
アプサンプリングされた信号は、変換符号化ビットストリームの将来の復号もしくはデコーディングにおいて考慮されることはないので、ドリフト補償信号における連続的なダウンサンプリング及びアプサンプリングによって計測される如何なるエラーをも排除しておくのが合理的である。しかしながら、アプサンプリングが２つの理由から採用される。即ち、以降の近似を回避するために全解像度の運動ベクトル１１２１を利用し、ドリフト補償信号を元解像度にしてダウンサンプリング１１５０前に入力残留分１１６１に加算（１１６０）できるようにするためである。
【００６２】
混合ブロックプロセッサ
ブロック群プロセッサ１３００の目的は、ダウンサンプリングによって、サブブロックが異なった符号化モード、例えばインターブロックモード及びイントラブロックモードを有するマクロブロックが発生されないように選択されたマクロブロックを予備処理することである。マクロブロック内に混在する符号化モードは周知の如何なるビデオ符号化規格によっても支持されていない。
【００６３】
図１２は、変換符号化１２０３後に縮減解像度でブロック群１２０２を生成することができるマクロブロック群１２０１の一例を示す。この例においては、３つのインターモードブロックと１つのイントラモードブロックが存在する。イントラモードブロックの運動ベクトル（ＭＶ）は零（ゼロ）であることを注記しておく。特定のブロック群が混合モード群（ミックストモード群）であるか否かの判定はもっぱらマクロブロックモードに依存する。ブロック群プロセッサ１３００は、縮減解像度で単一のマクロブロック１２０２を形成している４つのマクロブロック群１２０１を取り扱う。換言すれば、ルミナンス成分に対し、ＭＢ（０）１２１０は、縮減解像度のマクロブロック１２０２内のサブブブロックｂ（０）１２２０に対応し、同様に、ＭＢ（１）１２１１はｂ（１）１２２１に対応し、ＭＢ（ｋ）１２１２はｂ（２）１２２２に対応し、そしてＭＢ（ｋ＋１）１２１３はｂ（３）１２２３に対応する。なお、ここでｋは元解像度における列毎のマクロブロック数を表す。クロミナンス成分も、ルミナンスモードと整合する類似の仕方で処理される。
【００６４】
ＭＢモードの群は、ブロック群プロセッサ１３００が特定のＭＢ（マルチブロック）を処理すべきか否かを決定する。ブロック群が少なくとも１つのイントラモードブロック及び少なくとも１つのインターモードブロックを含んでいる場合にはブロック群の処理が行われる。マクロブロックの選択後、そのＤＣＴ係数及び運動ベクトルデータは修正もしくは変更される。
【００６５】
図１３は、ブロック群プロセッサ１３００の構成要素、即ちコンポーネントを示す。選択された混合ブロック群１３０１に対し、ブロック群プロセッサは、モードマッピング１３１０、運動ベクトル修正１３２０及びＤＣＴ係数修正１３３０を行い、非混合モードブロック出力１３０２を生成する。ブロック群１３０１が識別もしくは同定されている場合には、マクロブロックのモードを全てのマクロブロックが同じになるように変更する。これは、縮減解像度ブロックにおける各サブブロックのモードを整合する予め特定されたストラティジに従って行われる。
【００６６】
選択されたモード写像に従い、ＭＶデータは次いで修正もしくは変更処理１３２０を受ける。対応のモード写像に適合する可能な修正もしくは変更について、下に図１４Ａ乃至図１４Ｃを参照し詳細に説明する。なお、この場合、新しいＭＢ（マクロブロック）モード及びＭＶ（運動ベクトル）データに対し、対応のＤＣＴ係数も写像と適合するように修正もしくは変更される（１３３０）。
【００６７】
図１４Ａに示してあるブロック群プロセッサの第１の実施例においては、ブロック群１３０１のＭＢモードをモード写像１３１０によりインターモードに変更する。従って、イントラブロックのＭＶデータは運動ベクトル処理により零にリセットされ、イントラブロックに対応するＤＣＴ係数もＤＣＴ処理１３３０により零にリセットされる。このようにして、変換されたブロックは基準フレーム内の対応のブロックからのデータで複製される。
【００６８】
図１４Ｂに示したブロック群プロセッサの第２の実施例においては、混合モードブロック群のＭＢモードは、写像、即ちマッピング１３１０によりインターモードに変更される。従って、第１の好適な実施例とは異なり、イントラＭＢ（マクロブロック）用のＭＶ（運動ベクトル）データは推定されることになる。この推定は、テクスチャ及び運動データ（運動ベクトル）の双方を含み得る隣接のブロック内のデータに基づいて行なわれる。そして、この推定された運動ベクトルに基づき、修正されたブロックに対する新しい残留分が算出される。最終ステップ１３２０でインターＤＣＴ（離散コサイン変換）係数がイントラＤＣＴ係数にリセットされる。
【００６９】
図１４Ｃに示した第３の実施例においては、ブロック群のＭＢモードはイントラモードに変更される（１３１０）。この場合、縮減解像度のマクロブロックと関連する運動情報は存在しないので、全ての関連の運動ベクトルデータは零にリセットされる（１３２０）。これは、変換符号化器において行う必要がある。その理由は、隣接ブロックの運動ベクトルがこのブロックの運動から推定もしくは予測されるからである。デコーダにおいて適切な復元を確保するためには、ブロック群のＭＶデータを変換符号化器において零にリセットしなければならない。最終ステップ１３３０においては、上述のように、インターＤＣＴ係数と入れ替わるべきイントラＤＣＴ係数が発生される。
【００７０】
上に述べた第２及び第３の実施例を実現するために、全解像度に再生する復号ループ（レコーディングループ）を用いることができる。この再生されたデータは、ＤＣＴ係数をイントラモードとインターモード間或いはインターモードとイントラモード間で変換するための基準データとして用いることができる。しかしながら、そのための符号化ループの使用は必ずしも要求されない。別法として、ドリフト補償ループ内で変換を行うことができるからである。
【００７１】
運動の大きさが小さくディティルが低レベルである一連のフレームに対しては、図１４Ａに示す複雑性が小さいストラティジを使用することができる。それ以外の場合には、図１４Ｂ或いは図１４Ｃに示した応分の複雑性を有するストラティジを採用すべきである。なお、図１４Ｃに示したストラティジが最良の品質を保証することを付記する。
【００７２】
ブロック処理でのドリフト補償
ブロック群プロセッサ１３００はまた、ドリフトを制御或いは最小化するのにも使用することができる。イントラ符号化ブロック（intra-coded block）は、ドリフトを受けないので、インター符号化ブロック（inter-coded block）をイントラ符号化ブロックに変換することによりドリフトの影響を軽減できる。
【００７３】
図１４Ｃの第１のステップ１３５０において、圧縮ビットストリームにおけるドリフト量を測定する。閉ループアーキテクチャの場合には、このドリフトは、１０９２及び１１９２によって発生される差信号のエネルギー或いは１０９１及び１１９１に格納されているドリフト補償信号のエネルギーに従って計測することができる。なお、信号のエネルギーの計算には周知の方法を用いることができる。計算されたエネルギーは、再量子化、ダウンサンプリング及び運動ベクトル打ち切り（丸め）を含む各種近似に当たって考慮される。
【００７４】
開ループアーキテクチャにも適用可能であるドリフトの別の計算方法では、運動ベクトルの打ち切りもしくは丸めによってもたらされるエラーを推定する。元解像度での半ピクセル運動ベクトルは、解像度を縮減した場合に大きな再生エラーを招来することは知られている。これに対して、全ピクセル運動ベクトルにはこのようなエラーは生じない。と言うのは、全ピクセル運動ベクトルは半ピクセル領域に正しくマッピングすることができるからである。従って、ドリフトを計測する１つの可能な方法は、半ピクセル運動ベクトルの百分率もしくはパーセンテージを記録することである。しかしながら、運動ベクトル近似のインパクドはコンテンツの複雑性に依存するので、計測されたドリフトが半ピクセル運動ベクトルを有するブロックと関連する残留コンポーネントの関数となる可能性もある。
【００７５】
ドリフトの測定の目的で差信号のエネルギー及び運動ベクトルデータを利用する方法は組み合わせて実施することもできるし、また、フレーム内の部分領域に亘って採用することも可能である。ドリフト補償方法により最も利便的なマクロブロックの位置を同定もしくは識別することができるので、フレーム内の部分領域について上記方法を適用するのが有利である。上記の方法を組み合わせて用いるためには、差信号または元解像度で半ピクセル運動ベクトルを有するマクロブロックに対するドリフト補償信号のエネルギーによりドリフトを計測する。
【００７６】
第２のステップで、ドリフトの測定値は、ブロック群プロセッサ１３００に対して入力として用いられる「イントラ再生率（intra refresh rate）」１３５１に変換される。イントラ符号化ブロックの百分率の制御は、従来、エラー常駐伝送でビデオを符号化するのに当たり考慮されていた。例えば、「Analysis of Video Transmission over Lossy Channels」Journal of Selected Areas of Communications, by Stuhlmuller, et al, 2000を参照されたい。この論文においては、受信部からエンコーダへの逆チャンネルで、伝送チャンネルによってもたらされる損失量を伝達し、予測符号化方式における損失データに起因するエラー率を阻止するために、ソース側からイントラ符号化ブロックの符号化が直接行われている。
【００７７】
これとは対照的に、本発明では、既に符号化されているビデオに対し圧縮ドメインに新たなイントラブロックが生成され、インターモードからイントラモードへの変換はブロック群プロセッサ１３００によって達成される。
【００７８】
ドリフトがドリフト閾値量を越えると、図１４Ｃに示してあるブロック群プロセッサ１３００が起動してインターモードブロックをイントラモードブロックに変換する。この場合、変換は、予め特定された固定のイントラリフレッシュレート（intra refrech rate）で行われる。別法として、上記変換は、測定ドリフト量に比例するイントラリフレッシュレートで行うこともできる。また、信号のレート歪み特性を考慮して、イントラリフレッシュレートと、イントラブロック及びインターブロックの符号化に用いられる量子化器との間で適当な妥協を設定することも可能である。
【００７９】
ここで、本発明は新しいイントラブロックを圧縮ドメインにおいて発生するものであり、そしてこのドリフト補償方式は解像度の縮減を伴い或いは伴わずに任意のトランスコーダ即ち変換符号化器で行うことができる。
【００８０】
ダウンサンプリング
本発明による変換符号化器では、任意のダウンサンプリング方法を採用することができる。しかしながら、好適なダウンサンプリング方法は、Sun外の１９９９年１１月１０日付けの米国特許第５,８５５,１５１号「Method and apparatus for down-converting a digital signal」に記載されているダウンサンプリング方法が有利である。なお、この米国特許明細書の開示内容は本明細書において参考のために援用する。
【００８１】
このダウンサンプリング方法の概念は図１５Ａに示してある。１つの群は４つの
【数５６】

ＤＣＴブロック１５０１を含む。即ち、群の大きさもしくはサイズは、
【数５７】

である。ブロック群に周波数合成もしくはフィルタリング１５１０を適用して単一の
【数５８】

ＤＣＴブロック１５１１を発生する。この合成されたブロックからダウンサンプリングされたＤＣＴブロック１５１２を抽出することができる。
【００８２】
上記動作は、２Ｄ演算を用いるＤＣＴドメインに関して説明したが、しかしながら、演算はまた分離可能な１Ｄフィルタを用いて行うことも可能である。更にまた、演算は、完全に空間ドメイン内で行うこともできる。また、Vetro外の１９９８年３月６日付けの米国特許願Ｓｎ. ０９／１３５,９６９「Three layer scalable decoder and method of decoding」に記述されている方法を用いて等価な空間ドメインフィルタを導出することができる。なお、この米国特許願明細書の開示内容も参考のために本明細書において援用する。
【００８３】
本発明による変換符号化器においてダウンサンプリング方法を使用する主たる利点は、マクロブロック内のサブブロックの正しい次元（dimension）が直接得られることである。例えば、４つの８×８ＤＣＴブロックから単一の８×８ブロックを形成することができる。他方、従来のダウンサンプリング方法では、マクロブロックの出力サブブロックにおいて所要の次元に等しくない次元でダウンサンプリングされたデータが生成されている。例えば、８×８ＤＣＴブロックから、４つの４×４ＤＣＴブロックを得ている。従って、従来方法では、単一の８×８ＤＣＴブロックを構成するために付加的なステップが必要とされることになる。
【００８４】
上述のフィルタは、アプサンプリングを必要とする図１１に示したアーキテクチャを効率的に実現する上に有用なコンポーネントである。一般に、ここで導出されるフィルタは、解像度縮減或いはドリフト補償を伴う或いは伴わずに、アプサンプリングされたＤＣＴデータに対し演算を必要とする任意のシステムに適用可能である。
【００８５】
アプサンプリング
本発明においては、従来の任意のアプサンプリング手段を使用することができる。しかしながら、先に引用したVetro外の米国特許願「Three layer scalable decoder and method of decoding」には、最適なアプサンプリング方法は、ダウンサンプリング方法に依存することが述べられている。従って、ダウンサンプリングフィルタ
【数５９】

に対応するアプサンプリングフィルタ
【数６０】

を使用するのが有利である。なお、上記２つのフィルタ間の関係は次式で与えられる。
【数６１】

【００８６】
上式から導出されるフィルタに関連し２つの問題がある。第１の問題は、ＤＣＴフィルタが反転可能ではないために、これらフィルタは空間ドメインフィルタにしか適用できないことである。しかしながら、対応の空間ドメインフィルタを導出してＤＣＴドメインに変換することはできるので、これはそれほど大きな問題とはならない。
【００８７】
しかしながら、第２の問題は、このようにして得られるアプサンプリングフィルタが図１５Ｂに示すプロセスに対応する点で事情は異なってくる。このプロセスにおいて、例えば、
【数６２】

ブロック１５０２は単一の
【数６３】

ブロック１５３０にアプサンプリング（１５２０）される。アプサンプリングが全て空間ドメイン内で行われる場合には問題は生じない。しかしながら、アプサンプリングがＤＣＴドメインで行われる場合には１つの
【数６４】

ＤＣＴブロック、即ち、１つのＤＣＴコンポーネントに対処しなければならない。これは、アプサンプリングされるＤＣＴブロックが標準のＭＢフォーマット、即ち、４つの
【数６５】

ＤＣＴブロック（但し、Ｎ＝４）であることを要求する演算には適さない。即ち、アプサンプリングされたブロックはそれより大きな数の元ブロックと同じフォーマット或いは次元を有する。
【００８８】
ＤＣＴドメインにおける上述のアプサンプリング方法は、本発明と関連して述べた変換符号化器での使用には適していない。図１１Ａを参照するに、アプサンプリングされたＤＣＴデータは混合ブロックプロセッサ１３００から出力されるＤＣＴデータから減算される。これら２つのブロックの２つのＤＣＴデータは同じフォーマットを有さねばならない。従って、図１５Ｃに示したアプサンプリングを行うことが可能なフィルタが要求される。ここで、単一の
【数６６】

ブロック１５０２は４つの
【数６７】

ブロック１５５０にアプサンプリング（１５４０）されている。このようなフィルタは従来考慮されていなかったし、また従来技術としても存在しないので、１Ｄの事例についての式を以下に説明する。
【００８９】
なお、以下に述べる式における表記法と関連し、小文字の変数は空間ドメインの信号を表し、他方、大文字の変数はＤＣＴドメインにおける等価信号を表すものとする。
【００９０】
図１６に示すように、Ｃ１６０１はＤＣＴドメインでアプサンプリングすべきＤＣＴブロックを表し、ｃ１６０２は空間ドメインにおける等価ブロックを表す。これら２つのブロックはＮ−ｐｔＤＣＴ及びＩＤＣＴ１６０３の定義により互いに関連付けられる。例えば、Rao及びYipの「Discrete Cosine Transform: Algorithms, Advantages and Applications」Academic, Boston, 1990を参照されたい。便宜上、下に数式で表す。
【００９１】
ＤＣＴの定義は、下式で与えられる。
【数６８】

また、ＩＤＣＴの定義は、下式で与えられる。
【数６９】

上式（１３）及び（１４）において、
【数７０】

である。
【００９２】
上から、ブロックＥ１６１０は
【数７１】

１６１１でのフィルタリングＣに基づくアプサンプリングされたＤＣＴブロックを表し、ｅは式（１２）で与えられる
【数７２】

１６２１でのフィルタリングｃに基づくアプサンプリングされた空間ドメインブロックを表す。ｅ及びＥは２Ｎ−ｐｔＤＣＴ／ＩＤＣＴ１６３０により関連付けられる点に注意されたい。フィルタリングされる入力の入／出力関係は次式で与えられる。
【数７３】

【００９３】
図１６を参照するに、所望のＤＣＴブロックはＡ１６１１及びＢ１６１２で表されている。この目的とするところは、Ｃから直接それぞれＡ及びＢを計算するのに使用することができるフィルタ
【数７４】

１６４１及び
【数７５】

１６４２を導出することである。
【００９４】
第１番目のステップで、式（１４）を式（１６ｂ）に代入する。
【００９５】
これによって得られる式は、ＤＣＴ入力Ｃの関数としての空間ドメイン出力ｅの式であり、次式のように表される。
【数７６】

【００９６】
式（１７）を用いＣでＡ及びＢを表すと、ａ、ｂ及びｅ間の空間ドメイン関係は次のようになる。
【数７７】

上式中ｉは空間ドメイン指標（インデックス）を表す。ａに関するＤＣＴドメイン表現式は次式で与えられる。
【数７８】

【００９７】
式（１７）乃至（１９）から次式が得られる。
【数７９】

上式は等価的に次のように表される。
【数８０】

上式中、
【数８１】

である。同様にして、下式が成り立つ。
【数８２】

上式は等価的に下式で表される。
【数８３】

上式中、
【数８４】

である。
【００９８】
次いで、上記のフィルタは、所与の次元もしくは大きさの単一のブロックを、それぞれが元ブロックと同じ次元を有する多数のブロックにアプサンプリングするのに用いることができる。一般に、ここで導出したフィルタは、アプサンプリングされるＤＣＴデータに演算が要求される任意のシステムに適用可能である。
【００９９】
式（２２）及び（２５）によって与えられるフィルタを実現するために、フィルタタップのｋ×ｑ行列を考える。ここでｋは出力ピクセルの指標（インデックス）であり、ｑは入力ピクセルの指標（インデックス）である。１Ｄデータに対しては、出力ピクセルは行列乗算として計算される。２Ｄデータに対しては２つのステップが取られる。先ず第１に、データを第１の方向、例えば水平方向にアプサンプリングする。次いで、水平方向にアプサンプリングしたデータを第２の方向、例えば垂直方向にアプサンプリングする。アプサンプリングのための方向の順序は、逆にしてもその結果には影響はない。
【０１００】
水平方向のアプサンプリングの場合には、ブロック内の各列が個別に演算操作され、Ｎ次元の入力ベクトルとして取り扱われる。各入力ベクトルは、式（２１）及び（２４）に従ってフィルタリング処理を受ける。このプロセスの出力として２つの標準のＤＣＴブロックが得られる。
【０１０１】
垂直方向のアプサンプリングでは、ブロック内の各行が個別に演算操作され、Ｎ次元の入力ベクトルとして取り扱われる。水平方向におけるアプサンプリングの場合と同様に、各入力ベクトルは、式（２１）及び（２４）に従ってフィルタリング処理を受ける。このプロセスの出力として図１５Ｃに示すように４つの標準のＤＣＴブロックが得られる。
【０１０２】
構文変換
本発明による変換符号化器もしくはトランスコーダの用途もしくは適用に関する以上の説明から明らかなように、本発明の主要な用途の１つはＭＰＥＧ−２からＭＰＥＧ−４への変換である。従って、力点は主に、低空間解像度への変換符号化の際のドリフト補償に用いられるアーキテクチャ並びに低空間解像度への変換を支持する付加的な技術に置いた。
【０１０３】
しかしながら、標準の符号化方式間の構文変換も別の重要な対象である。しかしながら、このことについては、既に出願中の米国特許明細書に記述されているところであるので、ここでは詳細に立ち入らないことにする。
【０１０４】
以上、好適な実施例と関連して本発明について説明したが、本発明の精神及び範囲内で種々な他の適応及び変更が可能であることは理解されるでべきである。従って、特許請求の範囲に記載の対象は、上記のような変形及び変更例をも包摂するものであることを付記する。
【図面の簡単な説明】
【図１】従来のカスケード接続の変換符号化器もしくはトランスコーダのブロックダイヤグラムである。
【図２】ビットレート縮減用の従来の開ループ変換符号化器のブロックダイヤグラムである。
【図３】ビットレート縮減用の従来の閉ループ変換符号化器のブロックダイヤグラムである。
【図４】空間解像度縮減用の従来のカスケード接続の変換符号化器のブロックダイヤグラムである。
【図５】空間解像度縮減のための従来の開ループ変換符号化器のブロックダイヤグラムである。
【図６】従来の運動ベクトル写像もしくはマッピングのブロックダイヤグラムである。
【図７】本発明による第１のビットストリーム変換符号化を空間解像度縮減に適用した本発明の第１の実施例を示すブロックダイヤグラムである。
【図８】本発明によるビットストリームの縮減空間解像度への変換符号化を適用した本発明の第２の実施例を示すブロックダイヤグラムである。
【図９】本発明による空間解像度縮減のための開ループ変換符号化器のブロックダイヤグラムである。
【図１０】本発明による縮減解像度でドリフト補償を行う空間解像度縮減用の第１の閉ループ変換符号化器のブロックダイヤグラムである。
【図１１Ａ】本発明による元の解像度でドリフト補償を行う空間解像度縮減用の第２の閉ループ変換符号化器のブロックダイヤグラムである。
【図１１Ｂ】本発明による元の解像度でドリフト補償を行う空間解像度縮減用の第３の閉ループ変換符号化器のブロックダイヤグラムである。
【図１２】マクロブロックモード、ＤＣＴ係数データ及び対応の運動ベクトルデータを含むマクロブロック群の一例を示す図である。
【図１３】本発明によるブロック群プロセッサのブロックダイヤグラムである。
【図１４Ａ】本発明による第１のブロック群処理方法を図解するブロックダイヤグラムである。
【図１４Ｂ】本発明による第２のブロック群処理方法を図解するブロックダイヤグラムである。
【図１４Ｃ】本発明による第３のブロック群処理方法を図解するブロックダイヤグラムである。
【図１５Ａ】ＤＣＴもしくは空間ドメインにおけるダウンサンプリングの従来の考え方を図解する図である。
【図１５Ｂ】ＤＣＴもしくは空間ドメインにおける従来のアプサンプリングを図解するブロックダイヤグラムである。
【図１５Ｃ】本発明によるＤＣＴドメインにおけるアプサンプリングを図解するブロックダイヤグラムである。
【図１６】本発明によるＤＣＴドメインにおけるアプサンプリングを図解するダイヤグラムである。

Claims

イントラモードマクロブロック及びインターモードマクロブロックを含み、各マクロブロックがＤＣＴ係数及び運動ベクトルを含む部分的に復号された入力ビットストリームのマクロブロック群を変換符号化する方法において、
解像度縮減時に単一マクロブロックに写像されるようなマクロブロックの集合からなる前記マクロブロック群内に、インターモードマクロブロックが存在し且つイントラモードマクロブロックが存在する場合にのみ、該マクロブロック群のモードが同じになるように前記イントラモードマクロブロック及び前記インターモードマクロブロックの一方のモードを他方のモードにマッピングし、且つ前記ＤＣＴ係数及び運動ベクトルを各変更されたマクロブロックに対しマッピングに従い修正し、
ＤＣＴドメインにおいて高周波係数をマスキングすることにより、前記各マクロブロック群をダウンサンプリングして縮減された解像度のマクロブロックを生成し、圧縮されたビットストリーム出力とする変換符号化方法であって、
前記入力ビットストリームを可変長復号して逆量子化ＤＣＴ係数及び全解像度の運動ベクトルを生成するステップと、
前記逆量子化ＤＣＴ係数を逆量子化して、マクロブロック群を混合ブロック群から非混合ブロック群にするための混合ブロックプロセッサを介した後に、ダウンサンプリングして再量子化されたＤＣＴ係数を生成するステップと、
前記全解像度の運動ベクトルをマッピングして縮減解像度の運動ベクトルを生成するステップと、
前記再量子化されたＤＣＴ係数及び前記縮減解像度の運動ベクトルを可変長符号化して前記圧縮されたビットストリーム出力とするステップと
を含むことを特徴とする変換符号化方法。
各変更されたマクロブロックのモードをインターモードにマッピングし、各変更されたマクロブロックの運動ベクトル及びＤＣＴ係数を、ビットストリームに含まれる運動ベクトルが比較的小さい場合に、零にセットすることを特徴とする請求項１に記載の方法。
各変更されたマクロブロックのモードをインターモードにマッピングし且つ変更されたブロックの運動ベクトルを、テクスチャ及び運動ベクトルを含み得る隣接のブロック内のデータに基づいて予測し、ビットストリームに含まれる運動ベクトルが比較的大きい場合に、前記変更されたマクロブロックのＤＣＴ係数をインターモードの写像と適合するように変換することを特徴とする請求項１に記載の方法。
各変更されたマクロブロックのモードをイントラモードにマッピングし且つ変更されたマクロブロックの運動ベクトルを零にセットし、ビットストリームが所定量よりも大きい運動量を有する場合に前記変更されたマクロブロックのＤＣＴ係数をイントラモードの写像と適合するように変換することを特徴とする請求項１に記載の方法。
部分的に復号された入力ビットストリームがＭＰＥＧ−２フォーマットであり、圧縮された出力ビットストリームがＭＰＥＧ−４フォーマットであることを特徴とする請求項１に記載の方法。
マルチメディアコンテンツ配布システムの適応型サーバで符号変換（transcoding）を行うことを特徴とする請求項１に記載の方法。
符号変換を家庭用ネットワークのトランスコーダにおいて行うことを特徴とする請求項１に記載の方法。
イントラモードマクロブロック及びインターモードマクロブロックを含むマクロブロックの群であって、前記各マクロブロックがＤＣＴ係数及び運動ベクトルを含む部分的に復号された入力ビットストリームのマクロブロック群を変換符号化する装置において、
解像度縮減時に単一マクロブロックに写像されるようなマクロブロックの集合からなる前記マクロブロック群内に、インターモードマクロブロックが存在し且つイントラモードマクロブロックが存在する場合にのみ、該マクロブロック群のモードが同じになるように前記イントラモードマクロブロック及び前記インターモードマクロブロックの一方のモードを他方のモードにマッピングし、且つ前記ＤＣＴ係数及び運動ベクトルを各変更されたマクロブロックに対するマッピングに従って修正し、
ＤＣＴドメインにおいて高周波係数をマスキングすることにより、前記各マクロブロック群をダウンサンプリングして縮減された解像度のマクロブロックを生成し、圧縮された出力ビットストリームを発生する変換符号化装置であって、
前記入力ビットストリームを可変長復号して逆量子化ＤＣＴ係数及び全解像度の運動ベクトルを生成する手段と、
前記逆量子化ＤＣＴ係数を逆量子化して、マクロブロック群を混合ブロック群から非混合ブロック群にするための混合ブロックプロセッサを介した後に、ダウンサンプリングして再量子化されたＤＣＴ係数を生成する手段と、
前記全解像度の運動ベクトルをマッピングして縮減解像度の運動ベクトルを生成する手段と、
前記再量子化されたＤＣＴ係数及び前記縮減解像度の運動ベクトルを可変長符号化して前記圧縮されたビットストリーム出力とする手段と
を含むことを特徴とする変換符号化装置。