JP4724240B2 - ビデオ信号を処理する方法 - Google Patents

Description

本発明は、ディジタルビデオ・エンコーダに必要な帯域幅を縮小するための画像圧縮に関する。

米国連邦通信委員会（ＦＣＣ）は、Ｇｒａｎｄ Ａｌｌｉａｎｃｅ（ＧＡ）より提案されたディジタル高精細度テレビジョン（ＨＤＴＶ）の標準を承認して米国におけるディジタル地上テレビジョン放送への道を開いた。ＧＡのＨＤＴＶシステムはＭＰＥＧ２ビデオ圧縮標準を採用した。詳細については、「インフォメーション・テクノロジィ‐動画および関連するオーディオ情報の一般的符号化：ビデオ」ＩＳＯ／ＩＥＣ１３８１８‐２：１９９６（Ｅ）を参照のこと。現代の高度なビデオ圧縮方法、例えば、ソース処理、動き評価と圧縮、変換表示と統計的符号化、を利用して、ＭＰＥＧ圧縮方式は伝送ビットレートを５０分の１以上の率で圧縮することができる。１秒間のフル（ｆｕｌｌ）ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）信号は圧縮前に約１０万ビットを必要とする。ＧＡの仕様書で提案されたように、毎秒６０フィールドで１９２０ｘ１０８０ピクセル（ｐｉｘｅｌ：画素）の画像は、ディジタル放送用に毎秒１８メガビットに圧縮される。

ＧＡビデオ圧縮システムは通常、２つの主要なサブシステム（プレプロセッサとＭＰＥＧビデオ・エンコーダ）から成り、その後に出力バッファが続く。プレプロセッサへの入力はＲＧＢ形式のアナログ・ビデオである。プレプロセッサ（ｐｒｅ−ｐｒｏｃｅｓｓｏｒ）は入力信号をディジタル化し、各カラー成分についてガンマ補正を行ない、撮像カメラの非線形応答を補償する。ガンマ補正は、圧縮された画像、特に画像の暗い部分、に含まれている量子化雑音の可視性を減少させる。次に、プレプロセッサは、ディジタル化され且つガンマ補正されたＲＧＢサンプルをＳＭＰＴＥ２４０Ｍ ＹＣ１Ｃ２カラー・スペース（ｃｏｌｏｒ ｓｐａｃｅ）に変換する。最後に、その結果生じるクロミナンス成分はサブサンプル（ｓｕｂ−ｓａｍｐｌｅ）され、４：２：０のディジタル・ビデオ入力信号を形成する。今述べた仕事に加えて、プレプロセッサは画像の変換も行う。例えば、ディジタル衛星放送システムで、ビデオ信号は水平方向にライン当り７２０画素からライン当り５４４画素にデシメート（ｄｅｃｉｍａｔｅ）され、必要とされる帯域幅を更に減少させる。このビデオ信号はＭＰＥＧ２ビデオ・エンコーダに送られる。

ＭＰＥＧ２ビデオ・エンコーダは、フレーム間の時間的冗長性とフレーム内の空間的冗長性をある程度除去することにより、入力ディジタル・ビデオ信号を圧縮する。一般に、圧縮を行うには、上述したようにいくつかの異なる技術を連続的に利用する。量子化精度を調節することにより、エンコーダは圧縮されたビットストリームをアプリケーションで指定されるあらゆるレート（ｒａｔｅ）で発生することができる。ＭＰＥＧ２システムにおける量子化は、元の画像情報あるいは動き評価からの残存情報である、データブロックのＤＣＴ（離散コサイン変換）係数に基づいて行われる。量子化マトリックスをスケーラブル量子化ステップ・ザイズと組み合わせて使用し、量子化器は送信用の各ＤＣＴブロックからＤＣＴ係数のうちほんの小部分（ｓｍａｌｌ ｆｒａｃｔｉｏｎ）だけを選択して量子化し、その結果、データは著しく減らされる。量子化マトリックスは、ＤＣＴ係数の統計的分布とビデオ信号の内容により、フレームをベース（ｂａｓｅ）として変えることができる。１フレーム内の異なる領域について、マクロブロックの複雑性に基づき量子化ステップ・サイズをスケーリング（ｓｃａｌｉｎｇ）することにより、各マクロブロック毎に微調整することができる。一定の出力ビットレートについて、出力バッファはエンコーダで使用される制御信号を供給し、特定のフレームについて量子化ステップ・サイズを調節し、利用できる帯域幅内で量子化解像度を最大にする。

理想的には、ビデオ圧縮システムは、画像が再構成され表示されたときに失われていることが視聴者に気づかれない高周波成分を除去する。残りの低周波成分は、利用できる帯域幅内で適合するように量子化される。信号に導入される量子化雑音も、画像の再構成時に視聴者に気づかれないものでなければならない。しかしながら、実際のシステムでは、送信しようとする情報と利用できる帯域幅に対する量子化ステップ・サイズとの間にトレードオフ（ｔｒａｄｅ−ｏｆｆ）がなされる。もしシステムが量子化のために係数を十分に低下（ｄｒｏｐ）させなければ、システムは量子化ステップ・サイズを増大させ、その結果、再構成された画像にブロック状のアーティファクト（ｂｌｏｃｋｙ ａｒｔｉｆａｃｔ）を生じる。もし圧縮処理の間に画像があまりにも多くの高周波情報を失うならば、再構成された画像には他の顕著なエッジ・アーティファクトが含まれる。

また、各フレーム間の量子化の相違により、１画像グループ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ：ＧＯＰ）内の各フレームには変動する高周波成分が含まれる。例えば、Ｉフレームは、符号化の間、高周波係数がかなり低下され、それに対し、ＰフレームとＢフレームは、Ｉフレームで低下されたものに相当する高周波成分を保持する。高周波情報は、互いを再構成するために使用されたフレーム間で異なるので、再構成されたＧＯＰにはアーティファクトが含まれる。

これらの問題は、現在定められているＧＡシステム内で起こる。ＨＤ画像信号を更に圧縮すれば、表示される画像の質が低下するだけである。トランスポンダで一度に送信できる番組は１つだけなので、衛星放送のプロバイダはＨＤ信号を送信することを好まない。今のところ、２つの番組を同時に１つの衛星チャンネル（例えば、２４ＭＨｚ４‐ＰＳＫ変調）に適合させるのに十分なだけＨＤ番組を圧縮すると、視聴者にとって受け入れられない画質となる。したがって、チャンネルの使用が能率的でないので、衛星放送のプロバイダはＨＤＴＶを放送することをためらっている。同様に、地上放送のプロバイダは、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ：標準精細度）番組がいくつか存在できる１つのチャンネルを１つの番組が独占する場合にはＨＤ番組をフルに提供する約束をためらっている。

本発明の原理に従い、ディジタル画像プロセッサは、ビデオ信号のタイプを識別し、元の信号形式を必要に応じて異なる形式に選択的に変換する。変換された信号は瀘波され、必要に応じて元の形式に再変換される。瀘波された信号は、比較的低い解像度に変換され、目標のビットレートに圧縮される。最後に、圧縮された信号は出力データ・チャンネルに送られる。

本発明によるビデオ圧縮器の１つの構成を示す。 図１からの装置２２の詳細を示す。 装置２２内に含まれる適応形フィルタの１つの可能な応答を示す。 本発明を使用する例示的な送信システムの流れ図である。 本発明を使用する例示的な受信システムの流れ図である。

本発明の原理による装置を備えるＭＰＥＧ２エンコーダは、エンコーダの前に２次元の（例えば、垂直方向と水平方向の）フィルタを備えている。エンコーダと、出力バッファとフィルタはそれぞれ、総合能率を改善するために他の装置で利用される情報を発生する。このような情報は、例えば、画像の動き、画像のコントラスト、量子化マトリックスの選択、スケール・ファクタの選択、各装置からのビットレート、画像のテクスチャ（ｉｍａｇｅ ｔｅｘｔｕｒｅ）などに関する。この情報は、符号化処理を監督するコントローラによって、あるいは装置内に在る個々のコントローラによって、装置間に伝達される。

コントローラは入来する情報を評価し、１画像グループ、１フレーム、または１部分フレームにわたる共通性（ｃｏｍｍｏｎａｌｔｙ）を識別する。これはその画像グループ、フレームあるいは部分フレームを目標のビットレーレに能率的に符号化するためにフィルタおよび／またはエンコーダの動作を変更するために有利に使用することができる。一般に、エンコーダを調節するよりもフィルタを調節するほうが誘発されるノイズが少ないので、フィルタが調節される。また、このフィルタは実際には、１組のフィルタであって、必要に応じて、個々のフィルタ係数を調節することにより、最大限の融通性が得られる。これらのフィルタは、反折返し（ａｎｔｉ‐ａｌｉａｓｉｎｇ）水平低域フィルタ、垂直低域フィルタ、および２次元低域フィルタであって、通常、今挙げた順に配置される。コントローラは受信した情報を現在のフィルタ／エンコーダのセットアップと対照して評価し、１つまたはそれ以上の支配的な共通性に従って、１つまたはそれ以上のフィルタの調節および／またはエンコーダの調節を行う。最終結果として、入力信号はフィルタにより低域瀘波され、これによって一般にエンコーダは、一様に符号化されているデータの支配的な共通性に関連して、１画像グループ、１フレーム、または部分フレームにわたり画像を一様に符号化することができる。

符号化された信号は、利用できる帯域幅で送信され、次に再構成され、別のやり方では存在していたであろうアーティファクトなしに表示される。画像当りフレーム１９２０ｘ１０８０の画素を有する高精細度信号の場合、水平解像度は、瀘波以後で且つ符号化前で、ライン当り１２８０画素に減少され、送信された信号の帯域幅を更に減少させる。その結果として、僅かなソフトウェアの変更によりＨＤ受像機が受信し復号化しそして表示することのできるハイブリッド画像解像度が生じる。

本発明によるビデオ圧縮システムの例示的な構成を図１に示す。入力ビデオ信号は映画検出器２０により受信される。検出器２０は、受信された信号が、テレシネ方式により毎秒２４フレームから毎秒３０フレームに再フォーマット化された映画（フィルム）信号であるかどうか識別する。再フォーマット化された映画信号は、以下に述べるように、適応形画像プロセッサ２２の適正なセクションに送られる。もし入力信号が再フォーマット化された映画信号でなければ、この信号は適応形画像プロセッサ２２の別のセクションに進む。テレシネ映画信号の識別は既知の方法で行われる。

プロセッサ２２は、コントローラ２８を介して出力バッファ２６とＭＰＥＧ２エンコーダ２４から制御情報を受け取り、画像フレームを瀘波して、エンコーダ２４がその画像フレームを、利用できるビットレートの範囲内にあり且つ顕著なアーティファクトから免れるように、能率的に符号化できるようにする。プロセッサ２２は、平均ビットレートに制約されるＭＰＥＧ２符号化ビットストリームの再構成された画像の質を改善するために必要とされる２つの次元（２‐Ｄ：例えば、水平方向と垂直方向）でこの信号を瀘波する。目標はソースの局所的２‐Ｄ周波数の内容を変更し、画像の鮮鋭度および符号化アーティファクトに関して、再構成されたＭＰＥＧ２画像にもっとも害の少ない方法でＭＰＥＧ２符号化能率を改善することである。

２Ｄ（２次元）フィルタは画像を低域瀘波する。最適には、除去される高周波情報は冗長性のものであるか、あるいは視聴者に目立たないものである。実際上、望ましいビットレートを達成するために、視聴者に目立つ高周波情報はある程度除去される。ＭＰＥＧ２符号化の前にプロセッサ２２を備えるシステムが発生する画像は以下に述べるように、プロセッサ２２のないシステムよりも優れている。

瀘波された信号はＭＰＥＧ２エンコーダ２４で符号化される。エンコーダ２４は、コントローラ２８を介して、プロセッサ２２と出力バッファ２６から画像パラメータを受け取り、利用できるビットレートに従うようＭＰＥＧ２圧縮を調節する。圧縮はＧＡ仕様書に記述されているように行れる。エンコーダ２４は圧縮されたデータを出力バッファ２６に送る。バッファ２６より、圧縮されたデータは所定のレートで供給され、トランスポート符号化され変調され、そして既知の信号処理技術を使用して、送信チャンネルを経由して送信される。変調に先立ち、圧縮された信号は統計的マルチプレクサに送られ、単一のチャンネルで送信するための多数の番組を多重化される。バッファ２６以後の信号処理装置はよく知られているので、図面を簡略化するために、図１に示されていない。

ビデオ圧縮システムは、いかなるタイプのビデオ信号でも受け入れるように構成することができる。図１のシステムは、既知の工業標準に従ってフォーマット化されたテレビジョン（カメラ）番組と映画（フィルム）番組の両方を受け入れるように構成される。１つの一般的な構成は、例えば「発明の背景」で述べたように、図１のシステムがプレプロセッサからの出力を受け取ることであろう。システムは、適正なハードウェアおよび／またはソフトウェアを付け加えることにより、他のタイプのビデオ信号も受け入れるように構成できる。このような構成は図１を簡略化するために図示されていない。

映画検出器２０は、符号化能率を改善するために使用することができる、入力信号における或る関係の存在を認識する：（タイプ１）毎秒６０フィールド飛越し走査されたソース、（タイプ２）毎秒６０フィールド飛越し走査された毎秒３０フレームの映画、（タイプ３）毎秒６０フィールド飛越し走査された毎秒２４フレームの映画、（タイプ４）順次走査されたソース、（タイプ５）毎秒６０フレーム順次走査された毎秒３０フレームの映画、および（タイプ６）毎秒６０フレーム順次走査された毎秒２４フレームの映画。検出は外部からの制御信号（図示せず）に応答して行われ、あるいは現在の標準精細度（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ：ＳＤ）ＭＰＥＧ２エンコーダに使用されているような既知の技術により行われる。信号形式(フォーマット)の情報は、以下に述べるように、信号と共に適応形画像プロセッサ２２に送られる。また、映画検出器２０は、信号が飛越し走査タイプのものであるかそれとも順次走査タイプのものであるかを検出し、その情報をプロセッサ２２に送る。これらの走査タイプは例示的なものであり、プロセッサ２２を通して信号が方向づけされるパラメータを定める。その他のフィールド／フレームレートで実施することもできる。

適応形画像プロセッサ２２は、エンコーダ２４で圧縮されるデータの量を減らすいくつかのプログラム可能な機能を遂行する。プロセッサ２２は、各フレームに作用し、処理されたフレームは最適に符号化され、視聴者に目立つノイズを除去しまたは大いに減少させる。一般に、プロセッサ２２は、変動する空間的２Ｄ(２次元)低域フィルタと見なされる。各画像フレームを空間的にダウン‐サンプル（ｄｏｗｎ−ｓａｍｐｌｅ）し、信号から選択された２Ｄ高周波成分を適応的に瀘波するからである。この適応的瀘波は、一連のフレームにわたって、単一のフレームについて、あるいは各画素毎に、調節することができ、処理済みフレームを形成する。

プロセッサ２２は、いかなるタイプの信号についても符号化を容易にすることができる。しかしながら、この実施例では、プロセッサ２２はＧＡ仕様書で定められるＨＤデータで動作するようにプログラムされる。これは、画像当り１９２０ｘ１０８０画素かまたは画像当り１２８０ｘ７２０画素にすることができる。ＧＡ仕様書によれば、各ＨＤ形式は、放送用に毎秒約１８メガビットを必要とする。説明を簡略化するために、１９２０ｘ１０８０形式だけを詳細に説明する。この説明は、１２８０ｘ７２０形式あるいは他のいかなる形式(フォーマット)についても等しく当てはまる。

図２は、適応形画像プロセッサ２２の詳細を示す。動き検出器２０から受信される信号形式情報に依り、画像信号はコントローラ２８（図１）により飛越し走査／順次走査変換器２２１（タイプ１）、デテレシネ装置２２２（タイプ２、３）に送られ、あるいは未変更（タイプ４−６）を通って空間的帯域制限低域フィルタ２２３に送られる。フィルタ２２３は、装置２２１と２２２が信号を処理した後で、これらの装置の出力を受け取る。

もし画像信号の形式に６０Ｈｚの飛越しフィールドが含まれていれば、変換器２２１はその信号を受信し、その信号を毎秒６０フレームの割合で順次フレームに変換する。順次フレームは各フレーム内にすべての画像情報を含んでいる。典型的に、順次走査信号を瀘波しても、飛越し走査信号のフィールド情報を瀘波するときに生じるようなアーティファクトを生じない。変換器２２１は既知の方法を利用して、飛越しフィールドを順次フレームに変換する。

デテレシネ（ｄｅ‐ｔｅｌｅｃｉｎｅ）装置２２２は、６０Ｈｚ飛越し走査された映画の冗長フィールドを除去し、元の順次走査された映画を再構成する。この順次形式により、後に続く垂直低域瀘波は動きのアーティファクトを免れることができる。もし映画ソース（タイプ２またはタイプ３）の入力がタイプ１のソース（ｓｏｕｒｃｅ）として処理されたなら、垂直低域瀘波により、映画ソースの素材（ｍａｔｅｒｉａｌ）を検出して適正に処理するＭＰＥＧ２エンコーダの性能は低下する。符号化能率も低下する。装置２２２は信号を順次形式に変換し、冗長フィールド／フレームを除去してから瀘波する。冗長情報は異なって瀘波されることもあるからである。瀘波する前に冗長情報を除去しないと、この情報は瀘波後には同じものではなくなり、エンコーダはこの信号をタイプ２／３の信号として認識しないこともある。そうなれば、エンコーダは、冗長のため除去されたであろう情報を符号化することになる。

また、プロセッサ２２の設計は、装置２２２から単一の出力クロックを供給することにより簡略化される。もし装置２２２が出力として順次フィルム画像を毎秒２４フレームおよび毎秒３０フレームの割合で供給するならば、２個の出力クロックおよびサポート回路が必要となる。

最初に毎秒３０フレーム順次形式で発生された信号はフィルタ２２３に直接達する。フィルタ２２３は、完成した画像フレームとして表されるビデオ情報を期待している。空間的低域フィルタ２２３は実際には１組のフィルタである。例えば、第１のフィルタは反折り返し水平低域フィルタである。第２のフィルタは垂直低域フィルタである。最後のフィルタは前述した２Ｄ低域フィルタである。各フィルタ・タップの係数は、図１に見られるように、エンコーダ２４とバッファ２６からの制御情報に従って適応的に設定される。順次信号は水平方向に低域瀘波され、サンプルレート（ｓａｍｐｌｅ ｒａｔｅ）変換器２２６における後続のダウン・サンプリング（ｄｏｗｎ ｓａｍｐｌｉｎｇ）からの折返しを除去する。ライン当り１９２０画素の最終水平出力は、あとで述べるように、ライン当り１２８０画素になる。最後の信号内の折返し雑音を除去するために、低域フィルタ２２３はライン当り６４０サイクルのカットオフ周波数を有する。装置２２３内に含まれている水平反折返しフィルタは、以下のタップ係数を有する１７タップの有限インパルス応答（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：ＦＩＲ）フィルタである：
［ｆ０，ｆ１,...，ｆ１５，ｆ１６］＝［−４，１０，０，−３０，４８，０，−１２８，２７６，６８０，２７６，−１２８，０，４８，−３０，０，１０，−４]／１０２４

ビットレートを減らしてＨＤビデオ信号を符号化すると、通常、ビデオ信号の帯域幅を更に減らすために付加的な垂直低域瀘波を必要とする。ＭＰＥＧ符号化以前に垂直高周波エネルギを除去することは、受け入れられる総合画質を達成するために必要である。最高位相感度の垂直周波数領域が減衰される。垂直カットオフ周波数はナイキスト周波数の或る端数に設定される。例えば、或るビデオ素材について適正なカットオフ周波数はＨＤ入力信号のライン周波数の約２分の１である。１０８０ライン／画像高さ（ｌ／ｐｈ（ｐｉｃｔｕｒｅ ｈｅｉｇｈｔ））を有するＨＤ信号の場合、これは５４０（ｌ／ｐｈ）のカットオフに相当する。この周波数はプログラム可能であり、プログラム可能なカットオフ周波数は、図１のエンコーダ２４およびバッファ２６より得られるパラメータからコントローラ２８によって定められる（すなわち、望ましいビットレート、量子化マトリックスなど）。装置２２３内に含まれる垂直低域フィルタは、以下の係数を有する１７タップＦＩＲフィルタである：
［ｆ０，ｆ１,...，ｆ１５，ｆ１６］＝［−４，−７，１４，２８，−２７，
−８１，３７，３１６，４７２，３１６，３７，−８１，−２７，２８，１４，−７，−４］／１０２４

これに代るものとして、カットオフ周波数はＳＤ信号のライン周波数に等しいかまたはその２倍になる。一般に、垂直低域フィルタは水平反折返しフィルタの後に続く。

プロセッサ２２は、垂直デシメーション（ｄｅｃｉｍａｔｉｏｎ）よりむしろ垂直瀘波を行い、それにより一様な垂直解像度を維持する。現在、飛越し走査ビデオ信号についてはデシメーションよりも瀘波のほうが好まれる。飛越し走査画像シークェンスについて垂直ライン解像度を変換することは複雑なハードウェアとソフトウェアを必要とし、その結果、受像機のコストが高くなる。垂直サンプルレートの変換は、タップの複雑性が増大しそれとナイキスト・サンプリング（オーバーサンプリングなし）とが相俟って、垂直高周波性能を弱める。現在、受像機のコストを考慮すると、アーティファクトと符号化ビットレートを低減させるために垂直解像度を低下させることは思いとどまらせられる。上述した垂直低域フィルタの代りに、現在の垂直サンプルレート変換器の技術を使用することにより、表示画像は著しく劣化される。しかしながら、能率的で且つコスト面で効果的な垂直サンプルレート変換器を、本発明の原理から離れることなく、ここで述べた垂直フィルタの代りに使用することができる。

水平および垂直低域フィルタの係数は、ソフトウェアによって変更することができ、再構成された画像にアーティファクトを発生することなく目標のビットレートを達成するために、もし必要ならば、画素レベルに利用される。一般に、フレームに基づく係数の変更で十分である。比較的遅いプロセッサの場合、代りの方法は、それらのフィルタについていくつかの異なる係数の組を予めプログラムし、処理されている画像情報について最も適切な組を選択することである。適応形フィルタの融通性は比較的大きいので、システム全体は、適応形フィルタのないシステムと比較して、アーティファクトの少ないデータストリームを発生することができる。

装置２２３によって信号が水平および垂直方向に低域瀘波された後で、コントローラ２２８は、量子化雑音を著しく導入せずに信号をフレームに基づきエンコーダ２４で一様に符号化することができるかどうか確かめる。そうであれば、以下に述べるように、信号はその形式に依り装置２２４、２２５または２２６に進む。しかしながら、符号化処理により信号中にノイズおよび／またはアーティファクトが導入されそうであれば、更に適応形瀘波を行うために信号は装置２２３内の２次元低域フィルタに送られる。プロセッサ２２、エンコーダ２４、および出力バッファ２６（図１）からの制御パラメータによって、コントローラ２８（または装置２２３内の個別のユニット・コントローラ）は、更なる瀘波が必要かどうか確かめる。この判定を行うために使用される制御パラメータは、例えば、動きおよびコントラストの測定値、利用できる量子化テーブル（表）、符号化能率および現在の目標ビットレートである。

装置２２３内の２Ｄフィルタは、水平方向または垂直方向だけでなく、主として斜め方向に沿って、画像フレームからの高周波情報を低減させる。人間の目は斜め方向と比較して、垂直方向と水平方向における高周波ノイズに非常に敏感である。エンコーダ２４による一様な量子化を可能にするために斜め方向に高周波情報を十分に除去すると、その結果、観察できるノイズの少ない、より良質の信号を生じる。斜めフィルタは、以前のすべての瀘波と同様に、画像フレーム全体について動作し、プログラム可能である。

斜めフィルタ（ｄｉａｇｏｎａｌ ｆｉｌｔｅｒ）は、エンコーダ内の量子化マトリックスと両立できる。量子化マトリックスはしばしば、Ｉフレームの量子化についてダイヤモンド形のマトリックスを使用する。しかしながら、これらのマトリックスはしばしばノイズを誘発する。何故ならば、ＢフレームとＰフレームはエンコーダ２４内で生じる圧縮／動き補償処理の間、高周波成分を保持する他のタイプの量子化マトリックスを使用するからである。プロセッサ２２のフィルタが各画像フレームから高周波情報を除去してから、ＭＰＥＧ２エンコーダ２４は、動き評価回路内でＩ、ＰおよびＢフレームの中へデータを処理する。したがって、一般に、高周波成分は、ＩフレームとＰおよびＢフレームから除去される。再構成のとき、画像は通常、ＭＰＥＧ２符号化により生じるアーティファクトから免れる。

図１に関して述べると、実際上、プロセッサ２２により一定のフレームを瀘波する前に、コントローラ２８は信号のパラメータ（例えば、動き、コントラストなど）を評価し、そして、必要とされる斜め瀘波を含む装置２２３内のすべてのフィルタの係数設定を確認する。一定のフレームの濾波処理の間、コントローラ２８はプロセッサ２２、エンコーダ２４およびバッファ２６から信号のパラメータを監視し、必要に応じて係数を変更し、最小限度のアーティファクト／ノイズで目標ビットレートを維持する。各フレームは、最新の信号パラメータに基づいて瀘波され圧縮のためにエンコーダ２４に送られ、それから、後続する情報がフィルタ２２３の中に入力されると、バッファ２６に送られる。

信号が毎秒２４フレームの映画信号として発生されると、この瀘波済み信号は３：２プルダウン装置２２４に加えられる。装置２２４は選択されたフレームを複製して、毎秒３０フレームの出力信号を供給する。これは既知の方法で行われる。次に、信号は装置２２４から水平ダウン・サンプリング変換器２２６に進む。

フィールド・サブ‐サンプリング装置２２５は、フィルタ２２３からの順次信号を、順次走査形式から飛越し走査形式に変換する。この変換は既知の方法で行われる。飛越し形式へ戻る変換がなければ、装置２２１からの順次フレームレートは６０Ｈｚなので、その信号の中には２倍の量のデータが含まれる。飛越し走査された信号は変換器２２６に加えられる。

サンプルレート変換器２２６は、フィルタ２２３から直接に、毎秒３０フレームの割合で順次信号を受け取る。また、装置２２４と２２５は、上述のように、信号を変換器２２６に供給する。変換器２２６はＨＤ信号を、選択された伝送形式にダウン・サンプルする。この形式は標準的な形式である必要はない。望まれるいかなる画像比およびフレーム・サイズでもよい。しかしながら、非標準的な形式は受像機の変更を必要とする。

変換器２２６が１９２０ｘ１０８０のＧＡＨＤＴＶ信号を受信すると、変換器２２６はその水平情報をダウン・サンプルし、１２８０ｘ１０８０のハイブリッド画素フレーム形式を出力する。ＧＡＨＤＴＶと互換性のある受像機は、１９２０ｘ１０８０画素および１２８０ｘ７２０画素を含む画像フレームを受信することができる。したがって、ＧＡと互換性の受像機は、１２８０画素の水平解像度および１０８０画素の垂直解像度をサポートするよう変更される。互換性の受像機のハードウェアは、垂直解像度の増加に関連して水平画素１２８０を水平画素１９２０にアップ・サンプルする。しかしながら、画像フレーム解像度１２８０ｘ１０８０画素（水平ｘ垂直）を、定められた形式として受信するのにＧＡに従う受像機は必要とされずプログラムもされない。ハードウェアはこの解像度を受信し復号化するために使用できるが、復号化して水平解像度だけを増加させるためにサポート用のソフトウェアを付け加えなければならない。ソフトウェアを追加することは、他の非標準的なフォーマットのために必要とされる新しいハードウェアを再設計し且つ追加することに比較して、簡単であり且つ安上りである。

プロセッサ２２はハイブリッドの１２８０ｘ１０８０形式を供給する。何故なら、現在の表示技術では、ライン当り１９２０画素の解像度を表示することはできないからである。現在のところ、最良のテレビジョン・モニタが表示できる解像度はライン当り約１２００〜１３００画素までにすぎない。したがって、水平方向の出力解像度をライン当り１２８０画素に制限することは、画質にほとんど悪影響を及ぼさない。既存の復号化および復元用の受像機ハードウェアによってサポートされる表示解像度（１２８０ｘ１０８０）を発生することにより、ソフトウェアの変更だけが必要なので、受像機製造者のうけるインパクトは最小である。ある種の、例えば衛星放送用の受像機の場合、ソフトウェアの変更は、衛星リンクを経由して、ダウンロードし且つ遠隔的にインストールすることができる。これらの受像機では、サービス技術者が関与する必要はない。

地上および衛星番組のプロバイダはＨＤ番組を放送したがらないので、ハイブリッド形式は有利である。衛星トランスポンダは約２４Ｍビット／秒（Ｍｂｐｓ）のデータストリームを送信する。地上ＨＤＴＶ放送は、１８ＭｂｐｓでのＨＤ番組を含む１９Ｍｂｐｓまでを、およびその他の情報（例えば、オーディオ、番組ガイド、条件付きアクセスなど）を、送信することができる。現在の衛星トランスポンダは各々がせいぜい１つのＨＤＴＶ番組を送ることができ、これでは利益が十分にあがらないと衛星番組のプロバイダは主張している。水平フレームの解像度を１９２０から１２８０に低減するだけでは、単一の衛星トランスポンダで２つのＨＤ番組を同時に送信するのに十分ではない。プロセッサ２２によって行われる瀘波は、このような２つのＨＤ送信を単一のチャンネルで可能にするので有利である。

プロセッサ２２によって得られる瀘波特性は種々の形状（ダイヤモンド、クロス、双曲線など）を有し、各フィルタの瀘波は斜め方向である。１つの可能な形状、２Ｄ双曲線、はこのアプリケーションでは特に有利であり、図３に示すような振幅対周波数特性を有する。調節可能フィルタのカットオフ周波数は通例、画像グループ、フレームあるいは選択された部分フレームがエンコーダ２４により一様に圧縮されるように設定される。もし必要であれば、付加的な水平および垂直の高周波情報も瀘波されるが、これは一般に必要とされない。画像の複雑性が変化するにつれて、あるいは利用できるビットレートが増加するにつれて、斜めフィルタおよび他の以前のフィルタによって瀘波されるデータの量は減少する。２Ｄフィルタは、例えば、各方向において１３個のタップ（１３ｘ１３）を有する２次元のＦＩＲとして、あるいは２Ｄ無限インパルス応答（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：ＩＩＲ）フィルタとして、説明することができる。

装置２２３内に含まれる２‐ＤＦＩＲフィルタは、以下のタップ係数を有する１３ｘ１３タップのフィルタである。

これらの係数について、ＤＣ利得は１０２４である。これらの係数は八分円の対称性を呈し、独立した２８個の係数を与える。対称的な係数領域は、調節可能なフィルタを比較的早くセットアップさせることができる。しかしながら、もし、例えば、瀘波されている画像または領域が画像の一部分において異なる特性を呈するならば、各八分円は異なることが起こり得る。

プロセッサ２２のフィルタ応答は、１組の係数毎に、１画素毎に、連続的に変動することがある。したがって、プロセッサ２２は、以下に述べるように、ビットレートの制約下で良い画質を維持するために、異なる動作パラメータを呈する。

前述したように、プロセッサ２２は、フィルタの適応性を定めるために使用されるパラメータに依りフィルタを適応的に瀘波するために適応的に変更することができる。例えば、異なる処理のために画像をいくつかの領域に分割するために画像フレームの変化を利用することができる。支配的なエッジ部は符号化誤差をその付近においてマスクするので、エッジ部は画像の重要な特徴であり、また画像領域を定めることができる。肌や空のような、複雑性の低い領域を識別するために比色法が使用される。テクスチャも領域として識別され処理される。テクスチャは一般にエッジほど重要ではない。テクスチャによって、他の領域よりも多く瀘波される領域が識別される。また、比較的高い符号化能率を必要とししたがって比較的瀘波を必要としない、重要な形状や動作を見つけだすために映画的な構成を使用することができる。一般に、背景は、カメラ光学の被写界深度によって和らげられ、いっそう激しく瀘波される。プロセッサ２２による異なる処理のために画像の注目される中心部を定めるためにパンおよび走査情報が使用される。

エンコーダ２４の動作はＭＰＥＧ２標準と両立できる。エンコーダ２４は、プロセッサ２２が性能を高めるために使用するコントローラ２８を介して情報を提供する。このような情報には、例えば、ビットレートの情報も含まれる。このビットレートの情報には、ＧＯＰ(１画像グループ)についての平均ビットレート、フレームのビットレート、およびマクロブロックまたはブロックのビットレートも含まれる。プロセッサ２２の性能を高める他の情報には、離散コサイン変換の複雑性、使用されている量子化マトリックスのタイプ、および使用されている量子化マトリックスのステップ・サイズが含まれる。また、プロセッサ２２は、その動作を調節して符号化性能を改善するためにコントローラ２８を介してエンコーダ２４に情報を提供する。

ＨＤ信号は、既知の技術を使用してトランスポートパケット・データストリームの中に形成された後で、例えば、Ｇｒａｎｄ Ａｌｌｉａｎｃｅ（ＧＡ）の仕様書に記述されているような既知の方法で受像機に送られる。受像機で完全（ｆｕｌｌ）ＨＤ画素解像度にまでアップ‐サンプリング（ｕｐ−ｓａｍｐｌｉｎｇ）が要求される場合を除き、プロセッサ２２によって行われる信号処理はＧＡと互換性のある受像機内のデコーダにとってトランスペアレントである。

受像機で、データストリームは復調され、トランスポートストリームは、既知の技術を使用してデータパケットおよび番組情報を再生するために処理される。上述したハイブリッド形式のＨＤ番組の場合、ディスプレイがフル（ｆｕｌｌ）ＨＤ信号を要求するならば、信号はディスプレイ・プロセッサにおいて水平方向にアップ・サンプルされる。その画像信号における垂直ラインの数は変更されない。これにより、解像度１９２０ｘ１０８０のフルＨＤ信号は、高精細度画像再生装置による表示のために再構成される。画像表示装置がフルＨＤ信号以下のものを要求するならば、画像再構成の間、信号は適正にダウン・サンプルされてから、既知の方法で表示される。ＧＡと互換性のある既存の受像機はハイブリッド信号を再構成できるようにソフトウェアの変更を必要とする。ソフトウェアの変更により、ＧＡ標準化モードに割り当てられた水平／垂直ハードウェアおよびソフトウェア処理のルーチンが、入来する信号に対し必要に応じて、独立して選択できる。

図４は、符号化システムを通るビデオ信号の流れを示すフローチャートである。ステップ３０で、信号形式が識別され、この識別情報がビデオ信号と共に送られる。形式情報は、例えば、信号が元は毎秒２４フレーム形式を有する映画から生じたものであるか、そしてその信号が飛越し走査されたものか順次走査されたものか、を示す。もしそのビデオ信号が飛越し走査されていれば、ステップ３１で、この信号は毎秒６０フレームの割合で順次信号に変換される。もし信号が３：２プルダウンにより変換されていれば、ステップ３２で、冗長フレームが除去される。もし信号がすでにカメラの順次形式になっていれば、信号はステップ３４のフィルタに直接進む。ステップ３４で、ビデオ信号は空間的に低域瀘波される。これには、上述したように、垂直、水平および斜めの瀘波が含まれる。ステップ３１で飛越し走査信号から変換された順次信号は、ステップ３５で、再び変換されて順次信号に戻される。ステップ３６で、信号は３：２プルダウンを受け、ステップ３２で以前に削除された冗長フレームに取って代る。ステップ３０から上記のステップ３４へ直接進行しているビデオ信号は、ステップ３４からステップ３８へ直接進行する。ステップ３８で、ステップ３４と３５と３６のうちの１つからのビデオ信号は、ハイブリッドＨＤ信号の解像度１２８０ｘ１０８０にサブサンプルされ、または希望により、別の出力形式にサブサンプルされる。ステップ４０で、このハイブリッド信号は、前述のように、ＭＰＥＧ２符号化される。ステップ４２で、符号化された信号はトランスポート処理され、ステップ４４で、例えば、ＲＦ地上放送チャンネルのような出力チャンネルを介して送信するため、必要に応じて、トランスポート信号は変調される。最後に、ステップ４６で、変調された信号は送信される。ステップ４２〜４６は既知の方法で行われる。

図５は、受像機を通る送信された画像信号の流れを示すフローチャートである。このフローチャートでは、受信された信号の画像解像度は、上記の１２８０ｘ１０８０ハイブリッドＨＤ信号であると仮定されている。ステップ５０で、送信された信号はチューナで受信され復調される。復調された信号は、ステップ５２でＭＰＥＧ２復号化され復元される。ステップ５４で、信号と共に送られた制御情報によりビデオ信号の解像度が１画像につき１２８０ｘ１０８０画素であると確認される。Ｇｒａｎｄ Ａｌｌｉａｎｃｅ ＭＰＥＧ２プロトコルにより、画像解像度の情報が、送信された信号と共に供給される。一般に、このハイブリッド信号は、他の規定された解像度と同様に、独特の符号によって識別される。また、ハイブリッド信号は、別の方法で、例えば、送信されたデータのユーザ・データ内の情報によって明確にされる。ステップ５６における表示処理の間に、ハイブリッド・ビデオ信号は水平方向に１９２０ｘ１０８０フルＨＤ信号にアップ・サンプルされる。ハイブリッド信号は、前述したように、受像機内に存在するハードウェアとソフトウェアに関連して、新しいソフトウェアでアップ・サンプルされる。最後に、ステップ５８で、フルＨＤビデオ信号は１９２０ｘ１０８０ディスプレイ上で表示される。ステップ５０と５２および５８では既知の方法を使用する。

上述した装置および方法は、高精細度表示のために改善された画像を再構成するためにいくつもの構成で利用することができる。特定のシステムの要件に依って、適応的および非適応的オプションが使用できる。これらのオプションのいくつかについて以下に説明する。

非適応的方策は、プロセッサ２２のフレーム瀘波を目標ビットレートに設定して、すべての画像を一様に処理させることである。別の非適応的方策は、表示画像の中心が最も興味ある領域であると仮定する。またこれは、画像の周辺は視聴者にとって比較的興味が少なく且つ重要性も少ないと仮定する。プロセッサ２２のフィルタの係数は、画素の空間的位置の関数であるパラメータによりコントローラ２８によって設定される。

適応的オプションは、テクスチャ・モデル・パラメータ、ビデオの局所的変化、比色法、またはソース画像に基づき測定される画像の複雑性を使用して、画像をいくつかの領域に分割することである。プロセッサ２２の瀘波特性は異なる領域について適応的に変更される。

別の方法は、プロセッサ２２の瀘波特性を、実際のビットレートと目標ビットレートとの相違の関数として適応的に変更することである。この場合、単一のパラメータにより、２‐Ｄ周波数応答に対するフィルタの係数の遷移を調整する。

別の方策は、プロセッサ２２より得られるフィルタの２‐Ｄ周波数応答を、エンコーダ２４で使用される量子化マトリックスと両立するように設計することである。量子化マトリックスは２‐Ｄ形状を有する低域フィルタとして見られる。この方策では、フィルタの係数値は、量子化マトリックス・ステップ・サイズの関数である。ステップ・サイズはエンコーダの動作により変更されるので、それと対応する変化が、対応するフィルタ係数に対して起こる。

上述したオプションは、本発明の原理を使用しているシステムの融通性を例示している。このようなシステムは、符号化アーティファクトおよび他のノイズを削減することによりＭＰＥＧ２圧縮性能を拡張するために、ＭＰＥＧ２レート制御に関連して動作するのが好ましい。ＨＤＴＶ展開の多能性と経済性は本発明を使用することにより改善される。直接衛星放送システム（すなわち、２４ＭＨｚ４‐ＰＳＫ）で１つのトランスポンダによって送信されるＨＤ番組の数は、１つの番組から２つの番組に、あるいは多数のＳＤ番組を有する１つのＨＤ番組に、増加される。本発明の原理に従い、６ＭＨｚの地上放送チャンネルで多数のＳＤ番組を有する１つのＨＤ番組を送信できる能力が達成できる。以前、放送局は１つのチャンネルで１つのＨＤ番組を、あるいは１つのチャンネルで多数のＳＤ番組を、送信することに制限されていた。

本発明は、ＨＤ信号の送信／受信システムに関して説明したが、本発明の原理は、データ蓄積システムのような、他の装置にも応用できる。ディジタル・ビデオディスク（ＤＶＤ）のようなシステムで、ビデオ・データは符号化され、後で再生するために貯えられる。蓄積媒体の有する利用できる蓄積スペースの量は限られている。もし符号化された番組、映画または他のビデオ・シークェンスが蓄積媒体上で利用できるスペースの量を超過すると、番組を適合させるための更なる符号化／圧縮によって、受け入れられないアーティファクトを生じることもある。上述した発明は、番組がディスクにうまく収まるよう番組を比較的低いビットレートに能率的に符号化するために使用することができる。あるいは、多数の番組が１枚のディスクに収まるようにすることもできる。テープへのディジタル蓄積でも上述のような利点が得られる。

２０ 映画検出
２２ 適応形画像プロセッサ
２４ ＭＰＥＧエンコーダ
２６ 出力バッファ
２８ コントローラ

Claims (14)

1. 非テレシネ式順次走査ビデオ信号を処理する方法であって、
   前記信号を適応的に濾波して、濾波済み信号を発生する、適応的濾波ステップと、
   前記濾波済み信号を比較的低い空間解像度に変換し、比較的低い空間解像度の信号を発生する、変換ステップと、
   前記比較的低い空間解像度の信号をＭＰＥＧ符号化し、符号化済み信号を発生する、符号化ステップと、
   前記符号化済み信号を出力チャンネルに送るステップと、
   を含み、
   前記適応的濾波が、濾波前の前記信号の画像信号パラメータ及び前記符号化済み信号の前記符号化からのフィードバック情報の関数である、前記方法。
2. 前記適応的濾波ステップが、低域濾波であり、且つ前記符号化ステップが、ＭＰＥＧ２符号化である、請求項１記載の方法。
3. 前記比較的低い空間解像度の信号が、毎フレーム１２８０ｘ１０８０データ・サンプルの解像度を有する、請求項１記載の方法。
4. 前記非テレシネ式順次走査ビデオ信号が、毎フレーム１２８０ｘ１０８０データ・サンプルの解像度を含む１つ以上の画像解像度を呈し、更に、
   前記符号化済み信号を復号化して、復号化済み信号を発生する復号化ステップと、
   前記復号化済み信号の画像解像度を確定するステップと、
   前記復号化済み信号が、ライン当り１２８０サンプルの水平画像解像度を有するならば、前記復号化済み信号からの水平情報を異なる解像度に変換して、変換済み信号を発生する、変換ステップと、
   前記変換済み信号を出力装置に送るステップと、
   を含む、請求項１記載の方法。
5. 前記変換が、アップ・コンバージョンであり、且つ前記異なる解像度が、ライン当たり１９２０水平サンプルである、請求項４記載の方法。
6. 前記変換が、ダウン・コンバージョンであり、且つ前記異なる解像度が、比較的低い解像度である、請求項４記載の方法。
7. 前記受信されたディジタル・ビデオ信号が、ＭＰＥＧ２と互換性がある、請求項４記載の方法。
8. 前記適応的濾波が、前記変換ステップによる信号のサブサンプリングと独立して行われる、請求項１記載の方法。
9. 前記適応的濾波ステップから前記送るステップまでを含む前記方法が、同じ画像フレーム形式に関して働く、請求項１記載の方法。
10. 前記適応的濾波が、１画像フレーム内で適応的である、請求項１記載の方法。
11. 前記適応的濾波が、１画素毎に適応的である、請求項１記載の方法。
12. 前記適応的濾波が、濾波前の前記信号の画像信号パラメータと前記符号化された信号の前記符号化からのフィードバック情報との関数として、前記信号のフレームの前記濾波の間に、フィルタ係数を変更する、請求項１記載の方法。
13. 前記適応的濾波が、前記信号の２次元濾波からなる、請求項１記載の方法。
14. 前記適応的濾波が、前記信号の目標ビットレートに従って前記信号のフレームの濾波の間にフィルタ係数を変更する、請求項１記載の方法。
    

Images