JP3884076B2 - グラフィック画像処理 - Google Patents

Description

本発明は、ビデオ画像の処理および符号化に関するものであり、特に、ネットワーク内の若干の遠隔使用者に伝送するためのコンピュータ・グラフィック画像の対話型処理および予想的な符号化に関するものであるが、これに限定されるものではない。
使用者の要求が、ネットワーク全域に亘り、一端局から遠隔プロバイダに送られ、その要求に応じて修正された画像が、ネットワーク全域に亘り、使用者に送り返されるネットワークシステムのようなマルチメディアアプリケーションにおける実時間処理に伴う特別の問題は、巡回ループ遅延である。
現下のＭＰＥＧシステムにおいては、複号器の最小遅延はほぼ８０ミリ秒（最小バッファ遅延４０ミリ秒および復号時間約４０ミリ秒）であり、この極限における処理が、ネットワークのインターフェース変換率を毎秒約１．５メガビットとすると、低画質画像を作り出す。変換速度を高くすれば、バッファ遅延の低減により、画質が回復され、あるいは、ラテンシーが低減されるが、速度増大能力は、必要とする装置の費用および複雑さの点で不利益をもたらす。符号化器でこれに相当する数値はほぼ６０ミリ秒であり、そのうち、約２０ミリ秒が１フイールドを得るための時間であり、４０ミリ秒が符号化時間である。この極限においても、画質は劣化する。制御音信を使用者からプロバイダに通すネットワークのバックチャネルに帰すべき遅延は、典型的には約１５ミリ秒である。標準ＭＰＥＧ処理が毎秒１．５メガビットのデジタル・ビデオ伝送率を有し、最低画質の表現を容認するものとすれば、遠隔のゲームあるいはその他のネットワーク化したビデオオンデマンド（ＶｏＤ）型の用途における最小往復遅延は約１６０ミリ秒である。
典型的な人間の反応時間は８０ミリ秒程度であり、これより緩慢に応答する（ネットワーク越し連絡もしくは直接接続の）システムは、使用者には遅いように見えるであろう。ある用途では、遠隔使用者がシステムのラテンシーによる遅延に慣れて、それを補償する一方では、使用者の素早い反応を要するアプリケーションが、必然的に損害を受けている。
直接に接続されているシステムの場合の例として、米国連邦航空局は、商用飛行シミュレータの許容ラテンシーの限度を１５０ミリ秒としている。
したがって、本発明の目的は、特に、対話型ネットワークアプリケーションに組み込まれた画像処理システムのラテンシーを低減することである。
本発明の他の目的は、ラテンシーの最小化に起因する画像の劣化を低減することである。
本発明によれば、画素画像を発生させるように作動し得るグラフィック画像発生器およびその画像発生器に結合して、発生した画像を一連の画素データのマクロブロックとして符号化するように構成配置した符号化器を備え、ｍおよびｎが整数のときに、各マクロブロックをｍ画素幅およびｎ画素高さにした符号化画像発生装置において、前記グラフィック画像発生器が、連続的な画素の領域として画像を発生し、各領域の画素データを前記符号化器に通すとともに、画像のｎライン毎の画素データが発生した都度、制御信号を前記符号化器に送るように構成され、前記符号化器が、画素データを受信してバッファ処理するとともに、前記制御信号を受信したときに、バッファ処理した画素データのマクロブロックを符号化し始めるように構成されたことを特徴とする符号化画像発生装置を提供する。グラフィック画像発生器（グラフィックエンジン）がフレームを組立てている間に符号化過程を開始することにより、システムのラテンシーに対する発生器乃至符号化器の寄与が大いに低減される。
画像は、マクロプロック列のｎラインをカバーするのに十分なデータが送られる否や発動させられる符号化器によって画素データの連続的なブロック又は領域とすることができる。その代わりに、前記グラフィック画像発生器が、連続的な画素データのラインとして画像を発生し、前記ラインを前記符号化器に通すとともに、前記制御信号をｎライン毎に前記符号化器に送るように構成され、前記符号化器が、画素データを受信してバッファ処理するとともに、前記制御信号を受信した都度、バッファ処理した画素データのラインをマクロブロック・ラインとして符号化するように構成されていることもある。
適切にも、前記グラフィック画像発生器が、画素データのライン群の発生の際にスキャンライン法を遂行するとともに、画像の画像プリミティブを規定するデータ用のメモリと、所定画素ラインの一つ以上の画素に寄与するプリミティブのリストを決定し及び蓄積する手段とを備えている。スキャンライン法は、例えば、ビェームス・ディ・ホーレイ他著「コンピュータ・グラフィック：原理と実際」第２版、第６８０頁乃至第６８６頁、アディソン出版会社、１９９０年刊、ＩＳＢＮ ０−２０１−１２１１０−７に記載された周知技術である。本発明によるその特別な用途は、以下の実施例を参照して一層詳細に記載されている。
好ましくも、前記符号化器が、現下のマクロブロックと先行画像フレームとの比較探査を行なって現下のマクロブロックに対する動きベクトルを決定し、要素
データのマクロブロックを動きベクトルに関して符号化するように構成されている。符号化器動作の効率を高めて画質を改善するために、前記グラフィック画像発生器が、前記符号化器に対し、画像についてのグローバル動きベクトルを特定し、前記符号化器が、当該画像の各マロブロックについての前記比較探査を当該グローバル動きベクトルから始めることができる。さらに、グラフィック画像の比較的単純な性質を利用して、前記グラフィック画像発生器が、前記符号化器に対し、画像の識別したマクロブロックもしくは一群のマクロブロックについてのブロック動きベクトルを特定し、前記符号化器が、当該識別したマクロブロックもしくは当該マクロブロック群のそれぞれについての前記比較探査を当該ブロック動きベクトルから始めることができる。
対話型画像処理を許すためには、使用者の制御信号用の入力端をさらに備え、その制御信号に応じて、前記グラフィック画像発生器が、連続した更なるフレーム群の画像の少なくとも一部分を、最初のフレームの位置に対して変化させるのが好ましい。
また、本発明によれば、（上述した使用者入力端を備えた画像発生・符号化装置を含めて）データ伝送ネットワークにより接続した若干の使用者端局を備えた映像プロバイダからなる映像信号分配システムが設けられる。その使用者端局は、それぞれ、少なくとも、復号器と発生した画素画像群を表示し得る表示手段と使用者制御信号を発生させてプロバイダの使用者入力端に送出する使用者が処理可能の手段とを備えている。
本発明の好適な実施例を、単なる例としてＭＰＥＧ方式につき、つぎの付図を参照して説明しよう。
以下では、ビデオ電話用のＨ．２６１標準のような符号化計画に基づく他の符号化計画、特にハイブリッドＤＣＴ（離散余弦変換）に適用可能であるにも拘らず、ＩＳＯ１１１７２と呼ばれるＭＰＥＧ１符号化計画について重点的に本発明を説明しよう。ＭＰＥＧおよびＨ．２６１は、かかる符号化データを解釈して同じ画像群の原システム列を再生するように設計された復号器を用いて自然の画像システム列を蓄積して圧縮するのに通常用いられるディジタル符号化方式である。
ＭＰＥＧ方式は、図１に示すようなマクロブロック群の格子を規定しており、図１では、プリミティブＬ，ＭおよびＮよりなる直方体ブロック９を背景Ｑに対して画像８を表わしている。容易に判るように、プリミティブＬ，ＭおよびＮは、それぞれ、複数個のプリミティブ、例えば同様の三角形プリミティブの対からなる平行四辺形のプリミティブによって作り上げることができる。画像８の各マクロブロックＡ１，Ａ２，Ｂ１，Ｂ２等は各列１６画素の１６列からなっており、かかるマクロブロックはＭＰＥＧ符号化の基本単位である。ＭＰＥＧでは、３タイプの主な符号化画像、すなわち、内部画像、予測画像および補間画像が規定され、これらの主要画像は、それぞれ、Ｉフレーム、ＰフレームおよびＢフレームと呼ばれる。
ある種の画像内で、マクロブロックは幾多の異なる方法のうちの一つで符号化することができ、ＭＰＥＧ標準による二つの基本マクロブロック符号化モードは、「イントラモード」と「動き補正・非符号化モード」とである。イントラモードでは、マクロブロックのアドレスが、マクロブロックの型および画素値に対するＤＣＴ係数データによってどのマクロブロックが表わされるかを示している。動き補正モードでは、アドレスおよび型情報に次ぐ情報は、そのマクロブロックに対する動きベクトルである。動きベクトルは、現下の画像における現下のマクロブロックのアドレスから、現下の画像に複写される先行画像における画素およびラインのアドレスへの変位を与える。内部符号化したマクロブロックは、先行フレームには存在しない画像ブロックを予測画像に導入するのに用いられる。
ネットワーク化したビデオ用途に対する典型的なシステムの構成配置は、図２に示すように、プロバイダ１０とネットワーク１４を越えてプロバイダに連絡する若干の遠隔使用者１２とからなっている。グラフィック画像は、プロバイダ側のグラフィックエンジン１６で発生して、ＭＰＥＧ符号化器１８に到り、ネットワーク上を伝送するために符号化される。遠隔使用者側１２では、使用者は、少なくとも（ＭＰＥＧ復号器２２に組合わされた表示器２０と対話型制御器２４とを備えており、その制御器を用いて、表示画像に影響する制御信号が、ネットワークのバックチャネル２６を介してプロバイダ１０に送り返される。例えば家庭環境のネットワークアプリケーションに依存する遠隔使用者用の可能な構成配置は、ネットワークに対面したＭＰＥＧ能力を備えたパーソナル・コンピュータとなろう。
図３は、プロバイダをさらに詳細に示したものである。グラフィックエンジン１６は、データ・バス４０を介してプロセッサに結合したサーフェーステーブル（ＳＴ）メモリ３２および能動サーフェーステーブル（ＡＳＴ）メモリ３８に蓄積したサーフェースデータから（以下に説明する）スキャンライン法を使用して一時に一ラインずつ画像を組立てるプロセッサ３０を含んでいる。サーフェースデータは、サーフェースの詳細（構造、着色、反射率等）に関する情報に周知の態様で画像を組み合わせる幾何学的形状（プリミティブ）を備えている。サーフェーステーブル・メモリ３２は、画像の全プリミティブに対するサーフェースデータを保持し、能動サーフェーステーブル・メモリ３８は、その画像の所定のラインに現れるプリミティブに対するデータのみを保持する。
遠隔使用者からのバックチャネル２６上の指令は、適切なインターフェース３６を介してプロセッサ３０に達し、その指令は、表示画像に対して変化を要求する。かかる変化には、スクリーン周辺の特別の表示物体（スプライト）の動きや、大きめの画像のスクロールが含まれる。プロセッサは、これらの指令に応じ、大量蓄積メモリ３４もしくは可能な形状の外部ソースからサーフェースデータ・メモリ３２を更新することにより、完全な画像を形成するために組み合わせるべきサーフェースのそれぞれに対するデータをメモリ３２が包含するように動作する。
よく判るように、複数の使用者がプロバイダに接続されている場合には、使用者の指令のアクセス乃至優先権設定のために、何らかの構成配置がインターフェース３６に必要となろう。
画像フレームを発生させるためのグラフィックエンジン１６によるスキャンライン法の実行が図４のフローチャートに示されている。この過程は、外部入力端から負荷され、もしくは、サーフェーステーブル・メモリ３２に蓄積される画像フレームを形成するのに必要とするサーフェース（プリミティブ）を備えたステップ１０１（ＳＴ付加）で始まる。これに引続き、次のステップ１０２（ＡＳＴ初期化）は、サーフェーステーブル・メモリ３２から画像の第１画像ラインに寄与するサーフェースを負荷して、能動サーフェーステーブル・メモリ３８を初期化する。その第１ラインに対しては、引続くステップ１０３（ＡＳＴ更新）をとばして、この過程は画素毎ループ１０４〜１０７に入る。
ステップ１０４（頂点画素）では、互いに重なった若干のサーフェースからの画素毎寄与が決定される。例えば、画像が二次元スクリーン空間に描いた三次元物体のものであった場合には、通常の深さバッファ処理及び／又は陰面除去技術が、画素に対するサーフェースの寄与の程度を決定するのに採用される。透明性や部分的な不透明性のようなサーフェース効果が用意されている場合には、このステップは、画素に対する各サーフェースの寄与の比を決定することができる。ステップ１０５（陰影）では、画素の色彩乃至構造が、能動サーフェーステーブル３８およびステップ１０４で寄与するサーフェースを参照して計算される。ステップ１０６（最終Ｐ？）は、画素がラインの終端にあるか否かを判定し、終端になければ、次の画素がステップ１０７（次のＰ）で選択され、手続きはステップ１０４に復帰する。
ステップ１０６でラインの最終画素に到達している、と判定した場合には、手続きはステップ１０８（最終ＭＬ？）に移り、ライン数点検となって、ｎをマクロブロック当たりのライン数（ＭＰＥＧの場合には１６ライン）としたときに、発生したラインの本数がｎの整数倍であるか否かを調べる。このステップで、現下のラインがマクロブロックの最終ラインではないことが示されると、手続きはステップ１０９（次のＬ）に移り、次のラインが選択され、ついでステップ１０３（ＡＳＴ更新）に戻り、能動サーフェーステーブルが更新されて、次のラインに寄与するサーフェースに対するサーフェース情報を含むようになる。
ステップ１０８で現下のラインがマクロブロックの最終ラインであると判定されると、ステップ１１０（フラグ符号化）で制御信号（図３；フラグ）が符号化器１８に送られて、符号化器が符号化し得る完全なマクロブロック・ラインを得たことを示す。画像が整数個のマクロブロックの高さであって、最終スクリーン画素ラインがマクロブロック・ラインに寄与する最終ラインでもあるとすると、手続きがステップ１１１（最終ＳＬ？）に移って、現下のラインが画像の最終ラインであるか否かについて点検が行なわれる。そうであった場合には、手続きが終了し、もしくは、新たな画像フレームの開始のためにステップ１０１に復帰する。そうでなかった場合には、ステップ１０９で次のラインが選択され、手続きはステップ１０３に復帰する。
図３に戻り、プロセッサ３０からの走査線画素データは、符号化器段１８に到達して、バッファ（図示せず）に蓄積される。カウンタ４２（プロセッサ３０の一部であるが、プロセッサ３０とは別に示してある）が、送られて来た走査線の本数を計数し、（ｎをマクロブロックの走査線数として）ｎ番目の走査線毎にフラグ信号ＦＬＡＧ（マクロブロック・ライン指令）を符号化器に送る。このＦＬＡＧ信号を受信すると、符号化器は、蓄積されている走査線をバッファから読出して、マクロブロックのラインとして符号化し始める。図１を参照すると、これは、画素データの１６番目のラインを受信する都度、符号化器がマクロブロック・ラインＡ１，Ａ２，----，Ａ２２の符号化を開始することを意味する。
フレームが組立てられるようにしてデータが符号化されると、完全なＭＰＥＧ標準は、後続のフレームが存在しないので実行し得ないにも拘わらず、正常な遅延が低減される。換言すれば、符号化器段１８は、ＩフレームおよびＰフレームのみを発生させ得るが、先行および後続のフレームに関してＭＰＥＧにより符号化されるＢフレームは形成し得ない。ＭＰＥＧ標準は、ＩフレームおよびＰフレームのみについて信号の符号化を行ない得るにも拘わらず、このことは画質の低減に通ずる。かかる画質低減を最小にするためには、グラフィック用途における動きベクトルの比較的単純な性質を使用して、動作の効率を改善するなど符号化器を援助する。
使用者の制御下のグラフィックにおいては、画像の全部もしくは大部分が一緒に動くことを要求し得る。（「仮想カメラ」のパンに対応する）符号化すべき画像のグローバル動きベクトルは、したがって、グラフィックエンジン１６では既知であり、グラフィック計算に対する入力として用いられる。図３に示すように、この全体の動きベクトルは、符号化器段１８への付加的入力として設けられ、マクロブロックの動き補正の期間中、動きベクトル探索パターンを開始させるのに「最もそうらしい」方向を特定することにより、動きベクトル探索パターンを援助することになる。
例えばビデオ・カメラからの静止画と比較してグラフィック画像の比較的単純な性質の故に、目的のレベルで、すなわち、外観は次のフレームと変わらないが、画像内の位置が変わった若干のサーフェースからなる特徴の検知からグラフィック画像を分析することが可能となる。プロセッサにおいては、かかる目的もしくは目的の一部を、現下および先行の各フレームの若干のマクロブロックによって識別することができる。かかるマクロブロックに対する動きベクトルは、かかるマクロブロックを符号化する際に適用される動きベクトル探索に対する案内として符号化器が使用する別の入力（ＢＭＶ）として符号化器段１８に到達する。このことの結果は画質の改善である。
システムの機能性を全体としてさらに高めるために、Ｂフレーム・オンオフ・トグル・スイッチ５０を介し、プロセッサ３０による使用者もしくは用途の制御のもとに、通常のＭＰＥＧ符号化器動作に切換える用意がなされている。これは、Ｉ，ＰおよびＢの各フレームに対する通常の符号化を可能にし、その場合には、例えば、使用者の相互作用を可能にすることなく、一連のフレームを再生するときにも、使用者入力に対する実時間の感応性は必要とされない。
以上の開示を読むことから、当業者には他の変形も明白になるであろう。かかる変形には、対話型画像符号化装置およびその装置の構成部品の設計、製造および使用において既に知られており、以上に既に説明した特徴の替わりに、もしくは、その特徴に加えて使用し得る他の特徴も含まれる。本願においては、かかる特徴の特別な組合わせについて特許請求の範囲が作成されてはいるが、本発明の開示の範囲には、如何なる新たな特徴、もしくは、以上に明白にもしくは暗に開示した特徴の新たな組合わせ、あるいは、その特徴のあらゆる一般化も、あらゆる請求の範囲で以上に請求されているのと同じ発明に関係すると否とに拘わりなく、また、本発明がなしたのと同じ如何なるもしくはあらゆる技術的問題を緩和すると否とに拘わりなく、含まれる。本願人は、本願もしくは本願から派生したあらゆる他の出願の継続中、かかる特徴乃至特徴の組合わせについて新たな請求の範囲を作成し得るものであることを、ここに通告する。
【図面の簡単な説明】
図１はマクロブロック群に分割した画素画像を表わす線図である。
図２はデータネットワークに亘って接続したプロバイダと遠隔端局とを模式的に示すブロック線図である。
図３は図１のネットワークプロバイダをさらに詳細に示すブロック線図である。
図４は図３のプロバイダにおけるスキャンライン法の用途を表わすフローチャートである。

Claims (9)

1. 画素画像を発生させるように作動し得るグラフィック画像発生器およびその画像発生器に結合して、発生した画像を一連の画素データのマクロブロックとして符号化するように構成配置した符号化器を備え、ｍおよびｎが整数のときに、各マクロブロックをｍ画素幅およびｎ画素高さにした符号化画像発生装置において、前記グラフィック画像発生器が、連続的な画素の領域として画像を発生し、各領域の画素データを前記符号化器に通すとともに、画像のｎライン毎の画素データが発生した都度、制御信号を前記符号化器に送るように構成され、前記符号化器が、画素データを受信してバッファ処理するとともに、前記制御信号を受信したときに、バッファ処理した画素データのマクロブロックを符号化し始めるように構成されたことを特徴とする符号化画像発生装置。
2. 前記グラフィック画像発生器が、連続的な画素データのラインとして画像を発生し、前記ラインを前記符号化器に通すとともに、前記制御信号をｎライン毎に前記符号化器に送るように構成され、前記符号化器が、画素データを受信してバッファ処理するとともに、前記制御信号を受信した都度、バッファ処理した画素データのラインをマクロブロック・ラインとして符号化するように構成されている請求項１記載の符号化画像発生装置。
3. 前記グラフィック画像発生器が、画素データのライン群の発生の際にスキャンライン法を遂行するとともに、画像の画像プリミティブを規定するデータ用のメモリと、所定画素ラインの一つ以上の画素に寄与するプリミティブのリストを決定し及び蓄積する手段とを備えている請求項２記載の符号
   化画像発生装置。
4. 前記符号化器が、現下のマクロブロックと先行画像フレームとの比較探査を行なって現下のマクロブロックに対する動きベクトルを決定し、要素データのマクロブロックを動きベクトルに関して符号化するように構成されている請求項１記載の符号化画像発生装置。
5. 前記グラフィック画像発生器が、前記符号化器に対し、画像についてのグローバル動きベクトルを特定し、前記符号化器が、当該画像の各マロブロックについての前記比較探査を当該グローバル動きベクトルから始める請求項４記載の符号化画像発生装置。
6. 前記グラフィック画像発生器が、前記符号化器に対し、画像の識別したマクロブロックもしくは一群のマクロブロックについてのブロック動きベクトルを特定し、前記符号化器が、当該識別したマクロブロックもしくは当該マクロブロック群のそれぞれについての前記比較探査を当該ブロック動きベクトルから始める請求項４記載の符号化画像発生装置。
7. 使用者の制御信号用の入力端をさらに備え、その制御信号に応じて、前記グラフィック画像発生器が、連続した更なるフレーム群の画像の少なくとも一部分を、最初のフレームの位置に対して変化させる請求項１乃至６のいずれかに記載の符号化画像発生装置。
8. 請求項７記載の符号化画像発生装置を有するビデオサーバと、データ伝送ネットワークによって前記符号化画像発生装置に接続した１個以上のユーザ端末とからなる映像信号分配システムにおいて、当該ユーザ端末が、それぞれ、復号器と、発生した画素画像群を表示し得る表示手段と、前記使用者制御信号を発生させて送出するように動作し得る使用者入力手段とを備えた映像信号分配システム。
9. 前記符号化器が、前記発生した画像をＭＰＥＧ標準によるＩフレームもしくはＰフレームとして符号化するように動作し得る請求項１乃至３のいずれかに記載の符号化画像発生装置。

Images