JP4295441B2 - ビデオ通信システム、デコーダ回路、ビデオディスプレイシステム、エンコーダ回路、及びビデオデータ受信方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明はデジタルビデオ処理及び伝送に関し、特に多重ウィンドウデジタルビデオ受信及び表示に関する。
【０００２】
【従来の技術】
例えばモーションピクチャーエキスパートグループ（ＭＰＥＧ）などのデジタルビデオ圧縮標準を、広帯域通信インフラストラクチャと組み合わせて受け入れることにより、通信市場におけるビデオベースのサービスの爆発的増大がまかなえわれてきている。ビデオ・オン・デマンドや複数参加インタラクティブビデオゲーム、さらにテレビ会議などのサービスは積極的に開発されつつある。このような将来的なビデオサービスは、コストエフェクティブなビデオ圧縮及び表示技法を必要とする。
【０００３】
効率的な多重ウィンドウ表示は、これらのアプリケーションによってビデオユーザすなわち消費者宛に生成される多重ビデオシーケンスを表示するのに望ましい。この種のウィンドウ環境を実現することにより、一ユーザが複数の情報源からの複数個のビデオシーケンスあるいは画像を同時に見ることが可能になる。商業的な多重ウィンドウビデオ表示の実現は、利用可能なデータ圧縮装置に係る技術的な制限によって阻害されている。
【０００４】
デジタルテレビ及びその他のデジタル画像伝送アプリケーションにおいては、画像信号は伝送に必要な帯域を減少させるために圧縮すなわち符号化されなければならない。通常、フルスクリーンビデオフレームは、各々輝度及び彩度に係るデータを有する、少なくとも６４０×４８０画素すなわちピクセルよりなるアレイによって構成されている。例えば、ある標準に従うと、フレームは７２０×４８０のピクセルアレイから構成されている。ビデオシーケンスは、このような、動画フィルム中のフレームと同様の、一連の離散ビデオフレームより構成されている。実際の娯楽品質のビデオは、少なくとも毎秒３０フレームのフレームレートを必要とする。圧縮を行なわない場合には、毎秒３０フレームで送信するために必要となるビットレートは、現在現実的と考えられるものよりもはるかに広い帯域を必要とする。
【０００５】
画像符号化技法は、フレーム当たりに送信されるビット数を低減する目的で、ビデオデータを圧縮するように機能する。現在、複数個の標準的な画像符号化技法が存在するが、それらは、各々、空間的相関と呼称される、ピクセル画像データの反復を利用している。
【０００６】
空間的相関は、複数個の隣接するピクセルが同一あるいは同程度の輝度（明るさ）及び彩度（色）の値を有する場合に生ずる。例えば、青空の画像を含むビデオフレームを考える。青空の画像を構成している多くのピクセルは、おそらく同一あるいは非常に近い画像データを有することになる。圧縮技法は、この種の反復を、例えば一つのピクセルに関する輝度及び彩度データを送出し、データが同一であるそれ以降のピクセルの数に係る情報を送出する、もしくは隣接するピクセル間の差のみを送出することによって活用する。現在では、空間的相関は、離散コサイン変換及び量子化技法を用いた圧縮技法によって活用されている。この種のデータ圧縮すなわち符号化が用いられる場合には、各々のビデオ源あるいは伝送ノードにはデータ符号化装置、そして各々の受信ノードには同様にデータ復号化装置が備え付けられていなければならない。ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ２及びＰｘ６４標準などを含む種々のビデオ符号化プロトコルは当業者には公知である。
【０００７】
【発明が解決しようとする課題】
テレビ会議などのマルチポイントビデオアプリケーションにおいては、複数個の信号源からの複数個のビデオシーケンスが受信ノードのビデオスクリーンに同時に表示される。現時点では、多重ウィンドウビデオディスプレイは、複数個の復号化デバイスの利用を必要とする。さもないと、複数個の信号源から到達したビデオデータが、単一の復号化デバイスの能力を超過してしまうことになる。さらに、現在までに市販されている復号化デバイスは、相異なった信号源からのビデオシーケンスを同時に処理するようには構成されていない。復号化回路は、ビデオ信号源から発せられるビデオシーケンスコンテクスト情報に依存している。現在の復号化デバイスは、複数個の信号源からのビデオ信号を同時に復号化するために必要とされる、複数個のビデオシーケンスコンテクストをストアしたりアクセスしたり切り替えたりすることができない。
【０００８】
それゆえ、従来技術に係る欠点は、複数個の復号化デバイスが必要とされる点である。現在では、例えばＪＰＥＧ及びＰｘ６４テクノロジーとコンパチブルな、比較的シンプルなデコーダチップ及びチップセットであっても高価である。従って、複数個の復号化デバイスの利用は、ウィンドウ環境に関する解としては現実的ではない。
【０００９】
多重ウィンドウビデオにおいて遭遇するさらなる困難は、多くの信号源が、ビデオ信号を一つのビデオディスプレイサイズでのみ供給するという事実である。実際、多くの信号源は、通常フレーム当たり６４０×４８０個のピクセルよりなるフルスクリーン画像のみを送出する。真にフレキシブルなウィンドウ機能を実現するためには、相異なったユーザが同一のビデオを相異なったサイズのウィンドウから起動してそれを見る、という選択肢が与えられなければならない。ディスプレイ全体の一部から構成されるウィンドウは、濾波され、かつサブサンプリングされることを必要とし、その結果より少ない数のフレーム信号が生成されることになる。例えば、１／４スクリーンウィンドウは、わずか３２０×２４０ピクセルより構成されるフレームデータを必要とする。それゆえ、複数個のウィンドウサイズすなわち解像度レベルにおいて利用可能なビデオデータを生成することが望ましい。例えば、テレビ会議の参加者のビデオは、フルスクリーン解像度、１／４スクリーン、１／１６スクリーンあるいは１／６４スクリーンにおいて利用可能なように構成され、受け手側の参加者は送信側の参加者を見るための、希望する任意のサイズのウィンドウを選択することができる。
【００１０】
多重解像度レベルを実現するある種の技法においては、各々のビデオ送信機が、各々同一のビデオ画像の特定の解像度レベルに対応するデータ信号を独立に含む複数個のビデオシーケンスを提供する。多重解像度のビデオシーケンスを生成する一技法は、各々の解像度レベルに一つずつ個別のエンコーダを用いるものである。しかしながら、複数個のエンコーダを必要とすることは、デコーダの場合と同様に、システムコストを増大させる。エンコーダは、デジタルビデオ送信システムにおける非常に高額なコンポーネントを包含している。
【００１１】
【課題を解決するための手段】
本発明は、符号化及び復号化に係る回路に対する要求を最小にしつつ複数個の解像度レベルで利用可能な複数個のビデオシーケンスを符号化し、送信し、受信し、復号化しかつ表示する方法及びシステムを提供する。
【００１２】
本発明に従って、一つあるいは複数個の送信ノードが複数個の解像度レベルで利用可能なビデオデータのマクロブロックを提供する。送信ノードはこのマクロブロックを符号化し、各々のマクロブロックに対してマクロブロック識別子（ＩＤ）を割り当てる。受信ノードは、通信ネットワークを介して複数個の送信ノードから複数個のビデオシーケンスを受信する。本発明に従って動作する受信ノードは、その後、ビデオの隠されたあるいは重なってしまった部分などのような表示されないビデオデータのマクロブロックを削除する。マクロブロックトランスレータは、マクロブロックＩＤをユーザのウィンドウコンフィグレーションによって指示されたディスプレイスクリーン上のマクロブロックの位置を反映する新たなマクロブロックＩＤに変換する。その後、デコーダが一度に一つのマクロブロックのデータを伸長し、この伸長されたマクロブロックをフレームバッファへ供給する。
【００１３】
マクロブロック削除及びマクロブロック変換段階は、受信ノードあるいは通信ネットワークに対して接続されたブリッジのいずれかにおいて実行される。本発明は、上述された機能を、ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ２及びＰｘ６４を含む種々の標準的なビデオ圧縮環境において実現する。本発明の別の実施例においては、フレーム内、フレーム間及び動き補正ビデオ圧縮技法がサポートされる。
【００１４】
【実施例】
図１は、本発明に係る方法と共に用いられるのに適したマルチポイントビデオシステムの一例を示した図である。図１に示されたシステムは３人が参加するテレビ会議システムであるが、ビデオディスプレイスクリーンに適切にフィットするどのような数の参加者も本発明に係る方法を用いることによって可能である。同様に、デジタル黒板あるいはビデオレーザーディスクなどの他のデジタルビデオソースが一人あるいは複数の参加者を置換することも可能である。
【００１５】
３つのノード１２、２２及び３２は、それぞれ通信回線４０、５０及び６０によってネットワーク７０に対して接続されている。ノード１２は、ビデオディスプレイ１０及びビデオカメラ１４を含むワークステーションを有している。マウス１５あるいは同様の入力デバイスがビデオディスプレイ１０に接続されている。ディスプレイウィンドウ１７1、１７2及び１７3がビデオディプレイ１０上に現れる。ノード２２及び３２も、同様にワークステーションを有しており、それぞれ同様のビデオディスプレイ２０及び３０と同様のビデオカメラ２４及び３４を含んでいる。ディスプレイウィンドウ２７1、２７2及び２７3がビデオディプレイ２０上に現れ、ディスプレイウィンドウ３７1、３７2及び３７3がビデオディプレイ３０上に現れる。
【００１６】
ワークステーション１２、２２及び３２の各々は、ビデオ送信ノード及びビデオ受信ノードの双方として機能する。すなわち、それぞれビデオ信号を互いの間でやり取りする。ビデオカメラ１４、２４及び３４が送信するためのビデオ信号を供給し、ディスプレイ１０、２０及び３０がビデオ信号を受信して表示する。この目的のために、各々のワークステーション１２、２２及び３２は、デジタルビデオデータを複数個のノードに対して送信することが可能なマルチポイントエンコーダ回路（図示せず）、及び複数個のノードからのデジタルビデオ信号を同時に受信して表示することが可能なマルチポイントデコーダ回路（図示せず）を有している。本発明に従って、単一あるいは複数個のワークステーション１２、２２及び３２には、図２に関連して以下に記述されているものと同様のマルチポイントエンコーダ回路が設置されている。さらに、少なくとも一つのワークステーションには、図３及び図４に関連して以下に記述されているものと同様のマルチポイントデコーダ回路が設置されている。
【００１７】
図１に示された実施例においては、ユーザＡ、ユーザＢ及びユーザＣがテレビ会議を設定してそれに参加している。ユーザＡ、Ｂ及びＣは、それぞれワークステーション１２、２２及び３２に位置している。実際の動作においては、ワークステーション１２、２２及び３２は、通信回線４０、５０及び６０を広帯域ネットワーク７０に接続することによって相互の通信を設定する。ネットワーク７０は、ローカルエリアネットワーク、ワイドエリアネットワーク、ＰＢＸあるいはデジタルケーブルＴＶシステム等の適切なデータ通信インフラストラクチャである。
【００１８】
次いで、各々のユーザは、各々カメラ１４、２４及び３４によってキャプチャされた相異なった解像度レベルの画像を含む複数個のビデオシーケンスから構成されるデジタルビデオ信号を送信する。例えば、ユーザＡは、自らの上半身及び顔のカメライメージを、フルスクリーン（６４０×４８０ピクセル）、１／４スクリーン（３２０×２４０ピクセル）、１／１６スクリーン（１６０×１２０ピクセル）及び１／６４スクリーン（８０×６０ピクセル）というスクリーン解像度で供給する。以下に議論されているように、ビデオデータがセグメント化される方式のために、１／６４スクリーン解像度は、実際には８０×５６あるいは８０×６４ピクセルより構成されている。ユーザＢ及びユーザＣも、同様にそれぞれのビデオ画像からなるビデオシーケンス信号を供給する。
【００１９】
その後、ユーザＡ、Ｂ及びＣは、それぞれの参加者、Ａ、Ｂ及びＣからのビデオを見るためのウィンドウの大きさ及び配置を選択することによってディスプレイプリファレンスを選択する。例えば、ユーザＡは自分自身のビデオ信号を見るためにウィンドウ１７1によって示されているウィンドウを、ユーザＢからのビデオ信号を見るためにウィンドウ１７2を、そしてユーザＣからのビデオ信号を見るためにウィンドウ１７3を選択する。ユーザＢ及びＣも、ユーザＡ及び互いとは独立に、ウィンドウを選択する。その結果、ユーザＡが各々の参加者に対して１／１６スクリーンイメージを選択する一方、ユーザＢは自分自身のイメージを見るために１／４スクリーンを選択し、ユーザＡ及びユーザＣからのイメージを見るために１／１６スクリーンイメージを選択する、といったことが生じる。さらに、ユーザＣは相異なった配置を選択し得る。
【００２０】
選択がなされると、各々のワークステーション１２、２２及び３２は、各々の参加者からの選択したビデオ信号を受信するために、ネットワーク７０を介して仮想回路接続を設定する。例えば、ユーザＡはＢ及びＣの双方からの１／１６解像度美度データ送信を受信する接続を設定し、一方ユーザＢはユーザＡからの１／１６ビデオシーケンスとユーザＢからの１／４ビデオシーケンスとに対する接続を設定する。上述の例においては、全てのユーザからのフルスクリーン解像度データシーケンスはいずれの参加者からも要求されず、従ってネットワークを介して伝送されない。このため、送信されるビット数が低減され、従ってネットワークの負荷が低減される。
【００２１】
前述されているように、ノード１２、２２及び３２の各々は、ネットワーク７０に対して複数個の解像度レベルのビデオシーケンスからなるデジタル信号を供給する。アナログビデオ入力から複数個のビデオシーケンスデジタル信号を生成するように機能する、適切なマルチポイントエンコーダ回路は、以下に図２に関連して例示される。
【００２２】
４つの相異なった解像度のビデオを表現する４つのビデオデータシーケンス迄を生成することが可能なマルチポイントエンコーダ回路３００は、入力回線２０２において国立テレビジョンシステム委員会（ＮＴＳＣ）規格のアナログビデオ信号を受信する。信号源は、図１のビデオカメラ１４、２４あるいは３４のうちの一つ、あるいは他のアナログテレビジョンラスタ信号源である。マルチポイントエンコーダ回路２００は、ＭＰＥＧ２ビデオ圧縮標準に従って機能するが、当業者は他の適切な標準に適合させることが容易に可能である。
【００２３】
ＮＴＳＣ入力回線２０２は、Ａ／Ｄコンバータ２０４に接続されている。Ａ／Ｄコンバータ２０４は、５２５本のＮＴＳＣアナログ信号を６４０×４８０ピクセルのデジタル信号にデジタイズすることが可能なアナログ−デジタル信号変換デバイスである。この種の機能を有するデバイスは市販されていて入手容易である。Ａ／Ｄコンバータ２０４は、第一のエイリアシング防止フィルタ２０８及び第三のストライプメモリ２２０に接続されている。
【００２４】
第一のエイリアシング防止フィルタ２０８は、第二のエイリアシング防止フィルタ２１２及び第一のストライプメモリ２１６に接続されている。第二のエイリアシング防止フィルタ２１２は、さらに第二のストライプメモリ２１８に接続されている。第一及び第二のエイリアシング防止フィルタ２０８及び２１２は、ローパスデジタルフィルタより構成されている。
【００２５】
コントローラ２２４は、第一、第二及び第三のストライプメモリ２１６、２１８及び２２０の各々の書き込み制御ピンに対して機能的に接続されている。コントローラ２２４は、メモリ２１６、２１８及び２２０の各々に係る書き込み制御を選択的にトリガすることによってサブサンプリングを実現するようにプログラムされている。選択的なトリガリングを行なうことにより、ある種の間隔を有するデータのみが書き込まれる。コントローラ２２４は、マイクロプロセッサあるいはシーケンスコントローラより構成されており、それらのプログラミングは当業者には公知である。コントローラ２２４は、さらにマルチプレクサ２２８の制御接続に機能的に接続されている。マルチプレクサ２２８は、適切な時分割多重化デバイスより構成される。
【００２６】
ストライプメモリ２１６、２１８及び２２０は、機能的にマルチプレクサ２２８に接続されている。マルチプレクサ２２８は、符号化デバイス２４０に接続されている。符号化デバイス２４０は、ＭＰＥＧ２標準に従ってデータを符号化するビデオデータ符号化チップあるいはチップセットより適切に構成されている。符号化デバイス２４０は、さらにフレーム間符号化を実現するためにリファレンスフレームストア２３２に接続されている。コントローラ２２４は、このリファレンスフレームストア２３２に対しても接続されている。ＪＰＥＧなどのフレーム内符号化のみを用いる符号化デバイスは、リファレンスフレームストア２３２を必要としない。
【００２７】
符号化デバイス２４０はバッファ２４４に接続されている。バッファ２４４の出力は、パケタイザ２４８に接続されている。バッファ２４４及びパケタイザ２４８は、共にコントローラ２２４に接続されている。
【００２８】
上述されているエンコーダ回路２００は、各々同一ビデオ画像の相異なった解像度のものを実現する複数個のビデオシーケンスを、以下に記述されている様式で生成するように機能する。
【００２９】
ビデオ源（図示せず）は、Ａ／Ｄコンバータ２０４にＮＴＳＣビデオ信号を供給する。Ａ／Ｄコンバータ２０４は、その信号を一ライン当たり６４０点のレートでサンプリングする。ＮＴＳＣ信号は５２５ラインのビデオ信号より構成されているが、ほぼ４８０ラインのみが関係するビデオ情報を有している。その結果、Ａ／Ｄコンバータ２０４は、ビデオ信号の６４０×４８０サンプルによるデジタル表現を生成することになる。各々のサンプルは、画素すなわちピクセルに対するビデオデータを構成している。各々のピクセルは、（ｘ，ｙ）というアドレスを有するものとみなされる。ここで、ｘは０から６３９までであり、ｙは０から４７９までである。
【００３０】
ここで、ＮＴＳＣ信号が４８０の可視ラインを順次生成するのではないことに留意されたい。その代わり、ＮＴＳＣ信号は、各々１本おきのラインに関する情報を含む２つのフィールドに分割されている。言い換えれば、一方のフィールドは偶数番号を有する全てのラインを含んでおり、他方は奇数番号のすべてのラインを含むことになる。一方のフィールドは他方のフィールドが送出される前にその全体が送出される。Ａ／Ｄコンバータ２０４がＮＴＳＣ信号を受信されたままにデジタイズするため、その結果得られるデジタル信号も同様に２つのフィールドに分割されている。
【００３１】
Ａ／Ｄコンバータ２０４は、６４０×４８０解像度のビデオシーケンスビットストリームを第一のエイリアシング防止フィルタ２０８及び第三のストライプメモリ２２０の双方に供給する。フィルタ２０８はデジタルローパスフィルタとして機能し、２対１サブサンプリング操作に悪影響を与えかねない高周波数成分を除去する。濾波されたデジタル信号は、第一のストライプメモリ２１６へ供給される。しかしながら、コントローラ２２４は、選択的に書き込みイネーブル信号を供給することによって、一つおきのピクセルのみをストライプメモリ２１６に書き込ませる。それゆえ、ストライプメモリ２１６は、３２０×４８０ピクセルよりなるビデオデータのみを保持することになる。さらに、データが２つのフィールドで供給されるために、各々奇数列及び偶数列のみを含む、２つのフィールドの３２０×２４０ピクセルよりなるビデオデータを順次保持することになる。これらのフィールドは、それぞれ単独で、１／４スクリーン解像度フレームのビデオシーケンスを構成する。その結果、フレーム信号のフィールドストラクチャは、本質的に、フレームを垂直方向に２対１のレートでサブサンプリングすることになる。
【００３２】
Ａ／Ｄコンバータ２０４は、フルスクリーン解像度伝送を実現するために、６４０×４８０フレーム信号を第三のストライプメモリ２２０に供給する。２フィールドのビデオデータは、もちろん表示前にフレーム全体を構成するためにインターリーブされなければならない。この作業は、図１に示されたワークステーション１２、２２あるいは３２などの各々の受信ノードにおいて実行される。
【００３３】
第一のエイリアシング防止フィルタ２０８は、濾波したデジタル信号を第二のエイリアシング防止フィルタ２１２にも供給する。第二のフィルタ２１２は、第一のフィルタによって濾波された信号をさらに濾波し、より高次のサブサンプリング、すなわち４対１及び８対１サブサンプリングを可能にする。
【００３４】
第二のエイリアシング防止フィルタ２１２は、２度濾波されたデジタル信号を第二のストライプメモリ２１８に供給する。コントローラ２２４は、濾波された信号のサブサンプリングを実現するために、第二のストライプメモリ２１８に書き込みイネーブル信号を供給する。コントローラ２２４は、第一のフィールドの４対１サブサンプリング及び第二のフィールドの８対１サブサンプリングを実現する。コントローラ２２４は、このサブサンプリングを、各々のフレームの第一フィールドに関しては４つおきのピクセルを書き込ませ、各々のフレームの第二のフィールドに関しては８つおきのピクセルを書き込ませることによって実現する。
【００３５】
コントローラ２２４は、さらに、第一のフィールドに関しては１ラインおき、第二のフィールドに関しては４ライン中の３ラインをそれぞれ削除することによって垂直方向のサブサンプリングを実現する。その結果、第二のストライプメモリ２１８は入力画像の１６０×１２０ピクセルによる表現（第一フィールド）及び８０×６０ピクセルによる表現（第二フィールド）を保持することになる。その他の適切な垂直及び水平方向サブサンプリング手法もインプリメントされうるものであり、それらは当業者には明らかである。
【００３６】
第一、第二及び第三のストライプメモリ２１６、２１８及び２２０は、フルスクリーン、１／４スクリーン、１／１６スクリーン及び１／６４スクリーンのデジタルフレームデータを有することになる。メモリ２１６、２１８及び２２０は、データをマクロブロックあるいはスライスと呼称される形態でマルチプレクサ２２８に供給する。マクロブロックは、通常、１６×８あるいは１６×１６ピクセルアレイよりなるピクセルブロックで、それらによってビデオデータフレーム全体が構成されている。一つあるいは複数個のマクロブロックが、ＭＰＥＧベースのシステムにおいて用いられるスライスを構成している。スライス及びマクロブロックは、同様に処理される。以下、記述を簡潔にする目的で、マクロブロックという一般的な述語がマクロブロックあるいはスライスを記述するために用いられる。
【００３７】
通常のビデオ信号アプリケーションにおいては、マクロブロックは、左から右へ、上から下へと順次転送される。従って、２４００個の１６×８マクロブロックは、ビデオシーケンスの６４０×４８０ピクセルフレーム全体を構成することになる。
【００３８】
マルチプレクサ２２８におけるマクロブロックは、それぞれ相異なった解像度レベルにおける元のビデオシーケンスを含む、４つの互いに独立なビデオシーケンスを構成する。コントローラ２２４の制御下で動作するマルチプレクサ２２８は、４つ全ての解像度の時分割多重化マクロブロックからなる単一のストリームを符号化デバイス２４０へ供給する。符号化デバイス２４０は、各々のマクロブロックを個別に符号化すなわち圧縮する。ＭＰＥＧベースの圧縮システムがフレーム間符号化を利用するため、エンコーダ２４０はリファレンスフレームストア２３２からリファレンスフレーム情報を受信する。フレーム間符号化アプリケーションにおいては、エンコーダは、あるフレームを符号化するために直前の（及びある場合には直後の）フレームに係る情報に依拠する。直前（直後）のフレームデータを供給するためにリファレンスフレームストア２３２を利用する方法は、当業者には公知である。しかしながら、リファレンスフレームストア２３２は、本発明に従って、複数個のビデオシーケンス、すなわち各々の解像度に対するリファレンスフレーム情報を供給しなければならない。
【００３９】
それゆえ、リファレンスフレームストア２３２は、４つの解像度レベルのビデオシーケンスの全てに対するリファレンスフレーム情報を有していなければならない。コントローラ２２４は、リファレンスフレームストア２３２のバンク切り替えを行なうことによって、符号化デバイス２４０に適切なリファレンスフレームを指示する。例えば、現在符号化デバイス２４０に供給されるマクロブロックが１／４解像度のビデオシーケンスからのものである場合には、コントローラは符号化デバイス２４０にリファレンスフレームストア２３２内にストアされた１／４解像度のリファレンスフレームを指示する。次のマクロブロックが１／６４解像度のビデオシーケンスである場合には、コントローラは符号化デバイス２４０に再び適切な指示を出す。
【００４０】
符号化デバイス２４０は、上述されているように、図２に示されて上述されているように配置されている場合には、４つの解像度全てに関するデータを符号化すなわち圧縮する。それゆえ、符号化デバイス２４０は、入力２０２において受信した各々のビデオフレームに関して、フルスクリーンフレームに対応するデータと１／４フレーム、１／１６フレーム及び１／６４フレームに関するデータとを符号化しなければならない。しかしながら、フレーム当たりに符号化されたデータ量はそれほど増大させられるのではなく、よって甚だしい遅延を導入してしまったり、現在市販されている符号化デバイスの能力に過度の負担を負わせるものではないことに留意されたい。
【００４１】
符号化デバイス２４０は、さらに各々のマクロブロックに、マクロブロック識別子（ＩＤ）を付加する。マクロブロックＩＤは、ビデオシーケンスのフレーム内でのマクロブロックの位置を表わすデータから構成されている。マクロブロックＩＤは、通常、各々のフレーム内で、左から右へ、上から下へと順次割り当てられる。マクロブロックＩＤは、各々のビデオシーケンス特有のものである。よって、フルスクリーン解像度ビデオシーケンスは、０番から２３９９番までのマクロブロックＩＤを有するのに対し、１／４スクリーン解像度シーケンスは、０番から５９９番までのマクロブロックＩＤを有する等々である。
【００４２】
符号化デバイス２４０は、ビデオデータ及びそのマクロブロックＩＤよりなる、時分割多重化及び圧縮済みマクロブロックをバッファ２４４に供給する。その後、コントローラ２２４がバッファ２４４を指示してマクロブロックをパケタイザ２４８へ書き込ませる。
【００４３】
例えばＪＰＥＧ標準などのある種の圧縮標準においては、マクロブロックＩＤは用いられない。そのような場合には、コントローラ２２４は、単にマクロブロックＩＤを生成してパケタイザにおいて圧縮されたマクロブロックにそのＩＤを書き込む。この種の適応化は、当業者には容易に実現しうるものである。
【００４４】
上述されているエンコーダ回路２００は、図１のワークステーション１２などのノードからのビデオ信号を送信するために用いられるものであるが、マルチポイントデコーダ回路は複数個の信号源からのデジタルビデオ信号を受信するために必要とされるものである。以下に記述されており、図３に示されているマルチポイントデコーダ回路４００は、複数個のデジタルビデオシーケンスの受信を可能にするために、図１のワークステーション１２によって組み入れられている。
【００４５】
図３において、マルチポイント復号化回路４００は、本発明の一側面に従って、新しいマルチポイント復号化方法を利用する。以下に記述されている回路４００は、動き補正機能が抑制された状態でフレーム間符号化ＭＰＥＧ２データを用いるシステムとコンパチブルである。他の適切なフレーム間圧縮技法も同様に用いられ得る。
【００４６】
図３に示された回路４００は、ネットワーク４０２を介してＤＡＴＡパケットストリームとして供給された複数個のビデオシーケンスを受信し、復号化し、そして表示する。デパケタイザ４０６は、ネットワーク４０２から、例えば図１のユーザＡ、Ｂ及びＣからの３種のビデオイメージを含む複数個のビデオシーケンスに係るパケットデータを受信する。デパケタイザ４０６は、３つのビデオシーケンスに対応する３つの圧縮済みビデオデータストリームを、マクロブロック変換／削除（Ｔ／Ｅ）回路４１０へ供給する。マクロブロックＴ／Ｅ回路４１０は、表示されないビデオデータのマクロブロックを削除し、マクロブロックデータの位置をユーザの配置に合うように変換する。マクロブロック削除は、ウィンドウ環境においてはビデオウィンドウのある位置が他のウィンドウの位置と重なりうるために必要になる。その結果、与えられたビデオブロックが、見えないように隠されたすなわち邪魔されたウィンドウの部分に含まれるものである場合には、マクロブロックＴ／Ｅ回路４１０はそのマクロブロックのデータを削除する。
【００４７】
その後、マクロブロックＴ／Ｅ回路４１０は、各々のマクロブロックの位置情報を、ウィンドウ１７1、１７2及び１７3などのユーザによって規定されたウィンドウにマッチするように変換する。多様な、ユーザによって定義されうるウィンドウ環境を実現するためには、マクロブロック位置は、受信側ユーザのウィンドウ配置に従うように変換されなければならない。Ｔ／Ｅ回路４１０は、受信したマクロブロックにスクリーン上での適切な位置を指示するように機能する。ビデオシーケンスが図２に示されたようなエンコーダによって送信されたものである場合には、各々のマクロブロックは、ビデオシーケンス内の他のブロックとの間の、スクリーン上での相対的な位置を規定するマクロブロックＩＤを含んでいる。マクロブロックＩＤは、基本的には、受信側ノードによってマクロブロックをディスプレイスクリーン内に配置するために用いられる。それゆえ、マクロブロックＩＤは、ユーザによって規定されたディスプレイスクリーン上での位置を反映する新たなマクロブロックＩＤに変換される。
【００４８】
システムがマクロブロックＩＤを有さないマクロブロックビデオデータを受信した場合には、デパケタイザ４０６は、制御回路と共に、各々のビデオシーケンスに関してマクロブロックＩＤが順次受信されるまで、そのマクロブロックの入力される順序を参照してビデオシーケンスすなわちソースマクロブロックＩＤを付加する。言い換えれば、各々の情報源からの各々のマクロブロックに対して、ビデオシーケンス内のフレームに係るシーケンス番号が、それがデパケタイザ４０６によって受信される順序で割り当てられる。
【００４９】
その後、Ｔ／Ｅ回路４１０は、部分的に排除されて変換されたビデオシーケンスを、１マクロブロックずつ、復号化デバイス４１４に供給する。３つのビデオシーケンスの各々からのマクロブロックは、ビットストリーム中でランダムに互いに混合されている。部分的に排除されたビットストリームは、ディスプレイ上で表示される部分に関するデータのみを有している。
【００５０】
本発明の重要な特徴の一つは、Ｔ／Ｅ回路４１０が、復号化すなわち伸長の前に、不可視ビデオデータを削除することである。復号化の前にさえぎられたマクロブロックを削除することによって、デコーダ４１４は、複数個のウィンドウに関して、１つのフルスクリーンの場合のデータと同じかあるいはより少ない量のデータに関して復号化機能を実行することになる。それゆえ、本発明に従うことによって、単一のデコーダが、その処理能力を超過することなく、複数個のウィンドウをサポートすることが可能になる。Ｔ／Ｅ回路４１０及び共に用いられる復号化デバイス４１４に係る詳細については、以下に図４に関連して議論される。
【００５１】
その後、復号化デバイス４１４は、蓄積され、ディスプレイコントローラ４１８によって最終的に表示されるのに適したマクロブロックを伸長すなわち復号化し、３つのマクロブロックビデオシーケンスから構成されるストリームを生成する。ＪＰＥＧ、ＭＰＥＧ１、ＭＰＥＧ２あるいはＰｘ６４などを含むあらゆる適切なデコーダが、本発明に従ってデコーダ４１４の機能を実行するように配置され得る。
【００５２】
しかしながら、復号化デバイス４１４は、その内容が切替可能であるように配置されなければならない。通常の動作においては、符号化デバイス４１４は、一般的に各々のビデオシーケンスの伝送において提供されるある種のオーバーヘッド情報に依拠している。その結果、デコーダは、復号化されつつある各々のビデオシーケンスの内容に対応するオーバーヘッドパラメータに切り替えられるように配置されていなければならないことになる。それゆえ、デコーダ４１４は、独立な情報源からの複数個の入力情報を受信して復号化する機能を有している。Ｔ／Ｅ回路４１０とコンテクスト切替可能復号化回路４１４とに係る詳細な議論は以下になされる。
【００５３】
図４は、図３に関連して議論されたＴ／Ｅ回路４１０及びデコーダ回路４１４のより詳細を含む回路５００を示した図である。入力バッファ５０２が、ＲＡＭベースの変換テーブル５０４に接続されている。制御プロセッサ５０６は、ＲＡＭベースの変換テーブル５０４に機能的に接続されている。
【００５４】
ＲＡＭベースの変換テーブル５０４は、変換済みアドレスバッファ５０９に接続されている。変換テーブル５０４は、さらに、マクロブロックＩＤアドレスなしの圧縮済みビデオデータを供給するマクロブロックデータバッファ５１０に接続されている。バッファ５０９及び５１０は、書き込み制御ピンすなわち端子を有するＦＩＦＯ（ファースト・イン・ファースト・アウト）バッファよりなる。
【００５５】
ＲＡＭベース変換テーブル５０４は、さらに、書き込み制御信号バッファ５０８に接続されている。書き込み制御信号バッファ５０８は、さらに、変換済みアドレスバッファ５０９とマクロブロックデータバッファ５１０の双方の書き込み制御端子に接続されている。変換済みアドレスバッファ５０９は、フレームバッファ５１８にも接続されている。
【００５６】
マクロブロックデータバッファ５１０は、復号化デバイス５１２に接続されている。復号化デバイス５１２は、ＭＰＥＧ２ビデオ圧縮標準に従ってビデオデータマクロブロックを復号化すなわち伸長するのに適したチップあるいはチップセットである。ＪＰＥＧ、ＭＰＥＧ１あるいはＰｘ６４などの他の圧縮標準環境も、本発明と共に適切に用いられ得る。デコーダ５１２は、さらに、コンテクストランダムアクセスメモリ５１４及びリファレンスフレームストレージデバイス５１６の双方に接続されている。リファレンスフレームストア５１６は、当業者には公知の方法によって、ＭＰＥＧ２フレーム間符号化を実現するように配置されている。
【００５７】
デコーダ５１２は、ビデオフレームバッファ５１８に機能的に接続されている。フレームバッファ５１８は、ビデオデータの少なくとも１フレームに関して充分な量のメモリを有している。その後、フレームバッファ５１８は、図３のディスプレイコントローラ４１８に接続される。
【００５８】
入力バッファ５０２は、図３のデパケタイザ４０６などのデパケタイザから複数個のビデオシーケンスに関する圧縮済みマクロブロックよりなるビットストリームを対応するマクロブロックＩＤと共に受信する。複数個のビデオシーケンスは、図１に示されたテレビ会議におけるワークステーション１２、２２及び３２などの、単一あるいは複数個のビデオ送信ノードから発せられたものである。ビデオ送信ノードは、毎秒３０フレームあるいはそれ以下の適当なレートで、デジタルビデオシーケンスを送出する。入力バッファ５０２は、圧縮済みマクロブロックとそのＩＤをＲＡＭベース変換テーブル５０４へ供給する。
【００５９】
ＲＡＭベース変換テーブル５０４は、入力されるマクロブロックＩＤを、ユーザによって規定されたウィンドウ配置を反映した新たなマクロブロックＩＤに変換する。ＲＡＭベース変換テーブル５０４は、各々のマクロブロックのユーザによって配置された位置に関連する新たなマクロブロックＩＤを提供する。制御プロセッサ５０６は、ユーザ配置の変更に基づいて、ＲＡＭベーステーブルへの更新を実現する。制御プロセッサ５０６は、マイクロプロセッサ及びその関連回路であることが望ましい。制御プロセッサ５０６は、図５に示された回路に固有の他のタイミング及び制御機能を実現するが、これらの実現は当業者には容易である。
【００６０】
制御プロセッサ及び変換テーブル５０４は、マクロブロック変換／削除を実現するために、以下に示されているように相互作用する。変換テーブル５０４は、複数個のアクセス可能なアドレスを有するメモリデバイスを有している。変換テーブル５０４は、各々の入力ビデオのマクロブロックの各々に対して一つのメモリアドレスを有している。本発明の一実施例に従って、テーブル内のメモリロケーションは、入力されるマクロブロック源あるいはビデオシーケンスとマクロブロックＩＤとによって、インデックスがつけられている。例えば、図１のユーザＡによって供給されるビデオシーケンスのフレームの第一のマクロブロックがあるメモリロケーションに対応する一方、図１のユーザＣによって供給されるビデオシーケンスのフレームの第一マクロブロックは他のメモリロケーションに対応している。
【００６１】
受信ノードのユーザがビデオシーケンスが表示されることになるウィンドウを規定すると、制御プロセッサ５０６は、受信された各々のマクロブロックに対応する変換されたマクロブロック位置を計算する。制御プロセッサ５０６は、その後、新たなマクロブロック位置データすなわちマクロブロックＩＤを各々の入力マクロブロックテーブルロケーションに書き込む。
【００６２】
例えば、ディスプレイ１０、２０及び３０の各々の３つのウィンドウに３つのビデオシーケンスが表示されるような、図１に示されているテレビ会議を考える。各々のビデオシーケンス内のマクロブロックは、送信端において、標準的なロケーション、例えばビデオスクリーンの左上の隅から右下方向に延在するもの、において表示されうるように規定される。左上の隅は、（０，０）というピクセルアドレスを有している。各々のビデオシーケンスに対してこのようにインデックスが付されているため、３つのビデオシーケンスの各々からのピクセルアドレス（０，０）に位置する左上隅のマクロブロックは、全て０というマクロブロックＩＤを有している。
【００６３】
しかしながら、各々のユーザは、図１に関連して説明されているように、自らのディスプレイ上の相異なった領域にウィンドウを規定し得る。その結果、ユーザの第一ウィンドウがピクセルアドレス（０，０）から開始されていても、第二及び第三ウィンドウは、右下方向に（１６０，８０）及び（３２０，１６０）から開始されることが可能である。一般に、（１６０，８０）から開始されるマクロブロックは、マクロブロックＩＤ４１０に対応するが、（３２０，１６０）から開始されるマクロブロックは、マクロブロックＩＤ８２０に対応する。
【００６４】
制御プロセッサ５０６は、変換情報、すなわち新たなマクロブロックＩＤをＲＡＭベーステーブル５０４に供給する。変換テーブル５０４は、各々のマクロブロックのビデオシーケンス及びその送信された時点でのマクロブロックＩＤによってインデックスが付されている。それゆえ、前述された例に従って、制御プロセッサ５０６は、マクロブロックＩＤの０を第一のビデオシーケンスのマクロブロック０に対応するテーブル位置に、マクロブロックＩＤ４１０を第二のビデオシーケンスのマクロブロック０に対応するテーブル位置に、そしてマクロブロックＩＤ８２０を第三のビデオシーケンスのマクロブロック０に対応するテーブル位置に、それぞれ書き込む。
【００６５】
制御プロセッサ５０６は、さらに、マクロブロック削除情報をＲＡＭベース変換テーブル５０４に供給する。ウィンドウアプリケーションにおいては、ウィンドウの一部が、図１のウィンドウ２７1、２７2及び２７3のように、互いにオーバーラップする場合がある。隠されたビデオデータは、表示されたりデコードされたりする必要がない。コントロールプロセッサ５０６は、いずれのビデオシーケンスにおけるいずれのマクロブロックが隠されているかを決定し、この情報をＲＡＭベース変換テーブル５０４に供給する。一実施例においては、制御デバイス５０６は、隠されたマクロブロックのテーブルアドレスにデータフラグを供給する。データフラグは、そのマクロブロックが削除されるべきであることを示している。その結果、削除されたマクロブロックが変換テーブルをアクセスすると、変換テーブル５０４はマクロブロックＩＤではなく、その代わりにマクロブロック削除フラグを提供する。
【００６６】
その後、変換テーブル５０４は、複数個のビデオシーケンスからの圧縮済みマクロブロックデータをマクロブロックデータバッファ５１０へ供給する。ＲＡＭベース変換テーブル５０４の検索結果、言い換えれば新たなマクロブロックＩＤかマクロブロック削除フラグのいずれか、が、書き込み制御信号バッファ５０８及び変換済みアドレスバッファ５０９に供給される。検索の結果が有効なマクロブロックＩＤを生成する場合には、書き込み制御信号バッファ５０８は書き込み制御信号をマクロブロックデータバッファ５１０と変換済みアドレスバッファ５０９の双方に供給する。テーブルアドレスがマクロブロック削除フラグを有している場合には、書き込み信号は生成されない。
【００６７】
マクロブロックが隠されているために書き込み信号が供給されない場合には、ビデオデータはマクロブロックデータバッファ５１０に書き込まれず、検索テーブルアドレスの内容は変換済みアドレスバッファ５０９に書き込まれない。マクロブロックＩＤとマクロブロックビデオデータの双方ともが書き込まれないため、そのマクロブロックは実効的に削除されたことになる。
【００６８】
しかしながら、書き込み制御信号バッファ５０８が書き込み信号を生成する場合には、マクロブロックビデオデータはデータバッファ５１０に書き込まれる。さらに、変換テーブルアドレスの内容、言い換えればマクロブロックＩＤ、が、変換済みアドレスバッファ５０９に書き込まれる。デコーダ５１２は、コンテクストＲＡＭ５１４及びリファレンスフレームストレージデバイス５１６と共に、マクロブロックビデオデータを伸長すなわち復号化し、復号化されたマクロブロックデータをフレームバッファ５１８へ供給する。復号化されたマクロブロックビデオデータがフレームバッファ５１８へ供給される場合には、変換済みアドレスバッファ５０９が新たなマクロブロックＩＤをフレームバッファ５１８に供給する。
【００６９】
コンテクストＲＡＭ５１４は、復号化デバイス５１２に、マクロブロックのビデオシーケンスに係るマクロブロック以外の所定のパラメータを供給する。大部分の圧縮標準においては、各々のビデオシーケンスに所定の量のオーバーヘッド情報が関連付けられている。例えば、特定のビデオシーケンスにおけるマクロブロックを符号化するために用いられた量子化ファクタがこのオーバーヘッド情報に含まれる。復号化デバイス５１２が複数個の情報源、すなわち複数個のビデオシーケンスから発せられたマクロブロックを受信するため、復号化デバイス５１２によって必要とされるオーバーヘッド情報はマクロブロック毎に変化することになる。コンテクストＲＡＭ５１４は、復号化デバイス５１２によって復号化されつつあるマクロブロックに関するコンテクスト情報を提供する。ビデオシーケンスコンテクストすなわちオーバーヘッド情報は、適切な圧縮標準によって規定されている。例えば、ＭＰＥＧベースのシステムの場合には、必要とされるビデオシーケンスコンテクスト情報に関する記載については、”動画及び関連する音声の一般的な符号化”（推奨Ｈ．２６２、ＩＳＯ／ＩＥＣ１３８１８−２（委員会草案））を参照。
【００７０】
フレームバッファ５１６は、変換済みアドレスバッファ５０９によって供給された新たなマクロブロックＩＤに対応するアドレスにマクロブロックビデオデータをストアする。このように、復号化済みビデオデータは、それが表示されるスクリーン内のウィンドウの位置を反映した、フレームバッファ５１６内のロケーションに配置される。フレームバッファ５１６は、ビデオデータを、それが受信側ノードユーザのビデオスクリーンに表示されるようにストアする。フレームバッファ５１６は、ビデオデータを図３のディスプレイコントローラ４１８へ供給する。
【００７１】
フレーム内ＪＰＥＧ符号化と共に用いられるのに適するように修正された上記回路５００の別の実施例においては、リファレンスフレームバッファ５１６が削除される。ＪＰＥＧビデオ符号化標準はフレーム内符号化のみを利用する。フレーム内符号化においては、データ圧縮は、ビデオシーケンスの単一フレーム内の空間的な相関のみを利用することによって実現される。その結果、デコーダ５１２は、直前（あるいは直後）のビデオフレームをアクセスする必要がなくなり、それゆえリファレンスフレームバッファ５１６なしに復号化機能を実行することが可能である。さらに、ＭＰＥＧ標準などの他のビデオ符号化標準を用いるシステムにおいても、若干効率が低下するが、強制的にフレーム内符号化のみを利用するようにすることも可能である。このようなシステムにおいては、同様にリファレンスフレームバッファ５１６を不要にすることが可能である。
【００７２】
上述された回路５００の別の修正された実施例は、動き補正済みビデオ信号と共に用いられるのに適している。動き補正は、ビデオイメージ内での対象物の動きを考慮して、シーケンス内の直前あるいは直後のフレームにおけるずらされた領域からフレームビデオデータが獲得されるような、ビデオ圧縮符号化の別の形態である。動き補正圧縮においては、デコーダに、リファレンスフレーム内の、そこから現在のマクロブロックが移動してきたロケーションを指示する、動きベクトルが伝送される。例えば、ＭＰＥＧ２標準がこの種の動き補正をサポートしている。動き補正が用いられる場合には、リファレンスフレームバッファ５１６は、さらに動き補正復号化をサポートするための標準的な回路を含むことになる。この種の回路は当業者には公知である。
【００７３】
しかしながら、そのような回路５００の実施例を含む受信側ノードワークステーションは、ウィンドウのオーバーラップを抑制しなければならない。動き補正が直前あるいは直後のリファレンスフレームからずらされた画像データを用いるため、マクロブロックは隠されたり削除されたりしてはならない。さもないと、デコーダが、隠されたマクロブロックから可視マクロブロックへと移動させられた画像に係るデータを参照しようと試みてしまうことになる。動きベクトルがこのような直前には隠されていたマクロブロックを指し示す場合には、デコーダエラーとなる。よってワークステーション１２は、ユーザがウィンドウをオーバーラップして定義することを防止するように配置されているか、あるいは他の適切な方法が用いられている。従って、上記実施例においては、ＭＰＥＧ２動き補正が用いられているが、受信側ノードのユーザのウィンドウ環境の自由度が制限されている。
【００７４】
図２に示されたマルチポイントエンコーダ回路及び図３と図４の双方に示されたマルチポイントデコーダ回路は、図１に関連して既に議論されているテレビ会議システムを構成するノードにおいて用いられるのに適したものである。
【００７５】
図１において、そこに図示されているネットワーク配置の一つの問題点は、種々の情報源からのビデオを受信するために、各々のユーザが、テレビ会議を一緒に行なおうと思う他の参加者の各々と特定の解像度レベルでネットワークを介して仮想回路接続を設定しなければならないことである。その結果、ユーザＡ、ＢあるいはＣのいずれかが他の一人の参加者を見るためのウィンドウサイズすなわち解像度を変更すると、新たな仮想回路接続がネットワーク上で設定されなければならないことになり、元の仮想回路接続が終了されなければならないことになる。このような回路接続実現及び切断操作は非常に時間を必要とし、さらに不便である。このような問題をなくすために、リモートユーザに対する多重解像度接続を実現する別の配置がインプリメントされる。このような実施例のうちのいくつかが、図５及び図６に関連して以下に議論される。
【００７６】
図５は、エンドポイント６１０、６１２及び６１４での通信装置に対する接続及び切断の必要性を低減するためにネットワークブリッジ６０８が備え付けられているような、テレビ会議サービスを実現するシステム６００の実施例を示した図である。ノード６１０、６１２、６１４は、図１に占めされたワークステーション１２、２２及び３２等のユーザＡ、Ｂ及びＣのワークステーション及び表示装置を表現している。ノード６１０、６１２、６１４は、送信ノード及び受信ノードの双方として機能する。あるいは、一人あるいは複数のユーザがある種のビデオデータストレージデバイスによって置換されて、残ったユーザがそこからビデオデータをアクセスすることも可能である。ノード６１０、６１２及び６１４は、ネットワーク６１６を介してネットワークブリッジ６０８に接続されている。
【００７７】
ネットワークブリッジ６０８は、ネットワークノードとネットワークスイッチの双方として機能する複数個の専用ハードウエアから構成されている。ネットワークブリッジ６０８は、それが他のノード６１０、６１２、６１４への仮想回路接続を設定するために、ノードとして機能する。また、ネットワークブリッジ６０８は、以下に議論されているように、それが接続されている他の種々のノードとの間の論理的な接続を設定するために、スイッチとして機能する。ネットワークブリッジ６０８は非同期転送モード（ＡＴＭ）交換回路からなることが適切であるが、その実現例は当業者には公知である。
【００７８】
実際の動作においては、ノード６１０、６１２及び６１４におけるユーザＡ、Ｂ及びＣなどの、一人あるいは複数のテレビ会議参加者が、ブリッジとの間で送受信するための仮想回路接続を設定する。各々のノードは、ビデオ信号をブリッジ６０８宛に供給する。ノード６１０、６１２及び６１４のいずれかが多重解像度レベルを提供することが可能である場合には、多重解像度レベルビデオシーケンスは全てネットワークブリッジ６０８宛に送出される。その後、ネットワークブリッジ６０８は、ユーザからの送信を、各々のユーザからのリクエストに従って各々のノード６１０、６１２及び６１４に接続する。
【００７９】
このようにして、各々のユーザは、ネットワーク６１６を介して他の各々のユーザとの間の仮想回路接続を設定する必要がなくなる。さらに、ユーザの一人が一人の参加者の表示ウィンドウの大きさ、すなわち解像度を変更しようと欲する場合には、ユーザはその参加者との間の仮想回路接続を切断して新たな接続を設定する必要はない。代わりに、ブリッジがユーザを適切な解像度レベルのビデオシーケンスに接続するのみである。各ノードにおける接続／切断の必要性を無くすことによって、ハードウエアコストが低減され、実施例が簡潔にされる。
【００８０】
図６は、図５に関連して上述されている標準的なＡＴＭの代わりに用いられうるブリッジの別の実施例を示した図である。ブリッジ７００は、ネットワーク接続７０４を介して接続された複数個のノードに対する複数個の仮想回路の設定が可能な、マルチキャストバス７０８を含んでいる。マルチキャストバス７０８は、複数個の情報源からデータを受信することが可能なデータバスを有している。マルチキャストバス７０８は、複数個の論理ブリッジ回路７１２1、、、７１２nに接続されている。各々の論理ブリッジ回路７１２1、、、７１２nは、受信ノード（図示せず）に対して仮想回路出力接続を設定することが可能である。その結果、論理ブリッジ回路７１２1、、、７１２nを有するブリッジ７００は、最大ｎ個のノードに対してビデオ信号を供給することができる。
【００８１】
第一の論理ブリッジ回路７１２1が以下に詳細に記述される。残りの論理ブリッジ回路７１２2、、、７１２nは第一のブリッジ回路７１２1と同一の素子を含んでおり、同一の対応する機能を実行する。第一のブリッジ回路７１２1は、マルチキャストバス７０８に接続されたデパケタイザ７１６1を有している。デパケタイザ７１６1は、ネットワークビデオデータパケットを圧縮済みビデオマクロブロックストリームに変換するために必要とされる回路を有している。
【００８２】
デパケタイザ７１６1は、図３に示されたＴ／Ｅ回路４１０と同様の回路からなるマクロブロックＴ／Ｅ回路７１８1に接続されている。Ｔ／Ｅ回路７１８1は、パケタイザ７２０1に接続されている。パケタイザ７２０1は、ビデオデータパケットを論理ブリッジ回路７１２1への仮想回路接続に対して供給する。
【００８３】
実際の動作においては、ブリッジ７００は以下のように機能する。図６のノード６１０、６１２及び６１４に位置するユーザＡ、Ｂ及びＣがテレビ会議を開始して参加する場合を考える。ユーザＡ、Ｂ及びＣのうちの一人あるいは複数が、マルチキャストバス７０８に対する仮想回路接続を設定することによって複数個の解像度レベルに対応する複数個のビデオシーケンスを供給する。各々のユーザＡ、Ｂ及びＣは、さらに、ビデオデータを受信するために、論理ブリッジ回路７１２1、、、７１２nのうちの一つに対する仮想回路接続を設定する。よって、例えばユーザＡは７１２1と接続され、ユーザＢは７１２2と接続され、ユーザＣは７１２3と接続されることになる。
【００８４】
各々のユーザが接続されると、各々のユーザは単一あるいは複数個の解像度のビデオシーケンスをマルチキャストバス７０８に供給する。各々の論理回路７１２1、７１２2及び７１２3は、各々の参加者から供給される全てのビデオシーケンスに関するビデオデータを受信する。デパケタイザ７１６1、７１６2及び７１６3は、全てのビデオデータを対応するＴ／Ｅデバイス７１８1、７１８2及び７１８3に供給する。
【００８５】
Ｔ／Ｅデバイス７１８1、７１８2及び７１８3は、特定のユーザのウィンドウ定義に対応するマクロブロックのみを供給するために、データストリームからマクロブロックを適宜削除する。例えば、ユーザＡが、Ａ及びＣの１／１６スクリーンビデオによってオーバーラップされたＢのフルスクリーンビデオを選択した場合には、Ｔ／Ｅデバイス７１８1は、Ａのビデオ、Ｂのビデオ、及びＣのビデオの他の全ての解像度レベルを含むビデオシーケンスからマクロブロックを削除する。さらに、Ｔ／Ｅデバイス７１８1は、ＢのフルスクリーンビデオシーケンスのマクロブロックのうちのＡ及びＣのウィンドウによって隠されるブロックも削除する。
【００８６】
Ｔ／Ｅ回路７１８1は、ユーザＡのウィンドウ配置に適合するように、マクロブロックのスクリーン位置を変換する。実際、Ｔ／Ｅ回路７１８1、７１８2及び７１８3は、図４に示されたＴ／Ｅ回路４１０と同じ様式で動作するが、Ｔ／Ｅ回路７１８1、７１８2及び７１８3が各々の参加者から全ての解像度のデータストリームを受信し、それゆえより多くのビデオデータを削除しなければならないという点が異なっている。加えて、各々のユーザは、希望するウィンドウ配置をそれぞれのユーザに割り当てられた論理ブリッジに対して制御信号を供給しなければならない。
【００８７】
ブリッジ回路７００は、図５に示されたＡＴＭ交換回路６０８に対する幾つかの利点を有している。マクロブロック削除機能がブリッジによって実行されるため、受信ノードに対して送出される必要があるデータがより少なくて済むことになる。送信データの低減は、必要な帯域を低減することになる。さらに、Ｔ／Ｅ回路機能がブリッジにおいて実行されるため、受信ノードはそのような回路を有する必要がない。それゆえハードウエア費用が低減される。
【００８８】
本発明に係る他のブリッジは、唯一つの論理ブリッジ回路７１２1を有するという点を除いてブリッジ７００と同様のブリッジから構成されている。このような場合には、論理ブリッジ回路７１２1が全ての送信ノード及びすべての受信ノードとの仮想接続を設定する。マルチキャストバス７０８は不要である。論理ブリッジ回路７１２1は、ネットワーク接続７１４を介して全ての送信ノード（図示せず）からの全ての解像度レベルの信号を受信する。その後、論理ブリッジ回路７１２1は、マクロブロック削除及び変換段階を含む、上述されている全ての同一の機能を実行する。その後、論理ブリッジ７１２1は、その結果得られたビデオ信号を全ての受信ノードに送信する。
【００８９】
唯一つの論理回路のみが備えられているだけであるため、全てのユーザに対して唯一つのウィンドウ配置のみが利用可能である。このことはウィンドウ環境のフレキシビリティを制限するが、ネットワークブリッジ７００に必要とされるハードウエアも低減する。
【００９０】
上記実施例はテレビ会議アプリケーションに係るものであるが、本発明は、他のマルチポイントビデオ環境に対して容易に適用し得る。本発明に従ったマルチポイント符号化及び復号化技術により、インタラクティブ多人数ビデオゲームを含むあらゆるビデオ通信アプリケーションが多重ウィンドウ環境を利用することが可能になる。さらに、多重ウィンドウビデオ環境が、最小の付加的符号化／復号化ハードウエアのみが必要とされるために、比較的安価に実現できる。
【００９１】
本発明に係る別の実施例においては、図１のワークステーション１２、２２あるいは３２のうちのいずれかあるいは複数個が、それぞれの実施例に応じてセントラルビデオデータベース、ビデオ黒板、あるいはケーブルテレビサービスプロバイダより構成されている。多くの場合、この種のワークステーションは常に受信ノードとして機能させられている必要はなく、本発明に係る方法に従って利用者の受信ノードに対して情報を供給するために、単に接続するだけでよい。
【００９２】
上述された、ノードが３つのシステムも、本発明を例示するためだけのものであることに留意されたい。本発明に係るマルチポイント符号化回路を用いる用いないに拘らず、あらゆる数の送信ノードが、図３及び図４に関連して記述されている本発明に係るマルチポイント復号化回路を利用するあらゆる数の受信ノードに対してビデオデータを供給し得る。逆に、本発明に係るマルチポイント復号化回路を用いる用いないに拘らず、あらゆる数の受信ノードが、図２に示された本発明に係るマルチポイント符号化回路２００を利用する単一あるいは複数個の送信ノードからビデオデータを受信し得る。
【００９３】
ＮＴＳＣ信号、６４０×４８０ピクセルのデジタルディスプレイ、及び特定のサブサンプリングレート及び方法などの詳細は、もちろん例示目的のみに示されているものである。
【００９４】
以上の説明は、本発明の一実施例に関するもので，この技術分野の当業者であれば、本発明の種々の変形例が考え得るが、それらはいずれも本発明の技術的範囲に包含される。
【００９５】
【発明の効果】
以上述べたごとく、本発明によれば、コストエフェクティブなマルチポイントビデオシステムが提供される。
【図面の簡単な説明】
【図１】 本発明に係る方法と関連して用いられるビデオ会議システムの一例を示す図。
【図２】 本発明の一側面に従って、単一の入力ビデオシーケンスから認識可能な遅延を導入してしまうことなく４つの相異なった解像度レベルにおける圧縮済みビデオデータを送信するように動作可能なマルチポイントエンコーダ回路を示す図。
【図３】 本発明に係る方法を用いて、複数個の情報源からのビデオデータを同時に受信し、復号化し、かつ表示することが可能なマルチポイントデコーダ回路の機能ブロック図。
【図４】 複数個の圧縮済みデータストリームに対応する複数個のビデオ画像の多重ウィンドウ表示を可能にする目的で本発明の一側面を実現することが可能なマクロブロックトランスレータ及びエリミネータ、デコーダ及び関連する回路の詳細を示すブロック図。
【図５】 本発明に従って高効率ユーザビデオ会議システムを実現する少なくとも一つのエンコーダ及び少なくとも一つのデコーダと共に用いられるブリッジを用いるネットワーク例を示す図。
【図６】 本発明に従って高効率ユーザビデオ会議システムを実現する少なくとも一つのエンコーダ及び少なくとも一つのデコーダを用いるシステムと共に用いられるブリッジの別な実施例を示す図。
【符号の説明】
１０、２０、３０ ディスプレイ
１２、２２、３２ ワークステーション
１４、２４、３４ ビデオカメラ
１５ マウス
１７、２７、３７ ウィンドウ
４０、５０、６０ 通信回線
７０ ネットワーク
２００ マルチポイント符号化回路
２０２ 入力
２０４ Ａ／Ｄコンバータ
２０８ 第一エイリアシング防止フィルタ
２１２ 第二エイリアシング防止フィルタ
２１６、２１８、２２０ ストライプメモリ
２２４ コントローラ
２２８ マルチプレクサ
２３２ リファレンスフレームストア
２４０ 符号化デバイス
２４４ バッファ
２４８ パケタイザ
４００ マルチポイント復号化回路
４０２ ネットワーク
４０６ デパケタイザ
４１０ マクロブロック変換／削除回路
４１４ コンテクスト切替可能復号化回路
４１８ ディスプレイコントローラ
５００ Ｔ／Ｅ回路及び復号化回路
５０２ 入力バッファ
５０４ ＲＡＭベース変換テーブル
５０６ コントロールプロセッサ
５０８ 書き込み制御信号バッファ
５０９ 変換済みアドレスバッファ
５１０ データバッファ
５１２ 復号化デバイス
５１４ コンテクストＲＡＭ
５１６ リファレンスフレームバッファ
５１８ フレームバッファ
６００ テレビ会議システム
６０８ ネットワークブリッジ
６１０、６１２、６１４ ノード
６１６ ネットワーク
７００ ネットワークブリッジ
７０４ ネットワーク接続
７０８ ネットワークバス
７１２ 論理ブリッジ回路
７１６ デパケタイザ
７１８ マクロブロック変換／削除回路
７２０ パケタイザ

Claims (10)

1. 通信システムへ接続するのに適応したネットワークブリッジ装置であって、該通信ネットワークは複数のノードを１またはそれ以上の受信ノードへ該ネットワークブリッジ装置を介して接続しており、そして１またはそれ以上の受信ノードのマルチポイントビデオ通信の間に多重ウィンドウビデオ環境をサポートするよう動作しており、該ネットワークブリッジ装置は、
   通信ネットワークの複数の送信ノードから、複数のマクロブロックとして表されたビデオシーケンスデータを受信するマルチキャストバスと、
   該マルチキャストバスに接続された１またはそれ以上の論理ブリッジ回路とを含み、該論理ブリッジ回路はマクロブロック削除および変換手段を含んでおり、該マクロブロック削除および変換手段はマクロブロックの位置を、該１またはそれ以上の論理ブリッジ回路の各々の多重ウィンドウのうちの１つにおける相対位置へ変換しており、該１またはそれ以上の論理ブリッジ回路は該変換したマクロブロックを該１またはそれ以上の受信ノードへ送信していることを特徴とするネットワークブリッジ装置。
2. 請求項１のネットワークブリッジ装置において、前記受信されたビデオシーケンスは各送信ノードから複数の解像度レベルデータを含むネットワークブリッジ装置。
3. 請求項１のネットワークブリッジ装置において、前記マクロブロック削除および変換手段は１またはそれ以上の受信ノードにおいてウィンドウ定義に対応していないマクロブロックを削除するよう動作するネットワークブリッジ装置。
4. 請求項２のネットワークブリッジ装置において、前記１またはそれ以上の論理ブリッジ回路は、各送信ノードによって送信された解像度レベルデータごとに仮想回路を確立するために動作するネットワークブリッジ装置。
5. 多重ウィンドウを表示する多重ウィンドウビデオディスプレイを駆動するためのマルチポイントデコーダ回路において、該マルチポイントデコーダ回路は、
   複数のビデオシーケンスを受信する入力部を備え、各々の該ビデオシーケンスは複数のビデオフレームからなり、各々の該ビデオフレームは複数のマクロブロックからなり、該複数のマクロブロックは、表示可能な部分と表示可能でない部分とからなり、各々の該マクロブロックは位置情報を持っており、前記マルチポイントデコーダ回路は、
   該表示可能でない部分を削除するよう動作するマクロブロック回路と、
   位置情報を該多重ウィンドウのうちの１つの内部の相対位置へ変換する変換回路とを含むことを特徴とするマルチポイントデコーダ回路。
6. 請求項５のマルチポイントデコーダ回路において、多重ウィンドウを表示するためのユーザ選択を記述する所定の形態をさらに備え、
   該変換回路の変換は該所定の形態の所定の形態にに依存しているマルチポイントデコーダ回路。
7. 請求項５のマルチポイントデコーダ回路において、前記表示可能な部分を復号するデコーダをさらに備えるマルチポイントデコーダ回路。
8. 請求項５のマルチポイントデコーダ回路において、制御プロセッサをさらに備え、該制御プロセッサはマクロブロック回路が動作する複数のレベルデータのうちの１つを選択するマルチポイントデコーダ回路。
9. 通信システムへ接続するのに適応したネットワークブリッジ装置であって、該通信ネットワークは複数のノードを１またはそれ以上の受信ノードへ該ネットワークブリッジ装置を介して接続しており、そして１またはそれ以上の受信ノードのマルチポイントビデオ通信の間に多重ウィンドウビデオ環境をサポートするよう動作しており、該ネットワークブリッジ装置は、
   通信ネットワークの複数の送信ノードから、表示可能な部分および表示可能でない部分からなる複数のマクロブロックとして表されたビデオシーケンスデータを受信するマルチキャストバスと、
   該マルチキャストバスに接続された１またはそれ以上の論理ブリッジ回路とを含み、各論理ブリッジ回路は受信ノードを接続しており、該論理ブリッジ回路はマクロブロック削除および変換手段を含んでおり、該削除手段はマクロブロックの表示可能でない部分を削除しており、該変換手段は表示可能な部分の位置を、該１またはそれ以上の論理ブリッジ回路の各々の多重ウィンドウのうちの１つにおける相対位置へ変換しており、該１またはそれ以上の論理ブリッジ回路は該変換したマクロブロックを該１またはそれ以上の受信ノードへ送信していることを特徴とするネットワークブリッジ装置。
10. 多重ウィンドウを表示する多重ウィンドウビデオディスプレイ内のビデオシーケンスを駆動するためのマルチポイントデコーダ回路において、多重ウインドウの配列はウインドウ形態を画定しており、該マルチポイントデコーダ回路は、
    複数のビデオシーケンスを受信する入力部を備え、各々の該ビデオシーケンスは複数のビデオフレームからなり、各々の該ビデオフレームは複数のマクロブロックからなり、該複数のマクロブロックは、表示可能な部分と表示可能でない部分とからなり、各々の該マクロブロックは位置情報を持っており、前記マルチポイントデコーダ回路は、
    ウインドウ形態に応答して、該表示可能でない部分を削除するよう動作するマクロブロック回路と、
    位置情報を該多重ウィンドウのうちの１つの内部の相対位置へ変換する変換回路とを含むことを特徴とするマルチポイントデコーダ回路。

Images