JP3936707B2

JP3936707B2 - スケーラブル通信会議システム，サーバ装置，スケーラブル通信会議方法，スケーラブル通信会議制御方法，スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体

Info

Publication number: JP3936707B2
Application number: JP2004155420A
Authority: JP
Inventors: 久美秦泉寺; 淳一中嶋; 一人上倉
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-05-26
Filing date: 2004-05-26
Publication date: 2007-06-27
Anticipated expiration: 2024-05-26
Also published as: JP2005341075A

Description

本発明は，複数のクライアントの合成画像と特定のクライアントの画像とを，各クライアントが任意に切り替えて表示することができるようにした多地点テレビ会議システムに関し，特に各クライアントごとに画像のビットレートを任意に変更可能とし，特定のクライアントの画像を高精細に表示できるようした階層符号化データを用いたスケーラブル通信会議システムに関するものである。

従来の多地点通信会議システムとしては，例えば下記の特許文献１「多地点会議制御装置」，特許文献２「画像符号化方式及びその画像符号化方式を用いた多地点間テレビ会議方式」，特許文献３「多地点間テレビ会議装置」等に記載されたものが知られている。

一般にこれらの多地点通信会議システムでは，通信会議を制御するサーバ装置が，会議に参加している複数のクライアントから受信した画像を合成して，各クライアント端末に配信しているが，合成された画像は固定ビットレートであった。

また，多地点通信会議システムにおいて，サーバ装置と各クライアント端末間の画像データの送受信に，基本レイヤビットストリームと拡張レイヤビットストリームとからなるスケーラブルな階層符号化データを用いることは，基本レイヤおよび拡張レイヤの全体としての符号化データ量が多くなることなどから，あまり考えられていなかった。

画像通信におけるスケーラブルな符号化方式としては，例えば下記の非特許文献１に記載されているようなＭＰＥＧ−４・ＦＧＳ(Fine Granularity Scalable) 符号化方式が知られている。このような階層符号化のもっとも目的とするところは，伝送帯域の変動があった場合に，拡張レイヤを適応的にカットして，画像の途切れをなくすための機能を実現することである。
特開平０７−２３６１２８号公報特開平０４−１７７９９３号公報特開昭６３−１７４４８７号公報 "AMENDMENT 4:Streaming video profile ", ISO/IEC 14496-2:1999/FDAM4.

従来の多地点通信会議システムには，次のような問題があった。
（１）サーバ装置が各クライアント端末に配信する画像データは固定ビットレートであり，各クライアント端末ごとに異なるビットレートで受信することはできなかった。ある一人の会議参加者のクライアント端末が，サーバ装置から受信する画像データのビットレートを変更しようとすると，他のすべてのクライアント端末に対する画像データのビットレートも同じビットレートに変更する必要があった。
（２）クライアント端末が，複数のクライアントの合成画像から特定のクライアントの画像（以下，個人画像という）だけを選択して表示させた場合に，合成画像と個人画像の精細度は同じであり，合成された画像から個人画像を高精細に視聴することはできなかった。
（３）また，サーバ装置から各クライアント端末に配信される画像データは固定ビットレートであるため，帯域の変動に対処することはできなかった。

本発明は上記問題点の解決を図り，多地点通信会議システムにおいて各クライアント端末ごとに画像データのビットレートを自由に変更できるようにし，また合成画像と特定の個人画像とを任意に切り替え，個人画像を高精細に視聴できるようにし，また，ビットレートを落としたときでもフレームレートを保証できるようにすることを目的とする。

上記課題を解決するため，本発明は，多地点テレビ会議を制御するサーバ装置が，各クライアント端末からスケーラブルビットストリームを受信する機能と，各クライアント端末へスケーラブルビットストリームを送信する機能と，受信した基本レイヤビットストリームの合成・符号化を行う機能と，受信した拡張レイヤビットストリームの合成・符号化を行う機能と，各クライアント端末ごとに合成画像のビットストリームまたは個々の画像のビットストリームに切り替えて送信する機能と，クライアント端末ごとに送信するデータのビットレートとを決定する機能と，各クライアント端末に対して送信する合成画像のビットストリームまたは個々の画像のビットストリームについて指定されたビットレートとなるようにビットストリームを切り出す機能とを備える。

すなわち，本発明は，複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信を制御するサーバ装置とを備え，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を行うスケーラブル通信会議システムであって，前記各クライアント端末または前記サーバ装置またはネットワーク上の装置の少なくともいずれかが，前記各クライアント端末が受信するデータのビットレートを指示する手段を備え，前記各クライアント端末は，自端末における入力映像を階層符号化する手段と，階層符号化されたデータを前記サーバ装置へ送信する手段と，前記サーバ装置から階層符号化されたデータを受信する手段と，受信した階層符号化されたデータを階層復号する手段と，階層復号した画像を表示する手段と，前記複数のクライアント画像を合成した画像を表示するか特定のクライアントの画像を表示するかの合成画像と個人画像の選択情報を入力する手段と，前記合成画像と個人画像の選択情報を前記サーバ装置へ送信する手段とを備え，前記サーバ装置は，前記各クライアント端末から階層符号化されたデータを受信する手段と，受信した各クライアント端末からの階層符号化されたデータを復号することなく，基本レイヤビットストリームと拡張レイヤビットストリームとをそれぞれ合成し，合成画像のビットストリームを生成するビットストリーム合成処理手段と，前記各クライアント端末から合成画像と個人画像の選択情報を受信する手段と，受信した合成画像と個人画像の選択情報に基づき，前記合成画像のビットストリームを送信するか選択された特定のクライアント端末から受信した階層符号化されたデータを送信するかを切り替える手段と，前記各クライアント端末への送信対象となる前記合成画像または特定のクライアントの画像の階層符号化されたデータのデータ量が，前記指示されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，前記ビットレートトランスコード手段の出力ビットストリームを前記クライアント端末へ送信する手段とを備えることを特徴とする。

また，前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータであることを特徴とする。

図１は，本発明の概要を説明するための図である。本発明は，多地点テレビ会議のための通信会議システムにおいて，サーバ装置は，各クライアント端末から基本レイヤビットストリーム１１と拡張レイヤビットストリーム１２とからなる階層符号化データを受信する。各クライアント端末は，合成画像を受信するか任意の個人画像を受信するかを選択することができる。また，受信するビットレート（データ量）を指定することができる。

図１（ａ）は，クライアント端末が合成画像の受信を選択した場合の動作を示している。ここでは，あるクライアントが，他の会議参加者であるクライアントＡ〜Ｄの画像を受信するものとする。ビットレート指示部１９は，あらかじめデータを受信するクライアント端末からの要求などにより，そのクライアント端末に対して送信するデータのビットレートをビットレートトランスコード部１６に指示する。

サーバ装置が，各クライアントＡ〜Ｄのクライアント端末から，基本レイヤビットストリーム１１および拡張レイヤビットストリーム１２からなるスケーラブルビットストリームを受信すると，転送先のクライアント端末が合成画像を選択しているか個人画像を選択しているかを判定し，合成画像を選択している場合には，ビットストリーム合成処理部１３によって，各クライアントＡ〜Ｄの画像データを合成する。

ビットストリーム合成処理部１３は，基本レイヤ合成符号化部１３１と拡張レイヤ合成符号化部１３２とを備え，画像データの合成の場合には，基本レイヤ合成符号化部１３１によって各クライアントＡ〜Ｄの基本レイヤビットストリーム１１を合成・符号化し，拡張レイヤ合成符号化部１３２によって各クライアントＡ〜Ｄの拡張レイヤビットストリーム１２を合成・符号化する。

ビットレートトランスコード部１６は，ビットストリーム合成処理部１３によって合成されたビットストリームを受信し，ビットレート指示部１９により指示された所定のビットレート（帯域幅）で送信することができるように，ビットストリームをカットする処理を行うものである。すなわち，指示されたビットレートにより転送可能なビット量になるようにデータ量を削減するために，拡張レイヤビットストリーム１２の下位側のビットプレーン（レイヤ）から順番に符号化データを０にする。ビットレートによっては，拡張レイヤビットストリーム１２をまったく送らない場合もあり，また基本レイヤビットストリーム１１におけるＢピクチャ，さらにＰピクチャをカットする場合もある。

ビットレートトランスコード部１６によりトランスコードしたビットストリームを，合成画像を要求したクライアント端末へ送信することにより，クライアントでの表示画面３のように，クライアントＡ〜Ｄの画像が合成されたものが表示される。

また，クライアント端末が合成画像ではなく，特定の個人画像（例えばクライアントＢの画像）を要求した場合には，サーバ装置は，図１（ｂ）に示す処理を行う。まず，合成・個人画像選択情報受信部１８が，クライアント端末からクライアントＢの画像の要求を受信したことを，個人画像選択部１４に通知する。個人画像選択部１４は，クライアントＡ〜Ｄから受信したスケーラブルビットストリームのうち，クライアントＢの基本レイヤビットストリーム１１および拡張レイヤビットストリーム１２だけを選択してビットレートトランスコード部１６へ送る。

ビットレートトランスコード部１６では，図１（ａ）の場合と同様に，ビットレート指示部１９により指示された所定のビットレート（帯域幅）で送信することができるように，ビットストリームをカットする処理を行う。ここでは，クライアントＢのスケーラブルビットストリームだけが選択されているので，基本レイヤビットストリーム１１および拡張レイヤビットストリーム１２のビット量は，クライアントＢの一人分だけであり，図１（ａ）の場合と同じビットレートであっても，特に拡張レイヤビットストリーム１２について，多くの転送ビット量を割り当てることができる。もちろん，拡張レイヤビットストリーム１２として送信するビットプレーン数が多ければ多いほど，受信側の装置において符号化データを復号した画像は，高精細に表示されることになる。

したがって，クライアントでの表示画面３は，クライアントＢの画像が高精細に表示されたものになる。

本発明によれば，多地点テレビ会議の通信会議システムにおいて各クライアント端末ごとに画像データのビットレートを自由に変更することができるという効果がある。また，複数人のクライアントの合成画像と特定の個人画像とを任意に切り替え，個人画像を高精細に視聴することができるようになるという効果がある。さらに，ビットレートを落としたときでもフレームレートを保証することができ，帯域の変動に対応することができるという効果がある。

以下，図面を用いて本発明の実施の形態を説明する。図２は，本発明を適用した４者間の通信会議システムの例を示している。各クライアント端末２Ａ〜２Ｄは，それぞれ自端末で撮影した映像を階層符号化方式により符号化してスケーラブルビットストリームを生成し，上りセッションにてサーバ装置１に実時間でアップロードする。なお，本実施の形態では，基本レイヤの符号化に，ＭＰＥＧ−４のＳＰ（Simple Profile）もしくはＡＳＰ（Advanced Simple Profile ）符号化方式を用い，拡張レイヤの符号化に，ＭＰＥＧ−４のＦＧＳ(Fine Granularity Scalable) 符号化方式を用いるものとする。

サーバ装置１は，テレビ会議を制御する多地点接続装置（ＭＣＵ：Multipoint Connection Unit）であり，サーバ装置１では，受信したスケーラブルビットストリームを合成し，送信先のクライアントの自画像については削除し，そのスケーラブルビットストリームを各クライアント端末２Ａ〜２Ｄから要求された帯域までカットして，各クライアント端末２Ａ〜２Ｄに配信する。特定のクライアントの個人画像を要求したクライアント端末に対しては，受信したスケーラブルビットストリームの中から要求されたクライアントのものを選択し，そのスケーラブルビットストリームを要求元のクライアント端末が指定した帯域までカットして送信する。

図３は，サーバ装置とクライアント端末の構成例を示している。クライアント端末については，説明を分かりやすくするために，自画像をサーバ装置１にアップロードするクライアント端末（送信側）２と，サーバ装置１からスケーラブルビットストリームを受信して復号し，画像を表示するクライアント端末（受信側）２’とを分けて書いてある。実際には，各クライアント端末は，送信側と受信側の両方の機能を持つ。

サーバ装置１は，各クライアント端末（送信側）２からのスケーラブルビットストリーム（基本レイヤビットストリーム１１と拡張レイヤビットストリーム１２）を受信する受信バッファ１０と，各クライアント端末（送信側）２から受信したスケーラブルビットストリームを合成するビットストリーム合成処理部１３と，クライアント端末（受信側）２’から特定のクライアントの個人画像を要求された場合に，要求されたクライアント番号に対応する受信バッファ１０のビットストリームを選択する個人画像選択部１４と，各クライアント端末（受信側）２’からの要求に応じて合成画像または特定の個人画像のビットストリームのいずれかを選択して出力する合成・個人画像切替え部１５と，指定されたビットレートになるように出力するデータ量を調整するビットレートトランスコード部１６と，スケーラブルビットストリームを各クライアント端末（受信側）２’に送信するための送信バッファ１７と，クライアント端末（受信側）２’から合成画像と個人画像のどちらを選択するかの情報および個人画像を選択する場合にはそのクライアント番号の情報を受信する合成・個人画像選択情報受信部１８と，クライアント端末（受信側）２’から要求されたビットレートをビットレートトランスコード部１６へ伝達するビットレート指示部１９とを備える。

サーバ装置１において，受信バッファ１０，個人画像選択部１４，合成・個人画像切替え部１５，ビットレートトランスコード部１６，送信バッファ１７，合成・個人画像選択情報受信部１８およびビットレート指示部１９は，会議参加者の各クライアント端末に対応して複数組用意されている。

クライアント端末（送信側）２は，映像を入力するカメラ２０と，カメラ２０から入力した映像を階層符号化する階層符号化部２１と，階層符号化部２１により符号化したスケーラブルビットストリームを送信するための送信バッファ２２とを備える。

また，クライアント端末（受信側）２’は，ユーザから合成画像と個人画像のどちらを選択するか，また個人画像を選択する場合にはどのクライアントの画像を選択するかを指示する情報を入力する合成・個人画像選択情報指示部２３と，合成・個人画像選択情報指示部２３によって指示された情報をサーバ装置１へ送信する合成・個人選択情報送信部２４と，サーバ装置１からスケーラブルビットストリームを受信するための受信バッファ２５と，受信したスケーラブルビットストリームを復号する階層復号部２６と，復号画像を表示するディスプレイ等の表示部２７と，自装置で受信を希望するデータ量のビットレート情報をサーバ装置１へ送信するビットレート送信部２８とを備える。

クライアント端末（受信側）２’においてデータを受信するときのビットレートは，例えばビットレート［bit per sec ］を入力するためのスライダーバーを表示部２７に表示し，ユーザに指定させてもよいし，クライアント端末（受信側）２’が規定値もしくは通信状況に応じて自動的に決定してもよい。また，データを受信するときのビットレートをクライアント端末（受信側）２’が指定するのではなく，ネットワークの状況などに応じてネットワーク上の装置またはサーバ装置１が指定するようにしてもよい。

図４は，ビットストリーム合成処理部１３の構成例を示す。ビットストリーム合成処理部１３は，基本レイヤ合成符号化部１３１および拡張レイヤ合成符号化部１３２からなる。

各クライアント端末（送信側）２がサーバ装置１に対して送信したスケーラブルビットストリームは，受信バッファ１０を介してビットストリーム合成処理部１３に入力され，個々のクライアントの基本レイヤビットストリーム１１は，基本レイヤ合成符号化部１３１にて１本の基本レイヤビットストリームに合成される。また，個々のクライアントの拡張レイヤビットストリーム１２は，拡張レイヤ合成符号化部１３２にて１本の拡張レイヤビットストリーム１２に合成される。

これらの合成された基本レイヤビットストリームおよび拡張レイヤビットストリームからなる合成画像ビットストリームは，クライアント端末（受信側）２’が合成画像を要求している場合には，合成・個人画像切替え部１５を通してビットレートトランスコード部１６へ出力される。

図５は，ビットストリーム合成処理部１３における画像の合成を説明する図である。複数の符号化ビットストリームによる複数の画像を合成して，１本の符号化ビットストリームを生成する方法としては，例えば個々の符号化ビットストリームをそれぞれ復号し，その後，復号した画像を合成して合成画像を生成し，合成画像を再符号化することにより，合成画像の符号化ビットストリームを生成する方法が考えられる。しかし，この方法では，個々のビットストリームの復号処理および合成画像の再符号化処理に時間がかかることになる。

そこで本実施の形態では，合成前のスケーラブルビットストリームに含まれる符号化データを，できるだけそのまま利用することを考え，基本レイヤビットストリーム１１については基本レイヤ合成符号化部１３１で合成し，拡張レイヤビットストリーム１２については拡張レイヤ合成符号化部１３２で合成するようにして，基本レイヤと拡張レイヤとを別々に合成している。

基本レイヤ合成符号化部１３１においては，例えば画像Ａ，Ｂ，Ｃ，Ｄの４つの画像のビットストリームを，フレームごとに図５（ａ）のように１段目に画像Ａ，Ｂ，２段目に画像Ｃ，Ｄの順番で２段に並べて合成する場合，画像Ａの符号化データのマクロブロックＭＢの１行目の後に画像Ｂの符号化データのマクロブロックＭＢの１行目を連結し，次に画像ＡのマクロブロックＭＢの２行目，続いて画像ＢのマクロブロックＭＢの２行目というように符号化データを並べていく。画像Ａ，Ｂの符号化データが終了したならば，同様に各行ごとに画像Ｃ，画像Ｄの順番でマクロブロックＭＢを並べていく。これを合成された基本レイヤビットストリームとする。

拡張レイヤ合成符号化部１３２では，個々の拡張レイヤビットストリーム１２について，図５（ｂ）に示すように，最上位のレイヤから画像Ａ，Ｂ，Ｃ，Ｄの順番で各マクロブロックＭＢの可変長符号化データを抽出し，レイヤごとに合成されたビットストリームを生成する。

ところで，拡張レイヤにＭＰＥＧ−４のＦＧＳ符号化を用いている場合，拡張レイヤビットストリーム１２は，４つのレイヤのビットストリームから構成され，それぞれのレイヤの可変長符号化テーブルが異なる。よって，各クライアントのＦＧＳレイヤをそのまま合成することはできない。すなわち，クライアントごとの各フレームの最大のビットプレーンが異なるため，画像Ａ〜Ｄの可変長符号化データをそのまま並べたのでは，ビットプレーンにずれが生じ，正しい可変長符号化テーブルによる復号ができなくなる。

本実施の形態では，この問題を解決するため，ＦＧＳ符号化の枠組みにおいて，選択されたマクロブロックを優先的に符号化するためのＳＥ（Selective Enhancement ）の機能を利用する。図６（ａ）は，そのＳＥの概念を説明する図である。

図６（ａ）において，横軸はマクロブロック番号，縦軸はＤＣＴ係数の大きさを表している。一般に画像が複雑な領域のマクロブロック（Complex MB）ではＤＣＴ係数が大きくなり，画像が平坦な領域のマクロブロック（Plain MB）ではＤＣＴ係数が小さくなる。拡張レイヤの符号化では，基本的にＤＣＴ係数の振幅の大きいものから順番に符号化される。例えば上位４プレーンに含まれないＤＣＴ係数は，拡張レイヤとして符号化データが生成されないことになるが，画像のグラデーションの領域のマクロブロック（Gradation MB）や形状のエッジ領域部分のマクロブロック（Edge MB ）は，視覚上重要であるので，その領域のＤＣＴ係数は符号化されたほうが望ましい。そこで，ＳＥでは，図６（ａ）に示すように，そのマクロブロックのビットを何ビットからシフトし，そのマクロブロックを優先的に符号化できるようにしている。

すなわち，ＦＧＳはマクロブロック毎に符号化されるのではなく，ＦＧＳのビットプレーン毎に可変長符号化される。下位のプレーンほど時間的に遅く符号化される。しかし，ＳＥを用いることでマクロブロック毎にこの順番を変えることができる。つまり，下位のプレーンにしか情報の現れない任意のマクロブロックを，上位のプレーンに属するようにシフトして下駄をはかせ，そのマクロブロックを何プレーン上位にしたかの情報を持たせる。これがＳＥである。

このＳＥの機能を利用すれば，複数の画像Ａ〜Ｄの拡張レイヤを合成したときに，プレーンにずれが生じて可変長符号化テーブルが異なるという問題を解決することができる。ＦＧＳの拡張レイヤビットストリームを合成する場合に，最上位プレーンからの位置が合成後も変化がなければ，可変長符号化テーブルを合成前の各画像で共通に用いても問題がないので，プレーンシフトしたマクロブロックに，ＳＥのデータ（何プレーン上位にしたかの情報）を付けるだけで，再度可変長符号化をし直すことなく，拡張レイヤビットストリーム１２を合成することができる。

図６（ｂ）は，拡張レイヤ合成符号化部１３２においてｎ個の画像の拡張レイヤを合成するときのフローチャートである。

まず，ステップＳ１では，合成するｎ個の各画像について，ｆフレーム目のｉ番目（ｉ＝１〜ｎ）の画像の最大のビットプレーン（ＭＢＰ：Max Bit Plane ）を調べ，ＭＢＰ_f（ｉ）とする。次に，ステップＳ２では，１番目の画像のＭＢＰ_f（１）からｎ番目の画像のＭＢＰ_f（ｎ）の中で最大のもの，すなわち最大のプレーン数をＭＢＰ_f（ｍａｘ）とする。

続くステップＳ３では，ｉ＝１とし，ｉがｎを超える（ステップＳ６）までｉをインクリメントしながら（ステップＳ５），ｉ番目の画像についてステップＳ４を実行する。ステップＳ４では，ｉ番目の画像において，画像全体に対し，ＭＢＰ_f（ｍａｘ）−ＭＢＰ_f（ｉ）の差分値だけＳＥを行う。なお，ｉ番目の画像がＭＢＰ_f（ｍａｘ）の場合には，何もしない。ｎ個のすべての画像についてＳＥを行ったならば，可変長符号化データＶＬＣを合成して，合成後の拡張レイヤビットストリームとする。

図７は，ビットレートトランスコード部１６の構成例を示す。ビットレートトランスコード部１６は，合成・個人画像切替え部１５で選択された合成画像または個人画像のビットストリームを入力する。あるクライアントＡから指定された個人画像がクライアントＢのものである場合，クライアントＢのスケーラブルビットストリームが，図３の個人画像選択部１４で選択され，合成・個人画像切替え部１５を介してビットレートトランスコード部１６に入力され，ビットレート可変部１６２にて，クライアントＡから指定されたビットレートまでビットストリームをカットし，送信バッファ１７へ出力する。

一方，あるクライアントＡが合成画像を指定している場合には，ビットストリーム合成処理部１３で合成されたビットストリームが合成・個人画像切替え部１５を介してビットレートトランスコード部１６に入力される。ビットレートトランスコード部１６では，自画像削除処理部１６１が，合成画像ビットストリームのうちのクライアントＡに相当する領域の基本レイヤビットストリームおよび拡張レイヤビットストリームを“０”の値に変更する。自画像を消去された合成画像ビットストリームは，ビットレート可変部１６２にてクライアントＡから指定されたビットレートまでカットされ，送信バッファ１７に出力される。

図８は，図７に示すビットレート可変部１６２の処理を説明するフローチャートである。本実施の形態で扱う拡張レイヤビットストリームのデータ形式は，図８（ａ）に示すように，１フレーム分の可変長符号化データ（ＶＬＣ）の前に，ＦＧＳのＶＯＰ（Video Object Plane）スタートコードビットＳ_cが付加された形式になっている。

クライアントから指示されたビットレートをＢ_c［bit per sec ］，直前のＧＯＶのフレームレートｆ［frames per sec］とする。まず，ステップＳ１０では，Ｂ_cをｆで割る（Ｂ_v＝Ｂ_c／ｆ）ことにより，１フレーム当たりのビット量Ｂ_vを計算する。

次に，ステップＳ１１では，ビット量をカウントするためのビットカウント値を“０”に初期化する。ステップＳ１２では，拡張レイヤビットストリームの先頭から順番にビットデータを取り出して解析する。取り出したビットデータがＦＧＳのＶＯＰスタートコードビットＳ_cであれば（ステップＳ１３），ステップＳ１１へ戻り，再度，ビットカウント値を“０”に初期化してカウントを続ける。

ＦＧＳのＶＯＰスタートコードビットＳ_cでなければ，ビットカウント値がＢ_vを超えるか（ステップＳ１５），次のＦＧＳのＶＯＰスタートコードビットＳ_cが現れるまで（ステップＳ１３），ビットカウント値をカウントアップし（ステップＳ１４），符号化ビットをカウントする。ビットカウント値が１フレーム当たりのビット量Ｂ_vを超えたら（ステップＳ１５），ステップＳ１６へ進み，そのフレームの残りのデータ（ＶＬＣ），すなわち次のＦＧＳのＶＯＰスタートコードビットＳ_cが現れるまでのデータをすべて“０”というコードにする。以上の処理を一連の拡張レイヤビットストリームについて繰り返す。

ビットレート可変部１６２は，以上の処理をＧＯＶ（Ｉピクチャから次のＩピクチャまでのデータ）ごとに行うことによって，クライアントが指定したビットレートとなるように，送信するビットストリームのビット量を調整する。

図９〜図１１は，図３に示すクライアント端末（送信側）２における階層符号化部２１の構成例を示す。いずれもＭＰＥＧ−４ＡＳＰ／ＦＧＳ符号化方式による基本レイヤと拡張レイヤからなる階層符号化を行うものである。図９および図１０は，基本レイヤと拡張レイヤとが同じ解像度を持つ場合の階層符号化方式を示しており，一般に知られているものである。図１１は，従来の階層符号化方式を本実施の形態のために改良したものであり，拡張レイヤが基本レイヤの２倍の解像度を持つ階層符号化を行うものである。なお，図９〜図１１では，図をわかりやすくするために動き検出部および動き補償部については図示を省略している。

まず，図９の階層符号化方式について説明する。基本レイヤの符号化では，デジタル化された入力映像２１１が入力されると，減算器２１２により入力映像２１１と動き補償された予測画像との差分が算出される。ＤＣＴ部２１３は，この差分信号を離散コサイン変換し，結果のＤＣＴ係数を出力する。量子化部２１４は，そのＤＣＴ係数を量子化し，量子化結果を可変長符号化部２１５と，逆量子化部２１６へ出力する。可変長符号化部２１６は，量子化されたＤＣＴ係数を可変長符号化し，基本レイヤビットストリームを生成する。逆量子化部２１６は，量子化されたＤＣＴ係数を逆量子化し，逆ＤＣＴ部２１７は，さらにそれを逆離散コサイン変換して，予測画像に用いるための復号画像を生成する。

拡張レイヤの符号化では，逆量子化部２１６と逆ＤＣＴ部２１７とによってローカルデコードされた基本レイヤの復号画像と入力映像２１１との差分画像を減算器２１８によって算出し，それをＤＣＴ部２１９によって離散コサイン変換する。ビットプレーン展開部２２０は，ＤＣＴ係数をそのままビットプレーン展開し，選択的拡張処理部（ＳＥ：Selective Enhancement ）２２１は，可変長符号化する前のビットプレーン展開されたＤＣＴ係数の符号化優先順位の変更を行う。可変長符号化部２２２は，その結果を可変長符号化し，拡張レイヤビットストリームを生成する。

図１０に示す構成による階層符号化部による符号化は，次のように入力映像２３１の階層符号化を行う。基本レイヤの符号化は，図９と同様であり，減算器２３２，ＤＣＴ部２３３，量子化部２３４，可変長符号化部２３５，逆量子化部２３６および逆ＤＣＴ部２３７によって，基本レイヤビットストリームの生成と，次の予測符号化のための復号画像の生成を行う。

拡張レイヤの符号化では，基本レイヤにおけるＤＣＴ部２３３によるＤＣＴ変換直後のＤＣＴ係数と，量子化部２３４による量子化，逆量子化部２３６による逆量子化した後のＤＣＴ係数との差分を，減算器２３８によって直接的に計算する。このＤＣＴ係数の差分をビットプレーン展開部２３９によってビットプレーン展開する。選択的拡張処理部（ＳＥ）２４０は，可変長符号化する前のビットプレーン展開された差分ＤＣＴ係数の符号化優先順位の変更を行い，可変長符号化部２４１は，その結果を可変長符号化して拡張レイヤビットストリームを生成する。この方法によっても，ＦＧＳ符号化シンタックスに則ったビットストリームを生成することができ，図９の方法よりも処理を高速化することができる。

図１１に示す構成の階層符号化部による符号化では，拡張レイヤが基本レイヤの２倍の解像度を持つように階層符号化する。図９に示す階層符号化部との違いは，入力映像２５１を，例えば１／２というような所定の縮小率に応じて縮小する画像縮小部２５２が，予測画像との差分を算出する減算器２５３の前に設けられていること，および拡張レイヤの符号化の際に，縮小された基本レイヤの復号画像を元のサイズに拡大する画像拡大部２５９が，逆ＤＣＴ部２５８と減算器２６０との間に設けられていることである。

画像縮小部２５２は，図１１（ｂ）に示すように，入力映像２５１の１フレームの縦横の画素数を例えば半分に縮小し，その縮小画像２５１ａを基本レイヤの符号化に用いる。拡張レイヤの符号化では，縮小画像２５１ａを符号化してそれをローカルデコードしたものを，画像拡大部２５９によって元の入力映像２５１の画像サイズに拡大し，その拡大した復号画像２５１ｂと入力映像２５１との差分を算出して符号化する。すなわち，図１１に示す方式の階層符号化では，入力映像２５１を例えば半分の解像度にしたものを基本レイヤの符号化に用いる。拡張レイヤの符号化では，基本レイヤの単純拡大画像と，入力映像２５１の原画像との差分を符号化する。

図１１の階層符号化方式により階層符号化されたビットストリームを復号するクライアント端末（受信側）２’では，階層復号部２６において，基本レイヤの復号画像を２倍に拡大し，拡張レイヤの復号データと重ね合わせる。

図１１に示す階層符号化方式を用いることの利点は，基本レイヤビットストリーム１１のデータ量を大きく削減することができることである。この結果，同一のビットレートで符号化ビットストリームを送信する場合に，基本レイヤビットストリーム１１のデータ量が少なくなる分だけ，拡張レイヤビットストリーム１２のデータ量を増加させることができるようになる。基本レイヤだけの復号画像の表示では，解像度が半分になるため画質が劣化するが，拡張レイヤを用いて階層復号された結果の解像度は，実質的に拡張レイヤの解像度によって決まるため，基本レイヤの解像度を半分にしたことによる影響は少ない。

図１２は，本実施の形態におけるクライアントでの表示画面の例を示す。図１２（ａ）のクライアントでの表示画面３は，あるクライアント端末（受信側）２’において，４人分の合成画像を表示している様子を示している。ここで，この端末のクライアントが，表示クライアントの一人を，マウス等のポインティングデバイスにより選択しクリックすると，クライアント端末（受信側）２’の合成・個人画像選択指示部２３がそれを検出し，合成・個人画像選択情報送信部２４によってその選択情報をサーバ装置１へ送信する。

サーバ装置１は，この選択情報を解析し，送信するスケーラブルビットストリームを合成画像から選択されたクライアントの個人画像に切り替え，要求元のクライアント端末（受信側）２’に配信する。クライアント端末（受信側）２’では，それを受信バッファ２５で受信すると階層復号部２６により復号し，復号した個人画像を表示部２７に表示する。

図１２（ｂ）は，受信画像の表示において，基本レイヤと拡張レイヤの解像度が同じ場合の表示例を示しており，図１２（ｃ）は，基本レイヤと拡張レイヤの解像度が異なり，拡張レイヤの解像度が基本レイヤの２倍の解像度の場合の表示例を示している。すなわち，図１２（ｂ）は，図９または図１０に示す階層符号化方式によって生成されたビットストリームを用いる場合，図１２（ｃ）は，図１１に示す階層符号化方式によって生成されたビットストリームを用いる場合の例である。

図１２（ｂ）の表示の場合，選択されたクライアントの一人分の映像が高精細に表示される。図１２（ｃ）の表示では，拡張レイヤの解像度に合わせて基本レイヤを拡大し，選択されたクライアントの一人分の映像を高精細に表示している。すなわち，図１２（ａ）のように，４人のクライアントが同じ画像サイズで通信会議をしている場合に，図１２（ｃ）の例では，合成画像から個人画像への切り替え時に，合成画像と同じ大きさの個人画像に切り替わる。

基本レイヤと拡張レイヤの解像度が同じ場合でも，個人画像を合成画像の大きさに単純に拡大して表示することもできるが，図１２（ｃ）に示す階層符号化・復号方式を用いた表示のほうが，単純に拡大した画像よりも解像度の高い表示が得られる。

以上のサーバ装置１およびクライアント端末２，２’が行う処理は，ハードウェアやファームウェアによって実現することができるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の概要を説明するための図である。本発明を適用した４者間の通信会議システムの例を示す図である。本発明の実施の形態に係るサーバ装置とクライアント端末の構成例を示す図である。ビットストリーム合成処理部の構成例を示す図である。ビットストリーム合成処理部における画像の合成を説明する図である。

ＳＥの概念と拡張レイヤ領域トランスコード部の処理フローを示す図である。ビットレートトランスコード部の構成例を示す図である。ビットレート可変部の処理フローを示す図である。階層符号化部の第１の構成例を示す図である。階層符号化部の第２の構成例を示す図である。階層符号化部の第３の構成例を示す図である。クライアント端末における表示画像の例を示す図である。

符号の説明

１サーバ装置
２，２’ クライアント端末
３クライアントでの表示画面
１０受信バッファ
１１基本レイヤビットストリーム
１２拡張レイヤビットストリーム
１３ビットストリーム合成処理部
１４個人画像選択部
１５合成・個人画像切替え部
１６ビットレートトランスコード部
１７送信バッファ
１８合成・個人画像選択情報受信部
１９ビットレート指示部
２０カメラ
２１階層符号化部
２２送信バッファ
２３合成・個人画像選択指示部
２４合成・個人画像選択情報送信部
２５受信バッファ
２６階層復号部
２７表示部
２８ビットレート送信部

Claims

複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信を制御するサーバ装置とを備え，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を行うスケーラブル通信会議システムであって，
前記各クライアント端末または前記サーバ装置またはネットワーク上の装置の少なくともいずれかが，前記各クライアント端末が受信するデータのビットレートを指示する手段を備え，
前記各クライアント端末は，
自端末における入力映像を階層符号化する手段と，
階層符号化されたデータを前記サーバ装置へ送信する手段と，
前記サーバ装置から階層符号化されたデータを受信する手段と，
受信した階層符号化されたデータを階層復号する手段と，
階層復号した画像を表示する手段と，
前記複数のクライアント画像を合成した画像を表示するか特定のクライアントの画像を表示するかの合成画像と個人画像の選択情報を入力する手段と，
前記合成画像と個人画像の選択情報を前記サーバ装置へ送信する手段とを備え，
前記サーバ装置は，
前記各クライアント端末から階層符号化されたデータを受信する手段と，
受信した各クライアント端末からの階層符号化されたデータを復号することなく，基本レイヤビットストリームと拡張レイヤビットストリームとをそれぞれ合成し，合成画像のビットストリームを生成するビットストリーム合成処理手段と，
前記各クライアント端末から合成画像と個人画像の選択情報を受信する手段と，
受信した合成画像と個人画像の選択情報に基づき，前記合成画像のビットストリームを送信するか選択された特定のクライアント端末から受信した階層符号化されたデータを送信するかを切り替える手段と，
前記各クライアント端末への送信対象となる前記合成画像または特定のクライアントの画像の階層符号化されたデータのデータ量が，前記指示されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
前記ビットレートトランスコード手段の出力ビットストリームを前記クライアント端末へ送信する手段とを備える
ことを特徴とするスケーラブル通信会議システム。
請求項１記載のスケーラブル通信会議システムにおいて，
前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータである
ことを特徴とするスケーラブル通信会議システム。
テレビ会議を行う複数のクライアント端末にネットワークを介して接続され，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を制御するサーバ装置であって，
前記各クライアント端末から階層符号化されたデータを受信する手段と，
受信した各クライアント端末からの階層符号化されたデータを復号することなく，基本レイヤビットストリームと拡張レイヤビットストリームとをそれぞれ合成し，合成画像のビットストリームを生成するビットストリーム合成処理手段と，
前記各クライアント端末から複数のクライアント画像を合成した画像を表示するか特定のクライアントの画像を表示するかを示す合成画像と個人画像の選択情報を受信する手段と，
受信した合成画像と個人画像の選択情報に基づき，選択された特定のクライアント端末から受信した階層符号化されたデータを送信するか前記合成画像のビットストリームを送信するかを切り替える手段と，
前記各クライアント端末への送信対象となる前記合成画像または特定のクライアントの画像の階層符号化されたデータのデータ量が，送信先のクライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
前記ビットレートトランスコード手段の出力ビットストリームを前記クライアント端末へ送信する手段とを備える
ことを特徴とするサーバ装置。
複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信を制御するサーバ装置とを備え，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を行う通信会議システムにおけるスケーラブル通信会議方法であって，
前記各クライアント端末が，自端末における入力映像を階層符号化し，前記サーバ装置へ送信する過程と，
前記各クライアント端末が，前記複数のクライアント画像を合成した画像を表示するか特定のクライアントの画像を表示するかの合成画像と個人画像の選択情報を入力し，前記サーバ装置へ送信する過程と，
前記サーバ装置が，前記各クライアント端末から階層符号化されたデータを受信する過程と，
前記サーバ装置が，受信した各クライアント端末からの階層符号化されたデータを復号することなく，基本レイヤビットストリームと拡張レイヤビットストリームとをそれぞれ合成し，合成画像のビットストリームを生成するビットストリーム合成処理過程と，
前記サーバ装置が，前記各クライアント端末から合成画像と個人画像の選択情報を受信する過程と，
前記サーバ装置が，受信した合成画像と個人画像の選択情報に基づき，前記合成画像のビットストリームを送信するか選択された特定のクライアント端末から受信した階層符号化されたデータを送信するかを切り替える過程と，
前記サーバ装置が，前記各クライアント端末への送信対象となる前記合成画像または特定のクライアントの画像の階層符号化されたデータのデータ量が，前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード過程と，
前記サーバ装置が，前記ビットレートトランスコード過程による出力ビットストリームを前記クライアント端末へ送信する過程と，
前記各クライアント端末が，前記サーバ装置から階層符号化されたデータを受信する過程と，
前記クライアント端末が，受信した階層符号化されたデータを階層復号し，表示する過程とを有する
ことを特徴とするスケーラブル通信会議方法。
請求項４記載のスケーラブル通信会議方法において，
前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータである
ことを特徴とするスケーラブル通信会議方法。
テレビ会議を行う複数のクライアント端末にネットワークを介して接続され，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議をサーバ装置が制御するスケーラブル通信会議制御方法であって，
前記各クライアント端末から階層符号化されたデータを受信する過程と，
受信した各クライアント端末からの階層符号化されたデータを復号することなく，基本レイヤビットストリームと拡張レイヤビットストリームとをそれぞれ合成し，合成画像のビットストリームを生成するビットストリーム合成処理過程と，
前記各クライアント端末から複数のクライアント画像を合成した画像を表示するか特定のクライアントの画像を表示するかを示す合成画像と個人画像の選択情報を受信する過程と，
受信した合成画像と個人画像の選択情報に基づき，選択された特定のクライアント端末から受信した階層符号化されたデータを送信するか前記合成画像のビットストリームを送信するかを切り替える過程と，
前記各クライアント端末への送信対象となる前記合成画像または特定のクライアントの画像の階層符号化されたデータのデータ量が，送信先のクライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード過程と，
前記ビットレートトランスコード過程の出力ビットストリームを前記クライアント端末へ送信する過程とを有する
ことを特徴とするスケーラブル通信会議制御方法。
テレビ会議を行う複数のクライアント端末にネットワークを介して接続され，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を制御するサーバ装置のコンピュータに実行させるためのスケーラブル通信会議制御プログラムであって，
前記各クライアント端末から階層符号化されたデータを受信する手段と，
受信した各クライアント端末からの階層符号化されたデータを復号することなく，基本レイヤビットストリームと拡張レイヤビットストリームとをそれぞれ合成し，合成画像のビットストリームを生成するビットストリーム合成処理手段と，
前記各クライアント端末から複数のクライアント画像を合成した画像を表示するか特定のクライアントの画像を表示するかを示す合成画像と個人画像の選択情報を受信する手段と，
受信した合成画像と個人画像の選択情報に基づき，選択された特定のクライアント端末から受信した階層符号化されたデータを送信するか前記合成画像のビットストリームを送信するかを切り替える手段と，
前記各クライアント端末への送信対象となる前記合成画像または特定のクライアントの画像の階層符号化されたデータのデータ量が，送信先のクライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
前記ビットレートトランスコード手段の出力ビットストリームを前記クライアント端末へ送信する手段として，
前記コンピュータを機能させるためのスケーラブル通信会議制御プログラム。
テレビ会議を行う複数のクライアント端末にネットワークを介して接続され，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を制御するサーバ装置のコンピュータに実行させるためのスケーラブル通信会議制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記各クライアント端末から階層符号化されたデータを受信する手段と，
受信した各クライアント端末からの階層符号化されたデータを復号することなく，基本レイヤビットストリームと拡張レイヤビットストリームとをそれぞれ合成し，合成画像のビットストリームを生成するビットストリーム合成処理手段と，
前記各クライアント端末から複数のクライアント画像を合成した画像を表示するか特定のクライアントの画像を表示するかを示す合成画像と個人画像の選択情報を受信する手段と，
受信した合成画像と個人画像の選択情報に基づき，選択された特定のクライアント端末から受信した階層符号化されたデータを送信するか前記合成画像のビットストリームを送信するかを切り替える手段と，
前記各クライアント端末への送信対象となる前記合成画像または特定のクライアントの画像の階層符号化されたデータのデータ量が，送信先のクライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
前記ビットレートトランスコード手段の出力ビットストリームを前記クライアント端末へ送信する手段として，
前記コンピュータを機能させるためのプログラムを記録した
ことを特徴とするスケーラブル通信会議制御プログラム記録媒体。