JP4081044B2 - 多地点テレビ会議システム，多地点テレビ会議制御方法，サーバ装置，多地点テレビ会議制御プログラムおよびそのプログラム記録媒体 - Google Patents

Description

本発明は，映像符号化データの多重化方式に関し，特に符号化および復号機能を持つ複数のクライアント端末において符号化された符号化ストリームを配信サーバが受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムに関するものである。

一般に，多地点テレビ会議システムでは，複数のクライアント端末で撮影された映像の符号化ストリームを，配信サーバがそれぞれのクライアント端末から受信し，配信サーバにおいて各クライアント端末から受信した符号化ストリームを復号し，復号した各クライアント端末の画像を一つの画像に合成して，それを再符号化したものを，それぞれのクライアント端末に配信することを行っていた（例えば，特許文献１，特許文献２参照）。

図１１は，従来の多地点テレビ会議システムの例を示す図である。図１１において，１００は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，１１０ａ〜１１０ｚは多地点テレビ会議に参加するクライアントのクライアント端末である。サーバ装置１００は，各クライアント端末１１０ａ〜１１０ｚに対応する受信バッファ１０１ａ〜１０１ｚと，復号部１０２ａ〜１０２ｚと，画像合成部１０３と，再符号化部１０４と，送信バッファ１０５とを備える。

サーバ装置１００は，各クライアント端末１１０ａ〜１１０ｚにネットワークを介して接続され，各クライアント端末１１０ａ〜１１０ｚからの符号化ストリームを受信し，各クライアント端末に対応する受信バッファ１０１ａ〜１０１ｚに格納する。復号部１０２ａ〜１０２ｚは，受信バッファ１０１ａ〜１０１ｚに格納された符号化ストリームをそれぞれ復号する。

画像合成部１０３は，各復号部１０２ａ〜１０２ｚが復号した画像をあらかじめ定められた位置に配置して一つの画像に合成し，再符号化部１０４は，合成した画像を再符号化する。再符号化された合成画像ストリームは，送信バッファ１０５に格納され，各クライアント端末１１０ａ〜１１０ｚにネットワークを介して配信される。

図１２は，従来の他の多地点テレビ会議システムの例を示す図である。図１２において，１２０は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，１３０ａ〜１３０ｚは多地点テレビ会議に参加するクライアントのクライアント端末である。サーバ装置１２０は，各クライアント端末１３０ａ〜１３０ｚに対応する受信バッファ１２１ａ〜１２１ｚと，送信バッファ１２２ａ〜１２２ｚとを備える。

各クライアント端末１３０ａ〜１３０ｚは，クライアントを撮影するカメラ１３１ａ〜１３１ｚと，ディスプレイ１３２ａ〜１３２ｚと，撮影した映像を符号化する符号化部１３３と，符号化ストリームを送信するための送信バッファ１３４と，サーバ装置１２０が配信した符号化ストリームを受信するための複数の受信バッファ１３５と，各受信バッファ１３５に対応する符号化ストリームの復号部１３６と，各復号部１３６が復号した復号画像と，自端末のカメラで撮影した画像とを合成する画像合成部１３７とを備える。

前述した図１１の例では，サーバ装置１００においてクライアント端末の符号化ストリームを一度復号した後，画像全体を合成してから再符号化しているが，図１２のシステムでは，サーバ装置１２０は，各クライアント端末１３０ａ〜１３０ｚから受信した符号化ストリームを，受信バッファ１２１ａ〜１２１ｚおよび送信バッファ１２２ａ〜１２２ｚを介して各クライアント端末１３０ａ〜１３０ｚに配信する。

各クライアント端末１３０ａ〜１３０ｚでは，受信バッファ１３５によりサーバ装置１２０から配信された符号化ストリームを受信すると，受信した符号化ストリームをそれぞれ復号部１３６で復号し，復号画像を画像合成部１３７へ送る。画像合成部１３７では，それらの画像と自端末で撮影した画像とを合成し，ディスプレイ１３２ａ〜１３２ｚに表示する。これにより，各クライアント端末１３０ａ〜１３０ｚのディスプレイ１３２ａ〜１３２ｚには，テレビ会議に参加するクライアントの映像が表示されることになる。
特許第３０９７７３６号公報 特開平１１−１８７３７２号公報

図１１に示すような従来の多地点テレビ会議システムでは，サーバ装置１００において各クライアント端末１１０ａ〜１１０ｚから受信した符号化ストリームを一度復号した後，画像全体を合成してから再符号化するため，サーバ装置１００において復号，画像合成，再符号化の処理が必要であり，サーバ装置１００の負荷が大きくなるという問題があった。

また，図１２に示すような従来の多地点テレビ会議システムの場合，サーバ装置１２０の負荷は小さくて済むが，サーバ装置１２０と各クライアント端末１３０ａ〜１３０ｚとの間で，ダウンストリームの分だけコネクションを張る必要があるため，テレビ会議に参加するクライアントの増加に伴い必要となる通信ポートが増加するという問題があった。また，ネットワークリソースやセキュリティの観点からも好ましくはないという問題があった。

本発明は上記問題点の解決を図り，サーバ装置における負荷を軽減し，かつダウンストリームのコネクション数を１つにまとめることができる多地点テレビ会議システムを実現することを目的とする。

上記課題を解決するため，本発明は，複数のクライアント端末において符号化された符号化ストリームをサーバ装置が受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムにおいて，サーバ装置から各クライアント端末に対して，各クライアントの画像の表示位置に応じたマクロブロック（以下，ＭＢと表す）番号を決定するためのヘッダ更新情報を通知する。このヘッダ更新情報は，例えば符号化対象となる各クライアントの画像の先頭ＭＢの，合成ストリームに係る復号画像における位置を示すＭＢ番号（オフセット）と，合成ストリームに係る復号画像の１ラインのＭＢ数（ＭＢ更新パラメータ）である。

各クライアント端末は，受信したヘッダ更新情報に基づいて，符号化処理において生成される各ＶＰ（Video Packet）内の先頭ＭＢのＭＢ番号を決定し，そのＭＢ番号をＶＰヘッダ内に格納して，ＶＰ単位の符号化ストリームをサーバ装置に送信する。

サーバ装置は，クライアント端末から受信した符号化ストリームを連結して合成ストリームを生成し，各クライアント端末に配信する。サーバ装置から符号化ストリームを受信した各クライアント端末は，ＶＰ単位で順次復号し，ＶＰヘッダ内のＭＢ番号が示す位置に復号画像を表示する。

すなわち，本発明は，複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御するサーバ装置とを備える多地点テレビ会議システムにおいて，前記サーバ装置は，各クライアントの画像の符号化データが，複数のクライアントの画像を合成したときの合成画像のどの位置に相当するかを決定するためのヘッダ更新情報を各クライアント端末に通知する手段と，前記各クライアント端末からビデオパケット単位で符号化ストリームを受信する手段と，前記各クライアント端末から受信した符号化ストリームを，ビデオパケット単位で，順次前記各クライアント端末へ配信する手段とを備え，前記各クライアント端末は，自端末における入力映像を符号化する手段と，符号化データにビデオパケット単位でヘッダ情報を付加し，そのヘッダ内に前記サーバ装置から通知されたヘッダ更新情報に基づいて決定した合成画像における符号化データの位置を示す情報を設定する手段と，前記ヘッダ情報が付加されたビデオパケットの符号化ストリームを前記サーバ装置へ送信する手段と，前記サーバ装置からビデオパケット単位で符号化ストリームを受信する手段と，受信した符号化ストリームを復号する手段と，復号した画像データを前記ヘッダ内に設定された位置に表示する手段とを備えることを特徴とする。

本発明は，符号化および復号機能を持つ複数のクライアント端末において符号化された符号化ストリームをサーバ装置が受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムにおいて，クライアント装置が，サーバ装置から受信したヘッダ更新情報に基づいて決定したＭＢ番号をＶＰヘッダ内に格納して，ＶＰ単位の符号化ストリームをサーバ装置に送信し，サーバ装置では，各クライアント装置から送信された複数の符号化ストリームを連結して合成ストリームを生成し配信するので，サーバ装置における各クライアント端末から受信した符号化ストリームを復号する処理，複数の復号画像を合成する処理，および合成画像を再符号化する処理が不要となり，サーバ装置の負荷を軽減することができる。

また，クライアント端末においては，サーバ装置から受信した合成ストリームをＶＰ単位で順次復号し，ＶＰヘッダ内のＭＢ番号に対応する位置に復号画像を表示するため，各クライアント端末における符号化同期処理が不要であり，画像を表示する際にも簡易に効率よく符号化ストリームを復号・表示することができる。

また，サーバ装置から各クライアント端末の映像符号化データを合成して配信するので，テレビ会議に参加するクライアントの数だけコネクションを張る必要はなく，クライアント端末に対するダウンストリームのコネクション数を１つにまとめることができ，通信ポートその他の通信に必要な資源の増加を抑えることができる。

以下，図面を用いて本発明の実施の形態を説明する。図１は，本発明に係る多地点テレビ会議システムの構成例を示す。図１において，１は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，２は多地点テレビ会議に参加するクライアントのクライアント端末である。本発明の実施の形態においては，例えば，クライアントＡ〜クライアントＤの４人のクライアントがクライアント端末２を用いて多地点テレビ会議に参加するものとする。もちろん，本発明における通信会議の参加者は，４人に限られるわけではなく，複数人であればよい。

サーバ装置１において，１１はそれぞれ各クライアント端末２から送信された符号化ストリームを格納する受信バッファ，１２は各受信バッファ１１からＶＰ単位の符号化ストリームを順次受け取って連結し，合成ストリームを生成するストリーム選択・連結部，１３は合成された符号化ストリームが格納される送信バッファ，１４はヘッダ更新情報を生成するヘッダ更新情報生成部，１５は生成されたヘッダ更新情報をクライアント端末２に送信するヘッダ更新情報送信部である。

クライアント端末２において，２３はカメラ２１により撮影された映像を符号化する符号化部，２４は符号化ストリームを格納する送信バッファ，２５はサーバ装置１からの合成された符号化ストリームを格納する受信バッファ，２６は受信バッファ２５に格納された符号化ストリームを復号する復号部，２７は復号データのディスプレイ２２への表示を制御する表示制御部，２８は符号化部２３による符号化処理においてＶＰヘッダ内に格納するＭＢ番号を決定するＭＢ番号決定部である。

図２は，クライアント端末の符号化部の詳細を示す図である。この例では，ＭＰＥＧ−４の符号化方式を用いるものとする。この符号化部２３は，従来から一般に用いられているエンコーダと基本的に同じものであるが，可変長符号化部２４０において，ヘッダ情報を生成する部分が従来のエンコーダと異なる。

減算部２３１は，マクロブロックごとに入力画像信号と動き補償部２３９の出力である予測画像信号との差分信号を算出する。ＤＣＴ部２３２は，その差分信号を離散コサイン変換（ＤＣＴ）する。量子化部２３３は，符号量制御部２４１が決定した量子化パラメータに従ってＤＣＴ係数を量子化する。可変長符号化部２４０は，量子化後のＤＣＴ係数を可変長符号化し，送信バッファ２４へ出力する。

また，量子化後のＤＣＴ係数は逆量子化部２３４へも出力され，逆量子化部２３４では，それを逆量子化する。逆ＤＣＴ部２３５は，逆量子化後の信号を逆離散コサイン変換する。加算部２３６は，逆ＤＣＴ後の信号に動き補償部２３９の出力信号を加算する。フレームメモリ２３７は，加算後の信号を参照画像として蓄積する。動き予測部２３８は，フレームメモリ２３７に蓄積された参照画像と入力画像信号とに基づいて動き予測を行う。動き補償部２３９は，動き予測部２３８が検出した動きベクトルに基づいて，フレームメモリ２３７に蓄積された参照画像から予測画像信号を生成する。動き予測部２３８の出力である動きベクトルは，可変長符号化部２４０で可変長符号化され，送信バッファ２４に出力される。

また，ＭＢ番号決定部２８は，サーバ装置１から受信したヘッダ更新情報に基づいて，各ＶＰの先頭のＭＢ番号を決定する。可変長符号化部２４０では，各フレームごとにＶＯＰ（Video Object Plane）ヘッダを生成してＭＢ符号化情報の前に付与し，ＶＰ単位にＶＰヘッダを生成してＭＢ符号化情報の前に付与する。ＶＰヘッダ内には，ＭＢ番号決定部２８が決定したＭＢ番号の情報を格納する。すなわち，ＶＰヘッダ内には，クライアント画像内の位置を示す本来のＭＢ番号ではなく，複数のクライアントの画像を合成した合成画像におけるＭＢの位置を示すＭＢ番号が格納される。これらの符号化ストリームは，ＶＰ単位で送信バッファ２４からサーバ装置１へ送信される。

なお，本実施の形態では，可変長符号化部２４０が，ＶＰヘッダ内にＭＢ番号決定部２８が決定したＭＢ番号を設定するものとしたが，可変長符号化部２４０では，従来と同様なＭＢ番号をＶＰヘッダ内に設定し，送信バッファ２４への符号化ストリームの格納時，またはサーバ装置１への符号化ストリームの送信時に，ＭＢ番号決定部２８の出力に基づいてＶＰヘッダを書き換えるような実施も可能である。

図１に示す構成を採る多地点テレビ会議システムの動作は，以下のとおりである。例えば各クライアント端末２とサーバ装置１との間のセッション確立時に，各クライアント端末２からサーバ装置１に送信される画像サイズおよび合成ストリームの復号画像の画像サイズの情報と，合成ストリームのレイアウトの情報とを決める。そして，サーバ装置１のヘッダ更新情報生成部１４が，上記各クライアント端末２からサーバ装置１に送信される画像サイズおよび合成ストリームの復号画像の画像サイズの情報に基づいて，クライアントごとのヘッダ更新情報を生成する。ヘッダ更新情報送信部１５は，生成されたヘッダ更新情報を，対応するクライアントのクライアント端末２へ送信する。

各クライアント端末２のＭＢ番号決定部２８は，サーバ装置１から受信したヘッダ更新情報に基づいて，ＶＰヘッダ内に格納するＭＢ番号を決定し，符号化部２３が，ＭＢ番号決定部２８の出力信号に基づいて，カメラ２１により撮影された映像を符号化してＶＰ単位の符号化ストリームを生成し，送信バッファ２４に格納する。この符号化部２３による符号化処理において，ＭＢ番号決定部２８により決定されたＭＢ番号がＶＰヘッダ内に格納される。

サーバ装置１は，受信バッファ１１により各クライアント端末２の送信バッファ２４から送信された符号化ストリームを受信する。ストリーム選択・連結部１２は，受信バッファ１１からＶＰ単位の符号化ストリームを受け取り，それらを順次，送信バッファ１３に格納してクライアント端末２へネットワークを介して送信することにより，各クライアント端末２からの符号化ストリームを連結した合成ストリームを，各クライアント端末２へ配信する。

クライアント端末２においては，サーバ装置１から配信された合成ストリームが受信バッファ２５に格納される。復号部２６は，受信バッファ２５に格納された合成ストリームをＶＰ単位で順次復号し，表示制御部２７が，ディスプレイ２２の表示画面中の，ＶＰヘッダ内に格納されたＭＢ番号に対応する位置に復号画像を表示する。

図３は，各クライアント端末２に表示される合成ストリームの復号画像の例を示す図であり，図４は，図３に示す復号画像中の各ＭＢのＭＢ番号を示す図である。本発明の実施の形態においては，例えば図３に示すように，クライアントＡ〜クライアントＤのそれぞれＮ×Ｍ個のＭＢからなる画像について，復号画像全体の左上にクライアントＡの画像，右上にクライアントＢの画像，左下にクライアントＣの画像，右下にクライアントＤの画像が配置されるものとする。

また，図５は，図３および図４に示すようなレイアウトで復号画像を構成するためにサーバ装置１からクライアント端末２に送信されるクライアントごとのヘッダ更新情報を示す図である。図５に示すヘッダ更新情報は，符号化対象となる各クライアントの画像の先頭ＭＢの，合成ストリームに係る復号画像におけるＭＢ番号（オフセット）と，合成ストリームに係る復号画像の１ラインのＭＢ数（ＭＢ更新パラメータ）から構成される。

本発明の実施の形態においては，図３，図４に示すように，合成ストリームに係る復号画像の１ラインのＭＢ数は２Ｎであるので，ＭＢ更新パラメータは「２Ｎ」である。

また，例えば，クライアントＡの画像は復号画像中の左上に配置されるので，図４に示すＭＢ番号を参照すると，クライアントＡについてのオフセット（符号化対象画像の先頭ＭＢの復号画像全体におけるＭＢ番号）は「０」となる。クライアントＢの画像は復号画像中の右上に配置されるので，図４に示すＭＢ番号を参照すると，クライアントＢについてのオフセットは「Ｎ」となる。同様にしてクライアントＣについてのオフセットは「２ＭＮ」，クライアントＤについてのオフセットは「２ＭＮ＋Ｎ」となる。

図６および図７を用いて，各クライアント端末２のＭＢ番号決定部２８の処理を説明する。図６は，各クライアント端末のＭＢ番号決定部２８によるＭＢ番号決定および可変長符号化部２４０におけるヘッダ生成の処理フローの例を示す図であり，図７は，ＭＢ番号決定部２８の処理の結果，各クライアント側の第１列〜第Ｍ列の各ＶＰ単位の符号化ストリームに付与されるヘッダ情報（ＶＯＰヘッダまたはＶＰヘッダ）を示す図である。なお，図７のＶＰヘッダの括弧内の数字は，ＶＰヘッダ内に格納されるＭＢ番号を示している。

図６に示す処理フローにおいて，ＭＢ番号決定部２８は，サーバ装置１からヘッダ更新情報を受け取る（ステップＳ１）。例えば，図５に示すヘッダ更新情報のうち，自端末に係るクライアントに対応するオフセットとＭＢ更新パラメータを受け取る。

次に，可変長符号化部２４０において，現在符号化処理を行っているＭＢは，自端末に係るクライアントの画像中の第１列（ライン）目のＭＢかを判断する（ステップＳ２）。第１列目のＭＢである場合には，自端末に係るクライアントの画像が，合成ストリームに係る復号画像中の左上に配置される画像かを判断し（ステップＳ３），左上の画像である場合にはＶＯＰヘッダを作成して（ステップＳ４），符号化ストリームに付与する（ステップＳ５）。

ステップＳ２において，第１列目のＭＢでない場合には，ステップＳ１で受け取った「オフセット＋ＭＢ更新パラメータ×（現在の列−１）」の値をＭＢ番号とし，そのＭＢ番号を格納したＶＰヘッダを作成して（ステップＳ６），符号化ストリームに付与する（ステップＳ５）。

例えば，クライアントＡに係るクライアント端末２は，ステップＳ１において図５に示すオフセット「０」とＭＢ更新パラメータ「２Ｎ」を受け取る。クライアントＡの画像は復号画像中の左上に配置されるので，符号化対象のＭＢが第１列目のＭＢである場合には，ＶＯＰヘッダを作成し（ステップＳ４），符号化ストリームに付与する（ステップＳ５）。その結果，図７（Ａ）に示すように，第１列目のＶＰに対して，ＶＯＰヘッダが付与される。

符号化対象のＭＢが第２列目のＭＢである場合，「オフセット＋ＭＢ更新パラメータ×（現在の列−１）」は，「０＋２Ｎ×（２−１）＝２Ｎ」であるため，ＭＢ番号「２Ｎ」を格納したＶＰヘッダを作成し（ステップＳ６），作成したＶＰヘッダを符号化ストリームに付与する。その結果，図７（Ａ）に示すように，第２列目のＶＰに対して，ＭＢ番号「２Ｎ」が格納されたＶＰヘッダが付与される。第３列目以降についても，図６に示す処理フローに従った処理を行う。その結果，クライアントＡ側では，例えば，図７（Ａ）に示すようなヘッダ（ＶＯＰヘッダまたはＶＰヘッダ）が第１列〜第Ｍ列の各ＶＰ単位の符号化ストリームに対して付与される。

また，例えば，クライアントＢに係るクライアント装置２は，ステップＳ１において図５に示すオフセット「Ｎ」とＭＢ更新パラメータ「２Ｎ」を受け取る。符号化対象のＭＢが第１列目のＭＢである場合，ステップＳ２からステップＳ３に進む。クライアントＢの画像は復号画像中の右上に配置されるので，ステップＳ３からステップＳ６の処理に進む。ステップＳ６において，「オフセット＋ＭＢ更新パラメータ×（現在の列−１）」は，「Ｎ＋２Ｎ×（１−１）＝Ｎ」であるため，ＭＢ番号「Ｎ」を格納したＶＰヘッダを作成する（ステップＳ６）。その結果，図７（Ｂ）に示すように，第１列目のＶＰに対して，ＭＢ番号「Ｎ」が格納されたＶＰヘッダが付与される。

符号化対象のＭＢが第２列目のＭＢである場合，ステップＳ６において，「オフセット＋ＭＢ更新パラメータ×（現在の列−１）」は，「Ｎ＋２Ｎ×（２−１）＝３Ｎ」であるため，ＭＢ番号「３Ｎ」を格納したＶＰヘッダを作成する。その結果，図７（Ｂ）に示すように，第２列目のＶＰに対して，ＭＢ番号「３Ｎ」が格納されたＶＰヘッダが付与される。第３列目以降についても，図６に示す処理フローに従った処理を行う。その結果，クライアントＢ側では，例えば，図７（Ｂ）に示すようなＶＰヘッダが，第１列〜第Ｍ列の各ＶＰ単位の符号化ストリームに対して付与される。

クライアントＣに係るクライアント装置２，クライアントＤに係るクライアント装置２においても，図６に示す処理フローに従った処理を行うことによって，例えば，それぞれ，図７（Ｃ），図７（Ｄ）に示すようなＶＰヘッダが，第１列〜第Ｍ列の各ＶＰ単位の符号化ストリームに対して付与される。

図８は，クライアント端末２において生成される符号化ストリームを示す図である。ここでは，クライアントＡに係るクライアント端末において生成されるＭ個のＶＰから構成される符号化ストリームを例にとって説明する。各ＶＰは，Ｎ個のＭＢの符号化情報と，ＭＢの符号化情報の前に付与されたヘッダ（ＶＯＰヘッダまたはＶＰヘッダ）とから構成される。

図７（Ａ）のクライアントＡについてのヘッダ情報に示すように，第１列目のＶＰに対してＶＯＰヘッダが付与される。従って，図８に示す第１列目のＶＰにおいては，第０番目〜第Ｎ−１番目までのＮ個のＭＢの符号化情報の前にＶＯＰヘッダが付与される。

図７（Ａ）のヘッダ情報に示すように，第２列目のＶＰに対しては，ＭＢ番号「２Ｎ」が格納されたＶＰヘッダが付与される。従って，図８に示す第２列目のＶＰにおいては，第２Ｎ〜第３Ｎ−１番目までのＮ個のＭＢの符号化情報の前にＶＰ（２Ｎ）が付与される。同様の方法により，第Ｍ列目のＶＰにおいては，第２（Ｍ−１）Ｎ〜第２ＭＮ−Ｎ−１番目までのＮ個のＭＢの符号化情報の前にＶＰ（２（Ｍ−１）Ｎ）のＶＰヘッダが付与される。

図９（Ａ）は各クライアント端末２からサーバ装置１へ送信される複数のＶＰから構成される符号化ストリームの例を示す図であり，図９（Ｂ）はサーバ装置１のストリーム選択・連結部１２において生成される合成ストリームの例を示す図である。図９に示すＶＰ中の文字は，ＶＯＰヘッダ，またはＶＰヘッダ中のＭＢ番号を示す。

図９（Ａ）に示す符号化ストリームが各クライアントからサーバ装置１の受信バッファ１１に送信されると，サーバ装置１のストリーム選択・連結部１２は，各受信バッファ１１からＶＰ単位で符号化ストリームを順次取り出して連結し，図９（Ｂ）に示すような合成ストリームを生成する。

図１０は，各クライアント端末２における復号画像更新処理を説明する図である。図１０（Ａ）は各クライアント端末２がサーバ装置１から受信した複数のＶＰから構成される合成ストリームの例であり，図１０（Ｂ）は表示画面全体中における各ＶＰの復号画像の配置を示す図である。

図１０（Ａ）に示す合成ストリームを構成する各ＶＰには，各クライアント端末２によって設定されたヘッダの情報が付与されている。図１０（Ａ）に示す例では，例えば，第１番目のＶＰにはＶＯＰヘッダの情報が付与されており，第２番目のＶＰにはＭＢ番号「２Ｎ」，第３番目のＶＰにはＭＢ番号「Ｎ」，第４番目のＶＰにはＭＢ番号「２Ｍ」，第５番目のＶＰにはＭＢ番号「３Ｎ」というＶＰヘッダの情報が付与されている。

サーバ装置１から図１０（Ａ）に示す合成ストリームを受信した各クライアント端末２は，ＶＰ単位で順次復号し，復号されたＶＰ単位の復号画像を，各ＶＰのヘッダの情報が示す表示位置に表示する。例えば，ＶＯＰヘッダというヘッダ情報が付与されているＶＰの復号画像は，図９（Ｂ）に示す表示画面中の最も左上の位置（図中の（１）の位置）に配置され，ＭＢ番号「２Ｎ」というＶＰヘッダの情報が付与されているＶＰの復号画像は，その先頭のＭＢが全ＭＢを通じて２Ｎ番目のＭＢとなる位置（図中の（３）の位置）に配置される。

同様にして，ＭＢ番号「Ｎ」というＶＰヘッダの情報が付与されているＶＰの復号画像は，図中の（２）の位置に配置され，ＭＢ番号「３Ｎ」というＶＰヘッダの情報が付与されているＶＰの復号画像は，図中の（４）の位置に配置される。これによって，複数のクライアントの画像が合成された画像が，クライアント端末２のディスプレイ２２に表示されることになる。

各クライアント端末２からサーバ装置１へアップロードされる符号化ストリームのフレームレートが異なる場合には，復号画像の表示において頻繁に更新される領域と更新頻度が少ない領域とが生じることがあるが，画像全体としての表示が乱れるわけではないので問題が生じることはない。

以上のサーバ装置１およびクライアント端末２が行う処理は，ハードウェアやファームウェアによって実現することができるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明に係る多地点テレビ会議システムの構成例を示す図である。 クライアント端末の符号化部の詳細を示す図である。 合成ストリームの復号画像の例を示す図である。 復号画像中の各ＭＢのＭＢ番号を示す図である。 クライアントごとのヘッダ更新情報を示す図である。 ＭＢ番号決定およびヘッダ生成の処理フローの例を示す図である。 各ＶＰ単位の符号化ストリームに付与されるヘッダ情報を示す図である。 クライアント端末において生成される符号化ストリームを示す図である。 各クライアントからサーバ装置へ送信される符号化ストリームまたはサーバ装置において生成される合成ストリームの例を示す図である。 各クライアント端末における復号画像更新処理を説明する図である。 従来の多地点テレビ会議システムの例を示す図である。 従来の他の多地点テレビ会議システムの例を示す図である。

符号の説明

１，１００，１２０ サーバ装置
２，１１０ａ〜１１０ｚ，１３０ａ〜１３０ｚ クライアント端末
１１，２５，１０１ａ〜１０１ｚ，１２１ａ〜１２１ｚ，１３５ 受信バッファ
１２ ストリーム選択・連結部
１３，２４，１０５，１２２ａ〜１２２ｚ，１３４ 送信バッファ
１４ ヘッダ更新情報生成部
１５ ヘッダ更新情報送信部
２１，１３１ａ〜１３１ｚ カメラ
２２，１３２ａ〜１３２ｚ ディスプレイ
２３，１３３ 符号化部
２６，１０２ａ〜１０２ｚ，１３６ 復号部
２７ 表示制御部
２８ ＭＢ番号決定部
１０３，１３７ 画像合成部
１０４ 再符号化部
２３１ 減算部
２３２ ＤＣＴ部
２３３ 量子化部
２３４ 逆量子化部
２３５ 逆ＤＣＴ部
２３６ 加算部
２３７ フレームメモリ
２３８ 動き予測部
２３９ 動き補償部
２４０ 可変長符号化部
２４１ 符号量制御部

Claims (5)

1. 複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御するサーバ装置とを備える多地点テレビ会議システムにおいて，
   前記サーバ装置は，
   各クライアントの画像の符号化データが，複数のクライアントの画像を合成したときの合成画像のどの位置に相当するかを決定するためのヘッダ更新情報を各クライアント端末に通知する手段と，
   前記各クライアント端末からビデオパケット単位で符号化ストリームを受信する手段と，
   前記各クライアント端末から受信した符号化ストリームを，順次，ビデオパケット単位で前記各クライアント端末へ配信する手段とを備え，
   前記各クライアント端末は，
   自端末における入力映像を符号化する手段と，
   符号化データにビデオパケット単位でヘッダ情報を付加し，そのヘッダ内に前記サーバ装置から通知されたヘッダ更新情報に基づいて決定した合成画像における符号化データの位置を示す情報を設定する手段と，
   前記ヘッダ情報が付加されたビデオパケットの符号化ストリームを前記サーバ装置へ送信する手段と，
   前記サーバ装置からビデオパケット単位で符号化ストリームを受信する手段と，
   受信した符号化ストリームを復号する手段と，
   復号した画像データを前記ヘッダ内に設定された位置に表示する手段とを備える
   ことを特徴とする多地点テレビ会議システム。
2. 複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御するサーバ装置とを備える多地点テレビ会議制御方法において，
   前記サーバ装置が，各クライアントの画像の符号化データが複数のクライアントの画像を合成したときの合成画像のどの位置に相当するかを決定するためのヘッダ更新情報を各クライアント端末に通知する過程と，
   前記各クライアント端末が，自端末における入力映像を符号化する過程と，
   前記各クライアント端末が，符号化データにビデオパケット単位でヘッダ情報を付加し，そのヘッダ内に前記サーバ装置から通知されたヘッダ更新情報に基づいて決定した合成画像における符号化データの位置を示す情報を設定する過程と，
   前記各クライアント端末が，前記ヘッダ情報が付加されたビデオパケットの符号化ストリームを前記サーバ装置へ送信する過程と，
   前記サーバ装置が，前記各クライアント端末からビデオパケット単位で符号化ストリームを受信する過程と，
   前記サーバ装置が，前記各クライアント端末から受信した符号化ストリームを，順次，ビデオパケット単位で前記各クライアント端末へ配信する過程と，
   前記各クライアント端末が，前記サーバ装置からビデオパケット単位で符号化ストリームを受信する過程と，
   前記各クライアント端末が，受信した符号化ストリームを復号する過程と，
   前記各クライアント端末が，復号した画像データを前記ヘッダ内に設定された位置に表示する過程とを有する
   ことを特徴とする多地点テレビ会議制御方法。
3. 複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置であって，
   各クライアントの画像の符号化データが，複数のクライアントの画像を合成したときの合成画像のどの位置に相当するかを決定するためのヘッダ更新情報を各クライアント端末に通知する手段と，
   前記各クライアント端末からビデオパケット単位で符号化ストリームを受信する手段と，
   前記各クライアント端末から受信した符号化ストリームを，順次，ビデオパケット単位で前記各クライアント端末へ配信する手段とを備える
   ことを特徴とするサーバ装置。
4. 複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置のコンピュータに実行させるための多地点テレビ会議制御プログラムであって，
   各クライアントの画像の符号化データが，複数のクライアントの画像を合成したときの合成画像のどの位置に相当するかを決定するためのヘッダ更新情報を各クライアント端末に通知する手段と，
   前記各クライアント端末からビデオパケット単位で符号化ストリームを受信する手段と，
   前記各クライアント端末から受信した符号化ストリームを，順次，ビデオパケット単位で前記各クライアント端末へ配信する手段として，
   前記コンピュータを機能させるための多地点テレビ会議制御プログラム。
5. 複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置のコンピュータに実行させるための多地点テレビ会議制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
   各クライアントの画像の符号化データが，複数のクライアントの画像を合成したときの合成画像のどの位置に相当するかを決定するためのヘッダ更新情報を各クライアント端末に通知する手段と，
   前記各クライアント端末からビデオパケット単位で符号化ストリームを受信する手段と，
   前記各クライアント端末から受信した符号化ストリームを，順次，ビデオパケット単位で前記各クライアント端末へ配信する手段として，
   前記コンピュータを機能させるためのプログラムを記録した
   ことを特徴とする多地点テレビ会議制御プログラム記録媒体。

Images