JP3936708B2

JP3936708B2 - 画像通信システム，通信会議システム，階層符号化装置，サーバ装置，画像通信方法，画像通信プログラムおよび画像通信プログラム記録媒体

Info

Publication number: JP3936708B2
Application number: JP2004155421A
Authority: JP
Inventors: 久美秦泉寺; 淳一中嶋; 一人上倉
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-05-26
Filing date: 2004-05-26
Publication date: 2007-06-27
Anticipated expiration: 2024-05-26
Also published as: JP2005341076A

Description

本発明は，階層符号化データを用いた画像通信技術に係わり，特に多地点テレビ会議などの画像通信システムにおいて，ある指定されたビットレートのもとで特定の画像領域の部分の画質を簡易に向上させることができるようにした画像通信技術に関するものである。

従来の多地点通信会議システムとしては，例えば下記の特許文献１「多地点会議制御装置」，特許文献２「画像符号化方式及びその画像符号化方式を用いた多地点間テレビ会議方式」，特許文献３「多地点間テレビ会議装置」等に記載されたものが知られている。

一般にこれらの多地点通信会議システムでは，個人画像から興味のある領域の一部を切り出し，その部分を高精細に視聴することができなかった。

画像通信におけるスケーラブルな符号化方式としては，例えば下記の非特許文献１に記載されているようなＭＰＥＧ−４・ＦＧＳ(Fine Granularity Scalable) 符号化方式が知られている。このような階層符号化の目的は，伝送帯域の変動があった場合に，拡張レイヤを適応的にカットして，画像の途切れをなくすための機能を実現することである。また，一つのソースにて複数のビットストリームを取り出せるという，いわゆる One Source Multi-use を実現するものである。
特開平０７−２３６１２８号公報特開平０４−１７７９９３号公報特開昭６３−１７４４８７号公報 "AMENDMENT 4:Streaming video profile ", ISO/IEC 14496-2:1999/FDAM4.

多地点テレビ会議などの通信会議システムにおいて，あるクライアントＡが，他のクライアントＢの個人画像の特定の領域部分だけを高精細に視聴したいと思った場合でも，従来方式では，サーバ装置とクライアント端末間で送受信される符号化データが，通常，一定のデータ量になるように符号化されているため，特定の領域部分だけを高精細に表示させることはできなかった。

受信側のクライアント端末で，クライアントが見たい特定の領域部分を高精細に表示することができるようにする方法として考えられるのは，データ量が少ない通常の符号化データストリームと，データ量が多い高精細版の符号化データストリームの２本のストリームデータを，サーバ装置が，常時クライアント端末から受信し，受信側のクライアント端末からの要求によって，通常のストリームデータを高精細版のストリームデータに切り替える方法である。しかし，この方法では，通常のストリームデータから高精細版のストリームデータに切り替えたときにデータ量が大幅に増加するため，帯域幅に制限があるときに，その帯域幅の中でストリームデータを円滑に送信することができないという問題がある。

この問題は，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化方式による符号化データとして，各クライアント端末に画像データを配信する場合にも同様に発生する。すなわち，基本レイヤビットストリームと拡張レイヤビットストリームのすべてのレイヤの符号化データを各クライアント端末に配信した場合には，データ量が増大化するため，ネットワークによる伝送能力やクライアント端末の通信処理能力で対応することができなくなるという問題がある。

本発明は上記問題点の解決を図り，通信会議システム等において階層符号化方式により符号化された映像をリアルタイムに受信し表示する装置が，ある制限されたビットレートのもとで，すなわち少ない符号化データ量で画像の特定の部分だけを高精細に表示することができるようにすることを目的とする。

上記課題を解決するため，本発明は，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータの通信を行う画像通信システムにおいて，前記データのビットレートを指示するビットレート指示手段と，送信対象となる前記階層符号化されたデータのデータ量が，前記ビットレート指示手段により指示されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，送信される階層符号化されたデータを復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と，前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備えることを特徴とする。

また，前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータであることを特徴とする。

図１は，本発明の概要を説明するための図である。本発明は，テレビ会議システムなどの画像通信システムにおいて，所定のビットレート（帯域幅）のもとで，指定された特定の領域（以下，ＲＯＩ（Region Of Interest）選択領域という）を高精細に表示することを，階層符号化方式における拡張レイヤビットストリームを操作することにより実現するものである。

スケーラブルな符号化が可能な階層符号化方式では，入力映像を基本レイヤ符号化部と拡張レイヤ符号化部とによって符号化し，符号化データをそれぞれ基本レイヤビットストリーム１１，拡張レイヤビットストリーム１２として出力する。拡張レイヤビットストリーム１２は，通常，図１（Ａ）に示すように複数のビットプレーン（レイヤ）Ｐ１〜Ｐｋの可変長符号化データＶＬＣからなる。

ビットレートトランスコード部１６は，受信側の装置から指示されたビットレートによる転送可能ビット量に応じて，拡張レイヤビットストリーム１２の下位側のビットプレーンをカットすることにより，送信するビットストリームのビット量を，指示されたビットレートで送ることができるように調整する処理を行うものである。

一般に拡張レイヤビットストリーム１２のデータ量は，基本レイヤビットストリーム１１のデータ量よりも多くなる。図１（Ａ）に示す例では，指示されたビットレートによる転送可能ビット量から，基本レイヤビットストリーム１１と拡張レイヤビットストリーム１２のうち最上位レイヤのビットプレーンＰ１の符号化データだけを送信している。ビットレートによっては，拡張レイヤビットストリーム１２をまったく送らない場合もあり，また基本レイヤビットストリーム１１におけるＢピクチャ，さらにＰピクチャをカットする場合もある。もちろん，拡張レイヤビットストリーム１２として送信するビットプレーン数が多ければ多いほど，受信側の装置において符号化データを復号した画像は，高精細に表示されることになる。

本発明は，例えば図１（Ｂ）に示すように，受信側の装置において表示された表示画像４０において，ある特定の領域を高精細に見たいというユーザの希望により，ユーザがＲＯＩ指示部２３によってＲＯＩ選択領域４１を指定した場合，送信側の装置では，そのＲＯＩ情報を受け取り，拡張レイヤ領域トランスコード部１５が拡張レイヤビットストリーム１２の符号化データを次のように加工する。すなわち，拡張レイヤビットストリーム１２の可変長符号化データＶＬＣのうち，ＲＯＩ選択領域４１以外の部分をすべて“０”のコードに置き換える。ＲＯＩ選択領域４１に含まれる部分の可変長符号化データＶＬＣは，元の値のままとする。

このようにＲＯＩ選択領域４１以外の部分の可変長符号化データＶＬＣをすべて“０”コードにすれば，各ビットプレーンＰ１〜Ｐｋのデータ量は大幅に削減されることになる。したがって，ビットレートトランスコード部１６では，図１（Ａ）と同一のビットレートのもとで，図１（Ｂ）に示すように，拡張レイヤビットストリーム１２の多くのビットプレーン（例えばＰ１〜Ｐｊ）の符号化データを，送信することができるようになる。

受信側の装置がこのビットストリームを復号して表示した場合，表示画像４０におけるＲＯＩ選択領域４１以外の部分は，基本レイヤビットストリーム１１の復号画像として見ることができ，ＲＯＩ選択領域４１の部分については，さらにビットプレーンＰ１〜Ｐｊの符号化データを用いた高精細な画像として見ることができることになる。

本発明によれば，階層符号化方式により符号化された画像を受信する装置が，同一ビットレートのもとで，画像の特定の部分だけを高精細に表示することができるようになる。特に，複数の個人画像を表示するようなテレビ会議システムにおいて，帯域幅に制限があるような場合に，特定の個人画像の特定の領域を高精細に切り換えて表示することができるようになり，会議資料の高精細な表示などにより会議を円滑に進行させることができるようになる。

以下，図面を用いて本発明の実施の形態を説明する。図２は，本発明を適用した４者間の通信会議システムの例を示している。各クライアント端末２Ａ〜２Ｄは，それぞれ自端末で撮影した映像を階層符号化方式により符号化してビットストリームを生成し，上りセッションにてサーバ装置１にアップロードする。サーバ装置１は，テレビ会議を制御する多地点接続装置（ＭＣＵ：Multipoint Connection Unit）であり，サーバ装置１では，各クライアント端末２Ａ〜２Ｄから要求のあったデータ量だけを切り出して，個々のクライアント端末２Ａ〜２Ｄに，基本レイヤビットストリームと拡張レイヤビットストリームからなる階層符号化されたデータを配信する。

図３は，サーバ装置とクライアント端末の構成例を示している。クライアント端末については，説明を分かりやすくするために，自画像をサーバ装置１にアップロードするクライアント端末（送信側）２と，サーバ装置１からスケーラブルビットストリームを受信して復号し，画像を表示するクライアント端末（受信側）２’とを分けて書いてある。実際には，各クライアント端末は，送信側と受信側の両方の機能を持つ。

サーバ装置１は，各クライアント端末２からのスケーラブルビットストリーム（基本レイヤビットストリーム１１と拡張レイヤビットストリーム１２）を受信する受信バッファ１０と，クライアント端末（受信側）２’からＲＯＩ情報を受信するＲＯＩ情報受信部１３と，ＲＯＩの有無によってデータの流れを切り換えるＲＯＩ切換え部１４と，拡張レイヤ領域トランスコード部１５と，ビットレートトランスコード部１６と，スケーラブルビットストリームを各クライアント端末（受信側）２’に送信するための送信バッファ１７と，クライアント端末（受信側）２’から指示されたビットレート情報を受信するビットレート受信部１８と，受信したビットレートをビットレートトランスコード部１６へ伝達するビットレート指示部１９とを備える。

クライアント端末（送信側）２は，映像を入力するカメラ２０と，カメラ２０から入力した映像を階層符号化する階層符号化部２１と，階層符号化部２１により符号化したスケーラブルビットストリームを送信するための送信バッファ２２とを備える。

また，クライアント端末（受信側）２’は，ユーザからＲＯＩ選択領域の指示を入力するＲＯＩ指示部２３と，指示されたＲＯＩ情報をサーバ装置１へ送信するＲＯＩ情報送信部２４と，サーバ装置１からスケーラブルビットストリームを受信するための受信バッファ２５と，受信したスケーラブルビットストリームを復号する階層復号部２６と，復号画像を表示するディスプレイ等の表示部２７と，自装置で受信を希望するデータ量のビットレート情報をサーバ装置１へ送信するビットレート送信部２８とを備える。

図３に示す例では，クライアント端末（受信側）２’がＲＯＩ選択領域を指定しているが，サーバ装置１がＲＯＩ選択領域を指定してもよい。例えば，テレビ会議において特定のクライアントが発話した場合に，複数のクライアントの画像の中で，発話したクライアントの画像の顔部分の領域を，画像認識により自動的にＲＯＩ選択領域とするようなこともできる。

クライアント端末（受信側）２’においてデータを受信するときのビットレートは，例えばビットレートもしくは受信するビットストリームのデータ量を入力するためのスライダーバーを表示部２７に表示し，ユーザに指定させてもよいし，クライアント端末（受信側）２’が規定値もしくは通信状況に応じて自動的に決定してもよい。また，データを受信するときのビットレートをクライアント端末（受信側）２’が指定するのではなく，ネットワークの状況などに応じてネットワーク上の装置またはサーバ装置１が指定するようにしてもよい。

クライアント端末（送信側）２は，スケーラブルビットストリームを送信しているが，非スケーラブル符号化データを送信するクライアント端末が存在してもよい。

サーバ装置１には，複数のクライアント端末からスケーラブルデータもしくは非スケーラブルデータが上がってくる（上りの符号化データ）。各クライアント端末は，これらのデータを，クライアント指定もしくはサーバ装置１が自動的に判断した任意のビットレートおよびＲＯＩ情報によって目的とする符号化データにトランスコードしたものを受信する。

以下では，クライアントＡが他のクライアントＢの画像領域をＲＯＩ選択領域として指定し，またそのデータの受信ビットレートをサーバ装置１に対して指定した場合の動作を説明する。クライアントＡ（図３ではクライアント端末（受信側）２’のクライアント）は，受信している複数のクライアントの画像うち，特定のクライアントＢ（図３ではクライアント端末（送信側）２のクライアント）を選択し，クライアントＢの符号化データの受信ビットレートとＲＯＩ情報を，それぞれビットレート送信部２８とＲＯＩ情報送信部２４によってサーバ装置１に通知する。サーバ装置１は，ビットレート受信部１８およびＲＯＩ情報受信部１３にて，それぞれ受信ビットレートおよびＲＯＩ情報をクライアントＡのクライアント端末（受信側）２’から受ける。

ＲＯＩ情報は，ＲＯＩ指定があるかないかの情報，およびＲＯＩ指定がある場合に，そのＲＯＩ選択領域の位置およびサイズを示す領域情報である。この領域情報は，領域が矩形の場合，例えば左上隅の座標と右下隅の座標の座標情報のようなものでよい。また，領域が任意形状の場合，例えばマクロブロックごとに，ＲＯＩ選択領域に属するマクロブロックの位置を“１”，ＲＯＩ選択領域に属さないマクロブロックの位置を“０”に設定したビットマップデータのようなものでもよい。

サーバ装置１は，受信したビットレート情報とＲＯＩ情報とに基づいて，拡張レイヤ領域トランスコード部１５およびビットレートトランスコード部１６によるトランスコード処理を行う。

クライアントＡからクライアントＢの画像についてのＲＯＩの指示があった場合，指定されたクライアントＢの拡張レイヤビットストリーム１２を，ＲＯＩ切換え部１４を介して拡張レイヤ領域トランスコード部１５へ送る。拡張レイヤ領域トランスコード部１５では，クライアントＢの拡張レイヤビットストリーム１２の中で，ＲＯＩ選択領域に入らないマクロブロックの可変長符号化データを“０”というコードに置き換えてビットレートトランスコード部１６へ出力する。ＲＯＩ選択領域に入る部分の可変長符号化データはそのまま出力する。

ビットレートトランスコード部１６は，受信バッファ１０から基本レイヤビットストリーム１１を入力し，また拡張レイヤ領域トランスコード部１５からトランスコードした拡張レイヤビットストリーム１２を入力し，またビットレート指示部１９からビットレート指示情報を入力する。ビットレートトランスコード部１６は，入力されたビットストリームにおいて，ビットレート指示部１９により指示された任意のビットレートになるまで，送信するビットストリームのデータ量を削減するため，拡張レイヤの下位側のビットプレーンから順番に符号化データに“０”を入れる。拡張レイヤのデータがなくなった場合には，基本レイヤのＢピクチャから“０”とし，次にＰピクチャ，Ｉピクチャの順に符号化データを“０”とする。ビットレートトランスコード部１６にてトランスコードされたクライアントＢのビットストリームは，送信バッファ１７に送られ，送信バッファ１７からクライアントＡのクライアント端末（受信側）２’へ送信される。

一方，ＲＯＩの指示がない場合，すなわち，クライアントＡがクライアントＢの画像に対して，ＲＯＩの指定を行わず，ビットレートの指定（必須）のみを行った場合には，受信バッファ１０中のクライアントＢの基本レイヤビットストリーム１１および拡張レイヤビットストリーム１２は，直接，ビットレートトランスコード部１６へ送られ，ビットレートトランスコード部１６でビットレート指示部１９により指定されたビットレートに相当するデータ量に調整され，送信バッファ１７を介して，クライアントＡのクライアント端末（受信側）２’へ送信される。

図４は，拡張レイヤ領域トランスコード部１５の処理を説明するフローチャートである。拡張レイヤにＭＰＥＧ−４のＦＧＳ(Fine Granularity Scalable) 符号化を用いるものとする。ＦＧＳ符号化の場合，拡張レイヤのビットストリームは，基本的にマクロブロック単位の可変長符号化データＶＬＣから構成される。よって，ＲＯＩ選択領域に相当しないマクロブロックの可変長符号化データＶＬＣをすべて“０”に置き換えることで，トランスコードができる。すなわち，この個々の可変長符号化データＶＬＣがＲＯＩの領域であるなら，ＶＬＣに何も操作せず，ＲＯＩ以外の領域であるなら，ＶＬＣを“０”のコードに置き換える。

すなわち，拡張レイヤビットストリーム１２の各マクロブロックごとに，図４に示す処理を実行する。ｆ番目のフレームのｌ番目のレイヤのｍ個目のマクロブロックにおけるＶＬＣ符号を，ＶＬＣ_f（ｌ，ｍ）とし，ｆ番目のフレームのｍ個目のマクロブロックにおける選択領域情報を，Ｒ_f（ｍ）とする。なお，このｍ個目のマクロブロックがＲＯＩ選択領域内であれば，Ｒ_f（ｍ）＝１であり，ＲＯＩ選択領域外であれば，Ｒ_f（ｍ）＝０と定義されているものとする。

ステップＳ１では，現在処理しているｍ個目のマクロブロックのＲ_f（ｍ）が０かどうかを判定する。０でない場合には，そのマクロブロックのＶＬＣ_f（ｌ，ｍ）を，ＶＬＣ符号としてそのまま出力する。Ｒ_f（ｍ）が０の場合，ステップＳ２においてＶＬＣ_f（ｌ，ｍ）を“０”のコードに置き換えて出力する。ステップＳ３では，変換後の拡張レイヤビットストリーム１２を再構成してビットレートトランスコード部１６へ出力する。このビットストリームの再構成は，ＶＬＣ_f（ｌ，ｍ）が“０”のコードを圧縮する処理であり，きわめて簡単なコード変換処理で実現することができる。

図５は，ビットレートトランスコード部１６の処理を説明するフローチャートである。本実施の形態で扱う拡張レイヤビットストリーム１２のデータ形式は，図５（Ａ）に示すように，１フレーム分の可変長符号化データ（ＶＬＣ）の前に，ＦＧＳのＶＯＰ（Video Object Plane）スタートコードビットＳ_cが付加された形式になっている。

クライアントから指示されたビットレートをＢ_c［bit per sec ］，直前のＧＯＶのフレームレートｆ［frames per sec］とする。まず，ステップＳ１０では，Ｂ_cをｆで割る（Ｂ_v＝Ｂ_c／ｆ）ことにより，１フレーム当たりのビット量Ｂ_vを計算する。

次に，ステップＳ１１では，ビット量をカウントするためのビットカウント値を“０”に初期化する。ステップＳ１２では，拡張レイヤビットストリーム１２の先頭から順番にビットデータを取り出して解析する。取り出したビットデータがＦＧＳのＶＯＰスタートコードビットＳ_cであれば（ステップＳ１３），ステップＳ１１へ戻り，再度，ビットカウント値を“０”に初期化してカウントを続ける。

ＦＧＳのＶＯＰスタートコードビットＳ_cでなければ，ビットカウント値がＢ_vを超えるか（ステップＳ１５），次のＦＧＳのＶＯＰスタートコードビットＳ_cが現れるまで（ステップＳ１３），ビットカウント値をカウントアップし，符号化ビットをカウントする。ビットカウント値が１フレーム当たりのビット量Ｂ_vを超えたら，ステップＳ１６へ進み，そのフレームの残りのデータ（ＶＬＣ），すなわち次のＦＧＳのＶＯＰスタートコードビットＳ_cが現れるまでのデータをすべて“０”というコードにする。以上の処理を一連の拡張レイヤビットストリーム１２について繰り返す。

ビットレートトランスコード部１６は，以上の処理をＧＯＶ（Ｉピクチャから次のＩピクチャまでのデータ）ごとに行うことによって，クライアントが指定したビットレートとなるように，送信するビットストリームのビット量を調整することができる。

図６〜図８は，図３に示すクライアント端末（送信側）２における階層符号化部２１の構成例を示す。いずれもＭＰＥＧ−４ＡＳＰ／ＦＧＳ符号化方式による基本レイヤと拡張レイヤからなる階層符号化を行うものである。図６および図７は，基本レイヤと拡張レイヤとが同じ解像度を持つ場合の階層符号化方式を示しており，一般に知られているものである。図８は，従来の階層符号化方式を本実施の形態のために改良したものであり，拡張レイヤが基本レイヤの２倍の解像度を持つ階層符号化を行うものである。なお，図６〜図８では，図をわかりやすくするために動き検出部および動き補償部については図示を省略している。

まず，図６の階層符号化方式について説明する。基本レイヤの符号化では，デジタル化された入力映像２１１が入力されると，減算器２１２により入力映像２１１と動き補償された予測画像との差分が算出される。ＤＣＴ部２１３は，この差分信号を離散コサイン変換し，結果のＤＣＴ係数を出力する。量子化部２１４は，そのＤＣＴ係数を量子化し，量子化結果を可変長符号化部２１５と，逆量子化部２１６へ出力する。可変長符号化部２１５は，量子化されたＤＣＴ係数を可変長符号化し，基本レイヤビットストリームを生成する。逆量子化部２１６は，量子化されたＤＣＴ係数を逆量子化し，逆ＤＣＴ部２１７は，さらにそれを逆離散コサイン変換して，予測画像に用いるための復号画像を生成する。

拡張レイヤの符号化では，逆量子化部２１６と逆ＤＣＴ部２１７とによってローカルデコードされた基本レイヤの復号画像と，入力映像２１１との差分画像を減算器２１８によって算出し，それをＤＣＴ部２１９によって離散コサイン変換する。ビットプレーン展開部２２０は，ＤＣＴ係数をそのままビットプレーン展開し，選択的拡張処理部（ＳＥ：Selective Enhancement ）２２１は，可変長符号化する前のビットプレーン展開されたＤＣＴ係数の符号化優先順位の変更を行う。可変長符号化部２２２は，その結果を可変長符号化し，拡張レイヤビットストリームを生成する。

図７に示す構成による階層符号化部による符号化は，次のように入力映像２３１の階層符号化を行う。基本レイヤの符号化は，図６と同様であり，減算器２３２，ＤＣＴ部２３３，量子化部２３４，可変長符号化部２３５，逆量子化部２３６および逆ＤＣＴ部２３７によって，基本レイヤビットストリームの生成と，次の予測符号化のための復号画像の生成を行う。

拡張レイヤの符号化では，基本レイヤにおけるＤＣＴ部２３３によるＤＣＴ変換直後のＤＣＴ係数と，量子化部２３４による量子化，逆量子化部２３６による逆量子化した後のＤＣＴ係数との差分を，減算器２３８によって直接的に計算する。このＤＣＴ係数の差分をビットプレーン展開部２３９によってビットプレーン展開する。選択的拡張処理部（ＳＥ）２４０は，可変長符号化する前のビットプレーン展開された差分ＤＣＴ係数の符号化優先順位の変更を行い，可変長符号化部２４１は，その結果を可変長符号化して拡張レイヤビットストリームを生成する。この方法によっても，ＦＧＳ符号化シンタックスに則ったビットストリームを生成することができ，図６の方法よりも処理を高速化することができる。

図８に示す構成の階層符号化部による符号化では，拡張レイヤが基本レイヤの２倍の解像度を持つように階層符号化する。図６に示す階層符号化部との違いは，入力映像２５１を，例えば１／２というような所定の縮小率に応じて縮小する画像縮小部２５２が，予測画像との差分を算出する減算器２５３の前に設けられていること，および拡張レイヤの符号化の際に，縮小された基本レイヤの復号画像を元のサイズに拡大する画像拡大部２５９が，逆ＤＣＴ部２５８と減算器２６０との間に設けられていることである。

画像縮小部２５２は，図８（Ｂ）に示すように，入力映像２５１の１フレームの縦横の画素数を例えば半分に縮小し，その縮小画像２５１ａを基本レイヤの符号化に用いる。拡張レイヤの符号化では，縮小画像２５１ａを符号化してそれをローカルデコードしたものを，画像拡大部２５９によって元の入力映像２５１の画像サイズに拡大し，その拡大した復号画像２５１ｂと入力映像２５１との差分を算出して符号化する。すなわち，図８に示す方式の階層符号化では，入力映像２５１を例えば半分の解像度にしたものを基本レイヤの符号化に用いる。拡張レイヤの符号化では，基本レイヤの単純拡大画像と，入力映像２５１の原画像との差分を符号化する。

図８の階層符号化方式により階層符号化されたビットストリームを復号するクライアント端末（受信側）２’では，階層復号部２６において，基本レイヤの復号画像を２倍に拡大し，拡張レイヤの復号データと重ね合わせる。

図８に示す階層符号化方式を用いることの利点は，基本レイヤビットストリーム１１のデータ量を大きく削減することができることである。この結果，同一のビットレートで符号化ビットストリームを送信する場合に，基本レイヤビットストリーム１１のデータ量が少なくなる分だけ，拡張レイヤビットストリーム１２のデータ量を増加させることができるようになる。基本レイヤだけの復号画像の表示では，解像度が半分になるため画質が劣化するが，拡張レイヤを用いて階層復号された結果の解像度は，実質的に拡張レイヤの解像度によって決まるため，基本レイヤの解像度を半分にしたことによる影響は少ない。

図９は，本実施の形態における選択的画質向上（ＲＯＩ）の様子を図式化したものである。図９（Ａ）は，基本レイヤと拡張レイヤの解像度が同じ場合の様子を示しており，図９（Ｂ）は，基本レイヤと拡張レイヤの解像度が異なり，拡張レイヤの解像度が基本レイヤの２倍の解像度の場合の様子を示している。すなわち，図９（Ａ）は，図６または図７に示す階層符号化方式によって生成されたビットストリームを用いる場合，図９（Ｂ）は，図８に示す階層符号化方式によって生成されたビットストリームを用いる場合の例である。

例えば，クライアント端末（受信側）２’において，図９（Ａ１）に示すようなクライアントの画像を見ているユーザが，ポインティングデバイス等によりＲＯＩ選択領域４１を指定すると，その部分の拡張レイヤのデータがサーバ装置１から多く送信され，図９（Ａ２）のように，選択された領域が他の部分よりも高精細に表示される。表示方法として，全体の表示の中で一部だけを高精細に表示する方法以外に，図９（Ａ３）に示すように，領域の一部だけを切り出して，高精細に表示する方法を用いることもできる。

次に，拡張レイヤの解像度が基本レイヤの２倍の解像度で階層符号化されている場合の例を，図９（Ｂ）に従って説明する。ユーザがＲＯＩ選択領域４１を指定していない状態では，例えば図９（Ｂ１）に示すような基本レイヤのみの復号画像が表示されているものとする。図９（Ｂ１）のクライアント画像を見ているユーザが，ポインティングデバイス等によりＲＯＩ選択領域４１を指定すると，拡張レイヤを含めた階層復号により，図９（Ｂ２）のように，選択された領域が高精細に表示される。このとき全体の解像度は，拡張レイヤの解像度になる。なお，図９（Ｂ３）に示すように，高精細化された領域だけをクリップして表示するような方法を用いることもできる。

以上のサーバ装置１およびクライアント端末２，２’が行う処理は，ハードウェアやファームウェアによって実現することができるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の概要を説明するための図である。本発明を適用した４者間の通信会議システムの例を示す図である。本発明の実施の形態に係るサーバ装置とクライアント端末の構成例を示す図である。拡張レイヤ領域トランスコード部のフローチャートである。ビットレートトランスコード部のフローチャートである。階層符号化部の第１の構成例を示す図である。階層符号化部の第２の構成例を示す図である。階層符号化部の第３の構成例を示す図である。クライアント端末における表示画面の例を示す図である。

符号の説明

１サーバ装置
２，２’ クライアント端末
１０受信バッファ
１１基本レイヤビットストリーム
１２拡張レイヤビットストリーム
１３ＲＯＩ情報受信部
１４ＲＯＩ切換え部
１５拡張レイヤ領域トランスコード部
１６ビットレートトランスコード部
１７送信バッファ
１８ビットレート受信部
１９ビットレート指示部
２０カメラ
２１階層符号化部
２２送信バッファ
２３ＲＯＩ指示部
２４ＲＯＩ情報送信部
２５受信バッファ
２６階層復号部
２７表示部
２８ビットレート送信部
４０表示画像
４１ＲＯＩ選択領域

Claims

基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータの通信を行う画像通信システムにおいて，
送信対象となる階層符号化されたデータを入力する手段と，
前記データのビットレートを指示するビットレート指示手段と，
前記階層符号化されたデータのデータ量が，前記ビットレート指示手段により指示されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
送信される階層符号化されたデータを復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と，
前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を，該符号化データを０のコードに置き換えることにより削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする画像通信システム。
請求項１記載の画像通信システムにおいて，
前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータである
ことを特徴とする画像通信システム。
複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信を制御するサーバ装置とを備え，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を行う通信会議システムであって，
前記各クライアント端末は，
自端末における入力映像を階層符号化する手段と，
階層符号化されたデータを前記サーバ装置へ送信する手段と，
前記サーバ装置から階層符号化されたデータを受信する手段と，
受信した階層符号化されたデータを階層復号する手段と，
階層復号した画像を表示する手段と，
自端末が受信するデータのビットレートを前記サーバ装置へ通知する手段と，
前記階層符号化されたデータを復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示情報を前記サーバ装置へ送信する手段とを備え，
前記サーバ装置は，
前記クライアント端末から階層符号化されたデータを受信する手段と，
前記各クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末から通知されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
前記クライアント端末から画質向上領域指示情報を受信した場合に，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を，該符号化データを０のコードに置き換えることにより削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする通信会議システム。
複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信を制御するサーバ装置とを備え，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を行う通信会議システムであって，
前記各クライアント端末は，
自端末における入力映像を階層符号化する手段と，
階層符号化されたデータを前記サーバ装置へ送信する手段と，
前記サーバ装置から階層符号化されたデータを受信する手段と，
受信した階層符号化されたデータを階層復号する手段と，
階層復号した画像を表示する手段と，
自端末が受信するデータのビットレートを前記サーバ装置へ通知する手段とを備え，
前記サーバ装置は，
前記クライアント端末から階層符号化されたデータを受信する手段と，
前記各クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末から通知されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
前記階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と，
前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を，該符号化データを０のコードに置き換えることにより削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする通信会議システム。
請求項３または請求項４記載の通信会議システムにおいて，
前記クライアント端末が受信するデータのビットレートを前記サーバ装置へ通知する手段を持つ代わりに，ネットワーク上の装置または前記サーバ装置が，各クライアント端末に対して送信するデータのビットレートを決定し，前記ビットレートトランスコード手段に通知する手段を持つ
ことを特徴とする通信会議システム。
請求項３，請求項４または請求項５記載の通信会議システムのクライアント端末が用いる階層符号化装置であって，
入力映像を１／ｎ（ただしｎ＞１）に縮小する画像縮小手段と，
前記画像縮小手段によって縮小した画像を符号化し，基本レイヤビットストリームを生成する基本レイヤ符号化手段と，
前記基本レイヤ符号化手段によって符号化したデータを復号した画像を，ｎ倍に拡大する画像拡大手段と，
入力映像と前記画像拡大手段によって拡大した画像とを用いて，拡張レイヤビットストリームを生成する拡張レイヤ符号化手段とから構成される
ことを特徴とする階層符号化装置。
テレビ会議を行う複数のクライアント端末にネットワークを介して接続され，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を制御するサーバ装置であって，
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を，該符号化データを０のコードに置き換えることにより削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とするサーバ装置。
基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータの通信を行う画像通信システムにおける画像通信方法であって，
前記データのビットレートを指示するビットレート指示過程と，
送信対象となる前記階層符号化されたデータのデータ量が，前記ビットレート指示過程において指示されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード過程と，
送信される階層符号化されたデータを復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示過程と，
前記画質向上領域指示過程により高精細に表示させる特定部分の領域の指示があった場合に，前記ビットレートトランスコード過程によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を，該符号化データを０のコードに置き換えることにより削減するコード変換を行う拡張レイヤ領域トランスコード過程とを有する
ことを特徴とする画像通信方法。
請求項８記載の画像通信方法において，
前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータである
ことを特徴とする画像通信方法。
テレビ会議を行う複数のクライアント端末にネットワークを介して接続され，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を制御するサーバ装置のコンピュータに実行させるための画像通信プログラムであって，
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を，該符号化データを０のコードに置き換えることにより削減するコード変換を行う拡張レイヤ領域トランスコード手段として，
前記コンピュータを機能させるための画像通信プログラム。
テレビ会議を行う複数のクライアント端末にネットワークを介して接続され，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータを用いたテレビ会議を制御するサーバ装置のコンピュータに実行させるための画像通信プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を，該符号化データを０のコードに置き換えることにより削減するコード変換を行う拡張レイヤ領域トランスコード手段として，
前記コンピュータを機能させるためのプログラムを記録した
ことを特徴とする画像通信プログラム記録媒体。