JPH11234644A - 多地点会議システム - Google Patents

Abstract

(57)【要約】 【課題】 多地点会議において、符号化の計算量を増や
すことなく、参加している端末の計算能力および表示能
力に応じたフレキシブルな表示が可能な多地点会議シス
テムを提供する。 【解決手段】 送信側の端末は入力された動画像信号か
ら、第１の解像度変換部１１及び動画像符号化部２０で
第１の解像度の第１のフレームレートを有する第１の動
画像信号を生成するとともに、第２或いは第３の解像度
変換部１２、１３及び動画像符号化部２１、２２で第１
の解像度より高い第２の解像度の第１のフレームレート
より低い第２のフレームレートを有する第２の動画像信
号を生成して、当該第１の動画像信号および第２の動画
像信号をデータ送出部３７からネットワークＮへ送出す
る。そして、受信側の端末は、受信した第１の動画像信
号および第２の動画像信号から、第２の解像度で第１の
フレームレートの第３の動画像信号を生成して表示す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータやワークステーションなどの計算機を用いて行う
多地点会議システムに関し、特に、会議に参加している
端末の計算能力および表示能力に応じたフレキシブルな
動画像の伝送及び表示が可能な多地点会議システムに関
する。

【０００２】

【従来の技術】近年、動画像信号や音声信号などをネッ
トワークを介して伝達することで遠隔多地点間コミュニ
ケーションを行う、所謂多地点会議システムが利用され
るようになってきている。図１４には、従来の多地点会
議システムの一例を示してある。同図中で、１ａ〜１ｄ
は多地点会議システムに参加している端末、２はネット
ワーク、３は多地点間制御装置（ＭＣＵ）である。

【０００３】通常、図１４に示すように、各会議参加端
末１ａ〜１ｄからの動画像信号や音声信号などをＭＣＵ
３に集め、それらのデータをＭＣＵ３が合成して各参加
端末１ａ〜１ｄへ配信する。ＭＣＵ３は、図１５に４ａ
〜４ｄとして示すように、Ａ〜Ｄ地点の端末１ａ〜１ｄ
より送信された動画像を縮小した後、一つの画面に合成
して各端末へ配信し、当該動画像が各端末のディスプレ
イ５に表示される。このようにすべての地点の会議参加
者は同一の合成動画像を見る形式で、多地点会議がなさ
れていた。

【０００４】しかしながら、このような多地点会議シス
テムでは、会議の参加者が自分が見たい他の参加者の動
画像を選択して高品質で表示したり、自分の好む画面配
列で表示することができない。また、各端末ごとに画面
サイズの違いがある場合には、各端末ごとに適した画像
サイズで動画像を表示する必要がある。例えば、画面サ
イズが限られていて、すべての参加者の画像を同じ大き
さで表示できない場合には、関心度の低い参加者の画像
サイズを小さくして表示する必要がある。

【０００５】特開平９−９２３０号公報に開示されてい
る従来例では、図１６に示すように、会議に参加してい
る端末１ａ〜１ｄがそれぞれ互いに動画像信号を発信
し、それぞれの端末は会議に参加している端末の数の動
画像信号を受信して、それぞれが自端末で復号および縮
小処理することにより、図１７に示すように会議に参加
している端末の動画像を個々に異なった画像サイズで独
立して表示することを可能としている。

【０００６】すなわち、図１７（ａ）に示すように、Ａ
地点の端末１ａのディスプレイ６には、動画像４ｃは端
末１ｃから送信された動画像データを復号してそのまま
表示され、動画像４ｂおよび４ｄの画像はそれぞれ端末
１ｂおよび１ｄより送信された画像データを復号した後
に縮小して表示されている。また、図１７（ｂ）に示す
ように、別の端末１ｃのディスプレイ７には、動画像４
ａは端末１ａから送信された動画像データを復号してそ
のまま表示され、動画像４ｂおよび４ｄの画像はそれぞ
れ端末１ｂおよび１ｄより送信された画像データを復号
した後に縮小されてディスプレイ６とは異なった配列で
表示されている。

【０００７】

【発明が解決しようとする課題】しかしながら、前記し
た従来例の場合には、各端末から送られる動画像データ
は会議システムで扱うことのできる最大解像度の動画像
データであり、例え動画像を低解像度で縮小表示する場
合でも、各端末から送られた動画像データを一旦復号化
する必要がある。そのため、扱う最大解像度や会議に参
加している端末数が大きくなるにつれて各端末の計算能
力が不足し、例え専用のハードウェアを用いてもすべて
の端末からの動画像をリアルタイムに復号化することは
非常に困難になる。

【０００８】従って、同じ端末数および同じフレームレ
ートの条件下では扱う最大解像度が大きくできないとい
う問題点があった。また、動画像を低解像度で縮小表示
しても必要とされる処理能力は変わらないため、関心の
ある画像を高解像度で、その他の画像を低解像度で縮小
表示して、計算能力の低い端末でも動画像表示できるよ
うにするといったフレキシブルな表示が不可能であると
いった問題点があった。

【０００９】また、上記の問題点を解決するために、特
開平６−２０９４６８号公報に開示されているような階
層符号化を用い、各端末が階層化された複数の解像度の
動画像を符号化して送信し、表示する端末はそのなかで
必要な解像度の動画像データのみを受信して復号化する
方法が考えられる。これによれば、計算能力の低い端末
では解像度の低い画像を表示することで計算の負荷を低
減できる。しかしながら、階層符号化は実質的には階層
化した数だけの符号化を行わなければならないため、復
号化の計算量は減るものの、逆に符号化の計算量が増え
てしまい、本質的な解決にはならない。

【００１０】本発明は上記従来の事情に鑑みなされたも
ので、多地点会議において、符号化の計算量を増やすこ
となく、参加している端末の計算能力および表示能力に
応じたフレキシブルな表示が可能な多地点会議システム
を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明では、多地点会議
に参加している端末が、他の会議参加者の動画像を端末
の計算能力および表示能力に応じた任意な解像度でフレ
キシブルに表示できるようにするために、送信側の端末
に複数の解像度の動画像を比較的低い負荷で符号化して
送信する手段を設け、受信側の端末に受け取った動画像
データから所望の解像度の動画像を生成して表示する手
段を設けている。

【００１２】すなわち、本発明の多地点会議システムで
は、送信側の端末は、入力された動画像信号から第１の
解像度で第１のフレームレートの第１の動画像信号を生
成するとともに、第１の解像度より高い第２の解像度で
第１のフレームレートより低い第２のフレームレートの
第２の動画像信号を生成して、当該第１の動画像信号お
よび第２の動画像信号を送出し、受信側の端末は、受信
した第１の動画像信号および第２の動画像信号から第２
の解像度で第１のフレームレートの第３の動画像信号を
生成して表示する。

【００１３】また、本発明の多地点会議システムでは、
送信側の端末は、送出した第１の動画像信号および第２
の動画像信号をメモリに保持し、送出する第１の動画像
信号をメモリに保持した第１の動画像信号を参照画像と
した動き補償を用いて符号化して送出するとともに、送
出する第２の動画像信号をメモリに保持した第２の動画
像信号を参照画像とした動き補償を用いて符号化して送
出する。

【００１４】また、本発明の多地点会議システムでは、
送信側の端末は、送出した第１の動画像信号および第２
の動画像信号をメモリに保持し、送出する第１の動画像
信号をメモリに保持した第１の動画像信号を参照画像と
した動き補償を用いて符号化して送出するとともに、第
２の動画像信号を第１の動画像信号の符号化結果を用い
て補完することによって第２の解像度および第１のフレ
ームレートを持つ補完動画像信号を生成してメモリに保
持し、送出する第２の動画像信号を補完動画像信号を参
照画像とした動き補償を用いて符号化して送出する。

【００１５】また、本発明の多地点会議システムでは、
符号化された第１の動画像信号を再復号して得られた各
画素の値と、直前の補完動画像信号の前記画素に対応し
た領域の平均値の差が所定値以上の場合に、直前の補完
動画像信号の前記画素に対応した領域の値を前記画素の
動画像信号の値で置き換えることによって、上記の補完
動画像信号を生成する。また、本発明の多地点会議シス
テムでは、直前の補完動画像信号を第１の動画像信号の
符号化の際に求められた動きベクトルによって変更し、
第１の動画像信号の符号化の際に求められた残差信号を
第２の解像度に解像度変換して加算することにより、上
記の補完動画像信号を生成する。

【００１６】また、本発明の多地点会議システムでは、
第１の動画像信号の符号化の際に求められた動きベクト
ルを第２の動画像信号の動きベクトルとして用いて第２
の動画像信号の符号化を行う。また、本発明の多地点会
議システムでは、受信側の端末において、第１の解像度
で動画像を表示する場合は符号化された第１の動画像信
号を復号して表示し、第２の解像度で動画像を表示する
場合は符号化された第２の動画像信号を復号した動画像
を、第１の動画像信号を復号した動画像を用いて補完し
て第３の動画像を生成して表示する。

【００１７】また、本発明の多地点会議システムでは、
符号化された第１の動画像信号を復号化して得られた各
画素の値と、直前に表示された動画像の前記画素に対応
した領域の動画像信号の平均値の差が所定値以上の場合
に、前記画素に対応した領域の動画像信号の値を前記画
素の動画像信号の値で置き換えることによって第３の動
画像を生成して表示する。また、本発明の多地点会議シ
ステムでは、受信側端末において、第１の解像度で動画
像を表示する場合は符号化された第１の動画像信号を復
号して表示し、第２の解像度で動画像を表示する場合
は、第２の動画像信号が受信されたフレームでは符号化
された第２の動画像信号を復号して表示し、第２の動画
像信号が受信されないフレームでは、直前に表示された
動画像を符号化された第１の動画像信号中の動きベクト
ルによって変更し、符号化された第１の動画像信号中の
残差信号を第２の解像度に解像度変換して加算して第３
の動画像を生成して表示する。

【００１８】また、本発明の多地点会議システムでは、
第１の動画像信号および第２の動画像信号の送出をマル
チキャストで行い、また、送信側の端末は、第１の動画
像信号を第１のマルチキャストチャネルで送出し、第２
の動画像信号を第２のマルチキャストチャネルで送出
し、受信側の端末は少なくとも第１のマルチキャストチ
ャネルを常時受信し、必要に応じて第２のマルチキャス
トチャネルを受信する。また、本発明の多地点会議シス
テムでは、複数の受信側端末は、動画像を表示する解像
度を送信側の端末に通知し、送信側の端末は、通信され
た解像度のうち最も低い解像度を第１の解像度に設定
し、他の解像度を前記第２の解像度に設定する。

【００１９】また、本発明の多地点会議システムでは、
送信側の端末は、通信回線もしくはネットワークの使用
状況を監視し、帯域が不足している場合は、複数の第２
の動画像信号の一部もしくは全部の送出を規制する。ま
た、本発明の多地点会議システムでは、各受信側の端末
が送信側の端末に優先度を付けて、自端末の計算能力も
しくは表示領域が不足した場合に優先度の低い送信側端
末からの動画像を第１の解像度もしくは第２の解像度の
うちより低い解像度で表示し、また、現在発言している
送信側の端末の優先度を、他の送信側の端末の優先度よ
り高く設定する。

【００２０】

【発明の実施の形態】以下、本発明に係る多地点会議シ
ステムを実施例に基づいて具体的に説明する。図１に
は、多地点会議システムに用いられる送信側の端末の第
１実施例を示してある。なお、多地点会議システムは通
信端末を複数備えて、これら通信端末をネットワーク
（或いは、通信回線）Ｎを介して接続して構成されてお
り、各通信端末は以下に説明する送信側端末としての機
能と受信側端末としての機能とを兼備している。

【００２１】まず、符号化処理およびデータ送信処理に
ついて説明する。送信側の端末に付属しているビデオカ
メラ８およびマイク９からそれぞれ動画像信号および音
声信号が入力されると、これら動画像信号および音声信
号に対する符号化処理およびデータ送信処理がなされ
る。すなわち、動画像信号は後述するようにして符号化
され、音声信号は、音声サンプリング部３５において例
えば１６ｋＨｚでサンプリングされ、音声符号化部３６
において符号化される。なお、符号化方法としては、例
えばＩＴＵ−Ｔ（International Telecommunication Un
ion - Telecommunication）で規格化されているＧ．７
１１、Ｇ．７２２やＧ．７２８を用いて符号化する。

【００２２】一方、入力された動画像信号は画像サンプ
リング部１０に入力され、一定のフレームレート（例え
ば毎秒３０フレーム、以下、３０ｆｐｓと表す）でサン
プリングされる。サンプリングされた動画像は複数に分
岐され、そのままのフレームレートもしくはフレームを
間引かれて異なったフレームレートの動画像となり、そ
れぞれ別個の解像度変換部において複数の解像度に変換
される。

【００２３】本実施例においては、３つの解像度変換部
１１、１２、１３が設けられている。なお、３つの解像
度変換部１１、１２、１３の解像度は後述の手順に従い
解像度指定部１４によって設定される。本例では、７２
０×５７６画素の解像度の動画像が入力され、解像度変
換部１１および１２によってそれぞれ１８０×１４４お
よび３６０×２８８画素の解像度に変換され、解像度変
換部１３は７２０×５７６画素の解像度のまま解像度変
換しないように設定する。

【００２４】また、解像度変換部１１には３０ｆｐｓの
動画像がそのまま入力され、解像度変換部１２にはフレ
ーム選択スイッチ１５によってフレームが例えば１／２
に間引かれた１５ｆｐｓの動画像が入力され、解像度変
換部１３にはフレーム選択スイッチ１６によってフレー
ムが例えば１／３に間引かれた１０ｆｐｓの動画像が入
力される。この結果、３つの解像度変換部１３、１２、
１１からは、図２（ａ）（ｂ）（ｃ）に示すように、７
２０×５７６画素で１０ｆｐｓの動画像１９、３６０×
２８８画素で１５ｆｐｓの動画像１８、１８０×１４４
画素で３０ｆｐｓの動画像１７が出力される。なお、こ
のような解像度変換は、画像信号を水平方向および垂直
方向について一定の割合で間引いたり、隣り合った画素
の平均値を計算して低解像度画像を生成することによっ
て行われる。

【００２５】このように解像度変換された３つの動画像
１７、１８、１９は、それぞれ動画像符号化部２０、２
１、２２に入力され、符号化される。図３には、動画像
符号化部の構成を示してあり、３つの動画像符号化部２
０、２１、２２は、参照画像を保存する参照画像メモリ
２３の容量の差を除けば同一の構成である。

【００２６】動画像符号化部はライン間相関を利用した
離散コサイン変換（ＤＣＴ）と、フレーム間相関を利用
した動き補償の処理によって符号化を行う。図２に示す
Ｉフレーム（図中でＩと記す）では離散コサイン変換
（ＤＣＴ）のみを用いるフレーム内符号化を行い、Ｐフ
レーム（図中でＰと記す）では直前のフレームの画像か
ら動き補償によって生成された予測画像と、現在の画像
との差分を離散コサイン変換（ＤＣＴ）するフレーム間
符号化を行う。なお、本例では、動画像１７に対しては
６フレーム毎に、動画像１８に対しては３フレーム毎
に、動画像１９に対しては２フレーム毎に１フレームの
Ｉフレームを設けている。Ｉフレームを設ける頻度は任
意であり、伝送量や伝送誤りに対する耐性などから決定
される。

【００２７】ここで、動画像符号化部の動作について詳
しく説明する。フレーム内符号化の場合は、入力された
動画像はＤＣＴ回路２４で離散コサイン変換され、量子
化回路２５で量子化され、可変長符号化回路２６で符号
化されて符号化データが生成される。また、量子化され
たデータは逆量子化回路２７および逆ＤＣＴ回路２８に
よって符号化と逆の処理が行われ、復号化画像が生成さ
れる。この復号化画像は次のフレーム間符号化で用いら
れる参照画像として参照画像メモリ２３に保存される。

【００２８】フレーム間符号化の場合は、参照画像メモ
リ２３に保存された参照画像と、入力された動画像が動
き補償回路２９で比較され、動きベクトル３０の算出お
よび予測画像３１の生成が行われる。入力画像は予測画
像３１との差分が取られ、ＤＣＴ回路２４で離散コサイ
ン変換され、量子化回路２５で量子化される。可変長符
号化回路２６は動きベクトル３０および量子化データを
符号化して符号化データを生成する。また、量子化され
たデータは逆量子化回路２７および逆ＤＣＴ回路２８に
よって符号化と逆の処理が行われ、部分復号化画像が生
成される。この部分復号化画像は予測画像３１と加算さ
れた後、次のフレーム間符号化で用いられる参照画像と
して参照画像メモリ２３に保存される。

【００２９】上記のように異なる解像度の変換部１１、
１２、１３を設けて、フレームレートをスイッチ１５、
１６で切り替える構成により、動画像の符号化処理を行
うようにしたため、符号化処理に要する計算量が大幅に
低減される。図４には階層符号化による従来例と本発明
の符号化処理に要する計算量の比較結果を示してある。
１８０×１４４画素、３６０×２８８画素、および７２
０×５７６画素の動画像をそれぞれ３０ｆｐｓで符号化
する従来例では、符号化の処理は画素数に比例するた
め、各画像の符号化に必要な処理量は同図中のそれぞれ
３２、３３および３４のようになる。一方、本実施例で
は３６０×２８８画素、および７２０×５７６画素の画
像のフレームレートがそれぞれ１５ｆｐｓおよび１０ｆ
ｐｓと低減されるため、全体では従来例の半分以下の処
理量に低減できる。なお、以上の説明では、動画像符号
化部を専用のハードウェアとして説明したが、ひとつの
汎用プロセッサもしくはメディア処理に最適化されたメ
ディアプロセッサを時分割で使用してもよい。

【００３０】上記のようにして符号化された３つの動画
像データと符号化された音声データはデータ送出部３７
において多重化され、ネットワークＮに送出される。こ
の符号化されたデータは、マルチキャスト技術によって
会議に参加しているすべての端末に同報送信される。本
実施例では図５に示すように３つのマルチキャストチャ
ネルが用意され、チャネル１では音声データ３８および
１８０×１４４画素の解像度の動画像データ３９が、チ
ャネル２では３６０×２８８画素の解像度の動画像デー
タ４０が、チャネル３では７２０×５７６画素の解像度
の動画像データ４１が送信される。なお、各チャネルに
おけるデータ送信が競合した場合は、チャネル１、チャ
ネル２、チャネル３の順に送信する。

【００３１】一方、受信側の端末では、最低限チャネル
１のデータを受信し、音声および低解像度の画像を出力
できる。さらに解像度の高い画像を要求する端末は、チ
ャネル１と同時にチャネル２またはチャネル３のデータ
を受信し、高解像度の画像を出力することができる。図
６には、多地点会議システムに用いられる受信側の端末
の第１実施例を示してある。

【００３２】まず、受信側の端末が１８０×１４４画素
の解像度で動画像を表示する場合について説明する。ネ
ットワークＮからは図５に示したチャネル１のデータが
入力され、入力されたデータはデータ分離部４２におい
て１８０×１４４画素の解像度の動画像データおよび音
声データに分離される。この動画像データは動画像復号
化部４３に入力され、復号化された後にディスプレイ４
４内のウインドウに表示される。

【００３３】動画像復号化部４３は図７に示すような構
成となっており、入力された符号化データが可変長復号
化回路４５に入力され、動きベクトル３０と量子化され
たＤＣＴ係数４６が復号される。量子化されたＤＣＴ係
数は逆量子化回路２７で復元された後、逆ＤＣＴ回路２
８で画像に戻される。一方、動きベクトル３０は動き補
償回路２９に入力され、動き補償回路２９は参照画像メ
モリ２３に保持された直前のフレームの画像と動きベク
トル３０から予測画像を生成する。そして、逆ＤＣＴ変
換された画像と予測画像が加算され、画像出力が得られ
る。なお、この画像は、参照画像メモリ２３に保存さ
れ、次のフレームの動き補償の参照画像となる。

【００３４】一方、音声データはの音声復号化部４７で
復号され、他の送信側端末からの音声と合成された後、
スピーカー４８に出力される。なお、本実施例では、通
信端末は送信側と受信側との機能を兼備していることか
ら、送信側の処理で用いる参照画像メモリ２３、逆量子
化回路２７、逆ＤＣＴ回路２８、動き補償回路２９等を
受信側での処理でも利用して、ハードウエア資源の有効
利用を図っている。

【００３５】次に、受信側の端末が３６０×２８８画素
または７２０×５７６画素の解像度で動画像を表示する
場合について説明する。ここで、３６０×２８８画素の
場合には、図５に示したチャネル１およびチャネル２の
データが入力され、７２０×５７６画素の場合には、す
べてのチャネルのデータが入力されるが、両者の動作は
以後同様なので、７２０×５７６画素の場合のみ説明す
る。入力されたデータは図６に示すデータ分離部４２に
おいて音声データのほか、１８０×１４４画素、３６０
×２８８画素および７２０×５７６画素の解像度の動画
像データに分離され、それぞれ動画像復号化部４３、４
９、５０に入力されて復号される。なお、動画像復号化
部４９、５０は参照画像メモリ２３の容量を除いて動画
像復号化部４３と同じである。

【００３６】これら復号された画像は、それぞれ図８
（ａ）（ｂ）（ｃ）に示すように、７２０×５７６画素
で１０ｆｐｓ、３６０×２８８画素で１５ｆｐｓ、１８
０×１４４画素で３０ｆｐｓ、の動画像となる。そし
て、動画像補完部５１はフレームメモリ５２に保持され
た直前に表示された画像と、動画像復号化部４３または
動画像復号化部４９からの低解像度復号画像から補完画
像を生成する。例えば、図８（ｄ）に示すように、フレ
ーム２ではフレーム１の再生画像とフレーム２の１８０
×１４４画像から補完画像を生成し、フレーム３ではフ
レーム２の再生画像とフレーム３の３６０×２８８画像
から補完画像を生成し、７２０×５７６画素の動画像で
は欠落していたタイミングのフレームを他の解像度の動
画像データを用いて補っている。

【００３７】上記した動画像補完部５１は、図９に示す
ような構成であり、フレームメモリ５２からの画像を画
像ブロック化部５３で４×４（低解像度画像が１８０×
１４４画素の場合）もしくは２×２（低解像度画像が３
６０×２８８画素の場合）のブロックに分割し、平均値
算出部５４でブロック内の画像信号の平均値を求める。
そして、この値と、低解像度画像の前記ブロックに対応
した画素の信号値とを比較器５５で比較し、両者の値の
差があるしきい値より小さい場合はこのブロックの画像
は前フレームと同じと見做してフレームメモリ５２内の
信号をそのまま出力し、大きい場合はブロックの画像を
低解像度画像の対応した画素の信号値で置き換えて出力
する。この処理による補完画像は、動きのある部分は低
解像度で、動きのない部分は高解像度となるが、一般に
動きのある画像に対する人間の視覚は鈍いため、画質の
劣化は少ない。

【００３８】上記のようにして復号された高解像度画像
および補完画像はセレクタ５６（図６）に入力され、図
８（ｄ）に示すように、フレーム１および４では７２０
×５７６画素の復号画像を選択して表示し、他のフレー
ムでは補完画像を選択して表示することにより、解像度
７２０×５７６画素、フレームレート３０ｆｐｓの動画
像をディスプレイ４４に表示する。ここで、通常、複数
の端末から動画像が送信されるが、上記の復号処理を複
数の動画像に対して時分割で行うことによって対応でき
る。また、上記の説明では、動画像復号化部を専用のハ
ードウェアとして説明したが、ひとつの汎用プロセッサ
もしくはメディア処理に最適化されたメディアプロセッ
サを時分割で使用してもよい。

【００３９】次に、送信側の端末における符号化解像度
および受信側の端末における表示解像度の指定について
説明する。受信側の端末は、ある会議参加者の動画像の
表示解像度をあらかじめ決められている複数の解像度の
中から選択し、前記会議参加者のいる送信側の端末に通
知する。送信側の端末では複数の受信側の端末から受け
取った解像度要求のうち最も低い解像度を抽出して解像
度変換部１１（図１）に設定する。また、要求された他
の解像度は設けられた解像度変換部の数が許す限り、低
解像度の要求から順に解像度変換部１２、解像度変換部
１３に設定される。

【００４０】これらの設定は解像度指定部１４で行わ
れ、解像度変換部の数が不足する場合は、要求する受信
側端末数が多い解像度が優先される。また、送信側端末
はネットワークＮの使用状況および自端末の計算能力を
モニターしており、ネットワーク帯域または計算能力が
不足する場合は、高解像度の要求を受け付けない。な
お、受信側の端末では複数の会議参加者の動画像の表示
解像度を決定するが、この解像度は、ユーザーが明示的
に指定するほかに、受信側端末が自動的に設定すること
もできる。例えば、会議参加者のうち現在発言している
参加者を音声信号のレベルによって検知し、他の参加者
より高い解像度を自動的に設定する。また、自端末の計
算能力をモニターし、計算能力が不足する場合は表示す
る解像度を自動的に落とすことも可能である。また、上
記した実施例では３つの解像度の動画像表示が可能な例
を示したが、可能な解像度は３つでなくてもよいことは
言うまでもない。

【００４１】図１０には、本発明の第２実施例に係る復
号化手段を示してある。なお、第２実施例は、上記した
第１実施例に較べて、復号化処理手段および補完画像生
成手段の構成が異なっており、符号化処理、ネットワー
クＮへの送出、補完画像を用いた表示画像の生成、およ
び解像度の設定方法は第１実施例と同じであるので重複
する説明は省略する。本実施例では高解像度動画像に対
する動画像復号化部４９および５０が動画像補完部の機
能を併せ持っている。以下では、第１実施例と同様に１
８０×１４４画素および７２０×５７６画素の解像度の
画像を表示する場合について説明する。

【００４２】１８０×１４４画素の解像度の画像を表示
する場合は第１実施例と同じであり、ネットワークＮか
らは図５に示したチャネル１のデータが入力され、入力
されたデータはデータ分離部４２において１８０×１４
４画素の解像度の動画像データおよび音声データに分離
される。この動画像データは動画像復号化部４３に入力
され、復号化された後にディスプレイ４４内のウインド
ウに表示される。ここで、動画像復号化部４３は、第１
実施例（図７）と同様な構成であるが、第１実施例と異
なる点は、後述する目的のために動きベクトルおよび逆
ＤＣＴ回路２８の出力を高解像度画像復号化部４９およ
び５０に供給できるようになっていることである。

【００４３】７２０×５７６画素の解像度の画像を表示
する場合は図５に示したすべてのチャネルのデータが入
力され、入力されたデータはデータ分離部４２において
音声データのほか、１８０×１４４画素、３６０×２８
８画素および７２０×５７６画素の解像度の動画像デー
タに分離され、それぞれ動画像復号化部４３、４９、５
０に入力されて復号される。動画像復号化部４９および
５０はそれぞれ図１１に示すような構成であり、両者は
参照画像メモリ２３の容量を除いて同じ構成である。こ
れら動画像復号化部４９および５０は、下記のようにフ
レームに応じて符号化データの復号化と補完画像の生成
を行うことができる。

【００４４】符号化データを復号する場合は、入力され
た符号化データが可変長復号化回路４５に入力され、動
きベクトル３０と量子化されたＤＣＴ係数４６が復号さ
れる。量子化されたＤＣＴ係数４６は逆量子化回路２７
で復元された後、逆ＤＣＴ回路２８で画像に戻される。
一方、動きベクトル３０は動き補償回路２９に入力さ
れ、動き補償回路２９は参照画像メモリ２３に保持され
た画像と動きベクトルから予測画像３１を生成する。そ
して、逆ＤＣＴ変換された画像と予測画像３１が加算さ
れ、画像出力が得られる。また、この画像は、参照画像
メモリ２３に保存され、次の復号化時の動き補償の参照
画像となる。

【００４５】補完画像の生成を行う場合は、低解像度の
動画像復号化部から動きベクトルおよび逆ＤＣＴ変換信
号が入力され、フレームメモリ５２（図６）から直前の
フレームの出力画像が入力される。低解像度の動画像復
号化部からの逆ＤＣＴ変換信号は高解像度動画像復号化
部の解像度の画像に変換される。動き補償回路２９はフ
レームメモリ５２からの入力と低解像度動きベクトルか
ら予測画像３１を生成する。両者の画像が加算されて補
完画像となる。この処理による補完画像は動き補償され
た部分は高解像度で表示されるため、第１実施例の場合
より高画質が期待できる。

【００４６】符号化および補完画像の生成の切り替えは
次のようにして行われる。図８（ｄ）に示すフレーム１
及び４では符号化データを復号化して７２０×５７６画
素の画像を出力し、フレーム２及び５では動画像復号化
部４３からの動きベクトルおよび逆ＤＣＴ変換信号を用
いて補完画像を生成して出力し、フレーム３では動画像
復号化部４９からの動きベクトルおよび逆ＤＣＴ変換信
号を用いて補完画像を生成して出力する。また、出力さ
れた動画像はフレームメモリ５２に保存される。以上の
動作により、解像度７２０×５７６画素、フレームレー
ト３０ｆｐｓの動画像が表示される。

【００４７】ここで、通常、複数の端末から動画像が送
信されるが、上記の復号処理を複数の動画像に対して時
分割で行うことによって対応できる。また、上記の説明
では、動画像復号化部を専用のハードウェアとして説明
したが、ひとつの汎用プロセッサもしくはメディア処理
に最適化されたメディアプロセッサを時分割で使用して
もよい。

【００４８】図１２には、本発明の第３実施例に係る動
画符号化部を示してある。なお、本実施例は、上記した
第１実施例および第２実施例に較べて、符号化処理手段
の構成が異なっており、復号化処理手段および補完画像
生成手段は第２実施例と同様であり、また、ネットワー
クＮへの送出、補完画像を用いた表示画像の生成、およ
び解像度の設定方法は第１実施例および第２実施例と同
じであるので、重複する説明は省略する。また、本実施
例における符号化処理手段の構成は図１に示した第１実
施例の構成と概ね同じであり、入力された動画像は複数
の解像度に変換されて動画像符号化部２０、２１、２２
に入力される。また、解像度変換については第１実施例
と同じであるのでその説明は省略する。

【００４９】本実施例における動画像符号化部２０は、
第１実施例と同様に１８０×１４４画素の動画像を符号
化するが、後述の目的のために動きベクトルおよび逆Ｄ
ＣＴ回路２８の出力を高解像度の動画符号化部２１およ
び２２に供給できるようになっている点が異なる。本実
施例における動画符号化部２１および２２は第１実施例
と異なって、図１２に示すような構成となっている。す
なわち、動画符号化部２１および２２は低解像度画像１
７（図２）のフレームに同期して動作し、高解像度の画
像が入力されるフレームでは符号化を行い、入力されな
いフレームでは補完画像を生成して参照画像を随時更新
する。なお、この符号化を行うときの動作は、フレーム
内符号化の場合とフレーム間符号化の場合で異なる。

【００５０】フレーム内符号化の場合は、入力された動
画像はＤＣＴ回路２４で離散コサイン変換され、量子化
回路２５で量子化され、可変長符号化回路２６で符号化
されて符号化データが生成される。また、量子化された
データは逆量子化回路２７および逆ＤＣＴ回路２８によ
って符号化と逆の処理が行われ、復号化画像が生成され
る。そして、この復号化画像は次のフレーム間符号化で
用いられる参照画像として参照画像メモリ２３に保存さ
れる。

【００５１】フレーム間符号化の場合は、参照画像と動
画像符号化部２０から入力された低解像度動きベクトル
を用いて予測画像３１の生成が行われる。入力画像は予
測画像との差分が取られ、ＤＣＴ回路２４で離散コサイ
ン変換され、量子化回路２５で量子化される。可変長符
号化回路２６は量子化データを符号化して符号化データ
を生成する。なお、動きベクトルは動画像符号化部２０
において符号化されているので新たに符号化はしない。
また、量子化されたデータは逆量子化回路２７および逆
ＤＣＴ回路２８によって符号化と逆の処理が行われ、部
分復号化画像が生成される。そして、この部分復号化画
像は予測画像３１と加算された後、次のフレーム間符号
化で用いられる参照画像として参照画像メモリ２３に保
存される。

【００５２】そして、補完画像を生成して参照画像を更
新する動作では、まず、動画像符号化部２０から動きベ
クトルおよび逆ＤＣＴ変換信号が入力される。ここで、
動画像符号化部２０からの逆ＤＣＴ変換信号は高解像度
動画像符号化部の解像度の画像に変換される。動き補償
回路２９は参照画像メモリ２３からの入力と低解像度動
きベクトルから予測画像３１を生成する。そして、これ
ら参照画像と予測画像とが加算されて補完画像となり、
この補完画像は参照画像メモリ２３に記憶される。この
ように参照画像メモリ２３を低解像度画像１７のフレー
ムに同期して更新することにより、符号化の際に動画像
符号化部２０で求められた動きベクトルを再利用するこ
とができ、動きベクトルの計算は符号化処理のなかでも
大きな計算量を要する処理であるため、符号化に必要な
計算量が大幅に低減される。

【００５３】次に、復号化の処理について説明する。復
号化処理部の構成は図１０に示した第２実施例の構成と
ほぼ同様で、異なる点はフレームメモリ５２が不要な点
である。これは符号化が補完画像を参照画像とした動き
補償によって行われることにより、参照画像メモリ２３
とフレームメモリ５２が共用できるためである。以下に
復号化処理部の動作を、第１実施例および第２実施例と
同様に１８０×１４４画素および７２０×５７６画素の
解像度の画像を表示する場合について説明する。

【００５４】１８０×１４４画素の解像度の画像を表示
する場合は第１実施例および第２実施例と同じであり、
ネットワークＮからは図５に示したチャネル１のデータ
が入力され、入力されたデータは図１０に示したような
データ分離部４２において１８０×１４４画素の解像度
の動画像データおよび音声データに分離される。動画像
データは動画像復号化部４３（図１０）に入力され、復
号化された後ディスプレイ４４内のウインドウに表示さ
れる。ここで、動画像復号化部４３は第２実施例と同様
に図７に示したような構成であり、また、動きベクトル
および逆ＤＣＴ回路２８の出力を高解像度画像復号化部
４９および５０に供給できるようになっている。

【００５５】７２０×５７６画素の解像度の画像を表示
する場合は図５に示したすべてのチャネルのデータが入
力され、入力されたデータは図１０に示したようなデー
タ分離部４２において音声データのほか、１８０×１４
４画素、３６０×２８８画素および７２０×５７６画素
の解像度の動画像データに分離され、それぞれ動画像復
号化部４３、４９、５０に入力されて復号される。動画
像復号化部４９および５０は図１３に示すような構成と
なっており、両者は参照画像メモリ２３の容量を除いて
同じ構成である。なお、これら動画像復号化部４９およ
び５０はフレームに応じて符号化データの復号化と補完
画像の生成を行うことができる。

【００５６】符号化データを復号する場合は、入力され
た符号化データが可変長復号化回路４５に入力され、量
子化されたＤＣＴ係数が復号される。量子化されたＤＣ
Ｔ係数は逆量子化回路２７で復元された後、逆ＤＣＴ回
路２４で画像に戻される。一方、動きベクトルは動画像
復号化部４３から入力され、入力された動きベクトルは
動き補償回路２９に入力され、動き補償回路２９は参照
画像メモリ２３に保持された画像と動きベクトルから予
測画像３１を生成する。そして、逆ＤＣＴ変換された画
像と予測画像が加算され、画像出力が得られる。また、
この画像は、参照画像メモリ２３に保存され、次の復号
化時の動き補償の参照画像となる。

【００５７】補完画像の生成を行う場合は、動画像復号
化部４３から動きベクトルおよび逆ＤＣＴ変換信号が入
力され、この動画像復号化部４３からの逆ＤＣＴ変換信
号は動画像復号化部４９または５０の解像度の画像に変
換される。そして、動き補償回路２９は参照画像メモリ
２３からの入力と動きベクトルから予測画像３１を生成
し、両者の画像が加算されて補完画像となる。また、こ
の画像は、参照画像メモリ２３に保存され、次の復号化
時の動き補償の参照画像となる。この処理による補完画
像は動き補償された部分が高解像度で表示されるため、
第１実施例の場合より高画質となる。

【００５８】復号化および補完画像の生成の切り替えは
以下のように行われる。図８（ｄ）のフレーム１及び４
では符号化データを復号化して７２０×５７６画素の画
像を出力し、他のフレームでは動画像復号化部４３から
の動きベクトルおよび逆ＤＣＴ変換信号を用いて補完画
像を生成して出力する。以上の動作により解像度７２０
×５７６画素、フレームレート３０ｆｐｓの動画像が表
示される。ここで、通常、複数の端末から動画像が送信
されるが、上記の復号処理を複数の動画像に対して時分
割で行うことによって対応できる。また、上記の説明で
は、動画像復号化部を専用のハードウェアとして説明し
たが、ひとつの汎用プロセッサもしくはメディア処理に
最適化されたメディアプロセッサを時分割で使用しても
よい。

【００５９】

【発明の効果】以上詳細に説明したように、本発明によ
ると、送信側の端末では、第１の解像度で第１のフレー
ムレートを有する第１の動画像信号と、第１の解像度よ
り高い第２の解像度で第１のフレームレートより低い第
２のフレームレートを有する第２の動画像信号とを送信
し、受信側の端末では、第１の解像度と第２の解像度の
内の所望の解像度で、第１のフレームレートの動画像を
生成表示するようにしたため、多地点会議システムにお
いて、符号化の計算量を増やすことなく、参加している
端末の計算能力および表示能力に応じたフレキシブルな
表示を行うことができる。

【図面の簡単な説明】

【図１】 本発明の第１実施例に係る符号化処理部の構
成を示す図である。

【図２】 本発明の第１実施例に係る解像度変換部の出
力画像を示す図である。

【図３】 本発明の第１実施例に係る動画像符号化部の
構成を示す図である。

【図４】 本発明と従来例の符号化処理の計算量を比較
する図である。

【図５】 本発明に係るのデータ送出方法を説明する図
である。

【図６】 本発明の第１実施例に係る復号化処理部の構
成を示す図である。

【図７】 本発明の第１実施例に係る動画像復号化部の
構成を示す図である。

【図８】 本発明に係る補完画像生成方法を説明する図
である。

【図９】 本発明の第１実施例に係る動画像補完部の構
成を示す図である。

【図１０】 本発明の第２実施例に係る復号化処理部の
構成を示す図である。

【図１１】 本発明の第２実施例に係る動画像復号化部
の構成を示す図である。

【図１２】 本発明の第３実施例に係る動画像符号化部
の構成を示す図である。

【図１３】 本発明の第３実施例に係る動画像復号化部
の構成を示す図である。

【図１４】 ＭＣＵを用いた従来の多地点会議システム
の構成を説明する図である。

【図１５】 ＭＣＵを用いた従来の多地点会議システム
の表示画面を示す図である。

【図１６】 ＭＣＵを用いない従来の多地点会議システ
ムの構成を説明する図である。

【図１７】 ＭＣＵを用いない従来の多地点会議システ
ムの表示画面を示す図である。

【符号の説明】

１・・・会議端末、 ８・・・ビデオカメラ、 ９・・
・マイク、 １１・・・第１の解像度変換部、 １２・
・・第２の解像度変換部、 １３・・・第３の解像度変
換部、 １４・・・解像度指定部、 １５・・・第１の
フレーム選択スイッチ、 １６・・・第２のフレーム選
択スイッチ、 １７・・・第１の解像度の動画像、 １
８・・・第２の解像度の動画像、 １９・・・第３の解
像度の動画像、 ２０・・・第１の動画像符号化部、
２１・・・第２の動画像符号化部、 ２２・・・第３の
動画像符号化部、 ２３・・・参照画像メモリ、 ２４
・・・ＤＣＴ回路、 ２５・・・量子化回路、 ２６・
・・可変長符号化回路、２７・・・逆量子化回路、 ２
８・・・逆ＤＣＴ回路、 ２９・・・動き補償回路、
３０・・・動きベクトル、 ３１・・・予測画像、 ３
２・・・第１の解像度の画像の符号化処理量、 ３３・
・・第２の解像度の画像の符号化処理量、３４・・・第
３の解像度の画像の符号化処理量、 ３９・・・第１の
動画像データ、 ４０・・・第２の動画像データ、 ４
１・・・第３の動画像データ、 ４２・・・データ分離
部、 ４３・・・第１の動画像復号化部、 ４４・・・
ディスプレイ、 ４５・・・可変長復号化回路、 ４９
・・・第２の動画像復号化部、 ５０・・・第３の動画
像復号化部、 ５１・・・第１の動画像補完部、 ５２
・・・フレームメモリ、 ５３・・・画像ブロック化
部、 ５４・・・平均値算出部、 ５５・・・比較器、
５６・・・セレクタ、

Claims (16)

【特許請求の範囲】
1. 【請求項１】 動画像信号を入力する手段と、動画像信
   号を表示する手段とを有する通信端末を複数備え、これ
   ら通信端末の間で動画像信号を送受信する多地点会議シ
   ステムにおいて、 送信側の端末は、前記入力された動画像信号から第１の
   解像度で第１のフレームレートの第１の動画像信号を生
   成するとともに、第１の解像度より高い第２の解像度で
   第１のフレームレートより低い第２のフレームレートの
   第２の動画像信号を生成して、当該第１の動画像信号お
   よび第２の動画像信号を送出し、 受信側の端末は、受信した前記第１の動画像信号および
   第２の動画像信号から第２の解像度で第１のフレームレ
   ートの第３の動画像信号を生成して表示することを特徴
   とする多地点会議システム。
2. 【請求項２】 請求項１に記載の多地点会議システムに
   おいて、 前記第２のフレームレートは、前記第１のフレームレー
   トの整数分の１のフレームレートであることを特徴とす
   る多地点会議システム。
3. 【請求項３】 請求項１又は請求項２に記載の多地点会
   議システムにおいて、 前記送信側の端末は、前記送出した第１の動画像信号お
   よび前記第２の動画像信号をメモリに保持し、送出する
   第１の動画像信号をメモリに保持した第１の動画像信号
   を参照画像とした動き補償を用いて符号化して送出する
   とともに、送出する第２の動画像信号をメモリに保持し
   た第２の動画像信号を参照画像とした動き補償を用いて
   符号化して送出することを特徴とする多地点会議システ
   ム。
4. 【請求項４】 請求項１又は請求項２に記載の多地点会
   議システムにおいて、 前記送信側の端末は、前記送出した第１の動画像信号お
   よび前記第２の動画像信号をメモリに保持し、送出する
   第１の動画像信号をメモリに保持した第１の動画像信号
   を参照画像とした動き補償を用いて符号化して送出する
   とともに、 第２の動画像信号を第１の動画像信号の符号化結果を用
   いて補完することによって第２の解像度および第１のフ
   レームレートを持つ補完動画像信号を生成してメモリに
   保持し、送出する第２の動画像信号を補完動画像信号を
   参照画像とした動き補償を用いて符号化して送出するこ
   とを特徴とする多地点会議システム。
5. 【請求項５】 請求項４に記載の多地点会議システムに
   おいて、 符号化された第１の動画像信号を再復号して得られた各
   画素の値と、直前の補完動画像信号の前記画素に対応し
   た領域の平均値の差が所定値以上の場合に、直前の補完
   動画像信号の前記画素に対応した領域の値を前記画素の
   動画像信号の値で置き換えることによって補完動画像信
   号を生成することを特徴とする多地点会議システム。
6. 【請求項６】 請求項４に記載の多地点会議システムに
   おいて、 直前の補完動画像信号を第１の動画像信号の符号化の際
   に求められた動きベクトルによって変更し、第１の動画
   像信号の符号化の際に求められた残差信号を第２の解像
   度に解像度変換して加算することにより補完動画像信号
   を生成することを特徴とする多地点会議システム。
7. 【請求項７】 請求項４乃至請求項６のいずれか１項に
   記載の多地点会議システムにおいて、 第１の動画像信号の符号化の際に求められた動きベクト
   ルを第２の動画像信号の動きベクトルとして用いて第２
   の動画像信号の符号化を行うことを特徴とする多地点会
   議システム。
8. 【請求項８】 請求項１乃至請求項７のいずれか１項に
   記載の多地点会議システムにおいて、 前記受信側の端末において、第１の解像度で動画像を表
   示する場合は符号化された第１の動画像信号を復号して
   表示し、第２の解像度で動画像を表示する場合は符号化
   された第２の動画像信号を復号した動画像を、第１の動
   画像信号を復号した動画像を用いて補完して前記第３の
   動画像を生成して表示することを特徴とする多地点会議
   システム。
9. 【請求項９】 請求項１乃至請求項５及び請求項７又は
   請求項８のいずれか１項に記載の多地点会議システムに
   おいて、 符号化された第１の動画像信号を復号化して得られた各
   画素の値と、直前に表示された動画像の前記画素に対応
   した領域の動画像信号の平均値の差が所定値以上の場合
   に、前記画素に対応した領域の動画像信号の値を前記画
   素の動画像信号の値で置き換えることによって前記第３
   の動画像を生成して表示することを特徴とする多地点会
   議システム。
10. 【請求項１０】 請求項１乃至請求項４及び請求項６乃
    至請求項８のいずれか１項に記載の多地点会議システム
    において、 前記受信側端末において、第１の解像度で動画像を表示
    する場合は符号化された第１の動画像信号を復号して表
    示し、 第２の解像度で動画像を表示する場合は、第２の動画像
    信号が受信されたフレームでは符号化された第２の動画
    像信号を復号して表示し、第２の動画像信号が受信され
    ないフレームでは、直前に表示された動画像を符号化さ
    れた第１の動画像信号中の動きベクトルによって変更
    し、前記符号化された第１の動画像信号中の残差信号を
    第２の解像度に解像度変換して加算して前記第３の動画
    像を生成して表示することを特徴とする多地点会議シス
    テム。
11. 【請求項１１】 請求項１乃至請求項１０のいずれか１
    項に記載の多地点会議システムにおいて、 第１の動画像信号および第２の動画像信号の送出をマル
    チキャストで行うことを特徴とする多地点会議システ
    ム。
12. 【請求項１２】 請求項１１に記載の多地点会議システ
    ムにおいて、 前記送信側の端末は、第１の動画像信号を第１のマルチ
    キャストチャネルで送出し、第２の動画像信号を第２の
    マルチキャストチャネルで送出し、 前記受信側の端末は少なくとも第１のマルチキャストチ
    ャネルを常時受信し、必要に応じて第２のマルチキャス
    トチャネルを受信することを特徴とする多地点会議シス
    テム。
13. 【請求項１３】 請求項１乃至請求項１２のいずれか１
    項に記載の多地点会議システムにおいて、 複数の受信側端末は、動画像を表示する解像度を送信側
    の端末に通知し、 前記送信側の端末は、通信された解像度のうち最も低い
    解像度を第１の解像度に設定し、他の解像度を前記第２
    の解像度に設定することを特徴とする多地点会議システ
    ム。
14. 【請求項１４】 請求項１乃至請求項１３のいずれか１
    項に記載の多地点会議システムにおいて、 前記送信側の端末は、通信回線もしくはネットワークの
    使用状況を監視し、帯域が不足している場合は、複数の
    第２の動画像信号の一部もしくは全部の送出を規制する
    ことを特徴とする多地点会議システム。
15. 【請求項１５】 請求項１乃至請求項１３のいずれか１
    項に記載の多地点会議システムにおいて、 各受信側の端末が送信側の端末に優先度を付けて、自端
    末の計算能力もしくは表示領域が不足した場合に前記優
    先度の低い送信側端末からの動画像を第１の解像度もし
    くは第２の解像度のうちより低い解像度で表示すること
    を特徴とする多地点会議システム。
16. 【請求項１６】 請求項１５に記載の多地点会議システ
    ムにおいて、 現在発言している送信側の端末の前記優先度を、他の送
    信側の端末の優先度より高く設定することを特徴とする
    多地点会議システム。