JPH03283886A

JPH03283886A - 多地点間動画像伝送システムにおける動画像符号化装置及び多地点間接続装置

Info

Publication number: JPH03283886A
Application number: JP2081346A
Authority: JP
Inventors: Hideyuki Ueno; 秀幸上野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1990-03-30
Filing date: 1990-03-30
Publication date: 1991-12-13
Anticipated expiration: 2015-04-04
Also published as: JP3028828B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、テレビ会議やテレビ電話等において複数の端
末間で動画像を伝送する要地点間動画像動画像伝送シス
テムと、各端末に設置される動画像符号化装置および各
端末を相互接続するための長地点間接続装置に関する。

（従来の技術）テレビ会議やテレビ電話のような動画像の伝送を伴う通
信において、３地点以上の多地点間で同時に通信を行う
方法について種々の提案がなされている。第２２図はこ
のような多地点間動画像伝送システムの概念図であり、
スター形銅の中央部分に交換機能を持つ長地点間接続装
置が設置される。長地点間接続装置は各端末（動画像符
号化／復号化装置）Ａ−Ｎに対して、第２３図（ａ）に
示すように他の端末からの画像を切替えて送出する（切
替えモード）、同図（ｂ）に示すように他の複数の端末
からの画像を合成して送出する（合成モード）、などの
動作を行う。第２３図は端末Ｂでの表示画面の例である
。

第２３図（ｂ）のような合成モードの動作を伝送路の使
用回線容量を増加しないで行おうとする場合、各地点間
接続装置内で一度画像データを復号し、ＰＣＭレベルで
の画像合成を行った後、再び符号化して送出する方法が
考えられる。

しかし、この方法では長地点間接続装置の回路規模が大
きくなる。また、端末側の符号化制御と要地点間接続−
装置側の符号化制御が独立に行われることになって端末
の性能が十分に反映されず、新たな画質劣化を招いてし
まう。

これに対し、例えば特願平１−９４７８６号公報に記載
された多地点動画像伝送システムでは、多地点接続状況
に応じて各端末の伝送速度、解像度（画素数）などを変
え、長地点間接続装置において各端末からの画像データ
を符号化されたままの形で合成した後、各端末に伝送す
るようにしている。各端末では他の端末からの画像を縮
小して合成し一つの画面として表示する。

この方式によれば、画像が合成されるべき端末の数が増
えると個々の伝送速度か低下するため、伝送路の回線容
量を増やす必要がない。また、画像合成を符号化データ
のままで行うことにより、画質劣化の問題が解決される
。

しかしながら、この公知例は現在検討されているＰ　Ｘ
　６４ｋｂｐｓ動画像標準符号化方式（ＣＣＩＴＴ勧告
Ｈ，２６１参照）に、そのまま適用することはできない
。この動画像標準符号化方式では、入力動画像のフレー
ムを所定サイズのブロックに分割した後、各ブロックに
ついて符号化時の発生情報量を推定し、発生情報量の多
いブロック（発生情報量が閾値以上のブロック）を有効
ブロックとして、その有効ブロックの符号化出力のみを
伝送し、発生情報量の少ないブロック（発生情報量が閾
値に満たないブロック）は無効ブロックと見なして符号
化出力を伝送しない。この方式では、入力画面の大きさ
は標準勧告により予め決められているため、符号化以前
に画面の大きさを変更することは１／２画面モード（Ｑ
ＣＩＩ）を除いては許されていない。

（発明が解決しようとする課題）上述したように、多地点接続状況に応じて各端末の伝送
速度や解像度を変え、要地点間接続装置で各端末からの
画像データを符号化されたままの形で合成して各端末に
伝送することにより合成画面を得る従来の技術では、入
力動画像をブロック化し、発生情報量の多い有効ブロッ
クのみの符号化出力を伝送する方式に適用することが難
しいという問題があった。

本発明の目的は、入力動画像のうち符号化出力の発生情
報量の多い有効ブロックのみを伝送する動画像標準符号
化方式において、要地点間接続時にも要地点間接続装置
から各端末に伝送されるデータの平均ビットレートが、
端末より伝送路に送出される信号の伝送レートに一致す
るようにして、端末の符号化性能をそのまま引き出すこ
とができる長地点間動画像伝送システムにおける動画像
符号化装置と、複数地点に設置された端末の動画像符号
化装置からの画像データを合成して合成画面を得るため
の要地点間接続装置を提供することにある。

［発明の構成］（課題を解決するための手段）本発明に係る動画像符号化装置は、入力の動画像信号を
符号化する符号化手段がらの発生情報量から同画像信号
の有効ブロックおよび無効ブロックを判定する判定手段
に対して、合成画面出力時に必要となる動画像信号のフ
レームの任意の一部を強制的に無効ブロックとして判定
させる手段を設け、符号化手段からの符号化出力のうち
、この判定手段により有効ブロックと判定されたブロッ
クの符号化出力のみを伝送することを基本的な特徴とす
る。

また、本発明の動画像符号化装置では、有効ブロックと
判定されたブロックの符号化出力を伝送する際、相手端
末での合成画面出力時の自端末の画面サイズ比率に応し
て設定された設定伝送レートで所定の伝送レートの伝送
路へ送出し、かつ伝送路に送出される信号に、設定伝送
レートと伝送路の伝送レートとの差を補償するスタッフ
情報を挿入する。

本発明に係る他の動画像符号化装置では、符号化手段か
らの符号化出力を伝送路に送出する際、相手端末での合
成画面出力時に必要な有効ブロックと判定されたブロッ
クのみでなく、相手端末での合成画面出力時には不要と
なるブロックもそれぞれの画面サイズ比率に応じて設定
された設定伝送レートで所定の伝送レートの伝送路へ送
出する。

さらに、本発明の動画像符号化装置は動き補償を行う場
合、有効ブロックと判定されたブロックのみを参照する
。

一方、本発明に係る要地点間接続装置では、複数の地点
に設置された本発明による動画像符号化装置からの符号
化出力のうち、有効プロッりを含む部分のみを合成して
１フレーム分の動画像を作成する手段を有する。

（作用）本発明においては、符号化出力の発生情報量による有効
／無効ブロックの判定に際して、人力の動画像信号のフ
レームの任意の一部を強制的に無効ブロックと判定させ
ることができるため、入力画面のサイズを変更せずに画
面内の有効な画面サイズを設定することができる。

相手端末で合成画面を出力する時にも縮小率を大きく変
える必要がない。

また、有効ブロックの符号化出力を相手端末での合成画
面出力時の自端末の画面サイズ比率に応じて設定された
設定伝送レートで伝送路へ送出するとともに、伝送路に
送出される信号にスタッフ情報を挿入するが、相手端末
での合成画面出力時に表示されるブロックと合成画面川
内時には表示されないブロックとをそれぞれの画面サイ
ズ比率に応じて設定された設定伝送レートで伝送路へ送
出することにより、設定伝送レートと伝送路の伝送レー
トとの差を補償する。

これらにより前述した動画像標準符号化方式によって長
地点間動画像伝送を行う場合でも、要地点間接続装置か
ら各端末に伝送されるデータの平均ビットレートが、端
末より伝送路に送出される信号の伝送レートに一致する
ため、端末の符号化性能がそのまま引き出される。

さらに、要地点間接続装置では各端末からの画像データ
の合成時に、有効ブロックの符号化出力をそのまま合成
すればよく、画像データを一旦復号化しＰＣＭレベルで
合成してから再符号化するという処理が不要となる。従
って、要地点間接続装置の負担が減り、回路規模が縮小
されると共に、復号化・再符号化による画質劣化が避け
られる。

（実施例）以下、本発明の実施例について図面を参照して説明する
。なお、本実施例では符号化方式として前述したＰ　Ｘ
　８４ｋｂｐｓ動画像標準符号化方式（ＣＣＩＴＴ勧告
Ｈ，２６１）を例にとり説明する。

第１図は本発明に係る動画像符号化装置の一実施例を示
すブロック図である。この動画像符号化装置を説明する
前に、まずに上記の標準符号化方式におけるデータの構
成を第２図および第３図により説明する。標準符号化方
式では第２図に示すように、１フレーム（３５２Ｘ２８
８）が１２個のＧ　ＯＢ　（Ｇｒｏｕｐ　ｏｌ’　Ｂｌ
ｏｃｋ）により構成されるＣ　Ｉ　Ｆ　（Ｃｏｗｗｏｎ
　Ｉｍａｇｅ　Ｐｏｒａ＋ａｔ）または３個のＧＯＢに
より構成されるＱＣＩＦ（Ｑｕ’ａｔｅｒ　Ｃｏｍｍｏ
ｎ　Ｉｍａｇｅ　Ｐｏｒｉａｔ）よりなり為ＩＧＯＢが
３３ＭＢ（マクロブロック）よりなり、さらにＩＭＢが
６ブロツクよりなる階層構成となっている。これに応じ
てデータ自体も、第３図に示すようなヘッダとデータの
組合せよりなる階層構成でできている。第３図中の記号
の意味は次の通りである。

Ｐ　Ｓ　Ｃ：　Ｐｉｃｔｕｒｅ　５ｔａｒｔ　Ｃｏｄｅ
Ｔ　Ｒ：　Ｔｅｍｐｏｒａｌ　ＲｅｆｅｒｅｎｃｅＰＴ
ＹＰＥ：画像伝送モードフラグＰＥＩ：予備情報フラグＰＳＰＡＲＥ：予備情報Ｇ　Ｂ　Ｓ　Ｃ：　ＧＯＢ　５ｔａｒｔ　ＣｏｄｅＧ　
Ｎ　：　ＧｒＯｕｐｅ　Ｎｏ。

Ｑ　Ｕ　Ａ　Ｎ　Ｔ　：　Ｑｕａｎｔｉｚａｔｉｏｎ　
Ｔａｂｌｅ　Ｎｏ。

ＧＥＩ：予備情報フラグＧＳＰＡＥＲ：予備情報ＭＴＹＰＥ：予測タイプＭ　Ｖ　Ｄ　：　Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ　（ｄｉ
ｆｒｅｒｅｎｔｉａｌ）ＣＢ　Ｐ　：　Ｃｏｄｅｄ　Ｂ
ｌｏｃｋ　ＰａｔｔｅｒｎＴ　ＣＯＥ　Ｆ　Ｆ　：　Ｔ
ｒａｎｃｅｒｏｒｍｅｄ　Ｃｏｆｆ１ｃｉｅｎｔＥ　Ｏ
Ｂ　：　Ｅｎｄ　ｏｆ　Ｂｌｏｃｋ第４図に標準符号化
方式によるコーデック（符号化／復号化装置）全体のブ
ロック図を示す。標準化方式ではソースコーグ１１内テ
入力信号（動画像信号）と予測信号との差をとり、その
誤差を有効／無効判定回路で評価して誤差が小さいブロ
ックについては無効と判定する。

ソースコーダ１１の後段のビデオマルチプレックスコー
ダ１２では、有効ブロックはアドレスを付けて伝送し、
無効ブロックについては伝送しないという方式をとって
いる。この制御は符号化制御回路１３によってなされる
。

本発明はこのように入力動画像信号をブロックに分割し
、有効／無効判定をして無効ブロックは送らず有効ブロ
ックのみ符号化して伝送する方式に適用される。ビデオ
マルチプレックスコーダ１２からの信号はバッファ（送
信バッファ）１４および伝送路符号化回路１５を経て伝
送路に送出される。受信側の復号化装置では、伝送路か
らの信号を伝送路復号化回路１６で復号した後、バッフ
ァ（受信バッファ）１７、ビデオマルチプレクサ１８お
よびソースデコーダ１９を介して元の動画像信号を取出
す。

次に、第１図に示した動画像符号化装置の一実施例を説
明する。この第１図で示された範囲は、第４図のソース
コーダ１１、ビデオマルチプレックスコーダ１２、符号
化制御回路１３おヨヒハッファ１４の部分に相当する。

この第１図の装置は、通常は従来の標準化符号化方式の
動画像符号化装置と全く同様に動作する。

第１図において、端子１０１には入力データとしてディ
ジタル化された動画像信号が入力される。この動画像信
号は引算回路１０２および動き補償可変遅延フレームメ
モリ１１０に送られ、フレームメモリ１１０で動き補償
フレーム間予測信号が作成される。この予測信号はルー
プフィルタ１１１を通って引算回路１０２に送られ、引
算回路１０２で入力動画像信号との差がとられる。フレ
ーム間／内判定回路１０３は、引算回路１０２から出力
される差信号の信号電力と入力端子１００への入力動画
像信号の信号電力を比較して、フレーム間予測にすべき
がフレーム内予測にすべきかの判定を行う。スイッチ１
０４はフレーム間／内判定回路１０３の判定結果を受け
て、フレーム間予測信号である引算回路１０２の出力信
号と、フレーム内予測信号である入力データの動画像信
号との選択を行つ。

スイッチ１０４により選択された予測信号はＤＣＴ回路
１０５で離散的コサイン変換（Ｄ　ＣＴ）され、ＤＣＴ
係数が求められる。このＤＣＴ係数のデータは、量子化
回路１０６および有効／無効判定回路１０７に送られる
。有効／無効判定回路１０７はＤＣＴ係数データからブ
ロック毎に信号電力を計算することで符号化時の発生情
報量を推定して、有効／無効の判定を行う。すなわち、
予測誤差信号電力が所定の閾値以上であれば有効ブロッ
クと判定し、閾値に満たなければ無効ブロックと判定す
る。量子化回路１０６では各ＤＣＴ係数が量子化され、
量子化ＤＣＴ係数データとして量子化テーブル番号およ
び量子化インデックスが出力される。

本実施例では、これらの量子化テーブル番号および量子
化インデックスが符号化出力となる。

一方、量子化回路１０６で量子化されたＤＣＴ係数は、
逆量子化回路１０７で逆量子化され、さらに逆ＤＣＴ回
路１０８で逆ＤＣＴがなされた後、加算回路１０９でス
イッチ１１２を介して入力されるループフィルタ１１１
からの予測信号と加算されることにより、局部復号信号
を生成する。この局部復号信号は動き補償可変遅延フレ
ームメモリ１１０に蓄えられ、次のフレームの符号化時
に参照される。

多重化回路１１３には、フレーム間／内判定回路１０３
からのフレーム間／内判定信号、量子化回路１０６から
の量子化テーブル番号および量子化インデックス、有効
／無効判定回路１０７からの有効／無効判定信号、動き
補償可変遅延フレームメモリ１１０からの動きベクトル
情報およびループフィルタ１１１からのループフィルタ
０Ｎ１０ＦＦ信号が入力され、これらが予め決められた
フォーマットに従って多重化されバッファ１１４に送ら
れる。

バッファ１１４は符号化装置の発生情報量を伝送路の伝
送レートに整合させる働きをし、当該端末の動画像符号
化装置からの画像を含めて他の端末で合成画面を表示す
る時（これを合成モード出力時という）は、当該端末の
画像の画面サイズ比率（合成画面における有効画像サイ
ズ／実際の画面サイズ）に応じて設定された伝送レート
（設定伝送レートという）で符号化信号を出力する。バ
ッファ１１４の出力信号は伝送路符号化回路１１５によ
り伝送路符号化、つまり伝送に適した形態の符号化がな
された後、伝送路に送出される。また、バッファ１１４
はバッファ量を示す情報を符号化制御回路１１７に送る
。符号化制御回路１１７はバッファ量より現在の発生情
報量の大小を推定し、発生情報量が多い場合には、■有
効／無効判定回路１０７における有効／無効判定のため
の閾値を上げる、■量子化回路１０６における量子化ス
テップサイズを大きくする、等により発生情報量を減ら
し、発生情報量が少ない場合には逆の操作により発生情
報量を増やすという制御を行う。

一方、長地点間接続時には要地点間切替回路１１６およ
び符号化制御回路１１７の働きにより、合成画面におい
て有効でない部分については有効／無効判定回路１０７
を強制的に無効に判定させるように制御する。また、こ
れと共に符号化制御を行うパラメータである量子化ステ
ップサイズとして、バッファ１１４の設定伝送レートが
あたかも、実際の伝送レートＸ合成画面比率（合成画面における有
効画面サイズ／実際の画面サイズ）であると考えた時と
等価な量子化ステップサイズを与えるように符号化制御
回路１１７で量子化回路１０６の量子化ステップサイズ
を制御することにより、合成された後も情報量が伝送路
の伝送レートの能力を越えないように出力情報量を制限
する。しかし、この場合でも各端末の出力ビツトレート
は伝送路の伝送レートと同じであることが要求されるの
で、伝送路の余った伝送レート分に相当する情報量とし
て、画像データに影響を与えないスタッフ情報（スタッ
フビット）を伝送路符号化回路１１５で挿入して送出す
る。すなわち、合成モード出力時には合成画面比率に応
じて設定された設定伝送レートと実際の伝送路の伝送レ
ートとの差を補償するようなスタッフ情報を挿入するの
である。先の標準符号化方式では、このようなスタッフ
ビットとして、誤り訂正符号（−Ｂ　ＣＨ）のフレーミ
ング内全体が復号側で捨てられてよい情報となれるよう
に規定されている。この様子を第５図に示す。

第６図を用いて具体的に説明する。今、第６図（ａ）　
（ｅ）　（ｅ）　（ｇ）に示すように通常の１対１の端
末Ａ、Ｂ間で動画像を６４　ｋｂｐｓのレートで送受し
ていた端末の動画像符号化装置が３地点間の通信を行う
ことになり、相手端末の動画像符号化装置で第６図（ｈ
）に示すように画面を左右に２分割した画像が表示され
るような通信を行うことになった場合を考える。このよ
うな場合、本実施例では画面の半分の面積を占める第６
図（ｂ）の左右の斜線部分については、符号化回路１１
７からの制御により強制的に有効／無効判定回路１０７
において無効と判定されるようにする。

また、本実施例では動き補償可変遅延フレームメモリ１
１０での動き補償時には、無効と判定した斜線部分は画
面外として参照しない。動き補償時に無効と判定した部
分をも参照すると、動き補償可変遅延フレームメモリ１
１０と受信側（復号化装置）内でのフレームメモリの内
容が異なってしまい、正しい動き補償がなされなくなる
結果、画質が劣化するからである。

また、符号化制御回路１１７は伝送レートがあたかも６
４　ｋｂｐｓ／　２　＝　３２　ｋｂｐｓであるかのよ
うに、量子化回路１０６に量子化ステップサイズを与え
る。その結果、符号化出力のデータ量は平均的に１対１
の端末間の通信の場合の１７２になるように制御される
。そして、伝送レートの残り約３２　ｋｂｐｓについて
は、第６図（ｄ）に示すようにスタッフビットが挿入さ
れる。要地点間接続装置においては、端末Ａより来た（
データ１＋スタツフ１）と端末Ｂより来た（データ２＋
スタツフ２）を受け、第６図（ｆ）に示すようにスタッ
フ１とスタッフ２は無視すると共にデータ１とデータ２
とが１画面を構成するように、データの配置を再構成し
て端末Ｃに送出する。他の組合せ、例えばデータ２＋デ
ータ３一端末Ａ等についても同様である。この時、他項
点間接続装置から送出される第６図（ｒ）に示す（デー
タ１＋データ２）の伝送レートの平均は６４　ｋｂｐｓ
となるので、簡単なバッファリング処理で伝送路の伝送
レートへの整合をとることができる。

端末側では一般に合成画面で表示される画像以外の領域
は無効とするため、動き補償においてもこの無効領域が
参照されることはなく、データはこの領域で閉じている
ので、要地点間接続装置でのデータの分析・再配置はビ
デオマルチプレックスレベルでの動作のみで済む。

なお、第６図の例では合成画面で表示される領域は原画
像の画面の左右を切り落とした真中の部分としたが、右
半分（または左半分）として境界がＧＯＢ内をまたがら
ないようにすれば、要地点間接続装置でのビデオマルチ
プレックスレベルの分析・再合成は、さらにその中でも
ＧＯＢレベルまでの分析・再合成のみですみ、−屑処理
は簡単となる。

本発明によらずに以上のようなことを行おうとすると、
前述のように長地点間接続装置内で一度画像の復号を行
ってＰＣＭレベルでの画像合成を行った後、再度画像の
符号化を行って送出する必要がある。これを行わないと
すると、次のような問題が生じる。

■全画面が動き補償で参照されるため、ビデオマルチプ
レックスレベルでのデータの切り分けができなくなる。

■画面の一部のみに情報が集中していても、１フレーム
内でつじつまが合っていれば送信側では問題がないため
、長地点間接続装置側の出力では情報がどんどん溜まっ
ていってしまうことが起こり得る。第７図はその一例を
示す図であり、（ａ）に示すＧＯＢに対して端末（動画
像符号化装置）から（ｂ）に示すデータ列が送出される
時、（Ｃ）に示すようにデータが溜まってしまう。この
結果、要地点間接続装置の負担が重くなり、また余計な
画像の符号化・復号化によって画質の劣化を招く。

次に、第１図の要地点間切替回路１１６および符号化制
御回路１１７について具体的に説明する。

第８図は要地点間切替回路１１６の具体例を示すブロッ
ク図である。第８図において、要地点間切替回路１１６
には入力信号として合成画面内において表示される第１
０図に示すようなｎ個の画面パターン（図では■〜■の
パターンのみ示しているが、その他に上半面、下半面な
どの種々のパターンがある）に対応する画面パターン番
号の情報が人力される。この入力の画面パターン番号は
例えばスイッチやキーボードから入力されるものであっ
てもよいし、伝送路を通して要地点間接続装置から送ら
れてくるものでもよい。後者の場合の画面パターン番号
は、第４図のコーデック全体を外部から制御するため（
７）　ＥＸＴＥＲＮＡＬ　Ｃ０ＮＴＲ０Ｌとイウ信号に
含マレ、具体的には例えば勧告Ｈ，２２１のＢＡＳの一
部やＡＣ等を使うなどが考えられる。この入力された画
面パターン信号は、パターン番号デコーダ２１でデコー
ドされる。パターン番号デコーダ２１は各画面パターン
番号に対応した出力端子を持ち、入力された画面パター
ン番号に対応した出力端子からの出力信号のみが低レベ
ルとなる。このパターン番号デコーダ２１の各出力端子
からの信号が、各パターンに対応するアドレスを発生さ
せるアドレスカウンタ２２ａ〜２２ｎに出力イネーブル
信号ＯＥとして与えられることにより、入力された画面
パターン番号に対応した１つのアドレスカウンタが選択
され、そのアドレスカウンタからのアドレスが表示領域
アドレスとしてａカされる。この表示領域アドレスは、
第１図の符号化制御回路１１５に供給される。アドレス
カウンタ２２ａ〜２２ｎから出力される各アドレスは入
力アドレスと同期して動作し、その時間軸上の対応は第
１０図に示すようなものである。

第１０図においてアドレスａ、ｂ、・・・はアドレスカ
ウンタ２２ａ、２２ｂ、・・・から出力されるアドレス
を示し、■、■、・・・はアドレスａ。

ｂ、・・・に対応する表示領域（画面パターン）を示し
ている。また、第１０図には更に各画面パターンにおけ
る画面上でのスキャン順序と、アドレスタイムチャート
を示している。各スキャン順序は、第２図で説明したＣ
ＩＦまたはＱＣＩＦのスキャン順序の一部を除いたもの
になっている。アドレスａ、ｂ、・・・のうち、例えば
■、■はそれぞれＣＩＦ、ＱＣＩＦに対するアドレスで
あり、これらはいずれも１対１の通信のときに用いられ
る。

第９図は符号化制御回路１１７の具体例を示すブロック
図である。符号化制御回路１１７の主要な機能は、第１
図の有効／無効判定回路１０７に対して判定の閾値を与
えたり、量子化多地点間接続時に合成画面上で有効でな
い部分について強制的に無効の判定を行わせることと、
第１図の量子化回路１０６での量子化ステップサイズを
制御することである。前者のうちの特に強制的に無効と
判定させる機能については、比較回路３１により第１図
の端子１１８から符号化制御回路１１７に供給される入
力アドレスと、長地点間切替回路１１６よりの表示領域
アドレスとを比較し、（１）入力アドレス≦表示領域アドレスが成立している
時は「有効」という判定信号、（２）入力アドレス〉表
示領域アドレスが成立している時は「無効」という判定
信号をそれぞれ有効／無効判定回路１０７に出力する。

第１０図からも分かるように、左半面、右半面、中央・
・・の領域に選択的に表示するためのアドレスｃ、ｄ、
ｅ、・・・では、アドレスタイムチャート上で人力アド
レスとして表示されない領域のアドレスに対応するタイ
ミングではアドレスＯが出力される。従って、このよう
な領域では（２）の入力アドレス〉表示領域アドレスが
成立しており、無効という判定信号か出力される。

次に、符号化制御回路１１７の後者の機能である量子化
ステップサイズ制御のための量子化テーブル決定部につ
いて説明する。量子化テーブル決定部には、長地点間切
替回路１１６に入力されるのと同じ画面パターン番号お
よび第１図のバッファ１１４よりのバッファ量のデータ
が入力される。量子化テーブル決定部には、第９図に示
すようにパターン番号デコーダ３２と切替回路３３およ
び入力されたバ・ソファ量データを量子化テーブル番号
に変換する複数個の変換ＲＯＭ　３４　ａ　〜３４　ｍ
が設けられ、デコーダ３２のデコード結果によって変換
ＲＯＭ　３４　ａ〜３４ｍが切替回路３３で選択される
。バッファ量とステップサイズの関係は画像データに対
する実効伝送レートが同じであれば同じなので、変換Ｒ
ＯＭ　３４　ａ　〜３４　ｍの数ｍは、ｎ通り用意する
必要はない。例えば、第１０図のアドレスｃ、ｄ、ｅは
全て同一の変換ＲＯＭで対応できる。バッファ量データ
ー量子化テーブル番号の変換の関係として、画面サイズ
が小さくなる程、より小さいバッファ量に対しても大き
なステップサイズを出力するようにするのが一般的であ
る。

第１図の有効／無効判定回路１０７では、前述した発生
情報量の推定に基づいて自分自身で判定した有効／無効
判定結果と、符号化制御回路１１７より送られてきた判
定結果の論理和をとり、それを多重化回路１１３に新た
な有効／無効判定結果として送出する。すなわち、有効
／無効判定回路１０７は自分自身では有効と判定したブ
ロックでも、符号化制御回路１１７て無効と判定された
ブロックは無効ブロックという判定結果を出力する。

伝送路符号化回路１１５はバッファ１１５とは別に独自
のバッファを持ち、バッファ１］５からのデータを伝送
路符号化して伝送路に出力する。この際、伝送路符号化
回路１１５はスタッフィングを行う。すなわち、伝送路
符号化回路１１５ては長地点間切替回路１１６から入力
されるパターン番号より、合成画面における、当該端末
から出力される画像の有効画面サイズの比率ｋを算出し
、その比率ｋに応じてバッファ１１５からのデータにス
タッフビットを随時挿入していく。例えば第１０図の■
の画面パタンの場合、合成画面の画面全体のサイズ：有
効画面サイズ−２：１、つまりに−１／２である。この
ような場合、バッファ１１５からのデータ１に対しスタ
ッフビット１の割合でスタッフビットを挿入して、スタ
ッフビットの比率か１／２となるようにスタッフィング
を行うことになる。スタッフィングの単位は標準方式の
場合、第５図に示したように５１２ビツトの整数倍であ
るが、その倍数は比較的小さい値に選んだ方が安定に動
作するものと思われる。

第１１図は本発明に係る動画像符号化装置の他の実施例
を示すブロック図である。先の実施例では画面の有効と
判定した部分のみを符号化し、残りの無効部分にはスタ
ッフビットを挿入する操作を行ったが、本実施例はスタ
ッフビットを挿入する代わりに画面の残りの部分の動画
像信号を残ったビットレート内に納まるように符号化制
御を行って伝送する。先の実施例との構成上の違いは、
入力動画像信号を複数の領域、例えば有効領域１と無効
領域２の２つの領域に分けて各領域１，２とも符号化し
て伝送することを基本とし、その際の符号化制御を領域
毎に独立して行う点である。このために符号化制御をバ
ッファ量ではなく、領域１，２毎に設けたビット数カウ
ンタ１２１，１２２のカウント数により行う。ビット数
カウンタ１２１，１２２は端子１１８への入力アドレス
と、多重化回路１１３から出力される多重化データの両
方が入力され、各々の領域１．２の入力アドレスが与え
られている時にのみ多重化データのビット数だけカウン
トアツプを行い、回線の伝送レートＸ有効領域の画面比率回線の伝送レー
トＸ無効領域の画面比率のレートでカウントダウンする
ことにより、各々の領域１，２のバッファ量をシミュレ
ートする。

ビット数カウンタ１２１，１２２の出力は、符号化制御
回路１１７に入力される。符号化制御回路１１７は例え
ば第１２図（ａ）に示す人力動画像に対して、同図（ｂ
）に示すように等面積に領域分割した各領域１，２の多
重化データを各々３２　ｋｂｐｓのレートに制御するこ
とかできる。

また、ビット数カウンタを増設することによって、第１
２図（ｅ）に示すように入力動画像を１．２．３の３つ
の領域、あるいさらに多数の領域に分割し、それぞれの
領域毎に伝送レートを制御することも可能である。なお
、本実施例の場合も先の実施例の場合と同様に、領域の
境界を越えて動き補償等を行わないようにすることはい
うまでもない。

この実施例によると、符号化制御に遅延か生じて発生情
報量の変動が大きくなる可能性はあるが、各端末の動画
像符号化装置から全画面の情報か伝送されるため、受信
側よりのリクエストにより表示モードとして切替モード
と合成モードとを任意に選択できるという利点がある。

第１１図の実施例を拡張し、第１３図に示すように奇数
符号化フレームと偶数符号化フレームによってそれぞれ
有効領域および無効領域を切替えることも可能である。

すなわち、奇数符号化フレーム（第１、第３、・・・符
号化フレーム）と偶数符号化フレーム（第２、第４、・
・・符号化フレーム）で各々ビット数カウンタを用意す
ることにより、別々の符号化制御を行う。このようにす
ると、合成モード時には同一地点の端末よりの奇数フレ
ームと偶数フレームとを合成して全表示を行う（これは
先の切替モードに対応する）か、多地点の端末からの奇
数フレームのみ（または偶数フレームのみ）を合成して
合成モード（これは先の合成フレームと対応する）とす
るかの選択などを適宜行うことができる。

次に、本発明に係る多他点間接続装置の実施例を説明す
る。

第１４図は本発明に係る多他点間接続装置の一実施例を
示すブロック図である。Ｎ個の端末（動画像符号化／復
号化装置）Ａ−Ｎからの入力は、それぞれ入力処理回路
４１Ａ〜４１Ｎによりビデオマルチプレックスレベルの
画像信号（１，）と音声信号（Ｓ、）とに分離され、合
成回路４２に入力される。合成回路４２は入力処理回路
４１Ａ〜４１Ｎへの各出力に対し、他の端末からの画像
および音声信号を合成して出力処理回路４３Ａ〜４３Ｎ
へ出力する。すなわち、例えば端末Ａへの出力に対して
は端末Ｂ〜Ｎからの画像合成およびＢ−Ｎの音声加算を
行い、それらを出力処理回路４３Ｂ〜４３Ｎへ出力する
。出力処理回路４３Ａ〜４３Ｎは、それぞれ個別に入力
された画像信号および音声信号をまとめて、端末Ａ−Ｎ
に至る回線へ出力する。

第１５図は第１４図における入力処理回路４１Ａ〜４１
Ｎの一つ（記号４１で示す）の構成を示すブロック図で
ある。入力信号はまず伝送路復号化回路５１において伝
送路復号化され、画像信号と音声信号に分離される。音
声信号は音声信号復号化回路５６でアナログまたはＰＣ
Ｍレベルの音声信号に復号され、第１４図の合成回路４
２へ送られる。画像信号はバッファ５２に蓄えられ、Ｐ
ＳＣ（ピクチャースタートコード）検出回路５３でＰＳ
Ｃが検出され、１フレーム単位で処理が行われる。ＴＲ
（テンポラル・リファレンス）検出回路５４ではＴＲの
検出が行われ、駒落しの有無が判定される。ＴＲ検出回
路５４を経たデータはＧＯＢデータ抽出回路５５に入力
される。ＧＯＢ抽出回路５５はデータよりピクチャーヘ
ッダ部分を取り除き、ＧＯＢデータをＧＯＢ毎に分離し
て第１４図の合成回路４２へ供給する。

各入力処理回路４１Ａ〜４１ＮはＴＲ検出回路５４でＴ
Ｒを監視して、各入力が入力ビデオ信号レベルで同時点
になるのをバッファ５２で待ち、その時点から以後の処
理を一斉に開始する。

但し、このようにすると考え方が複雑になるので、各送
信側の動画像符号化装置は決められたフレームレートに
対して駒落しは行わないという約束のもとに動作すると
してもよい。この場合は各入力よりＰＳＣを検出するだ
けでよく、ＴＲ検出回路５４は不要となる。この方法を
用いる場合、送信側の符号化制御の性能によってはどう
しても駒落しをしなければいけなくなる場合もあり得る
。このような場合、ヘッダのみでデータを含まない情報
を１フレーム分伝送して、形式的に駒落しをしていない
ようにすればよい。標準動画像符号化方式の場合の例で
いうと、この１フレーム分の最小ビット数は３４４ビツ
トである。第１９図に標準符号化方式のシンタックスダ
イヤグラムを示す。ヘッダのみの情報で最小ビット数の
ものはＰＳＣ−ＴＲ−ＰＴＹＰＥ−ＰＥ　ｌ−１２Ｘ　
（ＧＢＳＣ−ＧＮ−ＧＱＵＡＮＴ−ＧＥ　Ｉ）というパ
ターンである。

第１６図は第１４図における合成回路４２の−構成例を
示すブロック図である。合成回路４２は端末Ａ−Ｎに対
応して設けられたＮ個のブロック（破線で示す）からな
り、各ブロックには画像信号（１，）として対応する端
末以外の端末からの画像信号がＧＯＢ毎のデータとして
入力される。ＧＯＢ番号付は替え回路６１は入力のＧＯ
Ｂヘッダ内のＧＯＢ番号（第１９図のＧＮ）を検出し、
これを出力フォーマットにおけるＧＯＢ番号と置き換え
る。伝送順序入れ替え回路６２ではこれら並列に入力さ
れたＧＯＢデータを、要らないＧＯＢデータを捨て、必
要なものだけ出力順にシリアルに並べ替える。

ピクチャーヘッダ挿入回路６３は出力フォーマットに合
ったピクチャーヘッダを作成し、適正な位置に挿入した
後、出力処理回路４３Ａ〜４３Ｎへ出力する。

一方、音声信号（Ｓ、）は各ブロックにおいて（Ｎ−１
）入力の加算回路６４により、対応する端末以外の端末
からの音声信号が全て加算された後、第１４図の出力処
理回路４３Ａ〜４３Ｎへ出力される。

以上の動作を分かり易くするため、上述した要地点間接
続装置の各動作ステージにおけるデータのフォーマット
の例を示したが１８図である。これはＮ−１−２の場合
の例である。第１８図において（ａ）は第１５図の伝送
路復号化回路５１の出力、（ｂ）は第１５図のＧＯＢ抽
出回路５５の出力、（ｃ）は第１６図の伝送順序入れ替
え回路６２の出力、（ｄ）は第１６図のピクチャーヘッ
ダ挿入回路６３の出力におけるデータフォーマットをそ
れぞれ示す。ここで示したＡｌ、・・・８１２等は、各
々端末Ａよりのデータの第１ＧＯＢのＧＯＢデータ（ヘ
ッダを含む）。

・・・、端末Ｂよりのデータの第１２ＧＯＢのＧＯＢデ
ータ等である。上に示した数字はヘッダ内のＧＯＢ番号
であり、伝送順序入れ替え回路６２でＧＯＢ番号が付は
替えられ、転送順にシリアルに並べられている。

第１７図は第１４図における出力処理回路４３Ａ〜４３
Ｎの一つ（４３で示す）の−構成例を示すブロック図で
ある。画像信号（■、）はバッファ７１を介して伝送路
符号化回路７２に入力される。一方、第１６図の加算回
路６４で加算された音声信号（Ｓ、）は再び音声符号化
回路７３で符号化される。伝送路符号化回路７２では画
像信号入力と音声符号化回路７３がらの音声符号化信号
とが多重化され、伝送路符号化されて回線に出力される
。バッファ７２は、各端末の動画像符号化装置からの信
号をビデオマルチプレックスレベルで多重化したことに
より生じる情報量の変動を吸収するために挿入されてい
る。

以上の実施例では多重化はＧＯＢ単位の処理で行うため
装置の規模は小さくて済むが、多重化数Ｎ−１の種類と
しては、ＣＩＦ（Ｙ信号：３５２Ｘ２８８、Ｃ信号：　
１７６Ｘ１４４）の場合で２．３，４，６，１２、Ｑｃ
ＩＦの場合で３と限られた数になる。

次に、第２０図により本発明に係る要地点間接続装置の
他の実施例を説明する。この実施例においては、端末Ａ
−Ｎからの各画像信号は伝送路復号化回路８１およびバ
ッファ８２を介してビデオマルチプレックスデコーダ８
３に入力され、ビデオマルチプレックスレベルで完全に
復号化された後、合成回路８５によりマクロブロックレ
ベルでの画像合成が行われる。一方、各端末Ａ−Ｎから
の音声信号は伝送路復号化回路８１により分離され、音
声信号復号化回路８４を介して合成回路８５に入力され
る。

合成回路８５から出力される画像信号（工、）は再びビ
デオマルチプレックスレベル８６によりビデオマルチプ
レックスレベルで符号化された後、バッファ８７を介し
て伝送路符号化回路８８に入力される。一方、合成回路
８５から出力される音声信号（Ｓ、）は再び音声符号化
回路８９で符号化される。伝送路符号化回路８８では画
像信号と音声符号化回路８９からの音声符号化信号とが
多重化され、伝送路符号化されて回線へ出力される。合
成回路８５はビデオマルチプレックスデコーダ８３およ
び音声信号復号化回路８４の各出力に対し、他の端末か
らの音声および画像信号を合成する。すなわち、例えば
端末Ａへの出力に対しては端末Ｂ−Ｎからの画像合成お
よびＢ−Ｎの音声加算を行う。

第２１図は第２０図における合成回路８５の−構成例を
示すブロック図である。端末Ａ−Ｎからの画像信号につ
いてビデオマルチプレックスレベルで復号されたデータ
は、それぞれＧＯＢ番号分離回路９１でＧＯＢ番号が、
ＭＢ番号分離回路でＭＢ　（マクロブロック）号が分離
される。これらは各伝送順序入れ替え回路９４の前にあ
るアドレス変換回路９３へのアドレス入力となる。アド
レス変換回路９３は例えばＲＯＭにより構成され、アド
レス入力として与えられる入力ＧＯＢ番号およびＭ　Ｂ
番号を合成画面におけるＧＯＢ番号およびＭＢ番号に変
換する。その他の回路の動作は先の実施例と同様である
。

この実施例によれば、合成画面上の境界はＧＯＨにまた
かっても構わないため、分割の種類は任意に許容される
利点がある。この実施例の場合、送信側の符号化データ
に対して、要地点間接続装置の出力における符号化デー
タの方が変化してしまう可能性を与える点が一点だけあ
る。それは各マクロブロックアドレスがＧＯＨ内で相対
アドレスになっている点てあり、マクロブロック精度で
の画像合成を行うことによって直前の有効マクロプロ・
ツク位置が変わるため、相対アドレスが変化するわけで
ある。しかし、これについては標準符号化方式の相対マ
クロブロックアドレスに割当てられる可変長符号語は、
相対マクロブロックアドレスが大きいほど長い符号語が
割当てられるようになっているため、合成を行うことに
よって符号長が短くなることはあっても長くなることは
ないことがわかる。従って、これには要地点間接続装置
側で減少したビット数に応じたビットスタッフィングを
行うことで対処することができる。

なお、本発明により多地点間動画像通システムを実現す
る場合、各端末（動画像符号化／復号化装置）との各地
点間接続装置とがそれぞれ希望する表示モードと画面の
表示領域および合成時の配置等の要求信号を出し合うこ
とが必要になる可能性がある。これらの要求信号は、画
像信号とは独立した信号チャネル（例えばＣＣＩＴＴ勧
告Ｈ，２２１のＢＡＳの符号語を割当てる等）により、
任意に伝送することが可能である。

［発明の効果コ以上説明したように、本発明によれば動画像標準符号化
方式を用いた多地点間動画像伝送を行う際、 ■符号化回路に入力される画像サイズを変更しないで済
み、 ■要地点間接続装置から各端末に伝送されるデータの平
均ビットレートが端末より伝送路に送出される信号の伝
送レートに一致することにより端末の符号化性能を最大
限に引き出すことができ、 ■要地点間接続装置では合成画面出力時に復号化・再符
号化の処理が不要となることにより、回路規模が縮小さ
れるとともに、画質劣化も少なくなる、という効果を有する。

【図面の簡単な説明】

第１図は本発明に係る動画像符号化装置の一実施例を示
すブロック図、第２図および第３図はＰ　Ｘ　６４　ｋ
ｂｐｓ動画像標準符号化方式におけるデータの階層構成
を説明するための図、第４図は同符号化方式によるコー
デック全体のブロック図、第５図は同符号化方式におけ
るスタッフィング法を説明するための図、第６図は本発
明における入出力の表示画面およびデータの関係を示す
図、第７図は本発明を適用しない場合の問題点を説明す
るための図、第８図は第１図における要地点間切替回路
の一構成例を示す図、第９°図は第１図における符号化
制御回路の一構成例を示す図、第１０図は表示画面のパ
ターンとそのアドレスおよびスキャン順序の一例を示す
図、第１１図は本発明に係る動画像符号化装置の他の実
施例を示すブロック図、第１２図は第１１図の実施例に
おける符号化制御の一例を説明するための図、第１３図
は第１図の実施例における符号化制御の他の一例を説明
するための図、第１４図は本発明に係る各地点間接続装
置の一実施例を示すブロック図、第１５図は第１４図に
おける入力処理回路の一構成例を示すブロック図、第１
６図は第１４図における合成回路の一構成例を示すブロ
ック図、第１７図は第１４図における出力処理回路の一
構成例を示すブロック図、第１８図は本発明に係る各地
点間接続装置の各動作ステージにおけるデータの構成を
説明するための図、第１９図は標準動画像符号化方式の
シンタックスダイヤグラムを示す図、第２０図は本発明
に係る各地点間接続装置の別の実施例を示すブロック図
、第２１図は第２０図における合成回路の一構成例を示
すブロック図、第２２図は多地点間動画像伝送システム
の概要を説明するための図、第２３図は同システムにお
ける切替モードおよび合成モードでの表示画面の例を示
す図である。１０１・・・入力端子、１０２・・・引算回路、１０３
−９．フレーム内／間判定回路、１０５・・・ＤＣＴ回
路、１０６・・・量子化回路、１０７・・・逆量子化回
路、１０８・・・逆ＤＣＴ回路、１１０・・・動き補償
可変遅延フレームメモリ、１１１・・・ル−プフィルタ
、１１３・・・多重化回路、１１４・・・バッファ、１
１５・・・伝送路符号化回路、１１６・・・要地点間切
替回路、１１７・・・符号化制御回路、１２１．１２２
・・・ビット数カウンタ。

Claims

【特許請求の範囲】

（１）複数の地点に設置された端末間で動画像を伝送す
る多地点間動画像伝送システムにおける動画像符号化装
置において、入力された動画像信号を符号化する符号化手段と、前記符号化手段からの符号化出力の発生情報量を前記動
画像信号の１フレームを分割したブロック毎に推定し、
発生情報量が所定の閾値以上のブロックを有効ブロック
、発生情報量が閾値に満たないブロックを無効ブロック
としてそれぞれ判定する判定手段と、前記判定手段に対して前記動画像信号のフレームの任意
の一部を強制的に無効ブロックとして判定させる手段と
、前記符号化手段からの符号化出力のうち、前記判定手段
により有効ブロックと判定されたブロックの符号化出力
のみを伝送する手段とを具備することを特徴とする動画像符号化装置。
（２）複数の地点に設置された端末間で動画像を伝送す
る多地点間動画像伝送システムにおける動画像符号化装
置において、入力された動画像信号を符号化する符号化手段と、前記符号化手段からの符号化出力の発生情報量を前記動
画像信号の１フレームを分割したブロック毎に推定し、
発生情報量が所定の閾値以上のブロックを有効ブロック
、発生情報量が閾値に満たないブロックを無効ブロック
としてそれぞれ判定する判定手段と、前記判定手段に対して前記動画像信号のフレームの任意
の一部を強制的に無効ブロックとして判定させる手段と
、前記符号化手段からの符号化出力のうち、前記判定手段
により有効ブロックと判定されたブロックの符号化出力
のみを相手端末での合成画面出力時の自端末の画面サイ
ズ比率に応じて設定された設定伝送レートで所定の伝送
レートの伝送路へ送出する手段と、前記伝送路に送出される信号に、前記設定伝送レートと
前記伝送路の伝送レートとの差を補償するスタッフ情報
を挿入する手段とを具備することを特徴とする動画像符号化装置。
（３）複数の地点に設置された端末間で動画像を伝送す
る要地点間動画像伝送システムにおける動画像符号化装
置において、入力された動画像信号を符号化する符号化手段と、前記符号化手段からの符号化出力の発生情報量を前記動
画像信号の１フレームを分割したブロック毎に推定し、
発生情報量が所定の閾値以上のブロックを有効ブロック
、発生情報量が閾値に満たないブロックを無効ブロック
としてそれぞれ判定する判定手段と、前記判定手段に対して前記動画像信号のフレームの任意
の一部を強制的に無効ブロックとして判定させる手段と
、前記符号化手段からの符号化出力のうち、相手端末での
合成画面出力時に表示されるブロックと合成画面出力時
には表示されないブロックとをそれぞれの画面サイズ比
率に応じて設定された設定伝送レートで所定の伝送レー
トの伝送路へ送出する手段とを具備することを特徴とする動画像符号化装置。
（４）前記判定手段により有効ブロックと判定されたブ
ロックのみを参照して動き補償を行う手段を更に具備す
ることを特徴とする請求項１、２または３記載の動画像
符号化装置。
（５）駒落としを行う場合にヘッダのみよりなる空のフ
レーム情報を伝送する手段を更に備えたことを特徴とす
る請求項１、２、３または４記載の動画像符号化装置。
（６）複数の地点に設置された端末内の請求項１〜５の
いずれかに記載の動画像符号化装置からの符号化出力の
うち、有効ブロックを含む部分のみを合成して１フレー
ム分の動画像を作成する手段を具備することを特徴とす
る多地点間接続装置。