JP3028828B2 - 多地点間動画像伝送システムにおける動画像符号化装置及び多地点間接続装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、テレビ会議やテレビ電話等において複数の
端末間で動画像を伝送する多地点間動画像動画像伝送シ
ステムと、各端末に設置される動画像符号化装置および
各端末を相互接続するための多地点間接続装置に関す
る。

（従来の技術） テレビ会議やテレビ電話のような動画像の伝送を伴う
通信において、３地点以上の多地点間で同時に通信を行
う方法について種々の提案がなされている。第22図はこ
のような多地点間動画像伝送システムの概念図であり、
スター形網の中央部分に交換機能を持つ多地点間接続装
置が設置される。多地点間接続装置は各端末（動画像符
号化／復号化装置）Ａ〜Ｎに対して、第23図（ａ）に示
すように他の端末からの画像を切替えて送出する（切替
モード）、同図（ｂ）に示すように他の複数の端末から
の画像を合成して送出する（合成モード）、などの動作
を行う。第23図は端末Ｂでの表示画面の例である。

第23図（ｂ）のような合成モードの動作を伝送路の使
用回線容量を増加しないで行おうとする場合、多地点間
接続装置内で一度画像データを復号し、PCMレベルでの
画像合成を行った後、再び符号化して送出する方法が考
えられる。しかし、この方法では多地点間接続装置の回
路規模が大きくなる。また、端末側の符号化制御と多地
点間接続装置側の符号化制御が独立に行われることにな
って端末の性能が十分に反映されず、新たな画質劣化を
招いてしまう。

これに対し、例えば特願平１−94786号公報に記載さ
れた多地点動画像伝送システムでは、多地点接続状況に
応じて各端末の伝送速度、解像度（画像数）などを変
え、多地点間接続装置において各端末からの画像データ
を符号化されたままの形で合成した後、各端末に伝送す
るようにしている。各端末では他の端末からの画像を縮
小して合成し一つの画面として表示する。この方式によ
れば、画像が合成されるべき端末の数が増えると個々の
伝送速度が低下するため、伝送路の回線容量を増やす必
要がない。また、画像合成を符号化データのままで行う
ことにより、画像劣化の問題が解決される。

しかしながら、この公知例は現在検討されているＰ×
64kbps動画像標準符号化方式（CCITT勧告H.261参照）
に、そのまま適用することはできない。この動画像標準
符号化方式では、入力動画像のフレームを所定サイズの
ブロックに分割した後、各ブロックについて符号化時の
発生情報量を推定し、発生情報量の多いブロック（発生
情報量が閾値以上のブロック）を有効ブロックとして、
その有効ブロックの符号化出力のみを伝送し、発生情報
量の少ないブロック（発生情報量が閾値に満たないブロ
ック）は無効ブロックと見なして符号化出力を伝送しな
い。この方式では、入力画面の大きさは標準勧告により
予め決められているため、符号化以前に画面の大きさを
変更することは1/2画面モード（QCII）を除いては許さ
れていない。

（発明が解決しようとする課題） 上述したように、多地点接続状況に応じて各端末の伝
送速度や解像度を変え、多地点間接続装置で各端末から
の画像データを符号化されたままの形で合成して各端末
に伝送することにより合成画面を得る従来の技術では、
入力動画像をブロック化し、発生情報量の多い有効ブロ
ックのみの符号化出力を伝送する方式に適用することが
難しいという問題があった。

本発明の目的は、入力動画像のうち符号化出力の発生
情報量の多い有効ブロックのみを伝送する動画像標準符
号化方式において、多地点間接続時にも多地点間接続装
置から各端末に伝送されるデータの平均ビットレート
が、端末より伝送路に送出される信号の伝送レートに一
致するようにして、端末の符号化性能をそのまま引き出
すことができる多地点間動画像伝送システムにおける動
画像符号化装置と、複数地点に設置された端末の動画像
符号化装置からの画像データを合成して合成画面を得る
ための多地点間接続装置を提供することにある。

［発明の構成］ （課題を解決するための手段） 本発明に係る動画像符号化装置は、入力の動画像信号
を符号化する符号化手段からの発生情報量から同画像信
号の有効ブロックおよび無効ブロックを判定する判定手
段に対して、合成画面出力時に必要となる動画像信号の
フレームの任意の一部を強制的に無効ブロックとして判
定させる手段を設け、符号化手段からの符号化出力のう
ち、この判定手段により有効ブロックと判定されたブロ
ックの符号化出力のみを伝送することを基本的な特徴と
する。

また、本発明の動画像符号化装置では、有効ブロック
と判定されたブロックの符号化出力を伝送する際、相手
端末での合成画面出力時の自端末の画面サイズ比率に応
じて設定された設定伝送レートで所定の伝送レートの伝
送路へ送出し、かつ伝送路に送出される信号に、設定伝
送レートと伝送路の伝送レートとの差を補償するスタッ
フ情報を挿入する。

本発明に係る他の動画像符号化装置では、符号化手段
からの符号化出力を伝送路に送出する際、相手端末での
合成画面出力時に必要な有効ブロックと判定されたブロ
ックのみでなく、相手端末での合成画面出力時には不要
となるブロックもそれぞれの画面サイズ比率に応じて設
定された設定伝送レートで所定の伝送レートの伝送路へ
送出する。

さらに、本発明の動画像符号化装置は動き補償を行う
場合、有効ブロックと判定されたブロックのみを参照す
る。

一方、本発明に係る多地点間接続装置では、複数の地
点に設置された本発明による動画像符号化装置からの符
号化出力を合成して１フルーム分の動画像を作成する手
段を有する。

（作用） 本発明において、符号化出力の発生情報量による有効
／無効ブロックの判定に際して、入力の動画像信号のフ
レームの任意の一部を強制的に無効ブロックと判定させ
ることができるため、入力画面のサイズを変更せずに画
面内の有効な画面サイズを設定することができる。

相手端末で合成画面を出力する時にも縮小率を大きく
変える必要がない。

また、有効ブロックの符号化出力を相手端末での合成
画面出力時の自端末の画面サイズ比率に応じて設定され
た設定伝送レートで伝送路へ送出するとともに、伝送路
に送出される信号にスタッフ情報を挿入するか、相手端
末での合成画面出力時に表示されるブロックと合成画面
出力時には表示されないブロックとをそれぞれの画面サ
イズ比率に応じて設定された設定伝送レートで伝送路へ
送出することにより、設定伝送レートと伝送路の伝送レ
ートとの差を補償する。

これらにより前述した動画像標準符号化方式によって
多地点間動画像伝送を行う場合でも、多地点間接続装置
から各端末に伝送されるデータの平均ビットレートが、
端末より伝送路に送出される信号の伝送レートに一致す
るため、端末の符号化性能がそのまま引き出される。

さらに、多地点間接続装置では各端末からの画像デー
タの合成時に、例えば有効ブロックの符号化出力をその
まま合成すればよく、画像データを一旦復号化しPCMレ
ベルで合成してから再符号化するという処理が不要とな
る。従って、多地点間接続装置の負担が減り、回路規模
が縮小されると共に、復号化・再符号化による画質劣化
が避けられる。

（実施例） 以下、本発明の実施例について図面を参照して説明す
る。なお、本実施例では符号化方式として前述したＰ×
64kbps動画像標準符号化方式（CCITT勧告H.261）を例に
とり説明する。

第１図は本発明に係る動画像符号化装置の一実施例を
示すブロック図である。この動画像符号化装置を説明す
る前に、まずに上記の標準符号化方式におけるデータの
構成を第２図および第３図により説明する。標準符号化
方式では第２図に示すように、１フレーム（352×288）
が12個のGOB（Group of Block）により構成されるCIF
（Common Image Format）または３個のGOBにより構成さ
れるQCIF（Quater Common Image Format）よりなり、1G
OBが33MB（マクロブロック）よりなり、さらに1MBが６
ブロックよりなる階層構成となっている。これに応じて
データ自体も、第３図に示すようなヘッダとデータの組
合せよりなる階層構成でできている。第３図中の記号の
意味は次の通りである。

PSC:Picture Start Code TR:Temporal Reference PTYPE:画像伝送モードフラグ PEI:予備情報フラグ PSPARE:予備情報 GBSC:GOB Start Code GN:Groupe No. QUANT:Quantization Table No. GEI:予備情報フラグ GSPAER:予備情報 MTYPE:予測タイプ MVD:Motion Vector（differential） CBP:Coded Block Pattern TCOEFF:Tranceformed Cofficient EOB:End of Block 第４図に標準符号化方式によるコーデック（符号化／
復号化装置）全体のブロック図を示す。標準化方式では
ソークコーダ11内で入力信号（動画像信号）と予測信号
との差をとり、その誤差を有効／無効判定回路で評価し
て誤差が小さいブロックについては無効と判定する。ソ
ースコーダ11の後段のビデオマルチプレックスコーダ12
では、有効ブロックはアドレスを付けて伝送し、無効ブ
ロックについては伝送しないという方式をとっている。
この制御は符号化制御回路13によってなされる。

本発明はこのように入力動画像信号をブロックに分割
し、有効／無効判定をして無効ブロックは送らず有効ブ
ロックのみ符号化して伝送する方式に適用される。ビデ
オマルチプレックスコーダ12からの信号はバッファ（送
信バッファ）14および伝送路符号化回路15を経て伝送路
に送出される。受信側の復号化装置では、伝送路からの
信号を伝送路復号化回路16で復号した後、バッファ（受
信バッファ）17、ビデオマルチプレクサ18およびソース
デコーダ19を介して元の動画像信号を取出す。

次に、第１図に示した動画像符号化装置の一実施例を
説明する。この第１図で示された範囲は、第４図のソー
スコーダ11、ビデオマルチプレックスコーダ12、符号化
制御回路13およびバッファ14の部分に相当する。この第
１図の装置は、通常は従来の標準化符号化方式の動画像
符号化装置と全く同様に動作する。

第１図において、端子101には入力データとしてディ
ジタル化された動画像信号が入力される。この動画像信
号は引算回路102および動き補償可変遅延フレームメモ
リ110に送られ、フレームメモリ110で動き補償フレーム
間予測信号が作成される。この予測信号はループフィル
タ111を通って引算回路102に送られ、引算回路102で入
力動画像信号との差がとられる。フレーム間／内判定回
路103は、引算回路102から出力される差信号の信号電力
と入力端子100への入力動画像信号の信号電力を比較し
て、フレーム間予測にすべきかフレーム内に予測すべき
かの判定を行う。スイッチ104はフレーム間／内判定回
路103の判定結果を受けて、フレーム間予測信号である
引算回路102の出力信号と、フレーム内予測信号である
入力データの動画像信号との選択を行う。

スイッチ104により選択された予測信号はDCT回路105
で離散的コサイン変換（DCT）され、DCT係数が求められ
る。このDCT係数のデータは、量子化回路106および有効
／無効判定回路107に送られる。有効／無効判定回路107
はDCT係数データからブロック毎に信号電力を計算する
ことで符号化時の発生情報量を推定して、有効／無効の
判定を行う。すなわち、予測誤差信号電力が所定の閾値
以上であれば有効ブロックと判定し、閾値に満たなけれ
ば無効ブロックと判定する。量子化回路106では各DCT係
数が量子化され、量子化DCT係数データとして量子化テ
ーブル番号および量子化インデックスが出力される。本
実施例では、これらの量子化テーブル番号および量子化
インデックスが符号化出力となる。

一方、量子化回路106で量子化されたDCT係数は、逆量
子化回路107で逆量子化され、さらに逆DCT回路108で逆D
CTがなされた後、っ加算回路109でスイッチ112を介して
入力されるループフィルタ111からの予測信号と加算さ
れることにより、局部復号信号を生成する。この極部復
号信号は動き補償可変遅延フレームメモリ110に蓄えら
れ、次のフレームの符号化時に参照される。

多重化回路113には、フレーム間／内判定回路103から
のフレーム間／内判定信号、量子化回路106からの量子
化テーブル番号および量子化インデックス、有効／無効
判定回路107からの有効／無効判定信号、動き補償可変
遅延フレームメモリ110からの動きベクトル情報および
ループフィルタ111からのループフィルタON/OFF信号が
入力され、これらが予め決められたフォーマットに従っ
て多重化されバッファ114に送られる。

バッファ114は符号化装置の発生情報量を伝送路の伝
送レートに整合させる働きをし、当該端末の動画像符号
化装置からの画像を含めて他の端末で合成画面を表示す
る時（これを合成モード出力時という）は、当該端末の
画像の画面サイズ比率（合成画面における有効画像サイ
ズ／実際の画面サイズ）に応じて設定された伝送レート
（設定伝送レートという）で符号化信号を出力する。バ
ッファ114の出力信号は伝送路符号化回路115により伝送
路符号化、つまり伝送に適した形態の符号化がなされた
後、伝送路に送出される。また、バッファ114はバッフ
ァ量を示す情報を符号化制御回路117に送る。符号化制
御回路117はバッファ量より現在の発生情報量の大小を
推定し、発生情報量が多い場合には、有効／無効判定
回路107における有効／無効判定のための閾値を上げ
る、量子化回路106における量子化ステップサイズを
大きくする、等により発生情報量を減らし、発生情報量
が少ない場合には逆の操作により発生情報量を増やすと
いう制御を行う。

一方、多地点間接続時には多地点間切替回路116およ
び符号化制御回路117の動きにより、合成画面において
有効でない部分については有効／無効判定回路107を強
制的に無効に判定させるように制御する。また、これと
共に符号化制御を行うパラメータである量子化ステップ
サイズとして、バッファ114の設定伝送レートがあたか
も、 実際の伝送レート×合成画面比率（合成画面における
有効画面サイズ／実際の画面サイズ）であると考えた時
と等価な量子化ステップサイズを与えるように符号化制
御回路117で量子化回路106の量子化ステップサイズを制
御することにより、合成された後も情報量が伝送路の伝
送レートの能力を越えないように出力情報量を制限す
る。しかし、この場合でも各端末の出力ビットレートは
伝送路の伝送レートと同じであることが要求されるの
で、伝送路の余った伝送レート分に相当する情報量とし
て、画像データに影響を与えないスタッフ情報（スタッ
フビット）を伝送路符号化回路115で挿入して送出す
る。すなわち、合成モード出力時には合成画面比率に応
じて設定された設定伝送レートと実際の伝送路の伝送レ
ートとの差を補償するようなスタッフ情報を挿入するの
である。先の標準符号化方式では、このようなスタッフ
ビットとして、誤り訂正符号（＝BCH）のフレーミング
内全体が復号側で捨てられてよい情報となれるように規
定されている。この様子を第５図に示す。

第６図を用いて具体的に説明する。今、第６図（ａ）
（ｃ）（ｅ）（ｇ）に示すように通常の１対１の端末A,
B間で動画像を64kbpsのレートで送受していた端末の動
画像符号化装置が３地点間の通信を行うことになり、相
手端末の動画像符号化装置で第６図（ｈ）に示すように
画面を左右に２分割した画像が表示されるような通信を
行うことになった場合を考える。このような場合、本実
施例では画面の半分の面積を占める第６図（ｂ）の左右
の傾斜部分については、符号化回路117からの制御によ
り強制的に有効／無効判定回路107において無効と判定
されるようにする。

また、本実施例では動き補償可変遅延フレームメモリ
110での動き補償時には、無効と判定した斜線部分は画
面外として参照しない。動き補償時に無効と判定した部
分をも参照すると、動き補償可変遅延フレームメモリ11
0と受信側（復号化装置）内でのフレームメモリの内容
が異なってしまい、正しい動き補償がなされなくなる結
果、画質が劣化するからである。

また、符号化制御回路117は伝送レートがあたかも64k
bps/2＝32kbpsであるかのように、量子化回路106に量子
化ステップサイズを与える。その結果、符号化出力のデ
ータ量は平均的に１対１の端末間の通信の場合の1/2に
なるように制御される。そして、伝送レートの残り約32
kbpsについては、第６図（ｄ）に示すようにスタッフビ
ットが挿入される。多地点間接続装置においては、端末
Ａより来た（データ１＋スタッフ１）と端末Ｂより来た
（データ２＋スタッフ２）を受け、第６図（ｆ）に示す
ようにスタッフ１とスタッフ２は無視すると共にデータ
１とデータ２とが１画面を構成するように、データの配
置を再構成して端末Ｃに送出する。他の組合せ、例えば
データ２＋データ３→端末Ａ等についても同様である。
この時、他地点間接続装置から送出される第６図（ｆ）
に示す（データ１＋データ２）の伝送レートの平均は64
kbpsとなるので、簡単なバッファリング処理で伝送路の
伝送レートへの整合をとることができる。

端末側では一般に合成画面で表示される画像以外の領
域は無効とするため、動き補償においてもこの無効領域
が参照されることはなく、データはこの領域で閉じてい
るので、多地点間接続装置でのデータの分析・再配置は
ビデオマルチプレックスレベルでの動作のみで済む。

なお、第６図の例では合成画面で表示される領域は原
画像の画面の左右を切り落とした真中の部分としたが、
右半分（または左半分）として境界がGOB内をまたがら
ないようにすれば、多地点間接続装置でのビデオマルチ
プレックスレベルの分析・再合成は、さらにその中でも
GOBレベルまでの分析・再合成のみですみ、一層処理は
簡単となる。

本発明によらずに以上のようなことを行おうとする
と、前述のように多地点間接続装置内で一度画像の復号
を行ってPCMレベルでの画像合成を行った後、再度画像
の符号化を行って送出する必要がある。これを行わない
とすると、次のような問題が生じる。

全画面が動き補償で参照されるため、ビデオマルチプ
レックスレベルでのデータの切り分けができなくなる。

画面の一部のみに情報が集中していても、１フレーム
内でつじつまが合っていれば送信側では問題がないた
め、多地点間接続装置側の出力では情報がどんどん溜ま
っていってしまうことが起こり得る。第７図はその一例
を示す図であり、（ａ）に示すGOBに対して端末（動画
像符号化装置）から（ｂ）に示すデータ列が送出される
時、（ｃ）に示すようにデータが溜まってしまう。この
結果、多地点間接続装置の負担が重くなり、また余計な
画像の符号化・復号化によって画質の劣化を招く。

次に、第１図の多地点間切替回路116および符号化制
御回路117について具体的に説明する。

第８図は多地点間切替回路116の具体例を示すブロッ
ク図である。第８図において、多地点間切替回路116に
は入力信号として合成画面内において表示される第10図
に示すようなｎ個の画面パターン（図では〜のパタ
ーンのみを示しているが、その他に上半面、下半面など
の種々のパターンがある）に対応する画面パターン番号
の情報が入力される。この入力の画面パターン番号は例
えばスイッチやキーボードから入力されるものであって
もよいし、伝送路を通して多地点間接続装置から送られ
てくるものでもよい。後者の他の画面パターン番号は、
第４図のコーデック全体を外部から制御するためのEXTE
RNAL CONTROLという信号に含まれ、具体的には例えば勧
告H.221のBASの一部やAC等を使うなどが考えられる。こ
の入力された画面パターン信号は、パターン番号デコー
ダ21でデコードされる。パターン番号デコーダ21は各画
面パターン番号に対応した出力端子を持ち、入力された
画面パターン番号に対応した出力端子からの出力信号の
みが低レベルとなる。このパターン番号デコーダ21の各
出力端子からの信号が、各パターンに対応するアドレス
を発生させるアドレスカウンタ22a〜22nに出力イネーブ
ル信号OEとして与えられることにより、入力された画面
パターン番号に対応した１つのアドレスカウンタが選択
され、そのアドレスカウンタからのアドレスが表示領域
アドレスとして出力される。この表示領域アドレスは、
第１図の符号化制御回路115に供給される。アドレスカ
ウンタ22a〜22nから出力される各アドレスは入力アドレ
スと同期して動作し、その時間軸上の対応は第10図に示
すようなものである。

第10図においてアドレスa,b,…はアドレスカウンタ22
a,22b,…から出力されるアドレスを示し、，，…は
アドレスa,b,…に対応する表示領域（画面パターン）を
示している。また、第10図には更に各画面パターンにお
ける画面上でのスキャン順序と、アドレスタイムチャー
トを示している。各スキャン順序は、第２図で説明した
CIFまたはQCIFのスキャン順序の一部を除いたものにな
っている。アドレスa,b,…のうち、例えば，はそれ
ぞれCIF,QCIFに対するアドレスであり、これらはいずれ
も１対１の通信のときに用いられる。

第９図は符号化制御回路117の具体例を示すブロック
図である。符号化制御回路117の主要な機能は、第１図
の有効／無効判定回路107に対して判定の閾値を与えた
り、量子化多地点間接続時に合成画面上で有効でない部
分について強制的に無効の判定を行わせることと、第１
図の量子化回路106での量子化ステップサイズを制御す
ることである。前者のうちの特に強制的に無効と判定さ
せる機能については、比較回路31により第１図の端子11
8から符号化制御回路117に供給される入力アドレスと、
多地点間切替回路116よりの表示領域アドレスとを比較
し、 （１）入力アドレス≦表示領域アドレス が成立している時は「有効」という判定信号、 （２）入力アドレス＞表示領域アドレス が成立している時は「無効」という判定信号をそれぞれ
有効／無効判定回路107に出力する。

第10図からも分かるように、左半面、右半面、中央…
の領域に選択的に表示するためのアドレスc,d,e,…で
は、アドレスタイムチャート上で入力アドレスとして表
示されない領域のアドレスに対応するタイミングではア
ドレス０が出力される。従って、このような領域では
（２）の入力アドレス＞表示領域アドレスが成立してお
り、無効という判定信号が出力される。

次に、符号化制御回路117の後者の機能である量子化
ステップサイズ制御のための量子化テーブル決定部につ
いて説明する。量子化テーブル決定部には、多地点間切
替回路116に入力されるのと同じ画面パターン番号およ
び第１図のバッファ114よりのバッファ量のデータが入
力される。量子化テーブル決定部には、第９図に示すよ
うにパターン番号デコーダ32と切替回路33および入力さ
れたバッファ量データを量子化テーブル番号に変換する
複数個の変換ROM34a〜34mが設けられ、デコーダ32のデ
コード結果によって変換ROM34a〜34mが切替回路33で選
択される。バッファ量とステップサイズの関係は画像デ
ータに対する実効伝送レートが同じであれば同じなの
で、変換ROM34a〜34mの数ｍは、ｎ通り用意する必要は
ない。例えば、第10図のアドレスc,d,eは全て同一の変
換ROMで対応できる。バッファ量データ−量子化テーブ
ル番号の変換の関係として、画面サイズが小さくなる
程、より小さいバッファ量に対しても大きなステップサ
イズを出力するようにするのが一般的である。

第１図の有効／無効判定回路107では、前述した発生
情報量の推定に基づいて自分自身で判定した有効／無効
判定結果と、符号化制御回路117より送られてきた判定
結果の論理和をとり、それを多重化回路113に新たな有
効／無効判定結果として送出する。すなわち、有効／無
効判定回路107は自分自身では有効と判定したブロック
でも、符号化制御回路117で無効と判定されたブロック
は無効ブロックという判定結果を出力する。

伝送路符号化回路115はバッファ115とは別に独自のバ
ッファを持ち、バッファ115からのデータを伝送路符号
化して伝送路に出力する。この際、伝送路符号化回路11
5はスタッフィングを行う。すなわち、伝送路符号化回
路115では多地点間切替回路116から入力されるパターン
番号より、合成画面における、当該端末から出力される
画像の有効画面サイズの比率ｋを算出し、その比率ｋに
応じてバッファ115からのデータにスタッフビットを随
時挿入していく。例えば第10図のの画面パターンの場
合、合成画面の画面全体のサイズ：有効画面サイズ＝2:
1、つまりｋ＝1/2である。このような場合、バッファ11
5からのデータ１に対しスタッフビット１の割合でスタ
ッフビットを挿入して、スタッフビットの比率が1/2と
なるようにスタッフィングを行うことになる。スタッフ
ィングの単位は標準方式の場合、第５図に示したように
512ビットの整数倍であるが、その倍数は比較的小さい
値に選んだ方が安定に動作するものと思われる。

第11図は本発明に係る動画像符号化装置の他の実施例
を示すブロック図である。先の実施例では画面の有効と
判定した部分のみを符号化し、残りの無効部分にはスタ
ッフビットを挿入する操作を行ったが、本実施例はスタ
ッフビットを挿入する代わりに画面の残りの部分の動画
像信号を残ったビットレート内に納まるように符号化制
御を行って伝送する。先の実施例との構成上の違いは、
入力動画像信号を複数の領域、例えば有効領域１と無効
領域２の２つの領域に分けて各領域1,2とも符号化して
伝送することを基本とし、その際の符号化制御を領域毎
に独立して行う点である。このために符号化制御をバッ
ファ量ではなく、領域1,2毎に設けたビット数カウンタ1
21,122のカウント数により行う。ビット数カウンタ121,
122は端子118への入力アドレスと、多重化回路113から
出力される多重化データの両方が入力され、各々の領域
1,2の入力アドレスが与えられている時にのみ多重化デ
ータのビット数だけカウントアップを行い、 回線の伝送レート×有効領域の画面比率 回線の伝送レート×無効領域の画面比率 のレートでカウントダウンすることにより、各々の領域
1,2のバッファ量をシミュレートする。

ビット数カウンタ121,122の出力は、符号化制御回路1
17に入力される。符号化制御回路117は例えば第12図
（ａ）に示す入力動画像に対して、同図（ｂ）に示すよ
うに等面積に領域分割した各領域1,2の多重化データを
各々32kbpsのレートに制御することができる。

また、ビット数カウンタを増設することによって、第
12図（ｃ）に示すように入力動画像を1,2,3の３つの領
域、あるいはさらに多数の領域に分割し、それぞれの領
域毎に伝送レートを制御することも可能である。なお、
本実施例の場合も先の実施例の場合と同様に、領域の境
界を越えて動き補償等を行わないようにすることはいう
までもない。

この実施例によると、符号化制御に遅延が生じて発生
情報量の変動が大きくなる可能性はあるが、各端末の動
画像符号化装置から全画面の情報が伝送されるため、受
信側よりのリクエストにより表示モードとして切替モー
ドと合成モードとを任意に選択できるという利点があ
る。

第11図の実施例を拡張し、第13図に示すように奇数符
号化フレームと偶数符号化フレームによってそれぞれ有
効領域および無効領域を切替えることも可能である。す
なわち、奇数符号化フレーム（第１、第３、…符号化フ
レーム）と偶数符号化フレーム（第２、第４、…符号化
フレーム）で各々ビット数カウンタを用意することによ
り、別々の符号化制御を行う。このようにすると、合成
モード時には同一地点の端末よりの奇数フレームと偶数
フレームとを合成して全表示を行う（これは先の切替モ
ードに対応する）か、多地点の端末からの奇数フレーム
のみ（または偶数フレームのみ）を合成して合成モード
（これは先の合成フレームと対応する）とするかの選択
などを適宜行うことができる。

次に、本発明に係る多地点間接続装置の実施例を説明
する。

第14図は本発明に係る多地点間接続装置の一実施例を
示すブロック図である。Ｎ個の端末（動画像符号化／復
号化装置）Ａ〜Ｎからの入力は、それぞれ入力処理回路
41A〜41Nによりビデオマルチプレックスレベルの画像信
号（I.）と音声信号（S.）とに分離され、合成回路42に
入力される。合成回路42は入力処理回路41A〜41Nへの各
出力に対し、他の端末からの画像および音声信号を合成
して出力処理回路43A〜43Nへ出力する。すなわち、例え
ば端末Ａへの出力に対しては端末Ｂ〜Ｎからの画像合成
およびＢ〜Ｎの音声加算を行い、それらを出力処理回路
43B〜43Nへ出力する。出力処理回路43B〜43Nは、それぞ
れ個別に入力された画像信号および音声信号をまとめ
て、端末Ａ〜Ｎに至る回線へ出力する。

第15図は第14図における入力処理回路41A〜41Nの一つ
（記号41で示す）の構成を示すブロック図である。入力
信号はまず伝送路復号化回路51において伝送路復号化さ
れ、画像信号と音声信号に分離される。音声信号は音声
信号復号化回路56でアナログまたはPCMレベルの音声信
号に復号され、第14図の合成回路42へ送られる。画像信
号はバッファ52に蓄えられ、PSC（ピクチャースタート
コード）検出回路53でPSCが検出され、１フレーム単位
で処理が行われる。TR（テンポラル・リファレンス）検
出回路54ではTRの検出が行われ、駒落しの有無が判定さ
れる。TR検出回路54を経たデータはGOBデータ抽出回路5
5に入力される。GOB抽出回路55はデータよりピクチャー
ヘッダ部分を取り除き、GOBデータをGOB毎に分離して第
14図の合成回路42へ供給する。

各入力処理回路41A〜41NはTR検出回路54でTRを監視し
て、各入力が入力ビデオ信号レベルで同時点になるのを
バッファ52で待ち、その時点から以後の処理を一斉に開
始する。

但し、このようにすると考え方が複雑になるので、各
送信側の動画像符号化装置は決められたフレームレート
に対して駒落しは行わないという約束のもとに動作する
としてもよい。この場合は各入力よりPSCを検出するだ
けでよく、TR検出回路54は不要となる。この方法を用い
る場合、送信側の符号化制御の性能によってはどうして
も駒落しをしなければいけなくなる場合もあり得る。こ
のような場合、ヘッダのみでデータを含まない情報を１
フレーム分伝送して、形式的に駒落しをしていないよう
にすればよい。標準動画像符号化方式の場合の例でいう
と、この１フレーム分の最小ビット数は344ビットであ
る。第19図に標準符号化方式のシンタックスダイヤグラ
ムを示す。ヘッダのみの情報で最小ビット数のものはPS
C−TR−PTYPE−PEI−12×（GBSC−GN−GQUANT−GEI）と
いうパターンである。

第16図は第14図における合成回路42の一構成例を示す
ブロック図である。合成回路42は端末Ａ〜Ｎに対応して
設けられたＮ個のブロック（破線で示す）からなり、各
ブロックには画像信号（I.）として対応する端末以外の
端末からの画像信号がGOB毎のデータとして入力され
る。GOB番号付け替え回路61は入力のGOBヘッダ内のGOB
番号（第19図のGN）を検出し、これを出力フォーマット
におけるGOB番号と置き換える。伝送順序入れ替え回路6
2ではこれら並列に入力されたGOBデータを、要らないGO
Bデータを捨て、必要なものだけ出力順にシリアルに並
べ替える。ピクチャーヘッダ挿入回路63は出力フォーマ
ットに合ったピクチャーヘッダを作成し、適正な位置に
挿入した後、出力処理回路43A〜43Nへ出力する。

一方、音声信号（S.）は各ブロックにおいて（Ｎ−
１）入力の加算回路64により、対応する端末以外の端末
からの音声信号が全て加算された後、第14図の出力処理
回路43A〜43Nへ出力される。

以上の動作を分かり易くするため、上述した多地点間
接続装置の各動作ステージにおけるデータのフォーマッ
トの例を示したのが18図である。これはＮ−１＝２の場
合の例である。第18図において（ａ）は第15図の伝送路
復号化回路51の出力、（ｂ）は第15図のGOB抽出回路55
の出力、（ｃ）は第16図の伝送順序入れ替え回路62の出
力、（ｄ）は第16図のピクチャーヘッダ挿入回路63の出
力におけるデータフォーマットをそれぞれ示す。ここで
示したA1,…B12等は、各々端末Ａよりのデータの第1GOB
のGOBデータ（ヘッダを含む），…，端末Ｂよりのデー
タの第12GOBのGOBデータ等である。上に示した数字はヘ
ッダ内のGOB番号であり、伝送順序入れ替え回路62でGOB
番号が付け替えられ、伝送順にシリアルに並べられてい
る。

第17図は第14図における出力処理回路43A〜43Nの一つ
（43で示す）の一構成例を示すブロック図である。画像
信号（I.）はバッファ71を介して伝送路符号化回路72に
入力される。一方、第16図の加算回路64で加算された音
声信号（S.）は再び音声符号化回路73で符号化される。
伝送路符号化回路72では画像信号入力と音声符号化回路
73からの音声符号化信号とが多重化され、伝送路符号化
されて回線に出力される。バッファ72は、各端末の動画
像符号化装置からの信号をビデオマルチプレックスレベ
ルで多重化したことにより生じる情報量の変動を吸収す
るために挿入されている。

以上の実施例では多重化はGOB単位の処理で行うため
装置の規模は小さくて済むが、多重化数Ｎ−１の種類と
しては、CIF（Ｙ信号:352×288、Ｃ信号:176×144）の
場合で2,3,4,6,12、QCIFの場合で３と限られた数にな
る。

次に、第20図により本発明に係る多地点間接続装置の
他の実施例を説明する。この実施例においては、端末Ａ
〜Ｎからの各画像信号は伝送路復号化回路81およびバッ
ファ82を介してビデオマルチプレックスデコーダ83に入
力され、ビデオマルチプレックスレベルで完全に復号化
された後、合成回路85によりマクロブロックレベルでの
画像合成が行われる。一方、各端末Ａ〜Ｎからの音声信
号は伝送路復号化回路81により分離され、音声信号復号
化回路84を介して合成回路85に入力される。

合成回路85から出力される画像信号（I.）は再びビデ
オマルチプレックスコーダ86によりビデオマルチプレッ
クスレベルで符号化された後、バッファ87を介して伝送
路符号化回路88に入力される。一方、合成回路85から出
力される音声信号（S.）は再び音声符号化回路89で符号
化される。伝送路符号化回路88では画像信号と音声符号
化回路89からの音声符号化信号とが多重化され、伝送路
符号化されて回線へ出力される。合成回路85はビデオマ
ルチプレックスデコーダ83および音声信号復号化回路84
の各出力に対し、他の端末からの音声および画像信号を
合成する。すなわち、例えば端末Ａへの出力に対しては
端末Ｂ〜Ｎからの画像合成およびＢ〜Ｎの音声加算を行
う。

第21図は第20図における合成回路85の一構成例を示す
ブロック図である。端末Ａ〜Ｎからの画像信号について
ビデオマルチプレックスレベルで復号されたデータは、
それぞれGOB番号分離回路91でGOB番号が、MB番号分離回
路でMB（マクロブロック）番号が分離される。これらは
各伝送順序入れ替え回路94の前にあるアドレス変換回路
93へのアドレス入力となる。アドレス変換回路93は例え
ばROMにより構成され、アドレス入力として与えられる
入力GOB番号およびMB番号を合成画面におけるGOB番号お
よびMB番号に変換する。その他の回路の動作は先の実施
例と同様である。

この実施例によれば、合成画面上の境界はGOBにまた
がっても構わないため、分割の種類は任意に許容される
利点がある。この実施例の場合、送信側の符号化データ
に対して、多地点間接続装置の出力における符号化デー
タの方が変化してしまう可能性を与える点が一点だけあ
る。それは各マクロブロックアドレスがGOB内で相対ア
ドレスになっている点であり、マクロブロック精度での
画像合成を行うことによって直前の有効マクロブロック
位置が変わるため、相対アドレスが変化するわけであ
る。しかし、これについては標準符号化方式の相対マク
ロブロックアドレスに割当てられる可変長符号語は、相
対マクロブロックアドレスが大きいほど長い符号語が割
当てられるようになっているため、合成を行うことによ
って符号長が短くなることはあっても長くなることはな
いことがわかる。従って、これには多地点間接続装置側
で減少したビット数に応じたビットスタッフィングを行
うことで対処することができる。

なお、本発明により多地点間動画像通システムを実現
する場合、各端末（動画像符号化／復号化装置）との多
地点間接続装置とがそれぞれ希望する表示モードと画面
の表示領域および合成時の配置時の要求信号を出し合う
ことが必要になる可能性がある。これらの要求信号は、
画像信号とは独立した信号チャネル（例えばCCITT勧告
H.221のBASの符号語を割当てる等）により、任意に伝送
することが可能である。

［発明の効果］ 以上説明したように、本発明によれば動画像標準符号
化方式を用いた多地点間動画像伝送を行う際、 符号化回路に入力される画像サイズを変更しないで済
み、 多地点間接続装置から各端末に伝送されるデータの平
均ビットレートが端末より伝送路に送出される信号の伝
送レートに一致することにより端末の符号化性能を最大
限に引き出すことができ、 多地点間接続装置では合成画面出力時に復号化・再符
号化の処理が不要となることにより、回路規模が縮小さ
れるとともに、画質劣化も少なくなる、 という効果を有する。

【図面の簡単な説明】

第１図は本発明に係る動画像符号化装置の一実施例を示
すブロック図、第２図および第３図はＰ×64kbps動画像
標準符号化方式におけるデータの階層構成を説明するた
めの図、第４図は同符号化方式によるコーデック全体の
ブロック図、第５図は同符号化方式におけるスタッフィ
ング法を説明するための図、第６図は本発明における入
出力の表示画面およびデータの関係を示す図、第７図は
本発明を適用しない場合の問題点を説明するための図、
第８図は第１図における多地点間切替回路の一構成例を
示す図、第９図は第１図における符号化制御回路の一構
成例を示す図、第10図は表示画面のパターンとそのアド
レスおよびスキャン順序の一例を示す図、第11図は本発
明に係る動画像符号化装置の他の実施例を示すブロック
図、第12図は第11図の実施例における符号化制御の一例
を説明するための図、第13図は第１図の実施例における
符号化制御の他の一例を説明するための図、第14図は本
発明に係る多地点間接続装置の一実施例を示すブロック
図、第15図は第14図における入力処理回路の一構成例を
示すブロック図、第16図は第14図における合成回路の一
構成例を示すブロック図、第17図は第14図における出力
処理回路の一構成例を示すブロック図、第18図は本発明
に係る多地点間接続装置の各動作ステージにおけるデー
タの構成を説明するための図、第19図は標準動画像符号
化方式のシンタックスダイヤグラムを示す図、第20図は
本発明に係る多地点間接続装置の別の実施例を示すブロ
ック図、第21図は第20図における合成回路の一構成例を
示すブロック図、第22図は多地点間動画像伝送システム
の概要を説明するための図、第23図は同システムにおけ
る切替モードおよび合成モードでの表示画面の例を示す
図である。 101……入力端子、102……引算回路、103……フレーム
内／間判定回路、105……DCT回路、106……量子化回
路、107……逆量子化回路、108……逆DCT回路、110……
動き補償可変遅延フレームメモリ、111……ループフィ
ルタ、113……多重化回路、114……バッファ、115……
伝送路符号化回路、116……多地点間切替回路、117……
符号化制御回路、121,122……ビット数カウンタ。

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】複数の地点に設置された端末間で動画像を
   伝送する多地点間動画像伝送システムにおける動画像符
   号化装置において、 入力された動画像信号を符号化する符号化手段と、 前記符号化手段からの符号化出力の発生情報量を前記動
   画像信号の１フレームを分割したブロック毎に推定し、
   発生情報量が所定の閾値以上のブロックを有効ブロッ
   ク、発生情報量が閾値に満たないブロックを無効ブロッ
   クとしてそれぞれ判定する判定手段と、 前記判定手段に対して前記動画像信号のフレームの任意
   の一部を強制的に無効ブロックとして判定させる手段
   と、 前記符号化手段からの符号化出力のうち、前記判定手段
   により有効ブロックと判定されたブロックの符号化出力
   のみを相手端末での合成画面出力時の自端末の画面サイ
   ズ比率に応じて設定された設定伝送レートで所定の伝送
   レートの伝送路へ送出する手段と、 前記伝送路に送出される信号に、前記設定伝送レートと
   前記伝送路の伝送レートとの差を補償するスタッフ情報
   を挿入する手段と を具備することを特徴とする動画像符号化装置。
2. 【請求項２】複数の地点に設置された端末間で動画像を
   伝送する多地点間動画像伝送システムにおける動画像符
   号化装置において、 入力された動画像信号を符号化する符号化手段と、 前記符号化手段からの符号化出力のうち、相手端末での
   合成画面出力時に表示されるブロックと合成画面出力時
   に表示されないブロックとをそれぞれの画面サイズ比率
   に応じて設定された設定伝送レートで所定の伝送レート
   の伝送路へ送出する手段と を具備することを特徴とする動画像符号化装置。
3. 【請求項３】前記符号化手段は、前記判定手段により有
   効ブロックと判定されたブロックのみを参照して動き補
   償を行うことを特徴とする請求項１記載の動画像符号化
   装置。
4. 【請求項４】前記符号化手段は、前記相手端末での合成
   画面出力時に表示されるブロックを符号化する際に、相
   手端末での合成画面出力時に表示されるブロックのみを
   参照して動き補償を行うことを特徴とする請求項２記載
   の動画像符号化装置。
5. 【請求項５】駒落としを行う場合にヘッダのみよりなる
   空のフレーム情報を伝送する手段を更に備えたことを特
   徴とする請求項１乃至４のいずれか１項に記載の動画像
   符号化装置。
6. 【請求項６】複数の地点に設置された請求項１乃至５の
   いずれか１項に記載の動画像符号化装置からの符号化出
   力を入力する手段と、この手段により入力された符号化
   出力を合成して１フレーム分の動画像を作成する手段と
   を具備することを特徴とする多地点間接続装置。