JP3110037B2

JP3110037B2 - 画像伝送システム

Info

Publication number: JP3110037B2
Application number: JP25015790A
Authority: JP
Inventors: 比呂志嵩; 敏明渡邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1990-08-20
Filing date: 1990-09-21
Publication date: 2000-11-20
Anticipated expiration: 2015-11-20
Also published as: JPH04192696A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は画像伝送システムに係り、特にATM通信網を
用いたTV会議システムやTV電話システムにおいて、ATM
通信網に接続される複数の端末からの画像情報を縮小処
理してマルチ画面情報を生成する機能を備えた画像伝送
システムに関する。

（従来の技術） TV会議システムは、参加者表示、書画表示および自画
像表示を組み合わせて、遠隔地の会議参加者があたかも
同一会議室にいるような雰囲気でディスプレイを通して
会議を行なうためのシステムである。このようなTV会議
システムを広帯域ISDNのATM（Asynchronous Transfer M
ode−非同期伝送モード）網を利用して実現する試みが
進められている。

ところで、TV会議システムでは複数の参加者の顔画像
を縮小し、一つのディスプレイ画面上にマルチ画面とし
て表示する機能を必要とする場合が多い。このために各
ユーザ端末内の画像符号化装置から符号化された画像情
報をATM通信網に送出し、これを画像ブリッジと呼ばれ
る画像処理装置で縮小処理してマルチ画面情報、つまり
マルチ画面の各画像に対応した符号化データを生成し、
これをATM通信網を介してユーザ端末内の画像復号化装
置に送出する方式が考えられている。

このような場合、従来の方式では画像ブリッジ内で各
端末の符号化器からの符号化画像情報を一旦復号化した
後、縮小処理を行い、再び符号化して出力している。こ
のため画像ブリッジ内に複数のユーザ端末の画像符号化
装置にそれぞれ対応した複数の復号化器と、再符号化の
ための一つまたは複数の符号化器を用意しなければなら
ず、画像ブリッジ、さらにはシステム全体が極めて大規
模になってしまう。また、処理時間がそれだけ余分にか
かるため、画像データの伝送遅延も問題となる。これら
の問題を避けようとすると、TV会議に参加できるユーザ
数をかなり限定せざる得ない。

（発明が解決しようとする課題）上述したように、ATM通信網を用いたTV会議システム
においてマルチ画面情報を生成するために、各ユーザ端
末からの符号化画像情報を一旦復号化してから縮小処理
し、再符号化してマルチ画面情報として出力する方式
は、ユーザ数が多くなるとマルチ画面情報生成のために
非常に多数の復号化器および符号化器を必要とし、回路
構成が膨大なものになってしまい、また処理時間がかか
るために画像データの伝送遅延も問題となり、それを避
けようとするとユーザ数を限定せざるを得ないという問
題があった。

本発明は、ATM通信網を用いたTV会議システムにおい
て最小限の回路規模と伝送遅延で、また会議参加のユー
ザ数を制限することなく、縮小あるいは拡大された画像
情報を容易に生成できる画像伝送システムを提供するこ
とを目的とする。

［発明の構成］（課題を解決するための手段）本発明に係る画像伝送システムは、通信網（例えばAT
M通信網）に接続される複数の端末にそれぞれ設けられ
た画像符号化装置および画像復号化装置と、通信網に接
続され、送信側である画像符号化装置と受信側である画
像復号化装置との橋渡しのための画像処理を行う画像処
理装置によって構成される。

本発明の第１の態様では、画像符号化装置において画
像情報を直交変換して得られた直交変換係数データを次
数により分類して符号化し、符号化された直交変換係数
データを少なくともその次数または分類を示す情報とと
もに出力情報として通信網に送出する。画像処理装置で
は、通信網を介して入力される複数の端末内の画像符号
化装置からの出力情報を受け、この出力情報を復号化す
ることなく符号化された直交変換係数データのままの状
態で、マルチ画面を構成する際の各画像に対する縮小率
の情報とともに通信網に送出する。一方、画像復号化装
置では通信網を介して入力される画像処理装置からの情
報を受け、符号化された直交変換係数データを縮小率に
対応した次数で逆直交変換して復号化する。

より具体的には、画像符号化装置からは出力情報をセ
ル化して伝送し、画像処理装置は縮小率に適合した次数
までの直交変換係数データを含むセルを選択してマルチ
画面を構成する各画像毎に情報を再構築した後、それら
をまとめて一画面の情報と見なして再びセル化して通信
網に送出する。また、画像処理装置は縮小率の情報とと
もにマルチ画面を構成する各画像に対する画面位置の情
報を通信網に送出し、画像復号化装置は直交変換係数デ
ータを逆直交変換して復号化した画像情報をディスプレ
イ上の該画面位置の情報に従った位置に表示する処理を
行う構成とする。

このように縮小された画像情報によるマルチ画面情報
を生成する際、符号化された画像情報である直交変換係
数データを復号化せずに、縮小率あるいはさらに画面位
置の情報とともに画像復号化装置に伝送し、画像復号化
装置において入力の符号化された直交変換係数データを
縮小率に対応した次数で逆直交変換して復号化すること
によって、個々の単位画像が縮小されてマルチ画像情報
が生成される。

従って、TV会議の参加者からの符号化された画像情報
を一旦復号化し縮小処理の後再符号化する必要がないた
め、画像ブリッジである画像処理装置において回路規模
の大きい画像の復号化器や符号化器を必要とせず、これ
によりシステム全体の回路規模の増大が抑えられる。ま
た、復号化器や符号化器などによる処理を必要しない分
だけ処理時間が短縮され、画像データの伝送遅延の問題
も解消される。従って、また会議に参加できるユーザが
少数に制限されることもない。

本発明の第２の態様では、画像符号化装置において画
像情報を直交変換して得られた直交変換係数データを次
数により分類して符号化し、符号化された直交変換係数
データを出力情報として通信網に送出する。画像処理装
置では、通信網を介して入力される画像符号化装置から
の出力情報を受け、この出力情報を復号化することなく
符号化された直交変換係数データのままの状態で、画像
の拡大率の情報とともに通信網に送出する。一方、画像
復号化装置では通信網を介して入力される画像処理装置
からの情報を受け、符号化された直交変換係数データの
拡大すべき部分を拡大率に従って逆直交変換して復号化
する。

このように拡大された画像情報を得る際、符号化され
た画像情報である直交変換係数データを復号化せずに画
像の拡大率の情報とともに画像復号化装置に伝送し、画
像復号化装置において入力の符号化された直交変換係数
データの拡大すべき部分を拡大率に従って逆直交変換し
て復号化することによって、拡大された画像情報が生成
される。

従って、この場合においてもTV会議の参加者からの符
号化された画像情報を一旦復号化し縮小処理の後再符号
化する必要がないため、画像ブリッジである画像処理装
置において回路規模の大きい画像の復号化器や符号化器
を必要とせず、これによりシステム全体の回路規模の増
大が抑えられ、また復号化器や符号化器などによる処理
を必要しない分だけ処理時間が短縮され、画像データの
伝送遅延の問題も解消される。

（作用）このように本発明では、マルチ画面情報を生成する
際、符号化された画像情報である直交変換係数データを
復号化せずに、縮小率あるいはさらに画面位置の情報と
ともに画像復号化装置に伝送し、画像復号化装置におい
て入力の符号化された直交変換係数データを縮小率に対
応した次数で復号化することによって、個々の単位画像
が縮小されてマルチ画像情報が生成される。

（実施例）以下、図面を参照して本発明の実施例を説明する。

第２図は本発明の一実施例におけるTV会議システムの
概略構成図である。複数のアクセスノードEX1,EX2,…は
局交換機に相当するものであって、上位網BNWを介して
相互に接続されている。これらのアクセスノードEX1,EX
2,…には、それぞれ伝送路を介して中継アクセス網RNW
1,RNW2,……が接続されている。中継アクセス網RNW1,RN
W2,…はそれぞれ分散形リング網により構成され、複数
の中継ノードTNを有している。そして、これらの中継ノ
ードTNのうち任意の中継ノードには、TV会議用のユーザ
端末A,B,C,Dが接続されている。尚、図示していないが
中継ノードTNには、電話装置やファクシミリ装置、他の
データ端末装置等も適宜接続される。

このシステムはATM通信網を採用したデータ交換伝送
システムであり、上位網BNW、アクセスノードEX1,EX2,
…、中継アクセス網RNW1,RNW2,…をATM通信網と称す
る。そして、中継アクセス網RNW1の一つに会議ブリッジ
KBが接続されている。

第１図は会議ブリッジKBの概略構成を示したもので、
分離部２、画像ブリッジ３、音声ブリッジ４、多重部５
を有する。分離部２はATM通信網（ノードシステムとも
いう）１を経て供給された情報をヘッダ部に挿入されて
いるバーチャル・チャネル識別子（VCI;Virtual Channe
l Identification）に従って画像データと音声データと
に分離し、画像データを画像ブリッジ３に、音声データ
を音声ブリッジ４にそれぞれ供給する。多重化部５は、
画像ブリッジ３および音声ブリッジ４から出力された画
像データおよび音声データを多重化してATM通信網１へ
出力する。

第２図のTV会議システムの動作を端末Ａが端末B,C,D
との間で会議を行なう場合を例にとって説明する。TV会
議を開始するために端末Ａは、先ず呼接続要求信号を送
出する。この呼接続要求信号は、中継アクセス網RNW1を
介してアクセスノードEX1に転送される。これに対しア
クセスノードEX1を含むATM通信網１は、この呼接続要求
信号から付加サービス要求であることを識別すると、端
末Ａに対し発呼受付応答を返送するとともに、呼接続要
求の情報をATM通信網１内のサービス管理制御システム
へ送出する。サービス管理制御システムは、呼接続要求
の情報からサービスの分析を行ない、TV会議サービスの
制御を開始する。すなわち、先ず会議ブリッジKBを捕捉
するための接続要求をATM通信網１へ送出する。この接
続要求を受けたATM通信網１は、発呼端末Ａに対しサー
ビス受付応答を返送した後、上記ブリッジ接続要求に従
って会議ブリッジKBを捕捉し、会議ブリッジKBを捕捉す
ると、サービス管理制御システムに対し応答信号を返送
する。サービス管理制御システムは、次に発呼要求時の
情報から会議に参加する端末B,C,Dを認識し、ATM通信網
１に対しこれらの端末B,C,Dの呼出し要求を出力する。
この呼出し要求を受けたATM通信網１は、端末B,C,Dに対
しそれぞれ呼出信号を送信する。また、サービス管理制
御システムは、会議ブリッジKBに対しATM通信網１を介
して呼出中表示情報を送出する。会議ブリッジKBでは、
呼出中表示情報に対応した画像データの生成が行なわれ
る。

端末B,C,Dは呼出信号を受信すると、それぞれ応答信
号を返送する。この応答信号はATM通信網１を介してサ
ービス管理制御システムに転送される。この応答信号の
返送が確認されると、サービス管理制御システムはATM
通信網１に対し、端末B,C,Dと会議ブリッジKBとの間を
接続させるための指示を送出する。これにより、ATM通
信網１は、上記各指示に応じてそれぞれ端末B,C,Dと会
議ブリッジKBとの間をそれぞれ接続する。こうして、会
議ブリッジKBと各端末B,C,Dとの間にATM通信路が形成さ
れ、以後TV会議が可能となる。

すなわち、端末A,B,C,Dから送出される符号化された
画像データおよび音声データは、ATM通信路を介して会
議ブリッジKBに直接伝送される。そして、この会議ブリ
ッジKBの画像ブリッジ３および音声ブリッジ４でそれぞ
れ所定の処理が施された後、ATM通信路を介して各端末
A,B,C,Dへ伝送される。また、端末A,B,C,Dから送出され
る画面制御要求信号も、上記画像データと同じくATM通
信路を介して会議ブリッジKBに直接伝送される。会議ブ
リッジKBの画像ブリッジ３では、画面制御要求信号に応
じて画像データの画面の制御が行なわれる。さらに、会
議ブリッジKBではサービス管理制御システムから送られ
た制御情報に応じて画像データおよび音声データが生成
されるが、これらの画像データおよび音声データもATM
通信網１を介して端末A,B,C,Dに直接伝送される。尚、
サービス管理制御システムから送られる制御情報には、
チャネル捕捉情報と、ATM通信網内の状態を表わす情
報、例えば相手話中情報や呼出中情報等がある。

このシステムでは、各端末A,B,C,Dと会議ブリッジKB
との間はATM通信路を介してエンド・トゥ・エンドで接
続される。そして、端末A,B,C,Dから送出される画面制
御要求信号は、ATM通信路を通して会議ブリッジKBに直
接伝送され、また会議ブリッジKBで作成された画像デー
タもATM通信路を介して各端末A,B,C,Dに直接伝送される
ので、画面制御要求信号や画像データについてはATM通
信網の制御に頼ることなく伝送することができる。従っ
て、その分ATM通信網１の制御プロトコルが簡略化さ
れ、これによりTV会議システムの構成が簡単となり、か
つシステムの信頼性が向上する。

第３図はユーザ端末A,B,C,D内に設けられる画像符号
化装置の構成を示すブロック図であり、直交変換符号化
としてDCT（離散コサイン変換）を用いている。この画
像符号化装置はDCT回路11、量子化回路12、逆量子化回
路13、動き検出回路14、リフレッシュ回路15、制御部1
6、ゲート回路17、符号化回路18、多重化部19およびバ
ッファ20からなっている。

入力画像データはTVカメラにより会議参加者などの被
写体を撮像して得られた画像信号をA/D変換器によって
ディジタル化したものであり、この入力画像データはま
ずDCT回路11によってＭ＋Ｍブロック（例えば８×８ブ
ロック）の２次元DCTが施される。DCT回路11で得られた
DCT係数は、量子化器12で量子化される。量子化されたD
CT係数データは、ゲート回路17に入力されると共に、逆
量子化器13を経由して、前画面の情報を記憶するための
メモリを含む動き検出回路14に入力され、ブロック毎に
前画面との比較により動きの有無が検出される。動き検
出回路14の検出結果は、リフレッシュ回路15からの信号
とともに制御部16に入力される。制御部16は動き検出回
路14で動きが検出されたブロックのDCT係数データのみ
を通すようにゲート回路17を制御すると共に、そのブロ
ックを伝送したことを示す「補充情報」を多重化部19に
出力する。リフレッシュ回路15は、ATM通信網における
パケットロスの対策として、一画面の一定数のブロック
について、動きの有無に関係なくリフレッシュを行うた
めの信号を発生する回路であり、これによりリフレッシ
ュの対象とされたブロックは、結果的に動きが有りと判
定されたブロックと同じに扱われる。

また、制御部16は「補充情報」のほかサイド情報とし
て「情報源」「属性」および「量子化特性」の各区分の
情報を多重化部19へ出力する。「情報源」の情報はATM
通信網１側から供給されるものであり、この場合は端末
名や画像符号化装置名がそれに相当する。「属性」は送
る情報の属性を表わす情報であり、この場合は送る情報
が画像情報、つまりDCT係数データであるのか、文字情
報であるのかの区別情報、あるいは動きがあるブロック
か否かを示す補充情報、輝度信号と色差信号との識別を
するための情報、そしてDCT係数データの次数を示す情
報（次数情報）からなっている。「量子化特性」はバッ
ファ20からのバッファ量の情報に基づいて決定される量
子化器での量子化特性（主に量子化ステップサイズ）を
示す情報である。

ゲート回路17で選択されたブロックのDCT係数データ
は、符号化回路18によってDCT係数の次数毎に分類され
た後、可変長符号化（例えばハフマン符号化）される。
この場合、DCT係数データを例えば第４図に示すように
１〜４の８個の次数に分割した場合の一つの次数毎に分
類してもよいし、例えば１次と２次からなるグループ、
３次と４次からなるグループ、…というように、幾つか
の次数からなるグループ毎に分類してもよい。また、符
号化回路18の出力は可変長のPCMデータであり、ATM通信
網でのパケットロスが次のフレームに波及しないので強
い信号形態になっている。

こうして符号化回路18から出力されるDCT係数データ
（符号化画像情報）と、制御部16からの補充情報が多重
化部19で多重化され、制御部16からの「情報源」「属
性」および「量子化特性」からなるサイド情報の後に続
いて、バッファ20を介して伝送路に送出される。バッフ
ァ20は、この画像符号化装置の発生情報量を伝送路の伝
送レートに整合させる働きをする。

第８図（ａ）は画像符号化装置から送出される情報の
塊であるデータセル生成のための論理パケットの構造を
示したもので（但し、ペイロード部分のみを示す）、フ
レーム単位で定義されるものである。このデータセル生
成のための論理パケットは、後述する画像ブリッジ３か
ら送出されるシステムセル生成のための論理パケットと
基本的に同じ構造であるが、第８図（ａ）中の文字情報
はシステムセルに固有のものである。データセルとシス
テムセルの区別は、「情報源」の区分でなされ、またデ
ータ部分にDCT係数データ（画像情報）があるか文字情
報（メッセージ情報）があるかの区別は、「属性」の区
分によってなされる。

各端末Ａ〜Ｄの画像符号器から出力されるデータは、
ATM通信網１内では第９図に示すように会議ブリッジKB
内の画像ブリッジ３に入力される。すなわち、第８図
（ａ）の各データセルはヘッダ部分（情報源、属性、量
子化特性の区分）とデータ部分（補充情報/DCT係数デー
タ）を含めて先頭から複数（ｎ）に分割され、その分割
された各部分が第９図のSAR−TDUペイロード部に１個ず
つ挿入され、合計ｎ個のセルに分けて伝送されて画像ブ
リッジ３に入力される。なお、第９図においてSNはシー
ケンス番号、ITはセルタイプ（情報源等のヘッダ部分か
DCT係数データ等の部分かの区別や、タイミング情報，
映像／音声等の各タイプの区別を示す）、LIは空きの生
じたセルで使用される有効情報長表示、FECは例えば２
ビット誤りを訂正可能な誤り訂正符号である。

第５図は上述した画像符号器の符号化方式と、後述す
る画像復号化装置において実行される画面の縮小処理の
関係について示したものである。画像符号化装置で得ら
れたＭ×ＭブロックのDCT係数データのうち、DC成分
（ブロックの左上端）を含んだＮ×Ｎブロック（Ｎ＜
Ｍ）のみを画像復号化装置において、Ｎ×Ｎ次で逆DCT
を行って画像を再生したとすると、画面サイズはの面積比率で縮小される。Ｎ＝１〜Ｍ−１であるから、
縮小率の可変範囲はＭによって制限されることになる
が、Ｍ＝８であれば実用上十分である。

次に、第１図に示した画像ブリッジ３について説明す
る。画像ブリッジ３の基本機能は、複数の端末の画像符
号化装置から発生された符号化画像情報に対する縮小率
と画面位置を決定し、これらの情報を符号化画像情報と
共にそれぞれの端末の画像復号化装置へ伝送することに
ある。この場合、符号化画像情報としては縮小率に見合
った次数までのDCT係数データを送出すればよい。画像
ブリッジ３の他の付加機能としては、電話番号等の文字
情報のようなメッセージ情報を付加して画面上に表示さ
せたり、輻輳時に各端末の画像復号化装置に対し画像や
文字情報などのサービス画像データを生成して送出する
機能などが挙げられる。

第６図は画像ブリッジ３の構成を示すブロック図であ
る。画像ブリッジ３では端末Ａ〜ＤからATM通信網１を
通して第９図のセルの形で入力されたデータセルがピッ
クアップされた後、８ビットパラレルで処理される。ま
ず、VCI（入・VCI_A〜入・VCI_D）の識別後、各VCI（各端
末Ａ〜Ｄ）に対応して設けられた処理ブロック21A〜21D
に入力される。処理ブロック21A〜21Dでは第９図のセル
からペイロード部分（セルヘッダ以降の部分）が抜き出
され、ヘッダ情報解析・情報組立部22においてアダプテ
ーション機能により、まず誤り訂正符号FECを用いて誤
り訂正が施され、次いでシーケンス番号CN、セルタイプ
CT、有効情報長表示LIの情報が抜き出される。次に、セ
ル順序の妥当性チェックの後、セルタイプCTに基づいて
第８図（ａ）の論理パケットの組立てが開始される。な
お、第８図（ａ）はシステムセル，データセル生成のた
めの論理パケットを示している。セルタイプCTの中で、
先頭セルには情報源区分、属性区分が含まれているの
で、この情報を分離して組立てを続行する。最終セルで
は、有効情報長を元に必要な長さの情報を抜き出し、デ
ータセルの組立てが完了する。このように同一情報源
（同一端末）の同一属性の情報が第８図（ａ）のような
論理パケットの形に組立てられる。

ヘッダ情報解析・情報組立部22で組立てられた情報の
うち、情報源区分および属性区分はメモリコントローラ
23に送られ、画像ブリッジ３から送信すべき情報の選択
に用いられる。すなわち、メモリコントローラ23は組立
てられたデータが送信すべき情報と判断したら、そのデ
ータをメモリ24に書き込む。また、メモリ24には他の処
理ブロックにおいて組立てられたデータも同様に書き込
まれる。こうしてメモリ24に格納された各VCIに対応し
た組立てられたデータは、セル化回路25において再びア
ダプテーション機能によって第９図のようなセルに分解
され、さらにVCI（出・VCI_A〜出・VCI_D）が付与された
後、ATM通信網１に送出される。

ここで、メモリコントローラ23にはブリッジコントロ
ーラ26から縮小率の情報が与えられている。これにより
メモリコントローラ23は縮小率に見合った次数までのDC
T係数データが含まれるデータを選択して、メモリ24に
書き込む制御を行う。

デコーダコントロールセル生成部27は、第８図（ｂ）
（ｃ）に示すデコーダコントロールセルを常時生成し、
それを第９図のようにセル化してATM通信網１へ送出す
る。第８図はデコーダコントロールセル生成のための論
理パケットを示し、特に（ｂ）はDCT係数データ、補充
情報の場合を示し、（ｃ）は文字情報の場合を示す。デ
コーダコントロールセルは、後述する画像復号化装置
（デコーダ）に対して画面表示の各種指示を行うセルで
あって、第８図（ｂ）の場合は画像復号化装置において
マルチ画面情報を生成するために必要な、「情報源」
「属性」「仮想画面定義」「表示画面定義」「情報源
数」「情報源識別」「縮小率」「画面位置」「プレー
ン」の各区分からなっている。そして、第８図（ｃ）の
文字情報の場合は「情報源」「属性」「文字領域数」
「文字領域識別」「表示位置」「表示形式」等の各区分
からなっている。

システムセル生成部28は、第８図（ａ）に示す論理パ
ケットを随時生成し、同様の第９図のようにセル化して
ATM通信網１へ送出する。システムセルは基本的にデー
タセルと同様であり、「文字情報」が挿入される点がデ
ータセルと異なっている。この「文字情報」の区分に
は、電話番号等のメッセージ情報や、画像や文字情報か
らなる各種のサービス画像データが、輻輳時などに随時
挿入される。

ブリッジコントローラ26は、例えばユーザ端末から送
出される「会議参加」「縮小判断」「画面位置」などの
指示に基づいて、縮小率の情報をメモリコントローラ23
に与えたり、デコーダコントロールセル生成部27および
システムセル生成部28の制御を行う。

このように画像ブリッジ３においては、マルチ画面情
報生成のために符号化画像情報であるDCT係数データを
一旦復号して縮小処理をした後、再び符号化することは
せず、単に画像復号化装置においてマルチ画面情報の生
成に必要な縮小率および画面位置の情報をDCT係数デー
タとともに送出する。従って、画像ブリッジ３は画像復
号化器や符号化器を必要としないため、その回路規模は
会議参加ユーザ数が比較的多い場合でも小さく抑えられ
る。また、復号化、符号化に必要な処理時間を削除する
ことも可能となる。

なお、画像ブリッジ３内の要素のうち、ブリッジコン
トローラ26はそれ程処理速度を必要としないため、汎用
マイクロコンピュータにより実現でき、またメモリ以外
の処理部分はＣ−MOSプロセスにより作られるLSIによっ
て実現される。処理ブロック21A〜21Dは図では４つの端
末Ａ〜Ｄに対応して４組設けられているが、実際にはも
っと多数設けられ、それによって会議参加のユーザ数を
より多くすることができる。原理的には画像ブリッジ３
を会議参加ユーザ数を特に制限しないように構成するこ
とが可能であるが、画面の現実的な最大分割数（16程
度）を考慮すると、会議参加ユーザ数を最大16として、
16個のVCIを一度に処理できるように構成すれば十分で
ある。

第７図は画像復号化装置の構成を示すブロック図であ
る。画像復号化装置にはデータセル、システムセル、デ
コーダコントロールセルなど様々なセルが入力されてく
る。これらのセルは「情報源」や「属性」に基づいて区
分けされ、処理される。ヘッダ解析コントローラ31は、
入力された各種セルから「量子化特性」「縮小率」「画
面位置」「プレーン情報」などをそれぞれの情報につい
て抽出し、各部の制御を行う。

シンボルデコーダ32は、入力されたデータセル、シス
テムセル内の補充情報やDCT係数データ、文字情報を復
号化する。復号化された各種情報源からの補充情報は、
情報源の数だけ用意された補充情報メモリ33にそれぞれ
格納され、またDCT係数データは逆量子化器34において
量子化前のDCT係数データとされる。このDCT係数データ
は、係数メモリ36に書込まれる。この場合、補充情報メ
モリ33からの出力（現ブロックの１画素の位置）と該ブ
ロック内の係数の位置をアドレス制御部35でカウントし
ておく。そして、このカウントに従ってアドレス制御部
35が係数メモリ36のメモリアドレスを指定し、このメモ
リアドレスにDCT係数データが書込まれる。なお、係数
メモリ36も情報源の数だけ設けられる。

全ての情報源についてのDCT係数データが伝送され、
係数メモリ36に格納されると、係数メモリ36の内容が読
出され、逆DCT回路37においてヘッダ解析コントローラ3
1でデコーダコントロールセルから抽出された縮小率に
対応した次数で逆DCTが施される。この逆DCTにより復号
化された画像データは、ヘッダ解析コントローラ31でデ
コーダコントロールセルから抽出された画面位置とプレ
ーン情報に従ってアドレス制御部39により制御される表
示メモリ38に書き込まれる。すなわち、表示メモリ38に
おいては画像データが画面位置に従ったアドレスに、か
つプレーン情報に従った順序で、つまりプレーンが上の
画像データほど後に書き込まれるように順次格納され
る。従って、最上位プレーンの画面がマルチウインドウ
の一番手前の画面のように表示される。

第10図に示すように、表示メモリ38に一対一で対応す
る表示画面（仮想画面）の大きさは、実際にディスプレ
イ上で表示される画面（実画面）よりも大きいために設
定されている。こうすることで、９分割によるマルチ画
面表示、すなわち縮小率が縦横それぞれ1/3のマルチ画
面表示に対応できるようにしている。第４図および第５
図で説明したDCT係数の次数選択による拡大／縮小操作
では、3/8までしか縮小率が取れないので、縮小率3/8の
画面を上下左右に３個ずつ配置し、上下左右を少しずつ
削って表示するようにすればよい。

こうして表示メモリ38内で合成されたマルチ画面情報
に、ヘッダ解析コントローラ31でデコーダコントロール
セルから抽出された表示形式情報（スーパー情報）と、
このスーパーの画面位置に基づいてキャラクタ生成部40
で生成された文字情報が加算器41で重畳される。加算器
41の出力は図示しないディスプレイに供給される。これ
によりディスプレイ上でマルチ画面情報が表示されると
共に、スーパーインポーズで文字情報が表示される。

このように画像復号書装置においては、符号化された
DCT係数データを縮小率に対応した次数で復号化するこ
とによって、マルチ画面情報を生成する。

次に、第１図に示した音声ブリッジ４について説明す
る。音声ブリッジ４の基本機能は、端末Ａ〜Ｄに内蔵さ
れた一対一接続を前提とした音声符号化／復号化器（コ
ーデック）にATM通信網１を介して接続され、TV会議に
おいて必要な音声セルを混合・分配することにある。端
末Ａ〜Ｄ内において音声信号はμ−PCMコーデックによ
ってディジタル化された後、符号化・セル化が行われ、
ATM通信網１に入力される。符号化方式としては、例え
ばセル廃棄時の品質劣化の少ないEmbeded ADPCM、より
具体的にはCCITT Draft Recommendation G.EMBの32kbps
Embeded ADPCMが用いられる。

第11図は音声ブリッジ４の構成を示すブロック図であ
る。ATM通信網１から第９図の構造の音声セルが入力さ
れる。これらの音声セルのうち、VCIにより会議参加者
のユーザ端末からのセルのみが選択回路51でピックアッ
プされ、情報組立部52A〜52Dによって同一情報源からの
音声情報毎にデータが組立てられた後、復号化回路53A
〜53Dに入力される。復号化回路53A〜53Dでは、まず音
声セル内のEmbeded ADPCMにより符号化されている音声
情報がμ−PCM信号に戻され、さらに線形PCM信号に変換
される。加算回路54では、復号化回路53A〜53Dから出力
される会議参加者の音声の線形PCM信号のみが加算され
ることにより混合される。混合された線形PCM信号は、
符号化回路55により再符号化される。すなわち、まず線
形PCM信号がμ−PCM信号に変換され、さらにEmbeded AD
PCMにより符号化される。符号化された音声情報はセル
化回路56A〜56Dで第９図のようにセル化され、VCIがセ
ルヘッダとして付与された後、ATM通信網１を介して会
議参加者の端末に向けて伝送される。

このように音声ブリッジ４内では符号化された音声情
報を一旦復号化し、混合した後再符号化するため、複数
の復号化回路と少なくとも一つの符号化回路が必要とな
るが、画像用と異なって音声用の復号化回路および符号
化回路は回路規模が小さく、DSP（ディジタル信号処理
装置）チップ１個で実現できるため、実現上特に問題は
生じない。

第12図は画像を拡大する場合の実施例を示した図であ
る。例えば第12図（ａ）に示すように、画面の右上に示
された文字部分を受信側会議室のディスプレイから遠く
離れている人に見えるように拡大して第12図（ｂ）のよ
うに表示したい場合、あるいは画面内の人物を切り取っ
て第12図（ｃ）のように拡大して表示したい場合に適用
される。

具体的には第13図に示すように、画像符号化装置にお
いて原画像のＭ×Ｍブロック（第13図（ａ）参照）に対
して、Ｍ×Ｍの２次元DCTが施された後（第13図（ｂ）
参照）、各変換ブロックがATM通信網を介して画像ブリ
ッジに入力され、そこで拡大される部分と拡大率が決定
される。画像ブリッジからは、拡大部分のブロックの変
換係数のみが拡大率と共に画像復号化装置へ伝送され、
そこで拡大率に合わせて各変換係数ブロックの高周波成
分に零が挿入される。今、拡大率をL/M倍（Ｌ＞Ｍ）と
すると、第13図（ｃ）に示すように元のＭ×Ｍ次よりも
高周波成分の部分に零を挿入し、全体としてＬ×Ｌ次の
ブロックを作成する。その後、Ｌ×Ｌの２次元逆DCT
（２次元IDCT）を施して、拡大されたＬ×Ｌ次のブロッ
クを得る（第13図（ｄ）参照）。

画像拡大に際して必要となる各種ヘッド情報は、画像
縮小の場合と同様であるが、第８図（ｂ）における「縮
小率」が「拡大率」になる点が変更部分である。また、
画像ブリッジから、拡大すべき部分の情報のみが画像復
号化装置に伝送される場合は、上記の変更のみでよい
が、一画面全体の情報を画像復号化装置に伝送し、復号
化装置内で画像の切り取りを行う場合は、画像ブリッジ
から画面の切り取り情報（第12図（ａ）の点線部分の位
置、および大きさ情報）を送出する必要がある。この情
報は値でデコーダコントロールセル作成に用いられる論
理パケット（第８図（ｂ））のプレーン情報の後に付加
すれば良い。

本発明は上記実施例に限定されるものではなく、次の
ように種々変形して実施することができる。

実施例では画像ブリッジ３から縮小率に見合った次数
までのDCT係数データを画像復号化装置に送出したが、
画像復号化装置の処理能力向上に対するコストと伝送効
率をそれ程重視しない場合は、全ての次数の係数データ
を画像復号化装置に送出してもよい。

実施例では画像ブリッジ３がCSレイヤまで戻って第９
図のセル構造に従って処理を行うことでレイヤの区分を
明確にしているが、レイヤの区分にとらわれずに処理を
行う構成も可能である。具体的には、セル毎に第８図に
おける「情報源」「属性」の区分からなるヘッダを付与
したセル構造とする方法である。この場合、各セル毎に
ヘッダ部分が付加されるため伝送効率は低下するが、セ
ルを組立てて論理パケットを構成する必要がないため、
すなわち第６図の情報組立部22が不要となるため、画像
ブリッジの構成が更に簡単になるという利点がある。

［発明の効果］本発明によれば、ATM通信網を用いてTV会議等を行う
システムにおいて、回路規模を必要以上に大きくするこ
となく、また処理時間も少なく、しかも会議参加のユー
ザ数をあまり制限せずに、会議参加者の各画像を縮小処
理あるいは拡大処理することができる。

【図面の簡単な説明】

第１図は本発明の一実施例における会議ブリッジの概略
構成とATM通信網との関係を示す図、第２図は同実施例
に係るTV会議システムの概要を示す図、第３図は同実施
例における端末内の画像符号化装置の構成を示すブロッ
ク図、第４図は画像符号化装置におけるDCT係数の各次
数の分布を示す図、第５図は同実施例におけるマルチ画
面情報生成のための画像の縮小原理を説明するための
図、第６図は同実施例における画像ブリッジの構成を示
すブロック図、第７図は同実施例における端末内の画像
復号化装置の構成を示すブロック図、第８図は同実施例
におけるCSレイヤで処理される各種論理パケットの構造
を示す図、第９図は同実施例においてATM通信網で伝送
されるセルの構造を示す図、第10図はマルチ画面表示時
の仮想画面と実画面との関係を示す図、第11図は同実施
例における音声ブリッジの構成を示すブロック図、第12
図は本発明において画面を拡大する場合の実施例を説明
するための図、第13図は同じく画面を拡大する場合の処
理手順を説明するための図である。Ａ〜Ｄ……ユーザ端末、１……ATM通信網、３……画像
ブリッジ、４……音声ブリッジ、11……DCT回路、12…
…量子化回路、13……逆量子化回路、14……動き検出回
路、15……リフレッシュ回路、16……制御部、17……ゲ
ート回路、18……可変長符号化回路、19……多重化部、
20……バッファ、21A〜21D……各端末に対応した画像ブ
リッジ部、22……ヘッダ解析・情報組立部、23……メモ
リコントローラ、24……メモリ、25……セル化回路、26
……ブリッジコントローラ、27……デコーダコントロー
ルセル生成部、28……システムセル生成部、31……ヘッ
ダ解析・コントローラ、32……シンボルデコーダ、33…
…補充情報メモリ、34……逆量子化回路、35……アドレ
ス制御部、36……係数メモリ、37……逆DCT回路、38…
…表示メモリ、39……アドレス制御部、40……キャラク
タ生成部、41……加算器、51……選択回路、52A〜52D…
…情報組立部、53A〜53D……復号化回路、54……加算回
路、55……符号化回路、56A〜56D……セル化回路。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/14 - 7/15 H04L 12/28 H04N 1/387

Claims

(57)【特許請求の範囲】

【請求項１】通信網に接続される複数の端末にそれぞれ
設けられ、画像情報を直交変換して得られた直交変換係
数データを次数により分類して符号化し、符号化された
直交変換係数データを少なくともその次数または分類を
示す情報とともに出力情報として前記通信網に送出する
画像符号化手段と、前記通信網を介して入力される前記複数の端末内の画像
符号化手段からの出力情報を受け、この出力情報を復号
化することなく符号化された直交変換係数データのまま
の状態で、マルチ画面を構成する際の各画像に対する縮
小率の情報とともに前記通信網に送出する画像処理手段
と、前記複数の端末にそれぞれ設けられ、前記通信網を介し
て入力される前記画像処理手段からの情報を受け、前記
符号化された直交変換係数データを前記縮小率に対応し
た次数で逆直交変換して復号化する画像復号化手段とを具備することを特徴とする画像伝送システム。
【請求項２】前記画像符号化手段は、出力情報をセル化
して伝送し、前記画像処理手段は、前記縮小率に適合した次数までの
直交変換係数データを含むセルを選択してマルチ画面を
構成する各画像毎に情報を再構築した後、それらをまと
めて一画面の情報と見なして再びセル化して通信網に送
出することを特徴とする請求項１記載の画像伝送システ
ム。
【請求項３】前記画像処理手段は、前記縮小率の情報と
ともにマルチ画面を構成する各画像に対する画面位置の
情報を前記通信網に送出し、前記画像復号化手段は、直交変換係数データを逆直交変
換して復号化した画像情報をディスプレイ上の前記画面
位置の情報に従った位置に表示する手段を有することを
特徴とする請求項１または２記載の画像伝送システム。
【請求項４】通信網に接続される複数の端末にそれぞれ
設けられ、画像情報を直交変換して得られた直交変換係
数データを出力情報として前記通信網に送出する画像符
号化手段と、前記通信網を介して入力される前記画像符号化手段から
の出力情報を受け、この出力情報を復号化することな
く、符号化された直交変換係数データのままの状態で、
画像の拡大率の情報とともに前記通信網に送出する画像
処理手段と、前記複数の端末にそれぞれ設けられ、前記通信網を介し
て入力される前記画像処理手段からの情報を受け、前記
符号化された直交変換係数データの拡大すべき部分を前
記拡大率に従って逆直交変換して復号化する画像復号化
手段とを具備することを特徴とする画像伝送システム。