JPH0918846A

JPH0918846A - 多地点間通信装置

Info

Publication number: JPH0918846A
Application number: JP7182254A
Authority: JP
Inventors: Makoto Senda; 誠千田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-06-27
Filing date: 1995-06-27
Publication date: 1997-01-17

Abstract

(57)【要約】【目的】複数端末の同時復号化機能と複数地点の画像
の画像合成機能とを安価に且つ高い信頼性で構築するこ
とができ、しかも多地点間の画像通信の最適化と効率化
の向上が図れる多地点間通信装置を提供する。【構成】複数の端末から回線インタフェース部１ａ〜
１ｄにより受信した符号化画像が、画像復号化部７によ
り復号化され、全ての端末から受信された符号化画像の
復号化処理能力が画像復号化部７の処理能力を超えない
ようにシステム制御部１０により調整され、該調整結果
に基づき各端末に割り当てられた各処理能力に応じた受
信能力が回線インタフェース部１ａ〜１ｄにより各相手
端末に伝達される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、通信回線を介して複数
の端末を接続し、多地点間で画像及び音声の送受信を行
う多地点間通信装置に関する。

【０００２】

【従来の技術】従来のアナログの電話回線の場合、電話
は音声のみ伝送可能であり、データは低速でしか伝送す
ることができなかった。

【０００３】しかし、近年、通信技術や半導体技術及び
光技術の進歩に伴い、デジタル回線が整備され、高速で
大容量のデータの伝送が可能になった。特に、デジタル
伝送の特徴としては、伝送による品質低下がなく同レベ
ルの品質が保たれること、伝送データのメディアの特性
に応じた伝送路を必要とせず、メディアの統合が図れる
こと等があり、復号メディア端末間の伝送が可能になっ
た。従って、音声と同時に画像を伝送できる電話端末が
出現している。

【０００４】こうした状況の中、互いに異なる複合端末
間においても相互通信が可能になるようにＩＴＵ−Ｔ
（国際電信電話諮問委員会）等による国際基準化が進め
られており、デジタル回線を用いたテレビ電話、テレビ
会議システム等のＡＶ（ＡｕｄｉｏＶｉｓｕａｌ）サ
ービスとしてＡＶサービス用のサービス規定、プロトコ
ル規定、マルチメディア多重化フレーム構成規定がＩＴ
Ｕ−Ｔ勧告（または、草案）Ｈ．３２０，Ｈ．２４２，
Ｈ．２２１等として発表されている。

【０００５】Ｈ．２２１では、６４Ｋｂｐｓから１９２
０ＫｂｐｓまでのＡＶサービスにおけるフレーム構成及
び端末能力の交換や通信モードのＦＡＳ（Ｆｒａｍｅ
ＡｌｉｇｎｍｅｎｔＳｉｇｎａｌ）、ＢＡＳ（Ｂｉｔ
ＡｌｌｏｃａｔｉｏｎＳｉｇｎａｌ）の符号割り当
てが定義されている。Ｈ．２４２では、ＢＡＳを用いた
ＡＶ端末間での能力交換及び通信モード切り換え等のプ
ロトコルが定義され、Ｈ．３２０では、ＡＶサービス全
般のシステムアスペクトが定義されている。

【０００６】上記ＩＴＵ−Ｔ勧告（または、草案）にお
いては、エンド・ツー・エンドの物理コネクションの設
定及びインチャネルでのＦＡＳによる同期確率後、イン
チャネルでのＢＡＳを用いた端末能力の交換シーケン
ス、通信モードの指定によるモード切り換えシーケンス
等の手順により、端末間で画像、音声、データ等のマル
チメディア通信を行うための方法が規定されている。

【０００７】但し、各端末において、自己の端末能力を
状況に応じて変化させたり、交換された能力の範囲内で
どの通信モードを用いるかは規定の範囲外である。

【０００８】マルチメディア通信における各メディアの
情報転送速度は、音声情報は音声符号化方式を指定する
ことで決定され、データ情報は、その使用の有無、使用
する場合の転送速度を指定することにより決定され、設
定した通信路全体の情報転送速度から、音声情報の転送
速度とデータ情報の転送速度とを差し引いた残りが、画
像情報の転送速度になる。

【０００９】ここで、複数の端末と接続し、多地点間通
信を行う多地点間通信装置がある。該多地点間通信装置
において従来は、音声については、合成／切り換えの両
方とも可能であるが、画像については、地点切り換えが
主流である。

【００１０】しかし、現在、半導体技術の進展や高速処
理技術の進展及び標準化の進展等に伴い、複数地点の画
像を合成する機能を持つ多地点間通信装置も存在する。

【００１１】

【発明が解決しようとする課題】しかしながら、多地点
間との相互通信を考えた場合には、回線部は当然複数持
つ必要がある。更に、画像や音声の通信を行う際には、
通信路の容量に限りがあるので、データを圧縮／伸張す
る符号化／復号化処理が行われる。このため、同時に相
互通信する端末数分だけの画像復号化部を持つ必要があ
る。

【００１２】ここで、音声圧縮の場合には、画像に比べ
ればデータ量も少ないので、音声符号化／復号化部を複
数持つことは、それ程問題にはならない。

【００１３】しかし、画像圧縮の場合には、アルゴリズ
ムも複雑で且つデータ量も多いため、回路規模が膨大と
なり、高速演算処理が必要となり、また、使用する記憶
素子の容量も非常に多くなるため、画像符号化／復号化
部を複数持つことは困難であるという問題点があった。

【００１４】そこで、時分割処理で復号化する手段もあ
るが、その場合には、各端末からのデータを受信して一
時的にバッファリングし、該バッファリングした蓄積量
に応じて復号化していかなければならないが、複数の相
手端末から非同期に且つ完全に独立して画像を受信する
ので、画像復号化部の受信能力を上回るようなデータを
受信してしまうという問題点があった。

【００１５】本発明は、上述した従来の技術の有する問
題点に鑑みてなされたもので、その目的とするところ
は、画像復号化部が１つで良く且つ画像復号化部のフレ
ームメモリの数も抑えることが可能で且つ復号化部を経
済的に構築することができ、更に、画像復号化部の処理
能力を有効に利用し且つ各端末毎にその処理能力を最適
に振り分けて複数の端末と同時に通信することが可能な
多地点間通信装置を提供することである。

【００１６】

【課題を解決するための手段】上記目的を達成するため
本発明の請求項１の多地点間通信装置は、複数の端末と
画像通信を行う多地点間通信装置において、前記複数の
端末から符号化画像を受信する受信手段と、前記複数の
端末からの符号化画像を復号化する画像復号化手段と、
前記複数の端末のそれぞれから受信した符号化画像を復
号化するための復号化処理能力の総計に基づいて前記画
像復号化手段の処理能力を調整する復号化処理能力調整
手段と、該復号化処理能力調整手段の調整結果に基づき
前記各端末毎に割り当て且つ割り当てられた各処理能力
に応じた受信能力を前記各端末に伝える伝達手段とを具
備したことを特徴とするものである。

【００１７】また、同じ目的を達成するため本発明の請
求項２の多地点間通信装置は、請求項１の多地点間通信
装置において、前記復号化処理能力調整手段は、前記全
ての端末から受信した符号化画像を復号化するための復
号化処理能力の総計が前記画像復合化手段の処理能力を
越えないように調整することを特徴とするものである。

【００１８】また、同じ目的を達成するため本発明の請
求項３の多地点間通信装置は、請求項１または２の多地
点間通信装置において、前記復号化処理能力調整手段
は、前記各端末毎に異なる処理能力を割り当てる処理能
力割り当て手段を含むことを特徴とするものである。

【００１９】また、同じ目的を達成するため本発明の請
求項４の多地点間通信装置は、前記請求項１の多地点間
通信装置において、前記復号化処理能力調整手段は、処
理能力の割り当ての比率を優先度の高い端末には高く且
つ優先度の低い端末には低く割り当てる処理能力割り当
て手段を含むことを特徴とするものである。

【００２０】また、同じ目的を達成するため本発明の請
求項５の多地点間通信装置は、前記請求項１の多地点間
通信装置において、前記復号化処理能力調整手段は、画
像を合成する画面サイズが大きい端末には処理能力を多
く割り当て且つ画像を合成する画面サイズが小さい端末
には処理能力を少なく割り当てる処理能力割り当て手段
をを含むことを特徴とするものである。

【００２１】また、同じ目的を達成するため本発明の請
求項６の多地点間通信装置は、前記請求項１の多地点間
通信装置において、前記伝達手段が伝達する情報は、前
記複数の端末が符号化するための符号化制御情報を含む
ことを特徴とするものである。

【００２２】また、同じ目的を達成するため本発明の請
求項７の多地点間通信装置は、前記請求項６の多地点間
通信装置において、前記符号化制御情報は転送レートで
あることを特徴とするものである。

【００２３】また、同じ目的を達成するため本発明の請
求項８の多地点間通信装置は、前記請求項６の多地点間
通信装置において、前記符号化制御情報は動き優先の符
号化を行うか、画質優先の符号化を行うかを指示する情
報であることを特徴とするものである。

【００２４】また、同じ目的を達成するため本発明の請
求項９の多地点間通信装置は、複数の端末と画像通信を
行う多地点間通信装置において、前記複数の端末から符
号化画像を受信する受信手段と、前記複数の端末からの
符号化画像を復号化する画像復号化手段と、前記複数の
端末のそれぞれから受信した符号化画像の画素数の総計
が前記画像復号化手段が所定時間内に処理可能な画素数
を超えないように調整する画素数調整手段と、該画素数
調整手段の調整結果に基づき前記各端末毎に割り当てら
れた前記所定時間内に処理可能な画素数に応じた受信能
力を前記各端末に伝える伝達手段とを具備したことを特
徴とするものである。

【００２５】また、同じ目的を達成するため本発明の請
求項１０の多地点間通信装置は、請求項９の多地点間通
信装置において、前記伝達手段が伝達する情報は、前記
複数の端末が符号化するための符号化制御情報を含むこ
とを特徴とするものである。また、同じ目的を達成する
ため本発明の請求項１１の多地点間通信装置は、請求項
１０の多地点間通信装置において、前記符号化制御情報
は転送レートであることを特徴とするものである。

【００２６】また、同じ目的を達成するため本発明の請
求項１２の多地点間通信装置は、請求項１０の多地点間
通信装置において、前記符号化制御情報は動き優先の符
号化を行うか、画質優先の符号化を行うかを指示する情
報であることを特徴とするものである。

【００２７】また、同じ目的を達成するため本発明の請
求項１３の多地点間通信装置は、複数の端末と画像通信
を行う多地点間通信装置において、前記複数の端末から
符号化画像を受信する受信手段と、前記複数の端末から
の符号化画像を復号化する画像復号化手段と、前記複数
の端末のそれぞれから受信した符号化画像をある任意の
時間内に処理する画素数が前記画像復号化手段のある任
意の時間内に処理する画素数を超えないように調整する
第１の画素数調整手段と、全ての端末から受信した符号
化画像のフレーム当たりの画素数の総計が前記画像復号
化手段のフレーム当たりの画素数を超えないように調整
する第２の画素数調整手段と、前記第１及び第２の画素
数調整手段の調整結果に基づき前記各端末に割り当てら
れた任意の時間内に処理する画素数とフレーム当たりの
画素数とに応じた受信能力を各相手端末に伝える伝達手
段とを具備したことを特徴とするものである。

【００２８】また、同じ目的を達成するため本発明の請
求項１４の多地点間通信装置は、請求項１３の多地点間
通信装置において、前記伝達手段が伝達する情報は、前
記複数の端末が符号化するための符号化制御情報を含む
ことを特徴とするものである。

【００２９】また、同じ目的を達成するため本発明の請
求項１５の多地点間通信装置は、請求項１３の多地点間
通信装置において、前記伝達手段が伝達する情報は、前
記複数の端末が符号化するための符号化制御情報を含む
ことを特徴とする

【００３０】

【作用】本発明の請求項１の多地点間通信装置は、複数
の端末から符号化画像が受信手段により受信され、該受
信された符号化画像が画像復号化手段により復号化さ
れ、複数の端末のそれぞれから受信した符号化画像を復
合化するための復号化処理能力の総計に基づいて前記画
像復号化手段の処理能力が処理能力調整手段により調整
され、該処理能力調整手段の調整結果に基づき前記各端
末毎に割り当てら、該割り当てられた各処理能力に応じ
た受信能力が伝達手段により各端末に伝達される。

【００３１】本発明の請求項２の多地点間通信装置は、
請求項１の多地点間通信装置の作用に加えて、前記復号
化処理能力調整手段により、前記全ての端末から受信し
た符号化画像を復号化するための復号化処理能力の総計
が前記画像復合化手段の処理能力を越えないように調整
される。

【００３２】本発明の請求項３の多地点間通信装置は、
請求項１または２の多地点間通信装置の作用に加えて、
前記復号化処理能力調整手段は、前記各端末毎に異なる
処理能力を割り当てる処理能力割り当て手段を含んでい
る。

【００３３】本発明の請求項４の多地点間通信装置は、
請求項１の多地点間通信装置の作用に加えて、前記復号
化処理能力調整手段は、処理能力の割り当ての比率を優
先度の高い端末には高く且つ優先度の低い端末には低く
割り当てる処理能力割り当て手段を含んでいる。

【００３４】本発明の請求項５の多地点間通信装置は、
請求項１の多地点間通信装置の作用に加えて、前記復号
化処理能力調整手段は、画像を合成する画面サイズが大
きい端末には処理能力を多く割り当て且つ画像を合成す
る画面サイズが小さい端末には処理能力を少なく割り当
てる処理能力割り当て手段をを含んでいる。

【００３５】本発明の請求項６の多地点間通信装置は、
請求項１の多地点間通信装置の作用に加えて、前記伝達
手段が伝達する情報は、前記複数の端末が符号化するた
めの符号化制御情報を含んでいる。

【００３６】本発明の請求項７の多地点間通信装置は、
請求項６の多地点間通信装置の作用に加えて、前記符号
化制御情報が転送レートである。

【００３７】本発明の請求項８の多地点間通信装置は、
請求項６の多地点間通信装置の作用に加えて、前記符号
化制御情報が動き優先の符号化を行うか、画質優先の符
号化を行うかを指示する情報である。

【００３８】本発明の請求項９の多地点間通信装置は、
前記複数の端末から符号化画像が受信手段により受信さ
れ、前記複数の端末からの符号化画像が画像復号化手段
により復号化され、前記複数の端末のそれぞれから受信
した符号化画像の画素数の総計が前記画像復号化手段が
所定時間内に処理可能な画素数を超えないように画素数
調整手段により調整され、該画素数調整手段の調整結果
に基づき前記各端末毎に割り当てられた前記所定時間内
に処理可能な画素数に応じた受信能力が前記各端末に伝
達手段により伝えられる。

【００３９】本発明の請求項１０の多地点間通信装置
は、請求項９の多地点間通信装置の作用に加えて、前記
伝達手段が伝達する情報が、前記複数の端末が符号化す
るための符号化制御情報を含んでいる。

【００４０】本発明の請求項１１の多地点間通信装置
は、請求項１０の多地点間通信装置の作用に加えて、前
記符号化制御情報が転送レートである。

【００４１】本発明の請求項１２の多地点間通信装置
は、請求項１０の多地点間通信装置の作用に加えて、前
記符号化制御情報が動き優先の符号化を行うか、画質優
先の符号化を行うかを指示する情報である。

【００４２】本発明の請求項１３の多地点間通信装置
は、複数の端末から符号化画像が受信手段により受信さ
れ、前記複数の端末からの符号化画像が画像復号化手段
により復号化され、前記複数の端末のそれぞれから受信
した符号化画像をある任意の時間内に処理する画素数が
前記画像復号化手段のある任意の時間内に処理する画素
数を超えないように第１の画素数調整手段により調整さ
れ、全ての端末から受信した符号化画像のフレーム当た
りの画素数の総計が前記画像復号化手段のフレーム当た
りの画素数を超えないように第２の画素数調整手段によ
り調整され、前記第１及び第２の画素数調整手段の調整
結果に基づき前記各端末に割り当てられた任意の時間内
に処理する画素数とフレーム当たりの画素数とに応じた
受信能力が伝達手段により各端末に伝えられる。

【００４３】本発明の請求項１４の多地点間通信装置
は、請求項１３の多地点間通信装置の作用に加えて、前
記伝達手段が伝達する情報が、前記複数の端末が符号化
するための符号化制御情報を含んでいる。

【００４４】本発明の請求項１５の多地点間通信装置
は、請求項１３の多地点間通信装置の作用に加えて、前
記伝達手段が伝達する情報が、前記複数の端末が符号化
するための符号化制御情報を含んでいる。

【００４５】

【実施例】以下、本発明の一実施例を図面に基づき説明
する。

【００４６】図１は、本発明の一実施例に係る多地点間
通信装置の構成を示すブロック図であり、特に、回線数
を４回線とし、同時通信を最大４端末と想定した場合の
構成を示すブロック図である。回線数に制限はないが、
説明の便宜上、以下、４回線で説明する。

【００４７】図１において、１ａ〜１ｄは第１〜第４の
回線インタフェース（Ｉ／Ｆ）部（受信手段）で、ＩＳ
ＤＮ（サービス総合デジタル網）ユーザ網インタフェー
スに従って回線を制御するものである。２ａ〜２ｄは第
１〜第４の多重分離化部で、後述する音声符号化部及び
音声復号化部からの音声データ、ビデオ符号化部及びビ
デオ復号化部からの画像データ、システム制御部からの
ＢＡＳを送信フレーム単位に多重化すると共に、受信レ
ームを構成単位の各メディアに分離し、各部に通知する
ものであり、ＩＴＵ−Ｔ勧告としては、Ｈ．２２１があ
る。

【００４８】３ａ〜３ｄは第１〜第４の音声符号化部
で、システム制御部の指示により、６４ｋｂｐｓＰＣ
Ｍ A-law、６４ｋｂｐｓＰＣＭ（μ-law）、７４ｋ
Ｈｚオーディオ（ＳＢ−ＡＤＰＣＭ）、３２ｋｂｐｓ
ＡＤＰＣＭ、１６ｋｂｐｓ（例えば、ＡＰＣ−ＡＢ）、
８ｋｂｐｓ等の音声符号化アルゴリズムに従って、音声
を符号化するものである。４ａ〜４ｄは第１〜第４の音
声復号化部で、第１〜第４の音声符号化部３ａ〜３ｄに
より符号化された音声データを復号化するものである。
５ａ〜５ｄは音声を合成する第１〜第４の音声合成部で
ある。

【００４９】６は画像を符号化する画像符号化部（画像
符号化手段）で、大容量の画像の生データに、動き補
償、駒落とし、フレーム間補償、ＤＣＴ変換及びベクト
ル量子変換等の種類の手法によって帯域圧縮を行い、小
容量化してデジタル回線で伝送可能にしている。現在、
ＩＳＤＮ回線の基本インタフェースが６４ｋｂｐｓであ
るが、この伝送速度でも伝送可能な画像の符号化方式と
しては、ＩＴＵ−Ｔ勧告Ｈ．２６１がある。

【００５０】７は受信した各端末の画像符号化データを
復号化する画像復号化部で、時分割処理で復号化処理を
行うため、画像復号化部としては１つで良い。８は各端
末から受信した各画像を合成する画像合成部、９は交換
処理部で、システム制御部からの指示により、各復号化
部４ａ〜４ｄ，７からの各端末の受信した音声や画像の
データを交換して各合成部５ａ〜５ｄ，８へ転送するも
のである。

【００５１】１０はシステム制御部で、ＣＰＵ（Ｃｅｎ
ｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ；中央演算処
理装置）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒ
ｙ；読み出し専用メモリ）、ＲＡＭ（ＲａｎｄｏｍＡ
ｃｃｅｓｓＭｅｍｏｒｙ；読み書き可能メモリ）、補
助記憶装置、キャラクタジェネレータ、画像信号生成回
路等を備え、各部の状態を監視して、本装置全体の制
御、状態に応じた操作・表示画面の作成及びアプリケー
ションプログラムの実行等を行うものである。

【００５２】１１は操作部で、本装置の制御全般を行う
ための制御情報を入力するもので、キーボード，タッチ
パネル，マウス等からなる。１２は画像復号化処理能力
制御部で、システム制御部１０内に設けられ、画像復号
化部７の復号化処理能力に応じて、各端末毎に処理能力
を割り当てる制御を行うものである。

【００５３】次に、画像復号化部７の内部構成を図２に
基づき説明する。図２は、図１における画像復号化部７
の内部構成を示すブロック図あり、同図中、１６，１
７，１８，１９は画像符号化データのＢＣＨ（誤り訂正
フレーム同期）フレームを外すためのＢＣＨ復号化部、
２０，２１，２２，２３は受信バッファで、ＢＣＨフレ
ームが外され画像データ多重化フレームを一時蓄積し、
画像復号化部７との同期をとるものである。２４は復号
化選択回路で、受信バッファ２０乃至２３の画像符号化
データの内、復号化する１つの画像符号化データを選択
するものである。２５は画像フレーム分離部で、画像デ
ータ多重化フレームのフレームヘッダ（ＦＨ）とＧＯＢ
ヘッダ（ＧＯＢＨ）を外すものである。２６は画像デー
タを可変長復号化するＶＬＤ部、２７は各マクロブロッ
クヘッダ（ＭＢＨ）の係数データを逆量子化する逆量子
化部、２８は前記係数データを基に逆ＤＣＴ（個別余弦
波変換）する逆ＤＣＴ部、２９はフレームヘッダの内容
を解読するＦＨ解読部、３０はＧＯＢヘッダの内容を解
読するＧＯＢＨ解読部、３１はマクロブロックヘッダの
内容を解読するＭＢＨ解読部である。

【００５４】３２はＧＯＢヘッダ及びマクロブロックヘ
ッダからのヘッダ情報の量子化ステップサイズを設定す
る量子化ステップサイズ設定部、３３，３４は第１及び
第２スイッチで、ＩＮＴＥＲ（フレーム間差分符号化）
モード時に受信した画像データと前フレームの画像デー
タとの差分をとり、フレームメモリ（ＦＭ）に書き込む
か、ＩＮＴＲＡ（フレーム内符号化）モード時に受信し
た画像データをそのままフレームメモリに書き込むかを
切り換えるものである。３５，３６は第３及び第４スイ
ッチで、フィルター処理を行うか否かを切り換えるもの
である。３７はフィルター（Ｆｉ）で、動き補償モード
時に前フレームにフィルター処理を施すものである。３
８は第１ＦＭ制御部で、復号化時に前フレームの画像デ
ータを記憶しているフレームメモリから読み出すメモリ
アドレスを出力するものである。３９は第２ＦＭ制御部
で、復号化時に復号化処理を施した画像データをフレー
ムメモリに書き込むメモリアドレスを出力するものであ
る。４０は第３ＦＭ制御部で、フレームメモリの画像デ
ータを後述する第９スイッチ４９に転送するため該フレ
ームメモリから読み出すメモリアドレスを出力するもの
である。

【００５５】４１，４２は第１及び第２フレームメモリ
（ＦＭ）、４３は第５スイッチで、第１〜第３ＦＭ制御
部３８〜４０から選択して第１ＦＭ４１へメモリアドレ
スを出力するものである。４４は第６スイッチで、第１
〜第３ＦＭ制御部３８〜４０から選択して第２ＦＭ４２
へメモリアドレスを出力するものである。４５は第７ス
イッチで、ＦＭへの書き込み時に、どのＦＭに書き込む
かを選択するものである。４６は第８スイッチで、ＩＮ
ＴＥＲモード時に前フレームを参照するが、その時にど
のＦＭから読み出すかを選択するものである。４７は画
像復号化部７全体を制御する復号化制御部、４８は復号
化制御部４７内に設けられてフレームメモリ管理テーブ
ル等を記憶する記憶部、４９は第９スイッチで、交換処
理部、画像出力部へ出力する画像データのＦＭを選択す
るものである。

【００５６】このような構成の画像復号化部７により、
複数の画像データを時分割で処理し且つ恰も同時に処理
しているように見せることが可能となる。

【００５７】次に、画像合成部８の内部構成を図３に基
づき説明する。図３は、図１における画像合成部８の内
部構成を示すブロック図あり、同図中、５０は画素密度
変換部で、画像復号化部７からの画像データを画素密度
変換するものである。５１は画像メモリで、各端末から
の画像データを別々に記憶するものである。５２は画像
メモリ制御部で、画像メモリ５１への画像データの書き
込み及び読み出し時のメモリ空間を指定するものであ
る。５３は記憶部で、各端末からの画像データを記憶す
るメモリ空間領域を登録しておくものである。５４はカ
ラー・ルックアップ・テーブル、５５はスイッチ制御部
で、グラフィック画像データがある特定のデータの時に
画像データに切り換える制御を行うものである。５６は
スイッチで、グラフィック画像データと受信画像データ
とを切り換えるものである。５７は同期信号を発生する
同期信号発生部、５８はフォーマットを変換するフォー
マット変換部である。

【００５８】このような構成の画像合成部８により、カ
ラー・ルックアップ・テーブル５４からのグラフィック
画像データをメモリに全面合成し、そのメモリ画面上に
複数の受信画像データをウインドウとして嵌め込むこと
ができる。また、受信画像データ上にスーパーインポー
ズ表示のようにカラー・ルックアップ・テーブル５４か
らのグラフィック画像データを嵌め込んで送信すること
が可能である。更に、複数の受信画像データが重なり合
った時に、その重なり部分のどちらかの受信画像を選択
してメモリに書き込むことが可能である。

【００５９】次に、画像データの符号化について説明す
る。符号化処理を行う画像の構成を図４に示す。ＩＴＵ
−Ｔ勧告Ｈ．２６１においては、取り扱うビデオ信号
は、ＮＴＳＣ，ＰＡＬ，デジタルテレビ規格等の異なっ
た複数の規格が存在するため、お互いに通信ができるよ
うに世界共通のビデオ信号フォーマットを採用してい
る。

【００６０】このフォーマットは、図４（ａ）に示すよ
うにＣＩＦフォーマットと称し、標本数が輝度Ｙは３５
２画素×２８８ライン、色差（Ｃｒ，Ｃｂ）は１７６画
素×１４４ラインに規定されている。

【００６１】標本点（サンプリング点）については、図
４（ｆ）に示すように色差（Ｃｒ，Ｃｂ）は、輝度４地
点（Ｙ１，Ｙ２，Ｙ３，Ｙ４）の等距離にある点と定め
られている。また、ＣＩＦフォーマットの１／４は図４
（ｂ）に示すようにＱＣＩＦフォーマットと称し、標本
数が輝度Ｙは１７６画素×１４４ライン、色差（Ｃｒ，
Ｃｂ）は８８画素×７２ラインに規定されている。

【００６２】ここで、上記フォーマットは、図４（ｃ）
に示すように複数個のＧＯＢフォーマットで構成され、
そのＧＯＢフォーマットは図４（ｄ）に示すように３３
個のＭＢフォーマットで構成され、該ＭＢフォーマット
は８画素×８ラインの輝度ブロックをＹ１，Ｙ２，Ｙ
３，Ｙ４の４ブロックと、８画素×８ラインの色差ブロ
ックをＣｒ，Ｃｂの２ブロックとで構成されており、階
層構造になっている。この階層構造により、符号化をＭ
Ｂ単位で行うことが可能である。

【００６３】ＧＯＢフォーマットは、標本数が輝度１７
６画素×４８ライン、色差（Ｃｒ，Ｃｂ）は８８画素×
２４ラインに規定され、ＣＩＦフォーマットの１／１
２、ＱＣＩＦフォーマットの１／３に相当し、ＧＯＢの
番号がＣＩＦはＧＯＢ１からＧＯＢ１２まで、ＱＣＩＦ
はＧＯＢ１，ＧＯＢ３，ＧＯＢ５がそれぞれ割り当てら
れている。

【００６４】符号化された画像データのフレーム構成
は、図５に示すような多重化フレーム構成となってい
る。但し、ここでは説明の便宜上、ＦＨを付加したまま
説明することとする。

【００６５】図５（ａ）は、ＧＯＢのブロックによるフ
レーム構成を示している。このように画面の１フレーム
のデータの先頭にＦＨが付き、画面を１２分割した１ブ
ロックをＧＯＢとして、ＧＯＢ１からＧＯＢ１２まで順
次伝送される。

【００６６】図５（ｂ）は、図５（ａ）のＦＨとＧＯＢ
の詳細内容を示している。ＦＨは、ＰＳＣとＴＲとＰＴ
ＹＰＥとで構成されている。ＰＳＣはフレーム開始符号
で、２０ビットの“０００００００００００００
００１００００”である。ＴＲはフレーム番号で、５
ビットで“１”から“３０”までの値を使用する。ＰＴ
ＹＰＥはタイプ情報で、６ビットで、スプリット・スク
リーン指示情報、書画カメラ指示情報、画面凍結解除、
情報源フォーマット指示情報（ＣＩＦ，ＱＣＩＦ）が含
まれる。つまり、図２のＦＨ解読部２９は、上記内容の
解読結果を符号化制御部４７に通知することになる。

【００６７】ＧＯＢヘッダは、ＧＢＳＣとＧＮとＧＱＵ
ＡＮＴとで構成されている。ＧＢＳＣはＧＯＢ開始符号
で、１６ビットの“０００００００００００００
００１”である。ＧＮはＧＯＢ番号で、４ビットで
“１”から“１２”までの値を使用する。ＧＮが“０”
の場合にはＰＳＣで使用しているので、ＦＨのＰＳＣと
ＧＯＢのＧＢＳＣ＋ＧＮは、共に２０ビットで連続した
値と見なすことができる。ＧＱＵＡＮＴは量子化特性情
報で、５ビットで量子化ステップサイズの情報を含む。

【００６８】ＭＢヘッダはマクロブロック（以下、ＭＢ
と記述する）と称する画素ブロックのヘッダである。Ｍ
Ｂは上述したように、３３個のＭＢで１つのＧＯＢを構
成しており、１ＭＢは８画素×８ラインの輝度信号
（Ｙ）４個と８画素×８ラインの色差信号（Ｃｂ，Ｃ
ｒ）２個で構成されている。ここで、各ブロックの番号
として、Ｙには１から４まで、Ｃｂには５、Ｃｒには６
の番号がそれぞれ割り当てられている。

【００６９】ＭＢヘッダはＭＢＡとＭＴＹＰＥとＭＱＵ
ＡＮＴとＭＶＤとＣＢＰとで構成されている。ＭＢＡは
ＭＢの位置を表わすマクロブロックアドレスで、先頭の
ＭＢのみ絶対値で、それ以降は、差分の可変長符号であ
る。ＭＴＹＰＥはＭＢのタイプ情報で、ＩＮＴＲＡ（フ
レーム内符号化）、ＩＮＴＥＲ（フレーム間差分符号
化）、ＭＣ（動き補償付きフレーム間差分符号化）、Ｆ
ＩＬ（フィルター）等、そのＭＢのデータに処理を施し
た処理タイプ情報が挿入されている。ＭＱＵＡＮＴはＧ
ＱＵＡＮＴと同じである。ＭＶＤは動きベクトル情報で
ある。ＣＢＰは有意ブロックパターンで、上記ＭＢのＹ
の４個とＣｒ，Ｃｂのうちの有効な画素ブロックの番号
を情報として含んでいる。このＭＢヘッダの後には、圧
縮符号化した画像データが上述したようにＹ４個とＣ
ｒ，Ｃｂのうちの有意ブロックとなった画素ブロックが
番号順に入っている。

【００７０】回線に出力されるデータは、図６に示すよ
うなフォーマットの誤り訂正フレームである。同図にお
いて、Ｓｎは誤り訂正フレームで、（Ｓ１，Ｓ２，Ｓ
３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８）＝（０００１１０
１１）の関係式が成り立つ。また、Ｆｉはフィル識別子
で、“１”の時、画像データ、“０”の時、フィルビッ
ト（無効データ）である。

【００７１】１フレームは、誤り訂正フレームビットが
１ビット、フィル識別子が１ビット、画像データが４９
２ビット、誤り訂正パリティーが１８ビットの合計５１
２ビットで構成されている。また、このフレームが８フ
レームで１マルチフレームを構成している。

【００７２】この画像の圧縮方法及び画像フォーマット
は、ＩＴＵ−Ｔ勧告Ｈ．２６１として既に規定されてお
り、その勧告に準拠していれば、他の勧告に準拠したテ
レビ電話、テレビ会議とも相互通信が可能となる。

【００７３】次に、符号化方法を説明すると、まず、自
然界の映像には画素間の相関が強いことや周波数成分が
低周波に集中し高周波は小さいこと等を利用してフレー
ム内のデータを８画素×８画素のブロックとして２次元
ＤＣＴ変換するフレーム内符号化と、前フレームと現フ
レームの同位置の画像ブロックにおいて両者の相関が強
い時にフレーム間の差分を取りその差分値に対して８画
素×８画素のブロックとして２次元ＤＣＴ変換するフレ
ーム間符号化と、前フレームから現フレームへ類似した
画像ブロックが相対的に隣接移動した場合にこれを検知
してその画像ブロックの移動量と移動方向の情報を送る
のみで画像データそのものを送らずに済ませることで発
生データ量を減らす動き補償と、ＤＣＴ変換後の各周波
数毎の係数値が低周波領域では値が発生するが高周波領
域では値が発生し難く０値が続くことを利用したゼロラ
ンレングス符号化と、データの発生量に応じてデータの
量子化ステップ幅を変更することでデータの発生量を調
整する量子化と、発生頻度の高いデータパターンに対し
ては短い符号値を発生頻度の低いデータパターンに対し
ては長い符号値を割り当てることでトータル的に発生し
たデータ量よりも少ないデータ量に変換する可変長符号
化と、フレームをスキップして画像データそのものを落
としてしまう駒落とし等の複数の圧縮技術をハイブリッ
トにし低レートの通信においても動画像を通信可能とし
ている。

【００７４】次に、画像復号化処理能力制御部１２につ
いて図７及び図８を用いて説明する。図７は、画像復号
化処理能力の割り当て制御の動作を示すフローチャート
であり、図８は、画像復号化部７の処理可能なメモリ空
間の割り付け制御の動作を示すフローチャートである。
ここで、画像復号化処理能力は、一例として、単位時間
当たりに処理可能な画素数がある。

【００７５】例えば、ＣＩＦで６０ｆｐｓの場合には、
１秒当たりの処理する画素数は、３５２画素×２８８ライン×６０フレーム＝６，０８
２，５６０である。

【００７６】また、ＱＣＩＦの場合には、上記ＣＩＦの
場合の１／４である。

【００７７】ここで、画像復号化処理能力を説明する際
に、１秒当たりに処理する画素数での説明を簡略化する
ため、以降は、画素数ではなく、画素フォーマット（例
えば、ＣＩＦ／ＱＣＩＦ）とフレームレート（例えば、
フレーム／秒）との組み合わせで説明することにする。
但し、本発明がこの組み合わせに限定されるものでない
ことは明白である。

【００７８】先に、図７を用いて説明する。まず、Ｘ，
Ｙを「０」にセットして初期化し（ステップＳ７０
１）、画像復号化部７の復号化処理能力Ｘを設定し（ス
テップＳ７０２）、同時通信する端末数Ｎを設定し（ス
テップＳ７０３）、その端末に対する優先順位に従って
番号ｎを付ける（ステップＳ７０４）。その後、ｎとＹ
ｏは“０”を設定し（ステップＳ７０５）、ｎを＋１し
て（ステップＳ７０６）、画像復号化部７の復号化処理
能力を端末数Ｎで割り、各端末に割り当てる平均の復号
化処理能力を求め、優先係数αｎ（後述する）を乗ずる
ことにより、各端末に割り当てる処理能力Ｙｎを算出し
（ステップＳ７０７）、その算出された処理能力Ｙｎを
第ｎ番目の端末の処理能力として設定する（ステップＳ
７０８）。

【００７９】次に、その処理能力を累計し（ステップＳ
７０９）、その累計した処理能力が画像復号化部７の処
理能力を超えていなければ（ステップＳ７１０）、全て
の端末への処理能力の割り当てが終了したか否かを調べ
（ステップＳ７１１）、終了していなければ前記ステッ
プＳ７０６へ戻る。

【００８０】次にｎを＋１して、次の端末の処理能力の
割り当てを行うが、その際には、同時通信する端末数を
画像復号化部７の処理能力から既に割り当て済みの累計
の処理能力を減じた処理能力を割り当ての完了していな
い端末数で割り、その平均値を算出し、該平均値にその
端末の優先係数を乗じてその端末の復号化処理能力を算
出する（ステップＳ７０７）。その算出された処理能力
を、その端末の処理能力として設定し（ステップＳ７０
８）、以下、同様の処理を行う。このようにして、全て
の端末に対する処理能力の割り当てが完了すると、本処
理動作を終了する。また、前記ステップＳ７１０におい
て累計した処理能力が画像復号化部７の処理能力を超え
ていればエラー処理を行った後（ステップＳ７１２）、
本処理動作を終了する。

【００８１】画像復号化処理能力制御部１２は、上述し
たように算出された各端末の処理能力を基に、各端末に
対して、その割り当てられた処理能力に応じた端末受信
能力を送信（通知）する。

【００８２】次に、各端末にメモリ容量を割り振る制御
動作を、図８を用いて説明する。

【００８３】ここで、画像復号化部７の画像メモリ空間
は、現フレームとの差分をとるために、前フレームが蓄
積されている参照メモリと現フレームを蓄積するメモリ
が必要である。この両者に割り当てられる許容メモリ空
間は、画像復号化部７が持つメモリ容量により決定され
てしまう。そこで、この許容されるメモリ容量の範囲内
で如何に各端末にメモリ容量を割り振るかを制御するこ
とが重要である。

【００８４】まず、Ｖ，Ｗを「０」にセットして初期化
し（ステップＳ８０１）、画像復号化部７の処理可能な
時間当たりの画素数Ｖを設定し（ステップＳ８０２）、
同時通信する端末数Ｎを設定し（ステップＳ８０３）、
その端末について優先順位に従って番号ｎを付ける（ス
テップＳ８０４）。その後、ｎとＷｏは“０”を設定し
（ステップＳ８０５）、ｎを＋１して（ステップＳ８０
６）、画像復号化部７の復号化処理可能な画素数を端末
数Ｎで割り、各端末に割り当てる平均の復号化処理可能
な画素数を求め、優先係数βｎ（後述する）を乗ずるこ
とにより、各端末に割り当てる画素数Ｗｎを算出し（ス
テップＳ８０７）、その算出された画素数Ｗｎを第ｎ番
目の端末の画素数として許容されるメモリ領域に割り当
てる（ステップＳ８０８）。

【００８５】次に、その画素数を累計し（ステップＳ８
０９）、その累計した画素数が画像復号化部７の処理可
能な画素数を超えていなければ（ステップＳ８１０）、
全ての端末への処理可能な画素数の割り当てが終了した
か否かを調べ（ステップＳ８１１）、終了していなけれ
ば前記ステップＳ８０６へ戻る。

【００８６】ここでｎを＋１して、次の端末の処理可能
な画素数の割り当てを行うが、その際には、画像復号化
部７の処理可能な画素数から既に割り当て済みの累計の
処理可能な画素数を減じた画素数を割り当ての完了して
いない端末数で割り、その平均値を算出し、該平均値に
その端末の優先係数を乗じてその端末の復号化処理可能
な画素数を算出する（ステップＳ８０７）。その算出さ
れた処理可能な画素数を、その端末の画素数として設定
し（ステップＳ８０８）、以下、同様の処理を行う。こ
のようにして、全ての端末に対する処理可能な画素数の
割り当てが完了すると、本処理動作を終了する。また、
前記ステップＳ８１０において累計した処理可能な画素
数が画像復号化部７の処理可能な画素数を超えていれば
エラー処理を行った後（ステップＳ８１２）、本処理動
作を終了する。

【００８７】画像復号化処理能力制御部１２は、上述し
たように算出された各端末の画素数を基に、各端末に対
して、その割り当てられた画素数に応じた端末受信能力
を送信する。

【００８８】ここで、相手端末に送信する相手端末の送
信データを定義する制御情報として、上記処理能力や処
理可能な画素数に応じた端末受信能力に置き換えて送信
しているが、上記情報をそのまま伝達し、相手端末でそ
の情報に基づいた符号化制御を行うこともできる。ま
た、上記情報以外に、符号化に係るあらゆる制御情報
（例えば、データの転送レート、動き優先か画質優先か
の優先モード等）も、図７に示す割り当て制御の動作フ
ローで同様に各端末の割り当てを行い、その割り当て情
報を相手端末に送信し、相手端末がその情報に基づいて
制御したり或いはその情報に応じた端末受信能力を送信
することは可能である（なお、動き優先とは、伝送する
１フレーム当たりの画素数は少なくしてもフレーム数の
多い画像を伝送するモードであり、また、画質優先と
は、フレーム数は少なくとも１フレーム当たりの画素数
を多く伝送するモードである）。

【００８９】ここでは、上述したＩＴＵ−Ｔ勧告Ｈ．２
２１やＨ．２６１等に限定されないことは明白である
が、説明の便宜上、上記勧告に沿って説明することにす
る。

【００９０】順番は前後するが、前述の優先係数αｎ、
βｎとは、各端末に割り当てる回線に対する容量を決め
たものである。例えば、画像復号化部７の復号化処理能
力がＣＩＦを３０ｆｐｓで処理可能な場合に、４つの端
末と通信する場合に、各端末に優先順位が設定されてい
なければ、各端末に割り当てられる処理能力は、ＣＩＦ
で７．５ｆｐｓの処理能力、ＱＣＩＦで３０ｆｐｓの処
理能力である。

【００９１】４つの端末の内の１つの端末の優先順位が
設定されていて優先係数が「２」の場合には、平均の処
理能力の２倍の能力が割り当てられるので、通常の２つ
の端末分の処理能力が割り当てられ、残りの２つの端末
分を３つの端末で平均することになり、結果として、各
端末の処理能力の比率は、３：１：１：１になる。この
場合には、１つの端末がＣＩＦで１５ｆｐｓ、３つの端
末がＱＣＩＦで２０ｆｐｓとなる。

【００９２】このようにして算出された各処理能力を相
手端末に伝えることにより、欠く相手端末は、その処理
能力に応じて画像を符号化して送信してくるので、画像
復号化部７が持つ復号化処理能力を最大限利用すること
ができると共に、各端末に対して最適な処理能力の割り
当てが可能となるので、非常に効率のよい優れた多地点
画像通信を実現することができる。

【００９３】次に、画像復号化部７全体の動作について
説明する。

【００９４】上述した方法により各端末から受信された
符号化画像データは、各々別々にＢＣＨ符号化されて各
々の受信バッファに蓄積される。ここでは、複数のＢＣ
Ｈ復号化部にしているが、時分割処理により１つにする
ことは可能である。

【００９５】復号化制御部４７は、復号化する前に受信
バッファの蓄積状況を検索し、フレームヘッダを検知す
る。或は、受信バッファの蓄積容量を算出する（Ｈ．２
６１においては、ＱＣＩＦでは１フレーム当たり最大６
４ｋｂｉｔ、ＣＩＦでは１フレーム当たり最大２５６ｋ
ｂｉｔと定められている）等の方法により、１フレーム
蓄積されているようであれば、この１フレーム以上蓄積
されている受信バッファの内の１つから選択して画像符
号化データを読み出す。そして、その読み出したデータ
に対してＶＬＤ、逆量子化、逆ＤＣＴ等の復号化処理を
施して画像データにする。

【００９６】そして、ＩＮＴＥＲモードの時には、選択
された受信バッファの画像データの前画像データを蓄積
しているＦＭのメモリ領域を記憶部４８に登録されてい
るＦＭ管理テーブルから検索して、第８スイッチ４６で
そのＦＭのメモリ領域を選択して第１ＦＭ制御部３８の
アドレス制御により、その前画像データを読み出す。そ
して、ノイズ除去等のフィルター処理が必要であればフ
ィルター３７によりフィルター処理を施し、第１及び第
２スイッチ３３，３４により加算器オン（ＯＮ）を選択
し、上記復号化処理された画像データと前画像データと
を加算して、空いているＦＭのメモリ領域をＦＭ管理テ
ーブルから検索して第７スイッチ４５により、そのＦＭ
のメモリ領域を選択し、第２ＦＭ制御部３９のアドレス
制御により、加算した画像データを書き込む。

【００９７】また、ＩＮＴＲＡモードの時には、第８ス
イッチ４６で選択したＦＭのメモリ領域からの読み出し
は行わず、復号化処理された画像データを第１及び第２
スイッチ３３，３４により加算器オフ（ＯＦＦ）を選択
し、第７スイッチ４５により選択したメモリ領域に、そ
の画像データを書き込む。

【００９８】画像データを変換処理部へ転送する際に
は、第９スイッチ４９により読み出す画像データのＦＭ
のメモリ領域を選択し、第３ＦＭ制御部４０のアドレス
制御により、画像データを読み出す。

【００９９】この画像データを転送する際には、画像復
号化部７から変換処理部へ、その画像データがどの受信
バッファからの画像データであるかを識別する情報も転
送する。

【０１００】受信画像のフレームメモリの割り当て状態
を図９及び図１０に示す。図９（ａ）は、ＣＩＦフォー
マットで、１：１での通信において受信した場合のフレ
ームメモリの使用状態を示す。

【０１０１】図９（ｂ）は、ＱＣＩＦフォーマットで、
１：１で通信した場合のフレームメモリの使用状態を示
す。ＱＣＩＦで通信している場合にはメモリの未使用領
域が多く、かなり無駄である。

【０１０２】図９（ｃ）は、本実施例において４つの端
末が同じ復号化処理能力を割り当てられて同時通信する
場合のフレームメモリの使用状態を示す。各端末からは
ＱＣＩＦフォーマットで受信され、第１，第２，第３，
第４端末Ａ，Ｂ，Ｃ，Ｄに対してフレームメモリのメモ
リ領域を４分割して、ＱＣＩＦ（Ａ），ＱＣＩＦ
（Ｂ），ＱＣＩＦ（Ｃ），ＱＣＩＦ（Ｄ）にそれぞれ割
り当てられている。

【０１０３】図１０（ａ）は、図９（ｃ）の時のＣＩＦ
で割り当てられた場合のフレームメモリの使用状態を示
す。この場合は、メモリ容量はＱＣＩＦで受信する場合
より多く必要である。

【０１０４】図１０（ｂ）は、本実施例において４つの
端末中、１つの端末が優先され、その処理能力の比率が
３：１：１：１の場合で、１つの端末がＣＩＦで、３つ
の端末がＱＣＩＦの場合のフレームメモリの使用状態を
示す。ここで、復号化処理に必要な参照フレームは同様
に必要なので、フレームメモリは上記フレームメモリの
２倍必要になる。

【０１０５】こうして、各端末からの画像データの復号
化処理は、上記メモリ領域を使用して行われる。変換処
理部への画像データの転送も、各端末の割り当てられた
メモリ領域毎に転送される。

【０１０６】図９（ｃ）の場合のＦＭ動作タイミングを
図１１に示す。同図において、画像データは、現在復号
化されている画像データを示している。フレームの処理
周期に対して、１フレームの画像データの復号化処理時
間が短くなるように、フレーム周期が設定されている。
ブロックの大きさは処理時間を示し、ブロック内の数字
はフレーム識別番号で、受信バッファとフレーム番号で
表わしている。例えば、Ａ１は受信バッファＡのフレー
ム番号１番目である。書き込みＦＭは上記画像データが
書き込まれるＦＭ番号である。読み出しＦＭは上記画像
データと加算されるための前画像データが読み出される
ＦＭ番号である。

【０１０７】このことから、画像データがＡ２で、書き
込みＦＭがＦＭ２（Ａ）で、読み出しＦＭがＦＭ１
（Ａ）の場合には、受信バッファＡから読み出された画
像符号化データを復号化した画像データを、ＩＮＴＥＲ
モード時はＦＭ１（Ａ）に蓄積されている前回の受信バ
ッファＡの画像データＡ１と加算してＦＭ２（Ａ）に書
き込み、ＩＮＴＲＡモードの時はそのままＦＭ２（Ａ）
に書き込むことを表わしている。また、バッファに復号
化処理すべき画像符号化データが１フレーム分蓄積され
ていない場合には、そのフレーム処理周期は何もしな
い。

【０１０８】画像符号化データを復号化している途中で
エラーが発生した場合には、符号化制御部４７により直
ちに復号化処理を中断して、書き込まれていたＦＭは更
新されず、引き続いて保持されて次回の復号化処理まで
持ち越される。そのため、フレーム処理周期毎にＦＭの
使用状況を管理する必要がある。

【０１０９】この管理のためのフレームメモリ管理テー
ブルを図１２に示す。このフレームメモリ管理テーブル
は、記憶部４８に記憶されており、毎フレーム周期毎に
画像データの書き込みの最初に空きＦＭを参照し、書き
込みが終了すると、加算するために読み出されていたＦ
Ｍの画像データは古くなり、この古い画像データは不要
となるため、このＦＭは空として登録され、書き込まれ
ていたＦＭの画像データが古い画像データにとって代わ
ることになるため、このＦＭが新規に登録される。

【０１１０】図１２の場合は、図１１の矢印の位置での
登録状況が示されている。

【０１１１】画像データＢ２をＦＭ１（Ｂ）から画像デ
ータＢ１を読み出して加算し、ＦＭ２（Ｂ）への書き込
みが終了したところなので、ＦＭ１（Ｂ）が空き、ＦＭ
２（Ｂ）がＢ２となっている。復号化処理された画像デ
ータを画像出力部へ転送するためにＦＭから読み出す場
合には、フレーム処理周期の１周期前に復号化処理され
た画像データを次のフレーム処理周期の時に読み出すの
が容易な制御でよい。但し、復号化処理のために書き込
み処理中のＦＭ以外であれば、どのＦＭから画像データ
を読み出してもよい。また、その読み出された画像デー
タと共にフレーム識別番号も図３の画像合成部８へ転送
される。転送された画像データは画素密度変換部５０に
より画素密度変換されて画像メモリ５１に記憶される。
その際に、画像メモリ制御部５２は、記憶部５３に記憶
されている各相手端末用に割り振られた画像メモリ５１
のメモリ空間を参照して、上記フレーム識別番号により
対応する画像メモリ空間に画像データを書き込む。

【０１１２】書き込まれた画像データを表示する場合
は、そのメモリ空間を読み出し、スイッチ５６とＡ／Ｄ
変換噐を経て表示部に表示される。

【０１１３】この様に、複数端末からの複数の画像デー
タを時分割処理により復号化することにより、復号化部
を複数持たずに１つの復号化部で済む。また、復号化部
のフレームメモリの数も、同時に通信する必要がある端
末の台数分に１台分加算した数だけあれば済むので、複
数の端末と同時に通信する場合でも経済的に復号化部を
構築することができる。

【０１１４】図１３は、ＦＭ１とＦＭ２をフルに使用し
た場合の受信画像のフレームメモリの割り当て状態を示
す。ＦＭ１とＦＭ２をＱＣＩＦフォーマットで８つに分
割し、最大７台の端末と通信することが可能となる。こ
の場合には、各ＱＣＩＦのメモリ領域は端末毎に固定さ
れずに、各端末の復号化される画像データは、ＩＮＴＲ
Ａモードの時は、図１４に示すＦＭ管理テーブルから開
いている若い番号のメモリ領域を検出して該当するメモ
リ領域に書き込まれる。ＩＮＴＥＲモードの時は、加算
の対象となる前画像データは図１４に示すＦＭ管理テー
ブルから検出し、該当するメモリ領域の画像データを読
み出し、復号化処理された画像データと加算して上記メ
モリ領域に書き込まれる。

【０１１５】この様に、画像復号化部の復号化処理能力
を最大限利用し且つ大容量の画像メモリも最大限利用
し、更に、端末毎の転送能力が最適となるように処理能
力を割り付けることが可能となるので、全く無駄のない
最適な多地点間の画像通信が可能となる。

【０１１６】

【発明の効果】以上詳述したように本発明の多地点間通
信装置によれば、複数端末からの複数の画像データを時
分割処理で復号化処理することにより、画像復号化手段
は複数持たずに１つで済み且つ画像復号化手段のフレー
ムメモリの数も必要最小限に抑えることが可能になり、
画像復号化手段を経済的に構築することができる。これ
により、多地点間通信装置の複数端末の同時復号化機能
と複数地点の画像の画像合成機能とを安価に且つ高い信
頼性で構築することができるので、そのサービスを容易
に受けられ、使用者の利便性が飛躍的に向上するという
効果を奏する。

【０１１７】また、画像復号化手段の処理能力を最大限
利用し且つ各端末毎にその処理能力を最適に振り分けて
複数の端末と同時に通信することが可能になるので、多
地点間の画像通信の最適化と効率化の向上を図ることが
できるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例に係る多地点間通信装置の構
成を示すブロック図である。

【図２】同多地点間通信装置における画像復号化部の内
部構成を示すブロック図である。

【図３】同多地点間通信装置における画像合成部の内部
構成を示すブロック図である。

【図４】同多地点間通信装置における画像フォーマット
の構成を示す図である。

【図５】同多地点間通信装置における画像データ多重フ
レームの構成を示す図である。

【図６】同多地点間通信装置における誤り訂正フレーム
の構成を示す図である。

【図７】同多地点間通信装置における画像復号化部処理
能力制御部の動作を示すフローチャートである。

【図８】同多地点間通信装置における画像復号化部処理
能力制御部の動作を示すフローチャートである。

【図９】同多地点間通信装置における受信画像のフレー
ムメモリ割り当てを示す図である。

【図１０】同多地点間通信装置における受信画像のフレ
ームメモリ割り当てを示す図である。

【図１１】同多地点間通信装置におけるフレーム制御タ
イミングを示す図である。

【図１２】同多地点間通信装置におけるフレームメモリ
管理テーブルを示す図である。

【図１３】同多地点間通信装置における受信画像のフレ
ームメモリ割り当てを示す図である。

【図１４】同多地点間通信装置におけるフレームメモリ
管理テーブルを示す図である。

【符号の説明】

１ａ回線インタフェース部（受信手段、伝達手段）１ｂ回線インタフェース部（受信手段、伝達手段）１ｃ回線インタフェース部（受信手段、伝達手段）１ｄ回線インタフェース部（受信手段、伝達手段）６画像復号化部（画像復号化手段）１０システム制御部（処理能力調整手段、画素数調整
手段、第１及び第２の画素数調整手段））１２画像復号化処理能力制御部（処理能力割り当て手
段）

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/15 Ｈ０４Ｎ 7/13 Ｚ

Claims

【特許請求の範囲】

【請求項１】複数の端末と画像通信を行う多地点間通
信装置において、前記複数の端末から符号化画像を受信
する受信手段と、前記複数の端末からの符号化画像を復
号化する画像復号化手段と、前記複数の端末のそれぞれ
から受信した符号化画像を復号化するための復号化処理
能力の総計に基づいて前記画像復号化手段の処理能力を
調整する復号化処理能力調整手段と、該復号化処理能力
調整手段の調整結果に基づき前記各端末毎に割り当て且
つ割り当てられた各処理能力に応じた受信能力を前記各
端末に伝える伝達手段とを具備したことを特徴とする多
地点間通信装置。
【請求項２】前記復号化処理能力調整手段は、前記全
ての端末から受信した符号化画像を復号化するための復
号化処理能力の総計が前記画像復合化手段の処理能力を
越えないように調整することを特徴とする請求項１記載
の多地点間通信装置。
【請求項３】前記復号化処理能力調整手段は、前記各
端末毎に異なる処理能力を割り当てる処理能力割り当て
手段を含むことを特徴とする請求項１または２記載の多
地点間通信装置。
【請求項４】前記復号化処理能力調整手段は、処理能
力の割り当ての比率を優先度の高い端末には高く且つ優
先度の低い端末には低く割り当てる処理能力割り当て手
段を含むことを特徴とする請求項１記載の多地点間通信
装置。
【請求項５】前記復号化処理能力調整手段は、画像を
合成する画面サイズが大きい端末には処理能力を多く割
り当て且つ画像を合成する画面サイズが小さい端末には
処理能力を少なく割り当てる処理能力割り当て手段をを
含むことを特徴とする請求項１記載の多地点間通信装
置。
【請求項６】前記伝達手段が伝達する情報は、前記複
数の端末が符号化するための符号化制御情報を含むこと
を特徴とする請求項１記載の多地点間通信装置。
【請求項７】前記符号化制御情報は転送レートである
ことを特徴とする請求項６記載の多地点間通信装置。
【請求項８】前記符号化制御情報は動き優先の符号化
を行うか、画質優先の符号化を行うかを指示する情報で
あることを特徴とする請求項６記載の多地点間通信装
置。
【請求項９】複数の端末と画像通信を行う多地点間通
信装置において、前記複数の端末から符号化画像を受信
する受信手段と、前記複数の端末からの符号化画像を復
号化する画像復号化手段と、前記複数の端末のそれぞれ
から受信した符号化画像の画素数の総計が前記画像復号
化手段が所定時間内に処理可能な画素数を超えないよう
に調整する画素数調整手段と、該画素数調整手段の調整
結果に基づき前記各端末毎に割り当てられた前記所定時
間内に処理可能な画素数に応じた受信能力を前記各端末
に伝える伝達手段とを具備したことを特徴とする多地点
間通信装置。
【請求項１０】前記伝達手段が伝達する情報は、前記
複数の端末が符号化するための符号化制御情報を含むこ
とを特徴とする請求項９記載の多地点間通信装置。
【請求項１１】前記符号化制御情報は転送レートであ
ることを特徴とする請求項１０記載の多地点間通信装
置。
【請求項１２】前記符号化制御情報は動き優先の符号
化を行うか、画質優先の符号化を行うかを指示する情報
であることを特徴とする請求項１０記載の多地点間通信
装置。
【請求項１３】複数の端末と画像通信を行う多地点間
通信装置において、前記複数の端末から符号化画像を受
信する受信手段と、前記複数の端末からの符号化画像を
復号化する画像復号化手段と、前記複数の端末のそれぞ
れから受信した符号化画像をある任意の時間内に処理す
る画素数が前記画像復号化手段のある任意の時間内に処
理する画素数を超えないように調整する第１の画素数調
整手段と、全ての端末から受信した符号化画像のフレー
ム当たりの画素数の総計が前記画像復号化手段のフレー
ム当たりの画素数を超えないように調整する第２の画素
数調整手段と、前記第１及び第２の画素数調整手段の調
整結果に基づき前記各端末に割り当てられた任意の時間
内に処理する画素数とフレーム当たりの画素数とに応じ
た受信能力を各相手端末に伝える伝達手段とを具備した
ことを特徴とする多地点間通信装置。
【請求項１４】前記伝達手段が伝達する情報は、前記
複数の端末が符号化するための符号化制御情報を含むこ
とを特徴とする請求項１３記載の多地点間通信装置。
【請求項１５】前記伝達手段が伝達する情報は、前記
複数の端末が符号化するための符号化制御情報を含むこ
とを特徴とする請求項１３記載の多地点間通信装置。