JPH09247644A - 多地点制御装置およびテレビ会議通信端末装置 - Google Patents

多地点制御装置およびテレビ会議通信端末装置

Info

Publication number
JPH09247644A
JPH09247644A JP8046696A JP8046696A JPH09247644A JP H09247644 A JPH09247644 A JP H09247644A JP 8046696 A JP8046696 A JP 8046696A JP 8046696 A JP8046696 A JP 8046696A JP H09247644 A JPH09247644 A JP H09247644A
Authority
JP
Japan
Prior art keywords
moving image
video
information
video conference
conference communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8046696A
Other languages
English (en)
Inventor
Giichi Watanabe
義一 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP8046696A priority Critical patent/JPH09247644A/ja
Publication of JPH09247644A publication Critical patent/JPH09247644A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

(57)【要約】 【課題】 表示画面中における動画の縮小率に応じて、
動画情報の適応制御を行うことができるテレビ会議通信
端末装置および多地点制御装置を提供することを目的と
している。 【解決手段】 通知された縮小率に応じて、送信する動
画情報の符号化特性を変化させているので、効率のよい
動画情報伝送ができるという効果を得る。また、変化さ
せる符号化特性として、2次元DCT変換処理を利用し
たものを用いるので、符号化特性の変化を柔軟に変化さ
せることができ、効率的な符号化処理を適用することが
できるという効果も得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、少なくとも、符号
化圧縮された状態の音声情報および動画情報を相手端末
との間でやりとりして、所定のテレビ会議通信を行うテ
レビ会議通信端末装置、および、少なくとも、符号化圧
縮された状態の音声情報および動画情報を2つ以上のテ
レビ会議通信端末装置との間でやりとりして、所定の多
地点テレビ会議通信セッションを行うとともに、上記テ
レビ会議通信端末装置より受信した複数の動画情報画面
を縮小し同一画面に配置した配信動画情報を形成し、そ
の配信動画情報を各テレビ会議通信端末装置に送出する
多地点制御装置およびテレビ会議通信端末装置に関す
る。
【0002】
【従来の技術】従来より、例えば、ITU−T勧告H.
320で規定されているテレビ会議通信機能などを備
え、遠隔地間で映像や音声等の種々の情報をやりとりし
て会議通信を実現するテレビ会議通信端末装置が提案さ
れている。とくに、近年では、回線としてISDNを用
いた通信アプリケーションとして、テレビ会議通信端末
装置が重要視されており、徐々に普及しつつある。
【0003】このようなテレビ会議通信端末装置では、
動画情報を送信するとき、例えば、ビデオカメラ装置で
入力した映像情報を直接送信するのではなく、例えば、
ITU−T勧告H.261の動画符号化方法により符号
化圧縮した状態で、動画情報をやりとりするようにし
て、比較的小さいデータ伝送容量を使って、音声情報と
動画情報をやりとりできるようにしている。
【0004】また、動画情報に割り当てられる伝送容量
は、テレビ会議通信セッションの進行に従って適宜に変
化し、その使用可能な伝送容量を使って、なるべく有効
な動画情報を送信できるように、動画情報を符号化複号
化するビデオコーデックでは、動画情報の内容および割
り当てられている伝送容量に応じて、適応的に動画情報
の符号化パラメータを変化させている。
【0005】この場合、変化される符号化パラメータと
しては、例えば、符号データを形成する際に適用される
量子化ステップの最大値等がある。
【0006】ところで、テレビ会議通信セッションに
は、2つのテレビ会議通信端末装置を対向して行う1対
1のテレビ会議通信セッションの他に、網に接続された
多地点制御装置を介して複数(通常は3以上)のテレビ
会議通信端末装置を接続し、これらの複数のテレビ会議
通信端末装置間で行う多地点テレビ会議通信セッション
がある。
【0007】このような多地点テレビ会議通信セッショ
ンでは、同一の多地点制御通信セッションに参加する複
数のテレビ会議通信端末装置(参加端末)から受信した
動画画面をおのおの縮小し、全ての参加端末についての
縮小動画画面を合成して1つの画面(いわゆる、スプリ
ット(分割)画面)を形成し、その合成画面の動画情報
を全ての参加端末に向けて配信している(スプリットモ
ード)。
【0008】また、参加端末数に等分割するのではな
く、分割画面に重みを設けて、議事進行における現在の
発言者のテレビ会議通信端末装置(発言者端末)より受
信した動画情報は、より広い面積の分割画面に配置する
ような制御も行われている。
【0009】
【発明が解決しようとする課題】このようにして、多地
点制御装置では、画面のスプリットモードが指定された
場合には、おのおのの参加端末より受信した動画情報の
画面を、その時点での議事進行に合わせて適宜な縮小率
で縮小し、その縮小画面を合成してなるスプリット画面
を編集し、そのスプリット画面の動画情報を、おのおの
の参加端末に配信している。
【0010】一方、テレビ会議通信端末装置側では、多
地点制御装置で行われるこのような画面の縮小の有無に
かかわりなく、送信側の事情だけで符号化パラメータを
変化させる適応制御を行っているので、多地点制御装置
から配信される動画情報における画面の縮小率によって
は、その適応制御の効果が発揮されず、かえって、多地
点制御装置から配信される動画情報にノイズが含まれる
等の不具合を生じることがあった。
【0011】なお、かかる事情は、1対1のテレビ会議
通信セッションを行う際にも生じることがある。例え
ば、モニタ画面を分割して、相手端末からの受信映像を
分割画面に配置する場合には、その分割画面の大きさに
合わせて受信映像を縮小する必要を生じ、かかる場合に
は、上述と同様の不都合を生じるおそれがある。
【0012】本発明は、かかる実情に鑑みてなされたも
のであり、表示画面中における動画の縮小率に応じて、
動画情報の適応制御を行うことができるテレビ会議通信
端末装置および多地点制御装置を提供することを目的と
している。
【0013】
【課題を解決するための手段】本発明は、少なくとも、
符号化圧縮された状態の音声情報および動画情報を相手
端末との間でやりとりして、所定のテレビ会議通信を行
うテレビ会議通信端末装置において、相手端末より受信
した動画表示画面を縮小する要求が生じると、その縮小
画面の縮小率を相手端末に通知し、相手端末より受信し
た動画情報に基づいて縮小動画情報を形成して、その縮
小動画情報を画面に表示する一方、相手端末より動画表
示画面の縮小率が通知されると、その縮小率に対応し
て、動画情報の符号化手段の符号化特性を設定するよう
にしたものである。
【0014】また、前記動画情報は、2次元DCT変換
を伴う所定の符号化方式により符号化した状態でやりと
りするものであって、前記縮小率は、上記2次元DCT
変換の基数の逆数を単位とした値に設定され、前記動画
情報に基づいた縮小動画情報の形成は、受信した動画情
報を復号化する際、上記2次元DCT変換に適用される
DCT係数マトリクスにおいて、通知された縮小率に対
応した所定位置の複数の係数値を0に設定することによ
り行うようにすることができる。
【0015】また、前記動画情報は、2次元DCT変換
を伴う所定の符号化方式により符号化した状態でやりと
りするものであって、前記縮小率は、上記2次元DCT
変換の基数の逆数を単位とした値に設定され、通知され
た縮小率に対応して、動画情報の符号化手段の符号化特
性を設定する際には、動画情報の符号化時に、上記2次
元DCT変換に適用されるDCT係数マトリクスにおい
て、上記縮小率に対応した所定位置の複数の係数値を0
に設定することにより行うようにしたものである。
【0016】また、少なくとも、符号化圧縮された状態
の音声情報および動画情報を2つ以上のテレビ会議通信
端末装置との間でやりとりして、所定の多地点テレビ会
議通信セッションを行うとともに、上記テレビ会議通信
端末装置より受信した複数の動画情報画面を縮小し同一
画面に配置した配信動画情報を形成し、その配信動画情
報を各テレビ会議通信端末装置に送出する多地点制御装
置およびテレビ会議通信端末装置において、多地点制御
装置は、おのおののテレビ会議通信端末装置より受信し
た動画情報の縮小率を、おのおののテレビ会議通信端末
装置に通知し、おのおののテレビ会議通信端末装置より
受信した複数の動画情報画面を、上記通知した縮小率に
応じてそれぞれ縮小し、その縮小画面を同一画面に配置
した配信動画情報を形成し、その配信動画情報を各テレ
ビ会議通信端末装置に送出する一方、テレビ会議通信端
末装置は、多地点制御装置より動画表示画面の縮小率が
通知されると、その縮小率に対応して、動画情報の符号
化手段の符号化特性を設定するようにしたものである。
【0017】また、前記動画情報は、2次元DCT変換
を伴う所定の符号化方式により符号化した状態でやりと
りするものであって、前記縮小率は、上記2次元DCT
変換の基数の逆数を単位とした値に設定され、前記多地
点制御装置における前記動画情報に基づいた縮小動画情
報の形成は、受信した動画情報を復号化する際、上記2
次元DCT変換に適用されるDCT係数マトリクスにお
いて、対応するテレビ会議通信端末装置について設定し
た縮小率に対応した所定位置の複数の係数値を0に設定
することにより行うようにしたものである。
【0018】また、前記動画情報は、2次元DCT変換
を伴う所定の符号化方式により符号化した状態でやりと
りするものであって、前記縮小率は、上記2次元DCT
変換の基数の逆数を単位とした値に設定され、前記テレ
ビ会議通信端末装置は、通知された縮小率に対応して、
動画情報の符号化手段の符号化特性を設定する際には、
動画情報の符号化時に、上記2次元DCT変換に適用さ
れるDCT係数マトリクスにおいて、上記縮小率に対応
した所定位置の複数の係数値を0に設定することにより
行うようにしたものである。
【0019】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明の実施の形態を詳細に説明する。
【0020】図1は、本発明の一実施例にかかる多地点
テレビ会議通信システムの一例を示している。
【0021】同図において、ISDNに接続された複数
のテレビ会議通信端末装置T1〜Tnは、ISDNに接
続された多地点制御装置MCUを介して相互接続され、
多地点テレビ会議通信セッションを行う。この場合、例
えば、おのおののテレビ会議通信端末装置T1〜Tn
は、多地点テレビ会議通信セッションの開始に先立っ
て、個別に多地点制御装置MCUを発呼して呼接続す
る。
【0022】図2は、本発明の一実施例にかかるテレビ
会議通信端末装置の機能ブロック図である。このテレビ
会議通信端末装置は、ISDNの基本インタフェースを
伝送路として用いるものであり、音声情報の通信機能、
動画情報の通信機能、静止画情報の通信機能、および、
これらの通信機能の多重化通信機能を備え、また、IS
DNの基本インタフェースに接続し、2つの情報チャネ
ル(Bチャネル)を用いたデータ通信が可能である。
【0023】同図において、システム制御部1は、この
テレビ会議通信端末装置の各部の動作制御、および、情
報チャネル(Bチャネル)におけるテレビ会議通信制御
手順処理などの実行するためのものであり、ROM(リ
ード・オンリ・メモリ)2は、システム制御部1が実行
する制御処理プログラムの一部やこのプログラムを実行
するときに参照する種々のデータなどを記憶するための
ものであり、RAM(ランダム・アクセス・メモリ)3
は、システム制御部1のワークエリアなどを構成するも
のである。
【0024】時計回路4は、現在時刻情報を出力するた
めのものであり、画像処理部5は、例えば、画像の縮小
/拡大処理、撮影画面の静止画像化処理、静止画像の符
号化/復号化処理(JPEG方式)、画像の統計的処理
など、このテレビ会議通信端末装置が提供する装置機能
のために必要な種々の画像処理を実行するためのもので
ある。
【0025】磁気ディスク装置6は、システム制御部1
が実行する他の制御プログラムやアプリケーションプロ
グラムなどのプログラムデータ、または、その他の種々
のデータを保存するためのものであり、操作表示部7
は、このテレビ会議通信端末装置を操作するためのもの
である。静止画入力装置8は、静止画を入力するための
ものであり、例えば、書画カメラ装置などからなる。
【0026】音声入出力装置9は、相手端末との間で音
声情報をやりとりして、ユーザ間の会話を実現するため
のものであり、音声CODEC10は、音声入出力装置
9から入力したアナログ音声信号を対応するデジタル音
声データに変換するとともに、受信したデジタル音声デ
ータを対応するアナログ音声信号に変換して、音声入出
力装置9に出力するものである。音声制御部11は、音
声入出力装置9の動作を制御するためのものである。
【0027】ビデオカメラ装置12は、自端末側の参加
者などの様子を撮影するものであり、映像入力部13
は、ビデオカメラ装置12から出力される映像信号を、
所定ビット数のデジタル映像データに変換するととも
に、映像信号の階調数を変換するものであり、動画CO
DEC14は、映像入力部13から出力されるデジタル
映像データのデータ形式をRGB形式からYUV形式に
変換し、その変換後のデジタル映像データを所定のCI
F形式またはQCIF型式のビデオデータに変換し、さ
らに、ITU−T勧告H.261の符号化方式で符号化
圧縮してビデオ情報を形成するとともに、符号化圧縮さ
れた状態のビデオ情報を元のCIFまたはQCIF型式
のビデオデータに変換し、そのビデオデータをYUV形
式からRGB形式にデータ変換するものである。
【0028】動画CODEC14により、変換されて形
成されたデジタル映像データ(受信映像データ)は、表
示制御部15に出力されている。また、映像入力部13
から出力されるデジタル映像データは、表示制御部15
にも加えられている。表示制御部15は、ビデオモニタ
装置16の表示画面の内容を制御するためのものであ
る。また、ビデオカメラ制御部17は、ビデオカメラ装
置12のカメラアングル等を制御するためのものであ
る。
【0029】ISDNインタフェース回路18は、この
テレビ会議通信端末装置をISDNに接続するととも
に、レイヤ1の信号処理機能、Dチャネル(信号チャネ
ル)の信号と2つのBチャネル(情報チャネル)の信号
の統合/分離機能を備えたものであり、Dチャネルの信
号をDチャネル伝送制御部19との間でやりとりし、ま
た、2つのBチャネルの信号を多重化/分離制御装置2
0との間でやりとりしている。
【0030】Dチャネル伝送制御部19は、信号チャネ
ルで行う呼制御手順機能、および、多重呼制御機能を備
えたものであり、多重化/分離制御装置20は、ITU
−T勧告H.221に準拠したデータ多重化/分離機
能、および、データのフレーム同期機能を備えたもので
あり、その分離側の接続端には、デジタル音声データ、
デジタル動画データ、および、汎用データが加えられて
おり、また、多重化側の接続端は、ISDNインタフェ
ース回路18に接続されている。
【0031】これらのシステム制御部1、ROM2、R
AM3、時計回路4、画像処理部5、磁気ディスク装置
6、操作表示部7、静止画入力装置8、音声CODEC
10、音声制御部11、動画CODEC14、表示制御
部15、ビデオカメラ制御部17、Dチャネル伝送制御
部19、および、多重化/分離装置20は、システムバ
ス21に接続されており、これらの各要素間でのデータ
のやりとりは、主としてこのシステムバス21を介して
行われる。
【0032】また、多重化/分離装置20と音声COD
EC10との間で音声データのやりとりが行われ、多重
化/分離装置20と動画CODEC14との間で送受信
ビデオデータのやりとりが行われている。また、映像入
力部13は、システム制御部1によりその動作が制御さ
れる。
【0033】図3は、多地点制御装置MCUの概略機能
ブロック図である。
【0034】同図において、n個の通信チャネルユニッ
トCU1〜CUnは、多地点制御装置MCUをISDN
に接続して、それぞれ参加端末となるテレビ会議通信端
末装置と呼接続するとともに、おのおののテレビ会議通
信端末装置との間で、所定のメディア多重化通信処理を
行うものであり、音声送受信データ、動画送受信デー
タ、および、汎用データの多重化/分離機能を備えてい
る。また、通信チャネルユニットCU1〜CUnと音声
データ処理ユニットAUとの間で音声入力信号AAI1
〜AAInおよび音声出力信号AAO1〜AAOnがや
りとりされ、通信チャネルユニットCU1〜CUnと動
画データ処理ユニットVUとの間で動画入力信号AVI
1〜AVInおよび動画出力信号AVO1〜AVOnが
やりとりされ、通信チャネルユニットCU1〜CUnと
汎用データ処理ユニットDUとの間で入力汎用データD
DI1〜DDInおよび出力汎用データDDO1〜DD
Onがやりとりされている。
【0035】音声データ処理ユニットAUは、通信チャ
ネルユニットCU1〜CUnより入力した音声データD
AI1〜DAInに基づき、それぞれの通信チャネルユ
ニットCU1〜CUnに出力する音声出力信号AAO1
〜AAOnを形成するものである。このとき、送出する
先の通信チャネルユニットCU1〜CUnより入力した
音声入力信号AAI1〜AAInを除いた他の音声入力
信号AAI1〜AAInをミキシングした状態で、それ
ぞれの音声出力信号AAO1〜AAOnを形成する。
【0036】動画データ処理ユニットVUは、通信チャ
ネルユニットCU1〜CUnより入力した動画入力信号
AVI1〜AVInに基づき、それぞれの通信チャネル
ユニットCU1〜CUnに出力する動画出力信号AVO
1〜AVOnを形成するものである。
【0037】汎用データ処理ユニットDUは、通信チャ
ネルユニットCU1〜CUnより入力した汎用データD
PI1〜DPInに基づき、それぞれの通信チャネルユ
ニットCU1〜CUnに出力する汎用データDPO1〜
DPOnを形成するものである。例えば、1つのテレビ
会議端末装置が他のテレビ会議端末装置に対してファク
シミリ画像データを送信する場合には、その送信元のテ
レビ会議端末装置より入力した汎用データを、他のテレ
ビ会議端末装置にそれぞれ送信する。
【0038】システム制御部SCUは、通信チャネルユ
ニットCU1〜CUn、音声データ処理ユニットAU、
動画データ処理ユニットVU、および、汎用データ処理
ユニットDUと種々の制御情報をやりとりし、これらの
各要素の動作を制御するものである。また、保守用コン
ソール装置CONは、この多地点制御装置MCUの保守
作業のための種々の操作を行うためのものである。
【0039】通信チャネルユニットCU(CU1〜CU
n)の一例を図4に示す。
【0040】同図において、ISDNインタフェース回
路25は、この通信チャネルユニットCUをISDNに
接続するとともに、レイヤ1の信号処理機能、Dチャネ
ル(信号チャネル)の信号と2つのBチャネル(情報チ
ャネル)の信号の統合/分離機能を備えたものであり、
Dチャネルの信号をDチャネル伝送制御部26との間で
やりとりし、また、2つのBチャネルの信号を多重化/
分離制御装置27との間でやりとりしている。
【0041】Dチャネル伝送制御部26は、信号チャネ
ルで行う呼制御手順機能、および、多重呼制御機能を備
えたものであり、多重化/分離制御装置27は、ITU
−T勧告H.221に準拠したデータ多重化/分離機
能、および、データのフレーム同期機能を備えたもので
あり、その分離側の接続端には、デジタル音声データ、
デジタル動画データ、および、汎用データが加えられて
おり、また、多重化側の接続端は、ISDNインタフェ
ース回路25に接続されている。
【0042】音声CODEC28は、音声データ処理ユ
ニットAUから入力した音声出力信号AAOを対応する
デジタル音声データに変換して多重化/分離装置27に
出力するとともに、多重化/分離装置27から出力され
る受信デジタル音声データを対応するアナログ音声信号
に変換し、音声入力信号AAIとして、音声データ処理
ユニットAUに出力するものである。
【0043】動画CODEC29は、動画データ処理ユ
ニットVUから入力した動画出力信号AVOを対応する
デジタル映像データに変換し、そのデジタル映像データ
のデータ形式をRGB形式からYUV形式に変換し、そ
の変換後のデジタル映像データを所定のCIF形式また
はQCIF型式のビデオデータに変換し、ITU−T勧
告H.261の符号化方式で符号化圧縮してビデオ情報
を形成し、そのビデオ情報を多重化/分離装置27に出
力するとともに、多重化/分離装置27から出力される
受信ビデオ情報を復号化して元のCIFまたはQCIF
型式のビデオデータに変換し、そのビデオデータをYU
V形式からRGB形式にデータ変換し、そのデータを対
応するアナログ動画信号に変換し、動画入力信号AVI
として動画データ処理ユニットVUに出力するものであ
る。
【0044】また、多重化/分離装置27は、汎用デー
タチャネルの信号を、汎用データ処理ユニットDUとの
間で、やりとりする。
【0045】この場合の動画データ処理ユニットVUの
構成の一例を、図5に示す。
【0046】同図において、通信チャネルユニットCU
1〜CUnから入力した動画入力信号AAI1〜AAI
nは、アナログ/デジタル変換器ADC1〜ADCnに
加えられ、アナログ/デジタル変換器ADC1〜ADC
nによりおのおの対応するデジタル信号に変換され、そ
の変換後のデジタル信号は、デジタル動画信号DAI1
〜DAInとして、動画縮小編集部VREに加えられ
る。
【0047】動画縮小編集部VREは、それぞれ入力さ
れるデジタル動画信号DAI1〜DAInを、それぞれ
システム制御部SCUから指定された縮小率で、適宜な
縮小方法(例えば、画素の間引き処理等)により縮小
し、その縮小後のデータに基づき、縮小画面をシステム
制御部SCUから指定された配置態様で組み合わせた編
集画面(スプリット画面;後述)の1フレーム分の動画
データを形成するものであり、その動画データは、それ
ぞれデジタル動画信号DAO1〜DAOnとして、デジ
タル/アナログ変換器DAC1〜DACnに加えられて
いる。
【0048】デジタル/アナログ変換器DAC1〜DA
Cnは、入力されるデジタル動画信号DAO1〜DAO
nを対応するアナログ信号に変換するものであり、その
変換後のアナログ信号は、動画出力信号AAO1〜AA
Onとして、通信チャネルユニットCU1〜CUnに加
えられている。
【0049】図6は、音声データ処理ユニットAUの構
成の一例を示している。
【0050】同図において、通信チャネルユニットCU
1から出力される音声入力信号AAI1は、音声レベル
判定部LVに加えられるとともに、音声ミキサ回路MX
2〜MX(n−1),MXnに加えられている。
【0051】また、通信チャネルユニットCU2から出
力される音声入力信号AAI2は、音声レベル判定部L
Vに加えられるとともに、音声ミキサ回路MX1,MX
3〜MX(n−1),MXnに加えられている。
【0052】また、通信チャネルユニットCU(n−
1)から出力される音声入力信号AAI(n−1)は、
音声レベル判定部LVに加えられるとともに、音声ミキ
サ回路MX1〜MX(n−2),MXnに加えられてい
る。
【0053】また、通信チャネルユニットCUnから出
力される音声入力信号AAInは、音声レベル判定部L
Vに加えられるとともに、音声ミキサ回路MX1〜MX
(n−1)に加えられている。
【0054】音声レベル判定部LVは、話者検出のため
のものであり、音声入力信号AAI1〜AAInのうち
最大レベルのものを判定し、その判定結果をシステム制
御部SCUに通知する。
【0055】音声ミキサMX1は、音声入力信号AAI
2〜AAInを混合した音声信号を形成するものであ
り、その出力信号は、音声出力信号AAO1として、通
信チャネルユニットCU1に出力される。
【0056】また、音声ミキサMX2は、音声入力信号
AAI1,AAI22〜AAInを混合した音声信号を
形成するものであり、その出力信号は、音声出力信号A
AO2として、通信チャネルユニットCU2に出力され
る。
【0057】また、音声ミキサMX(n−1)は、音声
入力信号AAI1〜AAI(n−2),AAInを混合
した音声信号を形成するものであり、その出力信号は、
音声出力信号AAO(n−1)として、通信チャネルユ
ニットCU(n−1)に出力される。
【0058】また、音声ミキサMXnは、音声入力信号
AAI1〜AAI(n−1)を混合した音声信号を形成
するものであり、その出力信号は、音声出力信号AAO
nとして、通信チャネルユニットCUnに出力される。
【0059】このようにして、通信チャネルユニットC
U1〜CUnには、それぞれが音声データ処理ユニット
AUに出力した音声出力信号を除く他の全ての音声出力
信号を混合した音声信号が、音声入力信号AAI1〜A
AInとして加えられている。
【0060】図7は、動画CODEC14,29の要部
の構成例を示している。
【0061】同図において、動画入力信号VIは、情報
源符号器31に加えられている。情報源符号器31は、
動画入力信号VIについて、TTC標準JT−H.26
1の符号化方式の情報源符号化処理を実行するものであ
り、その出力信号は、ビデオ信号多重化符号器32に加
えられている。
【0062】ビデオ信号多重化符号器32は、TTC標
準JT−H.261の符号化方式の符号データを形成す
るものであり、その出力信号は、出力バッファ33を介
し、多重動画符号データVCaとして外部装置に出力さ
れる。
【0063】また、制御部34は、情報源符号器31お
よびビデオ信号多重化符号器32の動作を制御すること
で、動画入力信号VIについて符号化処理を行わせるも
のである。
【0064】また、出力バッファ33からは、制御部3
4に対して符号量などの情報が通知され、制御部34
は、この出力バッファ33から加えられる情報に基づい
て、情報源符号器31およびビデオ信号多重化符号器3
2の動作を制御する場合もある。
【0065】また、入力バッファ35は、多重動画符号
データVCbを入力するものであり、その入力データ
は、ビデオ信号多重化復号器36に加えられる。
【0066】ビデオ信号多重化復号器36は、多重動画
符号データVCbについて、TTC標準JT−H.26
1の符号化方式の復号化処理を行うものであり、その出
力信号は、情報源復号器37に加えられる。
【0067】情報源復号器37は、入力される符号デー
タについて、TTC標準JT−H.261の符号化方式
の情報源復号化処理を行うものであり、この情報復号器
37からは、ビデオ出力信号VOが出力される。
【0068】ここで、この動画CODEC14,29の
基礎になっているTTC標準JT−H.261の動画符
号化方式について、次に説明する。
【0069】まず、TTC標準JT−H.261の動画
符号化方式では、動画情報としては、CIFとQCIF
の2種類のフォーマットが定められている。
【0070】CIF(Common Intermed
iate Format;共通中間フォーマット)形式
は、動画情報の基本フォーマットであり、このCIF
は、1秒間に29.97フレームの画面を表示し、輝度
成分(Y)については、1つのフレーム(画像フレー
ム)を288ラインで、かつ、1ラインを360画素か
ら構成するとともに、色差成分(Cb,Cr)について
は、1つのフレームを144ラインで、かつ、1ライン
を180画素から構成する。
【0071】そして、そのフレームを、図8(a)に示
すように12個のGOB(Group Of Bloc
k)に分割し、おのおののGOBを、同図(b)に示す
ように、11×3の33個のマクロブロックに分割す
る。
【0072】さらに、1つのマクロブロックは、同図
(c)に示すように、輝度成分については、2×2の4
つのブロックに分割するとともに、色差成分については
1×1のブロックに分割する。したがって、輝度成分お
よび色差成分の1つのブロックは、同図(d)に示すよ
うに、それぞれ8画素×8ラインから構成される。
【0073】また、QCIF(Quater CIF)
は、図9に示すように、画素数をCIFの1/4に設定
したフォーマットである。なお、TTC標準JT−H.
261では、ビデオCODECは、少なくともQCIF
を取り扱える必要があると規定されており、さらに、C
IFとQCIFが対向した場合には、QCIFで通信す
るように規定されている。
【0074】さて、この動画情報は、上述したようなフ
レーム/GOB/マクロブロック/ブロックの階層構造
に対応て多重化された形式を備えており、その一例を図
10(a)〜(d)に示す。また、この動画情報は、ビ
デオ信号多重化符号器32で形成される。
【0075】まず、1フレームの動画情報は、同図
(a)に示すように、フレームの開始をあらわす所定ビ
ットパターンの20ビットデータからなるフレーム開始
符号PSC、フレームの順序番号をあらわすフレーム番
号TR、1フレーム全体に関する情報をあらわすタイプ
情報PTYPE、1ビットの拡張用データ挿入情報PE
I、1バイトの予備情報PSPARE、および、GOB
データからなる。ここで、拡張用データ挿入情報PEI
は少なくとも1つが含まれ、予備情報PSPAREは含
まれないことがある。また、フレーム開始符号PSC、
フレーム番号TR、タイプ情報PTYPE、拡張用デー
タ挿入情報PEI、および、予備情報PSPAREは、
フレームヘッダと呼ばれる。
【0076】GOBデータは、各GOBについて、それ
ぞれ1つが配置される。1つのGOBデータは、同図
(b)に示すように、GOBデータの開始をあらわすG
OB開始符号GBSC、GOBの位置を示すGOB番号
GN、量子化特性の情報を示す量子化特性情報GQUA
NT、拡張用データ領域(予備情報)の有無を示す拡張
用データ挿入情報GEI、予備情報GSPARE、およ
び、マクロブロックデータからなる。ここで、拡張用デ
ータ挿入情報GEIは少なくとも1つが含まれ、予備情
報GSPAREは含まれないことがある。また、GOB
開始符号GBSC、GOB番号GN、量子化特性情報G
QUANT、拡張用データ挿入情報GEI、および、予
備情報GSPAREは、GOBヘッダと呼ばれる。
【0077】マクロブロックデータは、各マクロブロッ
クについて、それぞれ1つが配置される。ただし、フレ
ームのその部分に情報がない場合には、伝送されない。
【0078】1つのマクロブロックデータは、同図
(c)に示すように、マクロブロックの位置をあらわす
ためのマクロブロックアドレスMBA、マクロブロック
の種別およびどのデータ要素があらわれるのかを表示す
るためのタイプ情報MTYPE、量子化特性をあらわす
量子化特性情報MQUANT、動きベクトル情報MV
D、少なくとも1つの変換係数が伝送されるマクロブロ
ックであることをあらわす有意ブロックパターンCB
P、および、ブロックデータからなる。ここで、量子化
特性MQUANT、動きベクトル情報MVDおよび有意
ブロックパターンCBPは、タイプ情報MTYPEで指
示されたときにあらわれる。また、マクロブロックアド
レスMBA、タイプ情報MTYPE、量子化特性情報M
QUANT、動きベクトル情報MVD、および、有意ブ
ロックパターンCBPは、マクロブロックヘッダ呼ばれ
る。
【0079】ブロックデータは、同図(d)に示すよう
に、例えば、そのブロックの画像データを2次元DCT
(離散コサイン変換)処理して得られた変換係数データ
をあらわす変換係数TCOEFF、および、ブロックの
終了をあらわすブロック終了符号EOBからなる。
【0080】そして、符号化処理は、マクロブロックを
単位として実行される。
【0081】図11は、情報源符号器31の一例を示し
ている。
【0082】同図において、動画入力信号VIは、減算
器DF、および、切換器SW1の一方の切換入力端に加
えられている。
【0083】切換器SW1は、制御部34から加えられ
る制御信号S2に基づいて、減算器DFの出力、また
は、動画入力信号VIを切り換えるものであり、その出
力は、変換器CVaに加えられている。変換器CVa
は、TTC標準JT−H.261の2次元DCT変換処
理を行うものであり、その出力信号は、量子化器QZa
に加えられている。
【0084】量子化器QZaは、制御部34から加えら
れる量子化ステップ値Sqに応じて、入力信号に対し所
定の量子化処理を実施するものであり、その出力信号
は、情報源符号データVSaとしてビデオ信号多重化符
号化器32に加えられるとともに、逆量子化器IQZa
に加えられている。
【0085】逆量子化器IQZaは、制御部34から加
えられる量子化ステップ値Sqに応じて、情報源符号デ
ータVSaに対し、量子化器QZaの逆変換処理である
逆量子化処理を実施するものであり、その出力信号は、
逆変換器ICVaに加えられている。
【0086】逆変換器ICVaは、変換器CVaの逆変
換処理を行うものであり、したがって、逆変換器ICV
aの出力信号は、量子化器QZaの量子化誤差を含むも
のの、変換器CVaに入力される動画入力信号VIに相
当する信号(以下、復号化動画信号という)となる。こ
の逆変換器ICVaから出力される復号化動画信号は、
加算器SMaに加えられている。この加算器SMaの出
力信号は、画像メモリMPaに加えられている。
【0087】また、画像メモリMPaには、動画入力信
号VIが加えられている。画像メモリMPaは、動き補
償用可変遅延機能を持つ画像メモリであり、1フレーム
分の復号化動画信号をマクロブロック単位に記憶し、そ
の復号化動画信号に基づいて次のフレームの動画信号を
予測するとともに、復号化動画信号と動画入力信号VI
に基づいて動きベクトルを検出するものである。この検
出された動きベクトルに対応した動きベクトル信号SV
は、ビデオ信号多重化符号器32に加えられている。
【0088】画像メモリMPaから出力される予測ビデ
オ信号は、ループ内フィルタFLaを介し、切換器SW
2および減算器DFに加えられている。
【0089】ここで、切換器SW2は切換器SW1に連
動して切換動作する。
【0090】以上の構成で、ビデオ入力信号VIについ
て、フレーム内符号化処理(INTRAモード)を行う
場合、制御部34は、切換器SW1,SW2をそれぞれ
図の破線の状態に切換接続する。これにより、入力され
たビデオ入力信号VIは、変換器CVaにより2次元D
CT変換処理された後、量子化器QZaにより量子化処
理されて、ビデオ信号多重符号器32に情報源符号デー
タVSaとして出力される。
【0091】また、それとともに、情報源符号データV
Saは、逆量子化器IQZaにより逆量子化変換され、
さらに、逆変換器ICVaにより2次元DCT逆変換処
理され、復号化動画信号として、加算器SMaを介し、
画像メモリMPaに加えられて、保存される。
【0092】次に、フレーム間符号化処理(INTER
モード)を行う場合、制御部34は、切換器SW1,S
W2をそれぞれ図の実線の状態に切換接続する。これに
より、画像メモリMPaから出力される復号化動画信号
は、ループ内フィルタFLaを通過した後に、減算器D
Fに加えられるとともに、切換器SW2を介し、加算器
SMaに加えられる。
【0093】したがって、それ以降は、ビデオ入力信号
VIと画像メモリMPaから出力される次のフレームの
予測値との差分値が、変換器CVaにより2次元DCT
変換処理された後、量子化器QZaにより量子化処理さ
れて、ビデオ信号多重符号器32に情報源符号データV
Saとして出力される。
【0094】また、それとともに、情報源符号データV
Saは、逆量子化器IQZaにより逆量子化変換され、
さらに、逆変換器ICVaにより2次元DCT逆変換処
理され、復号化ビデオ信号として、加算器SMaを介
し、画像メモリMPaに加えられて、保存される。
【0095】この動作が順次繰り返されて、ビデオ信号
VIに関して情報源符号データが形成される。
【0096】また、上述した符号化処理動作を行うと
き、制御部34は、それぞれの状態をあらわす種々の信
号をビデオ信号多重化符号器32に出力する。すなわ
ち、制御部32は、符号化モード(INTRAモード/
INTERモード)を識別するための識別フラグ信号S
P、そのフレームを伝送するか否かを指定するための伝
送/非伝送フラグ信号St、および、量子化ステップ値
Sqをビデオ信号多重化符号器32に出力する。また、
ループ内フィルタFLaは、この装置の動作設定により
オンオフされる。そして、ループ内フィルタFLaは、
オンオフ動作の区別をあらわす信号Sfをビデオ信号多
重化符号器32に出力している。
【0097】これにより、ビデオ信号多重化符号器32
は、そのときに入力している情報源符号データVSa、
符号化モードの区別、ループ内フィルタFLaのオンオ
フ状態を知り、上述したような符号情報を形成する。
【0098】図12は、情報源復号器37の一例を示し
ている。
【0099】同図において、逆量子化器IQZbは、ビ
デオ信号多重化復号器36から出力される情報源符号デ
ータVSbを、ビデオ信号多重化復号器36から出力さ
れる量子化ステップ値SSqに応じて、情報源符号器3
1の量子化器QZaの逆変換処理である逆量子化処理を
実施するものであり、その出力信号は、逆変換器ICV
bに加えられている。
【0100】逆変換器ICVbは、情報源符号器31の
変換器CVaの逆変換処理を行うものであり、その出力
信号は、加算器SMbを介し、ビデオ出力信号VOとし
て、外部装置に出力されるとともに、画像メモリMPb
に加えられている。また、画像メモリMPbには、ビデ
オ信号多重化復号器37から動きベクトル信号SSVが
それぞれ加えられている。
【0101】画像メモリMPbは、動き補償用可変遅延
機能を持つ画像メモリであり、1フレーム分の復号化ビ
デオ信号をマクロブロック単位に記憶し、その復号化ビ
デオ信号および動きベクトル信号SSVに基づいて次の
フレームのビデオ信号を予測するものである。
【0102】画像メモリMPbから出力される予測ビデ
オ信号は、ループ内フィルタFLbを介し、切換器SW
11の一方の切換入力端に加えられている。切換器SW
11の共通接続端の出力は、加算器SMbに加えられて
いる。
【0103】ここで、切換器SW11の切換動作は、ビ
デオ信号多重化復号器37から出力される符号化モード
(INTRAモード/INTERモード)を識別するた
めの識別フラグ信号SSPにより制御される。
【0104】以上の構成で、ビデオ信号多重化復号器3
6は、INTRAモードの符号データを復号化するとき
には、INTRAモードに対応した値の識別フラグ信号
SSPを出力し、これにより、切換器SW11は、図1
2の破線の状態に切換接続する。
【0105】したがって、この場合には、ビデオ信号多
重化復号器36から出力される情報源符号データVSb
は、逆量子化器IQZaにより逆量子化変換され、さら
に、逆変換器ICVbにより2次元DCT逆変換処理さ
れ、逆変換器ICVbの出力信号は、加算器SMbを介
してビデオ出力信号VOとして出力されるとともに、そ
のビデオ出力信号VOは、画像メモリMPbに加えられ
て保存される。
【0106】次に、INTERモードの符号データを復
号化するときには、ビデオ信号多重化復号器36は、I
NTERモードに対応した値の識別フラグ信号SSPを
出力し、これにより、切換器SW11は、図12の実線
の状態に切換接続する。また、ビデオ信号多重化符号器
37は、そのときの符号データに対応してフィルタオン
オフ信号SSfを出力し、これにより、ループ内フィル
タFLbは、符号データの内容に応じてオンオフされ
る。
【0107】それによって、画像メモリMPbから出力
されるビデオ出力信号は、ループ内フィルタFLbを通
過した後に、切換器SW11を介し、加算器SMbに加
えられる。
【0108】したがって、それ以降は、逆変換器ICV
bから出力される予測差分に対応した信号と、画像メモ
リMPbから出力される次のフレームの予測値とが加算
された値が、ビデオ出力信号VOとして加算器SMbか
ら出力されるとともに、画像メモリMPbに加えられて
保存される。
【0109】この動作が順次繰り返されて、ビデオ出力
信号VO1が形成されて出力される。
【0110】さて、テレビ会議端末装置T1〜Tnは、
Bチャネルにおいては、TTC標準JT−H.221で
規定されるマルチフレーム形式でデータをやりとりして
おり、したがって、テレビ会議端末装置T1〜Tnと多
地点制御装置MCUとの間のデータのやりとりも、この
TTC標準JT−H.221で規定されるマルチフレー
ム形式で行われている。
【0111】図13に示すように、1つのマルチフレー
ムMFLは、8個のサブマルチフレームSMF1〜SM
F8からなり、おのおののサブマルチフレームSMF1
〜SMF8は、それぞれ2つのフレームから構成されて
いる。すなわち、1つのマルチフレームMFLは、16
個のフレームFLM0〜FLM15からなる。
【0112】それぞれのフレームFLM0〜FLM15
は、図14に示すように、80オクテットのデータから
なり、それらのオクテットをビット順に配置したそれぞ
れのビット位置は、サブチャネルSCH1〜SCH8を
構成している。
【0113】また、第1オクテット〜第8オクテットの
第8ビットは、フレーム同期信号(Frame Ali
gnment Signal)FASを構成し、第9オ
クテット〜第16オクテットの第8ビットは、ビットレ
ート割当信号(Bit rate Allocatio
n Signal)BASを構成する。また、サブチャ
ネルSCH8の第17〜第24オクテットには、データ
を暗号化するためのキー情報などをやりとりするための
暗号チャネルのデータがセットされることがある(オプ
ション)。
【0114】このようにして、フレーム同期信号FAS
は、1つのフレームFLM0〜FLM15に8ビット配
置されており、そのビット割り当ては、図15に示すよ
うに、マルチフレームMFLを単位として構成されてい
る。
【0115】すなわち、偶数フレームFLM0,FLM
2,…,FLM14の第2オクテット〜第8オクテット
と、それに続く奇数フレームFLM1,FLM3,…,
FLM15の第2オクテットには、「0011011
1」なる8ビットのデータパターンからなる水平同期信
号が配置され、奇数フレームFLM1,FLM3,…,
FLM11の第1オクテットには、「001011」な
る6ビットのデータパターンからなる垂直同期信号が配
置されている。
【0116】この水平同期信号と垂直同期信号を検出す
ることにより、1つのマルチフレームMFLの同期を検
出することができる。
【0117】また、第0フレーム、第2フレーム、第4
フレーム、第6フレームおよび第8フレームの第1オク
テットのビットN1,N2,N3,N4,N5は、マル
チフレーム番号の表示に用いられる。このうち、ビット
N5は、マルチフレーム番号が使用されているか否かの
表示に用いられる。このように、マルチフレーム番号の
ために使用されるデータが4ビットなので、マルチフレ
ーム番号は0〜15までの値で降順に変化し、16マル
チフレーム毎に同じマルチフレーム番号があらわれる。
【0118】また、第10フレーム、第12フレーム、
および、第13フレームの第1オクテットのビットL
1,L2,L3は、現在使用されているBチャネルのう
ち、そのフレームを運んでいるBチャネルの接続された
順番をあらわすコネクション番号を表示するために用い
られる。また、第15フレームの第1オクテットのビッ
トRは、将来の勧告のために確保(予約)されており、
その値には0がセットされる。
【0119】また、第14フレームの第1オクテットの
ビットTEAは、データ端末装置の内部的な障害によ
り、データ伝送できない状態であることを表示するため
に用いられる。
【0120】また、奇数フレームFLM1,FLM3,
…,FLM15の第3オクテットのビットAは、フレー
ム同期またはマルチフレーム同期が確立しているか、あ
るいは、同期はずれを生じているかを表示するために用
いられる。
【0121】また、奇数フレームFLM1,FLM3,
…,FLM15の第5オクテット、第6オクテット、第
7オクテット、および、第8オクテットのビットC1,
C2,C3,C4は、連続した2つのフレーム(すなわ
ち、サブマルチフレーム)のデータエラー検出(すなわ
ち、伝送路品質検出)のために参照されるCRC(巡回
冗長検査)符号を表示するためのものであり、この奇数
フレームFLM1,FLM3,…,FM15の第4オク
テットのビットEは、受信側で伝送エラーを検出したこ
とを表示するために用いられる。
【0122】また、ビットレート割当信号BASは、図
16に示すように、偶数フレームFLM0,FLM2,
…,FLM14では、能力BASあるいはBASコマン
ドをあらわす8ビットデータが配置され、それに続く奇
数フレームFLM1,FLM3,…,FLM15の第2
オクテットには、直前のフレームで送出した能力BAS
あるいはBASコマンドの値を誤り訂正するための二重
誤り訂正符号が配置される。
【0123】また、マルチフレームMFLのデータの送
信は、フレーム番号順に行なわれ、おのおののフレーム
FLM0〜FLM15は、図17に示すように、第1オ
クテットから第80オクテットのオクテット順序に送出
され、それぞれのオクテットは、第1ビットが最初に送
出される。
【0124】すなわち、おのおののフレームFLM0〜
FLM15においては、第1オクテットの第1ビットが
最初に送出され、第80オクテットの第8ビットが最後
に送出される。
【0125】図18は、テレビ会議端末装置T1〜Tn
と、多地点制御装置MCUとの間で行われる伝送制御手
順として適用されるTTC標準JT−H.242の一般
的な手順例を示している。なお、この場合、2つのBチ
ャネルを用いて、端末間で音声データ、汎用データ、お
よび、動画データをやりとりするときの伝送手順の一例
を示している。
【0126】まず、発呼端末(この場合は、テレビ会議
端末装置T1〜Tn)が宛先端末(この場合は、多地点
制御装置MCU)へ発呼してDチャネル上で呼設定手順
を行い、1つのBチャネル(以下、第1チャネルとい
う)を確保し(フェーズA)、その設定した第1チャネ
ル上でPCM音声データ(A則またはμ則、64Kbp
s)をセットしたフレームデータをやりとりしながらフ
レーム同期を行ない(フレームモード)、フレーム同期
が確立すると、相互に能力BASデータおよびコマンド
BASデータをやりとりし(フェーズB1−1)、その
ときに使用する伝送モードを決定して、2つ目のBチャ
ネルを確保するための付加呼設定要求を開始する(フェ
ーズB1−2)。
【0127】そして、伝送モードをそのときに相互に交
換した内容から、原則として、互いに共通で最も機能の
高いモードを選択し(フェーズB1−3)、発呼端末か
らその選択した動作モードで着呼端末に受信機能を動作
させるよう端末の受信機能を指定するBASコマンドを
送信して、もしこの場合、発呼端末が送信したBASコ
マンドと異なるモードのBASコマンドを受信した場合
には、受信したBASコマンドを再度送信し、送信モー
ドを受信モードに一致させ、発呼端末と着呼端末の装置
機能に共通するパラメータを設定する(フェーズB
2)。これにより、第1チャネルでは、そのときに選択
した伝送モードに対応した、例えば、音声データ(16
Kbps)のデータ伝送、および、動画像データ(4
6.4Kbps)のデータ伝送が行われる(フェーズ
C)。
【0128】第1チャネルがフレームモードでデータ伝
送を開始すると、2つ目のBチャネル(以下、第2チャ
ネルという)についてDチャネル上で呼設定手順を行い
(フェーズCA)、第2チャネルが確立すると、第2チ
ャネルを使ってフレーム同期信号FASおよびビット割
当信号BASのみを含むフレームデータをやりとりして
フレーム同期およびマルチフレーム同期を確立し(フェ
ーズCB1−11)、次いで、第1チャネルと第2チャ
ネル間の同期を確立する(フェーズCB1−12)。
【0129】2つのBチャネルの同期が完了すると、発
呼端末側からBASコマンドを送出して伝送モードを設
定し(フェーズCB1−2)、その設定した内容に伝送
モードを切り換え(フェーズCB1−3)、共通パラメ
ータを設定する(フェーズCB2)。なお、送信したB
ASコマンドと異なるモードのBASコマンドを受信し
た場合には、受信したBASコマンドを再度送信し、送
信モードを受信モードに一致するよう伝送モードを切り
換え、共通パラメータを設定する。
【0130】このようにして、第2チャネルの初期化が
終了すると、それ以降は、第1チャネルでやりとりする
フレームデータ、および、第2チャネルでやりとりする
フレームデータが同期された状態で、2つのBチャネル
を用いて、テレビ会議端末装置T1〜Tnと多地点制御
装置MCUの間で、例えば、2つの情報チャネルを用い
て、音声データ、動画データ、および、汎用データが、
それぞれ56Kbps,62.4Kbps、および、
6.4Kbpsの伝送速度が割り当てられてデータ伝送
される(図19参照)。
【0131】このようなデータ伝送を終了するときに
は、まず、第2チャネルから切断する。このとき、第1
チャネルのみで行なう音声データ伝送のために、共通モ
ードを設定するための手順が行われて(フェーズCD
1)、第2チャネルはフレームモードのモード0Fへの
モード切換えが行われる(フェーズCD2)。このとき
には、第1チャネルと第2チャネルが非同期であり、か
つ、第2チャネルではフレーム同期信号FASとビット
割当信号BASのみの伝送状態で呼が保持されている状
態であり、Dチャネルの呼切断解放手順により第2チャ
ネルの呼を解放できる状態になっている。
【0132】また、第1チャネルでは、フェーズCD1
およびフェーズCD2の間、フレームモードで音声デー
タが56Kbpsの伝送速度で伝送されており、動画デ
ータの伝送は停止され、さらに、一方の端末のオペレー
タが通話終了する場合はモード0Fに切り換え(フェー
ズD2)、この後、Dチャネルの呼切断解放手順により
第1チャネルの呼を解放できる状態になっている。
【0133】これにより、第1チャネルおよび第2チャ
ネルについて、Dチャネル上で呼切断解放手順が実行さ
れて(フェーズE)、2つの端末間のオーディオビジュ
アル伝送が終了する。
【0134】このように、テレビ会議端末装置T1〜T
nと多地点制御装置MCUとの間では、最初に1つのB
チャネル(第1チャネル)を確保してフレームモードを
確立した後に、この第1チャネルで音声データと動画デ
ータの伝送速度の割り当てを行なって過渡的なモードで
データ伝送を行ないつつ、同時に互いに2つ目のBチャ
ネル(第2チャネル)の設定が可能ならば、Dチャネル
の呼設定手順により第2チャネルを確保する。そして、
過渡的なモードで伝送している第1チャネルと、新たに
確保した第2チャネルをチャネル同期させ、そのチャネ
ル同期が確立した時点で、音声データと動画データの伝
送速度の割り当てを再設定し、増大したBチャネルの伝
送容量を活用して、より高品質な音声データおよび動画
データのやりとりを行なうようにしている。
【0135】また、データ伝送を終了するときには、い
ったん、第1チャネルと第2チャネルの両方を同期させ
た状態で伝送路を使用していたモードから、第1チャネ
ルだけを使用するモードへ変更する必要がある。そこ
で、まず、音声データは56Kbpsの伝送速度のまま
保持するとともに、動画データの伝送を停止して第1チ
ャネルのみの伝送モードに変更する一方、第2チャネル
は、第1チャネルとの同期状態を停止するとともに、ユ
ーザデータが空き伝送状態になっているモード0Fに移
行し、Dチャネルの呼切断解放手順により呼を切断/解
放する。また、第1チャネルは、モード0Fへ変更した
後、Dチャネルの呼切断解放手順により、呼を切断/解
放する。
【0136】さて、ITU−T勧告H.261の動画符
号化方式では、例えば、動画の量子化ステップサイズを
設定可能な範囲(2〜62の偶数値)で適宜に変化させ
ることで、やりとりする動画品質をある程度決定するこ
とができる。そして、GOBデータに含まれる量子化特
性情報GQUANTが、それ以降のGOBに適用される
量子化ステップサイズに対応した内容にセットされると
ともに、マクロブロックデータに含まれる量子化特性情
報MQUANTが、それ以降のマクロブロックに適用さ
れる量子化ステップサイズに対応した内容にセットされ
る。
【0137】すなわち、概念的にいうと、このITU−
T勧告H.261の動画符号化方式では、画像データを
DCT処理して得られた変換係数を、量子化ステップ値
で割り算することで、符号のダイナミックレンジを制限
できるようにしている。
【0138】したがって、量子化ステップサイズを小さ
い値に設定すると、量子化誤差が減少し、符号化された
動画情報を再生したときの画質が向上する(すなわち、
より高精細になる)が、反面、データ量が増大する。こ
のようにして、1フレーム当たりのデータ量が増大し、
動画情報に割り当てられたデータ伝送速度よりも1秒間
当たりのデータ量が大きくなったときには、伝送バッフ
ァがあふれることを防止するため、動画CODEC1
4,29は、動画のフレームスキップ(駒落とし)を行
って動画情報のデータ量を抑制する。すなわち、この場
合には、画像の動きに対する追従性が低下する。
【0139】逆に、量子化ステップサイズを大きい値に
設定すると、量子化誤差が増大し、符号化された動画情
報を再生したときの画質が劣化するが(すなわち、精細
度は低下する)、データ量が低下するので、画面の追従
性が良好になる。
【0140】さらに、動画CODEC14,29におい
ては、量子化ステップサイズの設定は、適応的に行わ
れ、そのときに参照される適用因子は、例えば、符号デ
ータ量が用いられる。したがって、動画CODEC1
4,29は、通常では、符号データ量を小さくする方向
に量子化ステップサイズを適応的に変化するように動作
する。また、その量子化ステップサイズの最大値は、最
大量子化ステップサイズにより規定され、この最大量子
化ステップサイズは、外部から動画CODEC14,2
9に対して指定することができる。
【0141】そこで、動画CODEC14,29に指定
する最大量子化ステップサイズを大きい値に設定する
と、動画CODEC14,29は、その最大量子化ステ
ップサイズまで適応的に量子化ステップサイズを変化す
るので、最大量子化ステップサイズを小さく設定した場
合に比べて、例えば、1フレーム当たりの伝送データ量
を小さくすることができる。
【0142】逆に、動画CODEC14,29に指定す
る最大量子化ステップサイズを小さい値に設定すると、
動画CODEC14,29は、量子化ステップサイズを
小さい値に制限するので、量子化誤差が減少し、符号化
された動画情報を再生したときの画質が向上する。
【0143】ここで、多地点テレビ会議通信セッション
の議事進行について考える。
【0144】例えば、6個のテレビ会議通信端末T1〜
T6が同一の多地点テレビ会議通信セッションに参加し
ている場合で、テレビ会議通信端末T2のメンバーが発
言している場合には、多地点制御装置MCUの音声デー
タ処理ユニットAUの音声レベル判定部LVにおいて、
テレビ会議通信端末T2が話者端末であると判定され、
その旨がシステム制御部SCUに通知されるので、シス
テム制御部SCUは、図20に示すようなスプリット画
面を構成するように、動画データ処理ユニットVUに指
令する。
【0145】この場合、左下に、有効画面の5/8のサ
イズを有するメイン画面DDmが1つ形成されるととも
に、その周囲に、有効画面の2/8のサイズを有する5
つのインデックス画面DDx1〜DDx5が形成され、
メイン画面DDmには、そのときに話者端末であると判
定されたテレビ会議通信端末T2より受信した動画情報
の縮小画面が配置され、インデックス画面DDx1〜D
Dx5には、それ以外の参加端末であるテレビ会議通信
端末T1,T3〜T6より受信した動画情報の縮小画面
がそれぞれ配置される。
【0146】このように、画面表示がスプリット画面に
設定されている場合には、同一画面上に複数の参加端末
から送り出された映像が縮小して配置されるとともに、
その縮小率は、話者端末になっている参加端末が小さ
く、それ以外の参加端末が大きくなる。
【0147】そこで、本実施例では、スプリット画面中
に表示される画面の縮小率(縦横寸法の縮小率)に応じ
て、図21に示したような評価値を設定し、次の式に基
づいて、最大量子化ステップサイズQSSPmaxを設
定する。
【0148】QSSPmax=QSSmax・(100
+(評価値))/100
【0149】ここで、QSSmaxは、動画伝送チャネ
ルに割り当てられた伝送容量により決定される最大量子
化ステップサイズである。
【0150】したがって、評価値がプラスの値である場
合、伝送容量によって決定された最大量子化ステップサ
イズに対して、評価値の割合分(パーセント値)だけ最
大量子化ステップサイズが増加され、結果として、量子
化誤差が大きくなるとともに符号量が少なくなり、受信
側で得られる映像は、映像の精細度は損なわれるものの
映像中の動きへの追従性が向上することとなる。
【0151】すなわち、この場合、より小さい画面に縮
小される場合には、最大量子化ステップサイズの値がよ
り大きい値となり、したがって、形成される動画情報の
映像中の動きへの追従性が非常に高いものとなる。
【0152】一方、この場合、画面が縮小されるので、
映像の精細度が悪化しても、縮小画面における映像の品
質はそれほど低下することはなく、比較的良好な画質の
映像を提供することができる。
【0153】ここで、縮小率の値を1/8の倍数に設定
しているのは、後述するように、動画符号化時に適用す
る2次元DCT変換の基数の値が8であり、このときの
変換係数の操作により映像を縮小することができるが、
その映像縮小操作処理との整合性のために、2次元DC
T変換の基数の逆数の倍数に設定すると、都合がよいか
らである。
【0154】以上の構成で、多地点制御装置MCUは、
多地点テレビ会議通信セッションを実行しているとき、
例えば、話者端末が変更になり、送出する映像画面の構
成を変更する要求を生じると、図22に示したような処
理を実行する。
【0155】まず、システム制御部SCUは、動画デー
タ処理ユニットVUに対して、画面フリーズを指定する
(処理101)。これにより、動画データ処理ユニット
VUは、その時点の映像画面を固定した静止画像の動画
情報を形成し、それぞれの端末装置について送出する。
【0156】次いで、その変更後の画面に基づいて、各
端末の縮小率を判定する(処理102)。例えば、上述
したように参加端末が6個の場合、話者端末の縮小率を
5/8に、それ以外の参加端末の縮小率を2/8に設定
する。そして、その設定した縮小率を、動画データ処理
ユニットVUの動画縮小編集部VREに通知する(処理
103)。
【0157】そして、システム制御部SCUは、そのと
きに設定した縮小率を、おのおのの参加端末に通知する
ため、図23に示したように、動画縮小率を通知するた
めのBAS信号を形成し(処理104)、そのBAS信
号をMBE能力値として、対応する参加端末に対してそ
れぞれ送出する(処理105)。
【0158】次いで、それぞれの参加端末が、指定され
た縮小率の動画情報を強制画面更新モードのフレームを
送出してくることを監視する(判断106のNOルー
プ)。そして、全ての参加端末が強制画面更新モードの
フレームを送信して、判断106の結果がYESになる
と、動画データ処理ユニットVUの動画縮小編集部VR
Eに対して、画面フリーズの解除を指定する(処理10
7)。
【0159】これにより、動画縮小編集部VREは、お
のおのの参加端末に対応したデジタル動画信号DAI
を、それぞれ通知された縮小率で縮小するとともに、そ
の縮小後のデータを、縮小率が5/8に設定されている
ものについてはメイン画面DDmに配置し、それ以外の
縮小率が2/8に設定されているものについては適宜な
インデックス画面DDx1〜DDx5に配置して、スプ
リット画面の動画データを形成し、その動画データを出
力する。
【0160】また、この場合のそれぞれの参加端末(テ
レビ会議通信端末)の処理の一例を図24に示す。
【0161】まず、多地点制御装置MCUより、BAS
信号を受信すると(判断201の結果がYES)、その
BAS信号の内容が縮小率を通知するMBE能力値であ
るかどうかを調べる(判断202)。
【0162】判断202の結果がYESになるときに
は、図21の表に基づいて、その受信した縮小率に対応
した評価値を得て(処理203)、その評価値に基づ
き、上述した式を演算して最大量子化ステップサイズQ
SSPmaxを算出し(処理204)、その算出して得
た最大量子化ステップサイズQSSPmaxの値を、動
画CODEC14にセットして(処理205)、判断2
01に戻る。この場合、それぞれの参加端末では、新た
にセットされた最大量子化ステップサイズQSSPma
xの値を適用した最初の動画情報を送信するときには、
強制画面更新モードのフレームモードで送信する。
【0163】また、受信したBAS信号の内容が縮小率
を通知するMBE能力値でない場合で、判断202の結
果がNOになるときには、そのときに受信したBAS信
号の内容に対応した処理を実行し(処理206)、判断
201に戻る。
【0164】これにより、多地点制御装置MCUより通
知された映像画面の縮小率の値に応じて、参加端末側の
動画CODEC14の符号化特性が設定されるので、多
地点制御装置MCUから各参加端末に送出される映像画
面に配置される各縮小画面は、動き追従性が良好で、か
つ、画質の良好なものとなる。
【0165】さて、上述した動画CODEC14,29
は、基本的には、TTC標準JT−H.261の符号化
方式を適用しているため、上述のように、その情報源符
号器31における変換器CVaは、TTC標準JT−
H.261の2次元DCT変換処理を行う。
【0166】この2次元DCT変換処理について、次に
説明する。
【0167】まず、2次元DCT変換処理では、1画面
(フレーム)を形成する画素を、図25に示すように、
8×8の画素ブロックBLKに分割し、この画素ブロッ
クBLKの信号に対して、次式に示すような2次元DC
T変換処理を適用し、図26に示すような8×8のDC
T係数マトリクスCMXを算出する。
【0168】
【数1】
【0169】ここで、算出されたDCT係数マトリクス
CMXの要素のうち左上の1個の要素((0,0))は
DC(直流)成分(以下、DC係数という)をあらわ
し、他の63個の要素はAC(交流)成分(以下、AC
係数という)をあらわしている。また、係数位置の横方
向が水平方向(X方向)空間周波数の座標軸方向に対応
し、縦方向が垂直方向(Y方向)空間周波数の座標軸方
向に対応する。
【0170】したがって、DCT係数マトリクスCMX
のAC係数を起点とした外側の要素は、より高い周波数
成分の信号である。
【0171】ここで、動画情報の縮小処理を行うと、映
像に含まれる対象が縮小されるため、基本的には、縮小
映像には細かい動きの映像部分が再現されなくなる。し
たがって、動画情報の送出側(すなわち、この場合に
は、参加端末側)で、受信映像(参加端末の受信映像)
には再現されないであろう動画情報の高周波成分の情報
を、あらかじめ削除しておくと、後々無駄になる情報を
伝送路上に送出するという事態を回避できるので、伝送
効率の点から好ましい。例えば、縮小率が5/8と指定
された場合、図27(b)に「X」で示した位置のDC
T係数の値を「0」に設定する。
【0172】また、このような前処理を行うと、当然の
ことながら送信する情報量が減少するので、伝送データ
量を削減することができ、動き追従性の良好な動画情報
を送信することができる。
【0173】また、このDCT係数マトリクスCMXの
要素数を、動画信号の符号化時と復号化時とで異ならせ
ることで、復号に得られる再生画像を縮小することがで
きる。
【0174】例えば、図27(a)に示すように、動画
信号の符号化時に適用するDCT係数マトリクスCMX
の要素数をN×Nとし、動画情報の復号化時に適用する
DCT係数マトリクスCMXの要素数をP×Pとする
と、復号後に得られる再生画像は、P/Nに縮小され
る。ここで、N=8とし、P=5とすると(図27
(a),(b)の例)、再生画像は原画像の5/8に縮
小される。ただし、このままでは、縮小後の画像の輝度
がN/P倍になるので、その輝度調整のために、縮小後
の各画素値をP/N倍に処理する必要がある。
【0175】このように、DCT係数マトリクスの要素
数を調整するだけで、画像を縮小することができるの
で、縮小処理が非常に簡単なものとなり、高速な縮小処
理が実現できる。
【0176】以上のことから、参加端末側では、多地点
制御装置MCUから通知される縮小率に応じて、動画C
ODEC14の情報源符号器31におけるDCT係数マ
トリクスの値を調整する一方、多地点制御装置MCUで
は、おのおのの通信チャネルユニットCU1〜CUnの
動画CODEC29の情報源復号器37におけるDCD
係数マトリクスの要素数を、対応する参加端末に設定し
た縮小率に応じて調整することにより、上述した実施例
と同等の効果を得ることができる。
【0177】この場合の多地点制御装置MCUの動画デ
ータ処理ユニットVUの一例を図28に示す。なお、同
図において、図5と同一部分および相当する部分には、
同一符号を付している。
【0178】同図において、通信チャネルユニットCU
1〜CUnから入力した動画入力信号AAI1〜AAI
nは、おのおのの通信チャネルユニットCU1〜CUn
により縮小されており、その動画入力信号AAI1〜A
AInは、アナログ/デジタル変換器ADC1〜ADC
nに加えられ、アナログ/デジタル変換器ADC1〜A
DCnによりおのおの対応するデジタル信号に変換さ
れ、その変換後のデジタル信号は、デジタル動画信号D
AI1〜DAInとして、動画編集部VRFに加えられ
る。
【0179】動画編集部VRFは、それぞれ入力される
縮小された状態のデジタル動画信号DAI1〜DAIn
を、システム制御部SCUから指定された配置態様で縮
小画面を組み合わせたスプリット画面(前述)の1フレ
ーム分の動画データを形成するものであり、その動画デ
ータは、それぞれデジタル動画信号DAO1〜DAOn
として、デジタル/アナログ変換器DAC1〜DACn
に加えられている。
【0180】デジタル/アナログ変換器DAC1〜DA
Cnは、入力されるデジタル動画信号DAO1〜DAO
nを対応するアナログ信号に変換するものであり、その
変換後のアナログ信号は、動画出力信号AAO1〜AA
Onとして、通信チャネルユニットCU1〜CUnに加
えられている。
【0181】図29は、テレビ会議通信端末装置の動画
CODEC14における情報源符号器31の他の例を示
している。なお、同図において、図11と同一部分およ
び相当する部分については、同一符号を付している。
【0182】同図において、動画入力信号VIは、減算
器DF、および、切換器SW1の一方の切換入力端に加
えられている。
【0183】切換器SW1は、制御部34から加えられ
る制御信号S2に基づいて、減算器DFの出力、また
は、動画入力信号VIを切り換えるものであり、その出
力は、変換器CVaに加えられている。変換器CVa
は、TTC標準JT−H.261の2次元DCT変換処
理を行うものであり、その出力信号は、量子化器QZa
に加えられている。
【0184】量子化器QZcは、制御部34から加えら
れるDCT係数マトリクス調整信号Spaに応じて、変
換器CVaから入力したDCT係数マトリクスの要素の
値を強制的に「0」に設定して修正するとともに、その
修正後のDCT係数マトリクスのおのおのの要素につい
て、制御部34から加えられる量子化ステップ値Sqに
応じた量子化処理を実施するものであり、その出力信号
は、情報源符号データVSaとしてビデオ信号多重化符
号化器32に加えられるとともに、逆量子化器IQZa
に加えられている。
【0185】逆量子化器IQZaは、制御部34から加
えられる量子化ステップ値Sqに応じて、情報源符号デ
ータVSaに対し、量子化器QZcの逆変換処理である
逆量子化処理を実施するものであり、その出力信号は、
逆変換器ICVaに加えられている。
【0186】逆変換器ICVaは、変換器CVaの逆変
換処理を行うものであり、したがって、逆変換器ICV
aの出力信号は、量子化器QZcの量子化誤差を含むも
のの、変換器CVaに入力される動画入力信号VIに相
当する信号(以下、復号化動画信号という)となる。こ
の逆変換器ICVaから出力される復号化動画信号は、
加算器SMaに加えられている。この加算器SMaの出
力信号は、画像メモリMPaに加えられている。
【0187】また、画像メモリMPaには、動画入力信
号VIが加えられている。画像メモリMPaは、動き補
償用可変遅延機能を持つ画像メモリであり、1フレーム
分の復号化動画信号をマクロブロック単位に記憶し、そ
の復号化動画信号に基づいて次のフレームの動画信号を
予測するとともに、復号化動画信号と動画入力信号VI
に基づいて動きベクトルを検出するものである。この検
出された動きベクトルに対応した動きベクトル信号SV
は、ビデオ信号多重化符号器32に加えられている。
【0188】画像メモリMPaから出力される予測ビデ
オ信号は、ループ内フィルタFLaを介し、切換器SW
2および減算器DFに加えられている。
【0189】ここで、切換器SW2は切換器SW1に連
動して切換動作する。
【0190】以上の構成で、ビデオ入力信号VIについ
て、フレーム内符号化処理(INTRAモード)を行う
場合、制御部34は、切換器SW1,SW2をそれぞれ
図の破線の状態に切換接続するとともに、指定された縮
小率に応じて、DCT係数マトリクス調整信号Spaの
値を設定する。これにより、入力されたビデオ入力信号
VIは、変換器CVaにより2次元DCT変換処理さ
れ、それによって得られたDCT計数マトリクスの各要
素は、量子化器QZcにより、縮小率に応じた要素の値
が「0」に修正された後に量子化処理されて、ビデオ信
号多重符号器32に情報源符号データVSaとして出力
される。
【0191】また、それとともに、情報源符号データV
Saは、逆量子化器IQZaにより逆量子化変換され、
さらに、逆変換器ICVaにより2次元DCT逆変換処
理され、復号化動画信号として、加算器SMaを介し、
画像メモリMPaに加えられて、保存される。
【0192】次に、フレーム間符号化処理(INTER
モード)を行う場合、制御部34は、切換器SW1,S
W2をそれぞれ図の実線の状態に切換接続する。これに
より、画像メモリMPaから出力される復号化動画信号
は、ループ内フィルタFLaを通過した後に、減算器D
Fに加えられるとともに、切換器SW2を介し、加算器
SMaに加えられる。
【0193】したがって、それ以降は、ビデオ入力信号
VIと画像メモリMPaから出力される次のフレームの
予測値との差分値が、変換器CVaにより2次元DCT
変換処理された後、それによって得られたDCT計数マ
トリクスの各要素は、量子化器QZcにより、縮小率に
応じた要素の値が「0」に修正された後に量子化処理さ
れて、量子化処理されて、ビデオ信号多重符号器32に
情報源符号データVSaとして出力される。
【0194】また、それとともに、情報源符号データV
Saは、逆量子化器IQZaにより逆量子化変換され、
さらに、逆変換器ICVaにより2次元DCT逆変換処
理され、復号化ビデオ信号として、加算器SMaを介
し、画像メモリMPaに加えられて保存される。
【0195】この動作が順次繰り返されて、ビデオ信号
VIに関して情報源符号データが形成される。
【0196】また、上述した符号化処理動作を行うと
き、制御部34は、それぞれの状態をあらわす種々の信
号をビデオ信号多重化符号器32に出力する。すなわ
ち、制御部32は、符号化モード(INTRAモード/
INTERモード)を識別するための識別フラグ信号S
P、そのフレームを伝送するか否かを指定するための伝
送/非伝送フラグ信号St、および、量子化ステップ値
Sqをビデオ信号多重化符号器32に出力する。また、
ループ内フィルタFLaは、この装置の動作設定により
オンオフされる。そして、ループ内フィルタFLaは、
オンオフ動作の区別をあらわす信号Sfをビデオ信号多
重化符号器32に出力している。
【0197】これにより、ビデオ信号多重化符号器32
は、そのときに入力している情報源符号データVSa、
符号化モードの区別、ループ内フィルタFLaのオンオ
フ状態を知り、上述したような符号情報を形成する。
【0198】図30は、多地点制御装置MCUの動画デ
ータ処理ユニットVUにおける動画CODEC29の情
報源復号器37の他の例を示している。なお、同図にお
いて、図12と同一部分および相当する部分には、同一
符号を付している。
【0199】同図において、逆量子化器IQZbは、ビ
デオ信号多重化復号器36から出力される情報源符号デ
ータVSbを、ビデオ信号多重化復号器36から出力さ
れる量子化ステップ値SSqに応じて、情報源符号器3
1の量子化器QZcの逆変換処理である逆量子化処理を
実施するものであり、その出力信号は、逆変換器ICV
bに加えられている。
【0200】逆変換器ICVcは、制御部34から加え
られるDCT係数マトリクス要素数信号Spbに基づい
て、逆量子化器IQZbから加えられるDCT係数マト
リクスの要素数を調整してそのDCT係数マトリクスを
修正するとともに、その修正した後のDCT係数マトリ
クスについて、情報源符号器31の変換器CVaの逆変
換処理を行うものであり、その出力信号は、加算器SM
bを介し、ビデオ出力信号VOとして、外部装置に出力
されるとともに、画像メモリMPbに加えられている。
また、画像メモリMPbには、ビデオ信号多重化復号器
37から動きベクトル信号SSVがそれぞれ加えられて
いる。
【0201】画像メモリMPbは、動き補償用可変遅延
機能を持つ画像メモリであり、1フレーム分の復号化ビ
デオ信号をマクロブロック単位に記憶し、その復号化ビ
デオ信号および動きベクトル信号SSVに基づいて次の
フレームのビデオ信号を予測するものである。
【0202】画像メモリMPbから出力される予測ビデ
オ信号は、ループ内フィルタFLbを介し、切換器SW
11の一方の切換入力端に加えられている。切換器SW
11の共通接続端の出力は、加算器SMbに加えられて
いる。
【0203】ここで、切換器SW11の切換動作は、ビ
デオ信号多重化復号器37から出力される符号化モード
(INTRAモード/INTERモード)を識別するた
めの識別フラグ信号SSPにより制御される。
【0204】以上の構成で、ビデオ信号多重化復号器3
6は、INTRAモードの符号データを復号化するとき
には、INTRAモードに対応した値の識別フラグ信号
SSPを出力し、これにより、切換器SW11は図の破
線の状態に切換接続する。
【0205】したがって、この場合には、ビデオ信号多
重化復号器36から出力される情報源符号データVSb
は、逆量子化器IQZaにより逆量子化変換され、さら
に、逆変換器ICVcにより、DCT係数マトリクスの
要素数が対応する参加端末に設定されている縮小率に応
じた値に修正された後に、2次元DCT逆変換処理さ
れ、逆変換器ICVcの出力信号は、加算器SMbを介
してビデオ出力信号VOとして出力されるとともに、そ
のビデオ出力信号VOは、画像メモリMPbに加えられ
て保存される。
【0206】次に、INTERモードの符号データを復
号化するときには、ビデオ信号多重化復号器36は、I
NTERモードに対応した値の識別フラグ信号SSPを
出力し、これにより、切換器SW11は、図30の実線
の状態に切換接続する。また、ビデオ信号多重化符号器
37は、そのときの符号データに対応してフィルタオン
オフ信号SSfを出力し、これにより、ループ内フィル
タFLbは、符号データの内容に応じてオンオフされ
る。
【0207】それによって、画像メモリMPbから出力
されるビデオ出力信号は、ループ内フィルタFLbを通
過した後に、切換器SW11を介し、加算器SMbに加
えられる。
【0208】したがって、それ以降は、逆変換器ICV
bから出力される予測差分に対応した信号と、画像メモ
リMPbから出力される次のフレームの予測値とが加算
された値が、ビデオ出力信号VOとして加算器SMbか
ら出力されるとともに、画像メモリMPbに加えられて
保存される。
【0209】この動作が順次繰り返されて、ビデオ出力
信号VOが形成されて出力される。また、画像の縮小に
伴う輝度値(画素値)の修正処理は、後段回路により行
なわれる。
【0210】この場合に、多地点制御装置MCUが実行
する処理のうち、多地点テレビ会議通信セッションを実
行しているとき、例えば、話者端末が変更になり、送出
する映像画面の構成を変更する要求を生じるときに実行
する処理の一例を図31に示す。
【0211】まず、システム制御部SCUは、動画デー
タ処理ユニットVUに対して、画面フリーズを指定する
(処理301)。これにより、動画データ処理ユニット
VUは、その時点の映像画面を固定した静止画像の動画
情報を形成し、それぞれの端末装置について送出する。
【0212】次いで、その変更後の画面に基づいて、各
端末の縮小率を判定する(処理302)。例えば、上述
したように参加端末が6個の場合、話者端末の縮小率を
5/8に、それ以外の参加端末の縮小率を2/8に設定
する。そして、その設定した縮小率を、おのおのの参加
端末に対応する通信チャネルユニットCU1〜CUn、
および、動画データ処理ユニットVUの動画編集部VR
Fに通知する(処理303)。
【0213】そして、システム制御部SCUは、そのと
きに設定した縮小率を、おのおのの参加端末に通知する
ため、図23に示したように、動画縮小率を通知するた
めのBAS信号を形成し(処理304)、そのBAS信
号をMBE能力値として、対応する参加端末に対してそ
れぞれ送出する(処理305)。
【0214】次いで、それぞれの参加端末が、指定され
た縮小率の動画情報を強制画面更新モードのフレームを
送出してくることを監視する(判断306のNOルー
プ)。そして、全ての参加端末が強制画面更新モードの
フレームを送信して、判断306の結果がYESになる
と、動画データ処理ユニットVUの動画編集部VRFに
対して、画面フリーズの解除を指定する(処理30
7)。
【0215】これにより、動画編集部VRFは、おのお
のの参加端末に対応したデジタル動画信号DAIを、縮
小率が5/8に設定されているものについては画素値を
5/8倍に修正するとともにメイン画面DDmに配置
し、それ以外の縮小率が2/8に設定されているものに
ついては画素値を2/8倍に修正するとともに適宜なイ
ンデックス画面DDx1〜DDx5に配置して、スプリ
ット画面の動画データを形成し、その動画データを出力
する。
【0216】また、この場合のそれぞれの参加端末(テ
レビ会議通信端末)の処理の一例を図32に示す。
【0217】まず、多地点制御装置MCUより、BAS
信号を受信すると(判断401の結果がYES)、その
BAS信号の内容が縮小率を通知するMBE能力値であ
るかどうかを調べる(判断402)。
【0218】判断402の結果がYESになるときに
は、その受信した縮小率に対応して要素の値を「0」に
設定するDCT係数マトリクスの各要素を判定し(処理
403)、その判定した各要素を動画CODEC14に
通知して(処理404)、判断401に戻る。この場
合、それぞれの参加端末では、新たにセットされたDC
T係数マトリクスの要素の修正値を適用した最初の動画
情報を送信するときには、強制画面更新モードのフレー
ムモードで送信する。
【0219】また、受信したBAS信号の内容が縮小率
を通知するMBE能力値でない場合で、判断402の結
果がNOになるときには、そのときに受信したBAS信
号の内容に対応した処理を実行し(処理405)、判断
401に戻る。
【0220】これにより、多地点制御装置MCUより通
知された映像画面の縮小率の値に応じて、参加端末側の
動画CODEC14の符号化特性が設定されるので、多
地点制御装置MCUから各参加端末に送出される映像画
面に配置される各縮小画面は、動き追従性が良好で、か
つ、画質の良好なものとなる。
【0221】なお、上述した実施例では、テレビ会議通
信端末装置と、多地点制御装置を用いて、多地点テレビ
通信会議セッションを実行する場合について説明した
が、テレビ会議通信端末装置の1対1の対向通信の場合
についても、本発明を同様にして適用することができ
る。また、テレビ会議通信端末装置および多地点制御装
置の構成は、上述した実施例のものに限ることはない。
【0222】また、スプリット画面は、図20に示した
ものに限ることはなく、適宜な形式のものを適用するこ
とができる。
【0223】
【発明の効果】以上説明したように、本発明によれば、
通知された縮小率に応じて、送信する動画情報の符号化
特性を変化させているので、効率のよい動画情報伝送が
できるという効果を得る。また、変化させる符号化特性
として、2次元DCT変換処理を利用したものを用いる
ので、符号化特性の変化を柔軟に変化させることがで
き、効率的な符号化処理を適用することができるという
効果も得る。
【0224】また、多地点制御装置から通知された縮小
率に応じて、送信する動画情報の符号化特性を変化させ
ているので、効率のよい動画情報伝送ができるという効
果を得る。また、変化させる符号化特性として、2次元
DCT変換処理を利用したものを用いるので、符号化特
性の変化を柔軟に変化させることができ、効率的な符号
化処理を適用することができるという効果も得る。
【図面の簡単な説明】
【図1】本発明の一実施例にかかる多地点テレビ会議通
信システムの一例を示した機能ブロック図。
【図2】本発明の一実施例にかかるテレビ会議通信端末
装置を示した機能ブロック図。
【図3】多地点制御装置の概略構成を示した機能ブロッ
ク図。
【図4】通信チャネルユニットの構成の一例を示すブロ
ック図。
【図5】動画データ処理ユニットの構成の一例を示すブ
ロック図。
【図6】音声データ処理ユニットの構成の一例を示すブ
ロック図。
【図7】動画CODECの概略構成を示すブロック図。
【図8】動画情報の信号形式の一例を示した概略図。
【図9】動画情報の信号形式の他の例を示した概略図。
【図10】動画情報のデータ形式の一例を示した概略
図。
【図11】情報源符号器の一例を示したブロック図。
【図12】情報源復号器の一例を示したブロック図。
【図13】マルチフレームのフレーム構成の一例を示す
概略図。
【図14】1つのフレームの信号構成の一例を示す概略
図。
【図15】フレーム同期信号の一例を示す概略図。
【図16】ビット割当信号の一例を示す概略図。
【図17】信号の送出順序を説明するための概略図。
【図18】TTC勧告JT−H.242の一般的な手順
例を示したタイムチャート。
【図19】2つのBチャネルを用いたデータ伝送におけ
る音声データ、汎用データ、および、動画データに対す
る伝送容量の割り当ての一例を示した概略図。
【図20】スプリット画面の一例を示した該略図。
【図21】縮小率データと評価値との関係の一例を示し
た表。
【図22】多地点制御装置が多地点テレビ会議通信セッ
ションを実行しているときに実行する処理の一例を示し
たフローチャート。
【図23】動画縮小率を通知するためのBAS信号の一
例を示した該略図。
【図24】テレビ会議通信端末装置の処理の一例を示し
たフローチャート。
【図25】画素ブロックの一例を示した概略図。
【図26】DCT係数マトリクスの一例を示した概略
図。
【図27】音声データ処理ユニットの一例を示した概略
図。
【図28】動画データ処理ユニットの構成の一例を示す
ブロック図。
【図29】情報源符号器の他の例を示したブロック図。
【図30】情報源復号器の他の例を示したブロック図。
【図31】多地点制御装置が多地点テレビ会議通信セッ
ションを実行しているときに実行する処理の他の例を示
したフローチャート。
【図32】テレビ会議通信端末装置の処理の一例を示し
たフローチャート。
【符号の説明】
MCU 多地点制御装置 T1〜Tn テレビ会議通信端末装置 14,29 動画CODEC

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも、符号化圧縮された状態の音
    声情報および動画情報を相手端末との間でやりとりし
    て、所定のテレビ会議通信を行うテレビ会議通信端末装
    置において、 相手端末より受信した動画表示画面を縮小する要求が生
    じると、その縮小画面の縮小率を相手端末に通知し、相
    手端末より受信した動画情報に基づいて縮小動画情報を
    形成して、その縮小動画情報を画面に表示する一方、 相手端末より動画表示画面の縮小率が通知されると、そ
    の縮小率に対応して、動画情報の符号化手段の符号化特
    性を設定することを特徴とするテレビ会議通信端末装
    置。
  2. 【請求項2】 前記動画情報は、2次元DCT変換を伴
    う所定の符号化方式により符号化した状態でやりとりす
    るものであって、 前記縮小率は、上記2次元DCT変換の基数の逆数を単
    位とした値に設定され、 前記動画情報に基づいた縮小動画情報の形成は、受信し
    た動画情報を復号化する際、上記2次元DCT変換に適
    用されるDCT係数マトリクスにおいて、通知された縮
    小率に対応した所定位置の複数の係数値を0に設定する
    ことにより行うことを特徴とする請求項1記載のテレビ
    会議通信端末装置。
  3. 【請求項3】 前記動画情報は、2次元DCT変換を伴
    う所定の符号化方式により符号化した状態でやりとりす
    るものであって、 前記縮小率は、上記2次元DCT変換の基数の逆数を単
    位とした値に設定され、 通知された縮小率に対応して、動画情報の符号化手段の
    符号化特性を設定する際には、動画情報の符号化時に、
    上記2次元DCT変換に適用されるDCT係数マトリク
    スにおいて、上記縮小率に対応した所定位置の複数の係
    数値を0に設定することにより行うことを特徴とする請
    求項1または請求項2記載のテレビ会議通信端末装置。
  4. 【請求項4】 少なくとも、符号化圧縮された状態の音
    声情報および動画情報を2つ以上のテレビ会議通信端末
    装置との間でやりとりして、所定の多地点テレビ会議通
    信セッションを行うとともに、上記テレビ会議通信端末
    装置より受信した複数の動画情報画面を縮小し同一画面
    に配置した配信動画情報を形成し、その配信動画情報を
    各テレビ会議通信端末装置に送出する多地点制御装置お
    よびテレビ会議通信端末装置において、 多地点制御装置は、おのおののテレビ会議通信端末装置
    より受信した動画情報の縮小率を、おのおののテレビ会
    議通信端末装置に通知し、おのおののテレビ会議通信端
    末装置より受信した複数の動画情報画面を、上記通知し
    た縮小率に応じてそれぞれ縮小し、その縮小画面を同一
    画面に配置した配信動画情報を形成し、その配信動画情
    報を各テレビ会議通信端末装置に送出する一方、 テレビ会議通信端末装置は、多地点制御装置より動画表
    示画面の縮小率が通知されると、その縮小率に対応し
    て、動画情報の符号化手段の符号化特性を設定すること
    を特徴とする多地点制御装置およびテレビ会議通信端末
    装置。
  5. 【請求項5】 前記動画情報は、2次元DCT変換を伴
    う所定の符号化方式により符号化した状態でやりとりす
    るものであって、 前記縮小率は、上記2次元DCT変換の基数の逆数を単
    位とした値に設定され、 前記多地点制御装置における前記動画情報に基づいた縮
    小動画情報の形成は、受信した動画情報を復号化する
    際、上記2次元DCT変換に適用されるDCT係数マト
    リクスにおいて、対応するテレビ会議通信端末装置につ
    いて設定した縮小率に対応した所定位置の複数の係数値
    を0に設定することにより行うことを特徴とする請求項
    4記載の多地点制御装置およびテレビ会議通信端末装
    置。
  6. 【請求項6】 前記動画情報は、2次元DCT変換を伴
    う所定の符号化方式により符号化した状態でやりとりす
    るものであって、 前記縮小率は、上記2次元DCT変換の基数の逆数を単
    位とした値に設定され、 前記テレビ会議通信端末装置は、通知された縮小率に対
    応して、動画情報の符号化手段の符号化特性を設定する
    際には、動画情報の符号化時に、上記2次元DCT変換
    に適用されるDCT係数マトリクスにおいて、上記縮小
    率に対応した所定位置の複数の係数値を0に設定するこ
    とにより行うことを特徴とする請求項4記載または請求
    項5の多地点制御装置およびテレビ会議通信端末装置。
JP8046696A 1996-03-11 1996-03-11 多地点制御装置およびテレビ会議通信端末装置 Pending JPH09247644A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8046696A JPH09247644A (ja) 1996-03-11 1996-03-11 多地点制御装置およびテレビ会議通信端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8046696A JPH09247644A (ja) 1996-03-11 1996-03-11 多地点制御装置およびテレビ会議通信端末装置

Publications (1)

Publication Number Publication Date
JPH09247644A true JPH09247644A (ja) 1997-09-19

Family

ID=13719046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8046696A Pending JPH09247644A (ja) 1996-03-11 1996-03-11 多地点制御装置およびテレビ会議通信端末装置

Country Status (1)

Country Link
JP (1) JPH09247644A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007507131A (ja) * 2003-07-19 2007-03-22 ▲ほあ▼▲うぇい▼技▲しゅ▼有限公司 マルチ画面を実現する方法
US9024999B2 (en) 2012-05-30 2015-05-05 Ricoh Company, Ltd. Information processing apparatus, conference system, and storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007507131A (ja) * 2003-07-19 2007-03-22 ▲ほあ▼▲うぇい▼技▲しゅ▼有限公司 マルチ画面を実現する方法
US9024999B2 (en) 2012-05-30 2015-05-05 Ricoh Company, Ltd. Information processing apparatus, conference system, and storage medium

Similar Documents

Publication Publication Date Title
US5623312A (en) Compressed-domain bit rate reduction system
US5629736A (en) Coded domain picture composition for multimedia communications systems
US5687095A (en) Video transmission rate matching for multimedia communication systems
US5898457A (en) TV conference communication device and method of controlling the same
EP1721462B1 (en) Arrangement and method for generating continuous presence images
CA2434325A1 (en) Method and apparatus for continuously receiving frames from a plurality of video channels and for alternatively continuously transmitting to each of a plurality of participants ina video conference individual frames containing information concerning each of said video channels
US6313863B1 (en) Image communication apparatus and system
WO2001062001A1 (en) A method and an apparatus for video mixing of bit streams
JPH11234644A (ja) 多地点会議システム
JPH07203434A (ja) 画像送信装置
JPH09247644A (ja) 多地点制御装置およびテレビ会議通信端末装置
JP3927606B2 (ja) 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法
JPH07298231A (ja) 多地点動画像通信システム、その制御装置及び動画像通信端末
JPH07162831A (ja) テレビ会議通信装置の制御方法
JPH0723377A (ja) 画像送信装置
JPH09331510A (ja) 多地点制御装置およびテレビ会議通信端末装置
JPH09172493A (ja) テレビ会議通信端末装置
JPH08186807A (ja) テレビ会議通信端末装置
JPH09247643A (ja) 多地点テレビ会議システム
JPH1028260A (ja) 映像データ伝送方法および多地点テレビ会議装置
JPH0746553A (ja) 画像通信装置及びシステム
JP3339949B2 (ja) テレビ会議通信端末の制御方法
JPH08289296A (ja) 画像通信システムおよびその伝送方法
JPH05130601A (ja) 多地点間制御装置
JPH09205628A (ja) 画像情報伝送装置