JPH06237443A - 音声・動画像通信システム - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 遅延時間の変動を受信側で自動的に検出して
最適な遅延調節を行い、受信側で再生した音声と動画像
間に遅延が生じない音声・動画像通信システムを提供す
る。 【構成】 送信側は、音声および動画像の送信側処理遅
延時間差値を判定する手段４１と、判定後の送信側処理
遅延時間差値を制御情報として受信側に送信する手段４
２、受信側は、通信回線から処理データを受信して音声
および動画像の両信号間に生じる受信側処理遅延時間差
を判定する手段５１と、送信側からの制御情報の遅延時
間差値を得る手段５２と、ここで得た受信側処理遅延時
間差値と手段５２で得た送信側処理遅延時間差値からの
総合遅延時間差値を判定する手段５３と、音声／動画像
の受信データの蓄積データ量を調節して両者間の遅延時
間差を調節する手段５４と、総合遅延判定手段５３で得
た総合遅延時間差値分の遅延バッファ手段５４の調節手
段５５とを備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は音声・動画像通信システ
ムに関するものである。近年、テレビ電話、テレビ会議
などのリアルタイムの音声・動画像通信が急速に広まり
つつある。音声および動画像通信は現状では通信情報量
削減のための種々のモードの符号化・復号化処理に依存
しており、これらのモードに応じて種々の値の処理遅延
が発生する。このため、送信側で同時に送られた音声と
動画像が受信側で再生される先に両者間に遅延時間差が
生じ、不自然な感じを与える。したがってこの遅延時間
差を補償し、音声と動画像を同時再生する技術が必要と
される。

【０００２】

【従来の技術】図１８には音声・動画像通信システムの
従来例が示される。図中、１’は送信側の通信端末、
２’は受信側の通信端末である。送信側通信端末１’
は、音声を受音するマイクロホン１０、動画像を撮るカ
メラ１１、マイクロホン１０からのアナログ音声信号を
ディジタル量にＡ／Ｄ変換するＡ／Ｄ変換器１２、カメ
ラ１１からのアナログ画像信号をディジタル量にＡ／Ｄ
変換するＡ／Ｄ変換器１３、ディジタル音声信号を各種
のモードで符号化して情報量の削減を図る音声符号器１
４、ディジタル画像信号を各種のモードで符号化して情
報量の削減を図る画像符号器１５、通信端末全体の制御
および相手通信端末と制御通信を行う制御部１７、画像
・音声符号化データあるいは制御部１７からの制御通信
を多重化して通信回線に送信する回線対応部１６、表示
操作部１８などを含み構成される。

【０００３】また受信側通信端末２’は、通信回線から
受信した多重化信号を音声符号化信号、動画像符号化信
号および制御通信に分離する回線対応部２０、受信した
音声符号化信号を各種のモードで復号化する音声復号器
２１、受信した画像符号化信号を各種のモードで復号化
する画像復号器２２、復号した音声信号を遅延させる遅
延バッファ２３、遅延バッファ２３の遅延量を調節する
遅延調節部２８４、遅延バッファ２３からの音声信号を
アナログ量にＤ／Ａ変換するＤ／Ａ変換器２４、画像復
号器２２からの復号した画像信号をアナログ量にＤ／Ａ
変換するＤ／Ａ変換器２５、音声を発生するスピーカ２
６、動画像を表示するモニタテレビ２７、通信端末全体
の制御および相手通信端末との制御通信を行う制御部２
８、表示操作部２９などを含み構成される。ここで遅延
バッファ２３は、通常の動作では画像信号の処理が音声
信号の処理よりも多くかかるため受信側において画像信
号が音声信号よりも遅れるので、音声信号を遅延させる
ことで両者間の遅れを無くすためのものである。

【０００４】この従来システムの動作を説明する。受信
側通信端末２’において音声データ（または動画像デー
タ）に対して遅延調節用の遅延バッファ２３を設けてお
いて、表示操作部２９等に対する事前設定により遅延補
償量（すなわちバッファ蓄積量）を指定しておく。通信
開始時に音声データ（または動画像データ）に対して指
定された蓄積量だけバッファ処理を行って遅延補償量分
だけの遅延を与えて再生を行っており、それにより受信
側において音声と動画像の同時再生を実現する。なお、
ほとんどの場合、動画像の処理遅延量が音声の処理遅延
量に比較して大きいため、ここで説明したのように、音
声側に遅延バッファを挿入して音声信号の遅延を増加さ
せている。

【０００５】具体的には表示操作部２９等に対する事前
設定値を認識した制御部２８が、指定された遅延調節量
を遅延調節部２８４に引き渡して遅延調節を指示する。
この指示を受けた遅延調節部２８４は通信開始時に遅延
調節量に対応するデータを遅延バッファ２３に蓄積させ
た後、これを読み出してスピーカ２６による再生を開始
するようにする。

【０００６】ここで、音声と動画像の処理遅延量は、 音声あるいは動画像の伝送レート 音声あるいは動画像の符号化方式 同一の符号化方式における動画像の解像度などのモー
ド変更 装置の実現構成（製造メーカーの設計方針に依存） によりそれぞれ異なった値となる。

【０００７】

【発明が解決しようとする課題】従来システムでは、通
信開始時前に予めオペレータが、音声と動画像間に生じ
るシステム全体でのトータルとしての遅延時間差を把握
しておき、これを受信側の通信端末に設定しておく必要
がある。また通信途中で音声・動画像のモード変更を行
うなどしたためトータルの遅延時間差が変動した場合に
は、変更したモードでのトータルの遅延時間差を再度把
握して、それをマニュアル的に再設定する必要があっ
た。

【０００８】また、近年、テレビ電話機やテレビ会議装
置は標準化が完了しており、１社のシステム内だけで音
声・動画像通信を行うのではなく、種々のメーカの通信
端末間を相互接続して音声・動画像通信を行うことが現
実のものとなりつつある。このため、各社の通信端末の
持つ音声・動画像間の遅延時間差は各社毎に異なってい
るので、遅延時間差の不確定性が増加することになる。
また通信中において必要に応じて音声あるいは動画像の
伝送レート比を変更したり、動画像の解像度を動的に変
更するなどの高度な処理が追求される方向にあり、上述
の遅延時間差は通信中において種々変動するようになる
傾向にある。

【０００９】このため、従来のように、オペレータが予
めトータルの遅延時間を把握して固定的に設定しておく
方法は、遅延時間差の不確定性の増加や通信中の遅延時
間差の変動が見込まれる今後の音声・動画像通信システ
ムにおいては対応しきれなくなり、不都合である。

【００１０】本発明はかかる事情に鑑みてなされたもの
であり、その目的とするところは、音声・動画像通信シ
ステムにおいて、遅延時間の変動を受信側で自動的に検
出して最適な遅延調節を行うことにより、受信側で再生
した音声と動画像間に遅延が生じないようにして不自然
さを無くすことにある。

【００１１】

【課題を解決するための手段】図１は本発明に係る原理
説明図である。本発明に係る音声・動画像通信システム
の送信側通信装置は、音声および動画像の取り込みから
それらの処理データを通信回線に送信するまでに両信号
間に生じる送信側処理遅延時間差値を判定する送信側遅
延判定手段４１と、送信側遅延判定手段４１で判定され
た送信側処理遅延時間差値を制御情報として受信側に送
信する遅延情報送信手段４２とを備えたものである。

【００１２】また本発明に係る音声・動画像通信システ
ムの受信側通信装置は、通信回線から処理データを受信
して音声および動画像を再生するまでに両信号間に生じ
る受信側処理遅延時間差を判定する受信側遅延判定手段
５１と、送信側からの制御情報を受信し解読して送信側
処理遅延時間差値を得る遅延情報受信手段５２と、受信
側遅延判定手段５１で得た受信側処理遅延時間差値と遅
延情報受信手段５２で得た送信側処理遅延時間差値とに
基づいて総合遅延時間差値を判定する総合遅延判定手段
５３と、音声および／または動画像の受信データをバッ
ファしてその蓄積データ量を調節することで両者間の遅
延時間差を調節する遅延バッファ手段５４と、総合遅延
判定手段５３で得た総合遅延時間差値分の遅延を与える
よう遅延バッファ手段５４を調節する遅延調節手段５５
とを備えたものである。

【００１３】また本発明に係る音声・動画像通信システ
ムの受信側通信装置は、上述の受信側通信装置におい
て、遅延時間差の調節は常に音声バッファ内の蓄積デー
タ量を増減させることにより行い、さらに受信音声の無
音状態を検出する無音検出手段５６を設け、遅延調節部
５５は音声バッファ内に無音データが蓄積しているタイ
ミングで遅延調節を行うように構成したものである。

【００１４】また本発明に係る音声・動画像通信システ
ムの多地点接続装置は、上記何れかの通信装置を多地点
接続装置により複数相互に接続し、多地点接続装置内で
各通信装置からの音声信号と動画像信号を音声処理と画
像処理して各通信装置に分配するシステムにおける多地
点接続装置であって、音声および動画像データを通信回
線から受信し音声処理および画像処理した後に処理デー
タを通信回線に再送信するまでに音声信号と動画像信号
間に生じる処理遅延時間差を判定する遅延判定手段と、
現在、動画像信号の送信元となっている通信装置から処
理遅延時間差情報を受信し解読する遅延情報受信手段
と、遅延情報受信手段で得た送信元通信装置からの処理
遅延時間差情報に遅延判定手段で判定した自装置内の遅
延時間差を加味して多地点接続装置の出力側において生
じる総合の処理遅延時間差を判定する総合遅延判定手段
と、総合遅延判定手段で判定した総合の処理遅延時間差
を制御情報として受信側の通信装置に送信する遅延情報
送信手段とを備えたものである。

【００１５】

【作用】通信開始時あるいは通信中において送信側通信
装置に特定の送信モードが指示されると、この送信モー
ドに対応する送信側処理遅延時間差が送信側遅延判定手
段４１によって検索・認識され、この送信側処理遅延時
間差の情報は遅延情報送信手段４２によって受信側通信
装置に送信される。

【００１６】受信側通信装置では、遅延情報受信手段５
２によって送信側処理遅延時間差の値を得て、また上記
送信モードに対応する受信モードでの受信側処理遅延時
間差を受信側遅延判定手段５１で検索・認識し、その両
者を総合遅延判定手段５３に渡す。総合遅延判定手段５
３ではその両者を加算することでシステム全体として生
じている音声信号と動画像信号間の遅延である総合遅延
時間差値を算定する。遅延調整手段５５は受信データを
遅延バッファ手段５４によってこの総合遅延時間差の値
に相応する分だけ遅延するよう調整することで、音声信
号と動画像信号のタイミングが一致するようにする。こ
れにより音声信号と動画像信号間の遅延に起因する受信
側で再生した音声・動画像の不自然さを軽減することが
できる。

【００１７】また、受信側通信装置における遅延調節時
の音声の途切れを防止するため、音声が中断している無
音状態を無音検出新５６で検出し、遅延調節をこの無音
時に行うようにする。これにより必要な音声が破棄され
るということは少なくともなくなるので、実通信に与え
る影響を軽減できる。

【００１８】また、本発明に係る多地点接続装置におい
ては、遅延判定手段は自装置内において生じる音声信号
と動画像信号間の処理遅延時間差を検索・認識し、遅延
情報受信手段は現在、動画像信号の送信元となっている
通信装置から処理遅延時間差情報を受信し解読する。そ
して総合遅延判定手段によって遅延情報受信手段で得た
送信元通信装置からの処理遅延時間差情報に遅延判定手
段で判定した自装置内の遅延時間差を加味して多地点接
続装置の出力側において生じる総合の処理遅延時間差を
算定する。そして遅延情報送信手段によって総合遅延判
定手段で判定した総合の処理遅延時間差を制御情報とし
て受信側の通信装置に送信する。この制御情報を受信し
た受信側通信装置は、前述した動作を行うことで、受信
側通信装置で再生される音声と動画像間の遅延を無くす
ことができる。

【００１９】

【実施例】以下、図面を参照して本発明の実施例を説明
する。なお、以下の各図を通じて、同一の参照番号が付
された回路は同一機能の回路を表すものとする。図２に
は本発明の一実施例としての音声・動画像通信システム
が示される。図２において、送信側の通信端末１を構成
するマイクロホン１０、カメラ１１、Ａ／Ｄ変換器１
２、１３、音声符号器１４、画像符号器１５、回線対応
部１６、制御部１７、表示操作部１８などは従来技術の
項で説明したものと同じものである。本発明の通信端末
１はこれらの回路要素に加えて、遅延判定部１７１と遅
延情報送信部１７２を備えている。

【００２０】遅延判定部１７１は、全ての送信モード、
例えば音声あるいは動画像の伝送レート、符号化方式／
動画像の解像度などにより異なるモード、に対応して送
信側で発生する音声と動画像間の処理遅延時間差（すな
わちマイクロホン１０とカメラ１１への音声信号と画像
信号の同時入力から、それぞれが符号化処理後、通信回
線に送信されるまでに生じる両信号間の時間差）をテー
ブルの形で記憶保持する機能を有する。

【００２１】また遅延情報送信部１７２は遅延判定部１
７１で判定した現在の送信モードに対応する処理遅延時
間差情報を、図３に示される回線フォーマット上の制御
通信フィールドに送信する機能を有する。ここで通信回
線フォーマットは図３に示すように回線フレームヘッ
ダ、制御通信フィールド、音声符号化データフィール
ド、画像符号化データフィールドからなる。

【００２２】一方、受信側の通信端末２を構成する回線
対応部２０、音声復号器２１、画像復号器２２、遅延バ
ッファ２３、Ｄ／Ａ変換器２４、２５、スピーカ２６、
モニタテレビ２７、制御部２８、遅延調節部２８４、表
示操作部２９などは従来技術の項で説明したものと同じ
ものである。従来システムとの相違点として、本発明の
受信側の通信端末２は遅延判定部２８１、遅延情報受信
部２８２、総合遅延判定部２８３を備えていることであ
る。

【００２３】遅延判定部２８１は、全ての受信モード、
例えば音声あるいは動画像の伝送レート／符号化方式／
動画像の解像度などにより異なるモード、対応して受信
側で発生する音声と動画像間の処理遅延時間差（音声信
号と画像信号を通信回線から受信してから、それぞれを
復号化してスピーカ２６とモニタテレビ２７でそれぞれ
を再生するまでの間に発生する音声と動画像間の時間
差）をテーブルの形で記憶保持する機能を有する。

【００２４】遅延情報受信部２８２は送信側から通知さ
れた現在の送信モードに対応する処理遅延時間差情報を
受信・解析する機能を有する。また総合遅延判定部２８
３は、遅延情報受信部２８２から得た送信側で発生した
処理遅延時間差値と、遅延判定部２８１で得た受信側で
発生した処理遅延時間差値とを加算し、それにより通信
システム全体で生じた総合の処理遅延時間差値を算定す
る機能を有する。

【００２５】遅延調節部２８４と遅延バッファ２３の構
成例を図４に示す。遅延バッファ２３は通常のＲＡＭ
（ランダムアクセスメモリ）で構成する。このＲＡＭは
遅延調節部２８４からリードアドレス、ライトアドレ
ス、リード／ライト制御信号を受信するデータ制御部２
３１によってリード／ライト制御される。遅延バッファ
２３からの出力信号は音声ミュート部２０１を介してＤ
／Ａ変換器２５へ出力される。この音声ミュート部２０
１のミュートは遅延調節部２８４によって制御される。

【００２６】この遅延調節部２８４と遅延バッファ２３
の動作を説明する。遅延調節部２８４は制御部２８から
遅延調節の指示を受けると、図５に示す処理手順で図６
に示す遅延調節を実行する。遅延調節部２８４は現在の
ＲＡＭのライトアドレス（音声復号器２１からデータを
入力するアドレス）およびリードアドレス（Ｄ／Ａ変換
器２４へデータを出力するアドレス）を管理している。
遅延バッファ２３の現在の遅延量は両アドレス間の差分
で与えられる。遅延調節部２８４は制御部２８から遅延
調節の指示を受けると（ステップＳ１）、指示された遅
延量に対応するライトアドレス／リードアドレスの差分
を算定し（ステップＳ２）、現在の遅延量より増加ある
いは減少させるのかにより以下の処理を行う（ステップ
Ｓ３〜Ｓ５）。

【００２７】増加の場合：リード処理（Ｄ／Ａ変換器２
４へのデータ出力）を停止し、Ｄ／Ａ変換器２４へのデ
ータ出力は音声ミュート部２０１で音声ミュートする
（ステップＳ３）。ライト処理（音声復号器２１からの
データ入力）の継続によりライドアドレスが移動して遅
延量が所定の量に到達すると（ステップＳ４）、音声ミ
ュートを終了してリード処理（Ｄ／Ａ変換器２４へのデ
ータ出力）を再開する。減少の場合 ：ライトアドレスを前方にシフトし遅延量を
所定の量に減少させる。これにより音声データは失わ
れ、音声通信が一時的に中断することになる（ステップ
Ｓ５）。

【００２８】以下、上述の実施例システムの動作を図面
を参照しつつ説明する。ここで図７は送信側の通信端末
１における処理手順を示す図であり、図８は受信側の通
信端末２における処理手順を示す図である。

【００２９】まず、送信側の通信端末１においては、通
信開始時の初期モード設定あるいは表示操作部１８から
の指示でのモード変更が行われると、制御部１７は遅延
判定部１７１を検索してその変更する新送信モードＢに
対応する処理遅延時間差値TSb を検索して得て、遅延情
報送信部１７２に指示して新たな送信モードＢと検索し
た処理遅延時間差値TSb とを図３の制御通信フィールド
を用いて相手側の通信端末２に通知する。さらに指示さ
れた新送信モードＢに合わせて自装置内の音声符号器１
４、画像符号器１５、回線対応部１６をモード変更する
よう指示を行う。

【００３０】受信側の通信端末２においては、制御部２
８は、通信端末1 の制御部１７から通信開始時の初期モ
ード通知あるいは送信モード変更の通知を制御通信を用
いて受けると、遅延判定部２８１を検索して新しい送信
モードＢに整合する受信モードＢに対応する自装置内の
処理遅延時間差値TRb を検索する。さらに制御部２８
は、通信端末1 からの処理遅延時間差値TSb を制御通信
によって遅延情報受信部２８２で受信待ち状態となり、
この送信側の処理遅延時間差値TSb が受信されると、制
御部２８はこの遅延情報受信部２８２で得た送信側の処
理遅延時間差値TSb と遅延判定部２８１で得た受信側の
処理遅延時間差値TRb とを総合遅延判定部２８３に引き
渡す。

【００３１】総合遅延判定部２８３では、この処理遅延
時間差値TSb とTRb とを加算し、送信側と受信側を含め
たシステム全体において生じる音声と動画像間の総合遅
延時間差Ｔを求め( すなわちＴ＝ＴＳｂ＋ＴＲｂであ
る) 、これを制御部２８に応答通知する。すると制御部
２８はこの総合遅延時間差値Ｔ を遅延調節部２８４に
引き渡し、遅延調節を指示する。これにより遅延調節部
２８４は遅延時間値Ｔに応じて音声遅延バッファ２３内
のデータ蓄積量を増減する。この処理の間、音声Ｄ／Ａ
変換器２４への音声出力は音声ミュートにより無音値と
しておく。

【００３２】最後に、制御部２８は、自装置内の音声復
号器２１、画像復号器２２、回線対応部２０に対して、
送信側で指示された新たな受信モードにモード変更する
よう指示を行う。

【００３３】なお、上述の実施例では画像処理と音声処
理とでは一般に画像処理の方が処理時間がかかるため、
画像信号がより多く遅延するものとして、受信側で音声
信号を遅延させることで両者間のタイミングを一致させ
るようにしたものであるが、勿論、音声信号の処理がよ
り多く処理時間がかかる場合には、受信側において画像
信号を遅延させることで両者間のタイミングを一致させ
ることになる。この場合、遅延時間差の再調節時などに
は、上述の実施例のように音声ミュート処理を行う代わ
りに、動画像フリーズにより動画像の再生を一時的に中
断するようにする。

【００３４】図９には本発明の他の実施例としての音声
・動画像通信システムが示される。この実施例が前述の
図２の実施例と相違している点は、受信側の通信端末２
に無音検出部２０２が備えられており、遅延バッファ２
３での音声のバッファ蓄積量の変更（すなわち遅延調
節）が音声の無音区間で行われるようになっていること
である。

【００３５】これら遅延バッファ２３、遅延調節部２８
４、無音検出部２０２などを含む回路の構成例が図１０
に示される。図示のように、音声復号器２１から出力さ
れる音声信号を監視して無音区間を検出する無音検出部
２０２を設けてその検出結果信号を遅延調節部２８４に
伝えるようにする。この無音検出部２０２は比較器によ
り音声復号器２１からの音声信号を所定の無音レベルと
比較することで無音区間を検出する。

【００３６】この実施例システムの動作を図面を参照し
て以下に説明する。ここで図１１は遅延調節部２８４で
の処理手順を示す流れ図、図１２は遅延調節部２８４の
動作原理を説明する図である。

【００３７】受信側の通信端末２において、遅延調節部
２８４が制御部２８から遅延時間差の再調節の指示を受
けたものとする（ステップＳ１１）。この指示までの動
作は図２の実施例システムの場合と同様である。遅延調
節部２８４は再調節の指示を受けると、無音検出部２０
２から音声無音区間の検出通知があるまで待つ（ステッ
プＳ１３）。無音検出部２０２は遅延バッファ２３中に
十分な量の無音データが蓄積すると、遅延調節部２８４
にその通知を行い、これにより遅延調節部２８４は速や
かに音声バッファ２３の蓄積量を最適化することになる
（ステップＳ１４〜Ｓ１６）。

【００３８】つまり遅延調節部２８４は常時、バッファ
内に蓄積しているデータが無音区間か否かを管理してお
り、図１１の処理手順に示すように、制御部２８から遅
延調節の指示を受けてもバッファ内のデータが全て無音
区間となるまで遅延調節処理を見合わせる。そしてバッ
ファ内のデータが全て無音区間となると、前述したと同
じ遅延調節処理を行う。

【００３９】このようにすると、遅延減少を行うためバ
ッファ蓄積量を削減する場合には、失われる音声データ
は全て無音区間の無音データのみであり、また遅延増加
を行うためバッファ蓄積量を増加する場合には、音声の
再生を一時的に中断して一定量の音声データが蓄積した
後に音声の再生を再開するが、その音声信号の再生が一
時的に中断する区間は無音区間であるので、実通信に与
える影響は少ない。このようにバッファ蓄積量の削減あ
るいは増加の前後で、音声の再生タイミングにずれが生
じるが、それは無音区間であるので、不自然な感じを与
えることはない。

【００４０】図１３には本発明のまた他の実施例として
の音声・動画像通信システムの多地点接続装置３が示さ
れる。この多地点接続装置３は、図１４に示されるよう
に、多地点に配置された通信端末Ａ、Ｂ、Ｃ、Ｄをそれ
ぞれ相互接続する装置であり、例えば通信端末Ａで撮っ
た動画像を通信端末Ｂ、Ｃ、Ｄで表示し、また通信端末
Ｂで撮った動画像を通信端末Ａで表示しすると共に、音
声は全通信端末Ａ〜Ｄの音声を合成して各通信端末Ａ〜
Ｄで出力するように通信端末Ａ〜Ｄ間の接続を行うもの
である。

【００４１】多地点接続装置は、一般には、画像符号化
データの切替えを行う画像処理部３３、音声符号化デー
タの復号化・音声ミキシング・再符号化を行う音声処理
部３２、図３の回線上のフォーマットと音声符号化デー
タ・画像符号化データ・制御データの分離・多重を行う
回線対応部３１Ａ〜３１Ｄ、装置内の制御および各通信
端末と制御通信を行う制御部３４などを含み構成される
が、本発明の多地点接続装置３はこれに加えて、遅延情
報受信部３５、遅延判定部３６、総合遅延判定部３７、
遅延情報送信部３８等を備えている。

【００４２】この実施例装置における画像処理部３３の
構成例が図１５に示される。図示のように、画像処理部
３３はマトリクス・スイッチによって構成され、制御部
３４の指示により特定の１地点、例えば端末Ａの画像を
各受信側の端末Ｂ、Ｃ、Ｄに供給し、一方、端末Ａには
端末Ｂの画像を供給するような接続切替えを行う。

【００４３】また音声処理部３２は、図１６に示される
ように、音声復号器、音声ミキサ、音声符号器により構
成され、各送信側の音声は音声復号器によって復号化の
後、音声ミキサによって全地点の音声がミキシングされ
て、音声符号器によって再度、復号化の後、各受信側端
末に供給される。なお、音声復号・符号化のモードは各
送信側・受信側の端末に整合させるため、一般には各地
点で独立して種々のモードを実現できるようになってい
る。

【００４４】ここで、遅延情報受信部３５は、多地点接
続装置３に接続されている各通信端末（送信側）Ａ〜Ｄ
から送られてくる現在の送信モードに対応するところの
送信側端末で生じる処理遅延時間差の情報を受信・解析
して制御部３４に通知する機能を有する。

【００４５】また遅延判定部３６は、音声処理部３２お
よび画像処理部３３の全てのモードに対して、通信回線
から音声／動画像データを受信後、音声処理および画像
処理を完了して処理データを通信回線に再送信するまで
の音声と動画像間の処理遅延時間差の値をテーブルの形
で記憶保持し、これを制御部３４からの指示に従って検
索する機能を有する。制御部３４は現在の自装置の動作
モードに対応する処理遅延時間差の値を遅延判定部３６
に検索して認識することになる。ここで、上述の音声処
理は一般的には、音声復号化→音声ミキシング→音声再
符号化処理であり、一方、画像処理は一般的には、画面
上に特定の１地点の画像表示の場合には画像符号化レベ
ルの切替えであり、あるいは画面上に複数の地点の画像
を合成して表示の場合には画像復号化→画像合成→画像
再符号化処理である。

【００４６】総合遅延判定部３７は遅延情報受信部３５
で得た送信側の処理遅延時間差値と遅延判定部３６で得
た自装置内での処理遅延時間差値を制御部３４経由で引
き渡され、これらを加算することで多地点接続装置の出
力側までの総合の処理遅延時間差の値を算定して、制御
部３４に応答通知する機能を有する。

【００４７】遅延情報送信部３８は総合遅延判定部３７
で算定した総合の処理遅延時間差情報を図３の回線フォ
ーマット上の制御通信フィールドを用いて各通信端末に
送信する機能を有する。

【００４８】以下、この実施例システムの動作を説明す
る。ここで図１７には実施例の多地点接続装置３の制御
部の処理手順が示される。いま、通信端末Ａの動画像を
通信端末Ｂ、Ｃ、Ｄが受信し、通信端末Ｂの動画像を通
信端末Ａが受信するものとし、音声については全地点か
らの音声符号化データを多地点接続装置３が復号化し音
声ミクキング・再符号化を行って各通信端末Ａ〜Ｄに配
送するものとする。この通信を開始する場合において、
多地点接続装置３に通信端末Ａ〜Ｄが接続されると、各
通信端末Ａ〜Ｄと多地点接続装置３は制御通信を行って
各通信端末Ａ〜Ｄの送信モード、多地点接続装置３の動
作モード、通信端末Ａ〜Ｄの受信モードの整合がとられ
る。多地点接続装置３はこの動作モードに合わせて音声
処理部３２、画像処理部３３を制御する。

【００４９】制御部３４は遅延判定部３６を検索してこ
の動作モードにおいて自装置内で発生する処理遅延時間
差の値を検索する。さらに送信側の通信端末からの処理
遅延時間差値（送信側）の制御通信の受信待ち状態とな
る。制御部３４は、通信端末Ａからの処理遅延時間差値
が遅延情報受信部３５経由で通知されると、これを、遅
延判定部３６で検索された自装置内の処理遅延時間差値
と共に総合遅延判定部３７に引き渡す。すると総合遅延
判定部３７は両者を加算して総合の遅延時間値（端末Ａ
から多地点接続装置の出力側までの間に発生する音声と
動画像間の処理遅延時間差）を算定し、これを制御部３
４に応答通知する。制御部３４はこの総合の遅延時間値
を遅延情報送信部３８に指示して、制御通信により通信
端末Ｂ、Ｃ、Ｄに送信する。

【００５０】また制御部３４は、通信端末Ｂからその処
理遅延時間差値を遅延情報受信部３５経由で通知される
と、上述の同一の手順で総合の遅延時間値を算定し、こ
れを通信端末Ａに送信する。

【００５１】通信開始後、制御通信による端末からの要
請で動作モードが変更された場合も上述と同じ手順を繰
り返す。

【００５２】また制御部３４は常に端末の画面に映し出
す表示地点の管理を行っており、表示地点の切替えが行
われて例えば通信端末Ａの動画像を通信端末Ｃが受信
し、通信端末Ｃの動画像を通信端末Ｂが受信し、通信端
末Ｂの動画像を通信端末Ａが受信するようにした場合に
は、通信端末Ａからの処理遅延時間差値で算定した総
合遅延時間差値を通信端末Ｃに送り、通信端末Ｃから
の処理遅延時間差値で算定した総合遅延時間差値を通信
端末Ｂに送り、通信端末Ｂからの処理遅延時間差値で
算定した総合遅延時間差値を通信端末Ａに送るように、
制御通信の配送ルートを変更する。

【００５３】多地点接続装置３から処理遅延時間差情報
の通知を受けた受信側の各通信端末Ａ〜Ｄは、前述の各
実施例で説明したと同じ動作を行って、モニタテレビ２
７に映し出す動画像とスピーカ２６から出力する音声と
のタイミングを一致させる。

【００５４】

【発明の効果】以上に説明したように、本発明によれ
ば、通信モードの変更等の処理によって通信中に音声と
動画像の処理遅延時間差が変動しても、オペレータが煩
雑な処理をしなくとも、自動的に遅延時間差の調節が行
われ、それにより再生した画像と音声と間に時間差を生
じて不自然な感じを与えるといったことを防止できる。
また処理遅延時間差の変動に際して、その遅延調節の再
設定を無音区間で行うようにすることで、実通信に極力
影響を与えることなく、遅延時間差の調節の最適化を実
現できる。さらに多地点接続システムにおいても、端末
に現在表示中の主要地点の動画像とミキシング音声の遅
延時間差の調節の最適化を実現できる。

【図面の簡単な説明】

【図１】本発明に係る原理説明図である。

【図２】本発明の一実施例としての音声・動画像通信シ
ステムを示すブロック図である。

【図３】実施例システムで使用する通信回線上のフォー
マットを示す図である。

【図４】実施例システムにおける受信側通信端末の遅延
バッファ・遅延調節部の構成例を示すブロック図であ
る。

【図５】実施例システムにおける受信側通信端末の遅延
調節部の処理手順を示す流れ図である。

【図６】実施例システムにおける受信側通信端末の遅延
調節部の動作原理を説明する図である。

【図７】実施例システムにおける送信側通信端末の処理
手順を示す図である。

【図８】実施例システムにおける受信側通信端末の処理
手順を示す流れ図である。

【図９】本発明の他の実施例としての音声・動画像通信
システムを示すブロック図である。

【図１０】他の実施例システムにおける受信側通信端末
の遅延バッファ・遅延調節部の構成例を示すブロック図
である。

【図１１】他の実施例システムにおける受信側通信端末
の遅延調節部の処理手順を示す流れ図である。

【図１２】他の実施例システムにおける受信側通信端末
の遅延調節部の動作原理を説明する図である。

【図１３】本発明のまた他の実施例としての音声・動画
像通信システムの多地点接続装置を示すブロック図であ
る。

【図１４】多地点接続装置を用いた音声・動画像通信シ
ステムの全体的構成を示す図である。

【図１５】実施例の多地点接続装置における画像処理部
の構成例を示すブロック図である。

【図１６】実施例の多地点接続装置における音声処理部
の構成例を示すブロック図である。

【図１７】実施例の多地点接続装置における制御部の処
理手順を示す流れ図である。

【図１８】音声・動画像通信システムの従来例を示すブ
ロック図である。

【符号の説明】

１ 送信側の通信端末 ２ 受信側の通信端末 ３ 多地点接続装置 １０ マイクロホン １１ カメラ １２、１３ Ａ／Ｄ変換器 １４ 音声符号器 １５ 画像符号器 １６、２０、３１Ａ〜３１Ｄ 回線対応部 １７、２８、３４ 制御部 １８、２９ 表示操作部 ２１ 音声復号器 ２２ 画像復号器 ２３ 遅延バッファ ２４、２５ Ｄ／Ａ変換器 ２６ スピーカ ２７ モニタテレビ ３２ 音声処理部 ３３ 画像処理部 ３５、２８２ 遅延情報受信部 ３６、１７１、２８１ 遅延判定部 ３７、２８３ 総合遅延判定部 ３８、１７２ 遅延情報送信部 ２０１ 音声ミュート部 ２０２ 無音検出部 ２８４ 遅延調節部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年８月１７日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 木下 勝正 神奈川県川崎市高津区坂戸237番地 富士 通電装株式会社内 (72)発明者 石黒 均 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 大谷地 憲二 福岡県福岡市博多区博多駅前２丁目３番７ 号 富士通九州ディジタル・テクノロジ株 式会社内 (72)発明者 杉山 誠二 福岡県福岡市博多区博多駅前２丁目３番７ 号 富士通九州ディジタル・テクノロジ株 式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 通信回線を介して音声および動画像の通
   信を行う音声・動画像通信システムに用いられる送信側
   通信装置（４）であって、 音声および動画像の取り込みからそれらの処理データを
   通信回線に送信するまでに両信号間に生じる送信側処理
   遅延時間差値を判定する送信側遅延判定手段（４１）
   と、 該送信側遅延判定手段で判定された送信側処理遅延時間
   差値を制御情報として受信側に送信する遅延情報送信手
   段（４２）とを備えた音声・動画像通信システムの送信
   側通信装置。
2. 【請求項２】 通信回線を介して音声および動画像の通
   信を行う音声・動画像通信システムに用いられる受信側
   通信装置（５）であって、 通信回線から処理データを受信して音声および動画像を
   再生するまでに両信号間に生じる受信側処理遅延時間差
   を判定する受信側遅延判定手段（５１）と、 送信側からの制御情報を受信し解読して送信側処理遅延
   時間差値を得る遅延情報受信手段（５２）と、 該受信側遅延判定手段で得た受信側処理遅延時間差値と
   該遅延情報受信手段で得た送信側処理遅延時間差値とに
   基づいて総合遅延時間差値を判定する総合遅延判定手段
   （５３）と、 音声および／または動画像の受信データをバッファして
   その蓄積データ量を調節することで両者間の遅延時間差
   を調節する遅延バッファ手段（５４）と、 該総合遅延判定手段で得た総合遅延時間差値分の遅延を
   与えるよう該遅延バッファ手段を調節する遅延調節手段
   （５５）とを備えた音声・動画像通信システムの受信側
   通信装置。
3. 【請求項３】 遅延時間差の調節は常に音声バッファ内
   の蓄積データ量を増減させることにより行い、さらに受
   信音声の無音状態を検出する無音検出手段（５６）を設
   け、該遅延調節部は音声バッファ内に無音データが蓄積
   しているタイミングで遅延調節を行うようにした請求項
   ２記載の音声・動画像通信システムの受信側通信装置。
4. 【請求項４】 請求項１記載の送信側通信装置と請求項
   ２または３記載の受信側通信装置とを備えた音声・動画
   像通信装置。
5. 【請求項５】 請求項１〜４の何れかに記載の通信装置
   を多地点接続装置により複数相互に接続し、多地点接続
   装置内で各通信装置からの音声信号と動画像信号を音声
   処理と画像処理して各通信装置に分配するシステムにお
   ける多地点接続装置であって、 音声および動画像データを通信回線から受信し音声処理
   および画像処理した後に処理データを通信回線に再送信
   するまでに音声信号と動画像信号間に生じる処理遅延時
   間差を判定する遅延判定手段と、 現在、動画像信号の送信元となっている通信装置から処
   理遅延時間差情報を受信し解読する遅延情報受信手段
   と、 遅延情報受信手段で得た送信元通信装置からの処理遅延
   時間差情報に遅延判定手段で判定した自装置内の遅延時
   間差を加味して多地点接続装置の出力側において生じる
   総合の処理遅延時間差を判定する総合遅延判定手段と、 該総合遅延判定手段で判定した総合の処理遅延時間差を
   制御情報として受信側の通信装置に送信する遅延情報送
   信手段とを備えた音声・動画像通信システムの多地点接
   続装置。