JPH09163333A - 音声遅延制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 音声信号が途中で途切れることなく送信側及
び受信側の双方の対話状態における違和感を解消し、映
し出される画像に合わせて適切な音声遅延制御を可能と
する。 【解決手段】 音声遅延制御装置１の無音状態検出部４
は送信音声信号の無音状態もしくは小音量状態を検出
し、無音状態検出部５は受信音声信号の無音状態もしく
は小音量状態を検出する。対話状態検出部７は無音状態
検出部４，５各々からの無音状態検出信号を基に送信側
及び受信側双方の対話状態を検出する。画像動き検出部
６は送信画像信号の画像が静止状態にあるか否かを検出
する。遅延制御タイミング制御部３は無音状態検出部４
と画像動き検出部６と対話状態検出部７とからの出力信
号を基に音声信号に対する遅延のオン／オフ制御信号を
生成し、音声遅延回路２の動作を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は音声遅延制御装置に
関し、特に音声信号と画像信号とを同時に送受信して遠
隔地間の通信を行うテレビ会議システムにおいて符号化
／復号化遅延量の異なる音声信号と画像信号との同期を
とるための音声信号遅延（リップシンク）の付加方法に
関する。

【０００２】

【従来の技術】従来、この種のテレビ会議システムにお
いては、符号化した音声信号及び画像信号をＩＳＤＮ
（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉ
ｔａｌＮｅｔｗｏｒｋ）回線やＬＡＮ（Ｌｏｃａｌ Ａ
ｒｅａ Ｎｅｔｗｏｒｋ）を経由して送受信している。

【０００３】これら音声信号及び画像信号においては、
一般的に符号化／復号化遅延量が互いに異なることが多
い。この符号化／復号化遅延量の違いをそのままにして
音声信号及び画像信号を送信すると、受信側で再生され
た音声信号と画像信号との間に時間差が生じる。

【０００４】特に、画像として相手の顔が映し出されて
いる場合等には、映し出された画像における唇の動きと
再生された音声との間に時間的なずれが現れ、その映し
出された画像及び再生された音声を受ける側に不自然な
感覚を生じさせてしまう。

【０００５】通常、画像信号の符号化／復号化遅延量の
方が音声信号の符号化／復号化遅延量よりも大きいの
で、音声信号の符号化時あるいは復号化時に適切な信号
遅延を音声信号に加えることで、受信側での再生音声信
号と再生画像信号との同期をとることができ、自然な再
生画像を得ることができる。上記の音声信号に信号遅延
を加えて画像信号との同期をとる手法はリップシンクと
呼ばれている。

【０００６】上記のリップシンク技術を用いたものとし
ては、特開昭６２−２６６９５９号公報に開示された技
術がある。この技術では、画像コーデックの処理時間と
音声コーデックの処理時間との差を検出し、処理時間の
短い方のコーデックの符号化部のデータ出力または復号
化部のデータ出力を処理時間の差だけ遅らせることで、
音声信号と画像信号との整合を図るものである。

【０００７】その場合、画像コーデックと音声コーデッ
クとに夫々テストデータを与え、これが符号化／復号化
されて出力された信号のタイミング差を検出して音声信
号の出力遅延時間を自動設定する構成をとっている。

【０００８】また、特開昭６３−１８７７８６号公報に
開示された技術では、復号化された画像信号のデータ発
生量に基づいて、画像信号及び音声信号の整合に必要な
音声信号の遅延時間を求め、その遅延時間だけ音声信号
を遅延させることで画像信号と音声信号とのずれを取り
除くようにしている。

【０００９】上記の音声信号と画像信号との整合を図る
方法では、いずれも画像信号と音声信号との時間的ずれ
を取り除き、自然な再生画像を得ることを目的としてい
るが、音声信号に常時時間遅延をかけているため、双方
向の音声画像通信を行うテレビ会議システム等では対話
を行う場合に相手側の声が常に遅れて聞こえることとな
り、間延びしたような違和感を与えることがある。

【００１０】この問題を解決する方法としては、送信側
及び受信側の双方が対話に入ったことを検出し、その検
出期間だけ音声信号に対して時間遅延を加えないように
する方法が考えられる。

【００１１】特開昭６３−０１８７８８号公報に開示さ
れた技術では上記の問題を解決するために、通常、音声
信号が一方向的に流れている時には音声信号に対して時
間遅延を加えるが、音声信号が反対方向に流れ始めたこ
とを検出した時には送信側及び受信側の双方の対話が始
まったと考え、音声信号に対して加える時間遅延を小さ
くするよう制御している。これによって、送信側及び受
信側の双方の対話時に相手の声が遅れて聞こえるという
間延び感を和らげることができる。

【００１２】

【発明が解決しようとする課題】上述した従来の音声遅
延制御方法では、音声信号に常時時間遅延をかけて画像
信号と音声信号との時間的ずれを取り除き、自然な再生
画像を得ているが、例えば双方向の音声画像通信を行う
テレビ会議システム等において送信側及び受信側の双方
が対話を行う場合、相手側の声が常に遅れて聞こえるこ
ととなり、間延びしたような違和感を与えることがあ
る。

【００１３】また、上記の問題を解決するために、音声
信号が反対方向に流れ始めたことを検出した時に音声信
号に対する時間遅延を小さくするよう制御することで、
送信側及び受信側の双方の対話時に相手の声が遅れて聞
こえるという間延び感を和らげているが、音声信号に対
して加える時間遅延を小さくする場合の切替えタイミン
グが考慮されていない。

【００１４】そのため、相手側端末が話中に音声信号に
対する時間遅延を突然小さくすると、音声信号が一瞬途
切れたようになり、相手の声を聞いている者に違和感を
与えることがある。また、音声信号に対する時間遅延を
小さくしてから一定時間が経過すると、再度音声信号に
対する時間遅延を大きくするが、この切替えタイミング
についても考慮されていないため、音声信号に対する時
間遅延が突然切替わることがあり、その時にも音声信号
が一瞬途切れたようになる。

【００１５】いずれの場合も、音声信号がどちらの方向
から流れているかに応じて音声信号に対する時間遅延の
遅延量を切替えているので、ある一定の時間（数秒程
度）を経た後でないと、送信側及び受信側の双方の対話
状態の変化が掴みにくく、状態変化への追従性が悪くな
ることによる違和感を解消することができない。

【００１６】そこで、本発明の目的は上記の問題点を解
消し、音声信号が途中で途切れることなく送信側及び受
信側の双方の対話状態における違和感を解消することが
でき、映し出される画像に合わせて適切な音声遅延制御
を行うことができる音声遅延制御装置を提供することに
ある。

【００１７】

【課題を解決するための手段】本発明による第１の音声
遅延制御装置は、送信音声信号及び送信画像信号を符号
化して送信するテレビ会議システムの音声遅延制御装置
であって、前記送信音声信号を予め設定された所定時間
遅延する遅延手段と、前記送信音声信号を監視して前記
送信音声信号において予め設定された所定レベル以下の
状態が一定時間以上連続することを検出する送信音声無
音検出手段と、前記送信画像信号における画像の静止状
態を検出する画像動き検出手段と、受信した音声信号を
監視して受信音声信号が前記所定レベル以下の状態が前
記一定時間以上連続することを検出する受信音声無音検
出手段と、前記送信音声無音検出手段の検出結果及び前
記受信音声無音検出手段の検出結果に基づいて送信側と
受信側との対話状態を検出する対話状態検出手段と、前
記送信音声無音検出手段の検出結果と前記画像動き検出
手段の検出結果と前記対話状態検出手段の検出結果とを
基に前記遅延手段による前記送信音声信号の遅延を制御
する遅延制御手段とを備えている。

【００１８】本発明による第２の音声遅延制御装置は、
上記の構成において、前記遅延制御手段が、前記送信音
声信号の遅延を行う時の遅延時間量を保持する第１の保
持手段と、前記送信音声信号の遅延を解除した時の遅延
時間量を保持する第２の保持手段と、前記送信音声信号
の遅延及びその解除の切替えに応じて前記第１の保持手
段に保持された遅延時間量と前記第２の保持手段に保持
された遅延時間量とのうち一方によって前記送信音声信
号の遅延を制御する手段とを具備している。

【００１９】本発明による第３の音声遅延制御装置は、
上記の構成において、前記画像動き検出手段が、前記送
信画像信号の符号化時に検出される前記画像の動き量を
基に前記画像の動き及び静止状態を検出する手段を具備
している。

【００２０】本発明による第４の音声遅延制御装置は、
上記の構成において、前記画像動き検出手段が、前記テ
レビ会議システムで用いられるテレビカメラの向きが予
め設定された一定角度となった時に前記画像が静止状態
であることを示す信号を出力する手段を具備している。

【００２１】本発明による第５の音声遅延制御装置は、
上記の構成において、前記遅延制御手段が、前記画像動
き検出手段で前記画像の静止状態が検出された時及び前
記対話状態検出手段で前記対話状態が検出された時のう
ちのいずれかの場合に前記遅延手段による前記送信音声
信号の遅延を解除するよう構成されている。

【００２２】本発明による第６の音声遅延制御装置は、
上記の構成において、前記遅延制御手段は、前記送信音
声無音検出手段で前記送信音声信号における前記所定レ
ベル以下の状態が一定時間以上連続することを検出した
時に前記遅延手段による前記送信音声信号の遅延及びそ
の解除の切替えを行うよう構成されている。

【００２３】

【発明の実施の形態】まず、本発明の作用について以下
に述べる。

【００２４】画像動き検出部は送信する画像の中の動き
成分の有無を検出し、画像の動きが小さいことを検出す
ると、音声信号に対する時間遅延を解除するための状態
信号を出力する。

【００２５】無音状態検出部では話者音声の切れ目を検
出し、その検出タイミングで音声信号に対する時間遅延
の付加及びその解除を切替えるようなタイミング制御信
号を生成する。そのために、入力音声信号レベルを監視
し、一定時間の無音もしくは小音量状態が続いた場合に
制御信号を出力する。

【００２６】対話検出部では送信側及び受信側に夫々対
応して設けられた無音状態検出部からの制御信号に基づ
いて送信側及び受信側双方の対話状態を検出し、対話状
態検出信号を出力する。

【００２７】音声遅延制御部では画像動き検出部からの
状態信号または対話検出部からの対話状態検出信号によ
って音声信号に対する時間遅延を付加（オン）するか、
あるいは解除（オフ）するかを決定し、無音状態検出部
からのタイミング制御信号と併せて送出する音声信号に
所定時間の遅延を加える。

【００２８】上記の各部を配設することによって、映し
出された画面の内容に応じて適切に音声信号に対する時
間遅延を制御し、より自然に相手の音声の間延び感を和
らげることが可能となる。

【００２９】よって、音声信号が途中で途切れることな
く送信側及び受信側の双方の対話状態における違和感を
解消することが可能となり、映し出される画像に合わせ
て適切な音声遅延制御を行うことが可能となる。

【００３０】次に、本発明の一実施例について図面を参
照して説明する。図１は本発明の一実施例の構成を示す
ブロック図である。図においては、音声信号と画像信号
とを相互通信するテレビ会議システムの送信系及び受信
系の回路の一構成例を示している。

【００３１】マイクロホン等（図示せず）によって入力
される音声信号（Ａｕｄｉｏ ｉｎ）は音声信号増幅回
路９で増幅された後に、Ａ／Ｄ（アナログ／ディジタ
ル）変換回路１１でディジタル信号に変換されて音声遅
延制御装置１に入力される。

【００３２】ディジタル信号に変換された音声信号は音
声遅延制御装置１の音声遅延回路２で適当な時間遅延が
付加され、音声符号化部（Ａｕｄｉｏ Ｅｎｃｏｄｅ
ｒ）１３で符号化処理が施される。

【００３３】一方、テレビカメラ（図示せず）によって
入力された画像信号（Ｖｉｄｅｏｉｎ）は画像信号増幅
回路１０で増幅された後に、Ａ／Ｄ変換回路１２でディ
ジタル信号に変換され、画像符号化部（Ｖｉｄｅｏ Ｅ
ｎｃｏｄｅｒ）８で符号化処理が施される。

【００３４】ここで、画像符号化部８は動き検出回路
（ＭＥ）８１と、量子化プロセッサ（ＱＰ）８２と、デ
ィジタル信号処理プロセッサ（ＤＳＰ）８３と、可変ラ
ンレングス符号化回路（Ｖ．Ｌ．Ｅｎｃ．）８４とから
構成されている。

【００３５】音声符号化部１３で符号化処理が施された
音声信号及び画像符号化部８で符号化処理が施された画
像信号は音声・画像多重化回路（ＭＰＸ）１４で多重化
され、通信回線インタフェース回路（ＩＳＤＮ Ｉ／
Ｆ）１５を通して通信回線（ＩＳＤＮ Ｌｉｎｅ）（図
示せず）に送出され、受信側のテレビ会議システム（図
示せず）に送信される。

【００３６】受信側のテレビ会議システムから送信され
てきた音声信号及び画像信号は通信回線インタフェース
回路１５を通して音声・画像多重化回路１４に入力さ
れ、音声・画像多重化回路１４で音声信号と画像信号と
に分離される。

【００３７】音声・画像多重化回路１４で分離された音
声信号は音声復号化部（ＡｕｄｉｏＤｅｃｏｄｅｒ）１
６で復号化処理が施された後に、Ｄ／Ａ（ディジタル／
アナログ）変換回路１８でアナログ信号に変換され、音
声信号増幅回路２０で増幅されて再生音声信号（Ａｕｄ
ｉｏ Ｏｕｔ）としてスピーカ等（図示せず）に出力さ
れる。

【００３８】音声・画像多重化回路１４で分離された画
像信号は画像復号化部（ＶｉｄｅｏＤｅｃｏｄｅｒ）１
７で復号化処理が施された後に、Ｄ／Ａ変換回路１９で
アナログ信号に変換され、画像信号増幅回路２１で増幅
されて再生画像信号（Ｖｉｄｅｏ Ｏｕｔ）としてモニ
タ等（図示せず）に出力される。

【００３９】音声遅延制御装置１は受信側のテレビ会議
システムに送信する符号化音声信号に対する時間遅延の
オン／オフ制御を行う。音声信号に対する時間遅延の制
御は送信側及び受信側双方の対話状態と送信する画像信
号の画面の動きの状態とに応じて行われる。

【００４０】すなわち、音声遅延制御装置１は送信側及
び受信側双方の対話状態と送信する画像信号の画面の動
きの状態とに応じて音声信号に対して時間遅延を付加す
るかあるいは解除するかを決定する。その場合、音声遅
延制御装置１における時間遅延の付加及び解除の制御は
入力された音声信号の中に無音状態が発生したタイミン
グに同期させて行われる。

【００４１】ここで、音声遅延制御装置１は音声遅延回
路２と、音声遅延タイミング制御部３と、送信側の無音
状態検出部４と、受信側の無音状態検出部５と、画像動
き検出部６と、対話状態検出部７とから構成されてい
る。

【００４２】音声遅延制御装置１は相手方に送信する符
号化音声信号への遅延のオン／オフ制御を行っており、
送信側及び受信側双方の対話状態と送信する画像信号の
画面の動きの状態とから音声信号を遅延するか否かを決
定している。これに加えて、音声遅延制御装置１では入
力された音声信号の中に無音状態が発生したタイミング
に同期させて音声信号に対する遅延のオン／オフを行う
よう動作する。

【００４３】すなわち、無音状態検出部４はディジタル
信号に変換された送信音声信号から音声の無音状態もし
くはある一定レベル以下の小音量状態を検出し、無音状
態もしくは小音量状態を検出した時のタイミングでトリ
ガ信号を発生する。

【００４４】また、無音状態検出部５は無音状態検出部
４と同一の回路構成であり、受信音声信号の無音状態も
しくは小音量状態を検出し、無音状態もしくは小音量状
態を検出した時のタイミングでトリガ信号を発生する。

【００４５】対話状態検出部７は無音状態検出部４，５
各々からの無音状態検出信号（トリガ信号）を基に送信
側及び受信側双方の対話状態の検出を行い、送信側及び
受信側双方の対話状態を検出した時にトリガ信号を発生
する。

【００４６】画像動き検出部６は画像符号化部８の動き
検出回路８１からの情報を基に入力されている画像が動
いているかあるいは静止しているかを判定し、静止して
いると判定すると遅延オン信号を出力する。

【００４７】遅延制御タイミング制御部３では無音状態
検出部４と画像動き検出部６と対話状態検出部７とから
の出力信号から音声信号に対する遅延のオン／オフ制御
信号を生成し、音声遅延回路２の動作を制御する。

【００４８】図２は図１の音声遅延回路２の構成を示す
ブロック図である。図において、音声遅延回路２はＡ／
Ｄ変換回路１１でディジタル信号に変換された音声信号
に時間遅延を付加するためにラインメモリ（Ｌｉｎｅ
Ｍｅｍｏｒｙ）２ａを使用している。

【００４９】音声信号データ（Ａｕｄｉｏ Ｄａｔａ
Ｉｎ）の書込み／読出しは書込みクロック端子（ＷＣ
Ｋ）／読出しクロック端子（ＲＣＫ）に入力されるデー
タサンプリングクロック（Ｄａｔａ Ｓａｍｐｌｉｎｅ
Ｃｌｏｃｋ）に同期して行われる。

【００５０】ライトリセット（Ｗｒｉｔｅ Ｒｅｓｅ
ｔ）／リードリセット（Ｒｅａｄ Ｒｅｓｅｔ）信号は
夫々音声信号データの書込み／読出し開始のタイミング
をラインメモリ２ａに通知するために使用される。

【００５１】ここで、リードリセット信号を与えるタイ
ミングを、ライトリセット信号が与えられるタイミング
より遅らせることで、遅らせた分だけ時間遅延が与えら
れた音声信号データ（Ａｕｄｉｏ Ｄａｔａ Ｏｕｔ）
が出力される。

【００５２】図３は図１の音声制御タイミング制御部３
の構成を示すブロック図である。図において、音声制御
タイミング制御部３はレジスタ（Ｒｅｇ）３１，３２
と、オア（ＯＲ）回路３３と、セレクタ（Ｓｅｌｅｃｔ
ｏｒ）回路３４と、フリップフロップ（Ｄ・Ｆ／Ｆ）
（以下、Ｆ／Ｆとする）回路３５と、カウンタ（Ｄｏｗ
ｎＣｏｕｎｔｅｒ）回路３６とから構成され、音声遅延
回路２のラインメモリ２ａに対する書込み／読出し開始
タイミング信号を生成している。

【００５３】オア回路３３とＦ／Ｆ回路３５は音声信号
遅延オン／オフ切替え信号を生成している。画像の中の
動き成分が含まれていることを示す動き検出信号（Ｍｏ
ｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）と対話状態検出信号
（ＣｏｎｖｅｒｓａｔｉｏｎＤｅｔｅｃｔ）とのうちの
いずれかが入力したことをオア回路３３によって知り、
これを無音状態検出部４からの無音状態検出信号（Ａｕ
ｄｉｏ Ｍｕｔｅ）が現れるタイミングでＦ／Ｆ回路３
５に保持し、音声信号遅延オン／オフ切替え信号として
セレクタ回路３４に送る。

【００５４】レジスタ３１，３２は夫々音声信号に対す
る遅延をオン／オフする際の遅延時間量を、データサン
プリングクロック（Ｄａｔａ Ｓａｍｐｌｉｎｅ Ｃｌ
ｏｃｋ）のカウント数として保持している。これらの値
はＦ／Ｆ回路３５からの音声信号遅延オン／オフ切替え
信号によってセレクタ回路３４で選択され、カウンタ回
路３６に格納される。

【００５５】カウンタ回路３６ではまず無音状態検出信
号が現れるタイミングでセレクタ回路３４からの遅延時
間量を初期値として格納し、データサンプリングクロッ
クによって減算カウントを行う。

【００５６】カウンタ回路３６はカウント値が“０”に
なると、リードリセット（ＲｅａｄＲｅｓｅｔ）信号を
音声遅延回路２に出力する。また、音声遅延回路２への
ライトリセット（Ｗｒｉｔｅ Ｒｅｓｅｔ）信号は無音
状態検出部４からの無音状態検出信号がそのまま出力さ
れる。

【００５７】尚、音声遅延タイミング制御部３において
は送信する画像の中の動き成分の有無に応じて音声遅延
のオン／オフを制御しているが、映し出された画面の内
容に応じて適切に音声遅延を制御するために、予め動き
成分がないことが判明している机上の書類等を映す方向
へのカメラの向きの変化を検出するカメラ位置検出手段
（図示せず）からの検知信号に基づいて音声遅延のオン
／オフを制御することも可能である。

【００５８】ここで、カメラ位置検出手段はカメラの上
下方向への移動を示す信号と現在位置からの相対移動量
を示す信号とから生成したカメラ絶対座標位置が予め設
定された設定位置よりも下向きを示す時に、つまり予め
動き成分がないことが判明している机上の書類等を映す
方向に変化した時にカメラ位置検出信号を出力するもの
である。

【００５９】図４は図１の無音状態検出部４の構成を示
すブロック図である。図において、無音状態検出部４は
レジスタ（Ｒｅｇ）４１，４４と、比較回路（Ｃｏｍｐ
ａｒａｔｏｒ）４２，４５と、カウンタ（Ｃｏｕｎｔｅ
ｒ）回路４３とから構成されている。

【００６０】無音状態検出部４では入力した音声信号デ
ータ（Ａｕｄｉｏ Ｄａｔａ Ｉｎ）（Ａ）がレジスタ
４１に予め設定されたレベル値（Ｂ）以下になったこと
（Ａ＜Ｂ）が比較回路４２で検出されると、その検出信
号の出力タイミングを契機としてカウンタ回路４３がカ
ウント動作を開始する。

【００６１】比較回路４５ではカウンタ回路４３の出力
データ（Ａ）がレジスタ４４に予め設定されたカウント
数（Ｂ）以上（Ａ＞Ｂ）になると、その旨を示す検出信
号が無音状態検出信号（Ａｕｄｉｏ Ｍｕｔｅ）として
音声遅延タイミング制御部３と対話状態検出部７とに出
力される。

【００６２】カウンタ回路４３は音声信号データがレジ
スタ４１に予め設定されたレベル値以上になると、つま
り無音状態が解消されたことが比較回路４２で検出され
るといつでもリセットされ、カウント動作を停止する。

【００６３】これによって、無音状態にある期間がレジ
スタ４４に設定されたカウント数に満たない場合には無
音状態検出信号を出力しないようにしている。尚、図示
していないが、無音状態検出部５は図４に示す無音状態
検出部４の構成と同一の回路構成となっており、受信音
声信号の無音状態の検出を行っている。

【００６４】図５は図１の画像動き検出部６の構成を示
すブロック図である。図において、画像動き検出部６は
加算（ＡＣＣ）回路６１と、レジスタ（Ｒｅｇ）６２，
６３と、比較回路（Ｃｏｍｐａｒａｔｏｒ）６４とから
構成されている。

【００６５】画像動き検出部６は画像符号化部８の動き
検出回路８１からの画像符号化残差信号（Ｐｉｃｔｕｒ
ｅ Ｍｏｔｉｏｎ）を受け、その画像符号化残差信号を
加算回路６１でピクセルクロック（Ｐｉｘｅｌ Ｃｌｏ
ｃｋ）によって１フレーム分加算し、加算結果を垂直同
期信号（ＶＳＹＮＣ）に同期してレジスタ６２に保持す
る。尚、加算回路６１は垂直同期信号によってリセット
される。

【００６６】比較回路６４はレジスタ６２に保持されて
いる加算結果とレジスタ６３に予め設定されている画像
動き量とを比較し、加算結果が画像動き量よりも小さけ
れば、その画像フレームに動きがないと判断し、画像静
止信号（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）を出力
する。

【００６７】図６は図１の対話状態検出部７の構成を示
すブロック図である。図において、対話状態検出部７は
送信側音声処理部７１と、受信側音声処理部７２と、オ
ア（ＯＲ）回路７３とから構成されている。

【００６８】送信側音声処理部７１はダウンカウンタ
（Ｄｏｗｎ Ｃｏｕｎｔｅｒ）回路７１ａと、レジスタ
（Ｒｅｇ）７１ｂと、アンド（ＡＮＤ）回路７１ｃとか
ら構成されている。尚、図示していないが、受信側音声
処理部７２は送信側音声処理部７１の構成と同一の回路
構成となっている。

【００６９】送信側音声処理部７１ではカウンタ回路７
１ａが無音状態検出部４からの無音状態検出信号［Ａｕ
ｄｉｏ Ｍｕｔｅ（Ｓｎｄ）］を契機にレジスタ７１ｂ
に設定された所定値がセットされ、データサンプリング
クロック（Ｄａｔａ Ｓａｍｐｌｉｎｅ Ｃｌｏｃｋ）
によって所定値に対するダウンカウント動作を開始す
る。

【００７０】アンド回路７１ｃでは無音状態検出部４か
らの無音状態検出信号とカウンタ回路７１ａの出力デー
タとの論理積をとり、その演算結果を送信側が音声信号
を出力している期間として出力する。

【００７１】上記の送信側音声処理部７１の処理と同様
に、受信側音声処理部７２では無音状態検出部５からの
無音状態検出信号［Ａｕｄｉｏ Ｍｕｔｅ（Ｒｃｖ）］
を契機に所定値がセットされ、データサンプリングクロ
ック（Ｄａｔａ Ｓａｍｐｌｉｎｅ Ｃｌｏｃｋ）によ
って所定値に対するダウンカウント動作が行われ、無音
状態検出部５からの無音状態検出信号とカウンタ値との
論理積の演算結果を受信側が音声信号を出力している期
間として出力する。

【００７２】オア回路７３は送信側音声処理部７１及び
受信側音声処理部７２各々からの出力信号の論理和をと
り、その演算結果を対話状態検出信号（Ｃｏｎｖｅｒｓ
ａｔｉｏｎ Ｄｅｔｅｃｔ）として出力する。

【００７３】つまり、無音状態検出部４からの無音状態
検出信号が音声信号の出力を示しかつ無音状態検出部５
からの無音状態検出信号が音声信号の出力を示すことを
検出した時に、対話状態検出部７から対話状態検出信号
が出力される。

【００７４】このように、送信音声信号において予め設
定された所定レベル以下の状態が一定時間以上連続した
かどうかを示す無音状態検出部４の検出結果と、受信音
声信号が所定レベル以下の状態が一定時間以上連続した
かどうかを示す無音状態検出部５の検出結果とに基づい
て送信側と受信側との対話状態を対話状態検出部７で検
出した時に音声遅延回路２による送信音声信号の遅延の
解除を音声遅延タイミング制御回路３で制御することに
よって、送信側及び受信側の双方の対話状態における違
和感を解消することができる。

【００７５】また、送信画像信号における画像の静止状
態を検出する画像動き検出部６の検出結果に基づいて音
声信号に対する遅延のオン／オフを行うことによって、
音声信号に対する遅延を利用シーンに合わせて適切に行
うことができる。

【００７６】一般に、画面に講演者の顔が映っている場
合には、画像と音声との同期をとった方が自然であるの
で、音声信号に対して時間遅延を付加することで画像と
音声との同期をとっている。これに対し、例えば机上の
書類等を映し出している場合には、できるだけ音声信号
に対する遅延を少なくし、実時間内での対話が行えるよ
うにする方が自然である。

【００７７】よって、画像動き検出部６の検出結果に基
づいて音声信号に対する遅延のオン／オフを行うこと
で、映し出される画像に合わせて適切な音声遅延制御を
行うことができる。

【００７８】さらに、上記の処理において、無音状態検
出部４の検出結果に基づいて音声遅延回路２による送信
音声信号の遅延の付加及びその解除の切替えタイミング
を制御することによって、相手側の端末において受信音
声が途中で途切れることはなくなる。

【００７９】したがって、音声信号が途中で途切れるこ
となく、送信側及び受信側の双方の対話状態における違
和感を解消することができ、映し出される画像に合わせ
て適切な音声遅延制御を行うことができる。

【００８０】

【発明の効果】以上説明したように本発明によれば、送
信音声信号において予め設定された所定レベル以下の状
態が一定時間以上連続したか否かを示す送信音声信号の
無音状態の検出結果と、受信音声信号が所定レベル以下
の状態が一定時間以上連続したか否かを示す受信音声信
号の無音状態の検出結果とに基づいて送信側と受信側と
の対話状態を検出し、その検出結果と送信画像信号にお
いて画像が静止状態か否かの検出結果と送信音声信号の
無音状態の検出結果とを基に、送信音声信号を予め設定
された所定時間遅延する遅延手段による送信音声信号の
遅延を制御することによって、音声信号が途中で途切れ
ることなく送信側及び受信側の双方の対話状態における
違和感を解消することができ、映し出される画像に合わ
せて適切な音声遅延制御を行うことができるという効果
がある。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】図１の音声遅延回路の構成を示すブロック図で
ある。

【図３】図１の音声制御タイミング制御部の構成を示す
ブロック図である。

【図４】図１の無音状態検出部の構成を示すブロック図
である。

【図５】図１の画像動き検出部の構成を示すブロック図
である。

【図６】図１の対話状態検出部の構成を示すブロック図
である。

【符号の説明】

１ 音声遅延制御装置 ２ 音声遅延回路 ３ 遅延制御タイミング制御部 ４，５ 無音状態検出部 ６ 画像動き検出部 ７ 対話状態検出部 ８ 画像符号化部 ９，２０ 音声信号増幅回路 １０，２１ 画像信号増幅回路 １１，１２ Ａ／Ｄ変換回路 １３ 音声符号化部 １４ 音声・画像多重化回路 １５ 通信回線インタフェース回路 １６ 音声復号化部 １７ 画像復号化部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 送信音声信号及び送信画像信号を符号化
   して送信するテレビ会議システムの音声遅延制御装置で
   あって、前記送信音声信号を予め設定された所定時間遅
   延する遅延手段と、前記送信音声信号を監視して前記送
   信音声信号において予め設定された所定レベル以下の状
   態が一定時間以上連続することを検出する送信音声無音
   検出手段と、前記送信画像信号における画像の静止状態
   を検出する画像動き検出手段と、受信した音声信号を監
   視して受信音声信号が前記所定レベル以下の状態が前記
   一定時間以上連続することを検出する受信音声無音検出
   手段と、前記送信音声無音検出手段の検出結果及び前記
   受信音声無音検出手段の検出結果に基づいて送信側と受
   信側との対話状態を検出する対話状態検出手段と、前記
   送信音声無音検出手段の検出結果と前記画像動き検出手
   段の検出結果と前記対話状態検出手段の検出結果とを基
   に前記遅延手段による前記送信音声信号の遅延を制御す
   る遅延制御手段とを有することを特徴とする音声遅延制
   御装置。
2. 【請求項２】 前記遅延制御手段は、前記送信音声信号
   の遅延を行う時の遅延時間量を保持する第１の保持手段
   と、前記送信音声信号の遅延を解除した時の遅延時間量
   を保持する第２の保持手段と、前記送信音声信号の遅延
   及びその解除の切替えに応じて前記第１の保持手段に保
   持された遅延時間量と前記第２の保持手段に保持された
   遅延時間量とのうち一方によって前記送信音声信号の遅
   延を制御する手段とを含むことを特徴とする請求項１記
   載の音声遅延制御装置。
3. 【請求項３】 前記画像動き検出手段は、前記送信画像
   信号の符号化時に検出される前記画像の動き量を基に前
   記画像の動き及び静止状態を検出する手段を含むことを
   特徴とする請求項１または請求項２記載の音声遅延制御
   装置。
4. 【請求項４】 前記画像動き検出手段は、前記テレビ会
   議システムで用いられるテレビカメラの向きが予め設定
   された一定角度となった時に前記画像が静止状態である
   ことを示す信号を出力する手段を含むことを特徴とする
   請求項１または請求項２記載の音声遅延制御装置。
5. 【請求項５】 前記遅延制御手段は、前記画像動き検出
   手段で前記画像の静止状態が検出された時及び前記対話
   状態検出手段で前記対話状態が検出された時のうちのい
   ずれかの場合に前記遅延手段による前記送信音声信号の
   遅延を解除するよう構成したことを特徴とする請求項１
   から請求項４のいずれか記載の音声遅延制御装置。
6. 【請求項６】 前記遅延制御手段は、前記送信音声無音
   検出手段で前記送信音声信号における前記所定レベル以
   下の状態が一定時間以上連続することを検出した時に前
   記遅延手段による前記送信音声信号の遅延及びその解除
   の切替えを行うよう構成したことを特徴とする請求項５
   記載の音声遅延制御装置。