JP3663555B2 - 多地点会議装置 - Google Patents
多地点会議装置 Download PDFInfo
- Publication number
- JP3663555B2 JP3663555B2 JP01357696A JP1357696A JP3663555B2 JP 3663555 B2 JP3663555 B2 JP 3663555B2 JP 01357696 A JP01357696 A JP 01357696A JP 1357696 A JP1357696 A JP 1357696A JP 3663555 B2 JP3663555 B2 JP 3663555B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- differential
- unit
- prediction
- mixing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、分散された複数の地点間の会議を可能とする多地点会議装置に関する。
多地点会議装置は、会議参加者の発言による音声信号を加算して会議参加者に分配するものであり、会議参加者が多数となるに伴って回路規模が大きくなるから、経済化を図ることが要望されている。
【０００２】
【従来の技術】
図８は多地点テレビ会議の概要説明図であり、画像信号の分配構成は図示を省略しており、音声信号は、多地点会議装置（ＭＣＵ）４１に於いてミキシングし、それぞれの端末装置４２Ａ，４２Ｂ，４２Ｃに送出する。即ち、端末装置４２Ａからの音声信号Ａと、端末装置４２Ｂからの音声信号Ｂとをミキシングして、端末装置Ｃへ（Ａ＋Ｂ）音声として示すように送出し、端末装置４２Ｂ，４２Ｃからの音声信号Ｂ，Ｃをミキシングして、端末装置Ａへ（Ｂ＋Ｃ）音声として示すように送出し、端末装置４２Ａ，４２Ｃからの音声信号Ａ，Ｃをミキシングして、端末装置Ｂへ（Ａ＋Ｃ）音声として示すように送出する。又画像については、例えば、発言者を検出して、その発言者を撮像した画像信号を分配する方式等が知られている。
【０００３】
図９は従来例の多地点会議システムの概略説明図であり、多地点会議装置５０に端末装置５４Ａ，５４Ｂ，５４Ｃが接続された場合を示し、図８に於ける音声信号に関する部分に相当する。多地点会議装置５０は、端末装置５４Ａ，５４Ｂ，５４Ｃ対応の復号化部５１Ａ，５１Ｂ，５１Ｃと、混合部５２Ａ，５２Ｂ，５２Ｃと、符号化部５３Ａ，５３Ｂ，５３Ｃとを備えている。又端末装置５４Ａ，５４Ｂ，５４Ｃは、マイクロホン５７Ａ，５７Ｂ，５７Ｃからの音声信号を符号化する符号化部５５Ａ，５５Ｂ，５５Ｃと、受信信号を復号化してスピーカ５８Ａ，５８Ｂ，５８Ｃに加える復号化部５６Ａ，５６Ｂ，５６Ｃとを備えている。
【０００４】
多地点会議装置５０の復号化部５１Ａ，５１Ｂ，５１Ｃは、予測符号化された音声信号を、リニア符号の音声信号に復号化して混合部５２Ａ，５２Ｂ，５２Ｃに加えるもので、混合部５２Ａはリニア符号の音声信号Ｂ，Ｃを加算し、混合部５２Ｂはリニア符号の音声信号Ａ，Ｃを加算し、混合部５２Ｃはリニア符号の音声信号Ａ，Ｂを加算することになり、符号化部５３Ａ，５３Ｂ，５３Ｃは、それぞれ混合部５２Ａ，５２Ｂ，５２Ｃからミキシング出力されたリニア符号の音声信号を符号化して端末装置５４Ａ，５４Ｂ，５４Ｃに送出する。又復号化部５１Ａ，５１Ｂ，５１Ｃに於いてアナログ音声信号に復号化し、混合部５２Ａ，５２Ｂ，５２Ｃはアナログ信号のミキシングを行い、符号化部５３Ａ，５３Ｂ，５３Ｃは、ミキシングされたアナログ音声信号を予測符号化して送出する。
【０００５】
端末装置５４Ａ，５４Ｂ，５４Ｃの符号化部５５Ａ，５５Ｂ，５５Ｃは、マイクロホン５７Ａ，５７Ｂ，５７Ｃからのアナログ音声信号をディジタル信号に変換し、且つ予測符号化するものであり、又復号化部５６Ａ，５６Ｂ，５６Ｃは、予測符号化された音声信号を復号し、且つアナログの音声信号に変換してスピーカ５８Ａ，５８Ｂ，５８Ｃに加えるものである。
【０００６】
音声信号の符号化方式としては既に各種の方式が知られており、前述の多地点会議システムに於いては、例えば、ＡＤＰＣＭ（Ａdaptive Ｄifferential ＰＣＭ），ＳＢ−ＡＤＰＣＭ（Ｓub−Ｂand Ａdaptive Ｄifferential ＰＣＭ）、ＬＤ−ＣＥＬＰ（Ｌow Ｄelay Ｃode Ｅxcited Ｌinear Ｐrediction ）等が採用されており、ＩＴＵ（旧ＣＣＩＴＴ）に於いて、Ｇ７２１，Ｇ７２２，Ｇ７２８として標準化されている。
【０００７】
図１０は従来例の音声混合処理のフローチャートであり、符号化音声信号を受信し、符号化部に於いて逆量子化（Ｂ１）と予測復号化（Ｂ２）とを行い、リニアＰＣＭ信号等の音声信号に復元して、混合部に於いてミキシングする（Ｂ３）。即ち、Ａ，Ｂ，Ｃの会議参加者に対して、Ａ←（Ｂ＋Ｃ）、Ｂ←（Ａ＋Ｃ）、Ｃ←（Ａ＋Ｂ）のように、音声信号のミキシングを行う。そして、符号化部に於いて、予測符号化（Ｂ４）、量子化（Ｂ５）を行って、再度符号化音声信号として送出する。
【０００８】
図１１はＳＢ−ＡＤＰＣＭ方式の符号化部の説明図であり、６１は送信直交ミラーフィルタ（ＱＭＦ）、６２は６０レベル適応量子化器、６３は量子化器の適応制御部、６４は適応予測器、６５は１５レベル適応逆量子化器、６６，６７，７６，７７は加算器、６８はＬＳＢ２ビット削除部、６９は多重化部、７２は４レベル適応量子化器、７３は量子化器の適応制御部、７４は適応予測器、７５は４レベル適応逆量子化器である。
【０００９】
送信直交ミラーフィルタ６１は、５０Ｈｚ〜７ｋＨｚの入力信号Ｘinを、４ｋＨｚを境に低域信号ＸL と高域信号ＸH とに分割し、低域信号ＸL は、適応予測器６４からの予測信号ＳL との差分信号ＥL （＝ＸL −ＳL ）を加算器６７により求め、６０レベル適応量子化器６２により６ビットで量子化して４８ｋｂ／ｓの信号ＩL とする。又ＬＳＢ２ビット削除部６８は、６ビット構成の信号ＩL の下位２ビットを削除した信号ＩLtを量子化器の適応制御部６３と１５レベル適応逆量子化器６５とに加え、量子化器の適応制御部６３は、量子化器のスケールファクタΔL を６０レベル適応量子化器６２と１５レベル適応逆量子化器６５とに加える。
【００１０】
１５レベル適応量子化器６５は、逆量子化出力信号ＤLtを適応予測器６４と加算器６６とに加え、加算器６６により予測信号ＳL と加算して再生信号ＲLtとして適応予測器６４に加える。適応予測器６４は、逆量子化出力信号ＤLtと再生信号ＲLtとを基に予測信号ＳL を生成する。
【００１１】
高域信号ＸH に対しても同様に、加算器７７に於いて予測信号ＳH との差の差分信号ＥH （＝ＸH −ＳH ）を求め、４レベル適応量子化器７２により２ビットで量子化して、１６ｋｂ／ｓの信号ＩH とし、量子化器の適応制御部７３から量子化器のスケールファクタΔH を４レベル適応量子化器７２と４レベル適応逆量子化器７５とに加え、４レベル適応逆量子化器７５からの逆量子化出力信号ＤH と、ＤH ＋ＳH ＝ＲH の再生信号とを適応予測器７４に加えて、予測信号ＳH を生成する。又多重化部６９は、４８ｋｂ／ｓの低域信号ＩL と、１６ｋｂ／ｓの高域信号ＩH とを多重化して、６４ｋｂ／ｓの符号化音声信号Ｉr として送出する。
【００１２】
図１２はＳＢ−ＡＤＰＣＭ方式の復号化部の説明図であり、８１は分離部、８２は６０レベル適応逆量子化器、８３は３０レベル適応逆量子化器、８４は１５レベル適応逆量子化器、８５は量子化器の適応制御部、８６は１５レベル適応逆量子化器、８７は適応予測器、８８はＬＳＢ１ビット削除部、８９，９０はＬＳＢ２ビット削除部、９１は１５レベル適応逆量子化器、９２は量子化器の適応制御部、９３は適応予測器、９４，９５，９７は加算器、９６はセレクタ、９８は受信直交ミラーフィルタ（ＱＭＦ）である。
【００１３】
セレクタ９６は、モード指定信号によって、６０レベル適応逆量子化器８２と３０レベル適応逆量子化器８３と１５レベル適応逆量子化器８４との出力信号ＤL,6 ，ＤL,5 ，ＤL,4 を選択する。このモード指定信号は、モード０が電話帯域音声信号、モード１〜４が高品質音声信号を示し、又添字の「Ｌ，６」は６ビット構成、「Ｌ，５」は５ビット構成、「Ｌ，４」は４ビット構成の場合の信号を示す。
【００１４】
又６４ｋｂ／ｓの受信符号化音声信号Ｉr は、分離部８１により低域信号ＩLrと高域信号ＩHrとに分離され、６０レベル適応逆量子化器８２には６ビット構成の低域信号ＩL,6 が入力され、３０レベル適応逆量子化器８３には、ＬＳＢ１ビット削除部８８により最下位１ビット削除による５ビット構成の低域信号ＩL,5 が入力され、１５レベル適応逆量子化器８４，８６には、ＬＳＢ２ビット削除部８９，９０により２ビット削除された４ビット構成の低域信号ＩL,4 が入力される。そして、量子化器の適応制御部８５からのスケールファクタΔL により逆量子化される。
【００１５】
適応予測器８７は、１５レベル適応逆量子化器８６からの逆量子化出力信号ＤLtと、加算器９５による再生信号ＲLt＝ＤLt＋ＳL とを基に予測信号ＳL を出力して加算器９７に加え、セレクタ９６により選択された逆量子化出力信号ＤL と加算して、再生信号ＲL とする。
【００１６】
又高域信号ＩHrは、１５レベル適応逆量子化器９１と量子化器の適応制御部９２とに加えられ、適応制御部９２からのスケールファクタΔH に従って逆量子化し、適応予測器９３からの出力信号ＳH と逆量子化出力信号ＤH とを加算器９４により加算して再生信号ＲH とする。受信直交ミラーフィルタ９８は、低域再生信号ＲL と、高域再生信号ＲH とを入力して、出力信号Ｘout とする。
【００１７】
前述の符号化部及び復号化部の適応量子化器に於いて、低域と高域との差分信号ＥL(n)，ＥH(n)と、スケールファクタΔL(n)，ΔH(n)と、量子化幅の境界値ＬＬ６，ＬＵ６，ＨＬ，ＨＵと、指標ｍL ，ｍH とについて、次式を満足するように、指標ｍL ，ｍH が決定される。なお、添字のＬは低域、Ｈは高域を示し、又（ｎ）は現時刻を示す。
ｍL ←ＬＬ６(mL)・ΔL(n)≦ＥL(n)＜ＬＵ６(mL)・ΔL(n) …（１）
ｍH ←ＨＬ(mL)・ΔH(n)≦ＥH(n)＜ＨＵ(mL)・ΔH(n) …（２）
【００１８】
前述のＬＬ６，ＬＵ６は、低域の指標ｍL の１〜３０についてそれぞれ定められており、又ＨＬ，ＨＵは、高域の指標ｍH の１，２について定められている。例えば、ｍL ＝４の場合、ＬＬ６＝０．２１３８９、ＬＵ６＝０．２９２１２、ｍH ＝２の場合、ＨＬ＝１．１０１５６、ＨＵ＝∞となる。
【００１９】
又逆量子化器に於いては、低域と高域との量子化差分信号ＤLt(n) ，ＤH(n)を次式により演算して求める。
ＤLt(n) ＝ＱＬ４-1（ＩLt(n) ）・ΔL(n)・ｓｇｎ（ＩLt(n) ） …（３）
ＤH(n)＝Ｑ２-1（ＩH(n)）・ΔH(n)・ｓｇｎ（ＩH(n)） …（４）
なお、ＱＬ４-1 及びＱ２-1は、４ビット及び２ビットに対応し、且つ量子化幅の指標ｍL ，ｍH に対応して予め定められているものであり、例えば、ｍL ＝４の場合、ＱＬ４-1＝０．２９２１２、ｍH ＝２の場合、Ｑ２-1＝１．８０８５９となる。
【００２０】
又量子化器の適応制御部に於いては、スケールファクタを対数領域で演算して更新し、真数に変換するものであり、対数スケールファクタを∇L(n)，∇H(n)とすると、
∇L(n)＝Ｂ・∇L(n-1)＋ＷL （ＩLt(n-1) ） …（５）
∇H(n)＝Ｂ・∇H(n-1)＋ＷH （ＩH(n-1)） …（６）
の演算によって求められる。なお、添字の（ｎ−１）は現時刻（ｎ）の１サンプル前の時刻を示す。又Ｂは１２７／１２８のリーク定数、ＷL ，ＷH は、対数スケールファクタ定数であり、例えば、ｍL ＝４の場合、ＷL ＝−０．１１４６５、ｍH ＝２の場合、ＷH ＝０．３８９６５となる。
【００２１】
又適応予測器は、入力信号の極を近似する２次の極予測器と、零点を近似する６次の零予測器とから構成されている。極予測器は、係数ａLi，ａHiと量子化再生信号ＲLt(n) ，ＲH(n)とを用いて予測信号ＳLp，ＳHpを次式に示すように算出する。
ＳLp＝Σ i=1 2 ａLi(n-1) ・ＲLt(n-i) …（７）
ＳHp＝Σ i=1 2 ａHi(n-1) ・ＲH(n-i) …（８）
なお、Σ i=1 2は、ｉ＝１からｉ＝２までの累算を示す。
【００２２】
又零予測器は、係数ｂLi，ｂHiと、量子化差分信号ＤLt(n) ，ＤH(n)を用いて、予測信号ＳLz，ＳHzを次式に示すように算出する。
ＳLz＝Σ i=1 6 ｂLi(n-1) ・ＤLt(n-i) …（９）
ＳHz＝Σ i=1 6 ｂHi(n-1) ・ＤH(n-i) …（１０）
なお、Σ i=1 6は、ｉ＝１からｉ＝６までの累算を示す。
【００２３】
従って、適応予測器からの予測信号ＳL(n)，ＳH(n)は、
ＳL(n)＝ＳLp(n) ＋ＳLz(n) …（１１）
ＳH(n)＝ＳHp(n) ＋ＳHz(n) …（１２）
となり、符号化部に於ける適応予測器６４，７４及び復号化部に於ける適応予測器８７，９３から出力される。
【００２４】
量子化再生信号ＲLt(n-i) ，ＲH(n-i)は、
ＲLt(n-i) ＝ＳL(n)＋ＤLt(n) …（１３）
ＲH(n-i)＝ＳH(n)＋ＤH(n) …（１４）
により求めることができる。
【００２５】
【発明が解決しようとする課題】
従来例の多地点会議装置は、会議参加者の端末装置からのＡＤＰＣＭ信号等の符号化音声信号を受信し、その符号化音声信号をリニア符号信号に変換してミキシング処理を行い、そのミキシング出力信号をＡＤＰＣＭ信号等の符号化信号に変換して、それぞれの端末装置へ送出するものであり、又復号化部に於いてアナログ音声信号に復号化して、混合部に於いてアナログ音声信号のミキシングを行う方式も知られている。
【００２６】
この多地点会議装置を構成する復号化部及び符号化部は、会議参加者の端末装置対応に設けるものであるから、会議参加者が多いシステムに於いては、多地点会議装置のハードウェア規模が大きくなり、コストアップとなる問題があり、又音声信号のミキシングの為の復号化及び符号化処理の演算量が多く、高速処理のＤＳＰ（ディジタル・シグナル・プロセッサ）が必要であるから、この点によってもコストアップとなる問題があった。
本発明は、演算量を大幅に削減可能として、多地点会議装置の経済化を図ることを目的とする。
【００２７】
【課題を解決するための手段】
本発明の多地点会議装置は、図１を参照して説明すると、（１）音声信号の予測誤差を符号化して会議参加の複数の端末装置４Ａ，４Ｂ，４Ｃ間で送受信する為の多地点会議装置１０であって、会議参加の複数の端末装置４Ａ，４Ｂ，４Ｃから受信した符号化信号を予測差分信号に復号化する前記端末装置対応の差分復号化部１Ａ，１Ｂ，１Ｃと、符号化信号を送信してきた端末装置対応の差分復号化部からの予測誤差信号を除いて他の端末装置対応の差分復号化部からの予測誤差信号をミキシングする混合部２Ａ，２Ｂ，２Ｃと、この混合部２Ａ，２Ｂ，２Ｃによりミキシングされた予測誤差信号を符号化して前記符号化信号を送信してきた端末装置以外の他の端末装置へ送信する差分符号化部３Ａ，３Ｂ，３Ｃとを備えており、予測誤差信号の状態でミキシングすることにより、ハードウェア及びソフトウェアの削減が可能となる。
【００２８】
又（２）混合部２Ａ，２Ｂ，２Ｃによりミキシングされた予測差分信号と、前記差分符号化部３Ａ，３Ｂ，３Ｃにより符号化された信号を逆量子化した予測差分信号との差の誤差信号を累算する累算誤差信号算出部と、該累算誤差信号算出部からの累算誤差信号を前記混合部からの予測差分信号に誤差信号を低減するように加算する加算器とを備え、量子化誤差を低減することによって、再生音声品質の改善を図ることができる。
【００２９】
又（３）混合部２Ａ，２Ｂ，２Ｃに入力される予測誤差信号と、ミキシングされて出力される予測誤差信号との相関を求める相関算出部と、該相関算出部による相関値を基に、前記混合部に入力される予測誤差信号に重み付けを行う重み付け部とを備えることができる。
【００３０】
又（４）差分復号化部１Ａ，１Ｂ，１Ｃは、入力された適応差分ＰＣＭ信号に対する適応逆量子化による差分信号を出力する構成を有し、且つ差分符号化部３Ａ，３Ｂ，３Ｃは、混合部２Ａ，２Ｂ，２Ｃによりミキシングされた差分信号を適応量子化により符号化する構成を有するものである。
【００３１】
又（５）差分復号化部１Ａ，１Ｂ，１Ｃは、入力されたサブバンド適応差分ＰＣＭ信号を低域と高域とに分離して、それぞれに対する適応逆量子化による差分信号を出力する構成を有し，又混合部２Ａ，２Ｂ，２Ｃは、低域と高域との差分信号対応のミキシングを行う構成を有し、又差分符号化部３Ａ，３Ｂ，３Ｃは、混合部からの低域と高域とのそれぞれミキシングされた差分を適応量子化により符号化して合成する構成を有するものである。
【００３２】
又（６）差分復号化部１Ａ，１Ｂ，１Ｃは、入力された低遅延符号励振線形予測符号化信号を、波形辞書検索と適応逆量子化とによる差分信号を出力する構成を有し、又差分符号化部３Ａ，３Ｂ，３Ｃは、混合部によりミキシングされた差分信号を、波形辞書検索と適応量子化とにより符号化する構成を有するものである。
【００３３】
【実施の形態】
図１は本発明の実施の形態の多地点会議システムの概略説明図であり、多地点会議装置１０は、端末装置４Ａ，４Ｂ，４Ｃ対応に、差分復号化部１Ａ，１Ｂ，１Ｃと混合部２Ａ，２Ｂ，２Ｃと差分符号化部３Ａ，３Ｂ，３Ｃとを備えている。又端末装置４Ａ，４Ｂ，４Ｃは、従来例と同様に、マイクロホン７Ａ，７Ｂ，７Ｃからのアナログ音声信号をディジタル信号に変換して予測符号化する符号化部５Ａ，５Ｂ，５Ｃと、予測符号化信号を復号してアナログ音声信号に変換してスピーカ８Ａ，８Ｂ，８Ｃに加える復号化部６Ａ，６Ｂ，６Ｃとを備えている。
【００３４】
混合部２Ａ，２Ｂ，２Ｃは、リニアＰＣＭ音声信号或いはアナログ音声信号をミキシングするものではなく、差分復号化部１Ａ，１Ｂ，１Ｃからの予測差分信号についてミキシングするものであり、又差分符号化部３Ａ，３Ｂ，３Ｃは、ミキシングされた予測差分信号を予測符号化するものである。従って、演算量が従来例に比較して著しく削減されることになる。
【００３５】
図２は本発明の第１の実施の形態の多地点会議装置の説明図であり、差分復号化部１Ａ，１Ｂ，１Ｃを、適応逆量子化器１１Ａ，１１Ｂ，１１Ｃと適応制御部１２Ａ，１２Ｂ，１２Ｃとにより構成し、差分符号化部３Ａ，３Ｂ，３Ｃを、適応量子化器１３Ａ，１３Ｂ，１３Ｃと適応制御部１４Ａ，１４Ｂ，１４Ｃにより構成した場合を示す。
【００３６】
予測符号化方式として、サブバンド適応差分ＰＣＭ（ＳＢ−ＡＤＰＣＭ）方式を適用した場合、差分復号化部１Ａ，１Ｂ，１Ｃは、低域と高域とに分離し、逆量子化出力信号ＤL ，ＤH までの演算処理を行い、混合部２Ａ，２Ｂ，２Ｃは、低域と高域との逆量子化出力信号ＤL ，ＤH 対応にミキシングを行う構成とし、又差分符号化部３Ａ，３Ｂ，３Ｃは、逆量子化出力信号ＤL ，ＤH のミキシング出力信号を量子化する処理を行うものである。逆量子化及び量子化は、積和演算を含まないので、テーブル参照等により処理することが可能である。これに対して、極予測や零予測は、積和演算を含み、演算量が多いものであるが、本発明に於いては、逆量子化出力信号ＤL ，ＤH 即ち、予測差分信号をミキシングすることにより、極予測や零予測の演算を省略できるようにしたものである。即ち、前述の（３）〜（６）式の演算で済むことになり、従って、前述の積和演算を含む（７）〜（１０）式の演算を省略することができる。
【００３７】
図３は本発明の第１の実施の形態の音声混合処理のフローチャートであり、図９の従来例と対比して示すものであって、符号化音声信号を受信し、逆量子化（Ａ１）を行って差分音声信号とし、それをミキシングする（Ａ２）。そして、ミキシング出力信号を量子化し（Ａ３）、符号化した音声信号とする。即ち、前述のように、差分復号化部に於いて逆量子化して予測差分信号を求め、それをミキシングした予測差分信号を、差分符号化部に於いて量子化して符号化するものである。
【００３８】
図４は差分合成による復元波形の説明図であり、（Ａ），（Ｂ）の左側に示す音声信号波形の１次差分信号ＡD ，ＢD を右側に示し、この差分信号ＡD ，ＢD を加算し、ＡD ＋ＢD ＝ＣD の加算出力信号ＣD を求めると、（Ｃ）の右側に示す差分信号となる。これを復元することにより、（Ｃ）の左側の音声信号波形となる。即ち、差分信号を用いてミキシングした場合でも、従来例のリニア符号の音声信号に復号化してミキシングした場合と同等の再生音声信号を得ることができる。同様に、高次の差分信号を用いた場合でも、その差分信号によるミキシングによって、音声信号を復元することができる。
【００３９】
図５はミキシング波形の説明図であり、（ａ），（ｂ）は入力音声信号の波形の一例を示し、この入力音声信号をＳＢ−ＡＤＰＣＭ方式で符号化し、多地点会議装置に於いて、予測差分信号に復号化してミキシング（算術加算）を行い、それを適応量子化器により符号化し、それを復号化して音声信号に復元した波形を（ｃ）に示すものである。即ち、ミキシングされた信号は、符号化処理と復号処理とにより時間的に遅れるが、ほぼ（ａ）＋（ｂ）の信号波形を得ることができる。
【００４０】
図６は本発明の第２の実施の形態の要部説明図であり、２は混合部、１３は適応量子化器、２１は加算器、２２は適用逆量子化器、２３は差分算出部、２４は累算部、２５1 〜２５3 は遅延回路（Ｔ）である。この実施例に於いて、適応逆量子化器２２と差分算出部２３と累算部２４と遅延回路２５1 〜２５3 とにより累算誤差信号算出部を構成している。又混合部２は、前述のように、予測差分信号についてのミキシングを行うものであり、チャネル対応の混合部に対して、前述の累算誤差信号算出部と、加算器２１とを付加するものである。
【００４１】
累算誤差信号算出部及び加算器２１を設けない場合の混合部２によりミキシングされた予測差分信号は、適応量子化器１３によって符号化されて送出されるものであるが、逆量子化及び量子化を行うことにより、量子化誤差が累積する可能性があり、この累積誤差が大きくなると、再生音声品質が劣化する。
【００４２】
そこで、この実施の形態に於いては、適応逆量子化器２２で逆量子化して予測差分信号を求め、その予測差分信号と、適応量子化器１３に入力される予測差分信号との差の誤差信号を差分算出部２３により求め、サンプルタイミングの遅延時間を有する遅延回路２５1 〜２５3 により順次遅延させて、累算部２４に於いて累算する。即ち、誤差信号を累算し、加算器２１により、混合部２からの予測差分信号から累算誤差信号を減算する。
【００４３】
この場合の累算誤差信号Ｄ(n) は、
Ｄ(n) ＝Σ i=1 Nd Ｗｉ・（ＳO(n-i)−Ｓq(n-i)）／Σ i=1 NdＷｉ…（１５）
ＳO(n)＝Ｓ(n) −Ｄ(n) …（１６）
と表すことができる。なお、ＳO(n)は補正後の時刻ｎに於けるミキシング音声出力信号、Ｓ(n) は補正前の時刻ｎに於けるミキシング音声出力信号、Ｗｉは差分信号の累積時の重み係数であり、αi （α＝０．９５〜０．８）等の値を用いることができる。又ΣＷｉの項は重み分を正規化する為の補正項を示す。又遅延
回路２５1 〜２５3 は３段の場合を示すが、更に多段とすることも可能であるが、２〜３段程度が適当である。
【００４４】
又音声信号のミキシングを行う場合、単純に音声信号を加算すると、複数の音声信号を同時に聴取することになって、発言内容が不明瞭となる。又発言していないチャネルの信号を加算することになるから、ノイズを含む再生音声信号となる場合がある。そこで、符号相関を求めて、予測差分信号に重み付けして、ミキシングする。その符号相関Ｒ1 は、
Ｒ1 ＝Σn=o Nbｓｇｎ（ｄi(n)）・ｓｎｇ（ｄs(n)） …（１７）
により求めることができる。なお、ｓｎｇ（ｘ）はｘの符号を示し、ｘ≧０の時＋１、ｘ＜０の時−１を示し、又ｄi(n)はチャネルｉの差分符号信号、ｄs ＝Σｄi であり、ｄi(n)とｄs(n)との間の簡易相互相関値としてのＲi を得ることができる。
【００４５】
例えば、図２に於ける混合部２Ａ，２Ｂ，２Ｃにそれぞれ入力される予測差分信号と、ミキシングして出力される予測差分信号とを入力する相関算出部と、この相関算出部により算出した相関値に対応した重み付けを、混合部２Ａ，２Ｂ，２Ｃの入力予測差分信号に与える重み付け部を設けるものである。なお、相関算出部と重み付け部との図示を省略している。
【００４６】
そして、相関算出部により求めた符号相関Ｒi に従って予測差分信号に重み付けしてミキシングすることにより、発言者からの音声信号のレベルを高くし、即ち、その音声信号のチャネルに対する符号相関Ｒi が大きく、他のチャネルからの信号レベルを低くすることができるから、発言者からの音声信号の明瞭度を損なうことなく再生することができ、且つノイズを低減することができる。
【００４７】
前述の各実施の形態に於いては、主としてＳＢ−ＡＤＰＣＭ方式について説明しているが、ＡＤＰＣＭ方式及び低遅延符号励振線形予測（ＬＤ−ＣＥＬＰ）方式にも適用できるものであり、ＬＤ−ＣＥＬＰ方式は、波形辞書（コードブック）を用いて予測符号化を行うものであり、この方式を適用した場合でも、リニア符号やアナログ信号に復号化することなく、予測差分信号までの復号化処理を行ってミキシングし、そのミキシング出力の予測差分信号を符号化して、処理量を削減することができる。
【００４８】
図７は本発明の第３の実施の形態の多地点会議装置の説明図であり、前述のＬＤ−ＣＥＬＰ（Ｌow Ｄelay Ｃode Ｅxcited Ｌinear Ｐrediction ）方式を適用した場合を示す。同図に於いて、３１は伝送路復号化部、３２はコードブック復号化部、３３は混合部、３４はコードブック符号化部、３５は伝送路符号化部である。
【００４９】
コードブック復号化部３２は、例えば、５サンプル毎のベクトル・コードブック情報から５サンプルの予測誤差信号を生成し、コードブック符号化部３４は、５サンプル毎の予測誤差波形を用いてコードブックと振幅とを検索してコード化することができる。即ち、混合部３３に於いて予測誤差信号の状態で混合するもので、符号Ａ，Ｂ，Ｃが入力されると、符号Ｂ＋Ｃ，Ａ＋Ｃ，Ａ＋Ｂとしてそれぞれ出力される。なお、ミキシングするチャネル数は更に多くすることも勿論可能である。
【００５０】
【発明の効果】
以上説明したように、本発明は、音声ミキシングを行う混合部２Ａ，２Ｂ，２Ｃを備え、リニア符号やアナログ音声信号に復号化することなく、予測差分信号の状態でミキシングするものであり、音声ミキシング処理に於ける演算量の大部分を占める予測信号の算出や予測器の適応処理等の演算を省略することができ、従来例の同一のＤＳＰを用いた場合には、処理可能のチャネル数を増大することができるから、経済化を図ることができる利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態の多地点会議システムの概略説明図である。
【図２】本発明の第１の実施の形態の多地点会議装置の説明図である。
【図３】本発明の第１の実施の形態の音声混合処理のフローチャートである。
【図４】差分合成による復元波形の説明図である。
【図５】ミキシング波形の説明図である。
【図６】本発明の第２の実施の形態の要部説明図である。
【図７】本発明の第３の実施の形態の多地点会議装置の説明図である。
【図８】多地点テレビ会議の概要説明図である。
【図９】従来例の多地点会議システムの概略説明図である。
【図１０】従来例の音声混合処理のフローチャートである。
【図１１】ＳＢ−ＡＤＰＣＭ方式の符号化部の説明図である。
【図１２】ＳＢ−ＡＤＰＣＭ方式の復号化部の説明図である。
【符号の説明】
１Ａ，１Ｂ，１Ｃ 差分復号化部
２Ａ，２Ｂ，２Ｃ 混合部
３Ａ，３Ｂ，３Ｃ 差分符号化部
４Ａ，４Ｂ，４Ｃ 端末装置
５Ａ，５Ｂ，５Ｃ 符号化部
６Ａ，６Ｂ，６Ｃ 復号化部
７Ａ，７Ｂ，７Ｃ マイクロホン
８Ａ，８Ｂ，８Ｃ スピーカ
【発明の属する技術分野】
本発明は、分散された複数の地点間の会議を可能とする多地点会議装置に関する。
多地点会議装置は、会議参加者の発言による音声信号を加算して会議参加者に分配するものであり、会議参加者が多数となるに伴って回路規模が大きくなるから、経済化を図ることが要望されている。
【０００２】
【従来の技術】
図８は多地点テレビ会議の概要説明図であり、画像信号の分配構成は図示を省略しており、音声信号は、多地点会議装置（ＭＣＵ）４１に於いてミキシングし、それぞれの端末装置４２Ａ，４２Ｂ，４２Ｃに送出する。即ち、端末装置４２Ａからの音声信号Ａと、端末装置４２Ｂからの音声信号Ｂとをミキシングして、端末装置Ｃへ（Ａ＋Ｂ）音声として示すように送出し、端末装置４２Ｂ，４２Ｃからの音声信号Ｂ，Ｃをミキシングして、端末装置Ａへ（Ｂ＋Ｃ）音声として示すように送出し、端末装置４２Ａ，４２Ｃからの音声信号Ａ，Ｃをミキシングして、端末装置Ｂへ（Ａ＋Ｃ）音声として示すように送出する。又画像については、例えば、発言者を検出して、その発言者を撮像した画像信号を分配する方式等が知られている。
【０００３】
図９は従来例の多地点会議システムの概略説明図であり、多地点会議装置５０に端末装置５４Ａ，５４Ｂ，５４Ｃが接続された場合を示し、図８に於ける音声信号に関する部分に相当する。多地点会議装置５０は、端末装置５４Ａ，５４Ｂ，５４Ｃ対応の復号化部５１Ａ，５１Ｂ，５１Ｃと、混合部５２Ａ，５２Ｂ，５２Ｃと、符号化部５３Ａ，５３Ｂ，５３Ｃとを備えている。又端末装置５４Ａ，５４Ｂ，５４Ｃは、マイクロホン５７Ａ，５７Ｂ，５７Ｃからの音声信号を符号化する符号化部５５Ａ，５５Ｂ，５５Ｃと、受信信号を復号化してスピーカ５８Ａ，５８Ｂ，５８Ｃに加える復号化部５６Ａ，５６Ｂ，５６Ｃとを備えている。
【０００４】
多地点会議装置５０の復号化部５１Ａ，５１Ｂ，５１Ｃは、予測符号化された音声信号を、リニア符号の音声信号に復号化して混合部５２Ａ，５２Ｂ，５２Ｃに加えるもので、混合部５２Ａはリニア符号の音声信号Ｂ，Ｃを加算し、混合部５２Ｂはリニア符号の音声信号Ａ，Ｃを加算し、混合部５２Ｃはリニア符号の音声信号Ａ，Ｂを加算することになり、符号化部５３Ａ，５３Ｂ，５３Ｃは、それぞれ混合部５２Ａ，５２Ｂ，５２Ｃからミキシング出力されたリニア符号の音声信号を符号化して端末装置５４Ａ，５４Ｂ，５４Ｃに送出する。又復号化部５１Ａ，５１Ｂ，５１Ｃに於いてアナログ音声信号に復号化し、混合部５２Ａ，５２Ｂ，５２Ｃはアナログ信号のミキシングを行い、符号化部５３Ａ，５３Ｂ，５３Ｃは、ミキシングされたアナログ音声信号を予測符号化して送出する。
【０００５】
端末装置５４Ａ，５４Ｂ，５４Ｃの符号化部５５Ａ，５５Ｂ，５５Ｃは、マイクロホン５７Ａ，５７Ｂ，５７Ｃからのアナログ音声信号をディジタル信号に変換し、且つ予測符号化するものであり、又復号化部５６Ａ，５６Ｂ，５６Ｃは、予測符号化された音声信号を復号し、且つアナログの音声信号に変換してスピーカ５８Ａ，５８Ｂ，５８Ｃに加えるものである。
【０００６】
音声信号の符号化方式としては既に各種の方式が知られており、前述の多地点会議システムに於いては、例えば、ＡＤＰＣＭ（Ａdaptive Ｄifferential ＰＣＭ），ＳＢ−ＡＤＰＣＭ（Ｓub−Ｂand Ａdaptive Ｄifferential ＰＣＭ）、ＬＤ−ＣＥＬＰ（Ｌow Ｄelay Ｃode Ｅxcited Ｌinear Ｐrediction ）等が採用されており、ＩＴＵ（旧ＣＣＩＴＴ）に於いて、Ｇ７２１，Ｇ７２２，Ｇ７２８として標準化されている。
【０００７】
図１０は従来例の音声混合処理のフローチャートであり、符号化音声信号を受信し、符号化部に於いて逆量子化（Ｂ１）と予測復号化（Ｂ２）とを行い、リニアＰＣＭ信号等の音声信号に復元して、混合部に於いてミキシングする（Ｂ３）。即ち、Ａ，Ｂ，Ｃの会議参加者に対して、Ａ←（Ｂ＋Ｃ）、Ｂ←（Ａ＋Ｃ）、Ｃ←（Ａ＋Ｂ）のように、音声信号のミキシングを行う。そして、符号化部に於いて、予測符号化（Ｂ４）、量子化（Ｂ５）を行って、再度符号化音声信号として送出する。
【０００８】
図１１はＳＢ−ＡＤＰＣＭ方式の符号化部の説明図であり、６１は送信直交ミラーフィルタ（ＱＭＦ）、６２は６０レベル適応量子化器、６３は量子化器の適応制御部、６４は適応予測器、６５は１５レベル適応逆量子化器、６６，６７，７６，７７は加算器、６８はＬＳＢ２ビット削除部、６９は多重化部、７２は４レベル適応量子化器、７３は量子化器の適応制御部、７４は適応予測器、７５は４レベル適応逆量子化器である。
【０００９】
送信直交ミラーフィルタ６１は、５０Ｈｚ〜７ｋＨｚの入力信号Ｘinを、４ｋＨｚを境に低域信号ＸL と高域信号ＸH とに分割し、低域信号ＸL は、適応予測器６４からの予測信号ＳL との差分信号ＥL （＝ＸL −ＳL ）を加算器６７により求め、６０レベル適応量子化器６２により６ビットで量子化して４８ｋｂ／ｓの信号ＩL とする。又ＬＳＢ２ビット削除部６８は、６ビット構成の信号ＩL の下位２ビットを削除した信号ＩLtを量子化器の適応制御部６３と１５レベル適応逆量子化器６５とに加え、量子化器の適応制御部６３は、量子化器のスケールファクタΔL を６０レベル適応量子化器６２と１５レベル適応逆量子化器６５とに加える。
【００１０】
１５レベル適応量子化器６５は、逆量子化出力信号ＤLtを適応予測器６４と加算器６６とに加え、加算器６６により予測信号ＳL と加算して再生信号ＲLtとして適応予測器６４に加える。適応予測器６４は、逆量子化出力信号ＤLtと再生信号ＲLtとを基に予測信号ＳL を生成する。
【００１１】
高域信号ＸH に対しても同様に、加算器７７に於いて予測信号ＳH との差の差分信号ＥH （＝ＸH −ＳH ）を求め、４レベル適応量子化器７２により２ビットで量子化して、１６ｋｂ／ｓの信号ＩH とし、量子化器の適応制御部７３から量子化器のスケールファクタΔH を４レベル適応量子化器７２と４レベル適応逆量子化器７５とに加え、４レベル適応逆量子化器７５からの逆量子化出力信号ＤH と、ＤH ＋ＳH ＝ＲH の再生信号とを適応予測器７４に加えて、予測信号ＳH を生成する。又多重化部６９は、４８ｋｂ／ｓの低域信号ＩL と、１６ｋｂ／ｓの高域信号ＩH とを多重化して、６４ｋｂ／ｓの符号化音声信号Ｉr として送出する。
【００１２】
図１２はＳＢ−ＡＤＰＣＭ方式の復号化部の説明図であり、８１は分離部、８２は６０レベル適応逆量子化器、８３は３０レベル適応逆量子化器、８４は１５レベル適応逆量子化器、８５は量子化器の適応制御部、８６は１５レベル適応逆量子化器、８７は適応予測器、８８はＬＳＢ１ビット削除部、８９，９０はＬＳＢ２ビット削除部、９１は１５レベル適応逆量子化器、９２は量子化器の適応制御部、９３は適応予測器、９４，９５，９７は加算器、９６はセレクタ、９８は受信直交ミラーフィルタ（ＱＭＦ）である。
【００１３】
セレクタ９６は、モード指定信号によって、６０レベル適応逆量子化器８２と３０レベル適応逆量子化器８３と１５レベル適応逆量子化器８４との出力信号ＤL,6 ，ＤL,5 ，ＤL,4 を選択する。このモード指定信号は、モード０が電話帯域音声信号、モード１〜４が高品質音声信号を示し、又添字の「Ｌ，６」は６ビット構成、「Ｌ，５」は５ビット構成、「Ｌ，４」は４ビット構成の場合の信号を示す。
【００１４】
又６４ｋｂ／ｓの受信符号化音声信号Ｉr は、分離部８１により低域信号ＩLrと高域信号ＩHrとに分離され、６０レベル適応逆量子化器８２には６ビット構成の低域信号ＩL,6 が入力され、３０レベル適応逆量子化器８３には、ＬＳＢ１ビット削除部８８により最下位１ビット削除による５ビット構成の低域信号ＩL,5 が入力され、１５レベル適応逆量子化器８４，８６には、ＬＳＢ２ビット削除部８９，９０により２ビット削除された４ビット構成の低域信号ＩL,4 が入力される。そして、量子化器の適応制御部８５からのスケールファクタΔL により逆量子化される。
【００１５】
適応予測器８７は、１５レベル適応逆量子化器８６からの逆量子化出力信号ＤLtと、加算器９５による再生信号ＲLt＝ＤLt＋ＳL とを基に予測信号ＳL を出力して加算器９７に加え、セレクタ９６により選択された逆量子化出力信号ＤL と加算して、再生信号ＲL とする。
【００１６】
又高域信号ＩHrは、１５レベル適応逆量子化器９１と量子化器の適応制御部９２とに加えられ、適応制御部９２からのスケールファクタΔH に従って逆量子化し、適応予測器９３からの出力信号ＳH と逆量子化出力信号ＤH とを加算器９４により加算して再生信号ＲH とする。受信直交ミラーフィルタ９８は、低域再生信号ＲL と、高域再生信号ＲH とを入力して、出力信号Ｘout とする。
【００１７】
前述の符号化部及び復号化部の適応量子化器に於いて、低域と高域との差分信号ＥL(n)，ＥH(n)と、スケールファクタΔL(n)，ΔH(n)と、量子化幅の境界値ＬＬ６，ＬＵ６，ＨＬ，ＨＵと、指標ｍL ，ｍH とについて、次式を満足するように、指標ｍL ，ｍH が決定される。なお、添字のＬは低域、Ｈは高域を示し、又（ｎ）は現時刻を示す。
ｍL ←ＬＬ６(mL)・ΔL(n)≦ＥL(n)＜ＬＵ６(mL)・ΔL(n) …（１）
ｍH ←ＨＬ(mL)・ΔH(n)≦ＥH(n)＜ＨＵ(mL)・ΔH(n) …（２）
【００１８】
前述のＬＬ６，ＬＵ６は、低域の指標ｍL の１〜３０についてそれぞれ定められており、又ＨＬ，ＨＵは、高域の指標ｍH の１，２について定められている。例えば、ｍL ＝４の場合、ＬＬ６＝０．２１３８９、ＬＵ６＝０．２９２１２、ｍH ＝２の場合、ＨＬ＝１．１０１５６、ＨＵ＝∞となる。
【００１９】
又逆量子化器に於いては、低域と高域との量子化差分信号ＤLt(n) ，ＤH(n)を次式により演算して求める。
ＤLt(n) ＝ＱＬ４-1（ＩLt(n) ）・ΔL(n)・ｓｇｎ（ＩLt(n) ） …（３）
ＤH(n)＝Ｑ２-1（ＩH(n)）・ΔH(n)・ｓｇｎ（ＩH(n)） …（４）
なお、ＱＬ４-1 及びＱ２-1は、４ビット及び２ビットに対応し、且つ量子化幅の指標ｍL ，ｍH に対応して予め定められているものであり、例えば、ｍL ＝４の場合、ＱＬ４-1＝０．２９２１２、ｍH ＝２の場合、Ｑ２-1＝１．８０８５９となる。
【００２０】
又量子化器の適応制御部に於いては、スケールファクタを対数領域で演算して更新し、真数に変換するものであり、対数スケールファクタを∇L(n)，∇H(n)とすると、
∇L(n)＝Ｂ・∇L(n-1)＋ＷL （ＩLt(n-1) ） …（５）
∇H(n)＝Ｂ・∇H(n-1)＋ＷH （ＩH(n-1)） …（６）
の演算によって求められる。なお、添字の（ｎ−１）は現時刻（ｎ）の１サンプル前の時刻を示す。又Ｂは１２７／１２８のリーク定数、ＷL ，ＷH は、対数スケールファクタ定数であり、例えば、ｍL ＝４の場合、ＷL ＝−０．１１４６５、ｍH ＝２の場合、ＷH ＝０．３８９６５となる。
【００２１】
又適応予測器は、入力信号の極を近似する２次の極予測器と、零点を近似する６次の零予測器とから構成されている。極予測器は、係数ａLi，ａHiと量子化再生信号ＲLt(n) ，ＲH(n)とを用いて予測信号ＳLp，ＳHpを次式に示すように算出する。
ＳLp＝Σ i=1 2 ａLi(n-1) ・ＲLt(n-i) …（７）
ＳHp＝Σ i=1 2 ａHi(n-1) ・ＲH(n-i) …（８）
なお、Σ i=1 2は、ｉ＝１からｉ＝２までの累算を示す。
【００２２】
又零予測器は、係数ｂLi，ｂHiと、量子化差分信号ＤLt(n) ，ＤH(n)を用いて、予測信号ＳLz，ＳHzを次式に示すように算出する。
ＳLz＝Σ i=1 6 ｂLi(n-1) ・ＤLt(n-i) …（９）
ＳHz＝Σ i=1 6 ｂHi(n-1) ・ＤH(n-i) …（１０）
なお、Σ i=1 6は、ｉ＝１からｉ＝６までの累算を示す。
【００２３】
従って、適応予測器からの予測信号ＳL(n)，ＳH(n)は、
ＳL(n)＝ＳLp(n) ＋ＳLz(n) …（１１）
ＳH(n)＝ＳHp(n) ＋ＳHz(n) …（１２）
となり、符号化部に於ける適応予測器６４，７４及び復号化部に於ける適応予測器８７，９３から出力される。
【００２４】
量子化再生信号ＲLt(n-i) ，ＲH(n-i)は、
ＲLt(n-i) ＝ＳL(n)＋ＤLt(n) …（１３）
ＲH(n-i)＝ＳH(n)＋ＤH(n) …（１４）
により求めることができる。
【００２５】
【発明が解決しようとする課題】
従来例の多地点会議装置は、会議参加者の端末装置からのＡＤＰＣＭ信号等の符号化音声信号を受信し、その符号化音声信号をリニア符号信号に変換してミキシング処理を行い、そのミキシング出力信号をＡＤＰＣＭ信号等の符号化信号に変換して、それぞれの端末装置へ送出するものであり、又復号化部に於いてアナログ音声信号に復号化して、混合部に於いてアナログ音声信号のミキシングを行う方式も知られている。
【００２６】
この多地点会議装置を構成する復号化部及び符号化部は、会議参加者の端末装置対応に設けるものであるから、会議参加者が多いシステムに於いては、多地点会議装置のハードウェア規模が大きくなり、コストアップとなる問題があり、又音声信号のミキシングの為の復号化及び符号化処理の演算量が多く、高速処理のＤＳＰ（ディジタル・シグナル・プロセッサ）が必要であるから、この点によってもコストアップとなる問題があった。
本発明は、演算量を大幅に削減可能として、多地点会議装置の経済化を図ることを目的とする。
【００２７】
【課題を解決するための手段】
本発明の多地点会議装置は、図１を参照して説明すると、（１）音声信号の予測誤差を符号化して会議参加の複数の端末装置４Ａ，４Ｂ，４Ｃ間で送受信する為の多地点会議装置１０であって、会議参加の複数の端末装置４Ａ，４Ｂ，４Ｃから受信した符号化信号を予測差分信号に復号化する前記端末装置対応の差分復号化部１Ａ，１Ｂ，１Ｃと、符号化信号を送信してきた端末装置対応の差分復号化部からの予測誤差信号を除いて他の端末装置対応の差分復号化部からの予測誤差信号をミキシングする混合部２Ａ，２Ｂ，２Ｃと、この混合部２Ａ，２Ｂ，２Ｃによりミキシングされた予測誤差信号を符号化して前記符号化信号を送信してきた端末装置以外の他の端末装置へ送信する差分符号化部３Ａ，３Ｂ，３Ｃとを備えており、予測誤差信号の状態でミキシングすることにより、ハードウェア及びソフトウェアの削減が可能となる。
【００２８】
又（２）混合部２Ａ，２Ｂ，２Ｃによりミキシングされた予測差分信号と、前記差分符号化部３Ａ，３Ｂ，３Ｃにより符号化された信号を逆量子化した予測差分信号との差の誤差信号を累算する累算誤差信号算出部と、該累算誤差信号算出部からの累算誤差信号を前記混合部からの予測差分信号に誤差信号を低減するように加算する加算器とを備え、量子化誤差を低減することによって、再生音声品質の改善を図ることができる。
【００２９】
又（３）混合部２Ａ，２Ｂ，２Ｃに入力される予測誤差信号と、ミキシングされて出力される予測誤差信号との相関を求める相関算出部と、該相関算出部による相関値を基に、前記混合部に入力される予測誤差信号に重み付けを行う重み付け部とを備えることができる。
【００３０】
又（４）差分復号化部１Ａ，１Ｂ，１Ｃは、入力された適応差分ＰＣＭ信号に対する適応逆量子化による差分信号を出力する構成を有し、且つ差分符号化部３Ａ，３Ｂ，３Ｃは、混合部２Ａ，２Ｂ，２Ｃによりミキシングされた差分信号を適応量子化により符号化する構成を有するものである。
【００３１】
又（５）差分復号化部１Ａ，１Ｂ，１Ｃは、入力されたサブバンド適応差分ＰＣＭ信号を低域と高域とに分離して、それぞれに対する適応逆量子化による差分信号を出力する構成を有し，又混合部２Ａ，２Ｂ，２Ｃは、低域と高域との差分信号対応のミキシングを行う構成を有し、又差分符号化部３Ａ，３Ｂ，３Ｃは、混合部からの低域と高域とのそれぞれミキシングされた差分を適応量子化により符号化して合成する構成を有するものである。
【００３２】
又（６）差分復号化部１Ａ，１Ｂ，１Ｃは、入力された低遅延符号励振線形予測符号化信号を、波形辞書検索と適応逆量子化とによる差分信号を出力する構成を有し、又差分符号化部３Ａ，３Ｂ，３Ｃは、混合部によりミキシングされた差分信号を、波形辞書検索と適応量子化とにより符号化する構成を有するものである。
【００３３】
【実施の形態】
図１は本発明の実施の形態の多地点会議システムの概略説明図であり、多地点会議装置１０は、端末装置４Ａ，４Ｂ，４Ｃ対応に、差分復号化部１Ａ，１Ｂ，１Ｃと混合部２Ａ，２Ｂ，２Ｃと差分符号化部３Ａ，３Ｂ，３Ｃとを備えている。又端末装置４Ａ，４Ｂ，４Ｃは、従来例と同様に、マイクロホン７Ａ，７Ｂ，７Ｃからのアナログ音声信号をディジタル信号に変換して予測符号化する符号化部５Ａ，５Ｂ，５Ｃと、予測符号化信号を復号してアナログ音声信号に変換してスピーカ８Ａ，８Ｂ，８Ｃに加える復号化部６Ａ，６Ｂ，６Ｃとを備えている。
【００３４】
混合部２Ａ，２Ｂ，２Ｃは、リニアＰＣＭ音声信号或いはアナログ音声信号をミキシングするものではなく、差分復号化部１Ａ，１Ｂ，１Ｃからの予測差分信号についてミキシングするものであり、又差分符号化部３Ａ，３Ｂ，３Ｃは、ミキシングされた予測差分信号を予測符号化するものである。従って、演算量が従来例に比較して著しく削減されることになる。
【００３５】
図２は本発明の第１の実施の形態の多地点会議装置の説明図であり、差分復号化部１Ａ，１Ｂ，１Ｃを、適応逆量子化器１１Ａ，１１Ｂ，１１Ｃと適応制御部１２Ａ，１２Ｂ，１２Ｃとにより構成し、差分符号化部３Ａ，３Ｂ，３Ｃを、適応量子化器１３Ａ，１３Ｂ，１３Ｃと適応制御部１４Ａ，１４Ｂ，１４Ｃにより構成した場合を示す。
【００３６】
予測符号化方式として、サブバンド適応差分ＰＣＭ（ＳＢ−ＡＤＰＣＭ）方式を適用した場合、差分復号化部１Ａ，１Ｂ，１Ｃは、低域と高域とに分離し、逆量子化出力信号ＤL ，ＤH までの演算処理を行い、混合部２Ａ，２Ｂ，２Ｃは、低域と高域との逆量子化出力信号ＤL ，ＤH 対応にミキシングを行う構成とし、又差分符号化部３Ａ，３Ｂ，３Ｃは、逆量子化出力信号ＤL ，ＤH のミキシング出力信号を量子化する処理を行うものである。逆量子化及び量子化は、積和演算を含まないので、テーブル参照等により処理することが可能である。これに対して、極予測や零予測は、積和演算を含み、演算量が多いものであるが、本発明に於いては、逆量子化出力信号ＤL ，ＤH 即ち、予測差分信号をミキシングすることにより、極予測や零予測の演算を省略できるようにしたものである。即ち、前述の（３）〜（６）式の演算で済むことになり、従って、前述の積和演算を含む（７）〜（１０）式の演算を省略することができる。
【００３７】
図３は本発明の第１の実施の形態の音声混合処理のフローチャートであり、図９の従来例と対比して示すものであって、符号化音声信号を受信し、逆量子化（Ａ１）を行って差分音声信号とし、それをミキシングする（Ａ２）。そして、ミキシング出力信号を量子化し（Ａ３）、符号化した音声信号とする。即ち、前述のように、差分復号化部に於いて逆量子化して予測差分信号を求め、それをミキシングした予測差分信号を、差分符号化部に於いて量子化して符号化するものである。
【００３８】
図４は差分合成による復元波形の説明図であり、（Ａ），（Ｂ）の左側に示す音声信号波形の１次差分信号ＡD ，ＢD を右側に示し、この差分信号ＡD ，ＢD を加算し、ＡD ＋ＢD ＝ＣD の加算出力信号ＣD を求めると、（Ｃ）の右側に示す差分信号となる。これを復元することにより、（Ｃ）の左側の音声信号波形となる。即ち、差分信号を用いてミキシングした場合でも、従来例のリニア符号の音声信号に復号化してミキシングした場合と同等の再生音声信号を得ることができる。同様に、高次の差分信号を用いた場合でも、その差分信号によるミキシングによって、音声信号を復元することができる。
【００３９】
図５はミキシング波形の説明図であり、（ａ），（ｂ）は入力音声信号の波形の一例を示し、この入力音声信号をＳＢ−ＡＤＰＣＭ方式で符号化し、多地点会議装置に於いて、予測差分信号に復号化してミキシング（算術加算）を行い、それを適応量子化器により符号化し、それを復号化して音声信号に復元した波形を（ｃ）に示すものである。即ち、ミキシングされた信号は、符号化処理と復号処理とにより時間的に遅れるが、ほぼ（ａ）＋（ｂ）の信号波形を得ることができる。
【００４０】
図６は本発明の第２の実施の形態の要部説明図であり、２は混合部、１３は適応量子化器、２１は加算器、２２は適用逆量子化器、２３は差分算出部、２４は累算部、２５1 〜２５3 は遅延回路（Ｔ）である。この実施例に於いて、適応逆量子化器２２と差分算出部２３と累算部２４と遅延回路２５1 〜２５3 とにより累算誤差信号算出部を構成している。又混合部２は、前述のように、予測差分信号についてのミキシングを行うものであり、チャネル対応の混合部に対して、前述の累算誤差信号算出部と、加算器２１とを付加するものである。
【００４１】
累算誤差信号算出部及び加算器２１を設けない場合の混合部２によりミキシングされた予測差分信号は、適応量子化器１３によって符号化されて送出されるものであるが、逆量子化及び量子化を行うことにより、量子化誤差が累積する可能性があり、この累積誤差が大きくなると、再生音声品質が劣化する。
【００４２】
そこで、この実施の形態に於いては、適応逆量子化器２２で逆量子化して予測差分信号を求め、その予測差分信号と、適応量子化器１３に入力される予測差分信号との差の誤差信号を差分算出部２３により求め、サンプルタイミングの遅延時間を有する遅延回路２５1 〜２５3 により順次遅延させて、累算部２４に於いて累算する。即ち、誤差信号を累算し、加算器２１により、混合部２からの予測差分信号から累算誤差信号を減算する。
【００４３】
この場合の累算誤差信号Ｄ(n) は、
Ｄ(n) ＝Σ i=1 Nd Ｗｉ・（ＳO(n-i)−Ｓq(n-i)）／Σ i=1 NdＷｉ…（１５）
ＳO(n)＝Ｓ(n) −Ｄ(n) …（１６）
と表すことができる。なお、ＳO(n)は補正後の時刻ｎに於けるミキシング音声出力信号、Ｓ(n) は補正前の時刻ｎに於けるミキシング音声出力信号、Ｗｉは差分信号の累積時の重み係数であり、αi （α＝０．９５〜０．８）等の値を用いることができる。又ΣＷｉの項は重み分を正規化する為の補正項を示す。又遅延
回路２５1 〜２５3 は３段の場合を示すが、更に多段とすることも可能であるが、２〜３段程度が適当である。
【００４４】
又音声信号のミキシングを行う場合、単純に音声信号を加算すると、複数の音声信号を同時に聴取することになって、発言内容が不明瞭となる。又発言していないチャネルの信号を加算することになるから、ノイズを含む再生音声信号となる場合がある。そこで、符号相関を求めて、予測差分信号に重み付けして、ミキシングする。その符号相関Ｒ1 は、
Ｒ1 ＝Σn=o Nbｓｇｎ（ｄi(n)）・ｓｎｇ（ｄs(n)） …（１７）
により求めることができる。なお、ｓｎｇ（ｘ）はｘの符号を示し、ｘ≧０の時＋１、ｘ＜０の時−１を示し、又ｄi(n)はチャネルｉの差分符号信号、ｄs ＝Σｄi であり、ｄi(n)とｄs(n)との間の簡易相互相関値としてのＲi を得ることができる。
【００４５】
例えば、図２に於ける混合部２Ａ，２Ｂ，２Ｃにそれぞれ入力される予測差分信号と、ミキシングして出力される予測差分信号とを入力する相関算出部と、この相関算出部により算出した相関値に対応した重み付けを、混合部２Ａ，２Ｂ，２Ｃの入力予測差分信号に与える重み付け部を設けるものである。なお、相関算出部と重み付け部との図示を省略している。
【００４６】
そして、相関算出部により求めた符号相関Ｒi に従って予測差分信号に重み付けしてミキシングすることにより、発言者からの音声信号のレベルを高くし、即ち、その音声信号のチャネルに対する符号相関Ｒi が大きく、他のチャネルからの信号レベルを低くすることができるから、発言者からの音声信号の明瞭度を損なうことなく再生することができ、且つノイズを低減することができる。
【００４７】
前述の各実施の形態に於いては、主としてＳＢ−ＡＤＰＣＭ方式について説明しているが、ＡＤＰＣＭ方式及び低遅延符号励振線形予測（ＬＤ−ＣＥＬＰ）方式にも適用できるものであり、ＬＤ−ＣＥＬＰ方式は、波形辞書（コードブック）を用いて予測符号化を行うものであり、この方式を適用した場合でも、リニア符号やアナログ信号に復号化することなく、予測差分信号までの復号化処理を行ってミキシングし、そのミキシング出力の予測差分信号を符号化して、処理量を削減することができる。
【００４８】
図７は本発明の第３の実施の形態の多地点会議装置の説明図であり、前述のＬＤ−ＣＥＬＰ（Ｌow Ｄelay Ｃode Ｅxcited Ｌinear Ｐrediction ）方式を適用した場合を示す。同図に於いて、３１は伝送路復号化部、３２はコードブック復号化部、３３は混合部、３４はコードブック符号化部、３５は伝送路符号化部である。
【００４９】
コードブック復号化部３２は、例えば、５サンプル毎のベクトル・コードブック情報から５サンプルの予測誤差信号を生成し、コードブック符号化部３４は、５サンプル毎の予測誤差波形を用いてコードブックと振幅とを検索してコード化することができる。即ち、混合部３３に於いて予測誤差信号の状態で混合するもので、符号Ａ，Ｂ，Ｃが入力されると、符号Ｂ＋Ｃ，Ａ＋Ｃ，Ａ＋Ｂとしてそれぞれ出力される。なお、ミキシングするチャネル数は更に多くすることも勿論可能である。
【００５０】
【発明の効果】
以上説明したように、本発明は、音声ミキシングを行う混合部２Ａ，２Ｂ，２Ｃを備え、リニア符号やアナログ音声信号に復号化することなく、予測差分信号の状態でミキシングするものであり、音声ミキシング処理に於ける演算量の大部分を占める予測信号の算出や予測器の適応処理等の演算を省略することができ、従来例の同一のＤＳＰを用いた場合には、処理可能のチャネル数を増大することができるから、経済化を図ることができる利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態の多地点会議システムの概略説明図である。
【図２】本発明の第１の実施の形態の多地点会議装置の説明図である。
【図３】本発明の第１の実施の形態の音声混合処理のフローチャートである。
【図４】差分合成による復元波形の説明図である。
【図５】ミキシング波形の説明図である。
【図６】本発明の第２の実施の形態の要部説明図である。
【図７】本発明の第３の実施の形態の多地点会議装置の説明図である。
【図８】多地点テレビ会議の概要説明図である。
【図９】従来例の多地点会議システムの概略説明図である。
【図１０】従来例の音声混合処理のフローチャートである。
【図１１】ＳＢ−ＡＤＰＣＭ方式の符号化部の説明図である。
【図１２】ＳＢ−ＡＤＰＣＭ方式の復号化部の説明図である。
【符号の説明】
１Ａ，１Ｂ，１Ｃ 差分復号化部
２Ａ，２Ｂ，２Ｃ 混合部
３Ａ，３Ｂ，３Ｃ 差分符号化部
４Ａ，４Ｂ，４Ｃ 端末装置
５Ａ，５Ｂ，５Ｃ 符号化部
６Ａ，６Ｂ，６Ｃ 復号化部
７Ａ，７Ｂ，７Ｃ マイクロホン
８Ａ，８Ｂ，８Ｃ スピーカ
Claims (6)
- 音声信号の予測誤差を符号化して会議参加の複数の端末装置間で送受信する為の多地点会議装置に於いて、
会議参加の前記複数の端末装置から受信した符号化信号を予測差分信号に復号化する前記端末装置対応の差分復号化部と、
前記符号化信号を送信してきた端末装置対応の前記差分復号化部からの予測差分信号を除いて他の端末装置対応の前記差分復号化部からの予測差分信号をミキシングする混合部と、
該混合部によりミキシングされた予測差分信号を符号化して前記符号化信号を送信してきた端末装置へ送信する差分符号化部と
を備えたことを特徴とする多地点会議装置。 - 前記混合部によりミキシングされた予測差分信号と、前記差分符号化部により符号化された信号を逆量子化した予測差分信号との差の誤差信号を累算する累算誤差信号算出部と、前記混合部からの予測差分信号から前記累算誤差信号算出部により求めた累算誤差信号を減算処理する加算器とを備えたことを特徴とする請求項１記載の多地点会議装置。
- 前記混合部に入力される複数の予測差分信号と、該混合部からミキシングされて出力された予測差分信号との相関を求める相関算出部と、該相関算出部による相関が正である前記混合部に入力される予測差分信号に対して大きい重み付けを行ってミキシングする為の重み付け部とを備えたことを特徴とする請求項１又は２記載の多地点会議装置。
- 前記差分復号化部は、入力された適応差分ＰＣＭ信号に対する適応逆量子化によって予測差分信号を出力する構成を有し、且つ前記差分符号化部は、前記混合部によりミキシングされた予測差分信号を適応量子化により符号化する構成を有することを特徴とする請求項１又は２又は３記載の多地点会議装置。
- 前記差分復号化部は、入力されたサブバンド適応差分ＰＣＭ信号を低域と高域とに分離し、それぞれに対する適応逆量子化による予測差分信号を出力する構成を有し、前記混合部は、前記低域と高域との予測差分信号対応のミキシングを行う構成を有し、前記差分符号化部は、前記混合部からの前記低域と高域とのそれぞれミキシングされた予測差分信号を適応量子化により符号化して合成する構成を有することを特徴とする請求項１又は２又は３記載の多地点会議装置。
- 前記差分復号化部は、入力された低遅延符号励振線形予測符号化信号を、波形辞書検索と適応逆量子化とによる予測差分信号を出力する構成を有し、前記差分符号化部は、前記混合部によりミキシングされた予測差分信号を、波形辞書検索と適応量子化とにより符号化する構成を有することを特徴とする請求項１又は２又は３記載の多地点会議装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01357696A JP3663555B2 (ja) | 1996-01-30 | 1996-01-30 | 多地点会議装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01357696A JP3663555B2 (ja) | 1996-01-30 | 1996-01-30 | 多地点会議装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09214922A JPH09214922A (ja) | 1997-08-15 |
| JP3663555B2 true JP3663555B2 (ja) | 2005-06-22 |
Family
ID=11837000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01357696A Expired - Lifetime JP3663555B2 (ja) | 1996-01-30 | 1996-01-30 | 多地点会議装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3663555B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4174859B2 (ja) * | 1998-07-15 | 2008-11-05 | ヤマハ株式会社 | デジタルオーディオ信号のミキシング方法およびミキシング装置 |
| US7133521B2 (en) * | 2002-10-25 | 2006-11-07 | Dilithium Networks Pty Ltd. | Method and apparatus for DTMF detection and voice mixing in the CELP parameter domain |
-
1996
- 1996-01-30 JP JP01357696A patent/JP3663555B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09214922A (ja) | 1997-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3283413B2 (ja) | 符号化復号方法、符号化装置および復号装置 | |
| JP3881943B2 (ja) | 音響符号化装置及び音響符号化方法 | |
| JP4589366B2 (ja) | 忠実度最適化可変フレーム長符号化 | |
| JP6462653B2 (ja) | オーディオ・データを処理するための方法、装置、及びシステム | |
| WO2019193173A1 (en) | Truncateable predictive coding | |
| US5857167A (en) | Combined speech coder and echo canceler | |
| JP4033840B2 (ja) | 音声ミキシング方法、音声ミキシング装置、音声ミキシングプログラム及びこれを記録した記録媒体 | |
| JPH08146997A (ja) | 符号変換装置および符号変換システム | |
| JP2002330075A (ja) | サブバンドａｄｐｃｍ符号化方法、復号方法、サブバンドａｄｐｃｍ符号化装置、復号装置およびワイヤレスマイクロホン送信システム、受信システム | |
| JPH09152896A (ja) | 声道予測係数符号化・復号化回路、声道予測係数符号化回路、声道予測係数復号化回路、音声符号化装置及び音声復号化装置 | |
| JP4216364B2 (ja) | 音声符号化／復号化方法および音声信号の成分分離方法 | |
| EP1310943B1 (en) | Speech coding apparatus, speech decoding apparatus and speech coding/decoding method | |
| US20090129576A1 (en) | Relay device, communication terminal, signal decoder, signal processing method, and signal processing program | |
| JPH1020897A (ja) | 適応変換符号化方式および適応変換復号方式 | |
| JP3663555B2 (ja) | 多地点会議装置 | |
| Schuller et al. | Low delay audio compression using predictive coding | |
| JP3472279B2 (ja) | 音声符号化パラメータ符号化方法及び装置 | |
| JPH11504733A (ja) | 聴覚モデルによる量子化を伴う予測残余信号の変形符号化による多段音声符号器 | |
| JP3193515B2 (ja) | 音声符号化通信方式及びその装置 | |
| JP4108396B2 (ja) | 多地点制御装置の音声符号化伝送システム | |
| JP4373693B2 (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
| JP4693185B2 (ja) | 符号化装置、プログラム、および記録媒体 | |
| JP6713424B2 (ja) | 音声復号装置、音声復号方法、プログラム、および記録媒体 | |
| JP3073283B2 (ja) | 励振コードベクトル出力回路 | |
| JP3827720B2 (ja) | 差分コーディング原理を用いる送信システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030430 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080408 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090408 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090408 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100408 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110408 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120408 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120408 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130408 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |