JP4033840B2 - 音声ミキシング方法、音声ミキシング装置、音声ミキシングプログラム及びこれを記録した記録媒体 - Google Patents

Description

本発明は、インターネットを始めとするパケット通信ネットワークにおいて多地点遠隔会議を行うことを目的に、複数地点の音声を受信した後にミキシングをして伝送して再生する場合に用いる音声ミキシング方法、音声ミキシング装置、音声ミキシングプログラム及びこれを記録した記録媒体に関する。

多地点遠隔会議を行なう場合、各地点で発生した音声情報はミキシングサーバに集められ、ミキシングサーバでミキシングされて各対地に返送される。各対地に返送されるミキシング情報は自己を除く他の対地で発生した音声情報とされる。符号化された音声情報をミキシングする場合、符号化情報を一旦、音声信号に復号し、音声信号の形態でミキシングする必要がある。
図１にその一例を示す。図１に示す例ではパケット信号を符号化情報抽出部１−１，１−２，１−３で各対地別の符号化情報を抽出し、その抽出した符号化情報をそれぞれ復号部２−１，２−２，２−３で復号し、復号した音声信号をミキシング部３でミキシングし、ミキシングの後、符号化部４−１，４−２，４−３で再び符号化し、パケット構築部５−１，５−２，５−３でパケット情報に変換し、各対地別にミキシングされたパケット情報を送出している。

ミキシング部３では図１に示す例では一旦総和信号を生成し、この総和信号からそれぞれ、自己の対地情報（自己が送り出した音声情報）を引算し、自己以外の対地情報のみが自己に返送されるように構成した場合を示す。但し、初めから自己以外の対地情報のみを加算して自己に返送するミキシング方法もある。
ここでは、通常、音声帯域は０Ｈｚからサンプリングされた信号のナイキスト周波数付近までを含む帯域とされ、この信号を一括して符号化する方法が用いられるが、広帯域信号を一括に符号化する方法を採る場合は以下に述べるような不都合が生じる。

広帯域信号を０Ｈｚからナイキスト周波数付近まで一括して符号化する方法つまりＡＭ帯域（７．５ｋＨｚ帯域）以上の広帯域信号を符号化する場合、一括に符号化すると単純に符号化しなければならないサンプル数が狭帯域信号と比べて倍以上になる。従って、ＡＭ帯域以上の広帯域符号化を用いて多地点会議システムを構築しようとする場合、処理しなければならない音声帯域が広くなるため、狭帯域の音声符号化方式を用いる場合よりも演算量が増大する。このため、特にソフトウェアでミキシング方式をミキシングサーバに実装した場合、現実的な演算量に収まらずに実現が不可能であった。

ミキシングを効果的に行う方法としてエネルギ最大の音声信号を選択し、このエネルギ最大の音声信号をその送出端末を除く他の端末に送信し、２番目に大きいエネルギの音声信号を最大エネルギを送信した端末に配信するミキシング方法が提案されている（特許文献１）。この特許文献１に開示されたミキシング方法には音声の広帯域化に伴う演算量の増大を減縮しようとする考えは開示されていない。
広帯域信号を符号化する方法として階層符号化方法がある。階層符号化方法の一つとなる帯域分割型の広帯域符号化送信方法を図２に示す。帯域分割型の階層符号化方法は図２に示すように、入力信号を帯域分割フィルタバンク６で高域信号と低域信号とに分離し、高域信号は拡張レイヤ符号化部７−１で符号化し、低域信号は基本レイヤ符号化部７−２で符号化する。各符号化部７−１及び７−２で符号化された高域符号化情報と低域符号化情報は符号化情報構築部８で複合され、音声パケット送信部９から音声パケット信号として送出される。

この帯域分割型の階層符号化方法によれば低域と、高域に分離し、低域のみでも音声を再生することができる利点がある。
この階層符号化方法で符号化された音声符号化情報をミキシングサーバでミキシングする構成を図３に示す。各対地から送られて来た音声パケットはそれぞれ符号化情報抽出部１−１，１−２，１−３でそれぞれの対地別のパケットのみを抽出する。この場合、各対地別の音声パケットから低域符号化情報と高域符号化情報とが分離されて抽出される。
低域符号化情報はそれぞれ低域復号部１１−１，１１−２，１１−３で低域の音声信号に復号され、また高域符号化情報は高域復号部１２−１，１２−２，１２−３で高域の音声信号に復号される。低域復号部で復号された低域音声信号は基本レイヤミキシング部１３でミキシングされ、低域符号化部１５−１，１５−２，１５−３でそれぞれ符号化され、パケット構築部５−１，５−２，５−３に入力される。

一方、拡張レイヤミキシング部１４では高域復号部１２−１，１２−２，１２−３で復号された高域信号をミキシングし、高域符号化部１６−１，１６−２，１６−３で符号化してパケット構築部５−１，５−２，５−３に入力され、パケット構築部５−１，５−２，５−３から各対地向にミキシングされたパケット（自己以外の音声をミキシングしたパケット）が送出される。各対地に設けられる受信手段は図４に示すように音声パケット受信部５１と、符号データ分解部５２と、高域信号復号部５３と、低域信号復号部５４と、帯域合成フィルタバンク５６とによって構成される。
特開２０００−９２２１８号公報

上述したように、階層符号化方法を用いることにより、符号化復号化に要する演算量は低減できるものの、ミキシングの過程においては低域信号及び高域信号を共に復号し、音声信号に変換してそれぞれをミキシングするため、ミキシングに要する演算量は図１に示した場合と比較して増加する欠点がある。
この発明の目的はこの欠点を一掃することができるミキシング方法及び装置を提案するものである。

この発明の請求項１では複数の地点から送られた音声信号を相互にミキシングし、ミキシングした音声信号を各地点に再送する多地点遠隔会議システムに用いる音声ミキシング方法において、複数の地点から送られる音声信号は基本レイヤ情報と拡張レイヤ情報とを備えた階層符号化情報とされ、階層符号化された基本レイヤ情報を全地点ミキシングし、拡張レイヤ情報は選択的に上記全地点ミキシングした基本レイヤ情報にミキシングし、
各地点から送られて来る拡張レイヤ情報に優先度情報を含み、ミキシングサーバはこの優先度情報を参照し、優先度の最も高い拡張レイヤ情報の再送地点を選択し、

各地点から送られて来る拡張レイヤ情報に優先度情報を含み、ミキシングサーバはこの優先度情報の最も順位の高い拡張レイヤ情報を発信した地点以外の地点に上記順位が最も高い拡張レイヤ情報をミキシングして再送する音声ミキシング方法を提案する。

この発明の音声ミキシング方法によれば基本レイヤの符号化情報のみを音声信号に復号し、その音声信号のみをミキシングして符号化する処理を施すが、拡張レイヤの符号化情報に関しては復号せずに、符号化情報の形態のまま、ミキシングされた基本レイヤ情報に優先度の高い拡張レイヤの符号化情報をミキシングするから、拡張レイヤ側では復号化、加算及び符号化の演算処理が不要となり、それだけ演算処理量を低減することができる。
また、拡張レイヤの音声情報を相互にミキシングする場合であっても、符号化処理部の数は対地数に関係なく優先度の組合せで発生するミキシングの組合せの数で決定され、符号化処理部の数を低減することができる。

図５に本発明を実施するための最良の形態となる多地点遠隔会議システムの全体の一例を示す。この例では、Ｎ＝３地点分の会議参加者（対地１、対地２、対地３）が存在し、各対地は各地点の音声データを符号化して、ミキシングサーバ（ＭＣＵ）に伝送する。ミキシングサーバ（ＭＣＵ）へは、１０ｍｓ〜４０ｍｓの処理単位でパケットを伝送するが、この処理単位は符号化のフレーム長（処理単位）と同期してもよいし、ひとつのパケットを複数フレーム分の符号化データから構築しても良い。
ミキシングサーバ（ＭＣＵ）では、これらの各地点の音声信号をミキシングするが、対地１向けに対地２と３の音声信号を、対地２向けに対地１と３の音声信号を、対地３向けに対地１と２の音声信号をミキシングする。つまり、以上を一般化するとＮ地点の多地点遠隔会議を行う場合、ｉ番目の地点の対地には、ｉ地点を除いた全ての地点（Ｎ−ｉ地点分）の音声のミキシングを行い、伝送する。これは、ｉ番目の対地に送信する信号を符号化するために、対地毎にその地点以外の信号を全て加算して求める必要がある。しかし、全ての地点を加算した信号から、送信先の対地の信号を引算した信号を符号化すれば、最低限の演算量でミキシングが可能となる。

ここで、図６に、本発明を実施した場合の各対地の送信部（共通）のブロック図を示す。この送信部は、図２を用いて説明した帯域分割型の階層符号化方式に、優先度情報演算部１０を加えたものである。このような帯域分割型の階層構成の場合の低域および高域の信号の関係を簡単に図７に示す。この図７では周波数帯域としてサンプリング周波数の半分（ナイキスト周波数）を表示してあるが、実際には４ｋＨｚには３．４ｋＨｚ、８ｋＨｚには７．５ｋＨｚなどとナイキスト周波数より少し小さい値を持って周波数帯域を制限する。

この優先度情報演算部１０では、ｋ番目の処理フレームにおいて、以下の項目の一部もしくは全部を演算する。
１．ｘ₁［ｋ］：絶対電力の対数表現
２．ｘ₂［ｋ］：高域と低域の絶対電力の比
３．ｘ₃［ｋ］：前処理フレームと現フレームの絶対電力の比
４．ｘ₄［ｋ］：周期性
次に、以下の１次結合式を用いて、そのフレーム分のデータが損失した場合の予測ＭＯＳ値を演算する。上記１〜４の演算方法及び予測ＭＯＳ値の演算方法に関しては後で詳細に説明する。

ｙ［ｋ］＝α₀＋Σ_n＝1 ⁴α_nｘ_n［ｋ］ （１）
こうして得られた予測ＭＯＳ値は０〜５までの値を取る実数値となり、そのまま伝送してもよいが、付加情報量を低減させるために、予め決めておいた符号帳を用いてスカラー量子化を行ってその符号インデックスのみを伝送してもよい。
以上のようにして得られた低域信号と高域信号の符号化情報及び音声情報（予測ＭＯＳ値すなわち重要度）は符号化情報構築部８で符号パケットのペイロードデータとして多重化（ＭＵＸ）され、ミキシングサーバ（ＭＣＵ）に送信される。

尚、ミキシングサーバ（ＭＣＵ）はコンピュータで構成される。コンピュータはこの発明で提案する音声ミキシング方法を実行するための音声ミキシングプログラムによって動作する。音声ミキシングプログラムはコンピュータが読み取り可能な磁気記録媒体或はコンパクトディスク（ＣＤ）等の記録媒体に記録され、記録媒体からコンピュータにインストールされるか、または通信回線を媒体として通信回線を通じてインストールされる。
コンピュータにインストールされた音声ミキシングプログラムはコンピュータに備えられた中央演算処理装置に解読されてこの発明で提案する音声ミキシング方法を実行する。

図８にこの発明による音声ミキシング方法に従って動作する音声ミキシング装置の一実施例を示す。この実施例では図６を用いて説明した階層符号化方法によって符号化された音声パケットをミキシングする場合のミキシングサーバの実施例を示す。ここでは各対地から送信された音声パケットは符号化情報分解部１−１，１−２，１−３で低域符号化情報（基本レイヤ符号化情報）と高域符号化情報（拡張レイヤ符号化情報）と、優先度情報とに分解される。
低域符号化情報は各低域信号復号部１１−１，１１−２，１１−３で音声信号に復号され、基本レイヤミキシング部１３ですべての地点の信号が加算され、総低域信号として求められる。この総低域信号から前述のとおり、各対地自身の低域信号を引算し、各対地向けの低域信号を生成する。こうして得られた各ミキシング済み低域信号は各対地向けに低域符号化部１５−１，１５−２，１５−３で符号化され、各対地向けのミキシング済み低域符号化情報を得る。

次に、各対地から送られて来た優先度情報に基づき選択部２１では重要度の高い方から対地を２地点選択する。この選択には、予測ＭＯＳ値の大小比較によって判別する。つまり、最も予測ＭＯＳ値が低い（小さい）ものが再生されないと品質に影響する可能性があるため、最も重要となる。
そこで、最も重要度の高い高域符号を発信している対地には、２番目に重要な音声情報を持つ高域符号を、それ以外の対地には最も重要度の高い音声情報を持つ高域符号を選択する。これらの選択は選択部２１の制御に従って切替部２２と２３で実行される。尚、このとき、重要度を１番目と２番目の２点選択せずに、１番目のみを選択し、１番目の重要度を発信した対地に対しては高域が無音となる符号を伝送し、他の対地に対しては最重要度の音声情報を持つ高域符号を伝送する方法もある。音質は１番目と２番目を選択するより多少劣化するが、演算量を一層軽減することが可能となる。

ただし、ここで選択部２１では、あまり頻繁に話者が切り替わると異音が聴こえたり、不自然な再生音声になる可能性があるので、ある一定時間（例えば４０ｍｓ〜２００ｍｓ）以上は話者を切り替えないように制御する。
ここで各地点向けの低域符号と、切替部２２と２３で選択された高域符号は、各対地向けのパケット構築部５−１，５−２，５−３で多重化（ＭＵＸ）され、各対地に向けて伝送される。
以上のようにミキシングルーチンを実施すると、高域部分に関しては復号化および再符号化の演算が不要となり、高域選択処理と符号化情報の複写だけで済むので、低域の復号化及び再符号化に必要とされる演算量とほぼ変らぬ演算量で広帯域ミキシング装置を擬似的に構築することが可能となる。また、切り替えるのは高域だけなため、通常の音声は低域に電力が集中することから、音の途切れなどは一切発生せず、再生音声が籠る程度の品質劣化だけで済む。

以上は１地点の高域符号のみを他の対地に対してミキシングする場合について述べたが、２地点以上から送られて来た高域符号をミキシングする方法も考えられる。図９にその一例を示す。高域符号をミキシングするには高域信号に復号し、高域信号をも加算して符号化する必要がある。このとき、高域信号の選択には、上記のように予測ＭＯＳ値を用いて重要度の高い方から高域符号を予め選択しておき、最も重要度の高い高域符号を発信している対地には２番目と３番目に重要な音声情報を持つ高域符号を、２番目の重要度を持つ高域符号を発信した対地には１番目と３番目に重要な音声情報を持つ高域符号を、３番目以下の地点には１番目と２番目の符号を、それぞれ復号して加算し、再符号化を行う。各対地の音声受信再生部のブロック構成は図４に示すものを用いれば良い。

上述では拡張レイヤの音声符号を選択する音声情報として重要度を用いた例を説明したが、他の方法として音声区間検出と電力パワーとを用いる方法も考えられる。音声区間検出を用いた実施例の優先度情報演算部１０（図６参照）のブロック図を図１０に示す。ここでは、実施例１とは異なり、音声情報として重要度（予測ＭＯＳ値）を演算して伝送するのではなく、音声区間の判別および量子化された絶対電力（パワー）を伝送する。
ここで、広帯域音声はダウンサンプリング部３１でダウンサンプリングされ、８ｋＨｚサンプリングの狭帯域音声信号を求める。この狭帯域音声信号を１０次程度の線形予測分析を行なう線形予測分析部３３で線形予測係数を求め、線形予測逆フィルタ３２で予測残差信号を求める。この予測残差信号の相関関数演算を相関関数演算部３５で行い偏自己相関関数を求め、相関関数最大値演算部３６で偏自己相関関数の最大値（ρ_max ）を求める。

一方、パワー演算部３４では狭帯域音声信号からサンプル当りの平均パワー（Ｐ）を求める。平均推定音声パワー演算部３７では、この平均パワーＰの値が閾値Ａよりも大きく、偏自己相関関数の最大値ρ_max が閾値Ｂ以上の処理フレームは推定音声フレームとして扱い、平均推定音声パワーＰ_sを以下の式を用いて求める。
Ｐ_s＝（１−α）Ｐ_s＋αＰ （２）
ここで、αには０．０１〜０．３の値を用いる。この演算式を用いることにより、音声フレームとしての推定誤りがあっても、平均推定音声パワーはゆっくりとしか変化せず、推定誤りに対して頑強になる。また、平均推定背景雑音パワー演算部３８では、偏自己相関関数の最大値ρ_max が閾値Ｃ以下のフレームが一定以上連続するフレームにおいて、平均推定背景雑音パワーＰ_nを以下の式を用いて求める。

Ｐ_n＝（１−β）Ｐ_n＋βＰ （３）
ここで、βにはαと同様に０．０１〜０．３の値を用いる。この演算式を用いる場合も、音声フレームとしての推定誤りがあっても、平均推定音声パワーはゆっくりとしか変化せず、推定誤りに対して頑強になる。以上の値を用いて音声区間または無音区間（あるいは背景雑音区間）の判別を行う論理のフローチャートを図１１に示す。
図１１に示すステップＳＰ１では平均推定音声パワーＰ_sから無音状態の閾値Ｄを決める。

ステップＳＰ２で平均パワーＰが無音閾値Ｄ以下と判定された場合は無音区間と判定する。平均パワーＰが無音閾値Ｄ以上の場合はステップＳＰ３に進む。
ステップＳＰ３では偏自己相関関数の最大値ρ_max が有声音閾値Ｅ以上であるか、又は有声音閾値Ｆ以上のフレームに続く一定の時間範囲か否かを判定する。良であれば音声区間と判定する。否であればステップＳＰ４に進む。
ステップＳＰ４では平均パワーＰが平均推定背景雑音パワーＰ_n・Ｘ（Ｘは定数閾値）以上であるか否かを判定する。良であれば音声区間と判定する。否であればステップＳＰ５に進む。

ステップＳＰ５では連続する２フレームの平均パワーＰの和がＰ_n・Ｙ（Ｙは定数閾値）以上であるか否かを判定する。良であれば音声区間と判定し否であれば無音区間と判定する。
平均パワーＰは別途パワー量子化部４０においてスカラー量子化を行ってビットの削減をしてもよいし、量子化せずにそのまま実数を伝送しても良い。
ミキシングサーバ（ＭＣＵ）でのミキシング部（図８又は図９）では、選択部２１では、この平均パワーＰが最も大きく、かつ音声区間と判別された対地の高域符号（拡張レイヤ情報）を選択し、その拡張レイヤ情報を他の対地に向けて再送する基本レイヤ情報にミキシングする。

実施例１と同様に、ここでも選択部２１では、あまり頻繁に話者が切り替わると異音が聴こえたり、不自然な再生音声になる可能性があるので、ある一定時間（例えば４０ｍｓ〜２００ｍｓ）以上は話者を切り替えないようにする。

階層符号化方法には上述した帯域分割型の他に品質分割型の階層符号化方法もある。図１２に品質分割した基本品質符号化情報と品質拡張符号化情報の例を示す。基本品質符号化情報とは入力信号ｘを符号化した符号化情報を指す。また品質拡張符号化情報は基本品質符号化情報を復号した信号をｘ＾としたとき、ｘ−ｘ＾で求める。品質拡張符号化情報ｘ−ｘ＾は基本品質符号化情報で得られるＳＮ比を向上する役割りを持つ。この結果として、品質拡張符号化情報ｘ−ｘ＾を符号化して伝送し、伝送先で復号し、その復号した信号を基本品質符号化情報の復号信号に加算すればＳＮ比が改善された復号信号を得ることができる。

図１３に品質分割型の符号化送信部の構成を示す。入力信号ｘは基本品質符号化部４１で基本品質符号化情報に符号化される。符号化された基本品質符号化情報は基本品質情報復号部４２で復号し、復号信号ｘ＾を求める。加算器４３で現入力信号ｘからｘ−ｘ＾を演算し、その差信号を品質拡張信号符号化部４５で符号化し、品質拡張符号化情報を得る。この品質拡張符号化情報を符号化情報構築部４４で基本品質符号化情報に複合し、音声パケット送信部４６から音声パケットとして送信される。
図１４に受信再生部の構成を示す。受信再生部では音声パケットを音声パケット受信部５１で受信し、自己に送られて来た情報のみを抽出する。符号データ分解部５２では基本品質符号化情報と品質拡張符号化情報に分割し、それぞれを復号部５３と５４に入力し、復号する。復号された基本品質信号と品質拡張信号を加算器５６で加算することにより、加算器５６からＳＮ比が改善された基本品質信号を得ることができる。

このような階層分割型の符号化を採る信号伝送経路の場合にも図８及び図９に示した音声ミキシング方法に適用することができる。図１５及び図１６にその実施例を示す。つまり、図１５では各対地から送られて来た基本品質符号化情報の復号信号は自己の信号を除いて全てミキシングし、符号化して全ての対地に送信する。重要度の最も高い品質拡張情報又は平均パワーの最も大きい品質拡張情報を選択し、その品質拡張情報をこれを発信した地点以外の地点にミキシングして再送する。また、図１６では品質拡張符号を一旦復号し、復号した品質拡張情報を重要度又は平均パワーに応じ優先度の１位と２位の品質拡張情報を選択し、その選択した２つの信号をミキシングし、ミキシングした信号を再度符号化し、１位の優先度を持つ品質拡張情報を発信した対地以外の対地に対して再送する。

品質拡張情報が再送された地点では基本品質情報を復号して再生する際に、再送されて来た品質拡張情報を加算することにより、この品質拡張情報によりＳＮ比が改善される基本品質情報が必ず含まれているため再生される音声のＳＮ比が向上し、聴き取り易い音声を得ることができる。

以上説明した帯域分割型の階層符号化と品質分割型の階層符号化方式とを複合した音声伝送方法も考えられる。つまり、帯域分割型の階層符号化により伝送する音声信号の広帯域化を達し、更に品質分割型の階層符号化によりＳＮ比を改善するから高品質の音声を伝送することができる。この複合型の音声伝送方式の場合の信号の関係を図１７に示す。この複合型の音声伝送方法に図８及び図９に示した音声ミキシング方法を適用することができる。その場合には図８と図９に示した選択部２１が２組設けられ、一方は高域信号の重要度又は平均パワーの大小により高域信号のミキシング先を決定し、他方は品質拡張情報の重要度又は平均パワーの大小により品質拡張情報のミキシング先を決定するように構成すればよい。

以下では上述した拡張レイヤの優先度情報を演算する方法について説明する。尚、ここでは優先度情報の算出方法を容易に理解するために先ず一般的な符号化方法を例示して優先度を算出する方法を説明し、その後に階層符号化に適用した例を説明する。階層符号化としては帯域分割型の符号化を例示して説明する。
図１８に一般的な符号化方法を用いたパケット送信部の構成を示す。入力端子１１１からの各サンプルがディジタル値とされた音声ディジタル信号（以下音声信号と記す）ｓ［ｎ］はこの種の一般的な符号化器と同様に５ミリ秒から２０ミリ秒の単位のフレームにフレーム分割部１１２で分割され、各フレームごとに、つまり音声信号ｓ［ｎ］（ｎは離散的時刻）がまとめてＮサンプル毎に符号化部１３で符号化される。例えば３２ｋＨｚサンプリングの音声信号であれば、Ｎ＝１６０サンプルからＮ＝６４０サンプルである。またフレームごとにパケットの優先度を優先度決定部１１４で決定する。優先度決定部１１４の具体例を図１７に示す。この例ではそのフレームの音声信号ｓ［ｎ］の特徴量を、複数の説明変数生成部１４１，１４２，１４３でそれぞれ説明変数ｘ１［ｉ］，ｘ２［ｉ］，ｘ３［ｉ］として生成する。ｉ番目の処理フレームの説明変数ｘｊ[ｉ]として、そのフレームの音声信号ｓ［ｎ］を入力して、その絶対電力を説明変数生成部１４１で次式（１）を計算して求める。

ｘ１[ｉ]＝（１／Ｎ）Σ_n=1 ^Nｓ［Ｎｉ＋ｎ］² （１）
あるいは、次式（２）に示すように絶対電力の対数表現としてｘ１[ｉ]を求める。
ｘ１[ｉ]＝log₁₀（（１／Ｎ）Σ_n=1 ^Nｓ［Ｎｉ＋ｎ］² ） （２）
説明変数生成部１４２では説明変数生成部１４１よりの説明変数ｘ１［ｉ］と、前フレーム（ｉ−１）の説明変数ｘ１［ｉ−１］を入力して現フレームの電力の前フレームの電力に対する比を次式（３）により計算して説明変数ｘ２［ｉ］を出力する。
ｘ２［ｉ］＝ｘ１［ｉ］／（ｘ１［ｉ−１］） （３）
前フレームの説明変数ｘ１［ｉ−１］を前フレームバッファ１４２ａに格納しておき、式（３）の計算を計算部１４２ｂで行い、現フレームの説明変数ｘ１［ｉ］で前フレームバッファ１４２ａに保持する説明変数を更新する。

更に説明変数生成部１４３では音声信号ｓ［ｎ］を入力して、その自己相関関数（ρ［ｎ］）の最大値（周期性）を次式（４）により計算して説明変数ｘ３［ｉ］とする。
ｘ３［ｉ］＝ｍａｘ（ρ_i ［ｋ］） （４）
ここで正規化された自己相関関数ρ［ｎ］は、次式（５）を用いて計算する。
ρ_i［ｋ］＝Σ_n=0 ^N（ｓ［Ｎｉ＋ｎ］）（ｓ［Ｎｉ＋ｎ＋ｋ］）／
Σ_n=0 ^N（ｓ［Ｎｉ＋ｎ］）² （５）
ｋは１，２，…とし、ｋの最大値は音声信号ｓ［ｎ］のピッチ周期相当程度とする。この時、自己相関関数をアップサンプリングして、つまり補間してより正確な値を計算するようにした方が良い結果が得られる。

これら求めた説明変数ｘ１［ｉ］，ｘ２［ｉ］，ｘ３［ｉ］を指標値計算部１４４で線形結合して指標値ｙ［ｉ］を求める。つまり例えば次式（６）、（７）を計算する。
ｙ［ｉ］＝α０＋Σ_j=1 ³αｊｘｊ［ｉ］＾ （６）
ｘｊ［ｉ］＾は説明変数ｘｊの確率分布の平均を０、分散を１に正規化したもの、つまり次式（７）で求まる。
ｘｊ［ｉ］＾＝（ｘｊ［ｉ］−ｘｊ′）／γｊ （７）
ｘｊ′，γｊはそれぞれ説明変数ｘｊの平均値、標準偏差である。

これらの線形結合係数α０，α１は重回帰分析（例えば奥野忠一他：多変量解析法（改訂版），日科技連，１９８１参照）を用いて事前に最適化した偏回帰係数値を用いる。例えば１つのパケット（フレーム）を消失させたときの受聴者が主観評価したＭＯＳ値をｙ［ｉ］′とした時、このｙ［ｉ］′と、式（６）により計算された指標値ｙ［ｉ］との誤差が最小となるように、最小自乗法を用いて、係数αｊを求める。α０はＭＯＳ値１〜５の平均値である。ここでＭＯＳ値１は「非常に悪い」、ＭＯＳ値５は「非常に良い」と対応する。

係数α０〜α３は、このように決められるから、αｊの絶対値が大きいことはその説明変数（特徴量）がパケット（フレーム）消失時の主観評価品質に大きく影響し、αｊの絶対値が小さければその説明変数（特徴量）はパケット（フレーム）消失時の主観評価品質への影響が比較的小さいことになる。つまり主観評価品質への影響度が大きい程、係数αｊが大きくなるようにαｊが決定されている。また指標値ｙ［ｉ］は複数の説明変数（特徴量）ｘ１［ｉ］〜ｘ３［ｉ］を係数α１〜α３を用いて線形結合させたものであるから、１つの説明変数（特徴量）のみにて、パケット（フレーム）消失の主観評価品質に与える影響の程度よりも、より正しく、影響の程度を示すことになる。主観評価品質に対して大きく影響を与えるフレーム、この場合音声であるから聴感的に重要なものは指標値ｙ［ｉ］が小さくなり、重要でないものは指標値が大きくなる傾向になる。

図１９中の指標値計算部１４４において、各説明変数ｘ１〜ｘ３はそれぞれ正規化部１４４ａ１〜１４４ａ３で正規化され、正規化説明変数ｘ１＾〜ｘ３＾は乗算部１４４ｂ１〜１４４ｂ３で係数α１〜α３がそれぞれ乗算され、これら乗算結果と定数α０は加算部１４４ｃ１，１４４ｃ２により加算されて指標値ｙ［ｉ］が出力される。
こうして求められた指標値ｙ［ｉ］は、量子化部１４５でスカラ量子化され、離散的な値、例えば０，１，…，７の何れかの値の優先度ｐ［ｉ］が出力される。つまり一般的に指標値の小さいパケットは高優先度のものへ、大きいものは低優先度のものへと写像する。写像は以下のような関数で表わすことができる。

ｐ［ｉ］＝ｆ（ｙ［ｉ］） （８）
このとき用いる写像関数ｆ（ｙ）は、パケットを総優先度ステップ数に写像するスカラ量子化を用いればよい。このときの量子化のしきい値は、指標値ｙ［ｉ］を等確率で分割する方法や、指標値ｙ［ｉ］の範囲を等分割するなどの方法がある。
線形結合係数の各値は例えばα１＝−０．３７、α２＝−０．１、α３＝−０．２であり、その絶対値が大きい程、主観評価品質への影響が大きい。これらの３つの説明変数（特徴量）において絶対電力が大きいフレームが消失すると、主観評価品質への影響が最も大きい、これは音声信号中の大きなレベルのフレームが消失すれば大きな影響を与えることを意味している。自己相関関数の最大値が大きいフレームが消失すると主観評価品質への影響は次に大きい。このことは、そのフレームの絶対電力が小さくても、音声信号があれば、自己相関関数の最大値が大きくなり、そのように音声信号を含むフレームが消失は小さい絶対電力でも比較的大きく影響することを意味している。

従って、説明変数ｘ１〜ｘ３のうち少なくともｘ１とｘ３を用い、更にｘ２も用いると、一層なめらかな段階をもつ優先度ｐ［ｉ］が得られ、そのフレームの消失の主観評価品質への影響がより正確になる。以上の具体例は係数が負の値であり、評価値ｙ［ｉ］が小さい程、高い優先度ｐ［ｉ］とされる。
このようにして各フレームごとに決定された優先度ｐ［ｉ］は符号化部１１３よりのそのフレームｉの符号Ｐ［ｉ］と、パケット送出部１１５（図１８）でパケットとして組立てられて出力される。

次に帯域分割型の階層符号化を行なう場合に優先度算出方法を適用した例を説明する。尚、ここでは基本レイヤである低域符号化側にも優先度決定部を設けた例を示す。
図２０に示すように広帯域音声信号はフレーム分割部１１２で一定区間ごとのフレームに分割され、帯域分割部１６で帯域通過フィルタを用いてＦ個の複数帯域に分割される。この帯域の分割方法は、音声信号ｓ［ｎ］が例えば１６ｋＨｚサンプリングであれば上下各４ｋＨｚ帯域（Ｆ＝２）に分割し、３２ｋＨｚサンプリングであればＦ＝３で０〜４ｋＨｚ帯域と、４ｋＨｚ〜８ｋＨｚ帯域と、８ｋＨｚ〜１６ｋＨｚ帯域というようにウェーブレットで分割しても良いし、Ｆ＝４で総て等間隔に各４ｋＨｚ帯域に分割しても良い。各帯域分割された音声信号は個々の符号化器で、固定時間長（フレーム）ごとに符号化される。このときの音声ブロック（パケット）の分割イメージを図２１に示す。図２１の例はＦ＝３でフレームごとに各帯域の信号がそれぞれブロック（パケット）とされ、フレームごとに３つのブロック（パケット）が生成されることになる。

図２０に示す例では音声信号を上、下２帯域に分割した場合で、分離された低域音声信号ｓ１［ｎ］、高域音声信号ｓ２［ｎ］はそれぞれ低域符号化部１１３Ｌ、高域符号化部１１３Ｈで符号化される。また低域音声信号ｓ１［ｎ］、高域音声信号ｓ２［ｎ］はそれぞれ低域優先度決定部１１４Ｌ、高域優先度決定部１１４Ｈに入力され、フレームごとのパケット優先度がそれぞれ決定される。
低域優先度決定部１１４Ｌ の具体例を図２２に示す。図２２において図１９と対応する機能構成部分に、同一番号に符号「Ｌ」を付けてある。低域音声信号ｓ１［ｎ］は説明変数生成部１４１Ｌで式（１）又は（２）と同様に絶対電力又はその対数が計算されて説明変数ｘ１［１，ｉ］が生成される。説明変数生成部１４２Ｌ で式（３）と同様に前フレーム電力比が計算されて説明変数ｘ２［１，ｉ］が生成される。また説明変数生成部１４３Ｌで式（４）、（５）と同様に自己相関関数の最大値が計算されて、説明変数ｘ３［１，ｉ］が生成される。

更にこの実施形態では説明変数生成部１４６Ｌ でこの帯域の絶対電力ｘ１［ｆ，ｉ］と、他帯域の絶対電力とが入力されてこの帯域の絶対電力の総電力に対する比が次式（９）により計算され、説明変数ｘ４［ｆ，ｉ］として出力される。
ｘ４［ｆ，ｉ］＝ｘ１［ｆ，ｉ］／Σ_f=1 ^Fｘ１［ｆ，ｉ］ （９）
図２２の例ではＦ＝２であるから、低域のｘ１［１，ｉ］と高域のｘ１［２，ｉ］により
ｘ４［１，ｉ］＝ｘ１［１，ｉ］／（ｘ１［１，ｉ］＋ｘ１［２，ｉ］）
が計算される。

指標値計算部１４４Ｌ で説明変数ｘ１［１，ｉ］，ｘ２［１，ｉ］，ｘ３［１，ｉ］，ｘ４［１，ｉ］が線形結合され、次式による指標値ｙ［１，ｉ］が計算される。
ｙ［１，ｉ］＝α０＋Σ_j=1 ⁴αｊｘｊ［１，ｉ］＾
ｘｊ［１，ｉ］＾＝（ｘｊ［１，ｉ］−ｘｊ［１］′）／γｊ［１］
この指標値ｙ［１，ｉ］は量子化部１４５Ｌ で量子化され、優先度ｐ［１，ｉ］＝ｆ₁(ｙ［１，ｉ］)が出力される。
同様にして高域優先度決定部１１４Ｈ で指標値
ｙ［２，ｉ］＝α０＋Σ_j=1 ⁴αｊｘｊ［２，ｉ］＾
ｘｊ［２，ｉ］＾＝（ｘｊ［２，ｉ］−ｘｊ［２］′）／γｊ［２］
が計算され、更に優先度ｐ［２，ｉ］＝ｆ₂(ｙ［２，ｉ］)が出力される。パケット送出部１１５は、低域符号化部１１３Ｌよりの符号化符号Ｐ［１，ｉ］と優先度ｐ［１，ｉ］が１つのパケットとして、また符号化部１１３Ｈよりの符号化符号Ｐ［２，ｉ］と優先度ｐ［２，ｉ］が１つのパケットとして送出される。

なお一般にＦ個に帯域分割された場合、ｆ番目の帯域の指標値ｙ［ｆ，ｉ］は
ｙ［ｆ，ｉ］＝α０＋Σ_j=1 ⁴αｊｘｊ［ｆ，ｉ］＾
ｘｊ［ｆ，ｉ］＾＝（ｘｊ［ｆ，ｉ］−ｘｊ［ｆ］′）／γｊ［ｆ］
により計算され、優先度ｐ［ｆ，ｉ］はｆ_f(ｙ[ｆ，ｉ]）により求められる。
係数α４は例えば−０．４３であり、α１より大とされる。つまり分割された帯域のフレームの全帯域電力に対する比が大きいことは、その部分に大きな電力の音声信号成分があることになりα１〜α４中で優先度を最も高くすることが好ましいことを意味している。

この発明の音声ミキシング方法及び装置は多地点遠隔会議システムに適用して好適である。

従来の技術を説明するためのブロック図。 階層符号化を説明するためのブロック図。 階層符号化を用いた場合のミキシング方法を説明するためのブロック図。 階層符号化を用いた場合の受信部の構成を説明するためのブロック図。 多地点遠隔会議システムの概要を説明するためのブロック図。 階層符号化に優先度情報を付加して送信する送信部の構成を説明するためのブロック図。 帯域分割型符号化方式の帯域分割の例を説明するための図。 この発明の第１実施例を説明するためのブロック図。 この発明の第２実施例を説明するためのブロック図。 この発明に適用することができる優先度情報の他の算出方法を説明するためのブロック図。 図１０で説明した優先度情報に用いる音声区間の判定方法を説明するためのフローチャート。 この発明に適用することができる品質分割型階層符号化を説明するための図。 図１２で説明した階層符号化により符号化した情報を送信する送信部の構成を説明するためのブロック図。 図１２で説明した階層符号化により符号化された情報を受信して再生する受信部の構成を説明するためのブロック図。 この発明を品質分割型階層符号化に適用した実施例を説明するためのブロック図。 この発明を品質分割型階層符号化に適用した他の例を説明するためのブロック図。 帯域分割型と品質分割型を複合した階層符号化を説明するための図。 一般的な符号化方法に優先度情報算出機能を付加した構成を説明するためのブロック図。 図１８に示した優先度情報算出部の内部の構成を説明するためのブロック図。 帯域分割型符号化に優先度決定部を付加した構成を説明するためのブロック図。 帯域分割した信号を帯域−時間座標ブロックに分割した例を示す図。 図２０に示した優先度決定部の内部の構成を説明するためのブロック図。

符号の説明

１−１，１−２，１−３ 符号化情報抽出部
２−１，２−２，２−３ 復号部
３ ミキシング部
４−１，４−２，４−３ 符号化部
５−１，５−２，５−３ パケット構築部
６ 帯域分割フィルタバンク
７−１ 拡張レイヤ符号化部
７−２ 基本レイヤ符号化部
８ 符号化情報構築部
９ 音声パケット送信部
１０ 優先度情報演算部
１１−１，１１−２，１１−３ 低域復号部
１２−１，１２−２，１２−３ 高域復号部
１３ 基本レイヤミキシング部
１４ 拡張レイヤミキシング部
１５−１，１５−２，１５−３ 低域符号化部
１６ 高域符号化部
２１ 選択部
２２，２３ 切替部

Claims (9)

1. 複数の地点から送られた音声信号を相互にミキシングし、ミキシングした音声信号を各地点に再送する多地点遠隔会議システムに用いる音声ミキシング方法において、
   上記複数の地点から送られる音声信号は基本レイヤ情報と優先度情報を含む拡張レイヤ情報とを備えた階層符号化情報とされ、
   上記複数の地点の拡張レイヤ情報のうちの優先度情報の最も順位の高い拡張レイヤ情報を発信した地点以外の地点に対し、
   送出先となる地点以外の全ての上記複数の地点の基本レイヤ情報と、上記優先度情報の最も順位の高い拡張レイヤ情報とをミキシングして送出することを特徴とする音声ミキシング方法。
2. 請求項１記載の音声ミキシング方法において、
   上記優先度情報は各地点で符号化される拡張レイヤ情報の重要度の大小で表わされることを特徴とする音声ミキシング方法。
3. 請求項１記載の音声ミキシング方法において、
   上記優先度情報は各地点で符号化される音声信号の音声区間情報とパワー情報であることを特徴とする音声ミキシング方法。
4. 請求項１乃至３記載の音声ミキシング方法の何れかにおいて、
   上記階層符号化は帯域分割型階層符号化であることを特徴とする音声ミキシング方法。
5. 請求項１乃至３記載の音声ミキシング方法の何れかにおいて、
   上記階層符号化は品質分割型階層符号化であることを特徴とする音声ミキシング方法。
6. 請求項１乃至３記載の音声ミキシング方法の何れかにおいて、
   上記階層符号化を帯域分割型と品質分割型の複合符号化を用いることを特徴とする音声ミキシング方法。
7. ミキシングサーバを用いた広帯域多地点遠隔会議システムに用いる音声ミキシング装置において、
   広帯域音声信号を基本レイヤ符号化情報と拡張レイヤ符号化情報に階層符号化して送られて来る階層符号化情報の基本レイヤ符号化情報を全地点ミキシングする基本レイヤミキシング手段と、
   各地点から送られて来る拡張レイヤ情報に含まれる優先度情報に従って、優先度の最も高い拡張レイヤ情報を発信した地点を選択する選択部と、
   この選択部が選択した優先度が最も高い拡張レイヤ情報を、この拡張レイヤ情報を発信した地点以外の地点に送出先を切替える切替部と、
   上記基本レイヤミキシング手段の出力を復号化した基本レイヤ情報と、上記切替部の出力である拡張レイヤ情報とを多重化するパケット構築部とを備えることを特徴とする音声ミキシング装置。
8. コンピュータに請求項１乃至６記載の音声ミキシング方法の何れかを実行させる音声ミキシングプログラム。
9. コンピュータが読み取り可能な記録媒体で構成され、上記請求項８記載の音声ミキシングプログラムを記録した記録媒体。

Images