JP4403103B2 - 音声信号パケット通信方法、多地点ミキシング方法、およびそれらを利用したシステム、装置 - Google Patents

Description

この発明は、ディジタル化された音声・音楽などの音響信号（以下、総称して「音声信号」という。）を、インターネットをはじめとするパケット通信網を介して送信する際に、パケット紛失対策をした通信方法、多地点ミキシング方法、受信方法、これらのシステムと装置に関する。

音声信号をボイスオーバ（Voice over）ＩＰ（インターネットプロトコル）技術を利用して送信するサービスが普及しつつある。図１に示すように入力端子１１よりの音声信号を音声信号送信部１２で音声パケットに変換してＩＰ網をはじめとするパケット通信網１３によって音声信号受信部１４へ送信し、音声信号受信部１４により音声パケットを復号して再生音声を出力端子１５へ出力する。これをリアルタイム通信する場合、通信網１３の状態によっては通信網の途中においてパケットロス（紛失）が生じ、それによって再生音声が途切れるといった品質劣化が問題となっている。特に、インターネットなどのベストエフォートと呼ばれる通信サービスの場合には、パケットロスを許容しているため通信網の混雑時に特にこの問題が顕著である。

そこで、音声信号をパケット通信網で通信する場合には、パケットロスコンシールメントと呼ばれる手法を用いる。この手法は、パケットが通信路の途中で消失した場合や通信路の遅延によって制限時間内に受信側に届かなかった場合に、消失または届かなかったパケット（以下、「ロスパケット」又は「紛失パケット」という。）に対応する区間の音声信号を受信側で推定して補償する方法が用いられる。図２は、図１における音声信号送信部１２の一般的な構成例である。入力音声は入力バッファ２１に蓄えられ、フレームと呼ばれる一定の時間ごとに区切って音声パケット化部２２に送られる。音声パケット化部２２は、前記フレーム化された音声を音声符号化の手法を用いて音声符号に変換し、音声パケットを生成して、パケット送出部２３に送る。パケット送出部２３よりパケット通信網に音声パケットを送出する。なお、１フレームの時間長は一般には、１０ミリ秒から２０ミリ秒程度とすることが多い。また、音声符号化の手法には、ＩＴＵ−Ｔ Ｇ．７１１方式など、任意の符号化方式を用いてよく、ＰＣＭ（パルス符号変調）信号の形式でもよい。

図３は、図１における音声信号受信部１４の一般的な構成例である。パケット通信網からパケット受信部３１で受信した音声パケットは、ゆらぎ吸収バッファとも呼ばれる受信バッファ３２に蓄えられる。正しくパケットが受信されたフレームについては、受信バッファから音声パケットが取り出され、音声パケット復号部３３で音声信号に復号され、パケットロスしたフレームについては、紛失信号生成部３４でパケットロスコンシールメント処理を行って音声信号が生成され、生成された音声信号が出力される。パケットロスコンシールメントの処理に、ピッチ周期（音声の基本周波数に相当する時間軸上での長さ）の情報を利用する場合には、出力音声信号を出力音声バッファ３５に蓄え、ピッチ抽出部３６でピッチ分析し、得られたピッチ周期の値を紛失信号生成部３４に供給する。紛失信号生成部３４で生成された信号は切替スイッチ３７を通じて出力端子１５へ出力され、パケットロスがない場合は音声パケット復号部３３よりの復号音声信号が切替スイッチ３７を通じて出力端子１５へ出力される。ここで、紛失信号生成部３４、出力音声バッファ３５およびピッチ抽出部３６によって、パケットロスコンシールメントは構成される。なお、双方向で音声通信を行う通信端末は、各端末に送信部と受信部の両方を具備する。

パケットロスコンシールメントの代表的な方法としては、非特許文献１や非特許文献２に示す方法などがある。非特許文献１に示す方法は、よく知られている方法であり、音声のピッチ周期をパケットロスコンシールメントに利用している。
パケットロスコンシールメントは、パケットロスが発生した場合に、受信側の再生音声の聴感上の劣化を感じにくくする有効な方法である。たとえば、図１の形態で、音声信号受信部にその機能を実装したり、音声信号送信部であらかじめ冗長な情報をつけて送り、音声信号受信部でより再生音声の劣化の少ない処理を実装したりする。一般に、図１の形態でパケットロスコンシールメントを実装することは、処理量の観点で問題となることはない。

次に、複数の音声通信装置間で多地点通信を行う場合を示す。一般的には、多地点通信の場合には、図４に示すように多地点ミキシング部１００を用意し、各音声通信装置２００Ａ〜Ｄからの送信信号を多地点ミキシング部１００で合成して各音声通信装置２００Ａ〜Ｄに送る。音声通信装置２００Ａ〜Ｃの音声信号送信部３００Ａ〜Ｃから送出された音声パケットを、音声通信装置２００Ｄの音声信号受信部４００Ｄが受取る場合の流れを、図５に示す。音声信号送信部３００Ａ、音声信号送信部３００Ｂ、音声信号送信部３００Ｃがそれぞれ音声パケットをＩＰ通信網１３を介して、多地点ミキシング部１００（多地点ミキシングサーバとも呼ぶ。）に送る。多地点ミキシング部１００は音声パケットＡ、音声パケットＢ、音声パケットＣをそれぞれ復号し、ミキシング(復号音声の加算)を行った後、符号化しなおして音声信号受信部４００ＤにＩＰ通信網１３を介して音声パケットＭを送る。この場合に、音声信号送信部３００Ａ、音声信号送信部３００Ｂ、あるいは音声信号送信部３００Ｃから多地点ミキシング部１００の間でのパケットロス（以下、「多地点ミキシング部までの上りにおけるパケットロス」という。）が発生する。また、多地点ミキシング部１００から音声信号受信部４００Ｄの間にもパケットロス（以下、「多地点ミキシング部からの下りにおけるパケットロス」という。）が発生する。従来は、多地点ミキシング部までの上りにおけるパケットロスへの対策として、多地点ミキシング部１００にパケットロスコンシールメントの機能を実装し、多地点ミキシング部からの下りにおけるパケットロスへの対策として、音声信号受信部４００にパケットロスコンシールメントの機能を実装していた。なお、図５は音声信号送信部３００Ａ〜Ｃの３地点の例であるが、４地点以上の多地点音声通信の場合もある。
ITU-T Recommendation G.711 Appendix I, "A high quality low-complexity algorithm for packet loss concealment with G.711",pp.1-18, 1999. 大室仲，他"音声特徴量並行送信によるバーストパケットロス耐性の向上", 信学技報（電子情報通信学会）, SP2004-77, pp.35-40, 2004.

多地点ミキシング部までの上りにおけるパケットロスが発生したときに、多地点ミキシング部（サーバ）でパケットロスコンシールメント処理を行う従来の方法においては、例えば、複数の地点からのパケットが同時にロスした場合に、多地点ミキシングサーバにかかるパケットロスコンシールメント処理の負荷が増大するという問題がある。すなわち、図１に示した１対１の通信の場合のパケットロスコンシールメント処理の負荷を１とすると、例えば多地点ミキシング部までの上りでＮ地点分のパケットが同時にロスしたとすると、サーバにかかる負荷はＮとなる。多地点接続の地点数が増えるほど、また、1台のサーバで処理する多地点接続の組（多地点会議の数とも呼ぶ）が多いほど、多地点ミキシング部（サーバ）に過大な負荷がかかる可能性があった。

本発明においては、多地点ミキシング部までの上りにおけるパケットロスが発生したときに、多地点ミキシング部（サーバ）ではパケットロスコンシールメント処理は行わず、ミキシング後に送信する音声パケットに、「上りでパケットロスが発生した」旨を示すフラグ（以下、「パケットロスフラグ」という。）を組み込んで受信側に送信する。受信側では、多地点ミキシング部からの下りにおけるパケットロスが発生した場合、および前記の「上りでパケットロスが発生した」旨を示すフラグを音声パケット内から検出した場合に、そのパケットは(実際には受信されていても)ロスしたものとみなしてパケットロスコンシールメント処理を行う。

また、複数の送信元の中で、パケットロスが発生する直前に主話者であったパケットが紛失した場合にのみパケットロスフラグを組み込んで受信側に送信する。

本発明によれば、多地点ミキシング部までの上りにおいてパケットロスが発生したときでも、多地点ミキシング部（サーバ）の負荷が高くなることなく、受信側で聴感上の音質劣化の少ない音声を再生することができる。また、主話者でない送信元のパケットが紛失した場合には、受信側でパケットロスコンシールメント処理を行わないので、通話品質に影響が少ない処理を削減できる。

本発明は、コンピュータ本体とコンピュータプログラムとして実行することが可能であるし、デジタルシグナルプロセッサや専用LSIに実装して実現することも可能である。
［第１実施形態］
図６に、本発明の多地点ミキシング部の構成例を示す。また、多地点ミキシング部の処理フローを図７に示す。多地点ミキシング部１００は、音声パケットを受信するパケット受信部３１、受信したパケットを一時的に蓄積する受信バッファ３２、パケットロスの発生を検出するパケットロス検出部１１０、受信した音声パケットの中で主に話している話者のパケットがどれかを判定する主話者判定部１２０、パケットロスフラグを生成するパケットロスフラグ生成部１４０、音声パケットに含まれる音声符号を音声波形に復号する音声波形復号部１３０、音声信号を加算する加算部１５０、音声波形を符号化する音声波形符号化部１６０、音声符号とパケットロスフラグをパケットに組み込むパケット化部１７０、パケットを送信するパケット送出部２３から構成されている。図６は図５と同様に、３地点から音声パケットを受けてミキシングを行い、ミキシング結果の音声パケットを１地点に送信する例であるが、送信元地点は４地点以上でもよく、送信先は２地点以上でも、送信元と同じ地点でもよい。また、一般的に、多地点音声通信会議では送信元にミキシング結果を戻す。

音声パケットＡ〜Ｃは、それぞれのパケット受信部３１で受信され（Ｓ３１）、受信バッファ３２に蓄えられる（Ｓ３２）。蓄えられた音声信号は、パケットの順番に従って音声波形復号部１３０Ａ〜Ｃで、音声信号に復号される（Ｓ１３０）。加算部１５０では、復号された音声信号が加算され（Ｓ１５０）、音声波形符号化部１６０で再度符号化される。多地点ミキシング部までの上りにおけるパケットロスが発生したときには、各音声波形復号部は、ゼロの信号(無音)を出力することとする。これは、パケットロスの発生していない地点の音声のみを復号して加算することと等しい。

パケットロス検出部１１０は、各地点からの音声パケットの受信状態を監視し、パケットロスが発生したかを判断する（Ｓ１１１）。主話者判定部１２０は、音声パケットＡ〜Ｃに含まれる情報を用いて、その時刻での送信地点Ａ〜Ｃのどの話者が主として発言しているかを時々刻々判断する（Ｓ１２１）。「主として発言している」とは、例えば地点Ｂの話者のみが発言中で、他の２地点の話者が発言していなければ、主として発言している地点はＢであり、主たる音声パケットは音声パケットＢである。同時に２名以上が発言している場合には、音声の大きさや発言の継続状態から、いずれが主たる発言者であるかを判断する。

なお、「音声パケットＡ〜Ｃに含まれる情報を用いて」とは、パケットに含まれる音声符号を分析して判断してもよい。もしくは、音声パケットＡ〜Ｃにあらかじめ送信側から主たる発言者を決定するための付加的な情報が含まれていれば、その付加的な情報を用いて判断してもよい。サーバ負荷軽減の観点でいえば、後者の方が望ましい。送信側であらかじめ主たる発言者を決定するための付加的な情報、例えば、音声区間か非音声区間かの識別子や、パワの情報をパケットに組み込む方法がある。

パケットロスフラグ生成部１４０では、パケットロス検出部１１０で、音声パケットＡ〜Ｃのいずれか、または複数のパケットでロスが検出された場合（Ｓ１１２）、かつ、直前の時刻に、当該パケットロスが検出された地点が主たる発言者であった場合（Ｓ１２２）（例えば、直前の時刻において地点Ｂが主たる発言者であったとして、次の時刻に音声パケットＢがロスであると判定された場合）、パケットロスフラグとして例えば１をセットし（Ｓ１４１）、それ以外では０をセットする（Ｓ１４２）。それ以外の例としては、主たる発言者が地点Ａで、音声パケットＣがロスであった場合や、全地点のパケットがすべてロスでない場合が該当する。なお、音声のパケット通信においては、音声を１０ミリ秒から２０ミリ秒程度のフレー一ムと呼ばれる区間に区切り、音声符号化した後パケットにして送信するのが一般的であるため、「時刻」とはフレーム単位の時刻順序を示す。また、時刻順序は一般にパケットのヘッダにタイムスタンプとして記録されている。

パケット化部１７０は、音声波形符号化部１６０の出力である音声符号と、パケットロスフラグ生成部１４０の出力であるパケットロスフラグの情報を組合せて1つのパケットを生成し（Ｓ１７０）、パケット送出部２３が音声パケットＭを送信する（Ｓ２３）。
図８に、本発明における音声信号受信部の構成例を示す。また、図９に音声信号受信部の処理フローを示す。音声信号受信部４００は、音声パケットを受信するパケット受信部３１、受信したパケットを一時的に蓄積する受信バッファ３２、パケットロスの発生を検出するパケットロス検出部４１０、パケットロスが発生したことを示すパケットロスフラグを検出するパケットロスフラグ検出部４２０、パケットロスコンシールメント４３０、音声波形復号部４４０、出力音声を選択するスイッチ部４６０、スイッチを制御するＯＲ部４５０から構成される。受信した音声パケットＭは、パケット受信部３１で受信され（Ｓ３１）、受信バッファ部３２に蓄積される（Ｓ３２）。蓄積された音声パケットに含まれる音声符号は、パケットのタイムスタンプの順番に従って音声波形復号部４４０で音声波形に復号される（Ｓ４４０）。スイッチ部４６０は、通常時は音声波形復号部４４０側にセットされており（Ｓ４６１）、音声波形復号部４４０の出力音声が、音声信号受信部の出力として出力される。

パケットロス検出部４１０は、音声パケットの受信状態を監視し（Ｓ４１１）、パケットロスが発生したか発生していないかを判断する（Ｓ４１２）。パケットロスフラグ検出部４２０は、音声パケットに組み込まれたパケットロスフラグを監視し（Ｓ４２１）、それがパケットロス状態を示しているかどうかを判断する（Ｓ４２２）。ＯＲ部４５０は、パケットロス検出部４１０によってパケットロスが検出されたか、パケットロスフラグ検出部４２０において当該パケットからパケットロス状態を示すパ
ケットロスフラグが検出されたかのいずれかの場合に、スイッチ部４６０をパケットロスコンシールメント側に切り替える（Ｓ４６２）。

パケットロスコンシールメント４３０は、図３に示した従来法と同様の方法でよい（Ｓ４３０）。つまり、紛失信号生成部３４、出力音声バッファ３５およびピッチ抽出部３６から構成されればよい。なお、パケットロスコンシールメントの従来技術としては、出力音声をバッファに蓄えて利用したり、入力の音声パケットＭに組み込まれた冗長な情報を抽出して利用したりする場合がある。

このように本発明における多地点ミキシング部や音声信号受信部の構成を用いることによって、多地点ミキシング部までの上りにおけるパケットロスが発生したときでも、多地点ミキシング部は、「上りでパケットロスが発生した」という情報を加えるだけである。パケットロスコンシールメントの処理は、上りでパケットロスが発生した場合も、下りでパケットロスが発生した場合も、音声信号受信部(受信側端末)で実施することになる。したがって、多地点ミキシング部の負荷が高くなることなく、上りでパケットロスが発生した場合でも、聴感上の音質劣化の少ない音声を再生することができる。

本発明においては、多地点ミキシング部で「主たる発話地点」と判定した地点以外の上りパケットがロスした場合には、パケットロスコンシールメント処理は行われない。これは、発言していない地点のパケットがロスしても、聴感上の音質には大きな影響を与えないからである。

ＩＰ通信網上で音声通信を行う利用形態が普及してきており、本発明を適用することによって、安価で信頼性の高い多地点音声通信（多地点音声通信会議）が実現できる。

ＩＰ通信網を介した１対１の音声通信の構成を示す図。 音声信号送信部の一般的な構成例を示す図。 音声信号受信部の一般的な構成例を示す図。 ＩＰ通信網を介した多地点音声通信の構成を示す図。 多地点音声通信での音声信号の流れを示す図。 本発明の多地点ミキシング部の構成例を示す図。 本発明の多地点ミキシング部の処理フローを示す図。 本発明の音声信号受信部の構成例を示す図。 本発明の音声信号受信部の処理フローを示す図。

Claims (4)

1. 少なくとも送信部を備える２つ以上の通信装置と少なくとも受信部を備える１つ以上の通信装置との間で多地点音声パケット通信を行う場合に、
   送信部で、
   音声信号をフレームと呼ばれる一定時間ごとに区切ってフレーム音声信号を生成する過程と、
   前記フレーム音声信号を音声符号に変換し、パケットに格納して送信する過程と、
   多地点ミキシング部で、
   受信したパケットを受信バッファに蓄える過程と、
   取り出すべきフレーム番号を指定する過程と、
   前記取り出すべきフレーム番号に対応する音声符号を含むパケットが受信バッファに格納されているか、格納されていないかを判定する紛失検出過程と、
   音声符号を音声波形に復号する過程と、
   復号された音声波形を加算する過程と、
   加算された音声波形を符号化して加算音声符号を生成する過程と、
   受信部で、
   受信したパケットを受信バッファに蓄える過程と、
   取り出すべきフレーム番号を指定する過程と、
   前記取り出すべきフレーム番号に対応する音声符号を含むパケットが受信バッファに格納されているか、格納されていないかを判定する紛失検出過程と、
   を有する音声信号パケット通信方法において、
   前記多地点ミキシング部で、
   取り出された複数の前記送信部からの音声符号から、主話者を判定する主話者判定過程と、
   前記復号された音声波形を加算する過程で、前記紛失検出過程でパケットロスが発生していない地点の音声のみを加算する過程と、
   前記紛失検出過程でパケットロスが発生したと判断され、かつ前記主話者判定過程でパケットロス発生の直前のフレームで主話者であった送信部からのパケットと判断された場合に、パケットロスを示すフラグ（以下、「パケットロスフラグ」という。）を生成するパケットロスフラグ生成過程と、
   前記パケットロスフラグと前記加算音声符号をパケットに格納して送信するパケット化過程と、
   前記受信部で、
   前記パケットロスフラグが受信したパケットに含まれていないか判断するフラグ判断過程と、
   前記紛失検出過程で、前記取り出すべきフレーム番号に対応する音声符号を含むパケットが受信バッファに格納されていると判定された場合、かつ前記フラグ判定過程で、前記パケットロスフラグが当該パケットに含まれていないと判定された場合には、受信バッファに格納されている当該パケットから音声符号を取り出して音声波形に復号し、フレーム出力音声信号とする音声パケット復号過程と、
   前記紛失検出過程で、前記取り出すべきフレーム番号に対応するフレーム音声信号を含むパケットが受信バッファに格納されていないと判定された場合、または前記フラグ判定過程で、前記パケットロスフラグが当該パケットに含まれていると判定された場合には、パケットロスコンシールメントを行う紛失処理過程と、
   前記音声パケット復号過程または前記紛失処理過程から出力されたフレーム出力音声信号を連結して出力する過程とを有する
   ことを特徴とする音声信号パケット通信方法。
2. 少なくとも送信部を備える２つ以上の通信装置と少なくとも受信部を備える１つ以上の通信装置との間で多地点音声パケット通信を行う場合に、
   多地点ミキシング部で、
   受信したパケットを受信バッファに蓄える過程と、
   取り出すべきフレーム番号を指定する過程と、
   前記取り出すべきフレーム番号に対応する音声符号を含むパケットが受信バッファに格納されているか、格納されていないかを判定する紛失検出過程と、
   音声符号を音声波形に復号する過程と、
   復号された音声波形を加算する過程と、
   加算された音声波形を符号化して加算音声符号を生成する過程とを有する
   音声信号パケットの多地点ミキシング方法において、
   前記多地点ミキシング部で、
   取り出された複数の前記送信部からの音声符号から、主話者を判定する主話者判定過程と、
   前記復号された音声波形を加算する過程で、前記紛失検出過程でパケットロスが発生していない地点の音声のみを加算する過程と、
   前記紛失検出過程でパケットロスが発生したと判断され、かつ前記主話者判定過程でパケットロス発生の直前のフレームで主話者であった送信部からのパケットと判断された場合に、パケットロスを示すフラグ（以下、「パケットロスフラグ」という。）を生成するパケットロスフラグ生成過程と、
   前記パケットロスフラグと前記加算音声符号をパケットに格納して送信するパケット化過程とを有する
   ことを特徴とする多地点ミキシング方法。
3. 少なくとも送信部を備える２つ以上の通信装置と少なくとも受信部を備える１つ以上の通信装置との間で多地点音声パケット通信を行う場合に、
   送信部に、
   音声信号をフレームと呼ばれる一定時間ごとに区切ってフレーム音声信号を生成する手段と、
   前記フレーム音声信号を音声符号に変換し、パケットに格納して送信する手段とを備え、
   多地点ミキシング部に、
   受信したパケットを受信バッファに蓄える手段と、
   取り出すべきフレーム番号を指定する手段と、
   前記取り出すべきフレーム番号に対応する音声符号を含むパケットが受信バッファに格納されているか、格納されていないかを判定する紛失検出手段と、
   音声符号を音声波形に復号する手段と、
   復号された音声波形を加算する手段と、
   加算された音声波形を符号化して加算音声符号を生成する手段とを備え、
   受信部に、
   受信したパケットを受信バッファに蓄える手段と、
   取り出すべきフレーム番号を指定する手段と、
   前記取り出すべきフレーム番号に対応する音声符号を含むパケットが受信バッファに格納されているか、格納されていないかを判定する紛失検出手段とを備える
   音声信号パケット通信システムにおいて、
   前記多地点ミキシング部に、
   取り出された複数の前記送信部からの音声符号から、主話者を判定する主話者判定手段と、
   前記復号された音声波形を加算する手段で、前記紛失検出手段でパケットロスが発生していない地点の音声のみを加算する手段と、
   前記紛失検出手段でパケットロスが発生したと判断され、かつ前記主話者判定手段でパケットロス発生の直前のフレームで主話者であった送信部からのパケットと判断された場合に、パケットロスを示すフラグ（以下、「パケットロスフラグ」という。）を生成するパケットロスフラグ生成手段と、
   前記パケットロスフラグと前記加算音声符号をパケットに格納して送信するパケット化手段とを備え、
   前記受信部に、
   前記パケットロスフラグが受信したパケットに含まれていないか判断するフラグ判断手段と、
   前記紛失検出手段で、前記取り出すべきフレーム番号に対応する音声符号を含むパケットが受信バッファに格納されていると判定された場合、かつ前記フラグ判定手段で、前記パケットロスフラグが当該パケットに含まれていないと判定された場合には、受信バッファに格納されている当該パケットから音声符号を取り出して音声波形に復号し、フレーム出力音声信号とする音声パケット復号手段と、
   前記紛失検出手段で、前記取り出すべきフレーム番号に対応するフレーム音声信号を含むパケットが受信バッファに格納されていないと判定された場合、または前記フラグ判定手段で、前記パケットロスフラグが当該パケットに含まれていると判定された場合には、パケットロスコンシールメントを行う紛失処理手段と、
   前記音声パケット復号手段または前記紛失処理手段から出力されたフレーム出力音声信号を連結して出力する手段とを備える
   ことを特徴とする音声信号パケット通信システム。
4. 受信したパケットを受信バッファに蓄える手段と、
   取り出すべきフレーム番号を指定する手段と、
   前記取り出すべきフレーム番号に対応する音声符号を含むパケットが受信バッファに格納されているか、格納されていないかを判定する紛失検出手段と、
   音声符号を音声波形に復号する手段と、
   復号された音声波形を加算する手段と、
   加算された音声波形を符号化して加算音声符号を生成する手段とを備える
   音声信号パケットの多地点ミキシング装置において、
   取り出された複数の前記送信部からの音声符号から、主話者を判定する主話者判定手段と、
   前記復号された音声波形を加算する手段で、前記紛失検出手段でパケットロスが発生していない地点の音声のみを加算する手段と、
   前記紛失検出手段でパケットロスが発生したと判断され、かつ前記主話者判定手段でパケットロス発生の直前のフレームで主話者であった送信部からのパケットと判断された場合に、パケットロスを示すフラグ（以下、「パケットロスフラグ」という。）を生成するパケットロスフラグ生成手段と、
   前記パケットロスフラグと前記加算音声符号をパケットに格納して送信するパケット化手段とを備える
   ことを特徴とする多地点ミキシング装置。

Images