JP4130612B2

JP4130612B2 - パケット処理装置

Info

Publication number: JP4130612B2
Application number: JP2003167335A
Authority: JP
Inventors: 貴晃津嶋
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2003-06-12
Filing date: 2003-06-12
Publication date: 2008-08-06
Anticipated expiration: 2023-06-12
Also published as: JP2005006050A

Description

【０００１】
【発明の属する技術分野】
本発明はパケット処理装置に関し、例えば、ＶｏＩＰ(Voice over IP)のためのＩＰパケットを処理する場合などに適用して好適なものである。
【０００２】
【従来の技術】
ＶｏＩＰでは、コーデックで数値化された音声データを１０〜２００バイト毎に分割し、分割後の音声データにＵＤＰヘッダおよびＩＰヘッダを付加して構成される「音声パケット」によりＩＰネットワーク上で音声を伝送する。ここでの１０〜２００バイトという分割サイズの幅は使用機器や設定に依存して決まるものであり、リアルタイム性を重視する場合は小さいサイズでの分割を選択し、伝送路の使用効率を重視する場合は大きいサイズでの分割を選択する。通常、運用中においてはこの分割サイズは固定である。
【０００３】
ＩＰネットワーク上では音声以外のデータも、音声と同じネットワーク機器（ルータなど）で中継され、音声と同じ伝送路を利用して伝送されるため、回線の容量に対してトラヒックが多い場合にはルータ上での待ち時間が発生する。この待ち時間はトラヒックの状況によって刻々と変動するため、送信側では一定周期でパケットを送出していても受信側にパケットが到着する周期は一定とならない現象、すなわち伝送遅延の「ゆらぎ」が発生する。受信側では、ゆらぎ吸収バッファにある程度の音声データを一旦バッファリングすることで音声の再生が一定の速度で行えるようにしている。
【０００４】
【非特許文献１】
「日経コミュニケーション」２０００年６月５日号（７１頁〜８９頁）
【０００５】
【発明が解決しようとする課題】
ところで、前記ゆらぎ吸収バッファに音声パケットが書き込まれる速度と読み出される速度がほぼ等しければ、図４に示すように、通話の継続中には、ゆらぎ吸収バッファにおける音声パケットの蓄積量はほぼ一定量を維持し高い音声品質を維持することができるが、ＶｏＩＰでは、遅延ゆらぎ（ジッタ）の大きさがゆらぎ吸収バッファの容量を超えることがある。
【０００６】
この場合、図２（Ａ）に示すように、パケットのオーバーフローが発生して、本来、時系列に受信されるはずの音声パケットのうち一部の音声パケットが喪失する（破棄される）。ルータ上で設定された帯域を音声データが超えてしまった場合（キュー則がＬＬＱの時）等にも、同様な音声パケットの喪失が発生する。このような音声パケットの喪失が発生すると、受信・再生側では、音声データが欠損し、音声が「ブツブツ」と途切れて聴取され、音声品質が低下する。
【０００７】
ゆらぎ吸収バッファの容量を大きくすれば、オーバーフローを防止でき、途切れを防止することができるものの、バッファでの遅延量が長くなってしまう。会話音声などでは、リアルタイム性が重要であるため、この遅延量に起因する音声品質の低下も問題であり、ゆらぎ吸収バッファの容量を無闇に大きくすることも好ましくない。
【０００８】
また、一旦ゆらぎ吸収バッファ内にバッファリングした音声パケットが枯渇（アンダーフロー）してしまうと、図２（Ｂ）に示すようにその後パケットの受信速度が回復した時にバッファリングしているデータ量の平均値が高くなってしまい、オーバーフローが発生し易い状態になる。この状態ではまた、バッファでの遅延量も通常より大きくなってしまう。
【０００９】
これは、到着が遅れて前記アンダーフローを招いた音声パケットが、そのあと短時間のうちに次々と到着し、アンダーフロー直後の単位時間における受信パケット数が、通常よりも多くなるためである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明では、時間的に連続して供給される音声データの系列を部分系列に分割し、部分系列ごとに所定のパケットに収容して送信するパケット処理装置において、（１）前記音声データの値の時間変化が示す音声波形の周期を検出する周期検出部と、（２）当該周期検出部が周期を検出し始めたときの前記部分系列には高い優先度を付与し、この周期に応じた相似波形を持つ後続の部分系列には低い優先度を付与する優先度付与部と、（３）当該優先度付与部により高い優先度を付与された部分系列を収容するパケットのヘッダ部分には高い優先度に応じた優先度情報を記述し、低い優先度を付与された部分系列を収容するパケットのヘッダ部分には低い優先度に応じた優先度情報を記述するヘッダ生成部とを備えたことを特徴とする。
【００１１】
また、第２の発明では、請求項１のパケット処理装置から送信されたパケットを受信又は中継する側のパケット処理装置において、受信した前記パケットを一時的に記憶するバッファ部と、当該バッファ部に記憶しているパケットを廃棄するときには、当該パケットのヘッダ部分に記述されている優先度情報の示す優先度が低いパケットから先に廃棄するパケット廃棄制御部とを備えたことを特徴とする。
【００１２】
これにより、音声データの部分系列を収容したパケット相互間で優先制御を行うことができる。
【００１３】
【発明の実施の形態】
（Ａ）実施形態
以下、本発明にかかるパケット処理装置の実施形態について説明する。
【００１４】
本実施形態は、音声の母音成分が受信側で合成可能である点に着目して、オーバーフローの発生そのものを制御するとともに、オーバーフロー発生時の音声品質低下を抑制することを特徴とする。
【００１５】
人間の発する音声は一般に、子音成分と母音成分が時間軸方向に結合されたものであり、この点は、どの国（あるいは、どの民族）の言語でも同じであると考えられるが、特に日本語は母音の割合が多い言語の一つである。例えば、「東京」を「ＴＯＫＹＯ」と、「青（あお）」を「ＡＯ」などとローマ字で表記すれば明らかなように、日本語では母音の直後に母音がつづくことはあっても、英語などに多くみられるように子音の直後に子音がつづくことはほとんど無く、子音のあとには通常、母音がつづくからである。
【００１６】
（Ａ−１）実施形態の構成
本実施形態の通信システム１０の全体構成例を図１０に示す。
【００１７】
図１０において、当該通信システム１０は、ＩＰ網１１と、ＩＰ電話機１２，１３とを備えている。
【００１８】
このうちＩＰ網１１は、ＯＳＩ参照モデルのネットワーク層のプロトコルとしてＩＰプロトコルを使用するネットワークであればどのようなネットワークであってもよく、例えば、インターネットなどにも置換可能であるが、ここでは特定の通信事業者が構築、運営して、ユーザに提供するネットワークであるものとする。このようなＩＰ網はＩＰプロトコルを用いた通信を行う点でインターネットと同じであるが、通信事業者の用意する設備などに応じて、通信品質を保証することができる点が相違する。
【００１９】
当該ＩＰ網１１は、必要に応じて、インターネットと接続したり、既存の加入電話網と接続することもできる。
【００２０】
このＩＰ網１１を介してＩＰ電話機１２と１３が接続されている。ＩＰ電話機１２，１３はＶｏＩＰに対応した機能を内蔵した電話機である。
【００２１】
ＩＰ電話機は、通常、通信事業者が提供するＩＰ電話サービスを利用するユーザ企業の拠点内に設置され、その各拠点が通信事業者の提供するＩＰ網１１によって接続される形になる。当該拠点のＬＡＮ（ローカルエリアネットワーク）内には、ルータや、ＤＮＳサーバなどの図示しない各種のサーバやネットワーク機器が設置され、ＩＰ電話機はこれらの機能を利用して通信を行う構成となるのが普通である。
【００２２】
同一拠点（すなわち、同一ＬＡＮ）内に配置されたＩＰ電話機間で通話を行うこともあり得るが、ここでは、ＩＰ電話機１２と１３は別個の拠点に配置されているものとする。
【００２３】
ＩＰ電話機の外観には様々なものがあり、一般電話機と同様な外観を持つもの、パーソナルコンピュータにスピーカやマイクなどを装着してＩＰ電話機として機能できるようにしたもの、ＰＤＡ端末のような外観を持つもの等がある。
【００２４】
ＩＰ電話機が通信する音声データ（やビデオデータ）は、ダウンロードしながら再生するストリーム型データに属する。
【００２５】
ＩＰ網１１を介して接続されたＩＰ電話機１２、１３は、例えば、ＩＰ電話機１２を操作するユーザＵ２とＩＰ電話機１３を操作するユーザが会話を行うために利用される。したがって、ＩＰ電話機１２と１３は音声データを収容したＩＰパケット（すなわち、音声パケット）を双方向にやり取りすることが必要で、それぞれ、送信機能と受信機能を搭載しているが、以下では、主として、ＩＰ電話機１２を操作するユーザＵ２が発話し、ＩＰ電話機１３を操作するユーザＵ３がその音声を聴取する場合について説明する。これは、ユーザＵ２の発話に基づく音声データを収容した音声パケットＰＫがＩＰ電話機１２から送信され、当該音声パケットＰＫが、ＩＰ網１１経由でＩＰ電話機１３に受信される場合である。
【００２６】
このうち送信側のＩＰ電話機１２の内部構成例を図１に示す。
【００２７】
（Ａ−１−１）送信側ＩＰ電話機の内部構成例
図１において、当該ＩＰ電話機１２は、ＬＡＮインタフェース部２０と、パケット化処理部２１と、コーデック（ＣＯＤＥＣ）部２２と、マイク（送話器）２３と、データ分割部２４と、無音判定部２５とを備えている。
【００２８】
このうちＬＡＮインタフェース部２０は、ＯＳＩ参照モデルの物理層からデータリンク層に関するプロトコルを処理する部分で、具体的には、ＬＡＮカード（ＬＡＮアダプタ）などに相当する。本実施形態では、物理層のプロトコルは特に限定する必要はない。必要に応じて、電気信号を利用したり光信号を利用することも可能であり、無線伝送路を利用することも有線伝送路を利用することも可能である。同様に、データリンク層のプロトコルについても限定する必要はないが、ＣＳＭＡ／ＣＤなどに対応するイーサネット（登録商標）が利用されることが多い。
【００２９】
パケット化処理部２１は、前記データ分割部２４から供給される各分割音声データＤＡ１に対し、１つずつＩＰヘッダ（ここでは、ＩＰｖ４ヘッダ）を付加して音声パケットＰＫを生成する部分である。
【００３０】
ただし音声パケットＰＫは、基本的に、ＩＰヘッダと、音声データのみから構成されるものではない。ＶｏＩＰでは、再生の同期を取ったり、遅延の大きなパケットを廃棄したりするために、通常、ＯＳＩ参照モデルのトランスポート層のプロトコルとしてＵＤＰやＲＴＰを使用するが、その場合には、ＵＤＰヘッダや、ＲＴＰヘッダなどが、前記音声データに付加されたものに対し、さらに上述したＩＰヘッダが付加されて、前記音声パケットＰＫが構成されることになるためである（もっとも、ＩＰ網１１上で中継処理などに利用されるのは、ＩＰヘッダだけである）。
【００３１】
このようにして構成された音声パケットＰＫは、当該パケット化処理部２１から前記ＬＡＮインタフェース部２０に渡され、ＬＡＮインタフェース部２０からＩＰ網１１へ送出される。データリンク層でＣＳＭＡ／ＣＤを用いる場合には、当該ＬＡＮインタフェース部２０において、音声パケットＰＫにＭＡＣヘッダが付加されてＭＡＣフレームとして送信されることになる。
【００３２】
もっとも、ＭＡＣヘッダの内容はルータを越えて伝送されることはないから、他の拠点に存在する受信側のＩＰ電話機１３までは届かない。
【００３３】
前記マイク２３は、ユーザＵ２が発声した音声を集音し、アナログの電気信号（音声信号）ＭＡ１に変換する部分である。
【００３４】
コーデック部２２は、当該音声信号ＭＡ１を所定のサンプリング周波数でサンプリングして符号化を行い、符号化音声信号（音声データ）ＣＡ１を生成する部分で、生成した当該音声データＣＡ１はデータ分割部２４と無音判定部２５に供給する。音声信号ＭＡ１の符号化方式としては、通常、ＰＣＭ方式が用いられる。
【００３５】
通常、電話で使われるＣＯＤＥＣでは、サンプリング周波数として、８ＫＨｚを使用するが、後述する相似形検索の精度を高めるために、（前段に４ＫＨｚ以上をカットするＬＰＦ（ローパスフィルタ）を置いた上で）４８ＫＨｚサンプリングのＣＯＤＥＣ（オーディオ用途）を使用しても良い。
【００３６】
なお、必要に応じて、音声データを圧縮（圧縮符号化）して伝送するデータ量を削減することも可能であるが、圧縮すると一般に音声データＣＡ１が示す波形が分からなくなりデータ分割部２４で実行する相似形検索の実行が困難となるため、圧縮符号化を行う場合には、データ分割部２４とパケット化処理部２１のあいだで行うようにするとよい。
【００３７】
無音判定部２５は、供給を受けた音声データＣＡ１が、有効な音声データを有する有音区間に対応するものであるか、有効な音声データを有しない無音区間に対応するものであるかを判定する部分で、判定結果を示す無音判定信号ＤＳ１は、前記データ分割部２４に供給する。無音判定部２５が行う判定には音声信号の特性を利用した既存のアルゴリズムを使用可能であるが、基本的に、無音判定信号ＤＳ１が有音区間を示すとき、音声データＣＡ１には主にユーザＵ２が発声した音声が十分に大きな振幅（音声レベル）で含まれており、無音判定信号ＤＳ１が無音区間を示すときには、音声データＣＡ１には小さな振幅の雑音などが含まれているだけである。
【００３８】
データ分割部２４は、受信側のＩＰ電話機１３でオーバーフローの発生頻度を低減したり、オーバーフロー発生時の音声品質低下を抑制するために中心的な役割を果たす部分で、前記相似形検索を実行し、当該相似形検索の結果を利用して前記分割音声データＤＡ１を生成する。
【００３９】
分割音声データＤＡ１は、時間軸上で分割されている点を除き、前記音声データＣＡ１と同じである。当該分割音声データＤＡ１は、母音成分だけを含む場合と、母音成分以外の音声データだけを含む場合に分けることができる。このうち母音成分以外の音声データとしては、有効な子音成分のほか、雑音など（前記無音区間に対応）もあり得る。もちろん、必要ならば、子音成分と母音成分を同じ分割音声データＤＡ１に収容することも可能である。
【００４０】
受信側のＩＰ電話機１３で行う再生の際の音声品質の観点でみると、有効な子音成分は重要で不可欠な音声成分であるが、母音成分や雑音などの重要度は、当該子音成分に比べて低い。例えば、前記オーバーフローが発生するような状況において、子音成分が失われると、音声品質を大きく低下させることになるが、母音成分や雑音などが失われても、音声品質はそれほど低下しない。
【００４１】
ただし、母音成分や雑音でも、完全に失われてしまうと、音声品質に与える影響は必ずしも小さくないため、本実施形態では、この点に関しても配慮する。
【００４２】
相似形検索は、音声波形の母音成分が、例えば、図３に示すように、特定の波形パターンの周期的な繰り返し（例えば、図３では、それぞれ半周期だけ表示された両端部分の波形を合わせて１周期とみると、全部で、１２周期分が表示されている）である点に着目し、母音成分に対応する音声データＣＡ１を検出するための処理である。
【００４３】
この相似形検索は、例えば、最も新しい波形パターンを検索の基準となる基準波形パターンとし、この基準波形パターンよりも過去の波形パターンを検索の対象となる対象波形パターンとした上で、対象波形パターンの近い過去から遠い過去へ向かって、順次、基準波形パターンと比較して行き、対象波形パターンのなかから基準波形パターンと良好に一致する波形パターンを検出する処理である。基準波形パターンと良好に一致する波形パターンを検出できれば、検出できた波形パターンから当該基準波形パターンに至る区間に波形パターンの繰り返し、すなわち、母音成分（の１周期）が存在することがわかる。
【００４４】
必要ならば、基準波形パターンを最も新しい波形パターンとしなくてもよいが、継続していた音声の終了部分などからも、良好に母音成分を検出するためには、最も新しい波形パターンを基準波形パターンとするのが効率的であると考えられる。
【００４５】
また、基準波形パターンや対象波形パターンの時間的な長さをどの程度にするかは、音声の特性を考慮して決定すればよい。
【００４６】
基準波形パターンや対象波形パターンの時間的な長さは、一定の時間間隔でサンプリングし、１サンプル当たりのビット長が固定されているという一般的な前提のもとでは、それぞれのデータ（波形パターン）のサイズに対応する。図５〜図９の例では、基準波形パターン（Ｓ（ｎ）〜Ｓ（ｎ−１９））を２０バイトとし、対象波形パターン（Ｓ（ｎ−２０）〜Ｓ（ｎ−９９））を８０バイトとしている。
【００４７】
基準波形パターンと対象波形パターンの比較を具体的にどのようにして実行するかにもよるが、十分な精度を得るためには、基準波形パターンのサイズや、対象波形パターンのサイズは、実際にユーザＵ２から発声される音声における母音成分の波形パターンの１周期に比べて、小さくなりすぎないようにすることが必要であると考えられる。もっとも、ＩＰ電話機１２に搭載することのできる記憶資源の容量にも上限があるため、これらのサイズを無闇に大きくすることは困難である。
【００４８】
この１周期は、男性の声の場合で５３〜８０バイト、女性の声の場合で２６〜３７バイト程度（男性の声の基本波周波数が１００〜１５０Ｈｚ、女性の声の基本波周波数を２２０〜３００Ｈｚとして計算。ただし、この周波数範囲は文献によっては５０〜４００Ｈｚとしているものも有る。）であるから、図５〜図９に示すように基準波形パターンが２０バイト、対象波形パターンが８０バイトであれば、ほぼ十分であると考えられる。
【００４９】
もちろん必要ならば、基準波形パターンのサイズや対象波形パターンのサイズとして、これら以外のサイズを利用してもよいことは当然である。
【００５０】
この相似形検索により例えば母音成分を検出し、子音成分、母音成分、雑音などが含まれた時系列な音声データＣＡ１を分割して当該母音成分だけを含む分割音声データＤＡ１を生成することができる。当該ＩＰ電話機１２から母音成分（ＤＡ１）だけを収容した音声パケット（例えば、ＰＫ２、ＰＫ３）を送信すれば、受信側のＩＰ電話機１３では、前記オーバーフローが発生しそうなときに例えば母音成分を収容した音声パケット（例えば、ＰＫ３）を優先的に破棄することで、オーバーフローの発生を防止することが可能となる。
【００５１】
また、母音成分は特定の波形パターンの繰り返しであるから、例えば、連続して繰り返されている波形パターンの最初の１または複数周期分だけを収容した音声パケットの音声データを復号（再生）し、該当する時間（母音継続時間）だけその復号結果を出力しつづければ、後続の周期の母音成分を収容した音声パケットは破棄しても、ユーザＵ２が発声した元の音声にほぼ忠実な音声をユーザＵ３に聴取させることが可能である。もしくは、母音成分パケットが欠損していても、その後続のパケットをつめて再生することによって、母音継続時間は短くなるがノイズの発生にはならず、音声品質が保たれる。したがって、音声パケットの破棄を実行した場合でも、音声品質はほとんど劣化することがない。
【００５２】
反対に、子音成分を収容した音声パケット（例えば、ＰＫ１など）は、このような処理が困難であるため、受信側のＩＰ電話機１３でオーバーフローが発生しそうなときでも破棄しない。
【００５３】
なお、前記母音継続時間を受信側のＩＰ電話機１３に伝えることが困難であれば、新たな子音成分が到着するまで、または、予め設定した一定の時間が経過するまでの時間を、当該母音継続時間として利用することができる。あるいは、この母音継続時間を決定するためには、その子音成分を収容していた音声パケットＰＫのヘッダ（例えば、ＲＴＰヘッダ）に記述されたタイムスタンプなども利用することが可能である。
【００５４】
従来から、ＶｏＩＰでは、音声パケットに対し、音声以外のデータを収容したＩＰパケットよりも優先的に帯域を割り当てる等の優先制御は実行していたが、本実施形態では、音声パケット相互間でも、優先制御を実行することが可能となる。
【００５５】
このような優先制御を受信側のＩＰ電話機１３のバッファ３４（図１１参照）におけるキューイングに関して実行するため、データ分割部２４では、分割音声データＤＡ１とともに、各分割データＤＡ１の優先度を示す優先順位値ＰＲ１を、パケット化処理部２１に渡す。
【００５６】
優先順位値ＰＲ１は、前記子音成分に対応する分割音声データＤＡ１が最も高い優先度で、母音成分や雑音などに対応する優先度がそれより低い優先度となるように設定する。
【００５７】
また、２段階以上の優先度の設定が可能な場合には、連続する母音成分を複数の分割音声データＤＡ１に分割し、そのうち最初の分割音声データＤＡ１の優先度は相対的に高く、後続の分割音声データＤＡ１の優先度は相対的に低くなるように優先順位値を設定することも望ましい。例えば、連続する母音成分をその波形パターンの１周期ごとに分割して分割音声データＤＡ１とするようにしてもよい。
【００５８】
このような優先順位値の設定により、受信側のＩＰ電話機１３では、前記オーバーフロー時において母音成分に関する音声データも得ることができる可能性が高まり、以降は、前記母音継続時間が経過するまで（新たな子音成分が到着するまで、または、予め設定した一定の時間が経過するまでの時間などであってもよい）、当該母音成分の出力を継続することができる。
【００５９】
雑音に関しても、当該母音成分と同様な処理を実行することが可能である。雑音（無音区間）も、必ずしも音声の品質にまったく寄与していないわけではないからである。
【００６０】
ただし、連続する母音成分の最初の部分は、子音成分と同じ分割音声データＤＡ１に振り分けるようにし、復号側で、当該分割音声データＤＡ１の末尾の母音成分の出力を必要に応じて継続するようにすれば、最初の母音成分だけを独立した分割音声データＤＡ１とする必要はない。
【００６１】
また、母音成分に対応しない音声データＣＡ１が子音成分に対応するものであるか、雑音に対応するものであるかは、前記無音判定部２５から供給される無音判定信号ＤＳ１の値をもとに、データ分割部２４で認識することが可能である。すなわち、母音成分でなく、無音判定信号ＤＳ１が無音区間を示している場合には、雑音（無音区間）であると認識でき、母音成分でなく、無音判定信号ＤＳ１が有音区間を示している場合には、子音成分であると認識することができる。
【００６２】
当該優先順位値ＰＲ１と、対応する分割音声データＤＡ１を受け取ったとき、前記パケット化処理部２１は、当該分割音声データＤＡ１に付加するヘッダ（例えば、ＩＰヘッダ）の該当するフィールド（ＩＰヘッダの場合には、ＴＯＳフィールド）に、当該優先順位値ＰＲ１を記述することになる。
【００６３】
この場合、ＴＯＳフィールドに記述された優先順位値ＰＲ１は、受信側のＩＰ電話機１３だけでなく、音声パケットＰＫが伝送される経路上のルータによっても参照され中継処理に利用されることが望ましい。ルータにおける輻輳時など、優先順位値ＰＲ１の示す優先度が低い音声パケットから順番に破棄するほうが、音声品質を高く維持する上で好ましいからである。
【００６４】
現在のところ、インターネット上のルータなどは、ＴＯＳフィールドの記述を無視するように実装されているのが普通であるが、ＩＰ網１１内のルータは前記通信事業者が設置し、運用するものであるから、ＴＯＳフィールドの記述を参照して中継するように設定、実装することは容易である。
【００６５】
一方、ＩＰ網１１経由で当該音声パケットＰＫを受信するＩＰ電話機１３の内部構成例は、図１１に示す通りである。
【００６６】
（Ａ−１−２）受信側ＩＰ電話機の内部構成例
図１１において、当該ＩＰ電話機１３は、ＬＡＮインタフェース部３０と、パケット抽出部３１と、コーデック部３２と、スピーカ（受話器）３３と、バッファ３４と、バッファ制御部３５と、母音合成部３６とを備えている。
【００６７】
このうちＬＡＮインタフェース部３０は前記ＬＡＮインタフェース部２０に対応し、パケット抽出部３１は前記パケット化処理部２１に対応し、コーデック部３２は前記コーデック部２２に対応し、スピーカ３３は前記マイク２３に対応するので、その詳しい説明は省略する。
【００６８】
ただしＩＰ電話機１３は受信側であるから、これらの構成要素３０〜３３は、音声パケットＰＫを受信して当該音声パケットＰＫに収容された音声データ（分割音声データＤＡ１）に応じた音声を出力するために機能することは当然である。
【００６９】
すなわち、ＬＡＮインタフェース部３０はＩＰ網１１から音声パケットＰＫを受信するために機能し、パケット抽出部３１は受信側のＩＰ電話機１３が配置されているＬＡＮ内のＭＡＣフレームからＭＡＣヘッダを除去して前記音声パケットＰＫを抽出するために機能し、コーデック部３２は復号を行い、スピーカ３３は音声出力を行う。
【００７０】
なお、パケット抽出部３１から出力された音声パケットＰＫの構成要素のうち、最終的に復号されてスピーカ３３からの音声出力に利用されるのは、分割音声データＤＡ１だけであるから、実装によっては、バッファ３４内に分割音声データＤＡ１だけを蓄積してキューイングすること（この場合、ヘッダは別にキューイングしてヘッダと分割音声データの対応関係を管理することになる）も可能であるが、ここでは、ヘッダが付加された状態の音声パケットＰＫをバッファ３４でキューイングするものとする。
【００７１】
音声パケットＰＫに含まれるヘッダには、前記ＩＰヘッダ、ＵＤＰヘッダ、ＲＴＰヘッダがあり得るが、本実施形態における受信側のＩＰ電話機１３では、ＩＰヘッダに基づいた処理が重要である。
【００７２】
バッファ３４は上述したゆらぎ吸収バッファに相当する構成要素である。
【００７３】
バッファ制御部３５はバッファ３４の状態を監視し、必要なときに母音成分を収容した音声パケット（例えば、ＰＫ３）や雑音を収容した音声パケットを優先的に破棄する部分である。
【００７４】
これらの音声パケット（例えば、ＰＫ３）の破棄が必要となるのは、バッファ３４においてオーバーフローが発生しそうなときである。実際にオーバーフローが発生してから当該破棄を行ってもかまわないが、その場合、オーバーフローによって重要な前記子音成分を収容した音声パケットＰＫが失われる可能性もあるため、オーバーフローの発生を予測（オーバーフロー予測）し、オーバーフローが実際に発生する前に当該破棄を行うことが望ましい。
【００７５】
オーバーフロー予測の実現法には様々な方法が考えられる。例えば、バッファ３４に蓄積された音声パケットＰＫの総データ量が予め設定したバッファ用しきい値を越えたときにオーバーフローが発生するものと予測するようにしてもよく、図２（Ｂ）に示したアンダーフローが発生したときにオーバーフローが発生するものと予測するようにしてもよい。また、音声パケットＰＫによって構成されるキュー（待ち行列）の伸長する速度を監視してオーバーフロー予測に反映させることも考えられる。
【００７６】
なお、当該バッファ用しきい値としては、例えば、図２（Ａ）および（Ｂ）や、図４に示した基準値ＮＶ１を利用することができる。
【００７７】
ただし当該オーバーフロー予測に基づいて、母音成分などを収容した音声パケット（例えば、ＰＫ３）を選択的に、かつ容易に破棄することができるのは、送信側のＩＰ電話機１２で、音声パケットＰＫに含まれるＩＰヘッダのＴＯＳフィールドに前記優先順位値ＰＲ１を記述してあるからである。
【００７８】
バッファ制御部３５はまた、連続する母音成分を分割して得られる複数の分割音声データＤＡ１を収容した複数の音声パケット（例えば、ＰＫ２，ＰＫ３）のうち、最初の分割音声データを収容した音声パケットＰＫ２から当該母音成分に対応する分割音声データＤＡ１だけを選出して母音合成部３６に供給する機能を備えている。
【００７９】
母音合成部３６は当該分割音声データＤＡ１をバッファ制御部３５から受け取ったときには、当該分割音声データＤＡ１に基づいて、前記母音継続時間のあいだ母音成分の合成音声信号ＳＡ１を出力する部分である。コーデック部３２は、当該合成音声信号ＳＡ１の供給を受ける間、当該合成音声信号ＳＡ１に応じた復号信号ＫＡ１を出力する。
【００８０】
以下、上記のような構成を有する本実施形態の動作について説明する。
【００８１】
上述した基準波形パターンと対象波形パターンの比較（相似形検索）は、ここでは、分散を利用して実行する。
【００８２】
（Ａ−２）実施形態の動作
所定の呼設定プロトコルを利用してＩＰ電話機１２からＩＰ電話機１３へ発呼し、またはこれと反対にＩＰ電話機１３からＩＰ電話機１２へ発呼して、呼設定が行われ、ユーザＵ２とＵ３のあいだの通話（会話）が開始されたものとする。
【００８３】
通常、会話は双方向で行われるものであるが、ここでは、上述したように、ユーザＵ２が発話した内容をユーザＵ３が聴取する場合に注目する。
【００８４】
このとき、ユーザＵ２が発話した音声に応じた前記音声信号ＭＡ１がマイク２３からコーデック部２２に供給され、前記音声データＣＡ１がデータ分割部２４と、無音判定部２５に供給される。
【００８５】
図５に示したＳ（ｎ）〜Ｓ（ｎ−９９）のそれぞれはサンプル値を示し、Ｓ（ｎ）は現時点のサンプル値であり、Ｓ（ｎ−１）は現時点より１サンプル前のサンプル値であり、Ｓ（ｎ−２）は現時点より２サンプル前のサンプル値であり、…、Ｓ（ｎ−９９）は現時点より９９サンプル前のサンプル値である。
【００８６】
このうち左端の１列Ｒ０は、Ｓ（ｎ）〜Ｓ（ｎ−１９）の２０サンプルから構成されているが、残りの６０列Ｒ１〜Ｒ６１は、１列が２０サンプルから構成される点は当該列Ｒ０と同じであるが、各列の構成要素となるサンプルが１サンプルずつ時間的にシフトしている。
【００８７】
すなわち、左端から２番目の列Ｒ１は、Ｓ（ｎ−２０）〜Ｓ（ｎ−３９）の２０サンプルから構成され、左端から３番目の列Ｒ２は、Ｓ（ｎ−２１）〜Ｓ（ｎ−４０）の２０サンプルから構成され、左端から４番目の列Ｒ３は、Ｓ（ｎ−２２）〜Ｓ（ｎ−４１）の２０サンプルから構成され、…、左端から６２番目（すなわち右端）の列Ｒ６１は、Ｓ（ｎ−８０）〜Ｓ（ｎ−９９）の２０サンプルから構成されている。
【００８８】
当該列Ｒ０が上述した基準波形パターンに対応し、当該列Ｒ１〜Ｒ６１が上述した対象波形パターンに対応する。
【００８９】
コーデック部２２によってＰＣＭ信号に変換されたあとであるため、時系列な音声データＣＡ１は、時間軸上で離散的な情報であるが、時間的に隣接した各サンプル（例えば、Ｓ（ｎ）〜Ｓ（ｎ−１９））の値が示すものは、その時点の音声波形の振幅値であるため、これらの各サンプル値は、アナログ的な音声波形を示しているに等しいとみることができる。
【００９０】
図６（Ａ）〜（Ｃ）に示すように、コーデック部２２から音声データＣＡ１を構成する各サンプル値が１サンプルずつ送られてくると、まず前記基準波形パターンに対応する列Ｒ０の２０バイトがシフトしながら格納され、そのあと、前記対象波形パターンに対応する各列Ｒ１〜Ｒ６１がシフトしながら１サンプルずつ格納されて行く。
【００９１】
この間、Ｓ（ｎ）→Ｓ（ｎ−１）→Ｓ（ｎ−２）→…→Ｓ（ｎ−９９）の順番で、サンプル値の内容がシフトして行くから、基準波形パターンに対応する列Ｒ０内の各サンプル値（例えば、Ｓ（ｎ））の値も、対象波形パターンに対応する列Ｒ１〜Ｒ６１の各サンプル（例えば、Ｓ（ｎ−２０））の値も、その内容は、順次、変化することになる。
【００９２】
対象波形パターンに対応する８０バイト（オーバーラップする分を重ねてカウントすると、１２２０バイト）すべてにサンプル値が格納されてから、前記比較（相似形検索）を開始してもよいが、相似形検索を近い過去に対応する列から順番に行うなら、当該８０バイトすべてにサンプル値が格納される前に相似形検索を開始することができ、また、そのほうが効率的である。
【００９３】
本実施形態では、基準波形パターンに対応する列Ｒ０と、対象波形パターンに対応するそれぞれの列（その１つがＲ１）とを、同じ行のサンプル値のあいだで比を求め、各比について分散を計算するから、対象波形パターン中の左端の列Ｒ１の２０バイトが満たされた時点で、最初の分散を算出することが可能である。
【００９４】
列Ｒ０とＲ１の最上部の行のサンプル値の比Ｒ（２００）は、Ｓ（ｎ）／Ｓ（ｎ−２０）と表現することができる。
【００９５】
最上部から２番目の行から２０番目（すなわち最下部）の行についても同様にして、比Ｒ（２０１）〜Ｒ（２１９）を求めることができる。
【００９６】
すなわち、２番目の行の比Ｒ（２０１）はＳ（ｎ−１）／Ｓ（ｎ−２１）で、３番目の行の比Ｒ（２０２）はＳ（ｎ−２）／Ｓ（ｎ−２２）で、４番目の行の比Ｒ（２０３）はＳ（ｎ−３）／Ｓ（ｎ−２３）で、…、１９番目の行の比Ｒ（２１８）はＳ（ｎ−１８）／Ｓ（ｎ−３８）で、２０番目の行の比Ｒ（２１９）はＳ（ｎ−１９）／Ｓ（ｎ−３９）である。
【００９７】
このあと、当該データ分割部２４は、これら２０個の比Ｒ（２００）〜Ｒ（２１９）についての分散Ｖ（２０）を算出する。
【００９８】
同様な処理による比の分散の算出は、基準波形パターンに対応する列Ｒ０と対象波形パターンに対応する他の列（例えば、Ｒ２）とのあいだでも順次おこなわれ得る。
【００９９】
対象波形パターンに対応する隣接する列（例えば、列Ｒ１とＲ２）は、１サンプル分ずれた関係にあるため、この処理により、対象波形パターンの全範囲について漏れなく分散を算出することが可能である。
【０１００】
なお、相似形検索の精度をそれほど高くする必要がない場合には、ずれの幅を、当該１サンプルより大きくしてもよい。例えば、隣接する列が２サンプル分ずれた関係にあるようにしてもよい。
【０１０１】
実際の音声の波形パターンはたとえ連続する母音成分に対応する部分であっても、雑音の混入や周期間のバラツキなども存在し得るため、完全に一致する波形パターンとはならない可能性があるが、図３に画面表示したように、おおむね同じ音声波形パターンが繰り返されるから、例えば、列Ｒ０の波形パターンと列Ｒ１の波形パターンが母音成分に対応して実質的に一致する場合には、分散の値（ここでは、Ｖ（２０））は、十分に小さなものとなる。
【０１０２】
分散の値が所定の分散用しきい値（規定値）よりも小さいことをもって、波形パターンの繰り返しの検出、すなわち、母音成分の１周期の検出としてもよいが、ここでは、さらに、当該分散の値（例えば、Ｖ（２０））が隣接する分散の値（例えば、Ｖ（２１））よりも小さいことを条件として追加する。
【０１０３】
すなわちデータ分割部２４は、分散の値（例えば、Ｖ（２０））が所定の分散用しきい値よりも小さく、なおかつ、当該分散の値が隣接する分散の値（例えば、Ｖ（２１））よりも小さいときに、母音成分の１周期を検出したものと判断する。
【０１０４】
より一般的には、分散値Ｖ（Ｘ）が、所定の分散用しきい値よりも小さく、なおかつ、隣接する分散の値（Ｖ（Ｘ−１）、Ｖ（Ｘ＋１））よりも小さいときに、母音成分の１周期を検出したものと判断する。このときまた、当該母音成分の１周期は、Ｘバイトであることもわかる。
【０１０５】
例えば、図７（Ａ）〜（Ｃ）に示すように、列Ｒ２９の２０バイト（すなわち、サンプルＳ（ｎ−４７）まで）が満たされたときに、列Ｒ２５の分散値Ｖ（２４）で母音成分の１周期（１周期＝２４バイト）を検出したときには、データ分割部２４は、Ｓ（ｎ−４３）からＳ（ｎ−２１）までの２７バイトの音声データを、１つの分割音声データＤＡ１とし、当該分割音声データＤＡ１に対応する優先順位値ＰＲ１をもっとも高い優先度を示す値として、当該ＤＡ１とＰＲ１をパケット化処理部２１に供給する。
【０１０６】
この２７バイトの分割音声データＤＡ１は、母音成分の周期の開始に対応する部分である。母音成分の周期の開始時（波形の変化時も含む）に対応する部分には、例えば、上述した「ＴＯＫＹＯ」の「ＴＯ」における「Ｔ」のように、子音成分が含まれている可能性が高いからである。
【０１０７】
ただしこの２７バイトのうち最初の３バイトは、子音成分または雑音である可能性が高いため、後続の２４バイトとは別な分割音声データＤＡ１となるように分割してもよい。
【０１０８】
この３バイトが子音成分であるか雑音であるかは、前記無音判定部２５が供給する無音判定信号ＤＳ１をもとに判断することが可能である。
【０１０９】
当該２７バイトを１つの分割音声データＤＡ１として分割する際、データ分割部２４は、当該周期が２４バイトであることも分かるから、後の処理のため、周期が２４バイトであることを記憶しておく。
【０１１０】
図７（Ｃ）の状態から２７バイトを取り出せば、対象波形パターンに対応する領域（列Ｒ１〜Ｒ６１）は空になるため、再度、図８（Ａ）、（Ｂ）に示すように、シフトしながらサンプル値が満たされて行く。
【０１１１】
そして、例えば、図８（Ｃ）に示すように、列Ｒ２６の２０バイトが満たされたときに、再び周期を検出したものとすると、データ分割部２４は、記憶しておいた前記周期（２４バイト）と同じ周期の母音成分が継続しているものと判断することができ、このＳ（ｎ−４４）〜Ｓ（ｎ−２１）の２４バイトに対応する母音成分の分割音声データＤＡ１は、上述した低い優先順位値ＰＲ１に対応付けられて、パケット化処理部２１へ供給される。
【０１１２】
なお、図６（Ａ）〜（Ｃ）に示すように、列Ｒ６１の２０バイトすべてにサンプル値が格納され、すべての列Ｒ６１について分散値を求めて処理しても、前記分散用しきい値よりも小さい分散値（であって、隣接する分散値よりも小さい分散値）が得られなかった場合、列Ｒ６１〜Ｒ１の対象波形パターン（８０バイト）には、母音成分が含まれていないと推測できるから、当該８０バイトを、１つの分割音声データＤＡ１とし、優先順位値ＰＲ１とともにパケット化処理部２１へ供給する。この優先順位値ＰＲ１が、このとき供給される前記無音判定信号ＤＳ１の値に応じて、異なる優先度とされることはすでに述べた通りである。
【０１１３】
このような分割を行わない場合、本実施形態では、ＩＰ電話機１２から時系列に送信される音声パケットＰＫのサイズは、大きく変動する可能性がある。この変動は、各分割音声データＤＡ１のサイズが大きく変動するためである。
【０１１４】
一方、子音成分、母音成分、雑音などに対応する分割音声データＤＡ１を収容した音声パケットＰＫを、ＩＰ網１１経由で受信するＩＰ電話機１３の内部では、バッファ３４に当該音声パケットＰＫがキューイングされる。
【０１１５】
キューの長さが短く、当該バッファ３４のオーバーフローが予測されないときには、ＩＰヘッダのＴＯＳフィールドに記述された優先順位値ＰＲ１が低い優先度を示す音声パケットＰＫも含め、すべての音声パケットが破棄されることなく、その分割音声データＤＡ１がコーデック部３２によって復号され、スピーカ３３から音声出力が行われる。
【０１１６】
これに対し、オーバーフローが予測されたときには、バッファ制御部３５は、前記キューの長さが十分に短くなるまで、優先順位値ＰＲ１が示す優先度が低い音声パケットＰＫから順番に破棄する。このとき、雑音や母音成分などの分割音声データＤＡ１を収容した音声パケットＰＫは早く破棄され、子音成分の分割音声データＤＡ１を収容した音声パケットＰＫは可能な限り、破棄しない。これにより、スピーカ３３から出力される音声の品質は高く維持することができる。
【０１１７】
（Ａ−３）実施形態の効果
本実施形態によれば、バッファ（３４）のオーバーフローが発生するような状況でも、上述した途切れや遅延量の増大による音声品質の劣化が起きる可能性が低いため、音声品質を高く維持することが可能である。
【０１１８】
なお、同様なバッファのオーバーフローなどはＩＰ電話機（例えば、１３）の内部だけでなく、経路途中のルータ等の内部でも輻輳時などに起こり得るが、当該ルータにおける優先制御でも、前記優先順位値（ＰＲ１）を利用することができ、この優先制御も、音声品質の維持に寄与する。
【０１１９】
（Ｂ）他の実施形態
上記実施形態では、比（例えば、Ｒ（２００）など）の計算や、分散値（例えば、Ｖ（２０）など）の計算などの過程で除算が必要になるが、逐一これらの除算を実行したのでは、計算量が非常に多くなってしまう事が予想される。しかもこの計算は、リアルタイムにやり取りされる音声データに関するものであるから、計算に長時間を要することは許されない。
【０１２０】
この対策としては、例えば、図９に示すようなＲＯＭ（リードオンリーメモリ）を利用することがあげられる。
【０１２１】
このＲＯＭには、割る数（除数）を入力する入力端子Ａ１５〜Ａ９と、割られる数（被除数）を入力する入力端子Ａ７〜Ａ０と、除算結果に関するデータを出力する出力端子Ｄ１５〜Ｄ０を備えている。当該ＲＯＭの内部には、これら入力端子Ａ１５〜Ａ０に入力するデータと、出力端子Ｄ１５〜Ｄ０から出力するデータとの対応関係が記憶されているから、逐一、除算を実行しなくても、ＲＯＭへのアクセスだけで除算結果に関するデータを得ることが可能となり、計算量の削減や、計算時間の短縮が可能となる。
【０１２２】
例えば、上述したように、１サンプルあたりのビット長が８ビット固定の場合には、図示したように１ＭビットのＲＯＭに、必要なデータを格納することが可能である。
【０１２３】
必要に応じて、当該ＲＯＭは、その他の記憶手段に置換可能である。
【０１２４】
また、上記実施形態で使用した図５は、必ずしも記憶領域（データ分割部２４内に存在する記憶装置（メモリなど）の記憶領域）上のサンプル値の物理的なマッピングが図示した通りに行われるものであることを意味しない。例えば、物理的には同じサンプル値（例えば、Ｓ（ｎ−２３））を１つだけ記憶装置に格納し、論理的に図示した通りの関係にあるものとして取り扱うことができれば十分だからである。
【０１２５】
なお、上記実施形態では、各ＩＰ電話機（例えば、１２）は、前記送信機能と受信機能の双方を搭載することとなるが、必要ならば、送信機能だけを搭載した通信装置や受信機能だけを搭載した通信装置を用いることも可能である。
【０１２６】
また、上記実施形態におけるＩＰ電話機の双方または一方は、一般電話機（ＶｏＩＰ非対応の電話機）とＶｏＩＰゲートウエイの組に置換することが可能である。
【０１２７】
一般電話機とＶｏＩＰゲートウエイの組は、実質的に、前記ＩＰ電話機と同等な機能を持つからである。ＶｏＩＰゲートウエイを利用する場合、前記バッファ制御部３５やデータ分割部２４などの機能は、当該ＶｏＩＰゲートウエイに搭載され得る。
【０１２８】
また、上記実施形態で、連続する母音成分のうち最初の部分と子音成分を同じ音声パケットＰＫに収容する場合などには、前記母音合成部３６に相当する機能はコーデック部３２が備えることとなるため、当該母音合成部３６は省略可能である。
【０１２９】
さらに、上記実施形態では、ＯＳＩ参照モデルのネットワーク層のプロトコルがＩＰである場合に本発明を適用したが、ネットワーク層のプロトコルがＩＰ以外の場合にも、本発明を適用できる可能性がある。
【０１３０】
なお、本発明は日本語のような母音成分の割合が多い言語に適用した場合に特に有利であるが、英語などのような母音成分の割合が少ない言語に適用することも可能であることは当然である。英語など、日本語以外の言語であっても、一般的に、母音成分が皆無ということはないと考えられるので、本発明の適用によって一定の効果を得ることが可能である。
【０１３１】
以上の説明では主としてハードウエア的に本発明を実現したが、本発明はソフトウエア的に実現することも可能である。
【０１３２】
【発明の効果】
以上に説明したように、本発明によれば、音声の品質を高めることができる。
【図面の簡単な説明】
【図１】実施形態で使用するＩＰ電話機の送信機能に関する内部構成例を示す概略図である。
【図２】ゆらぎ吸収バッファのオーバーフロー時の動作を示す概略図である。
【図３】母音成分に対応する波形パターンの一例を示す概略図である。
【図４】ゆらぎ吸収バッファの通常時の動作を示す概略図である。
【図５】実施形態の動作説明図である。
【図６】実施形態の動作説明図である。
【図７】実施形態の動作説明図である。
【図８】実施形態の動作説明図である。
【図９】実施形態で計算量を低減するための構成例である。
【図１０】実施形態に係る通信システムの全体構成例である。
【図１１】実施形態で使用するＩＰ電話機の受信機能に関する内部構成例を示す概略図である。
【符号の説明】
１０…通信システム、１１…ＩＰ網、１２，１３…ＩＰ電話機、２０，３０…ＬＡＮインタフェース部、２１…パケット化処理部、２２，３２…コーデック部、２３…マイク、２４…データ分割部、２５…無音判定部、３４…バッファ、３５…バッファ制御部、３６…母音合成部３６、ＰＫ…音声パケット、ＣＡ１…音声データ、ＤＡ１…分割音声データ。

Claims

時間的に連続して供給される音声データの系列を部分系列に分割し、部分系列ごとに所定のパケットに収容して送信するパケット処理装置において、
前記音声データの値の時間変化が示す音声波形の周期を検出する周期検出部と、
当該周期検出部が周期を検出し始めたときの前記部分系列には高い優先度を付与し、この周期に応じた相似波形を持つ後続の部分系列には低い優先度を付与する優先度付与部と、
当該優先度付与部により高い優先度を付与された部分系列を収容するパケットのヘッダ部分には高い優先度に応じた優先度情報を記述し、低い優先度を付与された部分系列を収容するパケットのヘッダ部分には低い優先度に応じた優先度情報を記述するヘッダ生成部とを備えたことを特徴とするパケット処理装置。
請求項１のパケット処理装置において、
前記部分系列が、有効な音声データを有する有音区間に対応するか有効な音声データを有しない無音区間に対応するかを判定する有音無音判定部を備え、
前記優先度付与部は、前記周期検出部が周期を検出しない部分系列については当該有音無音判定部の判定結果を参照し、判定結果が無音区間であることを示す場合には低い優先度を付与し、有音区間であることを示す場合には高い優先度を付与することを特徴とするパケット処理装置。
請求項１のパケット処理装置において、
前記周期検出部が、
時間的に連続して供給される音声データの系列に対して、前記周期を検出するための所定の周期検出処理を行い、周期を検出した時点で当該系列を分割することにより、前記部分系列を生成する系列分割部を備えることを特徴とするパケット処理装置。
請求項１のパケット処理装置において、
前記周期検出処理では、
所定の基準時点の音声波形を示す部分系列中の各音声データと、当該基準時点より過去のタイムシフトした音声波形を示す部分系列中の各音声データとの比の分散の値を検査することによって、前記周期を検出することを特徴とするパケット処理装置。
請求項４のパケット処理装置において、
前記比を算出する際に、除数となる音声データおよび被除数となる音声データのビットパターンと、当該ビットパターンに対応付する比の値のビットパターンを記憶した第１の記憶変換部を備えたことを特徴とするパケット処理装置。
請求項４のパケット処理装置において、
前記分散の値を算出する際の基礎となる比の値のビットパターンと、当該ビットパターンに対応する分散の値のビットパターンを記憶した第２の記憶変換部を備えたことを特徴とするパケット処理装置。
請求項１のパケット処理装置から送信されたパケットを受信又は中継する側のパケット処理装置において、
受信した前記パケットを一時的に記憶するバッファ部と、
当該バッファ部に記憶しているパケットを廃棄するときには、当該パケットのヘッダ部分に記述されている優先度情報の示す優先度が低いパケットから先に廃棄するパケット廃棄制御部とを備えたことを特徴とするパケット処理装置。