JP4869882B2 - 音声復号装置 - Google Patents

Description

この発明は、音声信号をパケット化してリアルタイムで伝送する音声伝送装置の復号装置に関し、特に音声パケットが欠落した場合にデータを補間して通話品質の劣化を抑制する技術に関する。

特開２００５−１５７０４５号公報に開示されている従来の音声復号装置は、欠落した音声パケットを前のデータで補間する事で、通話中に音声が途切れるといった通話品質の劣化を回避することを目的としており、ＩＰ(Internet Protocol)ネットワーク上のノードにトラフィックが集中して輻輳が発生した時や、音声パケットのゆらぎ吸収バッファのオーバーフローやアンダーフローによってＩＰパケットが廃棄された場合、欠落したＩＰパケットの代わりに欠落したＩＰパケットの前のデータであるＩＰパケットで補間することにより通話品質の劣化を抑制している。

特開２００５−１５７０４５号公報

音声復号装置をＰＣ(Personal Computer)上で動作するソフトウェアによって実現する場合、ＰＣのサウンドカードのバッファ制御が必要になる。ＰＣのサウンドカードのバッファのアンダーフローが発生すると、通話中に音声が途切れるといった通話品質の劣化が生じる。これを防ぐためには、音声復号装置のソフトウェアがサウンドカードのバッファに安定して音声データをリアルタイムで入力し続ける必要がある。しかし、同一のＰＣ上で音声復号装置以外のソフトウェアが実行されると、ＣＰＵ(Central Processing Unit)のリソースが一時的に音声復号装置以外のソフトウェアに占有され、サウンドカードのバッファへの音声データ入力が中断する場合があり、これによってサウンドカードのバッファのアンダーフローが発生する。

これに対し、従来の音声復号装置では、ＩＰネットワークおよびゆらぎ吸収バッファで欠落したデータに対する補間のみ行っており、ＰＣのサウンドカードのバッファに対してはアンダーフローを考慮したデータ補間が行われないという問題点があった。
さらに、従来の音声復号装置のゆらぎ吸収バッファ制御方式をＰＣのサウンドカードのバッファ制御方式に適用した場合、ゆらぎ吸収バッファのアンダーフロー時とサウンドカードのバッファのアンダーフロー時でそれぞれ補間データを作成するため、音声復号処理の処理負荷が増大するという問題点があった。

この発明に係る音声復号装置は、サウンドカードのバッファのアンダーフローを考慮したデータ補間を行うことを可能とし、なおかつ、ゆらぎ吸収バッファでの補間データの作成結果に応じてサウンドカードのバッファの補間データを作成することで音声復号処理の処理負荷を抑制することを目的とする。

この発明に係る音声復号装置は、
ＰＣ(Personal Computer)によってパケット伝送された符号化音声データを復号する音声復号装置において、
受信したパケットを分解して符号化音声データを抽出するパケット分解部と、
パケット分解部によって抽出された符号化音声データを蓄積するゆらぎ吸収バッファと、
ゆらぎ吸収バッファに蓄積されている符号化音声データを復号して音声信号を出力する音声復号部と、
音声復号部によって復号された音声信号を蓄積する音声信号蓄積バッファと、
音声復号部によって復号された音声信号を音声信号蓄積バッファに格納する度に、復号された音声信号に後続する補間データを作成して、音声信号蓄積バッファに追加格納する処理を行う補間データ生成部を備える。

この発明によれば、音声復号部によって符号化音声データを復号したデジタル音声信号を音声信号蓄積バッファに格納する度に、復号したデジタル音声信号に後続する補間データを補間データ生成部によって生成して音声信号蓄積バッファにあらかじめ格納しておくことにより、音声復号装置をＰＣ上で動作するソフトウェアによって実現する場合において、同一のＰＣ上で音声復号装置以外のソフトウェアが実行され、ＣＰＵのリソースが一時的に音声復号装置以外のソフトウェアに占有されて、サウンドカードのバッファのアンダーフローが発生しても、あらかじめサウンドカードのバッファに蓄積している補間データの音声が再生されるため、通話中に音声が途切れるといった通話品質の劣化を抑制するという効果が得られる。
また、この発明によれば、ＩＰパケットの欠落によって失われたデータに関しては、音声復号部では補間データを作成せず、補間データ生成部によって音声信号蓄積バッファに蓄積されているデジタル音声信号の末尾に追加する補間データを作成することにより、音声復号部の処理負荷を抑制することができるという効果が得られる。

実施の形態１．
図１はこの発明の実施の形態１による音声復号装置の構成を示すブロック図である。この図において、１０１はＩＰネットワークから受信したＩＰパケットを分解して符号化音声データを抽出するパケット分解部、１０２はパケット分解部１０１によって抽出された符号化音声データとＩＰパケットの欠落によるデータの有無の情報を蓄積するゆらぎ吸収バッファ、１０３はゆらぎ吸収バッファから取り出された符号化音声データをデジタル音声信号に復号する音声復号部、１０４は音声復号部１０３によって復号されたデジタル音声信号を蓄積する音声信号蓄積バッファ、１０５は音声復号部１０３によって復号されたデジタル音声信号に基づいて音声信号蓄積バッファ１０４に追加する補間データを生成する補間データ生成部である。

次に動作について説明する。
まず、音声復号部１０３によって符号化音声データをデジタル音声信号に復号する場合の動作について述べる。
ＩＰネットワークからＩＰパケットを受信した場合、ＩＰパケットはパケット分解部１０１に入力され、ＩＰパケットから符号化音声データが抽出される。そして、パケット分解部１０１は、抽出した符号化音声データと共にＩＰパケットの欠落が無いことを示す情報をゆらぎ吸収バッファ１０２に格納する。例えば、ゆらぎ吸収バッファ１０２に蓄積するデータを図２に示すフォーマットで管理するようにする。

図２に示すフォーマットにおいて、データ識別フラグはＩＰパケットの欠落によるデータの有無を示す情報であり、データ識別フラグが“０”の場合はＩＰパケットから抽出した符号化音声データがデータ格納領域に格納されていることを示し、データ識別フラグが“１”の場合はデータ格納領域に符号化音声データが格納されていないことを示す。したがって、パケット分解部１０１が受信したＩＰパケットから１０ｍｓｅｃ分（８０ｂｙｔｅ）の符号化音声データを抽出した場合、データ格納領域に抽出した符号化音声データを格納し、データ識別フラグを“０”に設定してゆらぎ吸収バッファ１０２に格納する。

次に、音声復号部１０３は、ゆらぎ吸収バッファ１０２から符号化音声データを取り出してデジタル音声信号に復号する。例えば、音声復号部１０３の復号アルゴリズムとしてＩＴＵ−Ｔ勧告Ｇ．７１１準拠の６４ｋｂｉｔ／ｓＰＣＭ(Pulse Code Modulation)方式を用いた場合、ゆらぎ吸収バッファ１０２から符号化音声データを取り出して、それに対応するデータ識別フラグが“０”であれば、８０ｂｙｔｅの符号化音声データを１０ｍｓｅｃ分のデジタル音声信号に復号する。

音声復号部１０３は、データ識別フラグと復号したデジタル音声信号を補間データ生成部１０５に出力するとともに、復号したデジタル音声信号を音声信号蓄積バッファ１０４に格納する。そして、例えば、音声復号装置をＰＣ上で動作するソフトウェアによって実現する場合、音声信号蓄積バッファ１０４はサウンドカードのバッファとして機能し、サウンドカードによって音声信号蓄積バッファ１０４に蓄積されているデジタル音声信号が逐一バッファから読み出され、８ｋＨｚのサンプリング周波数に基づいてデジタル音声信号を音声のアナログ信号に変換した後、スピーカ等に出力される。

次に、図３に示すフローチャートを用いて補間データ生成部１０５の動作について説明する。
まず、補間データ生成部１０５は、音声復号部１０３からデータ識別フラグと復号したデジタル音声信号を受信し、音声復号部１０３が符号化音声データの復号を実施したものか否かを判定する（ステップＳＴ１０１）。そして、音声復号部１０３が符号化音声データの復号を実施した場合、補間データ生成部１０５は、音声復号部１０３が復号したデジタル音声信号に後続する補間データを生成する。例えば、データ識別フラグが“０”である場合、補間データ生成部１０５は、音声復号部１０３が符号化音声データの復号を実施したと判定し、ＩＴＵ−Ｔ勧告Ｇ．７１１ ＡｐｐｅｎｄｉｘＩ準拠のＰＬＣ（Packet Loss Concealment）方式に基づいて補間データを作成し、音声復号部１０３が復号したデジタル音声信号の後続データとして音声信号蓄積バッファ１０４に追記する。

次に、音声復号部１０３が、ＩＰパケットの欠落によって損失した符号化音声データを処理する場合の動作について述べる。
ＩＰネットワークでのパケット損失や、ゆらぎ吸収バッファ１０２においてアンダーフローが発生した場合、ＩＰパケットの欠落により符号化音声データが存在しないことを示す情報がゆらぎ吸収バッファ１０２に格納される。例えば、ゆらぎ吸収バッファ１０２にデータ格納領域にダミーデータを格納し、データ識別フラグを“１”に設定してゆらぎ吸収バッファ１０２にデータを格納する。

次に、音声復号部１０３は、ゆらぎ吸収バッファ１０２から取り出すべきデータがＩＰパケットの欠落により無い場合、符号化音声データの復号およびデジタル音声信号の出力を実施せずに、補間データ生成部１０５に対して復号したデジタル音声信号が無いことを通知する。例えば、ゆらぎ吸収バッファ１０２からデータを取り出して、それに対応するデータ識別フラグが“１”であれば、データ識別フラグの情報を補間データ生成部１０５へ出力する。

次に、図３に示すフローチャートを用いて補間データ生成部１０５の動作について説明する。
まず、補間データ生成部１０５は、音声復号部１０３からデータ識別フラグと復号したデジタル音声信号（この場合復号音声信号は無い）を受信し、音声復号部１０３が符号化音声データの復号を実施したか否かを判定する（ステップＳＴ１０１）。そして、音声復号部１０３が符号化音声データの復号を実施しない場合、補間データ生成部１０５は、補間データ生成部１０５が前回生成した補間データに後続する補間データを生成する。例えば、データ識別フラグが“１”である場合、補間データ生成部１０５は、音声復号部１０３が符号化音声データの復号を実施しないと判定し、補間データ生成部１０５が前回生成した補間データの末尾のデータに後続する補間データを、ＩＴＵ−Ｔ勧告Ｇ．７１１ ＡｐｐｅｎｄｉｘＩ準拠のＰＬＣ方式に基づいて作成し、音声信号蓄積バッファ１０４に蓄積されているデジタル音声信号の末尾に追記する。

以上のように、この発明の実施の形態１によれば、音声復号部１０３によって符号化音声データを復号したデジタル音声信号を音声信号蓄積バッファ１０４に格納する度に、復号したデジタル音声信号に後続する補間データを補間データ生成部１０５によって生成して音声信号蓄積バッファ１０４にあらかじめ格納しておくことにより、音声復号装置をＰＣ上で動作するソフトウェアによって実現する場合において、同一のＰＣ上で音声復号装置以外のソフトウェアが実行され、ＣＰＵのリソースが一時的に音声復号装置以外のソフトウェアに占有されて、サウンドカードのバッファのアンダーフローが発生しても、あらかじめサウンドカードのバッファに蓄積している補間データの音声が再生されるため、通話中に音声が途切れるといった通話品質の劣化を抑制するという効果が得られる。

また、この発明の実施の形態１によれば、ＩＰパケットの欠落によって失われたデータに関しては、音声復号部１０３では補間データを作成せず、補間データ生成部１０５によって音声信号蓄積バッファ１０４に蓄積されているデジタル音声信号の末尾に追加する補間データのみ作成することにより、音声復号部１０３および補間データ生成部１０５の処理負荷を抑制することができるという効果が得られる。

また、この発明の実施の形態１では、音声信号蓄積バッファ１０４に格納する補間データの作成方式として、ＩＴＵ−Ｔ勧告Ｇ．７１１ ＡｐｐｅｎｄｉｘＩ準拠のＰＬＣ方式を使用しているが、例えば、過去に音声信号蓄積バッファ１０４に格納したデジタル音声信号やノイズデータを補間データとして格納するようにしてもよい。

なお、この発明の実施の形態１では、ＩＴＵ−Ｔ勧告Ｇ．７１１準拠の６４ｋｂｉｔ／ｓＰＣＭ方式を音声復号部１０３の復号アルゴリズムとしているが、例えばＩＴＵ−Ｔ勧告Ｇ．７２９準拠の８ｋｂｉｔ／ｓ ＣＳ−ＡＣＥＬＰ(Conjugate Structure-Algebraic Code Excited Linear Prediction）方式や３ＧＰＰ標準のＡＭＲ(Adaptive Multi Rate)方式のような、Ｇ．７１１以外の方式を復号アルゴリズムとして使用してもよい。

実施の形態２．
上記実施の形態１では、音声信号蓄積バッファ１０４の蓄積量とは無関係に補間データを作成しているが、この実施の形態２は音声信号蓄積バッファの蓄積量を監視して、必要に応じて補間データを作成するものである。

図４はこの発明の実施の形態２による音声復号装置の構成を示すブロック図である。この図において、パケット分解部１０１、ゆらぎ吸収バッファ１０２、音声復号部１０３は実施の形態１と同一であるため説明を省略する。
１０６は音声復号部１０３によって復号されたデジタル音声信号を蓄積すると共にバッファ内のデータ蓄積量を出力する音声信号蓄積バッファ、１０７は音声復号部１０３からデータ識別フラグと復号したデジタル音声信号を受信し、音声信号蓄積バッファ１０６のデータ蓄積量に応じて補間データを生成する補間データ生成部である。

次に動作について説明する。
なお、補間データ生成部１０７以外の動作に関しては、実施の形態１における、音声復号部１０３によって符号化音声データをデジタル音声信号に復号する場合の動作および、音声復号部１０３が、ＩＰパケットの欠落によって損失した符号化音声データを処理する場合の動作と同一であるため、説明を省略する。

次に、図５に示すフローチャートを用いて補間データ生成部１０７の動作について説明する。まず、補間データ生成部１０７は、音声信号蓄積バッファ１０６のデータ蓄積量を取得して、あらかじめ設定したデータ蓄積量のしきい値と比較する（ステップＳＴ１０４）。そして、音声信号蓄積バッファ１０６のデータ蓄積量があらかじめ設定したデータ蓄積量のしきい値よりも小さい場合は、図５に示すフローチャートにしたがって補間データの作成を行う（ステップＳＴ１０５）。
また、音声信号蓄積バッファ１０６のデータ蓄積量があらかじめ設定したデータ蓄積量のしきい値よりも大きい場合、補間データ生成部１０７は補間データの作成を行わずに処理を終了する。

次に、補間データ生成部１０７が補間データの作成を行う（ステップＳＴ１０５）動作について説明する。
音声復号部１０３が符号化音声データの復号を実施した場合は、補間データ生成部１０７は、音声復号部１０３からデータ識別フラグと復号したデジタル音声信号を受信し、音声復号部１０３が符号化音声データの復号を実施したものと判定して、音声復号部１０３が復号したデジタル音声信号に後続する補間データを生成する。例えば、データ識別フラグが“０”である場合、補間データ生成部１０７は、音声復号部１０３が符号化音声データの復号を実施したと判定し、ＩＴＵ−Ｔ勧告Ｇ．７１１ ＡｐｐｅｎｄｉｘＩ準拠のＰＬＣ方式に基づいて補間データを作成し、音声復号部１０３が復号したデジタル音声信号の後続データとして音声信号蓄積バッファ１０６に追記する。

音声復号部１０３が符号化音声データの復号を実施しない場合、補間データ生成部１０７は、補間データ生成部１０７が前回生成した補間データに後続する補間データを生成する。例えば、データ識別フラグが“１”である場合、補間データ生成部１０７は、音声復号部１０３が符号化音声データの復号を実施しないと判定し、補間データ生成部１０７が前回生成した補間データの末尾のデータに後続する補間データを、ＩＴＵ−Ｔ勧告Ｇ．７１１ ＡｐｐｅｎｄｉｘＩ準拠のＰＬＣ方式に基づいて作成し、音声信号蓄積バッファ１０６に蓄積されているデジタル音声信号の末尾に追記する。

以上のように、この発明の実施の形態２によれば、音声信号蓄積バッファ１０６の蓄積データ量が多い場合に、補間データ生成部１０７による補間データの作成を行わずに処理を終了することにより、音声復号装置をＰＣ上で動作するソフトウェアによって実現する場合において、同一のＰＣ上で音声復号装置以外のソフトウェアが実行され、ＣＰＵのリソースが一時的に音声復号装置以外のソフトウェアに占有されても、サウンドカードのバッファにアンダーフローが発生しないほど十分な量のデータが蓄積されていれば、補間データを作成しないため、補間データ生成部１０７の処理負荷を抑制することができるという効果が得られる。

また、この発明の実施の形態２によれば、補間データ生成部１０７により、音声信号蓄積バッファ１０６の蓄積データ量が少ない場合に、音声復号部１０３によって符号化音声データを復号したデジタル音声信号を音声信号蓄積バッファ１０６に格納する度に、復号したデジタル音声信号に後続する補間データを生成して音声信号蓄積バッファ１０６にあらかじめ格納しておくことにより、音声復号装置をＰＣ上で動作するソフトウェアによって実現する場合において、同一のＰＣ上で音声復号装置以外のソフトウェアが実行され、ＣＰＵのリソースが一時的に音声復号装置以外のソフトウェアに占有されて、サウンドカードのバッファのアンダーフローが発生しても、あらかじめサウンドカードのバッファに蓄積している補間データの音声が再生されるため、通話中に音声が途切れるといった通話品質の劣化を抑制するという効果が得られる。

さらに、この発明の実施の形態２によれば、補間データ生成部１０７により、音声信号蓄積バッファ１０６の蓄積データ量が少ない場合において、ＩＰパケットの欠落によって失われたデータに関しては、音声復号部１０３で補間データを作成せず、補間データ生成部１０７によって音声信号蓄積バッファ１０６に蓄積されているデジタル音声信号の末尾に追加する補間データのみ作成することにより、音声復号部１０３および補間データ生成部１０７の処理負荷を抑制することができるという効果が得られる。

なお、この発明の実施の形態２では、補間データ生成部１０７により、音声信号蓄積バッファ１０６の蓄積データ量が多い場合に、補間データの作成を行わずに処理を終了しているが、音声信号蓄積バッファ１０６の蓄積データ量に応じて作成する補間データ量を変更するようにしてもよい。例えば、音声信号蓄積バッファ１０６の蓄積データ量があらかじめ設定したしきい値を１０ｍｓｅｃ分上回った場合、補間データを通常よりも１０ｍｓｅｃ分少なく作成するようにしてもよい。このように制御することによって、より柔軟に補間データ量を調節することが可能となり、補間データ生成部１０７の処理負荷を効率よく抑制することができるという効果が得られる。

この発明はＶｏＩＰ技術を利用して音声パケットをリアルタイムで伝送する音声伝送方式に関し、音声の途切れなどの通話品質の劣化を防止して、相手との会話を支障なく行うことができ、例えばビルの入退出管理システムに利用可能である。

この発明の実施の形態１による音声復号装置の構成を示すブロック図である。 実施の形態１におけるゆらぎ吸収バッファに蓄積されるデータのフォーマット図である。 実施の形態１における補間データ生成部の動作を示すフローチャートである。 この発明の実施の形態２による音声復号装置の構成を示すブロック図である。 実施の形態２における補間データ生成部の動作を示すフローチャートである。

符号の説明

１０１；パケット分解部、１０２；ゆらぎ吸収バッファ、１０３；音声復号部、１０４、１０６；音声信号蓄積バッファ、１０５、１０７；補間データ生成部。

Claims (5)

1. ＰＣ(Personal Computer)によってパケット伝送された符号化音声データを復号する音声復号装置において、
   受信したパケットを分解して符号化音声データを抽出するパケット分解部と、
   パケット分解部によって抽出された符号化音声データを蓄積するゆらぎ吸収バッファと、
   ゆらぎ吸収バッファに蓄積されている符号化音声データを復号して音声信号を出力する音声復号部と、
   音声復号部によって復号された音声信号を蓄積する音声信号蓄積バッファと、
   音声復号部によって復号された音声信号を音声信号蓄積バッファに格納する度に、復号された音声信号に後続する補間データを作成して音声信号蓄積バッファに追加格納する処理を行う補間データ生成部を備えたことを特徴とする音声復号装置。
2. 上記音声復号部は、ＩＰパケットの欠落によって失われたデータに関しては、復号処理は行わず、音声信号の出力動作を中断し、上記補間データ生成部は、失われたデータを補間する補間データを作成して、上記音声信号蓄積バッファに格納されたデータの末尾に追加格納する構成にされたことを特徴とする請求項１記載の音声復号装置。
3. 上記補間データ生成部は、上記音声信号蓄積バッファのデータ蓄積量が所定量よりも少ない場合において、音声復号部によって復号された音声信号を音声信号蓄積バッファに格納する度に、復号された音声信号に後続する補間データを作成して音声信号蓄積バッファに追加する構成にされたことを特徴とする請求項１または２記載の音声復号装置。
4. 上記補間データ生成部は、音声復号部によって復号された音声信号を音声信号蓄積バッファに格納する度に、復号された音声信号に後続する補間データを作成する際、その作成量を、上記音声信号蓄積バッファのデータ蓄積量に応じて変更し、音声信号蓄積バッファに追加する構成にされたことを特徴とする請求項１または２記載の音声復号装置。
5. 上記補間データ生成部は、復号された音声信号に後続する補間データを、ＩＴＵ−Ｔ勧告Ｇ．７１１ ＡｐｐｅｎｄｉｘＩ準拠のＰＬＣ(Packet Loss Concealment)方式に基づいて作成する構成にされたことを特徴とする請求項１〜４の何れか１つ記載の音声復号装置。

Images