JP3854188B2 - Audio signal processing device - Google Patents

Audio signal processing device Download PDF

Info

Publication number
JP3854188B2
JP3854188B2 JP2002122863A JP2002122863A JP3854188B2 JP 3854188 B2 JP3854188 B2 JP 3854188B2 JP 2002122863 A JP2002122863 A JP 2002122863A JP 2002122863 A JP2002122863 A JP 2002122863A JP 3854188 B2 JP3854188 B2 JP 3854188B2
Authority
JP
Japan
Prior art keywords
signal
encoding
frequency component
audio signal
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002122863A
Other languages
Japanese (ja)
Other versions
JP2003316400A (en
Inventor
隆 小原
公生 三関
岳彦 井阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002122863A priority Critical patent/JP3854188B2/en
Publication of JP2003316400A publication Critical patent/JP2003316400A/en
Application granted granted Critical
Publication of JP3854188B2 publication Critical patent/JP3854188B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、一般的には例えば携帯電話等の移動通信分野のディジタル音声通信方式に適用する音声信号処理装置に関し、特に、音声符号化処理でのノイズ抑圧機能およびエコー抑圧機能に関する。
【0002】
【従来の技術】
一般的に、例えば携帯電話などの移動通信分野では、ディジタル音声通信方式が応用されている。ディジタル音声通信方式では、音声データを圧縮して伝送するために、音声符号化(圧縮符号化)方式が利用されている。
【0003】
移動通信分野では、代表的な音声符号化方式としてCELP(Code Excited Linear Prediction)方式と呼ばれる低ビットレート符号化方式が周知である。このような方式により音声符号化を行なう場合に、音声信号だけでなく、高周囲雑音と呼ぶノイズ成分を含む音声信号を符号化することになる。しかし、ノイズ成分やエコー成分を含む音声信号をそのまま符号化すると、品質が劣化した音声符号化データを生成することが知られている。このため、一般的には、音声符号化回路には、ノイズ成分を抑圧した音声信号のみが入力されるように、ノイズキャンセラと呼ぶノイズ抑圧回路が使用されたり、エコー成分を抑圧した音声信号が入力されるように、エコーキャンセラやボイススイッチといったエコー抑圧回路が使用される。
【0004】
ノイズキャンセラは、例えば音声信号がないとき、即ち周囲ノイズ信号のみ状態を判定して、その特徴を分析し、音声信号とノイズ成分とが混合している区間で当該特徴を用いてノイズ成分を抑圧するように構成されている。エコーキャンセラは、例えば受話側に音声信号が到来しかつ送話側は何も通話していないとき、即ち受話のシングルトーク状態を判定して、受話から送話への回り込みの音響特性を学習し、当該音響特性を用いて送話側の信号に混入したエコー成分を抑圧するように構成されている。ボイススイッチは、例えば受話と送話で信号パワーを比較してパワーの小さい方にロスを入れて、エコー成分を抑圧するように構成されている。
【0005】
また、現在の携帯電話で使用されている音声符号化方式は、主として音声信号が存在する帯域に制限されている。近年では、更なる高品質を求めるために、音声信号帯域より広い帯域で音声符号化を行う高域音声符号化方式も標準化されつつある。このような広帯域音声符号化方式においても、CELP方式を利用することになり、高周囲雑音であるノイズ成分を抑圧するためのノイズキャンセラが必要となったり、エコー成分を抑圧するためのエコーキャンセラやボイススイッチが必要となる。
【0006】
図17は、ノイズキャンセラを使用した広帯域音声符号化方式を採用した音声信号処理装置の一般的構成を示すブロック図である。
【0007】
音声処理装置は、マイクロホン10に入力された音声信号をA/D変換器11でディジタル音声信号に変換して、当該ディジタル音声信号から音声符号化データ(TX)を生成する符号化系と、音声符号化データ(RX)をD/A変換器21でアナログ信号に変換して、スピーカ20から音声出力を行なう再生系(復号化系)とに大別される。
【0008】
符号化系は、マイクロホン10とA/D変換器11以外に、ノイズキャンセラ70、エンコーダ71及びマルチプレクサ(データ多重部)14を有する。ノイズキャンセラ70は、ディジタル音声信号から高周囲雑音であるノイズ成分を抑圧する回路である。エンコーダ71は、ノイズ成分を抑圧されたディジタル音声信号に対して、所定のアルゴリズム(例えばCELP方式)で圧縮符号化する音声符号化回路である。一方、再生系は、通常ではメモリに格納された音声符号化データを元の音声データに復号化するために、ディマルチプレクサ23及びデコーダ(音声復号化回路)22を有する。
【0009】
ここで、特に広帯域方式のエンコーダ71は、低域用音声符号化器(Lコーダと表記する場合がある)700と、高域用音声符号化器(Hコーダと表記する場合がある)701とに分かれている。ところで、ノイズキャンセラ70を経由したディジタル音声信号は、音声信号としてパワーがなく情報的にもさほど重要でない高域音声信号成分と、その他の低域音声信号成分とに分けられる。ある符号化モード時には、高域の音声信号成分は不要であり、予め音声符号化データから除去する方式がある。このため、マルチプレクサ14は、低域音声信号成分のみの音声符号化データを出力したり、また高域の音声信号成分も含む音声符号化データを出力する。
【0010】
【発明が解決しようとする課題】
前述したように、低域用音声符号化器700と、高域用音声符号化器701とに分かれているエンコーダでは、符号化モードに従って、Lコーダ700のみが動作することがある。このような符号化モードでは、ノイズキャンセラ70は、A/D変換器11から出力される全ての帯域のディジタル音声信号に対してノイズ抑圧処理を実行する必要は無く、低域の音声信号成分のみに対するノイズ抑圧処理でよい。
【0011】
しかしながら、従来の方式では、低域用音声符号化器700のみが動作するモード時においても、ノイズキャンセラ70は全ての帯域のディジタル音声信号に対して処理を実行する。ここで、通常では、ノイズキャンセラ70、エンコーダ71、及びマルチプレクサ14は、ディジタル信号プロセッサ(DSP)により構成されている。このため、従来の方式では、DSPに対して、ノイズキャンセラ70の機能を実現する上で、過大なデータ処理量やメモリ量が要求されている問題がある。
【0012】
そこで、本発明の目的は、音声品質の低下を招くことなく、特に符号化系でのノイズキャンセラの機能に要するデータ処理量やメモリ量を削減できるようにして、結果として音声信号処理効率を向上できる音声信号処理装置を提供することにある。
【0013】
図18はエコーキャンセラ72を使用した広帯域音声符号化方式を採用した音声信号処理装置の一般的構成を示すブロック図であるが、Lコーダ700のみが動作する場合は、低域の音声信号成分のみに対するエコー抑圧処理でよく、同様に、データ処理量やメモリ量の削減が望まれる。
【0014】
また、図19のようにボイススイッチ73についても同様のことが望まれる。そこで、エコー抑圧機能に要するデータ処理量やメモリ量についても、これらを削減して音声信号処理効率を向上することを本発明の目的とする。
【0015】
【課題を解決するための手段】
本発明の観点は、特に広帯域の音声符号化回路(エンコーダ)とノイズキャンセラとを有する音声信号処理装置において、当該エンコーダに含まれる高域用音声符号化器を動作させないモード時には、高域用ノイズキャンセラ機能を無効する音声信号処理装置に関する。換言すれば、低域用音声符号化器のみを動作させるモード時には、低域用ノイズキャンセラ機能を有効にする音声信号処理装置である。
【0016】
本発明の観点に従った音声信号処理装置は、ディジタル音声信号を符号化する音声信号処理装置において、前記ディジタル音声信号を高域成分の信号と低域成分の信号に分割する分割手段と、前記高域成分の信号の符号化を指示する動作モード信号に応じて、前記高域成分の信号を符号化する第1の符号化手段と、前記低域成分の信号を符号化する第2の符号化手段と、前記第1及び第2の符号化手段で符号化される前に、前記ディジタル音声信号に含まれるノイズ成分を抑圧する第1の抑圧手段と、前記第2の符号化手段で符号化される前に、前記低域成分の信号に含まれるノイズ成分を抑圧する第2の抑圧手段と、前記動作モード信号により前記高域成分の信号の符号化が指示されない場合には、前記ディジタル音声信号に対して前記第2の符号化手段により前記低域成分の信号を符号化し、かつ前記第1の抑圧手段を動作させないように制御する制御手段とを備えた構成である。
【0017】
このような構成により、高域音声信号成分に対する音声符号化処理を実行せずに、低域音声信号成分のみに対する音声符号化処理を実行するときに、低域音声信号成分に対してのみノイズ抑圧処理を実行できる。従って、例えばDSPによりノイズ抑圧処理を実行するような構成では、高域音声符号化処理を実行しないモード時には、ノイズキャンセラの機能に要するデータ処理量やメモリ量を削減することができる。従って、結果として音声信号処理効率を向上できる音声信号処理装置を提供できる。
【0018】
また、別の本発明の観点は、広帯域のエンコーダとエコー抑圧手段(エコーキャンセラ、ボイススイッチ)とを有する音声信号処理装置において、当該エンコーダに含まれる高域用音声符号化器を動作させないモード時には、高域用エコー抑圧手段の機能を無効する音声信号処理装置に関する。換言すれば、低域用音声符号化器のみを動作させるモード時には、低域用エコー抑圧手段の機能を有効にする音声信号処理装置である。
【0019】
本発明の観点に従った音声信号処理装置は、ディジタル音声信号を高域成分の信号と低域成分の信号に分割する分割手段と、前記高域成分の信号の符号化を指示する動作モード信号に応じて、前記高域成分の信号を符号化する第1の符号化手段と、前記低域成分の信号を符号化する第2の符号化手段と、受話音声信号に起因して生じ、前記ディジタル音声信号に含まれるエコー成分を抑圧する第1の抑圧手段と、前記受話音声信号に起因して生じ、前記低域成分の信号に含まれるエコー成分を抑圧する第2の抑圧手段と、前記動作モード信号により前記高域成分の信号の符号化が指示されない場合には、前記ディジタル音声信号に対して前記低域成分の信号を符号化し、かつ前記第1の抑圧手段を動作させないように制御する制御手段とを備えた構成である。
【0020】
このような構成により、高域音声信号成分に対する音声符号化処理を実行せずに、低域音声信号成分に対してのみ音声符号化処理を実行するときに、低域音声信号成分に対してのみエコー抑圧処理を実行できる。従って、例えばDSPによりエコー抑圧処理を実行するような構成では、高域音声符号化処理を実行しないモード時には、エコーキャンセラやボイススイッチの機能に要するデータ処理量やメモリ量を削減することができる。従って、結果として音声信号処理効率を向上できる音声信号処理装置を提供できる。
【0021】
【発明の実施の形態】
本発明の主要構成は、図16の(A)〜(D)に示すように4つのパターンに分類される。図16(A)は、帯域分割手段によって符号化系の信号を帯域分割した後に低域信号に対して補正を行った後に、高域と低域の各々を符号化する。(B)は帯域分割手段によって符号化系の信号を帯域分割して、さらに高域と低域の各々を符号化した後に高域符号について補正を行う。(C)は(A)において低域符号化系の信号を補正する際に、低域復号化後の信号も参照する。(D)は(B)において高域符号化系の信号を補正する際に、高域復号化後の信号も参照する。
【0022】
以上のような構成パターンとすることで、帯域分割前よりも低いサンプリングレートで補正処理を行うことができ、データ処理量やメモリ量を削減することができる。
【0023】
これを踏まえた上で、以下図面を参照して、本発明の実施の形態を説明する。
【0024】
(第1の実施形態)
図1は、第1の実施形態に関する音声信号処理装置の要部を示すブロック図である。
【0025】
本装置は、図1に示すように、大別してディジタル音声信号から音声符号化データ(TX)を生成する符号化系と、通常ではメモリ15に格納された音声符号化データ(RX)を元の音声信号に復号化する再生系(復号化系)とから構成される。
【0026】
復号化系は、マイクロホン10に入力された音声信号をディジタル音声信号に変換するA/D変換器11と、ノイズキャンセラ12と、エンコーダ13と、マルチプレクサ(データ多重部)14とを有する。一方、再生系は、スピーカ20と、D/A変換器21と、デコーダ(音声復号化回路)22と、ディマルチプレクサ23とを有する。なお、再生系は、図1に示す従来のものと同様のため説明を省略する。また、符号化系において、ノイズキャンセラ12、エンコーダ13、及びマルチプレクサ14は、通常では、ディジタル信号プロセッサ(DSP)により構成されている。
【0027】
エンコーダ13は、ディジタル音声信号に対して、所定のアルゴリズム(例えばCELP方式)で圧縮符号化処理して、音声符号化データを生成する音声符号化回路である。エンコーダ13は広帯域方式の音声符号化回路であり、低域用音声符号化器130と、高域用音声符号化器(Hコーダと表記する場合がある)131とに分かれている。マルチプレクサ14は、エンコーダ13により生成された音声符号化データを、伝送路、モデム部または誤り訂正部等の特性に応じた形態に変換してメモリ15に出力する。
【0028】
ノイズキャンセラ12は、エンコーダ13の動作モードを設定するモード信号(HM)に従って、ノイズ抑圧機能の有効又は無効を制御される。このモード信号(HM)は、例えば携帯電話のCPUから出力される信号であり、高域用音声符号化器(Hコーダ)131を動作させるか否かを決定する。ここでは、便宜的に、「HM=1」のときにHコーダ131を動作させて、また「HM=0」のときにHコーダ131を動作させないものと想定する。
【0029】
ノイズキャンセラ12は、「HM=1」のときには動作して、A/D変換器11から出力されたディジタル音声信号に対してノイズ成分を抑圧する。一方、ノイズキャンセラ12は、「HM=0」のときにはノイズ抑圧処理を実行せずに、A/D変換器11から出力されたディジタル音声信号(VS)をそのまま通過させる。
【0030】
低域用音声符号化器130は、図2に示すように、ダウンサンプル部201及び低域符号化器(Lコーダ)202を含むモジュール200と、ノイズキャンセラ部203とを有する。ダウンサンプル部201は、A/D変換器11から出力されるディジタル音声信号(VS)に対して低域処理を行うために所定のサンプル数を削減するようにダウンサンプルする。
【0031】
ノイズキャンセラ部203は、「HM=0」のときには、ダウンサンプル部201でダウンサンプルされたディジタル音声信号(VS)に対するノイズ抑圧処理を実行して、Lコーダ202に出力する。一方、「HM=1」のときには、ノイズキャンセラ部203は、ダウンサンプル部201でダウンサンプルされたディジタル音声信号(VS)に対するノイズ抑圧処理を実行せずに、そのままLコーダ202に通過させる。
【0032】
(第1の実施形態の動作)
以下図1及び図2を参照して、本実施形態の符号化系の動作を説明する。
【0033】
例えば携帯電話のCPUからモード信号HMが出力されて、エンコーダ13の動作モード(HM=1/0)が設定される。A/D変換器11は、マイクロホン10に入力された音声信号をディジタル音声信号に変換する。
【0034】
ここで、高域用音声符号化器(Hコーダ)131を動作させる動作モードが設定された場合を想定する(HM=1)。ノイズキャンセラ12は、「HM=1」のときには動作して、A/D変換器11から出力されたディジタル音声信号に対してノイズ成分を抑圧した後に、エンコーダ13に出力する。
【0035】
エンコーダ13では、Hコーダ131は高域音声信号に対する符号化処理を実行する。一方、低域用音声符号化器130では、「HM=1」のときには、ノイズキャンセラ部203は、ダウンサンプル部201でダウンサンプルされたディジタル音声信号(VS)に対するノイズ抑圧処理を実行せずに、そのままLコーダ202に通過させる。但し、ダウンサンプルされたディジタル音声信号(VS)は、前段のノイズキャンセラ12によりノイズ抑圧処理されている。Hコーダ131及びLコーダ202の各出力(音声符号化データ)は、マルチプレクサ14により多重化されてメモリ15に格納される。
【0036】
一方、高域用音声符号化器(Hコーダ)131を動作させない動作モードを設定された場合を想定する(HM=0)。ノイズキャンセラ12は、「HM=0」のときにはノイズ抑圧処理を実行せずに、A/D変換器11から出力されたディジタル音声信号(VS)をそのまま通過させる。Hコーダ131は非動作状態である。
【0037】
低域用音声符号化器130では、「HM=0」のときには、ノイズキャンセラ部203は、ダウンサンプル部201でダウンサンプルされたディジタル音声信号(VS)に対するノイズ抑圧処理を実行して、Lコーダ202に出力する。Lコーダ202は、低域用の音声符号化データを生成してマルチプレクサ14に出力する。
【0038】
以上のように本実施形態によれば、符号化系の動作モードがHコーダ131を動作させない場合(HM=0)、エンコーダ13の前段に設けられたノイズキャンセラ12も動作しない状態となる。従って、A/D変換器11から出力されたディジタル音声信号(VS)をそのまま通過して、エンコーダ13の低域用音声符号化器130に与えられる。
【0039】
低域用音声符号化器130では、「HM=0」のときには、ノイズキャンセラ部203は動作状態になり、ダウンサンプル部201でダウンサンプルされたディジタル音声信号(VS)に対するノイズ抑圧処理を実行して、Lコーダ202に出力する。これにより、低域用音声符号化器130は、ノイズ成分が抑圧された低域用ディジタル音声信号から低域用音声符号化データを生成する。
【0040】
従って、高域用音声符号化器131を動作させない動作モード時には、エンコーダ13の前段に設けられたノイズキャンセラ12を非動作状態にするため、当該ノイズキャンセラの機能に必要なDSPでのデータ処理量やメモリ量を削減することができる。一方、低域用音声符号化器130では、低域用のノイズキャンセラ部203が機能するため、音声品質の劣化を招くことなく、低域用音声符号化データを生成することができる。この場合、低域用のノイズキャンセラ部203は、ダウンサンプルされた(サンプル数が削減された)ディジタル音声信号に対してノイズ抑圧処理を実行する。従って、ノイズキャンセラ部203の機能に必要なDSPでのデータ処理量やメモリ量は、高域のノイズキャンセラ12を機能させる場合と比較して相対的に削減することができる。
【0041】
(第2の本実施形態)
図3は、第2の実施形態に関する音声信号処理装置の要部を示すブロック図である。
【0042】
本実施形態の符号化系は、高域ノイズキャンセラが無く、低域用ノイズキャンセラ(LNC)を含む低域用音声符号化器300と、高域用ノイズキャンセラ(HNC)を含む高域用音声符号化器301とを有するエンコーダ30を備えたものである。なお、再生系(復号化系)は、第1の実施形態(図1を参照)と同様であるため説明を省略する。
【0043】
当該エンコーダ30において、低域用音声符号化器300は、図4に示すように、低域符号化器(Lコーダ)400、ダウンサンプル部401、及び低域用ノイズキャンセラ部(LNC)402を有する。ダウンサンプル部401は、A/D変換器11から出力されるディジタル音声信号(VS)に対して低域処理を行うために所定のサンプル数を削減するようにダウンサンプルする。LNC402は、ダウンサンプルされたディジタル音声信号(VS)に対して、主に低域の高周囲雑音を抑圧するノイズ抑圧処理を実行する。Lコーダ400は、LNC402によりノイズ抑圧されたディジタル音声信号(ダウンサンプルされた信号)から低域用の音声符号化データを生成してマルチプレクサ14に出力する。
【0044】
一方、高域用音声符号化器301は、高域符号化器(Hコーダ)500及び高域用ノイズキャンセラ部(HNC)501を有する。Hコーダ500は、前述のモード信号HMにより設定される動作モード(HM=1/0)に応じて動作するか否かが決定される。即ち、「HM=1」のときには、Hコーダ500は動作し、A/D変換器11から出力されたディジタル音声信号(VS)の高域音声信号に対する符号化処理を実行する。HNC501は、高域の高周囲雑音を抑圧するノイズ抑圧処理を実行する。HNC501及びLコーダ400の各出力(音声符号化データ)は、マルチプレクサ14により多重化されてメモリ15に格納される。
【0045】
ここで、「HM=0」のときには、Hコーダ500は非動作状態となる。この動作モードでは、低域用音声符号化器300のみが動作して、Lコーダ400の出力である音声符号化データをマルチプレクサ14に送出する。
【0046】
以上のように本実施形態によれば、符号化系の動作モードがHコーダ500を動作させない場合(HM=0)、高域用音声符号化器301は非動作状態となり、低域用音声符号化器300のみが動作する。従って、「HM=0」のときには、低域用音声符号化器300に含まれるLNC402のみが動作して、ダウンサンプル部401でダウンサンプルされたディジタル音声信号(VS)に対するノイズ抑圧処理を実行する。従って、高域用音声符号化器301を動作させない動作モード時には、当該ノイズキャンセラの機能に必要なDSPでのデータ処理量やメモリ量を削減することができる。
【0047】
(VAD機能)
ところで、低域用音声符号化器300は、図4に示すように、ディジタル音声信号(VS)から入力された音声が有音または無音を判定するVAD(Voice Activity Detection)機能を有し、無音を検出したときに所定のフラグ(VADF)を高域用音声符号化器301に出力する。
【0048】
高域用音声符号化器301では、Hコーダ500の出力は、主として音声信号の高域ゲインに関する音声符号化データである。HNC501は、当該音声符号化データを処理することにより簡易的にノイズをキャンセルするノイズ抑圧部である。HNC501は、無音(VADF=0)のときには、高域のゲインが雑音信号(ノイズ)のゲインと判断し、Hコーダ500からの出力信号から当該ゲインに応じた値を引き、その結果をマルチプレクサ14に出力する。一方、HNC501は、有音(VADF=1)のときには、無音(VADF=0)のときに差し引いた値をHコーダ500の入力から差し引き、その結果をマルチプレクサ14に出力する。
【0049】
ここで、低域用音声符号化器300では、VAD機能は、Lコーダ400の内部に設けられている。具体的には、Lコーダ400は、図5(A)に示すように、VAD部50と、有音コーダ部51と、無音コーダ部52とを有する。無音コーダ部52は、VAD部50から無音を示すフラグ(VADF=0)が出力されたときに機能する。また、有音コーダ部51は、VAD部50から有音を示すフラグ(VADF=1)が出力されたときに機能する。VAD部50は、当該フラグ(VADF=1/0)を高域用音声符号化器301のHNC501に出力する。
【0050】
また、Lコーダ400は、図5(B)に示すように、VAD部50と、有音コーダ部51と、無音コーダ部52と、スイッチ部53を有する構成でもよい。スイッチ部53は、VAD部50から無音を示すフラグ(VADF=0)が出力されたときに、ディジタル音声信号(VS)を無音コーダ部52に転送する。
【0051】
また、スイッチ部53は、VAD部50から有音を示すフラグ(VADF=1)が出力されたときに、ディジタル音声信号(VS)を有音コーダ部51に転送する。VAD部50は、当該フラグ(VADF=1/0)を高域用音声符号化器301のHNC501に出力する。
【0052】
(変形例)
図6は、第2の実施形態の変形例に関するブロック図である。
【0053】
本変形例は、高域用音声符号化器301において、例えば携帯電話のCPUからの動作モード信号(MS)に応じてHNC501の動作を制御する構成である。具体的には、動作モード信号(MS)としては、例えば音楽用の音声信号を処理するモードを設定する信号である。
【0054】
高域用音声符号化器301では、CPUから音楽用の音声信号に対する高域符号化処理を実行するときには、HNC501は動作モード信号(MS=1)に応じて動作し、音楽用として有効な高域ノイズの抑圧処理を実行する。
【0055】
なお、CPUから設定される動作モード信号(MS)としては、音楽用に限定されず、各種のモードを設定する場合にも適用できる。
【0056】
(第3の本実施形態)
図7は、第3の実施形態に関する音声信号処理装置の要部を示すブロック図であり、図8は図7の低域用音声符号化器172及び低域用音声復号化器222の構成を示すブロック図である。
【0057】
本実施形態は、図1と図7の比較、図2と図8の比較からも分かるように、第1の実施形態において、ノイズキャンセラをエコーキャンセラで置き換え、エンコーダ22から広帯域エコーキャンセラ16への受話音声信号(BR信号)入力を加え、低域用音声復号化器222から低域用音声符号化器172(エコーキャンセラ204)へのLBR信号入力を加えたものである。
【0058】
エコーキャンセラ16と204はどちらか一方が動作し、高域用音声符号化器171の動作時は16のみが動作し、171の非動作時は204のみが動作する。従って、高域用音声符号化器171の非動作時には、当該エコーキャンセラの機能に必要なDSPでのデータ処理量やメモリ量を削減することができる。
【0059】
(第4の本実施形態)
図9は、第4の実施形態に関する音声信号処理装置の要部を示すブロック図であり、図10は図9のエンコーダ31の構成を示すブロック図である。
【0060】
本実施形態は、図3と図9の比較、図4と図10の比較からも分かるように、第2の実施形態において、ノイズキャンセラをエコーキャンセラで置き換え、低域用音声復号化器222から低域用音声符号化器312(低域用エコーキャンセラ403)へのLBR信号入力を加え、高域用音声復号化器221から高域用音声符号化器313(高域用エコーキャンセラ502)へのHBR信号入力を加えたものである。
【0061】
高域音声符号化器500が非動作時、高域用エコーキャンセラ502は非動作状態となり、低域用エコーキャンセラ403のみが動作する。従って、高域用音声符号化器500が非動作時には、当該エコーキャンセラの機能に必要なDSPでのデータ処理量やメモリ量を削減することができる。
【0062】
(変形例)
図11は、第4の実施形態の変形例に関するブロック図である。
【0063】
本変形例は、高域用音声符号化器313において、例えば携帯電話のCPUからの動作モード信号(RBT)に応じてHEC502の動作を制御する構成である。具体的には、動作モード信号(RBT)としては、例えば電話のプッシュ音、着信メロディーもしくはアラーム音のように周波数的に極端に偏りのある信号を処理するモードを設定する信号である。
【0064】
HEC502は動作モード信号(RBT=1)に応じて動作し、HEC501およびLEC403の学習を停止する。
【0065】
なお、CPUから設定される動作モード信号(RBT)としては、プッシュ音、着信メロディもしくはアラーム音に限定されず、符号化モード等の各種モードを設定する場合にも適用できる。
【0066】
また、図7〜図10におけるエコーキャンセラをボイススイッチに置き換えて、図12〜図15に示すような実施形態も考えられる。図12、図13は低域ボイススイッチLVS81と高域ボイススイッチHVS82を組み合わせたものであり、図14、図15は高域ボイススイッチと低域ボイススイッチを組み合わせたものである。いずれも高域用音声符号化器が動作しないときに、低域のみのボイススイッチを動作させることにより、データ処理量およびメモリ量を削減することができる。
【0067】
【発明の効果】
以上詳述したように本発明によれば、特に広帯域の音声符号化回路(エンコーダ)とノイズキャンセラ、エコーキャンセラもしくはボイススイッチのいずれか一つ以上とを有する音声信号処理装置において、音声品質の低下を招くことなく、特に符号化系でのノイズキャンセラ、エコーキャンセラもしくはボイススイッチの機能に要するデータ処理量やメモリ量を削減できる。従って、結果として音声信号処理効率を向上できる音声信号処理装置を提供することができる。
【0068】
具体的には、高域音声信号成分に対する音声符号化処理を実行せずに、低域音声信号成分のみに対する音声符号化処理を実行するときに、低域音声信号成分に含まれるノイズ成分あるいはエコー成分の抑圧処理を実行できる。従って、例えばDSPによりノイズあるいはエコーの抑圧処理を実行するような構成では、高域音声符号化処理を実行しないモード時には、ノイズキャンセラ、エコーキャンセラもしくはボイススイッチの機能に要するデータ処理量やメモリ量を削減することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に関する音声信号処理装置の要部を示すブロック図。
【図2】同実施形態に関する低域用音声符号化器の構成を示すブロック図。
【図3】本発明の第2の実施形態に関する音声信号処理装置の要部を示すブロック図。
【図4】同実施形態に関するエンコーダの構成を示すブロック図。
【図5】同実施形態に関するVAD機能を説明するためのブロック図。
【図6】第2の実施形態の変形例に関するブロック図。
【図7】本発明の第3の実施形態に関する音声信号処理装置の要部を示すブロック図。
【図8】同実施形態に関する低域用音声符号化器の構成を示すブロック図。
【図9】本発明の第4の実施形態に関する音声信号処理装置の要部を示すブロック図。
【図10】同実施形態に関するエンコーダの構成を示すブロック図。
【図11】第4の実施形態の変形例に関するブロック図。
【図12】本発明の第5の実施形態に関する音声信号処理装置の要部を示すブロック図。
【図13】同実施形態に関する低域用音声符号化器の構成を示すブロック図。
【図14】本発明の第6の実施形態に関する音声信号処理装置の要部を示すブロック図。
【図15】同実施形態に関するエンコーダの構成を示すブロック図。
【図16】主要構成を示すブロック図。
【図17】従来の第1の音声信号処理装置の一般的構成を示すブロック図。
【図18】従来の第2の音声信号処理装置の一般的構成を示すブロック図。
【図19】従来の第3の音声信号処理装置の一般的構成を示すブロック図。
【符号の説明】
1…帯域分割手段
2…補正手段
3…低域符号化手段
4…高域符号化手段
5…低域復号化手段
10…マイクロホン
11…A/D変換器
12…ノイズキャンセラ
13,17,30,32,71…エンコーダ(音声符号化器)
14…マルチプレクサ
15…メモリ
16,72…広域用エコーキャンセラ
20…スピーカ
21…D/A変換器
22,24…デコーダ(音声復号化回路)
23…ディマルチプレクサ
50…VAD部
73,82…広域用ボイススイッチ
80…高域用ボイススイッチ
81…低域用ボイススイッチ
130,173,202,242,320,400…低域符号化器(Lコーダ)
131,171,241,321,500…高域符号化器(Hコーダ)
172,300,310…低域用音声符号化器
200,205…モジュール
201,401…ダウンサンプル部
203…ノイズキャンセラ部
204…低域用エコーキャンセラ部
221,701…高域復号化器(Hデコーダ)
222,223,230,702…低域復号化器(Lデコーダ)
231…アップサンプル部
301,311…高域用音声符号化器
402…低域用ノイズキャンセラ部(LNC)
403…低域用エコーキャンセラ部(LEC)
501…高域用ノイズキャンセラ部(HNC)
502…高域用エコーキャンセラ部(HEC)
[0001]
BACKGROUND OF THE INVENTION
The present invention relates generally to an audio signal processing apparatus applied to a digital audio communication system in the mobile communication field such as a mobile phone, and more particularly to a noise suppression function and an echo suppression function in audio encoding processing.
[0002]
[Prior art]
In general, in the mobile communication field such as a mobile phone, a digital voice communication system is applied. In the digital voice communication system, a voice coding (compression coding) system is used to compress voice data for transmission.
[0003]
In the mobile communication field, a low bit rate coding method called a CELP (Code Excited Linear Prediction) method is well known as a typical speech coding method. When speech coding is performed by such a method, not only a speech signal but also a speech signal including a noise component called high ambient noise is coded. However, it is known that when a speech signal including a noise component and an echo component is encoded as it is, speech encoded data with degraded quality is generated. For this reason, in general, a noise suppression circuit called a noise canceller is used in the speech coding circuit so that only a speech signal in which the noise component is suppressed is input, or a speech signal in which the echo component is suppressed is input. As described above, an echo suppression circuit such as an echo canceller or a voice switch is used.
[0004]
For example, when there is no audio signal, the noise canceller determines the state of only the ambient noise signal, analyzes the feature, and suppresses the noise component using the feature in a section where the audio signal and the noise component are mixed. It is configured as follows. The echo canceller learns the acoustic characteristics of wraparound from reception to transmission, for example, when a voice signal arrives at the reception side and the transmission side is not talking at all, that is, determines the single talk state of the reception. The echo component mixed in the signal on the transmission side is suppressed using the acoustic characteristics. The voice switch is configured to suppress the echo component by comparing the signal power between receiving and transmitting, for example, and putting a loss in the smaller power.
[0005]
In addition, the voice encoding method used in current mobile phones is mainly limited to a band in which a voice signal exists. In recent years, in order to obtain higher quality, a high-frequency audio encoding method that performs audio encoding in a wider band than the audio signal band is being standardized. Even in such a wideband speech coding system, the CELP system is used, so that a noise canceler for suppressing a noise component which is a high ambient noise is required, or an echo canceller or voice for suppressing an echo component. A switch is required.
[0006]
FIG. 17 is a block diagram showing a general configuration of an audio signal processing apparatus adopting a wideband audio encoding method using a noise canceller.
[0007]
The audio processing apparatus converts an audio signal input to the microphone 10 into a digital audio signal by the A / D converter 11 and generates audio encoded data (TX) from the digital audio signal, and an audio The encoded data (RX) is roughly divided into a reproduction system (decoding system) that converts audio signals into analog signals by the D / A converter 21 and outputs sound from the speaker 20.
[0008]
The encoding system includes a noise canceller 70, an encoder 71, and a multiplexer (data multiplexing unit) 14 in addition to the microphone 10 and the A / D converter 11. The noise canceller 70 is a circuit that suppresses a noise component that is high ambient noise from a digital audio signal. The encoder 71 is a speech encoding circuit that compresses and encodes a digital speech signal whose noise component is suppressed by a predetermined algorithm (for example, CELP method). On the other hand, the reproduction system usually includes a demultiplexer 23 and a decoder (audio decoding circuit) 22 in order to decode audio encoded data stored in a memory into original audio data.
[0009]
Here, in particular, the wideband encoder 71 includes a low-frequency speech encoder (sometimes referred to as an L coder) 700, and a high-frequency speech encoder (sometimes referred to as an H coder) 701. It is divided into. By the way, the digital audio signal that has passed through the noise canceller 70 is divided into a high frequency audio signal component that has no power as an audio signal and is not so important in terms of information, and other low frequency audio signal components. In a certain encoding mode, there is a method in which a high-frequency audio signal component is unnecessary and is previously removed from audio encoded data. Therefore, the multiplexer 14 outputs audio encoded data including only the low frequency audio signal component or outputs audio encoded data including the high frequency audio signal component.
[0010]
[Problems to be solved by the invention]
As described above, in the encoder divided into the low frequency speech encoder 700 and the high frequency speech encoder 701, only the L coder 700 may operate according to the encoding mode. In such an encoding mode, the noise canceller 70 does not need to perform noise suppression processing on the digital audio signals in all the bands output from the A / D converter 11, but only on the low frequency audio signal components. Noise suppression processing may be used.
[0011]
However, in the conventional method, even in the mode in which only the low-band speech encoder 700 operates, the noise canceller 70 performs processing on digital speech signals in all bands. Here, normally, the noise canceller 70, the encoder 71, and the multiplexer 14 are configured by a digital signal processor (DSP). For this reason, the conventional method has a problem that an excessive data processing amount and memory amount are required for the DSP to realize the function of the noise canceller 70.
[0012]
Accordingly, an object of the present invention is to reduce the amount of data processing and the amount of memory required for the noise canceller function particularly in the coding system without deteriorating the voice quality, and as a result, the voice signal processing efficiency can be improved. An object is to provide an audio signal processing apparatus.
[0013]
FIG. 18 is a block diagram showing a general configuration of an audio signal processing apparatus adopting a wideband audio encoding system using an echo canceller 72. When only the L coder 700 is operated, only the low frequency audio signal component is shown. In the same way, it is desirable to reduce the data processing amount and the memory amount.
[0014]
Further, the same is desired for the voice switch 73 as shown in FIG. Accordingly, an object of the present invention is to reduce the data processing amount and the memory amount required for the echo suppression function to improve the audio signal processing efficiency.
[0015]
[Means for Solving the Problems]
An aspect of the present invention is a high frequency noise canceller function particularly in a speech signal processing apparatus having a wideband speech encoding circuit (encoder) and a noise canceller in a mode in which the high frequency speech encoder included in the encoder is not operated. The present invention relates to an audio signal processing device that invalidates the sound. In other words, in the mode in which only the low frequency speech coder is operated, the speech signal processing device enables the low frequency noise canceller function.
[0016]
An audio signal processing device according to an aspect of the present invention is an audio signal processing device that encodes a digital audio signal, wherein the digital audio signal is divided into a high-frequency component signal and a low-frequency component signal; First encoding means for encoding the high-frequency component signal and a second code for encoding the low-frequency component signal in response to an operation mode signal instructing encoding of the high-frequency component signal And Before being encoded by the first and second encoding means, First suppression means for suppressing noise components included in the digital audio signal; Before being encoded by the second encoding means, A second suppression means for suppressing a noise component included in the low-frequency component signal; and when the operation mode signal does not instruct encoding of the high-frequency component signal, By the second encoding means And a control unit that encodes the low-frequency component signal and controls the first suppression unit not to operate.
[0017]
With such a configuration, noise suppression is performed only on the low frequency audio signal component when the audio encoding processing is performed only on the low frequency audio signal component without performing audio encoding processing on the high frequency audio signal component. Processing can be executed. Therefore, for example, in a configuration in which noise suppression processing is executed by a DSP, the amount of data processing and memory required for the function of the noise canceller can be reduced in a mode in which high frequency speech encoding processing is not executed. Therefore, as a result, an audio signal processing device that can improve the audio signal processing efficiency can be provided.
[0018]
Another aspect of the present invention is that in a speech signal processing apparatus having a wide-band encoder and echo suppression means (echo canceller, voice switch), in a mode in which the high-frequency speech encoder included in the encoder is not operated. The present invention also relates to an audio signal processing device that disables the function of high-frequency echo suppression means. In other words, in the mode in which only the low frequency speech coder is operated, the speech signal processing device validates the function of the low frequency echo suppression means.
[0019]
An audio signal processing apparatus according to an aspect of the present invention includes a dividing unit that divides a digital audio signal into a high-frequency component signal and a low-frequency component signal; In response to an operation mode signal that instructs encoding of the high-frequency component signal, A first encoding unit that encodes the high-frequency component signal; a second encoding unit that encodes the low-frequency component signal; First suppression means for suppressing an included echo component; and second suppression means for suppressing an echo component generated due to the received voice signal and included in the low-frequency component signal; When the operation mode signal does not instruct encoding of the high frequency component signal, The low frequency component signal with respect to the digital audio signal And And a control unit that controls the first suppression unit not to operate.
[0020]
With such a configuration, when the speech coding process is performed only on the low frequency speech signal component without performing the speech coding processing on the high frequency speech signal component, only the low frequency speech signal component is performed. Echo suppression processing can be executed. Therefore, for example, in a configuration in which echo suppression processing is executed by a DSP, the amount of data processing and memory required for the functions of the echo canceller and voice switch can be reduced in a mode in which high frequency speech encoding processing is not executed. Therefore, as a result, an audio signal processing device that can improve the audio signal processing efficiency can be provided.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
The main configuration of the present invention is classified into four patterns as shown in FIGS. In FIG. 16A, the band signal is subjected to band division by the band dividing unit and then the low band signal is corrected, and then each of the high band and the low band is encoded. (B) divides the band of the coding system signal by the band dividing means, further encodes each of the high band and the low band, and then corrects the high band code. (C) also refers to the signal after low-frequency decoding when correcting the low-frequency encoding signal in (A). (D) also refers to the signal after high frequency decoding when correcting the signal of the high frequency encoding system in (B).
[0022]
With the configuration pattern as described above, correction processing can be performed at a lower sampling rate than before band division, and the amount of data processing and memory can be reduced.
[0023]
Based on this, an embodiment of the present invention will be described below with reference to the drawings.
[0024]
(First embodiment)
FIG. 1 is a block diagram showing a main part of the audio signal processing apparatus according to the first embodiment.
[0025]
As shown in FIG. 1, the present apparatus is roughly divided into an encoding system for generating speech encoded data (TX) from a digital speech signal, and speech encoded data (RX) normally stored in a memory 15 as an original. And a reproduction system (decoding system) that decodes the audio signal.
[0026]
The decoding system includes an A / D converter 11 that converts an audio signal input to the microphone 10 into a digital audio signal, a noise canceller 12, an encoder 13, and a multiplexer (data multiplexing unit) 14. On the other hand, the reproduction system includes a speaker 20, a D / A converter 21, a decoder (audio decoding circuit) 22, and a demultiplexer 23. The reproduction system is the same as the conventional one shown in FIG. In the encoding system, the noise canceller 12, the encoder 13, and the multiplexer 14 are usually configured by a digital signal processor (DSP).
[0027]
The encoder 13 is a speech coding circuit that performs speech coding processing on a digital speech signal using a predetermined algorithm (for example, CELP method) to generate speech coded data. The encoder 13 is a wideband speech encoding circuit, and is divided into a low-frequency speech encoder 130 and a high-frequency speech encoder (sometimes referred to as an H coder) 131. The multiplexer 14 converts the speech encoded data generated by the encoder 13 into a form according to the characteristics of the transmission path, modem unit, error correction unit, etc., and outputs it to the memory 15.
[0028]
The noise canceller 12 is controlled to enable or disable the noise suppression function according to a mode signal (HM) for setting the operation mode of the encoder 13. This mode signal (HM) is, for example, a signal output from a CPU of a mobile phone, and determines whether or not to operate the high frequency speech encoder (H coder) 131. Here, for convenience, it is assumed that the H coder 131 is operated when “HM = 1” and the H coder 131 is not operated when “HM = 0”.
[0029]
The noise canceller 12 operates when “HM = 1” and suppresses a noise component with respect to the digital audio signal output from the A / D converter 11. On the other hand, when “HM = 0”, the noise canceller 12 passes the digital audio signal (VS) output from the A / D converter 11 as it is without executing the noise suppression processing.
[0030]
As shown in FIG. 2, the low-frequency speech encoder 130 includes a module 200 including a down-sampling unit 201 and a low-frequency encoder (L coder) 202, and a noise canceller unit 203. The down-sampling unit 201 down-samples the digital audio signal (VS) output from the A / D converter 11 so as to reduce a predetermined number of samples in order to perform low-frequency processing.
[0031]
When “HM = 0”, the noise canceller unit 203 performs noise suppression processing on the digital audio signal (VS) downsampled by the downsampling unit 201 and outputs the result to the L coder 202. On the other hand, when “HM = 1”, the noise canceller unit 203 does not perform noise suppression processing on the digital audio signal (VS) downsampled by the downsampling unit 201 and passes it directly to the L coder 202.
[0032]
(Operation of the first embodiment)
The operation of the coding system according to this embodiment will be described below with reference to FIGS.
[0033]
For example, the mode signal HM is output from the CPU of the mobile phone, and the operation mode (HM = 1/0) of the encoder 13 is set. The A / D converter 11 converts the audio signal input to the microphone 10 into a digital audio signal.
[0034]
Here, it is assumed that the operation mode for operating the high frequency speech coder (H coder) 131 is set (HM = 1). The noise canceller 12 operates when “HM = 1”, suppresses the noise component of the digital audio signal output from the A / D converter 11, and then outputs it to the encoder 13.
[0035]
In the encoder 13, the H coder 131 executes an encoding process for the high frequency audio signal. On the other hand, in the low frequency speech encoder 130, when “HM = 1”, the noise canceller unit 203 does not perform noise suppression processing on the digital speech signal (VS) downsampled by the downsampling unit 201. It passes through the L coder 202 as it is. However, the downsampled digital audio signal (VS) is subjected to noise suppression processing by the noise canceller 12 in the previous stage. Outputs (voice encoded data) of the H coder 131 and the L coder 202 are multiplexed by the multiplexer 14 and stored in the memory 15.
[0036]
On the other hand, it is assumed that an operation mode in which the high frequency speech coder (H coder) 131 is not operated is set (HM = 0). The noise canceller 12 passes the digital audio signal (VS) output from the A / D converter 11 as it is without executing the noise suppression process when “HM = 0”. The H coder 131 is not operating.
[0037]
In the low frequency speech encoder 130, when “HM = 0”, the noise canceller unit 203 performs noise suppression processing on the digital speech signal (VS) downsampled by the downsampling unit 201, and the L coder 202. Output to. The L coder 202 generates low-frequency speech encoded data and outputs it to the multiplexer 14.
[0038]
As described above, according to the present embodiment, when the operation mode of the encoding system does not operate the H coder 131 (HM = 0), the noise canceller 12 provided in the previous stage of the encoder 13 also does not operate. Therefore, the digital speech signal (VS) output from the A / D converter 11 is passed through as it is and is supplied to the low frequency speech encoder 130 of the encoder 13.
[0039]
In the low frequency speech encoder 130, when “HM = 0”, the noise canceller unit 203 is in an operating state, and performs noise suppression processing on the digital speech signal (VS) downsampled by the downsampling unit 201. , Output to the L coder 202. Thereby, the low frequency speech coder 130 generates low frequency speech encoded data from the low frequency digital speech signal in which the noise component is suppressed.
[0040]
Therefore, in the operation mode in which the high frequency speech coder 131 is not operated, the noise canceller 12 provided in the preceding stage of the encoder 13 is deactivated. Therefore, the data processing amount and memory in the DSP necessary for the function of the noise canceller The amount can be reduced. On the other hand, in the low-frequency speech encoder 130, the low-frequency noise canceller unit 203 functions, so that low-frequency speech encoded data can be generated without causing deterioration of speech quality. In this case, the low-frequency noise canceller unit 203 performs noise suppression processing on the down-sampled digital audio signal (the number of samples is reduced). Therefore, the data processing amount and memory amount in the DSP necessary for the function of the noise canceller unit 203 can be relatively reduced as compared with the case where the high frequency noise canceller 12 is functioned.
[0041]
(Second embodiment)
FIG. 3 is a block diagram showing a main part of the audio signal processing apparatus according to the second embodiment.
[0042]
The encoding system of the present embodiment has no high frequency noise canceller, and includes a low frequency speech encoder 300 including a low frequency noise canceller (LNC) and a high frequency audio encoder including a high frequency noise canceller (HNC). The encoder 30 having 301 is provided. Note that the playback system (decoding system) is the same as that of the first embodiment (see FIG. 1), and thus description thereof is omitted.
[0043]
In the encoder 30, the low frequency speech encoder 300 includes a low frequency encoder (L coder) 400, a downsampling unit 401, and a low frequency noise canceller (LNC) 402 as shown in FIG. 4. . The down-sampling unit 401 down-samples the digital audio signal (VS) output from the A / D converter 11 so as to reduce a predetermined number of samples in order to perform low-frequency processing. The LNC 402 executes noise suppression processing for mainly suppressing low-frequency high ambient noise on the down-sampled digital voice signal (VS). The L coder 400 generates low-frequency speech encoded data from the digital speech signal (down-sampled signal) whose noise has been suppressed by the LNC 402 and outputs it to the multiplexer 14.
[0044]
On the other hand, the high frequency speech encoder 301 includes a high frequency encoder (H coder) 500 and a high frequency noise canceller (HNC) 501. Whether or not the H coder 500 operates according to the operation mode (HM = 1/0) set by the mode signal HM is determined. That is, when “HM = 1”, the H coder 500 operates and executes a coding process for the high frequency audio signal of the digital audio signal (VS) output from the A / D converter 11. The HNC 501 executes noise suppression processing that suppresses high ambient noise in a high frequency range. Each output (voice encoded data) of the HNC 501 and the L coder 400 is multiplexed by the multiplexer 14 and stored in the memory 15.
[0045]
Here, when “HM = 0”, the H coder 500 is in a non-operating state. In this operation mode, only the low frequency speech encoder 300 operates, and the speech encoded data that is the output of the L coder 400 is sent to the multiplexer 14.
[0046]
As described above, according to the present embodiment, when the operation mode of the encoding system does not operate the H coder 500 (HM = 0), the high frequency speech encoder 301 is inoperative and the low frequency speech code Only the generator 300 operates. Therefore, when “HM = 0”, only the LNC 402 included in the low-frequency speech encoder 300 operates to execute noise suppression processing on the digital speech signal (VS) downsampled by the downsampling unit 401. . Therefore, in the operation mode in which the high frequency speech encoder 301 is not operated, it is possible to reduce the data processing amount and memory amount in the DSP necessary for the function of the noise canceller.
[0047]
(VAD function)
By the way, as shown in FIG. 4, the low frequency speech encoder 300 has a VAD (Voice Activity Detection) function for determining whether speech input from a digital speech signal (VS) is sound or silence, Is detected, a predetermined flag (VADF) is output to the high frequency speech encoder 301.
[0048]
In the high frequency speech encoder 301, the output of the H coder 500 is speech encoded data mainly relating to the high frequency gain of the speech signal. The HNC 501 is a noise suppression unit that simply cancels noise by processing the speech encoded data. When there is no sound (VADF = 0), the HNC 501 determines that the high-frequency gain is the noise signal (noise) gain, subtracts a value corresponding to the gain from the output signal from the H coder 500, and the result is the multiplexer 14. Output to. On the other hand, when there is sound (VADF = 1), the HNC 501 subtracts the value subtracted when there is no sound (VADF = 0) from the input of the H coder 500 and outputs the result to the multiplexer 14.
[0049]
Here, in the low frequency speech encoder 300, the VAD function is provided inside the L coder 400. Specifically, the L coder 400 includes a VAD unit 50, a voice coder unit 51, and a silent coder unit 52, as shown in FIG. The silent coder unit 52 functions when a silent flag (VADF = 0) is output from the VAD unit 50. Further, the voice coder unit 51 functions when a flag (VADF = 1) indicating voice is output from the VAD unit 50. The VAD unit 50 outputs the flag (VADF = 1/0) to the HNC 501 of the high frequency speech encoder 301.
[0050]
Further, as shown in FIG. 5B, the L coder 400 may include a VAD unit 50, a voiced coder unit 51, a silent coder unit 52, and a switch unit 53. When the flag (VADF = 0) indicating silence is output from the VAD unit 50, the switch unit 53 transfers the digital audio signal (VS) to the silence coder unit 52.
[0051]
Further, the switch unit 53 transfers the digital voice signal (VS) to the voiced coder unit 51 when the flag (VADF = 1) indicating the voice is output from the VAD unit 50. The VAD unit 50 outputs the flag (VADF = 1/0) to the HNC 501 of the high frequency speech encoder 301.
[0052]
(Modification)
FIG. 6 is a block diagram relating to a modification of the second embodiment.
[0053]
In this modification, the high frequency speech encoder 301 controls the operation of the HNC 501 in accordance with, for example, an operation mode signal (MS) from a CPU of a mobile phone. Specifically, the operation mode signal (MS) is, for example, a signal for setting a mode for processing an audio signal for music.
[0054]
In the high frequency speech encoder 301, when the CPU performs high frequency encoding processing on the audio signal for music, the HNC 501 operates in accordance with the operation mode signal (MS = 1), and is effective for music. Performs noise suppression processing.
[0055]
Note that the operation mode signal (MS) set from the CPU is not limited to music, and can be applied to setting various modes.
[0056]
(Third embodiment)
FIG. 7 is a block diagram showing the main part of the speech signal processing apparatus according to the third embodiment, and FIG. 8 shows the configuration of the low frequency speech encoder 172 and the low frequency speech decoder 222 of FIG. FIG.
[0057]
As can be seen from the comparison between FIG. 1 and FIG. 7 and the comparison between FIG. 2 and FIG. 8, the present embodiment replaces the noise canceller with an echo canceller in the first embodiment, and receives speech from the encoder 22 to the wideband echo canceller 16. A speech signal (BR signal) input is added, and an LBR signal input from the low frequency speech decoder 222 to the low frequency speech encoder 172 (echo canceller 204) is added.
[0058]
Either one of the echo cancellers 16 and 204 operates. When the high frequency speech coder 171 operates, only 16 operates, and when 171 does not operate, only 204 operates. Therefore, when the high frequency speech encoder 171 is not operating, it is possible to reduce the data processing amount and memory amount in the DSP necessary for the function of the echo canceller.
[0059]
(Fourth embodiment)
FIG. 9 is a block diagram showing a main part of an audio signal processing apparatus according to the fourth embodiment, and FIG. 10 is a block diagram showing a configuration of the encoder 31 of FIG.
[0060]
As can be seen from the comparison between FIG. 3 and FIG. 9 and the comparison between FIG. 4 and FIG. 10, the present embodiment replaces the noise canceller with an echo canceller in the second embodiment, and The LBR signal input to the high frequency speech encoder 312 (low frequency echo canceller 403) is added, and the high frequency speech decoder 221 to the high frequency speech encoder 313 (high frequency echo canceller 502). The HBR signal input is added.
[0061]
When the high frequency speech encoder 500 is not operating, the high frequency echo canceller 502 is inactive, and only the low frequency echo canceller 403 operates. Therefore, when the high frequency speech encoder 500 is not operating, it is possible to reduce the data processing amount and memory amount in the DSP necessary for the function of the echo canceller.
[0062]
(Modification)
FIG. 11 is a block diagram relating to a modification of the fourth embodiment.
[0063]
In the present modification, the high frequency speech encoder 313 controls the operation of the HEC 502 in accordance with, for example, an operation mode signal (RBT) from a CPU of a mobile phone. Specifically, the operation mode signal (RBT) is a signal for setting a mode for processing a signal that is extremely biased in frequency, such as a telephone push sound, an incoming melody, or an alarm sound.
[0064]
The HEC 502 operates in response to the operation mode signal (RBT = 1), and stops learning the HEC 501 and the LEC 403.
[0065]
Note that the operation mode signal (RBT) set by the CPU is not limited to a push sound, a ringing melody, or an alarm sound, and can be applied when various modes such as an encoding mode are set.
[0066]
Also, embodiments as shown in FIGS. 12 to 15 can be considered by replacing the echo canceller in FIGS. 7 to 10 with a voice switch. 12 and 13 show a combination of a low-frequency voice switch LVS81 and a high-frequency voice switch HVS82, and FIGS. 14 and 15 show a combination of a high-frequency voice switch and a low-frequency voice switch. In either case, when the high frequency speech encoder does not operate, the data processing amount and the memory amount can be reduced by operating only the low frequency voice switch.
[0067]
【The invention's effect】
As described above in detail, according to the present invention, in an audio signal processing apparatus having a wideband audio encoding circuit (encoder) and at least one of a noise canceller, an echo canceller and a voice switch, voice quality is reduced. Without incurring this, it is possible to reduce the amount of data processing and the amount of memory required for the functions of the noise canceller, echo canceller or voice switch in the coding system. Therefore, as a result, it is possible to provide an audio signal processing device that can improve audio signal processing efficiency.
[0068]
Specifically, the noise component or echo contained in the low frequency audio signal component is not performed when the audio encoding processing is performed only on the low frequency audio signal component without performing the audio encoding processing on the high frequency audio signal component. Component suppression processing can be executed. Therefore, for example, in a configuration in which noise or echo suppression processing is executed by a DSP, the amount of data processing and memory required for the function of the noise canceller, echo canceller, or voice switch is reduced in a mode in which high-frequency speech encoding processing is not executed. can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a main part of an audio signal processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a low-frequency speech encoder according to the embodiment.
FIG. 3 is a block diagram showing a main part of an audio signal processing apparatus according to a second embodiment of the present invention.
FIG. 4 is a block diagram showing a configuration of an encoder according to the embodiment.
FIG. 5 is an exemplary block diagram for explaining a VAD function according to the embodiment;
FIG. 6 is a block diagram relating to a modified example of the second embodiment.
FIG. 7 is a block diagram showing a main part of an audio signal processing apparatus according to a third embodiment of the present invention.
FIG. 8 is a block diagram showing a configuration of a low-frequency speech encoder according to the embodiment.
FIG. 9 is a block diagram showing a main part of an audio signal processing apparatus according to a fourth embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of an encoder according to the embodiment.
FIG. 11 is a block diagram relating to a modified example of the fourth embodiment.
FIG. 12 is a block diagram showing a main part of an audio signal processing apparatus according to a fifth embodiment of the present invention.
FIG. 13 is an exemplary block diagram showing the configuration of a low-frequency speech encoder according to the embodiment;
FIG. 14 is a block diagram showing a main part of an audio signal processing apparatus according to a sixth embodiment of the present invention.
FIG. 15 is a block diagram showing a configuration of an encoder according to the embodiment.
FIG. 16 is a block diagram showing the main configuration.
FIG. 17 is a block diagram showing a general configuration of a conventional first audio signal processing apparatus.
FIG. 18 is a block diagram showing a general configuration of a second conventional audio signal processing apparatus.
FIG. 19 is a block diagram showing a general configuration of a third conventional audio signal processing apparatus.
[Explanation of symbols]
1 ... Band division means
2. Correction means
3 ... Low frequency encoding means
4 ... High frequency encoding means
5 ... Low frequency decoding means
10 ... Microphone
11 ... A / D converter
12 ... Noise canceller
13, 17, 30, 32, 71... Encoder (speech encoder)
14 ... Multiplexer
15 ... Memory
16, 72 ... Wide area echo canceller
20 ... Speaker
21 ... D / A converter
22, 24... Decoder (voice decoding circuit)
23 ... Demultiplexer
50 ... VAD
73,82 ... Voice switch for wide area
80 ... High frequency voice switch
81 ... Low-range voice switch
130, 173, 202, 242, 320, 400... Low frequency coder (L coder)
131,171,241,321,500 ... high band encoder (H coder)
172, 300, 310 ... low-range speech encoder
200, 205 ... module
201, 401 ... down-sample part
203 ... Noise canceller
204 ... Low frequency echo canceller
221, 701... High frequency decoder (H decoder)
222, 223, 230, 702... Low band decoder (L decoder)
231 ... Upsample section
301, 311... High frequency speech encoder
402: Low frequency noise canceller (LNC)
403 ... Low frequency echo canceller (LEC)
501 ... High frequency noise canceller (HNC)
502 ... High frequency echo canceller (HEC)

Claims (8)

ディジタル音声信号を符号化する音声信号処理装置において、
前記ディジタル音声信号を高域成分の信号と低域成分の信号に分割する分割手段と、
前記高域成分の信号の符号化を指示する動作モード信号に応じて、前記高域成分の信号を符号化する第1の符号化手段と、
前記低域成分の信号を符号化する第2の符号化手段と、
前記第1及び第2の符号化手段で符号化される前に、前記ディジタル音声信号に含まれるノイズ成分を抑圧する第1の抑圧手段と、
前記第2の符号化手段で符号化される前に、前記低域成分の信号に含まれるノイズ成分を抑圧する第2の抑圧手段と、
前記動作モード信号により前記高域成分の信号の符号化が指示されない場合には、前記ディジタル音声信号に対して前記第2の符号化手段により前記低域成分の信号を符号化し、かつ前記第1の抑圧手段を動作させないように制御する制御手段と
を具備したことを特徴とする音声信号処理装置。
In an audio signal processing apparatus for encoding a digital audio signal,
Dividing means for dividing the digital audio signal into a high-frequency component signal and a low-frequency component signal;
First encoding means for encoding the high-frequency component signal in response to an operation mode signal instructing encoding of the high-frequency component signal;
Second encoding means for encoding the low-frequency component signal;
First suppression means for suppressing noise components included in the digital audio signal before being encoded by the first and second encoding means;
Second suppression means for suppressing a noise component included in the low-frequency component signal before being encoded by the second encoding means;
When the operation mode signal does not instruct the encoding of the high frequency component signal, the digital encoding signal is encoded with the low frequency component signal by the second encoding means , and the first And a control means for controlling so as not to operate the suppression means.
前記ディジタル音声信号が無音信号であることを検出する検出手段を更に有し、
前記制御手段は、前記検出手段が無音信号を検出した場合に、前記第1の抑圧手段を動作させないように制御することを特徴とする請求項1に記載の音声信号処理装置。
Detection means for detecting that the digital audio signal is a silence signal;
The audio signal processing apparatus according to claim 1, wherein the control unit performs control so that the first suppression unit is not operated when the detection unit detects a silence signal.
ディジタル音声信号を符号化する音声信号処理装置において、
前記ディジタル音声信号を高域成分の信号と低域成分の信号に分割する分割手段と、
前記高域成分の信号の符号化を指示する動作モード信号に応じて前記高域成分の信号を符号化すると共に、前記動作モード信号とは無関係に前記低域成分の信号を符号化する符号化手段と、
前記符号化手段に含まれて、前記ディジタル音声信号の前記高域成分の信号に含まれるノイズ成分を抑圧する第1の抑圧手段及び前記低域成分の信号に含まれるノイズ成分を抑圧する第2の抑圧手段を有する抑圧手段と、
前記動作モード信号により前記高域成分の信号の符号化が指示されない場合には、前記第1の抑圧手段を制御して前記高域成分の信号に対する抑圧処理を実行させないようにする制御手段と
を具備したことを特徴とする音声信号処理装置。
In an audio signal processing apparatus for encoding a digital audio signal,
Dividing means for dividing the digital audio signal into a high-frequency component signal and a low-frequency component signal;
Encoding the high-frequency component signal in accordance with an operation mode signal instructing encoding of the high-frequency component signal and encoding the low-frequency component signal independently of the operation mode signal Means,
A first suppression unit included in the encoding unit and configured to suppress a noise component included in the high-frequency component signal of the digital audio signal; and a second suppression unit configured to suppress a noise component included in the low-frequency component signal. Suppression means having the following suppression means,
Control means for controlling the first suppression means so that the suppression process for the high-frequency component signal is not executed when the encoding of the high-frequency component signal is not instructed by the operation mode signal; An audio signal processing apparatus comprising the audio signal processing apparatus.
ディジタル音声信号を符号化する音声信号処理装置において、
前記ディジタル音声信号を高域成分の信号と低域成分の信号に分割する分割手段と、
前記高域成分の信号の符号化を指示する動作モード信号に応じて、前記高域成分の信号を符号化する第1の符号化手段と、
前記低域成分の信号を符号化する第2の符号化手段と、
前記第1及び第2の符号化手段で符号化される前に、受話音声信号に起因して生じ、前記ディジタル音声信号に含まれるエコー成分を抑圧する第1の抑圧手段と、
前記第2の符号化手段で符号化される前に、前記受話音声信号に起因して生じ、前記低域成分の信号に含まれるエコー成分を抑圧する第2の抑圧手段と、
前記動作モード信号により前記高域成分の信号の符号化が指示されない場合には、前記ディジタル音声信号に対して前記第2の符号化手段により前記低域成分の信号を符号化し、かつ前記第1の抑圧手段を動作させないように制御する制御手段と
を具備したことを特徴とする音声信号処理装置。
In an audio signal processing apparatus for encoding a digital audio signal,
Dividing means for dividing the digital audio signal into a high-frequency component signal and a low-frequency component signal;
First encoding means for encoding the high-frequency component signal in response to an operation mode signal instructing encoding of the high-frequency component signal;
Second encoding means for encoding the low-frequency component signal;
First suppression means for suppressing an echo component that occurs due to a received voice signal and is included in the digital voice signal before being encoded by the first and second encoding means;
Before being encoded by the second encoding means, second suppression means for suppressing an echo component that occurs due to the received voice signal and is included in the low-frequency component signal;
When the operation mode signal does not instruct the encoding of the high frequency component signal, the digital encoding signal is encoded with the low frequency component signal by the second encoding means , and the first And a control means for controlling so as not to operate the suppression means.
ディジタル音声信号を符号化する音声信号処理装置において、
前記ディジタル音声信号を高域成分の信号と低域成分の信号に分割する分割手段と、
前記高域成分の信号の符号化を指示する動作モード信号に応じて前記高域成分の信号を符号化すると共に、前記動作モード信号とは無関係に前記低域成分の信号を符号化する符号化手段と、
受話音声信号に起因して生じ、前記ディジタル音声信号に含まれるエコー成分を抑圧する抑圧手段と、
前記動作モード信号により前記高域成分の信号の符号化が指示されない場合には、前記抑圧手段を制御して前記高域成分の信号に対する抑圧処理を実行させないようにする制御手段と
を具備したことを特徴とする音声信号処理装置。
In an audio signal processing apparatus for encoding a digital audio signal,
Dividing means for dividing the digital audio signal into a high-frequency component signal and a low-frequency component signal;
Encoding the high-frequency component signal in accordance with an operation mode signal instructing encoding of the high-frequency component signal and encoding the low-frequency component signal independently of the operation mode signal Means,
Suppression means for suppressing an echo component generated due to the received voice signal and included in the digital voice signal;
Control means for controlling the suppression means so that the suppression process for the high-frequency component signal is not executed when the operation mode signal does not instruct encoding of the high-frequency component signal. An audio signal processing device.
ディジタル音声信号を符号化する音声信号処理方法において、
前記ディジタル音声信号の高域成分及び低域成分を符号化するか、又は前記ディジタル音声信号の低域成分のみを符号化するかを指示する動作モード信号に応じ、前記動作モード信号が高域成分及び低域成分の符号化を指示する場合は、前記ディジタル音声信号の高域成分及び低域成分に含まれるノイズ成分の抑圧処理を行い、前記動作モード信号が低域成分のみの符号化を指示する場合は、前記ディジタル音声信号の低域成分に含まれるノイズ成分のみの抑圧処理を行い、
前記動作モード信号が高域成分及び低域成分の符号化を指示する場合に、前記ノイズ成分が抑圧されたディジタル音声信号の高域成分及び低域成分を符号化し、
前記動作モード信号が低域成分のみの符号化を指示する場合に、前記ノイズ成分が抑圧されたディジタル音声信号の低域成分を符号化する
ことを特徴とする音声信号処理方法
In an audio signal processing method for encoding a digital audio signal,
In response to an operation mode signal indicating whether the high frequency component and low frequency component of the digital audio signal are encoded or only the low frequency component of the digital audio signal is encoded, the operation mode signal is a high frequency component In addition, when instructing the encoding of the low frequency component, the noise component contained in the high frequency component and the low frequency component of the digital audio signal is suppressed, and the operation mode signal indicates the encoding of only the low frequency component. If so, perform a suppression process of only the noise component included in the low frequency component of the digital audio signal,
When the operation mode signal indicates encoding of a high frequency component and a low frequency component, the high frequency component and the low frequency component of the digital audio signal in which the noise component is suppressed are encoded,
The audio signal processing method , wherein the low frequency component of the digital audio signal in which the noise component is suppressed is encoded when the operation mode signal instructs encoding of only the low frequency component .
ディジタル音声信号を符号化する音声信号処理装置において、
前記ディジタル音声信号を複数の帯域の信号に分割する分割手段と、
前記分割手段によって分割された帯域毎のディジタル音声信号において、符号化を指示する動作モード信号に応じて少なくとも一つの帯域の信号を符号化する符号化手段と、
受話音声信号に起因して生じ、前記ディジタル音声信号に含まれるエコー成分を抑圧する抑圧手段と、
前記抑圧手段を制御して、前記符号化手段によって符号化される帯域を除く帯域の信号に対する抑圧処理を実行させないようにする制御手段と
を具備したことを特徴とする音声信号処理装置。
In an audio signal processing apparatus for encoding a digital audio signal,
Dividing means for dividing the digital audio signal into signals of a plurality of bands;
In the digital audio signal for each band divided by the dividing means, encoding means for encoding a signal of at least one band in accordance with an operation mode signal instructing encoding;
Suppression means for suppressing an echo component generated due to the received voice signal and included in the digital voice signal;
An audio signal processing apparatus comprising: control means for controlling the suppression means so as not to execute a suppression process on a signal in a band excluding a band encoded by the encoding means.
ディジタル音声信号を符号化する音声信号処理装置において、In an audio signal processing apparatus for encoding a digital audio signal,
前記ディジタル音声信号を高域成分の信号と低域成分の信号に分割する分割手段と、Dividing means for dividing the digital audio signal into a high-frequency component signal and a low-frequency component signal;
前記高域成分の信号の符号化を指示する動作モード信号に応じて、前記高域成分の信号を符号化する第1の符号化手段と、First encoding means for encoding the high-frequency component signal in response to an operation mode signal instructing encoding of the high-frequency component signal;
前記低域成分の信号を符号化する第2の符号化手段と、Second encoding means for encoding the low-frequency component signal;
前記第1及び第2の符号化手段で符号化される前に、前記ディジタル音声信号に含まれるノイズ成分を抑圧する第1の抑圧手段と、First suppression means for suppressing noise components included in the digital audio signal before being encoded by the first and second encoding means;
前記第2の符号化手段に含まれ、符号化される前に、前記低域成分の信号に含まれるノイズ成分を抑圧する第2の抑圧手段と、Second suppression means included in the second encoding means for suppressing noise components included in the low-frequency component signal before being encoded;
前記動作モード信号により前記高域成分の信号の符号化が指示されない場合には、前記ディジタル音声信号に対して前記第2の符号化手段により前記低域成分の信号を符号化し、かつ前記第1の抑圧手段を動作させないように制御する制御手段とWhen the operation mode signal does not instruct the encoding of the high-frequency component signal, the digital audio signal is encoded by the second encoding means with the low-frequency component signal, and the first Control means for controlling so as not to operate the suppression means of
を具備したことを特徴とする音声信号処理装置。An audio signal processing apparatus comprising:
JP2002122863A 2002-04-24 2002-04-24 Audio signal processing device Expired - Lifetime JP3854188B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002122863A JP3854188B2 (en) 2002-04-24 2002-04-24 Audio signal processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002122863A JP3854188B2 (en) 2002-04-24 2002-04-24 Audio signal processing device

Publications (2)

Publication Number Publication Date
JP2003316400A JP2003316400A (en) 2003-11-07
JP3854188B2 true JP3854188B2 (en) 2006-12-06

Family

ID=29538356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002122863A Expired - Lifetime JP3854188B2 (en) 2002-04-24 2002-04-24 Audio signal processing device

Country Status (1)

Country Link
JP (1) JP3854188B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5075042B2 (en) * 2008-07-23 2012-11-14 日本電信電話株式会社 Echo canceling apparatus, echo canceling method, program thereof, and recording medium

Also Published As

Publication number Publication date
JP2003316400A (en) 2003-11-07

Similar Documents

Publication Publication Date Title
EP0956658B1 (en) Method and apparatus for using state determination to control functional elements in digital telephone systems
FI116643B (en) Noise reduction
US8630685B2 (en) Method and apparatus for providing sidetone feedback notification to a user of a communication device with multiple microphones
US6138040A (en) Method for suppressing speaker activation in a portable communication device operated in a speakerphone mode
US6223154B1 (en) Using vocoded parameters in a staggered average to provide speakerphone operation based on enhanced speech activity thresholds
FI97182B (en) Method for replacing received bad speech frames in a digital receiver and a receiver in a digital communication system
US6122531A (en) Method for selectively including leading fricative sounds in a portable communication device operated in a speakerphone mode
US20010041976A1 (en) Signal processing apparatus and mobile radio communication terminal
EP1515307B1 (en) Method and apparatus for audio coding with noise suppression
JPH08102687A (en) Aural transmission/reception system
JP4727542B2 (en) Electronic device, echo cancellation method thereof, echo cancellation program thereof, recording medium, and circuit board
JP2586441B2 (en) Mobile phone
JP3854188B2 (en) Audio signal processing device
WO2010137203A1 (en) Communication device and signal processing method
JP3649854B2 (en) Speech encoding device
JP2001343985A (en) Method of voice switching and voice switch
JPH10240283A (en) Voice processor and telephone system
JP3316945B2 (en) Transmission error compensator
JP3603470B2 (en) Voice quality improvement device
JP3355585B2 (en) Echo cancellation method
JP2002006898A (en) Method and device for noise reduction
JP3315708B2 (en) Voice codec with comparison attenuator
JP2002041100A (en) Digital voice processing device
KR100884425B1 (en) Method and telephone for providing speakerphone having improved outbound audio quality
JPH06326670A (en) Voice communication equipment

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060907

R151 Written notification of patent or utility model registration

Ref document number: 3854188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090915

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100915

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130915

Year of fee payment: 7

EXPY Cancellation because of completion of term