JP4522497B2 - デジタル電話システムの機能素子を制御するために状態決定を使用する方法および装置 - Google Patents
デジタル電話システムの機能素子を制御するために状態決定を使用する方法および装置 Download PDFInfo
- Publication number
- JP4522497B2 JP4522497B2 JP53293598A JP53293598A JP4522497B2 JP 4522497 B2 JP4522497 B2 JP 4522497B2 JP 53293598 A JP53293598 A JP 53293598A JP 53293598 A JP53293598 A JP 53293598A JP 4522497 B2 JP4522497 B2 JP 4522497B2
- Authority
- JP
- Japan
- Prior art keywords
- echo canceller
- information signal
- echo
- signal
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000003044 adaptive effect Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 37
- 230000001629 suppression Effects 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 6
- 230000002829 reductive effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 abstract description 18
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000002592 echocardiography Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 206010019133 Hangover Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
Description
I.発明の分野
この発明はデジタル電話システムに関する。特にこの発明はデジタル電話システムのさまざまな機能ブロックを制御するためにエコーキャンセラからの状態決定を使用する新規かつ改良された方法および装置に関する。
II.関連技術の説明
デジタル技術による音声の送信が広まってきており、特にセルラ電話およびPCSアプリケーションにおいて広まってきている。これは次に音声処理技術を改良する関心を生み出している。このような技術の3つには、デジタル電話システムの既存の素子に対して、エコーキャンセラ、ノイズ抑制器、および音声エンコーダ/デコーダすなわちボコーダを追加することが含まれる。
エコーキャンセラは、地上ベース電話ネットワークにおいてインピーダンス不整合により生じる不要なエコー信号を減少させるために、あるいは移動体電話のケースにおいて、“ハンズフリー”電話機のスピーカとマイクロフォンとの間の音響結合により生じるエコーを減少させるために使用される。ボコーダは、データ送信レートおよびその結果として所定の送信チャネルを通して送信される情報量を減少させるために、デジタル信号中の音声の自然な冗長性を取り除くのに使用される。ノイズ抑制器はバックグランドノイズを最小にするために使用される。エコーキャンセラ、ボコーダおよびノイズ抑制器は、現在地上ベースのアプリケーション中および移動体システム中の両方においてデジタルデジタル電話システムで同時に使用されている。
2つのタイプのエコーキャンセラ、すなわちネットワークエコーキャンセラと音響エコーキャンセラがある。典型的なネットワークエコーキャンセラの例は、本発明の譲受人に譲受され、ここに参照として組込まれている、“ネットワークエコーキャンセラ”と題する米国特許第5,307,405号に開示されている。ネットワークエコーキャンセラは電話ネットワーク中で生成されるエコーをキャンセルする。地上ベースの電話機は2本の電線回線により中央局に接続され、双方向の送信がサポートされる。約35マイルより遠い通話に対しては、2方向送信は物理的に独立した電線に分離され、これにより4線の電線となる。2線セグメントと4線セグメントとをインターフェイスさせる装置はハイブリッドとして知られている。ハイブリッドにおけるインピーダンス不整合は、ネットワークエコーキャンセラにより取り除かなければならないエコーとなる。音響エコーキャンセラは、電話会議アプリケーションやハンズフリーアプリケーションで使用される。音響エコーキャンセラは、ラウドスピーカとマイクロフォンとの間のフィードバックから生じる音響エコーを除去する。
典型的なデジタル電話システムでは、音声はA/Dコンバータによりアナログ信号からデジタルPCMサンプルに変換される。典型的な実施形態では、良好な音声品質を維持するために64kbpsのデータレートが選択される。いったん音声信号がデジタル化されると、システム容量の最大化、音声品質強化、ノイズ抑制、送信エラーの最小化のようなある利点を達成するように処理することができる。
音声信号がPCMサンプルに変換された後に、エコーキャンセラにより不要なエコーが取り除かれ、ノイズ抑制器によりバックグランドノイズを最小にすることができ、送信のために変調およびアップコンバートする前にボコーダによりデータ圧縮を実行することができる。可変レートボコーダの例は、本発明の譲受人に譲受され、ここに参照として組込まれている、“可変レートボコーダ”と題する米国特許第5,414,796号に開示されている。エンコードされた音声信号は、TDMA、CDMAあるいはアナログ変調を含む任意の多くの技術により変調することができる。多元接続通信システムにおいてCDMA技術を使用することは、本発明の譲受人に譲受され、ここに参照として組込まれている、“衛星または地上の中継器を使用するスペクトル拡散多元接続通信システム”と題する米国特許第4,901,307号に開示されている。エコーキャンセラをボコーダおよびノイズ抑制器と組み合わせることはある利点を持っているとともにこれに関係する問題を持っている。
デジタル電話システムのフロントエンド電子回路にエコーキャンセラを導入する際の1つの問題は、他の機能ブロックに対するシステム中のエコーキャンセラの位置のために、エコーキャンセラの導入が他の機能ブロックに対する音声信号を変えることである。エコーキャンセラを機能ブロックのチェーン中の最初に配置することにより、ノイズ抑制器とボコーダは、実際のバックグランドノイズ以外のエコーキャンセルされた信号に基づいてバックグランドノイズの計算をしなければならない。エコーキャンセラが音声信号からすべてのエコーを取り除かない場合には、残留エコーがノイズ抑制器とボコーダにより実行されるバックグランドノイズ計算にエラーを生じさせる。
ここでは、移動体ユーザは近端話者として言及し、地上ベースユーザは遠端話者として言及する。典型的なボコーダには、近端話者の音声信号からバックグランドノイズを取り除くことが機能であるノイズ抑制器が含まれている。典型的なノイズ抑制器の例は、モトローラ・インクに譲受され、ここに参照として組込まれている、“ノイズ抑制システム”と題する米国特許第4,811,404号に開示されている。ノイズ抑制は、近端話者が沈黙している期間中に実際のバックグランドノイズエネルギの推定値を計算することにより実行される。近端話者が沈黙しており、遠端話者が話している場合に問題が生じる。移動体電話では、遠端話者の音声はスピーカからマイクロフォンに音響的に結合することがあり、取り除かれない限り遠端話者に聞こえるエコーとなる。地上ベースシステムでは、先に説明したハイブリッド中のインピーダンス不整合により、近端話者の音声は遠端話者の音声信号に結合することがある。エコーキャンセラはエコーを除去するのに使用されるが、エコーキャンセラの制約により、エコーは完全には取り除かれない。エコーキャンセラの後に配置されるノイズ抑制器は残留エコーをバックグランドノイズとして解釈し、残留エコーに基づいてバックグランドノイズ推定値を更新する。これはバックグランドノイズ推定値にエラーを持ち込み、これはノイズ抑制を低下させる。ボコーダは、システム中の合成ノイズ発生器に対してバックグランドノイズの悪い推定値の提供を受ける欠点がある。さらに、ボコーダのエンコードレートの決定が悪影響を受ける。
したがって、本発明の目的は、近端話者が沈黙し、遠端話者がアクティブであるときに、ノイズ抑制器とボコーダのエンコーダにおけるエラーのあるバックグランドノイズの更新を防止することである。
本発明の他の目的は、エコーキャンセラからの状態決定信号を使用して、トーン検出器、送信ミュート機能、適応イコライザのようなデジタル電話システム内の他の機能素子を制御することである。
発明の要約
本発明はデジタル電話システム内の機能素子の新規で改良された組み合わせである。本発明にしたがうと、エコーキャンセラがボコーダとともに使用される。エコーキャンセラは、ノイズ抑制、DTMFトーン検出、送信ミュートおよび音声エンコードのためにボコーダ内のさまざまな機能素子に情報を供給する。エコーキャンセラをボコーダとを組み合わせる直接の利点は、2つの集積回路を1つの集積回路に結合する際の費用、重さ、空間の節約である。
本発明の例示的な実施形態では、エコーキャンセラが使用されて、特に2人がどの音声モードにかかわっているかが決定される。例示的な実施形態では、5つの異なるモードすなわちトーク状態:近端話者の音声のみ、遠端話者の音声のみ、両話者が話している、いずれの話者も話していない、および会話のポーズの直ぐ続く短い時間期間であるハングオーバが可能である。
本発明は、ボコーダ内のいくつかの機能ブロック中でエコーキャンセラの状態決定を使用する。特に重要なことは、ボコーダ内のノイズ抑制機能中で状態決定信号を使用することである。例示的な実施形態では、ノイズ抑制器は入力信号を選択された周波数帯に分割し、各周波数帯に対して信号対ノイズ比を発生し、その後予め定められた利得テーブルにしたがって各周波数帯を増幅することにより動作する。音声/ノイズの決定は次のように実行される。各周波数帯に対する生の信号対ノイズ比推定値が使用され、音声メトリックテーブルをインデックス参照して、各チャネルに対する音声メトリック値が得られる。音声メトリックはチャネルエネルギの全体的な音声状特性の測定値である。個々のチャネル音声メトリック値が合計され、マルチチャネルエネルギパラメータが生成され、その後バックグランドノイズ更新しきい値と比較される。音声メトリック合計がしきい値を満たさない場合には、入力フレームはノイズであると考えられ、バックグランドノイズの更新が実行される。音声メトリック合計が更新しきい値を越える場合には、そのフレームは音声として取扱われ、バックグランドノイズ推定値は更新されない。ノイズ抑制器がエコーキャンセラからの残留エコーをバックグランドノイズとして取扱うと問題が生じることがある。このケースでは、ノイズ推定アルゴリズムは残留エコーに基づいてバックグランドノイズを再計算し、これはノイズの推定を損なう。
本発明はエコーキャンセラから状態情報信号を供給することによりこの問題を取り除き、この状態情報信号は、トークモードが遠端話者のみであると決定されたときにノイズ抑制器中のバックグランドノイズの更新をディセーブルする。エコーキャンセラからの状態情報信号がないと、ノイズ抑制器は、エコーキャンセラからの残留エコー信号に基づいてバックグランドノイズ計算を誤って更新する。
他の実施形態では、エコーキャンセラからの第2の信号がノイズ抑制器に供給され、この第2の信号はエコーキャンセラへの入力において何らかのエコーが実際に存在するか否かを示す。この第2の信号は、状態情報信号が更新をディセーブルするときでさえ、エコーキャンセラにエコーが存在しなければバックグランドノイズ推定がノイズ抑制器中で実行されるようにする。
さらに、本発明では、エコーキャンセラからの状態決定が使用されて、ボコーダ内のトーン検出機能が制御される。トーン検出器はDTMFトーンに対する送信信号をチェックする。トーンが検出されると、通常の送信信号がミュートされ、シグナリングメッセージが空中に送られてトーンを受信機で発生させる。十分に高い消去レートにより、検出されないくらい十分にボコーダ化トーンを低下させることができることからこのことがなされる。このトーン検出器は、遠端話者のみが話している状態中にエコーキャンセラからの状態決定信号によりディセーブルすることができ、これにより電力が節約される。
さらに、本発明はエコーキャンセラからの状態決定を使用して、ボコーダ内の送信ミュート機能を制御する。送信ミュートはPCMサンプルを合成ノイズで置換し、この合成ノイズは実際のバックグランドノイズのスペクトル特性と一致する。合成ノイズに対するスペクトル情報およびボリューム制御は、ボコーダのエンコーダにより実行される解析により提供される。送信ミュート機能は、エコーキャンセラの状態決定が遠端話者の音声のみを示しているときにイネーブルされる。このように、すべてのエコーが送信信号から除去される。
本発明はまたエコーキャンセラからの状態決定を使用して適応イコライザを制御する。このイコライザは受信された近端話者信号の周波数応答を修正して、送信パス中の周波数応答の低下を補償する。このイコライザは近端話者の音声状態中で送信パスの周波数特性を推定し、この推定を使用して全体的な周波数応答を所要の特性に形成するフィルタを構成する。受信した周波数応答のこの推定はエコー信号の存在により損なわれるので、エコーキャンセラは近端話者のみの音声状態中だけイコライザが周波数応答のその推定を更新できるようにする。
最後に、本発明はエコーキャンセラからの状態決定を使用して、ボコーダのエンコーダにより実行されるバックグランドノイズの推定機能を制御する。このバックグランドノイズの推定は、先に説明した送信ミュートブロックにより使用されるべき合成ノイズ情報を発生し、どのレートでエンコードするのかを決定するのに使用されるしきい値情報を発生するために実行される。目的は合成ノイズをノイズが抑制された実際のバックグランドノイズと一致させて、合成ノイズが置換されている期間に遠端の聞き手が気づかないようにすることである。バックグランドノイズ計算はエコーキャンセラからの状態情報をバックグランドノイズ推定機能に供給することにより強化される。エコーキャンセラは合成ノイズの置換期間中にバックグランドノイズ推定をディセーブルして、バックグランドノイズの更新が合成ノイズ上で実行されないようにする。
【図面の簡単な説明】
本発明の特徴および効果は、以下の図面とともに詳細な説明を読むことからさらに明白になるであろう。図面において、同じ参照文字は同様な構成要素を識別している。
図1は、移動体デジタル電話機の機能ブロック図である。
図2は、エコーキャンセラとボコーダの機能ブロック図である。
図3は、エコーキャンセラの機能ブロック図である。
図4は、ノイズ抑制器の機能ブロック図である。
図5は、トーン検出器の機能ブロック図である。
図6は、送信ミュートプロセッサの機能ブロック図である。
図7は、ボコーダのエンコーダの機能ブロック図である。
好ましい実施形態の詳細な説明
図1は、デジタルセルラすなわちPCS電話機の全体的なブロック図である。説明を簡単にするために、素子のサブセットのみが示されている。デジタルセルラ電話機は、マイクロフォン4とスピーカ2を含むハンドセット6と、アナログデジタル(A/D)コンバータ8と、エコーキャンセラ10と、ボコーダ12と、トランシーバ14と、アンテナ16から構成されている。さまざまな動作素子の配置または位置が単に変更されているシステムに対して他のアーキテクチャーを使用してもよいことも理解すべきである。
送信中、近端話者の音声はハンドセット6に設けられているマイクロフォン4により受け取られる。近端話者の音声信号は、マイクロフォン4により、図1において示されているような項v(t)により表される電気音響信号に変換される。受け取られた遠端話者の音声信号x(t)は、未知のエコーチャネル7を通る際にモデル化されてエコー信号y(t)が生成され、加算器5において音声信号v(t)に音響結合される。加算器5の出力は合成された音声/エコー信号v(t)+y(t)として示されている。未知のエコーチャネル7と加算器5は、システム自体の素子に含まれておらず、むしろマイクロフォン4とスピーカ2が物理的に近接することから生じる寄生的な結果である。
その後音声/エコー信号v(t)+y(t)は、アナログデジタルコンバータ8によりアナログ信号からPCMサンプルに変換される。例示的な実施形態では、PCMサンプルは64kビット/秒のレートでA/Dコンバータ8により出力され、図1に示されているような信号s(n)により表される。
エコーキャンセラ10はデジタル化された音声/エコー信号s(n)からエコー信号y(t)を取り除く。例示的な実施形態では、エコーキャンセラ10は先に言及した米国特許第5,307,405号において説明されているエコーキャンセラにしたがって動作する。例示的な実施形態では、エコーキャンセラ10は、異なるいくつかのトーク状態のいずれと話者がかかわっているかを決定することによりエコーキャンセルを実行し、トーク状態は近端話者の音声のみ、遠端話者の音声のみ、近端話者および遠端話者の音声が同時、いずれの話者も話していない、あるいはハングオーバである。いったんエコーキャンセラ10によりトーク状態が決定されると、エコー信号y(n)の推定値がデジタル化された音声/エコー信号s(n)から取り除かれる。エコー信号は完全に除去できないことから、残留エコーがデジタル化音声信号の一部として残る。このエコーがキャンセルされた音声信号s’(n)はその後ボコーダ12により処理される。例示的な実施形態では、ボコーダ12は先に言及した米国特許第5,414,796号において説明されているような可変レートコード励起線形予測(CELP)ボコーダである。例示的な実施形態では、ボコーダ12は先に言及した米国特許第4,811,404号において詳細に説明されているようなノイズ抑制システムとともに動作する。
ボコーダ12は、これに限定されないが、音声圧縮、ノイズ抑制、送受信ボリューム制御、DTMFトーン検出、送信ミュートを含む、いくつかの機能を信号s’(n)に実施する。本発明では、ボコーダ12は、バックグランドノイズ推定値を更新する時を決定するアルゴリズムにおいて、図1に“状態情報”として示されている、エコーキャンセラ10からの状態決定結果を使用する。エコーキャンセラ10とボコーダ12のさらなる詳細は図2に示されており、後でさらに詳細に説明する。
その後ボコーダ化された音声信号s”(n)はトランシーバ14に供給され、ここで、コード分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)あるいはアナログ変調のような予め定められた変調フォーマットにしたがって変調される。例示的な実施形態では、トランシーバ14は、先に言及した米国特許第4,901,307号において説明されているようなCDMA変調フォーマットにしたがって信号を変調する。その後トランシーバ14は変調信号をアップコンバートして増幅する。その後変調信号はアンテナ16を通して(図示されていない)基地局トランシーバに送信される。
同様な逆のプロセスが受信音声に対して生じる。CDMA変調信号はアンテナ16において受信され、トランシーバ14に供給される。トランシーバ14は受信信号を増幅し、ダウンコンバートし、復調する。例示的な実施形態では、トランシーバ14は、先に言及した米国特許第5,103,459号および第4,901,307号において説明されているようなCDMA復調フォーマットにしたがって受信信号を復調する。復調された信号z”(n)はボコーダ12に供給される。
例示的な実施形態では、ボコーダ12は、1200−9600bpsの範囲からのデータレートで20m秒毎にエンコードされた可変長データパケットを受け取る。ボコーダ12は先に言及した米国特許第5,414,796号にしたがってパケットを64kbpsPCMサンプルにデコードする。その後、デコードされた信号z’(n)はエコーキャンセラ10に供給され、ここで、所要の音声信号から不要なエコー信号y(t)を取り除くための基準として使用される。エコーキャンセラ10から出力されるデコードされた信号は図1でz(n)として示されている。
最後にデコードされた信号z(n)はA/Dコンバータ8によりアナログ波形に変換され、スピーカ2を使用して遠端話者の音響音声に変換され、ハンドセット6に供給される。
図2はエコーキャンセラ10とボコーダ12の機能ブロック図である。例示的な実施形態では、エコーキャンセラ10とボコーダ12は、マサチューセッツ洲、ノーアウッドのアナログデバイス社により製造されているデジタル信号プロセッサのADSP−2100シリーズのモデルADSP−2181のようなデジタルプロセッサの形態で構成される。ここでの教示にしたがって機能するように他のデジタル信号プロセッサをプログラムしてもよいことを理解すべきである。代わりに、エコーキャンセラ10とボコーダ12の他の構成は、ディスクリートプロセッサまたは特定用途向け集積回路(ASIC)の形態で構成してもよい。ボコーダ12は図2に示されている機能ブロックの任意の組み合わせを使用して構成できることも理解すべきである。
送信中、デジタル化された音声/エコー信号s(n)は、A/Dコンバータ8からTxPCMフィルタ52により受け取られる。エコーキャンセラ10はDC成分を合成できないことから低い周波数成分がフィルタアウトされる。フィルタされた信号はエコーキャンセラ10内の加算器32に供給され、ここで、このフィルタされた信号から推定されたエコー信号y’(n)が減算される。推定されたエコー推定信号y’(n)は、エコーキャンセラ10内で実行される適応フィルタ動作を使用して、受信されたデジタル音声信号z’(n)を処理することにより生成される。エコーキャンセラ10の例は、先に言及した米国特許第5,307,405号に開示されている。エコーキャンセラ10の詳細は後で詳細に説明する。
エコーキャンセラ10により生成される出力には、所要のデジタル化音声信号プラスエコーキャンセル処理から残された残留信号が含まれている。エコーキャンセラがデジタル化音声信号からすべてのエコーを完全に取り除くことができないことから残留信号が存在する。
その後出力信号はトーン検出器34に供給され、ここで、信号にDTMFトーンが含まれているか否かを見るためのチェックがなされる。信号にDTMFトーンが含まれている場合には、トーン検出器34によりTxミュート42が起動され、トランシーバ14はDTMFトーン信号を送るように命令される。計算を節約するために、トーク状態が遠端話者のみあるいは両話者沈黙であるとエコーキャンセラ10が決定した場合には、トーン検出器34はバイパスされる。
電話機では、その後エコーキャンセラ10からの出力信号はノイズ抑制器38により処理され、ノイズ抑制器38は多量のバックグランドノイズを減衰させる。代わりに、基地局では、ノイズ抑制器38の代わりに適応イコライザが使用されて、近端ユーザからのデジタル化音声信号の周波数コンテンツが動的に制御される。適応イコライザの例は、本発明の譲受人に譲受され、ここに参照として組込まれている、“適応イコライジングを実行する方法および装置”と題する1995年4月28日出願の留保中の米国特許出願08/953,102号に開示されている。この米国特許出願は08/456,277号のファイルラッパー継続出願である。ノイズ抑制器38の例は、先に言及した米国特許第4,811,404号に開示されている。米国特許第4,811,404号に開示されているもの以外のノイズ抑制器38の他の構成を使用してもよいことを理解すべきである。
ノイズ抑制器38は、入来信号のスペクトル特性を測定することによりバックグランドノイズ特性の推定値を更新する。本発明はエコーキャンセラ10から状態決定信号を供給して、バックグランドノイズ推定値の更新決定を促進する。バックグランドノイズ推定値の更新をイネーブルおよびディセーブルする際にエコーキャンセラが援助できるようにすると、後で明らかにするような顕著な効果が提供される。
その後ノイズ抑制器38からのノイズが抑制された音声信号はTxミュート42に供給され、このTxミュート42はイネーブルされているときにデジタル化音声信号を合成されたノイズに代え、例示的な実施形態では、この合成されたノイズは実際のバックグランドノイズのスペクトル特性と一致する。Txミュート42がディセーブルされている場合には、音声信号はボコーダのエンコーダ44に供給され、変更されない。Txミュート42は、遠端話者のみが話している状態中にエコーキャンセラ10によりイネーブルされる。
その後音声信号はTxミュート42からボコーダのエンコーダ44に送られる。ボコーダのエンコーダ44とボコーダのデコーダ46の例は、先に言及した米国特許第5,414,796号に開示されている。例示的な実施形態では、ボコーダのエンコーダ44は64kbpsでデジタル化音声サンプルを受け入れ、これを圧縮して減少されたデータレートを達成する。これは音声に内在する自然な冗長性のすべてを取り除くことにより達成される。この技術の基礎は、LPCフィルタと呼ばれるフィルタのパラメータを計算することであり、このLPCフィルタは人間の声道のモデルを使用して音声波形の短期予測を実行する。さらに、音声のピッチに関係する長期の影響はピッチフィルタのパラメータを計算することによりモデル化され、これは本質的に人間の声帯をモデル化する。最後にこれらのフィルタを励起させなければならず、これは、波形が先に言及した2つのフィルタを励起したときにコードブック中の多数のランダムな励起波形のうちのどれが元の音声に最も近い近似となるかを決定することによりなされる。バックグランドノイズ推定はボコーダのエンコーダ44内でも実行され、ボコーダのエンコーダ44は沈黙期間中のバックグランドノイズのエネルギを推定する。バックグランドノイズ推定値は実際のバックグランドノイズにおいてのみ更新されるべきであることから、エコーキャンセラ10からの状態情報信号を使用して、近端話者と遠端話者の両者が沈黙している時を決定することが好ましい。エコーキャンセラ10からのこの情報がない場合には、バックグランドノイズ推定値は合成されたノイズがTxミュート42により供給されるときでさえ更新されるかもしれず、このことは望ましいことではない。ボコーダのエンコーダ44のさらなる詳細は後に提供する。
受信方向では、再度図2を参照すると、データがトランシーバ14から受け入れられ、ボコーダのデコーダ46により処理される。例示的な実施形態では、ボコーダのデコーダ46は、1200−9600bpsの範囲からの、あるいは1200−13000bpsの範囲からのデータレートで可変長データパケットを受け入れ、先に言及した米国特許第5,414,796号において説明され、z’(n)として示されている64kbpsPCMサンプルを生成する。その後これらのPCMサンプルはエコーキャンセラ10を通してA/Dコンバータ8にルーティングされる。z’(n)はまた、Tx方向のエコーをキャンセルするための基準信号としてエコーキャンセラ10により使用される。Rx方向のエコーキャンセラ10の出力はz(n)として示されている。
本発明をさらによく理解するためには、さまざまな機能ブロックの動作知識が必要である。図3はエコーキャンセラ10の詳細なブロック図である。エコーキャンセラ10の例は、先に言及した米国特許第5,307,405号において開示されている。例示的な実施形態では、エコーキャンセラ10は、本質的に、先に説明した5つの異なるトーク状態のそれぞれに対する機能を規定する状態マシーンであることを理解すべきである。
図3では、図2に対するものと同様に、移動局からの音声信号は近端話者の音声s(n)としてラベルが付されている一方、RxPCMフィルタ50からの遠端話者の音声信号はz’(n)としてラベルが付されている。z’(n)は可変利得ステージ170により増幅され、加算器5においてs(n)に結合され、未知のエコーチャネル7を通るときにモデル化される。低周波数バックグランドノイズを取り除くために、エコー信号y(n)と近端話者の音声信号s(n)の合計はTxPCMフィルタ52によりハイパスフィルタ処理され、信号r(n)が生成される。信号r(n)は1つの入力として、加算器32および150、ならびに制御ユニット152のそれぞれに供給される。
入力遠端話者音声z’(n)は可変利得ステージ170に供給され、その後1組のトランスバーサル適応フィルタ(イニシャルフィルタ156、状態フィルタ158、およびエコーキャンセラフィルタ160)への入力のためにバッファ154に記憶され、そして制御ユニット152に記憶される。
エコーキャンセラ10の通常の動作の期間中は、信号
が状態フィルタ158から加算器150の1つの入力に出力され、ここで、この信号
は信号r(n)から減算される。加算器150から結果として得られる出力は信号e1(n)であり、この信号e1(n)は制御ユニット152に出力される。エコーキャンセラフィルタ160の出力、エコーレプリカ信号
は、フィルタスイッチ162を通して加算器32の1つの入力に供給され、ここで、この
は信号r(n)から減算される。加算器32から出力される結果として得られるエコー残留信号e(n)は、制御ユニット152への入力としてフィードバックされる。加算器32からの出力としてのエコー残留信号e(n)は、s’(n)として示されているエコーキャンセラ10の出力として直接に、あるいは示されていない付加的な処理素子を通して供給されてもよい。
大きなバックグランドノイズレベルが状態決定と干渉するのを防止するために、エコーキャンセラ10は信号z’(n)とe(n)に差動エネルギアルゴリズムを実行する。このアルゴリズムはバックグランドノイズレベルを継続的に監視し、これを信号エネルギと比較して話者が話しているか否かを決定する。3つのしきい値、T1(Bi)、T2(Bi)およびT3(Bi)が最初に計算され、これらはバックグランドノイズレベルBiの関数である。信号x(t)の信号エネルギが3つすべてのしきい値を越える場合には、話者は話していると決定される。信号エネルギがT1とT2を越えるが、T3を越えない場合には、話者はおそらくワード“speed”中の“sp”音のような無声音を発音していると決定される。信号エネルギが3つすべてのしきい値よりも小さい場合には、話者は話していないと決定される。
図3に図示されているように、2つの独立した適応フィルタ、フィルタ158および160が未知のエコーチャネルを追跡する。フィルタ160は実際のエコーキャンセルを実行する一方、フィルタ158は制御ユニット152により使用されてエコーキャンセラ10がいくつかある状態のうちどの状態で動作しているべきであるかを決定する。この状態情報は、トーン検出器34、ノイズ抑制器/適応イコライザ38、Txミュート42、ボコーダのエンコーダ44を含む、ボコーダ12内のさまざまな機能ブロックに供給される。
図4は、ノイズ抑制器38の機能ブロックである。ノイズ抑制器38の例は、先に言及した米国特許第4,811,404号において開示されている。米国特許第4,811,404号に開示されているもの以外のノイズ抑制器38の他の構成を使用してもよいことを理解すべきである。ノイズ抑制システムには、選択された周波数チャネルを表す複数の予め処理された信号に入力信号を分離するメカニズム210と、それぞれ個々のチャネル中の信号対ノイズ比(SNR)の推定値を発生するメカニズム310と、各周波数チャネル中のノイズエネルギを計算するメカニズム830と、チャネルSNR推定値に応答して、特定の利得テーブルから複数の利得値のうちの1つを自動的に選択することにより、それぞれ個々のチャネルに対する利得値を生成するメカニズム590と、選択された利得値に応答して複数の予め処理された信号のそれぞれの利得を修正して、複数の後処理ノイズ抑制出力信号を供給するメカニズム250と、後処理信号を合成して時間領域のPCMデータに戻すメカニズム260が含まれている。音声メトリック計算器810が使用されて音声/ノイズ決定プロセスが実行される。最初に、チャネルSNR推定器310からの生のSNR推定値が使用され、音声メトリックテーブルをインデックス参照して、各チャネルに対する音声メトリック値が得られる。音声メトリックはチャネルエネルギの全体的な音声状特性の測定値である。個々のチャネル音声メトリック値は合計され、第1のマルチチャネルエネルギパラメータが生成され、その後しきい値比較器820中でバックグランドノイズ更新しきい値と比較される。音声メトリック合計がしきい値を越えない場合には、入力フレームはノイズであると考えられ、ノイズエネルギ計算器830をイネーブルして各チャネル中のノイズエネルギを再計算させることによりバックグランドノイズの更新が実行される。推定されたノイズエネルギが利得テーブル590により使用されて、各チャネルに対して適切な利得が選択される。音声メトリック合計が更新しきい値を越える場合には、そのフレームは音声フレームであると考えられ、ノイズエネルギ計算器830がノイズエネルギ推定値を更新しないようにディセーブルされる。本発明はエコーキャンセラ10から付加的なイネーブル信号を供給し、このイネーブル信号は、遠端話者の音声のみが生じていることをエコーキャンセラ10が決定したときにノイズエネルギ計算器830をディセーブルにする。このイネーブル信号はしきい値比較器820からイネーブル信号に優先する。すなわち、ノイズエネルギ計算器830がエコーキャンセラ10からの信号によりディセーブルされた場合に、しきい値比較器820からのイネーブル信号が供給された場合にでもノイズエネルギ計算器830はディセーブルされたままである。この方法でエコーキャンセラ10からの状態情報を使用すると、バックグランドノイズ推定値が誤って更新されるのを防止する。
第2の実施形態では、エコーキャンセラ10はイネーブル信号をエネルギ計算器830に供給し、このイネーブル信号は、両話者が沈黙しているとトーク状態が決定されたときにバックグランドノイズ推定をイネーブルにする。エコーキャンセラ10からのイネーブル信号がない場合には、バックグランドノイズの更新は生じない。
第3の実施形態では、エコーキャンセラからの第2の信号がノイズ抑制器に供給され、この第2の信号は何らかのエコーが実際にエコーキャンセラへの入力に存在しているか否かを示している。図4に示されているように、第2の信号は“エコー存在?”としてラベルが付されており、状態情報信号が更新をディセーブルにするにもかかわらず、エコーキャンセラへの入力にエコーが存在しない場合にはバックグランドノイズ推定が実行できるようにする。この実施形態は、遠端話者の音声が送信信号にエコーを導入せずに遠端話者のみが話している状態の間にバックグランドノイズ推定値を更新することが望ましい場合に必要となる。
基地局では、ノイズ抑制器38の代わりに適応フィルタが使用される。適応フィルタの目的は近端話者の音声を変化させて、近端話者から遠端話者への送信における周波数の質低下を補償することである。適応フィルタ係数は近端話者音声のみの期間中に更新される。エコーキャンセラ10からの状態情報を使用して、近端話者のみの音声を検出したときにこの更新をイネーブルすることができる。
エコーキャンセラ10により供給される状態決定情報はトーン検出器34を制御するのにも使用される。図5に示されているように、トーン検出器34は1つの機能ブロック、DTMFトーン検出器70から構成されている。例示的な実施形態では、PCMエンコードデータが64kbpsでDTMFトーン検出器70により受け取られ、ここで、データの105フレーム毎に処理される。DTMFトーン検出器70は、“WE DSP16デジタル信号プロセッサを使用するデュアルトーンマルチ周波数受信機”と題するAT&Tアプリケーションノートで特定されている周波数およびオフセットテストとともにGoertzelアルゴリズムを使用して、DTMFトーンが存在するか否かを決定する。GoertzelアルゴリズムとAT&Tアプリケーションノートはともに当業者によく知られている。DTMFトーンが検出されると、DTMFトーン検出器70により信号がTxミュート42に送られ、この信号はTxミュート42に命令してDTMFトーンを合成されたノイズで置換させる。DTMFトーン間のポーズ中にノイズ抑制器38によりいまだにバックグランドノイズ推定値を更新することができることから、PCMデータが後でミュートされるとしても、その後PCMデータは変更されずにノイズ抑制器38に送られる。
遠端話者の音声だけが発生しているかあるいは両話者が沈黙していることをエコーキャンセラ10が決定した場合には、エコーキャンセラ10からの状態情報が使用されてDTMFトーン検出器70がディセーブルされる。これは処理能力の節約になる。DTMFトーン検出器70がディセーブルされると、エコーキャンセラ10からのPCMデータは変更されずにノイズ抑制器38に供給される。
第2の実施形態では、近端話者の音声だけが発生していることをエコーキャンセラ10が決定した場合には、エコーキャンセラ10からの状態情報が使用されてトーン検出器70がイネーブルされる。他のすべてのトーク状態に対しては、トーン検出器70はディセーブルされる。
エコーキャンセラ10からの状態決定信号が使用されて、Txミュート42も制御される。図6に示されているように、PCMデータはスイッチ76により受け取られる。エコーキャンセラ10が遠端話者の音声のみを検出した場合には信号がスイッチ76に送られ、この信号はPCMデータを合成ノイズ発生器74からの合成されたノイズで置換する。合成ノイズ発生器74はボコーダのエンコーダ44からのLPCパラメータとボリューム情報を使用して、実際のバックグランドノイズのスペクトル特性に一致させる。LPCパラメータとボリューム制御情報の説明は後で行う。ミュートが生じない場合にはTxミュート機能はバイパスされ、PCMデータは変更されずにボコーダのエンコーダ44に送られる。
エコーキャンセラ10の状態決定機能が使用されて、ボコーダのエンコーダ44も制御される。ボコーダのエンコーダ44の機能ブロック図は図7に示されている。Txミュート42からのPCMデータは音声アクティビィティ検出器80としきい値発生器78に供給される。音声アクティビィティ検出器80はPCMデータ信号の音声アクティビィティ量を計算する。近端話者が話しているときには音声アクティビィティは相対的に高い。近端話者が沈黙またはワード間で短いポーズをしている期間の間は、音声アクティビィティは相対的に低い。しきい値発生器78は、ノイズ抑制されたPCMデータのバックグランドノイズレベルに基づいて3つのしきい値レベルを計算する。音声アクティビィティ検出器80が最小レベルの話者アクティビィティを決定する毎にしきい値レベルが更新される。しかしながら、トーク状態が遠端話者の音声のみであることをエコーキャンセラ10からの状態決定が示した場合には、エコーキャンセラ10からの状態決定信号はしきい値発生器78に供給され、しきい値発生器78はバックグランドノイズの更新をディセーブルする。先に説明したように、近端話者が沈黙しているときにはTxミュート42において、合成されたノイズが実際のデータ信号と置換することから、この状況ではバックグランドノイズの更新を防止する必要がある。合成されたノイズに基づいてバックグランドノイズ推定信号を更新することは好ましくない。
第2の実施形態では、エコーキャンセラ10はイネーブル信号を供給し、この信号はしきい値発生器78をイネーブルして、両話者が沈黙しているとトーク状態が決定されたときにバックグランドノイズ推定を実行させる。この実施形態では、エコーキャンセラ10によりイネーブル信号が供給されない限り、バックグランドノイズの更新は実行されない。
先に説明した3つの計算しきい値はしきい値比較器82に送られ、ここで、この3つの計算しきい値はエンコードレートの決定に対する基礎を形成する。音声アクティビィティレベルはフレーム毎にこれらのしきい値と比較される。例示的な実施形態では、各フレームには160サンプル、すなわち20m秒のデータが含まれている。PCMデータの任意のフレーム中の音声アクティビィティエネルギが最高のしきい値を越えた場合には、近端話者が話していると決定され、そのフレームはマルチプレクサ84によりマルチプレクスされ、CELP86を使用してフルレートでエンコードされる。任意のフレーム中の音声アクティビィティエネルギが最低のしきい値よりも少ない場合には、そのフレームはマルチプレクサ84によりマルチプレクスされ、CELP92を使用して1/8レートでエンコードされる。任意のフレーム中の音声アクティビィティエネルギが最高のしきい値と最低のしきい値の間に入る場合には、そのフレームはCELP88およびCELP90を使用してそれぞれ1/2または1/4レートでエンコードされる。CELP処理ブロック86ないし92の各出力は後処理素子94に供給され、ここで、各出力は合成されて例示的な実施形態では、1.2kbpsと9.6kbpsとの間の可変データレート信号が生成される。後処理素子94の出力は(図示されていない)制御マイクロプロセッサに送られる。
好ましい実施形態の先の説明は当業者が本発明を作り、使用することができるように提供されている。これらの実施形態に対するさまざまな修正は当業者に容易に明らかになるであろう。ここに規定されている一般的な原理は発明力を用いることなく他の実施形態に適用することができる。したがって、本発明はここに示されている実施形態により限定されることを意図しているものでなく、ここに開示されている原理および新規な特徴と矛盾しない最も広い範囲にしたがうことを意図している。
Claims (14)
- 2人の話者がどのトーク状態となっているかを決定し、前記トーク状態を示す状態情報信号を供給する状態決定手段を備え、デジタル化音声プラスエコー信号を受け取り、遠端話者音声信号を受け取り、エコー抑制出力信号を供給するエコーキャンセラと、
前記状態情報信号に応答するトーン検出器とを具備し、
前記トーン検出器は、
デジタル化音声サンプルを受け取り、前記状態情報信号を受け取る入力手段と、
前記デジタル化音声サンプルを供給し、DTMFトーンの選択および期間を示す信号を供給する出力手段と、
DTMFトーンを検出するトーン検出手段と、
前記状態情報信号が遠端話者音声のみの状態を示しているときに前記トーン検出手段をディセーブルする制御手段とを含むデジタル電話システムの音声処理用装置。 - 前記トーン検出器は、
前記状態情報信号が近端話者音声のみの状態を示しているときに前記トーン検出手段をイネーブルする制御手段をさらに含む請求項1記載の装置。 - エコーキャンセラとデジタル処理素子を具備する音声処理装置中で、前記エコーキャンセラからの状態情報を使用して前記デジタル処理素子の動作を制御する方法において、
複数のトーク状態を示す状態情報信号を前記エコーキャンセラにより発生させるステップと、
前記状態情報信号を使用して前記デジタル処理素子内のトーン検出機能を制御するステップとを含み、
前記制御ステップは、
前記状態情報信号が遠端話者音声のみを示しているときに前記デジタル処理素子内の前記トーン検出機能をディセーブルするステップをさらに含む方法。 - 前記制御ステップは、
前記状態情報信号が近端話者音声のみを示しているときに前記デジタル処理素子内の前記トーン検出機能をイネーブルするステップをさらに含む請求項3記載の方法。 - 2人の話者がどのトーク状態となっているかを決定し、前記トーク状態を示す状態情報信号を供給する状態決定手段を備え、デジタル化音声プラスエコー信号を受け取り、遠端話者音声信号を受け取り、エコー抑制出力信号を供給するエコーキャンセラと、
前記エコーキャンセラから分離し、前記状態情報信号に応答するノイズ抑制器とを具備し、
前記ノイズ抑制器は、
デジタル化音声サンプルを受け取り、前記状態情報信号を受け取る入力手段と、
ノイズ抑制されたデジタル化音声信号を供給する出力手段と、
バックグランドノイズを抑制するのに使用される推定バックグランドノイズ信号を発生するバックグランドノイズ推定手段と、
前記状態情報信号が遠端話者音声のみを示しているときに前記バックグランドノイズ推定手段をディセーブルする制御手段とを含むデジタル電話システムの音声処理用装置。 - 2人の話者がどのトーク状態となっているかを決定し、前記トーク状態を示す状態情報信号を供給する状態決定手段を備え、デジタル化音声プラスエコー信号を受け取り、遠端話者音声信号を受け取り、エコー抑制出力信号を供給するエコーキャンセラと、
前記エコーキャンセラから分離し、前記状態情報信号に応答するノイズ抑制器とを具備し、
前記ノイズ抑制器は、
デジタル化音声サンプルを受け取り、前記状態情報信号を受け取り、前記エコーキャンセラへの入力におけるエコーの存在または不存在を示す信号を受け取る入力手段と、
ノイズ抑制されたデジタル化音声信号を供給する出力手段と、
バックグランドノイズを抑制するのに使用される推定バックグランドノイズ信号を発生するバックグランドノイズ推定手段と、
前記状態情報信号が遠端話者音声のみを示し、前記エコー検出手段がエコーの不存在を示しているときに前記バックグランドノイズ推定手段をイネーブルする制御手段とを含むデジタル電話システムの音声処理用装置。 - 2人の話者がどのトーク状態となっているかを決定し、前記トーク状態を示す状態情報信号を供給する状態決定手段を備え、デジタル化音声プラスエコー信号を受け取り、遠端話者音声信号を受け取り、エコー抑制出力信号を供給するエコーキャンセラと、
前記エコーキャンセラから分離し、前記状態情報信号に応答するボコーダのエンコーダとを具備し、
前記ボコーダのエンコーダは、
デジタル化音声サンプルを受け取り、前記状態情報信号を受け取る入力手段と、
減少したデータレートでエンコードされたデジタル音声パケットを供給する出力手段と、
どのレートで前記デジタル化音声サンプルをエンコードするかを決定するのに使用されるしきい値情報を発生するバックグランドノイズ推定手段と、
前記状態情報信号が遠端話者音声のみを示しているときに前記バックグランドノイズ推定手段をディセーブルする制御手段とを含むデジタル電話システムの音声処理用装置。 - 前記ボコーダのエンコーダは、
前記状態情報信号が両話者の沈黙を示しているときに前記バックグランドノイズ推定手段をイネーブルする制御手段をさらに含む請求項7記載の装置。 - 2人の話者がどのトーク状態となっているかを決定し、前記トーク状態を示す状態情報信号を供給する状態決定手段を備え、デジタル化音声プラスエコー信号を受け取り、遠端話者音声信号を受け取り、エコー抑制出力信号を供給するエコーキャンセラと、
前記エコーキャンセラから分離し、前記状態情報信号に応答する適応イコライザとを具備し、
前記適応イコライザは、
デジタル化音声サンプルを受け取り、前記状態情報信号を受け取る入力手段と、
周波数補償されたデジタル化音声信号を供給する出力手段と、
前記デジタル化音声サンプルのスペクトルコンテンツを推定する周波数推定手段と、
前記状態情報信号が遠端話者音声のみを示しているときに前記周波数推定手段をイネーブルする制御手段とを含むデジタル電話システムの音声処理用装置。 - エコーキャンセラとデジタル処理素子を具備する音声処理装置中で、前記エコーキャンセラからの状態情報を使用して前記デジタル処理素子の動作を制御する方法において、
複数のトーク状態を示す状態情報信号を前記エコーキャンセラにより発生させるステップと、
前記状態情報信号を使用して前記デジタル処理素子内の、前記エコーキャンセラから分離したノイズ抑制機能を制御するステップとを含み、
前記制御ステップは、
前記状態情報信号が遠端話者音声のみを示しているときに前記デジタル処理素子内の前記ノイズ抑制機能により実行されるバックグランドノイズ推定計算をディセーブルするステップをさらに含む方法。 - エコーキャンセラとデジタル処理素子を具備する音声処理装置中で、前記エコーキャンセラからの状態情報を使用して前記デジタル処理素子の動作を制御する方法において、
複数のトーク状態を示す状態情報信号を前記エコーキャンセラにより発生させるステップと、
前記状態情報信号を使用して前記デジタル処理素子内の、前記エコーキャンセラから分離したノイズ抑制機能を制御するステップとを含み、
前記制御ステップは、
前記状態情報信号が遠端話者音声のみを示し、かつ、前記エコー存在信号が前記エコーキャンセラへの入力においてエコーが存在することを示しているときに、前記デジタル処理素子内の前記ノイズ抑制機能により実行されるバックグランドノイズ推定計算をディセーブルするステップと、
前記状態情報信号が遠端話者音声のみを示し、かつ、前記エコー存在信号が前記エコーキャンセラへの入力においてエコーが存在しないことを示しているときに、前記バックグランドノイズ推定計算をイネーブルするステップとをさらに含む方法。 - エコーキャンセラとデジタル処理素子を具備する音声処理装置中で、前記エコーキャンセラからの状態情報を使用して前記デジタル処理素子の動作を制御する方法において、
複数のトーク状態を示す状態情報信号を前記エコーキャンセラにより発生させるステップと、
前記状態情報信号を使用して前記デジタル処理素子内の、前記エコーキャンセラから分離したボコーダのエンコーダ機能を制御するステップとを含み、
前記制御ステップは、
前記状態情報信号が遠端話者音声のみを示しているときに前記デジタル処理素子内の前記ボコーダのエンコーダ機能により実行されるバックグランドノイズ推定計算をディセーブルするステップをさらに含む方法。 - 前記制御ステップは、
前記状態情報信号が両話者の沈黙を示しているときに前記デジタル処理素子内の前記ボコーダのエンコーダ機能により実行されるバックグランドノイズ推定計算をイネーブルするステップをさらに含む請求項12記載の方法。 - エコーキャンセラとデジタル処理素子を具備する音声処理装置中で、前記エコーキャンセラからの状態情報を使用して前記デジタル処理素子の動作を制御する方法において、
複数のトーク状態を示す状態情報信号を前記エコーキャンセラにより発生させるステップと、
前記状態情報信号を使用して前記デジタル処理素子内の、前記エコーキャンセラから分離した前記適応イコライザ機能を制御するステップとを含み、
前記制御ステップは、
前記状態情報信号が近端話者音声のみを示しているときに前記デジタル処理素子内の前記適応イコライザ機能により実行される周波数応答の更新をイネーブルするステップをさらに含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/834,397 US5920834A (en) | 1997-01-31 | 1997-01-31 | Echo canceller with talk state determination to control speech processor functional elements in a digital telephone system |
US834,397 | 1997-01-31 | ||
PCT/US1998/001057 WO1998034354A1 (en) | 1997-01-31 | 1998-01-27 | Method and apparatus for using state determination to control functional elements in digital telephone systems |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001510655A JP2001510655A (ja) | 2001-07-31 |
JP2001510655A5 JP2001510655A5 (ja) | 2005-09-08 |
JP4522497B2 true JP4522497B2 (ja) | 2010-08-11 |
Family
ID=25266838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP53293598A Expired - Lifetime JP4522497B2 (ja) | 1997-01-31 | 1998-01-27 | デジタル電話システムの機能素子を制御するために状態決定を使用する方法および装置 |
Country Status (13)
Country | Link |
---|---|
US (1) | US5920834A (ja) |
EP (1) | EP0956658B1 (ja) |
JP (1) | JP4522497B2 (ja) |
KR (1) | KR20000070686A (ja) |
CN (1) | CN1218506C (ja) |
AT (1) | ATE389977T1 (ja) |
AU (1) | AU5962498A (ja) |
CA (1) | CA2278928A1 (ja) |
DE (1) | DE69839260T2 (ja) |
HK (1) | HK1025196A1 (ja) |
TW (1) | TW370747B (ja) |
WO (1) | WO1998034354A1 (ja) |
ZA (1) | ZA98761B (ja) |
Families Citing this family (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3556419B2 (ja) * | 1996-12-09 | 2004-08-18 | 株式会社東芝 | 携帯無線電話機 |
US6104993A (en) * | 1997-02-26 | 2000-08-15 | Motorola, Inc. | Apparatus and method for rate determination in a communication system |
US6075814A (en) * | 1997-05-09 | 2000-06-13 | Broadcom Homenetworking, Inc. | Method and apparatus for reducing signal processing requirements for transmitting packet-based data with a modem |
US7366670B1 (en) * | 1997-08-05 | 2008-04-29 | At&T Corp. | Method and system for aligning natural and synthetic video to speech synthesis |
US6567779B1 (en) * | 1997-08-05 | 2003-05-20 | At&T Corp. | Method and system for aligning natural and synthetic video to speech synthesis |
US6122384A (en) * | 1997-09-02 | 2000-09-19 | Qualcomm Inc. | Noise suppression system and method |
JP3710606B2 (ja) * | 1997-09-04 | 2005-10-26 | 松下電器産業株式会社 | エコーキャンセラ |
GB2330745B (en) * | 1997-10-24 | 2002-08-21 | Mitel Corp | Nonlinear processor for acoustic echo canceller |
KR100240626B1 (ko) * | 1997-11-25 | 2000-01-15 | 정선종 | 디지털 이동 통신 시스템에서의 반향 제거 방법 및 장치 |
US6563803B1 (en) * | 1997-11-26 | 2003-05-13 | Qualcomm Incorporated | Acoustic echo canceller |
US6269093B1 (en) * | 1997-12-16 | 2001-07-31 | Nokia Mobile Phones Limited | Adaptive removal of disturbance in TDMA acoustic peripheral devices |
US6570985B1 (en) * | 1998-01-09 | 2003-05-27 | Ericsson Inc. | Echo canceler adaptive filter optimization |
US7010129B1 (en) * | 1998-05-06 | 2006-03-07 | Volkswagen Ag | Method and device for operating voice-controlled systems in motor vehicles |
US6272460B1 (en) * | 1998-09-10 | 2001-08-07 | Sony Corporation | Method for implementing a speech verification system for use in a noisy environment |
US6556965B1 (en) * | 1999-03-24 | 2003-04-29 | Legerity, Inc. | Wired and cordless telephone systems with extended frequency range |
US6691092B1 (en) * | 1999-04-05 | 2004-02-10 | Hughes Electronics Corporation | Voicing measure as an estimate of signal periodicity for a frequency domain interpolative speech codec system |
AU4072400A (en) * | 1999-04-05 | 2000-10-23 | Hughes Electronics Corporation | A voicing measure as an estimate of signal periodicity for frequency domain interpolative speech codec system |
US7933295B2 (en) * | 1999-04-13 | 2011-04-26 | Broadcom Corporation | Cable modem with voice processing capability |
US6765931B1 (en) * | 1999-04-13 | 2004-07-20 | Broadcom Corporation | Gateway with voice |
US6985492B1 (en) * | 1999-04-13 | 2006-01-10 | Broadcom Corporation | Voice gateway with voice synchronization |
US6665645B1 (en) * | 1999-07-28 | 2003-12-16 | Matsushita Electric Industrial Co., Ltd. | Speech recognition apparatus for AV equipment |
DE19935808A1 (de) * | 1999-07-29 | 2001-02-08 | Ericsson Telefon Ab L M | Echounterdrückungseinrichtung zum Unterdrücken von Echos in einer Sender/Empfänger-Einheit |
DE69943185D1 (de) * | 1999-08-10 | 2011-03-24 | Telogy Networks Inc | Hintergrundenergieschätzung |
US6782046B1 (en) * | 1999-10-21 | 2004-08-24 | Texas Instruments Incorporated | Decision-directed adaptation for coded modulation |
US6526139B1 (en) * | 1999-11-03 | 2003-02-25 | Tellabs Operations, Inc. | Consolidated noise injection in a voice processing system |
US6473733B1 (en) | 1999-12-01 | 2002-10-29 | Research In Motion Limited | Signal enhancement for voice coding |
KR100336513B1 (ko) * | 1999-12-07 | 2002-05-11 | 서평원 | 무선가입자망의 보코더를 이용한 톤 신호 전송장치 |
US7920697B2 (en) * | 1999-12-09 | 2011-04-05 | Broadcom Corp. | Interaction between echo canceller and packet voice processing |
US7263074B2 (en) * | 1999-12-09 | 2007-08-28 | Broadcom Corporation | Voice activity detection based on far-end and near-end statistics |
JP2001175298A (ja) * | 1999-12-13 | 2001-06-29 | Fujitsu Ltd | 騒音抑圧装置 |
ATE388542T1 (de) * | 1999-12-13 | 2008-03-15 | Broadcom Corp | Sprach-durchgangsvorrichtung mit sprachsynchronisierung in abwärtsrichtung |
US6650627B1 (en) * | 1999-12-16 | 2003-11-18 | Avaya Technology Corp. | Tone detection in communication networks |
JP3929686B2 (ja) * | 2000-08-14 | 2007-06-13 | 松下電器産業株式会社 | 音声スイッチング装置およびその方法 |
US6507653B1 (en) * | 2000-04-14 | 2003-01-14 | Ericsson Inc. | Desired voice detection in echo suppression |
JP4580508B2 (ja) * | 2000-05-31 | 2010-11-17 | 株式会社東芝 | 信号処理装置及び通信装置 |
US6785339B1 (en) * | 2000-10-31 | 2004-08-31 | Motorola, Inc. | Method and apparatus for providing speech quality based packet enhancement in packet switched networks |
KR100494564B1 (ko) * | 2000-12-28 | 2005-06-10 | 엘지전자 주식회사 | 보코더 가변 정보율을 이용한 반향 제거 장치 및 방법 |
KR200226168Y1 (ko) * | 2000-12-28 | 2001-06-01 | 엘지전자주식회사 | 이퀄라이저 기능을 구비한 휴대 통신 장치 |
JP3588096B2 (ja) * | 2001-01-31 | 2004-11-10 | 三菱電機株式会社 | 多重化伝送装置 |
US20020147585A1 (en) * | 2001-04-06 | 2002-10-10 | Poulsen Steven P. | Voice activity detection |
JP3568922B2 (ja) * | 2001-09-20 | 2004-09-22 | 三菱電機株式会社 | エコー処理装置 |
EP1301018A1 (en) * | 2001-10-02 | 2003-04-09 | Alcatel | Apparatus and method for modifying a digital signal in the coded domain |
US6895086B2 (en) * | 2001-11-13 | 2005-05-17 | Inmate Telephone, Inc. | 3-Way call detection system and method |
KR100492819B1 (ko) * | 2002-04-17 | 2005-05-31 | 주식회사 아이티매직 | 소음 제거 방법 및 그 시스템 |
US7242762B2 (en) | 2002-06-24 | 2007-07-10 | Freescale Semiconductor, Inc. | Monitoring and control of an adaptive filter in a communication system |
US7388954B2 (en) * | 2002-06-24 | 2008-06-17 | Freescale Semiconductor, Inc. | Method and apparatus for tone indication |
US7016488B2 (en) * | 2002-06-24 | 2006-03-21 | Freescale Semiconductor, Inc. | Method and apparatus for non-linear processing of an audio signal |
US7215765B2 (en) | 2002-06-24 | 2007-05-08 | Freescale Semiconductor, Inc. | Method and apparatus for pure delay estimation in a communication system |
DE60217859T2 (de) | 2002-08-28 | 2007-07-05 | Freescale Semiconductor, Inc., Austin | Verfahren und Vorrichtung zur Detektierung von Tonsignalen |
KR20040044217A (ko) * | 2002-11-19 | 2004-05-28 | 주식회사 인티스 | 디지털 통신의 음성 품질 향상 장치 및 방법 |
US7359504B1 (en) | 2002-12-03 | 2008-04-15 | Plantronics, Inc. | Method and apparatus for reducing echo and noise |
EP1434416B1 (en) * | 2002-12-23 | 2012-07-11 | Broadcom Corporation | Packet voice system with far-end echo cancellation |
US7333447B2 (en) | 2002-12-23 | 2008-02-19 | Broadcom Corporation | Packet voice system with far-end echo cancellation |
US8326621B2 (en) | 2003-02-21 | 2012-12-04 | Qnx Software Systems Limited | Repetitive transient noise removal |
US8271279B2 (en) | 2003-02-21 | 2012-09-18 | Qnx Software Systems Limited | Signature noise removal |
US7949522B2 (en) | 2003-02-21 | 2011-05-24 | Qnx Software Systems Co. | System for suppressing rain noise |
US7885420B2 (en) * | 2003-02-21 | 2011-02-08 | Qnx Software Systems Co. | Wind noise suppression system |
US7725315B2 (en) * | 2003-02-21 | 2010-05-25 | Qnx Software Systems (Wavemakers), Inc. | Minimization of transient noises in a voice signal |
US7895036B2 (en) * | 2003-02-21 | 2011-02-22 | Qnx Software Systems Co. | System for suppressing wind noise |
US8073689B2 (en) * | 2003-02-21 | 2011-12-06 | Qnx Software Systems Co. | Repetitive transient noise removal |
JP3963850B2 (ja) * | 2003-03-11 | 2007-08-22 | 富士通株式会社 | 音声区間検出装置 |
US7383175B2 (en) * | 2003-03-25 | 2008-06-03 | Motorola, Inc. | Pitch adaptive equalization for improved audio |
CN100384194C (zh) * | 2003-06-24 | 2008-04-23 | 陈伟 | 自适应抗噪全数字指令扩音电话机 |
CA2534767A1 (en) * | 2003-08-05 | 2005-03-17 | Inmate Telephone, Inc. | Three-way call detection using steganography |
CN1310448C (zh) * | 2003-09-10 | 2007-04-11 | 中兴通讯股份有限公司 | 一种时分多路复用设备的静噪方法 |
US20050114118A1 (en) * | 2003-11-24 | 2005-05-26 | Jeff Peck | Method and apparatus to reduce latency in an automated speech recognition system |
US7643630B2 (en) * | 2004-06-25 | 2010-01-05 | Texas Instruments Incorporated | Echo suppression with increment/decrement, quick, and time-delay counter updating |
US7139701B2 (en) * | 2004-06-30 | 2006-11-21 | Motorola, Inc. | Method for detecting and attenuating inhalation noise in a communication system |
US7688968B1 (en) * | 2004-09-16 | 2010-03-30 | Marvell International Ltd. | Adaptive analog echo/next cancellation |
US8457614B2 (en) | 2005-04-07 | 2013-06-04 | Clearone Communications, Inc. | Wireless multi-unit conference phone |
KR100733713B1 (ko) * | 2005-08-17 | 2007-06-28 | 엘지전자 주식회사 | 적은 연산량을 필요로 하는 다자간 통화 시스템 및 그 방법 |
CN100524467C (zh) * | 2006-07-17 | 2009-08-05 | 深圳市迪威新软件技术有限公司 | 会议电视系统的回声处理方法 |
US7773759B2 (en) * | 2006-08-10 | 2010-08-10 | Cambridge Silicon Radio, Ltd. | Dual microphone noise reduction for headset application |
JP4678349B2 (ja) * | 2006-08-31 | 2011-04-27 | ヤマハ株式会社 | 通話判定装置 |
DE602006002132D1 (de) * | 2006-12-14 | 2008-09-18 | Harman Becker Automotive Sys | beitung |
US20080147394A1 (en) * | 2006-12-18 | 2008-06-19 | International Business Machines Corporation | System and method for improving an interactive experience with a speech-enabled system through the use of artificially generated white noise |
US8542802B2 (en) | 2007-02-15 | 2013-09-24 | Global Tel*Link Corporation | System and method for three-way call detection |
US20080201158A1 (en) | 2007-02-15 | 2008-08-21 | Johnson Mark D | System and method for visitation management in a controlled-access environment |
US8050398B1 (en) | 2007-10-31 | 2011-11-01 | Clearone Communications, Inc. | Adaptive conferencing pod sidetone compensator connecting to a telephonic device having intermittent sidetone |
US8199927B1 (en) | 2007-10-31 | 2012-06-12 | ClearOnce Communications, Inc. | Conferencing system implementing echo cancellation and push-to-talk microphone detection using two-stage frequency filter |
US8498407B2 (en) * | 2008-12-02 | 2013-07-30 | Qualcomm Incorporated | Systems and methods for double-talk detection in acoustically harsh environments |
US9225838B2 (en) | 2009-02-12 | 2015-12-29 | Value-Added Communications, Inc. | System and method for detecting three-way call circumvention attempts |
US8630726B2 (en) * | 2009-02-12 | 2014-01-14 | Value-Added Communications, Inc. | System and method for detecting three-way call circumvention attempts |
US9319874B2 (en) * | 2009-11-25 | 2016-04-19 | Wi-Lan Inc. | Automatic channel pass-through |
TWI406553B (zh) * | 2009-12-04 | 2013-08-21 | Htc Corp | 基於環境噪音感測的通訊品質的改善方法及電子裝置 |
CN102088521A (zh) * | 2009-12-07 | 2011-06-08 | 宏达国际电子股份有限公司 | 基于环境噪音感测的通讯质量的改善方法及电子装置 |
CN102131014A (zh) * | 2010-01-13 | 2011-07-20 | 歌尔声学股份有限公司 | 时频域联合回声消除装置及方法 |
FR2956539B1 (fr) * | 2010-02-16 | 2012-03-16 | Dominique Retali | Procede de detection du fonctionnement d'un dispositif de transmission sans fil de signaux de voix. |
TWI459828B (zh) * | 2010-03-08 | 2014-11-01 | Dolby Lab Licensing Corp | 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統 |
US8320974B2 (en) | 2010-09-02 | 2012-11-27 | Apple Inc. | Decisions on ambient noise suppression in a mobile communications handset device |
JP5219000B2 (ja) * | 2010-12-07 | 2013-06-26 | Necアクセステクニカ株式会社 | エコーキャンセラ及びエコーキャンセラの制御方法 |
TWI448108B (zh) * | 2011-03-16 | 2014-08-01 | Ind Tech Res Inst | 視訊會議系統及方法 |
JP5883751B2 (ja) * | 2011-09-22 | 2016-03-15 | パナソニックIpマネジメント株式会社 | 入出力装置及び通話端末 |
US9484043B1 (en) * | 2014-03-05 | 2016-11-01 | QoSound, Inc. | Noise suppressor |
US9767784B2 (en) * | 2014-07-09 | 2017-09-19 | 2236008 Ontario Inc. | System and method for acoustic management |
US9392365B1 (en) * | 2014-08-25 | 2016-07-12 | Amazon Technologies, Inc. | Psychoacoustic hearing and masking thresholds-based noise compensator system |
CN108140395B (zh) * | 2015-09-25 | 2022-01-04 | 美高森美半导体(美国)股份有限公司 | 舒适噪声生成装置和方法 |
US10572961B2 (en) | 2016-03-15 | 2020-02-25 | Global Tel*Link Corporation | Detection and prevention of inmate to inmate message relay |
US9609121B1 (en) | 2016-04-07 | 2017-03-28 | Global Tel*Link Corporation | System and method for third party monitoring of voice and video calls |
US10122863B2 (en) | 2016-09-13 | 2018-11-06 | Microsemi Semiconductor (U.S.) Inc. | Full duplex voice communication system and method |
US10027797B1 (en) | 2017-05-10 | 2018-07-17 | Global Tel*Link Corporation | Alarm control for inmate call monitoring |
US10225396B2 (en) | 2017-05-18 | 2019-03-05 | Global Tel*Link Corporation | Third party monitoring of a activity within a monitoring platform |
US10860786B2 (en) | 2017-06-01 | 2020-12-08 | Global Tel*Link Corporation | System and method for analyzing and investigating communication data from a controlled environment |
US9930088B1 (en) | 2017-06-22 | 2018-03-27 | Global Tel*Link Corporation | Utilizing VoIP codec negotiation during a controlled environment call |
CN112733381B (zh) * | 2021-01-21 | 2021-10-08 | 上海索辰信息科技股份有限公司 | 一种基于物理机制的噪声模拟方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0541679A (ja) * | 1991-08-05 | 1993-02-19 | Oki Electric Ind Co Ltd | モデム用エコーキヤンセラのバルクデイレイ測定法 |
JPH0523640U (ja) * | 1991-09-10 | 1993-03-26 | 三菱電機株式会社 | エコーキヤンセラー |
US5307405A (en) * | 1992-09-25 | 1994-04-26 | Qualcomm Incorporated | Network echo canceller |
JPH06338829A (ja) * | 1993-05-28 | 1994-12-06 | American Teleph & Telegr Co <Att> | 通信システム内の反響除去方法と装置 |
JPH07303073A (ja) * | 1994-05-06 | 1995-11-14 | N T T Idou Tsuushinmou Kk | ノイズ低減回路およびこの回路を用いたエコーキャンセラ |
JP3335764B2 (ja) * | 1994-06-20 | 2002-10-21 | 株式会社東芝 | 音声通信システム |
DE4426226A1 (de) * | 1994-07-23 | 1996-01-25 | Philips Patentverwaltung | Schaltungsanordnung zum Übertragen von codierten Sprachsignalen |
US5742734A (en) * | 1994-08-10 | 1998-04-21 | Qualcomm Incorporated | Encoding rate selection in a variable rate vocoder |
FI110826B (fi) * | 1995-06-08 | 2003-03-31 | Nokia Corp | Akustisen kaiun poisto digitaalisessa matkaviestinjärjestelmässä |
-
1997
- 1997-01-31 US US08/834,397 patent/US5920834A/en not_active Expired - Lifetime
-
1998
- 1998-01-27 AU AU59624/98A patent/AU5962498A/en not_active Abandoned
- 1998-01-27 KR KR1019997006935A patent/KR20000070686A/ko not_active Application Discontinuation
- 1998-01-27 CA CA002278928A patent/CA2278928A1/en not_active Abandoned
- 1998-01-27 JP JP53293598A patent/JP4522497B2/ja not_active Expired - Lifetime
- 1998-01-27 WO PCT/US1998/001057 patent/WO1998034354A1/en not_active Application Discontinuation
- 1998-01-27 CN CN988031248A patent/CN1218506C/zh not_active Expired - Lifetime
- 1998-01-27 EP EP98902823A patent/EP0956658B1/en not_active Expired - Lifetime
- 1998-01-27 AT AT98902823T patent/ATE389977T1/de not_active IP Right Cessation
- 1998-01-27 DE DE69839260T patent/DE69839260T2/de not_active Expired - Lifetime
- 1998-01-29 ZA ZA98761A patent/ZA98761B/xx unknown
- 1998-05-05 TW TW087101103A patent/TW370747B/zh not_active IP Right Cessation
-
2000
- 2000-05-17 HK HK00102952A patent/HK1025196A1/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
US5920834A (en) | 1999-07-06 |
HK1025196A1 (en) | 2000-11-03 |
WO1998034354A1 (en) | 1998-08-06 |
DE69839260T2 (de) | 2009-04-16 |
JP2001510655A (ja) | 2001-07-31 |
AU5962498A (en) | 1998-08-25 |
TW370747B (en) | 1999-09-21 |
CA2278928A1 (en) | 1998-08-06 |
DE69839260D1 (de) | 2008-04-30 |
CN1249869A (zh) | 2000-04-05 |
CN1218506C (zh) | 2005-09-07 |
KR20000070686A (ko) | 2000-11-25 |
ATE389977T1 (de) | 2008-04-15 |
ZA98761B (en) | 1998-08-17 |
EP0956658A1 (en) | 1999-11-17 |
EP0956658B1 (en) | 2008-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4522497B2 (ja) | デジタル電話システムの機能素子を制御するために状態決定を使用する方法および装置 | |
US7031269B2 (en) | Acoustic echo canceller | |
US7558729B1 (en) | Music detection for enhancing echo cancellation and speech coding | |
JP3447735B2 (ja) | ネットワークエコー消去装置 | |
FI110826B (fi) | Akustisen kaiun poisto digitaalisessa matkaviestinjärjestelmässä | |
EP1208689B1 (en) | Acoustical echo cancellation device | |
EP1346553B1 (en) | Audio signal quality enhancement in a digital network | |
US5619566A (en) | Voice activity detector for an echo suppressor and an echo suppressor | |
US8073497B2 (en) | Echo canceller with correlation using pre-whitened data values received by downlink codec | |
WO2000016497A1 (en) | Echo canceler adaptive filter optimization | |
US8873740B2 (en) | Enhanced echo cancellation | |
US8144862B2 (en) | Method and apparatus for the detection and suppression of echo in packet based communication networks using frame energy estimation | |
JP2003514264A (ja) | 雑音抑圧装置 | |
JP2001251652A (ja) | エコーおよび/またはノイズを協働して低減するための方法 | |
JP4317222B2 (ja) | ネットワークにおける通信リンクの送話品質の測定 | |
US7711107B1 (en) | Perceptual masking of residual echo | |
MXPA99007002A (en) | Method and apparatus for using state determination to control functional elements in digital telephone systems | |
KANG et al. | A new post-filtering algorithm for residual acoustic echo cancellation in hands-free mobile application | |
WO2001019062A1 (en) | Suppression of residual acoustic echo |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080204 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080512 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091104 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091204 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100526 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130604 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |