JP4352875B2 - 音声区間検出器 - Google Patents

音声区間検出器 Download PDF

Info

Publication number
JP4352875B2
JP4352875B2 JP2003394669A JP2003394669A JP4352875B2 JP 4352875 B2 JP4352875 B2 JP 4352875B2 JP 2003394669 A JP2003394669 A JP 2003394669A JP 2003394669 A JP2003394669 A JP 2003394669A JP 4352875 B2 JP4352875 B2 JP 4352875B2
Authority
JP
Japan
Prior art keywords
background noise
instantaneous power
time constant
speech
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003394669A
Other languages
English (en)
Other versions
JP2005156887A (ja
Inventor
実 福島
靖久 井平
博昭 竹山
武正 庄司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Corp
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Works Ltd filed Critical Panasonic Corp
Priority to JP2003394669A priority Critical patent/JP4352875B2/ja
Publication of JP2005156887A publication Critical patent/JP2005156887A/ja
Application granted granted Critical
Publication of JP4352875B2 publication Critical patent/JP4352875B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)

Description

本発明は、住宅、事務所、工場等で用いられる拡声通話装置(インターホン、電話機、PHSなど)における通話回路に騒音除去機能や音声切換機能等を搭載するために必要となる音声区間検出器に関するものである。
一般に音声区間検出器は、マイクロホンにより集音された音響信号が音声又は非音声の何れであるかを検出するために用いられる(特許文献1参照)。このような音声区間検出器の典型的な構成例を図13に示す。この音声区間検出器は、瞬時パワー推定部1、背景騒音パワー推定部2並びに判定部3を備える。瞬時パワー推定部1は、立ち上がりが急峻であり且つ立ち下がりが緩やかな特性、すなわち、立ち上がり時定数が相対的に小さく且つ立ち下がり時定数が相対的に大きい応答特性を有するフィルタ(積分回路又はデジタルフィルタ等)により実現され、参照信号(マイクロホンにより集音される音響信号)xの短時間平均パワーを推定するものである。また背景騒音パワー推定部2は、立ち上がりが緩やかであり且つ立ち下がりが急峻な特性、すなわち、立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタ(積分回路又はデジタルフィルタ等)により実現され、参照信号x中に定常的に存在する暗騒音(背景騒音)レベルを推定するものである。さらに判定部3は、瞬時パワー推定部1により求められる瞬時パワー推定値Psと、背景騒音パワー推定部2により求められる背景騒音パワー推定値Pnの比(Ps/Pn)を所定のしきい値と比較することにより、参照信号xが音声か非音声かを判定(検出)してH又はLの2値信号(音声検出信号)SDFを出力する。
特開2000−305579号公報
上述のような音声区間検出器においては、参照信号xのパワーの時間的変動が少ない場合、すなわち参照信号xが定常騒音の場合には判定部3にて非音声(非検出状態)と成ることが期待される。ところが上記従来例では、参照信号xが定常騒音である場合、参照信号xの入力直後は瞬時パワー推定値Psの立ち上がりに対して背景騒音パワー推定値Pnの立ち上がりが遅いことから両者の比Ps/Pnの値が大きいために音声検出状態となり、背景騒音パワー推定値Pnが徐々に増加して比Ps/Pnがしきい値を下回って非検出状態に移行するまでの間は音声検出状態が継続することになる(図14参照)。そして、参照信号xの騒音レベルが大きくなれば瞬時パワー推定値Psも大きくなるため、前記音声検出状態の継続時間(以下、「騒音判別時間」と呼ぶ)Tnが騒音レベルに比例し、高レベルの騒音が参照信号xとして入力された場合に騒音判別時間Tnが長くなるという問題が生じる。
ここで、拡声通話系の拡声通話端末に音声区間検出器を適用する場合、マイクロホン付近の周囲騒音(背景騒音)レベルが高い状況においては、動作を開始してから暫くの間は音声区間として検出してしまうことになる。その結果、例えば上述のような音声区間検出器を音声スイッチにおける通話状態の推定処理に用いる場合には、通話開始後暫くの間は通話方向が片倒れ状態になってしまうことがある。また、ノイズキャンセラに上述のような音声区間検出器を適用する場合においても、処理開始後暫くの間は音声区間として検出してしまうことにより、騒音抑圧処理が行われない虞がある。このように従来の音声区間検出器においては、騒音判別時間が騒音レベルに比例して長くなることにより、種々の適用事例において問題が生じることがあった。
本発明は上記事情に鑑みて為されたものであり、その目的は、参照信号のレベルによらずに騒音判別時間を一定にすることが可能な音声区間検出器を提供することにある。
請求項1の発明は、上記目的を達成するために、マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部を備え、前記時定数更新部は、前記瞬時パワー推定値が所定の基準値よりも小さいときに前記立ち上がり時定数を所定の定数とし、当該基準値より大きいときに前記立ち上がり時定数を適応的に更新することを特徴とする。
この発明によれば、前記瞬時パワー推定値と負の相関を持つように時定数更新部にて立ち上がり時定数を適応的に更新することにより、参照信号のレベルが大きくなれば立ち上がり時定数が小さくなり、且つ参照信号のレベルが小さくなれば立ち上がり時定数が大きくなるから、参照信号のレベルが変動しても判定部にて非音声と検出されてしまう騒音判別時間を一定にすることが可能となる。その結果、本発明に係る音声区間検出器を音声スイッチやノイズキャンセラに適用した場合、従来と比較して背景騒音のレベルが高い環境下における通話性能や応答性能の改善が図れる。しかも、低レベルの背景騒音が入力された場合の立ち上がり時定数が定数に固定されるから、定常的な背景騒音のレベルが低い場合の騒音判別時間を短縮することができる。
請求項2の発明は、上記目的を達成するために、マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部を備え、前記判定部は、所定の時間間隔を空けて算出された2つの瞬時パワー推定値の差分の絶対値を求め、該差分の絶対値と所定のしきい値の比較結果を参照して判定することを特徴とする。
この発明によれば、前記瞬時パワー推定値と負の相関を持つように時定数更新部にて立ち上がり時定数を適応的に更新することにより、参照信号のレベルが大きくなれば立ち上がり時定数が小さくなり、且つ参照信号のレベルが小さくなれば立ち上がり時定数が大きくなるから、参照信号のレベルが変動しても判定部にて非音声と検出されてしまう騒音判別時間を一定にすることが可能となる。その結果、本発明に係る音声区間検出器を音声スイッチやノイズキャンセラに適用した場合、従来と比較して背景騒音のレベルが高い環境下における通話性能や応答性能の改善が図れる。しかも、音声以外の非定常的な騒音のうちで瞬時パワーの時間的な変動が少ない騒音を非音声と判定することができて音声区間の誤検出が抑制できる。
請求項3の発明は、上記目的を達成するために、マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部と、前記背景騒音パワー推定値が収束したか否かを判定し、収束したと判定した場合に前記背景騒音パワー推定部における背景騒音パワー推定値の更新を停止する収束判定部とを備えたことを特徴とする。
この発明によれば、前記瞬時パワー推定値と負の相関を持つように時定数更新部にて立ち上がり時定数を適応的に更新することにより、参照信号のレベルが大きくなれば立ち上がり時定数が小さくなり、且つ参照信号のレベルが小さくなれば立ち上がり時定数が大きくなるから、参照信号のレベルが変動しても判定部にて非音声と検出されてしまう騒音判別時間を一定にすることが可能となる。その結果、本発明に係る音声区間検出器を音声スイッチやノイズキャンセラに適用した場合、従来と比較して背景騒音のレベルが高い環境下における通話性能や応答性能の改善が図れる。しかも、背景騒音のレベル変動が少ない環境で使用される場合、一旦収束した背景騒音パワー推定値の変動も少ないから、収束後の背景騒音パワー推定値の更新を停止し、瞬時パワー推定値のみを更新して音声区間が検出できて演算量の削減が図れる。
請求項4の発明は、上記目的を達成するために、マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値から参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部を備え、前記時定数更新部は、前記瞬時パワー推定値が所定の基準値よりも小さいときに前記立ち上がり時定数を所定の定数とし、当該基準値より大きいときに前記立ち上がり時定数を適応的に更新することを特徴とする。
この発明によれば、前記瞬時パワー推定値と負の相関を持つように時定数更新部にて立ち上がり時定数を適応的に更新することにより、参照信号のレベルが大きくなれば立ち上がり時定数が小さくなり、且つ参照信号のレベルが小さくなれば立ち上がり時定数が大きくなるから、参照信号のレベルが変動しても判定部にて非音声と検出されてしまう騒音判別時間を一定にすることが可能となる。その結果、本発明に係る音声区間検出器を音声スイッチやノイズキャンセラに適用した場合、従来と比較して背景騒音のレベルが高い環境下における通話性能や応答性能の改善が図れる。しかも、背景騒音パワー推定値が請求項1の発明に比較して相対的に大きい値に収束するから、騒音に対して誤って音声検出してしまうような誤検出の発生を抑えることができる。さらに、低レベルの背景騒音が入力された場合の立ち上がり時定数が定数に固定されるから、定常的な背景騒音のレベルが低い場合の騒音判別時間を短縮することができる。
請求項5の発明は、上記目的を達成するために、マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値から参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部を備え、前記判定部は、所定の時間間隔を空けて算出された2つの瞬時パワー推定値の差分の絶対値を求め、該差分の絶対値と所定のしきい値の比較結果を参照して判定することを特徴とする。
この発明によれば、前記瞬時パワー推定値と負の相関を持つように時定数更新部にて立ち上がり時定数を適応的に更新することにより、参照信号のレベルが大きくなれば立ち上がり時定数が小さくなり、且つ参照信号のレベルが小さくなれば立ち上がり時定数が大きくなるから、参照信号のレベルが変動しても判定部にて非音声と検出されてしまう騒音判別時間を一定にすることが可能となる。その結果、本発明に係る音声区間検出器を音声スイッチやノイズキャンセラに適用した場合、従来と比較して背景騒音のレベルが高い環境下における通話性能や応答性能の改善が図れる。しかも、背景騒音パワー推定値が請求項1の発明に比較して相対的に大きい値に収束するから、騒音に対して誤って音声検出してしまうような誤検出の発生を抑えることができる。さらに、音声以外の非定常的な騒音のうちで瞬時パワーの時間的な変動が少ない騒音を非音声と判定することができて音声区間の誤検出が抑制できる。
請求項6の発明は、上記目的を達成するために、マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値から参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部と、前記背景騒音パワー推定値が収束したか否かを判定し、収束したと判定した場合に前記背景騒音パワー推定部における背景騒音パワー推定値の更新を停止する収束判定部とを備えたことを特徴とする。
この発明によれば、前記瞬時パワー推定値と負の相関を持つように時定数更新部にて立ち上がり時定数を適応的に更新することにより、参照信号のレベルが大きくなれば立ち上がり時定数が小さくなり、且つ参照信号のレベルが小さくなれば立ち上がり時定数が大きくなるから、参照信号のレベルが変動しても判定部にて非音声と検出されてしまう騒音判別時間を一定にすることが可能となる。その結果、本発明に係る音声区間検出器を音声スイッチやノイズキャンセラに適用した場合、従来と比較して背景騒音のレベルが高い環境下における通話性能や応答性能の改善が図れる。しかも、背景騒音パワー推定値が請求項1の発明に比較して相対的に大きい値に収束するから、騒音に対して誤って音声検出してしまうような誤検出の発生を抑えることができる。さらに、背景騒音のレベル変動が少ない環境で使用される場合、一旦収束した背景騒音パワー推定値の変動も少ないから、収束後の背景騒音パワー推定値の更新を停止し、瞬時パワー推定値のみを更新して音声区間が検出できて演算量の削減が図れる。
本発明によれば、前記瞬時パワー推定値と負の相関を持つように時定数更新部にて立ち上がり時定数を適応的に更新することにより、参照信号のレベルが大きくなれば立ち上がり時定数が小さくなり、且つ参照信号のレベルが小さくなれば立ち上がり時定数が大きくなるから、参照信号のレベルが変動しても判定部にて非音声と検出されてしまう騒音判別時間を一定にすることが可能となり、その結果、本発明に係る音声区間検出器を音声スイッチやノイズキャンセラに適用した場合、従来と比較して背景騒音のレベルが高い環境下における通話性能や応答性能の改善が図れるという効果がある。
以下、本発明の実施形態を説明する前に、本実施形態と基本構成が共通である参考例について説明する。
参考例1)
図1は本発明の参考例1における音声区間検出器VDを有する拡声通話機Aを示すブロック図である。この拡声通話機Aは、マイクロホン10、スピーカ11、音声区間検出器VD並びに音声スイッチVSを備え、回線を通じて他の拡声通話機等と接続される。ここで音声スイッチVSは、スピーカ11からマイクロホン10への音響結合、及び回線側での回り込みにより形成される閉ループの利得を低減させることによりハウリングを抑圧するものであり、マイクロホン10で集音する音響信号(送話信号)を回線へ伝送するための通話路上に挿入される送話側減衰器12と、回線から受信した音響信号(受話信号)をスピーカ11へ伝送するための通話路上に挿入される受話側減衰器13と、音声区間検出器VDによる音声の検出結果(音声を検出すればSDF=1、音声を検出しなければSDF=0)を参照して送話側減衰器12並びに受話側減衰器13の挿入損失量を制御する挿入損失量制御部14とを備える。而して、挿入損失量制御部14においては、音声区間検出器VDから出力される音声検出信号SDFを参照するとともに送受話信号を観測して通話状態を判定し、通話状態に応じて送話側減衰器12の利得及び受話側減衰器13の利得を適切に設定する。
一方、本参考例の音声区間検出器VDは、送話側の通話路から取り出した参照信号(送話信号)xの瞬時パワーを推定する瞬時パワー推定部1と、参照信号xに含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部2と、瞬時パワー推定部1で推定した瞬時パワー推定値Ps並びに背景騒音パワー推定部2で推定した背景騒音パワー推定値Pnに基づいて参照信号xが音声か非音声かを判定する判定部3とを備える点で従来例と共通するが、立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで背景騒音パワー推定部2が構成され、瞬時パワー推定値Psと負の相関を持つように立ち上がり時定数を適応的に更新する時定数更新部4を備えた点に特徴がある。なお、音声区間検出器VDを構成する前記各部は、DSPあるいはCPUなどの汎用のハードウェア(プロセッサ)と専用のソフトウェアを組み合わせて実現されるものである。
図2は本参考例の音声区間検出器VDを示すブロック図である。瞬時パワー推定部1は、参照信号x(n)を2乗した2乗値を時間平均した2乗平均値Px(n)を求める2乗平均値算出部21と、2乗平均値算出部21で算出される時系列の2乗平均値Px(n)を平滑化する2乗平均値平滑部22とから構成される。2乗平均値算出部21は、所定のサンプリング時間でサンプリングされた参照信号x(n)の2乗値を求める2乗値算出部21aと、所定の時間フレーム(サンプリング数M)における2乗値の総和を求める総和算出部21bと、算出された総和をサンプリング数Mで除して2乗平均値Px(n)を求める除算部21cとからなり、結局のところ、2乗平均値算出部21では下記の式(1)の演算を行っている。
Figure 0004352875
また2乗平均値平滑部22は、正の定数α(<1)を2乗平均値Px(n)に乗算する乗算器22aと、遅延シフトレジスタ22bと、遅延シフトレジスタ22bで遅延させた瞬時パワー推定値Ps(n−1)に正の定数(1−α)を乗算する乗算器22cと、2つの乗算器22a,22cの出力を加算する加算器22dとからなり、結局のところ、2乗平均値平滑部22では下記の式(2)の演算を行っている。
Figure 0004352875
ところで、従来ソフトウェアにより瞬時パワーを推定する場合には2乗平均値算出部21のみで実現する、すなわち、2乗平均値Pxを瞬時パワー推定値Psとすることが多かった。この場合、サンプリング数Mが大きいほど2乗平均値Pxが平滑化され、騒音を非音声と判定する音声検出精度の向上が図れるが、判定部3における判定処理がサンプリング数M毎にしか実行されないために遅延が大きくなる。一方、サンプリング数Mを小さくすれば遅延は少なくなるが、2乗平均値Pxの平滑化効果が足りないため、定常的な背景騒音が入力された場合にもしばしば音声検出してしまう場合がある。これに対して本参考例では、2乗平均値算出部21にてサンプリング数Mを小さくしても後段の2乗平均値平滑部22にて2乗平均値Px(n)を平滑化できるため、音声区間の検出に要する時間(検出遅延時間)が短く且つ良好な検出精度が確保できるという利点がある。
一方、背景騒音パワー推定部2は、参照信号xの2乗平均値Px(n)を算出する2乗平均値算出部23と、瞬時パワー推定値Pn(n)を遅延する遅延シフトレジスタ24と、2乗平均値Px(n)と遅延シフトレジスタ24で遅延された瞬時パワー推定値Pn(n−1)とを比較する比較器25と、比較器25による比較結果に応じてそれぞれカウント値Cu,Cdをインクリメントする第1および第2のカウンタ26,27と、第1および第2のカウンタ26,27のカウント値Cu,Cdとしきい値Us,Udの大小関係に応じて3つの補正値β(n),0,−β(n)(但し、β(n)>0)の何れかを選択して出力するセレクタ28と、セレクタ28から出力される補正値に遅延された瞬時パワー推定値Pn(n−1)を加算する加算器29とで構成される。ここで、第1および第2のカウンタ26,27は、それぞれ参照信号xのサンプリング時間毎に以下の規則に則ってカウント値Cu,Cdを更新する。
Px(n)≧Pn(n−1)ならば、Cu=Cu+1,Cd=0
Px(n)<Pn(n−1)ならば、Cu=0,Cd=Cd+1
また、セレクタ28は以下の規則に則って3つの補正値のうちの何れか1つを選択して出力する。
Cu=Usならば、β(n)
Cd=Dsならば、−β(n)
Cu≠Us且つCd≠Dsならば、0
したがって、第1および第2のカウンタ26,27のカウント値Cu,Cdと比較されるしきい値Us,Dsが、Us≫Dsとなるように設定すれば、立ち上がり時定数が大きく且つ立ち下がり時定数が小さい応答特性を有するフィルタが実現できる(藤井,大賀,「音響エコーキャンセラに有用な無音声雑音区間における適応フィルタ係数の更新継続法」,電子情報通信学会論文誌A Vol.J78-A No.11 pp.1403-1409 1995年11月 参照)。なお、前記立ち上がり時定数は正の補正値β(n)とそのしきい値Usによってきまり、補正値β(n)が大きいほどあるいはしきい値Usが小さいほど、小さくなる。
ところで、従来の音声区間検出器では背景騒音パワー推定部2における立ち上がり時定数が一定値に固定されていたため、従来技術で説明したように参照信号x(n)が高レベルの定常騒音である場合に騒音判別時間Tnが騒音レベルに応じて長くなってしまうという問題があった。これに対して本参考例では、背景騒音パワー推定部2における立ち上がり時定数を瞬時パワー推定値Ps(n)と負の相関を持つように適応的に更新する時定数更新部4を備えている。時定数更新部4は、セレクタ28で選択される補正値β(n)を瞬時パワー推定値Pn(n)に比例して増減するようにサンプリング時間毎に更新することで立ち上がり時定数を瞬時パワー推定値Ps(n)と負の相関を持つように適応的に更新している。このように時定数更新部4で立ち上がり時定数を瞬時パワー推定値Ps(n)と負の相関を持つように適応的に更新しているため、図3に示すように参照信号x(n)のレベルが大きくなれば立ち上がり時定数が小さく(図3における背景騒音パワー推定値Pnの傾きが大きく)なり、且つ参照信号x(n)のレベルが小さくなれば立ち上がり時定数が大きく(図3における背景騒音パワー推定値Pnの傾きが小さく)なるから、参照信号x(n)のレベルが変動しても判定部3にて非音声と検出されてしまう騒音判別時間Tnを従来の騒音判別時間Tn’よりも短く且つ一定にすることが可能となる。従って、本参考例の音声区間検出器VDを音声スイッチやノイズキャンセラに適用した場合、従来と比較して背景騒音のレベルが高い環境下における通話性能や応答性能の改善が図れるものである。
参考例2)
図4は本参考例の音声区間検出器VDを示すブロック図であり、基本的な構成は参考例1と共通である。よって、参考例1と共通の構成要素については同一の符号を付して説明を省略する。
参考例参考例1と異なる点は、背景騒音パワー推定部2が瞬時パワー推定部1で推定した瞬時パワー推定値Ps(n)から参照信号x(n)に含まれる背景騒音パワー推定値Pn(n)を求める点にあり、具体的には、2乗平均値算出部23で参照信号xの2乗平均値Px(n)を算出する代わりに瞬時パワー推定値Ps(n)を取り込んで比較器25に入力している。なお、2乗平均値Px(n)の代わりに瞬時パワー推定値Ps(n)を用いることを除けば、背景騒音パワー推定部2による背景騒音パワー推定値Pn(n)を求める処理は参考例1と共通であるから説明を省略する。
而して、本参考例における背景騒音パワー推定部2で求められる背景騒音パワー推定値Pn(n)は瞬時パワー推定値Ps(n)の最小値に収束する。ところが、瞬時パワー推定部1の2乗平均値平滑部22で平滑化処理を行っているため、通常、瞬時パワー推定値Ps(n)と2乗平均値Px(n)の平均値はほぼ等しくなるが分散は2乗平均値Px(n)よりも瞬時パワー推定値Ps(n)の方が小さくなる。したがって、参照信号x(n)が定常騒音である場合、背景騒音パワー推定値Pnの収束値は参考例1における背景騒音パワー推定値Pn’よりも大きくなり(図5参照)、背景騒音パワー推定値Pn(n)が収束した後の瞬時パワー推定値Ps(n)と背景騒音パワー推定値Pn(n)の比Ps(n)/Pn(n)の値が参考例1の場合よりも小さくなる。その結果、同じレベルの背景騒音に対して音声区間を誤検出する可能性が参考例1の場合よりも低くなり、誤検出の発生を抑えることができる。
(実施形態
ところで、参照信号x(n)に含まれる背景騒音が非常に低いレベルであって、騒音判別時間Tnがほとんどゼロあるいは非常に短い時間となる状況においても、時定数更新部4で補正値β(n)を適応的に更新する場合には常に一定の騒音判別時間Tnが確保されてしまう。
そこで本実施形態の時定数更新部4は、図6のフローチャートに示すように瞬時パワー推定値Ps(n)を所定の基準値P0と比較し(ステップ1)、瞬時パワー推定値Ps(n)が基準値P0より小さいときに補正値β(n)を所定の定数β0に固定して立ち上がり時定数を定数に設定し(ステップ2)、瞬時パワー推定値Ps(n)が基準値P0以上のときには瞬時パワー推定値Ps(n)に係数αを乗算した値を補正値β(n)とすることで立ち上がり時定数を適応的に更新するようにしている(ステップ3)。したがって、図7に示すように瞬時パワー推定値Ps(n)が基準値P0以上の場合には参考例1,2と同様に背景騒音のレベルによらずに騒音判別時間Tnが一定となるが、瞬時パワー推定値Ps(n)が基準値P0より小さい場合には、従来例と同様に背景騒音のレベルに応じて騒音判別時間Tnの増減するから、参考例1,2に比較して定常的な背景騒音のレベルが低い場合の騒音判別時間Tnを短縮することができる。
なお、定数β0や係数α並びに基準値P0の各パラメータは、本実施形態の音声区間検出器VDが適用される拡声通話系に応じた適切な値に設定すればよいが、音声区間検出器VDをDSP等のプロセッサで構成する場合に、このプロセッサに対して外部(例えば、音声区間検出器VDを搭載した拡声通話機が備える制御用のCPUなど)から前記パラメータの設定が行えるようにして汎用性を高めることが望ましい。
(実施形態
本実施形態は判定部3における判定処理に特徴があり、全体の構成は参考例1又は2と共通であるから図示並びに説明は省略する。
本実施形態における判定部3は、(1)瞬時パワー推定値Ps(n)が所定のしきい値Pth以上であること、(2)瞬時パワー推定値Ps(n)と背景騒音パワー推定値Pn(n)の比Ps(n)/Pn(n)がしきい値δ以上であること、(3)所定の時間間隔Kを空けて算出された2つの瞬時パワー推定値Ps(n),Ps(n−K)の差分の絶対値が所定のしきい値χ以上であること、の3つの条件が全て満たされたときにのみ参照信号x(n)を音声と判定する。なお、時間間隔Kは、例えば瞬時パワー推定値Psを算出する際の時間フレーム(サンプル数)である。
次に、判定部3における具体的な判定処理を、図8のフローチャートに基づいて説明する。まず、瞬時パワー推定部1で算出された瞬時パワー推定値Ps(n)をしきい値Pthと比較し(ステップ1)、しきい値Pth以上であれば、瞬時パワー推定値Ps(n)と背景騒音パワー推定値Pn(n)の比Ps(n)/Pn(n)をしきい値δと比較する(ステップ2)。そして、比Ps(n)/Pn(n)がしきい値δ以上であれば、2つの瞬時パワー推定値Ps(n),Ps(n−K)の差分の絶対値|Ps(n)−Ps(n−K)|をしきい値χと比較し(ステップ3)、しきい値χ以上であれば音声と判定する(ステップ4)。また、瞬時パワー推定値Ps(n)がしきい値Pth未満、比Ps(n)/Pn(n)がしきい値δ未満、若しくは差分の絶対値|Ps(n)−Ps(n−K)|がしきい値χ未満の何れかであれば非音声と判定する(ステップ5)。
ここで、上述の(1)および(2)の2つの条件については従来から一般に用いられており、本発明者らは、(3)の条件を加えることによって音声以外の非定常的な周囲騒音が音声として誤検出されなくなることを実験により確認した。すなわち、非定常的な周囲騒音として赤ちゃんの泣き声を想定し、通話者の音声(男性の音声並びに女性の音声)と赤ちゃんの泣き声をそれぞれ含む参照信号x(n)に対して、瞬時パワー推定値Psと、(1)および(2)の2つの条件で判定した場合の判定結果と、瞬時パワー推定値の差分絶対値|Ps(n)−Ps(n−K)|とを求めたので、その結果を図9〜図11に示す。図9(a)、図10(a)および図11(a)はそれぞれ参照信号x(n)に赤ちゃんの泣き声、男性の音声、女性の音声が含まれるときの瞬時パワー推定値Psと判定部3の判定結果(音声検出信号SDF)を示し、各図の(b)は瞬時パワー推定値の差分の絶対値をそれぞれ示している。なお、時間間隔Kは4ms、参照信号x(n)のレベルは男性および女性の音声の平均音圧が等しく、それぞれ赤ちゃんの泣き声に対して4dB程度大きかった。
而して、図9(a)、図10(a)並びに図11(a)を比較すると、赤ちゃんの泣き声に対して通話者の音声は瞬時パワー推定値Ps(n)の時間変動が大きいことが分かる。このため、図9(b)、図10(b)並びに図11(b)に示すように瞬時パワー推定値の差分絶対値|Ps(n)−Ps(n−K)|に有意な差が認められる。したがって、差分絶対値|Ps(n)−Ps(n−K)|を判定条件に加えることで赤ちゃんの泣き声を騒音(非音声)と判定することができ、言い換えれば音声と誤判定することが防止できる。但し、非定常的な周囲騒音のうちで赤ちゃんの泣き声と同様に通話音声と比較して時間変動が小さいもの、例えばクラシック音楽や犬の遠吠えなども本実施形態により非音声と判定できると考えられる。なお、ケプストラム分析やLPC分析などの高度な音声認識技術を用いれば、本実施形態と同様にこれらの通話音声以外の周囲騒音を非音声として判定できるが、演算処理量としては本実施形態の方が圧倒的に少ないのでコスト面で有利である。
(実施形態
図12は本実施形態のブロック図を示している。本実施形態は、背景騒音パワー推定値Pnが収束したか否かを判定し、収束したと判定した場合に背景騒音パワー推定部2における背景騒音パワー推定値Pnの更新を停止する収束判定部5を備えた点に特徴があり、その他の構成および動作は参考例1と共通である。よって、参考例1と共通の構成要素には同一の符号を付して説明を省略する。
収束判定部5は、時間フレーム毎に背景騒音パワー推定部2で算出される背景騒音パワー推定値Pnの差分の絶対値|Pn(n)−Pn(n−1)|が所定のしきい値以下に収束したときに背景騒音パワー推定値Pnが収束したと判定して収束判定フラグを0から1に変更する。この収束判定フラグはモード制御部7に入力されており、モード制御部7では収束判定フラグが1となったら、背景騒音パワー推定部2に対する参照信号x(n)の入力を入/切するスイッチ6をオンからオフに切り替えることで背景騒音パワー推定部2を更新モードから停止モードに切り替える。ここで更新モードにおいては、背景騒音パワー推定部2がサンプリング時間毎に背景騒音パワー推定値Pn(n)を更新し、停止モードにおいては、背景騒音パワー推定部2が背景騒音パワー推定値の演算処理を停止し、背景騒音パワー推定値Pn(n)としてそれ以前に求められた値を保持する。
また、モード制御部7はカウンタ部8のカウント値が所定のしきい値を超えたらスイッチ6をオフからオンに切り換えて背景騒音パワー推定部2を停止モードから更新モードに復帰させる。このカウンタ部8は判定部3の音声検出信号SDFが0のとき(非音声区間と判定されたとき)にカウント値をインクリメントし、音声検出信号SDFが1のとき(音声区間と判定されたとき)、並びにモード制御部7がスイッチ6をオンからオフに切り替えたときにカウント値を0にリセットする。
而して、本実施形態を搭載した拡声通話機を周囲騒音のレベル変動が少ない環境で使用する場合、動作開始から数秒の間だけスイッチ6をオンして背景騒音パワー推定部2を更新モードとして背景騒音パワー推定値Pnを更新し、やがて背景騒音パワー推定値Pnが収束すれば収束判定部5がモード制御部7を介してスイッチ6をオフして停止モードに切り替え、それ以降は非音声区間の継続期間が所定時間を超えるまで、保持された背景騒音パワー推定値Pnと、瞬時パワー推定部1で更新される瞬時パワー推定値Psとから判定部3が音声区間の検出を行う。すなわち、背景騒音のレベル変動が少ない環境で使用される場合には、一旦収束した背景騒音パワー推定値Pnの変動も少ないから、収束後の背景騒音パワー推定値Pnの更新を停止し、瞬時パワー推定値Psのみを更新して音声区間が検出できて演算量の削減が図れるものである。但し、一旦収束した周囲騒音が使用環境の変化などによってレベル変動する場合も考えられるので、本実施形態では判定部3で非音声区間と判定される期間が所定時間以上継続した場合にモード制御部7が再びスイッチ6をオンして背景騒音パワー推定部2を停止モードから更新モードに切り替えて背景騒音パワー推定値Pnを更新するようにしている。このようにすれば、会話の途中の無音区間のように判定部3の判定結果が所定時間以上継続して非音声区間となる場合においてのみ背景騒音パワー推定値Pnが更新されるから、通話中も継続して背景騒音パワー推定値Pnを更新する場合に比較して推定値の精度が向上し、連続的に音声が入力されたときに背景騒音パワー推定値Pnが増大するのを防止することができる。
なお、本実施形態で説明した音声区間検出のアルゴリズムを実装したASIC(特定用途向け集積回路)などのデバイスを開発する場合に動作中の不要な演算を減らすことにより消費電流の削減が可能になるなどの効果が期待できる
本発明の参考例1を含む拡声通話機のブロック図である。 参考例1のブロック図である。 同上の動作説明図である。 本発明の参考例2のブロック図である。 同上の動作説明図である。 実施形態の動作説明用のフローチャートである。 同上の動作説明図である。 実施形態の動作説明用のフローチャートである。 同上における赤ちゃんの泣き声に対する実験結果を示す波形図である。 同上における男性の音声に対する実験結果を示す波形図である。 同上における女性の音声に対する実験結果を示す波形図である。 実施形態のブロック図である。 従来例を示すブロック図である。 同上の動作説明図である。
1 瞬時パワー推定部
2 背景騒音パワー推定部
3 判定部
4 時定数更新部

Claims (6)

  1. マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部を備え、前記時定数更新部は、前記瞬時パワー推定値が所定の基準値よりも小さいときに前記立ち上がり時定数を所定の定数とし、当該基準値より大きいときに前記立ち上がり時定数を適応的に更新することを特徴とする音声区間検出器。
  2. マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部を備え、前記判定部は、所定の時間間隔を空けて算出された2つの瞬時パワー推定値の差分の絶対値を求め、該差分の絶対値と所定のしきい値の比較結果を参照して判定することを特徴とする音声区間検出器。
  3. マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部と、前記背景騒音パワー推定値が収束したか否かを判定し、収束したと判定した場合に前記背景騒音パワー推定部における背景騒音パワー推定値の更新を停止する収束判定部とを備えたことを特徴とする音声区間検出器。
  4. マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値から参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部を備え、前記時定数更新部は、前記瞬時パワー推定値が所定の基準値よりも小さいときに前記立ち上がり時定数を所定の定数とし、当該基準値より大きいときに前記立ち上がり時定数を適応的に更新することを特徴とする音声区間検出器。
  5. マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値から参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部を備え、前記判定部は、所定の時間間隔を空けて算出された2つの瞬時パワー推定値の差分の絶対値を求め、該差分の絶対値と所定のしきい値の比較結果を参照して判定することを特徴とする音声区間検出器。
  6. マイクロホンおよびスピーカを有する拡声通話端末が他の通話端末又は拡声通話端末に接続されてなる拡声通話系の前記拡声通話端末に用いられ、通話路に伝送される音響信号が音声か非音声かを検出する音声区間検出器であって、前記通話路から取り出した参照信号の瞬時パワーを推定する瞬時パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値から参照信号に含まれる背景騒音成分のパワーを推定する背景騒音パワー推定部と、前記瞬時パワー推定部で推定した瞬時パワー推定値並びに前記背景騒音パワー推定部で推定した背景騒音パワー推定値に基づいて当該参照信号が音声か非音声かを判定する判定部とを備えた音声区間検出器において、前記背景騒音パワー推定部が立ち上がり時定数が相対的に大きく且つ立ち下がり時定数が相対的に小さい応答特性を有するフィルタで構成され、前記瞬時パワー推定値と負の相関を持つように前記立ち上がり時定数を適応的に更新する時定数更新部と、前記背景騒音パワー推定値が収束したか否かを判定し、収束したと判定した場合に前記背景騒音パワー推定部における背景騒音パワー推定値の更新を停止する収束判定部とを備えたことを特徴とする音声区間検出器。
JP2003394669A 2003-11-25 2003-11-25 音声区間検出器 Expired - Fee Related JP4352875B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003394669A JP4352875B2 (ja) 2003-11-25 2003-11-25 音声区間検出器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003394669A JP4352875B2 (ja) 2003-11-25 2003-11-25 音声区間検出器

Publications (2)

Publication Number Publication Date
JP2005156887A JP2005156887A (ja) 2005-06-16
JP4352875B2 true JP4352875B2 (ja) 2009-10-28

Family

ID=34720670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003394669A Expired - Fee Related JP4352875B2 (ja) 2003-11-25 2003-11-25 音声区間検出器

Country Status (1)

Country Link
JP (1) JP4352875B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5229234B2 (ja) 2007-12-18 2013-07-03 富士通株式会社 非音声区間検出方法及び非音声区間検出装置
JP5870476B2 (ja) 2010-08-04 2016-03-01 富士通株式会社 雑音推定装置、雑音推定方法および雑音推定プログラム
CN106328151B (zh) * 2015-06-30 2020-01-31 芋头科技(杭州)有限公司 一种环噪消除系统及其应用方法
CN109478405A (zh) * 2016-07-22 2019-03-15 索尼公司 信息处理设备、信息处理方法以及程序

Also Published As

Publication number Publication date
JP2005156887A (ja) 2005-06-16

Similar Documents

Publication Publication Date Title
JP5332733B2 (ja) エコーキャンセラ
KR100335162B1 (ko) 음성신호의잡음저감방법및잡음구간검출방법
US7035398B2 (en) Echo cancellation processing system
US6023674A (en) Non-parametric voice activity detection
US6453041B1 (en) Voice activity detection system and method
JP6028502B2 (ja) 音声信号処理装置、方法及びプログラム
US7535859B2 (en) Voice activity detection with adaptive noise floor tracking
US8085930B2 (en) Communication system
US20070232257A1 (en) Noise suppressor
JP3273599B2 (ja) 音声符号化レート選択器と音声符号化装置
JP3961290B2 (ja) 雑音抑圧装置
KR20010052483A (ko) 외부 음성 활동 검출을 이용한 잡음 억제
EP2700161B1 (en) Processing audio signals
JP5838861B2 (ja) 音声信号処理装置、方法及びプログラム
US8229107B2 (en) Echo canceler
JP2003259480A (ja) ハウリング検出装置
JP4321049B2 (ja) 自動利得制御装置
JP4352875B2 (ja) 音声区間検出器
JP3929686B2 (ja) 音声スイッチング装置およびその方法
JP2009147701A (ja) 振幅制御装置、携帯電話装置、および振幅制限方法
JP4888262B2 (ja) 通話状態判定装置および該通話状態判定装置を備えたエコーキャンセラ
JP2009147702A (ja) 騒音レベル推定装置、受話音量制御装置、携帯電話装置、および騒音レベル推定方法
JP4306424B2 (ja) 音声区間検出器
JPH10308815A (ja) 通話機の音声スイッチ
US20210390942A1 (en) Hearing device with speech resynthesis, and related method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090720

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees