JPWO2013114425A1 - 残響抑圧装置 - Google Patents

残響抑圧装置 Download PDF

Info

Publication number
JPWO2013114425A1
JPWO2013114425A1 JP2013556003A JP2013556003A JPWO2013114425A1 JP WO2013114425 A1 JPWO2013114425 A1 JP WO2013114425A1 JP 2013556003 A JP2013556003 A JP 2013556003A JP 2013556003 A JP2013556003 A JP 2013556003A JP WO2013114425 A1 JPWO2013114425 A1 JP WO2013114425A1
Authority
JP
Japan
Prior art keywords
unit
filter coefficient
signal
moving average
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013556003A
Other languages
English (en)
Other versions
JP5774138B2 (ja
Inventor
崇志 三上
崇志 三上
敦仁 矢野
敦仁 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013556003A priority Critical patent/JP5774138B2/ja
Publication of JPWO2013114425A1 publication Critical patent/JPWO2013114425A1/ja
Application granted granted Critical
Publication of JP5774138B2 publication Critical patent/JP5774138B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/002—Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

入力信号に含まれるエコー成分を除去するエコーキャンセル部１０１と、エコー成分が除去された入力信号の周波数特性に基づいてハウリングの発生を検出し、検出したハウリング成分の周波数のレベルを減衰させるハウリング抑圧部１０２と、ハウリング成分の周波数レベルが減衰された入力信号の音声区間を検出し、検出した音声区間の音声開始部分の信号値を抑圧する語頭抑圧部１０３とを備える。

Description

本発明は、入力信号に混入したエコー成分を抑圧する残響抑圧装置に関するものである。
自動車内のように前部座席と後部座席があるような環境において、前部座席で発声された音声は音の指向性から後部座席へ伝わりにくく、会話しづらい。また、走行中は走行音ノイズのマスキング効果によってさらに会話が困難となる。このような問題に対して、マイクとスピーカによって会話を補助する技術がある。後部座席と比較してＳＮ比（信号対雑音比）の高い位置でマイクによる収音を行い、後部座席近くのスピーカより出力することで音声強調を行う。車内など狭い室内におけるこのようなシステムは閉ループ系を成し、スピーカ出力がマイクで収音されることでハウリングやエコーが発生する。そのため一般にハウリングキャンセラやエコーキャンセラなどが搭載される。しかし、これらは出力信号中のハウリングやエコーを抑圧するものであり、室内にて合成される音場の残響を抑圧するものではない。狭い室内では原信号（マイクを通さず聞こえる音声）も存在し、そこにスピーカ出力が合成されると、スピーカ出力自体に残響が含まれていなくとも室内音場に残響感が発生する。
またスピーカ出力を後部から行う場合、スピーカ出力が大きいと前方からの原信号が聞こえず、前方定位感が損なわれる。スピーカ出力を遅延させればハース効果により前方定位感は得られるが残響感の原因になり、遅延量によっては二重音声になってしまう。
この対策として、特許文献１には、ハンズフリー通話や電話会議システムなどにおいて通話状態を判定してパラメータを変更し、状況に対応したエコーキャンセルを行うエコーキャンセラが開示されている。また、特許文献２には、残響が発生する環境下でのスピーカ出力において、周波数帯域分割を行い隣り合う周波数帯のゲインを調整することで場の残響を抑圧するハウリング抑制装置が開示されている。
特開２００９−０２１８５９号公報 特開２０１０−１５１９６５号公報
しかしながら、上述した特許文献１に開示されたエコーキャンセラは、マイク入力のエコーキャンセルに関する技術であり、室内音場の残響抑制を行うことができないという課題があった。また、特許文献２に開示されたハウリング抑圧装置は、ＦＦＴなどの高負荷処理が必要であり、また、大きな遅延も発生するため原信号も存在するような環境では二重音声の原因となり会話補助のためには適切ではないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、マイクとスピーカを具備した環境において、スピーカ出力がマイクに入力されうる系に関し、原音声とスピーカ出力の合成により音場に発生する残響感を抑制することを目的とする。
この発明に係る雑音抑圧装置は、入力信号に含まれるエコー成分を除去するエコーキャンセル部と、エコーキャンセル部においてエコー成分が除去された入力信号の周波数特性に基づいてハウリングの発生を検出し、検出したハウリング成分の周波数のレベルを減衰させるハウリング抑圧部と、ハウリング抑圧部においてハウリング成分の周波数レベルが減衰された入力信号の音声区間を検出し、検出した音声区間の音声開始部分の信号値を抑圧する語頭抑圧部とを備えるものである。
この発明によれば、音声開始部分の信号値を抑圧し、音場に発生する残響感を抑圧することができる。
実施の形態１による残響抑圧装置の構成を示すブロック図である。 実施の形態１による残響抑圧装置のハウリング抑圧部に適用するフィードバックサプレッサの一例を示す図である。 実施の形態１による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。 実施の形態２による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。 実施の形態３による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。 実施の形態１から実施の形態３による残響抑圧装置のパワーの移動平均の特性を示す図である。
以下、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１による残響抑圧装置の構成を示すブロック図である。
図１において、入力端子であるマイク１が接続された残響抑圧装置１００は、エコーキャンセル部１０１、ハウリング抑圧部１０２および語頭抑圧部１０３で構成されている。語頭抑圧部１０３の後段には出力端子であるスピーカ２が接続されている。
エコーキャンセル部１０１は、マイク入力信号を参照信号とし、スピーカ出力信号からマイク入力信号中のエコー成分を推定して除去する。ハウリング抑圧部１０２は、マイク入力信号のハウリングを検出して抑圧する。語頭抑圧部１０３は、マイク入力信号の音声区間に関し、音声区間の開始部分（以下、語頭と称する）の信号値を弱め抑圧する。
次に各構成の詳細な動作について説明を行う。
エコーキャンセル部１０１は、ＮＬＭＳ（Normalised least mean squares filter）による適応フィルタを用いる。スピーカ２から出力する直前の信号をバッファリングしてＮＬＭＳの入力とし、マイク１へのマイク入力信号を参照信号とすることでマイク入力信号中のエコー成分を推定する。マイク入力信号と推定信号の残差はエコー除去後の信号となる。適応フィルタとしてＮＬＭＳを用いる例を示したが、ＬＭＳ（least mean squares filter）、ＲＬＳ（Recursive Least Squares）、アフィン射影フィルタなど他の適応フィルタを適用してもよい。
ハウリング抑圧部１０２は、マイク１へのマイク入力信号におけるハウリングを検出または推定し、除去する。例えばノッチフィルタ、適応ノッチフィルタなどの公知技術を用いて構成することができる。ノッチフィルタは、あらかじめ設定した周波数のゲインを下げるフィルタである。適応ノッチフィルタは、信号値のパワーが強い周波数を検出し、ゲインを下げるフィルタである。
Figure 2013114425
語頭抑圧部１０３は、音声区間の開始部分、すなわち語頭を抑圧するフィルタである。図３は、実施の形態１による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。
語頭抑圧部１０３は、入力信号の信号値のパワー（以下、パワーと称する）の移動平均を計算する短時間パワー移動平均計算部２０１、フィルタ係数における固定パラメータを設定するフィルタ係数設定部２０２、フィルタ係数設定部２０２で設定された固定パラメータと、短時間パワー移動平均計算部２０１で計算されたパワーの移動平均値からフィルタ係数を算出するフィルタ係数計算部２０３、フィルタ係数の上限を規定するフィルタ係数リミッタ部２０４、およびフィルタ係数計算部２０３およびフィルタ係数リミッタ部２０４で決定されたフィルタ係数に基づいて入力信号の信号値を変換する語頭抑圧フィルタ部２０５で構成されている。
語頭抑圧部１０３は、以下に示すようなパワーの移動平均を用いたフィルタを構成する。まず、短時間パワー移動平均計算部２０１は、以下の式（１）に基づいてパワーの移動平均ｐを計算する。
ｐ＝（１−ratio）・ｐ＋ratio・ｘ２ ・・・（１）
フィルタ係数設定部２０２は、入力信号の特性に応じてフィルタ係数に用いる固定パラメータＡを設定する。
次にフィルタ係数計算部２０３は、パワーの移動平均ｐと固定パラメータＡとから、以下の式（２）に示すフィルタ係数を求める。
Figure 2013114425
また、フィルタ係数リミッタ部２０４は、フィルタ係数の上限値を「１」と規定する。語頭抑圧フィルタ部２０５は、以下の式（３）に基づいて、得られたフィルタ係数を原信号の信号値に乗算し、フィルタ処理後の信号値ｘ´を得る。
Figure 2013114425
Figure 2013114425
上述した式（１）ではｘ２を用いてパワーの移動平均ｐを計算したが、原信号の信号値ｘの分散Ｖ（ｘ）を用いることもできる。分散Ｖ（ｘ）は、以下の式（４）および式（５）に示すように移動平均により近似的に求めることができる。
Ｍ＝（１−ratio）・Ｍ＋ratio・ｘ ・・・（４）
Ｖ＝（１−ratio）・Ｖ＋ratio・（ｘ−Ｍ）（ｘ−Ｍ） ・・・（５）
式（４）および式（５）において、Ｍは原信号の信号値ｘの平均値に相当する。
Figure 2013114425
以上のように、この実施の形態１によれば、入力信号からエコー成分を除去するエコーキャンセル部１０１と、入力信号のハウリングを検出し、抑圧するハウリング抑圧部１０２と、入力信号の音声区間について、音声開始の開始部分の信号値を抑圧する語頭抑圧部１０３とを備えるように構成したので、スピーカ出力では語頭の信号値が弱められ、原信号と合成された際の残響感を軽減することができる。
また、この実施の形態１によれば、語頭抑圧部１０３のフィルタ処理により得られるフィルタ処理後の信号値ｘ´が、音声区間以外では小さくなるように構成したので、ノイズがスピーカから出力されるのを防止することができる。さらに、音声区間の開始部分は原信号が強く聞こえるため、ハース効果が期待される。
なおハース効果とは、人は最初に聞こえた方向から聞こえているように感じるという効果である。一般に、ハース効果を持たせるためにはスピーカ出力を遅延させる構成とするが、この実施の形態１の残響抑圧装置では、スピーカ出力を遅延させることなく、ハース効果を持たせることができる。
また、この実施の形態１によれば、語頭抑圧部１０３が、入力信号のパワーの移動平均ｐを算出する短時間パワー移動平均計算部２０１と、入力信号の特性に応じてフィルタ係数における固定パラメータＡを設定するフィルタ係数設定部２０２と、パワーの移動平均ｐと固定パラメータＡに基づいてフィルタ係数を算出するフィルタ係数計算部２０３と、フィルタ係数の上限値を設定するフィルタ係数リミッタ部２０４と、フィルタ係数またはフィルタ係数の上限値により入力信号の信号値を変換する語頭抑圧フィルタ部２０５とを備えるように構成したので、音声区間の開始部分において、それまでの無音声区間の影響でパワーの移動平均ｐが小さくなり、結果としてフィルタ処理後の信号値ｘ´も小さい値とすることができる。これにより音声区間の開始部分の信号値を弱めることができる。
なお、上述した実施の形態１では、語頭抑圧部１０３をパワーの移動平均によるフィルタで構成する例を示したが、その他の手段で構成してもよい。例えば、公知の音声区間検出手段により音声区間を検出し、音声区間の開始後一定期間は出力ゲインを小さく設定する構成などが考えられる。
実施の形態２．
この実施の形態２では、上述した語頭抑圧部１０３の異なる構成を示す。
図４は、実施の形態２による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。実施の形態２の語頭抑圧部１０３ａは、実施の形態１で示した語頭抑圧部１０３に長時間パワー移動平均計算部２０６を追加して設けている。なお、以下では、実施の形態１による残響抑圧装置１００および語頭抑圧部１０３の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
長時間パワー移動平均計算部２０６は、短時間パワー移動平均計算部２０１と比較して、より長いレンジで入力信号のパワーの移動平均を計算する。具体的には、以下の式（７）に基づいて長時間パワーの移動平均を計算する。
ｐlong＝（１−ratiolong）・ｐlong＋ratiolong・ｘ２ ・・・（７）
また、フィルタ係数設定部２０２が設定するフィルタ係数における変動パラメータＡは、以下の式（８）に基づいて設定される。
Figure 2013114425

Figure 2013114425
Figure 2013114425
以上のように、この実施の形態２によれば、短時間パワー移動平均計算部２０１よりも長いレンジで長時間パワーの移動平均ｐlongを計算する長時間パワー移動平均計算部２０６と、計算した長時間パワーの移動平均ｐlongを用いてフィルタ係数計算部２０３が用いるフィルタ係数における変動パラメータＡを算出するように構成したので、入力信号の特性に合わせて変動パラメータＡを自動的に求めることができ、雑音パワーの変動に合わせて適切な変動パラメータＡを設定することができ、安定した音声出力を行うことができる。
実施の形態３．
この実施の形態３では、語頭抑圧部１０３についてさらに異なる構成を示す。
図５は、実施の形態３による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。実施の形態３の語頭抑圧部１０３ｂは、実施の形態２で示した語頭抑圧部１０３ａに信号変化量計算部２０７を追加して設けている。なお、以下では、実施の形態１および実施の形態２による残響抑圧装置１００および語頭抑圧部１０３，１０３ａの構成要素と同一または相当する部分には実施の形態１および実施の形態２で使用した符号と同一の符号を付して説明を省略または簡略化する。
信号変化量計算部２０７は、入力信号値の差分を平均し、入力信号の信号値の変化量を監視する。具体的には、以下の式（１１）に基づいて信号値の変化量diffnを算出する。なお、この実施の形態５では、上述した式（１）、（４）、（５）および（６）で示したratioを以下に示す式（９）から式（１１）に基づいて算出する。
Figure 2013114425

Figure 2013114425
このように、信号変化量計算部２０７において、入力信号の信号値の変化量を検出し、パワーの移動平均ｐを監視する。すなわち、以下に示す状態を監視することができる。信号値ｘの分散があまり変化しない場合には移動平均の係数が小さい、つまりヒステリシスが大きくなり、パワーの移動平均ｐはなかなか大きくならない、あるいは分散が増加するに従って徐々にパワーの移動平均ｐが大きくなり、語頭が終わった後はヒステリシスが小さくなる。つまり音声区間終了後は速やかにパワーの移動平均ｐが小さくなる。
図６は、実施の形態１および実施の形態３の残響抑圧装置のフィルタ適用後のパワーの移動平均の特性を示す図である。図６（ａ）は入力信号の原信号を示し、図６（ｂ）は式（１）で示したフィルタを適用した場合のパワーの移動平均の特性を示し、図６（ｃ）は式（９）から式（１１）で示したフィルタを適用した場合のパワーの移動平均の特性を示している。図６（ｃ）では、図６（ｂ）と比較して、入力信号の立ち上がりが緩やかであり、且つ立下りが急峻となっている。すなわち、語頭の信号値を抑圧し、且つ残響感を抑圧することができる。なお、立ち下がりは実施の形態２と同等に急峻であるため、雑音区間における出力信号は速やかに小さくすることができる。
以上のように、この実施の形態３によれば、入力信号の信号値の変化量を監視する信号変化量計算部２０７を備え、信号値の変化量を考慮して移動平均の係数ratioを算出するように構成したので、信号の立ち上がりが緩やかで、立下りが急峻となるフィルタを構成することができ、音声区間の開始部分の信号値を抑圧し、且つ残響感を抑圧することができる。
なお、上述した実施の形態３では、信号変化量計算部２０７を、実施の形態２で示した語頭抑圧部１０３ａに適用する構成を示したが、実施の形態１で示した語頭抑圧部１０３に適用してもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係る残響抑圧装置は、音場の残響感低減に効果的な音声区間の開始部分の信号値を抑圧することが可能であり、マイクとスピーカを具備する種々の装置の残響抑圧に用いるのに適している。
１ マイク、２ スピーカ、１００ 残響抑圧装置、１０１ エコーキャンセル部、１０２ ハウリング抑圧部、１０３，１０３ａ，１０３ｂ 語頭抑圧部、２０１ 短時間パワー移動平均計算部、２０２ フィルタ係数設定部、２０３ フィルタ係数計算部、２０４ フィルタ係数リミッタ部、２０５ 語頭抑圧フィルタ部、２０６ 長時間パワー移動平均計算部、２０７ 信号変化量計算部。
本発明は、入力信号に混入したエコー成分を抑圧する残響抑圧装置に関するものである。
自動車内のように前部座席と後部座席があるような環境において、前部座席で発声された音声は音の指向性から後部座席へ伝わりにくく、会話しづらい。また、走行中は走行音ノイズのマスキング効果によってさらに会話が困難となる。このような問題に対して、マイクとスピーカによって会話を補助する技術がある。後部座席と比較してＳＮ比（信号対雑音比）の高い位置でマイクによる収音を行い、後部座席近くのスピーカより出力することで音声強調を行う。車内など狭い室内におけるこのようなシステムは閉ループ系を成し、スピーカ出力がマイクで収音されることでハウリングやエコーが発生する。そのため一般にハウリングキャンセラやエコーキャンセラなどが搭載される。しかし、これらは出力信号中のハウリングやエコーを抑圧するものであり、室内にて合成される音場の残響を抑圧するものではない。狭い室内では原信号（マイクを通さず聞こえる音声）も存在し、そこにスピーカ出力が合成されると、スピーカ出力自体に残響が含まれていなくとも室内音場に残響感が発生する。
またスピーカ出力を後部から行う場合、スピーカ出力が大きいと前方からの原信号が聞こえず、前方定位感が損なわれる。スピーカ出力を遅延させればハース効果により前方定位感は得られるが残響感の原因になり、遅延量によっては二重音声になってしまう。
この対策として、特許文献１には、ハンズフリー通話や電話会議システムなどにおいて通話状態を判定してパラメータを変更し、状況に対応したエコーキャンセルを行うエコーキャンセラが開示されている。また、特許文献２には、残響が発生する環境下でのスピーカ出力において、周波数帯域分割を行い隣り合う周波数帯のゲインを調整することで場の残響を抑圧するハウリング抑制装置が開示されている。
特開２００９−０２１８５９号公報 特開２０１０−１５１９６５号公報
しかしながら、上述した特許文献１に開示されたエコーキャンセラは、マイク入力のエコーキャンセルに関する技術であり、室内音場の残響抑制を行うことができないという課題があった。また、特許文献２に開示されたハウリング抑圧装置は、ＦＦＴなどの高負荷処理が必要であり、また、大きな遅延も発生するため原信号も存在するような環境では二重音声の原因となり会話補助のためには適切ではないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、マイクとスピーカを具備した環境において、スピーカ出力がマイクに入力されうる系に関し、原音声とスピーカ出力の合成により音場に発生する残響感を抑制することを目的とする。
この発明に係る雑音抑圧装置は、入力信号の音声区間を検出し、検出した音声区間の音声開始部分の信号値を抑圧する語頭抑圧部を備えるものである。
この発明によれば、音声開始部分の信号値を抑圧し、音場に発生する残響感を抑圧することができる。
実施の形態１による残響抑圧装置の構成を示すブロック図である。 実施の形態１による残響抑圧装置のハウリング抑圧部に適用するフィードバックサプレッサの一例を示す図である。 実施の形態１による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。 実施の形態２による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。 実施の形態３による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。 実施の形態１から実施の形態３による残響抑圧装置のパワーの移動平均の特性を示す図である。
以下、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１による残響抑圧装置の構成を示すブロック図である。
図１において、入力端子であるマイク１が接続された残響抑圧装置１００は、エコーキャンセル部１０１、ハウリング抑圧部１０２および語頭抑圧部１０３で構成されている。語頭抑圧部１０３の後段には出力端子であるスピーカ２が接続されている。
エコーキャンセル部１０１は、マイク入力信号を参照信号とし、スピーカ出力信号からマイク入力信号中のエコー成分を推定して除去する。ハウリング抑圧部１０２は、マイク入力信号のハウリングを検出して抑圧する。語頭抑圧部１０３は、マイク入力信号の音声区間に関し、音声区間の開始部分（以下、語頭と称する）の信号値を弱め抑圧する。
次に各構成の詳細な動作について説明を行う。
エコーキャンセル部１０１は、ＮＬＭＳ（Normalised least mean squares filter）による適応フィルタを用いる。スピーカ２から出力する直前の信号をバッファリングしてＮＬＭＳの入力とし、マイク１へのマイク入力信号を参照信号とすることでマイク入力信号中のエコー成分を推定する。マイク入力信号と推定信号の残差はエコー除去後の信号となる。適応フィルタとしてＮＬＭＳを用いる例を示したが、ＬＭＳ（least mean squares filter）、ＲＬＳ（Recursive Least Squares）、アフィン射影フィルタなど他の適応フィルタを適用してもよい。
ハウリング抑圧部１０２は、マイク１へのマイク入力信号におけるハウリングを検出または推定し、除去する。例えばノッチフィルタ、適応ノッチフィルタなどの公知技術を用いて構成することができる。ノッチフィルタは、あらかじめ設定した周波数のゲインを下げるフィルタである。適応ノッチフィルタは、信号値のパワーが強い周波数を検出し、ゲインを下げるフィルタである。
Figure 2013114425
語頭抑圧部１０３は、音声区間の開始部分、すなわち語頭を抑圧するフィルタである。図３は、実施の形態１による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。
語頭抑圧部１０３は、入力信号の信号値のパワー（以下、パワーと称する）の移動平均を計算する短時間パワー移動平均計算部２０１、フィルタ係数における固定パラメータを設定するフィルタ係数設定部２０２、フィルタ係数設定部２０２で設定された固定パラメータと、短時間パワー移動平均計算部２０１で計算されたパワーの移動平均値からフィルタ係数を算出するフィルタ係数計算部２０３、フィルタ係数の上限を規定するフィルタ係数リミッタ部２０４、およびフィルタ係数計算部２０３およびフィルタ係数リミッタ部２０４で決定されたフィルタ係数に基づいて入力信号の信号値を変換する語頭抑圧フィルタ部２０５で構成されている。
語頭抑圧部１０３は、以下に示すようなパワーの移動平均を用いたフィルタを構成する。まず、短時間パワー移動平均計算部２０１は、以下の式（１）に基づいてパワーの移動平均ｐを計算する。
ｐ＝（１−ratio）・ｐ＋ratio・ｘ２ ・・・（１）
フィルタ係数設定部２０２は、入力信号の特性に応じてフィルタ係数に用いる固定パラメータＡを設定する。
次にフィルタ係数計算部２０３は、パワーの移動平均ｐと固定パラメータＡとから、以下の式（２）に示すフィルタ係数を求める。
Figure 2013114425
また、フィルタ係数リミッタ部２０４は、フィルタ係数の上限値を「１」と規定する。語頭抑圧フィルタ部２０５は、以下の式（３）に基づいて、得られたフィルタ係数を原信号の信号値に乗算し、フィルタ処理後の信号値ｘ´を得る。
Figure 2013114425
Figure 2013114425
上述した式（１）ではｘ２を用いてパワーの移動平均ｐを計算したが、原信号の信号値ｘの分散Ｖ（ｘ）を用いることもできる。分散Ｖ（ｘ）は、以下の式（４）および式（５）に示すように移動平均により近似的に求めることができる。
Ｍ＝（１−ratio）・Ｍ＋ratio・ｘ ・・・（４）
Ｖ＝（１−ratio）・Ｖ＋ratio・（ｘ−Ｍ）（ｘ−Ｍ） ・・・（５）
式（４）および式（５）において、Ｍは原信号の信号値ｘの平均値に相当する。
Figure 2013114425
以上のように、この実施の形態１によれば、入力信号からエコー成分を除去するエコーキャンセル部１０１と、入力信号のハウリングを検出し、抑圧するハウリング抑圧部１０２と、入力信号の音声区間について、音声開始の開始部分の信号値を抑圧する語頭抑圧部１０３とを備えるように構成したので、スピーカ出力では語頭の信号値が弱められ、原信号と合成された際の残響感を軽減することができる。
また、この実施の形態１によれば、語頭抑圧部１０３のフィルタ処理により得られるフィルタ処理後の信号値ｘ´が、音声区間以外では小さくなるように構成したので、ノイズがスピーカから出力されるのを防止することができる。さらに、音声区間の開始部分は原信号が強く聞こえるため、ハース効果が期待される。
なおハース効果とは、人は最初に聞こえた方向から聞こえているように感じるという効果である。一般に、ハース効果を持たせるためにはスピーカ出力を遅延させる構成とするが、この実施の形態１の残響抑圧装置では、スピーカ出力を遅延させることなく、ハース効果を持たせることができる。
また、この実施の形態１によれば、語頭抑圧部１０３が、入力信号のパワーの移動平均ｐを算出する短時間パワー移動平均計算部２０１と、入力信号の特性に応じてフィルタ係数における固定パラメータＡを設定するフィルタ係数設定部２０２と、パワーの移動平均ｐと固定パラメータＡに基づいてフィルタ係数を算出するフィルタ係数計算部２０３と、フィルタ係数の上限値を設定するフィルタ係数リミッタ部２０４と、フィルタ係数またはフィルタ係数の上限値により入力信号の信号値を変換する語頭抑圧フィルタ部２０５とを備えるように構成したので、音声区間の開始部分において、それまでの無音声区間の影響でパワーの移動平均ｐが小さくなり、結果としてフィルタ処理後の信号値ｘ´も小さい値とすることができる。これにより音声区間の開始部分の信号値を弱めることができる。
なお、上述した実施の形態１では、語頭抑圧部１０３をパワーの移動平均によるフィルタで構成する例を示したが、その他の手段で構成してもよい。例えば、公知の音声区間検出手段により音声区間を検出し、音声区間の開始後一定期間は出力ゲインを小さく設定する構成などが考えられる。
実施の形態２．
この実施の形態２では、上述した語頭抑圧部１０３の異なる構成を示す。
図４は、実施の形態２による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。実施の形態２の語頭抑圧部１０３ａは、実施の形態１で示した語頭抑圧部１０３に長時間パワー移動平均計算部２０６を追加して設けている。なお、以下では、実施の形態１による残響抑圧装置１００および語頭抑圧部１０３の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
長時間パワー移動平均計算部２０６は、短時間パワー移動平均計算部２０１と比較して、より長いレンジで入力信号のパワーの移動平均を計算する。具体的には、以下の式（７）に基づいて長時間パワーの移動平均を計算する。
ｐlong＝（１−ratiolong）・ｐlong＋ratiolong・ｘ２ ・・・（７）
また、フィルタ係数設定部２０２が設定するフィルタ係数における変動パラメータＡは、以下の式（８）に基づいて設定される。
Figure 2013114425

Figure 2013114425
Figure 2013114425
以上のように、この実施の形態２によれば、短時間パワー移動平均計算部２０１よりも長いレンジで長時間パワーの移動平均ｐlongを計算する長時間パワー移動平均計算部２０６と、計算した長時間パワーの移動平均ｐlongを用いてフィルタ係数計算部２０３が用いるフィルタ係数における変動パラメータＡを算出するように構成したので、入力信号の特性に合わせて変動パラメータＡを自動的に求めることができ、雑音パワーの変動に合わせて適切な変動パラメータＡを設定することができ、安定した音声出力を行うことができる。
実施の形態３．
この実施の形態３では、語頭抑圧部１０３についてさらに異なる構成を示す。
図５は、実施の形態３による残響抑圧装置の語頭抑圧部の構成を示すブロック図である。実施の形態３の語頭抑圧部１０３ｂは、実施の形態２で示した語頭抑圧部１０３ａに信号変化量計算部２０７を追加して設けている。なお、以下では、実施の形態１および実施の形態２による残響抑圧装置１００および語頭抑圧部１０３，１０３ａの構成要素と同一または相当する部分には実施の形態１および実施の形態２で使用した符号と同一の符号を付して説明を省略または簡略化する。
信号変化量計算部２０７は、入力信号値の差分を平均し、入力信号の信号値の変化量を監視する。具体的には、以下の式（１１）に基づいて信号値の変化量diffnを算出する。なお、この実施の形態５では、上述した式（１）、（４）、（５）および（６）で示したratioを以下に示す式（９）から式（１１）に基づいて算出する。
Figure 2013114425

Figure 2013114425
このように、信号変化量計算部２０７において、入力信号の信号値の変化量を検出し、パワーの移動平均ｐを監視する。すなわち、以下に示す状態を監視することができる。信号値ｘの分散があまり変化しない場合には移動平均の係数が小さい、つまりヒステリシスが大きくなり、パワーの移動平均ｐはなかなか大きくならない、あるいは分散が増加するに従って徐々にパワーの移動平均ｐが大きくなり、語頭が終わった後はヒステリシスが小さくなる。つまり音声区間終了後は速やかにパワーの移動平均ｐが小さくなる。
図６は、実施の形態１および実施の形態３の残響抑圧装置のフィルタ適用後のパワーの移動平均の特性を示す図である。図６（ａ）は入力信号の原信号を示し、図６（ｂ）は式（１）で示したフィルタを適用した場合のパワーの移動平均の特性を示し、図６（ｃ）は式（９）から式（１１）で示したフィルタを適用した場合のパワーの移動平均の特性を示している。図６（ｃ）では、図６（ｂ）と比較して、入力信号の立ち上がりが緩やかであり、且つ立下りが急峻となっている。すなわち、語頭の信号値を抑圧し、且つ残響感を抑圧することができる。なお、立ち下がりは実施の形態２と同等に急峻であるため、雑音区間における出力信号は速やかに小さくすることができる。
以上のように、この実施の形態３によれば、入力信号の信号値の変化量を監視する信号変化量計算部２０７を備え、信号値の変化量を考慮して移動平均の係数ratioを算出するように構成したので、信号の立ち上がりが緩やかで、立下りが急峻となるフィルタを構成することができ、音声区間の開始部分の信号値を抑圧し、且つ残響感を抑圧することができる。
なお、上述した実施の形態３では、信号変化量計算部２０７を、実施の形態２で示した語頭抑圧部１０３ａに適用する構成を示したが、実施の形態１で示した語頭抑圧部１０３に適用してもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
１ マイク、２ スピーカ、１００ 残響抑圧装置、１０１ エコーキャンセル部、１０２ ハウリング抑圧部、１０３，１０３ａ，１０３ｂ 語頭抑圧部、２０１ 短時間パワー移動平均計算部、２０２ フィルタ係数設定部、２０３ フィルタ係数計算部、２０４ フィルタ係数リミッタ部、２０５ 語頭抑圧フィルタ部、２０６ 長時間パワー移動平均計算部、２０７ 信号変化量計算部。
この発明に係る雑音抑圧装置は、エコー成分が除去された信号の周波数特性に基づいて検出されたハウリング成分の周波数レベルを減衰させた入力信号の音声区間を検出し、検出した音声区間の音声開始部分の信号値を抑圧する語頭抑圧部を備えるものである。
信号変化量計算部２０７は、入力信号値の差分を平均し、入力信号の信号値の変化量を監視する。具体的には、以下の式（１１）に基づいて信号値の変化量diffnを算出する。なお、この実施の形態３では、上述した式（１）、（４）、（５）および（６）で示したratioを以下に示す式（９）から式（１１）に基づいて算出する。
Figure 2013114425

Figure 2013114425

Claims (5)

  1. 入力信号に含まれるエコー成分を除去するエコーキャンセル部と、
    前記エコーキャンセル部においてエコー成分が除去された前記入力信号の周波数特性に基づいてハウリングの発生を検出し、検出したハウリング成分の周波数のレベルを減衰させるハウリング抑圧部と、
    前記ハウリング抑圧部においてハウリング成分の周波数レベルが減衰された前記入力信号の音声区間を検出し、検出した音声区間の音声開始部分の信号値を抑圧する語頭抑圧部とを備えた残響抑圧装置。
  2. 前記語頭抑圧部は、
    前記ハウリング抑圧部から入力される入力信号の信号値をフィルタ係数に基づいて変換するフィルタ部と、
    前記ハウリング抑圧部から入力される入力信号を参照し、所定時間区間の信号値のパワーの移動平均を取って平滑化した短時間パワーを算出する短時間パワー移動平均計算部と、
    前記ハウリング抑圧部から入力される入力信号の特性に基づいて、前記フィルタ係数におけるパラメータを設定するフィルタ係数設定部と、
    前記短時間パワー移動平均計算部が算出した短時間パワーと、前記フィルタ係数設定部が設定したフィルタ係数におけるパラメータとから、前記フィルタ係数を算出するフィルタ係数計算部と、
    前記フィルタ部のフィルタ係数の上限値を設定する係数リミッタ部とを備え、
    前記フィルタ部は、前記フィルタ係数計算部が算出したフィルタ係数、または前記係数リミッタ部が設定したフィルタ係数の上限値に基づいて、前記入力信号の信号値を変換することを特徴とする請求項１記載の残響抑圧装置。
  3. 前記ハウリング抑圧部から入力される入力信号を参照し、前記短時間パワー移動平均計算部が算出に用いた時間区間長よりも長い時間区間の信号値のパワーの移動平均を取って平滑化した長時間パワーを算出する長時間パワー移動平均計算部を備え、
    前記フィルタ係数設定部は、前記長時間パワー移動平均計算部が算出した長時間パワーに基づいて前記パラメータを設定することを特徴とする請求項２記載の残響抑圧装置。
  4. 前記ハウリング抑圧部から入力される入力信号の信号値の変化を算出し、算出した変化に応じたヒステリシス特性により前記音声区間の音声開始部分および音声終了部分における信号値の変化を検出する信号変化量計算部を備え、
    前記フィルタ係数算出部は、前記信号変化量計算部が検出した前記音声区間の音声開始部分および音声終了部分における信号値の変化と、前記短時間パワー移動平均計算部が算出した短時間パワーと、前記フィルタ係数設定部が設定したフィルタ係数におけるパラメータとから、前記フィルタ係数を算出することを特徴とする請求項２記載の残響抑圧装置。
  5. 前記ハウリング抑圧部から入力される入力信号の信号値の変化を算出し、算出した変化に応じたヒステリシス特性により前記音声区間の音声開始部分および音声終了部分における信号値の変化を検出する信号変化量計算部を備え、
    前記フィルタ係数算出部は、前記信号変化量計算部が検出した前記音声区間の音声開始部分および音声終了部分における信号値の変化と、前記短時間パワー移動平均計算部が算出した短時間パワーと、前記フィルタ係数設定部が設定したフィルタ係数におけるパラメータとから、前記フィルタ係数を算出することを特徴とする請求項３記載の残響抑圧装置。
JP2013556003A 2012-01-30 2012-01-30 残響抑圧装置 Expired - Fee Related JP5774138B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013556003A JP5774138B2 (ja) 2012-01-30 2012-01-30 残響抑圧装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2012/000569 WO2013114425A1 (ja) 2012-01-30 2012-01-30 残響抑圧装置
JP2013556003A JP5774138B2 (ja) 2012-01-30 2012-01-30 残響抑圧装置

Publications (2)

Publication Number Publication Date
JPWO2013114425A1 true JPWO2013114425A1 (ja) 2015-05-11
JP5774138B2 JP5774138B2 (ja) 2015-09-02

Family

ID=48904522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013556003A Expired - Fee Related JP5774138B2 (ja) 2012-01-30 2012-01-30 残響抑圧装置

Country Status (5)

Country Link
US (1) US9437179B2 (ja)
JP (1) JP5774138B2 (ja)
CN (1) CN103828392B (ja)
DE (1) DE112012005782T5 (ja)
WO (1) WO2013114425A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102156790B1 (ko) * 2014-02-11 2020-09-16 한국전자통신연구원 스펙트럼 센싱 방법 및 스펙트럼 센싱 장치
US9672805B2 (en) 2014-12-12 2017-06-06 Qualcomm Incorporated Feedback cancelation for enhanced conversational communications in shared acoustic space
US9479650B1 (en) * 2015-05-04 2016-10-25 Captioncall, Llc Methods and devices for updating filter coefficients during echo cancellation
CN106448691B (zh) * 2015-08-10 2020-12-11 深圳市潮流网络技术有限公司 一种用于扩音通信系统的语音增强方法
CN106486133B (zh) * 2015-08-27 2019-11-15 成都鼎桥通信技术有限公司 一种啸叫场景识别方法及设备
GB201518004D0 (en) * 2015-10-12 2015-11-25 Microsoft Technology Licensing Llc Audio signal processing
WO2018006856A1 (zh) * 2016-07-07 2018-01-11 腾讯科技（深圳）有限公司 一种回声消除的方法及终端、计算机存储介质
CN109983782B (zh) * 2016-09-30 2021-06-01 雅马哈株式会社 会话辅助装置及会话辅助方法
DE112017006486T5 (de) * 2016-12-23 2019-09-12 Synaptics Incorporated Online-enthallungsalgorithmus basierend auf gewichtetem vorhersagefehler für lärmbehaftete zeitvariante umgebungen
JP7000752B2 (ja) * 2017-09-08 2022-01-19 ヤマハ株式会社 カラオケ装置及びカラオケシステム
CN112466319A (zh) * 2020-11-06 2021-03-09 浙江华创视讯科技有限公司 音频处理方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02192335A (ja) * 1989-01-20 1990-07-30 Toshiba Corp 語頭検出方式
JP2004297791A (ja) * 2003-03-12 2004-10-21 Matsushita Electric Ind Co Ltd エコーキャンセル装置、エコーキャンセル方法、プログラムおよび記録媒体
JP2007067549A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 収音装置とその方法とそのプログラムとその記録媒体
JP2010041667A (ja) * 2008-08-08 2010-02-18 Yamaha Corp 収音装置、及び放収音装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2974504B2 (ja) 1992-06-30 1999-11-10 沖電気工業株式会社 エコーキャンセラ
US6523003B1 (en) * 2000-03-28 2003-02-18 Tellabs Operations, Inc. Spectrally interdependent gain adjustment techniques
US6377637B1 (en) * 2000-07-12 2002-04-23 Andrea Electronics Corporation Sub-band exponential smoothing noise canceling system
US7333605B1 (en) * 2002-04-27 2008-02-19 Fortemedia, Inc. Acoustic echo cancellation with adaptive step size and stability control
US20040228474A1 (en) 2003-03-12 2004-11-18 Matsushita Electric Industrial Co., Ltd. Echo-canceling apparatus, an echo-canceling method, a program and a recording medium
EP1704748B1 (en) * 2004-01-07 2008-04-30 Koninklijke Philips Electronics N.V. Audio system providing for filter coefficient copying
US8284947B2 (en) * 2004-12-01 2012-10-09 Qnx Software Systems Limited Reverberation estimation and suppression system
JP4888262B2 (ja) 2007-07-12 2012-02-29 ヤマハ株式会社 通話状態判定装置および該通話状態判定装置を備えたエコーキャンセラ
JP2010151965A (ja) 2008-12-24 2010-07-08 Sony Corp 音声処理装置、及び、音声処理方法
JP4567804B1 (ja) 2009-11-30 2010-10-20 パナソニック株式会社 ハウリング抑制装置、マイク装置、アンプ装置、拡声システムおよびハウリング抑制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02192335A (ja) * 1989-01-20 1990-07-30 Toshiba Corp 語頭検出方式
JP2004297791A (ja) * 2003-03-12 2004-10-21 Matsushita Electric Ind Co Ltd エコーキャンセル装置、エコーキャンセル方法、プログラムおよび記録媒体
JP2007067549A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 収音装置とその方法とそのプログラムとその記録媒体
JP2010041667A (ja) * 2008-08-08 2010-02-18 Yamaha Corp 収音装置、及び放収音装置

Also Published As

Publication number Publication date
CN103828392A (zh) 2014-05-28
US9437179B2 (en) 2016-09-06
US20140192993A1 (en) 2014-07-10
DE112012005782T5 (de) 2014-10-30
WO2013114425A1 (ja) 2013-08-08
JP5774138B2 (ja) 2015-09-02
CN103828392B (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
JP5774138B2 (ja) 残響抑圧装置
CN110838300B (zh) 回声消除的处理方法及处理系统
EP3348047B1 (en) Audio signal processing
EP2438766B1 (en) Acoustic multi-channel echo cancellation
US8150045B2 (en) Automatic gain control system applied to an audio signal as a function of ambient noise
JP4282260B2 (ja) エコーキャンセラ
CN109273019B (zh) 用于回声抑制的双重通话检测的方法及回声抑制
JP4978352B2 (ja) エコーキャンセラ
CA3040201C (en) Apparatus and method for processing an audio signal
CN107005268B (zh) 回波消除装置和回波消除方法
JP4814329B2 (ja) 音響エコーキャンセラ
JP5292931B2 (ja) 音響エコーキャンセラおよびエコーキャンセル装置
WO2009107750A1 (ja) 音響エコーキャンセラ
WO2019220951A1 (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
JP2000224081A (ja) エコーキャンセラ装置
JP2008263441A (ja) 非線形エコーキャンセラ装置
JP2005530443A (ja) 非定常エコーキャンセラ
JPH1023172A (ja) エコー除去装置
US11122366B2 (en) Method and apparatus for attenuation of audio howling
KR102266780B1 (ko) 음성 통신 환경에서 발생하는 클리핑 현상 완화 및 마이크 입력 신호, 에러 신호 및 원단 신호의 상관관계를 이용한 음성 왜곡 감소 업데이트 방법 및 장치
WO2024070079A1 (ja) エコー除去装置、及び、エコー除去方法
JP5640393B2 (ja) エコー除去装置、方法及びプログラム
JP3973481B2 (ja) エコーキャンセラシステム
Pandey et al. Howling suppression in hearing aids using least-squares estimation and perceptually motivated gain control
JP2008227610A (ja) エコー防止装置及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150630

R150 Certificate of patent or registration of utility model

Ref document number: 5774138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees