JP5958341B2 - 信号処理装置、信号処理方法、並びに信号処理プログラム - Google Patents

信号処理装置、信号処理方法、並びに信号処理プログラム Download PDF

Info

Publication number
JP5958341B2
JP5958341B2 JP2012538632A JP2012538632A JP5958341B2 JP 5958341 B2 JP5958341 B2 JP 5958341B2 JP 2012538632 A JP2012538632 A JP 2012538632A JP 2012538632 A JP2012538632 A JP 2012538632A JP 5958341 B2 JP5958341 B2 JP 5958341B2
Authority
JP
Japan
Prior art keywords
signal
coefficient
mixed
noise
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012538632A
Other languages
English (en)
Other versions
JPWO2012049986A1 (ja
Inventor
昭彦 杉山
昭彦 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2012049986A1 publication Critical patent/JPWO2012049986A1/ja
Application granted granted Critical
Publication of JP5958341B2 publication Critical patent/JP5958341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Description

本発明は、信号に混在する雑音、妨害信号、エコーなどを消去する信号処理技術に関する。
マイクロホンやハンドセット等から入力された音声信号には、しばしば背景雑音が重畳されており、音声符号化や音声認識を行う上で、大きな問題となる。音響的に重畳した雑音の消去を目的とした信号処理装置として、特許文献1には、適応フィルタを用いた2入力型雑音消去装置が開示されている。
特許文献1に開示されている2入力型雑音消去装置は、雑音源から音声入力端子に至る音響経路(雑音経路)のインパルス応答を近似する適応フィルタを用いて、音声入力端子において音声に混入する雑音成分に対応した擬似雑音を生成する。そして、雑音消去装置は、音声入力端子に入力された信号(混在信号)からこの擬似雑音を差し引くことによって、雑音成分を抑圧するように動作する。ここで、混在信号とは、音声信号と雑音とが混在した信号のことであり、一般に、マイクロホンやハンドセットから音声入力端子に供給される。また、参照信号とは雑音源における雑音成分と相関のある信号であり、雑音源近傍において捕捉される。このように、雑音源近傍において参照信号が捕捉されることで、参照信号は雑音源における雑音成分とほぼ等しいとみなすことができる。適応フィルタには、参照入力端子に供給される参照信号が入力される。
特開平8−241086号公報
上述の2入力型雑音消去装置は、雑音源近傍において参照信号を捕捉することが仮定されている。雑音消去装置が雑音源近傍において参照信号を捕捉できない場合、雑音源から参照信号を捕捉する空間的位置までの空間伝達経路(追加雑音経路)に対応したインパルス応答の影響は無視できない。具体的には、この追加雑音経路によって前記適応フィルタへの入力が遅延するために、前記擬似雑音にも遅延が生じて、前記混在信号から前記擬似雑音の減算による十分な雑音消去を達成することができない。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る装置は、第1信号と第2信号とが混在した第1混在信号を入力する第1入力手段と、前記第1信号と前記第2信号とが、前記第1混在信号とは異なる割合で混在した第2混在信号を入力する第2入力手段と、前記第2信号の発生源から前記第2入力手段までの伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成する遅延手段と、前記遅延第1混在信号から擬似第2信号を減算した推定第1信号を出力する減算手段と、前記第2混在信号に対し、前記推定第1信号に基づいて更新される係数を用いて前記擬似第2信号を求める適応フィルタリング手段と、を備える。
上記目的を達成するため、本発明に係る方法は、第1信号と第2信号とが混在した第1混在信号を入力し、前記第1信号と前記第2信号とが、前記第1混在信号とは異なる割合で混在した第2混在信号を入力し、前記第2信号の発生源から前記第2混在信号が入力されるまでの前記第2信号の伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成し、前記遅延第1混在信号から、擬似第2信号を減算した推定第1信号を出力し、前記第2混在信号に対し、前記推定第1信号に基づいて更新される係数を用いて前記擬似第2信号を求める。
上記目的を達成するため、本発明に係るプログラムは、第1信号と第2信号とが混在した第1混在信号を入力するステップと、前記第1信号と前記第2信号とが、前記第1混在信号とは異なる割合で混在した第2混在信号を入力するステップと、前記第2信号の発生源から前記第2混在信号が入力されるまでの前記第2信号の伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成するステップと、前記遅延第1混在信号から、擬似第2信号を減算した推定第1信号を出力するステップと、前記第2混在信号に対し、前記推定第1信号に基づいて更新される係数を用いて前記擬似第2信号を求めるステップと、をコンピュータに実行させる。
本発明によれば、第2信号発生源近傍において第2混在信号を捕捉できないときにも十分な第2信号消去を達成することができる。
本発明の第1実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第2実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第3実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第3実施形態に係る可変遅延部の構成を示すブロック図である。 本発明の第4実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第4実施形態に係る可変遅延部の構成を示すブロック図である。 本発明の第5実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第5実施形態に係る可変遅延部の構成を示すブロック図である。 本発明の第6実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第6実施形態に係る適応フィルタの構成を示すブロック図である。 本発明の第6実施形態に係る適応フィルタの構成を示すブロック図である。 本発明の第7実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第8実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第9実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第10実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の第11実施形態に係る信号処理装置の構成を示すブロック図である。 本発明の他の実施形態に係る信号処理装置の構成を示すブロック図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
(第1実施形態)
本発明の第1実施形態としての信号処理装置100について、図1を用いて説明する。
信号処理装置100は、第1入力部101と第2入力部102と減算部103と適応フィルタ104と遅延部105とを含む。ここで、第1入力部101は、第1信号発生源160からの第1信号と第2信号発生源170からの第2信号とが混在した第1混在信号x(k)を入力する。また第2入力部102は、第1信号と第2信号とが、第1混在信号x(k)とは異なる割合で混在した第2混在信号x(k)を入力する。さらに、遅延部105は、第2信号の発生源170から第2入力部102までの距離に基づいて、第1混在信号x(k)を遅延させて遅延第1混在信号を生成する。減算部103は、第1混在信号x(k)に混在すると推定される擬似第2信号n(k)を遅延第1混在信号x(k)から減算して、推定第1信号e(k)を出力する。さらに適応フィルタ104は、第2混在信号x(k)に対し、推定第1信号e(k)に基づいて更新される係数を用いて擬似第2信号n(k)を求める。
以上の構成によれば、第2信号の発生源170近傍において第2混在信号を捕捉できないときにも十分な第2信号消去を達成することができる。
(第2実施形態)
本発明に係る信号処理装置の第2実施形態として、劣化信号(所望の信号と雑音とが混合された信号)から、雑音の一部又は全部を消去し、強調信号(所望の信号を強調した信号)を出力する雑音消去装置について説明する。図2は、雑音消去装置(ノイズキャンセラ)200の全体構成を示すブロック図である。雑音消去装置200は、たとえばデジタルカメラ、ノートパソコン、携帯電話などといった装置の一部としても機能するが、本発明はこれに限定されるものではなく、入力信号からの雑音消去を要求されるあらゆる情報処理装置に適用可能である。
図2に示すように、本実施形態に係る雑音消去装置200は、適応フィルタ204と、減算器203と、固定遅延部205とを備え、入力端子201、202から入力した信号に含まれる雑音の少なくとも一部を消去して出力端子206から出力する。また、雑音消去装置200は、第1信号の発生源としての所望信号源290、第2信号の発生源としての雑音源291、及び、ノイズ経路293、294が存在する環境で動作する。この雑音消去装置200の概略の動作は、消去しようとする雑音と相関のある信号を適応フィルタで変形して擬似雑音を生成し、これを雑音の重畳した音声信号から減算することで、雑音の消去を行うものである。雑音消去装置200が雑音の混在する音声を遅延させてから擬似雑音を減算する点に特徴がある。
入力端子201には、音声と雑音の混在した主信号(第1混在信号)が、サンプル値系列として供給され、雑音消去装置200は、入力された主信号を固定遅延部205に供給する。固定遅延部205は、主信号をDサンプルだけ遅延させて、遅延した主信号を減算器203に供給する。ここでDは、自然数である。
入力端子202には、雑音と相関のある参照信号(第2混在信号)が、サンプル値系列として供給され、雑音消去装置200は、入力された参照信号を、適応フィルタ204に供給する。
適応フィルタ204には、入力端子202から参照信号が供給される。雑音消去装置200は、入力された参照信号を適応フィルタ204に供給する。適応フィルタ204は、参照信号とフィルタ係数の畳込み演算を行い、その結果を擬似雑音として減算器203に伝達する。
減算器203には、入力端子201からDサンプル遅延された主信号が供給される。減算器203には、適応フィルタ204から擬似雑音が供給される。減算器203は、遅延された主信号から擬似雑音を減算し、その結果を出力として出力端子206に伝達すると同時に適応フィルタ204に帰還する。
適応フィルタ204は、入力端子202から供給される参照信号と減算器203から帰還される出力を用いて、減算器203の出力パワーが最小化されるように、係数を更新する。このような適応フィルタの係数修正アルゴリズムとして、特許文献1には、「LMSアルゴリズム(Least Mean−Square Algorithm)」や「LIM(Learning Identification Method)」が開示されている。LIMはまた、正規化LMSアルゴリズムとも呼ばれる。
固定遅延部205によって、雑音源近傍において参照信号を捕捉できないときにも十分な雑音消去を達成することのできる信号処理を実現できるのは、次に示す理由による。まず、参照信号をx(k)、適応フィルタ204の出力をn(k)とする。また、雑音源信号をn(k)、音声源信号をs(k)、雑音源から入力端子201までの音響経路(ノイズ経路293)の特性ベクトル(インパルス応答)をH、雑音源から入力端子202までの音響経路(ノイズ経路294)の特性ベクトル(インパルス応答)をHと表す。説明を簡単にするために、これらの音響経路は時不変であると仮定し、時間の概念に相当するサンプル番号kを省略した。参照信号ベクトルをX(k)、適応フィルタの係数ベクトルをW(k)、そのタップ数をM、雑音源信号n(k)の時系列サンプルからなる雑音源信号ベクトルをN(k)、ノイズ経路293の特性ベクトルの要素をh(j),j=0,1,...,M−1、ノイズ経路294の特性ベクトルの要素をh(j),j=0,1,...,D−1とすると、X(k)、W(k)、N(k)、H、Hは以下の(数式0)〜(数式4)で表される。
Figure 0005958341
ここに、[ ]は行列の転置を表す。
主信号x(k)、適応フィルタ204の出力n(k)、参照信号x(k)は、以下の(数式5)〜(数式7)で表わされる。
Figure 0005958341
雑音源近傍において参照信号を捕捉できるときには、ノイズ経路294のインパルス応答Hは1となる。このときに、固定遅延部205が存在しないならば、減算器203の出力e(k)は、(数式4)から(数式7)を用いて次の(数式8)で表すことができる。
Figure 0005958341
すなわち、H =W(k)が成立するときにe(k)=s(k)となり、雑音が消去される。
このように、雑音が消去される条件は、適応フィルタ204がノイズ経路293と等しいインパルス応答を有することである。これは、雑音源291から適応フィルタ204を経由して減算器203に至る経路と、雑音源291からノイズ経路293を経由して減算器203に至る経路の電気的特性が等しいことを表す。ところが、ノイズ経路294が存在するときには、この条件が満たされない。
雑音源近傍において参照信号を捕捉できないときには、ノイズ経路294のインパルス応答Hは1とならない。このため、雑音源291からノイズ経路294と適応フィルタ204を経由して減算器203に至る経路と、雑音源291からノイズ経路293を経由して減算器203に至る経路の電気的特性が等しいときに雑音が完全に消去される。ノイズ経路294の特性に起因する周波数特性への影響には、適応フィルタ204の周波数特性を変化させることで、対応することができる。すなわち、周波数特性に関しては、雑音源291からノイズ経路294と適応フィルタ204を経由して減算器203に至る経路と、雑音源291からノイズ経路293を経由して減算器203に至る経路を等しくすることができる。しかし、ノイズ経路294の特性に起因する遅延特性への影響は、適応フィルタの特性変更によって対応できない。適応フィルタ204が、負の遅延特性を実現できないためである。
このため、本実施形態では、固定遅延部205を導入して、ノイズ経路294の特性に起因する遅延特性への影響を相殺する。すなわち、ノイズ経路294の特性に起因する遅延特性への影響を相殺できるだけの遅延を、固定遅延部205が生じさせる。この結果、遅延特性に関しては、雑音源291からノイズ経路294と適応フィルタ204を経由して減算器203に至る経路と、雑音源291からノイズ経路293と固定遅延部205とを経由して減算器203に至る経路を等しくすることができる。固定遅延部205は周波数特性に何も影響を与えない。その結果、雑音源291からノイズ経路294及び適応フィルタ204を経由して減算器203に至る経路と、雑音源291からノイズ経路293及び固定遅延部205を経由して減算器203に至る経路とは、周波数特性と遅延特性の双方が互いに等しくなる。これにより、減算器203の出力において、雑音が完全に消去される。
以上の構成により、本実施形態によれば、雑音消去装置200は、主信号を遅延させてから、擬似雑音を減算する。雑音消去装置200は、擬似雑音に生じる遅延に合わせて主信号を遅延させるので、雑音源近傍において参照信号を捕捉できないときでも、擬似雑音の主信号に対する相対的な遅延をゼロにすることができる。このため、雑音消去装置200は、雑音源近傍において参照信号を捕捉できないときにも十分な雑音消去を達成することができる。
(第3実施形態)
本発明に係る信号処理装置の第3実施形態としての雑音消去装置300について、図3を用いて説明する。第2実施形態と比べた場合、本実施形態に係る雑音消去装置300は、固定遅延部205に代えて可変遅延部305を有する点で第2実施形態とは異なる。これらの構成要素以外の構成は第2実施形態と同じであるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
入力端子201は、主信号を可変遅延部305に供給する。可変遅延部305は、入力端子201から供給された主信号をDサンプル遅延させて、減算器203に供給する。減算器203の出力は可変遅延部305に帰還されている。可変遅延部305は、主信号と減算器203の出力を用いて、減算器203の出力パワーが最小となるように、遅延サンプル数Dを調整する。
図4に、可変遅延部305の内部構成を示す。可変遅延部305は、遅延素子401、401、・・・、401n−1と、選択部411と、制御部412とを備える。遅延素子401、401、・・・、401n−2は、供給された信号をそれぞれ1サンプルずつ遅延させて、次の遅延素子に供給する。遅延素子401、401、・・・、401n−1は、また、出力を選択部411へ供給する。選択部411は、供給された信号のうちの一つを選択して、出力する。選択部411が、遅延素子401を選択して出力するとき、可変遅延部305は主信号をDサンプル遅延させることになる。
制御部412は、供給された信号を用いて可変遅延部305の遅延すべきサンプル数を計算し、その情報を選択部411に供給する。選択部411は、制御部412から供給された情報に対応した遅延素子の出力を選択して、出力する。
制御部412が遅延すべきサンプル数Dを決定する手続きとしては、D.M.Etter et al.,″System Modeling Using an Adaptive Delay Filter,″IEEE Transactions on Circuits and Systems,pp.770−774,July 1987.に開示されている適応遅延フィルタ(ADF:Adaptive Delay Filter)を利用することができる。ADFは、利得を固定した複数の遅延を用いて誤差を観測し、他の誤差とは最も異なる誤差に対応した遅延を選択する。遅延決定時の利得は任意の値に設定可能であるため、利得が1に設定されればADFを本実施形態にそのまま適用することができる。
さらに、減算器203の出力は、可変遅延部305の動作とは無関係な音声を含む。したがって、雑音消去装置300は、可変遅延部305と適応フィルタ204を制御するタイミングを、音声のパワーが十分に小さいとき(所定の閾値以下の場合)に限定するとよい。このような選択的な制御を可変遅延部305と適応フィルタ204に適応することによって、雑音消去装置300は、より正確な遅延の制御と適応フィルタ係数の更新を行うことができる。
雑音消去装置300は、音声のパワーが十分に小さいか否かを、特許文献1に開示されたSNR推定方法によって求めたSNRを用いて判断することができる。SNRが高いときには音声パワーが雑音パワーに対して大きく、SNRが低いときには音声パワーが雑音パワーに対して小さい。これ以外にもSNR推定方法が知られており、雑音消去装置300は、それらのいずれの方法を用いても、音声のパワーが十分に小さいときを検出することができる。
以上の構成により、本実施形態によれば、雑音源近傍において参照信号を捕捉できず、雑音源までの遅延量が未知のときにも、雑音源から入力端子202に至る経路に対応した遅延を推定し、十分な雑音消去を達成することのできる信号処理を実現することができる。
(第4実施形態)
本発明に係る信号処理装置の第4実施形態としての雑音消去装置500について、図5及び図6を用いて説明する。第3実施形態と比べた場合、本実施形態に係る雑音消去装置500は、可変遅延部305に代えて可変遅延部505を有する点で第3実施形態とは異なる。これらの構成要素以外の構成は第3実施形態と同じであるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
可変遅延部505には、外部から設定できる遅延の最大値Dmaxが供給されている。可変遅延部505は、可変遅延部305と同様の動作によって遅延サンプル数Dを求め、この値と遅延の最大値Dmaxのうち小さい方の値に相当した遅延を入力信号に与えて、出力する。
図6に、可変遅延部505の構成例を示す。図4に示した可変遅延部305の構成例と比較して、制御部412が制御部612で置換され、制御部612に遅延の最大値Dmaxが供給されている点で可変遅延部305とは異なる。これらの構成要素以外の構成は可変遅延部305と同様であるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
制御部612は、供給された信号を用いて可変遅延部505の遅延すべきサンプル数を計算し、その値を遅延の最大値Dmaxと比較する。制御部612は、計算された遅延がDmaxよりも小さいときは計算された遅延を選択部411に供給し、Dmaxよりも大きいときはDmaxを選択部411に供給する。
可変遅延部505は、入力端子201から出力端子206に至る経路の遅延量の上限値を制限する。したがって、出力端子206における強調信号の遅延量を小さくすることができる。
以上の構成により、本実施形態によれば、雑音源近傍において参照信号を捕捉できず、雑音源までの遅延量が未知のときにも、雑音消去装置500は、雑音源から入力端子202に至る経路に対応した遅延を推定し、強調信号の遅延量を小さく保ちながら、十分な雑音消去を達成できる。
(第5実施形態)
本発明に係る信号処理装置の第5実施形態としての雑音消去装置700について、図7及び図8を用いて説明する。第3実施形態と比べた場合、本実施形態に係る雑音消去装置700は、可変遅延部305に代えて可変遅延部705を有し、さらに制御部707を有する点で第3実施形態とは異なる。これらの構成要素以外の構成は第3実施形態と同じであるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
図8に、可変遅延部705の構成例を示す。可変遅延部705は、図4に示した可変遅延部305から制御部412を削除した構成となっている。制御部412が供給していた選択部411の制御信号を、外部から直接供給する。制御部412の機能は、可変遅延部705の外部にある制御部707が実現する。制御部707は、適応フィルタ704からフィルタ係数ベクトルW(k)を受けて最適な遅延サンプル数Dを求め、これを可変遅延部705に供給する。
続いて、制御部707が、フィルタ係数ベクトルW(k)を用いて遅延サンプル数D(k)を決定する過程について説明する。簡単のために、フィルタ係数ベクトルW(k)のタップ数Mは、ノイズ経路293のインパルス応答のタップ数と等しいと仮定する。
可変遅延部705の与える遅延サンプル数Dがノイズ経路294に対応した遅延サンプル数に等しいときに、適応フィルタ704の係数値はノイズ経路293のインパルス応答に一致する。また、Dがノイズ経路294に対応した遅延サンプル数よりも大きいときは、適応フィルタ704の係数値は、その先頭部(遅延が少ない入力信号サンプルに対応する部分)においてゼロになる。同時に、ノイズ経路293のインパルス応答の最後尾は、適応フィルタ704では実現されない。さらに、Dがノイズ経路294に対応した遅延サンプル数よりも小さいときは、適応フィルタ704の係数値は、ノイズ経路293のインパルス応答の先頭部を除いた部分に一致する。すなわち、ノイズ経路293のインパルス応答の先頭部は、適応フィルタ704では実現されない。したがって、適応フィルタ704のタップ数とノイズ経路293のインパルス応答のタップ数が等しいときは、可変遅延部705に与える遅延サンプル数がノイズ経路294に対応した遅延サンプル数に等しいとき、減算器203の出力において消去される雑音量が最大となる。つまり、完璧な雑音消去が達成される。
したがって、可変遅延部705によってDの値が増加すると、その増分に対応して、適応フィルタ704のカバーするノイズ経路293のインパルス応答部分は、左(遅延の減少する方向)にシフトする。反対に、Dの値が減少すると、その減少分に対応して、適応フィルタ704のカバーするノイズ経路293のインパルス応答部分は、右(遅延の増加する方向)にシフトする。
Dの値が増加したときには、適応フィルタ704がこれまでカバーしてきたノイズ経路293のインパルス応答における最後尾の係数の代わりに、同インパルス応答における先頭の一つ左の係数が適応フィルタ704によってカバーされることになる。係数一つ当たりの雑音消去量は、入力信号サンプル値が等しい場合には、係数絶対値に比例する。すなわち、最後尾の係数絶対値よりも先頭の一つ左の係数絶対値が大きいならば雑音消去量が増加し、小さいならば雑音消去量が減少することになる。
同様に、Dの値が減少したときには、適応フィルタ704がこれまでカバーしてきたノイズ経路293のインパルス応答の先頭の係数の代わりに、同インパルス応答の最後尾の一つ右の係数が適応フィルタ704によってカバーされることになる。すなわち、先頭の係数絶対値よりも最後尾の一つ右の係数絶対値が大きいならば雑音消去量が増加し、小さいならば雑音消去量が減少することになる。
これらをまとめると、次のことがわかる。制御部707は、Dの増減によって適応フィルタ704がカバーしなくなる係数の絶対値と新たにカバーすることになる係数の絶対値を比較して、より大きな係数絶対値に対応した係数を適応フィルタ704がカバーすることによって、雑音消去量を最大化できる。
この考え方を適用して、本実施形態では制御部707が遅延サンプル数D(k)を決定する。既に説明したように、制御部707は、本来は適応フィルタ704がカバーしなくなる係数絶対値と新たにカバーする係数絶対値を比較するべきであるが、後者の値は遅延サンプル数の決定時点では不明である。このため、制御部707は、適応フィルタ704の先頭部の係数値と最後尾の係数値を、これらの値の推定値として代用する。具体的には、制御部707は、適応フィルタ704の先頭部係数値と最後部係数値を絶対値で比較して、大きな方がより重要であり、雑音消去に大きく貢献すると判断する。ノイズ経路293のインパルス応答及びこれを近似する適応フィルタ704の係数絶対値の包絡線は滑らかに減衰することが知られている。したがって、適応フィルタ704の先頭部係数値が最後部係数値より大きければ、先頭部の左側(インパルス応答で遅延の少ない側)の係数値は最後部右側(インパルス応答で遅延の多い側)の係数値よりも大きいことが期待される。このために、制御部707は、適応フィルタ704の先頭部係数値と最後部係数値の大きさを評価して、どちらに新たな係数を配置するかを判断する。
まとめると、本実施形態では、制御部707が、適応フィルタ704の先頭部係数と最後部係数の雑音消去に対する貢献度(=重要度)を評価し、先頭部がより重要なときはD(K)を増加し、最後部が重要なときはD(k)を減少させるように、可変遅延部705を制御する。この重要度の指標としては、係数絶対値、係数2乗値、これらの時間平均値、さらに空間平均値、隣接係数値(現在適応フィルタがカバーする範囲外の係数)、あるいはこれらの組合せなどが用いられても良い。
これまで簡単のために、フィルタ係数ベクトルW(k)のタップ数Mは、ノイズ経路293のインパルス応答のタップ数と等しいと仮定して、本実施形態について説明してきた。この仮定が成立せず、適応フィルタ704がM以上のタップ数Mo(Mo>M)を有しているとき、Mタップ以外の係数値はゼロに収束する。また、M以下のタップ数Mu(Mu<M)しか有していないときには、適応フィルタ704の先頭部と最後尾の係数絶対値は、ゼロ以上の値となる。後者の場合、適応フィルタ704の係数が不足しているので、限られた数の係数によって最大の雑音消去量を達成することが課題となる。いずれの場合でも、制御部707は、適応フィルタ704のタップ数がノイズ経路293のインパルス応答のタップ数と等しいときと同様に、適応フィルタ704の先頭部係数値と最後部係数値の大きさを評価して、どちらに新たな係数を配置するかを判断する。
[先頭部係数と最後部係数の大小比較と遅延の計算:係数2乗値又は絶対値の総和比較による方法]
複数の適応フィルタの部分係数に関する大きさ比較の具体的な方法については、特開平06−318885号公報を参照することができる。特開平06−318885号公報は、帯域分割適応フィルタにおいて、異なった2帯域の適応フィルタ間で、適応フィルタの最後部係数値の大きさ比較を行う方法について開示している。この方法において、2適応フィルタの最後部係数値の代わりに、本実施形態では、適応フィルタ704の先頭部係数値と最後部係数値に対して大きさ比較を行うことができる。
具体的には、制御部707は、適応フィルタ704の先頭部フィルタ係数と最後部フィルタ係数のそれぞれpタップに関して係数2乗総和を求め、これを比較する。ここに、pは自然数である。制御部707は、p=1のときは、先頭係数の2乗値と最後尾係数の2乗値を比較することになる。これらの比較において、係数2乗値の代わりに係数絶対値が用いられてもよい。pが大きくなるにつれて、フィルタ係数の包絡線からの分散を補償する効果が大きくなり、制御部707は安定的な比較を行うことができる。
さらに、特開平06−318885号公報は、上記係数2乗値総和の時間平均をとってから比較する方法も、開示している。平均化操作の適用によって、係数値の統計的不確定性による影響を低減することができ、正確な遅延サンプル数Dを求めることができる。
[先頭部係数と最後部係数の大小比較と遅延の計算:係数2乗値又は絶対値の包絡線傾斜による方法]
これまでに説明した遅延サンプル数Dの計算は、適応フィルタ704の先頭部と最後部の係数値を用いて行っている。制御部707は、遅延サンプル数Dの計算を、係数包絡線の傾斜から新たに配置する係数値を推定して行うこともできる。包絡線は、係数絶対値の包絡線でもよいし、係数2乗値の包絡線でもよい。制御部707は、係数包絡線の傾斜を適応フィルタ704の先頭係数と最後尾係数に適用すると、先頭部の一つ左の係数値と最後尾の一つ右の係数値の推定値を求めることができる。
具体的には、制御部707は、先頭係数又は最後尾係数の2乗値又は絶対値から、2乗係数値又は係数絶対値包絡線の傾斜(1タップ分に相当する2乗係数値又は係数絶対値変化分)を減算する。これにより、制御部707は、先頭部の一つ左と最後尾の一つ右の係数2乗値又は係数絶対値の推定値を求める。これらの推定値が大きいほうが、遅延サンプル数Dの増減によって新たにカバーされるべき係数である。この係数が、適応フィルタ704の先頭側であればDを増加させ、最後部側であればDを減少させる。
また、先頭部と最後部の新係数推定値のいずれかが現在の先頭部と最後部の係数値のいずれかよりも大きいとき、制御部707は、その大きい係数値を適応フィルタ704で新たにカバーするようにDの値を決定する。
制御部707は、先頭部の一つ左の係数値と最後尾の一つ右の係数値の推定値を求めるに当って、包絡線の傾斜の他に先頭の係数値と最後尾の係数値が必要となる。これらの値としては、その時点における適応フィルタ704の先頭と最後尾の係数2乗値又は係数絶対値が利用されても良い。また、係数値自体が変動していることを考慮すると、これらの絶対値の時間平均が用いられることにより、係数値の推定精度を高くすることができる。
制御部707は、時間平均だけではなく、空間的な平均(フィルタのタップ方向の平均)をとることも有効である。たとえば、制御部707は、先頭と最後尾pタップの係数2乗値又は係数絶対値平均をとり、これらの値を先頭の係数値と最後尾の係数値の推定値とすることができる。また、このような平均値は計算対象としたpタップの中間に位置する係数値をあらわすので、制御部707は、さらに係数包絡線の傾斜を用いて補正してから、先頭の係数値と最後尾の係数値の推定値として用いることもできる。傾斜を用いた具体的な補正は、次の手順によることができる。
制御部707は、まず、pタップ分の係数2乗値又は絶対値を平均して、pタップの中間に位置する係数2乗値又は絶対値の推定値を求める。制御部707は、この推定値から、係数2乗値又は絶対値包絡線の傾斜とp/2の積を減算し、これを適応フィルタ704の先頭と最後尾の係数2乗値又は係数絶対値とする。制御部707は、これらの係数値から係数包絡線の傾斜をさらに減算すると、先頭部の一つ左の係数値と最後尾の一つ右の係数値の推定値を求めることができる。
また、先頭の係数値と最後尾の係数値の推定値を求める手続きにおいて、制御部707は、係数2乗値又は絶対値包絡線の傾斜とp/2の積を減算する代わりに、傾斜とp/2+1の積を減算することもできる。制御部707は、この減算結果を用いることで、先頭部の一つ左の係数値と最後尾の一つ右の係数値の推定値を直接求めることができ、演算量の低減を達成することができる。
[係数包絡線の推定方法]
係数2乗値又は係数絶対値包絡線は、次の手順で求めることができる。制御部707は、まず、適応フィルタ704の先頭と最後尾の係数2乗値又は係数絶対値に関して、pタップ分の平均を求める。制御部707は、さらに隣接するpタップに対して同じ計算を行う。制御部707は、これら2つの平均値の差分を先頭側と最後尾側でそれぞれ求め、それをpで除することで、先頭側と最後尾側の係数2乗値又は係数絶対値包絡線を得ることができる。
あるいは、制御部707は、これらのpタップ分の係数2乗値又は係数絶対値に対応する回帰曲線を求め、その回帰曲線を包絡線とすることができる。回帰曲線の次数は様々な値に設定可能であるが、その回帰曲線の一次近似によって得られる直線の傾きが、求める包絡線の傾斜となる。
さらに、制御部707は、回帰曲線の計算にあたっては、予め正の係数値から得られる係数2乗値又は係数絶対値の集合と、負の係数値から得られる集合を別々に扱って回帰曲線を求め、それらを統合あるいは選択することによって得られる回帰曲線を包絡線とすることもできる。
また、制御部707は、適応フィルタ704の先頭と最後尾にpタップの区間を選択したときの両端の係数2乗値又は係数絶対値の差分をpで除することで、包絡線を得ることも可能である。制御部707は、両端の係数2乗値又は係数絶対値の時間平均を用いることで、係数値の統計的不確定性の影響を排除することもできる。この方法は、演算量が少ない、最も簡単な計算法であるという特徴がある。
[遅延の初期値と収束の高速化]
遅延サンプル数Dの推定が開始される際には、その初期値は適応フィルタ704の有するタップ数の半分、すなわちM/2とすることがよい。これは、Dの変化で適応フィルタ704のカバーする範囲が左に移動しても右に移動しても、同等に対応できる初期値である。Dの値の推定値が事前に得られるときには、その推定値を初期値とすることがよい。また、遅延の最大値Dmaxが与えられるときには、Dmaxと0の中間であるDmax/2とすることがよい。
遅延サンプル数Dが、初期値からスタートして最適値に到達するまでに必要な時間(収束時間)は、できる限り短いことが望ましい。収束時間の短縮については、帯域分割適応フィルタにおいて最適なタップ数を配分する問題に関して、特開平08−079137号公報及び特開平11−355182号公報に開示されている。本実施形態においても、特開平08−079137号公報及び特開平11−355182号公報に開示された方法を、適応フィルタ704の先頭部と最後部の係数に対して、そのまま適用することができる。
特開平08−079137号公報は、係数が配分される帯域分割適応フィルタ(帯域)の偏りを利用して、一回に再配分する係数の数(再配分数)を制御する方法を開示している。特定の適応フィルタ(帯域)に連続して係数が配分されるときに、再配分数を増加させ、係数が配分される適応フィルタ(帯域)が平均的に変化するときに、再配分する係数の数を減少させる。
本実施の形態では、遅延サンプル数Dが連続して増加したり、減少したりするときに、Dの変化量を増加させ、反対に、Dが増加したり減少したりして、一方向に連続的に変化しないときには、Dの変化量を減少させる。Dの変化量の最小値は1であり、最大値は任意の値に設定可能である。また、制御部707は、連続的な変化を観測する代わりに、一方向への変化の確率を評価することもできる。たとえば、制御部707は、連続する10回の変化において、7回以上(0.7以上の確率)でDが増加したら、変化量を増加させ、7回以下のときは、変化量を減少させる。
特開平11−355182号公報は、係数値の包絡線を求め、包絡線の傾斜を用いて最適な係数の数を推定し、これを仮の最適な係数の数とする方法を開示している。包絡線は、係数絶対値の包絡線でもよいし、係数2乗値の包絡線でもよい。この仮の最適な係数の数を初期値として、係数の数がさらに最適化される。仮の最適な係数の数が求められるまでは、別の初期値が用いられて、係数の配分が行われる。
本実施の形態の雑音消去装置700は、適応フィルタ704の先頭部と最後部の係数の包絡線を求め、包絡線の傾斜を用いて追加で必要な係数の数を推定する。雑音消去装置700は、追加で必要な係数の数は、包絡線がゼロと交差する位置から求めることができる。雑音消去装置700は、このようにして追加で必要な係数の数を、先頭部と最後部に対して求める。このようにして求めた2つの値を平均化したものが、遅延サンプル数Dの最適値となる。したがって、雑音消去装置700は、これを初期値に設定して、Dの最適化を再度開始する。
また、雑音消去装置700は、両者の平均の代わりに、実際の雑音消去への貢献が最大となるようなDを決定することもできる。その場合、雑音消去装置700は、先頭部と最後部に対応した追加で必要な係数の数を用いて、包絡線と横軸で囲まれる面積を計算し、この面積がほぼ等しくなるような値を、追加で必要な新たな係数の数とする。雑音消去装置700は、これらの値の平均をとり、その平均値を遅延サンプル数Dの値として、Dの最適化を再度開始する。
なお、ここで説明した平均値を求める計算では、最後部の追加で必要な係数の数は負の値、先頭部の追加で必要な係数の数は正の値として用いられる。これは、Dの値が増加すると、適応フィルタ704のカバーするインパルス応答は先頭部の左側に、減少すると、最後尾の右側に移動するためである。
既に第3実施形態で説明したように、雑音消去装置700は、可変遅延部705と適応フィルタ204を制御するタイミングを、音声のパワーが十分に小さいときに限定してもよい。雑音消去装置700は、このような選択的な制御を可変遅延部705と適応フィルタ704に適応することによって、より正確な遅延の制御と適応フィルタ係数の更新を行うことができる。
さらに、雑音消去装置700は、収束の高速化を選択的に適用することもできる。例えば、雑音消去装置700は、高速化を適用してDの変化量が小さくなってきたら、Dの変化量を1に固定する。このように、雑音消去装置700は、高速化を初期だけ適用することで、遅延の推定を短時間で安定して行うことができる。
(第6実施形態)
本発明に係る信号処理装置の第6実施形態としての雑音消去装置900について、図9乃至図11を用いて説明する。第5実施形態と比べた場合、本実施形態に係る雑音消去装置900は、制御部707に代えて制御部907を有し、適応フィルタ704に代えて適応フィルタ904を有する点で第5実施形態と異なる。これらの構成要素以外の構成は第5実施形態と同様であるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
制御部907は、適応フィルタ904からフィルタ係数ベクトルW(k)を受けて最適な遅延サンプル数Dを求め、これを可変遅延部705に供給する。また、制御部907は、新たに求めた遅延サンプル数D(k)と直前に求めた遅延サンプル数D(k−1)の差ΔD(k)を求めて、適応フィルタ904に帰還する。すなわち、以下の(数式8)が成り立つ。
Figure 0005958341
適応フィルタ904は、制御部907から供給されたΔD(k)を用いて、係数値のシフトを行う。適応フィルタ904における係数シフトの様子を、図10及び図11に示す。図10は、遅延D(k)が減少した(ΔD(k)=−1)場合の係数シフトの様子を表わしており、図11は、遅延D(k)が増加した(ΔD(k)=+1)場合にそれぞれ対応した係数シフトの様子を表す。
図10において、シフト部1001は、w(k,0)、w(k,1)、...、w(k,M−1)であった係数値をシフトして、w(k,1)、...、w(k,M−1)、0とする。これらの係数値は、それぞれ、積算部1002でx(k)〜x(k−M+1)と積算される。加算部1003は、積算値の総和を取って、n(k)として出力する。
図11において、シフト部1001は、w(k,0)、w(k,1)、...、w(k,M−1)であった係数値をシフトして、0、w(k,0)、w(k,1)、...、w((k,M−2)とする。これらの係数値は、それぞれ、積算部1002でx(k)〜x(k−M+1)と積算される。加算部1003は、積算値の総和を取って、n(k)として出力する。
図10、図11では、|ΔD(k)|=1の場合について説明したが、本発明はこれに限定されるものではなく、シフト部1001のシフト量|ΔD(k)|は2以上であってもよい。たとえば、遅延D(k)がd減少した(ΔD(k)=−d)場合、シフト前にw(k,0)、w(k,1)、...、w((k,M−1)であった係数値は、シフト後にw(k,d)、...、w((k,M−1)、0、...、0となる。一方、遅延D(k)がd増加した(ΔD(k)=+d)場合、シフト前にw(k,0)、w(k,1)、...、w(k,M−1)であった係数値は、シフト後に0、...、0、w(k,0)、...、w((k,M−d−1)となる。
(第7実施形態)
本発明に係る信号処理装置の第7実施形態としての雑音消去装置1200について、図12を用いて説明する。第6実施形態と比べた場合、本実施形態に係る雑音消去装置1200は、制御部907に代えて制御部1207を有する点で第6実施形態と異なる。これらの構成要素以外の構成は第6実施形態と同様であるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
制御部1207には、外部から設定できる遅延の最大値Dmaxが供給されている。制御部1207は、適応フィルタ904から供給された係数に関する情報を用いて遅延サンプル数D(k)を計算し、その値を遅延の最大値Dmaxと比較する。遅延サンプル数D(k)がDmaxよりも小さいときはD(k)を可変遅延部705に供給し、Dmaxよりも大きいときはDmaxを、可変遅延部705に供給する。可変遅延部705は、入力端子201から出力端子206に至る経路の遅延の最大量を制限する。したがって、出力端子206における強調信号の遅延量を小さくすることができる。
以上の構成により、本実施形態によれば、雑音源近傍において参照信号を捕捉できず、雑音源までの遅延量が未知のときにも、雑音源から入力端子202に至る経路に対応した遅延を推定し、強調信号の遅延量を小さく保ちながら、十分な雑音消去を達成できる。
(第8実施形態)
本発明に係る信号処理装置の第8実施形態としての雑音消去装置1300について、図13を用いて説明する。第6実施形態と比べた場合、本実施形態に係る雑音消去装置1300は、制御部907に代えて制御部1307を、適応フィルタ904に代えて適応フィルタ1304を有する点で第6実施形態と異なる。これらの構成要素以外の構成は第6実施形態と同じであるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
制御部1307は、入力端子202から参照信号を受け、適応フィルタ1304から係数ベクトルW(k)を受けて最適な遅延サンプル数D(k)を求め、これを可変遅延部705に供給する。また、制御部1307は、新たに求めた遅延サンプル数D(k)と直前に求めた遅延サンプル数D(k−1)の差ΔD(k)を求めて、適応フィルタ1304に帰還する。さらに、制御部1307は、参照信号、係数ベクトルW(k)、ΔD(k)を用いて最前部又は最後部に新たに設定される係数値の初期値を求め、適応フィルタ1304に供給する。
適応フィルタ1304は、制御部1307から供給されたΔD(k)を用いて、係数値のシフトを行う。また、適応フィルタ1304は、係数値のシフトによって初期値が得られない最前部又は最後部に新たに設定される係数の初期値として、制御部1307から供給された値を設定する。
[最前部と最後部の係数値の初期値設定]
上述の第6実施形態では、図10及び図11において、それぞれ最前部と最後部の係数値は、遅延サンプル数D(k)に変更が加えられた後、0を初期値として係数更新が開始された。これに対し、本実施形態では、これらの係数の初期値に関しても、他の係数のように適切な値が設定されてから係数更新が開始される。これにより、係数収束の高速化、及び遅延サンプル数収束時間の短縮をはかることができる。
制御部1307は、適応フィルタ1304の最前部又は最後部に新たに付加されることに相当する係数の初期値を、係数2乗値又は絶対値の包絡線を用いて、決定することができる。これら新たに付加されることに相当する係数も、包絡線に従うと近似的に考えることができるからである。
制御部1307は、第5実施形態で説明した方法で求めた包絡線を1タップ分外挿すれば、その値が新たに付加されることに相当する係数の期待値(推定値)になる。制御部1307は、包絡線を直線で近似している場合には、適応フィルタ1304の最前部又は最後部の係数値(2乗値又は絶対値)から、直線の傾きを減算すればよい。
このようにして求められた新たに付加されることに相当する係数の期待値は、あくまでもその2乗値又は絶対値であることに注意する必要がある。制御部1307は、2乗値である場合にはその平方根を、絶対値である場合にはそのままの値に符号を組み合わせた値を、係数値の初期値として利用することができる。続いて、新規係数の符号の求め方について説明する。
[新規係数の符号の求め方]
現在の適応フィルタ1304の出力と減算器203の出力は、(数式9)と(数式10)で表される。
Figure 0005958341
〈ΔD(k)=+1、遅延が増加、係数値は右へシフト(番号が+1)する場合〉
適応フィルタ1304の出力と減算器203の出力は、(数式11)と(数式12)で表される。
Figure 0005958341
遅延D(k)の制御で、誤差が減少しなければいけないので、(数式13)が成立する。
Figure 0005958341
等価的に、(数式14)が成立する。
Figure 0005958341
(数式14)に(数式11)と(数式12)とを適用すると、以下の(数式15)を得る。
Figure 0005958341
Figure 0005958341
(数式15)の右辺は既知の値であり、左辺も第3項を除いて既知である。さらにx(k)が符号も含めて既知、w(k,−1)の推定値が利用できるので、制御部1307は、(数式15)からw(k,−1)の符号を決定することができる。
〈ΔD(k)=−1、遅延が減少、係数値は左へシフト(番号が−1)する場合〉
適応フィルタ1304の出力と減算器203の出力は、以下の(数式16)と(数式17)で表される。
Figure 0005958341
遅延D(k)の制御で、誤差が減少しなければいけないので、(数式18)が成立する。
Figure 0005958341
等価的に、以下の(数式19)が成立する。
Figure 0005958341
(数式19)に(数式16)と(数式17)を適用すると、以下の(数式20)が得られる。
Figure 0005958341
(数式20)の右辺は既知の値であり、左辺も第3項を除いて既知である。さらにx(k−M+1)が符号も含めて既知、w(k,M)の推定値が利用できるので、制御部1307は、(数式20)からw(k,M)の符号を決定することができる。
また、制御部1307は、w(k,−1)及びw(k,M)に対して正と負の両符号を適用して、数式(12)又は(数式17)のe1+(k)又はe1−(k)を2通り計算し、これらを比較して小さい方に対応した符号をw(k,−1)及びw(k,M)の符号とすることもできる。
[数式(11)及び(数式16)の計算における演算量削減]
1サンプル周期前の適応フィルタ1304の出力n(k−1)は、数式(21)で与えられる。
Figure 0005958341
(数式21)を数式(11)に適用すると、n1+(k)は(数式22)で与えられる。
Figure 0005958341
ただし、係数更新ステップサイズが十分に小さく、kが1変化する間の係数値の変化が無視できると仮定した。すなわち、w(k−1,j)=w(k,j),j=−1,0,1,...,Mである。(数式22)の右辺第2項は過去に求めた値で既知なので、制御部1307は、新たに右辺第3項を計算することで、異なったw(k,−1)の符号に対して、|e1+(k)|又はe1+ (k)の評価を行うことができる。
同様にして、1サンプル周期後の適応フィルタ1304の出力n(k+1)は、数式(23)で与えられる。
Figure 0005958341
(数式23)を数式(16)に適用すると、n1−(k)は(数式24)で与えられる。
Figure 0005958341
ただし、(数式22)と同様に、w(k,j)=w(k+1,j),j=−1,0,1,...,Mと仮定した。
(数式24)の右辺第1項は1サンプル周期後に求められる値である。従って、制御部1307は、遅延サンプル数D(k)の計算を、1サンプル周期遅延させることで、n(k+1)を利用することができる。このとき、制御部1307は、(数式24)において、新たに右辺第2項を計算するだけで、異なったw(k,M)の符号に対して、|e1−(k)|又はe1− (k)の評価を行うことができる。
既に第3実施形態で説明したように、可変遅延部705と適応フィルタ1304が制御されるタイミングは、音声のパワーが十分に小さいときに限定されるとよい。このような選択的な制御が可変遅延部705と適応フィルタ1304に適応されることによって、より正確な遅延の制御と適応フィルタ係数の更新が行われる。
以上の構成により、本実施形態によれば、雑音源近傍において参照信号を捕捉できず、雑音源までの遅延量が未知のときにも、雑音源から入力端子202に至る経路に対応した遅延を少ない演算量で推定し、十分な雑音消去を達成できる。
(第9実施形態)
本発明に係る信号処理装置の第9実施形態としての雑音消去装置1400について、図14を用いて説明する。第8実施形態と比べた場合、本実施形態に係る雑音消去装置1400は、制御部1307に代えて制御部1407を有する点で異なる。これらの構成要素以外の構成は第8実施形態と同じであるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
制御部1407には、外部から設定できる遅延の最大値Dmaxが供給されている。制御部1407は、入力端子202から参照信号を、適応フィルタ1304から係数ベクトルW(k)を受けて最適な遅延サンプル数D(K)を求め、その値を遅延の最大値Dmaxと比較する。制御部1407は、遅延サンプル数D(K)がDmaxよりも小さいときはD(K)を可変遅延部705に供給し、Dmaxよりも大きいときはDmaxを、可変遅延部705に供給する。可変遅延部705は、入力端子201から出力端子206に至る経路の遅延の最大量を制限する。したがって、出力端子206における強調信号の遅延量を小さくすることができる。
以上の構成により、本実施形態によれば、雑音源近傍において参照信号を捕捉できず、雑音源までの遅延量が未知のときにも、雑音源から入力端子202に至る経路に対応した遅延を少ない演算量で推定し、強調信号の遅延量を小さく保ちながら、十分な雑音消去を達成できる。
(第10実施形態)
本発明に係る信号処理装置の第10実施形態としての雑音消去装置1500について、図15を用いて説明する。第3実施形態と比べた場合、本実施形態に係る雑音消去装置1500は、可変遅延部305に代えて適応フィルタ1505を有する点で第3実施形態と異なる。これらの構成要素以外の構成は第3実施形態と同じであるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
適応フィルタ1505には、入力端子201から主信号が供給されている。適応フィルタ1505は、主信号と係数との畳込みを計算し、その結果を減算器203に供給する。減算器203は、適応フィルタ1505の出力であるフィルタリングされた主信号から適応フィルタ204の出力である擬似雑音を減算し、その結果を出力として出力端子206に伝達すると同時に適応フィルタ204、1505に帰還する。
適応フィルタ1505は、入力端子201から供給される主信号と減算器203から帰還される出力を用いて、減算器203の出力パワーが最小化されるように、係数を更新する。適応フィルタ1505は、係数修正アルゴリズムとして、適応フィルタ204の係数修正アルゴリズムとまったく同じものを適用してもよいし、別のアルゴリズムを適用してもよい。
本実施形態では、適応フィルタ204がノイズ経路293をモデル化し、適応フィルタ1505がノイズ経路294をモデル化する。すなわち、適応フィルタ1505のインパルス応答は、ノイズ経路294のインパルス応答に収束する。
既に第3実施形態で説明したように、適応フィルタ204、1505の係数更新が行われるタイミングは、音声のパワーが十分に小さいときに限定されるとよい。このような選択的な係数更新が適応フィルタ204、1505に適応されることによって、より正確な遅延の制御と適応フィルタ係数の更新が行われる。
以上の構成により、本実施形態によれば、雑音源近傍において参照信号を捕捉できず、雑音源までの伝達特性が未知のときにも、雑音源から入力端子202に至る経路に対応した伝達特性を推定し、十分な雑音消去を達成できる。
(第11実施形態)
本発明に係る信号処理装置の第11実施形態としての雑音消去装置1600について、図16を用いて説明する。第10実施形態と比べた場合、本実施形態に係る雑音消去装置1600は、適応フィルタ204、1505に代えて適応フィルタ1604、1605を有し、さらに制御部1607を有する点で第10実施形態と異なる。これらの構成要素以外の構成は第10実施形態と同じであるため、ここでは同じ構成については同じ符号を付してその説明を省略する。
適応フィルタ1604は、制御部1607に係数に関する情報を供給し、第1係数更新制御信号を受ける。適応フィルタ1605は、制御部1607に係数に関する情報を供給し、第2係数更新制御信号を受ける。制御部1607は、適応フィルタ1604及び1605から供給された係数に関する情報に基づいてこれらの収束程度を評価し、第1と第2係数更新制御信号を発生する。制御部1607は、第1係数更新制御信号を適応フィルタ1604に供給し、第2係数更新制御信号を適応フィルタ1605に供給する。適応フィルタ1604及び1605は、それぞれ第2係数更新制御信号と第1係数更新制御信号とを受け、これらの信号にしたがって係数更新を制御する。
制御部1607は、両者が同時に係数更新を実施することの無いように、第1係数更新制御信号及び第2係数更新制御信号を生成する。たとえば、制御部1607は、最初に適応フィルタ1604を収束させ、続いて適応フィルタ1605を収束させるように、第1係数更新制御信号及び第2係数更新制御信号を生成することができる。そのためには、制御部1607が適応フィルタ1604の収束程度を評価する必要がある。これは、制御部1607が、適応フィルタ1604の係数に関する情報を用いて行うことができる。
係数に関する情報を用いた適応フィルタの収束程度評価に関する具体的な方法は、特開平5−268105号公報に開示されている。ここに開示された方法は、係数の2乗値総和又は絶対値総和の変化量が少なくなると、係数が収束したとみなす方法である。総和の代わりに部分和が用いられても、同様の効果が得られる。
同様に、制御部1607は適応フィルタ1605の収束程度を評価することもできる。したがって、制御部1607は、最初に適応フィルタ1605を収束させてから、適応フィルタ1604を収束させることができる。また、制御部1607は、一方の適応フィルタを収束させている過程で他方の適応フィルタを収束させないばかりでなく、両者の係数更新量を通常量より少ない任意の値に設定するように構成することも可能である。この機能により、制御部1607は、適応フィルタ1604が通常の70%の係数更新量で、適応フィルタ1605が通常の30%の係数更新量で、係数更新されるように構成することもできる。制御部1607は、両者の係数更新割合は、加算して100%になるように設定してもよいし、ならないように設定してもよい。
以上、本実施形態では、適応フィルタ1604及び1605の係数値を用いてそれぞれの収束程度を評価し、収束程度を用いて両者の係数更新を制御する方法について説明した。これらの適応フィルタ1604、1605の、収束程度の評価方法には、係数値を用いる他にも数々の方法が知られている。本実施形態には、これらのいずれの収束程度評価法でも適用することができる。
以上の構成により、本実施形態によれば、雑音源近傍において参照信号を捕捉できず、雑音源までの伝達特性が未知のときにも、雑音源から入力端子に至るノイズ経路に対応した伝達特性を推定し、十分な雑音消去を達成できる。
(他の実施形態)
以上、本発明に係る信号処理装置の複数の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。
さらに、本発明は、上述の実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。
以上説明した本発明に基づく信号処理装置は、ソフトウェアによって実現することもできる。すなわち、上述した各実施形態の信号処理装置における各部の処理動作をソフトウェアにおけるステップ又は手続きとして構成することで、信号処理に用いられるプログラムを構成することができる。そのようなプログラムは、信号処理装置あるいは雑音消去装置を構成するDSP(Digital Signal Processor)などのプロセッサで実行される。
さらには、そのようなプログラムからなるプログラムプロダクトあるいはそのようなプログラムを格納した記憶媒体も、本発明の範疇に含まれる。
図17は、第1実施形態を信号処理プログラムにより構成する場合に、その信号処理プログラムを実行するコンピュータ1700の構成図である。コンピュータ1700は、入力部1701と、CPU1702と、出力部1703と、メモリ1704とを含む。
CPU1702は、メモリ1704に記憶された信号処理プログラムを読み込むことにより、コンピュータ1700の動作を制御する。すなわち、信号処理プログラムを実行したCPU1702は、ステップS1711において、主信号及び参照信号を入力する。次に、CPU1702は、ステップS1713において、第2信号の発生源から参照信号が入力されるまでの第2信号の伝達距離に基づいた遅延量で、主信号を遅延させて遅延主信号を生成する。CPU1702は、更にステップS1715において、推定第1信号に基づいて更新される係数を用いた適応フィルタのフィルタリング処理を施して、擬似第2信号を求める。CPU1702は、さらに、ステップS1721において、主信号に混在すると推定される擬似第2信号を前記遅延第1混在信号から減算して、推定所望信号(=誤差)を出力する。これにより、第1実施形態と同様の効果を得ることができる。
[実施形態の他の表現]
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
第1信号を入力する第1入力手段と、
前記第1信号と前記第2信号とが、前記第1混在信号とは異なる割合で混在した第2混在信号を入力する第2入力手段と、
前記第2信号の発生源から前記第2入力手段までの伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成する遅延手段と、
前記第1混在信号を出力する減算手段と、
前記第2混在信号に対し、前記推定第1信号に基づいて更新される係数を用いて前記擬似第2信号を求める適応フィルタと、
を備えたことを特徴とする信号処理装置。
(付記2)
前記遅延手段は、前記推定第1信号の遅延量を制御することを特徴とする付記1に記載の信号処理装置。
(付記3)
前記適応フィルタの前記係数を用いて、前記遅延手段における前記第1混在信号の遅延量を制御することを特徴とする付記1又は2に記載の信号処理装置。
(付記4)
所定の上限値を超えない範囲で前記遅延量を制御することを特徴とする付記2又は3に記載の信号処理装置。
(付記5)
前記適応フィルタは、前記遅延量の変化に応じて前記係数を変更することを特徴とする付記1乃至4のいずれか1項に記載の信号処理装置。
(付記6)
第1信号を入力し、
前記第2信号の発生源から前記第2混在信号が入力されるまでの前記第2信号の伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成し、
前記第2混在信号に混在すると推定される擬似第2信号を求め、
前記擬似第2信号を出力することを特徴とする信号処理方法。
(付記7)
前記推定第1信号を用いて、前記第1混在信号の遅延量を制御することを特徴とする付記6に記載の信号処理方法。
(付記8)
前記適応フィルタの前記係数を用いて、前記第1混在信号の遅延量を制御することを特徴とする付記6又は7に記載の信号処理方法。
(付記9)
所定の上限値を超えない範囲で前記遅延量を制御することを特徴とする付記7又は8に記載の信号処理方法。
(付記10)
前記遅延量に応じて前記適応フィルタの前記係数を変更することを特徴とする付記6乃至9のいずれか1項に記載の信号処理方法。
(付記11)
第1信号を入力するステップと、
前記第1信号と前記第2信号とが、前記第1混在信号とは異なる割合で混在した第2混在信号を入力するステップと、
前記第2信号の発生源から前記第2混在信号が入力されるまでの前記第2信号の伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成するステップと、
前記第2混在信号に混在すると推定される前記擬似第2信号を求めるステップと、
前記擬似第2信号を出力するステップと、
をコンピュータに実行させることを特徴とする信号処理プログラム。
実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
この出願は、2010年10月12日に出願された日本出願特願2010−230062を基礎とする優先権を主張し、その開示の全てをここに取り込む。
101 第1入力部
102 第2入力部
103 減算部
105 遅延部
201、202 入力端子
203 減算器
104、204、704、904、1304、1505、1604、1605 適応フィルタ
205 固定遅延部
206 出力端子
305、505、705 可変遅延部
412、612、707、907、1207、1307、1407、1607 制御部

Claims (8)

  1. 第1信号と第2信号とが混在した第1混在信号を入力する第1入力手段と、
    前記第1信号と前記第2信号とが、前記第1混在信号とは異なる割合で混在した第2混在信号を入力する第2入力手段と、
    前記第2信号の発生源から前記第2入力手段までの伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成する遅延手段と、
    前記遅延第1混在信号から擬似第2信号を減算した推定第1信号を出力する減算手段と、
    前記第2混在信号に対し、前記推定第1信号に基づいて更新される係数を用いて前記擬似第2信号を求める適応フィルタリング手段と、
    備え、
    前記遅延手段は、前記推定第1信号を用いて前記第1混在信号の遅延量を制御する
    信号処理装置。
  2. 前記遅延手段は、前記適応フィルタリング手段の前記係数を用いて、前記第1混在信号の遅延量を制御する請求項1に記載の信号処理装置。
  3. 前記遅延手段は、所定の上限値を超えない範囲で前記遅延量を制御する請求項1又は2に記載の信号処理装置。
  4. 前記適応フィルタリング手段は、前記遅延量の変化に応じて前記係数を変更する請求項1乃至3のいずれか1項に記載の信号処理装置。
  5. 第1信号と第2信号とが混在した第1混在信号を入力し、
    前記第1信号と前記第2信号とが、前記第1混在信号とは異なる割合で混在した第2混在信号を入力し、
    前記第2信号の発生源から前記第2混在信号が入力されるまでの前記第2信号の伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成し、
    前記遅延第1混在信号から、擬似第2信号を減算した推定第1信号を出力し、
    前記第2混在信号に対し、前記推定第1信号に基づいて更新される係数を用いて前記擬似第2信号を求め、
    前記推定第1信号を用いて、前記第1混在信号の遅延量を制御する信号処理方法。
  6. 前記係数を用いて、前記第1混在信号の遅延量を制御する請求項5に記載の信号処理方法。
  7. 前記遅延量に応じて前記係数を変更する請求項5又は6に記載の信号処理方法。
  8. 第1信号と第2信号とが混在した第1混在信号を入力するステップと、
    前記第1信号と前記第2信号とが、前記第1混在信号とは異なる割合で混在した第2混在信号を入力するステップと、
    前記第2信号の発生源から前記第2混在信号が入力されるまでの前記第2信号の伝達距離に基づいた遅延量で、前記第1混在信号を遅延させて遅延第1混在信号を生成するステップと、
    前記遅延第1混在信号から、擬似第2信号を減算した推定第1信号を出力するステップ
    と、
    前記第2混在信号に対し、前記推定第1信号に基づいて更新される係数を用いて前記擬似第2信号を求めるステップと、
    前記推定第1信号を用いて、前記第1混在信号の遅延量を制御するステップと、
    をコンピュータに実行させる信号処理プログラム。
JP2012538632A 2010-10-12 2011-09-26 信号処理装置、信号処理方法、並びに信号処理プログラム Active JP5958341B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010230062 2010-10-12
JP2010230062 2010-10-12
PCT/JP2011/072689 WO2012049986A1 (ja) 2010-10-12 2011-09-26 信号処理装置、信号処理方法、並びに信号処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2012049986A1 JPWO2012049986A1 (ja) 2014-02-24
JP5958341B2 true JP5958341B2 (ja) 2016-07-27

Family

ID=45938216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012538632A Active JP5958341B2 (ja) 2010-10-12 2011-09-26 信号処理装置、信号処理方法、並びに信号処理プログラム

Country Status (4)

Country Link
US (1) US9613632B2 (ja)
JP (1) JP5958341B2 (ja)
CN (1) CN103229237B (ja)
WO (1) WO2012049986A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5963077B2 (ja) * 2012-04-20 2016-08-03 パナソニックIpマネジメント株式会社 通話装置
CN102820036B (zh) * 2012-09-07 2014-04-16 歌尔声学股份有限公司 一种自适应消除噪声的方法和装置
FR3014621B1 (fr) * 2013-12-11 2016-01-01 Thales Sa Methode iterative de synthese de filtres numeriques de mise en forme d'un signal
JP6314573B2 (ja) * 2014-03-20 2018-04-25 日本電気株式会社 信号分離装置、信号分離方法、信号分離プログラム
JP6195183B2 (ja) * 2014-03-27 2017-09-13 日本電気株式会社 信号分離装置及び信号分離方法
US10181315B2 (en) * 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
JP6206365B2 (ja) * 2014-09-05 2017-10-04 株式会社Jvcケンウッド 雑音抑圧装置
CN107545901B (zh) * 2016-06-28 2021-06-25 瑞昱半导体股份有限公司 信号处理装置与信号处理方法
US9922637B2 (en) * 2016-07-11 2018-03-20 Microsoft Technology Licensing, Llc Microphone noise suppression for computing device
US10325613B1 (en) * 2018-07-12 2019-06-18 Microsemi Semiconductor Ulc Acoustic delay estimation
CN109451195A (zh) * 2018-09-18 2019-03-08 北京佳讯飞鸿电气股份有限公司 一种自适应双端检测的回声消除方法及系统
JP6635396B1 (ja) * 2019-04-08 2020-01-22 パナソニックIpマネジメント株式会社 音響ノイズ抑圧装置及び音響ノイズ抑圧方法
CN111736797B (zh) * 2020-05-21 2024-04-05 阿波罗智联(北京)科技有限公司 负延时时间的检测方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05268105A (ja) * 1991-02-20 1993-10-15 Nec Corp 適応フィルタの係数制御方法及び装置
JPH05344011A (ja) * 1992-06-04 1993-12-24 Sony Corp 雑音低減方法及び装置
JPH0690492A (ja) * 1992-09-07 1994-03-29 Sony Corp 音声入力装置
JPH11345000A (ja) * 1998-06-03 1999-12-14 Nec Corp 雑音消去方法及び雑音消去装置
JP2004023404A (ja) * 2002-06-14 2004-01-22 Sony Corp 音響ノイズ低減装置及び低減方法
JP2005057437A (ja) * 2003-08-01 2005-03-03 Sony Corp マイクロホン装置、ノイズ低減方法および記録装置
US20100329492A1 (en) * 2008-02-05 2010-12-30 Phonak Ag Method for reducing noise in an input signal of a hearing device as well as a hearing device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3786195A (en) * 1971-08-13 1974-01-15 Dc Dt Liquidating Partnership Variable delay line signal processor for sound reproduction
JP2702876B2 (ja) * 1993-09-08 1998-01-26 株式会社石川製作所 音響源検出装置
JP2760373B2 (ja) 1995-03-03 1998-05-28 日本電気株式会社 雑音消去装置
US5699437A (en) * 1995-08-29 1997-12-16 United Technologies Corporation Active noise control system using phased-array sensors
US20040059571A1 (en) * 2002-09-24 2004-03-25 Marantz Japan, Inc. System for inputting speech, radio receiver and communication system
JP4632047B2 (ja) * 2003-09-02 2011-02-16 日本電気株式会社 信号処理方法および装置
JP4218573B2 (ja) * 2004-04-12 2009-02-04 ソニー株式会社 ノイズ低減方法及び装置
JP4816221B2 (ja) * 2006-04-21 2011-11-16 ヤマハ株式会社 収音装置および音声会議装置
JP5034819B2 (ja) * 2007-09-21 2012-09-26 ヤマハ株式会社 放収音装置
US8116467B2 (en) * 2008-05-15 2012-02-14 Fortemedia, Inc. Method for manufacturing array microphones and system for categorizing microphones
JP5332733B2 (ja) * 2009-03-03 2013-11-06 沖電気工業株式会社 エコーキャンセラ
WO2010106820A1 (ja) * 2009-03-19 2010-09-23 有限会社ケプストラム ハウリングキャンセラ
WO2010133246A1 (en) * 2009-05-18 2010-11-25 Oticon A/S Signal enhancement using wireless streaming

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05268105A (ja) * 1991-02-20 1993-10-15 Nec Corp 適応フィルタの係数制御方法及び装置
JPH05344011A (ja) * 1992-06-04 1993-12-24 Sony Corp 雑音低減方法及び装置
JPH0690492A (ja) * 1992-09-07 1994-03-29 Sony Corp 音声入力装置
JPH11345000A (ja) * 1998-06-03 1999-12-14 Nec Corp 雑音消去方法及び雑音消去装置
JP2004023404A (ja) * 2002-06-14 2004-01-22 Sony Corp 音響ノイズ低減装置及び低減方法
JP2005057437A (ja) * 2003-08-01 2005-03-03 Sony Corp マイクロホン装置、ノイズ低減方法および記録装置
US20100329492A1 (en) * 2008-02-05 2010-12-30 Phonak Ag Method for reducing noise in an input signal of a hearing device as well as a hearing device

Also Published As

Publication number Publication date
CN103229237A (zh) 2013-07-31
US9613632B2 (en) 2017-04-04
CN103229237B (zh) 2016-05-18
JPWO2012049986A1 (ja) 2014-02-24
WO2012049986A1 (ja) 2012-04-19
US20130197905A1 (en) 2013-08-01

Similar Documents

Publication Publication Date Title
JP5958341B2 (ja) 信号処理装置、信号処理方法、並びに信号処理プログラム
JP4632047B2 (ja) 信号処理方法および装置
JP6363324B2 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
JP4697465B2 (ja) 信号処理の方法、信号処理の装置および信号処理用プログラム
JP2930101B2 (ja) 雑音消去装置
JP3566158B2 (ja) エコーキャンセラ装置
JP5423966B2 (ja) 特定信号消去方法、特定信号消去装置、適応フィルタ係数更新方法、適応フィルタ係数更新装置及びコンピュータプログラム
JPH11345000A (ja) 雑音消去方法及び雑音消去装置
US20120140940A1 (en) Method and device for cancelling acoustic echo
JP5293952B2 (ja) 信号処理方法、信号処理装置、並びに信号処理プログラム
JP5228903B2 (ja) 信号処理装置および方法
JP5787126B2 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
WO2012070684A1 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
WO2011055829A1 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
US20140066134A1 (en) Audio processing device, audio processing method, and recording medium recording audio processing program
JP2023102181A (ja) 信号処理装置、信号処理方法、および信号処理プログラム
US20230137830A1 (en) Wideband adaptation of echo path changes in an acoustic echo canceller
JP5082144B2 (ja) 音声収音装置
JP4344306B2 (ja) 未知系推定方法およびこの方法を実施する装置
JP2023100220A (ja) 信号処理装置、信号処理方法、および信号処理プログラム
JP3708040B2 (ja) エコーキャンセラ
JP2023100564A (ja) 信号処理装置、信号処理方法、および信号処理プログラム
WO2019092798A1 (ja) 信号処理装置、信号処理方法、および信号処理プログラム
JPH1093482A (ja) エコーキャンセラ
US20130185064A1 (en) Echo removing apparatus, echo removing method, program and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160606

R150 Certificate of patent or registration of utility model

Ref document number: 5958341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150