JPWO2012070684A1 - 信号処理装置、信号処理方法、及び信号処理プログラム - Google Patents

信号処理装置、信号処理方法、及び信号処理プログラム Download PDF

Info

Publication number
JPWO2012070684A1
JPWO2012070684A1 JP2012545822A JP2012545822A JPWO2012070684A1 JP WO2012070684 A1 JPWO2012070684 A1 JP WO2012070684A1 JP 2012545822 A JP2012545822 A JP 2012545822A JP 2012545822 A JP2012545822 A JP 2012545822A JP WO2012070684 A1 JPWO2012070684 A1 JP WO2012070684A1
Authority
JP
Japan
Prior art keywords
noise
signal
minimum value
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012545822A
Other languages
English (en)
Other versions
JP6182862B2 (ja
Inventor
昭彦 杉山
昭彦 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2012070684A1 publication Critical patent/JPWO2012070684A1/ja
Application granted granted Critical
Publication of JP6182862B2 publication Critical patent/JP6182862B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Noise Elimination (AREA)

Abstract

本発明は、変換素子を通じて入力した信号を処理するにあたり、変換素子の性能の違いや個体差による出力のバラツキを補正し、精度の高い信号処理を行なう。変換素子を通じて入力信号を入力する入力手段と、基準変換素子を通じて入力した基準信号の最小値を記憶する記憶手段と、前記入力信号の最小値と前記基準信号の最小値とを比較する比較手段と、前記比較手段による比較の結果に応じて、前記入力信号に補正を加える補正手段と、を含む。

Description

本発明は、信号を処理して所望の出力を得るための信号処理技術に関する。
変換素子を用いて入力した信号を処理して所望の出力を得るための信号処理技術が知られている。例えば、劣化信号(所望の信号に雑音が重畳された信号)から、雑音を抑圧し、強調信号(所望の信号を強調した信号)を出力する雑音抑圧技術(noise suppressing technology)が存在する。所望の音声信号に重畳されている雑音(ノイズ)を抑圧するノイズサプレッサは、携帯電話など様々な音声端末において利用されている。
この種の技術の一例として、特許文献1は、入力信号に1より小さな抑圧係数を乗算することによって、ノイズを抑圧する方法を開示する。特許文献2は、推定された雑音を劣化信号から直接減算することによって、雑音を抑圧する方法を開示する。また、特許文献3は、雑音が所望信号に対して十分に小さいという条件が満たされない場合にも、十分な雑音抑圧効果と強調信号における小さな歪とを実現できる雑音抑圧システムを開示する。特許文献3は、所望信号に混入する雑音の特性が事前にある程度わかる場合を想定している。特許文献3に記載の技術は、事前に記録しておいた雑音情報(雑音の特性に関する情報)を、劣化信号から減算することで、雑音を抑圧する。
特許第4282227号 特開平8−221092号 特開2006−279185
しかしながら、上述の特許文献1乃至3に開示された構成では、変換素子の性能の違いや個体差によって、出力にバラツキが出てしまい、精度の高い信号処理を行なうことができなかった。
以上を踏まえ、本発明は、上述の課題を解決する信号処理技術を提供することを目的とする。
上記目的を達成するため、本発明に係る装置は、変換素子を通じて入力信号を入力する入力手段と、基準変換素子を通じて入力した基準信号の最小値を記憶する記憶手段と、前記入力信号の最小値と前記基準信号の最小値とを比較する比較手段と、前記比較手段による比較の結果に応じて、前記入力信号に補正を加える補正手段と、を含む。
上記目的を達成するため、本発明に係る方法は、変換素子を通じて入力信号を入力し、基準変換素子を通じて入力した基準信号の最小値と、入力信号の最小値とを比較し、前記比較の結果に応じて、前記入力信号に補正を加える。
上記目的を達成するため、本発明に係るプログラム記録媒体に格納されるプログラムは、変換素子を通じて入力信号を入力するステップと、基準変換素子を通じて入力した基準信号の最小値と、入力信号の最小値とを比較するステップと、前記比較の結果に応じて、前記入力信号に補正を加えるステップと、をコンピュータに実行させる。
本発明によれば、変換素子の性能の違いや個体差による出力のバラツキを補正し、精度の高い信号処理を行なう信号処理技術を提供することができる。
本発明の第1実施形態としての信号処理装置の概略構成を示すブロック図である。 本発明の第2実施形態としての雑音抑圧装置の概略構成を示すブロック図である。 本発明の第2実施形態としての雑音抑圧装置に含まれる変換部の構成を示すブロック図である。 本発明の第2実施形態としての雑音抑圧装置に含まれる逆変換部の構成を示すブロック図である。 本発明の第2実施形態としての雑音抑圧装置に含まれる補正部の構成を示すブロック図である。 本発明の第3実施形態としての雑音抑圧装置の概略構成を示すブロック図である。 本発明の第4実施形態としての雑音抑圧装置の概略構成を示すブロック図である。 本発明の第5実施形態としての雑音抑圧装置の概略構成を示すブロック図である。 本発明の第6実施形態としての雑音抑圧装置の概略構成を示すブロック図である。 本発明の他の実施形態としての信号処理プログラムを実行するコンピュータの概略構成図。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、以下の説明で、「変換素子」とは、いわゆるトランスデューサーである。具体的には、「変換素子」は、測定、情報転送を含む様々な目的のために、ある種類のエネルギーを別のものに変える電気的、電子的な素子または電気機械である。「変換素子」は、たとえばセンサやマイクロフォン(以下、マイク)のようにある測定量を電気信号に変える素子、機器などを含む。
(第1実施形態)
本発明の第1実施形態としての信号処理装置100について、図1を用いて説明する。
信号処理装置100は、入力部101と、基準最小値記憶部102と、比較部103と、補正部104とを含む。入力部101は、変換素子111を通じて入力信号120を、比較部103及び補正部104に入力する。基準最小値記憶部102は、基準変換素子を通じて入力した基準信号の最小値(基準最小値)を記憶する。更に、比較部103は、入力信号120の最小値と基準最小値とを比較する。補正部104は、比較部103による比較の結果に応じて、入力信号120に補正を加える。
以上の構成により、本実施形態に係る信号処理装置100は、変換素子の性能の違いや個体差による出力のバラツキを補正し、精度の高い信号処理を行なうことができる。
(第2実施形態)
本発明に係る信号処理方法を実現する第2実施形態として、雑音抑圧装置200について説明する。図2は、雑音抑圧装置200の全体構成を示すブロック図である。雑音抑圧装置200は、例えばデジタルカメラ、ノートパソコン、携帯電話などといった装置の一部としても機能するが、本発明はこれに限定されるものではない。雑音抑圧装置200は、入力信号からのノイズ除去を要求されるあらゆる信号処理装置に適用可能である。
<全体構成>
図2に示すように、雑音抑圧装置200は、入力部201と、最小値記憶部202と、利得算出部203と、補正部204と、出力部205とを含む。これらのうち、入力部201は、変換素子としてのマイク211と、マイク211の出力に変換処理を施す変換部212とを含む。入力部201は、音声信号を周波数成分に分解し、比較手段としての利得算出部203と補正部204とに供給する。
マイク211は、劣化信号(所望信号と雑音の混在する信号)が、サンプル値系列として供給される。マイク211に劣化信号が供給されると、変換部212は、供給された劣化信号にフーリエ変換などの変換を施して、複数の周波数成分に分割する。変換部212は、複数の周波数成分のうち振幅スペクトル220を利得算出部203及び利得制御部241に供給する。変換部212は、複数の周波数成分のうち位相スペクトル230を、逆変換部252に伝達する。利得制御部241は、変換部212から振幅スペクトルを受ける。利得制御部241は、振幅スペクトルに利得を乗算して、その結果を雑音抑圧部242へ供給する。なお、ここでは、変換部212は、利得制御部241を介して雑音抑圧部242に振幅スペクトル220を供給しているが、本発明はこれに限定されるものではない。変換部212は、利得制御部241を介して振幅スペクトル220の二乗に相当するパワースペクトルを雑音抑圧部242に供給しても良い。
最小値記憶部202は、半導体メモリなどの記憶素子を含む。最小値記憶部202は、雑音に関する基準最小値を記憶している。基準最小値は、基準変換素子の一例としての基準となるマイクで本装置が抑圧しようとする雑音のみを静かな部屋で録音することにより決定されても良い。例えば、本実施形態に係る雑音抑圧装置200がデジタルカメラに実装された場合を考える。この場合、基準最小値は、雑音抑圧装置200が実装されたデジタルカメラの電源が入れられた状態で発生しているノイズを基準マイクがひろった値でも良い。雑音抑圧装置200は、入力部201から周波数成分ごとの音声信号が入力される。そのため、本実施形態においては、基準最小値も周波数成分ごとに用意するものとする。しかしながら本発明の実施形態はこれに限定されるものではない。
利得算出部203は、変換部212から出力された音声信号の各周波数成分の最小値を抽出する最小値抽出部231を含む。また、利得算出部203は、抽出した最小値を、最小値記憶部202から読出した基準最小値と比較する最小値比較部232を含む。利得算出部203は、抽出した最小値と基準最小値との比を用いて(例えば、抽出した最小値が基準最小値と一致するように)入力信号に適用すべき周波数成分ごとの利得制御値(補正係数)を算出する。最小値抽出部231は、変換部212から供給された劣化信号振幅(またはパワースペクトル)を1サンプルごと、または数サンプルごとに解析して、最小値を導き出す。最小値抽出部231は、解析する度に最小値を更新し、過去の全入力中の最小値を抽出する。つまり抽出が長時間になればなるほど、最小値は小さくなる。具体的には、最小値抽出部231は、例えば1サンプル目の最小値と2サンプル目の最小値を比較し、更に3サンプル目の最小値を比較して更新する。このため長くサンプリングすればするほどどんどん最小値は小さくなる。
また、最小値抽出部231は、最小値を一定時間毎にリセットしてもよい。リセットの間隔が長くなるほど、最小値は劣化信号中の最小の成分を表すようになる。劣化信号が所望信号と雑音から構成されて、雑音の方が所望信号よりも信号レベルが低いときは、劣化信号の最小値は雑音の最小値になる。最小値記憶部202は、基準最小値として、雑音だけを静かな環境で録音して得られた最小値を記憶している。従って、利得算出部203は、同じ雑音の最小値を比較することになり、利得制御の基本データを得ることができる。
利得制御部241は、利得算出部203で算出した利得に基づいて、利得の制御を行なう。利得制御のタイミングは、1サンプルごとでもよいし、所定サンプル数ごとでもよい。なお、雑音抑圧装置200は、全周波数に同じ利得を用いて調整しても良い。つまり変換部212でフーリエ変換を行なう前に、変換部212が最小値によって利得調整しても良い。
雑音情報記憶部207は、半導体メモリなどの記憶素子を含む。雑音情報記憶部207は、雑音情報(雑音の特性に関する情報)を記憶している。雑音情報は、例えば、雑音のスペクトルの形でも良い。雑音情報は、スペクトルの形の他、位相の周波数特性、特定の周波数における強弱や時間変化などの特徴量でも良い。雑音情報は、その他、統計量(最大、最小、分散、メジアン)などでも良い。スペクトルが1024の周波数成分で表わされている場合、雑音情報記憶部207は、1024の振幅(またはパワー)データを記憶する。雑音情報記憶部207は、1024の振幅(またはパワー)データに代えて、複数の周波数成分を統合して得られたサブバンドのデータを記憶していても良い。サブバンドを用いると、雑音抑圧装置200は、必要なメモリ量と演算量を削減することができる。そして最小値記憶部202は、それぞれのスペクトルについての最小値を記憶している。雑音情報記憶部207に記録された雑音情報は、雑音情報調整部243に供給される。雑音情報調整部243は、倍率係数を乗算することにより雑音情報を補正し、補正雑音情報として雑音抑圧部242に供給する。
雑音抑圧部242は、利得制御部241から供給された劣化信号振幅スペクトルと雑音情報調整部243から供給された補正雑音情報260とを用いて、各周波数で雑音を抑圧する。雑音抑圧部242は、雑音抑圧結果としての強調信号振幅スペクトル240を逆変換部252に伝達する。
雑音抑圧部242は、同時に、強調信号振幅スペクトル240を雑音情報調整部243に伝達する。雑音情報調整部243は、雑音抑圧結果としての強調信号振幅スペクトル240に基づいて、雑音情報を補正する。
逆変換部252は、雑音抑圧部242から供給された強調信号振幅スペクトル240と変換部212から供給された劣化信号の位相スペクトル230とを合わせて逆変換を行い、強調信号サンプルとして、出力端子251に供給する。
<変換部212の構成>
図3は、変換部212の内部構成を示すブロック図である。図3に示すように、変換部212はフレーム分割部301、窓がけ処理部(windowing unit)302、及びフーリエ変換部303を含む。劣化信号サンプルは、フレーム分割部301に供給され、K/2サンプル毎のフレームに分割される。ここで、Kは偶数とする。フレームに分割された劣化信号サンプルは、窓がけ処理部302に供給され、窓関数(window function)であるw(t)との乗算が行なわれる。第nフレームの入力信号yn(t)(t=0,1,...,K/2−1)に対するw(t)で窓がけ(windowing)された信号は、次式(1)で与えられる。
Figure 2012070684
また、窓がけ処理部302は、連続する2フレームの一部を重ね合わせ(オーバラップ)して窓がけしても良い。オーバラップ長としてフレーム長の50%を仮定すれば、t=0,1,...,K/2−1に対して、以下の式(2)で得られる左辺が、窓がけ処理部302の出力となる。
Figure 2012070684
窓がけ処理部22は、実数信号に対しては、左右対称窓関数を用いても良い。また、窓関数は、MMSE STSA法における抑圧係数を1に設定したとき、またはSS法においてゼロを減算したときの入力信号と出力信号が計算誤差を除いて一致するように設計される。これは、w(t)+w(t+K/2)=1となることを意味する。
以後、連続する2フレームの50%をオーバラップして窓がけする場合を例として説明を続ける。窓がけ処理部22は、w(t)として、例えば、次式(3)に示すハニング窓を用いても良い。
Figure 2012070684
このほかにも、ハミング窓、ケイザー窓、ブラックマン窓など、様々な窓関数が知られている。窓がけされた出力はフーリエ変換部303に供給され、劣化信号スペクトルYn(k)に変換される。劣化信号スペクトルYn(k)は位相と振幅に分離され、劣化信号位相スペクトルargYn(k)は、逆変換部252に、劣化信号振幅スペクトル|Yn(k)|は、利得算出部203及び利得制御部241に供給される。既に説明したように、振幅スペクトルの代わりにパワースペクトルが利用されても良い。
<逆変換部252の構成>
図4は、逆変換部252の構成を示すブロック図である。図4に示すように、逆変換部252は逆フーリエ変換部403、窓がけ処理部402、及び、フレーム合成部401を含む。逆フーリエ変換部403は、雑音抑圧部242から供給された強調信号振幅スペクトル240と変換部212から供給された劣化信号位相スペクトル230とを乗算して、強調信号(以下の式(4)の左辺)を求める。
Figure 2012070684
逆フーリエ変換部403は、得られた強調信号に逆フーリエ変換を施す。逆フーリエ変換された強調信号は、1フレームがKサンプルを含む時間領域サンプル値系列xn(t)(t=0,1,...,K−1)として、窓がけ処理部402に供給され、窓関数w(t)との乗算が行なわれる。第nフレームの入力信号xn(t)(t=0,1,...,K/2−1)に対してw(t)で窓がけされた信号は、次式(5)の左辺で与えられる。
Figure 2012070684
また、窓がけ処理部402は、連続する2フレームの一部を重ね合わせ(オーバラップ)して窓がけしても良い。フレーム長の50%をオーバラップ長として仮定すれば、t=0,1,...,K/2−1に対して、以下の式の左辺が、窓がけ処理部402の出力となり、フレーム合成部401に伝達される。
Figure 2012070684
フレーム合成部401は、窓がけ処理部402からの隣接する2フレームの出力を、K/2サンプルずつ取り出して重ね合わせ、以下の式(7)によって、t=0,1,...,K−1における出力信号(式(7)の左辺)を得る。得られた出力信号は、フレーム合成部401から出力端子251に伝達される。
Figure 2012070684
なお、図3と図4において変換部212と逆変換部252における変換をフーリエ変換として説明した。変換部212、逆変換部252は、フーリエ変換に代えて、コサイン変換、修正コサイン変換、アダマール変換、ハール変換、ウェーブレット変換など、他の変換を用いても良い。例えば、コサイン変換や修正コサイン変換は、変換結果として振幅だけしか得られない。このため、図1における変換部212から逆変換部252に至る経路は不要になる。また、雑音情報記憶部207に記録する雑音情報も、振幅(またはパワー)だけとなり、記憶容量の削減、雑音抑圧処理における演算量の削減に貢献する。変換部212、逆変換部252がハール変換を用いた場合には、乗算が不要となり、LSI化したときの面積を小さくすることができる。変換部212、逆変換部252がウェーブレット変換を用いた場合には、周波数によって時間解像度を異なったものに変更できるために、雑音抑圧効果の向上が期待できる。
また、変換部212において得られる周波数成分を複数統合してから、雑音抑圧部242で実際の抑圧を行っても良い。その際、聴覚特性の弁別能力が高い低周波領域から、能力が低い高周波領域に向かって、よりたくさんの周波数成分を統合して、高い音質を達成することができる。このように、複数の周波数成分を統合してから雑音抑圧を実行すると、雑音抑圧を適用する周波数成分の数が少なくなり、全体の演算量を削減することができる。
<雑音抑圧部242の処理>
雑音抑圧部242は、様々な抑圧を行うことが可能である。抑圧方法には、代表的なものとして、SS(Spectrum Subtraction:スペクトル減算)法とMMSE STSA(Minimum Mean−Square Error Short−Time Spectral Amplitude Estimator:最小二乗平均誤差短時間振幅スペクトル推定)法とがある。雑音抑圧部242がSS法を用いる場合は、雑音抑圧部242は雑音情報調整部243から供給された補正雑音情報を、利得制御部241から供給された劣化信号振幅スペクトルから減算する。雑音抑圧部242がMMSE STSA法を用いる場合は、雑音抑圧部242は雑音情報調整部243から供給された補正雑音情報と利得制御部241から供給された劣化信号振幅スペクトルを用いて、複数の周波数成分それぞれに対して抑圧係数を計算し、この抑圧係数を劣化信号振幅スペクトルに乗算する。この抑圧係数は、強調信号の平均二乗パワーを最小化するように決定される。
雑音抑圧部242は、雑音の抑圧に際して、過剰な抑圧を避けるために、フロアリングを適用しても良い。フロアリングとは、最大抑圧量を超える抑圧を避ける方法である。フロアリングパラメータは最大抑圧量を決定する。雑音抑圧部242がSS法を用いる場合は、雑音抑圧部242は、補正雑音情報を劣化信号振幅スペクトルから減算した結果が、フロアリングパラメータより小さくならないように制約をかける。具体的には、雑音抑圧部242は、減算結果がフロアリングパラメータよりも小さいときには、減算結果をフロアリングパラメータで置換する。また、雑音抑圧部242がMMSE STSA法を用いる場合には、雑音抑圧部242は、補正雑音情報と劣化信号振幅スペクトルから求めた抑圧係数が、フロアリングパラメータよりも小さいときに、抑圧係数をフロアリングパラメータで置換する。フロアリングの詳細に関しては、文献「M.Berouti,R.Schwartz and J.Makhoul,″Enhancement of speech corrupted by acoustic noise,″Proceedings of ICASSP’79,pp.208−−211,Apr.1979」に開示されている。フロアリングを導入することによって、雑音抑圧部242は、過剰な抑圧を生じなくなる。フロアリングは、強調信号の歪が大きくなることを防止することができる。
雑音抑圧部242は、雑音情報の周波数成分数を劣化信号スペクトルの周波数成分数よりも小さく設定しても良い。このとき、複数の雑音情報が複数の周波数成分に対して共用される。劣化信号スペクトルと雑音情報の双方に対して、複数の周波数成分を統合する場合と比べて、劣化信号スペクトルの周波数分解能が高いので、雑音抑圧部242は、周波数成分の統合が全くない場合よりも少ない演算量で、高い音質を達成することができる。劣化信号スペクトルの周波数成分数よりも少ない周波数成分数の雑音情報を用いた抑圧の詳細は、特開2008−203879号に開示されている。
<雑音情報調整部243の構成>
図5は、雑音情報調整部243の構成を示すブロック図である。図5に示すように、雑音情報調整部243は、乗算部501、記憶部502、及び更新部503を含む。雑音情報調整部243は、供給された雑音情報250を乗算部501に供給する。記憶部502は、雑音情報を補正する際に用いられる補正用情報としての倍率係数510を記憶する。乗算部501は、雑音情報250と倍率係数510の積を求め、補正雑音情報260として出力する。
一方、更新部503には、雑音抑圧結果としての強調信号振幅スペクトル240が供給される。更新部503は、記憶部502内の倍率係数510を読出し、雑音抑圧結果を用いて倍率係数510を変更する。更新部503は、変更後の新しい倍率係数510を記憶部502に供給する。記憶部502は、新しい倍率係数510を、それまで記憶していた古い倍率係数510に代えて、新たに記憶する。
このように、更新部503は、雑音情報調整部243に帰還(feedback)された雑音抑圧結果を用いて倍率係数510を更新する。この場合、更新部503は、所望信号が入力されていないタイミングでの雑音抑圧結果が大きいほど(抑圧されずに残った雑音が大きいほど)補正雑音情報260が大きくなるように、倍率係数510を更新する。所望信号が入力されていないタイミングでの雑音抑圧結果が大きいということは、抑圧が不十分であることを示すため、倍率係数510を変更することによって補正雑音情報260を大きくすることが望ましいからである。補正雑音情報260が大きいときには、SS法では減算する値が大きくなるため、雑音抑圧結果は小さくなる。また、MMSE STSA法のような乗算型の抑圧では、抑圧係数の計算に用いる信号対雑音比の推定値が小さくなるため、小さな抑圧係数が得られる。これは、より強力な雑音抑圧をもたらす。倍率係数510を更新するにあたって、複数の方法が考えられる。例として、再計算法及び逐次更新法について説明する。
雑音抑圧結果としては、雑音が完全に抑圧された状態が理想である。このため、雑音情報調整部243は、例えば、劣化信号の振幅又はパワーが小さいときに、雑音が完全に抑圧されるように、倍率係数510を再計算又は逐次更新しても良い。劣化信号の振幅又はパワーが小さいときには、抑圧しようとする雑音以外の信号のパワーも小さい確率が高いからである。雑音情報調整部243は、劣化信号の振幅又はパワーが小さいことを、劣化信号の振幅又はパワーが閾値よりも小さいことを用いて検出しても良い。
また、雑音情報調整部243は、劣化信号の振幅又はパワーが小さいことを、劣化信号の振幅又はパワーと雑音情報記憶部207に記録されている雑音情報との差分が、閾値より小さいことを用いて検出しても良い。すなわち、雑音情報調整部243は、劣化信号の振幅又はパワーが雑音情報と似ているときに、劣化信号における雑音情報の占有率が高い(信号対雑音比が低い)ことを利用する。特に、雑音情報調整部243は、複数の周波数点における情報を複合的に用いることにより、スペクトル概形を比較することが可能となり、検出精度を高くすることができる。
SS法における倍率係数510は、各周波数において、補正雑音情報が、所望信号が入力されていないタイミングでの劣化信号スペクトルに等しくなるように、再計算される。言い換えれば、雑音情報調整部243は、雑音だけを入力した時点で変換部212から供給された劣化信号振幅スペクトル|Yn(k)|が、倍率係数αnと雑音情報ν(k)との積に一致することが求められる。ここでnはフレーム番号、kは、周波数番号である。すなわち、倍率係数αn(k)を次式(8)で計算する。
αn(k)=|Yn(k)|/ν(k)・・・(8)
一方、SS法における倍率係数510の逐次更新は、各周波数において、所望信号が入力されていないタイミングでの強調信号振幅スペクトルがゼロに近づくように、倍率係数510を少しずつ更新する。雑音情報調整部243は、逐次更新に最小二乗平均(LMS)アルゴリズムを用いる場合には、n番目フレーム、周波数番号kの誤差en(k)を用いて、αn+1(k)を次式(9)で計算する。
αn+1(k)=αn(k)+μen(k)ν(k)・・・(9)
但し、μはステップサイズと呼ばれる微小定数である。雑音情報調整部243は、計算して得られた倍率係数αn(k)を直ちに利用するときには、数式(9)の代わりに以下の数式(10)を用いる。
αn(k)=αn−1(k)+μen(k)ν(k)・・・(10)
すなわち、雑音情報調整部243は、現在の誤差を用いて現在の倍率係数αn(k)を計算し、直ちに適用する。雑音情報調整部243は、倍率係数510を直ちに更新することにより、リアルタイムで高精度の雑音抑圧を実現できる。
正規化最小二乗平均(NLMS)アルゴリズムを用いる場合には、雑音情報調整部243は、上述の誤差en(k)を用いて、倍率係数αn+1(k)を次式(11)で計算する。
αn+1(k)=αn(k)+μen(k)ν(k)/σn(k)2・・・(11)
σn(k)2は、雑音情報ν(k)の平均パワーであり、FIRフィルタに基づく平均(スライド窓を用いた移動平均)やIIRフィルタに基づく平均(漏れ積分)などを用いて計算される。
また、雑音情報調整部243は、摂動法を用いて、以下の式(12)によって倍率係数αn+1(k)を計算しても良い。
αn+1(k)=αn(k)+μen(k)・・・(12)
また、雑音情報調整部243は、誤差の符号だけ表わす符号関数sgn{en(k)}を用いて、以下の式(13)によって倍率係数αn+1(k)を計算しても良い。
αn+1(k)=αn(k)+μ・sgn{en(k)}・・・(13)
同様に、雑音情報調整部243は、最小二乗アルゴリズム(LS)アルゴリズムやその他の適応アルゴリズムを用いてもよい。また、更新した倍率係数510を直ちに適用することも可能であり、雑音情報調整部243は、数(9)から数(10)への変更を参照して、数(11)〜数(13)を変形して、倍率係数をリアルタイム更新してもよい。
MMSE STSA法においては、倍率係数を逐次更新する。雑音情報調整部243は、各周波数において、数式(8)から数式(13)を用いて説明した方法と同様の方法で、倍率係数αn(k)を更新する。
倍率係数510の更新方法としての再計算と逐次更新について、再計算は追従速度が速く、逐次更新は精度が高いという特徴がある。これらの特徴を活かすために、雑音情報調整部243は、最初は再計算を行い、後に逐次更新を行なう、というように更新方法を変更することも可能である。雑音情報調整部243は、更新方法の変更のタイミングを決定するにあたり、倍率係数が最適値に十分近くなったこと条件として更新方法を変更しても良い。また、雑音情報調整部243は、例えば、予め定められた時間が経過したときに更新方法を変更してもよい。またさらに、雑音情報調整部243は、倍率係数の補正量が予め定められた閾値よりも小さくなったときに変更することもできる。
以上、本実施形態に係る雑音抑圧装置200は、マイクの性能の違いや個体差を補正することができ、バラツキの少ない、精度の高い雑音抑圧処理を行なうことができる。
(第3実施形態)
本発明の第3実施形態について、図6を用いて説明する。図6に示すように、第3実施形態に係る雑音抑圧装置600は、利得制御部241を含まない。また、第3実施形態としての雑音抑圧装置600における利得算出部603は、上述の第1実施形態と異なり、算出した最小値の比を雑音情報調整部643に供給する。
そして、雑音情報調整部643では、最小値の比に基づいて、雑音抑圧部242に供給すべき雑音情報を調整する。同時に、雑音情報調整部643は、雑音抑圧部242から出力された出力信号240を入力して、雑音の消し残しがあれば、雑音情報250を強調するように調整する。
その他の構成及び動作については第1実施形態と同様であるため、同じ構成には同じ符号を付してここでは詳細な説明を省略する。
本実施形態に係る雑音抑圧装置600は、第1実施形態と同様にマイクの性能の違いや個体差に応じて、雑音情報を調整して、雑音の抑圧を行なうことができ、バラツキの少ない、精度の高い雑音抑圧処理を行なうことができる。
(第4実施形態)
本発明の第4実施形態について、図7を用いて説明する。第4実施形態としての雑音抑圧装置700は、上述の第1実施形態と異なり、雑音情報記憶部207を含まず、雑音源から入力端子707を介してリアルタイムの雑音スペクトル(雑音情報)を入力して雑音情報調整部243に伝達する。その他の構成及び動作については第1実施形態と同様であるためここでは詳細な説明を省略する。
例えば、別のマイクが雑音の発生源のそばにあり、その雑音用マイクの出力が入力端子707に伝達される場合が考えられる。しかし、本実施形態はこれに限定されるものではなく、雑音情報を外部から得られる場合であれば如何なる場合にも適用可能である。この場合でも第1実施形態と同様に、雑音情報調整部243において、雑音抑圧結果に基づいて、雑音情報を補正して、補正雑音情報を生成し、その補正雑音情報を雑音抑圧部242に伝達する。
本実施形態に係る雑音抑圧装置700は、より正確な雑音情報を得ることができる。また、雑音抑圧装置700は、雑音の変動にも追従できるため、予め多数の雑音情報を記憶することなく、未知な雑音を含む多種多様な雑音をより一層効果的に抑圧することができる。特に、雑音情報調整部243が存在するため、雑音抑圧装置700は、所望信号用のマイクと雑音用マイクの電気的特性のバラツキに追従できる。
(第5実施形態)
本発明の第5実施形態について、図8を用いて説明する。第4実施形態としての雑音抑圧装置800に含まれる利得算出部803、雑音抑圧部842及び雑音情報調整部843には、さらに、入力した劣化信号中に特定の雑音が存在するか否かを示す情報(雑音存在情報)が入力端子801から供給される。これにより、雑音抑圧装置800は、特定の雑音が存在しているタイミングで、確実に雑音を抑圧し、同時に、補正用情報の更新を行なうことができる。さらに、雑音抑圧装置800は、雑音存在情報を用いて劣化信号の最小値を探索すれば、より正確に雑音の最小値を見つけ出すことができる。その他の構成及び動作については第1実施形態と同様であるためここでは詳細な説明を省略する。
なお、利得算出部803は、入力端子801から雑音開始情報を取得すると、雑音開始時間t(0)から一定時間経過後のt(1)から最小値の算出を開始してもよい。その場合、利得算出部803は、一定期間ごとに、t(2)、t(3)、t(4)・・・のタイミングで、t(2)以降取得した音声中の雑音の最小値を計算すればよい。計算された最小値はそれぞれ、Min(2),Min(3),Min(4),・・・として、リングバッファ(またはシフトメモリ)に格納されてもよい。その後、利得算出部803は、入力端子801から雑音終了情報を取得すると、雑音終了時間t(n)から一定時間遡った時点のt(n−1)までの最小値Min(n−1)を読出す。
このようにすることで、利得算出部803は、モータが動き出すタイミングや、止まる直前などの、動作が不安定な状態での雑音の最小値を排除することができる。つまり、利得算出部803は、そのノイズ開始直後及びノイズ終了直前の一定期間については、最小値を算出せず、安定した期間の雑音の最小値のみを用いることができる。
本実施形態に係る雑音抑圧装置800は、第2実施形態の効果に加え、特定の雑音が存在していないタイミングでは、補正用情報の更新を行なわないので、特定の雑音に対する雑音抑圧の精度を向上させることができる。
(第6実施形態)
本発明の第6実施形態について、図9を用いて説明する。本実施形態における雑音抑圧装置900は、所望信号存在判定部901を含む。所望信号存在判定部901は、利得制御部241で利得の適用を受けた劣化信号振幅スペクトルが伝達される。所望信号存在判定部901は、劣化信号振幅スペクトル中に所望信号が存在するか否か、或いは、どの程度存在するのかを判定する。
雑音情報調整部943は、所望信号存在判定部901での判定結果に基づいて、雑音情報を調整するための補正用情報を更新する。例えば、所望信号がないときには、劣化信号は全て雑音から構成されるので、雑音抑圧部での抑圧結果はゼロになるはずである。したがって、雑音情報調整部943は、この時の雑音抑圧結果がゼロになるように、倍率係数510などを調整する。
一方、劣化信号に所望信号が含まれている場合には、雑音情報調整部943は、所望信号の存在割合に応じて、補正部における補正用情報の更新を行なう。例えば、劣化信号中に所望信号が10%存在している場合には、雑音情報調整部943は、部分的に(90%だけ)補正用情報を更新する。
本実施形態に係る雑音抑圧装置900は、第2実施形態の効果に加え、劣化信号中の雑音の割合に応じて補正情報を更新するので、結果的に、より精度の高い雑音抑圧結果を得ることができる。
(他の実施形態)
以上説明してきた第1乃至第6実施形態は、それぞれ別々の特徴を持つ雑音抑圧装置について説明したが、それらの特徴を如何様に組み合わせた雑音抑圧装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用しても良いし、単体の装置に適用しても良い。さらに、本発明は、実施形態の機能を実現するソフトウェアの信号処理プログラムが、システム或いは装置に直接或いは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、或いはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWWサーバも、本発明の範疇に含まれる。
図10は、上述の実施形態を信号処理プログラムにより構成した場合に、その信号処理プログラムを実行するコンピュータ1000の構成図である。コンピュータ1000は、入力部1001と、CPU1002と、出力部1003と、メモリ1004と、外部記憶部1005と、通信制御部1006とを含む。
CPU1002は、信号処理プログラムを読み込むことにより、コンピュータ1000の動作を制御する。すなわち、信号処理プログラムを実行したCPU1002は、マイクなどの変換素子を通じて劣化音声信号などの入力信号を入力する(S1011)。次に、CPU1002は、基準変換素子を通じて入力した基準信号の最小値と、入力信号の最小値とを比較する(S1012)。そして、比較の結果に応じて、CPU1002は、入力信号に補正を加える(S1013)。
これにより、上述の実施形態と同様の効果を得ることができる。
以上、実施形態を参照して本願発明を説明したが、本願発明は以上の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
この出願は、2010年11月25日に出願された日本出願特願2010−263021を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

  1. 変換素子を通じて入力信号を入力する入力手段と、
    基準変換素子を通じて入力した基準信号の最小値を記憶する記憶手段と、
    前記入力信号の最小値と前記基準信号の最小値とを比較する比較手段と、
    前記比較手段による比較の結果に応じて、前記入力信号に補正を加える補正手段と、
    を含む信号処理装置。
  2. 前記比較手段は、前記入力信号の最小値と前記基準信号の最小値との比を求め、
    前記補正手段は、前記比較手段が求めた比に応じて、前記入力信号を利得制御する、
    請求項1に記載の信号処理装置。
  3. 前記補正手段は、前記入力信号の最小値と前記基準信号の最小値とが一致するように補正係数を定め、前記補正係数を用いて、前記変換素子の出力を補正する、
    請求項1または2に記載の信号処理装置。
  4. 前記補正手段は、
    雑音情報を用いて劣化信号中の雑音を抑圧する雑音抑圧手段と、
    前記比較手段による比較の結果に応じて、前記雑音情報を調整して前記雑音抑圧手段に供給する雑音情報調整手段と、
    を含む請求項1、2または3に記載の信号処理装置。
  5. 前記雑音情報調整手段は、更に、前記劣化信号中の雑音を抑圧した結果に基づいて前記雑音情報を調整する、
    請求項4に記載の信号処理装置。
  6. 前記補正手段は、前記雑音情報調整手段に供給すべき前記雑音情報を記憶する雑音情報記憶手段を更に含む、
    請求項4または5に記載の信号処理装置。
  7. 前記補正手段は、雑音源から前記雑音情報を入力して、前記雑音抑圧に用いる、
    請求項4または5に記載の信号処理装置。
  8. 前記補正手段は、前記入力信号中に雑音が存在するか否かを示す情報を入力し、前記入力信号中に雑音が存在している場合に、前記入力信号の補正を行なう、
    請求項4乃至7の何れか1項に記載の信号処理装置。
  9. 前記補正手段は、前記入力信号中に所望信号がどの程度存在しているかを判定し、その判定結果に基づいて、前記雑音情報を調整する、
    請求項4乃至8の何れか1項に記載の信号処理装置。
  10. 前記変換素子はマイクロフォンである、
    請求項1乃至9の何れか1項に記載の信号処理装置。
  11. 変換素子を通じて入力信号を入力し、
    基準変換素子を通じて入力した基準信号の最小値と、入力信号の最小値とを比較し、
    前記比較の結果に応じて、前記入力信号に補正を加える、
    信号処理方法。
  12. 変換素子を通じて入力信号を入力するステップと、
    基準変換素子を通じて入力した基準信号の最小値と、入力信号の最小値とを比較するステップと、
    前記比較の結果に応じて、前記入力信号に補正を加えるステップと、
    をコンピュータに実行させる信号処理プログラムを格納したプログラム記録媒体。
JP2012545822A 2010-11-25 2011-11-22 信号処理装置、信号処理方法、及び信号処理プログラム Active JP6182862B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010263021 2010-11-25
JP2010263021 2010-11-25
PCT/JP2011/077442 WO2012070684A1 (ja) 2010-11-25 2011-11-22 信号処理装置、信号処理方法、及び信号処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2012070684A1 true JPWO2012070684A1 (ja) 2014-05-19
JP6182862B2 JP6182862B2 (ja) 2017-08-23

Family

ID=46146018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012545822A Active JP6182862B2 (ja) 2010-11-25 2011-11-22 信号処理装置、信号処理方法、及び信号処理プログラム

Country Status (5)

Country Link
US (1) US9443503B2 (ja)
EP (1) EP2645738B1 (ja)
JP (1) JP6182862B2 (ja)
CN (1) CN103270772B (ja)
WO (1) WO2012070684A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016006218B4 (de) * 2016-02-15 2022-02-10 Mitsubishi Electric Corporation Schallsignal-Verbesserungsvorrichtung
JP7021053B2 (ja) 2018-11-07 2022-02-16 株式会社東芝 監視システム、プログラム、及び記憶媒体
KR102327441B1 (ko) * 2019-09-20 2021-11-17 엘지전자 주식회사 인공지능 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003527012A (ja) * 2000-03-14 2003-09-09 オーディア テクノロジー インク 多重マイクロフォン方向システムにおける順応型マイクロフォン・マッチング
JP2005130328A (ja) * 2003-10-27 2005-05-19 Kyocera Corp 電子カメラ
JP2006262241A (ja) * 2005-03-18 2006-09-28 Casio Comput Co Ltd 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム
JP2006287387A (ja) * 2005-03-31 2006-10-19 Casio Comput Co Ltd 撮像装置、音声記録方法及びプログラム
JP2008256433A (ja) * 2007-04-03 2008-10-23 Akoo:Kk マイクロホンユニット、騒音計及び音響校正器
JP2009535998A (ja) * 2006-05-02 2009-10-01 クゥアルコム・インコーポレイテッド ブラインド信号源分離(bss)の向上技術

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074952B2 (ja) 1992-08-18 2000-08-07 日本電気株式会社 雑音除去装置
JP3451146B2 (ja) 1995-02-17 2003-09-29 株式会社日立製作所 スペクトルサブトラクションを用いた雑音除去システムおよび方法
US6044341A (en) 1997-07-16 2000-03-28 Olympus Optical Co., Ltd. Noise suppression apparatus and recording medium recording processing program for performing noise removal from voice
JPH1138998A (ja) * 1997-07-16 1999-02-12 Olympus Optical Co Ltd 雑音抑圧装置および雑音抑圧処理プログラムを記録した記録媒体
JP4282227B2 (ja) 2000-12-28 2009-06-17 日本電気株式会社 ノイズ除去の方法及び装置
JP4632047B2 (ja) 2003-09-02 2011-02-16 日本電気株式会社 信号処理方法および装置
JP2006279185A (ja) 2005-03-28 2006-10-12 Casio Comput Co Ltd 撮像装置、音声記録方法及びプログラム
JP4172530B2 (ja) 2005-09-02 2008-10-29 日本電気株式会社 雑音抑圧の方法及び装置並びにコンピュータプログラム
JP2008216721A (ja) * 2007-03-06 2008-09-18 Nec Corp 雑音抑圧の方法、装置、及びプログラム
EP2151821B1 (en) 2008-08-07 2011-12-14 Nuance Communications, Inc. Noise-reduction processing of speech signals
JP2010263021A (ja) 2009-04-30 2010-11-18 Panasonic Corp 偏光面検波センサー、半導体集積回路及び偏光面検波センサーの制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003527012A (ja) * 2000-03-14 2003-09-09 オーディア テクノロジー インク 多重マイクロフォン方向システムにおける順応型マイクロフォン・マッチング
JP2005130328A (ja) * 2003-10-27 2005-05-19 Kyocera Corp 電子カメラ
JP2006262241A (ja) * 2005-03-18 2006-09-28 Casio Comput Co Ltd 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム
JP2006287387A (ja) * 2005-03-31 2006-10-19 Casio Comput Co Ltd 撮像装置、音声記録方法及びプログラム
JP2009535998A (ja) * 2006-05-02 2009-10-01 クゥアルコム・インコーポレイテッド ブラインド信号源分離(bss)の向上技術
JP2008256433A (ja) * 2007-04-03 2008-10-23 Akoo:Kk マイクロホンユニット、騒音計及び音響校正器

Also Published As

Publication number Publication date
US20130223639A1 (en) 2013-08-29
US9443503B2 (en) 2016-09-13
CN103270772B (zh) 2017-06-06
EP2645738A4 (en) 2014-04-30
CN103270772A (zh) 2013-08-28
WO2012070684A1 (ja) 2012-05-31
EP2645738B1 (en) 2017-06-21
EP2645738A1 (en) 2013-10-02
JP6182862B2 (ja) 2017-08-23

Similar Documents

Publication Publication Date Title
JP5867389B2 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
CN103650040B (zh) 使用多特征建模分析语音/噪声可能性的噪声抑制方法和装置
JP4886715B2 (ja) 定常率算出装置、雑音レベル推定装置、雑音抑圧装置、それらの方法、プログラム及び記録媒体
CN108696648B (zh) 一种短时语音信号处理的方法、装置、设备及存储介质
JP5788873B2 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
JP6064600B2 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
WO2012070670A1 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
JP6182862B2 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
JP5294085B2 (ja) 情報処理装置、その付属装置、情報処理システム、その制御方法並びに制御プログラム
JP5787126B2 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
WO2011055829A1 (ja) 信号処理方法、情報処理装置、及び信号処理プログラム
JP5228903B2 (ja) 信号処理装置および方法
JPWO2013032025A1 (ja) 信号処理装置、信号処理方法、およびコンピュータ・プログラム
JP6119604B2 (ja) 信号処理装置、信号処理方法、および信号処理プログラム
US10109291B2 (en) Noise suppression device, noise suppression method, and computer program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170417

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170710

R150 Certificate of patent or registration of utility model

Ref document number: 6182862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150