JPWO2010113220A1 - 雑音抑圧装置 - Google Patents
雑音抑圧装置 Download PDFInfo
- Publication number
- JPWO2010113220A1 JPWO2010113220A1 JP2011506852A JP2011506852A JPWO2010113220A1 JP WO2010113220 A1 JPWO2010113220 A1 JP WO2010113220A1 JP 2011506852 A JP2011506852 A JP 2011506852A JP 2011506852 A JP2011506852 A JP 2011506852A JP WO2010113220 A1 JPWO2010113220 A1 JP WO2010113220A1
- Authority
- JP
- Japan
- Prior art keywords
- noise
- frequency
- band
- unit
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001629 suppression Effects 0.000 claims abstract description 126
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 abstract description 188
- 238000000034 method Methods 0.000 description 62
- 238000006243 chemical reaction Methods 0.000 description 30
- 230000003595 spectral effect Effects 0.000 description 25
- 238000005070 sampling Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000005534 acoustic noise Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02168—Noise filtering characterised by the method used for estimating noise the estimation exclusively taking place during speech pauses
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Noise Elimination (AREA)
- Telephone Function (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
例えば、特許文献1に開示された従来の雑音抑圧装置では、低域用、高域用の独立した構成を成しており、低域用、高域用に別個の音声・雑音区間判定手段が必要であるため、全帯域処理よりは少ないものの、依然として処理量やメモリ量が大きいという課題があった。また、雑音抑圧装置において重要な構成である音声・雑音区間判定や雑音スペクトル推定のための制御パラメータを、低域・高域でそれぞれ独立して調整する必要があり、制御や調整が複雑であるという課題があった。
実施の形態1.
図1は本実施の形態による雑音抑圧装置の全体構成を示したものである。
図1において、雑音抑圧装置200は、時間・周波数変換部1、音声・雑音区間判定部2、雑音スペクトル推定部3、低域抑圧量制御部4、高域抑圧量制御部5、低域雑音抑圧部6、高域雑音抑圧部7、帯域合成部8、第1の周波数・時間変換部9、第2の周波数・時間変換部10を備えている。また、音声・雑音区間判定部2、低域抑圧量制御部4および低域雑音抑圧部6で低域処理部201を構成し、高域抑圧量制御部5と高域雑音抑圧部7とで高域処理部202を構成すると共に、雑音スペクトル推定部3がこれら低域処理部201および高域処理部202の共通構成要素として設けられている。
従来の雑音抑圧装置の構成と異なる点として、低域処理部201内にのみ音声・雑音区間判定部2を持つことと、雑音スペクトル推定部3が低域処理部201と高域処理部202の共有構成要素となっていることである。
まず、目的信号である音声・楽音などに雑音が混入した入力信号100が、A/D(アナログ/デジタル)変換された後、所定のサンプリング周波数(例えば、16kHz)でサンプリングされ、所定のフレーム周期(例えば、20msec)にフレーム分割されて、雑音抑圧装置200内の時間・周波数変換部1に入力される。
以上得られた振幅スペクトルS(k)について、例えば、0〜4kHzと4kHz〜8kHzの2帯域に帯域分割し、0〜4kHzまでの低域成分を低域振幅スペクトル102、4〜8kHzまでの高域成分を高域振幅スペクトル103としてそれぞれ出力するとともに、位相スペクトル101を出力する。
高域抑圧量制御部5は、高域振幅スペクトル103と、後述説明する雑音スペクトル推定部3が出力する高域雑音スペクトル106より、次の式(3)に従って、スペクトル成分毎の信号対雑音比snrH(k)を計算する。ここで、SH(k)は高域振幅スペクトル103の第k番目のスペクトル、NH(k)は高域雑音スペクトル106の第k番目のスペクトル、kはスペクトル番号、KLおよびKHはスペクトル番号数であり、例えば、FFT点数が512点で、帯域分割点が4kHzであれば、KL=128およびKH=256となる。得られたスペクトル成分毎の信号対雑音比SNRH(k)を用いて、高域雑音抑圧量108を計算する。具体的な計算方法としては、低域処理部201の場合と同様に、例えば、非特許文献1に開示されているスペクトル減算法や、非特許文献2に開示されている、Wiener Filter法などの公知の手法を用いることができる。
以下、図2および図3を参照して、音声・雑音区間判定部2と雑音スペクトル推定部3の詳細な動作説明を行う。
例えば、次の式(8)に従って、音声・雑音区間判定結果信号104である音声らしさ信号VADが例えば0.2以下の場合に、入力信号の振幅スペクトルを雑音スペクトルに反映することで更新を行う。雑音スペクトル記憶部16は、例えば、半導体メモリやハードディスク等に代表されるような、電気的あるいは磁気的な随時読み出し・書き込み可能な記憶手段にて構成される。
また、αL(z)およびαH(z)は、0〜1の値を取る所定の更新速度係数であり、比較的0に近い値を設定すると良い。また、周波数が高くになるに従って、係数値をやや大きくした方が良い場合があり、雑音の種類などに応じて調整することも可能である。
実施の形態1の変形例として、音声・雑音区間判定だけを全帯域の振幅スペクトルを用いて行い、その後の処理手段については実施の形態1と同様な構成とすることも可能であり、これを実施の形態2として説明する。
図4は、実施の形態2による雑音抑圧装置の全体構成を示すものであり、図1と異なる構成要素として、全帯域音声・雑音区間判定部18を有する全帯域処理部203を備えている。その他の構成要素に関しては、低域処理部201から音声・雑音区間判定部2が削除されている他は、図1の構成と同様であるため、対応する部分については同一符号を付してその説明を省略する。なお、全帯域処理部203が分析手段を構成し、低域処理部201および高域処理部202が複数の雑音抑圧手段を、また、帯域合成部8〜サンプリング変換部11および帯域制御信号111が切替手段を構成している。
実施の形態2の変形例として、全帯域処理部203内の全帯域音声・雑音区間判定部18に入力する全帯域振幅スペクトルを複数の帯域に帯域分割し、各帯域の音声・雑音区間判定を実施した総合結果を全帯域音声・雑音区間判定結果とし、その後の処理については実施の形態2と同様な構成とすることも可能であり、これを実施の形態3として次に説明する。
実施の形態1の変形例として、音声復号化処理後に雑音抑圧することも可能であり、これを実施の形態4として次に説明する。
図5は、実施の形態4による雑音抑圧装置の全体構成を示すものであり、図1の構成と異なる点は、雑音抑圧装置200の入力側に、狭帯域復号化部19、広帯域復号化部20、アップサンプリング部21、切り替え部22を備えていることである。また、図1における狭帯域符号化部12および広帯域符号化部13は接続されていない。その他の構成については、図1と同様であるため、対応する部分に同一符号を付してその説明を省略する。
広帯域復号化部20は、広帯域符号化データ119に対して前記音声符号化部に対応する所定の復号化処理を行い、広帯域復号信号121を切り替え部22に出力する。
アップサンプリング部21は、狭帯域復号信号120を入力し、広帯域復号信号121と同じサンプリング周波数にアップサンプリング処理を行い、アップサンプリングされた狭帯域復号信号122として出力する。
以降の処理内容については、実施の形態1と同様であるので、説明を省略する。
上記実施の形態1から実施の形態4では、高速フーリエ変換によってスペクトル成分を算出し、変形処理を実施し、逆高速フーリエ変換によって時間領域の信号に戻しているが、高速フーリエ変換の代わりにバンドパスフィルタ群の各出力に対して、雑音抑圧処理を実施し、帯域別信号の加算によって出力信号を得る構成も可能であるし、ウェーブレット(Wavelet)変換等の変換関数を用いることも可能である。
Claims (4)
- 入力信号を複数の帯域に分割し、当該分割した複数の帯域のうち、所定の帯域成分の分析結果に応じて、前記所定の帯域成分の雑音抑圧と、前記所定の帯域以外の帯域成分の雑音抑圧を行うことを特徴とする雑音抑圧装置。
- 入力信号から、複数の帯域の各帯域に属する推定雑音成分を抽出する雑音成分推定手段を備え、前記推定雑音成分の内部成分の細分度合いが、前記帯域毎に異なることを特徴とする請求項1記載の雑音抑圧装置。
- 推定雑音成分の内部成分の細分度合いとして、低域部では前記推定雑音成分を非均等に細分し、高域部では前記推定雑音成分を均等に細分することを特徴とする請求項2記載の雑音抑圧装置。
- 入力信号の全帯域成分を分析する分析手段と、
前記入力信号を帯域分割して得られた複数の帯域成分の雑音抑圧を行う複数の雑音抑圧手段と、
全帯域成分あるいは一部の帯域成分の雑音抑圧手段を切り替える切替手段とを備え、
前記分析手段の分析結果に応じて、全帯域成分あるいは一部帯域成分の雑音抑圧処理を行うことを特徴とする雑音抑圧装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/001554 WO2010113220A1 (ja) | 2009-04-02 | 2009-04-02 | 雑音抑圧装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010113220A1 true JPWO2010113220A1 (ja) | 2012-10-04 |
JP5535198B2 JP5535198B2 (ja) | 2014-07-02 |
Family
ID=42827554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011506852A Active JP5535198B2 (ja) | 2009-04-02 | 2009-04-02 | 雑音抑圧装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20110286605A1 (ja) |
EP (1) | EP2416315B1 (ja) |
JP (1) | JP5535198B2 (ja) |
CN (1) | CN102356427B (ja) |
WO (1) | WO2010113220A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9185487B2 (en) | 2006-01-30 | 2015-11-10 | Audience, Inc. | System and method for providing noise suppression utilizing null processing noise subtraction |
US8311085B2 (en) | 2009-04-14 | 2012-11-13 | Clear-Com Llc | Digital intercom network over DC-powered microphone cable |
US9838784B2 (en) | 2009-12-02 | 2017-12-05 | Knowles Electronics, Llc | Directional audio capture |
US8798290B1 (en) | 2010-04-21 | 2014-08-05 | Audience, Inc. | Systems and methods for adaptive signal equalization |
US9558755B1 (en) * | 2010-05-20 | 2017-01-31 | Knowles Electronics, Llc | Noise suppression assisted automatic speech recognition |
JP5183828B2 (ja) * | 2010-09-21 | 2013-04-17 | 三菱電機株式会社 | 雑音抑圧装置 |
US8924206B2 (en) * | 2011-11-04 | 2014-12-30 | Htc Corporation | Electrical apparatus and voice signals receiving method thereof |
US20150039300A1 (en) * | 2012-03-14 | 2015-02-05 | Panasonic Corporation | Vehicle-mounted communication device |
US20130282373A1 (en) * | 2012-04-23 | 2013-10-24 | Qualcomm Incorporated | Systems and methods for audio signal processing |
US9640194B1 (en) | 2012-10-04 | 2017-05-02 | Knowles Electronics, Llc | Noise suppression for speech processing based on machine-learning mask estimation |
US9304010B2 (en) * | 2013-02-28 | 2016-04-05 | Nokia Technologies Oy | Methods, apparatuses, and computer program products for providing broadband audio signals associated with navigation instructions |
US9639906B2 (en) | 2013-03-12 | 2017-05-02 | Hm Electronics, Inc. | System and method for wideband audio communication with a quick service restaurant drive-through intercom |
DE112015003945T5 (de) | 2014-08-28 | 2017-05-11 | Knowles Electronics, Llc | Mehrquellen-Rauschunterdrückung |
DE112015004185T5 (de) | 2014-09-12 | 2017-06-01 | Knowles Electronics, Llc | Systeme und Verfahren zur Wiederherstellung von Sprachkomponenten |
US9668048B2 (en) | 2015-01-30 | 2017-05-30 | Knowles Electronics, Llc | Contextual switching of microphones |
GB2548614A (en) | 2016-03-24 | 2017-09-27 | Nokia Technologies Oy | Methods, apparatus and computer programs for noise reduction |
DE102017203469A1 (de) * | 2017-03-03 | 2018-09-06 | Robert Bosch Gmbh | Verfahren und eine Einrichtung zur Störbefreiung von Audio-Signalen sowie eine Sprachsteuerung von Geräten mit dieser Störbefreiung |
CN109147795B (zh) * | 2018-08-06 | 2021-05-14 | 珠海全志科技股份有限公司 | 声纹数据传输、识别方法、识别装置和存储介质 |
JP7398895B2 (ja) * | 2019-07-31 | 2023-12-15 | 株式会社デンソーテン | ノイズ低減装置 |
CN113571078B (zh) * | 2021-01-29 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 噪声抑制方法、装置、介质以及电子设备 |
CN113539226B (zh) * | 2021-06-02 | 2022-08-02 | 国网河北省电力有限公司电力科学研究院 | 一种变电站主动降噪控制方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03223798A (ja) * | 1989-12-22 | 1991-10-02 | Sanyo Electric Co Ltd | 音声切り出し装置 |
US5583961A (en) * | 1993-03-25 | 1996-12-10 | British Telecommunications Public Limited Company | Speaker recognition using spectral coefficients normalized with respect to unequal frequency bands |
JP2000066691A (ja) * | 1998-08-21 | 2000-03-03 | Kdd Corp | オーディオ情報分類装置 |
JP2000206995A (ja) | 1999-01-11 | 2000-07-28 | Sony Corp | 受信装置及び方法、通信装置及び方法 |
JP2000261530A (ja) * | 1999-03-10 | 2000-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 通話装置 |
JP3454190B2 (ja) | 1999-06-09 | 2003-10-06 | 三菱電機株式会社 | 雑音抑圧装置および方法 |
JP2001318694A (ja) * | 2000-05-10 | 2001-11-16 | Toshiba Corp | 信号処理装置、信号処理方法および記録媒体 |
CA2454296A1 (en) * | 2003-12-29 | 2005-06-29 | Nokia Corporation | Method and device for speech enhancement in the presence of background noise |
WO2005124739A1 (ja) * | 2004-06-18 | 2005-12-29 | Matsushita Electric Industrial Co., Ltd. | 雑音抑圧装置および雑音抑圧方法 |
JP2006113515A (ja) * | 2004-09-16 | 2006-04-27 | Toshiba Corp | ノイズサプレス装置、ノイズサプレス方法及び移動通信端末装置 |
EP1806739B1 (en) * | 2004-10-28 | 2012-08-15 | Fujitsu Ltd. | Noise suppressor |
KR100677396B1 (ko) * | 2004-11-20 | 2007-02-02 | 엘지전자 주식회사 | 음성인식장치의 음성구간 검출방법 |
JP2006201622A (ja) | 2005-01-21 | 2006-08-03 | Matsushita Electric Ind Co Ltd | 帯域分割型雑音抑圧装置及び帯域分割型雑音抑圧方法 |
US7590530B2 (en) * | 2005-09-03 | 2009-09-15 | Gn Resound A/S | Method and apparatus for improved estimation of non-stationary noise for speech enhancement |
JP4728791B2 (ja) * | 2005-12-08 | 2011-07-20 | 日本電信電話株式会社 | 音声認識装置、音声認識方法、そのプログラムおよびその記録媒体 |
KR100667852B1 (ko) * | 2006-01-13 | 2007-01-11 | 삼성전자주식회사 | 휴대용 레코더 기기의 잡음 제거 장치 및 그 방법 |
-
2009
- 2009-04-02 EP EP20090842577 patent/EP2416315B1/en active Active
- 2009-04-02 WO PCT/JP2009/001554 patent/WO2010113220A1/ja active Application Filing
- 2009-04-02 JP JP2011506852A patent/JP5535198B2/ja active Active
- 2009-04-02 CN CN2009801580711A patent/CN102356427B/zh active Active
- 2009-04-02 US US13/146,938 patent/US20110286605A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20110286605A1 (en) | 2011-11-24 |
EP2416315A1 (en) | 2012-02-08 |
WO2010113220A1 (ja) | 2010-10-07 |
JP5535198B2 (ja) | 2014-07-02 |
CN102356427B (zh) | 2013-10-30 |
CN102356427A (zh) | 2012-02-15 |
EP2416315A4 (en) | 2013-06-19 |
EP2416315B1 (en) | 2015-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5535198B2 (ja) | 雑音抑圧装置 | |
JP5528538B2 (ja) | 雑音抑圧装置 | |
KR100851716B1 (ko) | 바크 대역 위너 필터링 및 변형된 도블링거 잡음 추정에기반한 잡음 억제 | |
US8571231B2 (en) | Suppressing noise in an audio signal | |
US8521530B1 (en) | System and method for enhancing a monaural audio signal | |
US8249861B2 (en) | High frequency compression integration | |
JP5646077B2 (ja) | 雑音抑圧装置 | |
EP2244254B1 (en) | Ambient noise compensation system robust to high excitation noise | |
JP5535241B2 (ja) | 音声信号復元装置および音声信号復元方法 | |
JP5127754B2 (ja) | 信号処理装置 | |
JP4836720B2 (ja) | ノイズサプレス装置 | |
JP4777918B2 (ja) | 音声処理装置及び音声を処理する方法 | |
JP5153886B2 (ja) | 雑音抑圧装置および音声復号化装置 | |
JP2002542689A (ja) | スペクトルサブトラクションを用いたデュアル・マイクロフォンによる信号雑音低減の方法および装置 | |
EP1769492A1 (en) | Comfort noise generator using modified doblinger noise estimate | |
CN103650040A (zh) | 使用多特征建模分析语音/噪声可能性的噪声抑制方法和装置 | |
US9390718B2 (en) | Audio signal restoration device and audio signal restoration method | |
JPWO2018163328A1 (ja) | 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置 | |
US20150310875A1 (en) | Apparatus and method for improving speech intelligibility in background noise by amplification and compression | |
JP4448464B2 (ja) | 雑音低減方法、装置、プログラム及び記録媒体 | |
JP5840087B2 (ja) | 音声信号復元装置および音声信号復元方法 | |
Upadhyay et al. | A perceptually motivated stationary wavelet packet filter-bank utilizing improved spectral over-subtraction algorithm for enhancing speech in non-stationary environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5535198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |