JP5913340B2 - マルチビーム音響システム - Google Patents
マルチビーム音響システム Download PDFInfo
- Publication number
- JP5913340B2 JP5913340B2 JP2013536536A JP2013536536A JP5913340B2 JP 5913340 B2 JP5913340 B2 JP 5913340B2 JP 2013536536 A JP2013536536 A JP 2013536536A JP 2013536536 A JP2013536536 A JP 2013536536A JP 5913340 B2 JP5913340 B2 JP 5913340B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- adaptive
- input signal
- beam forming
- microphone array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 claims description 62
- 239000011159 matrix material Substances 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 33
- 230000000903 blocking effect Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 16
- 230000005236 sound signal Effects 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001246312 Otis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/403—Linear arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
Description
はi番目の制限行列、
は望む方向の方向ベクトル(steering vector)、
は加重値ベクトル行列、
は目的とする衝撃応答を示す。
はi番目の制限行列、
は望む方向の方向ベクトル、
は加重値ベクトル行列、
は目的とする衝撃応答を示す。
は入力信号ベクトルを示し、
は加重値ベクトルを示す。
から
までの値で構成される
ベクトルを示すことができる。図3で示すように広帯域ビーム形成装置は同等のFIR(Finite Impulse Response)フィルターにモデリングすることができるし、この時、所望の周波数応答を有する衝撃応答を設計することができる。したがって、衝撃応答Fはビーム形成装置の周波数特性を決定する設計因子(Design Parameter)とすることができる。制限行列(Constraint Matrix)Cは
の大きさを持つ行列であり、数学式4のように定義されることができる。
は長さが
である列ベクトルであり、
は長さが
の方向ベクトル(Steering Vector)を示す。したがって、
はj番目のグループに方向ベクトルを持ち、残りの要素は0を持つ
長さの列ベクトルになる。
は望む方向の方向ベクトルを示し、この時、衝撃応答fはその方向の望む応答を示す。また広帯域ビーム形成装置は後述するところのように一般化サイドローブキャンセラ(GSC)として実装され、この時、一般化サイドローブキャンセラ(GSC)のブロッキング行列(Blocking Matrix)
はCのnull spaceに定義され、その大きさは
として定義することができる。また、可変加重値ベクトル(Adaptive Weight Vector)の大きさは
に設計される。
とする。そして
行列Uと
を次の数式のように定義することができる。
であり、したがって、数学式9は次のように整理されることができる。
入力信号
から適応型ノイズ信号
を取り除くことで固定ビーム形成部から出力された入力信号から目的信号を出力するための除去手段114を含む一般化サイドローブキャンセラ(GSC)と、を備えることができる。図4に図示された適応ビーム形成装置110は従来のGSCと類似の構造を持つように構成されてもよく、このようなGSCの機能及び構造に関しては広く公知されているので詳細な説明は略する。しかし、本発明の実施例による適応ビーム形成装置110は固定ビーム形成部111が少なくとも二つの方向に入力信号が向くように設定されることを特徴とする。
は適応ビーム形成装置110の設計値であらかじめプリセットすることができる。この時、固定ビーム形成部111によって取得される固定加重値ベクトルは、本発明の実施例によって形成される複数のビームに対応されるように設定することができる。ブロッキング行列
を取得するための制約条件(C)は数学式13による制約条件を持つように設計されることができる。
のように定義されるが、本発明の実施例による複数のビーム(メインローブ)を持つ適応ビーム形成装置110の場合、
(Nはメインローブの個数)の形態を持つのである。したがって、衝撃応答ベクトルの大きさも
から
に変化し、それぞれのビームにあたる衝撃応答が互いに垂直に重畳(cascade)されるように設計されうる。
に設計される。これによって、加重値ベクトルの変換行列(Transform Matrix)に対応するブロッキング行列
の大きさも
に設計されうる。これは制限行列Cを特異値分解(Singular Value Decomposition)することで設計され、特異値の大きい順に、設計されたサイズによる分解された行列を取ることで設計されうる。
を下記のように定義することができる。
は事前エラー(Priori Error)を示し、
はゲインベクトルを示し、λは忘却ベクトル(Forgetting Vector)を示す。
は図4のブロッキング行列部112の出力信号に対応されることができるし、数学式20を利用して、数学式13の制約条件を持つ本発明の実施例による適応ビーム形成装置110の可変加重値ベクトルを再帰的に取得することができる。
Claims (8)
- 車両内の所定の位置に設置され、複数のマイクロホンを有し、入力信号を受信するマイクアレイと、
前記マイクアレイのビームを形成する適応ビーム形成装置とを備え、
前記適応ビーム形成装置は、
互いに異なる方向に形成される前記マイクアレイの少なくとも二つのビームを同時に形成し、前記少なくとも二つのビームの各々は、互いに異なる方向からの所望の音声信号のうちの一つを受信するためのビームであり、
前記適応ビーム形成装置は、
前記マイクアレイから入力される前記入力信号を望む方向に向ける固定ビーム形成部と、
前記入力信号を受信して、受信された前記入力信号からノイズ基準信号を取得するためのブロッキング行列部と、
前記ブロッキング行列部から出力される前記ノイズ基準信号から適応型ノイズ信号を取得するための可変ビーム形成部と、
前記固定ビーム形成部から出力された信号で前記適応型ノイズ信号を取り除いた目的信号を出力するための除去手段を含む一般化サイドローブキャンセラと、を備え、
前記固定ビーム形成部は少なくとも二つの方向に前記入力信号を向けることを特徴とし、
前記一般化サイドローブキャンセラが、
前記入力信号を少なくとも二つの方向に向けるために、次の数学式のような制約条件を持つように設計されることで、前記適応ビーム形成装置は、互いに異なる方向であるマイクアレイの少なくとも二つのビームを同時に形成することを特徴とするマルチビーム音響システム。
ここで、
はi番目の制限行列、
は望む方向の方向ベクトル、
は加重値ベクトル行列、
は目的とする衝撃応答を示す。 - 前記可変ビーム形成部は、
自己調律RLSアルゴリズムを利用して前記適応型ノイズ信号を取得することを特徴とする請求項1に記載のマルチビーム音響システム。 - 前記マイクアレイは、
前記車両に設置されている座席の中で任意の二つの座席に対応するように所定の位置に設置され、
前記所定の位置は、
前記任意の二つの座席の間の特定位置で前記任意の二つの座席方向と垂直方向の線上に位置し、
前記少なくとも二つのビームのうち少なくとも一つは前記垂直方向の線を基準にある方向に位置する座席の位置に向かう方向に形成されて、
前記少なくとも二つのビームのうち少なくとも他の一つは前記垂直方向の線を基準に、他の方向に位置する座席の位置に向かう方向に形成されることを特徴とする請求項1に記載のマルチビーム音響システム。 - 前記マルチビーム音響システムは、
前記車両のオーディオビデオナビゲーション装置から出力された音響信号に基づくエコー信号が前記入力信号に含まれている場合、受信された前記入力信号から前記エコー信号を取り除くためのエコー除去装置をさらに備えることを特徴とする請求項1に記載のマルチビーム音響システム。 - 前記エコー除去装置は、
前記オーディオビデオナビゲーション装置から前記音響信号に対する情報を受信して保存し、保存された前記音響信号に対する情報に基づいて前記エコー信号を推定し、推定された前記エコー信号を前記入力信号から取り除くことを特徴とする請求項4に記載のマルチビーム音響システム。 - 前記マルチビーム音響システムは、
前記車両に設置されている座席の中で前記任意の二つの座席を除いた少なくとも一つの座席に対応されるように設置される第2マイクアレイをさらに備えることを特徴とする請求項3に記載のマルチビーム音響システム。 - 前記マルチビーム音響システムは、
第2適応ビーム形成装置をさらに備え、
前記適応ビーム形成装置または前記第2適応ビーム形成装置は、前記第2マイクアレイの少なくとも一つのビームを形成することを特徴とする請求項6に記載のマルチビーム音響システム。 - マイクアレイから入力される入力信号を望む方向に向ける固定ビーム形成部と、
前記入力信号を受信し、受信された前記入力信号からノイズ基準信号を取得するためのブロッキング行列部と、
前記ブロッキング行列部から出力される前記ノイズ基準信号から適応型ノイズ信号を取得するための可変ビーム形成部と、
前記固定ビーム形成部から出力された信号で前記適応型ノイズ信号を取り除いた目的信号を出力するための除去手段を含む一般化サイドローブキャンセラと、を備えることを特徴とし、
前記固定ビーム形成部は少なくとも二つの方向に同時に前記入力信号を向け、少なくとも二つの方向のビームの各々は、互いに異なる方向からの所望の音声信号のうちの一つを受信するためのビームであり、
前記一般化サイドローブキャンセラが、
少なくとも二つの方向に前記入力信号を向けるために、次の数学式のような制約条件を持つように設計されることで、前記適応ビーム形成装置は、互いに異なる方向であるマイクアレイの少なくとも二つのビームを同時に形成することを特徴とするマルチビーム音響システム。
ここで、
はi番目の制限行列、
は望む方向の方向ベクトル、
は加重値ベクトル行列、
は目的とする衝撃応答を示す。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100106625A KR101103794B1 (ko) | 2010-10-29 | 2010-10-29 | 멀티 빔 음향시스템 |
KR10-2010-0106625 | 2010-10-29 | ||
PCT/KR2011/008213 WO2012057589A2 (ko) | 2010-10-29 | 2011-10-31 | 멀티 빔 음향시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013546247A JP2013546247A (ja) | 2013-12-26 |
JP5913340B2 true JP5913340B2 (ja) | 2016-04-27 |
Family
ID=45613971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013536536A Active JP5913340B2 (ja) | 2010-10-29 | 2011-10-31 | マルチビーム音響システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9521484B2 (ja) |
JP (1) | JP5913340B2 (ja) |
KR (1) | KR101103794B1 (ja) |
WO (1) | WO2012057589A2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015220400A1 (de) | 2014-12-11 | 2016-06-16 | Hyundai Motor Company | Sprachempfangssystem im fahrzeug mittels audio-beamforming und verfahren zum steuern desselben |
EP3231191A4 (en) * | 2014-12-12 | 2018-07-25 | Nuance Communications, Inc. | System and method for generating a self-steering beamformer |
WO2016123746A1 (en) * | 2015-02-03 | 2016-08-11 | SZ DJI Technology Co., Ltd. | System and method for detecting aerial vehicle position and velocity via sound |
JP6611474B2 (ja) * | 2015-06-01 | 2019-11-27 | クラリオン株式会社 | 集音装置、及び集音装置の制御方法 |
DE102015016380B4 (de) * | 2015-12-16 | 2023-10-05 | e.solutions GmbH | Technik zum Unterdrücken akustischer Störsignale |
KR102515996B1 (ko) | 2016-08-26 | 2023-03-31 | 삼성전자주식회사 | 음성 인식을 위한 전자 장치 및 그 제어 방법 |
CN106548783B (zh) * | 2016-12-09 | 2020-07-14 | 西安Tcl软件开发有限公司 | 语音增强方法、装置及智能音箱、智能电视 |
WO2018167921A1 (ja) * | 2017-03-16 | 2018-09-20 | 三菱電機株式会社 | 信号処理装置 |
WO2019030898A1 (ja) | 2017-08-10 | 2019-02-14 | 三菱電機株式会社 | 雑音除去装置および雑音除去方法 |
CN108132457A (zh) * | 2017-12-22 | 2018-06-08 | 景晖 | 一种确定位置的语音来波方向估计方法和装置 |
CN108401208A (zh) * | 2018-03-30 | 2018-08-14 | 斑马网络技术有限公司 | 带有收音场结构的车辆和车辆收音系统及其收音方法 |
JP7334406B2 (ja) * | 2018-10-24 | 2023-08-29 | ヤマハ株式会社 | アレイマイクロフォンおよび収音方法 |
CN112216299B (zh) * | 2019-07-12 | 2024-02-20 | 大众问问(北京)信息科技有限公司 | 双麦克风阵列波束形成方法、装置及设备 |
CN110751946A (zh) * | 2019-11-01 | 2020-02-04 | 达闼科技成都有限公司 | 机器人及其语音识别装置和方法 |
CN114731467A (zh) * | 2019-11-12 | 2022-07-08 | 阿里巴巴集团控股有限公司 | 线性差分定向麦克风阵列 |
EP3843421A1 (en) * | 2019-12-23 | 2021-06-30 | Bombardier Transportation GmbH | Vehicle onboard condition monitoring |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3677143B2 (ja) * | 1997-07-31 | 2005-07-27 | 株式会社東芝 | 音声処理方法および装置 |
JP3302300B2 (ja) * | 1997-07-18 | 2002-07-15 | 株式会社東芝 | 信号処理装置および信号処理方法 |
JP3484112B2 (ja) * | 1999-09-27 | 2004-01-06 | 株式会社東芝 | 雑音成分抑圧処理装置および雑音成分抑圧処理方法 |
US6748086B1 (en) * | 2000-10-19 | 2004-06-08 | Lear Corporation | Cabin communication system without acoustic echo cancellation |
KR100493172B1 (ko) | 2003-03-06 | 2005-06-02 | 삼성전자주식회사 | 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치 |
JP2005084253A (ja) * | 2003-09-05 | 2005-03-31 | Matsushita Electric Ind Co Ltd | 音響処理装置、方法、プログラム及び記憶媒体 |
ATE413769T1 (de) * | 2004-09-03 | 2008-11-15 | Harman Becker Automotive Sys | Sprachsignalverarbeitung für die gemeinsame adaptive reduktion von störgeräuschen und von akustischen echos |
WO2007018293A1 (ja) * | 2005-08-11 | 2007-02-15 | Asahi Kasei Kabushiki Kaisha | 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム |
EP1850640B1 (en) * | 2006-04-25 | 2009-06-17 | Harman/Becker Automotive Systems GmbH | Vehicle communication system |
KR100856246B1 (ko) | 2007-02-07 | 2008-09-03 | 삼성전자주식회사 | 실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법 |
KR100873000B1 (ko) * | 2007-03-28 | 2008-12-09 | 경상대학교산학협력단 | 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법 |
JP4867798B2 (ja) | 2007-06-05 | 2012-02-01 | ヤマハ株式会社 | 音声検出装置、音声会議システムおよび遠隔会議システム |
JP2010091912A (ja) * | 2008-10-10 | 2010-04-22 | Equos Research Co Ltd | 音声強調システム |
-
2010
- 2010-10-29 KR KR1020100106625A patent/KR101103794B1/ko active IP Right Grant
-
2011
- 2011-10-31 US US13/881,847 patent/US9521484B2/en active Active
- 2011-10-31 JP JP2013536536A patent/JP5913340B2/ja active Active
- 2011-10-31 WO PCT/KR2011/008213 patent/WO2012057589A2/ko active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2012057589A3 (ko) | 2012-06-21 |
JP2013546247A (ja) | 2013-12-26 |
US20130216064A1 (en) | 2013-08-22 |
US9521484B2 (en) | 2016-12-13 |
KR101103794B1 (ko) | 2012-01-06 |
WO2012057589A2 (ko) | 2012-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5913340B2 (ja) | マルチビーム音響システム | |
US9338547B2 (en) | Method for denoising an acoustic signal for a multi-microphone audio device operating in a noisy environment | |
US9002027B2 (en) | Space-time noise reduction system for use in a vehicle and method of forming same | |
US8112272B2 (en) | Sound source separation device, speech recognition device, mobile telephone, sound source separation method, and program | |
EP1718103B1 (en) | Compensation of reverberation and feedback | |
EP1879180B1 (en) | Reduction of background noise in hands-free systems | |
US10090000B1 (en) | Efficient echo cancellation using transfer function estimation | |
CN102855880B (zh) | 用于多话筒音频设备的去噪方法 | |
CN105592384B (zh) | 用于控制车内噪声的系统和方法 | |
WO2016103709A1 (ja) | 音声処理装置 | |
US20170150256A1 (en) | Audio enhancement | |
JP2007235943A (ja) | 音声信号取得のためのハンドフリーシステム | |
WO2016103710A1 (ja) | 音声処理装置 | |
US20160119712A1 (en) | System and method for in cabin communication | |
EP1538867B1 (en) | Handsfree system for use in a vehicle | |
US20200380947A1 (en) | Active noise control with feedback compensation | |
CN112673420B (zh) | 静音区产生 | |
CN110998715A (zh) | 主动道路噪声控制 | |
JP2010091912A (ja) | 音声強調システム | |
US20220189450A1 (en) | Audio processing system and audio processing device | |
JP2010085733A (ja) | 音声強調システム | |
WO2018016044A1 (ja) | 雑音除去装置、エコーキャンセリング装置、異音検出装置および雑音除去方法 | |
JP5383008B2 (ja) | 音声明瞭度改善システム及び音声明瞭度改善方法 | |
US20200327887A1 (en) | Dnn based processor for speech recognition and detection | |
CN116194988A (zh) | 用于汽车免提通信的自适应降噪系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140728 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141024 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20141031 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141126 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20141203 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150128 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151228 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5913340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |