JPWO2007013525A1 - 音源特性推定装置 - Google Patents
音源特性推定装置 Download PDFInfo
- Publication number
- JPWO2007013525A1 JPWO2007013525A1 JP2007526879A JP2007526879A JPWO2007013525A1 JP WO2007013525 A1 JPWO2007013525 A1 JP WO2007013525A1 JP 2007526879 A JP2007526879 A JP 2007526879A JP 2007526879 A JP2007526879 A JP 2007526879A JP WO2007013525 A1 JPWO2007013525 A1 JP WO2007013525A1
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- outputs
- microphones
- space
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 description 36
- 239000013598 vector Substances 0.000 description 27
- 239000011159 matrix material Substances 0.000 description 16
- 238000012546 transfer Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
Description
12 音源
14 マイクロフォンアレイ
21 マルチビームフォーマー
23 音源位置推定部
25 音源信号抽出部
27 音源指向特性推定部
29 音源種類推定部
33 音源追跡部
マルチビームフォーマー21は、マイクロフォンアレイ14の各マイクロフォン14−1〜14−Nで検出された信号Xn,P’(ω)(n=1, ・・・, N)にフィルタ関数を乗算して合成して、複数のビームフォーマー出力信号YP’m(ω)(m=1, ・・・, M)を出力する。マルチビームフォーマー21は、図3に示すようにM個のビームフォーマー21−1〜21−Mから構成される。
音源位置推定部23は、マルチビームフォーマー21の出力YP’m(ω)(m=1、・・・、M)に基づいて、音源12の位置ベクトルP’s=(xs, ys,θs)を推定する。音源位置推定部23は、マルチビームフォーマー21内の各ビームフォーマー21−1〜21−Mで算出された出力YP’m(ω)のうち最大値をとるビームフォーマーを選択する。そして、選択したビームフォーマーが対応する音源12の位置ベクトルP’mを、音源12の位置ベクトルP’s=(xs, ys,θs)として推定する。
音源信号抽出部25は、位置ベクトルP’sにある音源から発せられた音源信号YP’s(ω)を抽出する。
音源指向特性推定部27は、音源信号の指向特性DP(θr)(r=1,・・・, R)を推定する。音源指向特性推定部27は、音源位置推定部23で導出された音源12の位置ベクトルP’s=(xs, ys,θs) のうち位置座標(xs, ys)を固定して、方向θをθ1からθRまで変化させたときのビームフォーマー出力YP’m(ω)を求める。音源指向特性推定部27は、位置ベクトル (xs, ys, θ1)〜 (xs, ys, θR)に対応するビームフォーマーの出力を求め、これらの出力の組を音源信号の指向特性DP(θr)とする。ここで、Rは方向θの分解能を決めるパラメータである。
音源種類推定部29は、音源指向特性推定部27で得られた指向特性DP(θr)に基づいて、音源12の種類を推定する。指向特性DP(θr)は、一般に図4に示すような形状をとるが、人間の発声や機械の音声などの音源の種類に依存してピーク値などの特徴が異なるので、音源の種類に応じてグラフの形状に相違が生じる。さまざまな音源の種類に対応した指向特性のデータが指向特性データベース31に記録されている。音源種類推定部29は、指向特性データベース31を参照して、音源12の指向特性DP(θr)に最も近いデータを選択して、選択されたデータの種類を、音源12の種類として推定する。
音源追跡部33は、音源12が作業空間内を移動している場合に、音源12を追跡する。音源追跡部33は、音源位置推定部23で推定された音源12の位置ベクトルPs’を、1ステップ前に推定された音源12の位置ベクトルと比較する。両ベクトルの差が所定範囲内にあり、かつ音源種類推定部29で推定された音源12の種類が同一であるとき、これらの位置ベクトルをグループ化して記憶することにより、音源12の軌道が得られ、音源12の追跡が可能となる。
Claims (7)
- 空間内の任意の位置の音源より発せられた音源信号が複数のマイクロフォンに入力されるとき、前記マイクロフォン間に生じる前記音源信号の差異を補正する関数を用いて、前記マイクロフォンのそれぞれで検出された音響信号を重み付けして、前記複数のマイクロフォンについて合計した信号を出力するビームフォーマーを複数備え、
前記ビームフォーマーのそれぞれは、前記空間内の任意の1方向に対応する単位指向特性をもつ前記関数を含んでおり、前記空間の任意の位置、および前記単位指向特性に対応する方向ごとに用意されており、
前記マイクロフォンが前記音源信号を検出するとき、前記複数のビームフォーマーのうち最大値を出力するビームフォーマーに対応する前記空間内の位置および方向を、前記音源の位置および方向として推定する手段を有する、
音源特性推定装置。 - 空間内の任意の位置の音源より発せられた音源信号が複数のマイクロフォンに入力されるとき、前記マイクロフォン間に生じる前記音源信号の差異を補正する関数を用いて、前記マイクロフォンのそれぞれで検出された音響信号を重み付けして、前記複数のマイクロフォンについて合計した信号を出力するビームフォーマーを複数備え、
前記ビームフォーマーのそれぞれは、前記空間内の任意の1方向に対応する単位指向特性をもつ前記関数を含んでおり、前記空間の任意の位置、および前記単位指向特性に対応する方向ごとに用意されており、
前記マイクロフォンが前記音源信号を検出するとき、前記複数のビームフォーマーの出力を求め、前記空間の任意の位置に対応し前記単位指向特性の異なる複数のビームフォーマーの出力の合計値を求め、最大の合計値をとる位置を選択し、該選択された位置において最大値を出力するビームフォーマーに対応する方向を選択し、該選択された位置および方向を前記音源の位置および方向として推定する手段を有する、
音源特性推定装置。 - 前記推定された前記音源の位置に対応し前記単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を前記音源の指向特性として推定する手段をさらに有する、
請求項1または請求項2に記載の音源特性推定装置。 - 前記推定された指向特性を音源の種類に応じた複数の指向特性のデータを含むデータベースと参照することにより、最も近い指向特性を示すデータの種類を前記音源の種類として推定する手段をさらに有する、
請求項3に記載の音源特性推定装置。 - 前記推定された前記音源の位置および方向、ならびに前記推定された前記音源の種類を、1ステップ前の時間ステップにおいて推定された前記音源の位置、向き、および種類と比較して、前記位置および前記方向の偏差が所定の範囲内であり、かつ前記種類が同一であるときに、同一の音源としてグループ化する、音源追跡手段をさらに有する、請求項4に記載の音源特性推定装置。
- 前記推定された前記音源の位置に対応し前記単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の合計値を前記音源信号として抽出する手段をさらに有する、請求項1または請求項2に記載の音源特性推定装置。
- 前記空間内の任意の位置にある複数の音源より発せられた音響信号が前記複数のマイクロフォンに入力されるとき、
前記マイクロフォンが前記音源信号を検出するとき、前記複数のビームフォーマーの出力を求め、前記空間内の各位置ごとに前記単位指向特性の異なる複数のビームフォーマーに対応する方向について該出力を合計し、合計した出力のうち最大値を有する位置を選択し、該選択した位置において最大値を出力するビームフォーマーに対応する方向を選択し、該選択した位置および方向を第1の音源の位置および方向として推定し、
前記推定された前記第1の音源の位置に対応する前記単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を前記音源信号として抽出し、
前記抽出された前記第1の音源の位置より発せられた音源信号が複数のマイクロフォンに入力されるとき、前記抽出された音源信号から、前記マイクロフォン間に生じる音源信号の差異を表す関数を用いて前記複数のマイクロフォンに与える音響信号を単位指向性の異なる複数のビームフォーマーに対応する方向ごとに計算し、その複数の音響信号を前記複数のマイクロフォンのそれぞれで検出された音響信号より減算し、
前記減算された音響信号に対して前記複数のビームフォーマーの出力を求め、前記空間内の各位置ごとに前記単位指向特性の異なる複数のビームフォーマーに対応する方向について、該出力を合計し、合計した出力のうち最大値を有する位置を選択し、該選択した位置において最大値を出力するビームフォーマーに対応する方向を選択し、該選択した位置および方向を第2の音源の位置および方向として推定し、
前記推定された前記第2の音源の位置に対応する前記単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を前記第2の音源信号として抽出する手段を更に有する、
請求項1または請求項2に記載の音源特性推定装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US70277305P | 2005-07-26 | 2005-07-26 | |
US60/702,773 | 2005-07-26 | ||
PCT/JP2006/314790 WO2007013525A1 (ja) | 2005-07-26 | 2006-07-26 | 音源特性推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007013525A1 true JPWO2007013525A1 (ja) | 2009-02-12 |
JP4675381B2 JP4675381B2 (ja) | 2011-04-20 |
Family
ID=37683416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007526879A Expired - Fee Related JP4675381B2 (ja) | 2005-07-26 | 2006-07-26 | 音源特性推定装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8290178B2 (ja) |
JP (1) | JP4675381B2 (ja) |
WO (1) | WO2007013525A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016092767A (ja) * | 2014-11-11 | 2016-05-23 | 共栄エンジニアリング株式会社 | 音響処理装置及び音響処理プログラム |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101415026B1 (ko) * | 2007-11-19 | 2014-07-04 | 삼성전자주식회사 | 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치 |
WO2009130388A1 (en) * | 2008-04-25 | 2009-10-29 | Nokia Corporation | Calibrating multiple microphones |
US8244528B2 (en) | 2008-04-25 | 2012-08-14 | Nokia Corporation | Method and apparatus for voice activity determination |
US8275136B2 (en) | 2008-04-25 | 2012-09-25 | Nokia Corporation | Electronic device speech enhancement |
TWI441525B (zh) * | 2009-11-03 | 2014-06-11 | Ind Tech Res Inst | 室內收音系統及室內收音方法 |
US9502022B2 (en) * | 2010-09-02 | 2016-11-22 | Spatial Digital Systems, Inc. | Apparatus and method of generating quiet zone by cancellation-through-injection techniques |
JP5654980B2 (ja) * | 2011-01-28 | 2015-01-14 | 本田技研工業株式会社 | 音源位置推定装置、音源位置推定方法、及び音源位置推定プログラム |
WO2012105385A1 (ja) * | 2011-02-01 | 2012-08-09 | 日本電気株式会社 | 有音区間分類装置、有音区間分類方法、及び有音区間分類プログラム |
US9973848B2 (en) * | 2011-06-21 | 2018-05-15 | Amazon Technologies, Inc. | Signal-enhancing beamforming in an augmented reality environment |
EP2600637A1 (en) * | 2011-12-02 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for microphone positioning based on a spatial power density |
US20130329908A1 (en) * | 2012-06-08 | 2013-12-12 | Apple Inc. | Adjusting audio beamforming settings based on system state |
JP5841986B2 (ja) | 2013-09-26 | 2016-01-13 | 本田技研工業株式会社 | 音声処理装置、音声処理方法、及び音声処理プログラム |
AU2015271665B2 (en) | 2014-06-05 | 2020-09-10 | Interdev Technologies | Systems and methods of interpreting speech data |
US9769552B2 (en) * | 2014-08-19 | 2017-09-19 | Apple Inc. | Method and apparatus for estimating talker distance |
JP6592940B2 (ja) * | 2015-04-07 | 2019-10-23 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN105246004A (zh) * | 2015-10-27 | 2016-01-13 | 中国科学院声学研究所 | 一种传声器阵列系统 |
US10820097B2 (en) | 2016-09-29 | 2020-10-27 | Dolby Laboratories Licensing Corporation | Method, systems and apparatus for determining audio representation(s) of one or more audio sources |
CN110140360B (zh) * | 2017-01-03 | 2021-07-16 | 皇家飞利浦有限公司 | 使用波束形成的音频捕获的方法和装置 |
US10694285B2 (en) | 2018-06-25 | 2020-06-23 | Biamp Systems, LLC | Microphone array with automated adaptive beam tracking |
US10210882B1 (en) * | 2018-06-25 | 2019-02-19 | Biamp Systems, LLC | Microphone array with automated adaptive beam tracking |
US10433086B1 (en) | 2018-06-25 | 2019-10-01 | Biamp Systems, LLC | Microphone array with automated adaptive beam tracking |
DE102020103264B4 (de) | 2020-02-10 | 2022-04-07 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Automatisierte Quellidentifizierung aus Mikrofonarraydaten |
US11380302B2 (en) * | 2020-10-22 | 2022-07-05 | Google Llc | Multi channel voice activity detection |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1141687A (ja) * | 1997-07-18 | 1999-02-12 | Toshiba Corp | 信号処理装置および信号処理方法 |
JP2000004495A (ja) * | 1998-06-16 | 2000-01-07 | Oki Electric Ind Co Ltd | 複数マイク自由配置による複数話者位置推定方法 |
JP2001245382A (ja) * | 2000-01-13 | 2001-09-07 | Nokia Mobile Phones Ltd | スピーカをトラッキングする方法およびシステム |
JP2001313992A (ja) * | 2000-04-28 | 2001-11-09 | Nippon Telegr & Teleph Corp <Ntt> | 収音装置および収音方法 |
JP2002091469A (ja) * | 2000-09-19 | 2002-03-27 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 音声認識装置 |
JP2003270034A (ja) * | 2002-03-15 | 2003-09-25 | Nippon Telegr & Teleph Corp <Ntt> | 音情報解析方法、装置、プログラム、および記録媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3441900A (en) * | 1967-07-18 | 1969-04-29 | Control Data Corp | Signal detection,identification,and communication system providing good noise discrimination |
US4485484A (en) * | 1982-10-28 | 1984-11-27 | At&T Bell Laboratories | Directable microphone system |
US4741038A (en) * | 1986-09-26 | 1988-04-26 | American Telephone And Telegraph Company, At&T Bell Laboratories | Sound location arrangement |
US5581620A (en) * | 1994-04-21 | 1996-12-03 | Brown University Research Foundation | Methods and apparatus for adaptive beamforming |
US5699437A (en) * | 1995-08-29 | 1997-12-16 | United Technologies Corporation | Active noise control system using phased-array sensors |
US6219645B1 (en) * | 1999-12-02 | 2001-04-17 | Lucent Technologies, Inc. | Enhanced automatic speech recognition using multiple directional microphones |
GB2364121B (en) * | 2000-06-30 | 2004-11-24 | Mitel Corp | Method and apparatus for locating a talker |
US20030161485A1 (en) * | 2002-02-27 | 2003-08-28 | Shure Incorporated | Multiple beam automatic mixing microphone array processing via speech detection |
US6912178B2 (en) * | 2002-04-15 | 2005-06-28 | Polycom, Inc. | System and method for computing a location of an acoustic source |
DE10217822C1 (de) * | 2002-04-17 | 2003-09-25 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Blickrichtungserkennung einer Person mittels wenigstens eines richtungsselektiven Mikrofons |
EP2587481B1 (en) * | 2002-10-23 | 2020-01-08 | Nuance Communications, Inc. | Controlling an apparatus based on speech |
US6999593B2 (en) * | 2003-05-28 | 2006-02-14 | Microsoft Corporation | System and process for robust sound source localization |
KR100586893B1 (ko) * | 2004-06-28 | 2006-06-08 | 삼성전자주식회사 | 시변 잡음 환경에서의 화자 위치 추정 시스템 및 방법 |
US7783060B2 (en) * | 2005-05-10 | 2010-08-24 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Deconvolution methods and systems for the mapping of acoustic sources from phased microphone arrays |
US7415372B2 (en) * | 2005-08-26 | 2008-08-19 | Step Communications Corporation | Method and apparatus for improving noise discrimination in multiple sensor pairs |
-
2006
- 2006-07-26 WO PCT/JP2006/314790 patent/WO2007013525A1/ja active Application Filing
- 2006-07-26 JP JP2007526879A patent/JP4675381B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-25 US US12/010,553 patent/US8290178B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1141687A (ja) * | 1997-07-18 | 1999-02-12 | Toshiba Corp | 信号処理装置および信号処理方法 |
JP2000004495A (ja) * | 1998-06-16 | 2000-01-07 | Oki Electric Ind Co Ltd | 複数マイク自由配置による複数話者位置推定方法 |
JP2001245382A (ja) * | 2000-01-13 | 2001-09-07 | Nokia Mobile Phones Ltd | スピーカをトラッキングする方法およびシステム |
JP2001313992A (ja) * | 2000-04-28 | 2001-11-09 | Nippon Telegr & Teleph Corp <Ntt> | 収音装置および収音方法 |
JP2002091469A (ja) * | 2000-09-19 | 2002-03-27 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 音声認識装置 |
JP2003270034A (ja) * | 2002-03-15 | 2003-09-25 | Nippon Telegr & Teleph Corp <Ntt> | 音情報解析方法、装置、プログラム、および記録媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016092767A (ja) * | 2014-11-11 | 2016-05-23 | 共栄エンジニアリング株式会社 | 音響処理装置及び音響処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20080199024A1 (en) | 2008-08-21 |
WO2007013525A1 (ja) | 2007-02-01 |
US8290178B2 (en) | 2012-10-16 |
JP4675381B2 (ja) | 2011-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4675381B2 (ja) | 音源特性推定装置 | |
Brandstein et al. | A practical methodology for speech source localization with microphone arrays | |
JP5814476B2 (ja) | 空間パワー密度に基づくマイクロフォン位置決め装置および方法 | |
CN104106267B (zh) | 在增强现实环境中的信号增强波束成形 | |
EP1856948B1 (en) | Position-independent microphone system | |
CN103308889B (zh) | 复杂环境下被动声源二维doa估计方法 | |
KR20160026652A (ko) | 사운드 신호 처리 방법 및 장치 | |
CN103181190A (zh) | 用于远场多源追踪和分离的系统、方法、设备和计算机可读媒体 | |
CN103583054A (zh) | 经由根据抵达方向估算提取几何信息的声音获取 | |
Youssef et al. | A binaural sound source localization method using auditive cues and vision | |
Michaud et al. | 3D localization of a sound source using mobile microphone arrays referenced by SLAM | |
Liu et al. | Acoustic positioning using multiple microphone arrays | |
KR20090128221A (ko) | 음원 위치 추정 방법 및 그 방법에 따른 시스템 | |
EP2716074B1 (en) | Method for self-calibrating a set of acoustic sensors, and corresponding system | |
Sasaki et al. | Probabilistic 3D sound source mapping using moving microphone array | |
Svaizer et al. | Environment aware estimation of the orientation of acoustic sources using a line array | |
Lee et al. | Estimation of multiple sound source directions using artificial robot ears | |
Kossyk et al. | Binaural bearing only tracking of stationary sound sources in reverberant environment | |
CN111157952B (zh) | 一种基于移动麦克风阵列的房间边界估计方法 | |
KR101483271B1 (ko) | 음원 위치 추정에 있어 대표 점 선정 방법 및 그 방법을이용한 음원 위치 추정 시스템 | |
KR101862658B1 (ko) | 보간법을 이용하여 3차원 어레이를 2차원 어레이로 근사화하는 장치 및 방법 | |
US20240107255A1 (en) | Frequency domain multiplexing of spatial audio for multiple listener sweet spots | |
US20240114308A1 (en) | Frequency domain multiplexing of spatial audio for multiple listener sweet spots | |
Song et al. | Room Geometry Reconstruction Based on Speech and Acoustic Image Methodology | |
KR102180229B1 (ko) | 음원 위치 추정장치 및 이를 포함하는 로봇 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4675381 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |