JP4457221B2 - 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム - Google Patents
音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム Download PDFInfo
- Publication number
- JP4457221B2 JP4457221B2 JP2003307811A JP2003307811A JP4457221B2 JP 4457221 B2 JP4457221 B2 JP 4457221B2 JP 2003307811 A JP2003307811 A JP 2003307811A JP 2003307811 A JP2003307811 A JP 2003307811A JP 4457221 B2 JP4457221 B2 JP 4457221B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- separation
- processing
- frequency band
- amplitude value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
図1には、本発明の第1実施形態の音声認識システム10の全体構成が示されている。図2には、音声認識システム10の各第一次分離手段Fjにより形成される指向特性が例示されている。図3は、音声認識システム10の第二次分離手段22により行われる帯域選択の説明図である。
図4は、本発明の第2実施形態で行われる第二次分離処理、すなわち寄与割合を用いて最小二乗法により音源分離を行う処理の説明図である。
・・・・・・・(1)
・・・・・・・(2)
・・・・・・・(3)
・・・・・・・(4)
図5は、本発明の第3実施形態で行われる第二次分離処理で必要となるデータの取得方法の説明図である。図6は、第3実施形態で行われる第二次分離処理、すなわちフレーム長よりも長時間のデータに基づくノイズ推定およびノイズ除去を行う処理の説明図である。
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
先ず、音声認識実験を行うために音声データの収録を行った。発話者の代わりに音源として2個のスピーカを用いて、それぞれ角度θ(θ=45度、70度)だけ間隔を空けて配置した。この際、音源SA(認識対象音源)をマイクロフォンアレー装置21の正面(θ=0度)に固定し、音源SB(雑音音源)をθ=45度、70度の位置に移動させるとともに、2個のスピーカをマイクロフォンアレー装置21の中心位置から放射方向に100cm、150cmだけ離れた位置に配置し、合計4通りの条件で音声データの収録を行った。
音声データには、日本音響学会の新聞記事読み上げ音声コーパス(ASJ−JNAS)の男性話者(学習対象話者以外の男性話者)から20人計100文を選択した。
収録では、2個のスピーカから異なる文章を同時に再生し、マイクロフォンアレー装置21で受音した。この際、音声の音量、フレーム数ともに、目的音:妨害音=略1:1になるように調整し(SN比=0dB)、2話者の同時発話音声を作り出した。
(1)アレー形状:等間隔直線状
(2)素子配置:素子数8、素子間隔3cm
(3)素子:無指向性コンデンサマイク
(4)標本/量子化:32kHz、16ビット
1024サンプル(32ms)、ハニング窓
65536点TSPにて測定、インパルス長1024サンプル
(参考例2)単一話者の音声を遠隔マイクで受音した場合
(参考例3)複数話者の音声を遠隔マイクで受音した場合
(比較例2)複数話者の音声を遅延和アレー(BF)で処理した場合
(1)プリエンファシス:0.97
(2)フレーム長:25ms
(3)フレーム周期:10ms
(4)周波数分析:等メル間隔フィルタバンク
(5)特徴量(25次元):MFCC+ΔMFCC+Δpower
20 音源分離システム
21 マイクロフォンアレー装置
22 第二次分離手段
22A ノイズ推定手段
22B ノイズ除去手段
31 雑音付与手段
34 音声認識処理手段
35 分離音声用音響モデル記憶手段
50,60 サンプル用音声データ
51,61 変形音声データ
52 標準音響モデル
53,62 分離音声用音響モデル
SA,SB 音源
A,B 音声
Mi(M1〜MI) マイクロフォン
Fj(F1〜FJ) 第一次分離手段
Dj(D1〜DJ) 第一次分離手段を構成する指向特性制御手段
Wj(W1〜WJ) 第一次分離手段を構成する周波数解析手段
Claims (16)
- 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離方法であって、
マイクロフォンアレー装置を構成する複数のマイクロフォンにより前記混合音をそれぞれ入力し、
前記各マイクロフォンの出力信号を用いて複数の異なる指向特性制御を周波数帯域毎に行って周波数帯域毎に複数の指向特性を形成して前記各音を選択的に強調または抑圧するとともに周波数解析を行うことにより、前記各音に向けられた複数の第一次分離処理を行った後、
前記第一次分離処理よりも分離精度を高めるための第二次分離処理として、前記複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する前記各音の寄与割合を示す前記複数の第一次分離処理で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインとを用いて、前記第二次分離処理結果としての前記各音の振幅値を周波数帯域毎に算出することにより、前記目的音を分離する
ことを特徴とする音源分離方法。 - 請求項1に記載の音源分離方法において、
前記第二次分離処理を行う際には、
一方の辺を、前記複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値とし、他方の辺を、前記複数の第一次分離処理で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインと、求める前記第二次分離処理結果としての前記各音の振幅値とを乗じた値の総和に、誤差を加えて形成された等式を、音源の個数を超える個数だけ用意し、求める前記第二次分離処理結果としての前記各音の振幅値を、最小二乗法により、誤差の二乗和を最小化する解として算出するか、
または、一方の辺を、前記複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値とし、他方の辺を、前記複数の第一次分離処理で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインと、求める前記第二次分離処理結果としての前記各音の振幅値とを乗じた値の総和として形成された等式を、音源の個数と同数だけ用意し、求める前記第二次分離処理結果としての前記各音の振幅値を、音源の個数と同数の式による連立方程式を解いて算出する
ことを特徴とする音源分離方法。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離方法であって、
マイクロフォンアレー装置を構成する複数のマイクロフォンにより前記混合音をそれぞれ入力し、
前記各マイクロフォンの出力信号を用いて複数の異なる指向特性制御を周波数帯域毎に行って周波数帯域毎に複数の指向特性を形成して前記各音を選択的に強調または抑圧するとともに周波数解析を行うことにより、前記各音に向けられた1フレームのデータに基づく複数の第一次分離処理およびフレーム長よりも長時間のデータに基づく複数の第一次分離処理を行った後、
前記第一次分離処理よりも分離精度を高めるための第二次分離処理として、フレーム長よりも長時間のデータに基づく前記複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する前記各音の寄与割合を示す前記複数の第一次分離処理で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインとを用いて、前記各音のうち前記目的音以外の雑音についての振幅値を周波数帯域毎に算出するノイズ推定を行い、
その後、1フレームのデータに基づく前記目的音に向けられた前記第一次分離処理結果として得られた周波数特性の振幅値から、前記ノイズ推定により算出された前記雑音についての振幅値またはその比例値を減じる処理を周波数帯域毎に行うことにより、ノイズを除去して前記目的音を分離する
ことを特徴とする音源分離方法。 - 請求項3に記載の音源分離方法において、
前記ノイズ推定を行う際には、
一方の辺を、フレーム長よりも長時間のデータに基づく前記複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値とし、他方の辺を、前記複数の第一次分離処理で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインと、求める前記雑音を含む前記各音の振幅値とを乗じた値の総和に、誤差を加えて形成された等式を、音源の個数を超える個数だけ用意し、求める前記雑音を含む前記各音の振幅値を、最小二乗法により、誤差の二乗和を最小化する解として算出するか、
または、一方の辺を、フレーム長よりも長時間のデータに基づく前記複数の第一次分離処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値とし、他方の辺を、前記複数の第一次分離処理で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインと、求める前記雑音を含む前記各音の振幅値とを乗じた値の総和として形成された等式を、音源の個数と同数だけ用意し、求める前記雑音を含む前記各音の振幅値を、音源の個数と同数の式による連立方程式を解いて算出する
ことを特徴とする音源分離方法。 - 請求項1〜4のいずれかに記載の音源分離方法において、
前記第一次分離処理として行う周波数解析は、一般化調和解析であることを特徴とする音源分離方法。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、
サンプル用音声データについて請求項1〜5のいずれかに記載の音源分離方法による分離処理を行ってスペクトル変形を生じた変形音声データを得た後、この変形音声データと標準音響モデルとを用いて適応処理を行うことにより分離音声用音響モデルを生成しておき、
前記音源分離方法による分離処理を行った後、
分離された前記目的音について、予め用意された前記分離音声用音響モデルを用いて音声認識処理を行う
ことを特徴とする音声認識方法。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、
サンプル用音声データについて請求項1〜5のいずれかに記載の音源分離方法による分離処理を行ってスペクトル変形を生じた変形音声データを得た後、この変形音声データを用いて学習処理を行うことにより分離音声用音響モデルを生成しておき、
前記音源分離方法による分離処理を行った後、
分離された前記目的音について、予め用意された前記分離音声用音響モデルを用いて音声認識処理を行う
ことを特徴とする音声認識方法。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識方法であって、
請求項1〜5のいずれかに記載の音源分離方法による分離処理を行った後、
前記音声認識処理を行う前に、分離された前記目的音に対して雑音を付与することを特徴とする音声認識方法。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離システムであって、
前記混合音をそれぞれ入力する複数のマイクロフォンを並べて構成されたマイクロフォンアレー装置と、
このマイクロフォンアレー装置の前記各マイクロフォンの出力信号を用いてそれぞれ異なる指向特性制御を周波数帯域毎に行ってそれぞれ周波数帯域毎の指向特性を形成して前記各音を選択的に強調または抑圧するとともに周波数解析を行うことにより前記各音に向けられた第一次分離処理を行う複数の第一次分離手段と、
これらの複数の第一次分離手段による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する前記各音の寄与割合を示す前記複数の第一次分離手段で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインとを用いて、前記第一次分離処理よりも分離精度を高めるための第二次分離処理結果としての前記各音の振幅値を周波数帯域毎に算出することにより、前記目的音を分離する第二次分離手段と
を備えたことを特徴とする音源分離システム。 - 請求項9に記載の音源分離システムにおいて、
前記第二次分離処理手段は、
一方の辺を、前記複数の第一次分離手段による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値とし、他方の辺を、前記複数の第一次分離手段で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインと、求める前記第二次分離処理結果としての前記各音の振幅値とを乗じた値の総和に、誤差を加えて形成された等式を、音源の個数を超える個数だけ用意し、求める前記第二次分離処理結果としての前記各音の振幅値を、最小二乗法により、誤差の二乗和を最小化する解として算出するか、
または、一方の辺を、前記複数の第一次分離手段による処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値とし、他方の辺を、前記複数の第一次分離処理で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインと、求める前記第二次分離処理結果としての前記各音の振幅値とを乗じた値の総和として形成された等式を、音源の個数と同数だけ用意し、求める前記第二次分離処理結果としての前記各音の振幅値を、音源の個数と同数の式による連立方程式を解いて算出する構成とされている
ことを特徴とする音源分離システム。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離する音源分離システムであって、
前記混合音をそれぞれ入力する複数のマイクロフォンを並べて構成されたマイクロフォンアレー装置と、
このマイクロフォンアレー装置の前記各マイクロフォンの出力信号を用いてそれぞれ異なる指向特性制御を周波数帯域毎に行ってそれぞれ周波数帯域毎の指向特性を形成して前記各音を選択的に強調または抑圧するとともに周波数解析を行うことにより前記各音に向けられた1フレームのデータに基づく第一次分離処理およびフレーム長よりも長時間のデータに基づく第一次分離処理を行う複数の第一次分離手段と、
これらの複数の第一次分離手段による前記第一次分離処理よりも分離精度を高めるための第二次分離処理を行って前記目的音を分離する第二次分離手段とを備え、
この第二次分離手段は、
前記第一次分離手段によるフレーム長よりも長時間のデータに基づく処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値と、これらの各振幅値に対する前記各音の寄与割合を示す前記複数の第一次分離手段で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインとを用いて、前記各音のうち前記目的音以外の雑音についての振幅値を周波数帯域毎に算出するノイズ推定手段と、
前記目的音に向けられた前記第一次分離処理を行う前記第一次分離手段による1フレームのデータに基づく処理結果として得られた周波数特性の振幅値から、前記ノイズ推定手段により算出された前記雑音についての振幅値またはその比例値を減じる処理を周波数帯域毎に行うことによりノイズを除去するノイズ除去手段とを備えた
ことを特徴とする音源分離システム。 - 請求項11に記載の音源分離システムにおいて、
前記ノイズ推定手段は、
一方の辺を、前記第一次分離手段によるフレーム長よりも長時間のデータに基づく処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値とし、他方の辺を、前記複数の第一次分離手段で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインと、求める前記雑音を含む前記各音の振幅値とを乗じた値の総和に、誤差を加えて形成された等式を、音源の個数を超える個数だけ用意し、求める前記雑音を含む前記各音の振幅値を、最小二乗法により、誤差の二乗和を最小化する解として算出するか、
または、一方の辺を、前記第一次分離手段によるフレーム長よりも長時間のデータに基づく処理結果として得られた各周波数特性のうち同一の周波数帯域についての各振幅値とし、他方の辺を、前記複数の第一次分離手段で形成された前記同一の周波数帯域の各指向特性における各音の到来方向のゲインと、求める前記雑音を含む前記各音の振幅値とを乗じた値の総和として形成された等式を、音源の個数と同数だけ用意し、求める前記雑音を含む前記各音の振幅値を、音源の個数と同数の式による連立方程式を解いて算出する構成とされている
ことを特徴とする音源分離システム。 - 請求項9〜12のいずれかに記載の音源分離システムにおいて、
前記第一次分離手段による周波数解析は、一般化調和解析であることを特徴とする音源分離システム。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、
請求項9〜13のいずれかに記載の音源分離システムと、
サンプル用音声データについて前記音声分離システムによる分離処理を行って得られるスペクトル変形を生じた変形音声データと標準音響モデルとを用いて適応処理を行って得られた分離音声用音響モデルを記憶する分離音声用音響モデル記憶手段と、
前記音源分離システムにより分離された前記目的音について前記分離音声用音響モデル記憶手段に記憶されたデータを用いて音声認識処理を行う音声認識処理手段と
を備えたことを特徴とする音声認識システム。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、
請求項9〜13のいずれかに記載の音源分離システムと、
サンプル用音声データについて前記音源分離システムによる分離処理を行って得られるスペクトル変形を生じた変形音声データを用いて学習処理を行って得られた分離音声用音響モデルを記憶する分離音声用音響モデル記憶手段と、
前記音源分離システムにより分離された前記目的音について前記分離音声用音響モデル記憶手段に記憶されたデータを用いて音声認識処理を行う音声認識処理手段と
を備えたことを特徴とする音声認識システム。 - 複数の音源から発せられた各音が混合された混合音から少なくとも一つの目的音を分離して音声認識を行う音声認識システムであって、
請求項9〜13のいずれかに記載の音源分離システムと、
この音源分離システムにより分離された前記目的音に対して前記音声認識処理を行う前に雑音を付与する雑音付与手段と、
この雑音付与手段により前記雑音を付与された前記目的音について前記音声認識処理を行う音声認識処理手段と
を備えたことを特徴とする音声認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003307811A JP4457221B2 (ja) | 2003-08-29 | 2003-08-29 | 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003307811A JP4457221B2 (ja) | 2003-08-29 | 2003-08-29 | 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005077731A JP2005077731A (ja) | 2005-03-24 |
JP4457221B2 true JP4457221B2 (ja) | 2010-04-28 |
Family
ID=34410487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003307811A Expired - Fee Related JP4457221B2 (ja) | 2003-08-29 | 2003-08-29 | 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4457221B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4958303B2 (ja) * | 2005-05-17 | 2012-06-20 | ヤマハ株式会社 | 雑音抑圧方法およびその装置 |
US7472041B2 (en) * | 2005-08-26 | 2008-12-30 | Step Communications Corporation | Method and apparatus for accommodating device and/or signal mismatch in a sensor array |
JP4454591B2 (ja) * | 2006-02-09 | 2010-04-21 | 学校法人早稲田大学 | 雑音スペクトル推定方法、雑音抑圧方法及び雑音抑圧装置 |
JP4973655B2 (ja) | 2006-04-20 | 2012-07-11 | 日本電気株式会社 | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム |
JP5315991B2 (ja) | 2006-04-20 | 2013-10-16 | 日本電気株式会社 | アレイ制御装置、アレイ制御方法及びアレイ制御プログラム、アレイ処理装置、アレイ処理方法及びアレイ処理プログラム |
JP4859130B2 (ja) * | 2007-03-27 | 2012-01-25 | 株式会社メガチップス | 監視システム |
JP4519900B2 (ja) * | 2007-04-26 | 2010-08-04 | 株式会社神戸製鋼所 | 目的音抽出装置,目的音抽出プログラム,目的音抽出方法 |
JP2010011433A (ja) * | 2008-05-30 | 2010-01-14 | Nittobo Acoustic Engineering Co Ltd | 音源分離及び表示方法並びにシステム |
JP5287347B2 (ja) * | 2009-02-26 | 2013-09-11 | 日本電気株式会社 | アレイ型センサの校正システム、方法及びプログラム |
JP5672770B2 (ja) | 2010-05-19 | 2015-02-18 | 富士通株式会社 | マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム |
JP5702685B2 (ja) * | 2010-08-17 | 2015-04-15 | 本田技研工業株式会社 | 音源方向推定装置及び音源方向推定方法 |
WO2013145578A1 (ja) * | 2012-03-30 | 2013-10-03 | 日本電気株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
KR101736109B1 (ko) | 2015-08-20 | 2017-05-16 | 현대자동차주식회사 | 음성인식 장치, 이를 포함하는 차량, 및 그 제어방법 |
JP6844149B2 (ja) | 2016-08-24 | 2021-03-17 | 富士通株式会社 | 利得調整装置および利得調整プログラム |
JP6729186B2 (ja) | 2016-08-30 | 2020-07-22 | 富士通株式会社 | 音声処理プログラム、音声処理方法及び音声処理装置 |
JP6885212B2 (ja) * | 2017-06-20 | 2021-06-09 | コベルコ建機株式会社 | 建設機械遠隔操作システム |
CN113409813B (zh) * | 2021-05-26 | 2023-06-06 | 北京捷通华声科技股份有限公司 | 语音分离方法及装置 |
-
2003
- 2003-08-29 JP JP2003307811A patent/JP4457221B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005077731A (ja) | 2005-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3707716B1 (en) | Multi-channel speech separation | |
JP4457221B2 (ja) | 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム | |
EP1993320B1 (en) | Reverberation removal device, reverberation removal method, reverberation removal program, and recording medium | |
JP4455614B2 (ja) | 音響信号処理方法及び装置 | |
Shi et al. | On the importance of phase in human speech recognition | |
JP5738020B2 (ja) | 音声認識装置及び音声認識方法 | |
Chen et al. | Cracking the cocktail party problem by multi-beam deep attractor network | |
US8693287B2 (en) | Sound direction estimation apparatus and sound direction estimation method | |
JP2005249816A (ja) | 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム | |
Stern et al. | Signal processing for robust speech recognition | |
Sadjadi et al. | Blind spectral weighting for robust speaker identification under reverberation mismatch | |
JP2015019124A (ja) | 音声処理装置、音声処理方法、及び音声処理プログラム | |
Wisdom et al. | Enhancement and recognition of reverberant and noisy speech by extending its coherence | |
Wolfel et al. | Minimum variance distortionless response spectral estimation | |
JP5180928B2 (ja) | 音声認識装置及び音声認識装置のマスク生成方法 | |
Tu et al. | LSTM-based iterative mask estimation and post-processing for multi-channel speech enhancement | |
Takahashi et al. | Blind spatial subtraction array with independent component analysis for hands-free speech recognition | |
Di Persia et al. | Objective quality evaluation in blind source separation for speech recognition in a real room | |
Chen et al. | A dual-stream deep attractor network with multi-domain learning for speech dereverberation and separation | |
KR101658001B1 (ko) | 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법 | |
JP4594629B2 (ja) | 音源分離方法およびそのシステム | |
JP3999731B2 (ja) | 信号ソースを分離するための方法及び装置 | |
Liu et al. | Robust speech enhancement techniques for ASR in non-stationary noise and dynamic environments. | |
Haeb‐Umbach et al. | Reverberant speech recognition | |
CN111226278A (zh) | 低复杂度的浊音语音检测和基音估计 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100113 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |