JP4899177B2 - 自己発展型音声言語パターン認識システム、そのシステムで用いられる自己組織化ニューラルネットワーク構造の構築方法及びその構築プログラム - Google Patents
自己発展型音声言語パターン認識システム、そのシステムで用いられる自己組織化ニューラルネットワーク構造の構築方法及びその構築プログラム Download PDFInfo
- Publication number
- JP4899177B2 JP4899177B2 JP2005328805A JP2005328805A JP4899177B2 JP 4899177 B2 JP4899177 B2 JP 4899177B2 JP 2005328805 A JP2005328805 A JP 2005328805A JP 2005328805 A JP2005328805 A JP 2005328805A JP 4899177 B2 JP4899177 B2 JP 4899177B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- self
- neurons
- level
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
Ferguson, J. (ed.): "Hidden Markov Models for Speech", Princeton, NJ:IDA, 1980. 鹿野、伊藤、河原、武田、山本(編)、音声認識システム、IT-Text、情報処理学会、2001. Viterbi, A. J.: "Error bounds for convolutional codes and an asymptotically optimal decoding algorithm", IEEE Trans. Information Theory, IT-13: 260-269, Apr. 1967. Forney, G. D.: "The Viterbi algorithm", Proc. IEEE, 61: 268-278, Mar. 1973.
図1に示す自己発展型音声言語パターン認識システム10において、特徴抽出部11から出力された特徴データ(入力データx)は、外部制御部13による制御の下で、パターン認識部12へ入力され、この入力された特徴データ(入力データx)に基づいて、パターン認識部12にて、音声言語データのパターン認識の処理を実現するための自己組織化ニューラルネットワーク構造の構築又は学習が行われる。なお、このような構築又は学習の方式としては、例えば次のような3種類の方式を挙げることができる。以下、それぞれの方式の概要を説明する。
第1の方式は、合成(synthesis)方式又はボトムアップ方式と呼ばれるものであり、例えば、音素等の比較的小さな(時間的に短い)単位の音声言語データを認識する音素レベルネットワーク階層から、比較的大きな単位の音声言語データを認識するネットワーク階層(単語レベルネットワーク階層→文節レベルネットワーク階層→文レベルネットワーク階層)を順に構築するものである。この場合、特徴抽出部11から出力されてパターン認識部12へ入力される入力データxは、外部制御部13による制御の下で、音声言語データの最小単位(例えば音素単位)から最大単位(例えば文単位)まで所定の期間ごとにこの順番で変えられる。そして、外部制御部13による制御の下で、パターン認識部12にて、まず、音素レベルでパターン認識可能なネットワークが最初に構築され、次いで、単語レベル、文節レベル及び文レベルのネットワークがこの順番で順に構築される。これにより、図2に示すような階層構造を備えた自己組織化ニューラルネットワーク構造が構築される。なお、以上のような方式以外にも、後述するような並列型学習方式を用いて、自己組織化ニューラルネットワーク構造を構築することも可能である。
第2の方式は、分析(analysis)又はトップダウン方式と呼ばれるものであり、ソシュール(Saussure)の差異(difference)構造の概念(文献『丸山圭三郎、ソシュールの思想、岩波書店、1981.』参照)に基づいて、文等の比較的大きな(時間的に長い)単位の音声言語データを認識する文レベルネットワーク階層から、比較的小さな単位の音声言語データを認識するネットワーク階層(文節レベルネットワーク階層→単語レベルネットワーク階層→音素レベルネットワーク階層)を順に構築するものである。この場合、特徴抽出部11から出力されてパターン認識部12へ入力される入力データxは、外部制御部13による制御の下で、予め決められた音声言語データの最大単位(例えば文単位)で与えられる。そして、外部制御部13による制御の下で、パターン認識部12にて、まず、文レベルでパターン認識可能なネットワークが最初に構築され、次いで、上記合成方式とは逆に、ソシュールの差異構造に従うような形で、文節レベル、単語レベル及び音素レベルのネットワークがこの順番で順に構築される。これにより、図3に示すような階層構造を備えた自己組織化ニューラルネットワーク構造が構築される。
第3の方式は、分析合成(analysis-systhesis)方式又はボトムアップ・トップダウン混在方式と呼ばれるものである。この場合、特徴抽出部11から出力されてパターン認識部12へ入力される入力データxは、初期の段階では、外部制御部13による制御の下で、音声言語データの任意の単位(例えば音素単位、単語単位、文節単位及び文単位)で与えられ、まず、図4に示すような自己組織化ニューラルネットワーク構造が構築される。次いで、その後の段階で、このようにしてパターン認識部12内に構築された自己組織化ニューラルネットワーク構造に含まれる複数のニューロンを前提として、上述したような合成方式及び/又は分析方式に従って、複数のニューロンが相互に段階的に関係付けられることにより、図2及び/又は図3に示すような階層構造を備えた自己組織化ニューラルネットワーク構造が構築(再編成)される。なお、自己組織化ニューラルネットワーク構造で中間的に構築される図4の構成は、ネットワーク階層(音素レベルネットワーク階層、単語レベルネットワーク階層、文節レベルネットワーク階層及び文レベルネットワーク階層)の区別のない構成であり、全てのニューロンに対して入力データxが直接入力されている。
次に、上述した自己組織化ニューラルネットワーク構造の第1の構築方法として、上述した合成方式に従って、図2に示すような階層構造を備えた自己組織化ニューラルネットワーク構造を構築するための具体的な手順について説明する。
(1) 前段である(n−1)段目のネットワーク階層において、もし、ある期間p1内に、複数のニューロンが発火した場合には、次の処理を行う。
(1-i) もし、前段である(n−1)段目のネットワーク階層に含まれる複数のニューロンの発火に伴って、後段のネットワーク階層であるn段目のネットワーク階層に含まれるニューロンKn i(n=2,3,...)のいずれかが発火した場合には、
ニューロンKn iとニューロンKn−1 jとの間を結び付けるウェイト係数wijを次の規則に従って更新する。
wij=wij+Δ1・wij(wijが存在している場合)
=wij,max (wij>wij,maxの場合)
=winit (wijが存在していない場合)
(1-ii) さもなければ、新たなニューロンをn段目のネットワーク階層に追加する。なお、この新たなニューロンは、そのテンプレートデータとして、(n−1)段目のネットワーク階層に含まれる前記複数のニューロン(期間p1内に発火したニューロン)の発火の時間的推移を表す行列データを持つものとする。
wij=wij−Δ2・wij(wij>winitの場合)
wijを消去 (そうでない場合)
11 特徴抽出部
12 パターン認識部
13 外部制御部
Claims (16)
- 音声言語データのパターン認識を行う自己発展型音声言語パターン認識システムにおいて、
音声言語データの特徴を抽出して特徴データを出力する特徴抽出部と、
前記特徴抽出部から出力された特徴データに基づいてパターン認識の処理を行うパターン認識部と、
外部制御部と、を備え、
前記パターン認識部は、核関数に従って入力データとテンプレートデータとの類似度に応じた発火の強さを出力する複数のニューロンを含む自己組織化ニューラルネットワーク構造を有し、この自己組織化ニューラルネットワーク構造に含まれる前記各ニューロンのうち互いに関係のあるニューロン同士は、音声言語データの階層的な認識レベルに対応して段階的に関係付けられるよう、ウェイト係数を介して相互に結合されており、
前記外部制御部は、
外部から入力された入力データに基づいて、当該入力データに含まれる1番目の認識レベルに対応する大きさs 1 の単位の音声言語データを核関数のテンプレートデータとして持つニューロンを、新たなニューロンとして1段目のネットワーク階層内に追加する第1ステップと、
前記第1ステップが終了した後、n=2〜N(Nは2以上の整数)のそれぞれに関して順番に次の(a)及び(b)の処理、すなわち、
(a) 外部から入力された入力データに基づいて、当該入力データに含まれるn番目の認識レベルに対応する大きさs n の単位の音声言語データを核関数のテンプレートデータとして持つニューロンを、新たなニューロンとしてn段目のネットワーク階層に追加する処理、及び
(b) 上記(a)の処理により追加されたニューロンを、入力データに起因して連鎖的に発火した(n−1)段目のネットワーク階層に含まれるニューロンに対してウェイト係数を介して相互に結合する処理、
を繰り返す第2ステップとを
行うことにより前記自己組織化ニューラルネットワーク構造を生成する
ことを特徴とする自己発展型音声言語パターン認識システム。 - 音声言語データのパターン認識を行う自己発展型音声言語パターン認識システムにおいて、
音声言語データの特徴を抽出して特徴データを出力する特徴抽出部と、
前記特徴抽出部から出力された特徴データに基づいてパターン認識の処理を行うパターン認識部と、
外部制御部と、を備え、
前記パターン認識部は、核関数に従って入力データとテンプレートデータとの類似度に応じた発火の強さを出力する複数のニューロンを含む自己組織化ニューラルネットワーク構造を有し、この自己組織化ニューラルネットワーク構造に含まれる前記各ニューロンのうち互いに関係のあるニューロン同士は、音声言語データの階層的な認識レベルに対応して段階的に関係付けられるよう、ウェイト係数を介して相互に結合されており、
前記外部制御部は、
外部から入力された入力データに基づいて、当該入力データに含まれる1番目の認識レベルに対応する大きさs 1 の単位の音声言語データを核関数のテンプレートデータとして持つニューロンを、新たなニューロンとして1段目のネットワーク階層内に追加する第1ステップと、
前記第1ステップと並行して、又は、前記第1ステップが終了した後、n番目の認識レベルに対応する大きさs n の単位の音声言語データを認識するためのn(n=2〜N(Nは2以上の整数))段目のネットワーク階層に関して次の(a)の処理、すなわち、
(a) 外部から入力された入力データに基づいて、ある所定の期間p 1 内に、n段目
のネットワーク階層の前段である(n−1)段目のネットワーク階層に含まれる複数のニューロンが発火した場合、(i)当該(n−1)段目のネットワーク階層に含まれる複数のニューロンの発火に伴って、n段目のネットワーク階層に含まれるニューロンが発火すれば、当該各ニューロン間を結び付けるウェイト係数の形成及び既存のウェイト係数の学習を行う一方で、(ii)当該(n−1)段目のネットワーク階層に含まれる複数のニューロンに伴って、n段目のネットワーク階層に含まれるニューロンが発火しなければ、当該(n−1)段目のネットワーク階層に含まれる前記複数のニューロンの発火の時間的推移を表す行列データを核関数のテンプレートデータとして持つニューロンを、新たなニューロンとしてn段目のネットワーク階層に追加する処理、
を行う第2ステップとを
行うことにより、自己組織化ニューラルネットワーク構造を生成する、
ことを特徴とする自己組織化ニューラルネットワーク構造の構築方法。 - 前記自己組織化ニューラルネットワーク構造に含まれる前記各ニューロンは、音声言語データの階層的な認識レベルのそれぞれに対応する複数のネットワーク階層のいずれかに含まれ、前記各ネットワーク階層に含まれる前記各ニューロンは、当該各ネットワーク階層に隣接するネットワーク階層に含まれるニューロンとの間でのみ相互に結合されていることを特徴とする、請求項1または2に記載のシステム。
- 前記自己組織化ニューラルネットワーク構造のうち入力データである特徴データが直接入力されるニューロンを含む入力側ネットワーク階層は、比較的小さな単位の音声言語データを認識する認識レベルに対応し、前記入力側ネットワーク階層から離れたネットワーク階層は、比較的大きな単位の音声言語データを認識する認識レベルに対応していることを特徴とする、請求項3に記載のシステム。
- 前記自己組織化ニューラルネットワーク構造のうち入力データである特徴データが直接入力されるニューロンを含む入力側ネットワーク階層は、比較的大きな単位の音声言語データを認識する認識レベルに対応し、前記入力側ネットワーク階層から離れたネットワーク階層は、比較的小さな単位の音声言語データを認識する認識レベルに対応していることを特徴とする、請求項3に記載のシステム。
- 前記階層的な認識レベルは、音素レベル、単語レベル、文節レベル及び文レベルのうちの少なくとも2つ以上のレベルを含むことを特徴とする、請求項1乃至5のいずれか一項に記載のシステム。
- 前記パターン認識部の前記自己組織化ニューラルネットワーク構造に含まれる前記各ニューロンで用いられる前記核関数は、ラジアル基底関数を含むことを特徴とする、請求項1乃至6のいずれか一項に記載のシステム。
- 前記パターン認識部の前記自己組織化ニューラルネットワーク構造に含まれる前記各ニューロンで用いられる前記テンプレートデータは、前記階層的な認識レベルに含まれる全てのネットワーク階層において、当該各ネットワーク階層で認識される単位の音声言語データに対応する特徴データを保持することを特徴とする、請求項1乃至7のいずれか一項に記載のシステム。
- 前記パターン認識部の前記自己組織化ニューラルネットワーク構造に含まれる前記各ニューロンで用いられる前記テンプレートデータは、前記階層的な認識レベルに含まれる1段目のネットワーク階層においては、当該1段目のネットワーク階層で認識される単位の音声言語データに対応する特徴データを保持し、n(n=2〜N(Nは2以上の整数))段目のネットワーク階層においては、前段である(n−1)段目のネットワーク階層に含まれるニューロンのうち前記各n段目のネットワーク階層に含まれる各ニューロンに関係付けられるニューロンの発火の時間的推移を表す行列データを保持することを特徴とする、請求項1乃至7のいずれか一項に記載のシステム。
- 核関数に従って入力データとテンプレートデータとの類似度に応じた発火の強さを出力する複数のニューロンを含む自己組織化ニューラルネットワーク構造であって、前記各ニューロンのうち互いに関係のあるニューロン同士が、音声言語データの階層的な認識レベルに対応して段階的に関係付けられるよう、ウェイト係数を介して相互に結合された自己組織化ニューラルネットワーク構造を構築する、自己組織化ニューラルネットワーク構造の構築方法において、
外部から入力された入力データに基づいて、当該入力データに含まれる1番目の認識レベルに対応する大きさs1の単位の音声言語データを核関数のテンプレートデータとして持つニューロンを、新たなニューロンとして1段目のネットワーク階層内に追加する第1ステップと、
前記第1ステップが終了した後、n=2〜N(Nは2以上の整数)のそれぞれに関して順番に次の(a)及び(b)の処理、すなわち、
(a) 外部から入力された入力データに基づいて、当該入力データに含まれるn番目の認識レベルに対応する大きさsnの単位の音声言語データを核関数のテンプレートデータとして持つニューロンを、新たなニューロンとしてn段目のネットワーク階層に追加する処理、及び
(b) 上記(a)の処理により追加されたニューロンを、入力データに起因して連鎖的に発火した(n−1)段目のネットワーク階層に含まれるニューロンに対してウェイト係数を介して相互に結合する処理、
を繰り返す第2ステップとを含む、自己組織化ニューラルネットワーク構造の構築方法。 - 核関数に従って入力データとテンプレートデータとの類似度に応じた発火の強さを出力する複数のニューロンを含む自己組織化ニューラルネットワーク構造であって、前記各ニューロンのうち互いに関係のあるニューロン同士が、音声言語データの階層的な認識レベルに対応して段階的に関係付けられるよう、ウェイト係数を介して相互に結合された自己組織化ニューラルネットワーク構造を構築する、自己組織化ニューラルネットワーク構造の構築方法において、
外部から入力された入力データに基づいて、当該入力データに含まれる1番目の認識レベルに対応する大きさs1の単位の音声言語データを核関数のテンプレートデータとして持つニューロンを、新たなニューロンとして1段目のネットワーク階層内に追加する第1ステップと、
前記第1ステップと並行して、又は、前記第1ステップが終了した後、n番目の認識レベルに対応する大きさsnの単位の音声言語データを認識するためのn(n=2〜N(Nは2以上の整数))段目のネットワーク階層に関して次の(a)の処理、すなわち、
(a) 外部から入力された入力データに基づいて、ある所定の期間p1内に、n段目
のネットワーク階層の前段である(n−1)段目のネットワーク階層に含まれる複数のニューロンが発火した場合、(i)当該(n−1)段目のネットワーク階層に含まれる複数のニューロンの発火に伴って、n段目のネットワーク階層に含まれるニューロンが発火すれば、当該各ニューロン間を結び付けるウェイト係数の形成及び既存のウェイト係数の学習を行う一方で、(ii)当該(n−1)段目のネットワーク階層に含まれる複数のニューロンに伴って、n段目のネットワーク階層に含まれるニューロンが発火しなければ、当該(n−1)段目のネットワーク階層に含まれる前記複数のニューロンの発火の時間的推移を表す行列データを核関数のテンプレートデータとして持つニューロンを、新たなニューロンとしてn段目のネットワーク階層に追加する処理、
を行う第2ステップとを含む、自己組織化ニューラルネットワーク構造の構築方法。 - 前記第2ステップの前記(a)の処理において、外部から入力された入力データに基づいて、ある所定の期間p1内に、n段目のネットワーク階層の前段である(n−1)段目のネットワーク階層に含まれる複数のニューロンが発火したにもかかわらず、ある所定の期間p2内に、n段目のネットワーク階層に含まれる何れのニューロンも発火しない場合、当該各ニューロン間を結び付ける既存のウェイト係数の学習又は消去を行うことを特徴とする、請求項11に記載の方法。
- 前記n番目の認識レベルに対応する大きさsnは、nの値が小さい程小さくなることを特徴とする、請求項10乃至12のいずれか一項に記載の方法。
- 前記n番目の認識レベルに対応する大きさsnは、nの値が小さい程大きくなることを特徴とする、請求項10乃至12のいずれか一項に記載の方法。
- 前記階層的な認識レベルは、音素レベル、単語レベル、文節レベル及び文レベルのうちの少なくとも2つ以上のレベルを含むことを特徴とする、請求項10乃至14のいずれか一項に記載の方法。
- 請求項10乃至15のいずれか一項に記載の方法をコンピュータに対して実行させることを特徴とする、自己組織化ニューラルネットワーク構造の構築プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005328805A JP4899177B2 (ja) | 2004-11-22 | 2005-11-14 | 自己発展型音声言語パターン認識システム、そのシステムで用いられる自己組織化ニューラルネットワーク構造の構築方法及びその構築プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004337426 | 2004-11-22 | ||
JP2004337426 | 2004-11-22 | ||
JP2005328805A JP4899177B2 (ja) | 2004-11-22 | 2005-11-14 | 自己発展型音声言語パターン認識システム、そのシステムで用いられる自己組織化ニューラルネットワーク構造の構築方法及びその構築プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006171714A JP2006171714A (ja) | 2006-06-29 |
JP4899177B2 true JP4899177B2 (ja) | 2012-03-21 |
Family
ID=36672477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005328805A Expired - Fee Related JP4899177B2 (ja) | 2004-11-22 | 2005-11-14 | 自己発展型音声言語パターン認識システム、そのシステムで用いられる自己組織化ニューラルネットワーク構造の構築方法及びその構築プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4899177B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104347066A (zh) * | 2013-08-09 | 2015-02-11 | 盛乐信息技术(上海)有限公司 | 基于深层神经网络的婴儿啼哭声识别方法及系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101912165B1 (ko) | 2011-12-09 | 2018-10-29 | 삼성전자주식회사 | 스파이킹 뉴런 기반 작업 기억 장치 |
CN110349564B (zh) * | 2019-07-22 | 2021-09-24 | 思必驰科技股份有限公司 | 一种跨语言语音识别方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01277899A (ja) * | 1988-04-30 | 1989-11-08 | Oki Electric Ind Co Ltd | 音声帯域内信号検出方式 |
JPH07104952B2 (ja) * | 1989-12-28 | 1995-11-13 | シャープ株式会社 | パターンマッチング装置 |
JPH10283336A (ja) * | 1997-04-03 | 1998-10-23 | Nkk Corp | 波形学習装置および波形認識装置 |
JP4364493B2 (ja) * | 2002-10-02 | 2009-11-18 | 独立行政法人理化学研究所 | 信号抽出システム、信号抽出方法および信号抽出プログラム |
JP2004252923A (ja) * | 2003-02-19 | 2004-09-09 | Tsutomu Miyoshi | 自己組織化ネットワークの高速学習方法 |
-
2005
- 2005-11-14 JP JP2005328805A patent/JP4899177B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104347066A (zh) * | 2013-08-09 | 2015-02-11 | 盛乐信息技术(上海)有限公司 | 基于深层神经网络的婴儿啼哭声识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2006171714A (ja) | 2006-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6802005B2 (ja) | 音声認識装置、音声認識方法及び音声認識システム | |
CN105679317B (zh) | 用于训练语言模型并识别语音的方法和设备 | |
CN111837178A (zh) | 语音处理系统和处理语音信号的方法 | |
JP7109302B2 (ja) | 文章生成モデルのアップデート方法及び文章生成装置 | |
CN106652999A (zh) | 语音识别系统以及方法 | |
CN111145729B (zh) | 语音识别模型训练方法、系统、移动终端及存储介质 | |
CN107408111A (zh) | 端对端语音识别 | |
CN111081230B (zh) | 语音识别方法和设备 | |
CN111145718A (zh) | 一种基于自注意力机制的中文普通话字音转换方法 | |
KR102361616B1 (ko) | 문맥 정보를 고려한 개체명 인식 방법 및 장치 | |
JP2019159654A (ja) | 時系列情報の学習システム、方法およびニューラルネットワークモデル | |
CN106910497A (zh) | 一种中文词语发音预测方法及装置 | |
CN111354333B (zh) | 一种基于自注意力的汉语韵律层级预测方法及系统 | |
JP2018159917A (ja) | 音響モデルをトレーニングする方法及び装置 | |
Taniguchi et al. | Double articulation analyzer with deep sparse autoencoder for unsupervised word discovery from speech signals | |
Bird et al. | Optimisation of phonetic aware speech recognition through multi-objective evolutionary algorithms | |
JP4899177B2 (ja) | 自己発展型音声言語パターン認識システム、そのシステムで用いられる自己組織化ニューラルネットワーク構造の構築方法及びその構築プログラム | |
Zhao et al. | Tibetan Multi-Dialect Speech and Dialect Identity Recognition. | |
JP7170594B2 (ja) | 同一事象に対して時系列に発生した異なるメディアデータを統合した学習モデルを構築するプログラム、装置及び方法 | |
KR20200120595A (ko) | 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치 | |
Zhao et al. | An open speech resource for Tibetan multi-dialect and multitask recognition | |
CN115796187A (zh) | 一种基于对话结构图约束的开放域对话方法 | |
CN115374784A (zh) | 一种多模态信息选择性融合的中文命名实体识别方法 | |
CN102298927A (zh) | 可调整内存使用空间的语音辨识系统与方法 | |
Ramadhelza et al. | Indonesian Phonemicization Model Using N-Gram-Based Bidirectional Long Short-Term Memory |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110121 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110127 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111122 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111215 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |