JP5215512B2 - 発声内に含まれる会社名の自動認識方法 - Google Patents

発声内に含まれる会社名の自動認識方法 Download PDF

Info

Publication number
JP5215512B2
JP5215512B2 JP2001238410A JP2001238410A JP5215512B2 JP 5215512 B2 JP5215512 B2 JP 5215512B2 JP 2001238410 A JP2001238410 A JP 2001238410A JP 2001238410 A JP2001238410 A JP 2001238410A JP 5215512 B2 JP5215512 B2 JP 5215512B2
Authority
JP
Japan
Prior art keywords
company name
database
word
speech
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001238410A
Other languages
English (en)
Other versions
JP2002082691A (ja
Inventor
ローゼ ゲオルク
Original Assignee
ニュアンス コミュニケーションズ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニュアンス コミュニケーションズ,インコーポレイテッド filed Critical ニュアンス コミュニケーションズ,インコーポレイテッド
Publication of JP2002082691A publication Critical patent/JP2002082691A/ja
Application granted granted Critical
Publication of JP5215512B2 publication Critical patent/JP5215512B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99935Query augmenting and refining, e.g. inexact access

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、発声内の会社名の自動認識方法に係り、更には対話システムに係り、より詳細には、発声内の会社名を自動認識する処理ユニットを含む照会システムに関する。
電話照会システム等のような対話システム若しくは照会システムにおいて、会社名の認識が特定の問題を引き起こす。かかる問題は、ユーザーが会社名を発音するとき、通例的に、予め決められた一定形式若しくはあるシンタックスを付けるという事実に基づく。例えば、会社名の部分は、入力されるときにしばしば省略され、略語が形成され、頭文字が使用され、或いは会社名の部分が変更されたりする。
発明が解決しようとする課題
従って、本発明の目的は、発声内の会社名の自動認識中の誤り率を低減する事にある。
課題を解決するための手段
上記目的は、請求項1記載の方法、及び請求項7記載の対話システムによって達成される。
音声認識装置の認識結果は通常的に使用されるが、依然として高い誤り率であり、本発明による前処理がかけられる。かかる目的のため、各々アプリケーションに対して許容可能な全ての会社名が格納されたデータベースが使用される。データベースの情報を利用することによって、例えばばかげた音声認識結果が訂正されることができる。音声認識装置によって作成された多くの異なる認識結果の代替から最良な認識が選択されることもできる。
好ましくは、会社名の法律的に正しい形式がデータベース内に格納される。音声認識装置によって作成される単語列の仮説、若しくはN個の最良な単語列の仮説のリストの各々は、その後データベース登録と比較される。その後、データベース内で単語列の仮説全体に対する、若しくは単語列の仮説の部分に対する探索が実行される。探索結果を用いて、データベース内に格納された会社名が認識結果としてここで選択されるが、音声認識装置によって作成された単語列の仮説が考慮されている。音声認識装置が入力された各発声に対して1つだけ単語列の仮説を作成する場合、及びかかる単語列の仮説内に完全に表現された会社名を見つけることができない場合、単語列の仮説を少なくとも部分的に含む会社名が選択されるだろう。音声認識装置が、発声に対して種々の単語列の仮説を作成する場合、データベース登録との比較はそれに伴い拡張され、データベース内に格納された会社名を考慮する最善の単語列の仮説が決定される。
本発明の効果的な実施例は、従属形式の請求項に定義される。
本発明のこれらの局面及び他の局面は、後述する実施例を参照すると、明らかになり解明されるだろう。
図1に示される対話システム1、若しくは電話名簿システムは、公衆電話ネットワーク(PSTN)3に、インターフェース2を経由して、各々接続されて、ユーザーが、対話システム1に電話端末4を経由して、アクセスすることができるようになる。ユーザーの発声(speech utterance)が、音声をテキストに変換するのに使用される処理ユニット5に、電話端末4と、公衆電話ネットワーク3とインターフェース2とを経由して、適用される。処理ユニット5は、認識結果を作成し、認識結果は対話制御ユニット6に適用され、ユニット6は、各々のアプリケーションに応じて、ユーザーに送信されるのに適当な音声出力を決定する。出力されるべき音声信号は、音声にテキストを変換する処理ユニット7(例えば、音声合成ユニット)によって生成されるが、各々の音声出力は、処理ユニット7に対話制御ユニット6によって送信される制御信号に依存している。
処理ユニット5は、会社名が低い誤り率を以って認識されるように、特別に設計される。ここでなされる処理は、図2に示されるダイアグラムによって説明され、ダイアグラムは、処理ユニット5の実施態様を示す。電気信号として使用可能な発声であってインターフェースから来る発声は、ここで、HMM(隠れマルコフ・モデル)に基づく音声認識装置コア11による音声認識装置10によって評価されるが、音声モデル13と聴覚基準を有する聴覚モデル12とが使用される。音声認識装置10は、認識結果として単語列の仮説(word sequence hypothesis)(以下、単語配列仮説とも称する)を作成し、前記仮説は、会社名を表す一若しくはそれ以上の単語を含み、必要な場合は、会社名の認識のために評価されることができる更なる単語を含む。ブロック14は、データベース15の登録と音声認識装置10によって作成された単語配列仮説との比較をする比較ユニットとして特徴付けられる。データベース15内には、各々のアプリケーションに対して許容可能な会社名が格納されるが、より詳細には、法律上に正確なスペルが使用される。その時、アプリオリ(a priori)が規定された一定の単語であって、会社名の認識に略貢献しないか、或いは全く貢献しない一定の単語(冠詞、しばしば発生する充当語(filling words))を、データベース15内の正式名から、及び結果として音声認識装置10の単語配列仮説からも、取り除き、ブロック14の比較中に捨象するのが効果的である。データベース15も、単語配列仮説との比較の基礎として、省略されていない会社名に代わって、しかるべき場合に使用される各々省略された会社名を有する登録を含むことになる。このことは、かかる充当語の評価が発生しなくなり、ブロック14における比較が迅速化される点で有効である。ブロック14における比較中は、第1に探索が、音声認識装置10によって作成された単語配列仮説に完全に包含された登録であって、データベース15内に格納された登録に対してなされる。この場合、この会社名は、認識結果16として送出される。それ以外の場合、単語配列仮説に少なくとも部分的に包含される会社名を含むデータベース登録が、探索されるだろう。好ましくは、会社名の一定部分が、特有の特徴として定義され、ブロック14において比較される際に考慮される例えば各々の大きさの重みファクターを受け入れることになる。例えば、Philips・GmbHという会社名の場合、“Philips”の部分が、“GmbH”の部分よりも高い重みファクターを受け入れるだろう。“Deutsche Telekom”という会社名に対しては、“Telekom”の部分は、“Deutsche”よりも高い重みファクターを受け入れるだろう。会社名の認識に対して使用できる情報を運ばない単語として定義される、データベース15内に格納された単語は、単語配列仮説をそれぞれの部分ごとに減少させるのに使用される。かかる単語の例は、冠詞、前置詞、及び充当語等である。
ブロック14における比較に対して使用される探索エンジンは、好ましい実施例では、次のように機能する。すなわち、音声認識装置10によって作成された認識結果がデータベース15内の登録と正確に一致する場合、この登録は最も高いスコアを受け、部分的にのみ一致する他のデータベース登録はその時、代替として送出されてよい。好ましくは、音声認識装置10は、一の発声に対して、一の単語配列仮説だけでなく、複数のN個の最良な単語配列仮説(N>1)をも作成する。これらの仮説は、音声認識装置10によって決定される確率に従って格納され、比較ユニット14によって考慮される。より詳細には、一の発声に対して、N個の最良な単語配列仮説だけでなく、更には各単語配列仮説に対しての確率値も、比較ユニット14に適用されるが、音声認識装置10は、各々の確率PN best(会社名)を備えたN個の最良な認識結果を搬送するのに使用される。更に比較ユニット14も、データベース15の登録を評価することで、見出された各会社名に対して確率Pcomaring unit(会社名)を作成する。その後、最終探索結果の重み付けが、例えば全確率によって、作成されてよい。
即ち、P (会社名)=PN best(会社名)*Pcomparing unit(会社名)である。これは、音声認識と比較ユニットとが統計的に独立であるという単純化された仮定の下で、実行される。
ブロック19は、音声モデル13の音声モデル値の決定を特徴とする。訓練段階では、データベース15の登録が、かかる目的のため評価される。音声モデル13の構築に対する改善は、データベース15内に格納されアプリオリが適宜定義された会社名の異形(ブロック17)が(例えば、会社名の部分の適切な混合、“Big Blue”のような口語的表現等)、音声モデル13の訓練中に入力されることで達成される。音声モデル13の訓練に関する更なる改善は、実際の照会や対話から回復されたデータが訓練中に更に入力されることで得られる(これらのデータはブロック18によって特徴付けられる)。これらは、次の2つの方法によって入力できる。即ち、一方は、訓練教材に単純に追加する方法であり、他方は、ある会社に対する照会に含まれる頻度が、純粋なデータベース登録を構成する訓練教材に重みファクターとして入力される (ユニグラム(unigram)という意味で)方法である。更に、音声モデル13のオンラインによる適応が音声認識装置10に与えられ、適応によって、入力された会社名の認識に対する誤り率の低減がもたらされる。オンライン適応に対しては、対話システムの動作中に音声認識装置10によって回復された単語配列仮説が使用される。音声モデル適応に対するアルゴリズムは音声モデル訓練に対するアルゴリズムと同様に公知であり、これらのアルゴリズムは、ブロック19で結合される。
公衆電話ネットワークに接続された対話システムを示す図である。 図1に示すような対話システム内に使用される、発声内の会社名を自動認識するための処理ユニットを示す図である。
1 対話システム
2 インターフェース
3 公衆電話ネットワーク
4 電話端末
5 処理ユニット
6 対話制御ユニット
7 処理ユニット
10 音声認識装置
11 音声認識装置コア
12 聴覚モデル
13 音声モデル
14 比較ユニット
15 データベース
16 認識結果
17 ブロック
18 ブロック
19 ブロツク

Claims (7)

  1. 会社名及び会社名の異形を含む情報がデータベース内に登録情報として格納され、前記異形は、会社名の部分の混合、会社名の口語的表現、会社名の頭字語の少なくとも1つを含み、
    少なくとも1つの単語列が、一若しくはそれ以上の単語からなる発声から、音声認識装置によって作成され、
    上記単語列と、会社名を表現するデータベース内に格納された登録情報との比較がなされ、この際、冠詞及び充当語を含む所定の単語であって、会社名の認識に貢献しない所定の単語が除外され、
    会社名が上記比較結果に基づいて認識結果として選択される、発声内の会社名を自動認識する方法。
  2. 上記音声認識装置が、認識結果として選択される会社名の重み付けのため使用される確率値であって各単語列に対する確率値を作成することを特徴とする、請求項1記載の方法。
  3. 上記音声認識装置によって作成された単語列が、上記音声認識装置によって利用される音声モデルの適応化のために使用されることを特徴とする、請求項1記載の方法。
  4. 上記音声認識装置は、上記データベース内に格納された情報を音声モデルにより入力することによって訓練された音声モデルを利用することを特徴とする、請求項1記載の方法。
  5. 会社名及び会社名の異形を含む情報を登録情報として格納するデータベースであって、前記異形が、会社名の部分の混合、会社名の口語的表現、会社名の頭字語の少なくとも1つを含むデータベースと、
    発声内の会社名を自動認識する処理ユニット、を含む照会システムであって、
    前記処理ユニットは、
    一若しくはそれ以上の単語からなる発声から少なくとも1つの単語列を生成するのに用いられる音声認識装置と、
    上記単語列とデータベース内に格納された会社名を表現する登録情報とを比較し、比較の結果に基づいて会社名を認識結果として選択するために設置された比較ユニットであって、比較の際、会社名の認識に貢献しない所定の単語を除外する比較ユニットとを含む、照会システム。
  6. 発声内の会社名を自動認識する方法であって、
    会社名及び会社名の異形を含む情報をデータベース内に登録情報として格納するステップであって、前記異形が、会社名の部分の混合、会社名の口語的表現、会社名の頭字語の少なくとも1つを含む、ステップと、
    少なくとも1つの単語列を、一若しくはそれ以上の単語からなる発声から、音声認識装置によって作成するステップと、
    会社名を表現するデータベース内に格納された登録情報と、前記単語列を比較することによって、前記単語列内に少なくとも部分的に見つけられる前記データベース内の登録情報を見つけるステップであって、この際、冠詞及び充当語を含む所定の単語であって、会社名の認識に貢献しない所定の単語が除外される、比較ステップと、
    前記比較ステップ中に見つけられる各登録情報に対する第1確率値を生成するステップであって、前記第1確率値は、前記単語列内に見つけられる前記データベース内の登録情報のそれぞれにおける単語数に依存し、前記各単語は、重み係数を有し、特定の特徴のある単語は大きな重み係数を有し、前記重み係数は、前記各登録情報に対する前記第1確率値を求める際に考慮される、ステップと、
    上記比較結果及び前記各登録情報に対する前記第1確率値に基づいて会社名を認識結果として選択する選択ステップとを含む、方法。
  7. 前記音声認識装置は、前記少なくとも1つの単語列に対し第2確率値を生成し、前記選択ステップでの選択は、前記第1及び第2確率値に基づいて行われる、請求項6に記載の方法。
JP2001238410A 2000-08-08 2001-08-06 発声内に含まれる会社名の自動認識方法 Expired - Lifetime JP5215512B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10038517A DE10038517A1 (de) 2000-08-08 2000-08-08 Automatissche Erkennung von Unternehmensnamen in sprachlichen Äußerungen
DE10038517.6 2000-08-08

Publications (2)

Publication Number Publication Date
JP2002082691A JP2002082691A (ja) 2002-03-22
JP5215512B2 true JP5215512B2 (ja) 2013-06-19

Family

ID=7651613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001238410A Expired - Lifetime JP5215512B2 (ja) 2000-08-08 2001-08-06 発声内に含まれる会社名の自動認識方法

Country Status (4)

Country Link
US (1) US7103546B2 (ja)
EP (1) EP1179818B1 (ja)
JP (1) JP5215512B2 (ja)
DE (2) DE10038517A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090029179A1 (en) * 2007-05-14 2009-01-29 Fujifilm Corporation Two-liquid composition, hydrophilic composition and hydrophilic member
JP5598331B2 (ja) * 2008-11-28 2014-10-01 日本電気株式会社 言語モデル作成装置
US10747963B2 (en) * 2010-10-31 2020-08-18 Speech Morphing Systems, Inc. Speech morphing communication system
US11003857B2 (en) * 2018-08-22 2021-05-11 International Business Machines Corporation System for augmenting conversational system training with reductions

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0225897A (ja) * 1988-07-14 1990-01-29 Ricoh Co Ltd 音声ダイヤリング装置
US5212730A (en) * 1991-07-01 1993-05-18 Texas Instruments Incorporated Voice recognition of proper names using text-derived recognition models
US5390278A (en) * 1991-10-08 1995-02-14 Bell Canada Phoneme based speech recognition
EP0645757B1 (en) * 1993-09-23 2000-04-05 Xerox Corporation Semantic co-occurrence filtering for speech recognition and signal transcription applications
JPH08314496A (ja) * 1994-09-28 1996-11-29 Fuji Xerox Co Ltd 音声認識装置
JPH08242280A (ja) * 1995-03-02 1996-09-17 Canon Inc 音声メール装置
JPH08279841A (ja) * 1995-04-05 1996-10-22 Citizen Watch Co Ltd 携帯電子装置およびその駆動方法
US6567778B1 (en) * 1995-12-21 2003-05-20 Nuance Communications Natural language speech recognition using slot semantic confidence scores related to their word recognition confidence scores
DE69706927T2 (de) * 1996-03-11 2002-04-11 Koninkl Philips Electronics Nv Diktiergerät zum speichern von sprachsignalen
JPH09288494A (ja) * 1996-04-23 1997-11-04 Sony Corp 音声認識装置および音声認識方法
US5915001A (en) * 1996-11-14 1999-06-22 Vois Corporation System and method for providing and using universally accessible voice and speech data files
US6311182B1 (en) * 1997-11-17 2001-10-30 Genuity Inc. Voice activated web browser
US5839107A (en) * 1996-11-29 1998-11-17 Northern Telecom Limited Method and apparatus for automatically generating a speech recognition vocabulary from a white pages listing
JPH10254480A (ja) * 1997-03-13 1998-09-25 Nippon Telegr & Teleph Corp <Ntt> 音声認識方法
US6081774A (en) * 1997-08-22 2000-06-27 Novell, Inc. Natural language information retrieval system and method
US6026398A (en) * 1997-10-16 2000-02-15 Imarket, Incorporated System and methods for searching and matching databases
JPH11259088A (ja) * 1998-03-13 1999-09-24 Science Univ Of Tokyo 音声認識方法及び音声認識装置並びに記録媒体
US6285981B1 (en) * 1998-06-30 2001-09-04 Texas Instruments Incorporated Speed up speech recognition search using macro evaluator
US6694055B2 (en) * 1998-07-15 2004-02-17 Microsoft Corporation Proper name identification in chinese
US6374220B1 (en) * 1998-08-05 2002-04-16 Texas Instruments Incorporated N-best search for continuous speech recognition using viterbi pruning for non-output differentiation states
GB9821787D0 (en) * 1998-10-06 1998-12-02 Data Limited Apparatus for classifying or processing data
US6292778B1 (en) * 1998-10-30 2001-09-18 Lucent Technologies Inc. Task-independent utterance verification with subword-based minimum verification error training
US6446076B1 (en) * 1998-11-12 2002-09-03 Accenture Llp. Voice interactive web-based agent system responsive to a user location for prioritizing and formatting information
US6134548A (en) * 1998-11-19 2000-10-17 Ac Properties B.V. System, method and article of manufacture for advanced mobile bargain shopping
JP3660512B2 (ja) * 1998-12-07 2005-06-15 日本電信電話株式会社 音声認識方法、その装置及びプログラム記録媒体
US6202062B1 (en) * 1999-02-26 2001-03-13 Ac Properties B.V. System, method and article of manufacture for creating a filtered information summary based on multiple profiles of each single user
US6199099B1 (en) * 1999-03-05 2001-03-06 Ac Properties B.V. System, method and article of manufacture for a mobile communication network utilizing a distributed communication network
JP2001005488A (ja) * 1999-06-18 2001-01-12 Mitsubishi Electric Corp 音声対話システム
US6601026B2 (en) * 1999-09-17 2003-07-29 Discern Communications, Inc. Information retrieval by natural language querying
US6574595B1 (en) * 2000-07-11 2003-06-03 Lucent Technologies Inc. Method and apparatus for recognition-based barge-in detection in the context of subword-based automatic speech recognition
US6778979B2 (en) * 2001-08-13 2004-08-17 Xerox Corporation System for automatically generating queries

Also Published As

Publication number Publication date
US7103546B2 (en) 2006-09-05
EP1179818A3 (de) 2002-09-11
EP1179818A2 (de) 2002-02-13
JP2002082691A (ja) 2002-03-22
EP1179818B1 (de) 2008-05-28
DE10038517A1 (de) 2002-02-21
DE50113995D1 (de) 2008-07-10
US20020032565A1 (en) 2002-03-14

Similar Documents

Publication Publication Date Title
US6751595B2 (en) Multi-stage large vocabulary speech recognition system and method
US8392188B1 (en) Method and system for building a phonotactic model for domain independent speech recognition
EP1058236B1 (en) Speech recognition based database query system
EP2359364B1 (en) System and method for recognizing proper names in dialog systems
US7974843B2 (en) Operating method for an automated language recognizer intended for the speaker-independent language recognition of words in different languages and automated language recognizer
EP1162602B1 (en) Two pass speech recognition with active vocabulary restriction
US6018708A (en) Method and apparatus for performing speech recognition utilizing a supplementary lexicon of frequently used orthographies
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
US7925507B2 (en) Method and apparatus for recognizing large list of proper names in spoken dialog systems
JP3397372B2 (ja) 音声認識方法及び装置
US7228275B1 (en) Speech recognition system having multiple speech recognizers
US10170107B1 (en) Extendable label recognition of linguistic input
US7043429B2 (en) Speech recognition with plural confidence measures
US20030149566A1 (en) System and method for a spoken language interface to a large database of changing records
US20020087315A1 (en) Computer-implemented multi-scanning language method and system
JPH07210190A (ja) 音声認識方法及びシステム
JP2000122691A (ja) 綴り字読み式音声発話の自動認識方法
US20020082833A1 (en) Method for recognizing speech
JP5215512B2 (ja) 発声内に含まれる会社名の自動認識方法
US10832675B2 (en) Speech recognition system with interactive spelling function
CA2597826C (en) Method, software and device for uniquely identifying a desired contact in a contacts database based on a single utterance
JP2007264229A (ja) 対話装置
JP2000305590A (ja) 音声認識方法
KR101002135B1 (ko) 음절 음성인식기의 음성인식결과 전달 방법
KR100541759B1 (ko) 비대상 어휘 관리를 통한 음성인식 서비스 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110708

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120814

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130301

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5215512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term