JP5044783B2 - 自動回答装置および方法 - Google Patents
自動回答装置および方法 Download PDFInfo
- Publication number
- JP5044783B2 JP5044783B2 JP2007012882A JP2007012882A JP5044783B2 JP 5044783 B2 JP5044783 B2 JP 5044783B2 JP 2007012882 A JP2007012882 A JP 2007012882A JP 2007012882 A JP2007012882 A JP 2007012882A JP 5044783 B2 JP5044783 B2 JP 5044783B2
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- dependency
- word
- input
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
そこで、適切な対話を行うための音声認識方法が、特開2003−015688号公報に開示されている。
ここで、音声による自然言語対話を実現する際に生じる音声認識誤り及び文章解析誤りについて、以下に説示する。
キーボードを使った文字入力では、誤字・脱字、仮名漢字変換誤り等の文字を打ち間違えたり文法的な間違いがあったときには、ユーザが入力前にある程度訂正して入力することができるが、音声入力では思いつくままに発話したものがそのまま認識され、入力されてしまうので、認識誤りや文法誤りなどを含む可能性が高くなる。音声認識に誤りがあると、次の文章解析でも誤った入力に基づいた解析で誤りが拡大してしまい、問題解決に大きな障害となる。以下に音声認識誤りの例を示す。
発話文:電源が入りません。
認識結果:電源がはよません。
音声認識の誤り方には以下のようなものがある。
文章解析としては、形態素解析、構文解析、意味解析、文脈解析、談話解析などがあげられる。現在、形態素解析、構文解析はかなりの技術が確立しており、日本語の構文解析としては係り受け解析がよく使われている。形態素解析器ではJUMAN、ChaSen、MeCab、係り受け解析器ではKNP、CaboChaなどが広く利用されている。これらはかなりの精度で処理するが、誤りも少なくない。質問応答といったような意味のある対話をしようとすると、形態素解析、構文解析に続いて、意味解析なども行わなければならない。形態素解析で誤ると構文解析に影響し、構文解析で誤ると意味解析に影響するため、これらの精度がかなり高いとは言え、現実に起こる誤りを無視することはできない
図10にCaboChaでの解析誤りの例を示す。この例では「メールの」は「最初の」に係っているが、文の意味を考えると「メールの」は「設定法を」に係るはずである。係り受け解析の誤りは、一般に文が「連体修飾語句」、「挿入句」「従属節」、「並列構造」の要素を持つとき起こりやすい。
話し手が聞き手に対してどのような発話で情報を伝達すべきかという原則として、一般的に以下に示すGriceの公準が知られている。(1)量の公準として、過不足のない情報を伝える。(2)質の公準として、根拠のある真実や真であると思うことを告げる。(3)関係の公準として、話し手と聞き手のお互いの関連した事柄を話す。(4)様態の公準として、 明瞭に簡潔に順序立てて話す。これを誤り訂正の対話での発話に当てはめ、次のよう考える。(1a)量の公準に対応して、音声認識や文章解析の誤りを訂正するために必要であると判断する情報を過不足なく伝える。(2a)質の公準に対応して、入力文について、音声認識や文章解析の誤りではない、または誤りであると判断できた部分を告げる。(3a)関係の公準に対応して、入力文に対する音声認識、文章解析の誤りについて話す。(4a)様態の公準に対応して、入力文のどの部分に対して、誤りと判断しているかがはっきりと伝わるように話す。
これにより、音声認識等による入力における対話文中の不自然な単語の存在を簡易かつ正確に発見、訂正することができる。また、音声認識の誤りの判定において、統計的な処理がなされるため、話者との対話からの文例数が増加するに従って、共起度の和の数値の信頼性も増加し、入力誤りの訂正の精度も向上する。
また、音声認識等の入力の誤りに対して、それらを訂正する対話を自然な形の対話の一部に組み込み、音声認識等の入力の誤りを訂正しながら対話を適切に進行させることができる。
さらに、対話文中の不自然な単語の係り受けの存在を簡易かつ正確に発見、訂正することができる。文章解析の誤りの判定において、統計的な処理がなされるため、話者との対話からの文例数が増加するに従って、係り受け度の数値の信頼性も増加し、文章解析誤りの訂正の精度も向上する。
さらにまた、文章解析の誤りに対して、それらを訂正する対話を自然な形の対話の一部に組み込み、入力の誤りを訂正しながら対話を適切に進行させることができる。
これにより、入力文のどこで認識誤りが起こったかがはっきり分かる。また、入力の誤りに対して、それらを訂正する対話を自然な形の対話の一部に組み込み、入力の誤りを訂正しながら対話を適切に進行させることができる。
ここで、本発明は多くの異なる形態で実施可能である。したがって、下記の実施形態の記載内容のみで解釈すべきではない。
実施形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は、コンピュータで使用可能なプログラムとしても実施できる。また、本発明では、ハードウェア、ソフトウェア、または、ソフトウェア及びハードウェアの実施形態で実施可能である。プログラムは、ハードディスク、CD―ROM、DVD−ROM、光記憶装置または磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することが出来る。
図1に本発明の第1の実施形態における自動回答装置のハードウェア構成図を示す。コンピュータ1は、例えば、CPU(Central processing Unit)2、メインメモリ3、HDD(Hard Disk Drive)4、ビデオカード5、マウス6、キーボード7、光学ディスク8等により構成される。なお、音声認識に必要な入力装置としてマイク、出力装置としてスピーカなどを外部接続することができる。また、音声認識エンジンとしては、市販のPC用音声認識ソフトウェアを使用することができる。対話方式は、音声のみだけでなく画像なども使うマルチモーダル対話方式を利用することができる。
図2に本発明の第1の実施形態における自動回答装置のブロック構成図を示す。話者の音声データは、音声入力部10から入力される。入力された音声データは、音声記憶部20に記憶される。ここで、音声記憶部20は、メインメモリ3やHDD4等が稼動する。なお、記録は、磁気記憶、光記憶、半導体記憶等で行うこともできる。そして、音声記憶部20から読み出された音声データは、音声認識部30において認識され、入力解析部50において文章解析される。音声データは、音声認識誤りや文章解析誤りがない場合に問題解決部70に送られる。問題解決部70では、話者からの質問文に対して適切な回答文を選択する。適切な回答文の音声データは、発話生成部80、音声出力部90において処理される。なお、音声データに限らず、キーボード等で書かれた文のデータも処理することができる。
音声認識において誤りがある場合には、音声認識誤りの訂正を行うために誤認識訂正部40で処理が行われる。音声認識の誤りを訂正する対話は、語の共起を使って誤りがあるかどうかの判定をし、誤りがある場合は対話の制御に基づく応答として、言い直しを要求するという手法をとる。なお、音声認識だけでなく、書かれた文に対する誤りも同様に訂正することができる。
C(パソコン)=C(パソコン、動作)+C(パソコン、遅い)
=0.139954790
となり、同様に「動作」「遅い」についても計算すると、
C(動作)=0.0892583680999173
C(遅い)=0.0764621645888845
という結果になる。この場合どの値も閾値以上なので、正しく認識された語と判断できる。
誤認識判定部41により認識誤りがあると判定された場合に、訂正文作成部42、訂正文比較判定部43及び誤認識Y/N判定部44において行われる処理について以下に説示する。
まず、ユーザ(話者)が、「文字を入力している途中にいきなり文字がへんてこなところに飛びます」と音声入力する。しかし、システム(コンピュータ1)が「文字を入力してる途中にいきなり文字がへんでもなところに飛びます」と誤認識する。そこで、システム(コンピュータ1)が「文字を入力してる途中にいきなり文字が何ですか?」と言い直し要求文を作成する。ユーザ(話者)が「変なところに飛びます」と訂正文を音声入力する。その結果、システム(コンピュータ1)が「文字を入力してる途中にいきなり文字が変なところに飛びます」と音声入力文を訂正することができる。
文章解析において誤りがある場合には、文章解析誤りの訂正を行うために誤解析訂正部60で処理が行われる。文章解析誤りの訂正については、語の係り受け度を使って、入力文の係り受け解析結果で誤りの可能性がある係り受け関係を探し、見つかった場合は係り受けを確認するという手法をとる。その方法を以下に詳説する。
このとき語aの品詞が名詞で、その直後に助詞cがあるときは、語bに助詞cを加えて考え、助詞が違う係り受け関係は別のものとして扱った。D(a,b)は語a(まはた語aと助詞c)の語bとの係りやすさを表しているので、入力文を係り受け解析したときに、D(a,b)が低いものは、係り受け解析が誤っている可能性があり、逆にD(a,b)が高いものは、正確に係り受け解析ができている可能性が高いと推測できる。
D(メールの,最初) =0.0
D(メールの,設定) =0.0177993527508091
D(メールの,分かる)=0.0
となり、「メールの」が「設定に」係るほうが係り受け度が大きいことが分かる。
まず、ユーザ(話者)が、「子供がインストールしてあったアプリケーションを削除してしまった」と音声入力する。しかし、システム(コンピュータ1)が、音声認識後の文章解析において、「子供が」が「インストールする」に係るという解析結果を出す。そこで、システム(コンピュータ1)が「子供がインストールしてあったのですか?」と係り受けの確認文を作成する。ユーザ(話者)が「子供が削除してしまったんです」と確認文を音声入力する。その結果、システム(コンピュータ1)が「子供が」の係り先を「削除する」に訂正を行う。
図8及び図9に本発明の第1の実施形態における自動回答装置のフローシートを示す。話者は、マイク等から音声を入力する(S100)。メインメモリ3やHDD4等の音声記憶部20が音声を記憶する(S200)。CPU2が記憶された音声の中から1文章を取り出す(S300)。音声認識部30が音声を認識する(S400)。誤認識判定部41が音声認識に誤りがあるか否かを判定する(S500)。音声認識に誤りがない場合には、入力解析部50が入力解析を行う(S600)。
なお、上述の記載の音声に該当する部分は、音声だけに限られず、キーボード等で書かれた文なども含むものとする。
2 CPU
3 メインメモリ
4 HDD
5 ビデオカード
6 マウス
7 キーボード
8 光学ディスク
10 音声入力部
20 音声記憶部
30 音声認識部
40 誤認識訂正部
41 誤認識判定部
42 訂正文作成部
43 訂正文比較判定部
44 誤認識Y/N判定部
50 入力解析部
60 誤解析訂正部
61 誤解析判定部
62 係り受け文作成部
63 誤解析Y/N判定部
70 問題解決部
80 発話生成部
90 音声出力部
411 形態素解析部
412 誤認識語抽出部
413 共起度和計算部
414 閾値計算部
611 係り受け解析部
612 誤解析語抽出部
613 係り受け度計算部
614 係り受け関係判定部
Claims (4)
- 自然言語対話において、入力された対話における誤りに対して当該誤りを一文章ごとに訂正した訂正対話を前記自然言語対話の一部に組み込んで、前記誤りを訂正しながら前記自然言語対話を進行させる対話処理を行う自動回答装置であって、
入力された文を形態素解析する形態素解析手段と、
前記形態素解析された文中の品詞が一定の条件を満たす語を取り出す第1の語抽出手段と、
前記抽出された各語について他の語との共起度の和を求める共起度和計算手段と、
前記共起度の和の数値が所定の閾値より低い単語を入力誤りの語と判定する閾値判定手段と、
入力誤りと判定された語がある場合に言い直し要求文を作成する訂正文作成手段と、
前記訂正文作成手段が作成した言い直し要求文に従って言い直された入力文を入力し、元の入力文と言い直された入力文とを比較して異なった語があるか否かを判定する訂正文比較判定手段と、
前記訂正文比較判定手段が、元の入力文と言い直された入力文とを比較して異なった語がないと判定した場合に、前記入力誤りと判定された語に対してYes又はNoで返事することができる語尾を付加した確認文を作成する確認文作成手段と、
前記確認文作成手段が作成した前記確認文に対する返事、又は、前記訂正文比較判定手段の判断結果に従って、前記言い直された入力文に誤りがあるか否かを判定するYes/No判定手段と、
前記Yes/No判定手段が、誤りがないと判定した前記言い直された入力文に対して、係り受け解析する係り受け解析手段と、
前記言い直された入力文の品詞が一定の条件を満たす一の語を取り出す第2の語抽出手段と、
前記一の語と他の語の組を作り係り受け度を求める係り受け度計算手段と、
前記組同士の係り受け度の大小関係を判定する係り受け関係判定手段と、
係り受け度の低い語の組について、係り受けが適切かどうかを確認する係り受け確認文をYes又はNoで返事することができる語尾を付加して作成する係り受け訂正文作成手段と、
前記係り受け確認文が誤りであるか否かを判定するYes/No判定手段とを備え、
前記係り受け訂正文作成手段が、前記係り受け確認文に従ってなされた返事が、当該係り受け確認文が誤りであることを示す返事である場合に、前記係り受け度の低い語の組よりも係り受け度が高い語の組について、Yes又はNoで返事することができる語尾を付加して再度係り受け確認文を作成する自動回答装置。 - 請求項1に記載の自動回答装置において、
前記言い直し要求文は、共起度を計算した語のうち入力誤りと判定された語の1つ前の語までの文に、予め登録された言い直しを要求する文における文末表現のテンプレートを繋げて作成される自動回答装置。 - 自然言語対話において、入力された対話における誤りに対して当該誤りを一文章ごとに訂正した訂正対話を前記自然言語対話の一部に組み込んで、前記誤りを訂正しながら前記自然言語対話を進行させる対話処理を行う自動回答プログラムであって、
入力された文を形態素解析する形態素解析手段、
前記形態素解析された文中の品詞が一定の条件を満たす語を取り出す第1の語抽出手段、
前記抽出された各語について他の語との共起度の和を求める共起度和計算手段、
前記共起度の和の数値が所定の閾値より低い単語を入力誤りの語と判定する閾値判定手段、
入力誤りと判定された語がある場合に言い直し要求文を作成する訂正文作成手段、
前記訂正文作成手段が作成した言い直し要求文に従って言い直された入力文を入力し、元の入力文と言い直された入力文とを比較して異なった語があるか否かを判定する訂正文比較判定手段、
前記訂正文比較判定手段が、元の入力文と言い直された入力文とを比較して異なった語がないと判定した場合に、前記入力誤りと判定された語に対してYes又はNoで返事することができる語尾を付加した確認文を作成する確認文作成手段、
前記確認文作成手段が作成した前記確認文に対する返事、又は、前記訂正文比較判定手段の判断結果に従って、前記言い直された入力文に誤りがあるか否かを判定するYes/No判定手段、
前記Yes/No判定手段が、誤りがないと判定した前記言い直された入力文に対して、係り受け解析する係り受け解析手段、
前記言い直された入力文の品詞が一定の条件を満たす一の語を取り出す第2の語抽出手段、
前記一の語と他の語の組を作り係り受け度を求める係り受け度計算手段、
前記組同士の係り受け度の大小関係を判定する係り受け関係判定手段、
係り受け度の低い語の組について、係り受けが適切かどうかを確認する係り受け確認文をYes又はNoで返事することができる語尾を付加して作成する係り受け訂正文作成手段、
前記係り受け確認文が誤りであるか否かを判定するYes/No判定手段としてコンピュータを機能させ、
前記係り受け訂正文作成手段が、前記係り受け確認文に従ってなされた返事が、当該係り受け確認文が誤りであることを示す返事である場合に、前記係り受け度の低い語の組よりも係り受け度が高い語の組について、Yes又はNoで返事することができる語尾を付加して再度係り受け確認文を作成する自動回答プログラム。 - 自然言語対話において、入力された対話における誤りに対して当該誤りを一文章ごとに訂正した訂正対話を前記自然言語対話の一部に組み込んで、前記誤りを訂正しながら前記自然言語対話を進行させる対話処理を行う自動回答方法であって、
コンピュータが、
入力された文を形態素解析する形態素解析ステップと、
前記形態素解析された文中の品詞が一定の条件を満たす語を取り出す第1の語抽出ステップと、
前記抽出された各語について他の語との共起度の和を求める共起度和計算ステップと、
前記共起度の和の数値が所定の閾値より低い単語を入力誤りの語と判定する閾値判定ステップと、
入力誤りと判定された語がある場合に言い直し要求文を作成する訂正文作成ステップと、
前記訂正文作成手段が作成した言い直し要求文に従って言い直された入力文を入力し、元の入力文と言い直された入力文とを比較して異なった語があるか否かを判定する訂正文比較判定ステップと、
前記訂正文比較判定ステップが、元の入力文と言い直された入力文とを比較して異なった語がないと判定した場合に、前記入力誤りと判定された語に対してYes又はNoで返事することができる語尾を付加した確認文を作成する確認文作成ステップと、
前記確認文作成ステップが作成した前記確認文に対する返事、又は、前記訂正文比較判定ステップの判断結果に従って、前記言い直された入力文に誤りがあるか否かを判定するYes/No判定ステップと、
前記Yes/No判定手段が、誤りがないと判定した前記言い直された入力文に対して、係り受け解析する係り受け解析ステップと、
前記言い直された入力文の品詞が一定の条件を満たす一の語を取り出す第2の語抽出ステップと、
前記一の語と他の語の組を作り係り受け度を求める係り受け度計算ステップと、
前記組同士の係り受け度の大小関係を判定する係り受け関係判定ステップと、
係り受け度の低い語の組について、係り受けが適切かどうかを確認する係り受け確認文をYes又はNoで返事することができる語尾を付加して作成する係り受け訂正文作成ステップと、
前記係り受け確認文が誤りであるか否かを判定するYes/No判定ステップとを実行し、
前記係り受け訂正文作成ステップが、前記係り受け確認文に従ってなされた返事が、当該係り受け確認文が誤りであることを示す返事である場合に、前記係り受け度の低い語の組よりも係り受け度が高い語の組について、Yes又はNoで返事することができる語尾を付加して再度係り受け確認文を作成する自動回答方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007012882A JP5044783B2 (ja) | 2007-01-23 | 2007-01-23 | 自動回答装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007012882A JP5044783B2 (ja) | 2007-01-23 | 2007-01-23 | 自動回答装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008180801A JP2008180801A (ja) | 2008-08-07 |
JP5044783B2 true JP5044783B2 (ja) | 2012-10-10 |
Family
ID=39724766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007012882A Active JP5044783B2 (ja) | 2007-01-23 | 2007-01-23 | 自動回答装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5044783B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5325176B2 (ja) * | 2010-07-20 | 2013-10-23 | 日本電信電話株式会社 | 2チャネル音声の音声認識方法とその装置とプログラム |
JP5636309B2 (ja) * | 2011-02-18 | 2014-12-03 | 株式会社東芝 | 音声対話装置および音声対話方法 |
JP6300394B2 (ja) * | 2013-05-15 | 2018-03-28 | 日本放送協会 | 誤り修正モデル学習装置、及びプログラム |
CN108664201B (zh) * | 2017-03-29 | 2021-12-28 | 北京搜狗科技发展有限公司 | 一种文本编辑方法、装置及电子设备 |
JP2019023674A (ja) * | 2017-07-24 | 2019-02-14 | 株式会社システック | 過大音混入対応音声入力装置 |
JP7080609B2 (ja) * | 2017-08-31 | 2022-06-06 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
CN113761843B (zh) * | 2020-06-01 | 2023-11-28 | 华为技术有限公司 | 语音编辑方法、电子设备及计算机可读存储介质 |
WO2023100291A1 (ja) * | 2021-12-01 | 2023-06-08 | 日本電信電話株式会社 | 言語処理装置、言語処理方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6456498A (en) * | 1987-08-27 | 1989-03-03 | Matsushita Electric Ind Co Ltd | Voice recognition |
JP3284832B2 (ja) * | 1995-06-22 | 2002-05-20 | セイコーエプソン株式会社 | 音声認識対話処理方法および音声認識対話装置 |
JP2999768B1 (ja) * | 1999-03-04 | 2000-01-17 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 音声認識誤り訂正装置 |
JP2002366543A (ja) * | 2001-06-06 | 2002-12-20 | Matsushita Electric Ind Co Ltd | 文書作成システム |
JP3762327B2 (ja) * | 2002-04-24 | 2006-04-05 | 株式会社東芝 | 音声認識方法および音声認識装置および音声認識プログラム |
JP2004021028A (ja) * | 2002-06-18 | 2004-01-22 | Toyota Central Res & Dev Lab Inc | 音声対話装置及び音声対話プログラム |
JP2004045900A (ja) * | 2002-07-12 | 2004-02-12 | Toyota Central Res & Dev Lab Inc | 音声対話装置及びプログラム |
JP4535804B2 (ja) * | 2004-08-16 | 2010-09-01 | 日本電信電話株式会社 | 音声対話シーケンス状態表記方法、プログラム、および音声対話装置 |
-
2007
- 2007-01-23 JP JP2007012882A patent/JP5044783B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008180801A (ja) | 2008-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5044783B2 (ja) | 自動回答装置および方法 | |
US7580838B2 (en) | Automatic insertion of non-verbalized punctuation | |
US7412387B2 (en) | Automatic improvement of spoken language | |
KR100996817B1 (ko) | 문자 대 음성 변환을 위한 상호 정보 기준을 이용한 큰 그라포넴 단위의 생성 | |
US6879956B1 (en) | Speech recognition with feedback from natural language processing for adaptation of acoustic models | |
US7949536B2 (en) | Intelligent speech recognition of incomplete phrases | |
US6952665B1 (en) | Translating apparatus and method, and recording medium used therewith | |
US8280733B2 (en) | Automatic speech recognition learning using categorization and selective incorporation of user-initiated corrections | |
US9501470B2 (en) | System and method for enriching spoken language translation with dialog acts | |
JP4818683B2 (ja) | 言語モデルを作成する方法 | |
US20040039570A1 (en) | Method and system for multilingual voice recognition | |
US20150179169A1 (en) | Speech Recognition By Post Processing Using Phonetic and Semantic Information | |
Catania et al. | Automatic Speech Recognition: Do Emotions Matter? | |
JP2004226881A (ja) | 会話システム及び会話処理プログラム | |
CN116933806A (zh) | 一种同传翻译系统及同传翻译终端 | |
US6772116B2 (en) | Method of decoding telegraphic speech | |
Wang et al. | Second language speech recognition using multiple-pass decoding with lexicon represented by multiple reduced phoneme sets. | |
JP2003162524A (ja) | 言語処理装置 | |
JP2009198871A (ja) | 音声対話装置 | |
JP2001013992A (ja) | 音声理解装置 | |
JPH11259088A (ja) | 音声認識方法及び音声認識装置並びに記録媒体 | |
JP2008225744A (ja) | 機械翻訳装置、およびプログラム | |
Enarvi | Finnish Language Speech Recognition for Dental Health Care | |
Montoya Gomez et al. | Reading proficiency assessment using finite-state transducers | |
Wirsz | Comparative Effectiveness of Language Modeling Algorithms on Acoustic Level Error Samples |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111003 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20111130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120619 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |