JP4756764B2 - プログラム及び情報処理装置並びに情報処理方法 - Google Patents

プログラム及び情報処理装置並びに情報処理方法 Download PDF

Info

Publication number
JP4756764B2
JP4756764B2 JP2001104995A JP2001104995A JP4756764B2 JP 4756764 B2 JP4756764 B2 JP 4756764B2 JP 2001104995 A JP2001104995 A JP 2001104995A JP 2001104995 A JP2001104995 A JP 2001104995A JP 4756764 B2 JP4756764 B2 JP 4756764B2
Authority
JP
Japan
Prior art keywords
information
link destination
keyword
acquired
speech recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001104995A
Other languages
English (en)
Other versions
JP2002304407A (ja
Inventor
晃弘 櫛田
哲夫 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001104995A priority Critical patent/JP4756764B2/ja
Publication of JP2002304407A publication Critical patent/JP2002304407A/ja
Application granted granted Critical
Publication of JP4756764B2 publication Critical patent/JP4756764B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、インターネット等のネットワーク上で提供される情報を閲覧等する技術に関する。
【0002】
【従来の技術】
インターネット上で提供される情報の多くは、ハイパーテキスト文書で構成されている。ハイパーテキスト文書は、更に他の情報を参照する構造を有しており、ブラウザによって表示されたハイパーテキスト文書に埋め込まれているハイパーリンク個所をマウス等で選択することにより、リンク先の情報をロードして表示することができる。ユーザは、ハイパーリンク箇所を選択することにより、リンク先の情報を次々と取得し、目的とする情報に辿り着くことができる。
【0003】
一方、音声認識技術を採用したブラウザも提案されている。このうち、例えば、特開平10-124293号公報には、HTML文書に記述されているリンク先の情報の説明文の中から単語を自動抽出し、その単語とユーザの音声により入力された単語とに基づいて、次に取得するリンク先の情報を選択する技術が開示されている。
【0004】
また、リンク先の情報にそれぞれ固有の番号をつけ、その番号がユーザから音声入力された場合に、当該リンク先の情報を取得する技術も提案されている。
【0005】
【発明が解決しようとする課題】
しかしながら、HTML文書に記述されているリンク先の情報の説明文は、リンク先の情報のタイトルといった極めて簡単な説明しか含まれておらず、ユーザが必要とする情報をうまく選択できない場合がある。
【0006】
また、リンク先の情報にそれぞれ固有の番号を付ける方式では、リンク先の情報が多数に及ぶ場合に、各番号を確認することは甚だ面倒である。
【0007】
従って、本発明の目的は、ユーザが必要とするリンク先の情報を適切かつ簡単に選択できる技術を提供することにある。
【0008】
【課題を解決するための手段】
本発明によれば、ネットワーク上のサーバから取得した情報にリンクする情報がある場合に、そのリンク先の情報を、ユーザからの音声による指示に基づいて選択するために、コンピュータを、前記リンク先の情報を取得する取得手段、取得した前記リンク先の情報からキーワードを抽出する抽出手段、取得した前記リンク先の情報毎に、抽出したキーワードの出現数を検出する検出手段、取得した前記リンク先の情報毎に作成されると共に検出した前記キーワードの出現数が関連付けられ、抽出した前記キーワードに関する音声認識を行うための音声認識辞書を作成する作成手段、前記ユーザからの音声と、前記音声認識辞書と、を照合する照合手段、前記照合手段による照合の結果と前記キーワードの出現数とに基づいて、前記リンク先の情報を選択する選択手段、として機能させるプログラムが提供される。
【0009】
また、本発明によれば、ユーザからの音声による指示が入力される入力手段と、ネットワーク上のサーバから情報を取得する手段と、取得した情報にリンクする情報がある場合に、そのリンク先の情報を取得する手段と、取得した前記リンク先の情報からキーワードを抽出する手段と、取得した前記リンク先の情報毎に、抽出したキーワードの出現数を検出する手段と、取得した前記リンク先の情報毎に作成されると共に検出した前記キーワードの出現数が関連付けられ、抽出した前記キーワードに関する音声認識を行うための音声認識辞書を作成する手段と、入力された前記音声と、前記音声認識辞書と、を照合する手段と、前記照合手段による照合の結果と前記キーワードの出現数とに基づいて、前記リンク先の情報を選択する選択手段と、選択された前記リンク先の情報を出力する出力手段と、を備えた情報処理装置が提供される。
また、本発明によれば、ネットワーク上のサーバから取得した情報にリンクする情報がある場合に、そのリンク先の情報を、ユーザからの音声による指示に基づいて選択するために、コンピュータが実行する情報処理方法であって、前記コンピュータの取得手段が、前記リンク先の情報を取得する工程と、前記コンピュータの抽出手段が、取得した前記リンク先の情報からキーワードを抽出する工程と、前記コンピュータの検出手段が、取得した前記リンク先の情報毎に、抽出したキーワードの出現数を検出する工程と、前記コンピュータの作成手段が、取得した前記リンク先の情報毎に作成されると共に検出した前記キーワードの出現数が関連付けられ、抽出した前記キーワードに関する音声認識を行うための音声認識辞書を作成する工程と、前記コンピュータの照合手段が、前記ユーザからの音声と、前記音声認識辞書と、を照合する工程と、前記コンピュータの選択手段が、前記照合手段による照合の結果と前記キーワードの出現数とに基づいて、前記リンク先の情報を選択する工程と、を備えたことを特徴とする情報処理方法が提供される。
【0014】
【発明の実施の形態】
図1は、本発明の一実施形態に係る情報処理装置のハードウェアの構成例を示すブロック図である。
【0015】
CPU1は、全体を統括制御するものであり、ROM2に格納されているプログラムを読み出し、その読み出したプログラムに基づいて、各種処理動作を実行する。ROM2は、CPU1が実行する処理の各種プログラムを格納している。
RAM3は、ROM2に格納されている各種プログラムの実行に必要な記憶領域を提供する。
【0016】
HD(ハードディスク)4は、二次記憶装置として、OSや各種プログラムを格納している。また、HD4には、後で説明する音声認識辞書を作成する基礎となる音声認識辞書作成用データが格納されている。入力インターフェース5には、キーボード10、マウス11、及び、A/D変換器8を介してマイク9が接続されている。マイク9は、ユーザからの音声による指示を入力するためのものであり、ユーザの音声は、このマイク9で収音されてA/D変換器8でアナログ信号からデジタル信号へ変換され、入力インターフェース5を介してCPU1により取得されることとなる。
【0017】
出力インターフェース6には、CRTやLCD等のディスプレイ12が接続されている。なお、ディスプレイ12に加えて、又は、音声のみのブラウザとして構成する場合にはこれに代えて、スピーカ等の音声出力装置を取り付ける形態も採用できる。通信インターフェース7は、インターネットに接続し、インターネット上のサーバと通信を行うためのものである。これらの各構成は、図示するようにバスにより機能的に接続されている。
【0018】
次に、係る構成からなる情報処理装置におけるCPU1の処理を図2のフローチャートを参照して説明する。
【0019】
S1では、通信インターフェース7を介して、インターネット上のサーバから情報(ハイパーテキスト文書であるとする。)を取得する。具体的には、例えば、ユーザがキーボード10から欲しい情報のURLを指定すると、指定されたURLを有するサーバにアクセスし、指定されたURLのハイパーテキスト文書を取得する。
【0020】
S2では、取得したハイパーテキスト文書の内容をディスプレイ12に表示する。なお、取得したハイパーテキスト文書を表示せずに、合成音声で出力するという手法を採用することも可能である。S3では、取得したハイパーテキスト文書に記述されたリンク先の情報のURLを抽出する。例えば、HTMLで記述されている場合、リンク先(ハイパーリンク箇所)は、
<A HREF="[文字列A]">[文字列B]</A>
と記述されている。[文字列A]は、リンク先の情報が存在する場所を表すURLであり、[文字列B]は、そのリンク先の内容の説明文である。
【0021】
S4では、S3で抽出したURLの示すリンク先へ順次アクセスし、S1で取得したハイパーテキスト文書にリンクする全てのリンク先の情報を取得し、HD4へ格納する。S5では、S4で取得したリンク先の情報からキーワードを抽出する。具体的には、例えば、形態素解析を行い、名詞及び名詞句を抽出し、これらの語をキーワードとする方法がある。また、抽出された名詞及び名詞句の内、出現数の高い語のみをキーワードとしてもよい。
【0022】
S6では、S5で抽出したキーワードに関する音声認識を行うための音声認識辞書を作成する。音声認識辞書は、HD4に格納された音声認識辞書作成用データに基づいて作成され、図3に示すように、リンク先の情報毎に生成し、一意のID番号を付与する。ID番号の付け方は如何なるものでもよいが、例えば、S1で取得したディスプレイ12に表示中のハイパーテキスト文書中における、ハイパーリンク箇所の出現順にID番号を付与する方法がある。
【0023】
S7では、ユーザからマイク8を介して音声による指示が入力されたか否かを判定し、既に入力されていればこれを受け付けてS8へ進む。ここでの指示とは、ユーザが次に出力を希望するリンク先の情報を選択するための指示であり、ユーザが欲しい情報に関連する何らかのキーワードを発声することとなる。本実施形態では、ユーザが発声するキーワードは1つのみであるとして説明する。
【0024】
S8では、ユーザが発声した音声の音声認識を行い、マイク8から入力されたユーザの音声と、S6で作成した音声認識辞書とを順番に照合する。照合の結果、ユーザが発声したキーワードが認識された音声認識辞書のID番号がピックアップされ、複数あれば全ての音声認識辞書のID番号がピックアップされる。
【0025】
S9では、S8の照合結果に基づいて、リンク先の情報を選択する。ここでは、S8で得られたID番号に対応するリンク先の情報を選択する。S8においてID番号が一つもピックアップされなかった場合は、S7へ戻って再認識する等し、2つ以上の場合は、何らかの形で一つを選択する。複数のリンク先の情報から、1つを選択する方法としては、いかなるものを用いても良いが、例えば、各ID 番号の中で最も小さいID番号を選択する方法やランダムに選択する方法などがある。
【0026】
S10では、S9で選択されたリンク先の情報をHD4から読み出して、ディスプレイに表示する。その後、S3に処理が戻る。この場合、HD4に格納したリンク先の情報や、S6で作成した音声認識辞書を消去してもよいし、消去しなくともよい。
【0027】
このように、本実施形態では、ユーザは何らかのキーワードを発声するだけでリンク先の情報が選択されるので操作が極めて簡単である。また、音声認識辞書をリンク先の情報に含まれるキーワードから作成するので、リンク先の情報の内容に即した音声認識辞書が作成され、ユーザが必要とするリンク先の情報を適切に選択できる。
【0028】
<<他の実施形態>>
<リンク先の情報の選択>
上述したS8において、ユーザが発声したキーワードが複数の音声認識辞書に含まれていた場合に、S9では、そのキーワードを最も多く含むリンク先の情報を選択するようにすることもできる。
【0029】
この場合、S5では、リンク先の情報からキーワードを抽出すると共に、そのリンク先の情報における各キーワードの出現数を検出し、S6では各キーワードの出現数を関連付けた音声認識辞書を作成する。S8では、ユーザが発声したキーワードが認識された音声認識辞書のID番号をピックアップすると共に、各リンク先の情報におけるそのキーワードの出現数を読み出す。そして、S9では、S8の照合の結果得られた複数のリンク先の情報のうち、ユーザが発声したキーワードを最も多く含むリンク先の情報を選択する。
【0030】
<複数のキーワードによる音声入力>
上述した実施形態では、ユーザが発声するキーワードは1つのみであるとして説明したが、複数のキーワードが発声された場合に対応するようにすることもできる。
【0031】
この場合、例えば、”音声入力開始”、”音声入力終了”などの予約語を音声認識可能に設定し、そのような予約語用の音声認識辞書をHD4に予め格納しておく。ユーザから、これらの予約語が音声入力されることによって音声入力の開始と終了を判定する。なお、音声入力の開始と終了との判定は、これに限られず、例えば、キーボード10において特定のキーが押される、または、離される事によって、音声入力の開始と終了を判定してもよい。
【0032】
そして、音声入力の開始と終了の間に音声入力された複数のキーワードに対してそれぞれ上述した音声認識辞書によるS8の照合を行う。S8の照合では、ユーザの発声した全てのキーワードを含むリンク先の情報がピックアップされる。
【0033】
リンク先の情報が複数ピックアップされた場合に、S9においていずれか1つのリンク先の情報を選択する方法としては、いかなるものでもよいが、例えば、音声認識辞書のID番号ごとに、各キーワードのハイパーテキスト文書中の出現数を加算し、その最大値をとる音声認識辞書に対応するリンク先の情報を選択する方法、全てのキーワードにおいて得られた音声認識辞書に対応するリンク先の情報を選択する方法、音声認識辞書のID番号が最も小さいリンク先の情報を選択する方法、若しくは、ランダムに選択する方法などがある。これら各方法を組み合わせて使用することももちろん可能である。
【0034】
<キーワードの抽出対象の選択等>
上記実施形態では、S5のキーワードの抽出対象をリンク先の情報としているが、S1で取得したアクセス中の情報に含まれるリンク先の情報の説明文中のキーワードや、リンク先の情報毎に一意に付与した番号を使用するといった、従来手法と組み合わせることもできる。
【0035】
具体的には、例えば、第1のモードとして、リンク先の情報からキーワードを抽出するモードと、第2のモードとして、S1で取得した情報に含まれるリンク先の情報の説明文からのキーワード又はリンク先の情報毎に一意に付与した番号を抽出するモードと、を用意し、ユーザがいずれかのモードを選択するようにしてもよい。この場合、モードの選択は、例えば、キーボード10やマウス11による操作や、マイク9からの音声入力によっても行ってもよい。
【0036】
第2のモードが選択された場合、図2の処理の流れとしては、S3及びS4が省略されて、S5では、S1で取得された情報の中のリンク先の情報の説明文からキーワードを抽出することとなる。
【0037】
<複数の辞書の利用等>
上記<キーワードの抽出対象の選択等>では、第1のモードとしてリンク先の情報からキーワードを抽出して音声認識辞書を作成し、第2のモードとしてS1で取得した情報に含まれるリンク先の情報の説明文からのキーワード又はリンク先の情報毎に一意に付与した番号を抽出して音声認識辞書を作成しすることとした。
【0038】
しかしながら、前者を第1の音声認識辞書とし、後者を第2の音声認識辞書として、これらの双方を作成し、これらの双方を用いて音声認識を行ってリンク先を選択するようにしてもよい。この場合、例えば、第1の音声認識辞書によりあるリンク先がヒットし、また、第2の音声認識辞書により他のリンク先がヒットする場合も考えられるが、そのような場合は、ユーザの指定等により予めいずれか一方の辞書に優先度を設定しておき、優先度の高い音声認識辞書の認識結果を優先するようにすることもできる。
【0039】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、例えば、これを記録した記憶媒体(または記録媒体)等を介して、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が、該プログラムコードを実行することによっても、達成されることは言うまでもない。この場合、そのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード、及び、これを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0040】
さらに、プログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0041】
【発明の効果】
以上説明したとおり、本発明によれば、ユーザが必要とするリンク先の情報を適切かつ簡単に選択することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る情報処理装置のハードウェアの構成例を示すブロック図である。
【図2】CPU1の処理を示すフローチャートである。
【図3】リンク先の情報と音声認識辞書とID番号との関係を示す図である。

Claims (3)

  1. ネットワーク上のサーバから取得した情報にリンクする情報がある場合に、そのリンク先の情報を、ユーザからの音声による指示に基づいて選択するために、コンピュータを、
    前記リンク先の情報を取得する取得手段、
    取得した前記リンク先の情報からキーワードを抽出する抽出手段、
    取得した前記リンク先の情報毎に、抽出したキーワードの出現数を検出する検出手段、
    取得した前記リンク先の情報毎に作成されると共に検出した前記キーワードの出現数が関連付けられ、抽出した前記キーワードに関する音声認識を行うための音声認識辞書を作成する作成手段、
    前記ユーザからの音声と、前記音声認識辞書と、を照合する照合手段、
    前記照合手段による照合の結果と前記キーワードの出現数とに基づいて、前記リンク先の情報を選択する選択手段、
    として機能させるプログラム。
  2. ユーザからの音声による指示が入力される入力手段と、
    ネットワーク上のサーバから情報を取得する手段と、
    取得した情報にリンクする情報がある場合に、そのリンク先の情報を取得する手段と、
    取得した前記リンク先の情報からキーワードを抽出する手段と、
    取得した前記リンク先の情報毎に、抽出したキーワードの出現数を検出する手段と、
    取得した前記リンク先の情報毎に作成されると共に検出した前記キーワードの出現数が関連付けられ、抽出した前記キーワードに関する音声認識を行うための音声認識辞書を作成する手段と、
    入力された前記音声と、前記音声認識辞書と、を照合する手段と、
    前記照合手段による照合の結果と前記キーワードの出現数とに基づいて、前記リンク先の情報を選択する選択手段と、
    選択された前記リンク先の情報を出力する出力手段と、
    を備えた情報処理装置。
  3. ネットワーク上のサーバから取得した情報にリンクする情報がある場合に、そのリンク先の情報を、ユーザからの音声による指示に基づいて選択するために、コンピュータが実行する情報処理方法であって、
    前記コンピュータの取得手段が、前記リンク先の情報を取得する工程と、
    前記コンピュータの抽出手段が、取得した前記リンク先の情報からキーワードを抽出する工程と、
    前記コンピュータの検出手段が、取得した前記リンク先の情報毎に、抽出したキーワードの出現数を検出する工程と、
    前記コンピュータの作成手段が、取得した前記リンク先の情報毎に作成されると共に検出した前記キーワードの出現数が関連付けられ、抽出した前記キーワードに関する音声認識を行うための音声認識辞書を作成する工程と、
    前記コンピュータの照合手段が、前記ユーザからの音声と、前記音声認識辞書と、を照合する工程と、
    前記コンピュータの選択手段が、前記照合手段による照合の結果と前記キーワードの出現数とに基づいて、前記リンク先の情報を選択する工程と、
    を備えたことを特徴とする情報処理方法。
JP2001104995A 2001-04-03 2001-04-03 プログラム及び情報処理装置並びに情報処理方法 Expired - Fee Related JP4756764B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001104995A JP4756764B2 (ja) 2001-04-03 2001-04-03 プログラム及び情報処理装置並びに情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001104995A JP4756764B2 (ja) 2001-04-03 2001-04-03 プログラム及び情報処理装置並びに情報処理方法

Publications (2)

Publication Number Publication Date
JP2002304407A JP2002304407A (ja) 2002-10-18
JP4756764B2 true JP4756764B2 (ja) 2011-08-24

Family

ID=18957766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001104995A Expired - Fee Related JP4756764B2 (ja) 2001-04-03 2001-04-03 プログラム及び情報処理装置並びに情報処理方法

Country Status (1)

Country Link
JP (1) JP4756764B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006136385A (ja) * 2004-11-10 2006-06-01 Pentax Corp 内視鏡
JP2007256643A (ja) * 2006-03-23 2007-10-04 Denso Corp 音声認識装置及びナビゲーションシステム
JP4715704B2 (ja) * 2006-09-29 2011-07-06 富士通株式会社 音声認識装置、および音声認識プログラム
JP2010048953A (ja) * 2008-08-20 2010-03-04 Toshiba Corp 対話文生成装置
JP5049934B2 (ja) * 2008-09-22 2012-10-17 株式会社東芝 対話文生成装置及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105562A (ja) * 1996-09-26 1998-04-24 Hitachi Ltd 検索システム
JP3893893B2 (ja) * 2001-03-30 2007-03-14 セイコーエプソン株式会社 ウエブページの音声検索方法、音声検索装置および音声検索プログラム

Also Published As

Publication number Publication date
JP2002304407A (ja) 2002-10-18

Similar Documents

Publication Publication Date Title
JP4225703B2 (ja) 情報アクセス方法、情報アクセスシステムおよびプログラム
WO2005116865A2 (ja) 言語判別装置、翻訳装置、翻訳サーバ、言語判別方法並びに翻訳処理方法
JP3789614B2 (ja) ブラウザシステム、音声プロキシサーバ、リンク項目の読み上げ方法及びリンク項目の読み上げプログラムを格納した記憶媒体
JP2000137596A (ja) 対話型音声応答システム
JPH1125098A (ja) 情報処理装置、リンク先ファイルの取得方法および記憶媒体
JP3141833B2 (ja) ネットワークアクセスシステム
US8200485B1 (en) Voice interface and methods for improving recognition accuracy of voice search queries
JP3372532B2 (ja) 感情情報抽出方法および感情情報抽出プログラムの計算機読み取り可能な記録媒体
JPH07222248A (ja) 携帯型情報端末における音声情報の利用方式
JP2002197118A (ja) 情報アクセス方法、情報アクセスシステムおよび記録媒体
JPH10124293A (ja) 音声指令可能なコンピュータとそれ用の媒体
JP4756764B2 (ja) プログラム及び情報処理装置並びに情報処理方法
JP2001265774A (ja) 情報検索方法、装置、および情報検索プログラムを記録した記録媒体、ハイパーテキスト情報検索システム
JP2001075968A (ja) 情報検索方法及びそれを記録した記録媒体
JP2005128955A (ja) 情報処理方法および記憶媒体、プログラム
JP3094896B2 (ja) 文章読み上げ方式
JP2002014893A (ja) 画面読み上げソフトを使用する利用者に向けたWebページ案内サーバー
JP3766406B2 (ja) 機械翻訳装置
JP2003296327A (ja) 翻訳サーバ、ジャンル別オンライン機械翻訳方法、およびそのプログラム
JP2001249935A (ja) 文書ダイジェスト作成方法、文書検索装置および記録媒体
US20030009490A1 (en) Information processing apparatus, information processing method, recording medium, program, and electronic-publishing-data providing system
JP2002099294A (ja) 情報処理装置
JP3056810B2 (ja) 文書検索方法および装置
JP4010589B2 (ja) 文書検索システムおよび同システムに適用される検索文書提示方法
JP3498635B2 (ja) 情報検索方法及びその装置並びにコンピュータ可読記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110530

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110531

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees