JP3992642B2 - 音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラム - Google Patents
音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラム Download PDFInfo
- Publication number
- JP3992642B2 JP3992642B2 JP2003126401A JP2003126401A JP3992642B2 JP 3992642 B2 JP3992642 B2 JP 3992642B2 JP 2003126401 A JP2003126401 A JP 2003126401A JP 2003126401 A JP2003126401 A JP 2003126401A JP 3992642 B2 JP3992642 B2 JP 3992642B2
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- scenario
- column
- row
- keywords
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
Description
【発明の属する技術分野】
この発明は音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラムに関し、特にハイパーテキストによって表示される視覚表示機能を用いたシナリオから音声シナリオを生成する音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラムを提供しようとするものである。
【0002】
【従来の技術】
従来より、例えばHTMLのようなハイパーテキストで記述された文章データを表示器に表示させ、その表示されている文章中に特に調べたい内容の記述が存在した場合は、その記述部分にカーソルを合わせ、その位置でクリックを入力することにより、その記述位置に埋め込まれている詳細説明(シナリオ)を表示させることができる。更に、新たに表示されたシナリオの中に、更に調べたい内容の記述が存在した場合は、その記述場合にカーソルを合わせ、その位置でクリックを入力すると、その位置に埋め込まれているシナリオを表示器に表示させることができ、知りたい情報を次々と調べることができる。
【0003】
一方、カーソルによる入力に対して、音声による入力方法も考えられている。例えばハイパーテキストにより表示されている記述の中で調べたい内容の記述が存在した場合、その記述に対応する音声を入力すると、その記述部分のシナリオに画面を切替えることができる。
上述したように、ハイパーテキストにより表示されている記述部分を音声で入力することにより、その記述部分に予め用意されているシナリオを表示させる技術は既に開発されている。然し乍ら、その実現には視覚表示器が介在し、視覚表示器に表示されている記述に従って、音声を入力することが要求される。
【0004】
従って、従来の音声入力方法を採る場合でも視覚表示器の存在が必須要件となる。
これに対し、例えば電話のように音声のみしか入力できない端末から、自動音声案内装置等をアクセスし、音声のみで必要な情報を得るためには視覚表示器に代えて、音声でシナリオを再生する必要がある。この要求を満たす方法として、ウエブページの自動音声読み上げ技術(特許文献1)が提案されている。
【0005】
【特許文献1】
特開2002−41411公報
【0006】
【発明が解決しようとする課題】
先に提案されている特許文献1では画面上に表示された情報を音声で利用者に提示するために、表示のレイアウトを指定する制御符号を無視して単にハイパーテキストに記述されている固有名詞等のキーワードを抽出し、その記述の順序に従ってキーワードの読み上げを行なっている。
図9にハイパーテキストの一例を示す。この例ではテレビ番組表のレイアウトを記述している。このレイアウトをハイパーテキストの表示制御符号に従ってブラウザ(ハイパーテキスト表示器)で表示すると、図10のように表示される。
【0007】
従来技術では、これを読み上げさせるために、ハイパーテキスト中のタグ(制御符号)の部分を無視して以下のようにハイパーテキスト中に出現する順序で表に現れるそれぞれのキーワードを読み上げさせていた。
「テレビ局1、テレビ局2、テレビ局3、19、番組1、番組2、番組3、………22、番組10…」
従って、利用者はどのテレビ局が、どの番組を放送するのか及び放送時間帯等を音声情報から得ることはむずかしい。
この発明の目的はハイパーテキストで記述された表を音声で読み上げ、表の種類に応じて項目を分類して読み上げることにより音声でも表の内容を利用者に伝えることができる音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラムを提案しようとするものである。
【0008】
【課題を解決するための手段】
この発明の請求項1では、表形式は、表を構成するキーワードの位置を行および列によって指示できる行列形式であって、1行目に各列を指示することに用いることのできるキーワード〔以下、「列キーワード」という。〕、および、1列目に各行を指示することに用いることのできるキーワード〔以下、「行キーワード」という。〕が含まれるものであり、ハイパーテキストデータから上記表形式に対応する箇所を表データとして抽出し、列キーワードおよび行キーワードと、この列キーワードおよび行キーワードに対応する行列位置のキーワードとを対応付けた表構造データを生成する表抽出処理と、表抽出処理で抽出された上記表データに含まれるキーワードを表種別データベースと照合し、上記表データに適合する表種を特定する表種判定処理と、上記表データに含まれる各キーワードに属性〔以下、「キーワード属性」という。〕を付与する属性付与処理と、少なくとも上記列キーワードまたは上記行キーワードのキーワード属性に基づく関数表現で指定された変数を含む、キーワード属性を用いて表現された変数を用いて記述され、予め各表種ごとに用意されているシナリオテンプレートを、表種判定処理で特定された表種に従って特定するとともに、特定されたシナリオテンプレートに、少なくとも上記関数表現で指定された変数に対応する上記表構造データ中のキーワードを挿入する処理を含む、キーワード属性に従ってキーワードを挿入する処理、を行うことによって音声シナリオを生成する音声シナリオ生成処理とを有することを特徴とする音声シナリオ生成方法を提案する。
【0009】
この発明の請求項2では、表形式は、表を構成するキーワードの位置を行および列によって指示できる行列形式であって、1行目に各列を指示することに用いることのできるキーワード〔以下、「列キーワード」という。〕、および、1列目に各行を指示することに用いることのできるキーワード〔以下、「行キーワード」という。〕が含まれるものであり、ハイパーテキストデータから上記表形式に対応する箇所を表データとして抽出し、列キーワードおよび行キーワードと、この列キーワードおよび行キーワードに対応する行列位置のキーワードとを対応付けた表構造データを生成する表抽出手段と、上記表抽出手段によって抽出された上記表データに含まれるキーワードを表種別データベースと照合し、上記表データに適合する表種を特定する表種判定手段と、上記表データに含まれる各キーワードに属性〔以下、「キーワード属性」という。〕を付与する属性付与手段と、少なくとも上記列キーワードまたは上記行キーワードのキーワード属性に基づく関数表現で指定された変数を含む、キーワード属性を用いて表現された変数を用いて記述され、予め各表種ごとに用意されているシナリオテンプレートを、表種判定手段によって特定された表種に従って特定するとともに、特定されたシナリオテンプレートに、少なくとも上記関数表現で指定された変数に対応する上記表構造データ中のキーワードを挿入する処理を含む、キーワード属性に従ってキーワードを挿入する処理、を行うことによって音声シナリオを生成する音声シナリオ生成手段とを備えたことを特徴とする音声シナリオ生成装置を提案する。
【0010】
この発明の請求項3では、コンピュータが解読可能な符号列によって記述され、コンピュータに請求項1に記載の音声シナリオ生成方法を実行させる音声シナリオ生成プログラムを提案する。
作用
この発明によれば、表抽出手段によりハイパーテキストデータから表示部分に対応する表データを抽出し、この表データを表種判定手段で表種別データベースを参照して表種を特定する。表種としては例えばテレビ、ラジオ放送番組表、乗物の発着時刻表、商品の価格表等が考えられる。
【0011】
音声対話シナリオ生成部では、表種毎に該当するシナリオテンプレートをシナリオテンプレートデータベースから取得し、取得したシナリオテンプレートに従って、表のキーワードを挿入することで音声対話シナリオを生成する。つまり、表の各キーワードには属性が割付けられる。またシナリオテンプレートにはキーワードに割付けられた属性に従って、キーワードを配列する構造のテンプレートが用意される。従って、このテンプレートによって定められた属性の順番に従って、キーワードをシナリオテンプレートに挿入することにより表の内容が音声で理解できる順序でキーワードが読み上げられる音声シナリオが生成される。
【0012】
【発明の実施の形態】
図1にこの発明による音声対話シナリオ変換装置の一実施例を示す。この装置の実施例と共に、この発明による音声対話シナリオ変換方法を合わせて説明する。
図1に示す100は音声対話シナリオ変換装置の全体を示す。200はこの音声対話シナリオ変換装置100に入力するハイパーテキストデータ、300は音声対話シナリオ変換装置100から出力される音声対話シナリオを示す。
この発明による音声対話シナリオ生成装置100は入力されるハイパーテキストデータ200から表部分の表データを抽出する表抽出手段101と、表抽出手段101で抽出した表データを表種別データベース103と照合し、表データが表わす表の種類を判定する表種判定手段102と、表データに出現するキーワードに属性を付与するキーワード属性付与手段104と、表種判定手段102の判定結果に従って、各表種毎に用意したシナリオテンプレートを特定し、シナリオテンプレートに指定されている属性に従ってキーワードを挿入し、音声対話シナリオを生成する音声対話シナリオ生成手段105とこの音声対話シナリオ生成手段105に各表示毎に用意したシナリオテンプレートを提供するシナリオテンプレートデータベース106とによって構成される。
【0013】
表抽出手段101は図9に示したハイパーテキストデータから表部分のデータを抽出する。図9に示したハイパーテキストデータの例では6行目から35行目までのTABLEタグで囲まれた部分が表データを示す。従って表抽出手段101は図9に示したハイパーテキストデータからTABLEタグで囲まれた部分を表データとして抽出し、図3に示す表構造を作成する。
表抽出手段101で抽出した表データは表種判定手段102に入力される。表種判定手段102では表データに出現するキーワードを抽出し、このキーワードを手掛りに表種別データベース103を参照し、適合する表種を特定する。図9に示したハイパーテキストの場合、キーワードが“テレビ局1”、“テレビ局2”、“テレビ局3”、“番組1”、“番組2”等が出現するから、これらのキーワードを照合すると表種別データベース103からテレビ番組欄が抽出される。
【0014】
これと共に、この実施例では表種別データベース103に各キーワードの属性データベースを共存させ、この属性データベースを用いてキーワード属性付与手段104で表データに出現する各キーワードに属性を付与する構成とした場合を示す。属性の付与には図2に示すように音声認識用のキーワード辞書107を用いることもできる。つまり、音声認識に用いるキーワード辞書には元々各キーワードを属性に従って分類して格納している。従って、図2に示す実施例ではこの音声認識用のキーワード辞書をキーワードの属性付与に流用しようとするものである。何れの方法を採るにしても表データに出現する各キーワードに図4に示すように属性を付与する。
【0015】
キーワード属性付与手段104では、更に、図3に示した表構造に加えて、表構造中のそれぞれのキーワードの属性を図5に示すように変形して代入して記録する。
音声対話シナリオ生成手段105では表種判定手段102で特定された表種からシナリオテンプレートデータベース106を参照し、番組表に関しては図6に示すようなシナリオテンプレートを取得する。
ここで$属性はそのカテゴリーに属するキーワードを表する。また[キーワード]は、キーワードに表中で関係するカテゴリーに属するキーワードを示す。
【0016】
音声対話シナリオ生成手段105では図6に示したシナリオテンプレートに従って表構造からシナリオテンプレートに必要な変数を図7に示すように作成する。
これらの変数を図6に示したシナリオテンプレートに挿入し、シナリオテンプレートを音声合成手段(特に図示しない)に入力して以下のような音声をガイダンス音声として再生することができる。
「放送局は、テレビ局1、テレビ局2、テレビ局3の中から、放送時刻は19時から23時までの間で指定できます。」
「テレビ局1の番組は、19時から番組1、…22時から番組10があります。」
「テレビ局3の番組は、19時から番組3、…22時から番組11があります。」
以上説明したこの発明による音声対話シナリオ変換方法及び装置はコンピュータが解読可能な符号別によって記述されたプラグラムをコンピュータに実行させて実現される。図8にこの発明による音声対話シナリオ変換方法及び装置をコンピュータで実現する場合の実施例を示す。
【0017】
コンピュータは一般的によく知られているように、プログラムを解読し、実行する中央演算処理装置CPUと、コンピュータを起動させ、停止させるための基本プログラムを格納した読出専用メモリROMと、プログラム及び表データ等を一時格納する書き込み、読み出し可能なメモリRAMと、表種別データベース103、シナリオテンプレートデータベース106、音声認識用データベース107等を格納する外部記録装置HDP、入力ポートINPと、出力ポートOUTP等によって構成される。
書き込み、読み出し可能なメモリRAMには表抽出手段101を構成する表抽出プログラム11と、表種判定手段102を構成する表種判定プログラム12と、キーワード属性付与手段104を構成するキーワード属性付与プログラム13と、音声対話シナリオ生成手段105を構成する音声対話シナリオ生成プログラム14と、音声合成プログラム15等がインストールされる。更にキーワード記録領域16、変数記録領域17、シナリオテンプレート記録領域18等が設けられる。
【0018】
入力ポートINPを通じてハイパーテキストデータ200が入力され、このハイパーテキストデータ200から表抽出プログラム11により表データを抽出する。表抽出プログラム11により抽出された表データは表種判定プログラム12により表種を特定し、更にキーワード属性付与プログラム13により表データから抽出したキーワードに属性を付与する。データの表種が特定されることにより、その表種からシナリオテンプレートが特定され、このテンプレートに変数記録領域17に記録した変数を挿入し、変数を挿入したシナリオテンプレートを音声合成プログラム15で音声信号に変換し、この音声信号を出力ポートOUTPを通じてスピーカSPに出力し、表を読み上げる音声を再生する。
【0019】
この発明による音声対話シナリオ変換プログラムはコンピュータが読み取り可能な例えば磁気ディスク或はCD−ROMのような記録媒体に記録され、この記録媒体からコンピュータにインストールするか又は通信回路を通じてインストールされ、各コンピュータに装備している中央演算処理装置CPUにより解読されて実行される。
尚、上述ではテレビ番組欄を音声対話シナリオに変換する例を説明したが、テレビ番組欄に限らず、例えば乗物の発着時刻表、商品の価格表等各種の表にこの発明を適用することができ、表種別データベース103及びシナリオテンプレート106にこれらの各表に対応する表種データ及びシナリオテンプレートが用意される。
【0020】
【発明の効果】
上述したように、この発明によればハイパーテキストの表示制御符号により表形式で表示された表を、表の表示欄の属性を分類してテンプレートに挿入し、音声対話シナリオに変換したから、音声でも表の内容を理解できる表現で利用者に自動的に読み上げさせることができる。従って、本来、視覚表示器を介して利用者に提供するために作成した対話シナリオを、音声対話シナリオに変換して利用することができる利点が得られる。
【図面の簡単な説明】
【図1】 この発明による音声対話シナリオ変換装置の一実施例を説明するためのブロック図。
【図2】図1に示した実施例の変形実施例を説明するためのブロック図。
【図3】図1及び図2に示した実施例で用いた表抽出手段の動作を説明するための図。
【図4】図1及び図2に示した実施例で用いたキーワード属性付与手段の処理結果を説明するための図。
【図5】図4に示した各キーワードに付与した属性を分類して変数に収約した様子を説明するための図。
【図6】この発明で用いるシナリオテンプレートの一例を説明するための図。
【図7】図6に示したシナリオテンプレートに挿入するキーワードを変数に代入する様子を説明するための図。
【図8】この発明によるシナリオ変換装置をコンピュータで実現した場合の実施例を説明するためのブロック図。
【図9】ハイパーテキストデータの一例を説明するための図。
【図10】図9に示したハイパーテキストデータによる視覚表示器に表示した表の一例を説明するための図。
【符号の説明】
100 音声対話シナリオ変換装置 200 ハイパーテキストデータ
101 表抽出手段 300 音声対話シナリオ
102 表種判定手段
103 表種別データベース
104 キーワード属性付与手段
105 音声対話シナリオ生成手段
106 シナリオテンプレートデータベース
107 音声認識用キーワード辞書
Claims (3)
- 表形式は、表を構成するキーワードの位置を行および列によって指示できる行列形式であって、1行目に各列を指示することに用いることのできるキーワード〔以下、「列キーワード」という。〕、および、1列目に各行を指示することに用いることのできるキーワード〔以下、「行キーワード」という。〕が含まれるものであり、
ハイパーテキストデータから上記表形式に対応する箇所を表データとして抽出し、列キーワードおよび行キーワードと、この列キーワードおよび行キーワードに対応する行列位置のキーワードとを対応付けた表構造データを生成する表抽出処理と、
表抽出処理で抽出された上記表データに含まれるキーワードを表種別データベースと照合し、上記表データに適合する表種を特定する表種判定処理と、
上記表データに含まれる各キーワードに属性〔以下、「キーワード属性」という。〕を付与する属性付与処理と、
少なくとも上記列キーワードまたは上記行キーワードのキーワード属性に基づく関数表現で指定された変数を含む、キーワード属性を用いて表現された変数を用いて記述され、予め各表種ごとに用意されているシナリオテンプレートを、表種判定処理で特定された表種に従って特定するとともに、特定されたシナリオテンプレートに、少なくとも上記関数表現で指定された変数に対応する上記表構造データ中のキーワードを挿入する処理を含む、キーワード属性に従ってキーワードを挿入する処理、を行うことによって音声シナリオを生成する音声シナリオ生成処理と、
を有することを特徴とする音声シナリオ生成方法。 - 表形式は、表を構成するキーワードの位置を行および列によって指示できる行列形式であって、1行目に各列を指示することに用いることのできるキーワード〔以下、「列キーワード」という。〕、および、1列目に各行を指示することに用いることのできるキーワード〔以下、「行キーワード」という。〕が含まれるものであり、
ハイパーテキストデータから上記表形式に対応する箇所を表データとして抽出し、列キーワードおよび行キーワードと、この列キーワードおよび行キーワードに対応する行列位置のキーワードとを対応付けた表構造データを生成する表抽出手段と、
上記表抽出手段によって抽出された上記表データに含まれるキーワードを表種別データベースと照合し、上記表データに適合する表種を特定する表種判定手段と、
上記表データに含まれる各キーワードに属性〔以下、「キーワード属性」という。〕を付与する属性付与手段と、
少なくとも上記列キーワードまたは上記行キーワードのキーワード属性に基づく関数表現で指定された変数を含む、キーワード属性を用いて表現された変数を用いて記述され、予め各表種ごとに用意されているシナリオテンプレートを、表種判定手段によって特定された表種に従って特定するとともに、特定されたシナリオテンプレートに、少なくとも上記関数表現で指定された変数に対応する上記表構造データ中のキーワードを挿入する処理を含む、キーワード属性に従ってキーワードを挿入する処理、を行うことによって音声シナリオを生成する音声シナリオ生成手段と、
を備えたことを特徴とする音声シナリオ生成装置。 - コンピュータが解読可能な符号列によって記述され、コンピュータに請求項1に記載の音声シナリオ生成方法を実行させる音声シナリオ生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003126401A JP3992642B2 (ja) | 2003-05-01 | 2003-05-01 | 音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003126401A JP3992642B2 (ja) | 2003-05-01 | 2003-05-01 | 音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004334369A JP2004334369A (ja) | 2004-11-25 |
JP3992642B2 true JP3992642B2 (ja) | 2007-10-17 |
Family
ID=33503351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003126401A Expired - Lifetime JP3992642B2 (ja) | 2003-05-01 | 2003-05-01 | 音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3992642B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4743686B2 (ja) * | 2005-01-19 | 2011-08-10 | 京セラ株式会社 | 携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム |
JP2007257153A (ja) * | 2006-03-22 | 2007-10-04 | Ntt Data Corp | 文書データ読み上げ装置およびそのコンピュータプログラム |
JP5245737B2 (ja) * | 2008-11-12 | 2013-07-24 | 富士通株式会社 | 音声読み上げ文生成装置、音声読み上げ文生成方法および音声読み上げ文生成プログラム |
JP6168309B2 (ja) * | 2012-06-29 | 2017-07-26 | 日本電気株式会社 | 表情報理解システム、表情報変換システム、方法および記録媒体 |
US11062213B2 (en) | 2016-08-05 | 2021-07-13 | Nec Corporation | Table-meaning estimation system, method, and program |
JP6611355B2 (ja) * | 2016-09-16 | 2019-11-27 | 日本電信電話株式会社 | 表キャプション生成器学習装置、表キャプション生成装置、方法、及びプログラム |
JP7163143B2 (ja) * | 2018-11-13 | 2022-10-31 | 株式会社日立製作所 | 質問応答データ生成装置および質問応答データ生成方法 |
WO2023145052A1 (ja) * | 2022-01-31 | 2023-08-03 | 日本電気株式会社 | データ変換装置、データ変換方法、およびデータ変換プログラム |
-
2003
- 2003-05-01 JP JP2003126401A patent/JP3992642B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004334369A (ja) | 2004-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7693717B2 (en) | Session file modification with annotation using speech recognition or text to speech | |
US7478048B2 (en) | Method and system for automatically creating voice XML file | |
US20070244700A1 (en) | Session File Modification with Selective Replacement of Session File Components | |
CN1779782B (zh) | 用户界面设计装置和方法 | |
US20080077869A1 (en) | Conference supporting apparatus, method, and computer program product | |
JP2000352988A (ja) | 自動ヘッダ抽出機能付き選択読み上げ処理方法ならびにそのためのプログラムを記録した記録媒体 | |
CN104281705A (zh) | 搜索方法及搜索装置 | |
KR100905744B1 (ko) | 사용자 제작 문답 데이터에 기반한 회화 사전 서비스 제공방법 및 시스템 | |
CN106547511A (zh) | 一种语音播读网页信息的方法、浏览器客户端及服务器 | |
CN109460548B (zh) | 一种面向智能机器人的故事数据处理方法及系统 | |
CN106027485A (zh) | 基于语音交互的富媒体展示方法及系统 | |
JP3992642B2 (ja) | 音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラム | |
JPWO2007069512A1 (ja) | 情報処理装置及びプログラム | |
CN107908674A (zh) | 语音判断方法及装置、存储介质和处理器 | |
JP2018142286A (ja) | 電子図書製作用プログラム | |
US20050086057A1 (en) | Speech recognition apparatus and its method and program | |
JP2004334409A (ja) | データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム | |
JP5451696B2 (ja) | 字幕付加装置、コンテンツデータ、字幕付加方法及びプログラム | |
JP2006236037A (ja) | 音声対話コンテンツ作成方法、装置、プログラム、記録媒体 | |
JP4565585B2 (ja) | データ処理装置、データ処理方法、記録媒体 | |
CN100593949C (zh) | 信息处理装置、信息处理方法 | |
JP6731011B2 (ja) | 電子図書の表示用データの作成装置 | |
US20140067399A1 (en) | Method and system for reproduction of digital content | |
WO2021153403A1 (ja) | テキスト情報編集装置及びテキスト情報編集方法 | |
JP2005004100A (ja) | 聴取システムおよび音声合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3992642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |