JP4237915B2 - ユーザが文字列の発音を設定することを可能にするためにコンピュータ上で実行される方法 - Google Patents

ユーザが文字列の発音を設定することを可能にするためにコンピュータ上で実行される方法 Download PDF

Info

Publication number
JP4237915B2
JP4237915B2 JP2000130595A JP2000130595A JP4237915B2 JP 4237915 B2 JP4237915 B2 JP 4237915B2 JP 2000130595 A JP2000130595 A JP 2000130595A JP 2000130595 A JP2000130595 A JP 2000130595A JP 4237915 B2 JP4237915 B2 JP 4237915B2
Authority
JP
Japan
Prior art keywords
pronunciation
user
string
characters
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000130595A
Other languages
English (en)
Other versions
JP2000352989A (ja
Inventor
ジー.オーガスト キャサリン
マックナニー ミッチェル
Original Assignee
ルーセント テクノロジーズ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルーセント テクノロジーズ インコーポレーテッド filed Critical ルーセント テクノロジーズ インコーポレーテッド
Publication of JP2000352989A publication Critical patent/JP2000352989A/ja
Application granted granted Critical
Publication of JP4237915B2 publication Critical patent/JP4237915B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection

Description

【0001】
【発明の属する技術分野】
本発明は、ユーザインタフェースに関し、特に、テキスト−音声変換システムおよび自動音声認識システムとともに用いられるグラフィカルユーザインタフェースに関する。
【0002】
【従来の技術】
音声の認識および生成の技術は、他の従来の入出力装置の代替または補助として重要になっている。これは特に、基礎となる使用されるソフトウェア方法論と、必要な処理および記憶をサポートするハードウェアコンポーネントとにおける改良および進歩が続くとともに、正しくなるであろう。これらの技術がますます一般的に利用可能になり、大衆市場で使用されるようになるにつれて、音声認識・生成システムを初期化し変更する際に用いられる技術の改良が必要となる。
【0003】
合成または録音された音声の技術により読み上げられるテキストのファイルをユーザが処理することを可能にするいくつかの製品が存在する。さらに、音声言語を入力として処理し、単語やコマンドを識別し、アクションやイベントをトリガするために用いられるいくつかのソフトウェア製品がある。従来のいくつかの製品では、ユーザが、単語を辞書に追加し、辞書中の単語発音を変更し、また、テキスト−音声エンジンにより生成される音を変更することが可能である。
【0004】
しかし、これらの製品のユーザは、単語ファイルが作成される各言語の文法、発音、および言語規則についての専門的な情報を理解し使用することが要求される。さらに、これらの製品の一部では、発音を表現する手段は、他の分野では一般に使用されていない独特の発音キーによるマークアップ言語の習得を必要とする。
【0005】
その結果、これらの製品は、テキスト−音声変換技術および自動音声認識技術を、一般大衆にとって、不自由な(フレキシブルでない)近寄り難いものにしている。これらの製品では、ユーザは、言語規則およびプログラミング技術の両方の専門家になることが要求される。不自由さは、部分的には、これらの製品が、対象言語の一般的な規則を用いて、コンテクスト(例えば、方言の形での地理的コンテクスト)や、名前のような単語の発音に関する個別の好みとは無関係に発音を決定するために生じる。
【0006】
さらに、従来の製品は一般に、発音や発音の翻訳について得られる結果はあまり満足なものではない。これらの製品は、頭字語、固有名、技術用語、商標、あるいは他言語からとられた単語のような多くのタイプの単語に関してはあまりうまく動作しない。また、これらの製品は、句や文の中での位置に依存する単語の発音の変化を考慮する際にうまく動作しない(例えば、addressという単語は、名詞として使用されるときと動詞として使用されるときでは別様に発音される)。
【0007】
【発明が解決しようとする課題】
従って、非専門家ユーザがテキスト−音声変換技術や音声認識技術の利益をより多く享受することができるような簡単な方法で発音の規則および選択肢(オプション)を表示するユーザインタフェースの方法およびシステムが必要とされている。
【0008】
本発明の目的は、従来のテキスト−音声変換システムおよび音声認識システムにおける上記の課題を解決することである。
【0009】
本発明のもう1つの目的は、単語の発音を設定し変更するための単純で直感的なユーザインタフェースを提供することである。
【0010】
本発明のもう1つの目的は、言語の規則では通常用いられない、あるいは規則に違反する音または文字の群を、テキスト−音声変換システムおよび音声認識システムで使用できるようにすることである。
【0011】
【課題を解決するための手段】
本発明の以上およびその他の目的は、周知の発音とともにオーディオキューおよび普通の(ありふれた)単語に基づいて単語および単語の部分をどのように発音するかについてユーザが決定することを可能にする方法およびユーザインタフェースによって、達成される。
【0012】
実施例では、ユーザは、発音の設定または変更をしたい単語の入力または選択を行う。単語内の与えられた文字または文字群の発音を設定するために、ユーザが文字(群)を選択すると、全部または一部の発音が、選択された文字の可能な発音とほぼ同一である普通の単語のリストが提示される。好ましくは、サンプルの普通単語のリストは、通常使用における相関の頻度に基づいて順序づけられ、最も普通のものがデフォルトのサンプル単語として指定される。ユーザには、まず、リスト内の単語のうち、選択される可能性が高い単語からなるサブセットが提示される。
【0013】
さらに、本発明の実施例によれば、同じ単語についていくつかの異なる発音を辞書に記憶することにより、コンテクスト上の相違や個別の好みが許容される。
【0014】
さらに、別の実施例では、異なる言語について複数の辞書を記憶するが、ユーザは、特別の単語、単語の部分、および翻訳を考慮に入れるために、さまざまな辞書から発音を選択することができる。その結果、ユーザは、システムで利用可能な任意の音を有する単語を、その音が一般的に言語の規則に従う文字群に対応しない場合でも、作成し記憶させることが可能である。
【0015】
単語内の文字の発音を変更することに加えて、本発明の実施例によれば、ユーザは、単語を音節もしくは音節状の文字群または単語サブコンポーネントに容易に分解し、どの音節にアクセントをおくかを指定することができる。これは、与えられた言語の規則がそのような文字群(グループ分け)を音節としていない場合でも可能である。ここで、単語の音節とは、従来の音節とともに、他のグループ分けも指す。
【0016】
【発明の実施の形態】
テキスト−音声変換(TTS:text to speech)・自動音声認識(ASR:automated speech recognition)システム10を図1に示す。システム10は、マイクロコントローラまたはマイクロプロセッサ14と、メモリ装置16とを有するコンピュータ化装置またはシステム(コンピュータ)12を含む。システム10はさらに、ディスプレイ装置18、スピーカ20、入力装置22およびマイクロフォン24を有する。これらのすべてのコンポーネントは通常のものであり、当業者に周知であって、ここでこれ以上詳細に説明する必要はない。
【0017】
メモリ装置16(図示のようにコンピュータ装置12に組み込まれても、コンピュータ12から離れて配置されネットワークなどの接続を通じてアクセス可能としてもよい)は、本発明によるいくつかのプログラムおよびデータファイルを記憶する。発音選択プログラム26は、ここで説明するユーザインタフェースの生成のためにマイクロコントローラ14上で実行されると、ユーザの入力の処理、ならびに、データベース28および30からのデータの取得を行う。辞書データベース28は、システム10によって処理される各言語ごとに1つずつの、いくつかのデータベースまたはデータファイルからなり、文字列(STRING)およびそれに対応する1つ以上の発音(PRON)を記憶する。発音データベース30は、各言語ごとに1つずつの、いくつかのデータベースまたはデータファイルからなる。このデータベースの各レコードは、文字または文字群(CHAR)と、その文字が発音されるのとほぼ同一の方法で発音される文字を含む、その文字(群)に対応するいくつかのサンプル単語(SAMPLE WORD)とを有する。サンプル単語は、発音データベース30を作成する際に、言語の文法的および言語学的規則に基づいて選択される。好ましくは、各文字または文字群(例えば二重母音)に対するサンプル単語は、その文字の発音において、一般に、より普通の使用法からあまり普通でない使用法へと順序づけられる。
【0018】
辞書データベース28および発音データベース30は2つのデータベースとして図示されているが、これらは、1つのデータファイル、あるいは、ここで説明するような発音データの取得を容易にし、与えられたアプリケーションまたは使用法の需要を満たすのに要求されるその他の任意のフォーマットに構造化することが可能である。
【0019】
システム10はさらに、メモリ16に記憶されたTTSモジュール32およびASRモジュール34を含む。これらのモジュールは当業者に周知であり、例えば、IBMから市販されているViaVoice(R)ソフトウェアプログラムを含む。これらのモジュール32および34は、ディジタルデータとして記憶されているテキストを、スピーカ20によって出力するためにオーディオ信号に変換するとともに、マイクロフォン24を通じて入力されるオーディオ信号をディジタルデータに変換する。これらのモジュールは、辞書データベース28に記憶されている発音データを取得し利用する。
【0020】
辞書データベース28に記憶されている発音データをユーザが容易に変更することを可能にする方法は、撥音選択プログラム26によって実行される。その概略を図2に示し、詳細には図3および図4に示す。図2において、ステップ50で、本発明によれば、文字列(例えば単語、名前など)がディスプレイ装置18に表示される。ステップ52で、ユーザは、入力装置22を用いて、文字列から1つ以上の文字を選択する。理解されるように、発音変化は、母音のような個別の文字に関連することも、ou、ch、thまたはghのような文字群に関連することもある。ステップ54で、プログラム26は、発音データベース30に問合せを行い、選択された文字または文字群に関連づけられたサンプル単語を検索・取得する。その文字または文字群が発音データベースに存在しない場合、エラーメッセージが送られるか、または、それらの文字のうちの1つに対するサンプル単語が取得される。ステップ56で、サンプル単語のうちの一部または全部が表示され、ステップ58で、ユーザはそれらの単語のうちの1つを選択する。次に、ステップ60で、プログラム26は、選択された文字(群)の発音を提供するために、そのサンプル単語を用いて、文字列に対する発音データを生成する。ステップ62で、文字列および発音データが辞書データベース28に記憶される。文字列は、TTSモジュール32の出力から聞こえるように出力されるか、または、ASRモジュール34の話者照合または発声照合のために使用される。
【0021】
プログラム26によって実行されるプロセスについてさらに詳細に図3および図4に示す。このプロセス中に使用されるユーザインタフェースの実施例を図6〜図10に示す。図6に示すように、ディスプレイ装置18に表示されるインタフェース190は、
・選択された文字の手入力または表示のための入力ボックス200
・単語が選択されるまで無効であるテスト(TEST)ボタン202
・同様に単語が選択されるまで無効である変更(MODIFY)ボタン204
・選択肢SOUND(音)、ACCENT(アクセント)およびSYLLABLE(音節)(またはGROUPING(グループ分け))からなる選択リスト206
・ワークスペース208
を含む。
【0022】
上記のように、システム10は、好ましくは、異なる言語を表す複数の辞書データベースおよび発音データベースを含む。図3において、ステップ70で、ユーザはそれらの言語のうちの1つを選択し、ステップ72で、プログラム26は、選択された言語の辞書を開く。単語またはその他の文字列を選択するため、ステップ74で、ユーザは、選択された辞書をブラウズ(閲覧)することを選択することができる。この場合、ユーザは、データベース76から既存の単語を選択する。そうでない場合、ステップ78で、ユーザは、入力ボックス200にタイプ入力することなどによって、単語を入力する。
【0023】
次に、ステップ80で、ユーザは、テストボタン202を選択することによって、単語の発音をテストするかどうかを選択することができる。単語発音のテストの処理については、図5を参照して後述する。
【0024】
ステップ82で、ユーザは、変更ボタン204を選択することによって、単語の発音を変更することを選択することができる。選択しない場合、ステップ84で、ユーザは、ダイアログ190内のOKボタンを選択することによって、その単語および現在の発音を記憶させることができる。ステップ86で、単語が辞書データベース28内の既存の単語でない場合、ステップ88で、単語および発音のデータが辞書に記憶される。図5に関して後述するように、未変更の単語に対する発音データは、選択された言語の規則に基づくデフォルトの発音を用いて生成される。単語が既に存在する場合、ステップ90で、新しい発音データが辞書内の単語とともに記憶される。代わりの発音が、コンテクスト環境から参照されることも可能である。
【0025】
ユーザが発音を変更したい場合、選択リスト206内の3つの選択肢が利用可能である。
【0026】
選択された単語(入力ボックス200に現れている)は、個々の文字に分解され、ワークスペース208にコピーされる(図7を参照)。ワークスペース208はさらに、現在の発音に対する音節の分かれ目(ブレーク、ブレークポイント)(ワークスペース208内のダッシュ)およびアクセントマーク(ワークスペース208内のアポストロフィ)を示す。
【0027】
ステップ92で、ユーザが、音節のブレークを変更することを選択した場合、ブレークポイント記号210が表示される(図8を参照)。ステップ94で、記号210は、所望の音節ブレークポイントを指定するためにユーザが移動させることが可能である。ステップ96で、プログラム26は、既存の音節を、選択されたブレークポイントで2つの音節に分解する。
【0028】
ステップ98で、ユーザがアクセントを変更することを選択した場合、アクセントタイプ選択アイコン群212がインタフェース190に表示される(図9を参照)。アイコン群212は、3個のアイコン、すなわち、第1アクセント(主強勢)アイコン212a、第2アクセント(副強勢)アイコン212b、および無アクセント(無強勢)212cを含む。ステップ100で、ユーザは、これらのアイコンのうちの1つをクリックすることによって、アクセントレベルを選択する。次に、ステップ102で、ユーザは、例えば、ワークスペース208内で、音節の直後のボックスを選択することによって、その音節を選択する。ステップ104で、プログラム26は、選択されたアクセントレベルを選択された音節に指定する。さらに、選択された言語の規則に従って残りのアクセントを調整することが可能である。例えば、言語が1つの第1アクセントのある音節を規定しており、ユーザが第2音節を第1アクセントのために選択した場合、プログラムは、最初の第1アクセントを第2アクセントに変更するか、または、残りのすべてのアクセントを完全に削除することが可能である。
【0029】
次に図4において、ステップ106で、ユーザがリスト206内の文字音を変更することを選択した場合、ステップ108で、ユーザは、ワークスペース208内の1つ以上の文字を選択する。ステップ110で、プログラム26は、選択された言語に対する発音データベース30から、その発音またはその一部の発音が選択した文字に関連づけられるサンプル単語を検索・取得する。これらの単語は、単語リスト214に表示される(図10を参照)。ステップ112で、選択された文字に対するデフォルトの発音を表すサンプル単語が強調表示される。図10では、選択された文字iの発音として、サンプル単語buyが単語リスト214内で強調表示されている。同じく図10に示されるように、2、3個のサンプル単語のみが単語リスト214に示され、ユーザが追加の単語を見たり聞いたりするのはオプションとすることが可能である。
【0030】
ステップ114で、ユーザがサンプル単語のうちの1つを選択した場合、ステップ116で、選択された単語の発音データ、またはその一部が、ワークスペース208に含まれる選択単語の選択された文字に関連づけられる。その後、変更された単語は、上記のプロセスに従ってさらに変更することも、記憶させることも可能であり、あるいは、後述のようにテストすることも可能である。
【0031】
本発明のいくつかの特徴によれば、認識されるように、英語を含むほとんどの言語は、他の言語からとられた単語を含むため、ステップ118で、ユーザには、他の言語からの選択された文字に対する発音を選択するオプション(例えば、単語リスト214において、moreを選択した後)が与えられる。次に、ステップ120で、ユーザが所望の言語を選択すると、ステップ122で、プログラム26は、その選択された言語に対する発音データベースファイル30から、選択された文字に関連づけられたサンプル単語を検索・取得する。その後、サンプル単語は、上記のようにユーザの選択に対して提示される。
【0032】
この結果、ユーザが単語発音を変更することが可能な、簡単でフレキシブルなプロセスが実現される。プロセスの容易さおよびフレキシビリティの一例として、図10で選択された単語Michaelは、aとeの間、および、iとchの間に音節ブレークを追加し、新しい音節chaに第1アクセントを置き、普通の単語に基づいてi、ch(例えば、ヘブライ語辞書から)、aおよびeに対する適当な発音を選択することにより、英語発音「MiK’−el」から、ヘブライ名「Mee−cha’−el」に変更することが可能である。文法的および言語学的な専門知識は不要である。
【0033】
単語の発音をテストするプロセスを図5に示す。ステップ140で、単語が既に辞書データベース28に含まれている場合、ステップ142で、記憶されている発音が取得される。単語に対して複数の発音が存在する場合、ユーザに、1つを選択するか、デフォルトを使用するかを尋ねることが可能である。単語が存在しない場合、各文字または文字群ごとに、ステップ144で、ユーザがプログラム26を用いて発音を選択すると、ステップ146で、その発音データが取得され、それ以外の場合、ステップ148で、例えばデフォルトの発音が選択される。ステップ150で、すべての文字が調べられた後、ステップ152で、プログラム26は、取得した文字発音を用いて単語の発音を生成する。最後に、ステップ154で、TTSモジュールは、取得または生成された単語発音の可聴表現を出力する。
【0034】
上記のシステムによれば、1つの単語に対する複数の発音が可能であるため、TTSモジュールは、その単語をどの発音にするかを指定しなければならない。TTSモジュールは、単語が使用されているコンテクストに基づいて発音を指定することができる。例えば、発音は、ネットワーク上のユーザのような目的に関連づけることが可能であり、その場合、特定のユーザ宛のメッセージでは、発音が正しく選択されることになる。別の例として、TTSモジュールは、名詞対動詞のような単語の使用法を指定し、それに従って適当な発音を選択することも可能である。
【0035】
【発明の効果】
以上述べたごとく、本発明によれば、非専門家ユーザがテキスト−音声変換技術や音声認識技術の利益をより多く享受することができるような簡単な方法で発音の規則および選択肢(オプション)を表示するユーザインタフェースの方法およびシステムが実現される。
【図面の簡単な説明】
【図1】本発明の実施例によるシステムのブロック図である。
【図2】図1のシステムを用いて、本発明によりユーザが単語の発音を変更することを可能にするプロセスの概略を示す流れ図である。
【図3】本発明の実施例により、ユーザが単語の発音を変更することを可能にするプロセスをさらに詳細に示す流れ図である。
【図4】本発明の実施例により、ユーザが単語の発音を変更することを可能にするプロセスをさらに詳細に示す流れ図である。
【図5】単語の発音をテストするプロセスを示す流れ図である。
【図6】本発明の一実施例のグラフィカルユーザインタフェースを示すスクリーンディスプレイの図である。
【図7】本発明の一実施例のグラフィカルユーザインタフェースを示すスクリーンディスプレイの図である。
【図8】本発明の一実施例のグラフィカルユーザインタフェースを示すスクリーンディスプレイの図である。
【図9】本発明の一実施例のグラフィカルユーザインタフェースを示すスクリーンディスプレイの図である。
【図10】本発明の一実施例のグラフィカルユーザインタフェースを示すスクリーンディスプレイの図である。
【符号の説明】
10 テキスト−音声変換(TTS)・自動音声認識(ASR)システム
12 コンピュータ
14 マイクロコントローラ
16 メモリ装置
18 ディスプレイ装置
20 スピーカ
22 入力装置
24 マイクロフォン
26 発音選択プログラム
28 辞書データベース
30 発音データベース
32 TTSモジュール
34 ASRモジュール
190 インタフェース
200 入力ボックス
202 テスト(TEST)ボタン
204 変更(MODIFY)ボタン
206 選択リスト
208 ワークスペース
210 ブレークポイント記号
212 アクセントタイプ選択アイコン群
214 単語リスト

Claims (16)

  1. ユーザが文字列の発音を設定することを可能にするためにコンピュータ上で実行される方法において、
    文字列内の1つ以上の文字をユーザに選択させるステップと、
    複数の単語のサンプルであって各々が選択された1つ以上の文字に対する可能な発音を含むような複数のサンプルを、コンピュータによりアクセス可能なデータベースから取得し、取得したサンプルを表示する取得表示ステップと、
    表示されたサンプルのうちの1つをユーザに選択させるステップと、
    前記1つ以上の選択された文字に、ユーザによって選択されたサンプルに対応する発音を割り当てて、前記文字列を含む第1発音レコードを記憶するステップとを有することを特徴とする方法。
  2. 前記選択された1つ以上の文字に対する発音として、ユーザによって選択されたサンプルによって表される発音を用いて前記文字列の発音を生成するステップと、
    生成された発音を可聴出力するステップとをさらに有することを特徴とする請求項1に記載の方法。
  3. 前記生成された発音を可聴出力した後、もう1つの表示されたサンプルをユーザに選択させるステップをさらに有することを特徴とする請求項2に記載の方法。
  4. 第2の表示されたサンプルをユーザに選択させるステップと、
    前記選択された1つ以上の文字に、ユーザによって選択された第2のサンプルによって表される発音を割り当てて、前記文字列を含む第2発音レコードを記憶するステップとをさらに有することを特徴とする請求項1に記載の方法。
  5. 前記文字列を含むテキストファイルの可聴出力を生成するテキスト−音声変換プロセス中に、前記第1および第2発音レコードのうちの一方を選択するステップをさらに有することを特徴とする請求項4に記載の方法。
  6. 前記第1および第2発音レコードを第1および第2オブジェクトにそれぞれ関連づけるステップと、
    前記第1および第2オブジェクトのうちの一方を選択するステップとをさらに有し、
    前記第1および第2発音レコードのうちの一方を選択するステップは、選択されたオブジェクトに関連づけられた発音レコードを選択することを含むことを特徴とする請求項5に記載の方法。
  7. ユーザによる前記文字列の発音を、該文字列が使用されているコンテクストに基づいて指定するステップと、
    指定に従って前記第1および第2発音レコードを選択するステップとをさらに有することを特徴とする請求項4に記載の方法。
  8. 前記第1および第2発音レコードを第1および第2オブジェクトにそれぞれ関連づけるステップと、
    前記第1および第2オブジェクトのうち、選択された発音レコードに関連づけられたほうを選択するステップとをさらに有することを特徴とする請求項7に記載の方法。
  9. 前記文字列の一部を別個の音節としてユーザに指定させるステップをさらに有し、
    前記第1発音レコードを記憶するステップは、指定された別個の音節を表すデータを記憶することを含むことを特徴とする請求項1に記載の方法。
  10. 前記文字列の一部をアクセントに対応させるようにユーザに指定させるステップをさらに有し、
    前記第1発音レコードを記憶するステップは、指定されたアクセントを表すデータを記憶することを含むことを特徴とする請求項1に記載の方法。
  11. ユーザによる入力として前記文字列を受け取るステップをさらに有することを特徴とする請求項1に記載の方法。
  12. コンピュータによりアクセス可能な辞書データベースから前記文字列をユーザに選択させるステップをさらに有することを特徴とする請求項1に記載の方法。
  13. 所望の言語をユーザに選択させるステップをさらに有し、
    前記取得表示ステップは、
    複数の言語データベースから前記所望の言語のデータベースを選択するステップと、
    選択されたデータベースからサンプルを取得するステップとを含むことを特徴とする請求項1に記載の方法。
  14. 前記選択された1つ以上の文字に対する第2言語をユーザに選択させるステップと、
    選択された第2言語に対応する第2データベースから追加の単語サンプルを取得するステップとをさらに有することを特徴とする請求項1に記載の方法。
  15. 実行されると、ユーザが文字列の発音を設定することを可能にするグラフィカルユーザインタフェース方法をコンピュータに実行させるプログラムコードを記憶したコンピュータ可読媒体を含む製品において、前記方法は、
    文字列内の1つ以上の文字をユーザに選択させるステップと、
    複数の単語のサンプルであって各々が選択された1つ以上の文字に対する可能な発音を含むような複数のサンプルを、コンピュータによりアクセス可能なデータベースから取得し、取得したサンプルを表示する取得表示ステップと、
    表示されたサンプルのうちの1つをユーザに選択させるステップと、
    前記選択された1つ以上の文字に、ユーザによって選択されたサンプルに対応する発音を割り当てて、前記文字列を含む第1発音レコードを記憶するステップとを有することを特徴とする、コンピュータ可読媒体を含む製品。
  16. ユーザが文字列の発音を変更することを可能にするグラフィカルユーザインタフェースにおいて、
    メモリ装置上に記憶され、複数の第1文字列および対応する発音レコードを含む辞書データベースと、
    メモリ装置上に記憶され、それぞれが1つ以上の文字を含む複数の第2文字列を含み、各第2文字列は複数のサンプル単語に関連づけられ、各サンプル単語は第2文字列が発音されるのとほぼ同様に発音される1つ以上の文字を含む発音データベースと、
    ユーザが、前記辞書データベースから第1文字列のうちの1つを選択し、選択された文字列から1つ以上の文字を選択し、前記発音データベース内のサンプル単語のうちの1つを選択することを可能にする入出力システムと、
    選択された該サンプル単語の1つの中にある選択された文字(群)の発音に従って、選択された該第1文字列の発音を反映するように前記辞書データベースを変更するプログラマブルコントローラと
    を有することを特徴とするグラフィカルユーザインタフェース。
JP2000130595A 1999-04-30 2000-04-28 ユーザが文字列の発音を設定することを可能にするためにコンピュータ上で実行される方法 Expired - Fee Related JP4237915B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/303,057 US7292980B1 (en) 1999-04-30 1999-04-30 Graphical user interface and method for modifying pronunciations in text-to-speech and speech recognition systems
US09/303057 1999-04-30

Publications (2)

Publication Number Publication Date
JP2000352989A JP2000352989A (ja) 2000-12-19
JP4237915B2 true JP4237915B2 (ja) 2009-03-11

Family

ID=23170358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000130595A Expired - Fee Related JP4237915B2 (ja) 1999-04-30 2000-04-28 ユーザが文字列の発音を設定することを可能にするためにコンピュータ上で実行される方法

Country Status (6)

Country Link
US (1) US7292980B1 (ja)
EP (1) EP1049072B1 (ja)
JP (1) JP4237915B2 (ja)
KR (1) KR100378898B1 (ja)
CA (1) CA2306527A1 (ja)
DE (1) DE60020773T2 (ja)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149690B2 (en) 1999-09-09 2006-12-12 Lucent Technologies Inc. Method and apparatus for interactive language instruction
KR100464019B1 (ko) * 2000-12-29 2004-12-30 엘지전자 주식회사 음성 인식기의 발음 사전 편집시 발음열 디스플레이 방법
KR100352748B1 (ko) * 2001-01-05 2002-09-16 (주) 코아보이스 온라인 학습형 음성합성 장치 및 그 방법
US6513008B2 (en) * 2001-03-15 2003-01-28 Matsushita Electric Industrial Co., Ltd. Method and tool for customization of speech synthesizer databases using hierarchical generalized speech templates
GB2388286A (en) * 2002-05-01 2003-11-05 Seiko Epson Corp Enhanced speech data for use in a text to speech system
GB2393369A (en) * 2002-09-20 2004-03-24 Seiko Epson Corp A method of implementing a text to speech (TTS) system and a mobile telephone incorporating such a TTS system
US7389228B2 (en) 2002-12-16 2008-06-17 International Business Machines Corporation Speaker adaptation of vocabulary for speech recognition
CA2501888C (en) 2003-03-14 2014-05-27 Nippon Telegraph And Telephone Corporation Optical node device, network control device, maintenance-staff device, optical network, and 3r relay implementation node decision method
US20040215534A1 (en) 2003-04-25 2004-10-28 Apple Computer, Inc. Method and system for network-based allowance control
JP4789802B2 (ja) 2003-04-25 2011-10-12 アップル インコーポレイテッド メディアアイテムをブラウズ、サーチおよび提示するグラフィカルユーザインタフェース
US7805307B2 (en) 2003-09-30 2010-09-28 Sharp Laboratories Of America, Inc. Text to speech conversion system
US7844548B2 (en) 2003-10-15 2010-11-30 Apple Inc. Techniques and systems for electronic submission of media for network-based distribution
US20060277044A1 (en) * 2005-06-02 2006-12-07 Mckay Martin Client-based speech enabled web content
JP2009525492A (ja) * 2005-08-01 2009-07-09 一秋 上川 英語音、および他のヨーロッパ言語音の表現方法と発音テクニックのシステム
US8249873B2 (en) 2005-08-12 2012-08-21 Avaya Inc. Tonal correction of speech
US20070050188A1 (en) * 2005-08-26 2007-03-01 Avaya Technology Corp. Tone contour transformation of speech
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7827162B2 (en) 2006-05-15 2010-11-02 Apple Inc. Media package format for submission to a media distribution system
US8015237B2 (en) 2006-05-15 2011-09-06 Apple Inc. Processing of metadata content and media content received by a media distribution system
US7962634B2 (en) 2006-05-15 2011-06-14 Apple Inc. Submission of metadata content and media content to a media distribution system
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7873517B2 (en) * 2006-11-09 2011-01-18 Volkswagen Of America, Inc. Motor vehicle with a speech interface
JP4894533B2 (ja) * 2007-01-23 2012-03-14 沖電気工業株式会社 音声ラベリング支援システム
US8719027B2 (en) * 2007-02-28 2014-05-06 Microsoft Corporation Name synthesis
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20090259502A1 (en) * 2008-04-10 2009-10-15 Daniel David Erlewine Quality-Based Media Management for Network-Based Media Distribution
US9076176B2 (en) * 2008-05-05 2015-07-07 Apple Inc. Electronic submission of application programs for network-based distribution
US9342287B2 (en) 2008-05-05 2016-05-17 Apple Inc. Software program ratings
US8990087B1 (en) * 2008-09-30 2015-03-24 Amazon Technologies, Inc. Providing text to speech from digital content on an electronic device
US8655660B2 (en) * 2008-12-11 2014-02-18 International Business Machines Corporation Method for dynamic learning of individual voice patterns
US20100153116A1 (en) * 2008-12-12 2010-06-17 Zsolt Szalai Method for storing and retrieving voice fonts
US8160881B2 (en) * 2008-12-15 2012-04-17 Microsoft Corporation Human-assisted pronunciation generation
US8775184B2 (en) * 2009-01-16 2014-07-08 International Business Machines Corporation Evaluating spoken skills
US20100235254A1 (en) * 2009-03-16 2010-09-16 Payam Mirrashidi Application Products with In-Application Subsequent Feature Access Using Network-Based Distribution System
GB2470606B (en) * 2009-05-29 2011-05-04 Paul Siani Electronic reading device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9729609B2 (en) 2009-08-07 2017-08-08 Apple Inc. Automatic transport discovery for media submission
KR101217653B1 (ko) * 2009-08-14 2013-01-02 오주성 영어 학습 시스템
US8935217B2 (en) 2009-09-08 2015-01-13 Apple Inc. Digital asset validation prior to submission for network-based distribution
CN102117614B (zh) * 2010-01-05 2013-01-02 索尼爱立信移动通讯有限公司 个性化文本语音合成和个性化语音特征提取
JP4942860B2 (ja) * 2010-01-22 2012-05-30 三菱電機株式会社 認識辞書作成装置、音声認識装置及び音声合成装置
US20110184736A1 (en) * 2010-01-26 2011-07-28 Benjamin Slotznick Automated method of recognizing inputted information items and selecting information items
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9640175B2 (en) * 2011-10-07 2017-05-02 Microsoft Technology Licensing, Llc Pronunciation learning from user correction
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
RU2510954C2 (ru) * 2012-05-18 2014-04-10 Александр Юрьевич Бредихин Способ переозвучивания аудиоматериалов и устройство для его осуществления
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8990188B2 (en) 2012-11-30 2015-03-24 Apple Inc. Managed assessment of submitted digital content
US9087341B2 (en) 2013-01-11 2015-07-21 Apple Inc. Migration of feedback data to equivalent digital assets
US10319254B2 (en) * 2013-03-15 2019-06-11 Joel Lane Mayon Graphical user interfaces for spanish language teaching
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
KR101487005B1 (ko) * 2013-11-13 2015-01-29 (주)위버스마인드 문장입력을 통해 발음교정을 실시하는 외국어 학습장치 및 그 학습방법
JP6336749B2 (ja) * 2013-12-18 2018-06-06 株式会社日立超エル・エス・アイ・システムズ 音声合成システム及び音声合成方法
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9953631B1 (en) 2015-05-07 2018-04-24 Google Llc Automatic speech recognition techniques for multiple languages
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US9910836B2 (en) 2015-12-21 2018-03-06 Verisign, Inc. Construction of phonetic representation of a string of characters
US9947311B2 (en) * 2015-12-21 2018-04-17 Verisign, Inc. Systems and methods for automatic phonetization of domain names
US10102189B2 (en) 2015-12-21 2018-10-16 Verisign, Inc. Construction of a phonetic representation of a generated string of characters
US10102203B2 (en) 2015-12-21 2018-10-16 Verisign, Inc. Method for writing a foreign language in a pseudo language phonetically resembling native language of the speaker
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN111968619A (zh) * 2020-08-26 2020-11-20 四川长虹电器股份有限公司 控制语音合成发音的方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68913669T2 (de) 1988-11-23 1994-07-21 Digital Equipment Corp Namenaussprache durch einen Synthetisator.
US5027406A (en) * 1988-12-06 1991-06-25 Dragon Systems, Inc. Method for interactive speech recognition and training
JPH05204389A (ja) 1992-01-23 1993-08-13 Matsushita Electric Ind Co Ltd 音声規則合成用ユーザー辞書登録システム
US5393236A (en) * 1992-09-25 1995-02-28 Northeastern University Interactive speech pronunciation apparatus and method
US5850627A (en) * 1992-11-13 1998-12-15 Dragon Systems, Inc. Apparatuses and methods for training and operating speech recognition systems
JPH06176023A (ja) * 1992-12-08 1994-06-24 Toshiba Corp 音声合成システム
US5799267A (en) * 1994-07-22 1998-08-25 Siegel; Steven H. Phonic engine
JPH0895587A (ja) 1994-09-27 1996-04-12 Oki Electric Ind Co Ltd テキスト音声合成方法
AU3734395A (en) * 1994-10-03 1996-04-26 Helfgott & Karas, P.C. A database accessing system
US5697789A (en) * 1994-11-22 1997-12-16 Softrade International, Inc. Method and system for aiding foreign language instruction
US5787231A (en) * 1995-02-02 1998-07-28 International Business Machines Corporation Method and system for improving pronunciation in a voice control system
JPH08320864A (ja) 1995-05-26 1996-12-03 Fujitsu Ltd 音声合成用の辞書登録装置
US5999895A (en) * 1995-07-24 1999-12-07 Forest; Donald K. Sound operated menu method and apparatus
JP3483230B2 (ja) * 1995-10-20 2004-01-06 株式会社リコー 発声情報作成装置
US5799276A (en) * 1995-11-07 1998-08-25 Accent Incorporated Knowledge-based speech recognition system and methods having frame length computed based upon estimated pitch period of vocalic intervals
JPH09325787A (ja) * 1996-05-30 1997-12-16 Internatl Business Mach Corp <Ibm> 音声合成方法、音声合成装置、文章への音声コマンド組み込み方法、及び装置
US5845238A (en) * 1996-06-18 1998-12-01 Apple Computer, Inc. System and method for using a correspondence table to compress a pronunciation guide
JP3660432B2 (ja) * 1996-07-15 2005-06-15 株式会社東芝 辞書登録装置及び辞書登録方法
US5850629A (en) * 1996-09-09 1998-12-15 Matsushita Electric Industrial Co., Ltd. User interface controller for text-to-speech synthesizer
JPH10153998A (ja) * 1996-09-24 1998-06-09 Nippon Telegr & Teleph Corp <Ntt> 補助情報利用型音声合成方法、この方法を実施する手順を記録した記録媒体、およびこの方法を実施する装置
US5950160A (en) 1996-10-31 1999-09-07 Microsoft Corporation Method and system for displaying a variable number of alternative words during speech recognition
JP3573907B2 (ja) * 1997-03-10 2004-10-06 株式会社リコー 音声合成装置
US5933804A (en) * 1997-04-10 1999-08-03 Microsoft Corporation Extensible speech recognition system that provides a user with audio feedback
US6226614B1 (en) * 1997-05-21 2001-05-01 Nippon Telegraph And Telephone Corporation Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon
JPH10336354A (ja) 1997-06-04 1998-12-18 Meidensha Corp マルチメディア公衆電話システム
US6016471A (en) * 1998-04-29 2000-01-18 Matsushita Electric Industrial Co., Ltd. Method and apparatus using decision trees to generate and score multiple pronunciations for a spelled word
US6185535B1 (en) 1998-10-16 2001-02-06 Telefonaktiebolaget Lm Ericsson (Publ) Voice control of a user interface to service applications
US6275789B1 (en) * 1998-12-18 2001-08-14 Leo Moser Method and apparatus for performing full bidirectional translation between a source language and a linked alternative language
US6389394B1 (en) * 2000-02-09 2002-05-14 Speechworks International, Inc. Method and apparatus for improved speech recognition by modifying a pronunciation dictionary based on pattern definitions of alternate word pronunciations
US6865533B2 (en) * 2000-04-21 2005-03-08 Lessac Technology Inc. Text to speech

Also Published As

Publication number Publication date
EP1049072B1 (en) 2005-06-15
EP1049072A3 (en) 2003-10-15
DE60020773T2 (de) 2006-05-11
KR100378898B1 (ko) 2003-04-07
EP1049072A2 (en) 2000-11-02
KR20000077120A (ko) 2000-12-26
US7292980B1 (en) 2007-11-06
DE60020773D1 (de) 2005-07-21
CA2306527A1 (en) 2000-10-30
JP2000352989A (ja) 2000-12-19

Similar Documents

Publication Publication Date Title
JP4237915B2 (ja) ユーザが文字列の発音を設定することを可能にするためにコンピュータ上で実行される方法
US8583418B2 (en) Systems and methods of detecting language and natural language strings for text to speech synthesis
US8396714B2 (en) Systems and methods for concatenation of words in text to speech synthesis
US8352268B2 (en) Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8712776B2 (en) Systems and methods for selective text to speech synthesis
US8352272B2 (en) Systems and methods for text to speech synthesis
US7881928B2 (en) Enhanced linguistic transformation
JP4833313B2 (ja) 中国語方言判断プログラム
US20100082348A1 (en) Systems and methods for text normalization for text to speech synthesis
US20100082327A1 (en) Systems and methods for mapping phonemes for text to speech synthesis
US20100082328A1 (en) Systems and methods for speech preprocessing in text to speech synthesis
JP2001188777A (ja) 音声をテキストに関連付ける方法、音声をテキストに関連付けるコンピュータ、コンピュータで文書を生成し読み上げる方法、文書を生成し読み上げるコンピュータ、コンピュータでテキスト文書の音声再生を行う方法、テキスト文書の音声再生を行うコンピュータ、及び、文書内のテキストを編集し評価する方法
JPS6259996A (ja) 辞書操作装置
JP2007206317A (ja) オーサリング方法、オーサリング装置およびプログラム
KR20060037228A (ko) 음성인식을 위한 방법, 시스템 및 프로그램
JP2009511959A (ja) 音素のnグラムを使用した単語および名前の生成
US6456973B1 (en) Task automation user interface with text-to-speech output
US7099828B2 (en) Method and apparatus for word pronunciation composition
US20090281808A1 (en) Voice data creation system, program, semiconductor integrated circuit device, and method for producing semiconductor integrated circuit device
JP3762300B2 (ja) テキスト入力処理装置及び方法並びにプログラム
US20030216921A1 (en) Method and system for limited domain text to speech (TTS) processing
Bengu et al. Educational Application of an Online Context Sensitive Speech Dictionary
JPH08221095A (ja) 文章読み上げ方法
JP2001075963A (ja) 翻訳システム、歌詞翻訳サーバおよび記録媒体
JP2001166790A (ja) 書き起こしテキスト自動生成装置、音声認識装置および記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080826

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081219

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4237915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees