JPH1195791A - 音声認識方法 - Google Patents

音声認識方法

Info

Publication number
JPH1195791A
JPH1195791A JP10213184A JP21318498A JPH1195791A JP H1195791 A JPH1195791 A JP H1195791A JP 10213184 A JP10213184 A JP 10213184A JP 21318498 A JP21318498 A JP 21318498A JP H1195791 A JPH1195791 A JP H1195791A
Authority
JP
Japan
Prior art keywords
word
utterance
count
words
speech recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10213184A
Other languages
English (en)
Other versions
JP3568785B2 (ja
Inventor
Rangasuwamii Setoraa Anando
ランガスワミー セトラー アナンド
Antouun Satsukaa Rafuido
アントゥーン サッカー ラフィド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Lucent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lucent Technologies Inc filed Critical Lucent Technologies Inc
Publication of JPH1195791A publication Critical patent/JPH1195791A/ja
Application granted granted Critical
Publication of JP3568785B2 publication Critical patent/JP3568785B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • G10L15/05Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)

Abstract

(57)【要約】 【課題】 時間遅延の生じない音声認識方法及び装置を
提供する。 【解決手段】 最も見込みのある音声認識結果を得て、
この結果を、エネルギーに基づく音声終了が決定される
前に利用することにより時間遅延の生じない音声認識が
可能になる。本発明では、即座に利用可能な音声認識結
果を使用し、音声応答システムのためのインテリジェン
ト・バージ・インを提供し、そして、ワードをカウント
し、部分列を出力し、全体的なワード順序に関連するタ
スクの並列処理及び/又はパイプライン処理を行い、こ
れにより処理スループットを向上させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は自動音声認識方法及
び装置に関する。更に詳細には、本発明は連接されたワ
ード(語)の認識速度を高める方法及び装置に関する。
【0002】
【従来の技術】様々な自動音声認識方法や装置が存在
し、広く知られている。動的計画法(dynamic programin
g)及び隠れマルコフ・モデル(HMM:Hidden Markov M
odel)を使用する方法は、Frame-Synchronous Network
Search Algorithm for ConnectedWord Recognition by
Chin-Hui Lee and Lawrence R. Rabiner published in
the IEEE Transactions on Acoustics, Speech and Sig
nal Processing Vol. 37,No. 11, November 1989などの
文献に記載され公知である。Lee-Rabinerの前掲書は1
989年における連接ワード(connected word)の自動音
声認識に関する方法とシステムの状態の全体像について
優れた知見を与える。
【0003】1996年10月発行のICSLP会報に掲載
されたE.Buhrke,W.Chou及びQ.Zhouらの“A Wave Decode
r for Continuous Speech Recognition”という表題の
論文には、音声認識性能とハードウエア要件を改善する
ためのビームサーチ法と呼ばれる技法が記載されてい
る。Buhrkeらの論文には、最良優先探索戦略(best-firs
tsearching strategy)とその技術について説明したD.B.
Paulの“An Efficient A*Stack Decoder...”という表
題の論文についても言及している。
【0004】前掲論文に説明されるような音声認識は、
ワード(W1−Wn)の最良(すなわち、最尤スコア)シー
ケンスをサーチ(探索)することからなる。ワード最良
シーケンスは入力音声発声に対応する。音声認識に使用
されている有力なサーチアルゴリズムは動的ビタビ(Vit
erbi)デコーダである。このデコーダは、その処理系の
能率がよい。発声に対応する最良ワードシーケンスを発
見するための可能性のある全てのワードの完全サーチは
依然として規模が大きすぎるし、時間がかかりすぎる。
【0005】サーチ規模とサーチ時間の問題に取り組む
ために、ビームサーチ法がしばしば実行されてきた。ビ
ームサーチ法では、有望な(すなわち、現在の最良スコ
アから規定された数学的距離内のもの)ワードシーケン
ス仮体(word sequence hypotheses)を保持し、拡張す
る。非有望な仮体はこのサーチから“剪定(prun)”され
るか又は取除かれる。この非有望なワードシーケンス仮
体の剪定は、サーチ規模の縮小及びサーチに必要な時間
の短縮には効果的であり、構築されるべき音声認識シス
テムの実際的な処理を可能にする。
【0006】認識されるべき発声の開始時点で、所定の
文法に基づくシーケンスを開始するための有効なワード
である発声ワードだけを起動させることができる。各タ
イムフレームにおいて、ビタビアルゴリズムを使用する
動的計画法はワードネットワークのアクティブ部分によ
り行われる。ビームサーチ戦略が使用される間中、ワー
ドネットワークのアクティブ部分は変化する。非有望な
ワードシーケンスは剪定され、一層有望なワードシーケ
ンスは所定の文法で特定されるように拡張され、そして
ワードネットワークのアクティブ部分に包含されるよう
になる。
【0007】各タイムフレームにおいて、この音声認識
システムは、復号化ツリー上の各ノードにリンクされる
全ての存続可能なワードシーケンスをコンパイルする。
この復号化ツリーは、そのノードと共に、タイムフレー
ム毎に更新される。もはやアクティブでなくなったノー
ドは除去され、新たなノードが、新たにアクティブにな
ったワードに付加される。従って、復号化ツリーは、リ
ンク化されたリストを使用するビームサーチアルゴリズ
ムにより剪定されない存続可能なワードシーケンスを保
持する。
【0008】復号化ツリーの各ノードは一ワードに対応
し、ワードエンドタイム、ワードシーケンスの先行ワー
ドノードに対するポインタ及び格納されたワードシーケ
ンスの累積スコアなどのような情報を有する。発声の終
了時点で、最高累積スコアを有するワードノードを、復
号化ツリー内のポインタエントリ列に逆走査される。こ
の逆走査は音声認識において一般的に、“バックトラッ
キング(後戻り)”として知られている。
【0009】自動音声認識の従来の方法及びシステムの
共通の欠点は、会話された発声の終点を検出するために
エネルギー検出器を使用することである。エネルギー検
出は、信号処理における周知の方法と発声の開始と終了
を検出する関連フィールドを与える。音声認識方法20
0に基づくエネルギー検出を図2に示す。音声認識方法
200は、音声認識用のタイムフレーム内で電話回線を
介して受信されるような入力信号をデジタル化するため
に、バックグラウンドタイムフレーム化装置(図示され
ていない)を使用する。
【0010】タイムフレームはステップ202で分析さ
れ、フレームが音声処理を開始するのに十分なほど有意
であるエネルギーを有するか否か決定する。フレームが
考慮するほど十分なエネルギーを有しない場合、ステッ
プ202は次のフレームについて繰り返される。一方、
考慮するほど十分なエネルギーが存在する場合、音声認
識方法200はステップ204〜ステップ210に進
む。これらのステップは代表的な音声認識ステップであ
る。
【0011】次に、ステップ220において、音声認識
処理を開始するフレームをチェックし、受信エネルギー
及びシステムが、同時に発生した聴覚プロンプトを鳴ら
したか否か決定する。答えが“YES”である場合、バー
ジ・イン(barge-in)状態が発生し、発声の音声処理のそ
の他については、ステップ222で聴覚プロンプトが停
止される。
【0012】次いで、ステップ220における否定的決
定又はステップ222におけるプロンプト停止の何れか
から、ステップ224において、有意なエネルギー無し
にギャップタイムが発生したか否か決定する。このよう
なギャップタイムは現在の発声の終点を示す。
【0013】ギャップタイムが発生していない場合、こ
れは、分析すべき音声が更に存在することを意味し、音
声認識処理はステップ204へ戻る。さもなければ、エ
ネルギーを伴わないギャップタイムは現在の発声の終了
と解釈され、発声に対応する最も有望なワードシーケン
スを発見するために、“バックトラッキング”を開始す
る。
【0014】生憎、このギャップタイムは、一般的に、
1秒から1.5秒の範囲内の時間遅延に等しい。個人的
な起呼者の場合、この遅延は殆ど問題にならないが、電
話サービスプロバイダーの場合、自動コレクトプレーシ
ングサービスに対するような、1日当たり数千コールに
ついて、1秒〜1.5秒を合計することができる。60
00コールの場合、音声認識システムを使用中に、1.
5秒は総計で2.5時間の遅延になる。
【0015】多量に使用されるシステムの場合、この1
秒〜1.5秒の遅延は、電話サービスプロバイダーに多
数の音声認識装置を購入させるか、若しくは、料金請求
可能な電話サービスの膨大な損失を被らせる。更に、エ
ネルギーギャップタイムに基づいて発声終了の決定が行
われるまで、最も有望なワードシーケンスを発見するた
めのバックトラッキングが開始されないので、並列処理
及び/又はパイプライン処理のための部分的ワードシー
ケンスの使用は不可能である。
【0016】
【発明が解決しようとする課題】従って、本発明の目的
は、時間遅延の生じない新規な音声認識方法及び装置を
提供することである。
【0017】
【課題を解決するための手段】前記課題は、音声発声が
開始されたか否か決定するステップを有し、発声が開始
されていない場合、次のフレームを取得し、そして、こ
の音声発声開始決定ステップを再実行するステップを有
する方法により解決される。
【0018】発声(utterance)を開始した場合、次のス
テップにおいて、次の時点のフレーム期間を示す音声発
声の音声フレームを取得する。次いで、音声認識で使用
される音声フレームから特徴(feature)を抽出する。次
のステップにおいて、動的計画法を実行し、音声認識ネ
ットワークを構築し、次いで、この音声認識ネットワー
クを用いてビームサーチ(beam search)を実行する。次
のステップにおいて、ビームサーチ後に、音声発声の復
号化ツリーを更新する。
【0019】次のステップにおいて、音声発声の最初の
ワードが受信されたか否か決定し、受信された場合、聴
覚プロンプトを機能停止させ、次のステップを継続する
か、さもなければ、最初のワードの受信が決定されない
場合、次のステップを継続する。この次のステップで
は、N個のワードが受信されたか否か決定し、N個のワ
ードが受信されいない場合、次のフレームの取得ステッ
プへ戻るか、さもなければ、次のステップを継続する。
【0020】Nは、音声発声の終点を示す音声発声の最
大ワードカウント数なので、この次のステップでは、受
信音声発声に対応する最大有望度を有するワードストリ
ングを取得するために、最大有望度スコア(greatest li
kelyhood score)を有するビームサーチパスを介してバ
ックトラッキングする。ストリングが決定された後、次
のステップで、ワードストリングを出力する。
【0021】また、前記課題は、本発明の音声発声の音
声認識システムによっても解決される。本発明の音声認
識システムは、(1)音声発声が開始されたか否か決定す
る手段と、(2)前記音声発声開始決定手段に応答して、
次の時点のフレーム期間を示す音声発声の音声フレーム
を取得する手段と、(3)前記音声フレームから特徴を抽
出する手段と、(4)動的計画法を用いて音声認識ネット
ワークを構築する手段と、(5)音声認識ネットワークを
用いてビームサーチを実行する手段と、(6)ビームサー
チ後に、音声発声の復号化ツリーを更新する手段と、
(7)音声発声の最初のワードが受信されたか否か決定
し、受信された場合、聴覚プロンプトを機能停止させる
手段と、(8)音声発声の更なる音声認識を素速く終了さ
せるために、N個のワードが受信されたか否か決定する
手段と、(9)前記N個のワード決定手段に応答して、受
信された音声発声に対応する最大有望度を有するワード
ストリングを取得するために、最大有望度スコアを有す
るビームサーチパスを介してバックトラッキングする手
段と、(10)前記ワードストリングを出力する手段とを有
する。このシステムは、接続されたメモリに格納され、
このメモリから検索される格納プログラムを実行するプ
ロセッサにより実現される。
【0022】
【発明の実施の形態】図1は、本発明による音声認識シ
ステム102を使用する集成装置10のブロック図であ
る。
【0023】この音声認識システム102は、プロセッ
サ104を有する。プロセッサ104は、メモリ106
に格納されたプログラムを実行する。音声認識システム
102の多数の事例を1枚の回路基板で実現できるの
で、音声認識の多数のチャネルが供給される。メモリ1
06は、音声認識プログラムとサポーティングデータを
格納するための全てのタイプのメモリを含む。例えば、
ROM、RAM及び大容量記憶装置などである。
【0024】音声認識システム102は電話ネットワー
ク80からデータを連続的に取得し、このデータをフレ
ームに分割し、次いで、各タイムフレームを処理し、プ
ロセッサ及び格納プログラムにより提供される音声認識
方法により分析されるべき受信入力信号の多数の特性及
び係数を供給する。従来技術の欄で述べたように、これ
らの音声認識技法は、隠れマルコフ・モデル(HMM)
及びビームサーチ技法を含む。
【0025】従来技術の欄で述べたように、図2は音声
認識の公知の方法200を示す流れ図である。この方法
200は、図1に示された音声認識システム102を使
用することにより実行することができる。
【0026】図1及び図3を参照しながら、音声認識シ
ステム102を用いて実行できる別の方法について説明
する。音声認識方法300は本発明による方法である。
音声認識方法300はステップ302から開始される。
ステップ302では、音声エネルギーが音声認識システ
ム102で受信されたか否かの決定を行う。
【0027】音声エネルギーが受信されていないと決定
されると、次の期間についてステップ302を繰り返
す。従って、図2におけるステップ202と同様に、ス
テップ302では、電話ネットワーク80から受信され
る信号を連続的にフレームするために、タイムフレーム
処理が必要である。往々にして、これらのフレームは空
であるか、又は、ノイズ信号しか有しない。このような
場合、エネルギーレベルは低いので、ステップ302
は、認識されるべき音声として、空フレーム又は低エネ
ルギーレベルフレームを考慮しない。
【0028】大量のノイズが存在するか又は誰かが騒音
を立てるか若しくは咳払い、呼吸又は会話などのような
或る種の発声が存在する場合、ステップ302は、音声
認識方法を開始させるのに十分な音声エネルギーが存在
することを決定し、音声認識方法を開始する。
【0029】次に、ステップ304では、最新のタイム
フレームを連続的にロードし、この最新のフレームが丁
度開始時点のものであれば、このフレームが第1のフレ
ームとなる。第1のフレームを取得した後、ステップ3
04は、現在の発声の音声処理が完了するまで、全ての
タイムフレームを連続的にロードする。ステップ304
におけるロード終了後、ステップ306で、各フレーム
からその特徴を抽出し、格納する。この特徴抽出は一般
的な特徴抽出である。
【0030】ステップ308において、抽出された特徴
を、ワード及び所定の文法のワードシーケンスのモデル
(例えば、隠れマルコフモデル)と比較する。抽出され
た特徴がアクティブなワードモデルと比較されるに応じ
て、ステップ308において、最尤スコアにコンパイル
される。
【0031】ステップ310では、アクティブノードモ
デルスコアを取得し、動的計画法を実行し、被認識発声
であり得るような可能性のあるワードシーケンスのワー
ドネットワークを構築する。この動的計画法は、その動
作においてビタビアルゴリズムを使用する。現在のフレ
ームについて動的計画法が完了したら、ステップ312
において、ビームサーチを実行する。
【0032】このビームサーチは、非有望な(unlikely)
ワードシーケンスを剪定(prun)し、有望な(likely)ワー
ドシーケンスを拡張し、更新されたアクティブワードリ
ストを格納する。次に、ステップ314で、構築された
復号化ツリーを更新し、発声の終了時点で、発声に対応
する最も有望な(most likely)ワードシーケンスを供給
する。ステップ314の後、音声認識方法300は2つ
の並列パスで動作する。両方のパスともアクティブであ
り、発声の終了のそれぞれの定義に従って発声の終了を
捜索する。
【0033】ステップ320で、所定の文法の最初のワ
ードが発声内で認識されたか否か決定する。この決定は
音声認識に基づくものであり、エネルギーに基づくもの
ではない。この決定は、復号化ツリー内に含まれる生き
残り(viable)ワードシーケンスを、復号化ツリーの非無
音ノードに結合されるポインタを介して走査することに
より試験することによって行われる。
【0034】全ての生き残りパスが、所定の文法内に存
在する少なくとも一つの非無音ワードを含む場合、最初
のワードが発声されたと決定される。文法の最初のワー
ドが発声されると、ステップ322において、音声認識
に基づくバージ・イン(barge-in)が宣言され、聴覚プロ
ンプトが機能停止される。これが最初のワードでないか
又は次のステップが最初のワードの処理ステップ322
の後である場合、音声認識方法300はステップ324
へ進む。
【0035】ステップ320及び322の音声認識系バ
ージ・インは、絶対的な意味において、エネルギー検出
方法よりも緩慢ではあるが、所定の文法の一部ではない
ワード又は騒音については、音声認識系バージ・インは
高信頼性である。この優れたバージ・イン信頼性は、バ
ージ・インのために停止される聴覚プロンプトが、聴覚
プロンプトに対する予想応答に関連しない、咳払い、周
囲の会話又はその他の騒音のために停止されないことを
意味する。
【0036】従って、真性なバージ・イン音声以外の何
らかの騒音により不意に停止される聴覚プロンプトによ
り、話者が混乱させられたり、スローダウンさせられた
りすることはない。
【0037】ステップ324において、最も有望なワー
ドシーケンスにおけるワード数のカウントを行う。ステ
ップ324において、復号化ツリーは現在のフレームを
満足させ、試験される全ての生き残りワードシーケンス
の語数をカウントする。この試験は、復号化ツリーに含
まれる生き残りワードシーケンスを試験し、次いで、復
号化ツリーの非無音ノードに結合されるポインタを介し
て走査することにより行われる。
【0038】復号化ツリー内の各ワードシーケンスが正
確に各シーケンス内にn個のワードを有する場合、n個
のワードが発声されたと決定される。しかし、少なくと
も一つの生き残りワードシーケンスがn個以外のワード
を有する場合、試験は、現在のフレームのワード数のカ
ウントはn個であると結論しない。n個のワードカウン
トは、最大ワードカウントN個を有するワードカウント
n個に達する。
【0039】カウントn個が、ワードシーケンス内のワ
ード数の最大予想個数のN個に等しい場合、発声の音声
認識処理の完了宣言がなされ、最も有望なワードシーケ
ンスを出力するために、走査が開始される。N個のワー
ドの最も有望なワードシーケンスの出力により、現在の
発声の認識作業を終える。音声認識に基づく発声終了
は、結果の正確度に対して有害な影響無く処理された全
てのワードシーケンスについて約1秒間短縮する。
【0040】ステップ320〜324と並列するのはス
テップ330である。ステップ330は、有意なエネル
ギーを有する最後のフレームと現在の空フレームとの間
のギャップタイムを計測する。このギャップタイムが限
度を越えている場合、予想ワード数(N個)が認識され
る前に発声が止んだことを意味する。N番目のワードが
決定される前にギャップタイムが決定される場合、ステ
ップ330は発声完了を宣言し、最も有望なワードシー
ケンスを出力するための走査を開始する。
【0041】一般的に、音声認識方法300では、ギャ
ップタイム終了はエラーを意味するが、音声認識装置の
出力は、使用するために受け入れられるか又は音声合成
装置(図示されていない)により発声者に読み返され
る。Nの具体例は、長距離電話番号及び大抵のクレジッ
トカードの16桁番号である。
【0042】図4は本発明の別の実施例を示す流れ図で
ある。図4に示された音声認識方法400は、図3にお
ける音声認識方法300とよく似ている。音声認識方法
400のステップ402〜414は、音声認識方法30
0のステップ302〜314と概ね同一である。従っ
て、これ以上の説明は省略する。
【0043】ステップ414で復号化ツリーを更新した
後、音声認識方法400は、音声認識方法300と同様
に、2つの並列パスに分れる。ステップ421は、現在
のフレームに関する復号化ツリー内容を試験し、全ての
生き残りワードシーケンスのワード数をカウントする。
【0044】この試験は、復号化ツリー内に含まれる生
き残りワードシーケンスを試験し、次いで、復号化ツリ
ーの非無音ノードに結合されるポインタを介して走査す
ることにより行われる。復号化ツリー内の各ワードシー
ケンスが正確に各シーケンス内にn個のワードを有する
場合、n個のワードが発声されたと決定される。しか
し、少なくとも一つの生き残りワードシーケンスがn個
以外のワードを有する場合、試験は、現在のフレームの
ワード数のカウントはn個であると結論しない。
【0045】n個のワードカウントがステップ421に
より到達されると、ワードカウント数nはステップ42
4で使用するために出力され、音声認識方法400はス
テップ424まで継続される。ステップ424におい
て、ワードカウント数nは1及び最大ワードカウント数
Nと比較される。1との比較は、音声認識方法300の
ステップ320とよく似ている。
【0046】すなわち、最初のワードが発声され、現在
のワードが最初のワードである場合、音声認識に基づく
バージ・インが宣言され、ステップ426で聴覚プロン
プトが機能停止される。ステップ424において、ワー
ドカウント数nとの比較により、nが1よりも大きい
が、Nよりも小さいことが示されたら、有効ワードシー
ケンス又は群が存在する。
【0047】一方、nとの合致が存在せず、ステップ4
21の結果が不確定のnである場合、音声認識方法40
0はステップ404へ戻る。音声認識方法400のこの
部分の利点は、10桁の長距離電話番号又は16桁のク
レジットカード番号の場合、最初の3桁又は4桁の数字
が安定すると直ぐに、ワードシーケンスの終了前に、こ
れらを出力用に利用できることである。
【0048】これらの3、4又は7桁の数字群は全体の
発声前に出力することができ、全体的な音声認識ワード
シーケンスが完了される。従って、市外局番、市外局番
と交換局又はクレジットカード会社アクセス回線にアク
セスし、ワードシーケンスが完了する場合、残りのワー
ドシーケンスを待つていることができる。
【0049】これにより、発声の初めの方の部分の間に
認識されるデータのパイプラインを即座に使用すること
が可能になり、更に、発声の残部は、その到着時に、パ
イプライン化使用を完了することができる。ステップ4
26又はステップ427の何れかの後で、音声認識方法
400はステップ404へ戻り、発声が終了するまで、
データの次の時点のフレームを処理する。
【0050】ステップ421の結果がワードカウント数
n=Nである場合、発声の最大ワードカウント数に達
し、音声認識は処理を停止し、発声に対応する最尤ワー
ドシーケンスを発見するために走査を開始することがで
きる。n=Nである場合、この走査は即座に開始するこ
とができ、発声が完了したことを結論するために行われ
るエネルギー検出決定により使用される1秒〜1.5秒
間を待つ必要は無い。ワードカウント作業が前記のよう
に行われるため、ワードの正しい個数が認識されたら、
処理を終了し、最も有望な答のための走査を開始する。
【0051】部分的なワードシーケンスをルックアップ
テーブルと共に使用して、最大ワードカウント数Nを変
更することもできる。例えば、或るクレジットカード会
社が、そのワードシーケンス内に非標準的な個数のワー
ドを有する場合、このクレジットカード会社のアカウン
トのうちの一つを示す部分的なワードシーケンスを認識
すると、発声の最後のワードが到着する前に、音声認識
方法400に、最大ワードカウント数Nを変更させる。
【0052】電話プレフィックスに関する同様な方法
で、市外局番又は交換局ではないプレフィックスを使用
し、通常の10桁の市外局番及び市内番号から、必要に
応じて大きな又は小さな最大ワードカウント数に変更で
きる。明らかに市外局番又はプレフィックスではなく、
クレジットカード会社の指名子である部分的ワードシー
ケンスを使用し、電話番号認識からクレジットカード番
号認識へ機能をシフトさせることもできる。これと反対
の、クレジットカード番号取得機能から電話番号取得機
能への切り替えも可能である。このような切り替えの場
合、最大ワードカウント数Nを変更しなければならな
い。
【0053】音声認識方法300と同様に、音声認識方
法400も、並列的なステップ421〜427で行われ
る、エネルギーに基づく決定分岐も有する。ステップ4
30では、有意なエネルギーを有する最後のフレームと
現在の空フレームとの間のギャップタイムを計測する。
【0054】このギャップタイムが限度を越えている場
合、予想ワード数(n個)が認識される前に発声が停止
される。n番目のワードが決定される前にギャップタイ
ムが決定される場合、ステップ430は発声完了を宣言
し、最も有望なワードシーケンスを出力するための走査
を開始する。
【0055】一般的に、音声認識方法400では、エネ
ルギーに基づくギャップタイム終了はエラーを意味する
が、音声認識装置の出力は適宜、使用するために受け入
れられか又は音声合成装置(図示されていない)により
発声者に読み返される。
【0056】音声認識方法400の終了時点で、音声認
識又はエネルギー検出に何れかにより決定され、走査動
作が復号化ツリーに対して行われ、入力発声に対応する
最も有望なワードシーケンスを取得し、そのワードシー
ケンスは音声認識方法400により出力される。
【0057】以上説明したように、ワード数をカウント
することによる高速音声認識方法と装置が得られる。こ
の高速音声認識方法及び装置は、音声認識に付随するタ
スクの並列処理又はパイプライン処理のために部分的ワ
ードシーケンスを出力することができる。更に、この方
法及び装置は音声応答装置のための高信頼性バージ・イ
ン動作を実行することもできる。
【0058】
【発明の効果】以上説明したように、本発明によれば、
ワード数をカウントすることによる高速音声認識方法と
装置が得られる。この高速音声認識方法及び装置は、音
声認識に付随するタスクの並列処理又はパイプライン処
理のために部分的ワードシーケンスを出力することがで
きる。更に、この方法及び装置は音声応答装置のための
高信頼性バージ・イン動作を実行することもできる。本
発明の方法及び装置は、従来の音声認識方法及び装置と
異なり、音声認識における時間遅延が発生しない。
【図面の簡単な説明】
【図1】図1は、本発明による音声認識装置を含むシス
テムのブロック図である。
【図2】図2は、エネルギーレベルをトリガすることか
らなる従来の音声認識方法の流れ図である。
【図3】図3は、エネルギーと認識に基づく音声認識方
法の流れ図である。
【図4】図4は、発声の部分的結果を出力するための、
認識に基づく音声認識方法の流れ図である。
【符号の説明】
10 本発明の音声認識システムを使用する装置 60 電話機 80 電話ネットワーク 102 本発明の音声認識システム 104 プロセッサ 106 メモリ
フロントページの続き (71)出願人 596077259 600 Mountain Avenue, Murray Hill, New Je rsey 07974−0636U.S.A. (72)発明者 ラフィド アントゥーン サッカー アメリカ合衆国,60504 イリノイ,オー ロラ,フォレストヴュー レイン 68

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 (a)音声発声が開始されたか否か決定す
    るステップと、ここで、発声が開始されていない場合、
    当該ステップ(a)の始めに戻り、発声が開始されている
    場合、次のステップ(b)を続け、 (b)次の時点のフレーム期間を示す音声フレームを取得
    するステップと、 (c)前記音声フレームから特徴を抽出するステップと、 (d)音声認識文法のワードモデルの評点をつけるため
    に、現在の音声フレームから抽出された特徴を使用する
    ステップと、 (e)ビタビ・アルゴリズムを用いてワードシーケンスの
    アクティブネットワークを動的プログラミングするステ
    ップと、 (f)アクティブネットワークを更新するために、非有望
    なワードを剪定し、有望なワードを拡張するステップ
    と、 (g)復号化ツリーを更新するステップと、 (h)前記音声発声のこの音声フレームについてワードカ
    ウント数nを決定するステップと、 (i)nを検査するステップと、ここで、nの検査によ
    り、ワードカウント数nが聴覚プロンプトを機能停止さ
    せる1に等しい場合、前記ステップ(b)を続け、ワード
    カウント数nが1よりも大きいが、終了カウント数Nよ
    りも小さい場合、次のステップ(j)を続け、また、ワー
    ドカウント数nが少なくとも終了カウント数Nに等しい
    場合、下記のステップ(l)を続け、 (j)n個のワードが各ワードカウントにより認識された
    ものとして決定されたか否か決定するステップと、ここ
    で、n個のワードが認識されたものとして決定されない
    場合、ステップ(b)へ戻り、n個のワードが認識された
    場合、n個のワードを出力し、ステップ(b)へ戻り、さ
    もなければ、下記のステップ(l)を続け、 (k)部分的ワードシーケンスが異なる最大ワードカウン
    ト数を必要とするワードシーケンスに対応するか否か決
    定するステップと、ここで、異なる最大ワードカウント
    数を必要とする場合、最大ワードカウント数Nを異なる
    最大ワードカウント数に合わせ、 (l)現にアクティブなワードシーケンスの各々のワード
    カウント数が同じ終了カウント数Nに等しいか否か決定
    することにより発声の終了に達したか否か決定するステ
    ップと、ここで、現にアクティブなワードシーケンスの
    各ワードカウント数がNに等しい場合、発声の終了を宣
    言し、ステップ(n)を続け、さもなければ、ステップ(m)
    を続け、 (m)予め指定されたギャップタイムの音声エネルギーが
    存在するか否か決定するステップと、ここで、当該音声
    エネルギーが存在しない場合、発声の終了を宣言し、ス
    テップ(n)を続けるか、さもなければ、ステップ(b)に戻
    り、 (n)発声に合致する最大有望度を有するワードシーケン
    スを取得するために、様々なアクティブワードシーケン
    スを通してバックトラッキングするステップと、 (o)最大有望度を有するワードシーケンスに対応するス
    トリングを出力するステップと、からなることを特徴と
    する音声認識方法。
  2. 【請求項2】 前記ステップ(h)は、 (p)現在の音声フレームに関する復号化ツリーに含まれ
    る全ての生き残りワードシーケンスを検査するステップ
    と、 (q)復号化ツリーの非無音ノードに結合されるポインタ
    ーを介して走査するステップと、 (r)全ての生き残りワードシーケンスのワード数をカウ
    ントするステップと、を更に有することを特徴とする請
    求項1に記載の方法。
  3. 【請求項3】 認識される前記最初のワードは予め指定
    された文法内に見いだされるワードでなければならない
    ことを特徴とする請求項1に記載の方法。
  4. 【請求項4】 異なる最大ワードカウント数を必要とす
    る部分的ワードシーケンスは電話番号のプレフィックス
    であることを特徴とする請求項1に記載の方法。
  5. 【請求項5】 部分的ワードシーケンスはクレジットカ
    ードアカウント番号の一部であることを特徴とする請求
    項1に記載の方法。
JP21318498A 1997-07-31 1998-07-28 音声認識方法 Expired - Fee Related JP3568785B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/903633 1997-07-31
US08/903,633 US5956675A (en) 1997-07-31 1997-07-31 Method and apparatus for word counting in continuous speech recognition useful for reliable barge-in and early end of speech detection

Publications (2)

Publication Number Publication Date
JPH1195791A true JPH1195791A (ja) 1999-04-09
JP3568785B2 JP3568785B2 (ja) 2004-09-22

Family

ID=25417832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21318498A Expired - Fee Related JP3568785B2 (ja) 1997-07-31 1998-07-28 音声認識方法

Country Status (6)

Country Link
US (2) US5956675A (ja)
EP (1) EP0895224B1 (ja)
JP (1) JP3568785B2 (ja)
KR (1) KR100512662B1 (ja)
CA (1) CA2238642C (ja)
DE (1) DE69827202T2 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956675A (en) * 1997-07-31 1999-09-21 Lucent Technologies Inc. Method and apparatus for word counting in continuous speech recognition useful for reliable barge-in and early end of speech detection
US6574601B1 (en) * 1999-01-13 2003-06-03 Lucent Technologies Inc. Acoustic speech recognizer system and method
US7224790B1 (en) * 1999-05-27 2007-05-29 Sbc Technology Resources, Inc. Method to identify and categorize customer's goals and behaviors within a customer service center environment
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US7392185B2 (en) 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US6574595B1 (en) * 2000-07-11 2003-06-03 Lucent Technologies Inc. Method and apparatus for recognition-based barge-in detection in the context of subword-based automatic speech recognition
DE10040466C2 (de) * 2000-08-18 2003-04-10 Bosch Gmbh Robert Verfahren zur Steuerung einer Spracheingabe und -ausgabe
US6606595B1 (en) 2000-08-31 2003-08-12 Lucent Technologies Inc. HMM-based echo model for noise cancellation avoiding the problem of false triggers
US7194409B2 (en) * 2000-11-30 2007-03-20 Bruce Balentine Method and system for preventing error amplification in natural language dialogues
US7437286B2 (en) * 2000-12-27 2008-10-14 Intel Corporation Voice barge-in in telephony speech recognition
US6850887B2 (en) * 2001-02-28 2005-02-01 International Business Machines Corporation Speech recognition in noisy environments
EP1380153B1 (en) * 2001-04-19 2009-09-02 BRITISH TELECOMMUNICATIONS public limited company Voice response system
US20030023439A1 (en) * 2001-05-02 2003-01-30 Gregory Ciurpita Method and apparatus for automatic recognition of long sequences of spoken digits
US20020173333A1 (en) * 2001-05-18 2002-11-21 Buchholz Dale R. Method and apparatus for processing barge-in requests
GB0113583D0 (en) * 2001-06-04 2001-07-25 Hewlett Packard Co Speech system barge-in control
US7058575B2 (en) * 2001-06-27 2006-06-06 Intel Corporation Integrating keyword spotting with graph decoder to improve the robustness of speech recognition
US20030088403A1 (en) * 2001-10-23 2003-05-08 Chan Norman C Call classification by automatic recognition of speech
US7069221B2 (en) * 2001-10-26 2006-06-27 Speechworks International, Inc. Non-target barge-in detection
US7069213B2 (en) * 2001-11-09 2006-06-27 Netbytel, Inc. Influencing a voice recognition matching operation with user barge-in time
US7305070B2 (en) * 2002-01-30 2007-12-04 At&T Labs, Inc. Sequential presentation of long instructions in an interactive voice response system
US6914975B2 (en) 2002-02-21 2005-07-05 Sbc Properties, L.P. Interactive dialog-based training method
US6910911B2 (en) 2002-06-27 2005-06-28 Vocollect, Inc. Break-away electrical connector
US20040064315A1 (en) * 2002-09-30 2004-04-01 Deisher Michael E. Acoustic confidence driven front-end preprocessing for speech recognition in adverse environments
JP3984526B2 (ja) * 2002-10-21 2007-10-03 富士通株式会社 音声対話システム及び方法
DE10251113A1 (de) * 2002-11-02 2004-05-19 Philips Intellectual Property & Standards Gmbh Verfahren zum Betrieb eines Spracherkennungssystems
EP1494208A1 (en) * 2003-06-30 2005-01-05 Harman Becker Automotive Systems GmbH Method for controlling a speech dialog system and speech dialog system
US20050010418A1 (en) * 2003-07-10 2005-01-13 Vocollect, Inc. Method and system for intelligent prompt control in a multimodal software application
US7073203B2 (en) * 2003-08-08 2006-07-11 Simms Fishing Products Corporation Foot-covering component of a stocking foot wader including gravel guard and method for manufacturing
US20050049873A1 (en) * 2003-08-28 2005-03-03 Itamar Bartur Dynamic ranges for viterbi calculations
US20050065789A1 (en) * 2003-09-23 2005-03-24 Sherif Yacoub System and method with automated speech recognition engines
US7027586B2 (en) 2003-12-18 2006-04-11 Sbc Knowledge Ventures, L.P. Intelligently routing customer communications
US9117460B2 (en) * 2004-05-12 2015-08-25 Core Wireless Licensing S.A.R.L. Detection of end of utterance in speech recognition system
US8054951B1 (en) 2005-04-29 2011-11-08 Ignite Media Solutions, Llc Method for order taking using interactive virtual human agents
US8185400B1 (en) * 2005-10-07 2012-05-22 At&T Intellectual Property Ii, L.P. System and method for isolating and processing common dialog cues
USD626949S1 (en) 2008-02-20 2010-11-09 Vocollect Healthcare Systems, Inc. Body-worn mobile device
EP2107553B1 (en) * 2008-03-31 2011-05-18 Harman Becker Automotive Systems GmbH Method for determining barge-in
US8364481B2 (en) 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
EP2148325B1 (en) * 2008-07-22 2014-10-01 Nuance Communications, Inc. Method for determining the presence of a wanted signal component
US8442831B2 (en) * 2008-10-31 2013-05-14 International Business Machines Corporation Sound envelope deconstruction to identify words in continuous speech
US8386261B2 (en) 2008-11-14 2013-02-26 Vocollect Healthcare Systems, Inc. Training/coaching system for a voice-enabled work environment
US8639513B2 (en) * 2009-08-05 2014-01-28 Verizon Patent And Licensing Inc. Automated communication integrator
US8659397B2 (en) 2010-07-22 2014-02-25 Vocollect, Inc. Method and system for correctly identifying specific RFID tags
USD643400S1 (en) 2010-08-19 2011-08-16 Vocollect Healthcare Systems, Inc. Body-worn mobile device
USD643013S1 (en) 2010-08-20 2011-08-09 Vocollect Healthcare Systems, Inc. Body-worn mobile device
US9600135B2 (en) 2010-09-10 2017-03-21 Vocollect, Inc. Multimodal user notification system to assist in data capture
US9118669B2 (en) 2010-09-30 2015-08-25 Alcatel Lucent Method and apparatus for voice signature authentication
US8914288B2 (en) 2011-09-01 2014-12-16 At&T Intellectual Property I, L.P. System and method for advanced turn-taking for interactive spoken dialog systems
US10134425B1 (en) * 2015-06-29 2018-11-20 Amazon Technologies, Inc. Direction-based speech endpointing
US10546597B2 (en) * 2016-08-01 2020-01-28 International Business Machines Corporation Emotional state-based control of a device
US11488590B2 (en) * 2018-05-09 2022-11-01 Staton Techiya Llc Methods and systems for processing, storing, and publishing data collected by an in-ear device

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5734599A (en) * 1980-08-12 1982-02-24 Nippon Electric Co Continuous voice recognizing device
JPS5962900A (ja) * 1982-10-04 1984-04-10 株式会社日立製作所 音声認識方式
JPS59111529A (ja) * 1982-12-17 1984-06-27 Hitachi Ltd 音声応答装置の入力機器識別方式
JPS59195739A (ja) * 1983-04-20 1984-11-06 Sanyo Electric Co Ltd 音声応答装置
JPS6085655A (ja) * 1983-10-15 1985-05-15 Fujitsu Ten Ltd 音声ダイヤリング装置
JPS6243699A (ja) * 1985-08-21 1987-02-25 株式会社日立製作所 音声入力方法
JPS62291700A (ja) * 1986-06-10 1987-12-18 富士通株式会社 連続数字音声認識方式
JPS6338996A (ja) * 1986-08-05 1988-02-19 沖電気工業株式会社 音声認識制御方式
JPS63121096A (ja) * 1986-11-10 1988-05-25 松下電器産業株式会社 対話型音声入出力装置
JPS63142950A (ja) * 1986-12-05 1988-06-15 Toshiba Corp 音声ダイヤル電話方式
JPS63163498A (ja) * 1986-12-26 1988-07-06 株式会社日立製作所 音声ダイヤル装置
JPH0462600A (ja) * 1990-07-02 1992-02-27 Nec Corp 音声認識装置
JPH0582703U (ja) * 1992-04-14 1993-11-09 ナイルス部品株式会社 音声認識装置
JPH05323993A (ja) * 1992-03-16 1993-12-07 Toshiba Corp 音声対話システム
JPH08146991A (ja) * 1994-11-17 1996-06-07 Canon Inc 情報処理装置及びその制御方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1557286A (en) * 1975-10-31 1979-12-05 Nippon Electric Co Speech recognition
US4156868A (en) * 1977-05-05 1979-05-29 Bell Telephone Laboratories, Incorporated Syntactic word recognizer
US4910784A (en) * 1987-07-30 1990-03-20 Texas Instruments Incorporated Low cost speech recognition system and method
US4914692A (en) * 1987-12-29 1990-04-03 At&T Bell Laboratories Automatic speech recognition using echo cancellation
CA2006230C (en) * 1989-12-20 1993-10-26 Timothy James Littlewood Method and apparatus for validating character strings
US5125024A (en) * 1990-03-28 1992-06-23 At&T Bell Laboratories Voice response unit
US5155760A (en) * 1991-06-26 1992-10-13 At&T Bell Laboratories Voice messaging system with voice activated prompt interrupt
US5390279A (en) * 1992-12-31 1995-02-14 Apple Computer, Inc. Partitioning speech rules by context for speech recognition
US5515475A (en) * 1993-06-24 1996-05-07 Northern Telecom Limited Speech recognition method using a two-pass search
US5708704A (en) * 1995-04-07 1998-01-13 Texas Instruments Incorporated Speech recognition method and system with improved voice-activated prompt interrupt capability
JP3535292B2 (ja) * 1995-12-27 2004-06-07 Kddi株式会社 音声認識システム
US5799065A (en) * 1996-05-06 1998-08-25 Matsushita Electric Industrial Co., Ltd. Call routing device employing continuous speech
US5765130A (en) * 1996-05-21 1998-06-09 Applied Language Technologies, Inc. Method and apparatus for facilitating speech barge-in in connection with voice recognition systems
US5884259A (en) * 1997-02-12 1999-03-16 International Business Machines Corporation Method and apparatus for a time-synchronous tree-based search strategy
GB2325112B (en) * 1997-05-06 2002-07-31 Ibm Voice processing system
US5991726A (en) * 1997-05-09 1999-11-23 Immarco; Peter Speech recognition devices
US5956675A (en) * 1997-07-31 1999-09-21 Lucent Technologies Inc. Method and apparatus for word counting in continuous speech recognition useful for reliable barge-in and early end of speech detection
US6246986B1 (en) * 1998-12-31 2001-06-12 At&T Corp. User barge-in enablement in large vocabulary speech recognition systems

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5734599A (en) * 1980-08-12 1982-02-24 Nippon Electric Co Continuous voice recognizing device
JPS5962900A (ja) * 1982-10-04 1984-04-10 株式会社日立製作所 音声認識方式
JPS59111529A (ja) * 1982-12-17 1984-06-27 Hitachi Ltd 音声応答装置の入力機器識別方式
JPS59195739A (ja) * 1983-04-20 1984-11-06 Sanyo Electric Co Ltd 音声応答装置
JPS6085655A (ja) * 1983-10-15 1985-05-15 Fujitsu Ten Ltd 音声ダイヤリング装置
JPS6243699A (ja) * 1985-08-21 1987-02-25 株式会社日立製作所 音声入力方法
JPS62291700A (ja) * 1986-06-10 1987-12-18 富士通株式会社 連続数字音声認識方式
JPS6338996A (ja) * 1986-08-05 1988-02-19 沖電気工業株式会社 音声認識制御方式
JPS63121096A (ja) * 1986-11-10 1988-05-25 松下電器産業株式会社 対話型音声入出力装置
JPS63142950A (ja) * 1986-12-05 1988-06-15 Toshiba Corp 音声ダイヤル電話方式
JPS63163498A (ja) * 1986-12-26 1988-07-06 株式会社日立製作所 音声ダイヤル装置
JPH0462600A (ja) * 1990-07-02 1992-02-27 Nec Corp 音声認識装置
JPH05323993A (ja) * 1992-03-16 1993-12-07 Toshiba Corp 音声対話システム
JPH0582703U (ja) * 1992-04-14 1993-11-09 ナイルス部品株式会社 音声認識装置
JPH08146991A (ja) * 1994-11-17 1996-06-07 Canon Inc 情報処理装置及びその制御方法

Also Published As

Publication number Publication date
DE69827202D1 (de) 2004-12-02
KR100512662B1 (ko) 2005-11-21
CA2238642C (en) 2002-02-26
CA2238642A1 (en) 1999-01-31
US5956675A (en) 1999-09-21
JP3568785B2 (ja) 2004-09-22
KR19990014292A (ko) 1999-02-25
USRE38649E1 (en) 2004-11-09
DE69827202T2 (de) 2006-02-16
EP0895224A3 (en) 1999-08-18
EP0895224A2 (en) 1999-02-03
EP0895224B1 (en) 2004-10-27

Similar Documents

Publication Publication Date Title
JP3568785B2 (ja) 音声認識方法
US6757652B1 (en) Multiple stage speech recognizer
US6292778B1 (en) Task-independent utterance verification with subword-based minimum verification error training
US6574595B1 (en) Method and apparatus for recognition-based barge-in detection in the context of subword-based automatic speech recognition
US5699456A (en) Large vocabulary connected speech recognition system and method of language representation using evolutional grammar to represent context free grammars
US6850887B2 (en) Speech recognition in noisy environments
US5799065A (en) Call routing device employing continuous speech
US5893059A (en) Speech recoginition methods and apparatus
KR100312920B1 (ko) 연결된음성인식의방법및장치
US6178401B1 (en) Method for reducing search complexity in a speech recognition system
US5613037A (en) Rejection of non-digit strings for connected digit speech recognition
US6374219B1 (en) System for using silence in speech recognition
US6014624A (en) Method and apparatus for transitioning from one voice recognition system to another
EP1220197A2 (en) Speech recognition method and system
EP1159737B1 (en) Speaker recognition
JP2003515778A (ja) 別々の言語モデルによる音声認識方法及び装置
US7493258B2 (en) Method and apparatus for dynamic beam control in Viterbi search
US7031923B1 (en) Verbal utterance rejection using a labeller with grammatical constraints
Rose et al. Speech recognition using automatically derived acoustic baseforms
Raman et al. Robustness issues and solutions in speech recognition based telephony services
JP4636695B2 (ja) 音声認識
Galler et al. Robustness improvements in continuously spelled names over the telephone
EP0917708B1 (en) Pattern recognition
Song et al. A robust speaker-independent isolated word HMM recognizer for operation over the telephone network
Setlur et al. Recognition-based word counting for reliable barge-in and early endpoint detection in continuous speech recognition

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040616

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees