JPH09244686A - 情報処理方法及び装置 - Google Patents

情報処理方法及び装置

Info

Publication number
JPH09244686A
JPH09244686A JP9026970A JP2697097A JPH09244686A JP H09244686 A JPH09244686 A JP H09244686A JP 9026970 A JP9026970 A JP 9026970A JP 2697097 A JP2697097 A JP 2697097A JP H09244686 A JPH09244686 A JP H09244686A
Authority
JP
Japan
Prior art keywords
pattern
standard
input
user
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9026970A
Other languages
English (en)
Inventor
Tsuirukeruuhankotsuku Eri
ツィルケル−ハンコック エリ
Arekusandaa Keiraa Robaato
アレクサンダー ケイラー ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB9602699.2A external-priority patent/GB9602699D0/en
Application filed by Canon Inc filed Critical Canon Inc
Publication of JPH09244686A publication Critical patent/JPH09244686A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533Voice mail systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/12Speech classification or search using dynamic programming techniques, e.g. dynamic time warping [DTW]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42204Arrangements at the exchange for service or number selection by voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/085Methods for reducing search complexity, pruning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/57Arrangements for indicating or recording the number of the calling subscriber at the called subscriber's set
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/64Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/65Recording arrangements for recording a message from the calling party
    • H04M1/6505Recording arrangements for recording a message from the calling party storing speech in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533Voice mail systems
    • H04M3/53366Message disposing or creating aspects
    • H04M3/53383Message registering commands or announcements; Greetings

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】連続音声コマンドによって電話サービスにアク
セスすることを可能とし、電話システムの操作性を向上
する。 【解決手段】ローカル交換機273が複数の電話機27
1やモデム272と接続される。ローカル交換機は複数
の電話線275を介して公衆交換機277に接続され
る。ローカル交換機273は、電話機271やモデム2
72より入力される音声コマンドを受信する音声認識ユ
ーザインターフェース303を有する。これは、ローカ
ル交換機273によって提供される電話サービスを制御
する。制御され得る電話サービスは、他ユーザへのコー
ル、他ユーザへの呼の転送、現在のコールの保留、電話
会議の開始と制御、メールボックス機能の制御等であ
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はパターンマッチング
のための情報処理方法及び装置に関する。本発明は特
に、ダイナミックパッチング技術を実施するための方法
に関するが、これに限定されるものではない。実施形態
においては、ダイナミックプログラミングマッチング技
術が音声認識システムに採用されている。
【0002】また、本発明は、電話の機能を制御するた
めの情報処理方法及び装置に関する。本発明は特に、音
声コマンドによる電話サービスの起動と制御に関する
が、これに限られるものではない。
【0003】
【従来の技術】音声認識は未知の発声音声を認識する処
理である。現在、数種類の異なるタイプの有用な音声認
識システムが存在し、これらは数種類の方法で分類され
る。例えば、あるシステムは話者依存型であり、他のも
のは話者非依存型である。また、あるシステムは大量の
語彙(10000ワード以上)に関して動作し、他のも
のは限られた量の語彙(1000ワード以下)に関して
動作する。幾つかのシステムは分離ワード(単語)のみ
を認識し得るものであり、他のものは一連の連続単語を
含むフレーズを認識しうる。
【0004】限定語彙のシステムでは、未知の発声音声
の特徴とデータベースに格納されている既知のワードの
特徴とを比較することで音声認識を遂行する。既知のワ
ードの特徴は、一つもしくはそれ以上の既知ワードのサ
ンプルを用いて標準パターンを生成する学習セッション
において決定される。
【0005】未知の発声音声を認識するために、音声認
識装置は、発声音声からパターン(或いは特徴)を抽出
し、それをデータベースに格納された各標準パターンと
比較する。スコア付けの技術は、各標準パターン或いは
それらの組み合わせが、入力された発声音声から抽出さ
れたパターンにどれだけ良くマッチングするかを示す尺
度を提供するのに用いられる。こうして、未知の発声音
声は、この発声音声に最も良くマッチする標準パターン
に関連付けられたワードとして認識される。
【0006】典型的には、スコア付けはダイナミックプ
ログラミング技術を用いて達成される。このダイナミッ
クプログラミング技術によれば、局所的に一つのパター
ンの時間軸の伸長をパターン対の間で最適なマッチング
が得られるまで行うことで、各標準パターンと未知発声
音声から抽出されたパターンとの間の最適時間における
関連付けを提供する。最良のスコアを有する標準パター
ンもしくはそのシーケンスは、入力された発声音声に最
も良く対応するワードもしくはワード列を特定すること
になる。
【0007】また、現代の通信システムにおいて、ユー
ザには大量の電話サービスが提供されている。例えば、
ユーザは、現在処理中のコール(呼)を保留にしたり、
コールを他のユーザへ転送したり、複数の他のユーザと
電話会議を行ったりする機能を利用できる。加えて、多
くのシステムは、コールに応答することができない場合
に、各ユーザのためのメッセージを格納できる。これら
の電話サービスに対処するために、電話機製造者は、電
話機のキーパッドにファンクションキーを追加し、結果
的に電話機のサイズや操作の煩雑さが増した。電話サー
ビスにアクセスするために、ユーザは複数のキーを順番
にあるいは同時に押さなければならない。
【0008】
【発明が解決しようとする課題】しかしながら、ダイナ
ミックプログラミングマッチング技術は、比較的計算コ
ストが高く、メモリ消費量が多い。これは、そのマッチ
ング技術が、入力発声音声と各標準モデルとの間の多く
のマッチング候補について処理を行わなければならない
からである。
【0009】USP4,592,086(出願人、日本電気株式
会社)は、ダイナミックプログラミングマッチングを用
いた接続的数値音声認識システムを開示する。USP4,
592,086は、ダイナミックプログラミングパスの終点に
ある標準モデルのパターンが逆方向の順序で処理される
場合、マッチングプロセスに要求されるメモリの量を減
らすことができることを開示している。
【0010】また、上述ような電話サービスへのアクセ
スを可能とした電話機の有する問題点は、ユーザが良く
使用する電話サービスに関連するキーコンビネーション
については慣れ親しむが、他のサービスを木津するため
に要求されるキーコンビネーションについてはそうはな
らないということである。従って、実際のところ、ユー
ザは、彼にとって有用な電話システムの能力を十分に活
用していない。
【0011】最近、Wildfire Communications Inc. に
よって提案されたシステムは、既存の電話システムが有
するこれらの問題の多くを解決する。特に、そのシステ
ムは、ユーザが電話機能に音声コマンドを用いてアクセ
スすることを可能とする音声認識ユーザインターフェー
スを有する。しかし、このシステムは単一コマンドによ
るアクセスであり、ユーザは他のユーザの識別情報に加
えて、幾つかのプリセットされたコマンドを入力しなけ
ればならないという問題がある。これは、対話的な処理
においては、骨の折れることであると共に時間的浪費を
伴うものである。
【0012】従って、本発明は、ダイナミックプログラ
ミングプロセスを適用したパターンマッチングにおい
て、その処理量及びメモリ消費量を低減する情報処理方
法及び装置を提供することを目的とする。
【0013】また、本発明の他の目的は、連続音声コマ
ンドによって電話サービスにアクセスすることを可能と
し、操作性を向上した情報処理方法及び装置を提供する
ことを目的とする。
【0014】
【課題を解決するための手段】本発明の一つの態様によ
れば、モデルのアクティブパターンが逆シーケンス方向
に処理され、最終アクティブポインタがパターンに対す
る要求された処理を制御する、ダイナミックプログラミ
ングマッチングテクニックを用いるパターンマッチング
方法及び装置が提供される。
【0015】本発明の一態様の情報処理方法は、入力信
号を表す入力パターンシーケンスと複数の格納された標
準パターンシーケンスとの間のダイナミックプログラミ
ングマッチング処理を実行する方法であって、該標準パ
ターンシーケンスは標準信号を表し、該方法は少なくと
も標準信号の幾つかに関連して各入力パターンを順次処
理するものであり、(1)処理中の現入力パターンに対
するダイナミックプログラミングパスの終点における標
準信号の標準パターンをアクティブパターンとして定義
し、該現入力パターンに関するアクティブパターンを現
アクティブリストに登録し、(2)各アクティブパター
ンに対して、当該アクティブパターンに対応して設けら
れた格納部に、前記現入力パターンに対する当該アクテ
ィブパターンで終わるダイナミックプログラミングパス
のスコアを表す累積値を格納し、(3)現標準信号の各
アクティブパターンを逆方向順に処理することによっ
て、ダイナミックプログラミングパスに課された制限に
基づいて、前記累積値を更新するとともに前記ダイナミ
ックプログラミングパスを伝搬させるために、(A)前
記現入力パターンを用いて、処理中の現アクティブパタ
ーンに関連する格納部に格納された累積値を更新し、
(B)前記現アクティブパターンに関連するダイナミッ
クプログラミングパスを伝搬させ、もしそれがリストに
無ければ、次の入力パターンのためのダイナミックプロ
グラミングパスの終点となる標準信号の各標準パターン
を新規アクティブリストに登録し、そして、現在の標準
信号の各ダイナミックプログラミングパスの伝搬が現標
準信号に関連するポインタを用いて制御され、該ポイン
タは、前回のアクティブパターンの完了の後に、前記新
規アクティブリストにリストされた現標準信号のパター
ンのシーケンスにおける最も手前の標準パターンを特定
し、これによって、現標準信号の内のどの標準パターン
が先行するアクティブパターンを処理した結果として新
規アクティブリストに登録されたかを検索する必要なし
に各ダイナミックプログラミングパスの伝搬が達成され
る。また、現入力パターンの処理は、次の入力パターン
が処理のための準備ができる前に完了する。また、各標
準信号は、それに関連する現アクティブリストと新規ア
クティブリストを有する。
【0016】また、好ましい態様では、パターンマッチ
ング方法は音声認識システムに用いられる。
【0017】また、本発明の別の態様によれば、既存の
標準モデルを新規のユーザに対応させる得る方法及び装
置が提供される。また、その標準モデルには、統計的な
代替技術が適用可能である。
【0018】更に本発明の他の態様によれば、パターン
マッチングシステムで用いられる既存の標準モデルを更
新する方法が提供される。ここで、該標準モデルの各々
は標準パターンシーケンスを有し、該方法は、(a)内
容が既知である複数の入力信号を入力し、(b)入力パ
ターンを表すシーケンスを生成するために入力信号の各
々を処理する処理し、(c)各入力信号に対して、前記
入力パターンを表すシーケンスと、当該入力信号中に存
在することがわかっている信号の既存の標準モデルの標
準パターンシーケンスに関連付けを行い、(d)1つま
たはそれ以上の入力信号の複数の入力パターンに関連付
けられた各標準パターンについて、(i)関連付けれた
入力信号の入力パターンを結合する工程と、(ii)当該
標準パターンを前記工程(i)において結合された入力
パターンで置き換える工程とを備える。
【0019】また、本発明の別の態様によれば、電話シ
ステムを制御する制御システムが提供される。ここで、
該制御システムは、前記電話システムを制御するための
音声コマンドの入力を可能とする音声認識ユーザインタ
ーフェースと、前記音声認識ユーザインターフェースに
応じて、入力音声コマンドに従って前記電話システムを
制御する制御手段とを備え、前記音声認識ユーザインタ
ーフェースは連続的な音声コマンドを認識可能に適応さ
せられ、該音声コマンドは電話コマンドと他のユーザを
識別する識別情報を有し、その認識は、音声コマンドと
格納された言語モデルとを比較することによって行なわ
れる。また、好ましくは、格納された言語モデルはユー
ザに適応可能となっている。
【0020】更に、本発明の他の態様によれば、電話シ
ステムが提供される。ここで、該電話システムは、シス
テムによって提供される電話サービスを制御するための
音声コマンドの入力を可能とする音声認識ユーザインタ
ーフェースと、前記言語認識インターフェースに応じ
て、音声コマンドに対応する機能を実行する実行手段と
を備え、前記システムの各ユーザは電話番号及び関連付
けられた識別情報によって識別され、前記実行手段は、
ユーザが前記音声認識ユーザインターフェースを介して
別のユーザの識別情報のみを入力した場合に、どの電話
サービスを欲しているかを予測する。
【0021】また、本発明の他の態様によれば、電話シ
ステムで用いるメールボックス装置が提供される。ここ
で、メールボックス装置は、メールボックス機能を制御
するためのユーザによる音声コマンドの入力を可能とす
る音声認識ユーザインターフェースと、前記インターフ
ェースよりの認識結果出力に応じて、前記入力された音
声コマンドに従って前記メールボックス機能を制御する
制御手段と、ユーザがコールに応答できない場合に、発
呼者によって残されたメッセージを格納する格納手段と
を備え、前記メールボックスに格納された各メッセージ
は、当該メッセージを残した発呼者の電話番号が関連付
けられ、これによって、ユーザは、音声認識ユーザイン
ターフェースを介して、前記メールボックス機能に特定
の発呼者からのメッセージを読ませ得る。
【0022】更に他の態様によれば、上記本発明の態様
に従った機能を実行する方法が提供される。
【0023】
【発明の実施の形態】以下、添付の図面を参照して本発
明の一実施形態を説明する。
【0024】本発明の実施形態はコンピュータのハード
ウェアで実施され得るが、以下に説明する実施形態は、
例えばパーソナルコンピュータ、ワークステーション、
複写機、ファクシミリ等の装置の処理ハードウェアとと
もに動作するソフトウェアにおいても用いられ得るもの
である。
【0025】図1は、本発明の一実施形態を処理するよ
うに構成されたパーソナルコンピュータ(PC)1を示
す。キーボード3、ポインティングデバイス5、マイク
ロフォン7および電話線9は、インタフェース11を介
して接続される。キーボード3およびポインティングデ
バイス5によって、ユーザはシステムを制御できる。マ
イクロフォン7は、ユーザの音響的音声信号をそれに相
当する電気信号に変換し、この電気信号をPC1に処理
のために供給する。本実施形態において、処理されるべ
き入力音声の始点および終点は、入力発声音が継続され
ている間キーボード3上のスペースバーを押すことによ
って認識される。このような方法で、システムは認識さ
れるべき入力発声音を処理する。内蔵モデムおよび音声
受信回路(図示されていない)は電話線9に接続され、
PC1は、例えば遠隔地のコンピュータまたはユーザと
通信することができる。
【0026】本発明で規定するようにPC1を動作させ
るためのプログラム命令は、既存のPCで用いるために
磁気ディスク13のような記憶装置上に供給されてもよ
いし、または電話線9を介してリモートコンピュータと
通信する内蔵モデムによって供給されてもよい。
【0027】本実施形態の限定された語彙による連続音
声認識システムの処理を、図2を参照して説明する。例
えば、マイクロフォン7からの入力音声を示す電気信号
は、プリプロセッサ(PREPROCESSOR)15に入力され
る。プリプロセッサ15は、入力音声信号をパラメータ
フレームのシーケンスに変換する。ここで、各パラメー
タフレームは、入力音声信号に対応する時間フレームを
示すものである。次に、パラメータフレームのシーケン
スは、認識ブロック(RECOGNITION)17に供給され
る。認識ブロック17において、入力されたパラメータ
フレームのシーケンスを標準モデル即ちワードモデル
(WORD MODELS)19と比較することによって、入力音
声が認識される。標準モデル、即ちワードモデル19の
各モデルは、認識されるべき入力音声と同様の種類のパ
ラメータで表されるパラメータフレームのシーケンスで
構成されている。
【0028】言語モデル(LANGUAGE MODEL)21および
ノイズモデル(NOISE MODEL)23も認識ブロック17
に対する入力として供給され、認識プロセスにおいて用
いられる。本実施形態において、ノイズモデルは沈黙ま
たはバックグラウンドのノイズを示し、認識されるべき
入力音声信号のパラメータフレームと同様のタイプの1
つのパラメータフレームから構成される。言語モデル2
1が用いられ、システムに認知されたワードのシーケン
スに適応させるように、認識ブロック17から出力され
たワードの取り得るシーケンスを制限する。認識ブロッ
ク17から出力されたワードシーケンスはコピーされ、
例えばワードプロセッシングパッケージ等で用いられ
る。または、そのワードシーケンスは、オペレータコマ
ンドとして用いられ、PC1の動作を開始したり、中止
させたりまたは修正したりする。
【0029】以下、上記の装置に関するより詳細な説明
を行う。
【0030】<プリプロセッサ>プリプロセッサ15に
ついて図3〜図10を参照して説明する。
【0031】プリプロセッサ15の機能は、必要な情報
を音声から抽出することにより処理されるべきデータを
削減することである。音声分析の技術分野において、音
声を前処理する方法は多数知られており、以下に説明す
る方法は、一実施形態として示されているものである。
よって、以下に説明するような方法に限定されると解釈
されるべきではない。本実施形態において、プリプロセ
ッサ15は、「フォルマント(formant)」関連情報を
抽出するように設計されている。フォルマントとは、ユ
ーザの声道の共振周波数として定義され、声道の変化に
したがって変化する。
【0032】図3は、入力音声信号に対して行われる前
処理を示すブロック図である。マイクロフォン7または
電話線9からの入力音声S(t)は、フィルタブロック
(FILTER)61に供給され、入力音声信号内のあまり重
要でない情報を含む周波数を除去する。音声信号の中
で、もっとも重要な情報は、4KHz以下の周波数に含
まれる。したがって、フィルタブロック61は、4KH
zを上回るすべての周波数を除去する。その後、濾過音
声信号は、ADコンバータ(ADC)63によって、デ
ィジタルサンプルに変換される。ナイキストサンプリン
グ基準にしたがって、ADC63は、8000回/秒の
レートで濾過信号をサンプリングする。本実施形態にお
いて、全入力発声音声はディジタルサンプルに変換さ
れ、音声信号を処理するための次のステップの前に、バ
ッファ(図示されていない)に記憶される。
【0033】入力音声が抽出された後、入力音声は、分
割ブロック(DIVISION INTO FLAMES)65で互いに一部
が重なり合う等しい長さのフレームに分割される。入力
音声をフレームに分割する理由をより詳細に説明する。
上記のとおり、連続的に音声が発せられる間、フォルマ
ント関連情報は連続的に変化し、その変化の割合は、生
理学的抑制によって制限される音声発声器官の動作の割
合に直接的に関連する。したがって、変化するフォルマ
ント周波数を追跡するためには、音声信号は短時間の周
期または短いフレームで分析されなければならない。こ
の方法は、音声分析の技術分野において、「短時間」音
声分析として知られている。短時間分析を行う際、考慮
しなければならない点が2つある。すなわち、(i)ど
のくらいの速度で、時間フレームが音声信号から抽出さ
れなければならないか、(ii)どのくらいの大きさの
時間フレームが用いられなければならないか、という2
点である。
【0034】第1の考慮に関しては、音声発声器官の動
作速度に依存する。すなわち、重要なイベントを見逃さ
ないことを保証するとともに、適当な連続性を保証する
ようように、フレームは十分に近寄っている必要があ
る。本実施形態において、1つのフレームは10mse
cに1回の割合で抽出される。第2の考慮に関しては、
フレーム間の音声信号の特性が一定になるような十分に
短い時間フレームと、フォルマントを区別するのに十分
な周波数を提供するのに十分に長い時間フレームとの間
の妥協しうる点で決定される。 本実施形態において、
フレームの長さは20msecであり、上記サンプリン
グ速度で、1つのフレームにつき160個のサンプルに
相当する。
【0035】これらのフレームを音声サンプルから直接
抽出することによって発生させる場合、かなりの周波数
のひずみが生じる。したがって、このようなひずみを低
減するため、スムーズウィンドウ機能を用いるべきであ
る。ハミング(Hamming)、ハニング(Hanning)、ブラ
ックマン(Blackman)、バートレット(Bartlett)およ
びカイザー(Kaiser)等のようなウィンドウは多数存在
し、何れも適用可能である。これらすべてのウィンドウ
は、音声分析の当業者に知られている。本実施形態にお
いて、ハミングウィンドウが用いられ、これは以下の等
式によって表される。
【0036】
【数1】
【0037】ここで、Nsはウィンドウ内のサンプルの
数、すなわち、160個のサンプルを示す。
【0038】図4は、本実施形態において行われる短時
間分析処理を詳細に示す図である。フレーム1(Flame
1)、すなわち、時刻aと時刻bとの間の音声信号に、
上記の式(1)で求められるウィンドウ関数が乗算され
る。さらに、選択されたフレームの速度およびフレーム
の長さに従って、次のフレームであるフレーム2は、フ
レーム1の中間、すなわち時刻cから始まる。
【0039】入力音声信号のフレームがいったん抽出さ
れると、ブロック67(DFT67)においてフレーム
の離散フーリエ変換(DFT)の振幅が計算される。す
なわち、|Sk(f)|が計算される。ここで、fは離散周
波数変数を示す。このプリプロセッサの多くの態様は、
人間の聴覚システムの動作をシミュレートするために設
計されているので、振幅情報のみが必要であり、入力音
声信号の位相に対しては比較的敏感でない。図5は、1
60個のサンプル、すなわちr=0,1,...159
から構成される1つのフレームSk(r)の典型的な音声信
号を示す。高速フーリエ変換(FFT)アルゴリズムを
DFTの計算で有効に用いるため、フレームSk(r)内の
サンプルの数を2のべき乗まで増加させる必要がある。
これを達成する方法の1つとして、160個のサンプル
の後に96個の0を追加し、256個のサンプルを得る
ことが挙げられる。この技術は「0の充填」として知ら
れ、音声分析の分野において公知であるので、これ以上
の説明はしない。
【0040】Sk(r)のDFTをコンピュータで演算する
場合、計算処理のために、スペクトルの第1の128個
のサンプルだけが必要である。なぜならば、音声は実際
の信号であり、後半の128個のサンプルは前半の12
8個のサンプルの鏡像だからである。図6は、図5に示
されるフレームSk(r)内の音声信号のDFT| Sk(f)|
の振幅の最初の128個のサンプルを示し、最終のサン
プルはサンプリング周波数の半分の周波数、すなわち、
4KHzの周波数で発生するものとなる。
【0041】上記のとおり、プリプロセッサ15の目的
は、データレートを低減し、入力音声信号の特定成分を
強調することである。1つのフレームにつき128個の
サンプルしか存在しないので、DFTによるデータレー
トの低減はわずかである。さらにデータレートを低減す
る方法の1つとして、スペクトルを等しい周波数帯に分
割し、各周波数帯内のサンプルを平均化することが挙げ
られる。すなわち、図6に示されるサンプルをフィルタ
バンクに通過させることである。
【0042】人間の聴覚システムに関する研究によれ
ば、耳の周波数分解能が周波数が増加するとともに減少
することが示されている。従って、高周波数領域と比較
して低周波数領域の中に多くの周波数帯を有するフィル
タバンク、すなわち対数スペースフィルタバンクは、直
線スペースフィルタバンクよりも好ましい。なぜなら、
対数スペースフィルタバンクの方が知覚的に重要な情報
をより多く保持することができるからである。
【0043】本実施形態において、40個の周波数帯を
有するメルスペースフィルタバンク(MEL FILTER BAN
K)69が用いられる。メルスケールは音声分析の分野
で公知であり、音声の知覚周波数を線形スケール上にマ
ップしようとする対数スケールである。図7は、メルス
ペースフィルタバンク69の出力|S~k(f')|を示し、
図6に示されるサンプルがバンク69を通過したときの
出力を示す。振幅スペクトルの結果エンベロープ100
は、フィルタバンク69の平均化効果のためにかなりな
めらかであるが、フィルタバンクの対数スペースのため
に低周波数帯ではなめらかではない。
【0044】次に、フォルマント関連情報が、図3のブ
ロック71、73および75を用いて、下記のプロセス
によって音声から抽出される。
【0045】励起信号E(t)およびフィルタV(t)の項を用
いて、ユーザの音声信号S(t)をモデルにすることができ
る。ここで、励起信号E(t)は声道に入る空気流を示し、
フィルタV(t)は声道の濾過効果を示す。結果的に、音声
信号の周波数スペクトル|S(f)|の振幅は、励起信号の
周波数スペクトル|E(f)|の振幅と声道フィルタのスペ
クトル|V(f)|の振幅を乗算することによって求められ
る。すなわち、以下の(2)式によって求められる。
【0046】
【数2】
【0047】ケプストラム法(cepstral method)とし
て知られる方法、すなわち、音域情報を入力音声から抽
出する方法の一つを以下に示す。この方法は、音声振幅
応答|S(f)|の対数を取ることによって、音域フィルタ
振幅応答|V(f)|を励起振幅応答|E(f)|から分離する
ことを含む。この結果、励起および声道フィルタの特性
の和で表わされるようになる。すなわち、(3)式によ
って求められる。
【0048】
【数3】
【0049】図8は、メルフィルタバンク69からのロ
グ出力のエンベロープ、すなわち、log|S~k(f')|を示
し、2つの成分101および103の加算性を図示する
ものである。成分101は、声道特性、すなわち、 log
|V(f)|を示す。成分103は、励起特性、すなわち、
log|E(f)|を示す。成分101のピークは、声道のフ
ォルマント周波数で発生する。また、成分103の等間
隔のピークは、話者のピッチのハーモニック周波数で発
生する。
【0050】声道特性101は、ブロック(LOG)7
1から出力されたサンプルに離散コサイン変換(DC
T)を行い、その結果をフィルタリングすることによっ
て、励起特性103から抽出できる。
【0051】図9は、DCTブロック73の出力を示
す。これは、ケプストラム(cepstrum)Ck(m)として知
られている。ケプストラムの独立変数(図9のx軸)は
時間の次元を有し、「クエフレンシ(quefrency)」と
名づけられている。図8に示される強い周期性を有する
成分103は、話者のピッチ周期Tに等しい位置で、ケ
プストラムのピーク105になる。また、図8に示され
るゆっくり変化する成分101は、ケプストラムの原点
付近の多数の小さいピーク10に変換され、その位置お
よび振幅はフォルマントに依存する。
【0052】音声の声道特性および励起特性がクエフレ
ンシスケール上の分離した部分にあらわれるので、これ
らは、濾過プロセスまたはケプストラム用語で言ういわ
ゆる「リフタリング(liftering)」プロセスによっ
て、互いに分離される。図9に示されるケプストラムCk
(m)は、1組の離散ケプストラム係数(discrete cepstr
al coefficient)(C0, C1, ... C39)から構成され
る。したがって、リフタリングは、1つの矩形ウィンド
ウによって達成されうる。しかしながら、信頼性が劣る
と考えられるスペクトルの部分を強調しないようにする
ため、より漸次的なウィンドウ機能が好ましい。本実施
形態において、以下のウィンドウ機能が、リフタリング
ブロック(LIFTERING)75で用いられる。
【0053】
【数4】
【0054】ここで、 Ncは、リフタリングブロック7
5から各フレーム毎に出力されたケプストラム係数の所
望の個数であり、本実施形態では12である。
【0055】また、上記の12個のケプストラム係数に
加えて、各フレーム内の音声信号のパワー、すなわち、
「フレームパワー」もまた計算される。これは、フレー
ム内の入力音声信号が発生音声信号に対応するか否かを
示すのに用いられるので、とりわけ重要な特徴である。
フレームパワーは、音声分析の分野では公知の一般的な
方法を用いて、図3に示されるフレームパワーブロック
(FRAME POWER)81で計算される。変化しうる記録環
境や音の大きさ等に影響されないように、ブロック81
で決定されたパワーは、パワー正規化ブロック(POWER
NORMALIZING)83で正規化され、パワー係数Pkを求め
る。パワー係数Pkは、リフタリングブロック75から出
力されたケプストラム係数に結合される。パワーは、バ
ッファ(図示されていない)に記憶された発声音全域に
わたって最大パワー(dB)を決定し、これを各フレー
ムのパワーから減じ、その結果と正規化定数とを掛ける
ことによって、ブロック83で正規化される。
【0056】本実施形態においては、各フレーム内の入
力音声信号のパワーが決定されるが、各フレーム内の入
力音声信号を示す他の値も用いられる。例えば、フレー
ム内の入力音声信号の平均振幅の尺度が決定され、正規
化され得る。
【0057】以上のように、プリプロセッサ15は、各
時間フレームで、1組の係数、すなわち、12個のケプ
ストラム係数および1つのパワー係数を出力する。便宜
上、フレームkを示す係数は、パラメータフレームfk
として示され、次のフレームを示す係数は、パラメータ
フレームfk+1等として示す。
【0058】<バッファ>プリプロセッサ15から出力
されたパラメータフレームfkは、図2に示されるバッ
ファ(BUFFER)16に供給される。本実施形態におい
て、バッファ16は、ADC63から出力された入力音
声のディジタルサンプルを記憶するバッファ(図示され
ていない)に記憶された音声に関して生成されたすべて
のパラメータフレームを記憶するのに十分な容量を有す
る。全入力発声音がプリプロセッサ15によって処理さ
れた後、バッファ16に記憶されたパラメータフレーム
は、それらが受信された順番で認識ブロック17に供給
され、入力発声音が認識される。
【0059】<標準モデル>上記のとおり、どのワード
がプリプロセッサ15からの出力信号によって表現され
ているかを決定するため、出力信号は記憶されている標
準モデルと比較される。この記憶された標準モデルは、
システムに既に認知されたワードおよびシステム周辺の
音響環境をモデルにしたものである。特定のワードに関
連する各モデルは、上記プリプロセッサ15から出力さ
れたパラメータフレームと同じタイプのパラメータフレ
ームのシーケンスで構成される。しかしながら、ワード
モデルのフレームと認識されるべき入力発声音のフレー
ムとを区別するため、ワードモデルのフレームはステー
ト(state)と表現することにする。
【0060】本実施形態による音声認識システムの1つ
の特徴は、ワードモデル、環境(または、ノイズ)モデ
ルまたは言語モデルがシステムに前もって記憶されてい
ないエンドユーザに供給され得ることである。これによ
って、ユーザは自由にシステムを学習させ、ユーザが必
要とするフレーズを認識させるようにすることができ
る。さらに、ユーザにとって有用でないワードが予め記
憶されていることで、システムが過負荷となることを防
止できる。さらに、以下の記載から明らかなように、記
載された特定の学習方法はこの状況において特に適して
いる。なぜならば、それは、学習のために費やされる時
間を必要とせずに新しいフレーズがシステムによって学
習されることを可能とするからである。さらに、標準モ
デルは、すべてのワードに対応し、音素には対応しない
ので、システムは、いかなる言語または言語の組み合わ
せに対しても動作する。学習プロセスを、図10から図
17を参照してより詳細に説明する。
【0061】<学習>図10は、学習プロセスで用いら
れる構築/更新モジュール(BUILD/UPDATE MODULE)9
1を示す概略図である。特に、構築/更新モジュール9
1は、システムによって学習されるべき1つ以上のワー
ドを示すパラメータフレームfkのシーケンスと、矢印
92で示される1つ以上の入力音声ワードに対応するテ
キストを示すユーザ情報とを受ける。十分な情報が構築
/更新モジュール91に入力されると、入力ワードに対
応するワードモデルを発生し、言語モデル21を更新す
る。本実施形態において、ワードモデルおよび言語モデ
ルの両方は、ハードディスク93のような高容量のデー
タ記憶装置に記憶される。
【0062】ノイズモデル23が本実施形態において決
定される方法を以下に説明する。まず、ユーザは新しい
ノイズモデルを構築したり、または既存のノイズモデル
23を変化させる必要があることを指示する。この指示
に応じて、システムは、ユーザに沈黙を示す音を入力す
るよう促す。この処理は、沈黙状態の間、ユーザがキー
ボード3上のスペースバーを押すことによって行われ
る。沈黙の周期の終わりには、ユーザはワードを発生し
なければならない。システムが沈黙を示すべく生成され
たパラメータフレームのパワー係数を正規化できるよう
にするためである。ユーザが沈黙の周期の終わりにワー
ドを発声しない場合、ノイズモデル23のパワー係数が
非現実的に高くなり、非認識エラーが生じることにな
る。最後に、ノイズモデル23を決定するため、システ
ムは沈黙の期間に対して生成されたパラメータフレーム
を平均化し、ノイズモデル23として用いられる1つの
パラメータフレームを形成する。
【0063】本実施形態の音声認識システムは、連続的
に発声されるワード、すなわち、フレーズ内に含まれる
ワードを認識するために設計されている。良い認識結果
を得るため、標準モデル(または、連続ワードモデル)
は、重要なワードを含むフレーズ例から得るべきであ
る。好ましくないことに、連続的に発声されたフレーズ
内のワードの始めと終わりを確認する作業は容易ではな
い。本実施形態が連続ワードモデルを発生させる方法の
概略を以下に示す。まず、システムは、分離的に発声さ
れたワードからワードモデルを決定する。このモデル
は、分離ワードモデルとして示す。しかし、音声認識の
当業者が以下の記載から理解するように、これらの分離
ワードモデルは、本技術分野における一般的な分離モデ
ルには相当しない。システムは分離ワードモデルを用
い、分離ワードモデルとそれに相当するワードを含むフ
レーズ例とを比較することによって、連続ワードモデル
を生成する。
【0064】分離ワードモデルを生成するため、ワード
は、マイクロフォン7または電話線を介して分離的にシ
ステムに入力されなければならない。上記のとおり、ス
ペースバーが用いられ、各入力発声音を確認する。した
がって、分離的に発声されたワードの発声音を示すパラ
メータフレームのシーケンスは、沈黙に対応するパラメ
ータフレームをワードの始めと終わりに有する。次にシ
ステムは、分離ワードの発声音と当該ワードを含むフレ
ーズ例とを比較する。この比較によって、分離的発声音
内のワードのおよその始めと終わりを確認する。この始
点と終点は平均化され、そのワードに対する分離ワード
モデルは、確認された始点と終点との間にある平均化さ
れたパラメータフレームのシーケンスを抽出することに
よって、決定される。この方法で分離ワードモデルを決
定することによって、ワードの始めと終わりの沈黙を除
去するだけではなく、そのワードの部分であって、連続
的な発声音声の間において発音されない部分も除去され
る。したがって、本実施形態の分離ワードモデルは一般
的な分離的ワードモデルには対応せず、沈黙を入力発声
音の始めと終わりから除去することによって決定され、
連続音声が発せられているときのワードをより適切に表
すものとなる。
【0065】いったん分離ワードモデルが決定される
と、フレーズ内の当該ワードの位置を確認するために、
当該ワードを含むフレーズ例と整合される。最後に、標
準ワードモデルまたは連続ワードモデルは、フレーズに
おける確認位置からの音声を抽出及び結合することによ
って、決定される。システムがワードモデルを生成する
方法の詳細について、以下に説明する。
【0066】ユーザがシステムに1つ以上の新しいフレ
ーズを教えたい場合、図11に示されるサブルーチンを
起動する。ステップS1で、ユーザは、新しいワードま
たはフレーズのテキストをキーボード3を介してシステ
ムに入力する。システムは、ステップS3において、そ
のワードまたはフレーズが既知のものであるか否かをチ
ェックし、そのワードまたはフレーズが未知のものであ
れば同じワードまたはフレーズをマイクロフォン7を介
して入力するようユーザに促す。そして、ステップS1
に入力されたワードまたはフレーズに対応するテキスト
に、マイクロフォン7を介して入力されたフレーズを関
連させる。次にステップS5において、PC1は、前も
って入力されていたすべてのテキストを用い、フレーズ
内のどのワードが(分離された状態で)既知となってい
るかをチェックし、未入力(未知)のワードをマイクロ
フォン7を介して入力するようユーザに促す。
【0067】ステップS5の後、ユーザは、ステップS
7にて他の新しいワードまたはフレーズを入力するかど
うかを決定する。新たに入力する場合は、ステップS1
に戻る。他方、ユーザがこれ以上ワードを入力しないこ
とを決定した場合、処理はステップS9に移動する。ス
テップS9において、標準モデルは、システムに入力さ
れた少なくとも2つのフレーズに含まれる未知ワードに
ついて生成される。例えば、学習フレーズが入力されて
おらず、システムには標準モデルがまだ記憶されていな
い状態で、ユーザが「get an image(画像を得る)」お
よび「get theearth(接地する)」という2つのフレー
ズを入力し、ステップS7でユーザがこれ以上フレーズ
を入力する意志がないことを指示した場合を説明する。
この場合、入力フレーズの両方に含まれるワードは「ge
t(得る)」の1つだけなので、システムは「get」とい
うワードのワードモデルを生成するだけでよい。他方、
ユーザが「get an image(画像を得る)」というフレー
ズを2回入力する場合、システムは、当該フレーズ内の
各ワードの標準モデルを生成させ得る。さらに、上記の
前者の例を取れば、ユーザが「get an image(画像を得
る)」および「get the earth(接地する)」という2
つのフレーズを入力した後、第2の学習セッションで
「get the earth(接地する)」というフレーズを入力
した場合、「get(得る)」というワードは既に分離し
て入力されているので、システムは、ステップS5で
「get(得る)」というワードを入力する必要がないこ
とをユーザに伝える。さらに、「the(その)」及び
「アース(earth)」というワードはシステムに入力さ
れている2つのフレーズによって表されるので、システ
ムは「the(その)」及び「アース(earth)」というワ
ードの標準モデルを発生させることができる。この方法
で学習を進めることにより、ユーザはシステムをユーザ
にとって都合よく学習させることができる。
【0068】図12を参照すると、上記方法で入力され
た各フレーズは、フレーズ番号Pを付され、ハードディ
スク93のフレーズアレー115に記憶される。同様
に、入力される各分離ワードにはワード番号Wが付さ
れ、ハードディスク93のワードアレー117に記憶さ
れる。図12に示されるように、フレーズアレー115
内の各フレーズPは、自身に関連する次のようなデータ
を有する。すなわち、パラメータフレーム(PARAMETER
FRAMES)123、フレーズを形成するワードシーケンス
(PHRASE WORDS)125およびステータスフラグ(STAT
US)127を有する。ワードシーケンス125内の各ワ
ードは、自身に関連するテキスト(TEXT)129、フレ
ーズ番号P、ワード番号(WORD No.)131(すなわ
ち、フレーズ内のワードの位置)、フレーズ内のワード
の(最初は認知されていない)時間境界(TIME BOUNDRI
ES)133、およびワードアレー117内の対応するワ
ードWを示すワードインデックス(WORD INDEX)135
を有する。
【0069】ワードアレー117内の各分離ワードW
は、自身に関連する次のようなデータを有する。すなわ
ち、パラメータフレーム(PARAMETER FRAMES)137、
当該ワードが見出されたフレーズへの戻りを示す発声音
インデックス(UTTERANCE INDEX)139およびステー
タスフラグ(STATUS)141を有する。まず、分離ワー
ドおよび分離フレーズがシステムに入力されると、各ワ
ードまたはフレーズに関連するステータスフラグ127
および141は、それらがまだ処理されていないことを
示すFLEXIにセットされる。なお、時間境界133は、
フレーズのワードシーケンス内の各ワード毎に存在し、
UNKNOWN(未知)に設定される。
【0070】次に、図11のステップS9で行われる未
知ワードのワードモデルを生成するための処理の詳細を
図12から図16を参照して説明する。ここでは、学習
フレーズとして「get an image(画像を得る)」という
フレーズが2回、「get theearth(接地する)」という
フレーズが1回入力された場合を例として用いて説明す
る。したがって、フレーズアレー115には3つの要素
P1、P2およびP3が存在し、「get an image(画像
を得る)」という発声音声のフレーズが2つと「get th
e earth(接地する)」という発声音声のフレーズが1
つ含まれる。さらに、ワードアレー117には5つの要
素W1、W2、W3、W4、W5があり、上記2種類の
フレーズを構成するそれぞれ異なるワードが1つずつ含
まれる。上記のとおり、各フレーズおよび異なる各ワー
ドに対応するパラメータフレームのシーケンスは、フレ
ーズアレー115およびワードアレー117の各対応す
る要素毎に記憶される。
【0071】図13には、2つの「get an image(画像
を得る)」のフレーズの発声音を示す音声信号151お
よび153と、「get the earth(接地する)」のフレ
ーズの発声音を示す音声信号155とが示されている。
また、図13には、「get(得る)」、「an(1つ
の)」および「image(画像)」という各ワードの分離
的発声音を示す発声信号157、159および161も
示されている。更に、図13には、「get an image(画
像を得る)」の2つのフレーズの発声音に相当するパラ
メータフレーム152および154と、「get the eart
h(接地する)」のフレーズの発声音に相当するパラメ
ータフレーム156と、「得る(get)」、「1つの(a
n)」および「画像(image)」という各分離ワードの発
声音に相当するパラメータフレーム158、160、1
62も示す。なお、「the(その)」および「earth(接
地)」というワードについては、それらが入力された2
つ以上のフレーズに含まれていないためワードモデルは
生成されない。従って、これら、「その(the)」およ
び「接地(earth)」というワードは、図13には示さ
れていない。
【0072】図14は、各未知ワードのワードモデルを
生成するために必要な処理を詳細に示すフローチャート
である。ステップS21で、未知ワードを含むフレーズ
に対応するパラメータフレームシーケンスが、分離して
発声された当該未知ワードに対応するパラメータフレー
ムシーケンスと関連付けられる。この関連付け処理に
は、フレキシブルダイナミックプログラミングアライン
メント処理が用いられる。このアラインメント処理は、
そのプロセスの初期段階における未知ワードの始点と終
点に関する情報の欠乏を緩和する、特に、各ワードの最
適アラインメントパスが始まらなければならない場所或
いは終わらなければならない場所を制限しないフレキシ
ブルダイナミックプログラミングアラインメントプロセ
スが用いられる。このフレキシブルダイナミックアライ
ンメントプロセスについては、ダイナミックプログラミ
ングアラインメントについて論じた後に、詳細に後述す
る。
【0073】このフレキシブルダイナミックプログラミ
ングアラインメントの結果、未知ワードに対するパラメ
ータフレームシーケンス内の当該未知ワードのおよその
始点および終点が特定される。例えば、「get an image
(画像を得る)」というフレーズの第1の発声音に相当
するパラメータフレームシーケンス152が、未知ワー
ド「get(得る)」の発声音に相当するパラメータフレ
ームシーケンス158に関連付けられるとき、パラメー
タフレームシーケンス158内の始点および終点は上記
アラインメントの結果から確認される。上記のとおり、
始点前および終点後のパラメータフレームは、バックグ
ラウンドのノイズまたはフレーズ例におけるワードの発
音されない部分に相当しているので、除去される。
【0074】ステップS21において、学習フレーズ例
に対して行われるアラインメントでは、「get(得
る)」というワードの3組の始点および終点と(「ge
t」というワードは3つのフレーズに含まれているた
め)、「an(1つの)」と「image(画像)」のワード
の2組の始点および終点と(「an」と「image」のワー
ドは、2つのフレーズに示されているので)を確認す
る。ステップS23で、それぞれの未知ワードの平均始
点および平均終点が決定され、平均スタートフレームの
前にあるフレームおよび平均エンドフレームの後にある
フレームが捨てられる。例えば、「get」というワード
をステップS21で処理した後、3つのフレーズ15
1、153、155を用いて確認された始点がそれぞれ
フレームf8W1、フレームf9W1、フレームf13W1である
場合、その平均はフレームf10W1([8+9+13]/
3)である。そして、フレームf10W1の前にあるパラメ
ータフレーム158のシーケンス内のすべてのフレーム
は、捨てられる。終点についても、捨てられるフレーム
がエンドフレームを越えるものであるという点を除い
て、上記した始点の場合と同様の手順が用いられる。そ
の結果、各ワードのパラメータフレームシーケンスは、
上記のワードの分離ワードモデルとなる。
【0075】図15は、「get」、「an」、「image」の
各ワードの分離ワードモデル音声信号157'、15
9'、161'、およびそれぞれに対応するパラメータフ
レームシーケンス158'、160'、162'を示す。
処理のこの段階で、処理された各ワードのステータスフ
ラッグ141(図12)は、FLEXIからCHOPPEDに変わ
る。なお、CHOPPEDは、未知ワードが始めと終わりが除
去されたフレームシーケンスを有していることを示す。
【0076】次に、図14に示されるステップS25に
おいて、未知ワードを含むフレーズに対応するパラメー
タフレームシーケンスは、当該ワードの分離ワードモデ
ルのパラメータフレームシーケンスに関連付けられる。
例えば、「get」というワードが出現するフレーズの発
声音に対応するパラメータフレームシーケンス152、
154、156の各シーケンスと、「get」というワー
ドの分離ワードモデル158’に対応するパラメータフ
レームシーケンスとの整合がチェックされる。図16
は、本例を行った対応付け(アラインメント)の結果を
示し、ここで破線は、フレーム間のアラインメントを示
す。例えば、パラメータフレームシーケンス152と分
離ワードモデルのパラメータフレームシーケンス15
8’とのパラメータフレームのシーケンスとの間のアラ
インメントでは、フレームf2P1およびf3P1がフレーム
f10W1に関連付けられ、フレームf4P1およびf5P1がフ
レームf11W1に関連付けられる等、アラインメントが確
立されている。
【0077】次に、図14のステップS27において、
分離ワードモデルの個々のフレームを、フレーズに対応
するパラメータフレームのシーケンスからの関連フレー
ムの平均で置き換えることによって未知ワードの標準モ
デルが生成される。例えば、図16に示される分離ワー
ドモデル158'のパラメータフレームシーケンスにお
いて、フレームf10W1は、フレームf2P1、 f3P1、 f
1P2、 f2P3の平均に置き換えられる。また、フレーム
f11W1は、フレームf4P1、 f5P1、 f2P2、f3P2、f
3P3の平均に置き換えられる。分離ワードモデルのフレ
ームの1つに関連付けられるフレームがフレーズに存在
しない場合、そのフレームは、隣接する置き換えられた
フレームの間を捕間するかまたはフレームから外挿する
ことによって得られるフレームに置き換えられる。例え
ば、図16に示されるパラメータフレーム158'のシ
ーケンスにおいて、フレームf12W1は、パラメータフレ
ームシーケンス152、154または156内のいずれ
のフレームにも関連付けられない。従って、f12W1は、
f11W1、f13W1の置換後のフレームで捕間することに
よって得られたフレームに置き換えられる。或いは、分
離ワードモデル内における、入力フレーズのいずれのフ
レームにも関連しないフレームを捨てるように構成して
も良い。
【0078】ステップS27で生成された基準ワードモ
デルは、システムの音声認識部で用いられるものであ
り、その詳細を以下に示す。なお、処理された各ワード
のステータスフラグ141は、CHOPPEDからIN-USEに変
化する。
【0079】いったん標準ワードモデルがフレーズ内の
すべてのワードについて生成されると、フレーズは、図
2に示される言語モデル21に追加される。本実施形態
において、言語モデル21は、バイグラムモデル(Bigr
am Model)と同様で、網目上に相互に接続するノードを
備える。ここで、相互接続は、システムに既知となった
ワードを示す。しかしながら、この相互接続には、例え
ば、正しい英語の用法に関する文法規則は含まれていな
い。すなわち、システムに認知されたフレーズに従っ
て、どのワードが他のどのワードに続くかを制限するだ
けである。図17aは、以下の各フレーズがシステムに
よって学習されたときに取り出される言語モデル21を
示す。
【0080】
【表1】
【0081】図17aに示されるように、スタートノー
ドN0、エンドノードNn、8個の中間ノードN1からN8
がある。認識されるべき入力フレーズのために、システ
ムは、スタートノードN0からエンドノードNnまでのパ
スを見つけなければならない。しかしながら、システム
は一度学習されると妥当な程度にフレキシブルになり、
ユーザが「make it smaller」というフレーズの代わり
に「make smaller」と入力しても、システムはその入力
されたフレーズを認識することができる。しかしなが
ら、フレーズの個々のワードが既知であっても、そのフ
レーズがシステムに認知されていない場合、システムは
フレーズを認識しない。例えば、上記の言語モデルにお
いて、ユーザが「save the image」と言った場合、たと
えシステムにとって「save」、「the」、「image」の各
ワードが既知であっても、システムはこの入力フレーズ
(「save the image」)を認識しない。
【0082】言語モデル21は、図11のステップS3
で入力されたテキストによって示される必要なワードの
シーケンスを抽出することによって作成され、各新しい
フレーズが入力された後に更新され、フレーズ内の各ワ
ードにはワードモデルが提供される。言語モデル21を
更新する方法について、図17bを参照して以下に説明
する。
【0083】新しいフレーズが入力され、入力フレーズ
の各ワードに対応するワードモデルが決定されると、ス
テップS30においてシステムは、フレーズの第1のワ
ードがスタートノードN0の出力に接続されているかど
うかを判断する。接続されている場合、処理はステップ
S32に進む。他方、第1のワードがスタートノードN
0の出力にまだ接続されていない場合は、ステップS3
1でスタートノードN0からの新しい出力として第1の
ワードが追加される。
【0084】処理はステップS32に進み、ここでシス
テムはワードループカウンタwを初期化する。以降の処
理で、システムは、このワードループカウンタwを用い
て、当該フレーズ内の全ワードを数える。処理はステッ
プS33に進み、ここでシステムはワードwが当該フレ
ーズの最後のワードか否かを判断する。ワードwが最後
のワードでない場合、処理はステップS34に進み、ワ
ードwがノード(エンドノードNnを除いた)の入力に
接続されているか否かを判断する。接続されていれば処
理はステップS36に進み、ここでシステムは、次のワ
ードw+1がワードwを入力として有するノードの出力
に接続されているかどうかをチェックする。他方、ステ
ップS34で、ワードwがいずれのノードの入力にも接
続されていないとシステムが判断した場合、処理はステ
ップS35に進み、ここで新しいノードが作成され、ワ
ードwは、新しいノードの入力に接続される。それか
ら、上記のとおり、処理はステップS36に進む。
【0085】ステップS36で、次のワードw+1がワ
ードwを入力として有するノードの出力に接続されてい
ないとシステムが判断した場合、処理はステップS37
に進む。ステップS37では、次のワードw+1が当該
ノードの出力として追加される。一方、ステップS36
で、次のワードw+1が既にワードwを入力として有す
るノードの出力に接続されているとシステムが判断した
場合は、そのままステップS38に進み、ここでワード
カウンタwがインクリメントされる。そして、処理はス
テップS33に戻り、入力フレーズの次のワードに対し
て同様の処理が行われる。また、ステップS33で、ワ
ードwがフレーズの最後のワードであることを判定され
た場合、処理はステップS39に進む。ステップS39
において、システムは、最後のワードがエンドノードN
nの入力に接続されているか否かを判断する。最後のワ
ードがエンドノードNnの入力に接続されていない場
合、処理はステップS40に進み、ここでシステムは、
フレーズの最後のワードをエンドノードNnの入力に接
続する。最後のワードがエンドノードNnに既に接続さ
れているか、またはステップS40で最後のワードがエ
ンドノードNnに接続されると、本処理を完了し、処理
された入力フレーズは言語モデル21の一部を形成する
ことになる。
【0086】本学習プロセスの特徴の1つは、システム
に個々にフレーズを学習させることもできるし、一度に
多数のフレーズを学習させることもできる。新しいフレ
ーズが入力され、この時点でシステムが既にフレーズ内
のいくつかのワードのワードモデルを有する場合、シス
テムは言語モデル21を更新する前に、当該フレーズの
未知ワードについてワードモデルを生成する必要があ
る。
【0087】<ダイナミックプログラミング(DP)>
図14のステップS21およびS25で行われる処理に
おいて、フレーズのパラメータフレームとワードのパラ
メータフレームとを関連付けるために、アラインメント
処理が用いられた。より効果的な方法で2つのシーケン
スを関連させるため、アラインメントプロセスは、例え
ば、ワードが分離して発せられたり、ワードが連続的に
発せられるフレーズに含まれる場合に生じるワードの発
声速度の差を補償することが要求される。上記のダイナ
ミックプログラミング(DP)のアラインメントプロセ
スは、あるワードを別のワードに合致させる一つの方法
である。これは、最適な非線形の時間スケールのひずみ
を適用して、すべての時点で最適にマッチさせる方法で
行われる。
【0088】DPマッチングプロセスの概略を、図18
から図20を参照して以下に説明する。図18は、横座
標方向に入力ワードを示すパラメータフレームのシーケ
ンスを示し、縦座標方向にワードモデルを示すパラメー
タフレームのシーケンスを示す。本例を図14のステッ
プS25で行われる処理と比較すると、入力ワードを示
すパラメータフレームは、入力フレーズの1つに相当す
るパラメータフレームシーケンスの一部分を示す。ま
た、ワードモデルを示すパラメータフレームシーケンス
は、切り出されたワードの1つに相当するフレームシー
ケンスを示す。
【0089】ワードモデルと入力ワードとのトータル的
な違いを見つけるため、図18の左下隅と右上隅との間
のあらゆるパスに沿って最短累積距離が得られる数対の
フレームに関してすべての距離の和を求める必要があ
る。この限定は、類似するワードの対応するフレームが
正しく関連付けられることを保証する。このような総距
離を計算する1つの方法は、すべてのありうるパスを考
慮し、各パスに沿った各点のd(k,j)の値(フレー
ムkとフレームjとの間の距離)を加算することであ
る。2つのワードの間で評価された距離の最小値を取
り、累積距離を求める。この方法は正しい答えを与える
が、有効パスの数が増加するので、実用的な音声認識シ
ステムのためのコンピュータ処理は不可能となる。
【0090】ダイナミックプログラミングは数学的技術
であり、すべての取り得るパスの距離を計算することは
行わずに、最適なパスの累積距離を求めることができ
る。累積距離が計算されるべきパスの数は、さらにDP
プロセスを制限することによって、低減される。例え
ば、最適パスは負の傾斜にはなり得ない。負方向の傾斜
に進む場合、ワードの1つは他のワードの時間を逆にさ
かのぼる状態になる。DPプロセスに対するもう1つの
制限は、基準ワードに対する入力ワードの時間圧縮/拡
張の最大量を制限することである。本実施形態におい
て、この制限は、マッチングプロセスで飛ばされたりま
たは繰り返されるフレームの数を制限することによっ
て、実現される。例えば、図19において、フレームシ
ーケンスは、フレームfkがフレームfjmに合致する場
合、フレームfk+1がフレームfjm、fj+1m、fj+2mま
たはfj+3mに合致するように制限される。したがって、
入力ワードのフレームfkおよびワードモデルのフレー
ムfjmが最適パス上にある場合、上記制限において、最
適パス上で直ちに処理する点は、図20に示すように、
(k−1,j)、(k−1,j−1)、(k−1,j−
2)、( k−1,j−3)のいずれかである。
【0091】図18は、フレームfk-1まで伝わる「有
効パス」を示し、入力ワードとワードモデルとの間のマ
ッチング候補を示す。フレームfkが認識ブロック17
に入力されるとき、各有効パスは、現フレームfkと有
効パスの最後にあるワードモデルのフレームとの間の局
部距離を有する。この局部距離は累積距離に追加される
べきものである。多数のパスが同じ点で出会う場合、最
短の累積距離の有効パスが継続され、他のパスは捨てら
れる。例えば、図18で、パスA、B、Cは点(k,
j)で出会うが、最短累積距離を有するパス(A、Bま
たはCのいずれか)は継続され、その他の2つのパスは
捨てられる。
【0092】したがって、D(k,j)を、ワードの始
めから点(k,j)までの有効パスに沿った累積距離と
すれば、
【0093】
【数5】
【0094】で表される。
【0095】また、上述した制限は以下のとおりであ
る。すなわち、
【0096】
【数6】
【0097】となる。
【0098】上記制限で、D(0,0)の値は、d
(0,0)、d(1,0)、d(2,0)またはd
(3,0)と等しくなければならず、すべてのパスはこ
れらの点のうちの1つから始まらなければならない。し
たがって、始点の1つから始め、D(k,j)の値は、
帰納的な処理ルーチンを介して決定され得る。ルーチン
がマッチングされるべきワードの終わりに到達すると、
DPプロセスによって計算された最小累積距離は、2つ
のワードをマッチさせる最適なパスのスコアを示す。認
識されるべき入力発声音がワードシーケンスから構成さ
れる場合、採用された方向を示すバックポインタが用い
られなければならない。DPプロセスが最適のパスの終
わりを示した後、そのバックポインタで戻りながら跡を
たどることによって、入力発声音を認識することができ
るようにするためである。
【0099】上記のDPプロセスは、すべてのパスを網
羅して探索することと比較して、大幅にコンピュータ処
理の付加を低減するが、各入力ワードとのマッチングを
行うために多数のワードモデルと比較しなければならな
い場合、他のコンピュータ処理も重要となり得る。した
がって、認識結果の精度に大した影響を及ぼさないコン
ピュータ処理を省略することは望ましい。可能なコンピ
ュータ処理の省略は、スコアの悪いパスが必要以上に形
成されることを防ぐことである。成長するパスが木の枝
に似ているので、この処理は「刈り込み(pruning)」
として知られている。このようにパスの刈り込みによっ
て、最適パスの両側の候補パスを含むパスの狭帯のみが
考慮される。このような借り込みが用いられる部分で
は、ダイナミックプログラミングプロセスが最適のパス
を確実に見つけるとは限らないことが認められる。しか
しながら、刈り込みしきい値を用いて、例えば5〜10
の要因でコンピュータ処理の平均量を低減し、ワードが
よく類似する場合であれば殆ど常時正しいパスが求めら
れる。
【0100】なお、本実施形態において、図2に示され
る認識ブロック17は、上記と同様のダイナミックプロ
グラミングマッチングプロセスを用い、ワードモデル1
9およびノイズモデル23で認識されるべき発声音のパ
ラメータフレームのシーケンスのマッチングを行う。
【0101】<認識検索>本実施形態による音声認識シ
ステムのもう1つの特徴は、ダイナミックプログラミン
グプロセスが行われる方法にある。特に、本実施形態
は、上記等式(6)で行われた最小値の計算、すなわ
ち、以下の式(7)が処理される現フレームfkに影響
されないことを利用する。したがって、前フレームfk-
1が処理されるとき、等式(6)のこの部分が計算され
る。
【0102】
【数7】
【0103】ダイナミックプログラミングプロセスを実
施する方法を、図21〜図31を参照して以下に説明す
る。
【0104】図21は、認識すべき入力発声音を入力し
た際に、認識ブロック17で行われる処理を示すフロー
チャートである。システムは、プリプロセッサ15によ
って生成された入力発声音のパラメータフレームシーケ
ンスを処理する。フレームカウンタ変数kはこの処理に
供され、変数kは、ステップS41で0に初期化され、
各フレームが処理される毎にステップS61で順次イン
クリメントされる。処理される各フレームは、ステップ
S47で用いられ、各ワードモデル内の他の有効パスの
累積距離を更新する。ワードカウンタwはこの処理に供
され、ステップS43で0に初期化され、ステップS4
7の後、ステップS49でインクリメントされる。ステ
ップS45で、システムは、現フレームを用いて、すべ
てのワードモデルが処理されたかどうかをチェックす
る。すなわち、システムは、ワードカウンタwがシステ
ムに認識されたワードの数nwを下回るかどうかをチェ
ックする。
【0105】現フレームfkを用いて、全ワードモデル
がいったん処理されると、処理はステップS51に進
み、ここで図17aに示される言語モデル21のノード
が、現フレームを用いて処理される。ステップS51で
行われる処理は、現パラメータフレームが、入力音声の
始めと終わりまたは入力音声の許されたワードシーケン
ス間の沈黙に対応するという状況を処理する。また、こ
の処理は、有効パスが、許容されたワードシーケンスの
範囲に沿って成長するのを保証する。
【0106】ステップS51でノードが処理された後、
各ワードモデルの始め、即ち「エントリステート」の1
つで終わる有効パスの累積距離がステップS57で更新
される。この処理は、現パラメータフレームfkがある
ワードモデルの終わりにマッチングするときに、次のパ
ラメータフレームfk+1が他のワードモデルの始めに合
致するという状況に対処する。これを達成するため、ワ
ードカウンタwは、ステップS53で再度初期化され
る。ステップS55でシステムは、すべてのワードモデ
ルが処理されているかどうかをチェックする。ステップ
S57でシステムは、現ワードモデルのエントリステー
トに対する累積距離を更新し、ワードカウンタwが、ス
テップS59でインクリメントされる。そして処理は、
ステップS55に戻る。
【0107】すべてのワードモデルが現パラメータフレ
ームfkについて処理された後、パラメータフレームカ
ウンタ変数kは、ステップS61でインクリメントされ
る。ステップS63でシステムは、処理されるべき入力
発声音がこれ以上存在するかどうかを判断する。これは
ステップS63で変数kをシステム限界(LIMIT)
及び音声終了識別子(EOS)と比較することによっ
て、この処理は行われる。システム限界は、図3に示さ
れるADC63から出力された音声サンプルを記憶する
ために用いられるバッファの容量によって決定される。
【0108】入力発声音のすべてのパラメータフレーム
が処理された場合、DPプロセスが完了し、回帰アルゴ
リズムを用いて最適パスを決定し、それによって、認識
結果を決定する。他方、ステップS63でシステムが処
理されるべきパラメータフレームがさらに存在すると判
断された場合、ステップS65でシステムは刈り込みし
きい値を調整し、ステップS43に戻る。刈り込みしき
い値Thは、次の入力フレームが処理されるとき、ステ
ップS47、S51、S57で処理される有効パスの数
を制限するべくステップS65で調整される。
【0109】図21のステップS47で行われる処理の
詳細を、ワードモデルの特定の例を示す図22から図2
6を参照して以下に説明する。図22は、ワードモデル
201の一例を示す。特に例示されているワードモデル
201は、学習セッションの間に得られたステートS0
〜S9のシーケンスと、ワードモデル201の終わりの
出口ステートSDとを備える。これらの目的を以下に説
明する。
【0110】ワードモデル(WORD)201の各ステート
Sは、そのステートで終わる有効パスの累積距離を記憶
する累積距離記憶D[S]を有する。本実施形態におい
て、ワードモデル201は、現フレームfkの現アクテ
ィブリスト(ACTIVE LIST)203を有する。ここで、
現アクティブリストは、現フレームfkの有効パスの終
わりにあるワードモデルのステートを降順に登録する。
したがって、現アクティブリスト203の各ステート
は、そのステートで終わる各有効パスの累積距離を記憶
する。この例において、現フレームfkの現アクティブ
リスト203は、ステートS7、S5、S4、S3、S2、
S1、S0を登録している。現アクティブリスト203に
掲載されたステートはアクティブステートとして示され
る。本実施形態において、ワードモデル201は、関連
付けられた新アクティブリスト(NEW ACTIVE LIST)2
05も有する。この新アクティブリスト205は、ステ
ップS47で行われる処理の間に完成し、次のフレーム
fk+1のための有効パスの終わりにおけるワードモデル
201のステートを登録する。
【0111】現アクティブリスト203および新アクテ
ィブリスト205の重要性を図23を参照して説明す
る。図23は、p1〜p7の7つの有効パスを示し、7
つの有効パスは、入力されたワードとワードモデル20
1との間の現フレームfkまでの7つのマッチング候補
を示す。図示されるとおり、7つの有効パスp1〜p7
はそれぞれ、ワードモデル201のステートS7、S5、
S4、S3、S2、S1、S0で終わっている。現アクティ
ブリスト203で降順に登録されているのは、これら有
効パスの終わりのステートである。新アクティブリスト
205に登録すべきステートを決定するため、すなわ
ち、次の入力フレームfk+1に残るパスを決定するた
め、ある入力パラメータフレームから他のパラメータフ
レームへの移行が許可されている状態を考慮しなければ
ならない。
【0112】入力発声音に対する標準モデルの時間圧縮
の最大量は、入力発声音の隣接するフレーム間において
スキップできるステートの最大数によって決定される。
本実施形態において、この最大数は2に設定される。す
なわち、DPプロセスは、図19に示される状態遷移図
に従う。入力発声音に対する標準モデルの時間伸長の最
大量は、同じステートにマッチし得る連続した入力フレ
ームの最大数によって決定される。本実施形態において
は、続いて入力される2つの連続フレームが同じステー
トにマッチし得る。これらの状態を監視するため、各ス
テートSは、関連する自己反復カウンタ、すなわち、SE
LFを有する。SELFは、対応する有効パスが入力フレーム
fkから次のフレームfk+1が同じステートで終わる度に
インクリメントされる。したがって、例えば、パスp5
は、図23に破線で示されるパス207の1つまたはす
べてに沿って伝わる。図23に示される他のパスp1〜
p4およびp6、p7も、同様の方法で伝わる。2つ以
上のパスが同じ点で合う場合、最小の累積距離を有する
パスが維持され、他のパスは捨てられる。さらに、パス
の累積距離が刈り込みしきい値より大きい場合、このパ
スも捨てられる。このように、新しいパスが連続的に作
成され、一方、他のパスは捨てられる。刈り込みしきい
値の目的は、各入力パラメータフレームのために処理さ
れる有効パスの数を制限し、それによって、アルゴリズ
ムに必要な時間量およびメモリを制限することである。
【0113】図24は、図21のステップS47で行わ
れる処理ステップを詳細に示す。まず、ステップS71
でポインタLAが初期化される。また、ワードモデル2
01の出口ステートに記憶される累積距離、すなわちD
[SD]は、大きい値を示すHUGEに設定される。ポイン
タLAは、新アクティブリスト205に登録された最後
のアクティブステートを示すのに用いられる。最初、新
アクティブリスト205にはアクティブステートがな
く、従って、ポインタLAは、出口ステートSDを示す
ように設定される。ステップS73でシステムは、現ア
クティブリスト203にアクティブなステートがあるか
どうかをチェックする。言い換えれば、現ワードにおけ
る、現フレームfkで終わる有効パスがあるかどうかチ
ェックする。本例では、現アクティブリスト203には
7つのアクティブステートがあり、システムは各アクテ
ィブステートを順次処理する。カウント変数iが与えら
れ、カウント変数iは、現アクティブリスト203にお
けるアクティブステートすべてをカウントするために用
いられる。カウント変数iは、ステップS75で0に設
定され、現アクティブリスト203の全アクティブステ
ートが処理されるまで、ステップS79でインクリメン
トされる。システムは、ステップS81でカウント変数
iと現アクティブリスト203のアクティブステートの
数naとを比較することによって、すべてのアクティブ
ステートが処理されたかどうかを判断する。
【0114】現アクティブリスト203のすべてのアク
ティブステートがいったん処理されると、ステップS7
7の処理の間に発生された新アクティブリスト205
が、ステップS83にて、処理されるべき入力発声音の
次のフレームfk+1の現アクティブリスト203に置き
換えられる。実際には、2つのアクティブリストを示す
ために用いられるポインタを交換することによってこの
処理は行われる。古くなった現アクティブリストは、次
の入力フレームfk+1の処理中に新アクティブリストと
して上書きされる。最後に、ステップS85において、
アクティブステートになり、新アクティブリスト205
に登録された、ポインタLAによって示される最終ステ
ートが図21に示されるステップS57で用いるために
格納される。
【0115】ステップS77で行われる処理の概略を、
アクティブステートS7、S5を例に揚げて説明する。図
23に示されるように、アクティブステートS7、S5は
それぞれ、パスp1、p2の終わりである。図25は、
2つの有効パスp1、p2の一部分を示し、有効パスp
1、p2はそれぞれ、現フレームfkのアクティブステ
ートS7、S5で終わる。図25の破線は、各2つのパス
p1、p2が次のフレームfk+1に伝わり得る態様を示
す。破線213で示すように、パスp1は、フレームf
k+1で他のワードに拡張することができる。したがっ
て、(アクティブステートS7に記憶される)パスp1
の累積距離は、出口ステートSDに複写される。破線2
15、217、219で示すように、パスp1は、ステ
ートS9、S8、S7のそれぞれにも伝わり得る。したが
って、パスp1の累積距離がステートS9、S8、S7に
複写される。更に、ステートS9、S8、S7は、降順に
新アクティブリスト205に追加され(ただし、入力フ
レームと比較されず、当該ワードを離れる全てのパスの
最短累積距離を記憶するためだけに用いられる出口ステ
ートは追加されない)、最終アクティブポインタLA
は、最後に追加されたステート(すなわち、ステートS
7)を示すように設定される。
【0116】図26aは、現アクティブリスト203の
第1のステートS7が処理された後の新アクティブリス
ト205を示す。図示されるように、ステートS9、S
8、S7はそれぞれ、新アクティブリスト205の最初の
3つの要素で、最終アクティブポインタLAは、ステー
トS7を示す。
【0117】図25をもう一度参照すると、破線22
1、223、225、227で示すように、パスp2
は、ステートS8、S7、S6、S5それぞれに伝わリ得
る。しかしながら、2つのステートS8、S7は次のフレ
ームfk+1のために記憶された累積距離をすでに有する
ので、パスp2の累積距離を単に各ステートにコピーす
るという処理だけではない。すなわち、これら2つのス
テートS8、S7では、すでに記憶されている累積距離と
パスp2に関連する累積距離とを比較し、最小の累積距
離がこれら2つのステートにコピーされることになる。
言い換えれば、図23に示されるパスのステートS8、
S7に記憶されるべき累積距離は、アクティブステート
S5を処理した後に、min(D[S7], D[S5])によって求めら
れる。一方アクティブステートS5に記憶された累積距
離はステートS6に直接に複写される。ステートS6に
は、次のフレームfk+1に対する累積距離が記憶されて
いないからである。2つのステートS6、S5は、新アク
ティブリスト205に追加され、最終アクティブポイン
タLAは、ステートS5を示すように設定される。
【0118】図26bは、現アクティブリスト203の
第2番目のアクティブステートS5が処理された後の新
アクティブリスト205を示す。図示されるように、ス
テートS8、S7、S6、S5はそれぞれ、新アクティブリ
スト205の最初の5つの要素となり、最終アクティブ
ポインタLAは、ステートS5を示す。現アクティブリ
スト203の他のアクティブステートも同様の方法で処
理され、処理は図21で示されるステップS49に進
み、ここでワードカウントがインクリメントされる。
【0119】最終アクティブポインタLAが設けられて
いるので、システムは比較処理を必要とするステートお
よび比較を必要としないステートを確認するために新ア
クティブリスト205を検査する必要が無くなる。即
ち、ステートがアクティブポインタLAによって示され
たステート番号と等しいかまたは上回る場合、比較処理
が必要であることがわかる。また、ステート番号よりも
下回る場合、累積距離がそのステートにコピーされれば
よい。
【0120】図24に示されるステップS77で行われ
る処理を、図22に示されるワードモデル201の例を
用いて、図27aおよび図27bを参照して詳細に説明
する。ステップS77でi=0の場合に、処理をしなけ
ればならない第1のアクティブステートSは、ステート
S7である。したがって、図27aのステップS91
で、システムは、ステートS7で終わる有効パスの累積
距離が刈り込みしきい値Thを下回るかどうかをチェッ
クする、すなわち、D[S7]はThと比較される。 D
[S7]が刈り込みしきい値Thを上回る場合、このパ
スは捨てられ、処理は、図24に示されるステップS7
9に移行する。 D[S7]が刈り込みしきい値Thを下
回る場合、処理は、ステップS92に進み、ここで現フ
レームfkのために処理されるアクティブステートの総
数を数えるために用いられる変数ACOUNTをインクリメン
トする。ステップS93で、システムは、処理中である
現アクティブステートS7と処理中である現フレームfk
との間の局部距離を計算し、この計算結果を累積距離D
[S7]に加算する。
【0121】本実施形態においては、以下のユークリッ
ドの距離公式を用い、現フレームfkと現アクティブス
テートSとの間の局部距離の値を得る。
【0122】
【数8】
【0123】累積距離D[S7]がステップS93で更
新された後、ステップS95でシステムは、現アクティ
ブステートS7で終わる有効パスが次の入力フレームfk
+1でワードから離れ得るかどうかをチェックする。上記
DPの制限によって、この処理では、処理される現アク
ティブステートSの先の3つ目のステートがワードモデ
ル201の最後のステートの先に進むかどうかを決定し
て示す。本例では、現アクティブステートS7の先の3
つのステートが最後のステートS9を過ぎているので、
ステップS97に進み、ワードモデル201の終わりで
ある出口ステートSDを示すようにポインタjが設定さ
れる。ステップS101で、ポインタjによって示され
るステートが最終アクティブポインタLAによって示さ
れるステートと比較される。この処理は(現時点で
は)、処理されるべき現アクティブリスト203内の第
1番目のアクティブステートであるので、最終アクティ
ブポインタLAは、出口ステートSDを示している(図
24に示されるステップS71を参照)。したがって、
処理はステップS103に進み、ここでポインタjによ
って示されたステート、すなわち、出口ステートSDに
記憶された累積距離が、処理される現アクティブステー
トS7で終わる有効パスp1の累積距離と比較される。
【0124】図24のステップS71で、出口ステー
ト、すなわち、D[SD]に記憶された累積距離は、大
きな値を示すHUGEに設定されている。したがって、累積
距離は、処理される現アクティブステートS7に記憶さ
れている累積距離を上回る。結果的に、処理は、ステッ
プS105に進み、ここでD[S7]がD[SD]にコピ
ーされる。次に、ステップS107で、ポインタjによ
って示されるステート、すなわち、出口ステートSDに
対応する自己反復カウンタは0に設定される。ステップ
S109で、ポインタjはデクリメントされ、ステート
S9を示すようになり、処理はステップS101に戻
る。
【0125】次に、ポインタjによって示されるステー
ト(ステートS9)は、最終アクティブポインタLAに
よって示されるステート(ステートSD)の前なので、
処理は図27bに示されるステップS111に進む。ス
テップS111で、システムは、ポインタjによって示
されるステート、すなわち、ステートS9が処理される
現アクティブステートS7と等しいかどうかをチェック
する。ここでは、等しくないので、処理はステップS1
13に進み、ここでステートS9に記憶された累積距離
が現アクティブステートS7に記憶された累積距離と等
しくされる。言い換えれば、パスp1の累積距離がステ
ートS9に複写される。そして、ステップS115で、
ステートS9が、図22に示される新アクティブリスト
205に追加される。ステップS117で、ステートS
9に対応する自己反復カウンタが0に再設定される。そ
して、続くステップS119でポインタjがデクリメン
トされ、ポインタjはステートS8を示す。処理はステ
ップS111に戻り、ステートS8はステートS9と同様
の方法で処理される。
【0126】ステートS8がステップS113、S11
5、S117で処理された後、jはステップS119で
デクリメントされてステートS7を示すようになる。ス
テートS7は処理される現アクティブステートでもあ
る。したがって、このとき、処理はステップS111か
らステップS121に進み、ここでステートS7に関連
する自己反復カウンタがチェックされる。すなわち、ス
テートS7で終わる有効パスが、当該入力発声音の過去
の2つのフレームに渡ってそこで終わったかどうかをチ
ェックする。ステートS7に対応する自己反復カウンタ
の値が2つのフレームと等しい場合、ステートS7は新
アクティブリスト205には追加されず、処理はステッ
プS123に進む。ステップS123では、最終アクテ
ィブポインタLAが、現アクティブステートに1を加え
られた値に設定され、ステートS8を示すようになる。
このルーチンによって、現アクティブステートに対応す
る自己反復カウンタが2つのフレームと等しいかどうか
確認され、等しい場合には現アクティブステートで終わ
る有効パスが、次のフレームfk+1の同じステートに伝
わることを防ぐ。図23に示されるパスの例において
は、現フレームfkのステートS7で終わるパスp1はス
テートS6から入るので、自己反復カウンタは0となっ
ている。結果的に、ステートS7は、ステップS125
で新アクティブリスト205に追加される。ステートS
7の自己反復カウンタは、ステップS127でインクリ
メントされ、ステップS129で、最終アクティブポイ
ンタLAが現アクティブステート、すなわち、ステート
S7を示すように設定される。
【0127】ステップS129またはステップS123
の後、処理はステップS131に進み、ここで現アクテ
ィブステートS7に記憶された累積距離は、現フレーム
fkのために処理されたすべてのワードにおけるすべて
の有効パスの最短累積距離MINSCOREと比較される。ステ
ートS7に記憶された累積距離がMINSCORE を下回る場合
は、 ステップS133でMINSCOREがステートS7に記憶
された累積距離に置き換えられる。その後、処理は、図
24に示されるステップS79に戻る。一方、MINSCORE
に記憶された累積距離が現ステートS7に対応する累積
距離を下回る場合、処理は、そのまま図24に示される
ステップS79に戻る。ステップS79に戻ると、カウ
ント変数iがインクリメントされ、現アクティブリスト
203の次のアクティブステート、すなわち、ステート
S5が、ステップS77で処理されることになる。
【0128】アクティブステートS5は、上記アクティ
ブステートS7と同様の方法で処理される。ステートS5
で終わる有効パスの累積距離が刈り込みしきい値Thを
下回る場合、ステップS93で、システムは、現アクテ
ィブステートS5と処理される現フレームfkとの間の局
部距離を計算し、その計算結果を現アクティブステート
S5に記憶された累積距離に加算する。ステップS95
で、システムは、現アクティブステートS5で終わるパ
スp2が、上記DPの制限によって、次のフレームfk+
1の他のワードに拡張できないと判断する。言い換えれ
ば、ステートS5から3つ目のステートは、ステートSD
と等しくないかまたはステートSDを越えないので、処
理はステップS99に進み、ここでポインタjが、ステ
ートS5の3段階先のステート、すなわち、ステートS8
を示すように設定される。次に、ステップS101で、
ポインタjによって示されるステートが、最終アクティ
ブポインタLAによって示されるステートと比較され
る。
【0129】この時点において、最終アクティブポイン
タLAはステートS7を示し、ポインタjはステートS8
を示す。したがって、処理がステップS103に進み、
ここで(アクティブステートS7の処理の結果として)
ステートS8にすでに記憶されていた累積距離が、アク
ティブステートS5に記憶された累積距離と比較され
る。ステートS8に記憶された累積距離がステートS5に
記憶された累積距離を上回る場合、ステートS8に記憶
された累積距離は、ステートS5に記憶された累積距離
に置き換えられる。ステップS107で、ステートS8
に関連する自己反復カウンタは0に再設定され、ポイン
タjは、ステップS109でデクリメントされ、ステー
トS7を示すようになる。そして、処理はステップS1
01に進み、ここで上記と同様の処理が行われる。
【0130】この再帰処理ルーチンは、システムに認知
されたすべての標準ワードの全ての現アクティブステー
トについて行われる。
【0131】現フレームfkについて上記方法で各ワー
ドを処理した後、言語モデル21の各ノードが順次処理
される。上記のとおり、言語モデル21は、許容される
ワードのシーケンスを決定する。この情報は、ノードに
よって、特にノードの入力および出力に接続されるワー
ドによって、決定される。図21のステップS51のノ
ードの処理によって、有効パスは確実に許容されたワー
ドシーケンスの中を伝わる。以下、ステップS51で行
われる処理を、図28を参照して詳細に説明する。
【0132】まず、ノードを処理する前に、バックグラ
ウンドのノイズを示すフレームと現フレームfk(すな
わち、d(noise, fk))との間の局部距離が、ステップ
S151で計算される。ステップS153で、ノードポ
インタvがスタートノードN0を示すように初期化され
る。ステップS155で、ノードポインタvによって示
されるノードに記憶された累積距離、すなわち、D
[v]が、刈り込みしきい値Thと比較される。 D
[v]が刈り込みしきい値Thを下回る場合、処理はス
テップS157に進み、ここでd(noise, fk)が、処理
される現ノードvに記憶された累積距離に加算される。
ステップS159で、システムは、D[v]と最小値記
憶MINSCOREに記憶された値を比較する。 D[v]がMIN
SCOREに記憶された値を下回る場合、ステップS161
でD[v]をMINSCOREにコピーする。カウント値ACOUNT
(現フレームのために処理されたアクティブステートお
よびノードの数を示す)はステップS163でインクリ
メントされ、処理はステップS165に進む。一方、ス
テップS155において、D[v]が刈り込みしきい値
Thを上回る場合は、ステップS167でD[v]は大
きな値を示すHUGEに設定され、処理はステップS165
に進む。
【0133】ステップS165、S168で行われる処
理について、図29に示されるノードNを例にして説明
する。図示のノードNには、3つのワード「get」、「s
ave」、「load」がその入力に接続され、2つのワード
「an」、「the」がその出力に接続されている。このよ
うなノードの生成は、図17bに示される手順を用いて
は実現できないが、ダイナミックプログラミングプロセ
スがより複雑な言語モデルのために動作することを示す
ために本例が選択されている。特に、定型文法では、ノ
ードが図29に示されるようなものが一般的である。
【0134】ステップS165で、システムは、ノード
Nの入力に接続されたワードの出口ステート、すなわ
ち、ワード「get」、「save」、「load」の出口ステー
トに記憶されたすべての累積距離の最小値を決定する。
一般的な場合、この計算は以下の式によって、示され
る。
【0135】
【数9】
【0136】ここで、Iw[v]は、ノードvの入力に
接続されたすべてのワードを示す。システムがノードN
についてこの最小累積距離を決定した後、その最小累積
距離がすでに記憶されている累積距離を下回る場合に
は、当該最小累積距離がノードNに記憶された累積距離
D[N]に複写される。事実上、これは、当該ノードの
入力に接続されたワードの一つであって、現在そのノー
ドにおいて成長しているパスの累積距離よりも小さい累
積距離を有する有効パスが存在するかどうかの判断であ
る。
【0137】バックグラウンドのノイズフレームにマッ
チするギャップが、フレーズ内の各ワードの手前、間及
び終わりに存在し得るので、有効パスはそのノード内を
伝わることができる。図29の矢印231が示すよう
に、有効パスが、入力されたフレームから次の入力フレ
ームまでの間1つのノードに残ることもできる。この場
合、有効パスはノードNを出発してノードNに戻る。ワ
ードモデルのステートと異なり、パスは、連続して入力
されたフレームのいくつ分でも、ノード内に残ることが
可能である。システムがステップS165の処理を行っ
た後、ノードNに記憶された累積距離がすでに記憶され
ている値より小さい場合、ノードNに記憶された累積距
離は、ステップS168で、一時的記憶INSCOREに複写
される。この一時的記憶INSCOREは、ワード「an」、「t
he」のためのボックス233、235で示される。2つ
以上のワードがノードの出力に接続されるので、比較処
理が行われなければならない。接続ワードに伝わるのは
最小累積距離を有するパスだけだからである。図21に
示されるステップS57の処理において、ワードの一時
的記憶INSCOREに記憶された累積距離を用いて当該ワー
ドのエントリステートが更新される。
【0138】ステップS169で、システムは、D
[v]がHUGEに等しいかどうかをチェックする。等しい
場合、終了する有効パスが無いかまたは、ノードvを通
過して次のフレームfk+1に接続されたワードに入って
いる有効パスが無いことを示す。D[v]が値HUGEを下
回る場合、有効パスが、ノードvで終わっているかまた
は、ノードvを通過して、次のフレームfk+1でノード
vに接続されているワードに入っていることを示す。し
たがって、次のフレームfk+1における潜在的にアクテ
ィブなステート(およびノード)の数を表すカウンタPA
COUNTは、そのノードに関連する沈黙ステートが次のフ
レームfk+1でアクティブステートとなり得るので、ス
テップS171でインクリメントされる。ノードポイン
タvは、ステップS173でインクリメントされ、言語
モデル21の次のノードを示すようになる。システム
は、ステップS175で、ノードポインタvが言語モデ
ル21のエンドノードNnを越えるノードを示すかどう
かをチェックすることによって、言語モデル21のすべ
てのノードが処理されているかどうかをチェックする。
システムがすべてのノード処理を完了していない場合、
処理はステップS155に戻る。一方、処理を完了して
いる場合、処理は図21に示されるステップS53に戻
る。
【0139】次に、図21に示されるステップS57で
行われる処理を、図22に示されるワードモデル20
1、図30および図31を参照して、詳細に説明する。
図30において、ステップS181でシステムは、INSC
OREに記憶された累積距離がHUGEと等しいかどうかをチ
ェックする。等しい場合、次の時点でこのワードに入る
有効パスがないことを示す。したがって、このワードを
再処理する必要がないので、処理はステップS207に
進み、ここで次の入力フレームfk+1のアクティブステ
ートの数(図24のステップS83の処理によって現ア
クティブリスト203に現在記憶されているステートの
数となる)が、カウントPACOUNTに加算される。その
後、処理は、図21に示されるステップS59に戻り、
ここでワードカウントがインクリメントされ、次のワー
ドモデルが処理される。
【0140】他方、INSCOREがHUGEと等しくない場合
は、有効パスが先のワードを出て、処理すべき現ワード
に入っていることを示す。したがって、別のワードモデ
ル(エントリステート)から延びてきたパスによって到
達され得る現ワードモデルのステートは、INSCOREに記
憶された累積距離を用いて更新されなければならない。
上記DP制限を用いる本実施形態において、エントリス
テートは、ステートS0、S1、S2である。この更新手
順は、以下の方法で行われる。まず、ステップS183
で、システムは、処理される現ワードを示すワードモデ
ルが(出口ステートは含まない)3つより多いステート
を含むことをチェックする。3つより多いステートがあ
る場合、ステップS185でステートS2を示すように
ステータスポインタjが設定される。他方、現ワードの
ステートが3つより少ない場合、ステップS187でス
テータスポインタjが、当該処理ワードの終わりの出口
ステートSDを示すべく設定される。このように、ステ
ップS187またはS185でステートSD、S2のいず
れかに向かうようにステータスポインタjが設定される
と、処理はステップS189に進み、ポインタjによっ
て示されたステートと最終アクティブポインタLAによ
って示されるステートとが比較される。
【0141】図27aおよび27bにおいてステップの
シーケンスで行われた処理のように、ポインタjによっ
て示されるステートが、アクティブポインタLAによっ
て示されるステートを越える場合、そのステートに既に
記憶された累積距離とINSCOREに記憶された累積距離が
比較される。
【0142】図23に示されるDPパスの例として、パ
スp7は、次のフレームfk+1でステートS1、S2、S3
に伝わり得るが、ステートS0には伝わらない。パスp
7が先の2つのフレームにおいてステートS0で終わっ
ているからである。したがって、最終アクティブポイン
タLAは、ステートS1を示すようになる(ステップS
121、123)。
【0143】図31は、図22に示されるワードモデル
201のエントリステート(すなわち、最初の3つのス
テート)を示す。図示されるように、アクティブポイン
タLAは、ステートS1に向かう。ワードモデル201
に3つよりも多くのステートがあるので、ステータスポ
インタjは、ステートS2を示す。ステップS189
で、システムは、ポインタjによって示されたステート
が、最終アクティブポインタLAによって示されたステ
ート、すなわちステートS1を過ぎているかどうかを判
断する。したがって、ここでは、処理はステップS19
1に進む。ステップS191で、システムは、ステート
S2に記憶された累積距離と、ワードモデル201に関
連する一時的記憶INSCOREに記憶された累積距離とを比
較する。ワードモデル201の一時的記憶INSCOREは、
図31に示される矩形のボックス241で示される。IN
SCOREに記憶された累積距離がステートS2に記憶された
累積距離より小さい場合、ステップS193でINSCORE
に記憶された累積距離がステートS2に複写される。そ
して、ステップS195で、ステートS2の自己反復カ
ウンタが0に再設定され、処理はステップS197に進
む。一方、INSCOREに記憶された累積距離がステートS2
に記憶された累積距離より大きい場合、ステートS2に
記憶された累積距離は変化せず、処理はステップS19
7に進む。ステップS197において、ポインタjはデ
クリメントされ、ステートS1を示すようになる。処理
はステップS189に戻り、同様の処理が、ステートS
1について行われる。
【0144】ステートS1について処理した後、ポイン
タjは、ステップS197で再びデクリメントされ、ス
テートS0を示すようになる。したがって、処理はステ
ップS189からステップS198に進み、ここでシス
テムは、処理すべきステートがあるかどうかをチェック
する。本例の場合、ステートS0がまだ処理されるべき
であるので、処理はステップS199に進む。ステップ
S199において、INSCOREに記憶された累積距離が、
ステートS0に複写される。このステートは、最終アク
ティブポインタLAによって示される最後のアクティブ
ステートの手前なので、ステートS0について累積距離
の比較は行われない。ステップS201で、システム
は、ステートS0を現アクティブリスト(このリスト
は、図24のステップS83の処理の前では新アクティ
ブリスト205だったものである)に追加する。そし
て、ステップS203で、ポインタjはデクリメントさ
れ、ステートSー1を示すようになる。その後、処理はス
テップS198に戻り、ここでシステムは、処理される
べき現ワードにエントリステートがこれ以上ないと判断
する。従って処理はステップS205に進み、ここで対
応する一時的記憶INSCOREに記憶された累積距離が、HUG
Eに再設定される。そして、ステップS207で、現ア
クティブリストのステートの数が、カウントPACOUNTに
追加され、処理は、図21に示されるステップS59に
戻る。
【0145】<刈り込み(Pruning)>図21によれ
ば、ステップS63で、処理されるべき入力フレームが
更に存在するとシステムが判断した場合、処理はステッ
プS65に進み、ここで刈り込みしきい値Thが調整さ
れる。刈り込みを用いる目的は、ある時点からつぎの時
点まで伝わるDPパスの数を制限することである。特
に、本実施形態では、刈り込みしきい値を調整し、実際
に処理されるアクティブステートの数を前もって決めら
れた範囲に制限できるようにすることを狙う。なお、こ
の限られた範囲は、利用できる動作メモリの量および処
理時間によって左右される。さらに、本実施形態の目的
は、高価なコンピュータ処理のオーバーヘッドを必要と
せずに、以上の目的を達成させることである。本実施形
態において、刈り込みしきい値は、可変差分値(PRUNIN
G)を処理された入力フレームのために決定されたすべ
ての最小累積スコアMINSCOREに追加することによって、
決定される。すなわち、刈り込みしきい値は、等式(1
0)によって、求められる。
【0146】
【数10】
【0147】アクティブステートの設定数のみが各入力
フレームのために処理されることを確実にする方法の1
つは、そこに記憶された累積距離を増加させるために、
処理されつつある入力フレームに対するすべてのアクテ
ィブリストにあるアクティブステートをソートし、最小
累積距離を有する入力フレームで始まる所望の数を処理
する。しかしながら、この技術は、アクティブステート
をソートするために長時間のコンピュータ処理時間を要
する。コストのかかるコンピュータ処理によるソートを
行うのではなく、本実施形態で用いられる技術は、最後
の入力フレームを処理した後に利用できる情報を用い
る。特に、本実施形態において、差分値(PRUNING)
は、処理されるべき次の入力フレームの潜在的なアクテ
ィブステートの数(PACOUNTに格納されている)に依存
して変化し、実際に処理されるステートの数を2つのし
きい値の間にあるように維持する。刈り込みしきい値T
hが調整される方法を、図32を参照して詳細に説明す
る。
【0148】ステップS211において、システムは、
処理される次のフレームの潜在的アクティブステートの
数(PACOUNTに記憶される)とステートしきい値(STATE
TH)を比較する。ここで、ステートしきい値(STATET
H)は、利用できる動作メモリの量によって決定される
絶対的最大ステートしきい値を下回るが、その値の付近
に設定される。PACOUNTに記憶された値がSTATETHを下回
る場合、すべての潜在的なアクティブステートが処理さ
れ得ることを意味するので、直前の時点で用いられた差
分値PRUNINGは増加される。したがって、ステップS2
13で、調整定数dp1が既存の差分値PRUNINGに追加
される。dp1の値は、妥当な局部距離を上回るように
設定されるので、すべてではないがほとんどの潜在的ア
クティブステートが処理される。
【0149】PRUNINGに記憶された値は、ステップS2
15で、高い刈り込みしきい値HIGHPRTHと比較される。
上限が差分値PRUNINGに設定されているので、これ以上
進む必要のない最大差分値が存在する。 PRUNINGに記憶
された値がHIGHPRTHを下回る場合、処理はステップS2
19に進む。 一方、PRUNINGに記憶された値がHIGHPRTH
を上回る場合、PRUNINGは、ステップS217で、HIGHP
RTHに設定される。ステップS215またはS217の
処理の後、システムは、差分値PRUNINGを追加された他
の有効パスの最小累積距離MINSCOREとPRUNINGとの和に
等しくなるように刈り込みしきい値Thが設定される。
そして、処理は、図21に示されるステップS43に戻
る。
【0150】ステップS211で、次のフレームの潜在
的アクティブステートの数(PACOUNT)がSTATETHを上回
るとシステムが判断した場合、ステップS221で、シ
ステムは、直前の入力フレームの処理においてアクティ
ブステートとして処理されたステートの数(ACOUNTに記
憶されている)と、低ステートしきい値LOWSTTHとを比
較する。このLOWSTTHの値は、ACOUNTがLOWSTTHを下回っ
た場合には、多くの時間またはメモリ量を費やさずに次
の入力フレームのすべての潜在的なアクティブステート
を処理できることを保証できるような値に設定される。
したがって、ACOUNTがLOWSTTHを下回る場合、処理はス
テップS221からステップS213に進み、上述した
ような処理によって差分値PRUNINGが調整される。他
方、ACOUNTがLOWSTTHを上回る場合、すべての潜在的ア
クティブステートが処理された場合に、それほどの処理
時間またはメモリ量を費やさずに済むという保証は無
い。したがって、差分値PRUNINGを低減する必要がある
かもしれない。
【0151】差分値PRUNINGを低減させる必要があるか
どうかを判断するため、システムは、ステップS223
で、ACOUNTとSTATETHを比較する。ACOUNTがSTATETHを下
回る場合、システムは、差分値PRUNINGがHIGHPRTHと等
しいかどうかをチェックする。差分値PRUNINGがHIGHPRT
Hと等しい場合、システムはすべてのアクティブステー
トを処理するように試みてきたことを示す。したがっ
て、次の入力フレームのために処理されるアクティブス
テートの数によって、長時間の処理時間または大容量メ
モリを要する処理になってしまうようなことはまず起こ
らないとみてよい。したがって、差分値PRUNINGを変化
させずにステップS219に処理を進め、ここで刈り込
みしきい値は、MINSCOREに差分値PRUNINGを加算したも
のと等しくなるように設定される。他方、差分値PRUNIN
GがHIGHPRTHと等しくない場合(この場合、差分値PRUNI
NGがHIGHPRTH を下回ることになる)、次の入力フレー
ムのために処理されるアクティブステートの数は、長時
間の処理時間または大容量のメモリを費やす可能性があ
る。したがって、処理されるアクティブステートの実際
の数が計算されなければならない。この計算は、変更さ
せていない差分値PRUNINGを用いてステップS231で
設定された刈り込みしきい値を用いてステップS233
で行われる。
【0152】ステップS223に戻って、ACOUNTがSTAT
ETHを上回るとシステムが判断した場合、ステップS2
25で、差分値PRUNINGは、調整定数dp1によって低
減される。ステップS225で差分値PRUNINGが減らさ
れた後、システムはステップS227において、差分値
PRUNINGが低刈り込みしきい値LOWPRTHを下回るかどうか
を判断する。低刈り込みしきい値は、次の入力フレーム
について処理されるアクティブステートの数が設定され
た非常しきい値EMGSTTHを上回ることを保証するのに用
いる。この処理を行う理由は、大量に刈り込まれた場
合、ダイナミックプログラミングプロセスが行えないか
らである。差分値PRUNINGが低刈り込みしきい値LOWPRTH
を下回る場合、ステップS229で差分値PRUNINGをLOW
PRTHに等しくする。ステップS231では、調整された
差分値PRUNINGをMINSCOREに加算したもの等しくなるよ
うに刈り込みしきい値Thが設定される。次にステップ
S233で、システムは、次の入力フレームのために処
理されるアクティブステートの数をカウントする。この
処理は、すべてのアクティブステートに記憶された累積
距離と、新たに決定された刈り込みしきい値Thを有す
るすべてのノードに記憶された累積距離とを比較するこ
とによって行われる。
【0153】総数(nsa)は、次の入力フレームに関し
て処理されるアクティブステートとノードの総数を示
す。総数nsaが非常しきい値EMGSTTHを下回る場合、刈
り込みしきい値の設定が低すぎることを意味する。従っ
て、処理はステップS213に進み、ここで差分値PRUN
INGが増加され、刈り込みしきい値Thが再設定され
る。一方、nsaが非常しきい値EMGSTTHを下回らない場
合、ステップS237で、nsaはLOWSTTHと比較され
る。 nsaがLOWSTTHを上回る場合、ステップS231で
設定された刈り込みしきい値Thは受け入れ可能であ
り、処理は、図21に示されるステップS43に戻る。
他方、nsaがLOWSTTHを下回る場合、刈り込みしきい値
は増加させることができる。よって、ステップS219
で刈り込みしきい値Thが再設定される前に、ステップ
S239で、第2の調整定数dp2を差分値PRUNINGに
加算する。本実施形態において、この第2の調整定数d
p2は、調整定数dp1の半分に設定される。
【0154】当業者には明らかなように、刈り込みしき
い値を変化させる方法はコンピュータ処理に高価なコス
トを費やさせない。さらに、各時点で処理されるアクテ
ィブステートの数を制限するという方法を用いて刈り込
みしきい値が調整される。このため、割り当てられる処
理時間およびメモリが限界を越えないように調整するこ
とができる。
【0155】図21に示される処理ステップのシーケン
スを用いて入力シーケンスのすべてのフレームが処理さ
れた後、ダイナミックプログラミングプロセスによって
決定された最適パスにより正しいパスを決定するために
バックトラッキングルーチンが要求される。本実施形態
において、バックトラッキングルーチンは、各パスが伝
わるワードのシーケンスを示すバックポインタを追跡す
る。このようなバックトラッキングルーチン(再帰ルー
チン)が行われる方法、およびポインタを発生させる方
法の詳細については、音声処理の当業者によく知られて
いるので、これ以上説明はしない。
【0156】<初期化>システムに入力発声音を認識さ
せる前に、認識処理中に用いられるシステムのしきい値
および変数を初期化しなければならない。この処理は、
以下の方法で行われる。まず、スタートノードN0に記
憶される累積距離は0に設定され、他のノードに記憶さ
れる累積距離は、大きな値を示すHUGEに等しくなるよう
に設定される。各ワードモデルに関連付けられ、潜在的
なアクティブステートの数をカウントするカウンタPACO
UNTは0に設定される。各ワードモデルに関連付けられ
た最終アクティブポインタLAは、それぞれのモデルの
エンドステートSDを示すように設定される。各ワード
モデルに関連付けられた一時的記憶INSCOREは、大きい
値を示すHUGEに設定される。その後、すべてのノードが
処理され、各ワードの入力に接続されるすべてのノード
の累積距離の最小値は、各ワードに関連付けられた一時
的記憶INSCOREに複写される。これは、スタートノード
N0に接続された各ワードの一時的記憶INSCOREが0に設
定されることを保証する。最後に、各ワードのINSCORE
に記憶された値を用いて、各ワードモデルのエントリス
テートを作動させ、初期化する。各ワードモデルのエン
トリステートを初期化する処理ステップは、図30を参
照して上述したエントリステートを更新するために用い
られる処理ステップと同一である。刈り込みしきい値お
よび差分値PRUNINGもまた、第1の入力フレームを処理
する前に、初期化される。特に、刈り込みしきい値Th
は大きい値を示すHUGEに設定され、差分値PRUNINGは、
高刈り込みしきい値HIGHPRTHと等しくなるように設定さ
れる。
【0157】<フレキシブルダイナミックプログラミン
グアラインメント>上記において、本実施形態における
ワードモデルの生成方法について、図13から図16を
参照して詳細に説明を行った。特に、先ずはじめに、フ
レーズに含まれるワードについて分離ワードモデルが、
フレキシブルダイナミックプログラミングアラインメン
トを用いて生成される。すなわち、フレキシブルダイナ
ミックプログラミングアラインメントを用いて、そのフ
レーズに対応するパラメータフレームのシーケンスを、
分離して発声された当該フレーズに含まれるワードに対
応するパラメータフレームに関連付けることで分離ワー
ドモデルが生成される。以下、このフレキシブルアライ
ンメントプロセスについて詳細に説明する。なお、ここ
では、学習フレーズ「get an image」が与えられ、か
つ、そのフレーズに存在するワードに対するワードモデ
ルが無い場合を例に揚げて説明する。
【0158】図33は、「get an image」というフレー
ズの発声音声に対応するパラメータフレームシーケンス
152と、「get」、「an」及び「image」の各分離ワー
ドの発声音声に対応するパラメータフレームシーケンス
158、160及び162を示す。パラメータフレーム
シーケンス152におけるパラメータフレームの幾つか
はバックグラウンドノイズもしくは沈黙に対応するの
で、フレーズに含まれる各分離ワードの間、先頭の分離
ワードの開始部分、最終の分離ワードの後部分にノード
251、253、255、257が提供される。これら
のノードは図17aで示された言語モデル中のノードに
類似の態様で動作し、処理中であるパラメータフレーム
152の現パラメータフレームが沈黙もしくはバックグ
ラウンドノイズに対応したものであるという状況に対応
可能である。この可能性は、図33において、ノード2
51,253、255及び257における沈黙フレーム
fsil(これは図10において示されたノイズモデル2
3である)によって示されている。
【0159】パラメータフレームシーケンス158、1
60、162のそれぞれの開始部分もしくは終了部分に
おけるフレームのいくつかは沈黙或いはバックグラウン
ドノイズに対応するものであるかもしれないが、パラメ
ータフレームシーケンス152内の沈黙或いはバックグ
ラウンドノイズに対応するパラメータフレームは、シー
ケンス158、160及び162内の沈黙に対応するフ
レームよりも、ノード251,252、255及び25
7に格納された沈黙フレームfsilによりよくマッチす
る。これは、沈黙フレームfsilが全沈黙フレームの平
均を示すものであり、シーケンス152内の沈黙に対応
するフレームと沈黙フレームfsilとの間の変動量が、
シーケンス152内の沈黙に対応するフレームと各シー
ケンス158、160及び162内の沈黙に対応するフ
レームとの間の変動量よりも小さいからである。
【0160】フレキシブルアラインメントプロセスが実
行される方法は、図18〜32を参照して説明したよう
な、入力音声が、格納されている標準モデルに関連付け
られる方法に類似している。特に、パラメータフレーム
158、160及び162を標準モデルとして、ノード
251,253、255、257、そしてシーケンスフ
レーム152を入力されたフレームとして用いる場合、
フレキシブルアラインメントプロセスの全体的な処理ス
テップは図21に示されたフローチャートに従う。混乱
を避けるために、分離的に発声されたワードを表すパラ
メータフレームシーケンス158、160、162は、
ステートと称する。未知の入力音声を認識するために用
いられた標準モデルのステートと同様に、これらのステ
ートも関連する累積距離格納部を有する。この累積距離
格納部は、処理中のシーケンス152の現フレームに関
して、当該ステートまでのダイナミックプログラミング
パスの累積距離を格納する。
【0161】フレキシブルアラインメントプロセスと未
知の入力発声音声を認識するために用いられたアライン
メントプロセスとの主要な相違は次の通りである。すな
わち、フレキシブルアラインメントにおいては、(i)
各ダイナミックプログラミングパスがあらゆる位置で
(エントリステートの一つに限らず)ワードに入ること
ができる、(ii)各ダイナミックプログラミングパスは
そこに存在するあらゆるステートから出ることができ
る。
【0162】フレキシブルアラインメントプロセスの動
作を上記例を用いて以下に説明する。なお、以下の説明
は、シーケンスパラメータフレーム152のはじめの少
しのパラメータフレームについて行う。
【0163】まず、第1のフレームを処理する前に、ノ
ード及びワードモデル内のステートの累積距離スコアを
初期化する。この初期化処理手順は、上述の、未知入力
音声を認識するのに先立って実行される初期化処理に類
似している。特に、スタートノード、すなわちノード2
51に格納される累積距離はゼロに設定され、他の全て
のノードに格納される累積距離は大きな値を示すHUGEに
設定される。その後、ワードW1、W2及びW3におけ
るステートの累積距離スコアは、それらのワードの入力
に接続されたノードに格納された累積距離スコアを用い
て更新される。これは、フレームf0P1が処理されてい
るときに、ダイナミックプログラミングパスが第1のワ
ードW1及び第1のノード251の各ステートからスタ
ートできることを保証する。
【0164】初期化の後、第1フレームf0P1が、ワー
ドW1、W2及びW3に関して順次処理される。しかし
ながら、ワードW2及びW3内のステートに関連した累
積距離は値HUGEを有するので、第1ワードW1内のステ
ートに関してのみ、第1フレームが処理されることにな
る。ワードW1に関して第1フレームを処理する際、フ
レームf0P1とワードW1内の各ステートとの間の距離
は各ステートに対応付けられた累積距離格納部に格納さ
れる。フレキシブルアラインメントプロセスは図28に
示された処理ステップを用いて、ノード251,25
3、255及び257を順次処理する。最後に、ノード
処理の結果を用いてワードW1、W2及びW3内のステ
ートの累積距離スコアを更新することにより、第1フレ
ームf0P1の処理が完了する。この更新処理は、エント
リステート(すなわち、最初の3つのステート)だけで
なくワード内の全てのステートが更新されるということ
を除けば、図30に示される処理と同様である。
【0165】シーケンス152の第1のパラメータフレ
ームが処理されると、第1のパラメータフレームf0P1
の処理によってスタートされたダイナミックプログラミ
ングパスを成長させるために第2のパラメータフレーム
f1P1が処理される。入力された発声音声の認識に用い
られたダイナミックプログラミング手法で行ったよう
に、各ワードW1、W2及びW3のステートは逆方向の
順序で処理される。ここで、本実施形態において、図1
9及び図20を参照して記述された伝搬の制限に類似し
た制限が用いられる。相違点は、未知の入力音声を認識
する場合では最後の3つのステートからのみ現ワードを
抜けることが許されたが、あらゆるステートから現ワー
ドを抜けることができるという点のみである。ワードW
1、W2及びW3が第2のパラメータフレームf1P1を
用いて処理されると、各ノード内で現在伝わっているダ
イナミックプログラミングパスを更新するために、ノー
ド251,253、255及び257が処理される。こ
の処理がなされると、ノード処理の結果を考慮するた
め、ダイナミックプログラミングパスを更新するため
に、ワードW1、W2及びW3が再び処理される。
【0166】パラメータフレームシーケンス152の残
りのパラメータフレームも、同様の方法で順次処理され
る。シーケンス152内の全てのパラメータフレームが
処理されると、最も低い累積スコアを有するダイナミッ
クプログラミングパスが決定される。パラメータフレー
ムシーケンス158、160及び162内の開始及び終
了フレームを特定するために、フレキシブルアラインメ
ントプロセスの間の各ダイナミックプログラミングパス
の成長が記録される。ここで、これら開始及び終了フレ
ームは、対応するワードを表す(沈黙は表さない)それ
らパラメータフレームの境界を示す。
【0167】特に、ダイナミックプログラミングパスが
手前のワードから、あるいはワードの手前からワードへ
入ったときはいつも、そのダイナミックプログラミング
パスが入ったステートが記録され、そのパスに関連付け
られる。同様に、ダイナミックプログラミングパスがワ
ードから出て、それが出たステートが記録されたとき、
そのパスに関連するスコアはそのワードから出た全ての
前のダイナミックプログラミングパスに関連するスコア
よりも低い。従って、パラメータフレームシーケンス1
52内の最後のパラメータフレームが処理され、最良の
スコアを有するダイナミックプログラミングパスが特定
されると、パラメータフレームシーケンス158、16
0、162内のワードのおおよその開始及び終了位置
が、ダイナミックプログラミングパスに関連する記録を
参照することにより、特定される。
【0168】当業者には明らかなように、フレキシブル
アラインメントプロセスに関する上記記載は、入力フレ
ーズ中に含まれる各ワードについてワードモデルが存在
しないという状況に特化されたものである。しかしなが
ら、標準モデルの学習は自然に増加するように、すなわ
ちユーザが適宜システムに学習させることができるよう
に設計されているので、入力フレーズ中のワードに対す
るワードモデルが既に存在するという状況が発生し得
る。この場合、フレーズとこのワードとの間のアライン
メントの最中において、既にワードモデルを有するワー
ドに対しては通常のダイナミックプログラミングプロセ
スを適用し、まだワードモデルの存在しない他のワード
に対してはフレキシブルダイナミックプログラミングア
ラインメントを適用するという、混合型のダイナミック
プログラミングアラインメントプロセスが採用される。
【0169】図14のステップS25、S26を参照し
て説明したように、フレーズ内の未知のワードに対して
分離ワードモデルが決定されると、それらはワードを含
む入力フレーズのパラメータフレームシーケンスに関連
付けられ、ワードモデルがその結果から生成される。
【0170】<ワードモデルの適用>本実施形態による
音声認識システムの他の特徴は、図10のワードモデル
19、ノイズモデル23および言語モデル21が構築/
更新モジュール91によって更新され、修正されること
である。したがって、記憶されたワードモデル19は、
別のユーザの入力音声によって、修正されたり適応させ
られたりする。
【0171】図34は、ワードモデル19が別のユーザ
に適用される方法を示すフローチャートである。ステッ
プS251で、新しいユーザは、既知のワードまたはフ
レーズをマイクロフォン7またはキーボード3を介して
システムに入力する。したがって、構築/更新モジュー
ル91は、新しいユーザから入力された発声音に対応す
るパラメータフレームのシーケンスと、キーボード3を
介して入力された対応するテキストとを有することにな
る。ステップS253で、システムは、入力発声音と、
当該発声音に存在することが認知されているワードの既
存のワードモデルとを、ダイナミックプログラミングル
ーチンを用いて関連付ける。すなわち、ダイナミックプ
ログラミングルーチンは入力発声音のパラメータフレー
ムと適切なワードモデルとを関連付ける。ステップS2
55で、システムは、ワードモデルのステートをそのワ
ードモデルに関連付けられたパラメータフレームのシー
ケンスで直接に置き換える。ステップS257で、新し
いユーザが他のフレーズを入力することを決定した場
合、処理はステップS251に戻り、同様のルーチンが
次の入力発声音のために再度行われる。ステップS25
7で、新しいユーザがこれ以上フレーズを用いないと決
定した場合、当該処理は完了する。
【0172】図35は、ワードモデル19が別のユーザ
のために用いられる第2の方法を示すフローチャートで
ある。ステップS261で、新しいユーザは、マイクロ
フォンを介して複数回およびキーボードを介して1回、
既知のワードまたはフレーズをシステムに入力する。し
たがって、構築/更新モジュール91は、パラメータフ
レームの複数のシーケンスおよびキーボード3を介して
入力された対応テキストを有するようになる。ここで、
これら複数のシーケンスは、新しいユーザによって発声
された既知のワードまたはフレーズに対応する。ステッ
プS263で、システムは、各入力発声音と、当該発声
音に含まれることが既知であるワードに対応する既存の
ワードモデルとを、ダイナミックプログラミングルーチ
ンを用いて関連付ける。
【0173】ダイナミックプログラミングルーチンは、
各入力発声音のパラメータフレームと、適正なワードモ
デルのステートとを関連付ける。ステップS265で、
システムは、ワードモデルのステートをワードモデルに
関連付けられたパラメータフレームの平均で置き換え
る。本実施形態において、ワードモデルのステートが発
声音のパラメータフレームのいずれにも関連付けられな
かった場合、システムは、置き換えられた隣接ステート
を用いて捕間または外挿する。ステップS267で、新
しいユーザが他のフレーズを用いることを決定する場
合、処理はステップS261に戻り、同様のルーチンが
次のフレーズに対して再度行われる。ステップS267
で、新しいユーザがこれ以上フレーズを入力しないこと
を決定すると、処理は完了する。したがって、当業者に
明らかなように、新しいユーザは、ユーザの便宜上、既
存のワードモデルを増加させながら用いることができ
る。さらに、新しいユーザは、新しいワードまたはフレ
ーズを上述した方法でシステムに追加することもでき
る。
【0174】<他の実施形態>多数の変形が、本発明の
進歩性の概念から逸脱することなく、上記音声認識シス
テムになされ得る。これら種々の変形例のいくつかを以
下に説明する。
【0175】上記実施形態においては、すべての発声音
が処理される前に受信されるが、本システムは、音声を
受信しながら処理するというように、ワードモデルを漸
進的に動作させることができる。このような実施形態に
おいて、入力バッファが必要であるが、1つのフレーム
に相当する入力音声、すなわち、20msecの音声を
記憶しさえすればよい。当業者には明らかなように、本
システムを動作させるため、入力された音声の1つのフ
レームに対する処理のすべて(プリプロセッサおよび認
識ブロックで行なわれる)は、入力音声のその次のフレ
ームについて、処理のための準備が整う前に完了してい
なければならない。上記フレーム速度およびフレーム継
続時間を用いれば、入力音声のフレームを処理するため
に費やされる時間は10msecを下回るにちがいな
い。これは現在のプロセッサで達成し得るものである。
さらに、入力発声音の各フレームのパワーパラメータ
は、異なる方法で正規化されなければならない。このよ
うな実施形態におけるパワーの正規化の方法の1つとし
ては、例えば過去の20個にわたる入力音声のパワーに
基づいて適応される適応正規化係数を用いることが揚げ
られる。
【0176】また、第1の実施形態において、ダイナミ
ックプログラミングパスの終わりにあったワードモデル
のステートは、そのワードモデルに対応するアクティブ
リストに登録されていた。他の実施形態においては、総
括アクティブリストを1つ備え、そこに、すべてのワー
ドモデルのすべてのアクティブステートを登録する。こ
のような他の実施形態においては、総括アクティブリス
トに関連して、特定のアクティブステートがどのワード
モデルに属するかの情報が記憶されなければならない。
【0177】第1の実施形態において、ワードモデルの
ステートは、持続時間において、認識されるべき入力音
声のフレームと対応する。他の実施形態において、ワー
ドモデルの各ステートは、持続時間に関して、例えば入
力音声の3つの連続フレームと等しい。このような他の
実施形態において、入力フレームは、3つのフレームグ
ループによって平均化され、ワードモデルのステートに
関連付けられる。
【0178】さらに、他の実施形態は、ワードモデルに
統計モデル、例えば隠れマルコフモデルを採用するもの
であり、これは音声認識の当業者に知られている。この
ような実施形態においては、入力発声音とワードモデル
のシーケンスとの間の最小累積距離を決定するのではな
く、隠れマルコフモデルの特定のシーケンスによって入
力シーケンスが生成された最大の可能性が決定される。
このような実施形態において、隠れマルコフモデルは、
第1の実施形態で発生された連続標準モデルと同様の方
法で発生される。特に、ワードの分離標準モデルは、ワ
ードの発声音とそのワードを含むフレーズの1つ以上の
発声音とを比較することによって、生成される。平均パ
ラメータフレームおよび隠れマルコフモデルのステート
の共分散マトリクスを生成し、ステートの遷移確率を生
成するために、分離標準モデルはワードを含む複数のフ
レーズ例とともに用いられる。この処理が行われる方法
は、音声認識の当業者には明らかである。
【0179】第1の実施形態において用いられる標準モ
デルは、すべてのワードに対応する。当業者に明らかな
ように、このことは本質的なことではない。標準モデル
は、ワードの部分、例えば、音節、複数のワード、個々
の音素にさえ相当する。しかしながら、音素に相当する
標準モデルを用いると、システムが言語に依存するよう
になり、不利である。すべてのワードに対応する標準モ
デルは、すべてのフレーズに対応する標準モデルより好
ましい。なぜなら、時間およびコンピュータ処理の手間
を節約することができるからである。特に、フレーズ内
のワードをモデルにし、言語モデルを用いることによっ
て、システムに少量のワードしか用いない多くの異なる
フレーズを教えられる。他方、標準モデルがすべてのフ
レーズに相当する場合、標準モデルは、システムによっ
て学習されるべき種々のフレーズのそれぞれに必要とな
る。また、この利点に加えて、ワードに相当する標準モ
デルを用いると、フレーズのワード間の間隔に対するシ
ステムの柔軟性が増す。これは、フレーズの始めまたは
終わりおよびフレーズのワードの間に現れる環境モデル
によって可能になる。
【0180】さらに他の実施形態において、モデルの連
続フレームが類似する場合、標準モデルは圧縮される。
標準モデルが圧縮されると、類似の連続フレームは、1
つのフレームに置き換えられる。このような実施形態に
おいて、入力発声音の連続フレームが2回までしかワー
ドモデルの同じステートに関連付けられないというよう
なダイナミックプログラミングプロセスに対する制限
は、除去されなければならない。
【0181】図17に示される言語モデルにおいて、あ
るワードに2つの異なるワードが続く場合、それら2つ
のワードの何れが当該ワードに続くかについて優先度は
ない。他の実施形態においては、いくつかのワードのシ
ーケンスに他のシーケンスより優先度を高めるよう、重
みを付けることができる。例えば、図17aに示される
フレーズについては、「make it more…」(ここで、
「…」の部分には色名称が続く)というフレーズは、
「make it smaller」または「makr it larger」または
「make it brighter」というフレーズより一般的である
ことが知られているとする。従って、この場合は、ノー
ドN7からノードN8までの遷移が、ノードN7からノ
ードNnまでの遷移よりも強くなるように設定される。
これは、ノードN7から「more」、「smaller」、「lar
ger」、「brighter」というワードへ伝わる累積距離に
重み付けを行う重み係数を用いることによって達成され
る。
【0182】当業者には明らかなように、許容されたワ
ードのシーケンスを決めるために用いられる言語モデル
は、バイグラム(二重字)モデルである必要はないが、
いかなる知られたタイプの言語モデル、例えば定型文法
モデルでもよい。用いられた言語モデルのタイプが変更
される場合、上記のダイナミックプログラミングマッチ
ングプロセスにはいくつかの変更が必要となるが、この
ような改造は、音声認識の当業者には明らかである。し
かしながら、マッチングプロセスの重要な特徴部分は変
化されないままとなる。どんなパターンの合致プロセス
にも合うように設計されているからである。
【0183】第1の実施形態において、あるワードの標
準モデルを生成する前に、そのワードを含む少なくとも
2つのフレーズが入力されなければならない。これは、
操作上の好ましい方法であり、ワードモデルを、そのワ
ードを含む1つのフレーズ例のみから各ワード毎に発生
させることもできる。しかしながら、このような実施形
態によって得られる標準モデルは、どのようなフレーズ
が与えられた場合でも、あまり典型的なものとはならな
い。さらに、第1の実施形態で用いられた学習方法にお
いて、1つのワードに対していったん標準モデルを決定
すると、ワードモデルは、次の入力学習フレーズがその
ワードを含むかどうかに関らず、変更されない。他の実
施形態においては、すでにワードモデルがあるワード例
を含む入力フレーズを用いて、学習セッション中に既存
のワードモデルを更新することを可能とする。
【0184】ユーザが音声認識システムを学習させて、
既に分離して入力された複数のワードを含むフレーズを
入力すると、システムは、それらのワードについて分離
した状態で再度入力するようユーザに促すことはしな
い。これに対して、他の実施形態においては、システム
は、ユーザにそのようなワードを再度入力するよう促
し、ワードの2つの発声音が大して違わないことを確認
するべくチェックを実行する。
【0185】第1の実施形態において、標準モデルが学
習されたりまたは用いられる場合、ユーザはテキストを
入力し、それに相当する音声コマンド入力しなければな
らない。音声認識の当業者には分かるように、これは必
須ではない。テキストを入力する代わりに、ユーザはキ
ーボード、ファクシミリ、複写機等の相当するキーまた
はキーの組み合わせを押すようにしてもよい。例えば、
複写機で用いるためにシステムに学習させる場合におい
て、音声コマンド「copy(複写)」と入力し、これに対
する所望の機械の応答は、ユーザが複写ボタンを押しさ
えすれば、入力される。
【0186】さらに、上記のダイナミックプログラミン
グマッチングプロセス、標準モデルの発生および適応プ
ロセスを実行させる方法が、他のタイプのパターンマッ
チングのためにも用いられることは、パターンマッチン
グの当業者に明らかである。例えば、上記パターン合致
プロセスは、手書き文字の認識または他のパターン合致
技術で用いられることが考えられる。
【0187】連続ワード音声認識システム(文音声認識
システム)は、上記の第1の実施形態に記載されている
が、記載されたシステムの多くの特徴が他の種類の音声
認識システムにも等しく適用できることは当業者には明
らかである。例えば、分離ワードモデルを決定する方法
および上記分離ワードモデルは、分離ワード音声認識シ
ステム(単語音声認識システム)で用いられる。同様
に、ダイナミックプログラミングプロセスが行われる方
法の多くの特徴および刈り込みしきい値が調整される方
法は、いずれの音声認識システムでも用いられ、ここで
標準モデルは、音声のいかなる部分、例えば音素、音節
等にも対応させ得る。
【0188】第1の実施形態に記載された音声認識シス
テムは、多くの異なるソフトウェアアプリケーション、
例えばスプレッドシートパッケージ、グラフィックパッ
ケージ、ワードプロセッサパッケージ等とともに用いる
ことができる。音声認識システムがそのような複数のソ
フトウェアパッケージとともに用いられる場合、特に、
各アプリケーションで用いられるフレーズが異なる場
合、各パッケージ毎にワードおよび言語モデルを分ける
ことが有利である。この理由は、ワードモデルの数が増
加したり、言語モデルのサイズが大きくなるにつれて、
システムが入力発声音を認識するための時間が長くなる
からである。したがって、各アプリケーション毎にワー
ドおよび言語モデルを分けることによって、音声認識シ
ステムの速度を維持できる。さらに、いくつかのワード
および言語モデルは、各アプリケーションに用いられ得
る。
【0189】さらに、当業者に明らかなように、上記音
声認識システムは、多くの異なるタイプのハードウェア
でも用いられる。例えば、パーソナルコンピュータ等の
機器で用いられるのは明らかであるが、それ以外に、音
声認識システムは、ファクシミリ、電話、プリンタ、複
写機等、人間と機械のインタフェースを有する各種機器
のユーザインタフェースとして用いられ得る。
【0190】<適用例>上記音声認識システムにおける
一つの応用は電話システムである。図36はオフィス環
境において用いられる典型的な電話システムの構成を示
す図である。システムは複数のアナログ或いはディジタ
ル電話機271と、モデム272(これはコンピュータ
に接続されてよもい)と、これらをオフィスに設けられ
たローカル交換機(LOCAL EXCHANGE)273へつなぐ電
話線293とを備える。各電話機271は、通常、一人
のユーザもしくは複数ユーザのグループに対して設けら
れ、発呼者IDによってローカル交換機273によって
特定される。これは、建物内のユーザが単に他のユーザ
に設けられた電話機の発呼者IDをダイヤルすることで
当該他のユーザをコールすることを可能とする。ローカ
ル交換機273は複数の電話線275を介して、公衆交
換機277とも接続され、遠隔地のユーザがオフィス内
のユーザにコンタクトすること、及びその逆を可能とし
ている。ローカル交換機273に直接に接続されている
ユーザ、及び音声認識ユーザインターフェースにアクセ
スできるユーザを、以降ローカルユーザと称する。ま
た、夫れ以外のユーザはリモートユーザと称する。ロー
カル交換機273の目的は、内部の電話機271の間の
接続や、公衆交換機277との間でやりとりされる(コ
ール)の接続を制御することである。更に、ローカル交
換機273は内部電話271に対して電話サービスを提
供し、公衆交換機277によって提供されるサービスの
機能を制御する。
【0191】図37は、図36で示される電話機271
の一つの外観を示す図である。電話機271は、コード
285によって電話機本体283に接続されたハンドセ
ット281を有する。電話機本体283は液晶表示器2
87、標準的な12ボタンキーパッド289、複数のフ
ァンクションキー291を有する。電話機271は電話
線293によってローカル交換機273に接続されてい
る。この実施形態において、ローカル交換機273は、
発声コマンドを受け付け可能である。この発声コマンド
は、ローカルユーザ間のコールをセットアップするため
のもの、ローカルユーザとリモートユーザ間のコールを
セットアップするためのもの、ローカル交換機273や
公衆交換機277によって提供される電話サービスにア
クセスするためのものを含む。ローカル交換機273が
音声コマンドとユーザ間の通常の会話とを区別できるよ
うに、各ハンドセット281は制御ボタン295を備え
る。この制御ボタン295は、ローカルユーザによって
なされる音声コマンドと通常の会話音声との境界を示す
のに用いられる。例えば、電話機271の一つのローカ
ルユーザがオフィス内のもう一人のローカルユーザをコ
ールしたい場合、ローカルユーザはボタン295を押
し、ハンドセット281内のマイクロフォンに「cal
l」と音声を入力する。このとき、コール先のユーザの
発呼者IDかもしくはコール先のユーザの名前のような
その発呼者IDに協動する識別子も音声入力する。ボタ
ン295からの信号は、ローカルユーザの発声音声に対
応する音声信号とともにローカル交換機273に電話線
293を介して供給される。そして、ここで音声コマン
ドが認識され、適切な接続が実行される。ローカル交換
機の音声認識能力の更なる詳細を以下に説明する。
【0192】図38はローカル交換機273の部分的構
造を詳細に示すブロック図である。ローカル交換機27
3はスイッチングネットワーク(SWITCHING UNIT)30
1及び制御ユニット(CONTROL UNIT)303を有する。
電話機271よりの音声信号は電話線293aを介して
ローカル交換機273へ供給される。そして、スイッチ
ングネットワーク301か制御ユニット303のいずれ
かに供給される。この切り換えは、ボタン295よりの
信号(矢印306によって示されている)によって制御
されるスイッチ305によって行われる。ボタン295
が押されていない場合、スイッチ305はターミナルa
に接続され、ローカルユーザからの音声信号はスイッチ
ングネットワーク301に供給される。そして、ローカ
ル交換機から電話線307bを介して要求された目的地
へ供給されることになる。一方、ボタン295が押下さ
れている場合は、スイッチ305はターミナルBに接続
され、電話線293a上の音声信号は制御ユニット30
3へ供給される。制御ユニット303はその音声信号を
認識し、ローカル交換機273の動作を制御するための
制御信号309を出力する。この実施形態において、制
御ユニット303はライン310によって、音声コマン
ドの入力に使用された電話機上のLCD表示器287に
接続されている。このようにして、制御ユニット303
は、確認等の目的のためにユーザとコミュニケーション
することができる。或いは、制御ユニット303は電話
機271の拡声器を介して合成音声を出力することによ
りユーザとコミュニケーションすることもできる。完全
多重の通信路を提供するために、第2の通信路がローカ
ル交換機273を通じて電話機271に提供されてい
る。この第2の通信路は図38においてライン293b
及びライン307aとして示され、これらはスイッチン
グネットワーク301を介して互いに接続される。次
に、図39を参照して制御ユニット303のより詳細な
説明を行う。図39は、図38に示された制御ユニット
303の主要な要素を示したブロック図である。電話機
271よりの音声信号は認識ユニット(RECOGNITION UN
IT)321に供給される。認識ユニット321は音声信
号と予め格納されたモデルとを比較し、その認識結果を
ライン323上に出力することでコマンド解析部(COMM
AND INTERPRETER)325に供給する。コマンド解析部
325は、認識結果とメモリ(MEMORY)327に予め格
納された辞書328及び330とを比較することによ
り、あらゆるコマンド及び・或いは識別子を識別する。
これにより、コマンド解析部はライン329上に制御信
号を出力する。この制御信号は、コマンド実行部(COMM
AND EXECUTER)331の動作を制御する。そして、この
コマンド実行部331は、ユーザのコンフィグレーショ
ンを制御し、誤った情報をユーザに与えないことを保証
するとともに、適切な電話サービスを制御する。これら
の各構成について更に詳細に説明する。
【0193】認識ユニット321には上述のものと同様
の音声認識システムを用いる。従って、認識ユニット3
21は、連続的に発声された音声を認識することができ
る。認識ユニット321は、有効な電話サービスに対応
する予め定義された複数の認識結果をを有する。この実
施形態において、認識結果は英語であるが、システムは
あらゆる言語に適用可能である。電話サービスへのアク
セスを可能とするために、各ローカルユーザは、特定の
入力音声信号と対応する認識結果とが関連するように認
識ユニット321を学習させなければならない。この学
習の過程は、各ローカルユーザに対するワードモデル、
ノイズモデル、言語モデルのセットを生成する。従っ
て、各ローカルユーザは自身のモデルのセットを持つこ
とになるので、各ローカルユーザより入力される実際の
音声コマンドは同一である必要はない。例えば、自動ダ
イヤル電話サービスにアクセスするために、第1のロー
カルユーザは「ring」という音声コマンドを音声認識ユ
ニット321を学習させ、他方、第2のローカルユーザ
はそのサービスにアクセスするための音声コマンドを
「call」という音声コマンドで音声認識ユニット321
を学習させるという状況に対応しうる。
【0194】新規ユーザがローカル交換機273に加え
られた場合、初期学習ルーチンが最も基本的な電話サー
ビスをアクセスするために入力される音声コマンドのた
めのワードモデルを確立する。ここで、初期学習ルーチ
ンは、そのローカルユーザが電話機271上のファンク
ションキー291の一つを押すことによって起動され
る。また、初期学習ルーチンで扱われる基本的な電話サ
ービスとしては、自動ダイヤル、着信転送、着信保持等
が揚げられる。こうして、その新規ローカルユーザは、
限られた範囲で、ローカル交換機273の音声認識ユー
ザインターフェースを利用することができるようにな
る。その他の電話サービスに音声認識インターフェース
を介してアクセスできるようにするために、新規ローカ
ルユーザは、それらのサービスにアクセスするのに用い
る音声コマンドで音声認識ユニット321を学習させな
ければならない。この更なる学習は、漸進的に、そして
ユーザの都合に応じて進めることができる。本実施形態
において、この付加的な学習は、電話機271上のもう
一つのファンクションキー291をその新規ユーザが押
すことによって開始される。起動に際して、ローカル交
換機273は、LCDディスプレイ287を介して、そ
の新規ユーザに、ワードモデルを生成し言語モデルを更
新させようとしている電話サービスに対してアクセスす
るための通常の操作で、電話機271上のキーもしくは
キーの組み合わせを押すように促す。続いて、ローカル
交換機273は新規ユーザに対して、LCDディスプレ
イ287を介して、その電話サービスに関連する適切な
ワードモデルを生成するため、そのサービスに対して用
いられる音声コマンドをハンドセット281を介して1
回もしくはそれ以上入力するよう促す。ワードモデルが
生成されると、言語モデルはその新しい音声コマンドを
組み込むように更新される。
【0195】動作について説明する。ローカルユーザが
ハンドセット281に対して発生し、同時にボタン29
5を押すと、認識ユニット321は発声音声の認識を開
始し、本実施形態においては、入力音声に対応する認識
結果が出力される。しかしながら、この段階において認
識ユニット321より出力されたワード或いはワードの
シーケンスは当該電話システムにとって意味をなしてい
ない。意味を持つ認識結果を与えるためには、コマンド
解析部325によって解析されなければならない。
【0196】認識結果に意味を与えるために、コマンド
解析部325は認識結果を、当該音声コマンドを入力し
たローカルユーザに関連付けられた言語特定辞書325
及び電話帳330と比較する。辞書328と電話帳33
0はともにメモリ327に格納されている。言語特定辞
書328は前もって設定され、ローカル交換機273に
よって提供されうる電話サービスと音声認識ユニット3
21より出力されるワードの言語に依存する。辞書は認
識ユニット321より出力されたワードの幾つかを、対
応する電話サービスに関連付ける。ユーザ定義される電
話帳330は、当該ローカル交換機273に接続された
他のローカルユーザや公衆交換機277に接続されたリ
モートユーザの電話番号や識別子を格納する。
【0197】本実施形態において、ローカル交換機27
3に接続された各ローカルユーザは、関連する電話帳3
30を有する。そして、使用された電話機271もしく
は他の識別処理によってローカルユーザが特定される
と、対応するワードモデル、ノイズモデル及び言語モデ
ルが認識ユニット321にロードされ、対応する電話帳
330がメモリ327にロードされる。電話帳330は
プリストアされた辞書328と同様に機能するが、ユー
ザによって更新可能である点が異なる。例えば、新しい
エントリを追加したり、既存のエントリに対応する電話
番号を変更したりすることができる。ユーザの電話帳3
30に新規エントリが追加される場合、そのユーザを特
定するために入力される音声を認識可能とすべく、音声
認識ユニット321を学習させなければならない。
【0198】本実施形態において、ローカルユーザは新
規エントリの電話帳330への追加を以下の手順で行う
ことができる。最初に、ローカルユーザは、ローカル交
換機273に対して新規エントリを電話帳330に追加
したい旨を通知する。この通知は、音声認識ユーザイン
ターフェースを介して「new entry」という音声コマン
ドを入力することで行う。これに応答して、ローカル交
換機273は、LCDディスプレイ287を介して、キ
ーパッド289を用いてそのユーザの識別子をテキスト
形態で入力するように促す。ローカルユーザが適切な識
別子をタイプすると、ローカル交換機273は、LCD
ディスプレイ287を介して、電話帳330に追加され
るべきユーザの電話番号を入力するよう促す。ローカル
ユーザが適当な番号をキーパッド289を用いて入力す
ると、ローカル交換機273は電話帳330に適切なエ
ントリを生成する。最後に、ローカル交換機273は、
液晶ディスプレイ287を介して、そのユーザを識別す
るために入力されることになる発声音を1回以上音声形
態で入力するよう促す。これにより、認識ユニット32
1は適切なワードモデルを生成できるとともに、言語モ
デルを適応させることができる。
【0199】コマンド解析部325は、どの電話サービ
スが要求されたかを識別するために、及び/或いは、別
のユーザの識別子及び電話番号を識別するために、音声
認識ユニット321より出力された認識結果を入力して
これを解析する。コマンド実行部331は、コマンド解
析部325の出力を受けて、システムチェックを開始す
る。このシステムチェックにより、要求された電話サー
ビスが既に当該システムで発生したものと矛盾を生じな
いかを確認する。要求された電話サービスが有効であれ
ば、コマンド実行部331は、LCDディスプレイ28
7を介して、コマンド実行部331が実行しようとして
いるものがそのローカルユーザが欲しているものである
かどうかを確認するよう、ローカルユーザに促す。確認
信号を受けると、コマンド実行部は適切な電話サービス
を実行する。
【0200】例えば、ローカルユーザが音声コマンド
「Call Tom」を入力したとすると、認識及び解析の後
に、コマンド実行部331はLCDディスプレイ287
上に、「Tomをコールしたいのですか?(do you want t
o call Tom?)」と表示し、確認信号を待つ。確認信号
が受信されるとこれに応答して、例えば、音声コマンド
「はい(yes)」の入力に応答して、コマンド実行部は
ローカル交換機273に適切な処理を行わせる。どうよ
うに、コマンド実行部331が、コマンド解析部によっ
て特定された電話サービス(要求された電話サービス)
が、既に当該システムで発生しているものと矛盾を生じ
てしまう場合、その音声コマンドが何故有効でないかを
ローカルユーザに通知する。例えば、入力された音声コ
マンドが「Call Tom」である上記状況において、コマン
ド実行部331にステータスチェックがそのユーザが既
にTomと通話していることを示すと、コマンド実行部は
ディスプレイ上に「あなたは既にTomと通話中です(you
are already speaking to Tom)」と表示するための出
力を行う。
【0201】本実施形態において、ローカル交換機27
3は、とりわけ、各ローカルユーザに対して、即ちロー
カル交換機273に接続されている各電話機271に対
して、コマンド実行部331によって使用されるべく以
下のようなステータス情報(STATUS)332を有する。
すなわち、 そのユーザは通話している相手 そのユーザがダイヤルしている相手 そのユーザが保留している相手 そのユーザがメッセージを行っているか否か そのユーザを保留した相手(もし知っていれば) そのユーザが電話会議をした相手(もし知っていれば) である。
【0202】この情報を格納することにより、コマンド
実行部331は、コマンド解析部325によって特定さ
れた電話サービスが有効であるか否かを確認することが
できる。上記ステータス情報332に加えて、コマンド
実行部331は、コマンド解析部325から受信した最
終の出力を、アクション保留変数に格納する。このアク
ション保留変数に格納された出力は、確認信号がローカ
ルユーザによって入力されるまで、或いはローカルユー
ザによって入力された新しい音声コマンドに対応する新
しい出力によって置き換えられるまで、そこに保持され
る。
【0203】ステータス情報332は、コマンド実行部
331が音声コマンドが有効であるか否かをチェックす
るための便利な方法を提供するばかりでなく、認識結果
が識別子のみを備えるような場合にコマンド実行部33
1に対して重要な情報を提供することになる。例えば、
コマンド解析部325が、認識結果から、ローカルユー
ザが識別子である「Tom」だけを入力したことを確認し
た場合、コマンド解析部325はTomという識別子及び
関連する電話番号とともにジェネラルコマンドを出力す
る。このジェネラルコマンドにより、コマンド実行部3
31はステータス情報332をチェックし、どのコマン
ドが有効となるかを調べる。上記の例によれば、コマン
ド実行部331は、ジェネラルコマンドにより、ユーザ
Tomが保留中か否かを調べ、もしそうでなければ当該ロ
ーカルユーザが現在Tomと通話しているか否かを調べ
る。そして、通話中でなければ、コマンド実行部331
は「Tomをコールしますか(do you want to call Tom
?)」をLCDディスプレイ287上に表示出力し、ア
クション保留変数に「Call Tom」を格納する。
【0204】一方、識別子が「ライン1(line 1)」
(システムによって知られていない者からの外部よりの
着信があったことを示す)であった場合は、これは関連
する発呼者IDを持たないが、コマンド解析部325は
識別子「ライン1」を、機能限定付コマンドとともにコ
マンド実行部に出力する。この機能限定付コマンドは、
当該コマンドは「ライン1をコールする」というコマン
ドにはなり得ない(そのようなコマンドは意味をなさな
い)ことをコマンド実行331に知らせる。
【0205】確認要求の出力に加えて、コマンド実行部
は、特にステータスが変化したときに、ユーザとの間で
現在進行しているコールのステータス情報をLCDディ
スプレイ287に出力することも行う。例えば、Tomが
ユーザDavidと通話中である場合に、TomがDavidを保留
状態にすることを要求した場合、コマンドの確認等を行
った後、コマンド実行部331はDavidを保留とし、Tom
のディスプレイ上には「Davidは保留中です(David is
on hold)」という表示を行い、Davidのディスプレイ上
には、もしもDavidがローカルユーザであれば、「Tomは
あなたを保留としました(Tom has put on you on hol
d)」という表示を行う。しかしながら、ローカル交換
機273のステータスが高速に変化する原因となるイベ
ントが発生した場合は、混乱が生じる。例えば、「Davi
dを保留にする(put David on hold)」というコマンド
の確認段階においてDavidが電話を切った場合、コマン
ド実行部は「Davidが電話を切りました(David has run
g off)」という出力を行う。そして、その直後に、Tom
が彼のコマンドである「put David on hold」に対する
確認を行った場合、実際にはDavidは電話を切っている
のだが、コマンド実行部331は「Davidは保留中です
(David is on hold)」という出力を行ってしまう。こ
のような対立するメッセージの問題を回避するため、シ
ステムが確認段階にはっている間は、システムのステー
タス情報は保持、固定され、あらゆる新しいステータス
情報はバッファに格納される。加えて、コマンド実行部
331から出力されたメッセージを読むための時間をユ
ーザに与えるために、各メッセージは設定された時間分
表示され続ける。
【0206】上述したように、現在の電話システムは、
着信に応じられない場合に、関連するメールボックスに
各ユーザに対するメッセージを格納することができるこ
の実施形態において、ローカル交換機273は発呼者か
らのメッセージを各メールボックスに3つの概念的なリ
ストにして登録する。一つは新規メッセージをリストす
るもの、一つはユーザに対して再生済みの旧メッセージ
をリストするもの、そして残りの一つは再生されるべき
メッセージの現在の選択をリストするものである。加え
て、各メールボックスは、メッセージを消去の前に一時
的に格納するいわゆるウエイストバスケット(waste ba
sket)を有する。実際、メッセージは一つのリストに登
録される。そして、各メッセージは複数の識別子を有
し、ローカル交換機273に対して各メッセージがどの
リストに属するかを知らせる。図40は新規メッセージ
リスト351、旧メッセージリスト353、現メッセー
ジリスト355及びウエイストバスケット357を示す
図である。
【0207】発声によるメッセージを格納するのに加え
て、ローカル交換機273はそのメッセージが残された
時刻及び日付とそのメッセージを残した発呼者IDを格
納する。発呼者IDは内線番号或いは公衆交換機に接続
された電話の電話番号であってもよい。従って、本実施
形態では、ローカルユーザが、特定の発呼者(当該ロー
カルユーザに関連する電話帳330に登録されている発
呼者)によってなんらかのメッセージが残されているか
どうかに興味がある場合、その発呼者からのメッセージ
を再生するようにシステムに要求することができる。ま
た、本実施形態を変形し、ローカルユーザが、電話帳3
30に存在しない発呼者からのメッセージを再生するべ
く、このメッセージ回収システムを用いることができ
る。しかし、そのような実施形態においては、音声認識
ユニットは連続的に発声される数字を、それがいかなる
順序で入力されても、認識できなければならい。これ
は、上述のような音声認識システムを用いることの実施
を困難にする。なぜならば、これに対応する言語モデル
が必要だからである。従って、そのようなシステムにお
いては、2つの並列的な音声認識ユニットが用いられ
る。ここで、一方は、通常の音声コマンドを認識し、他
方は数字を認識する。
【0208】図41は、特定の発呼者からの新規メッセ
ージを再生するようにローカルユーザがローカル交換機
273に要求したときの処理ステップを示すフローチャ
ートである。ステップS301において、ローカル交換
機273は特定の発呼者の発呼者IDと、新規メッセー
ジリスト351に格納されたメッセージに対応する発呼
者IDとを比較する。ステップS302において、ロー
カル交換機がマッチングするものが無いと判断した場合
はステップS303へ進む。ステップS303におい
て、ローカル交換機が当該ローカルユーザのディスプレ
イ287を用いて、その特定の発呼者からのメッセージ
が無いことを表示し、本処理を終了する。一方、ステッ
プS302においてマッチするものがあると判断された
場合、ステップS304においてローカル交換機273
は適応するメッセージを現メッセージリスト355に登
録する。そして、ユーザに音声コマンドの確認を要求す
る。確認が得られない場合、もしくは別の音声コマンド
が入力された場合は、当該処理を終了する。確認が得ら
れた場合は、処理はステップS306へ進む。ステップ
S306において、現メッセージリストの最初のメッセ
ージを再生する。更に、図40の矢印352によって示
されるように、現メッセージリストよりメッセージが再
生されると、それは新規メッセージリスと351から旧
メッセージリスと353へ移動される。
【0209】第1のメッセージが再生された後、ステッ
プS307において、ローカル交換機273は現リスト
355内の全メッセージが再生されたかどうかを判断す
る。現メッセージリスト355の全てのメッセージが再
生されていなければ、ローカル交換機273は、ステッ
プS309において、次の音声コマンドをローカルユー
ザが入力するのを待つ。そして、そのローカルユーザに
よって入力された次の音声コマンドが次のメッセージの
再生要求であれば、ローカル交換機273は現メッセー
ジリスト355上の次のメッセージを再生し、処理をス
テップS307へ戻す。ローカルユーザが次のメッセー
ジの再生を要求せず、直前のメッセージを再生すること
を要求した場合は、ローカル交換機273は最後に再生
したメッセージを再び再生し、ステップS309へ戻
る。
【0210】ローカルユーザがメッセージを再生してい
るときでも、メールボックス機能に関する音声コマンド
は制限されない。例えば、最初のメッセージが再生され
た後、次のメッセージを聞くよりも、そのメッセージを
伝えるために別のユーザをコールしたいような場合があ
る。そして、このような作業を終えた後に、次のメッセ
ージを再生するように要求するという場合もある。これ
を達成するために、現メッセージリスト355上の再生
された最終メッセージを示すポインタが用いられる。
【0211】現メッセージリスト355の全てのメッセ
ージが再生されると、ローカル交換機273はローカル
ユーザにこの旨をディスプレイ287を介して伝える。
現メッセージリスト355は、電話機のハンドセット2
81が電話機本体283に再度置かれるまで、もしくは
再生されるべきメッセージの別の選択によってそれが上
書きされるまで初期化されない。新規メッセージを再生
するのと同様の方法で、旧メッセージもまた再生すべく
選択されうる。一度メッセージが再生されるか、もしく
は保持しておく必要が無くなった場合、ローカルユーザ
はそのメッセージを消去するために適切な音声コマンド
を入力することができる。例えば、ローカルユーザがユ
ーザDavidからの全ての新規メッセージを再生し終えた
場合、「Davidからの旧メッセージを消去する(Delete
old messages from David)」という音声コマンドを入
力することができる。確認の後、ローカル交換機は、Da
vidからの全ての旧メッセージをウエイストバスケット
357に移動する。例えば、以上のように、ローカルユ
ーザはローカル交換機273に対して動作を繰り返すこ
とを要求できる。これを可能とするために、ローカル交
換機273は格納変数に、直前の繰り返しが可能な動作
を格納する。それゆえ、ローカルユーザが「繰り返し
(repeat)」という音声コマンドを入力した場合、ロー
カル交換機273はその変数に格納された動作を実行す
る。更に、コマンドを繰り返すことを容易とするため
に、システムは、ユーザが現在どの機能(例えばメール
ボックス機能や電話呼び出し機能等)が使用中であるか
をローカル交換機に示すジェネラルポインタを用いる。
このポインタは、曖昧なコマンドが入力された場合に何
が要求されているかを決定するための時間を節約するの
にも用いられる。例えば、ユーザが、メッセージの再生
を止めるために、或いは誰かへのダイヤルを止めるため
に、「音声コマンド「停止(stop)」を入力した場合、
このジェネラルポインタを用いてどの機能をユーザが現
在使用しているかを識別することにより、ローカル交換
機273が各機能において現在処理中となっている全て
の動作を確認するという必要が無くなる。
【0212】上述したように、本実施形態の電話システ
ムは、複数ユーザ間による電話会議の確率及び制御が可
能である。本実施形態において、電話会議は以下の手順
で開始される。まず、ローカルユーザは他のユーザ、例
えばTomをコールし、その後彼を保留とする。そして、
ローカルユーザは、その会議に参加すべきもう一人のユ
ーザ、例えばDavidをコールする。そして、Davidとの通
話中にハンドセット281のボタン295を押して音声
コマンド「include」を、Tomに対する識別子と共に入力
する。ローカル交換機273は、ローカルユーザのディ
スプレイ287に、「Tomを参加させたいですか(do yo
u want to include Tom?)」という質問を表示する。そ
して、ローカルユーザによる確認の後、ローカル交換機
273は、当該ローカルユーザがTomとDavidの両方に接
続されるように、スイッチングユニット301を介して
適切な接続を行う。
【0213】この方法において、ローカルユーザはTom
をコールし、彼にDavidと一緒に会議を行いたい旨を通
知する。そして、Tomを保留にしている間に、ローカル
ユーザはDavidをコールし、Tomが別のラインで保留状態
にあること、TomとDavidの両方と話がしたい旨を伝え
る。この方法において、TomとDavidの両方は電話会議に
参加させられようとしていること、誰が会議に参加する
ことになるのかを知ることができる。他のユーザも同様
の方法で会議に参加させることができる。
【0214】この実施形態においては、説明を簡単にす
るために、最初のコールを行ったローカルユーザのみが
会議の統制を行い、ある人の会議の接続を断ったり、会
議中にある人を保留状態にしたり、会議中に更に他の人
を参加させたりできるようにした。しかしながら、この
実施形態を、公衆交換機277からの発呼者さえも含
む、会議中のあらゆる発呼者が当該会議の拡張を制御で
きるように変形できることは明らかである。公衆交換機
277からの発呼者は、適切な制御信号を送ることがで
きる場合に会議を制御することができる。例えば、ユー
ザのハンドセットに設けられたキーによって生成される
トーン信号を音声コマンドと共に回線275を介してロ
ーカル交換機273に入力できる必要がある。これによ
り、音声コマンドは、スイッチングユニット301では
なく、制御ユニット303に導かれる。
【0215】上述の電話システムでは単一の制御ユニッ
ト303が用いられたが、このような制御ユニットを複
数並列的に用いて、同時に一人以上のユーザが音声コマ
ンドを入力できるように構成することも可能である。或
いは、制御ユニット303は時分割でもよく、これによ
り複数の異なるユーザが同時に制御ユニット303を用
いることが可能となる。別の実施形態では、各電話機2
71が制御ユニット303を有し音声コマンドを処理す
るようにもできる。しかし、この実施形態は、特別なソ
フトウエア及びハードウエアを各電話機271に組み込
む必要を生じ、各電話機のコストが著しく高くなるとい
う欠点を有する。
【0216】ワードモデルを格納し、入力されたワード
の許可されたシーケンスを特定するための言語モデルを
用いる音声認識システムを用いることにより、音声認識
インターフェースは、単一の発声音において、電話サー
ビスの要求と別のユーザの識別子の両方を受け付け得
る。これにより、ユーザとインターフェース間の反復的
な処理の必要性が緩和される。
【0217】更に、本実施形態の電話システムでは図1
〜34を参照して説明された音声認識システムを用いる
が、他の音声認識システムも適用し得る。しかしなが
ら、図1〜34で説明した音声認識システムを用いるこ
とにより、予めモデルが格納されない状態で、本電話シ
ステムをエンドユーザに提供することができる。更に、
システムは入力されたコマンドをここのワードに細分化
するので、音声コマンドを作成するワードの複製が大量
にある場合、標準モデルを格納するために要求される格
納スペースが減少する。
【0218】また、本発明は上記実施形態によって限定
されるものではなく、種々の変形および実施形態が当業
者には明らかである。
【0219】なお、本発明は、複数の機器(例えばホス
トコンピュータ,インタフェイス機器,リーダ,プリン
タなど)から構成されるシステムに適用しても、一つの
機器からなる装置(例えば、複写機,ファクシミリ装置
など)に適用してもよい。
【0220】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0221】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0222】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
【0223】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0224】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0225】
【発明の効果】以上説明したように、本発明によれば、
ダイナミックプログラミングプロセスを適用したパター
ンマッチングにおいて、その処理量及びメモリ消費量を
低減することが可能となる。
【0226】また、本発明によれば、連続音声コマンド
によって電話サービスにアクセスすることが可能とな
り、操作性が向上する。
【0227】
【図面の簡単な説明】
【図1】本発明の一実施形態を操作するためにプログラ
ムされ得るコンピュータの概略図である。
【図2】音声認識システムの概略構成を示すブロック図
である。
【図3】図2に示されたシステムの一部であるプリプロ
セッサの構成を示すとともに、入力音声信号に行われる
処理ステップを示すブロック図である。
【図4】入力音声信号S(t)を一連の時間フレーム
(FRAME)に分割した状態を示す図である。
【図5】1つの時間フレームの典型的な音声信号例を示
す線図である。
【図6】図5に示される音声信号の離散フーリエ変換の
振幅応答を示す図でる。
【図7】メルスケールフィルタバンクの平均振幅応答出
力を示す図である。
【図8】メルスケールフィルタバンクからの出力の対数
振幅スペクトルを示す図である。
【図9】図8に示される対数振幅スペクトルのセプスト
ラムを示す図である。
【図10】学習処理中に用いられる標準モデル構築部の
恒星を示すブロック図である。
【図11】音声認識システムで用いるワードモデルを発
生させるための学習処理中に行われる処理を示すフロー
チャートである。
【図12】学習処理中に学習フレーズおよび学習ワード
が記憶される一形態例を示す図である。
【図13】複数の入力フレーズ及び入力ワードと、それ
らのフレーズ及びワードに対応するパラメータフレーム
シーケンスを示す図である。
【図14】学習処理中に入力された入力発声音からワー
ドモデルを決定するための処理を示すフローチャートで
ある。
【図15】端の部分が切り捨てられた学習ワード及びそ
れに対応するパラメータフレームシーケンスを示す図で
ある。
【図16】図15に示されるワードのパラメータフレー
ムと、そのワードが含まれる入力フレーズのパラメータ
フレームとの関連付けを示す図である。
【図17A 】複数の入力フレーズ例を学習処理してい
る間に発生された言語モデル例を示す図である。
【図17B 】システムが新しいフレーズを言語モデル
に追加する方法を示すフローチャートである。
【図18】ダイナミック処理技術を用いて入力ワードが
ワードモデルに関連付けられる際の処理を説明する図で
ある。
【図19】ある入力フレームから次の入力フレームのス
テートへの許可された移行シーケンスを示す図である。
【図20】図19に示される許容された状態移行シーケ
ンスの他の例を示す図である。
【図21】第1の実施形態で用いられるダイナミックプ
ログラミングアラインメント技術の実行手順を示すフロ
ーチャートである。
【図22】ワードモデル、現アクティブリストおよびそ
れらに関連する新アクティブリストを示す概略図であ
る。
【図23】標準モデル内で伝わるダイナミックプログラ
ミングパスの複数の例を示す図である。
【図24】図21のステップS47に含まれる処理を示
すフローチャートである。
【図25】図23で示された2つのダイナミックプログ
ラミングパスが現入力フレームから次の入力フレームに
伝わる方法を説明する図である。
【図26A 】図22に示されるワードモデルの現アク
ティブリストの第1の状態が処理された後の新アクティ
ブリストの内容を示す図である。
【図26B 】図22に示されるワードモデルの現アク
ティブリストの第2の状態が処理された後の新アクティ
ブリストの内容を示す図である。
【図27A 】図24のステップS77で行われる処理
を示すフローチャートである。
【図27B 】図24のステップS77で行われる処理
を示すフローチャートである。
【図28】図21のステップS51で行われる処理を示
すフローチャートである。
【図29】図28に示される処理中において、ノードN
に対して行われる処理を示す図である。
【図30】図21のステップS57で行なわれる処理を
示すフローチャートである。
【図31】図22に示されるワードモデルのエントリス
テートを示す図である。
【図32】図21のステップS65で行われる処理を示
すフローチャートである。
【図33】入力フレーズのパラメータフレームシーケン
スと、入力フレーズ内に含まれるワードの分離的発声に
よるパラメータフレームシーケンスとを示す図である。
【図34】他の実施形態による第1の代替技術を用い
て、ワードモデルを異なるユーザに適用するための処理
を示すフローチャートである。
【図35】他の実施形態による第2の代替技術を用い
て、ワードモデルを異なるユーザに適用するための処理
を示すフローチャートである。
【図36】本発明の一実施形態による電話システムの概
要を示す図である。
【図37】図36に示した電話システムに用いられる電
話機を示す図である。
【図38】図36に示した電話システムにおけるローカ
ル交換機の幾つかの内部構成を示すブロック図である。
【図39】図38に示したローカル交換機の制御ユニッ
トの主要な恒星を示すブロック図である。
【図40】本発明の実施形態による電話システムのメー
ルボックス機能によって使用される新規メッセージリス
ト、旧メッセージリスト、現メッセージリスト及びウエ
イストバスケットを示す図である。
【図41】図40のメールボックス機能よりメッセージ
を再生する処理を示すフローチャートである。

Claims (62)

    【特許請求の範囲】
  1. 【請求項1】 入力信号を表す入力パターンシーケンス
    と複数の格納された標準パターンシーケンスとの間のダ
    イナミックプログラミングマッチング処理を実行する方
    法であって、該標準パターンシーケンスは標準信号を表
    し、該方法は少なくとも標準信号の幾つかに関連して各
    入力パターンを順次処理するものであり、 (1)処理中の現入力パターンに対するダイナミックプ
    ログラミングパスの終点における標準信号の標準パター
    ンをアクティブパターンとして定義し、各パスは標準パ
    ターンシーケンスと、該現入力パターンまでの入力パタ
    ーンシーケンスとの間のマッチング候補を表し、そして
    該現入力パターンに関するアクティブパターンを現アク
    ティブリストに登録し、 (2)各アクティブパターンに対して、当該アクティブ
    パターンに対応して設けられた格納部に、前記現入力パ
    ターンに対する当該アクティブパターンで終わるダイナ
    ミックプログラミングパスのスコアを表す累積値を格納
    し、 (3)現標準信号の各アクティブパターンを逆方向順に
    処理することによって、ダイナミックプログラミングパ
    スに課された制限に基づいて、前記累積値を更新すると
    ともに前記ダイナミックプログラミングパスを伝搬させ
    るために、(A)前記現入力パターンを用いて、処理中
    の現アクティブパターンに関連する格納部に格納された
    累積値を更新し、(B)前記現アクティブパターンに関
    連するダイナミックプログラミングパスを伝搬させ、も
    しそれがリストに無ければ、次の入力パターンのための
    ダイナミックプログラミングパスの終点となる標準信号
    の各標準パターンを新規アクティブリストに登録し、 現在の標準信号の各ダイナミックプログラミングパスの
    伝搬が現標準信号にに関連するポインタを用いて制御さ
    れ、該ポインタは、前回のアクティブパターンの完了の
    後に、前記新規アクティブリストにリストされた現標準
    信号のパターンのシーケンスにおける最も手前の標準パ
    ターンを特定し、これによって、現標準信号の内のどの
    標準パターンが先行するアクティブパターンを処理した
    結果として新規アクティブリストに登録されたかを検索
    する必要なしに各ダイナミックプログラミングパスの伝
    搬が達成されることを特徴とする情報処理方法。
  2. 【請求項2】 前記工程(3)の(B)において、 (i)ダイナミックプログラミングパスの伝搬に課せら
    れた前記制限に基づいて、現標準信号のどの標準パター
    ンが、前記次の入力パターンについて前記現アクティブ
    パターンで終わるダイナミックプログラミングパスの終
    点に存在する可能性のあるかを判断し、 (ii)工程(i)で決定された各標準パターンを処理す
    ることにより、ダイナミックプログラミングパスを伝搬
    させ、新規アクティブリストを更新し、工程(i)で決
    定された標準パターンに関連する格納部に適切な累積値
    を複写することを特徴とする請求項1に記載の情報処理
    方法。
  3. 【請求項3】 前記工程(i)において決定される標準
    パターンについて、現アクティブパターンが該標準パタ
    ーンの一つであればこれを除き、残された標準パターン
    の各々が (a)処理中の現標準パターンが前記ポインタによって
    特定されるどの標準パターンをも越えていまうかどうか
    判断し、 (b)シーケンス上において、現標準パターンが特定さ
    れた標準パターンと同じ位置かもしくはそれを越える場
    合であって、前記現アクティブパターンに関連する格納
    部に格納された累積値が現標準パターンに関連する格納
    部に既に格納されている累積値よりも良い場合、該現ア
    クティブパターンに関連する格納部に格納された累積値
    を該現標準パターンに関連する格納部にコピーし、 (c)シーケンス上において現標準パターンが特定され
    た標準パターンよりも前であるか、前記新規アクティブ
    リスト内に現標準信号の標準パターンが無い場合、前記
    現アクティブパターンに関連する格納部に格納された累
    積値を前記現標準パターンに関連する格納部にコピー
    し、前記新規アクティブリストに該現標準パターンを登
    録することを特徴とする請求項2に記載の情報処理方
    法。
  4. 【請求項4】 前記工程(i)において決定された標準
    パターンの一つが現アクティブパターンである場合、前
    記工程(ii)における現アクティブパターンの処理は、
    該現アクティブパターンがダイナミックプログラミング
    プロセスに課せられたいかなる制限にも違反しない場合
    に、該現アクティブパターンを前記新規アクティブリス
    トに登録することを特徴とする請求項または3に記載
    の情報処理方法。
  5. 【請求項5】 現アクティブパターンの処理によって前
    記新規アクティブリストを更新した後に、現標準信号に
    関連する前記ポインタが、新規アクティブリスト上の、
    現標準信号のパターンのシーケンスにおける最も早い標
    準パターンを指示するように設定されることを特徴とす
    る請求項1乃至4のいずれかに記載の情報処理方法。
  6. 【請求項6】 現入力パターンの処理は次の入力パター
    ンが受信される前に実行されることを特徴とする請求項
    1乃至5のいずれかに記載の情報処理方法。
  7. 【請求項7】 最初の入力パターンが処理される前に入
    力信号全体が受信されることを特徴とする請求項1乃至
    5のいずれかに記載の情報処理方法。
  8. 【請求項8】 各標準信号がそれに関連付けられた現ア
    クティブリストと新規アクティブリストを有することを
    特徴とする請求項1乃至7のいずれかに記載の情報処理
    方法。
  9. 【請求項9】 標準パターンが前記新規アクティブリス
    トに追加される場合に、それが当該リストの最後に置か
    れることを特徴とする請求項1乃至8のいずれかに記載
    の情報処理方法。
  10. 【請求項10】 前記工程(ii)において処理された標
    準パターンが、シーケンスの方向と逆方向に処理される
    ことを特徴とする請求項2乃至9のいずれかに記載の情
    報処理方法。
  11. 【請求項11】 現アクティブパターンに関連する累積
    値がしきい値よりも良好である場合、該現アクティブパ
    ターンに対して前記工程(3)のみを実行することを特
    徴とする請求項1乃至11のいずれかに記載の情報処理
    方法。
  12. 【請求項12】 前記しきい値は、各入力パターンにつ
    いて処理されるアクティブパターンの数を与えられた最
    大数よりも小さく保つように変更されることを特徴とす
    る請求項11に記載の情報処理方法。
  13. 【請求項13】 次の入力パターンの処理を行う間に用
    いられる前記しきい値が、現入力パターンの処理中に、
    新規アクティブリスト中の、もしくは次の入力パターン
    のためのリスト中の標準パターンの数の合計に基づいて
    決定されることを特等とする請求項12に記載の情報処
    理方法。
  14. 【請求項14】 前記ダイナミックプログラミングの制
    限の一つが、同じダイナミックプログラミングパス上に
    おいて、標準パターンがマッチし得る連続的な入力パタ
    ーンの数に関する制限であることを特徴とする請求項1
    乃至13のいずれかに記載の情報処理方法。
  15. 【請求項15】 前記ダイナミックプログラミングの制
    限の一つが、標準パターンが入力パターンとマッチする
    場合に、同一のダイナミックプログラミングパス上にお
    いて、シーケンス上当該標準パターンを越える位置にあ
    る標準パターンのうちの、次の入力パターンにマッチン
    グさせることが可能な標準パターンの数を制限すること
    を特徴とする請求項1乃至14のいずれかに記載の情報
    処理方法。
  16. 【請求項16】 前記ダイナミックプログラミングの制
    限の一つが、標準パターンが入力パターンとマッチする
    場合に、同一のダイナミックプログラミングパス上にお
    いて、シーケンス上、その標準パターンよりも手前にあ
    る標準パターンは次に入力されたパターンとマッチング
    させることができないことであることを特徴とする請求
    項1乃至15のいずれかに記載の情報処理方法。
  17. 【請求項17】 前記標準パターンはテンプレートで表
    され、前記累積値は距離の尺度であることを特徴とする
    請求項1乃至16のいずれかに記載の情報処理方法。
  18. 【請求項18】 前記標準パターンは統計的モデルを表
    し、前記累積値は確率的尺度であることを特徴とする請
    求項1乃至16のいずれかに記載の情報処理装置。
  19. 【請求項19】 一つの標準信号内を伝わるダイナミッ
    クプログラミングパスが続いて他の標準信号に伝わるこ
    とを可能とすることにより、前記入力信号を前記標準信
    号のシーケンスとマッチング可能とすることを特徴とす
    る請求項1乃至18のいずれかに記載の情報処理方法。
  20. 【請求項20】 標準パターンから現入力パターンへ出
    る全てのダイナミックプログラミングパスのうち、最良
    の累積値を有するダイナミックプログラミングパスのみ
    が先へ進みうることを特徴とする請求項19に記載の情
    報処理方法。
  21. 【請求項21】 入力信号がマッチングされ得る前記標
    準信号のシーケンスは、特定された規則によって制限さ
    れることを特徴とする請求項19または20に記載の情
    報処理方法。
  22. 【請求項22】 現入力パターンが標準信号に関して処
    理された後、新規アクティブリストを更新するために、
    及びそれら標準信号の開始点における標準パターンであ
    って対応する標準信号に入っているダイナミックプログ
    ラミングパスの終点に対応する可能性のある標準パター
    ンに関する累積値を更新するために、当該標準信号に入
    りうる全てのダイナミックプログラミングパスの最良の
    累積値を用いて、前記制限に基づいてそれら標準信号を
    処理することを特徴とする請求項19乃至21のいずれ
    かに記載の情報処理方法。
  23. 【請求項23】 前記入力信号は音声信号を表し、各入
    力パターンは対応する時間フレーム間の音声信号の音響
    的特徴を表す複数のパラメータを備えることを特徴とす
    る請求項1乃至22のいずれかに記載の情報処理方法。
  24. 【請求項24】 前記入力音声信号は標準音声信号のシ
    ーケンスにマッチングされ、該シーケンスは言語モデル
    によって規定されることを特徴とする請求項23に記載
    の情報処理方法。
  25. 【請求項25】 前記現入力パターンの処理において、
    標準信号を出るダイナミックプログラミングパスの終点
    が以降に入力されるパターンのためのバックグラウンド
    ノイズを表すパターンとマッチングされることを特徴と
    する請求項24に記載の情報処理方法。
  26. 【請求項26】 入力音声信号を複数の標準音声信号と
    比較することによって認識する音声認識方法であって、 前記入力音声信号を表す入力パターンシーケンスを抽出
    する抽出工程と、 標準パターンシーケンスを格納する格納工程と、該標準
    パターンシーケンスの各々は対応する標準音声信号を表
    し、 請求項23乃至25のいずれかに記載の方法を用いて、
    前記入力パターンシーケンスと前記標準音声信号とのマ
    ッチングを行うマッチング工程と、 前記マッチング工程で決定された累積値より認識結果を
    提供する工程とを備えることを特徴とする音声認識方
    法。
  27. 【請求項27】 前記認識結果は、前記シーケンスにお
    ける最終の入力パターンにて終わるダイナミックプログ
    ラミングパスのうちの、最良の累積値を有するパスを決
    定することによって提供されることを特徴とする請求項
    26に記載の音声認識方法。
  28. 【請求項28】 パターンマッチングシステムで用いら
    れる既存の標準モデルを更新する方法であって、該標準
    モデルの各々は標準パターンシーケンスを有し、 (a)内容が既知である複数の入力信号を入力し、 (b)入力パターンを表すシーケンスを生成するために
    入力信号の各々を処理し、 (c)各入力信号に対して、前記入力パターンを表すシ
    ーケンスと、当該入力信号中に存在することがわかって
    いる信号の既存の標準モデルの標準パターンシーケンス
    に関連付けを行い、 (d)1つまたはそれ以上の入力信号の複数の入力パタ
    ーンに関連付けられた各標準パターンについて、(i)
    関連付けれた入力信号の入力パターンを結合する工程
    と、(ii)当該標準パターンを前記工程(i)において
    結合された入力パターンで置き換える工程とを備えるこ
    とを特徴とする情報処理方法。
  29. 【請求項29】 前記関連付けられた入力パターンは、
    それらを平均化することにより結合されることを特徴と
    する請求項28に記載の情報処理方法。
  30. 【請求項30】 前記標準モデルは音声を表し、前記入
    力信号は、その音声内容が既知の音声信号であることを
    特徴とする請求項28または29に記載の情報処理方
    法。
  31. 【請求項31】 各標準モデルが1つまたはそれ以上の
    ワードを表すことを特徴とする請求項30に記載の情報
    処理方法。
  32. 【請求項32】 少なくとも一つの入力信号との関連付
    けが行なわれた標準モデルの各標準パターンにおいて、
    前記入力信号の入力パターンのいずれにも関連付けられ
    ない標準パターンを、当該標準モデル内の既に置き換え
    られた標準パターンのうちの隣接する標準パターンを用
    いて補間もしくは外挿を行って得られたパターンで置き
    換えることを特徴とする請求項28乃至31のいずれか
    に記載の情報処理方法。
  33. 【請求項33】 前記標準パターンは、最も近くの隣接
    する標準パターンを用いて得られた補間値もしくは外挿
    値で置き換えられることを特徴とする請求項32に記載
    の情報処理方法。
  34. 【請求項34】 入力パターンシーケンスと複数の標準
    パターンシーケンスとの間でダイナミックプログラミン
    グパターンマッチングを実行する方法であって、実質的
    に添付の図18乃至図32に示されるように処理を行う
    ことを特徴とする情報処理方法。
  35. 【請求項35】 請求項1乃至34のいずれかに記載の
    方法を実行するためのソフトウエアプログラムを格納す
    るデータ保持媒体。
  36. 【請求項36】 請求項1乃至34のいずれかに従う方
    法を実行することを特徴とする情報処理装置。
  37. 【請求項37】 電話システムを制御する制御システム
    であって、 前記電話システムを制御するための音声コマンドの入力
    を可能とするとともに、入力された音声コマンドと予め
    格納された標準モデルとの比較に基づいて認識結果を出
    力する音声認識ユーザインターフェースと、 前記インターフェースから出力された前記認識結果に応
    じて、入力音声コマンドに従って前記電話システムを制
    御する制御手段とを備え、 前記音声認識ユーザインターフェース連続的な音声コマ
    ンドを認識可能に適応させられ、該音声コマンドは所望
    の電話サービス及び他ユーザの識別を特定する複数のワ
    ードを有し、その認識は、格納された言語モデルによっ
    て許可されるワードモデルのシーケンスと入力された音
    声コマンドを比較することによって行なわれ、前記制御
    手段が入力された音声コマンドに対応する機能を実行す
    る実行手段を備えることを特徴とする制御システム。
  38. 【請求項38】 システムによって提供される電話サー
    ビスを制御するための音声コマンドの入力を可能とする
    とともに、入力された音声コマンドと予め格納された標
    準モデルとの比較に基づいて認識結果を出力する音声認
    識ユーザインターフェースと、 前記インターフェースからの認識結果出力に基づいて、
    音声コマンドに対応する機能を実行する実行手段とを備
    え、 前記システムの各ユーザは電話番号及び関連付けられた
    識別情報によって識別され、前記実行手段は、ユーザが
    前記音声認識ユーザインターフェースを介して別のユー
    ザの識別情報のみを入力した場合に、現在のシステム状
    態情報を用いてどの電話サービスを欲しているかを予測
    することを特徴とする制御システム。
  39. 【請求項39】 前記実行手段は、当該システムの現在
    の状態を表す情報に依存して当該システムのユーザと通
    話するよう適応され、該実行手段が、 i)現在のシステム状態情報を保持し、 ii)音声コマンドに対応する機能が現在のシステム状態
    情報と対立しないことをチェックし、 iii)対立が無ければ、実行に先立って前記音声コマン
    ドの確認をユーザに要求し、 前記実行手段がユーザの確認を待つ間に生成される新た
    なシステム状態情報をバッファリングするためのバッフ
    ァが提供されることを特徴とする請求項37または38
    に記載の制御システム。
  40. 【請求項40】 前記状態情報は、各ユーザについて、
    該ユーザは現在誰と通話しているか、該ユーザが誰にダ
    イヤルしているか、誰が保留されているか、誰が該ユー
    ザに電話しようとしているか、当該ユーザはメッセージ
    を再生しているか否か、誰が該ユーザを保留している
    か、誰が該ユーザを電話会議に招いたか、の少なくとも
    1つを備えることを特徴とする請求項38または39に
    記載の制御システム。
  41. 【請求項41】 前記電話サービスは、発呼の設定、呼
    の転送、呼の保留、呼の戻し、会議の設定、メッセージ
    の選択と再生の少なくとも1つを備えることを特徴とす
    る請求項37乃至40のいずれかに記載の制御システ
    ム。
  42. 【請求項42】 前記制御手段は、出荷時に予め格納さ
    れた自余を用いて、認識結果を補間する補間手段を更に
    備えることを特徴とする請求項37乃至41のいずれか
    に記載の制御システム。
  43. 【請求項43】 前記システムにおける各ユーザは関連
    する格納手段を有し、外格納手段は、他のユーザの電話
    番号及び関連付けられた識別情報を格納し、これによっ
    て、各ユーザは、前記音声認識ユーザインターフェース
    に対応する識別情報を音声入力することで、該システム
    の別のユーザを指示できることを特徴とする請求項37
    乃至42のいずれかに記載の制御システム。
  44. 【請求項44】 前記実行手段は、ユーザが前記音声認
    識ユーザインターフェースを介して別のユーザの識別情
    報のみを入力した場合に、現在のシステム状態情報を用
    いてどの電話サービスを欲しているかを予測することを
    特徴とする、請求項2に従属するものを除いた、請求項
    37乃至43のいずれかに記載の制御システム。
  45. 【請求項45】 前記音声認識ユーザインターフェース
    は新しい音声コマンドを認識するべく学習が可能である
    ことを特徴とする請求項37乃至44のいずれかに記載
    の制御システム。
  46. 【請求項46】 各ユーザが個別に、関連する標準モデ
    ルのセットを有することを特徴とする請求項37乃至4
    5のいずれかに記載の制御システム。
  47. 【請求項47】 ローカル交換機に提供されることを特
    徴とする請求項37乃至46のいずれかに記載の制御シ
    ステム。
  48. 【請求項48】 電話システムを制御する請求項1乃至
    11のいずれかに記載の制御システムと、該電話システ
    ムのユーザによって使用される複数の通信装置とを備
    え、外複数の通新装置がローカル交換機を介して接続さ
    れることを特徴とする電話システム。
  49. 【請求項49】 前記実行手段は、各ユーザがそれぞれ
    の通信装置を介した通話と、該システムの現在の状態を
    表す情報に適応することを特徴とする請求項48に記載
    の電話システム。
  50. 【請求項50】 前記通信装置の少なくとも1つは表示
    器を有し、該表示器は、入力された音声コマンドに対応
    する機能を表すメッセージを所定時間の間表示するべく
    適用されることを特徴とする請求項48または49に記
    載の電話システム。
  51. 【請求項51】 前記ローカル交換機は、該ローカル交
    換機に接続されたユーザが公衆交換機に接続されたりモ
    ードユーザと通信可能とするように、該公衆交換機に接
    続されることを特徴とする請求項48乃至50のいずれ
    かに記載の電話システム。
  52. 【請求項52】 前記システムのユーザが着信に応答で
    きなかった場合に、該ユーザに対して発呼者によって残
    されたメッセージを格納するメールボックス機能を更に
    備えることを特徴とする請求項48乃至51のいずれか
    に記載の電話システム。
  53. 【請求項53】 前記メールボックス機能に格納された
    各メッセージに、そのメッセージを残した発呼者の電話
    番号が関連付けらていることを特徴とする請求項52に
    記載の電話システム。
  54. 【請求項54】 前記音声認識ユーザインターフェース
    を介して、ユーザは前記メールボックス機能に対して特
    定の発呼者からのメッセージを再生するよう要求できる
    ことを特徴とする請求項53に記載の電話システム。
  55. 【請求項55】 選択された複数のメッセージの一つを
    再生した後に、ユーザは他の電話サービスをアクセスで
    きると共に、それら他の電話サービスへのアクセスの後
    に、再び前記選択された複数のメッセージの残りを再生
    可能であることを特徴とする請求項54に記載の電話シ
    ステム。
  56. 【請求項56】 前記音声認識ユーザインターフェース
    及び前記実行手段が、複数のユーザによって時分割で使
    用されることを特徴とする請求項48乃至56のいずれ
    かに記載の電話システム。
  57. 【請求項57】 複数の異なるユーザによる同時的な使
    用のために、複数の音声認識ユーザインターフェース及
    び複数の実行手段が提供されることを特徴とする請求項
    48乃至56のいずれかに記載の電話システム。
  58. 【請求項58】 前記システムが通信装置に提供される
    ことを特徴とする請求項37乃至45のいずれかに記載
    の制御システム。
  59. 【請求項59】 電話システムを制御するための方法で
    あって、 請求項37乃至58のいずれかに記載のシステムを提供
    し、 前記音声認識インターフェースを介して前記システムに
    音声コマンドを入力し、 前記音声認識インターフェースにより、前記入力された
    音声コマンドと予め格納された標準モデルとの比較に基
    づいて認識結果を出力し、 前記認識結果に基づいて前記電話システムを制御するこ
    とを特徴とする制御方法。
  60. 【請求項60】 請求項59に従った方法を実行するた
    めのソフトウエアプログラムを格納するデータ保持媒
    体。
  61. 【請求項61】 添付の図36乃至41で実質的に示さ
    れる電話システム。
  62. 【請求項62】 電話システムで用いるメールボックス
    装置であって、 メールボックス機能を制御するためのユーザによる音声
    コマンドの入力を可能とすると共に、入力音声コマンド
    と予め格納された標準モデルとの比較に基づいて認識結
    果を出力する音声認識ユーザインターフェースと、 前記インターフェースよりの認識結果出力に応じて、前
    記入力された音声コマンドに従って前記メールボックス
    機能を制御する制御手段と、 ユーザがコールに応答できない場合に、発呼者によって
    残されたメッセージを格納する格納手段とを備え、 前期メールボックスに格納された各メッセージは、当該
    メッセージを残した発呼者の電話番号が関連付けられ、
    これによって、ユーザは、音声認識ユーザインターフェ
    ースを介して、前記メールボックス機能に特定の発呼者
    からのメッセージを再生させ得ることを特徴とするメ-
    ボックス装置。
JP9026970A 1996-02-09 1997-02-10 情報処理方法及び装置 Pending JPH09244686A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GBGB9602699.2A GB9602699D0 (en) 1996-02-09 1996-02-09 Pattern matching method and apparatus
GB96026992 1996-07-09
GB96144290 1996-07-09
GBGB9614429.0A GB9614429D0 (en) 1996-02-09 1996-07-09 Telephony system

Publications (1)

Publication Number Publication Date
JPH09244686A true JPH09244686A (ja) 1997-09-19

Family

ID=26308650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9026970A Pending JPH09244686A (ja) 1996-02-09 1997-02-10 情報処理方法及び装置

Country Status (5)

Country Link
US (2) US5960395A (ja)
EP (1) EP0789349B1 (ja)
JP (1) JPH09244686A (ja)
DE (2) DE69736751D1 (ja)
HK (1) HK1002468A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005489A (ja) * 1999-04-13 2001-01-12 Sony Internatl Europ Gmbh ネットワークの制御方法
JP2001083994A (ja) * 1999-08-09 2001-03-30 Deutsche Thomson Brandt Gmbh オーディオ信号のビット伝送速度を節約して符号化する方法及び符号化器
JP2006125976A (ja) * 2004-10-28 2006-05-18 Nsk Ltd 機械設備の異常診断システム
JP2008102482A (ja) * 2006-10-20 2008-05-01 Toshiba Tec Corp パターンマッチング装置及び方法

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960395A (en) * 1996-02-09 1999-09-28 Canon Kabushiki Kaisha Pattern matching method, apparatus and computer readable memory medium for speech recognition using dynamic programming
US6807256B1 (en) * 1997-11-04 2004-10-19 Bellsouth Intellectual Property Corporation Call screening method and apparatus
US6871064B1 (en) 1997-11-04 2005-03-22 Bellsouth Intellectual Property Corporation Outgoing call handling system and method
US7280821B2 (en) * 1998-10-27 2007-10-09 At&T Bls Intellectual Property, Inc. Outgoing call handling system and method
US6151574A (en) * 1997-12-05 2000-11-21 Lucent Technologies Inc. Technique for adaptation of hidden markov models for speech recognition
GB9802836D0 (en) * 1998-02-10 1998-04-08 Canon Kk Pattern matching method and apparatus
GB9802838D0 (en) * 1998-02-10 1998-04-08 Canon Kk Pattern matching method and apparatus
JPH11296192A (ja) * 1998-04-10 1999-10-29 Pioneer Electron Corp 音声認識における音声特徴量の補正方法、音声認識方法、音声認識装置及び音声認識プログラムを記録した記録媒体
GB9822931D0 (en) 1998-10-20 1998-12-16 Canon Kk Speech processing apparatus and method
GB9822930D0 (en) * 1998-10-20 1998-12-16 Canon Kk Speech processing apparatus and method
KR100828884B1 (ko) 1999-03-05 2008-05-09 캐논 가부시끼가이샤 데이터베이스 주석 및 검색
GB2349259B (en) 1999-04-23 2003-11-12 Canon Kk Speech processing apparatus and method
GB9911971D0 (en) 1999-05-21 1999-07-21 Canon Kk A system, a server for a system and a machine for use in a system
US6278987B1 (en) * 1999-07-30 2001-08-21 Unisys Corporation Data processing method for a semiotic decision making system used for responding to natural language queries and other purposes
US6394263B1 (en) * 1999-07-30 2002-05-28 Unisys Corporation Autognomic decision making system and method
JP4200607B2 (ja) * 1999-09-03 2008-12-24 ソニー株式会社 情報処理装置および方法、並びにプログラム格納媒体
WO2001031627A2 (en) 1999-10-28 2001-05-03 Canon Kabushiki Kaisha Pattern matching method and apparatus
US6882970B1 (en) 1999-10-28 2005-04-19 Canon Kabushiki Kaisha Language recognition using sequence frequency
US7310600B1 (en) 1999-10-28 2007-12-18 Canon Kabushiki Kaisha Language recognition using a similarity measure
GB2355833B (en) 1999-10-29 2003-10-29 Canon Kk Natural language input method and apparatus
US7050977B1 (en) * 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US7392185B2 (en) * 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
GB9930731D0 (en) * 1999-12-22 2000-02-16 Ibm Voice processing apparatus
GB0003903D0 (en) 2000-02-18 2000-04-05 Canon Kk Improved speech recognition accuracy in a multimodal input system
GB0011798D0 (en) 2000-05-16 2000-07-05 Canon Kk Database annotation and retrieval
GB0015233D0 (en) 2000-06-21 2000-08-16 Canon Kk Indexing method and apparatus
GB2364814A (en) 2000-07-12 2002-02-06 Canon Kk Speech recognition
GB2365188B (en) * 2000-07-20 2004-10-20 Canon Kk Method for entering characters
GB2365189A (en) * 2000-07-26 2002-02-13 Canon Kk Voice-controlled machine
GB2365145A (en) * 2000-07-26 2002-02-13 Canon Kk Voice control of a machine
GB0023930D0 (en) 2000-09-29 2000-11-15 Canon Kk Database annotation and retrieval
US6871178B2 (en) * 2000-10-19 2005-03-22 Qwest Communications International, Inc. System and method for converting text-to-voice
US7451087B2 (en) * 2000-10-19 2008-11-11 Qwest Communications International Inc. System and method for converting text-to-voice
US6862568B2 (en) * 2000-10-19 2005-03-01 Qwest Communications International, Inc. System and method for converting text-to-voice
US6990449B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. Method of training a digital voice library to associate syllable speech items with literal text syllables
US6990450B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. System and method for converting text-to-voice
US7085716B1 (en) 2000-10-26 2006-08-01 Nuance Communications, Inc. Speech recognition using word-in-phrase command
GB0027178D0 (en) * 2000-11-07 2000-12-27 Canon Kk Speech processing system
GB0028277D0 (en) 2000-11-20 2001-01-03 Canon Kk Speech processing system
US6944272B1 (en) * 2001-01-16 2005-09-13 Interactive Intelligence, Inc. Method and system for administering multiple messages over a public switched telephone network
US6876968B2 (en) * 2001-03-08 2005-04-05 Matsushita Electric Industrial Co., Ltd. Run time synthesizer adaptation to improve intelligibility of synthesized speech
US20040120472A1 (en) * 2001-04-19 2004-06-24 Popay Paul I Voice response system
US20030055640A1 (en) * 2001-05-01 2003-03-20 Ramot University Authority For Applied Research & Industrial Development Ltd. System and method for parameter estimation for pattern recognition
US20030033143A1 (en) * 2001-08-13 2003-02-13 Hagai Aronowitz Decreasing noise sensitivity in speech processing under adverse conditions
US6999928B2 (en) * 2001-08-21 2006-02-14 International Business Machines Corporation Method and apparatus for speaker identification using cepstral covariance matrices and distance metrics
US6950796B2 (en) * 2001-11-05 2005-09-27 Motorola, Inc. Speech recognition by dynamical noise model adaptation
US7324942B1 (en) 2002-01-29 2008-01-29 Microstrategy, Incorporated System and method for interactive voice services using markup language with N-best filter element
GB2384901B (en) * 2002-02-04 2004-04-21 Zentian Ltd Speech recognition circuit using parallel processors
GB2385697B (en) * 2002-02-14 2005-06-15 Canon Kk Speech processing apparatus and method
EP1339045A1 (en) * 2002-02-25 2003-08-27 Sony International (Europe) GmbH Method for pre-processing speech
JP2003255993A (ja) * 2002-03-04 2003-09-10 Ntt Docomo Inc 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
US7788097B2 (en) * 2002-06-06 2010-08-31 Nuance Communications, Inc. Multiple sound fragments processing and load balancing
US7340392B2 (en) * 2002-06-06 2008-03-04 International Business Machines Corporation Multiple sound fragments processing and load balancing
EP1540646A4 (en) * 2002-07-31 2005-08-10 Arie Ariav VOICE CONTROL SYSTEM AND ASSOCIATED METHOD
JP4072718B2 (ja) * 2002-11-21 2008-04-09 ソニー株式会社 音声処理装置および方法、記録媒体並びにプログラム
US7516070B2 (en) * 2003-02-19 2009-04-07 Custom Speech Usa, Inc. Method for simultaneously creating audio-aligned final and verbatim text with the assistance of a speech recognition program as may be useful in form completion using a verbal entry method
US20050049873A1 (en) * 2003-08-28 2005-03-03 Itamar Bartur Dynamic ranges for viterbi calculations
US7389236B2 (en) * 2003-09-29 2008-06-17 Sap Aktiengesellschaft Navigation and data entry for open interaction elements
KR20050059766A (ko) * 2003-12-15 2005-06-21 엘지전자 주식회사 동적 시간 워핑을 이용한 음성 인식 방법
US7480615B2 (en) * 2004-01-20 2009-01-20 Microsoft Corporation Method of speech recognition using multimodal variational inference with switching state space models
JP4424057B2 (ja) * 2004-05-10 2010-03-03 富士ゼロックス株式会社 学習装置およびプログラム
KR100617711B1 (ko) * 2004-06-25 2006-08-28 삼성전자주식회사 휴대단말기에서 음성인식구동 방법
DE102004048348B4 (de) * 2004-10-01 2006-07-13 Daimlerchrysler Ag Verfahren zur Adaption und/oder Erzeugung statistischer Sprachmodelle
US7359895B2 (en) * 2004-11-18 2008-04-15 Industrial Technology Research Institute Spiral string matching method
US7895039B2 (en) * 2005-02-04 2011-02-22 Vocollect, Inc. Methods and systems for optimizing model adaptation for a speech recognition system
US7865362B2 (en) 2005-02-04 2011-01-04 Vocollect, Inc. Method and system for considering information about an expected response when performing speech recognition
US7949533B2 (en) 2005-02-04 2011-05-24 Vococollect, Inc. Methods and systems for assessing and improving the performance of a speech recognition system
US8200495B2 (en) 2005-02-04 2012-06-12 Vocollect, Inc. Methods and systems for considering information about an expected response when performing speech recognition
US7827032B2 (en) 2005-02-04 2010-11-02 Vocollect, Inc. Methods and systems for adapting a model for a speech recognition system
US8694317B2 (en) * 2005-02-05 2014-04-08 Aurix Limited Methods and apparatus relating to searching of spoken audio data
US20070016420A1 (en) * 2005-07-07 2007-01-18 International Business Machines Corporation Dictionary lookup for mobile devices using spelling recognition
JP2007047575A (ja) * 2005-08-11 2007-02-22 Canon Inc パターンマッチング方法およびその装置、および音声情報検索システム
US20070214153A1 (en) * 2006-03-10 2007-09-13 Mazzagatti Jane C Method for processing an input particle stream for creating upper levels of KStore
US20070220069A1 (en) * 2006-03-20 2007-09-20 Mazzagatti Jane C Method for processing an input particle stream for creating lower levels of a KStore
US8238351B2 (en) * 2006-04-04 2012-08-07 Unisys Corporation Method for determining a most probable K location
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
KR100883652B1 (ko) * 2006-08-03 2009-02-18 삼성전자주식회사 음성 구간 검출 방법 및 장치, 및 이를 이용한 음성 인식시스템
US7822605B2 (en) * 2006-10-19 2010-10-26 Nice Systems Ltd. Method and apparatus for large population speaker identification in telephone interactions
US8542802B2 (en) 2007-02-15 2013-09-24 Global Tel*Link Corporation System and method for three-way call detection
US20080201158A1 (en) 2007-02-15 2008-08-21 Johnson Mark D System and method for visitation management in a controlled-access environment
EP2135231A4 (en) * 2007-03-01 2014-10-15 Adapx Inc SYSTEM AND METHOD FOR DYNAMIC LEARNING
US9973450B2 (en) 2007-09-17 2018-05-15 Amazon Technologies, Inc. Methods and systems for dynamically updating web service profile information by parsing transcribed message strings
JP2009129237A (ja) * 2007-11-26 2009-06-11 Toshiba Corp 画像処理装置及びその方法
US20090171936A1 (en) * 2007-12-28 2009-07-02 Sybase, Inc. System, Method, and Computer Program Product for Accelerating Like Conditions
US20090210233A1 (en) * 2008-02-15 2009-08-20 Microsoft Corporation Cognitive offloading: interface for storing and composing searches on and navigating unconstrained input patterns
US8676577B2 (en) * 2008-03-31 2014-03-18 Canyon IP Holdings, LLC Use of metadata to post process speech recognition output
US8140330B2 (en) * 2008-06-13 2012-03-20 Robert Bosch Gmbh System and method for detecting repeated patterns in dialog systems
US20100088097A1 (en) * 2008-10-03 2010-04-08 Nokia Corporation User friendly speaker adaptation for speech recognition
US9225838B2 (en) 2009-02-12 2015-12-29 Value-Added Communications, Inc. System and method for detecting three-way call circumvention attempts
US8630726B2 (en) 2009-02-12 2014-01-14 Value-Added Communications, Inc. System and method for detecting three-way call circumvention attempts
EP2326091B1 (en) * 2009-11-13 2015-08-12 NTT DoCoMo, Inc. Method and apparatus for synchronizing video data
US20110138207A1 (en) * 2009-12-08 2011-06-09 Su Chen-Wei Power control and operation method for notebook computer
US20110184736A1 (en) * 2010-01-26 2011-07-28 Benjamin Slotznick Automated method of recognizing inputted information items and selecting information items
US8264909B2 (en) * 2010-02-02 2012-09-11 The United States Of America As Represented By The Secretary Of The Navy System and method for depth determination of an impulse acoustic source by cepstral analysis
US8886541B2 (en) * 2010-02-04 2014-11-11 Sony Corporation Remote controller with position actuatated voice transmission
US20150279354A1 (en) * 2010-05-19 2015-10-01 Google Inc. Personalization and Latency Reduction for Voice-Activated Commands
TWI429288B (zh) * 2010-05-31 2014-03-01 Ibm 網路會議伺服器與進行網路會議的方法
US11423029B1 (en) 2010-11-09 2022-08-23 Google Llc Index-side stem-based variant generation
US8375042B1 (en) 2010-11-09 2013-02-12 Google Inc. Index-side synonym generation
US8914290B2 (en) 2011-05-20 2014-12-16 Vocollect, Inc. Systems and methods for dynamically improving user intelligibility of synthesized speech in a work environment
US8781821B2 (en) * 2012-04-30 2014-07-15 Zanavox Voiced interval command interpretation
US9037591B1 (en) 2012-04-30 2015-05-19 Google Inc. Storing term substitution information in an index
US9978395B2 (en) 2013-03-15 2018-05-22 Vocollect, Inc. Method and system for mitigating delay in receiving audio stream during production of sound from audio stream
US9390708B1 (en) * 2013-05-28 2016-07-12 Amazon Technologies, Inc. Low latency and memory efficient keywork spotting
US9953632B2 (en) 2014-04-17 2018-04-24 Qualcomm Incorporated Keyword model generation for detecting user-defined keyword
EP3193328B1 (en) 2015-01-16 2022-11-23 Samsung Electronics Co., Ltd. Method and device for performing voice recognition using grammar model
KR20160098910A (ko) * 2015-02-11 2016-08-19 한국전자통신연구원 음성 인식 데이터 베이스 확장 방법 및 장치
US10089989B2 (en) * 2015-12-07 2018-10-02 Semiconductor Components Industries, Llc Method and apparatus for a low power voice trigger device
US10074364B1 (en) * 2016-02-02 2018-09-11 Amazon Technologies, Inc. Sound profile generation based on speech recognition results exceeding a threshold
US10572961B2 (en) 2016-03-15 2020-02-25 Global Tel*Link Corporation Detection and prevention of inmate to inmate message relay
US9609121B1 (en) 2016-04-07 2017-03-28 Global Tel*Link Corporation System and method for third party monitoring of voice and video calls
US10714121B2 (en) 2016-07-27 2020-07-14 Vocollect, Inc. Distinguishing user speech from background speech in speech-dense environments
US10027797B1 (en) 2017-05-10 2018-07-17 Global Tel*Link Corporation Alarm control for inmate call monitoring
US10225396B2 (en) 2017-05-18 2019-03-05 Global Tel*Link Corporation Third party monitoring of a activity within a monitoring platform
US10860786B2 (en) 2017-06-01 2020-12-08 Global Tel*Link Corporation System and method for analyzing and investigating communication data from a controlled environment
US11005620B2 (en) * 2017-06-16 2021-05-11 Qualcomm Incorporated Uplink reference signal sequence design in 5G new radio
US9930088B1 (en) 2017-06-22 2018-03-27 Global Tel*Link Corporation Utilizing VoIP codec negotiation during a controlled environment call
US20190115028A1 (en) * 2017-08-02 2019-04-18 Veritone, Inc. Methods and systems for optimizing engine selection
CN111883124B (zh) * 2020-07-24 2022-11-11 贵州电网有限责任公司 一种继电保护设备的语音识别系统
US11694694B2 (en) * 2020-07-30 2023-07-04 University Of Florida Research Foundation, Incorporated Detecting deep-fake audio through vocal tract reconstruction

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US33597A (en) * 1861-10-29 Improvement in the manufacture of springs from rubber and steel
US4349700A (en) * 1980-04-08 1982-09-14 Bell Telephone Laboratories, Incorporated Continuous speech recognition system
US4592086A (en) * 1981-12-09 1986-05-27 Nippon Electric Co., Ltd. Continuous speech recognition system
US4468204A (en) * 1982-02-25 1984-08-28 Scott Instruments Corporation Process of human-machine interactive educational instruction using voice response verification
JPS5923956A (ja) 1982-07-30 1984-02-07 Toshiba Corp 電話自動応対装置
CH644482A5 (de) * 1982-08-09 1984-07-31 Siemens Ag Verfahren zur uebermittlung von besonderen auftraegen in fernsprechvermittlungsanlagen, insbesondere in fernsprechnebenstellenanlagen.
US4757525A (en) * 1982-09-29 1988-07-12 Vmx, Inc. Electronic audio communications system with voice command features
USRE33597E (en) 1982-10-15 1991-05-28 Hidden Markov model speech recognition arrangement
JPS59172700A (ja) * 1983-03-22 1984-09-29 中川 聖一 パタ−ン比較装置
US4618984A (en) * 1983-06-08 1986-10-21 International Business Machines Corporation Adaptive automatic discrete utterance recognition
JPS6022283A (ja) * 1983-07-19 1985-02-04 Nec Corp パタ−ンマツチング装置
US4726065A (en) 1984-01-26 1988-02-16 Horst Froessl Image manipulation by speech signals
US5218668A (en) * 1984-09-28 1993-06-08 Itt Corporation Keyword recognition system and method using template concantenation model
US4783809A (en) * 1984-11-07 1988-11-08 American Telephone And Telegraph Company, At&T Bell Laboratories Automatic speech recognizer for real time operation
US4783804A (en) * 1985-03-21 1988-11-08 American Telephone And Telegraph Company, At&T Bell Laboratories Hidden Markov model speech recognition arrangement
WO1987001546A1 (en) 1985-09-03 1987-03-12 Motorola, Inc. Hands-free control system for a radiotelephone
US4751737A (en) * 1985-11-06 1988-06-14 Motorola Inc. Template generation method in a speech recognition system
US4783803A (en) * 1985-11-12 1988-11-08 Dragon Systems, Inc. Speech recognition apparatus and method
CA1299750C (en) * 1986-01-03 1992-04-28 Ira Alan Gerson Optimal method of data reduction in a speech recognition system
GB8621994D0 (en) 1986-09-12 1986-10-22 Crosfield Electronics Ltd Image processing
US4729065A (en) * 1987-04-24 1988-03-01 Arriflex Corporation Photography light
US5068645A (en) 1987-10-14 1991-11-26 Wang Laboratories, Inc. Computer input device using an orientation sensor
US4928302A (en) 1987-11-06 1990-05-22 Ricoh Company, Ltd. Voice actuated dialing apparatus
GB2218878A (en) 1988-02-12 1989-11-22 Mars Inc Telephone
JP2733955B2 (ja) * 1988-05-18 1998-03-30 日本電気株式会社 適応型音声認識装置
AT390685B (de) * 1988-10-25 1990-06-11 Philips Nv System zur textverarbeitung
US5027406A (en) * 1988-12-06 1991-06-25 Dragon Systems, Inc. Method for interactive speech recognition and training
US5127055A (en) * 1988-12-30 1992-06-30 Kurzweil Applied Intelligence, Inc. Speech recognition apparatus & method having dynamic reference pattern adaptation
US5151998A (en) 1988-12-30 1992-09-29 Macromedia, Inc. sound editing system using control line for altering specified characteristic of adjacent segment of the stored waveform
KR910700582A (ko) 1989-01-05 1991-03-15 에이취. 프라이드 로널드 음성 처리 장치 및 방법
JPH0315899A (ja) 1989-06-14 1991-01-24 Hitachi Ltd 情報処理システム
DE3930889A1 (de) * 1989-09-15 1991-03-28 Philips Patentverwaltung Verfahren zur erkennung von n unterschiedlichen wortketten in einem sprachsignal
JPH05284203A (ja) * 1990-04-05 1993-10-29 Texas Instr Inc <Ti> 電気通信に準拠した通話のためのユーザー・インタフェースの方法とシステム
US5187735A (en) * 1990-05-01 1993-02-16 Tele Guia Talking Yellow Pages, Inc. Integrated voice-mail based voice and information processing system
WO1991017522A1 (en) 1990-05-01 1991-11-14 Wang Laboratories, Inc. Hands-free hardware keyboard
JP2852298B2 (ja) * 1990-07-31 1999-01-27 日本電気株式会社 標準パターン適応化方式
US5165095A (en) 1990-09-28 1992-11-17 Texas Instruments Incorporated Voice telephone dialing
WO1993001664A1 (en) 1991-07-08 1993-01-21 Motorola, Inc. Remote voice control system
CA2077324C (en) 1991-10-07 1997-06-24 Michael R. Campanelli Image editing system and method having improved automatic object selection
US5416890A (en) 1991-12-11 1995-05-16 Xerox Corporation Graphical user interface for controlling color gamut clipping
CA2149012C (en) * 1991-12-31 1997-09-02 Peter A. Tinsley Voice activated telephone set
EP0559349B1 (en) * 1992-03-02 1999-01-07 AT&T Corp. Training method and apparatus for speech recognition
US5390236A (en) * 1992-03-31 1995-02-14 Klausner Patent Technologies Telephone answering device linking displayed data with recorded audio message
FI97919C (fi) 1992-06-05 1997-03-10 Nokia Mobile Phones Ltd Puheentunnistusmenetelmä ja -järjestelmä puheella ohjattavaa puhelinta varten
JPH06131437A (ja) 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
US5483579A (en) 1993-02-25 1996-01-09 Digital Acoustics, Inc. Voice recognition dialing system
US5452340A (en) 1993-04-01 1995-09-19 Us West Advanced Technologies, Inc. Method of voice activated telephone dialing
CA2115210C (en) 1993-04-21 1997-09-23 Joseph C. Andreshak Interactive computer system recognizing spoken commands
US5594784A (en) 1993-04-27 1997-01-14 Southwestern Bell Technology Resources, Inc. Apparatus and method for transparent telephony utilizing speech-based signaling for initiating and handling calls
WO1995009416A1 (en) * 1993-09-30 1995-04-06 Apple Computer, Inc. Continuous reference adaptation in a pattern recognition system
CA2143980A1 (en) 1994-04-06 1995-10-07 Raziel Haimi-Cohen User display in speech recognition system
US5793891A (en) * 1994-07-07 1998-08-11 Nippon Telegraph And Telephone Corporation Adaptive training method for pattern recognition
US5832428A (en) 1995-10-04 1998-11-03 Apple Computer, Inc. Search engine for phrase recognition based on prefix/body/suffix architecture
US5960395A (en) * 1996-02-09 1999-09-28 Canon Kabushiki Kaisha Pattern matching method, apparatus and computer readable memory medium for speech recognition using dynamic programming
GB9602701D0 (en) 1996-02-09 1996-04-10 Canon Kk Image manipulation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005489A (ja) * 1999-04-13 2001-01-12 Sony Internatl Europ Gmbh ネットワークの制御方法
JP4518619B2 (ja) * 1999-04-13 2010-08-04 ソニー インターナショナル (ヨーロッパ) ゲゼルシャフト ミット ベシュレンクテル ハフツング ネットワークの制御方法
JP2001083994A (ja) * 1999-08-09 2001-03-30 Deutsche Thomson Brandt Gmbh オーディオ信号のビット伝送速度を節約して符号化する方法及び符号化器
JP2006125976A (ja) * 2004-10-28 2006-05-18 Nsk Ltd 機械設備の異常診断システム
JP2008102482A (ja) * 2006-10-20 2008-05-01 Toshiba Tec Corp パターンマッチング装置及び方法
JP2011022621A (ja) * 2006-10-20 2011-02-03 Toshiba Tec Corp パターンマッチング装置及び方法

Also Published As

Publication number Publication date
US7062435B2 (en) 2006-06-13
DE69736751D1 (de) 2006-11-09
US20020032566A1 (en) 2002-03-14
EP0789349A2 (en) 1997-08-13
HK1002468A1 (en) 1998-08-28
EP0789349B1 (en) 2002-08-28
US5960395A (en) 1999-09-28
DE69714880T2 (de) 2003-04-10
EP0789349A3 (en) 1997-11-12
DE69714880D1 (de) 2002-10-02

Similar Documents

Publication Publication Date Title
JPH09244686A (ja) 情報処理方法及び装置
EP0789296B1 (en) Voice controlled image manipulation
Juang et al. Automatic recognition and understanding of spoken language-a first step toward natural human-machine communication
US5893059A (en) Speech recoginition methods and apparatus
AU667871B2 (en) Voice controlled messaging system and processing method
US4624008A (en) Apparatus for automatic speech recognition
US8914294B2 (en) System and method of providing an automated data-collection in spoken dialog systems
US5615296A (en) Continuous speech recognition and voice response system and method to enable conversational dialogues with microprocessors
CA2202656C (en) Speech recognition
US7469207B1 (en) Method and system for providing automated audible backchannel responses
US7630878B2 (en) Speech recognition with language-dependent model vectors
US6014624A (en) Method and apparatus for transitioning from one voice recognition system to another
US5907825A (en) Location of pattern in signal
US6671668B2 (en) Speech recognition system including manner discrimination
US5907824A (en) Pattern matching system which uses a number of possible dynamic programming paths to adjust a pruning threshold
CA2440505A1 (en) Voice response system
JPH11272291A (ja) 音響判断ツリ―を用いたフォネティック・モデル化方法
US6675143B1 (en) Automatic language identification
US20010056345A1 (en) Method and system for speech recognition of the alphabet
CN109616116B (zh) 通话系统及其通话方法
JP3846300B2 (ja) 録音原稿作成装置および方法
EP1213707B1 (en) Pattern matching method and apparatus and telephony system
Juang et al. Deployable automatic speech recognition systems: Advances and challenges
Mohanty et al. Design of an Odia Voice Dialler System
Žgank et al. “LentInfo” information—providing system for the Festival Lent programme

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070105