JPH04329598A

JPH04329598A - 音声及び手書き動作の統合型情報を用いたメッセージ認識システム及び方法

Info

Publication number: JPH04329598A
Application number: JP4004098A
Authority: JP
Inventors: Jerome Rene Bellegarda; ジェローム・ルネ・ベルガルダ; Dimitri Kanevsky; デミトリ・カネブスキ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1991-03-28
Filing date: 1992-01-13
Publication date: 1992-11-18
Anticipated expiration: 2010-09-06
Also published as: EP0505621A2; EP0505621A3; US6285785B1; JPH0782353B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、メッセージ認識方法及
び装置に関し、特に、手書き動作メッセージの認識及び
音声メッセージの認識を統合化した、改良型のメッセー
ジ認識方法及び装置に関するものである。

【０００２】

【従来技術】音声や手書き動作等、複雑な過程の分析に
固有の困難さのために、これら２つのコミュニケーショ
ン法についての機械認識は、これまでは限られた成功を
得るに留まっていた。音声及び手書き動作認識方法が別
々に発展していった結果、特にワークステーションやパ
ーソナルコンピュータにおいて、マンマシーンインター
フェースの有効性を改善するために、２つの内のいずれ
かの手段を用いることとなった。これら２つの別々に発
展した方法は、コンピュータとの制限のない対話を確立
するために、コミュニケーションの自然な方法、すなわ
ち音声と手書き動作を利用しようとしたものである。

【０００３】自動音声認識（ＡＳＲ）を開発するための
１つの論理的根拠は、キーボードの必要性を減少または
排除することができる書取り機械を提供することである
。一般的に、ＡＳＲは、話者が生成する一群のパターン
を入力として用いるシステムと定義することができる。また、ＡＳＲは、喉及び胸部の音響的振動の計測を基に
音声を認識するシステム及び、唇、顎等の動きを認識す
るシステムを含むように、拡大定義することもできる。この点に関する事項が、イー．ディ．ペータジャン（Ｅ
．Ｄ．Ｐｅｔａｊａｎ）の論文「音声認識を改善するた
めの唇の読み取り」（ＣＨ２１４５−１、第４０〜４７
頁、ＩＥＥＥ、１９８５年）に記載されている。

【０００４】同様に、自動手書き動作認識（ＡＨＲ）を
開発する理論的根拠の１つは、従来のコンピュータキー
ボードの必要性を減少あるいは除去する方向に向けられ
ている。一般に、ＡＨＲは、電子タブレット上にリアル
タイムで獲得された手書き文字を認識するものである。例えば、人間要素（ｈｕｍａｎ　ｆａｃｔｏｒ）の研究
では、しばしば、対象とするパラメータに対するユーザ
の応答を測定するため、多数の心理的実験を行っている
。このような実験では、多くの参加者が関係し、後に分
析するためにその各参加者の応答を登録しなくてはなら
ない。この分析は、通常、専用のソフトウェアで自動的
に行うようになっている。被測定パラメータに対するそ
の被検者の応答を、実験のロジスティクスに対するその
被検者の反応から、できるだけ完全に分離することが、
最も重要なことである。特に、キーボードのようなある
程度不自然なインターフェースを用いる実験は、おそら
く被検者の関心を実験の本質から逸らせてしまうことが
ある。また、実験の運用法によっては、被検者に答えを
タイプする十分な時間を許さないことがある。

【０００５】この状況における合理的な代替方法は、応
答をテープレコーダに口述すなわち録音するか、手で回
答用紙に書き込むかのみであるが、このような自然なイ
ンターフェースを用いると、実験の解釈が難しくなる傾
向がある。また被検者の応答を自動分析に適した形式に
変換するには、事務員またはその参加者自身による処理
を必要とする。録音されたまたは手書きの資料は全て、
結果が予想し得ない方向にずれないように、注意深くタ
イプされ、タイプミスを見つけるため全体的に見直され
る。必要な骨の折れる清書作業は大量の時間を要し、解
釈に大きな遅れを生じる原因となる。

【０００６】インターフェースの自然さを犠牲にせずに
このような遅れを回避する１つの方法は、ＡＳＲに口述
するか、あるいはＡＨＲに手書き動作を与えるかによっ
て、参加者に直接彼らの反応のソフトコピーを作成させ
ることである。しかしながら、これらの方法には双方共
、以下にあげる欠点がある。従来のＡＳＲ及びＡＨＲ技
法に特有の欠点の１つは、受入れられる認識率は、（単
語または文字のような）入力を分離することで達成され
るため、しばしばユーザに依存するということである。このように操作すると、次のような望ましくない制限が
生じる。（ａ）ユーザはシステムを使えるようになる前に、それ
をトレーニングしなくてはならない。（ｂ）ユーザは、単語間にポーズを置いて話したり、文
字の間に間隔を置いて書いたり、やや不自然にシステム
と対話しなくてはならない。

【０００７】従来のＡＳＲ及びＡＨＲ技法に固有の別の
欠点は、人間が話し方または書き方において長時間完全
に一貫性を保つことができないため、１００％の認識精
度を達成するのが非常に難しいことである。この欠点も
次のようないくつかの制限を強いることになる。（ａ）ユーザは、デコード中に発生し得るいかなる誤り
も識別しなくてはならず、このため、ユーザの注意がメ
ッセージの主題から逸らされがちとなる。（ｂ）ユーザは間違ってデコードされた単語または文字
を訂正しなくてはならず、これは、実用性の問題として
、キーボードのような代替技術を用いる必要がある。

【０００８】本発明に関連するものとして、次の米国特
許を引用する。ボリンガーら（Ｂｏｌｌｉｎｇｅｒ　ｅ
ｔ　ａｌ）の米国特許第３９６９７００号（１９７６年
７月１３日発行、タイトル「ＯＣＲ、キーボード等のた
めの局部的文脈最尤誤り訂正（Ｒｅｇｉｏｎａｌ　Ｃｏ
ｎｔｅｘｔ　Ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ　
Ｅｒｒｏｒ　Ｃｏｒｒｅｃｔｉｏｎ　ｆｏｒ　ＯＣＲ，
　Ｋｅｙｂｏａｒｄ，　ａｎｄ　ｔｈｅ　Ｌｉｋｅ）」
）は、認識の前に分割（ｓｅｇｍｅｎｔａｔｉｏｎ）を
用いるようにした、光学文字認識（ＯＣＲ）やＡＳＲを
含むパターン認識問題に適用可能な、一般的な誤り訂正
方法について記載している。しかし、オンラインＡＨＲ
に関して具体的に述べておらず、またメッセージ認識シ
ステムにおいてＡＳＲ及びＡＨＲの双方を用いることの
開示もない。マエダらの米国特許第４６５１２８９号（
１９８７年３月１７日発行、タイトル「パターン認識装
置及びそれを作成する方法」は、ＡＳＲやＡＨＲに用い
られるような、テンプレート照合過程に強度（ｒｏｂｕ
ｓｔｎｅｓｓ）を導入することを第１の目的としたアル
ゴリズムについて記載している。このために、単一のテ
ンプレートではなく、認識されるべきパターン毎に多数
のテンプレートを用いている。多数の照合の得点を適切
に組み合わせて最終的決定を得る。しかし、この方法を
音声と手書き動作に同時に適用することについては開示
がない。コルジンスキ（Ｋｏｒｓｉｎｓｋｙ）の米国特
許第４７３６４４７号（１９８８年４月５日発行、タイ
トル「ビデオコンピュータ」）は、音声及び手書き動作
を含む種々のデータを獲得することができると言われて
いる、多面インターフェース（ｍｕｌｔｉ−ｆａｃｅｔ
　ｉｎｔｅｒｆａｃｅ）について記載している。これに
用いられている基本的認識アルゴリズムは、テンプレー
トの照合である。これでは、認識またはその他の目的の
ために、様々な情報源を統合する試みはなされていない
。また、誤り訂正についても述べていない。バックリー
（Ｂｕｃｋｌｅｙ）米国特許第４７７４６７７号（１９
８８年９月２７日発行、タイトル「自己組織回路」）の
文献は、パターン認識の一般的分野に関するアルゴリズ
ム及びアーキテクチャの一形式について記載している。しかし、前出の従来文献と同様、ＡＳＲ及びＡＨＲの統
合という点を扱ってはいない。ノムラらの米国特許第４
９０７２７４号（１９９０年３月６日発行、タイトル「
インテリジェントワークステーション」）は、音声認識
及び合成を組み込んだ電話インターフェースについて記
載している。この応用は、画像圧縮も関係しているが、
ＡＨＲ、ＯＣＲいずれについても記載がない。

【０００９】他の関連技術には次のものがある。欧州特
許出願第０３５５７４８号は、パターンを認識する階層
的方法に関連して用いることを意図した、高速分類アル
ゴリズムを記載している。この応用範囲はＯＣＲである
と思われる。しかし、音声認識に付いて開示されてなく
、またはＡＨＲ及びＡＨＲの統合について明確に開示さ
れていない。ジェイ．グールド（Ｊ．　Ｇｏｕｌｄ）ら
の「手書き動作／音声信号分析器」（ＩＢＭ　Ｔｅｃｈ
ｎｉｃａｌ　Ｄｉｓｃｌｏｓｕｒｅ　Ｂｕｌｌｅｔｉｎ
、　第２２巻、第５号、１９７９年発行）は、オンライ
ンＡＨＲまたはＡＳＲにおいて、ポーズ時間と生成時間
との間で判別を行う分析器を記載している。ディ．バー
（Ｄ．　Ｂｕｒｒ）による論文「発声されたテキスト及
び書かれたテキストのニューラルネット認識に関する実
験」（ＩＥＥＥ論文誌、音響学編、音声及び信号処理、
第３６巻、第７号、１９８８年７月発行）は、ＡＨＲや
ＡＳＲのようなパターン認識に用いる２種類の異なるア
ルゴリズムの比較について、述べている。しかし、音声
と手書き動作とを組み合わせる用法を考慮しておらず、
誤り訂正も扱っていない。

【００１０】

【発明が解決しようとする課題】したがって、本発明の
目的は、音声及び手書き動作入力の機能的相補性を用い
たメッセージ認識システムを提供することである。本発
明の他の目的は、手書き動作入力または音声入力の一方
を、他方のための誤り訂正に用いる方法及び装置を提供
することである。本発明の更に別の目的は、メッセージ
認識システムにおいて、ＡＨＲとＡＳＲとを統合し、音
声入力と手書き動作入力との相補性を、同時情報源とし
て活用する方法及び装置に関する。本発明の更に別の目
的は、メッセージ認識システムにおいてＡＨＲとＡＳＲ
とを統合して音声認識及び手書き動作認識を組み合わせ
て用いることによって、自動メッセージ認識装置全体の
精度を大幅に改善できるるようにした方法及び装置を提
供することである。本発明の他の目的は、メッセージ認
識システムにおいてＡＨＲとＡＳＲとを統合し、（ａ）
シーケンシャルに誤り訂正を行い、（ｂ）別個のＡＨＲ
コンポーネントとＡＳＲコンポーネントとを同時に用い
、（ｃ）単一のＡＳＲ／ＡＨＲコンポーネントを同時に
用いるようにした方法及び装置を提供することである。

【００１１】

【課題を解決するための手段】前述の目的を達成するた
め、本発明においては、音声認識及び手書き動作認識を
統合的に用いて、自動認識装置のスループットに関する
全体的精度を改善する方法及び装置を提供するものであ
り、音響学的及びストロークについての情報の相補性を
活用し、音声認識及び手書き動作認識のいずれかに関す
るメッセージ認識精度を改善した方法及び装置を提供す
るものである。

【００１２】自動メッセージ認識システムを作動させる
本発明の方法及びその方法を実行する装置においては、
次のステップが実行される。ユーザの音声を第１の信号
に変換し、ユーザの手書き動作を第２の信号に変換し、
前記第１の信号及び前記第２の信号を処理して、前記第
１の信号及び前記第２の信号によって別個に伝達される
か、または前記第１の信号及び前記第２の信号の組み合
わせによって伝送されるかした一貫したメッセージをデ
コードする。前記デコード処理ステップは、前記第１の
信号を第１の複数の多次元ベクトルに変換し、前記第２
の信号を第２の複数の多次元ベクトルに変換するステッ
プを含んでいる。単一の（組み合わせた）音声及び手書
き動作コンポーネントを用いたシステムに対して、前記
処理ステップは、更に、前記第１の複数の多次元ベクト
ルの一つ一つと、前記第２の複数の多次元ベクトルの一
つ一つとを組み合わせて、複数の第３の多次元ベクトル
を形成するステップを含んでいる。

【００１３】前記多次元ベクトルを用いて、音声と手書
き動作を組み合わせて用いるために、１組の組み合わせ
単語モデルのパラメータをトレーニングするか、または
、音声及び手書き認識中に別個に用いるために２組の単
語モデルをトレーニングする。使用中、各入力された特
徴ベクトルの確率すなわち尤度を、適切な組（１つまた
は複数）の単語モデルを用いて計算し、候補単語の１つ
または複数のリストを作成する。確率点数を含む基準を
基に、メッセージを表すものとして１つの候補単語を選
択する。また、別個に用いるメッセージ認識システムに
対しては、モデルのトレーニング中に、２つの重み付け
係数（ウエイト）を得るようにする。

【００１４】ＡＳＲとＡＨＲとを統合して用いることは
、いくつかの理由によって利点があることが認められて
いる。まず、情報に相補性があることがあげられる。即ち、発声による情報と手書き動作による情報とは、互
いに補い合うのである。第２に、動作において、相補性
を備えることができる。即ち、音声認識アルゴリズム及
び手書き動作認識アルゴリズムが作動する態様が、互い
に相補するのである。第３に、機能性において、相補性
を備えることができる。即ち、ＡＳＲ及びＡＨＲを用い
て最も容易に実施できるそれらの機能が、互いに相補す
るのである。例えば、編集能力において、ＡＨＲは、Ａ
ＳＲを用いて実施するより難しいのもであり、一方大量
の文書を作成する等のいくつかの機能は、音声入力によ
るほうがより効率的に実施することができる。本発明の
上述の及びその他の特徴は、以下の本発明の詳細な説明
を添付の図面と共に読むことによってより明確になるで
あろう。

【００１５】

【実施例】図１は、本発明の第１の実施例のメッセージ
認識システム１０を、ブロック図で表したものである。ここにおいては、メッセージを、人間の被検者が発生し
てシステム１０に入力する情報であると考えることとす
る。この情報は、音響信号、手書きストローク信号、ま
たは音響及びストローク信号の組み合わせの状態で入力
するようにしている。この情報は、数、アルファベット
の文字、句読点等個々の文字を表すことができるもので
ある。この情報は、単語、フレーズ、及び章を表すこと
もできる。

【００１６】システム１０は、ユーザインターフェース
１２を備え、これを表示端末１４に結合し、システム１
０のユーザに情報を表示するようにしている。また、マ
ウス、キーボードまたはそれらの組み合わせ等のような
ポインティング装置１６を設けて、プロセッサ１２に付
加的情報を入力するようにしてもよい。この点に関して
、本発明の方法及び装置を用いる応用においては、主と
なる情報の流入は、望ましくは、音声及び手書き動作入
力の組み合わせを介し、ポインティング手段を備えると
しても、これを介することはない。

【００１７】本発明によれば、システム１０は、統合型
音声／手書き動作インターフェース（ＩＳＷＩ）１８を
備えている。この二重入力のユーザインターフェース１
８は、電子タブレットとスタイラスのような手書き動作
変換器２０と、アナログ／デジタル変換器に結合したマ
イクロホンで構成される音声変換器２２とからなってい
る。手書き動作変換器２０は、人間の使用時に筆記用具
の動きを検出するのに適した手段であれば、どのような
ものでも良く、また音声変換器２２は、音声を表す１組
のパターンを発生するのに適した手段であれば、どのよ
うなものを含んでもよい。例えば、上述のイー．ディ．
ペータジャン（Ｅ．Ｄ．Ｐｅｔａｊａｎ）の論文「音声
認識を改善するための唇読み取り」（ＣＨ２１４５−１
、第４０〜４７頁、ＩＥＥＥ、１９８５年）には、発声
時の人間の唇と鼻孔とを撮影する固体カメラについて開
示している。この文献には音響及び視覚認識候補の組み合わせは、音
響認識精度のみの場合を大きく上回る最終音声認識精度
を得ることができるものであると記載されており、この
開示事項を本発明に適用する事ができる。

【００１８】手書き文字は通常、図３に示した４つのグ
ループに該当するものである。これらのグループは、認
識の複雑度が増す順に示されている。具体的には、これ
らのグループは、個々の文字を所定の領域内に形成して
文字分割（ｓｅｇｍｅｎｔａｔｉｏｎ）の作業を簡素化
するようにした、「ボックスディスクリート」として知
られている第１の種類のライティング（手書き文字）（
Ｗ１）を含んでいる。第２の種類のライティング（Ｗ２
）は、文字が接触しないようにユーザが意図的に各文字
を形成するようにした、間隔付きディスクリートとして
知られている。第３の種類のライティング（Ｗ３）は、
ユーザに制限を与えず、互いに接触する即ち「重なりあ
う」文字を形成してもよいものであり、重なり合い（ｒ
ｕｎ−ｏｎ）ディスクリートとして知られている。第４
の種類のライティング（Ｗ４）は、図３に示した４つの
スタイルの内最も複雑な分割作業を要する、続き書きラ
イティングである。

【００１９】ストロークの分割及び識別に関して、種々
の手書き文字認識方法の例を提供するものとして、以下
の米国特許があげられる。米国特許第４０２４５００号
（１９７７年５月１７日、「続き書きの手書き（ｓｃｒ
ｉｐｔ）文字認識システムのための分割機構」、エヌ．
エム．ハーブスト（Ｎ．Ｍ．Ｈｅｒｂｓｔ）及びジェイ
．エッチ．モリセイ（Ｊ．Ｈ．Ｍｏｒｒｉｓｓｅｙ））
米国特許題第４７２７５８８号（１９８８年２月２３日
、「手書きテキストイメージの自動調整及び編集システ
ム」、（エー．エス．フォックス（Ａ．Ｓ．Ｆｏｘ）、
イー．シー．グリーニアス（Ｅ．Ｃ．Ｇｒｅａｎｉａｓ
）、ジェイ．キム（Ｊ．Ｋｉｍ）、及びシーシー．タパ
ート（Ｃ．Ｃ．Ｔａｐｐｅｒｔ））米国特許第４７３１
８５７号（１９８８年３月１５日、「重なった手書き文
字の認識システム」（シー．シー．タパート（Ｃ．Ｃ．
Ｔａｐｐｅｒｔ））

【００２０】更に、ＩＢＭ　Ｔｅｃ
ｈｎｉｃａｌ　Ｄｉｓｃｌｏｓｕｒｅ　Ｂｕｌｌｅｔｉ
ｎ、第２７巻第９号、１９８５年発行の、「サブストロ
ーク分割及び複合による手書き認識」（ジェイ．エム．
カーツバーク（Ｊ．Ｍ．Ｋｕｒｔｚｂｅｒｇ）、及びシ
ー．シー．タパート（Ｃ．Ｃ．Ｔａｐｐｅｒｔ）の教示
を、電子タブレット上に手書きした続き書き文字を認識
する技法を示すために引用する。また、ＩＢＭ　Ｔｅｃ
ｈｎｉｃａｌ　Ｄｉｓｃｌｏｓｕｒｅ　Ｂｕｌｌｅｔｉ
ｎ、第２５巻、第７Ｂ号、１９８２年１２月発行の、ジ
ェイ．エム．カーツバーク（Ｊ．Ｍ．Ｋｕｒｔｚｂｅｒ
ｇ）、及びシー．シー．タパート（Ｃ．Ｃ．Ｔａｐｐｅ
ｒｔ）による「手書き記号及び単語の分割手順」という
題の論文、及び、ＩＢＭ　Ｔｅｃｈｎｉｃａｌ　Ｄｉｓ
ｃｌｏｓｕｒｅ　Ｂｕｌｌｅｔｉｎ、第２９巻、第１１
号、１９８７年４月発行の、Ａ．Ｓ．フォックス（Ｆｏ
ｘ）、Ｊ．キム（Ｋｉｍ）及びＣ．Ｃ．タパート（Ｔａ
ｐｐｅｒｔ）による「手書き単語のための柔軟性のある
時間−空間分割器」も引用する。

【００２１】従来の電子タブレットを手書き動作変換器
２０に用いた場合、典型的には１秒当たり７０ポイント
の速度でデータが得られる。サンプリングした手書き動
作の信号を、関連する手書き動作特徴ベクトル（ＦＶＨ
）プロセッサ２４に供給する。特徴ベクトルは、特定の
時間内に蓄積された入力の特徴の集合である。プロセッ
サ２４は、各入力ストロークに対して１つ以上の手書き
動作特徴ベクトルを発生する。これは、図４（ａ）及び
（ｂ）に示すように、ストロークの重心（ＧＣ）を参照
して行うのが望ましい。例えば、小文字の「ａ」の入力
ストロークを、電子タブレットによって獲得したとする
。各特徴ベクトルは、重心に関してのストローク上の各
サンプル点（Ｐ）のｘ及びｙ方向変位を表す要素（ｘ￣
、ｙ￣）と、ベースライン（ＢＬ）に関しての点（Ｐ）
の距離（ｂ）と、点（Ｐ）に接する線（Ｌ）に関する角
度情報（θ）とを含んでいる。好適実施例では、結果と
して得られた特徴ベクトルは４つの要素を有し、したが
って、４次元ベクトルを表すことになる。

【００２２】音声変換器２２としてマイクロホン及びＡ
／Ｄ変換器を用いた場合、音声を、２０ｋＨｚのレート
でサンプリングし、高速フーリエ変換を行う。２０の周
波数帯域の振幅（ａ）を、各音声サンプルに対して（ａ
１，．．．ａ２０）として決定する（図４（ｃ）参照）
。

【００２３】システム１０に適用する事ができる好適な
音声サンプリング及び変換の態様を教示するものとして
、次の論文を引用する。ジェイ．アール．コーエン（Ｊ
．Ｒ．Ｃｏｈｅｎ）、「聴覚モデルの音声認識への応用
」（Ｊ．Ａｃｏｕｓｔｉｃ．Ｓｏｃ．ｏｆ　　Ａｍｅｒ
ｉｃａ、第８５巻、第６号、２６２３〜２６３９頁、１
９８９年６月）エー．ナダス（Ａ．Ｎａｄａｓ）、ディ
．ナハモー（Ｄ．Ｎａｈａｍｏｏ）及び、エム．エー．
ピチェニ（Ｍ．Ａ．Ｐｉｃｈｅｎｙ）、「雑音適応型プ
ロトタイプを用いた音声認識」、（ＩＥＥＥ論文誌、音
響、音声、信号処理、第３７巻、第１０号、１４９５〜
１５０３頁、１９８９年１０月）「適応型ラベリング：
ベクトル量子化を基にした適応変換による音声の正規化
」、（Ｐｒｏｃ．１９８８　　音響、音声、信号処理に
関する国際会議（Ｉｎｔ．Ｃｏｎｆ．）、ニューヨーク
、ＮＹ、４０〜４３頁、１９８８年４月）

【００２４】図４（ｃ）の音声特徴ベクトル（ＦＶＳ）
を得るための音声サンプルにおいて、複数の周波数帯域
に関連する振幅（ａ１〜ａ２０）を決定することにより
、図４（ｄ）に示す２０次元の周波数領域特徴ベクトル
を発生する。音声変換器２２の出力を、関連するＦＶＳ
プロセッサ２６に供給し、一連の２０次元音声特徴ベク
トルを発生する。このベクトルの各要素は、２０の各サ
ンプリング帯域の振幅を示す。

【００２５】システム１０におけるトレーニング中、特
徴ベクトルを、関連する単語モデルトレーニングプロセ
ッサに供給する。手書き動作特徴ベクトルは、手書き動
作モデルトレーナ（ＭＴＨ）プロセッサ２８に供給され
、音声ベクトルは音声モデルトレーナ（ＭＴＳ）プロセ
ッサ３０に供給される。モデルトレーナプロセッサ２８
、３０の各々をユーザインターフェース１２に結合し、
トレーニング中にユーザと対話ができるようにする。こ
の対話は、ユーザによるトレーニング用の文の集合の入
力、及びトレーニング結果の表示を含むことができる。各モデルトレーナプロセッサは、関連するモデル、即ち
ブロック３２の手書き単語モデル（ＷＭＨ）及びブロッ
ク３４の音声単語モデル（ＷＭＳ）に対して、最適なパ
ラメータの集合を決定するように機能するものである。更に、トレーニングプロセッサ２８及び３０の各々の機
能は、係数α及びβで表され最終的なメッセージ認識に
対する音声及び手書き動作の相対的貢献を制御する、最
適な重み付けウエイト（Ｗ）（ブロック３７）を決定す
ることである。例えば、ある特定の集合のトレーニング
データのトレーニング中、音声が手書き動作より高い尤
度、即ち得点を与えることがわかった場合、音声の尤度
に関連するウエイトを増加し、手書き動作の尤度に関す
るウエイトを減少するようにする。２つの尤度の得点が
同程度の場合、２つのウエイトを同一、即ち０．５に設
定する。ウエイトの用法については、後により詳しく述
べることにする。

【００２６】本発明の好適実施例では、音声モデルトレ
ーナプロセッサ３０は、秘匿（ｈｉｄｄｅｎ）マルコフ
モデル技法にしたがって、音節及び個々の単語を識別す
るように動作する。例えば、英語の音声では一般的に、
鼻音、閉鎖音、母音、及び摩擦音という、４つの音節の
種類がある。音声認識のためのトレーニング及びマルコ
フモデルの用法は、パターン分析及び機械知能に関する
ＩＥＥＥ論文誌、第ＰＡＭＩ−５巻、第２号、１９８３
年３月発行、第１７９〜１９０頁のエル．バール（Ｌ．
Ｂａｈｌ）らの論文「連続音声を認識する最尤法（Ｍｏ
ｓｔ　ｌｉｋｅｌｉｈｏｏｄ　Ａｐｐｒｏａｃｈ　ｔｏ
　Ｃｏｎｔｉｎｕｏｕｓ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎ
ｉｔｉｏｎ）」に掲載されている。

【００２７】この論文に記載されている技法は、音声言
語モデル及びモデルトレーナを実現するのに好適な１つ
の技法である。一般的に、秘匿マルコフモデルまたは源
は、有限のアルファベットからシンボルを生成する遷移
によって互いに接続されている状態の集合からなるもの
である。トレーニングのために、１つの状態を初期状態
として選択し、別の状態を最終状態として選択する。ト
レーニングアルゴリズムは、この初期状態から最終状態
までの遷移の全文字列（ｓｔｒｉｎｇ）、並びにこの過
程で発生した全出力に対して、確率を指定する。

【００２８】音声に対するマルコフ単語モデルの役割は
、単語の発音を表すことである。マルコフモデルのパラ
メータは、話者が生成した音響信号を発音された単語と
関係付けることによってトレーニングされる。語彙内に
は各単語につき１つのマルコフ単語モデルがあるのに対
して、語彙毎に１つの言語モデルしかないことに、注意
されたい。３−ｇｒａｍ言語モデルでは、考慮すべき言
語で書かれた大量のテキスト内に現れる全ての３−ｕｐ
ｌｅ単語に対して、確率が収集される。したがって、例
えば、３−ｕｐｌｅの“ｔｈｅ　　ｐｈｏｎｅ　　ｒｉ
ｎｇｓ”の確率は、３−ｕｐｌｅの“ｔｈｅ　　ｐｈｏ
ｎｅ　　ｄｒｉｎｋｓ”の確率より大幅に高くなる。こ
の確率の相違は、対応する音響信号とは独立しているこ
とに、注意されたい。したがって、ある１つの言語に対
して、一旦言語モデルを決定するが、話者単位でトレー
ニングするにしたがって、マルコフ単語モデルは向上し
ていく。同様に、同一の言語モデルをＡＨＲにたいして
用いることもできる。しかしながら、ＡＨＲに対しては
、単に辞書を引くことのほうが、閲覧（ｉｎｓｐｅｃｔ
ｉｏｎ）によって容易に行うことができるので、好まし
い。

【００２９】手書き動作モデルトレーナ２８は、好まし
くは、シー．シー．タパート（Ｃ．Ｃ．Ｔａｐｐｅｒｔ
）が「適応性オンライン手書き認識」という論文（パタ
ーン認識処置に関するＩＥＥＥ国際会議（１９８４年）
）で開示した、柔軟ストローク照合技法に応じて動作す
るようにする。ここで用いているように、柔軟照合は、
柔軟的に変形した入力ストロークを、それらの関連する
ストロークベクトルによって表されるように、ストロー
クテンプレートに分類し、文字のプロトタイプを形成す
るものである。

【００３０】モデルブロック３２及び３４の各々の出力
に、手書き動作尤度推定器（ＬＥＨ）３６及び音声尤度
推定器（ＬＥＳ）３８を結合する。これら推定器の各々
は、それらに関連する単語モデルと共に、入力した音声
または手書き動作信号に応じて、単語列に確率を指定す
ることである。各推定器は、ブロック３６ａの手書き動
作言語モデル（ＬＭＨ）及びブロック３８ａの音声言語
モデル（ＬＭＳ）によってサポートされており、これら
言語モデルの役割は、可能性のない単語または文字の列
を事前に除去することによって、検索範囲を狭めること
である。例えば、以前に明記したように、“ｔｈｅ　　
ｐｈｏｎｅ　　ｄｒｉｎｋｓ”という単語列は、“ｔｈ
ｅ　　ｐｈｏｎｅ　　ｒｉｎｇｓ”という単語列より、
はるかに小さい尤度、即ち確率しか有していない。した
がって、後者の文字列に比べて、前者の文字列の尤度の
計算を完全に行うことは非効率的である。言語モデルは
、Ｎ−ｇｒａｍ確率を基にしたもの、あるいは機械で読
み取り可能な辞書と同様に単純なもののような、統計的
なものとすることができる。更に、音声用言語モデルは
、手書き動作言語モデルと異なるものでよい。本発明の
好適実施例では、音声言語モデルは統計的３−ｇｒａｍ
モデル、そして手書き動作言語モデルは辞書検索型であ
る。

【００３１】トレーニング後のオンライン音声／手書き
動作のデコード処理の間、推定器３６及び３８は、それ
ぞれプロセッサ２４及び２６から、特徴ベクトルを受け
取り、関連する単語モデルに関して、またある場合は関
連する言語モデルの得点（確率）に関して、確立の高い
照合単語（ｐｒｏｂａｂｌｅ　ｍａｔｃｈｉｎｇ　ｗｏ
ｒｄ）の推定値を発生する。音声用の推定器３８は、単
語推定のリスト（Ｌ１）を出力し、手書き動作用の推定
器３６も単語推定のリスト（Ｌ２）を出力する。すなわ
ち、手書き動作に対して、入力されたストロークを柔軟
的照合によって、プロトタイプと比較し、識別された文
字をグループ化し、有効な文字列の辞書と比較し、確立
の高い単語の候補のリスト（Ｌ２）を得る。音声に対し
ては、入力発生を生成する各マルコフ単語モデルの尤度
を計算し、ブロック３８ａの３−ｇｒａｍ言語モデルに
よって簡潔化した後、最も高い得点を得た単語を、候補
単語リスト（Ｌ１）に配置する。音声と手書き動作の両
方の場合において、リストの大きさを、１５等の所定の
合理的な最大値に設定するか、あるいはスレッショルド
を用いて動的に設定することもできる。後者の場合、尤
度が選択したスレショルド内に入る全ての単語をリスト
に保持し、他の単語を破棄するようにする。

【００３２】リスト（Ｌ１）及び（Ｌ２）内の各尤度の
得点すなわち確率を、スケーリングブロック４０に供給
し、これらが比較可能な範囲内にあることを保証する。これは、音声と手書き動作の尤度を独立して得る際に、
必要となることである。このスケーリング処理は、例え
ば、リスト（Ｌ１）及び（Ｌ２）の各尤度得点を、それ
ぞれリスト（Ｌ１）及び（Ｌ２）の平均尤度得点で正規
化することによって、実現することができる。文字列“
ｔｈｅ　　ｐｈｏｎｅ　　ｒｉｎｇｓ”について、次の
リストを生成することができる。

【００３３】リスト（Ｌ１）及び（Ｌ２）のスケーリン
グを行なった後の尤度得点リスト（ＳＬ１）及び（ＳＬ
２）を、尤度併合（ｌｉｋｅｌｉｈｏｏｄ　ｍｅｒｇｉ
ｎｇ）ブロック４２に供給する。リスト（ＳＬ１）及び
（ＳＬ２）内の同じ単語に対応するいかなる尤度得点（
ｓｌ１）及び（ｓｌ２）に対しても、併合した尤度（ｌ
）は次のように求められる。ｌ　　＝　　ｆ（ｓｌ１，ｓｌ２，α，β）ここで、ｆ
（．　）は、意図した応用環境に応じて選択するもので
ある。本実施例では、ｆ（．　）は、次の式で表わされ
る。　　　　　　ｆ（ｓｌ１、ｓｌ２、α、β）　　＝　　
（α・ｓｌ１＋β・ｓｌ２）ここで、α＋β＝１である
。

【００３４】以下の例で、Ｎ≠Ｍ、及び、トレーニング
中に動的リストを用いると仮定すると、次のリストが得
られる。スケーリングによって、次に示すリスト（ＳＬ１）及び
（ＳＬ２）を得ることができる。得点（ｓｌｐ１）　　及び（ｓｌｑ２）　　がある単語
に対応すると仮定すると（ただし、１≦ｐ≦Ｎ、１≦ｑ
≦Ｍ）、この単語の全尤度は次のようになる。

【００３５】これ自体、トレーニング中におけるウエイ
ト（ブロック３７）を決定するための、１つの適切な方
法も示している。理想的な場合、語彙内の各単語に対し
て１つの（α、β）対がある。前述の例では、α及びβ
は、ウエイトまたはユーザが選択した全てに優先する（
ｏｖｅｒｒｉｄｉｎｇ）値（ＷＯＶＲ）とすることがで
きる。

【００３６】言語モデルブロック４２の出力は、音響入
力及びストローク入力の一方または双方に対応する確立
の高い単語のリスト（Ｌ）である。この単語リストは、
確率の順に並べられている。通常、リスト（Ｌ）の要素
は、得点リスト（ＳＬ１）、（ＳＬ２）及び関連するウ
エイト係数α及びβ（Ｗ）の関数である。確立の高い単
語のリスト（Ｌ）を、デコーダ４４に供給し、最も高い
確率を有する候補単語を選択する。このようにして選択
した候補単語を、認識したメッセージとしてユーザイン
ターフェース１２を含む他のアプリケーションによって
、ユーザに提供にする。これらの他のアプリケーション
は、例えばワードプロセッサプログラムを含むことがで
きる。

【００３７】スケーリングしたリスト（ＳＬ１）及び（
ＳＬ２）を自動的に簡潔化（ｐｒｕｎｉｎｇ）即ちトリ
ミングして、リスト（Ｌ）がリスト（ＳＬ１）及び（Ｓ
Ｌ２）の双方に共通な候補単語のみを含むようにするこ
とも、本発明の範囲内のことである。このトリミングの
方法は、閲覧観察によって容易に行うことができる。２
つの単語リストを初めにトリミングしておけば、デコー
ダ４４の仕事を簡素化し、尤度併合のために考慮する候
補単語がより少なくて済む。

【００３８】既に明記したように、尤度合併ブロック４
２に手動または自動ウエイト無視（ＷＯＶＲ）機能を備
えるのも、本発明の範囲内のことである。ウエイト無視
信号（ＷＯＶＲ）によって、ユーザは、所望の値にウエ
イトを変えることができる。例えば、ユーザが、音声認
識器には処理が非常に困難であると思われる単語を含ん
だ音声情報を入力している時に、これを行うことができ
る。これらの単語に関連するウエイトを手動で変えて、音声
尤度得点よりも、手書き動作尤度得点により大きなウエ
イトを与えるようにする。例えば、手書き動作認識器か
ら選択した単語に関するウエイトをβ＝１．０に設定し
、音声から選択した単語に関するウエイトをα＝０に設
定することができる。これは、音声入力を完全に無視し
たのと同等である。このようなウエイト無視を、音声及
び手書き動作のシーケンシャル動作が必要とされる誤り
訂正モードで用いることもできる。例えば、容易に混同
し得る文字を多数有することがわかっている単語であれ
ば、α＝１．０及びβ＝０と設定してある限り、手書き
動作変換器２０ではなく、音声変換器２２を介して入力
された情報のみを処理することができる。

【００３９】図２は、第２の実施例であるメッセージ認
識システム５０を示す。図２において、図１のものとと
共通のコンポーネントは、同じ参照符号を有し、上述の
ように動作するものである。図２の実施例では、特徴ベ
クトル（ＦＶＳ）と（ＦＶＨ）との組み合わせである特
徴ベクトル（ＦＶＳ，Ｈ）を用いて動作するようにする
。音声及び手書き動作特徴ベクトルが、同時に入力され
た音響及び手書き動作入力に応答して発生される。入力
のサンプリングレート及び期間が音声チャンネル及び手
書き動作チャンネルで異なる場合、正規化ブロック５２
が２つの入力を共通の時間軸に正規化し、正規化した特
徴ベクトルを組み合わせて、１つの特徴ベクトルにする
。この組み合わせは、図５（ａ）に示すような、２４次
元の組み合わせベクトル（ＦＶＳ，Ｈ）を得るための、
４次元の手書き動作特徴ベクトル（図４（ｂ））と２０
次元の音声ベクトル（図４（ｄ））との合成連鎖であっ
てもよい。この２つの特徴ベクトルを組み合わせるのに
、別の技法を用いてもよい。例えば、２つの基礎をなす
別個のベクトル空間の積を取ることによって、これらの
特徴ベクトルを組み合わせ、これにより８０次元の組み
合わせ特徴ベクトルを得ることもできる。また、その他
のより複雑な組み合わせ技法を用いてもよい。上述の説
明は、単に例を示しただけであり、その他の次元を考慮
することもできることに、注意されたい。総括的に考慮
すべきことは、ＦＶＨの次元＜ＦＶＳの次元を満足する
ことである。

【００４０】入力した手書きストロークを、従来のよう
なの空間領域での扱いに対して、周波数領域で扱い、そ
のストローク情報をフーリエ変換することは、本発明の
範囲内のことである。４次元以上のストローク特徴ベク
トルは、したがって、図５（ｂ）に示すように、音声特
徴ベクトルと組み合わせた周波数帯域の振幅情報を表し
ている。手書き動作に対する周波数領域の処理は、図１
に示すシステムにも用いることができるものである。

【００４１】トレーニング中、組み合わされた特徴ベク
トル（ＦＶＳ，Ｈ）を音声及び手書き動作モデルトレー
ナプロセッサ５４に供給し、ブロック５６の適切な単語
モデルをトレーニングする。例えば、ブロック５６の各
単語モデルは、秘匿マルコフモデルであってもよい。組
み合わされた特徴ベクトルにより、単語モデルの状態及
び状態の移り変りは、図１にあるような音声のみに用い
られるマルコフ単語モデルのそれらとは、異なることに
注意されたい。しかしながら、一旦構造を指定すれば、
これらのモデルのパラメータを、例えば、以前に引用し
たエル．　バール（Ｌ．Ｂａｈｌ）らの、機関誌に掲載
された論文、「連続音声を認識する最尤法」（パターン
分析及び機械知能に関するＩＥＥＥ論文誌、第ＰＡＭＩ
−５巻、第２号、１９８３年３月発行、第１７９〜１９
０頁）に記載されているような、前述のような従来の方
法でトレーニングする。１つの相違点は、例えば、単語
モデルブロック５６の出力分布が、音声と手書き動作入
力の両方を反映する、ジョイント分布（即ち、音節／単
語のフラグメントを結合したものの確率）であることで
ある。

【００４２】ブロック５６の単語モデルを尤度推定器５
８で用いて、ブロック５８からの言語モデル（ＬＭＳ，
Ｈ）に応じて手書き動作入力及び音声入力の組み合わせ
を基に、最も確率の高い単語のリスト（Ｌ）を発生する
ようにする。好ましくは、音声及び手書き動作情報をジ
ョイントして用いる際、音声処理には辞書検索型モデル
は通常不適切である場合があるので、言語モデル（ＬＭ
Ｓ，Ｈ）は、３−ｇｒａｍ言語モデルを基にする。デコーダ４４は、リスト中の最も高い確率を有する要素
を選択し、このようにして、認識したメッセージを発生
する。

【００４３】図６は、システム１０及び５０の動作をフ
ロー図で示したものである。まず、図６についてを概括
的に説明し、続いてここに示す各ブロックの動作につい
て詳細に説明する。ブロック６０では、ペンストローク
及び音響（音声）情報の一方または双方のデータ獲得を
行う。得られたストローク及び音響データをそれぞれプ
ロセッサ２４及び２６で処理する。これら２つの作業は
、手書き動作情報と音声情報をどのように統合しようと
するのかにしたがって、同時に行っても、別個の時間に
行ってもよい。

【００４４】トレーニングモード（ブロック６２）の間
、手書き入力及び音声入力された文字及び単語の既知の
トレーニング用集合を参照して、得られた情報を分析し
、基礎的（ｕｎｄｅｒｌｙｉｎｇ）なモデルのトレーニ
ングを行う。使用中は、トレーニングブロック６２を迂
回し、代りに特徴ベクトルを、尤度推定器に導く（ブロ
ック６４）。尤度推定器は、特徴ベクトルを用いて、文
字および／または音素の集合体から候補単語を発生する
。次に、デコーダが、ウエイト及びその他の関連するパ
ラメータを基に、最も確率の高い単語を選択する。

【００４５】認識されたメッセージは、その後、ユーザ
に使用可能とされる（ブロック６６）。例えば、認識さ
れたメッセージを、単にアルファニューメリック形式に
変換して、表示装置１４に表示することができる。また
、例えば、ワードプロセッサプログラムのような、従来
通りにキーボードからメッセージを受けとるような応用
であればいなかるものにでも、認識したメッセージを与
えることができる。

【００４６】本発明により、ＡＳＲ及びＡＨＲを統合し
た用法が提供された。この統合した用法によって、（ａ
）ＡＳＲとＡＨＲとを同時に用い、結合または併合（ｊ
ｏｉｎｔ　ｏｒ　ｍｅｒｇｅｄ）した尤度得点全体を基
にデコード処理を決定し、文字または音素の集合が特定
の言葉を表すようにする。または、（ｂ）ＡＳＲ及びＡ
ＨＲをシケンシャルに用い、かつ一方を他方によって生
じたあらゆる誤りを訂正するために用いる。尚、ＡＳＲ
とＡＨＲとは、一貫した（ｃｏｎｓｉｓｔｅｎｔ）メッ
セージを処理する限り、別のユーザが用いても良いこと
に注意されたい。アプリケーションによっては、ＡＳＲ
を一人のユーザに操作させ、ＡＨＲを別のユーザに操作
させるのが望ましいこともある。

【００４７】音響及び手書き動作情報を同時に用いる場
合に、両方が全体のデコード処理の決定に貢献すること
を、明記しておく。手書きされた情報中のあいまいな文
字は、暫定的に、対応する発声された発音を基に認識さ
れ、逆に、音響的に混同し得る単語は、暫定的に、手書
きされた情報を基に認識されるようにする。この技法の
ためには、単語を書くと同時に発声し、結果として、自
然なポーズが発声された発音の中に現れることになる。したがって、分離された単語の音声認識を、重なり合っ
た文字と別個の文字が混在する手書き動作認識に統合す
るのが、最も有利である。しかしながら、このような技
法を用いるには環境ノイズが大きすぎる場合、従来のＡ
ＳＲを上記引用した形式の自動唇読み取り式認識装置に
置き換えるほうが適切なこともある。

【００４８】ＡＨＲとＡＳＲを連続的に用いる場合に、
ＡＨＲをＡＳＲの補強として用いることができる。この
方法では、ＡＳＲを主認識手段と看做し、ＡＨＲを主に
自然で好都合なインターフェースとして用い、透明電子
タブレットまたは表示端末１４に表示されるＡＳＲの誤
りを訂正するようにする。この技法は、ＡＳＲ語彙には
ないがＡＨＲ辞書には載っている適当な名詞等のような
、新しい単語を入力するのにも適している。また上記と
共に、ＡＳＲをＡＨＲの補強として用いることもできる
。この方法では、ＡＨＲを主認識手段と看做し、ＡＳＲ
をＡＨＲの誤りを訂正する目的で用いるようにする。所定の方法でＡＨＲ上の誤りを指示することによって、
音声変換器２２を作動させ、ユーザが、誤ってデコード
された手書き文字を正確に発音できるようにする。

【００４９】上述のＡＳＲとＡＨＲとの全ての組み合わ
せにおいて、ＡＳＲとＡＨＲとを統合した用法は、いく
つかの理由により有利であることがわかった。まず第１
に、両方の情報には相補性があることがあげられる。即
ち、発声によって収集した情報と手書き動作によって収
集した情報は、互いに補い合うのである。例えば、Ｕと
Ｖという文字は、ＡＨＲを用いては認識がむずかしいこ
とがしばしばあるが、ＡＳＲでは何も問題はない。逆に
、所謂「イーセット（ｅ−ｓｅｔ）」Ｂ，Ｃ，Ｄ，Ｅ，
Ｇ，Ｐ，Ｔ，Ｖ，Ｚを，ＡＳＲを用いて認識するのは、
周知のように困難であるが、ＡＨＲにおいては、なんら
むずかしいことはない。第２に、処理能力において相補
性を得ることができる。即ち、音声及び手書き動作認識
アルゴリズムの処理方法は、しばしば互いに相補し合う
ことがある。例えば、ＡＨＲでは、単語が長くなる程、
より多くの文字を誤って認識するかもしれないので、単
語の誤りを生じる確率は大きくなる。しかしながら、Ａ
ＳＲでは、単語が長くなる程、混同する単語は少なくな
るので、この確率は減少する。

【００５０】第３に、機能において、相補性を得ること
ができる。即ち、ＡＳＲとＡＨＲとを用いて最も容易に
実施される機能が、互いに補い合う事ができる。例えば
、ＡＨＲは、筆記用具を用いて単語に線を引いて消すこ
とによってその単語を削除したり、単語または節を相互
交換することを示す等の、編集能力を有するが、このよ
うな機能はＡＳＲを用いて実施するのはむずかしい。一方、大量の文書の作成等の機能は、手書き動作変換器
２０を用いるより、音声変換器２２のほうが、より効果
的に実施することができる。

【００５１】既に述べたように、音声及び手書き情報認
識を統合した用法は、統合型の音声及び手書き動作イン
ターフェース（ＩＳＷＩ）１８によって得られるもので
ある。ＩＳＷＩを用いた単語認識は、音声が分離してい
るか連続しているかによって、また手書き文字が別個か
重なっているかによって、更に、２つの認識手順が連続
的か、併合かあるいは合同かによって、１２通りの可能
性のある条件の下で、行うことができる。この点に関し
て、ＡＨＲとＡＳＲとのシケンシャルな使用は、誤り訂
正に用いるのに最も適しており、ＡＨＲとＡＳＲのジョ
イント使用は、ジョイントした尤度推定によって行い、
ＡＨＲとＡＳＲの合併使用は、（αＬ１＋βＬ２）に重
み付け合併した尤度推定を用いる。

【００５２】更に、ＩＳＷＩの実現は、次の３つの過程
に依存するものである。（ａ）データ獲得（ブロック６０）（ｂ）ユーザ依存モードであると仮定したトレーニング
（ブロック６２）、（ｃ）デコード処理（ブロック６４）。これらの過程に
ついて、以下に詳細に説明する。

【００５３】データ獲得（ブロック６０）メッセージ認
識システム１０及び５０を用いるためにデータを獲得す
るには、２つの主要なモードがある。トレーニングモー
ドでは、ジョイント尤度モードを除いて、ユーザは、通
常異なるトレーニング材料を書き込み、また発声するこ
とによって、ストローク情報及び音響情報を個別に生成
する。例えば、ユーザは、１００または２００の音声上
バランスの取れた文に対してＡＳＲをトレーニングし、
アルファベットの全文字の事例をいくつか含む数個の文
に対してＡＨＲをトレーニングする。デコーディング（
デコード処理）モードでは、シーケンシャル使用モード
を除いて、ユーザは、同じメッセージを書き、かつ発声
することによって、ストローク情報と音響情報とを同時
に生成する。筆記は発声より遅いため、発声された各単
語間に自然にポーズが入るという点で、この手順は、特
に重ね書きや分離した音声に適している。

【００５４】トレーニング（ブロック６２）トレーニン
グ過程は、２つの部分に分割することができる。まず、
音声及び手書き動作の両方に対して適切な特徴ベクトル
を発生する。次に、各特徴ベクトルを、秘匿マルコフモ
デルのような、ある種のモデルと共に用い、これにより
関連する単語モデルパラメータをトレーニングする。音
声と手書き動作に対してトレーニングを別個に行えば、
選択された特徴ベクトルは、いずれかの領域で元から用
いられていたものである可能性がある。これにより、音
響及びストローク情報にそれぞれ対応する特徴ベクトル
の複数の対を発生する。このような特徴ベクトルの対は
、２つの異なった方法で利用される。最も単純な方法は
、図１に示すように、このベクトルを２つの別個の種類
のモデル、即ち、一方は音声用に他方は手書き動作用に
用いるようにする。もう１つの方法は、図２のシステム
で実施しているように、入力データを正規化し、特徴ベ
クトルを組み合わせ、音響情報及びストローク情報を合
体した拡張単語モデルをトレーニングするものである。

【００５５】前述のように、音声及び手書き動作認識に
用いて、秘匿マルコフモデルのようなモデルを発生しト
レーニングする既知の方法を、これら２つの技法を統合
するために、用いることもできる。音声及び手書き動作
用のモデルとしてニューラルネットワークを用いること
もできる。これらの方法は、一般的に、ベクトル空間内
のラベル（ｌａｂｅｌ）列または点のような抽象的かつ
数学的対象に作用するものである。しかしながら、ジョ
イントトレーニングの場合、単語テンプレートまたはニ
ューラルネットワークトポロジー等のような基礎的モデ
ル構造は、ＩＳＷＩのためのものと、ＡＨＲまたはＡＳ
Ｒの一方に用いられるものとでは異なる。

【００５６】次の論文は、音声認識用のニューラルネッ
トワークの好適な実施例を記載したものである。エー．
ワイバー（Ａ．Ｗａｉｂｅｒ）、ティ．ハナザワ（Ｔ．
Ｈａｎａｚａｗａ）、ジー．ヒントン（Ｇ．Ｈｉｎｔｏ
ｎ）、ケー．シカノ（Ｋ．Ｓｈｉｋａｎｏ）、ケー．ラ
ング（Ｋ．Ｌａｎｇ）の「時間遅れニューラルネットワ
ークを用いた音素認識（Ｐｈｏｎｅｍｅ　Ｒｅｃｏｇｎ
ｉｔｉｏｎ　Ｕｓｉｎｇ　Ｔｉｍｅ−ＤｅｌａｙＮｅｕ
ｒａｌ　Ｎｅｘｗｏｒｋｓ）」（音響学、音声及び信号
処理に関するＩＥＥＥ論文誌第３７巻、第３号、第３２
８〜３３９頁，１９８９年３月発行）エス．ジー．コン
（Ｓ．Ｇ．Ｋｏｎｎｇ）、及びビー．コスコ（Ｂ．Ｋｏ
ｓｋｏ）の「重心推定および音素認識用の差動競争学習
（ｄｉｆｆｅｒｅｎｔｉａｌ　Ｃｏｍｐｅｔｉｔｉｖｅ
　Ｌｅａｒｎｉｎｇ　ｆｏｒ　Ｃｅｎｔｒｏｉｄ　Ｅｓ
ｔｉｍａｔｉｏｎ　ａｎｄ　Ｐｈｏｎｅｍｅ　Ｒｅｃｏ
ｇｎｉｔｉｏｎ）」（ＩＥＥＥ論文誌、ニューラルネッ
トワーク、第２巻、第１号、第１１８〜１２４頁，１９
９１年１月）

【００５７】以下にあげる論文は、手書き動作認識用の
ニューラルネットワークの好適な実施例を記載したもの
である。ピー．モラッソ（Ｐ．Ｍｏｒａｓｓｏ）の「重
なった手書き文字のニューラルモデル」（Ｐｒｏｃ．１
９８９年ニューラルネットワークに関する国際合同会議
，第２巻、第５３９〜５４２頁、ワシントンＤ．Ｃ．、
１９８９年６月）アイ．ギヨン（Ｉ．Ｇｕｙｏｎ）、ピ
ー．アルブレヒト（Ｐ．Ａｌｂｒｅｃｈｔ）、ヤイ．ル
クン（Ｙ．Ｌｅ　Ｃｕｎ）、ジェイ．デンカ−（Ｊ．Ｄ
ｅｎｋｅｒ）、及びダブリュ．ハバート（Ｗ．Ｈｕｂｂ
ａｒｔ）の、「タッチターミナル用ニューラルネットワ
ーク文字認識装置の設計」（パターン認識、第２４巻、
１９９１年　　印刷中（ｉｎ　ｐｒｅｓｓ．））

【００
５８】デコード処理（ブロック６４）個別単語モデルト
レーニングをジョイント単語モデルトレーニングと区別
するように、デコード処理に対しても方法論的二分法（
ｍｅｔｈｏｄｏｌｏｇｉｃａｌ　ｄｉｃｈｏｔｏｍｙ）
が存在する。音響情報およびストローク情報が別個に全
体のデコード処理決定に貢献する場合、１つの適切な汎
用決定手順は、コンセンサス定理のように、多数の専門
家の意見を基にする。例えば、全体尤度得点は、各情報
源に対応する尤度得点の重み付けした合計とすることが
でき、ウエイト（Ｗ）を、候補単語の長さまたは雑音の
存在等の外的要素を基にトレーニング中に選択するよう
にする。

【００５９】音響情報とストローク情報との選択におけ
る決定用のデコーダ４４に用いて好適な決定戦略を教示
するものとして、次の３件の機関紙の論文を引用する。「依存型情報源からの確率分布の組み合わせ（Ｃｏｍｂ
ｉｎｉｎｇ　Ｐｒｏｂａｂｉｌｉｔｙ　Ｄｉｓｔｒｉｂ
ｕｔｉｏｎｓ　ｆｒｏｍ　Ｄｅｐｅｎｄｅｎｔ　Ｉｎｆ
ｏｒｍａｔｉｏｎ　Ｓｏｕｒｃｅ）」管理科学、第２７
巻、第４号、１９８１年４月、第４７９〜４８８頁、（
アール．エル．ウインクラ（Ｒ．Ｌ．Ｗｉｎｋｌｅｒ）
）「個々の確率推定の集合について（Ｏｎ　ｔｈｅ　Ａ
ｇｇｒｅｇａｔｉｏｎ　ｏｆ　Ｉｎｄｉｖｉｄｕａｌ　
Ｐｒｏｂａｂｉｌｉｔｙ　Ｅｓｔｉｍａｔｅｓ）」、管
理科学，第２７巻、第８号、１９８１年８月，第９５９
〜９６４頁（アール．エフ．ボードリ（Ｒ．Ｆ．Ｂｏｒ
ｄｌｅｙ）ら）「コンセンサスと証拠」、実用ＩＩにお
けるパターン認識、エルセヴィア（Ｅｌｓｅｖｉｅｒ）
科学出版Ｂ．Ｖ．（北オランダ）、１９８６年、第５２
３〜５４６頁、（ベレンシュタイン（Ｂｅｒｅｎｓｔｅ
ｉｎ）ら）

【００６０】一方、例えば図２のメッセージ
認識システム５０におけるように、音声情報および手書
き動作情報の両方が同時にデコード処理決定に貢献する
時、言語モデル５８ａにしたがって、拡張した単語モデ
ル５６について動作する推定器５８に基づいて決定がな
される。ＩＳＷＩは、人間要素実験の分野を含む多数の
分野において応用できるものである。より一般的には、
ＩＳＷＩは、音声情報および手書き動作情報の相補性を
、特に誤り訂正や編集の目的のために、活用することの
できる領域であれば、あらゆる領域でうまく適合するも
のである。

【００６１】２種類の実験を行ったが、その結果を説明
する。最初の実験の目的は、音声情報および手書き動作
情報の相補性に関する情報を得ることであった。２番目
の実験の目的は、音声および手書き動作の認識処理能力
の相補性に関するデータを得ることであった。

【００６２】最初の実験では、８つの色（ｃｏｌｏｒ）
、８つの目的語（ｏｂｊｅｃｔ）、および８つの前置詞
で構成した２４の単語の語彙を用いた。被検者（ＡＨＲ
には前もって知らせていない）は、筆記者独立（ｗｒｉ
ｔｅｒ−ｉｎｄｅｐｅｎｄｅｎｔ）モードで、２４個の
単語の各々を別々に書いた。６つの単語が誤ってデコー
ドされ、手書き動作誤り率は２５％となった。次に、同
じ単語を、分離発声でＡＳＲに向って発声し、話者依存
モード（ｓｐｅａｋｅｒ−ｄｅｐｅｎｄｅｎｔ）でデコ
ードした。１２の単語が誤ってデコードされ、したがっ
て音声誤り率は、この比較的難しいボキャビュラリに対
して５０％であった。手書きであいまいな単語と発声で
あいまいな単語の共通部分は、３つの単語に減少するこ
とがわかった。この内の１つは音声認識器の語彙以外の
ものであった。したがって、双方の組み合せで、得られ
た全体の誤り率はわずか８％であった。

【００６３】ＡＨＲの場合、基礎的辞書（ｕｎｄｅｒｌ
ｙｉｎｇ　ｄｉｃｔｉｏｎａｒｙ）を自動的に参照する
ことによって、全ての誤り（例えば“ＯＲＡＮＧＥ”を
“ＯＲＡＩＶＧＥ”とデコードしたようなもの）を容易
に検出し、訂正し得ることが明らかである。この後処理
は、簡単なアルゴリズムによって実施することができ、
ある与えられた文字列に対して、この文字列に最もよく
適合する単語を、与えられた語彙から決定するものであ
る。このアルゴリズムは、入力された文字列と各仮の（
ｔｅｎｔａｔｉｖｅ）単語の中の照合する文字の数を計
算するだけでよい。しかしながら、ＡＳＲの場合、この
後処理技法は、限られた訂正しかできないを発見した。また、手書き動作認識は、時間と共に改善されたことも
明記しておく。最初の試行の間に生じた誤りを観察した
後、被検者は２回目の試行の間に精度の向上を得ること
ができた。同様な向上は、更に限られたものであるが、
ＡＳＲを用いた時も観察できた。

【００６４】２番目の実験では、他の被検者が、「２件
の論文は、目および耳による音声認識を記載していなか
った。（Ｔｗｏ　　ａｒｔｉｃｌｅｓ　　ｄｉｄ　　ｎ
ｏｔ　　ｄｅｓｃｒｉｂｅ　　ｓｐｅｅｃｈ　　ｐｅｒ
ｃｅｐｔｉｏｎ　　ｂｙ　　ｅｙｅａｎｄｅａｒ）」と
いう文を、次の３つの異なる方法で生成した。（ａ）Ａ
ＨＲにおいて、筆記者依存、かつ重ね合わせモードでこ
の文を書く。（ｂ）話者依存、かつ分離発音モードで、ＡＳＲに対し
てその文を発声する。（ｃ）（ａ）および（ｂ）と同じ
条件で、ＡＨＲに対して短い単語（ｔｗｏ，ｄｉｄ，ｎ
ｏｔ，ｂｙ，ｅｙｅ，ａｎｄ，ｅａｒ）を書き、ＡＳＲ
に長い単語（ａｒｔｉｃｌｅｓ，ｄｅｓｃｒｉｂｅ，ｓ
ｐｅｅｃｈ，ｐｅｒｃｅｐｔｉｏｎ）を発声する。

【００６５】条件（ａ）の場合は、２つの誤りを発生し
たが、両方とも長い単語（“ａｒｔｉｃｌｅｓ”と“ｐ
ｅｒｃｅｐｔｉｏｎ”）について起こったものであった
。条件（ｂ）の場合は、４つの誤りを発生し、その内３
つは短い単語（“ｔｗｏ，ｂｙ，ｅｙｅ”）についてで
あり、１つは長い単語“ａｒｔｉｃｌｅ”についてであ
った。しかしながら、条件（ｃ）の場合は、長い単語“
ａｒｔｉｃｌｅ”についてのみ誤りを発生し、それはＡ
ＳＲによる認識の誤りであった。

【００６６】これらの実験から、２つの情報源、即ち手
書き動作と音声とを用いることによって、単語認識処理
を大幅に改善できるという明白な証拠が得られた。本発
明の教示は、人間要素実験技法に関して先に言及した問
題を処理する優れた「人間要素ワークベンチ（ｈｕｍａ
ｎ　ｆａｃｔｏｒ　ｗｏｒｋｂｅｎｃｈ）」を提供する
ために用いることができる。全心理学的実験に典型的な
制御された環境において、本発明は、いくつかの実施が
可能である。例えば、多くの異なるユーザを伴う短い実
験（これに対するトレーニングが正統と認められる）の
ために、ＩＳＷＩは、全体の精度を、語彙と文法に課せ
られた制限に依存する、筆記者／話者独立のシステムを
提供する。また、長時間にわたって同じ被検者の集合を
必要とする長い実験に対して、ＩＳＷＩは、インターフ
ェースの自然さを改善するために、音声および重ね書き
認識を結合することのできる、筆記者／話者依存のシス
テムを提供する。以上本発明をその好適実施例に関して
特定して示し、記載したが、本発明の範囲および精神か
ら逸脱せずに、形式および詳細において変更することが
できることを、当業者は理解するであろう。

【図面の簡単な説明】

【図１】本発明の第１の実施例にしたがって構成された
、音声情報及び手書き動作情報を別個に用いるようにし
た、メッセージ認識システムのブロック図である。

【図２】本発明の第２の実施例にしたがって構成された
、音声情報及び手書き動作情報を統合して用いるように
した、メッセージ認識システムのブロック図である。

【図３】システムに入力され得る手書き文字の４つの異
なる形式の例を示す図である。

【図４】（ａ）は、手書き文字のサンプリング点（Ｐ）
に対する手書き動作特徴ベクトルの各要素を説明するた
めの説明図、（ｂ）は、複数の空間属性を集合すること
によって、点（Ｐ）に対して発生した四次元の手書き動
作特徴ベクトルを示す図、（ｃ）は、音声特徴ベクトル
を発生するために処理した周波数領域の音声サンプル、
即ち、全てが等しい帯域幅である必要はない複数の周波
数帯における振幅を示すグラフ、（ｄ）は、音声サンプ
ルから発生した２０次元音声特徴ベクトルを示す図であ
る。

【図５】音声と手書き動作とを組み合わせた組み合わせ
特徴ベクトルを示し、（ａ）は、図４（ｂ）の手書き動
作特徴ベクトルと図４（ｄ）の音声特徴ベクトルとを単
に連鎖して形成したベクトルを示す図、（ｂ）は、図４
（ｄ）の音声特徴ベクトルと、図４（ｃ）と同様な周波
数分析を行うことによって図４（ａ）から発生される手
書き動作特徴ベクトルの別の形状との連鎖により形成し
たベクトルを示す図である。

【図６】本発明のメッセージ認識システムの動作を示す
フロー図。

【符号の説明】

１０　　　　システム１６　　　　ポインティング装置１８　　　　統合型音声及び手書き動作インターフェー
ス（ＩＳＷＩ）２４　　　　手書き動作特徴ベクトル（ＦＶＨ）プロセ
ッサ２６　　　　音声特徴ベクトル（ＦＶＳ）プロセッ
サ２８　　　　手書き動作モデルトレーナ（ＭＴＨ）プ
ロセッサ３０　　　　音声モデルトレーナ（ＭＴＳ）プロセッサ
３２　　　　手書き単語モデル（ＷＭＨ）ブロック３４
　　　　音声単語モデル（ＷＭＳ）ブロック３６　　　
　手書き動作尤度推定（ＬＥＨ）器３７　　　　ウエイ
ト（Ｗ）ブロック

Claims

【特許請求の範囲】

【請求項１】ａ）　ユーザの音声を第１の信号に変換す
る第１手段と、ｂ）　ユーザの手書き動作を第２の信号
に変換する第２手段と、ｃ）　前記第１の信号が結合さ
れる第１の入力と、前記第２の信号が結合される第２の
入力とを有し、前記第１の信号および前記第２の信号を
処理して、前記第１の信号および前記第２の信号によっ
て別個に伝達される一貫したメッセージ、または前記第
１の信号および前記第２の信号によって共同で伝達され
る一貫したメッセージをデコードする第３手段とからな
る事を特徴とする自動メッセージ認識システム。
【請求項２】請求項１記載のシステムにおいて、前記第
１手段は、マイクロフォンを備え、該マイクロフォンは
、その出力をデジタル信号に変換する手段に結合されて
いる事を特徴とする自動メッセージ認識システム。
【請求項３】請求項１記載のシステムにおいて、前記第
１手段は、ユーザの発声の間少なくともユーザの口を撮
影する手段を備えている事を特徴とする自動メッセージ
認識システム。
【請求項４】請求項１記載のシステムにおいて、前記第
２手段は、筆記用具よってなされたストロークを、その
筆記用具の動きを表すデジタルデータに変換する手段を
有する電子タブレットを備えている事を特徴とする自動
メッセージ認識システム。
【請求項５】請求項１記載のシステムにおいて、前記第
３手段は、前記第１の信号を複数の第１の多次元ベクト
ルに変換する第１の手段と、前記第２の信号を第２の多
次元ベクトルに変換する第２の手段とを備えている事を
特徴とする自動メッセージ認識システム。
【請求項６】請求項５記載のシステムにおいて、前記第
３手段は、前記複数の第１の多次元ベクトルのそれぞれ
を、前記複数の第２の多次元ベクトルのそれぞれと組み
合わせ、複数の第３の多次元ベクトルを形成する組み合
わせ手段を備えている事を特徴とする自動メッセージ認
識システム。
【請求項７】請求項５記載のシステムにおいて、前記第
３手段は更に、前記第１の変換手段の動作に応じて第１
の単語モデル集合をトレーニングする手段、及び前記第
２の変換手段の動作に応じて第２の単語モデル集合をト
レーニングする手段を備えている事を特徴とする自動メ
ッセージ認識システム。
【請求項８】請求項７記載のシステムにおいて、前記第
１の単語モデル集合が、秘匿マルコフモデルで構成され
ている事を特徴とする自動メッセージ認識システム。
【請求項９】請求項７記載のシステムにおいて、前記第
１の単語モデル集合が、ニューラルネットワークで構成
されている事を特徴とする自動メッセージ認識システム
。
【請求項１０】請求項７記載のシステムにおいて、前記
第２の単語モデル集合が、柔軟性照合手段により発生さ
れたストロークテンプレートからなる文字プロトタイプ
によって形成されている事を特徴とする自動メッセージ
認識システム。
【請求項１１】請求項６記載のシステムにおいて、前記
第３手段は、前記組み合わせ手段の動作に応答して、手
書きされた単語およびそれに対応する発声された単語に
応じた候補単語を発生するため、単一の単語モデル集合
のパラメータをトレーニングする手段を備えている事を
特徴とする自動メッセージ認識システム。
【請求項１２】請求項１１記載のシステムにおいて、前
記単一の単語モデル集合は、秘匿マルコフモデルからな
る事を特徴とする自動メッセージ認識システム。
【請求項１３】請求項１１記載のシステムにおいて、前
記単一の単語モデル集合は、ニューラルネットワーク手
段からなる事を特徴とする自動メッセージ認識システム
。
【請求項１４】請求項７記載のシステムにおいて、該シ
ステムは更に、前記第１の信号に応答して前記第１の単
語モデル集合について計算することによって得られた第
１の候補単語リストに応じ、かつ前記第２の信号に応答
して前記第２の単語モデル集合について計算することに
よって得られた第２の候補単語リストに応じて、候補単
語を組み合わせた第３のリストを発生する手段を備えて
いる事を特徴とする自動メッセージ認識システム。
【請求項１５】請求項１４記載のシステムにおいて、該
システムは更に、前記発生手段と結合され、前記第３の
リストに応答して、前記メッセージの全てまたは一部を
表す最も高い確率を有する単語を第３のリストから選択
する手段を備えている事を特徴とする自動メッセージ認
識システム。
【請求項１６】請求項１１記載のシステムにおいて、該
システムは更に、前記第１の信号および前記第２の信号
に応答した前記単一の単語モデルの集合についての計算
によって得られた候補単語のリストに応答して、前記メ
ッセージの全てまたは一部を表す最も高い確率を有する
単語を候補単語のリストから選択する手段を更に備えて
いる事を特徴とする自動メッセージ認識システム。
【請求項１７】請求項６記載のシステムにおいて、前記
第３手段は更に、前記第１の信号および前記第２の信号
に結合された入力、及び前記第１の変換手段および前記
第２の変換手段に結合された出力を有する正規化手段で
あって、前記第１の信号を前記第２の信号に関して正規
化する正規化手段を備えている事を特徴とする自動メッ
セージ認識システム。
【請求項１８】請求項１４記載のシステムにおいて、前
記発生手段は、前記第１のリストからの単語に関連する
確率を、前記第２のリストからの単語に関連する確率に
関して、必要に応じてスケーリングするスケーリング手
段を備えている事を特徴とする自動メッセージ認識シス
テム。
【請求項１９】請求項１８記載のシステムにおいて、該
システムは更に、前記スケーリング手段の出力に結合さ
れ、所定の重み付けのウエイトにしたがって前記第１お
よび第２のリストの単語に関連する単語の確率を併合す
る併合手段を備えており、該併合手段は、前記第１およ
び第２の候補単語リストを組み合わせて第３のリストを
作成する手段を備えている事を特徴とする自動メッセー
ジ認識システム。
【請求項２０】自動メッセージ認識システムを動作させ
る方法において、ａ）ユーザの音声を第１の信号に変換
する音声変換ステップと、ｂ）　ユーザの手書き動作を
第２の信号に変換する手書き動作変換ステップと、ｃ）
　前記第１の信号および前記第２の信号を処理して、前
記第１の信号および前記第２の信号によって別個に伝達
された一貫したメッセージ、または前記第１の信号およ
び前記第２の信号によって共同で伝達された一貫したメ
ッセージをデコードする処理ステップとからなる事を特
徴とする方法。
【請求項２１】請求項２０記載の方法において、前記音
声変換ステップは、マイクロフォンの出力をデジタル信
号に変換するステップを含んでいる事を特徴とする方法
。
【請求項２２】請求項２０記載の方法において、前記音
声変換ステップは、ユーザの発声の間、少なくともユー
ザの口を撮影するステップを含んでいる事を特徴とする
方法。
【請求項２３】請求項２０記載の方法において、前記手
書き動作変換ステップは、筆記用具によって形成された
ストロークを、該筆記用具の動きを表すデジタルデータ
に変換するステップを含んでいる事を特徴とする方法。
【請求項２４】請求項２０記載の方法において、前記処
理ステップは、前記第１の信号を複数の第１の多次元ベ
クトルに変換するステップと、前記第２の信号を複数の
第２の多次元ベクトルに変換するステップとを含んでい
る事を特徴とする方法。
【請求項２５】請求項２４記載の方法において、該方法
は更に、前記複数の第１の多次元ベクトルのそれぞれと
前記複数の第２の多次元ベクトルのされぞれとを組み合
わせ、複数の第３の多次元ベクトルを形成する組み合わ
せステップを含んでいる事を特徴とする方法。
【請求項２６】請求項２４記載の方法において、該方法
は更に、前記複数の第１の多次元ベクトルを用いて第１
の単語モデル集合のパラメータをトレーニングするステ
ップと、前記複数の第２の多次元ベクトルを用いて第２
の単語モデル集合のパラメータをトレーニングするステ
ップとを含んでいる事を特徴とする方法。
【請求項２７】請求項２６記載の方法において、前記第
１の単語モデル集合をトレーニングするステップは、マ
ルコフ単語モデル集合をトレーニングするステップを含
んでいる事を特徴とする方法。
【請求項２８】請求項２６記載の方法において、前記第
１の単語モデル集合をトレーニングするステップは、ニ
ューラルネットワークをトレーニングするステップを含
んでいる事を特徴とする方法。
【請求項２９】請求項２６記載の方法において、前記第
２の単語モデルをトレーニングするステップは、柔軟的
照合技法を用いることによって、入力ストロークをスト
ロークテンプレートに変換するステップを含んでいる事
を特徴とする方法。
【請求項３０】請求項２５記載の方法において、前記組
み合わせステップは、前記複数の第３の多次元ベクトル
を用いて、単一の単語モデル集合のパラメータをトレー
ニングするステップを含んでいる事を特徴とする方法。
【請求項３１】請求項３０記載の方法において、前記単
一の単語モデル集合をトレーニングするステップは、秘
匿マルコフ言語モデルの集合をトレーニングするステッ
プを含んでいる事を特徴とする方法。
【請求項３２】請求項２６記載の方法において、前記第
１の単語モデル集合をトレーニングするステップは、第
１の言語モデル確率集合をトレーニングするステップを
含んでいる事を特徴とする方法。
【請求項３３】請求項２６記載の方法において、前記第
２の単語モデル集合をトレーニングするステップは、第
２の言語モデル確率集合をトレーニングするステップを
含んでいる事を特徴とする方法。
【請求項３４】請求項３０記載の方法において、前記単
一の単語モデル集合をトレーニングするステップは、単
一の言語モデル確率集合をトレーニングするステップを
含んでいる事を特徴とする方法。
【請求項３５】請求項３０記載の方法において、前記単
一の単語モデル集合をトレーニングするステップは、ニ
ューラルネットワークをトレーニングするステップを含
んでいる事を特徴とする方法。
【請求項３６】請求項２６記載の方法において、該方法
は更に、前記第１の信号に応じた前記第１の単語モデル
集合についての計算によって得られた第１の候補単語リ
ストに応答し、かつ、前記第２の信号に応じた前記第２
の単語モデル集合についての計算によって得られた第２
の候補単語リストに応答して、第３の候補単語組み合わ
せリストを発生する発生ステップを含んでいる事を特徴
とする方法。
【請求項３７】請求項３６記載の方法において、該方法
は更に、前記第３の候補単語組み合わせリストから、メ
ッセージの全部または一部を表す最大の確率を有する１
つの単語を選択するステップを含んでいる事を特徴とす
る方法。
【請求項３８】請求項３０記載の方法において、該方法
は更に、前記単一の単語モデル集合についての計算によ
って得られた候補単語リストに応じて、該リストから、
メッセージの全部または一部を表す最大の確率を有する
単語を選択するステップを含んでいる事を特徴とする方
法。
【請求項３９】請求項２４記載の方法において、前記処
理ステップは、前記第１の信号を前記第２の信号に関し
て、共通の時間軸に正規化する初期ステップを含んでい
る事を特徴とする方法。
【請求項４０】請求項３６記載の方法において、前記発
生ステップは、前記第２のリストからの単語に関連した
確率に関して、前記第１のリストからの単語に関連する
確率を、必要に応じてスケーリングするスケーリングス
テップを含んでいる事を特徴とする方法。
【請求項４１】請求項４０記載の方法において、前記ス
ケーリングステップの後に、前記第１の候補単語リスト
からの単語に関連する単語の確率と、前記第２の候補単
語リストからの単語に関する確率とを、所定の重み付け
ウエイトにしたがって合併するステップが続いている事
を特徴とする方法。
【請求項４２】自動メッセージ認識システムを動作させ
る方法において、ａ）ユーザの音声を第１の信号に変換
するステップと、ｂ）　前記第１の信号を処理し、それ
によって伝達される第１のメッセージをデコードするス
テップと、ｃ）　前記デコードされた第１のメッセージ
内における誤りの発生に応答して、ユーザの手書き動作
を第２の信号に変換するステップと、ｄ）　前記第２の
信号を処理して、それによって伝達される第２のメッセ
ージをデコードするステップと、ｅ）　前記第１のメッ
セージ内の誤りを、前記第２のメッセージを用いること
によって訂正するステップとからなる事を特徴とする方
法。
【請求項４３】自動メッセージ認識システムを動作させ
る方法において、ａ）ユーザの手書き動作を第１の信号
に変換するステップと、ｂ）　前記第１の信号を処理し
て、それによって伝達される第１のメッセージをデコー
ドするステップと、ｃ）　前記デコードされた第１のメ
ッセージ内における誤りの発生に応答して、ユーザの音
声を第２の信号に変換するステップと、ｄ）　前記第２
の信号を処理して、それによって伝達される第２のメッ
セージをデコードするステップと、ｅ）　前記第１のメ
ッセージ内の誤りを、前記第２のメッセージを用いるこ
とによって訂正するステップとからなる事を特徴とする
方法。