JP4036528B2 - 意味認識システム - Google Patents
意味認識システム Download PDFInfo
- Publication number
- JP4036528B2 JP4036528B2 JP11752498A JP11752498A JP4036528B2 JP 4036528 B2 JP4036528 B2 JP 4036528B2 JP 11752498 A JP11752498 A JP 11752498A JP 11752498 A JP11752498 A JP 11752498A JP 4036528 B2 JP4036528 B2 JP 4036528B2
- Authority
- JP
- Japan
- Prior art keywords
- semantic
- word
- meaning
- application
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 42
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 39
- 230000005236 sound signal Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241000339782 Tomares Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声入力が可能なアプリケーションに対するインタフェースを提供するシステムであって、利用者による音声によるアプリケーションに対する入力指示を、その意味を認識してアプリケーションに通知するシステムに関する。
【０００２】
【従来の技術】
近年のコンピュータシステムの高性能化、マルチメディア処理技術の発達により高度なヒューマンマシンインタフェースの提供が可能となり、人間と直接対話できるようなアプリケーションの開発環境が整いつつある。
【０００３】
従来技術における音声認識技術を使用したアプリケーションは、大別して音声入力部と音声認識部と応用プログラム部分を備えている。音声入力部は、マイクロフォン等の音声入力装置を介して肉声を音声信号に変換する。その他には音声信号を記録したファイルなどからデータを読み込む場合もある。音声認識部は、入力された音声信号が表わす単語を、登録された音声信号パターンとのテンプレートマッチングなどにより認識し、応用プログラムに対して認識単語を通知する。応用プログラムは、音声認識部により通知された認識単語を利用してその後の処理を実行する。
【０００４】
上記従来の音声認識アプリケーションの特徴として、以下の点が挙げられる。第一番目の特徴として、応用プログラムが、音声認識対象単語ごとに１対１に対応した処理プログラムとして記述されている点が挙げられる。つまり、音声認識部は、登録された認識対象単語からマッチングした結果を応用プログラムに通知するため、アプリケーション内部では、その後の処理を認識対象単語ごとにあらかじめ必要な処理に分類して個別に記述しておく必要がある。
【０００５】
第二番目の特徴として、アプリケーションが、登録認識対象単語の言語に依存している点が挙げられる。つまり、音声認識部で登録されている認識対象単語以外は認識できないため、応用プログラムは登録された言語を前提として記述されており、言語依存のものとなっている。
【０００６】
【発明が解決しようとする課題】
現在、各種アプリケーションの開発は、開発対象であるアプリケーションの高度化および複雑化、市場ニーズの変化の多様化、商品の国際化などに伴い、開発工数の低減、開発期間の短縮、多言語への対応が求められている。しかし、上記紹介した従来の音声認識アプリケーションは以下のような問題があった。
【０００７】
従来の音声認識アプリケーションの第一番目の特徴として挙げた、音声認識対象単語ごとに応用アプリケーションが記述されている点に関し、開発工数の増加、認識対象単語の変更・追加などのチューニングの困難性の問題があった。つまり、処理内容を認識対象単語ごとにあらかじめ必要な処理に分類して個別に記述しておく必要があるため、認識対象単語の変更・追加は、応用プログラムの関連する箇所すべてにその影響が及ぶこととなり、記述内容を変更する必要があった。
【０００８】
従来の音声認識アプリケーションの第二番目の特徴として挙げた、アプリケーションが、登録認識対象単語の言語に依存している点に関し、開発工数の増加、多言語への対応の困難性という問題があった。つまり、アプリケーション内部に言語依存部分があるので、システム利用者の使用言語、使用方言などに合わせて単語の表現方法を変えることは、言語依存部分すべてにその影響が及ぶこととなり、記述内容を変更するローカライズ作業の必要があった。
【０００９】
従来の音声認識アプリケーションにおいても認識対象単語テーブルの更新、追加により認識対象単語の更新、追加登録が可能であるが、認識対象単語テーブルの更新、追加登録は、応用プログラムの関連する箇所すべてにその影響が及ぶこととなり、また、他の言語への対応のため認識対象単語テーブルごと入れ替える方法によると、結局、言語依存性から、応用プログラム自体も、入れ替えた認識対象単語テーブルの言語に対応するようにローカライズしたものを別途開発して入れ替える必要があった。
【００１０】
本発明は、上記従来の音声認識システムの問題点に鑑み、言語依存の音声認識部とアプリケーションの関係を相互に独立とし、利用者のユーザインタフェースとして利用者のもっとも使用に適した言語、方言での使用環境を提供し、かつ、アプリケーション側では言語非依存の意味認識を中心とするシステムとすることにより、音声認識関連アプリケーションの多言語への容易な対応を可能とすることを目的とする。また、認識対象単語テーブルの更新・変更が、容易かつアプリケーションの応用プログラム記述部分への影響を最小限である意味認識システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために本発明にかかる意味認識システムは、入力となる音声信号を受け付ける音声信号入力部と、入力された音声信号を基に対応する単語を認識する音声認識部と、単語の意味を表わす意味番号とその意味番号に属する登録単語のリストである意味番号・登録単語リストを備えた認識単語・意味番号変換部と、アプリケーション用インタフェースと、意味番号をデータとして扱うアプリケーションを備え、前記音声信号入力部に入力された音声信号を基に前記音声認識部により対応する単語を認識し、前記認識した単語を前記認識単語・意味番号変換部により対応する意味番号に変換し、前記アプリケーション用インタフェースを介して前記変換した意味番号をアプリケーションに通知することを特徴とする。
【００１２】
かかる構成により、ユーザインタフェースとして利用者にとりもっとも便利な言語、方言のものを提供することができ、かつ、言語依存の音声認識部の登録単語を言語非依存の意味番号に変換してアプリケーションに通知することができ、アプリケーションを言語非依存のものとして記述ができる。
【００１３】
次に、前記意味認識システムは、前記認識単語・意味番号変換部の意味番号・登録単語リストの内容を更新する意味番号・登録単語リスト更新部を備えることが好ましい。
【００１４】
かかる構成により、意味番号・登録単語リストを追加・変更することにより、意味認識システムをチューンナップすることができる。
次に、前記意味認識システムは、意味を体系的に分類して各々の意味単位をコード化した意味番号と各々の意味番号に属する登録単語とを体系的に記述した単語・意味体系テーブルを記録した外部記述ファイルを備えることが好ましい。
【００１５】
かかる構成により、単語とその単語に対応する意味単位との関係を体系的に表わした単語・意味体系テーブルを、アプリケーション本体から分離可能な構成とすることができ、利用者の使用環境に応じて外部記述ファイルを交換することでアプリケーションをローカライズするための基本となるデータを用意することができる。
【００１６】
次に、前記アプリケーションは、処理データの少なくとも一部に意味番号を含んだアプリケーションであって、前記認識単語・意味番号変換部が、前記アプリケーション用インタフェースを介して前記アプリケーションに含まれた意味番号を取得する意味番号取得部と、前記外部記述ファイルの単語・意味体系テーブル中から前記取得した意味番号に対応する登録単語を抽出して前記意味番号・登録単語リストを生成する意味番号・登録単語リスト生成部とを備えることが好ましい。
【００１７】
かかる構成により、アプリケーションを言語非依存の意味番号に基づいて記述し、意味認識システムのローカライズにあたっては、アプリケーションで使用されている意味番号に対応するローカル言語の単語を自動的に抽出することができ、ローカライズ作業工数の大幅な低減が可能となる。
【００１８】
次に、前記アプリケーションは、処理データの少なくとも一部に意味番号を含んだアプリケーションであって、前記アプリケーション自身に含まれた意味番号に基づいて前記外部記述ファイルの単語・意味体系テーブル中から対応する登録単語を抽出する処理ステップと、前記意味番号と登録単語を前記認識単語・意味番号変換部に通知する処理ステップとを備え、前記認識単語・意味番号変換部が、前記アプリケーションから取得した意味番号と登録単語に基づいて前記意味番号・登録単語リストを生成する意味番号・登録単語リスト生成部を備えることが好ましい。
【００１９】
かかる構成により、アプリケーションを言語非依存の意味番号で記述し、意味認識システムのローカライズにあたっては、アプリケーション側から使用されている意味番号に対応するローカル言語の単語を通知させることができ、ローカライズ作業工数の大幅な低減が可能となる。
【００２０】
次に、前記認識単語・意味番号変換部が、前記生成した前記意味番号・登録単語リストに挙げられた登録単語を前記音声認識部に通知する登録単語通知部を備え、前記音声認識部が、前記通知された登録単語に基づいて音声認識エンジンの内容を更新する音声認識単語更新部を備えることが好ましい。
【００２１】
かかる構成により、アプリケーションで利用するために音声認識部で認識が必要な単語の特定とその単語認識に必要な音声認識エンジンの内容を自動生成することができ、ローカライズ作業工数の大幅な低減が可能となる。
【００２２】
次に、前記意味認識システムは、利用者が使用する言語を指定する使用言語指定部と、前記外部記述ファイルとして複数の言語ごとの外部記述ファイルと、前記音声認識部の音声認識エンジンとして複数の言語ごとの音声認識エンジンとを備え、前記意味番号・登録単語リスト生成部は、前記使用言語指定部により指定された言語の外部記述ファイルを基に意味番号・登録単語リストを生成し、前記音声認識部は、前記使用言語指定部により指定された言語の音声認識エンジンを使用し、利用者に対して前記アプリケーションを複数の言語による入力指示ができるマルチリンガル対応のユーザインタフェースを提供することが好ましい。
【００２３】
かかる構成により、利用者の使用言語、使用表現に合わせたカスタマイズ作業が容易に実行できる。また複数言語の外部記述ファイルと音声認識エンジンを指定することにより複数言語の意味番号・登録単語リストの自動生成、音声認識エンジン内容の更新をすることができ、アプリケーションを、同時に複数の言語による音声入力指示ができるマルチリンガル対応とすることができる。ここで言語には方言も含むことができ、日本語、英語などの言語に加え、関西弁、東北弁など各国語の各方言も含むことができる。
【００２４】
次に、前記意味認識システムは、前記外部記述ファイルを提供する外部記述ファイルサーバと、前記アプリケーションを提供するアプリケーションサーバと、前記音声信号入力部と前記音声認識部と前記認識単語・意味番号変換部と前記アプリケーション用インタフェースとを備えた意味認識システムクライアントを備え、前記外部記述ファイルサーバと前記アプリケーションサーバと前記意味認識システムクライアントがコンピュータネットワークを介して接続されることが好ましい。
【００２５】
かかる構成により、外部記述ファイルをネットワーク上に配置された外部記述ファイルサーバとしたクライアントサーバ構成で構築することができ、各言語ごとの外部記述ファイルを意味認識システム個別に用意する必要がなくなる。
【００２６】
次に、本発明にかかる意味認識処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、入力となる音声信号を受け付ける音声信号入力処理ステップと、前記入力処理された音声信号を基に対応する単語を認識する音声認識処理ステップと、意味を表わす意味番号とその意味番号に属する登録単語のリストである意味番号・登録単語リスト生成する意味番号・登録単語リスト生成処理ステップと、前記音声認識処理ステップにより認識した単語を前記生成した意味番号・登録単語リストにより対応する意味番号に変換する認識単語・意味番号変換処理ステップと、前記変換された意味番号を前記アプリケーションに通知する意味番号通知処理ステップとを備えた意味認識処理プログラムを記録したことを特徴とする。
【００２７】
かかる構成により、コンピュータシステムを利用して、ユーザインタフェースとして利用者にとりもっとも便利な言語、方言が使用できる意味認識システムを提供することができ、かつ、言語依存の音声認識部の登録単語を言語非依存の意味番号に変換してアプリケーションに通知することができ、アプリケーションを言語非依存のものとして記述ができる。
【００２８】
次に、前記意味認識処理プログラムは、前記意味番号・登録単語リストの内容を更新する意味番号・登録単語リスト更新処理ステップを備えることが好ましい。
【００２９】
かかる構成により、意味番号・登録単語リストを追加・変更する処理を行うことができ、意味認識システムによる処理をチューンナップすることができる。
次に、前記意味認識処理プログラムは、意味を体系的に分類して各々の意味単位をコード化した意味番号と各々の意味番号に属する登録単語とを体系的に記述した単語・意味体系テーブルを記録した外部記述ファイルを備えたものであることが好ましい。
【００３０】
かかる構成により、前記意味認識処理において、単語とその単語に対応する意味単位との関係を体系的に表わした単語・意味体系テーブルを、アプリケーション本体から分離可能な構成とすることができ、利用者の使用環境に応じて外部記述ファイルを交換することでアプリケーションをローカライズするための基本となるデータを用意することができる。
【００３１】
次に、前記意味認識処理プログラムは、前記アプリケーションが処理データの少なくとも一部に意味番号を含んだアプリケーションであって、前記アプリケーションに含まれた意味番号を取得する意味番号取得処理ステップとを備え、前記意味番号・登録単語リスト生成処理ステップが、前記外部記述ファイルの単語・意味体系テーブル中から前記取得した意味番号に対応する登録単語を抽出して前記意味番号・登録単語リストを生成する処理ステップと、前記生成した意味番号・登録単語リストに挙げられた登録単語を前記音声認識処理ステップに通知する登録単語通知処理ステップを備え、前記音声認識処理ステップが、前記通知された登録単語に基づいて音声認識エンジンの内容を更新する音声認識単語更新処理ステップを備えることが好ましい。
【００３２】
かかる構成により、アプリケーションを言語非依存の意味番号で記述し、意味認識処理ステップのローカライズにあたっては、アプリケーションで使用されている意味番号に対応するローカル言語の単語を自動的に抽出することができ、ローカライズ作業工数の大幅な低減が可能となる。
【００３３】
次に、前記意味認識処理プログラムは、利用者が使用する言語を指定する利用言語指定処理ステップと、前記外部記述ファイルとして複数の言語ごとの外部記述ファイルと、前記音声認識処理ステップで利用する音声認識エンジンとして複数の言語ごとの音声認識エンジンとを備え、前記意味番号・登録単語リスト生成処理ステップにおいて、前記利用言語指定処理ステップにより指定された言語の外部記述ファイルを基に意味番号・登録単語リストを生成し、前記音声認識処理ステップにおいて、前記利用言語指定処理ステップにより指定された言語の音声認識エンジンを使用し、利用者に対して前記アプリケーションを複数の言語による入力指示ができるマルチリンガル対応のユーザインタフェースを提供するものであることが好ましい。
【００３４】
かかる構成により、意味認識システム利用者の使用言語、使用表現に合わせたカスタマイズ作業が容易に実行できる。また、複数の外部記述ファイルを指定することにより複数言語の意味番号・登録単語リストの自動生成、音声認識エンジンの内容の更新をすることができ、アプリケーションを、複数の言語による音声入力指示ができるマルチリンガル対応とすることができる。
【００３５】
次に、前記意味認識処理プログラムが、前記外部記述ファイルを提供する外部記述ファイル提供処理ステップを備えたネットワーク上に配された外部記述ファイルサーバ用の処理プログラムと、前記アプリケーションを提供するアプリケーション提供処理ステップを備えたネットワーク上に配されたアプリケーションサーバ用の処理プログラムと、前記外部記述ファイルサーバ用の処理プログラムと前記アプリケーションサーバ用の処理プログラムに対してネットワーク上で通信する意味認識システムクライアント用処理プログラムを備えたものであることが好ましい。
【００３６】
かかる構成により、外部記述ファイルとアプリケーションをネットワーク上に配置されたサーバから提供するクライアントサーバ構成とした意味認識システムを構築することができる。
【００３７】
【発明の実施の形態】
以下、本発明の実施形態にかかる意味認識システムについて、図面を参照しながら説明する。
【００３８】
（実施形態１）
実施形態１にかかる意味認識システムは、利用者に対して音声入力が可能なユーザインタフェースを提供し、アプリケーションに対して利用者の入力内容を個々の単語が持つ本来の意味に着目して意味認識を行うことにより言語非依存として伝えるアプリケーション用インタフェースを提供するシステムである。本実施形態１では、アプリケーションは画面上に現われるオブジェクトを音声指示により移動制御する処理を含んだゲームとし、利用者は日本語を利用する者とし、ユーザーインタフェースとして日本語環境が構築される例を挙げる。
【００３９】
本実施形態１にかかる意味認識システムの全体構成の概略と本システムによる処理流れの全体像を図面を参照しつつ説明する。図１は、本実施形態１にかかる意味認識システムの概略構成図を示している。図２は、本システムによる処理流れの全体像を処理ステップとして表わしたものである。
【００４０】
図１に示すように、本実施形態１にかかる意味認識システムは、大別して、音声入力デバイス１０、音声信号ファイル２０、音声認識部３０、認識単語・意味番号変換部４０、アプリケーション５０を備えている。なお、図示していないがシステム全体の制御処理に必要なコントローラ、メモリなどは装備している。
【００４１】
音声入力デバイス１０は、マイクロフォン、電話など入力音声を電気信号に変換するデバイスであればよい。音声信号ファイル２０は、あらかじめ入力音声が編集・記録されたファイルである。音声認識部３０は、音声認識エンジン３１を含み、利用者の使用する言語に応じて音声認識エンジン３１は入れ替え可能である。
認識単語・意味番号変換部４０は、音声認識で認識された単語とその単語の意味を表わす意味番号との対応を表わす意味番号・登録単語リスト４１と、意味番号・登録単語リスト４１の内容を追加・変更などを行う意味番号・登録単語リスト変更部４２とを備えている。ここで、意味番号とは、言葉の意味を体系的に分類した同じ意味を持つ言葉の集合体である意味単位をコード化したものである。意味番号は、言語に依存しない個々の単語が持つ本来の意味内容に対して与えられた中間コードであり、言語が異なってもその言語が意図する意味内容は変わらないことに着目して導入するものである。この意味番号は、当該言語体系に属する単語を網羅するものとしても良いが、システムリソースと実効性を考慮して、ゲームなどアプリケーションとして使用が予定されている分野において使用があり得る言葉を網羅するものであっても良い。
【００４２】
認識単語・意味番号変換部４０とアプリケーション５０の間には、利用者の音声入力内容などを伝えるアプリケーション用インタフェースが提供される。アプリケーション５０は、処理内容の一部に意味番号を含んだものである。
【００４３】
意味認識システムの処理の流れの全体像は以下の通りである。まず、利用者にはユーザーインタフェースとして提供されているマイクロフォンなどの音声入力デバイス１０を介して、アプリケーション５０に入力したい指示内容を自らの言葉で入力する。ここでは例として日本語で「止まれ」と入力する。次に、入力された「止まれ」という音声は電気信号に変換され、音声認識部３０に入力される。また、音声入力デバイス１０による音声入力に代え、あらかじめ入力する言葉を編集・記録した音声信号ファイル２０から対応する音声信号を音声認識部３０に入力しても良い（図２ステップＳ１０１）。
【００４４】
次に、音声認識部３０は与えられた音声信号を認識する。音声認識部３０には音声認識エンジン３１があり、ここでは例として日本語の音声認識エンジンが搭載されているものとする。音声認識部３０は、通常の音声認識処理である形態素処理、テンプレートマッチング処理などの処理を実行し、入力された単語を認識する。ここでは「止まれ」という音声が「トマレ」という単語データとして認識される。（図２ステップＳ１０２）。
【００４５】
次に、ステップＳ１０２で認識された認識単語データを認識単語・意味番号変換部４０において対応する意味番号に変換する。認識単語・意味番号変換部４０は、意味番号・登録単語リスト４１を参照して、認識単語データに対応する意味番号をサーチする。ここでは認識単語データ「トマレ」を意味番号“１”に変換する（図２ステップＳ１０３）。
【００４６】
ここで、意味番号・登録単語リストの例を図３と図４に示す。図３に挙げたリストは、要素メンバとして、“シンボル番号”、“意味番号”、“登録単語”に加え、単語の付属情報として“カテゴリ”、“単語の説明”を要素メンバに持つ構造体を配列として構成したものである。シンボル番号は、各エントリごとにユニークに割り当てる番号であり、登録単語とは、認識対象となる文字列であり、カテゴリとは、登録単語の分類をコード化したものであり、単語に対する説明とは、登録単語に対する説明である。カテゴリと単語に対する説明は特に付与されないときは、例えば“ＮＵＬＬ”が割り当てられている。
【００４７】
図４に挙げたリストは、要素メンバとして、図３に示した要素メンバに加え、リンクリストを管理する要素メンバ“次のテーブルのアドレス”を加え、個々のエントリの挿入削除を容易に行えるような構造のものである。
【００４８】
次に、ステップＳ１０３で得られた意味番号を、アプリケーション用インタフェースを介してアプリケーション５０に与える（図２ステップＳ１０４）。
アプリケーション５０は、その処理内容の一部に意味番号を含んでおり、入力された意味番号に応じた処理が実行される。アプリケーション５０は画面上に現われるオブジェクトを音声指示により移動制御する処理を含んだゲームであり、ここでは例として、意味番号“１”に対してオブジェクトの移動を停止する処理が行われる（図２ステップＳ１０５）。つまり、ここで挙げた例では、利用者の「止まれ」というマイクロフォンからの音声指示により、画面上に現われるオブジェクトが移動を停止する処理が行われる。
【００４９】
この意味認識処理（図２ステップＳ１０１〜ステップＳ１０５）は、利用者のゲーム進行に合わせて適宜繰り返されて進められる。
以上が、本実施形態１にかかる意味認識システム構成の概略と本システムによる処理流れの全体像である。
【００５０】
以上のように、入力デバイス１０からの音声入力により、アプリケーション５０に対してその指示内容を伝えることができる。本実施形態１にかかる意味認識システムは、利用者に対して音声入力のユーザインタフェースを提供し、アプリケーションに対して言語に依存しない意味内容を伝えるアプリケーション用インタフェースを提供することができる。
【００５１】
なお、本実施形態１では、一例として、日本語による処理を挙げたが、他の言語への対応もシステムのチューンナップにより可能なことは言うまでもない。つまり、音声認識部３０の音声認識エンジン３１を使用したい言語の音声認識エンジンに入れ替え、認識単語・意味番号変換部４０の意味番号・登録単語リスト４１を使用したい言語の意味番号・登録単語リストに入れ替えることで対応できる。ここで、意味番号・登録単語リストの意味番号は、使用言語が異なっている場合でも、同じ意味内容に対して同じ意味番号が付されているので言語非依存であり、アプリケーション５０には、同じ意味内容の音声入力指示に対して同じ意味番号が伝えられることとなり、アプリケーション５０は同じ意味番号に対して同じ処理を実行する。このように、アプリケーションに対して利用者の音声入力内容を個々の単語が持つ本来の意味に着目して意味認識を行うことにより言語非依存として伝えるアプリケーション用インタフェースを提供することができる。
【００５２】
また、認識単語・意味番号変換部４０の意味番号・登録単語リスト変更部４２により、意味番号・登録単語リスト４１の内容を追加・変更することができる。例えば、図４に示したリストの説明で述べたように、“次のテーブルのアドレス”の要素メンバを利用することにより、図５に示すようにエントリの挿入、削除などが容易にできる。図５は、意味番号・登録単語リスト４１中に、認識単語「ウエヘトベ」と意味番号“１５”からなる認識単語・意味番号のセットを１０１番目のエントリとして追加した例を示している。この意味番号・登録単語リスト変更部４２により、意味認識システムを利用環境に合わせてチューンナップすることが可能である。
【００５３】
（実施形態２）
実施形態２にかかる意味認識システムについて図面を参照しながら説明する。本実施形態２は、実施形態１と同様、利用者に対する音声入力によるユーザーインタフェースと、アプリケーションに対する利用者の音声入力内容を言語非依存として伝えるアプリケーション用インタフェースとを提供するシステムであるが、本実施形態２にかかる意味認識システムの特徴は、アプリケーションをロードするとともにアプリケーション側から情報を得て、当該アプリケーションを操作するためのユーザーインタフェースをカスタマイズして構築する点である。
【００５４】
本実施形態２は、実施形態１と同様、アプリケーションは画面上に現われるオブジェクトを音声指示により移動制御する処理を含んだゲームとするが、利用者は英語を使用する者とし、ユーザーインタフェースとして英語環境が構築される例を挙げる。
【００５５】
本実施形態２にかかる意味認識システムの全体構成の概略と本システムによる処理流れの全体像を図面を参照しつつ説明する。図６は、本実施形態２にかかる意味認識システムの概略構成図を示している。図７は、本システムによる処理流れの全体像を処理ステップとして表わしたものである。
【００５６】
図６に示すように、本実施形態２にかかる意味認識システムは、大別して、音声入力デバイス１０、音声信号ファイル２０（図示せず）、音声認識部３０、認識単語・意味番号変換部４０、アプリケーション５０に加え、外部記述ファイル６０を備えている。なお、図示していないが、システム全体の制御処理に必要なコントローラ、メモリなどは装備している。また、実施形態１で説明したものと同様の要素には同じ番号を割り当てている。
【００５７】
アプリケーション５０は、処理データの少なくとも一部に意味番号を含んだアプリケーションである。
外部記述ファイル６０は、アプリケーション本体からは分離された外部ファイルであって、ハードディスクやＣＤ−ＲＯＭなどアクセス可能な二次記憶媒体に格納されておれば良く、プログラムと一体化している必要はない。外部記述ファイル６０に記録されているファイルの内容は、意味を体系的に分類して各々の意味単位をコード化した意味番号と各々の意味番号に属する登録単語とを体系的に記述したテーブルである。この単語・意味体系テーブルは、当該言語体系に属する単語を網羅する登録単語群と対応する意味番号群を備えているものとしても良いが、システムリソースと実効性を考慮して、ゲームなどアプリケーションとして使用が予定されている分野において使用があり得る単語を網羅するものであっても良い。
【００５８】
図８に外部記述ファイルの一例を示す。“State-name”とは、単語を登録する際のカテゴリを記述するための名前を指定する属性であり、“Language-ID”とは、単語の言語を表わす属性であり、基本言語ＩＤ、サブ言語ＩＤなどを備えている。“Dialect”とは、言語の方言に関する属性であり、デフォルトは標準語(Standard)とする。“VCMD”とは、音声命令(Voice command)を記述するキーワードであり、意味番号・登録単語リスト４１の各エントリとなる意味番号・登録単語のセットである。“＃”はその行がコメントであることを示している。
【００５９】
認識単語・意味番号変換部４０は、意味番号取得部４３と意味番号・登録単語リスト生成部４４と登録単語通知部４５を備えている。意味番号取得部４３は、アプリケーション用インタフェースを介してアプリケーション５０に記述された意味番号を取得するものである。意味番号・登録単語リスト生成部４４は、外部記述ファイル６０から取得した意味番号に対応する全ての登録単語を抽出して意味番号・登録単語リスト４１を生成するものである。登録単語通知部４５は、認識単語・意味番号変換部４０が生成した意味番号・登録単語リスト４１に挙げられた登録単語を音声認識部３０に通知するものである。
【００６０】
音声認識部３０は、利用者の使用言語に対応した音声認識エンジン３１と音声認識単語更新部３２とを備えている。音声認識単語更新部３２は、登録単語通知部４５から通知された登録単語に基づいて音声認識エンジン３１の内容を更新するものである。
【００６１】
本実施形態２にかかる意味認識システムの処理の流れの全体像は以下の通りである。まず、意味認識システムにアプリケーション５０をロードする。ロードはＣＤ−ＲＯＭドライブなどのＩＯ装置、ネットワークからのダウンロード（図示せず）などにより行う（図７ステップＳ２０１）。ここでは一例として、ロードされたアプリケーション５０は、画面上に現われたオブジェクトの移動制御を伴うゲームであるとし、処理プログラムの一部にオブジェクトの移動命令を意味番号に基づいた記述が含まれているものとする。
【００６２】
次に、認識単語・意味番号変換部４０の意味番号取得部４３は、アプリケーション用インタフェースを介してアプリケーション５０に記述された意味番号を取得する（図７ステップＳ２０２）。ここでは、例えば意味番号“１”が取得されたとする。
【００６３】
ステップＳ２０２で取得された意味番号は意味番号・登録単語リスト生成部４４に渡される。意味番号・登録単語リスト生成部４４は、例えば、図９に示すように、取得された意味番号を意味番号・登録単語リスト４１に展開して保持する（図７ステップＳ２０３）。
【００６４】
次に、意味番号・登録単語リスト生成部４４は、外部記述ファイル６０の単語・意味体系テーブルを参照して、意味番号・登録単語リスト４１中の意味番号に対応する登録単語を抽出して意味番号・登録単語リスト４１を生成する（図７ステップＳ２０４）。生成された意味番号・登録単語リスト４１の一例を図１０に示す。このように、アプリケーションで使用する命令群が意味番号である中間コードから利用者の使用する言語による命令群として生成される。ここでは英語による命令群が生成される。図１０からも分かるように、個々の意味番号から、その意味番号に対応する外部記述ファイル６０にある登録単語はすべて抽出されてリストに展開される。例えば「止まれ」の意味を表わす意味番号“１”に対して、“STOP”,“HALT”など「止まれ」という直接の意を持つ英語単語に加え、“STAY”，“DON´T MOVE”などオブジェクトに対して同様の動作をもたらす類義語も対応させても良い。
【００６５】
次に、認識単語・意味番号変換部４０の登録単語通知部４５は、ステップＳ２０４で生成した意味番号・登録単語リスト４１に挙げられた登録単語を音声認識部３０に通知する（図７ステップＳ２０５）。ここでは図１０に示された“STOP”,“HALT”などの登録単語が通知される。
【００６６】
次に、音声認識部３０は、ステップＳ２０５で通知された登録単語に基づき、音声認識単語更新部３２により音声認識エンジン３１の内容を更新する。つまり、音声認識エンジンの利用する音声信号の認識パターンの内容を更新し、ステップＳ２０５で通知された登録単語を利用者の使用する言語により音声認識できるユーザーインタフェースを構築する（図７ステップＳ２０６）。
【００６７】
以上のステップＳ２０１〜ステップＳ２０６の処理を実行することにより、ロードしたアプリケーションで使用する利用者入力命令群を、言語非依存の中間コードである意味番号から利用者の使用する言語による命令群に自動的に変換して音声入力によるユーザーインタフェースを構築することができる。
【００６８】
以上のステップＳ２０１〜ステップＳ２０６によるユーザーインタフェースのカスタマイズ処理の後、実施形態１で示した図２の処理ステップを実行することにより、利用者は自らの言語を音声で入力してゲームなどのアプリケーションを楽しむことができる。また、アプリケーションに応じてそのアプリケーションで使用する意味番号・登録単語リスト４１を生成するので、主メモリの使用量を最適化して小さく抑えることができる。また、アプリケーションは利用者入力命令を意味番号を中心とした言語非依存の中間コードで記述できるため、アプリケーション開発者の他言語へのローカライズ作業工数を不要とすることができる。
【００６９】
なお、上記説明では、例として英語による音声入力ユーザーインタフェース構築例を挙げたが、他の言語であっても、意味認識システムが使用予定されている環境に応じて、その基本構成として各言語ごとの基本となる外部記述ファイルと音声認識エンジンを備えることにより、同様にユーザーインタフェースを構築できることは言うまでもない。
また、上記説明において、認識単語・意味番号変換部が、アプリケーションに記述された意味番号を取得する意味番号取得部と、意味番号・登録単語リスト生成部とを備えた構成としたが、意味番号取得部と意味番号・登録単語リスト生成部に代え、アプリケーションが、アプリケーション自身に記述された意味番号に基づいて前記外部記述ファイルの単語・意味体系テーブル中から対応する登録単語を抽出する処理ステップと、前記意味番号と登録単語を前記認識単語・意味番号変換部に通知する処理ステップとを備え、認識単語・意味番号変換部が通知された意味番号と登録単語に基づいて意味番号・登録単語リストを生成する意味番号・登録単語リスト生成部を備える構成であっても良い。
【００７０】
（実施形態３）
実施形態３にかかる意味認識システムについて図面を参照しながら説明する。本実施形態３は、実施形態１および実施形態２と同様、利用者に対する音声入力によるユーザーインタフェースと、アプリケーションに対する利用者の音声入力内容を言語非依存として伝えるアプリケーション用インタフェースとを提供するシステムであるが、本実施形態３にかかる意味認識システムの特徴は、ユーザーインタフェースの対象言語を利用者の指定により自由に選択、更新ができ、さらに、複数の言語を同時に扱うこともできる点である。意味認識システムの想定される使用環境として、利用者が複数の言語を使用する場合や異なる言語を話す複数人が同時に使用する可能性がある場合に適している。本実施形態３では特に、複数の言語を同時に扱うことのできるユーザーインタフェースの構築について述べる。
【００７１】
本実施形態３は、実施形態１と同様、アプリケーションは画面上に現われるオブジェクトを音声指示により移動制御する処理を含んだゲームとするが、利用者は日本語を使用する者と英語を使用する者を想定し、ユーザーインタフェースとして日本語入力環境と英語入力環境が構築される例を挙げる。
【００７２】
本実施形態３にかかる意味認識システムの全体構成の概略と本システムによる処理流れの全体像を図面を参照しつつ説明する。図１１は、本実施形態３にかかる意味認識システムの概略構成図を示している。図１２は、本システムによる処理流れの全体像を処理ステップとして表わしたものである。
【００７３】
図１１は図６とほぼ同様の構成であるが、本実施形態３にかかる意味認識システムは、使用言語指定部７０を備えており、利用者は使用したい言語を指定する。外部記述ファイル６０は言語ごとにファイルが用意されており、日本語外部記述ファイル６０ａ、英語外部記述ファイル６０ｂ、ドイツ語外部記述ファイル６０ｃなどが備えられている。また、音声認識部３０の音声認識エンジン３１も言語ごとに用意されており、日本語音声認識エンジン３１ａ、英語音声認識エンジン３１ｂ、ドイツ語音声認識エンジン３１ｃなどが備えられている。なお、図１、図６と同様の要素に対しては同じ番号を割り当てており、ここではその説明は省略する。また、図１１中の各要素間の矢印は、便宜上、後述する処理ステップＳ３０１における言語指定のデータのなどのやり取りを中心に記し、その他は省略した。
【００７４】
本実施形態３にかかる意味認識システムの処理の流れの全体像は以下の通りである。実施形態２で図７などをもって説明した部分と重複する説明は簡単に記す。まず、利用者は使用したい言語を使用言語指定部７０により指定する（図１２ステップＳ３０１）。ここでは、日本語と英語の２つの言語を指定する。この使用言語指定部７０により指定入力された言語情報は、言語ＩＤ情報として登録単語・意味番号変換部４０、音声認識部３０に通知される。ここでは、日本語外部記述ファイル６０ａと英語外部記述ファイル６０ｂが用意され、日本語音声認識エンジン３１ａと英語音声認識エンジン３１ｂが用意される。
【００７５】
次に、意味認識システムにアプリケーション５０をロードする（図１２ステップＳ３０２）。
次に、認識単語・意味番号変換部４０の意味番号取得部４３は、アプリケーション用インタフェースを介してアプリケーション５０に記述された意味番号を取得する（図１２ステップＳ３０３）。ここでは例えば、意味番号“１”などが取得される。
【００７６】
ステップＳ３０３で取得された意味番号は意味番号・登録単語リスト生成部４４に渡される。意味番号・登録単語リスト生成部４４は、実施形態２と同様、図９に示すように、取得された意味番号を意味番号・登録単語リスト４１に展開して保持する（図１２ステップＳ３０４）。
【００７７】
次に、意味番号・登録単語リスト生成部４４は、ステップＳ３０１において通知された言語ＩＤに基づいて指定された外部記述ファイルを参照する。ここでは、日本語外部記述ファイル６０ａ、英語外部記述ファイル６０ｂが参照される。各外部記述ファイル６０の単語・意味体系テーブルを参照して、意味番号・登録単語リスト４１中の意味番号に対応する登録単語を抽出して意味番号・登録単語リスト４１を生成する（図１２ステップＳ３０５）。生成された意味番号・登録単語リスト４１の一例を図１３に示す。このように、アプリケーションで使用する命令群が意味番号である中間コードから利用者が指定した複数の言語による命令群として生成される。ここでは日本語による命令群と英語による命令群が生成される。
【００７８】
次に、認識単語・意味番号変換部４０の登録単語通知部４５は、ステップＳ３０５で生成した意味番号・登録単語リスト４１に挙げられた登録単語を言語ＩＤとともに音声認識部３０に通知する（図１２ステップＳ３０６）。
【００７９】
次に、音声認識部３０は、ステップＳ３０６で通知された登録単語と言語ＩＤに基づき、音声認識単語更新部３２により音声認識エンジン３１の内容を更新する。つまり、ここでは、日本語音声認識エンジン３１ａと、英語音声認識エンジン３１ｂがチューンナップされる（図１２ステップＳ３０７）。
【００８０】
以上のステップＳ３０１〜ステップＳ３０７の処理を実行することにより、ロードしたアプリケーションで使用する利用者入力命令群を、利用者の使用する複数の言語による命令群に自動的に変換して複数言語の音声入力によるマルチリンガルなユーザーインタフェースを構築することができる。
【００８１】
以上のステップによりユーザインタフェースをカスタマイズした後、アプリケーション５０に対する音声入力による操作は、実施形態１で説明した処理と同様の処理を実行し、ゲームなどのアプリケーションをマルチリンガル環境で楽しむことができる。
【００８２】
なお、上記説明では、例として日本語と英語による音声入力ユーザーインタフェース構築例を挙げたが、他の言語であっても、同様に適用できることは言うまでもない。また、言語には方言も含まれるものとし、日本語、英語などの言語に加え、関西弁、東北弁など各国語の各方言に対しても同様に適応可能である。
【００８３】
（実施形態４）
実施形態３にかかる意味認識システムについて図面を参照しながら説明する。本実施形態３は、実施形態１〜３に示した意味認識システムをクライアントサーバ構成で構築した例である。
【００８４】
図１４は、システムの全体概略構成を示している。
図１４に示すように、ネットワーク上にはアプリケーションサーバ８０、外部記述ファイルサーバ９０が配置されている。アプリケーションサーバ８０にはアプリケーション５０が各種登録されており、クライアント１００の要求によりアプリケーション５０を提供する。外部記述ファイルサーバ９０は各国言語、各方言ごとの外部記述ファイル６０が登録されており、図６、図１１に示した意味認識システムの外部記述ファイル６０がネットワーク上でリモートアクセスできる構成となっている。つまり、意味認識システムクライアント１００からの意味番号による参照要求に対して、意味番号に対応する登録認識単語を通知する構成である。
【００８５】
意味認識システムクライアント１００には、図示していないが、構成に応じて、音声入力デバイス１０、音声信号ファイル２０、音声認識部３０、音声認識エンジン３１、音声認識単語更新部３２、認識単語・意味番号変換部４０、意味番号・登録単語リスト４１、意味番号・登録単語リスト変更部４２、意味番号取得部４３、意味番号・登録単語リスト生成部４４、登録単語通知部４５、使用言語指定部７０を備えている。
【００８６】
また、図示していないが、サーバ、クライアントともに、ネットワーク接続のための通信インタフェースを備えている。ネットワーク１１０は、データを通信できるものであれば良く、ローカルエリアネットワーク、インターネットなどのネットワーク網であり、専用線、公衆回線、有線、無線を問わない。
【００８７】
以上のように構成することにより、外部記述ファイルをネットワーク上に配置された外部記述ファイルサーバとしたクライアントサーバ構成で構築することができ、各言語ごとの外部記述ファイルを意味認識システム個別に用意する必要がなくなる。
【００８８】
（実施形態５）
本発明にかかる意味認識システムは、意味認識システムを実現する処理ステップを備えたプログラムとして記述し、コンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明にかかる意味認識システムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図１５に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１２３やフレキシブルディスク１２４等の可搬型記録媒体１２２だけでなく、ネットワーク上にある記録装置内の記録媒体１２１や、コンピュータのハードディスクやＲＡＭ等の記録媒体１２６のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１２５上にローディングされ、主メモリ上で実行される。
【００８９】
【発明の効果】
本発明にかかる意味認識システムによれば、利用者に対して利用者の使用する言語による音声入力のユーザインタフェースを提供し、利用者は自らの言語の音声入力によりゲームなどのアプリケーションを楽しむことができる。また、アプリケーションに対して言語に依存しない意味内容を伝えるアプリケーション用インタフェースを提供することができ、アプリケーションは利用者入力命令を意味番号を中心とした言語非依存の中間コードで記述できるため、アプリケーション開発者の他言語へのローカライズ作業工数を不要とすることができる。
【００９０】
また、本発明にかかる意味認識システムによれば、アプリケーションに応じてその都度アプリケーションで使用する意味番号・登録単語リストのみを生成するので使用する主メモリの容量を小さく抑えることができ、音声認識の速度が速くなる。
【００９１】
また、本発明にかかる意味認識システムによれば、ロードしたアプリケーションで使用する利用者入力命令群を、利用者の使用する複数の言語による命令群に自動的に変換して複数言語の音声入力によるマルチリンガルなユーザーインタフェースを構築することができる。
【００９２】
さらに、本発明にかかる意味認識システムのうち、外部記述ファイルをネットワーク上に配置された外部記述ファイルサーバとしたクライアントサーバ構成で構築することにより、各言語ごとの外部記述ファイルを意味認識システム個別に用意する必要がなくなり、利用形態の多様化とシステムの低価格化が実現できる。
【図面の簡単な説明】
【図１】 本発明の実施形態１にかかる意味認識システムの概略構成図
【図２】 本発明の実施形態１にかかる意味認識システムの処理流れの全体像を示したフローチャート
【図３】 意味番号・登録単語リストの例
【図４】 意味番号・登録単語リストの例
【図５】 意味番号・登録単語リストへの登録単語・意味番号セット追加例
【図６】 本発明の実施形態２にかかる意味認識システムの概略構成図
【図７】 本発明の実施形態２にかかる意味認識システムの処理流れの全体像を示したフローチャート
【図８】 外部記述ファイル５０の例
【図９】 意味番号・登録単語リスト４１へ取得した意味番号を展開した例
【図１０】 生成された意味番号・登録単語リスト４１の例
【図１１】 本発明の実施形態３にかかる意味認識システムの概略構成図
【図１２】 本発明の実施形態３にかかる意味認識システムの処理流れの全体像を示したフローチャート
【図１３】 生成された意味番号・登録単語リストの例
【図１４】 本発明の実施形態４にかかる意味認識システムの概略構成図
【図１５】 記録媒体の例を示す図
【符号の説明】
１０ 音声入力デバイス
２０ 音声信号ファイル
３０ 音声認識部
３１ 音声認識エンジン
３２ 音声認識単語更新部
４０ 認識単語・意味番号変換部
４１ 意味番号・登録単語リスト
４２ 意味番号・登録単語リスト変更部
４３ 意味番号取得部
４４ 意味番号・登録単語リスト生成部
４５ 登録単語通知部
５０ アプリケーション
６０ 外部記述ファイル
７０ 使用言語指定部
８０ アプリケーションサーバ
９０ 外部記述ファイルサーバ
１００ クライアント
１１０ ネットワーク
１２１ 回線先のハードディスク等の記録媒体
１２２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
１２３ ＣＤ−ＲＯＭ
１２４ フレキシブルディスク
１２５ コンピュータ
１２６ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、音声入力が可能なアプリケーションに対するインタフェースを提供するシステムであって、利用者による音声によるアプリケーションに対する入力指示を、その意味を認識してアプリケーションに通知するシステムに関する。
【０００２】
【従来の技術】
近年のコンピュータシステムの高性能化、マルチメディア処理技術の発達により高度なヒューマンマシンインタフェースの提供が可能となり、人間と直接対話できるようなアプリケーションの開発環境が整いつつある。
【０００３】
従来技術における音声認識技術を使用したアプリケーションは、大別して音声入力部と音声認識部と応用プログラム部分を備えている。音声入力部は、マイクロフォン等の音声入力装置を介して肉声を音声信号に変換する。その他には音声信号を記録したファイルなどからデータを読み込む場合もある。音声認識部は、入力された音声信号が表わす単語を、登録された音声信号パターンとのテンプレートマッチングなどにより認識し、応用プログラムに対して認識単語を通知する。応用プログラムは、音声認識部により通知された認識単語を利用してその後の処理を実行する。
【０００４】
上記従来の音声認識アプリケーションの特徴として、以下の点が挙げられる。第一番目の特徴として、応用プログラムが、音声認識対象単語ごとに１対１に対応した処理プログラムとして記述されている点が挙げられる。つまり、音声認識部は、登録された認識対象単語からマッチングした結果を応用プログラムに通知するため、アプリケーション内部では、その後の処理を認識対象単語ごとにあらかじめ必要な処理に分類して個別に記述しておく必要がある。
【０００５】
第二番目の特徴として、アプリケーションが、登録認識対象単語の言語に依存している点が挙げられる。つまり、音声認識部で登録されている認識対象単語以外は認識できないため、応用プログラムは登録された言語を前提として記述されており、言語依存のものとなっている。
【０００６】
【発明が解決しようとする課題】
現在、各種アプリケーションの開発は、開発対象であるアプリケーションの高度化および複雑化、市場ニーズの変化の多様化、商品の国際化などに伴い、開発工数の低減、開発期間の短縮、多言語への対応が求められている。しかし、上記紹介した従来の音声認識アプリケーションは以下のような問題があった。
【０００７】
従来の音声認識アプリケーションの第一番目の特徴として挙げた、音声認識対象単語ごとに応用アプリケーションが記述されている点に関し、開発工数の増加、認識対象単語の変更・追加などのチューニングの困難性の問題があった。つまり、処理内容を認識対象単語ごとにあらかじめ必要な処理に分類して個別に記述しておく必要があるため、認識対象単語の変更・追加は、応用プログラムの関連する箇所すべてにその影響が及ぶこととなり、記述内容を変更する必要があった。
【０００８】
従来の音声認識アプリケーションの第二番目の特徴として挙げた、アプリケーションが、登録認識対象単語の言語に依存している点に関し、開発工数の増加、多言語への対応の困難性という問題があった。つまり、アプリケーション内部に言語依存部分があるので、システム利用者の使用言語、使用方言などに合わせて単語の表現方法を変えることは、言語依存部分すべてにその影響が及ぶこととなり、記述内容を変更するローカライズ作業の必要があった。
【０００９】
従来の音声認識アプリケーションにおいても認識対象単語テーブルの更新、追加により認識対象単語の更新、追加登録が可能であるが、認識対象単語テーブルの更新、追加登録は、応用プログラムの関連する箇所すべてにその影響が及ぶこととなり、また、他の言語への対応のため認識対象単語テーブルごと入れ替える方法によると、結局、言語依存性から、応用プログラム自体も、入れ替えた認識対象単語テーブルの言語に対応するようにローカライズしたものを別途開発して入れ替える必要があった。
【００１０】
本発明は、上記従来の音声認識システムの問題点に鑑み、言語依存の音声認識部とアプリケーションの関係を相互に独立とし、利用者のユーザインタフェースとして利用者のもっとも使用に適した言語、方言での使用環境を提供し、かつ、アプリケーション側では言語非依存の意味認識を中心とするシステムとすることにより、音声認識関連アプリケーションの多言語への容易な対応を可能とすることを目的とする。また、認識対象単語テーブルの更新・変更が、容易かつアプリケーションの応用プログラム記述部分への影響を最小限である意味認識システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために本発明にかかる意味認識システムは、入力となる音声信号を受け付ける音声信号入力部と、入力された音声信号を基に対応する単語を認識する音声認識部と、単語の意味を表わす意味番号とその意味番号に属する登録単語のリストである意味番号・登録単語リストを備えた認識単語・意味番号変換部と、アプリケーション用インタフェースと、意味番号をデータとして扱うアプリケーションを備え、前記音声信号入力部に入力された音声信号を基に前記音声認識部により対応する単語を認識し、前記認識した単語を前記認識単語・意味番号変換部により対応する意味番号に変換し、前記アプリケーション用インタフェースを介して前記変換した意味番号をアプリケーションに通知することを特徴とする。
【００１２】
かかる構成により、ユーザインタフェースとして利用者にとりもっとも便利な言語、方言のものを提供することができ、かつ、言語依存の音声認識部の登録単語を言語非依存の意味番号に変換してアプリケーションに通知することができ、アプリケーションを言語非依存のものとして記述ができる。
【００１３】
次に、前記意味認識システムは、前記認識単語・意味番号変換部の意味番号・登録単語リストの内容を更新する意味番号・登録単語リスト更新部を備えることが好ましい。
【００１４】
かかる構成により、意味番号・登録単語リストを追加・変更することにより、意味認識システムをチューンナップすることができる。
次に、前記意味認識システムは、意味を体系的に分類して各々の意味単位をコード化した意味番号と各々の意味番号に属する登録単語とを体系的に記述した単語・意味体系テーブルを記録した外部記述ファイルを備えることが好ましい。
【００１５】
かかる構成により、単語とその単語に対応する意味単位との関係を体系的に表わした単語・意味体系テーブルを、アプリケーション本体から分離可能な構成とすることができ、利用者の使用環境に応じて外部記述ファイルを交換することでアプリケーションをローカライズするための基本となるデータを用意することができる。
【００１６】
次に、前記アプリケーションは、処理データの少なくとも一部に意味番号を含んだアプリケーションであって、前記認識単語・意味番号変換部が、前記アプリケーション用インタフェースを介して前記アプリケーションに含まれた意味番号を取得する意味番号取得部と、前記外部記述ファイルの単語・意味体系テーブル中から前記取得した意味番号に対応する登録単語を抽出して前記意味番号・登録単語リストを生成する意味番号・登録単語リスト生成部とを備えることが好ましい。
【００１７】
かかる構成により、アプリケーションを言語非依存の意味番号に基づいて記述し、意味認識システムのローカライズにあたっては、アプリケーションで使用されている意味番号に対応するローカル言語の単語を自動的に抽出することができ、ローカライズ作業工数の大幅な低減が可能となる。
【００１８】
次に、前記アプリケーションは、処理データの少なくとも一部に意味番号を含んだアプリケーションであって、前記アプリケーション自身に含まれた意味番号に基づいて前記外部記述ファイルの単語・意味体系テーブル中から対応する登録単語を抽出する処理ステップと、前記意味番号と登録単語を前記認識単語・意味番号変換部に通知する処理ステップとを備え、前記認識単語・意味番号変換部が、前記アプリケーションから取得した意味番号と登録単語に基づいて前記意味番号・登録単語リストを生成する意味番号・登録単語リスト生成部を備えることが好ましい。
【００１９】
かかる構成により、アプリケーションを言語非依存の意味番号で記述し、意味認識システムのローカライズにあたっては、アプリケーション側から使用されている意味番号に対応するローカル言語の単語を通知させることができ、ローカライズ作業工数の大幅な低減が可能となる。
【００２０】
次に、前記認識単語・意味番号変換部が、前記生成した前記意味番号・登録単語リストに挙げられた登録単語を前記音声認識部に通知する登録単語通知部を備え、前記音声認識部が、前記通知された登録単語に基づいて音声認識エンジンの内容を更新する音声認識単語更新部を備えることが好ましい。
【００２１】
かかる構成により、アプリケーションで利用するために音声認識部で認識が必要な単語の特定とその単語認識に必要な音声認識エンジンの内容を自動生成することができ、ローカライズ作業工数の大幅な低減が可能となる。
【００２２】
次に、前記意味認識システムは、利用者が使用する言語を指定する使用言語指定部と、前記外部記述ファイルとして複数の言語ごとの外部記述ファイルと、前記音声認識部の音声認識エンジンとして複数の言語ごとの音声認識エンジンとを備え、前記意味番号・登録単語リスト生成部は、前記使用言語指定部により指定された言語の外部記述ファイルを基に意味番号・登録単語リストを生成し、前記音声認識部は、前記使用言語指定部により指定された言語の音声認識エンジンを使用し、利用者に対して前記アプリケーションを複数の言語による入力指示ができるマルチリンガル対応のユーザインタフェースを提供することが好ましい。
【００２３】
かかる構成により、利用者の使用言語、使用表現に合わせたカスタマイズ作業が容易に実行できる。また複数言語の外部記述ファイルと音声認識エンジンを指定することにより複数言語の意味番号・登録単語リストの自動生成、音声認識エンジン内容の更新をすることができ、アプリケーションを、同時に複数の言語による音声入力指示ができるマルチリンガル対応とすることができる。ここで言語には方言も含むことができ、日本語、英語などの言語に加え、関西弁、東北弁など各国語の各方言も含むことができる。
【００２４】
次に、前記意味認識システムは、前記外部記述ファイルを提供する外部記述ファイルサーバと、前記アプリケーションを提供するアプリケーションサーバと、前記音声信号入力部と前記音声認識部と前記認識単語・意味番号変換部と前記アプリケーション用インタフェースとを備えた意味認識システムクライアントを備え、前記外部記述ファイルサーバと前記アプリケーションサーバと前記意味認識システムクライアントがコンピュータネットワークを介して接続されることが好ましい。
【００２５】
かかる構成により、外部記述ファイルをネットワーク上に配置された外部記述ファイルサーバとしたクライアントサーバ構成で構築することができ、各言語ごとの外部記述ファイルを意味認識システム個別に用意する必要がなくなる。
【００２６】
次に、本発明にかかる意味認識処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、入力となる音声信号を受け付ける音声信号入力処理ステップと、前記入力処理された音声信号を基に対応する単語を認識する音声認識処理ステップと、意味を表わす意味番号とその意味番号に属する登録単語のリストである意味番号・登録単語リスト生成する意味番号・登録単語リスト生成処理ステップと、前記音声認識処理ステップにより認識した単語を前記生成した意味番号・登録単語リストにより対応する意味番号に変換する認識単語・意味番号変換処理ステップと、前記変換された意味番号を前記アプリケーションに通知する意味番号通知処理ステップとを備えた意味認識処理プログラムを記録したことを特徴とする。
【００２７】
かかる構成により、コンピュータシステムを利用して、ユーザインタフェースとして利用者にとりもっとも便利な言語、方言が使用できる意味認識システムを提供することができ、かつ、言語依存の音声認識部の登録単語を言語非依存の意味番号に変換してアプリケーションに通知することができ、アプリケーションを言語非依存のものとして記述ができる。
【００２８】
次に、前記意味認識処理プログラムは、前記意味番号・登録単語リストの内容を更新する意味番号・登録単語リスト更新処理ステップを備えることが好ましい。
【００２９】
かかる構成により、意味番号・登録単語リストを追加・変更する処理を行うことができ、意味認識システムによる処理をチューンナップすることができる。
次に、前記意味認識処理プログラムは、意味を体系的に分類して各々の意味単位をコード化した意味番号と各々の意味番号に属する登録単語とを体系的に記述した単語・意味体系テーブルを記録した外部記述ファイルを備えたものであることが好ましい。
【００３０】
かかる構成により、前記意味認識処理において、単語とその単語に対応する意味単位との関係を体系的に表わした単語・意味体系テーブルを、アプリケーション本体から分離可能な構成とすることができ、利用者の使用環境に応じて外部記述ファイルを交換することでアプリケーションをローカライズするための基本となるデータを用意することができる。
【００３１】
次に、前記意味認識処理プログラムは、前記アプリケーションが処理データの少なくとも一部に意味番号を含んだアプリケーションであって、前記アプリケーションに含まれた意味番号を取得する意味番号取得処理ステップとを備え、前記意味番号・登録単語リスト生成処理ステップが、前記外部記述ファイルの単語・意味体系テーブル中から前記取得した意味番号に対応する登録単語を抽出して前記意味番号・登録単語リストを生成する処理ステップと、前記生成した意味番号・登録単語リストに挙げられた登録単語を前記音声認識処理ステップに通知する登録単語通知処理ステップを備え、前記音声認識処理ステップが、前記通知された登録単語に基づいて音声認識エンジンの内容を更新する音声認識単語更新処理ステップを備えることが好ましい。
【００３２】
かかる構成により、アプリケーションを言語非依存の意味番号で記述し、意味認識処理ステップのローカライズにあたっては、アプリケーションで使用されている意味番号に対応するローカル言語の単語を自動的に抽出することができ、ローカライズ作業工数の大幅な低減が可能となる。
【００３３】
次に、前記意味認識処理プログラムは、利用者が使用する言語を指定する利用言語指定処理ステップと、前記外部記述ファイルとして複数の言語ごとの外部記述ファイルと、前記音声認識処理ステップで利用する音声認識エンジンとして複数の言語ごとの音声認識エンジンとを備え、前記意味番号・登録単語リスト生成処理ステップにおいて、前記利用言語指定処理ステップにより指定された言語の外部記述ファイルを基に意味番号・登録単語リストを生成し、前記音声認識処理ステップにおいて、前記利用言語指定処理ステップにより指定された言語の音声認識エンジンを使用し、利用者に対して前記アプリケーションを複数の言語による入力指示ができるマルチリンガル対応のユーザインタフェースを提供するものであることが好ましい。
【００３４】
かかる構成により、意味認識システム利用者の使用言語、使用表現に合わせたカスタマイズ作業が容易に実行できる。また、複数の外部記述ファイルを指定することにより複数言語の意味番号・登録単語リストの自動生成、音声認識エンジンの内容の更新をすることができ、アプリケーションを、複数の言語による音声入力指示ができるマルチリンガル対応とすることができる。
【００３５】
次に、前記意味認識処理プログラムが、前記外部記述ファイルを提供する外部記述ファイル提供処理ステップを備えたネットワーク上に配された外部記述ファイルサーバ用の処理プログラムと、前記アプリケーションを提供するアプリケーション提供処理ステップを備えたネットワーク上に配されたアプリケーションサーバ用の処理プログラムと、前記外部記述ファイルサーバ用の処理プログラムと前記アプリケーションサーバ用の処理プログラムに対してネットワーク上で通信する意味認識システムクライアント用処理プログラムを備えたものであることが好ましい。
【００３６】
かかる構成により、外部記述ファイルとアプリケーションをネットワーク上に配置されたサーバから提供するクライアントサーバ構成とした意味認識システムを構築することができる。
【００３７】
【発明の実施の形態】
以下、本発明の実施形態にかかる意味認識システムについて、図面を参照しながら説明する。
【００３８】
（実施形態１）
実施形態１にかかる意味認識システムは、利用者に対して音声入力が可能なユーザインタフェースを提供し、アプリケーションに対して利用者の入力内容を個々の単語が持つ本来の意味に着目して意味認識を行うことにより言語非依存として伝えるアプリケーション用インタフェースを提供するシステムである。本実施形態１では、アプリケーションは画面上に現われるオブジェクトを音声指示により移動制御する処理を含んだゲームとし、利用者は日本語を利用する者とし、ユーザーインタフェースとして日本語環境が構築される例を挙げる。
【００３９】
本実施形態１にかかる意味認識システムの全体構成の概略と本システムによる処理流れの全体像を図面を参照しつつ説明する。図１は、本実施形態１にかかる意味認識システムの概略構成図を示している。図２は、本システムによる処理流れの全体像を処理ステップとして表わしたものである。
【００４０】
図１に示すように、本実施形態１にかかる意味認識システムは、大別して、音声入力デバイス１０、音声信号ファイル２０、音声認識部３０、認識単語・意味番号変換部４０、アプリケーション５０を備えている。なお、図示していないがシステム全体の制御処理に必要なコントローラ、メモリなどは装備している。
【００４１】
音声入力デバイス１０は、マイクロフォン、電話など入力音声を電気信号に変換するデバイスであればよい。音声信号ファイル２０は、あらかじめ入力音声が編集・記録されたファイルである。音声認識部３０は、音声認識エンジン３１を含み、利用者の使用する言語に応じて音声認識エンジン３１は入れ替え可能である。
認識単語・意味番号変換部４０は、音声認識で認識された単語とその単語の意味を表わす意味番号との対応を表わす意味番号・登録単語リスト４１と、意味番号・登録単語リスト４１の内容を追加・変更などを行う意味番号・登録単語リスト変更部４２とを備えている。ここで、意味番号とは、言葉の意味を体系的に分類した同じ意味を持つ言葉の集合体である意味単位をコード化したものである。意味番号は、言語に依存しない個々の単語が持つ本来の意味内容に対して与えられた中間コードであり、言語が異なってもその言語が意図する意味内容は変わらないことに着目して導入するものである。この意味番号は、当該言語体系に属する単語を網羅するものとしても良いが、システムリソースと実効性を考慮して、ゲームなどアプリケーションとして使用が予定されている分野において使用があり得る言葉を網羅するものであっても良い。
【００４２】
認識単語・意味番号変換部４０とアプリケーション５０の間には、利用者の音声入力内容などを伝えるアプリケーション用インタフェースが提供される。アプリケーション５０は、処理内容の一部に意味番号を含んだものである。
【００４３】
意味認識システムの処理の流れの全体像は以下の通りである。まず、利用者にはユーザーインタフェースとして提供されているマイクロフォンなどの音声入力デバイス１０を介して、アプリケーション５０に入力したい指示内容を自らの言葉で入力する。ここでは例として日本語で「止まれ」と入力する。次に、入力された「止まれ」という音声は電気信号に変換され、音声認識部３０に入力される。また、音声入力デバイス１０による音声入力に代え、あらかじめ入力する言葉を編集・記録した音声信号ファイル２０から対応する音声信号を音声認識部３０に入力しても良い（図２ステップＳ１０１）。
【００４４】
次に、音声認識部３０は与えられた音声信号を認識する。音声認識部３０には音声認識エンジン３１があり、ここでは例として日本語の音声認識エンジンが搭載されているものとする。音声認識部３０は、通常の音声認識処理である形態素処理、テンプレートマッチング処理などの処理を実行し、入力された単語を認識する。ここでは「止まれ」という音声が「トマレ」という単語データとして認識される。（図２ステップＳ１０２）。
【００４５】
次に、ステップＳ１０２で認識された認識単語データを認識単語・意味番号変換部４０において対応する意味番号に変換する。認識単語・意味番号変換部４０は、意味番号・登録単語リスト４１を参照して、認識単語データに対応する意味番号をサーチする。ここでは認識単語データ「トマレ」を意味番号“１”に変換する（図２ステップＳ１０３）。
【００４６】
ここで、意味番号・登録単語リストの例を図３と図４に示す。図３に挙げたリストは、要素メンバとして、“シンボル番号”、“意味番号”、“登録単語”に加え、単語の付属情報として“カテゴリ”、“単語の説明”を要素メンバに持つ構造体を配列として構成したものである。シンボル番号は、各エントリごとにユニークに割り当てる番号であり、登録単語とは、認識対象となる文字列であり、カテゴリとは、登録単語の分類をコード化したものであり、単語に対する説明とは、登録単語に対する説明である。カテゴリと単語に対する説明は特に付与されないときは、例えば“ＮＵＬＬ”が割り当てられている。
【００４７】
図４に挙げたリストは、要素メンバとして、図３に示した要素メンバに加え、リンクリストを管理する要素メンバ“次のテーブルのアドレス”を加え、個々のエントリの挿入削除を容易に行えるような構造のものである。
【００４８】
次に、ステップＳ１０３で得られた意味番号を、アプリケーション用インタフェースを介してアプリケーション５０に与える（図２ステップＳ１０４）。
アプリケーション５０は、その処理内容の一部に意味番号を含んでおり、入力された意味番号に応じた処理が実行される。アプリケーション５０は画面上に現われるオブジェクトを音声指示により移動制御する処理を含んだゲームであり、ここでは例として、意味番号“１”に対してオブジェクトの移動を停止する処理が行われる（図２ステップＳ１０５）。つまり、ここで挙げた例では、利用者の「止まれ」というマイクロフォンからの音声指示により、画面上に現われるオブジェクトが移動を停止する処理が行われる。
【００４９】
この意味認識処理（図２ステップＳ１０１〜ステップＳ１０５）は、利用者のゲーム進行に合わせて適宜繰り返されて進められる。
以上が、本実施形態１にかかる意味認識システム構成の概略と本システムによる処理流れの全体像である。
【００５０】
以上のように、入力デバイス１０からの音声入力により、アプリケーション５０に対してその指示内容を伝えることができる。本実施形態１にかかる意味認識システムは、利用者に対して音声入力のユーザインタフェースを提供し、アプリケーションに対して言語に依存しない意味内容を伝えるアプリケーション用インタフェースを提供することができる。
【００５１】
なお、本実施形態１では、一例として、日本語による処理を挙げたが、他の言語への対応もシステムのチューンナップにより可能なことは言うまでもない。つまり、音声認識部３０の音声認識エンジン３１を使用したい言語の音声認識エンジンに入れ替え、認識単語・意味番号変換部４０の意味番号・登録単語リスト４１を使用したい言語の意味番号・登録単語リストに入れ替えることで対応できる。ここで、意味番号・登録単語リストの意味番号は、使用言語が異なっている場合でも、同じ意味内容に対して同じ意味番号が付されているので言語非依存であり、アプリケーション５０には、同じ意味内容の音声入力指示に対して同じ意味番号が伝えられることとなり、アプリケーション５０は同じ意味番号に対して同じ処理を実行する。このように、アプリケーションに対して利用者の音声入力内容を個々の単語が持つ本来の意味に着目して意味認識を行うことにより言語非依存として伝えるアプリケーション用インタフェースを提供することができる。
【００５２】
また、認識単語・意味番号変換部４０の意味番号・登録単語リスト変更部４２により、意味番号・登録単語リスト４１の内容を追加・変更することができる。例えば、図４に示したリストの説明で述べたように、“次のテーブルのアドレス”の要素メンバを利用することにより、図５に示すようにエントリの挿入、削除などが容易にできる。図５は、意味番号・登録単語リスト４１中に、認識単語「ウエヘトベ」と意味番号“１５”からなる認識単語・意味番号のセットを１０１番目のエントリとして追加した例を示している。この意味番号・登録単語リスト変更部４２により、意味認識システムを利用環境に合わせてチューンナップすることが可能である。
【００５３】
（実施形態２）
実施形態２にかかる意味認識システムについて図面を参照しながら説明する。本実施形態２は、実施形態１と同様、利用者に対する音声入力によるユーザーインタフェースと、アプリケーションに対する利用者の音声入力内容を言語非依存として伝えるアプリケーション用インタフェースとを提供するシステムであるが、本実施形態２にかかる意味認識システムの特徴は、アプリケーションをロードするとともにアプリケーション側から情報を得て、当該アプリケーションを操作するためのユーザーインタフェースをカスタマイズして構築する点である。
【００５４】
本実施形態２は、実施形態１と同様、アプリケーションは画面上に現われるオブジェクトを音声指示により移動制御する処理を含んだゲームとするが、利用者は英語を使用する者とし、ユーザーインタフェースとして英語環境が構築される例を挙げる。
【００５５】
本実施形態２にかかる意味認識システムの全体構成の概略と本システムによる処理流れの全体像を図面を参照しつつ説明する。図６は、本実施形態２にかかる意味認識システムの概略構成図を示している。図７は、本システムによる処理流れの全体像を処理ステップとして表わしたものである。
【００５６】
図６に示すように、本実施形態２にかかる意味認識システムは、大別して、音声入力デバイス１０、音声信号ファイル２０（図示せず）、音声認識部３０、認識単語・意味番号変換部４０、アプリケーション５０に加え、外部記述ファイル６０を備えている。なお、図示していないが、システム全体の制御処理に必要なコントローラ、メモリなどは装備している。また、実施形態１で説明したものと同様の要素には同じ番号を割り当てている。
【００５７】
アプリケーション５０は、処理データの少なくとも一部に意味番号を含んだアプリケーションである。
外部記述ファイル６０は、アプリケーション本体からは分離された外部ファイルであって、ハードディスクやＣＤ−ＲＯＭなどアクセス可能な二次記憶媒体に格納されておれば良く、プログラムと一体化している必要はない。外部記述ファイル６０に記録されているファイルの内容は、意味を体系的に分類して各々の意味単位をコード化した意味番号と各々の意味番号に属する登録単語とを体系的に記述したテーブルである。この単語・意味体系テーブルは、当該言語体系に属する単語を網羅する登録単語群と対応する意味番号群を備えているものとしても良いが、システムリソースと実効性を考慮して、ゲームなどアプリケーションとして使用が予定されている分野において使用があり得る単語を網羅するものであっても良い。
【００５８】
図８に外部記述ファイルの一例を示す。“State-name”とは、単語を登録する際のカテゴリを記述するための名前を指定する属性であり、“Language-ID”とは、単語の言語を表わす属性であり、基本言語ＩＤ、サブ言語ＩＤなどを備えている。“Dialect”とは、言語の方言に関する属性であり、デフォルトは標準語(Standard)とする。“VCMD”とは、音声命令(Voice command)を記述するキーワードであり、意味番号・登録単語リスト４１の各エントリとなる意味番号・登録単語のセットである。“＃”はその行がコメントであることを示している。
【００５９】
認識単語・意味番号変換部４０は、意味番号取得部４３と意味番号・登録単語リスト生成部４４と登録単語通知部４５を備えている。意味番号取得部４３は、アプリケーション用インタフェースを介してアプリケーション５０に記述された意味番号を取得するものである。意味番号・登録単語リスト生成部４４は、外部記述ファイル６０から取得した意味番号に対応する全ての登録単語を抽出して意味番号・登録単語リスト４１を生成するものである。登録単語通知部４５は、認識単語・意味番号変換部４０が生成した意味番号・登録単語リスト４１に挙げられた登録単語を音声認識部３０に通知するものである。
【００６０】
音声認識部３０は、利用者の使用言語に対応した音声認識エンジン３１と音声認識単語更新部３２とを備えている。音声認識単語更新部３２は、登録単語通知部４５から通知された登録単語に基づいて音声認識エンジン３１の内容を更新するものである。
【００６１】
本実施形態２にかかる意味認識システムの処理の流れの全体像は以下の通りである。まず、意味認識システムにアプリケーション５０をロードする。ロードはＣＤ−ＲＯＭドライブなどのＩＯ装置、ネットワークからのダウンロード（図示せず）などにより行う（図７ステップＳ２０１）。ここでは一例として、ロードされたアプリケーション５０は、画面上に現われたオブジェクトの移動制御を伴うゲームであるとし、処理プログラムの一部にオブジェクトの移動命令を意味番号に基づいた記述が含まれているものとする。
【００６２】
次に、認識単語・意味番号変換部４０の意味番号取得部４３は、アプリケーション用インタフェースを介してアプリケーション５０に記述された意味番号を取得する（図７ステップＳ２０２）。ここでは、例えば意味番号“１”が取得されたとする。
【００６３】
ステップＳ２０２で取得された意味番号は意味番号・登録単語リスト生成部４４に渡される。意味番号・登録単語リスト生成部４４は、例えば、図９に示すように、取得された意味番号を意味番号・登録単語リスト４１に展開して保持する（図７ステップＳ２０３）。
【００６４】
次に、意味番号・登録単語リスト生成部４４は、外部記述ファイル６０の単語・意味体系テーブルを参照して、意味番号・登録単語リスト４１中の意味番号に対応する登録単語を抽出して意味番号・登録単語リスト４１を生成する（図７ステップＳ２０４）。生成された意味番号・登録単語リスト４１の一例を図１０に示す。このように、アプリケーションで使用する命令群が意味番号である中間コードから利用者の使用する言語による命令群として生成される。ここでは英語による命令群が生成される。図１０からも分かるように、個々の意味番号から、その意味番号に対応する外部記述ファイル６０にある登録単語はすべて抽出されてリストに展開される。例えば「止まれ」の意味を表わす意味番号“１”に対して、“STOP”,“HALT”など「止まれ」という直接の意を持つ英語単語に加え、“STAY”，“DON´T MOVE”などオブジェクトに対して同様の動作をもたらす類義語も対応させても良い。
【００６５】
次に、認識単語・意味番号変換部４０の登録単語通知部４５は、ステップＳ２０４で生成した意味番号・登録単語リスト４１に挙げられた登録単語を音声認識部３０に通知する（図７ステップＳ２０５）。ここでは図１０に示された“STOP”,“HALT”などの登録単語が通知される。
【００６６】
次に、音声認識部３０は、ステップＳ２０５で通知された登録単語に基づき、音声認識単語更新部３２により音声認識エンジン３１の内容を更新する。つまり、音声認識エンジンの利用する音声信号の認識パターンの内容を更新し、ステップＳ２０５で通知された登録単語を利用者の使用する言語により音声認識できるユーザーインタフェースを構築する（図７ステップＳ２０６）。
【００６７】
以上のステップＳ２０１〜ステップＳ２０６の処理を実行することにより、ロードしたアプリケーションで使用する利用者入力命令群を、言語非依存の中間コードである意味番号から利用者の使用する言語による命令群に自動的に変換して音声入力によるユーザーインタフェースを構築することができる。
【００６８】
以上のステップＳ２０１〜ステップＳ２０６によるユーザーインタフェースのカスタマイズ処理の後、実施形態１で示した図２の処理ステップを実行することにより、利用者は自らの言語を音声で入力してゲームなどのアプリケーションを楽しむことができる。また、アプリケーションに応じてそのアプリケーションで使用する意味番号・登録単語リスト４１を生成するので、主メモリの使用量を最適化して小さく抑えることができる。また、アプリケーションは利用者入力命令を意味番号を中心とした言語非依存の中間コードで記述できるため、アプリケーション開発者の他言語へのローカライズ作業工数を不要とすることができる。
【００６９】
なお、上記説明では、例として英語による音声入力ユーザーインタフェース構築例を挙げたが、他の言語であっても、意味認識システムが使用予定されている環境に応じて、その基本構成として各言語ごとの基本となる外部記述ファイルと音声認識エンジンを備えることにより、同様にユーザーインタフェースを構築できることは言うまでもない。
また、上記説明において、認識単語・意味番号変換部が、アプリケーションに記述された意味番号を取得する意味番号取得部と、意味番号・登録単語リスト生成部とを備えた構成としたが、意味番号取得部と意味番号・登録単語リスト生成部に代え、アプリケーションが、アプリケーション自身に記述された意味番号に基づいて前記外部記述ファイルの単語・意味体系テーブル中から対応する登録単語を抽出する処理ステップと、前記意味番号と登録単語を前記認識単語・意味番号変換部に通知する処理ステップとを備え、認識単語・意味番号変換部が通知された意味番号と登録単語に基づいて意味番号・登録単語リストを生成する意味番号・登録単語リスト生成部を備える構成であっても良い。
【００７０】
（実施形態３）
実施形態３にかかる意味認識システムについて図面を参照しながら説明する。本実施形態３は、実施形態１および実施形態２と同様、利用者に対する音声入力によるユーザーインタフェースと、アプリケーションに対する利用者の音声入力内容を言語非依存として伝えるアプリケーション用インタフェースとを提供するシステムであるが、本実施形態３にかかる意味認識システムの特徴は、ユーザーインタフェースの対象言語を利用者の指定により自由に選択、更新ができ、さらに、複数の言語を同時に扱うこともできる点である。意味認識システムの想定される使用環境として、利用者が複数の言語を使用する場合や異なる言語を話す複数人が同時に使用する可能性がある場合に適している。本実施形態３では特に、複数の言語を同時に扱うことのできるユーザーインタフェースの構築について述べる。
【００７１】
本実施形態３は、実施形態１と同様、アプリケーションは画面上に現われるオブジェクトを音声指示により移動制御する処理を含んだゲームとするが、利用者は日本語を使用する者と英語を使用する者を想定し、ユーザーインタフェースとして日本語入力環境と英語入力環境が構築される例を挙げる。
【００７２】
本実施形態３にかかる意味認識システムの全体構成の概略と本システムによる処理流れの全体像を図面を参照しつつ説明する。図１１は、本実施形態３にかかる意味認識システムの概略構成図を示している。図１２は、本システムによる処理流れの全体像を処理ステップとして表わしたものである。
【００７３】
図１１は図６とほぼ同様の構成であるが、本実施形態３にかかる意味認識システムは、使用言語指定部７０を備えており、利用者は使用したい言語を指定する。外部記述ファイル６０は言語ごとにファイルが用意されており、日本語外部記述ファイル６０ａ、英語外部記述ファイル６０ｂ、ドイツ語外部記述ファイル６０ｃなどが備えられている。また、音声認識部３０の音声認識エンジン３１も言語ごとに用意されており、日本語音声認識エンジン３１ａ、英語音声認識エンジン３１ｂ、ドイツ語音声認識エンジン３１ｃなどが備えられている。なお、図１、図６と同様の要素に対しては同じ番号を割り当てており、ここではその説明は省略する。また、図１１中の各要素間の矢印は、便宜上、後述する処理ステップＳ３０１における言語指定のデータのなどのやり取りを中心に記し、その他は省略した。
【００７４】
本実施形態３にかかる意味認識システムの処理の流れの全体像は以下の通りである。実施形態２で図７などをもって説明した部分と重複する説明は簡単に記す。まず、利用者は使用したい言語を使用言語指定部７０により指定する（図１２ステップＳ３０１）。ここでは、日本語と英語の２つの言語を指定する。この使用言語指定部７０により指定入力された言語情報は、言語ＩＤ情報として登録単語・意味番号変換部４０、音声認識部３０に通知される。ここでは、日本語外部記述ファイル６０ａと英語外部記述ファイル６０ｂが用意され、日本語音声認識エンジン３１ａと英語音声認識エンジン３１ｂが用意される。
【００７５】
次に、意味認識システムにアプリケーション５０をロードする（図１２ステップＳ３０２）。
次に、認識単語・意味番号変換部４０の意味番号取得部４３は、アプリケーション用インタフェースを介してアプリケーション５０に記述された意味番号を取得する（図１２ステップＳ３０３）。ここでは例えば、意味番号“１”などが取得される。
【００７６】
ステップＳ３０３で取得された意味番号は意味番号・登録単語リスト生成部４４に渡される。意味番号・登録単語リスト生成部４４は、実施形態２と同様、図９に示すように、取得された意味番号を意味番号・登録単語リスト４１に展開して保持する（図１２ステップＳ３０４）。
【００７７】
次に、意味番号・登録単語リスト生成部４４は、ステップＳ３０１において通知された言語ＩＤに基づいて指定された外部記述ファイルを参照する。ここでは、日本語外部記述ファイル６０ａ、英語外部記述ファイル６０ｂが参照される。各外部記述ファイル６０の単語・意味体系テーブルを参照して、意味番号・登録単語リスト４１中の意味番号に対応する登録単語を抽出して意味番号・登録単語リスト４１を生成する（図１２ステップＳ３０５）。生成された意味番号・登録単語リスト４１の一例を図１３に示す。このように、アプリケーションで使用する命令群が意味番号である中間コードから利用者が指定した複数の言語による命令群として生成される。ここでは日本語による命令群と英語による命令群が生成される。
【００７８】
次に、認識単語・意味番号変換部４０の登録単語通知部４５は、ステップＳ３０５で生成した意味番号・登録単語リスト４１に挙げられた登録単語を言語ＩＤとともに音声認識部３０に通知する（図１２ステップＳ３０６）。
【００７９】
次に、音声認識部３０は、ステップＳ３０６で通知された登録単語と言語ＩＤに基づき、音声認識単語更新部３２により音声認識エンジン３１の内容を更新する。つまり、ここでは、日本語音声認識エンジン３１ａと、英語音声認識エンジン３１ｂがチューンナップされる（図１２ステップＳ３０７）。
【００８０】
以上のステップＳ３０１〜ステップＳ３０７の処理を実行することにより、ロードしたアプリケーションで使用する利用者入力命令群を、利用者の使用する複数の言語による命令群に自動的に変換して複数言語の音声入力によるマルチリンガルなユーザーインタフェースを構築することができる。
【００８１】
以上のステップによりユーザインタフェースをカスタマイズした後、アプリケーション５０に対する音声入力による操作は、実施形態１で説明した処理と同様の処理を実行し、ゲームなどのアプリケーションをマルチリンガル環境で楽しむことができる。
【００８２】
なお、上記説明では、例として日本語と英語による音声入力ユーザーインタフェース構築例を挙げたが、他の言語であっても、同様に適用できることは言うまでもない。また、言語には方言も含まれるものとし、日本語、英語などの言語に加え、関西弁、東北弁など各国語の各方言に対しても同様に適応可能である。
【００８３】
（実施形態４）
実施形態３にかかる意味認識システムについて図面を参照しながら説明する。本実施形態３は、実施形態１〜３に示した意味認識システムをクライアントサーバ構成で構築した例である。
【００８４】
図１４は、システムの全体概略構成を示している。
図１４に示すように、ネットワーク上にはアプリケーションサーバ８０、外部記述ファイルサーバ９０が配置されている。アプリケーションサーバ８０にはアプリケーション５０が各種登録されており、クライアント１００の要求によりアプリケーション５０を提供する。外部記述ファイルサーバ９０は各国言語、各方言ごとの外部記述ファイル６０が登録されており、図６、図１１に示した意味認識システムの外部記述ファイル６０がネットワーク上でリモートアクセスできる構成となっている。つまり、意味認識システムクライアント１００からの意味番号による参照要求に対して、意味番号に対応する登録認識単語を通知する構成である。
【００８５】
意味認識システムクライアント１００には、図示していないが、構成に応じて、音声入力デバイス１０、音声信号ファイル２０、音声認識部３０、音声認識エンジン３１、音声認識単語更新部３２、認識単語・意味番号変換部４０、意味番号・登録単語リスト４１、意味番号・登録単語リスト変更部４２、意味番号取得部４３、意味番号・登録単語リスト生成部４４、登録単語通知部４５、使用言語指定部７０を備えている。
【００８６】
また、図示していないが、サーバ、クライアントともに、ネットワーク接続のための通信インタフェースを備えている。ネットワーク１１０は、データを通信できるものであれば良く、ローカルエリアネットワーク、インターネットなどのネットワーク網であり、専用線、公衆回線、有線、無線を問わない。
【００８７】
以上のように構成することにより、外部記述ファイルをネットワーク上に配置された外部記述ファイルサーバとしたクライアントサーバ構成で構築することができ、各言語ごとの外部記述ファイルを意味認識システム個別に用意する必要がなくなる。
【００８８】
（実施形態５）
本発明にかかる意味認識システムは、意味認識システムを実現する処理ステップを備えたプログラムとして記述し、コンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明にかかる意味認識システムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図１５に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１２３やフレキシブルディスク１２４等の可搬型記録媒体１２２だけでなく、ネットワーク上にある記録装置内の記録媒体１２１や、コンピュータのハードディスクやＲＡＭ等の記録媒体１２６のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１２５上にローディングされ、主メモリ上で実行される。
【００８９】
【発明の効果】
本発明にかかる意味認識システムによれば、利用者に対して利用者の使用する言語による音声入力のユーザインタフェースを提供し、利用者は自らの言語の音声入力によりゲームなどのアプリケーションを楽しむことができる。また、アプリケーションに対して言語に依存しない意味内容を伝えるアプリケーション用インタフェースを提供することができ、アプリケーションは利用者入力命令を意味番号を中心とした言語非依存の中間コードで記述できるため、アプリケーション開発者の他言語へのローカライズ作業工数を不要とすることができる。
【００９０】
また、本発明にかかる意味認識システムによれば、アプリケーションに応じてその都度アプリケーションで使用する意味番号・登録単語リストのみを生成するので使用する主メモリの容量を小さく抑えることができ、音声認識の速度が速くなる。
【００９１】
また、本発明にかかる意味認識システムによれば、ロードしたアプリケーションで使用する利用者入力命令群を、利用者の使用する複数の言語による命令群に自動的に変換して複数言語の音声入力によるマルチリンガルなユーザーインタフェースを構築することができる。
【００９２】
さらに、本発明にかかる意味認識システムのうち、外部記述ファイルをネットワーク上に配置された外部記述ファイルサーバとしたクライアントサーバ構成で構築することにより、各言語ごとの外部記述ファイルを意味認識システム個別に用意する必要がなくなり、利用形態の多様化とシステムの低価格化が実現できる。
【図面の簡単な説明】
【図１】 本発明の実施形態１にかかる意味認識システムの概略構成図
【図２】 本発明の実施形態１にかかる意味認識システムの処理流れの全体像を示したフローチャート
【図３】 意味番号・登録単語リストの例
【図４】 意味番号・登録単語リストの例
【図５】 意味番号・登録単語リストへの登録単語・意味番号セット追加例
【図６】 本発明の実施形態２にかかる意味認識システムの概略構成図
【図７】 本発明の実施形態２にかかる意味認識システムの処理流れの全体像を示したフローチャート
【図８】 外部記述ファイル５０の例
【図９】 意味番号・登録単語リスト４１へ取得した意味番号を展開した例
【図１０】 生成された意味番号・登録単語リスト４１の例
【図１１】 本発明の実施形態３にかかる意味認識システムの概略構成図
【図１２】 本発明の実施形態３にかかる意味認識システムの処理流れの全体像を示したフローチャート
【図１３】 生成された意味番号・登録単語リストの例
【図１４】 本発明の実施形態４にかかる意味認識システムの概略構成図
【図１５】 記録媒体の例を示す図
【符号の説明】
１０ 音声入力デバイス
２０ 音声信号ファイル
３０ 音声認識部
３１ 音声認識エンジン
３２ 音声認識単語更新部
４０ 認識単語・意味番号変換部
４１ 意味番号・登録単語リスト
４２ 意味番号・登録単語リスト変更部
４３ 意味番号取得部
４４ 意味番号・登録単語リスト生成部
４５ 登録単語通知部
５０ アプリケーション
６０ 外部記述ファイル
７０ 使用言語指定部
８０ アプリケーションサーバ
９０ 外部記述ファイルサーバ
１００ クライアント
１１０ ネットワーク
１２１ 回線先のハードディスク等の記録媒体
１２２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
１２３ ＣＤ−ＲＯＭ
１２４ フレキシブルディスク
１２５ コンピュータ
１２６ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (8)
- 利用者に対して音声入力が可能なユーザインタフェースと、
入力となる音声信号を受け付ける音声信号入力部と、
入力された音声信号を基に対応する単語を認識する音声認識部と、
単語の意味を表わし、言語に依存しない意味番号と、その意味番号に属する登録単語とのリストである意味番号・登録単語リストを含む認識単語・意味番号変換部と、
意味を体系的に分類して各々の意味単位がコード化された意味番号と、各々の意味番号に属する登録単語とを体系的に記述した単語・意味体系テーブルを記録した外部記述ファイルと、
入力された意味番号に応じた処理を実行するアプリケーションに対して利用者の入力内容を、前記意味番号を用いて伝えるアプリケーション用インタフェースとを備え、
前記外部記述ファイルは、前記アプリケーションの本体から分離可能であって、
前記認識単語・意味番号変換部は、更に、
前記アプリケーション用インタフェースを介して前記アプリケーションに含まれた意味番号を取得する意味番号取得部と、
前記外部記述ファイルの単語・意味体系テーブル中から前記取得した意味番号に対応する登録単語を全て抽出することにより、前記意味番号と抽出した登録単語とを対応付けた前記意味番号・登録単語リストを生成する意味番号・登録単語リスト生成部とを備え、
前記音声信号入力部に入力された音声信号を基に前記音声認識部により対応する単語を認識し、前記認識した単語を前記認識単語・意味番号変換部により対応する意味番号に変換し、前記アプリケーション用インタフェースを介して前記変換した意味番号を前記アプリケーションに通知することを特徴とする意味認識システム。 - 利用者に対して音声入力が可能なユーザインタフェースと、
入力となる音声信号を受け付ける音声信号入力部と、
入力された音声信号を基に対応する単語を認識する音声認識部と、
単語の意味を表わし、言語に依存しない意味番号と、その意味番号に属する登録単語とのリストである意味番号・登録単語リストを含む認識単語・意味番号変換部と、
意味を体系的に分類して各々の意味単位がコード化された意味番号と、各々の意味番号に属する登録単語とを体系的に記述した単語・意味体系テーブルを記録した外部記述ファイルと、
入力された意味番号に応じた処理を実行するアプリケーションに対して利用者の入力内容を、前記意味番号を用いて伝えるアプリケーション用インタフェースとを備え、
前記外部記述ファイルは、前記アプリケーションの本体から分離可能であって、
前記認識単語・意味番号変換部は、更に、
前記アプリケーションに含まれた意味番号に基づいて前記外部記述ファイルの単語・意味体系テーブル中から対応する登録単語を全て抽出する抽出手段と、前記意味番号と抽出した登録単語とを前記認識単語・意味番号変換部に通知する通知手段とを備えた前記アプリケーションから取得した意味番号と登録単語とを対応付けた前記意味番号・登録単語リストを生成する意味番号・登録単語リスト生成部を備え、
前記音声信号入力部に入力された音声信号を基に前記音声認識部により対応する単語を認識し、前記認識した単語を前記認識単語・意味番号変換部により対応する意味番号に変換し、前記アプリケーション用インタフェースを介して前記変換した意味番号を前記アプリケーションに通知することを特徴とする意味認識システム。 - 更に、前記認識単語・意味番号変換部の意味番号・登録単語リストの内容を更新する意味番号・登録単語リスト更新部を備えた請求項１または２に記載の意味認識システム。
- 前記認識単語・意味番号変換部は、前記生成した意味番号・登録単語リストに挙げられた登録単語を前記音声認識部に通知する登録単語通知部を備え、
前記音声認識部は、前記通知された登録単語に基づいて、前記音声認識部に含まれている音声認識エンジンの内容を更新する音声認識単語更新部を備えた請求項１または２に記載の意味認識システム。 - 利用者が使用する言語を指定する使用言語指定部と、
前記外部記述ファイルとして複数の言語ごとの外部記述ファイルと、
前記音声認識部の音声認識エンジンとして複数の言語ごとの音声認識エンジンとを備え、
前記意味番号・登録単語リスト生成部は、前記使用言語指定部により指定された言語の外部記述ファイルを基に意味番号・登録単語リストを生成し、
前記音声認識部は、前記使用言語指定部により指定された言語の音声認識エンジンを使用し、利用者に対して前記アプリケーションを複数の言語による入力指示ができるマルチリンガル対応のユーザインタフェースを提供する請求項４に記載の意味認識システム。 - 前記外部記述ファイルを提供する外部記述ファイルサーバと、
前記アプリケーションを提供するアプリケーションサーバと、
前記音声信号入力部と前記音声認識部と前記認識単語・意味番号変換部と前記アプリケーション用インタフェースとを備えた意味認識システムクライアントとを備え、
前記外部記述ファイルサーバと前記アプリケーションサーバと前記意味認識システムクライアントがコンピュータネットワークを介して接続された請求項４または５に記載の意味認識システム。 - 利用者に対して音声入力が可能なユーザインタフェースと、
意味を体系的に分類して各々の意味単位がコード化された意味番号と、各々の意味番号に属する登録単語とを体系的に記述した単語・意味体系テーブルを記録した外部記述ファイルと、
入力された意味番号に応じた処理を実行するアプリケーションに対して利用者の入力内容を、前記意味番号を用いて伝えるアプリケーション用インタフェースとを備えたコンピュータを意味認識システムとして動作させる意味認識プログラムが記録された記録媒体であって、
前記外部記述ファイルは、前記アプリケーションの本体から分離可能であって、
前記意味認識プログラムは、
入力となる音声信号を受け付ける音声信号入力処理と、
入力された音声信号を基に対応する単語を認識する音声認識処理と、
単語の意味を表わし、言語に依存しない意味番号と、その意味番号に属する登録単語とのリストである意味番号・登録単語リストを生成する認識単語・意味番号変換処理とを前記コンピュータに実行させ、
前記認識単語・意味番号変換処理は、更に、
前記アプリケーション用インタフェースを介して前記アプリケーションに含まれた意味番号を取得する意味番号取得処理と、
前記外部記述ファイルの単語・意味体系テーブル中から前記取得した意味番号に対応する登録単語を全て抽出することにより、前記意味番号と抽出した登録単語とを対応付けた前記意味番号・登録単語リストを生成する意味番号・登録単語リスト生成処理とを含み、
前記音声信号入力処理に入力された音声信号を基に前記音声認識処理により対応する単語を認識し、前記認識した単語を前記認識単語・意味番号変換処理により対応する意味番号に変換し、前記アプリケーション用インタフェースを介して前記変換した意味番号を前記アプリケーションに通知する処理をコンピュータに実行させることを特徴とする意味認識プログラムを記録した記録媒体。 - 利用者に対して音声入力が可能なユーザインタフェースと、
意味を体系的に分類して各々の意味単位がコード化された意味番号と、各々の意味番号に属する登録単語とを体系的に記述した単語・意味体系テーブルを記録した外部記述ファイルと、
入力された意味番号に応じた処理を実行するアプリケーションに対して利用者の入力内容を、前記意味番号を用いて伝えるアプリケーション用インタフェースとを備えたコンピュータを意味認識システムとして動作させる意味認識プログラムが記録された記録媒体であって、
前記外部記述ファイルは、前記アプリケーションの本体から分離可能であって、
前記意味認識プログラムは、
入力となる音声信号を受け付ける音声信号入力処理と、
入力された音声信号を基に対応する単語を認識する音声認識処理と、
単語の意味を表わし、言語に依存しない意味番号と、その意味番号に属する登録単語とのリストである意味番号・登録単語リストを生成する認識単語・意味番号変換処理とを前記コンピュータに実行させ、
前記認識単語・意味番号変換処理は、更に、
前記アプリケーションに含まれた意味番号に基づいて前記外部記述ファイルの単語・意味体系テーブル中から対応する登録単語を全て抽出する抽出処理と、前記意味番号と抽出した登録単語とを前記認識単語・意味番号変換処理に通知する通知処理とを含む前記アプリケーションから取得した意味番号と登録単語とを対応付けた前記意味番号・登録単語リストを生成する意味番号・登録単語リスト生成処理を含み、
前記音声信号入力処理に入力された音声信号を基に前記音声認識処理により対応する単語を認識し、前記認識した単語を前記認識単語・意味番号変換処理により対応する意味番号に変換し、前記アプリケーション用インタフェースを介して前記変換した意味番号を前記アプリケーションに通知する処理をコンピュータに実行させることを特徴とする意味認識プログラムを記録した記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11752498A JP4036528B2 (ja) | 1998-04-27 | 1998-04-27 | 意味認識システム |
| US09/151,291 US5991719A (en) | 1998-04-27 | 1998-09-11 | Semantic recognition system |
| EP98307561A EP0953896B1 (en) | 1998-04-27 | 1998-09-17 | Semantic recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11752498A JP4036528B2 (ja) | 1998-04-27 | 1998-04-27 | 意味認識システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11312073A JPH11312073A (ja) | 1999-11-09 |
| JP4036528B2 true JP4036528B2 (ja) | 2008-01-23 |
Family
ID=14713922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11752498A Expired - Fee Related JP4036528B2 (ja) | 1998-04-27 | 1998-04-27 | 意味認識システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5991719A (ja) |
| EP (1) | EP0953896B1 (ja) |
| JP (1) | JP4036528B2 (ja) |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11224179A (ja) * | 1998-02-05 | 1999-08-17 | Fujitsu Ltd | 対話インタフェース・システム |
| JPH11311995A (ja) * | 1998-04-30 | 1999-11-09 | Toshiba Tec Corp | 音声認識装置 |
| JP2000187435A (ja) * | 1998-12-24 | 2000-07-04 | Sony Corp | 情報処理装置、携帯機器、電子ペット装置、情報処理手順を記録した記録媒体及び情報処理方法 |
| US20010037198A1 (en) * | 2000-02-01 | 2001-11-01 | Into Voice Corporation | Method and system for providing texts for voice requests |
| GB0004097D0 (en) * | 2000-02-22 | 2000-04-12 | Ibm | Management of speech technology modules in an interactive voice response system |
| US7788602B2 (en) | 2000-06-06 | 2010-08-31 | Microsoft Corporation | Method and system for providing restricted actions for recognized semantic categories |
| US7770102B1 (en) | 2000-06-06 | 2010-08-03 | Microsoft Corporation | Method and system for semantically labeling strings and providing actions based on semantically labeled strings |
| US7716163B2 (en) | 2000-06-06 | 2010-05-11 | Microsoft Corporation | Method and system for defining semantic categories and actions |
| US7421645B2 (en) | 2000-06-06 | 2008-09-02 | Microsoft Corporation | Method and system for providing electronic commerce actions based on semantically labeled strings |
| US7712024B2 (en) | 2000-06-06 | 2010-05-04 | Microsoft Corporation | Application program interfaces for semantically labeling strings and providing actions based on semantically labeled strings |
| US7047196B2 (en) | 2000-06-08 | 2006-05-16 | Agiletv Corporation | System and method of voice recognition near a wireline node of a network supporting cable television and/or video delivery |
| US7792676B2 (en) * | 2000-10-25 | 2010-09-07 | Robert Glenn Klinefelter | System, method, and apparatus for providing interpretive communication on a network |
| US6665642B2 (en) | 2000-11-29 | 2003-12-16 | Ibm Corporation | Transcoding system and method for improved access by users with special needs |
| US20020095473A1 (en) * | 2001-01-12 | 2002-07-18 | Stuart Berkowitz | Home-based client-side media computer |
| US7383187B2 (en) * | 2001-01-24 | 2008-06-03 | Bevocal, Inc. | System, method and computer program product for a distributed speech recognition tuning platform |
| US8095370B2 (en) | 2001-02-16 | 2012-01-10 | Agiletv Corporation | Dual compression voice recordation non-repudiation system |
| US7778816B2 (en) | 2001-04-24 | 2010-08-17 | Microsoft Corporation | Method and system for applying input mode bias |
| US6688652B2 (en) * | 2001-12-12 | 2004-02-10 | U.S. Pipe And Foundry Company | Locking device and method for securing telescoped pipe |
| JP4017887B2 (ja) * | 2002-02-28 | 2007-12-05 | 富士通株式会社 | 音声認識システムおよび音声ファイル記録システム |
| US7325194B2 (en) | 2002-05-07 | 2008-01-29 | Microsoft Corporation | Method, system, and apparatus for converting numbers between measurement systems based upon semantically labeled strings |
| US7707496B1 (en) | 2002-05-09 | 2010-04-27 | Microsoft Corporation | Method, system, and apparatus for converting dates between calendars and languages based upon semantically labeled strings |
| US7742048B1 (en) * | 2002-05-23 | 2010-06-22 | Microsoft Corporation | Method, system, and apparatus for converting numbers based upon semantically labeled strings |
| US7707024B2 (en) | 2002-05-23 | 2010-04-27 | Microsoft Corporation | Method, system, and apparatus for converting currency values based upon semantically labeled strings |
| US7281245B2 (en) | 2002-06-05 | 2007-10-09 | Microsoft Corporation | Mechanism for downloading software components from a remote source for use by a local software application |
| US7827546B1 (en) | 2002-06-05 | 2010-11-02 | Microsoft Corporation | Mechanism for downloading software components from a remote source for use by a local software application |
| US7356537B2 (en) | 2002-06-06 | 2008-04-08 | Microsoft Corporation | Providing contextually sensitive tools and help content in computer-generated documents |
| US7716676B2 (en) | 2002-06-25 | 2010-05-11 | Microsoft Corporation | System and method for issuing a message to a program |
| US7392479B2 (en) | 2002-06-27 | 2008-06-24 | Microsoft Corporation | System and method for providing namespace related information |
| US7209915B1 (en) | 2002-06-28 | 2007-04-24 | Microsoft Corporation | Method, system and apparatus for routing a query to one or more providers |
| US20040012643A1 (en) * | 2002-07-18 | 2004-01-22 | August Katherine G. | Systems and methods for visually communicating the meaning of information to the hearing impaired |
| US7143041B2 (en) * | 2002-12-23 | 2006-11-28 | System Application Engineering, Inc. | Method for object selection |
| US7783614B2 (en) | 2003-02-13 | 2010-08-24 | Microsoft Corporation | Linking elements of a document to corresponding fields, queries and/or procedures in a database |
| US7711550B1 (en) | 2003-04-29 | 2010-05-04 | Microsoft Corporation | Methods and system for recognizing names in a computer-generated document and for providing helpful actions associated with recognized names |
| US7558841B2 (en) | 2003-05-14 | 2009-07-07 | Microsoft Corporation | Method, system, and computer-readable medium for communicating results to a data query in a computer network |
| GB2402507A (en) * | 2003-06-03 | 2004-12-08 | Canon Kk | A user input interpreter and a method of interpreting user input |
| US7739588B2 (en) | 2003-06-27 | 2010-06-15 | Microsoft Corporation | Leveraging markup language data for semantically labeling text strings and data and for providing actions based on semantically labeled text strings and data |
| KR100552693B1 (ko) * | 2003-10-25 | 2006-02-20 | 삼성전자주식회사 | 피치검출방법 및 장치 |
| US7689404B2 (en) * | 2004-02-24 | 2010-03-30 | Arkady Khasin | Method of multilingual speech recognition by reduction to single-language recognizer engine components |
| US20060020444A1 (en) * | 2004-07-26 | 2006-01-26 | Cousineau Leo E | Ontology based medical system for data capture and knowledge representation |
| US20060020465A1 (en) * | 2004-07-26 | 2006-01-26 | Cousineau Leo E | Ontology based system for data capture and knowledge representation |
| US20060020447A1 (en) * | 2004-07-26 | 2006-01-26 | Cousineau Leo E | Ontology based method for data capture and knowledge representation |
| US20060020466A1 (en) * | 2004-07-26 | 2006-01-26 | Cousineau Leo E | Ontology based medical patient evaluation method for data capture and knowledge representation |
| US20060136220A1 (en) * | 2004-12-22 | 2006-06-22 | Rama Gurram | Controlling user interfaces with voice commands from multiple languages |
| US8788271B2 (en) * | 2004-12-22 | 2014-07-22 | Sap Aktiengesellschaft | Controlling user interfaces with contextual voice commands |
| US7409344B2 (en) * | 2005-03-08 | 2008-08-05 | Sap Aktiengesellschaft | XML based architecture for controlling user interfaces with contextual voice commands |
| US7788590B2 (en) | 2005-09-26 | 2010-08-31 | Microsoft Corporation | Lightweight reference user interface |
| US7992085B2 (en) | 2005-09-26 | 2011-08-02 | Microsoft Corporation | Lightweight reference user interface |
| JP4846734B2 (ja) | 2005-12-07 | 2011-12-28 | 三菱電機株式会社 | 音声認識装置 |
| SG133419A1 (en) * | 2005-12-12 | 2007-07-30 | Creative Tech Ltd | A method and apparatus for accessing a digital file from a collection of digital files |
| US7873517B2 (en) | 2006-11-09 | 2011-01-18 | Volkswagen Of America, Inc. | Motor vehicle with a speech interface |
| US8472925B2 (en) * | 2007-10-23 | 2013-06-25 | Real Time Translation, Inc. | On-demand, real-time interpretation system and method |
| JP5326549B2 (ja) * | 2008-12-22 | 2013-10-30 | 日産自動車株式会社 | 音声認識装置及び方法 |
| CN102918586B (zh) * | 2010-06-02 | 2015-08-12 | 拿索斯财务有限公司 | 用于图像数据记录和再现的设备及其方法 |
| US9077813B2 (en) | 2012-02-29 | 2015-07-07 | International Business Machines Corporation | Masking mobile message content |
| US20140045463A1 (en) * | 2012-08-10 | 2014-02-13 | Silverplus, Inc. | Wearable Communication Device |
| CN103051781A (zh) * | 2012-12-07 | 2013-04-17 | 百度在线网络技术（北京）有限公司 | 语音后台控制方法及移动终端 |
| JP2016166923A (ja) * | 2015-03-09 | 2016-09-15 | Ntn株式会社 | 測定データ記録・管理装置 |
| US9928235B2 (en) * | 2016-07-07 | 2018-03-27 | International Business Machines Corporation | Type-specific rule-based generation of semantic variants of natural language expression |
| US9767094B1 (en) | 2016-07-07 | 2017-09-19 | International Business Machines Corporation | User interface for supplementing an answer key of a question answering system using semantically equivalent variants of natural language expressions |
| US9910848B2 (en) * | 2016-07-07 | 2018-03-06 | International Business Machines Corporation | Generating semantic variants of natural language expressions using type-specific templates |
| US10490188B2 (en) | 2017-09-12 | 2019-11-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for language selection |
| CN110491383B (zh) * | 2019-09-25 | 2022-02-18 | 北京声智科技有限公司 | 一种语音交互方法、装置、系统、存储介质及处理器 |
| CN114464179B (zh) * | 2022-01-28 | 2024-03-19 | 达闼机器人股份有限公司 | 语音交互方法、系统、装置、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4706212A (en) * | 1971-08-31 | 1987-11-10 | Toma Peter P | Method using a programmed digital computer system for translation between natural languages |
| US5551049A (en) * | 1987-05-26 | 1996-08-27 | Xerox Corporation | Thesaurus with compactly stored word groups |
| US4870686A (en) * | 1987-10-19 | 1989-09-26 | Motorola, Inc. | Method for entering digit sequences by voice command |
| US5386494A (en) * | 1991-12-06 | 1995-01-31 | Apple Computer, Inc. | Method and apparatus for controlling a speech recognition function using a cursor control device |
| JPH08274858A (ja) * | 1995-03-30 | 1996-10-18 | Kokusai Denshin Denwa Co Ltd <Kdd> | ダイヤレス発信装置 |
| JPH09330316A (ja) * | 1996-06-10 | 1997-12-22 | Meidensha Corp | 電子メールの翻訳方法 |
-
1998
- 1998-04-27 JP JP11752498A patent/JP4036528B2/ja not_active Expired - Fee Related
- 1998-09-11 US US09/151,291 patent/US5991719A/en not_active Expired - Lifetime
- 1998-09-17 EP EP98307561A patent/EP0953896B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11312073A (ja) | 1999-11-09 |
| EP0953896A1 (en) | 1999-11-03 |
| EP0953896B1 (en) | 2006-09-13 |
| US5991719A (en) | 1999-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4036528B2 (ja) | 意味認識システム | |
| US7369998B2 (en) | Context based language translation devices and methods | |
| US8521677B2 (en) | Artificial intelligence system | |
| JP6767046B2 (ja) | 音声対話システム、音声対話装置、ユーザー端末、および音声対話方法 | |
| AU2014331209B2 (en) | Method for dialogue between a machine, such as a humanoid robot, and a human interlocutor; computer program product; and humanoid robot for implementing such a method | |
| EP0692765A2 (en) | Text preparing system using knowledge base and method therefor | |
| CN102298928A (zh) | 用于认知超负荷的设备用户的交互式对话 | |
| JP2021022928A (ja) | 人工知能基盤の自動応答方法およびシステム | |
| US20070073768A1 (en) | Interactive system for building and sharing one's own databank of wisdom bytes, such as words of wisdom, basic truths and/or facts and and feats, in one or more languages | |
| JP2005031758A (ja) | 音声処理装置及び方法 | |
| JP2002236681A (ja) | 日常言語コンピューティングシステムおよびその方法 | |
| JP5327737B2 (ja) | 対話装置、重み情報学習装置、対話方法、重み情報学習方法、およびプログラム | |
| Cristea et al. | CoBiLiRo: A research platform for bimodal corpora | |
| US20210149900A1 (en) | Method, system and computer program for semantic triple-based knowledge extension | |
| CN109891410B (zh) | 用于新的会话对话系统的数据收集 | |
| EP3822817A1 (en) | Method, system and computer program for semantic triple-based knowledge extension | |
| KR102446300B1 (ko) | 음성 기록을 위한 음성 인식률을 향상시키는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체 | |
| CN109377988A (zh) | 用于智能音箱的交互方法、介质、装置和计算设备 | |
| JP2004072274A (ja) | 音声処理システム及びその制御方法 | |
| JP2006185342A (ja) | 情報処理装置および文字列分類方法およびプログラムおよび記録媒体 | |
| Bigi | SPPAS-the automatic annotation and analysis of speech (version 4.7) | |
| JP4043176B2 (ja) | 自然言語処理装置 | |
| JP2007004636A (ja) | 言語入力システム、その処理方法、記録媒体及びプログラム | |
| Beech | Modularity of computer languages | |
| Chen | Enhanced Correction and Multi Language Support of Transcription on the" Tell your story" Digital Platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040825 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070625 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071030 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |