JP3885523B2 - サーバ・クライアント型音声認識装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声認識技術に関し、特に、携帯電話等の端末（クライアント）側で音声検出を行い、サーバ側で音声分析、認識を行うサーバ・クライアント型の音声認識装置と方法に関する。
【０００２】
【従来の技術】
従来より、端末側（クライアント側）で音声検出を行い、検出後の波形データをサーバ側へ送信し、サーバ側にて分析、認識処理を行うサーバ・クライアント型音声認識装置として、Dialogic CSP(Continuous Speech Processing)を用いた音声認識装置が知られている。
【０００３】
また、端末側で音声検出を行い、検出後の波形データを圧縮し、圧縮した波形データをサーバ側へ送信する方式としてVoIP(Voiceover Internet Protocol)が知られており、文献１（Nikkei Internet Technology, pp.75〜93, May 1998）に詳しく述べられている。またVoIPで送信された波形データを伸張し、再度認識用の音声検出を行い、検出後の波形データを分析、認識処理を行うサーバ・クライアント型音声認識装置も知られている。
【０００４】
また、近年、３ＧＰＰ（Third Generation Partnership Project）のワークグループの１つであるETSI(the European Telecommunications Standards Institute)-STQ Aurora DSR(Distributed Speech Recognition) Working Groupが進めている標準化プロジェクトにおいて、端末側で音声検出、分析を行い、分析後のパラメータ（特徴ベクトル）をサーバ側に送信し、サーバ側で音声認識を行うサーバ・クライアント型音声認識装置が提案されている。
【０００５】
従来のサーバ・クライアント型音声認識装置に用いられているDialogic CSPでは、端末側で検出された波形データを圧縮せずそのままサーバへ送信しているため、送信時の時間、コストを多く必要とする、という問題点を有している。
【０００６】
また、VoIPを応用した方式では、端末側で伸張し音声検出を行ったデータに対し、サーバ側で認識用の音声検出を再度行っているため、重複した音声検出処理が無駄な処理となっている。更に、音声認識用の音声検出をサーバ側で行っていることから、サーバ側で短い音声について音声の始端検出がキャンセルされた場合に、端末側で音声検出キャンセル情報を受信するのが遅れ、それによってアプリの動作に遅延が生じるという、という問題点を有している。
【０００７】
また、ETSI-STQ Aurora DSR Working Groupが進めているサーバ・クライアント型音声認識装置の枠組みについては、分析後のパラメータが予め決められているため、独自仕様のパラメータを使用できないという欠点や、分析部が端末側に設定されているため、新規の分析手法を端末側に搭載するためのコスト、時間を多く必要とするという、という問題点を有している。
【０００８】
【発明が解決しようとする課題】
端末側（クライアント側）で音声検出を行い、検出後の波形データをサーバ側へ送信し、サーバ側にて分析、認識処理を行う構成の従来のサーバ・クライアント型音声認識装置は、端末側で検出された波形データを圧縮することなく、そのままサーバへ送信しているため、送信時の時間、コストを多く必要とするという、問題点を有している。
【０００９】
また、端末側で音声検出を行い、検出後の波形データを圧縮し、圧縮した波形データをサーバ側へ送信し、サーバ側にて波形データを伸張し、再度、認識用の音声検出を行い、検出後の波形データを分析、認識処理を行う構成の従来のサーバ・クライアント型音声認識装置は、端末側で伸張し音声検出を行ったデータに対し、サーバ側で認識用の音声検出を再度行っているため、重複した音声検出処理が無駄な処理となっている、という問題点を有している。
【００１０】
また、端末側で入力された音声データの音声検出、分析を行い、分析後のパラメータをサーバへ送信し、サーバ側では送信された分析後のパラメータを用い音声認識を行う構成の従来のサーバ・クライアント型音声認識装置は、認識時に用いるパラメータが決められているため独自仕様のパラメータを用いることができないという問題点や、新規の分析手法を端末に搭載するためのコスト、時間を多く必要とする、という問題点を有している。
【００１１】
したがって、本発明が解決しようとする主たる課題は、送信時間の短縮、コストの低減を図る音声認識装置及び方法を提供することにある。
【００１２】
【課題を解決するための手段】
上記課題を解決するための手段を提供する本発明は、その第１のアスペクトにおいて、入力されたデータの音声区間を検出する音声検出部と、前記音声検出部で検出された音声区間の波形データを圧縮する波形圧縮部と、前記波形圧縮部で圧縮された波形データを出力する波形送信部とを有して構成される端末側（クライアント側）の装置と、前記端末側の装置から出力された波形データを受信する波形受信部と、前記波形受信部で受信された波形データを伸張する波形伸張部と、前記波形伸張部で伸張された波形データを用いて認識処理を行い、認識した結果を出力する認識部とを有して構成されるサーバ側の装置とを備えている。
【００１３】
本発明は、第２のアスペクトにおいて、前記波形圧縮部で圧縮された波形データを一時記憶しながらその波形データを波形送信部へ送信すると共に、入力された波形データとサーバ側から送信された波形データ再送要求信号を受信する波形・信号受信部においてサーバ側からの波形データ再送要求信号が受信された場合に、記憶された波形データを波形送信部へ送信する波形記憶部を有する構成としてもよい。
【００１４】
本発明は、第３のアスペクトにおいて、サーバ側装置において、端末側装置から出力された波形データと始端キャンセル信号を受信する波形・信号受信部を備え、認識部では、前記波形・信号受信部で始端キャンセル信号を受信した場合に認識処理を中止する構成としてもよい。
【００１５】
本発明は、第４のアスペクトにおいて、合成音を合成する音声合成部と、前記音声合成部で合成された合成音の情報を作成し、合成音を出力する合成音情報作成部と、前記音声検出部で検出された音声区間の波形データを圧縮し、前記合成音情報作成部で作成された合成音情報を前記波形データの一部に組み込む波形圧縮部とを有する端末側の装置と、前記波形伸張部で伸張されたデータから合成音情報を取得する合成音情報取得部と、認識が終了した場合に前記合成音情報取得部で取得された合成音情報より合成音と認識結果との対応付けを行い、対応付けされた認識結果、又は認識結果と合成音情報を出力する認識部とを有するサーバ側の装置とを備えている。
【００１６】
本発明は、第５のアスペクトにおいて、入力された波形データと、サーバ側から送信された波形データ再送要求信号とサーバ側から送信されたサーバ側で利用可能な圧縮方式情報を受信する波形・信号・圧縮方式受信部と、前記波形・信号・圧縮方式受信部においてサーバ側で利用可能な圧縮方式情報を受信した場合に、前記波形・信号・圧縮方式受信部から送られた圧縮方式情報より最適な圧縮方式を選択する圧縮方式選択部と、前記圧縮方式選択部で選択された圧縮方式のインデックスを作成する圧縮方式インデックス作成部と、前記音声検出部で検出された音声区間の波形データを圧縮し、前記合成音情報作成部で作成された合成音情報と、前記圧縮方式インデックス作成部で作成された圧縮方式インデックスを波形データの一部に組み込む波形圧縮部とを有する端末側装置と、前記端末側の装置から送信された波形データと、圧縮方式要求信号を受信する波形・信号受信部と、サーバ側で利用可能な圧縮方式を記憶する圧縮方式記憶部と、前記波形・信号受信部から圧縮方式要求信号が送られた場合に前記圧縮方式記憶部に記憶されている圧縮方式を取得し、端末側装置に圧縮方式情報を出力する圧縮方式取得部と、前記波形伸張部で伸張されたデータから圧縮方式のインデックスを取得する圧縮方式インデックス取得部と、前記圧縮方式インデックス取得部で取得された圧縮方式のインデックスから認識エンジンを選択する認識エンジン選択部と、前記認識エンジン選択部で選択されたエンジンを記憶されているエンジンの中から設定する認識エンジン設定部とを有するサーバ側の装置とを備えている。
【００１７】
本発明は、第６のアスペクトにおいて、サーバ側装置において、端末側の装置から送信された波形データと始端キャンセル信号と圧縮方式要求信号とコンテンツ側から送信されたタスク情報とを受信する波形・信号・タスク情報受信部と、前記波形・信号・タスク情報受信部で受信されたタスク情報を記憶するタスク情報記憶部と、タスク情報とそのタスク使用時に利用可能な１個以上の圧縮方式を記憶する圧縮方式・タスク情報対応テーブル記憶部と、前記波形・信号・タスク情報受信部において圧縮方式要求信号を受信した場合に、前記タスク情報記憶部から送られたタスク情報と前記圧縮方式・タスク情報対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルより利用可能な圧縮方式情報を取得し端末側装置に出力する圧縮方式取得部とを備えている。
【００１８】
本発明は、第７のアスペクトにおいて、端末側装置において、入力された波形データと、コンテンツ側から送信されたタスク情報とサーバ側から送信された波形データ再送要求信号とサーバ側から送信されたサーバ側で利用可能な圧縮方式情報とを受信する波形・信号・圧縮方式・タスク情報受信部と、前記波形・信号・圧縮方式・タスク情報受信部で受信されたタスク情報を記憶するタスク情報記憶部と、タスク情報とそのタスク使用時に利用可能な１個以上の圧縮方式の対応テーブルを記憶する圧縮方式・タスク情報対応テーブル記憶部と、前記波形・信号・圧縮方式・タスク情報受信部においてサーバ側で利用可能な圧縮方式情報を受信した場合に、前記タスク情報記憶部から送られたタスク情報と、前記圧縮方式・タスク対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルと、前記波形・信号・圧縮方式・タスク情報受信部から送られたサーバ側で利用可能な圧縮方式情報をもとに最適な圧縮方式を選択する圧縮方式選択部とを備えている。
【００１９】
【発明の実施の形態】
発明の実施の形態について説明する。前述した従来の技術の問題点を解決し、上記した課題を解決する本発明は、サーバと端末よりなるサーバ・クライアント型音声認識装置よりなり、端末側で認識用の音声検出を行い、検出後の波形データを圧縮し、圧縮後の波形データをサーバ側に送信し、サーバ側で音声伸張、分析、認識を行うものである。
【００２０】
［第１の実施の形態］
本発明の第１の実施の形態に係る音声認識装置は、図１を参照すると、端末（クライアント端末）は、入力されたデータの音声区間を検出する音声検出部（１０）と、音声検出部（１０）で検出された音声区間の波形データを圧縮する波形圧縮部（２０）と、波形圧縮部（２０）で圧縮された波形データを出力する波形送信部（３０）と、を備え、サーバ側が、端末から出力された波形データを受信する波形受信部（１１０）と、波形受信部（１１０）で受信された波形データを伸張する波形伸張部（１２０）と、波形伸張部（１２０）で伸張された波形データを用いて音声の分析を行う分析部（１３０）と、分析部（１３０）での分析結果（特徴量）と標準パターン記憶部（１５０）に基づき認識処理を行い、認識した結果を出力する認識部（１４０）と、を備えている。この実施の形態では、音声検出後の圧縮された波形データをサーバに送信し、サーバ側で音声分析、認識を行うため、分析後のパラメータ（特徴ベクトル）の仕様を自由に設定することが可能である。
【００２１】
また、分析部（１３０）、認識部（１４０）をサーバ側に備えているため、新規の分析手法、認識手法を搭載するためのコストと時間が少なくて済むという利点を持つ。
【００２２】
また、送信する波形データは圧縮後のデータであるため、送信時に必要とする時間、コストが少なくて済むという利点も併せ持つ。
【００２３】
上記第１の実施の形態に対応した、音声認識方法は、
端末側装置において、入力されたデータの音声区間を検出するステップと、
前記検出された音声区間の波形データを圧縮するステップと、
前記圧縮された波形データをサーバに送信するステップと、を有し、
前記サーバ側装置において、前記端末から出力された波形データを受信するステップと、
前記受信された波形データを伸張するステップと、
前記伸張された波形データを用いて認識処理を行い、認識した結果を出力するステップと、を有する。
【００２４】
［第２の実施の形態］
本発明の第２の実施の形態に係るサーバ・クライアント型音声認識装置は、前記第１の実施の形態の構成に加え、サーバ側装置において圧縮波形データの受信に失敗した場合に、サーバ側から端末側へ波形データ再送要求信号を送信することで、端末側からサーバ側へ圧縮波形データが再送される枠組み、機構を備えたものである。かかる構成によって、電波状態が良くない環境においても端末側からサーバ側へ波形データを送信できる割合が高くなる。
【００２５】
より詳細には、本発明の第２の実施の形態において、端末側の装置は、図２を参照すると、入力された音声の波形データと、前記サーバ側の装置から送信された波形データ再送要求信号を受信する波形・信号受信部（２１０）を備えている。端末側の装置は、さらに、波形・信号受信部（２１０）で受信された波形データの音声区間を検出する音声検出部（２２０）と、音声検出部（２２０）で検出された音声区間の波形データを圧縮する波形圧縮部（２３０）と、波形データを出力する波形送信部（２４０）と、波形圧縮部（２３０）で圧縮された波形データを一時記憶しながら前記波形データを、前記波形送信部へ送信すると共に、前記波形・信号受信部（２１０）において、前記サーバ側の装置からの波形データ再送要求信号が受信された場合に、記憶された波形データを、波形送信部（２４０）へ送信する波形記憶部（２５０）と、を備えている。
【００２６】
本発明の第２の実施の形態において、サーバ側の装置は、端末側の装置から出力された波形データを受信する波形受信部（３１０）と、波形受信部（３１０）で受信された波形データを伸張する波形伸張部（３２０）と、波形伸張部（３２０）で伸張された波形データを用いて音声の分析を行う分析部（３４０）と、分析部での分析結果に基づき、音声の認識処理を行い、認識した結果を出力する認識部（３５０）と、波形受信部（３１０）で圧縮波形データの受信に失敗した場合には、波形データの再送要求信号を前記波形受信部から受け取り波形データ再送要求信号を、端末に出力する波形データ再送要求信号送信部（３３０）と、を備えている。
【００２７】
上記第２の実施の形態に対応した、音声認識方法は、端末側装置において前記サーバ側装置から送信される波形データ再送要求信号を受信した場合に、波形記憶部に記憶された波形データを、前記サーバ側装置に送信するステップを有し、前記サーバ装置において、前記端末側装置から送信される圧縮波形データの受信に失敗した場合には、波形データ再送要求信号を前記端末に出力するステップを有する。
【００２８】
［第３の実施の形態］
本発明の第３の実施の形態に係るサーバ・クライアント型音声認識装置は、第２の実施の形態の構成に加え、端末側では音声区間を検出しサーバ側へ圧縮した波形データを送信した後音声の始端がキャンセルされた場合に、サーバ側へ始端キャンセル信号を送信する枠組みと、サーバ側では始端キャンセル信号を受信した場合に認識処理を停止することができる枠組みを備えている。かかる構成によって、始端キャンセル時に即座に認識処理を停止することができるため、無駄なメモリ量、計算量を省くことが可能となる。
【００２９】
より詳細には、本発明の第３の実施の形態に係るサーバ・クライアント型音声認識装置は、図３を参照すると、端末側の装置が、入力された音声の波形データと、前記サーバ側の装置から送信された波形データ再送要求信号を受信する波形・信号受信部（４１０）と、波形・信号受信部（４１０）で受信された音声の波形データの音声区間を検出する音声検出部（４２０）と、音声検出部（４２０）で検出された音声区間の波形データを圧縮する波形圧縮部（４３０）と、波形データを出力する波形送信部（４４０）と、波形圧縮部（４３０）で圧縮された波形データを一時記憶しながら前記波形データを、波形送信部（４４０）へ送信すると共に、波形・信号受信部（４１０）において、前記サーバ側の装置からの波形データ再送要求信号が受信された場合に、記憶された波形データを、前記波形送信部へ送信する波形記憶部（４５０）と、音声検出部（４２０）で音声の検出後に該検出がキャンセルされた場合、音声検出部（４２０）から送信された始端キャンセル時の信号を受け取り始端キャンセル信号を出力する始端キャンセル信号送信部（４６０）と、を備えている。
【００３０】
本発明の第３の実施の形態において、サーバ側の装置は、端末側の装置から出力された波形データと前記始端キャンセル信号を受信する波形・信号受信部（５１０）と、波形・信号受信部（５１０）で受信された音声の波形データを伸張する波形伸張部（５２０）と、前記波形伸張部で伸張された波形データを用いて音声の分析を行う分析部（５４０）と、分析部での分析結果に基づき認識処理を行い、認識した結果を出力する認識部（５５０）と、波形・信号受信部（５１０）で圧縮波形データの受信に失敗した場合には、波形データの再送要求信号を前記波形受信部から受け取り波形データ再送要求信号を出力する波形データ再送要求信号送信部（５３０）と、を備え、認識部（５５０）は、前記波形・信号受信部（５１０）において始端キャンセル信号を受信した場合に、認識処理を中止する。
【００３１】
上記第２の実施の形態に対応した、音声認識方法は、端末側装置において、音声の検出後に該検出がキャンセルされた場合、始端キャンセル信号を前記サーバ側装置に送信するステップを有し、サーバ側装置において、前記端末からの前記始端キャンセル信号を受信した場合に、認識処理を中止するステップを有する。
【００３２】
［第４の実施の形態］
本発明の第４の実施の形態に係るサーバ・クライアント型音声認識装置は、第３の実施の形態の構成に加え、端末側では合成音を作成、出力し、合成音情報を波形データの一部として組み込み、作成したデータをサーバ側へ送信する枠組みと、サーバ側では端末側から送信されたデータを波形データとその他の情報に分離し、その他の情報から合成音情報を取得し、波形データから得られた認識結果と合成音との対応付けを行う枠組みを備えている。
【００３３】
より詳細には、本発明の第４の実施の形態において、端末側の装置は、図４を参照すると、合成音を合成する音声合成部（６７０）と、音声合成部（６７０）で合成された合成音の情報を作成し、合成音を出力する合成音情報作成部（６８０）と、を備え、波形圧縮部（６３０）は、音声検出部（６２０）で検出された音声区間の波形データを圧縮し、合成音情報作成部（６８０）で作成された合成音情報を前記波形データの一部に組み込む。
【００３４】
本発明の第４の実施の形態において、サーバ側の装置は、波形伸張部（７２０）で伸張されたデータから合成音情報を取得する合成音情報取得部（７７０）を備え、前記認識部（７５０）が、認識が終了した場合に前記合成音情報取得部（７７０）で取得された合成音情報より合成音と認識結果との対応付けを行い、対応付けされた認識結果、又は認識結果と合成音情報を出力する。
【００３５】
本発明の第４の実施の形態において、合成音情報については、合成音の内容、合成音出力時のタイムスタンプ情報、合成音出力時の対話の状態番号等、様々な情報を用いることができる。
【００３６】
合成音情報を波形データの一部として組み込む手法については、
・合成音情報を波形データのヘッダーに含めて圧縮する手法や、
・圧縮済みの波形データに合成音情報を付加する手法
等を用いることができる。
【００３７】
合成音情報がサーバ側に送られない場合、端末側からサーバ側へ波形データ送信に失敗した場合に、次に送信に成功した波形データがどの合成音に対して発声された音声であるか判断がつかない、という問題点がある。
【００３８】
この問題は、この第４の実施の形態によって解決され、合成音情報と波形データが１対１対応となることにより、常に認識結果と合成音の対応付けをとることが可能となり、状態遷移に誤りのない対話システムの構築が可能となる。
【００３９】
上記第４の実施の形態に対応した、音声認識方法は、端末において、合成音を合成するステップと、
前記合成された合成音の情報を作成し、合成音を出力するステップと、
検出された音声区間の波形データを圧縮し、前記合成音情報作成部で作成された合成音情報を前記波形データの一部に組み込んで、前記サーバ装置に送信するステップと、を含み、
前記サーバ装置において、前記伸張されたデータから合成音情報を取得するステップを有し、認識が終了した場合に、前記取得された合成音情報より合成音と認識結果との対応付けを行い、対応付けされた認識結果、又は認識結果と合成音情報を出力する。
【００４０】
［第５の実施の形態］
本発明の第５の実施の形態に係るサーバ・クライアント型音声認識装置は、第４の実施の形態の構成に加え、端末側からサーバ側へ圧縮方式を要求する信号を送信し、サーバ側で圧縮方式要求信号を受信した場合、サーバ側で利用可能な圧縮方式情報を端末側へ送信し、端末側ではサーバ側から送信された圧縮情報と、端末側で利用可能な圧縮方式をもとに最適な圧縮方式を選択する枠組みと、端末側で選択された圧縮情報のインデックスを合成音情報とともに波形データの一部に組み込み、作成したデータをサーバ側へ送信し、サーバ側ではデータを波形データとその他のデータとに分離し、分離後のその他のデータを合成音情報と圧縮方式のインデックスに分離し、圧縮方式のインデックス情報よりその圧縮方式に最適な認識エンジンを選択し、選択された認識エンジンの分析手法、認識手法、標準パターンを用いて認識結果を出力する枠組みを備えている。
【００４１】
より詳細には、本発明の第５の実施の形態に係るサーバ・クライアント型音声認識装置において、図５を参照すると、端末側の装置は、入力された波形データと、サーバ側の装置から送信された波形データ再送要求信号と、前記サーバ側の装置から送信された前記サーバ側で利用可能な圧縮方式情報を受信する波形・信号・圧縮方式受信部（１０１０）と、波形・信号・圧縮方式受信部（１０１０）で受信された波形データの音声区間を検出する音声検出部（１０２０）と、前記音声検出部で検出された音声区間の波形データを圧縮する波形圧縮部（１０３０）と、波形データを出力する波形送信部（１０４０）と、波形圧縮部（１０３０）で圧縮された波形データを一時記憶しながら前記波形データを、波形送信部（１０４０）へ送信すると共に、波形・信号・圧縮方式受信部（１０１０）においてサーバ側の装置からの波形データ再送要求信号が受信された場合に、記憶された波形データを、波形送信部（１０４０）へ送信する波形記憶部（１０５０）と、を備えている。
【００４２】
波形・信号・圧縮方式受信部（１０１０）において、前記サーバ側で利用可能な圧縮方式情報を受信した場合に、前記波形・信号・圧縮方式受信部（１０１０）から送られた圧縮方式情報より最適な圧縮方式を選択する圧縮方式選択部（１１００）と、圧縮方式選択部（１１００）で選択された圧縮方式のインデックスを作成する圧縮方式インデックス作成部（１０９０）と、を備え、波形圧縮部（１０３０）は、音声検出部（１０２０）で検出された音声区間の波形データを圧縮し、合成音情報作成部（１０８０）で作成された合成音情報と、圧縮方式インデックス作成部（１０９０）で作成された圧縮方式インデックスを波形データの一部に組み込む。
【００４３】
本発明の第５の実施の形態において、前記サーバ側の装置は、前記端末側の装置から送信された波形データと、圧縮方式要求信号を受信する波形・信号受信部（１２１０）と、波形・信号受信部（１２１０）で受信された音声の波形データを伸張する波形伸張部（１２２０）と、波形伸張部（１２２０）で伸張された波形データを用いて音声の分析を行う分析部（１２４０）と、分析結果に基づき認識処理を行い、認識した結果を出力する認識部（１２５０）と、前記波形・信号受信部（１２１０）で圧縮波形データの受信に失敗した場合には、波形データの再送要求信号を前記波形受信部から受け取り波形データ再送要求信号を出力する波形データ再送要求信号送信部（１２３０）と、前記サーバ側の装置で利用可能な圧縮方式の情報を記憶する圧縮方式記憶部（１３２０）と、波形・信号受信部（１２１０）から圧縮方式要求信号が送られた場合に前記圧縮方式記憶部に記憶されている圧縮方式情報を取得し、前記端末側の装置に圧縮方式情報を出力する圧縮方式取得部（１３１０）と、波形伸張部（１２２０）で伸張されたデータから圧縮方式のインデックスを取得する圧縮方式インデックス取得部（１２８０）と、圧縮方式インデックス取得部（１２８０）で取得された圧縮方式のインデックスから認識エンジンを選択する認識エンジン選択部（１２９０）と、認識エンジン選択部（１２９０）で選択されたエンジンを記憶されているエンジンの中から設定する認識エンジン設定部（１３００）と、を備える。
【００４４】
サーバ側、端末側の圧縮方式記憶部（１３２０）に記憶された圧縮方式については、帯域情報(8kHz、4kHz等)や圧縮方法（フルレート、ハーフレート等）等の情報を含む。また、波形データの一部として合成音情報と圧縮方式のインデックスを含める手法については、合成音情報、圧縮方式のインデックスを波形データのヘッダーに含めて圧縮する手法や、圧縮済みの波形データに合成音情報、圧縮方式のインデックスを付加する手法等を用いることができる。また、端末側において、サーバ側で利用可能な圧縮方式と端末側で利用可能な圧縮方式より最適な圧縮方式を選択する手段については、情報量（データ量）の多い圧縮方式を選択する。例えば、端末側、サーバ側ともにフルレート、ハーフレートの圧縮方式が利用可能な場合、データの情報量の多いフルレートが自動的に選択される。本発明では、選択された圧縮方式によってサーバ側で認識エンジンを選択することが可能であるため、サーバ側で圧縮方式に適した認識エンジンを用意することで、様々な圧縮方式の音声データに対して高い認識率を得ることが可能となる。
【００４５】
上記第５の実施の形態に対応した、音声認識方法は、端末側装置において、サーバ側装置から送信された前記サーバ側で利用可能な圧縮方式情報を受信するステップと、
前記受信した圧縮方式情報により最適な圧縮方式を選択するステップと、
前記選択された圧縮方式のインデックスを作成するステップと、
音声区間の波形データを圧縮し、作成された圧縮方式インデックスを波形データの一部に組み込んで、前記サーバ装置に送信するステップとを有し、
前記サーバ側装置において、前記端末側装置から送信される圧縮方式要求信号を受信した場合に、前記サーバ側で利用可能な圧縮方式の情報を記憶する圧縮方式記憶部に記憶されている圧縮方式情報を取得し、前記端末側装置に圧縮方式情報を出力するステップと、
伸張されたデータから圧縮方式のインデックスを取得するステップと、
前記取得された圧縮方式のインデックスから認識エンジンを選択するステップと、
前記選択されたエンジンを記憶されているエンジンの中から設定するステップと、を有する。
【００４６】
［第６の実施の形態］
本発明の第６の実施の形態に係るサーバ・クライアント型音声認識装置は、第５の実施の形態の構成に加え、サーバ側で端末側から送信された圧縮方式要求信号を受信した場合、コンテンツ側より入力されたタスク情報と予めサーバ側で持つタスク情報とそのタスクで使用可能な圧縮方式との対応テーブルより、サーバ側で利用可能な圧縮方式を取得し端末側に送信する枠組みを備える。
【００４７】
より詳細には、本発明の第６の実施の形態において、サーバ側装置は、図６を参照すると、前記した第５の実施の形態の波形・信号受信部（図５の１２１０）に代わって、端末側の装置から送信された波形データと、始端キャンセル信号と、圧縮方式要求信号と、コンテンツ側から送信されたタスク情報と、を受信する波形・信号・タスク情報受信部（１６１０）を備え、波形・信号・タスク情報受信部（１６１０）で受信されたタスク情報を記憶するタスク情報記憶部（１７３０）と、タスク情報と該タスク使用時に利用可能な１個以上の圧縮方式を記憶する圧縮方式・タスク情報対応テーブル記憶部（１７２０）と、前記波形・信号・タスク情報受信部（１６１０）において圧縮方式要求信号を受信した場合に、前記タスク情報記憶部（１７３０）から送られたタスク情報と前記圧縮方式・タスク情報対応テーブル記憶部（１７２０）から送られたタスク情報と圧縮方式との対応テーブルより利用可能な圧縮方式情報を取得し、前記端末側の装置に出力する圧縮方式取得部（１７１０）を備えている。
【００４８】
サーバ側で持つタスク情報とそのタスクで使用可能な圧縮方式との対応テーブル（１７２０）に記述された圧縮方式については、帯域情報(8kHz、4kHz等)や圧縮方法（フルレート、ハーフレート等）等の情報を含む。
【００４９】
この第６の実施の形態では、圧縮方式を選択する時にサーバ側と端末側とで共通に利用可能である圧縮方式情報の他に、タスクの情報を加えることによって、サーバ側と端末側とで共通に利用可能な圧縮方式であり、且つ、入力されたタスクに適した圧縮方式を選択することが可能となる。例えば、端末側とサーバ側とで対話を行うタスクでは、レスポンス時間が短いことが望ましいためデータの転送時間の短い圧縮方式をタスク情報と圧縮方式との対応テーブルに記述し、又、端末側で音声入力したキーワードをサーバ側でキーワード検索するようなレスポンス時間を比較的問われないタスクではデータの情報量の多い圧縮方式を、前記テーブルに記述することで、タスクに適した圧縮方式の選択が可能となる。
【００５０】
上記第６の実施の形態に対応した、音声認識方法は、サーバ側装置において、コンテンツ側から送信されたタスク情報を受信してタスク情報記憶部に記憶するステップと、圧縮方式要求信号を受信した場合に、タスク情報と、圧縮方式との対応テーブルより、利用可能な圧縮方式情報を取得し、前記端末側装置に送信するステップを有する。
【００５１】
［第７の実施の形態］
本発明の第７の実施の形態に係るサーバ・クライアント型音声認識装置は、第５の実施の形態の構成に加え、端末側において、サーバ側からサーバ側で利用可能な圧縮方式情報が送信された場合に、サーバ側で利用可能な圧縮方式情報と、コンテンツ側から入力されたタスク情報と、端末側で予め持つタスク情報とそのタスクで使用可能な圧縮方式との対応テーブルより、最適な圧縮方式を選択する枠組みを備える。
【００５２】
より詳細には、本発明の第７の実施の形態に係るサーバ・クライアント型音声認識装置は、図７を参照すると、端末側の装置において、前記第５の実施の形態の波形・信号・圧縮方式受信部（図５の１０１０）に代わって、入力された波形データと、コンテンツ側から送信されたタスク情報と、前記サーバ側の装置から送信された波形データ再送要求信号と、前記サーバ側の装置から送信された前記サーバ側の装置で利用可能な圧縮方式情報とを受信する波形・信号・圧縮方式・タスク情報受信部（１８１０）を備え、波形・信号・圧縮方式・タスク情報受信部で受信されたタスク情報を記憶するタスク情報記憶部（１９３０）と、タスク情報とそのタスク使用時に利用可能な１個以上の圧縮方式の対応テーブルを記憶する圧縮方式・タスク情報対応テーブル記憶部（１９１０）と、前記波形・信号・圧縮方式・タスク情報受信部（１８１０）においてサーバ側で利用可能な圧縮方式情報を受信した場合に、前記タスク情報記憶部（１９３０）から送られたタスク情報と、前記圧縮方式・タスク対応テーブル記憶部（１９１０）から送られたタスク情報と圧縮方式との対応テーブルと、前記波形・信号・圧縮方式・タスク情報受信部（１８１０）から送られた前記サーバ側の装置で利用可能な圧縮方式情報をもとに最適な圧縮方式を選択する圧縮方式選択部（１９００）と、を備える。
【００５３】
タスク情報とそのタスクで使用可能な圧縮方式との対応テーブルに記述された圧縮方式については、帯域情報(8kHz、4kHz等)や圧縮方法（フルレート、ハーフレート等）等の情報を含む。
【００５４】
この第７の実施の形態では、前記第６の実施の形態と同様、圧縮方式を選択する時にサーバ側と端末側とで共通に利用可能である圧縮方式情報の他にタスクの情報を加味することによって、サーバ側と端末側とで共通に利用可能な圧縮方式であり、且つ、入力されたタスクに適した圧縮方式を選択することが可能となる。
【００５５】
上記第７の実施の形態に対応した、音声認識方法は、端末側装置において、コンテンツ側から送信されたタスク情報と、前記サーバ側装置から送信された前記サーバ側で利用可能な圧縮方式情報とを受信するステップと、
前記サーバ側で利用可能な圧縮方式情報を受信した場合に、前記タスク情報と、圧縮方式・タスク対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルと、サーバ側の装置で利用可能な圧縮方式情報をもとに最適な圧縮方式を選択するステップと、を有する。
【００５６】
【実施例】
本発明の実施例について図面を参照して以下に説明する。
【００５７】
［実施例１］
図１は、本発明の第１の実施例をなすサーバ・クライアント型音声認識装置の構成を示す図であり、図１（ａ）には、端末、図１（ｂ）にはサーバ側の装置構成が示されている。図１（ａ）を参照すると、端末は、音声検出部１０と、波形圧縮部２０と、波形送信部３０を備えている。端末に入力されたデータは、音声検出部１０に送られ音声の検出が行われる。音声の検出方法としては、ワードスポッティング手法等が用いられる。ワードスポッティング手法については、文献２（中川,”確率モデルによる音声認識,”電子情報通信学会,1988）の記載が参照される。検出された音声データは、波形圧縮部２０に送られる。波形圧縮部２０では、音声検出部１０から送られた波形データを圧縮する。圧縮方式としては、VSELP(Vector Sum Excited Linear Prediction)方式、PSI-CELP(Pitch Synchronous Innovation CELP)方式等が用いられる。圧縮された波形データは波形送信部３０に送られる。波形送信部３０では、波形圧縮部から送られた圧縮波形データを出力する。
【００５８】
図１（ｂ）を参照すると、サーバ側装置は、波形受信部１１０と、波形伸張部１２０と、分析部１３０と、認識部１４０と、標準パターン記憶部１５０とを備えている。端末側の波形送信部３０から出力された圧縮波形データを波形受信部１１０で受信する。波形受信部１１０では、受信した圧縮波形データを波形伸張部１２０に送信する。波形伸張部１２０では、波形受信部１１０から送られた圧縮波形データを伸張する。伸張された波形データは分析部１３０に送られる。分析部１３０では、波形伸張部１２０で伸張された波形データを特徴ベクトルに変換する。特徴ベクトルとしてはケプストラム、Δケプストラム等が用いられる。Δケプストラムは、文献３（古井,”ディジタル音声処理,”東海大学出版会,pp44-47,1985）等の記載が参照される。分析された特徴ベクトルは認識部１４０に送られる。認識部１４０では、分析部１３０から送られた特徴ベクトルと、標準パターン記憶部１５０から送られた標準パターンとの間の尤度を計算し、認識結果を求める。尤度の計算方法は、Viterbiアルゴリズム、ＤＰマッチング等が用いられる。求められた認識結果は出力される。Viterbiアルゴリズムについては、文献２（中川,”確率モデルによる音声認識,”電子情報通信学会,1988)、ＤＰマッチングについては、文献４（迫江,”傾斜制限ＤＰマッチングによる音声認識,”音声講論,pp67-68,1974）の記載が参照される。
【００５９】
［実施例２］
次に、本発明の第２の実施例について説明する。図２は、本発明の第２の実施例をなすサーバ・クライアント型音声認識装置の構成を示す図であり、図２（ａ）には端末、図２（ｂ）にはサーバ側の装置構成が示されている。図２（ａ）を参照すると、端末は、波形・信号受信部２１０と、音声検出部２２０と、波形圧縮部２３０と、波形送信部２４０、波形記憶部２５０を備えている。端末の波形・信号受信部２１０には、音声データ、又はサーバから送信された波形データ再送要求信号が入力される。音声データが入力された場合、該音声データは、音声検出部２２０に送られる。音声検出部２２０では、波形・信号受信部２１０から送られた波形データの音声検出を行う。検出方法としてはワードスポッティング手法等が用いられる。検出された音声データは波形圧縮部２３０に送られる。波形圧縮部２３０では、音声検出部２２０から送られた波形データを圧縮する。圧縮方式としては、VSELP方式、PSI-CELP方式等が用いられる。圧縮された波形データは波形記憶部２５０に送られる。波形記憶部２５０では、波形圧縮部２３０から送られた圧縮波形データを波形送信部２４０に送信し、同一データを記憶する。波形送信部２４０では、波形記憶部２５０から送られた圧縮波形データを出力する。
【００６０】
波形・信号受信部２１０に、サーバから送信された波形データ再送要求信号が入力された場合、受信された信号は、波形記憶部２５０に送られる。波形記憶部２５０では記憶されている圧縮波形データを波形送信部２４０に送信する。波形送信部２４０では、波形記憶部２５０から送られた圧縮波形データを出力する。
【００６１】
図２（ｂ）を参照すると、サーバ側は、波形受信部３１０と、波形伸張部３２０と、波形データ再送要求信号送信部３３０と、分析部３４０と、認識部３５０と、標準パターン記憶部３６０とを備えている。サーバ側は、端末側の波形送信部２４０から出力された圧縮波形データを波形受信部３１０で受信する。
【００６２】
波形受信部３１０では、受信した圧縮波形データを波形伸張部３２０に送信する。圧縮波形データの受信に失敗した場合は、波形データ再送要求信号送信部３３０に波形データの再送要求信号を送信する。波形データ再送要求信号送信部３３０では、波形受信部３１０から送られた信号を出力する。波形伸張部３２０では、波形受信部３１０から送られた圧縮波形データを伸張する。伸張された波形データは分析部３４０に送られる。分析部３４０では、波形伸張部３２０で伸張された波形データを特徴ベクトルに変換する。特徴ベクトルとしてはケプストラム、Δケプストラム等が用いられる。分析された特徴ベクトルは認識部３５０に送られる。認識部３５０では、分析部３４０から送られた特徴ベクトルと、標準パターン記憶部３６０から送られた標準パターンとの間の尤度を計算し、認識結果を求める。尤度の計算方法はViterbiアルゴリズム、ＤＰマッチング等が用いられる。求められた認識結果は出力される。
【００６３】
［実施例３］
次に、本発明の第３の実施例について説明する。図３は、本発明の第３の実施例をなすサーバ・クライアント型音声認識装置の構成を示す図であり、図３（ａ）には端末、図３（ｂ）にはサーバ側の装置構成が示されている。図３（ａ）を参照すると、端末は、波形・信号受信部４１０、音声検出部４２０と、波形圧縮部４３０と、波形送信部４４０、波形記憶部４５０、始端キャンセル信号送信部４６０を備えている。端末の波形・信号受信部４１０には音声データ、又はサーバから送信された波形データ再送要求信号が入力される。音声データが入力された場合、データは音声検出部４２０に送られる。音声検出部４２０では、波形・信号受信部４１０から送られた波形データの音声検出を行う。検出方法としてはワードスポッティング手法等が用いられる。検出された音声データは波形圧縮部４３０に送られる。
【００６４】
音声の検出後に検出がキャンセルされた場合、始端キャンセル時の信号が始端キャンセル信号送信部４６０に送信される。始端キャンセル信号送信部４６０では、送られた始端キャンセル時の信号を出力する。
【００６５】
波形圧縮部４３０では、音声検出部４２０から送られた波形データを圧縮する。圧縮方式としては、VSELP方式、PSI-CELP方式等が用いられる。圧縮された波形データは波形記憶部４５０に送られる。波形記憶部４５０では、波形圧縮部４３０から送られた圧縮波形データを波形送信部４４０に送信し、同一データを記憶する。波形送信部４４０では、波形圧縮部４３０から送られた圧縮波形データを出力する。波形・信号受信部４１０にサーバから送信された波形データ再送要求信号が入力された場合、受信された信号は波形記憶部４５０に送られる。波形記憶部４５０では記憶されている圧縮波形データを波形送信部４４０に送信する。波形送信部４４０では波形記憶部４５０から送られた圧縮波形データを出力する。
【００６６】
図３（ｂ）を参照すると、サーバ側は、波形・信号受信部５１０と、波形伸張部５２０と、波形データ再送要求信号送信部５３０と、分析部５４０と、認識部５５０と、標準パターン記憶部５６０とを備えている。
【００６７】
サーバ側では、端末側の波形送信部４４０から出力された圧縮波形データ、又は、始端キャンセル信号送信部４６０から出力された始端キャンセル時の信号を波形・信号受信部５１０で受信する。
【００６８】
波形・信号受信部５１０では、受信した圧縮波形データを波形伸張部５２０に送信する。圧縮波形データの受信に失敗した場合は、波形データ再送要求信号送信部５３０に波形データ再送要求信号を送信する。波形データ再送要求信号送信部５３０では、波形・信号受信部５１０から送られた信号を出力する。波形伸張部５２０では、波形・信号受信部５１０から送られた圧縮波形データを伸張する。伸張された波形データは分析部５４０に送られる。分析部５４０では、波形伸張部５２０で伸張された波形データを特徴ベクトルに変換する。特徴ベクトルとしてはケプストラム、Δケプストラム等が用いられる。分析された特徴ベクトルは認識部５５０に送られる。認識部５５０では、分析部５４０から送られた特徴ベクトルと、標準パターン記憶部５６０から送られた標準パターンとの間の尤度を計算し、認識結果を求める。尤度の計算方法はViterbiアルゴリズム、ＤＰマッチング等が用いられる。求められた認識結果は出力される。波形・信号受信部５１０に始端キャンセル信号送信部４６０から送信された始端キャンセル時の信号が入力された場合、信号は認識部５５０に送られる。
【００６９】
認識部５５０では、波形・信号受信部５１０から始端キャンセル時の信号が送られてきた場合、認識を途中で中断する。
【００７０】
［実施例４］
次に、本発明の第４の実施例について説明する。図４は、本発明の第４の実施例をなすサーバ・クライアント型音声認識装置の構成を示す図であり、図４（ａ）には端末、図４（ｂ）にはサーバ側の装置構成が示されている。図４（ａ）を参照すると、端末は、波形・信号受信部６１０と、音声検出部６２０と、波形圧縮部６３０と、波形送信部６４０と、波形記憶部６５０と、始端キャンセル信号送信部６６０と、音声合成部６７０と、合成音情報作成部６８０と、を備えている。端末の波形・信号受信部６１０には音声データ、又はサーバから送信された波形データ再送要求信号が入力される。音声データが入力された場合、データは音声検出部６２０に送られる。音声検出部６２０では、波形・信号受信部６１０から送られた波形データの音声検出を行う。検出方法としてはワードスポッティング手法等が用いられる。検出された音声データは波形圧縮部６３０に送られる。
【００７１】
音声の検出後に検出がキャンセルされた場合、始端キャンセル時の信号が始端キャンセル信号送信部６６０に送信される。始端キャンセル信号送信部６６０では、送られた始端キャンセル時の信号を出力する。
【００７２】
本実施例では、更に、合成音を作成する音声合成部６７０を持つ。音声合成部６７０で作成された合成音は、合成音情報作成部６８０に送られる。合成音情報作成部６８０では、合成音情報を作成し、作成した合成音情報を波形圧縮部６３０に送信し、音声合成部６７０から送られた合成音を出力する。
【００７３】
合成音情報については、合成音の内容や合成音出力時のタイムスタンプ情報等が用いられる。
【００７４】
波形圧縮部６３０では、音声検出部６２０から送られた波形データを圧縮し、合成音情報作成部６８０で取得された合成音情報を波形データの一部に含める。
【００７５】
波形データの一部に合成音情報を含める手法としては、合成音情報を波形データのヘッダーに含めて圧縮する方法や、圧縮した波形データに合成音情報を付加する方法等が用いられる。
【００７６】
圧縮方式としては、VSELP方式、PSI-CELP方式等が用いられる。圧縮された波形データは波形記憶部６５０に送られる。波形記憶部６５０では、波形圧縮部６３０から送られた圧縮波形データを波形送信部６４０に送信し、同一データを記憶する。波形送信部６４０では、波形圧縮部６３０から送られた波形データを出力する。波形・信号受信部６１０にサーバから送信された波形データ再送要求信号が入力された場合、受信された信号は波形記憶部６５０に送られる。波形記憶部６５０では記憶されている圧縮波形データを波形送信部６４０に送信する。波形送信部６４０では波形記憶部６５０から送られた圧縮波形データを出力する。
【００７７】
図４（ｂ）を参照すると、サーバ側では、波形・信号受信部７１０と、波形伸張部７２０と、波形データ再送要求信号送信部７３０と、分析部７４０と、認識部７５０と、標準パターン記憶部７６０と、合成音情報取得部７７０を備えている。サーバ側では、端末側の波形送信部６４０から出力された圧縮波形データ、又は始端キャンセル信号送信部６６０から出力された始端キャンセル時の信号を波形・信号受信部７１０で受信する。波形・信号受信部７１０では、受信した圧縮波形データを波形伸張部７２０に送信する。圧縮波形データの受信に失敗した場合は、波形データ再送要求信号送信部７３０に波形データ再送要求信号を送信する。波形データ再送要求信号送信部７３０では、波形・信号受信部７１０から送られた信号を出力する。
【００７８】
波形伸張部７２０では、波形・信号受信部７１０から送られたデータを波形データ合成音情報等のその他の情報とに分離し、波形データを伸張する。その他の情報は合成音情報取得部７７０に送られ、伸張された波形データは分析部７４０に送られる。
【００７９】
合成音情報取得部７７０では、波形伸張部７２０から送られた情報から合成音情報を取得する。取得された合成音情報は認識部７５０に送られる。
【００８０】
分析部７４０では、波形伸張部７２０で伸張された波形データを特徴ベクトルに変換する。特徴ベクトルとしてはケプストラム、Δケプストラム等が用いられる。分析された特徴ベクトルは認識部７５０に送られる。認識部７５０では、分析部７４０から送られた特徴ベクトルと、標準パターン記憶部７６０から送られた標準パターンとの間の尤度を計算し、認識結果を求める。尤度の計算方法はViterbiアルゴリズム、ＤＰマッチング等が用いられる。
【００８１】
求められた認識結果と合成音情報取得部７７０で取得された合成音情報は共に端末側に出力されるか、又は、両者が関連付けられることでどの合成音に対する認識結果であるかが対応付けされ、対応付けされた後の認識結果が端末側に出力される。
【００８２】
波形・信号受信部７１０に始端キャンセル信号送信部６６０から送信された始端キャンセル時の信号が入力された場合、信号は認識部７５０に送られる。認識部７５０では、波形・信号受信部７１０から始端キャンセル時の信号が送られてきた場合、認識を途中で中断する。
【００８３】
［実施例５］
次に、本発明の第５の実施例について説明する。図５は、本発明の第５の実施例をなすサーバ・クライアント型音声認識装置の構成を示す図であり、図５（ａ）には端末、図５（ｂ）にはサーバ側の装置構成が示されている。図５（ａ）を参照すると、端末は、波形・信号・圧縮方式受信部１０１０と、音声検出部１０２０と、波形圧縮部１０３０と、波形送信部１０４０と、波形記憶部１０５０と、始端キャンセル信号送信部１０６０と、音声合成部１０７０と、合成音情報作成部１０８０と、圧縮方式インデックス作成部１０９０と、圧縮方式選択部１１００と、圧縮方式記憶部１１１０と、圧縮方式要求信号送信部１１２０とを備えている。端末の波形・信号・圧縮方式受信部１０１０には、音声データ、又は圧縮方式要求信号、又は、サーバから送信された波形データ再送要求信号、又はサーバから送信された圧縮方式情報が入力される。
【００８４】
波形・信号・圧縮方式受信部１０１０に圧縮方式要求信号が入力された場合、圧縮方式要求信号は波形・信号・圧縮方式受信部１０１０から圧縮方式要求信号送信部１１２０に送られる。
【００８５】
圧縮方式要求信号送信部１１２０では、波形・信号・圧縮方式受信部１０１０から送られた圧縮方式要求信号をサーバ側装置へ出力する。
【００８６】
波形・信号・圧縮方式受信部１０１０に、サーバ側から送信された圧縮方式情報が入力された場合、圧縮方式情報は、圧縮方式選択部１１００へ送られる。
【００８７】
本実施例では、端末側で利用可能な圧縮方式を記憶する圧縮方式記憶部１１１０、波形を圧縮する方式を選択する圧縮方式選択部１１００を備えている。
【００８８】
圧縮方式記憶部１１１０に記憶された圧縮方式については、波形圧縮方法（フルレート、ハーフレート等）や帯域（4kHz、8kHz等）の情報を含む。
【００８９】
圧縮方式選択部１１００では、圧縮方式記憶部１１１０に記憶されている圧縮方式情報と、波形・信号・圧縮方式受信部１０１０から送られたサーバ側で利用可能な圧縮方式をもとに、データの情報量の多い圧縮方式を選択する。例えば、端末側でもサーバ側でも、ともに、フルレートとハーフレートの圧縮方式を持つ場合、データの情報量の多いフルレートが選択される。
【００９０】
圧縮方式選択部１１００で選択された方式名は、圧縮方式インデックス作成部１０９０に送られる。
【００９１】
圧縮方式インデックス作成部１０９０では、圧縮方式選択部で選択された方式名のインデックスを作成する。圧縮方式インデックス作成部１０９０で作成されたインデックスは波形圧縮部１０３０に送られる。
【００９２】
波形・信号・圧縮方式受信部１０１０に音声データが入力された場合、データは音声検出部１０２０に送られる。音声検出部１０２０では、波形・信号・圧縮方式受信部１０１０から送られた波形データの音声検出を行う。検出方法としてはワードスポッティング手法等が用いられる。検出された音声データは波形圧縮部１０３０に送られる。
【００９３】
音声の検出後に検出がキャンセルされた場合、始端キャンセル時の信号が始端キャンセル信号送信部１０６０に送信される。始端キャンセル信号送信部１０６０では、送られた始端キャンセル時の信号を出力する。
【００９４】
本実施例では、第４の実施例と同様に合成音を作成する音声合成部１０７０を持つ。音声合成部１０７０で作成された合成音は合成音情報作成部１０８０に送られる。
【００９５】
合成音情報作成部１０８０では、合成音情報を作成し、作成した合成音情報を波形圧縮部１０３０に送信し、音声合成部１０７０から送られた合成音を出力する。合成音情報については、合成音の内容や合成音出力時のタイムスタンプ情報等が用いられる。波形圧縮部１０３０では、音声検出部１０２０から送られた波形データを圧縮し、合成音情報作成部１０８０で作成された合成音情報と、圧縮方式インデックス作成部１０９０で作成された圧縮方式のインデックスとを前記波形データの一部に含める。
【００９６】
波形データの一部に合成音情報、圧縮方式のインデックスを含める手法としては、合成音情報、圧縮方式のインデックスを波形データのヘッダーに含めて圧縮する方法や、圧縮した波形データに合成音情報、圧縮方式のインデックスを付加する方法等が用いられる。圧縮方式としては、VSELP方式、PSI-CELP方式等が用いられる。圧縮された波形データは波形記憶部１０５０に送られる。
【００９７】
波形記憶部１０５０では、波形圧縮部１０３０から送られた圧縮波形データを波形送信部１０４０に送信し、同一データを記憶する。
【００９８】
波形送信部１０４０では、波形圧縮部１０３０から送られた圧縮波形データをサーバ側装置へ出力する。波形・信号・圧縮方式受信部１０１０にサーバから送信された波形データ再送要求信号が入力された場合、受信された信号は波形記憶部１０５０に送られる。波形記憶部１０５０では記憶されている圧縮波形データを波形送信部１０４０に送信する。波形送信部１０４０では波形記憶部１０５０から送られた圧縮波形データを出力する。
【００９９】
図５（ｂ）を参照すると、サーバ側では、波形・信号受信部１２１０と、波形伸張部１２２０と、波形データ再送要求信号送信部１２３０と、分析部１２４０と、認識部１２５０と、標準パターン記憶部１２６０と、合成音情報取得部１２７０と、圧縮方式インデックス取得部１２８０と、認識エンジン選択部１２９０と、認識エンジン設定部１３００と、圧縮方式取得部１３１０と、圧縮方式記憶部１３２０と、を備えている。
【０１００】
サーバ側では、端末側の波形送信部１０４０から出力された圧縮波形データ、又は始端キャンセル信号送信部１０６０から出力された始端キャンセル時の信号、又は圧縮方式要求信号送信部１１２０から出力された波形圧縮方式要求信号を波形・信号受信部１２１０で受信する。波形・信号受信部１２１０では、波形圧縮方式要求信号が受信された場合、受信信号を圧縮方式取得部１３１０へ送る。
【０１０１】
圧縮方式取得部１３１０では、波形・信号受信部１２１０から波形圧縮方式要求信号が送られた場合、圧縮方式記憶部１３２０に記憶されている圧縮方式の中からサーバ側で利用可能な圧縮方式を取得し、取得した圧縮方式情報を端末側に出力する。波形・信号受信部１２１０において波形データが受信された場合、波形伸張部１２２０に送信する。
【０１０２】
波形データの受信に失敗した場合は、波形データ再送要求信号送信部１２３０に波形データ再送要求信号を送信する。波形データ再送要求信号送信部１２３０では、波形・信号受信部１２１０から送られた信号を出力する。波形伸張部１２２０では、波形・信号受信部１２１０から送られたデータを波形データとその他のデータとに分離し、波形データを伸張する。
【０１０３】
その他の情報は合成音情報取得部１２７０と圧縮方式インデックス取得部１２８０に送られ、伸張された波形データは分析部１２４０に送られる。合成音情報取得部１２７０では、波形伸張部１２２０から送られた情報から合成音情報を取得する。取得された合成音情報は認識部１２５０に送られる。
【０１０４】
圧縮方式インデックス取得部１２８０では、波形伸張部１２２０から送られた情報から圧縮方式のインデックスを取得する。
【０１０５】
取得されたインデックスは認識エンジン選択部１２９０に送られる。
【０１０６】
認識エンジン選択部１２９０では、圧縮方式インデックス取得部１２８０で取得されたインデックスをもとに認識に用いる認識エンジンを選択する。選択されたエンジンの情報は認識エンジン設定部１３００と標準パターン記憶部１２６０に送られる。
【０１０７】
認識エンジン設定部１３００では、認識エンジン選択部１２９０から送られたエンジン情報を基に、使用するエンジンの分析手法を分析部１２４０へ送り、認識手法を認識部１２５０へ送る。
【０１０８】
標準パターン記憶部１２６０では、認識エンジン選択部１２９０から送られたエンジン情報より使用する標準パターンを設定する。
【０１０９】
分析部１２４０では、波形伸張部１２２０で伸張された波形データを特徴ベクトルに変換する。特徴ベクトルとしてはケプストラム、Δケプストラム等が用いられる。分析された特徴ベクトルは認識部１２５０に送られる。認識部１２５０では、分析部１２４０から送られた特徴ベクトルと、標準パターン記憶部１２６０から送られた標準パターンとの間の尤度を計算し、認識結果を求める。尤度の計算方法はViterbiアルゴリズム、ＤＰマッチング等が用いられる。求められた認識結果と合成音情報取得部１２７０で取得された合成音情報は共に端末側に出力されるか、又は、両者が関連付けられることでどの合成音に対する認識結果であるかが対応付けされ、対応付けされた後の認識結果が端末側に出力される。波形・信号受信部１２１０に始端キャンセル信号送信部１０６０から送信された始端キャンセル時の信号が入力された場合、信号は認識部１２５０に送られる。認識部１２５０では、波形・信号受信部１２１０から始端キャンセル時の信号が送られてきた場合、認識を途中で中断する。
【０１１０】
［実施例６］
次に、本発明の第６の実施例について説明する。図６は、本発明の第６の実施例をなすサーバ・クライアント型音声認識装置の構成を示す図であり、図６（ａ）には端末、図６（ｂ）にはサーバ側の装置構成が示されている。図６（ａ）を参照すると、端末は、波形・信号・圧縮方式受信部１４１０と、音声検出部１４２０と、波形圧縮部１４３０と、波形送信部１４４０と、波形記憶部１４５０と、始端キャンセル信号送信部１４６０と、音声合成部１４７０と、合成音情報作成部１４８０と、圧縮方式インデックス作成部１４９０と、圧縮方式選択部１５００と、圧縮方式記憶部１５１０と、圧縮方式要求信号送信部１５２０と、を備えている。端末の波形・信号・圧縮方式受信部１４１０には、音声データ、又は圧縮方式要求信号、又はサーバから送信された波形データ再送要求信号、又はサーバから送信された圧縮方式情報が入力される。圧縮方式要求信号が入力された場合、圧縮方式要求信号は圧縮方式要求信号送信部１５２０に送られる。圧縮方式要求信号送信部１５２０では、波形・信号・圧縮方式受信部１４１０から送られた圧縮方式要求信号をサーバ側装置へ出力する。
【０１１１】
波形・信号・圧縮方式受信部１４１０にサーバ側から送信されたサーバ側で利用可能な圧縮方式情報が入力された場合、圧縮方式情報は圧縮方式選択部１５００へ送られる。
【０１１２】
本実施例では、第４の実施例と同様に、端末側で利用可能な圧縮方式を記憶する圧縮方式記憶部１５１０、波形を圧縮する方式を選択する圧縮方式選択部１５００を持つ。
【０１１３】
圧縮方式記憶部１５１０に記憶された圧縮方式については、波形圧縮方法（フルレート、ハーフレート等）や帯域（4kHz、8kHz等）の情報を含む。圧縮方式選択部１５００では、圧縮方式記憶部１５１０に記憶されている端末側で利用可能な圧縮方式情報と、波形・信号・圧縮方式受信部１４１０から送られたサーバ側で利用可能な圧縮方式をもとにデータの情報量の多い圧縮方式を選択する。例えば、端末側でもサーバ側でもともにフルレートとハーフレートの圧縮方式を持つ場合、データの情報量の多いフルレートが選択される。圧縮方式選択部１５００で選択された方式名は圧縮方式インデックス作成部１４９０に送られる。圧縮方式インデックス作成部１４９０では、圧縮方式選択部で選択された方式名のインデックスを作成する。圧縮方式インデックス作成部１４９０で作成されたインデックスは波形圧縮部１４３０に送られる。
【０１１４】
波形・信号・圧縮方式受信部１４１０に音声データが入力された場合、データは音声検出部１４２０に送られる。音声検出部１４２０では、波形・信号・圧縮方式受信部１４１０から送られた波形データの音声検出を行う。検出方法としてはワードスポッティング手法等が用いられる。検出された音声データは波形圧縮部１４３０に送られる。音声の検出後に検出がキャンセルされた場合、始端キャンセル時の信号が始端キャンセル信号送信部１４６０に送信される。始端キャンセル信号送信部１４６０では、送られた始端キャンセル時の信号をサーバ側装置へ出力する。
【０１１５】
本実施例では第４、第５の実施例と同様に、合成音を作成する音声合成部１４７０を持つ。音声合成部１４７０で作成された合成音は合成音情報作成部１４８０に送られる。
【０１１６】
合成音情報作成部１４８０では、合成音情報を作成し、作成した合成音情報を波形圧縮部１４３０に送信し、音声合成部１４７０から送られた合成音を出力する。合成音情報については、合成音の内容や合成音出力時のタイムスタンプ情報等が用いられる。
【０１１７】
波形圧縮部１４３０では、音声検出部１４２０から送られた波形データを圧縮し、合成音情報作成部１４８０で作成された合成音情報と、圧縮方式インデックス作成部１４９０で作成された圧縮方式のインデックスとを前記波形データの一部に含める。波形データの一部に合成音情報、圧縮方式のインデックスを含める手法としては、
・合成音情報、圧縮方式のインデックスを波形データのヘッダーに含めて圧縮する方法や、
・圧縮した波形データに合成音情報、圧縮方式のインデックスを付加する方法等が用いられる。
【０１１８】
圧縮方式としては、VSELP方式、PSI-CELP方式等が用いられる。圧縮された波形データは波形記憶部１４５０に送られる。波形記憶部１４５０では、波形圧縮部１４３０から送られた圧縮波形データを波形送信部１４４０に送信し、同一データを記憶する。波形送信部１４４０では、波形圧縮部１４３０から送られた圧縮波形データをサーバ側装置へ出力する。波形・信号・圧縮方式受信部１４１０にサーバから送信された波形データ再送要求信号が入力された場合、受信された信号は波形記憶部１４５０に送られる。波形記憶部１４５０では記憶されている圧縮波形データを波形送信部１４４０に送信する。波形送信部１４４０では波形記憶部１４５０から送られた圧縮波形データを出力する。
【０１１９】
図６（ｂ）を参照すると、サーバ側では、波形・信号・タスク情報受信部１６１０と、波形伸張部１６２０と、波形データ再送要求信号送信部１６３０と、分析部１６４０と、認識部１６５０と、標準パターン記憶部１６６０と、合成音情報取得部１６７０と、圧縮方式インデックス取得部１６８０と、認識エンジン選択部１６９０と、認識エンジン設定部１７００と、圧縮方式取得部１７１０と、圧縮方式・タスク情報対応テーブル記憶部１７２０と、タスク情報記憶部１７３０とを備えている。
【０１２０】
サーバ側では、端末側の波形送信部１４４０から出力された波形データ、又は始端キャンセル信号送信部１４６０から出力された始端キャンセル時の信号、又は圧縮方式要求信号送信部１５２０から出力された波形圧縮方式要求信号、又はコンテンツ側より入力されたタスク情報を波形・信号・タスク情報受信部１６１０で受信する。
【０１２１】
波形・信号・タスク情報受信部１６１０にコンテンツ側よりタスク情報が入力された場合、タスク情報記憶部１７３０に送信する。タスク情報記憶部１７３０では、波形・信号・タスク情報受信部１６１０より送られたタスク情報を記憶し、同一情報を圧縮方式取得部１７１０に送る。
【０１２２】
波形・信号・タスク情報受信部１６１０において波形圧縮方式要求信号が受信された場合、受信信号を圧縮方式取得部１７１０へ送る。圧縮方式取得部１７１０では、波形・信号・タスク情報受信部１６１０から波形圧縮方式要求信号が送られた場合、圧縮方式・タスク情報対応テーブル記憶部１７２０に記憶されているタスク情報とそのタスクで利用可能な圧縮方式との対応テーブルと、タスク情報記憶部１７３０から送られたタスク情報とから利用可能な圧縮方式を取得し、取得した圧縮方式情報を端末側に出力する。
【０１２３】
波形・信号・タスク情報受信部１６１０において波形データが受信された場合、波形伸張部１６２０に送信する。波形データの受信に失敗した場合は、波形データ再送要求信号送信部１６３０に波形データ再送要求信号を送信する。波形データ再送要求信号送信部１６３０では、波形・信号・タスク情報受信部１６１０から送られた信号を出力する。波形伸張部１６２０では、波形・信号・タスク情報受信部１６１０から送られたデータを波形データとその他のデータとに分離し、波形データを伸張する。
【０１２４】
その他の情報は合成音情報取得部１６７０と圧縮方式インデックス取得部１６８０に送られ、伸張された波形データは分析部１６４０に送られる。合成音情報取得部１６７０では、波形伸張部１６２０から送られた情報から合成音情報を取得する。取得された合成音情報は認識部１６５０に送られる。
【０１２５】
圧縮方式インデックス取得部１６８０では、波形伸張部１６２０から送られた情報から圧縮方式のインデックスを取得する。取得されたインデックスは認識エンジン選択部１６９０に送られる。
【０１２６】
認識エンジン選択部１６９０では、圧縮方式インデックス取得部１６８０で取得されたインデックスをもとに認識に用いる認識エンジンを選択する。選択されたエンジンの情報は認識エンジン設定部１７００と標準パターン記憶部１６６０に送られる。
【０１２７】
認識エンジン設定部１７００では、認識エンジン選択部１６９０から送られたエンジン情報を元に使用するエンジンの分析手法を分析部１６４０へ送り、認識手法を認識部１６５０へ送る。標準パターン記憶部１６６０では、認識エンジン選択部１６９０から送られたエンジン情報より使用する標準パターンを設定する。分析部１６４０では、波形伸張部１６２０で伸張された波形データを特徴ベクトルに変換する。特徴ベクトルとしてはケプストラム、Δケプストラム等が用いられる。
【０１２８】
分析された特徴ベクトルは認識部１６５０に送られる。認識部１６５０では、分析部１６４０から送られた特徴ベクトルと、標準パターン記憶部１６６０から送られた標準パターンとの間の尤度を計算し、認識結果を求める。尤度の計算方法はViterbiアルゴリズム、ＤＰマッチング等が用いられる。求められた認識結果と合成音情報取得部１６７０で取得された合成音情報は共に端末側に出力されるか、又は、両者が関連付けられることでどの合成音に対する認識結果であるかが対応付けされ、対応付けされた後の認識結果が端末側に出力される。波形・信号・タスク情報受信部１６１０に始端キャンセル信号送信部１４６０から送信された始端キャンセル時の信号が入力された場合、信号は認識部１６５０に送られる。認識部１６５０では、波形・信号・タスク情報受信部１６１０から始端キャンセル時の信号が送られてきた場合、認識を途中で中断する。
【０１２９】
［実施例７］
次に、本発明の第７の実施例について説明する。図７は、本発明の第７の実施例をなすサーバ・クライアント型音声認識装置の構成を示す図であり、図７（ａ）には端末、図７（ｂ）にはサーバ側の装置構成が示されている。図７（ａ）を参照すると、端末は、波形・信号・圧縮方式・タスク情報受信部１８１０と、音声検出部１８２０と、波形圧縮部１８３０と、波形送信部１８４０と、波形記憶部１８５０と、始端キャンセル信号送信部１８６０と、音声合成部１８７０と、合成音情報作成部１８８０と、圧縮方式インデックス作成部１８９０と、圧縮方式選択部１９００と、圧縮方式・タスク情報対応テーブル記憶部１９１０と、圧縮方式要求信号送信部１９２０と、タスク情報記憶部１９３０と、を備えている。
【０１３０】
図７を参照すると、この実施例において、端末側の波形・信号・圧縮方式・タスク情報受信部１８１０には、音声データ、又は圧縮方式要求信号、又はサーバから送信された波形データ再送要求信号、又はサーバから送信された圧縮方式情報、又はコンテンツ側から送信されたタスク情報が入力される。
【０１３１】
波形・信号・圧縮方式・タスク情報受信部１８１０に、タスク情報が入力された場合、入力されたタスク情報はタスク情報記憶部１９３０に送られる。タスク情報記憶部１９３０では、波形・信号・圧縮方式・タスク情報受信部１８１０から送られたタスク情報を圧縮方式選択部１９００に送り、記憶する。
【０１３２】
波形・信号・圧縮方式・タスク情報受信部１８１０に、圧縮方式要求信号が入力された場合、圧縮方式要求信号は圧縮方式要求信号送信部１９２０に送られる。圧縮方式要求信号送信部１９２０では、波形・信号・圧縮方式・タスク情報受信部１８１０から送られた圧縮方式要求信号をサーバ側装置へ出力する。
【０１３３】
波形・信号・圧縮方式・タスク情報受信部１８１０に、サーバ側から送信されたサーバ側で利用可能な圧縮方式情報が入力された場合、圧縮方式情報は圧縮方式選択部１９００へ送られる。
【０１３４】
本実施例では、タスク情報とそのタスクで利用可能な圧縮方式との対応テーブル記憶する圧縮方式・タスク情報対応テーブル記憶部１９１０を持つ。圧縮方式・タスク情報対応テーブル記憶部に記憶された圧縮方式については、波形圧縮方法（フルレート、ハーフレート等）や帯域（4kHz、8kHz等）の情報を含む。
【０１３５】
圧縮方式選択部１９００では、タスク情報記憶部１９３０から送られたタスク情報と、波形・信号・圧縮方式・タスク情報受信部１８１０から送られたサーバ側で利用可能な圧縮方式情報と、圧縮方式・タスク情報対応テーブル記憶部１９１０に記憶されている対応テーブル情報とをもとにタスク情報が加味されたデータの情報量の多い圧縮方式を選択する。圧縮方式選択部１９００で選択された方式名は圧縮方式インデックス作成部１８９０に送られる。
【０１３６】
圧縮方式インデックス作成部１８９０では、圧縮方式選択部で選択された方式名のインデックスを作成する。圧縮方式インデックス作成部１８９０で作成されたインデックスは波形圧縮部１８３０に送られる。
【０１３７】
波形・信号・圧縮方式・タスク情報受信部１８１０に音声データが入力された場合、データは音声検出部１８２０に送られる。音声検出部１８２０では、波形・信号・圧縮方式・タスク情報受信部１８１０から送られた波形データの音声検出を行う。検出方法としてはワードスポッティング手法等が用いられる。検出された音声データは波形圧縮部１８３０に送られる。音声の検出後に検出がキャンセルされた場合、始端キャンセル時の信号が始端キャンセル信号送信部１８６０に送信される。始端キャンセル信号送信部１８６０では、送られた始端キャンセル時の信号を出力する。
【０１３８】
本実施例では、第４、第５、第６の実施例と同様に、合成音を作成する音声合成部１８７０を持つ。音声合成部１８７０で作成された合成音は合成音情報作成部１８８０に送られる。合成音情報作成部１８８０では、合成音情報を作成し、作成した合成音情報を波形圧縮部１８３０に送信し、音声合成部１８７０から送られた合成音を出力する。合成音情報については、合成音の内容や合成音出力時のタイムスタンプ情報等が用いられる。
【０１３９】
波形圧縮部１８３０では、音声検出部１８２０から送られた波形データを圧縮し、合成音情報作成部１８８０で作成された合成音情報と、圧縮方式インデックス作成部１８９０で作成された圧縮方式のインデックスとを前記波形データの一部に含める。波形データの一部に合成音情報、圧縮方式のインデックスを含める手法としては、
・合成音情報、圧縮方式のインデックスを波形データのヘッダーに含めて圧縮する方法や、
・圧縮した波形データに合成音情報、圧縮方式のインデックスを付加する方法等が用いられる。圧縮方式としては、VSELP方式、PSI-CELP方式等が用いられる。圧縮された波形データは波形記憶部１８５０に送られる。波形記憶部１８５０では、波形圧縮部１８３０から送られた圧縮波形データを波形送信部１８４０に送信し、同一データを記憶する。波形送信部１８４０では、波形圧縮部１８３０から送られた圧縮波形データをサーバ側装置へ出力する。
【０１４０】
波形・信号・圧縮方式・タスク情報受信部１８１０に、サーバから送信された波形データ再送要求信号が入力された場合、受信された信号は波形記憶部１８５０に送られる。波形記憶部１８５０では記憶されている圧縮波形データを波形送信部１８４０に送信する。波形送信部１８４０では波形記憶部１８５０から送られた圧縮波形データを出力する。
【０１４１】
図７（ｂ）を参照すると、サーバ側では、波形・信号受信部２０１０と、波形伸張部２０２０と、波形データ再送要求信号送信部２０３０と、分析部２０４０と、認識部２０５０と、標準パターン記憶部２０６０と、合成音情報取得部２０７０と、圧縮方式インデックス取得部２０８０と、認識エンジン選択部２０９０と、認識エンジン設定部２１００と、圧縮方式取得部２１１０と、圧縮方式記憶部２１２０とを備えている。
【０１４２】
サーバ側では、端末側の波形送信部１８４０から出力された圧縮波形データ、又は始端キャンセル信号送信部１８６０から出力された始端キャンセル時の信号、又は圧縮方式要求信号送信部１９２０から出力された波形圧縮方式要求信号を波形・信号受信部２０１０で受信する。波形・信号受信部２０１０では、波形圧縮方式要求信号が受信された場合、受信信号を圧縮方式取得部２１１０へ送る。
【０１４３】
圧縮方式取得部２１１０では、波形・信号受信部２０１０から波形圧縮方式要求信号が送られた場合、圧縮方式記憶部２１２０に記憶されている圧縮方式の中からサーバ側で利用可能な圧縮方式を取得し、取得した圧縮方式情報を端末側に出力する。波形・信号受信部２０１０において波形データが受信された場合、波形伸張部２０２０に送信する。波形データの受信に失敗した場合は、波形データ再送要求信号送信部２０３０に波形データ再送要求信号を送信する。波形データ再送要求信号送信部２０３０では、波形・信号受信部２０１０から送られた信号を出力する。
【０１４４】
波形伸張部２０２０では、波形・信号受信部２０１０から送られたデータを波形データとその他のデータとに分離し、波形データを伸張する。その他の情報は合成音情報取得部２０７０と圧縮方式インデックス取得部２０８０に送られ、伸張された波形データは分析部２０４０に送られる。
【０１４５】
合成音情報取得部２０７０では、波形伸張部２０２０から送られた情報から合成音情報を取得する。取得された合成音情報は認識部２０５０に送られる。
【０１４６】
圧縮方式インデックス取得部２０８０では、波形伸張部２０２０から送られた情報から圧縮方式のインデックスを取得する。
【０１４７】
取得されたインデックスは認識エンジン選択部２０９０に送られる。認識エンジン選択部２０９０では、圧縮方式インデックス取得部２０８０で取得されたインデックスをもとに認識に用いる認識エンジンを選択する。選択されたエンジンの情報は認識エンジン設定部２１００と標準パターン記憶部２０６０に送られる。
【０１４８】
認識エンジン設定部２１００では、認識エンジン選択部２０９０から送られたエンジン情報を元に使用するエンジンの分析手法を分析部２０４０へ送り、認識手法を認識部２０５０へ送る。標準パターン記憶部２０６０では、認識エンジン選択部２０９０から送られたエンジン情報より使用する標準パターンを設定する。分析部２０４０では、波形伸張部２０２０で伸張された波形データを特徴ベクトルに変換する。特徴ベクトルとしてはケプストラム、Δケプストラム等が用いられる。分析された特徴ベクトルは認識部２０５０に送られる。認識部２０５０では、分析部２０４０から送られた特徴ベクトルと、標準パターン記憶部２０６０から送られた標準パターンとの間の尤度を計算し、認識結果を求める。尤度の計算方法はViterbiアルゴリズム、ＤＰマッチング等が用いられる。求められた認識結果と合成音情報取得部２０７０で取得された合成音情報は共に端末側に出力されるか、又は、両者が関連付けられることでどの合成音に対する認識結果であるかが対応付けされ、対応付けされた後の認識結果が端末側に出力される。
【０１４９】
波形・信号受信部２０１０に始端キャンセル信号送信部１８６０から送信された始端キャンセル時の信号が入力された場合、信号は認識部２０５０に送られる。認識部２０５０では、波形・信号受信部２０１０から始端キャンセル時の信号が送られてきた場合、認識を途中で中断する。
【０１５０】
上記実施例において、上記端末側の装置としては、例えば携帯電話端末が好適とされるが、端末は、携帯電話端末に限定されるものではなく、サーバ・クライアント型音声認識装置のサーバに接続可能とされる音声入力可能な任意の情報端末を含む。以上本発明を上記各実施例に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものではなく、各実施例の組合せを含むものであり、本発明は、特許請求の範囲の請求項の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【０１５１】
【発明の効果】
以上説明したように、本発明によれば、認識対象となるタスクの規模や難易度に適応し、クライアントとサーバ間で相互の音声処理仕様、能力を確認して音声圧縮伸張等の音声処理仕様を最適に設定することができる、という効果を奏する。
【０１５２】
本発明によれば、更に、サーバで認識処理を行うため大規模なタスクの認識処理が可能となり、認識エンジン等のアップデートに迅速に対応することができるという効果を奏する。
【図面の簡単な説明】
【図１】（ａ）は、本発明の第１の実施例における端末側の装置構成、（ｂ）は、本発明の第１の実施例におけるサーバ側の装置構成を示す図である。
【図２】（ａ）は、本発明の第２の実施例における端末側の装置構成、（ｂ）は、本発明の第２の実施例におけるサーバ側の装置構成を示す図である。
【図３】（ａ）は、本発明の第３の実施例における端末側の装置構成、（ｂ）は、本発明の第３の実施例におけるサーバ側の装置構成を示す図である。
【図４】（ａ）は、本発明の第４の実施例における端末側の装置構成、（ｂ）は、本発明の第４の実施例におけるサーバ側の装置構成を示す図である。
【図５】（ａ）は、本発明の第５の実施例における端末側の装置構成、（ｂ）は、本発明の第５の実施例におけるサーバ側の装置構成を示す図である。
【図６】（ａ）は、本発明の第６の実施例における端末側の装置構成、（ｂ）は、本発明の第６の実施例におけるサーバ側の装置構成を示す図である。
【図７】（ａ）は、本発明の第７の実施例における端末側の装置構成、（ｂ）は、本発明の第７の実施例におけるサーバ側の装置構成を示す図である。
【符号の説明】
１０ 音声検出部
２０ 波形圧縮部
３０ 波形送信部
１１０ 波形受信部
１２０ 波形伸張部
１３０ 分析部
１４０ 認識部
１５０ 標準パターン記憶部
２１０ 波形・信号受信部
２２０ 音声検出部
２３０ 波形圧縮部
２４０ 波形送信部
２５０ 波形記憶部
３１０ 波形受信部
３２０ 波形伸張部
３３０ 波形データ再送要求信号送信部
３４０ 分析部
３５０ 認識部
３６０ 標準パターン記憶部
４１０ 波形・信号受信部
４２０ 音声検出部
４３０ 波形圧縮部
４４０ 波形送信部
４５０ 波形記憶部
４６０ 始端キャンセル信号送信部
５１０ 波形・信号受信部
５２０ 波形伸張部
５３０ 波形データ再送要求信号送信部
５４０ 分析部
５５０ 認識部
５６０ 標準パターン記憶部
６１０ 波形・信号受信部
６２０ 音声検出部
６３０ 波形圧縮部
６４０ 波形送信部
６５０ 波形記憶部
６６０ 始端キャンセル信号送信部
６７０ 音声合成部
６８０ 合成音情報作成部
７１０ 波形・信号受信部
７２０ 波形伸張部
７３０ 波形データ再送要求信号送信部
７４０ 分析部
７５０ 認識部
７６０ 標準パターン記憶部
７７０ 合成音情報取得部
１０１０ 波形・信号・圧縮方式受信部
１０２０ 音声検出部
１０３０ 波形圧縮部
１０４０ 波形送信部
１０５０ 波形記憶部
１０６０ 始端キャンセル信号送信部
１０７０ 音声合成部
１０８０ 合成音情報作成部
１０９０ 圧縮方式インデックス作成部
１１００ 圧縮方式選択部
１１１０ 圧縮方式記憶部
１１２０ 圧縮方式要求信号送信部
１２１０ 波形・信号受信部
１２２０ 波形伸張部
１２３０ 波形データ再送要求信号送信部
１２４０ 分析部
１２５０ 認識部
１２６０ 標準パターン記憶部
１２７０ 合成音情報取得部
１２８０ 圧縮方式インデックス取得部
１２９０ 認識エンジン選択部
１３００ 認識エンジン設定部
１３１０ 圧縮方式取得部
１３２０ 圧縮方式記憶部
１４１０ 波形・信号・圧縮方式受信部
１４２０ 音声検出部
１４３０ 波形圧縮部
１４４０ 波形送信部
１４５０ 波形記憶部
１４６０ 始端キャンセル信号送信部
１４７０ 音声合成部
１４８０ 合成音情報作成部
１４９０ 圧縮方式インデックス作成部
１５００ 圧縮方式選択部
１５１０ 圧縮方式記憶部
１５２０ 圧縮方式要求信号送信部
１６１０ 波形・信号・タスク情報受信部
１６２０ 波形伸張部
１６３０ 波形データ再送要求信号送信部
１６４０ 分析部
１６５０ 認識部
１６６０ 標準パターン記憶部
１６７０ 合成音情報取得部
１６８０ 圧縮方式インデックス取得部
１６９０ 認識エンジン選択部
１７００ 認識エンジン設定部
１７１０ 圧縮方式取得部
１７２０ 圧縮方式・タスク情報対応テーブル記憶部
１７３０ タスク情報記憶部
１８１０ 波形・信号・圧縮方式・タスク情報受信部
１８２０ 音声検出部
１８３０ 波形圧縮部
１８４０ 波形送信部
１８５０ 波形記憶部
１８６０ 始端キャンセル信号送信部
１８７０ 音声合成部
１８８０ 合成音情報作成部
１８９０ 圧縮方式インデックス作成部
１９００ 圧縮方式選択部
１９１０ 圧縮方式・タスク情報対応テーブル記憶部
１９２０ 圧縮方式要求信号送信部
１９３０ タスク情報記憶部
２０１０ 波形・信号受信部
２０２０ 波形伸張部
２０３０ 波形データ再送要求信号送信部
２０４０ 分析部
２０５０ 認識部
２０６０ 標準パターン記憶部
２０７０ 合成音情報取得部
２０８０ 圧縮方式インデックス取得部
２０９０ 認識エンジン選択部
２１００ 認識エンジン設定部
２１１０ 圧縮方式取得部
２１２０ 圧縮方式記憶部

Claims (17)

1. 端末側の装置と、サーバ側の装置と、を備えた音声認識装置であって、
   前記端末側の装置が、
   入力された波形データと、前記サーバ側の装置から送信される波形データ再送要求信号と、前記サーバ側の装置から送信される前記サーバ側の装置で利用可能な圧縮方式情報とを少なくとも受信する波形・信号・圧縮方式受信部と、
   前記波形・信号・圧縮方式受信部で受信された波形データの音声区間を検出する音声検出部と、
   前記音声検出部で検出された音声区間の波形データを圧縮する波形圧縮部と、
   波形データを出力する波形送信部と、
   前記波形圧縮部で圧縮された波形データを一時記憶しながら前記波形データを、前記波形送信部へ送信すると共に、前記波形・信号・圧縮方式受信部において、前記サーバ側の装置からの波形データ再送要求信号が受信された場合に、記憶された波形データを、前記波形送信部へ送信する波形記憶部と、
   前記波形・信号・圧縮方式受信部において前記サーバ側で利用可能な圧縮方式情報を受信した場合に、前記波形・信号・圧縮方式受信部から送られた圧縮方式情報より最適な圧縮方式を選択する圧縮方式選択部と、
   前記圧縮方式選択部で選択された圧縮方式のインデックスを作成する圧縮方式インデックス作成部と、
   前記音声検出部で音声の検出後に該検出がキャンセルされた場合に始端キャンセル信号を出力する始端キャンセル信号送信部と、
   を備え、
   前記波形圧縮部は、前記音声検出部で検出された音声区間の波形データを圧縮し、前記圧縮方式インデックス作成部で作成された圧縮方式インデックスを波形データの一部に組み込み、
   前記サーバ側の装置が、
   前記端末側の装置から送信された波形データと、始端キャンセル信号と、圧縮方式要求信号と、コンテンツ側から送信されたタスク情報と、を受信する波形・信号・タスク情報受信部と、
   前記波形・信号・タスク情報受信部で受信された音声の波形データを伸張する波形伸張部と、
   前記波形伸張部で伸張された波形データを用いて認識処理を行い、認識した結果を出力する認識部と、
   前記波形・信号受信部で圧縮波形データの受信に失敗した場合には、波形データの再送要求信号を前記波形受信部から受け取り波形データ再送要求信号を出力する波形データ再送要求信号送信部と、
   前記サーバ側の装置で利用可能な圧縮方式の情報を記憶する圧縮方式記憶部と、
   前記波形・信号・タスク情報受信部で受信されたタスク情報を記憶するタスク情報記憶部と、
   タスク情報と該タスク使用時に利用可能な１個以上の圧縮方式を記憶する圧縮方式・タスク情報対応テーブル記憶部と、
   前記波形・信号・タスク情報受信部において圧縮方式要求信号を受信した場合に、前記タスク情報記憶部から送られたタスク情報と前記圧縮方式・タスク情報対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルより利用可能な圧縮方式情報を取得し、前記端末側の装置に出力する圧縮方式取得部と、
   前記波形伸張部で伸張されたデータから圧縮方式のインデックスを取得する圧縮方式インデックス取得部と、
   前記圧縮方式インデックス取得部で取得された圧縮方式のインデックスから認識エンジンを選択する認識エンジン選択部と、
   前記認識エンジン選択部で選択されたエンジンを記憶されているエンジンの中から設定する認識エンジン設定部と、
   を備え、前記認識部は、前記波形・信号・タスク情報受信部において始端キャンセル信号を受信した場合に、認識処理を中止する、ことを特徴とする音声認識装置。
2. 端末側の装置と、サーバ側の装置と、を備えた音声認識装置であって、
   前記端末側の装置が、
   入力された音声の波形データと、前記サーバ側の装置から送信される波形データ再送要求信号とを受信する波形・信号受信部と、
   前記波形・信号受信部で受信された波形データの音声区間を検出する音声検出部と、
   前記音声検出部で検出された音声区間の波形データを圧縮する波形圧縮部と、
   波形データを出力する波形送信部と、
   前記波形圧縮部で圧縮された波形データを一時記憶しながら前記波形データを、前記波形送信部へ送信すると共に、前記波形・信号受信部において、前記サーバ側の装置からの波形データ再送要求信号が受信された場合に、記憶された波形データを、前記波形送信部へ送信する波形記憶部と、
   前記音声検出部で音声の検出後に該検出がキャンセルされた場合、前記音声検出部から送信された始端キャンセル時の信号を受け取り始端キャンセル信号を出力する始端キャンセル信号送信部と、
   を備え、
   前記サーバ側の装置が、
   前記端末側の装置から送信された波形データと、始端キャンセル信号と、圧縮方式要求信号と、コンテンツ側から送信されたタスク情報と、を受信する波形・信号・タスク情報受信部と、
   前記波形・信号・タスク情報受信部で受信された音声の波形データを伸張する波形伸張部と、
   前記波形伸張部で伸張された波形データを用いて認識処理を行い、認識した結果を出力する認識部と、
   前記波形受信部で圧縮波形データの受信に失敗した場合には、波形データの再送要求信号を前記波形受信部から受け取り波形データ再送要求信号を出力する波形データ再送要求信号送信部と、
   前記波形・信号・タスク情報受信部で受信されたタスク情報を記憶するタスク情報記憶部と、
   タスク情報と該タスク使用時に利用可能な１個以上の圧縮方式を記憶する圧縮方式・タスク情報対応テーブル記憶部と、
   前記波形・信号・タスク情報受信部において圧縮方式要求信号を受信した場合に、前記タスク情報記憶部から送られたタスク情報と前記圧縮方式・タスク情報対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルより利用可能な圧縮方式情報を取得し、前記端末側の装置に出力する圧縮方式取得部と、
   を備え、前記認識部は、前記波形・信号・タスク情報受信部において始端キャンセル信号を受信した場合に、認識処理を中止し、
   前記端末側の装置が、
   合成音を合成する音声合成部と、
   前記音声合成部で合成された合成音の情報を作成し、合成音を出力する合成音情報作成部と、
   を備え、
   前記波形圧縮部は、前記音声検出部で検出された音声区間の波形データを圧縮し、前記合成音情報作成部で作成された合成音情報を前記波形データの一部に組み込み、
   前記サーバ側の装置が、
   前記波形伸張部で伸張されたデータから合成音情報を取得する合成音情報取得部を備え、前記認識部が、認識が終了した場合に前記合成音情報取得部で取得された合成音情報より合成音と認識結果との対応付けを行い、合成音と対応付けされた認識結果、又は、合成音と対応付けされた認識結果と合成音情報を出力する、ことを特徴とする音声認識装置。
3. 前記端末側の装置において、
   前記波形・信号・圧縮方式受信部に代わって、入力された波形データと、コンテンツ側から送信されたタスク情報と、前記サーバ側の装置から送信された波形データ再送要求信号と、前記サーバ側の装置から送信された前記サーバ側の装置で利用可能な圧縮方式情報とを受信する波形・信号・圧縮方式・タスク情報受信部を備え、
   前記波形・信号・圧縮方式・タスク情報受信部で受信されたタスク情報を記憶するタスク情報記憶部と、
   タスク情報とそのタスク使用時に利用可能な１個以上の圧縮方式の対応テーブルを記憶する圧縮方式・タスク情報対応テーブル記憶部と、
   前記波形・信号・圧縮方式・タスク情報受信部においてサーバ側で利用可能な圧縮方式情報を受信した場合に、前記タスク情報記憶部から送られたタスク情報と、前記圧縮方式・タスク対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルと、前記波形・信号・圧縮方式・タスク情報受信部から送られた前記サーバ側の装置で利用可能な圧縮方式情報とをもとに、最適な圧縮方式を選択する圧縮方式選択部と、
   を備えたことを特徴とする請求項２に記載の音声認識装置。
4. 入力されたデータの音声区間を検出し、該検出された音声区間の波形データを圧縮する波形圧縮部と、前記波形圧縮部で圧縮された波形データを出力する端末に接続され、前記端末とともに、サーバ・クライアント音声認識装置を構成するサーバ装置であって、
   前記端末から送信される波形データと、圧縮方式要求信号と、コンテンツ側から送信されたタスク情報と、を少なくとも受信する波形・信号・タスク情報受信部と、
   前記波形・信号・タスク情報受信部で受信された波形データを伸張する波形伸張部と、
   前記波形伸張部で伸張された波形データを用いて認識処理を行い、認識した結果を出力する認識部と、
   前記波形・信号・タスク情報受信部で受信されたタスク情報を記憶するタスク情報記憶部と、
   タスク情報と該タスク使用時に利用可能な１個以上の圧縮方式を記憶する圧縮方式・タスク情報対応テーブル記憶部と、
   前記波形・信号・タスク情報受信部において圧縮方式要求信号を受信した場合に、前記タスク情報記憶部から送られたタスク情報と前記圧縮方式・タスク情報対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルより利用可能な圧縮方式情報を取得し、前記端末に出力する圧縮方式取得部と、
   を備えている、ことを特徴とするサーバ装置。
5. 前記波形・信号・タスク情報受信部で、圧縮波形データの受信に失敗した場合に、波形データ再送要求信号を前記端末に送信する波形データ再送要求信号送信部を備えている、ことを特徴とする請求項４に記載のサーバ装置。
6. 前記端末において音声の検出後に該検出がキャンセルされた場合に出力される始端キャンセル信号を、前記波形・信号・タスク情報受信部が受信した場合に、前記波形・信号・タスク情報受信部からの通知に基づき、前記認識部は、認識処理を中止する、ことを特徴とする請求項４に記載のサーバ装置。
7. 前記波形・信号・タスク情報受信部は、前記端末から送信される圧縮方式要求信号を受信し、
   前記サーバ側で利用可能な圧縮方式の情報を記憶する圧縮方式記憶部と、
   前記波形・信号・タスク情報受信部で圧縮方式要求信号を受信した場合に、前記圧縮方式記憶部に記憶されている圧縮方式情報を取得し、前記端末側に圧縮方式情報を出力する圧縮方式取得部と、
   前記波形伸張部で伸張されたデータから圧縮方式のインデックスを取得する圧縮方式インデックス取得部と、
   前記圧縮方式インデックス取得部で取得された圧縮方式のインデックスから認識エンジンを選択する認識エンジン選択部と、
   前記認識エンジン選択部で選択されたエンジンを記憶されているエンジンの中から設定する認識エンジン設定部と、
   を備えている、ことを特徴とする請求項４、５、６のいずれか一に記載のサーバ装置。
8. 前記波形伸張部で伸張されたデータから合成音情報を取得する合成音情報取得部を備え、前記認識部が、認識が終了した場合に前記合成音情報取得部で取得された合成音情報より合成音と認識結果との対応付けを行い、合成音と対応付けされた認識結果、又は、合成音と対応付けされた認識結果と合成音情報を出力する、ことを特徴とする請求項４、５、６、７のいずれか一に記載のサーバ装置。
9. 端末から出力された圧縮波形データを受信して伸張し、該伸張された波形データを用いて認識処理を行い、認識した結果を出力するサーバ装置に接続され、サーバ・クライアント音声認識装置を構成する端末であって、
   入力された音声の波形データと、前記サーバ装置から送信された波形データ再送要求信号を受信する波形・信号受信部と、
   前記波形・信号受信部で受信された波形データの音声区間を検出する音声検出部と、
   前記音声検出部で検出された音声区間の波形データを圧縮する波形圧縮部と、
   前記波形圧縮部で圧縮された波形データをサーバ装置に送信する波形送信部と、
   前記波形圧縮部で圧縮された波形データを、一時記憶しながら、前記波形データを、前記波形送信部へ送信すると共に、前記波形・信号受信部において前記サーバ装置からの波形データ再送要求信号が受信された場合に、記憶された波形データを、前記波形送信部へ送信する波形記憶部と、
   を備え、
   前記波形・信号受信部では、入力された波形データと、コンテンツ側から送信されたタスク情報と、前記サーバ側の装置から送信される波形データ再送要求信号と、前記サーバ側の装置から送信された前記サーバ側の装置で利用可能な圧縮方式情報とを受信し、
   前記受信されたタスク情報を記憶するタスク情報記憶部と、
   前記タスク情報とそのタスク使用時に利用可能な１個以上の圧縮方式の対応テーブルを記憶する圧縮方式・タスク情報対応テーブル記憶部と、
   前記波形・信号受信部で前記サーバ側で利用可能な圧縮方式情報を受信した場合に、前記タスク情報記憶部から送られたタスク情報と、前記圧縮方式・タスク対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルと、前記波形・信号・圧縮方式・タスク情報受信部から送られた前記サーバ側の装置で利用可能な圧縮方式情報をもとに最適な圧縮方式を選択する圧縮方式選択部と、
   を備えている、ことを特徴とする端末。
10. 前記音声検出部で音声の検出後に該検出がキャンセルされた場合、前記音声検出部から送信された始端キャンセル時の信号を受け取り、始端キャンセル信号を前記サーバ装置に送信する始端キャンセル信号送信部をさらに備えている、ことを特徴とする請求項９に記載の端末。
11. 前記端末の波形・信号受信部が、前記サーバ側の装置から送信された前記サーバ側の装置で利用可能な圧縮方式情報を受信した場合に、前記圧縮方式情報より最適な圧縮方式を選択する圧縮方式選択部と、
    前記圧縮方式選択部で選択された圧縮方式のインデックスを作成する圧縮方式インデックス作成部と、を備え、
    前記波形圧縮部は、前記音声検出部で検出された音声区間の波形データを圧縮し、前記圧縮方式インデックス作成部で作成された圧縮方式インデックスを波形データの一部に組み込む、ことを特徴とする請求項９又は１０に記載の端末。
12. 合成音を合成する音声合成部と、
    前記音声合成部で合成された合成音の情報を作成し、合成音を出力する合成音情報作成部と、
    を備え、前記波形圧縮部は、前記音声検出部で検出された音声区間の波形データを圧縮し、前記合成音情報作成部で作成された合成音情報を前記波形データの一部に組み込む、ことを特徴とする請求項９、１０、１１のいずれか一に記載の端末。
13. サーバ装置と端末を有するサーバ・クライアントシステムの音声認識方法であって、
    前記端末において、
    入力された音声の波形データを受信するステップと、
    前記受信された波形データの音声区間を検出するステップと、
    前記検出された音声区間の波形データを圧縮するステップと、
    前記圧縮された波形データを波形記憶部に一時記憶しながら前記サーバ装置に送信するステップと、
    前記サーバ装置から送信される波形データ再送要求信号を受信した場合に、波形記憶部に記憶された波形データを、前記サーバ装置に送信するステップと、
    を有し、
    前記サーバ装置において、
    前記端末から出力される波形データを受信するステップと、
    前記受信された波形データを伸張するステップと、
    前記伸張された波形データを用いて認識処理を行い、認識した結果を出力するステップと、
    前記端末から送信される圧縮波形データの受信に失敗した場合には、波形データ再送要求信号を前記端末に出力するステップと、
    を有し、さらに、
    前記サーバ装置において、
    コンテンツ側から送信されたタスク情報を受信してタスク情報記憶部に記憶するステップと、
    圧縮方式要求信号を受信した場合に、タスク情報と、圧縮方式との対応テーブルより、利用可能な圧縮方式情報を取得し、前記端末に送信するステップを有することを特徴とする音声認識方法。
14. 前記端末において、
    音声の検出後に該検出がキャンセルされた場合、始端キャンセル信号を前記サーバ装置に送信するステップをさらに有し、
    前記サーバ装置において、
    前記端末からの前記始端キャンセル信号を受信した場合に、認識処理を中止するステップを有する、ことを特徴とする請求項１３記載の音声認識方法。
15. 前記端末において、
    前記サーバ装置から送信された前記サーバ側で利用可能な圧縮方式情報を受信するステップと、
    前記受信した圧縮方式情報により最適な圧縮方式を選択するステップと、
    前記選択された圧縮方式のインデックスを作成するステップと、
    音声区間の波形データを圧縮し、作成された圧縮方式インデックスを波形データの一部に組み込んで、前記サーバ装置に送信するステップと、
    を有し、
    前記サーバ装置において、
    前記端末から送信される圧縮方式要求信号を受信した場合に、前記サーバ側で利用可能な圧縮方式の情報を記憶する圧縮方式記憶部に記憶されている圧縮方式情報を取得し、前記端末に圧縮方式情報を出力するステップと、
    伸張されたデータから圧縮方式のインデックスを取得するステップと、
    前記取得された圧縮方式のインデックスから認識エンジンを選択するステップと、
    前記選択されたエンジンを記憶されているエンジンの中から設定するステップと、
    を有する、ことを特徴とする請求項１３又は１４記載の音声認識方法。
16. 前記端末において、
    合成音を合成するステップと、
    前記合成された合成音の情報を作成し、合成音を出力するステップと、
    検出された音声区間の波形データを圧縮し、前記合成音情報作成部で作成された合成音情報を前記波形データの一部に組み込んで、前記サーバ装置に送信するステップと、
    を含み、
    前記サーバ装置において、
    前記伸張されたデータから合成音情報を取得するステップを有し、
    認識が終了した場合に、前記取得された合成音情報より合成音と認識結果との対応付けを行い、合成音と対応付けされた認識結果、又は、合成音と対応付けされた認識結果と合成音情報を出力する、ことを特徴とする請求項１３乃至１５のいずれか一に記載の音声認識方法。
17. 前記端末において、
    コンテンツ側から送信されたタスク情報と、前記サーバ装置から送信された前記サーバ側で利用可能な圧縮方式情報とを受信するステップと、
    前記サーバ側で利用可能な圧縮方式情報を受信した場合に、前記タスク情報と、圧縮方式・タスク対応テーブル記憶部から送られたタスク情報と圧縮方式との対応テーブルと、サーバ側の装置で利用可能な圧縮方式情報をもとに最適な圧縮方式を選択するステップと、
    を有する、ことを特徴とする請求項１３記載の音声認識方法。

Images