JPH05324262A - 複数の処理の音声応答を区別するデータ処理方法とシステム - Google Patents

複数の処理の音声応答を区別するデータ処理方法とシステム

Info

Publication number
JPH05324262A
JPH05324262A JP4297126A JP29712692A JPH05324262A JP H05324262 A JPH05324262 A JP H05324262A JP 4297126 A JP4297126 A JP 4297126A JP 29712692 A JP29712692 A JP 29712692A JP H05324262 A JPH05324262 A JP H05324262A
Authority
JP
Japan
Prior art keywords
voice
output means
voice output
response
voice response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4297126A
Other languages
English (en)
Other versions
JP2925102B2 (ja
Inventor
William J Johnson
ウィリアム・ジェイ・ジョンソン
Marvin L Williams
マーヴィン・エル・ウィリアムス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH05324262A publication Critical patent/JPH05324262A/ja
Application granted granted Critical
Publication of JP2925102B2 publication Critical patent/JP2925102B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Debugging And Monitoring (AREA)

Abstract

(57)【要約】 【目的】 各々が音声応答を発生する複数の処理が同時
に実行されるデータ処理システムにおいて、一時に1つ
の処理のみが音声出力装置を介してユーザに「話しをす
る」方法とシステムを提供する。 【構成】 第1〜第3のアプリケーションプログラム3
5〜39の実行による各処理の音声応答はシーケンサ4
3によってインターセプトされ、シーケンサは、音声バ
ッファ41を含む音声出力装置がアクセスできるか決定
する。もし音声バッファが利用可能とすれば、シーケン
サはインターセプトされた音声応答を音声バッファに提
供する。音声バッファが利用可能か否かは、遅延サスペ
ンションモニタ45により決定され、もし音声バッファ
が利用不可であれば、シーケンサは音声バッファが利用
可能となるまで、音声応答の提供を遅らせる、さらに、
音声バッファを介して話している特定の処理が識別でき
るように通知スタックキュー49とユーザリクエストイ
ンタフェース53によりユーザに通知される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、マルチメディア・マル
チタスキング環境における複数の音声応答を区別するデ
ータ処理方法とシステムとに関する。
【0002】
【従来の技術】デスクトップコンピュータは複数のアプ
リケーションを同時に実行するために益々頻繁に使用さ
れつつある。例えば、ユーザはスプレッドシート・アプ
リケーションプログラムとワードプロセシング・アプリ
ケーションプログラムとを同時にアクセスし、かつ利用
することができる。
【0003】各アプリケーションプログラムは種々の要
領でユーザと通信することができる。これは、マルチメ
ディアと称され、データ、テキスト、フラフィックスあ
るいはビデオの可視表示と、音声応答の提供とを含む。
アプリケーションプログラムは、例えば、スピーカのよ
うな音声出力装置に音声応答を提供することによりユー
ザに話しかける。音声応答は、トーンあるいはビープと
いう音の形態で単純でよく、あるいは、人間の音声を擬
した複雑なものでもよい。複雑な音声応答の一例は、音
声がデジタル合成されるテキストから音声への動作であ
る。
【0004】音声応答を提供するアプリケーションプロ
グラムは、一時に単に1つのアプリケーションプログラ
ムがユーザに話しかけるという前提の下に設計されてい
る。したがって、ユーザが音声応答を提供する2つ以上
のアプリケーションプログラムを同時に使用するときに
問題が発生する。同時に2つ以上のプログラムがコンピ
ュータにおいて実行されているとき、アプリケーション
プログラムはそれ自体を識別しないのでいずれかの所定
のときにいずれの特定のアプリケーションプログラムが
話しかけているかをユーザが識別することができない。
もし2つ以上のアプリケーションプログラムが同時に話
しかけるとすれば別の問題が発生する。ユーザが簡単に
混乱して、何が語られたかを理解することができない可
能性がある。さらに悪いことには、アプリケーションプ
ログラムは話すことができ、それらの組み合わされたメ
ッセージが予期できない結果を発生させる。例えば、第
1のアプリケーションプログラムは「消去……」と話
し、続いて第2のアプリケーションプログラムが「……
全てのファイル」と話すことができる。各アプリケーシ
ョンプログラムは他のアプリケーションプログラムのメ
ッセージの一部をマスクする。その結果の「全てのファ
イルを消去する」というメッセージは間違ってユーザが
自分のファイルの全てを消去させてしまう可能性があ
る。
【0005】
【発明が解決しようとする課題】したがって、本発明の
目的は、1つのアプリケーションプログラムのみが一時
に話す方法とシステムとを提供することである。
【0006】本発明の別の目的は、いずれかの所定のと
きに、いずれのアプリケーションプログラムが話してい
るかをユーザが識別できるように、話しをしている複数
のアプリケーションプログラムをユーザが区別すること
のできる方法とシステムとを提供することである。
【0007】
【課題を解決するための手段】マルチマスキング環境に
おいては、複数のアプリケーションプログラムはデータ
プロセシングシステムにおいて同時に実行しうる。これ
らのアプリケーションプログラムのあるものは、音声出
力装置に音声応答を与えることによりユーザに「話す」
ことができる。もし、2つ以上のアプリケーションプロ
グラムが同時にユーザに話すとすれば、ユーザ側には誤
解や混乱が容易に起りうる。
【0008】本発明は、1つのアプリケーションプログ
ラムのみが一時に話すことができるように、アプリケー
ションプログラムにより発生した音声応答を同期化する
ことによりこの問題を解決する。さらに、各アプリケー
ションプログラムの音声応答は他のアプリケーションプ
ログラムの音声応答と区別されることによってユーザは
いずれの特定のアプリケーションプログラムが話してい
るか識別することができる。音声応答は、スピーカによ
って発生した音声出力に種々の周波数範囲あるいはピッ
チを割り当てることにより聴覚的に区別することができ
る。代替的に、音声応答は、いずれのアプリケーション
プログラムが話しているかについての情報をディスプレ
イ上にグラフィックで提供することにより区別すること
ができる。
【0009】本発明は複数の処理のそれぞれの音声応答
を区別する。いずれの処理が各音声応答を発生させたか
によって音声応答が識別される。インターセプトされた
音声応答がユーザインタフェースに提供される時間が同
期化されることによって、いずれかの所定のときにおい
て、処理の中の単一の処理により発生した音声応答のみ
がユーザインタフェースに提供される。
【0010】本発明は、一局面において、いずれの特定
の処理がユーザインタフェースにそれぞれの音声応答を
提供しているかをユーザインタフェースにおいてユーザ
に通知することをさらに含む。
【0011】本発明はさらに別の局面において、もし各
音声応答をユーザインタフェースに提供している1つの
処理が各音声応答の提供を終了しているか否かを音声応
答におけるポーズから決定する。もし終了しているので
あれば、別の処理がユーザインタフェースにそれぞれの
音声応答を提供することができる。
【0012】
【実施例】図1には、データ処理システム11が示され
ている。このシステムは、中央処理装置13と、その中
に位置した、RAMまたはROMあるいはこれら双方の
ような関連のメモリとを有している。周辺装置は中央処
理装置に持続されている。キーボード19の形態の入力
装置とマウス21とは中央処理装置13に接続されてい
る。ディスプレイ23やスピーカ25即ち音声出力装置
の形態の出力装置も中央処理装置に接続されている。デ
ィスプレイ23はユーザに情報をグラフィック表示する
ディスプレイスクリーンを有し、一方スピーカ25は音
声出力の形態でユーザに音声応答を提供する。スピーカ
25はユーザがデータ処理システムに話しかけることが
できるようにするマイクロフォンを含むことができる。
スピーカは1つ又はそれ以上設けることができる。ハー
ドディスク記憶装置27および入力装置29の形態の記
憶装置が処理装置に接続されている。入力装置29は、
本発明を実行するロジックであるコンピュータプログラ
ムロジックを記録した媒体31を受け入れ、かつ読み取
る。特定の媒体31はフロッピイディスクあるいは磁気
テープを含みうる。また、処理装置13に接続されたプ
リンタ33も設けられている。
【0013】図2には、本発明のソフトウエア要素を示
す本発明の要素フロー図が示されている。複数のアプリ
ケーションプログラム、即ち第1のアプリケーションプ
ログラム35と、第2のアプリケーションプログラム3
7と第3のアプリケーションプログラム39とが提供さ
れている。データ処理システム11は、単一のユーザが
データ処理システムにおいて同時に2つ以上のこれらの
アプリケーションプログラムを実行しうるマルチタスキ
ング動作を支援する。もしデータ処理システムが単一の
プロセッサのみを有しているとすれば、そのプロセッサ
において一時に1つのアプリケーションプログラムが実
行されるが、それらの実行はユーザにとっては同時のよ
うに見える。
【0014】アプリケーションプログラムは全てあるタ
イプの音声応答をスピーカ25に与える。音声応答は、
ビープ音、トーン、アナログ表示、テキストから音声
へ、等の形式でありうる。アプリケーションプログラム
の音声応答チャンネル40はシーケンサ43を介して音
声バッファ41と通信する。音声バッファ41はスピー
カアドレスを介してスピーカ25と通信する。1つ以上
のスピーカがあり、各アプリケーションプログラムがそ
れ自体のスピーカを有しうる。
【0015】シーケンスサ43は双方向に、音声バッフ
ァ41と通信し、かつ遅延サスペンションモニタ45に
通信する。遅延サスペンションモニタ45は双方向的に
タイマ47と通信する。タイマ47はデータ処理システ
ム11用のクロックである。シーケンサ43はまた、通
知スタックキュー49と通信する。2個のユーザインタ
フェース、即ち登録インタフェース51とユーザリクエ
ストインタフェース53とが設けられている。登録イン
タフェース51はシーケンサ43と通信し、一方ユーザ
リクエストインタフェース53は通知スタックキュー4
9と双方向通信をする。
【0016】アプリケーションプログラムの音声応答を
シーケンサを通しうる前に、それらのそれぞれの音声応
答はある程度電気的に相互に区別しておく必要がある。
こうすることによってシーケンサ43はいずれのアプリ
ケーションプログラムが話しているか識別することがで
きる。好適実施例においては、ユーザは登録インタフェ
ース51を介して、使用すべきアプリケーションプログ
ラム35、37、39を登録する。さらに、ユーザはア
プリケーションプログラムの音声出力を相互に区別する
要領を定義する。
【0017】アプリケーションプログラムは一旦登録さ
れると、同時にランするように実行しうる。例えば、第
1のアプリケーションプログラム35が話すとき、その
音声応答はシーケンサ43に通される。シーケンサ43
において、スピーカ25を通して別のアプリケーション
プログラムが現在ユーザに話しているか否か決定され
る。もし他のアプリケーションプログラムが何ら話して
いないとすれば、第1のアプリケーションプログラム3
5の音声応答は直接音声バッファ41に通され、そこで
スピーカ25は音声応答によって表わされる音声出力を
発生させる。もし別のアプリケーションプログラムが話
しているとすれば、次にシーケンサ43は第1のアプリ
ケーションプログラム35の音声応答をキューに記憶す
る。キューにおいて、他のアプリケーションプログラム
が話すまで待機し、第1のアプリケーションプログラム
の音声応答は音声バッファ41へ、次にスピーカに負荷
される。
【0018】遅延サスペンションモニタ45はシーケン
サ43によってチェックされ、アプリケーションプログ
ラムがいつ話しを止めたかを決定する。遅延サスペンシ
ョンモニタ45は、単語間のポーズとサウンド間のポー
ズとを含めることによりアプリケーションプログラムが
人間のスピーチを擬せうるようにするために使用され
る。遅延サスペンションモニタ45はこれのポーズを評
価して、アプリケーションプログラムがスピーカまで進
む前に単にポーズしているか、あるいはアプリケーショ
ンプログラムがとりあえず話しおえたかを決定する。
【0019】本発明の方法を図3から図6までのフロー
チャートを参照して以下説明する。フローチャートに示
す図形について以下の取極めをする。菱形はテストある
いは判定を示し、長方形は処理あるいは機能を示し、円
形はフローチャートの別の部分へ出ていく、あるいはそ
こから入ってくる接続部を示す。これらの取極めは当該
技術分野の専門家には十分理解されるものであり、フロ
ーチャートは、当該技術分野の専門家が、例えば、BA
SIC,PASCALあるいはCのようないずれかの適
当なコンピュータプログラム言語におけるコードを、こ
れらの言語を支援するコンピュータのIBMパーソナル
システム/2(PS/2)ファミリのようなコンピュー
タに書き込みすることができるようにするに十分なもの
である。
【0020】図3には、登録処理が示されている。登録
処理によりユーザは各アプリケーションプログラムに識
別情報を割り当てることができ、ユーザはいずれのアプ
リケーションプログラムが話しているか識別することが
できる。本処理を開始し、初期化した後、即ちステップ
59の実行後、ステップ61において本方法はユーザか
ら通知仕様を取得する。通知仕様は、スピーカ25を通
していずれの特定のアプリケーションプログラムが話し
ているかをユーザに知らせるために使用される。通知仕
様は音声でもよく、あるいはグラフィックでもよい。音
声通知仕様は、スピーカによってアプリケーションプロ
グラムの音声応答が発生されるピッチあるいは周波数範
囲を選択することを含む。例えば、テキストから音声へ
の処理においては、ユーザは、一方のアプリケーション
プログラムのスピーチを識別するために男性の声を用
い、また別のアプリケーションプログラムのスピーチを
識別するために女性の声を使用することができる。グラ
フィックの通知仕様はディスプレイ23を介してユーザ
に提供されている可視通知を含む。
【0021】次のステップ63は、登録されつつあるア
プリケーションプログラムに対する独特のハンドル即ち
識別子を作り出す。ハンドルはシーケンサ43が、いず
れのアプリケーションプログラムが話しているかを識別
することによりいずれの通知仕様を使用すべきか決定で
きるようにする。次のステップ65は、アプリケーショ
ンプログラムの音声応答の間のポーズに対してユーザか
ら最大遅延時間を取得する。例えば、ユーザは3秒間の
最大ポーズを入力することができる。この最大ポーズに
より、サウンド間で例えば3秒間までの短いポーズをつ
けてアプリケーションプログラムが話しをすることがで
きるようにする。このように、一方のアプリケーション
が3秒またはそれ以上ポーズしていると、別のアプリケ
ーションが話すことができる。
【0022】次のステップ67においては、本方法は通
知テーブルをロードする。通知テーブルは特定のハンド
ルのための通知仕様を含んでいる。ステップ69におい
て、本方法はハンドルを登録されつつあるアプリケーシ
ョンプログラムへ戻す。このステップは特定のアプリケ
ーションプログラムに、どのハンドルが割り当てられた
かを通知する。ステップ71において、次に登録方法が
停止する。
【0023】図4と図5とにはスピーカリクエスト処理
が示されている。シーケンサ43において実行されるス
ピーカリクエスト処理は、アプリケーションプログラム
がスピーカに出力すべき音声応答と共に話すようリクエ
ストを出すときに用いられる。スピーカリクエスト処理
はいずれかの所定のときに1個のみのアプリケーション
プログラムが話すように到来する音声応答を同期化す
る。音声出力装置即ちスピーカ25が利用しうるか否か
決定することにより同期化は達成される。もしスピーカ
が利用しうるとすれば、到来する音声応答は音声バッフ
ァ41に通される。さらに、他のアプリケーションプロ
グラムが話すことがないように音声出力装置は利用でき
ないようにされる。音声出力装置が利用できず、そのた
め別のアプリケーションプログラムが話していることを
指示すると、音声応答はシーケンサのキューへ通される
ことにより遅延される。一旦キューに入ると、図6に示
すキューマネージャ処理が音声応答のマネジメントを担
当する。キューマネージャ処理は音声出力装置が利用可
能か否か決定する。もし利用可能でないとすれば、キュ
ーマネージャ処理は音声出力装置が最終的に利用可能と
なるまで待機する。一旦音声出力装置が利用可能となれ
ば、音声応答は、音声出力装置へ出力するために音声バ
ッファに通される。さらに、キューマネージャ処理は、
他のアプリケーションプログラムが話すことができない
ようにするために音声出力装置を利用不可とする。次
に、他のアプリケーションプログラムから到来する音声
応答がキューに通され、音声出力装置が利用可能となる
のを待機する。
【0024】アプリケーションプログラムが話しうる状
態となると、シーケンサに対して、話すようにとのリク
エストと、ハンドルと音声応答とを出力する。図4を参
照すれば、ステップ73において、話すようにとのリク
エストを受け取ると、スピーカリクエスト処理が開始
し、初期化される。次に、ステップ75においてアプリ
ケーションプログラムのハンドルが有効であるか否か決
定がなされる。もしNOであれば、ハンドルは有効でな
く、本方法はステップ77まで進み、そこでエラーが報
告される。エラーはエンドユーザインタフェースにより
報告することができ、そこでエラーはユーザスクリーン
に表示されるか、あるいはエラーを記録するためのある
タイプのロギングメカニズムを介在させてもよい。ステ
ップ77の後、図5のステップ79において処理は停止
する。
【0025】もしステップ75の結果がYESであると
すれば、ハンドルは有効であって、本方法は進行して、
音声応答を音声バッファ41へ直接通すべきか、あるい
は音声応答をキューに記憶することにより遅らせるべき
か決定する。ステップ81において、本方法はキューが
空であるか否か決定する。キューはシーケンサ43にあ
り、音声バッファ41まで転送されるべく待機している
アプリケーションプログラムの音声応答を記憶するため
に使用される。もしステップ81の結果がNOであると
すれば、キューは空ではなく、別のアプリケーションの
音声応答が音声バッファまで転送されるべくキューにお
いて既に待機していることを指示する。このように、本
方法はステップ83まで進み、そこで現在の要素がキュ
ーに記憶される。この要素はスピーカのリクエスト、ハ
ンドルおよびスピーカにアクセスしようと探索している
アプリケーションからの音声応答とを含む。キューに記
憶された後、本方法は図5のステップ79において停止
し、音声バッファが空になるのを待機する。一旦キュー
に情報がロードされると、ステップ83において、図6
のキューマネージャルーチンが音声バッファへのキュー
のアンローディングを管理する。キューマネージャルー
チンについては以下詳細に説明する。
【0026】もしステップ81の結果がYESであると
すれば、キューは空であり、本方法はステップ85まで
進み、音声出力装置即ちスピーカ25が利用可能である
か否か決定する。もしNOであるとすれば、ステップ8
3において現在の要素がキューに記憶される。もしステ
ップ85の結果がYESであれば、ステップ87におい
て、音声出力装置の状態が利用不可と変えられる。この
ことにより現在のアプリケーションプログラムがスピー
カにアクセスしている間他のアプリケーションプログラ
ムからの後続の到来音声応答がスピーカにアクセスしな
いようにする。
【0027】ステップ89において、通知テーブルがア
クセスされて、この特定のアプリケーションプログラム
が話していることをユーザに知らせる要領を決定する。
通知テーブルは図3の登録処理の間にロードされてい
た。次に図5を参照すれば、ステップ91において、音
声応答は音声バッファ41に出力される。もし通知が音
声であるとすれば、音声出力自体がユーザに、いずれの
アプリケーションプログラムが話しているかについて通
知する。もし通知がグラフィカルであるとすれば、次に
ステップ93において、通知スタックキュー49により
グラフィカル通知が提供される。ユーザはユーザリクエ
スト53により通知スタックキュー49にアクセスでき
る(図2を参照)。例えば、ユーザはディスプレイ23
のウィンドウをポップアップし、いずれのアプリケーシ
ョンプログラムが話しているかを識別することができ
る。さらに、通知スタックキュー49を用いて、スピー
カ25によって生成されているもののテキストを表示す
ることができる。このことは、特に、テキストからスピ
ーチへの処理において有用であって、ユーザがアプリケ
ーションプログラムを見たり、かつ開いたり双方を行う
ことができるようにする。
【0028】次のステップ95は、音声バッファが空で
あるか否か決定する。もし、NOであるとすれば、本方
法はステップ91にループバックして音声応答を出力し
続ける。
【0029】もしステップ95の結果がYESであると
すれば、ステップ97において、次に遅延テーブルがア
クセスされ、単に、ワード間のポーズのため、あるいは
現在のところアプリケーションプログラムが話すのを終
了しているために音声バッファが空であるかを決定す
る。遅延テーブルは図3に示す登録処理の間に作り出さ
れる。遅延テーブルはステップ97においてアクセスさ
れ、その中に記憶されている遅延時間がステップ99に
おいて使用される。ステップ99において、本方法は、
最大遅延時間が満足されたか否か決定する。図2のシー
ケンサ43が遅延サスペンションモニタ45に、いずれ
がタイマ43を利用しているか質問する。もしステップ
99の結果がNOであるとすれば、次いでステップ10
1において本方法は待機しステップ97へループバック
する。アプリケーションプログラムがその話しをポーズ
した場合、結果はNOとなるが、このポーズはまだ最大
遅延時間に等しくなっていない。例えば、もし話しをし
ている特定のアプリケーションプログラムに対する最大
遅延時間が3秒であるとすれば、ステップ99はアプリ
ケーションプログラムが最後に話して以来3秒が経過し
たか否か決定する。もし3秒以下の経過であれば、本方
法はステップ101において、最大遅延時間が経過する
まで、あるいはそれぞれのアプリケーションプログラム
により別の音声応答が発生するまで待機する。次に、本
方法はステップ97へ戻り、アプリケーションプログラ
ムが音声バッファにおいて何らかの追加の音声応答を有
しているか否か決定する。もし音声バッファに追加の音
声応答があるとすれば、それらはスピーカ25へ送られ
る。もし最後の音声応答から3秒以上が経過したとすれ
ば、次に本方法はステップ103まで進み、そこで音声
出力装置の状態が利用可能状態に変えられる。このこと
により音声出力装置を自由にし、他のアプリケーション
プログラムが音声出力装置にアクセスできる。ステップ
103の後、本方法はステップ79において停止する。
別のアプリケーションプログラムがスピーカリクエスト
を発生させると、図4のアウピーカリクエスト処理がス
テップ73において再開する。
【0030】さて図6を参照して、遅延音声応答の配列
を説明する。遅延音声応答はキューに記憶されている。
図6に示すキューマネージャ処理はキューを音声バッフ
ァ41にアンロードする。キューマネージャ処理は、ス
テップ111において開始され、初期化される。次に、
ステップ113においてキューが空であるか否か決定さ
れる。もしYESであるとすれば、キューは空であり、
次に本方法はステップ115へと進み、そこで待機モー
ドに入る。もしNOであるとすれば、キューは空でな
く、本方法はステップ117へと進行し、そこで音声出
力装置が利用可能か否か決定される。もしNOであると
すれば音声出力装置は、(別のアプリケーションプログ
ラムがそれをアクセスしているため)利用不可であり、
本方法はステップ117へループバックし、音声出力装
置が利用可能となるのを待機する。一旦音声出力装置が
利用可能となれば、即ちYESとなれば、本方法はステ
ップ87まで進み(図4参照)、音声出力装置の状態は
利用不可状態に変えられる。次に、キューマネージャ処
理が、図4と図5とに示すスピーカリクエスト処理と同
じステップを追従し、音声応答は音声バッファ41に出
力される。
【0031】キューマネージャ処理が、ステップ115
において、待機モードにあるとき、何かがキューに記憶
されるのを待機する。一実施例においては、キューマネ
ージャ処理は、図5に示すようにステップ79において
停止することにより待機する。この実施例は、何かのイ
ベントが処理を再開させるのを待機する非ポーリングモ
ードである。別の実施例においては、キューマネージャ
処理は(図6において破線131で示すように)待機モ
ードのステップ115からステップ113へと進行す
る。この別の実施例131はキューをポーリングして、
何かが記憶されているか調べる。またポーリングは図5
のステップ103の後でも利用できる。破線133で示
すように、ステップ103の後、キューマネージャ処理
は図6のステップ113へと進み、キューが空であるか
否か決定する。
【0032】ここに説明したシーケンサ43は先入れ先
出しベースで動作する。即ち、話すことを要求する第1
のアプリケーションプログラムは割込みなしにそうする
ことが許される。その後話すことを要求する他のアプリ
ケーションプログラムは次に話すことを許される。シー
ケンサ43は他の管理モードでセットアップしてもよ
い。例えば、第1のアプリケーションプログラム35に
優先性が与えられ、それが話すことのできる状態となれ
ばいつでも、他のアプリケーションプログラムは待機し
なければならない。また、第1のアプリケーションプロ
グラムは、現在話しているいずれかの他のアプリケーシ
ョンプログラムに割り込みうる。
【0033】最大遅延時間は、前述のように登録処理の
間ユーザによって入力することができる。代替的に、ア
プリケーションプログラムはそれら独自の最大遅延時間
を提供することができる。さらに、最大遅延時間の長さ
は処理の間に変えるようにダイナミックにしうる。ダイ
ナミックコントロールはアプリケーションプログラムあ
るいはユーザのいずれかにより実行しうる。アプリケー
ションプログラムによって制御される場合、アプリケー
ションプログラムはタスクの特定の環境に適合すべく最
大遅延時間を変えることによりスピーカ25をより効率
的に利用することができる。ユーザによって制御される
場合、ユーザは通知スタックキュー49を用いて最大遅
延時間をセットする。このためユーザは処理の間遅延を
「微調整」できる。
【0034】本発明を単一のスピーカ25のみを有し、
全てのアプリケーションプログラムがそのスピーカにア
クセスするシステム11に関連して本発明を説明してき
たが、本発明は複数のスピーカ即ち複数の音声出力装置
を有するシステムと共に使用することができる。本発明
は、複数のスピーカが同時に話すことによってユーザが
混乱しないよう一時に1個のみのアプリケーションプロ
グラムが話すよう保証する。
【0035】
【発明の効果】本発明は、以上説明したように構成され
ているので、複数のアプリケーションプログラムにより
発生した音声応答を同期化することにより1つのアプリ
ケーションプログラムのみが一時に話すことができるよ
うになり、ユーザ側に誤解や混乱を与えず、さらにいず
れの特定のアプリケーションプログラムが話しているか
識別することができる。
【図面の簡単な説明】
【図1】本発明によるデータ処理システムを示すブロッ
ク図。
【図2】好適実施例による本発明のソフトウエア要素を
示す要素フロー図。
【図3】本発明の方法を示すフローチャートであって、
アプリケーションプログラムが登録される要領を示すフ
ローチャート。
【図4】本発明の方法を示すフローチャートであって、
アプリーケーションプログラムからスピーカのリクエス
トが受け取られると、音声応答がシーケンサによって扱
われる要領を示すフローチャートの前半部。
【図5】本発明の方法を示すフローチャートであって、
アプリーケーションプログラムからスピーカのリクエス
トが受け取られると、音声応答がシーケンサによって扱
われる要領を示すフローチャートの後半部。
【図6】本発明の方法を示すフローチャートであって、
シーケンサのキューが管理される要領を示すフローチャ
ート。
フロントページの続き (72)発明者 マーヴィン・エル・ウィリアムス アメリカ合衆国75067、テキサス州 ルイ スヴィル、セットラーズ・ウェイ 1152番 地

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 複数の処理であってその各々の処理がデ
    ータ処理システムの音声出力手段に提供されるそれぞれ
    の音声応答を生成する複数の処理が同時に実行されるデ
    ータ処理システムにおいて前記複数の処理の前記の各々
    の音声応答を区別する方法であって、 a) 前記処理のいずれが前記の各々のインターセプト
    された音声応答を発生させたかによって前記音声応答を
    識別するステップと、 b) いずれの所定のときにおいても、前記処理の中の
    単一の処理によって発生した音声応答のみが前記音声出
    力手段に提供されるように前記インターセプトされた音
    声応答が前記音声出力手段に提供されるときを同期化す
    るステップとを備えることを特徴とする音声応答を区別
    する方法。
  2. 【請求項2】 前記音声出力手段を使用しているユーザ
    に、前記音声出力手段にいずれの特定のプロセスが前記
    の各々の音声応答を提供しているかを通知するステップ
    をさらに含むことを特徴とする請求項1に記載の方法。
  3. 【請求項3】 前記のそれぞれの処理が、前記の各々の
    音声応答に配置されたサウンド間のポーズを備えた前記
    の各々の音声応答を発生させ、さらに、前記ポーズか
    ら、前記音声出力手段に前記の各々の音声を提供してい
    る前記の処理が前記それぞれの音声応答の提供を終了し
    たか否かを決定し、もしそうであれば、別の処理がその
    各々の音声応答を前記音声出力手段に提供できるように
    するステップを含むことを特徴とする請求項1に記載の
    方法。
  4. 【請求項4】 データ処理システムの音声出力手段から
    の音声応答であって、各々処理が独自の音声応答を発生
    させるように前記データ処理システムにおいて実行され
    る複数の処理によって発生させられる音声応答を区別す
    る方法において、 a) 前記複数の処理の1つによる前記音声応答の発生
    を決定するステップと、 b) 前記音声出力手段の利用可能性を決定し、前記音
    声出力手段に提供されている前記の決定された一つの処
    理以外の処理のいずれかに何ら音声応答が無い場合に
    は、前記音声出力手段は利用可能であり、前記音声出力
    手段に提供されている前記の検出された一つの処理以外
    の処理のいずれかの音声応答があるとすれば前記音声出
    力手段が利用不可であるステップと、 c) もし前記音声出力手段が利用可能であれば、前記
    の検出された一つの処理の前記音声応答を前記音声出力
    手段に提供するステップと、 d) もし前記音声出力手段が利用不可であれば、前記
    音声出力手段が利用可能となるまで、前記音声出力手段
    への前記の検出された一つの処理の前記音声応答の提供
    を遅らせるステップとを備えることを特徴とする音声応
    答を区別する方法。
  5. 【請求項5】 前記音声出力手段に提供されている前記
    音声応答を前記複数の処理の中のいずれかの特定の1つ
    の処理が発生させているかを、前記音声出力手段を使用
    しているユーザに通知するステップをさらに含むことを
    特徴とする請求項4に記載の方法。
  6. 【請求項6】 各々の処理がデータ処理システムの音声
    出力手段に提供されるそれぞれの音声応答を発生させる
    複数の処理を同時に実行することのできるデータ処理シ
    ステムにおいて、 a) 前記複数の処理の中のいずれの処理が前記のそれ
    ぞれのインターセプトされた音声応答を発生させたかに
    よって前記音声応答を識別する手段と、 b) いずれかの所定のときに、前記複数の処理の中の
    単一の処理によって発生された音声応答のみが前記音声
    出力手段に提供されるように前記のインターセプトされ
    た音声応答が前記音声出力手段に提供されるときを同期
    化する手段とを備えることを特徴とするデータ処理シス
    テム
  7. 【請求項7】 各々の処理がデータ処理システムの音声
    出力手段に提供されるそれぞれの音声応答を発生させる
    複数の処理を実行することのできるデータ処理システム
    において、 a) 前記複数の処理の中の1つの処理による前記音声
    応答の発生を決定する手段と、 b) 前記音声出力手段の利用可能性を検出する手段で
    あって、もし前記音声出力手段に提供されている前記の
    検出された1つの処理以外の処理のいずれかに何ら音声
    応答が無いと前記音声出力手段が利用可能であり、前記
    音声出力手段に提供されている前記の検出された一つの
    処理以外の処理のいずれかの音声応答がある場合には前
    記音声出力手段が利用不可であることを決定する手段
    と、 c) もし前記音声出力手段が利用できるとすれば、前
    記の検出された一つの処理の前記音声応答が前記音声出
    力手段に提供されるように、かつもし前記音声出力手段
    が利用不可であるとすれば、前記音声出力手段が利用可
    能となるまで前記の検出された一つの処理の前記音声応
    答の前記音声出力手段への提供を遅らせるように、前記
    音声出力手段への前記音声応答の提供を同期化させる手
    段とを備えることを特徴とするデータ処理システム。
JP4297126A 1991-12-26 1992-11-06 複数の処理の音声応答を区別するデータ処理方法とシステム Expired - Fee Related JP2925102B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US814738 1991-12-26
US07/814,738 US5483618A (en) 1991-12-26 1991-12-26 Method and system for distinguishing between plural audio responses in a multimedia multitasking environment

Publications (2)

Publication Number Publication Date
JPH05324262A true JPH05324262A (ja) 1993-12-07
JP2925102B2 JP2925102B2 (ja) 1999-07-28

Family

ID=25215872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4297126A Expired - Fee Related JP2925102B2 (ja) 1991-12-26 1992-11-06 複数の処理の音声応答を区別するデータ処理方法とシステム

Country Status (2)

Country Link
US (1) US5483618A (ja)
JP (1) JP2925102B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112133302A (zh) * 2020-08-26 2020-12-25 北京小米松果电子有限公司 预唤醒终端的方法、装置及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289312B1 (en) * 1995-10-02 2001-09-11 Digital Equipment Corporation Speech interface for computer application programs
US6167374A (en) * 1997-02-13 2000-12-26 Siemens Information And Communication Networks, Inc. Signal processing method and system utilizing logical speech boundaries
US6598074B1 (en) * 1999-09-23 2003-07-22 Rocket Network, Inc. System and method for enabling multimedia production collaboration over a network
US7376475B2 (en) * 2001-03-05 2008-05-20 Microsoft Corporation Audio buffer configuration
US7386356B2 (en) 2001-03-05 2008-06-10 Microsoft Corporation Dynamic audio buffer creation
US7162314B2 (en) * 2001-03-05 2007-01-09 Microsoft Corporation Scripting solution for interactive audio generation
US7107110B2 (en) * 2001-03-05 2006-09-12 Microsoft Corporation Audio buffers with audio effects
US6970822B2 (en) * 2001-03-07 2005-11-29 Microsoft Corporation Accessing audio processing components in an audio generation system
US7305273B2 (en) * 2001-03-07 2007-12-04 Microsoft Corporation Audio generation system manager
WO2019222994A1 (en) 2018-05-25 2019-11-28 Motorola Solutions, Inc. Prioritizing digital assistant responses

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04235627A (ja) * 1991-01-10 1992-08-24 Matsushita Electric Ind Co Ltd 情報処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55125410A (en) * 1979-03-22 1980-09-27 Sharp Corp Voice reporting apparatus
US4455551A (en) * 1980-01-08 1984-06-19 Lemelson Jerome H Synthetic speech communicating system and method
US4560978A (en) * 1980-01-08 1985-12-24 Lemelson Jerome H Communication system and method
JPS6362097A (ja) * 1986-09-03 1988-03-18 株式会社日立製作所 プラントの音声自動通報装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04235627A (ja) * 1991-01-10 1992-08-24 Matsushita Electric Ind Co Ltd 情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112133302A (zh) * 2020-08-26 2020-12-25 北京小米松果电子有限公司 预唤醒终端的方法、装置及存储介质
CN112133302B (zh) * 2020-08-26 2024-05-07 北京小米松果电子有限公司 预唤醒终端的方法、装置及存储介质

Also Published As

Publication number Publication date
JP2925102B2 (ja) 1999-07-28
US5483618A (en) 1996-01-09

Similar Documents

Publication Publication Date Title
US6192339B1 (en) Mechanism for managing multiple speech applications
EP3642837B1 (en) Regulating assistant responsiveness according to characteristics of a multi-assistant environment
US8630858B2 (en) Methods and apparatus for initiating actions using a voice-controlled interface
US6606599B2 (en) Method for integrating computing processes with an interface controlled by voice actuated grammars
US6208972B1 (en) Method for integrating computer processes with an interface controlled by voice actuated grammars
JP2925102B2 (ja) 複数の処理の音声応答を区別するデータ処理方法とシステム
US20240105178A1 (en) Group hotwords
US7430511B1 (en) Speech enabled computing system
JP4162074B2 (ja) 対話型情報検索装置
JP2023553995A (ja) 単一の発話におけるデバイスまたはアシスタント固有ホットワードの組合せ
JP2024510698A (ja) アシスタントコマンドの文脈的抑制
US20050234710A1 (en) Canceling a speech interaction session
US20240161740A1 (en) Multi-Assistant Warm Words
US20240161741A1 (en) Short-Lived Repeat Voice Commands
US20240205628A1 (en) Spatial Audio for Device Assistants
US20240038246A1 (en) Non-wake word invocation of an automated assistant from certain utterances related to display content
CN107301344B (zh) 一种解除应用启动限制的方法及终端
KR20240096889A (ko) 자동화 어시스턴트 디바이스 사이의 웜 워드 중재
JP2024508209A (ja) アシスタントコマンドの実現についてのある特定の論拠づけの提供
KR20240011841A (ko) 과거 인터렉션에 기초하여 세컨더리 자동화된 어시스턴트에 관련 쿼리 제공
JPH1049342A (ja) 音声セッションのスケジューリング装置および方法
CN116670637A (zh) 在用户迭代地提供口头话语或口头话语序列时由自动化助理对图形用户界面元素的动态适配
JP2000339134A (ja) 音声合成システム
JPH06250815A (ja) ボイスメール端末

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees