JP3705735B2 - オンデマンド・インタフェース装置とそのウィンドウ表示装置 - Google Patents
オンデマンド・インタフェース装置とそのウィンドウ表示装置 Download PDFInfo
- Publication number
- JP3705735B2 JP3705735B2 JP2000258418A JP2000258418A JP3705735B2 JP 3705735 B2 JP3705735 B2 JP 3705735B2 JP 2000258418 A JP2000258418 A JP 2000258418A JP 2000258418 A JP2000258418 A JP 2000258418A JP 3705735 B2 JP3705735 B2 JP 3705735B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- input
- window
- agent
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
- G06F3/04895—Guidance during keyboard input operation, e.g. prompting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Controls And Circuits For Display Device (AREA)
- Digital Computer Display Output (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータ・アプリケーション、ＯＡ機器、家電製品などにおいて使用者の操作をアシストするヘルプ機能、自動実行機能を行うオンデマンド・インタフェース装置とそれに使用するウィンドウ表示装置に関する。
【０００２】
【従来の技術】
音声認識を使ったアプリケーションが増えてきているが、そのほとんどはコマンドを用いたコマンド起動型のものである。
【０００３】
また、擬人化されたキャラクターであるエージェントを表示して操作の説明等を行うオンデマンド・インタフェース装置として特開2000-207085号公報に記載の技術がある。利用者の入力する要求文に対して操作説明のデータベースから最も適切なものを検索して、その結果に関連付けられているスクリプトを実行してエージェントが操作の説明を行うものである。
【０００４】
【発明が解決しようとする課題】
音声入力を行うアプリケーションで自然言語入力を可能にするためにコマンドではなくディクテーションを用いて音声入力を行う場合、その認識精度はコマンドだけを用いる場合より必然的に悪くなり、その後の処理にも影響が出てくる。音声認識エンジンが提供しているエンロールを行えば認識精度を高くすることができるが、一般ユーザにはエンロールという概念に馴染みが薄く、使用しているアプリケーションがうまく動かないのが音声認識の精度が悪いためだとは気付きにくい。
【０００５】
また、この音声認識の精度が低い間はアプリケーションの使用が思うようにできず、何か音声入力する度に「分かりません」というような同じメッセージばかりが出力され、ユーザ側の使う気が失せてしまう問題がある。
【０００６】
次に、音声入力とキーボード入力の両方が行えるアプリケーションの場合、音声入力を開始するためには音声入力ボタンを、キー入力を開始するためにはキー入力ボタンを押すようにすればいいのだが、常に表示されるダイアログのようなものがなく、擬人化キャラクターを使用したインタフェース・エージェントを表示している場合、そのようなボタンを表示することはできない。そこで、キーボード等に音声入力開始、キーボード入力開始のコマンドを割り当てる方法が考えられるが、２つのキーを割り当てると利用者が混同してしまう虞れがある。
【０００７】
次に、エージェントを表示して操作の説明を行う場合、操作の説明を開始するときにエージェントを表示し、説明が終了した時にエージェントを消去する場合は問題ないが、常にエージェントを表示している場合には、操作の説明がいつ終了したのか分かり辛いという問題がある。
【０００８】
また、エージェントに操作説明を行わせる場合で、検索結果を表示するダイアログを用意せずエージェントだけのインタフェースにした場合、もう一度同じ説明を行わせるために、同じ要求文を入力して再度検索を行わせなければならないという問題がある。また、エージェントだけのインタフェースの場合、検索対象のモードや、音声入力時の音量レベル表示、キーボード入力時のエディットボックスがエージェントと関係なく画面上の特定の位置に表示されていたり、エージェントとは独立したウィンドウに表示されていると、利用者の目は常にエージェントに向いているので利用者には分かり辛いという問題がある。
【０００９】
また、初めてオンデマンド・インタフェース装置を起動させた時に、利用者は何をしていいのか分からないという問題がある。
【００１０】
本発明は、以上のような状況に鑑みてなされたもので、使い勝手を向上したオンデマンド・インタフェース装置の提供を目的としている。
【００１１】
【課題を解決するための手段】
本発明はこうした従来技術における課題を解決するための手段を提供するもので、各請求項の発明は、以下の技術手段で構成される。
【００１２】
請求項１の発明は、利用者が音声を入力するための音声入力手段と、音声入力手段から入力された音声を音声認識する音声認識手段と、検索対象であるデータベースと、音声認識手段で音声認識された結果を要求文として前記データベースの検索を行う検索手段と、検索手段の検索結果を出力するための出力手段と、出力手段に出力された結果の中から利用者が所望する結果を選択するための選択手段を備えたオンデマンド・インタフェース装置において、選択手段での選択結果あるいは何も選択しなかったことを記憶する記憶手段と、記憶手段に記憶された内容がｎ回連続していずれの選択結果も選択されなかった場合に、音声入力手段の調整を行うことを利用者に勧める音声認識調整勧告手段、あるいは、前記音声入力手段による音声入力の方法の説明を前記出力手段に出力する音声入力方法説明表示手段、の少なくとも何れかを備えることを特徴としている。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００３７】
図１に、本発明による音声オンデマンド・インタフェース装置の一例の概略構成を示す。この音声オンデマンド・インタフェース装置は、検索要求文や利用者の指示を音声で入力するためのマイク等の音声入力手段１、検索要求文や利用者の指示を音声以外で入力するためのキーボード等の要求文入力手段２、音声入力手段１や要求文入力手段２で要求文の入力や利用者の指示を入力を開始することを制御手段５に知らせるための入力開始手段３、音声入力手段１で入力された音声の認識を行う音声認識手段４、音声オンデマンド・インタフェース装置の制御を行う制御手段５、出力手段７から出力された検索結果の中から利用者の所望の結果を選択するための選択手段６、音声入力手段１や要求文入力手段２から入力された要求文に対する機能ＤＢ８の検索結果や擬人化されたキャラクターであるエージェントの画像や音声を出力するためのディスプレイやスピーカ等の出力手段７、音声オンデマンド・インタフェース装置の搭載されている機器の説明を行うためのヘルプ説明文や操作手順を示したスクリプトが格納されている機能ＤＢ８、音声入力手段１や要求文入力手段２から入力された要求文に対する機能ＤＢ８の検索結果が０件だった時に出力手段７に出力するメッセージやエージェントの動作スクリプトが格納されている検索失敗応答ＤＢ９、制御手段５に指示を与えるためのコマンドが格納されているコマンドＤＢ１０からなる。
【００３８】
音声入力手段１は選択手段６を兼ねてもよいし、要求文入力手段２は入力開始手段３と選択手段６を兼ねてもよい。また、機能ＤＢ８、検索失敗応答ＤＢ９、コマンドＤＢ１０は制御手段５に接続された外部記憶装置に格納されたものでもよく、分散型でもよく、ネットワーク上に存在するものでもよい。
【００３９】
図２に、制御手段５の一例の概略構成を示す。この制御手段５は、機能ＤＢ８の検索を行うための検索手段１１、検索手段１１で検索された結果の中から利用者がどの結果を選択手段６によって選択したかを記憶する記憶手段１２、記憶手段１２を参照してｎ回以上連続して利用者がいずれの検索結果も選択しなかった時に音声認識手段４の音声認識の調整を利用者に勧めるための音声認識調整勧告手段１３、検索手段１１で検索を行った時の結果が０件だった時に検索失敗応答ＤＢ９の内容をランダムに出力手段７に出力する検索失敗出力手段１４、検索手段１１で検索を行った時の結果が０件だったことを記憶するための検索失敗回数記憶手段１５、利用者の要求文や指示の入力のモードが音声入力であるかどうかを記憶する入力モード記憶手段１６、機能ＤＢ８を検索手段１１で検索した結果の中から利用者が選択手段６で選択した機能の実行を行う機能実行手段１７、擬人化されたキャラクターであるエージェントを出力手段７に出力するエージェント出力手段１８、エージェント出力手段１８によって出力されているエージェントの画面上の位置を記憶するエージェント位置記憶手段１９、エージェント出力手段１８によって出力されているエージェントの位置を変更するエージェント位置復帰手段２０、音声入力手段１や要求文入力手段２から入力された要求文がコマンドＤＢ１０に格納されているものと一致する時にコマンドの処理を行うコマンド処理手段２１、出力手段７に出力されるメインウィンドウの移動に合わせて１つ以上のサブウィンドウの移動を行うサブウィンドウ移動手段２２、一定時間毎に制御手段５に対して割込みを掛けるタイマ手段２３、サブウィンドウ移動手段２２によるサブウィンドウの移動を行うかどうかを各サブウィンドウ毎に設定を行うサブウィンドウ移動設定手段２４、サブウィンドウ移動手段２２によるサブウィンドウの表示を行うかどうかを各サブウィンドウ毎に設定を行うサブウィンドウ表示設定手段２５、サブウィンドウ移動手段２２によるサブウィンドウの移動によってサブウィンドウが出力手段７の画面上から外に出る時にそのサブウィンドウを画面内に表示されるようにその位置を補正するサブウィンドウ画面内表示位置補正手段２６、サブウィンドウ移動手段２２によるサブウィンドウの移動によってサブウィンドウがメインウィンドウと重なって出力手段７に表示される時にメインウィンドウとは重ならないように該当するサブウィンドウの位置を補正する対メインウィンドウサブウィンドウ位置補正手段２７、サブウィンドウ移動手段２２によるサブウィンドウの移動によってサブウィンドウ同士が出力手段７の画面上に重なって表示される時に各サブウィンドウ同士を重ならないように該当サブウィンドウの位置を補正するサブウィンドウ間位置補正手段２８、サブウィンドウ移動手段２２によるサブウィンドウの移動によってメインウィンドウと各サブウィンドウが重なる時にどのウィンドウを優先して上に表示するかの設定を行うウィンドウ表示優先順位設定手段２９、ウィンドウ表示優先順位設定手段２９の設定に従って出力手段７の画面上にメインウィンドウと各サブウィンドウの表示優先順位の変更を行うウィンドウ表示優先順位変更手段３０、サブウィンドウ移動手段２２によるサブウィンドウの移動によって出力手段７の画面上に表示されるメインウィンドウと各サブウィンドウの総表示面積を少なくするようにサブウィンドウの位置を補正する総表示面積減少用サブウィンドウ位置補正手段３１、サブウィンドウ移動手段２２によるサブウィンドウの移動によって出力手段７の画面上に表示される各サブウィンドウの総表示面積を少なくするようにサブウィンドウの位置を補正するサブウィンドウ表示面積減少用位置補正手段３２、各サブウィンドウがメインウィンドウや各サブウィンドウ以外の他のウィンドウの下に隠れて表示されないように出力手段７の画面上に各サブウィンドウの表示を行うサブウィンドウ前面表示手段３３、検索手段１１で行われる検索のモードを出力手段７に出力するためのステータス出力手段３４、音声入力手段１から入力されている音声の音量レベルを出力手段７に出力するための音声レベル出力手段３５、要求文入力手段２で入力されている文字列の表示とカーソルの表示を行う要求文入力出力手段３６、記憶手段１２を参照してｎ回以上連続して利用者がいずれの検索結果も選択しなかった時に音声入力手段１による音声入力の方法の説明を出力手段７に出力するための音声入力方法説明表示手段３７、音声入力手段１から一定時間以上入力がなかった時に出力手段７に入力を促すメッセージを出力する音声入力促進手段３８からなる。
【００４０】
図３に音声認識調整勧告手段１３と検索失敗出力手段１４の処理の流れ図の一例を示す。利用者は音声入力手段１から機能ＤＢ８を検索するための検索要求文を入力する（Ｓ１）。機能ＤＢ８の一例を図４に示す。機能名と機能説明文が検索対象文字列になり、操作手順の説明、アクションスクリプトは機能実行手段１７、エージェント出力手段１８によってエージェントによる操作の説明の時に使用される。機能の実行音声入力手段１で入力された音声は音声認識手段４によって文字列に変換される（Ｓ２）。この変換された文字列は制御手段５に送られ、制御手段５内の検索手段１１によって機能ＤＢ８の検索を行う（Ｓ３）。ここでは、音声認識手段４による音声認識結果が「文書」だったとする。すると、検索手段１１は機能ＤＢ８から検索を行い、出力手段７に
実行する機能を選択してください
１．プリント
２．セーブ
と検索結果を出力する（Ｓ５）。ここで、選択手段６によって利用者が「１」と入力した（Ｓ６）場合には、「プリント」の機能の実行を機能実行手段１７、エージェント出力手段１８で行い（Ｓ７）記憶手段１２に実行を行ったことを記憶させ、「ありません」と答えたり（Ｓ６）、次の検索を実行した（Ｓ３）場合には記憶手段１２に実行を行わなかったことを記憶させる。記憶手段１２に記憶される内容は、
「センタリング」
「セーブ」
実行なし
のようになる。音声認識調整勧告手段１３では、記憶手段１２を監視していて、記憶手段１２に連続してｎ回以上実行を行わなかったと記憶された時（Ｓ８）に出力手段７に音声認識手段４の調整を行った方がいいという勧告を利用者に対して行う（Ｓ１１）。例えば、５回以上実行を行わなかった時に、
音声が正常に認識されていない可能性があります
音声認識エンジンのエンロールを行いますか？
と出力手段７に出力して、利用者に音声認識システムのエンロールを行うことを勧める。前述の手順で検索手段１１で検索を行った時（Ｓ３）に、検索結果が０件だった時（Ｓ４）に、検索失敗応答ＤＢ９を参照して検索失敗出力手段１４が出力手段７に検索が失敗した旨を出力する（Ｓ９）。検索失敗応答ＤＢ９の一例を図５に示す。この場合、検索結果が０件だった時には検索失敗出力手段１４がこの中からランダムに応答文を選択して、
出力手段７に
声の調子が悪いの？
のように出力する。また、検索手段１１は検索結果が件数の検索失敗回数記憶手段１５にさせる（Ｓ３）。検索失敗回数記憶手段１５に記憶される内容は
８件
１０件
０件
のようになる。音声認識調整勧告手段１３では、検索失敗回数記憶手段１５を監視していて、検索失敗回数記憶手段１５に連続してｎ回以上検索件数が０件だったと記憶された時（Ｓ１０）に出力手段７に音声認識手段４の調整を行った方がいいという勧告を利用者に行う（Ｓ１１）。例えば、５回以上連続して検索結果が０件だった時に、
音声が正常に認識されていない可能性があります
音声認識エンジンのエンロールを行いますか？
と出力手段７に出力して、利用者に音声認識システムのエンロールを行うことを勧める。
【００４１】
次に、上記説明中の音声認識調整勧告手段１３の代わりに音声入力方法説明表示手段３７を使用することによって、連続してｎ回以上実行を行わなかった時や、連続してｎ回以上検索件数が０件だった時に音声入力手段１による音声入力の方法を利用者に説明する。例えば、５回以上連続して実行を行わなかった時に、
音声入力を行うには入力開始ボタンを押しながら、「文字を大きくしたい」のように喋って下さい
と出力手段７に出力して、利用者に音声認識の方法を説明する。音声入力方法説明表示手段３７では、このように音声入力の方法を説明するだけでなく、機能ＤＢ８にどのような機能名の機能が含まれているのかを説明したり、機能ＤＢ８を実行した時の様子を表した見本画面の表示を行ったり、音声オンデマンド・インタフェース装置のヘルプを表示したりしてもよい。
【００４２】
図６に本発明の他の処理の流れ図を示す。機能ＤＢ８の検索を行うために音声入力手段１あるいは要求文入力手段２から要求文を入力する必要があるが、その時点の入力モードが音声入力であるかどうかを入力モード記憶手段１８に記憶しておく。要求文入力を開始する時に入力開始手段３に開始の合図を送り（Ｓ１２）、入力モード記憶手段１８に記憶されている入力モードを参照して（Ｓ１３）、音声入力モードであれば音声入力手段１からの入力を開始し（Ｓ１４）、音声入力モードでなければ要求文入力手段２からの入力を開始する（Ｓ１５）。例えば、入力開始手段３として入力ボタンを用意しておき、音声入力モードになっていれば入力ボタンを押した時に音声入力が開始され、音声入力モードになっていなければ文字入力用のダイアログを出力手段７の画面上に表示するようにする。
【００４３】
図７は、本発明の音声オンデマンド・インタフェース装置で機能の説明を行わせた時の様子の一例を示す。これは、機能ＤＢ８が図４のようであり、この中の「センタリング」を実行させた時の一例である。ここの記述されているアクションスクリプトに従って、機能実行手段１７が機能の実行を、エージェント出力手段１８が出力手段７へエージェントの出力を行う。この「センタリング」機能の場合は、センタリングする文字を選択するようにエージェントが説明してから、編集メニューのセンタリングを選択することをエージェントが移動しながらその場所を指し示して教えている。図８に本発明の処理の流れ図の他の例を示す。まず、エージェント位置記憶手段１９によって、出力手段７の画面上に表示されているエージェントの座標を記憶する（Ｓ１６）。次に、上で説明した手順でエージェントが操作の説明を行う（Ｓ１７）。そして、操作説明が終わった後にエージェント位置記憶手段１９に記憶されている座標を参照してエージェント位置復帰手段２０がエージェントを操作説明を行う前にいた位置にエージェントの座標を移動させる（Ｓ１８）。図７の表示例で言えば、「センタリング」機能の説明（図７（ｂ），（ｃ））をした後エージェントは操作説明を行う前にいた位置（図７（ａ））戻ることになる。
【００４４】
図９に本発明の他の処理の流れ図の例を示す。音声入力手段１あるいは要求文入力手段２から入力された要求文（Ｓ１９）は、コマンド処理手段２１に送られコマンドＤＢ１０に格納されているコマンドと一致するかを確認して（Ｓ２０）、一致しなければ通常の検索処理を検索手段１１で行い（Ｓ２１）、一致する場合にはコマンド処理をコマンド処理手段２１で行う（Ｓ２２）。コマンドＤＢ１０の内容の一例を図１０に示す。例えば、「もう一度」と入力した場合には、この入力はコマンドだと解釈され、予め決めれられたコマンド実行を行う。この場合は、直前に実行させた操作説明をもう一度行わせる。その他にも、直前に実行させた操作説明のヘルプを表示させたり、直前に実行させた操作説明をゆっくりともう一度実行させるコマンド等を実装することが考えられる。
【００４５】
図１１に、本音声オンデマンド・インタフェース装置のエージェントと検索モード、音声レベル、要求文入力エディットボックスの出力手段７の画面への表示例を示す。（ａ）はエージェント出力手段１８によるエージェントの単体表示、（ｂ）はステータス出力手段３４によって検索モードを同時に表示したもの、（ｃ）は音声レベル出力手段３５によって音声レベル表示をさらに行ったもの、（ｄ）は（ｃ）で音声レベル表示の代わりに要求文出力手段３５によって要求文入力のためのエディットボックスを表示させた例である。本音声オンデマンド・インタフェース装置では、エージェントの位置を利用者が移動させたり、エージェントに操作説明をさせてエージェント自身が画面上を移動した時に、エージェント以外の関連ウィンドウも同時に移動される。その時の処理の流れを図１２に示す。まず、タイマ手段２３から割込みが掛かるまでは何もしない（Ｓ２３）。例えば、この割込みの発生間隔は０．１秒とする。タイマ手段２３による割込みが発生すると、最初に各サブウィンドウが表示されるものかどうかをサブウィンドウ表示設定手段２５に格納されている設定に基づき表示するものであれば表示処理を、表示されないものであれば非表示にする（Ｓ２４）。例えば、図１１の（ｃ）では要求文入力用エディットボックスは非表示になっているし、（ｄ）では音声レベル表示が非表示になっている。
【００４６】
次に、各サブウィンドウが移動されるものであるかどうかをサブウィンドウ移動設定手段２４の格納されている設定に基づき移動するものであれば移動処理を、移動されないものであれば移動処理を行わない（Ｓ２５）。例えば、図１１の（ｂ）で表示されている検索モードのようなステータス表示をエージェントに付随させて移動させることなく決まった位置に固定したい場合は、移動しない設定にしておく。次に、サブウィンドウ移動手段２２がエージェントの現在の座標を調べ、サブウィンドウをエージェントの移動した先へ移動させる（Ｓ２６）。例えば、図１１の（ｅ−１）のような状態でエージェントと検索モードを表すステータス表示が行われている時に、（ｅ−２）のようにエージェントが移動すると、サブウィンドウ移動手段２２はステータス表示を（ｅ−３）のようにエージェントの移動先に移動させる。次に、サブウィンドウ画面内表示位置補正手段２５が移動したサブウィンドウが画面外に隠れて表示されていないか確認して（Ｓ２７）、画面外に隠れてしまった場合には画面内に移動させる（Ｓ３１）。例えば、図１１の（ｆ−１）のようにステータス表示が移動してしまい画面の外に隠れてしまった場合に、（ｆ−２）のようにステータス表示の位置を補正して画面内に表示されるようにする。次に、対メインウィンドウサブウィンドウ位置補正手段２７が移動したサブウィンドウとエージェントが重なっているかを確認して（Ｓ２８）、重なって表示されている場合にはサブウィンドウをエージェントと重ならないように表示する（Ｓ３２）。例えば、図１１の（ｆ−２）のようにエージェントとステータス表示が重なって表示されている場合には、（ｆ−３）のようにステータス表示をエージェントと重ならない位置に補正して表示されるようにする。
【００４７】
エージェントとサブウィンドウが重なる時の別の処理方法として、ウィンドウ表示優先順変更手段３０が移動したサブウィンドウとエージェントが重なっているかを確認して（Ｓ２８）、重なって表示されている場合にはウィンドウ表示優先順位設定手段２９に格納されているメインウィンドウとサブウィンドウの表示優先順位に従って各ウィンドウの表示の優先順位の決定を行う（Ｓ３２）という方法もある。例えば、図１１の（ｆ−２）のようにエージェントとステータス表示が重なって表示されている場合で、ウィンドウ表示優先順位設定手段２９にエージェントを優先して表示するように設定されている場合には、（ｆ−４）のようにステータス表示をエージェントの下に隠れるように表示されるようにする。エージェントは利用者とのインタフェースになっているので通常は（ｆ−４）のようにエージェントを優先して表示するが、エディットボックスから要求文を入力する時にエディットボックスがエージェントの下に隠れると入力がし辛くなるので、例えば（ｇ−１）のようにエージェントとエディットボックスが重なる場合は、（ｇ−２）のようにエディットボックスを優先して表示するように設定することもできる。次に、サブウィンドウ間位置補正手段２８が移動しサブウィンドウ同士が重ならないかを確認して（Ｓ２９）、重なる場合にはサブウィンドウ同士が重ならないようにサブウィンドウを移動させる（Ｓ３３）。例えば、図１１の（ｈ−１）のようにステータス表示と音声レベル表示が重なっている場合は、（ｈ−２）のようにステータス表示を移動させる。次に、サブウィンドウ最面表示手段３３がサブウィンドウがエージェントや他のサブウィンドウ以外のウィンドウの下に隠れていないかを確認して（Ｓ３０）、隠れている場合にはそのサブウィンドウを前面に表示するようにさせる（Ｓ３４）。例えば、図１１の（ｇ−１）のように他のアプリケーションのウィンドウがステータス表示のウィンドウを隠してしまっている場合に、（ｇ−２）のようにステータス表示のウィンドウを前面に表示して他のアプリケーションの下に隠れないようにする。そして、サブウィンドウ位置の補正が終わると再びタイマの割込みが発生するのを待つ（Ｓ２３）。
【００４８】
また、出力手段７の画面上に表示されるエージェントやサブウィンドウの表示が邪魔になった時には、総表示面積減少用サブウィンドウ位置補正手段３１を使ってエージェントとサブィンドウの総表示面識を少なくしたり、サブウィンドウ表示面積減少用補正手段３２を使ってサブウィンドウの総表示面積を少なくさせることができる。この処理の流れ図の一例を図１３に示す。エージェントも含めてサブウィンドウの総表示面積を減少させる場合（Ｓ３５でｙｅｓ）には、エージェントと各サブウィンドウの左上の座標が同一になるようにサブウィンドウの位置を補正し（Ｓ３６）、サブウィンドウだけの総表示面積を減少させる場合（Ｓ３５でｎｏ）には各サブウィンドウの左上の座標が同一になるようにサブウィンドウの位置を補正する（Ｓ３７）。例えば、図１４の（ａ）のようにエージェントと各サブウィンドウが表示されている場合、総表示面積減少用サブウィンドウ位置補正手段３１を使ってエージェントとサブィンドウの総表示面識を少なくする場合は（ｂ）のようにサブウインドウとエージェントとサブウインドウを重ねて表示し、サブウィンドウ表示面積減少用補正手段３２を使ってサブウィンドウの総表示面積を少なくさせる場合は（ｃ）のようにサブウインドウ同士を重ねて表示する。
【００４９】
図１５に音声入力促進手段３８の処理の流れを示す。タイマ手段２３を利用してタイマが発生した場合（Ｓ３８）に、今までのタイマの累積カウント数を調べて一定時間以上の時間が経過しているかを調べ（Ｓ３９）、時間が経過している場合にはタイマのカウント中に音声入力手段１から音声入力が行われたかどうかを調べ（Ｓ４０）、もし音声入力が行われていなければ出力手段７から音声入力を行う旨のメッセージを出力する（Ｓ４１）。例えば、音声オンデマンド・インタフェース装置を初めて起動させた時から５０秒経っても音声入力が行われない場合に、音声入力を行うには入力開始ボタンを押しながら喋ります「文字を大きくしたい」のような質問を入力して下さいのようなメッセージを出力手段７に出力する。
【００５０】
以上、ここまで挙げた実施形態における内容は、本発明の主旨を変えない限り、上記記載に限定されるものではない。
【００５１】
【発明の効果】
本発明における情報処理装置では、以下のような効果が得られる。
【００５２】
本発明では、ｎ回連続して検索結果を選択しなかった時に、音声認識の精度が悪く検索に失敗していると予想して利用者にエンロールを行うことを勧めること、あるいは、音声入力の仕方が悪く検索に失敗していると予想して利用者に音声入力の方法を説明することが可能になる。
【図面の簡単な説明】
【図１】 本発明の音声オンデマンド・インタフェース装置の一例の概略構成図である。
【図２】 制御手段５の一例の概略構成図である。
【図３】 音声認識調整勧告手段、検索失敗出力手段の処理の流れの一例を示す図である。
【図４】 機能ＤＢ８の内容の一例を示す図である。
【図５】 検索失敗応答ＤＢ９の内容の一例を示す図である。
【図６】 本発明の処理の流れの一例を示す図である。
【図７】 本発明の音声オンデマンド・インタフェース装置で機能の説明を行わせた時の様子の一例を示す図である。
【図８】 本発明の処理の流れの他の例を示す図である。
【図９】 本発明の処理の流れの他の例を示す図である。
【図１０】 コマンドＤＢ１０の内容の一例を示す図である。
【図１１】 本発明の音声オンデマンド・インタフェース装置で表示させるエージェント、検索モード、音声レベル表示、要求文入力エディットボックスの表示方法の一例を示す図である。
【図１２】 本発明の音声オンデマンド・インタフェース装置のサブウィンドウ位置補正処理の流れの一例を示す図である。
【図１３】 表示されるウィンドウの総表示面積を減少させるための処理の流れ図の一例を示す図である。
【図１４】 表示されるウィンドウの総表示面積を減少させるための処理を行った時の表示の一例を示す図である。
【図１５】 本発明の音声オンデマンド・インタフェース装置の音声入力促進処理の流れの一例を示す図である。
【符号の説明】
１…音声入力手段、２…要求文入力手段、３…入力開始手段、４…音声認識手段、５…制御手段、６…選択手段、７…出力手段、８…機能ＤＢ、９…検索失敗応答ＤＢ、１０…コマンドＤＢ、１１…検索手段、１２…記憶手段、１３…音声認識調整勧告手段、１４…検索失敗出力手段、１５…検索失敗回数記憶手段、１６…入力モード記憶手段、１７…機能実行手段、１８…エージェント出力手段、１９…エージェント位置記憶手段、２０…エージェント位置復帰手段、２１…コマンド処理手段、２２…サブウィンドウ移動手段、２３…タイマ手段、２４…サブウィンドウ移動設定手段、２５…サブウィンドウ表示設定手段、２６…サブウィンドウ画面内表示位置補正手段、２７…対メインウィンドウサブウィンドウ位置補正手段、２８…サブウィンドウ間位置補正手段、２９…ウィンドウ表示優先順位設定手段、３０…ウィンドウ表示優先順位変更手段、３１…総表示面積減少用サブウィンドウ位置補正手段、３２…サブィンドウ表示面積減少用位置補正手段、３３…サブウィンドウ前面表示手段、３４…ステータス出力手段、３５…音声レベル出力手段、３６…要求文入力出力手段、３７…音声入力方法説明表示手段、３８…音声入力促進手段。
【発明の属する技術分野】
本発明は、コンピュータ・アプリケーション、ＯＡ機器、家電製品などにおいて使用者の操作をアシストするヘルプ機能、自動実行機能を行うオンデマンド・インタフェース装置とそれに使用するウィンドウ表示装置に関する。
【０００２】
【従来の技術】
音声認識を使ったアプリケーションが増えてきているが、そのほとんどはコマンドを用いたコマンド起動型のものである。
【０００３】
また、擬人化されたキャラクターであるエージェントを表示して操作の説明等を行うオンデマンド・インタフェース装置として特開2000-207085号公報に記載の技術がある。利用者の入力する要求文に対して操作説明のデータベースから最も適切なものを検索して、その結果に関連付けられているスクリプトを実行してエージェントが操作の説明を行うものである。
【０００４】
【発明が解決しようとする課題】
音声入力を行うアプリケーションで自然言語入力を可能にするためにコマンドではなくディクテーションを用いて音声入力を行う場合、その認識精度はコマンドだけを用いる場合より必然的に悪くなり、その後の処理にも影響が出てくる。音声認識エンジンが提供しているエンロールを行えば認識精度を高くすることができるが、一般ユーザにはエンロールという概念に馴染みが薄く、使用しているアプリケーションがうまく動かないのが音声認識の精度が悪いためだとは気付きにくい。
【０００５】
また、この音声認識の精度が低い間はアプリケーションの使用が思うようにできず、何か音声入力する度に「分かりません」というような同じメッセージばかりが出力され、ユーザ側の使う気が失せてしまう問題がある。
【０００６】
次に、音声入力とキーボード入力の両方が行えるアプリケーションの場合、音声入力を開始するためには音声入力ボタンを、キー入力を開始するためにはキー入力ボタンを押すようにすればいいのだが、常に表示されるダイアログのようなものがなく、擬人化キャラクターを使用したインタフェース・エージェントを表示している場合、そのようなボタンを表示することはできない。そこで、キーボード等に音声入力開始、キーボード入力開始のコマンドを割り当てる方法が考えられるが、２つのキーを割り当てると利用者が混同してしまう虞れがある。
【０００７】
次に、エージェントを表示して操作の説明を行う場合、操作の説明を開始するときにエージェントを表示し、説明が終了した時にエージェントを消去する場合は問題ないが、常にエージェントを表示している場合には、操作の説明がいつ終了したのか分かり辛いという問題がある。
【０００８】
また、エージェントに操作説明を行わせる場合で、検索結果を表示するダイアログを用意せずエージェントだけのインタフェースにした場合、もう一度同じ説明を行わせるために、同じ要求文を入力して再度検索を行わせなければならないという問題がある。また、エージェントだけのインタフェースの場合、検索対象のモードや、音声入力時の音量レベル表示、キーボード入力時のエディットボックスがエージェントと関係なく画面上の特定の位置に表示されていたり、エージェントとは独立したウィンドウに表示されていると、利用者の目は常にエージェントに向いているので利用者には分かり辛いという問題がある。
【０００９】
また、初めてオンデマンド・インタフェース装置を起動させた時に、利用者は何をしていいのか分からないという問題がある。
【００１０】
本発明は、以上のような状況に鑑みてなされたもので、使い勝手を向上したオンデマンド・インタフェース装置の提供を目的としている。
【００１１】
【課題を解決するための手段】
本発明はこうした従来技術における課題を解決するための手段を提供するもので、各請求項の発明は、以下の技術手段で構成される。
【００１２】
請求項１の発明は、利用者が音声を入力するための音声入力手段と、音声入力手段から入力された音声を音声認識する音声認識手段と、検索対象であるデータベースと、音声認識手段で音声認識された結果を要求文として前記データベースの検索を行う検索手段と、検索手段の検索結果を出力するための出力手段と、出力手段に出力された結果の中から利用者が所望する結果を選択するための選択手段を備えたオンデマンド・インタフェース装置において、選択手段での選択結果あるいは何も選択しなかったことを記憶する記憶手段と、記憶手段に記憶された内容がｎ回連続していずれの選択結果も選択されなかった場合に、音声入力手段の調整を行うことを利用者に勧める音声認識調整勧告手段、あるいは、前記音声入力手段による音声入力の方法の説明を前記出力手段に出力する音声入力方法説明表示手段、の少なくとも何れかを備えることを特徴としている。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００３７】
図１に、本発明による音声オンデマンド・インタフェース装置の一例の概略構成を示す。この音声オンデマンド・インタフェース装置は、検索要求文や利用者の指示を音声で入力するためのマイク等の音声入力手段１、検索要求文や利用者の指示を音声以外で入力するためのキーボード等の要求文入力手段２、音声入力手段１や要求文入力手段２で要求文の入力や利用者の指示を入力を開始することを制御手段５に知らせるための入力開始手段３、音声入力手段１で入力された音声の認識を行う音声認識手段４、音声オンデマンド・インタフェース装置の制御を行う制御手段５、出力手段７から出力された検索結果の中から利用者の所望の結果を選択するための選択手段６、音声入力手段１や要求文入力手段２から入力された要求文に対する機能ＤＢ８の検索結果や擬人化されたキャラクターであるエージェントの画像や音声を出力するためのディスプレイやスピーカ等の出力手段７、音声オンデマンド・インタフェース装置の搭載されている機器の説明を行うためのヘルプ説明文や操作手順を示したスクリプトが格納されている機能ＤＢ８、音声入力手段１や要求文入力手段２から入力された要求文に対する機能ＤＢ８の検索結果が０件だった時に出力手段７に出力するメッセージやエージェントの動作スクリプトが格納されている検索失敗応答ＤＢ９、制御手段５に指示を与えるためのコマンドが格納されているコマンドＤＢ１０からなる。
【００３８】
音声入力手段１は選択手段６を兼ねてもよいし、要求文入力手段２は入力開始手段３と選択手段６を兼ねてもよい。また、機能ＤＢ８、検索失敗応答ＤＢ９、コマンドＤＢ１０は制御手段５に接続された外部記憶装置に格納されたものでもよく、分散型でもよく、ネットワーク上に存在するものでもよい。
【００３９】
図２に、制御手段５の一例の概略構成を示す。この制御手段５は、機能ＤＢ８の検索を行うための検索手段１１、検索手段１１で検索された結果の中から利用者がどの結果を選択手段６によって選択したかを記憶する記憶手段１２、記憶手段１２を参照してｎ回以上連続して利用者がいずれの検索結果も選択しなかった時に音声認識手段４の音声認識の調整を利用者に勧めるための音声認識調整勧告手段１３、検索手段１１で検索を行った時の結果が０件だった時に検索失敗応答ＤＢ９の内容をランダムに出力手段７に出力する検索失敗出力手段１４、検索手段１１で検索を行った時の結果が０件だったことを記憶するための検索失敗回数記憶手段１５、利用者の要求文や指示の入力のモードが音声入力であるかどうかを記憶する入力モード記憶手段１６、機能ＤＢ８を検索手段１１で検索した結果の中から利用者が選択手段６で選択した機能の実行を行う機能実行手段１７、擬人化されたキャラクターであるエージェントを出力手段７に出力するエージェント出力手段１８、エージェント出力手段１８によって出力されているエージェントの画面上の位置を記憶するエージェント位置記憶手段１９、エージェント出力手段１８によって出力されているエージェントの位置を変更するエージェント位置復帰手段２０、音声入力手段１や要求文入力手段２から入力された要求文がコマンドＤＢ１０に格納されているものと一致する時にコマンドの処理を行うコマンド処理手段２１、出力手段７に出力されるメインウィンドウの移動に合わせて１つ以上のサブウィンドウの移動を行うサブウィンドウ移動手段２２、一定時間毎に制御手段５に対して割込みを掛けるタイマ手段２３、サブウィンドウ移動手段２２によるサブウィンドウの移動を行うかどうかを各サブウィンドウ毎に設定を行うサブウィンドウ移動設定手段２４、サブウィンドウ移動手段２２によるサブウィンドウの表示を行うかどうかを各サブウィンドウ毎に設定を行うサブウィンドウ表示設定手段２５、サブウィンドウ移動手段２２によるサブウィンドウの移動によってサブウィンドウが出力手段７の画面上から外に出る時にそのサブウィンドウを画面内に表示されるようにその位置を補正するサブウィンドウ画面内表示位置補正手段２６、サブウィンドウ移動手段２２によるサブウィンドウの移動によってサブウィンドウがメインウィンドウと重なって出力手段７に表示される時にメインウィンドウとは重ならないように該当するサブウィンドウの位置を補正する対メインウィンドウサブウィンドウ位置補正手段２７、サブウィンドウ移動手段２２によるサブウィンドウの移動によってサブウィンドウ同士が出力手段７の画面上に重なって表示される時に各サブウィンドウ同士を重ならないように該当サブウィンドウの位置を補正するサブウィンドウ間位置補正手段２８、サブウィンドウ移動手段２２によるサブウィンドウの移動によってメインウィンドウと各サブウィンドウが重なる時にどのウィンドウを優先して上に表示するかの設定を行うウィンドウ表示優先順位設定手段２９、ウィンドウ表示優先順位設定手段２９の設定に従って出力手段７の画面上にメインウィンドウと各サブウィンドウの表示優先順位の変更を行うウィンドウ表示優先順位変更手段３０、サブウィンドウ移動手段２２によるサブウィンドウの移動によって出力手段７の画面上に表示されるメインウィンドウと各サブウィンドウの総表示面積を少なくするようにサブウィンドウの位置を補正する総表示面積減少用サブウィンドウ位置補正手段３１、サブウィンドウ移動手段２２によるサブウィンドウの移動によって出力手段７の画面上に表示される各サブウィンドウの総表示面積を少なくするようにサブウィンドウの位置を補正するサブウィンドウ表示面積減少用位置補正手段３２、各サブウィンドウがメインウィンドウや各サブウィンドウ以外の他のウィンドウの下に隠れて表示されないように出力手段７の画面上に各サブウィンドウの表示を行うサブウィンドウ前面表示手段３３、検索手段１１で行われる検索のモードを出力手段７に出力するためのステータス出力手段３４、音声入力手段１から入力されている音声の音量レベルを出力手段７に出力するための音声レベル出力手段３５、要求文入力手段２で入力されている文字列の表示とカーソルの表示を行う要求文入力出力手段３６、記憶手段１２を参照してｎ回以上連続して利用者がいずれの検索結果も選択しなかった時に音声入力手段１による音声入力の方法の説明を出力手段７に出力するための音声入力方法説明表示手段３７、音声入力手段１から一定時間以上入力がなかった時に出力手段７に入力を促すメッセージを出力する音声入力促進手段３８からなる。
【００４０】
図３に音声認識調整勧告手段１３と検索失敗出力手段１４の処理の流れ図の一例を示す。利用者は音声入力手段１から機能ＤＢ８を検索するための検索要求文を入力する（Ｓ１）。機能ＤＢ８の一例を図４に示す。機能名と機能説明文が検索対象文字列になり、操作手順の説明、アクションスクリプトは機能実行手段１７、エージェント出力手段１８によってエージェントによる操作の説明の時に使用される。機能の実行音声入力手段１で入力された音声は音声認識手段４によって文字列に変換される（Ｓ２）。この変換された文字列は制御手段５に送られ、制御手段５内の検索手段１１によって機能ＤＢ８の検索を行う（Ｓ３）。ここでは、音声認識手段４による音声認識結果が「文書」だったとする。すると、検索手段１１は機能ＤＢ８から検索を行い、出力手段７に
実行する機能を選択してください
１．プリント
２．セーブ
と検索結果を出力する（Ｓ５）。ここで、選択手段６によって利用者が「１」と入力した（Ｓ６）場合には、「プリント」の機能の実行を機能実行手段１７、エージェント出力手段１８で行い（Ｓ７）記憶手段１２に実行を行ったことを記憶させ、「ありません」と答えたり（Ｓ６）、次の検索を実行した（Ｓ３）場合には記憶手段１２に実行を行わなかったことを記憶させる。記憶手段１２に記憶される内容は、
「センタリング」
「セーブ」
実行なし
のようになる。音声認識調整勧告手段１３では、記憶手段１２を監視していて、記憶手段１２に連続してｎ回以上実行を行わなかったと記憶された時（Ｓ８）に出力手段７に音声認識手段４の調整を行った方がいいという勧告を利用者に対して行う（Ｓ１１）。例えば、５回以上実行を行わなかった時に、
音声が正常に認識されていない可能性があります
音声認識エンジンのエンロールを行いますか？
と出力手段７に出力して、利用者に音声認識システムのエンロールを行うことを勧める。前述の手順で検索手段１１で検索を行った時（Ｓ３）に、検索結果が０件だった時（Ｓ４）に、検索失敗応答ＤＢ９を参照して検索失敗出力手段１４が出力手段７に検索が失敗した旨を出力する（Ｓ９）。検索失敗応答ＤＢ９の一例を図５に示す。この場合、検索結果が０件だった時には検索失敗出力手段１４がこの中からランダムに応答文を選択して、
出力手段７に
声の調子が悪いの？
のように出力する。また、検索手段１１は検索結果が件数の検索失敗回数記憶手段１５にさせる（Ｓ３）。検索失敗回数記憶手段１５に記憶される内容は
８件
１０件
０件
のようになる。音声認識調整勧告手段１３では、検索失敗回数記憶手段１５を監視していて、検索失敗回数記憶手段１５に連続してｎ回以上検索件数が０件だったと記憶された時（Ｓ１０）に出力手段７に音声認識手段４の調整を行った方がいいという勧告を利用者に行う（Ｓ１１）。例えば、５回以上連続して検索結果が０件だった時に、
音声が正常に認識されていない可能性があります
音声認識エンジンのエンロールを行いますか？
と出力手段７に出力して、利用者に音声認識システムのエンロールを行うことを勧める。
【００４１】
次に、上記説明中の音声認識調整勧告手段１３の代わりに音声入力方法説明表示手段３７を使用することによって、連続してｎ回以上実行を行わなかった時や、連続してｎ回以上検索件数が０件だった時に音声入力手段１による音声入力の方法を利用者に説明する。例えば、５回以上連続して実行を行わなかった時に、
音声入力を行うには入力開始ボタンを押しながら、「文字を大きくしたい」のように喋って下さい
と出力手段７に出力して、利用者に音声認識の方法を説明する。音声入力方法説明表示手段３７では、このように音声入力の方法を説明するだけでなく、機能ＤＢ８にどのような機能名の機能が含まれているのかを説明したり、機能ＤＢ８を実行した時の様子を表した見本画面の表示を行ったり、音声オンデマンド・インタフェース装置のヘルプを表示したりしてもよい。
【００４２】
図６に本発明の他の処理の流れ図を示す。機能ＤＢ８の検索を行うために音声入力手段１あるいは要求文入力手段２から要求文を入力する必要があるが、その時点の入力モードが音声入力であるかどうかを入力モード記憶手段１８に記憶しておく。要求文入力を開始する時に入力開始手段３に開始の合図を送り（Ｓ１２）、入力モード記憶手段１８に記憶されている入力モードを参照して（Ｓ１３）、音声入力モードであれば音声入力手段１からの入力を開始し（Ｓ１４）、音声入力モードでなければ要求文入力手段２からの入力を開始する（Ｓ１５）。例えば、入力開始手段３として入力ボタンを用意しておき、音声入力モードになっていれば入力ボタンを押した時に音声入力が開始され、音声入力モードになっていなければ文字入力用のダイアログを出力手段７の画面上に表示するようにする。
【００４３】
図７は、本発明の音声オンデマンド・インタフェース装置で機能の説明を行わせた時の様子の一例を示す。これは、機能ＤＢ８が図４のようであり、この中の「センタリング」を実行させた時の一例である。ここの記述されているアクションスクリプトに従って、機能実行手段１７が機能の実行を、エージェント出力手段１８が出力手段７へエージェントの出力を行う。この「センタリング」機能の場合は、センタリングする文字を選択するようにエージェントが説明してから、編集メニューのセンタリングを選択することをエージェントが移動しながらその場所を指し示して教えている。図８に本発明の処理の流れ図の他の例を示す。まず、エージェント位置記憶手段１９によって、出力手段７の画面上に表示されているエージェントの座標を記憶する（Ｓ１６）。次に、上で説明した手順でエージェントが操作の説明を行う（Ｓ１７）。そして、操作説明が終わった後にエージェント位置記憶手段１９に記憶されている座標を参照してエージェント位置復帰手段２０がエージェントを操作説明を行う前にいた位置にエージェントの座標を移動させる（Ｓ１８）。図７の表示例で言えば、「センタリング」機能の説明（図７（ｂ），（ｃ））をした後エージェントは操作説明を行う前にいた位置（図７（ａ））戻ることになる。
【００４４】
図９に本発明の他の処理の流れ図の例を示す。音声入力手段１あるいは要求文入力手段２から入力された要求文（Ｓ１９）は、コマンド処理手段２１に送られコマンドＤＢ１０に格納されているコマンドと一致するかを確認して（Ｓ２０）、一致しなければ通常の検索処理を検索手段１１で行い（Ｓ２１）、一致する場合にはコマンド処理をコマンド処理手段２１で行う（Ｓ２２）。コマンドＤＢ１０の内容の一例を図１０に示す。例えば、「もう一度」と入力した場合には、この入力はコマンドだと解釈され、予め決めれられたコマンド実行を行う。この場合は、直前に実行させた操作説明をもう一度行わせる。その他にも、直前に実行させた操作説明のヘルプを表示させたり、直前に実行させた操作説明をゆっくりともう一度実行させるコマンド等を実装することが考えられる。
【００４５】
図１１に、本音声オンデマンド・インタフェース装置のエージェントと検索モード、音声レベル、要求文入力エディットボックスの出力手段７の画面への表示例を示す。（ａ）はエージェント出力手段１８によるエージェントの単体表示、（ｂ）はステータス出力手段３４によって検索モードを同時に表示したもの、（ｃ）は音声レベル出力手段３５によって音声レベル表示をさらに行ったもの、（ｄ）は（ｃ）で音声レベル表示の代わりに要求文出力手段３５によって要求文入力のためのエディットボックスを表示させた例である。本音声オンデマンド・インタフェース装置では、エージェントの位置を利用者が移動させたり、エージェントに操作説明をさせてエージェント自身が画面上を移動した時に、エージェント以外の関連ウィンドウも同時に移動される。その時の処理の流れを図１２に示す。まず、タイマ手段２３から割込みが掛かるまでは何もしない（Ｓ２３）。例えば、この割込みの発生間隔は０．１秒とする。タイマ手段２３による割込みが発生すると、最初に各サブウィンドウが表示されるものかどうかをサブウィンドウ表示設定手段２５に格納されている設定に基づき表示するものであれば表示処理を、表示されないものであれば非表示にする（Ｓ２４）。例えば、図１１の（ｃ）では要求文入力用エディットボックスは非表示になっているし、（ｄ）では音声レベル表示が非表示になっている。
【００４６】
次に、各サブウィンドウが移動されるものであるかどうかをサブウィンドウ移動設定手段２４の格納されている設定に基づき移動するものであれば移動処理を、移動されないものであれば移動処理を行わない（Ｓ２５）。例えば、図１１の（ｂ）で表示されている検索モードのようなステータス表示をエージェントに付随させて移動させることなく決まった位置に固定したい場合は、移動しない設定にしておく。次に、サブウィンドウ移動手段２２がエージェントの現在の座標を調べ、サブウィンドウをエージェントの移動した先へ移動させる（Ｓ２６）。例えば、図１１の（ｅ−１）のような状態でエージェントと検索モードを表すステータス表示が行われている時に、（ｅ−２）のようにエージェントが移動すると、サブウィンドウ移動手段２２はステータス表示を（ｅ−３）のようにエージェントの移動先に移動させる。次に、サブウィンドウ画面内表示位置補正手段２５が移動したサブウィンドウが画面外に隠れて表示されていないか確認して（Ｓ２７）、画面外に隠れてしまった場合には画面内に移動させる（Ｓ３１）。例えば、図１１の（ｆ−１）のようにステータス表示が移動してしまい画面の外に隠れてしまった場合に、（ｆ−２）のようにステータス表示の位置を補正して画面内に表示されるようにする。次に、対メインウィンドウサブウィンドウ位置補正手段２７が移動したサブウィンドウとエージェントが重なっているかを確認して（Ｓ２８）、重なって表示されている場合にはサブウィンドウをエージェントと重ならないように表示する（Ｓ３２）。例えば、図１１の（ｆ−２）のようにエージェントとステータス表示が重なって表示されている場合には、（ｆ−３）のようにステータス表示をエージェントと重ならない位置に補正して表示されるようにする。
【００４７】
エージェントとサブウィンドウが重なる時の別の処理方法として、ウィンドウ表示優先順変更手段３０が移動したサブウィンドウとエージェントが重なっているかを確認して（Ｓ２８）、重なって表示されている場合にはウィンドウ表示優先順位設定手段２９に格納されているメインウィンドウとサブウィンドウの表示優先順位に従って各ウィンドウの表示の優先順位の決定を行う（Ｓ３２）という方法もある。例えば、図１１の（ｆ−２）のようにエージェントとステータス表示が重なって表示されている場合で、ウィンドウ表示優先順位設定手段２９にエージェントを優先して表示するように設定されている場合には、（ｆ−４）のようにステータス表示をエージェントの下に隠れるように表示されるようにする。エージェントは利用者とのインタフェースになっているので通常は（ｆ−４）のようにエージェントを優先して表示するが、エディットボックスから要求文を入力する時にエディットボックスがエージェントの下に隠れると入力がし辛くなるので、例えば（ｇ−１）のようにエージェントとエディットボックスが重なる場合は、（ｇ−２）のようにエディットボックスを優先して表示するように設定することもできる。次に、サブウィンドウ間位置補正手段２８が移動しサブウィンドウ同士が重ならないかを確認して（Ｓ２９）、重なる場合にはサブウィンドウ同士が重ならないようにサブウィンドウを移動させる（Ｓ３３）。例えば、図１１の（ｈ−１）のようにステータス表示と音声レベル表示が重なっている場合は、（ｈ−２）のようにステータス表示を移動させる。次に、サブウィンドウ最面表示手段３３がサブウィンドウがエージェントや他のサブウィンドウ以外のウィンドウの下に隠れていないかを確認して（Ｓ３０）、隠れている場合にはそのサブウィンドウを前面に表示するようにさせる（Ｓ３４）。例えば、図１１の（ｇ−１）のように他のアプリケーションのウィンドウがステータス表示のウィンドウを隠してしまっている場合に、（ｇ−２）のようにステータス表示のウィンドウを前面に表示して他のアプリケーションの下に隠れないようにする。そして、サブウィンドウ位置の補正が終わると再びタイマの割込みが発生するのを待つ（Ｓ２３）。
【００４８】
また、出力手段７の画面上に表示されるエージェントやサブウィンドウの表示が邪魔になった時には、総表示面積減少用サブウィンドウ位置補正手段３１を使ってエージェントとサブィンドウの総表示面識を少なくしたり、サブウィンドウ表示面積減少用補正手段３２を使ってサブウィンドウの総表示面積を少なくさせることができる。この処理の流れ図の一例を図１３に示す。エージェントも含めてサブウィンドウの総表示面積を減少させる場合（Ｓ３５でｙｅｓ）には、エージェントと各サブウィンドウの左上の座標が同一になるようにサブウィンドウの位置を補正し（Ｓ３６）、サブウィンドウだけの総表示面積を減少させる場合（Ｓ３５でｎｏ）には各サブウィンドウの左上の座標が同一になるようにサブウィンドウの位置を補正する（Ｓ３７）。例えば、図１４の（ａ）のようにエージェントと各サブウィンドウが表示されている場合、総表示面積減少用サブウィンドウ位置補正手段３１を使ってエージェントとサブィンドウの総表示面識を少なくする場合は（ｂ）のようにサブウインドウとエージェントとサブウインドウを重ねて表示し、サブウィンドウ表示面積減少用補正手段３２を使ってサブウィンドウの総表示面積を少なくさせる場合は（ｃ）のようにサブウインドウ同士を重ねて表示する。
【００４９】
図１５に音声入力促進手段３８の処理の流れを示す。タイマ手段２３を利用してタイマが発生した場合（Ｓ３８）に、今までのタイマの累積カウント数を調べて一定時間以上の時間が経過しているかを調べ（Ｓ３９）、時間が経過している場合にはタイマのカウント中に音声入力手段１から音声入力が行われたかどうかを調べ（Ｓ４０）、もし音声入力が行われていなければ出力手段７から音声入力を行う旨のメッセージを出力する（Ｓ４１）。例えば、音声オンデマンド・インタフェース装置を初めて起動させた時から５０秒経っても音声入力が行われない場合に、音声入力を行うには入力開始ボタンを押しながら喋ります「文字を大きくしたい」のような質問を入力して下さいのようなメッセージを出力手段７に出力する。
【００５０】
以上、ここまで挙げた実施形態における内容は、本発明の主旨を変えない限り、上記記載に限定されるものではない。
【００５１】
【発明の効果】
本発明における情報処理装置では、以下のような効果が得られる。
【００５２】
本発明では、ｎ回連続して検索結果を選択しなかった時に、音声認識の精度が悪く検索に失敗していると予想して利用者にエンロールを行うことを勧めること、あるいは、音声入力の仕方が悪く検索に失敗していると予想して利用者に音声入力の方法を説明することが可能になる。
【図面の簡単な説明】
【図１】 本発明の音声オンデマンド・インタフェース装置の一例の概略構成図である。
【図２】 制御手段５の一例の概略構成図である。
【図３】 音声認識調整勧告手段、検索失敗出力手段の処理の流れの一例を示す図である。
【図４】 機能ＤＢ８の内容の一例を示す図である。
【図５】 検索失敗応答ＤＢ９の内容の一例を示す図である。
【図６】 本発明の処理の流れの一例を示す図である。
【図７】 本発明の音声オンデマンド・インタフェース装置で機能の説明を行わせた時の様子の一例を示す図である。
【図８】 本発明の処理の流れの他の例を示す図である。
【図９】 本発明の処理の流れの他の例を示す図である。
【図１０】 コマンドＤＢ１０の内容の一例を示す図である。
【図１１】 本発明の音声オンデマンド・インタフェース装置で表示させるエージェント、検索モード、音声レベル表示、要求文入力エディットボックスの表示方法の一例を示す図である。
【図１２】 本発明の音声オンデマンド・インタフェース装置のサブウィンドウ位置補正処理の流れの一例を示す図である。
【図１３】 表示されるウィンドウの総表示面積を減少させるための処理の流れ図の一例を示す図である。
【図１４】 表示されるウィンドウの総表示面積を減少させるための処理を行った時の表示の一例を示す図である。
【図１５】 本発明の音声オンデマンド・インタフェース装置の音声入力促進処理の流れの一例を示す図である。
【符号の説明】
１…音声入力手段、２…要求文入力手段、３…入力開始手段、４…音声認識手段、５…制御手段、６…選択手段、７…出力手段、８…機能ＤＢ、９…検索失敗応答ＤＢ、１０…コマンドＤＢ、１１…検索手段、１２…記憶手段、１３…音声認識調整勧告手段、１４…検索失敗出力手段、１５…検索失敗回数記憶手段、１６…入力モード記憶手段、１７…機能実行手段、１８…エージェント出力手段、１９…エージェント位置記憶手段、２０…エージェント位置復帰手段、２１…コマンド処理手段、２２…サブウィンドウ移動手段、２３…タイマ手段、２４…サブウィンドウ移動設定手段、２５…サブウィンドウ表示設定手段、２６…サブウィンドウ画面内表示位置補正手段、２７…対メインウィンドウサブウィンドウ位置補正手段、２８…サブウィンドウ間位置補正手段、２９…ウィンドウ表示優先順位設定手段、３０…ウィンドウ表示優先順位変更手段、３１…総表示面積減少用サブウィンドウ位置補正手段、３２…サブィンドウ表示面積減少用位置補正手段、３３…サブウィンドウ前面表示手段、３４…ステータス出力手段、３５…音声レベル出力手段、３６…要求文入力出力手段、３７…音声入力方法説明表示手段、３８…音声入力促進手段。
Claims (1)
- 利用者が音声を入力するための音声入力手段と、
前記音声入力手段から入力された音声を音声認識する音声認識手段と、
検索対象であるデータベースと、
前記音声認識手段で音声認識された結果を要求文として前記データベースの検索を行う検索手段と、
前記検索手段の検索結果を出力するための出力手段と、
前記出力手段に出力された結果の中から利用者が所望する結果を選択するための選択手段を備えたオンデマンド・インタフェース装置において、
前記選択手段での選択結果あるいは何も選択しなかったことを記憶する記憶手段と、
前記記憶手段に記憶された内容がｎ回連続していずれの選択結果も選択されなかった場合に、
前記音声入力手段の調整を行うことを利用者に勧める音声認識調整勧告手段、
あるいは、
前記音声入力手段による音声入力の方法の説明を前記出力手段に出力する
音声入力方法説明表示手段、の少なくとも何れかを備える
ことを特徴とするオンデマンド・インタフェース装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000258418A JP3705735B2 (ja) | 2000-08-29 | 2000-08-29 | オンデマンド・インタフェース装置とそのウィンドウ表示装置 |
| US09/906,858 US7028265B2 (en) | 2000-08-29 | 2001-07-18 | Window display system and method for a computer system |
| EP01117943A EP1184782A3 (en) | 2000-08-29 | 2001-07-24 | On-demand interface device and window display for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000258418A JP3705735B2 (ja) | 2000-08-29 | 2000-08-29 | オンデマンド・インタフェース装置とそのウィンドウ表示装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005161194A Division JP2005327306A (ja) | 2005-06-01 | 2005-06-01 | オンデマンド・インタフェース装置とそのウィンドウ表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002073322A JP2002073322A (ja) | 2002-03-12 |
| JP3705735B2 true JP3705735B2 (ja) | 2005-10-12 |
Family
ID=18746736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000258418A Expired - Fee Related JP3705735B2 (ja) | 2000-08-29 | 2000-08-29 | オンデマンド・インタフェース装置とそのウィンドウ表示装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7028265B2 (ja) |
| EP (1) | EP1184782A3 (ja) |
| JP (1) | JP3705735B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040030559A1 (en) * | 2001-09-25 | 2004-02-12 | Payne Michael J. | Color as a visual cue in speech-enabled applications |
| US20030061054A1 (en) * | 2001-09-25 | 2003-03-27 | Payne Michael J. | Speaker independent voice recognition (SIVR) using dynamic assignment of speech contexts, dynamic biasing, and multi-pass parsing |
| US20030061053A1 (en) * | 2001-09-27 | 2003-03-27 | Payne Michael J. | Method and apparatus for processing inputs into a computing device |
| US20030065740A1 (en) * | 2001-09-28 | 2003-04-03 | Karl Allen | Real-time access to health-related information across a network |
| US7324947B2 (en) | 2001-10-03 | 2008-01-29 | Promptu Systems Corporation | Global speech user interface |
| US7099829B2 (en) * | 2001-11-06 | 2006-08-29 | International Business Machines Corporation | Method of dynamically displaying speech recognition system information |
| US20030130875A1 (en) * | 2002-01-04 | 2003-07-10 | Hawash Maher M. | Real-time prescription renewal transaction across a network |
| US20030130868A1 (en) * | 2002-01-04 | 2003-07-10 | Rohan Coelho | Real-time prescription transaction with adjudication across a network |
| US6910911B2 (en) | 2002-06-27 | 2005-06-28 | Vocollect, Inc. | Break-away electrical connector |
| US8260874B1 (en) * | 2003-01-10 | 2012-09-04 | Northwestern University | Request initiated collateral content offering |
| CN1739086A (zh) * | 2003-01-14 | 2006-02-22 | 皇家飞利浦电子股份有限公司 | 重排计算机屏幕上的视图 |
| WO2004063923A1 (en) * | 2003-01-15 | 2004-07-29 | Koninklijke Philips Electronics N.V. | Rearranging views on a computer screen |
| US20050010418A1 (en) * | 2003-07-10 | 2005-01-13 | Vocollect, Inc. | Method and system for intelligent prompt control in a multimodal software application |
| US20050010892A1 (en) * | 2003-07-11 | 2005-01-13 | Vocollect, Inc. | Method and system for integrating multi-modal data capture device inputs with multi-modal output capabilities |
| US20050091610A1 (en) * | 2003-10-22 | 2005-04-28 | International Business Machines Corporation | Selective display of windows on an auxiliary output device |
| JP4012143B2 (ja) * | 2003-12-16 | 2007-11-21 | キヤノン株式会社 | 情報処理装置およびデータ入力方法 |
| US7441204B2 (en) * | 2004-02-06 | 2008-10-21 | Microsoft Corporation | Method and system for automatically displaying content of a window on a display that has changed orientation |
| US7620895B2 (en) * | 2004-09-08 | 2009-11-17 | Transcensus, Llc | Systems and methods for teaching a person to interact with a computer program having a graphical user interface |
| US7643999B2 (en) * | 2004-11-24 | 2010-01-05 | Microsoft Corporation | Microphone feedback and control |
| US20070180384A1 (en) * | 2005-02-23 | 2007-08-02 | Demetrio Aiello | Method for selecting a list item and information or entertainment system, especially for motor vehicles |
| KR100644159B1 (ko) * | 2005-09-05 | 2006-11-10 | 엔에이치엔(주) | 검색 컨트롤러 제어 방법 및 그 장치 |
| US20070106501A1 (en) * | 2005-11-07 | 2007-05-10 | General Electric Company | System and method for subvocal interactions in radiology dictation and UI commands |
| US20070124507A1 (en) * | 2005-11-28 | 2007-05-31 | Sap Ag | Systems and methods of processing annotations and multimodal user inputs |
| US7861159B2 (en) | 2006-04-07 | 2010-12-28 | Pp Associates, Lp | Report generation with integrated quality management |
| US20070265929A1 (en) * | 2006-04-26 | 2007-11-15 | Michael Danninger | Portal page personalization offering a direct manipulative window arrangement functionality |
| KR100699050B1 (ko) * | 2006-06-30 | 2007-03-28 | 삼성전자주식회사 | 문자정보를 음성정보로 출력하는 이동통신 단말기 및 그방법 |
| JP2008022493A (ja) * | 2006-07-14 | 2008-01-31 | Fujitsu Ltd | 受付支援システムとそのプログラム |
| USD626949S1 (en) | 2008-02-20 | 2010-11-09 | Vocollect Healthcare Systems, Inc. | Body-worn mobile device |
| US8156060B2 (en) * | 2008-02-27 | 2012-04-10 | Inteliwise Sp Z.O.O. | Systems and methods for generating and implementing an interactive man-machine web interface based on natural language processing and avatar virtual agent based character |
| US8386261B2 (en) | 2008-11-14 | 2013-02-26 | Vocollect Healthcare Systems, Inc. | Training/coaching system for a voice-enabled work environment |
| CN102439544A (zh) * | 2009-03-20 | 2012-05-02 | 谷歌股份有限公司 | 与输入法编辑器计算设备的交互 |
| US8659397B2 (en) | 2010-07-22 | 2014-02-25 | Vocollect, Inc. | Method and system for correctly identifying specific RFID tags |
| USD643400S1 (en) | 2010-08-19 | 2011-08-16 | Vocollect Healthcare Systems, Inc. | Body-worn mobile device |
| USD643013S1 (en) | 2010-08-20 | 2011-08-09 | Vocollect Healthcare Systems, Inc. | Body-worn mobile device |
| US9600135B2 (en) | 2010-09-10 | 2017-03-21 | Vocollect, Inc. | Multimodal user notification system to assist in data capture |
| JP5998861B2 (ja) * | 2012-11-08 | 2016-09-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CN102968992B (zh) * | 2012-11-26 | 2014-11-05 | 北京奇虎科技有限公司 | 用于浏览器的语音识别处理方法和浏览器 |
| CN104240707A (zh) * | 2012-11-26 | 2014-12-24 | 北京奇虎科技有限公司 | 用于浏览器的语音识别处理方法和浏览器 |
| US9280981B2 (en) | 2013-02-27 | 2016-03-08 | Blackberry Limited | Method and apparatus for voice control of a mobile device |
| JP6312053B2 (ja) * | 2013-09-06 | 2018-04-18 | 株式会社ユピテル | システム及びプログラム |
| US11132173B1 (en) * | 2014-02-20 | 2021-09-28 | Amazon Technologies, Inc. | Network scheduling of stimulus-based actions |
| US10726197B2 (en) * | 2015-03-26 | 2020-07-28 | Lenovo (Singapore) Pte. Ltd. | Text correction using a second input |
| US10845956B2 (en) | 2017-05-31 | 2020-11-24 | Snap Inc. | Methods and systems for voice driven dynamic menus |
| CN108108391A (zh) * | 2017-11-21 | 2018-06-01 | 众安信息技术服务有限公司 | 用于数据可视化的信息的处理方法以及装置 |
| US20200135189A1 (en) * | 2018-10-25 | 2020-04-30 | Toshiba Tec Kabushiki Kaisha | System and method for integrated printing of voice assistant search results |
| KR20200109467A (ko) | 2019-03-13 | 2020-09-23 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| JP7448350B2 (ja) * | 2019-12-18 | 2024-03-12 | トヨタ自動車株式会社 | エージェント装置、エージェントシステム、及びエージェントプログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU1258195A (en) * | 1993-11-17 | 1995-06-06 | Collegeview | Method and apparatus for displaying three-dimensional animated characters upon a computer monitor's screen |
| US5838318A (en) * | 1995-11-10 | 1998-11-17 | Intel Corporation | Method and apparatus for automatically and intelligently arranging windows on a display device |
| JPH1055372A (ja) | 1996-05-14 | 1998-02-24 | Sharp Corp | オンデマンド・インターフェース装置及びコンピュータ読み取り可能な記録媒体 |
| US5808610A (en) * | 1996-08-28 | 1998-09-15 | Macromedia, Inc. | Method and system of docking panels |
| US5760772A (en) * | 1996-08-30 | 1998-06-02 | Novell, Inc. | Method for automatically resizing a child window |
| US6054985A (en) * | 1997-01-27 | 2000-04-25 | International Business Machines Corporation | Data processing system and method for simulating compound objects |
| US6094476A (en) * | 1997-03-24 | 2000-07-25 | Octel Communications Corporation | Speech-responsive voice messaging system and method |
| US5977973A (en) * | 1997-05-14 | 1999-11-02 | Microsoft Corporation | Window linking |
| EP0895396A3 (en) * | 1997-07-03 | 2004-01-14 | Texas Instruments Incorporated | Spoken dialogue system for information access |
| JP2000207085A (ja) | 1998-11-09 | 2000-07-28 | Sharp Corp | オンデマンド・インタ―フェ―ス装置及びコンピュ―タ読み取り可能な記録媒体 |
| US6654036B1 (en) * | 2000-06-05 | 2003-11-25 | International Business Machines Corporation | Method, article of manufacture and apparatus for controlling relative positioning of objects in a windows environment |
-
2000
- 2000-08-29 JP JP2000258418A patent/JP3705735B2/ja not_active Expired - Fee Related
-
2001
- 2001-07-18 US US09/906,858 patent/US7028265B2/en not_active Expired - Fee Related
- 2001-07-24 EP EP01117943A patent/EP1184782A3/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| US20020026320A1 (en) | 2002-02-28 |
| JP2002073322A (ja) | 2002-03-12 |
| EP1184782A2 (en) | 2002-03-06 |
| EP1184782A3 (en) | 2007-08-29 |
| US7028265B2 (en) | 2006-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3705735B2 (ja) | オンデマンド・インタフェース装置とそのウィンドウ表示装置 | |
| US8380509B2 (en) | Synchronise an audio cursor and a text cursor during editing | |
| JP5366955B2 (ja) | ユーザインタフェース生成装置 | |
| EP1544719A2 (en) | Information processing apparatus and input method | |
| KR100549482B1 (ko) | 정보 처리 장치, 정보처리 방법, 및 프로그램을 기억하는 컴퓨터 판독가능 기억 매체 | |
| JP2004529381A (ja) | 認識音声に対する同期再生中の文字編集 | |
| US20080162143A1 (en) | System and methods for prompting user speech in multimodal devices | |
| JP2006061679A (ja) | 医療用超音波装置でヘルプ情報を提供するための装置及び方法 | |
| JP2005327306A (ja) | オンデマンド・インタフェース装置とそのウィンドウ表示装置 | |
| JP2005327306A5 (ja) | ||
| JP3088399B2 (ja) | 文書データ音声合成方式 | |
| JP2007004575A (ja) | 表示処理方法、表示処理プログラムおよびマークアップ言語処理装置 | |
| JPH09282137A (ja) | 文章読み上げ装置 | |
| JP7298958B1 (ja) | 外国語動詞学習支援装置及び外国語動詞学習支援プログラム | |
| JP3021983B2 (ja) | 文書作成装置 | |
| JP5057764B2 (ja) | 音声合成装置及び音声合成プログラム | |
| JP3271386B2 (ja) | 入力制御装置 | |
| JP2010026963A (ja) | スケジュール管理装置およびスケジュール管理プログラム | |
| JPH045703A (ja) | シーケンスプログラム作成装置 | |
| JP6296121B2 (ja) | エミュレータ装置、プログラム及び表示方法 | |
| JP6459920B2 (ja) | 情報表示装置、情報表示プログラム及び音声出力方法 | |
| JP2576371B2 (ja) | ジャンプ信号名付与方法 | |
| JPH1152983A (ja) | 音声認識装置 | |
| JP2002007015A (ja) | 情報処理装置およびコンピュータ読み取り可能な記憶媒体 | |
| JP2006133296A (ja) | 音声対話装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050726 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080805 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130805 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |