JP4528384B2 - 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 - Google Patents
音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 Download PDFInfo
- Publication number
- JP4528384B2 JP4528384B2 JP19511399A JP19511399A JP4528384B2 JP 4528384 B2 JP4528384 B2 JP 4528384B2 JP 19511399 A JP19511399 A JP 19511399A JP 19511399 A JP19511399 A JP 19511399A JP 4528384 B2 JP4528384 B2 JP 4528384B2
- Authority
- JP
- Japan
- Prior art keywords
- button
- voice input
- function
- icon
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータ等の各種の情報処理装置が実行するアプリケーションプログラムに、ユーザが入力した文字列を引き渡すＦＥＰ（フロント・エンド・プロセッサ）に好適な音声入力用グラフィカル・ユーザ・インターフェース、その処理方法および記録媒体に関する。
【０００２】
【従来の技術】
従来、情報処理装置で実行されているアプリケーションプログラム、たとえば、文書処理プログラムに、キーボードから入力された文字列を引き渡すプログラムが知られている。このプログラムはフロント・エンド・プロセッサ（ＦＥＰ）と呼ばれている。日本語のかな漢字混じり文字を入力を行う場合には、キーボードのキーの操作で読みを入力すると、ＦＥＰは漢字辞書（読みと、読みに対応するかな混じり漢字の単語を記載した辞書）を使用して、読みに対応するかな混じり漢字の単語（以下、単語と略称する）に変換する、変換された単語が、入力の文字列としてとして、アプリケーションプログラムに引き渡される。
【０００３】
このようなＦＥＰに対して音声認識機能を付加し、音声で読みを入力して音声認識し、誤認識結果をキーボードの操作で訂正するようなＦＥＰも提案されてきている。
【０００４】
音声入力および音声認識機能を有するＦＥＰの場合には、マイクロホンから音声を入力するモードと、キーボードから文字を入力するモードの切り替えが必要であり、この切り替えの指示は、表示画面上に表示されたアプレットから行われる。アプレットとは、動作指示用の複数のボタン、メニューを有するグラフィカル・ユーザ・インターフェースのことであり、音声入力ののアプレットの場合（図２の符号５参照）には、録音、再生等を指示する複数のボタンやその他各種の複数のボタンが用意されている。
【０００５】
【発明が解決しようとする課題】
従来、音声入力モードとキーボードからの文字入力モードを切換えるためのグラフィカル・ユーザ・インターフェースは音声入力用のアプレット内に設けられていた。このため、ユーザはアプレットの内の多数のメニューあるいはボタンのグラフィカル・ユーザ・インタフェースの中からキーボード−音声切り替え用のグラフィカル・ユーザ・インターフェースを見つけて、操作しなければならず、操作が煩雑であるという不具合が従来例にはあった。
【０００６】
そこで、本発明の目的は、上述の点を考慮して、音声入力モードのオン／オフの指示の他、この指示に関連する各種の設定が容易な音声入力用グラフィカル・ユーザ・インターフェース、その処理方法および記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
このような目的を解決するために、請求項１の発明は、音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有し、
ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフする第１の手段と、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第２の手段と
を具え、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかである
ことを特徴とする。
【０００８】
請求項２の発明は、請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第１の手段は、前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする。
【０００９】
請求項３の発明は、請求項２に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【００１０】
請求項４の発明は、請求項３に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする。
【００１１】
請求項５の発明は、請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【００１４】
請求項６の発明は、請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【００１５】
請求項７の発明は、請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【００１６】
請求項８の発明は、請求項７に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【００１７】
請求項９の発明は、音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有し、前記音声入力用グラフィカル・ユーザ・インターフェースは、
ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフし、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させ、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかであることを特徴とする。
【００１８】
請求項１０の発明は、請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、音声入力用グラフィカル・ユーザ・インターフェースは前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする。
【００１９】
請求項１１の発明は、請求項１０に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【００２０】
請求項１２の発明は、請求項１１に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする。
【００２１】
請求項１３の発明は、請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【００２４】
請求項１４の発明は、請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【００２５】
請求項１５の発明は、請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【００２６】
請求項１６の発明は、請求項１５に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【００２７】
請求項１７の発明は、音声入力機能を有する情報処理装置により読み出され、実行されるプログラムであって、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのためのプログラムを記録した記録媒体において、前記プログラムは、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有する状態において、ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフする第１のステップと、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第２のステップと
を具え、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかであることを特徴とする。
【００２８】
請求項１８の発明は、請求項１７に記載の記録媒体において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第１のステップにより前記音声入力機能をオンした場合には、入力された音声が音声認識機能に引き渡され、前記キーボードからの文字入力機能がオフされることを特徴とする。
【００２９】
請求項１９の発明は、請求項１８に記載の記録媒体において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【００３０】
請求項２０の発明は、請求項１９に記載の記録媒体において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする記録媒体。
【００３１】
請求項２１の発明は、請求項１７に記載の記録媒体において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【００３４】
請求項２２の発明は、請求項１７に記載の記録媒体において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【００３５】
請求項２３の発明は、請求項１７に記載の記録媒体において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【００３６】
請求項２４の発明は、請求項２３に記載の記録媒体において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【００３７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００３８】
図１は、本発明実施形態の音声入力用グラフィカル・ユーザ・インターフェース（以下、ＧＵＩと略記する）のためのアイコンの表示の一例を示す。
【００３９】
図１において、アイコン１が音声入力用のＧＵＩである。アイコン１は音声入力モードとキーボードからの文字入力モード（キーボード入力モードと略記する）の切換えを行うためのボタン２と音声入力に関わる動作条件を設定するサブウィンドウ画面を表示されるボタン３を有する。ボタン１をマウスのようなポインティングデバイスで操作すると、マイクロホンからの音声入力が可能となる音声入力モードが設定される。
【００４０】
このモード設定に応じて、たとえば、エディタと呼ばれる簡易文書編集用ソフトウェアと文字認識機能付きＦＥＰが起動する。
【００４１】
エディタの起動に応じて図２の文書編集用のウィンドウ画面４が表示され、上記ＦＥＰの起動に応じて、図２の音声入力用のアプレット５が表示される。マイクロホンから入力された音声が、上記ＦＥＰ文字認識機能により音声認識され、音声認識結果が文書編集用ウィンドウ４内に表示される。
【００４２】
ユーザが音声をマイクロホンから入力したい場合には、ユーザはマウスカーソルをアイコン１のボタン２の位置に移動し、左クリックボタンを操作する。本実施形態ではボタン２の操作方法としては３種類が用意されており、ユーザは所望の操作方法を後述のプロパティ画面で選択することができる。
【００４３】
ユーザが音声入力を中止し、キーボードから文字を入力したい場合は、アイコン１のボタン２の操作を中止すればよい。
【００４４】
ボタン１が操作されないデフォルト状態ではキーボードからの文字入力が可能となるモードが自動的に設定される。キーボードからの文字入力モードが設定されると、上記エディタや他の文書処理用のワープロソフトの実行時に、従来と同様、キーボードから入力された読みを示す文字列がＦＥＰによりかな混じり漢字文字列に変換されて文書編集用ソフトに引き渡される。
【００４５】
ボタン３は音声入力モードおよびキーボード入力モードのいずれにおいても操作可能であり、ボタン３を操作している間、より正確にはユーザが、マウスカーソルをボタン３（逆三角形の図形）内に位置させて、マウスの左クリックボタンを押下している間、図３のメニュー画面が表示される。メニュー画面にはプロパティ、バージョン情報を表示させるためのメニューおよびその他のメニューが用意されている。
【００４６】
ちなみに「閉じる」の表記を持つメニューは、アイコン１の常時の中止を指示するためのメニューであり、このメニューの選択に応じて、現在、表示画面に表示されているアイコン１が表示画面から消去される。「キャンセル」の表記を持つメニューは、動作指示をキャンセルためのメニューであり、このメニュをユーザが選択すると、メニュー画面６が表示画面から消去される。
【００４７】
ユーザがマウスの左クリックボタンを押したままマウスカーソルをプロパティ用のメニュー（図３のプロパティの表記）にマウスカーソルをあわせるとこのメニュー部分がハイライト（白黒反転すること）される。この状態において、ユーザがマウスの左クリックボタンの押下を止めると図４に示すようなサブウィンドウ７が表示される。
【００４８】
サブウィンドウ７は、アイコン１に関連する動作条件を設定するための画面である。ボタン８およびボタン９はオンの状態をレ記号で表し、オフの状態がレ記号がない状態で表す。ボタン８，９はユーザがそのボタンの位置にマウスカーソルを移動し、マウスの左ボタンを１回押下すると、現在の設定モード（オン／オフ）が逆のモード（オフ／オン）に切換えられる。
【００４９】
ボタン９〜１５も各ボタンに割り当てられた設定モードのオン／オフがボタンの操作ごとに切換えられる。オンの場合には・記号が表示され、オフの場合には・記号が表示されない。
【００５０】
ボタン８，９はアイコン１の表示開始タイミングを選択するためのボタンである。
【００５１】
ボタン８によりウィンドウの起動時にアイコン１を表示するか（オン）否か（オフ）が設定される。オンに設定されると、情報処理装置に電源が投入され、オペレーティングシステム（ＯＳ）が起動したときに、アイコン１が表示される。
【００５２】
ボタン９によりアイコン１を音声入力用アプレット５（図２参照）の起動時に表示するか否か設定される。オンに設定されると、音声入力アプレット５が起動され、かつ、表示画面上にアイコン１が表示されていない場合には、アイコン１が表示される。
【００５３】
ボタン１０〜１２はアイコン１のボタン２の操作方法を選択するためのボタンである。これらのボタン１０〜１２のいずれか１つだけがオン可能である。ボタン１０をオンすると、マウスポインタをアイコン１のボタン２の範囲内に置いている間は音声入力が可能となる。
【００５４】
ボタン１２をオンすると、マウスカーソルをアイコン１のボタン２に置いた状態で、マウスの左クリックボタンをクリック（押下）したままの状態の間だけ音声入力が可能となる。
【００５５】
ボタン１２をオンするとマウスカーソルをアイコン１のボタン２に置いた状態で、マウスの左クリックボタンをユーザが１回クリックすると、音声入力が可能となり、音声入力可能状態で左クリックボタンをユーザがクリックすると、音声入力不可の状態となる。したがって、左クリックボタンの毎に音声入力機能のオン／オフが切り換わる。
【００５６】
ボタン１３〜１５はアイコン１の大きさを選択するためのボタンである。アイコン１は大中小の３種類のいずれか１つをボタン１３〜１５により選択することができる。
【００５７】
ボタン１６はウィンドウ７内の現在、表示されている設定状態をハードディスクに保存して、ウィンドウ７を閉じるように指示するボタンである。
【００５８】
ボタ８〜ボタン１５のオンオフ状態はフラグの形態で、ハードディスクに記憶され、アイコン１の操作が行われた時点や他の時点で参照される。ボタン１７はウィンドウ７内の現在、表示されている設定状態を保存せず、ウィンドウ７を閉じるように指示するボタンである。
【００５９】
以上、説明したプロパティ表示用ウィンドウ７を使用してユーザはアイコン１の動作環境（音声入力用ＧＵＩの動作条件）を任意の時点で設定することができる。
【００６０】
このような音声入力用ＧＵＩを使用使用する情報処理装置のシステム構成の一例を図５を参照して説明する。本実施形態では、ＯＳとしてウィンドウズ９８（マイクロソフト社の商標）を搭載した汎用のパーソナルコンピュータについて説明する。
【００６１】
図５において、１００はＣＰＵであり、システムメモリ１０１にロードされたプログラムを実行する。システムメモリ１０１はＣＰＵ１００の実行するプログラムで必要な入力データ、プログラムの実行結果等各種のデータを保存する。また、システムメモリ１０１はディスプレイ１０７に表示するデータや、キーボード１０６やマイクロホン１０３から入力されたデータを一時記憶する。
【００６２】
１０３は入出力インターフェース（Ｉ／Ｏ）であり、マイクロホン１０３から入力された音声信号をアナログからデジタルに変換する。１０４はＣＤＲＯＭドライブであり、装着されたＣＤＲＯＭからデータを読み取る。本実施形態では、音声認識機能付きＦＥＰおよび音声入力用ＧＵＩ（アイコン１の操作で動作するプログラム）を実現するためのプログラムおよび関連のデータをＣＤＲＯＭから読み取る。読み取られたプログラムおよび関連のデータは後述のハードディスク記憶装置（ＨＤ）１０８にインストールされる。
【００６３】
１０６はキーボードであり、文字に対応するキーを押下することで、文字を入力する。１０７はディスプレイであり、キーボード１０６またはマイクロホンから入力された文字入力された文字や、ＣＰＵ１００の演算結果を可視表示する。１１５はディスプレイ１０７の表示画面上に表示されたポインタ（カーソル図形）を移動させ、また、その位置を確定のために指示することの可能なポインティングデバイスであり、本実施形態では、マウスを使用する。上記ポインタの移動はマウス１１５自身をユーザが移動し、ポインタの位置の確定は左クリックボタンで行われる。
【００６４】
１０８はＨＤである。ＨＤ１０８には以下に述べるプログラム、データが保存目的で記憶ｋされている。
【００６５】
１０９はパーソナルコンピュータおよび周辺機器を制御するためのＯＳであり、本実施形態では上述のウィンドウズ９８が使用される。１１０は、設定データであり、図４のプロパティ画面でボタン８〜１５により設定された情報がコンテキスト（データの集合、データセットとも呼ばれる）の形態で記憶される。
【００６６】
１１１は音声認識用プログラムであり、マイクロホン１０３から入力された音声を音声認識し、音声認識結果として文字列（文字コード）を出力する。音声認識プログラムは周知のもの、たとえば、隠れマルコフモデルを使用した音声認識プログラムを使用することができる。
【００６７】
１１２は音声入力用のＧＵＩを実現するプログラムである。このプログラムの内容については後で詳細に説明する。
【００６８】
１１３はアイコン１のボタン２が最初に操作された時に初期的に表示されるエディタである。１１４はキーボード１０６から入力された読みの文字列をかな漢字混じり文字列（かなのみの文字列、漢字のみの文字列、１文字を含む）に変換するＦＥＰである。
【００６９】
その他、ＨＤには各種のアプリケーションプログラムが搭載されている。また、図１のアイコン１を表示するためのイメージデータも音声入力用ＧＵＩ関連データとして記憶されている。
【００７０】
このようなシステム構成において実行される音声入力用ＧＵＩの動作を図６〜図１１のフローチャートを参照して説明する。
【００７１】
図６はＯＳ１０９により実行するＣＰＵ１００の処理利内容を示す。図７は音声入力用ＧＵＩのプログラム１１２の動作条件設定処理手順を示す。
【００７２】
図８は音声入力用ＧＵＩにより音声認識プログラムを起動する時のＣＰＵ１００の処理内容を示す。図９〜図１１はアイコン１がポインティングデバイス１１５により操作された時のＣＰＵ１００の処理内容を示す。なお、音声入力用ＧＵＩのプログラム１１２をインストールした際にはデフォルトで、アイコン１はＯＳ１０９の起動時に表示される設定となっているものとする。
【００７３】
（動作条件の設定）
ユーザがパーソナルコンピュータの電源を投入するとＯＳ１０９による初期処理において図６の処理手順が実行される。すなわち、ＣＰＵ１０はブート処理を実行した後、図４の動作条件に関する設定情報（ボタン８による設定情報）を参照し、ＯＳの起動時にアイコン１を表示するか否かを判定する（ステップＳ２０）。
【００７４】
この例の場合にはボタン８の設定はオンになっているので、ＣＰＵ１は従来のアイコン表示と同様、アイコン１のイメージ（オブジェクト）をその表示位置情報（ＨＤ１０８またはシステムメモリ１０１にインストール時にデフォルトのデータが記憶）の示す表示位置に表示させる。また、インストール時に自動設定されたアイコン１の大きさとなるようアイコン１のイメージが作成される（ステップＳ３０）。
【００７５】
ＣＰＵ１００は続いて、電源起動時の従来の初期処理を行う（ステップＳ４０）。ボタン８による設定がオフの場合には手順はステップＳ２０→Ｓ４０へと進むので、アイコン１の表示は行われない。
【００７６】
初期処理の終了後、ユーザはワードを起動した後、表示画面中のアイコン１のボタン３(図１参照)にマウスポインタを置き、マウス１１５の左クリックボタンをクリックし、押下したままの状態を続ける。左クリックボタンの押下に応じて、マウスイベントが発生し、ＯＳがマウスの押下を検知する。この検知に応じて、図７の処理手順がＣＰＵ１００により実行される。
【００７７】
ＣＰＵ１００はマウスポインタの位置を示す座標値を取得し、マウスポインタの位置がアイコン１の中にあるか否かを判定する。この場合、判定はＹＥＳが得られるので、手順はステップＳ１００→Ｓ１１０へと進む。続いてボタン２の操作の有無の判定、ボタン３の操作の有無の判定が行われる(ステップＳ１１０→Ｓ１２０)。
【００７８】
ステップＳ１２０の判定において、ボタン３の操作が行われたことが検出されて、ＣＰＵ１００は図３のプルダウンメニュー用のサブウィンドウ６を表示させる(ステップＳ１２０→Ｓ１２１)。
【００７９】
ユーザはマウス１１５の左クリックボタンを押した状態でマウスポインタを「プロパティ」メニューにおき、次に左クリックボタンの押下を中止する。ＣＰＵ１００は従来と同様マウスポインタの位置と、左クリックボタン操作の種類の識別により「プロパティ」メニューが選択されたことを検知して、図４の動作条件設定用のウィンドウを表示させる(ステップＳ１２２)。
【００８０】
ユーザは図４のウィンドウ４で所望のボタンをマウス１１５により操作してアイコン１の動作条件を設定する。最後にユーザはＯＫボタン１６を操作すると、現在のボタン８〜１５の設定状態がＨＤ１０８の記憶領域１１０に更新的に記憶される(ステップＳ１２３)。
【００８１】
なお、プルダウンメニューで他のメニューがユーザに選択された場合は、そのメニューに対応した処理が実行されるが、本発明とは関係がないので、その詳細な説明を省略する。
【００８２】
以上でアイコン１の動作条件の設定が終了する。
【００８３】
（音声入力）。
【００８４】
音声入力機能のユーザの使用法としては、次の２種類がある。
【００８５】
（ａ）アプリケーションを起動しない状態でユーザはアイコン１のボタン２を操作し、簡易エディタを自動起動させて音声で文字を入力する。簡易エディタにより作成された文書をメモ帳または備忘録として使用するときに（ａ）の方法が好適である。
【００８６】
（ｂ）アプリケーションでの文字入力のために音声入力を使用する。この場合、ユーザは先にアプリケーションを起動し、その後で、アイコン１のボタン２を操作する。本実施形態では、ワード（マイクロソフト社の商標）のようなワープロソフトを例に説明する。
【００８７】
ユーザがマウスポインタをアイコン１のボタン２に置いて、予め図４のボタン１０〜１２のいずれかで設定した方法で、音声入力機能をオンさせる。この操作によりマウスイベントが発生し、図７の処理手順がＣＰＵ１００において実行される。
【００８８】
ボタン２の操作はステップＳ１１０において検出される。より具体的は、ＣＰＵ１００はステップＳ１１０において、マウスポインタの位置が、ボタン２の中であることおよびボタン１０〜１２のいずれかにより指示されたボタン２の操作方法であることを確認すると、手順をステップＳ１１１へと進め、音声入力機能を起動する。ステップＳ１１１の詳細は図８を使用して説明する。
【００８９】
ボタン１０による設定の場合（第１の操作モードと略記する）、すなわち、マウスポインタがボタン２に置かれている間を検知する場合には、ＣＰＵ１００は、マウスポインタの位置がボタン２内にあることを検知すればよい。この処理手順を図９に示す。
【００９０】
ボタン１１による設定の場合（第２の操作モードと略記する）、すなわち、左クリックボタンによりボタン２を押している間を検知する場合には、ＣＰＵ１００はマウスポインタの位置がボタン２内にあることおよびマウス１１５の左クリックボタンが押下状態にあることの２つの条件を満足するか否かの判定を行えばよい。この処理手順を図１０に示す。
【００９１】
ボタン１２による設定の場合（第３の操作モード）、すなわち、ボタン２をトグルスウィッチとして使用する場合には、マウス１１５の左クリックボタンが押下される毎に、フラグ情報のオン／オフを判定させる。フラグ情報がオンの場合には音声入力許可、オフの場合には音声入力禁止とする。この処理手順を図１１に示す。
【００９２】
マウスポインタがアイコン１の外に置かれている場合は手順は、ステップＳ１００→Ｓ１０１へと進み、従来から知られている、マウスポインタの移動処理や、他のアイコンの起動処理等が行われる。
【００９３】
ステップＳ１１１の詳細を図８に示す。
【００９４】
図８において、ＣＰＵ１はＨＤ１０８上の音声認識プログラム１１１を起動する。次に、ワードがアクチブ（起動され、使用可能な状態にあること）であるか否かをＯＳ１０９により管理されているシステム情報に基づき判定する。ワードがアクチブではない場合には、エディタ１１３が起動され、音声認識結果の出力先に設定された後（ステップＳ２１０→Ｓ２１１）、手順がステップＳ２２０に進む。
【００９５】
一方、ワードがアクチブの場合には手順はステップＳ２１０→Ｓ２２０へと進み、ステップＳ２２０〜Ｓ２４０の間で、ユーザが行ったアイコン１のボタン２の操作が上述の第１〜第３の操作モードのずれかの識別を行う。ユーザが予め設定した操作モードに対応したボタン２の操作を行ったことが、ステップＳ２２０〜Ｓ２４０の間で検出されると、その操作モード毎にスイッチフラグがオン／オフされる。（ステップＳ２２１，Ｓ２３１，Ｓ２４１、詳細は図９〜図１１）。スイッチフラグはオンの場合、マイクロホン１０３の入力音声をＣＰＵ１００に転送することが許可されていることを示し、オフの場合、入力音声の転送が禁止されていることを示す。
【００９６】
なお、音声入力機能がオンの間はキーボード入力機能はオフされ、音声入力機能がオフの間はキーボード入力機能がオンされる。
【００９７】
マイクロホン１０２から入力があったことをＩ／Ｏ１０２が検出すると、割り込み信号がＣＰＵ１００に対して送られ、ＣＰＵ１００は割り込み処理により上記スイッチフラグを参照して入力音声のＣＰＵ１への入力、キーボードからの文字入力の要否を決定する（ステップＳ２５０）。これにより、アイコン１のボタン２の操作に応じて、音声入力機能のオン／オフを制御することができる。
【００９８】
ＣＰＵ１００に取り込まれた入力音声は、システムメモリ１０１内の特定領域に入力音声（デジタルデータ）を書き込むことで、音声認識プログラムに入力音声を引き渡す。
【００９９】
ＣＰＵ１００は音声認識プログラムを実行し、音声認識結果をシステムメモリの特定領域に書き込むことでＦＥＰ１１４に引き渡す。マルチタスクによりＣＰＵ１００がＦＥＰ１１４を実行すると、ＣＰＵ１０１は音声認識の結果を文字処理、この場合には、同音異議語の選択や誤認識結果の訂正を行って、文字処理結果をエディタ１１３またはワードに引き渡す。これにより、表示画面の文書編集画面には音声で入力された単語が可視表示される。
【０１００】
音声認識処理、ＦＥＰ処理は従来と同様とすることができるので、詳細な説明を省略する。
【０１０１】
アイコン１のボタン２により音声入力が指示されている間は、ステップＳ２６０→Ｓ２２０の間のループ処利が繰り返されて、入力された音声が、音声認識プログラムに引き渡される。
【０１０２】
ユーザがアイコン１のボタン２の操作で音声入力の中止を指示すると、操作モードに対応したボタン２のオン／オフ判定処理（Ｓ２２１，２３１，２４１、詳細は図９〜図１１）でスイッチフラグがオフに設定されるので、文字の入力モードが音声入力モードからキーボード入力モードに切換えられる。
【０１０３】
以上説明した音声入力用のＧＵＩを実現するための個々のＧＵＩは従来から知られているＧＵＩ、すなわち、ボタン、メニュー、アイコン等などのＧＵＩを使用することができる。しかしながら、本実施形態の音声入力ＧＵＩは上述の周知のＧＵＩの組み合わせ方および用途が従来にはないものである。
【０１０４】
以上、述べた実施形態は、本発明を説明するための一実施形態であり、特許請求の範囲に記載された技術思想にしたがって、上述の実施形態に対する変形、設計変更が可能であるが、変更されたＧＵＩ，その表示方法および記録媒体はいずれも特許請求の範囲で規定される特許権の範囲内にある。上述の実施形態の他にたとえば、次の実施形態を実施できる。
【０１０５】
１）上述の実施形態のアイコン１の形状は図１の表示例に限定することなく、ユーザあるいはデベロッパーが自由に決定すればよい。
【０１０６】
２）上述の実施形態では、アイコン１のボタン２の操作で、特定のエディタを起動したが、ユーザが任意のアプリケーションを指定することができる。この場合には図４のウィンドウ画面７内に、アプリケーションのパス（アプリケーションが記憶されている場所）を指定するための周知のＧＵＩを設ければよい。
【０１０７】
３）上述の実施形態では、日本語を処理するＦＥＰとアイコン１をリンクさせる例を示したが、ＦＥＰは日本語に限ることはない。英語他各種の言語のための音声入力機能付きＦＥＰあるいは音声認識プログラムとアイコン１をリンクさせて使用してもよい。
【０１０８】
４）上述の実施形態では、アイコンの表示、消去の制御、ボタンの操作に応じて予め定められたＧＵＩ用のプログラムを起動するための制御をＯＳが実行しているが、ＯＳがこれらの制御機能を有していない場合には、この制御のためのプログラムをＧＵＩ用のプログラムに付加すればよい。
【０１０９】
５）上述の実施形態では、音声入力用ＧＵＩを汎用のパーソナルコンピュータに搭載する例を示したが、情報処理装置はワークステーション、サーバ、携帯用電子端末（電子手帳）各種のプログラム実行可能な情報処理装置とすることができる。
【０１１０】
６）上述の実施形態では、ポインティングデバイスとしてマウスを使用したが、トラックボールなど、表示画面上の指定位置を移動させ、指定位置を確定することの可能なデバイスを使用することができる。
【０１１１】
７）本発明で言う記録媒体とは、ＣＰＵが実行するプログラムを記録しておき、デバイスにより読み取り可能な媒体を言う。記録媒体としては、ＣＤＲＯＭ以外に、ＩＣメモリ、ＨＤ，フロッピーディスク、光磁気ディスク（ＭＯ）など周知の記録媒体を使用することができる。
【０１１２】
また、記録媒体に記録されるプログラムは、プログラムそのもの、圧縮したもの、暗号化したもののいずれでもよく、これらのデータはすべて本発明のプログラムの概念の中に含まれる。
【０１１３】
さらにインターネット、ＬＡＮなどのネットワークあるいは信号線を介して、プログラムを情報処理装置に転送（ダウンロード）する場合には、転送元の装置の上記プログラムを記憶する記録媒体または記憶デバイスが本発明の記録媒体に該当する。
【０１１４】
８）上述の実施形態では、入力した音声を音声認識する例であったが、入力音声を他の目的で使用することもできる。たとえば、インターネット電話、テレビ会議、録音再生等のアプリケーションとアイコン１を関連付け（リンクさせ）、アイコン１のボタン２の操作で入力音声を各種のアプリケーションプログラムに引き渡すことができる。この場合、キーボード入力と音声入力を切換え制御する必要はないが、この切り替え制御を行ったほうが、キーの打鍵の音により、マイクロホンに雑音が混入することを避けることができる。
【０１１５】
９）アイコン１はマウス１１５の操作で表示画面の任意の位置に移動可能にすればよい。
【０１１６】
１０）アイコン１は消去可能であるので、別のアプリケーションからの指示で再表示可能とするとよい。たとえば、ＦＥＰのためのＧＵＩからアイコン１を表示させてもよい。
【０１１７】
【発明の効果】
以上、説明したように、本発明によれば、表示画面に表示されたアイコン中の第１のボタンを操作するだけで音声入力機能をオン／オフすることができる。これにより、従来のように複数の文字やアイコンが混在するアプレット中で音声入力モードの切り替えを指示する必要がなくなる。また、操作も容易となり、誤操作もなくなる。さらに、このアイコンの中にアイコンの動作条件を設定するウィンドウを表示させるボタンを含ませることで、ユーザは必要に応じて、アイコンの表示を消去したり、第１のボタンの操作方法を規定したり、アイコン開始タイミング、アイコン表示を設定することができる。
【図面の簡単な説明】
【図１】本発明実施形態の初期表示画面を示す説明図である。
【図２】音声入力用アプレットおよびエディタの編集用画面を示す説明図である。
【図３】アイコン１に関連するメニュー画面を示す説明図である。
【図４】アイコン１に関するプロパティを示す説明図である。
【図５】本発明を適用した情報処理装置のシステム構成を示すブロック図である。
【図６】本発明実施形態の処理手順を示すフローチャートである。
【図７】本発明実施形態の処理手順を示すフローチャートである。
【図８】本発明実施形態の処理手順を示すフローチャートである。
【図９】本発明実施形態の処理手順を示すフローチャートである。
【図１０】本発明実施形態の処理手順を示すフローチャートである。
【図１１】本発明実施形態の処理手順を示すフローチャートである。
【符号の説明】
１ アイコン
２，３、８〜１７ ボタン
４ 文書編集画面
６ メニュー
【発明の属する技術分野】
本発明は、パーソナルコンピュータ等の各種の情報処理装置が実行するアプリケーションプログラムに、ユーザが入力した文字列を引き渡すＦＥＰ（フロント・エンド・プロセッサ）に好適な音声入力用グラフィカル・ユーザ・インターフェース、その処理方法および記録媒体に関する。
【０００２】
【従来の技術】
従来、情報処理装置で実行されているアプリケーションプログラム、たとえば、文書処理プログラムに、キーボードから入力された文字列を引き渡すプログラムが知られている。このプログラムはフロント・エンド・プロセッサ（ＦＥＰ）と呼ばれている。日本語のかな漢字混じり文字を入力を行う場合には、キーボードのキーの操作で読みを入力すると、ＦＥＰは漢字辞書（読みと、読みに対応するかな混じり漢字の単語を記載した辞書）を使用して、読みに対応するかな混じり漢字の単語（以下、単語と略称する）に変換する、変換された単語が、入力の文字列としてとして、アプリケーションプログラムに引き渡される。
【０００３】
このようなＦＥＰに対して音声認識機能を付加し、音声で読みを入力して音声認識し、誤認識結果をキーボードの操作で訂正するようなＦＥＰも提案されてきている。
【０００４】
音声入力および音声認識機能を有するＦＥＰの場合には、マイクロホンから音声を入力するモードと、キーボードから文字を入力するモードの切り替えが必要であり、この切り替えの指示は、表示画面上に表示されたアプレットから行われる。アプレットとは、動作指示用の複数のボタン、メニューを有するグラフィカル・ユーザ・インターフェースのことであり、音声入力ののアプレットの場合（図２の符号５参照）には、録音、再生等を指示する複数のボタンやその他各種の複数のボタンが用意されている。
【０００５】
【発明が解決しようとする課題】
従来、音声入力モードとキーボードからの文字入力モードを切換えるためのグラフィカル・ユーザ・インターフェースは音声入力用のアプレット内に設けられていた。このため、ユーザはアプレットの内の多数のメニューあるいはボタンのグラフィカル・ユーザ・インタフェースの中からキーボード−音声切り替え用のグラフィカル・ユーザ・インターフェースを見つけて、操作しなければならず、操作が煩雑であるという不具合が従来例にはあった。
【０００６】
そこで、本発明の目的は、上述の点を考慮して、音声入力モードのオン／オフの指示の他、この指示に関連する各種の設定が容易な音声入力用グラフィカル・ユーザ・インターフェース、その処理方法および記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
このような目的を解決するために、請求項１の発明は、音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有し、
ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフする第１の手段と、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第２の手段と
を具え、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかである
ことを特徴とする。
【０００８】
請求項２の発明は、請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第１の手段は、前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする。
【０００９】
請求項３の発明は、請求項２に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【００１０】
請求項４の発明は、請求項３に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする。
【００１１】
請求項５の発明は、請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【００１４】
請求項６の発明は、請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【００１５】
請求項７の発明は、請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【００１６】
請求項８の発明は、請求項７に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【００１７】
請求項９の発明は、音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有し、前記音声入力用グラフィカル・ユーザ・インターフェースは、
ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフし、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させ、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかであることを特徴とする。
【００１８】
請求項１０の発明は、請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、音声入力用グラフィカル・ユーザ・インターフェースは前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする。
【００１９】
請求項１１の発明は、請求項１０に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【００２０】
請求項１２の発明は、請求項１１に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする。
【００２１】
請求項１３の発明は、請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【００２４】
請求項１４の発明は、請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【００２５】
請求項１５の発明は、請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【００２６】
請求項１６の発明は、請求項１５に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【００２７】
請求項１７の発明は、音声入力機能を有する情報処理装置により読み出され、実行されるプログラムであって、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのためのプログラムを記録した記録媒体において、前記プログラムは、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有する状態において、ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフする第１のステップと、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第２のステップと
を具え、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかであることを特徴とする。
【００２８】
請求項１８の発明は、請求項１７に記載の記録媒体において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第１のステップにより前記音声入力機能をオンした場合には、入力された音声が音声認識機能に引き渡され、前記キーボードからの文字入力機能がオフされることを特徴とする。
【００２９】
請求項１９の発明は、請求項１８に記載の記録媒体において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする。
【００３０】
請求項２０の発明は、請求項１９に記載の記録媒体において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする記録媒体。
【００３１】
請求項２１の発明は、請求項１７に記載の記録媒体において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする。
【００３４】
請求項２２の発明は、請求項１７に記載の記録媒体において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする。
【００３５】
請求項２３の発明は、請求項１７に記載の記録媒体において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする。
【００３６】
請求項２４の発明は、請求項２３に記載の記録媒体において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする。
【００３７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００３８】
図１は、本発明実施形態の音声入力用グラフィカル・ユーザ・インターフェース（以下、ＧＵＩと略記する）のためのアイコンの表示の一例を示す。
【００３９】
図１において、アイコン１が音声入力用のＧＵＩである。アイコン１は音声入力モードとキーボードからの文字入力モード（キーボード入力モードと略記する）の切換えを行うためのボタン２と音声入力に関わる動作条件を設定するサブウィンドウ画面を表示されるボタン３を有する。ボタン１をマウスのようなポインティングデバイスで操作すると、マイクロホンからの音声入力が可能となる音声入力モードが設定される。
【００４０】
このモード設定に応じて、たとえば、エディタと呼ばれる簡易文書編集用ソフトウェアと文字認識機能付きＦＥＰが起動する。
【００４１】
エディタの起動に応じて図２の文書編集用のウィンドウ画面４が表示され、上記ＦＥＰの起動に応じて、図２の音声入力用のアプレット５が表示される。マイクロホンから入力された音声が、上記ＦＥＰ文字認識機能により音声認識され、音声認識結果が文書編集用ウィンドウ４内に表示される。
【００４２】
ユーザが音声をマイクロホンから入力したい場合には、ユーザはマウスカーソルをアイコン１のボタン２の位置に移動し、左クリックボタンを操作する。本実施形態ではボタン２の操作方法としては３種類が用意されており、ユーザは所望の操作方法を後述のプロパティ画面で選択することができる。
【００４３】
ユーザが音声入力を中止し、キーボードから文字を入力したい場合は、アイコン１のボタン２の操作を中止すればよい。
【００４４】
ボタン１が操作されないデフォルト状態ではキーボードからの文字入力が可能となるモードが自動的に設定される。キーボードからの文字入力モードが設定されると、上記エディタや他の文書処理用のワープロソフトの実行時に、従来と同様、キーボードから入力された読みを示す文字列がＦＥＰによりかな混じり漢字文字列に変換されて文書編集用ソフトに引き渡される。
【００４５】
ボタン３は音声入力モードおよびキーボード入力モードのいずれにおいても操作可能であり、ボタン３を操作している間、より正確にはユーザが、マウスカーソルをボタン３（逆三角形の図形）内に位置させて、マウスの左クリックボタンを押下している間、図３のメニュー画面が表示される。メニュー画面にはプロパティ、バージョン情報を表示させるためのメニューおよびその他のメニューが用意されている。
【００４６】
ちなみに「閉じる」の表記を持つメニューは、アイコン１の常時の中止を指示するためのメニューであり、このメニューの選択に応じて、現在、表示画面に表示されているアイコン１が表示画面から消去される。「キャンセル」の表記を持つメニューは、動作指示をキャンセルためのメニューであり、このメニュをユーザが選択すると、メニュー画面６が表示画面から消去される。
【００４７】
ユーザがマウスの左クリックボタンを押したままマウスカーソルをプロパティ用のメニュー（図３のプロパティの表記）にマウスカーソルをあわせるとこのメニュー部分がハイライト（白黒反転すること）される。この状態において、ユーザがマウスの左クリックボタンの押下を止めると図４に示すようなサブウィンドウ７が表示される。
【００４８】
サブウィンドウ７は、アイコン１に関連する動作条件を設定するための画面である。ボタン８およびボタン９はオンの状態をレ記号で表し、オフの状態がレ記号がない状態で表す。ボタン８，９はユーザがそのボタンの位置にマウスカーソルを移動し、マウスの左ボタンを１回押下すると、現在の設定モード（オン／オフ）が逆のモード（オフ／オン）に切換えられる。
【００４９】
ボタン９〜１５も各ボタンに割り当てられた設定モードのオン／オフがボタンの操作ごとに切換えられる。オンの場合には・記号が表示され、オフの場合には・記号が表示されない。
【００５０】
ボタン８，９はアイコン１の表示開始タイミングを選択するためのボタンである。
【００５１】
ボタン８によりウィンドウの起動時にアイコン１を表示するか（オン）否か（オフ）が設定される。オンに設定されると、情報処理装置に電源が投入され、オペレーティングシステム（ＯＳ）が起動したときに、アイコン１が表示される。
【００５２】
ボタン９によりアイコン１を音声入力用アプレット５（図２参照）の起動時に表示するか否か設定される。オンに設定されると、音声入力アプレット５が起動され、かつ、表示画面上にアイコン１が表示されていない場合には、アイコン１が表示される。
【００５３】
ボタン１０〜１２はアイコン１のボタン２の操作方法を選択するためのボタンである。これらのボタン１０〜１２のいずれか１つだけがオン可能である。ボタン１０をオンすると、マウスポインタをアイコン１のボタン２の範囲内に置いている間は音声入力が可能となる。
【００５４】
ボタン１２をオンすると、マウスカーソルをアイコン１のボタン２に置いた状態で、マウスの左クリックボタンをクリック（押下）したままの状態の間だけ音声入力が可能となる。
【００５５】
ボタン１２をオンするとマウスカーソルをアイコン１のボタン２に置いた状態で、マウスの左クリックボタンをユーザが１回クリックすると、音声入力が可能となり、音声入力可能状態で左クリックボタンをユーザがクリックすると、音声入力不可の状態となる。したがって、左クリックボタンの毎に音声入力機能のオン／オフが切り換わる。
【００５６】
ボタン１３〜１５はアイコン１の大きさを選択するためのボタンである。アイコン１は大中小の３種類のいずれか１つをボタン１３〜１５により選択することができる。
【００５７】
ボタン１６はウィンドウ７内の現在、表示されている設定状態をハードディスクに保存して、ウィンドウ７を閉じるように指示するボタンである。
【００５８】
ボタ８〜ボタン１５のオンオフ状態はフラグの形態で、ハードディスクに記憶され、アイコン１の操作が行われた時点や他の時点で参照される。ボタン１７はウィンドウ７内の現在、表示されている設定状態を保存せず、ウィンドウ７を閉じるように指示するボタンである。
【００５９】
以上、説明したプロパティ表示用ウィンドウ７を使用してユーザはアイコン１の動作環境（音声入力用ＧＵＩの動作条件）を任意の時点で設定することができる。
【００６０】
このような音声入力用ＧＵＩを使用使用する情報処理装置のシステム構成の一例を図５を参照して説明する。本実施形態では、ＯＳとしてウィンドウズ９８（マイクロソフト社の商標）を搭載した汎用のパーソナルコンピュータについて説明する。
【００６１】
図５において、１００はＣＰＵであり、システムメモリ１０１にロードされたプログラムを実行する。システムメモリ１０１はＣＰＵ１００の実行するプログラムで必要な入力データ、プログラムの実行結果等各種のデータを保存する。また、システムメモリ１０１はディスプレイ１０７に表示するデータや、キーボード１０６やマイクロホン１０３から入力されたデータを一時記憶する。
【００６２】
１０３は入出力インターフェース（Ｉ／Ｏ）であり、マイクロホン１０３から入力された音声信号をアナログからデジタルに変換する。１０４はＣＤＲＯＭドライブであり、装着されたＣＤＲＯＭからデータを読み取る。本実施形態では、音声認識機能付きＦＥＰおよび音声入力用ＧＵＩ（アイコン１の操作で動作するプログラム）を実現するためのプログラムおよび関連のデータをＣＤＲＯＭから読み取る。読み取られたプログラムおよび関連のデータは後述のハードディスク記憶装置（ＨＤ）１０８にインストールされる。
【００６３】
１０６はキーボードであり、文字に対応するキーを押下することで、文字を入力する。１０７はディスプレイであり、キーボード１０６またはマイクロホンから入力された文字入力された文字や、ＣＰＵ１００の演算結果を可視表示する。１１５はディスプレイ１０７の表示画面上に表示されたポインタ（カーソル図形）を移動させ、また、その位置を確定のために指示することの可能なポインティングデバイスであり、本実施形態では、マウスを使用する。上記ポインタの移動はマウス１１５自身をユーザが移動し、ポインタの位置の確定は左クリックボタンで行われる。
【００６４】
１０８はＨＤである。ＨＤ１０８には以下に述べるプログラム、データが保存目的で記憶ｋされている。
【００６５】
１０９はパーソナルコンピュータおよび周辺機器を制御するためのＯＳであり、本実施形態では上述のウィンドウズ９８が使用される。１１０は、設定データであり、図４のプロパティ画面でボタン８〜１５により設定された情報がコンテキスト（データの集合、データセットとも呼ばれる）の形態で記憶される。
【００６６】
１１１は音声認識用プログラムであり、マイクロホン１０３から入力された音声を音声認識し、音声認識結果として文字列（文字コード）を出力する。音声認識プログラムは周知のもの、たとえば、隠れマルコフモデルを使用した音声認識プログラムを使用することができる。
【００６７】
１１２は音声入力用のＧＵＩを実現するプログラムである。このプログラムの内容については後で詳細に説明する。
【００６８】
１１３はアイコン１のボタン２が最初に操作された時に初期的に表示されるエディタである。１１４はキーボード１０６から入力された読みの文字列をかな漢字混じり文字列（かなのみの文字列、漢字のみの文字列、１文字を含む）に変換するＦＥＰである。
【００６９】
その他、ＨＤには各種のアプリケーションプログラムが搭載されている。また、図１のアイコン１を表示するためのイメージデータも音声入力用ＧＵＩ関連データとして記憶されている。
【００７０】
このようなシステム構成において実行される音声入力用ＧＵＩの動作を図６〜図１１のフローチャートを参照して説明する。
【００７１】
図６はＯＳ１０９により実行するＣＰＵ１００の処理利内容を示す。図７は音声入力用ＧＵＩのプログラム１１２の動作条件設定処理手順を示す。
【００７２】
図８は音声入力用ＧＵＩにより音声認識プログラムを起動する時のＣＰＵ１００の処理内容を示す。図９〜図１１はアイコン１がポインティングデバイス１１５により操作された時のＣＰＵ１００の処理内容を示す。なお、音声入力用ＧＵＩのプログラム１１２をインストールした際にはデフォルトで、アイコン１はＯＳ１０９の起動時に表示される設定となっているものとする。
【００７３】
（動作条件の設定）
ユーザがパーソナルコンピュータの電源を投入するとＯＳ１０９による初期処理において図６の処理手順が実行される。すなわち、ＣＰＵ１０はブート処理を実行した後、図４の動作条件に関する設定情報（ボタン８による設定情報）を参照し、ＯＳの起動時にアイコン１を表示するか否かを判定する（ステップＳ２０）。
【００７４】
この例の場合にはボタン８の設定はオンになっているので、ＣＰＵ１は従来のアイコン表示と同様、アイコン１のイメージ（オブジェクト）をその表示位置情報（ＨＤ１０８またはシステムメモリ１０１にインストール時にデフォルトのデータが記憶）の示す表示位置に表示させる。また、インストール時に自動設定されたアイコン１の大きさとなるようアイコン１のイメージが作成される（ステップＳ３０）。
【００７５】
ＣＰＵ１００は続いて、電源起動時の従来の初期処理を行う（ステップＳ４０）。ボタン８による設定がオフの場合には手順はステップＳ２０→Ｓ４０へと進むので、アイコン１の表示は行われない。
【００７６】
初期処理の終了後、ユーザはワードを起動した後、表示画面中のアイコン１のボタン３(図１参照)にマウスポインタを置き、マウス１１５の左クリックボタンをクリックし、押下したままの状態を続ける。左クリックボタンの押下に応じて、マウスイベントが発生し、ＯＳがマウスの押下を検知する。この検知に応じて、図７の処理手順がＣＰＵ１００により実行される。
【００７７】
ＣＰＵ１００はマウスポインタの位置を示す座標値を取得し、マウスポインタの位置がアイコン１の中にあるか否かを判定する。この場合、判定はＹＥＳが得られるので、手順はステップＳ１００→Ｓ１１０へと進む。続いてボタン２の操作の有無の判定、ボタン３の操作の有無の判定が行われる(ステップＳ１１０→Ｓ１２０)。
【００７８】
ステップＳ１２０の判定において、ボタン３の操作が行われたことが検出されて、ＣＰＵ１００は図３のプルダウンメニュー用のサブウィンドウ６を表示させる(ステップＳ１２０→Ｓ１２１)。
【００７９】
ユーザはマウス１１５の左クリックボタンを押した状態でマウスポインタを「プロパティ」メニューにおき、次に左クリックボタンの押下を中止する。ＣＰＵ１００は従来と同様マウスポインタの位置と、左クリックボタン操作の種類の識別により「プロパティ」メニューが選択されたことを検知して、図４の動作条件設定用のウィンドウを表示させる(ステップＳ１２２)。
【００８０】
ユーザは図４のウィンドウ４で所望のボタンをマウス１１５により操作してアイコン１の動作条件を設定する。最後にユーザはＯＫボタン１６を操作すると、現在のボタン８〜１５の設定状態がＨＤ１０８の記憶領域１１０に更新的に記憶される(ステップＳ１２３)。
【００８１】
なお、プルダウンメニューで他のメニューがユーザに選択された場合は、そのメニューに対応した処理が実行されるが、本発明とは関係がないので、その詳細な説明を省略する。
【００８２】
以上でアイコン１の動作条件の設定が終了する。
【００８３】
（音声入力）。
【００８４】
音声入力機能のユーザの使用法としては、次の２種類がある。
【００８５】
（ａ）アプリケーションを起動しない状態でユーザはアイコン１のボタン２を操作し、簡易エディタを自動起動させて音声で文字を入力する。簡易エディタにより作成された文書をメモ帳または備忘録として使用するときに（ａ）の方法が好適である。
【００８６】
（ｂ）アプリケーションでの文字入力のために音声入力を使用する。この場合、ユーザは先にアプリケーションを起動し、その後で、アイコン１のボタン２を操作する。本実施形態では、ワード（マイクロソフト社の商標）のようなワープロソフトを例に説明する。
【００８７】
ユーザがマウスポインタをアイコン１のボタン２に置いて、予め図４のボタン１０〜１２のいずれかで設定した方法で、音声入力機能をオンさせる。この操作によりマウスイベントが発生し、図７の処理手順がＣＰＵ１００において実行される。
【００８８】
ボタン２の操作はステップＳ１１０において検出される。より具体的は、ＣＰＵ１００はステップＳ１１０において、マウスポインタの位置が、ボタン２の中であることおよびボタン１０〜１２のいずれかにより指示されたボタン２の操作方法であることを確認すると、手順をステップＳ１１１へと進め、音声入力機能を起動する。ステップＳ１１１の詳細は図８を使用して説明する。
【００８９】
ボタン１０による設定の場合（第１の操作モードと略記する）、すなわち、マウスポインタがボタン２に置かれている間を検知する場合には、ＣＰＵ１００は、マウスポインタの位置がボタン２内にあることを検知すればよい。この処理手順を図９に示す。
【００９０】
ボタン１１による設定の場合（第２の操作モードと略記する）、すなわち、左クリックボタンによりボタン２を押している間を検知する場合には、ＣＰＵ１００はマウスポインタの位置がボタン２内にあることおよびマウス１１５の左クリックボタンが押下状態にあることの２つの条件を満足するか否かの判定を行えばよい。この処理手順を図１０に示す。
【００９１】
ボタン１２による設定の場合（第３の操作モード）、すなわち、ボタン２をトグルスウィッチとして使用する場合には、マウス１１５の左クリックボタンが押下される毎に、フラグ情報のオン／オフを判定させる。フラグ情報がオンの場合には音声入力許可、オフの場合には音声入力禁止とする。この処理手順を図１１に示す。
【００９２】
マウスポインタがアイコン１の外に置かれている場合は手順は、ステップＳ１００→Ｓ１０１へと進み、従来から知られている、マウスポインタの移動処理や、他のアイコンの起動処理等が行われる。
【００９３】
ステップＳ１１１の詳細を図８に示す。
【００９４】
図８において、ＣＰＵ１はＨＤ１０８上の音声認識プログラム１１１を起動する。次に、ワードがアクチブ（起動され、使用可能な状態にあること）であるか否かをＯＳ１０９により管理されているシステム情報に基づき判定する。ワードがアクチブではない場合には、エディタ１１３が起動され、音声認識結果の出力先に設定された後（ステップＳ２１０→Ｓ２１１）、手順がステップＳ２２０に進む。
【００９５】
一方、ワードがアクチブの場合には手順はステップＳ２１０→Ｓ２２０へと進み、ステップＳ２２０〜Ｓ２４０の間で、ユーザが行ったアイコン１のボタン２の操作が上述の第１〜第３の操作モードのずれかの識別を行う。ユーザが予め設定した操作モードに対応したボタン２の操作を行ったことが、ステップＳ２２０〜Ｓ２４０の間で検出されると、その操作モード毎にスイッチフラグがオン／オフされる。（ステップＳ２２１，Ｓ２３１，Ｓ２４１、詳細は図９〜図１１）。スイッチフラグはオンの場合、マイクロホン１０３の入力音声をＣＰＵ１００に転送することが許可されていることを示し、オフの場合、入力音声の転送が禁止されていることを示す。
【００９６】
なお、音声入力機能がオンの間はキーボード入力機能はオフされ、音声入力機能がオフの間はキーボード入力機能がオンされる。
【００９７】
マイクロホン１０２から入力があったことをＩ／Ｏ１０２が検出すると、割り込み信号がＣＰＵ１００に対して送られ、ＣＰＵ１００は割り込み処理により上記スイッチフラグを参照して入力音声のＣＰＵ１への入力、キーボードからの文字入力の要否を決定する（ステップＳ２５０）。これにより、アイコン１のボタン２の操作に応じて、音声入力機能のオン／オフを制御することができる。
【００９８】
ＣＰＵ１００に取り込まれた入力音声は、システムメモリ１０１内の特定領域に入力音声（デジタルデータ）を書き込むことで、音声認識プログラムに入力音声を引き渡す。
【００９９】
ＣＰＵ１００は音声認識プログラムを実行し、音声認識結果をシステムメモリの特定領域に書き込むことでＦＥＰ１１４に引き渡す。マルチタスクによりＣＰＵ１００がＦＥＰ１１４を実行すると、ＣＰＵ１０１は音声認識の結果を文字処理、この場合には、同音異議語の選択や誤認識結果の訂正を行って、文字処理結果をエディタ１１３またはワードに引き渡す。これにより、表示画面の文書編集画面には音声で入力された単語が可視表示される。
【０１００】
音声認識処理、ＦＥＰ処理は従来と同様とすることができるので、詳細な説明を省略する。
【０１０１】
アイコン１のボタン２により音声入力が指示されている間は、ステップＳ２６０→Ｓ２２０の間のループ処利が繰り返されて、入力された音声が、音声認識プログラムに引き渡される。
【０１０２】
ユーザがアイコン１のボタン２の操作で音声入力の中止を指示すると、操作モードに対応したボタン２のオン／オフ判定処理（Ｓ２２１，２３１，２４１、詳細は図９〜図１１）でスイッチフラグがオフに設定されるので、文字の入力モードが音声入力モードからキーボード入力モードに切換えられる。
【０１０３】
以上説明した音声入力用のＧＵＩを実現するための個々のＧＵＩは従来から知られているＧＵＩ、すなわち、ボタン、メニュー、アイコン等などのＧＵＩを使用することができる。しかしながら、本実施形態の音声入力ＧＵＩは上述の周知のＧＵＩの組み合わせ方および用途が従来にはないものである。
【０１０４】
以上、述べた実施形態は、本発明を説明するための一実施形態であり、特許請求の範囲に記載された技術思想にしたがって、上述の実施形態に対する変形、設計変更が可能であるが、変更されたＧＵＩ，その表示方法および記録媒体はいずれも特許請求の範囲で規定される特許権の範囲内にある。上述の実施形態の他にたとえば、次の実施形態を実施できる。
【０１０５】
１）上述の実施形態のアイコン１の形状は図１の表示例に限定することなく、ユーザあるいはデベロッパーが自由に決定すればよい。
【０１０６】
２）上述の実施形態では、アイコン１のボタン２の操作で、特定のエディタを起動したが、ユーザが任意のアプリケーションを指定することができる。この場合には図４のウィンドウ画面７内に、アプリケーションのパス（アプリケーションが記憶されている場所）を指定するための周知のＧＵＩを設ければよい。
【０１０７】
３）上述の実施形態では、日本語を処理するＦＥＰとアイコン１をリンクさせる例を示したが、ＦＥＰは日本語に限ることはない。英語他各種の言語のための音声入力機能付きＦＥＰあるいは音声認識プログラムとアイコン１をリンクさせて使用してもよい。
【０１０８】
４）上述の実施形態では、アイコンの表示、消去の制御、ボタンの操作に応じて予め定められたＧＵＩ用のプログラムを起動するための制御をＯＳが実行しているが、ＯＳがこれらの制御機能を有していない場合には、この制御のためのプログラムをＧＵＩ用のプログラムに付加すればよい。
【０１０９】
５）上述の実施形態では、音声入力用ＧＵＩを汎用のパーソナルコンピュータに搭載する例を示したが、情報処理装置はワークステーション、サーバ、携帯用電子端末（電子手帳）各種のプログラム実行可能な情報処理装置とすることができる。
【０１１０】
６）上述の実施形態では、ポインティングデバイスとしてマウスを使用したが、トラックボールなど、表示画面上の指定位置を移動させ、指定位置を確定することの可能なデバイスを使用することができる。
【０１１１】
７）本発明で言う記録媒体とは、ＣＰＵが実行するプログラムを記録しておき、デバイスにより読み取り可能な媒体を言う。記録媒体としては、ＣＤＲＯＭ以外に、ＩＣメモリ、ＨＤ，フロッピーディスク、光磁気ディスク（ＭＯ）など周知の記録媒体を使用することができる。
【０１１２】
また、記録媒体に記録されるプログラムは、プログラムそのもの、圧縮したもの、暗号化したもののいずれでもよく、これらのデータはすべて本発明のプログラムの概念の中に含まれる。
【０１１３】
さらにインターネット、ＬＡＮなどのネットワークあるいは信号線を介して、プログラムを情報処理装置に転送（ダウンロード）する場合には、転送元の装置の上記プログラムを記憶する記録媒体または記憶デバイスが本発明の記録媒体に該当する。
【０１１４】
８）上述の実施形態では、入力した音声を音声認識する例であったが、入力音声を他の目的で使用することもできる。たとえば、インターネット電話、テレビ会議、録音再生等のアプリケーションとアイコン１を関連付け（リンクさせ）、アイコン１のボタン２の操作で入力音声を各種のアプリケーションプログラムに引き渡すことができる。この場合、キーボード入力と音声入力を切換え制御する必要はないが、この切り替え制御を行ったほうが、キーの打鍵の音により、マイクロホンに雑音が混入することを避けることができる。
【０１１５】
９）アイコン１はマウス１１５の操作で表示画面の任意の位置に移動可能にすればよい。
【０１１６】
１０）アイコン１は消去可能であるので、別のアプリケーションからの指示で再表示可能とするとよい。たとえば、ＦＥＰのためのＧＵＩからアイコン１を表示させてもよい。
【０１１７】
【発明の効果】
以上、説明したように、本発明によれば、表示画面に表示されたアイコン中の第１のボタンを操作するだけで音声入力機能をオン／オフすることができる。これにより、従来のように複数の文字やアイコンが混在するアプレット中で音声入力モードの切り替えを指示する必要がなくなる。また、操作も容易となり、誤操作もなくなる。さらに、このアイコンの中にアイコンの動作条件を設定するウィンドウを表示させるボタンを含ませることで、ユーザは必要に応じて、アイコンの表示を消去したり、第１のボタンの操作方法を規定したり、アイコン開始タイミング、アイコン表示を設定することができる。
【図面の簡単な説明】
【図１】本発明実施形態の初期表示画面を示す説明図である。
【図２】音声入力用アプレットおよびエディタの編集用画面を示す説明図である。
【図３】アイコン１に関連するメニュー画面を示す説明図である。
【図４】アイコン１に関するプロパティを示す説明図である。
【図５】本発明を適用した情報処理装置のシステム構成を示すブロック図である。
【図６】本発明実施形態の処理手順を示すフローチャートである。
【図７】本発明実施形態の処理手順を示すフローチャートである。
【図８】本発明実施形態の処理手順を示すフローチャートである。
【図９】本発明実施形態の処理手順を示すフローチャートである。
【図１０】本発明実施形態の処理手順を示すフローチャートである。
【図１１】本発明実施形態の処理手順を示すフローチャートである。
【符号の説明】
１ アイコン
２，３、８〜１７ ボタン
４ 文書編集画面
６ メニュー
Claims (24)
- 音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有し、
ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフする第１の手段と、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第２の手段と
を具え、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかである
ことを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。 - 請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第１の手段は、前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項２に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項３に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする音声入力用グラフィカル・ユーザ・インターフェース。
- 請求項１に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 請求項７に記載の音声入力用グラフィカル・ユーザ・インターフェースのための表示装置において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースのための表示装置。
- 音声入力機能を有する情報処理装置に搭載され、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有し、前記音声入力用グラフィカル・ユーザ・インターフェースは、
ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフし、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させ、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかであることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。 - 請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、音声入力用グラフィカル・ユーザ・インターフェースは前記音声入力機能をオンした場合には、入力された音声を音声認識機能に引き渡し、前記キーボードからの文字入力機能をオフさせることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項１０に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項１１に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項９に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 請求項１５に記載の音声入力用グラフィカル・ユーザ・インターフェースの処理方法において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする音声入力用グラフィカル・ユーザ・インターフェースの処理方法。
- 音声入力機能を有する情報処理装置により読み出され、実行されるプログラムであって、音声入力機能のオン／オフを制御する音声入力用グラフィカル・ユーザ・インターフェースのためのプログラムを記録した記録媒体において、前記プログラムは、
表示画面上に１つのアイコンが表示され、該アイコンは第１のボタンおよび第２のボタンを有する状態において、ポインティングデバイスによる前記第１のボタンの操作に応じて、前記音声入力機能をオン／オフする第１のステップと、
前記ポインティングデバイスによる第２のボタンの操作に応じて、前記アイコンの動作条件を設定するウィンドウを表示させる第２のステップと
を具え、
前記アイコンの動作条件は前記音声入力機能をオン／オフするための前記第１のボタンの操作内容であり、
前記第１のボタンの操作内容は、前記ポインティングデバイスにより前記第１のボタンの位置が指定されている間だけ前記音声入力機能をオンする第１の操作モード、前記ポインティングデバイスにより前記第１のボタンの位置が指定され、その位置が確定されている間だけ前記音声入力機能をオンする第２の操作モードおよび前記ポインティングデバイスにより前記第１のボタンの位置が指定され、確定の操作毎に前記音声入力機能をオン／オフを切換える第３の操作モードのいずれかであることを特徴とする記録媒体。 - 請求項１７に記載の記録媒体において、前記情報処理装置はキーボードからの文字入力機能と、入力された入力音声の文字認識機能を有し、前記第１のステップにより前記音声入力機能をオンした場合には、入力された音声が音声認識機能に引き渡され、前記キーボードからの文字入力機能がオフされることを特徴とする記録媒体。
- 請求項１８に記載の記録媒体において、前記情報処理装置は入力された文字列を文字処理する機能をさらに有し、該機能により前記文字認識機能により得られる文字列および前記キーボードから入力された文字列を文字処理することを特徴とする記録媒体。
- 請求項１９に記載の記録媒体において、前記情報処理装置は文書編集機能を有し、前記文字処理する機能により文字処理された文字列が文書編集機能に引き渡されることを特徴とする記録媒体。
- 請求項１７に記載の記録媒体において、前記アイコンの動作条件は前記アイコンの前記表示画面への表示開始のタイミングを含むことを特徴とする記録媒体。
- 請求項１７に記載の記録媒体において、前記第１のボタンの操作内容は、前記アイコンの大きさの選択を含むことを特徴とする記録媒体。
- 請求項１７に記載の記録媒体において、前記第２のボタンの操作に応じてプルダウンメニューが表示され、前記ポインティングデバイスによる該プルダウンメニューのメニュー選択に応じて前記アイコンの動作条件を設定するウィンドウが表示されることを特徴とする記録媒体。
- 請求項２３に記載の記録媒体において、前記プルダウンメニューの中には現在のアイコンの表示を消去するメニューが含まれることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19511399A JP4528384B2 (ja) | 1999-07-08 | 1999-07-08 | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19511399A JP4528384B2 (ja) | 1999-07-08 | 1999-07-08 | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001042892A JP2001042892A (ja) | 2001-02-16 |
| JP4528384B2 true JP4528384B2 (ja) | 2010-08-18 |
Family
ID=16335720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19511399A Expired - Lifetime JP4528384B2 (ja) | 1999-07-08 | 1999-07-08 | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4528384B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021002586A1 (ko) * | 2019-07-04 | 2021-01-07 | 주식회사 포시에스 | 다양한 입력 방식 전환을 통한 전자문서 표시 방법 및 장치 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7707501B2 (en) * | 2005-08-10 | 2010-04-27 | International Business Machines Corporation | Visual marker for speech enabled links |
| JP2016181018A (ja) * | 2015-03-23 | 2016-10-13 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5157384A (en) * | 1989-04-28 | 1992-10-20 | International Business Machines Corporation | Advanced user interface |
| US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
| JPH04337831A (ja) * | 1991-05-15 | 1992-11-25 | Fuji Xerox Co Ltd | プログラム起動装置 |
| JPH0612206A (ja) * | 1992-06-29 | 1994-01-21 | Fuji Xerox Co Ltd | 入出力装置 |
| JPH0628145A (ja) * | 1992-07-10 | 1994-02-04 | Canon Inc | アイコン処理方法 |
| JP2560191B2 (ja) * | 1993-03-23 | 1996-12-04 | 株式会社富士通ソーシアルサイエンスラボラトリ | グラフィカルユーザインタフェースを備えたコンピュータシステムの制御方法 |
| JPH0736653A (ja) * | 1993-07-16 | 1995-02-07 | Canon Inc | 情報処理装置 |
| JPH07104962A (ja) * | 1993-10-06 | 1995-04-21 | Toshiba Corp | 対話システム |
| JPH07110751A (ja) * | 1993-10-12 | 1995-04-25 | Toshiba Corp | マルチモーダル装置 |
| JP3586777B2 (ja) * | 1994-08-17 | 2004-11-10 | 富士通株式会社 | 音声入力装置 |
| JP3794509B2 (ja) * | 1994-12-26 | 2006-07-05 | ソニー株式会社 | ３次元パラメータ入力装置、３次元パラメータ入力方法及び画像処理装置 |
| JP3729918B2 (ja) * | 1995-07-19 | 2005-12-21 | 株式会社東芝 | マルチモーダル対話装置及び対話方法 |
| JP3205965B2 (ja) * | 1995-12-28 | 2001-09-04 | 株式会社日立製作所 | データ入力装置および入力方法 |
| JPH10187347A (ja) * | 1996-12-27 | 1998-07-14 | Mitsubishi Electric Corp | 情報処理装置用ポインティングデバイス |
| US6141003A (en) * | 1997-03-18 | 2000-10-31 | Microsoft Corporation | Channel bar user interface for an entertainment system |
| JPH10260773A (ja) * | 1997-03-19 | 1998-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法及びその装置 |
-
1999
- 1999-07-08 JP JP19511399A patent/JP4528384B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021002586A1 (ko) * | 2019-07-04 | 2021-01-07 | 주식회사 포시에스 | 다양한 입력 방식 전환을 통한 전자문서 표시 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001042892A (ja) | 2001-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190147879A1 (en) | Method and apparatus for performing preset operation mode using voice recognition | |
| US8020101B2 (en) | User specified transfer of data between applications | |
| US9442654B2 (en) | Apparatus and method for conditionally enabling or disabling soft buttons | |
| US6499015B2 (en) | Voice interaction method for a computer graphical user interface | |
| US20100293460A1 (en) | Text selection method and system based on gestures | |
| JPH0816313A (ja) | 手書き入力方法及び装置 | |
| JP2010118042A (ja) | ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法 | |
| WO2011088281A1 (en) | Automatically displaying and hiding an on-screen keyboard | |
| WO2011088282A1 (en) | Api to replace a keyboard with custom controls | |
| JP2004152217A (ja) | タッチパネル付き表示装置 | |
| JPH10222337A (ja) | コンピュータシステム | |
| US11669243B2 (en) | Systems and methods for activating and using a trackpad at an electronic device with a touch-sensitive display and no force sensors | |
| WO2018058014A1 (en) | Device, method, and graphical user interface for annotating text | |
| WO2011084157A1 (en) | Apparatus and method for conditionally enabling or disabling soft buttons | |
| US7162685B2 (en) | Key-input correcting device | |
| JPH1165769A (ja) | タッチパネル表示制御方法及びそれを記録した記録媒体 | |
| EP4130960A1 (en) | Ui control generation and trigger methods, and terminal | |
| JP4528384B2 (ja) | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 | |
| JP2001071289A (ja) | 情報処理装置および方法、並びにプログラム格納媒体 | |
| JP2007323346A (ja) | 情報処理装置、および表示方法 | |
| JP2001014103A (ja) | 文字入力装置及び文字入力方法 | |
| JP2004038407A (ja) | 文字入力装置およびその方法 | |
| JP2003140791A (ja) | 情報処理装置及び情報処理装置の制御方法 | |
| JP2000330704A (ja) | 仮想キー式文字入力機能付き電子機器及び仮想キー式文字入力処理方法、及びその記録媒体 | |
| JPH09251368A (ja) | 知的エージェントの構築支援システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060623 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091009 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100112 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100607 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4528384 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |