JP2638119B2 - 音声ウィンドウシステム - Google Patents

Description

【発明の詳細な説明】 〔目 次〕 概要 産業上の利用分野 従来の技術と発明が解決しようとする課題 課題を解決するための手段 作用 実施例 発明の効果 〔概要〕 計算機システム上でのマルチウィンドウシステムにお
いて、音声入力によるウィンドウ間の移動制御を行う音
声ウィンドウシステムに関し、 オペレータがキーボードから手を離すことなく、スム
ーズにウィンドウ間の移動を行わせることを目的とし、 キーボードからのイベントを認識し、該イベント情報
を、ウィンドウの開閉や，位置，大きさの管理を行うウ
ィンドウマネジャーや，アプリケーションに手渡すと共
に、上記ウィンドウマネジャーや、上記アプリケーショ
ンから出力される情報を解釈して、ディスプレイに表示
させるウィンドウシステムを備えたマルチウィンドウシ
ステムにおいて、該ウィンドウをオープンする時には、
マイクからの入力音声と、上記ウィンドウシステムが持
っているウィンドウ識別情報（ID）と，上記キーボード
から入力されるウィンドウタイトルを受け取り、ウィ
ンドウ−音声対応テーブルに登録を行い、該ウィンドウ
間移動時には、上記マイクからの入力音声と、上記ウィ
ンドウ−音声対応テーブル中の音声データとのマッチン
グをとって、マッチした場合、音声イベント信号と，上
記ウィンドウ識別情報（ID）とを出力する音声認識／登
録部と、上記キーボードのイベントを受け取り、キー
入力終了後はある一定時間内，及び、ある一定時間後
は、上記音声認識／登録部からの音声イベント信号の、
上記ウィンドウシステムへの伝達を抑制制御する音声イ
ベント制御部とを備えるように構成する。

〔産業上の利用分野〕

本発明は、計算機システム上でのマルチウィンドウシ
ステムにおいて、音声入力によるウィンドウ間の移動制
御を行う音声ウィンドウシステムに関する。

近年、ワークステーション（WS）と呼ばれ小型で，高
性能の計算機システムがソフトウェアの開発に盛んに用
いられ始めている。

通常、該ワークステーション（WS）は、本体システム
の他に、ビットマップディスプレイや，キーボード（K
B），マウスといった入出力デバイスを備えており、更
に、ソフトウェア的には、マルチウィンドウシステム等
の種々のツールが用意されており、高度なマンマシンイ
ンタフェースを実現している。

上記マルチウィンドウシステムは、種々の情報をウィ
ンドウ毎に、例えば、ディスプレイ（CRT）の画面に同
時に表示できたり、個々のウィンドウの持つ情報の切り
張りができる等の多くの利点がある。

マルチウィンドウシステムが備えている上記の多くの
利点を生かす為には、画面上にウィンドウ単位に表示さ
れている多くの情報を、如何にして効率良く選択し、利
用することができるかが重要な問題となる。

このようなことから、ウィンドウ間の移動を効率良く
行うこと、特に、キーボード（KB）から情報を入力して
いる場合には、該キーボード操作に影響を与えることな
く、該ウィンドウ間の移動処理ができることが必要とさ
れる。

〔従来の技術と発明が解決しようとする課題〕

第３図は従来のウィンドウシステムを説明する図であ
って、（ａ）は従来のウィンドウシステムの構成例を示
し、（ｂ）は従来のウィンドウ間移動時の処理フローを
示している。

先ず、従来のウィンドウシステム50は、マウス12や，
キーボード（KB）３からの入力イベントを理解し、ウィ
ンドウマネジャー６や，アプリケーション７に該イベン
ト情報を手渡す。

又、該ウィンドウシステム50は、上記ウィンドウマネ
ジャー６や，アプリケーション７からの出力を解釈し
て、例えば、ディスプレイ（CRT）１に表示する。

該ウィンドウマネジャー50は、ウィンドウの開閉，位
置，大きさの管理を行うものであり、アプリケーション
７は該ウィンドウシステムを利用したアプリケーション
プログラムであって、特定のウィンドウにおいて、コー
ド情報を表示する従来の端末をエミュレートする端末エ
ミュレータや，グラフィックプログラム等のことを指し
ている。

上記ウィンドウシステム50,ウィンドウマネジャー6,
アプリケーション７の相互の関係は、マルチウィンドウ
システムの実現方法によって異なる。

例えば、該ウィンドウシステム50や，ウィンドウマネ
ジャー６をオペレーティングシステム（OS）の本体に組
み込んで実現しているシステムもあれば、個々の要素を
全く、該オペレーティングシステム（OS）から切り離
し、それぞれ、１つのプロセスとして実現しているシス
テムも存在する。

このように、実現方法は様々であるが、その基本的な
構成は、本図（ａ）に示したものとなっている。

複数個のウィンドウが、例えば、ディスプレイ（CR
T）１の画面上に表示されている場合、現在マウスカー
ソルがあるウィンドウが有効で、そのウィンドウに対し
てのみ、キーボード（KB）３からの入力が受付られる。

その為、他のウィンドウに移る場合には、該マウス12
を移りたいウィンドウの中に移動させる必要がある。

（ｂ）図は従来のウィンドウ移動間の処理フローを示
しており、上記ウィンドウシステム50の内部処理の一部
である。

該従来のウィンドウシステム50が、例えば、キーボー
ド（KB）３から特定のコマンドを投入することで起動さ
れると、先ず、その初期化処理71において、各種ウィン
ドウ制御に関係するデバイス（例えば、マウス12）や，
プログラムの初期化が行われる。

次に、キーボード（KB）３からの入力を監視するキー
ボードイベント監視部72や，マウス12からの入力を監視
するマウスイベント監視部74の処理が図示されている如
くに、無限ループの中で行われる。

即ち、キーボード（KB）３からの入力があった場合に
は、キーボードイベント監視部72は、キーボード（KB）
３から入力される情報をウィンドウ制御部76に伝える。
該ウィンドウ制御部76は該キーボード（KB）３からの入
力を現在有効となっているウィンドウへの入力として取
り扱い、アプリケーションプログラム７等に引き渡す。

又、マウス12から入力があった場合には、マウスイベ
ント監視部74が、該マウス12から入力される情報（位置
情報や，ボタンクリック情報）をウィンドウ制御部76に
伝える。ウィンドウ制御部76は位置情報や，ボタンクリ
ック情報を受け取り、その情報に基づいて、キーボード
（KB）３からの入力を、各ウィンドウに振り分けたり、
ウィンドウマネジャー６に情報を渡したりする。

このように動作する従来のマルチウィンドウシステム
では、現在使用しているウィンドウから、別なウィンド
ウにカーソル移動し、作業を行いたい場合、オペレータ
はキーボード（KB）３から一旦手を離して、マウス12を
操作し、希望のウィンドウにマウスカーソルを移動し
て、有効なウィンドウの切り換えを行っていた為、キー
ボード（KB）３のホームポジションから手を離さなけれ
ばならず、キー入力の中断や，思考の中断を余儀無くさ
れるという問題を生じていた。

本発明は上記従来の欠点に鑑み、計算機システム上で
のマルチウィンドウシステムにおいて、オペレータがキ
ーボード（KB）から手を離すことなく、スムーズにウィ
ンドウ間の移動を行わせる音声ウィンドウシステムを提
供することを目的とするものである。

〔課題を解決するための手段〕

第１図は本発明の音声ウィンドウシステムの原理構成
図である。

上記の問題点は下記の如くに構成された音声ウィンド
ウシステムによって解決される。

キーボードインタフェース４を通して入力されるキー
ボード３からのイベントを認識し、該イベント情報を、
ウィンドウの開閉や，位置，大きさの管理を行うウィン
ドウマネジャー６や，ウィンドウシステム５を利用した
アプリケーション７に手渡すと共に、 上記ウィンドウマネジャー６や、上記アプリケーショ
ン７から出力される情報を解釈して、例えば、CRTイン
タフェース２を介して、ディスプレイ（CRT）１に表示
させるウィンドウシステム５を備えたマルチウィンドウ
システムにおいて、 該ウィンドウをオープンする時には、マイク８からの
入力音声と、上記ウィンドウシステム５が持っているウ
ィンドウ識別情報（ID）と，上記キーボード３から入力
されるウィンドウタイトルを受け取り、ウィンドウ−
音声対応テーブル10に登録を行い、該ウィンドウ間移動
時には、上記マイク８からの入力音声と、上記ウィンド
ウ−音声対応テーブル10中の音声データとのマッチング
をとって、マッチした場合、音声イベント信号と，上記
ウィンドウ識別情報（ID）とを出力する音声認識／登録
部９と、 上記キーボードインタフェース４からのキーボード３
のイベントを受け取り、キー入力終了後はある一定時
間内，及び、ある一定時間後は、上記音声認識／登録部
９からの音声イベント信号の、上記ウィンドウシステム
５への伝達を抑制制御する音声イベント制御部11とを備
えるように構成する。

〔作用〕

即ち、本発明によれば、計算機システム上でのマルチ
ウィンドウシステムにおいて、ウィンドウシステムが音
声入力によるウィンドウ間の移動制御を行う音声ウィン
ドウシステムとして作用する。

先ず、本発明のウィンドウシステムは、キーボード
（KB）や，音声認識／登録部からの入力情報を理解し、
ウインドウマネジャーや，アプリケーションに手渡す。

又、該ウィンドウシステムはウィンドウマネジャーや
アプリケーションからの出力情報を解釈し、例えば、デ
ィスプレイ（CRT）に表示する。

ウィンドウマネジャーは、ウィンドウの開閉，位置，
大きさの管理を行う。アプリケーションは該ウィンドウ
システムを利用したアプリケーションプログラムであっ
て、端末エミュレータや，グラフィックプログラム等の
ことを指す。

上記本発明の音声認識／登録部は、ウィンドウオープ
ン時には、ウィンドウシステムからの指令によって、該
ウィンドウシステムからのウィンドウ識別情報（ID）
と，キーボード（KB）からのウィンドウタイトルと，
マイクからウィンドウ名の音声入力を受け取り、ウィン
ドウ−音声対応テーブルに登録する。

又、該音声認識／登録部は、ウィンドウ間移動時に
は、ウィンドウ−音声対応テーブルの中の音声データを
辞書にして、マイクから入力された音声を認識し、音声
イベント信号（音声入力があったことを示す信号），及
びウィンドウ識別情報（ID）を音声イベント制御部に出
力し、ウィンドウシステムに渡すことでウィンドウ間の
移動を行うように機能する。

該音声イベント制御部は、キーボードインタフェース
から得られる情報（キー入力の有無）に基づいて、上
記音声イベント信号，及びウィンドウ識別情報（ID）を
ウィンドウシステムに伝えるのを制御する。

具体的には、キー入力の終了から、或る一定時間内
は、音声イベント信号，及びウィンドウ識別情報（ID）
をウィンドウシステムに伝えないようにする。又、キー
入力の終了から、ある一定時間を過ぎた場合にも、音声
イベント信号，及びウィンドウ識別信号をウィンドウに
伝えないようにして、誤動作を防止するように動作す
る。

このように機能するので、本発明の音声ウィンドウシ
ステムによれば、マイクから特定のウィンドウを指示す
る音声（ウィンドウタイトル）を発声するだけで、オペ
レータはキーボード（KB）から手を離すことなく、スム
ーズにウィンドウ間のカーソル移動を行うことができ、
キー入力や、思考を中断させることがない為、作業効率
が向上する効果がある。

〔実施例〕

以下本発明の実施例を図面によって詳述する。

前述の第１図が本発明の音声ウィンドウシステムの原
理構成図であり、第２図は本発明の一実施例を示した図
であって、（ａ）はウィンドウオープン時の処理フロー
を示し、（ｂ）は音声登録の処理フローを示し、（ｃ）
はウィンドウ間移動時の処理フローを示し、（ｄ）は音
声認識の処理フローを示しており、第１図における音声
認識／登録部9,ウィンドウ−音声対応テーブル10,音声
イベント制御部11を用いて音声によるウィンドウ間移動
の動作を制御する手段が本発明を実施するのに必要な手
段である。尚、全図を通して同じ符号は同じ対象物を示
している。

以下、第１図を参照しながら、第２図を用いて、本発
明の音声ウィンドウシステムの構成と動作を説明する。

先ず、第２図（ａ）を用いて、ウィンドウオープン時
の処理を説明する。

従来方式と同じように、ウィンドウの開閉やウィンド
ウの位置，大きさの管理は、一般的に、ウィンドウマネ
ジャー６が行う。

オペレータがウィンドウマネジャー６を通じて、ウィ
ンドウオープンの依頼を出すと、ウィンドウシステム５
は、該ウィンドウマネジャー６からの依頼に従って、ウ
ィンドウオープンの各種の処理、例えば、初期化，オー
プンするウィンドウの位置，大きさの記憶，キーボード
（KB）３との対応付け等の処理を行い、該オープンした
ウィンドウを、例えば、ディスプレイ（CRT）１に表示
する。（ステップ21参照） このとき、本発明においては、上記通常のウィンドウ
オープン処理に加えて、ウィンドウタイトルを音声で入
力するような要求がなされると共に、該ウィンドウタイ
トルをキーボード（KB）３から入力する要求が行われ
る。

即ち、ウィンドウタイトルの音声を音声認識していて
は、不特定話者による大語彙単語認識装置が必要となる
ので、ここでは、経済性を考慮して、簡単な小語彙単語
認識装置で、本音声ウィンドウシステムを実現する為
に、該ウィンドウタイトルの音声認識を行わないように
し、代わりに該オープンしたウィンドウのタイトルが後
で分からなくなるのを防ぐ為に、該ウィンドウタイトル
をキーボード（KB）３からキー入力する。（ステップ22
参照） 第２図（ａ）のステップ22に示した音声登録処理の詳
細の（ｂ）図に示している。

音声入力（ステップ31）では、マイク８からの音声入
力を受け付ける。

ここで、入力された音声からの単語の切り出し等の音
声登録に必要な前処理が行われる。

音声パラメータ化（ステップ33）では、入力音声を公
知の高速フーリエ変換法（FFT）や，線形予測分析法（L
PC）等の方法で分析して、パラメータ化を行い、情報量
の圧縮を図る。

次に、入力音声とウィンドウ−音声対応テーブル10に
格納されている既存の音声データとの類似度を計算し、
その類似度がある閾値を越えていれば，もう一度音声入
力を促すようにする。（ステップ34,35参照） これは、既に、登録済みの音声データと類似した音声
が入力された場合、後述の音声認識時に混乱が生じない
ように、予め、登録時に、既存の音声データと類似した
音声入力を受け付けないようにするものである。

上記の類似度の計算は、公知の距離計算法を用いて行
うようにすればよい。

該類似度が閾値より小さい場合には、上記パラメータ
化された入力音声をウィンドウ−音声対応テーブル10に
登録する。（ステップ36参照） このようにして、該ウィンドウ−音声対応テーブル10
には、上記パラメータ化され、情報圧縮された音声と、
ウィンドウシステム５から送られてくるウィンドウ識別
情報（ID），及び、キーボード（KB）３からのウィンド
ウタイトルとが対になって格納される。

第２図（ｃ）はウィンドウ間移動時の処理フローであ
って、従来方式と同じく、ウィンドウシステム５の内部
処理の一部である。

当該ウィンドウシステム内のマルチウィンドウシステ
ムが、例えば、キーボード（KB）３からの特定のコマン
ドを投入することで起動されると、各種のウィンドウ制
御関係のデバイス（例えば、マイク8,キーボード（KB）
３等）や，プログラムの初期化が行われる。

次に、キーボード（KB）３からの入力を監視するキー
ボードイベント監視部42,音声認識／登録部９からの音
声入力を監視する音声イベント監視部44の処理が無限ル
ープの中で行われる。

ここで、該キーボード（KB）３から入力があった場
合、上記キーボードイベント監視部42は、該キーボード
（KB）３から入力されるキー情報をウィンドウ制御部49
に伝える。

ウィンドウ制御部49は、該キーボード（KB）３からの
入力を、現在有効となっているウィンドウへの入力とし
て取り扱い、アプリケーション７（第１図参照）等に引
き渡す。

音声認識／登録部９の音声認識部46はマイク８からの
入力音声を受け取り、ウィンドウ−音声対応テーブル10
を検索し、該当する音声データが存在する場合には、音
声イベント信号を生成し、ウィンドウ識別情報（ID）を
音声イベント制御部11に出力する。

音声イベント制御部は11は、キーボードイベント監視
部42からの情報を受け取り、キー入力の終了後、ある
一定時間内の音声イベント信号の音声イベント監視部44
への伝達を抑止する。又、キー入力の終了後の、ある一
定時間以上経過した後の音声イベント信号の音声イベン
ト監視部44への伝達を抑止する。

前者は、キーボード（KB）３からの入力中に発生する
音声イベント信号による誤動作を防止する為であり、後
者は、長時間キーボード（KB）３からのキー入力がない
場合（例えば、キー入力者が席にいないような場合）で
の誤操作に備える為である。

上記音声認識部46からの音声入力があった場合は、音
声イベント監視部44は、該音声認識部46から出力される
情報｛ウィンドウ識別情報（ID）｝をウィンドウ制御部
49に送出する。

該ウィンドウ制御部49は、音声イベント監視部44から
の上記ウィンドウ識別情報（ID）を受け取り、その情報
に示されるウィンドウを有効｛例えば、ディスプレイ
（CRT）１の画面上の最も表側に表示する等）にして、
キーボード（KB）３からの入力をそのウィンドウに割当
るように動作する。

第２図（ｄ）は、上記音声認識時の処理フローであっ
て、第１図に示されている音声認識／登録部９での音声
認識時における処理の流れの詳細を示したものである。

音声入力（ステップ51）はマイク８からの音声入力を
受け付ける。ここで、入力音声からの単語の切り出し等
の音声認識に必要な前処理を行う。

次に、該入力された音声を分析してパラメータ化し、
情報量の圧縮を図る。（ステップ53参照） 更に、入力音声データとマッチする音声データを、上
記ウィンドウ−音声対応テーブル10から検索し、若し、
マッチする音声データが有れば、音声イベント信号，及
びウィンドウ識別情報（ID）を出力して、音声イベント
制御部11に送出する。（ステップ54,55参照） このようにして、入力音声がマッチすると、前述のよ
うに、該マッチした音声データに対応するウィンドウを
有効化することができる。

このように、本発明は、計算機システム上でのマルチ
ウィンドウシステムにおいて、音声入力によるウィンド
ウ間の移動制御を行う音声ウィンドウシステムであっ
て、予め、音声入力と，キーボード（KB）からのウィン
ドウタイトルのキー入力により、データ処理に必要な複
数個のウィンドウをオープンして、そのオープンしたウ
ィンドウに対応する音声データをウィンドウ−音声対応
テーブルに登録しておいて、現在有効なウィンドウにキ
ー入力しているときに、該オープンされている別のウィ
ンドウにキー入力したいとき、マイクから音声でウィン
ドウタイトルを発声し、当該音声ウィンドウシステムの
ウィンドウ−音声対応テーブルに登録されているウィン
ドウタイトルとマッチしたとき、自動的に該ウィンドウ
に移動できるようにした所に特徴がある。

尚、本実施例においては、ディスプレイとして、CRT
タイプを例にして説明したが、該CRTタイプ以外のディ
スプレイにも適用可能であることはいう迄もないことで
ある。

〔発明の効果〕

以上、詳細に説明したように、本発明の音声ウィンド
ウシステムは、計算機システム上でのマルチウィンドウ
システムにおいて、音声入力によるウィンドウ間の移動
制御を行うのに、キーボードからのイベントを認識し、
該イベント情報を、ウィンドウの開閉や，位置，大きさ
の管理を行うウィンドウマネジャーや，アプリケーショ
ンに手渡すと共に、上記ウィンドウマネジャーや、上記
アプリケーションから出力される情報を解釈して、ディ
スプレイに表示させるウィンドウシステムを備えたマル
チウィンドウシステムにおいて、該ウィンドウをオープ
ンする時には、マイクからの入力音声と、上記ウィンド
ウシステムが持っているウィンドウ識別情報（ID）と、
上記キーボードから入力されるウィンドウタイトルを受
け取り、ウィンドウ−音声対応テーブルに登録を行い、
該ウィンドウ間移動時には、上記マイクからの入力音声
と、上記ウィンドウ−音声対応テーブル中の音声データ
とのマッチングをとって、マッチした場合、音声イベン
ト信号と，上記ウィンドウ識別情報（ID）とを出力する
音声認識／登録部と、上記キーボードのイベントを受け
取り、キー入力終了後はある一定時間内，及び、ある一
定時間後は、上記音声認識／登録部からの音声イベント
信号の、上記ウィンドウシステムへの伝達を抑制制御す
る音声イベント制御部とを備えるようにしたものである
ので、オペレータはマイクから特定のウィンドウを指示
する音声（ウィンドウタイトル）を発声するだけで、キ
ーボード（KB）から手を離すことなく、スムーズにウィ
ンドウ間のカーソル移動を行うことができ、キー入力
や、思考を中断させることがない為、作業効率が向上す
る効果がある。

【図面の簡単な説明】

第１図は本発明の音声ウィンドウシステムの原理構成
図， 第２図は本発明の一実施例を示した図， 第３図は従来のウィンドウシステムを説明する図，であ
る。 図面において、 １はディスプレイ（CRT），又は、ディスプレイ， ２はCRTインタフェース，又は、ディスプレイインタフ
ェース， ３はキーボード（KB）， ４はキーボードインタフェース， 5,50はウィンドウシステム， ６はウィンドウマネジャー， ７はアプリケーション，又はアプリケーションプログラ
ム， ８はマイク,9は音声認識／登録部， 10はウィンドウ−音声対応テーブル， 11は音声イベント制御部， 12はマウス， 13はマウスインタフェース， 49,76はウィンドウ制御部， 21,22,31,33〜36,41,42,44,51〜55,71,72,74は処理ステ
ップ， をそれぞれ示す。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】キーボードインタフェース（４）を通して
   入力されるキーボード（３）からのイベントを認識し、
   該イベント情報を、ウィンドウの開閉や，位置，大きさ
   の管理を行うウィンドウマネジャー（６）や，ウィンド
   ウシステム（５）を利用したアプリケーション（７）に
   手渡すと共に、 上記ウィンドウマネジャー（６）や、上記アプリケーシ
   ョン（７）から出力される情報を解釈して、ディスプレ
   イインタフェース（２）を介して、ディスプレイ（１）
   に表示させるウィンドウシステム（５）を備えたマルチ
   ウィンドウシステムにおいて、該ウィンドウをオープン
   する時には、マイク（８）からの入力音声と、上記ウィ
   ンドウシステム（５）が持っているウィンドウ識別情報
   （ID）と，上記キーボード（３）から入力されるウィン
   ドウタイトル（）を受け取り、ウィンドウ−音声対応
   テーブル（10）に登録を行い、該ウィンドウ間移動時に
   は、上記マイク（８）からの入力音声と、上記ウィンド
   ウ−音声対応テーブル（10）中の音声データとのマッチ
   ングをとって、マッチした場合、音声イベント信号と，
   上記ウィンドウ識別情報（ID）とを出力する音声認識／
   登録部（９）と、 上記キーボードインタフェース（４）からのキーボード
   （３）のイベント（）を受け取り、キー入力終了後は
   ある一定時間内，及び、ある一定時間後は、上記音声認
   識／登録部（９）からの音声イベント信号の、上記ウィ
   ンドウシステム（５）への伝達を抑制制御する音声イベ
   ント制御部（11）とを備えたことを特徴とする音声ウィ
   ンドウシステム。