JPH06332660A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 ポインティングディバイスの操作に複数種の
処理を結び付ける場合において、 その操作性を向上さ
せた情報処理装置を提供することを目的とする。 【構成】ユーザの発声内容を取込み保持し（ステップＳ
１，Ｓ２）、ポインティングディバイスの操作を検出し
たときに、保持された音声のうち、ポインティングディ
バイスの操作に相前後して発声された部分を音声認識す
る（ステップＳ３〜６）。その認識結果からユーザの意
図した処理を算出し（ステップＳ７）、算出された処理
を実行する（ステップＳ８）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータ等の情報
処理装置に関し、特に入力インタフェースを改良した情
報処理装置に関するものである。

【０００２】

【従来の技術】従来から、コンピュータ等の情報機器を
始めとして、ビデオの予約情報処理装置や電子レンジ等
の家庭用電化製品、コピー機などの事務用品には、タッ
チパネルやマウス等のポインティングデバイスが用意さ
れている。ユーザはこれらのポインティングデバイスを
用いて処理の対象となる位置と処理を行うタイミングを
指示することができる。

【０００３】例えば、図２では画面上に３つの箱が描か
れている。ユーザがマウスを用いてマウスカーソル（図
中の矢印）を左の箱に移動させ、マウスボタンをクリッ
クすると、マウスカーソルの置かれている座標と処理の
開始を指示することができる。この例では、「指示され
た座標がどの箱の中にあるかを調べ、該当する箱（左）
の色を変える。」という処理が行われる。

【０００４】また、ポインティングディバイスは、処理
の対象となる位置、及び処理のタイミングを指示するこ
とができるが、処理内容を指示することはできない。従
って、最も単純な形態をとった場合、ポインティングデ
ィバイスを用いて指示できる処理はただ１つに限られ
る。しかし、ポインティングディバイスを用いて処理し
たい内容は、ただ１つとは限らない。

【０００５】例えば、前記の図２の例では、「色を赤に
変える」処理を行いたいこともあれば、「色を青に変え
る」処理をしたいこともある。このような場合、ポイン
ティングディバイスでは処理する内容がただ１つである
ならば、どちらか一方の処理しか行えない。

【０００６】この欠点を補うために従来では、ポインテ
ィングディバイスの操作にユーザの意図する複数種の処
理を結び付ける次のような方法がとられてきた。

【０００７】（１）ポインティングディバイスの操作
後、処理内容を指示する手段を設ける。この方法の例と
しては、ポインティングディバイスの操作後にメニュー
が表示され、ユーザがメニューから処理内容を選択する
方法がある。図２の場合では、メニューからどの色かを
選択することになる。あるいは、メニューの代わりにキ
ーボードなどの処理内容の指示に向いた装置・方法を用
いて処理内容を指示する方法も当該方法に含まれる。

【０００８】（２）最初に処理内容を決定する操作、即
ちモードを決定する操作を行い、処理を変える。この方
法の例としては、前記（１）の方法とは逆に、予め処理
内容を決定しておく。図３の例のように、「予め［赤］
ボタンを選択しておくと箱が赤くなる」といった方法で
ある。

【０００９】（３）ボタンのクリック回数により処理内
容を変える。この方法の例としては、例えばポインティ
ングディバイスがマウスの場合、「マウスボタンのクリ
ック回数が１回ならば赤、２回ならば青、……」と決め
ておく方法である。

【００１０】（４）シフトキーなどの修飾キーを押しな
がら、クリックや画面のタッチを行うことにより、修飾
キー無しの場合とは別の処理を行うようにする。

【００１１】（５）ポインティングディバイスが、マウ
スやトラックボールなどの場合にはボタンの数を増や
す。

【００１２】（６）ただ１つの処理でも間に合うような
ユーザインタフェースを設計する。この方法の例として
は、「箱の左上ならば赤、右上ならば青、……」という
ように細分化したユーザインタフェースを設計しておく
ことにより、常にただ１つの処理しか行えなくてもよい
ようにする方法である。

【００１３】

【発明が解決しようとする課題】しかしながら、上記従
来例による、ポインティングディバイスの操作を複数種
の処理に結びつける方法では次のような問題があった。

【００１４】１．ポインティングディバイスの操作の後
に処理内容を指示する手段を設ける上記（１）の方法で
は、目的の処理を行うまでの操作量・時間が増大する。

【００１５】２．最初にモードを決定する操作を行って
から、処理を変える上記（２）方法では、目的の処理を
行うまでの操作量が増大する。さらに、現在どのモード
にあるのかをユーザが記憶していなくてはならない。

【００１６】３．クリック回数により処理内容を変える
上記（３）の方法では、クリック回数はせいぜい３〜４
回が限度であり、また、多数のクリックはユーザの運動
能力に負担をかけ、誤操作が生じやすいばかりか、ユー
ザがクリックの回数とそれによって生ずる処理との対応
を覚えにくい。

【００１７】４．修飾キーを用いる上記（４）の方法で
は、多数の修飾キーを用いると修飾キーを探して押すの
に時間がかかり、また、ユーザは修飾キーと処理との対
応を覚えにくい。

【００１８】５．ボタンの数を増やす上記（５）の方法
では、物理的な限界があり、かつその限界が小さい。

【００１９】６．ただ１つの処理でも間に合うようなユ
ーザインタフェースを設計する上記（６）の方法では、
処理が細かくなり過ぎる。例えば上記の例では、箱の面
積の有効領域が４色ならば４分の１になってしまう。ま
た、ユーザインタフェースの設計に手間がかかる。

【００２０】本発明は上記従来の問題点に鑑み、ポイン
ティングディバイスの操作に複数種の処理を結び付ける
場合において、その操作性を向上させた情報処理装置を
提供することを目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に本発明は、ユーザの発声内容を取込み保持する音声取
込み保持手段と、ポインティングディバイスの操作を検
出したときに、前記音声取込み保持手段により保持され
た音声のうち、ポインティングディバイスの操作に相前
後して発声された部分を音声認識する音声認識手段と、
前記音声認識手段の認識結果からユーザの意図した処理
を算出する処理算出手段と、前記処理算出手段によって
算出された処理を実行する処理実行手段とを備えたもの
である。

【００２２】

【作用】上記構成により本発明によれば、音声認識手段
は、ポインティングディバイスの操作を検出したとき
に、音声取込み保持手段により保持されているユーザの
音声のうち、ポインティングディバイスの操作に相前後
して発声された部分を音声認識する。処理算出手段は、
その認識結果からユーザの意図した処理を算出し、その
算出された処理を処理実行手段が実行する。これによ
り、音声認識とポインティングディバイスとを組み合わ
せた入力インタフェースが構成され、ポインティングデ
ィバイスの操作に複数種の処理を結び付ける場合におい
て、その操作性が著しく向上する。

【００２３】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００２４】図１は、本発明に係る情報処理装置である
計算機の第１実施例の概略構成を示すブロック図であ
る。

【００２５】同図中、１はシステムバスであり、このシ
ステムバス１には、ＣＲＴディスプレイ等の表示装置２
と、ポインティングディバイス３と、キーボード等の入
力装置４と、マイクロホン等の音声入力装置５と、該音
声入力装置５から供給される音声を計算機処理できるよ
うに変形するＩ／Ｏ装置６と、数値演算等を行ってシス
テム全体の動作を制御する中央処理装置７と、ディスク
装置等の外部メモリ８と、ＲＡＭやＲＯＭ等の内部メモ
リ９とが接続されている。尚、中央処理装置７は内部メ
モリ９に記憶された、例えば後述するフローチャートの
制御プログラムに従って動作制御を行う。

【００２６】以上のように構成される計算機の動作を図
４のフローチャートを参照しつつ説明する。

【００２７】まず、ステップＳ１において音声入力装置
５及びＩ／Ｏ装置６を用いてユーザの発生した音声を計
算機に取り込む。次に、前記ステップＳ１で取り込まれ
た音声データを外部メモリ装置８に保持する。このステ
ップＳ２が終了した後は、前記ステップＳ１に戻り、音
声取込みを続ける。

【００２８】ポインティングディバイスの操作が検出さ
れると、ステップＳ３の処理に移行する。ステップＳ３
では前記ステップＳ２で外部メモリ８に保持された音声
データのうち、ポインティングディバイスの操作された
時点の前後の音声データを抽出する。この音声データを
抽出する処理の一例を図５のフローチャートに示す。

【００２９】図５において、ステップＳ２１で、抽出範
囲開始時刻Ｔｓをポインティングディバイスの操作が行
われた時刻に設定する。次にステップＳ２２で、時刻Ｔ
ｓから始まる音声データを予め定められた時間ΔＴの分
量だけ読み込む。その後のステップＳ２３では、前記ス
テップＳ２２で読み込んだ音声データの２乗平均値を計
算する。

【００３０】続くステップＳ２４において、前記ステッ
プＳ２３で計算した２乗平均値が予め定められた閾値Ｔ
ｈ１より大きいか否かを調べ、大きい場合はステップＳ
２５へ進み、大きくない場合はステップＳ２６へ進む。
ステップＳ２５では、抽出範囲開始時刻ＴｓをΔＴだけ
減じ、前記ステップＳ２２へ戻る。また、ステップＳ２
６では、抽出範囲終了時刻Ｔｅをポインティングディバ
イスの操作が行われた時刻に設定する。

【００３１】次にステップＳ２７で、時刻Ｔｅから始ま
る音声データを予め定められた時間ΔＴの分量だけ読み
込み、ステップＳ２８で、前記ステップＳ２７で読み込
んだ音声データの２乗平均値を計算する。その後、さら
にステップＳ２９で前記ステップＳ２８で計算した２乗
平均値が予め定められた閾値Ｔｈ２より大きいか否かを
調べ、大きいならばステップＳ３０へ進み、大きくない
ならば抽出開始時刻及び抽出終了時刻が定まるので、こ
の音声データ抽出フローを終了する。ステップＳ３０で
は、抽出範囲終了時刻ＴｅをΔＴでけ増加し、前記ステ
ップＳ２７へ戻る。

【００３２】図４に戻り、音声データを抽出する前記ス
テップＳ３が終了した後、ステップＳ４に進む。ステッ
プＳ４では、前記ステップＳ３で抽出された音声データ
から、パターンマッチングに必要なパラメータを計算す
る。次に、ステップＳ５で、外部メモリ装置８から音声
認識のための標準パターンのパラメータを読み出す。そ
の後、ステップＳ６で、前記ステップＳ４で計算された
パラメータと前記ステップＳ５で読み出された標準パタ
ーンのパラメータとのマッチングを行い、最もマッチし
た標準パターンを音声認識結果として得る。

【００３３】ステップＳ７では、前記ステップＳ６によ
って得られた音声認識結果に対応するユーザインタフェ
ース（ＵＩ）の処理内容を算出し、ステップＳ８で前記
ステップＳ７で算出したＵＩ処理を実行する。このステ
ップＳ８の処理が終了すると、ポインティングディバイ
スの操作待ちとなり、処理フローが終了する。

【００３４】以上の如く説明した実施例を、マウスによ
るファイル操作の場合に適用すると次のようになる。

【００３５】まず、音声取込みステップＳ１及び音声デ
ータ保持ステップＳ２は、プログラム開始と同時に行わ
れる。表示装置２に表示された内容を示す図６におい
て、マウスカーソル（図中の矢印）を「ファイル１」の
アイコン（欠けた長方形）の上に移動し、マウスボタン
をクリックすると音声データ抽出ステップＳ３へ移行す
る。ここで、説明のために、マウスボタンをクリックす
る際のユーザの発声内容を例えば「選択」とする。

【００３６】ステップＳ３では、前述した処理フローに
従い、マウスクリックの行われた時点の前後の音声デー
タを抽出する。続いて、パラメータ計算ステップＳ４
で、前記ステップＳ３で抽出された音声データをパラメ
ータ化する。このステップＳ４で得られたパラメータの
例を図７に示す。

【００３７】次に、標準パターン読出しステップＳ５
で、音声認識に用いる標準パターンを読み出す。読み出
された標準パターンの例を図８に示す。その後、パター
ンマッチングステップＳ６でパターンマッチングを行
い、図８に示された標準パターンのうち、図７に最も近
い標準パターンを持つ「選択」を音声認識結果として得
る。続いて、ＵＩ処理内容算出ステップＳ７で、認識結
果「選択」に対応するＵＩ処理内容を得る。ＵＩ処理内
容の算出には、図９で示される表を用いる。この算出処
理の結果、ＵＩ処理内容「ＵＩ：ｓｅｌｅｃｔ」を得
る。

【００３８】ＵＩ処理ステップＳ８では、ＵＩ処理内容
算出ステップＳ７で算出されたＵＩ処理内容「ＵＩ：ｓ
ｅｌｅｃｔ」を実行する。「ＵＩ：ｓｅｌｅｃｔ」を実
行した結果、「ファイル１」が選択され、それを示すた
めに「ファイル１」のアイコンが表示装置２上で反転表
示される（図１０）。以上により、「ファイル１」上で
の発声「選択」を伴うマウスクリックに対する処理が終
了する。

【００３９】図１１は本発明の情報処理装置の第２実施
例を示すフローチャートである。

【００４０】上記第１実施例において、音声データから
パラメータを計算するパラメータ計算ステップＳ４は、
音声認識を行う一連のステップの中で実行したが、図１
１に示すように、ユーザの発声内容を取込み、保持する
一連のステップの中で実行していもよい。

【００４１】すなわち、図１１に示すように、第１実施
例のパラメータ計算ステップＳ４を音声取込みステップ
Ｓ１´の次にパラメータ計算ステップＳ４´として設
け、第１実施例の音声データ保持ステップＳ２の代わり
にパラメータ保持ステップＳ３２を設ける。さらに、第
１実施例の音声データ抽出ステップＳ３の代わりにパラ
メータ抽出ステップＳ３の代わりにパラメータ抽出ステ
ップＳ３３を設ける。

【００４２】前記パラメータ保持ステップＳ３２では、
パラメータ計算ステップＳ４´で計算されたパターンマ
ッチングに必要なパラメータを外部メモリ装置８に保持
する。また、パラメータ抽出ステップＳ３３では、前記
パラメータ保持ステップＳ３２で保持されたパラメータ
のうち、ポインティングディバイスの操作された前後の
時点のパラメータを抽出する。

【００４３】図１２（ａ），（ｂ）は本発明の情報処理
装置の第３実施例を示すフローチャートである。

【００４４】上記第１及び第２の実施例では並行処理的
なフローを用いたが、例えば図１２（ａ），（ｂ）に示
すように単一のフロー内で行うこともできる。

【００４５】なお、本発明は、図示の実施例に限定され
ず、種々の変形が可能である。例えば、その変形例とし
て次のようなものがある。

【００４６】（１）上記実施例では、ポインティングデ
ィバイスとしてマウスを用いたが、これに限定されず、
例えばタブレット・タッチパネル・ライトペン等を用い
てもよいし、キーボード上に設けられたキーでも、予め
本実施例に説明したような処理の実行と対応づけた入力
手段であれば良い。

【００４７】（２）上記実施例では、マウスのクリック
を検出した時を例としたが、マウスボタンが離された場
合やマウスが移動された際に本発明を適用してもよい。

【００４８】（３）本発明を従来技術である修飾キー、
クリック回数やモードと組み合わせることも可能であ
る。たとえば、修飾キーを組み合わせた場合、第１実施
例のＵＩ処理内容算出ステップＳ７で用いた図９に示す
対応図の代わりに、図１３に示すような対応図を用いれ
ばよい。

【００４９】

【発明の効果】以上に説明したように、本発明によれ
ば、ユーザの発声内容を取込み保持する音声取込み保持
手段と、ポインティングディバイスの操作を検出したと
きに、前記音声取込み保持手段により保持された音声の
うち、ポインティングディバイスの操作に相前後して発
声された部分を音声認識する音声認識手段と、前記音声
認識手段の認識結果からユーザの意図した処理を算出す
る処理算出手段と、前記処理算出手段によって算出され
た処理を実行する処理実行手段とを備えたので、音声認
識とポインティングディバイスとを組み合わせた入力イ
ンタフェースが構成でき、ポインティングディバイスの
操作に複数種の処理を結び付ける場合において、その操
作性を著しく向上させることが可能となる。

【００５０】例えば、（１）目的の処理を行うまでの操
作量、時間を短縮することができる。

【００５１】（２）現在、どのモードにあるのかをユー
ザが記憶する必要がない。

【００５２】（３）ユーザの運動能力に負担をかけない
ため、誤操作が生じにくい。

【００５３】（４）修飾キーを用いるなどの方法に対
し、処理との対応関係が言葉で表せるため、操作と処理
との対応を覚えやすい。

【００５４】（５）１種類のポインティングディバイス
の操作で多くの種類の処理が行えるので、ユーザインタ
フェースが細かくなり過ぎない。

【図面の簡単な説明】

【図１】本発明に係る情報処理装置の第１実施例の概略
構成を示すブロック図である。

【図２】従来の情報処理装置を説明するための説明図で
ある。

【図３】従来の情報処理装置を説明するための他の説明
図である

【図４】前記第１実施例のメイン処理を示すフローチャ
ートである。

【図５】前記第１実施例における音声データ抽出処理を
示すフローチャートである。

【図６】前記第１実施例におけるマウス操作直前の表示
内容を示す図である。

【図７】前記第１実施例におけるパラメータ計算ステッ
プＳ４で得られたパラメータの例を示す図である。

【図８】前記第１実施例における標準パターン読出しス
テップＳ５で読み出される標準パターンの例を示す図で
ある。

【図９】前記第１実施例における音声認識結果とＵＩ処
理内容との対応例を示した対応図である。

【図１０】前記第１実施例の処理終了時の表示内容を示
す図である。

【図１１】本発明の情報処理装置の第２実施例を示すフ
ローチャートである。

【図１２】本発明の情報処理装置の第３実施例を示すフ
ローチャートである。

【図１３】音声認識結果とＵＩ処理内容との他の対応例
を示した対応図である。

【符号の説明】

２ 表示装置 ３ ポインティングディバイス ４ 入力装置 ５ 音声入力装置 ６ Ｉ／Ｏ装置 ７ 中央処理装置 ８ 外部メモリ ９ 内部メモリ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ユーザの発声内容を取込み保持する音声
   取込み保持手段と、 ポインティングディバイスの操作を検出したときに、前
   記音声取込み保持手段により保持された音声のうち、ポ
   インティングディバイスの操作に相前後して発声された
   部分を音声認識する音声認識手段と、 前記音声認識手段の認識結果からユーザの意図した処理
   を算出する処理算出手段と、 前記処理算出手段によって算出された処理を実行する処
   理実行手段とを備えたことを特徴とする情報処理装置。