JP3984658B2

JP3984658B2 - 情報処理装置及びその方法

Info

Publication number: JP3984658B2
Application number: JP14138093A
Authority: JP
Inventors: 雅章山田; 康弘小森; 恭則大洞
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-05-20
Filing date: 1993-05-20
Publication date: 2007-10-03
Anticipated expiration: 2022-10-03
Also published as: JPH06332660A

Description

【０００１】
【産業上の利用分野】
本発明は、コンピュータ等の情報処理装置及びその方法に関し、特に入力インタフェースを改良した情報処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来から、コンピュータ等の情報機器を始めとして、ビデオの予約情報処理装置や電子レンジ等の家庭用電化製品、コピー機などの事務用品には、タッチパネルやマウス等のポインティングデバイスが用意されている。ユーザはこれらのポインティングデバイスを用いて処理の対象となる位置と処理を行うタイミングを指示することができる。
【０００３】
例えば、図２では画面上に３つの箱が描かれている。ユーザがマウスを用いてマウスカーソル（図中の矢印）を左の箱に移動させ、マウスボタンをクリックすると、マウスカーソルの置かれている座標と処理の開始を指示することができる。この例では、「指示された座標がどの箱の中にあるかを調べ、該当する箱（左）の色を変える。」という処理が行われる。
【０００４】
また、ポインティングディバイスは、処理の対象となる位置、及び処理のタイミングを指示することができるが、処理内容を指示することはできない。従って、最も単純な形態をとった場合、ポインティングディバイスを用いて指示できる処理はただ１つに限られる。しかし、ポインティングディバイスを用いて処理したい内容は、ただ１つとは限らない。
【０００５】
例えば、前記の図２の例では、「色を赤に変える」処理を行いたいこともあれば、「色を青に変える」処理をしたいこともある。このような場合、ポインティングディバイスでは処理する内容がただ１つであるならば、どちらか一方の処理しか行えない。
【０００６】
この欠点を補うために従来では、ポインティングディバイスの操作にユーザの意図する複数種の処理を結び付ける次のような方法がとられてきた。
【０００７】
（１）ポインティングディバイスの操作後、処理内容を指示する手段を設ける。この方法の例としては、ポインティングディバイスの操作後にメニューが表示され、ユーザがメニューから処理内容を選択する方法がある。図２の場合では、メニューからどの色かを選択することになる。あるいは、メニューの代わりにキーボードなどの処理内容の指示に向いた装置・方法を用いて処理内容を指示する方法も当該方法に含まれる。
【０００８】
（２）最初に処理内容を決定する操作、即ちモードを決定する操作を行い、処理を変える。この方法の例としては、前記（１）の方法とは逆に、予め処理内容を決定しておく。図３の例のように、「予め［赤］ボタンを選択しておくと箱が赤くなる」といった方法である。
【０００９】
（３）ボタンのクリック回数により処理内容を変える。この方法の例としては、例えばポインティングディバイスがマウスの場合、「マウスボタンのクリック回数が１回ならば赤、２回ならば青、……」と決めておく方法である。
【００１０】
（４）シフトキーなどの修飾キーを押しながら、クリックや画面のタッチを行うことにより、修飾キー無しの場合とは別の処理を行うようにする。
【００１１】
（５）ポインティングディバイスが、マウスやトラックボールなどの場合にはボタンの数を増やす。
【００１２】
（６）ただ１つの処理でも間に合うようなユーザインタフェースを設計する。この方法の例としては、「箱の左上ならば赤、右上ならば青、……」というように細分化したユーザインタフェースを設計しておくことにより、常にただ１つの処理しか行えなくてもよいようにする方法である。
【００１３】
【発明が解決しようとする課題】
しかしながら、上記従来例による、ポインティングディバイスの操作を複数種の処理に結びつける方法では次のような問題があった。
【００１４】
１．ポインティングディバイスの操作の後に処理内容を指示する手段を設ける上記（１）の方法では、目的の処理を行うまでの操作量・時間が増大する。
【００１５】
２．最初にモードを決定する操作を行ってから、処理を変える上記（２）方法では、目的の処理を行うまでの操作量が増大する。さらに、現在どのモードにあるのかをユーザが記憶していなくてはならない。
【００１６】
３．クリック回数により処理内容を変える上記（３）の方法では、クリック回数はせいぜい３〜４回が限度であり、また、多数のクリックはユーザの運動能力に負担をかけ、誤操作が生じやすいばかりか、ユーザがクリックの回数とそれによって生ずる処理との対応を覚えにくい。
【００１７】
４．修飾キーを用いる上記（４）の方法では、多数の修飾キーを用いると修飾キーを探して押すのに時間がかかり、また、ユーザは修飾キーと処理との対応を覚えにくい。
【００１８】
５．ボタンの数を増やす上記（５）の方法では、物理的な限界があり、かつその限界が小さい。
【００１９】
６．ただ１つの処理でも間に合うようなユーザインタフェースを設計する上記（６）の方法では、処理が細かくなり過ぎる。例えば上記の例では、箱の面積の有効領域が４色ならば４分の１になってしまう。また、ユーザインタフェースの設計に手間がかかる。
【００２０】
本発明は上記従来の問題点に鑑み、ポインティングディバイスの操作に複数種の処理を結び付ける場合において、その操作性を向上させた情報処理装置及びその方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記目的を達成するために本発明の情報処理装置は、音声を取り込む音声取込み手段と、前記音声取込み手段により取り込まれた音声を保持する音声保持手段と、入力手段の操作が検出された場合、前記音声保持手段に保持された音声のうち該検出時点の前後の音声を抽出する抽出手段と、前記抽出手段により抽出された音声のみを音声認識する音声認識手段と、前記入力手段の操作と前記音声認識手段の認識結果とに基づいて処理を判断する処理判断手段と、前記処理判断手段によって判断された処理を実行する処理実行手段と
を備えることを特徴とする。
上記目的と達成するために本発明の情報処理方法は、音声を取り込む工程と、前記取り込まれた音声を保持する工程と、入力手段の操作が検出された場合、前記保持された音声のうち該検出時点の前後の音声を抽出する抽出工程と、前記抽出工程で抽出された音声のみを音声認識する音声認識工程と、前記入力手段の操作と前記音声認識工程における認識結果とに基づいて処理を判断する処理判断工程と、前記処理判断工程によって判断された処理を実行する処理実行工程とを備えることを特徴とする。
【００２３】
【実施例】
以下、図面を参照して本発明の実施例を説明する。
【００２４】
図１は、本発明に係る情報処理装置である計算機の第１実施例の概略構成を示すブロック図である。
【００２５】
同図中、１はシステムバスであり、このシステムバス１には、ＣＲＴディスプレイ等の表示装置２と、ポインティングディバイス３と、キーボード等の入力装置４と、マイクロホン等の音声入力装置５と、該音声入力装置５から供給される音声を計算機処理できるように変形するＩ／Ｏ装置６と、数値演算等を行ってシステム全体の動作を制御する中央処理装置７と、ディスク装置等の外部メモリ８と、ＲＡＭやＲＯＭ等の内部メモリ９とが接続されている。尚、中央処理装置７は内部メモリ９に記憶された、例えば後述するフローチャートの制御プログラムに従って動作制御を行う。
【００２６】
以上のように構成される計算機の動作を図４のフローチャートを参照しつつ説明する。
【００２７】
まず、ステップＳ１において音声入力装置５及びＩ／Ｏ装置６を用いてユーザの発生した音声を計算機に取り込む。次に、前記ステップＳ１で取り込まれた音声データを外部メモリ装置８に保持する。このステップＳ２が終了した後は、前記ステップＳ１に戻り、音声取込みを続ける。
【００２８】
ポインティングディバイスの操作が検出されると、ステップＳ３の処理に移行する。ステップＳ３では前記ステップＳ２で外部メモリ８に保持された音声データのうち、ポインティングディバイスの操作された時点の前後の音声データを抽出する。この音声データを抽出する処理の一例を図５のフローチャートに示す。
【００２９】
図５において、ステップＳ２１で、抽出範囲開始時刻Ｔｓをポインティングディバイスの操作が行われた時刻に設定する。次にステップＳ２２で、時刻Ｔｓから始まる音声データを予め定められた時間ΔＴの分量だけ読み込む。その後のステップＳ２３では、前記ステップＳ２２で読み込んだ音声データの２乗平均値を計算する。
【００３０】
続くステップＳ２４において、前記ステップＳ２３で計算した２乗平均値が予め定められた閾値Ｔｈ１より大きいか否かを調べ、大きい場合はステップＳ２５へ進み、大きくない場合はステップＳ２６へ進む。ステップＳ２５では、抽出範囲開始時刻ＴｓをΔＴだけ減じ、前記ステップＳ２２へ戻る。また、ステップＳ２６では、抽出範囲終了時刻Ｔｅをポインティングディバイスの操作が行われた時刻に設定する。
【００３１】
次にステップＳ２７で、時刻Ｔｅから始まる音声データを予め定められた時間ΔＴの分量だけ読み込み、ステップＳ２８で、前記ステップＳ２７で読み込んだ音声データの２乗平均値を計算する。その後、さらにステップＳ２９で前記ステップＳ２８で計算した２乗平均値が予め定められた閾値Ｔｈ２より大きいか否かを調べ、大きいならばステップＳ３０へ進み、大きくないならば抽出開始時刻及び抽出終了時刻が定まるので、この音声データ抽出フローを終了する。ステップＳ３０では、抽出範囲終了時刻ＴｅをΔＴでけ増加し、前記ステップＳ２７へ戻る。
【００３２】
図４に戻り、音声データを抽出する前記ステップＳ３が終了した後、ステップＳ４に進む。ステップＳ４では、前記ステップＳ３で抽出された音声データから、パターンマッチングに必要なパラメータを計算する。次に、ステップＳ５で、外部メモリ装置８から音声認識のための標準パターンのパラメータを読み出す。その後、ステップＳ６で、前記ステップＳ４で計算されたパラメータと前記ステップＳ５で読み出された標準パターンのパラメータとのマッチングを行い、最もマッチした標準パターンを音声認識結果として得る。
【００３３】
ステップＳ７では、前記ステップＳ６によって得られた音声認識結果に対応するユーザインタフェース（ＵＩ）の処理内容を算出し、ステップＳ８で前記ステップＳ７で算出したＵＩ処理を実行する。このステップＳ８の処理が終了すると、ポインティングディバイスの操作待ちとなり、処理フローが終了する。
【００３４】
以上の如く説明した実施例を、マウスによるファイル操作の場合に適用すると次のようになる。
【００３５】
まず、音声取込みステップＳ１及び音声データ保持ステップＳ２は、プログラム開始と同時に行われる。表示装置２に表示された内容を示す図６において、マウスカーソル（図中の矢印）を「ファイル１」のアイコン（欠けた長方形）の上に移動し、マウスボタンをクリックすると音声データ抽出ステップＳ３へ移行する。ここで、説明のために、マウスボタンをクリックする際のユーザの発声内容を例えば「選択」とする。
【００３６】
ステップＳ３では、前述した処理フローに従い、マウスクリックの行われた時点の前後の音声データを抽出する。続いて、パラメータ計算ステップＳ４で、前記ステップＳ３で抽出された音声データをパラメータ化する。このステップＳ４で得られたパラメータの例を図７に示す。
【００３７】
次に、標準パターン読出しステップＳ５で、音声認識に用いる標準パターンを読み出す。読み出された標準パターンの例を図８に示す。その後、パターンマッチングステップＳ６でパターンマッチングを行い、図８に示された標準パターンのうち、図７に最も近い標準パターンを持つ「選択」を音声認識結果として得る。続いて、ＵＩ処理内容算出ステップＳ７で、認識結果「選択」に対応するＵＩ処理内容を得る。ＵＩ処理内容の算出には、図９で示される表を用いる。この算出処理の結果、ＵＩ処理内容「ＵＩ：ｓｅｌｅｃｔ」を得る。
【００３８】
ＵＩ処理ステップＳ８では、ＵＩ処理内容算出ステップＳ７で算出されたＵＩ処理内容「ＵＩ：ｓｅｌｅｃｔ」を実行する。「ＵＩ：ｓｅｌｅｃｔ」を実行した結果、「ファイル１」が選択され、それを示すために「ファイル１」のアイコンが表示装置２上で反転表示される（図１０）。以上により、「ファイル１」上での発声「選択」を伴うマウスクリックに対する処理が終了する。
【００３９】
図１１は本発明の情報処理装置の第２実施例を示すフローチャートである。
【００４０】
上記第１実施例において、音声データからパラメータを計算するパラメータ計算ステップＳ４は、音声認識を行う一連のステップの中で実行したが、図１１に示すように、ユーザの発声内容を取込み、保持する一連のステップの中で実行していもよい。
【００４１】
すなわち、図１１に示すように、第１実施例のパラメータ計算ステップＳ４を音声取込みステップＳ１´の次にパラメータ計算ステップＳ４´として設け、第１実施例の音声データ保持ステップＳ２の代わりにパラメータ保持ステップＳ３２を設ける。さらに、第１実施例の音声データ抽出ステップＳ３の代わりにパラメータ抽出ステップＳ３の代わりにパラメータ抽出ステップＳ３３を設ける。
【００４２】
前記パラメータ保持ステップＳ３２では、パラメータ計算ステップＳ４´で計算されたパターンマッチングに必要なパラメータを外部メモリ装置８に保持する。また、パラメータ抽出ステップＳ３３では、前記パラメータ保持ステップＳ３２で保持されたパラメータのうち、ポインティングディバイスの操作された前後の時点のパラメータを抽出する。
【００４３】
図１２（ａ），（ｂ）は本発明の情報処理装置の第３実施例を示すフローチャートである。
【００４４】
上記第１及び第２の実施例では並行処理的なフローを用いたが、例えば図１２（ａ），（ｂ）に示すように単一のフロー内で行うこともできる。
【００４５】
なお、本発明は、図示の実施例に限定されず、種々の変形が可能である。例えば、その変形例として次のようなものがある。
【００４６】
（１）上記実施例では、ポインティングディバイスとしてマウスを用いたが、これに限定されず、例えばタブレット・タッチパネル・ライトペン等を用いてもよいし、キーボード上に設けられたキーでも、予め本実施例に説明したような処理の実行と対応づけた入力手段であれば良い。
【００４７】
（２）上記実施例では、マウスのクリックを検出した時を例としたが、マウスボタンが離された場合やマウスが移動された際に本発明を適用してもよい。
【００４８】
（３）本発明を従来技術である修飾キー、クリック回数やモードと組み合わせることも可能である。たとえば、修飾キーを組み合わせた場合、第１実施例のＵＩ処理内容算出ステップＳ７で用いた図９に示す対応図の代わりに、図１３に示すような対応図を用いればよい。
【００４９】
【発明の効果】
以上に説明したように、本発明によれば、ポインティングディバイス等の入力手段と音声認識とを組み合わせた入力インタフェースが構成でき、入力手段の操作に複数種の処理を結び付ける場合において、その操作性を著しく向上させることが可能となる。
【００５０】
例えば、（１）目的の処理を行うまでの操作量、時間を短縮することができる。
【００５１】
（２）現在、どのモードにあるのかをユーザが記憶する必要がない。
【００５２】
（３）ユーザの運動能力に負担をかけないため、誤操作が生じにくい。
【００５３】
（４）修飾キーを用いるなどの方法に対し、処理との対応関係が言葉で表せるため、操作と処理との対応を覚えやすい。
【００５４】
（５）１種類のポインティングディバイスの操作で多くの種類の処理が行えるので、ユーザインタフェースが細かくなり過ぎない。
【図面の簡単な説明】
【図１】本発明に係る情報処理装置の第１実施例の概略構成を示すブロック図である。
【図２】従来の情報処理装置を説明するための説明図である。
【図３】従来の情報処理装置を説明するための他の説明図である
【図４】前記第１実施例のメイン処理を示すフローチャートである。
【図５】前記第１実施例における音声データ抽出処理を示すフローチャートである。
【図６】前記第１実施例におけるマウス操作直前の表示内容を示す図である。
【図７】前記第１実施例におけるパラメータ計算ステップＳ４で得られたパラメータの例を示す図である。
【図８】前記第１実施例における標準パターン読出しステップＳ５で読み出される標準パターンの例を示す図である。
【図９】前記第１実施例における音声認識結果とＵＩ処理内容との対応例を示した対応図である。
【図１０】前記第１実施例の処理終了時の表示内容を示す図である。
【図１１】本発明の情報処理装置の第２実施例を示すフローチャートである。
【図１２】本発明の情報処理装置の第３実施例を示すフローチャートである。
【図１３】音声認識結果とＵＩ処理内容との他の対応例を示した対応図である。
【符号の説明】
２表示装置
３ポインティングディバイス
４入力装置
５音声入力装置
６Ｉ／Ｏ装置
７中央処理装置
８外部メモリ
９内部メモリ

Claims

音声を取り込む音声取込み手段と、
前記音声取込み手段により取り込まれた音声を保持する音声保持手段と、
入力手段の操作が検出された場合、前記音声保持手段に保持された音声のうち該検出時点の前後の音声を抽出する抽出手段と、
前記抽出手段により抽出された音声のみを音声認識する音声認識手段と、
前記入力手段の操作と前記音声認識手段の認識結果とに基づいて処理を判断する処理判断手段と、
前記処理判断手段によって判断された処理を実行する処理実行手段と
を備えることを特徴とする情報処理装置。
音声を取り込む工程と、
前記取り込まれた音声を保持する工程と、
入力手段の操作が検出された場合、前記保持された音声のうち該検出時点の前後の音声を抽出する抽出工程と、
前記抽出工程で抽出された音声のみを音声認識する音声認識工程と、
前記入力手段の操作と前記音声認識工程における認識結果とに基づいて処理を判断する処理判断工程と、
前記処理判断工程によって判断された処理を実行する処理実行工程と
を備えることを特徴とする情報処理方法。