JPH075977A - 複合形態による対象物指示方法 - Google Patents

Abstract

(57)【要約】 【構成】表示装置の画面上に表示された複数の表示物の
一つを対象物として指示する際、指もしくはペンによる
ポインティング指示と音声による指示とを併用する、複
合形態による対象物指示方法であって、前記複数の表示
物の相互の位置関係を求め、該位置関係を表わす表示物
知識テーブルを作成しておき、前記位置関係を含む音声
による表示物の指示に対する音声認識結果を前記表示物
知識テーブルの内容に照らして、該音声が指示する対象
物候補を求め、前記ポインティング指示に基づく位置情
報を求め、該ポインティング指示に基づく位置情報と前
記対象物候補とに基づき対象物を特定するようにした。 【効果】 ユーザが、音声とポインティングジェスチャ
を用いて対象物を指示するにあたり、音声認識誤りを減
少させ、ユーザが、入力方法を意識することが無くな
り、自然で使いやすい対話システムを構成することがで
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パーソナルコンピュー
タ（パソコン）、ワークステーション、ワードプロセッ
サ（ワープロ）等のＯＡ機器に搭載された図形編集シス
テム等のユーザインタフェースに関し、特に、ユーザに
とって使い勝手のよい、複合形態による対象物指示方法
に関する。

【０００２】

【従来の技術】従来の対象物指示方法では、北原他「音
声入力による情報検索システムにおける口語文受理方法
の検討」（日本音響学会春季講演論文集 ３−５−７
１９９１．３）等に見られるように、音声のみを用いて
対象物を指示するものや、対象物の表示範囲内をマウス
等のポインティングデバイスの指示（マウスイベント）
によって対象物を認識するものが知られている。

【０００３】また、図形を指示する場合、B.A.Bolt “P
ut that there"(Computer Graphics, 14,3,1980)ｐｐ２
６２−２７０に開示されているように、ジェスチャーを
伴う指示代名詞の発声で指示する他、図形編集を行う前
に、予め画面上に描かれている物体に名前をつけてお
き、以後この名前を使用するといった方法があった。

【０００４】

【発明が解決しようとする課題】上記の従来技術では、
画面上に指示すべき対象物または物体が離散して存在す
る場合には、画面上の対象物を指やポインティングデバ
イスで指示しながら、「これ」あるいは「この四角形」とい
うような発声指示を行うことは、対象物を特定するのに
十分である。しかし、画面上の対象物が相互に近接し、
あるいは重なりあっているような場合、指等で対象物を
一意に特定するのは困難な場合があり、その指示をより
複雑な音声指示で補う必要が生じることが考えられる。
一方、より複雑な音声指示は誤認識の可能性が高くなる
という問題がある。

【０００５】本発明の目的は、ユーザが、メディアの利
用形態を意識せずに、自然に情報入力出来る様にし、さ
らに音声認識において大きな課題である誤認識を複数の
入力モードを利用することにより減少させ、図形編集、
画像編集等において、ユーザにとって自然で使い勝手の
よい対象物指示方法を提供することにある。

【０００６】

【課題を解決するための手段】上記の問題を解決するた
めに、本発明による複合形態による対象物指示方法は、
表示装置の画面上に表示された複数の表示物の一つを対
象物として指示する際、指もしくはペンによるポインテ
ィング指示と音声による指示とを併用する、複合形態に
よる対象物指示方法であって、前記複数の表示物の相互
の位置関係を求め、該位置関係を表わす表示物知識テー
ブルを作成しておき、前記位置関係を含む音声による表
示物の指示に対する音声認識結果を前記表示物知識テー
ブルの内容に照らして、該音声が指示する対象物候補を
求め、前記ポインティング指示に基づく位置情報を求
め、該ポインティング指示に基づく位置情報と前記対象
物候補とに基づき対象物を特定するようにしたものであ
る。

【０００７】また、本発明による複合形態入力装置は、
情報を表示する情報表示手段と、該情報表示手段の表示
画面上で指もしくはペンを用いて画面上の位置を指示す
るポインティング手段と、音声による指示を認識する音
声認識手段とを備え、ポインティング指示と音声による
指示とを併用して前記表示画面上の複数の表示物の一つ
を対象物として指示する複合形態入力装置であって、少
なくとも前記表示画面上に表示された複数の表示物の名
称を表わす単語および該複数の表示物の相互の位置関係
を表わす単語を含む単語辞書を格納する手段と、前記複
数の表示物の相互の位置関係を求める手段と、該位置関
係を表わす表示物知識テーブルを格納する手段と、前記
ポインティング指示に基づく位置情報を求める手段と、
前記音声認識手段により認識された表示物の名称および
位置関係を前記表示物知識テーブルに照らして、対象物
候補を求めると共に、前記位置情報に照らして該対象物
候補から対象物を特定する対象物特定手段とを備えたも
のである。

【０００８】

【作用】画面に表示されている複数の表示物の相互の位
置関係を記憶している知識テーブルを具備し、ユーザ
が、音声やポインティングジェスチャにより対象物を指
示すると、音声情報とポインティングジェスチャが取り
込まれる。音声入力に対しては、音声認識の手法として
例えば音声情報の形態素解析及び構文解析が行われ、該
解析結果により対象物の図形の名称および他の図形との
位置関係が抽出される。この音声認識結果と図形知識テ
ーブルとの照合により、対象物候補がしぼられる。さら
に、ポインティングジェスチャによって入力された位置
座標に照らして対象物候補群中から対象物が一意に特定
される。

【０００９】また、音声情報解析手段において算出され
た尤度が大きい対象物候補であっても、音声認識誤りの
可能性があり、このような場合にはポインティングジェ
スチャにより指示された範囲に照らしてその対象物候補
が除外されるので、音声認識誤りによる対象物認識誤り
を防止することができる。

【００１０】また、１回の操作によって対象物候補が複
数個認識され、さらに対象物をしぼり込む必要がある場
合には、対象物候補拡大手段によりそれら対象物候補が
位置関係を保って拡大表示され、ユーザが、音声、ポイ
ンティングジェスチャ等を再度入力することにより、候
補をしぼることが可能になる。

【００１１】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。

【００１２】図１は、本発明の一実施例を示すブロック
図である。ここでは、図形編集システムを想定して説明
を行なう。ただし、本発明は、該システムに限らず、Ｃ
ＡＤシステム等、画像処理システム一般への応用が可能
である。

【００１３】図１のシステムは、情報処理装置１、主記
憶装置２、タッチパネル５、このタッチパネル５の制御
装置３、ディスプレイ４、このディスプレイ４を制御す
る表示制御装置６、マイク８、このマイク８の入力信号
をデジタル信号に変換するＡ／Ｄ変換装置７、および各
種プログラムおよびデータを格納する外部記憶装置とし
てのディスク９からなる。

【００１４】ディスク９上のシステムプログラム１１、
図形編集プログラム１２、音響認識プログラム１３、ポ
インティング座標読み込みプログラム１４、対象物指示
プログラム１５、音響標準パタンデータ１６、単語辞書
１７および表示物知識テーブル作成プログラム１８は、
システム立ち上げ時に、主記憶装置２にロードされる。

【００１５】音響認識プログラム１３は、図５に示すよ
うに、音声入力プログラム１３１、特徴抽出プログラム
１３２より構成される。

【００１６】対象物指示プログラム１５は、図１０に示
すように、ポインティング領域認識プログラム１５１、
辞書マッチングプログラム１５２、及び対象物候補拡大
プログラム１５３から構成されている。

【００１７】辞書マッチングプログラム１５２の起動時
に用いられる単語辞書１７は、図１１に示す様に、単語
番号１１１と、各単語番号のスロットに属する互いに意
味の近い類義語の代表単語１１２、及び類義語１１３よ
りなる。例えば、「円」、「まる」という類義語には代
表単語が「円」とされ、「内側」、「内」、「中」「中
側」という類義語には代表単語が「内側」とされてい
る。単語番号１１１は、後述する表示物知識テーブル
（図１１）に定める表示物の相互の位置関係を表わす単
語（例えば、内側、外側）については、表示物知識テー
ブルに格納する関係説明番号と同じにしてある。

【００１８】図１９に、本実施例に処理で用いられる主
記憶装置２上の各種バッファメモリを示す。これらの各
バッファメモリについては、それぞれ利用される処理の
中で言及する。

【００１９】図２は、主記憶装置２にロードされた図形
編集プログラム１２を通じてディスプレイ４に表示され
た図形編集画面の一例である。本例では、画面の大きさ
は、横幅１０００、縦幅７００としている。同図におい
ては、図形編集プログラム１２によって主記憶装置２に
記憶された円描画テーブル、長方形描画テーブル、及び
三角形描画テーブルに基づいて、円７個、長方形１個、
及び三角形１個が、グラフィックモードで描かれてい
る。

【００２０】図３に示すように、円描画テーブルＴＢ１
は、テーブル番号Ｅ＝８０１、円番号１００、中心ｘ座
標１０１、中心ｙ座標１０２、半径１０３及び色番号１
０４より構成され、長方形描画テーブルＴＢ３は、テー
ブル番号Ｅ＝８０２、長方形番号２００、左上頂点のｘ
座標２０１、ｙ座標２０２、縦長２０３、横長２０４及
び色番号２０５より構成される。また、三角形描画テー
ブルＴＢ３は、テーブル番号Ｅ＝８０３、三角形番号３
００、頂点座標１のｘ座標３０１１、頂点座標１のｙ座
標３０１２、頂点座標２のｘ座標３０２１、頂点座標２
のｙ座標３０２２、頂点座標３のｘ座標３０３１、頂点
座標３のｙ座標３０３２及び色番号３０４より構成され
る。色番号については、図形の色が白の場合は“１００
１”、黒の場合は“１００２”、赤の場合には“１００
３”というように記憶される。同図の円描画テーブルＴ
Ｂ１の例では、円番号Ｃ１として中心（２８０、３４
０）、半径５０、色が白の円、円番号Ｃ２として中心
（３９０、２３０）、半径５０、色が黒の円、円番号Ｃ
３として中心（３９０、３４０）、半径２０、色が白の
円、円番号Ｃ４として中心（３９０、３４０）、半径１
０、色が白の円、円番号Ｃ５として中心（５３０、２７
０）、半径４０、色が白の円、円番号Ｃ６として中心
（５３０、２７０）、半径６０、色が白の円の円がそれ
ぞれ描画されている。長方形描画テーブルＴＢ２の例で
は、長方形番号Ｒ１として左上頂点の座標が（１４０、
４６０）、縦長１２０、横長２５０、色が白である長方
形が描画されている。同様に、三角形描画テーブルＴＢ
３の例では、三角形番号Ｔ１として、頂点座標（６２
０、５２０）、（５５０、６６０）、（６８０、６３
０）、色が白である三角形が描画されている。なお、画
面上のＸＹ座標は、画面の左上を原点とする。

【００２１】この時、描画テーブルに描かれている円の
個数、長方形の個数、及び三角形の個数が、主記憶装置
２上のバッファメモリＦ１、Ｆ２及びＦ３に格納されて
いるものとする。すなわち、前記の例では、Ｆ１に
“６”、Ｆ２に“１”、Ｆ３に“１”が格納されてい
る。また、Ｆ１＋Ｆ２＋Ｆ３の値を主記憶装置２上のバ
ッファメモリＷに格納する。本実施例の場合は、Ｗ＝８
となる。さらに、画面表示物全体の通し番号は、円、長
方形、三角形の順に１からＷとつけられる。例えば、通
し番号＝１の図形は、円番号“Ｃ１”の図形、通し番号
＝７の図形は、長方形番号“Ｒ１”の図形となる。

【００２２】また、主記憶装置２上に表示物間の位置関
係を記憶した表示物知識テーブルを設ける。この表示物
知識テーブルは、例えば図４のテーブルＮＴに示す様
に、任意の２個の図形Ａ，Ｂ間の位置関係を、次のよう
に関係説明番号を用いて定義する。すなわち、図形Ａが
図形Ｂの右側にある場合は“６０５０”、左側にある場
合は“６０４０”、図形Ａが図形Ｂと交差している場合
は“７０４０”、図形Ａが図形Ｂに内含されている場合
は“８０４２”（被内含）、図形Ａが図形Ｂを内含して
いる場合は“８０４１”（内含）とする。図形Ａと図形
Ｂとの関係説明番号は、図では１個のみを示している
が、複数の関係説明番号を用いる場合もある。例えば、
右側かつ交差というような場合には、“６０５０”およ
び“７０４０”の２つの関係説明番号が格納される。こ
の表示物知識テーブルＮＴは、表示物間の位置関係だけ
でなく、表示物の属性、例えば、自動車⊃窓（自動車の
窓）の関係等を記憶することも可能である。

【００２３】図１８に、表示物知識テーブル作成プログ
ラムの処理フローを示す。この処理は、画面上で図形が
入力作成されたときに実行される。

【００２４】まず、個々の図形のすべての輪郭点の座標
値のＸ座標の最大値Ｘｍｘ１および最小値Ｘｍｎ１を抽
出し（ｓ１８１）、次に、Ｘｍｎ１＜Ｘｂ＜Ｘｍｘ１の
範囲にあるＸｂを座標値として持つ臨界点を抽出し、さ
らにその最小値Ｙｍｎ１（Ｘｂ）および最大値Ｙｍｘ１
（Ｘｂ）を求める（ｓ１８２）。そこで、表示されてい
る図形の全ての組み合わせについて、個々の図形のＸｍ
ｎ１＜Ｘｂ＜Ｘｍｘ１、Ｙｍｎ１（Ｘｂ）＜Ｙｂ＜Ｙｍ
ｘ１（Ｘｂ）の範囲について、２つの図形の共通座標の
有無を考慮して包含関係（交差関係も含む）を判断する
（ｓ１８３）。さらに、個々の図形のＸ最大値と最小値
の平均値ＸｎｉおよびＹ最大値と最小値の平均値Ｙｎｉ
を算出し（ｓ１８４）、表示されている図形のすべてに
ついて（Ｘｎｉ，Ｙｎｉ）の比較を行い、相互の位置関
係を抽出する（ｓ１８５）。このようにして得られた結
果は、図４の表示図形知識テーブルＮＴに格納される。

【００２５】なお、図１８の処理は、一度にすべての図
形について処理するようにしたが、新たな図形が追加さ
れるごとに、その追加図形について既存の図形との位置
関係を求めるようにすることも可能である。

【００２６】図１４に、図形編集プログラム１２起動後
の処理の流れを示す。

【００２７】ユーザは、画面上の表示物のうちから対象
物を１つ指示するものとする。まず、情報処理装置１
は、主記憶装置２上の音響認識プログラム１３を起動し
（ｓ３０１）、さらにポインティング座標読み込みプロ
グラム１４を起動する（ｓ３０２）。音響認識プログラ
ム１３が起動されると、最初に、音声入力プログラム１
３１（図５）が起動される。ユーザは、タッチパネル５
上で、指或いはペン等によって対象物を指示したり（図
６）、マイク４を用いて音声のみ（発声例“長方形”）
によって対象物を指示したりする（図７）（ｓ３０
３）。指等によるポインティング入力あるいは音声入力
のみの指示で不十分な場合は、タッチパネル５上で対象
物を指示しながら同時にマイク４を用いて音声（“内側
の円”）で該対象物を指示する（図８）。音声入力が行
われた場合には、“１”が主記憶装置２上の音声入力識
別バッファメモリＡに書き込まれる。また、音声入力が
行われなかった場合には、“０”が当該バッファメモリ
Ａに書き込まれる。ポインティングが入力された場合に
は、“１”が主記憶装置２上のポインティング入力識別
バッファメモリＢに書き込まれる。また、ポインティン
グが入力されなかった場合には、“０”が主記憶装置２
上のバッファメモリＢに書き込まれる。

【００２８】まず、図８の様な、音声入力とポインティ
ング入力の２つが同時に行われた場合について述べる。
この場合、ユーザの音声が入力されると（ｓ１０１）、
音声入力プログラム１３１によって、この音声信号がＡ
／Ｄ変換装置７に取り込まれ、ディジタル信号に変換さ
れた後（ｓ１０２）、主記憶装置２に送られる。続い
て、特徴抽出プログラム１３２（図５）が起動され、該
ディジタル信号を、１０ｍｓのフレーム周期で、特徴ベ
クトルとして、例えば、斉藤、中田「音声情報処理の基
礎」（オーム社、昭５６）記載のＬＰＣケプストラム係
数の時系列に変換する（ｓ１０３）。ここで、フレーム
周期は１０ｍｓに限定されることなく、２０ｍｓ、３０
ｍｓ等任意に設定することができる。また、特徴ベクト
ルも、ＬＰＣケプストラム係数のみに限定されず、バン
ドパスフィルタの出力等を使用することも可能である。

【００２９】一方、主記憶装置２上のポインティング座
標読み込みプログラム１４は、音響認識プログラム１３
が起動されるのと同時に、情報処理装置１によって起動
され（ｓ３０２）、並列処理が行なわれる。このポイン
ティング座標読み込みプログラム１４起動後の処理の流
れの一例を図１３により説明する。

【００３０】まず、主記憶装置２上のバッファメモリＰ
及びＱをゼロリセットする（ｓ２０１、ｓ２０２）。該
プログラムは、ユーザの指先或いはペン等がタッチパネ
ル５に触れている間（ｓ２０３）、一定時間間隔で接触
座標をパネル制御装置３を通じて取り込み（ｓ２０
４）、座標を取り込む毎にＰをインクリメントし、さら
に主記憶装置２のポインティング領域テーブルとして、
取り込んだｘ座標を配列メモリＸ［Ｐ］へ、ｙ座標を配
列メモリＹ［Ｐ］へ、座標入力時刻を配列メモリＴ
［Ｐ］へ書き込む（ｓ２０５）。ポインティング領域テ
ーブルは、図９のテーブルＰＴに示すように、座標番号
２００、入力時刻２０１、ｘ座標２０２、ｙ座標２０３
より構成されており、一定時間毎に、入力時刻、ｘ座標
及びｙ座標データが、入力された順序で座標番号“１”
から格納されていく。前記例では、１００ｍｓ毎に座標
データを記憶している。また指先或いはペン等が、タッ
チパネル５から離れてからある一定時間Ｔｏが経過する
と書き込みを終了する（ｓ２０３）。

【００３１】図１４に戻り、ユーザによるポインティン
グ入力や音声入力が終了すると、主記憶装置２上の対象
物指示プログラム１５（図１０）が起動される（ｓ３０
４）。まず始めに、バッファメモリＡの値を確認し（ｓ
３０５）、バッファメモリＡが“１”の場合（すなわち
音声入力が行われた場合）には、まず辞書マッチングプ
ログラム１５２が起動され（ｓ３０６）、続いてバッフ
ァメモリＢの値を確認し（ｓ３０７）、バッファメモリ
Ｂが“１”の場合（ポインティング入力が行われた場
合）には、ポインティング領域認識プログラム１５１が
起動される（ｓ３０８）。バッファメモリＡが“０”の
場合（音声入力が行われなかった場合）には、ポインテ
ィング領域認識プログラム１５１が即起動される（ｓ３
１１）。

【００３２】前記図８の例においては、バッファメモリ
Ａが“１”、バッファメモリＢが“１”であるため、ポ
インティング領域認識プログラム１５１および辞書マッ
チングプログラム１５２が共に起動される。

【００３３】図１６により辞書マッチングプログラム１
５２の処理を説明する。先程求められた特徴ベクトルと
音響標準パタンデータ１６とのマッチングが行われる
（ｓ１６１）。これは、例えば、前述した北原他「音声
入力による情報検索システムにおける口語文受理方法の
検討」（日本音響学会、３−５−７、平３）に記載の方
法で行われ、その結果、入力音声は文字列に変換され
る。前記の例をとれば、この文字列は“うちがわのえ
ん”となる。さらに、前記文字列は、従来から行われて
いる方法、例えば、相沢他「計算機によるカナ漢字変
換」（ＮＨＫ技術研究、２５、５、昭４８）に記載され
ているような最長一致法を用いて形態素解析され（ｓ１
６２）、さらに単語辞書１７（図１１）とのマッチング
が行われ、個々の単語は代表単語に集約され、単語番号
を与えられた結果、音声認識結果の尤度の最大値として
（「内側」、名詞、８０４２）、（「の」、格助詞、９
００）、（「円」、名詞、７０１）の様な形態素情報が
得られる。次に、主記憶装置２上に表示物間の位置関係
を記憶した表示図形知識テーブルＮＴ（図４）の円のコ
ラム（図形Ａの一つの縦の欄）にある関係説明番号と、
（「内側」、名詞、８０４２）内の単語番号、すなわち
“８０４２”とがマッチングされ（ｓ１６３）、対象物
候補群が抽出される（ｓ１６４）。本例では、円描画テ
ーブル中の円番号“Ｃ４”、円番号“Ｃ５”が抽出され
る。また、対象物候補数を主記憶装置２上のバッファメ
モリＧに格納する。本実施例では、Ｇ＝２となる。

【００３４】次に、図１５によりポインティング領域認
識プログラム１５１の処理を説明する。主記憶装置２上
のＸ［１］からＸ［Ｐ］に格納されているＸ座標値のう
ちの最小値ＸＭｎと最大値ＸＭｘと、Ｙ［１］からＹ
［Ｐ］に格納されているＹ座標値の内の最小値ＹＭｎと
最大値ＹＭｘを算出し（ｓ１５１）、ＸＭｎ、ＸＭｘの
平均値とＹＭｎ、ＹＭｘの平均値が示す座標（Ｘｎｔ，
Ｙｎｔ）を求める（ｓ１５２）。次に、座標（Ｘｎｔ，
Ｙｎｔ）と対象物候補群中の個々の対象物候補との距離
ｌｇを順次計算し（ｓ１５３）、最も距離が短かった対
象物候補を一意に対象物と特定する（ｓ１５４）。

【００３５】図１４に戻り、図１５のポインティング領
域認識プログラム１５１の処理により対象物候補群中に
（Ｘｎｔ，Ｙｎｔ）から等距離にある対象物候補が複数
個得られた場合には（ｓ３０９）、対象物候補拡大プロ
グラム１５３が起動され（ｓ３１０）、該候補図形群が
位置関係を保って拡大され、再度、音声やポインティン
グによって対象物指示を行う（ｓ３０３）ことにより、
それら複数個のうちから対象物をしぼることができる。

【００３６】図１７により、対象物候補群拡大プログラ
ム１５３の処理を説明する。まず、対象物候補群のある
領域にウィンドウを生成する（ｓ１７１）。続いて、対
象物候補群の相互の位置関係を保ちながら拡大した画像
を該ウィンドウ上に表示する（ｓ１７２）。そこで、ユ
ーザによる再度の指示で対象物を確定した（ｓ１７３）
後、当該ウィンドウを消去する（ｓ１７４）。

【００３７】図８の例において、音声認識の結果、尤度
の最も大きい認識候補が“内側の円”となり、対象物候
補として円Ｃ４，Ｃ５が得られる。かつポインティング
領域認識プログラム１５１により、指示座標から対象物
候補群中の個々の対象物候補の中心座標までの距離が最
小の円Ｃ４が指示された対象物と判定される。

【００３８】なお、図１４のステップｓ３０８では、既
に辞書マッチングプログラム１５２により音声認識の結
果、対象物候補が得られているので、ポインティング領
域認識の処理においては、指示座標と対象物候補の中心
座標との距離を算出することなく、以下のようなより簡
易な方法を用いることができる。すなわち、ポインティ
ングジェスチャにより指示された近傍のＸ方向（または
Ｙ方法）範囲内に、個々の対象物候補の中心座標が内包
されるか否かを調べ、内包される対象物候補が１個存在
すれば、これが指示された対象物と判定される。２個以
上存在すれば、対象物候補群を拡大して再度指示を行
う。内包される対象物候補が存在しなければ、音声誤認
識の可能性があり、音声情報解析手段において算出され
た尤度の次順に大きい方ものについて順次、該尤度に対
応する単語で表わされる対象物の中心座標が、ポインテ
ィングジェスチャにより指示された範囲内に存在するか
どうかを判定し、該範囲内に存在する候補が抽出された
時点で該候補を一意に対象物と特定する。

【００３９】ポインティングジェスチャにより指示され
た範囲としては、例えば、ＸＭｎ−ｄ１≦Ｘｊ≦ＸＭｘ
＋ｄ２（ｄ１，ｄ２の値については後述）で定める座標
Ｘｊの範囲とする。ここで、ｄ１は画面の横幅の１／１
０の長さで、ここではｄ１＝１０とする。また、ｄ２は
画面横幅の１／２０の長さで、ここではｄ２＝５とす
る。ｄ１の方を大きくしたのは、右利きのユーザは図形
の右側を指示すると考えられるからである。左利きのユ
ーザに対してはｄ１，ｄ２の値を逆にする。したがっ
て、ｄ１，ｄ２の値はユーザが設定できるようにするこ
とが好ましい。但し、ポインティングジェスチャにより
指示される範囲を、Ｘ方向でなくＹ方向で定めるように
すれば、すなわち、ＹＭｎ−ｄ１≦Ｙｊ≦ＹＭｘ＋ｄ２
とすれば、利き腕に関係なく、ｄ１＞ｄ２とすればよ
い。

【００４０】なお、図７の様に、音声入力のみ行われた
場合には、“１”が主記憶装置２上の音声入力識別バッ
ファメモリＡに書き込まれ、ポインティング入力識別バ
ッファメモリＢには“０”が書き込まれる。バッファメ
モリＡが“１”、バッファメモリＢが“０”の場合に
は、辞書マッチングプログラム１５２のみが起動され、
求められた特徴ベクトルと音響標準パタンデータ１６と
のマッチングが、前述のように行われ、その結果、入力
音声は文字列に変換される。図７の例では、この文字列
は“ちょうほうけい”となる。さらに、この文字列は、
前述の最長一致法を用いて形態素解析され、さらに単語
辞書とのマッチングが行われた結果、（「長方形」、名
詞）の様な形態素情報が得られる。次に、抽出された名
詞番号と存在するテーブル番号とのマッチングが行わ
れ、本例では、テーブル番号Ｅ＝８０２が抽出される。
該テーブルには、図形Ｒ１の１つしか記憶されていない
ので、Ｒ１が選択され、長方形Ｒ１が画面上で強調表示
（例えば点滅）する。

【００４１】また、図５の様に、ポインティング入力の
み行われた場合には、“０”が主記憶装置２上の音声入
力識別バッファメモリＡに書き込まれ、ポインティング
入力識別バッファメモリＢには“１”が書き込まれる。
バッファメモリＡが“０”、バッファメモリＢが“１”
の場合には、ポインティング領域認識プログラム１５１
のみが起動され、主記憶装置２上のＸ［１］からＸ
［Ｐ］に格納されているＸ座標値のうちの最小値ＸＭｎ
と最大値ＸＭｘと、Ｙ［１］からＹ［Ｐ］に格納されて
いるＹ座標値の内の最小値ＹＭｎと最大値ＹＭｘを算出
し、ＸＭｎ、ＸＭｘの平均値とＹＭｎ、ＹＭｘの平均値
が示す座標（Ｘｎｔ，Ｙｎｔ）と対象物候補群中の個々
の対象物候補との距離を順次計算し、最も距離が短かっ
た対象物候補を一意に対象物と特定する。また、（Ｘｎ
ｔ，Ｙｎｔ）から最も距離が短い対象物候補が複数個あ
る場合には、対象物候補拡大プログラム１５３が起動さ
れて（ｓ３１０）、該候補図形群が位置関係を保って拡
大され、再度、音声やポインティングによって対象物指
示を行うことにより、それら複数個のうちから対象物を
しぼることができる。

【００４２】

【発明の効果】画面に表示されている複数の表示物の包
含関係及び表示物間の位置関係を記憶しているテーブル
を備えることにより、ユーザが入力した音声情報とポイ
ンティングジェスチャによる位置情報から、複数の画面
表示物のうちユーザが意図する対象物を正確に認識する
ことができる。また、音声認識過程において算出された
尤度のうち最大値を持つ単語に対応する表示物が、ポイ
ンティングジェスチャにより指示された或る範囲内に存
在しない場合には、順次大きい尤度を持つ音声認識候補
単語を採用することにより、音声認識誤りによる対象物
誤認識を減少させることができ、ユーザの使い勝手は向
上する。また、１回の操作によって対象物候補が複数個
認識された場合、それら対象物候補を位置関係を保って
拡大表示する機能を備えることにより、１回の入力情報
だけでは対象物を一意に指示することが出来ない場合で
も、早く簡便に対象物を一意に特定できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る図形編集システムを示
すブロック図である。

【図２】実施例の図形編集画面の一例を示す説明図であ
る。

【図３】実施例における描画テーブルのデータ構造の一
例を示す説明図である。

【図４】実施例における表示図形知識テーブルのデータ
構造の一例を示す説明図である。

【図５】実施例における音響認識プログラムのモジュー
ル構成を示す説明図である。

【図６】実施例においてポインティングジェスチャのみ
で対象物を指示している様子を示す図形編集画面の一例
の説明図である。

【図７】実施例において音声のみで対象物を指示してい
る様子を示す図形編集画面の一例の説明図である。

【図８】実施例において音声とポインティングジェスチ
ャの両方を用いて対象物を指示している様子を示す図形
編集画面の一例の説明図である。

【図９】実施例におけるポインティング領域テーブルの
データ構造の一例を示す説明図である。

【図１０】実施例における対象物指示プログラム１５の
モジュール構成を示す説明図である。

【図１１】実施例における単語辞書１７のデータ構造の
一例を示す説明図である。

【図１２】実施例における音響認識プログラム１３起動
後の処理の流れの一例を示すフローチャートである。

【図１３】実施例におけるポインティング座標読み込み
プログラム１４起動後の処理の流れの一例を示すフロー
チャートである。

【図１４】実施例における図形編集プログラム１２起動
後の処理の流れの一例を示すフローチャートである。

【図１５】実施例におけるポインティング領域認識プロ
グラム１５１起動後の処理の流れの一例を示すフローチ
ャートである。

【図１６】実施例における辞書マッチングプログラム１
５２起動後の処理の流れの一例を示すフローチャートで
ある。

【図１７】実施例における対象物候補拡大プログラム１
５３起動後の処理の流れの一例を示すフローチャートで
ある。

【図１８】実施例における表示物知識テーブル作成プロ
グラム１８起動後の処理の流れの一例を示すフローチャ
ートである。

【図１９】実施例において用いるバッファメモリの説明
図である。

【符号の説明】

１…情報処理装置、２…主記憶装置、３…パネル制御装
置、４…ディスプレイ、５…タッチパネル、６…表示制
御装置、７…Ａ／Ｄ変換装置、８…マイク、１１…シス
テムプログラム、１２…図形編集プログラム、１３…音
響認識プログラム、１４…ポインティング座標読み込み
プログラム、１５…対象物指示プログラム、１６…音響
標準パタンデータ、１７…単語辞書、１８…表示物知識
テーブル作成プログラム、

Claims (8)

【特許請求の範囲】
1. 【請求項１】表示装置の画面上に表示された複数の表示
   物の一つを対象物として指示する際、指もしくはペンに
   よるポインティング指示と音声による指示とを併用す
   る、複合形態による対象物指示方法であって、 前記複数の表示物の相互の位置関係を求め、該位置関係
   を表わす表示物知識テーブルを作成しておき、 前記位置関係を含む音声による表示物の指示に対する音
   声認識結果を前記表示物知識テーブルの内容に照らし
   て、該音声が指示する対象物候補を求め、 前記ポインティング指示に基づく位置情報を求め、 該ポインティング指示に基づく位置情報と前記対象物候
   補とに基づき対象物を特定することを特徴とする、複合
   形態による対象物指示方法。
2. 【請求項２】前記音声認識による最も尤度の高い対象物
   候補のうち前記ポインティング指示による指示位置から
   最も近い位置に存在するものを対象物として特定するこ
   とを特徴とする、請求項１記載の複合形態による対象物
   指示方法。
3. 【請求項３】前記ポインティング指示に基づく位置情報
   からその指示範囲を求め、該指示範囲内に、前記音声認
   識による最も尤度の高い対象物候補が存在するとき、そ
   の対象物候補を対象物として特定することを特徴とす
   る、請求項１記載の複合形態による対象物指示方法。
4. 【請求項４】前記指示範囲内に最も尤度の高い対象物候
   補が複数存在するとき、該複数の対象物候補を含む画像
   領域を拡大し、その後、再度、前記指もしくはペンによ
   る指示および音声による指示を受けることを特徴とする
   請求項３記載の、複合形態による表示物指示方法。
5. 【請求項５】前記指示範囲内に最も尤度の高い対象物候
   補が存在しないとき、次に尤度の高い対象物候補が前記
   指示範囲内に存在する場合、その対象物候補を対象物と
   して特定することを特徴とする請求項４記載の、複合形
   態による対象物指示方法。
6. 【請求項６】前記指示範囲は、前記指もしくはペンの指
   示座標の予め定められた近傍の範囲であることを特徴と
   する請求項３、４、または５記載の複合形態による対象
   物指示方法。
7. 【請求項７】情報を表示する情報表示手段と、該情報表
   示手段の表示画面上で指もしくはペンを用いて画面上の
   位置を指示するポインティング手段と、音声による指示
   を認識する音声認識手段とを備え、ポインティング指示
   と音声による指示とを併用して前記表示画面上の複数の
   表示物の一つを対象物として指示する複合形態入力装置
   であって、 少なくとも前記表示画面上に表示された複数の表示物の
   名称を表わす単語および該複数の表示物の相互の位置関
   係を表わす単語を含む単語辞書を格納する手段と、 前記複数の表示物の相互の位置関係を求める手段と、 該位置関係を表わす表示物知識テーブルを格納する手段
   と、 前記ポインティング指示に基づく位置情報を求める手段
   と、 前記音声認識手段により認識された表示物の名称および
   位置関係を前記表示物知識テーブルに照らして、対象物
   候補を求めると共に、前記位置情報に照らして該対象物
   候補から対象物を特定する対象物特定手段と、 を備えたことを特徴とする複合形態入力装置。
8. 【請求項８】前記対象物特定手段により複数の対象物候
   補から一つの対象物を特定できない場合に、それらの対
   象物候補を位置関係を保って拡大する拡大手段を備える
   ことを特徴とする請求項７記載の複合形態入力装置。