JPH0689158A

JPH0689158A - 複合形態情報入力方法

Info

Publication number: JPH0689158A
Application number: JP23983292A
Authority: JP
Inventors: Yoshinori Kitahara; 義典北原; Haru Andou; ハル安藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-09-08
Filing date: 1992-09-08
Publication date: 1994-03-29

Abstract

(57)【要約】【構成】表示装置の表示画面上のオブジェクトをポイ
ンティングしながら、音声入力装置を介して前記オブジ
ェクトに関する処理を音声により指示する複合形態情報
入力方法であって、音声による指示に伴うポインティン
グの位置および個数を求めるステップｓ２０２，ｓ２０
３と、音声による指示に対して音声認識処理により複数
の指示内容候補を求める際に、ポインティングの個数に
応じて前記指示内容候補の数を低減するステップｓ２ａ
と、該低減された指示内容候補の中から認識指示内容を
確定するステップｓ８と、該認識指示内容および前記求
められた位置に基づいて、当該認識指示内容を実行する
ステップｓ９〜ｓ１５とを備えた。【効果】ユーザがシステムに入力したポインティング
情報により音声認識結果の候補列を削減するので、音声
認識の性能向上や処理速度の高速化につながり、ユーザ
が使いやすい対話システムを構成することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パソコン、ワークステ
ーション、ワープロ、電子ファイリングシステム等のＯ
Ａ機器をはじめ、ナビゲーションシステム、ＱＡシステ
ムなど情報検索システム等のユーザインタフェース方式
に関し、ユーザにとって使い勝手のよい情報入力方式を
提供する。

【０００２】

【従来の技術】従来のマンマシン対話方式では、北原他
「音声入力による情報検索システムにおける口語文受理
文法の検討」（日本音響学会春季講演論文集３−５−
７１９９１．３）等に見られるように、音声のみを用
いたものや、藤沢他「概念ネットワークを用いた知的フ
ァイリングシステム」（信学技報ＯＳ８６−４８１
９８７．３）等に見られるように、キーボードとマウス
を用いたものがある。

【０００３】

【発明が解決しようとする課題】上記の従来技術では、
音声入力であれば音声のみ、キーボード入力であればキ
ーボードのみというように、単一メディアによる入力方
式となっていた。しかし、人間同士が対話をするときに
は、単一メディアによることは希で、視線、指先による
オブジェクト（対象物）のポインティング、および音声
による指示等を併用した複合メディアによる場合がほと
んどである。

【０００４】このような観点から、「言語・画像情報を
統合化するユーザインタフェース」情報処理学会第３６
回（昭和６３年前記）全国大会の論文誌第1371〜1372頁
に、自然言語と画像情報とをリンクさせ、言葉から画像
の特定部分を同定する手法が開示されている。

【０００５】日経バイト誌１９９２年６月号、第２２８
〜２３３頁には、画像データベースに対して位置情報を
持たせることにより、地図中の建物などをデータグロー
ブによる指先の指示と、あいまいな言語表現で検索する
システムが開示されている。

【０００６】また、コンピュータグラフィックス(Compu
ter Graphics)誌、Vol.14, No.3,1980の第２６２〜２７
０頁には、音声入力およびジェスチャー認識を統合する
ことにより、グラフィックスディスプレイ上でのイベン
トを指令するものが開示されている。例えば、“Move t
hat to the right of the green square"という音声お
よびジェスチャーによる指令により、図形の移動を行う
ことを示している。

【０００７】これらの従来技術は、マルチメディアを利
用した検索等の実現を示唆しているが、ディスプレイ上
の位置のポインティングに付随した入力音声の具体的な
認識手法については開示していない。特に、複数の箇所
をポインティングしながら音声指示を行う場合の処理に
は全く言及していない。複数文書編集、図形編集、情報
検索システム等においては、複数の箇所をポインティン
グしながらの音声指示が必要な場合があり、このような
場合にも良好な応答性を確保するためには、音声認識の
精度および処理速度が問題となる。

【０００８】そこで、本発明の目的は、複合形態（複合
メディア）を利用して文書編集、図形編集、情報検索シ
ステム等のインタフェースを実現する際に、ポインティ
ング情報を利用して音声認識の精度および速度を向上さ
せることができる複合形態情報入力方法を提供すること
にある。

【０００９】

【課題を解決するための手段】本発明による複合形態情
報入力方法は、表示装置の表示画面上のオブジェクトを
ポインティングしながら、音声入力装置を介して前記オ
ブジェクトに関する処理を音声により指示する複合形態
情報入力方法であって、前記音声による指示に伴うポイ
ンティングの位置および個数を求めるステップと、前記
音声による指示に対して音声認識処理により複数の指示
内容候補を求める際に、前記ポインティングの個数に応
じて前記指示内容候補の数を低減するステップと、該低
減された指示内容候補の中から認識指示内容を確定する
ステップと、該認識指示内容および前記求められた位置
に基づいて、当該認識指示内容を実行するステップとを
備えたことを特徴とする。

【００１０】ポインティングは、タッチパネル、マウ
ス、ペン、トラックボール等の任意のデバイスを用いて
行うことができる。ポインティングは、オブジェクトを
指示するだけでなく、画面上の任意の位置を指示するこ
とができる。

【００１１】音声による指示においてオブジェクトを指
示する単語としては、「これ」、「それ」、「あれ」、
「ここ」、「そこ」、「あそこ」等の指示代名詞、「こ
の」、「その」、「あの」等の連体詞を含む。

【００１２】

【作用】本発明の代表的な装置構成における作用を以下
説明する。

【００１３】ユーザがタッチパネル上をポインティング
しながらマイクを用いて発話した音声は、音響認識プロ
グラムにより、Ａ／Ｄ変換装置に取り込まれ、ディジタ
ル信号に変換された後、特徴ベクトル列に変換される。
前記音響認識プログラムが起動されるのと同時にポイン
ティング座標読み込みプログラムが起動され、ユーザの
指がタッチパネルの表面に接触する度に、該接触座標を
パネル制御装置を通じて、主記憶装置のポインティング
座標テーブルに取り込む。

【００１４】ユーザによるポインティング及び発声が終
了すると、情報統合プログラムが起動され、標準音響パ
ラメータ、文法ファイル、単語辞書を用いて、最も尤も
らしい候補文（指示内容）を選択し、該候補文中のオブ
ジェクト代名詞及び位置代名詞に、時間的順序に従っ
て、ポインティング情報を対応させる。最も尤もらしい
候補文の選択に先立ち、ポインティングの個数に応じて
該当しえないスロットを含む候補文が除外される。

【００１５】続いて、指示代名詞に対応する位置とオブ
ジェクトとの距離を算出し、該距離値の最小であるもの
を該指示代名詞に対応するオブジェクトと判定する。さ
らに、前記候補文中の特定スロットに対応する指示（コ
マンド）を該対象オブジェクトに適用するように動作
し、ユーザは音声とポインティングにより容易に文書編
集、図形編集、情報検索等を行うことができる。

【００１６】

【実施例】以下、本発明の実施例を図を用いて説明す
る。図１は、本発明の複合形態情報入力方法を実現する
装置の構成を示すブロック図である。ここでは、図形編
集システムを想定して説明を行なう。

【００１７】本システムは、情報処理装置１、主記憶装
置２、パネル制御装置３、ディスプレイ４、タッチパネ
ル５、表示制御装置６、Ａ／Ｄ変換装置７、マイク８、
磁気ディスク９からなる。磁気ディスク９には、システ
ムプログラム１１、図形編集プログラム１２、音響認識
プログラム１３、ポインティング座標読み込みプログラ
ム１４、情報統合プログラム１５、音響標準パタンデー
タ１６、文法ファイル１７、単語辞書１８が格納されて
おり、これらは、システム立ち上げ時に、主記憶装置２
にロードされる。

【００１８】音響認識プログラム１３は、図４に示すよ
うに、音声入力プログラム１３００、特徴抽出プログラ
ム１３０１より構成される。

【００１９】情報統合プログラム１５は、図６に示すよ
うに、文法照合プログラム１５００、オブジェクト図形
抽出プログラム１５０１、コマンド抽出プログラム１５
０２のモジュールから構成される。

【００２０】音響標準パタンデータ１６は、予め、例え
ば音節単位で、ＬＰＣケプストラム係数の時系列の集合
を記憶しておくものであり、その詳細については後述す
る。

【００２１】文法ファイル１７は、認識対象とする文の
テンプレートを正規文法として記憶したファイルであ
り、詳細は後述する。

【００２２】単語辞書１８は、図７に示すように、互い
に意味の近い類義語の集合３０１ごとに別個のスロット
番号３００を付したものであり、例えば、スロット番号
“８００”には、単語群「これ」、「この図形」、「こ
ちら」を登録し、スロット番号“８０２”には、単語群
「複写し」、「コピーし」を登録しておく。

【００２３】図２に、主記憶装置２にロードされた図形
編集プログラム１２を通じてディスプレイ４に表示され
た図形編集画面の一例を示す。

【００２４】同図においては、円Ｃ及び長方形Ｄが、図
形編集プログラム１２によって主記憶装置２に記憶され
た円描画テーブル及び長方形描画テーブルに基づいて、
グラフィックモードで描かれている。図３に示すよう
に、該円描画テーブル１０４は、円番号１００、中心ｘ
座標１０１、中心ｙ座標１０２および半径１０３より構
成され、長方形描画テーブル１０９は、左上頂点の長方
形番号１０４、ｘ座標１０５、ｙ座標１０６及び縦長１
０７、横長１０８より構成される。同図の円描画テーブ
ル１０４の例では、中心（２９０、４１０）、半径３０
の円が１パタン描画されており、同長方形描画テーブル
１０９の例では、左上頂点の座標が（３１０，２０）、
縦長５０、横長９０である長方形が１パタン描画されて
いる。この時、描画テーブル１０４、１０９に書かれて
いる円の個数及び長方形の個数が、主記憶装置２上の、
図形個数変数として使用するバッファメモリ領域Ｆ１、
Ｆ２（図示せず）にそれぞれ格納されているものとす
る。すなわち、前記の例では、Ｆ１に“１”、Ｆ２に
“１”がそれぞれ格納されている。

【００２５】図５に、ユーザによる指示座標を管理する
ポインティング座標テーブル２０３の構成を示す。ポイ
ンティング座標テーブル２０３は、座標番号２００、ｘ
座標２０１、ｙ座標２０２より構成されており、入力さ
れた順序にｘ座標及びｙ座標が、座標番号“１”から順
に格納されていく。

【００２６】図１に示したシステムの動作について、図
１５、図１６及び図１７に示すＰＡＤ(Problem Analysi
s Diagram)により説明を進める。

【００２７】まず、図１５により、音響認識プログラム
１３起動後の処理の流れを説明する。

【００２８】ユーザは、図２に示すように、円ＣをＢ点
に移動させたい意図を指先による指示により入力するも
のとする。すなわち、タッチパネル５上で、Ａ点、続い
てＢ点をポインティングすることにより行われる。これ
に応じて、情報処理装置１は、主記憶装置２上の音響認
識プログラム１３を起動する。音響認識プログラム１３
が起動されると、最初に、音声入力プログラム１３００
が起動される。ユーザは、指先による指示に伴い、“こ
れをここに移動して。”と発話し、この音声をマイク４
から入力する（ｓ１０１）。入力された音声は、音声入
力プログラム１３００によって、Ａ／Ｄ変換装置７に取
り込まれ、ディジタル信号に変換された後、主記憶装置
２に送られる（ｓ１０２）。続いて、特徴抽出プログラ
ム１３０１が起動され、前記ディジタル信号が、１０ｍ
ｓのフレーム周期で、特徴ベクトルとしてのＬＰＣケプ
ストラム係数の時系列に変換される（ｓ１０３）。特徴
ベクトルとしてのＬＰＣケプストラム係数についての詳
細は、例えば、斉藤、中田「音声情報処理の基礎」（オ
ーム社、昭５６）に記載されている。なお、フレーム周
期は１０ｍｓに限定するものではなく、２０ｍｓ、３０
ｍｓ等任意に設定することができる。また、特徴ベクト
ルも、ＬＰＣケプストラム係数のみに限定されず、バン
ドパスフィルタの出力等を使用することも可能である。

【００２９】一方、主記憶装置２上のポインティング座
標読み込みプログラム１４は、音響認識プログラム１３
が起動されるのと同時に、情報処理装置１によって起動
され、並列処理が行なわれる。図１６により、ポインテ
ィング座標読み込みプログラム１４起動後の処理の流れ
を説明する。

【００３０】まず、主記憶装置２上の、座標番号変数と
して使用するバッファメモリ領域Ｐ０をゼロリセットす
る（ｓ２０１）。ポインティング座標読み込みプログラ
ム１４は、ユーザの指がタッチパネル５の表面に接触す
る度に、主記憶装置２上のバッファメモリ領域Ｐ０をイ
ンクリメントし（ｓ２０２）、該接触座標を、パネル制
御装置３を通じて、主記憶装置２のポインティング座標
テーブル２０３中の、バッファメモリ領域Ｐ０の値で指
定される「座標番号」の個所に書き込む（ｓ２０３）。
図５の例では、図２の図形編集において、Ａ点の座標が
（３５０，４２８）、Ｂ点の座標が（６７６，１５４）
である場合のポインティング座標テーブル２０３を表わ
している。

【００３１】以上の動作終了後、主記憶装置２上のバッ
ファメモリ領域Ｐ０にはポインティング座標の個数（こ
の例では“２”）が格納されていることになる。

【００３２】ユーザによるポインティング及び発声が終
了すると、主記憶装置２上の情報統合プログラム１５が
起動される。情報統合プログラム１５は、前述のよう
に、文法照合プログラム１５００、オブジェクト図形抽
出プログラム１５０１、コマンド抽出プログラム１５０
２のモジュールから構成されており、まず、文法照合プ
ログラム１５００が起動される。

【００３３】文法照合プログラム１５００は、音響標準
パタンデータ（標準音響パラメータ）１６、文法ファイ
ル１７、および単語辞書１８を用いて、尤もらしい候補
文を選択する。

【００３４】文法ファイル１７は、前述のように、認識
対象とする文のテンプレートを正規文法として記憶した
ファイルであり、図７に示した単語辞書中の単語の可能
な組み合わせをスロット番号の列（スロット列）とし
て、例えば図８のような有限オートマトンの形で書き込
んでおく。スロット列の代わりに、単語辞書１８中の単
語あるいは音響パラメータをそのままアークに書き込ん
でおいてもよい。同図における状態９０１〜９０９の中
で、二重丸を施してあるものは最終状態を表わす。同図
の文法例では、以下の９通りの文が表現されていること
になる。

【００３５】 1) ８００−８０７−８０１−８０６−８０２−８０８ 2) ８００−８０７−８０１−８０６−８０２−８０５
−８０９ 3) ８００−８０７−８０１−８０６−８０２−８０５ 4) ８００−８０７−８０１−８０６−８０４−８０５
−８０９ 5) ８００−８０７−８０１−８０６−８０４−８０５ 6) ８００−８０７−８０１−８０６−８０４−８０８ 7) ８００−８０７−８０３−８０５−８０９ 8) ８００−８０７−８０３−８０５ 9) ８００−８０７−８０３−８０８ここで、後述する処理で使用する禁止パステーブル５０
２の構成を図９により説明する。本実施例では、ユーザ
の発声した音声認識処理にポインティング座標の個数を
利用する。これは、ポインティング個数が特定数の場
合、図８の９個のパスの内、特定のパスは通過すること
がない、ということが予め分かっていることを前提とし
ている。そこで、図９に示すように、ポインティング個
数ごとに通過することがないと分かっているパスのアー
クを禁止パステーブル５０２に登録しておく。本実施例
では、ポインティング個数が“１”の場合、複写を意味
するスロット８０２および移動を意味するスロット８０
４は該当しえない。そこで、これらのアークを禁止パス
テーブル５０２に登録することができる。但し、図８の
有限オートマトンでは、スロット８０２および８０４の
アークを通る場合は、必ずアーク９０３−９０４を通る
ので、本例ではこのアークを禁止パスとして登録してい
る。勿論、アーク９０３−９０４の代わりに、アーク９
０５−９０７およびアーク９０５−９０６を禁止パスと
して登録してもよい。また、ポインティング個数が
“２”の場合、削除を意味するスロット８０３は該当し
えない。そこで、スロット８０３のアーク９０３−９０
６を禁止パスとして登録している。これにより、ユーザ
が入力したポインティング情報により音声認識結果の候
補列を削減でき、音声認識の性能向上や処理速度の高速
化を図ることができる。

【００３６】図１７に、情報統合プログラム１５起動後
の処理の流れを示す。文法照合プログラム１５００（図
６）は、文法ファイル１７より文法を読み込み（ｓ
１）、主記憶装置２上の、有効パス番号変数として使用
するバッファメモリ領域Ｍ０をゼロリセットした（ｓ
２）後、該文法中の全てのパスについて以下のステップ
ｓ３からステップｓ７までの動作手続きを繰り返す。但
し、図９に示す禁止パステーブル５０２を参照し、主記
憶装置２上のバッファメモリ領域Ｐ０に格納されている
ポインティング座標の個数に対応する該禁止パステーブ
ル５０２に格納されているポインティング個数５００に
対応する禁止パス５０１が、当該パス中に存在するなら
ば、そのパスについてはｓ３からステップｓ７の処理を
省略する（ｓ２ａ）。

【００３７】まず、バッファメモリ領域Ｍ０の値をイン
クリメントし（ｓ３）、第Ｍ０番目のパスについて、初
期状態９０１から順次状態遷移をしていき、遷移によっ
て得られるスロット系列を主記憶装置２上のバッファメ
モリ領域Ｍ０を要素とする配列バッファメモリ領域Ｍ１
［Ｍ０］に格納する（ｓ４）。さらに、単語辞書１８中
のスロット３００に対応する単語３０１を用いて、各ア
ーク上のスロットを単語で置換して単語系列を生成する
（ｓ５）。

【００３８】例えば図８の例では、第１回目には、初期
状態９０１から状態９０２、９０３、９０４、９０５、
９０７、最終状態９０９、と順次遷移する（第１番目の
パス）。このパスでは、アーク９０１−９０２に対応す
るスロットである“８００”からアーク９０７−９０９
に対応するスロットである“８０８”までのスロットの
系列を作る。主記憶装置２上のバッファメモリ領域Ｍ０
の値“１”を要素とする配列として使用するバッファメ
モリ領域Ｍ１［１］に、該スロット系列“８００−８０
７−８０１−８０６−８０２−８０８”を格納する。こ
の時、主記憶装置２上のバッファメモリ領域Ｐ０に格納
されているポインティング座標の個数は“２”であり、
禁止パステーブル５０２（図９）中のポインティング個
数５００の“２”に対応する禁止パス５０１としてアー
ク９０３−９０６が存在する。したがって、このパスに
ついては、ステップｓ３〜ｓ７は省略される。これによ
り、認識精度が向上するとともに、処理速度が向上す
る。

【００３９】次に、前記スロットについて、単語辞書１
８中のスロット３００に対応する単語３０１との照合を
順次行なう。すなわち、まず、第１項目“８００”を、
単語辞書１８中のスロット３００中より検出し、続い
て、対応する単語３０１の各々、「これ」、「このずけ
い」、「こちら」、「こっち」を用いて、図１０に示す
ように該系列を項目とするラティスを生成する。

【００４０】以下、第２項目“８０７”、第３項目“８
０１”、第４項目“８０６”、第５項目“８０２”、第
６項目“８０８”について、単語辞書１８中のスロット
番号３００に対応する単語３０１を順次設定する。

【００４１】次に、該ラティス上の各単語４０１につい
て、音響標準パタンデータ１６を用いて音響パラメータ
を付加する。音響標準パタンデータ１６には、予め、音
節単位で、ＬＰＣケプストラム係数の時系列の集合、例
えば、音節「あ」については｛ｃ¹ ₁，ｃ¹ ₂，…，ｃ¹n｝
ｔア、音節「い」については｛ｃ² ₁，ｃ² ₂，…，ｃ²n｝
ｔイを記憶しておき、前記生成された文の単語毎の読み
列にしたがって配列する（ｓ６）。例えば、単語が「こ
れ」であると、｛ｃ³ ₁，ｃ³ ₂，…，ｃ³n｝ｔコ｛ｃ⁴ ₁，ｃ⁴ ₂，…，ｃ⁴n｝ｔレが、この順に配列される。標準音響パラメータの単位は
音節のみに限らず、音韻、音韻連鎖、単語、文節等を使
用することもできる。

【００４２】次に、該ラティス上の音響パラメータの付
加された単語の行方向の組み合わせにより、以下のよう
に、すべての単語系列を求める。

【００４３】１．これをここにふくしゃしたい２．このずけいをここにふくしゃしたい３．こちらをここにふくしゃしたい４．これをこちらにふくしゃしたい：３６．こちらをこっちにこぴいしたいこれらの各々について、特徴抽出プログラム１３０１よ
り送出された入力音声のＬＰＣケプストラム係数の時系
列｛Ｃ₁、Ｃ₂、…、Ｃ_n｝Tと照合し、両系列間の距離ｄ
を算出し、前記ラティス上の全ての組合せから生成され
る単語系列の中の距離ｄの最小値を求める。この最小値
を、主記憶装置２上のバッファメモリ領域Ｍ０を要素と
する配列として使用するバッファメモリ領域Ｍ２［Ｍ
０］に書き込む（ｓ７）。ＬＰＣケプストラム係数間の
距離ｄとしては、次式で示すようなＬＰＣケプストラム
係数のユークリッド距離を用いる。時系列間の距離Ｄ
は、前記距離ｄを用いて求める。そのためには、例え
ば、小池他「音声情報工学」（（株）ＮＴＴ技術移転発
行、昭和６２−８）に記載されているような動的計画法
等の手法によって非線形に両系列を伸縮照合しながら距
離を算出する。

【００４４】

【数１】

【００４５】ここで、ｎは分析次数であり、正の整数の
範囲内で任意に設定することができる。例えば、前記３
６単語系列のうち、“これをこちらにふくしゃ
したい”の距離Ｄ“１２３４”が最小であれば、主記憶
装置２上のバッファメモリ領域Ｍ０の値“１”を要素と
する配列バッファメモリ領域Ｍ２［１］に“１２３４”
を格納する。

【００４６】文法中の全文について、前記手続きにより
算出された配列バッファメモリ領域Ｍ２［１］からＭ２
［Ｍ０］に格納されている入力音声の特徴ベクトルの時
系列との距離の最小値のうち、値が最小であるものを検
出し、該要素番号をｉとしたとき、Ｍ１［ｉ］を認識候
補スロット列とする（ｓ８）。前記の例では、図１１に
示すような候補系列が得られたとすると、６番目の系列８００−８０７−８０１−８０６−８０４−８０８と、入力音声の特徴ベクトルの時系列との距離値Ｍ２
［６］＝“３４５”が最小であり、該系列Ｍ１［６］が
認識候補スロット列となる。以上の正規文法を用いた音
声言語解析は、一例であり、一般によく知られている形
態素解析等の手法を用いて行うこともできる。

【００４７】次に、オブジェクト図形抽出プログラム１
５０１が起動される。認識候補スロット列Ｍ１［ｉ］の
うち、スロット８００はオブジェクト代名詞であり、ス
ロット８０１は位置代名詞である。該両スロットには、
時間的順序に従って、前記ポインティング座標テーブル
２０３（図５）に格納されているポインティング座標が
座標番号２００の順に対応する（ｓ９）。まず、前記認
識候補スロット列の例Ｍ１［６］においては、スロット
８００が時間的に最初に存在するものであり、ポインテ
ィング座標テーブル２０３に格納されている第１ポイン
ティング座標すなわちＡ点の座標（３５０，４２８）が
対応する。次に、スロット８０１に、ポインティング座
標テーブル２０３に格納されている第２ポインティング
座標すなわちＢ点の座標（６７６，１５４）が対応す
る。このとき、スロット８０１に後続してスロット８０
６が存在すれば、該第２ポインティングｘ座標及びｙ座
標を、それぞれ主記憶装置２上のバッファメモリ領域Ｐ
１、Ｐ２に格納する（ｓ１０、ｓ１１）。したがって、
前記の例では、Ｐ１に“６７６”、Ｐ２に“１５４”が
各々格納される。

【００４８】続いて、該オブジェクト代名詞スロットす
なわちＡ点が対応するオブジェクト図形を抽出する。前
述のように、本実施例では、ディスプレイ上に２種類の
図形Ｃ及びＤが円描画テーブル及び長方形描画テーブル
に基づいて各々描かれている。そこで、図２で示したＡ
点の座標（３５０，４２８）と図形Ｃ及びＤとの距離を
各々求め（ｓ１２）、該距離値の最小である方の図形を
オブジェクト図形と判定し（ｓ１３）、本実施例では図
形Ｃすなわち円であれば値“１”を、図形Ｄすなわち長
方形であれば値“２”を主記憶装置２上の、図形番号変
数としてのバッファメモリ領域Ｍ３に格納する。ここ
で、点と図形間の距離とは点と図形の輪郭線との幾何学
的最短距離とする。

【００４９】一般に、中心が（ｘ₀，ｙ₀）、半径ａの円
Ｓの輪郭線と、中心以外の点Ｔ(ｘ₁，ｙ₁）との距離ｄ
_STは、次式で求められる。

【００５０】

【数２】

【００５１】ただし、このとき、

【００５２】

【数３】

【００５３】であれば、他の図形の距離と比較すること
なく、該円がユーザのポインティングしているオブジェ
クト図形であると判定する。

【００５４】まず、図形Ｃと第１ポイント座標すなわち
Ａ点の座標（３５０，４２８）との間の距離を求める。
図形Ｃは中心（２９０，４１０）、半径３０の円であ
り、Ａ点との距離ｄ_ACは“３３”となる。

【００５５】次に、図形Ｄと第１ポイント座標すなわち
Ａ点の座標（３５０，４２８）との間の距離を求める。
一般に、左上頂点の座標が（ｘ₀，ｙ₀）、縦長ｈ、横長
ｗである長方形Ｕの輪郭線と点Ｔ（ｘ₁，ｙ₁）との距離
ｄ_UTは、次式で求められる。

【００５６】

【数４】

【００５７】また、このとき、

【００５８】

【数５】

【００５９】であれば、該長方形がユーザのポインティ
ングしているオブジェクト図形であると判定する。

【００６０】そこで、図形Ｄと第１ポイント座標すなわ
ちＡ点の座標（３５０，４２８）との間の距離を求め
る。図形Ｄは左上頂点の座標が（３１０，２０）、縦長
５０、横長９０の長方形であり、Ａ点との距離ｄ_ADは
“３５８”となる。

【００６１】よって、ｄ_UT＜ｄ_ADであり、円である図形
Ｃをオブジェクト図形と判定する。したがって、主記憶
装置２上のバッファメモリ領域Ｍ３には値“１”が格納
される。

【００６２】次に、コマンド抽出プログラム１５０２が
起動される。該プログラムは、認識候補スロット列中に
存在する特定のスロット、主記憶装置２上のバッファメ
モリ領域Ｍ３、Ｆ１及びＦ２の値に応じて、図形描画テ
ーブル制御ルール６０２（図１２で後述）を参照し、図
形描画テーブルを書換える。主記憶装置２上のバッファ
メモリ領域Ｍ３の値が“１”であれば、図形描画テーブ
ル制御ルール６０２にしたがって円描画テーブル１０４
を書換え（ｓ１４）、Ｍ３の値が“２”であれば、図形
描画テーブル制御ルール６０２にしたがって長方形描画
テーブル１０９を書換えることになる（ｓ１５）。

【００６３】描画テーブル制御ルール６０２は、図１２
に示すように、スロット番号６００及び制御ルール６０
１より構成される。まず、認識候補スロット列の全スロ
ットと図形描画テーブル制御ルール６０２中のスロット
番号６００とを順次比較し、一致したスロット番号に対
応する制御ルール６０１を適用する。前記の認識候補ス
ロット列“８００−８０７−８０１−８０６−８０４−
８０８”の例では、スロット８００、８０７、…８０８
を順次図形描画テーブル制御ルール中のスロット番号６
００とを比較していき、８０４が一致をみる。該スロッ
ト番号８０４に対応する制御ルール６０１において、主
記憶装置２上のバッファメモリ領域Ｍ３の値は“１”で
あるので、円描画テーブル１０４の円番号がバッファメ
モリ領域Ｆ１の値すなわち“１”である行の中心のｘ座
標をＰ１の値“６７６”、ｙ座標をＰ２の値“１５４”
に書換え、図１３に示すような円描画テーブル１０４が
得られる。該円描画テーブル１０４により、図形編集プ
ログラム１２は図１４に示すような編集画面を再表示す
る。

【００６４】以上、本発明の好適な実施例についてのみ
説明したが、種々の変更が可能である。例えば、上記実
施例では説明を簡単にするために表示図形を円および長
方形に限定して説明したが、他の図形を排除するもので
はない。

【００６５】

【発明の効果】以上説明したように、本発明によれば、
ユーザがシステムに入力したポインティング情報により
音声認識結果の候補列を削減するので、音声認識の性能
向上や処理速度の高速化につながり、ユーザが使いやす
い対話システムを構成することができる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】図形編集画面の一例を示す図である。

【図３】円描画テーブル及び長方形描画テーブルのデー
タ構造を示す図である。

【図４】音響認識プログラムのモジュール構成を示す図
である。

【図５】ポインティング座標テーブルのデータ構造を示
す図である。

【図６】情報統合プログラムのモジュール構成を示す図
である。

【図７】単語辞書のデータ構造を示す図である。

【図８】文法ファイルに書き込まれる有限オートマトン
の一例を示す図である。

【図９】禁止パステーブルのデータ構造を示す図であ
る。

【図１０】スロット列より生成されるラティスの一例を
示す図である。

【図１１】候補系列と距離の一例を示す図である。

【図１２】図形描画テーブル制御ルールを示す図であ
る。

【図１３】書換えられた円描画テーブルを示す図であ
る。

【図１４】再表示後の画面の一例を示す図である。

【図１５】音響認識プログラム起動後の処理の流れを示
すＰＡＤである。

【図１６】ポインティング座標読み込みプログラム起動
後の処理の流れを示すＰＡＤである。

【図１７】情報統合プログラム起動後の処理の流れを示
すＰＡＤである。

【符号の説明】

１…情報処理装置、２…主記憶装置、３…パネル制御装
置、４…ディスプレイ、５…タッチパネル、６…表示制
御装置、７…Ａ／Ｄ変換装置、８…マイク、９…磁気デ
ィスク、１１…システムプログラム、１２…図形編集プ
ログラム、１３…音響認識プログラム、１４…ポインテ
ィング座標読み込みプログラム、１５…情報統合プログ
ラム、１６…音響標準パタンデータ、１７…文法ファイ
ル、１８…単語辞書、１０４…円描画テーブル、１０９
…長方形描画テーブル、６０２…図形描画テーブル制御
ルール、２０３…ポインティング座標テーブル。

Claims

【特許請求の範囲】

【請求項１】表示装置の表示画面上のオブジェクトをポ
インティングしながら、音声入力装置を介して前記オブ
ジェクトに関する処理を音声により指示する複合形態情
報入力方法であって、前記音声による指示に伴うポインティングの位置および
個数を求めるステップと、前記音声による指示に対して音声認識処理により複数の
指示内容候補を求める際に、前記ポインティングの個数
に応じて前記指示内容候補の数を低減するステップと、該低減された指示内容候補の中から認識指示内容を確定
するステップと、該認識指示内容および前記求められた位置に基づいて、
当該認識指示内容を実行するステップと、を備えたことを特徴とする複合形態情報入力方法。
【請求項２】前記実行するステップでは、前記指示内容
が、複数のオブジェクトを指示する単語を含む場合、該
複数の単語と前記ポインティングの位置とを、それぞれ
入力された時間的順序で対応させることを特徴とする請
求項１記載の複合形態情報入力方法。
【請求項３】前記確定するステップは、前記音声による
指示に用いられる単語を予め定めた単語辞書を用いて入
力音声と比較するステップを含むことを特徴とする請求
項１記載の複合形態情報入力方法。
【請求項４】前記単語辞書では前記単語を類義語ごとに
別個のスロットとして管理し、該スロットの可能な組合
せを文法情報として予め用意し、該文法情報に基づいて
前記指示内容候補を求めることを特徴とする請求項３記
載の複合形態情報入力方法。
【請求項５】前記低減するステップにおいて、前記ポイ
ンティングの個数ごとに、使用されえないスロットを予
め定めておき、前記求められたポインティングの個数に
基づいて当該使用されえないスロットを含むスロットの
組合せを排除することにより、前記指示内容候補の数の
低減を行うことを特徴とする請求項４記載の複合形態情
報入力方法。
【請求項６】前記実行するステップは、前記表示画面に
複数のオブジェクトが表示されている場合、前記ポイン
ティングの位置と、各オブジェクトの輪郭線との幾何学
的最短距離を求め、該幾何学的最短距離が最小であるオ
ブジェクトが指示されたと判断するステップを含むこと
を特徴とする請求項１記載の複合形態情報入力方法。