JPS60146327A - 計算機対話方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は計算機とオペレータとの対話方式に係り、特に
利用者から計算機への情報の入力方式に関する６ 〔発明の背景〕 近年、「オフィスオートメーション」を背景に文書処理
の自動化を支援するワードプロセッサや図形・画像処理
端末（装置）が広く使われるようになってきた。その結
果、従来とは異なって専任オペレータでない素人がこれ
らの情報処理装置（計算機）を操作することが普通とな
った。

また、上記ワードプロセッサや図形・画像処理端末では
、従来の計算機応用とは異なり、不定形業務を行うため
オペレータと装置との対話に費す時間の割合が大きくな
った。

これらの理由から、オフィスオートメーションの目的で
ある事務処理の生産性向上のためには、これら情報処理
装置が素人にとって、またＩＭ繁な対話が繰返えされる
場合において、対話効率のよいマンマシンインターフェ
ース（対話方式）をもつことが重点課題となってきた。

従来、もつとも素人にとって効率のよい静話方式は、情
報表示装置のディスプレイ上に情報処理装置の取りうる
動作のメニュー（命令のメニュー）を表示して、オペレ
ータはカーソル選択するメニュー上に移動するか、メニ
ューに付されている番号を入力するかして動作を指定す
るものと考えられている。

この方式では、命令のメニューがディスプレイの上、下
、左、または右の端の部分に表示されていて、ある命令
を実行するには、命令を選択する前に、命令が作用する
対象であるオペランド（ワードプロセシングの場合は、
単一文字９文字列。

行２節など）を指定する必要がある。

これらの指定方法の現状での最適なものはカーソルを縦
横自在に移動せしめるボインティング手段（ジョイステ
ィック、トラッキングボール、マウスなど）による方法
である。タッチパネルを直接指で触れて指定する方法も
あるが、タッチパネルは位置の分解能が低いという欠点
をもつ。

このような方法ではオペランドの指定と命令種の指定を
一つのボインティング手段に頼っているためにカーソル
を上下、左右に頻繁に移動させねばならず、作業効率は
必ずしも高くない。ボインティング手段を用いずに、キ
ーボードで、カーソルを移動して選択指示をする方式も
多く用いられているが、この場合は特に作業効率が低い
。

更に、命令の種類が多い場合はメニューをすべて表示不
可能であり、スクロールして捜すなどの操作が必要であ
り、さらに手間がかかる。

また更には、オペランドが複数の場合はそれらオペラン
ドの指定の順序が固定であったりして不便である。たと
えば、対話形図形処理などにおいてマウスなるボインテ
ィング手段で対象物を指定して、スクリーン上のある場
所からある場所へ移動させようとすると、「これを、こ
こへ」というように決められた順序で場所を指定する必
要がある。しかし、利用者によっては「ここへ、これを
」というように考える場合もあって、一般に不便である
。

一方、音声が対話人力手段として用いられているが、音
声の長所−手足を用いなくともよい−を追求するあまり
、音声にのみ入力を頼っており必ずしも対話能率はよく
なく、場合によってはすべてを言葉で表現するがゆえに
歯がゆい。

このように、従来の対話人力手段は必ずしも真に最適な
入力手段とはなっていない。

〔発明の目的〕

本発明の目的は上記のような欠点をなくし、より人間的
な、計算機との対話方法を提供することである。

〔発明の概要〕

従来の対話方法の欠点は、キーボードのみに頼ったり、
音声入力のみに頼ったり、更にはディスプレイ上の表示
をボインティング手段で選択するという方法のみに頼っ
たりすることから派生している。

本発明の基本的な考え方は以下の点よりなる。

（１）入力情報の内容に応じて最も適切な入力手段を用
いる。

（２）異なる入力手段同志の協調を可能とする。

まず第一の特徴について説明する。対話人力情報の中身
を分類すると、命令とデータに分れる。

命令とは、機械にある動作（処理、又は状態の遷移）を
起こさせるものであり、命令の種類を示す語（動詞）、
動作の対象となるオブジェクトを指定するオペランド、
およびそれらを更に細かく指定するパラメータからなる
。たとえば、「これをここえコピーせよ」の意味の命令
では、命令語が「コピーせよ」、オペランドが「これを
」、パラメータが「ここへ」である。

一方、データは、ワードプロセシングにおける新規文章
のように、入力後はオブジェクトとなるものである。

これらの入力情報はそれぞれの性格によって適切な入力
手段が異なる。

命令語は１本来機械が実行できる動作（有限集合）から
の選択であるので表示選択が適しているが、種類の数が
多数であることが多く必ずしもすべてを表示しきれない
。したがって、最適な入力手段は、同義語を許容した音
声認識による方法が適している。たとえば、「削除」に
対しては、「デリートせよ」、「削除せよ」、「消去せ
よ」、「消せ」などを同じ意味として認知する。

次にオペランドはオブジェクトを選択するもので、一般
にオブジェク１〜に名称が付いているとは限らないので
、文字列で指定するのは適さない。

最適な方法は、スクリーン上にオブジェクト（又はその
集合）を表示しておき、それを指し示すことである。た
とえば、「これ」、［ここからここまで」、「ここから
ここまでの領域）という意味の指定をボインティング手
段により指示する。

パラメータは日本語でいうところの補語に当るもので、
程度などを指示する。したがって、選択というよりも、
具体的に示すことが必要がある。

数値的に、たとえばｒｌｏｃｍＪと与えた方がよい場合
と、直接的に「ここへ」と指し示した方がよい場合があ
る。

次にデータは、機械にとって未知のものであることが一
般的であり、自由度が非常に大きい文章などの場合はキ
ーボードから直接入力した方が、確実性が高く、能率が
高い。数値データのように濃度の小さい有限集合の要素
（例えばＯから９まで）の組合せの場合は音声入力でも
よい。

このように、入力情報の種類毎に適切な入力手段が異な
る。但し、−意に定めてしまう必要はな％Ｎ。

つぎに第二の特徴について述べる。

上記の説明にあるように、オペランドとパラメータとを
同一のボインティング手段で入力することが必要な場合
などには、２つ以上の指定が必要であり、どちらがどち
らかを更に指定する必要がある。たとえば、１これをこ
こへ」という意味を２回のボインティングにより指定し
た場合、一般的に、「ここへこれを」という思考形態も
あるので、１回目のボインティングが「これを」に対応
するのか、「ここへ」に対応するのかが分らない。

従来技術では、複数のオペランドやパラメータの指定順
序を固定してこの問題に対処していた５しかし１人間同
志の場合は言葉とボインティングの双方を協調的に用い
るのが常であり、機械との対話の場合もその方が適して
いるはずである。

すなわち、「これをここへコピーせよ」と発話しながら
、「これを」に対応する点と、「ここへ」に対応する点
をスクリーン上でボインティング手段で指示することを
許容する。

以上のような方式をとることにより、次のようなことが
可能となる。

（１）命令を構成する命令語、オペランド、パラメータ
の入力順序に融通性を与える。

（２）命令語に同義語を許容する。

（３）命令に指示代名詞を使うことができる。

〔発明の実施例〕

以下、本発明を一実施例にもとづいて説明する。

第１図は本発明方式を採用したワークステーション（計
算機）の装置構成図である。同装置は。

ＣＰＵ　（中央処理装置）１００．主メモリ５０、二次
メモリ６０、ビットマツプＣＲＴディスプレイ２００、
キーボード３００．ボインティング手段であるマウス４
００．マイクロフォン５００からの音声を認識する音声
認識装置５５０１時刻を計時する時計６００、およびロ
ーカルエリアネットワーク２０との接続を制御するデー
タ通信制御回路７００とからなっている。その他、回路
２５０は、主メモリ内にとられているビットマツプ領域
の画像をＣＲＴに出力するところの映像信号発生回路、
回路４５０はマウスからの信号を解読する位置検出回路
である。

まず、本発明で特徴的な部分から説明する。

マウス４００は机の上を移動すると空間的に２軸、Ｘ軸
とＸ軸、に対して移動した距離をパルス数にして位置検
出回路４５０に伝達するのと同時に、マウス上のスイッ
チ４１０のオンオフ状態をも回路４５０に伝達する。位
置検出回路４５０は時計６００から時刻情報６１０を入
力し、スイッチ４１０のオンオフ状態の変化時刻を内部
的に記録する。ＣＰＵ１００は、マウスの状態を、割込
信号によるリクエスト又はポーリングにより位置検出回
路４５０から知ることができる。

ＣＰＵ１００は一定時間毎にマウスの移動距離をサンプ
リングして、同移動分だけディスプレイ２００上のカー
ソルを移動する。

マウスのスイッチ４１０が押されると１割込み信号１１
０が発せられ、ＣＰ’Ｕ１００はその時刻とオン状態で
あるという情報を入力する。逆に、スイッチ４１０がは
なされると、同様にその時刻とオフ状態であるという情
報を入力する。

一方、音声認識装置５５０は常時マイクロフォン５００
からの音を入力しており、音声パターンが入力される毎
に識別結果を装置５５０内のメモリ内に記録する。音声
パターンは単一単語であってもよいし、複数単語の列で
あってもよい。このような音声認識を行う技術は公知で
あるので詳細の説明は省略する（新美著［音声認識」共
立出版、第４章参照）。

ここで同音声認識装置は、従来とは異なり音声パターン
の発生時刻と終了時刻を識別結果と同時に記録する。更
に、識別が成されると割込み信号１１０をＣＰＵＬＯＯ
に発し識別結果の読取りを要求する。これに応じ、同Ｃ
ＰＵは識別結果と発声時刻とを組にして、装置５５０か
ら主メモリ５０へ読み込む。

発声時刻と識別結果の対応のとり方を第２図で説明する
。第２図（ａ）の横軸は入カバターンに対応する時間軸
、縦軸は標準パターンに対応する時間軸である。認識は
各標準パターンと入力音声の各フレームとの間のマツチ
ングを動的計画法にのっとって行うことにより成される
。同図（、ｌ）は動的計画法によるマツチングの最適パ
ス（入力と標準パターンとの対応関係）を示すものであ
る。

音声パターン全体のマツチング処理が終了すると、終了
点Ｅ　＋　＋　Ｅ２　ｒ　Ｅ、ｒ　Ｅａが見つかり、最
適バスを逆にたどることにより開始点Ｓｌ。

Ｓ、、Ｓ、、Ｓ４を見つけることができる。

第２図から分るように、横軸は入カバターンの時間軸、
具体的にはフレーム番号であり、フレームピッチと、フ
レーム番号と時刻の対応とから。

各単語の開始時刻、終了時刻（ｉ（ｌ　ｆ　ｔ、　）（
ｔｉ　１ｔ３）・・・・がまる。結局、認識装置５５０
は識別結果として第３図に示す情報を主メモリ５０へ送
る。

以下具体的動作例に沿って説明する。

いま第４図に示すようなディスプレイスクリーン２１０
上に図形２３１が書いてあり、同図形を２３２へコピー
スる場面を考える。ユーザはマウス４００を用いてカー
ソルを点２４１　（実際には図形２３１上の任意の点で
よい）へ持って行き、「これを」と発声しながらスイッ
チ４１０を押し、すく離す。このスイッチのオン・オフ
の時刻はτ。、τ、で、それぞれの時刻における点２４
１の座標は（Ｘｏ　ｙ　Ｎｏ）ｒ　（Ｘ＋　＋　３１＋
）であるとする（一般にはマウスが動いている）。続い
てマウスを点２４２へ移動してスイッチをオン・オフす
る。これらの時刻と点２４２の座標を（τ３゜Ｘｓｖ　
ＶＢ）＋　（（４ｔ　Ｘａｖ　Ｙａ）とする・それと同
時に「ここへ」と発声し、引続き「コピーせよ」と発声
する。この動作と発声は一般的に連続的で、「これをこ
こへコピーせよ」と発話することができる。

この結果音声認識装置は先に説明したように第３図の情
報を主メモリ５０へ、位置検出回路４５０は第５図に示
す情報を主メモリ５０へ転送する。

ここで、第５図の第２列の意味は、１がスイッチオンＯ
がスイッチオフである。

ＣＰＵ１００は上記の情報から、第６図に模式的に書い
たような情報入力があったことが分る。

すなわち、時間的な相対関係（（ｔｏ　、・・・、ｔ７
）ト（ｔｏ　、　−、ｔ、　）　（７）関係）から、ｒ
ＫＯＲＩＥＶＯＪに対してはスクリーン上の点（Ｘｏ＋
Ｙｏ）が、ｒＫＯＫＯＥＪ　に対しては点（ｘ２．ｙ２
）が対応することが分る。

具体的には次のようにする。各ポインティング動作時刻
区間（τ。、τ、）、（τ２．τ３）に対して、最も時
間的オーバーラツプの大きな発話区間を（（ｔｉｔｔｌ
。＋）＋　ｉ＝ｏ＋　２＋　４＋　６）からめる。但し
、オーバーラツプのないボインティング動作は１時間的
に最も近い発話（単語）を当てる。すべての動作の発話
への対応ずけの後。

対応する時間的な距離を所定の閾値と比較し、同閾値よ
り大きいときは入力全体を無効とする。また、対応付は
結果が意味的に許容しうるか否かも判定し、たとえば、
ポインティング（τ２．τ３）が発話ｒＫＯＰＩＩＪ　
に対応付けされた場合は、入力全体を無効とし、再入力
を要求する。

このように、対応付けに融通性を与えるとともに、意味
的に不適格な入力【キ無効とし、全体として信頼性を向
上せしめる。

点（ｘ、、ｙ、）に対するオブジェクトは（ここでは図
形２４１）スクリー・ン上に表示されているオブジェク
トの集合の管理表（主メモリ５０内のある）から同定す
ることができる。

更にｒＫＯＰＩｉ　ＳＲ’１０Ｊからは命令ｇｃｏｐｙ
が対応することが分る。

これらのより詳細な方法については従来技術から構築で
きるので説明を詳細する。（参考：ｒＳｍａｌｌＴａｌ
ｋ特集Ｊ　＋　ＢＹＴｆｔｙ　Ｖｏｌ、　６　ｒ　Ｎａ
　８　、　Ａｕｇ、１９８１　；藤沢他［ミニコンを用
いた音声入出カシステム」電気学会論文誌、　Ｖｏｌ、
９４−Ｃ，＆７．１９７４）結局、ＣＩ）ｔＪＩｏｏは
第３図、第５図の情報から（ｃｏｐｙ　、図形２４］＋
　（Ｘｚ　ｙ　３’２））という形式言ｔｖＪによる命
令表現を得て実行する。

”　ｃｏｐｙ　”以外の命令は図形処理の場合、ＭＯＶ
Ｂ　。

［ＩＥＬＥＴＥ、　ＭＥＲＧＩ（、ｌ！ＸＰＡＮＩＩ、
　ＲＥＤυＣＥ、　ＲＯＴＡＴＥなどがある。これらの
実現方法についても従来技術で可能であり、説明を省略
する。

さて、本発明方法のごとく音声認識装置を常時鋤らかせ
ていると、ユーザの不用意に発声された意味のない音声
が防害パターンとなる。そこで、本発明の音声認識装置
では、よく出現するそのような無意味な音声パターンを
標準パターンとして用意している。それらの音声パター
ンは、「え−と」　「ん−と」　ｒえ−え」　「ん−ん
」「それから」　「あのう」　ｒそれで」　ｒあ−あ」
「う−う」　ｒお−お」・・・・ などである。これらのパターンとして識別した場合は識
別結果を主メモリ５０へ転送することを省略する。

本実施例の計算機対話方式では更に、音声とキーボード
の協調的情報入力が可能である。第７図を用いて例示的
に説明する。

命令「これを角度３０°回転せよ」を例にとる。

オペランドは「これを」、パラメータは［角度３０＠Ｊ
、命令語は「回転せよ」である。この命令の内、パラメ
ータの値は一般に無限の種類をもっており（たとえば２
８．０５°、７３．４６２’など）、音声よりもむしろ
キーボードから確実に入力した方が、全体として能率が
高い。

ユーザは第７図に示すように、「これをかくど」と発話
しながらマウスであるオブジェクトを指示し、続いてキ
ーボードから「３φＬ、ＩＤＯ」　（ここでφはゼロｔ
ＬＪはスペースを意味する）を入力し更に「かいてんせ
よ」と発声する。キーボード３００は、先に説明したマ
ウスと同様に、入カキ−に対応する文字コードとともに
時刻をＣＰＵ１００経出で主メモリ５０へ転送する。Ｃ
ＰＵ１００ば、これら入力情報の相対的時間関係と意味
的関係から、ＫＯＲＥＷＯに対して位置情報（ｘｏ。

ｙｏ）を、ＫＡＫＵＤＯに対して数値情報”３０”（’
ｏｏ”は意味的に冗長であるので落す）をそれぞれ対応
づけする。結局、形式命令（ＩＩＯＴＡＴＩＥ、図形２
４１゜３０、０　）を生成し、実行する。

以上のように、本実施例の対話方式を用いれば「ここか
らここまでを消去せよ」 「これを削除せよ」 ｒこれをここへ移動せよ」 「これとこれとこれをここへコピーせよ」「ここへこれ
とこれとこれをコピーせよ」「この領域をここへコピー
せよ」 「この範囲を、え−と、ここへコピーせよ」「これを角
度４５°回転せよ」 などの命令形態で、より人間的に機械に情報を入力する
ことができる。

なお本実施例ではボインティング手段としてマウスを用
いているが、他のボインティング手段、たとえばジョイ
スティック、トラッキングボール、タッチパネル、ＸＹ
タブレットなどを用いてもよく、これらを用いたものも
本発明に含まれる。

また、ボインティング時刻と発話時刻の相対的時間関係
から対応をめる方法として、順序関係のみを用いる方法
も考えられるが、これも本発明に含まれる。

また、キーボードや位置検出回路は時刻を記録してデー
タをＣＰＵに転送しているが、割込みを受けたＣＰＵが
時計を見に行って時刻を記録しても等価な効果が得られ
、これも本発明に含まれる。

また、ディスプレ５ｒ手段はＣＲＴでなくても他の液晶
ディスプレイなどでもよいことは明らかである。

さらにまた、音声認ｉ！ｌ装置は日本語を対象として説
明したが、明らかに他の言語でも適用可能である。また
、本発明は、音声認識方式とは独立の概念であり、別の
認識方式をとる音声認識装置を用いても本発明に含まれ
る。

また１本実施例の説明の中で、数値パラメータは発声せ
ずキーボードから入力するとしたが、数値パラメータも
発声し、音声認識を行いキーボード入力と照し合わせて
もよい。更にこの考え方を拡張して、音声認識を補助す
るためにキーボ・−ドを用い、キーボードからは補足的
な情報のみを入力する方法も考えられるが、これも本発
明に含まれる。

更にまた、実施例の説明では図形処理における操作命令
を例にしたが、明らかに本対話方法は計算機との一般的
な対話にもそのまま適用できるものであり、その他に、
ワ・−ドプロセシング、ファイル操作、グラフ作成、デ
ータベース操作などをも含む。

〔発明の効果〕

以上、本発明をまとめると、 ・異種の入力手段を協調的に混合して用いることができ
、効率的に確実に入力することが可能である。

・指示代名詞とボインティングによりオペランド（処理
対象）を指定することができ、より人間的である。

・音声とボインティングを同時に用いることにより、ボ
インティングの順序（オペランドの順序）に融通性を与
えることができる。

・同義語を許すことと、語順の融通性とから多様な命令
のし方が可能である。

・発話の途中などの無意味な音声を無視するので、気楽
に発話することができる。

などの特徴があり、全体としてより人間的な計算機との
対話が可能であり、高マンマシン性を実現する。

【図面の簡単な説明】

第１図は本発明の一実施例の機能ブロック図、第２図は
音声パターンの生起時刻の決定方法を説明する図、第３
図は音声認識装置が作成する識別結果のデータ形成、第
４図は動作を説明するためのディスプレイスクリーンの
図、第５図はマウスのための位置検出回路の出力するデ
ータ形式の図、第６図は音声とボインティングのタイミ
ングを説明するための図、第７図は音声とキーボードと
ボインティングを同時に用いる場合のタイミングを説明
する図、第８図はキーボードが出力するデータ形式を示
す図である。 第　１　口 ２／７ 腎　２　図 仇 ｘ、ｅ　’Ｉｆｚ　ｋｓ　ｔ７ ｔ＋　ｔ４ 第　３　図 ｔＩ４　口 第　５　目 茅　２　図 ＫＯＲＥＶＪＩ）　ＫＯｋｌＥ　Ｋｌ）Ｉ’ｌｌ　、Ｓ
Ｅ７’ρ乙　τ、　τ２　τ３ 晴間

Claims (1)

【特許請求の範囲】
1. 情報をスクリーン上に表示する手段と、音声認識手段と
   、打鍵式入力手段と、上記表示手段上の位置を指示する
   ボインティング手段とをもつ計算機において、利用者が
   計算機で実行すべき命令を音声認識手段とボインティン
   グ手段と打鍵式入力手段との任意の組合せで協調的に表
   現して上記計算機に入力することを特徴とする計算機対
   話方法。