JPH0612206A - 入出力装置 - Google Patents

Abstract

(57)【要約】 【目的】 情報処理装置とユーザとの間の意思伝達を容
易にし、操作過程において初心者でも簡単に操作の学習
をすることができる入出力装置を提供する。 【構成】 作業目標群を操作者１に視覚的に提示する視
覚表示装置２と、直接入力装置３からの作業意思の実行
を指示する直接的操作装置４と、音声，視線，動作の１
または２以上により操作者の作業意思を入力する間接入
力装置５と、入力された作業意思を操作者に代わって代
行する操作指示内容を直接的操作装置４に通告する間接
的操作／代理作業実行装置６と、直接的操作装置４から
の操作指示に従って操作者の作業意思を実行する実行装
置７とから構成した。 【効果】 代理作業実行装置がとる操作とその結果を視
覚的に確認することができ、情報処理装置の操作を作業
の実行と共に学習することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ユーザインターフェー
スとして画像表示出力を有する情報処理装置において、
当該画像表示装置上に視覚的に表示された操作情報群を
操作するための操作者の意思を情報処理装置側に容易に
伝達できるようにした入出力装置に関する。

【０００２】

【従来の技術】情報処理装置に操作者（以下、ユーザと
もいう）の意志を伝達する手段としては、従来からキー
ボードやマウス、その他の手操作型入力手段が採用され
ている。これらの手段を使うこの種の装置においては、
所要の意思伝達を決められたコマンドすなわち記号情報
で操作するものであるため、予めユーザはその操作に対
応したコマンドを学習しておかなければならず、学習し
ていない操作を行うことができないといった欠点があっ
た。

【０００３】上記の欠点に着目したものとして、ビー．
シュナイダーマン（Ｂ．Ｓｈｎｅｉｄｅｒｍａｎ）著
「ダイレクト マニピュレーション（Ｄｉｒｅｃｔ Ｍ
ａｎｉｐｕｌａｔｉｏｎ）」，アイ・イー・イー・イー
コンピユータ（ＩＥＥＥ Ｃｏｍｐｕｔｅｒ）Ａｕｇ
ｕｓｔ．１９８３ ｐ．５７」に開示された「直接操
作」と呼ばれる入出力方式が提案されている。

【０００４】この「直接操作」は、操作を画像情報と対
応づけすることで、操作者があらかじめ学習していなく
ても、操作内容を理解することができるような入出力装
置を得ることを目指している。上記「直接操作方式」を
備えた情報処理装置の具体例としては、Ｘｅｒｏｘ社の
Ｓｔａｒワークステーションを挙げることができる。こ
のワークステーションは視覚表示装置をもち、当該視覚
表示装置には日常の事務作業に必要とされる用具がアイ
コンと呼ばれる図形で表示されている。例えば、印刷作
業を例にとると、紙を表すアイコンをプリンタを表すア
イコンの上に重ねることで実行される。このような操作
方式を、以下、本発明では「直接的操作方式」と呼ぶこ
とにする。

【０００５】一方、近年の情報処理環境の進展に伴い、
情報処理装置、すなわち機械とその操作者である人間と
の間における意志の伝達が、記号情報を媒体としたもの
から感覚情報や感情的情報を含んだ幅広い情報を授受す
ることで、機械と人間との融和を進める努力がなされて
いる。その試みの１つとして、機械に人間と同じように
会話をさせる手段がとられている。本発明者らは先に
「音声対話型スケジュール告知装置」を提案した（特願
平３−９７８９２号）。この装置は音声認識と音声応答
を利用し、音声を使ってスケジュールを登録し、これを
管理するとともに利用者に告知する装置である。

【０００６】また、上記音声対話型スケジュール告知装
置では音声による言語を用いて機械と人間とが対話する
ものであるが、言語と言語以外の顔表情，ジェスチャな
どを利用して会話を進めるシステムとして、「Ｈｕｍａ
ｎ Ｒｅａｄｅｒ：人物像と音声による知的インターフ
ェース」（電子情報通信学会論文誌Ｊ７５ーＤーＩＩ，
ｐ，１９０）が知られている。さらに、人間の顔の表情
を表示して、人間と会話する感覚で対話するシステムと
して「実時間音声対話システムＴＯＳＢＵＲＧ」（平成
４年「情報処理学会第４４回全国大会講演論文集
（２）」第１５３頁）が知られている。

【０００７】このほかにも、本発明出願人の出願にかか
る「入力装置」（特願平３−１７４８３９号）において
提案されたように、操作者の音声，視線，動作を利用す
ることで情報処理装置との間で会話を進め、機械と人間
の親和性を向上させる試みがなされている。以上の各提
案の目標は、操作者が出した命令を代理作業実行装置が
解釈し、実行装置が作業を進めるというものである。以
下、本発明では、このような操作方式を「間接的操作方
式」と称する。

【０００８】

【発明が解決しようとする課題】上記従来技術の「直接
的操作方式」における操作では、初心者ユーザでも視覚
表示から操作を簡単に類推できるという利点を有する反
面、視覚表示に示されていない操作を類推することはで
きないという問題点を有する。一方、上記「間接的操作
方式」においては、ユーザは操作の手順を知らなくても
よいが、代理作業実行装置が解釈できない命令に対して
は操作ができない。また、代理作業実行装置が命令を解
釈し実行する場合、代理作業実行装置がどのような操作
を行ったかがユーザに知らされないために、ユーザは学
習をすることができないという問題がある。

【０００９】本発明の目的は、上記従来技術の諸問題を
解消し、情報処理装置とユーザとの間の意思伝達を容易
にし、操作過程において初心者ユーザでも簡単に操作の
学習をすることができる入出力装置を提供することにあ
る。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、作業目標群を操作者１に視覚的に提示す
る視覚表示装置２と、直接入力装置３から入力された作
業意思の実行を指示する直接的操作装置４と、音声，視
線，動作の１または２以上により操作者の作業意思を入
力する間接入力装置５と、間接入力装置５から入力され
た作業意思を操作者に代わって代行する代行操作指示内
容を前記直接的操作装置４に対して通告する間接的操作
／代理作業実行装置６と、前記直接的操作装置４からの
操作指示に従って作業者の作業意思を実行する実行装置
７とから構成したことを特徴とする。

【００１１】

【作用】上記本発明の構成の動作を図２の動作流れ図を
参照して説明する。まず、操作者１は視覚表示装置２上
に表示された作業目標群から所要の作業意思に該当する
目標の指示を間接入力装置５を介して入力する。間接入
力装置５は、操作者１の発話音声の認識，視線の認識，
動作の認識の何れか１つまたはそれらの組合せで認識す
る（Ｓ−１）。

【００１２】認識された入力目標は間接的操作／代理作
業実行装置６に与えられ、入力目標の解釈が行われる
（Ｓ−２）。間接的操作／代理作業実行装置６は当該目
標を実行するために必要とされる作業群である副目標を
設定するための、目標への作業の分解を行う（Ｓ−
３）。分解された目標は直接的操作装置４に通告される
と共に視覚表示装置２上にその旨を表示する（Ｓ−
４）。

【００１３】操作者１は表示された通告内容を見て、副
目標の変更の要否を確認し（Ｓ−５）、変更要の場合
（Ｓ−５のＮｏ）は直接入力装置３により作業方法を選
択し（Ｓ−６）、間接的操作／代理作業実行装置６に副
目標変更を指示する（Ｓ−７）と共に、直接入力装置３
を用いて直接的操作装置４に正しい作業項目を入力する
（Ｓ−８）。

【００１４】この操作を必要なだけ繰り返し、作業者１
が副目標の設定を確認すると（Ｓ−５のＯｋ）、実行装
置７は当該作業目標の内容を実行し、この実行がなされ
たことを確認し（Ｓ−９）、さらに実行すべき作業があ
る場合（Ｓ−１０のＮｏ）は次の副目標の設定作業に行
き、所望の目標項目の実行が終了した場合（Ｓ−１０の
Ｙｅｓ）は終了となる。

【００１５】本発明は、以上のような構成をとること
で、以下に示すような利点がある。 （ａ）作業者は、間接的操作／代理作業実行装置の代理
作業実行装置がとる操作とその結果を視覚的に確認する
ことができる。 （ｂ）情報処理装置の操作を作業の実行と共に学習する
ことができる。すなわち、間接的操作／代理作業実行装
置の代理作業実行装置が行う直接操作操作手段の操作を
操作者が確認することで、直接操作操作手段の操作方法
を学習することができる。 （ｃ）間接的操作／代理作業実行装置の代理作業実行装
置と操作者の共同作業により作業者の適性に合わせた操
作と学習が可能である。すなわち、間接型操作手段と直
接型操作手段に操作者の習練度の違いで適不適があり、
この操作者の適性に関連して、行う作業によっても向き
不向きが存在するが、上記本発明の構成をとることで、
作業の流れのなかで、間接型操作手段と直接型操作手段
が適応的に選ばれるため、操作者ごとの最適操作環境が
生成される。

【００１６】なお、上記本発明の構成によれば、代理作
業実行装置と操作者が別々の作業を進めることもでき
る。

【００１７】

【実施例】以下、本発明の実施例につき、図面を参照し
て詳細に説明する。図３は本発明による入出力装置の１
実施例を説明するブロック図であって、１０は操作者、
７０は操作者の指示した作業を実行する実行装置、９０
は本発明による入出力装置としてのユーザインターフェ
ースである。そして、ユーザインターフェース９０は、
映像表示および操作装置３０，音声認識装置５１，視線
認識装置５２，動作認識装置５３による操作者の意思の
認識内容から素地内容を推論する指示内容推論装置５
０、推論された指示の操作を指示する指示操作実行装置
４０、およびこの指示内容推論結果を操作者１０にフィ
ードバックするための感情表示生成および音声合成装置
８０とから構成される。

【００１８】図４は上記図３の指示内容推論装置５０の
動作を説明する流れ図であって、以下この流れ図を参照
して本実施例の動作を説明する。操作者１０は音声発
話，視線注視、頭部動作の１または２以上により操作意
図を入出力装置である対話型ユーザインターフェース９
０に伝える。まず、操作者１０は所要の指示音声を発話
すると（Ｓ−１０）、音声認識装置５１がこれを認識し
て指示内容推論装置５０に認識データを渡す。指示内容
推論装置５０は指示された目標が設定可能か否かを判断
する（Ｓ−２０）。この音声入力によって目標を設定で
きる場合は、そのまま指示操作実行装置４０にその内容
を渡し（Ｓ−２０のＹｅｓ）、実行装置７０に所要の指
示の実行を行わせる。

【００１９】しかし、音声入力によって目標を設定でき
ない場合は（Ｓ−２０のＮｏ）、次に表示装置３１上の
所要の目標（アイコン等）を注視する視線入力を入力す
る（Ｓ−３０）。この視線位置を視線認識装置５２が認
識し、その認識データを指示内容推論装置５０に渡し、
上記音声認識結果と共に目標の設定が可能か否かを判断
する（Ｓ−４０）。

【００２０】視線の入力で目標設定が可能であれば（Ｓ
−４０のＹｅｓ）、指示操作実行装置４０にその内容を
渡し（Ｓ−４０のＹｅｓ）、実行装置７０に所要の指示
の実行を行わせる。上記の視線認識処理でも目標設定が
できない場合（Ｓ−４０のＮｏ）、操作者１０はその頭
部を動かし、先に入力した発話音声による認識結果，視
線注視による認識結果と共に目標設定が可能か否かを判
断する（Ｓ−６０）。

【００２１】ここで所要の目標の設定ができた場合は指
示操作実行装置４０にその内容を渡し（Ｓ−６０のＹｅ
ｓ）、実行装置７０に所要の指示の実行を行わせるが、
なおも目標の設定が出来ない場合（Ｓ−６０のＮｏ）
は、再度上記の音声認識に戻って入力のやり直しを行う
ことになる。上記したように、指示内容推論装置５０
は、３つの情報の１または２以上から操作者１０の意図
を推定し指示操作実行装置４０へと伝える。指示操作実
行装置４０は操作者１０の意図を解析して操作手順に翻
訳し、映像表示および操作装置３０を構成するＣＲＴ等
の表示手段３１および直接入力装置３２を介した操作者
１０の修正入力作業を通して実行装置７０を作動し所要
の操作を実行する。

【００２２】このとき、操作者意図推定装置５０から操
作者１０へのフィードバックは感情表示生成および音声
合成装置８０を通して行われる。この感情表示生成およ
び音声合成装置８０は本発明の要部ではないので詳しい
説明は省略するが、その概略を説明すると、操作者１０
に対してユーザインターフェース９０の内部状態を擬似
的な感情モデルとして提示する人工エージェント（例え
ば、顔アニメ）を有し、この人工エージェントを人間ら
しく振る舞わせることにより、機械と人間との間の相互
の意思の伝達を向上させるものである。

【００２３】そして、この人工エージェントに擬似的な
感情を具備させるために、喜怒哀楽を基本とした複数の
感情の強度を保持する記憶手段と、操作者の発話やユー
ザインターフェースが遂行しつつある課題の達成状況あ
るいは達成可能性に関する推測などの条件に応じて、予
め定めた基本感情を所定の変分だけ増加または現象させ
る感情強度書き換え手段と、感情状態内部において基本
的な感情の間の相互作用を予め定め一定時刻ごとにこの
相互作用を生起させて基本的感情の強度間に増減を生じ
させて自律的に感情状態を変化させる相互感情強度書き
換え手段、等を備えたものである。

【００２４】このような感情表示生成および音声合成装
置８０を介在させることによって、操作者１０は表示手
段３１に生成された人工エージェントおよび図示しない
音声出力装置を用いて会話し、学習しながら所要の業務
の実行を行うことができるものである。なお、操作者は
視覚表示装置３１とキーボード，マウス等の直接入力装
置を使って実行装置７０を操作することもできる。

【００２５】

【発明の効果】以上説明したように、本発明によれば、
操作者は、間接的操作／代理作業実行装置を構成する代
理作業実行装置がとる操作とその結果を視覚的に確認す
ることができ、情報処理装置の操作を作業の実行と共に
学習することができる。すなわち、間接的操作／代理作
業実行装置を構成する代理作業実行装置が行う直接操作
手段の操作を操作者が表示装置に提示される人工エージ
ェントを介して確認することで、直接操作手段の操作方
法を当該ユーザインターフェースとの間での意思の疎通
をとりながら学習することができる。

【００２６】また、間接的操作／代理作業実行装置の代
理作業実行装置と操作者の共同作業により作業者の適性
に合わせた操作と学習が可能となり、作業の流れのなか
で、間接型操作手段と直接型操作手段が適応的に選ばれ
るため、操作者ごとの最適操作環境が生成される。

【図面の簡単な説明】

【図１】 本発明による入出力装置の基本構成を説明す
るブロック図である。

【図２】 本発明による入出力装置の基本構成の動作流
れ図である。

【図３】 本発明による入出力装置の１実施例の構成を
説明するブロック図である。

【図４】 本発明による入出力装置の１実施例の構成に
おける指示内容推論装置５０の動作を説明する流れ図で
ある。

【符号の説明】

１，１０・・・・操作者（ユーザ） ２・・・・作業目
標群を操作者１に視覚的に提示する視覚表示装置 ３・
・・・直接入力装置 ４・・・・作業意思の実行を指示
する直接的操作装置 ４ ５・・・・操作者の作業意思を入力する間接入力装
置 ６・・・・入力された作業意思を操作者に代わって
代行する代行操作指示内容を前記直接的操作装置に対し
て通告する間接的操作／代理作業実行装置 ７，７０・・・・直接的操作装置からの操作指示に従っ
て作業者の作業意思を実行する実行装置 ３０・・・・
映像表示および操作装置 ４０・・・・推論された指示
の操作を指示する指示操作実行装置 ５０・・・・指示
内容推論装置 ５１・・・・音声認識装置 ５２・・・
・視線認識装置 ５３・・・・動作認識装置 ８０・・
・・指示内容推論結果を操作者にフィードバックするた
めの感情表示生成および音声合成装置 ９０・・・・入
出力装置としてのユーザインターフェース。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大村 賢悟 神奈川県海老名市本郷2274番地 富士ゼロ ックス株式会社海老名事業所内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 操作者の指示した作業を実行する実行装
   置と、 操作対象となる情報群を視覚的に表示するための映像表
   示手段と、前記映像表示手段により表示された情報群を
   変更すると共に間接的操作装置に対して変更内容を通知
   する直接操作手段とからなる直接的操作装置と、 音声，視線，動作に基づいて操作者の作業意思を認識
   し、前記実行装置での作業を前記直接的操作装置を介し
   て代理実行すると共に当該操作内容を前記映像表示手段
   上に表示する間接的操作装置と、を備えたことを特徴と
   する入出力装置。