JPH02277196A

JPH02277196A - マンマシンシステム

Info

Publication number: JPH02277196A
Application number: JP1066216A
Authority: JP
Inventors: Wataru Kitaura; 北浦　渉; Hiroshi Ujita; 氏田　博士; Mitsuko Fukuda; 光子福田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1989-03-20
Filing date: 1989-03-20
Publication date: 1990-11-13
Anticipated expiration: 2014-01-13
Also published as: EP0393368A2; EP0393368A3; US5247433A; JP2845926B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、マンマシンシステムに係り、特に、プラント
の運転操作盤に適用するのに好適なマンマシンシステム
に関する。

〔従来の技術〕

プラント制御用計算機システム等に用いられるマンマシ
ンインタフェイスであるマンマシンシステムに音声情報
を取入れ、オペレータの特性と調和のとれた情報を提供
しようとする技術は、第１９回ｒ炉物理夏期セミナー」
テキスト（１９８７年）第１１７頁から第１２９頁に記
載の、運転員モデルを用いてオペレータの必要とする情
報を推定し、オペレータの理解を助ける情報提供できる
知的マンマシンシステムがある。

〔発明が解決しようとする課題〕

上記従来技術は、音声で表示の制御や質問応答機能を実
現しようとするものであるが、オペレータがプラント状
態を誤解していたり、注意の焦点が絞り切れずにいろい
ろな事を考えているような場合には、適切な情報が得ら
れない可能性がある。

さらに、無意識のうちに誤まった表現を行なってしまう
場合や１機器名称などを度忘れしてしまい抽象的な表現
を行なう場合もあり、上記問題が生じる可能性がある。

本発明の第１の目的は、オペレータが抽象的な表現をし
た場合にもオペレータが必要とする情報を適切に提供で
きるマンマシンシステムを提供することにある。

本発明の第２の目的は、オペレータの思考過程に沿った
情報をタイムリーに提供できるマンマシンシステムを提
供することにある。

本発明の第３の目的は、重要情報の見逃しを精度良くチ
ェックできるマンマシンシステムを提供することにある
。

本発明の第４の目的は、オペレータにとって都合の良い
情報出力装置に情報が提供できるマンマシンシステムを
提供することにある。

本発明の第５の目的は、重要情報の洩れのない提供情報
を作成できるマンマシンシステムを提供することにある
。

〔課題を解決するための手段〕

第１の目的を達成する本発明の第１の特徴は、被操作手
段を有する装置のある運転状態に対して注目すべき複数
の注意の焦点を含む第１オペレータモデルを作成する手
段と、第１オペレータモデルに含まれる注意の焦点うち
からオペレータが必要としている注意の焦点を、入力し
たオペレータが発生した音声情報及びこのオペレータの
視線情報を用いて推定する手段と、推定された注意の焦
点の情報を含むオペレータに対応する第２オペレータモ
デルを作成する手段と、第２オペレータモデルに含まれ
る推定された注意の焦点の情報及び被操作手段を有する
装置から得られた情報を用いて提供する情報を編集する
手段とを備えることにある。

本発明の第２の目的を達成する本発明の第２の特徴は、
音声情報及び前記視線情報を用いてオペレータの認知処
理活動の段階を推定する手段を備え、推定された認知処
理活動の段階に基づいて情報提供形態を決定する手段と
を備え、情報編集手段が決定された情報提供形態に基づ
いて提供情報を編集することにある。

第３の目的を達成する本発明の第３の特徴は、視線情報
に基づいて情報編集手段で編集された情報をオペレータ
が見たか否かをチェックし、見ない情報がある場合には
注意喚起信号を出力する手段を備えることにある。

第４の目的を達成する本発明の第４の特徴は、音声情報
及び視線情報を用いて情報提供装置を決定する手段と、
第２オペレータモデルに含まれる推定された注意の焦点
の情報及び被操作手段を有する装置から得られた情報を
用いて提供する情報を編集し、その提供する情報を前記
決定された情報提供装置に出力する手段とを備えること
にある。

第５の目的を達成する第５の特徴は、情報編集手段で得
られた情報と第２オペレータモデルに含まれた情報とを
比較し、後者の情報であって前者の情報に含まれていな
い情報があるか否かをチェックする手段を備え、前記後
者の情報のうち前記前者の情報に含まれていない情報が
ある場合には、情報編集手段による情報の編集を行うこ
とにある。

〔作用〕

本発明の第１の特徴によれば、第１オペレータモデルに
含まれる注意の焦点うちからオペレータが必要としてい
る注意の焦点を、入力したオペレータが発生した音声情
報及びこのオペレータの視線情報を用いて推定するので
、音声情報が抽象的であっても視線情報を併用すること
によってオペレータが必要としている注意の焦点を精度
良く推定できる。従って、この推定された注意の焦点の
情報及び被操作手段を有する装置から得られた情報を用
いて編集された提供情報は、オペレータが抽象的な表現
をした場合でもオペレータが必要とする適切な情報であ
る。

本発明の第２の特徴によれば、音声情報及び前記視線情
報を用いてオペレータの認知処理活動の段階を推定する
ことによってオペレータが今何を考えているかをより正
確に推定でき、この推定された認知処理活動の段階に基
づいて情報提供形態を決定することによってオペレータ
の思考過程にあった情報を適切に編集することができる
。

本発明の第３の特徴によれば、視線情報に基づいて情報
編集手段で編集された情報をオペレータが見たか否かを
チェックしているので、オペレータの重要情報の見逃し
を精度良くチェックすることができる。

本発明の第４の特徴によれば、音声情報及び視線情報を
用いて情報提供装置を決定し、提供する情報を決定され
た情報提供装置に出力するので、オペレータにとって情
報を入手しやすい都合の良い情報出力装置に情報を提供
できる。

本発明の第５の特徴によれば、情報編集手段で得られた
情報と第２オペレータモデルに含まれた情報とを比較し
、後者の情報であって前者の情報に含まれていない情報
があるか否かをチェックしているので、重要情報の洩れ
を簡単に確認できるので１重要情報の洩れのない提供情
報を作成できる。

〔実施例〕

本発明の好適な一実施例であるマンマシンシステムを以
下に説明する。本実施例は、プラント（例えば原子炉プ
ラント）の運転操作盤に適用したマンマシンシステムで
ある。

１はプラント、２は複数の表示装［（例えばデイスプレ
ィ）３及び音声出力装置４が設けられている運転操作盤
である。運転操作盤２は１図示されていないがプラント
に操作指令（または制御信号−）を出力するボタン、ス
イッチ等の操作を指示する手段を有している。

本実施例のマンマシンシステム１４は、表示装置３．プ
ラント状態評価部５．眼球運動検出器６゜注視情報認識
部７．音声入力装置（例えばマイク）８、音声認識部９
．オペレータ状態推定部１０゜情報編集部１１及び記憶
装置１２を備えている。

表示装置３は、運転操作盤２のそれと兼用している。マ
ンマシンシステム１４の上記構成のうち。

眼球運動検出器６．音声入力装置８及び表示′３Ａ口３
を除いた部分は、電子計算機にて構成される。

記憶装置１２は、電子計算機の内部メモリ及び外部メモ
リのいずれを用いてもよい。更には、プラント状態評価
部５．注視情報認識部７．音声認識部９．オペレータ状
態推定部１０及び情報編集部１１をそれぞれマイクロプ
ロセッサにて構成することも可能である。信号処理部１
３は、プラント状態評価部５．注視情報認識部７．音声
認識部９゜オペレータ状態推定部１０及び情報編集部１
１を含んでいる。

プラント状態評価部５は、ｉｆｆ！Ｉ定されたプラント
１のデータ及び信号を取込みプラント状態を評価する。

眼球運動検出器６は、オペレータの眼球運動を検出する
。注視情報認識部７は眼球運動検出器６から出力された
信号を分析し、オペレータが見ている方向、領域及び点
を認識する音声認識部９は、音声を認識するオペレータ
状態推定部１０は、プラント状態評価部５、注視情報認
識部７及び音声認識部９の出力信号を入力し、オペレー
タの注視している情報、必要としている情報、及び意図
している内容などを推定する。情報編集部１１は、プラ
ント状態評価部５及びオペレータ状態推定部１０の出力
信号を入力し、情報を出力すべき装置（表示装置３．音
声出力装置４）の決定および提供情報の編集を行う。記
憶装置１２は、上記の各部の処理において使用する知識
、データを格納している。

本実施例における処理内容を説明する。

第２図は、プラント状態評価部５の概略処理フローであ
る。ステップ１００において、プラント１の測定された
プロセスデータを取込み、そのプロセスデータと該当す
るしきい値（各プロセスデータに予め設定されている警
報設定値など。−例を第３図に示す）と比較する。入力
したプロセスデータが正常な範囲の場合（ステップ１０
１の判定がｒｎ　ｏＪの場合）にはステップ１００の処
理を続ける。もしそのプロセスデータの値がしきい値を
越えた場合（ステップ１０１の判定がｒｙｃｓＪの場合
）には、ステップ１０２の処理が行われ、その異常原因
の候補を探索する。次にステップ１０３の処理が行われ
、探索した異常原因候補を、オペレータが現在注意すべ
き注意の焦点として設定する。そして、設定された注意
の焦点と関連するパラメータ、及び機器などの情報を整
理し、その注意の焦点に対する理想的運転員（オペレー
タ）モデル（第５図）を作成する。理想的運転員モデル
は、後で詳細に説明する。なお、注意の焦点とは、運転
員が思考を集中すべき部分を意味する。

第３図及び第４図は、第２図の各処理において参照する
知識を示している。これらの知識は、記憶％首１２に予
め格納しておく。第３図は、プロセスデータに関する知
識をまとめたものである。

値しきい値及び変化率しきい値に関するデータは、ステ
ップ１００及び１０１の処理に用いられる。

例えば、値しきい値に関するデータは、［１１０≦Ｄａ
ｔａ　　Ａ＜１３０ならば正常」、及び「１３０≦Ｄａ
ｔａ　　Ａ＜１５０ならば事象ＥＶＯＯ５が発生」とい
う判断に用いられる。変化率しきい値は、ＤａｔａＡの
値の時間的変化率との比較で、プラント１の正常、異常
の判断に用いられるデータである。関連データは、Ｄ　
ａｔａＡと関係のあるデータのことである。第３図に示
す関連データは、Ｄａｔａ　　Ａの計測点の上流側で計
測しているデータとしてｒＤａｔａ　　ＪＩＪ。

ｒＤａｔａ　　Ｊ２Ｊがあることなどを示している。

この関連データは、Ｄａｔａ　　Ａの計測器が故障して
いないかどうかを関連するデータとの関係からチェック
するために使用する。関連系統は。

Ｄａｔａ　　Ａと関係がある系統を示している。

第４図は、原因事象及び波及事象の因果関係、それらの
事象に対応する運転方法などに関する知識を示している
。原因事象とは、例えば異常事象ＥＶＯＯ５（ΔΔ温度
上昇）を生起させる原因を意味している。第４図に示す
知識は、異常事象ＥＶＯＯ５の原因事象として事象Ｅｖ
１０１及びＥＶ１０２等があることを示している。波及
事象は、異常事象ＥＶＯＯ５が生起した場合に、それに
よって生起するであろう事象を意味する。第４図に示す
知識は、波及事象として事象ＥＶＯｌ　１及びＥＶＯ１
２等があることを示している。確認項目は、異常事象Ｅ
ＶＯＯ５が生起した際に確認すべき項目に関するデータ
である。運転方法は、発生した異常事象を押えるための
ものであり、プランドの状況を考慮して設定している。

ステップ１００及び１０１の処理は第３図の値しきい値
２．変化率しきい値のデータを用いて行われる。ステッ
プ１０２の異常原因候補の探索は。

記憶装置ｉ！１２に記憶されている第４図に示す原因事
象のデータを検索することにより行われる。ステップ１
０３の処理においては、第４図に示す名称、波及事象、
確認項目、運転方法及び関連機器などのデータが用いら
れる。

第５図はステップ１０３において作成される理想的運転
員モデルの例を示す。理想的運転員モデルは、現時点の
プラント状態において、オペレータとして、当然考える
べきこと、及び注目窓を払うべき項目を整理して構成し
たものであり、注意の焦点毎に対応して作成される。理
想的運転員モデルは、名称、パラメータ、計測器、系統
９機器。

確認項目及び運転方法のデータが含まれる。名称に対す
る値は、異常事象の名称（例えば弁漏洩）である。パラ
メータは圧力及び温度等の状態量のデータを値として有
する。計測器は該当する異常事象に関連してオペレータ
が見るべきメータ、表示装置の名称を示している。系統
及び機器は、該当する異常事象に関連するそれぞれの名
称を示す。

運転方法は、該当する異常事象に対応する運転方法のデ
ータを示している。このような理想的運転員モデルの各
項目のデータは、プラント１から」り定されたプロセス
データ及び第４図に示すデータ等を用いて作られる。理
想的運転員モデルの作成は、異常事象に対しての注意の
焦点の絞り込みが容易であり、オペレータがどこに注目
すればよいかの同定を早くできる。後述するステップ４
０３におけるユーザモデル作成処理での１つの注意の焦
点の特定も、短時間に行える。なお、理想的運転員モデ
ルは、第２図の処理で示すように何らかの異常事象を検
知する毎に作成または更新される。

異常事象が発生した初期においてはプラント状態把握の
ため注目すべき項目が多くなるが、ある程度異常事象が
進展しプラント状態が把握できてくると注目すべき項目
が減少する。注目すべき項目の減少は、注意の焦点が絞
れたことを意味する。

注視情報認識部７の処理を第６図により、説明する。ス
テップ２００において、眼球運動検出器６の出力である
オペレータの眼球の上下方向及び左右方向の動きを示す
信号を入力する。ステップ２０１は、入力信号を分析し
てオペレータの注視点を求め、オペレータが注視してい
る方向及び対象物（表示装置３、表示装置３に表示され
たデータ、及びメータ等）を特定する。さらに、ステッ
プ２０２では、オペレータが注視している対象物に対す
る注視時間を分析し、第７図に示すオペレータの注視点
に関する情報を作成する。第７図に示す一例（最上段の
データ）は、時刻ｔｏからτ０の時間、ＣＲＴｌに表示
されている機器ａを注視していたということを示してい
る。

音声認識部９は第８図に示す処理手順に基づいた処理を
実行する。まず音声入力装置８から入力されたオペレー
タの音声情報を入力する（ステップ３００）、文の構成
に関する規則に基づいて入力した音声情報の構文解析を
行ない、文の各要素の文法的役割を明らかにする（ステ
ップ３０１）。

次に、単語の意味を考慮して、入力した音声情報の意味
を解析する（ステップ３０２）。ステップ３０１及び３
０２の具体的な処理としては、特願平１−２７４７５号
（平成元年２月８日出願）で「プラントのマンマシンイ
ンタフェース」の明細書６頁、９行から１０頁、２０行
及び２０頁。

１７行、及び第１図〜第６図に示された処理が実行され
る。

オペレータ状態推定部１０で実行される処理を第９図に
基づいて説明する。注視情報認識部７で得られた注視点
の認識結果、音声認識部８で得られた音声情報の分析結
果、及びプラント状態評価部５で作成された理想的運転
員モデルのデータを入力する（ステップ４００）。ステ
ップ４００で人力したそれらのデータを用いて、音声情
報に含まれる省略された表現を補完するなどの処理を行
ない、音声情報の内容を理解する（ステップ４０１）。

ステップ４０２では、入力された音声情報及び注視点の
情報に基づいてオペレータが音声情報を発生した時点で
のオペレータの認知処理活動の該当する段階を推定する
。ステップ４０３において、オペレータが実際に注目し
ている注意の焦点を推定し、ユーザモデル（運転員モデ
ル）を作成する。

ステップ４０１の具体的な処理手順を第１０図及び第１
１図に示す。第１０図の処理を実行した後に、第１１図
の処理が行われる。ステップ４０１の処理の中でまずス
テップ５００の処理が行われる。音声情報の中から、パ
ラメータ及び系統名などのキーワードを抽出する（ステ
ップ５００）。

抽出されたキーワードが、該当する異常事象に対応する
ユーザモデル内の情報に含まれているかを調べる（ステ
ップ５０１）。このユーザモデルは。

過去に作成されて記憶装置１２にて記憶されている。ス
テップ５０１の処理を行うときに、該当する異常事象に
対応するユーザモデルが記憶装置１２から検索されて使
用される。全回生じた異常事象が過去にユーザモデルを
作成したことのない異常事象であ・る場合には、該当す
るユーザモデルが存在しない。この場合、ステップ５０
１はマツチングする情報がないと判定する。ステップ５
０１の処理において、キーワードと完全に一致する情報
がない場合には、ある程度マツチングする情報を抽出す
る０例えば、入力した音声情報のｒ温度」という表現に
対して、［機ｒｊｉｘ出口温度」　「機器Ｘ入口温度」
のような温度に関する情報を抽出する。ステップ５０１
は、マツチングする情報またはある程度マツチングする
情報がある場合にはマツチングする情報があると判定し
、それらのいずれの情報もない場合にはマツチングする
情報がないと判定する。マツチングする情報がある場合
にはステップ５０４の処理に、その情報がない場合には
ステップ５０２の処理に移行する。ステップ５０２は、
前述したキーワードと一致する情報が該当する異常事象
に対応する理想的運転員モデル内に含まれているか否か
を判定する。ステップ５０２も、ステップ５０１と同様
に、ある程度マツチングする情報の有無も判定する。ス
テップ５０２でマツチングする情報があると判定された
場合にはステップ５０４の処理に、その情報がないと判
定された場合にはステップ５０３の処理に移る。ステッ
プ５０３は、キーワードが理解できない旨のガイダンス
情報を１つの表示装置ｉ！！３に出力する。このガイダ
ンス情報は、該当する表示装置３に表示される。ステッ
プ５０４は、マツチングする情報を該当するモデルより
抽出する。ステップ５０５では抽出した情報の数を調べ
、抽出された情報が１つであるか否かの判定が行われる
。

抽出された情報が１つの場合には、キーワードをその情
報に置換する（ステップ５０５）、抽出された情報が複
数存在した場合には、オペレータに確認を要請する情報
を該当する表示装置３に出力する（ステップ５０７）。

ステップ５０１〜５０７の処理は、ステップ５００で抽
出されたすべてのキーワードに対して繰返し実行される
。

第１１図に示す処理手順を説明する。ステップ６００の
処理は、ステップ５０６または５０６の処理に引続いて
行われる。ステップ６００において、入力した音声情報
から「あの」、「この」といった指示代名詞を抽出する
。ステップ６０１で指示代名詞が抽出されなかったと判
定された場合には、ステップ４０１の処理が終了してス
テップ４０２の処理に移る。ステップ６０１で指示代名
詞が抽出されたと判定された場合には、ステップ６０２
において、まず、オペレータが音声情報を発生した時点
においてオペレータが注視している対象物に関する情報
と関連のある情報を、ユーザモデル（ユーザモデルが存
在しない場合は理想的運転員モデル）に記述されている
情報よりキーワードとして抽出する。抽出したキーワー
ドに対して、指示代名詞との置換が可能かどうかを、音
声情報の単語の意味及び文の構文規則を考慮して分析す
る（ステップ６０３）、ステップ６０４は、抽出された
キーワードが１つであるか否かの判定を実行する。抽出
されたキーワードが一つの場合には、ステップ６０５に
おいて指示代名詞をキーワードに置換える。キーワード
が複数存在した場合または１つも存在しない場合には、
ステップ６０６においてユーザへの確認要請のガイダン
ス情報を表示装置３に出力する。ステップ６０２〜６０
６の処理は、ステップ６００で抽出されたすべての指示
代名詞に対して繰返し実行される。ステップ６０５また
は６０Ｇの処理が終った後、ステップ４０２の処理が行
われる。

第１２図は、オペレータの脳の内部で行われる情報処理
の過程（認知過程）に関して、ラスムラセンが提案した
モデルを示している。オペレータは、情報処理の必要性
を検知すると、ｌＩ！ｍ及びシステム状態の同定などの
各処理を経て、実際の扱作を行なう。前述したステップ
４０２では、音声認識部９で得られた音声情報の分析結
果に基づいてオペレータが音声情報を発生した時点で、
認知処理活動のどの段階（第１２図のモデルの項目Ａ〜
Ｈのいずれの項目）の活動を行なっているかを推定する
。第１３図は、オペレータの音声情報から認知処理活動
を推定する際の知識の例を示す。

Ｉ！１報の発生を確認した旨の表現、プロセスデータが
通常値からずれていることを検知した旨の表現をオペレ
ータが発話した場合には、オペレータの認知処理活動は
異常検知と推定する。また、プロセスデータの値、変化
状況に関する表現の発話の場合には、オペレータの認知
処理活動は観察とデータ収集と推定する。このように、
第１３図に示す各認知処理活動を特徴づける表現に基づ
いて推定している。

前述のステップ４０３のユーザモデル作成の処理の詳細
を第１４図に示す。ユーザモデルは、オペレータが実際
に注意を払っている項目及び注意の焦点で構成され、理
想的運転員モデルのデータ、及び注視情報認識部７及び
音声認識部９で得られたデータ等を用いて作成される。

ステップ７００では、音声情報の入力の有無を判定する
。音声情報の入力があった場合には、第１０図及び第１
１図の処理手順の実行で得られた「マツチングする情報
及びキーワード」から系統名９機器名などを示すキーワ
ードを抽出する（ステップ７０１）。次に、理想的運転
員モデルに含まれている複数の注意の焦点の中から、ス
テップ７０１で抽出したキーワードを有する注意の焦点
を検索する（ステップ７０２）。そして、検索された注
意の焦点が一つであるか否かを判定する（ステップ７０
３）。その注意の焦点が１つであった場合には、その注
意の焦点に関するデータを含むユーザモデルを原案とす
る（ステップ７０４）。

その後、ステップ２０１で特定した対象物Ｘを入力する
（ステップ７０５）。特定した対象物Ｘのデータに基づ
いてオペレータが見ている機器、パラメータの情報を整
理する（ステップ７１１）。

ステップ７１２は、特定された対象物Ｘのデータ及び音
声情報の分析結果を反映してユーザモデルを作成、更新
すると共に、その作成、更新履歴を記録する。第１５図
は、作成されたユーザモデルの一例を示している。この
ユーザモデルの項目のうち、名称から運転方法までの各
項目の値は、ステップ７０２で検索された注意の焦点の
各項目の値が用いられる。ユーザモデルの認知処理活動
の項目の値は、ステップ４０２で得られた認知処理活動
の推定結果を用いる。注視しているパラメータ及び機器
の値は、特定された対象物Ｘのデータである。音声情報
の項目の値は、ステップ４０１のステップ５０６で得ら
れたマツチングする情報及びステップ６０５で得られた
キーワードである。

なお、注視しているパラメータ、注視している機器及び
音声情報の項目に該当する情報は、オペレータが呪に注
目している情報である。この情報を得る第１０図及び第
１１図の処理手順に基づいて処理を行う手段は、オペレ
ータが注目している情報を推定する手段であるとも言え
る。ステップ７０３の判定がｒｎｏＪである、すなわち
ステジブ７０２で検索された注意の焦点が複数個であっ
たり、またはステップ７００の判定がｒｎｏＪである場
合には、オペレータの目の動き、つまり注視点の情報を
利用する。ステップ７０６において、ステップ２０１で
特定された対象物Ｘのデータを入力する。更に、対象物
Ｘの注視時間を計測し積算する（ステップ７０７）。所
定時間（例えば、１分間）の間、注視点情報の分析を行
ったか否か、すなわちステップ７０６及び７０７の処理
を所定時間だけ繰返したか否かを判定する（ステップ７
０８）。この判定によって、ステップ７０６〜７０８の
実行により、所定時間の間に対象物Ｘをどれ位の時間、
オペレータが見ていたかを分析したことになる。そして
、所定時間経過（ステップ７０８の判定がｒｙｅｓＪに
なったとき）後に、ステップ７０９において、ステップ
７０７で求められた注視時間の積算結果に基づいて理想
的運転員モデルの各注意の焦点毎の注視時間を推定する
。

トータルの注視時間の最も大きい注意の焦点を用いて、
ユーザモデルの原案を作成する（ステップ７１０）。そ
の後、ステップ７１１の処理を行い、ステップ７１２の
処理に移る。ステップ７１２の処理は、ユーザモデルを
作成、更新すると共に、その作成、更新履歴を記憶装置
１２に記録する。

ユーザモデルは、同じ異常事象であってもオペレータが
発する音声情報、オペレータの注視対象物及びプラント
状態力Ｓ変化したときに更新される。

ユーザモデルは、第１５図に示すようにまた前述したよ
うに、該当する異常事象に対応する理想的運転員モデル
内から選択された１つの注意の焦点に関する情報（その
異常事象に対してオペレータが知るべき情報）とオペレ
ータから得られる情報（オペレータの現在の状態を示す
情報）を含んでいる。前述したステップ４０１の処理に
おけるマツチング情報の抽出に際して、第１段階として
ステップ５０１の判定に基づくユーザモデルからのマツ
チング情報の抽出を行うので、オペレータが発した音声
情報を短時間で理解することができる。これは、ユーザ
モデルは複数の注意の焦点に関する情報を有する理想的
運転員モデルと異って１つの注意の焦点に関する少ない
量の情報を有しているので、マツチング情報の有無の判
定及びこれの抽出が短時間に行えるからである。更に、
理想的運転員モデルに複数の注意の焦点が含まれている
場合には、オペレータが発した音声情報及びオペレータ
の注視点情報に基づいて理想的運転員モデルの中からオ
ペレータが必要とする１つの注意の焦点を精度良く推定
できる。これによって、異常事象にマツチしてしかもオ
ペレータが必要としている適切な情報の編集が情報編集
部１１で容易に行える。理想的運転員モデルを作成した
後にユーザモデルを作成しているので、上記の情報編集
に必要なデータを容易に絞り込むことができる。

ユーザモデルは、現時点の異常事象に最もマツチした情
報であってオペレータが現に必要としている情報を集め
た一種の知識ベースである。

ユーザモデルは、マンマシンシステム１４と対話してい
るオペレータが注目している情報を有しているため、シ
ステム側でユーザモデルを持つということはオペレータ
とシステムが同じ話題をもっていることになる。そのた
め、オペレータが抽象的な表現をした場合には、システ
ム側でそれが何を意味しているのかを理解することがで
きる。

例えば、人間が［水位は、どうなっている。」と質問し
た場合を考える。ユーザモデルの名称が「プラント重要
パラメータの監視」になっていた場合には、「原子炉水
位は、どうなっている。」と理解することができる。ま
た、ユーザモデルが「サプレッションプールの監視」に
対して作成さ九でいた場合には、ｒサプレッションプー
ル水位はどうなっている。」と理解することができる。

つまり、水位という抽象的な表現を、ユーザモデルを活
用することによって具体的な物理量に置き換えることが
できる。この処理をより正確に行なうために、前述した
ようにオペレータ人間の視線の情報を利用する。オペレ
ータの視線の情報を利用すると、「あれ」、「これ」な
どの抽象的な表現に対しても対応できる。

情報編集部１１における処理手順を第１６図に示す。ま
ず、オペレータ状態推定部１ｏで作成されたユーザモデ
ルのデータを入力する（ステップ８００）、ステップ８
０１において、ユーザモデルに格納されている音声情報
項目の内容、注視している機器の情報に基づいて必要な
情報を提供する装！ｔ３を決定する。ステップ８０２で
は、ユーザモデルに含まれている認知処理活動の情報及
びオペレータの知覚特性を考慮して、提供情報の提示形
態を決定する。提示する提供情報を編集しくステップ８
０３）、情報をどの装置に提供するかをオペレータに知
らせる告知情報を作成し出力する（ステップ８０４）。

この公知情報は、音声出力装置Ｘ１４及び表示装置３の
いずれを用いてオぺレータに伝えられる。そして、ステ
ップ８０５において、編集した提供情報をステップ８０
１で決定された情報提供装置に出力する。

第１７図はステップ８０１の詳細な処理手順を示す、ま
ず、オペレータが表示装置３を見ているか否かが判定さ
れる（ステップ９００）、ステップ９００でｒｙｅｓＪ
と判定された場合には、オペレータが見ている表示装置
３を情報提供装置として決定する（ステップ９０１）、
ステップ９００でｒｎＯＪと判定された場合には、ステ
ップ９０２でオペレータの質問内容（音声情報）が、（
ｉ）プロセスデータの値に関する質問、（３ｉ）プロセ
スデータの変化状態に関する質問、及び（■）″Ｍ転操
作に関する質問のうちどの質問かを判定する。ステップ
９０２が（ｉ）の質問であると判定した場合には、情報
提供装置として音声出力装置１４が選択される（ステッ
プ９０３）　、　（ｉｉｉ）の質問であると判定された
場合には、情報提供装置として表示装置３及び音声出力
装置４が選択される（ステップ９０４）。ステップ９０
３で（ｉｉ）の質問であると判定された場合には、ステ
ップ９０５の判定、すなわち該当するプロセスデータの
変化の有無を判定する。ステップ９０５の判定結果が「
プロセスデータが変化する」である場合にはステップ９
０４の処理が、「プロセスデータが変化しない」の場合
にはステップ９０３の処理が実行される。このように、
ステップ８０１では、音声情報及びオペレータの眼の情
報に基づいて提供情報を提示すべき現時点で最適な情報
提供装置を選択することができる。

ステップ８０２での情報表示形態の決定に際しては、ユ
ーザモデル内のオペレータの認知処理活動に関するデー
タ、及びオペレータの知覚特性を考慮する０例えば、第
１２図のモデルにおけるｒＨ察」及び「システム状態の
同定」等の認知処理活動をオペレータが行っている状態
では系統構成の図形表示とし、「手順の選択」及び「手
順の実行」の認知処理活動を行っている状態ではフロー
チャート表示とする。特に本実施例では、前述したよう
に音声情報及び視線情報を用いてオペレータの認知処理
活動の段階を推定することによってオペレータが今何を
考えているかをより正確に推定でき、この推定された認
知処理の段階に基づいて情報提供形態を決定しているの
で１次に述べるステップ８０３でオペレータの思考過程
にあった情報を適切に提供できる。

ステップ８０３の提供情報の編集処理では、ユーザモデ
ルの情報、及びプラント状態評価部５から出力されるプ
ラント状態を示すデータ及びプロセスデータを用いて、
前述の情報表示形態に沿った提供情報の編集を行う。

オペレータは１表示装［３及び音声出力装置４より提供
された情報に基づいてプラントの操作対象機器に操作指
令（または制御指令）を出力するために運転操作盤２上
のスイッチ等を必要に応じて操作する。

本実施例は、音声情報だけでなくオペレータの視線の情
報も考慮しているので、オペレータが必要としている情
報を適切に提供できる。特にオペレータが発する音声が
抽象的な表現、及び省略した表現であっても、オペレー
タが要求するであろう情報を精度良く推定でき適切な情
報を提供できる。オペレータの認知処理活動の段階を推
定することによって、オペレータが必要としているその
段階にあった情報をタイムリーに提供できる。更には、
音声情報の内容、オペレータの視線情報。

プラント状態の評価結果に基づいて、情報の４示手段及
び提示形態を決定するため、オペレータに理解し易い形
で情報提供ができる。

本実施例は、火力プラント、原子カプラント。

化学プラント、その他のプラント等のプラントたけでな
く操作盤からの操作指令に基づいて操作される操作対象
機器を有する装置（例えば、船舶。

飛行機等）にも適用することができる。またプラント運
転訓練装置のようなシミュレータの操作にも適用できる
。

前述した実施例における情報編集部の他の実施例を以下
に説明する０本実施例の情報編集部は。

ステップ８０１及び８０２の処理を知識工学を利用して
行うものである１本実施例の情報編集部を用いたマンマ
シンシステムは、記憶装置１２内に第１８図及び第１９
図に示すプロダクションルールで表現された知識を記憶
している。第１８図の知識はステップ８０１で、第１９
図の知識はステップ８０２で用いられる。ステップ８０
１で情報提供装置を決定する際には、質問の種類、オペ
レータの視線の方向、プラント状態１人間の認知過程な
どを考慮して決定する。基本的には、視線の行っている
ＣＲＴ　（表示装置３）に情報を提示する。もし、視線
がＣＲＴに行っていない場合には音声出力を利用するが
、第１８図のルール（５）のようにプラン１〜状態によ
ってはＣＲＴも併用している。またルール（６）のよう
に認知過程モデルにおける観察、同定、解釈などの処理
中でＣＲＴを見る余裕がないような場合には、音声出力
を活用する。なお、第１８図においては表示装置として
ＣＲＴＬか述べていないが、大画面表示装置を利用する
こともできる。多くの人間が同時に見るべき情報は大画
面表示装置を利用した方が良いのは当然である。

第１９図の知識を用いたステップ８０２の処理について
説明する。第１９図のルール（１）〜（３）のように、
オペレータの認知過程によって、表示形態を変えること
により、オペレータの理解し易い形で情報を提供できる
。また、第１９図のルール（４）、（５）のように表示
すべき情報の重要度によって表示形態も変化させること
ができる。

情報の重要度とは、理想的運転員モデルにおける注意の
焦点毎に付けた重要度であり、プラント状態、プラント
への影響の度合いなどを考慮して設定されるものである
。これにより、オペレータが重要な情報を見逃していた
場合の注意喚起機能が実現できる。第１８図及び第１９
図に示したように、質問の種類２人間の視線、認知過程
、プラント状態の評価結果に基づいて、情報の提示手段
。

提示形態を決定して情報を提示するため、使いかっての
良いマンマシンインタフェイスが実現できる。

第２０図は、本発明の他の実施例であるマンマシンシス
テムを示している。本実施例は、第１図の実施例に対し
て、ＩＴＶカメラ１４及び画像処理装置１５を追加した
構成となっている。それ以外の構成は、第１図の実施例
と同じものである。

ＩＴＶカメラ１４は、オペレータの動きをとらえ、画像
処理装置１５に信号を送る。画像処理装置１５は、入力
した画像信叶を処理してオペレータの立っている位置、
オペレータの顔の向き及び表情を分析する。これらのデ
ータはオペレータ状態推定部１Ｇに伝えられる。オペレ
ータの状態推定部１６は、第１図のオペレータ状態推定
部７と同じ処理（第９〜１１図および第１４図に示す処
理）を行う他に、オペレータの立っている位置、顔の向
き２表情に基づいて、オペレータが注目している情報、
オペレータの心理状態などを推定し、オペレータの状態
をより正確に分析する。情報編集部１１も、第１図の情
報編集部１１とほとんど同じ処理を行なうが、本実施例
においては第２１図の処理が可能となる。第２１図の処
理手順は、第１６図に示すステップ８０１に相当するも
のである０本実施例におけるステップ８０１の処理は、
第１７図の処理手順の前段にステップ９０６及び９０７
を追加したものである。ステップ９０６では、オペレー
タの位置から表示装置が見えるかを判定する。表示装置
３が見えない位置にオペレータがいる場合には、情報提
供装置として音声出力装置４を選択する（ステップ９０
７）。ステップ９０６の判定がｒｎ　ｏＪである場合に
は、ステップ９００以降の処理が実行される。

本実施例でも、第１図の実施例と同じ項目を有する理想
的運転員モデル及びユーザモデルが作成される。

本実施例は、前述の実施例と同じ効果が得られる。更に
操作盤裏側のように表示装置３の見えない場所にオペレ
ータが立っている場合には、音声出力装置を用いて必要
な情報を提供できる。更には、ステップ９０４で選択さ
れる表示装置に関しても、オペレータの立っている位置
に最も近い場所に設置されている表示装置３またはオペ
レータの顔の向いている方向に設置されている表示装置
３の選択も可能となる。特に１本実施例は、オペレータ
にとって情報を入手し易い都合のよい情報出力装置に情
報を提供できる。

以上の説明においては、ユーザモデルは、オペレータの
視線及び音声情報に基づき、理想的運転員モデルより抽
出して作成するようになっている。

しかしながら、オペレータの視線及び音声情報だけを分
析してユーザモデルを作成しても良い。このような場合
には、理想的運転員モデルとユーザモデルとを比較する
ことによって、オペレータが重要な情報を見逃していな
いか、誤まった方向に注意が向いていないかなどの確認
ができ、注意の喚起機能が強化できる。

次に述べる本発明の他の実施例であるマンマシンシステ
ムは、この注意の喚起機能を強化したものである。本実
施例のマンマシンシステムは、第１図の実施例とほとん
ど同じであり、異なる部分は情報編集部１１に第２２図
及び第２３図に示す機能を負荷したものである。第２２
図及び第２３図に示す処理手順は、第１６図のステップ
８０５の終了に引続いて行われる。まず第２２図の処理
が行われる。ステップ８０３で編集された情報の中から
オペレータが注目すべき情報を抽出する（ステップ８０
Ｇ）。これは、第１５図に示したユーザモデルに含まれ
るパラメータ及び、運転方法などの情報から、ステップ
８０３で編集された情報を抽出することである。ステッ
プ８０６で、抽出した情報をオペレータが見たか否かを
オペレータの視線情報（注視情報認識部７より入力）を
調べる（ステップ８０７）。そして、ステップ８０９で
、見逃した情報の有無を判定する。見逃した情報があっ
た場合には、ステップ８１０の処理が行われ、注意を喚
起する信号を出力する。注意を喚起する信号は、該当す
る表示装置３に出力される。注意を喚起する信号・とし
ては、見逃した情報の部分の表示色を変える信号、その
部分を点滅表示させる信号及び音声による喚起信号など
がある。次に第２３図の処理手順が実行される。この処
理は、第６図の処理によって表示された情報の他に、注
目すべき情報があった場合の処理である。まず、ステッ
プ８１１において、注目すべき情報が他にないかどうか
調べる。これは、第１５図に示したユーザモデルに含ま
れるパラメータ及び、運転方法などの情報の中から、表
示されていない情報を抽出することである。そして、表
示されてなく、かつ注目すべき情報があった場合（ステ
ップ８１２で判定）には、ステップ８０２〜８０５にお
ける情報提供装置の決定、提供情報の編集、出力を行な
う。

本実施例は、第１図の実施例で行われる効果のほかに、
オペレータが表示された情報の中で注目すべき情報を見
なかった場合にその情報を見るように注意を喚起でき、
しかも重要情報の表示洩れの有無を容易にチェックでき
その表示洩れがあった場合にもそれを速やかに表示でき
る。特に、オペレータの視線情報に基づいてオペレータ
の情報の見逃しをチェックしているので、その見逃しを
精度良くチェックできる。

以上述べた各実施例は、プラント状態評価部５で作成さ
れた理想的運転員モデル、及び注視情報認識部７及び音
声認識部９で得られた情報をもとに自動的にユーザモデ
ルを作成するものである。

ユーザモデルの作成にオペレータの意志を直接反映させ
ることもできる。この実施例を第２４図に示す。本実施
例のマンマシンシステムは、信号処理部１３Ａ入力装置
（キーボード）１９を備えている。信号処理部１３Ａは
、プラント状態評価部５、情報編集部１１及びオペレー
タ状態推定部１６を含んでいる。プラント状態評価部５
は第２図の処理手順で作成した理想的運転員モデルを情
報編集部１１に出力する。情報編集部１１は、入力した
理想的運転員モデルに含まれる注意の焦点の情報を注意
の焦点毎に示した表示情報（第２５図参照）を作成し、
該当する表示装置３へ出力する。この表示情報は、その
表示装置３に表示される。オペレータは、表示された注
意の焦点のうち必要とする注意の焦点を入力装置１９で
指定すると共に注視しているパラメータ及び機器、オペ
レータ自身が第１２図のモデルのどの部分の思考を行っ
ているのか等のユーザモデルを作成するのに必要なデー
タを入力装置１９から入力する。オペレータ状態推定部
１０は、入力装置１９で入力されたデータ等を受取り、
第１５図に示すユーザモデルであってオペレータによっ
て選択された注意の焦点の情報を含むユーザモデルを作
成する。情報編集部１１は、第１図の実施例と同様にユ
ーザモデルを用いてオペレータに提示すべき情報を作成
する。

本実施例は、オペレータの意志を直接反映してユーザモ
デルを作成することができるので、オペレータが必要と
している情報を確実に提供できる。

理想的運転員モデル及びユーザモデルを用いることによ
って第１図の実施例で得られる効果も、本実施例で生じ
る。

〔発明の効果〕

本発明の第１の特徴によれば、オペレータが抽象的な表
現をした場合にもオペレータが必要とする情報を適切に
提供できる。

本発明の第２の特徴によれば、第１の特徴による効果と
共にオペレータの思考過程に沿った情報をタイムリーに
提供できる。

本発明の第３の特徴によれば、第１の特徴による効果と
共に重要情報の見逃しを精度良くチェックすることがで
きる。

本発明の第４の特徴によれば、オペレータにとって情報
を入手しやすい都合の良い情報出力装置に情報を提供で
きる。

本発明の第５の特徴によれば、第１の特徴による効果と
共に重要情報の洩れのない提供情報を作成することがで
きる。

【図面の簡単な説明】

第１図は本発明の好適な一実施例であるマンマシンシス
テムの構成図、第２図は第１図のプラント状態評価部で
実行される処理手順を示す説明図、第３図及び第４図は
プラント状態評価部で用いられる知識の説明図、第５図
はプランＩ・状態評価部で作成された理想的運転員モデ
ルの説明図、第６図は第１図の注視情報認識部で実行さ
れる処理手順を示す説明図、第７図は第６図の処理手順
で得られた注視対象、注視時間等のデータを示す説明図
、第８図は第１図の音声認識部で実行される処理手順を
示す説明図、第９図は第１図のオペレータ状態推定部で
実行される処理手順を示す説明図、第１０図及び第１１
図は第９図のステップ４０１の詳細な処理手順を示す説
明図、第１２図はラスムラセンが提案したモデルの説明
図、第１３図はオペレータの音声情報から認知処理活動
を推定する際に用いられる知識の説明図、第１４図は第
９図のステップ４０３の詳細な処理手順を示す説明図、
第１５図は第９図のステップ４０３で作成されたユーザ
モデルの説明図、第１６図は第１図の情報編集部で実行
される処理手順の説明図、第１７図は第１６図のステッ
プ８０１の詳細な処理手順を示す説明図、第１８図及び
第１９図は本発明の他の実施例の情報編集部で用いられ
る知識の説明図、第２０図及び第２４図は本発明の他の
実施例であるマンマシンシステムの構成図、第２１図は
第２０図の情報編集部で実行される処理手順の一部を示
す説明図、第２２図及び第２３図は第２０図の情報編集
部で第２１図の処理手順の後に実行される処理手順の説
明図、第２５図は第２４図の実施例で表示装置に表示さ
れる画面データの一例を示す説明図である。１・・・プラント、２・・・運転操作盤、３・・・表示
装置、４・・・音声出力装置、５・・・プラント状態評
価部、６・・・眼球運動検出器、７・・・注視情報認識
部、８・・・音声入力装置、９・・・音声認識部、１０
・・・オペレータ状態推定部、１１・・・情報編集部、
１２・・記憶装置、１３・・・信号処理部、１４・・・
マンマシンシステム。

Claims

【特許請求の範囲】１、被操作手段を有する装置のある運転状態に対して注
目すべき複数の注意の焦点を含む第１オペレータモデル
を作成する手段と、前記第１オペレータモデルに含まれ
る前記注意の焦点うちからオペレータが必要としている
前記注意の焦点を、入力したオペレータが発生した音声
情報及びこのオペレータの視線情報を用いて推定する手
段と、前記推定された注意の焦点の情報を含む前記オペ
レータに対応する第２オペレータモデルを作成する手段
と、前記第２オペレータモデルに含まれる前記推定され
た注意の焦点の情報及び前記被操作手段を有する装置か
ら得られた情報を用いて提供する情報を編集する手段と
を備えたことを特徴とするマンマシンシステム。２、前記音声情報及び前記視線情報を用いてオペレータ
の認知処理活動の段階を推定する手段を備え、前記推定
された認知処理活動の段階に基づいて情報提供形態を決
定する手段とを備え、前記情報編集手段が前記決定され
た情報提供形態に基づいて前記提供情報を編集する手段
である請求項１のマンマシンシステム。３、前記視線情報に基づいて前記情報編集手段で編集さ
れた情報をオペレータが見たか否かをチェックし、見な
い情報がある場合には注意喚起信号を出力する手段を備
えた請求項１のマンマシンシステム。４、被操作手段を有する装置のある運転状態に対して注
目すべき複数の注意の焦点を含む第１オペレータモデル
を作成する手段と、前記第１オペレータモデルに含まれ
る前記注意の焦点うちからオペレータが必要としている
前記注意の焦点を、入力したオペレータが発生した音声
情報及びこのオペレータの視線情報を用いて推定する手
段と、前記推定された注意の焦点の情報を含む前記オペ
レータに対応する第２オペレータモデルを作成する手段
と、前記音声情報及び前記視線情報を用いて情報提供装
置を決定する手段と、前記第２オペレータモデルに含ま
れる前記推定された注意の焦点の情報及び前記被操作手
段を有する装置から得られた情報を用いて提供する情報
を編集し、その提供する情報を前記決定された情報提供
装置に出力する手段とを備えたことを特徴とするマンマ
シンシステム。５、被操作手段を有する装置のある運転状態に対して注
目すべき複数の注意の焦点を含む第１オペレータモデル
を作成する手段と、前記第１オペレータモデルに含まれ
る前記注意の焦点うちからオペレータが必要としている
前記注意の焦点を、入力したオペレータが発生した音声
情報及びこのオペレータの視線情報を用いて推定する手
段と、前記音声情報及び前記視線情報に基づいてオペレ
ータ注目している情報を推定する手段と、前記推定され
た注意の焦点の情報、及び前記注目している情報を含む
前記オペレータに対応する第２オペレータモデルを作成
する手段と、前記第２オペレータモデルに含まれる前記
各情報及び前記被操作手段を有する装置から得られた情
報を用いて提供する情報を編集する手段とを備えたこと
を特徴とするマンマシンシステム。６、前記情報編集手段で得られた情報と前記第２オペレ
ータモデルに含まれた情報とを比較し、後者の情報であ
つて前者の情報に含まれていない情報があるか否かをチ
ェックする手段を備え、前記後者の情報のうち前記前者
の情報に含まれていない情報がある場合には、前記情報
編集手段による情報の編集を行う請求項５のマンマシン
システム。７、被操作手段を有する装置のある運転状態に対して注
目すべき複数の注意の焦点を含む第１オペレータモデル
を作成する手段と、前記第１オペレータモデルに含まれ
る前記注意の焦点うちからオペレータが必要としている
前記注意の焦点を、入力したオペレータが発生した音声
情報及びこのオペレータの視線情報を用いて推定する手
段と、前記推定された注意の焦点の情報を含む前記オペ
レータに対応する第２オペレータモデルを作成する手段
と、前記第２オペレータモデルに含まれる前記推定され
た注意の焦点の情報及び前記被操作手段を有する装置か
ら得られた情報を用いて提供する情報を編集する手段と
、前記情報編集手段で編集された情報を表示する表示手
段と、音声出力手段と、オペレータを撮影するテレビカ
メラと、前記テレビカメラから出力された映像信号に基
づいてオペレータが前記表示手段の見える位置にいるか
否かを判定し、オペレータが前記表示手段の見えない位
置にいる場合には、前記編集された情報を前記音声出力
手段に出力させる手段とを備えたことを特徴とするマン
マシンシステム。８、表示手段と、入力手段と、被操作手段を有する装置
のある運転状態に対して注目すべき複数の注意の焦点を
含む第１オペレータモデルを作成する手段と、前記第１
オペレータモデルに含まれている前記注意の焦点の情報
を前記表示手段に出力する手段と、前記表示手段に表示
された前記注意の焦点であつて前記入力手段で指定され
た前記注意の焦点の情報を含む前記オペレータに対応す
る第２オペレータモデルを作成する手段と、前記第２オ
ペレータモデルに含まれる前記推定された注意の焦点の
情報及び前記被操作手段を有する装置から得られた情報
を用いて提供する情報を編集する手段とを備えたことを
特徴とするマンマシンシステム。９、被操作手段を有する装置のある運転状態に対して注
目すべき複数の注意の焦点を含む第１オペレータモデル
を作成する手段と、前記第１オペレータモデルに含まれ
る前記注意の焦点うちからオペレータが必要としている
前記注意の焦点を、入力したオペレータが発生した音声
情報及びこのオペレータの視線情報を用いて推定する手
段と、前記推定された注意の焦点の情報を含む前記オペ
レータに対応する第２オペレータモデルを作成する手段
と、前記第２オペレータモデルに含まれる前記推定され
た注意の焦点の情報及び前記被操作手段を有する装置か
ら得られた情報を用いて表示する情報を編集する手段と
を備えたことを特徴とする表示情報作成装置。１０、被操作手段を有する装置と、情報出力手段を有す
る運転操作盤と、前記被操作手段を有する装置のある運
転状態に対して注目すべき複数の注意の焦点を含む第１
オペレータモデルを作成する手段と、前記第１オペレー
タモデルに含まれる前記注意の焦点うちからオペレータ
が必要としている前記注意の焦点を、入力したオペレー
タが発生した音声情報及びこのオペレータの視線情報を
用いて推定する手段と、前記推定された注意の焦点の情
報を含む前記オペレータに対応する第２オペレータモデ
ルを作成する手段と、前記第２オペレータモデルに含ま
れる前記推定された注意の焦点の情報及び前記被操作手
段を有する装置から得られた情報を用いて前記情報出力
手段に提供する情報を編集する手段とを備えたことを特
徴とする運転操作装置。