JPH01133199A - マンマシンインタフエイス - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、プラント制御用計算機システム等のマンマシ
ンインタフェイスに係り、特に、プラント状態を正確に
把握するための適切な情報を適切なタイミングで出力す
るに好適なマンマシンインタフェイスに関するものであ
る。

〔従来の技術〕

プラント制御用計算機システム等のマンマシンインタフ
ェイスに音声情報を取入れた装置としては、特開昭６１
−２４３８１０号の音声情報を用いたプラント診断装置
が公知である。

また、マンマシンインタフェイスに眼球運動検出器を取
入れた装置としては、特開昭６１−２４３５０８号の意
志伝達装置に記載のような、眼球運動で文章を作成する
装置が公知である。

〔発明が解決しようとする問題点〕

上記従来技術は、人間の、轍志どうりに表示したり、プ
ラント診断したりするなどの制御が可能であるが１人間
の注目している内容を客観的に評価する手段がない。そ
のため、例えば、音声入力を用いたプラント診断装置で
は、人間がプラント状況を誤解したりプラントの異常に
気付かない場合には、重要な項目を見逃したり、あまり
重要でない項１１に注１行の焦点が集中したりして、プ
ラント状況を把握するための重要な情報が得られない虞
れがあるという問題があった。

また、無意識のうち誤まった表現を行なった場合や、機
器名称等を度忘れしてしまった場合にも上記問題が生じ
る。

本発明の目的は、人間の注視点を分析して５重要な項目
の見逃しがないかなどの評価を行なって。

プラント状況を把握するために重要な情報を適切なタイ
ミングで出力し得るマンマシンインタフェイスを提供す
ることにある。

〔問題点を解決するための手段〕 上記目的は、（ａ）人間の眼球運動を検出し。

人間の注視点の動き、注視時間などから人間の注目して
いる項目を認識すること、さらに、（ｂ）プラントから
取り込んだプラントデータと、ブラント構成に関する知
識、事象の因果関係に関する知識など予め記憶していた
知識と、現在表示装置に出力されている表示画面の情報
とから、注目すべき項目を抽出すること、並びに、（Ｑ
）実際に注目している項目と、抽出した注目すべき項目
とを比較して、重要項目の見逃しがないかなどの評価を
行ない、（ｄ）評価結果にもとづいて出力情報を編集し
出力することにより、達成される。

〔作用〕

眼球運動検出器からの信号を分析することによって、人
間の注意の焦点がどこにあるかという情報が得られる。

また、プラン１−データと、各種知識および表示画面情
報から、現在の表示画面上で注目すべき場所、ブラント
状況を把握するために注目すべき項目、監視すべき項目
などが得られる。

上記２つの項目を比較することによって１人間が表示画
面の情報を正確に認識しているか否か、プラント状況が
把握できているか否か、誤解していないかどうかなど、
人間の注目内容が評価できる。

その評価結果にもとづいて、人間の誤解等に起因して誤
まった項目に注意の焦点が集中することや、思い込みに
よる重要項目の見逃しなどが検知できるため、それを防
止するための注意の喚起や適切な情報の表示が可能とな
る。

〔実施例〕

以下、本発明の一実施例を図を用いて詳細に説明する。

第１図は本発明に係るマンマシンインタフェイスの一実
施例のブロック図である。１はプラン１−である。２は
プランＩ−からプロセスデータ、機器の動作状況を示す
信号を取り込むデータ取込部である。３は取り込んだデ
ータを処理するデータ処理部である。４は、スピーカ５
や大画面表示装置６やＣＲＴ４０．−ｔ、同４０−２〜
同４０−１に出力する情報を編集する出力情報編集部で
ある。

３０は、人間が注目している点を認識する注目点認識部
であり、具体的には、人間の眼球運動を検出する眼球運
動検出器７と、その検出器からの出力信号から注視時間
などの情報を作成する装置８とによって構成される。１
１は、注目点認識部３０の出力情報と記憶袋＠１３の情
報とから人間の注目している点に関する情報を作成する
注目点情報作成部である。

１２は、プラントから取り込んだデータと記憶装置１３
に予め格納しているプラントに関する知識とを用いてプ
ラン１〜状態を推定すると共に注目すべき項目を抽出す
る注目点情報作成部である。

１３は記憶装置であり、プラントの構成に関する知識、
事象の因果関係に関する知識、運転操作に関する知識２
人間の視野の範囲に存在する制御盤などの機器の配置や
構成に関する知識などが格納されている。１４は注目点
情報作成部１１の出力情報である人間が実際に注目して
いる点に関する情報と、注目要情報作成１部１２の出力
情報とを比較して、人間が重要な項目を見逃していない
かなどを評価する注目点情報評価部である。

第２図は、注目点認識部３０における眼球運動検出器の
具体的−実施例の原理図であり、眼球を頭上から見た図
である。１６は発光素子であり、１７と１８は眼球の角
膜からの反射光を受光する受光素子である。この検出器
は白目と黒目での光の反射率が異なることを利用した検
出器であり、眼球の動くことによって受光素子１７と同
１８での受光量が変化する。眼球の左右の動きは受光素
子１７と同１８の受光素子からの出力信号の差によって
検出でき、眼球の上下の勅きは出力信号の和によって検
出できる。

本実施例のマンマシンインタフェイスにおいて。

人間が注目している対象物は、大画面表示装置６（第１
図）に表示された画面だけでなく、人間の視野の範囲に
存在する制御盤等の機器でもよいが、説明の簡単化のた
め表示画面を例にとって次に説明する。

第１図に示した注目点情報作成部１１では、現在表示中
の表示画面の構成に関する情報を参照して、注視点に表
示されている内容を認識する。例えば、「１２時２３分
１０秒から１２時２３分１１秒までの１秒間、プロセス
ｔ　ｐ　ｌ　を注視した」という情報を作成する。第３
図は上記作用のフロー図である。

第４図は、注目要情報作成部１２（第１図）の概略処理
フロー図である。まず、取込んだプラントデータに基づ
いてプラン１〜状態を推定する（フロー４０１）。これ
は、各プロセス値が異常値を示していないかどうかをチ
エツクする処理と、今後のプロセス量の推移を予４（す
する処理とよりなる。

また、プラン１へ状態推定と共に、現在表示中の画面に
おいて重要な情報は何か、注［１すべき項［１は何かな
どを抽出する（フロー４０２）。例えば、表示画面がプ
ラントのサマリー図であった場合には、プラントの状態
、特性を明確に表わしている圧力、水位などの重要パラ
メータを抽出する。

そして、異常事象が１ｇ１ｌｌＩ１１された場合には、
異常原因の候補を探索する（フロー４０３）。これは、
記憶装置１３（第１図）に予め格納しである事象の因果
関係に関する知識及び、プラン１−の構成に関する知識
を用いて探索する。次に、候補に挙げた異常原因が実際
に発生しているかどうかを確認するために注目すべき項
目を抽出する。第５図は。

事象の因果関係に関する知識を模式的に表現した説明図
であり、◎は異常原因、Ｏは異常事象、→は事象の波及
方向を示している。例えば、異常原因Ｔ１が発生した場
合、異常事象ａｌ、ａ２が生起し、さらに異常事象ａ７
．ａ８が生起することを表現している。ここで、異常事
象ａ９が観測された場合、異常原因の候補としては矢印
を逆方向にたどってＴ２とＴ３との２つを挙げることが
できる。そして異常原因Ｔ２とＴ３とが実際に発生して
いるかどうかを確認するために注目すべき項目としては
、各々の異常原因により生起する可能性のある異常事象
を抽出する。つまり、異常原因”Ｉ”２．Ｔ３に対して
、それぞれ第６図に示した異常事象を注目すべき項目と
して抽出する。

また、Ｉ　１ｌｔｌｌした異常事象に対して緊急に対応
操作を行なう必要があるものがあったら、対応操作内容
を決定する。これは、記憶装置１３（第１図）に予め格
納しである運転操作に関する知識を用いて決定する。

第７図は、注目点情報評価部１４の処理フローである。

注目点情報作成部１１で作成した、実際に人間が注目し
ている項目に関する情報と、注目要情報作成部１２でプ
ラントデータに基づき作成した、注目すべき項目に関す
る情報とを比較する。

そして１人間の注目内容に関して、例えば、以下のよう
な項目を評価する。

・重要な項目を見逃していないか？ ・重要でない項目に注、毬の焦点が集中していないか？ ・注目点情報から対応操作要と判断できる状況の場合に
、操作が実施されたか？ ・操作内容と注目内容との不一致はないか？なお、上記
の項目は評価項目の一部に過ぎない。

第８図は、注目点情報評価部１４の評価結果に基づいて
出力情報編集部４で行なう編集の制御方法をＩｆ＝ｔｈ
ｅｎルールの形で表現した図である。

例えば、表示画面上の重要な部分を人間が見逃していた
場合には、その部分を点滅表示したり、表示色を変更し
たりして強調して表示する。なお、情報を強調する方法
は、特に上記の２つに限定したものでなく、人間の注視
点の位置に常に重要情報が表示されるようにしたり、重
要情報を残して他の情報を抽象化して表示したり、逆に
重要情報の詳細情報を表示するなど、情報を強調すると
いう目的を逸脱しない範囲で種々の公知方法が適用可能
である。また、情報の出力形態も表示画面に限定したも
のでなく、音声を用いてもよく、さらにはランプの点滅
などでもよい。

以」二の説明では、人間の注目している対象物体として
表示画面を例示したが、この対象物体が人間の視野の範
囲に存在する制御盤のような機器であっても本発明の実
施は可能である。

第９図は、オペレータコンソール１９を対象物体とした
例である。オペレータコンソール上には。

プラントの運転操作に必要なメータ、記録計。

ＣＲＴ操作スイッチなどが配置されている。プラントを
運転する場合には、これ１゛、の表示機器によってプラ
ント状態を把握する。この場合には、注目点認識部３０
には、眼球運動検出器７と注視点認識装置８のほかに、
頭部の動き検出器１５を組み込む。頭部の動き検出器と
しては小型カメラなどが使用できる。そして、頭部の動
き検出器１５により１人間の注目方向を認識し眼球運動
検出器により注視点を認識する。かつ、記憶装置１３に
格納しであるオペレータコンソール１９上のメータ等の
配置に関する情報を用いて、運転員の注意の焦点を認識
する。

これにより、プラント状態の把握が確実となると共に、
適切な操作で早期に対応できる。

また、人間の注目している項目を認識するための情報と
して、注視点の情報を使用しているが、さらに人間の音
声情報を付加してもよい。第１０図は、第９図の注目点
認識部３０にマイク２１と音声認識理解部２２を付加し
た実施例である。この実施例によれば、注視点情報と音
声情報を用いて人間の注目している項目をより詳細に分
析することができる。

なお、上記の実施例を示した第９図、第１０図において
、眼球運動検出器７および頭の動き検出器１５は人間の
顔面乃至は頭部に装着した形に描いであるが、人間から
離れた位置（例えばコンソールの盤面）から人間の頭部
や眼球の動きを遠隔検出できる検出器を用いてもよい。

〔発明の効果〕

本発明によれば、人間の思い込みや誤解などにより重要
な情報を見逃したり、注５はの焦点が分散したりした場
合、直ちにこれを検出して、注意を喚起できるほかに、
プラントを正確に把握するための適切な情報が適切なタ
イミングで表示でき、マンマシン性能が向上する。また
、人間の有するプラントに関する知識の量の違い、熟練
度の違いなどに関しても注視点の情報から、知識・熟練
の程度を自動的に認識できるので、それぞれの人間図は
眼球運動検出器の原理図、第３図は注視点情報作成部の
処理フロー図、第４図は要注目情報作成部の処理フロー
図、第５図は事象の因果関係に関する知識の模式図、第
６図は異常原因候補の確認のための注目す八き項目の抽
出例を示す図表。

第７図は注目点情報評価部の処理フロー図、第８図は出
力情報編集部の処理内容を表示した図表、第９図はオペ
レータコンソールを注目対象物とした実施例のブロック
図、第１０図は音声情報を追加した実施例のブロック図
である。

４・・・出力情報編集部、７・・・眼球運動検出器、８
・・注視点認識部、１１・・注目点情報作成部、１２・
・・情報作成部、１３・・・記憶装置、１４・・・注目
点情報評価部、１５・・頭部の動き検出部、２２・・・
音声認識・理解部、３０　・注目点認識部。

Claims (1)

1. 【特許請求の範囲】 １、（ａ）プラントデータを取り込む手段と、取り込ん
   だプラントデータを処理する手段と、プラントに関する
   情報を記憶する手段とを設けると共に、 （ｂ）前記の処理手段によつて処理されたデータと、前
   記記憶手段に格納されている情報とを参照して、表示機
   器に対して出力する情報を編集する手段を設け、かつ、 （ｃ）人間が注視している個所、及び、人間が注意を集
   中している領域の少なくとも何れか一方を認識する注目
   点認識手段と、 （ｄ）上記注目点認識手段の出力情報と、前記記憶手段
   に格納されている情報とに基づいて、前記の人間の注目
   点に関する情報を作成する手段と、 （ｅ）前記のデータ取込手段の出力情報と、前記記憶手
   段に格納されている情報とに基づいて、前記の人間が当
   該プラントを監視するために注意を集中すべき情報を作
   成する要注目情報作成手段と、 （ｆ）前記の注目点情報作成手段の出力情報と、前記要
   注目情報作成手段の出力信号とを比較して、前記の人間
   が注意を集中している内容が適正であるか否かを評価す
   る注目点情報評価手段とを設け、上記注目的情報評価手
   段による評価結果を前記の出力情報編集手段に対して出
   力するように構成したことを特徴とするマンマシンイン
   タフェイス。 ２、前記（ｃ）項の注目点認識手段は、（ｃ＿１）人間
   の眼球の運動を検出する手段と、その出力信号を処理す
   る注視点認識手段、及び、（ｃ＿２）人間の音声を検出
   して理解する手段、並びに、（ｃ＿３）人間の頭部の動
   きを検出する手段の少なくとも何れか一つを備えたもの
   であることを特徴とする特許請求の範囲第１項に記載の
   マンマシンインタフェイス。 ３、前記（ｃ）項の注目点認識手段は少なくとも２種類
   の情報を出力するものであり、 前記の注目点情報作成手段は、注目点認識手段の第１の
   出力に基づいて、注目している対象物を認識するととも
   に、該認識結果に基づいて前記の記憶手段から該対象物
   に関する情報を抽出する機能を有し、かつ、上記注目点
   情報作成手段は、上記の抽出情報と、前記注目点認識手
   段の第２の出力とに基づいて、人間が注目している場所
   乃至は領域に関する情報を作成する機能を有するもので
   あることを特徴とする特許請求の範囲第１項に記載のマ
   ンマシンインタフェイス。 ４、前記の注目点情報評価手段は、注目すべき情報のそ
   れぞれについて重要度を決定して前記の出力情報編集手
   段に出力する機能を備えたものであり、かつ、該出力情
   報編集手段は重要度の大きい情報を、前記の人間が注目
   している場所乃至領域に表示するよう編集する機能を有
   するものであることを特徴とする特許請求の範囲第１項
   に記載のマンマシンインタフェイス。 ５、前記の注目点情報評価手段は、前記要注目情報作成
   手段の出力情報に含まれているにも拘らず、前記注目点
   情報作成手段の出力情報に含まれていない情報を抽出す
   る機能を有するものであり、かつ、前記の出力情報編集
   手段は上記の抽出情報を強調して表示するように編集す
   る機能を有するものであることを特徴とする特許請求の
   範囲第１項に記載のマンマシンインタフェイス。 ６、前記の注目点情報評価手段は、前記要注目情報作成
   手段の出力情報に含まれており、かつ、前記注目点情報
   作成手段の出力情報にも含まれている情報を抽出する機
   能、及び、この抽出した情報の重要度を決定する機能を
   有するものであり、かつ、前記の出力情報編集手段は、
   上記抽出情報のうち最も重要度の高い抽出情報に関する
   詳細な情報を編集する機能を有するものであることを特
   徴とする特許請求の範囲第１項に記載のマンマシンイン
   タフェイス。