JP2973726B2

JP2973726B2 - 情報処理装置

Info

Publication number: JP2973726B2
Application number: JP23085192A
Authority: JP
Inventors: 幸治大賀; 洋関; 節男有田; 幸一川口
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-08-31
Filing date: 1992-08-31
Publication date: 1999-11-08
Anticipated expiration: 2014-11-08
Also published as: JPH0683570A; US5677993A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理装置に係り、
特にＣＲＴタッチ入力などのポインティング入力手段に
よる入力と音声入力とによって入力された情報を用いて
必要な情報（例えば表示情報及び制御情報）を出力する
情報処理装置に関するものである。

【０００２】

【従来の技術】従来、例えばタッチ入力手段と音声入力
手段を用いて、計算機に処理命令を入力する技術として
は、プラント監視装置（特開平2−39307号公報）が知ら
れている。この従来例は、表示装置上で指示した点の座
標を検出するタッチスクリーンを表示装置に取付け、タ
ッチスクリーンで得られたタッチ点座標と表示装置に表
示された画像の座標とから、指示されたプラント部位を
検出するタッチ部位検出装置を設け、更に、運転員が発
生したプロセス量の名称を識別する音声認識装置と、音
声認識装置かあのプロセス量名称の情報とタッチ部位検
出装置からのプラＣＲＴタッチ入力からプラントの部位
の情報とに基づき、プラントから得たプロセス量のデー
タを運転員に報知するプロセス監視計算機とを備えてい
る。

【０００３】

【発明が解決しようとする課題】特開平2−39307号公報
に示された従来例は、タッチ入力と音声入力を用いた計
算機への命令情報の入力が可能である。しかし、この技
術では、プラントの部位はＣＲＴタッチ入力で、プロセ
ス量の名称は音声入力で入力しなければならないという
制約があるため、タッチでのプロセス量名称の入力、あ
るいは、音声でのプラント部位の入力はできないという
問題がある。従って、運転員は、タッチ及び音声で入力
できるそれぞれの情報の種類を予め認識しておかなけれ
ばならず、運転員にとっては負担が大きい。特に、いろ
いろな処理を行なう場合には入力する情報量が多くなる
ので、情報を入力する手段に制限が課せられることは、
運転員の負担が著しく増大する。

【０００４】本発明の目的は、ポインティング入力手段
及び音声入力手段を用いた情報の入力に対する運転員の
負担を著しく低減できる情報処理装置を提供することに
ある。

【０００５】

【課題を解決するための手段】上記目的を達成する本発
明の特徴は、ポインティング入力手段により入力された
情報に基づいて得られた第１文字列情報及び音声入力手
段により入力された情報に基づいて得られた第２文字列
情報を含む第３文字列情報を出力する情報統合手段と、
出力された第３文字列情報を解析する解析手段と、その
解析によって得られる命令情報に対応する提示情報を作
成しこの提示情報を表示装置に出力する手段とを備えた
ことにある。

【０００６】なお、文字列とは、自然語の単語もしくは
数字などを表す記号あるいは記号列を言う。

【０００７】

【作用】ポインティング入力手段による入力情報に基づ
いて得られた第１文字列情報と、第１文字列情報と同じ
種類の情報であり、かつ音声入力手段による入力情報に
基づいて得られる第２文字列情報とを含む第３文字列情
報を解析するので、ポインティング入力手段及び音声入
力手段による入力情報が制限されず、情報の入力に際し
てポインティング入力手段及び音声入力手段を自由に組
み合わせて使用することができる。このため、ポインテ
ィング入力手段及び音声入力手段を用いた情報の入力に
対する運転員の負担を著しく低減できる。

【０００８】

【実施例】以下、本発明の好適な一実施例である情報監
視装置の一例であるプラント監視装置を図１に基づいて
説明する。この情報監視装置及び後述の制御装置は、広
い意味では情報処理装置であると言える。

【０００９】本実施例のプラント監視装置は、ＣＲＴタ
ッチ入力装置１，ユーザ（監視員）からの音声信号を文
字列に変換して出力する音声入力装置３，タッチ入力処
理部５，入力制御部７，入力情報解析部９，メモリ６，
８及び１０、及び音声情報変換部３３を含む情報入力装
置を備える。メモリ６はタッチ入力処理部５で使用する
座標・文字列変換用知識を記憶する。メモリ８は、文字
列記憶部である。メモリ１０は、後述の図７に示す解析
用データを記憶する。本実施例のプラント監視装置は、
更に、提供情報決定部１１，情報決定用知識を記憶する
メモリ１２，出力情報生成部１３，ＣＲＴ表示装置２，
音声出力装置４，メモリであるプラントデータテーブル
１４，トレンドメモリ１５及びプラント情報管理部１６
を備える。ＣＲＴタッチ入力装置１は、ＣＲＴ表示装置
２と一体になっている。プラント情報管理部１６は、プ
ラント１７に設けられた複数の計測器で測定されたプラ
ント状態を示すデータを周期的に取り込む。プラント情
報管理部１６は、プラントの温度，圧力及び流量等のト
レンドデータをトレンドメモリ１５に記憶させ、弁の開
閉及び機器の起動，停止等のデータをプラントデータテ
ーブル１４に記憶させる。プラント情報管理部１６は、
入力した測定値が所定値を超えた場合に、その測定値に
関するアラーム情報を作成し、このアラーム情報をプラ
ントデータテーブル１４に記憶させる。

【００１０】本実施例のプラント監視装置では、ＣＲＴ
タッチ入力装置１からのタッチ入力座標を、タッチ入力
処理部５でメモリ６内の座標・文字列変換用知識を用い
て文字列に変換し、この文字列の情報を入力制御部７に
よってメモリ８に記憶する。一方、音声入力装置３から
出力された音声情報は、音声情報変換部３３で対応する
文字列情報に変換する。音声情報変換部３３から出力さ
れた文字列の情報も、入力制御部７によりメモリ８に記
憶される。入力制御部７は、文字列の情報の入力が終了
したと判定したとき、メモリ８に記憶された文字列情報
を入力情報解析部９に送る。入力情報解析部９は、メモ
リ１０内の解析用データを用いて入力した文字列情報の
解析を実施する。この文字列情報解析により得られた処
理命令に基づいて、提供情報決定部１１は、提供すべき
情報を決定する。次いで、出力情報生成部１３は、その
提供情報に該当するプラントのデータをＣＲＴ表示装置
２及び音声出力装置４に出力する。

【００１１】図２は、ＣＲＴ表示装置２に表示された表
示情報の例を示す。２５は系統図表示領域、２６はトレ
ンド図表示領域、２７は発生アラーム等を表示するメッ
セージ表示領域、２８はメモリ８に記憶された文字列情
報を表示する入力文字列表示領域、２９は出力文字列表
示領域、３０〜３２は入力制御部７の処理で用いられる
制御文字列“ＯＫ”，“ＮＧ”及び“ＣＬＲ”をそれぞ
れ入力するための領域である。領域２５〜２９はユーザ
の入力に基づく文字列情報に対応して表示される情報が
変わる。しかし、領域３０〜３２は固定画像であって領
域２５〜２９の表示内容にかかわらず画面上の同じ位置
に表示される。ユーザは、入力文字列表示領域２８に表
示された文字列を見ることによって、自分が指示した内
容を確認することができ、表示された内容が間違ってい
るときには直ちに再入力により正しい内容に修正するこ
とができる。

【００１２】次に、上記の各部での処理について、詳細
に説明する。

【００１３】図３は、メモリ６に記憶されている座標・
文字列変換用知識の一例を示している。１８はＣＲＴ表
示装置２の系統図表示領域２５に表示される系統図の図
番、１９はこの系統図の系統の名称である。図番１８及
び名称１９は、文字列変換の処理には使用せず、座標・
文字列変換用知識の編集時にユーザに分かり易くするた
めに与えるものである。２０〜２３は、その系統図内に
含まれる機器に対応する矩形領域を指定するための座標
値である。座標値２０及び２１はその矩形領域の左下点
のｘ及びｙ座標、座標値２２及び２３は右上点のｘ及び
ｙ座標である。２４は文字列情報であり、座標値２０〜
２３で指定された矩形領域内の座標（ＣＲＴタッチ入力
装置１でユーザが指定）が入力された場合に出力するも
のである。座標・文字列変換用知識に規定された複数の
矩形領域は、ＣＲＴ表示装置２の画面上に特定されたタ
ッチ領域であり、ここに触れることによって後述するよ
うに座標を入力することができる。

【００１４】タッチ入力処理部５での処理を図４により
詳細に説明する。まずＣＲＴタッチ入力装置１からユー
ザのタッチによって入力した座標を取り込む(ステップ
３５)。出力情報生成部１３から、現在、ＣＲＴ表示装
置２に表示中の系統図の図番を取り込む（ステップ３
５）。次に、この図番を用いて上記座標・文字列変換用
知識から該当する系統図のデータを選択し、タッチによ
って入力した座標が選択された系統図に関する座標・文
字列変換用知識の座標により特定された矩形領域に入る
か否かを順次判定する。その結果、タッチ入力座標が入
る矩形領域があればこのタッチ入力座標を対応する文字
列情報２４に変換する（ステップ３７）。文字列情報が
得られた場合にはステップ３８の判定が「ｙｅｓ」とな
り、ステップ３９により得られた文字列情報を入力制御
部７に出力する。もし、文字列情報が得られなければ、
ステップ４０により「タッチ入力が無効である」旨のエ
ラーメッセージを、出力情報生成部１３を介してＣＲＴ
表示装置２及び音声出力装置４の少なくとも一方に出力
する。これによって、ユーザは、タッチ入力が正常に行
なわれたか否かを知ることができる。

【００１５】入力制御部７での処理を図５に示す。入力
制御部７は、タッチ入力処理部５及び音声入力装置３の
一方から出力された文字列情報を入力する（ステップ４
１）。入力された文字列の情報に入力の終了を示す制御
文字列“ＯＫ”が含まれているか否かを判定する(ステ
ップ４２)。入力された文字列の情報に“ＯＫ”が含ま
れていれば、メモリ８に記憶された文字列（制御文字列
“ＯＫ”だけを入力した場合はすでにメモリ８に記憶さ
れている文字列の最後に“ＯＫ”を付けて）を入力情報
解析部９に出力する(ステップ４３)。一方“ＯＫ”が含
まれていない場合（ステップ４２の判定が「ｎｏ」）に
は、入力した文字列が制御文字列“ＮＧ”を含むか否か
を判定する（ステップ４４）。“ＮＧ”が含まれる場合
には、メモリ８に記憶した文字列のうち、最後に入力さ
れた文字列を消去する（ステップ４５）。そして、ステ
ップ４１の処理を再び実行する。ステップ４４の判定が
「ｎｏ」であれば、制御文字列“ＣＬＲ”が入力された
か否かを判定する（ステップ４６）。“ＣＬＲ”が入力
された場合は、メモリ８に記憶した文字列を全て消去す
る（ステップ４７）。その後、ステップ４１の処理を再
び実行する。一方、“ＣＬＲ”が入力されなければ、メ
モリ８に記憶されている文字列の最後にステップ４１で
入力した文字列を追加する（ステップ４８）。“ＯＫ”
は入力の終了を、“ＮＧ”は最後に入力された文字列の
消去を、“ＣＬＲ”は記憶した文字列の全ての消去を実
行するための制御文字列であり、ＣＲＴタッチ入力装置
１及び音声入力装置３の両方からの入力が可能である。
なお、本実施例では、タッチ入力処理部５及び音声入力
装置３から入力した文字列を統合して記憶しているが、
各々の文字列を別々に記憶し、入力終了の“ＯＫ”が入
力された場合に記憶文字列を統合して入力情報解析部９
に入力することも同様に可能である。また、制御文字列
“ＯＫ”，“ＮＧ”及び“ＣＬＲ”の替わりに、例え
ば、制御信号を発生するハードかつ／またはソフトスイ
ッチを設置することによっても、同様の処理が可能であ
る。このような制御文字列を用いることによって、入力
された文字列情報の取り込み及び消去が簡単に行なえ
る。

【００１６】入力制御部７は、ＣＲＴタッチ入力装置１
及び音声入力装置３の各々から入力された情報をもとに
得られた各文字列情報を、分け隔てなく入力順にメモリ
８に記憶する。すなわち、入力制御部７は、ＣＲＴタッ
チ入力装置１及び音声入力装置３の各々から入力された
情報を同じ種類の情報（文字列情報）として取り扱って
いる。このため、入力情報解析部９は、位置種類の情
報、すなわち文字列情報を入力するので、後述するよう
に構文解析により文字列情報が意味する命令の内容を容
易に解析することができ、プラント監視装置を構成する
コンピュータがその意味を容易に理解する。

【００１７】入力制御部７及びメモリ８は、ＣＲＴタッ
チ入力装置１及び音声入力装置３からそれぞれ情報が入
力された場合、各々の情報に基づいて得られた各文字列
情報を統合する文字列情報統合手段である。メモリ８
は、統合された文字列情報も記憶する。

【００１８】次に、入力情報解析部９の処理について説
明する。以下に述べる、入力情報解析部９にて行なわれ
る解析手法は、特開平2−207303 号公報及び「昭和６３
年秋の大会予行集（第Ｉ分冊）、Ａ３８原子力プラン
トの運転・保守に関する質問応答方式の開発」、社団法
人日本原子力学会、１９８８年９月１０日発行に説明
されている。

【００１９】図６に示すステップ４９〜５３は、入力情
報解析部９で実行される処理の内容を示す。また、図７
は、メモリ１０の各記憶エリアに記憶されているデータ
例を示す。すなわち、文法５４，辞書５５，命令同定ル
ール５６及び格フレーム５７に関するデータは、メモリ
８内の該当する各記憶エリアに記憶されている。文法５
４及び辞書５５のデータは、ステップ５０で、命令同定
ルール５６は命令内容の同定の処理を行なうステップ５
１で、格フレーム５７のデータは格フレームへの語の割
当を行なうステップ５２でそれぞれ使用される。

【００２０】入力情報解析部９は、入力した文字列情報
を解析して処理命令に変換して出力する。ステップ４９
〜５３の処理を説明する。文字列情報をメモリ８から入
力する（ステップ４９）。今、文字列情報として、「キ
ュウスイケイリュウリョウトレンドヒョウジ。」が
入力された場合を考える。

【００２１】ステップ５０は、入力した文字列の構文解
析を行なう。すなわち、まず、辞書５５に含まれる単語
の品詞カテゴリと文法５４とを参照して入力した文字列
情報の構文解析を実施する。この結果、その文字列情報
が分かち書きされ、各々の単語にそれぞれ意味カテゴリ
及び意味が付加される。ここで、構文解析の手法として
は、通常使用される手法、例えば予測ボトムアップ法な
どを使用する。ここで、文法５４は文の構造に関する規
則であり、例えば、文法「Ｓ（文）→ＮＰ（名詞句）Ｓ
（文）」は、左辺のＳが、右辺のＮＰとＳにより構成さ
れうるという規則を表わしている。また、辞書５５は、
各見出し語について、品詞カテゴリ、見出し語をかな漢
字に変換した表示語、意味カテゴリ及び意味の四つの情
報を含んでいる。但し、助詞には、品詞カテゴリと表示
語の２つ情報だけを与えている。なお、入力された文字
列情報の文に含まれる語の認定は、ワードプロセッサな
どで通常用いられる最長一致法による辞書引きによって
も同様に実施することが可能であり、文法５４を使用せ
ず辞書５５のみを用いて同様の解析を実施できる。

【００２２】次に、命令内容の同定のためのステップ５
１の処理を実施する。この処理は、ステップ５０で行な
われた構文解析結果を取り込み、命令同定ルール５６を
用いて構文解析結果である入力文（意味）が有している
命令の内容を同定する。入力文（意味）は、文字列情報
の持っている意味を文で現わしたものである。命令と
は、例えば、trend（状態量のトレンド表示命令）など
のようなものである。

【００２３】命令同定ルール５６は、各々の命令に対し
て、その命令を同定するための標準的な文パターンを与
えたものである。ステップ５１の命令同定の処理では、
ステップ５０で得られた入力文（意味）に含まれた文パ
ターンと命令同定ルール５６に規定された各々の文パタ
ーンとのマッチングを順次試み、マッチングした文パタ
ーンに対応する命令を入力命令であるとする。図６のス
テップ５１に示された文パターンの例は、図７の命令同
定ルール５６に示された「trend 」の文パターン「トレ
ンド？提示＋せよ」とマッチングし、入力命令が
trend であるという同定結果が得られる。命令同定ルー
ル５６は、文パターンを与えるために、記号を用意して
いる。「％」は入力文（意味）に助詞がある場合にのみ
マッチングに使用する語を表わす記号である。これによ
り、対話文に良く見られる助詞の省略に対応することが
可能である。「＋」は省略可能な語を表わす記号で休言
止めなどに対応するためのものである。また、「？」は
任意個の語を表わす記号であり、これによって文パター
ンの設定を容易にしている。さらに、「￥」は語の意味
カテゴリとのマッチングをすることを表わす。

【００２４】ここで、命令内容同定部であるステップ５
１の詳細な処理を図８により説明する。まず、命令同定
ルール５６における文パターンの番号ｋを１に設定す
る。また、その文パターンについて、文パターン中の語
の番号を表わすｉを、文パターンの語の総数Ｉに設定す
る。さらに、上記入力文の語の番号を示すｊを、入力文
の語の総数Ｊに設定する（ステップ６０）。次に、ｋ番
目の文パターンのｉ番目の語Ｐiと、入力文のｊ番目の
語Ｗjをもってくる（ステップ６１）。このＰi とＷj
とについて以下に述べるマッチングの処理を実施する。
なお、初めはｉはＩに、ｊはＪに設定されているので、
入力文及び文パターンの文末から文頭に向かって、語の
比較を実施することになる。

【００２５】マッチングの処理は、文パターンの語Ｐi
の形、つまり前述の記号（「＋」，「？」及び「￥」）
の有無によって異なる（ステップ６２）。まず、記号が
ついていない場合の処理を説明する。この場合には、Ｐ
i とＷj を比較し（ステップ６４）、これらが同じ場合
には、i とｊを１だけ減じる（ステップ６４）。つま
り、比較する語を１つ前のものとする。この結果、i が
０となった場合（ステップ６５）は、文パターンの語す
べてが入力文の語とマッチングする。この場合は、その
文パターンｋに対応する命令名を、入力された命令内容
であるとして出力する（ステップ６９）。一方、i が１
以上である場合（ステップ６５）には、ｊについての判
定を実施する（ステップ６６）。この結果、ｊが１以上
であれば、ステップ６１からの処理を繰り返す。逆に、
ｊが０であれば、ステップ６６は「ｎｏ」となり、文パ
ターンｋと入力文とのマッチングが失敗したので、次の
文パターン（ｋ＋１）とのマッチングの準備をする（ス
テップ６７）。次いで、文パターンが未だ残っていれ
ば、すなわち、ｋが文パターンの総数Ｋ以下であれば
（ステップ６８）、ステップ６１からの処理を新しい文
パターンに対して実行する。一方、文パターンがなくな
った時には、命令同定不可の旨を出力し処理を終了する
（ステップ７０）。

【００２６】Ｐi に記号「￥」が付いている場合には、Ｐ
i とＷj の意味カテゴリを比較する（ステップ７１）。
この比較の結果に応じて、前述のステップ６４または６
７以降の処理を実施する。

【００２７】Ｐj に記号「％」が付いている場合には、
Ｗj の品詞カテゴリが助詞であるか否かを判定する（ス
テップ７２）。Ｗj の品詞カテゴリが助詞であれば、Ｐ
i とＷj を比較する（ステップ７３）。この比較の結果
に応じてステップ６４または６７以降の処理を実施す
る。一方、Ｗj が助詞でない場合には、ｊを１減ずる
（ステップ７４）。ステップ７５でｊが１以上であると
判定された場合には、ステップ６１に戻る。一方、ｊが
０であれば、入力文の語が無くなったので、文パターン
ｋと入力文とのマッチングは失敗したとして、次の文パ
ターンについての処理、すなわちステップ６７からの処
理を実施する。

【００２８】Ｐj に記号「＋」が付いている場合につい
ては、Ｐj とＷj を比較し（ステップ７６）、それらが
同じであれば、ステップ６５からの処理を実施する。一
方、異なる場合には、ｉを１減じた（ステップ７７）
後、ステップ７８の処理を行なう。ステップ７８でｉが
１以上であると判定された場合には、ステップ６１に戻
る。ｉが０の場合には、ステップ７８の判定が「ｎｏ」
となる。これは、文パターンｋの語が全て（省略可能な
ものを除いて）入力文に含まれていたことを意味するの
で、ステップ６９の処理に移り、命令同定を終了する。

【００２９】Ｐj が記号「？」である場合には、「？」
の前の語Ｐi_-1とＷj を比較する（ステップ７９）。こ
の結果、語がマッチングすれば、ｉから１を減じて（ス
テップ８１）、次の語についてのマッチング処理、すな
わちステップ６４からの処理を実行する。一方、同じで
なければｊを１減じ（ステップ８０）、ｊが１以上であ
れば（ステップ８２）、ステップ６１から、入力文の１
つ前の語を用いてのマッチングを実施する。ｊが０であ
れば、文パターンｋとのマッチングは失敗したので、次
の文パターン（ｋ＋１）とのマッチング処理、すなわち
ステップ６７からの処理を実行する。

【００３０】次に、命令実行に必要な情報の取得のため
の処理(図６のステップ５２の処理)を実施する。

【００３１】命令によっては、実行するためにいくつか
の情報が必要になる。この情報取得を制御するための方
法として、必要な情報項目とその取得方法をフレーム形
式のデータとして用意した。このフレーム形式のデータ
を格フレーム５７という。格フレーム５７の各スロット
に、その命令の実行に必要な情報の項目を与えている。
図６の例では、命令「trend 」に対して、「系統」及び
「状態量」の２つの情報が必要であることが示されてい
る。格フレーム５７の各スロットのファシット及び値に
は、それらの情報を得るのに必要なデータを与えてい
る。ＶＡＬＵＥファシットには、入力文から検索すべき
語の意味カテゴリ名が、IF−NEEDEDファシットには、入
力文中に必要な語がない場合に起動すべき関数の名称が
与えられている。ここで、関数ＳＴＡＣＫは対話履歴ス
タックを参照する関数、関数ＡＳＫはユーザに情報の追
加入力を要求する関数である。

【００３２】ステップ５２の処理を図９を用いて説明す
る。まず、ステップ５１で同定された命令の名称（例え
ばtrend ）をフレーム名として持つ格フレーム５７をメ
モリ１０から取り出す（ステップ８３）。次にｉを１に
設定する（ステップ８４）。この初期処理のあとに、第
ｉスロットのＶＡＬＵＥファシットの値を読み、Ｖiの
値として設定する（ステップ８５）。このＶi の値がni
l でなければ（ステップ８６）、入力文の中から、意味
カテゴリＶi を持つ語を捜す（ステップ８７）。語が発
見できれば（ステップ８８）、得られた語を第ｉスロッ
トの情報項目の値として設定する（ステップ８９）。ま
だ、処理すべきスロットが残っていれば（ステップ９
２）、ｉを１増して（ステップ９３）、次のスロットに
対してステップ８５以降の処理を実行する。一方、ステ
ップ８８で該当する語を発見できないと判定された場
合、あるいは、ステップ８６でＶi の値がnil の場合に
は、IF−NEEDEDファシットの値を読みＮi の値として設
定する（ステップ９０）。次いで、Ｎi の関数を順次実
行する。その結果、値が得られた場合には、それを第ｉ
スロットの情報項目の値として設定して（ステップ９
１）、次のスロットについての処理に移る。

【００３３】図６の例に対するステップ５２の処理の概
要を説明する。命令trend に対応する格フレーム５７に
は、「系統」及び「状態量」の２つのスロットがある。
「系統」については、入力文字列から、意味カテゴリ
〈系統〉の語が検索され給水系が発見される。「状態
量」については、まずＶＡＬＵＥファシットの値として
与えられている意味カテゴリ〈状態量〉を持つ語を入力
文の中で検索する。いま、入力文には、対応する語、流
量が含まれている。これにより、「状態量」の値として流
量が設定される。

【００３４】最後に、処理命令の出力（ステップ５３）
の処理を実施する。この処理では、ステップ５０の解析
処理で得られた命令及び情報項目の値を併せて、これら
の値を処理命令として出力する。図６の例では、上記の
解析結果をもとに、処理命令“trend （給水系,流
量）”が出力される。

【００３５】なお、この入力解析処理では、文パターン
と入力文とのマッチングにより入力命令の種類を同定す
る。この同定のための文パターンを、適当に用意するこ
とによって、様々の語順に対応することができる。例え
ば、「トレンド？提示＋せよ？」を与えれば、
「提示せよ」の後に、「給水系」あるいは「流量」が入
力された場合でも、命令が“trend ”であると同定でき
る。また、情報の取得についても、処理は語順には依存
しない。従って、この処理方式では、文字列の入力され
る順序に依存せず解析を実行し、処理命令を出力するこ
とができる。すなわち、前述した「キュウスイケイリ
ュウリョウトレンドヒョウジ。」を「トレンドヒ
ョウジキュウスイケイリュウリョウ。」となるよう
に、ＣＲＴタッチ入力装置１及び音声入力装置３から情
報を入力しても、入力情報解析部９は、「キュウスイケ
イリュウリョウトレンドヒョウジ。」と同じ意味
をもつ処理命令を得ることができる。

【００３６】図１０は提供情報決定部１１の処理の詳細
を示している。入力情報解析部１１での解析によって得
られた処理命令をとり込む（ステップ９４）。図６の例
では、“trend （給水系，流量）”が取り込まれる。こ
の処理命令をもとに、該当する情報決定用知識をメモリ
１２から検索する（ステップ９５）。情報決定用知識の
例を図１１に示す。この情報決定用知識の例は、処理命
令の種類が“trend ”である場合の知識を示している。
図示されていないが、系統図表示に対する情報決定用知
識及びアラーム情報表示に対する情報決定用知識も、メ
モリ１２に記憶されている。情報決定用知識は、「ＣＲ
Ｔ出力用」，「音声出力用」（図１０に図示せず）及び
「音声出力及びＣＲＴの出力文字列表示領域用」の３つ
の種類に大別され、これらの３角項目に分類されてまと
められて記憶されている。ＣＲＴ出力用の情報決定用知
識は、系統名称及び状態量の名称に対応し、提供すべき
トレンド図の番号が与えられている。音声出力及びＣＲ
Ｔの出力文字列表示領域用の情報決定用知識は、トレン
ド図の表示命令“trend ”に対して、共通の１つの知識
が与えられる。次に、検索された情報決定用知識を用い
て、提供情報及びこれを提供するデバイス(ＣＲＴ表示
装置２及び音声出力装置４の少なくとも１つ)を決定す
る（ステップ９６）。処理命令“trend （給水系，流
量）”に対しては、「給水系の流量」のトレンドである
から、ＣＲＴ出力用の情報決定用知識を用いて図ＴＦ０
２が、ＣＲＴ表示装置２に出力すべき図として選択され
る。また、音声出力及びＣＲＴの出力文字列表示領域用
の情報決定用知識を用いて、［系統名称］に“給水系”
を、［状態量名称］に“流量”を入れて、“給水系流量
トレンド図を表示します。”が、音声出力装置４に出力
すべき情報、及びＣＲＴ表示装置２の出力文字列表示領
域２９に表示すべき情報として生成される。これらの得
られた提供情報の出力情報生成部１３への出力に際し
て、ＣＲＴ表示装置２に出力すべき提供情報の先頭には
デバイス記号“Ｃ”を、音声出力装置４に出力すべき提
供情報の先頭にはデバイス記号“Ｖ”を、両方に出力す
べき提供情報の先頭にはデバイス記号“Ａ”を付ける
（図１０のステップ９６を参照）。これらのデバイス記
号は、提供情報を決定するために用いた情報決定用知識
の種類、すなわち「ＣＲＴ出力用」，「音声出力用」
（図１０に図示せず）及び「音声出力及びＣＲＴの出力
文字列表示領域用」の各情報決定用知識に応じて自動的
に付与される。ステップ９６で得られた提供情報を出力
情報生成部１３に出力する（ステップ９７）。上記の具
体例では、“Ｃ（ＴＦ０２）”、及び“Ａ（給水系流量
トレンド図を表示します。）”が出力情報生成部１３に
出力される。

【００３７】出力情報生成部１３の処理を図１２及び図
１３を用いて説明する。出力情報生成部１３は、提供情
報決定部１１から提供情報に関する情報が出力されたと
きに、図１２の処理を開始する。提供情報決定部１１か
ら出力された「デバイス及び提供情報」に関するデータ
を取り込む（ステップ９８）。入力したデータの先頭に
付与されたデバイス記号を判定する。まず、デバイス記
号が“Ｃ”か否かを判定する（ステップ９９）。この結
果、“Ｃ”であれば、提供情報のデータに基づいて、出
力情報生成部１３のメモリ（図示せず）に記憶されてい
るトレンド図及び系統図の表示画面データのうち該当す
る表示画面データを検索すると共にプラントデータテー
ブル１４及びトレンドメモリ１５に記憶されているデー
タのうち表示に必要なデータを検索し、検索したデータ
を表示情報としてＣＲＴ表示装置２に出力する（ステッ
プ１００）。上記の具体例では、図番ＴＦ０２の表示画
面データ（給水系流量のトレンド表示用の画面データ）
及びトレンドメモリ１５に記憶されている給水系流量の
測定データが、ＣＲＴ表示装置２に出力される。他のデ
バイス記号があるか否かが判定される（ステップ１０
１）。他のデバイス記号がある、すなわち「ｙｅｓ」と
判定された場合は、ステップ９９からの処理が実行され
る。ステップ１０１で「ｎｏ」と判定されたときは、出
力情報生成部１３での処理が停止される。ステップ９９
の判定が「ｎｏ」のときは、ステップ１０２でデバイス
記号が“Ｖ”か否かを判定する。この判定が「ｙｅｓ」、
すなわち“Ｖ”であれば、提供情報として指定された情
報を音声告知するために必要なデータをプラントデータ
テーブル１４及びトレンドメモリ１５から読み出して音
声出力装置４に出力する（ステップ１０３）。その後、
他のデバイス記号があるか否かが判定される（ステップ
１０４）。ステップ１０４で「ｙｅｓ」と判定された場
合は、ステップ９９からの処理が実行される。ステップ
１０４で「ｎｏ」と判定されたときは、出力情報生成部１
３での処理が停止される。ステップ１０２の判定が「ｎ
ｏ」のときは、ステップ１０５でデバイス記号が“Ａ”
か否かを判定する（ステップ１０５）。デバイス記号が
“Ａ”であれば、ＣＲＴ表示装置２の出力文字列表示領
域２９に表示するために出力文字列情報「給水系流量ト
レンド図を表示します。」がＣＲＴ表示装置２に出力さ
れ、同時にその出力文字列情報が音声出力装置４に出力
される（ステップ１０６）。以上の具体例に対する処理
によって、「給水系流量トレンド表示」に対しては、図
２に示すように、トレンド図表示領域２７には給水系流
量のトレンドが表示され、出力文字列表示領域２９に上
記出力文字列情報が表示される。出力文字列表示領域２
９に表示される出力文字列情報は、入力文字列表示領域
２８に表示された入力文字列情報に対する回答である。

【００３８】図２の系統図表示領域２５に表示される該
当する系統図の表示画面データ、及びこの系統図に含ま
れた機器（例えば給水ポンプ及び弁等）の状態（例えば
運転状態及び開閉状態）を示すデータも、出力情報生成
部１３で同様に作成される。表示された系統に関するア
ラーム情報（メッセージ表示領域２７に表示）を、出力
情報生成部１３で作成する場合も同様である。

【００３９】図１３の手順に基づいた出力情報生成部１
３での他の処理を説明する。図１３の処理手順は、周期
的に実行され、図１２の処理が行なわれている場合は割
込みタイムシェアリング処理により実行される。ステッ
プ１０７で、メモリ８に記憶されている文字列を取り込
み、この文字列が変化したか否かを判定する。その文字
列が以前の処理時に比べて変化していない場合は、図１
３の処理は一端停止される。その文字列が変化したと判
定された場合には、ステップ１０７で取り込んだ文字列
の情報を、ＣＲＴ表示装置２の入力文字列表示領域２８
に表示すべくＣＲＴ表示装置２に対して出力する（ステ
ップ１０８）。ステップ１０８の処理が終了した後にお
いても、図１３の処理は一端停止される。図１３の処理
により、ユーザが入力した情報に基づく文字列情報を、
入力文字列表示領域２８に表示することができる。

【００４０】以上説明した本実施例によれば、ＣＲＴタ
ッチ入力により入力された座標情報が文字列情報に変換
され、音声入力装置３により入力された情報も文字列情
報に変換され、これらの文字列情報が統合されて１つの
入力文として入力情報解析部９に入力されるので、上記
のＣＲＴタッチ入力で入力された情報を音声入力装置３
から入力し、上記の音声入力装置３から入力した情報を
ＣＲＴタッチ入力により入力することが可能になる。こ
のため、ユーザは、ＣＲＴタッチ入力装置１でどの情報
が入力でき音声入力装置３でどの情報が入力できるかと
いったことに頭を悩ますことなくＣＲＴタッチ入力装置
１及び音声入力装置３を任意に選択して自分が意図する
情報を入力することができる。すなわち、本実施例は、
ＣＲＴタッチ入力及び音声入力での入力情報が限定され
ず、ユーザはこれらを自由に組み合わせて種々の表示情
報指示命令を入力することが可能となる。これは、情報
の入力に対するユーザの負担を著しく低減することにな
る。

【００４１】また、ＣＲＴタッチ入力及び音声入力での
入力情報が同じ種類の情報（文字列情報）に変換されそ
れらが統合されて入力情報解析部９で解析されるので、
CRTタッチ入力及び音声入力での入力情報を区別するこ
となく意味を解析できる。とくに、文字列情報として入
力情報解析部９に入力されるので、構文解析がし易くそ
の情報の意味を簡単に解析できる。

【００４２】ＣＲＴタッチ入力は、情報をすぐ入力でき
るが、画面に表示されていない情報を入力することがで
きない。これに対して、音声入力は、画面に表示されて
いない情報でも入力することができる。しかし、音声入
力は、情報の入力に要する時間が長くなる。本実施例に
よれば、このようなＣＲＴタッチ入力及び音声入力の長
所及び短所を考慮して情報の入力効率のよい入力手段を
自由に選択して命令を入力できる。

【００４３】入力文字列表示領域２８を設けているの
で、ユーザはそこに表示された情報を見ることによって
自分が入力した情報を確認できる。このため、間違った
情報を入力した場合は、すぐに情報の修正入力が可能で
ある。この情報の修正入力は、ＣＲＴタッチ入力及び音
声入力のいずれによっても可能である。従って、音声入
力装置３での入力した音声単語の誤確認、もしくはユー
ザのＣＲＴの誤タッチなどが発生した際にも、円滑に適
切な情報の入力を進めることが可能となる。

【００４４】前述したように、入力文字列表示領域２８
に表示された入力文字列情報に対する回答が出力文字列
表示領域２９に表示されるので、ユーザは出力文字列表
示領域２９に表示された情報を見ることによって、入力
した情報に対して適切な処理が行なわれたか否かを確認
できる。

【００４５】また、情報決定用知識を用いているので、
この知識の修正によって表示する情報及び音声告知する
情報の内容を簡単に修正できる。情報出力デバイスを新
たに追加する場合でも、情報決定知識を修正するだけ
で、簡単にその新情報出力デバイスに情報を出力するこ
とができる。

【００４６】本実施例は、使用される情報決定用知識に
応じて情報出力デバイスが自動的に選択されそのデバイ
スに出力情報が提供される。このため、ユーザのプラン
ト状態などの確認のための負担を低減することができ
る。また、出力デバイスには、ＣＲＴ表示装置と音声出
力装置を使用していることにより、情報の内容に応じ
て、分かり易い提示形態により情報を提供することがで
きる。

【００４７】さらに、音声入力情報とＣＲＴタッチ入力
情報を同一方法での解析が可能な文字列として記憶し、
統合して入力解析を実施する。これにより、入力情報解
析部１１は１つの解析方法を用いた簡単な構成のものに
なる。

【００４８】また、ＣＲＴタッチ入力と音声入力とを、
同じ種類の文字列として扱い、任意の順序で統合して解
析することが可能である。これにより、ＣＲＴタッチ入
力と音声入力の順序を意識することなく、自由に組み合
わせて使用して入力することが可能である。また、装置
内での文字列の記憶順序，記憶方法を自由に設定するこ
とができる。

【００４９】さらに、ＣＲＴタッチ入力座標を、表示図
ごとにあらかじめ用意した座標と文字列に係る関係と、
表示中の表示図に係る情報を用いて文字列に変換する。
これにより、表示図の追加には、関係を追加することに
より容易に対応でき、かつ、表示図の修正には、該当す
る座標と文字列の関係を修正することで容易に対応する
ことができる。

【００５０】表示画面をユーザ入力などに応じて変化す
る領域と、変化しない固定領域に分け、よく使用する
“ＯＫ”などの制御用文字列入力メニューを固定領域に
配置している。これにより、ユーザはメニューの位置を
記憶し、迅速にそれらをタッチすることが可能となる。

【００５１】本実施例の情報監視の構成は、原子力，火
力，化学，上水道等のプラントの情報監視だけでなく、
情報ネットワークシステム，飛行機、及び船舶等の情報
監視にも適用できる。

【００５２】次に、本発明の他の実施例を説明する。こ
の実施例は、制御装置である。制御装置の具体例として
プラント制御装置を例にとり、図１４を用いて本実施例
を以下に説明する。前述した実施例と同一の構成には同
じ符号が付されている。

【００５３】本実施例のプラント制御装置は、マウス入
力装置１１０，音声入力装置３，マウス入力処理部１１
１，入力制御部７，入力情報解析部９，メモリ６，８及
び１０、及び音声情報変換部３３を含む情報入力装置を
備える。この情報入力装置は、図１の実施例における情
報入力装置に置き換えることも可能である。メモリ６，
８及び１０に記憶されている情報は、図１の実施例と同
じ種類のものである。本実施例のプラント制御装置は、
更に、提供情報決定部１１Ａ，メモリ１２，出力情報生
成部１３，大画面表示装置２Ａ，音声出力装置４，操作
制御部１１３及びメモリ１１４を含む。メモリ１１４
は、系統操作用知識を記憶する。プラントデータテーブ
ル１４，トレンドメモリ１５及びプラント情報管理部１
６も備わっている。

【００５４】次に、各部での処理について説明する。

【００５５】マウス入力処理部での処理を図１５に基づ
いて説明する。マウス（図示せず）の操作により大画面
表示装置２Ａの画面上で指定された座標（ｘ，ｙ）を、
マウス入力装置１１０から取り込む(ステップ１１５)。
次いで、出力情報生成部１３から現在表示中の図の名称
(例えば、系統名称等)を取り込む（ステップ１１６）。
次に、メモリ６に記憶されている座標・文字列変換用知
識（図１６参照）における座標と文字列の関係を用いて
上記指定座標を対応する文字列情報に変換する（ステッ
プ１１７）。得られた文字列情報を入力制御部７に出力
する（ステップ１１８）。

【００５６】座標・文字列変換用知識の一例の詳細内容
を図１６に示す。この座標・文字列変換用知識は、図３
に示すそれと同じものである。座標・文字列変換用知識
は、表示図ごとの知識、及び共通の知識を含む。各々の
知識は、左上点のｘ座標ＸＬ及びｙ座標ＹＬ，右下点の
ｘ座標ＸＲ及びｙ座標ＹＲ、及びこれらの座標により指
定される矩形領域に入力座標が入った場合の文字列が与
えられている。この知識を用いて、取り込まれた表示中
の図の名称及び指定座標に対応する文字列を決定するこ
とができる。なお、本実施例では、左上点及び右下点の
座標により矩形領域を定義しているが、４つの頂点の座
標を与えて、任意の４角形を定義する、もしくは、中心
点の座標と半径を与えて、円形の領域を定義するという
方法を採ることも可能である。

【００５７】図１７及び図１８は、図１５のステップ１
１７の処理を詳細に示したものである。まず、表示図に
対応する座標・文字列変換用知識を順に参照する（ステ
ップ１１９）。知識が残っているか否かをチェックし
（ステップ１２０）、知識が残っていなければステップ
１２６に進む。ステップ１２０で「知識がある」と判定
された場合は、左上点のｘ座標ＸＬと右下点のｘ座標Ｘ
Ｒと指定座標Ｘとの関係を判定する（ステップ１２
１）。この結果、ＸＬ≦Ｘ≦ＸＲが成立しなければ（ステップ１２２）、処理はステップ
１１９に戻る。逆にこの関係が成立すれば、左上点のｙ
座標ＹＬと右下点のｙ座標ＹＲと指定座標Ｙの関係を判
定する（ステップ１２３）。この結果、関係ＹＬ≦Ｙ≦ＹＲが成立しなければ（ステップ１２４）、処理はステップ
１１９に戻り、次の知識の項目について、同様の処理を
実施する。逆にステップ１２４の関係が成立した場合に
は、当該知識に与えられている該当する文字列情報を、
入力制御部７に出力する（ステップ１２４）。

【００５８】前述したステップ１２６は、表示図に対す
る知識がなくなった場合に実施され、共通知識を順に参
照する。そして、該当する知識の有無を判定する（ステ
ップ１２７）。該当する知識がなければ、マウスによる
指定が無効であった旨のエラーメッセージを出力する
（ステップ１２８）。該当する知識がある場合には、ス
テップ１２９〜１３３の各処理が実行される。ステップ
１２９〜１３３の各処理は、上記のステップ１２１〜１
２５の処理と同じである。

【００５９】入力制御部７での処理を図１９により説明
する。この処理は、ステップ４２〜４８の処理が図５に
示す処理と同じである。ステップ４２の前で、ステップ
134及び１３５の処理が実行される。ステップ１３４
は、マウス入力処理部１１１及び音声情報変換部３３か
ら出力された文字列情報の取り込みの有無を判定する。
文字列情報が取り込まれると、この文字列情報を音声出
力装置４に出力する（ステップ１３５）。この後に、ス
テップ４２〜４８の処理が実行される。

【００６０】入力情報解析部９は、メモリ８から文字列
情報を入力し、図１の入力情報解析部９と同様に文字列
情報を解析し、得られた処理命令を出力する。この処理
命令は、提供情報決定部１１Ａに入力される。

【００６１】提供情報決定部１１Ａは、上記処理命令に
基づいて、出力情報生成部１３に出力する表示用の提供
情報と、操作制御部１１３に出力する操作用の提供情報
とを決定する。表示用提供情報は、図１に示す提供情報
決定部１１で実行される図１０に示す処理手順による処
理によって得られる。

【００６２】次に、提供情報決定部１１Ａによって操作
用提供情報を得る処理を以下に説明する。

【００６３】操作用提供情報を得る処理に用いる操作用
知識の一例を、図２０に示す。操作用知識は、系統名
称，操作の種別、それに対応した変数名称、及び設定値
を含む。例えば、沸騰水型原子炉の高圧炉心スプレイ系
の注入弁を開するためには、変数ＤＩ(1 )の値を“１”
に設定する命令を操作制御部１１３に伝えればよい。そ
の値が設定されると、操作制御部１１３は、高圧炉心ス
プレイ系の注入弁の開命令を、プラントの操作手段の１
つである該当する注入弁に出力する。

【００６４】図２１は、提供情報決定部１１Ａで実行さ
れる操作用提供情報を得る処理の手順を示す。提供情報
決定部１１Ａは、まず、入力情報解析部９から出力され
た処理命令を取り込み、この処理命令の種類が操作に係
る“operate ”か否かを判定する（ステップ１３６）。
ステップ１３６で「ｎｏ」、すなわち“operate ”と異
なっているとの判定された場合は、表示用提供情報を得
る処理を実施する（ステップ１３７）。ステップ１３７
の処理は、図１０に示す処理手順による処理である。処
理命令“operate ”は、入力情報解析部９で得られる。
図７に図示されていないが、命令同定ルール５６として
「命令：operate 」とこれに対応する文パターンが準備
されている。入力された文字列情報に対して、入力情報
解析部９がその命令同定ルール５６を用いて図１の実施
例のような処理を行ない処理命令“operate ”を出力す
る。一方、ステップ１３６で「ｙｅｓ」、すなわち“op
erate ”であるとの判定された場合は、操作用知識を順
次参照し、系統名称及び操作種別が上記処理命令と一致
する知識を検索する（ステップ１３８）。次に、該当知
識の有無を判定する（ステップ１３９）。ステップ１３
９で「ｎｏ」と判定された場合は、入力した処理命令に
基づいた操作は不可能とのエラーメッセージを出力する
（ステップ１４０）。一方、該当する知識があればステ
ップ１３９の判定は「ｙｅｓ」となり、その知識の変数
名称及び設定値を取り出す（ステップ１４１）。今、入
力情報解析部９から、処理命令として operate（高圧炉心スプレイ系注入弁、開）が入力された場合について考える。この場合は、変数名
称ＤＩ（1 ）、及び設定値“１”が得られる。次ぎに、
操作制御部１１３に変数名称と設定値が出力される（ス
テップ１４２）。上記の高圧炉心スプレイ系注入弁の場
合は、ＤＩ（1）を“１”に設定する命令を出力する。
従って、操作制御部１１３から、プラントの高圧炉心ス
プレイ系の注入弁に開命令が出力される。

【００６５】この開命令に従い、プラントの高圧炉心ス
プレイ系の注入弁が開く。プラント情報管理部１６はプ
ラント状態の変化を周期的に監視しており、注入弁開な
どの変化が発生すれば、それに係る情報をプラントデー
タテーブル１４に記憶させる。

【００６６】表示用提供情報を入力する出力情報生成部
１３は、図１の実施例で述べたように、図１２及び図１
３の処理手順に基づいた処理を実行する。なお、本実施
例においては、図１２及び図１３に示された「ＣＲＴ表
示装置」は、「大画面表示装置」に置き換えられる。こ
のため、出力情報生成部１３は、表示用提供情報に従っ
て、図１の実施例と同様に大画面表示装置２Ａ及び音声
出力装置４に該当する各情報を出力する。

【００６７】図２２は、機器操作を行なうときの操作の
進行状態と、そのときにおける大画面表示装置２Ａの表
示画面の変化を示している。図２２のａに示すプラント
の系統図は、マウス入力装置１１０及び音声入力装置３
の少なくとも一方から入力された情報を前述したように
文字列情報に変えて入力制御部７に入力し、図１の実施
例で述べたように、入力情報解析部９，提供情報決定部
１１Ａ及び出力情報生成部１３の処理によって、大画面
表示装置２Ａに出力されそこに表示される。図２２にお
いて、１４３はポンプ（給水ポンプ）Ａを示す図形要素
である。図２２の例は、ポンプＡのＯＮ操作を示してい
る。ユーザは、まず、ポンプＡをマウスでクリック、も
しくは、音声で“ポンプＡ”と発話する。この情報は、
マウス入力装置１１０及び音声入力装置３から入力され
て文字列情報に変換され、メモリ８に文字列情報“ポン
プＡ”が記憶される。また、出力情報生成部１３におけ
る図１３の処理により、文字列情報“ポンプＡ”が大画
面表示装置２Ａの入力文字列表示領域２８に表示され
る。このとき、マウス入力処理部１１１から図形要素１
４３の色変え指令が出力情報生成部１３に伝えられ出力
情報生成部１３の処理によってポンプＡの図形要素１４
３の色を変えた図形情報が作成され、大画面表示装置２
Ａに出力される。このため、図形要素１４３の色が変化
し、ポンプＡが選択されたことユーザは知ることができ
る。マウス入力の場合には、前述したように、指定座標
から文字列情報を得る。音声入力の場合には、音声情報
変換部３３で得られた文字列情報“ポンプＡ”がメモリ
８に記憶され入力文字列表示領域２８に表示されると共
に、音声座標変換処理部１１２によって、文字列情報
“ポンプＡ”が座標に変換され、その座標を用いてマウ
スで指定された場合の処理、すなわち、図形要素１４３
の色替が実行される。

【００６８】さらに、ポンプＡの座標がマウスで指定さ
れた場合の処理として、操作メニューの表示情報がマウ
ス入力処理部１１１に用意されており、この操作メニュ
ーの表示情報が出力情報生成部１３に伝えられて、マウ
ス入力，音声入力のいずれの場合にも、大画面表示装置
２Ａに操作メニュー１４４及び１４５が表示される（図
２２のｂ参照）。

【００６９】次ぎに、“ＯＮ”の部分、すなわち操作メ
ニュー１４４をマウスでクリック、あるいは“ＯＮ”と
発話すると、操作メニュー１４４が残されて指定されな
かった操作メニュー１４５が消去されると共に、メモリ
８に記憶された文字列情報“ポンプＡＯＮ”が入力文字
列表示領域２８に表示される。このとき、マウス入力処
理部１１１に用意されている他の操作メニューの表示情
報が出力情報生成部１３に伝えられて、マウス入力，音
声入力のいずれの場合にも、大画面表示装置２Ａに操作
メニュー１４６及び１４７の“操作”及び“取消”が表
示される（図２２のｃ参照）。ここで、“操作”をマウ
スでクリック、あるいは“操作ＯＫ”と発話すると、文
字列情報“ポンプＡＯＮ操作。”が、同様に入力文字列
表示領域２８に表示される。さらに、文字列情報“ポン
プＡＯＮ操作。”が、メモリ８に記憶され、入力情報解
析部９で解析される。“操作”または“取消”の文字列
情報が入力情報解析部９に入力された場合には、入力情
報解析部９は処理命令“operate ”を出力する。“ポン
プＡＯＮ操作。”の処理命令を入力した提供情報決定部
１１Ａは、該当する操作用提供情報を操作制御部１１３
に出力する。操作制御部１１３は、その操作用提供情報
に基づいてポンプＡのＯＮ操作を実行する。ここで、
“操作”をマウスでクリックして得られる指定座標に基
づいて、マウス入力処理部１１１から出力される文字列
情報は“操作ＯＫ”であり、音声で入力した場合と全く
同様の結果を得られる。なお、文字列情報の最後
の“。”は、“ＯＫ”が入力された場合に、記憶されて
いる文字列情報の最後に付加される。

【００７０】ポンプＡが作動すると、プラント１７で測
定された信号の変化がプラント情報管理部１６で検知さ
れ、プラントデータテーブル１４に記憶される。出力情
報生成部１３は、このデータを用いて図１２の処理によ
って、大画面表示装置２Ａの出力文字列表示領域２９に
表示する出力メッセージ“ポンプＡ作動”を作成すると
共に、ポンプＡの流量“１０２Ｔ／ｈ”の表示情報を作
成する。これらの情報は、図２２のｄのように、大画面
表示装置２Ａに表示される。

【００７１】以上述べた本実施例によれば、図１の実施
例と同様な効果を得ることができる。とくに、本実施例
は、マウス入力及び音声入力の情報を共に文字列情報と
しこれらを統合して解析できるので、マウスと音声での
入力項目が限定されることなく、ユーザはこれらを自由
に組み合わせて、情報提示命令及び制御に係る操作命令
を自由に入力することが可能である。また、本実施例
は、前述した図１の実施例で得られる効果を情報提示命
令だけでなく操作命令に対しても同様に得ることが可能
となる。ここで、図１の実施例ではＣＲＴタッチ入力
を、図１４の実施例ではマウス入力をそれぞれ使用した
が、これらの情報入力手段に変えて、トラッカーボー
ル、及びジョイスティックなど表示画面上の座標を指定
できる各種ポインティングデバイスを用いた場合にも、
図１及び図１４の実施例と同等の効果を得ることができ
る。また、音声入力ではなく、キーボードなど他の文字
列情報入力手段を用いた場合も同様である。

【００７２】本実施例は、入力情報解析部９が、入力し
た文字列情報が情報提示命令及び操作命令であるかを解
析して該当する処理命令（ユーザへの情報提示命令及び
機器等の操作命令の少なくとも一方）を出力する。従っ
て、その解析機構は、単純なものとなる。本実施例は、
情報提示命令の文字列情報の解析用の入力情報解析部９
及び操作命令の文字列情報の解析用の入力情報解析部９
をそれぞれ設ける必要はない。提供情報決定部１１Ａに
ついても同様である。

【００７３】また、本実施例では、表示装置として大画
面表示装置を使用したが、プラズマディスプレイ，エレ
クトリックルミネッセンスディスプレイ、及び液晶ディ
スプレイ等のデバイスを用いた場合、もしくは、これら
を組み合わせて使用した場合でも同様の効果を得ること
ができる。

【００７４】本実施例は、入力されて装置に認識された
文字列情報を音声により出力することができる。これに
より、ユーザが装置に認識された文字列情報を、表示画
面から目を離している場合でも容易に確認することがで
きる。

【００７５】本実施例は、マウス入力及び音声入力を、
ユーザの理解し易い自然語の文字列情報として扱ってい
る。これによって、音声あるいは表示画面でのユーザの
確認作業が容易になる。

【００７６】本実施例は、ユーザの入力情報を、出力情
報生成部１３及び操作制御部１１３への異なる種類の命
令として出力する。同様の方法により、さらに多くの種
類の装置、もしくはプログラムへの処理命令、もしくは
データに変換することが可能である。

【００７７】また、本実施例は、指定座標を、表示装置
に表示される表示図が変化した場合でも意味が変化しな
い文字列情報に変換して処理する。このため、過去に表
示された表示図を記憶するという面倒な処理をすること
なく、入力された情報に対してプラント制御装置内の処
理が終了するまでメモリ８に文字列情報を記憶すること
ができる。さらに、本実施例は、文字列情報として自然
語の単語を用いているために、その音声，画面でのモニ
タ処理を容易に実施することができる。

【００７８】本実施例は、音声入力に基づく文字列情報
を座標に変換し、この座標が指定座標として入力された
場合と同様の処理を実行する。これにより、操作メニュ
ーの表示なども含めて、音声及びマウスでの入力を区別
しないで使用することができる。また、音声入力に基づ
いた文字列情報を座標に変換してマウス入力と共通の処
理を実行することにより、音声入力について、メニュー
表示等に係る別の処理関数を用意する必要がなくなり、
システムの簡素化が計れる。また、音声入力による文字
列情報を座標に変換する際に、本実施例は、表示図ごと
にあらかじめ用意した座標と文字列情報に係る関係を使
用している。これにより、表示図を変更、あるいは追加
した場合のデータの修正が容易となる。それに加えて、
マウス入力処理部及び音声・座標変換処理部で、共通の
データを使用しており、これにより、データの作成，管
理を容易に実施することが可能である。

【００７９】さらに、本実施例は、プラント情報管理部
１６がプラント１７の計測信号を周期的に取り込みその
変化に応じて出力情報生成部１３がユーザに提供する新
たな出力情報を生成する。一方、ユーザからの問い合わ
せに応じた出力情報を出力情報生成部１３によって生成
することもできる。従って、プラント状態変化とユーザ
からの問合わせを反映した適切な情報がユーザに提供で
きる。これにより、ユーザはプラント状態の監視、及び
それに基づく操作を効率的に実施することが可能であ
る。

【００８０】本実施例の制御装置の構成は、原子力，火
力，化学，上水道等のプラントの情報監視だけでなく、
情報ネットワークシステム，飛行機、及び船舶等の制御
装置にも適用できる。

【００８１】本発明の他の実施例である情報処理装置を
図２３に基づいて説明する。

【００８２】本実施例の情報処理装置は、液晶タッチ入
力装置１Ａ，音声入力装置３，タッチ入力処理部５，入
力情報処理部１４８，音声情報変換部３３、及びメモリ
６及び１４９を含む情報入力装置を備える。この情報処
理装置は、出力情報生成部１３Ａ及び１３Ｂ，液晶表示
装置２Ｂ及び音声出力装置４も備える。液晶タッチ入力
装置１Ａ及び液晶表示装置Ｂは、一体に形成される。

【００８３】本実施例の動作について説明する。

【００８４】タッチ入力処理部５は、メモリ６に記憶さ
れている座標・文字列変換用知識を用いて、図１の実施
例あるいは図１４の実施例のタッチ入力処理部５あるい
はマウス入力処理部１１１と同様の処理により、タッチ
入力による指定座標を文字列情報に変換する。

【００８５】メモリ６に記憶されている文字列・処理命
令変換用知識の一例を、図２４に示す。この知識は、表
示図ごとに、文字列情報に対応した処理命令と、その処
理命令の出力先が与えられている。例えば、系統図１が
液晶表示装置２Ｂに表示されている場合に、“給水ポン
プ”という文字列情報がタッチ入力処理部５から出力さ
れた場合には、“menu1”の図を液晶表示装置２Ｂに表
示する処理命令 “display（menu1）”が出力情報
生成部１３Ａに出力されることになる。

【００８６】入力情報処理部１４８の処理手順を図２５
に示す。タッチ入力処理部５及び音声情報変換部３３の
少なくとも１つから出力された文字列情報を取り込む
（ステップ１５０）。液晶表示装置２Ｂに表示されてい
る図の名称を取り込む（ステップ１５１）。その後、メ
モリ６内の文字列・処理命令変換用知識のうち表示中の
図に関連する部分を参照する（ステップ１５２）。この
参照した部分の文字列部のうちで入力した文字列情報に
対応するものを検索する（ステップ１５３）。対応する
文字列が検索されたか否かを判定する（ステップ１５
４）、対応する文字列が検索された場合は、この文字列
に対応する処理命令を上記知識に規定された出力情報生
成部、すなわち出力情報生成部１３Ａまたは１３Ｂに出
力する（ステップ１５５）。もしも、該当する文字列が
検索されない場合は、「入力は受け付けられない」旨の
エラーメッセージを出力する（ステップ４０）。

【００８７】出力情報生成部１３Ａで実行される処理を
図２６に基づいて説明する。入力情報処理部１４８で得
られた処理命令が入力されたか否かを判定する（ステッ
プ１５６）。エラーメッセージが入力されたか否かが判
定される(ステップ１５７)。エラーメッセージが入力さ
れていない場合に、ステップ１５８が実行される。処理
命令が入力された場合には入力された処理命令を実行
し、この処理命令に対応したユーザ提供用の表示情報及
び音声情報の少なくとも一方を作成する（ステップ１５
８）。ステップ１５８で得られた情報またはステップ１
５７の判定が「ｙｅｓ」の場合には、上記情報またはエ
ラーメッセージが液晶表示装置２Ｂかつ／または音声出
力装置４に出力される（ステップ１５９）。さらに、液
晶表示装置２Ｂで表示している表示図の名称を入力情報
処理部１４８に出力する（ステップ１６０）。

【００８８】出力情報生成部１３Ｂは、ユーザ入力命令
に対応した一般の情報処理を実施する。この出力情報生
成部１３Ｂで作成された情報も、液晶表示装置２Ｂかつ
／または音声出力装置４に出力される。

【００８９】図２７は、本実施例の処理を実行した場合
における本実施例の動作を模式的に示したものである。
この例は、給水ポンプの回転数値を出力させる際の動作
を示している。１６１は液晶表示装置２Ｂに表示された
系統図１の初期画面の例である。表示されている系統図
１の図形要素１６２（給水ポンプ）をタッチするか、も
しくは音声で“給水ポンプ”と発話すると、文字列情報
“給水ポンプ”が入力情報処理部１４８に取り込まれ
る。ここで、系統図１に対応する文字列・処理命令変換
用知識を用いて、処理命令“display（menu1）”が出力
情報生成部１３Ａに送られ、これに従い液晶表示装置２
Ｂに、給水ポンプ関連のメニューであるmenu1 １６３が
表示される。ユーザが回転数値の部分１６４をタッチ、
あるいは“回転数値”と発話すると、上記と同様にし
て、給水ポンプ回転数値に関連するメニューであるmenu
1-1 １６５が表示される。さらに、この画面の「表示」
の部分１６６をタッチあるいは“表示”と発話すると、
文字列・処理命令変換用知識を用いて、出力情報生成部
１３Ｂに“display-svar（給水ポンプ，回転数）”とい
う処理命令が出力される。出力情報生成部１３Ｂは、給
水ポンプの回転数データを検索し、液晶表示装置２Ｂか
つ／または音声出力装置４に給水ポンプの回転数の値を
出力する。

【００９０】この例では、“給水ポンプ”と発話した。
しかし、音声入力装置３において、“ＦＷポンプ”とい
う音声が入力された場合の出力文字列情報を“給水ポン
プ”とすることも可能である。これによって、“ＦＷポ
ンプ”と発話された場合にも、上記と同様の処理を実行
することが可能となる。

【００９１】なお、本実施例の説明に当っては、説明を
容易とするために、文字列情報として、自然語の文字列
を使用した。しかしながら、音声入力装置３において、
音声を一般の文字列（例えば“￥ＰＯＡ”もしくは“00
1001”など）に変換し、タッチ入力処理部５でも、座標
を同様の文字列に変換して、それら文字列を用いて同様
の処理を実行することができる。

【００９２】以上述べたごとく本実施例によれば、音声
もしくは液晶タッチによる入力から、表示中の表示図内
の図形要素を特定し、これに対応して用意されたメニュ
ーを画面上に順次表示する。これにより、音声と文字列
を併用した命令入力が可能である。さらに、これにより
入力可能な入力命令の種類を目で確認しながら入力する
ことが可能となる。

【００９３】また、タッチ入力による座標を文字列に変
換し、表示図ごとに予め用意した文字列と処理命令との
関係を使用して上記の処理を実施している。これによ
り、音声，タッチ入力のそれぞれに対して、対応する処
理命令を用意する必要がなく、システムを簡素化するこ
とができる。なお、この実施例になる装置ではメニュー
を順次表示しながら入力処理を実施する。しかし、メニ
ューを表示せず、装置の中で次に入力可能な命令のメニ
ューをデータとして用意することも同様に可能である。
この方法によれば、表示図を繁雑に切り換えることな
く、命令を入力することが可能となる。

【００９４】

【発明の効果】本発明によれば、ポインティング入力手
段による入力情報に基づいて得られた第１文字列情報
と、第１文字列情報と同じ種類の情報であり、かつ音声
入力手段による入力情報に基づいて得られる第２文字列
情報とを含む第３文字列情報を解析するので、ポインテ
ィング入力手段及び音声入力手段による入力情報が制限
されず、情報の入力に際してポインティング入力手段及
び音声入力手段を自由に組み合わせて使用することがで
きる。このため、ポインティング入力手段及び音声入力
手段を用いた情報の入力に対する運転員の負担を著しく
低減できる。

【図面の簡単な説明】

【図１】本発明の好適な一実施例であるプラント監視装
置の構成図である。

【図２】図１のＣＲＴ表示装置の表示画面の一例を示す
説明図である。

【図３】図１のメモリ６に記憶されている座標・文字列
変換用知識の一例を示す説明図である。

【図４】図１のタッチ入力処理部で実行される処理手順
の説明図である。

【図５】図１の入力制御部で実行される処理手順の説明
図である。

【図６】図１の入力情報解析部で実行される処理手順の
説明図である。

【図７】図１のメモリ１０に記憶されている解析用デー
タの一例を示す説明図である。

【図８】図６のステップ５１の詳細処理手順を示す説明
図である。

【図９】図６のステップ５２の詳細処理手順を示す説明
図である。

【図１０】図１の提供情報決定部で実行される処理手順
の説明図である。

【図１１】図１のメモリ１２に記憶される情報決定用知
識の一例を示す説明図である。

【図１２】図１の出力情報生成部で実行される処理手順
を示す説明図である。

【図１３】図１の出力情報生成部で実行される処理手順
を示す説明図である。

【図１４】本発明の他の実施例であるプラント制御装置
の構成図である。

【図１５】図１４のマウス入力処理部で実行される処理
手順を示す説明図である。

【図１６】図１４のメモリ６に記憶されている座標・文
字列変換用知識の一例を示す説明図である。

【図１７】図１５のステップ１１７の詳細処理手順を示
す説明図である。

【図１８】図１５のステップ１１７の詳細処理手順を示
す説明図である。

【図１９】図１４の入力制御部で実行される処理手順を
示す説明図である。

【図２０】図１４のメモリ１１４に記憶されている操作
用知識の一例を示す説明図である。

【図２１】図１４の提供情報決定部で実行される処理手
順を示す説明図である。

【図２２】図１４の実施例において機器の操作に関する
処理を行なった場合の大画面表示装置における表示情報
の変化を示す説明図である。

【図２３】本発明の他の実施例である情報処理装置の構
成図である。

【図２４】図２３のメモリ６に記憶されている座標・文
字列変換用知識の一例を示す説明図である。

【図２５】図２３の入力情報処理部で実行される処理手
順を示す説明図である。

【図２６】図２３の出力情報生成部で実行される処理手
順を示す説明図である。

【図２７】図２３の実施例の処理を行なった場合におけ
る図２３の実施例の動作を模式的に示した説明図であ
る。

【符号の説明】

１…ＣＲＴタッチ入力装置、２…ＣＲＴ表示装置、２Ａ
…大画面表示装置，大画面表示装置、３…音声入力装
置、４…音声出力装置、５…タッチ入力処理部、６，
８，１０，１２，１４，１５，１１４…メモリ、７…入
力制御部、９…入力情報解析部、１１，１１Ａ…提供情
報決定部、１３…出力情報生成部、１６…プラント情報
管理部、３３…音声情報変換部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者川口幸一茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (56)参考文献特開昭60−101627（ＪＰ，Ａ) 特開平２−39307（ＪＰ，Ａ) 特開平２−207303（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 3/16 320 G05B 15/02 G06F 3/033 360

Claims

(57)【特許請求の範囲】

【請求項１】ポインティング入力手段と，音声入力手段
と，表示装置と、前記ポインティング入力手段により入
力された情報に基づいて得られた第１文字列情報及び前
記音声入力手段により入力された情報に基づいて得られ
た第２文字列情報を含む第３文字列情報を出力する情報
統合手段と、出力された前記第３文字列情報を解析する
解析手段と、その解析によって得られる命令情報に対応
する提示情報を作成しこの提示情報を前記表示装置に出
力する手段とを備えた情報処理装置。
【請求項２】前記ポインティング入力手段により入力さ
れた情報を前記第１文字列情報に変えて前記情報統合手
段に出力する第１情報変換手段と、前記音声入力手段に
より入力された情報を前記第２文字列情報に変えて前記
情報統合手段に出力する第２情報変換手段とを備えた請
求項１の情報処理装置。
【請求項３】文字列変換用知識を記憶したメモリを備
え、前記第１情報変換手段は、前記ポインティング入力
手段により入力された情報を、前記文字列変換用知識を
用いて前記第１文字列情報に変えるように構成された請
求項２の情報処理装置。
【請求項４】ポインティング入力手段と，音声入力手段
と，表示装置と、前記ポインティング入力手段により入
力された情報に基づいて得られた第１文字列情報及び前
記音声入力手段により入力された情報に基づいて得られ
た第２文字列情報を含む第３文字列情報を記憶するメモ
リと、前記メモリから読み出した前記第３文字列情報を
解析する解析手段と、その解析によって得られる命令情
報に対応する提示情報を作成しこの提示情報を前記表示
装置に出力する提示情報作成手段とを備えた情報処理装
置。
【請求項５】前記提示情報作成手段が、前記メモリ内に
記憶している前記第３文字列情報が変化したとき、その
第３文字列情報を取り込んで前記表示装置に出力する手
段を含む請求項４の情報処理装置。
【請求項６】前記提示情報作成手段が、前記命令情報に
基づいて、入力した第１文字列情報及び第２文字列情報
に対する回答情報を作成し前記表示装置に出力する手段
を含む請求項４の情報処理装置。
【請求項７】ポインティング入力手段と，音声入力手段
と，表示装置と，音声出力手段と、前記ポインティング
入力手段により入力された情報に基づいて得られた第１
文字列情報及び前記音声入力手段により入力された情報
に基づいて得られた第２文字列情報を含む第３文字列情
報を出力する情報統合手段と、出力された前記第３文字
列情報を解析する解析手段と、その解析によって得られ
る命令情報に基づいて提供情報を作成し、この提供情報
を命令情報に基づいて決定された出力手段である前記表
示装置または前記音声出力手段に出力する手段とを備え
た情報処理装置。
【請求項８】ポインティング入力手段と，音声入力手段
と，表示装置と、前記ポインティング入力手段により入
力された情報に基づいて得られた第１文字列情報及び前
記音声入力手段により入力された情報に基づいて得られ
た第２文字列情報を含む第３文字列情報を出力する情報
統合手段と、出力された前記第３文字列情報を解析する
解析手段と、その解析によって得られる命令情報が情報
表示命令のとき、前記表示装置に表示する表示情報を作
成する手段と、前記命令情報が操作命令のとき、制御デ
ータを作成する手段とを備えた情報処理装置。
【請求項９】ポインティング入力手段と，音声入力手段
と，表示装置と，プラントから計測されたデータを記憶
する手段と、前記ポインティング入力手段により入力さ
れた情報に基づいて得られた第１文字列情報及び前記音
声入力手段により入力された情報に基づいて得られた第
２文字列情報を含む第３文字列情報を記憶するメモリ
と、前記メモリから読み出した前記第３文字列情報を解
析する解析手段と、その解析によって得られる命令情報
に対応する提示情報を前記計測データを用いて作成しこ
の提示情報を前記表示装置に出力する提示情報作成手段
とを備えたプラント監視装置。
【請求項１０】前記提示情報作成手段が、前記メモリ内
に記憶している前記第３文字列情報が変化したとき、そ
の第３文字列情報を取り込んで前記表示装置に出力する
手段を含む請求項９のプラント監視装置。
【請求項１１】前記提示情報作成手段が、前記命令情報
に基づいて、入力した第１文字列情報及び第２文字列情
報に対する回答情報を作成し前記表示装置に出力する手
段を含む請求項９のプラント監視装置。
【請求項１２】前記表示装置が、系統図表示領域，トレ
ンド表示領域，入力文字列表示領域及び回答表示領域を
有し、前記提示情報作成手段が、プラントに含まれる複数の機
器の図形要素を含む系統図を前記系統図表示領域に表示
すべく前記表示装置に出力する手段、前記命令情報に対
応するトレンド表示情報を前記計測データを用いて作成
しこのトレンド表示情報を前記トレンド表示領域表示す
べく前記表示装置に出力する手段、前記メモリ内に記憶
している前記第３文字列情報が変化したとき、その第３
文字列情報を、前記入力文字列表示領域に表示すべく前
記表示装置に出力する手段、及び前記命令情報に基づい
て、入力した第１文字列情報及び第２文字列情報に対す
る回答情報を作成し前記回答表示領域に表示すべく前記
表示装置に出力する手段を備える請求項９のプラント監
視装置。
【請求項１３】ポインティング入力手段と，音声入力手
段と，表示装置と、前記ポインティング入力手段により
入力された情報に基づいて得られた第１文字列情報及び
前記音声入力手段により入力された情報に基づいて得ら
れた第２文字列情報を含む第３文字列情報を出力する情
報統合手段と、出力された第３文字列情報を解析する解
析手段と、その解析によって得られる命令情報が情報表
示命令のとき、前記表示装置に表示する表示情報を作成
する手段と、前記命令情報が操作命令のとき、プラント
に含まれる該当する機器に対する制御指令を作成する手
段とを備えたプラント制御装置。