JP3744418B2

JP3744418B2 - 情報表示装置

Info

Publication number: JP3744418B2
Application number: JP2001383081A
Authority: JP
Inventors: 節男有田; 幸治大賀; 弘幸湯地; 洋関; 幸夫長岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-12-17
Filing date: 2001-12-17
Publication date: 2006-02-08
Anticipated expiration: 2021-02-08
Also published as: JP2002278698A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報提供装置及び情報表示装置に係り、特に大画面表示装置及び小画面表示装置を備えたシステムに適応するのに好適な情報提供装置及び情報表示装置に関する。
【０００２】
【従来の技術】
近年、発電プラントや化学プラント等の運転制御，金融機関や証券会社での情報提供，会議などのプレゼンテーションにおいては、大きな表示面をもつ表示装置（ミミック表示装置なども含む）を用いた情報提供が計画あるいは実施されている。大画面表示装置に表示される情報を遠隔的に指示したり、指示された表示対象に情報を与えるようにできることが望まれている。
【０００３】
この要望に応えることのできる技術として、例えば、特開平3−179517 号公報のポインティングデバイス装置及び入力方法、特開平4−37922号公報のプレゼンテーション装置がある。
【０００４】
特開平3−179517 号公報においては、１台の赤外線投光器で遠隔的に大画面表示装置の表示面を指示し、該表示面を監視するモニタカメラの出力信号をもとに指示点を検出し、該指示点に指示されたことを示すマーカを該大画面表示装置に表示することが示されている。さらには、指示された表示対象物に対して、別途用意された命令処理手段を用いて、入力される命令を処理することも示されている。
【０００５】
特開平4−37922号公報においては、スクリーンや壁面に投影された画面の所用の部分を、発光器を取り付けた指示棒で指示すると、該画面を監視しているテレビカメラの出力信号に基づいて、指示点を検出し、画像情報を変更することが示されている。
【０００６】
【発明が解決しようとする課題】
上記従来例は、いずれもポインタ（赤外投光器，指示棒）が１本であり、複数のポインタを具備して使用しようとすると、どのポインタによって表示面のどの部分が指示されているかを識別することが出来ない。このため、複数のポインタを用いて、これらを区別して指示点あるいは指示対象に対して命令を実行させることができない。
【０００７】
本発明の目的は、複数のポインタを用いて一つの表示画面を指示した場合でも、各ポインタが指示する位置を容易に認識できる情報表示装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の情報表示装置は、表示装置と、前記表示装置を撮影し、前記表示装置の表示面に到達した複数のポインタからのポインタ毎に異なった形状の指示信号及びポインタ毎に異なった輝度の指示信号の何れかを含む映像信号を出力する撮影手段と、前記映像信号に基づいて前記複数のポインタからの指示信号の形状及び輝度の少なくとも何れかを利用して、それぞれを識別する識別手段と、前記映像信号に基づいて各指示信号が指示する位置を検出する指示位置検出手段とを備え、前記複数のポインタにそれぞれ対応した別々のマーカを、前記表示装置の表示面における各指示信号が指示する位置に対応させて表示することを特徴とするものである。
【００１１】
【発明の実施の形態】
本発明の好適な一実施例である操作・監視装置を図１及び図２に基づいて説明する。
【００１２】
本実施例は、モニタカメラ１，画像処理装置２，電子計算機７，大画面表示装置４，ＣＲＴ表示装置６Ａ〜６Ｇ、及びポインタＰａ及びＰｂを備える。ＣＲＴ表示装置６Ａ〜６Ｇは、操作監視盤３に設けられる。操作監視盤３は、運転員Ａ（一般に複数）がプラント（図示せず）の運転監視のために必要な操作と監視の機能を備えている。ＣＲＴ表示装置６Ａ〜６Ｇには運転員Ａの各々にとって必要な運転情報が表示される。大画面表示装置４は、操作監視盤３の後方に配置され、ＣＲＴ表示装置６Ａ〜６Ｇの表示画面よりも大きな表示面を有する。
【００１３】
電子計算機７は、図２に示す座標認識部６０，対象物特定部６１，表示情報決定部６２、及び表示情報作成部６３の各処理を実行する。
【００１４】
このような構成により、運転員Ａは、操作監視盤３に設けられたＣＲＴ表示装置６Ａ〜６Ｇの表示情報を把握することができると共に、大画面表示装置４に表示されるプラント全体に係わる情報も把握することができる。更に、プラント全体を管理する立場の人（以下、管理者と称する、図示していない）Ｂも大画面表示装置４に表示される情報を把握することができる。このため、情報把握が向上つまりプラントの監視性が高くなる。
【００１５】
運転員ＡはポインタＰａを用い、管理者ＢはポインタＰｂを用いる。ポインタＰｂからの遠隔操作により、大画面表示装置４に表示されている情報の変更、及び大画面表示装置４に表示されている情報の一部に関するより詳細な情報の、大画面表示装置４の一部への表示が行われる。また、ポインタＰａからの遠隔操作により、大画面表示装置４に表示されている情報の詳細情報を、ＣＲＴ表示装置６Ａ〜６Ｇのいずれか及び携帯型表示装置ＨＤへの表示が可能になる。これは、各々のポインタと各種の表示装置４，６Ａ〜６Ｇ，ＨＤを対応づけさせておくことにより可能となる。
【００１６】
大画面表示装置４のどの部分がポインタＰａ，Ｐｂによって指示されたかを監視するために、モニタカメラ１及び画像処理装置２が設けられる。更に、どのポインタによって大画面表示装置４を指示しているかを識別するために、ポインタＰａ，Ｐｂからそれぞれ出力される指示信号、すなわち出射光は、それぞれ異なった形状になっている。図１では、ポインタＰａは指示信号としてドット形状の光を出射しており、ポインタＰｂは指示信号として十字形の光を出射している例を示している。大画面表示装置４の表示画面には、ポインタＰａ，Ｐｂによる指示位置に出射した光の形状に対応するマーカ５ａ，５ｂが後述するように表示される。このため、運転員Ａ及び管理者Ｂは、大画面表示装置４の表示画面を見ることによって該当するポインタでの指示位置を確認できる。ポインタＰａ，Ｐｂから出射される光は、赤外線レーザである。
【００１７】
まず、管理者Ｂが、ポインタＰｂから指示信号である十字形の赤外線レーザ光を出射して大画面表示装置４の表示画面上を指示した場合における本実施例の操作・監視装置の作用について以下に説明する。
【００１８】
本実施例の操作・監視装置は、ポインタから出力された赤外線レーザ光の消灯を指示信号の入力とみなしている。モニタカメラ(赤外線カメラ)１は、大画面表示装置４の表示画面を撮影する。モニタカメラ１から出力された赤外光の映像信号は、大画面表示装置４における、ポインタＰｂから出力された指示信号である十字形の赤外線レーザ光の映像を、含み、画像処理装置２に入力される。ここで、赤外線のレーザを使用する理由は、（１）画像処理装置２及び電子計算機７により認識される、ポインタによる指示点の座標が、認識誤差のために実際の指示点座標と異なることに対応するためである。つまり、操作・監視装置の認識している点をカーソルにより示すことにより、指示信号の入力精度を向上させる。また、（２）赤外線光を出力するポインタＰａ，Ｐｂと赤外線カメラであるモニタカメラ１を使用すれば、画像処理装置２に取り込まれる映像に可視光が含まれず、画像処理装置２での処理が簡単かつ高速に実施できる。
【００１９】
画像処理装置２は、図３の処理を実行する。赤外光の映像信号が入力される
（処理２ａ）。この映像信号に対して２値化処理が実行される(処理２ｂ)。２値化することにより映像信号に含まれたノイズが除去される。次に、２値画像を用いてその映像信号の特徴量を抽出する(処理２ｃ)。この処理では、２値画像のｘ軸，ｙ軸への投影分布を取り、２値画像の濃度が基準値Ｌを超える点の座標を求める。ポインタＰｂについては図４(ｄ)に示す投影分布が得られ、基準点Ｌを超える点の座標はｘ₁，ｘ₂，ｙ₁及びｙ₂ となる。これらの座標ｘ₁，ｘ₂，ｙ₁及びｙ₂ が、２値画像の特徴を示している。処理２ｄでは、大画面表示装置４の画面上での、ポインタの指示位置を求める。すなわち、座標ｘ₁，ｘ₂，ｙ₁及びｙ₂を用いて、２値画像の中心位置の座標(Ｘ，Ｙ)を求める（Ｘ＝(ｘ₁＋ｘ₂)／２，Ｙ＝(ｙ₁＋ｙ₂）／２)。この中心位置の座標(Ｘ，Ｙ)がポインタの指示位置となる。次は、ポインタの種別を判定する(処理２ｅ)。ポインタの種別の判定は、座標ｘ₁，ｘ₂，ｙ₁及びｙ₂を用いて求めた面積△Ｓ（＝(ｘ₂−ｘ₁)(ｙ₂−ｙ₁)）の大きさによって判定する。図４(ｄ)に対する△Ｓ₄ に対しては十字形の指示信号を出力するポインタＰｂであると判定する。ポインタの指示位置及びポインタの種別に関する情報を電子計算機７に出力する(処理２ｆ)。
【００２０】
電子計算機７の前述のポインタの指示位置及びポインタの種別の情報を入力する。座標認識部６０は、入力した座標（Ｘ，Ｙ）に対してメモリ６５内に予め記憶さている座標対応表を用いて補正することにより、大画面表示装置４の表示画面上における実際の指示位置の座標（Ｘ_i，Ｙ_i）を求めて出力する。座標対応表の使用により、カメラ映像の歪及びカメラ位置の影響によって生じる指示位置の誤差を補正することができる。座標（Ｘ_i，Ｙ_i）及びポインタの種別情報が表示情報作成部６３に出力されることにより、大画面表示装置４の画面上の座標(Ｘ_i，Ｙ_i）にポインタの種別情報に対応したポインタのマーカ(ポインタＰｂに対しては十字形のマーカ５ｂ）が表示される。ポインタＰａ，Ｐｂから出力される指示信号は赤外線であるため、このままでは管理者及び運転員は自分が指示している点がどこであるか確認できない。しかし、本実施例は、上記のように、ポインタの種別に対応したマーカが表示されるので、自分が指示している位置を容易に確認できる。対象物特定部６１は、ポインタＰｂ（またはＰａ）により指示されている位置（大画面表示装置４の画面上）に表示されている対象物を特定する。すなわち、対象物特定部６１は、現在、大画面表示装置４に表示されている表示情報のデータをメモリ６５から検索して入力し、指示点の座標（Ｘ_i，Ｙ_i）例えば特開平3−179517 号公報３頁下部右欄１８行から４頁上部左欄３行及び図３に示されている処理と同様にして、指示点の座標（Ｘ_i，Ｙ_i）の位置に表示されている対象物を特定する。表示情報決定部６２は、その特定された対象物の情報とヘッドセットマイクＭｂから入力された管理者Ｂの音声情報（運転員Ａの場合はヘッドセットマイクＭａから入力）とを併せて、この併せた情報に基づいて表示すべき情報を決定する。この表示すべき情報に関する指令信号が、表示情報作成部６３に出力される。表示情報決定部６２は、例えば、特開平3−179517 号公報４頁上部左欄１５行から６頁下部左欄３行(図１，図５〜図７)、及び８頁上部左欄５行から同頁下部左欄１９行(図１１，図１３及び図１４)に記載された処理により、上記特定された対象物の情報と管理者Ｂ(または運転員Ａ)の音声情報とを用いて、表示すべき情報を決定する。
【００２１】
表示情報作成部６３は、表示情報決定部６２で決定された表示すべき表示情報に対応する表示情報をメモリ６５内の情報を用いて作成する。この表示情報の作成にあたっては、ポインタの種別情報も考慮される。ポインタの種別情報は、座標認識部６０，対象物特定部６１及び表示情報決定部６２を介して表示情報作成部６３に入力される。表示情報作成部６３は、例えば、ポインタＰｂによって指示された対象物に関する表示情報を、ポインタの種別情報に対応してメモリ６５に記憶されているデータに基づいて作成する。作成された情報は、ポインタの種別に対応して定められている表示装置に出力され、そこに表示される。ポインタＰｂによって指示された対象物に関する表示情報は、大画面表示装置４に表示される。
【００２２】
運転員Ａが、ポインタＰａから出力した指示信号（１つのドット）により大画面表示装置４に表示されている対象物を指示した場合も、ポインタＰｂで指示した場合と同様に、画像処理装置２及び電子計算機７で処理が実行される。画像処理装置２の２ｄ及び２ｅでは、処理２ｃで求めた図４(ａ)の座標ｘ₁，ｘ₂，ｙ₁及びｙ₂を用いて、中心位置の座標(Ｘ，Ｙ)を求め、面積△Ｓ₁よりポインタの種別(ポインタＰａ)を判定する。座標認識部６０は、ポインタＰａから出力した指示信号に対する座標(Ｘ，Ｙ)の位置を補正し、座標（Ｘ_i，Ｙ_i）を得る。表示情報作成部６３は、この座標値を用いて１ドットのマーカ５ａを大画面表示装置４に表示する。対象物特定部６１及び表示情報決定部６２はポインタＰｂの場合と同じ処理を行う。表示情報作成部６３は、ポインタＰａによって指示された対象物に関する表示情報を、ポインタの種別情報に対応してメモリ６５に記憶されているデータに基づいて作成する。作成された情報は、ポインタＰａに対応する例えばＣＲＴ表示装置６Ａに表示される。
【００２３】
このように本実施例によれば、大画面表示装置４の表示画面を指示する複数のポインタを識別することができるので、複数の人によって大画面表示装置４の表示画面を指示した場合にそれぞれの該当する表示情報を作成して表示装置に表示できる。また、複数の人が、同時にそれぞれのポインタにより大画面表示装置４の表示画面を指示した場合でもそれぞれが要求する情報を適切に作成しかつ表示することができる。
【００２４】
ポインタに対応して情報を表示すべき表示装置を特定しているので、管理者ＢがポインタＰｂで指示した対象物に関する情報(全員が見るべき情報)は大画面表示装置４に、運転員ＡがポインタＰａで指示した対象物に関する情報（運転員Ａ個人が見るべき情報）はＣＲＴ表示装置６Ａに表示できる。このように、ポインタの種別によって、情報を表示する表示装置を特定しているので、運転員Ａ及び管理者Ｂの情報の使い勝手が良くなる。運転員Ａは、ＣＲＴ表示装置６Ａのタッチ操作によっても情報にアクセスできる。特に、運転員Ａが大画面表示装置４をポインタＰａで指示することによって大画面表示装置４に表示された情報に関連する情報を運転員Ａの監視対象であるＣＲＴ表示装置６Ａに表示できる。これは、ポインタを識別することによって可能になる。
【００２５】
更に、ヘッドマウントディスプレＨＤ（「ニュートン」，Ｖｏｌ.１１，Ｎo.１２，Ｐ１０４〜１０７，１９９１年，ＫＹＯＩＫＵＳＨＡ）のような携帯型の表示装置を用いることにより、運転員Ａは、移動しながら、大画面表示装置４をポインタＰａによって指示し、運転員Ａに必要な個人情報をヘッドマウントディスプレＨＤに表示することができる。
【００２６】
運転員Ａ及び管理者Ｂは、ポインタを用いて遠隔にて表示画面を指示するので、運転員Ａ及び管理者Ｂの位置に関係なく大画面表示装置４の表示画面を指示することができる。また、運転員Ａ及び管理者Ｂの位置に関係なく、指示位置の検出及びポインタの種別の判定が正確に行われる。
【００２７】
本実施例によれば、異なる指示信号を出力する複数のポインタを識別し、識別されたポインタによって指示された指示対象物に関する情報を適切に作成し表示することができる。このため、複数の利用者は、異なる指示信号を出力する別々のポインタを使用することによって、自分が必要とする情報を適切に得ることができる。また、複数の利用者が同時にポインタにより指示した場合でも、それぞれが要求する情報が適切に表示される。
【００２８】
本実施例は、複数の人が操作場所を限定されることなく指示対象を指示することができ、各々の人に対する情報や共通の情報をそれぞれ異なった表示装置あるいは共通の表示装置に出力することが可能であり、複数の運転員によって運転するプラントの中央制御室での情報提供，金融機関や証券会社での情報提供，会議などのプレゼンテーション等に適用して効果的であり、かつ作業効率や作業の信頼性も一層高めることが可能となり、その工業的価値は極めて高い。
【００２９】
更に、ポインタによって指示された表示対象物の情報と音声情報を合わせて表示すべき情報を決定しているので、ポインタ及び音声入力手段による入力上方が制限されず、それらを自由に組み合わせて使用することができる。このため、ポインタ及び音声入力手段を用いた情報の入力に対する運転員等の負担を低減できる。
【００３０】
２ドットタイプ及び３ドットタイプのポインタ（赤外線レーザ光を出射）を用いて指示した場合でも、モニタカメラ１から出力された赤外光の映像信号を用いて図４(ｂ)及び(ｃ)に示すような特徴を処理２ｃで得ることができる。複数のピークが投影分布に現われる場合には、ｘ軸及びｙ軸における最大値及び最小値を用いて中心座標及び外接四角形の面積ΔＳを計算する。例えば、２ドットタイプのポインタにおいては、ｘ軸の投影分布については、ｘ₁とｘ₂を求め、ｙ軸の投影分布については、ｙ₁とｙ₂を求めて、中心座標及び外接四角形の面積を求める。なお、中心座標を求めない場合においては、ｘ軸，ｙ軸の投影分布の最小値、例えば図４（ｂ）の（ｘ₁，ｙ₁）座標を求めても良い。
【００３１】
位置の指示に用いたポインタの区別は、２値画像内での輝度の高い点の個数、または輝度の高い領域の外接四角形の面積などのデータを用いて実施する。また、ポインタによる指示信号の幾何学的形状を利用し、この形状をあらかじめ画像処理装置２内のメモリ（図示せず）に記憶しておき、テンプレートマッチング法により同一形状のものを検出する方法でもよい。輝度の高い点の個数を求めてポインタを区別する場合は、図４（ａ）〜（ｃ）に示すドットタイプのポインタを用いる場合であり、ｘ軸またはｙ軸の２値化後の投影分布において、ピークの数の最大値で判断する。例えば、図４（ｃ）の３ドットタイプのポインタではｘ軸のピーク数が最大であり、３個であるため、３ドットタイプと判定する。ところで、図５に示す４ドット及び５ドットタイプのポインタでは、ポインタの使用角度によっては、ｘ軸，ｙ軸の投影分布のピーク数の最大値が発光源の数と一致しない場合がある。そのポインタに対しては、基準値Ｌ₁ よりもレベルの高い別の基準値Ｌ₂ により２値画像の特徴を抽出する。すなわち、Ｌ₁ 以上のピークの数とＬ₂ 以上のピークの数を合計して、ｘ軸，ｙ軸のうち大きい方を求めて、その数によりポインタを識別することが可能である。例えば、図４（ｃ）のｙ軸においては、ピークの数は２であるが、Ｌ₁ 以上のピークは２個であり、Ｌ₂ 以上のピークは１個であるため、合計で３となる。ｘ軸は、Ｌ₁ 以上のピークが３個であり、Ｌ₂ 以上がゼロであるため、合計で３となる。従って、３ドットタイプのポインタにより指示されていると判定できる。
【００３２】
ここで、ポインタの構造例について説明する。図６及び図７は、ドット数が３個のポインタＰを示す。Ｋｊは直流電源であり、Ｋｅは電流制限用の保護抵抗である。ポインタＰは、スイッチＫ₅をＯＮにすることにより、駆動回路Ｋｄ₁，Ｋｄ₂，Ｋｄ₃及び発光ダイオードＫ₄ に電圧が加わえられる。このため、半導体レーザＫｂ₁，Ｋｂ₂，Ｋｂ₃ からそれぞれ赤外線レーザ光が出力される。これらの赤外線レーザ光は、コリメートレンズＫａ₁，Ｋａ₂，Ｋａ₃ によって平行光Ｋｃ₁，Ｋｃ₂，Ｋｃ₃になる。広がりのない各赤外線レーザ光が、出射面Ｋ₆の発光源Ｋ₁，Ｋ₂，Ｋ₃ よりの出射光として出力されることになる。この結果、ポインタＰから出力された赤外線レーザ光（指示信号）は、図８に示すように、大画面表紙装置４の表示画面を指示する。座標認識部６０及び表示情報作成部６３の機能により３つの点５Ａ，５Ｂ及び５Ｃを有するマーカが大画面表示装置４の表示画面に表示される。スイッチＫ₅ をＯＦＦにすると、ポインタＰからの赤外線レーザ光の出射は停止される。発光ダイオードＫ₄は発光源Ｋ₁，Ｋ₂，Ｋ₃から光が出力されていることを示すものであり、発光源から目視できないが遠外光（例えば赤外線光）が出力されている場合に特に有効である。
【００３３】
図１の実施例で用いたポインタＰｂの構成を、図９及び図１０に示す。ポインタＰｂは、２個の発光源Ｋｈ，Ｋｉを有する。発光源Ｋｈは、半導体レーザKj₁,焦点レンズＫｍ₁，コリメートレンズＫｎ₁及びスリットＫｒ₁ を備える。発光源Ｋｉも、同様に、半導体レーザＫｊ₂，焦点レンズＫｍ₂，コリメートレンズKn₂及びスリットＫｒ₂ を備える。マーカ５ｂの水平軸における赤外線レーザ光をＸ軸出力光と称し、その垂直軸における赤外線レーザ光をＹ軸出力光と称する。スリットＫｒ₁から出射される赤外線レーザ光がＸ軸出力光Ｋｓ₁であり、スリットＫｒ₂から出射される赤外線レーザ光がＹ軸出力光Ｋｓ₂である。Ｘ軸出力光Ks₁及びＹ軸出力光Ｋｓ₂ は、それぞれ棒状の出射光であり、大画面表示装置４の表示面上で十字形となるように焦点が合わせられている。このために、半導体レーザとコリメートレンズとの間に焦点レンズＫｍ₁，Ｋｍ₂を設けている。ポインタＰｂと大画面表示装置４との間の距離が変わっても、Ｘ軸出力光Ｋｓ₁ 及びＹ軸出力光Ｋｓ₂ が互いに中心点で交差するのではなく、位置のずれた点で交差する。このようにして、十字形状の指示信号が得られる。スリットＫｒ₁及びＫｒ₂は、Ｘ軸出力光Ｋｓ₁及びＹ軸出力光Ｋｓ₂がより一層棒状になるように、軸方向に対して垂直の部分の幅が一定値となる様に、広がり光をしゃ断するために設けている。
【００３４】
このように棒状の複数の赤外線レーザ光を組み合わせることにより、平行棒，単一棒及びＴ型等の指示信号を出力するポインタを得ることができる。
【００３５】
本発明の他の実施例である操作・監視装置を図１１に基づいて説明する。前述した実施例と同じ構成は同じ符号を付す。本実施例は、ポインタＰａ，Ｐｂ，モニタカメラ１，画像処理装置２，座標変換手段１０，対象物特定手段１１，音声入力装置１６Ａ₁〜１６Ａ_N（図１のヘッドセットマイクＭａ，Ｍｂは一例）、指令入力解析装置１５，操作・指示装置９，情報発生手段２５，第１表示装置２６，第２表示装置である大画面表示装置４を備える。情報発生手段２５は、指令出力手段１２，制御装置１３Ａ₁〜１３Ａ_j，表示制御装置２０，メモリ２１、及び音声出力装置２４，２４Ａを備える。第１表示装置２６は、ＣＲＴ表示装置６Ａ〜６Ｇ及びヘッドマウントディスプレーＨＤ₁〜ＨＤ_kを備える。
【００３６】
ポインタＰａは運転員Ａの操作により、またポインタＰｂは管理者Ｂの操作により図１の実施例と同様な指示信号を大画面表示装置４の表示画面に対して出力する。画像処理装置２は、モニタカメラ１で撮影された大画面表示装置４の表示画面の映像信号を取り込み、図３に示す処理２ａ〜２ｆを実行する。
【００３７】
処理２ｂによる２値化により映像信号に含まれているノイズが除去される。処理２ｄにおいて、ポインタの指示位置として２値画像の中心座標を求めているのは、ポインタで指示する場所が異なることにより大画面表示装置４に結像する指示信号の形状が変形しても、指示した位置と大画面表示装置４の表示画面上で検出した指示信号の位置がずれないようにするためである。しかし、その表示画面上における指示位置がずれた場合には、運転員（または管理者）が再びポインタで指示することで解決する方式とすれば、必ずしも２値画像の中心座標を求めなくてもよく、指示信号の特定位置の座標を求めればよい。画像処理装置２は、ポインタの種別、及びポインタによる指示点の座標（Ｘ，Ｙ）を座標変換手段１０に出力する。
【００３８】
座標変換手段１０は、図２の座標認識部６０と同じ処理を実行し、入力した座標（Ｘ，Ｙ）を補正し、大画面表示装置４の表示画面上における実際の指示位置の座標（Ｘ_i，Ｙ_i）を求めて出力する。この補正は座標対応表を用いて行われるが、例えば大画面表示装置４の四隅に赤外線発光源を埋め込み、これを発光させておくことにより、上記座標対応を図れるようにする。赤外線であるため、ユーザには見えず効果的である。このほか、大画面表示装置４自体が、特定パターン（例えば画面の四隅のみを白くし、他を黒くする）の情報を出力し、この情報の出力のときのみ一時的にモニタカメラ１の感度を高くして、この特定パターンを認識できる様にして、座標変換の情報を作成することも可能である。
【００３９】
対象物特定手段１１は座標変換手段１０で求めた大画面表示装置４内の座標（Ｘ_i，Ｙ_i）を基に、運転員等が指示した表示画面上の表示対象物を特定する。この特定は、図１２に示す処理により行われる。ポインタから出力された赤外線レーザ光の消灯前における大画面表示装置４内での指示位置の座標（Ｘ_i，Ｙ_i）を読み込む(処理５０)。この座標を用いて、指示されている対象ウィンドウを判定する(処理５１)。次いで、対象ウィンドウ内の相対座標（Ｘｗ，Ｙｗ）を計算する(処理５２)。対象ウィンドウ内に表示中の図についての指示領域・文字列の対応データを用いて、相対座標（Ｘｗ，Ｙｗ）にある、すなわち指示されている表示対象物を決定する(処理５３)。指示領域・文字列対応データは、メモリ２１に記憶されている表示画面データ内に各図面ごとに用意されているものである。その内容は、指示領域の範囲及び出力文字列に関するデータである。ポインタにて指示されている表示対象物を決定すると、この表示対象物に対応する文字列を出力する。特定された表示対象物に対応する文字列の情報は、表示制御装置２０に入力され、メモリ２１に記憶される。なお、メモリ２１と対象物特定手段１１との間の情報の伝送は、表示制御装置２０によって行われる。
【００４０】
ポインタＰａ，Ｐｂの出射光は赤外線であるため、運転員は自分が指差している点がどこであるか確認できない。そこで、表示制御装置２０は、対象物特定手段１１で求めた相対座標（Ｘ_W，Ｘ_W）と、画像処理装置２の処理２ｅで得られたポインタの種別情報とを取り込み、予めポインタの種別に対応づけたマーカの情報を用い、指示信号を出力しているポインタに対応したマーカを大画面表示装置４に座標（Ｘ_W，Ｘ_W）の位置で表示させる。この結果、ポインタで指示している点に、該ポインタに対応したマーカを表示することが可能となる。ここで、表示制御装置２０は、対象物特定手段１１から、相対座標（Ｘ_W，Ｘ_W）を取り込むのではなく、対象物を特定した文字列を取り込んでも良い。この場合は、該文字列で示される対象物がどの座標であるかを判定することにより、上述と同様に大画面表示装置４の該座標にマーカを表示することが可能となる。この場合には、表示対象物が特定化できているので、大画面表示装置４に表示している表示対象物をブリンクさせたり、該対象物の表示色を変更させたりして指示点を表示することが可能である。この場合、指示信号に対応づけたブリンク周期，表示色とさせることもできる。
【００４１】
運転員Ａの入力は、音声による情報あるいはポインタＰａを用いた指示により実施される。音声情報は、音声入力装置１６Ａ₁〜１６Ａ_Nを介して指令入力解析装置１５に入力され、認識された後、音声認識情報１７として表示制御装置２０に入力される。対象物特定手段１１で特定された表示対象物に対応する文字列情報も表示制御装置２０に入力される。表示制御装置２０は、これらの入力情報を、いずれも自然語の単語として扱ってメモリ２１に記憶するとともに、大画面表示装置４上に表示する。例えば、図１１に示す大画面表示装置４の下の枠内に表示する。運転員等は、その枠内に表示された情報を見ることによって本実施例の操作・監視装置が認識した入力情報をモニタできる。
【００４２】
運転員等からの音声情報の入力が終了すると、表示制御装置２０は、メモリ２１に記憶している音声情報及び表示対象物の文字列情報の単語を統合し、一つの文章とし、次にこの文章の解析、つまり入力文解析を行う。表示制御装置２０は内部に入力文解析部（図示せず）を有する。
【００４３】
この入力文解析部で行われる入力文解析は、特開平3−179517 号公報に記載された処理(図１の実施例で説明)により実施する。図１３にその処理の概要を、「原子炉水位トレンド図示せ」という入力文について示す。この入力文のうち、「原子炉」はポインタにより指示された位置にある表示対象物の上記文字列情報であり、「水位トレンド図示せ」は音声入力情報である。まず、入力文を文法及び辞書を参照して、分かち書きして意味と意味カテゴリを付加する(処理３８)。ここで、意味カテゴリとは、対象とする世界で使用される単語の意味をカテゴリ分けしたものである。図１３の例では、系統，状態量などがそれにあたる。次に、この結果を用いて入力文の意味を解析する(処理３９)。
【００４４】
意味解析は、図１３に示すように▲１▼及び▲２▼の二つのステップで実施する。まず、要求内容の種類を同定する(▲１▼)。同定のために、要求の種類ごとに標準的な文型を用意している。これらは、意味あるいは意味カテゴリを用いて、ルールの形で記述されている。この文型と入力文の意味あるいは意味カテゴリをマッチングすることにより、要求の種類を同定する。図の例では、“〈trend graph 〉□提示せよ”がマッチングして、要求の種類がトレンド提示要求“trend ”であると同定されている。ここで、記号“〈〉”は意味カテゴリをマッチングに使用すること、“□”は任意の数の単語が含まれても良いことを示すものである。
【００４５】
次に、要求の実行に必要な情報を取得する(▲２▼)。必要な情報及びその取得方法はフレーム型の知識として用意されている。この知識を用いて情報を取得する。図１３の例では、必要な情報である、系統機器名と状態量名がいずれも入力文から得られている。必要な情報が入力文に含まれていない場合には、プラント関連知識，対話履歴の利用、あるいは、運転員への問い合わせにより、情報を取得する。意味の解析が終了すると、処理命令として出力する(処理４０)。処理命令として、表示すべき情報の内容を出力する。このような入力文解析部は、図１の実施例における表示情報決定部に該当する。
【００４６】
表示制御装置２０は、内部に表示情報作成部（図示せず）を有する。表示情報作成部は、入力文解析部で得られた表示すべき情報のデータに基づいて表示情報を作成し、画像処理装置２で特定されたポインタの種別に対応する表示装置にその表示情報を出力する。作成された表示情報は、メモリ２１から読み出された、ポインタの種別に応じた情報（表示情報を作成するために必要な情報）を用いて作成される。表示情報作成部における処理の一例を、系統図の表示情報作成を例に取って図１４に示す。系統図の表示情報作成命令の場合、系統機器名が必要情報として入力文解析部の処理で得られている。この系統機器名を基に対応する表示図を決定する。まず、与えられた系統機器名を基に、メモリ２１内の一部の記憶領域に構成された系統図構成要素データベースを検索する(処理４１)。このデータベースは図面の名称と、その図に含まれる機器などの構成要素の名称を与えるものである。図面名称と系統機器名を比較し(処理４２)、一致するものがあれば、その系統図の表示命令を出力する(処理４７)。これは、運転員が図面名称を記憶しており、それをそのまま入力した場合に対応する処理である。検索の結果、処理４２で対応する図面がないと判定された場合には、入力された系統機器名をもとに、上記データベース内に記憶されている図面構成要素名称を検索する（処理４３）。この検索の結果、対応する要素名称がないと判定された場合は（処理４４）、関連図面のない旨を出力し（処理４８）、運転員に再入力を要求する。一方、要素名称が発見され、かつその要素を含む図面名称が一つの場合には(処理４５)、その系統図の表示命令を出力する(処理４９)。一方、図面名称が二つ以上有る場合には、図面の選択処理を実施する。
【００４７】
この処理の結果選択された情報の提示命令は、音声出力装置２４にも入力され、音声情報２３として出力されるが、大画面表示装置４，ＣＲＴ表示装置６Ａ〜６Ｇ，ヘッドマウントディスプレＨＤ₁〜ＨＤ_Kの画面の表示を制御するのに使用される。図１５に一例としてメモリ２１に記憶されている画面表示切換命令の種類を示した。これらの処理命令に従って、画面の表示を切り換える。どの表示装置上の表示を切り換えるかは、画像処理装置２によって得られたポインタの種別情報を基に決定する。つまり、ポインタの種別（ポインタＰａ，Ｐｂ等）に対応して表示装置を割り付けておき、大画面表示装置４の表示画面の指示に用いたポインタの種別に応じて表示装置を決定する。これにより、ポインタに対応して定められている表示装置に、表示制御装置２０の表示情報作成部にて作成された表示情報２６を表示することができる。
【００４８】
図１５の処理項目において、系統図表示とは系統図を表示することであり、トレンド図表示とはトレンド図を表示することであり、ウィンドウ消去とは表示したウィンドウを消去することである。ウィンドウ移動とは、表示しているウィンドウを移動することであり、ウィンドウポップとは表示しているウィンドウを表示面の前面に表示することであり、ウィンドウプッシュとは表示してるウィンドウを表示面の背面に表示することである。
【００４９】
図１６は、ＣＲＴ表示装置６Ａ〜６Ｇと大画面表示装置４を使用した場合における本実施例の表示に関する作用の概念を示すものである。例えば、図１６の中央に記載された大画面表示装置４において、この大画面表示装置４に表示されたプラントの全体系統図の給水ポンプ部分を運転員ＡがポインタＰａから出力された指示信号により指示し、かつ運転員Ａが音声により「系統図示せ」と入力した場合には、（ｃ）に示すように、ＣＲＴ表示装置６Ａに給水ポンプ付近の系統図が表示される。ポインタＰａの指示信号で同じところを指示し、運転員Ａが「流量トレンド表示」と音声入力した場合には、(ｄ)に示すようにＣＲＴ表示装置６Ａに給水ポンプ流量のトレンド図が表示される。大画面表示装置４に表示されたプラントの全体系統図の給水ポンプ部分を管理者ＢがポインタＰｂから出力された指示信号により指示し、かつ管理者Ｂが音声により「系統図示せ」と入力した場合には、(ａ)に示すように、大画面表示装置４に給水ポンプ付近の系統図が表示される。ポインタＰｂの指示信号で同じところを指示し、管理者Ｂが「流量トレンド表示」と音声入力した場合には、(ｂ)に示すように大画面表示装置４に給水ポンプ流量のトレンド図が表示される。このような表示は、ポインタＰｂの指示信号は十字形であり、ポインタＰａの指示信号はドット形状であるために可能である。これらの指示信号が識別でき、識別した結果に基づいて、上述したようにポインタに対応する表示装置に情報が出力される。これは、図１の実施例でも行われる。
【００５０】
本実施例によれば、図１の実施例と同じ効果を得ることができる。
【００５１】
ポインタＰａ，Ｐｂによって指示され画像処理装置２で特定された表示対象物、及び音声入力情報に基づいて作成された表示情報２６を、ポインタＰａ，Ｐｂから出力された指示信号に対応して定められた表示装置に表示することができる。このため、各々の運転員が必要とする情報、及び運転員全員(含管理者)が把握しなければならない情報を遠隔に指示することができるため、情報入手のための操作を行う場所の制約がなくなり、マンマシン性の高い情報提示が可能である。しかも、表示対象物の指示にあたっては、複数のポインタによりそれぞれ指示することができるためユーザ間相互で使用のタイミングをずらす必要がなく、利用効率が高いという効果がある。
【００５２】
本実施例は、第１の表示装置２６及び大画面表示装置４に表示情報２６を出力するだけではなく、以下のように、プラントの被制御対象物を制御する制御情報１４Ａ₁〜１４Ａ_jを出力することが可能である。
【００５３】
指令出力手段１２は、表示制御装置２０から出力された操作指令情報１８を入力すると、これをもとに制御装置１３Ａ₁〜１３Ａ_jのうちのどれに制御指令信号を出力するかを決定し、該当する制御装置に制御指令信号を出力する。
【００５４】
操作指令情報１８の作成は、以下の通りである。ポインタＰａにより大画面表示装置４に表示されている系統図内の１つの機器を指示する。表示制御装置２０は、運転員Ａの操作により操作・指示装置９から制御指令を示す出力信号を入力したとき、前述したように画像処理装置２で特定された表示対象物（上記の指示された機器）、及び運転員Ａの音声情報を統合し操作指令情報１８として出力する。
【００５５】
各制御装置１３Ａ₁〜１３Ａ_jは、指令出力手段１２から出力された制御指令信号と、操作・指示装置９からの出力信号をもとに、制御演算を実施し該当する被制御対象物に対し操作情報１４Ａ₁〜１４Ａ_jを出力する。例えば、表示制御装置２０から一例として「モータＡ，回転数１０００rpm にせよ」という操作指令情報１８が出力され、指令出力手段１２が入力したとする。指令出力手段１２は、この入力情報に対して、表示制御装置２０と同様な入力文解析，意味解析を行い、モータＡを制御する制御装置（例えば制御装置１３Ａ₁ ）を判定し、この制御装置１３Ａ₁ に対して、回転数の目標値である１０００rpm に対応する設定信号を出力する。制御装置１３Ａ₁ は、その設定信号に対して操作・指示装置９から出力される信号（プラントからのフィードバック信号１９であるモータＡの回転数を示す信号）を取り込み、上記設定信号とモータＡの回転数を示す信号が一致するように制御情報（制御信号）を出力する。
【００５６】
指令出力手段１２は、表示制御装置２０から出力されたポインタの種別情報と制御情報を出力する制御装置とが対応しているかを判断し、予め対応付けられていない場合には、その操作指令情報１８を実行しない。このように、大画面表示装置２に対して指示信号を出力するポインタに対して制御機能の範囲を限定できるので、プラント運転の信頼性が向上できる。
【００５７】
図１１の実施例において、座標変換手段１０，対象物特定手段１１，表示制御装置２０，メモリ２１、及び指令入力解析装置１５は、ワークステーションにより実現することが可能である。ワークステーションにより実現した表示情報発生機能の構成例を図１７に示す。ワークステーション２５０は、座標認識部３１，対象物特定部３２，入力制御部３３，入力文解析部３４，表示情報作成部３６、及び表示画面データを記憶したメモリ３７を含む。
【００５８】
座標認識部３１は、座標認識部６０と同じ機能を有し大画面表示装置４の表示画面上の実際の指示点の座標（Ｘ_i，Ｘ_i）を求める。対象物特定部３２は、図１２の処理で座標（Ｘ_W，Ｘ_W）を求め、ポインタで指示している表示対象物を決定し、更にこの表示対象物に対応する文字列情報を出力する。入力制御部３３は、この文字列情報と音声入力装置から入力された音声情報とを合せて自然語の一つの文章とし、この文章を入力文解析部３４に出力する。入力文解析部３４は、図１の実施例と同じく特開平3−179517 号公報４頁上部左欄１５行から６頁下部左欄３行及び８頁上部左欄５行から同頁下部左欄１９行に記載された処理、例えば図１３に示した処理を実施する。入力制御部３３と入力文解析部３４とは、図１及び図１１の実施例における表示情報決定部を構成する。表示情報作成部３６は、図１及び図１１の実施例における表示情報作成部と同じ機能を有する。このように構成することにより、これらの機能はソフトウェア処理で実現できる。
【００５９】
以上の説明では、ポインタからの出力は赤外光であったが、可視光であってもよい。例えば、図５，図６及び図９の各々のタイプのポインタにおいて、赤色光，青色光，緑色光をそれぞれ単独で出力するように、または、赤色，青色及び緑色の光を合成して出力するように構成することも可能である。これによって、同一形状の指示信号を出力するポインタでも、出射光の色を替えるだけで、指示信号の種類、つまりポインタの種類を増やすことが可能である。
【００６０】
このためには、モニタカメラ１はカラー用とし、及び画像処理装置２はＲ（赤色)，Ｇ(緑色)，Ｂ(青色）毎のフレームメモリを備えなければならない。更に、画像処理装置２は、各々のフレームメモリに取り込んだ映像情報に対してＲ，Ｇ，Ｂ毎の投影分布を求め、これらの結果を基にして指示位置の座標を求めたり、ポインタの種別を識別する。例えば、２値化処理後の投影分布は、赤色による指示信号においては、Ｒのフレームメモリのデータに対する処理にのみ、及び緑色による指示信号においては、Ｇのフレームメモリのデータに対する処理にのみ、結果が現われる。従って、どのフレームメモリのデータに対して、結果が現われたかを判断すれば、同一形状の指示信号に対して、色が異なっているかを容易に区別できる。従って、この情報を用いてポインタを識別すればよい。
【００６１】
ポインタの出射光が赤外光である場合には、この出射光の波長をポインタ毎に異ならせてもポインタの識別が可能である。可視光の場合には、色の変更になる。複数のポインタにおいて出射する赤外光の波長を替えておき、監視する赤外光の波長に対応させた赤外線フィルタを備えた複数台のモニタカメラを設置することにより、各々のモニタカメラは波長が対応するポインタの出射光である赤外光（指示信号）のみを検出することができる。これにより、ポインタの光源を１個にすることも可能である。また、各々のポインタが出力した指示信号が表示画面上の同一箇所を指示しても、画像処理装置は各々のポインタからの指示信号を区別して検出することが可能となる。
【００６２】
図１８は、赤外光と可視光の両方を出射できるポインタである。大画面表示装置４の表示画面における２つの点５Ａ，５Ｂが赤外光であり、１つの点５Ｄが可視光である。これは、ポインタＰ₁ でどこを指示しているかを可視光で示すためである。Ｋ６は、可視光光源であり、例えば、可視光を出射する半導体レーザを用いて図７と同様に構成することができる。
【００６３】
ポインタＰ₁ は、前述したマーカを表示装置に表示できない場合に適用すると、その効果は大である。例えば、ミミック表示装置は、パネルにモザイクで系統図を示し、例えば弁の状態が変わったら、色付けしたランプを点灯させてその状態を示したり、モザイク箇所に指示計等を埋め込み、その箇所の状態量（例えば、水位）を該指示計に表示する構成になっている。この様な表示装置においては、マーカを表示面に提示することはできない。ポインタによって、例えば、上記の指示計を指示し、これに関する詳細情報や関連情報を個別のＣＲＴ表示装置に出力させようとした場合、指示の位置が意図した場所であるか否かチェックする必要がある。この様な場合に、ポインタＰ₁ を用いれば、可視光を利用者が目視することができるので、指示が確実かつ容易になる。
【００６４】
更に、指示した対象物を音声情報を用いて提示することにより、指示位置が利用者の意図した対象物であるが確認できるので、より一層確かな指示を実現できる。この場合、指示した対象物の特定は図１１の実施例で述べたように、対象物特定手段１１で得られ結果を基にして、これを音声情報に変換して、音声出力装置２４から音声情報２３として提供することができる。
【００６５】
ミミック表示装置を用いて情報を提示する例としては、原子力発電所，火力発電所，鉄鋼プラント，化学プラント等における中央制御室におけるプラント監視，送電経路や電圧，潮流を示す電力系統監視，鉄道における列車運行状況監視，金融や証券などにおける株価情報の提示等がある。
【００６６】
上述のポインタＰ₁ を用いれば、操作・監視盤のスイッチや指示計を指差して、これに係わる情報を提示することも可能である。
【００６７】
これらの場合にも、指示信号が、ミミック表示装置及び操作・監視盤のどの位置を指示しているか判断する必要がある。しかし、ミミック表示装置及び操作・監視盤の四隅に赤外線発光源を設けて、これらの位置からの相対距離に何があるかをあらかじめ記憶しておけば、指示した対象物を特定することが可能である。また、ポインタとして、図１９に示すものを用いてもよい。これらは、すべて可視光の光源を備える。図１９の(ａ)〜(ｅ)は、赤色の光を出射する光源を１個備え、周辺に緑色の光源を配置している。これは、複数のポインタを使用する場合には、各々のユーザが、それぞれのポインタを緑色の指示信号で区別して、赤色の指示信号で指示位置を確認するためである。図１９の(ｆ)〜(ｊ)は、この逆で、それぞれのポインタを赤色の指示信号で区別して、緑色の指示信号で指示位置を確認する。このように、指示点を示すための光情報は１つとし、ポインタを区別するための光情報を複数とすることにより、識別可能なポインタ数を多くすることが可能である。画像処理装置としては、これらすべての光源から出射される光を指示信号として扱えばよい。つまり、本ポインタは、ユーザの目視による指示点の確認を可能としている。
【００６８】
本ポインタは、スクリーンに撮し出される情報の指示、及びパネル表示情報の指示等に使用し、あるユーザの指示点を他のユーザにも把握してもらいたい場合に、特に有効である。この様な用途としては、会議，説明，打合わせ，発表などが挙げられる。
【００６９】
図２０は、本発明の他の実施例である大画面表示装置を有する操作・監視装置の構成を示す。本実施例は、図示されていないが、図１１の実施例の画像処理装置２，座標変換手段１０，対象物特定手段１１，音声入力装置１６Ａ₁〜１６Ａ_N，指令入力解析装置１５，情報発生手段２５を備える。４Ａ，４Ｂが大画面表示装置であり、４０，４１はプラントの運転に係わる操作が可能なバックアップ盤（いわゆる操作・監視盤である）である。バックアップ盤４０，４１は、上部に系統別アラーム表示装置８を設ける。表示装置８は、アラーム項目が刻印されているアラームタイル８_iを有し、アラームを表示する時には、アラームタイル８_iに取り付けられたランプを点灯する。このため、どの系統にアラームが発生したかが分かる。ただし、アラームが発生した系統の中で、複数のアラーム項目のうちどの項目が発生したかは、この系統別アラーム表示装置８のみでは確認できなく、その内容を個別のＣＲＴ表示装置６Ａ〜６Ｇに表示することになる。なお、バックアップ盤４０，４１は、更に機器状態表示ランプ，ＣＲＴ表示装置，ＥＬディスプレー，操作スイッチ，記録計等を備える。この部分がパネル表示部である。なお、赤外線発光源４０Ａ₁〜４０Ａ₄は、バックアップ盤４０の盤面をポインタで指示した場合に、モニタカメラ１で撮影している指示信号の指示位置の座標を指示対象物あるいはバックアップ盤４０の盤面上の位置に対応させるために用いる。他の赤外線発光源４１Ａ₁〜４１Ａ₄，４Ａ₁〜４Ａ₄，４Ｂ₁〜４Ｂ₄も同様である。
【００７０】
さて、操作監視盤３に設けたＣＲＴ表示装置６Ａ〜６Ｇには、運転員Ａ₁，Ａ₂にとって、プラント運転監視上、必要な情報が表示される。ＣＲＴ表示装置６Ａ〜６Ｇへの表示データはプラントからの情報及び運転員Ａ₁〜Ａ₂が操作手段７Ａ〜７Ｃから操作した結果をもとにそれぞれ作成される。
【００７１】
一方、大画面表示装置４Ａ，４Ｂに表示される情報は運転員のみならず、プラントを監視する管理者Ｂによっても監視されるため、本実施例は、プラントの全体構成，プラント管理上重要なパラメータ、及び重要機器の状態が表示される構成になっており、運転状態に応じて、そのメッセージと重要機器の状態がプラント全体構成の中で変化すると共に、重要パラメータの数値が時々刻々表示されるようになっている。さらに、２台の大画面表示装置４Ａ，４Ｂを用いてプラント全体の状況を監視している。
【００７２】
次に、具体的な指示及び表示の例について詳細に説明する。例は、原子力プラントを対象とする。
【００７３】
運転員Ａ₁ が大画面表示装置４Ａを利用して制御棒操作に係わる情報をＣＲＴ表示装置６Ｅに出力する例を説明する。
【００７４】
まず、ポインタＰａ₁ により、例えば、炉心表示部（指示信号５ａで示されている部分）を指示する。この結果、画像処理装置２は指示対象物及び指示に用いられているポインタを認識する。この結果、図２１に示す情報がポインタの種類に対応してＣＲＴ表示装置６Ｅに表示される。表示のための処理は、図１１の表示制御装置２０によって実行される。大画面表示装置４Ａに図２１の情報を表示する場合には、既に表示している情報を消して新たに表示するのではなく、図２２に示すように、既に表示している情報の上に新たな表示情報Ｅを表示することが望ましい。なぜなら、この表示方法によれば、プラントの全体に係わる情報の概略を把握することが可能であるからである。ＣＲＴ表示装置６Ｅには、図２２の新たな表示情報Ｅを既に表示している情報に代って表示しても良いし、大画面表示装置４Ａと同様に重ねて表示してもよい。また、大画面表示装置４Ａ及びＣＲＴ表示装置６Ｅの表示画面に余白があれば、そこに新たな表示情報Ｅを表示してもよい。
【００７５】
図２２のように、新たな表示情報Ｅが大画面表示装置４Ａに表示されると、ポインタＰａ₁ を用いて、表示情報Ｅの必要箇所を指示して情報選択をする。この場合、制御棒操作に係わる情報が必要としているので、この表示情報のうち制御棒駆動系Ｅ₁ を指差することにより、例えば図２３に示す制御棒操作に係わる情報をＣＲＴ表示装置６Ｅに表示することができる。この場合、図２２に示す情報Ｅは不要となるため、表示制御装置２０は、大画面表示装置４Ａに表示している情報Ｅを消去するための処理を施す。また、図２３に示す情報をＣＲＴ表示装置６Ｅに表示するにあたって、ポインタＰａ₁ で図２２の制御棒駆動系Ｅ₁ を指差するのではなく、ヘッドセットマイクＭａ₁ を用いて、「制御棒駆動系，操作情報、示せ」と音声で入力しても良い。図２２の例では、新たな表示情報を大画面表示装置に表示したが、大画面表示装置及びＣＲＴ表示装置のいずれかに表示するかをポインタの種別によって予め定めていてもよい。
【００７６】
また、各ＣＲＴ表示装置がタッチ操作可能なものであれば、図２１の情報ＥがＣＲＴ表示装置６Ｅに出力されている場合には、制御棒駆動系Ｅ₁ の表示部分を指でタッチすることにより、図２３の情報を該ＣＲＴ表示装置６Ｅに表示することが可能である。また、上述と同様に、ヘッドセットマイクＭａ₁ を用いて、音声により入力しても良い。ＣＲＴ表示装置６Ｅに図２３のような画面が表示されると、運転員Ａ₁ は「操作モード」，「駆動モード」，「シーケンスタイプ」，「制御棒No. 」等をタッチオペレーションによって操作指示する。図２３の斜線を施した部分は運転員Ａ₁ が操作した結果を表示している。また、図２３の左側に表示されている制御棒座標中の黒塗り部分は運転員Ａ₁ が制御棒の選択を行った結果として、どの制御棒が選択されたかを、制御棒アドレス（例、２６〜２７，２６〜３５，３４〜３５）と関連づけて表示している。なお、図２３はタッチオペレーション付きＣＲＴの表示例であり、操作手段を表示することにより、操作とその操作の結果として得られる情報（例、制御棒の駆動状態の情報）が同一画面に出力されるため、運転員が操作状態を確認するのに非常に便利である。
【００７７】
この場合、ＣＲＴ表示装置６Ｅだけでなく、他のＣＲＴ表示装置に分配して表示することもある。
【００７８】
次に、他の運転員Ａ₂ が操作・監視盤であるバックアップ盤４０を利用して新たな情報をＣＲＴ表示装置６Ｂに出力する例を説明する。情報としてはアラーム情報（警報情報）をＣＲＴ表示装置６Ｂに出力する例を説明する。
【００７９】
まず、ポインタＰａ₂ により、系統別アラーム表示装置８のうち特定の系統のアラーム項目を選択して詳細を見たい場合、該当するアラームタイル８_i を指差する。指示信号５ｂによってアラームタイル８_i が指示されると、前述の処理によって、画像処理装置２は、指示位置及びポインタの種別を認識する。この結果、例えば図２４または図２５に示すアラーム情報がＣＲＴ表示装置６Ｂに表示される。図２４において、斜線を施した部分は、そのアラーム（ＭＤＲＦＰ−Ａドリップ８_i1とＭＤＲＦＰ−Ａ吸込流量低８_i2）が発生していることを示しているが、ＣＲＴ表示装置６Ｂでは、発生していないアラームと区別するために表示色を変えて表示する。図２５においては、発生したアラームに対して、発生時刻を付加して表示している。図２４及び図２５のいずれにおいても、どの系統かを示す情報（給水系）を付加している。
【００８０】
なお、図２５は、アラームタイル８_i を指示されることによって表示されるアラーム情報を示している。ＣＲＴ表示装置６Ｂ（タッチ操作可能）に表示される図２４の表示情報のうち、斜線部をタッチすることにより、図２５の情報を出力するようにしてもよい。このようにすると、系統にどの様なアラーム項目があり、そのうちどのアラーム項目が発生しており、かつ、その発生時刻はいつだったかを利用者が容易に把握できるという効果がある。
【００８１】
上記アラーム表示においては、指示対象物を特定せずに指示点を認識することにより、詳細なアラーム情報を表示しているが、これは、下記の理由によるものである。
【００８２】
大画面表示装置のように、表示装置の表示面の同一箇所を指示しても、表示画面の内容が異なっていれば、異なった対象物を指示することになる。従って、表示装置の画面を指示する場合には、指示された表示対象物を特定する必要がある。しかしながら、操作・監視盤のように、表示対象物が固定である場合には、指示点と指示対象物が常に１対１の関係で等しいため、指示対象物を特定しなくても、指示位置の座標を判定し、その座標に対する情報を出力すればよい。
【００８３】
以上説明した様に、ミミック表示などのパネル表示装置のように、表示対象物が常に固定されている場合には、指示された表示対象物を必ずしも特定する必要はなく、指示された点（座標）を判定することにより、該座標（指示された表示対象物に相当）に対して、あらかじめ割り付けている情報を、該ポインタに対応する表示装置に出力することが可能である。
【００８４】
図２０の実施例では、大画面表示装置と操作・監視盤の両方への指示を可能としているが、操作・監視盤のように、表示対象が固定されている場合の指示においては、図２６に示す本発明の他の実施例である操作・監視装置の構成によって指示点を検出し、この指示点に基づいて新たな情報を発生することができる。本実施例と図１１の実施例の異なる点は、図１１の対象物特定手段１１が指示点検出手段１８０に替わったことである。この指示点検出手段１８０は、座標変換手段１０の出力情報を指示点の情報としているだけであるため、座標変換手段１０を指示点検出手段１８０と考えてもよい。本実施例は、図１の実施例と同じ効果を得ることができる。
【００８５】
図２７は、本発明の他の実施例である操作・監視装置の構成を示している。本実施例と図２６の実施例と異なる点は、画像処理装置２Ａが画像処理装置２の処理２ｅを実行しなく、替わりに識別手段２７を設けたことである。識別手段２７は、ポインタＰａ₁〜Ｐａ_(N-1)，Ｐｂ′から出力される識別信号２７Ａ₁〜27A_Nに基づいて指示信号を出力しているポインタを識別する。この識別結果は、表示制御装置２０に入力される。一方、画像処理装置２Ａは、ポインタによる指示点の位置（座標）を求める。得られた位置座標は、座標変換手段１０で補正された後、指示点検出手段１８０を介して表示制御装置２０に出力する。
【００８６】
本実施例は図１の実施例と同じ効果を生じる。更に、本実施例によれば、画像処理装置２の機能が簡単になるため、画像処理装置の処理を短縮でき、操作・監視装置全体の応答性を高めることができる。さらに、ポインタの識別を識別信号に基づいて処理し、画像処理による識別を不要としたため、形状，色など、同一の指示情報をもつポインタによって指示することも可能である。
【００８７】
なお、各ポインタから出力する識別信号としては、超音波信号，無線信号，有線信号が考えられる。しかし、ポインタの使用場所を限定しない様にするためには、超音波信号，無線信号を利用することが望ましい。これらの信号を用いてポインタを識別するためには、識別信号の周波数や出力周期をポインタごとに異ならせる方式等、各種適用できる。
【００８８】
本発明の他の実施例である操作・監視装置を説明する。本実施例は、図２７の実施例において、指示点検出手段１８０の替わりに対象物特定手段１１を設けた点にある。このため、図２７の実施例の効果に加え、指示した対象物を特定して、この対象物に関する新たな情報を発生する場合に有効である。
【００８９】
本発明の他の実施例である操作・監視装置を図２８に基づいて説明する。本実施例の図２７の実施例と異なる点は、指示点検出手段１８０の替わりに対象物特定手段１１を設け、識別手段２７の替わりにポインタの識別を音声入力情報を用いて行う識別手段２８Ａ₁〜２８Ａ_Nを備えたことにある。識別手段２８Ａ₁〜２８Ａ_N の各々は、音声入力装置１６Ａ₁〜１６Ａ_Nのうちの該当する音声入力装置の出力信号を用いて対応するポインタを識別する。ポインタとこのポインタを使用しながら音声入力する人の音声情報とを予め一対一に対応付けておくことにより、識別手段２８Ａ₁〜２８Ａ_Nは音声情報に基づいてポインタを識別することができる。識別手段２８Ａ₁〜２８Ａ_Nの出力信号である識別情報は、指令入力解析装置１５に取り込まれ、音声入力による指令の解析結果と共に、表示制御装置２０に出力される。以上のようにして音声入力情報を用いてポインタを識別することが可能となる。また、ポインタＰａ〜Ｐｂと音声入力装置１６Ａ₁〜１６Ａ_Nを予め一対一に対応づけておくことにより、識別手段２８Ａ₁〜２８Ａ_Nは音声入力装置１６Ａ₁〜１６Ａ_Nからの出力信号（音声情報）があったか否かで、ポインタの利用の有無が判断できる。この判断結果を識別情報として指令入力解析装置１５に出力する場合においては、識別手段２８Ａ₁〜２８Ａ_Nの処理が極めて簡単になるという特徴がある。
【００９０】
図２９は、本発明の他の実施例である操作・監視装置を示す。本実施例が、図２８の実施例と１２と異なる点は、図２８の実施例における対象物特定手段１１が指示点検出手段１８０に替わっていることである。図２８の実施例は、ミミック表示などのように、表示対象物が固定の場合に適用可能であるが、本実施例は、表示対象物が可変の場合にも適用可能である。本実施例は、図１の実施例と同じ効果も得ることができる。
【００９１】
本発明の他の実施例である操作・監視装置を図３０により説明する。本実施例が、図１１の実施例と異なる点は、マーカ５ａ，５ｂ，５ｅ，５ｆ，５ｇ，……が予め大画面表示装置４に表示されており、ポインタＰａ，Ｐｂ等の指示信号をこれらのマークの１つに当てることにより、当該マークを選択できる。この選択したマークを該当するポインタの操作により、指示したい表示対象物上に移動させて、ポインタから出射していた指示信号を消すことにより、該表示対象物が選択される。これらの処理は、表示制御装置２０が実施する。表示制御装置２０は、予め登録しているマーカ５ａ等を大画面表示装置４の予め定められた領域（図３０では表示領域の下部に設けている。）に表示する。
【００９２】
図１１，図２６〜図３０の実施例において、各々のポインタで種々の表示対象物あるいは表示位置を指示して、その指示対象物あるいは指示位置に関する新たな情報を発生することは既に述べた。しかしながら、プラント制御のように、各々の運転員の役割が定まっているような場合には、各々の運転員による指示範囲を限定する様にすることが望ましい場合もある。この様な場合に対応できるようにするためには、指示範囲をポインタごとに割りつけておき、ポインタによって指示したときに、該ポインタによる指示が、この予め定められている指示範囲か否かを判定し、指示範囲に入っている場合にのみ、その指示を受けつけて処理する必要がある。
【００９３】
この判定処理は、表示制御装置２０によって実行する。この場合、表示制御装置２０は図３１に示す構成、特にその判定処理を行う割付け判定手段２０Ａを有する。この図３１の構成は、図１１及び図２６〜図３０の各実施例の表示制御装置２０に適用することができる。
【００９４】
割付け判定手段２０Ａは、指示範囲登録情報記憶手段２０Ａ₁ 及び一致判定手段２０Ａ₂ を有する。一致判定手段２０Ａ₂ は、ポインタの識別情報（ポインタの識別結果を示す情報）と指示位置・対象情報（指示している位置あるいは指示している対象物を示す情報)を入力した場合、指示範囲登録情報記憶手段２０Ａ₁から上記識別情報に対応した指示可能な範囲を示す情報（指示範囲登録情報）を読み出す。この読み出された情報と入力の指示位置・対象情報とを比較し、一致しておれば表示制御処理部２０Ｂに指示を許容する許可情報を出力する。一致しない場合には、不許可情報を出力する。これによって、ポインタごとの指示の範囲の限定が可能となる。
【００９５】
表示制御処理部２０Ｂは、図１１及び図２６〜図３０の各実施例の表示制御装置２０における入力文解析部及び表示情報作成部の機能を有する。従って、表示制御処理部２０Ｂは、許可情報が入力されたとき、入力文解析部及び表示情報作成部での処理によって該当する表示情報を作成し、これを対応する表示装置に出力する。
【００９６】
これまでの説明においては、ポインタから出射している指示情報が消える直前に指示されている指示点あるいは指示対象をポインタによって指示された指示点あるいは指示対象としていた。しかし、利用者が誤ってポインタのスイッチ（図６及び図７のＫ₅ ）を離したり（ＯＦＦ状態）、別な人がポインタと大画面表示装置間を横切ったりして、指示情報が一時的に消え、利用者が指示したい指示点及び指示対象物とは異なった部分を指示したと見なしてしまうことが考えられる。これに対しては、ポインタのスイッチを一定期間内で２度離した場合にのみ、指示信号が真に消えたと見なすようにすることにより、この問題を解決することができる。つまり、指示信号が一度消え、ある期間内に再度発せられ、さらに該指示信号が消えた時にのみ、はじめて指示信号が消えたと見なすものである。つまり、ポインタのスイッチのダブルクリック操作（秒あるいはそれ以下の短時間の操作）に対して、指示信号が消えたと判断するものである。このための処理は、図３２に示す通りであり、図１，図１１、及び図２６〜図３０の各実施例における画像処理装置２（または表示制御装置２０）によって実行される。
【００９７】
図３２の処理を具体的に説明する。図３２は指示信号を検出した時の処理を示しているが、この処理全体を繰り返し実行する。図３２の出力情報Ｊ₁ は、正しく指示信号が消えたことを示す情報である。出力情報Ｊ₁ が得られるときのみ、表示制御装置２０はポインタの指示に対して新たな情報を発生する。出力情報Ｊ₂ に対しては、指示信号がどの位置にあるかを示しているだけであり、マーカの表示等に利用する。図３２においては、指示信号が３回以上発せられた場合には、出力情報Ａを出力しないようにして、指示信号検出の信頼性を高めている。実際にポインタでダブルクリック操作を試みたところ、何度かはポインタのスイッチを３回オン・オフしてしまった。このため、図３２において、状態Ｄが得られた場合には、即、出力情報Ｊ₁ を出力するように処理してもよい。これによって、実操作にあった処理を実現することが可能である。
【００９８】
図３３は、ポインタのダブルクリック操作に対する指示信号の出力状況を示した図である。
【００９９】
図３２の処理においては、ステップＳ₁で指示信号を検出し、ステップＳ₂で指示信号が消えたか否かを判断する。指示信号が消えていなければ、ステップ１０を処理し、再び先頭に戻り、ステップＳ₁，Ｓ₂を処理する。ステップＳ₂ で指示信号が消えたと判定されればステップＳ₃ に進む。この状態が、図３３のｔ₀ からｔ₁ に至り、△Ｔ₁ の期間になっている状態である。
【０１００】
ステップＳ₃ で指示信号が存在しないと判定されたときステップＳ₄に進む。ステップ４に示すように、この処理結果がＹＥＳであれば、再びステップＳ₃ に戻る。つまり、△Ｔ₁ の期間に存在していることになる。ステップ４の処理結果がＮＯであれば、△Ｔ₁ 内で指示信号の再出力がなかったことになるので、ステップＳ₁₀を処理後、先頭に戻る。つまり、ポインタはダブルクリックされていないと判断している。これにより、指示信号検出の信頼性を高めている。
【０１０１】
次に、ステップＳ₃ の処理結果がＹＥＳであればステップＳ₅ に進む。この状態は、図３３の△Ｔ₂ の状態になったことを示す。ステップＳ₅ において、処理結果がＮＯであれば、ステップＳ₆ に進む。ステップＳ₆ において、△Ｔ₂ 経過しても指示信号が消えないと判定されれば、ポインタのダブルクリックがなされなかったことになるので、ステップＳ₁₀を処理後、先頭に戻る。ステップＳ₆ の処理結果がＹＥＳであれば、ステップＳ₅ に戻る。ステップＳ₅ の処理結果がＹＥＳであれば、ステップＳ₇ に進む。ステップＳ₇ の状態は、図３３のｔ₃ とｔ₄ 間の状態である。ステップＳ₇ の処理結果がＮＯであり、かつステップＳ₈ の処理結果もＮＯであれば、ポインタはダブルクリックされたことになる。従って、ステップＳ₉ を処理後、先頭に戻るステップＳ₈ の処理結果がＹＥＳであれば、ステップＳ₇ に戻る。ステップＳ₇ の処理結果がＹＥＳであれば、図３３のｔ₄ とｔ₅ 間の状態になっている。つまり、ダブルクリック以上の操作を実施したことになるので、ステップＳ₁₀を処理後、先頭に戻る。
【０１０２】
以上述べたように、ダブルクリック操作を所定時間内で実施した時にのみ、指示信号によって特定箇所を指示したと見なすことが可能となる。ただし、前述した様に、ダブルクリック以上の操作（例えば、３回のクリック操作）を実施しても、その操作を許容する様にするとすれば、ステップＳ₅ の処理結果がＹＥＳであればステップＳ₇，Ｓ₈を不要とし、ステップＳ₉ を実行するようにすればよい。図３３においては、ｔ₃ 以降の状態はすべて許容することになる。これによって、個人的なポインタの操作不慣れがあっても、これを許容した指示が可能となる。なお、ステップＳ₁₀において、消えた指示信号の座標を出力するとしているが、消えた指示信号を検出することは出来ないので、厳密には指示信号が消える直前の指示信号の座標である。
【０１０３】
ここで、述べた指示信号検出の信頼性向上策については、ポインタの種類が複数であっても、単一であっても、いずれに対しても適用できる。さらに、単にポインタの数が複数であっても単一であっても、いずれの場合であっても良い。以下の実施例についても同様である。
【０１０４】
図３４は、指示信号検出の信頼性向上策に対する他の実施例を示す図である。説明の対象を大画面表示装置４とする。大画面表示装置４の表示画面に対して、無効表示エリアＡＲ１を設けて、このＡＲ１内には情報を表示しない様にし、有効表示エリアＡＲ２内（指示の対象範囲である）に情報を表示するように予め定めておく。これは図１１の表示制御装置２０によって実行される。このように、表示装置の表示画面内の周囲に無効表示エリアＡＲ１を設けることにより、ユーザが、この無効表示エリアＡＲ１をポインタで指示することはしなくなるので、このＡＲ１に指示信号が入れば、このＡＲ１内で指示信号が消えても、指示が有効であるとは見なさないようにすることができる。このＡＲ１がないと図３４に示すように、指示信号を右上に移動させていき、大画面表示装置４から指示信号がはみだして消えると、その消える直前の指示信号の座標を指示信号が消えた位置と見なしてしまう。これに対して、図３４のように大画面表示装置の表示画面を取り扱うことにより、この問題を解決することができる。なお、無効表示エリアＡＲ１に指示信号が存在しているときには、マーカはＡＲ１内に表示される。
【０１０５】
ミミック表示などのパネル表示装置や操作・監視盤の指示に対しては、指示対象範囲を有効表示エリアＡＲ２とし、その他を図３４と同一とするが、該有効表示エリアＡＲ２以外をすべて無効表示エリアＡＲ１とすることにより対応可能である。
【０１０６】
図３５は、上記対策のための、図１，図１１、及び図２６〜図３０の各実施例における画像処理装置２（又は表示制御装置２０）によって実行する処理手順を示している。図３５の出力情報Ｊ₁ は、正しく指示されたことを示す情報であり、この情報が得られたときのみ、表示制御装置２０は、ポインタの指示に対して新たな情報を発生する。出力情報Ｊ₂ は、指示信号がどの位置にあるかを示しているだけであり、マーカの表示等に利用する。
【０１０７】
図３５において、ステップＳ₁ で指示信号を検出し、ステップＳ₂ で指示信号が無効表示エリアＡＲ１内にあるか否かを判断する。この判断結果がＹＥＳであれば、ステップＳ₆ の処理を実行して先頭に戻る。つまり指示信号が無効表示エリアＡＲ１に存在しているので、仮にこの無効表示エリアＡＲ１で指示信号が消えたとしても、それを有効と見なすことのないようにしている。ステップＳ₂ において、処理結果がＮＯであれば、ステップＳ₃ に進む。ここで、指示信号が有効表示エリアＡＲ２内にあれば、ステップＳ₄ に進み、指示信号が消えたが否か判断する。指示信号が消えれば、ステップＳ₅ に進み、出力情報Ｊ₁ を出力し、先頭に戻る。それ以外はすべてステップＳ₆ の処理を実施して、先頭に戻る。図３５の出力情報Ｊ₁ は図３２のそれと同一であり、図３５の出力情報Ｊ₂ は図３２のそれと同一である。これにより、有効表示エリアＡＲ２内を指示している時に、指示信号が消えたときのみ、該指示位置あるいは指示対象に対して、新たな情報を発生することが可能となり、指示信号の検出に対する信頼性を高めることが可能である。
【０１０８】
さらに、図３５の処理において、ポインタをダブルクリック操作で指示信号を消した時にのみ、出力情報Ｊ₁ を出力する様にすることも可能である。つまり、図３５と図３２の処理を併用することであるが、これは、図３２のステップＳ₂ 以降の処理ステップ(Ｓ₂〜Ｓ₁₀）を図３５のステップＳ₄ 以降の処理ステップ（Ｓ₄〜Ｓ₆）に置きかえることにより実現できる。これにより、より一層指示信号検出に対する信頼性を高めることができる。
【０１０９】
また、指示信号を移動させている時に指示信号が消える場合がある。その要因としては、ユーザのポインタ操作により、指示信号を意図して消す場合と、大画面表示装置等から指示信号がはみ出して消える場合がある。前者は問題ないが、後者に対しては、指示信号の移動軌跡を追跡しておき、指示信号が大画面表示装置等からはみ出ると予測した場合には、該指示信号が消えても、それを有効と見なさないようにすることができる。
【０１１０】
以上述べた各種処理方式は、ポインタの実操作に則しており、指示信号検出に対する信頼性を高めることが可能である。
【０１１１】
【発明の効果】
本発明によれば、複数のポインタを用いて一つの表示画面を指示した場合でも、指示信号を出力しているポインタに対応したマーカを表示させ、各ポインタが指示する位置を容易に認識できる。
【図面の簡単な説明】
【図１】本発明の一実施例である操作・監視装置の構成図である。
【図２】図１の電子計算機内の機能を示す詳細構成図である。
【図３】図１の画像処理装置で実行される処理手順を示す説明図である。
【図４】図３の処理２ｃ〜２ｅの具体的な内容を示す説明図である。
【図５】各種ポインタの光出射面を説明する図である。
【図６】ポインタの一例の斜視図である。
【図７】図６のポインタＰのレーザ光発生回路の説明図である。
【図８】図６のポインタＰから出力される指示信号の説明図である。
【図９】図１のポインタＰｂの斜視図である。
【図１０】図９のポインタの十字形の指示信号を出力するための発光源の構成図である。
【図１１】本発明の他の実施例である操作・監視装置の構成図である。
【図１２】図１１の対象物特定手段にて実行される処理手順の説明図である。
【図１３】図１１の表示制御装置の入力文解析部で実行される入力文解析の処理内容を示した説明図である。
【図１４】図１１の表示制御装置の表示情報作成部で実行される表示情報作成の一処理内容を示した説明図である。
【図１５】画面表示切換命令の説明図である。
【図１６】指示した対象物に関する情報の表示例を示す説明図である。
【図１７】図１１の座標変換手段，対象物特定手段，指令入力解析装置，表示制御手段の機能を備えたワークステーションの構成図である。
【図１８】ポインタの他の実施例の斜視図である。
【図１９】図１８のポインタの光出射面の構成例を示す説明図である。
【図２０】本発明の他の実施例である操作・監視装置の構成図である。
【図２１】図２０で大画面表示装置に表示された炉心表示部をポインタにて指示した場合に表示装置に表示される情報の一例を示す説明図である。
【図２２】図２０の新たな表示情報を大画面表示装置に表示した例を示す説明図である。
【図２３】図２２に示す表示情報のうち制御棒駆動系Ｅ₁ を選択した場合にＣＲＴ表示装置に表示される情報の一例を示す説明図である。
【図２４】図２０のアラームタイル８_i をポインタで指示した場合の表示例を示す説明図である。
【図２５】図２０のアラームタイル８_i をポインタで指示した場合の他の表示例を示す説明図である。
【図２６】本発明の他の実施例である操作・監視装置の構成図である。
【図２７】本発明の他の実施例である操作・監視装置の構成図である。
【図２８】本発明の他の実施例である操作・監視装置の構成図である。
【図２９】本発明の他の実施例である操作・監視装置の構成図である。
【図３０】本発明の他の実施例である操作・監視装置の構成図である。
【図３１】割り付け判定手段を有する表示制御装置の他の実施例の構成図である。
【図３２】指示対象及び指示点を検出するにあたって適用したダブルクリックに関する処理手順の説明図である。
【図３３】図３２のポインタのダブルクリック操作に対する指示情報の出力状況を示す説明図である。
【図３４】指示情報検出の信頼性向上策に対する他の実施例である。
【図３５】指示対象や指示点を検出するにあたって、検出の信頼性を高めた処理方式の他の例である。
【符号の説明】
ＨＤ，ＨＤ₁〜ＨＤ_K…ヘッドマウントディスプレー、Ｐａ，Ｐｂ…ポインタ、１…モニタカメラ、２，２Ａ…画像処理装置、２ｃ…特徴抽出部、２ｄ…指示位置検出部、２ｅ…ポインタ識別部、３，４０，４１…操作・監視盤、４，４Ａ，４Ｂ…大画面表示装置、５ａ，５ｂ…マーカ、６Ａ〜６Ｇ…ＣＲＴ表示装置、７…電子計算機、１０…座標変換手段、１１…対象物特定手段、１５…指令入力解析装置、１６Ａ₁〜１６Ａ_N…音声入力装置、２０…表示制御装置、２１，３７，６５…メモリ、２５…情報発生手段、２７…識別手段、３１，６０…座標認識部、３２，６１…対象特定部、３４…入力文解析部、３６，６３…表示情報作成部、６２…表示情報決定部、１８０…指示点検出手段、ＡＲ１…無効表示エリア、ＡＲ２…有効表示エリア。

Claims

表示装置と、前記表示装置を撮影し、前記表示装置の表示面に到達した複数のポインタからのポインタ毎に異なった形状の指示信号及びポインタ毎に異なった輝度の指示信号の何れかを含む映像信号を出力する撮影手段と、前記映像信号に基づいて前記複数のポインタからの指示信号の形状及び輝度の少なくとも何れかを利用して、それぞれを識別する識別手段と、前記映像信号に基づいて各指示信号が指示する位置を検出する指示位置検出手段とを備え、前記複数のポインタにそれぞれ対応した別々のマーカを、前記指示位置検出手段により検出された前記表示装置の表示面における各指示信号が指示する位置に対応させて表示することを特徴とする情報表示装置。