JPH03179517A - ポインティングデバイス装置及び入力方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ポインティングデバイス装置（以下、単にポ
インティングデバイスと称す）に係わり、とくに表示画
面上に表示された機器あるいは装置に人間の視点あるい
は光線をあてたときに、その機器あるいは装置を指定す
る信号を出力するポインティングデバイスに関する。

〔従来の技術〕

従来のポインティングデバイスとしては、特開昭６０−
８５８９９号、あるいは電子情報通信学会論文誌Ａ、Ｊ
７１−Ａ巻、１２号２１９２〜２１９７頁において論じ
られているものがあるにの従来技術では、アイカメラあ
るいはアイカメラと視野カメラを用いてユーザの注視点
を求めており、画面上のポインティングデバイスにも使
用できるものである。この他の従来技術としては、例え
ば特開昭６２−１９６７２３号に示されたものでは、表
示画面周辺部に点光源を設け、視野カメラに写った点光
源についての画像をもとに、ユーザの頭部の回転角度を
検出し、アイカメラにより検出された眼球の位置を補正
するようにしている。また、特開昭６２−５３６３０号
および特開昭６２−５３６３１号に示されたものでは、
測定空間内に特徴物を設置し、視野画像内での特徴物の
位置をもとに、アイカメラからの視点情報を補正する。

これらの発明に於いては、ユーザ位置の移動時にも、視
点情報の補正が可能である。さらに、指差信号をボイン
ティングに使用する技術として。

特願昭６０−９９５３２号に記載のものが知られており
。

ユーザが移動しながらのボインティングが可能なもので
ある。

〔発明が解決しようとする課題〕 上記した従来技術の、特開昭６０−８５８９９号及び電
子情報通信学会論文誌に示されたもの、及び特開昭１９
６７２３号に示されたものは、眼球と頭部の移動する状
況下で、ユーザの視点位置を求めることには有効である
が、ユーザの身体の位置が大きく移動するような場合に
は使用できない。また、特開昭６２−５３６３０号及び
同６２−５３６３１号に示されたものは、初期の視野画
像及び前回の視野画像を記憶しておき、それと最新の視
野画像とから、ユーザの頭部位置を補正するものである
ため、ユーザの動きが大きく、視野画像内から特徴物が
一時的にはずれるような場合については、処理が複雑に
なるという問題がある。さらに、表示画面が複数個ある
場合に、視点がどの表示画面のどの部分にあるかを特定
することについての配慮がなされていない。

さらに、特願昭６０−９９５３２号に示されたものは、
スクリーンの周囲に多数の受光素子を配置する必要があ
り、特に大型の表示画面については簡便に製作できない
という問題があった。

本発明の目的は、プラント運転の場合のように、ユーザ
が移動しながらの使用が可能で、また複数の表示画面が
ある場合にも使用可能な、簡便なポインティングデバイ
スを提供するにある。

〔課題を解決するための手段〕

上記の目的を達成するために１本発明になるポインティ
ングデバイスでは、表示画面もしくはその周辺部にマー
クを設けるか、あるいは表示画面自身の枠をマークとし
て用い、アイカメラからの視点についての情報と視野カ
メラでとらえた上記マークの情報とから表示画面上での
視点位置を特定するようにし、また指差によるポインテ
ィングデバイスの場合は、上記マーク及び指先などに付
けた発光具からの光をモニタカメラによりとりこみ、そ
れらの信号を基にユーザの指差した点を特定するように
した。

〔作　用〕

ユーザが移動しても、また複数の表示画面があっても、
表示画面の位置は視野カメラあるいはモニタカメラが表
示画面周辺のマークを検出することにより容易に検出で
きるから、アイカメラの視点あるいは指差による光点の
位置と表示画面位置とから、表示画面上のどの位置（に
あるもの）が指定されているかが特定できる。しかも上
記マークの設置やその検出は簡単に行え、特別な装置等
を必要としない。

〔実施例〕

以下、本発明を実施例により説明する。第工図は本発明
の一実施例を示すブロック図で、表示袋［１１の表示画
面１００１の周辺の４隅には、赤外線ランプ１１０１が
設けられている。表示画面１００１には、表示制御装置
１２０１を介して表示図面データ１３０１の図面が表示
される。ユーザ２４０１は、眼球の動きを検出するアイ
カメラ１４０１とユーザの正面の様子を撮影するための
、小形カメラである視野カメラ（赤外線に対する感度の
よいもの）　１５０１．及び音声入力用のマイク１９０
１を装着している。また他の入力機器としてキーボード
１８０１が用意されている。

カメラ信号処理装置１６０１は、アイカメラ１４０１と
視野カメラ１５０１の信号を基に、表示画面１００１内
の視点の位置座標を求める。この信号を基に、対象物特
定袋［１７０１は、表示画面１００１に表示中の表示画
面データから、ユーザが注視している表示画面内の対象
物を特定する。一方、入力解析袋［２００１では、入力
解析用データ２１０１を用いて、マイク１９０１及びキ
ーボード１８０１からの入力を解析する。この結果が入
力信号総合処理装置２２０１に入力され、対象物特定装
置ｌ７０１からの注視対象物についての情報と合わせて
、計算機２３０１に処理命令として出力される。

第２図は、カメラ信号処理装置１６０１の動作を示すフ
ローチャートである。この装置では、常時周期的にこの
処理を実行する。まず、視野カメラ１５０１及びアイカ
メラ１４０１からの信号を取り込み（ステップ９１１１
）、次に視野カメラ１５０１の信号から、輝度レベルに
もとづいて視野内、即ち視野カメラのモニタ画面内での
赤外線ランプの位置座標を求める（ステップ９１１２）
。ついで、アイカメラ１４０１の信号から、視野カメラ
■５０１のモニタ画面内での視点の位置座標を求める（
ステップ９１１３）。

さらにモニタ画面内での赤外線ランプの位置座標及び視
点位置座標から、実際の表示画面の赤外線ランプ位置な
どの情報を基に、透視変換などの通常の画像処理技術を
用いて１表示画面１００１上の視点の座標を求める（ス
テップ９１１４）。

第３図は、対象物特定装置■７０１の動作を示すフロー
チャートである。まずカメラ信号処理装置１６０１で検
出された視点の座標を取り込み（ステンプ９１２１）、
この視点の座標をもとに１表示画面データを参照して視
点位置に表示されている対象物を特定する（ステップ９
１２２）。

第４図は、表示図面データ１３０１の一例を示す図で、
表示物の名称とそれが表示されている表示画面１００１
上の座標から成っている。ただし座標は、表示物が表示
されている領域を四角形で近似したときの、各頂点の座
標である。なお、上記領域を多角形で近似することも可
能であり、その場合にはその各頂点の個数に見合った座
標データを用意する必要がある。

次に、入力解析装置２００１と入力信号総合処理袋［２
２０１の動作を説明する。これらの装置は、マイクある
いはキーボードからの入力があった場合にのみ動作する
。第５図は、入力解析装置２００１の動作を示すフロー
チャートである。これはキーボード１８０１あるいはマ
イク１９０１からの入力文を解析して、処理命令、即ち
関数と引数値に変換して出力するもので、入力文として
、「アツリョク　トレンド　ヒョウジ。」がステップ１
０１で入力された場合を例として動作を説明する。辞書
２０２に記載された単語の品詞カテゴリと文法２０１と
を参照して、入力文の形態素・構文解析が行われる。こ
の結果、入力文が分割書きされ、各々の単語にそれぞれ
意味カテゴリ及び意味が付加される。ここで。

形態素・構文解析の手法としては、通常使用されている
手法、例えば予測ボトムアップ法などを使用する。また
文法は、文の構造に関する規則であり、例えば Ｓ（文）→ＮＰ（名詞句）　　Ｓ（文）は、左辺のＳが
右辺のＮＰとＳにより構成されうるという規則を表すも
のである。また辞書には、各見出し語について、品詞カ
テゴリ、見出し藷をかな漢字に変換した表示語、意味カ
テゴリ、及び意味の４つの情報を与えている。ただし助
詞については品詞カテゴリと表示語の２つだけを与えて
いる。なお、入力文に含まれる語の認定は、ワードプロ
セッサなどで通常用いられる最長−教法による辞書引き
によっても、同様に実施できる。

次に、命令内容の同定のための処理ステップ１０３を実
行する。この処理では、構文解析の結果を取り込み、命
令同定ルール２０３を用いて命令内容を同定する。ここ
で命令とは、例えばＳ　１１０　Ｗ　−５ＶＡＲ（状態
量の提示命令）などのようなものである。また命令同定
ルールは、各々の命令に対してその命令を同定するため
の標準的な文パターンを与えたものである。命令同定で
は、第６図で詳細に述べるように、入力文と各々の文パ
ターンとのマツチングを順次試み、マツチングした文パ
ターンに対応する命令を入力命令であるとする。図の例
では１文パターン「￥〈状態量〉？　提示＋せよ」が入
力文とマツチングし、入力命令が５ＩＩＯＷ−５νＡＲ
であるという同定結果が得られている。この処理では、
文パターンを与えるために、いくつかの記号を用意して
いる。「％」は入力文に助詞がある場合にのみマツチン
グに使用する語を表す記号であり、これにより対話文に
よく見られる助詞の省略に対応することが可能である。

「＋」は省略可能な語を表す記号で、体言止めなどに対
応するためのものである。「？」は任意側のＪｈを表す
記号であり、これによって文パターンの設定を容易とし
ている。さらに、「￥」は語の意味カテゴリとのマツチ
ングをすることを表す。

ここで命令内容同定部の詳細な処理内容を説明する。第
６図はそのフローチャートで、まず文パターン番号を１
に設定する。またその文パターンについて１文パターン
中の語の番号を表すｉを文パターンの語の総数Ｉに設定
する。さらに、入力文の語の番号を示すｊを入力文の語
の総数Ｊに設定する（ステップ４０１）。次にに番目の
文パターンのｉ番目の語Ｐｉと入力文のｊ番の語Ｗｊを
持ってくる（ステップ４０２）。このＰｉとＷｊとにつ
いて以下に述べるマツチング処理を実施する。なお、始
めはｉは工に、ｊはＪに設定されているので、入力文及
び文パターンの文末から文頭に向かって、語の比較を実
施することになる。

マツチングの処理は、文パターンの語Ｐｉの形、つまり
前述の記号の有無によって異なる（ステップ４０３）。

まず、記号がついていない場合の処理を説明する。この
場合には、ＰｉとＷｊとを比較し（ステップ４０４）、
これらが同じ場合には、ｉとｊを１だけ減じる（ステッ
プ４０５）。つまり比較する語を１つ前のものとする。

この結果ｉがＯとなった場合（ステップ４０６）は、文
パターンの諸全てが入力文の語とマツチングした場合な
ので、その文パターンｋに対応する命令名を、入力され
た命令内容であるとして出力する（ステップ４１０）。

−方、ｉが１以上の場合（ステップ４０６）には、ｊに
ついての判定を実施する（ステップ４０７）。この結果
、ｊが１以上であれば、ステップ４０２からの処理を繰
り返す。逆にｊがＯであれば、文パターンにと入力文と
のマツチングが失敗したので、次の文パターン（ｋ＋１
）とのマツチングの準備をする（ステップ４０８）。つ
いで文パターンがまだ残っていれば（ステップ４０９）
、ステップ４０２からの処理を新しい文パターンについ
て実行する。一方、文パターンがなくなった時には、命
令同定不可の旨を出力し処理を終了する（ステップ４１
２）。

Ｐｉに記号「￥」が付いている場合には、ＰｊとＷｊの
意味カテゴリを比較する（ステップ４１３）。

その結果に応じて前述と同様の処理を実施する。

Ｐｉに記号ｒ％」がついている場合には、Ｗｊの品詞カ
テゴリが助詞であるか否かを判定する（ステップ４１４
）。その結果、助詞であればＰｉとＷｊを比較しくステ
ップ４１５）、結果に応じて前述と同様の処理を実施す
る。一方、Ｗｊが助詞でない場合には、ｊを工滅じ、ｊ
が１以上であれば（ステップ４１７）、ステップ４０２
にもどる。一方、ｊがＯであれば、入力文の語がなくな
ったので、文パターンにと入力とのマツチングは失敗し
たとして５次の文パターンについての処理、即ちステッ
プ４０８からの処理を実施する。

ｒＰｉＪに記号「＋」がついている場合には、ＰｉとＷ
ｊとを比較しくステップ４１８）、同じであればステッ
プ４０５からの処理を実施する。一方、異なる場合には
、ｉをｌ減じた後ｉが１以上であればステップ４０２に
戻る。ｉがＯになった場合には、文パターンにの語が全
て（省略可能なものを除いて）入力文に含まれていたと
いうことなので、ステップ４１０に戻り、命令同定を終
了する。

Ｐｉが記号ｒ？」である場合には、「？」の前の語Ｐｉ
−１とＷｊを比較する（ステップ４２１）。この結果、
語がマツチングすれば、ｉから１を減じて、次の語につ
いてのマツチング処理をステップ４０５から実行する。

一方、同じでなければｊを↓減じ、ｊが↓以上であれば
（ステップ４２４）、ステップ４０２から入力文の１つ
前の語を用いてマツチング処理を実施する。ｊがＯであ
れば、文パターンにとのマツチングは失敗したので、次
の文パターンに＋１とのマツチング処理、即ちステップ
４０８からを実行する。

以上に詳述した第５図ステップ１０３の命令同定処理が
終わると、次にステップ１０４で同定した命令の実行に
必要な情報の取得のための処理を行う。

即ち命令によっては、その実行のためにいくつかの情報
が必要むので、その情報取得を制御するための方法とし
て、必要な情報項目とその取得方法をフレーム形式のデ
ータとして用意した。これを格フレームという。格フレ
ームは命令ごとに定義しており、命令名称のフレームの
各スロットに、その命令の実行に必要な情報の項目を与
えている。

第５図の格７Ｌ／−ム２０４ノ例では、命令５ｌ（ＯＷ
−３ＶＡＲに対して「状態量」、「表示形態」、及び「
場所」の３つの情−報が必要であることが示されている
。

各スロットのファシット及び値には、その情報を得るの
に必要なデータを与えている。ＶＡＬＵＥファシットに
は、入力文から検索すべき語の意味カテゴリ名が、ＩＦ
−ＮＥＥＤＥＤファシットには、入力文中に必要な語が
ない場合に起動すべき関数の名称が与えられている。こ
こで、関数５ＴＡＣＫは対話履歴スタックを参照する関
数、関数ＡＳＫは質問者に情報の追加入力を要求する関
数である。また、関数ＣＡＭＥＲＡは、対象物特定装置
１７０１からの結果を使用するようにするためのもので
ある。この関数が起動されると、対応する格の値として
、？　Ｐｌａｃｅを書き込む。

ステップ１０４の処理の流れを第７図のフローチャート
に示す。まず命令名をフレーム名としてもつ格フレーム
を取り出す（ステップ５０１）。次にｉを１に設定する
（ステップ５０２）。この初期処理のあとに、第ｉスロ
ットのＶＡＬＵＥファシットの値を読み、Ｖｉの値とし
て設定する（ステップ５ｏ３）。

このＶｉの値がｎｉｌでなければ（ステップ５ｏ４）、
入力文の中から意味カテゴリをもつ語を捜す（ステップ
５０５）。該当する語が発見できれば（ステップ５０６
）、得られた語を第ｉスロットの情報項目の値として設
定しくステップ５０７）、まだスロットが残っていれば
（ステップ５１Ｏ）、ｉを１増やして（ステップ５１１
）、次のスロットについての処理に移る。

一方、ステップ５０６で語を発見できない場合、あるい
はステップ５０４でＶｌの値がｎｉｌの場合には。

ＩＦ−ＮＥＥＤＥＤファシットの値を読み、Ｎｉの値と
して設定する（ステップ５０８）。次いで、Ｎｉの関数
を順次実行する。その結果、値が得られた場合には、そ
れを第ｉスロットの情報項目の値として設定して（ステ
ップ５０９）、次のスロットについての処理に移る。

以上の動作を第５図の入力の例について述べると、命令
５ＨＯＷ−５ＶＡＲに対応する格フレームには、Ｆ状態
量」、ｒ表示形態」、及びｒ場所」の３つのスロットが
ある。「状態量」については、まずＶＡＬＵＥファシッ
トの値として与えられている意味カテゴリく状態量〉を
もつ語を入力文の中で検索する。今、入力文には、対応
する語「圧力」が含まれている。これにより、「状態量
」の値として「圧力」が設定される。同様に表示形態に
ついても、入力文から、意味カテゴリく表示形態〉を持
つ語として「トレンド」が得られ、値として設定される
。「場所」については、入力文から、意味カテゴリ（Ｐ
ｌａｃｅ＞の語が検索されるが、今、入力文中に対応す
る語はない。そのため、ＩＦ−ＮＥＥＤＥＤファシット
の値が参照され、関数ＣＡＭＥＲＡが実行される。

この結果「場所」の値としてｒ　？　Ｐｌａｃｅ」が設
定される。

以上のようにして命令実行に必要な情報の取得が終わる
と、最後にステップ１０５の関数・引数への対応づけの
ための処理が実行される。この処理では、前の処理で得
られた命令及び情報項目の値を、プログラムの関数と引
数に対応づけて出力する。第５図の入力の例では、５Ｈ
ＯＩＩ−５ＶＡＲとｒ表示形態」トレンドから、関数名
が「トレンド表示」に設定される。また引数値としては
、「圧力」及びｒ？　ＰｌａｃｅＪ　が設定される。

第８図は、入力信号総合処理装置２２０■の動作を示す
フローチャートである。この装置ではまず、入力解析装
置２００Ｆで定められた関数名と引数値とを読み込む（
ステップ９１５１）。次に、引数の中に変数’７　Ｐｌ
ａｃｅがあるか否かを判定する（ステップ９１５２）。

この結果、変数がなければ、人力解析装置２００１から
の関数、引数値を処理命令として計算機に出力する（ス
テップ９１５３）、一方、変数がある場合には、対象物
特定装置１７０１から、ユーザが注視している対象物を
読み込む（ステップ９１５４）。

更に、変数？　Ｐｌａｃｅに対象物の名称を設定し、処
理命令を完成させて計算機に出力する（ステップ９１５
５）。

以上説明したごとく、本実施例になる装置を使用すれば
、ユーザの装着したアイカメラ及び視野カメラからの視
点についての信診、及び表示画面の周辺部に設けられた
赤外線ランプの画像についての信号を用いて、ユーザが
注視している表示画面内の座標及びそこに表示されてい
る対象物を求めることができる。これによって、簡便で
かつ操作場所を限定されないボインティングが可能とな
る。また、音声、キーボードからの人力と、注視対象物
についての情報を総合して、計算機への命令とすること
ができる。これらにより、ポインティング操作のみなら
ず、計算機への入力作業の簡単化、作業性の向上などが
実現できる。

なお１以上に説明した実施例においては、表示画面の形
状を与えるためのマークとして、表示画面の４隅に赤外
線ランプを設置するものとしたが。

これは種々の変形が可能である。第９図はその一例であ
り、赤外線発光源２５０１〜２５０４から４つの漏洩フ
ァイバの枠２７０１〜２７０４へ赤外線を送るようにし
、さらに各赤外線発光源は点滅し、その点滅周期は各発
光源で異なっている。このようなマークを使用する場合
には、カメラ信号処理装置１６０１において、視野カメ
ラの画像中のマークと視点についての信号から、視点が
どのマークで四まれた枠内にあるかを、視点を取りかこ
むマークの点滅周期から求める。その後、特定された枠
内での視点の座標を求めるようにすれば１表示画面上の
視点の座標を精度よく求められる。これは特に大画面表
示装置のような表示装置を使用する場合に有効である。

第１Ｏ図は、マークのもう１つの例を示す模式図である
。１つの赤外線発光源２５０５からの赤外線は、スター
カプラ２６０１．漏洩ファイバ２７００、光フアイバ経
由で点光源２８０１〜２８０４へ導かれる。表示画面１
００１は４分割されその各々で点光源の数が異なってい
る。このマークを使用すると、視点がどの分割領域にあ
るかを、漏洩ファイバからの光と、視点と同一分割領域
内にある点光源の個数から判定する。それ以外の処理に
ついては、第９図の例と同様である０本例によると、視
点の座標精度を向上できる他、使用する赤外線光源の個
数が１個でよいという効果がある。

なお、これらの例では、表示画面１００１をマークによ
って４分割したが、分割数を変えることば可能である。

また、全表示画面についてマークを付けるのではなく１
表示画面の一部のみにマークを付け、その部分のみポイ
ンティング可能な領域として使用することもできる。例
えば５画面の一部を漏洩ファイバで囲み、視点がこの部
分に入ったときのみ音声での入力を受は付けるようにし
、音声入力のスイッチングに使用することができる。

また、ここでは光源として赤外線光源を考えたが、これ
を他の波長の光源、例えば可視光の光源としても全く同
様の機能が実現できる。

第１１図は本発明の第二の実施例を示すブロック図で１
表示盤２９０１には３個の表示画面１００１−１００３
が設置され、その周辺部にはそれぞれ赤、緑、青色のマ
ーク３００１〜３００３が付けられている。各表示画面
には、表示図面データ１３０２の図面が表示制御装置１
２０２によって表示されている。ユーザ２４０１はアイ
カメラ１４０１と視野カメラ１５０１−１５０２、及び
音声入力用マイク１９０１を装着し、またキーボード１
８０１も用意されている。カメラ信号処理装置１６０２
は、アイカメラ１４０１と視野カメラ１５０１．１５０
２の信号をもとに、ユーザの視点がどの表示画面のどの
座標にあるかを求める。この信号をもとに、対象物候補
特定装置１７０２では１表示画面に表示されている図面
の内で、ユーザが注視している対象物を求める。一方、
入力解析装置２００１では、入力解析用データ２１０１
を用いて、マイク１９０１及びキーボード１８０１から
の入力を解析する。この結果が入力信号総合処理装置２
２０２に入力される。次いでこの装置で対象物候補と、
対象物限定データ２２０３を用いて、ユーザの注視して
いる対象物を特定し、入力解析装置２００２からの信号
と総合して、計算機２３０１に処理命令を出力する。こ
れら各部の処理は、大筋では第１図の場合と同様である
が、表示画面の個数とマークが異なっているので、その
点での相違がある。以下、それらの詳細を説明する。

第１２図はカメラ信号処理装置１６０２の動作を示すフ
ローチャートである。まず視野カメラ１５０１゜１５０
２およびアイカメラ１４０１からの信号を取り込み（ス
テップ９２１１）、次に視野カメラのモニタの画面内で
視点の位置座標を求める（ステップ９２１２）。

次に視野カメラのモニタ画面内で視点を取りかこむマー
ク３００１〜３００３を特定し、その色を判別する（ス
テップ９２１３）。例えばマークの色が赤であると認識
された場合には、視点が表示画面１００１の中にあると
特定される。次いで判別されたマークについて、マーク
の４隅の点の視野カメラのモニタ画面内での座標を求め
る（ステップ９２１４）。この位置座標及び視点の位置
座標から、実際のマーク形状についての情報を用いて１
表示画面上での視点の座標を求める（ステップ９２１５
）。この処理は。

通常の画像処理の手法により実施する。

次いで、対象物候補特定装置１７０２で、視点があると
特定された表示画面に表示されている図面についてのデ
ータから、ユーザが注視している対象物の候補を求める
。ここでの処理は、前述した第１図の対象物特定装置１
７０１での処理と同様である。

但し、表示図面データの内容が異なり、同一の画面内の
点に複数個の対象物を対応付けることを許している。つ
まり、対象物候補特定装置は、視点の座標から１つ以上
の対象物候補を出力することになる。以下では、表示画
面には原子カブラン１〜の圧力容器の図面が表示されて
おり、対象物候補として、気水分子ｌｆｔ　Ｌ％と蒸気
ドームの２つが得られたものとする。

次に、マイク１９０１あるいはキーボード１８０１から
の入力を入力解析装置２００１で解析する。これは第１
図のものと全く同じ処理を行う。そこで今、マイク１９
０１から 「圧カトレンド示せ」 という入力があった揚・合を考えると、この入力が解析
され、 トレンド表示（圧力、？　Ｐｌａｃｅ）という命令であ
ると同定される。ここで、？　Ｐｌａｃｅは場所を表す
変数である。この同定された命令と先に求めた対象物の
候補を取り込み、入力信号総合処理装置２２０２は、計
算機２３０１への命令を作成する。

第１３図は入力信号総合処理装置２２０２の動作を示す
フローチャートである。この装置は、まず入力解析装置
２００１から関数名と引数値を読み込む（ステップ９２
２１）。次に引数の中に変数？　Ｐｌａｃ６があるか否
かを判定する（ステップ９２２２）。判定の結果、変数
’７　Ｐｌａｃｅがなければ、入力解析装置２００１か
らの関数、引数をそのまま処理命令として計算機２３０
１に出力する（ステップ９２２３）。一方、変数がある
場合には、対象物候補特定装置１７０２から、ユーザが
注視している対象物候補を読み込む（ステップ９２２４
）。今の場合、対象物候補として気水分離器と蒸気ドー
ムの２つが得られる。次いで、特定の引数（今の場合は
状態量、値は「圧力」）の値を基に、対象物限定データ
を検索する（ステップ９２２５）。

ここで、対象物限定データ２２０３について説明する。

第１４図は対象物限定データの一部の内容を示す図で、
状態量とプラント内の部位との関係が与えられている。

このデータは１例えばドライウェル、蒸気ドームなどに
ついては圧力が計測されており、炉心などについては流
量が計測されていることを表している。

第１３図に戻って、ステップ９２２５でこのデータを検
索した後、引数値（今の例では「圧力」）に対応する部
位として対象物候補が有るかどうかを判定する（ステッ
プ６２２６）。この結果、なければ場所についての入力
をユーザに要求する（ステップ６２２９）。この要求に
従い、ユーザからマイクなどでの入力があればそれを解
析して、処理命令を完成する。一方、候補があった場合
には、それが１つか否かを判定する（ステップ６２２７
）。その結果、候補が２つ以上ある場合には、ユーザに
選択を要求する（ステップ６２３０）６候補が１つの場
合には、それを変数？　Ｐｌａｃｅの値として設定し、
命令を完威して計算機に出力する（ステップ６２２８）
。今考えている例では、対象物の候補として、気水分離
器と蒸気ドームの２つが得られたが、マイクからの入力
を解析して得られた引数値「圧力」から対象物限定デー
タの参照により、圧力が計測されている部位である蒸気
ドームが選択される。その結果、命令 トレンド表示（圧力、蒸気ドーム） を完威し、計算機２３０１に出力する。

以上説明したごとく、本実施例になる装置を使用すれば
、複数個の表示画面を用いるような場合に、ユーザの視
点がどの表示画面のどの部分にあるかを特定することが
できる。従って多数の表示画面を使用するプラント運転
などの場合での命令入力に有効である。なお、本実施例
では、ユーザが１人の例を示しているが、複数人の場合
にも同様の処理が可能である。

第１１図の実施例では１表示画面１００１〜１００３を
異なる色の枠で囲んでその識別を行うものであるが、こ
れを別の方法によって行うようにした例を第１５図に示
す、同図において、表示盤２９０１には３個の表示画面
１００１〜１００３が設けられ、それぞれの周辺にはマ
ーク３００４が設けられている。このマークは赤外線あ
るいは可視光線の発光源、もしくはペンキなどの塗料で
記入されたものである。このようにして、マークの個数
によって表示画面を区別することができる。さらに、表
示画面左右及び上下のマークの個数を変えることにより
、視野カメラの画像にどの表示画面のどの部分が写って
いるのかを認識できる。また、マークの区別をその個数
と配置だけでなく、色、光源強度、点滅周期やそれらの
組合わせで行うようにすることもできる。

このようなマークを使用することにより、ユーザの頭部
が大きく回転した場合についても、画面の上下左右を簡
単に判別することが可能となる。

第１６図は本発明の第３の実施例になる装置の構成を示
すブロック図である。ユーザ２４０１の帽子３３０１に
は矢印マーク３３０２がつけられ、モニタカメラ３１０
１はこれをモニタする。表示画面特定装置３２０１は、
モニターカメラ３１０１がとらえた矢印マーク３３０２
の信号をもとに、ユーザが向いている方向にある表示画
面を特定する。カメラ信号処理装置ｌ６０３は、ユーザ
が装着したアイカメラ１４０Ｌ視野カメラ１５０１の信
号を基に、上の処理で特定された表示画面内での視点を
求めて、計算機２３０１に入力する。

ここで、表示画面１００１〜１００３の周辺部あるいは
その内部にはマークをつけず、表示画面はその枠の形状
と色をマークとして用いるものとする。この方法によれ
ば、表示画面あるいはその内部にマークをつける必要が
なく、予め存在するものをマークとして使用することが
でき、表示要求等の作成の手間を省力化できる。さらに
、ユーザの動きを、帽子の矢印をモニタしてとらえ、ユ
ーザが見ている表示画面の候補を絞ることができる。こ
の方法は、第２の実施例などと併用可能であり、とくに
表示画面の数が多い場合には、その特定の処理の高速化
、簡単化に役立つ。

なお、ここでは表示画面の枠の形状と色をマークとして
使用したが１画像処理技術が進歩すれば、表示画面に表
示された図面を認識し、ユーザの視点のある部分に表示
されている対象物を直接特定することが可能である。

第１７図は本発明の第４の実施例を示すものである・同
図において、プラントの制御盤３５０１には、メータ３
４０１〜３４０４及びスイッチ３６０１〜３６０４が設
置されている。赤外線光源２５０６〜２５１２からの光
は、光ファイバ３８０１〜３８０７によって分岐器３７
０１〜３７０７に導かれている。この分岐器には漏洩フ
ァイバ３９０１〜３９０７が接続され、このファイバは
スイッチやメータを囲むように配置されている。赤外線
発光源２５０６〜２５１２は、各々相異なる波長の光を
発生している。

一方、ユーザ２４０１の装着したアイカメラ１４０１及
び視野カメラ１５０１は、信号送信装置４００１及び信
号受信装置４１０１を経由し、計算機４２０１にそのデ
ータ入力部４２０２を介して取り込まれる。この信号は
機器特定部４６０１、データ記録部４６０２、出力部４
２０３を介して記憶装置４４０１に記憶される。機器特
定部４６０１では、機器特定用データ４４０２を、入力
部４２０７、出力部４２０８を介して利用する。一方、
命令入力装置４３０１から、入力部４２０５を介して命
令が入力されると、データ検索部４６０３が動作し、記
憶装置４４０１から入力部４２０２を介して記録された
データが読み出され、入力命令に沿った形態で出力部４
２０６を介して出力装置４５０１に表示、印字、あるい
はコピーされる。

本実施例は１例えばプラント運転中の運転員の視点の動
きを自動的に記録、処理するためのもので、起動される
と第１８図の処理を周期的に実施する。まず、視野カメ
ラ（赤外線カメラ）に写った漏洩ファイバの枠のうちの
どの枠内にアイカメラからの視点が入っているかを特定
する。この処理ステップ９３０１の詳細なフローチャー
トは第１９図に示されており、これは機器特定部４６０
１で実行される。即ちまず、視野カメラ、アイカメラか
らの信号を取り込み（ステップ９３１１）、視野カメラ
のモニタ画面内での視点の位置座標を、アイカメラ信号
から求める（ステップ９３１２）。次に視野カメラのモ
ニタ画面内で視点を取りかこむ枠を特定する（ステップ
９３１３）。次に特定した枠についての輝度情報から、
枠の赤外線光源の点滅周期を求める（ステップ９３１４
）。この点滅周期をもとに、機器特定用データを用いて
枠内の機器個数を求める（ステップ９３１５）。その結
果、特定された枠内に機器が１つだけの場合には（ステ
ップ９３１６）、その機器を特定して処理を終了する（
ステップ９３１７）。

一方、枠内に複数個の機器がある場合、枠内での視点の
座標を、第１１図の実施例のカメラ信号処理装置１６０
２と同様の処理により求める（ステップ９３１８）。次
に機器特定用データを用いて、視点の座標から機器を特
定する（ステップ９３１９）。

なお、ここで用いた機器特定用データの一部を第２０図
に示す。このデータは、枠の赤外線光源の点滅周期ごと
に、枠内機器の個数、機器名称を与えている。さらに枠
内に複数個の機器がある場合には、各々の機器に対応す
る領域を定義するための、各領域を四角形で近似し、四
角形の４つの頂点の座標を与える。ここで、各領域を定
義する場合に、枠内を左右２領域にわけるときに分割点
のＸ座標のみを与えるか、あるいは多角形や円などによ
り領域を定義することも同様に可能である。

以上のようにして、第１８図のステップ９３０１により
視点の入っている表示画面が特定されると、次にその時
点の時刻と、運転員が見ているメータ、スイッチなどの
名称などに係わる情報を、記憶袋［４４０１に記憶する
（ステップ９３０２）。

一方、命令入力袋［４３０１から表示命令が入力された
ときには、第２１図の処理が起動され（ステップ９３０
３）、記憶装置４４０１に記憶された運転員の視点の時
間的な動作についての情報を、出力装置４５０１に表示
あるいは他の形で出力する（ステップ９３０４）。この
出力装置への出力は、命令入力装置からの要求があれば
、データの処理と平行して、即ちモニタとして出力する
ことが可能である。なお、本実施例になる装置では、漏
洩ファイバを配置し、各々の点滅周期を変えることによ
り、運転員の注視している機器などを特定した。この特
定は、前に述べた実施例で示した各種の方法によっても
実施可能である。あるいは、スイッチ、メータの形状あ
るいはそれに付随して設置された銘板上の文字などの認
識によっても、同様に実現できる。

本実施例によれば、プラント運転中の運転員の視点の動
きをモニタし、その注視している対象物名称あるいは番
号などとともに記録できる。従って例えばメータを見る
頻度、ある時間内での視点の動作範囲などの分析を、計
算機を用いて容易に行え、制御盤の評′価、設計などに
生かすことができる。なお、本装置では視点の動作のみ
モニタしたが、マイク、音声認識装置を用いれば、運転
員の発話の履歴についても同様に記録し、利用すること
が可能である。

第２２図は本発明の第５の実施例を示すブロック図で、
表示画面１００１の周辺には赤外線光源２５１３を接続
した漏洩ファイバ３９０８が配置されている。ユーザ２
４０１は、赤外線投光器（指差レーザ）　４７０１を持
ち、あるいは指などに装着している。この投光器には、
投光のオン、オフスイッチ４７０２が設けられている。

モニタ用の赤外線カメラ３１０２は、表示画面１００１
の前方に固定設置され、その信号が指差位置特定装置５
００１を介して、計算機２３０１に入力される。さらに
計算機に入力された指差位置は、表示制御装置１２０４
を介して、指差マーカ４９０１として表示画面１００１
上に表示される。

第２３図は本実施例になる装置での処理の概要を示すフ
ローチャートである。まずモニタカメラの信号から、指
差位置特定装置５００１によって、指差レーザのレーザ
光が、表示画面上にぶつかり反射する点の表示画面上の
位置をステップ９４０１で求める。このステップ９４０
■の詳細な内容は第２４図に示されており、まずモニタ
カメラ３１０２の信号を読み込み（ステップ２４１１）
、この信号から投光器４７０１からの指差レーザ光の折
れ曲がり点を検出し、その点のモニタ画面内での座標を
求める（ステップ９４１２）。次いで漏洩ファイバ３９
０８で作った枠の各辺を表す直線の式を、モニタ画面座
標上で求める（ステップ９４１３）。次いで枠の各辺の
式と、折れ曲がり点の座標から、実際の枠形状について
の情報を用いて折れ曲がり点、即ちユーザが指差した点
の表示画面上での座標を求める（ステップ９４１４）。

この処理は、通常の画像処理の手法によって実施する。

なお、この実施例では、赤外線光源と漏洩ファイバによ
って、表示画面のまわりに枠を作った。しかしモニタカ
メラは固定できるので、モニタ画面内での座標と表示画
面上の座標の変換に必要な関係を予め用意しておけば、
枠がない場合でも、同様の指差点特定処理を実施できる
。

次に、第２３図に戻って、ステップ９４０１で求めた座
標を計算機２３０１に入力し、指差によるポインティン
グ情報として利用する（ステップ９４０２）、さらに、
表示制御装置１２０４にステップ９４０１で求めた座標
を入力し、表示画面上に表示する（ステップ９４０３）
。

以上述べたように、本実施例になる装置によれば、指差
信号をポインティングに使用できる。またスクリーンの
周囲に多数の受光素子を配置する必要のある従来技術に
対し、モニタカメラ、赤外線投光器、及び赤外線光源と
漏洩ファイバによって装置を構成することが可能であり
１画面の大型化に容易に対応できる。また本実施例では
、表示画面が１つの場合を示したが、これが複数個ある
場合についても、他の実施例で示したように、各表示画
面ごとに赤外線光源の点滅周期を変える、可視光の利用
、塗料によるマーク、あるいは表示画面の形状をマーク
として利用する。などの方法によっても同様に実現でき
る。

〔発明の効果〕

以上に説明したごとく、本発明によれば、ユーザが移動
しながら作業するときでも、ユーザの眼球の動き、もし
くは指差についての情報を表示画面等のボインティング
に使用でき、操作場所を限定しないポインティングデバ
イスが実現できる。

また、音声入力などとの併用により、さらに入力の簡単
化１作業性の向上を図ることができる。また眼球の動き
から、ユーザが注視した対象物を特定し、時刻について
の情報とともに記録することが可能となり、プラント運
転員の行動分析、制御盤の評価データの取得が効率よく
行えるという効果がある。

【図面の簡単な説明】

第１図は本発明の第１の実施例の構成を示すブロック図
、第２図〜第８図は第１の実施例の動作説明図、第９図
及び第１０図は表示画面識別のための別の方法を示す図
、第１１図は本発明の第２の実施例の構成を示すブロッ
ク図、第１２図〜第１４図は第２の実施例の動作説明図
、第１５図は第２の実施における表示画面識別のための
別の方法を示す図、第１６図は本発明の第３の実施例の
構成を示すブロック図、第１７図は本発明の第４の実施
例の構成を示す図、第１８図〜第２１図は第４の実施例
の動作説明図、第２２図は本発明の第５の実施例の構成
を示すブロック図、第２３図及び第２４図は第５の実施
例の動作説明図である。 １００１〜１００３・・・表示画面、１１０１・・・赤
外線ランプ、１３０１、１３０２・・・表示図面データ
、１４０１・・・アイカメラ。 １５０１、１５０２・・・視野カメラ、１６０１〜１６
０３・・・カメラ信号処理装置、１７０１・・・対象物
特定装置、１７０２・・・対象物候補特定装置、１８０
１・・・キーボード、１９０１・・・マイク、２００１
・・・入力解析装置、２１０１・・・入力解析用データ
、２２０１．２２０２・・・入力信号総合処理装置、２
２０３・・・対象物限定データ、２３０１・・・計算機
、２４０１・・・ユーザ、２７００〜２７０４．３９０
１〜３９０７・・・漏洩ファイバ、３００１〜３００４
・・・マーク、３１０１．３１０２・・・モニタカメラ
、３２０１・・・表示画面特定装置、３３０１・・・帽
子、３３０２・・・矢印マーク、４２０１・・・計算機
、４３０１・・・命令入力装置、４６０１・・・機器特
定部、４７０１・・・赤外線投光器、　４９０１・・・
マーカ、５００１・・・指差位置特定装置。

Claims (1)

1. 【特許請求の範囲】 １、表示画面の一部もしくは周辺部に当該表示画面を識
   別するための識別手段を設けるとともに、ユーザの装着
   した視野カメラが捉えた上記識別手段の種類及び位置情
   報と、ユーザが装着したアイカメラの視点の位置情報と
   から、表示画面上の座標で見たユーザの視点位置を特定
   することを特徴とするポインティングデバイス装置。 ２、表示画面の一部もしくは周辺部に当該表示画面を識
   別するための識別手段を設けるとともに、ユーザの装着
   した視野カメラが捉えた上記識別手段の種類及び位置情
   報と、ユーザが装着した投光器からの光が表示画面上に
   形成する光点の位置情報とから、表示画面上の座標で見
   たユーザの視点位置を特定することを特徴とするポイン
   ティングデバイス装置。 ３、表示画面が複数個ある場合に、ユーザのいる位置あ
   るいはユーザの向いている方向を検出する手段を設け、
   該手段によってユーザが対向している表示画面を特定す
   る機能を付加したことを特徴とする請求項１あるいは２
   記載のポインティングデバイス装置。 ４、前記特定されたユーザの視点もしくはユーザの指す
   光点位置を当該表示画面上の当該位置にマーカによって
   表示することを特徴とする請求項１、２あるいは３記載
   のポインティングデバイス装置。 ５、前記識別手段は、表示画面周辺に塗料で形成した点
   状のマーク、あるいは可視光または赤外線を発光する点
   状のマークであることを特徴とする請求項１ないし４記
   載のポインティングデバイス装置。 ６、前記点状のマークの個数、色又は発光波長、もしく
   は発光する点状マークの点滅周期により、複数の表示画
   面の区別、あるいは１つの表示画面の上下左右の識別を
   行うことを特徴とする請求項５記載のポインティングデ
   バイス装置。 ７、前記識別手段は、表示画面周辺の形状自体、あるい
   は表示画面周辺に線状枠として設けた赤外光あるいは可
   視光の発光体であることを特徴とする請求項１ないし４
   記載のポインティングデバイス装置。 ８、前記線状枠を構成する発光体をいくつかに分割した
   ときの各部分に対して、あるいは複数表示画面の各線状
   枠に対して発光の波長もしくは点滅周期により、複数の
   表示画面上の区別、あるいは１つの表示画面の上下左右
   の識別を行うことを特徴とする請求項７記載のポインテ
   ィングデバイス装置。 ９、前記識別手段は、表示画面に表示されている特定の
   図形または特定の図形に付けたマークであることを特徴
   とする請求項１ないし４記載のポインティングデバイス
   装置。 １０、請求項１ないし９のいずれか１つに記載のポイン
   ティングデバイス装置において、前記特定されたユーザ
   の視点もしくはユーザの指す光点位置に表示された物体
   を上記特定された位置と上記物体に関する画像データと
   から指定物体として特定するとともに、計算機が別に設
   けた入力手段からの処理命令を上記指定物体に対して実
   行することを特徴とする入力方法。 １１、前記特定されたユーザの視点もしくはユーザの指
   す光点位置に表示された物体が複数個あるときはそれら
   を指定物体候補とし、他に用意した表示物体に関する情
   報及びユーザからの入力手段を介しての入力を参照して
   上記指定物体候補から前記指定物体を特定することを特
   徴とする請求項１０記載の入力方法。 １２、前記特定されたユーザの視点もしくはユーザの指
   す光点位置が表示画面上の予め指定された範囲にあると
   き、あるいは前記特定された指定物体が予め定められた
   物体群の１つであるときのみ、計算機が前記命令を実行
   することを特徴とする請求項１０あるいは１１記載の入
   力方法。 １３、前記入力手段は、キーボード及びユーザの発声す
   る音声から命令をとりだす手段の一方または双方である
   ことを特徴とする請求項１０ないし１２記載の入力方法
   。