JPH0764709A - 指示処理装置 - Google Patents

Abstract

(57)【要約】 【目的】簡易、迅速且つ正確に入力位置が選択可能な指
示制御装置を提供する。 【構成】空間座標検出処理部２が操作者の注目する空間
上の座標位置を非接触で検出し、表示処理部３が上記操
作者が注目している位置を操作者に対して視覚的にマー
ク表示し、入力指令処理部５が上記操作者の入力指令の
操作を処理し、データ処理部４が被制御装置７に伝える
予め記憶された複数の指示データに空間上の座標位置の
対応付けをして該対応関係を記憶し、上記空間座標検出
処理部２より入力された空間座標位置よりその指示デー
タを検索し、上記入力指令処理部５より指示が入力され
たときに上記指示データを出力し、インタフェース処理
部６が上記データ処理部４より出力された指示データを
被制御装置７に出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、制御装置のマン・マシ
ンインターフェースに係り、特にインターフェース設計
時の改善及び人間の空間の認知能力の特性による入力操
作性の改善を図った指示処理装置に関する。

【０００２】

【従来の技術】従来、コンピュータ制御処理装置等のコ
ンソール盤による各種操作レバーやスイッチによる操作
入力、或いはモニタ画面上において各制御処理毎のタス
クを設定したアイコン等をポインティングデバイスと釦
を組み合わせた操作、或いはキーボードにより各処理毎
の指令を指示し実行するような制御装置のマン・マシン
インターフェースの分野では、操作者の視線の移動位置
を認識させる機能を持たせて情報を入力操作する技術に
ついて種々の研究・開発が行われている。

【０００３】そして、例えば特開平３−２５６１１２号
公報では、マン・マシンインターフェースにおける入力
操作を改善した「制御処理装置」に関する技術が開示さ
れている。これは、ディスプレイ上にシンボルやメニュ
ーを表示して、視線検出装置による画面上の視点をアイ
ポインタとして表示するものであり、操作者の視線によ
って制御されるアイポインタによりシンボルやメニュー
を選択・実行し、これにより、機械系と人間との間のイ
ンタフェースをより人間側に近付けて人間側の負担を軽
減して、且つ入力操作を誰でも迅速に誤りなく行うこと
を目的としていた。

【０００４】

【発明が解決しようとする課題】しかしながら、前述し
た技術では、ディスプレイ上にシンボルやメニューを表
示するために、プログラム設計時にグラフィカル・ユー
ザー・インタフェース(GUI;Graphical User Interface)
等の画面設計が必要となり、当該画面設計の段階での設
計コンセプトが最終的に操作性の良否を決定するので、
このＧＵＩの設計の良し悪しが問題とされていた。

【０００５】そして、例えば多くの指示のためのシンボ
ルを設定しなければならない場合には、画面サイズや解
像度の関係より、画面上に多くのシンボルを表示しきれ
なくなったり、また多くのシンボルを同時に表示するこ
とにより目的の指示を探し難くなり操作性を損なうとい
った問題も生じていた。

【０００６】さらに、現状では階層構造のウィンドウ表
示やメニュー等の手法により画面を切り替えて操作ブロ
ック単位の集合で表示することにより、多少の操作性改
善を図っていたが、画面を切り変えるという手法により
目的のシンボルかどこの画面にあるかを探し出したり、
或いは、その位置を記憶したりという作業を要しなけれ
ばならないという新たな問題が生じていた。

【０００７】本発明は上記問題に鑑みてなされたもの
で、その目的とするところは、マン・マシンインターフ
ェースにおける機械系の設計を簡易なものとすると共
に、人間の空間認知の能力を利用してコマンド等の指示
情報を機械系へ入力することで簡易、迅速且つ正確な入
力位置の選択を可能とすることにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明の指示処理装置は、操作者が入力手段を介し
て入力した指示に対応した制御又は処理を行う被制御装
置に指令する指示処理装置において、上記操作者の注目
する空間上の座標位置を非接触で検出する空間座標検出
処理手段と、上記操作者が注目している位置を当該操作
者に対して視覚的にマーク表示する表示処理手段と、上
記操作者の入力指令の操作を処理する入力指令処理手段
と、上記被制御装置に伝える予め記憶された複数の指示
データに空間上の座標位置の対応付けをして、その対応
関係を記憶し、上記空間座標検出処理手段より入力され
た空間座標位置よりその指示データを検索し、上記入力
指令処理手段より指示が入力されたときに上記指示デー
タを出力するデータ処理手段と、上記データ処理手段よ
り出力された指示データを上記被制御装置に出力するイ
ンタフェース処理手段とを具備することを特徴とする。

【０００９】

【作用】即ち本発明の指示処理装置では、空間座標検出
処理手段が操作者の注目する空間上の座標位置を非接触
で検出し、表示処理手段が上記操作者が注目している位
置を当該操作者に対して視覚的にマーク表示し、入力指
令処理手段が上記操作者の入力指令の操作を処理し、デ
ータ処理手段が被制御装置に伝える予め記憶された複数
の指示データに空間上の座標位置の対応付けをして、そ
の対応関係を記憶し、上記空間座標検出処理手段より入
力された空間座標位置よりその指示データを検索し、上
記入力指令処理手段より指示が入力されたときに上記指
示データを出力し、インタフェース処理手段が上記デー
タ処理手段より出力された指示データを被制御装置に出
力する。

【００１０】

【実施例】先ず本発明の実施例について説明するに先立
ち、本発明の概要を説明する。図１は本発明の指示処理
装置の概念図である。図１に示すように、本発明の指示
処理装置１は、操作者の注目する空間上の座標位置を非
接触で検出する空間座標検出処理部２と、上記注目位置
を操作者に常に視覚的にマーク表示する表示処理部３、
予め記憶された被制御装置７に伝える複数の指示データ
に空間上の座標位置の対応付けをし、その対応関係を記
憶すると共に上記空間座標検出処理部２により入力され
た空間座標位置より指示データを検索するデータ処理部
４、操作者の入力指令の操作を処理する入力指令処理部
５、上記空間座標検出処理部２より入力された空間座標
に対応する指示データがあり、且つ上記入力指令処理部
５より入力があるときに、指令として被制御装置７にそ
の対応する指示データを出力するインタフェース処理部
６とが一体となって構成されている。

【００１１】このような構成において、操作者は予め被
制御装置７に伝えるべき指示データと空間上の座標位置
との対応付けを行う。次いで操作者はある指示データに
基づく動作を実行させるためのシンボルとしての対象物
を自分の近辺の中から選択する。それは実際のスイッチ
であっても良いし、絵に描かれたものであっても構わな
いが、位置が固定されているものであることが望まし
い。そして、その位置を操作者が不図示のポインタ表示
手段で確認しながら上記空間座標検出処理部２により検
知し、その座標位置を上記デ―タ処理部４により記憶さ
せると共に指示データとの対応付けを行う。そして、こ
の登録操作を必要なデータ数だけ繰り返した後、上記空
間座標検出処理部２により目的とする対象物にポインタ
が表示されている時に、操作者がその位置でのコマンド
を実行したければ上記入力指令処理部５により選択し実
行を行わせる。そのときに上記データ処理部４により予
め記憶された複数の指示データの中から空間上の座標位
置と対応する指示データを検索し、該指示データをイン
タフェース処理部６より被制御装置７に出力する。

【００１２】以下、図面を参照して本発明の実施例につ
いて説明する。先ず図２は本発明の第１実施例に係る指
示処理装置の構成を示す図である。図２に示すように、
磁気センサ１２は操作者の頭部の動きを検知する頭部位
置検出処理部１４に接続されており、該頭部位置検出処
理部１４は磁界ソース１３、空間座標演算処理部１５に
接続されている。そして、視界上にポインタ等の映像を
表示させるシースルー型の頭部搭載型表示部（以下、Ｈ
ＭＤと称す）８の中での操作者の視線及び瞬きを検知す
るための視線検出器９は、それらの処理部に相当する視
線検出処理部１０、瞬き検出処理１１に接続されてい
る。さらに、この視線検出処理部１０は頭部位置と視線
位置データより対象物の空間位置検出座標を計算するた
めの空間座標演算処理部１５に接続され、該空間座標演
算処理部１５と上記瞬き検出処理１１はデータ処理部１
６に接続されている。そして、このデータ処理部１６は
空間座標位置と瞬き検出データの入力処理、ＨＭＤ８に
対してポインタ等の表示制御を行う表示処理部１７に接
続されており、該表示処理部１７は上記ＨＭＤ８に接続
されている。さらに、表示処理部１７への制御データの
出力処理、インターフェース処理部１８へのデータ出力
処理等の手続きを行うデータ処理部１６は、被制御装置
１９を制御するためのコマンドデータ等のやり取りを行
うインターフェース処理部１８に接続されている。ま
た、被制御装置１９にはパネル上に設置されたプッシュ
スイッチ等の入力スイッチ２０による操作やＲＳ２３２
Ｃなどのシリアルインタフェースによるリモートコマン
ド方式による操作が可能な装置が接続されている。

【００１３】次に図３は図２に示した第１の実施例に係
る指示処理装置を更に具現化した構成を示す図である。
図３に示すように、プログラム手続きにより各種制御処
理を行う中央演算ユニット（ＣＰＵ）３０や、そのＣＰ
Ｕ３０を制御するためのプログラムやデータを蓄えるた
めのメモリ３３、２ポートのシリアルデータの送受信の
制御を同時に行うためのシリアルデータ入出力コントロ
ーラ（ＳＩＯ）３１、８チャンネルのアナログ信号をデ
ジタル信号に変換するためのアナログデジタル変換器
（ＡＤＣ）３４、３組の８ビットデジタル信号の入出力
を制御するパラレル入出力コントローラ（ＰＩＯ）３
５、メモリ上のグラフィックシンボルデータをＣＰＵ３
０に負担をかけずに画面上の任意の位置に表示するため
の処理を行うグラフィックデータコントローラ（ＧＣＲ
ＴＣ）３８等が内部バス２９に接続されている。このＧ
ＣＲＴＣ３８は、ＨＭＤ８内部の液晶パネル（ＬＣＤ）
２１に画像を表示制御する為のもので、該ＧＣＲＴＣ３
８の出力は一般のビデオ信号であるＮＴＳＣ信号を出力
している。また、ＨＭＤ８内部ではＮＴＳＣ信号を受け
ＬＣＤドライバ３９によりＬＣＤ２１を駆動させる。
尚、上記ＧＣＲＴＣ３８からＬＣＤ２１までの信号系統
は左右の画像表示のために２系統用意される。

【００１４】次に図４は上記シースルー型のＨＭＤ８の
基本的な原理図である。図４に示すように、映像信号を
表示するための２次元マトリックス状のＬＣＤ２１の後
方からバックライト２２により映像信号を映像化する
と、該映像光はハーフミラー２３により一部が反射し、
該反射映像は拡大光学系の凸レンズ２５を通し操作者の
眼球に投影される。他方、ハーフミラー２３を透過した
外界の映像は、凹レンズ２４と凸レンズ２５の組み合せ
による逆ガリレオファインダを通して観察することが出
来る。従って、外界像上にＬＣＤ２１上の電子映像を融
合観察することが可能となり、ポインタやアイコンなど
のシンボルを対象物と重ねて表示することが出来る。
尚、以上の構成の光学系は先に述べたように両眼用に２
組構成され、また両眼視差像を表示することにより立体
映像が観測できる。

【００１５】次に図５は上記磁気センサ１２の動作原理
を示す図である。図５に示すように、直交コイルで構成
されるトランスミッタとしてのソース部４２に約１０Ｋ
Ｈｚの交流電流を与え磁気を発生させ、その磁界中に直
交コイルで構成されるレシーバとしてのセンサ部４３が
置かれると誘起電流が生じる。そして、この誘起電流は
検出回路４４で時分割に測定され、Ｘ、Ｙ、Ｚ軸の３次
元座標値とPitch 、Yaw 、Rollのオイラー角の合計６自
由度を測定することができる。センサ部４３は、操作者
の頭頂部に相当する位置にＨＭＤ８を固定し、ソース部
４２は操作者の動く範囲内を覆うことができる位置に固
定しておく。尚、一般的に測定可能な範囲は７０〜８０
ｃｍの半球内である。このような配置で測定すること
で、操作者のそのソース位置を基準とする空間での頭部
の３次元位置と、その頭部の傾きや顔の向きなどを知る
ことができる。実際の装置では市販の磁気センサ装置３
２により構成され内部にＣＰＵを有する装置である。ま
た、上記誘起電流に対する２つの直交コイル間の距離な
どのリニアライズ等の校正も済んでおり精度保証された
ものである。さらに、位置データの転送にもＲＳ２３２
ＣやＩＥＥＥ−４８８等のインターフェースが選択でき
る。

【００１６】次に図６は上記視線検出器９の動作原理を
示す図である。図６（ａ）に示すように、黒目の部分で
ある紅彩４７が白目の部分である強膜４６より反射率が
低く、両者の境界の検出が比較的容易な点を利用し、先
ず光源４８で紅彩と強膜の境界部である紅彩輪部の水平
両側をスポット上又は短冊状に照明する。そして、その
反射光を２個の受光素子４９で受光し、その差分信号か
ら水平方向の眼球運動量即ち回転角を検出する。つま
り、図６（ｂ）に示すように黒目４７の両側の白目４６
の面積差から視線の水平方向を決定し、図６（ｃ）に示
すように２個の受光素子４９の和信号により垂直方向の
眼球運動量を検出する。そして、黒目４７と下瞼の間の
白目４６の面積から垂直方向を決定する。さらに、光源
には赤外発光ダイオード４８、受光素子としては赤外発
光ダイオード４９を用いて人間の目への違和感を無くし
ている。

【００１７】但し、本実施例においては左右両眼につい
て、それぞれ水平方向、垂直方向の測定をする必要があ
るため、片目について上記各信号を検出できるように、
図７に示す視線検出装置により、片眼当りに水平用、垂
直用投受光素子を配列し、水平方向、垂直方向の検出を
時分割に制御しながら互いの信号が干渉しないように測
定している。この図７において、水平用、垂直用の各投
光用ＬＥＤ６０，６１はドライバアンプ６６，６７によ
り駆動され、更に発振機（ＯＳＣ）７６の生成するクロ
ックにより交互に駆動される。そして、このクロック信
号はステータス信号としてＣＰＵ３０側に出力され、該
ＣＰＵ３０側ではこのステータス信号の状態により水平
方向、垂直方向のどちらの信号が有効な信号であるかを
知ることができる。さらに、各受光素子であるフォトダ
イオード（ＰＤ）６２乃至６５の電流信号は、電流電圧
変換器のＩ−Ｖアンプ６８乃至７１により電圧信号に変
換され、上記和算演算回路７２を介してＸ＿ＳＩＧの水
平方向信号、差動演算回路７３を介してＹ＿ＳＩＧの垂
直方向信号を演算出力する。また瞬き信号は上記ＰＤ電
圧信号を加算回路７４により全てを加算し、その値をコ
ンパレータ７５によりある設定された値と比較し２値化
することで求める。

【００１８】以下、このような構成の第１の実施例に係
る指示処理装置の動作について説明する。第１の実施例
の指示処理装置は大きく分けて３つの動作モ―ドに基づ
いて動作する。即ち、立ち上げ時のシステムの「初期化
モード」、シンボルの「設定登録モード」、「実行モー
ド」の３つである。

【００１９】先ず「初期化モード」選択時の動作につい
て詳細に説明する。「初期化モード」選択時において
は、磁気センサ部に相当する磁界ソース１３と磁気セン
サ１２の位置関係、及び視線検出処理部１０の校正が必
要である。かかる場合、操作者のワークエリア内に固定
された磁界ソース１３の磁界内において、ＨＭＤ８を基
準位置と基準方向に固定する。そして、このＨＭＤ８の
頭頂部に相当する位置に固定された磁気センサ１２によ
り検出される出力を測定の基準位置とするために、頭部
位置検出処理部１４内の磁気センサ装置３２では、その
検知出力データをＳＩＯ３１のインタフェースを介して
基準データとしてメモリ３３に記憶する。また、視線検
出処理部１０の初期化は操作者の顔の形や眼の位置等の
個人差を補正する。これにより、操作者の既知の位置と
方向の対象物を数点見せ、そのときの検出信号出力に基
づいて各個人パラメ―タを求める。

【００２０】ここで、図８は上記校正時におけるＨＭＤ
８とその表示画面を示す図である。図８に示すように、
操作者がＨＭＤ８を装着した状態でＨＭＤ８内の仮想空
間内に仮想の基準点を表示させ、当該基準点を操作者が
注視したときの検出信号を測定することで個人毎の視線
方向を補正するパラメータを求める。仮想空間内の基準
点は、操作者の顔に対して真正面方向を座標軸にする
と、その軸に対して水平、垂直方向にそれぞれ既知の角
度と距離で基準点を表示させる。また、次の登録モード
において対応付けを行うためのコマンドデータはこの初
期化モードにおいてメモリ上に記憶される。本実施例で
は指示処理装置１と被制御装置１９とのインタフェース
に使われるＲＳ２３２Ｃインタフェースによりデータ転
送されてくる。尚、被制御装置１９からデータを送信し
ても良く、別の端末装置等を接続して該装置等から初期
化のためのコマンドデータ列を転送してもよい。

【００２１】次にコマンド等を実行するためのシンボル
を設定登録するための「設定登録モード」選択時の動作
について詳細に説明する。「設定登録モード」選択時に
は、初期化モードで被制御装置１９に送るコマンドをデ
ータ処理部１６内であるメモリ３３に記憶させておき、
それぞれコマンドデータに番号を割り当て設定してお
く。次いでＨＭＤ８を装着した状態においてコマンド実
行のためのシンボルとして登録したい対象物を視線を使
い登録する。

【００２２】この「設定登録モード」に基づく動作は、
詳細には図１２のフローチャートに示す通りである。即
ち「初期化モード」でコマンドデータがメモリ上に記憶
されていると共に（ステップＳ１）、空間座標が未登録
である場合は（ステップＳ２）、空間座標が未登録なコ
マンド番号を設定した後（ステップＳ３）、ポインタの
表示を視線の移動に対応して行い（ステップＳ４）、空
間座標の中心位置（ｘ，ｙ，ｚ）を指定し（ステップＳ
５）、球状シンボルの表示を行い（ステップＳ６）、そ
の球の半径（ｒ）を指定する（ステップＳ７）。次い
で、空間座標中心位置半径を登録する場合には（ステッ
プＳ８）、空間座標中心位置（ｘ，ｙ，ｚ）、半径
（ｒ）、コマンド設定フラグを出力し（ステップＳ
９）、上記ステップＳ１に戻る。そして、空間座標中心
位置半径を登録しない場合には（ステップＳ８）、上記
ステップＳ１に戻る。そして、コマンド設定済みでない
場合（ステップＳ１）、或いは空間座標が登録されてい
る場合には（ステップＳ２）、シーケンスを終了する
（ステップＳ１０）。

【００２３】尚、図１３はデータ処理におけるデータフ
ォーマット構造を示す図であり、その左表には番号と各
番号に対応するコマンド及びコマンド設定フラグのｏｎ
／ｏｆｆの状態が示されており、右表には対象物の空間
座標中心位置と半径が示されている。

【００２４】ここで、図９（ａ）は上記視線処理装置に
よる実際の座標の計算についての概略図である。図９
（ａ）において、空間座標の原点を両眼の中間点ｏ′、
原点を通り両眼を通過する直線をｙ′軸、上下方向を
ｚ′軸、前後方向をｘ′軸とし、ｘ′軸は手前方向を正
方向、ｙ′軸は操作者の左手方向を正方向、ｚ′軸は上
方向を正方向とする。すると視線による注視点Ｐ（ｘ
０，ｙ０，ｚ０）とは、右目の視線方向を示す直線（単
位ベクトルをｕ）と左目の視線方向を示す直線（単位ベ
クトルをｖ）の交点となる。さらに、眼幅を２Ｅとする
と、右目の視線方向は単位ベクトルをｕとする点（０，
−Ｅ，０）を通る直線上にあり、左目の視線方向は単位
ベクトルをｖとする点（０，Ｅ，０）を通る直線上にあ
ることになる。

【００２５】いま、ｘ′軸、ｙ′軸、ｚ′軸上の単位ベ
クトルをそれぞれｉ、ｊ、ｋとし、単位ベクトルｕ＝
（ｌ，ｍ，ｎ）とすると、右目の視線方向を示す直線は
次式で示される。

【００２６】

【数１】 ここで、ｉ，ｊ，ｋは一次独立であるから、

【００２７】

【数２】 となる。尚、ｌ、ｍ、ｎは視線方向を示す直線の方向余
弦である。同様にして、単位ベクトルｖ＝（ｐ，ｑ，
ｒ）とすると、左目の視線方向を示す直線は、

【００２８】

【数３】 となる。上記（２）、（３）式より次式が成立する。

【００２９】

【数４】 そして、係数行列をＨ、右辺の定数項の行列をＣとおく
と、

【００３０】

【数５】 となる、但し、Ｔは転置行列を示す。よって、

【００３１】

【数６】 を計算することにより、視線による注視点Ｐを算出する
ことができる。

【００３２】次に、点Ｐ（ｘ０，ｙ０，ｚ０）は操作者
の顔面を基準とした相対的な座標値であるため、頭部位
置検出系である座標軸を絶対的な３次元座標に変換する
必要がある。その座標軸はＸ軸、Ｙ軸、Ｚ軸とし、図９
（ｂ）に示す。

【００３３】この図９（ｂ）に示すように、この座標軸
の変換には頭部の回転と平行移動が必要となる。いま、
ｘ′軸に対するＸ軸、Ｙ軸、Ｚ軸の方向余弦をＣ₀ 、Ｃ
₁ 、Ｃ₂ 、ｙ′軸に対するＸ軸、Ｙ軸、Ｚ軸の方向余弦
をＣ₃ 、Ｃ₄ 、Ｃ₅ 、ｚ′軸に対するＸ軸、Ｙ軸、Ｚ軸
の方向余弦をＣ₆ 、Ｃ₇ 、Ｃ₈ とし、次に頭部位置の中
の平行移動量分を（Ｘ１、Ｙ１、Ｚ１）とすると、

【００３４】

【数７】 となる。これが頭部位置座標も含めた絶対座標系におけ
る視線による注視点位置Ｗ（Ｘ２，Ｙ２，Ｚ２）位置と
なる。

【００３５】ここで、図１０は操作者がＨＭＤ８を装着
し視線により対象物をシンボルとして登録している様子
を示す図である。図１０（ａ）は、視線によるポインタ
により対象となるものの中心位置を設定しているところ
を示す図であり、ポインタ画像はＨＭＤ画面上に投影さ
れた画像が今覗いている空間上の３次元位置に見ること
ができるために、対象物の中にあたかも入ったポインタ
を透かして見ているかのように像を重ねて見せることが
できる。そして、図１０（ｂ）は、その中心位置から現
在のポインタの位置までを半径とする半透明の球体を設
定しているところを示す図であり、この対象物の指示範
囲のおおよその位置を球状のシンボルによってその範囲
を規定するものとしている。以上説明したようにして、
シンボルの空間位置座標と半径データを登録すると同時
にデータ処理部１６内に予め記憶されているコマンドデ
ータの番号とをリンクさせる。

【００３６】次に図１４のフローチャートを参照して、
「実行モード」選択時の動作について詳細に説明する。
空間座標中心位置（ｘ，ｙ，ｚ）と半径（ｒ）を取り込
み（ステップＳ１１）、コマンド設定フラグがｏｎの部
分だけ球状シンボルの閉ループ領域を作成し（ステップ
Ｓ１２）、ポインタの表示を視線の移動に対応して行う
（ステップＳ１３）。次いでポインタが球状シンボルの
閉ループ領域の内側である場合には（ステップＳ１
４）、球状シンボルの表示を行い（ステップＳ１５）、
瞬き検出した場合には（ステップＳ１６）、球状シンボ
ルとリンクしているコマンドの取り出しを行い（ステッ
プＳ１７）、コマンドデータをインタフェース処理部に
転送し（ステップＳ１８）、実行終了の場合には（ステ
ップＳ１９）、シーケンスを終了する（ステップＳ２
０）。一方、上記ステップＳ１４にてポインタが球状シ
ンボルの外側である場合や上記ステップＳ１６で瞬きを
検出した場合、又は上記ステップＳ１９で実行終了でな
い場合には上記ステップＳ１３に戻り、上記動作を繰り
返す。

【００３７】尚、図１５はデータ処理におけるデータフ
ォーマット構造を示す図であり、左表には番号と各番号
に対応するコマンド及びコマンド設定フラグのｏｎ／ｏ
ｆｆの状態が、右表には対象物の空間座標中心位置と半
径が示されている。

【００３８】このように「実行モード」選択時には、操
作者がＨＭＤ８を装着した状態において、シンボルとし
て登録した対象物を自分の回りから選び出し視線を向け
ることにより、頭部位置検出処理部１４と視線検出処理
部１０により操作者の頭部の位置と傾き、両眼の視線方
向を検出し、空間座標演算処理部１５により操作者がそ
の時点で見ている空間座標位置を求める。

【００３９】そして、データ処理部１６では、その空間
座標位置データを基にＨＭＤ８にポインタ像を表示させ
るために、表示処理部１７にその画像データ位置を転送
し、表示処理部１７では、その位置に相当する表示画面
位置に表示ポインタを表示させる。また、それと並行に
データ処理部１６では上記登録モードにおいて登録され
ているコマンドのシンボルの空間位置中心座標と半径デ
ータより、現在のポインタが球状シンボルの領域内にあ
るか否かを判定している。もし、その領域内にあれば、
上記表示処理部１７にシンボル位置座標とその半径デー
タを転送し、表示処理部１７はその位置に半透明の球状
のシンボルを表示する。

【００４０】よって、操作者はこのシンボルを見てそれ
が登録された対象物であることを確認することができ
る。この状態の時、操作者がこのシンボルに登録されて
いるコマンドを実行させたいならば、眼を閉じる事で実
行を開始することができる。この処理は視線検出器９で
検出する瞳の反射信号が瞬きにより遮られ、入力信号が
無くなることを利用しておき、前述の瞬き検出処理部１
１で検出する。

【００４１】また、通常の無意識に行う瞬きと区別する
ために操作者の片目による瞬きを利用する。この場合、
右目による瞬きが実行スイッチに相当し、左目の瞬きは
キャンセルスイッチとすることができる。その他、右目
によりプラス方向の動作開始スイッチとし、左目はマイ
ナス方向の開始スイッチとするなどの割当が可能とな
る。この実行開始動作によりデータ処理部１６では、そ
の信号を受けて現在のシンボルとリンクしているコマン
ド番号を取り出し、そのコマンド番号に記憶されている
コマンドデータをインターフェース処理部１８より転送
し、被制御装置１９にコマンドを送ることでリモートコ
ントロールによる操作を行う。

【００４２】そして、図１１（ａ）は操作者がＨＭＤ８
を装着し視線により対象物のシンボルを探している様子
を示す図であり、「登録モード」を選択して登録したと
きと同じ方向から見た状態を示し、図で対象となるもの
の領域内に視線によるポインタが位置している状態であ
る。さらに、図１１（ｂ）は上記登録モードで登録した
物を別の方向から見た状態を示し、視点の十字型ポイン
タが表示されている様子を表している。また図１１
（ｃ）はポインタが領域内に入った状態でシンボルが選
択されている様子を示し、対象物が登録されたシンボル
であることが判る。

【００４３】以上説明した第１の実施例では、先ずコマ
ンドを実行するためのシンボルやアイコン等のＧＵＩ設
計をせずに、その場ですぐにシンボル設定やコマンド登
録ができ、登録や変更などの操作を非常に簡単に短時間
で行うことが可能になる。

【００４４】そして、３次元的にシンボルを空間配列す
ることができ、視点を見易い方向に変えたり、自分の回
りの空間にシンボルを配置することができるために、一
般的な２次元画面上のシンボル画面の様な位置の重なり
を気にする必要もなく、また本実施例ではシンボルが重
なったとしても人間の空間的位置認識の能力により不便
にならずに、多くのシンボルを登録することが可能とな
る。

【００４５】さらに、人間の空間認知の能力を利用しコ
マンド等の指示情報を機械系へ入力することができるよ
うになり、誰でも迅速且つ正確な入力位置の選択が可能
な指示制御装置を提供することが可能となる。

【００４６】尚、本実施例の各構成は前述したものに限
定されることなく、種々の改良・変更が可能であること
は勿論である。例えば図１６はシースルー型のＨＭＤ８
の改良例における光学系の配置と、該ＨＭＤ８の内部に
組み込まれた視線検出器９の改良例を示す図であり、上
記光学系のハーフミラー部が凹面鏡型のハーフミラー
と、ＬＣＤの像をリレー光学系を使って眼の網膜に投影
している点が大きく異なる構成となっている。

【００４７】さらに、上記頭部位置検出処理部１４とし
ては、磁気センサ方式の他に超音波の発振ソースと受信
マイクを３個づつ使い、音波の伝達遅延時間差により角
度変位や位置を検出する位置検出方式や、その他に機械
的に何本かのアームをリンクしてＨＭＤ８にリンクし、
各リンク部の回転角を検出することによりリンク部のベ
ースに対するリンク先端のＨＭＤ８の位置を検出するブ
ームアーム方式による位置検出処理部とすることもでき
る。

【００４８】また、上記視線検出器９においては、赤外
線反射方式ではなく、ＨＭＤ８の内部に顔の筋電位を測
定する電極を設け、その信号で視線の向きを測定するＥ
ＯＧ法（眼電位測定法）等を利用する事もできる。ま
た、両手等が自由に使える状態であれば、視線方式の代
わりに手を使った３次元マウスとそのスイッチ等を利用
することもできる。

【００４９】次に本発明の第２の実施例に係る指示処理
装置について説明する。図１７は第２の実施例に係る指
示処理装置の構成を示す図であり、図１８は図１７の指
示処理装置を更に具現化した構成を示す図である。

【００５０】これら図１７，１８に示すように、第２の
実施例は第１実施例中の表示処理系に相当する部分が大
きく変更されている。即ち、表示処理系に当る部分にお
いて、内部バス２９上にデジタルデータを８出力のアナ
ログ信号に変換するＤＡＣ３８が接続されており、該Ｄ
ＡＣ３８からのアナログ信号のうち３出力をレーザ偏向
器１００の為に使用している。このレーザ偏向器１００
は半導体レーザ（ＬＤ）１０１のレーザ光を偏向ミラー
１０２により反射偏向する機構により頭部位置より投光
する方向を制御するものである。そして、この機構は偏
向ミラー１０２内平面の直交する２軸に対する回転軸を
３つのボイスコイルモータ（ＶＣＭ）１０４ａ，ｂによ
り駆動する。

【００５１】次に図２０（ａ），（ｂ）は第２の実施例
の動作機構の概略図である。図２０（ａ），（ｂ）に示
すように、偏向用ミラー１０２はベース板部１１０から
バネ１０７でミラー下面中央部を引張られ支持部材１０
６により下方に固定されている。また、そのバネ引張り
部分を中心とする正三角形の頂点部分にボール状の球軸
受１１１を設け、ＶＣＭ１０４と連結されている。つま
りベ―ス板部１１０を支点とした３つのＶＣＭ１０４
ａ，ｂ，ｃのアームによる並行リンク方式ステージとな
り、その操作面にミラー１０２が設置されている。よっ
て、この３つのＶＣＭ１０４ａ，ｂ，ｃによりミラー面
１０２は２軸方向の回転運動をすることができ、レーザ
光を自由に偏向することが可能となる。また、ＶＣＭ１
０４ａ，ｂはＤＡＣ３８の３出力のアナログ信号をＶＣ
Ｍドライバ１０３ａ，ｂで受け、その出力信号により駆
動される。尚、図１９は上記レーザ偏向器１００と視線
検出器９をメガネフレーム１０５を取り付けた状態を示
す図である。

【００５２】以下、第２の実施例に係る指示処理装置の
動作を詳細に説明する。第２の実施例も第１実施例と同
様に３つの動作モードで構成されるが、ここでは特徴の
ある点についてのみ説明する。操作者が図１９に示すよ
うなメガネ型レーザポインティング装置を装着し、対象
物とする物を見るときに、メガネフレーム１０５に取り
付けられた視線検出装置９により両眼の視線方向を検出
する。この時、頭部位置を検出し、空間座標演算処理部
１５で対象物の座標位置を求めることができる。しかし
ながら、操作者の注視点と指示制御処理装置の取り込ん
でいる座標位置が同じであることを確認するために、レ
ーザ偏向器１００を制御してレーザ光を注視点に投光す
る。視線検出処理装置により取り込まれた視線方向デー
タよりレーザの投光方向を求め、その注視点に一致する
偏向角に相当する電圧値をＤＡＣ３８を通しＶＣＭドラ
イバ１０３ａ，ｂ，ｃにより３つのＶＣＭ１０４ａ，
ｂ，ｃを制御する。こうして操作者は対象物を見ると同
時に、その注視点位置にポインティングされたレーザ光
により位置を確認することができる。

【００５３】また、第１の実施例と同様に、シンボルの
「登録モード」選択時には、その中心座標の設定の次に
は半径座標の設定となる。このときレーザ偏向器により
レーザ光は中心座標よりポインティング位置座標を半径
とする円を描く、操作者はその円を確認しながら適当な
大きさの円を設定することができる。よって、「実行モ
ード」のときにも同様に、視線を示すレーザ光が登録さ
れたシンボル内に入るとレーザ光は前記登録された中心
座標を中心としその半径の円を描き、現在登録されたシ
ンボル内にポインタがあることを確認できる。

【００５４】以上説明したように、第２の実施例によれ
ば、操作者は第１の実施例のようなＨＭＤを装着せずに
メガネ型のフレームを使用することで広い視野に亘った
観察や操作が可能となり、より小型で計量且つ解放感が
得られる。更には構成部の処理装置においてもＧＣＲＴ
Ｃのようなグラフィック画像生成関連の処理系が不要に
なり装置が簡素化され安価なものとなる。

【００５５】次に第３の実施例に係る指示処理装置につ
いて説明する。第３の実施例の構成は第１の実施例とほ
ぼ同じであるため、以下の説明では先に示した図２及び
図３を適宜参照し、同一内容のものは同一符号を用い
る。

【００５６】先ず図２１に示すように、本実施例では、
「実行モード」選択時には操作者がＨＭＤ８を装着して
視線により対象物としたいシンボルを探す。このとき、
頭部位置検出処理部１４と視線検出処理部１０とにより
操作者がＨＭＤ８を透過して見ることができる視野角内
に存在し、且つ既にコマンドが登録されてあるシンボル
に対してはデータ処理部１６に対象物の空間座標中心位
置を出力する。データ処理部１６では、そのシンボル位
置座標を中心に、ｙ′ｚ′平面上において、ｙ′方向と
ｚ′方向の各々に半径の１／２だけ離れた座標位置を４
点（以下、枠表示位置データと称す）を定めて、表示処
理部１７にそのデータを出力して高輝度の枠を表示させ
る。

【００５７】そして、図２２に示すように、シンボル
“１０２”，“１０４”〜“１０７”，“２０２”〜
“２０３”，“２０５”〜“２０７”は高輝度表示、即
ち操作者に何が選択可能なシンボルかを提示している状
態になっている。そして、操作者が頭部を移動させる
と、当然の事ながら頭部位置検出部１４が作動し可視部
分の変化に対応して高輝度の枠が表示されるシンボルも
変化する。そして、図２２の例示で頭部を見上げる方向
に傾けると、シンボル“００３”〜“００７”，“１０
２”，“１０４”〜“１０７”が高輝度表示されること
になる。シンボルの選択は、頭部位置検出部１４と視線
検出処理部１０により操作者の頭部の位置と傾き、両眼
の視線方向を検出し、空間座標演算処理部１５で操作者
が観察している空間座標位置を求める。そして、データ
処理部１６では、その空間座標位置を基に登録モードで
既に登録されているコマンドのシンボル空間位置中心座
標と半径データにより、視線位置がシンボルの領域内に
有るか無いかを判定する。そして、もし領域内に有れ
ば、表示処理部１７に枠表示位置データを転送し、表示
処理部１７では、その映像をブリンク（点滅）表示させ
る。尚、第１実施例と同様に、この状態で選択してシン
ボルに登録されているコマンドを実行したければ目を閉
じることで実行開始することができる。

【００５８】ここで、図２３は第３の実施例による「実
行モード」選択時の動作を示すフローチャートである。
この第３の実施例では、空間座標中心位置（ｘ，ｙ，
ｚ）と半径（ｒ）の取り込みをコマンド設定フラグがｏ
ｎのデータのみ行い（ステップＳ２１）、空間座標中心
位置（ｘ，ｙ，ｚ）と半径（ｒ）により枠表示位置デー
タを作成する（ステップＳ２２）。次いで、可視部分の
枠データの高輝度表示を頭部の移動に対応して行い（ス
テップＳ２３）、ポインタの表示を視線の移動に対応し
て行う（ステップＳ２４）。次いでポインタが枠表示位
置データの内側である場合には（ステップＳ２５）、枠
データのブリンク表示を行う（ステップＳ２６）。次い
で、瞬きを検出した場合には（ステップＳ２７）、枠表
示データとリンクしているコマンドの取り出しを行い
（ステップＳ２８）、コマンドデータをインタフェース
処理部に転送する（ステップＳ２９）。こうして実行終
了の場合には（ステップＳ３０）、シーケンスを終了す
る（ステップＳ３１）。一方、上記ステップＳ２５でポ
インタが枠表示位置データの外側である場合や上記ステ
ップＳ２７で瞬きを検出しなかった場合、又は実行終了
で無い場合には上記ステップＳ２３に戻り、前述の動作
を繰り返す。

【００５９】尚、図２４はデータ処理におけるデータフ
ォーマット構造を示す図であり、左表には番号と各番号
に対応するコマンド及びコマンド設定フラグのｏｎ／ｏ
ｆｆの状態が、右表には対象物の空間座標中心位置と半
径が示されている。

【００６０】以上説明したように、第３の実施例では、
操作者の頭部位置の移動に伴って可視範囲にありコマン
ドが登録されているシンボルには高輝度の枠が表示され
る為、それが選択可能な対象物であることを容易に確認
することができる。

【００６１】次に第４の実施例に係る指示処理装置につ
いて説明する。第４の実施例は、前述の第１の実施例に
おけるＨＭＤ８又は第２実施例のレーザポインティング
方式の装置のインターフェース部分に有線でない送受信
機能を付加したものである。この他の構成については、
ほぼ第１の実施例と同様であるため、以下の説明では先
に示した図２，３を適宜参照し、同一内容のものには同
一符号を用いることとする。

【００６２】この第４の実施例は、被制御装置７に対し
ての指示データの出力をＨＭＤ８内に組み込んだ赤外線
等のリモコン装置により送信するもので、前述した実施
例において、被制御装置９とインターフェース処理部１
８との間に接続された有線でのネットワークを不要とし
たものである。

【００６３】そして、図２５はレーザ方式のポインティ
グ装置に赤外線方式送信部を内蔵した例を示す図であ
る。この動作に関しては「初期化モード」、「登録モー
ド」、「実行モード」の３つがある。先ず「登録モー
ド」選択時の動作については、前述の実施例と全く同じ
である。そして、「初期化モード」選択時においては、
前述の第１実施例、第２実施例においてはＲＳ２３２Ｃ
コマンドデータを受信していたのに対して、赤外線方式
の受信部より赤外線のコマンドデータを受信することが
可能となる。よって、一般の赤外線方式のリモコン制御
機器により制御される装置でも、そのリモコンの送信光
信号を受信し記憶することができる。

【００６４】また、「実行モード」選択時の動作につい
ても第１、第２実施例とほぼ同じである。即ち、操作者
は視線により対象物を選択するとＨＭＤ８の表示には図
１１（ａ）に示すように選択した対象物の周りに球状の
アイコンが表示される。次いで、操作者は右目により瞬
きを行い指示をする。これを受けて、瞬き検出処理部１
１、データ処理部１６が動作し、インターフェイス処理
部１８が指示データに対応した制御信号を生成し、赤外
線送信部よりコマンドデータを出力する。ＨＭＤ８のリ
モコンは赤外線の信号を被制御装置に対して出力し、被
制御装置１９は指示データに対応した動作を行う事にな
る。尚、本実施例の送受信装置は赤外線方式によるもの
に限定されることなく、例えば超音波方式のリモコンシ
ステムや無線方式のシステムでも構成することが可能で
ある。

【００６５】以上説明したように、第４の実施例によれ
ば、赤外線送受信部を内蔵したことでネットワーク等有
線の機能等が無くなり取り扱いが楽になる。また、通常
のＶＴＲ等の家電製品等もそのリモコン送信部からの送
信光信号を受信し記憶することにより被制御装置の対象
とすることができる。よって、従来の家電製品も視線に
よる制御が可能となり、その操作も操作パネルのつまみ
に対応したコマンドを割り付けておけば、その操作した
いポイントを注目するだけで操作ができ、非常に操作が
楽になる。

【００６６】次に第５の実施例に係る指示処理装置につ
いて説明する。第５の実施例は視線による注視点で対象
物を選択するのではなく、選択する対象物は常に操作者
の両眼の中間位置を始点とした法線方向にあると仮定し
設定するものである。

【００６７】そして、図２６は第５の実施例に係る指示
処理装置の構成を示す図であり、磁気センサ１２の出力
が頭部位置検出処理部１４に入力されると、初期設定時
における絶対座標軸（Ｘ軸、Ｙ軸、Ｚ軸）からの頭部の
位置（両眼の中心）のずれと顔面に張り付いた形で移動
する３軸（ｘ′軸、Ｙ′軸、Ｚ′軸）がそれぞれ絶対座
標軸とが作る角度が空間座標演算処理部１５に出力され
る。そして、ｘ′軸自体が法線方向となるから、これに
絶対座標軸からのずれを加算して視線方向を示す絶対座
標軸上の式を空間座標演算処理部１５で作成する。さら
に、データ処理部１６では直線の式を満たすような座標
を持つ対象物の中から最も操作者に近い対象物が選択さ
れたと認識し、対応する指示データをインターフェイス
処理部１８に出力し、該インターフェイス処理部１８は
被制御装置１９に対しての送信を行う。

【００６８】また、図２７は第５の実施例に係る指示処
理装置を更に具現化した構成を示す図である。同図の磁
気センサ装置３２は図２６の磁気センサ１２と、その出
力をＡＤ変換したデータを作成するまでの内容を一つの
ブロックとして示したものである。そして、ＳＩＯ３１
から磁気センサ装置３２に対しての矢印は初期設定時等
に必要となるであろうコマンド類の出力を意味するもの
である。さらに、磁気センサ装置３２と被制御装置１９
とは図中のＳＩＯ３１を介して接続し、入力データ、対
象物と指示データ等のテーブル類はメモリ３３内に格納
されている。

【００６９】視線検出装置３６はスイッチのオンオフ等
の為の瞬きの検出を行う為のもので、図２６の視線検出
器９とその出力をＡＤ変換し、瞬きの検出を行う瞬き検
出部１１をまとめて一つのブロックとして表したもので
ある。この出力はＰＩＯ３５を介して内部バス２９に接
続されメモリ３３やＣＰＵ３０の入力となる。

【００７０】さらに、図２６の空間座標演算処理１５、
データ処理部１６の機能は、メモリ３３に格納されたデ
ータをＣＰＵ３０が処理することで実現する。実際の操
作の為には法線方向がどこを指し示しているかを知るこ
とが必要となるが、このための方法としてレーザ光によ
り対象物を照らす方法とＨＭＤの画面上にマークを出す
方法とがある。

【００７１】次に図２８は法線方向にレーザ光を照射す
る場合のメガネ型レーザポインティング装置の構成を示
す図である。レーザ光発光部と瞬き検出の為の視線検出
器が取り付けられている。また、図２９（ａ）はＨＭＤ
８に図２９（ｂ）の指標マーク２８を表示する場合の構
造を示したものである。図２９（ｂ）に示す指標マーク
２８は固定でよいため、ＨＭＤ８の上面にマークを張り
付けて置けば良い。共に視線検出器９は両眼に必要とな
る。尚、瞬きの意味するところは前述の第１の実施例と
同様である。

【００７２】以下、本実施例の動作について説明する。
本実施例の動作はこれまでの実施例と同様に「初期化モ
ード」、「設定登録モード」、「実行モード」の３つの
モードに基づくものである。先ず「初期化モード」で
は、磁界ソース１３と磁気センサ１２の位置関係の校正
により基準点（絶対座標の原点）を設定する。そして、
「設定登録モード」では、既に登録されている対象物の
指示データから操作に必要なものを選択し、対象物の絶
対座標値をテーブルの中に書き込むことを行う。対象物
の選択は常に法線方向の物となるため、対象物の三次元
座標の確定のためには角度を変えて２回対象物を指し示
すことで行う必要がある。そして、２回の動作で得られ
た２つの直線を示す式から対象物の３次元座標値を計算
し、対応する指示データの番号に格納する。そして、こ
れを必要な対象物の分だけ繰り返す。

【００７３】さらに、「実行モード」ではレーザ光、若
しくは指示マークにより対象物を選択し瞬きを行うと、
頭部位置検出処理部１４では基準点からのずれとｘ′軸
（法線方向となる）と基準となる３軸との角度を算出す
る。そして、空間座標演算処理部１５では頭部位置検出
処理部１４の出力より操作者の両目の法線方向の直線を
基本座標軸上の直線の式として作成する。データ処理部
１６では作成した直線の式を満たす対象物から操作者に
最も近い位置にある対象物が選択されたとして指示デー
タをインターフェイス処理部１８を介して被制御装置１
９に出力する。

【００７４】以上説明したように、第５の実施例によれ
ば、対象物の選択方向を法線方向に限定することによ
り、操作者に注視点を知らせる為の処理がレーザ光を利
用した場合にはレーザ発光部を駆動させるための動力部
と制御が不要となり、表示面にマークを出す場合にはマ
ーク表示の為の処理が不要になるといった効果がある。

【００７５】次に第６の実施例に係る指示処理装置につ
いて説明する。図３０は第６の実施例に係る指示処理装
置の構成を示す図である。第６の実施例はモード切替等
のスイッチの操作により、外界に見えている操作パネル
等のスイッチ類を具象化してＬＣＤ２１上に表示し、外
界の像が全く見えない状態にしても被制御装置１９のス
イッチの操作をできるようにしようとするものである。

【００７６】これは、処理の都合により表示画面の映像
と外界の像の合成画面ではなく、表示図面の映像のみを
表示部の画面として表示しておきたい時などに使用する
ものである。例えば、シミュレーション等を行う時に操
作パネル等の操作をしながらシミュレーションの結果を
表示部の画面いっぱいの映像で確認したい時に有効な手
段となる。ＬＣＤ２１の画面を表示部全体に表示するモ
ードをシミュレーションモードと呼ぶことにする。ＬＣ
Ｄ２１は全体に黒を表示する表示画面には外界の像のみ
が表示される。従って、制御装置内の表示画面の表示内
容を格納するフレームメモリ２０１の黒を示すデータが
格納されている部分に外界の像が表示される。

【００７７】次に図３１（ａ）はシミュレーションの結
果像を、図３２（ｂ）は被制御装置１９の操作パネルを
示す図である。操作に必要なスイッチは操作者に見えて
いる必要があるため、表示画面の一部は外界の操作パネ
ルが見えている必要がある。

【００７８】このために、フレームメモリ２０１の内容
を図３２（ａ）のようにすると、図３２（ｂ）のように
操作パネル２０４乃至２０７は見る事ができるが、シミ
ュレーション結果の全てを見ることはできなくなる。

【００７９】かかる問題を解決するために本実施例では
以下のようにする。即ち、先ず予め操作に必要なスイッ
チ類を選び出し登録を行う。そして、スイッチの登録は
外界の見える状態で登録モードに設定し、視線によりス
イッチを選択し、選択した事を示すポインタが表示され
た後、視線をＬＣＤ２１の画像を表示したときに置いて
おきたい位置に移動し瞬きすることで行う。これを必要
な分だけ実行する。この操作で一つの表が作成され、制
御装置は既に外界の像として登録されているスイッチの
位置とシミュレーションモード時の位置の対応付けが行
われる。この表は液晶パネルの位置と指示データの番号
が対となっているもので、シミュレーションモードとな
っているときに、データ処理部１６はこの表を検索して
指示データを作成する。そして、対応付けの行われたス
イッチ画像２０４´乃至２０７´はＬＣＤ２１のフレー
ムメモリ２０１の対応する位置に画像データとして格納
される。図３２（ｂ）の状態を「ノーマルモード」と称
し、モード切換スイッチ２０２は図に示す位置にあるも
のとする。そして、視線等によりスイッチをオンにする
とシミュレーションモードに切り替わり、以降は外界が
見えなくとも操作バネルのスイッチの操作が可能とな
る。モード切換スイッチはノーマルモードの時はシミュ
レーションスイッチとなり、シミュレーションモードの
ときはノーマルモードスイッチとなる。

【００８０】以上説明したように第６の実施例によれ
ば、処理の都合上、外界の像が全く見えない状態であっ
ても被制御装置のスイッチの操作を行うことが可能とな
る。次に第７の実施例に係る指示処理装置について説明
する。第７の実施例は、１つのスイッチにセレクタスイ
ッチなどの複数の機能を持たせたものを採用し、当該ス
イッチに対しての対応を行うものである。このような複
数の機能を持つスイッチは、その機能の数だけ実際のス
イッチの周囲に仮想的にスイッチを設定して登録を行う
ことで、第１の実施例でも実現は可能であるが、仮想的
に設定した場所に目印となるものが無かったり、被制御
装置の操作パネル上の実際のスイッチが密集していて仮
想的なスイッチの設定が不可能な場合が考えられる。本
実施例では、そのような問題を解消することができる。

【００８１】即ち、第７の実施例では、複数の機能を持
つスイッチを選択した場合、表示画面内にスイッチの持
つ複数の機能の呼称等の表示を必要なだけ行い、操作者
に選択したスイッチの機能を判らせると共に、この表示
に対して視線を移動し、瞬きをすることでスイッチ操作
を行うことを特徴とするものである。

【００８２】尚、本実施例では第１の実施例と同様に機
能ブロック図として図２を使用して以下の説明を行う。
そして説明の都合上、被制御装置のスイッチで複数の機
能を持つものでも最大８つの機能しか持たないものとす
る。

【００８３】ここで、図３３はデ―タ処理部１１５のコ
マンドデータのフォーマットを示す図であり、コマンド
位置番号の欄に複数の機能を実現するための指示データ
を対応する番号の表示内容の欄に画面に表示する文字等
のコードを格納する。

【００８４】そして、実際の密集したスイッチ図自体は
本実施例の本質ではないため、図３４（ａ）には８つの
機能を持つスイッチ２１０を１つだけ示している。更
に、図３４（ｂ）は視線が移動しスイッチ２１０を選択
したことにより現れた表示２０９を示す図である。この
ように、図３３に示すコマンドデータのフォーマット
中、表示内容の番号は図３４（ｂ）の１から８に対応し
た場所にのみ表示されることで制御処理の簡単化を図っ
ている。従って、例えば図３３の番号“００２”のスイ
ッチが選択された場合には図３４（ｃ）に示すような表
示２１１となる。

【００８５】ここで、本実施例の動作モードには「初期
化モード」、「設定登録モード」、「実行モード」があ
るが、「初期化モード」と「設定登録モード」は第１の
実施例と同じであるため説明は省略する。

【００８６】そして、「実行モード」は概ね同じである
が次の点が第１の実施例と異なる。即ち、先ず操作者は
視線を移動し操作したいスイッチに視線を移動する。そ
して、空間座標演算処理部１１４で計算された視線の注
視点の座標値によりデータ処理部１６で図３３のテーブ
ルを検索し、該当するスイッチが登録されているか判断
する。いま、図３４（ｄ）に示すように、操作者は番号
“００３”に対応するスイッチ２１２を注視したものと
する。かかる場合、視線の注視点を示すポインタ２０８
はスイッチ２１２上にある。更に“ＬＶＬ１”に設定し
たい場合は、図３４（ｅ）に示すように、視線によりポ
インタ２０８を移動すれば、データ処理部１６は視線の
移動の向きと移動量からどの機能を選択してかを判断
し、コマンド位置番号１の指示データをインターフェー
ス処理部１８に出力する。

【００８７】スイッチが選択された後は選択されたスイ
ッチの周囲に表示された仮想のスイッチまでの視線の移
動量のみで図３３のコマンド位置番号との対応付け行う
ことで、仮想的に表示スイッチの場所に重なって他の登
録されたスイッチが存在しても誤って指示データを選択
することはない。

【００８８】以上説明したように、第７の実施例によれ
ば、図３３に示したフォーマットの形式をとり、スイッ
チの複数機能を記憶し、スイッチが選択されたときの複
数の機能を表示する場所をスイッチの周囲の特定の位置
に限定することで、複雑なＧＵＩ処理を必要とせず、ス
イッチが密集しているなどの状況に左右されずに複数の
機能を仮想的なスイッチとして実現できる。また、スイ
ッチの意味も表示できるようにることで、操作者が不慣
れな者でも何のスイッチかを確認しながら作業が可能と
なるため勘違い等による操作ミスを防げることや、被制
御装置の周囲が暗くスイッチが明確に見えない状況でも
作業を行うことができる。

【００８９】次に第８の実施例に係る指示処理装置につ
いて説明する。第８の実施例の構成は、前述した第１の
実施例とほぼ同じであるため、以下の説明では図２，３
を適宜参照し、同一内容については同一符号を用いるこ
ととする。この第８の実施例は、実行ボタンを押してい
る間だけ有効となる形式（例えばロボットを操作すると
き、前進ボタンを押している間だけロボットが前進し、
前進釦から指を離すと前進が止まる）の場合の操作性を
良くしたものである。

【００９０】ＨＭＤ８内表示の任意の位置に［ ］等の
マーク２１４を表示し、頭部の向きを変え、実行ボタン
２１３をこのマーク２１４に重ねるようにし、重ねてい
る間は実行ボタン２１３が押されていると判断すること
で、繰り返し同じスイッチに対して瞬きを続けることを
防ぐとともに、スイッチを操作している間でも視線位置
を自由に移動できることが可能となる。本実施例の形式
を持つスイッチは図３３に示した指示データを格納する
テーブルの実行形式コードの欄に“１”を格納しておく
ことで識別を行うことにする。ＨＭＤの表示面のどの位
置にマーク２１４を表示するかは初期化モードの時に行
うことにする。これ以外の初期化モードの動作と設定登
録モードの動作は第１の実施例と同様である。

【００９１】先ず「初期化モード」選択時のマーク２１
４の位置の設定については、第１実施例で示した初期化
の動作の後、自動的にマーク２１４の設定モードに入
り、視線検出校正用の画面がＨＭＤ上に再び現れる。操
作者は、このポイントの中から設定したい位置を選択
し、瞬きをすることで位置が決定される。

【００９２】次に、図３５（ａ），（ｂ）を参照して、
「実行モード」選択時の動作について説明する。「実行
モード」では、先ず操作者は視線により該当スイッチを
注視する。次いで、操作者はスイッチを注視してまま頭
部を動かしスイッチをマーク２１４の中に移動する。頭
部位置検出処理部１１３の出力と視線検出処理１０９の
出力より、空間座標演算処理部１１４において視線方向
がマーク２１４内に入ったと判断すると、データ処理部
１１５は被制御装置に対して指示命令をインターフェー
ス制御部１１７を介して送信し続ける。そして、一度ス
イッチの位置がマーク２１４内に入ると以降は視線をス
イッチから外しても頭部を動かさない限りスイッチの機
能は有効となる。さらに、位置検出部で頭部の移動を検
出し、スイッチがマーク２１４外に出たと判断したとき
にデータ処理部１１５は被制御装置１１８に対しての指
示データの処理を取り止める。

【００９３】以上説明したように、第８の実施例によれ
ば、連続的に押し続けるようなスイッチの操作が、瞬き
を続けるなどの操作をすることなしに容易に操作するこ
とが可能となる効果がある。また、初期化の時のマーク
の設定については第１実施例に示した初期化の動作の
後、マークの設定を行うモードに自動的に入ることと
し、任意の方向を注視し瞬きした位置に設定される等の
方法もある。

【００９４】以上詳述したように、本発明の指示処理装
置によれば、コマンドを実行するためのシンボルやアイ
コン等のＧＵＩ設計をせずに、その場で直ぐにシンボル
設定やコマンド登録ができるため、登録や変更などの操
作を非常に簡単に短時間で行うことができる。そして、
３次元的にシンボルを空間配列することができ、視点を
見易い方向に変えたり自分の周りの空間にシンボルを配
置することができるため、一般的な２次元画像上のシン
ボル画面のような位置の重なりを気にする必要もない。
さらに、シンボルが重なったとしても人間の空間位置認
識の能力により不便にならずに多くのシンボルを登録す
ることが可能である。

【００９５】

【発明の効果】本発明によれば、マン・マシンインター
フェースにおける機械系の設計をより簡易なものとし、
更に人間の空間認知の能力を利用しコマンド等の指示情
報を機械系へ入力することが出来るようにして、入力操
作を誰でも迅速に誤りなく、更に熟練度を必要としない
で直感的に入力位置の選択が可能な指示制御装置を提供
することができる。

【図面の簡単な説明】

【図１】本発明の指示処理装置の概念図である。

【図２】本発明の第１実施例に係る指示処理装置の構成
を示す図である。

【図３】第１の実施例の指示処理装置を更に具現化した
構成を示す図である。

【図４】第１の実施例におけるシースルー型のＨＭＤ８
の基本的な原理図である。

【図５】第１の実施例における頭部空間座標の磁気セン
サ１２の動作原理を示す図である。

【図６】第１の実施例における視線検出器９の動作原理
を示す図である。

【図７】第１の実施例における視線検出器９の構成を示
す図である。

【図８】第１の実施例における校正時のＨＭＤ８とその
表示画面を示す図である。

【図９】（ａ）は視線処理装置による座標の計算につい
ての概略図、（ｂ）は頭部位置検出系である座標軸を絶
対的な３次元座標に変換した場合の座標軸を示す図であ
る。

【図１０】第１の実施例において、操作者がＨＭＤ８を
装着し視線により対象物をシンボルとして登録している
様子を示す図である。

【図１１】（ａ）は操作者がＨＭＤ８を装着し視線によ
り対象物のシンボル探している様子を示す図、（ｂ）は
前記登録モードで登録した物を別の方向から見た状態を
示す図、（ｃ）は（ｂ）の対象物のシンボル探している
様子を示す図である。

【図１２】第１の実施例による「設定登録モード」に基
づく動作を示すフローチャートである。

【図１３】第１の実施例の「設定登録モード」選択時の
データ処理におけるデータフォーマット構造を示す図で
ある。

【図１４】第１の実施例による「実行モード」に基づく
動作を示すフローチャートである。

【図１５】第１の実施例の「実行モード」選択時のデー
タ処理におけるデータフォーマット構造を示す図であ
る。

【図１６】（ａ）は第１の実施例のシースルー型のＨＭ
Ｄ８の改良例における光学系の配置を示す図で、（ｂ）
は該ＨＭＤ８の内部に組み込まれた視線検出器９の改良
例を示す図である。

【図１７】第２の実施例に係る指示処理装置の構成を示
す図である。

【図１８】第２の実施例の指示処理装置を更に具現化し
た構成を示す図である。

【図１９】第２の実施例において、レーザ偏向器１００
と視線検出器９をメガネフレーム１０５を取り付けた状
態を示す図である。

【図２０】第２の実施例の動作機構の概略図である。

【図２１】第１の実施例において、実行モードで操作者
がＨＭＤ８を装着し視線により対象物としたいシンボル
を探す様子を示す図である。

【図２２】第３の実施例において、操作者に何が選択可
能なシンボルかを提示している状態を示す図である。

【図２３】第３の実施例による「実行モード」の動作を
示すフローチャートである。

【図２４】第３の実施例の「実行モード」選択時のデー
タ処理におけるデータフォーマット構造を示す図であ
る。

【図２５】第４の実施例のレーザ方式のポインティグ装
置に赤外線方式り送信部を内蔵した様子を示す図であ
る。

【図２６】第５の実施例に係る指示処理装置の構成を示
す図である。

【図２７】第５の実施例の指示処理装置を更に具現化し
た構成を示す図である。

【図２８】第５の実施例において、法線方向にレーザ光
を照射する場合のメガネ型レーザポインティング装置の
構成を示す図である。

【図２９】（ａ）はＨＭＤ８に指標マーク２８を表示す
る場合の構造を示す図、（ｂ）は指標マークを示す図で
ある。

【図３０】第６の実施例に係る指示処理装置の構成を示
す図である。

【図３１】（ａ）はシミュレーションの結果の像、
（ｂ）は被制御装置１９の操作パネルを示す図である。

【図３２】（ａ）はフレームメモリ２０１の内容を示
し、（ｂ）はシミュレーションモードスイッチの様子を
示し、（ｃ）はノーマルモードスイッチの様子を示す図
である。

【図３３】第７の実施例のデ―タ処理部１１５のコマン
ドデータのフォーマットを示す図である。

【図３４】第８の実施例における機能スイッチの様子を
示す図である。

【図３５】第８の実施例における機能スイッチの様子を
示す図である。

【符号の説明】

１…指示処理装置、２…空間座標検出処理部、３…表示
処理部、４…データ処理部、５…入力指令処理部、６…
インターフェース処理部、７…被制御装置。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 操作者が入力手段を介して入力した指示
   に対応した制御又は処理を行う被制御装置に指令する指
   示処理装置において、 上記操作者の注目する空間上の座標位置を非接触で検出
   する空間座標検出処理手段と、 上記操作者が注目している位置を当該操作者に対して視
   覚的にマーク表示する表示処理手段と、 上記操作者の入力指令の操作を処理する入力指令処理手
   段と、 上記被制御装置に伝える予め記憶された複数の指示デー
   タに空間上の座標位置の対応付けをして、その対応関係
   を記憶し、上記空間座標検出処理手段より入力された空
   間座標位置よりその指示データを検索し、上記入力指令
   処理手段より指示が入力されたときに上記指示データを
   出力するデータ処理手段と、 上記データ処理手段より出力された指示データを上記被
   制御装置に出力するインタフェース処理手段と、を具備
   することを特徴とする指示処理装置。