JPH0423027A - ウインドウ選択方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （概要） 人間と機械のインタフェースにおけるポインティングデ
バイスとして、ウィンドウシステムを用いる際のウィン
ドウ選択方式に関し、 作業用のウィンドウの切り替え時や、機能の変更時に、
キーボードから手を離す必要がないウィンドウ選択方式
を提供することを目的とし、ディスプレイを基準とする
座標系における頭の位置を測定する頭位置測定手段と、
頭の位置を基準とするローカル座標系における瞳孔の位
置を測定する瞳孔位置測定手段と、頭の位置と瞳孔の位
置とから視線の方向と起点を求めてディスプレイ画面上
における視点の位置を決定する視点位置決定手段と、決
定された視点位置をディスプレイ画面上にマークによっ
て表示する視点マーク表示手段とを備え、このマークに
よってウィンドウを指定して作業用ウィンドウの切り替
えを行うように構成する。

〔産業上の利用分野〕 本発明はコンピュータと人間のインタフェースに係り、
特にポインティングデバイスとしてウィンドウシステム
を用いる際におけるウィンドウ選択方式に関するもので
ある。

機械と人間のインタフェース、特にコンピュータと人間
のインタフェースのためのポインティングデバイスとし
ては、種々の形式のものが既に提案され、使用されてい
る。

なかでも、ディスプレイ表示画面上のウィンドウを指示
することによって、実行させようとする作業等を指定す
るウィンドウシステムは、操作が容易なため広く利用さ
れている。

このようなポインティングデバイスとしてのウィンドウ
選択方式は、人間が手を動かさないでも所要のポインテ
ィングを行うことができ、従ってコンピュータ操作時の
作業効率を向上し、コンピュータの人間のインタフェー
スを高めることができるものであることが要望される。

〔従来の技術） 従来、コンピュータと人間のインタフェースのためのポ
インティングデバイスとしては、マウスやデジタイザと
ウィンドウシステムとを組み合わせた形式のものが多く
用いられている。

第６図（ａ）、　（ｂ）は従来のウィンドウ選択方式を
示したものであって、（ａ）はウィンドウの表示を示し
、［有］）はマウスを示している。

マウスは、従来のポインティングデバイスの代表的なも
のである。第６図（ｂ）において４１はマウスを示し、
図示のような形状を有していて、これを片手で抑えて机
上等において２次元的に動かすことによって、元の位置
からどの方向にどれだけ動いたかを測定して、接続線４
２を介して測定値をリアルタイムに出力することができ
るものである。また、通常いくつかのスイッチ４３が付
属していて、これを操作することによって、所定の指示
を与えることができるようになっている。

ウィンドウシステムにおいては、第６図（ａ）に示され
るように、ディスプレイ画面４５上にい（つかのウィン
ドウ４６．．４６□、−・−を表示することができるよ
うになっている。この場合のそれぞれのウィンドウは、
コンピュータの一つの端末装置の画面に相当している。

従って、このようなウィンドウシステムを用いると、デ
ィスプレイ画面上にいくつかのウィンドウを表示するこ
とによって、１台のディスプレイによって、あたかも数
台の端末装置を用いているのと同等の操作を行うことが
できる。

すなわち、例えば第６図（ａ）のように３つのウィンド
ウ４６１．４６□、４６３を有するウィンドウシステム
の場合、°“ウィンドウ４６．ではソフトウェアのコー
ディングを行い、ウィンドウ４６□ではソフトウェアの
デバッキングを行い、ウィンドウ４６３ではソフトウェ
アをコンパイルする゛というような使い方を行うことが
できる。

またこの際、マウス４１を用いてディスプレイ画面上に
矢印４７等を描くことができる。この矢印４７は、画面
上においてマウスが動いた量に比例して動き、またマウ
スが動いた方向に動く。そして、矢印４７が表示されて
いるウィンドウ、例えば４６□を作業用のウィンドウと
して指定することができる。さらに、マウス４１に設け
られたスイッチ４３を操作することによって、指定され
ているウィンドウに対応する作業の機能を変更すること
ができるようになっている。

〔発明が解決しようとする課題〕

第６図（ａ）、　（ｂ）に示されたような、マウスとウ
ィンドウシステムだけを用いる従来の技術では、作業用
のウィンドウの指定を変更するためには、マウスを操作
しなければならない。また機能を変更するためには、マ
ウスのスイッチを操作しなければならない。

この場合、マウスの操作を行う際には、作業者がキーボ
ードから手を離すことになる。そのため、離した手をキ
ーボードのホームポジションに戻す際に、違うポジショ
ンに手をおくことがあるため、キーのミスタッチを生じ
て、作業能率が低下するという問題がある。

また、作業者が注視しているウィンドウを作業用ウィン
ドウと勘違いすることがあり、そのため操作ミスを生じ
るという問題があった。

本発明はこのような従来技術の課題を解決しようとする
ものであって、作業用のウィンドウを別のウィンドウに
切り替える場合や、機能を変更する場合に、キーボード
から手を離す必要がないウィンドウ選択方式を提供する
ことを目的としている。

〔課題を解決するための手段〕

本発明は第１図にその原理的構成を示すように、頭位置
測定手段１によって、ディスプレイを基準とする座標系
における頭の位置を測定し、瞳孔位置測定手段２によっ
て、頭の位置を基準とするローカル座標系における瞳孔
の位置を測定する。そして視点位置決定手段３によって
、測定された頭の位置と瞳孔の位置とから視線の方向と
起点を求めてディスプレイ画面上における視点の位置を
決定し、視点マーク表示手段４によって決定された視点
位置をディスプレイ画面上にマークによって表示するこ
とによって、このマークによってウィンドウを指定して
作業用ウィンドウの切り替えを行うものである。

この場合、頭位置測定手段１をホール素子等を用いた３
次元位置および方向センサからなるものとする。

また瞳孔位置測定手段２は、照射された赤外線の眼球か
らの反射等によって瞳孔位置を測定する。

さらに瞼開閉検知手段５を設けることによって、眼球か
らの反射の消失によって瞼の開閉を検知して、この瞼の
開閉がまばたきでないとき出力を発生し、この出力発生
時、視点マークによって指定されるウィンドウにおける
作業の機能を変更する。

この際、瞼開閉検知手段５においては、瞼の開閉が両眼
同時に行われないときまばたきでないと判定する。

［作用］ ディスプレイを基準とする座標系における頭の位置を測
定し、測定された頭の位置を基準とするローカル座標系
における瞳孔の位置を測定して、この頭の位置と瞳孔の
位置とから視線の方向と起点を求めることによって、デ
ィスプレイ画面上における視点の位置を決定することが
できる。そこで、この決定された視点位置をディスプレ
イ画面上にマークによって表示してウィンドウの指定を
行うことによって、マウスを用いてディスプレイ画面上
でマークを移動してウィンドウの指定を行うのと同様に
、作業用ウィンドウの切り替えが行われる。

この場合、頭の位置の測定は、ホール素子等を用いた３
次元位置および方向センサからなる頭位置測定装置を用
いることによって行われる。

また瞳孔位置の測定は、眼球に赤外線を照射し、照射さ
れた赤外線の眼球からの反射等によって瞳孔位置を測定
する瞳孔位置測定装置によって行われる。

さらに、眼球からの反射の消失によって瞼の開閉を検知
し、このときの瞼の開閉がまばたきでなかったとき出力
を発生するので、この出力によって、マウスのスイッチ
を用いて機能の変更を行う場合と同様に、視点マークに
よって指定されているウィンドウにおける、作業の機能
の変更が行われる。

この場合における瞼の開閉がまばたきでないことの判定
は、瞼の開閉が両眼同時に行われないときまばたきでな
いと判定することによって行われる。

〔実施例〕

第２図（ａ）、　（ｂ）は、本発明方式における処理の
流れを示したものであって、本発明のアルゴリズムを示
し、（ａ）は、作業用ウィンドウ切り替えの処理の流れ
を示し、（ｂ）は作業用ウィンドウの機能の変更の処理
を示している。

ウィンドウの指定を変更しようとする場合には、第２図
（ａ）に示すように、まず瞳孔の位置の測定値を求める
（ステップＳｌ）とともに、頭の位置の測定値を求める
（ステップＳ２）。次に、ステ・ノブＳ１とステップＳ
２で求められた値を用いて、ディスプレイ画面上におけ
る視線の位置すなわち視点を決定する（ステップ３３）
。ステップＳ３は、視線の方向と起点を検出しくステ・
ノブＳ３−１）、その視線がディスプレイ画面とどこの
位置で交わるかを検出する（ステップ３３−２）ことに
よって実行される。そして検出された視点の位置を特定
のマークによって画面上に表示する（ステップＳ４）こ
とによって、作業用ウィンドウの切り替えを行う（ステ
ップＳ５）。

瞳孔の位置を測定するステップは、瞳孔位置測定装置を
用いることによって実現することができる。

第３図は瞳孔位置測定装置の構成を示したものである。

瞳孔位置測定装置は、赤外線を照射するための赤外線Ｌ
ＥＤＩＩと、照射された赤外線の瞳孔１２からの反射光
を受ける受光素子１３とからなるセンサと、これらのセ
ンサを支持するセンサ固定具１４と、センサ固定具１４
を頭部に装着するノ＼ンド１５と、瞳孔位置検出処理ユ
ニツ１−１６とからなっている。瞳孔位置測定装置は、
瞳孔位置検出処理ユニット１６を除いた全体を、ノ＼ン
ド１５に装着して固定できるように構成されている。

瞳孔位置を測定する場合には、赤外線ＬＥＤ１１から赤
外線を照射して瞳孔１２に当て、瞳孔からの反射光を受
光素子１３で受ける。そして受光素子１３で受は取った
データによって瞳孔位置検出処理ユニット１６で処理を
行って、瞳孔の位置を検出する。

また、頭の位置を測定するステップは、ホール素子を用
いた３次元位置および方向センサ等を用いる頭位置測定
装置を使用することによって、実現することができる。

このようにして求められた瞳孔の位置の測定値と頭の位
置の測定値とを用いて、ディスプレイ画面上における視
点の位置を決定するステップＳ３は、次のようにして実
行される。

第４図は、視点位置の決定を説明する図である。

第４図において、Ｘ、Ｙ、Ｚは絶対座標系を示し、（Ｘ
ｏ、　Ｙｏ、　Ｚｏ　）はこの座標系における頭２１の
ローカル座標系ｘ、ｙ、ｚの原点、（Ｘ、、Ｙ、Ｚｌ）
はディスプレイ画面上における視点の位置である。

ステップＳｌの過程によって、頭のローカル座標におけ
る瞳孔２２の位置がわかる。また、両眼法の中心位置も
、頭のローカル座標上でわかる。

視線２４の方向を眼球２３の中心から瞳孔２２の方向と
し、起点を眼球の中心とすると、頭のローカル座標系に
おいて、両眼の視線の方向と起点がわかる。

一方、頭は動くので、頭のローカル座標系におけるディ
スプレイ２５の位置はわからない。そこで、ディスプレ
イ２５を基準とした絶対座標系Ｘ５Ｙ、Ｚを構成する。

頭の位置を測定するステップＳ２は、この絶対座標から
頭のローカル座標系の位置および方向を得るものである
。

頭のローカル座標系における視線の方向と起点の情報と
、絶対座標系からの頭のローカル座標系の位置および方
向の情報がわかれば、絶対座標系上の視線の方向と起点
がわかる（ステップ５３１）。そこで、視線を延長して
ディスプレイ画面上のどの点で交わるかを調べる（ステ
・７プＳ３−２）ことによって、視点の位置を決定する
。

ステップＳ４は視点の位置表示を行うものである。これ
は従来の、マウスを使用して動かした矢印に相当する。

ただし必ず表示が必要というわけではない。ステ・ノブ
Ｓ５は、マウスを用いた従来のウィンドウ切り替え方法
と同じである。

上述の処理を繰り返して行うことによって、第４図に示
されたディスプレイ２５上における視点位置の決定が、
リアルタイムに実行される。

作業用ウィンドウの機能を変更しようとする場合には、
マウスのスイッチの代わりに、瞼の開閉を利用する。

第２図（ｂ）は、作業用ウィンドウの機能変更の処理の
流れを示したものである。すなわち、まずステップＳｌ
ｌで、眼球反射の有無によって瞼の開閉を検出する。次
にそれがまばたき、すなわち瞼の開閉が両眼同時に行わ
れたものであるか否かをみて（ステップ３１２）、まば
たきでなかった場合だけ、機能の変更を行・）（ステッ
プ５１３）ようにする。

前述のように、瞳孔の位置の測定は眼球からの赤外線の
反射によって行われている。この場合、瞼を閉した状態
では、当然、眼球からの赤外線の反射はない。そこで瞼
の開閉を、眼球からの反射の有無で検出することができ
る。

しかしながら瞼の開閉は、平常、無意識に行われており
、瞼の開閉を機能の変更の目的に利用しようとする場合
には、自然の瞼の開閉すなわちまばたきと、意識的に行
う瞼の開閉とを区別する必要がある。

一般に、無意識に行われるまばたきは両眼同時に行われ
、片眼だけの場合はない。そこで機能の変更の目的に利
用するために意識的に瞼の開閉を行う場合には、片眼だ
けで行うことによって、無意識の場合の瞼の開閉とは区
別することができる。

第５図は本発明の一実施例の構成を示したものであって
、３１は頭の位置を測定する頭位置測定装置、３２は作
業者の瞳孔の位置を測定する瞳孔位置測定装置、３３は
制御部、３４はコンピュータ、３５はコンピュータのデ
ィスプレイである。

第５図において、頭位置測定装置３１はディスプレイ３
５を基準とする絶対座標系における作業者の頭の位置を
測定する。瞳孔位置測定装置３２は、作業者の頭を基準
とするローカル座標系における瞳孔の位置を測定する。

ディスプレイ３５はその画面上にコンピュータ３４の作
業用ウィンドウを表示する。制御部３３は頭位置測定装
置３１の測定値と、瞳孔位置測定装置３２の測定値とを
用いて、ディスプレイ３５の画面上における作業者の視
点を求めて、特定のマークによって表示する。作業者は
視線を動かしてディスプレイ３５の画面上における所望
のウィンドウ内にマークを位置させることによって、作
業用ウィンドウの切り替えが行われる。また制御部３３
は、瞳孔位置測定装置３２の測定値から作業者の意識的
な瞼の開閉を検知して出力を発生し、これによって作業
用ウィンドウの機能の変更が行われる。

〔発明の効果〕

以上説明したように本発明によれば、作業者の視線を調
べ、その視線と対応するウィンドウを調べることによっ
て、ウィンドウの切り替えを行い、意識的な瞼の開閉を
検出して機能の変更を行うようにしたので、作業用のウ
ィンドウを別のウィンドウに変更する場合や、機能を変
更する場合に、キーボードから手を放す必要がない。従
って本発明を用いれば、ウィンドウによるボインティン
グを容易にし、キー操作のミスを防止して作業効率を向
上させるとともに、コンピュータと人間のインタフェー
スをより高めることができる。

【図面の簡単な説明】

第１図は本発明の原理的構成を示す図、第２図（ａ）、
　（ｂ）は本発明の一実施例における処理の流れを示す
図、第３図は瞳孔位置測定装置の構成を示す図、第４図
は視点位置の決定を説明する図、第５図は本発明の一実
施例の構成を示す図、第６図（ａ）（ｂ）は従来のウィ
ンドウ選択方式を示す図である。 １は頭位置測定手段、２は瞳孔位置測定手段、３は視点
位置決定手段、４は視点マーク表示手段、５は瞼開閉検
知手段である。 本弁明の原理釣構成を示す図 第１図 本究明の一実施例の構成を示す図 第５図 （ａ） （ｂ） 本究明の一実遡例における処理の泥わを示す図１５バン
ド 瞳孔位Ｗ１測定装茜の構成空水す間 第３図 視点位ｒの決定を説明する図 第４図

Claims (5)

【特許請求の範囲】
1. （１）ディスプレイを基準とする座標系における頭の位
   置を測定する頭位置測定手段（１）と、該頭の位置を基
   準とするローカル座標系における瞳孔の位置を測定する
   瞳孔位置測定手段（２）と、 該頭の位置と瞳孔の位置とから視線の方向と起点を求め
   てディスプレイ画面上における視点の位置を決定する視
   点位置決定手段（３）と、 該決定された視点位置をディスプレイ画面上にマークに
   よって表示する視点マーク表示手段（４）とを備え、 該マークによってウィンドウを指定して作業用ウィンド
   ウの切り替えを行うことを特徴とするウィンドウ選択方
   式。
2. （２）請求項第１項記載のウィンドウ選択方式において
   、前記頭位置測定手段（１）が、ホール素子を用いた３
   次元位置および方向センサからなることを特徴とするウ
   ィンドウ選択方式。
3. （３）請求項第１項記載のウィンドウ選択方式において
   、前記瞳孔位置測定手段（２）が照射された赤外線の眼
   球からの反射によって瞳孔位置を測定するものであるこ
   とを特徴とするウィンドウ選択方式。
4. （４）請求項第３項記載のウィンドウ選択方式において
   、眼球からの反射の消失によって瞼の開閉を検知し該瞼
   の開閉がまばたきでないとき出力を発生する瞼開閉検知
   手段（５）を備え、該瞼開閉検知手段（５）の出力発生
   時、前記視点マークによって指定されるウィンドウにお
   ける作業の機能を変更することを特徴とするウィンドウ
   選択方式。
5. （５）請求項第４項記載のウィンドウ選択方式において
   、前記瞼開閉検知手段（５）が瞼の開閉が両眼同時に行
   われないときまばたきでないと判定することを特徴とす
   るウィンドウ選択方式。