JP6982656B2 - 眼で操作するアイポインティングシステム - Google Patents

Description

本発明は、測定システムに関し、具体的には、測定作業を行いながら測定データの記録や編集を容易に行うための測定システムに関する。

ワークを測定機で測定した結果はコンピュータ等の外部機器に転送され記録されるようになっている。そのための測定システムが種々提案されている（例えば、特許文献１、２、３）。例えば、図１に測定システムの一例を示す。

図１においては、ワークＷをデジタルマイクロメータ１０で測定している。デジタルマイクロメータ１０とコンピュータ８０とは無線または有線で通信接続されている。
ユーザがマイクロメータ１０でワークＷを測定し、データ転送ボタン１１を押す。すると、測定値がマイクロメータ１０からコンピュータ８０に転送され、コンピュータ８０が測定値を記録していく。
なお、データ転送ボタン１１は、マイクロメータ１０上の押しやすいところにあってもよいし、あるいは、フットスイッチを利用してもよい。フットスイッチように足で操作できれば、手はワークＷとマイクロメータ１０をつかんだままでよいので、便利である。

マイクロメータ１０からコンピュータ８０へ転送された測定値は自動的に記録されていくが、その測定値がどのワークのどの箇所に対応しているものであるか整理されていなければならない。
例えば図１のように５つの段差をもつワークＷの場合を考える。
太い方から順番に測定し、さらにひとつのワークＷにつき測定を５回繰り返すように測定手順が決まっているとする。この測定手順をコンピュータ８０に予め登録しておき、測定者は決められた順番通りに測定を進めていく。すると、自動的に整理された測定データが記録されていく。このような測定システムにより、極めて高い作業効率を実現できるし、測定者にとっては身体的にも精神的にも負担が軽い作業となる。

実開平５−５９５９７号公報 特開２０１２−４８３７７号公報 特開２０１５−１０６２９９号公報

実際の測定作業にあっては、誤操作が必ずあるのであり、データの取消しや再測定が必要になってくる。
測定手順や測定箇所を飛ばしてしまうこともあるし、データ転送ボタン１１の操作ミスもあり得る。このような場合、測定者がコンピュータ８０を操作して、データを取り消したり、編集したりすることになる。すなわち、一旦ワークＷとマイクロメータ１０から手を離し、コンピュータ８０のキーボードかマウスを操作しなければならない。コンピュータ８０が手元ではなく少し離れたところにある場合には、数歩歩くという動作も必要である。

ワークＷやマイクロメータ１０から手を離したり、体を移動させたりという動作があると、作業の連続性が断たれてしまい、作業効率がとたんに悪くなる。そのため、想定したほどには作業効率のアップが図れないという問題がある。
また、測定者にとっても面倒な作業であり、身体的にも心理的にも負担が大きい。ちなみに、フットスイッチを利用してコンピュータ８０を操作することも考えられるが、これだけでは複雑な操作は難しい。
音声コマンドも考えられるが、工場などでは騒音が避けられないので、認識率が低く、むしろ誤操作が増えるおそれもある。フットスイッチや音声コマンドだけではコンピュータ８０の複雑な操作をハンズフリーで行うのは難しい。

そこで、本発明の目的は、コンピュータの複雑な操作をハンズフリーで行えるユーザインターフェースを提供することにある。
また、本発明の目的は、利便性が高く、高効率な測定作業を支援する測定システムを提供することにある。

本発明のアイポインティングシステムは、
ユーザの顔に装着されてユーザの眼の動きでユーザの視界中のコマンドの選択を認識するアイポインティングデバイスと、
ＧＵＩ画像データをユーザに提供するホストコンピュータと、
前記ホストコンピュータから与えられるＧＵＩ画像を画面に表示するモニタと、を備えるアイポインティングシステムであって、
前記アイポインティングデバイスは、
ユーザの眼を撮像するように配置されたアイカメラと、
前記アイカメラで撮像された眼の画像であるアイ画像に基づいて、眼の動きからコマンド入力操作を認識するアイ画像解析部と、
ユーザの前方であってユーザに見えている外界の実景を撮像する外部カメラと、
ユーザの視界に実景とオーバーレイするようにＧＵＩ（グラフィカルユーザインターフェース）画像を投影するプロジェクター部と、を有し、前記外部カメラで撮像した実景の画像と、前記アイ画像解析部で認識した眼の動きと、を対比し、実際の実物の任意の領域あるいは部位に対して予め割り当てられたコマンドを選択操作するものであって、
前記アイポインティングデバイスと前記ホストコンピュータとが通信接続され、前記ＧＵＩ画像データが前記プロジェクター部からユーザの視界に投射され、
前記モニタには、対象物および／または前記対象物のうちの対象箇所が表示され、
ユーザが前記モニタの画面に表示された前記対象物および／または前記対象物のうちの対象箇所を眼の動きのコマンドで選択すると、前記ホストコンピュータは、視線の位置とモニタ画面の表示内容とを対比して、ユーザが意図する前記対象物および／または前記対象物のうちの対象箇所を特定する
ことを特徴とする。

また、本発明のアイポインティングシステムは、
ユーザの顔に装着されてユーザの眼の動きでユーザの視界中のコマンドの選択を認識するアイポインティングデバイスと、
ＧＵＩ画像データをユーザに提供するホストコンピュータと、を備えるアイポインティングシステムであって、
前記アイポインティングデバイスは、
ユーザの眼を撮像するように配置されたアイカメラと、
前記アイカメラで撮像された眼の画像であるアイ画像に基づいて、眼の動きからコマンド入力操作を認識するアイ画像解析部と、
ユーザの前方であってユーザに見えている外界の実景を撮像する外部カメラと、
ユーザの視界に実景とオーバーレイするようにＧＵＩ（グラフィカルユーザインターフェース）画像を投影するプロジェクター部と、を有し、前記外部カメラで撮像した実景の画像と、前記アイ画像解析部で認識した眼の動きと、を対比し、実際の実物の任意の領域あるいは部位に対して予め割り当てられたコマンドを選択操作するものであって、
前記アイポインティングデバイスと前記ホストコンピュータとが通信接続され、前記ＧＵＩ画像データが前記プロジェクター部からユーザの視界に投射され、
さらに、
実際の対象物のなかの対象箇所に対して対象箇所コマンドが予め設定されており、
ユーザが実際の対象物のなかの対象箇所を眼の動きのコマンドで選択すると、前記ホストコンピュータは、前記外部カメラで撮像された画像の画像認識と視線の位置とを対比して、ユーザが意図する対象箇所を特定する
ことを特徴とする。

測定システムの一例を示す図である。 第１実施形態に係る測定システムの全体構成を例示する図である。 制御部の機能ブロック図である。 アイポインティングデバイスの動作を説明するためのフローチャートである。 アイポインティングデバイスの動作を説明するためのフローチャートである。 ユーザの視界の例であり、ＡＲ−ＧＵＩ画像の一例を示す図である。 アイポインタの一例を示す図である。 モニタ画面の表示例を示す図である。 変形例１の動作を説明するためのフローチャートである。 外部カメラの撮像画像のなかからモニタの部分だけを抜き出した図である。 変形例２を例示する図である。 変形例２を例示する図である。

本発明の実施形態を図示するとともに図中の各要素に付した符号を参照して説明する。
（第１実施形態）
本発明の測定システムに係る第１実施形態について説明する。
図２は、測定システムの全体構成を例示する図である。
測定システムは、測定工具１０と、コンピュータユニット１００と、を具備する。
測定工具１０としては、デジタル式の小型測定器であってもよい。デジタル式の小型測定器としては、デジタルマイクロメータ１０や、デジタルノギス、デジタルダイヤルゲージなどがある。図２中では、デジタルマイクロメータ１０を例示している。

デジタルマイクロメータ１０は、コンピュータユニット１００と無線接続されている。デジタルマイクロメータ１０は、データ転送ボタン１１を有し、データ転送ボタン１１が押されると、測定値をコンピュータユニット１００に送信する。

コンピュータユニット１００は、ホストコンピュータ１１０と、モニタ１２０と、アイポインティングデバイス２００と、を備える。
ホストコンピュータ１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭを有するいわゆるコンピュータである。ホストコンピュータ１１０は、デジタルマイクロメータ１０、モニタ１２０およびアイポインティングデバイス２００と無線で通信接続されている。
ホストコンピュータ１１０は、測定データ管理用プログラムを実行することにより、測定データの収集、記録、編集を行う測定データ管理装置としての役割を果たす。このとき、ホストコンピュータ１１０は、測定データ管理用のＧＵＩ（グラフィカルユーザインターフェース）をモニタ１２０を介してユーザ（測定者）に提供する。ＧＵＩ画面の例としては、例えば図１を参照されたい。
ＧＵＩ画面の操作方法については後述する。

モニタ１２０は、ホストコンピュータ１１０から与えられる表示データを画面に表示する。また、モニタ１２０はタッチディスプレイパネルであって、ユーザ（測定者）によるタッチ操作を受け付けて、ホストコンピュータ１１０に転送する。

アイポインティングデバイス２００について説明する。
アイポインティングデバイス２００は、大きく２つの機能を有している。
第１の機能は、小型画像投影機（プロジェクションディスプレー）としての機能である。
第２の機能は、視線トラッキングを利用するポインティングデバイスとしての機能である。
具体的に説明する。

アイポインティングデバイス２００は、メガネ部２１０と、表示ユニット部２２０と、アイカメラ２３０と、外部カメラ２４０と、制御部２６０と、を有する。
メガネ部２１０は、略Ｕ字状のフレーム部２１１と、フレーム部２１１に取り付けられたレンズ部２１２と、を有する。フレーム部２１１の両端には、耳に引っ掛かるつる部２１３が設けられている。つる部２１３を耳に引っ掛けてメガネ部２１０を顔に装着すると、眼の真ん前にレンズ部２１２がくるようになっている。

表示ユニット部２２０は、支持アーム部２２１と、プロジェクター部２２２と、を有する。
支持アーム部２２１の一端はフレーム部２１１の端部に固定されている。支持アーム部２２１の他端は、ユーザ（測定者）の顔の前方に向けて延伸するとともに、ユーザ（測定者）の眼の前に位置するように湾曲している。

そして、支持アーム部２２１の他端にプロジェクター部２２２が設けられている。プロジェクター部２２２は、画像を投射してユーザ（測定者）に情報を提示する。プロジェクター部２２２は、レンズ部２１２に画像を投影してもよいし、ユーザ（測定者）の網膜で結像するように画像を投射してもよい。

このようなプロジェクター部２２２は、例えば、レーザー光源と、マイクロミラーと、で構成できる。マイクロミラーを上下左右に往復駆動させ、レーザー光でフレームを描画する。
ユーザ（測定者）の眼（視界）には、外界の実物からの光と、プロジェクター部２２２からの投射光と、が同時に入ってくる。すると、ユーザ（測定者）の眼（視界）には、外界の実景と、プロジェクター部２２２からの画像情報と、がオーバーレイ（重畳）して見える。
プロジェクター部２２２は、ユーザ（測定者）の両方の眼に情報を提供してもよく、片方の眼だけに情報を提供してもよい。本実施形態では、測定者の片方の眼、ここでは、右眼に情報を提供するように設けられている。

アイカメラ２３０は、ユーザ（測定者）の眼を撮像するようにフレーム部２１１に取り付けられている。さらに、アイポインティングデバイス２００は、スイッチ２４２、マイク２４３、外部カメラ２４０を有する。
スイッチ２４２およびマイク２４３は、補助的な入力手段である。また外部カメラ２４０は、ユーザ（測定者）の前方を撮像し、すなわち、ユーザ（測定者）に見えている外界の実像を撮像する。

図３は、制御部２６０の機能ブロック図である。
制御部２６０は、通信回路部２６１と、画像データ生成部２６２と、アイ画像解析部２６３と、中央処理部２６４と、を有する。
通信回路部２６１は、アンテナを介して、ホストコンピュータ１１０とデータの送受信を行う。アイ画像解析部２６３は、アイカメラ２３０で撮像されるユーザ（測定者）の瞳の動きから、ユーザ（測定者）の視線がどこにあるか特定する。さらに、アイ画像解析部２６３は、アイカメラ２３０で撮像される瞳、眼、あるいはまぶたの動きから、選択操作の有無を判別する。

中央処理部２６４は、制御部２６０全体の動作を統合的に制御する。
アイポインティングデバイス２００の動作をフローチャートと画像例とを参照しながら説明する。
図４、図５は、アイポインティングデバイス２００の動作を説明するためのフローチャートである。
ユーザは、アイポインティングデバイス２００を使用するにあって、アイポインティングデバイス２００をメガネと同じように顔に装着する。すなわち、つる部２１３を耳に引っ掛けて、レンズ部２１２が眼を覆うようにする。

さて、アイポインティングデバイス２００の電源がオンになると（ＳＴ１０１）、アイポインティングデバイス２００は、ホストコンピュータ１１０と通信を確立し、ホストコンピュータ１１０からＡＲ−ＧＵＩ画像のデータを取得する（ＳＴ１１０）。本明細書では、アイポインティングデバイス２００によってユーザに提供される画像のことをＡＲ−ＧＵＩ（オーグメンティッドリアリティーグラフィカルユーザインターフェース）画像と称することにする。ＡＲ−ＧＵＩ画像データは、画像データ生成部２６２に一時バッファされる。

画像データ生成部２６２は、ＡＲ−ＧＵＩ画像をプロジェクター部２２２で表示できるようにビデオ信号に変換し、ビデオ信号をプロジェクター部２２２に出力する。すると、プロジェクター部２２２がＡＲ−ＧＵＩ画像を投影し（ＳＴ１２０）、ユーザの眼にＡＲ−ＧＵＩ画像が見えるようになる。

図６は、ユーザの視界の例であり、ＡＲ−ＧＵＩ画像の一例を示す。ユーザの視界には、自分の手、マイクロメータ１０、モニタ１２０といった実物が見えており、さらに、実物の実景に重畳してプロジェクター部２２２によって提供されるＡＲ−ＧＵＩ画像３００が見える。ＡＲ−ＧＵＩ画像３００として、例えば、データ編集用のツールのアイコン３０１−３０８が提供される。

ここでは、上下左右方向の方向指示アイコン３０１−３０４、実行（エンター）指示アイコン３０５、削除（デリート）指示アイコン３０６、オプションアイコン３０７、データ収集アイコン３０８がある。
方向指示アイコン３０１−３０４でモニタ１２０内のカーソルや選択セルを移動させる。実行指示アイコン３０５、削除アイコン３０６は、データの入力あるいは削除を行う。
オプションアイコン３０７は、例えば、モード切替えやアイコンセットの切替えを指示する。データ収集アイコン３０８は、マイクロメータ１０から測定データの取得を指示する。

図６においては、実物であるマイクロメータ１０あるいはモニタ１２０をユーザの顔の正面で捉えたとき、ＡＲ−ＧＵＩ画像３００は、視野の中央領域を避けて、視野の周辺に見えるように配置されている。ここではＡＲ−ＧＵＩ画像３００としての８つのアイコン３０１−３０８は、視野の周辺において円環状に配置されている。

さて、アイポインティングデバイス２００は、ＡＲ−ＧＵＩ画像３００を表示したら（ＳＴ１２０）、続いて、アイカメラ２３０を起動してユーザの眼を撮像する（ＳＴ１３０）。
アイカメラ２３０の撮像データはアイ画像解析部２６３に入力される。そして、アイ画像解析部２６３は、アイカメラ２３０の画像からユーザの瞳の動きを解析し（ＳＴ１５０）、ユーザの視線がどこを見ているか特定する。
（なお、ステップＳＴ１４０の説明を飛ばしたが、これは変形例１で後述する。）

中央処理部２６４は、ユーザの視線とＡＲ−ＧＵＩ画像３００の位置とを比べて、ユーザがＡＲ−ＧＵＩ画像３００を見ているか否かを判定する（ＳＴ１６０）。
ユーザの視線がＡＲ−ＧＵＩ画像３００から外れていてＡＲ−ＧＵＩ画像３００を見ていない場合（ＳＴ１６０：ＮＯ）、ユーザはＡＲ−ＧＵＩ画像３００以外の何か、例えばマイクロメータ１０やワークＷを見て測定しているということである。
この場合、ポインティングデバイスとしての役割はなく、フローの先頭（ＳＴ１１０）に戻ってＡＲ−ＧＵＩ画像３００の表示を継続する。

さて、ユーザの視線がＡＲ−ＧＵＩ画像３００に重なっていて、ユーザがＡＲ−ＧＵＩ画像３００を見ている場合について説明する（ＳＴ１６０：ＹＥＳ）。
ユーザがＡＲ−ＧＵＩ画像３００を見ているということは（ＳＴ１６０：ＹＥＳ）、測定ではなく、データの編集をしたいということである。
ユーザがＡＲ−ＧＵＩ画像３００を見ていると判定される場合（ＳＴ１６０：ＹＥＳ）、中央処理部２６４は、画像データ生成部２６２に視線の位置を通知する。すると、画像データ生成部２６２は、その視線の位置にアイポインタ３９０を表示する（ＳＴ２１０）。

図７にアイポインタ３９０の一例を図示する。
ここでは、アイポインタ３９０は目をモチーフにデザイン化されたものである。もちろん、アイポインタ３９０は、ただの矢印、単純な円や四角といったものでもよい。
ユーザは、選択したいツールのアイコン３０１−３０８を見るように眼球を視野の端の方へ動かす。するとアイポインタ３９０が現れるので、アイポインタ３９０が意図したアイコン３０１−３０８に重なるように眼を動かす。このとき、ユーザは眼球のみを動かせばよいのであって、図７に示すように両手はマイクロメータ１０とワークＷを掴んだままでよい。

ユーザは、アイポインタ３９０を意図したアイコン３０１−３０８に重ねておいて、選択操作を行う。
選択操作としては例えばウインクが例として挙げられる。その他、数秒間同じ場所（アイコン）を見つめることを選択操作としてもよい。
ユーザの選択操作（ウインク）は、アイカメラ２３０を介してアイ画像解析部２６３で検出される（ＳＴ２２０：ＹＥＳ）．
アイコン３０１−３０８が選択されたことはアイ画像解析部２６３から中央処理部２６４に通知される。中央処理部２６４は、アイコン選択時（ウインク時）の視線とＡＲ−ＧＵＩ画像３００の各アイコン３０１−３０８の位置とを比べて、ユーザが選択した操作を特定する（ＳＴ２３０）。図７の例でいえば、選択された操作は、カーソル（あるいは選択セル）を下方向へ移動させる操作である。

中央制御部２６０は、選択された操作を通信回路部２６１を介してホストコンピュータ１１０に通知する（ＳＴ２４０）。すると、ホストコンピュータ１１０は通知された操作を実行する。今回の例でいえば、モニタ１２０の画面中においてカーソル（あるいは選択セル）が下方向に移動する。

続いて、例えば、データを削除したければ同じように視線でアイポインタ３９０を移動させて削除アイコン３０６を選択すればよい。
データを上書きしたいのであればマイクロメータ１０のデータ転送ボタン１１を押してもよく、あるいは、眼でデータ収集アイコン３０８を選択してもよい。
いずれにしても、ユーザは、データの記録や編集にあたって、手をマイクロメータ１０およびワークＷから離す必要はなく、目を動かすだけである。データ編集に手を使わなくてよいのであるから測定作業の効率化が図られるのはもちろんである。
さらに、目を使うユーザインターフェースは直観的に誰にでもわかりやすく、操作が簡単である。例えば、同じ操作を複数のフットスイッチの組み合わせで行うとすれば、かなりの訓練が必要になるだろう。
本実施形態の測定システムは、誰にでも使える素晴らしく便利な測定環境を提供できる。

（変形例１）
第１実施形態においては、アイポインティングデバイス２００が提供するＡＲ−ＧＵＩ画像３００のアイコン３０１−３０８を視線で操作（選択）する例を説明した。
アイポインティングデバイス２００は、自己が提供するＡＲ−ＧＵＩ画像３００の画像データを保有しているわけであるから、アイカメラ２３０で取得する視線の方向をＡＲ−ＧＵＩ画像データに対比すれば、ユーザが選択したい操作（アイコン３０１−３０８）をＡＲ−ＧＵＩ画像３００のなかから特定できる。
ここで、変形例１としては、アイポインティングデバイス２００のアイポインタ３９０を利用して、モニタ１２０に表示された情報やツールを操作する例を説明する。

図８に例示するように、モニタ１２０画面にはワークＷのＣＡＤデータ、ワークＷ中の測定対象箇所、測定データなどが表示されている。そして、測定作業をしながら測定箇所の指定（あるいは指定の再設定）をしたいとする。
この場合、ユーザは、モニタ１２０の画面を見る。
図４のフローチャートに戻っていただいて、外部カメラ２４０により、ユーザの視界に相当する外界の画像が取り込まれている（ＳＴ１４０）。そして、視線解析（ＳＴ１５０）の結果、ユーザの視線がモニタ１２０画面上にあることが検出される（ＳＴ１７０：ＹＥＳ）。外部カメラ２４０により、ユーザの視界に相当する外界の画像が取り込まれているから（ＳＴ１４０）、中央処理部２６４は、画像認識により、モニタ１２０の位置を特定できる。
たとえば、太い黒枠の内側をモニタ１２０と認識させるようにしてもよい。

ユーザの視線がモニタ１２０上にある場合の処理動作を図９のフローチャートを参照しながら説明する。
ユーザの視線がモニタ１２０画面上にあると判定される場合（図４のＳＴ１７０：ＹＥＳ）、中央処理部２６４は画像データ生成部２６２に視線の位置を通知し、画像データ生成部２６２は、その視線の位置にアイポインタ３９０を表示する（ＳＴ３１０）。
図８にアイポインタ３９０の一例を図示する。
ユーザは、意図した測定箇所にアイポインタ３９０が重なるように眼球を動かす。そして、モニタ１２０画面上で所望の測定箇所にアイポインタ３９０が重なったところで選択操作（たとえばウインク）を行う。ユーザの選択操作（ウインク）はアイカメラ２３０を介してアイ画像解析部２６３で検出される（ＳＴ３２０：ＹＥＳ）。

選択操作が検出されると（ＳＴ３２０：ＹＥＳ）、中央処理部２６４は、選択操作時（ウインク時）の視線とモニタ１２０画面との位置関係を解析する（ＳＴ３３０）。
図１０は、外部カメラ２４０画像のなかからモニタ１２０の部分だけを抜き出したものである。
例えば、図１０に示すように、モニタ画面の左下隅を原点とし、モニタ画面の横方向にＸ軸（横軸）をとり、モニタ画面の縦方向にＹ軸（縦軸）をとる。
（ユーザがモニタ１２０に正対していない場合には必要に応じて台形補正などを行えばよい。）モニタ画面中における視線の位置（アイポインタ３９０の位置）を（ｘ，ｙ）とする。また、モニタ画面の横軸をＬ、高さをＨとする。
このとき、モニタ画面中の視線の位置は、（ｘ／Ｌ，ｙ／Ｈ）で表される。

中央処理部２６４は、このように得られた視線の位置（ｘ／Ｌ，ｙ／Ｈ）をホストコンピュータ１１０に通知する（ＳＴ３４０）。すると、ホストコンピュータ１１０は視線の位置（ｘ／Ｌ，ｙ／Ｈ）と、モニタ画面の表示内容と、を対比して、ユーザが意図する操作（コマンド）を特定する。
今回の例でいえば、モニタ画面中のＣＡＤデータで測定箇所Ｄが選択されたことを特定する。そして、ホストコンピュータ１１０は、指示された操作を実行したり、モニタ１２０の表示を更新したりする。

さらに、アイポインティングデバイス２００で選択する対象は、ＡＲ−ＧＵＩ画像３００やモニタ１２０上の画像だけに限らず、実際の実物の任意の領域や部位に割り当てられたコマンドであってもよい。
例えば、実際のワークＷ上に測定箇所コマンドを設定しておくとする。
ユーザが実際のワークＷ上の測定箇所を目で選択（見てからウインク）する。（外部カメラ２４０で撮像した画像を画像認識すれば、ワークＷのどの箇所が選択されたかわかる。コマンドが割り当てられた対象物については画像認識できるようにＣＡＤデータ（３ＤＣＡＤデータ）をホストコンピュータに予め記憶させておいてもよい。）
このように実際のワークＷ上で測定箇所を選択したうえで、データ転送ボタン１１を押す。あるいは、データ転送の操作もアイポインティングで行ってもよい。
このような測定作業の手順は自然であり、スムースで効率的な測定ができるようになる。

（変形例２）
次に、図１１を参照して変形例２を説明する。
図１１は、ポータブルアーム型（可搬性多関節形）の三次元測定機２０でワークＷを測定する様子の一例である。このようなアーム形三次元測定機２０にあっては必然的に両手で測定機２０を保持しながら測定作業を行うことになる。この場合、アイポインティングデバイス２００によって提供されるＧＵＩ画像３００およびアイポインタ３９０により、ハンズフリーのデータ編集が可能になる。したがって、ユーザは両手を測定機２０から離す必要はなく、効率よく測定作業を進めることができる。

ここで、第１実施形態においては視界の周辺寄りにＡＲ―ＧＵＩ画像３００が見えるようにしていた。
これに対し、変形例２においては、ワークＷの周囲にＡＲ−ＧＵＩ画像が見えるようにしている。例えば、外部カメラ２４０でユーザの視界を取り込み、画像認識によってワークＷの位置を特定する。そして、ワークＷの周辺にＧＵＩ画像３００を投影する。
これで、ユーザの視界には、ワークＷを囲むようにＧＵＩ画像が見えるようになる。

測定作業中、ユーザの視線はワークＷに注がれていることが多い。そして、ワークＷから少しだけ視線をずらすとアイポインタ３９０でＡＲ―ＧＵＩ画像３００を用いたデータ編集が可能になる。

また、図１１においては、編集ツールのアイコンだけではなくて、モニタ１２０に表示される表示データ、ここでは測定値のデータ（３０９）もＡＲ−ＧＵＩ画像３００として提供される。
これによりユーザはモニタ１２０の画面を見なくても測定作業を進行できるようになる。可搬性の中型測定機２０を使用するときには、ワークＷの測定箇所に応じてユーザ自身の立ち位置や姿勢も変わってくるため、いつもモニタ１２０が見えるとは限らない。
この点、モニタ画面の内容がＡＲ−ＧＵＩ画像３００として提供されれば、ユーザは、モニタ１２０やホストコンピュータ１１０の位置を気にすることなく、自由にポジションを変えながら測定作業を進めることができる。

また、図１２に示すように、大型の三次元測定機３０を操作するような場合、ユーザは、ジョイスティック等の操作盤３２だけを持ってワークＷに近づいて操作することがある。この場合、ユーザの立ち位置からはモニタ１２０やホストコンピュータ１１０が見えにくいことがある。
この点、アイポインティングデバイス２００によってＡＲ−ＧＵＩ画像３００が提供されるので、ユーザは、モニタ１２０やホストコンピュータ１１０の位置を気にする必要はなくなる。
なお、大型の三次元測定機３０の場合、測定プローブ３１の周囲にＧＵＩ画像が表示されるようにしてもよい。大型の三次元測定機３０の場合、プローブ３１が大きく動くことが多い。そして、ユーザはプローブ３１を目で追いかける。プローブ３１から少しだけ視線を動かすだけでアイポインタ３９０でＧＵＩ画像３００を操作できるようになると極めて便利である。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態の説明では、ユーザが視線でアイポインタ３９０を動かし、アイポインタ３９０をアイコンに重ねてツールを選択するとした。
このほか、例えば、眼の動きのパターンとコマンドとを対応付けておき、ジェスチャコントロールのように眼の動きでダイレクトにコマンド入力するようにしてもよい。例えば、視線を上から下、あるいは、右から左に動かすと、選択セルが移動したり、見つめたらモニタの表示を拡大／縮小したり、モニタの端の方に視線を移動させたら上下左右にスクロールするなどが考えられる。

本発明は視線を使ってアイポインタを動かすのであるが、人の視線は非常に素早く揺らぐものである。そこで、アイ画像解析部２６３でユーザ（測定者）の視線がどこにあるか特定するにあたっては、眼の動き検出の感度を下げたり、瞬間的な動きは無視する等のためのフィルタなどを組み込んでもよい。
また、選択操作としてのウインクを"まばたき"と混同しないように、"選択"の意図を持った意図的なウインクと生理的な眼の開閉（まばたき）とを区別するようにする。例えば、ウインクとまばたきとを区別するための判定閾値となる時間を設定するなどの方策が考えられる。

１０…マイクロメータ（測定機）、１１…データ転送ボタン、
２０…アーム形三次元測定機、
３０…三次元測定機、３１…プローブ、３２…操作盤、
８０…コンピュータ、
１００…コンピュータユニット、
１１０…ホストコンピュータ、
１２０…モニタ、
２００…アイポインティングデバイス、
２１０…メガネ部、２１１…フレーム部、２１２…レンズ部、２１３…つる部、
２２０…表示ユニット部、２２１…支持アーム部、２２２…プロジェクター部、
２３０…アイカメラ、
２４０…外部カメラ、
２４２…スイッチ、２４３…マイク、
２６０…制御部、
２６１…通信回路部、２６２…画像データ生成部、２６３…アイ画像解析部、２６４…中央処理部、
３００…ＡＲ−ＧＵＩ画像、
３０１−３０８…アイコン、
３９０…アイポインタ。

Claims (11)

1. ユーザの顔に装着されてユーザの眼の動きでユーザの視界中のコマンドの選択を認識するアイポインティングデバイスと、
   ＧＵＩ画像データをユーザに提供するホストコンピュータと、
   前記ホストコンピュータから与えられるＧＵＩ画像を画面に表示するモニタと、を備えるアイポインティングシステムであって、
   前記アイポインティングデバイスは、
   ユーザの眼を撮像するように配置されたアイカメラと、
   前記アイカメラで撮像された眼の画像であるアイ画像に基づいて、眼の動きからコマンド入力操作を認識するアイ画像解析部と、
   ユーザの前方であってユーザに見えている外界の実景を撮像する外部カメラと、
   ユーザの視界に実景とオーバーレイするようにＧＵＩ（グラフィカルユーザインターフェース）画像を投影するプロジェクター部と、を有し、前記外部カメラで撮像した実景の画像と、前記アイ画像解析部で認識した眼の動きと、を対比し、実際の実物の任意の領域あるいは部位に対して予め割り当てられたコマンドを選択操作するものであって、
   前記アイポインティングデバイスと前記ホストコンピュータとが通信接続され、前記ＧＵＩ画像データが前記プロジェクター部からユーザの視界に投射され、
   前記モニタには、対象物のうちの対象箇所が表示され、
   ユーザが前記モニタの画面に表示された前記対象物のうちの前記対象箇所を眼の動きのコマンドで選択すると、前記ホストコンピュータは、視線の位置とモニタ画面の表示内容とを対比して、ユーザが意図する前記対象物のうちの前記対象箇所を特定する
   ことを特徴とするアイポインティングシステム。
2. ユーザの顔に装着されてユーザの眼の動きでユーザの視界中のコマンドの選択を認識するアイポインティングデバイスと、
   ＧＵＩ画像データをユーザに提供するホストコンピュータと、を備えるアイポインティングシステムであって、
   前記アイポインティングデバイスは、
   ユーザの眼を撮像するように配置されたアイカメラと、
   前記アイカメラで撮像された眼の画像であるアイ画像に基づいて、眼の動きからコマンド入力操作を認識するアイ画像解析部と、
   ユーザの前方であってユーザに見えている外界の実景を撮像する外部カメラと、
   ユーザの視界に実景とオーバーレイするようにＧＵＩ（グラフィカルユーザインターフェース）画像を投影するプロジェクター部と、を有し、前記外部カメラで撮像した実景の画像と、前記アイ画像解析部で認識した眼の動きと、を対比し、実際の実物の任意の領域あるいは部位に対して予め割り当てられたコマンドを選択操作するものであって、
   前記アイポインティングデバイスと前記ホストコンピュータとが通信接続され、前記ＧＵＩ画像データが前記プロジェクター部からユーザの視界に投射され、
   さらに、
   実際の対象物のなかの対象箇所に対して対象箇所コマンドが予め設定されており、
   ユーザが実際の前記対象物のなかの前記対象箇所を眼の動きのコマンドで選択すると、前記ホストコンピュータは、前記外部カメラで撮像された画像の画像認識と視線の位置とを対比して、ユーザが意図する前記対象箇所を特定する
   ことを特徴とするアイポインティングシステム。
3. 請求項１または請求項２に記載のアイポインティングシステムにおいて、
   前記ホストコンピュータは、前記外部カメラで撮像された画像の画像認識と視線の位置とを対比してユーザが意図する前記対象箇所を特定した場合、前記特定された対象箇所に対して必要な操作をするのに用いる前記ＧＵＩ画像を実景にオーバーラップするように前記プロジェクター部に提供する
   ことを特徴とするアイポインティングシステム。
4. 請求項３に記載のアイポインティングシステムにおいて、
   前記特定された対象箇所に対して必要な操作をするのに用いる前記ＧＵＩ画像は、前記対象物のうちの前記対象箇所にオーバーラップするように投影される
   ことを特徴とするアイポインティングシステム。
5. 請求項１から請求項４のいずれかに記載のアイポインティングシステムにおいて、
   前記ＧＵＩ画像には、データの収集、記録、編集を行うツールのアイコン画像が複数含まれており、
   前記アイコン画像は、ユーザの視界の周辺に配置される
   ことを特徴とするアイポインティングシステム。
6. 請求項５に記載のアイポインティングシステムにおいて、
   前記アイコン画像を選択する場合に、
   ウインクによって選択操作する
   ことを特徴とするアイポインティングシステム。
7. 請求項５または請求項６に記載のアイポインティングシステムにおいて、
   前記アイコン画像を選択する場合に、
   数秒間見つめることによって選択操作する
   ことを特徴とするアイポインティングシステム。
8. 請求項５から請求項７のいずれかに記載のアイポインティングシステムにおいて、
   前記アイコン画像を選択する場合に、
   前記アイコン画像と視線の動きのパターンを事前に対応付けておき、
   眼の動きのパターンによって前記アイコン画像を選択操作する
   ことを特徴とするアイポインティングシステム。
9. 請求項１から請求項８のいずれかに記載のアイポインティングシステムにおいて、
   前記外部カメラで撮影した画像から、前記対象箇所として、
   測定プローブ、測定対象、および、前記測定対象の所定の領域あるいは部位、のうちの少なくとも１つを認識する
   ことを特徴とするアイポインティングシステム。
10. 請求項９に記載のアイポインティングシステムにおいて、
    前記ＧＵＩ画像には、測定データの収集、記録、編集を行うツールのアイコン画像が複数含まれる
    ことを特徴とするアイポインティングシステム。
11. 請求項９または請求項１０に記載のアイポインティングシステムにおいて、
    前記ＧＵＩ画像には、測定データの収集、記録、編集を行うツールのアイコン画像が複数含まれており、
    前記アイコン画像は、測定対象であるワークの周辺、または、測定プローブの周辺に配置される
    ことを特徴とするアイポインティングシステム。

Images