JP6718460B2 - ヘッドアップ・ディスプレイを介する装置対話のための方法、システム、およびコンピュータ・プログラム - Google Patents

Description

本発明の実施形態はヘッドアップ・ディスプレイ（heads-up display）に関し、より詳細には、ヘッドアップ・ディスプレイ・ユーザと少なくとも１つの他の実体（entity）とのアイ・コンタクト（eye contact）に基づいて、ヘッドアップ・ディスプレイを介して装置と対話することに関する。

ヘッドアップ・ディスプレイ（ＨＵＤ）装置のユーザが対話する（例えば、一方から他方へファイルを転送する）ことを可能にするための一手法は、従来のｅメール、ＦＴＰ、テキスト・メッセージング、またはＵＳＢドライブ転送を使用することである。しかしながら、これらの方法は、マウス、キーボード、タッチ・スクリーンなどの精密な入力装置がないので、精密であることが難しいインターフェースでの多くの精密な操作を必要とするため、ＨＵＤの着用者（wearer）にとっては不便であり、時間がかかる。例えば、そのような精密な入力装置を用いずにＨＵＤ上でｅメールを送ることの困難を考慮されたい。近距離場通信（ＮＦＣ）技法は、潜在的には、他の従来の方法よりもユーザが活動化させやすいが、物理的近接を必要とするので、ユーザにとってやはり不便であることがある。例えば、２人の個人がファイルを転送することを望む度に頭に触れることは不便なことになる。

したがって本発明の課題はアイ・コンタクトを使用するヘッドアップ・ディスプレイを介するインターフェーシングを提供することである。

本発明の実施形態によれば、ヘッドアップ・ディスプレイを介する装置対話のためのシステムが、第１のヘッドアップ・ディスプレイを利用する第１の実体の視覚エリア（area of sight）を決定し、決定した視覚エリアの、少なくとも１つの第２の装置に対する少なくとも影響を検出したことに応答して、少なくとも１つの第１の装置と第１のヘッドアップ・ディスプレイとの間の対話を確立する。本発明の実施形態の一利点は、近距離場通信で必要とされる極近接を用いない従来の手法と比較して、低速または不便な操作数を削減することによって、ＨＵＤのユーザにとっての装置と対話する速度および単純さを改善することである。

本発明の別の実施形態によれば、第１のヘッドアップ・ディスプレイは第２の装置に結合され、対話を確立することは、第１のヘッドアップ・ディスプレイ上に第１の装置のインターフェースを提示することと、第１のヘッドアップ・ディスプレイに結合された第２の装置上の第１の実体の決定した視覚エリアまたは少なくとも１つのボイス・コマンドあるいはその両方に基づいて、提示したインターフェースを操作することと、提示したインターフェースの操作に基づいて第１の装置を制御することとを含む。そのような実施形態は、装置を手に持つことが不便、困難、または不可能である状況で操作するのに手を必要としないウェアラブルＨＵＤで、装置（例えば、ラップトップ、ワークステーション、タブレットなど）をより容易に制御する利点をもたらす。

いくつかの実施形態では、決定した視覚エリアの少なくとも影響を検出することは、（１）第１のヘッドアップ・ディスプレイに関連する、対応する装置の電磁的信号検出器で、第１の装置の少なくとも１つに関連する送信機から送信された電磁的信号を検出すること、または（２）第１の装置の少なくとも１つに関連する、対応する装置の電磁的信号検出器で、第１のヘッドアップ・ディスプレイに関連する送信機から送信された電磁的信号を検出すること、あるいはその両方を含む。

別の実施形態では、第１のヘッドアップ・ディスプレイは、第１の実体の視覚方向に沿って信号を送信するための放射源を含み、第１の装置のそれぞれが、信号を受信するための受信機を備える第２の装置のうちの対応する１つに関連付けられ、決定した視覚エリアの少なくとも影響を検出することは、第１の装置に関連する受信機で、第１のヘッドアップ・ディスプレイから送信された信号を検出することを含む。

さらに別の実施形態では、第１のヘッドアップ・ディスプレイはイメージ・キャプチャ装置をさらに含み、視覚エリアを決定することは、イメージ・キャプチャ装置を介して第１の実体の視覚エリアを追跡することと、追跡した視覚エリアの方向に信号を送信するように放射源の照準を定めることとを含む。

さらに別の実施形態では、第１の装置は、第２の実体によって利用される第２のヘッドアップ・ディスプレイを含み、少なくとも１つの第２の装置は、第１の実体および第２の実体の決定した視覚エリアの影響を受ける共通装置を含む。

本発明の実施形態は、前述とほぼ同じ方式でヘッドアップ・ディスプレイを介して装置と対話するための方法およびコンピュータ・プログラム製品をさらに含む。

一般には、様々な図中の同様の参照番号が、同様の構成要素を示すために使用される。

本発明の一実施形態の例示的環境の概略図である。 本発明の一実施形態による、アイ・コンタクトのための例示的視覚構成要素（sightcomponent）のブロック図である。 本発明の一実施形態による、視線追跡を容易にするための例示的コンタクト・レンズの概略図である。 本発明の一実施形態に従って対話する２つのヘッドアップ・ディスプレイ・システムのブロック図である。 本発明の一実施形態による、２つのヘッドアップ・ディスプレイ・システムが対話することのできる例示的方式を示す流れ図である。 本発明の一実施形態による、２つのヘッドアップ・ディスプレイ・システムの着用者間のアイ・コンタクトを確立する例示的方式を示す流れ図である。 本発明の一実施形態による、１対多関係で他のヘッドアップ・ディスプレイ・システムと対話するヘッドアップ・ディスプレイ・システムのブロック図である。 本発明の一実施形態による、ヘッドアップ・ディスプレイ・システムが１対多関係で他のヘッドアップ・ディスプレイ・システムと対話することのできる例示的方式を示す流れ図である。 本発明の一実施形態による、アイ・コンタクトを使用して中間知覚装置を介して対話するヘッドアップ・ディスプレイ・システムのブロック図である。 本発明の一実施形態による、アイ・コンタクトを使用して複数のネットワークド中間知覚装置を介して対話するヘッドアップ・ディスプレイ・システムのブロック図である。 本発明の一実施形態による、アイ・コンタクトを使用して知覚装置と１対１関係で対話するヘッドアップ・ディスプレイ・システムのブロック図である。 本発明の一実施形態による、カメラ・ベースのアイ・コンタクトを使用してヘッドアップ・ディスプレイ・システムと知覚装置との間のアイ・コンタクトを確立する例示的方式を示す流れ図である。 本発明の一実施形態による、収束放射源ベースのアイ・コンタクトを使用してヘッドアップ・ディスプレイ・システムと知覚装置との間のアイ・コンタクトを確立する例示的方式を示す流れ図である。

本発明の実施形態は、ＨＵＤユーザと少なくとも１つの他の個人または装置とのアイ・コンタクトに基づいて、ヘッドアップ・ディスプレイ（ＨＵＤ）を介して装置と対話するための技法を提供する。例えば、あるＨＵＤ装置から別のＨＵＤ装置にファイルを転送するために、あるＨＵＤ装置の着用者は、ファイルを送りたいという要望を示し、別のＨＵＤ装置の着用者は、ファイルを受信したいという要望を示し、着用者間でアイ・コンタクトが行われ、結果としてファイル転送プロセスが始まる。ＨＵＤ装置は、直接的に、または１つまたは複数の中間装置を介して、１つまたは複数の他のＨＵＤ装置と１対１または１対多関係で対話することができる。一シナリオでは、第１のＨＵＤユーザが、第２のユーザのＨＵＤに対するリモート・ネットワーク接続を有するローカル装置（例えば、同じ部屋内の装置）とアイ・コンタクトを行う（例えば、それを見る）ことによって、第１のＨＵＤユーザから離れた（例えば、別の都市内の）第２のＨＵＤユーザと対話することができる。さらに、ＨＵＤは、ＨＵＤ以外の装置とアイ・コンタクトを介して対話することができる。例えば、ＨＵＤ着用者は、装置上のセンサを見ることによって装置との対話を開始することができる。さらに、ＨＵＤ着用者は、カーソルを誘導するためにＨＵＤ着用者の注視（gaze）を使用して、ＨＵＤ上に提示されるポイント・アンド・クリック・インターフェースを有する装置（例えば、ラップトップ、タブレットなど）と対話することができる。

ＨＵＤを介して装置と対話する例には、ＨＵＤ（例えば、ウェアラブルＨＵＤ）と装置との間の以下の関係が含まれる。ファイル転送、音声通信（例えば、マイクロフォンを含むＨＵＤとスピーカとの間のセルフォン、インターネット呼出しなど）のための接続を開始すること、装置制御（例えば、ＨＵＤが装置を制御し、または装置がＨＵＤを制御する）、装置ステータスを閲覧すること、装置に関連するパブリック・メッセージ（例えば、「掲示板」）を閲覧すること、クライアント−サーバ関係（ウェアラブルＨＵＤは、クライアントまたはサーバのどちらかでよい）、ログイン／認証（例えば、記憶されたキー、バイオメトリクス（例えば、虹彩パターン）などを介する）など。

装置が、能動的または受動的にＨＵＤユーザまたは着用者からのアイ・コンタクトを検出することができる。例えば、装置はカメラを含むことができ、カメラからのイメージ・データを能動的に解析して、個人が装置を見ていると判定することができる。あるいは、装置は、受動的にＨＵＤ着用者からのアイ・コンタクトを検出することができる。例えば、装置は、ＨＵＤの着用者が装置を見ていることを示す集束信号をＨＵＤから受信することができる。

本発明の実施形態の一利点は、従来の手法と比較して、ＨＵＤのユーザにとっての装置と対話する速度および単純さを改善することである。例えば、ｅメールを使用するＨＵＤを介するファイル転送は、送信機と受信機の両方についてのＨＵＤによって提示されるユーザ・インターフェース（ＵＩ）で行われるべき多くの動作を必要とする。送信機または受信機あるいはその両方は、受信機アドレスを指定し、メール・クライアントにアクセスしてログインし、ダウンロードする添付ファイルを選択するなどのために動作を行わなければならない。本発明の一実施形態は対話を単純化する。ファイル転送は、ハンズ・フリーで実施することができ、したがってユーザが他の作業で忙しいときであっても行うことができる。

近距離場通信（ＮＦＣ）技法を使用する代替手法（例えば、電話間で情報を交換するために使用される「バンプ（bump）」）は、両方のユーザがＮＦＣ機能を備える装置を有し、そうした装置をその時に着用し、装置を使用するための時間および空いている手を有することを必要とする。さらに、ウェアラブルＨＵＤと共にＮＦＣ技法を使用することは、着用者が２つのＨＵＤ装置（例えば、眼鏡）と共にバンプすることを必要とし、それは不便であり、直感的ではない。本発明の実施形態は、ウェアラブルＨＵＤを介する、直感的で、ハンズ・フリーの、より高速で、かつ便利な対話方法を提供する。

本発明の実施形態についての例示的環境が図１に示されている。具体的には、環境は、１つまたは複数のヘッドアップ・ディスプレイ（ＨＵＤ）システム１１０、１つまたは複数のサーバ・システム１２０、１つまたは複数の知覚装置１３０、および１つまたは複数のリモート・システム１４０を含むことができる。ＨＵＤシステム１１０、サーバ・システム１２０、知覚装置１３０、およびリモート・システム１４０は、ネットワーク１２を介して通信することができる。ネットワーク１２は、任意の数の任意の適切な通信媒体（例えば、広域ネットワーク（ＷＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、インターネット、イントラネット、ハードワイヤ、ワイヤレス・リンクなど）によって実装することができる。

ＨＵＤシステム１１０はヘッドアップ・ディスプレイ４０を備え、ヘッドギア（例えば、ヘッド・マウント・ディスプレイ、ヘルメット・マウント・ディスプレイ、眼鏡など）、他のウェアラブル装置（例えば、コンタクト・レンズ、衣類など）、または対話型ユーザ・インターフェースを有する他の構成の形態でよい。ＨＵＤシステム１１０または知覚装置１３０あるいはその両方は、個人または装置あるいはその両方の間のアイ・コンタクトを確立するための視覚構成要素５０を備えることができる。視覚構成要素５０は、ＨＵＤシステム１１０内、ＨＵＤシステム１１０上、またはＨＵＤシステム１１０の近傍、あるいはそれらの組合せに配置してよい。あるいは、視覚構成要素は、関連するＨＵＤシステムから離れていてもよく、例えばネットワーク１２を介してＨＵＤシステムと通信することができる。さらに、任意の数の知覚装置１３０は視覚構成要素５０を含むことができる。ＨＵＤシステム１１０は、任意のグラフィカル・ユーザ・インターフェース（例えば、ＧＵＩなど）または他のインターフェース（例えば、制御ボタン、タッチ・センサ、視覚センサ、加速度計、マイクロフォンおよびボイス・コマンド・インターフェースなど）を提示して、ユーザからコマンドを受け取り、ユーザに情報を表示することができる。知覚装置１３０は通常、一体型ディスプレイが欠如しており、ユーザによって着用されないが、ディスプレイを含むことができ、またはユーザによって着用することができ、あるいはその両方である。

ＨＵＤシステム１１０、サーバ・システム１２０、知覚装置１３０、およびリモート・システム１４０は、少なくとも１つのプロセッサ２０、メモリ３０、または内部もしくは外部ネットワーク・インターフェースもしくは通信装置１０（例えば、モデム、ネットワーク・カード、Ｗｉ−Ｆｉ、ワイヤレス（例えば、３Ｇ、４Ｇなど）など）、あるいはそれらの組合せと、市販のソフトウェアおよびカスタム・ソフトウェア（例えば、ユーザ・インターフェース・ソフトウェア、ネットワーク・ソフトウェア、サーバ・ソフトウェアなど）とを含むことができる。好ましくは、サーバ・システム１２０は、ディスプレイまたはモニタと、任意選択の入力装置（例えば、キーボード、マウス、または他の入力装置）とを備える。

ＨＵＤシステム、サーバ・システム、知覚装置、またはリモート・システム、あるいはそれらの組合せは、以下で説明する本発明の実施形態の様々な機能（例えば、着用者の注視の方向を追跡すること、他からのアイ・コンタクトを検出すること、赤外線または他の信号を送信および受信することなど）を実施するための１つまたは複数のモジュールまたはユニット（例えば、視線モジュール、解析モジュール、信号モジュールなど）を含むことができ、任意の量のソフトウェアまたはハードウェア・モジュールまたはユニットあるいはその両方の任意の組合せによって実装することができ、プロセッサ２０による実行のために、ＨＵＤシステム、サーバ・システム、知覚装置、リモート・システム、または他のシステム（例えば、視覚構成要素５０）のメモリ３０内に常駐することができる。

本発明の一実施形態による例示的視覚構成要素５０が図２に示されている。特に、視覚構成要素５０は、他の装置（例えば、視線内、視覚円錐（cone of sight）内、視覚エリア内、またはＨＵＤシステムもしくはユーザの視野内の装置）に対して信号をそれぞれ送信および受信するための放射源２２０および検出器２３０を備える。視覚構成要素５０は視線トラッカ２２６をさらに備えることができる。放射源２２０は、視線トラッカ２２６と共に動作することのできる広域放射源２２２または集束放射源（focused emitter）２２４あるいはその両方を含むことができる。

広域放射源２２２は、従来型または他の電磁（ＥＭ）放射源２２２（例えば、赤外線光源）によって実装することができ、任意のエリアまたはフィールド（例えば、円錐、全方向など）内にＥＭ信号を放射することができる。集束放射源２２４は、集束され、コリメートされ、または他の細い、有向電磁（例えば、赤外線）光源（directed electromagnetic source）（例えば、レーザ、光学的にコリメートされた光源（optically collimated source）など）でよい。センサ２３４は、カメラ、または従来型または他の光検出器によって実装することができる。検出器２３０は、例えば別のＨＵＤの放射源２２０から、検出器に入射する信号を検出する。検出器２３０は、カメラ２３２またはセンサ２３４（例えば、従来型または他の光検出器）あるいはその両方を使用して実装することができる。

本発明の一実施形態によれば、カメラ２３２を備えるＨＵＤシステム１１０または知覚装置１３０は、システムまたはシステムの着用者とアイ・コンタクトを行う個人を検出するためにカメラ内で動作する解析モジュールを含む。例えば、解析モジュールは、カメラが個人の視線、視覚エリア、または視野内にあると判定することができる。カメラ・イメージ・データから個人の視線または視覚エリアを検出するための従来型または他のパターン認識技法を使用して、解析モジュールを実装することができる。さらに、カメラ２３２を使用して、別のＨＵＤシステム１１０または他の知覚装置１３０の放射源２２０から信号を受信することができる。信号モジュールは、カメラから信号を受信して復号し、信号を符号化し、放射源を介して送信する。この実施形態によれば、他のシステムは非集束放射源を使用することができ、集束放射源または視線トラッカを含む必要はない（しかし、含むことができる）。

本発明の別の実施形態によれば、ＨＵＤシステム１１０は、集束放射源２２４および視線トラッカ２２６を備える。視線トラッカ２２６および集束放射源２２４は通常、ユーザによって着用されたＨＵＤ上に取り付けられる。視線トラッカ２２６は、ＨＵＤの着用者が見ている方向を監視する。視線モジュールは、着用者が見ている方向について視線トラッカ２２６から情報を受け取り、集束放射源２２４が同じ方向を向くように操作する。ユーザが別のＨＵＤシステム１１０または他の知覚装置１３０を見るとき、他のシステムは、集束放射源からの信号を（例えば、センサ２３４を介して）検出し、それによって着用者が装置を見ていると判定することができる。この実施形態によれば、他のシステムは、外向きのカメラ２３２を含む必要はない（しかし、含むことができる）。

視線トラッカ２２６は、周知の技法を使用して実装することができる。例えば、視線トラッカは、着用者の目に向く１つまたは複数のカメラを備えることができる。視線モジュールは、周知の技法を使用して、カメラ・データを解析して着用者の注視方向を決定することができる。代替または追加として、視線トラッカ２２６は、コンタクト・レンズを使用して、ユーザの注視方向を決定するのを支援することができる。

本発明の一実施形態による、視線追跡を容易にするための例示的コンタクト・レンズが図３に示されている。空間内の２つの地点によって直線が定義されるので、コンタクト・レンズ上の２つの地点のそれぞれに小さい装置を配置することができる。例えば、レンズの中心の内面付近に位置合せ装置２を配置することができ、レンズの中心の外面付近に位置合せ装置１を配置することができる。視線トラッカ２２６は、これらの２つの地点によって定義される直線を検出し、その直線に沿って集束放射源の照準を定める。これらの装置を目の中央の盲点に配置することができる。

本発明の一実施形態による、２つのＨＵＤシステム１１０が対話する例示的方式が図４および５に示されている。１つのＨＵＤシステム１１０（ＨＡと表す）がユーザＡによって着用され、第２のＨＵＤシステム１１０（ＨＢと表す）がユーザＢによって着用される。ユーザＡおよびＢは互いに可視であり、ユーザＡおよびＢのＨＵＤシステムのそれぞれが他方のユーザからのアイ・コンタクトを検出するのに十分な近さにある。ユーザＡおよびＢは、それぞれＨＡおよびＨＢを介して対話することができる。例えば、ユーザＡは、ＨＡを使用して、転送するファイルを選択することができる。これらのファイルは、例えば、ＨＡのローカルにあり、またはリモートに（例えば、サーバ・システム１２０上のユーザＡ用のストレージ４４０内に）あってよい。ユーザＢは、ＨＢを使用してファイルを閲覧することができ、ファイルは、例えば、ＨＢのローカルにあり、またはリモートに（例えば、サーバ・システム上のユーザＢ用のストレージ４５０内に）あってよい。ユーザＡは、ユーザＢにファイルを送ることを望み、ユーザＢはユーザＡからファイルを受信することを望む。

ステップ５１０で、ユーザＡは、対話を開始するためにコマンドを（例えば、音声またはその他の方法で）ＨＡに送る。例えば、ユーザＡは、選択したファイルを転送するようにＨＡにコマンドを送ることができる。ステップ５２０で、ユーザＢは、トランザクションを開始するためのコマンドを（例えば、音声またはその他の方法で）ＨＢに送る。例えば、ユーザＢは、ファイルを受信するようにＨＢにコマンドを送ることができる。ステップ５３０で、ＡとＢとの間のアイ・コンタクトが確立される。アイ・コンタクトを確立する間に、ＨＡとＨＢは信号４１０を交換することができ、ＨＡはＨＢの一意識別子を得ることができる。同様に、ＨＢはＨＡの一意識別子を得ることができる。ＨＵＤ１１０または知覚装置１３０の一意識別子を使用して、ＨＵＤまたは知覚装置と通信するためのアドレスを決定することができる。例えば、固有アドレスを使用して、ＩＰアドレスまたはドメイン名をルックアップすることができる（または固有アドレスはＩＰアドレスまたはドメイン名でよい）。

ＨＡおよびＨＢが対話を開始するためのコマンドを受信し、アイ・コンタクトを確立した結果として、ステップ５４０で対話が開始される。開始された後に、対話は、従来または他の方式で進行することができる。例えば、ＨＡは、ステップ５３０で得られたＨＢについての一意識別子を使用して、ネットワーク・インターフェース装置１０およびネットワーク１２を介してＴＣＰ接続を確立し、あるいはＨＢと通信することができる。あるいは、ＨＡとＨＢは、放射源２２０および検出器２３０を介してネットワーク接続を確立し、あるいは別の情報を転送することができる。図４に示される例では、ＨＡは、選択されたファイル、または選択されたファイルの識別子をサーバ・システム１２０のコントローラ・モジュール４３０に送信し、コントローラ・モジュール４３０は、ユーザＡのストレージ４４０からユーザＢのストレージ４５０にファイルを転送する。ＨＢは、（例えば、ＦＴＰ、ＰＯＰ／ＩＭＡＰなどを介して）サーバ・システムにポーリングし、ファイルを取り出す。次いで、ユーザＢは、ＨＵＤ ＨＢからのファイルを閲覧することができる。

本発明の一実施形態による、２つのヘッドアップ・ディスプレイ（ＨＵＤ）システムの着用者間のアイ・コンタクトを確立する例示的方式が図６に示されている。ＨＵＤシステムのそれぞれが、（例えば、カメラ２３２のイメージを解析することによって能動的に、または集束放射源２２４からの信号を受信することによって受動的に）アイ・コンタクト検出を実施し、放射された信号を受信して復号し、以下のステップを実施する。ステップ６１０で、ＨＵＤシステムは（例えば、その放射源２２０を明滅する（flash）ことによって）一意識別子を放射する。ステップ６２０で、ＨＵＤシステムは、以下の条件が真であるかどうかを示すブール信号Ｓを（放射源２２０を介して）放射する。条件は、ＨＵＤシステムが、対話を開始する（例えば、選択されたファイルを送信する、ファイルを受信するなど）ためのコマンドを受信しており、ＨＵＤシステムが、別のＨＵＤシステムの着用者からのアイ・コンタクトを検出することである。ＨＵＤシステムが別のシステムから真の値を有するブール信号Ｓを受信した場合、ステップ６３０で、ＨＵＤシステムは別のシステムの一意識別子を放射する。ステップ６４０で、ＨＵＤシステムは、それ自体の一意識別子を他のＨＵＤシステムから受信したかどうかを判定する。そうである場合、処理はステップ５４０（図５）に進み、ＨＵＤシステム間の対話を開始する。そうでない場合、処理はステップ６１０に戻る。

したがって、ＨＡはその放射源２２０から以下の３つの信号を放射する。（１）ＨＡの一意識別子、（２）ＨＡがアイ・コンタクトを検出し、Ａがインターフェーシングを開始する（例えば、ファイルを送信する）ためのコマンドを与えたかどうかを示すブール信号、および（３）インターフェーシングを開始することが自由であることをＨＢがＨＡにシグナリングする（例えば、Ｂがファイルを受信するためのコマンドを与えた）場合にのみ、そのユーザがＨＡとアイ・コンタクトを確立したＨＵＤの一意識別子。第３の信号は、信号１および２がＨＢのためだけのものであることを示すことにより、複数の装置がアイ・コンタクトを検出するケースでの曖昧なシグナリングを防止する。同様に、ＨＢは、その放射源２２０を介して以下の３つの信号を放射する。（１）ＨＢについての一意識別子、（２）ＨＢがアイ・コンタクトを検出し、ＨＢがインターフェーシングすることが自由であるかどうかを示すためのブール信号、および（３）インターフェーシングを開始することが自由であることをＨＡがＨＢにシグナリングする場合にのみ、そのユーザがＨＢとアイ・コンタクトを確立したＨＵＤの一意識別子。第３の信号は、信号１および２がＨＡのためだけのものであることを示すことにより、複数の装置がアイ・コンタクトを検出するケースでの曖昧なシグナリングを防止する。ＡがＢを見るとき、Ａによって着用されるＨＵＤは、ＨＢの一意識別子を確認し、その一意識別子から、ＨＢとインターフェースすることのできるアドレスを識別することができる。さらに、インターフェーシングのための前提条件として、ＡがＢを見るとき、ＨＡは、ＨＢのブール信号（ＨＢがアイ・コンタクトを検出し、かつＨＢはインターフェーシングすることが自由であることを示す）が「Ｔｒｕｅ」に設定されることを確認しなければならない。その前提条件が満たされると、ＨＡとＨＢは、互いの直接的な、または対話を仲介する１つまたは複数のサーバに対する接続対話を（例えば、ネットワーク１２を介して）確立する。次いで、ＨＡとＨＢは接続を介して対話することができる。

本発明の一実施形態による、ＨＵＤシステム１１０が１対多関係で他のＨＵＤシステム１１０と対話することのできる例示的方式が図７および８に示されている。１つのＨＵＤシステム１１０（ＨＡと表す）がユーザＡによって着用され、１つまたは複数の他のＨＵＤシステム１１０（例えば、ＨＢ１、ＨＢ２、．．．ＨＢＮ）が、対応する他のユーザ（例えば、Ｂ１、Ｂ２、．．．ＢＮ）によって着用される。ユーザＡは（視線９２を介して）ユーザＢ１〜ＢＮにとって可視であり、ＨＢ１〜ＨＢＮのそれぞれについて、ＨＡからの信号を検出するのに十分な近さである。ＨＡは、１対多の形でＨＢ１〜ＨＢＮと対話することができる。例えば、ユーザＡは、視覚的範囲内のＨＵＤシステムを着用する人々の大きなグループにファイルを転送することを望むことがある。ユーザＡは、ファイルを選択し、「ファイル・ブロードキャスト」モードに入って、ＨＡとアイ・コンタクトを行うすべてにファイルを転送することができる。

特に、ステップ８１０で、ユーザＡは、ブロードキャスト・モードで対話を開始するためのコマンドを（例えば、音声またはその他の方法で）ＨＡに送る。ステップ８２０で、各ユーザＢ１〜ＢＮは、ブロードキャスト受信機としてトランザクションを開始するためのコマンドを（例えば、音声またはその他の方法で）ユーザのＨＵＤシステムに送る。ステップ８３０で、ＨＡとＨＢ１〜ＨＢＮのそれぞれとの間でアイ・コンタクトが確立される。例えば、図６に関して説明した方式で、ユーザＡとユーザＢ１〜ＢＮのそれぞれとの間でアイ・コンタクトを確立することができる。あるいは、ＨＡは、ＨＡからのコマンドに応答して、（例えば、非集束放射源２２２を介して）その一意識別子およびそのブロードキャスト・モードを示す信号を放射することができ、次いで、ＨＡからの一意識別子および信号を検出するＨＢ１〜ＨＢＮによって、アイ・コンタクトが確立される。

ＨＡおよびＨＢ１〜ＨＢＮがコマンドを受信し、アイ・コンタクトを確立する結果として、ステップ８４０で対話が開始される。開始された後に、対話は、従来または他の方式で進行することができる。例えば、ＨＡは、（例えば、ネットワーク１２を介して）ファイルまたは他のデータをサーバに送ることができ、ＨＢ１〜ＨＢＮは、ステップ８３０で得られたＨＡについての一意識別子を使用して、（例えば、ネットワーク１２を介して）ファイルまたは他のデータをサーバに要求することができる。

本発明の一実施形態による、中間知覚装置１３０を使用してＨＵＤシステム１１０が対話することのできる例示的方式が図９に示されている。１つのＨＵＤシステム１１０（ＨＡと表す）がユーザＡによって着用され、第２のＨＵＤシステム１１０（ＨＢと表す）がユーザＢによって着用される。知覚装置１３０（装置Ｄ）が両方のユーザにとって可視であり、装置Ｄがユーザからのアイ・コンタクトを検出するのに十分な近さである。ユーザＡおよびＢは、互いに可視である必要はない。ユーザＡおよびＢは、装置Ｄとのアイ・コンタクトを使用して対話する（例えば、ファイルを転送する）ことができる。あるいは、対話は、例えば、図５に関して説明したのと同様の方式で進行することができる。

ＨＵＤユーザが中間知覚装置を使用して対話する別の例示的シナリオでは、ＨＵＤユーザは、装置Ｄに関して、読取り専用関係および読み書き関係（read-write relationship）という２つの特権を有することができる。装置Ｄは、所与の時刻にただ１つのファイルだけと関連付けることができる。ユーザＡが装置Ｄとの間で読み書き特権を有し、１人または複数の他のＨＵＤユーザ（例えば、人々の大きなグループ）にファイルを送ることを望む場合、ユーザＡは、装置Ｄにファイルを送るために装置Ｄとアイ・コンタクトを行うことができる。装置Ｄとの間で読取りまたは読み書き特権を有する他のＨＵＤユーザは、ファイルをダウンロードするために、多数の同時着信および発信接続を処理するのに必要なハードウェアまたはソフトウェアを有しないことがあるＨＡとアイ・コンタクトを行わなければならないのではなく、装置Ｄを見ることができる。

本発明の一実施形態による、ＨＵＤシステム１１０が複数の中間知覚装置１３０を使用して対話することのできる例示的方式が図１０に示されている。１つのＨＵＤシステム１１０（ＨＡと表す）がユーザＡによって着用され、第２のＨＵＤシステム１１０（ＨＢと表す）がユーザＢによって着用される。知覚装置（ＣＡ）はユーザＢにとって可視であり、ＣＡがユーザＢからのアイ・コンタクトを検出するのに十分な近さである。知覚装置（ＣＢ）はユーザＡにとって可視であり、ＣＢがユーザＡからのアイ・コンタクトを検出するのに十分な近さである。ＣＡは、（例えばネットワーク１２を介する）ＨＡに対する接続を有し、ＣＢは、（例えばネットワーク１２を介する）ＨＢに対する接続を有する。ユーザＡおよびＢは互いに可視である必要はなく、互いから遠くに離れることができる。ユーザＡおよびＢは、図５に関して説明したのと同様の方式で、それぞれＣＢおよびＣＡとのアイ・コンタクトを使用して対話する（例えば、ファイルを転送する）ことができる。例えば、ユーザＡは、ＨＡを使用して、転送する（例えば、ローカル・ストレージ上、サーバ上などの）ファイルを選択し、ユーザＢにファイルを転送するために（例えば、音声、タッチ、ジェスチャなどによって）ＨＡにコマンドを送ることができる。ユーザＢは、Ａからファイルを受信するために（例えば、ボイス、タッチ、ジェスチャなどによって）ＨＢにコマンドを送る。ＣＢがＡとのアイ・コンタクトを検出したのと同時に、ＣＡがＢとのアイ・コンタクトを検出したことに応答して、ＨＡがそれによってＨＢにファイルを送る、ＨＡとＨＢとの間の直接的または間接的接続を（例えば、ネットワーク１２を介して）作成することができる。本発明の一実施形態によれば、ＣＡまたはＣＢは、例えば、ラップトップ上のウェブカメラとして実装することができる。

本発明の一実施形態による、アイ・コンタクトを使用してＨＵＤシステム１１０が装置（例えば、知覚装置１３０）と対話することのできる例示的方式が図１１に示されている。ＨＵＤシステム・ユーザが装置の検出器２２０とアイ・コンタクトを行うとき、装置のためのインターフェース１１００が、ユーザのＨＵＤシステム上に表示される。例として、発電機で一杯の部屋に入り、どの発電機が故障しているかを見つける必要がある、ＨＵＤシステム１１０を着用する技術者を考慮する。知覚装置１３０が各発電機上にある。ＨＵＤシステム・ユーザが装置と対話するためにどこを見るかを決定することができるように、物体（object）（例えば、発電機）上の知覚装置１３０の検出器２３０の位置を規則によって確立することができ（例えば、「センサは常に物体の右上コーナにある」）、または物体上にマークすることによって位置を示すことができる（例えば、どこにセンサがあるかを示す目印（bulls eye））。技術者が各発電機上の適切な位置とアイ・コンタクトを行うとき、技術者のＨＵＤ上のポップアップ・インターフェース１１００が、発電機の状態、例えばどれほどの電気を発生させているかを表示する。したがって、ＨＵＤは、どの発電機が故障しているかの表示を技術者に提供する。

さらに、知覚装置１３０を有する非ＨＵＤ装置が、知覚装置を見るＨＵＤの着用者に対話型インターフェースを提供することができる。例えば、ＨＵＤの着用者が街路を歩く間、アイ・コンタクトを介して対話することのできる装置を、ＨＵＤ上の小さいアイコンで示し、またはタグ付けすることができる。着用者がこれらのアイコンを直接的に見る（すなわち、装置を直接的に見る）場合、アイコンは、例えば、装置についての情報、および装置と対話するために行うことのできる操作を拡張し、提示することができる。例えば、そのような装置をレストランの外面に配置することができる。この装置を、ユーザＨＵＤ内の小さいアイコンでタグ付けすることができる。ＨＵＤ着用者が（例えば、インターフェース内のアイコンを直接的に見ることによって）装置とアイ・コンタクトを行う場合、アイコンは、ＨＵＤ着用者情報（例えば、レストランがどれほどの空席を有したか、待ち時間がどれほどであったか、メニューなど）を拡張し、示すことができる。ＨＵＤ着用者は、装置で操作を実施する（例えば、このレストラン・インターフェースから注文を行い、または予約を取る）ことができる。

本発明の一実施形態による、カメラ・ベースのアイ・コンタクトを使用してヘッドアップ・ディスプレイ・システム１１０と知覚装置１３０（装置Ｄ）との間でアイ・コンタクトを確立する例示的方式が、図１２および１３に示されている。ＨＵＤシステムはカメラ２３２を含み、装置Ｄは、カメラ２３２と、カメラと共に動作して、装置Ｄのカメラ２３２とアイ・コンタクトを行う個人を検出する解析モジュールとを含む。装置Ｄは、カメラ２３２のイメージを解析することによってアイ・コンタクト検出を実施する。ＨＵＤシステムおよび装置Ｄはそれぞれ、他方の放射源２２０から信号を受信し、復号する。

ＨＵＤシステムは以下のステップを実施する。ステップ１２１０で、ＨＵＤシステムは、（例えば、その放射源２２０を明滅することによって）一意識別子を放射する。ステップ１２２０で、ＨＵＤシステムは、ＨＵＤシステムが対話を開始する（例えば、選択されたファイルを送り、ファイルを受信するなど）ためのコマンドを受信したかどうかを示すブール信号Ｓを（放射源２２０を介して）放射する。ＨＵＤシステムが、装置Ｄが対話することが自由であることを示すブール信号Ｓを装置Ｄから受信した場合、ステップ１２３０で、ＨＵＤシステムは、装置Ｄの一意識別子を放射する。ステップ１２４０で、ＨＵＤシステムは、装置Ｄシステムからそれ自体の一意識別子を受信したかどうかを判定する。そうである場合、ステップ１２５０で、ＨＵＤシステムは、（例えば、装置Ｄにファイルを送るネットワーク１２を介して、装置Ｄに対するＴＣＰ接続を確立することによって）装置Ｄの一意識別子を使用して対話を開始する。そうでない場合、ＨＵＤシステムはステップ１２１０に戻る。

装置Ｄは以下のステップを実施する。ステップ１３１０で、装置Ｄは（例えば、その放射源２２０を明滅することによって）一意識別子を放射する。ステップ１３２０で、装置Ｄは、以下の条件が真であるかどうかを示すブール信号Ｓを（放射源２２０を介して）放射する。条件は、装置ＤがＨＵＤシステム・ユーザからのアイ・コンタクトを検出し、装置Ｄが自由に対話することができることである。ＨＵＤシステムが対話を開始するためのコマンドを受信したことを示すブール信号Ｓを装置ＤがＨＵＤシステムから受信した場合、ステップ１３３０で、装置Ｄは、ＨＵＤシステムの一意識別子を放射する。ステップ１３４０で、装置Ｄは、ＨＵＤシステムからそれ自体の一意識別子を受信したかどうかを判定する。そうである場合、ステップ１３５０で、装置Ｄは、ＨＵＤシステムの一意識別子を使用して（例えば、ネットワーク１２を介してＨＵＤに対するＴＣＰ接続を確立し、ファイルを受信することによって）対話を開始する。そうでない場合、装置Ｄはステップ１３１０に戻る。

本発明の代替実施形態によれば、ヘッドアップ・ディスプレイ・システム１１０は、集束放射源２２４および視線トラッカ２２６を含み、以下の方式で知覚装置１３０（装置Ｄ）と対話する。視線トラッカ２２６は、ＨＵＤシステムの着用者の眼球運動を追跡し、着用者が見る方向を向くように集束放射源を誘導する。装置Ｄの検出器２３０（例えば、センサ２３４）は、ＨＵＤシステムの集束放射源から信号を受信する。ＨＵＤシステムおよび装置Ｄはそれぞれ、他方の放射源から信号を受信し、復号する。ＨＵＤシステムと装置Ｄとの間のアイ・コンタクトを確立するために、ＨＵＤシステムは、集束放射源を介して以下の２つの信号を放射する。（１）ＨＵＤの一意識別子、および（２）対話を開始するためのコマンドをＨＵＤシステムが受信したかどうかを示すブール信号。ＨＵＤシステムの着用者が装置Ｄを見るとき、装置Ｄは、ＨＵＤシステム集束放射源から信号を受信する。これらの信号から、装置Ｄは、ＨＵＤシステムの一意識別子を決定し、装置Ｄが対話することが自由である場合、装置Ｄは、ＨＵＤシステムの一意識別子を使用して（例えば、ネットワーク１２を介してＨＵＤシステムに対するＴＣＰ接続を確立し、ファイルを受信することによって）対話を開始する。

本発明の別の実施形態によれば、知覚装置１３０または他の装置（例えば、リモート・システム１４０）を含む装置は、ＨＵＤシステム１１０を介してユーザにインターフェースを提示する。例えば、ＨＵＤシステム１１０の着用者は、手元にない装置（例えば、タブレット、ラップトップなど）（例えば、離れている装置、アクセス不能の装置、バックパック内の装置、別の部屋内の装置など）と対話することができる。その装置は、装置の画面上に表示されるユーザ・インターフェース（ＵＩ）や、ＨＵＤシステム内に記憶されるＵＩなどの、その装置に関連するＵＩを有する。ＨＵＤ着用者は、ＨＵＤ上に装置のＵＩを表示して、このＵＩを介してＨＵＤシステムと装置との間のデータ接続（例えば、ネットワーク１２を介するＴＣＰ接続）を使用して装置を制御することができる。装置とウェアラブルＨＵＤシステムとの間のアイ・コンタクトを介して、またはその他の方法で接続を確立することができる。

一実施形態によれば、ウェアラブルＨＵＤ内に示されるＵＩは、装置の従来型ディスプレイ上に現れるＵＩに類似した、または厳密なコピーでよい。あるいは、ウェアラブルＨＵＤのＵＩにより良く適合するように、装置とＨＵＤとの間でＵＩを変換または変更することができる。

ＨＵＤを介して他の装置にユーザ・インターフェースを提供すること（それにより、操作の際に手を不要にすることができ、または手の使用を最小限に抑えることができる）により、装置を手に持つことが不便であり、困難であり、または不可能である状況で、別の装置のより容易な制御が可能となる。ＨＵＤを介するラップトップなどの装置の制御は、ある環境ではマウスおよびキーボードを使用することよりも非効率であることがあるが、装置が遠く離れており、あるいは直接的にアクセスすることが困難または実現不可能である場合（例えば、混雑した地下鉄の列車内で立っている間、歩いている間など）、より便利であることがある。

ＨＵＤシステム１１０を介してユーザ・インターフェースを提供することのできる装置は、画面を備える装置（スマートフォン、ラップトップなど）と、画面を備えない装置とを含むことができる。画面を備えない装置は、装置に接続するＨＵＤシステムに対するＨＵＤ特有のＵＩを表示することができる。例えば、ヘッドレス装置について、ＨＵＤシステムは、装置と対話するために使用されるＵＩを定義することができる。

視線トラッカ２２６を備えるＨＵＤシステムを介してユーザに提示することのできるポイント・アンド・クリックまたはタッチ・インターフェース（例えば、デスクトップ／ラップトップ・コンピュータ・インターフェース、タッチパッド／スマートフォン・インターフェースなど）を提供する装置について、ＨＵＤユーザは、ユーザの目を使用して、この装置のＵＩのカーソルを誘導し、例えばボイス・コマンドを使用して、カーソルを介して操作（例えば、左／右クリック、「タップ」（すなわち、タッチ・スクリーンと接触する指をシミュレートすること）など）を実施することができる。このようにして、ＨＵＤインターフェースにより、ボイス・コマンドまたは他のコマンドだけよりも細かい装置の制御が可能となる。

上記で説明し、図面で示した実施形態は、ヘッドアップ・ディスプレイ（ＨＵＤ）を介してアイ・コンタクトを使用して装置と対話するための実施形態を実装する多くの方式のうちのほんのいくつかを表すに過ぎないことが理解されよう。

本発明の実施形態の環境は、所望の方式で構成された、任意の数のコンピュータまたは他の処理システム（例えば、クライアントまたはエンド・ユーザ・システム、サーバ・システムなど）およびストレージ・システム（例えば、ファイル・システム、データベース、または他のリポジトリ）を含むことができ、任意の所望のタイプのコンピューティング環境（例えば、クラウド・コンピューティング、クライアント−サーバ、ネットワーク・コンピューティング、メインフレーム、スタンド・アロン・システムなど）に本発明の実施形態を適用することができる。本発明の実施形態によって利用されるコンピュータまたは他の処理システムは、任意の数の任意のパーソナルまたは他のタイプのコンピュータまたは処理システム（例えば、デスクトップ、ラップトップ、ＰＤＡ、モバイル装置など）によって実装することができ、任意の市販のオペレーティング・システム、および市販のソフトウェアとカスタム・ソフトウェア（例えば、データベース・ソフトウェア、通信ソフトウェアなど）の任意の組合せを含むことができる。これらのシステムは、情報を入力または閲覧し、あるいはその両方を行うための任意のタイプのモニタおよび入力装置（例えば、キーボード、マウス、音声認識、タッチ・スクリーンなど）を含むことができる。

本発明の実施形態のソフトウェアは、任意の所望のコンピュータ言語で実装することができ、本明細書に含まれる機能説明および図面に示される流れ図に基づいてコンピュータ技術の技術者によって開発することができることを理解されたい。さらに、様々な機能を実施するソフトウェアの本明細書でのどのような参照も、一般には、ソフトウェア制御下でそうした機能を実施するコンピュータ・システムまたはプロセッサを指す。あるいは、本発明の実施形態のコンピュータ・システムは、任意のタイプのハードウェアまたは他の処理回路あるいはその両方によって実装することができる。

コンピュータまたは他の処理システムの様々な機能は、任意の数のソフトウェアまたはハードウェア・モジュールもしくはユニットあるいはその両方、処理もしくはコンピュータ・システムまたは回路あるいはその両方の間で、任意の方式で分散することができ、コンピュータまたは処理システムは、互いにローカルまたはリモートに配設することができ、任意の適切な通信媒体（例えば、ＬＡＮ、ＷＡＮ、イントラネット、インターネット、ハードワイヤ、モデム接続、ワイヤレスなど）を介して通信することができる。例えば、本発明の実施形態の機能は、様々なエンド・ユーザ／クライアントおよびサーバ・システム、または任意の他の中間処理装置、あるいはその両方の間で、任意の方式で配布することができる。上記で説明し、流れ図で示したソフトウェアまたはアルゴリズムあるいはその両方は、本明細書で説明する機能を実施する任意の方式で変更することができる。さらに、流れ図または説明の中の機能は、所望の動作を実施する任意の順序で実施することができる。

本発明の実施形態のソフトウェアは、ネットワークまたは他の通信媒体によって接続されたスタンド・アロン・システムまたはシステムと共に使用するための静止またはポータブル・プログラム製品機器または装置の非一時的コンピュータ使用可能媒体（例えば、磁気または光媒体、光磁気媒体、フロッピー（Ｒ）・ディスケット、ＣＤ−ＲＯＭ、ＤＶＤ、メモリ装置など）上で利用可能でよい。

通信ネットワークは、任意の数の任意のタイプの通信ネットワーク（例えば、ＬＡＮ、ＷＡＮ、インターネット、イントラネット、ＶＰＮなど）によって実装することができる。本発明の実施形態のコンピュータまたは他の処理システムは、任意の従来型または他のプロトコルを介してネットワークを介して通信するための、任意の従来型または他の通信装置を含むことができる。コンピュータまたは他の処理システムは、ネットワークにアクセスするために任意のタイプの接続（例えば、ワイヤード、ワイヤレスなど）を利用することができる。ローカル通信媒体は、任意の適切な通信媒体（例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、ハードワイヤ、ワイヤレス・リンク、イントラネットなど）によって実装することができる。

システムは、情報を記憶するために任意の数の任意の従来型または他のデータベース、データ・ストア、またはストレージ構造（例えば、ファイル、データベース、データ構造、データまたは他のリポジトリなど）を利用することができる。データベース・システムは、情報を記憶するために任意の数の任意の従来型または他のデータベース、データ・ストア、またはストレージ構造（例えば、ファイル、データベース、データ構造、データまたは他のリポジトリなど）によって実装することができる。データベース・システムをサーバ・システムまたはクライアント・システムあるいはその両方の中に含めることができ、またはそれらに結合することができる。データベース・システムまたはストレージ構造あるいはその両方は、コンピュータまたは他の処理システムに対してリモートでよく、またはローカルでよく、任意の所望のデータを記憶することができる。

本発明の実施形態は、情報を取得または提供するために任意の数の任意のタイプユーザ・インターフェース（例えば、グラフィカル・ユーザ・インターフェース（ＧＵＩ）、コマンド・ライン、プロンプトなど）を利用することができ、インターフェースは、任意の方式で構成された任意の情報を含むことができる。インターフェースは、情報を入力／表示し、任意の適切な入力装置（例えば、マウス、キーボードなど）を介して所望の動作を開始するために、任意の位置に配設された任意の数の任意のタイプの入力または作動機構（例えば、ボタン、アイコン、フィールド、ボックス、リンクなど）を含むことができる。インターフェース画面は、任意の方式で画面間をナビゲートするための任意の適切なアクチュエータ（例えば、リンク、タブなど）を含むことができる。

本明細書で使用される用語は、特定の実施形態を説明するためのものに過ぎず、本発明の限定とはならないものとする。本明細書では、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別段に明確に規定しない限り、複数形も含むものとする。「備える」、「含む」、「有する」などの用語は、本明細書で使用されるとき、記載の特徴、完全体、ステップ、動作、要素、または構成要素、あるいはそれらの組合せの存在を指定し、１つまたは複数の他の特徴、完全体、ステップ、動作、要素、構成要素、またはそれらのグループ、あるいはそれらの組合せの存在または追加を除外しないことがさらに理解されよう。

以下の特許請求の範囲内のすべての手段またはステップおよび機能要素の対応する構造、材料、動作、および均等物は、他の特許請求される要素と共に機能を実施するための任意の構造、材料、または動作を具体的に特許請求されるものとして含むものとする。例示および説明のために本発明の説明を提示したが、この説明は、網羅的なもの、または開示された形態に本発明を限定するものではないものとする。本発明の範囲および思想から逸脱することなく、多くの変更形態および変形形態が当業者には明らかとなるであろう。本発明の原理および実際の応用例を最良に説明し、企図される特定の用途に適するように様々な変更を伴う様々な実施形態について他の当業者が本発明を理解することを可能にするために、実施形態を選び、説明した。

例示のために本発明の様々な実施形態の説明を提示したが、この説明は、網羅的なもの、または開示された実施形態に限定されるものではないものとする。記載の実施形態の範囲から逸脱することなく、多くの変更形態および変形形態が当業者には明らかとなるであろう。実施形態の原理、実際の応用例、もしくは市場で見出される技術に勝る技術的改良を最良に説明し、または本明細書で開示された実施形態を他の当業者が理解することを可能にするように、本明細書で使用する用語を選んだ。

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはそれらの組合せでよい。コンピュータ・プログラム製品は、本発明の態様をプロセッサに実施させるためのコンピュータ可読プログラム命令を有する１つまたは複数のコンピュータ可読記憶媒体を含むことができる。

コンピュータ可読記憶媒体は、命令実行装置による使用のために命令を保持および記憶することのできる有形の装置でよい。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適切な組合せでよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは以下を含む。ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、命令が記録されたパンチ・カードや溝の中の隆起構造などの機械的に符号化された装置、および上記の任意の適切な組合せ。本明細書では、コンピュータ可読記憶媒体は、電波または他の自由に伝播する電磁波、導波路または他の伝送媒体を通じて伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号などの、本質的に一時的な信号であると解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、ネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、またはワイヤレス・ネットワーク、あるいはそれらの組合せを介して、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはそれらの組合せを含むことができる。各コンピューティング／処理装置内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体内に記憶するためにコンピュータ可読プログラム命令を転送する。

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語や類似のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで書かれたソース・コードまたはオブジェクト・コードのどちらかでよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行し、ユーザのコンピュータ上でスタンド・アロン・ソフトウェア・パッケージとして部分的に実行し、ユーザのコンピュータ上で部分的に実行し、リモート・コンピュータ上で部分的に実行し、またはリモート・コンピュータまたはサーバ上で完全に実行することができる。後者のシナリオでは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてリモート・コンピュータをユーザのコンピュータに接続することができ、または（例えば、インターネット・サービス・プロバイダを使用してインターネットを通じて）外部コンピュータに接続を行うことができる。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別設定することによって、コンピュータ可読プログラム命令を実行することができる。

本発明の実施形態による方法、機器（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照しながら、本発明の態様を本明細書で説明する。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方の中のブロックの組合せをコンピュータ可読プログラム命令で実装できることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理機器のプロセッサを介して実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実装するための手段を生み出すように、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理機器のプロセッサに提供されて、マシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方１つまたは複数のブロックで指定される機能／動作の態様を実装する命令を含む製造品を含むように、コンピュータ可読記憶媒体内に記憶され、コンピュータ、プログラマブル・データ処理機器、または他の装置、あるいはそれらの組合せに、特定の方式で機能するように指示することのできるものであってもよい。

これらのコンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル機器、または他の装置上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実装するように、コンピュータで実装されるプロセスを生成するべく、コンピュータ、他のプログラマブル・データ処理機器、または他の装置にロードされ、コンピュータ、他のプログラマブル機器、または他の装置上で一連の動作ステップを実施させるものであってもよい。

図のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、動作を示す。この点で、フローチャートまたはブロック図中の各ブロックは、指定の論理機能を実装するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または部分を表すことができる。いくつかの代替実装では、ブロックで示される機能は、図に示されるのとは異なる順序で行うことができる。例えば、連続して示される２つのブロックは、実際にはほぼ同時に実行することができ、または関係する機能に応じて、時にはブロックを逆順に実行することができる。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方の中のブロックの組合せは、指定の機能もしくは動作を実施し、または専用ハードウェアとコンピュータ命令の組合せを実施する専用ハードウェア・ベース・システムによって実装できることにさらに留意されよう。

Claims (13)

1. ヘッドアップ・ディスプレイを介した装置対話のためのシステムであって、
   第１の実体の第1ヘッドアップ・ディスプレイと第２の実体の第2ヘッドアップ・ディスプレイで信号を交換する手段であって、前記第1および前記第2ヘッドアップ・ディスプレイは、複数のヘッドアップ・ディスプレイのグループのメンバであり、前記交換する手段が、
   前記第１および前記第２の対話のためのコマンドの受信を含む複数の状態を示す前記第１および前記第２のヘッドアップ・ディスプレイのそれぞれの信号を交換し、前記第1および前記第2ヘッドアップ・ディスプレイのそれぞれによって提供される前記グループの前記第１および前記第２のヘッドアップ・ディスプレイに対応する実体の視覚エリアを検出する手段と、
   前記第1ヘッドアップ・ディスプレイで前記信号を受信することに応答して、第1ヘッドアップ・ディスプレイから第2ヘッドアップ・ディスプレイに前記第1ヘッドアップ・ディスプレイの一意の識別子を送信し、前記第1ヘッドアップ・ディスプレイで前記第2ヘッドアップ・ディスプレイから第2ヘッドアップ・ディスプレイの一意の識別子を受信する手段と、
   前記第1ヘッドアップ・ディスプレイと、少なくとも前記第2ヘッドアップ・ディスプレイを含む第1の装置との間の前記コマンドで指定された対話を確立する手段であって、前記第１のヘッドアップ・ディスプレイで前記第２のヘッドアップ・ディスプレイから前記第１のヘッドアップ・ディスプレイの一意の識別子を受信し、前記第２のヘッドアップ・ディスプレイで前記第１のヘッドアップ・ディスプレイから前記第２のヘッドアップ・ディスプレイの一意の識別子を受信することに応答して前記第１および前記第２のヘッドアップ・ディスプレイとの対話を確立する手段と、
   を含む、プロセッサーを備えるシステム。
2. 前記第1のヘッドアップ・ディスプレイは、第2の装置に結合され、前記対話を確立する手段が、
   前記第１のヘッドアップ・ディスプレイ上に前記第１の装置のインターフェースを提示する手段と、
   前記第１のヘッドアップ・ディスプレイおよび音声コマンドに結合された前記第２の装置上の前記第１の実体の視覚エリアのグループに基づいて提示されたインターフェースを操作する手段と、
   前記提示されたインターフェースの操作に基づいて、前記第１の装置を制御する手段と、
   を含む、請求項1に記載のシステム。
3. 前記第１の装置は、少なくとも１つのプロセッサをさらに含む、請求項１に記載のシステム。
4. 前記プロセッサが、
   前記第１のヘッドアップ・ディスプレイに関連する前記第２の装置の対応する１つの電磁的信号検出器で、前記第１の装置に関連する送信機から送信される電磁的信号を検出する手段と、
   前記第１のヘッドアップ・ディスプレイに関連する送信機から送信された前記第１の装置に関連する前記第２の装置の対応する１つの電磁的信号検出器で電磁的信号を検出する手段。
   上記手段から1つまたは複数を実行するようにさらに構成される、請求項３に記載のシステム。
5. 前記第１の装置および前記第１のヘッドアップ・ディスプレイに関連する前記送信された電磁的信号はそれぞれ、前記第１の装置と前記第１のヘッドアップ・ディスプレイとの間の対話を確立するための情報を含む、請求項４に記載のシステム。
6. 前記第１のヘッドアップ・ディスプレイは、前記第１の実体の視線の方向に沿って信号を送信する放射源を含み、前記第１の装置は前記信号を受信する受信機を備える、対応する前記第２の装置に関連付けられており、前記プロセッサがさらに、
   前記第１のヘッドアップ・ディスプレイから送信された信号を、前記第１の装置に関連付けられた受信機で検出する手段、
   を含む、請求項３に記載のシステム。
7. 前記第１のヘッドアップ・ディスプレイおよび前記第１の装置は、信号を送信および受信するための送信機および受信機を備える、対応する第２の装置を含み、前記対話を確立する手段がさらに、
   前記第１ヘッドアップ・ディスプレイの送信機と受信機と前記第１装置との間で交換されるネットワーク接続および信号のグループからの１つまたは複数を介して前記対話を実行する手段、
   を含む、請求項１に記載のシステム。
8. コンピュータの情報処理により、ヘッドアップ・ディスプレイを介した装置対話を行う方法であって、
   第１の実体の第1ヘッドアップ・ディスプレイと第２の実体の第2ヘッドアップ・ディスプレイで信号を交換するステップであって、前記第1および前記第2ヘッドアップ・ディスプレイは、複数のヘッドアップ・ディスプレイのグループのメンバであり、前記交換するステップが、
   前記第１および前記第２の対話のためのコマンドの受信を含む複数の状態を示す前記第１および前記第２のヘッドアップ・ディスプレイのそれぞれの信号を交換し、前記第1および前記第2ヘッドアップ・ディスプレイのそれぞれによって提供される前記グループの前記第１および前記第２のヘッドアップ・ディスプレイに対応する実体の視覚エリアを検出するステップと、
   前記第1ヘッドアップ・ディスプレイで前記信号を受信することに応答して、前記第1ヘッドアップ・ディスプレイから前記第2ヘッドアップ・ディスプレイに前記第1ヘッドアップ・ディスプレイの一意の識別子を送信し、前記第1ヘッドアップ・ディスプレイで前記第2ヘッドアップ・ディスプレイから第2ヘッドアップ・ディスプレイの一意の識別子を受信するステップと、
   前記第1ヘッドアップ・ディスプレイと、少なくとも前記第2ヘッドアップ・ディスプレイを含む第1の装置との間の前記コマンドで指定された対話を確立するステップであって、前記第１のヘッドアップ・ディスプレイで前記第２のヘッドアップ・ディスプレイから前記第１のヘッドアップ・ディスプレイの一意の識別子を受信し、前記第２のヘッドアップ・ディスプレイで前記第１のヘッドアップ・ディスプレイから前記第２のヘッドアップ・ディスプレイの一意の識別子を受信することに応答して前記第１および前記第２のヘッドアップ・ディスプレイとの対話を確立するステップと、
   を含む、方法。
9. 前記第1のヘッドアップ・ディスプレイは、第2の装置に結合され、前記対話を確立するステップが、
   前記第１のヘッドアップ・ディスプレイ上に前記第１の装置のインターフェースを提示するステップと、
   前記第１のヘッドアップ・ディスプレイおよび音声コマンドに結合された前記第２の装置上の前記第１の実体の視覚エリアのグループに基づいて提示されたインターフェースを操作するステップと、
   前記提示されたインターフェースの操作に基づいて、前記第１の装置を制御するステップと、
   を含む、請求項８に記載の方法。
10. 前記第１の装置は、少なくとも１つのプロセッサをさらに含む、請求項８に記載の方法。
11. 前記第１のヘッドアップ・ディスプレイおよび前記第１の装置は、信号を送信および受信するための送信機および受信機を備える、対応する第２の装置を含み、前記対話を確立するステップがさらに、
    前記第１ヘッドアップ・ディスプレイの送信機と受信機と前記第１装置との間で交換されるネットワーク接続および信号のグループからの１つまたは複数を介して前記対話を実行するステップ、
    を含む、請求項８に記載の方法。
12. 請求項８〜１１のいずれか一項に記載の方法の各ステップをコンピュータに実行させる、コンピュータ・プログラム。
13. 請求項１２に記載の前記コンピュータ・プログラムをコンピュータ可読記憶媒体に記録した、記憶媒体。
    

Images