JP3693611B2 - 静止赤外線ビームユニットと相補のヘッド装着ユニットを用いる三次元操縦システム - Google Patents
静止赤外線ビームユニットと相補のヘッド装着ユニットを用いる三次元操縦システム Download PDFInfo
- Publication number
- JP3693611B2 JP3693611B2 JP2001520396A JP2001520396A JP3693611B2 JP 3693611 B2 JP3693611 B2 JP 3693611B2 JP 2001520396 A JP2001520396 A JP 2001520396A JP 2001520396 A JP2001520396 A JP 2001520396A JP 3693611 B2 JP3693611 B2 JP 3693611B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- navigation
- angle
- user
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/783—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
- G01S3/784—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems using a mosaic of detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Description
【産業上の利用分野】
本発明は、三次元(3D)空間で頭のような使用者の身体の一部の位置と方位を決定することに基づく制御入力を与え、入力を用いて3Dディスプレー上のポインタまたはカーソル、3D空間内の機器、3Dイメージまたはシーン等のディスプレー(カメラアングルまたはビュウ)の斜視図を制御するシステムに関する。特に、本発明は、コンピュータ上の相互作用の(対話式の)3Dゲームをプレーするハンドフリー(手が自由な)入力ディバイスとして用いることができる低コストの、正確な、信頼できるシステムに向けられたものである。
【0002】
【従来の技術】
デスクトップコンピュータ用の3Dグラフィックスの増加と、特にゲームのキャラクタコンバット(格闘)における3Dソフトウエアの洗練さと支配の増大に伴って、キャラクタ制御の優秀な方法と操作が現在のジョイステック、キーボードおよびマウスと比べて、望まれ要請されている。現在の周辺入力ディバイスは幾つかの理由で不適切である。第1に、使用者は各ゲーム、即ち、ソフトウエアプログラムに対してコマンドの個々の組合せを学び覚える必要がある。例えば、「アップ」矢印キーが1つのゲームではユーザを前進させるが、他方では、「F」キーが他のゲームで同一のことを行う。第2に、キーまたはボタンを押すことと、ディスプレー上の移動、カメラアングル、またはポインティングを向けることとの間に論理的な関係がない。もし使用者が同様な方向にリアルタイムで身体の一部を肉体的に移動させることによってゲーム内の移動を制御できるならば、使用者にとってそれは一層自然なことであり、ゲームをプレーすることに精神的に没頭することができる。
【0003】
理想的に、使用者は、ゲームキャラクタを制御して、3D空間内でナビゲートする、即ち、頭または身体の他の部分の動きを制御することとできるだけ同様な方法でキャラクタが何を見るかを変化させることを好む。また、ナビゲーションの遠近の変更方法が使用者の手を他の同時入力のために自由にすることは非常に便利である。例えば、もし使用者が手を用いることなしにキャラクタを動かすことができるならば、手はキーボード、ゲームコントローラ、または他の入力ディバイスにコンバットタイプの入力を行うために用いることができる。
【0004】
コンピュータのカーソルの移動またはゲームの制御に適した先行技術のヘッド入力システムは、ヘッドの位置および/または方位を計算するためにヘッド装着ユニットから検出器ユニットへ送信された信号の検出に依存していた。例えば、ビセイ(Bisey)の米国特許第5,367,614号では、コンピュータモニターの周りに三角形構成で配置された超音波センサは、3軸に沿ったヘッドユニットの相対距離を計算して、計算したデータを用いて、使用者が頭を動かし目的物を自然に見るのと同様にスクリーン上の3Dイメージ(像)を回転するようにヘッドユニットから送信されたパルス信号の到着時刻を測定する。ブローメルシーク(Broemmelsiek)の米国特許第5,574,836号では、超音波または赤外線検出器による使用者のヘッドの移動の検出は3Dオブジェクトのディスプレーにおける対応する視差即ち遠近上の移動を発生するのに用いられている。ビール(Beale)の米国特許第5,926,264号では、4分割フォトセンサアレーが使用者の頭の方位を導き出しコンピュータスクリーン上のポインタを対応して制御するためにヘッド装着反射体によって反射された光源LEDから光ビームの相対的強度を検出する。
【0005】
【発明が解決しようとする課題】
これらの先行技術のヘッド入力システムは、使用者の頭の相対的位置座標および/または相対的角度方位を標準の三角測量アルゴリズムを用いて計算するために、ヘッドユニットから受信器ユニットへの伝達された信号の相対的な光ビームの強度または到達時間の検出に一般に依存していた。そのような「一方向」送信器/受信器システムは、ヘッドユニットの位置または方位を計算できるが、同時に正確に両方を計算できないという制限を持っていた。計算上の取り決めが位置情報または方位情報を最初に得るように決められているが、同時に「6自由度」内の正確な情報、即ち、直線軸(X,Y,Z)および回転軸(ヨー、ピッチ、ロール)(yaw,pitch,roll)上の情報を得ることはできない。一層複雑なシステムが正確な6自由度(いわゆる「6DoF」計算のために発明されているが、これらのシステムは、例えば、トヤマ(Toyama)の米国特許第5,889,505号、ロマニック(Romanik)の米国特許第5,884,239号、サカキバラ(Sakakibara)の米国特許第5,461,478号、デメンセーオン(Dementheon)の米国特許第5,227,985号、モリソン(Morrison)の米国特許第5,187,540号およびクローグリコフ(Krouglicof)等の米国特許第4,649,504号に記載のように、使用者に装着された、または保持された三次元目標アレーの多数のカメラアングルからの光学スキャニングのための高価で複雑な装置を必要とする。
【0006】
3Dゲームや他の環境(例えば、コンピュータ補助設計(CAD)、シミュレーション、またはバーチャルリアリティ環境)の洗練化の増加とともに、使用者が環境(3D内でのX,Y,Z座標位置)内で動きや位置を変化させることができ、さらに環境内で視野(しばしば「カメラアングル」という)を制御して変化させることができることが重要となってきている。さらに、重要なことは、環境内で操作のために手を自由にした状態で、使用者がカメラアングル機能の操縦や変化を達成する能力を持つことである。例えば、CAD設計では、設計技術者は、マウスまたはキーボードからのコマンドを用いて、対象物に関連する部品を加え、削除し、変更すると同時に、表示された対象物のまわりに視野を動かす必要がある。環境の範囲拡大する中で一層洗練された3Dアプリケーションプログラムに対するコストが下がっているのにかかわらず、計算能力が増加しつづけているとき、「ハンドフリー」に適した6DoF制御を持った、正確な、低コストの3Dナビゲーションシステムが著しく必要となってきている。
【0007】
したがって、本発明の主要な目的は、信頼でき、製造が簡単であり、低コストである、使用者によるディスプレー上の直線軸および回転軸上の3Dナビゲーション(操縦)用のシステムを提供することにある。本発明の特定の目的は、相互作用の(対話式の)ゲームまたは他の制御器の操作中同時に入力できるように使用者の手をハンドフリーにするために使用者の頭に装着された簡単なユニットによって3Dナビゲーションシステムが操作できることである。
【0008】
【課題を解決するための手段】
本発明を実施する装置では、3Dナビゲーションシステムは、照射器/検出器ユニットの相補的な対からなり、対の一方は、使用者の身体の一部に装着され、他方は使用者に面するディスプレー上にまたは隣接して取付けられ、相補的な対の照射器/検出器ユニットの各々は、他のユニットに向かう方向にユニットの基準軸に沿って円錐状ビームを照射する赤外線照射素子と、赤外線照射器素子の回りに配置され、他のユニットからの赤外線円錐状ビームをその検出面に受信し、それぞれの検出面に受信したビームの光強度を表す出力信号の出力を提供するようにユニットの基準軸から外方に向かう検出面を有する光検出器アレーとを有し、3Dナビゲーションシステムは、さらに、使用者装着ユニットの光検出器アレーからの出力を受信しかつ静止ユニットの光検出器からの出力信号を受信してそれらを組み合わせた入力として用いて静止ユニットに対する直線および回転軸上の使用者装着ユニットの位置と方位を表す位置情報と角度方位情報を計算するプロセッサユニットを有する。本発明は、また、相補的な使用者装着および静止照射器/検出器ユニットを3Dナビゲーション制御に用いる関連する方法を包含するものである。
【0009】
好ましい実施例では、3Dナビゲーション装置はプロセッサユニットに接続された使用者装着ヘッドセットユニットとモニターに取付けられたユニットから成る。各ユニットは中央(基準)軸に整列された赤外線照射器素子とユニットの中央軸のまわりで外方に向けられたリング状の光検出器セルを有する。プロセッサモジュールは、プロセッサマザーボード、IC回路、相補の照射器/検出器ユニットへのリンク、装置の出力をコンピュータCOMポート、パラレルポート、または例えばUSBコネクタのような他の通信入力チャンネルに接続するためのケーブルまたはワイヤレスポートを含む。モニターユニットはプロセッサモジュールと一体であってもよく、またはディスプレーモニターのフラームに取付けられた別個のユニットであってもよい。
【0010】
光検出器セルは、好ましくは、中心の赤外線照射器素子のまわりに対称的に配置され、ユニットの中心軸に対して30乃至45度に外方に角度を付けられた4つのシリコン光電池(PV)セルまたはフォトダイオードである。PVセルまたはフォトダイオードの検出器の表面は、好ましくは、周囲の背景光を赤外線光ビームから除去するためにそれらに重ねられたフィルタ素子を有する。赤外線照射素子は、好ましくは、PVセルのピーク感度範囲に対応する900ナノミータ(nm)においてピークスペクトル出力を有する。使用者装着および静止の照射器/検出器ユニットの両方は量産で製造コストを下げるために同一の構成および同一の部品を有する。
【0011】
各ユニットのPVセルまたはフォトダイオードの出力はボード上の増幅器回路を用いて電圧信号に変換される。PV電圧信号はプロセッサモジュールに伝達され、アナログ/デジタル変換集積回路(IC)ディバイスを用いてバイナリ−データ信号に変換される。出力のバイナリ−データは関連するコンピュータに伝達され、COMポート、USB,他の通信チャンネルを介して、コンピュータ上で実行されるディバイスドライバソフトウエアに伝達される。ディバイスドライバソフトウエアは、入力値を用いてモニターユニットに対する使用者のヘッドセットユニットのX,Y,Z座標と角度方位を計算し、得られた位置と方位角度値を用いてコンピュータ上で実行される関連するアプリケーションプログラム(ゲーム、CADプログラム等)の3Dナビゲーション機能を制御する。
【0012】
本発明の3Dナビゲーションシステムは、ゲーム以外にも広範囲の他のアプリケーションや環境でハンドフリーな(手が自由な)制御に対して用いることができる。シミュレータ、航空機のコクピット、または船舶、宇宙船、車両のコマンドセンターにおいてフライト運動やディスプレー視野を制御するために用いることができる。使用者のハンド(手)をフリーにすることによって、他の機能の同時制御、例えば、コントロールパネル上のコントロールの操作や兵器の発射操作が可能となる。身障者に対しても、ハンドフリー3Dナビゲーションは、コンピュータへの入力、動力駆動の車いす、義肢装置および身障者用の他の補助装置を制御するのに用いることができる。3Dナビゲーションシステムは、また、オペレータがハンドフリーの状態で加工品に適用されるプロセス装置を操作(溶接、塗装、積層等)を行う際に、工業環境での種々の機能を制御する、例えば、加工品の機械補助の移動や向きを案内するのに用いられてもよい。システムは、また同様に、CAD設計、建築や医療のグラヒックス、バーチャルリアリティ、または他の商業用用途で用いることができる。例えば、バーチャルリアリティディスプレーとともにヘッドセットを用いることにより、建築現場、建物、医療診療画像、およびシミュレートされた又は人工の環境を通して3D「ツア」が可能である。
【0013】
【発明の実施の形態】
本発明の基本原理は相補(2方向)の位置/角度検出を用いて十分な組合せの決定変数を提供し、それから、可動ユニットの直線軸に沿った座標位置と回転軸に沿った角度方位が静止ユニットに対して決定できる。可動ユニットは使用者の身体の可動部分に装着され、その移動が3Dアプリケーションプログラムを実行する関連するコンピュータのディスプレー上のカーソル、インスツルメント、キャラクタの3Dナビゲーション制御のために実物のような、または自然な態様で用いられる。以下の詳細な説明では、同一の赤外線照射器および光電池セルアレー検出木ユニットが使用者の頭に装着され、ディスプレーモニターの頂部に取付けものであるとした本発明の好ましい実施例が説明される。しかしながら、多数の他の変形例を用いることができ、本発明の原理に包含されるものである。
【0014】
図1を参照すると、本発明の相補的(2方向)検出原理の基礎となる動作概念が示されている。可動照射器/検出器ユニット(以後ヘッドセットユニットという)10が使用者の体の可動部分(頭)に装着され(着衣)されている。ヘッドセットユニット10はヘッドセットの基準軸NHと整列した赤外線照射器素子10aとヘッドセットの基準軸NHの周囲に対称的に配置された光電池(PVセル)、即ち、フォトダイオードのアレー(配列体)10bから成る。静止照射器/検出器ユニット(以後モニターユニットという)20は、使用者が制御する、または、対話するゲームや3D(三次元)グラフィックを表示するスクリーン、または他のディスプレー環境を持つディスプレーモニター22に配置されている。モニターユニット20も同様にモニターの基準軸NMに整列した赤外線照射器素子20aとPVセル、即ち、フォトダイオードのアレー20bから成る。
【0015】
各照射器/検出器は円錐状の赤外線ビームのような光を照射し、その光は相補ユニット上の検出器素子のアレーによって検出される。各受信ユニットの検出器素子のアレーに当たる光強度の検出は基板上の増幅器回路によって電圧値として測定され、電圧値は検出応答値としてディバイス用のプロセッサモジュール30に出力される。プロセッサモジュール30は検出応答値をIC回路を通してバイナリ−のディバイス出力データに変換し、バイナリ−データをコンピュータに送信し、コンピュータが3Dナビゲーション(操縦)を用いる3Dアプリケーションプログラムを実行させる。コンピュータにはソフトウエアディバイスドライバーがインストールされており、ドライバーはディバイス出力データを用いて静止ユニットに対する可動ユニットの座標位置と方向角度を計算し、3Dアプリケーションプログラムでの移動とカメラアングルの変化のための規定した組合せの機能制御に従ってディバイス出力を解釈する。機能制御は3Dアプリケーションプログラムに適用され、得られた変化を表示させ、または使用者との対話に用いる。
【0016】
図1の平面図において、相補ユニットは直交直線軸XおよびZによって定義された水平面にあるものとして描かれている。ヘッドセットユニット10は中心のヘッドセット基準軸NHを持ち、ヘッドセット基準軸NHは使用者の頭(ヘッド)が向いた方向に向く。モニターユニット20は中心のモニター基準軸NMを持ち、ディスプレー上の中心位置に固定されており、ディスプレースクリーンの面に垂直に合わされている。ヘッドセットユニットの検出器アレー10bからモニターユニットの検出器アレー20bに延びる線VLは、各ユニットが基準軸に対して他のユニットを“見る”視角を明示するものである。モニター基準軸NMはZ軸と一致するものとする。したがって、X軸から測定される回転角はここでは“垂直角”といい、Y軸(図面と垂直である)から測定される回転角は“垂直角”という。
【0017】
図面に描かれているX−Z面に関して、ヘッドセットがX−Z面内で左右方向にモニターユニットのビームを“見る”角度はヘッドセット水平基準角HHNA(その基準軸に対して)といい、モニターユニットがX−Z面内でヘッドセットユニットのビームを“見る”角度はモニター水平角MHA(その基準軸に対して)モニターユニットがX−Z面内でヘッドセットのビームを“見る”角度はモニター水平角MHAという。同様に、ヘッドセットX−Z面に垂直な上下方向でモニターユニットのビームを“見る”角度はヘッドセット垂直基準角HVNA(その基準軸に対して)といい、モニターユニットがX−Z面に垂直にヘッドセットユニットのビームを“見る”角度はモニター垂直角MVAという。2つの相補ユニットの方向応答値がこれらの角度方位とモニターユニット20からヘッドセットユニット10までの距離を計算するために用いられる。次に、これらの値がXおよびY回転軸上のヘッドセットの垂直方位角HVAおよび水平方位角MHAとX,Y,Z座標軸上のヘッドセットの座標値に対する最終値に変換される。
【0018】
前述の方法論は5つの自由度(X、Y、Z直線軸とXおよびY回転軸)における検出を表す。ヘッドセットの装着に関する人間工学によると、使用者にZ回転軸に対して頭を傾けることに基づく6番目の制御入力を与えることは快適なことではない。しかしながら、可動ユニットが体の一層易動性のある部分、例えば手首、または十分に可動性のある対象物、例えばロボットアームに配置してもよい他の環境では、6自由度全部の検出がZ軸の回りの回転角を検出するために可動ユニットに傾きセンサを追加することによって得られる。
【0019】
図2Aおよび図2Bにおいて、照射器/検出器ユニットの好ましい実施例がそれぞれ平面図および側面図で示されている。各照射器/検出器ユニットはユニット基準軸Nの周囲に対称的に配置されたPVセル10b(20b)のアレーによって囲まれた1つの照射器素子10a(20a)を有する。照射器素子はユニットの基準軸Nに中心を置かれた円錐形状の光ビームを他のユニットに向かう方向に照射する。他のユニットからの光ビームはユニットのPVセルの表面に当たり、異なった対のPVセルに当たった光の強度の差の比が測定され、1つのユニットに対するユニットの光源の位置と角度を計算するために用いられる。PVセルは、広角度範囲(死点における基準の100%から45度の入射角における約30%まで)にわたってPVセルのほぼ理想的なリニア検出応答特性を利用するためにユニットの基準軸Nに対する外方角PVAだけ傾斜している。傾斜角はまた広いアスペクタ比を与え、そのアスペクト比内で、1つのユニットが他のユニットから検出される。PVセルの傾斜角は基準軸に対して30乃至40度の範囲内から適切に選ばれる。PVセルはまた距離に対してほぼ理想的な応答を持ち、距離が変化するとき、光源の距離の逆2乗に従う。適切なシリコンPVセルがドイツ国ハンブルグのシーメンスGmbHによって製造名「MultiCrystalline PhotoVoltaic Cells(マルチクリスタリン フォトボルタイク セルズ)」で市販されている。
【0020】
好ましい実施例では、照射器素子はユニットの中央の単一の赤外線(IRED)ダイオードであってもよい。使用者がディスプレーモニターの正面に座って使用者の頭が移動できる約6インチ(15.24cm)から約4フィート(101.6cm)の一般的な距離の範囲に対して、カリフォルニア州ニューベリーパークのオプトダイオードコーポレーションによって製造名OD100で市販されているようなIREDダイオードが用いられても良い。IREDダイオードはガリウム砒素材料から作られ、880乃至900nmの光の周波数(振動数)の範囲で約50ミリワット(mw)の電力出力を持ち、ほぼ対称的なガウスビーム形状を与え、ゲーム環境での一般的な使用に対して満足のいくものである。赤外線は完全に非可視であり、使用者に対して気にならない。赤外線ディバイスは比較的安価であり(ばらで2ドルから3ドルの範囲)、全く健康を害することなく、必要な電力の範囲では発熱は無視できるものである。また、これらのディバイスは、TVのリモートコントロールで通常用いられるとき、非常に強固であり、長寿命であることが知られている。対称ビーム形状を投影するための高品質光学レンズを持った高品質であるが高価なIREDダイオードが同一の会社から製品名Black Ceramic(ブラック セラミック)で市販されている。使用者が2乃至20フィートの一般的なTV目視範囲で対話する環境では、より高電力用のIREDが用いられる。
【0021】
代案として、照射器素子は低電力、低コストのダイオードのクラスタ(集まり)から作られてもよい。例えば、7つの赤外線ダイオードの集まりがほぼ対称的なビーム形状を照射するように六角形の位置と中央に配置されても良い。これらのIREDは、880から900nmの範囲のピークスペクトル出力を持つ20−40mwの出力を持ってもよい。ハニカム(蜂の巣)形状のクラスタは光ビーム円錐体を形成し、光ビーム円錐体の出力は光円錐体の幅を横切る方向に滑らかに減衰する。IREDは安価であるが(ばらで1ドル以下)、クラスタ形状に組み立てられねばならない。
【0022】
図2A、図2Bに示すように、検出器素子の好ましい配列は十字構造の4つのPVセルであり、セルはユニットの基準軸Nから外方に45度の角度(PVA)で傾斜している。PVセルは1.5cm×1cmの長方形状に切断された普通の結晶性の光電池でよい。他のシリコンベースの感光ディバイス(例えば、フォトトランジスタ、フォトダイオード、フォトレジスタ)を用いることができるが、広範囲の入射角にわたってPVセルの感度とほぼ直線の応答が優秀な結果を与えることが見出されている。照射器素子のまわりに、ユニットの基準軸に対して互いに外方に向かって傾斜した角度で4つのセルを取付けることによって、対のセル間の入射光に対する明白な差比が測定できる。この実施例では、一次測定がセル1と3との間で上下の角度範囲(X軸の回りの回転)にわたってなされ、一次測定がセル2と4との間で左右の角度範囲(Y軸の回りの回転)にわたってなされる。上下方向で、下セル3より上セル1に多くの光が当たるならば、正のX軸回転角等に対して校正がなされる。二次測定が、セル1と2の間、セル1と4の間、セル3と2の間、セル3と4の間でなされ、光源角度に対する測定値の校正を改善するために用いられる。図面では、PVセルが直立している方向に向いているが、それらのセルは、使用者の額に装着されるときのユニットの垂直高さを減らすために45度のX構造であってもよい。45度の方位はPVセル応答比からの位置と角度の計算を変更させるものではなく、単に、最終の角度の値において45度の回転に対する校正が必要となるだけである。
【0023】
図3Aにおいて、代表的な室内蛍光のスペクトル軌跡が示されており、600nmでピークを持ち、900nmではほとんど出力がない。対照的に、一般のシリコン光電池は図3Bのチャート(Sandia National Labs:サンディア ナショナル ラブズの光電池システム部門からの許可を受けて再生する)に示すように900nm近くでピーク出力を持つ。900nm範囲でピークスペクトル応答を持つPVセルでnm範囲でピークスペクトル出力を持ったIREDの組み合わせによって理想的な照射器/検出器の組み合わせが得られ、一般的な室内照明状態に対して用いることができる。PVセルの上方にハイパス赤外線フィルタを配置することによって、900nm範囲以下の光の90%が遮断でき、室内条件における大部分の周囲光(例えば、蛍光および白熱光)がブロックされ、感知セルに対する不要信号ノイズを発生を防止する。適切な赤外線フィルタは日本の東京所在の日本樹脂工業株式会社によって製品名「Clarex(クラレックス)NIR-84」で市販されており、それは840nmのピーク透過度を持つものである。
【0024】
PVセル応答への不要周囲光の影響をさらに減ずるために、IREDをパルス駆動回路でパルス化してオン・オフし、IREDオン値からIREDオフ値を減算することによって不要光の値を無関係な点までなくすことが見出されている。IREDがオフのとき、セルは室内と他の周囲光の影響を感知するだけである。またIREDがオンのとき、IREDはPVセルに付加の光信号を発生する。オン値からオフ信号レベルを減算することによって減算値は、極めて厳密に、IREDの光ビームに寄与する光信号だけとなる。極めて明るい室内光でもIREDをパルス化する方法が極めて良好に機能を果たすことが見出されている。60Hzの標準商用正弦波の周波数の何倍かの周波数でIREDをパルス化することによって一層の改善が得られる。蛍光のような室内光は、商用正弦波が正負のAC電圧量を変化させるとき、光の出力を変化させる。正弦波の何倍(例えば、正弦波の2倍、即ち、1秒当たり120回)で感知することによって、商用電力の変動に起因する周囲光の影響がさらになくなる。正弦波に対して2度(1度はIREDがオフのとき、他の1度はIREDがオンのとき)感知して、オン値からオフ値を減算することによって行われる。得られた結果は、ソフトウエア出力に対して例えば5つの測定値のブロックにわたって平均化される。このことは1秒当たり約12の出力情報をディバイスに発生させることになる。IREDディバイスは1秒当たり何倍かの間隔でパルス化する。IRED製造者の規格は、パルス式のIREDが一層多くの電流を取り扱うことができ(より強力な信号を発生し)、パルス式のモードで寿命が長いことを示している。
【0025】
PVセル応答によって発生されたPVセル電流は電流レベルを表す電圧信号を出力するローパスフィルタでオペアンプの基板上の回路に供給される。図1において、各ユニットに対するPVセルの出力電圧信号は共通のプロセッサモジュール30に供給され、そこで、電圧信号はバイナリディバイス出力値に変換される。照射器/検出器ユニットは電力をユニットに供給するワイヤーケーブルによってプロセッサモジュール30と接続されている。代案として、ヘッドセット、即ち、可動ユニットはバッテリーで電力を供給され、ワイヤレスリンク(RF)によってその出力をプロセッサモジュールに伝達してもよい。プロセッサモジュール30はケーブルによって関連するコンピュータの通信ポートに接続されており、コンピュータは3Dナビゲーションディバイス出力を用いるアプリケーションプログラムを実行する。コンピュータとともに3Dナビゲーションディバイスにインストールされたソフトウエアディバイス駆動式プログラムはアプリケーションプログラムによって用いられる位置と角度を誘導するために適切な位置/角度回答の最終計算を行う。
【0026】
実施例:照射器/検出器ユニットとプロセッサモジュールの構成
照射器/検出器ユニットの好ましい構成の例として、ヘッドセットおよびモニターユニットは中央にOD−100IREDが取付けられた成形されたプラスチックのX形状のベースに取付けられた4つのPVセルで同一に形成される。接続リード線(カソードおよびアノード)は後部からIREDに取付けられ、リード線は4つのPVセルに取付けられる。ヘッドセットユニットはナイロン又はケルバーのヘッドバンドに取付けられ、使用者の額の中央に位置決めされる。モニターユニットはディスプレーモニターの頂部の前方に面するパネルにクランプまたは接着性パッドによって取付けられる。モニターユニットのPVセルのリード線と電源ラインはプロセッサモジュールに接続され、プロセッサユニットはデスクトップまたは他の適切な位置に置かれるICマザーボードと電源を含む小さいユニットである。ヘッドセットユニットのリード線も接続ケーブルでプロセッサモジュールに接続されている。代案としては、ヘッドセットはバッテリー電源でもよく、PVセル応答値はRF送信器によってプロセッサモジュールに送信されてもよい。
【0027】
図4Bを参照すると、ディバイス電子ハードウエアは2つの同一のリモートボード、即ち、リモート1とリモート2から成り、リモート1とリモート2はそれぞれヘッドセットユニットとモニターユニットに取付けられ、自己充電式USB周辺機器であるメインユニットにケーブルで接続されている。USBはUniversal Service Bus (ユニバーサル サービス バス)を意味し、それはマイクロソフト コーポレーションによって推進された多様な周辺機器を汎用的に取り扱うための共通データバスの標準通信プロトコルである。図4Aに示すように、各リモートボードは4つの同一のPVセルとIRED赤外線ダイオードに給電し、PVセル電流を出力電圧信号に変換する回路を含む。使用したオペアンプ(LT1468)はPVセルからの電流信号を受け、送信用電圧に変換して接続ケーブルに渡す。ハイインピーダンスIN−入力からのノイズを除去するための33オームの直列抵抗がある。33オームの直列抵抗は、オペアンプがキャパシタンスケーブルを駆動しているので、Voutでも用いられる。40Kフィードバック用抵抗はI対V利得を設定する。リモートユニット内の他の部品は電源分離キャパシタ(10マイクロファラッドのタンタルと0.1マイクロファラッドのセラミック:+5vおよびー5v)とIREDである。
【0028】
図4Cを参照すると、メインユニットはICマザーボードを持ち、マザーボードは6つの主要な機能部分、即ち、マイクロコントローラuC、マルチプレクサMUX、アナログ/デジタルコンバータADC、デュアルパルス発生器回路、基準電圧Vrefおよび電源である。マイクロコントローラuCはUSBとインターフェースで接続しており、そのタイミング基準としてStart-of-Frame(フレームの始動)信号を用いる。マイクロコントローラuCはMUXを経由して正しい入力チャンネルを選択するのに要する波形を発生し、始動してADCから16ビット値を読み取り、リモートユニットの各々に対するIRED用のパルスを発生する。各データ収集サイクルはマイクロ秒毎に16の16ビット値(リモート1から4つの「暗」、リモート1から4つの「明」、リモート2から4つの「暗」、リモート2から4つの「明」)を集める。これらの値(32バイト)の2つの組は2msec毎にPCホストに対して用意されるHIDレポートに形成される。マイクロコントローラuCは標準の12MHz水晶を用いている。メインボードの詳細な回路図は図4Dに示されている。
【0029】
リモートボードからの入力信号はノイズが除去されてマイクロコントローラuCに適用され、マイクロコントローラuCは入力信号を10マイクロ秒で16ビットに変換するADCに送る。2つの同一のパルス発生器回路の各々は出力電流(IRED用)を発生する増幅器であり、出力電流は入力電圧(Vref)に比例するものである。メインユニットは標準のUSBケーブルの5Vパワーラインから給電される。しかしながら、このことは、種々のモードの操作(エミュレーション、ラン時間、サスペンド)中或る制限を要する。ステップダウンユニットはマイクロコントローラ用に3.3Vを発生させる。オフ状態のとき、電圧はADCまたはパルス発生器用には発生されない。このことは能動マイクロコントローラ用の100mA以下に装置の電力消費を減少させる。
【0030】
PV セル応答値の位置/角度値への変換
相補的照射器/検出器ペアの可動ユニットの位置および角度に対する正確な位置及び角度値を誘導するために考慮しなければならない3つの主要な光入力対PVセル応答特性がある。第1に、光ビームパターン(IREDアレーに面するものから外方に向かう)からの1つの偏差値として、光の強度は急激に減少する。もし光ビーム源の方位角度が回転されると、PVセル応答が対応して影響を受ける。このことを本明細書では「ランプの入射角」(LAOI)または「オフセット」効果という。これは位置と角度の値を見出すために正確に測定されモデル化されねばならない第1の主要な効果である。LAOI特性が図5Aに描かれており、IREDアレーに面する零度における1の基準値から中央から約20度における約60%までの偏差値として光の強度の減少を示す。
【0031】
第2に、PVセル応答は、PVセル検出表面上の光の入射角が増加するにつれて減少する。このことを「入射角」(AOI)効果といい、図5Bに示されている。セル応答は、PVセルに当たる光の入射角が入射角の約45度に増加すると、零入射角(直進光)における1の基準値から約60%に減少する。
【0032】
第3に、光源に対するPVセル応答の距離の効果は、図5Cに示すように、厳密に「逆2乗則」に従う。セル信号は、1の基準距離における1の基準値から基準距離の1.25倍の距離における約60%に減少する。
【0033】
PVセル短絡電流(即ち、セルによって発生される電流の最大量、「Isc」としても知られる)は、光源への入射角における変化と光源に至る距離の変化に極めて敏感である。本発明はPVセル応答信号に基づく位置および角度情報を誘導するためにこれらの感度(感光度)を利用する。これらの感度は曲線で描くことができ、曲線に合った公式がこれらの効果をモデル化するために誘導できる。しかし、種々のPVセルおよびIRランプ/レーザの組合せを用いると、これらの関係において理論的には同一であるがわずかな差が生じる。一旦セル/光源の関係が校正測定値で正確に特徴づけられると、これらの関係は安定である。フォトダイオードはPVセルに対するこの角度/距離関係において同様な行動を呈する。
【0034】
ヘッドセット上のペアとなったセル(フォトダイオード)(上下のおよび左右のセル/フォトダイオードのペア)の間のIsc電流の比を感知することによって赤外線光源の基準軸に対する関連する垂直および水平角度が測定を通して決定された機能的関係を用いて計算できる。さらに、それぞれのセル/フォトダイオードの全てによって発生されるIsc電流の大きさを用いて、ヘッドセットとモニタートップのディバイスとの間の距離が計算できる。最後に、標準の三角関数の恒等式および計算した角度および距離の概算値を用いることによって、使用者のヘッド位置が対応して計算され、コンピュータモニターの前面の「零」位置に対するX、Y、Z座標軸に転換され、ヘッドセットモニターの角度はモニターユニットに対するヘッドセットのXおよびY軸からの方位角度を誘導するように転換される。
【0035】
適切な位置/角度解答法は、各セルにおいて検出された入射光を表すPVセルの応答出力を静止ユニットに対する可動ユニットの位置と角度を正確に表す値に変換する。1つの好ましいアプローチとして、実施例の位置/角度解答ルーチンは、下記の通りである。
(i)ディバイスの「ランプ−入射角」(LAOI)効果、「入射角」(AOI)効果、および「距離の逆2乗」(Distance)効果のソフトウエアモデルまたはシミュレーションを組み立てる。
(ii)多項式の係数の「最も適合した」解答を導き出すためにモデル化したディバイスの出力を校正の組合せのそのままのセル信号の出力に曲線的に適合することによって「最も適合した」多項式を見つけ出す。
(iii)解答空間をディバイスの使用に対する角度と距離の範囲において複数のセルに分割する。
(iv)解答空間のセルのすべてに対する多項式の係数の「最も適合した」解答の組合せを求める。
(v)ディバイスで用いるために多項式の係数の解答の組合せをソフトウエアドライバに蓄える。
(vi)ディバイスの操作使用中、検出しようとするヘッドセットの特定の位置におけるPVセル応答値によってアドレスされた解答セルに対応する多項式の係数の貯蔵した解答の組合せを回収する。
(vii)係数の組合せを曲線適合多項式に適用し、検出しようとするハンドセットの特定の位置に対する距離と方位角に対する解答値を誘導する。
(viii)アプリケーションプログラムの3Dナビゲーション(操縦)制御のためのソフトウエアドライバによって用いることができる周辺機器用の標準位置/角度値にこれらの解答値を変換する。
【0036】
実施例:曲線適合解答方法
各PVセルの電流信号応答出力は、ランプ−入射角(LAOI)、PVセルの検出面への入射角(AOI)、光源からの距離の逆2乗に従って変化する。これらの効果の各々は、一旦、PVセルのそのままの出力値の適切なサンプリングがPVセルのサンプルの校正点において測定されると、完全に予想でき、任意の点に対して概算できる。その結果、動作範囲内の任意の点におけるPVセルの出力は以下のようにモデル化できる。
セル出力=距離効果*入射角効果*オフセット効果
【0037】
PVセル出力のこのモデルを用いて、PVセルの応答値のシミュレーションがPVセルのための「トレーニング(処理用)組合せ」のシミュレートした値を誘導するために創作された。ソフトウエアのシミュレーションプログラムは空間内の光源(可動ユニットの)の種々の位置用にPVセル応答をシミュレートするように書かれたものであり、相対的なセル出力を計算する。距離効果、入射角効果、オフセット効果に対するセル出力のモデル化した関係を与えるシミュレーションプログラムを書くことは当業者にとってよく知られたことであると思われるので、本明細書では詳細には記載しない。シミュレーションプログラムを用いて、処理ファイルは1000のランダムな空間位置における相対PVセル出力に対して計算された。次に、処理ファイルはシミュレーションに対する入力が各位置においてなんであるかを見出すために用いられる。前述の解答ルーチンが始動される前に、セルの出力の各々を正規化する効果を持つ校正ファクタが掛けられねばならないことに留意すべきである。各セルの出力は同一の条件のもとで測定されねばならず、8つのセルの平均が導きだされる。各セルに対する校正倍率は、セルの出力を平均値にする倍率である。
【0038】
図6において、ソフトウエアシミュレーションプログラム用のインターフェースのスクリーンショット(スクリーンのスナップ写真)がディバイスの解答入力をモデル化するために示されている。使用者はヘッドセットユニットの角度と位置を変化できる。セルはヘッドセットに対するH1-H4とモニターユニットに対するM1-M4として左側のコラムで識別できる。セルの番号付けは頂部から始まり、組み立て体に向かって時計方向に増加する。各セルは距離、AOIおよびLAOIに対する出力応答値を有する。これらのファクタの効果は各セルの相対セル出力(x1000として示す)において反映される。ディバイスの性能はこのように効率的に特徴つけられる。ルーチンは角度及び距離値を1000倍に変化させるように生成され、これらの入力を、セルの出力とともに、テキストファイル内に記録する。曲線適合または同様な数学的方法による「適合」によって、入力は経済的な解答ルーチンを導くために出力にモデル化される。
【0039】
シミュレーションは、装置の全ての角度の有効な範囲が任意の方向における約14度であり、ヘッドセットに対する最適距離がモニターユニットから約10インチ乃至18インチであることを示している。このことは、各限界点におけるセル出力の実際のレベルが依然として正しい解答を出すことに基づいて結論されたものである。次に、−14度と+14度の間で全ての角度と10インチと18インチとの間で距離とを随意に変化させ、これらの値とセル出力を記録したテキストトレーニングファイルが作られた。
【0040】
最良の推量として、入力はセルの出力の和に対するセルの対の出力の差の比に取られた。このことにより、これらの比は解答を得ようとする解答値(距離と角度値)に対して高い相関関係を有することが見出された。そのような定量の例は以下の通りである。
比1=(M1−M3)/((M1+M3)+0.000001)
これはモニター頂部ユニットのセル1とセル3との出力値の和に対する差の比である。PVセルが頂部から時計方向に番号を付すと、これは頂部PVセルと底部PVセルの差と和との比を表す。もし頂部セルがより多く光を受信すると、使用者の頭がモニターより上方にあることを正の定量が示す。したがって、この定量が、モニター垂直角(Monitor Vertical Angle)に対する解答式に高い相関関係を有する1つの可能な入力としてとられる。試行錯誤方法でこのアプローチを用いると、3つの他の比がモニター垂直角に対する解答式に対する高い相関関係入力として認識された。
比2=(H1−H3)/((H1+H3)+0.000001)
比3=(M1−M2)/((M1+M2)+0.000001)
比4=(M2−M3)/((M2+M3)+0.000001)
したがって、ACT_MVA=funcMVA(MVAx)、これはアレーMVAxにおける比に対する関数コール(呼び出し)である。
【0041】
次に、標準の曲線適合ソフトウエアが、モニター垂直角(MVA)に対する解答とこれらの4つの比との間の高い相関関係を発生するのに、用いられる。そのようなソフトウエアの例は、米国ペンシルバニア州オークデイル所在のオークデイル エンジニアリング コーポレーション(Oakdale Engineering Corp.)によって製品名データフィット(Datafit)7.0で市販されている。この製品は可能な曲線適合解答に対する177の標準の多項拡張式を提供する。標準のセットの試行錯誤のテストによって、以下の多項拡張式(2つの変数に対する標準のセットにわたる4つの入力変数に対して二重にされた)がMVAと4つの比との間に極めて高い相関関係を発生することが認識された。MVAを以下の式3で示す。
【0042】
【式3】
【0043】
X1乃至X4は前述の4つの比である。変数「a」乃至「t」は曲線適合ソフトウエアによって導き出された方程式の係数である。
【0044】
同様なアプローチが入力としての高い相関関係比を見出し、モニター水平角(MHA)、ヘッドセット垂直基準角(HVNA)、ヘッドセット水平基準角(HHNA)に対する多項拡張式の係数を解答するのになされる。モニター水平角(MHA)、ヘッドセット垂直基準角(HVNA)、ヘッドセット水平基準角(HHNA)を以下の式4で示す。
【0045】
【式4】
【0046】
「基準」に対するヘッドセットの角度はヘッドセットの基準軸に対するモニターユニットのヘッドセット使用者の視野の垂直および水平角度を表す。これらの角度を、X参照軸、即ち、モニター頂部ユニットの垂直軸の方向、に対するXおよびY回転軸からのヘッドセット垂直および水平角度に対する最終値に変換するために、以下の調整がなされる。
ACT_HVA=ACT_HVNA+ACT_MVA
ACT_HHA=ACT_HHNA+ACT_MHA
【0047】
モニターユニットに対するヘッドセットユニット用のX,Y,Z座標軸に沿った最終ヘッドセット位置値は、ヘッドセットユニットに対する方位角MVAとMHAおよびモニターユニットに対するヘッドセットユニットの距離に対する解答から導き出される。距離の解答は多項拡張式に対して以下の4つの入力を用いることによって見出される。
DIST×(1)= SumHao
DIST×(2)= SumMao
DIST×(3)= HLAOeffect
DIST×(4)= MLAOeffect
ACT_DIST=funcDIST(DISTx)
【0048】
これらの入力ファクタは以下の式5に従って計算される。
【式5】
【0049】
距離値に対する前述の計算の誘導は複雑であり、さらに詳細には付録1(式7〜11)として付けられている「位置/角度解答用ソースコード」を参照されたい。
【0050】
モニターユニットに対するヘッドセットユニットの方位角度と距離を解答した後、これらは、モニターに対する真の前方に向く角度とX,Y,Z座標に三角法で変換されねばならない。角度とX,Y,Z座標はアプリケーションプログラムに対する周辺機器の最終出力としてソフトウエアディバイスドライバによって用いられる標準のフォーマットである。X,Y,Z座標への距離の変換は周知の三角法を用いて以下の式6で表すように計算される。
【0051】
【式6】
【0052】
システムの速度と正確さを増加させる一層の改善として、解決スペースが解決区分の三次元アレーに分割され、係数の組が各区分に対して計算されメモリに貯蔵されることを除いて、同一の曲線適合解決ルーチンが用いられる。実際には、このことによって、解答式がディバイスの動作範囲にわたって調整可能であり、色々な方向または距離における僅かな違いのPVセル応答は、式の係数の単一の組合せを用いるように強制されるものではなく、個々にモデル化できる。このことによって、曲線適合プロセスは解答スペースの極めて小さいセグメント(区画)を一層正確にモデル化し、一層正確な結果を導き出すことができる。
【0053】
セグメントのアレーは垂直角、水平角、および距離でアドレスが決められ、これらは、M1/M2比、H2/H4比、PVセルの未処理の値の和にほぼ相関関係する。したがって、例えば、M1/M2比(モニターの垂直角に対応する)は10セグメントに分割される範囲をカバーでき、H2/H4比(ヘッドセットの水平角に対応する)は10セグメントに分割でき、PVセルの未処理の値の和(ヘッドセットの距離に対応する)は10のセグメントに分割できる。かくして、3Dアレーは10×10×10=1000のセグメントを持つ。セグメントの各々はMVA,MHA,HVA,HHAに対する係数値の組合せと、前述の距離解答値を持つ。各解答式に対する20の係数(「a」乃至「t」)では、20×5=100のデータのサブスペースがセグメントに対して割り当てられねばならない。
【0054】
多数のセグメントに対する係数の組合せを計算するために、対応的に拡張されたトレーニング組合せのシミュレーションの値が作成される必要がある。例えば、シミュレーションプログラムが用いられて1,000セグメントに対して12,000の随意の位置サンプルまたは10,000セグメントに対して240,000のサンプルを作成する。これらのサンプルは係数計算ルーチンによって取り扱われ、この係数計算ルーチンは自動的にトレーニングデータをM1/M2比、H2/H4比、PV和の値に基づいた3D係数アレーに対応するビンに区分けする。各ビン/セグメントに対する値は最も適合する係数を導き出すために式に曲線適合される。これらの値は、これらのファイルをロードするために始動時にソフトウエアディバイスドライバによる使用のためにデータベースに格納される。
【0055】
前述の多数セグメント解答ルーチンは、曲線適合の最も難しいフォームである非線形多重回帰の使用を要件とする。非線形多重回帰を解くための標準な方法はレベンバーグ(Levenberg)−マーコード(Marquardt)アルゴリズムとして知られている。このアルゴリズムの詳細な説明に関しては、1992年ケンブリッジ大学プレスによって出版された「フォートランにおける数処理法」という題の出版物を参照されたい。
【0056】
曲線適合解答ルーチンの前述の例は、PCレベルアプリケーションプログラムを実行するコンピュータディスプレーを制御する入力として用いられ、通常のデスクトップ距離で操作されるディバイスの動作範囲に対して安定であることが見出されている。これは、CPU処理の媒体レベル(ペンティアムII クラス プロセッサの代表的な処理容量の約1%)、低いレベルのRAMメモリ処理、およびPCレベルアプリケーションおよびゲームにとって満足のいく正確さの媒体レベルに対して低いことが特徴である。しかしながら、異なった環境の下で好ましい他のアプローチが使われてもよい。例えば、コンピュ−タ補助設計(CAD)の用途に対しては、特定の値への収束のための入力変数の大きな組合せを用いて解答値を再計算する反復アプローチは高レベルのCPU処理と低レベルのRAMメモリを要するが、高レベルの正確さを発生する。このアプローチは、処理容量が高く、高い正確さが必要な場合、適している。他のアプローチは予め計算したおよび(または)測定した値の大きなルックアップテーブルを用いることである。このことは大容量のRAMメモリが要求されるが、高速であるが正確さはかなり低くてもよいものである。その理由は、初期校正を保ち、メモリの要求を保証するために、格納される値の数は比較的低く、例えば100K値の組合せに保たなければならないからである。個々のPVセル応答値が広範な可変性を持つが特定の解答に収束することが予想されるならば、ニュートラルネットワーク回路またはソフトウエアが用いられてもよい。
【0057】
3 D ナビゲーションのための位置/角度値の使用
前述のように導き出された位置値X,Y,Zおよび回転軸上のヘッドセット方位角XおよびYは5の自由度におけるナビゲーションに対する正確な制御入力を与える。6つの自由度のすべてのナビゲーションは頭または可動ユニットが装着された使用者の他の身体部分の回転を測定する傾斜センサまたは他のディバイスを加えて、X回転軸から「転動」値を計算するることによって得られる。これらの制御入力はアプリケーションプログラム中で広範囲の3D移動およびカメラアングル、即ち、視野の変化機能を制御するためにアプリケーションプログラム開発者によって使用できる。これらの機能は一般には機能ライブラリに格納されアプリケーションプログラムによってなされるコールによって取り出される。例えば、使用者の頭の位置値は3Dスペース中の移動を制御するために用いられ、頭の方位値はディスプレーのカメラアングルを制御するのに用いられる。また、頭の移動の量または速度は移動の速度を制御してもよい。例えば、5度の角度のシフトは右へのゆっくりしたパン(上下左右の移動)をもたらし、他方、20度の角度のシフトは迅速な移動するパンを発生する。ソフトウエア開発者は、相互作用の異なったモードまたはディスプレーのモニターを必要とするアプリケーションのためのサンプリング速度、例えばゲームにおける滑らかな運動効果のための比較的遅いサンプリング速度、またはジッターのないディバイスまたは機器制御用の平均技術または平滑技術での高いサンプリング速度を変えるように選択できる。
【0058】
3Dナビゲーションシステムは3Dゲーム環境におけるキャラクタ(人物)の移動と視野を制御するのに特に適している。最近のゲーム制御方法では、使用者は校正された「0」、即ち、静止位置を持つ。零位置から離れる方向への制御器の運動がその方向へのゲームのキャラクタの移動となり、他方、零に戻ることによりキャラクタは停止する。本発明の3Dナビゲーションシステムで使用者が頭の位置を変えることによって、戦闘方法や武器の使用のような他のゲーム制御器を操作するために使用者のハンドフリー(手が自由)の状態で、ゲームにおける3Dキャラクタの移動が制御できる。頭の位置を左、右、前方、後方に変えることによって、これらの方向での対応する移動が導き出される。頭を上下させる運動によって導き出される値はまたソフトウエア開発者によって利用できる。例えば、3Dキャラクタは「上方」の頭の移動によって「飛ぶ」、または「下方」の頭の移動によって「うずくまる」ことを行う。頭の移動の量または速度はゲームでのキャラクタの移動の速度を制御するのに用いられてもよい。
【0059】
頭の位置移動とは対照的に、ヘッドセットユニットの頭の方位角の変化は3D環境におけるカメラまたはキャラクタの視野を制御に用いられることができる。例えば、使用者の頭の左へまたは右への回転は対応してカメラアングルを左または右にパンさせるのに用いることができる。使用者の頭の零への復帰回転に続くパン動作は新たな視野におけるカメラアングルを変えて保持するのに用いることができる。ソフトウエア開発者は頭の角度の変化の大きさ又は速度を感知することによって異なったパン動作の速度を行うことができる。例えば、5度の角度変化によってゆっくりとパンさせ、他方、20度の角度変化または迅速な変化運動によってパンを迅速に移動させることができる。流動的な真に迫った態様では、頭の位置と角度の変化の命令が容易に組み合わされて、新たな次元と感度を3Dゲームナビゲーションおよびハンドフリー制御に与えることができる。他の望ましい機能は、使用者が例えば頷くことのような所定の頭のジェスチュアをするとき、オブジェクトをクリックするまたは拡大することであってもよい。
【0060】
流動的な新に迫った態様では、命令が容易に組み合わされる。例えば、使用者は前方に動き、又、わずかに左側を見るように決めて続けることができる。一層進んだ動作により軽快に行動し、キャラクタの操作の際に使用者の側で実行でき、それによって3Dゲームの理解と興味を高める。3Dナビゲーションシステムによって3Dスペースにおける頭の位置と3軸上の頭の角度変化を正確に検出でき、真の6つの自由度を伴ったハンドフリーのナビゲーション制御が得られる。前述の結果、ゲームの熱中者は、現在の方法よりも一層明快で刺激のある態様で3Dゲームでキャラクタ制御と相互作用できる。このディバイスによって、新たな次元と感度の3Dのキャラクタゲーム操作が可能である。
【0061】
USB接続を通してPCソフトウエアを制御するために、ディバイスは他のHID USBディバイスと同様に、ディバイスからUSBケーブルを通してPCに軸の値を直接通信できない。ドライバは未処理のUSBのPVセル信号値の受信を引き受けねばならない。USBマイクロコントローラは定速度でドライバに未処理のPV セル信号値を供給する。この速度は1秒当たりほぼ50個所の位置の更新に十分である。各位置の更新はUSBケーブルにおいてほぼ400ビットのデータ移送を必要とする。
【0062】
USBから位置更新データを受信すると、ドライバは解答アルゴリズムを呼び出す。解答アルゴリズムはドライバ内のコードモジュールでも別個のケメルモード dll内に含まれるコードモジュールであってもよい。解答アルゴリズムは使用者零を条件としたモニターの前面の使用者の頭の絶対値の真の座標/角度を返す。この解答コードは、始動時に、システムレジストリーからディバイス内のPVセルの各々に対する工場校正オフセット値を読み込んでもよい。GUIアプリケーションは必要な校正値をレジストリーに入れ、インストールの際レジストリーに使用者零を格納する。使用者零は、使用者がモニターから「下方に」に座っている(普通、Y座標零)又はモニターに接近してまたはモニターから離れて座っている(普通、Z座標零)の状況を意味するものである。解答コードは使用者零に基づいて軸を圧縮/伸張できる。例えば、もしY座標内で有効なディバイス範囲が−10インチ乃至+10インチであり、使用者零が−2インチにおける軸であるならば、出力範囲0乃至−10は、ディバイスの全有効出力範囲を保持するために−2と−10の間のスペースに「圧縮」されてもよい。
【0063】
ドライバに戻された解答データはいわゆる「プロフィール(輪郭)コード」によって更に処理されてもよい。次に、ドライバは軸解答とともに「このプロフィールコード」を含む他のコードモジュール/ケメルモード dllを呼び出す。このプロフィールコードは理想的にはAPIと外部コールによって変化できる多数の変数を含む。プロフィールコードは受信した軸解答データの多数の操作と誘導を行っても良い。例えば、
1. 軸は再割り当てできる。例えば、X軸はY軸となり、Y軸はX軸となる。
2.軸の値は異なったリニアリティに再割り当てできる。例えば、X軸は直線関係から指数または対数関係に再割り当てできる。このことは或るゲームで最もよく働く入力を生成するのに有効である。
3.もしある数値/タイミングの条件が一致すると、キーストロークが発生されてもよい。或るゲームはプログラムの条件によって生成されるキーストロークに依存しているからである。
4.マウスの動きがマウスのクリックと同様に生成できる。
5.さらに、プロフィールコードは位置データの滑らかさを助けるために軸データの選択可能な移動平均を計算できても良い。他の改良したノイズ削減と軸改良技術も可能である。
【0064】
これらのオプションを用いて、ソフトウエアの許諾者またはゲーム開発者は市販されている特定のゲームへディバイス入力を整合するのに最もよく適したプロフィールを生成できる。又、ディバイスプロフィールはディスプレー上のカーソルを制御し、身障者が頭の動きでコンピュータを操作できるように頭による入力を用いるために生成できる。格納されたプロフィールを用いて、ディバイスは任意のゲームまたは他のソフトウエアパッケージで働くように使用者によって調整できるようにしてもよい。このことにより、例えば、ウエブサイトからのダウンロードのためのプロフィールを提供することによって、使用者が特定のアプリケーションまたは使用環境でディバイスを用いるのに要求される時間を短縮できる。上級の使用者はディバイスを制御する際に最も大きな融通度を得ることができる。
【0065】
3Dナビゲーションシステムは広範囲の他の3Dアプリケーションで「ハンドフリー」制御に用いられてもよい。航空機のコクピットや船舶、宇宙船車両等のコマンドセンター内のフライト運動やディスプレー視野を制御するのに用いられてもよい。使用者の手が自由であると、コントロールパネルや銃器の発射のような他の機能の同時制御が可能である。身障者にとって、3Dナビゲーションシステムは、動力駆動の車いすの方向ばかりでなく登り、降り、旋回、傾斜運動を案内するのに用いることができる。3Dナビゲーションシステムは工業環境で種々の機能、例えば、手を自由にしてワークピースに加えられるプロセス装置を操作する(溶接、塗布、積層等)とともにワークピースの機械補助運動と方位のガイドを制御するのに用いることができる。同様に、システムは、CAD設計、建築、医療、バーチャルリアリティアプリケーションで用いることもできる。例えば、バーチャルリアリティのディスプレーモニターとともにヘッドセットを使用することによって3D「ツア」が、使用者の頭が視野の変化をシミュレートをする角度変化で、3D構造、建物、医療画像およびシミュレートされたまたは人工の環境を介する運動を行うことができる。
【0066】
可動ユニットは使用者が掛けている眼鏡、ヘッドホーン、肩、手首、または体の他の部分に装着でき、静止ユニットはディスプレーモニターと一体に形成でき、またはキーボード上のコントロールパネルまたは使用者に面するデスク上に取付けることができる。照射器/検出器ユニットは同一である必要はない。例えば、2つのユニットの赤外線照射器は異なった電力で、または異なった円錐角度で赤外線ビームを照射し、またはPVセル検出器は異なったサンプリング速度で動作してもよい。ヘッドユニットはバッテリで給電されてもよく、ワイヤレス送信で未処理の出力値をプロセッサモジュールに送信してもよく、この場合、低電力、狭いビームおよび遅いサンプリング速度を用いて、バッテリの電力消費を減少させてもよい。例えば、他のスペクトル光、レーザ光、超音波、電磁波パルスのような他の照射器および検出器技術が用いられてもよい。
【0067】
多数の他の変形や変更が本発明の前述の記載からなされうる。そのような変形や変更は本発明に包含されるものである。
【0068】
付録1
「位置/角度解答用ソースコード」は以下の式7から式11に記載の通りである。
【0069】
【式7】
【式8】
【式9】
【式10】
【式11】
【図面の簡単な説明】
【図1】 図1は本発明の相補的検出原理に基づく動作概念の概略説明図である。
【図2】 図2はそれぞれ平面図および側面図で示す照射器/検出器ユニットの好ましい実施例の概略図である。
【図3】 図3Aは、900nmおよびそれより大きな範囲における極めてわずかな照射を示す標準の室内白熱光のスペクトル内容のチャートであり、図3Bは900nmに近いピーク出力感度を示す共通のシリコン光電池セルのスペクトル応答のチャートである。
【図4】 図4Aはヘッドおよびモニターリモートユニット用のオンボード回路の例の回路図であり、図4Bはディバイスの電子ハードウエア用の部品の相互接続の概略図であり、図4CはプロセッサモジュールのICマザーボードの図品の概略図であり、図4DはプロセッサモジュールのメインボードICの回路図である。
【図5】 図5AはIRED光ビームの中心から縁部までのPVセル応答のランプー入射角(LAOI)を示すチャートであり、図5Bは、PVセルへの入射角が直線から急な傾斜角に増加するときの入射角(AOI)効果を示す図であり、図5Cは距離とともにPVセル応答の逆2乗関係を示す図である。
【図6】 図6は3Dナビゲーションディバイス用のPVセル応答出力からの方位角と位置に対する実験上の「曲線適合」解決式を誘導するためのソフトウエアシミュレーションプログラムの動作の例を示すスクリーン図である。
Claims (20)
- 3Dナビゲーションシステムにおいて、相補的な対の照射器/検出器ユニットを有し、その1つ(10)は使用者によって動かされる可動な入力部分に装着されており、他の1つ(20)は使用者に面する静止位置に取付けられており、相補的な対の各照射器 /検出器ユニットは他のユニットに向いた方向にユニットの基準軸上に中心がある光ビームを照射するための照射器素子(10a,20a)と、検出表面上で他のユニットからの光ビームを受信してそれぞれの検出表面上で他のユニットから受信したビームの光強度を表すそれぞれの出力信号の出力を与えるようにユニットの規準軸から外方に面する検出表面を持つ、照射器素子の周囲に配置された光検出器(10b、20b)のアレーと、可動ユニットの光検出器アレーからの出力信号と静止ユニットの光検出器アレーからの出力信号を受信して組み合わせた入力として出力信号を用いて静止ユニットに対する可動ユニットの位置と方位角を表す位置および角方位値を計算するプロセッシングユニット(30、コンピュータ)と、を有することを特徴とする3Dナビゲーションシステム。
- 請求項1記載の3Dナビゲーションシステムにおいて、可動ユニット10は使用者の身体の一部に装着されており、使用者の手によって操作を必要とせずに静止ユニットの前方の3Dスペース内で身体のその部分を動かすことによって制御されることを特徴とする3Dナビゲーションシステム。
- 請求項2記載の3Dナビゲーションシステムにおいて、可動ユニットは使用者の額の中心に装着されており、静止ユニットは使用者が位置した前方のディスプレーモニターの頂部に取付けられていることを特徴とする3Dナビゲーションシステム。
- 請求項1記載の3Dナビゲーションシステムにおいて、相補的な対の照射器/検出器ユニットは同一構成を有し、同一特性で動作することを特徴とする3Dナビゲーションシステム。
- 請求項4記載の3Dナビゲーションシステムにおいて、各照射器/検出器ユニットは光検出器としてX構造で配列された4つの光電池(PV)セルとX構造の中心に配置された照射器素子としての赤外線ダイオード(IRED)を有することを特徴とする3Dナビゲーションシステム。
- 請求項5記載の3Dナビゲーションシステムにおいて、各PVセルはユニットの基準軸に対して30度乃至45度の角度に向けられた平らな検出表面を有し、IREDはユニットの基準軸に対して30度乃至45度の角度に延びる円錐形状の光ビームを照射することを特徴とする3Dナビゲーションシステム。
- 請求項5記載の3Dナビゲーションシステムにおいて、PVセルは約900nmの範囲のピークスペクトル応答を持つ共通のシリコンPVセルであり、IREDは約900nmの範囲のピークスペクトル出力を持つGaAsダイオードであることを特徴とする3Dナビゲーションシステム。
- 請求項5記載の3Dナビゲーションシステムにおいて、2つのユニットのIREDは背景光を減じる、PVセル応答値の差信号を取り出すためにオンとオフにパルス化されていることを特徴とする3Dナビゲーションシステム。
- 請求項1記載の3Dナビゲーションシステムにおいて、各照射器/検出器ユニットは光検出器アレーからの電流応答信号を出力電圧信号に変換するためのボード上のオペアンプを有し、出力電圧信号をバイナリ−ディバイス出力値に変換する共通のプロセッサモジュールに出力電圧信号を電気的に結合することを特徴とする3Dナビゲーションシステム。
- 請求項9記載の3Dナビゲーションシステムにおいて、プロセッサモジュールは3Dナビゲーションシステムを用いるアプリケーションプログラムを実行するコンピュータの通信ポートに接続されており、バイナリ−ディバイス出力値はアプリケーションプログラム用のナビゲーション制御入力としてのバイナリ−ディバイス出力値を用いるためにコンピュータにインストールされたソフトウエアディバイスドライバにプロセッサモジュールから提供されることを特徴とする3Dナビゲーションシステム。
- 3Dナビゲーション方法において、その1つ(10)は使用者によって動かされる可動な入力部分に装着されており、他の1つ(20)は使用者に面する静止位置に取付けられている相補的な対の照射器/検出器ユニットを用意し、各照射器/検出器ユニットは他のユニットに向いた方向に光ビームを照射するための照射器素子(10a,20a)と、検出表面上で他のユニットからの光ビームを受信してそれぞれの検出表面上で他のユニットから受信したビームの光強度を表すそれぞれの出力信号の出力を与える光検出器のアレー(10b、20b)を有し、可動ユニットの光検出器アレーからの出力信号と静止ユニットの光検出器アレーからの出力信号を処理し、静止ユニットに対する可動ユニットの位置と方位角を表す位置および角方位値を計算するために受信して組み合わせた入力として出力信号を用いることを特徴とする3Dナビゲーション方法。
- 請求項11記載の3Dナビゲーション方法において、可動ユニット10は使用者の身体の一部に装着されており、使用者の手によって操作を必要とせずに静止ユニットの前方の3Dスペース内で身体のその部分を動かすことによって制御されることを特徴とする3Dナビゲーション方法。
- 請求項11記載の3Dナビゲーション方法において、相補的なユニットの光検出器素子は他のユニットの光ビームの相対的方位における変化に起因して「ランプ−入射角」(LAOI)、即ち「オフセット」効果で、光検出器素子の検出面上の光ビームの入射角における変化に起因する「入射角」(AOI)効果で、光検出器素子からの光ビーム源の相対距離における変化に起因する距離の逆2乗(距離)効果で予想可能な態様で変化する応答特性を持つことを特徴とする3Dナビゲーション方法。
- 請求項13記載の3Dナビゲーション方法において、光検出器の各検出器素子からの出力信号は以下のように与えられることを特徴とする3Dナビゲーション方法
セル出力=距離効果×入射角効果×オフセット効果。 - 請求項11記載の3Dナビゲーション方法において、各ユニットの光検出器アレー(可動ユニットを「H」ユニットと呼び、静止ユニットを「M」と呼ぶ)は時計方向に符号「M1」乃至「M4」および「H1」乃至「H4」と付した同一のX構造における4つの光検出器セルを持ち、各アレーの4つのセルの出力信号は、解答を出すために入力値と解答式の以下の定義に従って、それぞれのユニットに対する垂直角および水平角が処理され、
(a)M垂直角入力変数:
MVAx(1)=(M1−M3)/((M1+M3)+0.000001)
MVAx(2)=(H1−H3)/((H1+H3)+0.000001)
MVAx(3)=(M1−M2)/((M1+M2)+0.000001)
MVAx(4)=(M2−M3)/((M2+M3)+0.000001)
ACT_MVA=funcMVA(x)
(b)M水平角入力変数:
MHAx(1)=(M2−M4)/((M2+M4)+0.000001)
MHAx(2)=(H2−H4)/((H2+H4)+0.000001)
MHAx(3)=(M1−M2)/((M1+M2)+0.000001)
MHAx(4)=(M2−M3)/((M2+M3)+0.000001)
ACT_MHA=funcMHA(x)
(c)H垂直角(基準軸に対する)入力変数:
MVNAx(1)=(H1−H3)/((H1+H3)+0.000001)
MVNAx(2)=(M1−M3)/((M1+M3)+0.000001)
MVNAx(3)=(H2−H3)/((H2+H3)+0.000001)
MVNAx(4)=(H1−H2)/((H1+H2)+0.000001)
ACT_MVNA=funcMVNA(x)
(d)H水平角(基準軸に対する)入力変数:
HHNAx(1)=(H2−H4)/((H2+H4)+0.000001)
HHNAx(2)=(M2−M4)/((M2+M4)+0.000001)
HHNAx(3)=(H2−H3)/((H2+H3)+0.000001)
HHNAx(4)=(H1−H2)/((H1+H2)+0.000001)
ACT_HHNA=funcHHNA(x)
ここで、前述のACT関数は下記式1の多項拡張式に曲線適合することによって解答が求められる
【式1】 ことを特徴とする3Dナビゲーション方法。 - 3Dナビゲーション解答方法において、その1つは使用者によって動かされる可動な入力部分に装着されており、他の1つは使用者に面する静止位置に取付けられている相補的な対の照射器/検出器ユニットからの出力信号を受信し、各照射器/検出器ユニットは他のユニットに向いた方向に光ビームを照射するための照射器素子と、検出表面上で他のユニットからの光ビームをして受信したビームの光強度を表す出力信号を与える光検出器のアレーを有し、可動ユニットの光検出器アレーからの出力信号と静止ユニットの光検出器アレーからの出力信号を処理し、静止ユニットに対する可動ユニットの位置と方位角を表す位置および角方位値を計算するために受信して組み合わせた入力として出力信号を用いることを特徴とする3Dナビゲーション解答方法。
- 請求項17記載の3Dナビゲーション解答方法において、
(i)他のユニット上の光検出器アレーに当たる1つユニットの光ビームの応答出力信号の「ランプ−入射角」(LAOI)効果、「入射角」(AOI)効果、距離の逆2乗(距離)効果のソフトウエアモデルまたはシミュレーションを作り、
(ii)多項式係数の「最も適合」する解答の組合せを導き出すためにモデル化した応答出力を未処理のセル信号出力の校正の組合せに曲線適合させることによって「最も適合した解答多項式を見出す、
ことを特徴とする3Dナビゲーション解答方法。 - 請求項18記載の3Dナビゲーション解答方法において、光検出器アレーの出力の処理は、
(iii)光アレーが動作できる解答スペースを複数の解答セグメントに分割し、
(iv)解答スペースのセグメントの各々に対する多項式係数の「最も適合する」解答の組合せを求め、
(v)解答スペースのそれぞれのセグメントにおける所望の値を求めるために曲線適合多項式に係数の組合せを適用することによって各解答セグメントにたいする多項式係数の解答の組合せを用いる、
ことを特徴とする3Dナビゲーション解答方法。 - 請求項19記載の3Dナビゲーション解答方法において、各解答セグメントは静止ユニットに対する可動ユニットの垂直角、水平角および距離に解答スペースを区分することによってアドレスが付けられることを特徴とする3Dナビゲーション解答方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15109199P | 1999-08-27 | 1999-08-27 | |
US60/151,091 | 1999-08-27 | ||
US16481299P | 1999-11-10 | 1999-11-10 | |
US60/164,812 | 1999-11-10 | ||
US09/648,192 US6424410B1 (en) | 1999-08-27 | 2000-08-23 | 3D navigation system using complementary head-mounted and stationary infrared beam detection units |
US09/648,192 | 2000-08-23 | ||
PCT/US2000/023517 WO2001016929A1 (en) | 1999-08-27 | 2000-08-24 | 3d navigation system using complementary head-mounted and stationary infrared beam detection units |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003529817A JP2003529817A (ja) | 2003-10-07 |
JP2003529817A5 JP2003529817A5 (ja) | 2004-12-24 |
JP3693611B2 true JP3693611B2 (ja) | 2005-09-07 |
Family
ID=27387079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001520396A Expired - Fee Related JP3693611B2 (ja) | 1999-08-27 | 2000-08-24 | 静止赤外線ビームユニットと相補のヘッド装着ユニットを用いる三次元操縦システム |
Country Status (6)
Country | Link |
---|---|
US (2) | US6424410B1 (ja) |
EP (1) | EP1210707A4 (ja) |
JP (1) | JP3693611B2 (ja) |
AU (1) | AU760712B2 (ja) |
CA (1) | CA2383448C (ja) |
WO (1) | WO2001016929A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI753554B (zh) * | 2020-08-28 | 2022-01-21 | 致茂電子股份有限公司 | 自動化調整電子設備的方法 |
Families Citing this family (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6594007B2 (en) * | 2001-02-01 | 2003-07-15 | Snap-On Technologies, Inc. | Method and apparatus for mapping system calibration |
AUPR667801A0 (en) * | 2001-07-27 | 2001-08-23 | Honeywell Limited | A control system for allowing an operator to proportionally control a work piece |
US6971471B2 (en) * | 2001-12-07 | 2005-12-06 | General Motors Corporation | Multi-directional drive |
US7203911B2 (en) * | 2002-05-13 | 2007-04-10 | Microsoft Corporation | Altering a display on a viewing device based upon a user proximity to the viewing device |
US20040061680A1 (en) * | 2002-07-10 | 2004-04-01 | John Taboada | Method and apparatus for computer control |
US7146299B2 (en) * | 2002-08-16 | 2006-12-05 | The Boeing Company | Adjustable simulation vehicle capabilities |
FR2848870B1 (fr) * | 2002-12-18 | 2008-11-28 | Sylvius | Systeme de jeu a commande perfectionnee de deplacement d'objets virtuels affiches |
US7157811B2 (en) * | 2003-02-28 | 2007-01-02 | Kohler Co. | Method and apparatus for sensing voltage in an automatic transfer switch system |
US7312699B2 (en) * | 2003-04-01 | 2007-12-25 | Chornenky T Eric | Ear associated machine-human interface |
US7266446B1 (en) | 2003-05-13 | 2007-09-04 | Pelosi Michael J | Helmet mounted tracking system and method |
GB0325572D0 (en) * | 2003-11-03 | 2003-12-03 | Baker Philip J | Physical activity apparatus |
US20060055786A1 (en) * | 2004-03-09 | 2006-03-16 | Viosport | Portable camera and wiring harness |
HU0401034D0 (en) * | 2004-05-24 | 2004-08-30 | Ratai Daniel | System of three dimension induting computer technology, and method of executing spatial processes |
US7710395B2 (en) * | 2004-07-14 | 2010-05-04 | Alken, Inc. | Head-mounted pointing and control device |
GB0505362D0 (en) * | 2005-03-15 | 2005-04-20 | Intelligent Earth Ltd | Interface control |
US8427426B2 (en) * | 2005-05-27 | 2013-04-23 | Sony Computer Entertainment Inc. | Remote input device |
US7548230B2 (en) * | 2005-05-27 | 2009-06-16 | Sony Computer Entertainment Inc. | Remote input device |
US7773074B2 (en) * | 2005-06-28 | 2010-08-10 | Siemens Medical Solutions Usa, Inc. | Medical diagnostic imaging three dimensional navigation device and methods |
SG131777A1 (en) * | 2005-10-06 | 2007-05-28 | Sony Corp | Game machine with internal positioning device |
US20070136026A1 (en) * | 2005-11-28 | 2007-06-14 | Farheap Solutions Inc. | GPS-Guided Visual Display |
US8303505B2 (en) | 2005-12-02 | 2012-11-06 | Abbott Cardiovascular Systems Inc. | Methods and apparatuses for image guided medical procedures |
KR101261550B1 (ko) * | 2006-02-01 | 2013-05-06 | 삼성전자주식회사 | 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법 |
US9958934B1 (en) * | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
US9364755B1 (en) | 2006-05-08 | 2016-06-14 | Nintendo Co., Ltd. | Methods and apparatus for using illumination marks for spatial pointing |
JP5330640B2 (ja) * | 2006-05-09 | 2013-10-30 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
WO2007137093A2 (en) * | 2006-05-16 | 2007-11-29 | Madentec | Systems and methods for a hands free mouse |
DE102006032117A1 (de) * | 2006-07-12 | 2008-01-24 | Volkswagen Ag | Informationssystem für ein Verkehrsmittel und Verfahren zum Steuern eines solchen Informationssystems |
US10994358B2 (en) | 2006-12-20 | 2021-05-04 | Lincoln Global, Inc. | System and method for creating or modifying a welding sequence based on non-real world weld data |
US9104195B2 (en) | 2006-12-20 | 2015-08-11 | Lincoln Global, Inc. | Welding job sequencer |
US9937577B2 (en) | 2006-12-20 | 2018-04-10 | Lincoln Global, Inc. | System for a welding sequencer |
EP1944678B1 (en) * | 2007-01-10 | 2018-07-18 | Harman Becker Automotive Systems GmbH | Calibration of head tracking systems |
US7976157B2 (en) | 2007-05-08 | 2011-07-12 | Gunnar Optiks, Llc | Eyewear for reducing symptoms of computer vision syndrome |
US8004493B2 (en) | 2007-06-08 | 2011-08-23 | Apple Inc. | Methods and systems for providing sensory information to devices and peripherals |
US8669938B2 (en) * | 2007-11-20 | 2014-03-11 | Naturalpoint, Inc. | Approach for offset motion-based control of a computer |
EP2110076A1 (en) * | 2008-02-19 | 2009-10-21 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | Method and device for near-field dual-wave modality imaging |
WO2009152381A1 (en) * | 2008-06-13 | 2009-12-17 | Gunnar Optiks, Llc | Low-power eyewear for reducing symptoms of computer vision syndrome |
CN102137618B (zh) * | 2008-07-25 | 2015-06-17 | 健康与环境慕尼黑德国研究中心赫姆霍茨中心(有限公司) | 组织生物标志物的定量多光谱光声断层摄影(msot) |
US8834168B2 (en) | 2008-08-21 | 2014-09-16 | Lincoln Global, Inc. | System and method providing combined virtual reality arc welding and three-dimensional (3D) viewing |
US8851896B2 (en) * | 2008-08-21 | 2014-10-07 | Lincoln Global, Inc. | Virtual reality GTAW and pipe welding simulator and setup |
US9318026B2 (en) | 2008-08-21 | 2016-04-19 | Lincoln Global, Inc. | Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment |
US8884177B2 (en) | 2009-11-13 | 2014-11-11 | Lincoln Global, Inc. | Systems, methods, and apparatuses for monitoring weld quality |
US9483959B2 (en) | 2008-08-21 | 2016-11-01 | Lincoln Global, Inc. | Welding simulator |
US9330575B2 (en) | 2008-08-21 | 2016-05-03 | Lincoln Global, Inc. | Tablet-based welding simulator |
US8915740B2 (en) | 2008-08-21 | 2014-12-23 | Lincoln Global, Inc. | Virtual reality pipe welding simulator |
US9280913B2 (en) | 2009-07-10 | 2016-03-08 | Lincoln Global, Inc. | Systems and methods providing enhanced education and training in a virtual reality environment |
US9196169B2 (en) | 2008-08-21 | 2015-11-24 | Lincoln Global, Inc. | Importing and analyzing external data using a virtual reality welding system |
TWI391844B (zh) * | 2008-08-28 | 2013-04-01 | Ind Tech Res Inst | 多維度光學控制裝置及其方法 |
US20100188429A1 (en) * | 2009-01-29 | 2010-07-29 | At&T Intellectual Property I, L.P. | System and Method to Navigate and Present Image Libraries and Images |
US20100188579A1 (en) * | 2009-01-29 | 2010-07-29 | At&T Intellectual Property I, L.P. | System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data |
US8274013B2 (en) | 2009-03-09 | 2012-09-25 | Lincoln Global, Inc. | System for tracking and analyzing welding activity |
US20100306825A1 (en) | 2009-05-27 | 2010-12-02 | Lucid Ventures, Inc. | System and method for facilitating user interaction with a simulated object associated with a physical location |
US9271654B2 (en) | 2009-06-29 | 2016-03-01 | Helmholtz Zentrum Munchen Deutsches Forschungszentrum Fur Gesundheit Und Umwelt (Gmbh) | Thermoacoustic imaging with quantitative extraction of absorption map |
US9773429B2 (en) | 2009-07-08 | 2017-09-26 | Lincoln Global, Inc. | System and method for manual welder training |
US9221117B2 (en) | 2009-07-08 | 2015-12-29 | Lincoln Global, Inc. | System for characterizing manual welding operations |
US10748447B2 (en) | 2013-05-24 | 2020-08-18 | Lincoln Global, Inc. | Systems and methods providing a computerized eyewear device to aid in welding |
US9011154B2 (en) | 2009-07-10 | 2015-04-21 | Lincoln Global, Inc. | Virtual welding system |
WO2011012274A1 (en) | 2009-07-27 | 2011-02-03 | Helmholtz Zentrum München Deutsches Forschungszentrum Für Gesundheit Und Umwelt (Gmbh) | Imaging device and method for optoacoustic imaging of small animals |
US8569655B2 (en) | 2009-10-13 | 2013-10-29 | Lincoln Global, Inc. | Welding helmet with integral user interface |
FI122052B (fi) * | 2009-11-06 | 2011-08-15 | Domuset Oy | Menetelmä ja järjestely kotona olevan lemmikkieläimen kulkureitin seuraamiseksi |
US9468988B2 (en) | 2009-11-13 | 2016-10-18 | Lincoln Global, Inc. | Systems, methods, and apparatuses for monitoring weld quality |
US9316827B2 (en) | 2010-09-20 | 2016-04-19 | Kopin Corporation | LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking |
EP2652726B1 (en) | 2010-12-13 | 2019-11-20 | Lincoln Global, Inc. | Welding training system |
WO2012125596A2 (en) | 2011-03-12 | 2012-09-20 | Parshionikar Uday | Multipurpose controller for electronic devices, facial expressions management and drowsiness detection |
US9243902B2 (en) | 2011-07-26 | 2016-01-26 | Thales Visionix, Inc. | System for light source location detection |
US9241851B2 (en) | 2011-10-03 | 2016-01-26 | University Of South Florida | Hands-free user interface devices |
US20130297460A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for facilitating transactions of a physical product or real life service via an augmented reality environment |
US20160093233A1 (en) | 2012-07-06 | 2016-03-31 | Lincoln Global, Inc. | System for characterizing manual welding operations on pipe and other curved structures |
US9767712B2 (en) | 2012-07-10 | 2017-09-19 | Lincoln Global, Inc. | Virtual reality pipe welding simulator and setup |
US20140078137A1 (en) | 2012-09-14 | 2014-03-20 | Nagabhushanam Peddi | Augmented reality system indexed in three dimensions |
EP2708982B1 (en) * | 2012-09-18 | 2019-09-11 | Samsung Electronics Co., Ltd | Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof |
EP2742854B1 (en) | 2012-12-11 | 2021-03-10 | iThera Medical GmbH | Handheld device and method for tomographic optoacoustic imaging of an object |
US9134793B2 (en) * | 2013-01-04 | 2015-09-15 | Kopin Corporation | Headset computer with head tracking input used for inertial control |
EP2754388B1 (en) | 2013-01-15 | 2020-09-09 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH | System and method for quality-enhanced high-rate optoacoustic imaging of an object |
US9297655B2 (en) | 2013-03-15 | 2016-03-29 | Raytheon Company | Associating signal intelligence to objects via residual reduction |
CN105263585B (zh) * | 2013-05-14 | 2020-07-14 | 庞巴迪公司 | 用于飞机的交互式电子标识系统及操作方法 |
US10930174B2 (en) | 2013-05-24 | 2021-02-23 | Lincoln Global, Inc. | Systems and methods providing a computerized eyewear device to aid in welding |
US20150072323A1 (en) | 2013-09-11 | 2015-03-12 | Lincoln Global, Inc. | Learning management system for a real-time simulated virtual reality welding training environment |
US10083627B2 (en) | 2013-11-05 | 2018-09-25 | Lincoln Global, Inc. | Virtual reality and real welding training system and method |
US9836987B2 (en) | 2014-02-14 | 2017-12-05 | Lincoln Global, Inc. | Virtual reality pipe welding simulator and setup |
JP6379572B2 (ja) * | 2014-03-27 | 2018-08-29 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
EP3111440A1 (en) | 2014-06-02 | 2017-01-04 | Lincoln Global, Inc. | System and method for manual welder training |
US9301562B1 (en) * | 2014-10-17 | 2016-04-05 | Samuel Chen | Glove gun |
US10565446B2 (en) | 2015-09-24 | 2020-02-18 | Tobii Ab | Eye-tracking enabled wearable devices |
CN108700934B (zh) | 2015-09-24 | 2022-07-26 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
WO2017128046A1 (zh) * | 2016-01-26 | 2017-08-03 | 神画科技(深圳)有限公司 | 三维空间定位传感器及互动显示系统和3d图像生成方法 |
US9789880B2 (en) | 2016-03-03 | 2017-10-17 | Uber Technologies, Inc. | Sensory stimulation system for an autonomous vehicle |
US9902403B2 (en) * | 2016-03-03 | 2018-02-27 | Uber Technologies, Inc. | Sensory stimulation for an autonomous vehicle |
US10518172B2 (en) * | 2016-03-07 | 2019-12-31 | Htc Corporation | Accessory management of virtual reality system |
US10093252B2 (en) | 2016-04-01 | 2018-10-09 | Uber Technologies, Inc. | Transport facilitation system for configuring a service vehicle for a user |
US10012990B2 (en) | 2016-04-01 | 2018-07-03 | Uber Technologies, Inc. | Optimizing timing for configuring an autonomous vehicle |
US9989645B2 (en) | 2016-04-01 | 2018-06-05 | Uber Technologies, Inc. | Utilizing accelerometer data to configure an autonomous vehicle for a user |
US10255816B2 (en) | 2016-04-27 | 2019-04-09 | Uber Technologies, Inc. | Transport vehicle configuration for impaired riders |
US9922466B2 (en) | 2016-08-05 | 2018-03-20 | Uber Technologies, Inc. | Virtual reality experience for a vehicle |
US10043316B2 (en) | 2016-08-05 | 2018-08-07 | Uber Technologies, Inc. | Virtual reality experience for a vehicle |
EP3319066A1 (en) | 2016-11-04 | 2018-05-09 | Lincoln Global, Inc. | Magnetic frequency selection for electromagnetic position tracking |
US10913125B2 (en) | 2016-11-07 | 2021-02-09 | Lincoln Global, Inc. | Welding system providing visual and audio cues to a welding helmet with a display |
US20180130226A1 (en) | 2016-11-07 | 2018-05-10 | Lincoln Global, Inc. | System and method for calibrating a welding trainer |
US10997872B2 (en) | 2017-06-01 | 2021-05-04 | Lincoln Global, Inc. | Spring-loaded tip assembly to support simulated shielded metal arc welding |
US11557223B2 (en) | 2018-04-19 | 2023-01-17 | Lincoln Global, Inc. | Modular and reconfigurable chassis for simulated welding training |
US11475792B2 (en) | 2018-04-19 | 2022-10-18 | Lincoln Global, Inc. | Welding simulator with dual-user configuration |
US10890979B2 (en) | 2018-04-23 | 2021-01-12 | Industrial Technology Research Institute | Controlling system and controlling method for virtual display |
US11353952B2 (en) | 2018-11-26 | 2022-06-07 | Tobii Ab | Controlling illuminators for optimal glints |
ES2894178B2 (es) | 2020-08-07 | 2022-09-13 | Ascasibar Ioritz Hontecillas | Sistema de generación de gráficos en tres dimensiones |
US11119570B1 (en) * | 2020-10-29 | 2021-09-14 | XRSpace CO., LTD. | Method and system of modifying position of cursor |
US20230324680A1 (en) * | 2022-04-08 | 2023-10-12 | Mirza Faizan | Apparatus to enable differently abled users to communicate and a method thereof |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3603688A (en) * | 1967-11-08 | 1971-09-07 | Perkin Elmer Corp | Alignment apparatus |
GB1520154A (en) * | 1976-02-24 | 1978-08-02 | Elliott Brothers London Ltd | Apparatus for measuring the angular displacement of a bod |
US4209255A (en) * | 1979-03-30 | 1980-06-24 | United Technologies Corporation | Single source aiming point locator |
GB2143948B (en) * | 1983-07-23 | 1986-08-06 | Ferranti Plc | Apparatus for determining the direction of a line of sight |
GB2157426B (en) * | 1984-04-09 | 1988-02-10 | Gec Avionics | Angular position sensors |
US4649504A (en) | 1984-05-22 | 1987-03-10 | Cae Electronics, Ltd. | Optical position and orientation measurement techniques |
IL77610A (en) * | 1986-01-15 | 1994-01-25 | Technion Res & Dev Foundation | Single camera three-dimensional head position sensing system |
US5065231A (en) * | 1988-09-26 | 1991-11-12 | Apple Computer, Inc. | Apparatus and method for merging input RGB and composite video signals to provide both RGB and composite merged video outputs |
US5187540A (en) * | 1990-10-31 | 1993-02-16 | Gec Ferranti Defence Systems Limited | Optical system for the remote determination of position and orientation |
WO1992009904A1 (en) * | 1990-11-29 | 1992-06-11 | Vpl Research, Inc. | Absolute position tracker |
JP2618101B2 (ja) * | 1991-01-30 | 1997-06-11 | 大日本スクリーン製造株式会社 | 画像のレイアウト処理方法 |
JP2671619B2 (ja) * | 1991-03-06 | 1997-10-29 | 富士通株式会社 | 映像生成処理装置 |
US5227985A (en) | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
JP2767340B2 (ja) | 1991-12-26 | 1998-06-18 | ファナック株式会社 | 物体の3次元位置・姿勢計測方式 |
US5367614A (en) | 1992-04-01 | 1994-11-22 | Grumman Aerospace Corporation | Three-dimensional computer image variable perspective display system |
US5297061A (en) | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
US5574479A (en) * | 1994-01-07 | 1996-11-12 | Selectech, Ltd. | Optical system for determining the roll orientation of a remote unit relative to a base unit |
GB9420578D0 (en) | 1994-10-12 | 1994-11-30 | Secr Defence | Position sensing of a remote target |
US5696527A (en) * | 1994-12-12 | 1997-12-09 | Aurvision Corporation | Multimedia overlay system for graphics and video |
US5598525A (en) * | 1995-01-23 | 1997-01-28 | Cirrus Logic, Inc. | Apparatus, systems and methods for controlling graphics and video data in multimedia data processing and display systems |
US5592236A (en) * | 1995-06-01 | 1997-01-07 | International Business Machines Corporation | Method and apparatus for overlaying two video signals using an input-lock |
FR2738628B1 (fr) * | 1995-09-08 | 1997-10-24 | Sextant Avionique | Dispositif optique de determination de l'orientation d'un solide |
US5856844A (en) | 1995-09-21 | 1999-01-05 | Omniplanar, Inc. | Method and apparatus for determining position and orientation |
EP0780783A1 (de) * | 1995-12-23 | 1997-06-25 | Deutsche ITT Industries GmbH | Virtual-Reality-Wiedergabesystem mit einer optischen Lageerkennungseinrichtung |
US5729475A (en) * | 1995-12-27 | 1998-03-17 | Romanik, Jr.; Carl J. | Optical system for accurate monitoring of the position and orientation of an object |
US5574836A (en) | 1996-01-22 | 1996-11-12 | Broemmelsiek; Raymond M. | Interactive display apparatus and method with viewer position compensation |
US5889505A (en) | 1996-04-04 | 1999-03-30 | Yale University | Vision-based six-degree-of-freedom computer input device |
-
2000
- 2000-08-23 US US09/648,192 patent/US6424410B1/en not_active Expired - Fee Related
- 2000-08-24 CA CA002383448A patent/CA2383448C/en not_active Expired - Fee Related
- 2000-08-24 EP EP00959471A patent/EP1210707A4/en not_active Withdrawn
- 2000-08-24 AU AU70791/00A patent/AU760712B2/en not_active Ceased
- 2000-08-24 WO PCT/US2000/023517 patent/WO2001016929A1/en active IP Right Grant
- 2000-08-24 JP JP2001520396A patent/JP3693611B2/ja not_active Expired - Fee Related
-
2002
- 2002-05-31 US US10/160,657 patent/US7405726B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI753554B (zh) * | 2020-08-28 | 2022-01-21 | 致茂電子股份有限公司 | 自動化調整電子設備的方法 |
Also Published As
Publication number | Publication date |
---|---|
AU760712B2 (en) | 2003-05-22 |
AU7079100A (en) | 2001-03-26 |
EP1210707A1 (en) | 2002-06-05 |
CA2383448A1 (en) | 2001-03-08 |
EP1210707A4 (en) | 2008-06-04 |
US6424410B1 (en) | 2002-07-23 |
JP2003529817A (ja) | 2003-10-07 |
US7405726B2 (en) | 2008-07-29 |
US20020175897A1 (en) | 2002-11-28 |
CA2383448C (en) | 2005-06-28 |
WO2001016929A1 (en) | 2001-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3693611B2 (ja) | 静止赤外線ビームユニットと相補のヘッド装着ユニットを用いる三次元操縦システム | |
US10845893B2 (en) | High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device | |
US9477312B2 (en) | Distance based modelling and manipulation methods for augmented reality systems using ultrasonic gloves | |
Burdea et al. | Virtual reality technology | |
US8325138B2 (en) | Wireless hand-held electronic device for manipulating an object on a display | |
US7788607B2 (en) | Method and system for mapping virtual coordinates | |
JPH06501119A (ja) | コンピュータ装置入力装置 | |
EP1340218A1 (en) | Electronic user worn interface device | |
US11209916B1 (en) | Dominant hand usage for an augmented/virtual reality device | |
US20200218365A1 (en) | Method of Motion Capture | |
JPH08511111A (ja) | 姿勢検出の改良 | |
US20040041828A1 (en) | Adaptive non-contact computer user-interface system and method | |
Kim et al. | An optical tracker for augmented reality and wearable computers | |
RU2662399C1 (ru) | Система и способ для захвата движений и положения тела человека и частей тела человека | |
US20170293369A1 (en) | Hand-Controllable Signal-Generating Devices and Systems | |
US8072417B2 (en) | Stand-alone device, system and method for navigating in a space having at least three dimensions | |
Hand | A survey of 3-D input devices | |
WO2011005080A1 (en) | Three dimensional tracking system and method | |
TWI735830B (zh) | 追蹤系統及其相關追蹤方法 | |
Nitzsche et al. | Mobile haptic interaction with extended real or virtual environments | |
Yano et al. | Haptic interface for perceiving remote object using a laser range finder | |
JPH10171591A (ja) | ポインティング装置、ポインタの移動方法および携帯型情報処理装置 | |
Stone | Position and orientation sensing in virtual environments | |
CN110794958B (zh) | 在增强/虚拟现实环境中使用的输入设备 | |
Sato et al. | Development of grip-type master hand “MeisterGRIP” |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20020401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20020401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050621 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080701 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090701 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |