JP4872768B2 - ヘッドモーショントラッカ装置 - Google Patents
ヘッドモーショントラッカ装置 Download PDFInfo
- Publication number
- JP4872768B2 JP4872768B2 JP2007102537A JP2007102537A JP4872768B2 JP 4872768 B2 JP4872768 B2 JP 4872768B2 JP 2007102537 A JP2007102537 A JP 2007102537A JP 2007102537 A JP2007102537 A JP 2007102537A JP 4872768 B2 JP4872768 B2 JP 4872768B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- head
- helmet
- reflective
- leds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
ここで、光学方式のHMT装置とは、反射板や発光体等のマーカーを取り付けたヘルメット等を頭部に装着して、マーカーの位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置をいう。
なお、識別情報を有さない各LEDを、1個1個順番に点灯させることにより、識別することも考えられるが、1個1個順番に点灯させなければならないので、時々刻々と変化する頭部装着型表示装置付ヘルメットの動きをモニタリングすることは困難である。
具体的には、まず、図5に示すように、第一カメラ2aの撮影方向と第二カメラ2bの撮影方向とが定まった状態において、エピポーラ幾何学に基づく予測により、第一カメラ2aで撮影された第一画像Aと第二カメラ2bで撮影された第二画像Bとの間での共通のLEDの組を認識した。
よって、各LED15a〜15iに識別情報を持たせたり、1個1個順番に点灯させたりすることなく、各LED15a〜15iのそれぞれの現在位置を識別することができ、その結果、時々刻々と変化する頭部装着型表示装置付ヘルメット50の動きをモニタリングすることができる。
また、「顔面部材」としては、顔正面を覆うように配置されるものが挙げられ、例えば、バイザー、コンバイナー等が挙げられる。
さらに、「光学マーカー」としては、自発光するマーカーでもよく、赤外光及び/又は紫外光を反射するマーカーでもよい。なお、自発光するマーカーを用いた場合、お互いに異なる波長の赤外光を発光するLEDでもよく、互いに同じ波長の赤外光を発光するLEDでもよい。
そして、「反射マーカー」としては、赤外光及び/又は紫外光を反射するとともに、可視光を透過する性質のマーカーであればよく、例えば、誘電体多層膜等で形成されたマーカー等が挙げられる。なお、お互いに異なる形状のマーカーでもよく、互いに同じ形状のマーカーでもよい。
また、反射マーカーは透明であり、かつ、赤外光や紫外光を反射するものであるため、装着者の視界を狭めたり妨げたりすることはなく、頭部装着装置を装着した装着者の広範囲の視界を確保することができる。
また、上記の発明において、前記反射マーカーは、半球形状の凸部であるようにしてもよい。
ここで、「半球形状」は、実質的に半球形状であればよく、半球形状に近い形状(多角形状)であってもよい。
本発明によれば、光源から照射された赤外光や紫外光を、半球形状の反射マーカーが適切に反射することで、反射マーカーをカメラ装置が確実に検出することができる。
本発明によれば、上述したように、各光学マーカー及び反射マーカーに識別情報を持たせたりすることなく、光学マーカー及び反射マーカーのそれぞれの現在位置を識別することができる。よって、反射マーカーを同一の材料や形状で形成することができる。
本発明によれば、複数の光学マーカーの内で特定の光学マーカーだけを点灯したり消灯したりすることができるため、頭部装着装置上における光学マーカーの相対的な位置関係を、初期のマーカー位置情報としてマーカー記憶部に容易に記憶することができる。
さらに、上記の発明において、前記頭頂部材は、装着者の頭部に装着されるヘルメットであり、かつ、前記顔面部材は、装着者の顔面に配置されるバイザーであるようにしてもよい。
搭乗体30は、パイロット3が搭乗する飛行体のコックピットであり、パイロット3が着席する座席30aを備える。
LED群15は、図2及び図3に示すように、同じ波長の赤外光を発光する複数個(14個)のLED15a〜15nがお互い一定の距離(d2)を隔てるようにして取り付けられたものである。
また、反射コーティング膜16a〜16dは、透明な材料で形成されている。よって、頭部装着型表示装置付ヘルメット10を装着したパイロット3は、反射コーティング膜16a〜16dの前方実在物を視認することが可能となっている。
なお、上記反射コーティング膜としては、例えば、赤外光を反射するとともに、可視光を透過する性質の誘電体多層膜等で形成されたものが挙げられる。また、光源として、例えば、紫外光を照射するものを用い、反射コーティング膜として、例えば、紫外光のみを反射するとともに、可視光を透過する性質の誘電体多層膜等で形成されたものが用いられてもよい。また、反射コーティング膜の形状としては、例えば、半球形状等が挙げられる。
よって、上述したように、第一画像A及び第二画像B中に映し出されているLED15a〜15n及び/又は反射コーティング膜16a〜16dの位置により、第一カメラ2aからの方向角度(α)と第二カメラ2bからの方向角度(β)とを算出し、第一カメラ2aと第二カメラ2bとの間の距離(d1)を用いることにより、所謂、三角測量の手法でLED15a〜15n及び/又は反射コーティング膜16a〜16dのカメラ装置2(2a、2b)に対する位置を算出できるようにしてある(図6参照)。
このとき、LED15a〜15n及び反射コーティング膜16a〜16dの位置を、空間座標で表現することができるようにするために、カメラ装置2(2a、2b)に固定され、カメラ装置2とともに移動する座標系である相対座標系(XYZ座標系)を用いる。なお、相対座標系(XYZ座標系)の具体的な原点位置やXYZ軸方向の説明については後述する。
また、メモリ41には、制御部20が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対座標系(XYZ座標系)を記憶する相対座標記憶部43と、LED15a〜15n及び/又は反射コーティング膜16a〜16dのそれぞれの位置を含むマーカー位置情報を記憶するマーカー記憶部44と、(d2)/2を直径とする球状とする予想移動範囲の大きさを記憶する予想移動範囲記憶部45とを有する。
また、マーカー記憶部44には、予め、初期のマーカー位置情報として、LED15a〜15n及び反射コーティング膜16a〜16dの頭部装着型表示装置付ヘルメット10上におけるそれぞれの相対的な位置関係が記憶されている。
そこで、上述したように、エピポーラ幾何学に基づく予測により、第一カメラ2aで撮影された第一画像Aと第二カメラ2bで撮影された第二画像Bとの間での共通の像の組を認識する(図5参照)。しかし、第一画像Aの像と第二画像Bの像とのそれぞれの組の対応付けを行った各像の組が、頭部装着型表示装置付ヘルメット10に取り付けられたLED15a〜15n及び反射コーティング膜16a〜16dのいずれにそれぞれ対応するかはここでは認識できない。
具体的には、まず、上述したように、マーカー記憶部44に時間t1(直前)に記憶されたLED15a、15b、15eのそれぞれの位置を中心とする(d2)/2を直径とする球状である各予想移動範囲Dを相対座標系(XYZ座標系)に設定する。次に、時間t2(現在)の画像データを用いて、時間t2(現在)に予想移動範囲Dに存在するものを、時間t1に設定された予想移動範囲Dに対応するものと同一のものであると識別する(図7参照)。つまり、時間t2に、予想移動範囲Daに存在するLED15o(t2)を、時間t1に設定された予想移動範囲Daに対応するLED15a(t1)と同一のものであると識別する。同様に、時間t2(現在)に予想移動範囲Dbに存在するLED15p(t2)を、LED15b(t1)と同一のものであるとし、時間t2(現在)に予想移動範囲Deに存在するLED15q(t2)を、LED15e(t1)と同一のものであると識別する。これにより、LED15a、15b、15eのそれぞれの現在位置を算出する。このとき、時間t2(現在)の画像データ(第一画像A及び第二画像B)に3個のLED15a、15b、15eのみしか撮影されていなくても、3個のLED15a、15b、15eが識別できれば、予め、初期情報としてLED15a〜15n及び反射コーティング膜16a〜16dの相対的な位置関係が記憶されているので、他のLED15a〜15n及び反射コーティング膜16a〜16dの現在位置も算出することができる。これにより、LED15a〜15n及び反射コーティング膜16a〜16dの現在位置を含むマーカー位置情報がマーカー記憶部44に記憶される。このようにマーカー位置情報を時々刻々と算出してマーカー記憶部44に蓄積していく。
具体的には、カメラ装置2(2a、2b)に対するLED15a〜15n及び反射コーティング膜16a〜16dの現在位置が特定されるので、LED15a〜15n及び反射コーティング膜16a〜16dが取り付けられている頭部装着型表示装置付ヘルメット10の現在位置や現在角度が相対座標系(XYZ座標系)を用いて特定できるようになる。つまり、カメラ装置2(2a、2b)に対する頭部装着型表示装置付ヘルメット10の現在位置や現在角度を算出でき、位置座標や座標軸に対する角度で表現できる。
また、反射コーティング膜16a〜16dは透明であり、かつ、赤外光を反射するものであるため、パイロット3の視界を狭めたり妨げたりすることはなく、頭部装着型表示装置付ヘルメット10を装着したパイロット3の広範囲の視界を確保することができる。
さらに、LED15a〜15n及び反射コーティング膜16a〜16dに識別情報を持たせたりすることなく、LED15a〜15n及び反射コーティング膜16a〜16dのそれぞれの現在位置を識別することができる。よって、反射コーティング膜16a〜16dを同一の材料や形状で形成することができる。
(1)上述したHMT装置1では、カメラ装置2は、搭乗体30の天井に設置されている構成としたが、カメラ装置2は、搭乗体30の前面に2台のカメラ2a、2bが水平となるように設置されているような構成としてもよい(図9参照)。つまり、本発明によれば、パイロットがあらゆる方向に向いても、パイロットの頭部位置(X、Y、Z)及び頭部角度(Θ、Φ、Ψ)を算出することができ、これにより、カメラ装置の設置場所の自由度が高くなり、その結果、カメラ装置が天井に設置できなくても問題がない。
2 カメラ装置
3 パイロット
5 光源
10 頭部装着型表示装置付ヘルメット(頭部装着装置)
11 頭頂部材(ヘルメット)
12 顔面部材(バイザー)
15 光学マーカー(LED)
16 反射マーカー(反射コーティング膜)
22 相対情報算出部
24 マーカー位置情報算出部
44 マーカー記憶部
Claims (4)
- 頭頂部材と透明な顔面部材とを有する頭部装着装置と、
前記頭頂部材に取り付けられる複数の光学マーカーと、
前記顔面部材に取り付けられ、赤外光及び/又は紫外光を反射するとともに可視光を透過する複数の透明な反射マーカーと、
赤外光及び/又は紫外光を照射する光源と、
立体視で赤外光及び/又は紫外光を検出するカメラ装置と、
前記カメラ装置で検出された赤外光及び/又は紫外光に基づいて、光学マーカーの現在位置と、反射マーカーの現在位置と、光学マーカー及び反射マーカーの現在位置との少なくともいずれかの現在位置を含むマーカー位置情報を算出するマーカー位置情報算出部と、
前記マーカー位置情報に基づいて、前記カメラ装置に対する頭部装着装置の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備え、
前記頭頂部材は、装着者の頭部に装着されるヘルメット又はヘッドセットであり、かつ、
前記顔面部材は、装着者の顔面に配置されるバイザー又はコンバイナーであることを特徴とするヘッドモーショントラッカ装置。 - 前記反射マーカーは、半球形状の凸部であることを特徴とする請求項1に記載のヘッドモーショントラッカ装置。
- 算出されたマーカー位置情報を記憶するマーカー記憶部と、
前記マーカー位置情報算出部は、直前に記憶されたマーカー位置情報を用いて、光学マーカー及び/又は反射マーカーの球状の予想移動範囲を設定することにより、光学マーカー及び反射マーカーをそれぞれ識別することを特徴とする請求項1又は2に記載のヘッドモーショントラッカ装置。 - 前記光学マーカーは、赤外光を出射する発光ダイオードであることを特徴とする請求項1〜請求項3のいずれか1項に記載のヘッドモーショントラッカ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007102537A JP4872768B2 (ja) | 2007-04-10 | 2007-04-10 | ヘッドモーショントラッカ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007102537A JP4872768B2 (ja) | 2007-04-10 | 2007-04-10 | ヘッドモーショントラッカ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008262264A JP2008262264A (ja) | 2008-10-30 |
JP4872768B2 true JP4872768B2 (ja) | 2012-02-08 |
Family
ID=39984715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007102537A Active JP4872768B2 (ja) | 2007-04-10 | 2007-04-10 | ヘッドモーショントラッカ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4872768B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017076235A1 (zh) * | 2015-11-05 | 2017-05-11 | 丰唐物联技术(深圳)有限公司 | 基于头戴设备的头部运动轨迹的检测方法及装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5800616B2 (ja) * | 2011-07-15 | 2015-10-28 | オリンパス株式会社 | マニピュレータシステム |
US8786846B2 (en) * | 2012-07-05 | 2014-07-22 | Matvey Lvovskiy | Method for determination of head position relative to rectangular axes for observer equipped with head-mounted module |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1163927A (ja) * | 1997-08-27 | 1999-03-05 | Mitsubishi Heavy Ind Ltd | 頭部位置・姿勢の計測装置および作業監視装置 |
GB9917591D0 (en) * | 1999-07-28 | 1999-09-29 | Marconi Electronic Syst Ltd | Head tracker system |
JP4396564B2 (ja) * | 2005-04-01 | 2010-01-13 | 株式会社島津製作所 | 物体のモニタリング方法およびこれを用いたモーショントラッカ |
JP5258558B2 (ja) * | 2005-05-31 | 2013-08-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 装置の制御のための方法 |
-
2007
- 2007-04-10 JP JP2007102537A patent/JP4872768B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017076235A1 (zh) * | 2015-11-05 | 2017-05-11 | 丰唐物联技术(深圳)有限公司 | 基于头戴设备的头部运动轨迹的检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008262264A (ja) | 2008-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5594944B2 (ja) | モーショントラッカ装置 | |
JP4396564B2 (ja) | 物体のモニタリング方法およびこれを用いたモーショントラッカ | |
JP2009069364A (ja) | 頭部装着型表示装置及び頭部装着型表示装置システム | |
CA2700603A1 (en) | Wide field of view optical tracking system | |
US8360581B2 (en) | Stereoscopic image display system | |
US9946343B2 (en) | Motion tracker with an array of distinct light sources | |
JP5505363B2 (ja) | モーショントラッカ装置 | |
JP5292725B2 (ja) | モーショントラッカ装置 | |
JP4872768B2 (ja) | ヘッドモーショントラッカ装置 | |
JP5092279B2 (ja) | ヘッドモーショントラッカ装置及びその使用方法 | |
JP4665872B2 (ja) | ヘッドモーショントラッカ装置 | |
JP4905321B2 (ja) | ヘッドモーショントラッカ装置 | |
JP5092300B2 (ja) | ヘッドモーショントラッカ装置 | |
JP2009036517A (ja) | ヘッドモーショントラッカ装置 | |
JP4967546B2 (ja) | ヘッドモーショントラッカ装置 | |
JP4656016B2 (ja) | モーショントラッカ装置 | |
JP4905311B2 (ja) | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 | |
JP5029531B2 (ja) | モーショントラッカシステム及びその座標系設定方法 | |
JP2014095557A (ja) | モーショントラッカ装置 | |
US20180267601A1 (en) | Light Projection for Guiding a User within a Physical User Area During Virtual Reality Operations | |
JP4656017B2 (ja) | ヘッドモーショントラッカ装置 | |
JP4877138B2 (ja) | ヘッドモーショントラッカ装置 | |
JP2007334762A (ja) | ヘッドモーショントラッカ装置 | |
JP2015075350A (ja) | モーショントラッカ装置 | |
JP4784591B2 (ja) | モーショントラッカ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4872768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |