JP7455121B2 - 電磁追跡のための周囲電磁歪み補正 - Google Patents
電磁追跡のための周囲電磁歪み補正 Download PDFInfo
- Publication number
- JP7455121B2 JP7455121B2 JP2021521431A JP2021521431A JP7455121B2 JP 7455121 B2 JP7455121 B2 JP 7455121B2 JP 2021521431 A JP2021521431 A JP 2021521431A JP 2021521431 A JP2021521431 A JP 2021521431A JP 7455121 B2 JP7455121 B2 JP 7455121B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- matrix
- augmented reality
- distortion
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title description 50
- 239000011159 matrix material Substances 0.000 claims description 233
- 238000000034 method Methods 0.000 claims description 151
- 230000003190 augmentative effect Effects 0.000 claims description 94
- 230000005291 magnetic effect Effects 0.000 claims description 58
- 230000008859 change Effects 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 39
- 239000002184 metal Substances 0.000 description 35
- 229910052751 metal Inorganic materials 0.000 description 35
- 238000012545 processing Methods 0.000 description 31
- 230000004807 localization Effects 0.000 description 24
- 238000013507 mapping Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000005672 electromagnetic field Effects 0.000 description 11
- 230000004886 head movement Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000003302 ferromagnetic material Substances 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 239000004020 conductor Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000005294 ferromagnetic effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000007769 metal material Substances 0.000 description 3
- 150000002739 metals Chemical class 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012888 cubic function Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 229910052727 yttrium Inorganic materials 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 206010069747 Burkholderia mallei infection Diseases 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910017052 cobalt Inorganic materials 0.000 description 1
- 239000010941 cobalt Substances 0.000 description 1
- GUTLYIVDDKVIGB-UHFFFAOYSA-N cobalt atom Chemical compound [Co] GUTLYIVDDKVIGB-UHFFFAOYSA-N 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 231100000895 deafness Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/007—Environmental aspects, e.g. temperature variations, radiation, stray fields
- G01R33/0082—Compensation, e.g. compensating for temperature changes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/02—Measuring direction or magnitude of magnetic fields or magnetic flux
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Toxicology (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
Description
本願は、両方とも「AMBIENT ELECTROMAGNETIC DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING」と題され、両方とも参照することによってそれらの全体として本明細書に組み込まれる、2018年10月26日に出願された米国特許出願第62/751,467号および2019年3月26日に出願された米国特許出願第62/823,956号の優先権の利益を主張する。
本発明は、例えば、以下を提供する。
(項目1)
拡張現実ディスプレイシステムであって、
仮想画像を装着者の眼に投影するように構成されるディスプレイと、
前記装着者の眼の正面に前記ディスプレイを搭載するように構成されるフレームと、
磁場を生成するように構成される電磁(EM)エミッタと、
前記磁場を感知し、EMセンサデータを提供するように構成されるEMセンサであって、前記EMエミッタまたは前記EMセンサのうちの一方は、前記フレームに機械的に結合され、前記EMエミッタまたは前記EMセンサのうちの他方は、前記フレームに対して独立して移動可能である前記拡張現実ディスプレイシステムのコンポーネントに機械的に結合される、EMセンサと、
ハードウェアプロセッサであって、
前記EMセンサから、EMセンサデータを受信することであって、前記EMセンサデータは、EM場行列を備える、ことと、
少なくとも部分的に前記EM場行列に基づいて、EM歪みの存在を検出することと、
歪み補償行列を計算することと、
少なくとも部分的に前記歪み補償行列に基づいて、歪んでいないEM場行列を計算することと、
少なくとも部分的に前記歪んでいないEM場行列に基づいて、前記EMセンサの姿勢を計算することと、
前記ディスプレイに、少なくとも部分的に前記計算された姿勢に基づいて前記仮想画像を投影させることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、拡張現実ディスプレイシステム。
(項目2)
前記EMセンサおよび前記EMエミッタはそれぞれ、3つの相互直交コイルを備える、項目1に記載の拡張現実ディスプレイシステム。
(項目3)
前記姿勢は、3つの空間座標と、3つの角座標とを有する6自由度姿勢を備える、項目1に記載の拡張現実ディスプレイシステム。
(項目4)
EM歪みの存在を検出するために、前記ハードウェアプロセッサは、歪んでいないEM場行列に関する固有値からの前記EM場行列の固有値の逸脱を計算するようにプログラムされる、項目1に記載の拡張現実ディスプレイシステム。
(項目5)
前記歪み補償行列を計算するために、前記ハードウェアプロセッサは、前記歪み補償行列のそれぞれの行列式が単位元に近く、前記歪んでいないEM場行列の固有値が[1,1/2,1/2]に比例するという制約を適用するようにプログラムされる、項目1に記載の拡張現実ディスプレイシステム。
(項目6)
前記ハードウェアプロセッサは、特異値分解(SVD)を実施し、前記歪んでいないEM場行列の固有値を計算するようにプログラムされる、項目5に記載の拡張現実ディスプレイシステム。
(項目7)
前記制約は、[1,1/2,1/2]に近い前記歪んでいないEM場行列の固有値を備える、項目5に記載の拡張現実ディスプレイシステム。
(項目8)
前記EMセンサの姿勢を計算するために、前記ハードウェアプロセッサは、前記歪んでいないEM場行列の特異値分解(SVD)を実施するようにプログラムされる、項目1に記載の拡張現実ディスプレイシステム。
(項目9)
前記ハードウェアプロセッサは、前記SVDから、前記EMエミッタに対する前記EMセンサの3自由度位置を計算するようにプログラムされる、項目8に記載の拡張現実ディスプレイシステム。
(項目10)
前記ハードウェアプロセッサは、少なくとも部分的に前記歪んでいないEM場行列、対角行列、および方位角およびピッチに基づく回転行列に基づいて、前記EMエミッタに対する前記EMセンサの3自由度配向を計算するようにプログラムされる、項目1に記載の拡張現実ディスプレイシステム。
(項目11)
前記EMセンサの姿勢を計算するために、前記ハードウェアプロセッサは、前記拡張現実ディスプレイシステムの世界フレーム内の前記姿勢を計算するようにプログラムされる、項目1に記載の拡張現実ディスプレイシステム。
(項目12)
前記世界フレーム内の前記姿勢を計算するために、前記ハードウェアプロセッサは、球面調和関数または高次多項式を適用するようにプログラムされる、項目11に記載の拡張現実ディスプレイシステム。
(項目13)
前記ハードウェアプロセッサは、前記検出されたEM歪みが第1の閾値を上回る、または前記検出されたEM歪みの変化が第2の閾値を上回るときのみ、前記歪み補償行列を計算するようにプログラムされる、項目1に記載の拡張現実ディスプレイシステム。
(項目14)
前記拡張現実ディスプレイシステムのコンポーネントは、ユーザ入力トーテムを備え、
前記EMセンサは、前記フレームに機械的に結合され、
前記EMエミッタは、前記ユーザ入力トーテムに機械的に結合される、
項目1に記載の拡張現実ディスプレイシステム。
(項目15)
前記フレームに機械的に結合される、外向きに向いたカメラをさらに備える、項目14に記載の拡張現実ディスプレイシステム。
(項目16)
前記ハードウェアプロセッサはさらに、
前記外向きに向いたカメラによって取得される画像を分析することと、
少なくとも部分的に前記分析された画像に基づいて、前記ユーザ入力トーテムの姿勢を決定することと、
少なくとも部分的に前記ユーザ入力トーテムの決定された姿勢に基づいて、前記歪み補償行列を計算することと
を行うようにプログラムされる、項目15に記載の拡張現実ディスプレイシステム。
(項目17)
前記ユーザ入力トーテムはさらに、前記ユーザ入力トーテムの姿勢を決定することを補助するように構成される光源または光学的に認識可能な基準マーカを備える、項目14に記載の拡張現実ディスプレイシステム。
(項目18)
前記ハードウェアプロセッサはさらに、前記EM場行列の固有値に基づくメトリックを使用して、前記周囲環境内のEM歪みの程度を計算するようにプログラムされる、項目1に記載の拡張現実ディスプレイシステム。
(項目19)
前記メトリックは、基準値からの前記固有値の差異の組み合わせに基づく、項目18に記載の拡張現実ディスプレイシステム。
(項目20)
前記固有値は、前記EM場行列の行列式に基づいて正規化される、項目19に記載の拡張現実ディスプレイシステム。
図1では、拡張現実場面(4)が、描写されており、AR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム(1120)を特徴とする、実世界公園状設定(6)が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム(1120)上に立っているロボット像(1110)と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ(2)とが「見える」と知覚するが、これらの要素(2、1110)は、実世界には存在しない。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、VRまたはAR技術を生成することは、困難である。
(例示的ARおよびVRシステムおよびコンポーネント)
(電磁位置特定の実施例)
(ARシステム内の例示的電磁感知コンポーネント)
(ユーザ頭部姿勢または手姿勢のEM追跡の実施例)
(電磁追跡システムにおける電磁歪みの概要)
(電磁位置特定の概要)
(例示的歪みマッピングスキーム)
(高次マッピング)
(6DOF姿勢に関する直接閉形式解)
(EM歪みマッピングおよび直接6DOF姿勢技法の例示的実験的検証)
(行列技法を使用するリアルタイムEM歪み補正)
(リアルタイムEM歪み補正を伴う例示的EM追跡システム)
(EM追跡システムにおけるEM歪み補正のための例示的方法)
(金属歪みに関するメトリック)
(付加的側面)
(付加的考慮点)
Claims (18)
- 拡張現実ディスプレイシステムであって、
仮想画像を装着者の眼に投影するように構成されるディスプレイと、
前記装着者の眼の正面に前記ディスプレイを搭載するように構成されるフレームと、
磁場を生成するように構成される電磁(EM)エミッタと、
前記磁場を感知し、EMセンサデータを提供するように構成されるEMセンサであって、前記EMエミッタまたは前記EMセンサのうちの一方は、前記フレームに機械的に結合され、前記EMエミッタまたは前記EMセンサのうちの他方は、前記フレームに対して独立して移動可能である前記拡張現実ディスプレイシステムのコンポーネントに機械的に結合される、EMセンサと、
ハードウェアプロセッサであって、
前記EMセンサから、EMセンサデータを受信することであって、前記EMセンサデータは、EM場行列を備える、ことと、
少なくとも部分的に前記EM場行列に基づいて、EM歪みの存在を検出することと、
歪み補償行列のそれぞれの行列式が単位元に近いように、前記歪み補償行列を計算することと、
少なくとも部分的に前記歪み補償行列に基づいて、特異値分解(SVD)を使用して、歪んでいないEM場行列を計算することにより、固有値が約[1,1/2,1/2]に比例するという制約を伴う前記歪んでいないEM場行列の前記固有値を抽出することと、
少なくとも部分的に前記歪んでいないEM場行列に基づいて、前記EMセンサの姿勢を計算することと、
前記ディスプレイに、少なくとも部分的に前記計算された姿勢に基づいて前記仮想画像を投影させることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、拡張現実ディスプレイシステム。 - 前記EMセンサおよび前記EMエミッタはそれぞれ、3つの相互直交コイルを備える、請求項1に記載の拡張現実ディスプレイシステム。
- 前記姿勢は、3つの空間座標と、3つの角座標とを有する6自由度姿勢を備える、請求項1に記載の拡張現実ディスプレイシステム。
- 前記EM歪みの存在を検出するために、前記ハードウェアプロセッサは、歪んでいないEM場行列に関する固有値からの前記EM場行列の固有値の逸脱を計算するようにプログラムされる、請求項1に記載の拡張現実ディスプレイシステム。
- 前記EMセンサの姿勢を計算するために、前記ハードウェアプロセッサは、前記歪んでいないEM場行列の特異値分解(SVD)を実施するようにプログラムされる、請求項1に記載の拡張現実ディスプレイシステム。
- 前記ハードウェアプロセッサは、前記SVDから、前記EMエミッタに対する前記EMセンサの3自由度位置を計算するようにプログラムされる、請求項5に記載の拡張現実ディスプレイシステム。
- 前記ハードウェアプロセッサは、少なくとも部分的に前記歪んでいないEM場行列、対角行列、および方位角およびピッチに基づく回転行列に基づいて、前記EMエミッタに対する前記EMセンサの3自由度配向を計算するようにプログラムされる、請求項1に記載の拡張現実ディスプレイシステム。
- 前記EMセンサの姿勢を計算するために、前記ハードウェアプロセッサは、前記拡張現実ディスプレイシステムの世界フレーム内の前記姿勢を計算するようにプログラムされる、請求項1に記載の拡張現実ディスプレイシステム。
- 前記世界フレーム内の前記姿勢を計算するために、前記ハードウェアプロセッサは、球面調和関数または高次多項式を適用するようにプログラムされる、請求項8に記載の拡張現実ディスプレイシステム。
- 前記ハードウェアプロセッサは、前記検出されたEM歪みが第1の閾値を上回る、または前記検出されたEM歪みの変化が第2の閾値を上回るときのみ、前記歪み補償行列を計算するようにプログラムされる、請求項1に記載の拡張現実ディスプレイシステム。
- 前記拡張現実ディスプレイシステムのコンポーネントは、ユーザ入力トーテムを備え、
前記EMセンサは、前記フレームに機械的に結合され、
前記EMエミッタは、前記ユーザ入力トーテムに機械的に結合される、
請求項1に記載の拡張現実ディスプレイシステム。 - 前記フレームに機械的に結合される、外向きに向いたカメラをさらに備える、請求項11に記載の拡張現実ディスプレイシステム。
- 前記ハードウェアプロセッサはさらに、
前記外向きに向いたカメラによって取得される画像を分析することと、
少なくとも部分的に前記分析された画像に基づいて、前記ユーザ入力トーテムの姿勢を決定することと、
少なくとも部分的に前記ユーザ入力トーテムの決定された姿勢に基づいて、前記歪み補償行列を計算することと
を行うようにプログラムされる、請求項12に記載の拡張現実ディスプレイシステム。 - 前記ユーザ入力トーテムはさらに、前記ユーザ入力トーテムの姿勢を決定することを補助するように構成される光源または光学的に認識可能な基準マーカを備える、請求項11に記載の拡張現実ディスプレイシステム。
- 前記ハードウェアプロセッサはさらに、前記EM場行列の固有値に基づくメトリックを使用して、前記拡張現実ディスプレイシステムの周囲環境内のEM歪みの程度を計算するようにプログラムされる、請求項1に記載の拡張現実ディスプレイシステム。
- 前記メトリックは、基準値からの前記固有値の差異の組み合わせに基づく、請求項15に記載の拡張現実ディスプレイシステム。
- 前記固有値は、前記EM場行列の行列式に基づいて正規化される、請求項16に記載の拡張現実ディスプレイシステム。
- コンピューティングシステムによって実施されるコンピュータ化された方法であって、前記コンピューティングシステムは、1つ以上のハードウェアコンピュータプロセッサと、前記コンピュータ化された方法を実施するために前記コンピューティングシステムによって実行可能なソフトウェア命令を記憶する1つ以上の非一過性のコンピュータ可読記憶デバイスとを有し、前記コンピュータ化された方法は、
拡張現実システムに機械的に結合されたEMセンサから、EMセンサデータを受信することであって、前記EMセンサデータは、EM場行列を備える、ことと、
少なくとも部分的に前記EM場行列に基づいて、EM歪みの存在を検出することと、
歪み補償行列のそれぞれの行列式が単位元に近いように、前記歪み補償行列を計算することと、
少なくとも部分的に前記歪み補償行列に基づいて、特異値分解(SVD)を使用して、歪んでいないEM場行列を計算することにより、固有値が約[1,1/2,1/2]に比例するという制約を伴う前記歪んでいないEM場行列の前記固有値を抽出することと、
少なくとも部分的に前記歪んでいないEM場行列に基づいて、前記EMセンサの姿勢を計算することと、
前記拡張現実システムのディスプレイに、少なくとも部分的に前記計算された姿勢に基づいて仮想画像を前記ディスプレイ上に投影させることと
を含む、コンピュータ化された方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024025414A JP2024045724A (ja) | 2018-10-26 | 2024-02-22 | 電磁追跡のための周囲電磁歪み補正 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862751467P | 2018-10-26 | 2018-10-26 | |
US62/751,467 | 2018-10-26 | ||
US201962823956P | 2019-03-26 | 2019-03-26 | |
US62/823,956 | 2019-03-26 | ||
PCT/US2019/056516 WO2020086356A2 (en) | 2018-10-26 | 2019-10-16 | Ambient electromagnetic distortion correction for electromagnetic tracking |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024025414A Division JP2024045724A (ja) | 2018-10-26 | 2024-02-22 | 電磁追跡のための周囲電磁歪み補正 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022505423A JP2022505423A (ja) | 2022-01-14 |
JPWO2020086356A5 JPWO2020086356A5 (ja) | 2022-10-13 |
JP7455121B2 true JP7455121B2 (ja) | 2024-03-25 |
Family
ID=70327119
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021521431A Active JP7455121B2 (ja) | 2018-10-26 | 2019-10-16 | 電磁追跡のための周囲電磁歪み補正 |
JP2024025414A Pending JP2024045724A (ja) | 2018-10-26 | 2024-02-22 | 電磁追跡のための周囲電磁歪み補正 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024025414A Pending JP2024045724A (ja) | 2018-10-26 | 2024-02-22 | 電磁追跡のための周囲電磁歪み補正 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11157090B2 (ja) |
EP (1) | EP3871034A4 (ja) |
JP (2) | JP7455121B2 (ja) |
CN (1) | CN113227879A (ja) |
WO (1) | WO2020086356A2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7455121B2 (ja) | 2018-10-26 | 2024-03-25 | マジック リープ, インコーポレイテッド | 電磁追跡のための周囲電磁歪み補正 |
DE102020109121A1 (de) * | 2019-04-02 | 2020-10-08 | Ascension Technology Corporation | Korrektur von Verzerrungen |
US11719850B2 (en) * | 2019-06-20 | 2023-08-08 | Sony Interactive Entertainment Inc. | Detecting and compensating for magnetic interference in electromagnetic (EM) positional tracking |
CN111103980B (zh) * | 2019-12-18 | 2021-04-20 | 南京航空航天大学 | 一种基于fmcw的vr环境交互系统及方法 |
CN111614915B (zh) * | 2020-05-13 | 2021-07-30 | 深圳市欢创科技有限公司 | 一种空间定位方法、装置、系统和头戴式设备 |
WO2021236170A1 (en) * | 2020-05-18 | 2021-11-25 | Google Llc | Low-power semi-passive relative six-degree-of-freedom tracking |
US11320896B2 (en) * | 2020-08-03 | 2022-05-03 | Facebook Technologies, Llc. | Systems and methods for object tracking using fused data |
WO2023044375A1 (en) * | 2021-09-16 | 2023-03-23 | Penumbra, Inc. | Method and apparatus for reducing magnetic tracking error due to floor distortion |
US11976921B2 (en) | 2021-09-16 | 2024-05-07 | Penumbra, Inc. | Method and apparatus for reducing magnetic tracking error due to floor distortion |
US11797127B1 (en) * | 2021-11-16 | 2023-10-24 | Alken Inc. | Hybrid tracking with auto-correction |
US11538228B1 (en) | 2022-08-26 | 2022-12-27 | Illuscio, Inc. | Systems and methods for augmented reality viewing based on directly mapped point cloud overlays |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056272A (ja) | 2002-07-17 | 2004-02-19 | Japan Aviation Electronics Industry Ltd | 全周映像表示装置及びそれに用いるヘッドトラッカーの磁気補正方法 |
JP2008062040A (ja) | 2006-08-07 | 2008-03-21 | Biosense Webster Inc | 重複した測定を用いた歪みに対して免疫性の位置追跡 |
JP2013213745A (ja) | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 姿勢検出装置、方法及びプログラム |
WO2017189450A1 (en) | 2016-04-26 | 2017-11-02 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
JP2018029628A (ja) | 2016-08-22 | 2018-03-01 | 株式会社日立製作所 | 磁気共鳴イメージング装置のシミング方法、磁気共鳴イメージング装置及びシールドルーム |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3868565A (en) | 1973-07-30 | 1975-02-25 | Jack Kuipers | Object tracking and orientation determination means, system and process |
US4462165A (en) | 1983-01-31 | 1984-07-31 | The Boeing Company | Three axis orientation sensor for an aircraft or the like |
US4945305A (en) | 1986-10-09 | 1990-07-31 | Ascension Technology Corporation | Device for quantitatively measuring the relative position and orientation of two bodies in the presence of metals utilizing direct current magnetic fields |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US6172499B1 (en) | 1999-10-29 | 2001-01-09 | Ascension Technology Corporation | Eddy current error-reduced AC magnetic position measurement system |
US6754596B2 (en) | 2002-11-01 | 2004-06-22 | Ascension Technology Corporation | Method of measuring position and orientation with improved signal to noise ratio |
US7292948B2 (en) | 2004-04-30 | 2007-11-06 | Alken Inc. | Magnetic position and orientation measurement system with eddy current distortion compensation |
CA2579903C (en) * | 2004-09-17 | 2012-03-13 | Cyberextruder.Com, Inc. | System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US20080189661A1 (en) * | 2007-02-06 | 2008-08-07 | Jazzbo Technology Inc. | Video user interface |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
CA3035118C (en) | 2011-05-06 | 2022-01-04 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
RU2621633C2 (ru) | 2011-10-28 | 2017-06-06 | Мэджик Лип, Инк. | Система и способ для дополненной и виртуальной реальности |
KR102440195B1 (ko) | 2011-11-23 | 2022-09-02 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
KR102022719B1 (ko) | 2012-04-05 | 2019-11-05 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9576397B2 (en) * | 2012-09-10 | 2017-02-21 | Blackberry Limited | Reducing latency in an augmented-reality display |
CN104813218A (zh) | 2012-09-11 | 2015-07-29 | 奇跃公司 | 人机工程学的头戴显示设备和光学系统 |
KR102274413B1 (ko) | 2013-01-15 | 2021-07-07 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
IL298018B2 (en) | 2013-03-11 | 2024-04-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
EP2973532A4 (en) | 2013-03-15 | 2017-01-18 | Magic Leap, Inc. | Display system and method |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
IL295157B2 (en) | 2013-10-16 | 2023-10-01 | Magic Leap Inc | An augmented or virtual reality head device with intrapupillary distance adjustment |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
AU2014354673B2 (en) | 2013-11-27 | 2019-04-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
CA3089749A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
JP6509883B2 (ja) | 2014-01-31 | 2019-05-08 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 多焦点表示システムおよび方法 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
KR102173699B1 (ko) | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
WO2015184413A1 (en) | 2014-05-30 | 2015-12-03 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
JP7136558B2 (ja) | 2015-03-05 | 2022-09-13 | マジック リープ, インコーポレイテッド | 拡張現実のためのシステムおよび方法 |
US10186024B2 (en) * | 2015-12-29 | 2019-01-22 | Texas Instruments Incorporated | Method and system for real time structure from motion in a computer vision system |
US10746819B2 (en) * | 2017-09-18 | 2020-08-18 | Google Llc | Correcting field distortion in electromagnetic position tracking systems |
CA3031276A1 (en) * | 2018-02-08 | 2019-08-08 | Ascension Technology Corporation | Compensating for distortion in an electromagnetic tracking system |
JP7455121B2 (ja) | 2018-10-26 | 2024-03-25 | マジック リープ, インコーポレイテッド | 電磁追跡のための周囲電磁歪み補正 |
-
2019
- 2019-10-16 JP JP2021521431A patent/JP7455121B2/ja active Active
- 2019-10-16 US US16/654,879 patent/US11157090B2/en active Active
- 2019-10-16 EP EP19875559.7A patent/EP3871034A4/en active Pending
- 2019-10-16 WO PCT/US2019/056516 patent/WO2020086356A2/en unknown
- 2019-10-16 CN CN201980085601.8A patent/CN113227879A/zh active Pending
-
2021
- 2021-10-19 US US17/505,497 patent/US20220035461A1/en active Pending
-
2024
- 2024-02-22 JP JP2024025414A patent/JP2024045724A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056272A (ja) | 2002-07-17 | 2004-02-19 | Japan Aviation Electronics Industry Ltd | 全周映像表示装置及びそれに用いるヘッドトラッカーの磁気補正方法 |
JP2008062040A (ja) | 2006-08-07 | 2008-03-21 | Biosense Webster Inc | 重複した測定を用いた歪みに対して免疫性の位置追跡 |
JP2013213745A (ja) | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 姿勢検出装置、方法及びプログラム |
WO2017189450A1 (en) | 2016-04-26 | 2017-11-02 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
JP2018029628A (ja) | 2016-08-22 | 2018-03-01 | 株式会社日立製作所 | 磁気共鳴イメージング装置のシミング方法、磁気共鳴イメージング装置及びシールドルーム |
Also Published As
Publication number | Publication date |
---|---|
WO2020086356A3 (en) | 2020-07-30 |
JP2024045724A (ja) | 2024-04-02 |
EP3871034A4 (en) | 2022-08-10 |
CN113227879A (zh) | 2021-08-06 |
US20220035461A1 (en) | 2022-02-03 |
EP3871034A2 (en) | 2021-09-01 |
US20200133405A1 (en) | 2020-04-30 |
JP2022505423A (ja) | 2022-01-14 |
US11157090B2 (en) | 2021-10-26 |
WO2020086356A2 (en) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7455121B2 (ja) | 電磁追跡のための周囲電磁歪み補正 | |
US11836284B2 (en) | Sensor fusion for electromagnetic tracking | |
US11531072B2 (en) | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system | |
US11709544B2 (en) | Pose estimation using electromagnetic tracking | |
CN112513711B (zh) | 用于使用位置向量解析半球模糊度的方法和系统 | |
KR102331164B1 (ko) | 증강 현실을 위한 시스템들 및 방법들 | |
JP2019535004A5 (ja) | ||
JP2019532392A (ja) | 深層学習センサを有する拡張現実ディスプレイデバイス | |
NZ751731B2 (en) | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221004 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7455121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |