KR102525391B1 - 광학 트래커를 갖는 nte 디스플레이 시스템 및 방법 - Google Patents
광학 트래커를 갖는 nte 디스플레이 시스템 및 방법 Download PDFInfo
- Publication number
- KR102525391B1 KR102525391B1 KR1020170121961A KR20170121961A KR102525391B1 KR 102525391 B1 KR102525391 B1 KR 102525391B1 KR 1020170121961 A KR1020170121961 A KR 1020170121961A KR 20170121961 A KR20170121961 A KR 20170121961A KR 102525391 B1 KR102525391 B1 KR 102525391B1
- Authority
- KR
- South Korea
- Prior art keywords
- display
- tracker
- reference symbol
- display unit
- optical
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims description 45
- 239000003607 modifier Substances 0.000 claims description 10
- 239000000758 substrate Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 210000003128 head Anatomy 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000002730 additional effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229920001621 AMOLED Polymers 0.000 description 1
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000609 electron-beam lithography Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000002164 ion-beam lithography Methods 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 235000012771 pancakes Nutrition 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011896 sensitive detection Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/32—Fiducial marks and measuring scales within the optical system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- User Interface Of Digital Computer (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
제1 오브젝트의 위치 및 방위를 추적하기 위한 광학 트래커 시스템이 제공된다. 시스템은, 제1 오브젝트의 예측된 위치 및 방위를 공간 예측으로서 결정하도록 구성되는 예측 모듈; 공간 예측에 기초하여 기준 심볼에 대한 디스플레이 커맨드를 생성하도록 구성되는 디스플레이 모듈; 디스플레이 커맨드에 기초하여 기준 심볼을 디스플레이하도록 구성되는 디스플레이 유닛; 디스플레이 디바이스 상에 디스플레이되는 기준 심볼의 이미지를 캡처된 외관으로서 캡처하도록 구성되는 카메라 유닛; 및 카메라 유닛에 커플링되고 카메라 유닛으로부터 이미지를 수신하도록 구성되는 포지션 결정 모듈을 포함한다. 포지션 결정 모듈은 기준 심볼을 식별하도록 그리고 기준 심볼의 캡처된 외관에 기초하여 제1 오브젝트의 위치 및 방위를 결정하도록 구성된다.
Description
본 발명은 일반적으로 니어 투 아이(near-to-eye; NTE) 디스플레이 시스템 및 방법에 관한 것으로, 특히, 향상된 고속, 고정밀의 광학 트래커(optical tracker)를 갖는 NTE 디스플레이 시스템 및 방법에 관한 것이다.
근년에, 니어 투 아이(NTE) 디스플레이 시스템이 개발되어 점점 인기를 얻고 있다. 특정한 최종 사용 환경에 따라, 이들 시스템은 유저의 헬멧 또는 헤드셋에 커플링되는 NTE 디스플레이 유닛을 포함하고, 따라서 유저의 머리의 변화하는 위치(location) 및 각도 방위(angular orientation)와 함께 이동한다. 이것은 유리하게도, 머리의 포지션(position), 즉 위치 및/또는 방위에 상관없이 디스플레이된 정보가 유저에게 보여지는 것을 허용한다. 따라서, NTE 디스플레이 시스템의 전반적인 기능성을 가능하게 하기 위해, 추적 장치(tracking arrangement)는 하나 이상의 자유도(예를 들면, x, y 및 z 및 피치, 요 및 롤)로 헤드의 위치 및 방위를 결정하도록 기능한다는 것이 인식될 수도 있다. 공지된 추적 기술은 관성, 자기, 초음파 및 카메라 기반의 광학 시스템을 포함하지만, 많은 이러한 시스템은 상대적으로 복잡하고 무겁고, 고가일 수도 있고, 및/또는 만족스러운 수행 성능이 부족할 수도 있다.
따라서, 향상된 추적 성능을 갖는 NTE 디스플레이 시스템 및 방법을 제공하는 것이 바람직하다. 또한, 예시적인 실시형태의 다른 바람직한 피처 및 특성은, 첨부의 도면 및 상기의 기술 분야 및 배경과 연계하여 취해지는, 다음의 상세한 설명 및 첨부의 청구범위로부터 명백하게 될 것이다.
예시적인 실시형태에 따르면, 광학 트래커 시스템은 제1 오브젝트의 위치 및 방위를 추적하기 위해 제공된다. 시스템은 제1 오브젝트의 예측된 위치 및 방위를 공간 예측으로서 결정하도록 구성되는 예측 모듈; 예측 모듈에 커플링되고 공간 예측을 수신하도록 구성되는 디스플레이 모듈 - 디스플레이 모듈은 공간 예측에 기초하여 기준 심볼(fiducial symbol)에 대한 디스플레이 커맨드를 생성하도록 구성됨 - ; 예측 모듈에 커플링되며 디스플레이 커맨드를 수신하도록 구성되는 디스플레이 유닛 - 디스플레이 유닛은 디스플레이 커맨드에 기초하여 기준 심볼을 디스플레이하도록 구성됨 - ; 디스플레이 디바이스 상에 디스플레이되는 기준 심볼의 이미지를 캡처된 외관(captured appearance)으로서 캡처하도록 구성되는 카메라 유닛; 및 카메라 유닛에 커플링되며 카메라 유닛으로부터 이미지를 수신하도록 구성되는 포지션 결정 모듈을 포함한다. 포지션 결정 모듈은 기준 심볼을 식별하도록 그리고 기준 심볼의 캡처된 외관에 기초하여 제1 오브젝트의 위치 및 방위를 결정하도록 구성된다.
다른 예시적인 실시형태에 따르면, 광학 트래커 시스템을 사용하여 제1 오브젝트의 위치 및 방위를 추적하기 위한 방법이 제공된다. 방법은, 제1 오브젝트의 예측된 위치 및 방위를 공간 예측으로서 결정하는 것; 공간 예측에 기초하여 기준 심볼에 대한 디스플레이 커맨드를 생성하는 것; 디스플레이 커맨드에 기초하여 기준 심볼을 디스플레이 디바이스 상에 디스플레이하는 것; 디스플레이 디바이스 상에 디스플레이되는 기준 심볼의 이미지를 캡처된 외관으로서 캡처하는 것; 및 이미지에서 기준 심볼을 식별하는 것; 및 기준 심볼의 캡처된 외관에 기초하여 제1 오브젝트의 위치 및 방위를 결정하는 것을 포함한다.
또 다른 예시적인 실시형태에 따르면, 니어 투 아이 디스플레이 시스템이 제공된다. NTE 시스템은 제1 오브젝트의 위치 및 방위를 추적하기 위한 광학 트래커 시스템을 포함한다. NTE 시스템은, 액티브 매트릭스 디스플레이 디바이스를 가지며 제1 디스플레이 커맨드에 기초하여 기준 심볼을 디스플레이하도록 구성되는 제1 디스플레이 유닛; 제1 디스플레이 디바이스 상에 디스플레이되는 기준 심볼의 이미지를 캡처된 외관으로서 캡처하도록 구성되는 카메라 유닛; 및 카메라 유닛에 커플링되며 카메라 유닛으로부터 이미지를 수신하도록 구성되는 포지션 결정 모듈을 포함한다. 포지션 결정 모듈은 기준 심볼을 식별하도록 그리고 기준 심볼의 캡처된 외관에 기초하여 제1 오브젝트의 위치 및 방위를 결정하도록 구성된다. NTE 시스템은, 광학 트래커 시스템에 커플링되며 제1 오브젝트의 위치 및 방위에 기초하여 제2 디스플레이 커맨드를 생성하도록 구성되는 구동 유닛 및 구동 유닛에 커플링되며 주변 환경에 관련한 유저에 의한 뷰잉(viewing)을 위해 제2 디스플레이 커맨드에 기초하여 기호(symbology)를 렌더링하도록 구성되는 제2 디스플레이 유닛을 포함한다.
본 발명은, 이하, 다음의 도면과 연계하여 설명될 것인데, 도면에서 동일한 도면 부호는 동일한 엘리먼트를 나타내며, 도면에서:
도 1은 예시적인 실시형태에 따른 NTE 시스템의 기능적 블록도이다;
도 2는 예시적인 실시형태에 따른 트래커 디스플레이 유닛 상의 기준 심볼의 제1 도면이다;
도 3은 예시적인 실시형태에 따른 트래커 디스플레이 유닛 상의 기준 심볼의 제2 도면이다;
도 4는 예시적인 실시형태에 따른 트래커 디스플레이 유닛 상의 기준 심볼의 제3 도면이다;
도 5는 예시적인 실시형태에 따른 트래커 디스플레이 유닛 상의 기준 심볼의 제4 도면이다;
도 6은 예시적인 실시형태에 따른 NTE 디스플레이를 제공하기 위한 방법의 플로우차트이다;
도 7은 예시적인 실시형태에 따른 기준 심볼의 다른 예이다;
도 8은 다른 예시적인 실시형태에 따른 NTE 시스템의 일부의 기능적 블록도이다; 그리고
도 9 내지 도 12는 예시적인 실시형태에 따른 NTE 시스템의 변형예의 기능적 블록도이다.
도 1은 예시적인 실시형태에 따른 NTE 시스템의 기능적 블록도이다;
도 2는 예시적인 실시형태에 따른 트래커 디스플레이 유닛 상의 기준 심볼의 제1 도면이다;
도 3은 예시적인 실시형태에 따른 트래커 디스플레이 유닛 상의 기준 심볼의 제2 도면이다;
도 4는 예시적인 실시형태에 따른 트래커 디스플레이 유닛 상의 기준 심볼의 제3 도면이다;
도 5는 예시적인 실시형태에 따른 트래커 디스플레이 유닛 상의 기준 심볼의 제4 도면이다;
도 6은 예시적인 실시형태에 따른 NTE 디스플레이를 제공하기 위한 방법의 플로우차트이다;
도 7은 예시적인 실시형태에 따른 기준 심볼의 다른 예이다;
도 8은 다른 예시적인 실시형태에 따른 NTE 시스템의 일부의 기능적 블록도이다; 그리고
도 9 내지 도 12는 예시적인 실시형태에 따른 NTE 시스템의 변형예의 기능적 블록도이다.
다음의 상세한 설명은 본질적으로 단지 예시적인 것이며, 본 발명 또는 본 발명의 적용 및 용도를 제한하도록 의도되지는 않는다. 본원에서 사용되는 바와 같이, 단어 "예시적인"은, "예, 사례 또는 예시로서 기능하는 것"을 의미한다. 따라서, 예시로서 본원에서 설명되는 임의의 실시형태는, 반드시 다른 실시형태에 비해 반드시 바람직하거나 또는 유익한 것으로서 해석되지는 않아야 한다. 본원에서 설명되는 실시형태 모두는, 기술 분야의 숙련된 자가 본 발명을 제조 또는 사용하는 것을 가능하게 하기 위해 제공되며 청구범위에 의해 정의되는 본 발명의 범위를 제한하기 위해 제공되는 것은 아니다. 또한, 앞선 기술 분야, 배경, 간략한 개요, 또는 하기의 상세한 설명에서 제시되는 임의의 명시된 또는 암시된 이론에 의해 구속되려는 의도는 없다.
하기에 설명되는 예시적인 실시형태에서, 니어 투 아이(NTE) 디스플레이 시스템 및 방법은 유저의 시각적 관점(visual perspective)을 결정하도록 유저의 머리의 공간적 특성을 추적하기 위해 사용되지만, 다른 오브젝트 및 신체 일부가 추적될 수도 있다. 일반적으로, 본원에서 사용되는 바와 같은 용어 "공간적 특성" 및 "포지션"은 위치 및/또는 방위 값 중 하나 이상을 가리킨다. 예를 들면, 공간적 특성은, 예를 들면 직교 좌표계의 x 축, y 축 및 z 축을 따른 3 차원 공간에서의 병진 값(translational value)과 같은 위치 값을 포함할 수도 있다. 공간적 특성은 피치, 요우 및 롤로 일반적으로 알려진 오일러 각과 같은 각도 값 또는 방위를 더 포함할 수도 있다. 방향 코사인, 극좌표(polar representations), 쿼터니언(quaternion), 또는 등등을 포함하는 그러나 이들로 제한되지는 않는 수많은 다른 공지된 방위 표현 중 임의의 것이 대안적으로 사용될 수도 있다. 하나의 예시적인 실시형태에서, NTE 시스템은 이들 공간적 특성 중 6 개를 고려할 수도 있으며, 따라서 6 자유도(degree-of-freedom; DOF) NTE 시스템으로 간주될 수도 있다. 다른 실시형태에서, NTE 시스템은 이들 공간적 특성의 개별 또는 서브세트만을 고려할 수도 있거나, 또는 NTE 시스템 내의 다수의 컴포넌트 사이의 상대적 관계와 같은 추가적인 자유도를 포함할 수도 있다.
도 1을 참조하면, 니어 투 아이(NTE) 시스템(100)의 하나의 실시형태의 기능적 블록도가 묘사되는데, NTE 구조체(NTE structure; 110), 구조체 디스플레이 유닛(structure display unit; 120), NTE 구동 유닛(130), NTE 트래커 제어 유닛(140), 하나 이상의 카메라 유닛(160), 하나 이상의 트래커 디스플레이 유닛(170), 및 하나 이상의 데이터 소스(180)를 포함한다. 일반적으로, NTE 시스템(100)은 항공기 조종실(flight deck)과 같은 동작 환경(102) 내에 배치된다. 하나의 예시적인 실시형태에서, NTE 트래커 제어 유닛(140)은, 카메라 유닛(160) 및 트래커 디스플레이 유닛(170) 중 하나 이상과 결합하여, 광학 트래커 또는 추적 시스템 또는 광학 트래커로 간주될 수도 있다. 일반적으로, 시스템(100)의 엘리먼트는 유선 및/또는 무선 데이터 버스와 같은 임의의 적절한 방식으로 함께 커플링될 수도 있다. 비록 NTE 시스템(100)이 도 1에서 통합 시스템으로 배치되어 나타나지만, NTE 시스템(100)은 그렇게 제한되지는 않으며, NTE 시스템(100)의 하나 이상의 양태가 다른 시스템의 개별 컴포넌트 또는 서브컴포넌트인 배치를 또한 포함할 수 있다. 도 1은 설명 및 설명의 용이성을 위해 NTE 시스템(100)의 단순화된 표현을 나타내며, 도 1은 본 주제의 적용 또는 범위를 어떤 식으로든 제한하도록 의도되지는 않는다는 것을 또한 유의해야 한다. 실제로, NTE 시스템(100)은, 기술 분야의 숙련된 자에 의해 인식되는 바와 같이, 부가적인 기능 및 피처를 제공하기 위한 다수의 다른 디바이스, 컴포넌트 및 특성을 포함할 수도 있다.
하나의 예시적인 실시형태에서, NTE 시스템(100)은 헤드업 디스플레이(head-up-display; HUD)로서 구체화되는데, 헤드업 디스플레이(HUD)에서, NTE 구조체(110)는 유저에 의해 착용되며 NTE 구동 유닛(130), NTE 트래커 제어 유닛(140), 및 데이터 소스(180)로부터의 신호에 기초하여 주변 환경에 관련한 유저에 의한 뷰잉을 위해 기호를 렌더링하는 반투명 또는 투명 구조체 디스플레이 유닛(120)을 지지한다. 기호는 유저가 볼 수 있도록 의도되는 임의의 이미지 콘텐츠를 포함할 수도 있고, 그 기호의 일부 또는 전부는 NTE 구조체(110)의 포지션에 부분적으로 기초하여 선택 또는 생성될 수도 있다. 예를 들면, 심볼은 주변 환경과 등각이 되도록 렌더링될 수도 있고, 그 결과, 등각 심볼은 헤드 업 디스플레이를 통해 보았을 때 환경 내의 대응하는 영역 또는 피처를 오버레이한다. 적절한 포지션에서 기호를 등록하고 디스플레이하기 위해, NTE 트래커 제어 유닛(140)은, 트래커 디스플레이 유닛(170) 상에 디스플레이되며 NTE 구조체(110) 상에 장착되는 카메라 유닛(160)에 의해 캡처되는 기준 심볼의 이미지를 평가하는 것에 의해, NTE 구조체(110)의 위치 및 방위, 따라서 유저의 관점을 결정한다. NTE 시스템(100)의 각각의 컴포넌트는, 동작, 특히 NTE 트래커 제어 유닛(140)의 동작의 더욱 상세한 설명에 앞서 아래에서 소개될 것이다. 비록 NTE 시스템(100)이 항공기와 관련하여 설명되며 하기에서 "유저" 또는 "뷰어"로 일반적으로 참조되는 항공기 조종사(aircraft operator)에 의해 활용되지만, 예시적인 실시형태는 군용 차량 또는 핸드헬드 디바이스 트래커와 같은 다른 상황에서 사용될 수도 있다.
하나의 예시적인 실시형태에서, NTE 구조체(110)는 유저의 한쪽 또는 양쪽 눈 근처에 배치되는 임의의 구조체일 수도 있다. 예를 들면, NTE 구조체(110)는, 예를 들면, 안경, 고글, 또는 헬멧 장착형 스크린의 형태로 유저에 의해 일반적으로 착용된다. NTE 구조체(110)는 구성 및 구현에서 상이할 수도 있다는 것이 인식될 것이다. 도 1에서 묘사되는 하나의 특정한 실시형태에서, NTE 구조체(110)는 인간 유저의 머리에 배치되도록 구성되는 바이저이다.
구조체 디스플레이 유닛(120)은 유저의 하나 이상의 눈 앞에 배치되도록 NTE 구조체(110)에 의해 지지된다. 구조체 디스플레이 유닛(120)은, 유저가 실세계를 보는 것을 여전히 허용하면서 가상 이미지를 디스플레이하는 임의의 적절한 디스플레이 컴포넌트이다. 예를 들면, 구조체 디스플레이 유닛(120)은, 가시적인 장면에 중첩되는 가상 이미지를 제공하기 위해, 예를 들면, 투명 또는 반투명 스크린을 통해 제시되는 임의의 타입의 프로젝션 또는 마이크로디스플레이 기술을 활용할 수도 있다. 하나의 예시적인 실시형태에서, 구조체 디스플레이 유닛(120)은 짙은 안개 조건과 같은 열악한 가시성 조건에서도 차량 운전자에 의한 사용을 위해 차량 외부의 장면의 대표적인 뷰를 제공할 수 있다. 예시적인 기술은, 예를 들면, 시준 광학장치(collimating optics)를 갖는 광학 결합기 엘리먼트 및 마이크로디스플레이(예컨대 액정 디스플레이(liquid crystal display; LCD), 실리콘 액정(liquid crystal on silicon; LCoS) 디스플레이, 또는 유기 발광 다이오드(organic light emitting diode; OLED) 디스플레이)를 포함한다. 유저가 실세계를 보고 있는 동안 이미지가 망막에 직접적으로 투사되는 망막 디스플레이(retinal display)와 같은 다른 기술이 또한 사용될 수도 있다. 구조체 디스플레이 유닛(120) 상에 디스플레이되는 심볼은, 결합기를 통해 보았을 때 유저에게 보이는 가상 이미지로서 나타날 것이다. 가상 이미지는 컴퓨터에 의해 생성될 수도 있지만, 그러나, 적어도 부분적으로는, 이미징 센서, 이미지 전송 또는 이미지 저장 디바이스와 같은 다른 데이터 소스(180)로부터 또한 유래할 수도 있다.
NTE 구동 유닛(130)은 구조체 디스플레이 유닛(120)에 디스플레이 신호를 제공하여, 실세계의 가시적인 장면을 기준으로 구조체 디스플레이 유닛(120) 상의 적절한 위치에서 소망하는 기호 또는 디스플레이 엘리먼트를 생성한다. 몇몇 타입의 기호의 경우, 구조체 디스플레이 유닛(120) 상의 포지션은, 예를 들면 항상 특정 위치에서 고정될 수도 있다. 교통 및 지형 정보와 같은 다른 타입의 기호의 경우, 디스플레이 엘리먼트는 유저의 현재 관점과 관련하여 실세계 환경의 함수이다. 이와 같이, NTE 구동 유닛(130)는 트래커 제어 유닛(140)으로부터의 공간적 특성을 사용하여 이 기호를 구조체 디스플레이 유닛(120) 상의 그리고 구조체 디스플레이 유닛(120)에 대한 적절한 포지션에 등록하고 배치한다.
NTE 구동 유닛(130)은 다양한 타입의 데이터 소스(180)(예를 들면, 네비게이션 시스템, 비행 관리 시스템, 경고 시스템 및 통신 유닛)로부터의 정보에 기초하여 구조체 디스플레이 유닛(120) 상에 임의의 적절한 타입의 기호를 렌더링할 수도 있다. 예를 들면, 항공기의 상황에서, 구조체 디스플레이 유닛(120) 상에 제공되는 기호는, 교통 및/또는 지형 정보, 속도, 고도, 비행 자세, 비행 경로 및 계획 정보, 및 등등을 비롯한 항법 또는 조작 기호를 포함할 수도 있다.
트래커 디스플레이 유닛(170)은 NTE 구조체(110)와는 분리되어 동작 환경(102) 내에 배치되는 하나 이상의 디스플레이 디바이스를 포함한다. 트래커 디스플레이 유닛(170)은 적어도 하나의 기준 심볼(또는 다수의 기준 심볼)을 포함하는 이미지를 디스플레이하도록 기능한다. 일반적으로, 트래커 디스플레이 유닛(170)은 카메라 유닛(160)이 그 상에 디스플레이되는 이미지의 적어도 일부를 캡처하도록 고정된 위치에 배치된다. 이러한 이미지는 기준 심볼을 포함하는데, NTE 트래커 제어 유닛(140)은, 이 기준 심볼로부터, 유저의 공간적 특성을 도출할 수도 있다. 몇몇 실시형태에서, 트래커 디스플레이 유닛(170)은, 하기에 또한 설명되는 바와 같이, 기준 심볼의 외관을 제어하는 NTE 트래커 제어 유닛(140)으로부터의 디스플레이 신호를 수신할 수도 있다.
일반적으로, 트래커 디스플레이 유닛(170)은 동작 환경(102) 내의 임의의 적절한 포지션에 배치될 수도 있다. 묘사된 실시형태에서, 트래커 디스플레이 유닛(170) 중 하나는 유저의 전방에 배치되고, 다른 트래커 디스플레이 유닛(170)은 유저의 상부에 배치된다. 몇몇 실시형태에서, 단일의 트래커 디스플레이 유닛(170)만이 제공될 수도 있다. 실제로, 트래커 디스플레이 유닛(170)은 카메라 유닛(160)에 대한 시선(line of sight)을 갖는 임의의 곳에 배치될 수도 있지만, 소정의 포지션은 특정한 공간적 특성에 대해 이점을 가질 수도 있다.
하기에서 더 상세하게 설명되는 이유 때문에, 트래커 디스플레이 유닛(170)은 액티브 매트릭스 디스플레이일 수도 있으며, 특히 정밀하고 반복 가능한 추적 결과를 달성하기 위해 심볼 디테일 및 분리를 위한 리소그래피 정밀도 및 디스플레이 안정성을 제공하는 액티브 매트릭스 디스플레이일 수도 있다. 리소그래피 정밀도는, 집적 회로부(circuitry) 및/또는 액티브 매트릭스 디스플레이의 제조에서 일반적으로 사용되는, 광학 또는 UV 포토리소그래피, 전자 빔 리소그래피, 이온 빔 리소그래피, 또는 등등과 같은 기술에 의해 달성되는 초고정밀, 정확도 및 반복성을 의미하는 것으로 간주된다. 하기에 설명되는 실시형태에서, 액티브 매트릭스 트래커 디스플레이 유닛(170)은, 단순한 물리적인 마킹 또는 개별적이고 더 큰 LED 이미터로 달성 가능한 것 훨씬 이상의 방식으로 기준 심볼의 디스플레이를 가능하게 한다.
예로서, 트래커 디스플레이 유닛(170)은, 확장된 영역에 걸쳐 미크론 이하의 또는 더 나은 정밀도 및 작은 픽셀 사이즈를 갖는 액티브 매트릭스 LCD 및/또는 액티브 매트릭스 LED 디스플레이를 포함할 수도 있으며, 비록 이러한 디스플레이가 통상적으로는 픽셀 패턴과 카메라 유닛(160)(예를 들면, 유리 기판, 편광기, 등등) 사이에 개재하는 보호층을 구비하지만, 이러한 층은 일반적으로 디스플레이 영역 전체에 걸쳐 일관되며, 그 결과 추적 기능성을 가능하게 한다. 추가의 특성은, 미크론 이하의 정밀도 패턴화, 고해상도, 고 콘트라스트, 높은 국소적이고 균일한 출력 휘도/복사 휘도(radiance), 탁월한 피처 선형성, 또는 이와 유사한 것을 갖는, 유리 및/또는 투명 기판 상에 또는 그 뒤에, 리소그래피 방식으로 패턴화되고, 방출형이고, 백라이트 조명되거나(backlit) 또는 국소적으로 전방 조명되며(frontlit), 원격으로 생성되고 지향된 전면 또는 주변 조명을 필요로 하지 않는, 단일의 확장 기판 상에 구축되는 디스플레이 유닛(170)을 포함할 수도 있다. 극단적인 이차원 정밀도 및 안정성 이외에도, 트래커 디스플레이 유닛(170)의 표면에 수직인 축에서의 안정성 및 정밀도는, 예를 들면, 기판 재료, 두께 및/또는 평탄성의 선택에 의해, 소망하는 정도까지 또한 제어될 수도 있다. 적절한 모니터링 및 하나 이상의 적절한 가열 또는 냉각 엘리먼트를 사용하는 피드백에 의해, 원하는 경우 열팽창 또는 균일성이 제어될 수 있다.
하나의 예시적인 실시형태에서, 트래커 디스플레이 유닛(170) 중 하나 또는 둘 다는 공간적 특성들의 결정을 지원하도록 기능하는 전용 디스플레이 패널이다. 다른 예시적인 실시형태에서, 트래커 디스플레이 유닛(170) 중 하나 또는 둘 모두는, 항공 헤드 다운 디스플레이(head down display; HDD)와 같은 항공기 조종실 또는 환경(102)에서 이미 이용 가능한 디스플레이 기능에 대해 추가적으로 사용될 수도 있고, 그 결과 추가적인 하드웨어의 설치가 거의 또는 전혀 없이 이중 기능성을 제공하게 된다.
상기에서 언급되는 바와 같이, 카메라 유닛(160)은 유저 상에 배치되고 유저와 함께 움직일 수 있는 NTE 구조체(110) 상에 장착된다. 통상적으로, 카메라 유닛(160)은, 유저의 관점이 카메라 유닛(160)의 관점으로부터 쉽게 도출될 수도 있도록, 구조체(110) 상의 지정된 기준 포지션에 배치된다. 한 예로서, 카메라 유닛(160)은 소형의 고해상도 카메라이다. 몇몇 실시형태에서, 다수의 카메라 유닛(160)이 활용될 수도 있다. 동작 동안, 카메라 유닛(160)은 환경(102)의 이미지, 특히 트래커 디스플레이 유닛(170) 상에 디스플레이되는 이미지를 캡처하도록 기능하고, 카메라 유닛(160)은 이들 이미지를 트래커 제어 유닛(140)으로 제공한다.
트래커 제어 유닛(140)은 하나 이상의 기능 유닛 또는 모듈(142, 144 및 146)(예를 들면, 소프트웨어, 하드웨어 또는 이들의 조합)을 포함하는 것으로 간주될 수도 있다. 한 예로서, 모듈(142, 144 및 146)의 각각은 프로세서(150) 및 메모리(152)에 의해 또는 그와 함께 구현될 수도 있다. 묘사된 실시형태에서, 트래커 제어 유닛(140)은 포지션 결정 모듈(142), 예측 모듈(144) 및 디스플레이 모듈(146)을 포함한다. 도 1은 하나의 예시적인 편제(organization)를 묘사하며, 다른 실시형태는 대안적인 편제 또는 구현으로 유사한 기능을 수행할 수도 있다. 하기의 논의에서, 트래커 제어 유닛(140)은 소정의 기능이 발생하는 반복, 사이클 또는 프레임에서 동작하는 것으로 간주될 수도 있다. 일반적으로, 이들 시간 기간은 하기에서 프레임으로 참조된다.
상기에서 소개되는 바와 같이, 트래커 제어 유닛(140)의 주요 기능은, 구조체 디스플레이 유닛(120) 상에 디스플레이되는 기호가 정확하게 배치될 수도 있도록 하는 유저의 관점을 결정하는 것이다. 따라서, 포지션 결정 모듈(142)은, 일반적으로, 카메라 유닛(160)에 의해 제공되는 이미지로부터 기준 심볼을 식별하도록 그리고 캡처된 이미지에서의 기준 심볼의 외관으로부터 NTE 구조체(110)의 공간적 특성, 따라서 유저의 관점을 결정하도록 기능한다. 트래커 제어 유닛(140)의 추가 기능은, 공간적 특성의 결정을 용이하게 하는 방식으로 트래커 디스플레이 유닛(170) 상에서의 기준 심볼의 외관을 제어하는 것이다. 이와 같이, 트래커 제어 유닛(140)은, 다음 프레임 동안의 유저의 공간적 특성을 예측하는 예측 모듈(144), 및 식별 및 평가를 용이하게 하는 방식으로 다음 프레임 동안의 기준 심볼의 외관을 요구하는 디스플레이 모듈(146)을 더 포함한다. 이들 모듈(142, 144, 146)의 동작에 대한 추가적인 세부 사항이 하기에서 제공될 것이다.
상기에서 언급되는 바와 같이, 트래커 제어 유닛(140)(뿐만 아니라 시스템(100)의 다른 컴포넌트)은, 범용 프로세서, 콘텐츠 주소 지정 가능 메모리(content addressable memory), 디지털 신호 프로세서, 주문형 집적 회로, 필드 프로그래머블 게이트 어레이, 적절한 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 프로세싱 코어, 이산 하드웨어 컴포넌트, 또는 이들의 임의의 조합을 비롯한, 컴퓨터 프로세스(150)로 구현될 수도 있다. 실제로, NTE 트래커 제어 유닛(140)은, NTE 트래커 제어 유닛(140)의 동작과 관련되는 기능, 기술 및 프로세싱 태스크 또는 방법을 수행하도록 구성될 수도 있는 컴퓨터 프로세서(150) 및 메모리(152)를 더 포함한다. 메모리(152)는 컴퓨터 판독 가능 명령어, 펌웨어 및 소프트웨어 프로그램을 저장할 수도 있으며, 제한이 아닌 예로서, 반도체 메모리 디바이스, 예컨대 EPROM, EEPROM, 및 플래시 메모리 디바이스; 자기 디스크 예컨대 내장 하드 디스크 및 착탈식 디스크; 광자기 디스크; 및 DVD 디스크를 비롯한 모든 형태의 불휘발성 메모리를 포함하는 그러나 이들로 제한되지는 않는 컴퓨터 판독가능 명령어의 저장을 위해 사용되는 임의의 적절한 매체 상에서 유형적으로 구체화될 수도 있다.
카메라 유닛(160) 이외에, NTE 트래커 제어 유닛(140)은, 포지션 및 방위 데이터를 제공하는 구조체(110) 상의 또는 그 구조체로부터 분리된 하나 이상의 추가 센서로부터 정보를 수신할 수도 있다. 이러한 센서는, GPS 센서, 관성 측정 유닛(inertial measurement unit; IMU) 센서, 깊이 센서, 눈(eye) 추적 센서, 마이크, 생체 인식 센서, 및 다른 타입의 센서를 포함할 수도 있다.
지금까지 시스템(100)이 소개되었으므로, 이제, NTE 트래커 제어 유닛(140)의 동작의 더욱 상세한 설명이 설명될 것이다. 둘레(202)를 갖는 트래커 디스플레이 유닛(170) 상에 렌더링되는 기준 심볼(200)의 예를 묘사하는 도 2 및 도 3을 참조하여, 동작의 비교적 간단한 예가 설명된다.
일반적으로, 기준 심볼(200)은 구조체의 공간적 특성에서의 변화시 외관에서의 변화의 관찰을 가능하게 하는 심볼이다. 이들 예에서, 기준 심볼(200)은 교차하는 라인의 격자인데, 여기서, 각각의 교차점(crossing)은 트래커 제어 유닛(140)에 의해 식별 및 평가될 수도 있는 잠재적인 기준 마킹을 나타낸다. 임의의 적절한 기준 심볼이 사용될 수도 있다. 그러나, 일반적으로, 기준 심볼(200)이, 하기에서 더 상세히 설명되는 바와 같이, 방위 효과로부터의 병진 효과의 구별을 가능하게 하는, 도 2의 고정밀의 패턴화된 기판 또는 마스크와 같은 잘 분리된 마킹 또는 피처를 가지며 별개의 에지를 갖는 것이 유익하다. 기준 심볼은 자체 발광이거나 또는 국소적으로 백라이트 조명되거나 전방 조명되는 것이 바람직하고, 적외선 또는 자외선과 같이 가시적일 수도 있거나 또는 비가시적일 수도 있다. 통상적으로, 기준 심볼은, 하기에서 설명되는 바와 같이, NTE 트래커 제어 유닛(140)에 의한 식별 및 평가를 용이하게 하도록 선택된다.
도 2는 제1 관점으로부터의 기준 심볼(200)의 도면이다. 도 2의 특정한 예에서, 제1 관점은, 트래커 디스플레이 유닛(170)의 둘레(202)의 규칙적인 직사각형 성질에 의해 나타내어지는 바와 같이, 유저의 원점, 중심 또는 기준선(baseline) 포지션에 대응한다. 일반적으로, 제1 관점은 공지의 공간적 특성을 갖는 관점이다.
이 예에서, 도 2는 또한 기준 심볼(200)의 공칭(nominal) 외관을 묘사한다. 기준 심볼(또는 공칭 기준 심볼)의 공칭 외관은, 하기에서 더 상세히 설명되는 바와 같이, 위치 또는 방위에서의 임의의 변화를 결정하기 위해 편차가 식별 및 평가될 수도 있는 기준선 외관이다. 일반적으로, 기준 심볼의 공칭 외관은, 기준 심볼(200)에 대해 상기에서 설명되는 소망하는 특성을 갖는, 기준 심볼의 이미지에 기초한 공간적 특성의 도출을 용이하게 하도록 선택된다. 기준 심볼(200)은, 심볼의 검출과 관련되는 방위적 또는 병진적 모호성을 제거하는 하나 이상의 대칭 파괴(또는 비대칭) 피처(210)를 포함하는 것이 또한 바람직하다. 도시되는 바와 같은 피처(210)는 명확성을 위해 단순화된 것이며 제한하도록 의도되지는 않는다. 실제로, 대칭 파괴 피처는 도 2에서의 것과 같은 격자 구조 전체에 걸쳐 포함되는 것이 바람직할 것이며, 또한 병진 및 회전 모호성을 둘 다를 제거하기 위해 교차점마다 변할 것이다. 이것은 특히, 기준 심볼(200)의 일부만이 카메라 유닛(160)에 의해 검출되는 상황에 관련이 있다.
도 3은 제2 관점으로부터의 기준 심볼(200)의 도면이다. 제2 관점은, 미지의 관점, 예를 들면, 유저의 움직임에 따라 구조체(110) 및 카메라 유닛(160)의 움직임으로부터 유래하는 관점에 대응한다. 도 3의 예에서, 유저는 디스플레이 유닛(170)에 더 가깝고, 디스플레이 유닛(170)의 둘레(202)의 왜곡되거나 비스듬한 외관에 의해 나타내어지는 바와 같이, 아래로 그리고 약간의 롤로 오른쪽으로 겨냥하면서, 도 2와 비교하여 디스플레이 유닛(170)을 좌측 상부에서 보고 있다. 이 움직임의 결과로서, 기준 심볼(200)의 외관도 또한 도 2의 기준 심볼(200)의 공칭 외관에 비해 비스듬하다.
동작 동안, NTE 트래커 제어 유닛(140)은 도 3에 도시되는 것과 같은 제2의 미지의 관점에서 카메라 유닛(160)으로부터 기준 심볼(200)의 이미지를 수신하여 "캡처된 외관"을 구비하는 기준 심볼을 갖는 이미지를 초래한다. NTE 트래커 제어 유닛(140)은, 기준 심볼(200)의 캡처된 외관에 기초하여 카메라 유닛(160)(및 따라서, 구조체(110) 및 유저)의 공간적 특성을 결정하기 위해, 기준 심볼(200)을 식별 및 평가한다.
NTE 트래커 제어 유닛(140)은 임의의 적절한 방식으로 기준 심볼(200)로부터 공간적 특성을 결정할 수도 있다. 카메라로 캡처된 2D로부터 오브젝트의 3D 포즈 또는 포지션을 추정하는 이 태스크는, 종종, PnP(Perspective-n-Point) 추정으로 칭해진다. 기술은, 최소 데이터 세트를 사용하는 분석 솔루션으로부터 다수의 샘플링된 포인트를 사용하는 통계 및 반복 솔루션까지의 범위에 이른다.
하나의 예시적인 실시형태에서, 트래커 제어 유닛(140)의 포지션 결정 모듈(142)은, 카메라 유닛(160)으로부터 이미지를 수신하고, (예를 들면, 구조체의 가능한 움직임에 따른 포지션 및 방위에서의) 미지의 공간적 특성의 관점으로부터의 기준 심볼의 캡처된 외관을, (예를 들면, 공지의 위치 및 방위에서의) 공지의 공간적 특성의 관점으로부터의 기준 심볼의 공칭 외관과 비교한다. 이 비교로부터, 포지션 결정 모듈(142)은 불일치를 식별할 수도 있고, 이들 불일치로부터, 포지션 결정 모듈(142)은 제2의 이전에 알려지지 않은 관점에서 공간적 특성을 도출할 수도 있다.
포지션 결정 모듈(142)은 공간적 특성을 결정하기 위해 수많은 기술 중 임의의 것을 구현할 수 있다는 것이 인식될 것이다. 이러한 기술 또는 모델은, 포지션 결정 모듈(142)에 저장되는 삼각 측량 또는 관련 알고리즘과 같은 기하학적 분석을 포함할 수도 있다. 하나의 특정한 기술은, 1995년 6월자 International Journal of Computer Vision, 15, pp. 123-141의 D. DeMenthon 및 L.S. Davis의 "Model-Based Object Pose in 25 Lines of Code"에서 개시되며, 그 안에서 "POSIT"으로 칭해진다. 다른 기술은, 2009년의 International Journal of Computer Vision, vol. 81, pp. 155-166의 V. Lepetit, F. Moreno-Noguer 및 P. Fua의 "EPnP: An Accurate O(n) Solution to the PnP Problem"에서 설명된다. 추가 예로서, 이미지를 캡처하는 카메라 유닛(160)과 기준 심볼 사이의 상대적인 병진 및 방위 관계를 결정하기 위해, 이미지에서 기준 심볼의 특성을 측정하도록 표준 삼각 측량 기술이 활용될 수도 있다. 하나의 예는, 측정을 6 개의 독립적인 메트릭으로 간결하게 하고, 이들 간결하게 된 메트릭을 소망하는 DOF 메트릭으로 변환하는 적절한 변환을 적용하는 것일 것이다. 다른 예시적인 방법은, 오버샘플링된 시스템의 수치 적합도를 계산하고, 오버샘플링을 사용하여 샘플링된 데이터의 임의의 잠재적인 노이즈를 평균화하거나 필터링하고, (예를 들면, 가짜 반사 또는 다른 상황으로 인해 하나 이상의 이미터가 막히거나 비정상적인 신호 레벨을 조우하는 경우) 중복성(redundancy)을 제공하거나, 또는 소정의 기하학적 관계에서의 감도(예를 들면, 공간적 감도 대 각도 감도)를 향상시키는 것일 것이다. 예를 들면, 측정의 시간적 특성을 포함시키는 것에 의해, 추출된 DOF 메트릭을 향상시키기 위해, 추가적인 신호 프로세싱 방법이 또한 사용될 수도 있다.
하나의 예시적인 실시형태에서, 포지션 결정 모듈(142)은 6 자유도(x, y 및 z 포지션 및 피치, 요우 및 롤 방위)로 공간적 특성을 결정한다. 다른 실시형태에서, 이들 공간적 특성의 서브세트 만이 식별될 수도 있다. 또한, 필요하거나 원하는 바에 따라 이들 공간적 특성의 도함수, 예컨대 속도, 가속도 및 저크가 도출될 수도 있다.
상기에서 언급되는 바와 같이, 도 2 및 도 3의 예에서, 기준 심볼(200)은 제1 관점에서 공칭 외관을 가지는데, 이것은 이 경우에서는 원점이다. 상기의 예에서, 공칭 외관은 원점에 대해 고정된다. 다시 말하면, 기준 심볼(200)은 트래커 디스플레이 유닛(170)에 대해 고정되고, 기준 심볼(200)이 제1 관점에서 항상 공칭 외관을 가지며 제2 관점에서 비스듬한 외관을 가지도록, 일관되고 일정한 방식으로 디스플레이된다. 기준 심볼(200)을 생성하기 위해 리소그래피에 의해 생성된 매트릭스 디스플레이를 사용하는 많은 이점이 위에서 소개되었다. 도 2 및 도 3에 도시되는 바와 같은 정적이거나 또는 고정된 기준 심볼의 경우에, 하나의 대안적이고 예시적인 실시형태는, 동적 이미지 생성 능력을 무시하고 단순히 정적 이미지를 디스플레이하고, 심지어 어쩌면 방출 또는 광 변조 기판(light-modulating substrate) 상에 정적 이미지를 리소그래피에 의해 패턴화하는 것일 것이다.
다시 도 1을 참조하면, NTE 트래커 제어 유닛(140)은 다음 프레임 동안 유저의 공간적 특성을 예측하도록 구성되는 예측 모듈(144)을 더 포함한다. 이들 미래의 공간적 특성은 이하 "공간 예측"으로 칭해진다. 상기에서 또한 언급되는 바와 같이, NTE 트래커 제어 유닛(140)은 또한 트래커 디스플레이 유닛(170)에 커플링되어 디스플레이된 기준 심볼의 외관을 능동적으로 제어한다. 특히, NTE 트래커 제어 유닛(140)의 디스플레이 모듈(146)은 공간 예측에 기초하여 트래커 디스플레이 유닛(170) 상에서 기준 심볼을 조정, 배향, 및 배치하는 디스플레이 커맨드를 생성한다. 따라서, NTE 트래커 제어 유닛(140)은 또한, 구조체(110)의 예측된 공간적 특성을 참조하여 공칭 기준 심볼을 생성할 수도 있다. 다시 말하면, 기준 심볼의 공칭 외관은 특정하고 고정된 포지션 또는 원점에 대해 고정되는 것이 아니라, 대신에, 하기에서 설명되는 바와 같이, 공칭 기준 심볼은 구조체(110)의 예측된 포지션 및/또는 방위에 기초한 상황 의존적이다.
예측 모듈(144)은 임의의 수의 파라미터에 기초하여 공간 예측을 생성할 수도 있다. 예를 들면, 예측 모듈(144)은 이전의 공간적 특성의 추세 또는 외삽(extrapolation)에 기초하여 공간 예측을 결정할 수도 있다. 하나의 실시형태에서, 예를 들면, 공간적 특성에서의 가장 최근에 측정된 변화 중 일부 또는 전체를 현재 공간적 특성에 추가하여 공간 예측을 생성하는 것에 의해, 간단한 선형 외삽이 사용된다. 다른 실시형태에서, 칼만 필터링(Kalman filtering) 및 그 확장과 같은 공지된 기술을 비롯한, 2차 평가와 같은 고차 기술이 사용될 수도 있다. 공간 예측은, 최근의 측정 이력으로부터 추정되거나 도출되는 모션의 고차 도함수(high order derivative)를 고려할 수도 있으며, 또한 통상적인 유저의 그리고 동작 환경(102) 내에서의 특징적인 머리 모션 동역학을 고려할 수도 있다. 이들 예측 모듈 실시형태 중 일부가 둘 이상의 프레임으로부터의 데이터를 활용하지만, 이것은 제한하도록 의도되는 것은 아니다. 다른 실시형태에서, 예측 모듈(144)은 다음 프레임에 대한 공간 예측으로서 단일의 이전 프레임의 공간적 특성을 사용한다. 적절한 기준 심볼을 사용하면, 이것은, 특히 프레임별 공간적 특성에서의 변화가 과도하지 않은 경우에, 간단하지만 매우 효과적일 수 있다. 소정의 실시형태에서, 예측 모듈(144)은 또한, 예컨대, 이들 이전 프레임에 걸친 공간적 특성에서의 변화가 작은 경우, 다수의 이전 프레임의 평균을 활용할 수도 있고, 공간적 특성에서 더 큰 변화가 검출되는 경우, 다른 추정 방법으로 옵션적으로(optionally) 전환할 수도 있다. 또 다른 실시형태에서, 예측 모듈(144)은 2차 트래커 메커니즘과 같은 다른 입력에 기초하여 공간 예측을 생성할 수도 있다.
공간 예측으로부터 유래하는 기준 심볼의 예는 도 4 및 도 5의 비교에 의해 묘사된다. 도 4는 공간 예측의 관점으로부터의 디스플레이 유닛(170)의 이미지 둘레(402) 내의 기준 심볼(400)의 도면을 묘사한다. 특히 이 실시형태에서, 기준 심볼(400)은, 예상된 위치 및 방위에서 보거나 캡처될 때, 공칭 외관을 갖도록 디스플레이된다. 공간 예측의 예상된 위치 및 방위는, 공지의 공간적 특성을 가지지만, 그러나 공간적 특성을 초래하는 움직임이 예상된다. 도시되는 바와 같이, 유저가 (예를 들면, 원점의 관점으로부터가 아닌) 공간 예측의 관점으로부터 이미지를 보고 있기 때문에, 이미지 둘레(402)는 비스듬하다. 그러나, 기준 심볼(400)은 기준 심볼(400)을 형성하는 그리드의 규칙적이고, 심지어 균일한 외관에 의해 나타내어지는 바와 같은 공칭 외관을 갖는다. 참조를 위해, 도 5는 원점의 관점으로부터의 디스플레이 유닛(170)의 이미지 둘레(402) 내의 동일한 기준 심볼(400)의 도면인데, 이 예에서, 원점의 관점은, 유저의 현재 또는 예측된 관점이 아니라, 단지 비교 목적을 위해 묘사되는 것에 불과하다. 이 도면에서, 기준 심볼(400)은 원점이 아닌 공간 예측으로부터의 공칭 외관에 대해 렌더링되기 때문에, 기준 심볼(400)은 비스듬하게 보인다.
도 1을 다시 참조하면, 공간 예측을 행하고 공간 예측에 따라 기준 심볼(예를 들면, 도 4의 기준 심볼(400))을 디스플레이할 때, 카메라 유닛(160)은 유저의 실제 위치 및 방위로부터 기준 심볼의 이미지를 캡처한다. 이미지의 수신시, 포지션 결정 모듈(142)은 이미지로부터 추출되는 기준 심볼을 식별하고 평가한다. 특히, 포지션 결정 모듈(142)은 이미지 내의 기준 심볼을, 공지된 공간적 특성의 공칭 기준 심볼과 비교한다. 이미지 내의 기준 심볼이 공칭 외관을 가지면, 포지션 결정 모듈(142)은 공간 예측을 현재 공간적 특성으로서 식별한다. 캡처된 이미지 내의 기준 심볼이 공칭과는 상이한 외관을 가지면, 포지션 결정 모듈(142)은 불일치를 식별하고, 예를 들면, 상기에서 설명되는 프로세스와 마찬가지로, 불일치에 기초하여 현재의 공간적 특성을 결정한다.
프레임마다의 기준 심볼의 능동적 제어는 특별한 이점을 제공한다. 예를 들면, 각각의 프레임은 기준 심볼이 최고의 이점을 위해 조정되는 것을 가능하게 할 수도 있다. 도 4 및 도 5의 실시형태에서의 능동 제어의 결과는, 기준 심볼이, 카메라에 의해 캡처될 때, 프레임마다 일반적으로 동일하게 나타날 것이다는 것이다. 심볼은, 실제로, 원점에 비해 "미리 비스듬하게 되어" 있거나" 또는 "미리 왜곡되어" 있지만, 예상된 관점에 대해 공칭이다. 예측된 카메라의 6 DOF 포지션이 실제 포지션과 다를 경우에만, 그 공칭 패턴과의 편차가 있을 것이다. 이 접근법은 패턴 매칭 및 분석 알고리즘을 크게 단순화할 수 있다. 기준 심볼을 능동적으로 제어하는 것에 의해, 기준 기반의 패턴 인식에 필요한 기하학 및 관계의 범위는 축소된다. 기하학적 조작 및 계산을, 캡처된 이미지의 "사후 프로세싱"보다는 심볼의 "사전 프로세싱"으로 이동시키는 것에 의해, 검출 단계가 단순화된다. 추가적인 이점이 또한 실현될 수도 있다. 예를 들면, 그리드의 둘레는 이상적인 것으로부터 추정된 편차를 발견하기 위해 사용될 수도 있는데, 이것은, 차후, 데이터의 훨씬 더 많은 중복 세트가 이미지로부터 추출되어 프로세싱되는 것을 가능하게 할 수도 있다. 이것은, 예를 들면, 전체 정밀도를 평균내고 향상시킬 그리드 내부 또는 주변의 수천 개의 픽셀 위치, 및 최소한의 검색이나 모호성으로 이들 포인트의 각각을 어디에서 찾을지를 아는 것을 포함할 수 있다. 도 4가 하나의 그리드를 도시하고 있지만, 다수의 더 작은 심볼이 영역에 걸쳐 분포될 수도 있는데, 예를 들면, 카메라 및 디스플레이의 현재 시야(FOV) 중첩의 각각의 코너에 분포될 수도 있다.
비록 도 4와 도 5 사이의 가장 명백한 차이점이 기준 심볼(400)의 방위 및 형상이지만, 공간적 특성을 결정하는 능력을 향상시키기 위해, 외관에서의 다른 변화가 제공될 수도 있다. 예를 들면, 위치, 사이즈, 형상, 컬러, 업데이트 속도, 및 다른 특성이 또한, 유저의 공간 예측에 의존할 수도 있다. 특정한 예로서, 상대적으로 큰 트래커 디스플레이 유닛(170)에서, 기준 심볼은, 유저의 공간 예측에 가장 가까운 스크린상의 포지션에, 또는 카메라 유닛(160)의 시야 내에 있도록 선택되는 스크린 상의 포지션에 배치될 수도 있다. 그러나, 컬러, 서브 픽셀 디테일(디스플레이 및 카메라 둘 다), 단색/협대역 동작, 이미지 평활화 또는 센서 대역 제한 기술의 사용의 맞춤형 사용과 같은 다른 변형이 제공될 수도 있다. 소정의 실시형태에서, 미적 시각적 이미지 품질을 향상시키기 위해 일반적으로 활용되는 기술은 바이패스되어, 예를 들면, 추적 기능에 유용할 수도 있는 모아레 효과와 같은 정보를 신중하게 허용하고 활용할 수도 있다.
몇몇 실시형태에서, 트래커 제어 유닛(140)은, 예를 들면, 유저의 공간 예측 외에, 추가적인 파라미터에 기초하여 트래커 디스플레이 유닛(170) 상에 기준 심볼을 디스플레이할 수도 있다. 예를 들면, 기준 심볼은 플랫폼, 모션의 범위, 카메라 유닛, 및/또는 디스플레이 특성에 기초하여 선택될 수도 있다.
도 2 내지 도 5는, 기준 심볼의 공간적 특성, 특히 방위를 변경하는 가능한 효과 중 하나가, 공칭 형상에 대한 기준 심볼의 겉보기 비스듬함(apparent skewing)이다는 것을 명확하게 나타내고 있다. 예를 들면, 정사각형 심볼의 방위를, 정사각형 심볼의 변(side) 중 하나에 대해 또는 평면 축에서 변경하는 것은, 뷰어 또는 카메라 유닛(160)으로부터의 자신의 증가된 거리로 인해 한 면이 다른 면보다 더 짧게 보이는 겉보기 사다리꼴 형상으로 나타날 수 있다. 주어진 양의 방위 차이를 검출하는 능력은, 다수의 상세한 인자 및 고려 사항에 의존하지만, 그러나 이 간단한 예는 본 발명의 맥락에서 트래커 디스플레이 유닛(170)의 소정의 바람직한 특성의 1 차 추정치를 획득하는 데 사용될 수 있다. 원점에 있는 카메라 유닛(160)으로부터 거리 D에 위치되는 폭 W의 정사각형 기준 심볼의 경우, 설명되는 바와 같은 방위각 A에서의 작은 변화는, 정사각형의 한 변이 대향 변보다 대략 W × sin A 카메라에 더 가깝거나, 또는 A가 아주 작고 라디안 단위로 측정되는 경우 대략 W × A 카메라에 더 가까운 사다리꼴 이미지를 초래한다. 이것은 더 가까운 변이, 높이 W의 대향 변과 비교하여, 높이 W × ((D + WA)/D)를 갖는 것으로 보이게 된다. 따라서, 분수적 변화(fractional change)는 (W × (1 + AW/D) - W)/W = AW/D이다. 한 예로서, A, W 및 D를 각각 5 밀리라디안, 200 mm 및 500 mm로 설정하면, 약 1/500, 또는 0.2%의 겉보기 변화로 나타난다. 이 레벨의 세부 사항을 분석하는(resolving) 것은, 일반적으로, 동일한 사이즈 또는 더 작은 사이즈의 픽셀, 즉 거리 W를 따라 약 500 픽셀 또는 그 이상의 픽셀의 사용을 제안하는데, 최소 500 × 500 정밀도 및 균일하게 이격된 픽셀을 갖는 픽셀화된 매트릭스 디스플레이를 의미한다. 더 작은 각도를 분석하는 것, 더 작은 트래커 디스플레이 유닛을 사용하는 것, 더 큰 추적 거리 및 일반적으로 향상된 성능 및 유연성을 제공하는 것을 가능하게 하기 위해, 더 높은 픽셀 카운트, 예를 들면, 1000 × 1000, 2000 × 2000 또는 4000 × 4000가 사용될 수도 있다. 동일한 이유로, 픽셀의 겉보기 광학 깊이 또는 두께는, 각도의 함수로서 유효 분해능의 저하를 최소화하기 위해, 횡방향 픽셀 치수보다 실질적으로 더 작을 수도 있다.
다른 실시형태에서, NTE 트래커 제어 유닛(140)은 다른 요인에 기초하여 기준 심볼의 외관을 추가로 또는 대안적으로 수정하기 위한 보상 모듈을 포함할 수도 있다. 특히, 보상 모듈은, 카메라 맵핑에서의 왜곡(예를 들면, 배럴(barrel) 또는 핀쿠션 왜곡), 평탄도에서의 디스플레이 편차, 및/또는 임의의 개재하는 기판 또는 표면을 통한 굴절 효과와 같은 오류의 잠재적인 원천에 기초하여 기준 심볼의 외관을 수정할 수도 있다. 사전 프로세싱 단계에서 이들 잠재적인 오류를 추정하고 보상하는 것에 의해, 보상 모듈은 패턴 매칭 알고리즘에서 이들 효과를 고려할 필요성을 상당히 감소시키거나 또는 제거하는데, 이것은 프로세싱 복잡성을 대폭 감소시킬 수 있다. 렌즈 왜곡 및 수차, 비네팅 및 센서 정렬은 성능을 쉽게 저하시킬 수 있으며 따라서 높은 정확도가 필요로 될 때 고려되어야 한다. 이들은, 사전 프로세싱 및 사후 프로세싱 단계 중 하나 또는 둘 모두에 특성을 저장하고 적용하여, 모델링될 수 있거나 또는 개별적으로 특성 묘사될 수 있다. 예를 들면, 투명 디스플레이 기판을 통한 굴절 효과는 일반적으로 이해된다. 이들은 잠재적인 추적 범위 전체에 걸쳐 크게 다를 수 있지만, 그러나 사전 프로세싱 단계에서는 평활하게 변할 수도 있고 보상에 적절할 수도 있다. 잠재적인 오류의 또 다른 원천은, 개별적으로 완전히 특성 묘사하기가 더 어려울 수도 있지만, 추적 기능과 동시적 방식으로 이러한 영향을 검출 및 조정하기 위해, 조정 가능한 기준, 디스플레이 매트릭스 구조체의 극도의 정밀도 및 선형성, 및 보상 모듈의 조합이 사용될 수 있다.
하나의 실시형태에서, 보상 모듈은 도 2 내지 도 5의 그리드 라인(200 및 400)과 같은 디스플레이 유닛(170) 상에 디스플레이되는 심볼 및 검출된 라인의 선형성을 개별적으로 검사하고, 다수의 이러한 측정 및 공지의 광학 광선 추적 기술을 사용하여 디스플레이 유닛(170)의 평탄도 프로파일의 특징적인 설명을 개발한다. 그 다음, 예를 들면, 다항식 기반의 표면 평탄도 모델 형태의 이 설명은 이용 가능하게 될 수도 있고, 적절한 경우, 주기적으로 업데이트될 수도 있다. 평탄화 모델은 사전 프로세싱 및/또는 사후 프로세싱 기능의 정밀도를 향상 시키기 위해 사용될 수도 있다. 디스플레이된 심볼의 조정 가능성은, 조정되지 않으면 트래커 출력의 정확도와 정밀도를 제한할 수도 있는 것을 완벽하게 특성 묘사하는 능력을 향상시킨다. 보상 모듈은 또한, 결과의 결정을 향상시키기 위한 피드백으로 사용될 수도 있는, 포지션 결정 모듈(142)에 의한 공간적 특성의 결정에서 임의의 오버샘플링으로부터 유래하는 통계 오차, 잔차 또는 메리트 함수에 또한 액세스할 수도 있다.
앞서 언급된 바와 같이, 하나의 예시적인 실시형태는 하나 이상의 트래커 디스플레이 유닛(170), 예를 들면, 뷰어의 전방 시선 앞에 그리고 약간 아래에 배치되는 디스플레이 유닛(170)을 활용하여 유저에 의한 직접 뷰잉을 위해 의도되는 유저가 볼 수 있는 기호를 추가로 제공할 수도 있다. 이 실시형태에서, 트래커에 대한 심볼은 디스플레이 영역의 모서리에 정적으로 배치된 기준과 같은 디스플레이 유닛(170)의 미사용 영역에 제시될 수도 있다. 대안적으로, 기준 심볼은 유저가 볼 수 있는 기호 내에서 산만하게 하지 않는 방식으로 통합될 수도 있거나, 또는 심지어 뷰어에게 제공되는 동일한 심볼일 수도 있다. 후자의 경우, 직접 신호 연결은 옵션적일 수도 있으며, 카메라 기반의 트래커 어셈블리가 특히 일관성 있고 예측 가능한 심볼을 참조하는 것을 허용한다. 예를 들면, 빠른 AMOLED 또는 AMLCD 패널을 사용하는 스테레오 모니터에서와 같이 시간 변조되는, 이중 가시/NIR 출력 세트와 같은 다른 맞춤형 설계도 또한 가능하다. 기준 심볼을 다른 기호에서 분리하기 위해, 표준 스펙트럼 필터링 및/또는 일시적 위상 감지 검출(temporal phase-sensitive detection) 방법이 활용될 수도 있다.
도 6은 본원에서 설명되는 예시적인 실시형태와 함께 사용하기에 적절한 방법(600)의 예시적인 실시형태를 예시하는 플로우차트이다. 방법(600)과 관련하여 수행되는 다양한 태스크는 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합에 의해 수행될 수도 있다. 설명의 목적을 위해, 방법(600)의 다음의 설명은, 이전의 도면과 연계하여 상기에서 언급되는 엘리먼트를 참조할 수도 있다. 실제로, 방법(600)의 일부는 설명된 시스템의 상이한 엘리먼트에 의해 수행될 수도 있다. 방법(600)은 임의의 수의 추가적인 또는 대안적인 태스크를 포함할 수도 있으며, 도 6에서 도시되는 태스크는 예시된 순서로 수행될 필요가 없고, 방법(600)은 본원에서 상세히 설명되지 않은 추가적인 기능성을 갖는 보다 포괄적인 프로시져 또는 방법으로 통합될 수도 있다는 것이 인식되어야 한다. 또한, 도 6에서 도시되는 태스크 중 하나 이상은, 의도된 전체 기능성이 손상되지 않는 한, 방법(600)의 실시형태에서 생략될 수 있다.
제1 단계(605)에서, 유저의 현재의 공간적 특성이 트래커 제어 유닛(140)에 의해 결정되거나 또는 다르게는 획득된다. 이전의 결정을 비롯한, 현재의 공간적 특성은, 임의의 적절한 방식으로 결정될 수도 있다. 몇몇 실시형태에서, 현재의 공간적 특성은, 현재의 공간적 특성이, 예를 들면, 도 2 및 도 3을 참조하여 상기에서 설명되는 기능과 유사하게 결정될 수도 있도록, 공지의 공간적 특성을 갖는 다른 관점 또는 원점에 대해 공칭 외관을 갖는 기준 심볼을 디스플레이할 것을 트래커 디스플레이 유닛(170)에게 지시하는 것에 의해 결정될 수도 있다.
단계 610에서, 트래커 제어 유닛(140)에 의해 다음 프레임 또는 시간 기간에 대한 유저의 공간 예측이 결정된다. 단계 615에서, 적어도 몇몇 프레임 또는 시간 기간에 대해 이전 기준 심볼과는 상이한 기준 심볼을 트래커 디스플레이 유닛(170) 상에 디스플레이하기 위한 디스플레이 커맨드가 생성된다. 하나의 실시형태에서, 디스플레이되는 기준 심볼은, 기준 심볼의 공칭 외관이 공간 예측의 관점으로부터 유래하는 그런 것이다.
단계 620에서, 기준 심볼의 이미지는 카메라 유닛(160)에 의해 캡처된다. 단계 625에서, 유저의 공간적 특성을 결정하기 위해, 기준 심볼의 캡처된 외관이 분석되는데, 예를 들면 공칭 외관과 비교된다. 단계 630에서, NTE 구동 유닛(130)는, 유저가 디스플레이된 기호를 적절한 포지션에서 볼 수도 있도록, 공간적 특성에 기초하여 구조체 디스플레이 디바이스(120)에 대한 디스플레이 커맨드를 생성한다.
후속하여, 방법(600)은, 트래커 제어 유닛(140)이 계속해서 기준 심볼의 외관을 능동적으로 관리하고 유저의 업데이트된 공간적 특성을 결정하도록, 단계 605로 되돌아 간다.
비록 도 2 내지 도 5가 추적된 공간적 특성에 기초하여 심볼이 유리하게 수정되는 기준 심볼의 하나의 예를 묘사하고 있지만, 많은 다른 타입의 기준 심볼이 제공되어 다른 상황에서 사용될 수도 있다. 도 7은 직접적인 피처 검출을 용이하게 하기 위해 예시적인 실시형태에서 구현되는 기준 심볼(700)이다. 도 7에서, 기준 심볼(700)은 회전된 실선의 정사각형의 포개진 쌍(nested pair) 또는 보다 일반적으로는, 회전된 기준 심볼의 포개진 쌍(또는 그 이상)이다. 타겟 라인(r1, r2, c1, c2)은 카메라 이미지 내의 픽셀의 선택된 고정된 개별 행과 열을 나타낸다. 이미지의 수신시, NTE 트래커 제어 유닛(140)은 라인(r1, r2, c1, c2) 및 정사각형의 기준 심볼(700)의 교점(a-p) 중 하나 이상을 식별하는데, 이것은 타겟 라인(r1, r2, c1, c2)을 예상된 부근에서 탐색하여 이들 행 및 열을 따라 이미지 휘도에서의 피크의 위치를 결정하는 것에 의해 상대적으로 간단한 방식으로 달성될 수도 있다. 양자화 오차 또는 디포커스가 문제라면, 이들은 간단한 로컬 가중치 합산 기법(local weighted summing technique)에 의해 완화될 수 있다. 이 기본 예제에서의 결과는, r1, r2, c1, c2가 미리 결정되고 측정되지 않으므로, 교점과 관련되는 최대 16 개의 측정 값의 세트이다. 값의 이 세트로부터, h 및 v 둘 다에서 고유하게 특성 묘사되는 포인트가 디스플레이 상에 없더라도, 6 자유도가 추출될 수도 있다. 그리드 교차점에 대해 2D 검색을 행하는 대신, 또는 비스듬한 라인 또는 곡선을 추적하기 위해 삼각 함수를 호출하는 대신, 이와 같은 관계를 유지하는 것은, 간단한 선형 탐색이 대신 사용되는 것을 허용한다.
값 r1, r2, c1, c2 및 a-p를 추적된 공간적 특성으로 변환하는 것은, 앞서 설명된 바와 같은 유사한 방법을 사용하여 수행될 수 있다. 예를 들면, 심볼(700)의 각각의 정사각형의 각각의 모서리는, 대응하는 두 라인의 교점에 대해 간단하게 해를 구하는 것에 의해 쉽게 위치 결정될 수도 있고 특성 묘사될 수도 있다. 포인트 a 및 h를 통과하는 라인은, b 및 c를 통과하는 라인과 교차하여, 카메라 유닛(160)에 의해 캡처될 때, 심볼(700)의 최상부 코너를 산출할 것이다. 8 개의 모서리, 또는 그것의 충분한 서브세트로부터, 대응하는 메리트 함수의 비선형 최소 제곱 최소화에 의해 대수적으로든, 또는 다른 이러한 방법에 의해서든 간에, 추적될 공간적 특성이 해명될 수도 있다.
공간적 특성이 다시 변함에 따라 프레임 단위로 기준 심볼을 조정하는 능력은, 성능 최적화에서 유연성을 제공한다. 이와 같이, 기준 심볼의 생성 동안, 관점이 변함에 따라 겉보기 방위, 각도(들), 사이즈 및 다른 양태가 소망하는 대로 유지될 수도 있고, 그 결과, NTE 트래커 제어 유닛(140)은, 단순히, 예상 값으로부터의 편차를 찾도록 요구 받게 되고, 심지어 어쩌면 모션 효과가 프레임 단위에서 충분히 작은 경우 선형 또는 2차 근사를 사용하여 상황을 처리한다. 심볼 내의 정사각형 또는 다른 피처의 수는 원하는 대로 동적으로 변경될 수도 있다. 추가 변형은, 테스트 포인트의 상대적 방향 감도를 변경하기 위해 라인의 슬로프를 조정하는 것을 포함한다. 이미징 센서 해상도가 증가함에 따라, 데이터 전송 및 분석에 필요한 신호 대역폭도 증가한다. 여기서 설명되는 방법은 카메라 유닛(160)의 시야 또는 커버리지 영역 내의 특정 영역 또는 주목하는(of interest) 영역에 중점을 두는 것을 허용한다. 많은 카메라 센서가 있으면, 이것은, 더 큰 영역이 캡처되고 분석될 때보다 훨씬 더 높은 프레임 레이트에서의 동작을 가능하게 한다. 간소화된 피처 검출 및 프로세싱과 함께, 이미지 캡처와 결정된 공간적 특성의 가용성 사이의 대기 시간(latency) 또는 지연은 최소한으로 유지될 수 있다.
도 8은 다른 예시적인 실시형태에 따른 NTE 시스템(800)의 일부의 기능적 블록도이다. 달리 언급되지 않는 한, NTE 시스템(800)은, NTE 시스템(800)의 일부를 형성할 수도 있지만 그러나 도 8에서 묘사되지 않는 구조체 디스플레이 유닛(120), NTE 구동 유닛(130), NTE 트래커 제어 유닛(140) 및 하나 이상의 데이터 소스(180)와 같은 엘리먼트를 포함하는 도 1의 NTE 시스템(100)과 유사하다. 도 8에서, 카메라 유닛(860)은 동작 환경(102)에 대해 정지되어 있고, 트래커 디스플레이 유닛(870)은 NTE 구조체(110) 상에 장착되고, 그에 의해, NTE 디스플레이 유닛(120)에 대해 정지되어 있다. NTE 구조체(110)의 공간적 특성은, 반전된 관계를 제외하면, 카메라 유닛(160) 및 트래커 디스플레이 유닛(170)의 이전에 설명된 경우와 유사하게 추적된다. 디스플레이 유닛(870)은 일반적으로 작고 경량이지만, 정밀 공간 광 변조기/디스플레이의 사용은, 피처 사이즈와 정밀도, 선형성 및 NTE 구조체(110)의 공간적 특성 또는 다른 상황 의존적 파라미터에 기초하여 기준 심볼을 조정하는 능력의 관점에서, 이산 디바이스 또는 수동 기준 마킹에 비해 상당한 이점을 다시 제공한다. 도 8의 실시형태에서, 트래커 디스플레이 유닛(870)은 카메라 유닛(860)의 시야(865)를 언더필(underfill)한다. 카메라 유닛(860)은, 캡처된 이미지의 영역 또는 주목하는 영역 샘플링을 허용하는 고해상도 카메라여야 하는 것이 바람직하다.
도 8과 관련되는 다른 실시형태는, 카메라 유닛(860) 및 트래커 디스플레이 유닛(870)과 연계하여, 때때로 하이브리드 광학 트래커 시스템으로 칭해지는 것을 형성하는, NTE 구조체(110)에 장착되는 관성 측정 유닛(IMU)(890)을 포함한다. 이 하이브리드 시스템의 한 실시형태에서, 카메라(860) 및 디스플레이 유닛(870)은, 본원에 참조에 의해 통합되는 미국 특허 제9,489,045호에서 설명되는 바와 같이, IMU(890)에 대해 "스냅샷" 현실화 모드(truthing mode)에서 사용된다. 이 실시형태에서, 카메라 유닛(860)은 기술 분야에서 공지되어 있는 바와 같은 (롤링 셔터 모드에 대조적인) 글로벌 셔터 모드를 사용하는 것이 바람직하고, 충분한 세부 사항의 빠른 또는 "스냅샷" 수집을 주기적으로 가능하게 하여, 동기화된 IMU 기반의 결과와 비교될 공간적 특성의 아주 정확한 결정을 산출하기 위해, 기준 기호가 생성되는데, 두 개의 동기화된 측정 사이의 임의의 편차는 IMU 드리프트의 보정에서 입력으로서 또는 오류의 다른 잠재적인 소스로서 사용된다. 이 고정밀도 결정은 더 큰 대기 시간을 가질 수도 있지만 그러나 동작의 스냅샷 현실화 모드와 호환된다. 다른 시간에, 예를 들면 고정밀 스냅샷 캡처 이미지 사이에서, 기준 기호는, 능률적인 기준 패턴 인식 및 그에 따른 감소된 대기 시간을 지원하도록, 간소화 또는 다르게는 조정될 수 있다. 하나의 이러한 실시형태에서, 예측 모듈(144)은, 광학 해상도 및 정확도가 최적일 것으로 예상되는 카메라 유닛(860)의 시야 중심(865) 근처에 트래커 디스플레이 유닛(870)가 나타나는 때를 예측하기 위해, 그리고 그 시간에 스냅샷 현실화 모드를 개시하기 위해 사용된다.
도 8의 실시형태에서, 카메라 유닛(160 및 860)은 그들의 관련된 트래커 디스플레이 유닛(170 및 870)과 함께 조합하여 사용된다. 이것은 다수의 유리한 포인트의 사용을 통해 향상된 정확도를 지원한다. 기준 기호는, 하나 이상의 카메라가 활성화되고 디스플레이된 기호를 캡처할 수 있는지의 여부에 기초하여 조정될 수 있다. 양자가 대응하는 트래커 디스플레이 유닛의 이미지를 효과적으로 캡처하고 있는 경우, 하나의, 예를 들면, 디스플레이 유닛(170)에 대한 기준 기호는, 예를 들면, 각도의 공간적 특성에 대한 민감도에 대해 최적화될 수 있고, 디스플레이 유닛(870)에 대한 기준 기호는 병진적 공간적 특성을 강조하도록 맞춤될 수 있고, 그 결과 조합은 최적의 전체 정확도 및 대기 시간을 제공한다. 다른 실시형태에서, 신뢰성, 정확도 및 추적 범위를 향상시키기 위해, 추가적인 카메라 유닛 및 트래커 디스플레이 유닛이 포함된다.
조정 가능한 기준 심볼을 제공하기 위한 평판 디스플레이의 사용은 지금까지 설명된 실시형태에 의해 예시된 바와 같이 많은 잠재적 이점을 가져온다. 상기에서 설명되는 상황 의존적 기호와 함께 사용될 수도 있는 추가적인 엘리먼트는, 도 9 내지 도 12를 참조하여 이하에서 제시된다. 특히, 도 9 내지 도 12는 상기에서 설명되는 NTE 시스템(100, 800)과 함께 사용될 수도 있는 광 개조기(optical modifier)를 묘사한다. 일반적으로, 도 9 내지 도 12는, 카메라 유닛, 트래커 디스플레이 유닛, 및 광 개조기의 예시적인 상대 포지션을 묘사한다. 달리 언급되지 않는 한, 아래에서 설명되는 카메라 유닛 및 트래커 디스플레이 유닛은 상기에서 설명되는 바와 같이 동작하고, 관련 NTE 시스템의 다른 컴포넌트의 설명은 명확성을 위해 생략된다.
이제 도 9를 참조하면, 예시적인 실시형태는 트래커 디스플레이 유닛(970)과 카메라 유닛(960) 사이에 광 개조기(976)를 포함한다. 본원에서 사용되는 바와 같이, 용어 "광 개조기"는, 디스플레이 유닛, 예를 들면 디스플레이 유닛(970)과 관련하여 고정되며 카메라 유닛, 예를 들면, 카메라 유닛(960)에 의해 캡처될 때 기준 심볼의 겉보기 외관을 변경시키는 하나 이상의 광학 엘리먼트인 것으로 정의된다. "광 개조기"를 형성하는 광학 엘리먼트(들)는 굴절성, 반사성 또는 이들의 조합일 수 있다. 도 9의 실시형태에서, 광 개조기(976)는 굴절률 n>1을 갖는 유리와 같은 굴절 재료에 의해 분리되는 평행 표면을 갖는 굴절성 엘리먼트, 예를 들면, 제로의 굴절력(optical power)을 갖는 렌즈 또는 옵티컬 플랫(optical flat)이다. 광 개조기(976)의 효과는, 서로에 대해 추적되고 있는 구조체의 공간적 특성과 함께 변하는 추가적인 효과, 예를 들면 포지션에서의 겉보기 시프트를 도입하는 것이다. 도시되는 바와 같이, 광 개조기(976)의 존재는 기준 포인트(974)의 겉보기 포지션에 영향을 미치지 않지만, 그러나 굴절 효과는 기준 포인트(988)의 포지션에서 겉보기 시프트를 야기하여, 이 경우에, 기준 포인트(988)가 기준 포인트(978)에 있는 것처럼, 기준 포인트(988)가 카메라 유닛(960)에 나타나게 한다. 마찬가지로, 카메라 유닛(960)이 포인트(988)로부터 직접 벗어난 경우, 시프트된 것처럼 보일 것은 포인트(974)일 것이다.
투명 디스플레이 기판에서의 굴절 효과는 오류의 가능한 원천으로서 상기에서 언급되었지만, 그러나 도 9의 실시형태는, 이들 굴절 효과가, 광 개조기(976)에 의해 예시화되는 두꺼운 기판 및 트래커 디스플레이 유닛(970)에게, 묘사된 것과 같은 유용한 데이터를 실제로 제공할 수도 있다는 것을 보여준다. 광 개조기(976)는 옵션적으로 전체 트래커 디스플레이 유닛 영역을 커버할 수 있거나, 또는 도 9에서 묘사되는 바와 같이, 부분 커버리지만을 가질 수 있다. 광학 광선(982 및 984)은 광 개조기(976)를 통과하지 않고 디스플레이(970)로부터 카메라(960)로 바로 이동한다. 기하학적 형상(geometry)을 아는 것은, 이미지 데이터의 사전 프로세싱 또는 사후 프로세싱을 위한 알고리즘에 이들 차이점이 포함되는 것을 가능하게 하고, 작은 6 자유도 변경을 검출하는 능력을 향상시키는 데 사용될 수도 있다. 한 예로서, 삽화(inset)(992)는, 두 개의 직교 라인(994)을 포함하는 기준 심볼이 카메라 유닛(960)에 의해 어떻게 캡처될 수도 있는지를 묘사한다. 개조기(976)의 밖에서, 라인은 직접적으로 캡처되지만, 그러나 개조기(976)가 있는 상태에서는, 라인은 포인트(988)에서 포인트(978)로 시프트하는 것과 유사하게 시프트된다. 세부적인 시프트는, 기준 심볼과 공간적 특성 둘 다에 의존하여, 많은 형태를 취할 수도 있다. 특히, 기준 심볼을 조정하는 능력은, 분석을 단순화하도록, 정밀도와 정확도를 향상시키도록, 계산적 복잡성을 감소시키도록, 또는 이들의 조합을 이루도록 활용될 수 있다.
비구면 렌즈가 광 개조기(1076)로서 제공되는 다른 실시형태가 도 10에서 묘사된다. 광 개조기(1076)와 트래커 디스플레이 유닛(1070) 사이에 에어 갭(air gap)이 도입된다. 광 개조기의 렌즈의 굴절력은 공간적 특성의 충격을 확대한다. 주어진 렌즈로 달성 가능한 배율은, 종래의 돋보기(magnifying glass)에서와 아주 마찬가지로, 간격을 선택하는 것에 의해, 예를 들면, 디스플레이 유닛(1070)을 디스플레이 위치(1072 또는 1074)에 배치하는 것에 의해 선택될 수 있다. 도시되는 바와 같이, 카메라 유닛(1060)은, 대응하는 광선 다발(1086)이 평행 광선을 각각 포함하는 상태에서, 무한 초점 거리에서 실질적으로 설정된다. 상대적인 배율은, 굴절된 또는 수정된 광선 번들이 위치(1074, 1072) 및 디스플레이 유닛(1070) 위치에서 디스플레이와 교차하는 곳의 비교로부터 알 수 있다. 개조기(1076)로서의 잘 보정된 이미징 렌즈의 경우, 디스플레이 유닛(1070)은 시준된 디스플레이로서 기능할 수도 있는데, 시준된 기준 심볼은 시준된 디스플레이로부터 카메라 유닛(1060)에 의해 캡처된다. 기준 심볼의 배율로 인해, 잠재적인 기준 심볼(들)의 적어도 일부는 카메라 유닛(1060)이 볼 수 없을 수도 있다. 이것은, 도시되는 구성에서, 일반적인 포지션(1088)과는 다른 기준 포지션에 대한 경우일 것이다. 이와 같이, 기준 심볼(들)을 조정하는 능력은, 예측 모듈(144)과 조합하여, 심볼이 확대된 이미지의 접근 가능한 부분에 배치되는 것을 허용한다. 묘사된 실시형태는 또한, 광 개조기(1076)를 바이패스하는 광선 다발(1082, 1084)을 포함하지만, 그러나 이것은 제한하도록 의도되는 것은 아니다.
도 10의 삽화(1092)는, 카메라 유닛(1060)에 의해 캡처될 때의 기준 심볼의 예시적인 도면을 마찬가지로 도시한다. 직교 라인(1094)은 직접 캡처되고, 대응하는 수정된 라인(1096)도 또한 캡처된다. 라인 사이의 유효 오프셋은 공간적 특성에 크게 의존하고, 따라서 기준 심볼의 신중한 성형(shaping) 및 위치 결정은 중요하며 예측된 공간적 특성에 의존한다.
다른 광 개조기(1176)가 도 11에서 도시된다. 광 개조기(1176)는 도 9의 편평한 광 개조기(976)와 유사하지만, 그러나 여기서는, 평행 표면으로부터의 다중 반사가 고려된다. 개조기(1176)의 표면은 코팅되지 않을 수도 있거나 또는 옵션적으로 표면에서의 반사와 투과 사이의 균형을 조절하는 코팅을 가질 수도 있다. 공기로 이격된(air-spaced) 부분적으로 반사성의 미러 또는 빔 분할기를 사용하는 것에 의해 유사한 효과가 달성될 수도 있지만, 그러나 도 11은 굴절률 n>1을 가정한다. 도 9에서와 같이, 기준 포지션(1174)은 광학 엘리먼트(1176)에 의해 영향을 받지 않는다. 기준 포지션(1188)은 이 경우, 카메라 유닛(1160)으로 진행하는 광학 광선(1186)으로 인해, 다수의 겉보기 기준 포지션, 예를 들면, 포지션(1178 및 1176)을 초래한다. 광선(1182 및 1184)의 옵션적인 포함은, 광 개조기(1176)의 존재 상태에서 공간적 특성의 영향을 검출 및 정량화하기 위한 향상된 성능을 다시 부가한다.
다른 예시적인 실시형태가 도 12에서 도시된다. 여기서, 광 개조기(1276)는 트래커 디스플레이 유닛(1270)에 대해 고정된 각도로 배치되는 두 개의 거울 반사성의 미러(specularly reflective mirror)를 포함한다. 카메라 유닛(1260)이 기준 심볼(1288)의 단일 이미지를 검출하는 대신, 기준 심볼(1288)의 다수의 이미지가 광학 광선(1286)을 통해 캡처된다. 기준 심볼(1288) 위치에서 디스플레이 유닛(1270)에 의해 방출되는 또는 변조되는 광은, 광 개조기(1276)에 의해 반사되는 광을 포함하고, 주어진 구성의 경우, 위치(1278)에서 심볼(1288)의 겉보기 사본으로 나타난다. 도 9 내지 도 11에서와 같이, 이들 수정된 및/또는 추가적인 포인트는 추가적인 정보를 제공하는데, 이 추가적인 정보로, 캡처된 결과를 사전 프로세싱 또는 사후 프로세싱하여, 공간적 특성을 결정한다. 광 개조기를 수반하는 실시형태의 각각은, 평면 트래커 디스플레이 유닛(970, 1070, 1170 및 1270) 단독으로부터 이용 가능한 것 이상의 데이터를 효과적으로 도입하고, 이러한 다중 자유도 추적 시나리오에서의 작은 변화를 식별하는 능력을 향상시킨다. 이 실시형태에서 기준 심볼을 수정하는 능력은, 다수의 이미지(1278)가 존재하고 카메라 유닛(1260)에게 보이도록, 기준 심볼(들)(1288)을 배치하는 것을 허용한다. 라인 및 곡선은 기준 심볼(1288) 안으로 통합될 수 있고, 심볼(1288)과 이미지(1278) 사이의 관계는 캡처 및 분석될 수 있다.
굴절, 반사 및 조합 엘리먼트, 및 굴절력을 갖는 그리고 굴절력을 가지지 않는 개조기를 비롯한 여러 가지 타입의 광 개조기가 제시되었지만, 그러나 이들은 제한하도록 의도되는 것은 아니다. 다수의 엘리먼트 렌즈 및 다른 구성이 사용될 수 있다. 옵티컬 플랫 내에 곡면의 미러 표면을 도입하여 "팬케이크 창(pancake window)" 시준기(collimator)로 알려진 것을 만드는 것과 같은, 굴절력이 있는 미러 시스템이 사용될 수 있다. 이들 실시형태의 각각은 트래커 시스템의 성능을 추가로 확장하고, 트래커 디스플레이 기능성 및 관련 모듈의 사용을 통해 제공되는 성능의 강력한 이점을 취할 수 있다.
본원에서 설명되는 시스템 및 방법은, 예를 들면, NTE 디스플레이 디바이스 상의 디스플레이 엘리먼트의 정확하고 지터가 없는 레지스트레이션(registration) 및 렌더링을 가능하게 하는 고정밀, 고속, 낮은 대기 시간 및 상대적으로 경량의 추적 시스템을 제공한다. 본원에서 논의되는 예시적인 실시형태는 상대적으로 높은 정밀도 및 반복성을 제공하며, 그에 따라, 추가적으로, 지속적인 부정확성의 인식 및 보상으로부터 유래하는 증가된 정확도로 나타나게 된다. 일반적으로, 액티브 매트릭스 디스플레이의 사용, 정밀도, 안정성 및 시인성이 향상시킨다. 예를 들면, 기준 심볼의 능동적인 관리와 연계하여, 이러한 디스플레이는, 검출과 관련되는 불확실성보다 상당히 더 큰 기준 특성의 분리를 가능하게 하고, 그에 의해 작은 분리로 높은 정밀도를 가능하게 한다.
본원에서 설명되는 예시적인 실시형태는, 제2 오브젝트에 대한 제1 오브젝트, 한 예의 경우, 플랫폼에 관한 오브젝트의 방위 및 위치를 추적하기 위해 상황에 고유한 기준 심볼을 활용한다. 이 접근법은, 높은 정확도, 매우 낮은 대기 시간(예를 들면, 밀리 초 미만), 감소된 폼 팩터, 단순화된 설치, 금속 구조체 허용 오차, 및 감소된 비용을 제공한다. 예시적인 실시형태는, 움직임의 피드백을 움직임 액추에이터로 제공하는 것, 등각 이미지와 같은 심볼 및 그래픽을 포함하는 정보를, 조종사에 의해 착용되며 조종사의 머리의 움직임에 기초하는 니어 투 아이 디스플레이, 디스플레이 시스템 예컨대 항행 중인 선박의 디스플레이, 및 현장 밖의 컨트롤러(off-site controller), 예를 들면, 지상 컨트롤러에 의해 사용되는 디스플레이 상에, 유저의 머리, 또는 어쩌면 원격 조종사의 머리의 움직임에 기초하여 디스플레이하는 것을 포함한다. 많은 다른 디스플레이 애플리케이션도 추적 성능으로부터 이익을 얻을 수 있다. 실시형태는, 트래커 성능을 최적화하기 위해, 예를 들면, 용이한 피처 검출, 간소화된 분석, 병진 대 방위 감도, 리던던시, 방향 감도, 등등에 대한 기준 심볼의 지속적인 조정을 가능하게 한다.
기술 분야에서 숙련된 자는, 본원에서 개시되는 실시형태와 연계하여 설명되는 다양한 예시적인 논리 블록, 모듈, 회로, 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 둘의 조합으로서 구현될 수도 있다는 것을 인식할 것이다. 실시형태 및 구현예 중 일부가, 기능적 및/또는 논리적 블록 컴포넌트(또는 모듈) 및 다양한 프로세싱 단계의 관점에서 상기에서 설명되었다. 그러나, 이러한 블록 컴포넌트(또는 모듈)는 특정 기능을 수행하도록 구성되는 임의의 수의 하드웨어, 소프트웨어 및/또는 펌웨어 컴포넌트에 의해 실현될 수도 있다는 것이 인식되어야 한다. 하드웨어 및 소프트웨어의 이러한 상호 교환 가능성을 명확하게 설명하기 위해, 상기에서는, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계가 그들의 기능성의 관점에서 일반적으로 설명되었다. 이러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로 구현되는지 여부는, 전체 시스템에 부과되는 특정한 애플리케이션 및 설계 제약에 의존한다. 숙련된 기술자는 설명된 기능성을 각각의 특정한 애플리케이션에 대해 다양한 방식으로 구현할 수도 있지만, 그러나 이러한 구현 결정은, 본 발명의 범위의 이탈을 야기하는 것으로 해석되어서는 안된다. 예를 들면, 시스템 또는 컴포넌트의 실시형태는, 하나 이상의 마이크로프로세서 또는 다른 제어 디바이스의 제어 하에서 다양한 기능을 수행할 수도 있는 다양한 집적 회로 컴포넌트, 예를 들면, 메모리 엘리먼트, 디지털 신호 프로세싱 엘리먼트, 로직 엘리먼트, 룩업 테이블(look-up table), 또는 등등을 활용할 수도 있다. 또한, 기술 분야의 숙련된 자는, 본원에서 설명되는 실시형태가 예시적인 구현예에 불과하다는 것을 인식할 것이다.
본 문서에서, 제1 및 제2, 및 등등과 같은 관계형 용어는, 오로지 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션과 구별하기 위해 사용될 수도 있으며 이러한 엔티티 또는 액션 사이의 임의의 실제적인 이러한 관계 또는 순서를 반드시 요구하거나 암시하지는 않는다. "제1", "제2", "제3", 등등과 같은 수치적 서수는, 청구항 용어에 의해 명시적으로 정의되지 않는 한, 단순히, 복수의 것 중 상이한 단수의 것을 나타내며, 임의의 순서 또는 시퀀스를 암시하지는 않는다. 청구항 중 임의의 것에서의 텍스트의 시퀀스는, 청구항의 언어에 의해 명시적으로 정의되지 않는 한, 프로세스 단계가 이러한 시퀀스에 따른 시간적 또는 논리적 순서로 수행되어야만 한다는 것을 의미하지는 않는다. 프로세스 단계는 본 발명의 범위를 벗어나지 않으면서 임의의 순서로 상호 교환될 수도 있는데, 이러한 상호 교환이 청구항 언어와 모순되지 않고 논리적으로 무의미하지 않는 한에서 그렇다.
또한, 문맥에 따라, 상이한 엘리먼트 사이의 관계를 설명함에 있어서 사용되는 "연결" 또는 "커플링되는"과 같은 단어는, 이들 엘리먼트 사이에 직접적인 물리적 연결이 이루어져야만 한다는 것을 의미하는 것은 아니다. 예를 들면, 두 개의 엘리먼트는 하나 이상의 추가 엘리먼트를 통해 물리적으로, 전기적으로, 논리적으로, 또는 임의의 다른 방식으로 서로 연결될 수도 있다.
본 발명의 상기의 상세한 설명에서 적어도 하나의 예시적인 실시형태가 제시되었지만, 방대한 수의 변형예가 존재한다는 것이 인식되어야 한다. 예시적인 실시형태 또는 예시적인 실시형태들은 예에 불과하며, 본 발명의 범위, 적용가능성, 또는 구성을 어떤 식으로든 제한하도록 의도되지는 않는다는 것이 또한 인식되어야 한다. 오히려, 상기의 상세한 설명은 본 발명의 예시적인 실시형태를 구현하기 위한 편리한 로드맵을 기술 분야의 숙련된 자에게 제공할 것이다. 첨부된 청구범위에 설명되는 대로의 본 발명의 범위를 벗어나지 않으면서 예시적인 실시형태에서 설명되는 엘리먼트의 기능 및 배열에 다양한 변경이 이루어질 수도 있다는 것이 이해되어야 한다.
Claims (10)
- 동작 환경 내의 제1 오브젝트(object)의 위치(location) 및 방위(orientation)를 트래킹하기 위한 광학 트래커 시스템으로서,
상기 제1 오브젝트의 예측된 위치 및 방위를 공간 예측으로서 결정하는 예측 모듈을 구현하도록 프로그램된 프로세서;
상기 프로세서에 의해 구현된 디스플레이 모듈 - 상기 디스플레이 모듈은 상기 공간 예측을 수신하도록 커플링되고, 상기 디스플레이 모듈은 상기 공간 예측에 기초하여 기준 심볼(fiducial symbol)에 대한 디스플레이 커맨드들을 생성하도록 구성됨 - ;
상기 동작 환경 내에 배치되고 상기 제1 오브젝트로부터 분리된 트래커 디스플레이 유닛 - 상기 트래커 디스플레이 유닛은 상기 예측 모듈에 커플링되고 상기 디스플레이 커맨드들을 수신하도록 구성되고, 상기 트래커 디스플레이 유닛은 상기 디스플레이 커맨드들에 기초하여 상기 기준 심볼을 디스플레이하도록 구성됨 - ;
상기 제1 오브젝트 상에 장착되고, 상기 트래커 디스플레이 유닛 상에 디스플레이된 상기 기준 심볼의 이미지를 상기 디스플레이된 기준 심볼의 캡처된 외관(captured appearance)으로서 캡처하도록 구성된 카메라 유닛; 및
상기 프로세서에 의해 구현된 포지션 결정 모듈(position determination module) - 상기 포지션 결정 모듈은 상기 카메라 유닛에 커플링되고 상기 카메라 유닛으로부터 상기 기준 심볼의 상기 이미지를 수신하도록 구성되고, 상기 포지션 결정 모듈은 상기 기준 심볼을 식별하고 상기 디스플레이된 기준 심볼의 상기 캡처된 외관에 기초하여 상기 제1 오브젝트의 위치 및 방위를 결정하도록 구성됨 -
을 포함하는, 제1 오브젝트의 위치 및 방위를 트래킹하기 위한 광학 트래커 시스템. - 제1항에 있어서, 상기 트래커 디스플레이 유닛은 단일 기판 상에 형성되는 것인, 광학 트래커 시스템.
- 제1항에 있어서, 상기 디스플레이 모듈은, 상기 공간 예측의 관점으로부터의 공칭 외관(nominal appearance)으로 상기 트래커 디스플레이 유닛 상에 상기 기준 심볼을 디스플레이하도록 구성되는 것인, 광학 트래커 시스템.
- 제1항에 있어서, 상기 포지션 결정 모듈은, 상기 제1 오브젝트의 위치 및 방위를 결정하기 위해 상기 기준 심볼의 캡처된 외관을 공칭 외관과 비교하도록 구성되는 것인, 광학 트래커 시스템.
- 제1항에 있어서, 상기 포지션 결정 모듈은, 상기 제1 오브젝트의 위치 및 방위를 6 자유도(degrees-of-freedom; DOF)로 결정하도록 구성되는 것인, 광학 트래커 시스템.
- 제1항에 있어서, 상기 제1 오브젝트로서의 피사체(subject)의 머리 상에 배치되도록 구성된 구조체를 더 포함하는, 광학 트래커 시스템.
- 제1항에 있어서, 상기 제1 오브젝트로서의 피사체의 머리 상에 배치되도록 구성된 구조체; 및
상기 구조체 상에 장착되고 상기 구조체와 함께 움직일 수 있는 구조체 디스플레이 유닛
을 더 포함하는, 광학 트래커 시스템. - 제1항에 있어서, 상기 디스플레이 모듈은, 상기 기준 심볼을 상기 트래커 디스플레이 유닛 상에 비대칭 피처와의 교차 라인(intersecting line)들의 그리드로서 디스플레이하도록 구성되는 것인, 광학 트래커 시스템.
- 제1항에 있어서, 상기 디스플레이 모듈은, 상기 기준 심볼을 상기 트래커 디스플레이 유닛 상에 회전된 기준 심볼들의 네스팅된 쌍(nested pair)으로서 디스플레이하도록 구성되는 것인, 광학 트래커 시스템.
- 제1항에 있어서, 상기 트래커 디스플레이 유닛과 상기 카메라 유닛과 사이에 개재되고 상기 카메라 유닛의 이미지에 대한 상기 기준 심볼의 외관을 변경하도록 구성된 광 개조기(optical modifier)를 더 포함하고, 상기 광 개조기는, 굴절성 엘리먼트(refractive element), 비구면 렌즈(aspheric lens), 다수의 평행한 반사 표면 엘리먼트들, 또는 복수의 정반사 미러(specularly reflective mirror)들 중 적어도 하나를 포함하는 것인, 광학 트래커 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/358,383 | 2016-11-22 | ||
| US15/358,383 US10466774B2 (en) | 2016-11-22 | 2016-11-22 | NTE display systems and methods with optical trackers |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180057504A KR20180057504A (ko) | 2018-05-30 |
| KR102525391B1 true KR102525391B1 (ko) | 2023-04-24 |
Family
ID=60320730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170121961A KR102525391B1 (ko) | 2016-11-22 | 2017-09-21 | 광학 트래커를 갖는 nte 디스플레이 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10466774B2 (ko) |
| EP (2) | EP4339893A3 (ko) |
| JP (1) | JP6951151B2 (ko) |
| KR (1) | KR102525391B1 (ko) |
| CN (1) | CN108089324B (ko) |
| IL (1) | IL254556B (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10473938B2 (en) * | 2016-12-30 | 2019-11-12 | Luminit Llc | Multi-part optical system for light propagation in confined spaces and method of fabrication and use thereof |
| US11487132B2 (en) * | 2018-11-12 | 2022-11-01 | Yutou Technology (Hangzhou) Co., Ltd. | Active alignment for assembling optical devices |
| CN110780445A (zh) * | 2018-11-12 | 2020-02-11 | 芋头科技（杭州）有限公司 | 用于装配光学成像系统的主动校准的方法及系统 |
| US11698440B2 (en) * | 2019-04-02 | 2023-07-11 | Universal City Studios Llc | Tracking aggregation and alignment |
| WO2021070813A1 (ja) * | 2019-10-08 | 2021-04-15 | 株式会社デンソー | 誤差推定装置、誤差推定方法、誤差推定プログラム |
| US10996480B1 (en) * | 2019-10-11 | 2021-05-04 | GM Global Technology Operations LLC | Head-up display calibration |
| CN111104641B (zh) * | 2019-12-10 | 2023-07-21 | 重庆大学 | 一种三维空间内的计算机识别晶粒方法 |
| US11350078B2 (en) * | 2020-04-03 | 2022-05-31 | Fanuc Corporation | 3D pose detection by multiple 2D cameras |
| CN112363039B (zh) * | 2020-10-29 | 2022-04-22 | 华南理工大学 | 一种有机光电器件的弱光检测系统及控制方法 |
| US11920922B2 (en) * | 2021-04-02 | 2024-03-05 | Rockwell Collins, Inc. | Combiner alignment detector |
| IL284600B2 (en) * | 2021-07-04 | 2023-10-01 | Elbit Systems Ltd | A connformal display system and a method thereof |
| EP4367547A4 (en) * | 2021-07-04 | 2024-11-06 | Elbit Systems Ltd. | COMPLIANT DISPLAY SYSTEM AND METHOD THEREOF |
| US11768374B1 (en) | 2022-06-24 | 2023-09-26 | Rockwell Collins, Inc. | Vehicle including head wearable display device and imperceptible reference fiducials and method therefor |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016063504A1 (ja) | 2014-10-20 | 2016-04-28 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
| US20160269631A1 (en) * | 2015-03-09 | 2016-09-15 | Fujitsu Limited | Image generation method, system, and apparatus |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5742263A (en) | 1995-12-18 | 1998-04-21 | Telxon Corporation | Head tracking system for a head mounted display system |
| US8013838B2 (en) | 2006-06-30 | 2011-09-06 | Microsoft Corporation | Generating position information using a video camera |
| WO2010045271A1 (en) * | 2008-10-14 | 2010-04-22 | Joshua Victor Aller | Target and method of detecting, identifying, and determining 3-d pose of the target |
| CN102422306B (zh) | 2009-04-08 | 2015-09-09 | 高通股份有限公司 | 增强型手持式屏幕感测指针 |
| US8362973B2 (en) | 2009-05-19 | 2013-01-29 | Honeywell International Inc. | Systems, apparatus and fast methods for aligning images to external markers in near-to-eye display systems |
| US20120200499A1 (en) * | 2010-02-28 | 2012-08-09 | Osterhout Group, Inc. | Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback |
| JP5842248B2 (ja) * | 2010-12-24 | 2016-01-13 | 国立研究開発法人産業技術総合研究所 | マーカ |
| EP2761362A4 (en) * | 2011-09-26 | 2014-08-06 | Microsoft Corp | VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY |
| US9337926B2 (en) | 2011-10-31 | 2016-05-10 | Nokia Technologies Oy | Apparatus and method for providing dynamic fiducial markers for devices |
| GB2504999B8 (en) * | 2012-08-17 | 2015-04-22 | Sony Comp Entertainment Europe | Apparatus and method for object positioning |
| US9354316B2 (en) | 2014-02-19 | 2016-05-31 | Honeywell International Inc. | Polarized tracker system and method for tracking movement |
| US20150369593A1 (en) * | 2014-06-19 | 2015-12-24 | Kari MYLLYKOSKI | Orthographic image capture system |
| US9489045B2 (en) | 2015-03-26 | 2016-11-08 | Honeywell International Inc. | Methods and apparatus for providing a snapshot truthing system for a tracker |
| US10156912B2 (en) | 2015-11-25 | 2018-12-18 | Honeywell International Inc. | High speed, high precision six degree-of-freedom optical tracker system and method |
| US10152121B2 (en) * | 2016-01-06 | 2018-12-11 | Facebook Technologies, Llc | Eye tracking through illumination by head-mounted displays |
-
2016
- 2016-11-22 US US15/358,383 patent/US10466774B2/en active Active
-
2017
- 2017-08-22 JP JP2017159044A patent/JP6951151B2/ja active Active
- 2017-09-18 IL IL254556A patent/IL254556B/en active IP Right Grant
- 2017-09-21 KR KR1020170121961A patent/KR102525391B1/ko active IP Right Grant
- 2017-11-13 EP EP24155197.7A patent/EP4339893A3/en active Pending
- 2017-11-13 EP EP17201268.4A patent/EP3324232B1/en active Active
- 2017-11-21 CN CN201711165505.3A patent/CN108089324B/zh active Active
-
2019
- 2019-10-22 US US16/660,467 patent/US10996744B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016063504A1 (ja) | 2014-10-20 | 2016-04-28 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
| US20160269631A1 (en) * | 2015-03-09 | 2016-09-15 | Fujitsu Limited | Image generation method, system, and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180057504A (ko) | 2018-05-30 |
| EP4339893A2 (en) | 2024-03-20 |
| EP4339893A3 (en) | 2024-05-29 |
| JP2018084574A (ja) | 2018-05-31 |
| CN108089324B (zh) | 2022-01-18 |
| US20180143682A1 (en) | 2018-05-24 |
| CN108089324A (zh) | 2018-05-29 |
| JP6951151B2 (ja) | 2021-10-20 |
| EP3324232B1 (en) | 2024-03-06 |
| US10466774B2 (en) | 2019-11-05 |
| US10996744B2 (en) | 2021-05-04 |
| EP3324232A1 (en) | 2018-05-23 |
| IL254556A0 (en) | 2017-11-30 |
| IL254556B (en) | 2020-10-29 |
| US20200150757A1 (en) | 2020-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102525391B1 (ko) | 광학 트래커를 갖는 nte 디스플레이 시스템 및 방법 | |
| CN109425994B (zh) | 深度相机组件、头戴式显示器和用于深度感测的方法 | |
| US10469722B2 (en) | Spatially tiled structured light projector | |
| US10511829B1 (en) | Dynamic control over structured illumination intensity | |
| US10827163B2 (en) | Multiple emitter illumination source for depth information determination | |
| EP3288259B1 (en) | Array detector for depth mapping | |
| US10410373B1 (en) | Calibration of a phase interferometry depth camera assembly | |
| US10685431B1 (en) | Optical measurement system | |
| US9910282B2 (en) | Increasing field of view of head-mounted display using a mirror | |
| CN107533225B (zh) | 用于虚拟现实系统的稀疏投影 | |
| US10809429B1 (en) | Angle selective filter having curved surface for near eye displays | |
| CN115280218B (zh) | 高分辨率液晶显示器 | |
| US10789777B1 (en) | Generating content for presentation by a head mounted display based on data captured by a light field camera positioned on the head mounted display | |
| US10948283B1 (en) | Tileable structured light projection system | |
| US10521926B1 (en) | Tileable non-planar structured light patterns for wide field-of-view depth sensing | |
| EP3282285B1 (en) | Multiple emitter illumination source for depth information determination | |
| US10462451B1 (en) | Asymmetric structured light source | |
| EP3445049B1 (en) | Camera assembly with programmable diffractive optical element for depth sensing | |
| US10678048B1 (en) | Head mounted display with tiled optical assembly | |
| US10685453B1 (en) | Folded laser emitters for structured light applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20170921 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20200914 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20170921 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220704 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230119 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230420 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230420 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |