KR102192927B1 - 니어 아이 디스플레이를 위한 디스플레이 업데이트 시간 감소 기법 - Google Patents
니어 아이 디스플레이를 위한 디스플레이 업데이트 시간 감소 기법 Download PDFInfo
- Publication number
- KR102192927B1 KR102192927B1 KR1020157017002A KR20157017002A KR102192927B1 KR 102192927 B1 KR102192927 B1 KR 102192927B1 KR 1020157017002 A KR1020157017002 A KR 1020157017002A KR 20157017002 A KR20157017002 A KR 20157017002A KR 102192927 B1 KR102192927 B1 KR 102192927B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- display device
- user
- eye display
- data
- Prior art date
Links
- 230000009467 reduction Effects 0.000 title description 2
- 238000004891 communication Methods 0.000 claims abstract description 145
- 238000000034 method Methods 0.000 claims abstract description 134
- 230000005540 biological transmission Effects 0.000 claims abstract description 94
- 210000001508 eye Anatomy 0.000 claims description 183
- 230000003287 optical effect Effects 0.000 claims description 55
- 238000012937 correction Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 62
- 238000013507 mapping Methods 0.000 description 53
- 210000001525 retina Anatomy 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 239000000872 buffer Substances 0.000 description 19
- 230000004438 eyesight Effects 0.000 description 19
- 210000001747 pupil Anatomy 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 4
- 238000000547 structure data Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000004297 night vision Effects 0.000 description 3
- 230000004287 retinal location Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 239000006196 drop Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241001529251 Gallinago gallinago Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000003889 eye drop Substances 0.000 description 1
- 229940012356 eye drops Drugs 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000000873 fovea centralis Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
- H03M13/356—Unequal error protection [UEP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
니어 아이 디스플레이(Near-Eye Display: NED) 디바이스를 위한 디스플레이 업데이트 시간을 감소시키기 위한 기술이 기술된다. 때때로 자연적 사용자 입력 데이터에 기반하여, NED 시계(filed of view) 내의 포커스 지점이 식별된다. NED 디바이스에 통신가능하게 커플링된 컴퓨터 시스템의 통신 모듈이 무손실 우선순위 데이터(이의 한 예는 사용자 초점 영역 이미지 데이터임)를, 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 송신한다. 디스플레이 시계 내의 포커스 지점으로부터의 그것의 거리 벡터에 적어도 부분적으로 기반하여, 허용된 손실 이미지 데이터가 식별된다. 허용된 손실 이미지 데이터의 한 예는 사용자 초점 영역 외부에 디스플레이될 이미지 데이터이다. 허용된 손실 이미지 데이터는 송신되고 수신된 이미지 데이터로부터 추출되어 손실 송신을 허용한다.
Description
헤드 마운티드 디스플레이(Head Mounted Display: HMD)와 같은 니어 아이 디스플레이(Near-Eye Display: NED) 디바이스는 사용자가 증강 현실(Augmented Reality: AR) 경험 또는 가상 현실(Virtual Reality: VR) 경험을 위해 착용할 수 있다. 많은 요인이 NED 사용자의 만족스러운 사용자 경험을 가져올 수 있으나, 사용자 액션(user action)에 대한 응답을 반영하기 위해 이미지 데이터가 업데이트되기를 현저한 시구간(time period) 동안 사용자가 기다려야 하는 것, 조악한 이미지 품질 또는 적은 배터리 수명은 불만족스러운 사용자 경험의 전형적인 요인이다. 착용하기 편하도록 의도된 소비재(consumer product)를 위해 이러한 전형적인 요인과 같은 요인을 다루는 것은 공간, 무게, 동력 및 비용(Space, Weight, Power and Cost: SWaP-C)과 같은 실제적인 요인을 또한 고려하는 것을 수반한다.
본 기술은 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 하나 이상의 실시예를 제공한다. 그 방법의 일 실시예는 니어 아이 디스플레이 디바이스의 디스플레이 시계(display field of view) 내의 거리 벡터(distance vector)(포커스 지점(point of focus)부터 디스플레이 시계 내 디스플레이를 위한 이미지 데이터까지)를 식별하는 것을 포함한다. 포커스 지점으로부터의 거리 벡터 및 낮은 인지(perception) 기준에 기반하여, 디스플레이될 이미지 데이터 중 적어도 일부가 낮은 인지 기준을 만족시키지 않는 무손실 우선순위 데이터(lossless priority data)로서 자격이 있는지를 NED 디바이스에 통신가능하게 커플링된(communicatively coupled) 컴퓨터 시스템이 판정한다. 그 방법 실시예는, 포커스 지점으로부터의 거리 벡터에 기반하여, 디스플레이될 이미지 데이터 중 적어도 일부가 낮은 인지 기준을 만족시키는 허용된 손실 데이터(allowed loss data)로서 자격이 있는지를 NED 디바이스에 통신가능하게 커플링된 컴퓨터 시스템이 판정하는 것을 더 포함한다. 이미지 데이터 중 적어도 일부가 허용된 손실 데이터로서 자격이 있는 것에 응답하여, 컴퓨터 시스템은 손실 송신(lossy transmission)을 허용하는 하나 이상의 통신 기법을 사용하여 그 허용된 손실 데이터를 NED 디바이스에 송신한다. 이미지 데이터 중 적어도 일부가 무손실 우선순위 데이터로서 자격이 있는 것에 응답하여, 무손실 우선순위 데이터는 무손실 송신(lossless transmission) 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 컴퓨터 시스템에 의해 NED 디바이스에 송신된다.
본 기술은 니어 아이 디스플레이(NED) 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 하나 이상의 실시예를 제공한다. 그 방법의 일 실시예는 사용자 이미지 데이터를 통신가능하게 커플링된 컴퓨터 시스템으로부터 수신하는 것 및 수신되는 이미지 데이터 내에서 NED 디바이스의 디스플레이 시계 내의 사용자 초점 영역(user focal region) 내의 디스플레이를 위한 사용자 초점 영역 이미지 데이터를 식별하는 것을 포함한다. 사용자 초점 영역 이미지 데이터는 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 취득된다(retrieved). 사용자 초점 영역 외부에서의 디스플레이를 위한 적어도 일부의 이차적 이미지 데이터(secondary image data)는 수신되는 이미지 데이터 내에서 식별되고 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 취득된다. 사용자 초점 영역 이미지 데이터 및 적어도 일부의 이차적 이미지 데이터는 NED 디바이스의 디스플레이 시계 내에 디스플레이된다.
본 기술은 니어 아이 디스플레이(NED) 디바이스 시스템의 하나 이상의 실시예를 제공한다. NED 디바이스 시스템의 일 실시예는, 니어 아이 지지 구조체(near-eye support structure) 및 니어 아이 지지 구조체에 의해 지지되고 디스플레이 시계를 갖는 니어 아이 디스플레이(NED)를 포함하는 니어 아이 디스플레이 디바이스를 포함한다. NED 시스템은 니어 아이 지지 구조체에 의해 지지되는 이미지 생성 유닛을 더 포함하는데 이는 니어 아이 디스플레이(NED)에 광학적으로 커플링되어서 이미지 데이터를 출력한다. 그 실시예는 이미지 데이터의 디스플레이를 제어하기 위해 이미지 생성 유닛에 통신가능하게 커플링된 하나 이상의 프로세서를 더 포함한다. 하나 이상의 애플리케이션이 NED 디바이스 시스템에 의해 실행되는 것에 기반하여 하나 이상의 프로세서는 사용자 초점 영역 내에서의 디스플레이를 위한 사용자 초점 영역 이미지 데이터를 식별하고 사용자 초점 영역 외부에서의 디스플레이를 위한 이차적 이미지 데이터를 식별한다. 제1 통신 모듈(communication module)이 하나 이상의 프로세서에 통신가능하게 커플링되고 통신 매체(communication medium) 상에서 컴퓨터 시스템에 통신가능하게 커플링된다. 그 통신 모듈은 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 사용자 초점 영역 이미지 데이터를 컴퓨터 시스템으로부터 취득한다. 그 통신 모듈은 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 컴퓨터 시스템으로부터 적어도 일부의 이차적 이미지 데이터를 취득한다.
이 개요는 상세한 설명에서 추가로 후술되는 개념들 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 대상(claimed subject matter)의 중요 특징 또는 필수적 특징을 식별하고자 의도된 것이 아니며, 청구된 대상의 범주를 정하는 데에 보조물로서 사용되고자 의도된 것도 아니다.
도 1a는 니어 아이 디스플레이(NED) 디바이스 시스템의 하나의 실시예의 예시적 컴포넌트를 묘사하는 블록 다이어그램(block diagram)이다.
도 1b는 NED 디바이스 및 동반 처리 모듈(companion processing module) 간의 무선 통신을 사용하는 NED 디바이스 시스템의 다른 실시예의 블록 다이어그램이다.
도 1c는 NED 디바이스 시스템의 다른 실시예의 예시적 컴포넌트를 묘사하는 블록 다이어그램이다.
도 2a는 NED 디바이스가 광학 시스루(see-through) AR 디스플레이를 갖고, NED 디바이스가 하드웨어 및 소프트웨어 컴포넌트들에 지지를 제공하는 안경으로 구현되는 일 실시예에서 한 프레임(frame)의 안경 다리(eyeglass temple)의 측면도이다.
도 2b는 NED 디바이스의 실시예의 디스플레이 광학 시스템(display optical system)의 일 실시예의 상면도이다.
도 2c는 NED 시스템에 의해 데이터를 수신하는 것 또는 다른 컴퓨터 시스템에 의해 데이터를 NED 시스템에 송신하는 것을 위해 사용될 수 있는 통신 모듈의 일 실시예의 블록 다이어그램이다.
도 3a는 송신 컴퓨터 시스템(transmitting computer system)의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 일 실시예의 흐름도(flowchart)이다.
도 3b는 NED 디바이스 시스템의 수신 컴퓨터 시스템(receiving computer system)의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 일 실시예의 흐름도이다.
도 4a는 디스플레이 디바이스(2)를 착용하고 있는 사용자 주위의 공간의 3차원(3D) 맵핑 내의 가상 객체(virtual object)들의 3D 공간 포지션(position)들의 일 예를 보여준다.
도 4b는 사용자 초점 영역 내에서의 또는 사용자 초점 영역 외부에서의 포지션에 기반하여 이미지 해상도(image resolution)를 달리하며 NED 디바이스에 의해 디스플레이되고 있는 가상 헬리콥터의 예를 포함하는 디스플레이 시계의 한 예를 보여준다.
도 4c는 제스처(gesture)가 NED 시계(NED field of view) 내의 포커스 지점을 나타내는 헬리콥터 예의 다른 버전(version)을 보여준다.
도 5는 니어 아이 디스플레이 디바이스에 의해 이미지 데이터를 디스플레이하기 위한 소프트웨어 관점에서 시스템의 일 실시예의 블록 다이어그램이다.
도 6은 니어 아이 디스플레이(NED)의 디스플레이 시계 내에 이미지 데이터를 디스플레이하기 위한 영역들을 식별하는 방법의 일 실시예의 흐름도이다.
도 7은 디스플레이 시계 내의 이차적 영역 및 그것과 연관된 이미지 해상도를 정하는 방법의 다른 실시예의 흐름도이다.
도 8a는 송신 컴퓨터 시스템의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 다른 실시예의 흐름도이다.
도 8b는 NED 디바이스 시스템의 수신 컴퓨터 시스템의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 다른 실시예의 흐름도이다.
도 9a는 에러 정정(error correction)의 상이한 레벨을 사용하는 프로세스 예의 흐름도이다.
도 9b는 도 9a의 통신 기법을 위한 몇몇 구현 예를 보여주는 흐름도이다.
도 9c는 수신된 이미지 데이터로부터 허용된 손실 및 무손실 우선순위 이미지 데이터를 취득하는 데에 사용될 수 있는 통신 기법의 몇몇 다른 예를 보여주는 흐름도이다.
도 9d는 수신된 이미지 데이터로부터 허용된 손실 이미지 데이터를 취득하는 통신 기법의 다른 예를 보여주는 흐름도이다.
도 10a는 송신 품질(quality of transmission)이 서로 다른 변조 기법들을 사용하여 이미지 데이터를 송신하는 프로세스 예의 흐름도이다.
도 10b는 변조 통신 기법을 위한 몇몇 구현 예를 성상 인코딩 방안으로서 예시하는 흐름도이다.
도 10c는 송신 및 수신될 이미지 데이터의 우선순위(priority)에 기반하여 통신 기법으로서 통신 채널(communication channel)을 협상하는 것을 보여주는 흐름도이다.
도 11은 네트워크 액세스가능 시스템, 니어 아이 디스플레이 디바이스의 동반 처리 모듈 또는 제어 회로를 구현하는 데에 사용될 수 있는 컴퓨팅 시스템(computing system)의 하나의 실시예의 블록 다이어그램이다.
도 1b는 NED 디바이스 및 동반 처리 모듈(companion processing module) 간의 무선 통신을 사용하는 NED 디바이스 시스템의 다른 실시예의 블록 다이어그램이다.
도 1c는 NED 디바이스 시스템의 다른 실시예의 예시적 컴포넌트를 묘사하는 블록 다이어그램이다.
도 2a는 NED 디바이스가 광학 시스루(see-through) AR 디스플레이를 갖고, NED 디바이스가 하드웨어 및 소프트웨어 컴포넌트들에 지지를 제공하는 안경으로 구현되는 일 실시예에서 한 프레임(frame)의 안경 다리(eyeglass temple)의 측면도이다.
도 2b는 NED 디바이스의 실시예의 디스플레이 광학 시스템(display optical system)의 일 실시예의 상면도이다.
도 2c는 NED 시스템에 의해 데이터를 수신하는 것 또는 다른 컴퓨터 시스템에 의해 데이터를 NED 시스템에 송신하는 것을 위해 사용될 수 있는 통신 모듈의 일 실시예의 블록 다이어그램이다.
도 3a는 송신 컴퓨터 시스템(transmitting computer system)의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 일 실시예의 흐름도(flowchart)이다.
도 3b는 NED 디바이스 시스템의 수신 컴퓨터 시스템(receiving computer system)의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 일 실시예의 흐름도이다.
도 4a는 디스플레이 디바이스(2)를 착용하고 있는 사용자 주위의 공간의 3차원(3D) 맵핑 내의 가상 객체(virtual object)들의 3D 공간 포지션(position)들의 일 예를 보여준다.
도 4b는 사용자 초점 영역 내에서의 또는 사용자 초점 영역 외부에서의 포지션에 기반하여 이미지 해상도(image resolution)를 달리하며 NED 디바이스에 의해 디스플레이되고 있는 가상 헬리콥터의 예를 포함하는 디스플레이 시계의 한 예를 보여준다.
도 4c는 제스처(gesture)가 NED 시계(NED field of view) 내의 포커스 지점을 나타내는 헬리콥터 예의 다른 버전(version)을 보여준다.
도 5는 니어 아이 디스플레이 디바이스에 의해 이미지 데이터를 디스플레이하기 위한 소프트웨어 관점에서 시스템의 일 실시예의 블록 다이어그램이다.
도 6은 니어 아이 디스플레이(NED)의 디스플레이 시계 내에 이미지 데이터를 디스플레이하기 위한 영역들을 식별하는 방법의 일 실시예의 흐름도이다.
도 7은 디스플레이 시계 내의 이차적 영역 및 그것과 연관된 이미지 해상도를 정하는 방법의 다른 실시예의 흐름도이다.
도 8a는 송신 컴퓨터 시스템의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 다른 실시예의 흐름도이다.
도 8b는 NED 디바이스 시스템의 수신 컴퓨터 시스템의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 다른 실시예의 흐름도이다.
도 9a는 에러 정정(error correction)의 상이한 레벨을 사용하는 프로세스 예의 흐름도이다.
도 9b는 도 9a의 통신 기법을 위한 몇몇 구현 예를 보여주는 흐름도이다.
도 9c는 수신된 이미지 데이터로부터 허용된 손실 및 무손실 우선순위 이미지 데이터를 취득하는 데에 사용될 수 있는 통신 기법의 몇몇 다른 예를 보여주는 흐름도이다.
도 9d는 수신된 이미지 데이터로부터 허용된 손실 이미지 데이터를 취득하는 통신 기법의 다른 예를 보여주는 흐름도이다.
도 10a는 송신 품질(quality of transmission)이 서로 다른 변조 기법들을 사용하여 이미지 데이터를 송신하는 프로세스 예의 흐름도이다.
도 10b는 변조 통신 기법을 위한 몇몇 구현 예를 성상 인코딩 방안으로서 예시하는 흐름도이다.
도 10c는 송신 및 수신될 이미지 데이터의 우선순위(priority)에 기반하여 통신 기법으로서 통신 채널(communication channel)을 협상하는 것을 보여주는 흐름도이다.
도 11은 네트워크 액세스가능 시스템, 니어 아이 디스플레이 디바이스의 동반 처리 모듈 또는 제어 회로를 구현하는 데에 사용될 수 있는 컴퓨팅 시스템(computing system)의 하나의 실시예의 블록 다이어그램이다.
니어 아이 디스플레이(Near-Eye Display: NED) 디바이스의 한 예는 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스이다. 증강(augmented) 또는 혼합(mixed) 현실 경험을 위한 실제 객체(real object)들과 함께 시계(field of view) 내에 가상 객체들의 이미지 데이터를 디스플레이하기 위해 NED 디바이스가 사용될 수 있다. 가상 현실 시스템에서는, NED가 실세계 관계(real world relationship)와는 무관하게 컴퓨터 제어형 화상(computer controlled imagery)을 디스플레이할 수 있다. 다른 예에서는, 적외선 촬영 디바이스(infrared imaging device), 가령 야간 시각 디바이스(night vision device)와 같이 시야(sight)를 향상시키기 위한 응용에서 니어 아이 디스플레이(near-eye display)가 사용될 수 있다. 이러한 경험을 사실적이게 유지하기 위해, 디스플레이는 실행 애플리케이션(executing application)들에 기반하여 그 디스플레이의 디스플레이 시계 내의 사용자 포커스 지점(user's point of focus)의 변화 및 이미지 데이터의 변화와 함께 실시간으로 업데이트된다. 포커스 지점을 둘러싼 사용자 초점 영역이 눈 추적 데이터(eye tracking data)와 같은 자연적 사용자 입력 데이터(natural user input data) 또는 NED 시스템의 자연적 사용자 입력 시스템에 의해 생성되는 제스처 데이터(gesture data) 내에서 식별되는 포인팅 제스처(pointing gesture)에 기반하여 디스플레이 시계 내에서 식별될 수 있다. 다른 예에서, NED 디바이스를 착용하고 있는 사용자가 니어 아이 디스플레이의 시계 내 업데이트된 이미지 데이터를 살펴볼 듯할 때에 실행 애플리케이션에 기반하여 이미지 데이터를 위한 디스플레이 위치(display location)를 식별하는 것에 기반하여 사용자 초점 영역이 예측될 수 있다.
이미지 데이터는 정지 영상 데이터(still image data)뿐만 아니라 비디오(video)와 같은 동영상 데이터(moving image data)일 수 있다. 이미지 데이터는 또한 3차원(three dimensional)일 수 있다. 3D 이미지 데이터의 한 예는 홀로그램(hologram)이다. 이미지 데이터는 다각형망(polygon mesh)으로 또는 가장자리 데이터(edge data)로서 표현될 수 있는 구조 데이터(structure data)를 포함한다. 추가적으로, 이미지 데이터는 채도(chroma) 또는 색 포화도(color saturation) 데이터 및 휘도(luminance) 데이터를 포함하는 색채 데이터(color data)를 포함한다. 이미지 데이터의 각 카테고리(category) 내에서, 비트(bit)들이 우선순위화된다(prioritized). 예를 들어, 더 높은 우선순위(priority) 비트는 워드(word) 포맷 내 사전결정된(predetermined) 개수의 최상위 비트(Most Significant Bit: MSB) 내에 저장될 수 있고 더 낮은 우선순위 비트는 사전결정된 개수의 최하위 비트(Least Significant Bit: LSB) 내에 저장될 수 있다. 색채 워드의 MSB 비트는 초록 색상(green hue)과 같은 기본색(base color)을 표현할 수 있고, LSB 비트는 초록 계통(green family)의 색채 내에서 초록색을 구별하는 더 많은 포화도 값을 표현한다. 디스플레이 시계 내의 포커스 지점으로부터 데이터가 움직임(가령 사용자가 머리를 움직이거나 이미지가 응용의 논리(logic)에 기반하여 바뀜)에 따라, 초록색 수용체(receptor)들은 중심와(fovea)로부터 멀리 떨어졌기에 LSB에 의해 표현되는 초록색들 간의 미묘함이 인간의 눈에서는 또는 매우 적은 양으로는 더 이상 분해가능(resolvable)하지 않다. 그러므로 더 낮은 우선순위 색채 비트를 표현하지 않는 것이 사용자 경험을 상당히 저하시키지는 않는다.
유사하게, 기본 구조(가령 골격(skeleton))를 표현하는 구조 데이터는 높은 우선순위 데이터(high priority data)로서 취급될 수 있으나, 세부사항의 층은 그 층이 기본 구조 상에 구축됨에 따라 메모리 내 비트 구조(bit structure) 내에서 감소 우선순위(decreasing priority)로써 표현될 수 있다. 휘도 데이터는 또한 워드의 MSB로부터 우선순위가 내려가는 비트들로 저장될 수 있다. 포커스 지점으로부터의 거리가 증가하면서, 이미지 데이터를 송신하는 컴퓨터 시스템은 송신을 위해 빼질(dropped) 수 있는 다수의 더 낮은 우선순위 비트(가령 다수의 LSB)에 그 거리를 관련시킬 수 있다.
MSB에서 LSB까지 외에 상이한 유형의 이미지 데이터의 우선순위를 나타내도록 콘텐트를 저장하는 다른 사전결정된 패턴이 또한 사용될 수 있다. 추가적으로, 포커스 지점으로부터의 거리를 기반으로 손실 송신을 허용하는 통신 기법을 사용하여 얼마나 많은 이미지 데이터가 송신될 수 있는지에 대한 사전결정된 한도가 있을 수 있다. 이미지 품질의 점진적인 감소가 요망되기도 하고, 이미지 품질(가령, 해상도(resolution))이 인간의 눈의 분해 능력(resolving power)을 넘는 채로 있기도 하다. 사용자 초점 영역으로부터 이동하면서 돌연히 나타나거나 사라지는 데이터는 자연적인 시야 경험(natural sight experience)으로부터 벗어나고 사용자 경험을 훼손한다.
인간 눈 해상도(human eye resolution) 그리고 무손실 및 손실 송신을 위해 이미지 데이터를 포커스 지점에 대한 그것의 위치에 관해 우선순위화하는 것을 활용하는 기술 실시예들이 후술된다. 추가적으로, 몇몇 실시예는 사용자 초점 영역 내의 이미지 데이터 및 사용자 초점 영역 외부의 이미지 데이터에 대해 상이한 해상도 레벨을 사용한다.
송신에서의 유실 데이터(lost data)는 도착하지 못하여서 없어진(missing) 데이터 또는 도중에 손상되었기에(corrupted) 송신된 데이터가 아닌 데이터를 말한다. 어떤 극도로 작은 에러가 통신에서 언제나 있을 수 있는바, 무손실 송신 기준은 송신된 데이터 전부가 수신기에서 정확히 검출되고 있다는 높은 확률(가령 시스템을 위한 사전결정된 기준에 따라 >99% 또는 99.999999%)로서 기술된다. 무손실 송신 기준을 표현하는 다른 방식은 비트 에러율(bit error rate)이다. 몇몇 예에서, 저장된 무손실 송신 기준은 전반적 비트 에러율(overall bit error rate)을 만족시키는 통신 특성 및 통신 기법의 상이한 조합들을 식별할 수 있다. 그러한 기준의 몇몇 예는 통신 매체(communication medium)의 유형, 유선(wired) 또는 무선(wireless), 송신의 범위, 노이즈 레벨 범위(noise level range), 그리고 이용가능한 유형의 에러 정정 기법과 연관된 에러 정정률, 그리고 하나 이상의 이용가능한 변조 기법과 연관된 하나 이상의 에러율이다. 하나의 유형의 기준을 바꾸는 것은 무손실 송신 기준을 형성하는 다른 유형의 기준을 위한 기준 값을 바꿀 수 있다. 무손실 송신 기준을 충족시키지 않는 것에 의해 손실 송신을 허용하는 것은 유실 데이터를 초래하지 않을 수 있으나, 데이터를 유실하는 확률은 사용자가 초점 맞추고 있는 높은 우선순위 데이터에 대해 수용불가능할 수 있다(가령 수신기에서 정확히 검출된 데이터의 80%).
도 1a는 니어 아이 디스플레이(NED) 디바이스 시스템의 하나의 실시예의 예시적 컴포넌트를 묘사하는 블록 다이어그램이다. 예시된 실시예에서, 그 시스템은 니어 아이 디스플레이(NED) 디바이스(동반 처리 모듈(4)로서 식별되는 다른 컴퓨터 시스템에 선(wire)(6)을 통해 통신가능하게 커플링됨)를 헤드 마운티드 디스플레이(HMD) 디바이스(2)로서 포함한다. 많은 실시예에서, 동반 처리 모듈(4)은 NED 디바이스 상의 통신 모듈과의 직접적인 일대일 통신 링크(one-to-one communication link)를 수립할 수 있다. 링크는 단거리(short range), 가령 10 피트(feet) 미만 내일 수 있다. 직접적인 링크(direct link)는 네트워크 라우터(network router) 또는 셀룰러 스테이션(cellular station)과 같은 중간 통신 전송 지점(intervening communication transfer point)에 의존하지 않는다. 직접적인 링크의 한 예는 대기(air)의 무선 통신 매체 상에서의 적외선 링크와 같은 유선 또는 무선의 직접적인 링크이다. 직접적인 통신 링크 외에, NED 디바이스(2) 및 동반 처리 모듈(4)은 또한 다른 네트워킹된 디바이스와 같이 네트워크 프로토콜을 통해 통신할 수 있다. 많은 실시예에서, 동반 처리 모듈(4)은 사용자에 의해 착용되거나 쥐어질(held) 수 있는데, 이의 몇몇 예는 손목 기반 모듈(wrist based module) 또는 스마트폰이나 태블릿과 같은 모바일 디바이스(mobile device)이다. 동반 처리 모듈은 사용자가 NED 디스플레이를 착용하고 있을 때 그와 동반하며, 예컨대 NED 디바이스를 위한 보조적인 사용자 입력 디바이스로서 작용하여, 보조적인(auxiliary) 서비스를 제공할 수 있다.
도 1b는 NED 디바이스(2) 및 동반 처리 모듈(4) 간의 무선 통신을 사용하는 NED 디바이스 시스템의 다른 실시예의 블록 다이어그램이다. 도 1c는 동반 처리 모듈(4)이 없는 NED 디바이스 시스템(여기서 NED 디바이스 시스템(8)이 니어 아이 디스플레이 디바이스(2) 상에 내포됨(incorporated))의 다른 실시예의 예시적 컴포넌트를 묘사하는 블록 다이어그램이다.
이 실시예들에서, NED 디바이스(2)는 프레임(115) 내의 안경의 형상을 하고 있는데 각각의 디스플레이 광학 시스템(14)은 NED 디바이스의 전면(front)에 배치되어(positioned) NED를 사용자가 착용한 경우 각 눈이 이를 통해 본다. 이 실시예에서, 각 디스플레이 광학 시스템(14)은 투사 디스플레이(projection display)를 사용하는데 여기서는 이미지 데이터가 사용자 앞의 3차원 시계(three dimensional field of view) 내의 위치에서 사용자에게 나타나도록 이미지 데이터의 디스플레이를 생성하기 위해 이미지 데이터가 사용자의 눈에 투사된다. 예를 들어, 사용자가 그의 거실에서 광학 시스루 모드(optical see-through mode)로 적 헬리콥터 격추 게임(shoot down enemy helicopter game)을 하고 있을 수 있다. 헬리콥터의 이미지가 그의 거실 내의 의자 위에서 날고 있는 것으로 사용자에게 나타나나, 사용자는 인간 눈에 가까운 이미지 데이터에 초점을 맞출 수 없기에 렌즈(116 및 118) 사이에서는 아니다. 그 이미지를 생성하는 디스플레이는 그 이미지가 보이는 곳과는 별개이다. 각 디스플레이 광학 시스템(14)이 디스플레이로 지칭될 수도 있고, 두 개의 디스플레이 광학 시스템(14)이 함께 디스플레이로 지칭될 수도 있다.
몇몇 실시예에서, 그 디스플레이는 가상 현실(Virtual Reality: VR) 콘텍스트(context)에서 이미지 데이터를 디스플레이하고 있을 수 있다. 예를 들어, 그 이미지 데이터는 착용자의 실세계 환경(real world environment)과는 독립적으로 움직이는 사람 및 사물의 것이고, 사용자의 실세계 환경으로부터의 빛은 디스플레이에 의해, 가령 불투명 필터(opacity filter)를 통해 차단된다. 다른 실시예에서, 그 디스플레이는 증강 현실(Augmented Reality: AR)을 위해 사용될 수 있다. 니어 아이, AR 디스플레이를 사용하는 사용자는 실시간으로 실제 객체와 함께 디스플레이되는 가상 객체를 본다. 특히, 광학 시스루, 증강 현실 디스플레이 디바이스를 착용한 사용자는 그의 자연적인 시야로써 실제 객체(가상 효과 또는 가상 객체의 이미지 데이터에 의해 가려지지(occluded) 않음)를 그 시스루 디스플레이의 시계 내에서 실제로 본다(이런 이유로 시스루 디스플레이 및 광학 시스루 디스플레이라는 명칭). 비디오 보기(video-see) 모드에서 동작하는 디스플레이, 또는 종종 비디오 시스루 디스플레이로 지칭되는, 비디오 보기 디스플레이와 같은 다른 유형의 증강 현실 디스플레이에 대해, 사용자가 그의 자연적인 시야로 실제 객체를 보는 것이 아니라, 가려지지 않은 실제 객체의 디스플레이된 이미지 데이터를 보는 것이기 때문에(이는 그것이 자연적 시야는 물론 가상 효과 및 가상 객체의 이미지 데이터로써 나타날 것이기 때문), 그 디스플레이는 실제로 시스루인 것은 아니다. 이하에서 시스루 디스플레이에 대한 언급은 광학 시스루 디스플레이를 지칭하고 있다.
이 실시예들에서, 프레임(115)은 전기적 연결을 위한 도관(conduit)뿐만 아니라 NED 디바이스(2)의 요소(element)들을 제자리에 유지하기 위한 니어 아이 지지 구조체(near-eye support structure)로서 편리한 안경 프레임을 제공한다. 니어 아이 지지 구조체의 몇몇 다른 예는 가리개 프레임(visor frame) 또는 고글 지지체(goggles support)이다. 프레임(115)은 소리를 기록하고 오디오 데이터를 제어 회로(136)에 송신하기 위한 마이크(microphone)(110)를 구비한 코받침(nose bridge)(104)을 포함한다. 그 프레임의 안경다리(temple) 또는 사이드 암(side arm)(102)은 사용자의 귀 각각에 받쳐지며, 이 예에서는 우측 사이드 암(102r)이 NED 디바이스(2)를 위한 제어 회로(136)를 포함하는 것으로 예시된다. 동반 처리 모듈(4)은 다양한 실시예를 취할 수 있다. 몇몇 실시예에서, 동반 처리 모듈(4)은 사용자의 신체(가령 손목) 상에 착용될 수 있거나 모바일 디바이스(가령 스마트폰, 태블릿, 랩톱)와 같은 별개의 휴대가능(portable) 컴퓨터 시스템일 수 있는 휴대가능 형태일 수 있다. 도 1a 및 도 1b에 예시된 바와 같이, 동반 처리 모듈(4)은 유선 또는 무선으로(가령, 와이파이(WiFi), 블루투스(Bluetooth), 적외선, 적외선 개인 영역 네트워크(infrared personal area network), RFID 송신, 무선 범용 직렬 버스(Wireless Universal Serial Bus: WUSB), 셀룰러, 3G, 4G 또는 다른 무선 통신 수단) 하나 이상의 통신 네트워크(50) 상에서 하나 이상의 네트워크 액세스가능 컴퓨터 시스템(12)(근처에 위치되든 또는 원격 위치에 위치되든), 한 위치 또는 환경 내의 다른 니어 아이 디스플레이 디바이스 시스템(8)(예컨대 피어 투 피어(peer-to-peer) 통신의 일부로서), 그리고 이용가능한 경우, 그 환경 내의 하나 이상의 3D 이미지 포착(capture) 디바이스(20)로 통신할 수 있다. 다른 실시예에서, 동반 처리 모듈(4)의 기능은 디스플레이 디바이스(2)의 소프트웨어 및 하드웨어 컴포넌트들 내에 통합될(integrated) 수 있다(도 1 참고). 동반 처리 모듈(4)의 하드웨어 컴포넌트의 몇몇 예가 도 11에 도시된다.
하나 이상의 네트워크 액세스가능 컴퓨터 시스템(들)(12)이 처리 능력 및 원격 데이터 액세스를 위해 이용될(leveraged) 수 있다. 컴퓨터 시스템(12)의 하드웨어 컴포넌트의 한 예가 도 11에 도시된다. 컴포넌트의 복잡도 및 개수는 컴퓨터 시스템(12) 및 동반 처리 모듈(4)의 상이한 실시예들에 대해 상당히 달라질 수 있다.
니어 아이 디스플레이 디바이스 시스템(8) 내의 하나 이상의 프로세서 상에서 실행되는 애플리케이션과 상호작용하거나 이를 위한 처리를 수행하는 컴퓨터 시스템(12) 상에서 애플리케이션이 실행되고 있을 수 있다. 예를 들어, 3D 맵핑 애플리케이션이 하나 이상의 컴퓨터 시스템(12) 및 사용자의 니어 아이 디스플레이 디바이스 시스템(8) 상에서 실행되고 있을 수 있다. 몇몇 실시예에서, 애플리케이션 인스턴스(application instance)들은 마스터 및 클라이언트 역할로 수행할 수 있는데 여기서는 클라이언트 카피(client copy)가 니어 아이 디스플레이 디바이스 시스템(8) 내의 하나 이상의 프로세서 상에서 실행되고 있으며 그것의 디스플레이 시계의 3D 맵핑을 수행하며, 마스터 3D 맵핑 애플리케이션으로부터의 그것의 뷰(view) 내 객체의 업데이트를 포함하여 컴퓨터 시스템(들)(12)로부터 3D 맵핑의 업데이트를 수신하고 이미지 데이터, 그리고 깊이 및 객체 식별 데이터가 이용가능한 경우 이를 마스터 카피에 돌려 보낸다. 추가적으로, 몇몇 실시예에서, 동일한 환경 내의 상이한 니어 아이 디스플레이 디바이스 시스템들(8) 상에서 실행되는 3D 맵핑 애플리케이션 인스턴스들은 실시간으로 데이터 업데이트, 예컨대 시스템들(8) 간 피어 투 피어 구성 내 실제 객체 식별을 공유한다.
"디스플레이 시계"라는 용어는 NED 디바이스 시스템의 디스플레이의 시계를 지칭한다. 다시 말해, 디스플레이 시계는 사용자 관점(user perspective)으로부터 보이는 사용자 시계(user field of view)를 근사화한다(approximate). 그러나, 자연적인 인간 시야(natural human sight)를 위한 시계는 사용자의 눈 사이에 중심을 두고 주변 시각(peripheral vision)을 포함하여 180도(180 degrees)를 넘어 연장될 수 있으나, NED의 디스플레이 시계는 전형적으로 더 한정된다. 예를 들어, NED 디바이스 디스플레이 시계는 인간 시계(human field of view)의 중앙 부분의 60도에 가깝다. 많은 실시예에서, 각 유형의 디스플레이를 위한 디스플레이 시계는 Z 축이 하나 이상의 기준점(reference point)으로부터의 깊이 포지션(depth position)을 나타내는 직교 X, Y 및 Z 축들을 갖는 뷰 종속적 좌표계(view dependent coordinate system)에 의해 맵핑될 수 있다. 예를 들어, 그 디스플레이는 각 디스플레이를 위한 광축(optical axis)(아래 도 2b의 142를 보시오)의 교차 지점과 같이, 각 디스플레이(14l, 14r)를 위한 기준점을 사용할 수 있다. 추가적으로, 디스플레이 시계는 또한 객체를 식별하는 것 및 관련된 이미지 데이터(이후 뷰 종속적 좌표 내의 디스플레이를 위해 배향되어(oriented) 그 이미지 데이터의 사용자 관점을 근사화함)를 취득하는 것에 유용한 환경을 위한 뷰 독립적(view independent) 좌표 내에 맵핑될 수 있다.
도 1의 예시된 실시예에서, 하나 이상의 컴퓨터 시스템(12) 및 휴대가능 니어 아이 디스플레이 디바이스 시스템(8)은 또한 하나 이상의 3D 이미지 포착 디바이스(20)(예컨대 하나 이상의 사용자 및 주위 공간(surrounding space)을 시각적으로 모니터하여 하나 이상의 사용자에 의해 수행되는 제스처 및 움직임은 물론 표면 및 객체를 포함하는 주위 공간의 구조가 포착, 분석 및 추적될(tracked) 수 있게 하는 하나 이상의 카메라일 수 있음)에 대한 네트워크 액세스(network access)를 가진다. 이미지 데이터, 그리고 깊이 데이터가 하나 이상의 3D 이미지 포착 디바이스(20)에 의해 포착되는 경우 이는 한 위치 내의 하나 이상의 니어 아이 디스플레이 디바이스 시스템(8)의 하나 이상의 포착 디바이스(113)에 의해 포착되는 데이터를 보충할(supplement) 수 있다. 하나 이상의 포착 디바이스(20)는 사용자 환경 내에 배치된 하나 이상의 깊이 카메라(depth camera)일 수 있다.
도 1c는 동반 처리 모듈(4)이 없는 NED 디바이스 시스템(여기서 NED 디바이스 시스템(8)이 니어 아이 디스플레이 디바이스(2) 상에 내포됨)의 다른 실시예의 예시적 컴포넌트를 묘사하는 블록 다이어그램이다. 이 실시예에서, 디스플레이 디바이스(2)의 제어 회로(136)는 동반 처리 모듈(4)이 도 1a에서 제공하는 기능을 내포하고 통신 모듈(도 2a의 모듈(137)을 보시오)을 통해 무선으로 통신 네트워크(50) 상에서 하나 이상의 컴퓨터 시스템(12)(근처에 위치되든 또는 원격 위치에 위치되든), 한 위치 또는 환경 내의 다른 NED 시스템(8), 그리고 이용가능한 경우 그 환경 내의 3D 이미지 포착 디바이스(20)로 통신한다.
도 2a는 NED 디바이스가 광학 시스루 AR 디스플레이를 갖고 NED 디바이스가 하드웨어 및 소프트웨어 컴포넌트를 위한 지지를 제공하는 안경으로서 구현된 일 실시예에서 한 프레임의 안경 다리의 측면도이다. 프레임(115)의 전면에는 적어도 시스루 디스플레이의 디스플레이 시계 내에, 그리하여 사용자의 시계 내에 실제 객체를 맵핑하기 위해 실세계의 비디오 및 정지 영상(보통 색채로 됨)과 같은 이미지 데이터를 포착할 수 있는 적어도 두 개의 물리적 환경 대향 이미지 포착 디바이스들(physical environment facing image capture devices)(113)(가령, 카메라들) 중 하나가 묘사된다. 몇몇 실시예에서, 그 포착 디바이스들은 적외선(IR) 빛 또는 자외선과 같이 가시광선 스펙트럼 외부의 다른 유형의 빛에 민감할 수 있다. 야간 시각 애플리케이션(night vision application)과 같은 애플리케이션에 의한 디스플레이를 위한 포착된 데이터에 기반하여 이미지가 생성될 수 있다.
포착 디바이스들(113)은 사용자의 머리로부터 외부로 향함을 의미하는 외부 대향 포착 디바이스들(outward facing capture devices)로도 지칭된다. 선택적으로, 3D 맵핑을 위해 사용될 수 있는 사용자의 환경 내의 실제 객체의 이미지 데이터를 또한 포착하는 외부 대향 사이드 포착 디바이스가 있을 수 있다. 포착 디바이스들(113)은 사용자의 머리로부터 외부로 향함을 의미하는 외부 대향 포착 디바이스들로도 지칭된다. 예시된 포착 디바이스는 그 각자의 디스플레이 광학 시스템(14)의 기준점에 대해 캘리브레이션되는(calibrated) 전면 대향 포착 디바이스(front facing capture device)이다. 그러한 기준점의 하나의 예는 그 각자의 디스플레이 광학 시스템(14)의 광축(도 2b의 142를 보시오)이다. 캘리브레이션은 디스플레이 광학 시스템(14)의 디스플레이 시계가 포착 디바이스(113)에 의해 포착된 데이터로부터 정해지게 한다.
몇몇 예에서, 이미지 포착 디바이스들(113)은 또한 깊이에 민감할(depth sensitive) 수 있다(예를 들어, 그것은 적외선 빛(이로부터 깊이 데이터가 정해질 수 있음)을 송신하고 검출하는 깊이 민감 카메라(depth sensitive camera)들일 수 있음). 다른 예에서, 프레임(115)의 전면 또는 사이드 포착 디바이스가 사용되는 경우에는 그것의 측면 상의 별개의 깊이 센서(도시되지 않음)가 디스플레이 시계 내 객체 및 다른 표면에 깊이 데이터를 포착하여 제공할 수도 있다.
깊이 데이터 및 이미지 데이터는 디스플레이 시계를 포함하도록 캘리브레이션된 이미지 포착 디바이스들(113)의 포착된 시계(captured field of view)의 깊이 맵(depth map)을 형성한다. 디스플레이 시계의 3차원(3D) 맵핑은 깊이 맵에 기반하여 생성될 수 있다.
몇몇 실시예에서, 물리적 환경 대향 포착 디바이스들(113)은 중첩 이미지 데이터(이로부터 이미지 데이터 내의 객체에 대한 깊이 정보가 입체시(stereopsis)에 기반하여 정해질 수 있음)를 제공한다. 실제 객체의 상대적 포지션을 해결하는 데에 시차(parallax) 및 대조적(contrasting) 특징(예컨대 색채)이 사용될 수도 있다.
제어 회로(136)는 헤드 마운티드 디스플레이 디바이스(2)의 다른 컴포넌트를 지지하는 다양한 전자기기를 제공한다. 이 예에서, 우측 사이드 암(102)은 처리 유닛(processing unit)(210), 프로세서 판독가능(processor readable) 명령어 및 데이터를 저장하기 위해 처리 유닛(210)에 액세스가능한 메모리(244), 처리 유닛(210)에 통신가능하게 커플링된 통신 모듈(137), 그리고 제어 회로(136)의 컴포넌트와 포착 디바이스(113), 마이크(110) 및 후술되는 센서 유닛과 같은 디스플레이 디바이스(2)의 다른 컴포넌트에 전력을 제공하는 전력 공급부(power supply)(239)를 포함하는 디스플레이 디바이스(2)를 위한 제어 회로(136)를 포함한다. 처리 유닛(210)은 중앙 처리 유닛(Central Processing Unit: CPU) 및 그래픽 처리 유닛(Graphics Processing Unit: GPU)을 포함하는 하나 이상의 프로세서를 포함할 수 있는데, 특히 적어도 하나의 그래픽 처리 유닛(GPU)을 포함하는 별개의 동반 처리 모듈(4)이 없는 실시예에서 그러할 수 있다.
오디오 출력 디바이스의 예로서 한 세트의 이어폰들(130) 중 한 이어폰, 하나 이상의 관성 센서를 포함하는 관성 감지 유닛(inertial sensing unit)(132), 그리고 하나 이상의 위치 또는 근접(proximity) 센서를 포함하는 위치 감지 유닛(location sensing unit)(144)(이의 몇몇 예는 GPS 송수신기, 적외선(IR) 송수신기 또는 RFID 데이터를 처리하는 무선 주파수 송수신기(radio frequency transceiver)임)이 사이드 암(102) 내부에 있거나 이에 장착된다(mounted). 하나의 실시예에서, 관성 감지 유닛(132)은 3축 자력계(three axis magnetometer), 3축 자이로(three axis gyro) 및 3축 가속도계(three axis accelerometer)를 관성 센서로서 포함한다. 그 관성 센서들은 헤드 마운티드 디스플레이 디바이스(2)의 포지션, 배향(orientation) 및 갑작스러운 가속에 대한 것이다. 디스플레이 디바이스의 이러한 감지된 움직임, 머리 포지션 및 그래서 배향에서 어느 것이 사용자 관점 및 디스플레이 시계(이를 위해 이미지 데이터는 사용자 관점을 따라 뒤쫓아가도록 업데이트됨)의 변화를 나타내는지 또한 판정될 수 있다. 이 실시예에서, 동작 중에 아날로그 신호를 처리하는 디바이스 또는 유닛 각각은, 디지털 처리 유닛(210) 및 메모리(244)와 디지털로 인터페이스하고 그 각자의 디바이스에 대해 아날로그 신호를 산출하거나 변환하거나, 아날로그 신호를 산출도 하고 변환도 하는 제어 회로를 포함한다. 아날로그 신호를 처리하는 디바이스의 몇몇 예는 위치 및 관성 감지 유닛들, 이어폰(130)은 물론 마이크(110), 포착 디바이스(113) 및 각 눈의 디스플레이 광학 시스템(14l 및 14r)을 위한 각각의 IR 조명 소스(illumination source)(134A) 및 각각의 IR 검출기(134B)이다.
사용자의 머리 포지션의 추적(tracking) 및 적어도 디스플레이 시계의 3D 맵핑은 NED 디바이스 시스템(8) 또는 네트워크 액세스가능 컴퓨터 시스템(12) 또는 이들의 조합의 하나 이상의 프로세서에 의해 증강 현실, 가상 현실 및 야간 시각과 같은 상이한 경험에서 사용자에게 어떤 이미지 데이터를 표현할지 정하기 위해 사용된다.
이 실시예에서, 이미지 생성 유닛(120)은 하나 이상의 실제 객체와 상호작용할 수 있는 가상 객체의 사실적이고 초점 맞춰진(in-focus) 3차원 디스플레이를 제공하기 위해 디스플레이 시계 내의 지정된 깊이 위치에서 나타나도록 가상 객체를 디스플레이할 수 있다. 몇몇 예에서, 다수의 이미지 또는 가상적 특징의 이미지의 초점 맞춰진 부분의 합성 이미지(composite image)의 신속한 디스플레이는 디스플레이되는 가상 데이터로 하여금 상이한 초점 영역에서 나타나게 하기 위해 사용될 수 있다.
도 2a의 예시된 실시예에서, 이미지 생성 유닛(120)은 마이크로디스플레이(microdisplay) 및 커플링 광학계(coupling optics)(렌즈 시스템과 같은 것)를 포함한다. 이 예에서, 마이크로디스플레이에 의해 출력되는 이미지 데이터는 반사 표면 또는 소자(reflecting surface or element)(124)로 향하게 된다. 반사 표면 또는 소자(124)는 이미지 생성 유닛(120)으로부터의 빛을 디스플레이 유닛(112)(도 2b를 보시오) 내에 광학적으로 커플링하는데, 이는 디바이스(2)가 사용자에 의해 착용된 경우 이미지를 나타내는 빛을 사용자의 눈으로 향하게 한다.
도 2b는 NED 디바이스의 디스플레이 광학 시스템의 일 실시예의 상면도이다. 디스플레이 광학 시스템(14)(이 경우에는 오른쪽 눈에 대한 14r)의 컴포넌트를 도시하기 위해, 디스플레이 광학 시스템을 둘러싼 프레임(115)의 부분은 묘사되지 않는다. 이 실시예에서, 디스플레이(14l 및 14r)는 광학 시스루 디스플레이이고, 각 디스플레이는 두 개의 광학 시스루 렌즈(116 및 118) 사이에 예시되고 하나 이상의 광학 소자(하프 미러(half mirror), 격자(grating), 그리고 빛을 이미지 생성 유닛(120)으로부터 사용자 눈(140) 쪽으로 향하게 하기 위해 사용될 수 있는 다른 광학 소자와 같은 것)를 나타내는 표현 반사 소자(representative reflecting element)(134E)를 포함하는 디스플레이 유닛(112)을 포함한다. 화살표(142)는 디스플레이 광학 시스템(14r)의 광축을 나타낸다. 광학 시스루 NED를 위한 디스플레이 유닛(112)의 한 예는 도광 광학 소자(light guide optical element)를 포함한다. 도광 광학 소자의 한 예는 평면 도파관(planar waveguide)이다.
광학 시스루 증강 현실 실시예에서, 디스플레이 유닛(112)은 그것이 니어 아이 디스플레이(NED) 디바이스(2)의 전면에서부터의 빛으로 하여금 눈(140)에 의해 수신되게 함으로써 이미지 생성 유닛(120)으로부터 가상적 특징의 이미지를 보는 것뿐 아니라 NED 디바이스(2)의 전면의 공간의 실제의 직접적인 뷰(actual direct view)를 사용자가 갖게 할 수 있도록 시스루이기도 하다. "실제의 직접적인 뷰"라는 용어의 사용은 실세계 객체의 생성된 이미지 표현을 보는 것이 아니라 인간의 눈으로 직접 그러한 객체를 볼 능력을 지칭한다. 예를 들어, 방에서 안경을 통해 보는 일은 사용자로 하여금 그 방의 실제의 직접적인 뷰를 갖게 하나, 텔레비전에서 방의 비디오를 보는 일은 그 방의 실제의 직접적인 뷰가 아니다.
몇몇 실시예에서, 각 디스플레이 유닛(112)은 또한 통합된 눈 추적 시스템(eye tracking system)을 선택적으로 포함할 수 있다. 예를 들어, 적외선(IR) 조명 소스는 각 디스플레이 유닛(112) 내에 광학적으로 커플링될 수 있다. 가시광을 눈 쪽으로 향하게 하는 하나 이상의 광학 소자는 또한 IR 조명을 눈 쪽으로 향하게 할 수 있고, IR 반사를 눈으로부터 IR 카메라와 같은 IR 센서로 향하게 할 수 있다는 뜻에서 양방향성(bidirectional)일 수 있다. 각 눈에 대해 각자의 포착된 IR 센서 데이터로부터 동공(pupil) 포지션이 식별될 수 있고, 눈의 모델(가령 굴스트란드(Gullstrand) 눈 모델) 및 동공 포지션에 기반하여, 소프트웨어에 의해 각 눈을 위한 응시선(gaze line)이 근사화된 중심와 위치(fovea position)로부터 연장되어 정해질 수 있다. 디스플레이 시계 내의 응시 지점(point of gaze)이 식별될 수 있다. 응시 지점에서의 객체는 포커스 객체(object of focus)로서 식별될 수 있다. 인간 시각 파라미터에 기반하여 또는 인간 시각 파라미터에 기반하여 미리 정해진 사전결정된 거리(predetermined distance)에 기반하여 응시 지점 주위의 사용자 초점 영역이 식별될 수 있다.
이 실시예에서, 디스플레이 유닛(112)은 디스플레이의 일부로서 작용하고 또한 눈 추적(eye tracking)을 통합하는 평면 도파관을 포함한다. 표현 반사 소자(134E)는 거울, 격자, 그리고 평면 도파관으로부터 이미지를 나타내는 가시광을 사용자 눈(140) 쪽으로 향하게 하는 다른 광학 소자와 같은 하나 이상의 광학 소자를 나타낸다. 이 실시예에서, 표현 반사 소자(134E)는 또한 눈 추적 시스템의 일부로서 적외선 빛의 양방향 반사를 수행한다. 적외선 조명 및 반사는 또한 사용자의 눈(전형적으로 사용자의 동공)의 포지션 및 움직임을 추적하는 눈 추적 시스템(134)을 위한 평면 도파관을 가로지른다. 눈 움직임은 또한 깜박임을 포함할 수 있다. 눈 추적 시스템(134)은 눈 추적 IR 조명 소스(134A)(적외선 발광 다이오드(Light Emitting Diode: LED) 또는 레이저(가령 VCSEL)) 및 눈 추적 IR 센서(134B)(가령 IR 카메라, IR 광검출기의 배열)를 포함한다. 표현 반사 소자(134E)와 함께 파장 선택 필터(wavelength selective filter)들(134C 및 134D)은 IR 조명을 눈(140) 쪽으로 (바람직하게는 광축(142) 주위에 중심이 두어져) 향하게 하고 사용자 눈(140)으로부터 (도파관으로부터 IR 센서(134B)로 향하게 된 것으로서, 바람직하게는 광축(142) 주위에서 포착되는 반사를 포함하는) IR 반사를 수신하는 양방향 적외선(IR) 필터링을 구현한다.
다른 통합된 눈 추적 디스플레이 실시예에서는, 프리즘(prism), 예컨대 자유 형태 프리즘(free form prism)이 디스플레이 유닛(12)의 일부를 형성한다. 눈 추적 IR 조명 소스(134A) 및 이미지 생성 유닛(120)으로부터의 이미지 데이터를 나타내는 빛은 프리즘 내로 광학적으로 커플링된다. 프리즘의 한 예는 쐐기형 광학기기(wedge optic)이다. 눈으로부터의 반사는 프리즘을 통해 포착되며 눈 추적 IR 센서(134B)에 광학적으로 커플링된다.
다른 실시예에서, 눈 추적 유닛 광학기기는 디스플레이 광학기기와 통합되지 않는다. HMD 디바이스를 위한 눈 추적 시스템의 더 많은 예에 대해서는, "Head Mounted Eye Tracking and Display System"이라는 표제로 Kranz 등에게 2008년 7월 22일 발행된 미국 특허 7,401,920을 보고, "Gaze Detection in a See-Through, Near-Eye, Mixed Reality Display"라는 표제로 2011년 8월 30일 출원된 Lewis 등의 미국 특허출원 제13/221,739호를 보며, "Integrated Eye Tracking and Display System"이라는 표제로 2011년 9월 26일 출원된 Bohn의 미국 특허출원 제13/245,700호를 보시오.
도광 광학 소자(112)와 정렬된 불투명 필터(114)는 자연광(natural light)이 디스플레이 유닛(112)을 거쳐 가는 것을 선택적으로 차단함으로써 실세계 뷰(real world view)에 대해 이미지 데이터의 콘트라스트(contrast)를 향상시킨다. 불투명 필터는 가상 객체의 이미지가 더욱 사실적이게 나타나고 전 범위(full range)의 색채 및 세기를 나타내는 것을 돕는다. 이 실시예에서, 불투명 필터를 위한 전기적 제어 회로(도시되지 않음)는 프레임을 거쳐 라우팅된 전기적 연결을 통해 제어 회로(136)로부터 명령어를 수신한다. 불투명 필터의 더 많은 세부사항이 2010년 9월 21일에 출원된 미국 특허출원 제12/887,426호 "Opacity Filter For See-Through Mounted Display"에 제공된다.
또, 도 2a 및 도 2b는 헤드 마운티드 디스플레이 디바이스(2)의 절반을 도시한다. 예시된 실시예에 대해, 전체 헤드 마운티드 디스플레이 디바이스(2)는 다른 이미지 생성 유닛(120), 외부 대향 포착 디바이스들(113) 중 다른 것, 눈 추적 시스템(134) 및 이어폰들(130) 중 다른 것뿐만 아니라, 다른 세트의 광학 시스루 렌즈(116 및 118), 다른 불투명 필터(114), 다른 도광 광학 소자(112)를 구비한 다른 디스플레이 광학 시스템(14)을 포함할 수 있다. 몇몇 실시예에서, 각 눈을 위한 디스플레이 광학 시스템이 아니라 양 눈이 보는 연속적인 디스플레이가 있을 수 있다. 몇몇 실시예에서, 단일 이미지 생성 유닛(120)이 양 눈이 보는 연속적인 디스플레이에 광학적으로 커플링되거나 그 눈들을 위한 별개의 디스플레이들에 광학적으로 커플링될 수 있다. 머리 장착형(head mounted) 개인용 A/V 장치의 추가적인 세부사항이 Fusing Virtual Content Into Real Content라는 표제로 2010년 10월 15일 출원된 미합중국 특허출원 제12/905952호에 예시된다.
도 2c는 NED 시스템에 의해 데이터를 수신하는 것 또는 다른 컴퓨터 시스템에 의해 데이터를 NED 시스템에 송신하는 것을 위해 사용될 수 있는 통신 모듈의 일 실시예의 블록 다이어그램이다. 유선 또는 무선인 통신 매체에 따라, 통신 모듈(250)은 유선 통신 또는 무선 통신, 그리고 몇몇 경우에는 포함된 안테나 및 인터페이스 회로에 따라 양자 모두를 처리하기 위해 구현될 수 있다. 통신 모듈(250)은 제어 회로(136) 내에 구현된 컴퓨터 시스템과 같은 NED 시스템의 컴퓨터 시스템 또는 동반 처리 모듈(4) 내에 구현된 컴퓨터 시스템에 그리고 이로부터 데이터를 통신가능하게 커플링하고 전송하는 기능을 제공한다. 예를 들어, 통신 모듈(137)은 통신 모듈(250)의 실시예의 기능을 구현할 수 있다. 다른 NED 시스템(8) 또는 네트워크 액세스가능 컴퓨터 시스템(12)과 같은 컴퓨터 시스템이 도 2c의 실시예와 같은 통신 모듈을 포함할 수도 있다. 그러한 기능의 몇몇 예는 하나 이상의 표준 또는 프로토콜 및 에러 정정 기법에 따라 송신을 위해 데이터를 인코딩하는 것은 물론 수신된 데이터를 디코딩하는 것과 같은 통신 기법, 데이터를 신호 상에 변조하고 이로부터 복조하는 것, 그리고 채널을 협상하는 것 및 충돌을 해결하는 것과 같은 통신 관리 활동을 포함한다.
예시된 통신 모듈 실시예는 통신 관리기 모듈(123), 하나 이상의 안테나(119) 그리고 유입(incoming) 및 유출(outgoing) 데이터를 위한 하나 이상의 데이터 버퍼를 포함하는 메모리(121)를 포함한다. 통신 관리기 모듈(123)은 이미지 데이터의 수신 및 송신을 식별하기 위해 NED 시스템(8)의 하나 이상의 프로세서와 통신한다. 무손실 송신 기준은 통신가능하게 커플링된 프로세서로부터 다운로드되거나 통신 모듈(250)을 위한 메모리(121) 내에 저장될 수 있다. 통신 관리기 모듈(123)은 하나 이상의 인코더 및 하나 이상의 디코더를 포함할 수 있고 이미지 데이터가 무손실 송신 또는 손실을 허용하는 송신을 위해 처리되고 있는지에 기반하여 명령어를 인코더 및 디코더에 제공한다. 예를 들어, 그 명령어는 순방향 에러 정정(Forward Error Correction: FEC) 코드와 같은 에러 정정 기법을 위한 소정의 헤더 비트를 설정하고 중복 데이터(redundant data)를 포함시킬지 아닌지를 나타낼 수 있다. 비트 밀도(bit density)가 포커스 지점으로부터의 이미지 데이터의 거리에 기반하여 달라질 수 있는바 통신 관리기 모듈(123)은 변조기 및 복조기에 명령어를 제공한다. 예를 들어, 사용자 초점 영역 내의 디스플레이를 위한 이미지 데이터(이후 사용자 초점 영역 이미지 데이터로 지칭됨)에 대해, 하나 이상의 통신 채널의 노이즈 특성에 기반하여 추정 비트 에러율(estimated bit error rate)(그 비트 에러율은 무손실 송신 기준을 만족시킴)을 제공하기 위해 선택된 비트 대 심볼 밀도(bit-to-symbol density)로써 성상 인코딩 방안(constellation encoding scheme)이 할당될 수 있다.
상이한 채널 상황이 관리기(123)에 의해 테스트 패턴으로써 측정될 수 있거나 검출된 노이즈 레벨에 기반하여 추정될 수 있는 비트 에러율에 영향을 미칠 수 있다. 하나 이상의 노이즈 감소, 에러 정정 및 변조 기법이 통신 관리기(123)에 의해 선택되어 적용되거나 NED 시스템(8)의 하나 이상의 프로세서(가령 동반 처리 모듈을 위한 902와 같은 처리 유닛)에 의해 선택될 수 있는데 그 선택은 통신 관리기(123)에 통신되고 비트 에러율을 무손실 송신 기준 내로 가져오기 위해 통신 관리기(123)에 의해 적용된다. 상이한 무손실 송신 기준들이 상이한 통신 매체들을 위해 적용될 수 있다. 유선 연결은 한 유형의 통신 매체이다. 무선 연결은 한 유형의 통신 매체이다. 상이한 유형의 유선 연결, 가령 연선(twisted pair) 또는 HDMI 같은 상이한 케이블 유형이 있고, IEEE 802.11 계통(family) 내의 것과 같은 무선 연결을 위해 적용될 수 있는 상이한 무선 프로토콜이 있다.
본 기술은 인간의 눈에 의해 인지될 것 같지 않은 이미지 데이터에 대해 무손실 송신을 보장하는 통신 기법을 피하여 세이브 시간 및 전송되는 데이터의 양을 줄이기 위해 자연적인 인간 시력(natural human sight)의 해상도 한계를 활용한다. 인간의 눈은 인간의 망막 상에서 수신되는 어떤 파장 대역 내의 빛의 반사에 의해 "본다". 망막의 중심에 중심와가 있다. 중심와에 도달하는 빛을 반사하는 객체는 인간 시력에 대해 세부사항의 최고의 선예도(sharpness) 또는 선명도(clarity)로써 보인다. 이 유형의 선명한 시각은 중심와 시각(foveal vision)으로서 지칭된다. 두 눈 모두를 사용하는 전형적인 경우에, 인간의 눈에 대한 응시 또는 포커스 지점 또는 포커스 객체는 이를 위해 빛이 각 눈의 중심와 중심으로 다시 반사되는 것이다. 포커스 객체의 한 예는 책 페이지 상의 단어이다. 독자가 페이지를 볼 때, 일반적으로 그러한 포커스 단어(word of focus) 주위의 다수의 단어가 선명하게 보이기도 한다. 그 다수의 단어는 사용자 초점 영역(응시 지점을 포함하고 그 안에서 객체가 뚜렷이 또는 선명히 나타나며, 때때로 단일 시각(single vision)으로써라고 지칭됨) 내에 있다.
파눔의 융합성(Panum's fusional)으로 알려진 체적(volume)은 그 안에서 인간의 눈이 단일 시각으로써 객체를 보는 체적이다. 인간은 양안 시각(binocular vision) 또는 입체 시각(stereoptic vision)을 갖는다. 각 눈은 상이한 시점(point of view)으로부터 이미지를 산출한다. 파눔의 융합성 영역의 이 작은 체적에서만 인간은 단일 시각으로써 객체를 본다. 이는 일반적으로 객체가 초점 맞춰진 것이라고 하는 경우에 의미하는 것이다. 이 영역 외부에서, 객체는 흐릿하게 나타나거나 심지어 이중(double) 이미지로서 나타날 수 있다. 파눔의 융합성 영역의 중심 내에는 사용자의 눈의 초점(focal point) 또는 응시 지점을 포함하는 단시궤적(Horopter)이 있다. 사용자가 공간 내의 한 지점에 초점을 맞추게 되는 경우, 공간 내의 그 지점은 곡선 상에 위치된다. 공간 내 이 곡선 상의 객체는 중심와 내의 눈의 망막에 가닿는다. 그 곡선은 때때로 수평 단시궤적(horizontal horopter)으로 지칭된다. 곡선 상의 응시 지점 아래에서는 눈 쪽으로 그리고 응시 지점 위에서는 눈으로부터 멀리 기울어지는 곡선을 지나는 선인 수직 단시궤적(vertical horopter)도 있다. 이후에 사용되는 바와 같은 단시궤적이라는 용어는 그것의 수직 및 수평 성분 모두를 지칭한다.
안구(eyeball)는 흔히 구(sphere) 또는 구형(spherical shape)으로서 모델링되므로(가령 굴스트란드 모델), 망막 상의 영역의 크기는 흔히 도 또는 라디안 또는 각도 치수로 언급된다. 이후에 중심와로 지칭되는 중심오목(fovea centralis)은 망막의 중심에 있고 2도 미만, 가령 1.2도이다. 그러나, 중심와는 인간이 다른 생물보다 더 넓은 범위의 색채를 인지하게 하고 간상체(rod)들이 제공하는 것보다 세부사항에서의 변화 및 깊이를 포함하여 세부사항의 더 정확한 인지를 가능하게 하는 최고 밀도의 추상체(cone)들을 갖는다. 간상체는 망막 상에서 중심와 외부에 존재하고 망막 상의 추상체보다 수가 엄청나게 더 많다. 간상체는 망막의 더 넓은 시계로부터 빛을 포착하나, 가시광에 대한 그것의 민감도는 추상체에 대한 것보다는 상당히 작다. 그러나, 간상체는 움직임에 매우 민감하다. 혹자가 "내 곁눈질로" 무언가를 보는 경우, 그것은 간상체 민감도 때문이다. 요컨대, 추상체는 우리의 간상체보다는 우리의 뇌에 더 높은 해상도의 이미지를 제공한다. 망막의 중심에서의 중심와로부터, 추상체의 양은 감소하고, 간상체의 수는 증가하여 세부사항에 대한 인간의 인지는 각 눈에 대해 중심와의 중심으로부터의 각거리(angular distance)와 함께 하락한다. 예를 들어, 중심와 가까이에서, 눈의 각해상도(angular resolution)는 앞서 언급된 바와 같이 1 arcmin 쯤이다. 중심와 중앙에서 약 8도 벗어나면, 눈의 자연적인 각해상도는 2 arcmin 아래로 절반으로 떨어져서 낮아진다. 중심와 중심에서 약 15도 벗어난 데에서는, 눈의 해상도가 또 절반만큼 떨어진다(가령 중심와의 해상도의 1/4).
그 중심와에 도달하는 빛에 대한 인간의 눈의 분해 능력은 대략 1 arcmin이다. 예를 들어, 중심와의 1 arcmin 해상도는 사용자로 하여금 페이지 상의 텍스트(text)를 읽도록 한다. 60 x 60 도의 디스플레이 시계에 걸쳐 1 arcmin 해상도를 달성하는 데에 사용되는 대역폭에 대한 감을 주기 위해 다음의 예가 제시된다. 이중(dual) 1080p 비디오 스트림이 5.6 Gbps(초당 기가비트(Gigabits per second))의 통신 대역폭을 사용하여 24 bpp(픽셀 당 비트(bits per pixel)) 및 60 fps(초당 프레임(frames per second))로 송신된다. 이는 아주 새로운 고속 통신 표준인 USB 3.0의 능력을 넘는 것일 수 있다. 1 arcmin 해상도로 60x60 도 디스플레이 시계를 망라(cover)하기 위해 34Gbps의 수반 데이터 전송률(accompanying data transfer rate)과 함께 기막힌 3600x3600 픽셀 해상도가 사용될 것이다. 단일 동 케이블 쌍(copper cable pair) 상에서 5Gbps가 넘는 데이터를 송신하려는 도전은 상당한 것이다.
이하의 흐름도는 수신된 이미지 데이터를 어떻게 송신하고 처리할 것인지를 디스플레이 시계 내에서 이미지 데이터가 포커스 지점으로부터 떨어져 디스플레이될 거리에 기반하여 결정함으로써 디스플레이 업데이트 시간을 감소시키는 방법의 실시예를 제공한다. 도 8a 및 도 8b에 기술된 실시예에서, 그 거리는 이미지 데이터가 디스플레이될 포커스 지점 주위에 중심이 두어진 영역 측면에서 정해질 수 있다. 다른 접근법은 송신 품질 기준이 더 점진적 또는 연속적인 방식으로 감소되게 한다.
도 3a는 송신 컴퓨터 시스템의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 일 실시예의 흐름도이다. NED 디바이스에 통신가능하게 커플링된 송신 컴퓨터 시스템의 한 예는 동반 처리 모듈(4) 내에 구현된 컴퓨터 시스템이다. 다른 예에서, 송신 컴퓨터 시스템은 예시된 네트워크 액세스가능 컴퓨터 시스템(12)(가령, 클라우드 기반 게이밍 서비스(cloud based gaming service)의 게임 콘솔 또는 컴퓨터 시스템)과 같이 NED 디바이스 시스템(8)으로부터 원격일 수 있다. 단계(252)에서, NED에 통신가능하게 커플링된 컴퓨터 시스템은 포커스 지점부터 니어 아이 디스플레이 시계 내의 디스플레이를 위한 이미지 데이터까지 그 디스플레이 시계 내의 거리 벡터를 식별한다.
그 거리는 이미지 데이터의 하위분할(subdivision) 중 각각에 대해 측정될 수 있다. 예를 들어, 그 거리는 디스플레이 유닛(112)의 픽처 요소(picture element)인 픽셀(pixel)과 같이 특정한 디스플레이 영역에 의해 투사된 이미지 데이터 세그먼트(image data segment)의 중심으로부터 측정될 수 있다. 다른 예에서, 그 거리는 이미지 데이터에 의해 표현되는 객체의 중심, 가령 농구 코트 장면(scene)의 3D 맵핑의 좌표 내의 디스플레이된 농구공의 중심에 대한 것일 수 있다. 단계(254)에서 포커스 지점으로부터의 거리에 기반하여, 송신 컴퓨터 시스템은 디스플레이될 이미지 데이터 중 적어도 일부가 낮은 인지 기준을 만족시키는 허용된 손실 데이터로서 자격이 있는지를 판정한다. 단계(256)에서 포커스 지점으로부터의 거리 및 낮은 인지 기준에 기반하여, 송신 컴퓨터 시스템은 디스플레이될 이미지 데이터 중 적어도 일부가 낮은 인지 기준을 만족시키지 않는 무손실 우선순위 데이터로서 자격이 있는지 판정한다. 몇몇 예에서, 거리 벡터는 디스플레이 시계 내 이미지 데이터의 포지션을 각 눈에 대한 근사화된 망막 위치(가령 143l 및 143r)와의 교차 지점으로 거꾸로 관련시키는 데에 사용된다. 그 교차 지점부터 근사화된 중심와 중앙(approximated fovea center)까지의 각거리 벡터(angular distance vector)는 낮은 인지 기준에 더 잘 관련되도록 정해질 수 있다.
낮은 인지 기준은 사전결정되고 색채, 구조 및 휘도를 분해하기(resolving) 위한 확립된 인간 시각 기준에 기반한다. 예를 들어, 그러한 인간 시각 기준은 인간 망막 상의 추상체 및 간상체 분포의 모델에 기반할 수 있다. 낮은 인지 기준의 한 예는 디스플레이 시계 내에 투사된 이미지 데이터로부터의 빛이 중심와로부터 망막 상의 어떤 각거리 내에 들어갈 것이라는 것이다.
포커스 지점으로부터의 거리 부분은 낮은 인지 기준이 만족되는지 판정함에 있어서 상당히 가중화될(weighted) 수 있다. 이미지 데이터가 디스플레이 시계의 가장자리 가까이에 있을 수 있으므로 그 방향은 또한 상당한 가중화를 받을 수 있다. 일반적으로, 이미지 데이터가 포커스 지점에 더 가까울수록, 그것이 무손실 우선순위 이미지 데이터로서 자격이 있을 가능성이 더 많고, 이미지 데이터가 포커스 지점으로부터 더 멀수록, 그것이 허용된 손실 이미지 데이터로서 자격이 있을 가능성이 더 많다. 일반적으로, 이하에서 추가로 논의되는, 포커스 지점을 둘러싼 이미지 초점 영역 내의 더 많은 데이터는 사용자 초점 영역 외부에서의 디스플레이를 위한 이미지 데이터보다 무손실 우선순위 데이터로서의 자격이 있을 것이다. 그러나, 몇몇 경우에, 사용자 초점 영역 내에 속하도록 포커스 지점에 충분히 가까운 이미지 데이터조차 송신에서 잘려진 어떤 저차(low order) 비트를 가질 수 있는데 사용자 초점 영역에서도 그 저차 비트는 낮은 인지 기준을 만족시키지 않기 때문이다. 예를 들어, 색채를 위한 워드 크기 내의 최하위 비트 중 적은 수, 가령 2 비트가 손실 송신을 사용하여 송신되도록 허용될 수 있는데 그 데이터는 주위의 색채 데이터에 매우 가깝고 포커스 객체는 디스플레이 시계 내에서 충분히 멀리 떨어져 있어 눈, 그리고 아마도 니어 아이 디스플레이의 색채 분해 능력(color resolving power)을 넘어서기 때문이다.
단계(258)에서, 이미지 데이터 중 적어도 일부가 허용된 손실 데이터로서 자격이 있음에 응답하여, 컴퓨터 시스템은 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 그 허용된 손실 데이터를 송신하고, 단계(260)에서는 허용된 손실 이미지 데이터로서 자격이 있지 않은 이미지 데이터 중 임의의 것인 무손실 우선순위 이미지 데이터를 무손실 송신 기준을 만족하는 하나 이상의 통신 기법을 사용하여 송신한다.
도 3b는 NED 디바이스 시스템의 수신 컴퓨터 시스템의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 실시예의 흐름도이다. 앞서 도시된 바와 같이, NED 디바이스 시스템의 수신 컴퓨터 시스템의 예는 처리 유닛(210), 메모리(244) 및 통신 모듈(137)을 포함하는 제어 회로(136)의 하드웨어 및 소프트웨어 컴포넌트 또는 동반 처리 모듈(4) 내에 구현된 컴퓨터 시스템일 수 있다.
단계(262)에서, 수신 컴퓨터 시스템은 통신가능하게 커플링된 컴퓨터 시스템으로부터 이미지 데이터를 수신하고, 단계(264)에서, 수신되는 이미지 데이터(무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 송신되었음) 내의 무손실 우선순위 이미지 데이터를 식별한다. 단계(266)에서, 수신 컴퓨터 시스템은 무손실 송신 기준을 만족시키기 위해 사용된 하나 이상의 통신 기법에 기반하여 무손실 우선순위 이미지 데이터를 취득한다.
단계(268)에서, 수신 컴퓨터 시스템은 수신되는 이미지 데이터 내의 허용된 손실 데이터를 식별하고, 단계(270)에서, 손실 송신을 허용하여 사용된 하나 이상의 통신 기법에 기반하여 그 허용된 손실 이미지 데이터를 취득한다. 단계(272)에서, NED 디바이스는 무손실 우선순위 이미지 데이터 및 허용된 손실 이미지 데이터를 NED 디바이스의 디스플레이 시계 내에 디스플레이한다.
앞서 언급된 바와 같이, 눈 추적 데이터는 중심와 위치를 근사화하는 데 사용될 수 있는 응시 지점을 식별할 수 있다. 사용자 초점 영역은 공간 내 영역으로서 식별될 수 있는데 이로부터 빛이 근사화된 중심와 위치 또는 중심와의 근사화된 중앙의 각거리 내에 들어간다고 근사화된다. 예를 들어 앞서 언급된 8도 근사화를 사용하여, 중심와 중앙의 8도 내의 영역 내 이미지 데이터는 사용자 초점 영역 내에 속한다. 이차적 영역이 또한 식별될 수 있다. "이차적"은 이 영역이 사용자 초점 영역 내에 있지 않음을 표기하기 위해 사용된다. 사용자 초점 영역을 위한 이미지 데이터가 제일 중요한 것이거나, 사용자가 자연스럽게 볼 수도 없는 이차적 영역을 위한 이미지 데이터보다 우선한다.
지정된 영역 내의 포커스 지점 또는 위치로부터의 거리에 기반하여 이미지 데이터의 해상도를 바꾸는 것 외에, 상이한 디스플레이 업데이트율(display update rate)들이 이미지 데이터에, 그것의 거리 또는 연관된 영역에 기반하여, 적용될 수 있다. 예를 들어, 사용자 초점 영역 내의 데이터는 초당 60 프레임으로 업데이트되나 이차적 영역 내의 데이터는 초당 30 프레임으로 업데이트될 수 있다.
나아가, 서비스 품질(Quality of Service: QoS) 표시자(indicator)가 이미지의 각 하위분할, 가령 그것의 저장된 이미지 데이터의 일부로서인 픽셀 또는 복셀(voxel)에 대해 저장될 수 있다. 따라서 QoS 표시자는 이미지 데이터 내의 우선순위 및 하위그룹에 대한 허용된 데이터 손실의 양과 유형을 구별하는 데에 사용될 수 있다. 예를 들어, 휘도에 대해서보다는 색채에 대해 더 적은 허용된 데이터 손실이 있을 수 있다. 하나의 QoS 버킷(bucket) 내에 양자화된 픽셀은 눈이 어떻게 하는지에 기반하여 이미지의 하나의 영역 내에 모인다(congregate). 추가적으로, 상이한 QoS 수 또는 표시자는 해당 비트가 낮은 인지 기준을 만족시키는지 여부를 판정함에 있어서 송신 컴퓨터에 의해 사용될 수 있는 픽셀과 연관된 각 비트에 대해 저장될 수 있다. 이미지 데이터가 포커스 지점으로부터 더 멀리 있으나 이미지 데이터의 더 상위의 우선순위 비트에 대해 높은 이미지 품질을 여전히 획득하고 있을수록 그러한 접근법의 결과는 하위 우선순위 비트의 더 큰 손실일 수 있다. 상이한 송신 취급을 나타내는 하나 이상의 QoS 표시자에 대한 값은 무손실 송신 기준의 일부일 수 있다.
도 4a는 디스플레이 디바이스(2)를 착용한 사용자 주위의 공간의 3D 맵핑 내의 가상 객체의 3차원(3D) 공간 포지션의 예를 보여준다. 3D 공간 포지션은 얼마나 많은 공간을 객체가 차지하는지 및 3D 디스플레이 시계 내에서 그러한 차지된 공간이 어디에 배치되는지 식별한다. 예시적인 콘텍스트는 사용자가 적 헬리콥터(202)를 격추하는 게임이다. (실제 및 가상 객체들의 맵핑이 도 5를 참조하여 더욱 상세히 논의된다.)
도 4a의 헬리콥터(202)는 인간 중심와 시각(human foveal vision)에 대해 각해상도로 그러한 1 arcmin을 만족시키기 위해 디스플레이에 의해 사용될 해상도로 예시된다. 꼬리 및 꼬리 회전 날개가 있는 헬리콥터(202a)가 이 예에서 사용자 초점 영역 외부의 제2 영역 및 사용자 초점 영역 외부의 디폴트 영역(default region)인 제3 영역(301) 내의 좌측 상부 디스플레이 시계 내에 있다. 헬리콥터(202b)는 중심 바로 위 우측 디스플레이 시계로부터 디스플레이 시계의 중심(여기서 헬리콥터(202c)가 사용자 쪽으로 곧장 향하고 있고 망막(143l 및 143r) 상의 중심와로부터 연장되는 응시선(701l 및 701r)에 의해 나타내어지는 현재 포커스 객체임)을 향해 오는 약간 하향의 궤도 상에 있다. 이 가상 헬리콥터들(202)은 움직이고 있고, 사용자는 그 헬리콥터들을 저격하기 위해 그의 머리를 움직이고 있을 가능성이 높아서, 이미지 데이터는 실시간으로 또한 3차원으로 업데이트되고 있다.
인간 시각의 한계로 인해, 사용자는 예시된 헬리콥터 전부를 그것들이 사용자 초점 영역(101) 내에 모두 속하지는 않는 그러한 디스플레이 해상도로 자연스럽게 분해하지(resolve) 않을 것이다. NED 디바이스 시스템은 인간 망막을 따라 인지 해상도 차이를 활용한다. 도 4a는 도 4b와 함께 사용하여 사용자 초점 영역 외부의 제2 영역 내의 중간 또는 중급 이미지 해상도 레벨 및 사용자 초점 영역 이미지 데이터로부터 더 멀고 그 외부에 있는 제3 영역(301)에 대한 낮은 이미지 해상도 레벨을 포함하는 더 낮은 이미지 해상도 레벨의 예를 보여준다. QoS는 이것뿐만 아니라 이미지 데이터의 하위분할에 대해 저장된 QoS 및 각 비트에 대해 저장된 QoS는 어느 비트가 더 낮은 해상도 레벨에서도 허용가능한 손실일 수 있는지에 대한 점검(check) 또는 한도(bound)로서 작용할 수 있다는 점에 결부될 수 있다.
도 4a는 사용자 초점 영역(101) 및 이차적 영역(201 및 301)의 예를 또한 보여준다. 예시된 예에서, 응시 지점은 눈 추적 데이터(이로부터 각기 제각각의 눈으로부터의 응시선(701l 및 701r)이 근사화됨)에 기반하여 정해진다. 응시선은 눈의 중심와로부터 디스플레이 시계 내로의 시선(line of sight)의 근사(approximation)를 나타낸다. 양 응시 선이 교차하는 곳은 포커스 지점의 한 예인 응시 지점이다. 사용자 초점 영역은 응시 지점을 포함한다. 왼쪽 눈(140l)에 대해, 응시선(701l)은 망막(143l) 상의 중심에서 약간 왼쪽으로 떨어진 중심와(699l)로부터 디스플레이 시계 내에 헬리콥터(202c)로 연장된다. 오른쪽 눈(140r)에 대해, 응시선(701r)은 망막(143r) 상의 중심에서 약간 오른쪽으로 떨어진 중심와(699r)로부터 디스플레이 시계 내에 헬리콥터(202c)로 연장된다. 상이한 실시예들은 디스플레이 시계 내 단시궤적 및 파눔의 융합성 영역을 식별하기 위한 모델링 기법을 사용할 수 있다. 현재의 예에서와 같이, 다른 실시예는 인간 시각을 연구하는 분야로부터 잘 알려진 근사를 사용할 수 있다.
논의를 계속하기 전에, 도면은 축척에 맞게(scale) 그려진 것이 아니라는 점에 유의한다. 도 4a의 이 예에서, 응시 지점을 포함하는 사용자 초점 영역이 4개의 선(702la, 702lb, 702ra 및 702rb)에 의해 식별된다. 이 예에 대해, 선(702la)은 중심와와 응시선(701l)의 교차점의 좌측으로 망막 상의 8도쯤의 지점으로부터 디스플레이 시계 내로 연장되는 선을 나타낸다. 상보적으로, 선(702lb)은 중심와와 응시선(701l)의 교차점의 우측으로 망막 상의 약 8도로부터 디스플레이 시계 내로 연장되는 선을 나타낸다. 마찬가지로, 선(702ra)은 중심와와의 응시선(701r)의 교차 지점의 좌측으로 8도쯤 망막으로부터 디스플레이 시계 내로 연장된다. 선(702rb)은 중심와와의 응시선(701r)의 교차 지점의 우측으로 8도쯤 망막으로부터 디스플레이 시계 내로 연장된다.
선들(702lb 및 702rb) 간의 교차점은 사용자 초점 영역의 디스플레이 시계 내의 좌측 경계 상의 지점을 형성한다. 유사하게, 선들(702la 및 702ra) 간의 교차점은 사용자 초점 영역의 디스플레이 시계 내의 우측 경계 상의 지점을 형성한다. 이 예에서, 사용자 초점 영역(101)을 식별하는 데에 구의 기하구조(geometry)가 사용되고, 좌측 및 우측 경계 지점들은 구의 직경을 나타낸다. 상이한 기하구조들이 설계 선택의 문제로서 사용될 수 있다(예컨대 직사각형, 원, 3D 직사각형, 정사각형 또는 정육면체).
이 예에서 또한 도시된 바와 같이, 제2 영역(201)도 식별된다. 이 영역에서, 디스플레이를 위한 이미지 데이터는 참조를 위해 이차적 이미지 데이터로서 지칭된다. 이차적 이미지 데이터는 사용자 초점 영역 외부에서의 디스플레이를 위한 데이터이다. 이 예에서의 제3 영역(301)을 위한 이미지 데이터도 이차적 이미지 데이터로서 지칭된다. 이 예에서, 제3 영역(301)은 디스플레이 시계 내 제2 영역 및 사용자 초점 영역 외부에 있는 디폴트 영역이다.
제2 영역은 선(703la)이 중심와와의 응시선(701l)의 교차점의 좌측으로 망막 상에서 약 15도이고 선(703lb)이 응시선(701l)의 중심와 교차 지점(foveal intersection point)의 우측으로 망막 상에서 약 15도임을 제외하고는 사용자 초점 영역과 유사하게 식별된다. 오른쪽 눈에 대해, 선들(703ra 및 703rb)은 각각 응시선(701r)의 중심와 교차 지점의 좌측으로 약 15도이고 이의 우측으로 약 15도인 망막 교차 지점(retinal intersection point)들로부터 디스플레이 시계 내로 연장된다. 선들(703lb 및 703rb) 간의 교차점은 제2 영역의 디스플레이 시계 내의 제2 좌측 경계 상의 지점을 형성하고, 선들(703la 및 703ra) 간의 교차점은 제2 영역의 디스플레이 시계 내의 제2 우측 경계 상의 지점을 형성한다. 이 제2 좌측 및 우측 경계들을 갖고 사용자 초점 영역 및 이로써 응시 지점을 포함하는 구(201)는 제2 영역을 나타낸다.
인간 시각이 주변 시각을 포함하여 약 200도까지 연장될 수 있으나, 이전에 언급된 바와 같은 디스플레이 시계는 그렇게까지 연장되지 않을 수 있다. 예를 들어, NED 디바이스를 위한 중심와의 근사화된 위치로부터(가령, 머리 크기 및 안경 산업 및 HMD 분야로부터의 그 머리 크기에 대한 눈의 모델에 기반하여 정해짐), 디스플레이 시계는 3차원 중 각 차원에서 약 60도 연장될 수 있다(가령 수평으로 60도 가로질러, 수직으로 및 깊이로). 사용자 초점 영역(101) 및 제2 영역(201)은 디스플레이 시계의 약 30도를 나타낸다.
상술한 바와 같이, 자연적 시력 해상도(natural eyesight resolution)는 망막 상의 중심와로부터 8도 및 15도 간에 절반만큼 떨어지고, 15도 후에 다시 절반만큼 떨어진다. 이 예에서, 사용자 초점 영역은 1 arcmin 각해상도를 만족시키는 디스플레이 해상도를 가지고, 제2 영역은 약 2 arcmin 각해상도를 만족시키는 중간 해상도를 가지며, 제3 영역은 낮은 해상도를 가진다. 예를 들어, 낮은 해상도는 4 arcmin 각해상도를 만족시킬 수 있다. 몇몇 예에서, 제2 영역 너머의 데이터는 디스플레이도 되지 않을 수 있거나 디스플레이 업데이트율 제한을 유지하는 디스플레이를 위해 최저 우선순위를 가질 수 있다.
도 4b는 사용자 초점 영역 내의 또는 사용자 초점 영역 외부의 포지션에 기반하여 변화하는 이미지 해상도로써 NED 디바이스에 의해 디스플레이되는 가상 헬리콥터의 예를 포함하는 디스플레이 시계의 예를 보여준다. 헬리콥터(202a)가 제3 영역 내에 있기에, 이는 이 예에서 사용자가 사용자 초점 영역의 자연적 눈 각해상도의 1/4로써 볼 것이다. 헬리콥터(202a)의 이미지 데이터는 이 눈 분해 능력을 만족시키는 낮은 이미지 해상도로 제시된다. 그것의 꼬리 회전날개는 그것의 꼬리가 그러하듯이 영역이 있는 직사각형 형상보다는 선이다. 헬리콥터 몸체의 곡선은 그것의 함입부위(indentation)들을 상실하며 경계 타원(bounding ellipse)에 의해 표현되는데 그 헬기(chopper)의 유리 측 부분이 그러한 것과 같다. 상부 회전날개 역시 직사각형 체적이 있는 전부 3개의 회전날개보다는 선이다. 해상도의 손실 외에, 회전날개는 이 제3 영역 이미지 데이터를 위한 송신에서 유실되게 되었을 수 있는데, 그 효과가 인간의 눈에 띌 만하지 않기 때문이다. 착륙 기어(landing gear) 중 하부(bottom)의 단편(piece)만이 선에 의해 표현된다. 헬리콥터들은 이동하고 있기도 한바 이는 사람의 눈이 이미지를 포착할 자연적 해상도를 추가로 감소시킨다.
헬리콥터(202b)는 두 영역, 제2 및 제3 영역에 걸쳐 디스플레이된다. 중간 및 낮은 해상도 버전들을 획득하는 데에 이미지 데이터의 다운샘플링(downsampling)이 사용될 수 있다. 제2 영역 내의 상부 회전날개는 더 얇지만 여전히 어떤 직사각형 영역을 갖는다. 헬리콥터 조종실의 몸체의 경계의 곡선 또는 함입부위는 간소화되었으나(streamlined) 그 형상은 여전히 거의 사용자 초점 영역 중의 체적을 갖는다. 조종실 창 경계는 다운샘플링으로 인해 사용자 초점 영역 중의 정확한 굴곡(curvature)을 상실한다. 제3 영역 내로 연장되는 상부 회전날개의 부분은 선으로서 나타나고, 상부 회전날개 기저(top rotor base)는 수직으로 얇게 된다. 제3 영역 내의 꼬리 및 꼬리 회전날개는 제3 영역 내의 헬리콥터(202a)에 대해서와 유사한 방식으로 선으로 디스플레이된다.
사용자 초점 영역 내의 헬리콥터(202c)는 도 4a에서와 동일하게 나타난다.
도 4c는 도 3b의 헬리콥터 예의 다른 버전을 예시하는데 여기서 제스처는 NED 시계 내의 포커스 지점을 나타낸다. 그 예에서, 헬리콥터(202c)로의 포인팅 제스처(pointing gesture)를 수행하는 사람 손(385)의 사람 손가락(387)이 검출된다. 객체에 대한 제스처는 포커스 객체를 식별하는 데에 사용될 수도 있다. 예를 들어, 가상 또는 실제 객체는 손가락 또는 핸드헬드 물체(handheld object)로써 가리켜질 수 있거나 사용자는 실제 또는 가상의 객체에 대해 쥐거나(holding) 움켜쥐는(grasping) 제스처를 행할 수 있다. 사용자 초점 영역(101) 및 이차적 영역(201 및 301)은 각 망막(143)의 근사화된 위치 상의 중심와에 대한 근사화된 위치에 기반하여 식별될 수 있다. 예를 들어, NED 디스플레이 디바이스의 머리 크기 및 인간 안구의 모델에 기반하여 망막 위치가 근사화될 수 있다. 그러한 모델의 한 예가 굴스트란드 도식적 눈 모델이다. 제스처가 향하게 된 객체 또는 지점의 3D 맵핑 좌표로부터, 디스플레이 시계 내의 객체 또는 지점의 포지션은 각 광축(142)이 그 각각의 디스플레이 유닛(근사화된 망막 위치 상의 하나 이상의 교차 지점에 이후 관련될 수 있음)을 교차하는 곳과 같은 디바이스 상의 하나 이상의 기준점에 다시 관련될 수 있다. 다른 예에서, 포커스 객체 또는 지점은 다시 그것의 3D 맵핑 좌표에 의해 각각의 근사화된 망막 위치 상의 하나 이상의 교차 지점으로 직접 관련될 수 있다.
이 예에서, 근사화된 망막 위치 상의 하나 이상의 교차 지점으로부터의 각거리는 이차적 영역을 식별하기 위해 마치 도 4 및 도 4b의 예에서처럼 사용될 수도 있다. 예시적 목적으로, 손가락(387)에 의해 지시된 바와 같이 사용자가 가리키고 있는 디스플레이 시계 내의 지점으로부터의 선(701l 및 701r)으로서 도시된 광선은 근사화된 망막(143)의 위치에서의 교차 지점까지 소급될(traced back) 수 있고 실질적으로 응시선으로서 작용한다.
다른 예에서, 애플리케이션의 유형에 기반하여, 포커스 지점 및 사용자 초점 영역은 이미지 데이터가 디스플레이 시계 내에서 어디에 디스플레이될지 정해지는 것에 기반하여 식별될 수 있다. 다시 말해, 사용자는 새 데이터가 디스플레이되는 것 또는 그것의 움직임 패턴을 바꾸는 데이터를 보려는 경향이 있을 것이므로 사용자가 그의 초점을 돌릴 장소의 예측에 기반하여 사용자 초점 영역이 선택된다. 사용자 초점 영역을 식별하는 이 방식들 중 둘 이상의 조합이 사용될 수도 있다. 예를 들어, 이미지 데이터의 변화가 발생할 시계 내의 사전결정된 위치는 업데이트 시간 기준 내로 디스플레이 업데이트 시간을 유지하기 위해 눈 추적 데이터에 기반하여 사용자 초점 영역에 대한 업데이트를 기다리는 동안 사용자 초점 영역으로서 사용될 수 있다.
도 5는 니어 아이 디스플레이 디바이스에 의해 이미지 데이터를 디스플레이하기 위한 소프트웨어 관점에서의 시스템의 일 실시예의 블록 다이어그램이다. 도 5는 NED 시스템(8)과 같은 시스템, 하나 이상의 NED 시스템과 통신하는 하나 이상의 원격 컴퓨터 시스템(12) 또는 이들의 조합에 의해 구현될 수 있는 소프트웨어 관점에서 컴퓨팅 환경(54)의 일 실시예를 보여준다. 추가적으로, NED 시스템은 데이터를 공유하고 리소스를 처리하기 위해 다른 NED 시스템과 통신할 수 있고, 데이터를 위한 환경 내 다른 3D 이미지 포착 디바이스(20)와 같은 다른 이미지 포착 디바이스와 통신할 수도 있다.
이 실시예에서, 애플리케이션(162)은 NED 시스템(8)의 하나 이상의 프로세서 상에서 실행 중이고 운영 체제(operating system)(190)와 이미지 및 오디오 처리 엔진(image and audio processing engine)(191)과 통신 중일 수 있다. 그 애플리케이션은 증강 현실 경험, 가상 현실 경험 또는 향상된 시각 경험(enhanced vision experience)을 위한 것일 수 있다. 예시된 실시예에서, 원격 컴퓨터 시스템(12)은 또한 애플리케이션의 한 버전(162N)뿐만 아니라 다른 NED 시스템(8)(그러한 경험을 향상시키기 위해 이와 통신함)을 실행하고 있을 수 있다.
하나 이상의 애플리케이션을 위한 애플리케이션 데이터(329)는 또한 하나 이상의 네트워크 액세스가능 위치 내에 저장될 수 있다. 애플리케이션 데이터(329)의 몇몇 예는 규칙 데이터스토어, 애플리케이션의 객체 및 화상(imagery)을 위한 이미지 데이터, 제스처 인식 엔진(193)에 등록될 수 있는 애플리케이션과 연관된 하나 이상의 제스처를 위한 참조 데이터(reference data), 하나 이상의 제스처를 위한 실행 기준, 이미지 및 오디오 처리 엔진의 선택적인 물리학 엔진(physics engine)(도시되지 않은)에 등록될 수 있는 애플리케이션과 연관된 가상 객체를 위한 물리학 모델, 그리고 객체 물리적 속성 데이터 세트(320)와 링크될 수 있는 가상 객체의 색채, 형상, 안면 특징, 의복 등과 같은 객체 속성일 수 있다.
도 5의 실시예에 도시된 바와 같이, 컴퓨팅 환경(54)의 소프트웨어 컴포넌트는 운영 체제(190)와 통신하는 이미지 및 오디오 처리 엔진(191)을 포함한다. 이미지 및 오디오 처리 엔진(191)은 NED 시스템(8)과 같은 헤드 마운티드 디스플레이(HMD) 디바이스 시스템을 위해 실행되는 애플리케이션을 지원하기 위해 이미지 데이터(가령 정지 또는 비디오와 같은 이동 데이터) 및 오디오 데이터를 처리한다. 이미지 및 오디오 처리 엔진(191)의 일 실시예는 다양한 기능을 포함할 수 있다. 예시된 실시예는 포함될 수 있는 실행가능한 소프트웨어 요소 중 선택된 것을 보여주며, 그에 의해 표시되는 바와 같이, 다른 기능이 추가될 수 있다. 이미지 및 오디오 처리 엔진(191)의 예시된 실시예는 객체 인식 엔진(192), 제스처 인식 엔진(193), 디스플레이 데이터 엔진(195), 3D 오디오 엔진(304), 소리 인식 엔진(194), 사용자 초점 영역 엔진(196) 및 장면 맵핑 엔진(306)을 포함한다.
컴퓨팅 환경(54)은 또한 이미지 및 오디오 데이터 버퍼(들)(199) 내에 데이터를 저장한다. 그 버퍼는 다양한 소스로부터 수신되거나 포착될 수 있는 이미지 데이터 및 오디오 데이터를 위한 메모리를 제공한다. 예를 들어, 그 버퍼는 통신가능하게 커플링된 컴퓨터 시스템(12)으로부터 NED 디바이스(2) 또는 동반 처리 모듈(4) 어느 하나에 의해 통신 매체 상에서 수신되는 디스플레이용 이미지 데이터를 저장할 수 있다. 그 버퍼는 양 NED 상에, 가령 전체 메모리(244)의 일부로서 존재할 수 있고, 또한 동반 처리 모듈(4) 상에 존재할 수 있다. 동반 처리 모듈(4) 상의 하나 이상의 버퍼는 NED 디바이스(2)에 송신될 디스플레이를 위한 이미지 데이터를 보유할 수 있다. 그 버퍼 내에 적어도 일시적으로 저장될 수 있는 몇몇 다른 유형의 이미지 데이터는 NED 시스템(8)의 외부 대향 포착 디바이스(113)로부터 포착되는 이미지 데이터, 이용가능한 경우 다른 포착 디바이스(가령 그 환경 내의 3D 이미지 포착 디바이스(20) 및 다른 NED 시스템(8))에 의해 포착되는 이미지 데이터, 사용되는 경우 눈 추적 시스템의 눈 추적 카메라로부터의 이미지 데이터이다. 그 버퍼는 또한 이미지 생성 유닛(120)에 의해 디스플레이될 가상 객체의 이미지 데이터를 보유하기 위한 버퍼, 그리고 마이크(110)를 통해 사용자로부터 포착되는 소리 및 이어폰(130)과 같은 오디오 출력 디바이스를 통해 사용자에게 출력될 3D 오디오 엔진(304)으로부터의 애플리케이션을 위한 소리 효과와 같은 입력 오디오 데이터 및 출력 오디오 데이터 양자 모두를 위한 버퍼를 제공할 수 있다.
도 5의 개별적인 엔진 및 데이터 스토어는 애플리케이션(162)이 이용할(leverage) 수 있는 태스크 및 데이터의 지원 플랫폼(supporting platform)으로서 제공한다. 이미지 및 오디오 처리 엔진(191)의 다양한 엔진들은 처리를 위한 데이터를 식별하는 요청을 보내는 것 및 데이터 업데이트의 통지를 수신하는 것에 의해 그것의 하나 이상의 기능을 구현하기 위한 것이다. 운영 체제(190)는 다양한 엔진 및 애플리케이션 간 통신을 가능하게 한다. 운영 체제(190)는 어느 제스처를 제스처 인식 엔진(193)이 식별하였는지, 어느 말마디 또는 소리를 소리 인식 엔진(194)이 식별하였는지 및 전술된 바와 같은 장면 맵핑 엔진(306)으로부터의 객체의 포지션을 애플리케이션이 이용가능하게 한다.
장면 맵핑 엔진(306)이 우선 기술된다. NED 디바이스의 각 디스플레이의 디스플레이 시계의 3D 맵핑은 포착된 이미지 데이터 및 깊이 데이터에 기반하여 장면 맵핑 엔진(306)에 의해 정해질 수 있다. 3D 맵핑은 디스플레이 시계 내의 객체(실제이든 또는 가상이든)에 대한 3D 포지션을 포함한다. 몇몇 실시예에서, 특히 한 디스플레이에 대해, 3D 맵핑은 3D 포지션의 예로서 객체에 대한 3D 공간 포지션 또는 포지션 체적을 포함할 수 있다. 3D 공간은 객체에 의해 차지된 공간의 체적이다. 3D 공간 포지션은 디스플레이 시계를 포함하는 좌표계 내의 그 체적 또는 3D 공간의 경계에 대한 포지션 좌표를 나타낸다. 원하는 정밀도에 따라, 3D 공간은 객체의 3D 형상과 매칭되거나 덜 정확한 경계 형상(bounding shape)일 수 있다. 몇몇 예에서 3D 공간 포지션은 객체의 배향과 같은 추가적인 정보를 포함한다. 다른 예에서, 3D 포지션은 2D 경계 형상(가령 경계 원, 직사각형, 삼각형 등) 및 객체를 위한 디스플레이 시계 내의 깊이 포지션(depth position)을 포함한다.
외부 대향 포착 디바이스(113)로부터의 포착된 이미지 데이터 및 깊이 데이터를 나타내는 깊이 맵이 니어 아이 디스플레이의 디스플레이 시계의 3D 맵핑으로서 사용될 수 있다. 깊이 맵은 사용자 관점을 근사화하는 디스플레이 시계를 위한 뷰 종속적 좌표계를 갖는다. 포착된 데이터는 실제 객체의 움직임을 추적하기 위한 포착 시간에 기반하여 시간 추적될(time tracked) 수 있다. 가상 객체 포지션은 깊이 맵 내에 등록될 수 있다.
사용자의 환경 내에서 사용자 주위에 있는 것을 맵핑하는 것은 센서 데이터로써 보조될 수 있다. 관성 감지 유닛(132)(가령 3축 가속도계 및 3축 자력계)로부터의 데이터는 사용자의 머리의 포지션 변화를 정하며 외부 대향 포착 디바이스(113)로부터의 이미지 및 깊이 데이터에서의 변화와 그러한 머리 포지션 변화의 상관(correlation)은 서로에 대해 상대적인 객체의 포지션 및 사용자가 환경 또는 위치의 어떤 서브세트를 보고 있는지를 식별할 수 있다.
장면 맵핑 엔진(306)은 또한 3D 맵핑을 위한 뷰 독립적 좌표계를 사용할 수 있고, 장면 맵핑 엔진(306)의 카피(copy)가 다른 시스템(가령 12, 20 및 8)에서 실행되는 다른 장면 맵핑 엔진(306)과 통신하는 것일 수 있어서 맵핑 처리는 업데이트된 맵을 다른 시스템과 공유하는 하나의 컴퓨터 시스템에 의해 중앙식으로(centrally) 제어되거나 공유될 수 있다. 다수의 관점으로부터 취해진 깊이 이미지 내의 중첩 대상(overlapping subject matter)은 뷰 독립적 좌표계와 시간, 그리고 위치 또는 환경의 체적 또는 3D 맵핑(가령 방, 가게 공간 또는 가상적 경계가 그어진 영역(geofenced area)의 x, y, z 표현)을 생성하기 위해 조합된 이미지 콘텐트에 기반하여 상관될 수 있다. 그러므로, 빛, 그림자 및 객체 포지션의 변화는 추적될 수 있다.
뷰 독립적 맵은 위치 인덱스된(location indexed) 이미지 및 3D 맵(324)과 같은 네트워크 액세스가능 위치 내에 저장될 수 있다. 위치 인덱스된 이미지 및 3D 맵(324)을 탐색하기 위한 위치 데이터의 몇몇 예는 니어 아이 디스플레이(NED) 상의 위치 감지 유닛(114)의 GPS 송수신기로부터의 GPS 데이터 또는 와이파이 핫스팟(hotspot) 또는 셀룰러 스테이션(이에 대한 연결을 NED 시스템(8)이 가짐)의 IP 주소이다. (이미지 데이터로의 액세스가 있는 컴퓨터 시스템(12) 및 장치(8)와 같은 HMD 간의 협력적인 장면 맵핑(collaborative scene mapping)에 관한 추가 정보에 대해서는, 2010년 10월 27일 출원되고 Avi Bar-Zeev 등이 발명자이며 미국 특허 출원 제12/912,937호인 "Low-Latency Fusing of Virtual and Real Content"를 보시오.)
장면 맵핑 엔진(306)은 이미지 데이터가 디스플레이되게 하는 하나 이상의 실행 애플리케이션(162)과 이미지 및 오디오 처리 엔진(191)의 객체 인식 엔진(192)과의 통신에 기반하여 사용자 주위의 체적 공간 또는 디스플레이 시계 내의 실제 및 가상 객체의 포지션, 배향 및 움직임을 추적한다.
이미지 및 오디오 처리 엔진(191)의 객체 인식 엔진(192)은 포착된 이미지 데이터 및 포착된 깊이 데이터(이용가능하거나 입체시로부터의 정해진 깊이 포지션인 경우)에 기반하여 디스플레이 시계 내 실제 객체, 그것의 배향 및 그것의 포지션을 검출하고 식별한다. 객체 인식 엔진(192)은 객체 경계를 마킹하는 것 및 객체 경계를 구조적 데이터와 비교하는 것에 의해 실제 객체들을 서로 구별한다. 객체 경계를 마킹하는 것의 하나의 예는 검출된 또는 도출된 깊이 데이터 및 이미지 데이터 내의 가장자리들을 검출하는 것 및 가장자리들을 연결하는 것이다. 객체의 경계를 나타내기 위해 다각형망이 또한 사용될 수 있다. 그리고 확률 기준 내의 한 유형의 객체를 식별하기 위해 객체 경계 데이터는 저장된 구조 데이터(200)와 비교된다. 그 유형의 객체를 식별하는 것 외에, 식별된 객체의 배향은 저장된 구조 데이터(200)와의 비교에 기반하여 검출될 수 있다.
하나 이상의 통신 네트워크(50) 상에서 액세스가능한 구조 데이터(200)는 비교를 위한 구조적 패턴 및 패턴 인식을 위한 참조로서의 이미지 데이터와 같은 구조적 정보를 저장할 수 있다. 무생물(inanimate) 객체 외에, 다른 이미지 처리 애플리케이션에서와 같이, 사람이 한 유형의 객체일 수 있어서, 구조 데이터의 한 예는 몸 부분을 인식하는 것을 돕기 위해 참조될 수 있는 인간의 저장된 골격 모델(skeletal model)이다. 그 이미지 데이터는 또한 안면 인식을 위해 사용될 수 있다. 객체 인식 엔진(192)은 또한 사용자의 사용자 프로파일 데이터(197), 허가 및 네트워크 액세스가능한 다른 사용자 프로파일 데이터(322), 위치 인덱스된 이미지 및 3D 맵(324) 및 인터넷 액세스가능 이미지(326)와 같은 다른 소스로부터의 저장된 이미지 데이터에도 기반하여 객체의 이미지 데이터에 대해 안면 및 패턴 인식을 수행할 수 있다. 이미지 및 깊이 데이터로부터의 움직임 포착 데이터는 또한 객체의 움직임 특성을 식별할 수 있다. 객체 인식 엔진(192)은 또한 객체의 검출된 속성(그것의 크기, 형상, 재료(들) 및 구조 데이터(200) 내에 저장된 참조 속성과 대조되는 움직임 특성과 같은 것)을 점검할 수 있다. 참조 속성(가령 구조 패턴 및 이미지 데이터)은 또한 가상 객체를 생성하기 위해 애플리케이션에 의해 액세스될 수 있다.
실제 객체에 대해, 3D 크기, 3D 형상, 검출된 재료의 유형, 색채(들) 및 검출된 경계 형상과 같은 다수의 객체 속성(320) 중 각각에 대해 데이터가 할당될 수 있다. 하나의 실시예에서, 참조 속성과의 비교 후에 객체 인식 엔진(192)에 의해 할당된 각각의 검출된 속성에 대한 가중화된 확률에 기반하여, 객체가 식별되고 그것의 속성이 객체 속성 데이터 세트(320N) 내에 저장된다. 객체의 검출 및 추적에 대한 추가 정보는 2009년 12월 18일 출원된 미국 특허출원 12/641,788인 "Motion Detection Using Depth Images", 그리고 미국 특허출원 12/475,308인 "Device for Identifying and Tracking Multiple Humans over Time"에서 찾아볼 수 있다.
장면 맵핑 엔진(306) 및 객체 인식 엔진(192)은 각 엔진을 그것의 기능에 있어서 보조하는 데이터를 교환한다. 예를 들어, 객체 인식 엔진(192)에 의해 판정되는 객체 식별 및 배향에 기반하여, 장면 맵핑 엔진(306)은 더욱 정확성을 기하기 위해 배향을 식별하여 객체에 대한 3D 공간 포지션 또는 포지션 체적을 업데이트할 수 있다. 예를 들어, 옆으로 놓인 의자는 그것의 체적에 대한 포지션 좌표가 그것이 똑바로 선 경우와는 상이하다. 장면 맵핑 엔진(306)에 의해 객체에 대해 업데이트된 3D 포지션으로부터 식별되는 포지션 이력 또는 움직임 경로는 객체 인식 엔진(192)이 객체를 식별하는 것을, 특히 그것이 부분적으로 가려지고 있는 경우에 도울 수 있다.
하나의 실시예에서, 사용자 초점 영역 엔진(196)은 디스플레이되도록 스케줄링된(scheduled) 이미지 데이터의 3D 디스플레이 시계 내의 좌표를 식별하기 위해 장면 맵핑 엔진(196) 및 애플리케이션(162)과 통신한다. 예를 들어, 애플리케이션(162)은 20 cm의 깊이를 갖고 좌측 상부 포지션 내에 디스플레이될 팝업 메뉴(pop-up menu)를 식별할 수 있고, 장면 맵핑 엔진(306)은 디스플레이 시계의 3D 맵핑 좌표 내의 이 포지션을 식별한다. 팝업 메뉴는 포커스 객체일 것이다. 몇몇 예에서, 디스플레이 시계는 정육면체 또는 다른 체적 유닛으로 편성된다(organized). 포커스 객체의 부분을 포함하는 여하한 정육면체는 사용자 초점 영역의 일부로 여겨진다.
다른 실시예에서, 디스플레이 시계 내의 포커스 객체의 3D 포지션(가령 깊이 성분을 포함함) 및 각 망막 상의 중심와 및 각 망막의 근사화된 위치에 기반하여, 각 눈에 대한 응시선이 관심 객체(object of interest)로부터 근사화된 각각의 중심와 위치로 사용자 초점 영역 엔진(196)에 의해 거슬러 투사될 수 있다. 사용자 초점 영역 및 다른 이차적 영역의 경계는 각각의 근사화된 망막 위치 상에서 응시 선의 근사화된 중심와 교차 지점으로부터의 상이한 각거리로 비롯하는(originating) 광선을 추적하는 것에 의해 정해질 수 있다.
포인팅 제스처와 같은 제스처가 이미지 데이터에 기반하여 인식되고 포커스 지점 또는 객체를 식별하는 도 3c에 대해 앞서 논의된 바와 같이, 사용자 초점 영역 엔진(196)은 선행 단락 및 도 3c의 논의에서와 동일한 방식으로 경계 영역을 판정할 수 있다.
다른 실시예에서, 사용자 초점 영역 엔진(196)은 응시 지점 또는 객체를 식별하기 위해 눈 추적 시스템(134)에 의해 포착된 이미지 데이터를 처리하기 위한 눈 추적 소프트웨어를 포함한다. 사용자 초점 영역에 대한 영역 경계 및 이차적 경계는 선행 예들에서 논의된 바와 같이 식별될 수 있다. 도 2b의 예에서, 눈 추적 소프트웨어는 광축(142) 주위에서 포착된 눈의 이미지 데이터를 처리하며, 사용자의 눈과 디스플레이 디바이스 간 고정된 공간적 관계를 가정하여 응시 선을 판정할 수 있다.
눈의 모델(그것의 한 예가 굴스트란드 모델임)에서, 눈의 회전의 중심, 각막의 중심 및 동공의 중심은 눈의 광축을 따라 정렬된다. 광축은 그것에 적용된 적은 각도 정정(angular correction)을 가져서 회전의 중심으로부터 벗어난 적은 각도, 가령 1.2도인 망막으로부터 연장되는 시축(visual axis)으로서 그것이 모델링된다. Lewis 등의 미국 특허출원 제13/221,739호에 기술된 것과 같은 몇몇 예에서, 응시 검출 좌표계가 회전의 중심, 각막의 중심 및 동공 중심을 NED 디바이스의 IR 센서 포착 지점에 공간적으로 관련시켜 생성된다(가령 IR 및 가시적 반사 소자(134E), 그리고 반짝임을 생성하기 위한 IR 조명기). 통합된 눈 추적 예에서, IR 조명기 포지션은 또한 반사 소자(134E) 상에 있을 수 있다. 예를 들어, Bohn의 미국 특허출원 제13/245,700호를 보시오. 공간적 관계에서의 변화는, 예컨대 홍채 둘레(iris perimeter)의 크기에서의 변화를 검출함으로써 식별될 수 있는데, 이는 눈과 디스플레이 사이의 공간적 관계의 재판정을 촉발한다. 다른 실시예에서, 앞서 논의된 바와 같이, 망막 및 중심와의 위치의 사전결정된 근사화는 예컨대 NED 디바이스의 머리 크기에 기반하여 사용될 수 있다.
공간적 관계가 판정되면, 안와(eye socket) 내의 동공 포지션은 눈의 이미지 데이터로부터 판정된다. 하나 이상의 프로세서 상에서 실행되는 사용자 초점 영역 엔진(196)은 각각의 눈의 다수의 이미지 데이터 샘플(그 샘플은 머리 젓기(headshake)에 맞추어지도록 평균화될 수 있음) 내의 검은 동공 영역(black pupil area)을 식별한다. 동공이 원이고 어떤 각도에서 보면 타원이라는 가정이 행해질 수 있다. 타원의 하나의 축인 장축(major axis)은 동공 크기가 조명 변화와 함께 변하므로, 조명이 변하지 않는다면, 변하지 않는 동공의 직경을 그것이 나타내는바 일정하게 남아 있다.
동공은 디스플레이를 통해 똑바로(straight ahead) 볼 때 동공이 디스플레이 광축(142)을 따라 본다고 가정하면 검출 영역이 디스플레이의 광축 상에 중심이 두어진 카메라의 이미지 프레임과 같은 이미지 포맷 내에서 원으로서 나타난다. 동공이 그것의 응시를 바꾸고 이미지 프레임의 중심으로부터 이동함에 따라, 동공은 타원으로서 나타나는데, 어떤 각도에서 본 원은 타원으로 나타나기 때문이다. 타원의 단축(minor axis)의 폭은 응시 변화와 함께 변하고, 그 폭 변화는 동공이 이미지 데이터 내에서 원에 극히 가까운 똑바른(straightahead) 포지션으로부터의 동공의 시야각(viewing angle)의 변화를 나타내도록 측정될 수 있다. 이미지 프레임의 중심의 좌측에 좁은 타원은 사용자가 대단히 우측으로 보고 있음을 나타낸다. 이미지 프레임의 중심의 우측으로 조금 덜 거리가 있는 더 넓은 타원은 사용자가 좌측으로 보고 있으나 대단히 좌측으로 보고 있는 것은 아님을 나타낸다.
동공의 중심은 타원의 중심이다. 타원은 이미지 내의 검출된 가장자리 지점으로부터 맞추어진다(fitted). 그러한 가장자리 지점들은 노이즈가 있고(noisy) 그것들 전부가 타원 상에 있는 것은 아니므로, 타원 맞추기 프로세스(ellipse fitting process)는 모든 가장자리 지점 중 랜덤하게 선택된 서브세트 상에서 여러 번 반복된다. 모든 가장자리 지점과 가장 부합하는 서브세트는 최종 타원을 획득하는 데에 사용된다. 회전의 중심, 각막 중심 및 동공 중심이 식별되면, 눈에 대한 광축을 획득하기 위해 회전의 중심으로부터 각막 및 동공 중심들을 거치도록 광선을 연장할 수 있다. 광축을 정한 후, 광축이 시축을 근사화하고 응시 벡터(gaze vector)로서 선택되도록 디폴트 오프셋 각도(default offset angle)가 적용될 수 있다.
몇몇 실시예에서, 사용자 초점 영역 엔진(196)은 눈의 IR 포착된 이미지 데이터 또는 맞춰진 타원을 이전에 획득된 훈련 이미지 데이터와 비교한다. 훈련 이미지는 NED 디바이스를 동작시키기 위한 초기화 프로세스(initialization process)의 일부로서 눈 추적 시스템(134)의 초기화 중에 획득되었을 수 있다. 각각의 훈련 이미지는 그것과 연관된 사전결정된 응시 각도를 갖는데 이로부터 응시 선 또는 벡터가 생성될 수 있다.
응시 지점을 판정하기 위해, 사용자 초점 영역 엔진(196)은 사용자 전면의 3D 공간 내 응시 벡터의 교차 지점을 판정하고 그 교차 지점(포커스 지점의 한 예인 응시 지점)이 응시 지점과 연관된 임의의 객체(실제 또는 가상) 및 디스플레이 시계의 3D 맵핑 내에 있는지 판정한다. 사용자 초점 영역 및 이차적 영역의 경계는 전술한 바와 같이 판정될 수 있다.
몇몇 실시예에서, 사용자 초점 영역 엔진(196)은 디스플레이 엔진(195) 또는 애플리케이션(162)이 포커스 지점까지의 이미지 데이터의 거리를 판정하는 데 사용하는 포커스 지점 및 포커스 객체를 간단히 식별할 수 있다.
몇몇 실시예에서, 장면 맵핑 엔진(306)은 사용자 초점 영역 엔진(196)에 의해 제공되는 포커스 지점 내 업데이트를 확인하고, 포커스 지점으로부터 실행 애플리케이션에 따라 디스플레이될 이미지 데이터까지 디스플레이 시계 내 거리 벡터를 판정한다. 거리 벡터는 각각의 망막(이미지 데이터는 거기로 반사) 상의 각거리를 판정하기 위해 사용자 초점 영역 엔진(196)에 보내어진다. 각거리 및 낮은 인지 기준(209)에 기반하여, 사용자 초점 영역 엔진(196)은 이미지 데이터 중 어느 것이 허용된 손실 데이터로서 자격이 있는지 판정하고 장면 맵핑 엔진(306)에 판정 결과를 통지한다.
다른 실시예에서, 장면 맵핑 엔진(306)은 디스플레이될 이미지 데이터가 허용된 손실 데이터인지를 낮은 인지 기준(209)에 기반하여, 그리고 사용자 초점 영역 엔진(196)에 의해 디스플레이 시계 내에 식별되는 사용자 초점 영역 또는 다른 이차적 영역 내에 이미지 데이터가 속하는지 식별한다.
장면 맵핑 엔진(306)은 통신 모듈(250)의 통신 관리기(123)에 어느 이미지 데이터가 허용된 손실 데이터로서 자격이 있는지 통지한다. 통신 관리기(123)는 허용된 손실 데이터로서 자격이 있지 않은 데이터를 어떻게 송신할 것인지 판정하기 위해 저장된 무손실 송신 기준을 액세스하고 손실 송신에 대한 한도 또는 한계를 식별하기 위해 손실 송신 기준(213)을 액세스한다. 손실 송신 기준은 무손실 송신 기준에서와 동일한 유형의 통신 특성 및 서비스 품질 표시자에 대한 기준을 포함한다.
3D 오디오 엔진(304)은 포지션관련 3D 오디오 엔진(positional 3D audio engine)이다. 가상 객체를 위해 틀어질(played) 소리가 애플리케이션(162)(그 애플리케이션을 위한 실행 규칙에 기반하여 그 소리를 언제 틀 것인지를 3D 오디오 엔진(304)에 알림)에 의해 소리 라이브러리(312)에 업로드될 수 있다. 3D 오디오 엔진은 3D 맵핑으로부터 가상 객체의 3D 포지션을 식별하고 이어폰(130)이나 다른 실시예에서는 스피커와 같은 다른 오디오 출력 디바이스에 의해 틀어지는 경우 소리가 그 식별된 3D 포지션으로부터 오는 것 같게 하도록 소리를 생성한다. 추가적으로, 소리 라이브러리(312) 및 음성 데이터 파일(사용자 프로파일 데이터(197) 또는 사용자 프로파일(322) 내에 저장됨) 내에 저장될 수 있는 바와 같은 오디오 데이터에 기반하여, 소리 인식 엔진(194)은 음성 명령을 통한 애플리케이션 제어를 위해 또한 위치 및 객체 인식을 위해 마이크(110)를 통해 수신된 실세계로부터의 오디오 데이터를 식별한다.
제스처 인식 엔진(193)은 하나 이상의 제스처를 식별한다. 제스처는 실행 애플리케이션에 제어 또는 명령을 나타내는 사용자에 의해 수행되는 액션이다. 액션은 사용자의 몸 부분, 가령 손 또는 손가락에 의해 수행될 수 있으나, 눈의 눈 깜박임 시퀀스(eye blink sequence) 역시 제스처일 수 있다. 하나의 실시예에서, 제스처 인식 엔진(193)은 골격 모델 및 그것과 연관된 움직임(포착된 이미지 데이터로부터 도출됨)을 제스처 필터 라이브러리(313) 내의 저장된 제스처 필터와 비교하여 언제 사용자(골격 모델에 의해 표현되는 이)가 하나 이상의 제스처를 수행하였는지 식별한다. 몇몇 예에서, 제스처 훈련 세션 중 사용자의 손 또는 손가락의 이미지 모델에 대한 이미지 데이터의 매칭은 제스처를 인식하기 위한 골격 추적(skeletal tracking) 대신 사용될 수 있다. 제스처 인식 엔진(193)에 대한 추가 정보는 2009년 4월 13일에 출원된 미국 특허출원 12/422,661인 "Gesture Recognizer System Architecture"에서 찾아볼 수 있다. 제스처를 인식하는 것에 대한 추가 정보는 2009년 2월 23일에 출원된 미국 특허출원 12/391,150인 "Standard Gestures"와 2009년 5월 29일에 출원된 미국 특허출원 12/474,655인 "Gesture Tool"에서 찾아볼 수 있다.
NED 디바이스 시스템(8)의 하나 이상의 실시예에서의 자연적 사용자 인터페이스(Natural User Interface: NUI)의 일 실시예는 외부 대향 포착 디바이스(113) 및 적어도 하나의 몸 부분의 적어도 하나의 사용자 물리적 액션의 한 예인 제스처를 식별하기 위한 제스처 인식 엔진(193)을 포함할 수 있다. 눈 추적 시스템(134) 및 그 시스템(134)에 의해 포착되는 데이터에 기반하여 눈 움직임을 해석하기 위한 사용자 초점 영역 엔진(196)의 일 실시예에서 실행되는 눈 추적 소프트웨어는 또한 NED 디바이스 시스템(8)을 위한 자연적 사용자 인터페이스의 다른 실시예에서의 컴포넌트일 수 있다. 명령, 응시 지점, 응시 패턴, 응시 기간(gaze duration) 또는 눈 움직임을 나타내는 깜박임 시퀀스(blink sequence)와 같은 눈 기반 액션은 또한 하나 이상의 몸 부분의 하나 이상의 사용자 물리적 액션으로서 자연적인 사용자 입력(natural user input)의 몇몇 예이다. 자연적인 사용자 입력은 눈 추적 소프트웨어에 의해 식별되고 눈 추적 데이터 내에 표현된 이미지 데이터와 같은 자연적 사용자 입력 데이터 내에 표현된다. 마이크 및 소리 인식 엔진(194)은 또한 제스처 및 눈 응시와 같은 다른 인식된 물리적 액션을 보충할 수도 있는 음성 명령의 자연적인 사용자 입력을 처리할 수 있다. 몇몇 실시예에서, 사용자 초점 영역 엔진(196)은 통신가능하게 커플링된 컴퓨터 시스템(가령 4 또는 8) 상에서 실행될 수 있고, 눈 추적 시스템(134) 및 외부 대향 포착 디바이스(113)로부터의 이미지 데이터는 이면 채널(back channel)을 통해 NED 디바이스로부터 보내져서, 응시 관련 및 제스처 인식 처리는 NED 디바이스의 제어 회로(136)로부터 떠넘겨진다(offloaded).
애플리케이션(162)은 이미지 데이터에 의해 표현되고 그 애플리케이션에 의해 제어되는 객체를 위한 디스플레이 시계의 3D 맵핑 내의 타겟 3D 공간 포지션을 식별한다. 예를 들어, 헬리콥터 애플리케이션은 헬리콥터(202a, 202b 및 202c)의 포지션 및 다른 속성의 변화를 그 가상 헬리콥터를 격추시키기 위한 사용자의 액션에 기반하여 식별한다. 디스플레이 데이터 엔진(195)은 디스플레이 시계 내의 타겟 3D 공간 포지션을 디스플레이 유닛(112)의 디스플레이 좌표에 관련시킨다. 디스플레이 데이터 엔진(195)은 정확한 사이즈 및 관점으로 이미지 데이터의 디스플레이를 위한 병진(translation), 회전(rotation) 및 스케일링(scaling) 동작을 수행한다. 애플리케이션 또는 디스플레이 데이터 엔진(195)은 이미지 데이터 객체의 포지션에 관해 장면 맵핑 엔진을 업데이트할 수 있다. 많은 실시예에서, 통신가능하게 커플링된 동반 처리 모듈(4) 또는 다른 컴퓨터 시스템(12)으로부터 수신되는 디스플레이를 위한 이미지 데이터는, 그것의 이미지 해상도가 그것이 송신되기 전에 사용자 초점 영역에 관해 디스플레이 시계 내의 그것의 포지션에 기반하여 조절되었다.
다음의 논의는 가상 객체들을 배치하여 그것이 디스플레이 내에서 그것을 위해 정해진 3D 위치에 사실적으로 나타나도록 광학 시스루, 증강 현실(AR) 디스플레이를 업데이트하기 위한 몇몇 예시적 처리를 기술한다. 하나의 예시적 구현에서 Z 버퍼는 각각의 개별적으로 어드레스가능한(addressable) 디스플레이 위치 또는 영역(가령 픽셀)을 위한 데이터를 저장한다. 디스플레이 데이터 엔진(195)은 실제 객체 경계 및 가상 객체 경계 모두로써 Z 버퍼 내 디스플레이 시계의 3D 맵핑을 렌더링한다. Z 버퍼 내의 실제 객체 경계는 NED 디바이스가 이 예에서 광학 시스루 디스플레이 디바이스이므로 이미지 생성 유닛(120)이 이미지 데이터 객체를 디스플레이하나 실제 객체를 디스플레이하지 않기에 디스플레이 내에 이미지 데이터 객체가 3차원적으로 배치될 곳에 대해 참조로서 작용한다. 이미지 데이터를 위한 색채 정보는 대응하는 색채 버퍼 내에 기입된다.
각각의 디스플레이 위치 또는 디스플레이 위치의 서브세트에 대해, 예컨대 각 픽셀 (또는 픽셀의 서브세트)에 대해 깊이 값이 저장된다. 이 실시예에서, Z 버퍼 및 색채 버퍼 모두를 위한 깊이 값 결과에 기반한 이미지 데이터의 계층화(layering)는 이미지 생성 유닛(120)이 제어되어 디스플레이하는 합성 이미지를 초래한다. 디스플레이 업데이트 프로세스는 초당 여러 번(가령, 리프레시율(refresh rate)) 수행될 수 있다.
비디오 보기 모드에서의 시스루 디스플레이의 비디오 보기, 증강 현실 디스플레이 또는 동작에 대해, 실제 객체의 이미지 데이터가 또한 가상 객체 및 다른 향상된 객체의 이미지 데이터와 함께 Z 버퍼 및 대응하는 색채 버퍼 내에 기입된다. 비디오 보기 모드에서, 각 시스루 디스플레이(14)의 불투명 필터는 안경 앞쪽으로부터 반사되는 빛이 사용자의 눈(140)에 도달하지 않고, 실제 및 가상 또는 향상된 객체 모두의 3D 이미지 데이터가 디스플레이 상에 틀어지도록 튜닝될(tuned) 수 있다.
디바이스 데이터(198)는 개인용 장치(8)를 위한 식별자, 네트워크 주소, 가령 IP 주소, 모델 번호, 구성 파라미터, 이를테면 설치된 디바이스, 운영 체제의 식별, 어떤 애플리케이션이 NED 시스템(8) 내에 이용가능하고 NED 시스템(8) 내에서 실행 중인지를 포함할 수 있고, 또한 센서 또는 감지 유닛으로부터의 또는 관성 감지 유닛(132) 내의 배향 센서, 그리고 위치 감지 유닛(144) 내의 하나 이상의 위치 및 근접 송수신기와 같은 센서 또는 감지 유닛으로부터 판정된 데이터를 포함할 수 있다. 나아가, 디스플레이 유닛, 불투명 필터, 처리 유닛, 메모리, 통신 모듈, 이미지 생성 유닛 및 전력 공급부와 같은 하드웨어 컴포넌트에 대한 특성은 또한 디바이스 데이터 내에 저장될 수 있다. 그러한 특성의 몇몇 예는 디스플레이 해상도, 프로세서 속도, 메모리 크기 및 유형, 전력 공급부 상의 와트(watt), 이미지 생성 유닛의 조명 출력, 통신 모듈 내의 송신기와 수신기 또는 송수신기의 유형, 안테나 전력, IEEE 802.11 계통 일원(member)과 같은 지원되는 통신 프로토콜, 셀룰러, 적외선, USB와 같은 이용가능한 유선 또는 무선 인터페이스의 유형, 대역 확산과 같은 지원되는 변조 방안 및 성상 인코딩 방안의 유형, 지원되는 캐리어 대역 주파수, 지원되는 에러 정정 및 압축 기법이다.
본 기술은 그 사상 및 필수적 특징으로부터 벗어나지 않고 다른 특정한 형태로 구현될 수 있다. 마찬가지로, 모듈, 루틴, 애플리케이션, 특징, 특질, 방법론 및 다른 양태의 특정한 명명(naming) 및 구분은 강제적이지 않으며, 본 기술 또는 그것의 특징을 구현하는 메커니즘은 상이한 이름, 구분 및/또는 포맷을 가질 수 있다.
예시적 목적으로, 이하의 방법 실시예들은 앞서 기술된 시스템 및 장치 실시예들의 맥락에서 기술된다. 그러나, 방법 실시예들은 앞서 기술된 시스템 실시예들에서 동작하는 것으로 한정되지 않으며 다른 시스템 실시예들에서 구현될 수 있다. 나아가, NED 시스템이 동작 중이고 적용가능한 애플리케이션이 실행되는 동안 방법 실시예들이 연속적으로 수행될 수 있다.
도 6은 니어 아이 디스플레이(NED)의 디스플레이 시계 내에 이미지 데이터를 디스플레이하기 위한 영역을 식별하는 방법의 일 실시예의 흐름도이다. 도 5의 예시적 맥락에서, 장면 맵핑 엔진(306)은 단계(422)에서 NED 디바이스에 의해 검출된 센서 데이터에 기반하여 디스플레이 시계를 포함하는 3D 맵핑을 연속적으로 업데이트한다. 도 5의 논의는 외부 대향 카메라(113)에 의해 포착된 이미지 데이터 및 관성 감지 유닛(132)에 기반하여 머리 포지션 데이터와 같은 센서 데이터의 예를 제공하였다. 단계(424)에서, 예컨대 앞서 논의된 바와 같이 사용자 초점 영역 소프트웨어(196)에 의해, 포커스 지점이 식별되고, 단계(426)에서, 사용자 초점 영역으로 지칭되는 포커스 지점을 포함하는 제1 영역의 디스플레이 시계의 3D 맵핑 내에서 좌표가 식별된다. 사용자 초점 영역 및 인간 시각 기준에 기반하여, 단계(428)에서, 사용자 초점 영역 외부의 하나 이상의 이차적 영역의 3D 맵핑 내의 좌표가 역시 식별된다. 도 4a, 도 4b 및 도 4c의 예에서 보여진 바와 같이, 인간의 눈의 연구로부터 사전결정된 각거리는 인간 시각 기준의 한 예이다. 추가적으로, 그 예에서 보여진 바와 같이, 상이한 이미지 해상도들이 사용자 초점 영역 내에 그리고 그 외부에 적용될 수 있다.
도 7은 디스플레이 시계 내의 이차적 영역 및 그것과 연관된 이미지 해상도를 정하는 방법의 다른 실시예의 흐름도이다. 몇몇 예에서, 도 7의 방법 실시예는 NED 디바이스 시스템(8)의 동반 처리 모듈(4) 또는 (맵핑 데이터가 시스템들에 걸쳐 공유될 수 있고, 애플리케이션들이 컴퓨터 시스템들에 걸쳐 실행되고 있을 수 있기에 동반 처리 모듈(4)의 통신 모듈, NED 디바이스(2) 또는 양자 모두와 통신하는) 네트워크 액세스가능 컴퓨터 시스템(12)에 의해 수행될 수 있다. 단계(502)에서, 사용자 초점 영역의 경계로부터 포커스 지점으로부터의 제2 각거리까지의 제2 영역의 맵핑에서 좌표가 식별된다. 단계(504)에서, 제2 영역의 경계로부터 포커스 지점으로부터의 제3 각거리까지의 제3 영역의 맵핑에서 좌표가 식별된다. 하나 이상의 실행 애플리케이션에 기반하여, 제2 영역 내의 디스플레이를 위한 이미지 데이터가 단계(506)에서 식별되고, 단계(508)에서, 제3 영역 내 디스플레이를 위한 이미지 데이터가 식별된다. 이미지 데이터를 보내기 위한 대역폭을 추가로 감소시키고 그리하여 디스플레이 업데이트 시간을 감소시키기 위해, 제2 및 제3 영역을 위한 이차적 이미지 데이터는 이미지 해상도에 있어서 감소될 수 있다. 이미지 데이터를 감소시키는 하나의 예는 이미지 데이터를 다운샘플링하는 것에 의한다. 단계(510)에서, 제2 영역 이미지 데이터의 적어도 한 부분은 중급 해상도 레벨로 다운샘플링될 수 있고, 단계(512)에서, 제3 영역 이미지 데이터의 적어도 한 부분은 사용자 초점 영역 및 제2 영역 모두를 위한 이미지 해상도보다 해상도에 있어서 더 낮은 해상도 레벨로 다운샘플링될 수 있다. 다운샘플링된 데이터는 이후 이차적 영역을 위해 송신될 수 있다.
몇몇 실시예는 또한 사용자 초점 영역 이미지 데이터를 위한 하나 이상의 무손실 압축 기법 및 이차적 이미지 데이터를 위한 손실 압축 기법을 사용하는 것을 포함할 수 있다. 압축은 송신과 혼동되어서는 안 된다. 손실 압축으로써 압축된 데이터는 송신되기 전에 그것의 데이터 무결성을 낮추었고, 결과적인 압축된 데이터는 무손실 송신 기준을 만족시키기 위해 송신될 수 있다. 송신에서의 손실 또는 무손실성은 압축에서의 손실 또는 무손실성과 무관하다.
도 8a 및 도 8b는 포커스 지점으로부터의 거리가 포커스 지점 주위의 영역에서 식별되는 실시예를 보여준다. 도 8a는 송신 컴퓨터 시스템의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 일 실시예의 흐름도이다. NED 디바이스에 통신가능하게 커플링된 컴퓨터 시스템의 한 예는 동반 처리 모듈(4) 내에 구현된 컴퓨터 시스템이다. 다른 예에서, 송신 컴퓨터 시스템은 예시된 네트워크 액세스가능 컴퓨터 시스템(12)과 같이 NED 디바이스 시스템(8)으로부터 원격일 수 있다. 단계(602)에서, NED 디바이스에 통신가능하게 커플링된 컴퓨터 시스템이 하나 이상의 실행 애플리케이션에 기반하여 사용자 초점 영역 이미지 데이터를 식별하고, 단계(604)에서 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 사용자 초점 영역 이미지 데이터를 송신한다. 이 실시예에서, 사용자 초점 영역 이미지 데이터는 무손실 우선순위 데이터로서 취급된다. 단계(606)에서, 그 컴퓨터 시스템은 하나 이상의 실행 애플리케이션에 기반하여 사용자 초점 영역 외부에서의 디스플레이를 위한 이차적 이미지 데이터를 식별하고, 단계(608)에서 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 사용자 초점 영역 외부에서의 디스플레이를 위한 이미지 데이터 중 적어도 일부를 송신한다. 이 실시예에서, 이차적 이미지 데이터의 적어도 일부는 허용된 손실 데이터로서 취급된다.
몇몇 실시예는 영역에 상관없이 어떤 유형의 이미지 데이터를 위해, 예컨대 콘텐트 유형에 기반하여, 무손실 송신 기법을 사용할 수 있다. 콘텐트 유형의 몇몇 예는 텍스트 및 픽처(picture)이다. 장면 내에 그대로 있을 경향이 있는 객체에 대한 구조적 코어(structural core)는 무손실 송신을 만족시키는 통신 기법을 사용하여 보내어지나 세부사항 및 색채의 중층적(overlaying) 계층은 손실 송신을 허용하여 송신될 수 있다는 점이 다른 기반일 수 있다. 다른 예에서는, 도 4b 및 도 4c의 예에서와는 달리, 이미지 해상도가 전체로서의 객체에 적용된다. 전체 객체를 위한 이미지 데이터는 객체의 적어도 일부가 속한 최고 우선순위 영역에 따라 취급된다. 예를 들어, 부분적으로 사용자 초점 영역 내에 있고 부분적으로 사용자 초점 영역 외부에 있는 객체에 대해, 사용자 초점 영역 외부에서의 그 객체에 대한 이미지 데이터는 마치 그것이 사용자 초점 영역 내에 있는 것처럼 송신을 위해 처리된다.
도 8b는 NED 디바이스 시스템의 수신 컴퓨터 시스템의 관점에서 NED 디바이스를 위한 디스플레이 업데이트 시간을 감소시키는 방법의 일 실시예의 흐름도이다. 앞서 보여진 바와 같이, NED 디바이스 시스템의 수신 컴퓨터 시스템의 예는 동반 처리 모듈(4) 내에 구현된 컴퓨터 시스템 또는 처리 유닛(210), 메모리(244) 및 통신 모듈(137)을 포함하는 제어 회로(136)의 하드웨어 및 소프트웨어 컴포넌트일 수 있다.
단계(612)에서, 수신 컴퓨터 시스템은 통신가능하게 커플링된 컴퓨터 시스템(가령 4 또는 12)로부터 이미지 데이터를 수신하고 단계(614)에서 수신되는 이미지 데이터 내의 사용자 초점 영역 이미지 데이터를 식별한다. 통신 모듈(250)은 수신되는 데이터 내에서 상이한 영역들을 위한 이미지 데이터를 다수의 기초(이미지 데이터가 어느 통신 채널을 가로질러 오는지, 이미지 데이터가 시분할 다중화 방안에서 어느 시간 윈도우(time window) 내에서 수신되는지, 그러한 데이터가 어떻게 변조되는지, 데이터 패킷의 헤더 내의 하나 이상의 비트와 같은 식별 데이터, 그리고 수신된 이미지 데이터 내의 에러 정정 데이터의 존재 또는 존재 없음도 이의 몇몇 예임)에 기반하여 서로 구별할 수 있다. 이 예들은 또한 무손실 우선순위 이미지 데이터를 허용된 손실 데이터와 구별하기 위해 사용될 수 있다.
단계(616)에서, 수신 컴퓨터 시스템은 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 사용자 초점 영역 이미지 데이터를 취득하고, 단계(618)에서, 수신되는 이미지 데이터 내에서 사용자 초점 영역 외부에서의 디스플레이를 위한 적어도 일부의 이차적 이미지 데이터를 식별한다. 단계(620)에서, 적어도 일부의 이차적 이미지 데이터는 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 취득된다. 단계(622)에서, NED 디스플레이 디바이스(가령, 디스플레이 엔진(195)의 제어 하에 있음)는 사용자 초점 영역 이미지 데이터 및 적어도 일부의 이차적 이미지 데이터를 NED 디바이스의 디스플레이 시계 내에 디스플레이한다.
도 9a 내지 도 9d는 포커스 지점으로의 이미지 데이터의 (예컨대 거리 벡터에 의해 표현되는 것과 같은) 포지션 관계(positional relationship)에 따라 손실 송신을 허용하는 것과 무손실 송신 기준을 만족시키는 것을 위해 이미지 데이터를 송신하는 데에서 사용될 수 있는 통신 기법으로서 에러 정정 기법의 몇몇 예를 보여준다. 도 9a는 에러 정정의 상이한 레벨을 사용하는 프로세스 예의 흐름도이다. 이 예는 에러 정정을 통신 기법으로서 적용하는 것에 초점을 맞춘다. 단계(632)에서, 송신 컴퓨터 시스템은 통신 모듈로 하여금 무손실 송신 기준을 만족시키는 하나 이상의 에러 정정 기법으로써 무손실 우선순위 이미지 데이터를 인코딩하게 하고, 단계(634)에서, 송신 컴퓨터 시스템은 통신 모듈로 하여금 손실 송신을 허용하는 에러 정정의 레벨로써 허용된 손실 데이터 중 적어도 일부를 인코딩하게 한다.
도 9b는 도 9a 내의 통신 기법을 위한 몇몇 구현 예를 보여주는 흐름도이다. 단계(636)에서, 송신 컴퓨터 시스템은 그것의 통신 모듈로 하여금 패킷의 하나 이상의 데이터 무결성 헤더 비트를 설정하는 것에 의해 무손실 송신 기준을 만족시키는 하나 이상의 에러 정정 기법으로써 무손실 우선순위 이미지 데이터를 인코딩하게 하고 무손실 우선순위 데이터(예컨대 도 8a의 예에서 사용자 초점 영역 이미지 데이터)를 위해 중복 데이터를 포함시킨다. 그러한 에러 정정 기법의 한 예는 순방향 에러 정정(Forward Error Correction: FEC)이다. 허용된 손실 이미지 데이터 중 적어도 일부에 대해, 단계(638)에서, 송신 컴퓨터 시스템은 통신 모듈로 하여금 패킷의 하나 이상의 데이터 무결성 헤더 비트를 설정하는 것 및 허용된 손실 데이터 중 적어도 일부를 위한 중복 데이터를 생략하는 것에 의해 허용된 손실 이미지 데이터 중 적어도 일부를 인코딩하게 한다.
다른 예에서, 비터비 디코딩(Viterbi decoding)과 같은 길쌈 코딩 기법(convolution coding technique)과 같은 순방향 에러 정정(FEC) 기법이 데이터를 펑처링(puncturing)하거나 천공(perforating)하지 않고 무손실 우선순위 데이터에 대해 수행될 수 있고 데이터의 펑처링이 있는 비터비 디코딩이 허용된 손실 데이터에 대해 수행된다. 터보 코딩(Turbo coding)은 펑처링된 데이터와 함께 또는 펑처링된 데이터 없이 사용될 수도 있다.
도 9c는 수신된 이미지 데이터로부터 무손실 우선순위 이미지 데이터 및 허용된 손실 이미지 데이터를 취득하는 데에 사용될 수 있는 통신 기법의 몇몇 다른 예를 보여주는 흐름도이다. 단계(642)에서, NED 시스템 컴퓨터 시스템의 제어 하의 통신 모듈이 하나 이상의 에러 정정 기법을 수신된 무손실 우선순위 이미지 데이터에 대해 수행하고, 단계(644)에서, 하나 이상의 에러 정정 기법을 허용된 손실 이미지 데이터 중 일부에 대해 수행하는 것을 생략한다.
도 9d는 수신된 이미지 데이터로부터 허용된 손실 이미지 데이터를 취득하는 통신 기법의 다른 예를 보여주는 흐름도이다. 단계(652)에서, NED 시스템 내의 수신 컴퓨터 시스템의 제어 하의 통신 모듈은 하나 이상의 에러 정정 기법을 수신된 무손실 우선순위 이미지 데이터에 대해 수행하고, 단계(654)에서는 허용된 손실 이미지 데이터의 적어도 일부에 대해 하나 이상의 데이터 무결성 헤더 비트를 점검한다. 통신 모듈(250)은 없어지거나 손상된 것 중 적어도 하나인 허용된 손실 데이터 패킷을 위한 하나 이상의 식별자가 단계(656)에서 저장되게 한다. 단계(658)에서, 통신 모듈(250)은 수신된 허용된 손실 이미지 데이터를 디스플레이 엔진에 의해 액세스 가능한 메모리 버퍼 내에 저장하고, 단계(660)에서는, 디스플레이 업데이트 우선순위 기준이 만족되는 것에 응답하여, 없어지거나 손상되거나 양자 모두인 유형의 데이터의 송신을 요청하는 것이다.
디스플레이 업데이트 우선순위 기준의 한 예는 무손실 우선순위 이미지 데이터가 우선순위화되는 초당 적어도 소정의 개수의 프레임의 업데이트율을 유지하는 것이다. 무손실 우선순위 이미지 데이터를 위해 우선순위화된 시간 윈도우 내에 이용가능한 대역폭이 있는 경우, 손상되어 송신되거나 송신되지 못하게 된 허용된 손실 이미지 데이터는 무손실 송신 기준을 만족시키기 위해 송신되는 윈도우 내에 포함될 수 있다. 그러한 실시예는 이차적 영역 내의 객체로 전이하는(shifting) 사용자 초점(user focus)이 예측가능하거나 애플리케이션의 본질로 인해 발생하지 않을 것보다는 더 가능성이 높은 애플리케이션에 유용할 수 있다.
도 10a는 송신의 품질이 서로 다른 변조 기법을 사용하여 이미지 데이터를 송신하는 프로세스 예의 흐름도이다. 단계(672)에서, 송신 컴퓨터 시스템은 통신 모듈(250)로 하여금 무손실 송신 기준의 비트 에러율 기준을 만족시키는 변조 기법으로써 무손실 우선순위 이미지 데이터를 변조하게 하고, 단계(674)에서, 송신 컴퓨터 시스템의 제어 하의 통신 모듈(250)은 그 비트 에러율 기준을 만족시키지 않는 변조 기법으로써 허용된 손실 데이터 중 적어도 한 부분을 변조한다.
도 10b는 변조 통신 기법을 위한 몇몇 구현 예를 성상 인코딩 방안으로서 보여주는 흐름도이다. 단계(682)에서, 송신 컴퓨터 시스템은 통신 모듈(250)로 하여금 무손실 송신 기준의 비트 에러율 기준을 만족시키는 심볼당 비트(bits per symbol)의 제1 성상 인코딩 방안으로써 무손실 우선순위 이미지 데이터를 변조하게 한다. 단계(684)에서, 송신 컴퓨터 시스템의 제어 하의 통신 모듈(250)은 더 많은 심볼당 비트를 갖고 무손실 송신 기준의 비트 에러율 기준을 만족시키지 않는 제2 성상 인코딩 방안으로써 허용된 손실 데이터의 적어도 한 부분을 변조한다.
앞선 논의가 나타내는 바와 같이, 허용된 손실 데이터 및 무손실 우선순위 데이터의 송신은 동시 또는 거의 동시(가령 동일한 프레임 내)이거나 별개의 시간(가령 상이한 프레임)에 행해질 수 있다. 그 프레임 예 외에, 상이한 우선순위 비트가 동일하게 번호가 붙은 성상 방안을 사용하여 동일한 심볼 내에 우선순위화될 수 있다. 성상 인코더(constellation encoder)는 심볼 내의 성상 지점과 연관된 더 고차의(higher order) 비트로 무손실 우선순위 데이터를 인코딩할 수 있는데 그 동일한 심볼이 그것의 성상 지점과 연관된 더 저차의(lower order) 비트와 같은 허용된 손실 데이터를 인코딩한다. 예를 들어, QAM 16 방안에서, 더 높은 우선순위 비트는 16개의 성상 지점 각각에 대해 고차 비트 내에 인코딩된다. 예를 들어, 각 성상 지점은 4 비트의 패턴과 연관되고 그 패턴의 최상위 비트는 그러한 고차 비트를 얻는다. 그 결과는 더 높은 우선순위 비트가 심볼의 상이한 사분면 내에 인코딩된다는 것이다. 심볼의 상이한 사분면 내의 성상 지점은 동일한 사분면 내의 지점보다 더 큰 해밍(Hamming) 또는 변조 거리에 의해 이격된다. 더 낮은 우선순위 비트는 남아 있는 저차 비트를 사용하여 인코딩되어 그것은 동일한 사분면 내에 있고 해밍 거리에 있어서 더 가까울 확률을 갖는다. 해밍 거리가 더 가까울수록, 노이즈가 검출기로 하여금 잘못된 비트 값, 그래서 잘못된 성상 지점 및 성상 내의 연관된 값을 검출하게 할 가능성이 더 크다.
원하는 경우, 상이한 사분면 내의 성상 지점 간의 해밍 또는 변조 거리가 동일한 사분면 내의 지점 간의 변조 거리를 좁히는 것을 대가로 확장되는 계층적 QAM(Hierarchical QAM: HQAM)이 사용될 수도 있다. QAM 인코딩은 포커스 지점으로부터의 거리 변화의 연속성에 기반하는 이미지 품질에서의 점진적 열화(gradual degradation)에 특히 유용하다.
도 10c는 송신 및 수신될 이미지 데이터의 우선순위에 기반하여 통신 기법으로서 통신 채널을 협상하는 것을 보여주는 흐름도이다. 단계(692)에서, NED 시스템 내의 수신 컴퓨터 시스템의 제어 하의 통신 모듈은 무손실 송신 기준의 제1 채널 노이즈 기준을 만족시키는 것에 기반하여 무손실 우선순위 이미지 데이터를 위한 통신 채널을 송신 통신 모듈과 협상하고, 단계(694)에서 손실 송신을 허용하는 제2 채널 노이즈 기준을 만족시키는 것에 기반하여 적어도 일부의 허용된 손실 데이터를 위한 통신 채널을 송신 통신 모듈과 협상한다.
도 11은 컴퓨팅 환경(54)의 소프트웨어 컴포넌트 중 적어도 일부를 호스트(host)할 수 있는 니어 아이 디스플레이(NED) 디바이스의 제어 회로(136)의 다른 실시예, 동반 처리 모듈(4) 또는 네트워크 액세스가능 컴퓨팅 시스템(12)을 구현하도록 사용될 수 있는 컴퓨터 시스템의 하나의 실시예의 블록 다이어그램이다. 도 11은 예시적인 컴퓨터 시스템(900)을 예시한다. 그것의 가장 기본적인 구성에서, 컴퓨팅 시스템(900)은 전형적으로 하나 이상의 처리 유닛(902)(하나 이상의 중앙 처리 유닛(CPU) 및 하나 이상의 그래픽 처리 유닛(GPU)을 포함함)을 포함한다. 컴퓨터 시스템(900)은 메모리(904)를 또한 포함한다. 컴퓨터 시스템의 정밀한 구성 및 유형에 따라, 메모리(904)는 휘발성 메모리(volatile memory)(905)(이를테면 RAM), 비휘발성 메모리(non-valatile memory)(907)(이를테면 ROM, 플래시 메모리 등) 또는 그 둘의 어떤 조합을 포함할 수 있다. 이러한 가장 기본적인 구성이 점선(906)에 의해 도 11에 예시된다. 추가적으로, 컴퓨터 시스템(900)은 추가적인 특징/기능을 또한 가질 수 있다. 예를 들어, 컴퓨터 시스템(900)은 자기(magnetic) 또는 광학(oiptical) 디스크 또는 테이프를 포함하나 이에 한정되지 않는 추가적인 스토리지(storage)(탈착가능(removable) 및/또는 비탈착가능(non-removable))을 또한 포함할 수 있다. 그러한 추가적인 스토리지가 탈착가능 스토리지(908) 및 비탈착가능 스토리지(910)에 의해 도 11에 예시된다.
컴퓨터 시스템(900)은 하나 이상의 네트워크 인터페이스 및 송수신기(디바이스로 하여금 다른 컴퓨터 시스템과 통신하게 함)를 포함하는 통신 모듈(들)(912)을 또한 포함할 수 있다. 컴퓨터 시스템(900)은 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등과 같은 입력 디바이스(들)(914)을 또한 가질 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 디바이스(들)(916)이 또한 포함될 수 있다.
도면에 예시된 예시적 컴퓨터 시스템은 컴퓨터 판독가능(computer readable) 저장 디바이스의 예를 포함한다. 컴퓨터 판독가능 저장 디바이스는 또한 프로세서 판독가능 저장 디바이스이다. 그러한 디바이스는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 탈착가능 및 비탈착가능 메모리 디바이스를 포함할 수 있다. 프로세서 또는 컴퓨터 판독가능 저장 디바이스의 몇몇 예는 RAM, ROM, EEPROM, 캐시(cache), 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(Digital Versatile Disk: DVD) 또는 다른 광학 디스크 스토리지, 메모리 스틱 또는 카드, 자기 카세트, 자기 테이프, 미디어 드라이브(media drive), 하드 디스크, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스 또는 그러한 정보를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 디바이스이다.
구조적 특징들 및/또는 방법론적 행위(act)들에 특정한 언어로 본 대상이 기술되었으나, 부기된 청구항에 정의된 대상은 전술된 특정한 특징들이나 행위들에 반드시 한정되지는 않는다는 점이 이해될 것이다. 오히려, 전술된 특정한 특징들 및 행위들은 청구항을 구현하는 예시적 형태로서 개시된다.
Claims (20)
- 니어 아이 디스플레이(near-eye display) 디바이스의 3차원 시계(3D field of view) 내의 3D 거리 벡터를 결정하는 단계 - 상기 벡터는 상기 니어 아이 디스플레이 디바이스 상의 사전결정된 참조 포인트와 상기 니어 아이 디스플레이 디바이스의 사용자의 눈 중 하나로부터 상기 사용자의 3D 포커스 지점까지 연장되되, 상기 눈은 상기 니어 아이 디스플레이 디바이스로부터 이격되어 상기 니어 아이 디스플레이 디바이스에 밀착되지 않으며, 상기 사용자의 3D 포커스 지점은 상기 니어 아이 디스플레이 디바이스 너머로, 3D 디스플레이 시계 내의 디스플레이 가능한 풍경의 해당 3D 영역에 나와 있음 - 와,
상기 사용자의 3D 포커스 지점까지 연장되는 사전결정된 거리 벡터 및 사전결정된 낮은 인지 기준에 기반하여, 상기 디스플레이 가능한 풍경의 해당 3D 영역의 이미지 데이터 중 적어도 일부가 상기 낮은 인지 기준을 만족시키지 않는 무손실 우선순위 이미지 데이터(lossless priority image data)로서 자격이 있는지를 판정하는 단계와,
상기 사전결정된 거리 벡터에 기반하여, 상기 디스플레이 가능한 풍경의 해당 3D 영역의 다른 이미지 데이터 중 적어도 일부가 상기 낮은 인지 기준을 만족시키는 허용된 손실 이미지 데이터(allowed loss image data)로서 자격이 있는지를 판정하는 단계와,
상기 이미지 데이터 중 적어도 일부가 상기 허용된 손실 이미지 데이터로서 자격이 있다는 것에 응답하여, 손실 송신(lossy transmission)을 허용하는 하나 이상의 통신 기법을 사용하여 제1 업데이트 데이터로서 상기 허용된 손실 이미지 데이터를 상기 니어 아이 디스플레이 디바이스에 제1 송신하는 단계와,
상기 다른 이미지 데이터 중 적어도 일부가 상기 무손실 우선순위 이미지 데이터로서 자격이 있다는 것에 응답하여, 무손실 송신(lossless transmission) 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 제2 업데이트 데이터로서 상기 무손실 우선순위 이미지 데이터를 상기 니어 아이 디스플레이 디바이스에 제2 송신하는 단계를 포함하는
방법.
- 제1항에 있어서,
상기 무손실 우선순위 이미지 데이터를 상기 니어 아이 디스플레이 디바이스에 제2 송신하는 단계는 상기 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하는 컴퓨터 시스템을 이용하는 것을 포함하고,
상기 방법은 상기 무손실 송신 기준을 만족시키는 하나 이상의 에러 정정(error correction) 기법으로써 상기 무손실 우선순위 이미지 데이터를 인코딩하는 단계를 더 포함하고,
상기 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 제1 업데이트 데이터로서 상기 허용된 손실 이미지 데이터를 상기 니어 아이 디스플레이 디바이스에 제1 송신하는 단계는, 패킷의 하나 이상의 데이터 무결성 헤더 비트를 설정하는 것 및 상기 허용된 손실 이미지 데이터 중 적어도 일부를 위한 중복 데이터(redundant data)를 생략하는 것에 의해 손실 송신을 허용하는 에러 정정의 레벨(level)로 상기 허용된 손실 이미지 데이터 중 적어도 일부를 인코딩하는 단계를 포함하는
방법.
- 제2항에 있어서,
상기 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법은 순방향 에러 정정(Forward Error Correction: FEC)을 포함하는,
방법.
- 제1항에 있어서,
상기 무손실 송신 기준은 상기 무손실 우선순위 이미지 데이터의 에러 없는 송신(error-free transmission)의 확률 기준을 만족시키는 제1 비트 에러율(bit error rate)을 포함하고, 손실 송신을 허용하는 것은 상기 확률 기준을 만족시키지 않는 제2 비트 에러율을 허용하는 것을 포함하는
방법.
- 제1항에 있어서,
상기 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 제1 업데이트 데이터로서 상기 허용된 손실 이미지 데이터를 상기 니어 아이 디스플레이 디바이스에 제1 송신하는 단계는, 상기 무손실 송신 기준의 노이즈 기준을 만족시키지 않는 통신 채널을 통해 상기 허용된 손실 이미지 데이터를 송신하는 단계를 포함하는
방법.
- 제1항에 있어서,
상기 무손실 우선순위 이미지 데이터를 상기 니어 아이 디스플레이 디바이스에 제2 송신하는 단계는 상기 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하는 컴퓨터 시스템을 이용하는 것을 포함하고,
상기 방법은 상기 무손실 우선순위 이미지 데이터를 상기 무손실 송신 기준의 비트 에러율 기준을 만족시키는 변조 기법으로써 변조하는 단계를 더 포함하고,
상기 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 제1 업데이트 데이터로서 상기 허용된 손실 이미지 데이터를 상기 니어 아이 디스플레이 디바이스에 제1 송신하는 단계는, 상기 허용된 손실 이미지 데이터 중 적어도 일부를 상기 무손실 송신 기준의 상기 비트 에러율 기준을 만족시키지 않는 변조 기법으로써 변조하는 단계를 포함하는
방법.
- 제6항에 있어서,
상기 무손실 우선순위 이미지 데이터를 상기 무손실 송신 기준의 비트 에러율 기준을 만족시키는 변조 기법으로써 변조하는 단계는 상기 무손실 우선순위 이미지 데이터를 상기 비트 에러율을 만족시키는 심볼당 비트의 제1 성상 인코딩 방안(constellation encoding scheme)으로써 변조하는 단계를 포함하고,
상기 허용된 손실 이미지 데이터 중 적어도 일부를 상기 무손실 송신 기준의 상기 비트 에러율 기준을 만족시키지 않는 변조 기법으로써 변조하는 단계는 상기 허용된 손실 이미지 데이터 중 상기 적어도 일부를 상기 제1 성상 인코딩 방안보다 많은 심볼당 비트를 갖고 상기 비트 에러율을 만족시키지 않는 제2 성상 인코딩 방안으로써 변조하는 단계를 포함하는
방법.
- 제1항에 있어서,
상기 무손실 우선순위 이미지 데이터는 사용자 초점 영역(user focal region) 내의 디스플레이를 위한 사용자 초점 영역 이미지 데이터를 포함하고,
상기 허용된 손실 이미지 데이터는 상기 사용자 초점 영역 외부에서의 디스플레이를 위한 적어도 일부의 이차적 이미지 데이터(secondary image data)를 포함하며,
상기 이차적 이미지 데이터는 상기 사용자 초점 영역 이미지 데이터보다 낮은 이미지 해상도(image resolution)를 갖는
방법.
- 제8항에 있어서,
상기 이차적 이미지 데이터는 상기 사용자 초점 영역 이미지 데이터와는 다른 디스플레이 업데이트율을 갖는
방법.
- 니어 아이 디스플레이 디바이스를 위한 디스플레이 업데이트 시간(display update time)을 감소시키는 방법으로서,
상기 니어 아이 디스플레이 디바이스의 3차원(3D) 시계를 나타내는 이미지 데이터를 수신하는 단계와,
상기 수신된 이미지 데이터 내에서 사용자 초점 영역 이미지 데이터를 식별하는 단계 - 상기 수신된 이미지 데이터는 상기 니어 아이 디스플레이 디바이스에 의한 3D 디스플레이에 대한 업데이트를 상기 니어 아이 디스플레이 디바이스에 밀착되지 않는 이격된 사용자의 눈에 제공하도록 구성되고, 상기 식별된 사용자 초점 영역 이미지 데이터는 상기 니어 아이 디스플레이 디바이스의 상기 3D 시계 내의 3D 사용자 초점 영역에 대응하며, 상기 3D 사용자 초점 영역은 상기 니어 아이 디스플레이 디바이스의 눈을 향하는 측의 반대쪽에 있는 상기 니어 아이 디스플레이 디바이스의 일 측 너머에 배치됨 - 와,
상기 식별된 사용자 초점 영역 이미지 데이터를 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하여 상기 니어 아이 디스플레이 디바이스에 송신하는 단계와,
상기 3D 시계를 나타내는 상기 수신된 이미지 데이터 내에서, 상기 3D 사용자 초점 영역 외부의 3D 이차적 영역에 대응하는 것으로서 적어도 일부의 이차적 이미지 데이터를 식별하는 단계와,
상기 식별된 적어도 일부의 이차적 이미지 데이터를 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 상기 니어 아이 디스플레이 디바이스에 송신하는 단계와,
상기 송신된 사용자 초점 영역 이미지 데이터 및 상기 송신된 적어도 일부의 이차적 이미지 데이터를 사용하여 상기 니어 아이 디스플레이 디바이스에 의한 상기 3D 디스플레이의 업데이트를 발생시키는 단계를 포함하는
방법.
- 제10항에 있어서,
상기 적어도 일부의 이차적 이미지 데이터는 상기 사용자 초점 영역 이미지 데이터의 이미지 해상도보다 낮은 이미지 해상도를 갖는
방법.
- 제10항에있어서,
상기 니어 아이 디스플레이 디바이스의 하나 이상의 이미지 캡처 디바이스에 의해 캡처된 이미지 데이터에서 자연적 사용자 입력(natural user input)을 식별하는 단계와,
상기 자연적 사용자 입력에 기초하여 상기 니어 아이 디스플레이 디바이스의 상기 시계 내의 상기 사용자 초점 영역을 결정하는 단계를 더 포함하는
방법.
- 제12항에 있어서,
상기 니어 아이 디스플레이 디바이스의 하나 이상의 이미지 캡처 디바이스에 의해 캡처된 이미지 데이터에서 자연적 사용자 입력을 식별하는 단계는 눈 추적 카메라를 사용하여 눈 움직임을 캡처하는 단계를 포함하는
방법.
- 제12항에 있어서,
상기 니어 아이 디스플레이 디바이스의 하나 이상의 이미지 캡처 디바이스에 의해 캡처된 이미지 데이터에서 자연적 사용자 입력을 식별하는 단계는 상기 이미지 데이터로부터 포인팅 제스처(pointing gesture)를 인식하는 단계를 포함하는
방법.
- 제10항에 있어서,
상기 식별된 적어도 일부의 이차적 이미지 데이터를 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하여 상기 니어 아이 디스플레이 디바이스에 송신하는 단계는 상기 수신된 이미지 데이터 내에 있는 상기 적어도 일부의 이차적 이미지 데이터에 대해 하나 이상의 에러 정정 기법을 수행하는 것을 생략하는 단계를 포함하는
방법.
- 니어 아이 디스플레이 디바이스 시스템으로서,
니어 아이 지지 구조체(near-eye support structure)와,
니어 아이 디스플레이 디바이스의 니어 아이 디스플레이 - 상기 디스플레이는 이격된 사용자의 눈에 화상을 디스플레이하기 위한 상기 니어 아이 지지 구조체에 의해 지지되고, 상기 디스플레이는 상기 이격된 사용자의 눈에 밀착되지 않으며, 상기 니어 아이 디스플레이 디바이스는 상기 니어 아이 디스플레이 디바이스의 눈을 향하는 측의 반대쪽에 있는 상기 니어 아이 디스플레이 디바이스의 일 측 너머에 배치된 3차원(3D) 시계를 가짐 - 와,
상기 니어 아이 지지 구조체에 의해 지지되고, 3D 디스플레이 시계 내의 풍경의 투사 디스플레이(projection display)를 위해 상기 니어 아이 디스플레이 내에 광학적으로 커플링되어 광학적 화상을 상기 이격된 사용자의 눈에 출력하는 이미지 생성 유닛과,
공급된 이미지 데이터에 응답하여 상기 이미지 생성 유닛에 의해 출력되는 상기 광학적 화상을 제어하기 위해 상기 이미지 생성 유닛에 통신가능하게 커플링된 하나 이상의 프로세서 - 상기 하나 이상의 프로세서는 액세스가능한 메모리 내에 저장된 자연적 사용자 입력을 나타내는 데이터에 기반하여 상기 니어 아이 디스플레이 디바이스의 상기 3D 시계 내의 3D 사용자 초점 영역을 결정하도록 구성되며, 상기 하나 이상의 프로세서는, 상기 니어 아이 디스플레이 디바이스 시스템에 의해 하나 이상의 애플리케이션이 실행되는 것에 기반하여, 상기 3D 사용자 초점 영역 내의 화상에 대응하는 디스플레이를 위한 사용자 초점 영역 이미지 데이터를 식별하고 상기 3D 사용자 초점 영역 외부의 화상에 대응하는 디스플레이를 위한 이차적 이미지 데이터를 식별하도록 구성됨 - 와,
상기 하나 이상의 프로세서에 통신가능하게 커플링되고 통신 매체 상에서 컴퓨터 시스템에 통신가능하게 커플링된 제1 통신 링크 - 상기 제1 통신 링크는 상기 컴퓨터 시스템으로부터 사용자 초점 영역 이미지 데이터를 수신하는 경우에는 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하도록 구성되고, 상기 컴퓨터 시스템으로부터 상기 이차적 이미지 데이터를 수신하는 경우에는 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하도록 구성됨 - 를 포함하는
니어 아이 디스플레이 디바이스 시스템.
- 제16항에 있어서,
상기 제1 통신 링크 및 상기 하나 이상의 프로세서는 상기 니어 아이 지지 구조체에 의해 지지되는
니어 아이 디스플레이 디바이스 시스템.
- 제16항에 있어서,
상기 니어 아이 디스플레이 디바이스와 별개로 상기 니어 아이 디스플레이 디바이스에 통신가능하게 커플링된 동반 프로세서(companion processor)를 더 포함하되, 상기 동반 프로세서는 상기 제1 통신 링크에 통신가능하게 커플링된 상기 컴퓨터 시스템인
니어 아이 디스플레이 디바이스 시스템.
- 제16항에 있어서,
상기 니어 아이 디스플레이 디바이스와 별개로 상기 니어 아이 디스플레이 디바이스에 통신가능하게 커플링된 동반 프로세서를 더 포함하되,
상기 동반 프로세서는 상기 제1 통신 링크에 통신가능하게 커플링된 상기 컴퓨터 시스템이고,
상기 동반 프로세서는 상기 제1 통신 링크에 사용자 초점 영역 이미지 데이터를 송신하는 경우에는 무손실 송신 기준을 만족시키는 하나 이상의 통신 기법을 사용하고, 상기 제1 통신 링크에 이차적 이미지 데이터를 송신하는 경우에는 손실 송신을 허용하는 하나 이상의 통신 기법을 사용하는 제2 통신 링크를 포함하는
니어 아이 디스플레이 디바이스 시스템.
- 제19항에 있어서,
상기 동반 프로세서는 상기 제2 통신 링크가 상기 이차적 이미지 데이터를 상기 제1 통신 링크로 송신하기 전에 상기 이차적 이미지 데이터의 이미지 해상도를 다운샘플링하는 하나 이상의 프로세서를 더 포함하는
니어 아이 디스플레이 디바이스 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/728,892 US10514541B2 (en) | 2012-12-27 | 2012-12-27 | Display update time reduction for a near-eye display |
| US13/728,892 | 2012-12-27 | ||
| PCT/US2013/076705 WO2014105654A1 (en) | 2012-12-27 | 2013-12-19 | Display update time reduction for a near-eye display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150102026A KR20150102026A (ko) | 2015-09-04 |
| KR102192927B1 true KR102192927B1 (ko) | 2020-12-18 |
Family
ID=50023850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157017002A KR102192927B1 (ko) | 2012-12-27 | 2013-12-19 | 니어 아이 디스플레이를 위한 디스플레이 업데이트 시간 감소 기법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10514541B2 (ko) |
| EP (1) | EP2939432B1 (ko) |
| JP (1) | JP6444886B2 (ko) |
| KR (1) | KR102192927B1 (ko) |
| CN (1) | CN105340279A (ko) |
| WO (1) | WO2014105654A1 (ko) |
Families Citing this family (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6287849B2 (ja) * | 2013-02-22 | 2018-03-07 | ソニー株式会社 | ヘッドマウントディスプレイ、画像表示装置及び画像表示方法 |
| KR20150045637A (ko) * | 2013-10-21 | 2015-04-29 | 삼성전자주식회사 | 사용자 인터페이스 운용 방법 및 그 전자 장치 |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US9971153B2 (en) * | 2014-03-29 | 2018-05-15 | Frimory Technologies Ltd. | Method and apparatus for displaying video data |
| US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| CN106232010B (zh) * | 2014-07-02 | 2020-03-31 | 柯惠有限合伙公司 | 用于检测气管的系统和方法 |
| US9977495B2 (en) * | 2014-09-19 | 2018-05-22 | Utherverse Digital Inc. | Immersive displays |
| US10061486B2 (en) * | 2014-11-05 | 2018-08-28 | Northrop Grumman Systems Corporation | Area monitoring system implementing a virtual environment |
| US9489044B2 (en) * | 2014-11-07 | 2016-11-08 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
| US10825069B2 (en) * | 2014-11-14 | 2020-11-03 | The Joan and Irwin Jacobs Technion-Cornell Institute | System and method for intuitive content browsing |
| US10460286B2 (en) | 2014-11-14 | 2019-10-29 | The Joan and Irwin Jacobs Technion-Cornell Institute | Inventory management system and method thereof |
| CN104469344B (zh) * | 2014-12-03 | 2017-03-01 | 北京智谷技术服务有限公司 | 光场显示控制方法和装置、光场显示设备 |
| CN113654561A (zh) | 2014-12-05 | 2021-11-16 | 苹果公司 | 自主导航系统 |
| US20160180762A1 (en) * | 2014-12-22 | 2016-06-23 | Elwha Llc | Systems, methods, and devices for controlling screen refresh rates |
| US20220005587A1 (en) * | 2015-03-17 | 2022-01-06 | Raytrx, Llc | System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display |
| KR102527670B1 (ko) | 2015-05-08 | 2023-04-28 | 배 시스템즈 피엘시 | 디스플레이 개선 방법 |
| DE102015213376A1 (de) | 2015-07-16 | 2017-01-19 | Robert Bosch Gmbh | Projektionsvorrichtung für eine Datenbrille, Datenbrille und Verfahren zum Betreiben einer Projektionsvorrichtung für eine Datenbrille |
| US9900602B2 (en) * | 2015-08-20 | 2018-02-20 | Citrix Systems, Inc. | Optimizing remote graphics delivery and presentation |
| US20170094227A1 (en) * | 2015-09-25 | 2017-03-30 | Northrop Grumman Systems Corporation | Three-dimensional spatial-awareness vision system |
| US9880384B2 (en) * | 2015-11-27 | 2018-01-30 | Fove, Inc. | Gaze detection system, gaze point detection method, and gaze point detection program |
| EP3416392A4 (en) | 2016-02-09 | 2019-09-18 | Sony Interactive Entertainment Inc. | VIDEO DISPLAY SYSTEM |
| US10334224B2 (en) | 2016-02-19 | 2019-06-25 | Alcacruz Inc. | Systems and method for GPU based virtual reality video streaming server |
| US10540007B2 (en) * | 2016-03-04 | 2020-01-21 | Rockwell Collins, Inc. | Systems and methods for delivering imagery to head-worn display systems |
| EP3427185A4 (en) * | 2016-03-07 | 2019-09-25 | Magic Leap, Inc. | BLUE POSITIONING FOR BIOMETRIC SAFETY |
| US10797977B2 (en) | 2016-03-22 | 2020-10-06 | Citrix Systems, Inc. | Robust suspension and resumption of desktop virtualization |
| GB2548860A (en) | 2016-03-31 | 2017-10-04 | Nokia Technologies Oy | Multi-camera image coding |
| US10460704B2 (en) * | 2016-04-01 | 2019-10-29 | Movidius Limited | Systems and methods for head-mounted display adapted to human visual mechanism |
| WO2017176330A1 (en) * | 2016-04-08 | 2017-10-12 | Google Inc. | Encoding image data at a head mounted display device based on pose information |
| US10134198B2 (en) * | 2016-04-19 | 2018-11-20 | Adobe Systems Incorporated | Image compensation for an occluding direct-view augmented reality system |
| JP6533761B2 (ja) * | 2016-05-18 | 2019-06-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| JP6499993B2 (ja) * | 2016-05-18 | 2019-04-10 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| CN107404641A (zh) * | 2016-05-18 | 2017-11-28 | 中兴通讯股份有限公司 | 视频处理方法、视频播放方法、机顶盒以及vr设备 |
| EP3472806A4 (en) | 2016-06-17 | 2020-02-26 | Immersive Robotics Pty Ltd | IMAGE COMPRESSION METHOD AND DEVICE |
| KR101713492B1 (ko) | 2016-06-27 | 2017-03-07 | 가천대학교 산학협력단 | 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치 |
| US10373592B2 (en) * | 2016-08-01 | 2019-08-06 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
| US10042421B2 (en) * | 2016-08-24 | 2018-08-07 | Disney Enterprises, Inc. | System and method of latency-aware rendering of a focal area of an animation |
| US10255714B2 (en) * | 2016-08-24 | 2019-04-09 | Disney Enterprises, Inc. | System and method of gaze predictive rendering of a focal area of an animation |
| US10438318B2 (en) * | 2016-08-30 | 2019-10-08 | Intel IP Corporation | Blind spot rendering optimizations for eye tracking head mounted displays |
| KR102650215B1 (ko) * | 2016-10-18 | 2024-03-21 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| WO2018092147A1 (en) * | 2016-11-21 | 2018-05-24 | Karma Touch 2016 Ltd. | Compressing and decompressing an image based on gaze point |
| WO2017036429A2 (en) * | 2016-12-01 | 2017-03-09 | Viewtrix Technology Co., Ltd. | Zone-based display data processing and transmission |
| US10120442B2 (en) * | 2016-12-21 | 2018-11-06 | Oculus Vr, Llc | Eye tracking using a light field camera on a head-mounted display |
| US10121337B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Gaze controlled bit rate |
| EP3579940A4 (en) | 2017-02-08 | 2020-11-18 | Immersive Robotics Pty Ltd | DISPLAYING CONTENT TO USERS IN A MULTIPLAYER LOCATION |
| CN106951153B (zh) * | 2017-02-21 | 2020-11-20 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
| US20180262758A1 (en) * | 2017-03-08 | 2018-09-13 | Ostendo Technologies, Inc. | Compression Methods and Systems for Near-Eye Displays |
| US10277943B2 (en) * | 2017-03-27 | 2019-04-30 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on user movements |
| US10979685B1 (en) | 2017-04-28 | 2021-04-13 | Apple Inc. | Focusing for virtual and augmented reality systems |
| CN110574375B (zh) | 2017-04-28 | 2023-06-02 | 苹果公司 | 视频流水线 |
| GB2562490A (en) * | 2017-05-16 | 2018-11-21 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| US10665209B2 (en) * | 2017-05-18 | 2020-05-26 | Synaptics Incorporated | Display interface with foveal compression |
| CN110999287A (zh) * | 2017-06-05 | 2020-04-10 | 因默希弗机器人私人有限公司 | 数字内容流压缩 |
| US10477105B2 (en) * | 2017-06-08 | 2019-11-12 | Futurewei Technologies, Inc. | Method and system for transmitting virtual reality (VR) content |
| CN107333119A (zh) * | 2017-06-09 | 2017-11-07 | 歌尔股份有限公司 | 一种显示数据的处理方法和设备 |
| CN107239144B (zh) | 2017-06-09 | 2020-02-07 | 歌尔股份有限公司 | 一种设备的输入方法和装置 |
| GB2563832B (en) * | 2017-06-23 | 2021-11-10 | Sony Interactive Entertainment Inc | Display method and apparatus |
| US10861142B2 (en) | 2017-07-21 | 2020-12-08 | Apple Inc. | Gaze direction-based adaptive pre-filtering of video data |
| US10976811B2 (en) * | 2017-08-11 | 2021-04-13 | Microsoft Technology Licensing, Llc | Eye-tracking with MEMS scanning and reflected light |
| CN107317987B (zh) * | 2017-08-14 | 2020-07-03 | 歌尔股份有限公司 | 虚拟现实的显示数据压缩方法和设备、系统 |
| GB201713843D0 (en) * | 2017-08-30 | 2017-10-11 | Nokia Technologies Oy | A method, device and a system for enhanced field of view |
| WO2019100109A1 (en) | 2017-11-21 | 2019-05-31 | Immersive Robotics Pty Ltd | Frequency component selection for image compression |
| AU2018372561B2 (en) | 2017-11-21 | 2023-01-05 | Immersive Robotics Pty Ltd | Image compression for digital reality |
| US10949947B2 (en) | 2017-12-29 | 2021-03-16 | Intel Corporation | Foveated image rendering for head-mounted display devices |
| US10770023B2 (en) | 2018-05-29 | 2020-09-08 | Synaptics Incorporated | Dynamic overdrive for liquid crystal displays |
| US10916040B2 (en) * | 2018-07-24 | 2021-02-09 | Apical Ltd. | Processing image data using different data reduction rates |
| US11048464B2 (en) * | 2018-07-31 | 2021-06-29 | Dell Products, L.P. | Synchronization and streaming of workspace contents with audio for collaborative virtual, augmented, and mixed reality (xR) applications |
| US10930049B2 (en) * | 2018-08-27 | 2021-02-23 | Apple Inc. | Rendering virtual objects with realistic surface properties that match the environment |
| US11726320B2 (en) * | 2018-08-29 | 2023-08-15 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US10762866B2 (en) * | 2018-08-30 | 2020-09-01 | Synaptics Incorporated | Display rescan |
| JP7093418B2 (ja) * | 2018-09-20 | 2022-06-29 | 富士フイルム株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| KR102055824B1 (ko) * | 2018-10-25 | 2019-12-13 | 에스케이텔레콤 주식회사 | 증강현실 영상의 디스플레이 방법 및 이에 사용되는 장치 |
| US10860104B2 (en) | 2018-11-09 | 2020-12-08 | Intel Corporation | Augmented reality controllers and related methods |
| US11644940B1 (en) | 2019-01-31 | 2023-05-09 | Splunk Inc. | Data visualization in an extended reality environment |
| US11853533B1 (en) * | 2019-01-31 | 2023-12-26 | Splunk Inc. | Data visualization workspace in an extended reality environment |
| WO2021106590A1 (ja) * | 2019-11-26 | 2021-06-03 | ソニーグループ株式会社 | 映像送信装置、及び、表示装置 |
| US20210327121A1 (en) * | 2020-04-15 | 2021-10-21 | Sirisilp Kongsilp | Display based mixed-reality device |
| DE102020215285A1 (de) | 2020-12-03 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Parallaxeregelung und binokulare Datenbrille mit einer Recheneinheit zu einem Durchführen des Verfahrens |
| WO2022158611A1 (ko) * | 2021-01-19 | 2022-07-28 | 주식회사 포에스텍 | 초음파 센서를 활용한 수중 환경 영상의 보정 방법 |
| CN112791399B (zh) * | 2021-02-08 | 2021-08-31 | 腾讯科技（深圳）有限公司 | 云游戏画面的显示方法及装置、系统、介质、电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005512418A (ja) * | 2001-12-05 | 2005-04-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ワイヤレスビデオ送信のためのコンバインされたｍｐｅｇ−４ｆｇｓおよび変調アルゴリズム |
| US20060271612A1 (en) * | 2005-05-04 | 2006-11-30 | Swisscom Mobile Ag | Method and devices for transmitting video data |
| US20090096927A1 (en) * | 2007-10-15 | 2009-04-16 | Camp Jr William O | System and method for video coding using variable compression and object motion tracking |
| US20120127062A1 (en) | 2010-11-18 | 2012-05-24 | Avi Bar-Zeev | Automatic focus improvement for augmented reality displays |
| US20120154557A1 (en) | 2010-12-16 | 2012-06-21 | Katie Stone Perez | Comprehension and intent-based content for augmented reality displays |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0820933B2 (ja) | 1990-04-20 | 1996-03-04 | ダイキン工業株式会社 | データ書き込み方法およびその装置 |
| CN1071030C (zh) | 1992-06-02 | 2001-09-12 | 佳能株式会社 | 具有视线检测器的光学装置 |
| JPH06284449A (ja) | 1993-03-25 | 1994-10-07 | Kyocera Corp | 視差を利用した映像信号の帯域圧縮回路および画像符号化装置 |
| JPH0846836A (ja) | 1994-07-29 | 1996-02-16 | Canon Inc | 視線検出方法及び装置並びに撮像装置 |
| JPH08234141A (ja) | 1994-12-01 | 1996-09-13 | Olympus Optical Co Ltd | 頭部装着型映像表示装置 |
| FI120711B (fi) | 1995-02-06 | 2010-01-29 | Adc Telecommunications Inc | Monipiste-pisteeseen tietoliikennejärjestelmä |
| JPH09224267A (ja) | 1996-02-16 | 1997-08-26 | Olympus Optical Co Ltd | 立体映像作成装置及び立体映像表示装置並びにシステム |
| CN1175373C (zh) | 1998-03-20 | 2004-11-10 | 三菱电机株式会社 | 有损失/无损失感兴趣区域图像编码的方法和系统 |
| SE521021C2 (sv) | 1998-06-18 | 2003-09-23 | Ericsson Telefon Ab L M | Förfarande och anordning vid överförande av bilder |
| GB0000573D0 (en) | 2000-01-12 | 2000-03-01 | Nokia Mobile Phones Ltd | Receiver based isochronous transmissions |
| US6877043B2 (en) * | 2000-04-07 | 2005-04-05 | Broadcom Corporation | Method for distributing sets of collision resolution parameters in a frame-based communications network |
| US6603491B2 (en) * | 2000-05-26 | 2003-08-05 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
| US7679622B2 (en) * | 2000-07-28 | 2010-03-16 | Alcatel-Lucent Usa Inc. | Foveation-based error resilience algorithm |
| US7010169B2 (en) | 2002-04-15 | 2006-03-07 | Sbc Technology Resources, Inc. | Multi-point predictive foveation for bandwidth reduction of moving images |
| US7401920B1 (en) | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
| US7492821B2 (en) | 2005-02-08 | 2009-02-17 | International Business Machines Corporation | System and method for selective image capture, transmission and reconstruction |
| KR101107940B1 (ko) * | 2007-06-08 | 2012-01-25 | 콸콤 인코포레이티드 | 단일-캐리어 주파수 분할 다중 액세스에서 통신 채널들을 위한 계층적 변조 |
| US7556377B2 (en) | 2007-09-28 | 2009-07-07 | International Business Machines Corporation | System and method of detecting eye fixations using adaptive thresholds |
| US8786675B2 (en) | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
| US8259169B2 (en) | 2008-02-28 | 2012-09-04 | Panasonic Corporation | Eye-gaze detecting device and eye-gaze detecting method |
| US20090315766A1 (en) * | 2008-06-19 | 2009-12-24 | Microsoft Corporation | Source switching for devices supporting dynamic direction information |
| JP5254122B2 (ja) | 2009-04-24 | 2013-08-07 | パナソニック株式会社 | カメラ、映像送信装置、映像受信装置及び映像通信システム |
| US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
| US8983555B2 (en) | 2011-01-07 | 2015-03-17 | Microsoft Technology Licensing, Llc | Wireless communication techniques |
| US10972680B2 (en) | 2011-03-10 | 2021-04-06 | Microsoft Technology Licensing, Llc | Theme-based augmentation of photorepresentative view |
| US8184069B1 (en) | 2011-06-20 | 2012-05-22 | Google Inc. | Systems and methods for adaptive transmission of data |
-
2012
- 2012-12-27 US US13/728,892 patent/US10514541B2/en active Active
-
2013
- 2013-12-19 EP EP13824559.2A patent/EP2939432B1/en active Active
- 2013-12-19 WO PCT/US2013/076705 patent/WO2014105654A1/en active Application Filing
- 2013-12-19 KR KR1020157017002A patent/KR102192927B1/ko active IP Right Grant
- 2013-12-19 CN CN201380068578.4A patent/CN105340279A/zh active Pending
- 2013-12-19 JP JP2015550679A patent/JP6444886B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005512418A (ja) * | 2001-12-05 | 2005-04-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ワイヤレスビデオ送信のためのコンバインされたｍｐｅｇ−４ｆｇｓおよび変調アルゴリズム |
| US20060271612A1 (en) * | 2005-05-04 | 2006-11-30 | Swisscom Mobile Ag | Method and devices for transmitting video data |
| US20090096927A1 (en) * | 2007-10-15 | 2009-04-16 | Camp Jr William O | System and method for video coding using variable compression and object motion tracking |
| US20120127062A1 (en) | 2010-11-18 | 2012-05-24 | Avi Bar-Zeev | Automatic focus improvement for augmented reality displays |
| US20120154557A1 (en) | 2010-12-16 | 2012-06-21 | Katie Stone Perez | Comprehension and intent-based content for augmented reality displays |
Also Published As
| Publication number | Publication date |
|---|---|
| US10514541B2 (en) | 2019-12-24 |
| JP6444886B2 (ja) | 2018-12-26 |
| EP2939432B1 (en) | 2020-04-15 |
| WO2014105654A1 (en) | 2014-07-03 |
| EP2939432A1 (en) | 2015-11-04 |
| JP2016510525A (ja) | 2016-04-07 |
| KR20150102026A (ko) | 2015-09-04 |
| CN105340279A (zh) | 2016-02-17 |
| US20140184475A1 (en) | 2014-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102192927B1 (ko) | 니어 아이 디스플레이를 위한 디스플레이 업데이트 시간 감소 기법 | |
| CN113168007B (zh) | 用于增强现实的系统和方法 | |
| US10643389B2 (en) | Mechanism to give holographic objects saliency in multiple spaces | |
| KR102213725B1 (ko) | 모바일 디바이스 착용 시의 머리 움직임 추적 | |
| US10055889B2 (en) | Automatic focus improvement for augmented reality displays | |
| EP3195105B1 (en) | Management of content in a 3d holographic environment | |
| CN108292489B (zh) | 信息处理装置和图像生成方法 | |
| US20140146394A1 (en) | Peripheral display for a near-eye display device | |
| US20200142480A1 (en) | Immersive displays | |
| US9552060B2 (en) | Radial selection by vestibulo-ocular reflex fixation | |
| WO2015112433A1 (en) | Gaze swipe selection | |
| CN105009039A (zh) | 使用imu的直接全息图操纵 | |
| EP2583131A2 (en) | Systems and methods for personal viewing devices | |
| JP6999538B2 (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |