KR20220013384A - 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 기술 - Google Patents

손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 기술 Download PDF

Info

Publication number
KR20220013384A
KR20220013384A KR1020217041314A KR20217041314A KR20220013384A KR 20220013384 A KR20220013384 A KR 20220013384A KR 1020217041314 A KR1020217041314 A KR 1020217041314A KR 20217041314 A KR20217041314 A KR 20217041314A KR 20220013384 A KR20220013384 A KR 20220013384A
Authority
KR
South Korea
Prior art keywords
user
hand
camera
roi
hmd device
Prior art date
Application number
KR1020217041314A
Other languages
English (en)
Inventor
마리아 쳉 레이
비샬 제인
비크라마디티아 단기
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20220013384A publication Critical patent/KR20220013384A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H04N5/232127—
    • H04N5/23216—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

혼합 현실 헤드 마운티드 디스플레이(HMD) 디바이스 내의 포커스 조정 가능한 PV(사진/비디오) 카메라는 PV 카메라 동작 중에 자동 포커스 헌팅의 발생을 줄이기 위해 사용자의 손의 위치 및 모션에 기초하여 트리거되도록 구성되는 자동 포커스 서브시스템에 의해 동작한다. HMD 디바이스에는 사용자의 손의 위치, 움직임, 및 제스처를 3차원에서 검출 및 추적하기 위해 주변 물리적 환경으로부터 깊이 데이터를 캡처하도록 구성되는 깊이 센서가 장착되어 있다. 깊이 센서로부터의 손 추적 데이터는 PV 카메라의 시야(FOV, field of view) 내의 특정 관심 영역(ROI, region of interest)에서 손 특징 - 사용자의 어느 손 또는 손의 어느 부위가 검출되는지, 그것의 크기, 모션, 속도 등 - 을 결정하기 위해 평가될 수 있다. 자동 포커스 서브시스템은 자동 포커스 헌팅 발생을 줄이기 위해 평가된 손 특징을 PV 카메라의 자동 포커스를 제어하기 위한 입력으로서 사용한다.

Description

손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 기술
혼합 현실 헤드 마운티드 디스플레이(HMD, mixed-reality head-mounted display) 디바이스는 혼합 현실 경험의 기록 및 공유를 포함한 다양한 사용자 경험을 용이하게 하기 위해 주변 물리적 환경의 정지 및/또는 비디오 이미지를 캡처하는 사진 및 비디오(PV) 카메라를 채택할 수 있다. PV 카메라는 자동 포커스, 자동 노출, 및 자동 밸런스 기능을 포함할 수 있다. 일부 시나리오에서는, HMD 디바이스 사용자의 손 움직임(hand movement)으로 물리적 환경의 선명한 이미지의 리졸빙(resolve)을 시도하는 동안 자동 포커스 서브시스템이 헌팅될 수 있다. 예를 들어, HMD 디바이스에 의해 렌더링되는 홀로그램과의 인터랙션 시에 사용자 손의 움직임은 장면에서 카메라가 손을 검출할 때마다 카메라를 재포커싱하게 할 수 있다. 이 자동 포커스 헌팅 효과는 로컬 HMD 디바이스 사용자와 로컬 HMD 디바이스가 캡처한 혼합 현실 사용자 경험을 시청중일 수 있는 리모트 사용자 모두에 대한 사용자 경험의 품질을 떨어뜨릴 수 있다.
혼합 현실 헤드 마운티드 디스플레이(HMD) 디바이스 내의 포커스 조정 가능한 PV 카메라는 PV 카메라 동작 중에 자동 포커스 헌팅의 발생을 줄이기 위해 사용자의 손의 위치 및 모션에 기초하여 트리거되도록 구성되는 자동 포커스 서브시스템에 의해 동작한다. HMD 디바이스에는 사용자의 손의 위치, 움직임, 및 제스처를 3차원에서 검출 및 추적하기 위해 주변 물리적 환경으로부터 깊이 데이터를 캡처하도록 구성되는 깊이 센서가 장착되어 있다. 깊이 센서로부터의 손 추적 데이터는 PV 카메라의 시야(FOV, field of view) 내의 특정 관심 영역(ROI, region of interest)에서 손 특징 - 사용자의 어느 손 또는 손의 어느 부위가 검출되는지, 그것의 크기, 모션, 속도 등 - 을 결정하기 위해 평가될 수 있다. 자동 포커스 서브시스템은 자동 포커스 헌팅의 발생을 줄이기 위해 평가된 손 특징을 PV 카메라의 자동 포커스를 제어하기 위한 입력으로서 사용한다. 예를 들어, 손 추적으로부터 사용자가 홀로그램과 인터랙션하면서 손 움직임을 채택하고 있다고 지시되면, 자동 포커스 서브시스템은 헌팅 효과를 줄이기 위해 자동 포커스의 트리거링을 억제할 수 있다.
자동 포커스 헌팅은 HMD 디바이스 사용자의 집중을 방해하고(자주 PV 카메라 렌즈 모션을 감지할 수 있음), 또 PV 카메라로 캡처한 이미지 및 비디오의 품질을 저하시킬 수 있기 때문에 줄이는 것이 유리할 수 있다. 자동 포커스 헌팅을 줄이면 또한 자동 포커스 모터 또는 기타 메커니즘에서 소비되는 전력을 줄여 HMD 디바이스의 동작을 향상시킬 수 있다.
본 개요는 상세한 설명에서 또한 후술하는 다양한 개념들을 간략화한 형태로 소개하기 위해 제공된다. 본 개요는 청구범위의 주제가 되는 주요 특징 또는 본질적 특징을 확인하기 위한 것이 아니며, 청구범위의 주제의 범주를 결정하는데 도움을 주는 것으로 이용되어서도 안 된다. 또한, 청구범위의 주제는 본 명세서의 어떤 부분에서 언급한 단점들 중 일부 또는 전부를 해결하는 구현예에 한정되지 않는다. 전술한 주제는 컴퓨터로 제어되는 장치, 컴퓨터 프로세스, 컴퓨팅 시스템으로서, 또는 하나 이상의 컴퓨터 판독 가능 저장 매체와 같은 제조 물품으로서 구현될 수 있다는 것이 이해될 것이다. 전술한 특징과 장점 그리고 기타의 것들은 다음의 상세한 설명을 읽고 관련 도면을 검토함으로써 명백해 질 것이다.
도 1은 사용자가 주변 물리적 환경을 보고 있는 동안에 헤드 마운티드 디스플레이(HMD) 디바이스의 씨스루(see-through) 혼합 현실 디스플레이 시스템 상에 홀로그램이 렌더링되는 예시적인 혼합 현실 환경을 보여준다.
도 2는 로컬 HMD 디바이스, 리모트 HMD 디바이스, 및 리모트 서비스가 네트워크를 통해 통신할 수 있는 예시적인 환경을 보여준다.
도 3은 HMD 디바이스의 예시적인 아키텍처를 보여준다.
도 4 및 도 5는 물리적 환경에서 로컬 사용자가 예시적인 가상 오브젝트와 인터랙션하는 것을 보여준다.
도 6은 혼합 현실 디스플레이 시스템을 사용하여 가상 오브젝트가 렌더링되는 물리적 환경의 뷰를 포함하는 로컬 사용자의 관점으로부터의 로컬 HMD 디바이스의 예시적인 FOV를 보여준다.
도 7은 로컬 HMD 디바이스로부터 리모트 사용자로 콘텐츠가 공유되는 예시적인 구성을 보여준다.
도 8은 로컬 사용자의 HMD 디바이스로부터 전송되는 가상 오브젝트 및 실세계 엘리먼트를 포함한 합성 이미지(composite image)를 디스플레이하는 리모트 태블릿 컴퓨터를 리모트 사용자가 작동하는 것을 보여준다.
도 9 내지 도 11은 로컬 HMD 디바이스의 FOV에서 로컬 사용자의 관점으로부터의 예시적인 손 모션 및 제스처를 보여준다.
도 12 및 도 13은 수평 및 수직 FOV를 기술하는 예시적인 구면 좌표계를 보여준다.
도 14는 구면 좌표계를 사용하여 로컬 사용자의 관점으로부터의 HMD 디바이스의 FOV 내의 예시적인 관심 영역(ROI)을 보여준다.
도 15는 로컬 HMD 디바이스의 자동 포커스 서브시스템에 다양한 데이터가 입력으로서 예시적으로 제공되고 있는 도면이다.
도 16은 로컬 HMD 디바이스의 깊이 센서에 의해 검출될 수 있는 물리적 환경의 예시적인 항목의 분류법을 보여준다.
도 17은 콘텐츠의 프레임 프로세싱 시에 로컬 HMD 디바이스의 자동 포커스 서브시스템에 의해 수행되는 예시적인 프로세스를 보여준다.
도 18은 자동 포커스의 트리거 또는 억제를 결정할 때에 자동 포커스 서브시스템에 의해 사용되는 예시적인 특징의 분류법을 보여준다.
도 19 내지 도 21은 자동 포커스 서브시스템을 채택하는 HMD 디바이스 또는 기타 적절한 전자 디바이스에 의해 수행되는 예시적인 방법의 흐름도이다.
도 22는 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 본 기술을 구현하기 위해 부분적으로 사용될 수 있는 예시적인 리모트 서비스 또는 컴퓨터 시스템의 단순화된 블록도이다.
도 23은 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 본 기술을 구현하기 위해 적어도 부분적으로 사용될 수 있는 예시적인 데이터센터의 블록도이다.
도 24는 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 본 기술을 구현하기 위해 사용될 수 있는, 스마트폰 또는 태블릿 컴퓨터와 같은 컴퓨팅 디바이스의 예시적인 아키텍처의 단순화된 블록도이다.
도 25는 혼합 현실 HMD 디바이스의 일례의 그림도이다.
도 26은 혼합 현실 HMD 디바이스의 일례의 블록도이다.
도면에서 동일한 참조 번호는 동일한 엘리먼트를 나타낸다. 엘리먼트는 달리 지시하지 않는 한 축척으로 그려지지 않는다.
도 1은 다양한 사용자 경험을 가능하게 하기 위해 실세계 엘리먼트와 컴퓨터에 의해 생성된 가상 오브젝트를 조합하는 HMD 디바이스(100) 상에 지원되는 예시적인 혼합 현실 환경(100)을 보여준다. 사용자(105)는, 씨스루 혼합 현실 디스플레이 시스템 상에 시각적으로 렌더링되고 구현예에 따라 청각 및/또는 촉각/햅틱 감각을 포함할 수 있는 혼합 현실 환경(100)을 경험하기 위해 HMD 디바이스(100)을 채택할 수 있다. 비제한적인 이 특정 예에서, HMD 디바이스 사용자는 다양한 건물, 상점 등이 있는 도심가를 포함한 실세계 시가지를 물리적으로 걷고 있다. 사용자의 관점에서 HMD 디바이스가 제공하는 실세계 도시경관의 씨스루 혼합 현실 디스플레이 시스템의 시야(FOV)(도 1에서 점선 영역으로 표시함)는 사용자가 환경을 이동함에 따라 변하고 디바이스는 실세계 뷰 위에 홀로그램 가상 오브젝트를 렌더링할 수 있다. 여기서, 홀로그램은 업체를 식별하는 태그(115), 환경내 관심 장소에 대한 안내(120), 선물 상자(125)를 포함한 다양한 가상 오브젝트를 포함한다. FOV 내의 가상 오브젝트는 3차원(3D) 물리적 환경에서 실제 오브젝트와 공존하여 혼합 현실 경험을 만든다. 가상 오브젝트는 인도 위의 선물 상자와 같이 실세계 물리적 환경에 대해 배치될 수도 있고 사용자와 함께 이동하는 안내와 같이, 사용자를 기준으로 하여 배치될 수도 있다.
도 2는 로컬 및 리모트 HMD 디바이스들이 네트워크(220)를 통해 서로 그리고 리모트 서비스(215)와 통신할 수 있는 예시적인 환경을 보여준다. 네트워크는 컴퓨팅 디바이스 간의 통신을 가능하게 하는 다양한 네트워킹 디바이스로 구성될 수 있으며, 근거리 통신망, 광역 통신망, 인터넷, 월드 와이드 웹 등 중 임의의 하나 이상을 포함할 수 있다. 일부 실시형태에서, 대표적으로 점선 화살표(225)로 나타내는 바와 같이 디바이스 사이의 애드혹(예컨대, 피어 투 피어) 네트워크가 예컨대 Wi-Fi, Bluetooth®, 또는 근거리 통신(NFC, near field communication)을 사용하여 형성될 수 있다. 로컬 사용자(105)는 각각의 리모트 사용자(205)가 작동하는 리모트 HMD 디바이스(210)와 통신할 수 있는 로컬 HMD 디바이스(110)를 작동할 수 있다. HMD 디바이스는 일반적인 컴퓨터(예컨대, 퍼스널 컴퓨터, 스마트폰, 태블릿 컴퓨터 등)처럼 다양한 작업을 수행할 수 있고 HMD 디바이스의 구성에 따라 추가 작업을 수행할 수 있다. 작업은 기타 작업 중에서 전자 메일 또는 기타 메시지 보내기, 웹 검색, 사진 또는 비디오 전송, 홀로그램과의 인터랙션, 카메라를 사용한 주변 물리적 환경의 라이브 스트림 전송 등을 포함할 수 있다.
HMD 디바이스(110, 210)는 리모트 서비스(215)와 같은 리모트 컴퓨팅 디바이스 및 서비스와 통신할 수 있다. 리모트 서비스는 예컨대 HMD 디바이스로 하여금 인공 지능(AI) 프로세싱, 데이터 저장, 데이터 분석 등과 같은, 리모트 서비스에 의해 제공되는 다양한 솔루션을 활용할 수 있게 하는 데이터센터 내에 셋업된 클라우드 컴퓨팅 플랫폼일 수 있다. 도 2에서는 HMD 디바이스 및 서버를 도시하고 있지만, HMD 디바이스는 스마트폰, 태블릿 컴퓨터, 랩탑, 퍼스널 컴퓨터 등과 같은 다른 유형의 컴퓨팅 디바이스(도시 생략)와도 통신할 수 있다. 예를 들어, 로컬 HMD 디바이스 상에서 구현되는 사용자 경험은 후술하는 바와 같이 리모트 사용자와 공유할 수 있다. 로컬 사용자가 자신의 HMD 디바이스에서 보는 혼합 현실 장면의 이미지와 비디오는, 사운드 및 기타 경험 요소와 함께, 리모트 위치에 있는 랩탑 컴퓨터에서 수신 및 렌더링될 수 있다.
도 3은 로컬 HMD 디바이스(110)와 같은 HMD 디바이스의 예시적인 시스템 아키텍처를 보여준다. 다양한 컴포넌트가 도 3에 도시되지만, 나열된 컴포넌트들이 전체가 아니며, HMD 디바이스의 기능을 용이하게 하는 도시 생략한 컴포넌트, 예컨대 글로벌 포지셔닝 시스템(GPS), 기타 입출력 디바이스(키보드 및 마우스) 등도 가능하다. HMD 디바이스는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 및 인공 지능(AI) 처리 장치와 같은 하나 이상의 프로세서(305)를 가질 수 있다. HMD 디바이스는 프로세서(305)에 의해 실행 가능한 데이터 및 명령어를 저장할 수 있는 메모리(310)를 가질 수 있다. 메모리는 랜덤 액세스 메모리(RAM)와 같은 단기 메모리 디바이스를 포함할 수 있고 또 플래시 스토리지 및 SSD(Solid-State Drive)와 같은 장기 메모리 디바이스도 포함할 수 있다.
HMD 디바이스(110)는 사용자가 HMD 디바이스와 인터랙션할 수 있도록 다양한 컴포넌트들로 구성된 I/O(입출력) 시스템(370)을 포함할 수 있다. 예시적이고 비포괄적인 컴포넌트는 스피커(380), 제스처 서브시스템(385), 및 마이크로폰(390)을 포함한다. 대표적으로 화살표(382)로 나타내는 바와 같이, 제스처 서브시스템은 사용자의 손에 대한 깊이 데이터를 수집할 수 있는 깊이 센서(320)와 상호 연동할 수 있으며, 이에 따라 HMD 디바이스가 손 추적을 수행하는 것이 가능하다.
깊이 센서(320)는 손에 대해 수집된 데이터를 사용자 손 움직임 및 제스처와 관련된 동작을 처리하는 제스처 서브시스템(385)에 전달할 수 있다. 사용자는 기타 인터랙션 중에서 홀로그램 이동시키기, 홀로그램 선택하기, 홀로그램 축소 또는 확대하기(예컨대, 핀칭 모션으로)와 같이 HMD 디바이스의 디스플레이 상에서 홀로그램과 인터랙션할 수 있다. 사용자가 제어할 수 있는 예시적인 홀로그램은 기타 홀로그램 중에서 버튼, 메뉴, 이미지, 웹 기반 검색의 결과, 및 캐릭터 그림을 포함한다.
씨스루 혼합 현실 디스플레이 시스템(350)은 HMD 디바이스(110) 상에 가상 오브젝트를 렌더링하기 위해 표면 릴리프 격자를 사용하는 도파관 기반 디스플레이와 같은 혼합 현실 디스플레이(365) 및 마이크로 디스플레이나 이미저(355)를 포함할 수 있다. 프로세서(305)(예를 들어, 이미지 프로세서)는, 광 엔진 및 도파관 디스플레이(365)를 사용하여 이미지가 디스플레이될 수 있도록 비디오 데이터와 같은 이미지 데이터를 제공하기 위해 이미저(355)에 동작 가능하게 접속될 수 있다. 일부 구현예에서, 혼합 현실 디스플레이는 사출 동공 확장기(EPE, exit pupil expander)(도시 생략)를 포함하는 근안 디스플레이로서 구성될 수도 있다.
HMD 디바이스(110)는 사용자에게 혼합 현실 환경에 대한 통합 및 몰입 경험을 제공하기 위해 다수 유형의 센서(315)를 포함할 수 있다. 깊이 센서(320) 및 사진/비디오(PV) 카메라(325)는 도시하는 예시적인 센서이지만, 적외선 센서, 압력 센서, 모션 센서 등과 같은 도시 생략한 다른 센서도 가능하다. 깊이 센서는 구조화 조명, 수동 스테레오, 능동 스테레오, 비행 시간, 펄스 비행 시간, 위상 비행 시간, 또는 LIDAR(Light Detection and Ranging)와 같은 다양한 유형의 깊이 감지 기술을 사용하여 동작할 수 있다. 일반적으로, 깊이 센서는 IR(적외선) 광원으로 작동하지만, 일부 센서는 RGB(적색, 녹색, 청색) 광원으로 작동할 수 있다. 일반적으로, 깊이 센서는 대상까지의 거리를 감지하고 포인트 클라우드 표현을 사용하여 타겟 또는 물리적 환경의 외부 표면 속성을 나타내는 이미지를 구축한다. 포인트 클라우드 데이터 포인트 또는 구조는 로컬로, 리모트 서비스에서, 또는 이들의 조합으로 메모리에 저장될 수 있다.
PV 카메라(325)는 이미지를 캡처하거나, 사용자 주변의 물리적 환경의 비디오를 기록하거나, HMD 디바이스(110)로부터 리모트 HMD 디바이스(210) 또는 기타 컴퓨팅 디바이스(예컨대, 태블릿 또는 퍼스널 컴퓨터)와 같은 리모트 컴퓨팅 디바이스로 콘텐츠를 전송하기 위해 조정 가능한 포커스로 구성될 수 있다. PV 카메라는 RGB 카메라로서 구현되어 HMD 디바이스가 동작하는 3차원(3D) 물리적 공간 내의 장면을 캡처할 수 있다.
HMD 디바이스와 연관된 카메라 서브시스템(330)은 적어도 부분적으로 PV 카메라에서 사용될 수 있고 자동 노출 서브시스템(335), 자동 밸런스 서브시스템(340), 및 자동 포커스 서브시스템(345)을 포함할 수 있다. 자동 노출 서브시스템은 카메라 센서에 도달하는 광량에 따라 이미지 밝기를 자동으로 조정할 수 있다. 자동 밸런스 서브시스템은 흰색이 적절하게 디스플레이되도록 조명에 따라 색상차를 자동으로 보정할 수 있다. 자동 포커스 서브시스템은, 일반적으로 이미지 센서에 대한 렌즈의 기계적 움직임에 의해 구현되는 PV 카메라의 렌즈의 포커싱에 의해, 캡처되는 이미지와 렌더링되는 이미지가 선명해지게 할 수 있다.
합성 생성기(395)는 PV 카메라(325)에 의해 캡처된 물리적 세계의 장면과 HMD 디바이스에 의해 생성된 가상 오브젝트의 이미지를 조합한 합성 콘텐츠를 생성한다. 합성 콘텐츠는 HMD 디바이스, 퍼스널 컴퓨터, 랩탑, 태블릿, 스마트폰 등과 같은 리모트 컴퓨팅 디바이스에 기록되거나 전송될 수 있다. 통상의 구현예에서, 이미지는 가상 오브젝트의 비홀로그램 2D 표현이다. 그러나, 대안의 구현예에서, 데이터는 홀로그램 콘텐츠의 리모트 렌더링을 가능하게 하기 위해 로컬 HMD 디바이스로부터 리모트 HMD 디바이스로 전송될 수 있다.
통신 모듈(375)은 리모트 HMD 디바이스(210), 리모트 서비스(215), 또는 기타 컴퓨팅 디바이스와 같은 외부 디바이스와의 정보 송수신에 사용될 수 있다. 통신 모듈은 예컨대 라우터 또는 유사한 네트워킹 디바이스와의 무선 통신을 위한 네트워크 인터페이스 컨트롤러(NIC), 또는 Wi-Fi, Bluetooth™, 또는 NFC(근거리 통신) 전송 중 하나 이상을 지원하는 무선부(radios)를 포함할 수 있다.
도 4 및 도 5는 사용자(105)가 HMD 디바이스 상에서 씨스루 혼합 현실 디스플레이 시스템을 통해 사용자가 볼 수 있는 홀로그램 가상 오브젝트와 인터랙션하는 예시적인 물리적 환경을 보여준다(이 예시의 홀로그램 가상 오브젝트는 HMD 디바이스를 통해서만 볼 수 있는데, 예를 들어 육안으로 볼 수 있도록 여유 공간에 투영되지 않는 것을 알아야 한다). 도 4에서, 가상 오브젝트는 수직 배향 패널(405) 및 원통형 오브젝트(410)를 포함한다. 도 5에서, 가상 오브젝트는 수평 배향 가상 건물 모델(505)을 포함한다. 가상 오브젝트는 식물(415)과 그림(420)을 포함하는 물리적 환경의 3D 공간에 대해 다양한 위치에 배치된다. 라벨링하지는 않았지만 바닥, 벽 및 문도 실제 물리적 환경의 일부이다.
도 6은 HMD 디바이스의 사용자 관점에서 씨스루 디스플레이를 사용하여 보여지는 예시적인 혼합 현실 장면의 시야(FOV)(605)를 보여준다. 사용자(105)는 물리적 세계의 부분과 로컬 HMD 디바이스(110)에 의해 생성된 가상 오브젝트(405, 410)의 홀로그램을 볼 수 있다. 홀로그램은 물리적 환경 내의 어느 곳에나 배치될 수 있지만, 예를 들어 수렴-조절 불일치(vergence-accommodation conflict)로 인한 사용자 불편을 최소화하기 위해 일반적으로 사용자로부터 0.5 미터 내지 5 미터 사이에 위치한다. 사용자는 일반적으로, 도 9 내지 도 11에서 도시하고 여기 본문에서 설명하는 바와 같이 위아래, 좌우, 안팎의 혼합된 손 모션을 사용하여 홀로그램과 인터랙션한다. 인터랙션은 구현예에 따라 렌더링된 홀로그램의 위치로부터 약간의 공간적 거리를 두고 이루어질 수 있다. 예를 들어, 가상 오브젝트 상에 노출된 가상 버튼은 사용자에 의해 해당 오브젝트로부터 거리를 두고 탭핑 제스처를 행함으로써 눌려질 수 있다. 주어진 구현예에서 사용되는 특정 사용자-홀로그램 인터랙션은 다를 수 있다.
도 7은 리모트 사용자(205)가 로컬 사용자의 HMD 디바이스(110)로부터의 콘텐츠(710)를 렌더링하는 리모트 태블릿 디바이스(705)를 작동하고 있는 예시적인 환경을 보여준다. 이 예에서, 렌더링은 로컬 HMD 디바이스 상의 PV 카메라에 의해 캡처된 로컬 사용자의 물리적 환경의 장면과 가상 오브젝트(405 및 410)의 2D 비홀로그램 렌더링을 포함하는 합성 콘텐츠를 포함한다. 도 8에 도시하는 바와 같이, 합성 렌더링(805)은 로컬 HMD 디바이스 상의 씨스루 혼합 현실 디스플레이를 통해 로컬 사용자가 보는 것과 실질적으로 유사하다. 따라서 리모트 사용자는 가상 오브젝트(405)와 인터랙션하는 로컬 사용자의 손과, 식물, 벽, 그림, 문을 비롯한 주변 물리적 환경의 일부를 볼 수 있다. 리모트 디바이스(705)의 수신된 콘텐츠는 실시간으로 스트리밍되는 정지 이미지 및/또는 비디오를 포함하거나 기록된 콘텐츠를 포함할 수 있다. 일부 구현예에서, 수신된 콘텐츠는 3D 홀로그램 콘텐츠의 리모트 렌더링을 가능하게 하는 데이터를 포함할 수 있다.
도 9 내지 도 11은 로컬 HMD 디바이스(110)를 작동하는 동안에 로컬 사용자(105)에 의해 행해질 수 있는 예시적인 손 모션 및 제스처를 보여준다. 도 9는 대표적으로 참조 번호 905로 나타내는 바와 같이, 사용자가 가상 오브젝트(405)를 조작할 때 사용자의 수직(예를 들어, 위아래)의 손 움직임을 도시한다. 도 10은 대표적으로 참조 번호 1005로 나타내는 바와 같이 가상 오브젝트(405)를 조작하기 위한 사용자의 수평(예를 들어, 좌우)의 손 움직임을 도시한다. 도 11은 대표적으로 참조 번호 1105로 나타내는 바와 같이, 예컨대 "블룸(bloom)" 제스처를 수행하는 것에 의한 혼합 현실 공간 내의 사용자 손의 안팎 움직임을 도시한다. 사용자가 로컬 HMD 디바이스를 작동하는 동안에 도 9 내지 도 11에 도시하지 않은 다른 방향성 움직임, 예컨대 원형 움직임, 상징 움직임(figurate movement), 사용자의 손가락 조작을 비롯한 다양한 손 제스처 등도 가능하다.
도 12 및 도 13은 수평 및 수직 시야(FOV)를 기술하는 예시적인 구면 좌표계를 보여준다. 통상의 구현예에서, 구면 좌표 시스템은 물리적 환경에서 점을 대응시키기 위해 사용자로부터 3D 공간 내의 점까지의 반경 거리, 사용자로부터 3D 공간 내의 점까지의 방위각, 및 사용자와 3D 공간 내의 점 사이의 극(또는 고도/표고) 각도를 활용할 수 있다. 도 12는 로컬 HMD 디바이스(110) 내의 다양한 센서, 디스플레이, 및 컴포넌트와 연관된 수평 FOV를 묘사하는 사용자의 오버헤드 뷰를 보여준다. 수평 FOV는 원점이 예컨대 사용자의 눈 사이에서 HMD 디바이스에 위치한 지면과 평행한 축을 갖는다. 상이한 컴포넌트들은 일반적으로 사용자의 인간 양안 FOV에 비해 더 좁은 상이한 각도의 수평 FOV(αh)를 가질 수 있다. 도 13은 로컬 HMD 디바이스 내의 다양한 센서, 디스플레이 및 컴포넌트와 연관된 수직 FOV(αv)를 묘사하는 사용자의 측면도를 보여주며, 수직 FOV축은 지면에 수직이고 HMD 디바스에 원점이 있다. HMD 디바이스 내의 컴포넌트들에 대한 수직 FOV 각도도 다를 수 있다.
도 14는 예시적인 관심 영역(ROI)(1405)을 도시하는 예시적인 HMD 디바이스의 FOV(605)를 보여준다. ROI는 HMD 디바이스(110)의 자동 포커스 서브시스템이 손 움직임 또는 제스처에 포커싱할지를 결정할 때에 사용할 수 있는 HMD 디바이스의 FOV(605)(도 6)에서 정적으로 또는 동적으로 규정되는 영역이다. 도 14에서 표시되는 ROI는 예시를 위한 것이며, 일반적인 구현예에서 사용자는 로컬 HMD 디바이스의 씨스루 혼합 현실 디스플레이에서 콘텐츠를 보는 동안 ROI를 인식하지 못한다.
ROI(1405)는 구면 또는 직교 좌표를 사용하여 기술될 수 있는 3D 공간 영역으로서 구현될 수 있다. 구면 좌표계를 사용하여, 일부 구현예에서 ROI는 사용자로부터 측정된 거리 및 거리가 방위각 및 극각에 미치는 영향에 따라 동적일 수 있다. 일반적으로 ROI는 사용자가 응시할 가능성이 있는 위치인 디스플레이 시스템 FOV의 중심 영역에 위치할 수도 있지만, ROI는 중심에서 벗어난 위치와 같이 디스플레이 시스템 FOV 내의 임의의 위치에 있을 수도 있다. ROI는 FOV에 대해 정적 위치, 크기, 및 형상을 가질 수 있거나, 일부 실시형태에서는 위치, 크기, 및 형상이 동적일 수 있다. 따라서 ROI는 구현예에 따라 임의의 정적 또는 동적 2D 형상 또는 3D 볼륨을 가질 수 있다. 가상 오브젝트의 홀로그램과의 인터랙션 동안, 도 14의 사용자(105)의 손은 구면 좌표의 세트에 의해 정의되는 ROI 내에 위치할 수 있다.
도 15는 데이터가 카메라 서브시스템(330)의 자동 포커스 서브시스템(345)에 공급되는 예시적인 도면을 보여준다. 렌더링된 홀로그램 가상 오브젝트와의 인터랙션 동안에 손의 움직임으로 인해 생성되는 자동 포커스 헌팅 효과를 줄이기 위해 자동 포커스 서브시스템은 이 데이터를 자동 포커스 동작을 제어하는 데에 집합적으로 사용한다.
자동 포커스 서브시스템으로 공급되는 데이터는 PV 카메라(325) 및 깊이 센서(320) 또는 기타 전면 센서(1525)로부터의 물리적 환경을 기술하는 데이터를 포함한다. 전면 센서로부터의 데이터는 깊이 센서(320)에 의해 캡처될 때 깊이 데이터를 포함할 수 있지만, 다른 센서도 사용자의 주변 물리적 환경을 캡처하는 데 사용될 수 있다. 따라서, 전면 센서(front-facing sensor)(1525)라는 용어는 본 명세서에서, 깊이 센서, 카메라, 또는 물리적 환경과, 아래에서 더 자세히 논의하겠지만, 사용자의 손 움직임 및 제스처를 캡처하는 기타 센서들 중 하나 이상의 센서를 사용하는 것을 나타하기 위해 사용된다.
도 16은 대표적으로 참조 번호 1605로 나타내는, 물리적 환경으로부터 전면 센서(1525)에 의해 픽업되고 수집될 수 있는, 깊이 데이터와 같은 예시적인 항목의 분류법을 보여준다. 전면 센서(1525)에 의해 픽업될 수 있는 항목들은 기타 오브젝트 중에서, 사용자의 손(1610), 물리적 실세계 오브젝트(예컨대, 의자, 침대, 소파, 테이블)(1615), 인물(1620), 구조물(예컨대, 벽, 바닥)(1625)을 포함할 수 있다. 전면 센서는 수집된 데이터로부터 오브젝트를 인식할 수도 인식하지 못할 수도 있지만, 수집된 데이터에 기초하여 환경의 공간 매핑이 이루어질 수 있다. 그러나 HMD 디바이스는 제스처 입력을 가능하게 하고 여기에서 논의하는 자동 포커스 동작에 더 영향을 끼치기 위해 손을 검출하고 인식하도록 구성될 수 있다. 자동 포커스 서브시스템에 전송되는 도 15에서 도시한 캡처된 데이터는 아래에서 더 자세히 논의하겠지만 HMD 디바이스의 사용자와 연관된 손 데이터를 포함한다.
도 17은 자동 포커스 서브시스템(345)이 (예를 들어, 콘텐츠 스트리밍, 비디오 녹화 또는 이미지 캡처를 위해) 콘텐츠(1705)의 기록된 프레임을 수신하고, 캡처된 손 데이터를 사용하여 콘텐츠의 프레임에 자동 포커싱하는 예시적인 도면을 보여준다. 자동 포커스 서브시스템은 만족시 또는 불만족시 HMD 디바이스가 자동 포커스 동작을 트리거하거나 억제하는지를 결정하기 위한 하나 이상의 기준을 갖고서 구성될 수 있다.
자동 포커스 동작은 디스플레이 FOV(도 14)의 ROI 내의 콘텐츠에 자동으로 포커싱하는 자동 포커스 서브시스템을 포함할 수 있다. 기준의 만족은 예컨대 사용자가 자기의 손을 명확하게 보기를 원하는 방식으로 사용자가 손을 사용하고 있고 손이 ROI 내에서 사용자에 대한 초점(focus point)인 것을 나타낼 수 있다. 예를 들어, 사용자가 ROI 내의 홀로그램과 인터랙션하고 있는 경우, 자동 포커스 서브시스템은 사용자의 손에 포커싱하는 것을 원하지 않을 수도 있는데, 사용자의 손은 홀로그램을 제어하는 중에 사용될 뿐이지만 홀로그램은 여전히 사용자의 주요 관심 지점이기 때문이다. 다른 실시형태에서, 사용자의 손은 ROI에서 일시적일 수 있고 따라서 포커싱할 관심 지점이 아닐 수 있다. 반면, 사용자가 새로운 홀로그램을 만들거나 메뉴를 여는 것과 같이 홀로그램과는 별개의 방식으로 손을 사용하는 경우 자동 포커스 서브시스템은 사용자의 손에 포커싱하는 것을 선택할 수 있다. 설정된 기준은, 자동 포커스 서브시스템이 사용자의 손에 스마트하게 포커싱하거나 포커싱하지 않게 하고 그럼으로써 헌팅 효과를 줄이며 리모트 사용자를 위한 라이브 스트리밍 또는 로컬 사용자를 위한 재생 동안 기록된 콘텐츠의 품질을 높이는 데에 도움을 준다. 정리하면, 기준의 구현은 FOV 내에서 사용자의 손이 사용자의 관심 지점인지를 결정하는 것을 돕는다.
단계 1710에서, 자동 포커스 서브시스템은 하나 이상의 손이 ROI 내에 존재하는지 여부를 결정한다. 자동 포커스 서브시스템은 깊이 센서(320) 또는 다른 전면 센서(1525)로부터 손에 대한 데이터를 획득할 수 있다. 수집된 손 데이터는 ROI에 대한 사용자의 물리적 손의 위치를 평가하기 위해 디스플레이 FOV 상의 대응하는 위치로 조정될 수 있다. 이것은 프레임 단위로 또는 프레임 그룹을 사용하여 수행될 수 있다.
단계 1715에서, 사용자의 손 중 하나 이상이 ROI에 없을 때, 자동 포커스 서브시스템은 ROI에서 검출된 환경에 자동 포커싱하여 정상적으로 계속 동작한다. 단계 1720에서, 하나 이상의 손이 ROI 내에서 검출되면, 자동 포커스 서브시스템은, 손의 특징이 사용자가 홀로그램과 인터랙션하고 있음을 나타내거나 그렇지 않으면 사용자의 손이 관심 지점이 아님을 나타내는지를 결정한다. 단계 1730에서, 사용자의 손이 관심 지점으로 결정되면, 자동 포커스 서브시스템은 ROI 내의 콘텐츠에서 카메라에 대한 자동 포커스 동작을 트리거한다. 단계 1725에서, 사용자의 손이 관심 지점이 아닌 것으로 결정되면, 자동 포커스 서브시스템은 카메라에 대한 자동 포커스 동작을 억제한다.
도 18은 대표적으로 참조 번호 1805로 나타내는, 자동 포커스 동작의 트리거 또는 디스에이블을 결정하기 위해 자동 포커스 서브시스템에서 사용하는 예시적인 손 특징의 분류법을 보여준다. 특징은 ROI 내부 및 주변에서의 손 움직임의 페이스(pace)(1810)를 포함할 수 있고, 이를 사용하여, 자동 포커스 서브시스템은 캡처된 손 데이터가, 손 페이스가 사전 설정된 속도 제한(예컨대, 초당 미터)을 충족하거나 초과하거나 또는 충족하지 못하거나 초과하지 못하는 것을 나타낼 때 포커스 동작을 트리거하거나 억제한다. 따라서, 예컨대 손 데이터가, 손 페이스가 사전 설정된 속도 제한을 충족한다고 나타내면 손이 ROI 내부에 있더라도 자동 포커스 동작이 억제될 수 있다. 이렇게 하면 사용자가 전면 센서 앞에서 손을 산발적으로 움직이는 경우나 손이 달리 일시적일 때 렌즈가 헌팅 효과에 관여하는 것을 방지할 수 있다.
자동 포커스 동작을 트리거할지 디스에이블할지에 영향을 미칠 수 있는 또 다른 특징은 하나 이상의 손이 ROI 내에 배치되고 (예컨대, ROI의 특정 영역 내에서) 정적으로 위치하는 지속 시간(1815)을 포함한다. 미리 설정된 임계값 제한(예컨대, 3초)을 충족하는 지속 시간 동안 하나 이상의 손이 정적으로 위치하지 있지 않으면 자동 포커스 동작이 디스에이블될 수 있다. 반대로, 자동 포커스 동작은 사전 설정된 임계 시간 제한을 충족하는 지속 시간 동안 하나 이상의 손이 ROI 또는 ROI의 일부 내에 정적으로 위치할 때 실행될 수 있다.
검출된 손의 크기(1820)도 자동 포커스 동작의 트리거 또는 디스에이블을 결정하는 데에 사용될 수 있다. 사용자의 손 크기를 자동 포커스 서브시스템 결정의 기준으로 사용하면, 예컨대 다른 사용자의 손이 자동 포커스 동작에 영향을 미치는 것을 방지할 수 있다. 사용자의 손 포즈(예컨대, 디바이스 입력을 나타내는 손 포즈)(1825)도 자동 포커스 동작의 트리거 또는 억제를 결정하기 위해 자동 포커스 서브시스템에 의해 사용될 수 있다. 예를 들어, 특정 포즈는 관련이 없거나 산발적인 손 움직임일 수 있지만, 일부 손 포즈는 입력에 사용되거나 사용자가 무언가를 가리키는 것으로 인식될 수 있다. 생산적인 것으로 식별되는 손 포즈는 자동 포커스 서브시스템이 사용자의 손에 포커싱하는 이유일 수 있다.
모션 방향(예컨대, 앞뒤, 좌우, 안팎, 대각선 등)(1830)이 자동 포커스 동작의 트리거 또는 억제를 결정하는 데 사용될 수 있다. 전면 센서 FOV에서 사용자의 어느 손(예컨대, 왼손 또는 오른손)(1835)이 검출되고 손의 어느 부위가 검출되는지(1840)가 또한 자동 포커스 동작의 트리거 또는 억제를 결정하는 데에 사용될 수 있다. 예를 들어, 한 손은 ROI 내의 사용자의 관심 지점에 관하여 더 결정적일 수 있다. 예를 들어, 사용자는 일반적으로 한 손을 사용하여 홀로그램과 인터랙션할 수 있으므로 해당 손이 반드시 관심 지점일 필요는 없다. 반면, 반대 손은 메뉴를 여는 데 사용되거나, 혼합 현실 공간 내에서 포인터로 사용되거나, 그렇지 않으면 사용자의 관심 지점이다. 도시하지 않는 기타 특징(1845)도 자동 포커스 동작의 트리거 또는 억제를 결정할 때에 기준으로서 사용될 수 있다.
도 19 내지 도 21은 로컬 HMD 디바이스(110) 또는 다른 적절한 컴퓨팅 디바이스를 사용하여 수행될 수 있는 예시적인 방법(1900, 2000, 2100)의 흐름도이다. 특별히 언급되지 않는 한, 순서도에 도시하고 본문에서 설명하는 방법 또는 단계는 특정 순서나 순서로 제한되지 않는다. 또한, 방법 또는 방법의 단계의 일부는 동시에 발생하거나 수행될 수 있으며 그 방법 또는 단계의 모두는 이러한 구현예의 요건에 따라 주어진 구현예 내에서 수행되어야 하는 것은 아니며 일부 방법 또는 단계가 선택적으로 사용될 수 있다.
도 19에 있어서 단계 1905에서, 로컬 HMD 디바이스는 로컬 HMD 디바이스 주변의 로컬 물리적 환경에서 시야(FOV)에 걸쳐 장면을 캡처하도록 구성된 카메라에 대한 자동 포커스 동작을 인에이블한다. 단계 1910에서, 로컬 HMD 디바이스가 센서 세트를 사용하여 사용자의 손에 대한 데이터를 수집한다. 단계 1915에서, 로컬 HMD 디바이스는 사용자 손에 대한 수집 데이터가 자동 포커스 서브시스템의 하나 이상의 기준을 만족하지 못하는 것에 기초하여 카메라에 대한 자동 포커스 동작을 억제한다.
도 20에 있어서 단계 2005에서, 컴퓨팅 디바이스는 물리적 환경에서 컴퓨팅 디바이스를 사용하는 동안 사용자의 하나 이상의 손을 추적하기 위한 데이터를 캡처한다. 단계 2010에서, 컴퓨팅 디바이스는 컴퓨팅 디바이스의 시야(FOV) 내에서 관심 영역(ROI)을 선택한다. 단계 2015에서, 컴퓨팅 디바이스는 캡처된 손 추적 데이터로부터, 사용자의 하나 이상의 손의 일부가 ROI 내에 위치하는지 여부를 결정한다. 단계 2020에서, 컴퓨팅 디바이스는 장면을 캡처하도록 구성되는, 컴퓨팅 디바이스 상에 배치된 카메라의 자동 포커스 동작을 트리거하거나 디스에이블한다.
도 21에 있어서 단계 2105에서, 컴퓨팅 디바이스는 적어도 하나의 홀로그램을 디스플레이 상에 렌더링하고, 홀로그램은 물리적 환경에서 알려진 위치에 위치한 가상 오브젝트를 포함한다. 단계 2110에서, 컴퓨팅 디바이스는 깊이 센서를 사용하여, 물리적 환경에서 사용자의 하나 이상의 손에 대한 위치 추적 데이터를 캡처한다. 단계 2115에서, 컴퓨팅 디바이스는 위치 추적 데이터로부터, 사용자의 하나 이상의 손이 알려진 위치에서 홀로그램과 인터랙션하고 있는지를 결정한다. 단계 2120에서, 컴퓨팅 디바이스는 사용자의 하나 이상의 손이 홀로그램과 인터랙션하고 있지 않다는 결정에 응답하여 자동 포커스 서브시스템의 동작을 트리거한다. 단계 2125에서, 컴퓨팅 디바이스는 사용자의 하나 이상의 손이 홀로그램과 인터랙션하고 있다는 결정에 응답하여 자동 포커스 서브시스템의 동작을 억제한다.
도 22는 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 본 기술이 구현될 수 있는 PC(퍼스널 컴퓨터) 또는 서버와 같은 예시적인 컴퓨터 시스템(2200)의 단순화된 블록도이다. 예를 들어, HMD 디바이스(110)는 컴퓨터 시스템(2200)과 통신할 수 있다. 컴퓨터 시스템(2200)은 프로세서(2205), 시스템 메모리(2211), 및 시스템 메모리(2211)를 비롯한 다양한 시스템 컴포넌트들을 프로세서(2205)에 연결하는 시스템 버스(2214)를 포함한다. 시스템 버스(2214)는 메모리 버스나 메모리 컨트롤러, 주변 버스, 또는 각종의 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스를 포함하는 다양한 타입의 버스 구조의 임의의 것일 수 있다. 시스템 메모리(2211)는 리드 온리 메모리(ROM)(2217) 및 랜덤 액세스 메모리(RAM)(2221)를 포함한다. 예컨대, 시동 중에, 컴퓨터 시스템(2200) 내의 엘리먼트들 간의 정보 이동을 도와주는 기본 루틴을 포함하는 기본 입출력 시스템(2225)(BIOS)이 ROM(2217)에 저장된다. 컴퓨터 시스템(2200)은 내부에 배치된 하드 디스크(도시 생략)에 대해 판독 및 기록을 하기 위한 하드 디스크 드라이브(2228), 이동식 자기 디스크(2233)(예컨대, 플로피 디스크)에 대해 판독 또는 기록을 하기 위한 자기 디스크 드라이브(2230), 및 CD(콤팩트 디스크), DVD(디지털 다목적 디스크), 또는 기타 광학 매체와 같은 이동식 광디스크(2243)에 대해 판독 또는 기록을 하기 위한 광 디스크 드라이브(2238)를 더 포함할 수 있다. 하드 디스크 드라이브(2228), 자기 디스크 드라이브(2230), 및 광 디스크 드라이브(2238)는 각각 하드 디스크 드라이브 인터페이스(2246), 자기 디스크 드라이브 인터페이스(2249), 및 광 드라이브 인터페이스(2252)에 의해 각각 시스템 버스(2214)에 접속된다. 드라이브 및 그 연관된 컴퓨터 판독 가능 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 및 컴퓨터 시스템(2200)에 대한 기타 데이터의 비휘발성 스토리지를 제공한다. 이 예시에는 하드 디스크, 이동식 자기 디스크(2233), 및 이동식 광 디스크(2243)가 포함되지만, 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 데이터 카트리지, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM) 등과 같이 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독 가능 저장 매체들도 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하기 위한 본 기술의 일부 애플리케이션에서 사용될 수 있다. 또한, 본 명세서에서 사용하는 컴퓨터 판독 가능 저장 매체라는 용어는 매체 유형의 하나 이상의 인스턴스(예컨대, 하나 이상의 자기 디스크, 하나 이상의 CD 등)를 포함한다. 본 명세서 및 청구범위의 목적을 위해, "컴퓨터 판독 가능 저장 매체"라는 문구 및 그 변형은 비일시적 실시형태들을 망라하는 것이 의도되며, 파동, 신호, 및/또는 기타 일시적(transitory) 및/또는 무형적(intangible) 통신 매체는 포함하지 않는다.
운영 체제(2255), 하나 이상의 애플리케이션 프로그램(2257), 기타 프로그램 모듈(2260), 및 프로그램 데이터(2263)를 비롯한 다수의 프로그램 모듈이 하드 디스크, 자기 디스크(2233), 광 디스크(2243), ROM(2217), 또는 RAM(2221) 상에 저장될 수 있다. 사용자는 키보드(2266)와 같은 입력 디바이스 및 마우스와 같은 포인팅 디바이스(2268)를 통해 컴퓨 시스템(2200)에 커맨드 및 정보를 입력할 수 있다. 다른 입력 디바이스(도시 생략)는 마이크로폰, 조이스틱, 게임 패드, 위성 안테나(satellite dish), 스캐너, 트랙볼, 터치패드, 터치스크린, 터치 감지 디바이스, 음성 커맨드 모듈 또는 디바이스, 사용자 모션 또는 사용자 제스처 캡처 디바이스 등을 포함할 수 있다. 이들 및 기타 입력 디바이스는 종종 시스템 버스(2214)에 연결된 직렬 포트 인터페이스(2271)를 통해 프로세서(2205)에 접속되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus)와 같은 기타 인터페이스에 의해 접속될 수도 있다. 모니터(2273) 또는 다른 유형의 디스플레이 디스플레이도 비디오 어댑터(2275)와 같은 인터페이스를 통해 시스템 버스(2214)에 접속된다. 모니터(2273) 외에도, 퍼스널 컴퓨터는 일반적으로 스피커 및 프린터와 같은 다른 주변 출력 디바이스(도시 생략)를 포함한다. 도 22에 도시하는 예시는 또한 호스트 어댑터(2278), SCSI(Small Computer System Interface) 버스(2283), 및 SCSI 버스(2283)에 접속되는 외부 저장 디바이스(2276)를 포함한다.
컴퓨팅 시스템(2200)은 리모트 컴퓨터(2288)와 같은 하나 이상의 리모트 컴퓨터에 대한 논리적 접속을 사용하여 네트워킹 환경에서 동작 가능하다. 리모트 컴퓨터(2288)는 다른 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스(peer device), 또는 기타 공통 네트워크 노드로서 선택될 수 있고, 도 22에는 단일의 대표적 리모트 메모리/메모리 저장 디바이스(2290)만이 도시되지만, 통상 컴퓨터 시스템(2200)에 대해 전술한 다수의 엘리먼트 또는 전부를 포함한다. 도 22에 도시하는 논리적 접속은 LAN(local area network)(2293) 및 WAN(wide area network)(2295)를 포함한다. 보통 그러한 네트워킹 환경은 예컨대 사무실, 기업 규모의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 디플로이된다.
LAN 네트워킹 환경에서 사용될 경우, 컴퓨터 시스템(2200)은 네트워크 인터페이스 또는 어댑터(2296)를 통해 LAN(2293)에 접속된다. WAN 네트워킹 환경에서 사용될 경우, 컴퓨터 시스템(2200)은 통상, 광대역 모뎀(2298), 네트워크 게이트웨이, 또는 인터넷 등의 WAN(2295)을 통한 통신을 확립하기 위한 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 광대역 모뎀(2298)은 직렬 포트 인터페이스(2271)를 통해 시스템 버스(2214)에 접속된다. 네트워킹 환경에서, 컴퓨터 시스템(2200) 또는 그 일부에 관련된 프로그램 모듈은 리모트 메모리 저장 디바이스(2290)에 저장될 수 있다. 도 22에 도시하는 네트워크 접속은 예시이며 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하기 위한 본 기술의 애플리케이션의 특정 요건에 따라 컴퓨터들 간의 통신 링크를 확립하는 다른 수단이 사용될 수 있는 것을 알아야 한다.
도 23은 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 본 기술을 구현하기 위해 사용될 수 있는, 클라우드 컴퓨팅 서비스 또는 분산된 컴퓨팅 서비스를 제공하는 예시적인 데이터센터(2300)의 상위 레벨 블록도이다. 예를 들어, HMD 디바이스(105)는 스트리밍 콘텐츠를 수신하는 것과 같이 데이터 센터(2300)에 의해 제공되는 솔루션을 활용할 수 있다. 복수의 서버(2301)는 데이터 센터 관리 컨트롤러(2302)에 의해 관리된다. 로드 밸런서(2303)는 단일 서버를 압도할 수 있는 상황을 피하기 위해 서버(2301)에 걸쳐 요청 및 컴퓨팅 워크로드를 분배한다. 로드 밸런서(2303)는 데이터센터(2300)의 리소스의 사용 가능 용량과 성능을 최대화한다. 라우터/스위치(2304)는, 예컨대 근거리 통신망(LAN) 또는 인터넷일 수 있는 외부 네트워크(2305)를 통해 서버(2301) 사이에서 데이터 센터(2300)와 외부 리소스와 사용자(도시 생략) 사이에서 데이터 트래픽을 지원한다.
서버(2301)는 스탠드얼론 컴퓨팅 디바이스일 수도 있고/있거나 하나 이상의 서버 디바이스의 랙에서 개별 블레이드로서 구성될 수도 있다. 서버(2301)는 다른 데이터베이스 엔티티와의 통신을 관리하는 입출력(I/O) 커넥터(2306)를 갖는다. 각 서버(2301) 상의 하나 이상의 호스트 프로세서(2307)는 다수의 가상 머신(VM)(2309)을 지원하는 호스트 운영 체제(O/S)(2308)를 실행한다. 각각의 VM(2309)은 서버 상의 각각의 VM O/S(2310)가 상이하거나 동일하거나 이 둘의 혼합이 되도록 자체 O/S를 실행할 수 있다. VM O/S(2310)는 예컨대 동일한 O/S의 상이한 버전(예컨대, Windows® 운영 체제의 상이한 현재 및 레거시 버전을 실행하는 상이한 VM)일 수 있다. 추가로 또는 대안으로, VM O/S(2310)은 상이한 제조업체에 의해 제공될 수도 있다(예컨대, 일부 VM은 Windows® 운영 체제를 실행하고 다른 VM은 Linux® 운영 체제를 실행함). 각각의 VM(2309)은 또한 하나 이상의 애플리케이션(앱)(2311)을 실행할 수 있다. 각각의 서버(2301)는 또한 소프트웨어 코드, 데이터 등을 저장하기 위한, 호스트 프로세서(2307) 및 VM(2309)에 의해 액세스되고 사용될 수 있는 스토리지(2312)(예를 들어, 하드 디스크 드라이브(HDD)) 및 메모리(2313)(예를 들어, RAM)를 포함한다. 일 실시형태에서, VM(2309)은 본 명세서에 개시하는 바와 같이 데이터 평면 API를 채택할 수 있다.
데이터센터(2300)는 고객이 서버나 부가 네트워킹을 추가할 필요 없이 필요에 따라 애플리케이션을 동적으로 프로비저닝하고 확장할 수 있는 풀링된 리소스(pooled resource)를 제공한다. 이를 통해 고객은 애플리케이션별로 애드혹 기반으로 인프라구조를 조달, 프로비저닝 및 관리할 필요 없이 필요한 컴퓨팅 리소스를 획득할 수 있다. 클라우드 컴퓨팅 데이터센터(2300)는 현재의 해당 비즈니스 요구를 충족하기 위해 고객이 리소스를 동적으로 확장하거나 축소하게 할 수 있다. 또한, 데이터센터 오퍼레이터는 고객에게 사용량 기반 서비스를 제공하여 필요할 때 사용한 리소스에 대해서만 비용을 지불하도록 할 수 있다. 예를 들어, 고객은 처음에 서버(23011)에서 하나의 VM(2309)을 사용하여 애플리케이션(2311)을 실행할 수 있다. 애플리케이션(2311)에 대한 수요가 증가할 때, 데이터센터(2300)는 필요에 따라 동일한 서버(23011) 및/또는 새로운 서버(2301N)에서 추가 VM(2309)을 활성화할 수 있다. 이들 추가 VM(2309)은 나중에 애플리케이션에 대한 수요가 감소하면 비활성화될 수 있다.
데이터센터(2300)는 보장된 가용성, 재해 복구, 및 백업 서비스를 제공할 수 있다. 예를 들어, 데이터센터는 서버(23011)에서 하나의 VM(2309)를 고객 애플리케이션에 대한 기본 위치(primary location)로서 지정할 수 있으며 제1 VM 또는 서버(23011)에 장애가 발생하는 경우에 동일한 또는 상이한 서버 상의 제2 VM(2309)를 대기 또는 백업으로서 활성화할 수 있다. 데이터센터 관리 컨트롤러(2302)는 고객의 개입 없이, 들어오는 사용자 요청을 기본 VM에서 백업 VM으로 자동으로 시프트한다. 데이터센터(2300)가 단일 위치로서 예시되고 있지만, 서버(2301)는 추가 중복성 및 재해 복구 기능을 제공하기 위해 전세계의 여러 위치에 분산될 수 있는 것이 이해될 것이다. 추가로, 데이터센터(2300)는 단일 기업 사용자에게 서비스를 제공하는 온-프레미스 사설 시스템일 수 있거나, 다수의 관련되지 않은 고객에게 서비스를 제공하는 공개 액세스 가능한 분산 시스템이거나, 이 둘의 조합일 수도 있다.
DNS(Domain Name System) 서버(2314)는 도메인 및 호스트 이름을 데이터센터(2300)의 모든 역할, 애플리케이션, 및 서비스에 대한 IP(인터넷 프로토콜) 어드레스로 분석된다. DNS 로그(2315)는 역할별로 분석되는 도메인 이름의 레코드를 유지한다. 여기서는 DNS가 예로서 사용되고 다른 이름 분석 서비스 및 도메인 이름 로깅 서비스가 종속성을 식별하는 데 사용될 수 있음이 이해될 것이다.
데이터센터 상태 모니터링(health monitoring)(2316)은 데이터센터(2300) 내의 물리적 시스템, 소프트웨어 및 환경의 상태(health)를 모니터링한다. 상태 모니터링(2316)은 데이터 센터(2300) 내의 서버, 블레이드, 프로세서, 또는 애플리케이션에서 문제가 검출될 때에 또는 네트워크 대역폭 또는 통신 문제가 발생할 때에 데이터 센터 관리자에게 피드백을 제공한다.
도 24는 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 본 기술에 있어서, 스마트폰, 태블릿 컴퓨터, 랩탑 컴퓨터, 또는 퍼스널 컴퓨터와 같은 컴퓨팅 디바이스에 대한 예시적인 아키텍처(2400)를 보여준다. 도 24의 컴퓨팅 디바이스는 자동 포커스 서브시스템에서 헌팅 효과를 줄임으로써 이익을 얻을 수 있는 HMD 디바이스(110)에 대한 대안일 수 있다. 일부 컴포넌트들이 도 24에 도시되어 있지만, 여기에 개시되나 도시되지 않는 다른 컴포넌트들도 컴퓨팅 디바이스와 함께 가능하다.
도 24에 예시된 아키텍처(2400)는 하나 이상의 프로세서(2402)(예컨대, 중앙 처리 장치, 전용 인공 지능 칩, 그래픽 처리 장치 등), RAM(랜덤 액세스 메모리)(2406) 및 ROM(리드 온리 메모리)(2408)을 포함한 시스템 메모리(2404), 및 아키텍처(2400) 내의 컴포넌트들을 동작 가능하게 기능적으로 연결하는 시스템 버스(2410)를 포함한다. 예컨대, 시동 중에, 아키텍처(2400) 내의 엘리먼트들 간의 정보 이동을 도와주는 기본 루틴을 포함하는 기본 입출력 시스템이 대개 ROM(2408)에 저장된다. 아키텍처(2400)는 애플리케이션, 파일 시스템 및 운영 체제를 구현하는 데 사용되는 소프트웨어 코드 또는 기타 컴퓨터 실행 코드를 저장하기 위한 대용량 저장 장치(2412)를 더 포함한다. 대용량 저장 장치(2412)는 버스(2410)에 접속되는 대용량 저장 컨트롤러(도시 생략)를 통해 프로세서(2402)에 접속된다. 대용량 저장 디바이스(2412) 및 그와 연관된 컴퓨터 판독 가능 저장 매체는 아키텍처(2400)에 대한 비휘발성 스토리지를 제공한다. 여기에 포함된 컴퓨터 판독 가능 저장 매체에 대한 설명은 하드 디스크 또는 CD-ROM 드라이브와 같은 대용량 저장 디바이스를 가리키지만, 당업자라면 컴퓨터 판독 가능 저장 매체가 아키텍처(2400)에 의해 액세스될 수 있는 임의의 사용 가능한 저장 매체일 수 있음을 이해할 수 있을 것이다.
비제한적인 예를 들면, 컴퓨터 판독 가능 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다. 예를 들면, 컴퓨터 판독 가능 매체는 RAM, ROM, EPROM(소거 가능한 프로그래머블 리드 온리 메모리), EEPROM(전기적 소거 가능한 프로그래머블 리드 온리 메모리), 플래시 메모리, 또는 기타 솔리드 스테이트 메모리 기술, CD-ROM, DVD, HD-DVD(하이 데피니션 DVD), 블루레이 또는 기타 광 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 저장 또는 기타 자기 저장 디바이스, 또는 원하는 정보를 저장하는 데 사용될 수 있고 아키텍처(2400)에 의해 액세스될 수 있는 기타 매체를 포함하나, 이들에 한정되지는 않는다.
다양한 실시형태에 따르면, 아키텍처(2400)는 네트워크를 통해 리모트 컴퓨터에 대한 논리적 접속을 사용하여 네트워크 환경에서 동작할 수 있다. 아키텍처(2400)는 버스(2410)에 접속된 네트워크 인터페이스 유닛(2416)을 통해 네트워크에 접속할 수 있다. 네트워크 인터페이스 유닛(2416)은 또한 다른 유형의 네트워크 및 리모트 컴퓨터 시스템에 접속하는 데에도 사용될 수 있음이 이해될 것이다. 아키텍처(2400)는 또한 키보드, 마우스, 터치패드, 터치스크린, 버튼과 스위치 같은 제어 디바이스 또는 전자 스타일러스를 포함한 다수의 다른 디바이스(도 24에는 도시하지 않음)로부터 입력을 수신 및 처리하기 위한 입출력 컨트롤러(2418)를 포함할 수 있다. 마찬가지로, 입출력 컨트롤러(2418)는 디스플레이 스크린, 사용자 인터페이스, 프린터, 또는 다른 유형의 출력 디바이스(역시 도 24에 도시되지 않음)에 출력을 제공할 수 있다.
여기서 설명하는 소프트웨어 컴포넌트는 프로세서(2402)에 로드되고 실행될 때 프로세서(2402) 및 전체 아키텍처(2400)를 범용 컴퓨팅 시스템으로부터 여기에 제시한 기능을 용이하게 하도록 커스터마이징되는 특수 목적 컴퓨팅 시스템으로 변환할 수 있음이 이해될 것이다. 프로세서(2402)는 개별적으로 또는 집합적으로 임의의 수의 상태를 상정할 수 있는 임의의 수의 트랜지스터 또는 다른 개별 회로 엘리먼트로부터 구축될 수 있다. 보다 구체적으로, 프로세서(2402)는 여기에 개시한 소프트웨어 모듈 내에 포함된 실행 가능 명령어에 응답하여 유한 상태 머신으로서 동작할 수 있다. 이들 컴퓨터 실행 가능 명령어는 프로세서(2402)가 상태 전환하는 방식을 지정함으로써 프로세서(2402)를 변환할 수 있으며, 이에 따라 프로세서(2402)를 구성하는 트랜지스터 또는 다른 개별 하드웨어 엘리먼트를 변환할 수 있다.
여기에 제시한 소프트웨어 모듈의 인코딩도 여기에 제시한 컴퓨터 판독 가능 저장 매체의 물리적 구조를 변환할 수 있다. 물리적 구조의 특정 변환은 본 설명의 상이한 구현예에서 다양한 팩터에 의존할 수 있다. 그러한 팩터의 예는 컴퓨터 판독 가능 저장 매체를 구현하는 데 사용되는 기술, 컴퓨터 판독 가능 저장 매체가 1차 또는 2차 스토리지로서 특징을 갖는지 여부, 등을 포함할 수 있지만 이에 제한되는 않는다. 예를 들어, 컴퓨터 판독 가능 저장 매체가 반도체 기반의 메모리로서 구현되는 경우, 여기에 개시한 소프트웨어는 반도체 메모리의 물리적 상태를 변환하여 컴퓨터 판독 가능 저장 매체 상에 인코딩될 수 있다. 예를 들어, 소프트웨어는 반도체 메모리를 구성하는 트랜지스터, 커패시터 또는 기타 개별 회로 엘리먼트의 상태를 변환할 수 있다. 소프트웨어는 또한 거기에 데이터를 저장하기 위해 그러한 컴포넌트의 물리적 상태를 변환할 수 있다.
다른 예로서, 여기에 개시한 컴퓨터 판독 가능 저장 매체는 자기 또는 광학 기술을 사용하여 구현될 수 있다. 그러한 구현예에서, 여기에 제시한 소프트웨어는 소프트웨어가 인코딩될 때 자기 또는 광학 매체의 물리적 상태를 변환할 수 있다. 이들 변환은 주어진 자기 매체 내의 특정 위치의 자기 특성을 변경하는 것을 포함할 수 있다. 이들 변환은 또한 특정 위치의 광학 특성을 변경하기 위해 주어진 광학 매체 내의 특정 위치의 물리적 특징 또는 특성을 변경하는 것을 포함할 수 있다. 물리적 매체의 다른 변환도 본 설명의 범위 및 사상을 벗어나지 않고서 가능하며, 전술한 예는 본 논의를 용이하게 하기 위해 제공되는 것일 뿐이다.
전술한 바에 비추어, 여기에 제시한 소프트웨어 컴포넌트를 저장하고 실행하기 위해 다수의 유형의 물리적 변환이 아키텍처(2400)에서 발생하는 것이 이해될 것이다. 또한, 아키텍처(2400)는 웨어러블 디바이스, 핸드헬드 컴퓨터, 임베디드 컴퓨터 시스템, 스마트폰, PDA, 및 당업자에게 공지된 기타 유형의 컴퓨팅 디바이스를 비롯한 기타 유형의 컴퓨팅 디바이스를 포함할 수 있다는 것이 이해될 것이다. 아키텍처(2400)는 도 24에 도시한 컴포넌트 모두를 포함하지 않을 수도 있고, 도 24에 명시적으로 도시하지 않은 다른 컴포넌트를 포함할 수도 있으며, 또는 도 24에 도시한 것과 완전히 다른 아키텍처를 사용할 수도 있는 것이 또한 고려된다.
도 25는 씨스루 혼합 현실 디스플레이 시스템(2500)의 일 특정 예시를 보여주고, 도 26은 그 시스템(2500)의 기능 블록도를 보여준다. 예시적인 디스플레이 시스템(2500)은 도면 전체에서 묘사한 HMD 디바이스(110)의 보충 설명을 제공한다. 디스플레이 시스템(2500)은 씨스루 디스플레이 서브시스템(2504)의 일부를 형성하는 하나 이상의 렌즈(2502)를 포함하여, 렌즈(2502)를 사용해 이미지가 디스플레이될 수 있게 한다(예컨대, 렌즈(2502) 상으로의 투영을 사용해, 하나 이상의 도파관 시스템이 렌즈(2502)에 그리고/또는 기타 적절한 방식으로 통합된다). 디스플레이 시스템(2500)은 사용자가 보고 있는 배경 장면 및/또는 물리적 환경의 이미지를 획득하도록 구성된 하나 이상의 외향(outward-facing) 이미지 센서(2506)를 더 포함하고, 사용자로부터의 음성 커맨드와 같은 사운드를 검출하도록 구성된 하나 이상의 마이크로폰(2508)을 포함할 수 있다. 외향 이미지 센서(2506)는 하나 이상의 깊이 센서 및/또는 하나 이상의 2차원 이미지 센서를 포함할 수 있다. 대안의 구성에 있어서, 전술한 바와 같이, 혼합 현실 또는 가상 현실 디스플레이 시스템은, 씨스루 디스플레이 서브시스템을 통합하는 대신, 외향 이미지 센서에 대한 뷰파인더 모드를 통해 혼합 현실 또는 가상 현실 이미지를 디스플레이할 수 있다.
디스플레이 시스템(2500)은 전술한 바와 같이 사용자의 각 눈의 시선 방향 또는 포커스의 방향 또는 위치를 검출하도록 구성된 시선 검출 서브시스템(2510)을 더 포함할 수 있다. 시선 검출 서브시스템(2510)은 임의의 적절한 방식으로 사용자의 눈 각각의 시선 방향을 결정하도록 구성될 수 있다. 예를 들어, 도시하는 예시에서는, 시선 검출 서브시스템(2510)이 사용자의 각 안구로부터 광의 반짝임(glint)을 반사시키도록 구성된 적외선 광원과 같은 하나 이상의 글린트 소스(2512), 및 사용자의 각 안구의 이미지를 캡처하도록 구성된 내향 센서(inward-facing sensor)와 같은 이미지 센서(2514)를 포함한다. 이미지 센서(2514)를 사용하여 수집된 이미지 데이터로부터 결정되는, 사용자의 안구 및/또는 사용자의 동공의 위치로부터의 반짝임의 변화가 시선의 방향을 결정하는 데 사용될 수 있다.
또한, 사용자의 눈에서 투사된 시선이 외부 디스플레이와 교차하는 위치를 사용하여 사용자가 응시하고 있는 오브젝트(예컨대, 디스플레이된 가상 오브젝트 및/또는 실제 배경 오브젝트)를 결정할 수 있다. 시선 검출 서브시스템(2510)은 광원 및 이미지 센서의 임의의 적절한 수 및 배열을 가질 수 있다. 일부 구현예에서, 시선 검출 서브시스템(2510)은 생략될 수도 있다.
디스플레이 시스템(2500)은 또한 추가 센서를 포함할 수 있다. 예를 들어, 디스플레이 시스템(2500)은 디스플레이 시스템(2500)의 위치가 결정될 수 있도록 하는 GPS(Global Positioning System) 서브시스템(2516)을 포함할 수 있다. 이것은 사용자의 인접한 물리적 환경에 위치할 수 있는 건물 등과 같은 실제 오브젝트를 식별하는 것을 도울 수 있다.
디스플레이 시스템(2500)은 사용자가 혼합 현실 또는 가상 현실 HMD 디바이스의 일부인 시스템을 착용하고 있을 때 사용자의 머리의 움직임 및 위치/방향/포즈를 검출하기 위한 하나 이상의 모션 센서(2518)(예컨대, 관성, 다축 자이로스코프, 또는 가속도 센서)를 더 포함할 수 있다. 잠재적으로 모션 데이터는, 시선 검출을 위해 또 외향 이미지 센서(2506)로부터의 이미지의 블러(blur)를 보정하는 데 도움이 되는 이미지 안정화를 위해, 눈 추적 글린트 데이터 및 외향 이미지 데이터와 함께 사용될 수 있다. 모션 데이터를 사용하면, 외향 이미지 센서(2506)로부터의 이미지 데이터가 리졸빙될 수 없는 경우에도, 시선 위치의 변화를 추적할 수 있다.
또한, 모션 센서(2518)뿐만 아니라 마이크로폰(2508) 및 시선 검출 서브시스템(2510)도 사용자 입력 디바이스로서 채택될 수 있어서, 사용자는 눈, 목 및/또는 머리의 제스처를 통해 또 경우에 따라서는 구두 명령(verbal command)을 통해 디스플레이 시스템(2500)과 인터랙션할 수 있다. 도 25 및 도 26에 도시하고 본문에서 설명하는 센서는 예시를 위해 포함된 것이고 특정 구현예의 요구를 충족하기 위해 임의의 다른 적절한 센서 및/또는 센서의 조합을 사용할 수 있으므로 어떠한 방식으로든 제한하려는 의도가 아님이 이해될 것이다. 예를 들어, 일부 구현예에서는 생체 센서(예컨대, 심박수 및 호흡수, 혈압, 뇌 활동, 체온 등을 검출) 또는 환경 센서(예컨대, 온도, 습도, 고도, UV(자외선) 조도 등을 검출)가 사용될 수 있다.
디스플레이 시스템(2500)은 통신 서브시스템(2526)을 통해 센서, 시선 검출 서브시스템(2510), 디스플레이 서브시스템(2504), 및/또는 다른 컴포넌트와 통신하는 로직 서브시스템(2522) 및 데이터 저장 서브시스템(2524)을 갖는 컨트롤러(2520)를 더 포함할 수 있다. 통신 서브시스템(2526)은 또한 프로세싱, 스토리지, 전력, 데이터 및 서비스와 같은 원격에 위치한 리소스와 함께 이루어지는 디스플레이 시스템의 동작을 용이하게 할 수 있다. 즉, 일부 구현예에서, HMD 디바이스는 상이한 컴포넌트들 및 서브시스템들 사이에서 리소스 및 능력을 분배할 수 있는 시스템의 일부로서 작동될 수 있다.
저장 서브시스템(2524)은, 예컨대 기타 작업 중에서 센서로부터 입력을 수신 및 해석하고, 사용자의 위치 및 움직임을 식별하고, 표면 재구성 및 다른 기술을 사용하여 실제 오브젝트를 식별하고, 사용자가 오브젝트를 볼 수 있도록 오브젝트와의 거리에 따라 디스플레이를 어둡게/흐릿하게 하기 위해, 로직 서브시스템(2522)에 의해 실행 가능한 저장된 명령어를 포함할 수 있다.
디스플레이 시스템(2500)은 오디오가 혼합 현실 또는 가상 현실 경험의 일부로서 사용될 수 있도록 하나 이상의 오디오 트랜듀서(2528)(예컨대, 스피커, 이어폰 등)와 함께 구성된다. 전력 관리 서브시스템(2530)은 디스플레이 시스템(2500)의 컴포넌트에 전력을 공급하기 위한 하나 이상의 배터리(2532) 및/또는 보호 회로 모듈(PCM) 및 연관된 충전기 인터페이스(2534) 및/또는 리모트 전력 인터페이스를 포함할 수 있다.
예시를 위해 디스플레이 시스템(2500)이 설명되었고, 따라서 제한되는 것이 의도되지 않음이 이해될 것이다. 또한, 디스플레이 디바이스는 본 구성의 범위에서 이탈하지 않으면서 도시한 것 외에, 추가적 및/또는 대안적 센서, 카메라, 마이크로폰, 입력 디바이스, 출력 디바이스 등을 포함할 수 있음은 물론이다. 또한, 디스플레이 디바이스의 물리적 구성과 그 다양한 센서 및 서브컴포넌트는 본 구성의 범위를 벗어나지 않고 다양한 상이한 형태를 가질 수 있다.
손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하기 위한 본 기술의 다양한 예시적인 실시형태를, 이제 모든 실시형태의 총괄 목록이 아니라 예시의 방식으로 제공한다. 실시예는 헤드 마운티드 디스플레이(HMD) 디바이스에 의해 수행되는, 자동 포커스 구현을 최적화하기 위한 방법을 포함하고, 이 방법은, 상기 HMD 디바이스 주변의 로컬 물리적 환경에서 시야(FOV)에 걸쳐 장면을 캡처하도록 구성되는, 상기 HMD 디바이스 내의 카메라에 대한 자동 포커스 동작을 인에블이블하는 단계 - 상기 카메라는 상기 HMD 디바이스에 동작 가능하게 연결되는 하나 이상의 센서의 세트의 멤버임 -; 상기 센서의 세트를 사용하여 사용자의 손에 대한 데이터를 수집하는 단계; 및 상기 사용자의 손에 대한 수집 데이터가 자동 포커스 서브시스템의 하나 이상의 기준을 충족하지 못하는 것에 기초하여 상기 카메라에 대한 자동 포커스 동작을 억제하는 단계를 포함한다.
다른 실시예에서, 상기 센서의 세트는 상기 HMD 디바이스가 동작하는 로컬 물리적 환경을 기술하는 데이터를 수집한다. 다른 실시예에서, 상기 HMD 디바이스는, 로컬 사용자가 상기 로컬 물리적 환경을 관찰하고, 상기 HMD 디바이스가 하나 이상의 가상 오브젝트를 렌더링하는 씨스루(see-through) 혼합 현실 디스플레이를 포함한다. 다른 실시예에서, 상기 FOV에 걸쳐 상기 카메라가 캡처한 장면 및 렌더링되는 가상 오브젝트는 리모트 컴퓨팅 디바이스에 콘텐츠로서 전송된다. 다른 실시예에서, 상기 FOV에 걸쳐 상기 카메라가 캡처한 장면 및 렌더링되는 가상 오브젝트는 상기 HMD 디바이스에 의해 합성 신호로 혼합되어 기록된다. 다른 실시예에서, 상기 방법은 상기 FOV 내에 관심 영역(ROI, region of interest)을 지정하는 단계를 더 포함하고, 상기 자동 포커스 서브시스템의 기준은 사용자의 손 중 하나 이상이 상기 ROI 내에서 국소적인 것을 나타내는 수집 데이터를 포함한다. 다른 실시예에서, 상기 ROI는 상기 로컬 물리적 환경 내의 3차원 장면을 포함한다. 다른 실시예에서, 상기 ROI는 크기, 형상, 또는 위치 중 적어도 하나가 동적으로 변한다. 다른 실시예에서, 상기 방법은 상기 사용자의 손에 대한 수집 데이터가 상기 자동 포커스 서브시스템의 하나 이상의 기준을 만족하는지를 결정하기 위해 하나 이상의 손의 특징을 평가하는 단계를 더 포함한다. 다른 실시예에서, 상기 손의 특징은 손 움직임의 페이스(pace)를 포함한다. 다른 실시예에서, 상기 손의 특징은 손의 어느 부위인지를 포함한다. 다른 실시예에서, 상기 손의 특징은 하나 이상의 손이 상기 ROI 내에 배치되는 지속 시간을 포함한다. 다른 실시예에서, 상기 손의 특징은 하나 이상의 손의 크기를 포함한다. 다른 실시예에서, 상기 손의 특징은 하나 이상의 손의 포즈를 포함한다. 다른 실시예에서, 상기 손의 특징은 하나 이상의 손에 대한 모션의 방향을 포함한다. 다른 실시예에서, 상기 카메라는 PV(사진/비디오) 카메라를 포함하고, 상기 센서의 세트는 상기 로컬 물리적 환경에서 깊이 데이터를 수집하여 상기 HMD 디바이스 사용자의 하나 이상의 손을 추적하도록 구성된 깊이 센서를 포함한다.
추가 실시예는 컴퓨터 판독 가능 명령어를 저장한 하나 이상의 하드웨어 기반의 비일시적 컴퓨터 판독 가능 메모리 디바이스를 포함하고, 상기 컴퓨터 판독 가능 명령어는, 컴퓨팅 디바이스 내의 하나 이상의 프로세서에 의해 실행될 때에 상기 컴퓨팅 디바이스로 하여금: 사용자가 물리적 환경에서 상기 컴퓨팅 디바이스를 사용하고 있는 동안에 사용자의 하나 이상의 손을 추적하기 위한 데이터를 캡처하고; 상기 컴퓨팅 디바이스의 시야(FOV) 내에서 관심 영역(ROI)을 선택하고 - 상기 컴퓨팅 디바이스는 상기 컴퓨팅 디바이스에 연결된 씨스루 디스플레이 상에 하나 이상의 가상 오브젝트를 렌더링하여 사용자로 하여금 혼합 현실 사용자 경험으로서 상기 물리적 환경 및 상기 하나 이상의 가상 오브젝트를 동시에 볼 수 있게 함 -; 상기 캡처된 손 추적 데이터로부터, 사용자의 하나 이상의 손의 일부가 상기 ROI 내에 위치하는지를 결정하고; 상기 결정에 응답하여, 상기 FOV에서 상기 물리적 환경의 적어도 일부를 포함하는 장면을 캡처하도록 구성되는, 상기 컴퓨팅 디바이스 상에 배치된 카메라의 자동 포커스 동작을 트리거 또는 디스에이블하게 하고, 상기 캡처된 손 추적 데이터로부터 도출되는, 상기 하나 이상의 손의 특징이, 상기 사용자의 하나 이상의 손이 상기 ROI 내에서 상기 사용자의 초점인 것을 나타내는 것에 응답하여, 상기 자동 포커스 동작이 트리거되고, 상기 캡처된 손 추적 데이터로부터 도출되는, 상기 하나 이상의 손의 특징이, 상기 사용자의 하나 이상의 손이 상기 ROI에서 일시적인 것을 나타내는 것에 응답하여, 상기 자동 포커스 동작이 디스에이블된다.
다른 실시예에서, 상기 캡처된 손 추적 데이터는 상기 컴퓨팅 디바이스에 동작 가능하게 연결된 전면 깊이 센서로부터의 것이다. 다른 실시예에서, 상기 컴퓨팅 디바이스는 헤드 마운티드 디스플레이(HMD) 디바이스, 스마트폰, 태블릿 컴퓨터, 또는 휴대용 컴퓨터를 포함한다. 다른 실시예에서, 상기 ROI는 상기 FOV의 중앙 영역에 위치한다. 다른 실시예에서, 실행 명령어는 또한, 상기 컴퓨팅 디바이스로 하여금 상기 물리적 환경에서 상기 FOV의 ROI 내에 상기 캡처된 손 추적 데이터를 대응시키게 한다.
다른 실시예는 사용자의 머리에 착용되도록 구성 가능한 컴퓨팅 디바이스를 포함하고, 상기 컴퓨팅 디바이스는 상기 컴퓨팅 디바이스와 연관된 자동 포커스 서브시스템의 원치 않은 헌팅 효과를 줄이도록 구성되며, 홀로그램을 렌더링하도록 구성되는 디스플레이; 상기 자동 포커스 서브시스템에 동작 가능하게 연결되고, 사용자가 위치하는 물리적 환경의 조정 가능하게 포커싱된 이미지를 캡처하도록 구성된 포커스 조정 가능 PV(사진/비디오) 카메라; 상기 물리적 환경에 관한 깊이 데이터를 3차원에서 캡처하도록 구성된 깊이 센서; 하나 이상의 프로세서; 및 컴퓨 판독 가능 명령어를 저장한 하나 이상의 하드웨어 기반 메모리 디바이스를 포함하며, 상기 컴퓨터 판독 가능 명령어는 하나 이상의 프로세서에 의해 실행될 때에 상기 컴퓨팅 디바이스로 하여금: 상기 디스플레이 상에 하나 이상의 홀로그램을 렌더링하고 - 상기 홀로그램은 상기 물리적 환경에서 알려진 위치에 배치된 가상 오브젝트를 포함함 -; 상기 깊이 센서를 사용하여 상기 물리적 환경 내에서 사용자의 하나 이상의 손에 대한 위치 추적 데이터를 추적하고; 상기 위치 추적 데이터로부터, 상기 사용자의 하나 이상의 손이 상기 알려진 위치에서 상기 홀로그램과 인터랙션하고 있는지를 결정하고; 상기 사용자의 하나 이상의 손이 상기 홀로그램과 인터랙션하고 있지 않다는 결정에 응답하여 상기 자동 포커스 서브시스템의 동작을 트리거하고; 상기 사용자의 하나 이상의 손이 상기 홀로그램과 인터랙션하고 있다는 결정에 응답하여 상기 자동 포커스 서브시스템의 동작을 억제하게 한다.
다른 실시예에서, 상기 자동 포커스 서브시스템의 동작은 상기 위치 추적 데이터로부터의, 상기 사용자의 하나 이상의 손이 안팎 움직임(in-out movement)을 사용하여 상기 홀로그램과 인터랙션하고 있다는 결정에 응답하여 억제된다.
구조적인 특징 및/또는 방법론적인 액트 특유의 언어로 청구 대상을 설명하였지만, 첨부하는 청구범위에서 규정되는 청구 대상은 전술한 특징 또는 액트에 반드시 한정되지 않는 것이 이해되어야 한다. 그보다는, 전술한 특정 특징 및 액트는 청구범위를 구현하는 실시예로서 개시되어 있다.

Claims (15)

  1. 헤드 마운티드 디스플레이(HMD, head-mounted display) 디바이스에 의해 수행되는, 자동 포커스 구현(auto-focus implementation)을 최적화하기 위한 방법에 있어서,
    상기 HMD 디바이스 주변의 로컬 물리적 환경에서 시야(FOV, field of view)에 걸쳐 장면을 캡처하도록 구성되는, 상기 HMD 디바이스 내의 카메라에 대한 자동 포커스 동작을 인에블이블하는 단계 - 상기 카메라는 상기 HMD 디바이스에 동작 가능하게 연결되는 하나 이상의 센서의 세트의 멤버임 -;
    상기 센서의 세트를 사용하여 사용자의 손에 대한 데이터를 수집하는 단계; 및
    상기 사용자의 손에 대한 수집 데이터가 자동 포커스 서브시스템의 하나 이상의 기준을 충족하지 못하는 것에 기초하여 상기 카메라에 대한 자동 포커스 동작을 억제하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 센서의 세트는 상기 HMD 디바이스가 동작하는 로컬 물리적 환경을 기술하는 데이터를 수집하는, 방법.
  3. 제2항에 있어서, 상기 HMD 디바이스는, 로컬 사용자가 상기 로컬 물리적 환경을 관찰하고, 상기 HMD 디바이스가 하나 이상의 가상 오브젝트를 렌더링하는 씨스루(see-through) 혼합 현실 디스플레이를 포함하는, 방법.
  4. 제3항에 있어서, 상기 FOV에 걸쳐 상기 카메라가 캡처한 장면 및 렌더링되는 가상 오브젝트는 리모트 컴퓨팅 디바이스에 콘텐츠로서 전송되는, 방법.
  5. 제3항에 있어서, 상기 FOV에 걸쳐 상기 카메라가 캡처한 장면 및 렌더링되는 가상 오브젝트는 상기 HMD 디바이스에 의해 합성 신호로 혼합되어 기록되는, 방법.
  6. 제1항에 있어서, 상기 FOV 내에 관심 영역(ROI, region of interest)을 지정하는 단계를 더 포함하고, 상기 자동 포커스 서브시스템의 기준은 사용자의 하나 이상의 손이 상기 ROI 내에서 국소적인(local) 것을 나타내는 수집 데이터를 포함하는, 방법.
  7. 제6항에 있어서, 상기 ROI는 상기 로컬 물리적 환경 내의 3차원 장면을 포함하는, 방법.
  8. 제6항에 있어서, 상기 ROI는 크기, 형상, 또는 위치 중 적어도 하나가 동적으로 변하는, 방법.
  9. 제6항에 있어서, 상기 사용자의 손에 대한 수집 데이터가 상기 자동 포커스 서브시스템의 하나 이상의 기준을 만족하는지를 결정하기 위해 상기 하나 이상의 손의 특징을 평가하는 단계를 더 포함하는, 방법.
  10. 제9항에 있어서, 상기 손의 특징은 손 움직임의 페이스(pace)를 포함하는, 방법.
  11. 제9항에 있어서, 상기 손의 특징은 손의 어느 부위인지를 포함하는, 방법.
  12. 제9항에 있어서, 상기 손의 특징은 상기 하나 이상의 손이 상기 ROI 내에 배치되는 지속 시간을 포함하는, 방법.
  13. 제1항에 있어서, 상기 카메라는 PV(사진/비디오) 카메라를 포함하고, 상기 센서의 세트는, 상기 로컬 물리적 환경에서 깊이 데이터를 수집하여 상기 HMD 디바이스 사용자의 하나 이상의 손을 추적하도록 구성된 깊이 센서를 포함하는, 방법.
  14. 컴퓨터 판독 가능 명령어를 저장한 하나 이상의 하드웨어 기반의 컴퓨터 판독 가능 메모리 디바이스에 있어서, 상기 컴퓨터 판독 가능 명령어는, 컴퓨팅 디바이스 내의 하나 이상의 프로세서에 의해 실행될 때에 상기 컴퓨팅 디바이스로 하여금:
    사용자가 물리적 환경에서 상기 컴퓨팅 디바이스를 사용하고 있는 동안에 사용자의 하나 이상의 손을 추적하기 위한 데이터를 캡처하고;
    상기 컴퓨팅 디바이스의 시야(FOV) 내에서 관심 영역(ROI)을 선택하고 - 상기 컴퓨팅 디바이스는 상기 컴퓨팅 디바이스에 연결된 씨스루 디스플레이(see-through display) 상에 하나 이상의 가상 오브젝트를 렌더링하여 사용자로 하여금 혼합 현실 사용자 경험으로서 상기 물리적 환경 및 상기 하나 이상의 가상 오브젝트를 동시에 볼 수 있게 함 -;
    캡처된 손 추적 데이터로부터, 사용자의 하나 이상의 손의 일부가 상기 ROI 내에 위치하는지를 결정하고;
    상기 결정에 응답하여, 상기 FOV에서 상기 물리적 환경의 적어도 일부를 포함하는 장면을 캡처하도록 구성되는, 상기 컴퓨팅 디바이스 상에 배치된 카메라의 자동 포커스 동작을 트리거 또는 디스에이블하게 하고,
    상기 캡처된 손 추적 데이터로부터 도출되는, 상기 하나 이상의 손의 특징이, 상기 사용자의 하나 이상의 손이 상기 ROI 내에서 상기 사용자의 초점인 것을 나타내는 것에 응답하여, 상기 자동 포커스 동작이 트리거되고,
    상기 캡처된 손 추적 데이터로부터 도출되는, 상기 하나 이상의 손의 특징이, 상기 사용자의 하나 이상의 손이 상기 ROI에서 일시적인 것을 나타내는 것에 응답하여, 상기 자동 포커스 동작이 디스에이블되는, 하나 이상의 하드웨어 기반의 컴퓨터 판독 가능 메모리 디바이스.
  15. 제14항에 있어서, 상기 캡처된 손 추적 데이터는 상기 컴퓨팅 디바이스에 동작 가능하게 연결된 전면 깊이 센서로부터의 것인, 하나 이상의 하드웨어 기반의 컴퓨터 판독 가능 메모리 디바이스.
KR1020217041314A 2019-05-31 2020-04-24 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 기술 KR20220013384A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/427,398 2019-05-31
US16/427,398 US10798292B1 (en) 2019-05-31 2019-05-31 Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
PCT/US2020/029670 WO2020242680A1 (en) 2019-05-31 2020-04-24 Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction

Publications (1)

Publication Number Publication Date
KR20220013384A true KR20220013384A (ko) 2022-02-04

Family

ID=70614688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217041314A KR20220013384A (ko) 2019-05-31 2020-04-24 손 제스처 인터랙션으로 혼합 현실 환경에서 카메라의 포커스를 설정하는 기술

Country Status (13)

Country Link
US (3) US10798292B1 (ko)
EP (3) EP4373122A3 (ko)
JP (2) JP7492974B2 (ko)
KR (1) KR20220013384A (ko)
CN (2) CN113826059B (ko)
AU (1) AU2020282272A1 (ko)
BR (1) BR112021023291A2 (ko)
CA (1) CA3138681A1 (ko)
IL (1) IL288336B2 (ko)
MX (1) MX2021014463A (ko)
SG (1) SG11202112531QA (ko)
WO (1) WO2020242680A1 (ko)
ZA (1) ZA202107562B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
WO2020209624A1 (en) * 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11927756B2 (en) * 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
BE1029715B1 (nl) 2021-08-25 2023-03-28 Rods&Cones Holding Bv Geautomatiseerde kalibratie van hoofdgedragen handenvrije camera
WO2023080767A1 (ko) * 2021-11-02 2023-05-11 삼성전자 주식회사 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
US12073017B2 (en) * 2021-11-02 2024-08-27 Samsung Electronics Co., Ltd. Wearable electronic device for displaying virtual object on a surface of a real object and method of controlling the same
KR102613391B1 (ko) * 2021-12-26 2023-12-13 주식회사 피앤씨솔루션 제스처를 이용해 동공 간 거리를 자동 조절하는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 제스처를 이용한 동공 간 거리 자동 조절 방법
WO2023146196A1 (ko) * 2022-01-25 2023-08-03 삼성전자 주식회사 비디오에서 사용자의 손을 결정하는 방법 및 전자 장치
CN115079825B (zh) * 2022-06-27 2024-09-10 辽宁大学 一种基于3d全息投影技术的互动医疗教学问诊系统
WO2024145189A1 (en) * 2022-12-29 2024-07-04 Canon U.S.A., Inc. System and method for multi-camera control and capture processing
CN116452655B (zh) * 2023-04-18 2023-11-21 深圳市凌壹科技有限公司 一种应用于mpis工控主板的贴合定位方法、装置、设备及介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4344299B2 (ja) 2004-09-16 2009-10-14 富士通マイクロエレクトロニクス株式会社 撮像装置及びオートフォーカス合焦時間報知方法
JP2007065290A (ja) 2005-08-31 2007-03-15 Nikon Corp オートフォーカス装置
JP5188071B2 (ja) 2007-02-08 2013-04-24 キヤノン株式会社 焦点調節装置、撮像装置及び、焦点調節方法
US8073198B2 (en) 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
JP5224955B2 (ja) 2008-07-17 2013-07-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP5789091B2 (ja) 2010-08-20 2015-10-07 キヤノン株式会社 撮像装置および撮像装置の制御方法
US8939579B2 (en) 2011-01-28 2015-01-27 Light Prescriptions Innovators, Llc Autofocusing eyewear, especially for presbyopia correction
US9077890B2 (en) 2011-02-24 2015-07-07 Qualcomm Incorporated Auto-focus tracking
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
WO2013055737A1 (en) 2011-10-14 2013-04-18 Pelco, Inc. Focus control for ptz cameras
US8848094B2 (en) 2011-12-01 2014-09-30 Sony Corporation Optimal blur matching selection for depth estimation
JP5373229B1 (ja) 2011-12-16 2013-12-18 オリンパスイメージング株式会社 撮像装置及びその撮像方法、コンピュータにより処理可能な追尾プログラムを記憶する記憶媒体
WO2014145166A2 (en) * 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
WO2015015966A1 (ja) 2013-08-01 2015-02-05 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置
US20150268728A1 (en) 2014-03-18 2015-09-24 Fuji Xerox Co., Ltd. Systems and methods for notifying users of mismatches between intended and actual captured content during heads-up recording of video
US10216271B2 (en) * 2014-05-15 2019-02-26 Atheer, Inc. Method and apparatus for independent control of focal vergence and emphasis of displayed and transmitted optical content
JP6281409B2 (ja) 2014-05-26 2018-02-21 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
JP6041016B2 (ja) * 2014-07-25 2016-12-07 裕行 池田 眼鏡型端末
KR102404790B1 (ko) * 2015-06-11 2022-06-02 삼성전자주식회사 카메라의 초점을 변경하는 방법 및 장치
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
US10048765B2 (en) 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US9910247B2 (en) 2016-01-21 2018-03-06 Qualcomm Incorporated Focus hunting prevention for phase detection auto focus (AF)
US10257505B2 (en) 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
EP3400505A1 (en) * 2016-05-10 2018-11-14 Google LLC Volumetric virtual reality keyboard methods, user interface, and interactions
WO2018005985A1 (en) * 2016-06-30 2018-01-04 Thalmic Labs Inc. Image capture systems, devices, and methods that autofocus based on eye-tracking
US10044925B2 (en) 2016-08-18 2018-08-07 Microsoft Technology Licensing, Llc Techniques for setting focus in mixed reality applications
US20180149826A1 (en) 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Temperature-adjusted focus for cameras
WO2018098607A1 (en) * 2016-11-29 2018-06-07 SZ DJI Technology Co., Ltd. Method and system of adjusting image focus
US10382699B2 (en) * 2016-12-01 2019-08-13 Varjo Technologies Oy Imaging system and method of producing images for display apparatus
DE212017000283U1 (de) * 2016-12-30 2019-07-31 Gopro, Inc. Am Körper tragbare Bildgebungsvorrichtung
KR102308937B1 (ko) * 2017-02-28 2021-10-05 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
JP6719418B2 (ja) 2017-05-08 2020-07-08 株式会社ニコン 電子機器
US10366691B2 (en) * 2017-07-11 2019-07-30 Samsung Electronics Co., Ltd. System and method for voice command context
US20190129607A1 (en) 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control

Also Published As

Publication number Publication date
US20220141379A1 (en) 2022-05-05
IL288336B2 (en) 2024-09-01
BR112021023291A2 (pt) 2022-01-04
EP3959587A1 (en) 2022-03-02
IL288336A (en) 2022-01-01
EP4373122A3 (en) 2024-06-26
CN113826059A (zh) 2021-12-21
SG11202112531QA (en) 2021-12-30
IL288336B1 (en) 2024-05-01
AU2020282272A1 (en) 2021-11-18
US11245836B2 (en) 2022-02-08
CA3138681A1 (en) 2020-12-03
JP7492974B2 (ja) 2024-05-30
EP4373122A2 (en) 2024-05-22
CN118295537A (zh) 2024-07-05
JP2022534847A (ja) 2022-08-04
JP2024125295A (ja) 2024-09-18
WO2020242680A1 (en) 2020-12-03
MX2021014463A (es) 2022-01-06
EP3959587B1 (en) 2024-03-20
EP4373121A2 (en) 2024-05-22
CN113826059B (zh) 2024-06-07
US10798292B1 (en) 2020-10-06
ZA202107562B (en) 2023-01-25
US11770599B2 (en) 2023-09-26
EP4373121A3 (en) 2024-06-26
US20200404159A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
EP3959587B1 (en) Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
US10394317B2 (en) Interaction with holographic image notification
CN107850779B (zh) 虚拟位置定位锚
US9430038B2 (en) World-locked display quality feedback
US9361732B2 (en) Transitions between body-locked and world-locked augmented reality
CN109923509B (zh) 虚拟现实中的对象的协同操纵
US10841534B2 (en) Real-world awareness for virtual reality
US20140237366A1 (en) Context-aware augmented reality object commands
CN109478096B (zh) 用于管理头戴式显示器设备通信的计算系统、方法和设备
KR20140034252A (ko) 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법
US20160112501A1 (en) Transferring Device States Between Multiple Devices
US11321926B2 (en) Method and device for content placement
US20230419439A1 (en) Warping an input image based on depth and offset information
US11582392B2 (en) Augmented-reality-based video record and pause zone creation
US20230368475A1 (en) Multi-Device Content Handoff Based on Source Device Position

Legal Events

Date Code Title Description
A201 Request for examination