KR102609397B1 - 머리 장착형 디스플레이와 실세계 객체 사이의 상호 통신 - Google Patents

머리 장착형 디스플레이와 실세계 객체 사이의 상호 통신 Download PDF

Info

Publication number
KR102609397B1
KR102609397B1 KR1020177025419A KR20177025419A KR102609397B1 KR 102609397 B1 KR102609397 B1 KR 102609397B1 KR 1020177025419 A KR1020177025419 A KR 1020177025419A KR 20177025419 A KR20177025419 A KR 20177025419A KR 102609397 B1 KR102609397 B1 KR 102609397B1
Authority
KR
South Korea
Prior art keywords
virtual
real
processor
user
virtual object
Prior art date
Application number
KR1020177025419A
Other languages
English (en)
Other versions
KR20170116121A (ko
Inventor
줄리안 마이클 우르바크
니콜라스 라자레프
Original Assignee
오토이, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오토이, 인크. filed Critical 오토이, 인크.
Publication of KR20170116121A publication Critical patent/KR20170116121A/ko
Application granted granted Critical
Publication of KR102609397B1 publication Critical patent/KR102609397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G06Q20/123—Shopping for digital content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제1 디스플레이 디바이스 상의 가상 공간에 생성된 가상 객체와의 사용자 상호 작용이 가능해진다. 제1 디스플레이 디바이스의 센서 및 카메라 데이터를 사용하여, 표면 상에 마커를 갖는 실세계 객체가 식별된다. 가상 객체는 실세계 객체 상의 마커에 대해 가상 3D 공간에 생성되고 디스플레이된다. 실제 3D 공간에서의 실세계 객체의 조작은 가상 3D 공간에서의 가상 객체의 속성의 변경을 유발한다. 마커는 생성될 특정 렌더에 관한 정보를 포함한다. 마커에 포함된 정보에 기초하여 상이한 가상 객체가 생성되고 디스플레이될 수 있다. 실세계 객체가 센서를 가질 때, 실세계 객체로부터의 센서 데이터는 센서 입력에 기초하여 가상 객체 또는 가상 장면의 디스플레이를 향상시키기 위해 제1 디스플레이 디바이스로 전송된다. 국지적 또는 원격 저장소는 실세계 객체의 특성을 추가로 정의, 향상 또는 수정할 수 있다.

Description

머리 장착형 디스플레이와 실세계 객체 사이의 상호 통신
인터넷, 모바일 데이터 네트워크 및 하드웨어에서 발생한 급속한 개발로 인해 많은 타입의 디바이스가 개발되었다. 이러한 디바이스는 랩탑과 같은 더 큰 디바이스 내지 사용자의 신체 부위에 착용되는 착용식 디바이스를 포함하는 더 작은 디바이스를 포함한다. 이러한 착용식 디바이스의 예는 안경, 머리 장착형 디스플레이, 스마트 시계 또는 착용자의 생체 정보를 모니터링하기 위한 디바이스를 포함한다. 텍스트, 오디오 및 비디오 데이터 중 하나 이상을 포함하는 모바일 데이터가 디바이스로 스트리밍될 수 있다. 그러나 그들의 사용은 그들의 제한된 스크린 크기 및 처리 능력으로 인해 제한될 수 있다.
본 개시는 가상 객체가 실세계 객체의 조작을 통해 가상 3D 공간에 렌더링되고 로컬 또는 원격 데이터 소스에 의해 향상되거나 수정되는 가상 객체와의 사용자 상호 작용을 가능하게 하는 시스템 및 방법에 관한 것이다. 가상 객체와의 사용자 상호 작용을 가능하게 하는 방법이 일부 실시예에서 개시된다. 방법은 제1 디스플레이 디바이스와 통신하는 프로세서에 의해, 표면 상에 마커를 포함하는 실세계 객체의 존재를 검출하는 단계를 포함한다. 프로세서는 사용자의 눈에 대한 실제 3D 공간 내의 실세계 객체의 위치 및 배향을 식별하고, 마커에 대해 가상 3D 공간에 위치 및 배향되는 가상 객체를 렌더링한다. 가상 객체의 디스플레이는 실제 (3D) 공간 내의 실세계 객체의 조작을 통해 제어된다. 방법은 프로세서에 의해 렌더 데이터를 전송하여 가상 객체를 제1 디스플레이 디바이스 상에 시각적으로 제시하는 단계를 더 포함한다. 일부 실시예에서, 가상 객체의 시각적 제시는 사용자가 가상 공간에서 가상 객체만을 보도록 실세계 객체를 포함하지 않을 수 있다. 일부 실시예에서, 가상 객체의 시각적 제시는 실세계 객체의 뷰가 가상 객체에 의해 향상되거나 수정되도록 실세계 객체의 이미지를 포함할 수 있다.
일부 실시예에서, 실세계 객체의 조작을 통해 조작 가능하도록 가상 객체를 구성하는 방법은 프로세서에 의해, 실세계 객체의 위치 및 배향 중 하나의 변경을 검출하는 단계, 실세계 객체의 검출된 변경에 기초하여 가상 공간 내의 가상 객체의 하나 이상의 속성을 변경하는 단계, 및 프로세서에 의해, 렌더 데이터를 제1 디스플레이 디바이스로 전송하여, 변경된 속성을 갖는 가상 객체를 시각적으로 디스플레이하는 단계를 더 포함한다.
일부 실시예에서, 실세계 객체는 터치스크린을 포함하는 제2 디스플레이 디바이스이다. 제2 디스플레이 디바이스는 제1 디스플레이 디바이스의 카메라의 시야 내에 있으며, 제1 디스플레이 디바이스에 통신 가능하게 결합된다. 또한, 마커는 제2 디스플레이 디바이스의 터치스크린 상에 디스플레이된다. 방법은 프로세서에 의해, 제2 디스플레이 디바이스로부터 사용자의 터치 입력에 관한 데이터를 수신하는 단계, 및 사용자의 터치 입력에 관한 데이터에 응답하여 가상 공간에서 가상 객체를 조작하는 단계를 더 포함한다. 일부 실시예에서, 사용자의 터치 입력에 관한 데이터는 마커에 대한 터치스크린 상의 사용자 신체 부위의 위치 정보를 포함하고, 가상 객체의 조작은 프로세서에 의해, 사용자의 터치 입력에 응답하여 가상 객체의 위치 정보 또는 크기를 추적하기 위해 가상 공간에서 가상 객체의 위치를 변경하는 단계를 더 포함한다. 일부 실시예에서, 사용자의 터치 입력은 단일 또는 다중 탭, 탭 및 홀드, 회전, 스와이프 또는 핀치-줌 제스처 중 하나에 대응한다. 일부 실시예에서, 방법은 프로세서에 의해, 제1 디스플레이 디바이스 및 제2 디스플레이 디바이스 중 하나 이상에 포함된 복수의 센서 중 적어도 하나의 센서로부터의 입력에 관한 데이터를 수신하는 단계, 및 프로세서에 의해, 그러한 센서 입력 데이터에 응답하여 가상 객체 및 가상 장면 중 하나를 조작하는 단계를 더 포함한다. 일부 실시예에서, 복수의 센서는 카메라, 자이로스코프(들), 가속도계(들) 및 자기계(들)를 포함할 수 있다. 따라서, 제1 및/또는 제2 디스플레이 디바이스로부터의 센서 입력 데이터는 상호 추적을 가능하게 한다. 따라서, 제1 및 제2 디스플레이 디바이스 중 하나 이상이 다른 하나의 시야 밖으로 이동하더라도, 제1 및 제2 디스플레이 디바이스 간의 그러한 모션/위치 센서 데이터의 상호 교환에 의해 정확한 상대 위치 추적이 가능해진다.
일부 실시예에서, 실세계 객체는 다른 객체의 3D 인쇄 모델(3D printed model)이고, 가상 객체는 다른 객체의 가상 외면을 포함한다. 가상 외면은 다른 객체의 실세계 표면 반사율 특성들을 인코딩한다. 가상 객체의 크기는 3D 인쇄 모델의 크기와 실질적으로 유사할 수 있다. 방법은 프로세서에 의해, 렌더링의 구매를 나타내는 추가 입력에 응답하여 가상 외면을 렌더링하는 단계를 더 포함한다.
일부 실시예에서, 프로세서, 및 프로세서에 의한 실행을 위한 프로그램 논리를 유형적으로 저장하기 위한 저장 매체를 포함하는 컴퓨팅 디바이스가 개시된다. 프로그래밍 논리는 프로세서로 하여금 가상 객체와의 사용자 상호 작용을 가능하게 하는 것과 관련된 다양한 작업을 실행할 수 있게 한다. 존재 검출 논리는 제1 디스플레이 디바이스와 통신하여, 표면 상에 마커를 포함하는 실세계 객체의 존재를 검출하도록 프로세서에 의해 실행된다. 식별 논리는 사용자의 눈에 대한 실제 3D 공간 내의 실세계 객체의 위치 및 배향을 식별하도록 프로세서에 의해 실행된다. 프로세서는 마커에 대해 가상 3D 공간 내에 위치 및 배향되는 가상 객체를 렌더링하기 위한 렌더링 논리, 실제 3D 공간에서의 실세계 객체의 조작에 응답하여 가상 객체를 조작하기 위한 조작 논리, 및 가상 객체를 제1 디스플레이 디바이스의 디스플레이 상에 시각적으로 디스플레이하기 위해 프로세서에 의해 렌더 데이터를 전송하기 위한 전송 논리를 실행한다.
일부 실시예에서, 조작 논리는 실세계 객체의 위치 및 배향 중 하나의 변경을 검출하도록 프로세서에 의해 실행되는 변경 검출 논리, 실세계 객체의 검출된 변경에 기초하여 가상 공간 내의 가상 객체의 위치 및 배향 중 하나 이상을 변경하도록 프로세스에 의해 실행되는 변경 논리, 및 변경된 위치 및 배향을 제1 디스플레이 디바이스로 전송하도록 프로세서에 의해 실행되는 변경 전송 논리를 더 포함한다.
일부 실시예에서, 실세계 객체는 터치스크린 및 다양한 센서를 포함하는 제2 디스플레이 디바이스이다. 제2 디스플레이 디바이스는 a) 제1 디스플레이 디바이스의 카메라의 시야 내에 있으며, 제1 디스플레이 디바이스에 통신 가능하게 결합되지만, 다른 센서들도 2개의 디바이스 각각의 다른 하나의 디바이스에 대한 정확한 추적을 위한 유용한 데이터를 제공할 수 있으므로 시야 내의 존재가 요구되지는 않는다. 마커는 제2 디스플레이 디바이스의 터치스크린 상에 디스플레이되며, 조작 논리는 제2 디스플레이 디바이스로부터 사용자의 터치 입력에 관한 데이터를 수신하도록 프로세서에 의해 실행되는 수신 논리 및 사용자의 터치 입력에 관한 데이터에 응답하여 가상 공간에서 가상 객체를 조작하도록 프로세서에 의해 실행되는 논리를 더 포함한다. 사용자의 터치 입력에 관한 데이터는 마커에 대한 터치스크린 상의 사용자 신체 부위의 위치 정보를 포함할 수 있다. 조작 논리는 위치 정보를 추적하기 위해 가상 공간에서 가상 객체의 위치를 변경하도록 프로세서에 의해 실행되는 위치 변경 논리 및 사용자의 터치 입력에 응답하여 가상 객체의 크기를 변경하도록 프로세서에 의해 실행되는 크기 변경 논리를 더 포함한다.
일부 실시예에서, 프로세서는 제1 디스플레이 디바이스에 포함되고, 장치는 제1 디스플레이 디바이스의 디스플레이 상에 가상 객체를 디스플레이하도록 프로세서에 의해 실행되는 디스플레이 논리를 더 포함한다.
비일시적 프로세서 판독 가능 저장 매체는 제1 디스플레이 디바이스와 통신하는 프로세서에 의해, 표면 상에 마커를 포함하는 실세계 객체의 존재를 검출하기 위한 프로세서 실행 가능 명령어들을 포함한다. 일부 실시예에서, 비일시적 프로세서 판독 가능 매체는 사용자의 눈에 대한 실제 3D 공간 내의 실세계 객체의 위치 및 배향을 식별하고, 마커에 대해 가상 3D 공간에 위치 및 배향되는 가상 객체를 렌더링하고 - 가상 객체는 실제 3D 공간에서의 실세계 객체의 조작을 통해 조작 가능함 -, 제1 디스플레이 디바이스의 디스플레이 상에 가상 객체를 시각적으로 디스플레이하기 위해 프로세서에 의해 렌더 데이터를 전송하기 위한 명령어들을 더 포함한다. 일부 실시예에서, 실세계 객체의 조작을 통해 가상 객체를 조작하기 위한 명령어들은 실세계 객체의 위치 및 배향 중 하나의 변경을 검출하고, 실세계 객체의 검출된 변경에 기초하여 가상 공간 내의 가상 객체의 위치 및 배향 중 하나 이상을 변경하고, 검출된 변경에 기초하여 변경된 위치 및 배향 중 하나 이상에 가상 객체를 사용자에게 디스플레이하기 위한 명령어들을 더 포함한다.
일부 실시예에서, 실세계 객체는, 제1 디스플레이 디바이스의 카메라의 시야 내에 있고, 제1 디스플레이 디바이스에 통신 가능하게 결합되는, 터치스크린을 포함하는 제2 디스플레이 디바이스이다. 마커는 제2 디스플레이 디바이스의 터치스크린 상에 디스플레이된다. 비일시적 매체는 제2 디스플레이 디바이스로부터 사용자의 터치 입력에 관한 데이터를 수신하고, 사용자의 터치 입력에 관한 데이터에 응답하여 가상 공간에서 가상 객체를 조작하기 위한 명령어들을 더 포함한다.
일부 실시예에서, 실세계 객체는 다른 객체의 3D 인쇄 모델이고, 가상 객체는 다른 객체의 가상 외면을 포함한다. 가상 외면은 다른 객체의 실세계 표면 반사율 특성들을 인코딩하고, 가상 객체의 크기는 3D 인쇄 모델의 크기와 실질적으로 유사하다. 비일시적 매체는 렌더링의 구매를 나타내는 추가 입력에 응답하여 프로세서에 의해 가상 외면을 렌더링하기 위한 명령어들을 더 포함한다. 일부 실시예에서, 렌더 데이터는 시각적 디스플레이 내에 가상 객체와 함께 실세계 객체의 이미지를 포함시키기 위한 데이터를 더 포함한다. 일부 실시예에서, 가상 객체는 전송된 렌더 데이터로부터 생성된 디스플레이 내의 실세계 객체의 이미지를 수정하거나 향상시킬 수 있다.
이들 및 다른 실시예들은 다음의 상세한 설명 및 첨부 도면을 참조하여 본 기술분야의 통상의 기술자들에게 명백할 것이다.
축척으로 도시되지 않고, 여러 도면 전체에 걸쳐 동일한 참조 번호들이 동일한 요소들을 나타내는 도면들에서:
도 1은 일부 실시예에 따른, 실세계에서의 실세계 객체의 조작을 통해 가상 세계에서 생성된 가상 객체와 상호 작용하는 사용자를 나타내는 도면이다.
도 2는 일부 실시예에 따른, 터치 감지 표면 상의 마커에 대한 가상 객체의 생성을 도시하는 도면이다.
도 3은 일부 실시예에 따른, 가상 객체와의 사용자 상호 작용을 도시하는 다른 도면이다.
도 4는 본 명세서에서 설명되는 일부 실시예에 따른, 객체의 조명 데이터와 함께 깊이 정보를 사용자에게 제공하는 것을 도시하는 도면이다.
도 5는 본 명세서에서 설명되는 실시예에 따른, 볼륨 디스플레이를 위한 제어 메커니즘을 형성하기 위한 시스템의 개략도이다.
도 6은 일부 실시예에 따른 전처리 모듈의 개략도이다.
도 7은 일 실시예에 따른, 가상 객체들과의 사용자 상호 작용을 가능하게 하는 예시적인 방법을 상세히 설명하는 흐름도이다.
도 8은 일부 실시예에 따른, 실세계 객체 속성에 대한 변경에 관한 데이터를 분석하고, 가상 객체(204)에 대한 대응하는 변경을 식별하는 예시적인 방법을 상세히 설명하는 흐름도이다.
도 9는 본 명세서에서 설명되는 일부 실시예에 따른, 객체의 조명 데이터를 그의 깊이 정보와 함께 제공하는 예시적인 방법을 상세히 설명하는 흐름도이다.
도 10은 일부 실시예에 따른 착용식 컴퓨팅 디바이스 내의 소정의 예시적인 모듈들을 나타내는 블록도이다.
도 11은 일부 실시예에 따른 렌더의 구매 및 다운로딩을 위한 시스템을 나타내는 개략도이다.
도 12는 본 명세서에서 설명되는 실시예들에 따른 컴퓨팅 디바이스의 내부 아키텍처를 도시한다.
도 13은 본 개시의 실시예들에 따른 컴퓨팅 디바이스의 클라이언트 디바이스 구현을 나타내는 개략도이다.
이제, 본 발명이 그 일부를 형성하고 특정한 예시적인 실시예들을 예시적으로 도시하는 첨부 도면들을 참조하여 이하에서 더 충분히 설명될 것이다. 그러나, 본 발명은 다양한 다른 형태로 구현될 수 있으며, 따라서 커버되거나 청구되는 발명은 본 명세서에서 설명되는 임의의 예시적인 실시예들로 한정되지 않는 것으로 해석되도록 의도되며, 예시적인 실시예들은 단지 예시적으로 제공된다. 마찬가지로, 청구되거나 커버되는 발명에 대한 정당하게 넓은 범위가 의도된다. 많은 가운데 특히, 예를 들어, 본 발명은 방법, 디바이스, 컴포넌트 또는 시스템으로서 구현될 수 있다. 따라서, 실시예들은 예를 들어 하드웨어, 소프트웨어, 펌웨어 또는 (소프트웨어 자체가 아닌) 이들의 임의의 조합의 형태를 취할 수 있다. 따라서, 다음의 상세한 설명은 제한적인 의미로 간주되도록 의도되지 않는다.
첨부 도면들에서, 일부 특징들은 특정 컴포넌트들의 세부 사항을 나타내기 위해 과장될 수 있다(그리고 도면들에 도시된 임의의 크기, 재료 및 유사한 세부 사항은 제한이 아니라 예시적인 것으로 의도된다). 따라서, 본 명세서에 개시되는 특정 구조 및 기능적 세부 사항은 제한적이 아니라, 개시되는 실시예들을 다양하게 이용하도록 본 기술분야의 기술자를 가르치기 위한 대표적인 기초로서만 해석되어야 한다.
실시예들은 특정 주제에 관련된 매체를 선택하여 제시하는 방법 및 디바이스의 블록도 및 동작도를 참조하여 아래에서 설명된다. 블록도 또는 동작도의 각각의 블록, 및 블록도 또는 동작도 내의 블록들의 조합들은 아날로그 또는 디지털 하드웨어 및 컴퓨터 프로그램 명령어들에 의해 구현될 수 있는 것으로 이해된다. 이러한 컴퓨터 프로그램 명령어들 또는 논리는 범용 컴퓨터, 특수 목적 컴퓨터, ASIC 또는 다른 프로그래밍 가능 데이터 처리 장치의 프로세서에 제공될 수 있어, 컴퓨터 또는 다른 프로그래밍 가능 데이터 처리 장치의 프로세서를 통해 실행되는 명령어들은 블록도들 또는 동작 블록 또는 블록들에서 지정된 기능/동작을 구현하여 실행 디바이스의 특성 및/또는 기능을 변경한다.
일부 대체 구현에서, 블록들 내에 기재된 기능들/동작들은 동작도 내에 기재된 순서와 다르게 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 블록들은 관련된 기능/동작에 따라 때때로 역순으로 실행될 수 있다. 또한, 본 개시에서 흐름도로서 제시되고 설명된 방법의 실시예는 기술의 더 완전한 이해를 제공하기 위해 예로서 제공된다. 개시된 방법은 여기에 제시된 동작 및 논리적 흐름으로 제한되지 않는다. 다양한 동작의 순서가 변경되고, 더 큰 동작의 일부인 것으로 설명되는 하위 동작들이 독립적으로 수행되는 대안적인 실시예가 고려된다.
본 개시의 목적을 위해, "서버"라는 용어는 처리, 데이터베이스 및 통신 기능을 제공하는 서비스 포인트를 지칭하는 것으로 이해되어야 한다. 한정이 아니라 예로서, "서버"라는 용어는 관련 통신 및 데이터 저장 및 데이터베이스 기능을 가진 단일 물리 프로세서를 지칭할 수 있거나, 프로세서들 및 관련 네트워크 및 저장 디바이스들의 네트워킹된 또는 클러스터링된 복합체뿐만 아니라, 서버에 의해 제공되는 서비스들을 지원하는 운영 소프트웨어 및 하나 이상의 데이터베이스 시스템 및 애플리케이션 소프트웨어를 지칭할 수 있다. 서버들은 구성이나 능력 면에서 크게 다를 수 있지만, 일반적으로 서버는 하나 이상의 중앙 처리 유닛 및 메모리를 포함할 수 있다. 서버는 또한 하나 이상의 추가적인 대용량 저장 디바이스, 하나 이상의 전원, 하나 이상의 유선 또는 무선 네트워크 인터페이스, 하나 이상의 입출력 인터페이스, 또는 윈도우 서버, Mac OS X, 유닉스, 리눅스, FreeBSD 등과 같은 하나 이상의 운영 체제를 포함할 수 있다.
본 개시의 목적을 위해, "네트워크"는 예를 들어 무선 네트워크를 통해 결합되는 무선 디바이스들 사이를 포함하여, 예를 들어 서버와 클라이언트 디바이스 또는 다른 타입의 디바이스들 사이에서 통신들이 교환될 수 있도록 디바이스들을 결합할 수 있는 네트워크를 지칭하는 것으로 이해되어야 한다. 네트워크는 예를 들어 네트워크 부착 저장소(NAS: network attached storage), 저장 영역 네트워크(SAN: storage area network) 또는 다른 형태의 컴퓨터 또는 머신 판독 가능 매체와 같은 대용량 저장소를 포함할 수도 있다. 네트워크는 인터넷, 하나 이상의 근거리 네트워크(LAN), 하나 이상의 광역 네트워크(WAN), 유선 타입 접속, 무선 타입 접속, 셀룰러 또는 이들의 임의 조합을 포함할 수 있다. 마찬가지로, 상이한 아키텍처들을 이용할 수 있거나 상이한 프로토콜들을 따르거나 그들과 호환될 수 있는 서브네트워크들이 더 큰 네트워크 내에서 연동할 수 있다. 예를 들어 상이한 아키텍처들 또는 프로토콜들에 대해 연동 가능한 능력을 제공하기 위해 다양한 타입의 디바이스가 이용 가능해질 수 있다. 하나의 설명 예로서, 라우터가 그렇지 않으면 별개의 독립적인 LAN들 사이에 링크를 제공할 수 있다.
통신 링크는 예를 들어 트위스트 와이어 쌍, 동축 케이블과 같은 아날로그 전화 라인, T1, T2, T3 또는 T4 타입 라인, 통합 서비스 디지털 네트워크(ISDN: Integrated Services Digital Network), 디지털 가입자 라인(DSL: Digital Subscriber Line)을 포함하는 전체 또는 부분 디지털 라인, 라디오, 적외선, 광 또는 다른 유선 또는 무선 통신 방법 위성 링크를 포함하는 무선 링크, 또는 본 기술분야의 기술자들에게 공지되었거나 공지될 수 있는 것과 같은 다른 유선 또는 무선 통신 링크를 포함할 수 있다. 또한, 컴퓨팅 디바이스 또는 다른 관련 전자 디바이스는 예를 들어 전화 라인 또는 링크를 통해 네트워크에 원격적으로 결합될 수 있다.
컴퓨팅 디바이스는 예를 들어 유선 또는 무선 네트워크를 통해 신호들을 송신 또는 수신할 수 있거나, 예를 들어 메모리 내에 물리적 메모리 상태들로서 신호들을 처리 또는 저장할 수 있으므로, 서버로서 동작할 수 있다. 따라서, 서버로서 동작할 수 있는 디바이스는 예로서 전용 선반-장착 서버, 데스크탑 컴퓨터, 랩탑 컴퓨터, 셋톱 박스, 전술한 디바이스의 2개 이상의 특징과 같은 다양한 특징을 결합한 통합 디바이스 등을 포함할 수 있다.
명세서 및 청구범위 전반에서, 용어들은 명시적으로 언급된 의미를 넘어서는 상황에서 제안되거나 암시된 뉘앙스가 있는 의미를 가질 수 있다. 마찬가지로, 본 명세서에서 사용되는 바와 같은 "일 실시예에서"라는 문구는 반드시 동일한 실시예를 지칭하지는 않으며, 본 명세서에서 사용되는 바와 같은 "다른 실시예에서"라는 문구는 반드시 상이한 실시예를 지칭하지는 않는다. 예를 들어, 청구 발명은 전체적으로 또는 부분적으로 예시적인 실시예들의 조합들을 포함하는 것으로 의도된다. 일반적으로, 용어는 상황 안에서의 용법으로부터 적어도 부분적으로 이해될 수 있다. 예를 들어, 본 명세서에서 사용되는 바와 같은 "및", "또는" 또는 "및/또는"과 같은 용어는 그러한 용어가 사용되는 상황에 적어도 부분적으로 의존할 수 있는 다양한 의미를 포함할 수 있다. 일반적으로, "또는"은 A, B 또는 C와 같은 목록을 연결하는 데 사용되는 경우에 본 명세서에서 포괄적인 의미로 사용되는 A, B 및 C는 물론, 본 명세서에서 배타적인 의미로 사용되는 A, B 또는 C를 의미하는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 "하나 이상"이라는 용어는 적어도 부분적으로 상황에 따라 임의의 특징, 구조 또는 특성을 단수의 의미로 설명하는 데 사용될 수 있거나, 특징, 구조 또는 특성의 조합을 복수의 의미로 설명하는 데 사용될 수 있다. 유사하게, "a", "an" 또는 "the"와 같은 용어는 또한 적어도 부분적으로 상황에 따라 단수 용법을 전달하거나 복수 용법을 전달하는 것으로 이해될 수 있다. 또한, "기초하는"이라는 용어는 반드시 배타적인 팩터 세트를 전달하도록 의도되지는 않는 것으로 이해될 수 있고, 대신에, 또한 적어도 부분적으로 상황에 따라 반드시 명시적으로 설명되지는 않는 추가 팩터의 존재를 허용할 수 있다.
다양한 디바이스가 현재 블루투스(상표) 네트워크와 같은 로컬 네트워크 또는 인터넷과 같은 더 큰 네트워크를 통해 디바이스 상에 국지적으로 저장되거나 디바이스로 스트리밍될 수 있는 콘텐츠에 액세스하는 데 사용된다. 스마트 시계, 안경 및 머리 장착형 디스플레이와 같은 착용식 디바이스의 출현으로, 사용자는 데이터에 액세스하기 위해 랩탑과 같이 부피가 더 큰 디바이스를 휴대할 필요가 없다. 사용자의 얼굴에 착용되는 안경 및 머리 장착형 디스플레이와 같은 디바이스는 증강 현실 모드 또는 가상 현실 모드를 포함할 수 있는 상이한 모드에서 동작한다. 증강 현실 모드에서는, 사용자가 관련 프로세서에 의해 생성된 바와 같은 디바이스의 렌즈 또는 뷰잉 스크린을 통해 실세계를 관찰함에 따라 가시적인 이미지들의 디스플레이들이 오버레이된다. 가상 현실 모드에서는, 실세계의 사용자의 뷰가 디바이스의 렌즈 또는 뷰잉 스크린과 관련된 프로세서에 의해 생성된 디스플레이로 대체된다.
동작 모드와 관계없이, 디스플레이 내의 가상 객체와의 상호작용은 사용자에게 다소 불편할 수 있다. 사용자 상호 작용을 위한 커맨드는 구두 또는 제스처 커맨드를 포함할 수 있지만, 예를 들어 촉각 입력을 통한 가상 객체의 더 정밀한 제어는 현재 이용 가능한 착용식 디바이스에서 가능하지 않다. 가상 객체를 정확한 궤적을 따라, 예를 들어 게이밍 환경에서 파일을 특정 폴더 또는 가상 객체로 이동시킬 때와 같이 가상 객체의 더 정밀한 제어를 요구하는 가상 환경에서, 시각적 디스플레이를 통한 피드백에 더하여 촉각 입력을 가능하게 하는 것은 사용자 경험을 향상시킬 수 있다.
본 명세서에서는 예를 들어 물리적 객체와 착용식 디바이스 사이에 양방향 통신을 구현함으로써 착용식 디스플레이 디바이스에 의해 생성된 가상 환경에서 사용자 경험을 향상시키기 위한 실시예들이 개시된다. 도 1은 실세계에서의 실세계 객체(106)와의 상호 작용을 통해 가상 세계에서 생성된 가상 객체(104)와 상호 작용하는 사용자(102)를 도시하는 도면(100)이다. 가상 객체(104)는 착용식 컴퓨팅 디바이스(108)의 일부 또는 컴포넌트와 통신하는 장면 처리 모듈(150)에 의해 생성된다. 일부 실시예에서, 장면 처리 모듈(150)은 착용식 디바이스(108)에 데이터를 송신할 수 있는 다른 프로세서에 의해 실행될 수 있고, 다른 프로세서는 착용식 디바이스(108)에 통합되거나, 부분적으로 통합되거나, 그로부터 분리될 수 있다. 가상 객체(104)는 실세계 객체(106)의 표면(112)에 대해 가시적이거나 검출 가능한 마커(110)에 대해 생성된다. 가상 객체(104)는 또한 마커(110)에 대해 앵커링될 수 있어서, 실세계에서의 마커(110)에 대한 임의의 변경은 가상 세계에서의 가상 객체(104)의 속성에 대한 대응하거나 원하는 변경을 유발할 수 있다.
일부 실시예에서, 가상 객체(104)는 2D(2차원) 평면 이미지, 3D(3차원) 볼륨 홀로그램 또는 광 필드 데이터를 포함할 수 있다. 가상 객체(104)는 실세계 객체(106)에 대해 착용식 디바이스(108)에 의해 투영되고, 착용식 디바이스(108)의 디스플레이 스크린 상에서 사용자(102)가 볼 수 있다. 일부 실시예에서, 가상 객체(104)는 마커(110)에 대해 앵커링되어, 마커(110)(또는 마커를 가진 표면(112))의 시프트, 경사 또는 회전 중 하나 이상은 가상 객체(104)의 대응하는 위치 시프트 또는 경사 및/또는 회전을 유발할 수 있다. 마커(110)의 위치 속성(공간 내의 그의 위치 또는 배향 등)에 대한 변경은 사용자(120)에 의한 실세계 객체(106)의 이동뿐만 아니라 실세계 객체(106)에 대한 사용자(102)의 머리(130)의 변위로 인해서도 발생한다는 것을 알 수 있다. 착용식 디바이스(108)는 물론, 객체(106)는 일반적으로 자이로스코프와 같은 위치/이동 검출 컴포넌트, 또는 디바이스(106)에 대한 착용식 디바이스(108)의 위치의 결정을 허용하는 데이터를 생성하는 소프트웨어 또는 하드웨어 요소를 포함한다. 가상 객체(104)는 실세계 객체(106)에 대한 사용자의 머리(130)의 이동에 기초하여 변경될 수 있다. 일부 실시예에서, 실세계 객체(106)의 변경에 대응하는 가상 객체(104)의 변경은 가상 객체(104)의 가시적 속성을 넘어 확장될 수 있다. 예를 들어, 가상 객체(104)가 게임에서의 캐릭터인 경우, 가상 객체(104)의 성질은 게임의 프로그래밍 논리에 의한 실세계 객체의 조작에 기초하여 변경될 수 있다.
가상 세계 내의 가상 객체(104)는 실세계에서의 마커(110)의 위치/배향 및 디바이스들(106 및 108)의 배향의 상대적 결정에 반응한다. 따라서, 사용자(102)는 실세계 객체(106)의 조작을 통해 가상 객체(104)와 상호작용하거나 그를 조작할 수 있다. 마커(110)를 가진 표면(112)이 터치를 감지하는 것으로 가정됨에 따라 도 1에 도시된 예에 대해서는 위치 및 배향만이 설명된다는 것을 알 수 있다. 본 명세서에서는 마커를 갖는 터치 감지 표면을 갖는 실세계 객체가 사용되는 실시예들이 설명되지만, 표면(112)은 사용자(102)가 만든 마크를 갖는 종이 시트, 게임 보드, 또는 마커를 가질 수 있는 다른 물리 객체와 같은 정적 표면일 수 있다. 표면(112)은 평면으로 도시되어 있지만, 이는 단지 설명을 위한 것이지 제한적인 것은 아니다. 만곡부, 리지(ridge) 또는 다른 불규칙한 형상을 포함하는 표면도 일부 실시예에서 사용될 수 있다. 일부 실시예에서, 마커(110)는 장면 처리 모듈(150)에 의해 인식 가능한 임의의 식별 표시일 수 있다. 이러한 표시는 QR(Quick Response) 코드, 바코드, 또는 다른 이미지, 텍스트 또는 심지어 전술한 바와 같은 사용자 생성 표시를 포함할 수 있지만, 이에 한정되지 않는다. 일부 실시예에서, 전체 표면(112)은 예를 들어 표면(112)의 텍스처 형상 또는 크기를 통해 마커로서 인식될 수 있으며, 따라서 별도의 마커(110)가 필요하지 않을 수 있다.
실세계 객체(106)가 디스플레이 디바이스인 경우, 마커는 실세계 객체(106) 상에 디스플레이된 이미지 또는 텍스트 또는 객체일 수 있다. 이는 본 명세서에서 더 설명되는 바와 같이 터치 감지 표면을 통해 가상 객체(104)의 위치 및 배향이 아니라 그의 크기, 형상, 컬러 또는 다른 속성과 같은, 그러나 이에 한정되지 않는 그의 속성을 제어하는 것을 가능하게 한다. 본 명세서에서 설명되는 기술을 적용함에 있어서, 가상 객체(104)의 속성의 변경은 실세계 객체(106)의 사용자 조작에 반응하거나 응답한다는 것을 알 수 있다.
착용식 컴퓨팅 디바이스(108)는 일부 실시예에서 GOOGLE GLASS(상표), Microsoft HoloLens 및 ODG(Osterhout Design Group) SmartGlasses 등과 같은 증강 현실 안경을 포함할 수 있지만 이에 한정되지 않는다. 증강 현실(AR) 안경은 AR 안경의 국지적 저장소로부터 또는 다른 서버와 같은 온라인 자원으로부터 검색된 추가 정보를 디스플레이함으로써 주변을 증강하면서 사용자(102)가 자신의 주변을 볼 수 있게 한다. 일부 실시예에서, 착용식 디바이스는 예를 들어, SAMSUNG GEAR VR(상표) 또는 Oculus Rift와 같은 가상 현실 헤드셋을 포함할 수 있다. 일부 실시예에서, 증강 현실 안경 또는 가상 현실 안경으로 작용할 수 있는 단일 헤드셋이 가상 객체(104)를 생성하는 데 사용될 수 있다. 따라서, 사용자(102)는 착용식 디바이스(108)가 동작하고 있는 모드에 기초하여 가상 객체(104)와 함께 실세계 객체(106)를 볼 수 있거나 보지 못할 수 있다. 본 명세서에서 설명되는 실시예들은 AR 환경과 관련된 촉각 피드백과 VR 환경의 몰입성을 결합한다.
가상 객체(104)는 착용식 컴퓨팅 디바이스(108)에 의해 직접 생성될 수 있거나, 착용식 디바이스(108)에 통신 가능하게 결합된 다른 원격 디바이스(도시되지 않음)로부터 수신된 렌더링일 수 있다. 일부 실시예에서, 원격 디바이스는 블루투스 네트워크 또는 다른 근거리장 통신과 같은 단거리 네트워크를 통해 접속된 게이밍 디바이스일 수 있다. 일부 실시예에서, 원격 디바이스는 Wi-Fi 또는 다른 유선 또는 무선 접속을 통해 착용식 디바이스(108)에 접속된 서버일 수 있다.
사용자(102)가 착용식 컴퓨팅 디바이스(102)를 처음 활성화할 때, 착용식 컴퓨팅 디바이스(108)에 포함된 사용자(102)의 얼굴로부터 벗어난 곳을 가리키는 후방 카메라 또는 IR 검출기(도시되지 않음)와 같은 다른 감지 디바이스가 활성화된다. 사용자(102)의 머리 또는 다른 신체 부위의 배치에 기초하여, 카메라 또는 센서는 사용자(102)의 손 안에 또는 그 근처에 있는 실세계 객체(106)와 관련된 이미지 데이터를 입력으로서 수신하게 될 수 있다. 일부 실시예에서, 센서는 마커(110)의 위치 및 배향을 포함하는 전체 표면(112)에 관한 데이터를 수신한다. 수신된 이미지 데이터는 마커(110)에 대한 위치/배향에 가상 객체(104)를 생성하기 위해 가상 객체(104)의 알려진 또는 생성된 광 필드 데이터와 함께 사용될 수 있다. 가상 객체(104)의 렌더링이 착용식 디바이스(108)에 의해 수신되는 실시예들에서, 장면 처리 모듈(150)은 마커(110)에 대해 가상 객체(104)의 렌더링을 위치 및 배향한다.
사용자(102)가 실세계에서 실세계 객체(106)의 속성(위치 등)을 변경할 때, 변경은 착용식 디바이스(108) 상의 카메라에 의해 검출되어 장면 처리 모듈(150)에 제공된다. 장면 처리 모듈(150)은 가상 세계에서 가상 객체(104) 또는 가상 객체(104)를 둘러싸는 가상 장면 중 하나에 대해 대응하는 변경을 수행한다. 예를 들어, 사용자(102)가 실세계 객체를 이동시키거나 기울이면, 이러한 정보는 착용식 디바이스(108)의 카메라에 의해 획득되고, 카메라는 획득된 정보를 장면 처리 모듈(150)에 제공한다. 실세계 객체(106)의 현재 위치/배향과 실세계 객체(106)의 새로운 위치/배향 사이의 델타에 기초하여, 장면 처리 모듈(150)은 가상 객체(104) 및/또는 가상 객체(104)가 가상 3D 공간에서 생성되는 가상 장면에 적용될 대응하는 변경을 결정한다. 가상 객체(104) 및 가상 장면 중 하나 이상에 적용될 변경에 관한 결정은 가상 객체(104) 또는 가상 장면과 관련된 프로그래밍 명령어들에 기초하여 이루어질 수 있다. 실세계 객체(106)가 그 자신의 위치/배향을 검출하는 능력을 갖는 다른 실시예들에서, 객체(106)는 단독으로 또는 착용식 디바이스(108) 상의 카메라/센서로부터의 데이터와 조합하여 사용될 수 있는 그 자신의 데이터를 통신할 수 있다.
일부 실시예에서, 실세계 객체(106)의 변경에 대응하는 가상 객체(104)에 구현된 변경은 가상 환경과 관련된 프로그래밍에 의존할 수 있다. 장면 처리 모듈(150)은 실세계 객체에 적용된 주어진 변경에 대응하는 상이한 가상 세계에서의 가상 객체(104)에 대한 상이한 변경을 구현하도록 프로그래밍될 수 있다. 예를 들어, 실세계 객체(106)의 경사는 제1 가상 환경에서의 가상 객체(104)의 대응하는 경사를 유발할 수 있는 반면, 실세계 객체(106)의 동일한 경사는 제2 가상 환경에서의 가상 객체(104)의 상이한 변경을 유발할 수 있다. 본 명세서에서는 간소화를 위해 단일 가상 객체(104)가 도시된다. 그러나, 서로에 대해 그리고 마커(110)에 대해 배치된 복수의 가상 객체가 본 명세서에서 설명되는 실시예들에 따라 생성되고 조작될 수도 있다.
도 2는 일부 실시예에 따른, 터치 감지 표면(212) 상의 마커(210)에 대한 가상 객체(204)의 생성을 도시하는 도면(200)이다. 이 경우에, 터치스크린을 갖는 컴퓨팅 디바이스가 터치 비감지 실세계 객체(106) 대신에 사용될 수 있다. 사용자(102)는 컴퓨팅 디바이스(206) 상에서 실행되는 프로그램 또는 소프트웨어에 의해 그의 터치스크린(212) 상에 생성되는 마커(210)를 이용할 수 있다. 실세계 객체로서 사용될 수 있는 그러한 컴퓨팅 디바이스의 예는 스마트폰, 태블릿, 패블릿, 전자 판독기 또는 다른 유사한 핸드헬드 디바이스를 포함할 수 있지만, 이에 한정되지 않는다. 이 경우, 양방향 통신 채널이 블루투스(상표) 등과 같은 단거리 네트워크를 통해 착용식 디바이스(108)와 핸드헬드 디바이스(206) 사이에 형성될 수 있다. 또한, 핸드헬드 컴퓨팅 디바이스(206)의 이미지 데이터가 착용식 디바이스(108)의 외향 카메라 또는 센서에 의해 얻어진다. 마찬가지로, 착용식 디바이스(208)와 관련된 이미지 데이터가 또한 핸드헬드 디바이스(206)의 전방 카메라에 의해 수신될 수 있다. 컴퓨팅 디바이스(206)의 사용은 착용식 디바이스(108) 및 컴퓨팅 디바이스(206) 각각이 위치가 변함에 따라 그 자신에 대한 다른 하나의 디바이스의 위치를 추적하고 디바이스들 사이에서 그러한 위치 데이터를 통신할 수 있으므로 마커(210)의 더 정확한 위치 추적을 가능하게 한다.
컴퓨팅 디바이스(206) 상에서 실행되거나 그와 통신하는 전처리 모듈(250)은 컴퓨팅 디바이스(206)의 배치 및/또는 모션 감지 컴포넌트들로부터의 데이터를 단거리 네트워크와 같은 통신 채널을 통해 착용식 디바이스(108)로 전송하도록 구성될 수 있다. 전처리 모듈(250)은 또한 착용식 디바이스(108)와 같은 외부 소스로부터 배치 데이터를 수신하도록 구성될 수 있다. 한정이 아니라 예로서, 센서 데이터는 장면 처리 모듈(150) 및 전처리 모듈(250) 중 하나 이상에 의해 단거리 네트워크를 통해 패킷 데이터로서 전송될 수 있으며, 패킷들은 예를 들어 FourCC(4 문자 코드) 포맷으로 구성된다. 이러한 위치 데이터의 상호 교환은 착용식 디바이스(108)에 대한 컴퓨팅 디바이스(206)의 더 정확한 배치 또는 추적을 가능하게 한다. 예를 들어, 컴퓨팅 디바이스(206) 및 착용식 디바이스(108) 중 하나 이상이 다른 하나의 카메라의 시야 밖으로 이동하는 경우, 그들은 본 명세서에서 상세히 설명되는 바와 같이 위치/모션 센서 데이터의 상호 교환을 통해 서로의 위치를 여전히 계속 추적할 수 있다. 일부 실시예에서, 장면 처리 모듈(150)은 칼만 필터 또는 다중 뷰 기하학과 같은, 그러나 이에 한정되지 않는 센서 데이터 융합 기술을 이용하여 이미지 데이터를 융합하여 컴퓨팅 디바이스(206)와 착용식 디바이스(108)의 상대 위치를 결정할 수 있다.
일부 실시예에서, 전처리 모듈(250)은 컴퓨팅 디바이스(206)의 국지적 저장소에 저장되고 컴퓨팅 디바이스(206) 내에 포함된 프로세서에 의해 실행 가능한 '앱'의 소프트웨어일 수 있다. 전처리 모듈(250)은 본 명세서에서 상세히 설명되는 바와 같은 다양한 실시예에 따라 가상 객체의 렌더링 및 사용자 상호 작용의 디스플레이와 관련된 상이한 작업의 실행을 가능하게 하는 다양한 서브모듈로 구성될 수 있다.
전처리 모듈(250)은 컴퓨팅 디바이스(206)의 표면(212) 상에 마커(210)를 디스플레이하도록 더 구성될 수 있다. 전술한 바와 같이, 마커(210)는 이미지, QR 코드, 바코드 등일 수 있다. 따라서, 마커(210)는 생성될 특정 가상 객체(204)와 관련된 정보를 인코딩하도록 구성될 수 있다. 일부 실시예에서, 전처리 모듈(250)은 각각이 특정 가상 객체에 대응하는 정보를 각각 인코딩할 수 있는 상이한 마커들을 디스플레이하도록 구성될 수 있다. 일부 실시예에서, 마커는 사용자가 선택할 수 있다. 이것은 사용자(102)가 렌더링될 가상 객체를 선택할 수 있게 한다. 일부 실시예에서, 하나 이상의 마커는 사용자(102)가 보고 있는 가상 환경 및/또는 콘텐츠에 기초하여 자동으로 선택/디스플레이될 수 있다.
마커(210)와 같은 특정 마커가 디스플레이될 때, 착용식 디바이스(108)는 그 안에 인코딩된 정보를 판독하고 대응하는 가상 객체(204)를 렌더링/디스플레이하도록 구성될 수 있다. 도 2에는 간소화를 위해 하나의 마커(210)만이 도시되지만, 복수의 가상 객체 중 하나의 가상 객체의 데이터를 각각 인코딩하는 복수의 마커가 표면(212) 상에 동시에 디스플레이될 수도 있음을 알 수 있다. 표면(212) 상에 디스플레이된 복수의 마커가 고유하면, 상이한 가상 객체들이 동시에 디스플레이된다. 유사하게, 단일 가상 객체의 다수의 인스턴스가 렌더링될 수 있으며, 각각의 마커는 가상 객체의 고유한 인스턴스를 식별하는 표시를 포함하여 마커와 그의 가상 객체 간에 대응이 유지될 것이다. 또한, 동시에 디스플레이될 수 있는 마커의 수는 컴퓨팅 디바이스(206)의 이용 가능한 표면 영역의 제약을 받을 것임을 알 수 있다.
도 3은 일부 실시예에 따른, 가상 객체와의 사용자 상호 작용을 나타내는 다른 도면(300)이다. 가상 객체(204)에 대한 실세계 앵커로서 컴퓨팅 디바이스(206)를 사용하는 이점은 사용자(102)가 가상 객체(204)와 상호 작용하기 위해 컴퓨팅 디바이스(206)의 터치스크린(212)을 통해 터치 입력을 제공할 수 있다는 것이다. 컴퓨팅 디바이스(206) 상에서 실행되는 전처리 모듈(250)은 터치스크린(212)과 관련된 센서로부터 사용자(102)의 터치 입력 데이터를 수신한다. 전처리 모듈(250)은 수신된 센서 데이터를 분석하여, 마커(210) 및 터치스크린(212) 중 하나 이상에 대한 사용자의 터치 입력의 위치 및 궤적을 식별한다. 처리된 터치 입력 데이터는 추가 분석을 위해 통신 네트워크를 통해 착용식 디바이스(108)로 전송될 수 있다. 사용자(102)의 터치 입력은 일부 실시예에서 복수의 벡터를 포함할 수 있다. 사용자(102)는 복수의 손가락을 터치스크린(212)과 접촉시킴으로써 다중 터치 입력을 제공할 수 있다. 따라서, 각각의 손가락은 터치 입력의 벡터를 포함하고, 가상 객체(204)의 속성에 대한 결과적인 변경은 사용자의 터치 벡터의 함수로서 구현된다. 일부 실시예에서, 사용자 입력의 제1 벡터는 터치스크린(212)에 대한 사용자의 손가락(302)의 터치와 관련될 수 있다. 터치, 제스처, 스윕, 탭 또는 다중 디지트 동작은 스크린(212)과의 상호작용을 생성하는 벡터의 예로서 사용될 수 있다. 사용자 입력의 제2 벡터는 사용자의 손(304)에 의한 컴퓨팅 디바이스(206)의 모션을 포함할 수 있다. 가상 객체(204)가 생성되는 가상 환경의 프로그래밍 논리에 기초하여, 이들 벡터 중 하나 이상이 가상 객체(204)를 조작하는 데 사용될 수 있다. 다중 터치 제어 메커니즘을 통해 가상 객체(204) 상에서 실행 가능한 동작은 가상 객체(204)의 부분들을 스케일링, 회전, 전단, 레이징(lasing), 압출 또는 선택하는 것을 포함하지만, 이에 한정되지 않는다.
가상 객체(204)가 착용식 디바이스(108)에 의해 렌더링되면, 가상 객체(204)에 대한 대응하는 변경이 착용식 디바이스(108)의 장면 처리 모듈(150)에 의해 실행될 수 있다. 렌더링이 원격 디바이스에서 발생하면, 처리된 터치 입력 데이터는 원격 디바이스로 전송되어, 가상 객체(204)의 속성에 대한 적절한 변경을 유발한다. 일부 실시예에서, 처리된 터치 입력 데이터는 컴퓨팅 디바이스(206)로부터의 그러한 데이터의 수신시에 착용식 디바이스(108)에 의해 원격 디바이스로 전송될 수 있다. 일부 실시예에서, 처리된 터치 입력 데이터는 컴퓨팅 디바이스(206)로부터 원격 디바이스로 직접 전송되어, 그에 따라 가상 객체(204)에 대한 변경을 유발할 수 있다.
본 명세서에서 설명되는 실시예들은 착용식 디바이스에 의해 생성된 볼륨 디스플레이에 대한 터치 기반 제어 메커니즘을 제공한다. 터치 입력을 통해 가상 객체(204) 상에서 행해질 수 있는 속성 변경은 위치, 배향, 모션의 크기 및 방향, 가속도, 크기, 형상과 같은 기하학적 속성에 대한 변경, 또는 조명, 컬러 또는 다른 렌더링 특성과 같은 광학적 속성에 대한 변경을 포함할 수 있지만, 이에 한정되지 않는다. 예를 들어, 사용자(102)가 가상 만화 가게와 같은 가상 공간에 있는 경우, 사용자(102)가 컴퓨팅 디바이스(206)를 붙잡고 있는 경우에도 컴퓨팅 디바이스(206)의 이미지가 투영된다. 이것은 사용자(102)가 실세계 객체(206)를 붙잡고 있는 것처럼 실세계 책을 붙잡고 조작하고 있다는 느낌을 사용자(102)에게 제공한다. 그러나, 사용자(102)가 컴퓨팅 디바이스(206)의 투영된 이미지 상에서 보는 콘텐츠는 가상 만화 가게 밖에 있는 사용자에게는 보이지 않는 가상 콘텐츠이다. 도 4는 본 명세서에서 설명되는 일부 실시예에 따른, 객체의 조명 데이터와 함께 깊이 정보를 사용자에게 제공하는 것을 보여주는 도면(400)이다. 상세하게 설명되는 바와 같은 3D 가상 객체를 포함하는 렌더는 표면 반사율 정보를 사용자(102)에게 제공한다. 본 명세서에서는 객체의 깊이 정보도 사용자(102)에게 더 제공하기 위한 실시예들이 개시된다. 이것은 본 명세서에서 상세히 설명되는 바와 같이 객체의 실세계 모델(402)을 제공하고, 이 모델을 반사율 데이터로 향상시킴으로써 달성될 수 있다. 일부 실시예에서, 모델(402)은 그 위에 마커, 예를 들어 QR 코드가 인쇄될 수 있다. 이것은 착용식 디바이스(108)에 의해 생성되는 바와 같은 대응하는 객체의 반사율 데이터의 볼륨 디스플레이를 실세계 모델(402)에 관련시키거나 앵커링하는 것을 가능하게 한다.
실세계 모델(402)의 이미지가 가상 환경 안에 투영되고, 대응하는 볼륨 렌더링이 그것을 둘러싼다. 예를 들어, 도 4는 가상 공간 또는 환경에서 사용자(102)에게 보이는 바와 같은 모델(402)의 디스플레이(406)를 도시한다. 이 경우, 가상 객체(404)는 자동차 등의 실세계 객체의 가상 외면을 포함한다. 가상 외면을 포함하는 가상 객체(404)는 자동차 객체의 실세계 표면(확산, 경면, 부식성, 반사율 등) 특성을 인코딩하고, 가상 객체의 크기는 모델(402)과 동일할 수 있거나 실질적으로 상이할 수 있다. 가상 표면의 크기가 모델(402)과 동일한 경우, 사용자(102)는 모델(402)과 동일한 크기의 디스플레이를 볼 것이다. 가상 객체(404)의 크기가 모델(402)보다 크거나 작으면, 디스플레이(406)는 그에 따라 실세계 객체(402)보다 크거나 작게 보일 것이다.
대응하는 실세계 객체의 표면 상세(404)는 실세계 모델(402) 상에 투영되어 디스플레이(406)를 생성한다. 디스플레이(406)는 일부 실시예에서 볼륨 3D 디스플레이를 포함할 수 있다. 결과적으로, 표면 상세(404)를 갖는 모델(402)은 모델(402)을 핸들링하는 사용자(102)에게 통합체로 보인다. 대안으로, 모델(402)은 그 위에 표면 상세(404)가 인쇄된 것으로 사용자(102)에게 보인다. 또한, 실세계 모델(402)의 조작은 가상 환경에서 사용자(102)에게 보이는 통합체에 대한 변경을 유발하는 것으로 보인다.
일부 실시예에서, QR 코드 또는 마커는 특정 렌더링의 사용자(102) 구매를 나타낼 수 있다. 따라서, 착용식 디바이스(108)의 카메라가 QR 코드를 스캐닝할 때, 적절한 렌더링이 서버(도시되지 않음)로부터 착용식 디바이스(108)에 의해 검색되어 모델(402) 상에 투영된다. 예를 들어, 특정 자동차 모델 및 컬러에 대한 렌더링을 구매한 사용자는 디스플레이(406)에서 그러한 렌더링을 보는 반면, 어떠한 특정 렌더링도 구매하지 않은 사용자는 디스플레이(406)에서 자동차에 대한 일반적인 렌더링을 볼 수 있다. 일부 실시예에서, 마커는 단일 모델이 상이한 렌더링들에 대해 사용될 수 있도록 가상 공간에서 모델(402)에 대해 3D 디스플레이를 배치하는 데에만 사용될 수 있다. 이러한 실시예는 아래에서 더 상세히 설명되는 바와 같이 사용자(102)가 가상 환경에 있는 동안 또는 컴퓨팅 디바이스(206)를 통해 임의의 오디오/비디오/촉각 데이터와 함께 렌더링을 구매 또는 임대하도록 선택할 수 있는 인-앱 구매(in-app purchase)의 제공을 용이하게 한다.
전술한 바와 같은 모델(402)은 실세계에 존재하는 자동차의 모델이다. 이 경우에, 크기 및 형상과 같은 기하학적 특성 및 디스플레이(406)의 조명 및 반사율과 같은 광학적 특성 둘 모두는 모델이 디스플레이(406)를 통해 가상화되는 자동차와 유사하다. 그러나, 이것은 모델이 실세계에 존재하지 않는 가상 객체에 대응하는 전술한 실시예에 따라 모델이 생성될 수 있는 것을 필요로 하지 않는다는 것을 알 수 있다. 일부 실시예에서, 가상 객체의 크기 및 형상과 같은 기하학적 특성들 또는 광학적 특성들 중 하나 이상은 실세계 객체 및/또는 3D 인쇄 모델과 실질적으로 상이할 수 있다. 예를 들어, 실세계 3D 모델(402)이 소정의 컬러 표면을 가질 수 있는 반면에 최종 3D 디스플레이에서 그 위에 투영된 가상 표면이 상이한 컬러를 가질 수 있는 3D 디스플레이가 생성될 수 있다.
실세계 모델(402)은 종이, 플라스틱, 금속, 목재, 유리 또는 이들의 조합과 같은, 그러나 이에 한정되지 않는 다양한 금속 또는 비금속 재료로 구성될 수 있다. 일부 실시예에서, 실세계 모델(402) 상의 마커는 제거 가능하거나 교체 가능한 마커일 수 있다. 일부 실시예에서, 마커는 영구적인 마커일 수 있다. 마커는 실세계 모델(402)에 인쇄되거나, 에칭되거나, 조각되거나, 접착되거나, 달리 부착되거나, 그와 통합될 수 있지만, 이에 한정되지 않는다. 일부 실시예에서, 모델(402)은 예를 들어 3D 프린터에 의해 생성될 수 있다. 일부 실시예에서, 예를 들어 볼륨 3D 디스플레이로서 투영되는 실세계에 존재하는 것과 같은 객체의 표면 반사율 데이터는 광 스테이지와 같은 장치에 의해 획득될 수 있다. 일부 실시예에서, 객체의 표면 반사율 데이터는 컴퓨팅 장치에 의해 전적으로 생성될 수 있다. 예를 들어, 객체 표면 외관은 3D 디스플레이를 생성하는 데 사용할 수 있는 양방향 반사율 분포 함수("BRDF")를 이용하여 모델링할 수 있다.
도 5는 본 명세서에서 설명되는 실시예들에 따른, 볼륨 디스플레이를 위한 제어 메커니즘을 형성하기 위한 시스템의 개략도(500)이다. 시스템(500)은 실세계 객체(106/206)를 포함하고, 착용식 디바이스(108)는 머리 장착형 디스플레이(HMD)(520)를 포함하고, 장면 처리 모듈(150)에 통신 가능하게 결합된다. HMD(520)는 생성된 가상 객체를 사용자(102)에게 디스플레이하는 착용식 디바이스(108)에 포함된 렌즈를 포함할 수 있다. 일부 실시예에서, 장면 처리 모듈(150)은 ARJ VR 장면을 생성하는 것과 관련된 데이터가 착용식 디바이스(108)에서 처리되도록 착용식 디바이스(108)에 포함될 수 있다. 일부 실시예에서, 장면 처리 모듈(150)은 렌더링된 장면을 수신하고, 착용식 디바이스(108)의 API(Application Programming Interface)를 이용하여 HMD 상에 VR/AR 장면을 생성할 수 있다.
장면 처리 모듈(150)은 수신 모듈(502), 장면 데이터 처리 모듈(504) 및 장면 생성 모듈(506)을 포함한다. 수신 모듈(502)은 상이한 소스들로부터 데이터를 수신하도록 구성된다. 따라서, 수신 모듈(502)은 광 필드 모듈(522), 디바이스 데이터 모듈(524) 및 카메라 모듈(526)을 포함하지만 이에 한정되지 않는 추가 서브모듈들을 포함할 수 있다. 광 필드 모듈(522)은 사용자(102)에 대한 뷰포트를 생성하도록 더 처리될 수 있는 광 필드를 수신하도록 구성된다. 일부 실시예에서, 광 필드 데이터는 게이밍 디바이스와 같은 단거리 네트워킹 소스에서 생성될 수 있거나, 원격 서버와 같은 먼 소스로부터 착용식 디바이스(108)에서 수신될 수 있다. 일부 실시예에서, 광 필드 데이터는 또한 착용식 디바이스(108)의 국지적 디바이스로부터 검색될 수 있다.
디바이스 데이터 모듈(524)은 컴퓨팅 디바이스(206)인 통신 가능하게 결합된 실세계 객체를 포함하는 다양한 디바이스로부터 데이터를 수신하도록 구성된다. 일부 실시예에서, 디바이스 데이터 모듈(524)은 착용식 디바이스(108) 및 컴퓨팅 디바이스(206) 중 하나 이상의 가속도계, 자기계, 나침반 및/또는 자이로스코프와 같은 배치/모션 센서로부터 데이터를 수신하도록 구성된다. 이것은 착용식 디바이스(108)와 컴퓨팅 디바이스(206)의 정확한 상대적 배치를 가능하게 한다. 데이터는 실세계 객체(206)의 터치스크린 센서에 의해 획득된 처리된 사용자 입력 데이터를 포함할 수 있다. 이러한 데이터는 AR/VR 장면의 콘텐츠 및/또는 렌더링된 AR/VR 장면에 적용될 변경을 결정하기 위해 처리될 수 있다. 일부 실시예에서, 디바이스 데이터 모듈(524)은 착용식 컴퓨팅 디바이스(108)에 탑재된 가속도계, 자이로스코프 또는 다른 센서와 같은 디바이스로부터 데이터를 수신하도록 더 구성될 수 있다.
카메라 모듈(526)은 착용식 디바이스(108)와 관련된 카메라 및 실세계 객체(204)와 관련된 카메라 중 하나 이상으로부터 이미지 데이터를 수신하도록 구성된다. 이러한 카메라 데이터는 디바이스 데이터 모듈(524)에 의해 수신된 데이터에 더하여 실세계 객체(204)에 대한 착용식 디바이스(108)의 위치 및 배향을 결정하도록 처리될 수 있다. 사용자(102)에 의해 사용되는 실세계 객체의 타입에 기초하여, 수신 모듈(502)에 포함된 서브모듈들 중 하나 이상은 데이터를 수집하는 데 사용될 수 있다. 예를 들어, 실세계 객체(106) 또는 모델(402)이 사용되는 경우, 디바이스 데이터 모듈(524)과 같은 서브모듈은 그러한 실세계 객체에 의해 어떠한 사용자 입력 데이터도 전송되지 않기 때문에 데이터 수집 프로세스에서 사용되지 않을 수 있다.
장면 데이터 처리 모듈(504)은 카메라 처리 모듈(542), 광 필드 처리 모듈(544) 및 입력 데이터 처리 모듈(546)을 포함한다. 카메라 처리 모듈(542)은 초기에 착용식 디바이스(108)에 부착된 후방 카메라로부터 데이터를 수신하여, 착용식 디바이스(108)에 대한 실세계 객체의 위치를 검출 및/또는 결정한다. 실세계 객체 자체가 카메라를 포함하지 않는다면, 착용식 디바이스 카메라로부터의 데이터는 실세계 객체의 상대 위치 및/또는 배향을 결정하도록 처리된다. 카메라를 또한 포함할 수 있는 컴퓨팅 디바이스(206)의 경우, 그의 카메라로부터의 데이터는 또한 착용식 디바이스(108)와 컴퓨팅 디바이스(206)의 상대 위치를 더 정확하게 결정하는 데 사용될 수 있다. 착용식 디바이스 카메라로부터의 데이터는 또한 마커, 그 위에 마커를 포함하는 실세계 객체(106)에 대한 그의 위치 및 배향을 식별하도록 분석된다. 전술한 바와 같이, 하나 이상의 가상 객체가 생성되고/되거나 마커에 대해 조작될 수 있다. 또한, 마커가 모델 상에 구매된 렌더를 생성하는 데 사용되고 있는 경우, 렌더는 착용식 디바이스 카메라의 데이터로부터 식별되는 바와 같은 마커에 기초하여 선택할 수 있다. 또한, 카메라 데이터의 처리는 또한 착용식 디바이스(108) 및 실세계 객체(106 또는 206) 중 하나 이상이 움직이는 경우 궤적을 추적하는 데 사용될 수 있다. 이러한 데이터는 렌더링된 장면에서 기존 가상 객체에 필요할 수 있는 AR/VR 장면 또는 변경을 결정하기 위해 더 처리될 수 있다. 예를 들어, 가상 객체(104/204)의 크기는 카메라 처리 모듈(542)에 의해 분석되는 바와 같은 사용자의 머리(130)의 이동에 기초하여 증가되거나 감소될 수 있다.
광 필드 처리 모듈(544)은 로컬, 피어 대 피어 또는 클라우드 기반 네트워킹 소스 중 하나 이상으로부터 획득된 광 필드 데이터를 처리하여, 식별된 실세계 객체에 대한 하나 이상의 가상 객체를 생성한다. 광 필드 데이터는 가상 환경 내의 아바타와 같은 렌더 자산에 관한 정보 및 렌더 자산의 상태 정보를 포함할 수 있지만, 이에 한정되지 않는다. 수신된 데이터에 기초하여, 광 필드 모듈(544)은 가상 객체(104/204)에 대한 장면 적합 2D/3D 기하구조 및 텍스처, RGB 데이터를 출력한다. 일부 실시예에서, (공간 위치 및 배향 파라미터와 같은) 가상 객체(104/204)의 상태 정보는 또한 카메라 처리 모듈(542)에 의해 결정되는 바와 같은 실세계 객체(106/206)의 위치/배향의 함수일 수 있다. 실세계 객체(104)와 같은 객체가 사용되는 일부 실시예에서는, 어떠한 사용자 터치 입력 데이터도 생성되지 않으므로, 카메라 처리 모듈(542) 및 광 필드 처리 모듈(544)로부터의 데이터가 결합되어 가상 객체(106)를 생성할 수 있다.
컴퓨팅 디바이스가 실세계 객체(206)로서 사용되는 실시예에서, 입력 처리 모듈(546)은 컴퓨팅 디바이스(206)로부터 수신된 데이터를 더 분석하고, 렌더링된 가상 객체에 대한 변경을 결정하는 데 사용된다. 전술한 바와 같이, 입력 데이터 처리 모듈(546)은 컴퓨팅 디바이스(206)의 가속도계 및/또는 자이로스코프로부터의 데이터와 같은 위치 및/또는 모션 센서 데이터를 수신하여 착용식 디바이스(108)에 대해 컴퓨팅 디바이스(206)를 정확하게 배치하도록 구성된다. 이러한 데이터는 착용식 디바이스(108)와 컴퓨팅 디바이스(206) 사이에 형성된 통신 채널을 통해 수신될 수 있다. 한정이 아니라 예로서, 센서 데이터는 컴퓨팅 디바이스(206)로부터 단거리 네트워크를 통해 패킷 데이터로서 수신될 수 있으며, 패킷들은 예를 들어 FourCC(4 문자 코드) 포맷으로 구성된다. 일부 실시예에서, 장면 처리 모듈(150)은 컴퓨팅 디바이스(206) 및 착용식 디바이스(108)의 상대 위치를 결정하기 위해 칼만 필터 또는 다중 뷰 기하학과 같은, 그러한 이에 한정되지 않는 센서 데이터 융합 기술을 이용하여 이미지 데이터를 융합할 수 있다. 컴퓨팅 디바이스(206)의 배치 및/또는 모션에 기초하여, 가상 객체(204)의 가시적 속성 및 비가시적 속성 중 하나 이상에서 변경이 이루어질 수 있다.
또한, 입력 처리 모듈(546)은 컴퓨팅 디바이스(206)로부터 사용자 제스처에 관한 전처리된 데이터를 수신하도록 구성될 수 있다. 이것은 사용자(102)가 가상 객체(204)의 다양한 속성의 원하는 변경을 수행하기 위해 특정 제스처를 실행하는 가상 객체(204)와의 사용자(102)의 상호작용을 가능하게 한다. 다양한 타입의 사용자 제스처가 인식되어, 렌더링된 가상 객체의 다양한 속성 변경과 관련될 수 있다. 사용자 제스처와 가상 객체에 적용될 변경 간의 이러한 대응은 가상 객체(204) 및 그가 생성되는 가상 환경 중 하나 이상과 관련된 프로그래밍 논리에 의해 결정될 수 있다. 입력 처리 모듈(546)은 터치스크린(212) 상에서 실행되는 탭, 스와이프, 스크롤, 핀치, 줌과 같은, 그러나 이에 한정되지 않는 사용자 제스처, 및 또한 컴퓨팅 디바이스(206)의 경사, 이동, 회전 또는 달리 그와의 상호 작용을 분석하여 대응하는 동작을 결정할 수 있다.
일부 실시예에서, 가상 객체(104/204)의 가시적 속성 및 이러한 속성에 적용될 변경은 전처리된 사용자 입력 데이터에 기초하여 입력 처리 모듈(546)에 의해 결정될 수 있다. 일부 실시예에서, 가상 객체(104/204)의 비가시적 속성은 또한 입력 처리 모듈(546)의 데이터 분석에 기초하여 결정될 수 있다.
장면 데이터 처리 모듈(504)의 다양한 서브모듈로부터의 출력은 가상 객체(104/204)를 사용자에게 디스플레이하는 뷰포트를 생성하기 위해 장면 생성 모듈(506)에 의해 수신된다. 따라서, 장면 생성 모듈(506)은 모든 소스에 기초하여 장면의 최종 어셈블리 및 패키징을 실행 한 다음, HMD API와 상호 작용하여 최종 출력을 생성한다. 최종 가상 또는 증강 현실 장면은 장면 생성 모듈(506)에 의해 HMD로 출력된다.
도 6은 일부 실시예에 따른 전처리 모듈(250)의 개략도이다. 실세계 객체(206)에 포함된 전처리 모듈(250)은 컴퓨팅 디바이스(206)의 다양한 센서로부터 입력 데이터를 수신하고, 장면 처리 모듈(150)이 가상 객체(104/204) 및 가상 환경 중 하나 이상을 조작하는 데 사용할 수 있는 데이터를 생성한다. 전처리 모듈(250)은 입력 모듈(602), 분석 모듈(604), 통신 모듈(606) 및 렌더 모듈(608)을 포함한다. 입력 모듈(602)은 카메라, 위치/모션 센서, 예로서 가속도계, 자기계 또는 자이로스코프 및 터치스크린 센서와 같은, 그러나 이에 한정되지 않는 실세계 객체(204)에 포함된 다양한 센서 및 컴포넌트로부터 입력을 수신하도록 구성된다. 이러한 센서 데이터를 컴퓨팅 디바이스(206)로부터 착용식 디바이스(108)로 전송하는 것은 더 응집된 사용자 경험을 제공한다. 이것은 일반적으로 불량한 사용자 경험을 유발하는 실세계 객체 및 가상 객체의 추적에 수반되는 문제들 중 하나를 해결한다. 컴퓨팅 디바이스(206) 및 착용식 디바이스(108)의 센서들과 카메라들 간의 양방향 통신을 용이하게 하고 양 디바이스(108, 206)로부터의 센서 데이터를 융합하는 것은 가상 및 실세계 3D 공간에서의 객체들의 추적에서 훨씬 더 적은 에러를 유발하며, 따라서 더 양호한 사용자 환경을 유도할 수 있다.
분석 모듈(604)은 입력 모듈(602)에 의해 수신된 데이터를 처리하여, 실행될 다양한 작업을 결정한다. 컴퓨팅 디바이스(206)의 카메라 및 가속도계 및 자이로스코프와 같은 위치/모션 센서로부터의 데이터는 착용식 디바이스(108)에 대한 컴퓨팅 디바이스(206)의 위치, 배향 및 궤적 중 하나 이상을 포함하는 배치 데이터를 결정하도록 처리된다. 배치 데이터는 컴퓨팅 디바이스(206) 및 착용식 디바이스(108)의 서로에 대한 위치를 더 정확하게 결정하기 위해 디바이스 데이터 수신 모듈(524) 및 카메라 모듈(526)로부터의 데이터와 함께 사용된다. 분석 모듈(604)은 예를 들어 터치스크린 센서로부터의 원시 센서 데이터를 처리하여 특정 사용자 제스처를 식별하도록 더 구성될 수 있다. 이들은 가상 환경에 고유한 알려진 사용자 제스처 또는 제스처들을 포함할 수 있다. 일부 실시예에서, 사용자(102)는 예를 들어 특정 가상 환경과 관련된 제스처에 대응할 수 있는 입력인 다중 손가락 입력을 제공할 수 있다. 이 경우, 분석 모듈(604)은 사용자의 터치 벡터의 크기 및 방향과 같은 정보를 결정하고 정보를 장면 처리 모듈(150)로 전송하도록 구성될 수 있다.
분석 모듈(604)로부터의 처리된 센서 데이터는 통신 모듈(606)로 전송된다. 처리된 센서 데이터는 통신 모듈(606)에 의해 패키징 및 압축된다. 또한, 통신 모듈(606)은 패키징된 데이터를 착용식 디바이스(108)로 전송하는 최적의 방식을 결정하기 위한 프로그래밍 명령어들도 포함한다. 본 명세서에서 설명되는 바와 같이, 컴퓨팅 디바이스(206)는 상이한 통신 네트워크를 통해 착용식 디바이스(108)에 접속될 수 있다. 품질 또는 속도에 기초하여, 패키징된 센서 데이터를 착용식 디바이스(108)로 전송하기 위해 통신 모듈(606)에 의해 네트워크가 선택될 수 있다.
마커 모듈(608)은 사용자 선택에 기초하거나 가상 환경과 관련된 미리 결정된 정보에 기초하여 마커를 생성하도록 구성된다. 마커 모듈(608)은 마커 저장소(682), 선택 모듈(684) 및 디스플레이 모듈(686)을 포함한다. 마커 저장소(682)는 컴퓨팅 디바이스(206)에 포함된 국지적 저장 매체의 일부일 수 있다. 마커 저장소(682)는 컴퓨팅 디바이스(206) 상에 렌더링될 수 있는 상이한 가상 객체에 대응하는 복수의 마커를 포함한다. 일부 실시예에서, 컴퓨팅 디바이스(206)의 사용자가 온라인 또는 오프라인 판매자로부터의 구매로 인해, 보상으로서 또는 다른 이유로 인해 렌더링에 영구적으로 또는 일시적으로 액세스하는 것이 허가될 때, 렌더링과 관련된 마커가 다운로드되어 마커 저장소(682)에 저장될 수 있다. 마커 저장소(682)는 가상 객체로서 렌더링될 수 있는 모든 가상 객체에 대한 마커를 포함하지 않을 수 있다는 것을 알 수 있다. 이것은, 일부 실시예에서, 복수의 마커에 관한 것 이외의 가상 객체가 예를 들어 가상 환경에서의 정보에 기초하여 렌더링될 수 있기 때문이다. 마커는 QR 코드 또는 바코드와 같은 인코딩된 데이터 구조 또는 이미지를 포함할 수 있기 때문에 특정 렌더링의 사용자 선택을 위해 디스플레이될 수 있는 자연어 태그와 관련될 수 있다.
선택 모듈(684)은 디스플레이를 위해 마커 저장소(682)로부터 하나 이상의 마커를 선택하도록 구성된다. 선택 모듈(684)은 일부 실시예에서 사용자 입력에 기초하여 마커를 선택하도록 구성된다. 선택 모듈(684)은 또한 일부 실시예에서 특정 가상 환경에 관한 착용식 디바이스(108)로부터의 입력에 기초하여 마커를 자동 선택하도록 구성된다. 선택된 마커에 관한 정보는 선택된 마커들 중 하나 이상을 터치스크린(212) 상에 디스플레이하는 디스플레이 모듈(686)로 통신된다. 마커가 사용자(102)에 의해 선택되는 경우, 마커의 위치가 사용자(102)에 의해 제공될 수 있거나, 미리 결정된 구성에 자동으로 기초할 수 있다. 예를 들어, 사용자(102)가 게임을 하기 위해 마커를 선택하면, 선택된 마커는 게임과 관련된 미리 결정된 구성에 기초하여 자동으로 배열될 수 있다. 유사하게, 마커가 가상 환경에 기초하여 자동으로 선택되면, 마커는 착용식 컴퓨팅 디바이스로부터 수신된 바와 같은 가상 환경에 관한 정보에 기초하여 자동으로 배열될 수 있다. 선택된 마커에 관한 데이터는 마커 저장소(682)로부터 선택된 마커를 검색하여 터치스크린(212) 상에 디스플레이하는 디스플레이 모듈(684)에 의해 수신된다.
도 7은 일 실시예에 따른 가상 객체와의 사용자 상호 작용을 가능하게 하는 방법을 상술하는 예시적인 흐름도(700)이다. 방법은 702에서 시작하며, 표면(112/212) 상에 마커(110/210)를 갖는 실제 3D 공간 내의 실세계 객체(106/206)의 존재가 검출된다. 착용식 디바이스(108)에 포함된 카메라는 일부 실시예에서 장면 처리 모듈(150)이 실세계 객체(106/206)를 검출할 수 있게 한다. 실세계 객체가 컴퓨팅 디바이스(206)인 실시예에서, 가속도계, 자이로스코프 또는 나침반과 같은, 그러나 이에 한정되지 않는 그의 배치/모션 센서로부터의 정보가 또한 그의 속성을 결정하는 데 사용될 수 있으며, 이는 또한 그러한 결정의 정확성을 향상시킨다.
704에서, 착용식 디바이스(108)에 대한 또는 착용식 디바이스(108)를 착용한 사용자(102)의 눈에 대한 실제 3D 공간 내의 그의 위치 및 배향과 같은 마커(110/210) 또는 컴퓨팅 디바이스(206)의 속성이 얻어진다. 일부 실시예에서, 속성은 착용식 디바이스(108) 및 실세계 객체(206)에 포함된 카메라 및 가속도계/자이로스코프로부터의 데이터를 분석함으로써 획득될 수 있다. 전술한 바와 같이, 카메라 및 센서로부터의 데이터는 착용식 디바이스(108)와 컴퓨팅 디바이스(206) 사이에서 통신 채널을 통해 교환될 수 있다. 칼만 필터와 같은, 그러나 이에 한정되지 않는 다양한 분석 기술을 이용하여 센서 데이터를 처리하고 출력을 제공할 수 있으며, 출력은 가상 객체 및/또는 가상 장면을 프로그래밍하는 데 사용될 수 있다. 706에서, 마커(110/210)가 스캐닝되고, 그 안의 임의의 인코딩된 정보가 결정된다.
708에서, 하나 이상의 가상 객체(들)(104/204)가 3D 가상 공간에서 렌더링된다. 그들의 초기 위치 및 배향은 착용식 디바이스(108)의 디스플레이로부터 사용자(102)에 의해 보여지는 바와 같이 실세계 객체(106/206)의 위치/배향에 의존할 수 있다. 컴퓨팅 디바이스(206)의 표면(112/212) 상의 가상 객체(104/204)의 위치는 표면(112/212) 상의 마커(110/210)의 상대 위치에 의존할 것이다. 육안으로 사용자가 볼 수 있는 실세계 객체(104/204) 또는 마커(110/210)와 같은 실제 3D 공간 내의 객체와 달리, 708에서 가상 3D 공간에서 렌더링된 가상 객체(104/204)는 착용식 디바이스(108)를 착용한 사용자(102)에게만 보인다. 또한, 708에서 렌더링된 가상 객체(104/204)는 다른 사용자들이 렌더링된 객체를 보도록 구성된 각각의 착용식 디바이스를 가질 때 그들의 각각의 뷰에 기초하여 그들에게 보일 수 있다. 그러나, 다른 사용자들을 위해 생성된 뷰는 실제 3D 공간에서의 실세계 객체(106/206)/마커(110/210)의 그들의 투시 뷰에 기초하는 그들 자신의 관점에서 가상 객체(104/204)를 나타낼 수 있다. 따라서, 다수의 뷰어가 가상 객체(204)를 동시에 보고 그와 상호 작용할 수 있다. 가상 객체(104/204)와의 사용자 중 하나의 상호 작용은 가상 객체(104/204)의 그들의 투시 뷰에 기초하여 다른 사용자들에게 보일 수 있다. 더욱이, 가상 객체(104/204)는 또한 실제 3D 공간에서의 실세계 객체(106/206)의 조작/상호 작용을 통해 가상 3D 공간에서 제어되거나 조작 가능하도록 구성된다.
일부 실시예에서, 착용식 디바이스(108)와 통신하는 프로세서는 가상 객체(104/204)를 렌더링하고, 렌더링을 사용자(102)에게 디스플레이하기 위해 착용식 디바이스(108)로 전송할 수 있다. 렌더링 프로세서는 블루투스 네트워크와 같은 단거리 통신 네트워크를 통해 또는 Wi-Fi 네트워크와 같은 장거리 네트워크를 통해 착용식 디바이스(108)에 통신 가능하게 결합될 수 있다. 렌더링 프로세서는 사용자(102)의 위치에 배치되고 착용식 디바이스(108)에 접속된 게이밍 디바이스에 포함될 수 있다. 렌더링 프로세서는 사용자(102)로부터 원격 위치에 배치되고 인터넷과 같은 네트워크를 통해 렌더링을 전송하는 서버에 포함될 수 있다. 일부 실시예에서, 착용식 디바이스(108)에 포함된 프로세서는 렌더링된 가상 객체(204)를 생성할 수 있다. 710에서, 렌더링된 가상 객체(104/204)는 착용식 디바이스(108)의 디스플레이 스크린 상에서 사용자(102)에게 가상 3D 공간에 디스플레이된다.
712에서, 실세계 객체(106/206)의 속성 중 하나의 변경이 발생했는지가 결정된다. 실세계 객체(106/206)의 검출 가능한 속성 변경은 위치, 배향, 정지/모션 상태의 변경 및 터치스크린(212) 상에서 발생하는 변경, 예를 들어 컴퓨팅 디바이스(206)가 실세계 객체로서 사용되고 있는 경우의 사용자(102)의 손가락의 존재 또는 이동을 포함하지만 이에 한정되지 않는다. 후자의 경우, 컴퓨팅 디바이스(206)는 그의 속성 또는 그 속성의 임의 변경을 착용식 디바이스(108)로 전송하도록 구성될 수 있다. 712에서 변경이 검출되지 않으면, 프로세스는 710으로 복귀하여, 가상 객체(104/204)의 디스플레이를 계속한다. 712에서 변경이 검출되면, 검출된 변경에 관한 데이터가 분석되고, 가상 객체(104/204)에 적용될 대응하는 변경이 714에서 식별된다. 716에서, 714에서 식별된 바와 같은 가상 객체(104/204)의 하나 이상의 속성의 변경이 행해진다. 718에서, 변경된 속성을 갖는 가상 객체(104/204)는 착용식 디바이스(108)의 디스플레이 상에서 사용자(102)에게 디스플레이된다.
도 8은 일부 실시예에 따른, 실세계 객체 속성에 대한 변경에 관한 데이터를 분석하고, 가상 객체(204)에 대한 대응하는 변경을 식별하는 방법을 상술하는 예시적인 흐름도(800)이다. 방법은 802에서 시작하며, 실세계 객체(106/206)에 대한 속성 변경에 관한 데이터가 수신된다. 804에서, 가상 객체(104/204)에 대해 행해질 대응하는 속성 변경이 결정된다. 가상 3D 공간에서의 가상 객체(104/204)의 가시 및 비가시적 속성에 대한 다양한 변경은 실제 3D 공간에서 실세계 객체(104/204)의 속성에 대해 행해지는 변경을 통해 달성될 수 있다. 이러한 변경은 코딩될 수 있거나, 가상 객체(104/204) 및/또는 가상 객체(104/204)가 생성되는 가상 환경을 위해 프로그램 논리가 포함될 수 있다. 따라서, 실세계 객체(206)의 속성 변경의 가상 객체(104/204)로의 매핑은 가상 객체(104/204) 및/또는 가상 환경의 프로그래밍의 한계에 따라 제약을 받는다. 806에서, 가상 객체(104/204)의 하나 이상의 속성이 변경되어야 한다고 결정되면, 808에서 가상 객체(104/204)에 대해 대응하는 변경이 실행된다. 변경된 가상 객체(104/204)는 810에서 사용자에게 디스플레이된다. 변경될 가상 객체 속성이 806에서 결정되지 않으면, 실세계 객체 속성에 대한 변경에 관한 데이터는 812에서 폐기되고, 프로세스는 종료 블록에서 종료된다.
도 9는 본 명세서에서 설명되는 일부 실시예에 따른, 객체의 조명 데이터를 그의 깊이 정보와 함께 제공하는 예시적인 방법이다. 방법은 902에서 시작하며, 902에서 마커가 부착 또는 통합된 실세계 모델(402)이 생성된다. 본 명세서에서 설명되는 바와 같이, 실세계 모델(402)은 상이한 방법을 통해 다양한 재료로부터 생성될 수 있다. 예를 들어, 이 모델은 다양한 재료에 새겨지거나 조각되거나 에칭될 수 있다. 일부 실시예에서, 이 모델은 3D 프린터를 통해 얻어진 수지 모델일 수 있다. 사용자(102)는 예를 들어 판매자로부터 모델(402)과 같은 실세계 모델을 획득할 수 있다. 904에서, 실제 3D 공간에 존재하는 객체의 실세계 모델(402)의 존재는 사용자(102)가 착용식 디바이스(108)의 시야 내에 모델(402)을 유지할 때 검출된다. 906에서, 실세계 모델의 표면 상의 마커가 식별된다. 또한, 마커는 또한 실제 3D 공간에서의 그의 위치 및 배향과 같은 모델(402)의 속성을 결정하는 데 도움을 준다. 일부 실시예에서, 마커는 그 안에 인코딩된 렌더링에 관한 정보를 갖는 QR 코드 또는 바코드일 수 있다. 따라서, 908에서, 마커와 관련된 데이터는 원격 서버로 전송된다. 910에서, 모델(402)에 대한 렌더링과 관련된 데이터가 원격 서버로부터 수신된다. 912에서, 수신된 렌더링과 함께 실세계 모델(402)이 사용자(102)에게 디스플레이된다. 일부 실시예에서, 실세계 모델(402)의 3D 이미지는 단계 904에서의 그의 존재의 검출시에 가상 공간에 처음 나타날 수 있고, 이어서 단계 912에서 3D 이미지 상에 렌더링이 나타난다.
도 10은 일부 실시예에 따른 착용식 컴퓨팅 디바이스 내의 특정한 예시적인 모듈을 나타내는 블록도이다. 착용식 컴퓨팅 시스템/디바이스(100)의 소정 실시예는 도 10에 도시된 것보다 많거나 적은 모듈을 포함할 수 있다는 것을 알 수 있다. 착용식 디바이스(108)는 프로세서(1000), 디스플레이 스크린(1030), 오디오 컴포넌트(1040), 저장 매체(1050), 전원(1060), 송수신기(1070) 및 검출 모듈/시스템(1080)을 포함한다. 하나의 프로세서(1000)만이 도시되지만, 착용식 디바이스(108)는 다수의 프로세서를 포함할 수 있거나, 프로세서(1000)는 작업 고유 서브프로세서들을 포함할 수 있다는 것을 알 수 있다. 예를 들어, 프로세서(1000)는 착용식 디바이스(108) 내에 포함된 다양한 장비를 제어하기 위한 범용 서브프로세서 및 디스플레이 스크린(1030) 상의 디스플레이를 생성하고 조작하기 위한 전용 그래픽 프로세서를 포함할 수 있다.
저장 매체(1050)에 포함된 장면 처리 모듈(150)은 사용자(102)에 의해 활성화될 때 실행을 위해 프로세서(1000)에 의해 로딩된다. 다양한 작업과 관련된 프로그래밍 논리를 포함하는 다양한 모듈이 프로세서(1000)에 의해 실행되고, 따라서 HMD(520), 오디오 컴포넌트(1040), 송수신기(1070) 또는 임의의 촉각 입출력 요소일 수 있는 디스플레이 스크린(1030)과 같은 상이한 컴포넌트가 그러한 프로그래밍 모듈로부터의 입력에 기초하여 활성화될 수 있다.
실세계 객체(106)로부터의 사용자 제스처 입력 또는 마이크로폰과 같은 오디오 컴포넌트(1040)로부터의 오디오 입력과 같은 상이한 타입의 입력이 다양한 컴포넌트로부터 프로세서(1000)에 의해 수신된다. 프로세서(1000)는 또한 국지적 저장 매체(1050)로부터 또는 송수신기(1070)를 통해 원격 서버(도시되지 않음)로부터 디스플레이 스크린(1030) 상에 디스플레이될 콘텐츠와 관련된 입력을 수신할 수 있다. 프로세서(1000)는 또한 착용식 디바이스(108)의 상이한 모듈 및 원격 서버(도시되지 않음)와 같은 다른 네트워킹 자원에 적절한 출력을 제공하도록 명령어들로 구성 또는 프로그래밍된다.
이와 같이 상이한 모듈로부터 수신된 다양한 입력은 본 명세서에서 설명되는 바와 같이 응답 출력을 제공하는 프로세서(1000)에 의해 실행되는 적절한 프로그래밍 또는 처리 논리에 의해 처리된다. 프로그래밍 논리는 프로세서(1000)에 탑재된 메모리 유닛에 저장될 수 있거나, 프로그래밍 논리는 외부 프로세서 판독 가능 저장 디바이스/매체(1050)로부터 검색될 수 있고, 필요에 따라 프로세서(1000)에 의해 로딩될 수 있다. 일 실시예에서, 프로세서(1000)는 원격 서버에 의해 스트리밍된 콘텐츠를 디스플레이 스크린(1030) 상에 디스플레이하기 위해 프로그래밍 논리를 실행한다. 이 경우에, 프로세서(1000)는 수신된 렌더만을 디스플레이할 수 있다. 이러한 실시예는 착용식 디바이스에 탑재된 강력한 프로세서를 가질 필요성을 경감시키면서도 착용식 디바이스 상에 고품질 그래픽을 디스플레이할 수 있게 한다. 일 실시예에서, 프로세서(1000)는 실세계 객체(106)로부터 수신된 사용자 입력에 기초하여 디스플레이된 콘텐츠를 변경하기 위해 디스플레이 조작 논리를 실행할 수 있다. 프로세서(1000)에 의해 실행되는 디스플레이 조작 논리는 가상 객체(104/204) 또는 가상 객체(104/204)가 생성되는 가상 환경과 관련된 프로그래밍 논리일 수 있다. 본 명세서의 실시예에 따라 프로세서(1000)에 의해 생성되는 디스플레이는 사용자(102)가 디스플레이 스크린(1030)을 통해 볼 수 있는 실세계 객체 위에 렌더가 오버레이되는 AR 디스플레이일 수 있다. 본 명세서의 실시예에 따라 프로세서에 의해 생성되는 디스플레이는 사용자(102)가 가상 세계에 몰입되고 실세계를 볼 수 없는 VR 디스플레이일 수 있다. 착용식 디바이스(108)는 또한 사진 또는 오디오/비디오 데이터로서 그의 시야 내의 이미지 데이터를 기록할 수 있는 카메라(1080)를 포함한다. 또한, 착용식 디바이스는 또한 정확한 위치 결정을 가능하게 하는 가속도계(1092), 자이로스코프(1094) 및 나침반(1096)과 같은 배치/모션 감지 요소를 포함한다.
도 11은 일부 실시예에 따른 렌더의 구매 및 다운로딩을 위한 시스템(1100)을 나타내는 개략도이다. 시스템(1100)은 인터넷을 포함할 수 있는 네트워크(1130)를 통해 서로 통신 가능하게 결합되는 착용식 디바이스(108), 컴퓨팅 디바이스(206)인 실세계 객체, 판매자 서버(1110) 및 저장 서버(1120)를 포함할 수 있다. 일부 실시예에서, 착용식 디바이스(108) 및 컴퓨팅 디바이스(206)는 전술한 바와 같이 단거리 네트워크를 통해 서로 결합될 수 있다. 웹 사이트와 같은 정보/상업 소스에 대한 액세스를 가능하게 하는 착용식 디바이스(108) 및/또는 컴퓨팅 디바이스(206) 내의 요소는 또한 사용자(102)가 렌더를 구매하는 것을 가능하게 할 수 있다. 일부 실시예에서, 사용자(102)는 특정 가상 객체를 구매하기 위해 판매자의 웹 사이트를 방문하기 위해 컴퓨팅 디바이스(206)에 포함된 브라우저를 사용할 수 있다. 일부 실시예에서, 게임, 가상 서점, 엔터테인먼트 애플리케이션 등과 같은 가상 환경은 착용식 디바이스(108) 및/또는 컴퓨팅 디바이스(206)가 구매를 행하기 위해 판매자 서버(1110)와 접촉할 수 있게 하는 위젯을 포함할 수 있다. 사용자(102)가 구매 트랜잭션을 완료하면, 구매된 가상 객체(104/204)와 관련된 마커(110/210)와 같은 정보는 판매자 서버(1110)에 의해 사용자(102)에 의해 지정된 디바이스로 전송된다. 사용자(102)가 마커(110/210)를 사용하여 가상 객체(104/204)에 액세스할 때, 가상 객체(104/204)의 렌더링과 관련된 코드는 저장 서버(1120)로부터 검색되고 렌더링을 위해 착용식 디바이스(108)로 전송된다. 일부 실시예에서, 코드는 향후 액세스를 위해 착용식 디바이스(108) 또는 컴퓨팅 디바이스(206) 중 하나와 같은, 그러나 이에 한정되지 않는 사용자 지정 디바이스에 국지적으로 저장될 수 있다.
도 12는 본 명세서에서 설명되는 실시예에 따른, 착용식 디바이스(108)에 렌더링을 전송하는 원격 서버 또는 로컬 게이밍 디바이스에서 사용될 수 있는 컴퓨팅 디바이스(1200)의 내부 아키텍처를 도시하는 개략도(1200)이다. 컴퓨팅 디바이스(1200)는 적어도 하나의 컴퓨터 버스(1202)와 인터페이스하는 하나 이상의 처리 유닛(본 명세서에서 CPU라고도 함)(1212)을 포함한다. 영구 저장 매체/매체들(1206), 네트워크 인터페이스(1214), 메모리(1204), 예를 들어, 랜덤 액세스 메모리(RAM), 런타임 임시 메모리, 판독 전용 메모리(ROM) 등, 플로피, CD-ROM, DVD 등, 매체와 같은 이동식 매체를 포함하는 매체에 대해 판독 및/또는 기입할 수 있는 드라이브를 위한 인터페이스인 매체 디스크 드라이브 인터페이스(1220), 모니터 또는 다른 디스플레이 디바이스를 위한 인터페이스로서의 디스플레이 인터페이스(1210), 키보드 또는 마우스와 같은, 그러나 이에 한정되지 않는 포인팅 디바이스를 위한 하나 이상의 인터페이스를 포함할 수 있는 입력 디바이스 인터페이스(1218) 및 병렬 및 직렬 포트 인터페이스, USB(universal serial bus) 인터페이스 등과 같은 개별적으로 도시되지 않은 기타 다른 인터페이스(1222)도 컴퓨터 버스(1202)와 인터페이스한다.
메모리(1204)는 운영 체제, 애플리케이션 프로그램, 디바이스 드라이버, 및 프로그램 코드 또는 논리, 및/또는 본 명세서에서 설명되는 기능, 예를 들어 본 명세서에서 설명되는 하나 이상의 프로세스 흐름을 포함하는 컴퓨터 실행 가능 프로세스 단계를 위한 명령어들을 포함하는 소프트웨어 모듈과 같은 소프트웨어 프로그램의 실행 동안 메모리(1204)에 저장된 정보를 CPU(1212)에 제공하기 위해 컴퓨터 버스(1202)와 인터페이스한다. CPU(1212)는 먼저 저장소, 예를 들어 메모리(1204), 저장 매체/매체들(1206), 이동식 매체 드라이브 및/또는 다른 저장 디바이스로부터 컴퓨터 실행 가능 처리 단계 또는 논리를 위한 명령어들을 로딩한다. 이어서, CPU(1212)는 로딩된 컴퓨터 실행 가능 프로세스 단계를 실행하기 위해 저장된 프로세스 단계를 실행할 수 있다. 저장된 데이터, 예를 들어 저장 디바이스에 의해 저장된 데이터는 컴퓨터 실행 가능 프로세스 단계의 실행 동안 CPU(1212)에 의해 액세스될 수 있다.
영구 저장 매체/매체들(1206)은 소프트웨어 및 데이터, 예컨대 운영 시스템 및 하나 이상의 애플리케이션 프로그램을 저장하는 데 사용될 수 있는 컴퓨터 판독 가능 저장 매체(들)이다. 영구 저장 매체/매체들(1206)은 또한 디지털 카메라 드라이버, 모니터 드라이버, 프린터 드라이버, 스캐너 드라이버, 또는 다른 디바이스 드라이버, 웹 페이지, 콘텐츠 파일, 메타데이터, 재생 목록 및 다른 파일 중 하나 이상과 같은 디바이스 드라이버를 저장하는 데 사용될 수 있다. 영구 저장 매체/매체들(1206)은 본 명세서에서 설명되는 실시예에 따른 프로그램 모듈/프로그램 논리 및 본 개시의 하나 이상의 실시예를 구현하는 데 사용되는 데이터 파일을 더 포함할 수 있다.
도 13은 본 개시의 실시예에 따른, 예를 들어 실세계 객체(206)로서 사용될 수 있는 컴퓨팅 디바이스의 클라이언트 디바이스 구현을 도시하는 개략도이다. 클라이언트 디바이스(1300)는 예를 들어 유선 또는 무선 네트워크를 통해 신호를 송신 또는 수신할 수 있고 애플리케이션 소프트웨어 또는 "앱"(1310)을 실행할 수 있는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스는 예를 들어 데스크탑 컴퓨터 또는 휴대용 디바이스, 예를 들어 셀룰러 전화, 스마트폰, 디스플레이 페이저, 무선 주파수(RF) 디바이스, 적외선(IR) 디바이스, 개인 휴대 단말기(PDA), 핸드헬드 컴퓨터, 태블릿 컴퓨터, 랩탑 컴퓨터, 셋톱 박스, 착용식 컴퓨터, 전술한 디바이스의 특징과 같은 다양한 특징을 결합한 통합 디바이스 등을 포함할 수 있다.
클라이언트 디바이스는 능력 또는 특징의 관점에서 다양할 수 있다. 클라이언트 디바이스는 회로(1326)를 통해 상호접속되는 CPU(1302), 전원(1328), 메모리(1318), ROM(1320), BIOS(1322), 네트워크 인터페이스(들)(1330), 오디오 인터페이스(1332), 디스플레이(1334), 키패드(1336), 조명기(1338), I/O 인터페이스(1340)와 같은 표준 컴포넌트를 포함할 수 있다. 청구 발명은 광범위한 잠재적 변형들을 커버하도록 의도된다. 예를 들어, 셀 폰의 키패드(1336)는 텍스트를 디스플레이하기 위한 단색 액정 디스플레이(LCD)와 같은 제한된 기능의 숫자 키패드 또는 디스플레이(1334)를 포함할 수 있다. 그러나, 이와 달리, 다른 예로서, 웹 인에이블드 클라이언트 디바이스(1300)는 하나 이상의 물리 또는 가상 키보드(1336), 대용량 저장소, 하나 이상의 가속도계(1321), 하나 이상의 자이로스코프(1323) 및 나침반(1325), 자기계(1329), 글로벌 포지셔닝 시스템(GPS)(1324) 또는 다른 위치 식별 타입 능력, 햅틱 인터페이스(1342), 또는 예를 들어 터치 감지 컬러 2D 또는 3D 디스플레이와 같은 고도의 기능을 갖는 디스플레이를 포함할 수 있다. 메모리(1318)는 데이터 저장소(1308)를 위한 영역을 포함하는 랜덤 액세스 메모리(1304)를 포함할 수 있다. 클라이언트 디바이스(1300)는 또한 그의 시야 내의 객체의 이미지 데이터를 획득하고 그들을 정지 사진으로서 또는 비디오로서 기록하도록 구성된 카메라(1327)를 포함할 수 있다.
클라이언트 디바이스(1300)는 윈도우, iOS 또는 리눅스와 같은 개인용 컴퓨터 운영 체제, 또는 iOS, 안드로이드 또는 윈도우 모바일과 같은 모바일 운영 체제 등을 포함하는 다양한 운영 체제(1306)를 포함할 수 있거나 실행할 수 있다. 클라이언트 디바이스(1300)는 단지 몇 가지 가능한 예를 제공하기 위해, 예를 들어 Facebook, LinkedIn, Twitter, Flickr 또는 Google+를 포함하는 소셜 네트워크와 같은 네트워크를 포함하여 이메일, 단문 메시지 서비스(SMS) 또는 멀티미디어 메시지 서비스(MMS)를 통해 하나 이상의 메시지를 통신하는 것과 같이 다른 디바이스와의 통신을 가능하게 하는 클라이언트 소프트웨어 애플리케이션(1314)과 같은 다양한 가능한 애플리케이션(1310)을 포함할 수 있거나 실행할 수 있다. 클라이언트 디바이스(1300)는 또한 예를 들어 텍스트 콘텐츠, 멀티미디어 콘텐츠 등과 같은 콘텐츠를 통신하기 위한 애플리케이션을 포함하거나 실행할 수 있다. 클라이언트 디바이스(1300)는 또한 비디오 또는 게임(예를 들어, 판타지 스포츠 리그 등)과 같은 국지적으로 저장된 또는 스트리밍된 콘텐츠를 포함하는 다양한 형태의 콘텐츠의 브라우징(1312), 검색, 재생과 같은 다양한 가능한 작업을 수행하기 위한 애플리케이션을 포함하거나 실행할 수 있다. 전술한 내용은 청구 발명이 광범위한 가능한 특징 또는 능력을 포함하도록 의도된 것을 설명하기 위해 제공된다.
본 개시의 목적을 위해, 컴퓨터 판독 가능 매체는 컴퓨터 데이터를 저장하며, 데이터는 머신 판독 가능 형태로 컴퓨터에 의해 실행 가능한 컴퓨터 프로그램 코드를 포함할 수 있다. 한정이 아니라 예로서, 컴퓨터 판독 가능 매체는 데이터의 유형적인 또는 고정적인 저장을 위한 컴퓨터 판독 가능 저장 매체, 또는 코드 포함 신호의 일시적인 해석을 위한 통신 매체를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 컴퓨터 판독 가능 저장 매체는 (신호가 아니라) 물리적 또는 유형적 저장소를 지칭하며, 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 유형적인 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체들을 포함하지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체는 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 고체 상태 메모리 기술, CD-ROM, DVD 또는 다른 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 원하는 정보 또는 데이터 또는 명령어를 유형적으로 저장하는 데 사용될 수 있고 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 다른 물리 또는 물질 매체를 포함하지만 이에 한정되지 않는다.
본 개시의 목적을 위해, 시스템 또는 모듈은 (사람의 상호작용 또는 증강을 갖거나 갖지 않고) 본 명세서에서 설명되는 프로세스, 특징 및/또는 기능을 수행하거나 촉진하는 소프트웨어, 하드웨어 또는 펌웨어(또는 이들의 조합), 프로그램 논리, 프로세스 또는 기능 또는 그의 컴포넌트이다. 모듈은 서브모듈을 포함할 수 있다. 모듈의 소프트웨어 컴포넌트는 컴퓨터 판독 가능 매체 상에 저장될 수 있다. 모듈은 하나 이상의 서버에 통합되거나, 하나 이상의 서버에 의해 로딩되고 실행될 수 있다. 하나 이상의 모듈이 엔진 또는 애플리케이션으로 그룹화될 수 있다.
본 기술분야의 기술자는 본 개시의 방법 및 시스템이 많은 방식으로 구현될 수 있고, 따라서 전술한 예시적인 실시예 및 예에 의해 제한되지 않아야 한다는 것을 알 것이다. 즉, 하드웨어 및 소프트웨어 또는 펌웨어의 다양한 조합에서 단일 또는 다수의 컴포넌트에 의해 수행되는 기능 요소, 및 개별 기능은 클라이언트 또는 서버 또는 이들 양자에서 소프트웨어 애플리케이션들 사이에 분산될 수 있다. 이와 관련하여, 본 명세서에서 설명되는 상이한 실시예의 임의의 수의 특징은 단일 또는 다수의 실시예로 결합될 수 있으며, 본 명세서에서 설명되는 특징들보다 적은 특징, 많은 특징 또는 모든 특징을 갖는 대안 실시예가 가능하다. 기능은 또한 현재 알려지거나 알려질 방식으로 여러 컴포넌트 사이에 전체적으로 또는 부분적으로 분산될 수 있다. 따라서, 본 명세서에서 설명되는 기능, 특징, 인터페이스 및 프레퍼런스를 달성함에 있어서 많은 소프트웨어/하드웨어/펌웨어 조합이 가능하다. 또한, 본 개시의 범위는, 현재 그리고 이후에 본 기술분야의 기술자에 의해 이해되는 바와 같이, 설명된 특징 및 기능 및 인터페이스를 수행하기 위한 종래의 공지된 방식뿐만 아니라, 본 명세서에서 설명된 하드웨어 또는 소프트웨어 또는 펌웨어 컴포넌트에 대해 행해질 수 있는 변경 및 수정을 포함한다.
시스템 및 방법은 하나 이상의 실시예와 관련하여 설명되었지만, 본 개시는 개시된 실시예들로 한정될 필요는 없다는 것을 이해해야 한다. 청구항들의 사상 및 범위 내에 포함되는 다양한 수정 및 유사한 배열을 포함하도록 의도되며, 그 범위는 그러한 모든 수정 및 유사한 구조를 포함하도록 가장 넓게 해석되어야 한다. 본 개시는 다음의 청구항들의 임의의 그리고 모든 실시예를 포함한다.

Claims (44)

  1. 방법으로서,
    제1 디스플레이 디바이스와 통신하는 프로세서에 의해, 표면 상에 마커를 포함하는 실세계 객체의 존재를 검출하는 단계;
    상기 프로세서에 의해, 마커의 사용자 선택에 기초하여 사용자의 눈들에 대한 실제 3D 공간에서의 상기 실세계 객체의 위치 및 배향을 식별하는 단계;
    상기 프로세서에 의해, 상기 마커에 대해 가상 3D 공간에 위치 및 배향되는 가상 객체를 렌더링하는 단계 - 상기 가상 객체는 상기 실제 3D 공간에서의 상기 실세계 객체의 조작들을 통해 상기 가상 3D 공간에서 제어되도록 구성됨 -; 및
    상기 가상 3D 공간에서 상기 가상 객체를 시각적으로 제시하기 위해 상기 프로세서에 의해 렌더 데이터를 상기 제1 디스플레이 디바이스로 전송하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 가상 객체가 상기 실세계 객체의 조작들을 통해 제어되도록 구성되는 것은,
    상기 프로세서에 의해, 상기 실세계 객체의 상기 위치 및 배향 중 하나의 변경을 검출하는 단계
    를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 프로세서에 의해, 상기 실세계 객체의 상기 검출된 변경에 기초하여 상기 가상 3D 공간에서 상기 가상 객체의 위치 및 배향 중 하나 이상을 변경하는 단계; 및
    상기 프로세서에 의해, 상기 검출된 변경에 기초하여 상기 변경된 위치들 및 배향들 중 하나 이상에서 상기 가상 객체를 시각적으로 디스플레이하기 위한 렌더 데이터를 상기 제1 디스플레이 디바이스로 전송하는 단계
    를 추가로 포함하는, 방법.
  4. 제1항에 있어서, 상기 실세계 객체는 터치스크린을 포함하는 제2 디스플레이 디바이스이고, 상기 제1 디스플레이 디바이스는 제2 디스플레이 디바이스에 통신 가능하게 결합되고, 상기 결합은 상기 제1 디스플레이 디바이스와 상기 제2 디스플레이 디바이스 사이의 데이터의 교환을 가능하게 하는, 방법.
  5. 제4항에 있어서, 상기 마커는 상기 제2 디스플레이 디바이스의 상기 터치스크린 상에서 검출되는, 방법.
  6. 제4항에 있어서,
    상기 프로세서에 의해, 상기 제2 디스플레이 디바이스로부터 상기 사용자의 터치 입력에 관한 데이터를 수신하는 단계; 및
    상기 프로세서에 의해, 상기 사용자의 터치 입력에 관한 상기 데이터에 응답하여 상기 가상 3D 공간에서 상기 가상 객체 또는 가상 장면을 조작하는 단계
    를 추가로 포함하는, 방법.
  7. 제6항에 있어서, 상기 사용자의 터치 입력에 관한 상기 데이터는 상기 마커에 대한 상기 터치스크린 상의 상기 사용자의 신체 부위의 위치 정보를 포함하는, 방법.
  8. 제7항에 있어서, 상기 가상 객체의 상기 조작은,
    상기 프로세서에 의해, 상기 가상 3D 공간에서 상기 가상 객체의 위치를 변경하여 상기 위치 정보를 추적하는 단계
    를 추가로 포함하는, 방법.
  9. 제6항에 있어서, 상기 가상 객체의 상기 조작은,
    상기 프로세서에 의해, 상기 사용자의 터치 입력에 응답하여 상기 가상 객체의 크기, 형상, 조명 및 렌더링 특성들 중 하나 이상을 변경하는 단계
    를 추가로 포함하는, 방법.
  10. 제9항에 있어서, 상기 사용자의 터치 입력은 단일 또는 다중 탭, 탭 및 홀드, 회전, 스와이프 또는 핀치-줌 제스처로 구성된 제스처들의 그룹으로부터 선택된 제스처에 대응하는, 방법.
  11. 제4항에 있어서,
    상기 프로세서에 의해, 상기 제2 디스플레이 디바이스에 포함된 복수의 센서들 중 적어도 하나로부터의 입력에 관한 데이터를 수신하는 단계;
    상기 프로세서에 의해, 상기 제2 디스플레이 디바이스로부터의 상기 센서 입력 데이터에 응답하여 상기 가상 객체 또는 가상 장면을 조작하는 단계
    를 추가로 포함하는, 방법.
  12. 제1항에 있어서, 실세계 객체의 상기 검출은 다른 객체의 3D 인쇄 모델의 검출을 포함하는, 방법.
  13. 제12항에 있어서, 상기 가상 객체는 상기 다른 객체의 가상 외면을 포함하고, 상기 가상 외면은 상기 다른 객체의 실세계 표면 재료의 광학 특성들을 인코딩하는, 방법.
  14. 제13항에 있어서, 상기 가상 객체의 기하 및 렌더링 특성들 중 하나 이상은 상기 3D 인쇄 모델의 대응하는 특성들과 동일한, 방법.
  15. 제14항에 있어서,
    상기 프로세서에 의해, 상기 가상 객체의 렌더 데이터의 구매를 위한 사용자 입력을 수신하는 단계; 및
    상기 프로세서에 의해, 상기 렌더 데이터의 상기 사용자의 구매에 관한 정보를 판매자 서버로 전송하는 단계
    를 추가로 포함하는, 방법.
  16. 제12항에 있어서, 상기 가상 객체의 다른 기하 또는 렌더링 특성들 중 하나 이상은 상기 3D 인쇄 모델의 대응하는 특성들과 다른, 방법.
  17. 제16항에 있어서,
    상기 프로세서에 의해, 상기 가상 객체의 렌더 데이터의 구매를 위한 사용자 입력을 수신하는 단계; 및
    상기 프로세서에 의해, 상기 렌더 데이터의 상기 사용자의 구매에 관한 정보를 판매자 서버로 전송하는 단계
    를 추가로 포함하는, 방법.
  18. 제16항에 있어서,
    상기 프로세서에 의해, 상기 사용자가 상기 3D 인쇄 모델과 함께 사용하기 위해 상기 가상 객체의 렌더 데이터를 구매하였다는 것을 검출하는 단계;
    상기 프로세서에 의해, 상기 구매된 렌더 데이터에 따라 상기 가상 객체를 렌더링하는 단계
    를 추가로 포함하는, 방법.
  19. 제1항에 있어서,
    상기 프로세서에 의해, 상기 제1 디스플레이 디바이스의 디스플레이 상에 상기 가상 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
  20. 장치로서,
    프로세서;
    프로세서 실행 가능 프로그래밍 논리를 저장하는 비일시적 저장 매체
    를 포함하고, 상기 프로그래밍 논리는,
    제1 디스플레이 디바이스와 통신하여, 표면 상에 마커를 포함하는 실세계 객체의 존재를 검출하는 존재 검출 논리;
    마커의 사용자 선택에 기초하여 사용자의 눈들에 대한 실제 3D 공간에서의 상기 실세계 객체의 위치 및 배향을 식별하는 식별 논리;
    상기 마커에 대해 가상 3D 공간에 위치 및 배향되는 가상 객체를 렌더링하는 렌더링 논리;
    상기 실제 3D 공간에서의 상기 실세계 객체의 조작에 응답하여 상기 가상 객체를 조작하는 조작 논리; 및
    상기 가상 3D 공간에서 상기 가상 객체를 시각적으로 디스플레이하기 위해 상기 프로세서에 의해 렌더 데이터를 전송하는 전송 논리
    를 포함하는, 장치.
  21. 제20항에 있어서, 상기 조작 논리는,
    상기 실세계 객체의 상기 위치 또는 배향의 변경을 검출하는 식별 논리를 더 포함하는, 장치.
  22. 제21항에 있어서, 상기 조작 논리는,
    상기 실세계 객체의 상기 검출된 변경에 기초하여 상기 가상 3D 공간에서 상기 가상 객체의 하나 이상의 속성들을 변경하는 변경 논리; 및
    상기 변경된 속성들을 갖는 상기 가상 객체를 상기 사용자에게 디스플레이하는 디스플레이 논리
    를 추가로 포함하는, 장치.
  23. 제20항에 있어서, 상기 제1 디스플레이 디바이스는 제2 디스플레이 디바이스에 통신 가능하게 결합되고, 상기 결합은 상기 제2 디스플레이 디바이스에 의해 생성되는 데이터의 교환을 가능하게 하는, 장치.
  24. 제23항에 있어서, 상기 마커는 상기 제2 디스플레이 디바이스의 터치스크린 상에 디스플레이되는, 장치.
  25. 제24항에 있어서, 상기 조작 논리는,
    상기 제2 디스플레이 디바이스로부터 상기 사용자의 터치 입력에 관한 데이터를 수신하는 수신 논리; 및
    상기 사용자의 터치 입력에 관한 상기 데이터에 응답하여 상기 가상 3D 공간에서 상기 가상 객체를 조작하기 위한 논리
    를 추가로 포함하는, 장치.
  26. 제25항에 있어서, 상기 사용자의 터치 입력에 관한 상기 데이터는 상기 마커에 대한 상기 터치스크린 상의 상기 사용자의 신체 부위의 위치 정보를 포함하는, 장치.
  27. 제26항에 있어서, 상기 조작 논리는,
    상기 가상 3D 공간에서 상기 가상 객체의 위치, 배향, 크기 및 렌더링 특성들 중 적어도 하나를 변경하는 변경 논리를 추가로 포함하는, 장치.
  28. 제26항에 있어서, 상기 조작 논리는,
    상기 사용자의 터치 입력에 응답하여 상기 가상 객체의 위치, 배향, 크기, 기하 및 렌더링 특성들 중 적어도 하나를 변경하는 변경 논리를 추가로 포함하는, 장치.
  29. 제20항에 있어서, 상기 실세계 객체는 다른 객체의 3D 인쇄 모델인, 장치.
  30. 제29항에 있어서, 상기 가상 객체는 상기 다른 객체의 가상 외면을 포함하고, 상기 가상 외면은 상기 다른 객체의 실세계 표면 특성들을 인코딩하는, 장치.
  31. 제30항에 있어서, 상기 가상 객체의 상기 특성들은 상기 3D 인쇄 모델의 상기 특성들과 동일한, 장치.
  32. 제30항에 있어서, 상기 가상 객체의 크기는 상기 3D 인쇄 모델의 크기와 다른, 장치.
  33. 제20항에 있어서, 상기 프로세서는 상기 제1 디스플레이 디바이스에 포함되는, 장치.
  34. 제33항에 있어서,
    상기 제1 디스플레이 디바이스의 디스플레이 상에 상기 가상 객체를 디스플레이하는 디스플레이 논리를 추가로 포함하는, 장치.
  35. 프로세서 실행 가능 명령어들을 포함하는 비일시적 프로세서 판독 가능 저장 매체로서, 상기 명령어들은,
    제1 디스플레이 디바이스와 통신하는 상기 프로세서에 의해, 표면 상에 마커를 포함하는 실세계 객체의 존재를 검출하고;
    상기 프로세서에 의해, 마커의 사용자 선택에 기초하여 사용자의 눈들에 대한 실제 3D 공간에서의 상기 실세계 객체의 위치 및 배향을 식별하고;
    상기 프로세서에 의해, 상기 마커에 대해 가상 3D 공간에 위치 및 배향되는 가상 객체를 렌더링하고 - 상기 가상 객체는 상기 실제 3D 공간에서의 상기 실세계 객체의 조작들을 통해 제어되도록 구성됨 -;
    상기 가상 3D 공간에서 상기 가상 객체를 시각적으로 디스플레이하기 위해 상기 프로세서에 의해 렌더 데이터를 전송하기 위한 것인, 비일시적 프로세서 판독 가능 저장 매체.
  36. 제35항에 있어서, 상기 실세계 객체의 조작을 통해 상기 가상 객체를 조작하기 위한 명령어들은,
    상기 실세계 객체의 상기 위치 및 배향 중 하나의 변경을 상기 프로세서에 의해 검출하기 위한 명령어들을 추가로 포함하는, 비일시적 프로세서 판독 가능 저장 매체.
  37. 제35항에 있어서,
    상기 실세계 객체의 상기 검출된 변경에 기초하여 상기 가상 3D 공간에서 상기 가상 객체의 하나 이상의 속성들을 상기 프로세서에 의해 변경하고;
    상기 변경된 속성들을 갖는 상기 가상 객체를 상기 프로세서에 의해 상기 사용자에게 디스플레이하기 위한 명령어들을 추가로 포함하는, 비일시적 프로세서 판독 가능 저장 매체.
  38. 제35항에 있어서, 상기 제1 디스플레이 디바이스는 제2 디스플레이 디바이스에 통신 가능하게 결합되고, 상기 결합은 상기 제2 디스플레이 디바이스에 의해 생성되는 데이터의 교환을 가능하게 하는, 비일시적 프로세서 판독 가능 저장 매체.
  39. 제38항에 있어서, 상기 마커는 상기 제2 디스플레이 디바이스의 터치스크린 상에 디스플레이되는, 비일시적 프로세서 판독 가능 저장 매체.
  40. 제39항에 있어서,
    상기 프로세서에 의해, 상기 제2 디스플레이 디바이스로부터 상기 사용자의 터치 입력에 관한 데이터를 수신하고;
    상기 프로세서에 의해, 상기 사용자의 터치 입력에 관한 상기 데이터에 응답하여 상기 가상 3D 공간에서 상기 가상 객체를 조작하기 위한 명령어들을 추가로 포함하는, 비일시적 프로세서 판독 가능 저장 매체.
  41. 제35항에 있어서, 상기 실세계 객체는 다른 객체의 3D 인쇄 모델이고, 상기 가상 객체는 상기 다른 객체의 가상 외면을 포함하고, 상기 가상 외면은 상기 다른 객체의 실세계 표면 반사율 특성들을 인코딩하고, 상기 가상 객체의 크기는 상기 3D 인쇄 모델의 크기와 동일한, 비일시적 프로세서 판독 가능 저장 매체.
  42. 제41항에 있어서,
    상기 렌더링의 구매를 나타내는 추가 입력에 응답하여 상기 가상 외면을 상기 프로세서에 의해 렌더링하기 위한 명령어들을 추가로 포함하는, 비일시적 프로세서 판독 가능 저장 매체.
  43. 제35항에 있어서, 상기 시각적 디스플레이 데이터를 위한 상기 렌더 데이터는 상기 실세계 객체의 이미지에 대한 디스플레이 데이터를 포함하는, 비일시적 프로세서 판독 가능 저장 매체.
  44. 제43항에 있어서, 상기 렌더 데이터는 상기 가상 객체로 하여금 상기 가상 3D 공간에서 상기 실세계 객체의 상기 이미지를 수정하게 하는 데이터를 포함하는, 비일시적 프로세서 판독 가능 저장 매체.
KR1020177025419A 2015-02-13 2016-02-12 머리 장착형 디스플레이와 실세계 객체 사이의 상호 통신 KR102609397B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/621,621 2015-02-13
US14/621,621 US20170061700A1 (en) 2015-02-13 2015-02-13 Intercommunication between a head mounted display and a real world object
PCT/US2016/017710 WO2016130895A1 (en) 2015-02-13 2016-02-12 Intercommunication between a head mounted display and a real world object

Publications (2)

Publication Number Publication Date
KR20170116121A KR20170116121A (ko) 2017-10-18
KR102609397B1 true KR102609397B1 (ko) 2023-12-01

Family

ID=56615140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025419A KR102609397B1 (ko) 2015-02-13 2016-02-12 머리 장착형 디스플레이와 실세계 객체 사이의 상호 통신

Country Status (6)

Country Link
US (1) US20170061700A1 (ko)
EP (1) EP3256899A4 (ko)
KR (1) KR102609397B1 (ko)
CN (1) CN107250891B (ko)
HK (1) HK1245409A1 (ko)
WO (1) WO2016130895A1 (ko)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10058775B2 (en) * 2014-04-07 2018-08-28 Edo Segal System and method for interactive mobile gaming
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10113877B1 (en) * 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
US10019849B2 (en) * 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
KR20180021515A (ko) * 2016-08-22 2018-03-05 삼성전자주식회사 영상 표시 장치 및 영상 표시 장치의 동작 방법
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
CN114928735B (zh) 2016-10-12 2023-07-18 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
US9972140B1 (en) * 2016-11-15 2018-05-15 Southern Graphics Inc. Consumer product advertising image generation system and method
US10127715B2 (en) * 2016-11-18 2018-11-13 Zspace, Inc. 3D user interface—non-native stereoscopic image conversion
US10271043B2 (en) * 2016-11-18 2019-04-23 Zspace, Inc. 3D user interface—360-degree visualization of 2D webpage content
US11003305B2 (en) 2016-11-18 2021-05-11 Zspace, Inc. 3D user interface
DE102016123315A1 (de) * 2016-12-02 2018-06-07 Aesculap Ag System und Verfahren zum Interagieren mit einem virtuellen Objekt
US10410422B2 (en) * 2017-01-09 2019-09-10 Samsung Electronics Co., Ltd. System and method for augmented reality control
KR20180083144A (ko) * 2017-01-12 2018-07-20 삼성전자주식회사 마커를 검출하기 위한 방법 및 그 전자 장치
US10444506B2 (en) 2017-04-03 2019-10-15 Microsoft Technology Licensing, Llc Mixed reality measurement with peripheral tool
US10657367B2 (en) 2017-04-04 2020-05-19 Usens, Inc. Methods and systems for hand tracking
US10871934B2 (en) 2017-05-04 2020-12-22 Microsoft Technology Licensing, Llc Virtual content displayed with shared anchor
EP3574387A4 (en) * 2017-07-18 2020-09-30 Hewlett-Packard Development Company, L.P. PROJECTION OF INPUTS ON THREE-DIMENSIONAL OBJECT REPRESENTATIONS
WO2019032014A1 (en) * 2017-08-07 2019-02-14 Flatfrog Laboratories Ab TACTILE INTERACTION SYSTEM IN VIRTUAL REALITY
CN107592520B (zh) * 2017-09-29 2020-07-10 京东方科技集团股份有限公司 Ar设备的成像装置及成像方法
US10957103B2 (en) * 2017-11-03 2021-03-23 Adobe Inc. Dynamic mapping of virtual and physical interactions
US10803674B2 (en) * 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
US11556980B2 (en) * 2017-11-17 2023-01-17 Ebay Inc. Method, system, and computer-readable storage media for rendering of object data based on recognition and/or location matching
WO2019096873A1 (en) * 2017-11-20 2019-05-23 Koninklijke Philips N.V. Printed scale for three-dimensionally printed object
US10816334B2 (en) 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
EP3495771A1 (en) * 2017-12-11 2019-06-12 Hexagon Technology Center GmbH Automated surveying of real world objects
WO2019120488A1 (en) 2017-12-19 2019-06-27 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
US10846205B2 (en) * 2017-12-21 2020-11-24 Google Llc Enhancements to support testing of augmented reality (AR) applications
CN108038916B (zh) * 2017-12-27 2022-12-02 上海徕尼智能科技有限公司 一种增强现实的显示方法
WO2019144000A1 (en) * 2018-01-22 2019-07-25 Dakiana Research Llc Method and device for presenting synthesized reality content in association with recognized objects
WO2019154169A1 (zh) * 2018-02-06 2019-08-15 广东虚拟现实科技有限公司 跟踪交互装置的方法、存储介质以及电子设备
JP7279646B2 (ja) * 2018-02-07 2023-05-23 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
KR102045875B1 (ko) * 2018-03-16 2019-11-18 서울여자대학교 산학협력단 리얼센스를 이용한 목표물 3d 모델링방법
EP3557378B1 (en) * 2018-04-16 2022-02-23 HTC Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
CN111989643A (zh) * 2018-04-19 2020-11-24 惠普发展公司，有限责任合伙企业 从触摸表面设备向虚拟现实设备的输入
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
CN108776544B (zh) * 2018-06-04 2021-10-26 网易（杭州）网络有限公司 增强现实中的交互方法及装置、存储介质、电子设备
CN108833741A (zh) * 2018-06-21 2018-11-16 珠海金山网络游戏科技有限公司 用于ar与实时动捕相结合的虚拟摄影棚系统及其方法
EP3811183B1 (en) * 2018-06-21 2024-01-03 Magic Leap, Inc. Methods and apparatuses for providing input for head-worn image display devices
CN110716685B (zh) * 2018-07-11 2023-07-18 广东虚拟现实科技有限公司 图像显示方法，图像显示装置、系统及其实体对象
CN109358798B (zh) * 2018-08-24 2021-04-20 创新先进技术有限公司 触控操作方法、系统、设备及可读存储介质
US10930049B2 (en) * 2018-08-27 2021-02-23 Apple Inc. Rendering virtual objects with realistic surface properties that match the environment
CN112639685B (zh) * 2018-09-04 2024-03-08 苹果公司 模拟现实（sr）中的显示设备共享和交互
US11036284B2 (en) * 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
CN111083464A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示投放系统
CN111077985A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的交互方法、系统及其交互装置
CN111077983A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及交互设备
US10691767B2 (en) 2018-11-07 2020-06-23 Samsung Electronics Co., Ltd. System and method for coded pattern communication
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN111199583B (zh) * 2018-11-16 2023-05-16 广东虚拟现实科技有限公司 一种虚拟内容显示方法、装置、终端设备及存储介质
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统
KR102016676B1 (ko) 2018-12-14 2019-08-30 주식회사 홀로웍스 발달장애아를 위한 vr기반의 트레이닝 시스템
US11675200B1 (en) * 2018-12-14 2023-06-13 Google Llc Antenna methods and systems for wearable devices
CN111381670B (zh) * 2018-12-29 2022-04-01 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、系统、终端设备及存储介质
CN111383345B (zh) * 2018-12-29 2022-11-22 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN111399630B (zh) * 2019-01-03 2022-05-31 广东虚拟现实科技有限公司 虚拟内容交互方法、装置、终端设备及存储介质
CN111399631B (zh) * 2019-01-03 2021-11-05 广东虚拟现实科技有限公司 虚拟内容显示方法、装置、终端设备及存储介质
CN111818326B (zh) * 2019-04-12 2022-01-28 广东虚拟现实科技有限公司 图像处理方法、装置、系统、终端设备及存储介质
US11386872B2 (en) * 2019-02-15 2022-07-12 Microsoft Technology Licensing, Llc Experiencing a virtual object at a plurality of sizes
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
CN111766937B (zh) * 2019-04-02 2024-05-28 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、终端设备及存储介质
CN111766936A (zh) * 2019-04-02 2020-10-13 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
CN111913562A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN111913560A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN111913565B (zh) * 2019-05-07 2023-03-07 广东虚拟现实科技有限公司 虚拟内容控制方法、装置、系统、终端设备及存储介质
CN111913564B (zh) * 2019-05-07 2023-07-18 广东虚拟现实科技有限公司 虚拟内容的操控方法、装置、系统、终端设备及存储介质
US10861243B1 (en) * 2019-05-31 2020-12-08 Apical Limited Context-sensitive augmented reality
CN112055033B (zh) * 2019-06-05 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
CN112055034B (zh) * 2019-06-05 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
US11546721B2 (en) * 2019-06-18 2023-01-03 The Calany Holding S.À.R.L. Location-based application activation
CN112241200A (zh) * 2019-07-17 2021-01-19 苹果公司 头戴式设备的对象跟踪
EP4004700A1 (de) * 2019-07-22 2022-06-01 Sew-Eurodrive GmbH & Co. KG Verfahren zum betreiben eines systems und system zur durchführung des verfahrens
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
US11430175B2 (en) 2019-08-30 2022-08-30 Shopify Inc. Virtual object areas using light fields
US11029755B2 (en) 2019-08-30 2021-06-08 Shopify Inc. Using prediction information with light fields
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
CN111161396B (zh) * 2019-11-19 2023-05-16 广东虚拟现实科技有限公司 虚拟内容的控制方法、装置、终端设备及存储介质
US20210201581A1 (en) * 2019-12-30 2021-07-01 Intuit Inc. Methods and systems to create a controller in an augmented reality (ar) environment using any physical object
JP2021157277A (ja) * 2020-03-25 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2021239203A1 (en) * 2020-05-25 2021-12-02 Telefonaktiebolaget Lm Ericsson (Publ) A computer software module arrangement, a circuitry arrangement, an arrangement and a method for providing a virtual display
CN111736692B (zh) * 2020-06-01 2023-01-31 Oppo广东移动通信有限公司 显示方法、显示装置、存储介质与头戴式设备
US20220138994A1 (en) * 2020-11-04 2022-05-05 Micron Technology, Inc. Displaying augmented reality responsive to an augmented reality image
US11995776B2 (en) 2021-01-19 2024-05-28 Samsung Electronics Co., Ltd. Extended reality interaction in synchronous virtual spaces using heterogeneous devices
US20230013539A1 (en) * 2021-07-15 2023-01-19 Qualcomm Incorporated Remote landmark rendering for extended reality interfaces
US11687221B2 (en) 2021-08-27 2023-06-27 International Business Machines Corporation Augmented reality based user interface configuration of mobile and wearable computing devices
IT202100027923A1 (it) * 2021-11-02 2023-05-02 Ictlab S R L Metodo di analisi balistica e relativo sistema di analisi
WO2023130435A1 (zh) * 2022-01-10 2023-07-13 深圳市闪至科技有限公司 交互方法、头戴式显示设备、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205242A1 (en) * 2010-02-22 2011-08-25 Nike, Inc. Augmented Reality Design System
US20120113228A1 (en) * 2010-06-02 2012-05-10 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US20140063060A1 (en) * 2012-09-04 2014-03-06 Qualcomm Incorporated Augmented reality surface segmentation
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US20150022444A1 (en) * 2012-02-06 2015-01-22 Sony Corporation Information processing apparatus, and information processing method

Family Cites Families (222)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) * 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
EP1060772B1 (en) * 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
JP3631151B2 (ja) * 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
JP4500632B2 (ja) * 2004-09-07 2010-07-14 キヤノン株式会社 仮想現実感提示装置および情報処理方法
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
US8717423B2 (en) * 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
EP2033152A4 (en) * 2006-06-29 2012-03-07 Ericsson Telefon Ab L M METHOD AND ARRANGEMENT FOR THE PURCHASE OF STREAMING MEDIA
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
US20090109240A1 (en) * 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment
WO2009085961A1 (en) * 2007-12-20 2009-07-09 Quantum Medical Technology, Inc. Systems for generating and displaying three-dimensional images and methods therefor
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US8217995B2 (en) * 2008-01-18 2012-07-10 Lockheed Martin Corporation Providing a collaborative immersive environment using a spherical camera and motion capture
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US8648875B2 (en) * 2008-05-14 2014-02-11 International Business Machines Corporation Differential resource applications in virtual worlds based on payment and account options
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
US20100048290A1 (en) * 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Image combining method, system and apparatus
EP2156869A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device and method of interaction
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
KR100974900B1 (ko) * 2008-11-04 2010-08-09 한국전자통신연구원 동적 임계값을 이용한 마커 인식 장치 및 방법
US8606657B2 (en) * 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods
GB2470073B (en) * 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
GB2470072B (en) * 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
EP2542957B1 (en) * 2010-03-01 2020-07-08 Apple Inc. Method of displaying virtual information in a view of a real environment
US20120005324A1 (en) * 2010-03-05 2012-01-05 Telefonica, S.A. Method and System for Operations Management in a Telecommunications Terminal
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
US8633947B2 (en) * 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
EP2395474A3 (en) * 2010-06-11 2014-03-26 Nintendo Co., Ltd. Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
JP5514637B2 (ja) * 2010-06-11 2014-06-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP5643549B2 (ja) * 2010-06-11 2014-12-17 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
EP2395768B1 (en) * 2010-06-11 2015-02-25 Nintendo Co., Ltd. Image display program, image display system, and image display method
EP2395763A3 (en) * 2010-06-14 2012-02-29 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
JP5149939B2 (ja) * 2010-06-15 2013-02-20 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US8643569B2 (en) * 2010-07-14 2014-02-04 Zspace, Inc. Tools for use within a three dimensional scene
JP5769392B2 (ja) * 2010-08-26 2015-08-26 キヤノン株式会社 情報処理装置およびその方法
JP5627973B2 (ja) * 2010-09-24 2014-11-19 任天堂株式会社 ゲーム処理をするためのプログラム、装置、システムおよび方法
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP5739674B2 (ja) * 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8854356B2 (en) * 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JP5480777B2 (ja) * 2010-11-08 2014-04-23 株式会社Ｎｔｔドコモ オブジェクト表示装置及びオブジェクト表示方法
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
WO2012065146A2 (en) * 2010-11-12 2012-05-18 Wms Gaming, Inc. Integrating three-dimensional elements into gaming environments
US8941603B2 (en) * 2010-12-10 2015-01-27 Sony Corporation Touch sensitive display
US9111418B2 (en) * 2010-12-15 2015-08-18 Bally Gaming, Inc. System and method for augmented reality using a player card
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
WO2012088285A2 (en) * 2010-12-22 2012-06-28 Infinite Z, Inc. Three-dimensional tracking of a user control device in a volume
KR20120075065A (ko) * 2010-12-28 2012-07-06 (주)비트러스트 이동단말을 이용한 증강현실 구현 시스템, 그 방법 및 증강현실을 이용한 온라인 구매 시스템, 그 방법
JP5690135B2 (ja) * 2010-12-29 2015-03-25 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP5671349B2 (ja) * 2011-01-06 2015-02-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US9652046B2 (en) * 2011-01-06 2017-05-16 David ELMEKIES Augmented reality system
WO2012105175A1 (ja) * 2011-02-01 2012-08-09 パナソニック株式会社 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
JP5704962B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
JP5704963B2 (ja) * 2011-02-25 2015-04-22 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP5778967B2 (ja) * 2011-04-08 2015-09-16 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
JP5702653B2 (ja) * 2011-04-08 2015-04-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5756322B2 (ja) * 2011-04-08 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
JP5812665B2 (ja) * 2011-04-22 2015-11-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2012243147A (ja) * 2011-05-20 2012-12-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5735861B2 (ja) * 2011-06-01 2015-06-17 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
JP5791433B2 (ja) * 2011-08-31 2015-10-07 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP5718197B2 (ja) * 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
KR20220032059A (ko) * 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
JP5988563B2 (ja) * 2011-10-25 2016-09-07 キヤノン株式会社 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
US9292184B2 (en) * 2011-11-18 2016-03-22 Zspace, Inc. Indirect 3D scene positioning control
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US20130171603A1 (en) * 2011-12-30 2013-07-04 Logical Choice Technologies, Inc. Method and System for Presenting Interactive, Three-Dimensional Learning Tools
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
GB2500416B8 (en) * 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20130285919A1 (en) * 2012-04-25 2013-10-31 Sony Computer Entertainment Inc. Interactive video system
US20130293690A1 (en) * 2012-05-07 2013-11-07 Eric S. Olson Medical device navigation system stereoscopic display
GB2502591B (en) * 2012-05-31 2014-04-30 Sony Comp Entertainment Europe Apparatus and method for augmenting a video image
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
WO2013187131A1 (ja) * 2012-06-12 2013-12-19 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9829996B2 (en) * 2012-06-25 2017-11-28 Zspace, Inc. Operations in a three dimensional display system
US9417692B2 (en) * 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US10380469B2 (en) * 2012-07-18 2019-08-13 The Boeing Company Method for tracking a device in a landmark-based reference system
WO2014031899A1 (en) * 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9576397B2 (en) * 2012-09-10 2017-02-21 Blackberry Limited Reducing latency in an augmented-reality display
JP6021568B2 (ja) * 2012-10-02 2016-11-09 任天堂株式会社 画像処理用プログラム、画像処理装置、画像処理システム、および画像処理方法
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9019268B1 (en) * 2012-10-19 2015-04-28 Google Inc. Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information
CA2927447C (en) * 2012-10-23 2021-11-30 Roam Holdings, LLC Three-dimensional virtual environment
KR20140052294A (ko) * 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
US20140132595A1 (en) * 2012-11-14 2014-05-15 Microsoft Corporation In-scene real-time design of living spaces
US20160140766A1 (en) * 2012-12-12 2016-05-19 Sulon Technologies Inc. Surface projection system and method for augmented reality
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US9430877B2 (en) * 2013-01-25 2016-08-30 Wilus Institute Of Standards And Technology Inc. Electronic device and method for selecting augmented content using the same
JP6281495B2 (ja) * 2013-02-01 2018-02-21 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
JP6283168B2 (ja) * 2013-02-27 2018-02-21 任天堂株式会社 情報保持媒体および情報処理システム
JP6224327B2 (ja) * 2013-03-05 2017-11-01 任天堂株式会社 情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム
US10007351B2 (en) * 2013-03-11 2018-06-26 Nec Solution Innovators, Ltd. Three-dimensional user interface device and three-dimensional operation processing method
US20160055330A1 (en) * 2013-03-19 2016-02-25 Nec Solution Innovators, Ltd. Three-dimensional unlocking device, three-dimensional unlocking method, and program
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
EP2983137B1 (en) * 2013-04-04 2019-05-22 Sony Corporation Information processing device, information processing method and program
US9823739B2 (en) * 2013-04-04 2017-11-21 Sony Corporation Image processing device, image processing method, and program
WO2014162825A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US20140317659A1 (en) * 2013-04-19 2014-10-23 Datangle, Inc. Method and apparatus for providing interactive augmented reality information corresponding to television programs
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
US10140767B2 (en) * 2013-04-24 2018-11-27 Kawasaki Jukogyo Kabushiki Kaisha Workpiece machining work support system and workpiece machining method
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US9466149B2 (en) * 2013-05-10 2016-10-11 Google Inc. Lighting of graphical objects based on environmental conditions
KR102249577B1 (ko) * 2013-05-30 2021-05-07 찰스 안소니 스미스 Ｈｕｄ 객체 설계 및 방법
US9354702B2 (en) * 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US9383819B2 (en) * 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
JP6329343B2 (ja) * 2013-06-13 2018-05-23 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
US9235051B2 (en) * 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
KR20150010432A (ko) * 2013-07-19 2015-01-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
CN103500446B (zh) * 2013-08-28 2016-10-26 成都理想境界科技有限公司 一种头戴显示装置
KR102138511B1 (ko) * 2013-08-28 2020-07-28 엘지전자 주식회사 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
US20150062123A1 (en) * 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
US9080868B2 (en) * 2013-09-06 2015-07-14 Wesley W. O. Krueger Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo
US9224237B2 (en) * 2013-09-27 2015-12-29 Amazon Technologies, Inc. Simulating three-dimensional views using planes of content
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US9911231B2 (en) * 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
JP6192483B2 (ja) * 2013-10-18 2017-09-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
KR102133843B1 (ko) * 2013-10-31 2020-07-14 엘지전자 주식회사 3차원 프린팅의 프로세스를 인디케이팅하는 헤드 마운티드 디스플레이 및 그 제어 방법
US10116914B2 (en) * 2013-10-31 2018-10-30 3Di Llc Stereoscopic display
AU2013273722A1 (en) * 2013-12-19 2015-07-09 Canon Kabushiki Kaisha Method, system and apparatus for removing a marker projected in a scene
US20160184725A1 (en) * 2013-12-31 2016-06-30 Jamber Creatice Co., LLC Near Field Communication Toy
JP6323040B2 (ja) * 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CA3027407A1 (en) * 2014-02-18 2015-08-27 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
WO2015127395A1 (en) * 2014-02-21 2015-08-27 Wendell Brown Coupling a request to a personal message
US20150242929A1 (en) * 2014-02-24 2015-08-27 Shoefitr, Inc. Method and system for improving size-based product recommendations using aggregated review data
US9721389B2 (en) * 2014-03-03 2017-08-01 Yahoo! Inc. 3-dimensional augmented reality markers
JP6348732B2 (ja) * 2014-03-05 2018-06-27 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
KR102184402B1 (ko) * 2014-03-06 2020-11-30 엘지전자 주식회사 글래스 타입의 이동 단말기
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US20170124770A1 (en) * 2014-03-15 2017-05-04 Nitin Vats Self-demonstrating object features and/or operations in interactive 3d-model of real object for understanding object's functionality
WO2015140815A1 (en) * 2014-03-15 2015-09-24 Vats Nitin Real-time customization of a 3d model representing a real product
US9552674B1 (en) * 2014-03-26 2017-01-24 A9.Com, Inc. Advertisement relevance
US9681122B2 (en) * 2014-04-21 2017-06-13 Zspace, Inc. Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
CA2926861C (en) * 2014-05-21 2017-03-07 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10290155B2 (en) * 2014-06-17 2019-05-14 Valorisation-Recherche, Limited Partnership 3D virtual environment interaction system
US10321126B2 (en) * 2014-07-08 2019-06-11 Zspace, Inc. User input device camera
US9123171B1 (en) * 2014-07-18 2015-09-01 Zspace, Inc. Enhancing the coupled zone of a stereoscopic display
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9766460B2 (en) * 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US20170337408A1 (en) * 2014-08-18 2017-11-23 Kumoh National Institute Of Technology Industry-Academic Cooperation Foundation Sign, vehicle number plate, screen, and ar marker including boundary code on edge thereof, and system for providing additional object information by using boundary code
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
US20160071319A1 (en) * 2014-09-09 2016-03-10 Schneider Electric It Corporation Method to use augumented reality to function as hmi display
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
JP5812550B1 (ja) * 2014-10-10 2015-11-17 ビーコア株式会社 画像表示装置、画像表示方法及びプログラム
JP6704910B2 (ja) * 2014-10-27 2020-06-03 ムン キ イ， 映像処理装置
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
KR20170081272A (ko) * 2014-12-18 2017-07-11 페이스북, 인크. 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US10335677B2 (en) * 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9727977B2 (en) * 2014-12-29 2017-08-08 Daqri, Llc Sample based color extraction for augmented reality
US9811650B2 (en) * 2014-12-31 2017-11-07 Hand Held Products, Inc. User authentication system and method
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US20160232713A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
JP6336929B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6336930B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
US10026228B2 (en) * 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
CN107912061B (zh) * 2015-03-06 2021-06-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
JP6328579B2 (ja) * 2015-03-13 2018-05-23 富士フイルム株式会社 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム
JP6566028B2 (ja) * 2015-05-11 2019-08-28 富士通株式会社 シミュレーションシステム
JP6609994B2 (ja) * 2015-05-22 2019-11-27 富士通株式会社 表示制御方法、情報処理装置及び表示制御プログラム
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6742701B2 (ja) * 2015-07-06 2020-08-19 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP6598617B2 (ja) * 2015-09-17 2019-10-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US9600938B1 (en) * 2015-11-24 2017-03-21 Eon Reality, Inc. 3D augmented reality with comfortable 3D viewing
US10424117B2 (en) * 2015-12-02 2019-09-24 Seiko Epson Corporation Controlling a display of a head-mounted display device
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
EP3438790B1 (en) * 2016-03-29 2021-06-02 Saito Inventive Corp. Input device and image display system
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10019849B2 (en) * 2016-07-29 2018-07-10 Zspace, Inc. Personal electronic device with a display system
KR102317776B1 (ko) * 2016-10-05 2021-10-25 매직 립, 인코포레이티드 표면 모델링 시스템들 및 방법들
KR20180041890A (ko) * 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
EP3316080B1 (en) * 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
DE102016121281A1 (de) * 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät
JP2018092313A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US10416769B2 (en) * 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
US20180314322A1 (en) * 2017-04-28 2018-11-01 Motive Force Technology Limited System and method for immersive cave application
WO2019028479A1 (en) * 2017-08-04 2019-02-07 Magical Technologies, Llc SYSTEMS, METHODS AND APPARATUSES FOR DEPLOYING AND TARGETING VIRTUAL OBJECTS SENSITIVE TO CONTEXT AND MODELING BEHAVIOR OF VIRTUAL OBJECTS BASED ON PHYSICAL PRINCIPLES
JP6950390B2 (ja) * 2017-09-15 2021-10-13 富士通株式会社 表示制御プログラム、装置、及び方法
US11314399B2 (en) * 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
CN110569006B (zh) * 2018-06-05 2023-12-19 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205242A1 (en) * 2010-02-22 2011-08-25 Nike, Inc. Augmented Reality Design System
US20120113228A1 (en) * 2010-06-02 2012-05-10 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US20150022444A1 (en) * 2012-02-06 2015-01-22 Sony Corporation Information processing apparatus, and information processing method
US20140063060A1 (en) * 2012-09-04 2014-03-06 Qualcomm Incorporated Augmented reality surface segmentation
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality

Also Published As

Publication number Publication date
KR20170116121A (ko) 2017-10-18
HK1245409A1 (zh) 2018-08-24
EP3256899A4 (en) 2018-10-31
US20170061700A1 (en) 2017-03-02
CN107250891A (zh) 2017-10-13
EP3256899A1 (en) 2017-12-20
CN107250891B (zh) 2020-11-17
WO2016130895A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
KR102609397B1 (ko) 머리 장착형 디스플레이와 실세계 객체 사이의 상호 통신
CN109313505B (zh) 用于呈现渲染对象的设备以及相关联的计算机实现的方法
KR102482303B1 (ko) 증강 현실 의인화 시스템
EP3948792A1 (en) Semantic texture mapping system
CN109313629B (zh) 管理通过网络连接的数据传输
CN111742281B (zh) 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法
US20220197393A1 (en) Gesture control on an eyewear device
CN115698907A (zh) 共享增强现实系统
WO2022140129A1 (en) Gesture control on an eyewear device
CN115552366A (zh) 设备背面部分上的触控板
KR20240010012A (ko) 증강 현실 디스플레이 디바이스를 위한 터치패드 탐색
CN116584101A (zh) 基于奖励的实时通信会话
US11880542B2 (en) Touchpad input for augmented reality display device
US20230384928A1 (en) Ar-based virtual keyboard
US20230377223A1 (en) Hand-tracked text selection and modification
US20230410441A1 (en) Generating user interfaces displaying augmented reality graphics
US20230342026A1 (en) Gesture-based keyboard text entry
US20240070995A1 (en) Wrist rotation manipulation of virtual objects
US20230244310A1 (en) Systems and methods for dynamic continuous input in mixed reality environments
US20230350495A1 (en) Fingerspelling text entry
US11747912B1 (en) Steerable camera for AR hand tracking
US20240070994A1 (en) One-handed zoom operation for ar/vr devices
KR102670848B1 (ko) 증강 현실 의인화 시스템
US20240126373A1 (en) Tractable body-based ar system input
WO2023177661A1 (en) Augmented reality visual or acoustic feedback

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant