KR20140053765A - 가상 현실 디스플레이 시스템 - Google Patents

가상 현실 디스플레이 시스템 Download PDF

Info

Publication number
KR20140053765A
KR20140053765A KR1020130114282A KR20130114282A KR20140053765A KR 20140053765 A KR20140053765 A KR 20140053765A KR 1020130114282 A KR1020130114282 A KR 1020130114282A KR 20130114282 A KR20130114282 A KR 20130114282A KR 20140053765 A KR20140053765 A KR 20140053765A
Authority
KR
South Korea
Prior art keywords
eye
image
virtual environment
head
person
Prior art date
Application number
KR1020130114282A
Other languages
English (en)
Other versions
KR102118749B1 (ko
Inventor
레오나드 코빙턴 크리스토퍼
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20140053765A publication Critical patent/KR20140053765A/ko
Application granted granted Critical
Publication of KR102118749B1 publication Critical patent/KR102118749B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

본 발명은 가상 환경(204)을 디스플레이하기 위한 방법 및 장치를 제공한다. 사람(206)의 머리(236)에서 제1 눈(234)을 위한 제1 눈 위치 정보(226)와 사람(206)의 머리(236)에서 제2 눈(240)을 위한 제2 눈 위치 정보(228)가 수신된다. 제1 눈(234)을 위한 가상 환경(204)의 제1 이미지(252)가 제1 눈 위치 정보(226)를 기초로 발생된다. 제2 눈(240)을 위한 가상 환경(204)의 제2 이미지(254)가 제2 눈(240)을 위한 제2 눈 위치 정보(228)를 기초로 발생된다. 디스플레이를 위한 제1 이미지(252) 및 제2 이미지(254)가 사람(206)에게 송신된다.

Description

가상 현실 디스플레이 시스템{VIRTUAL REALITY DISPLAY SYSTEM}
본 발명은 일반적으로 디스플레이된 정보에 관한 것으로, 특히 디스플레이 장치상에 디스플레이된 정보에 관한 것이다. 특히, 본 발명은 가상 환경으로부터 정보를 디스플레이하기 방법 및 장치에 관한 것이다.
가상 환경(virtual environment)은 컴퓨터-시뮬레이션된 환경(computer-simulated environment)이다. 특히, 가상 환경은 사람을 위한 가상 현실(virtual reality)을 제공한다. 즉, 가상 환경에서는, 현실 세계뿐만 아니라 상상의 세계에서 장소의 물리적 존재의 시뮬레이션이 이루어질 수 있다. 가상 환경은 디스플레이 스크린 또는 머리-탑재 디스플레이(head-mounted display)와 같은 디스플레이 장치를 이용해서 디스플레이될 수 있다. 디스플레이 스크린에 따르면, 가상 환경이 3차원 안경(three-dimensional glasses)을 이용해서 3차원으로 디스플레이될 수 있다. 머리-탑재 디스플레이에 따르면, 가상 환경이 입체 디스플레이(stereoscopic displays)를 이용해서 3차원으로 디스플레이될 수 있다. 부가적으로, 소리(sound) 및 촉각 피드백(tactile feedback)과 같은 다른 감각 정보(sensory information)가 또한 가상 환경을 위해 발생될 수 있다.
가상 환경을 위한 이미지의 발생은 가상 환경을 전망하는 사람에 대해 부자연스럽고 혼란스럽게 하는 방법으로 환경을 나타낸다. 특히, 이미지는 사람에 대해 이미지를 렌더링하고 디스플레이하도록 단일 관점(single viewpoint)을 이용해서 발생된 2차원 이미지이다. 예컨대, 많은 현재 이용된 가상 현실 시스템은 카메라 발생 이미지를 위한 단일 관점을 채택한다.
현재, 머리 추적(head tracking)은 2차원 이미지가 오퍼레이터에 대해 디스플레이되는 지각(perception)을 감소시키는데 이용될 수 있다. 머리 추적의 이용은 가상 환경 내에서 사람의 전망을 더욱 정확하게 나타낼 수 있다. 몇몇 가상 환경 시스템은 가상 환경의 3차원 장면을 제공하는 시도에서 입체 이미지를 제공할 수 있다.
머리 추적 및 입체 이미지 조차도, 현재 이용가능한 가상 현실 시스템에서 이용된 디스플레이 장치는 여전히 원하지 않는 영향을 갖을 수 있다. 이들 원하지 않는 영향은 혼란, 흐림, 피로, 눈의 피로, 두통, 또는 다른 원하지 않는 영향 중 적어도 하나를 포함할 수 있다. 더욱이, 가상 환경을 전망하는 더 긴 기간에 따르면, 이들 원하지 않는 영향은 증가할 수 있다.
예컨대, 많은 가상 환경 시스템은 눈의 피로를 야기시킬 수 있는 방법으로 3차원 환경으로부터 2차원 이미지를 발생시킨다. 현재 시스템은 내사시 방식(cross-eyed manner)에서와 같은 부자연스러운 방법으로 강제적으로 눈의 초점을 맞추도록 할 수 있다.
메카니즘의 다른 방법이 원하지 않는 영향을 감소시키는 시도에서 이용되고 있다. 예컨대, 몇몇 3차원 디스플레이 시스템은 편광 렌즈(polarizing lenses)를 이용한다. 다른 시스템은 하나의 이미지가 다른 눈에 대해 디스플레이됨에 따라 하나의 눈을 차단하는 셔터 안경(shutter glasses)을 이용할 수 있다.
이들 형태의 시스템은 여전히 원하지 않는 영향을 초래할 수 있다.
본 발명은 상기한 점을 감안하여 발명된 것으로, 상기 논의된 몇몇 문제뿐만 아니라 다른 가능한 문제를 고려하는 방법 및 장치를 제공함에 그 목적이 있다.
하나의 실례로 되는 실시예에 있어서, 장치는 이미지 프로세서(216)를 구비하여 구성된다. 이미지 프로세서(216)는 사람의 머리에서 제1 눈(234)을 위한 제1 눈 위치 정보(226)와 사람의 머리에서 제2 눈을 위한 제2 눈 위치 정보를 수신하도록 구성된다. 이미지 프로세서(216)는 제1 눈(234)을 위한 제1 눈 위치 정보(226)를 기초로 제1 눈(234)을 위한 가상 환경의 제1 이미지를 발생시키도록 더 구성된다. 이미지 프로세서(216)는 제2 눈을 위한 제2 눈 위치 정보를 기초로 제2 눈을 위한 가상 환경의 제2 이미지를 발생시키도록 더 구성된다. 이미지 프로세서(216)는 사람에 대해 디스플레이를 위한 제1 이미지 및 제2 이미지를 송신하도록 더 구성된다.
다른 실례로 되는 실시예에 있어서, 가상 환경을 디스플레이하기 위한 방법이 제공된다. 사람의 머리에서 제1 눈을 위한 제1 눈 위치 정보와 사람의 머리에서 제2 눈을 위한 제2 눈 위치 정보가 수신된다. 제1 눈을 위한 가상 환경의 제1 이미지가 제1 눈을 위한 제1 눈 위치 정보를 기초로 발생된다. 제2 눈을 위한 가상 환경의 제2 이미지가 제2 눈을 위한 제2 눈 위치 정보를 기초로 발생된다. 디스플레이를 위한 제1 이미지 및 제2 이미지가 사람에게 송신된다.
특징 및 기능은 본 발명의 다양한 실시예에서 독립적으로 달성될 수 있거나 그 더욱 상세내용이 이어지는 설명 및 도면을 참조하여 알 수 있는 다른 실시예에 조합될 수 있다.
도 1은 실례로 되는 실시예에 따른 가상 환경 시스템의 도면이다.
도 2는 실례로 되는 실시예에 따른 가상 환경 시스템의 블록도의 도면이다.
도 3은 실례로 되는 실시예에 따른 디스플레이 장치를 위한 구현의 블록도의 도면이다.
도 4는 실례로 되는 실시예에 따른 가상 환경 시스템에서 센서 시스템에서 이용될 수 있는 센서의 형태의 블록도의 도면이다.
도 5는 실례로 되는 실시예에 따른 가상 환경 시스템의 도면이다.
도 6은 실례로 되는 실시예에 따른 가상 환경을 디스플레이하기 위한 프로세스의 플로우차트이다.
도 7a 및 도 7b는 실례로 되는 실시예에 따른 가상 환경을 전망하기 위한 프로세스의 플로우차트이다.
도 8은 실례로 되는 실시예에 따른 데이터 처리 시스템의 블록도의 도면이다.
실례로 되는 실시예는 하나 이상의 다른 고려를 인식 및 참작한다. 예컨대, 실례로 되는 실시예는 이미지를 발생시키기 위한 2개의 관점을 갖는 것이 사람을 위해 더욱 자연적인 전망 경험을 제공할 수 있음을 인식 및 참작한다. 실례로 되는 실시예는 현재 이용가능한 가상 환경은 가상 환경을 전망할 수 있는 다른 사람 사이에서 개별적인 차이를 고려하지 않음을 인식 및 참작한다. 대신, 이들 시스템은 관점들을 발생시키도록 미리선택된 메트릭(preselected metrics) 또는 값을 이용한다.
그러나, 실례로 되는 실시예는 현재 이용가능한 가상 환경 시스템에 의해 이용된 관점이 다른 사람의 눈에서의 차이를 고려하는 것 없이 원하는 만큼 많은 원하지 않는 영향을 감소시킬 수 없음을 인식 및 고려한다. 예컨대, 다른 사람은 눈 사이의 다른 거리를 갖을 수 있고 눈은 다른 높이를 갖을 수 있다. 결과적으로, 한 사람으로부터 다른 사람까지의 눈을 위한 관점은 매우 다를 수 있다.
실례로 되는 실시예는 올바른 관점 없이, 눈에 의해 전망된 최종 이미지가 이미지를 처리하는 사람에 대해 자연스럽게 나타나지 않음을 인식 및 고려한다. 결과적으로, 가상 환경을 위해 발생된 이미지의 다른 부분 상에 초점이 맞추어지는 사람은 사람의 관점이 이미지를 발생시키는데 이용된 것과 다르면 어떻게 가상 환경이 보여야만 하고 어떻게 가상 환경이 실제적으로 표현되는가와 같은 가상 환경에서의 불일치를 또한 알아차릴 수 있다. 사람의 관점은 사람의 양 눈의 방향성을 기초로 식별될 수 있다. 빛(ray)은 방향성을 기초로 각 눈으로부터 연장될 수 있다. 이들 빛의 교차점은 관점(viewpoint)으로서 이용될 수 있다.
근본적으로, 사람은 2개의 근소하게 서로 다른 전망이 각각의 눈에 의해 포착됨을 예상하는 이미지를 처리한다. 각 눈의 관점으로부터 이미지를 제공하는 것에 의해, 사람은 정상 처리를 통해 가상 환경을 재구성하는 것이 가능할 수 있다.
가상 환경은 다수의 다른 목적을 위해 이용될 수 있다. 예컨대, 가상 환경은 게임하는데 가장 흔히 이용된다. 그러나, 가상 환경은 많은 다른 이용을 갖을 수 있다. 예컨대, 가상 환경은 엔지니어링 과제(engineering tasks), 유지보수 과제(intenance tasks), 시뮬레이션(simulations), 분석(analysis), 및 다른 적절한 과제를 수행하는데 이용될 수 있다.
따라서, 실례로 되는 실시예는 사람에게 가상 환경을 디스플레이하기 위한 방법 및 장치를 제공한다. 하나의 실례로 되는 실시예에 있어서, 이미지 프로세서가 사람의 머리에서의 제1 눈을 위한 제1 눈 위치 정보와 사람의 머리에서의 제2 눈을 위한 제2 눈 위치 정보를 수신하도록 구성된다. 가상 환경의 제1 이미지는 제1 눈 위치 정보를 기초로 제1 눈을 위해 발생된다. 가상 환경의 제2 이미지는 제2 눈 위치 정보를 기초로 제2 눈을 위해 발생된다. 이어, 제1 이미지 및 제2 이미지는 사람에게 디스플레이를 위해 송신된다.
도면을 참조하면, 특히 도 1을 참조하면, 가상 환경 시스템의 설명이 실례로 되는 실시예에 따라 도시된다. 이러한 실례로 되는 실시예에 있어서, 가상 환경 시스템(100)은 컴퓨터(102) 및 인터페이스 시스템(104)을 포함한다. 도시된 바와 같이, 인터페이스 시스템(104)은 사람(106), 머리-탑재 디스플레이 장치(108) 및 데이터 글로브(110; data gloves)를 포함한다. 머리-탑재 디스플레이 장치(108)는 사람(106)의 머리(112)에 위치한다. 데이터 글로브(110)는 사람(106)의 손(114)에 위치한다.
가상 환경 시스템(100) 및 사람(106)은 물리적 환경(116; physical environment)에 위치한다. 가상 환경 시스템(100)은 물리적 환경(116)에서의 사람(106)이 가상 환경 시스템(100)에 의해 발생된 가상 환경과 상호작용하도록 허용한다.
이들 실례로 되는 실시예에 있어서, 머리-탑재 디스플레이 장치(108) 및 데이터 글로브(110)는 사람(106)에게 컴퓨터(102)에 의해 발생된 가상 환경과 상호작용하기 위한 능력을 제공한다. 가상 환경 시스템(100)에서 컴퓨터(102)에 의해 발생된 가상 환경과 사람(106)의 상호작용 동안 교환된 정보는 무선 통신 링크(118)를 거쳐 야기된다.
도시된 바와 같이, 데이터 글로브(110)는 사람(106)을 위한 입력 장치이다. 특히, 데이터 글로브(110)는 사람(106)의 손(114)에 끼워진 데이터 글로브(110)의 위치를 식별할 수 있도록 할 수 있다. 부가적으로, 데이터 글로브(110)는 또한 터치의 감각을 시뮬레이션하는 햅틱 피드백(haptic feedback)을 제공할 수 있다. 햅틱 피드백은 사람(106)의 손(114)에 대해 힘(forces), 진동(vibrations), 움직임(motions) 또는 그 몇몇 조합을 인가하는 것에 의한 터치의 감각을 제공할 수 있다.
이들 실례로 되는 예에 있어서, 머리-탑재 디스플레이 장치(108)는 사람(106)에게 컴퓨터(102)에 의해 발생된 가상 환경을 디스플레이하도록 구성된다. 이미지는 컴퓨터(102)에 의해 발생된 가상 환경과 사람(106)의 상호작용의 부분으로서 발생된다.
머리-탑재 디스플레이 장치(108)는 또한 시간 경과에 따라 머리-탑재 디스플레이 장치(108)를 이용하는 사람(106)에 의해 더 적은 원하지 않는 영향을 초래하는 방법으로 가상 환경의 디스플레이를 제공하도록 구성된다. 특히, 사람(106)은 방향감각 상실(disorientation), 흐릿함(blurriness) 및 피로(fatigue)와 같은 원하지 않는 영향을 감소시키는 방법으로 현재 이용가능한 디스플레이 장치보다 더 긴 기간의 시간 동안 머리-탑재 디스플레이 장치(108)를 이용할 수 있다.
이들 실례로 되는 예에 있어서, 머리-탑재 디스플레이 장치(108)는 머리(112)뿐만 아니라 사람(106)의 머리(112)의 눈(도시되지 않았음)의 위치를 식별하도록 구성된다. 사람(106)의 머리(112) 및 눈에 대한 위치 정보에 따르면, 컴퓨터(102)는 사람(106)의 각 눈의 관점에 대해 맞추어진 이미지를 발생시킨다.
특히, 컴퓨터(102)는 가상 환경에서 사람(106)의 머리(112)의 위치를 식별한다. 부가적으로, 머리-탑재 디스플레이 장치(108)는 또한 사람(106)의 머리(112)에서 눈의 위치에 관한 정보를 발생시킨다. 머리-탑재 디스플레이 장치(108)는 무선 통신 링크(118)를 거쳐 컴퓨터(102)로 정보를 송신한다.
머리(112)에서 사람(106)의 눈과 머리(112)에 대한 위치 정보에 따르면, 컴퓨터(102)는 가상 환경에서 각 눈의 투시(perspective)로부터 이미지를 발생시킨다. 이들 이미지는 무선 통신 링크(118)를 거쳐 머리-탑재 디스플레이 장치(108)로 송신된다. 즉, 사람(106)의 머리(112)의 각 눈은 서로 공간지워져 떨어져 있으므로 근소하게 다른 투시를 갖을 수 있다.
이러한 실례로 되는 예에 있어서, 각 눈의 위치는 사람(106)과 독립적으로 추적된다. 이러한 방법에 있어서, 물리적 환경(116)에서 사람(106)의 정확한 초점이 식별될 수 있다. 사람(106)의 머리(112) 및 눈의 위치 정보는 컴퓨터(102)에 의해 이용된다. 이 정보는 컴퓨터(102)에 의해 가상 환경에서 사람(106)의 대응하는 위치로 전환된다.
사람(106)의 머리(112)의 위치는 사람(106)이 서있고, 앉아있고, 구부리고, 누워있고, 또는 몇몇 다른 위치에 있는가의 여부에 따라 변경될 수 있다. 본 예에 있어서, 사람(106)은 가상 환경과 상호작용하는 동안 의자(120)에 앉아 있다.
이러한 방법에 있어서, 컴퓨터(102)는 가상 환경에서 사람(106)의 눈이 가상 환경의 다른 전망을 발생시키는데 이용되는 것과 동일한 방법으로 가상 환경에서 가상 카메라를 위치시킨다. 즉, 가상 카메라의 위치는 사람(106)의 눈의 위치에 대응한다. 사람(106)의 눈의 위치에 대응하는 가상 카메라의 위치는 사람(106)의 위치가 변경됨에 따라 변경될 수 있다.
하나의 전망이 사람(106)의 각 눈에 대해 발생된다. 각 전망의 이미지가 발생되어 사람(106)에 대해 디스플레이하기 위해 머리-탑재 디스플레이 장치(108)로 되돌려 송신된다. 이러한 방법에 있어서, 독자적 2차원 이미지가 머리-탑재 디스플레이 장치(108) 상의 사람(106)에 대해 디스플레이될 수 있다.
이들 실례로 되는 예에 있어서, 사람(106)의 눈은 머리-탑재 디스플레이 장치(108) 상에 디스플레이된 2개의 2차원 이미지로부터 가상 환경의 인지된 3차원 이미지를 재구성한다. 이러한 방법에 있어서, 자연인 양안시 처리(natural human binocular vision processing)가 컴퓨터(102)를 이용해서 발생된 2차원 이미지를 이용해서 가상 환경을 위한 3차원 이미지를 발생시키도록 사람(106)에서 야기된다.
이들 실례로 되는 예에 있어서, 자연인 양안시는 2개의 눈을 이용하는 것을 포함한다. 자연인 양안시 처리에 따르면, 양쪽 눈에 의해 전망된 이미지는 3차원 장면(three-dimensional view)을 발생시키는데 이용될 수 있다. 즉, 사람(106)은 깊이(depth)를 인지할 수 있도록 할 수 있다.
사람(106)의 눈, 사람(106)의 머리(112), 또는 양쪽이 이동함에 따라, 사람(106)의 초점이 변경될 수 있다. 머리-탑재 디스플레이 장치(108)에 의해 발생된 정보는 무선 통신 링크(118)를 매개로 컴퓨터(102)로 송신된다. 컴퓨터(102)는 가상 환경에서 가상 카메라를 위한 대응하는 위치에서 사람(106)의 초점을 재계산하는데 이 정보를 이용한다. 갱신된 2차원 이미지가 가상 환경에서 사람(106)의 눈을 나타내는 다른 가상 카메라로부터 발생된다.
결과적으로, 가상 환경의 더욱 정확한 표현이 사람(106)에 대해 머리-탑재 디스플레이 장치(108) 상에 디스플레이하기 위해 발생된다. 이러한 형태의 디스플레이에 따르면, 사람(106)의 자연시(natural vision)에 더욱 가까운 매치가 야기된다. 이러한 방법에 있어서, 사람(106)에 의해 2차원 이미지를 이용해서 가상 환경을 전망하는 원하지 않는 영향이 감소될 수 있다. 원하지 않는 영향에서의 감소가 머리-탑재 디스플레이 장치(108)를 이용하는 사람(106)에게 가상 환경의 더욱 현실적인 장면에 부가하여 야기된다.
도 2를 참조하면, 가상 환경 시스템의 블록도의 설명이 실례로 되는 실시예에 따라 도시된다. 도 1의 가상 환경 시스템(100)은 이 도면에서 블록 형태로 도시된 가상 환경 시스템(200)을 위한 하나의 구현의 예이다.
도시된 바와 같이, 가상 환경 시스템(200)은 물리적 환경(202)에 위치된다. 가상 환경 시스템(200)은 사람(206)을 위한 가상 환경(204)을 발생시키도록 구성된다. 사람(206)은 가상 환경 시스템(200)을 통해 가상 환경(204)과 상호작용할 수 있다.
이들 실례로 되는 예에 있어서, 가상 환경 시스템(200)은 다수의 다른 구성요소를 포함한다. 도시된 바와 같이, 가상 환경 시스템(200)은 가상 환경 발생기(208) 및 인터페이스 시스템(210)을 포함한다. 이들 구성요소는 가상 환경(204)을 발생시키고 가상 환경(204)과 상호작용하는 능력을 사람(206)에게 제공하도록 동작한다.
이들 실례로 되는 예에 있어서, 가상 환경 발생기(208)는 하드웨어, 소프트웨어, 또는 2가지의 조합으로 구현될 수 있다. 이들 실례로 되는 예에 있어서, 하드웨어는 회로 시스템(circuit system), 집적회로(integrated circuit), ASIC(application specific integrated circuit), 프로그래머블 로직 장치(programmable logic device), 또는 다수의 동작을 수행하도록 구성된 몇몇 다른 적절한 형태의 하드웨어의 형태를 취할 수 있다. 프로그래머블 로직 장치에 따르면, 장치는 다수의 동작을 수행하도록 구성된다. 장치는 나중에 재구성될 수 있거나 다수의 동작을 수행하도록 영구적으로 구성될 수 있다. 프로그래머블 로직 장치의 예는, 예컨대 프로그래머블 로직 어레이, 프로그래머블 어레이 로직, 필드 프로그래머블 로직 어레이, 필드 프로그래머블 게이트 어레이, 및 다른 적절한 하드웨어 장치를 포함한다. 부가적으로, 프로세스는 무기 구성요소(inorganic components)와 집적된 유기 구성요소(organic components)로 구현될 수 있고 및/또는 전체적으로 인간을 포함하는 유기 구성요소로 구성될 수 있다. 예컨대, 프로세스는 유기 반도체의 회로로서 구현될 수 있다.
이들 실례로 되는 예에 있어서, 가상 환경 발생기(208)는 컴퓨터 시스템(212)에서 구현될 수 있다. 컴퓨터 시스템(212)은 하나 이상의 컴퓨터일 수 있다. 하나 이상의 컴퓨터가 컴퓨터 시스템(212)에 존재할 때, 그들 컴퓨터는 네트워크와 같은 통신 매체를 거쳐 서로 통신될 수 있다.
본 실례로 되는 예에 있어서, 가상 환경 발생기(208)는 콘트롤러(214)와 이미지 프로세서(216)를 포함한다. 콘트롤러(214)는 가상 환경(204)을 발생시키도록 구성된다. 이들 실례로 되는 예에 있어서, 가상 환경(204)은 다양한 형태를 취할 수 있다.
예컨대, 가상 환경(204)은 디자인 환경(design environment), 유지보수 환경(maintenance environment), 제조 환경(manufacturing environment), 그리고 다른 적절한 형태의 환경 중 적어도 하나일 수 있다. 여기서 이용된 바와 같이, 문구 "중 적어도 하나"는, 아이템들의 리스트와 함께 이용될 때, 목록화된 아이템들 중 하나 이상의 여러 조합이 이용될 수 있음을 의미하고 목록의 각 아이템 중 오직 하나만이 필요로 될 수 있다. 예컨대, "아이템 A, 아이템 B 및 아이템 C 중 적어도 하나"는, 제한 없이, 아이템 A 또는 아이템 A 및 아이템 B를 포함할 수 있다. 이러한 예는 또한 아이템 A, 아이템 B 및 아이템 C 또는 아이템 B 및 아이템 C를 포함할 수 있다.
가상 환경(204)이 디자인 환경일 때, 사람(206)은 항공기, 선박, 지상 차량, 우주선, 위성, 엔진, 안테나, 복합재 부품(composite part), 의자, 및 다른 적절한 제품과 같은 제품을 디자인하도록 가상 환경(204)과 상호작용할 수 있다. 가상 환경(204)이 유지보수 환경의 형태를 취할 때, 사람(206)은 항공기와 같은 플랫폼 상에서 유지보수를 수행하는 것을 연습할 수 있다. 부가적으로, 사람(206)은 물리적 환경(202)에서 이용하기 위해 항공기에 대한 유지보수 절차를 식별하도록 유지보수 환경을 이용할 수 있다.
가상 환경(204)이 제조 환경일 때, 사람(206)은 제조 프로세스에 관한 정보를 획득하도록 제조 환경과 상호작용할 수 있다. 예컨대, 사람(206)은 제품의 제조에 대한 영향이 어떻게 변경되는가를 알기 위해 제조 환경에서 구성요소를 변경할 수 있다. 이러한 방법에 있어서, 사람(206)은 물리적 환경(202)에서 제품을 제조하는데 이용된 구성요소 또는 절차에 대한 변경을 식별할 수 있다.
이미지 프로세서(216)는 인터페이스 시스템(210)을 통해 사람(206)에 대해 디스플레이되는 이미지(218)를 발생시키도록 구성된다. 이미지(218)는 사람(206)의 가상 환경(204)과의 상호작용을 통해 사람(206)에 의해 보여지는 바와 같은 가상 환경(204)의 이미지이다. 이들 실례로 되는 예에 있어서, 이미지(218)는 2차원 이미지이다. 이미지(218)는 가상 환경(204)의 3차원 전망을 재구성하도록 사람(206)에 의해 전망될 수 있다.
도시된 바와 같이, 인터페이스 시스템(210)은 하드웨어이고 소프트웨어를 포함할 수 있다. 이들 실례로 되는 예에 있어서, 인터페이스 시스템(210)은 가상 환경(204)과 상호작용하기 위한 능력을 사람(206)에게 제공하도록 구성된다. 이러한 상호작용은 가상 환경(204)으로의 입력뿐만 아니라 가상 환경(204)으로부터의 출력을 수신하는 것을 포함할 수 있다.
도시된 바와 같이, 인터페이스 시스템(210)은 다수의 다른 구성요소로 이루어진다. 이러한 실례로 되는 예에 있어서, 인터페이스 시스템(210)은 디스플레이 장치(220) 및 센서 시스템(222)을 포함한다.
디스플레이 장치(220)는 가상 환경 발생기(208)에서 이미지 프로세서(216)에 의해 발생된 이미지(218)를 디스플레이하도록 구성된다. 이러한 방법에 있어서, 사람(206)은 가상 환경(204)을 볼 수 있다.
이들 실례로 되는 예에 있어서, 센서 시스템(222)은 사람(206)에 관한 정보(224)를 발생시키도록 구성된다. 특히, 센서 시스템(222)은 제1 눈 위치 정보(226), 제2 눈 위치 정보(228) 및 머리 위치 정보(230)를 발생시킬 수 있다. 부가적으로, 센서 시스템(222)은 또한 사람(206)의 다른 부분의 위치 및 이동에 관한 정보를 발생시킬 수 있다. 이들 다른 부분은, 예컨대 손, 손가락, 팔, 발, 및 다른 적절한 부분을 포함할 수 있다.
제1 눈 위치 정보(226)는 사람(206)의 머리(236)의 제1 눈(234)의 제1 위치(232)에 대한 것이다. 제2 눈 위치 정보(228)는 사람(206)의 머리(236)의 제2 눈(240)의 제2 위치(238)에 대한 것이다. 머리 위치 정보(230)는 이들 실례로 되는 예에서 사람(206)의 머리(236)의 머리 위치(242)에 대한 것이다.
도시된 바와 같이, 제1 눈 위치 정보(226), 제2 눈 위치 정보(228) 및 머리 위치 정보(230)는 다수의 다른 형태의 정보를 포함할 수 있다. 제1 눈 위치 정보(226), 제2 눈 위치 정보(228) 및 머리 위치 정보(230)는, 예컨대 물체(object)의 위치 및 방향을 포함할 수 있다. 위치는 3차원 좌표 시스템을 이용해서 3차원으로 설명될 수 있다. 방향은 다수의 다른 방법으로 설명될 수 있다. 예컨대, 방향은 오일러 각(Euler angles)을 이용하는 상대 공간(relative space), 방향 벡터(directional vector), 매트릭스(matrix), 사원수(quaternion), 요(yaw)의 조합, 피치와 롤(pitch and roll) 또는 다른 참조의 프레임과 같은 시스템을 이용해서 설명될 수 있다.
제1 눈 위치 정보(226), 제2 눈 위치 정보(228) 및 머리 위치 정보(230)는 센서 시스템(222)으로부터 가상 환경 발생기(208)로 정보(224)의 부분으로서 송신될 수 있다. 콘트롤러(214)는 사람(206)에 의해 발생된 입력을 기초로 또는 콘트롤러(214)에 의해 발생될 수 있거나 다른 소스로부터의 다른 이벤트를 기초로 가상 환경(204)에 대해 변경을 만들도록 정보(224)를 이용할 수 있다.
이미지 프로세서(216)는 이미지(218)를 발생시키기 위해 제1 눈 위치 정보(226) 및 제2 눈 위치 정보(228)를 이용하도록 구성된다. 이들 실례로 되는 예에 있어서, 머리 위치 정보(230)는 이미지(218)를 발생시키는데 선택적일 수 있다. 도시된 바와 같이, 이미지 프로세서(216)는 가상 환경(204)에서 제1 가상 카메라(244) 및 제2 가상 카메라(246)를 발생시킨다. 본 실례로 되는 예에 있어서, 제1 가상 카메라(244) 및 제2 가상 카메라(246)는 아바타(248; avatar)에 위치된다. 아바타(248)는 가상 환경(204)에서 사람(206)의 가상 표현이다. 특히, 제1 가상 카메라(244) 및 제2 가상 카메라(246)는 이들 실례로 되는 예에서 아바타(248)의 머리(250)에 위치된다.
하나의 예에 있어서, 이미지 프로세서(216)는 제1 눈 위치 정보(226)를 기초로 제1 눈(234)을 위한 가상 환경(204)의 이미지(218)에서 제1 이미지(252)를 발생시키도록 구성된다. 부가적으로, 이미지 프로세서(216)는 또한 제2 눈 위치 정보(228)를 기초로 제2 눈(240)을 위한 가상 환경(204)의 이미지(218)에서 제2 이미지(254)를 발생시키도록 구성된다. 이미지 프로세서(216)는 디스플레이를 위한 제1 이미지(252) 및 제2 이미지(254)를 사람(206)에게 송신하도록 구성된다. 이들 실례로 되는 예에 있어서, 제1 이미지(252) 및 제2 이미지(254)는 디스플레이 장치(220)로 송신된다.
이들 실례로 되는 예에 있어서, 이미지 프로세서(216)는 가상 환경(204)에서 제1 눈(234)의 제1 관점(258)을 표현하는 가상 환경(204)에서 제1 가상 카메라(244)를 위한 제1 위치(256)를 식별하도록 구성된다. 부가적으로, 이미지 프로세서(216)는 가상 환경(204)에서 제2 눈(240)의 제2 관점(262)을 표현하는 가상 환경(204)에서 제2 가상 카메라(246)를 위한 제2 위치(260)를 식별하도록 구성된다.
이들 실례로 되는 예에 있어서, 제1 이미지(252)는 제1 가상 카메라(244)에 의해 보여지는 것과 같은 가상 환경(204)의 이미지이다. 제2 이미지(254)는 제2 가상 카메라(246)에 의해 보여지는 것과 같은 가상 환경(204)의 이미지이다.
제1 이미지(252) 및 제2 이미지(254)가 디스플레이 장치(220)로 송신될 때, 디스플레이 장치(220)는 사람(206)의 제1 눈(234)에 대해 제1 이미지(252)를 디스플레이한다. 이들 실례로 되는 예에서 디스플레이 장치(220)는 사람(206)의 제2 눈(240)에 대해 제2 이미지(254)를 디스플레이한다. 제1 이미지(252) 및 제2 이미지(254)는 2차원 이미지이고, 가상 환경(204)의 3차원 이미지를 재구성하도록 사람(206)에 의해 처리된다.
각각 제1 관점(258) 및 제2 관점(262)으로부터 제1 이미지(252) 및 제2 이미지(254)의 발생에 따르면, 가상 환경(204)과 상호작용하는 사람(206)의 경험은 가상 환경(204)의 이미지(218)를 전망하는 것으로부터의 원하지 않는 영향의 감소와 함께 야기될 수 있다. 이들 실례로 되는 예에 있어서, 제1 가상 카메라(244) 및 제2 가상 카메라(246)는 제1 눈(234)의 제1 위치(232) 및 제2 눈(240)의 제2 위치(238)에 대해 상관하는 방법으로 위치될 수 있다.
이들 실례로 되는 예에 있어서, 제1 가상 카메라(244) 및 제2 가상 카메라(246)는 머리 위치 정보(230)를 기초로 수직으로 위치될 수 있다. 특히, 머리(236)의 높이는 제1 가상 카메라(244) 및 제2 가상 카메라(246)를 위치시키는데 이용될 수 있다.
머리 위치 정보(230)는 가상 환경(204) 내에서 머리 위치(264)에 따라 아바타(248)의 머리(250)를 위치시키도록 이용될 수 있다. 가상 환경(204)에서 아바타(248)를 위한 머리(250)의 머리 위치(264)는 물리적 환경(202)에서 사람(206)의 머리(236)의 머리 위치(242)에 대응한다. 즉, 아바타(248)를 위한 머리(250)의 방향은 사람(206)의 머리(236)의 방향에 대응한다.
즉, 제1 가상 카메라(244) 및 제2 가상 카메라(246)에 따라 아바타(248)의 머리(250)를 위치시키는 것은 사람(206)의 머리(236)가 지상으로부터 존재하게 되는 거리와 관련될 수 있다. 이 거리는 사람(206)이 서 있고, 않아 있고, 지상 위에 서 있고, 물체 위에 서 있고, 또는 몇몇 다른 적절한 위치에 있는가의 여부에 따라 변할 수 있다.
부가적으로, 제1 가상 카메라(244) 및 제2 가상 카메라(246)는 제2 눈(240)에 대한 제1 눈(234)의 다수의 위치를 기초로 서로에 관하여 위치될 수 있다. 다수의 거리는 제1 눈(234)과 제2 눈(240)의 동공(pupils) 사이의 거리일 수 있다. 동공 거리는 또한 동공 간 거리(interpupillary distance)로서 언급될 수 있다. 특히, 동공 거리는 사람(206)의 눈에서 동공의 중앙 사이의 거리이다. 이 동공 거리는 아바타(248)의 머리(250)에서 제1 가상 카메라(244) 및 제2 가상 카메라(246)의 위치를 발생시키도록 이미지 프로세서(216)에 의해 이용될 수 있다.
이들 실례로 되는 예에 있어서, 제1 눈(234) 및 제2 눈(240)이 다른 위치로 이동함에 따라, 제1 가상 카메라(244) 및 제2 가상 카메라(246)가 또한 대응하는 다른 위치로 이동한다. 유사한 방식으로, 사람(206)의 머리(236)가 이동할 때, 가상 환경(204)에서 아바타(248)의 머리(250)가 또한 이동할 수 있다. 물론, 머리 위치 정보(230)는 선택적이다. 예컨대, 제1 눈 위치 정보(226) 및 제2 눈 위치 정보(228)가 3차원에서 제1 눈(234) 및 제2 눈(240)의 좌표를 포함할 때, 3차원에서 머리(236)의 위치는 필요로 되지는 않는다.
더욱이, 제1 눈(234) 및 제2 눈(240)의 방향은 사람(206)의 머리(236) 이외의 다른 기준점 또는 평면에 관련될 수 있다. 이러한 형태의 구현에 있어서, 머리(236)의 머리 위치 정보(230)는 필요로 되지 않을 수 있다.
다른 실례로 되는 예에 있어서, 머리 위치 정보(230)는 3차원에서 머리(236)의 위치 뿐만 아니라 머리(236)의 방향을 포함할 수 있다. 제1 눈 위치 정보(226) 및 제2 눈 위치 정보(228)는 머리(236)의 제1 눈(234) 및 제2 눈(240)의 방향을 포함할 수 있다. 즉, 제1 눈 위치 정보(226) 및 제2 눈 위치 정보(228)는 몇몇 다른 기준 물체 보다는 머리(236)와 관련될 수 있다.
이러한 형태의 구현에 있어서, 머리 위치 정보(230)는 제1 가상 카메라(244) 및 제2 가상 카메라(246)와 함께 머리(250)를 위한 위치를 발생시키도록 제1 눈 위치 정보(226) 및 제2 눈 위치 정보(228)와 함께 이용된다. 본 예에 있어서, 이미지 프로세서(216)는 제1 눈 위치 정보(226) 및 머리 위치 정보(230)를 기초로 제1 이미지(252)를 발생시키다. 유사한 방식으로, 이미지 프로세서(216)는 제2 눈 위치 정보(228) 및 머리 위치 정보(230)를 기초로 제2 이미지(254)를 발생시킨다.
도 3을 참조하면, 디스플레이 장치를 위한 구현의 블록도의 설명이 실례로 되는 실시예에 따라 도시된다. 이 묘사된 예에 있어서, 디스플레이 장치(300)의 형태는 도 2의 디스플레이 장치(220)를 구현하는데 이용될 수 있는 디스플레이 장치의 다른 형태의 예이다.
이들 실례로 되는 예에 있어서, 디스플레이 장치(300)의 예는 다수의 다른 형태의 장치를 포함한다. 본 예에 있어서, 디스플레이 장치(300)의 형태는 머리-탑재 디스플레이 시스템(302; head-mounted display system), 셔터 디스플레이 시스템(304: shutter display system), 편광 디스플레이 시스템(306; polarization display system), 망막 디스플레이 시스템(308; retinal display system), 및 콘택트 렌즈 디스플레이 시스템(310; contact lensdisplay system)을 포함한다.
머리-탑재 디스플레이 시스템(302)은 도 2의 사람(206)의 머리(236)에 씌워진 디스플레이 장치일 수 있다. 머리-탑재 디스플레이 시스템(302)은 또한 제1 눈(234), 제2 눈(240) 및 사람(206)의 머리(236)에 관한 정보를 발생시키도록 센서 시스템(222)으로부터의 센서들을 포함할 수 있다. 머리-탑재 디스플레이 시스템(302)의 디스플레이는, 예컨대 제한 없이, 액정 디스플레이, 발광 다이오드 디스플레이, 플라즈마 디스플레이, 또는 몇몇 다른 적절한 형태의 디스플레이일 수 있다. 머리-탑재 디스플레이 시스템(302)의 디스플레이는 하나 이상의 독립 디스플레이 시스템으로 구성될 수 있다.
셔터 디스플레이 시스템(304)은 알맞은 시간에 소정의 하나의 포인트에서 디스플레이를 전망하도록 제1 눈(234) 및 제2 눈(240) 중 단지 하나만을 허용하는 셔터 시스템을 갖는 액티브 셔터 안경(active shutter glasses)을 이용해서 사람(206)에 의해 전망된 디스플레이일 수 있다. 이러한 형태의 디스플레이 시스템에 따르면, 디스플레이 상의 제1 이미지(252) 및 제2 이미지(254)의 디스플레이는 제1 눈(234) 및 제2 눈(240)이 디스플레이를 볼 수 있을 때에 대응하도록 교대로 될 수 있다.
편광 디스플레이 시스템(306)은 동시에 디스플레이 상에 제1 이미지(252) 및 제2 이미지(254) 양쪽을 디스플레이하는 것을 포함할 수 있어 제1 이미지(252) 및 제2 이미지(254)가 다른 편광으로 디스플레이된다. 편광 디스플레이 시스템(306)의 편광 안경은 각 눈이 올바른 이미지를 전망할 수 있도록 사람(206)에 의해 씌워질 수 있다.
망막 디스플레이 시스템(308)은 눈의 망막 상으로 래스터 디스플레이(raster display)를 투사하도록 구성된다. 망막 디스플레이 시스템(308)은 눈의 망막을 스캔하는 빔을 발생시키는 프로젝터(projector)를 포함할 수 있다.
콘택트 렌즈 디스플레이 시스템(310)은 제1 눈(234) 및 제2 눈(240) 상에 위치되는 콘택트 렌즈(contact lens)의 형태를 취한다. 이들 콘택트 렌즈는 전자 회로 및 발광 다이오드를 포함한다. 회로의 발광 다이오드는 제1 눈(234) 및 제2 눈(240)에 의해 전망되는 이미지를 발생시키도록 구성된다.
도 4를 참조하면, 가상 환경 시스템의 센서 시스템에서 이용될 수 있는 센서의 형태의 블록도의 설명이 실례로 되는 실시예에 따라 도시된다. 본 실례로 되는 예에 있어서, 센서의 형태(400)는 도 2의 센서 시스템(222)에서 이용될 수 있는 다른 형태의 센서를 포함한다.
본 실례로 되는 예에 있어서, 센서의 형태(400)의 형태는 다수의 다른 형태의 센서를 포함할 수 있다. 예컨대, 센서의 형태(400)는 눈 추적 시스템(402; eye tracking system 402), 머리 추적 시스템(404; head tracking system), 데이터 글로브(406; data gloves), 및 제스쳐 추적 시스템(408; gesture tracking system)을 포함할 수 있다.
눈 추적 시스템(402)은 제1 눈 추적기(410; first eye tracker 410) 및 제2 눈 추적기(412; second eye tracker)를 포함할 수 있다. 제1 눈 추적기(410)는 제1 눈(234)의 제1 위치(232)를 추적하고 도 2의 제1 눈 위치 정보(226)를 발생시키도록 구성된다. 제2 눈 추적기(412)는 제2 눈(240)의 제2 위치(238)를 추적하고 제2 눈 위치 정보(228)를 발생시키도록 구성된다.
이들 실례로 되는 예에 있어서, 눈 추적 시스템(402)은 머리-탑재 디스플레이 시스템(302)과 관련될 수 있거나 분리 장치일 수 있다. 이들 실례로 되는 예에 있어서, 눈 추적 시스템(402)은 제1 눈(234) 및 제2 눈(240)의 응시(gaze)에 대항함으로써 제1 눈(234)의 제1 위치(232) 및 제2 눈(240)의 제2 위치(238)를 추적한다.
응시 추적(gaze tracking)은 제1 눈(234)의 제1 위치(232) 및 제2 눈(240)의 제2 위치(238)에 대항함으로써 제1 눈(234) 및 제2 눈(240)에 의해 전망된 이미지의 영역을 식별하는 것을 포함한다. 몇몇 실례로 되는 예에 있어서, 제1 눈(234)의 제1 위치(232) 및 제2 눈(240)의 제2 위치(238)를 위한 제1 눈 위치 정보(226) 및 제2 눈 위치 정보(228)는 사람(206)을 위한 응시를 식별하는데 이용될 수 있다.
더욱이, 눈 추적 시스템(402)은 제1 눈(234) 및 제2 눈(240)의 방향에 관한 정보를 발생시키도록 각막 반사(corneal reflection)와 같은 다양한 기술을 이용할 수 있다. 이들 기술은 광학(optics)과 관련되는 조명 소스(illumination source)의 위치를 기초로 한다. 눈 추적 시스템(402)은 하드웨어 장치뿐만 아니라 다른 적절한 장치를 구비하는 카메라를 이용해서 구현될 수 있다.
결과적으로, 제1 눈 추적기(410) 및 제2 눈 추적기(412)는 분리 카메라일 수 있거나 소프트웨어 프로세스를 이용해서 구현되는 제1 눈 추적기(410) 및 제2 눈 추적기(412)를 구비하는 단일 카메라로 구현될 수 있다.
더욱이, 몇몇 실례로 되는 예에 있어서, 눈 추적 시스템(402)은 카메라나 다른 적절한 장치에 의해 추적되는 각인된 패턴(imprinted pattern)을 포함하는 콘택트 렌즈를 이용해서 구현될 수 있다. 눈 추적 시스템(402)은 콘택트 렌즈에 각인되거나 제1 눈(234) 및 제2 눈(240)에 직접 각인된 서치 코일(search coil)을 이용해서 구현될 수 있다. 눈 추적 시스템(402)은 제1 눈(234) 및 제2 눈(240) 주위에 위치된 근육 활동 센서(muscle activity sensors)를 이용해서 구현될 수 있다.
이들 실례로 되는 예에 있어서, 머리 추적 시스템(404)은 사람(206)의 머리(236)의 머리 위치(242)를 식별하고 머리 위치 정보(230)를 발생시키도록 구성된 하드웨어 장치이다. 머리 추적 시스템(404)은 머리 추적기(405; head tracker)를 포함할 수 있다. 머리 추적기(405)는 머리(236)의 각도 및 방향의 변화를 검출하는 추적 센서(tracking sensors)를 포함할 수 있다. 이들 센서는, 예컨대 가속도계(accelerometers) 또는 다른 적절한 형태의 센서일 수 있다. 다른 실례로 되는 예에 있어서, 머리 추적기(405)는 사람(206)의 머리(236) 또는 머리-탑재 디스플레이 시스템(302) 상의 카메라 시스템 및 마커(markers)를 이용해서 구현될 수 있다. 더욱이, 몇몇 실례로 되는 예에 있어서, 머리 추적 시스템(404)은 머리-탑재 디스플레이 시스템(302)의 일부로서 구현될 수 있다.
데이터 글로브(406)는 사람(206)에 의해 씌워진 하드웨어 장치이다. 이들 장치는 사람(206)의 손의 위치뿐만 아니라 사람(206)의 손에 의해 발생된 다양한 제스쳐를 식별할 수 있다.
도시된 바와 같이, 제스쳐 추적 시스템(408)은 사람(206)의 손의 이동 및 제스쳐를 식별하도록 구성된다. 제스쳐 추적 시스템(408)은 사람(206)의 손의 제스쳐 및 위치를 식별하는데 이용된 정보를 발생시키는 카메라, 움직임 검출기(motion detectors) 및 다른 장치를 포함할 수 있다.
도 2 내지 도 4의 가상 환경 시스템(200) 및 가상 환경 시스템(200)의 구성요소의 설명은 실례로 되는 실시예가 구현될 수 있는 방법에 대해 물리적 또는 설계 제한을 암시하는 것을 의도하는 것은 아니다. 설명된 것에 부가되거나 대신하는 다른 구성요소가 이용될 수 있다. 몇몇 구성요소는 불필요할 수도 있다. 또한, 블록은 몇몇 기능적 구성요소를 설명하기 위해 제공된다. 하나 이상의 이들 블록은 실례로 되는 실시예에서 구현될 때 결합, 분리 또는 다른 블록에 결합 및 분리될 수 있다.
예컨대, 사람(206)에 부가하여 한 명 이상의 사람이 가상 환경(204)과 상호작용할 수 있다. 이들 부가적인 사람은 인터페이스 시스템(210)을 이용할 수 있다. 다른 실례로 되는 예에 있어서, 디스플레이 장치(220) 및 센서 시스템(222)은 단일 구성요소로서 구현될 수 있다. 다른 실례로 되는 예로서, 다른 형태의 센서가 도 4의 센서의 형태(400)에서 목록화된 것에 부가 또는 대신하여 이용될 수 있다. 예컨대, 조이스틱(joystick), 추적 원드(tracking wand), 건 주변기(gun peripheral), 마우스(mouse) 및 다른 적절한 장치가 이용될 수 있다.
다른 실례로 되는 예로서, 디스플레이 장치(220)가 가상 환경(204)을 위한 이미지(218)에서 제1 이미지(252) 및 제2 이미지(254)에 부가하여 사람(206) 주위에 물리적 환경(202)의 전망을 제공하도록 구성될 수 있다. 즉, 제1 이미지(252) 및 제2 이미지(254)의 디스플레이는 사람(206)에게 증강된 현실 디스플레이를 제공하도록 이용될 수 있다. 이 증강된 현실 디스플레이는 물리적 환경(202)의 전망을 가상 환경(204)의 전망과 결합한다. 예컨대, 사람(206)은 물리적 환경(202)에서 항공기를 전망할 수 있다. 가상 환경(204)은 항공기를 재생성하고 항공기의 내부 전망을 제공할 수 있다. 항공기 내부의 이들 전망은 물리적 환경(202)에서 항공기의 물리적 전망을 오버레이(overlays)하는 방법으로 디스플레이 장치(220) 상에 디스플레이되는 제1 이미지(252) 및 제2 이미지(254)를 발생시키는데 이용될 수 있다.
이 방법에 있어서, 가상 환경 시스템(200)은 설계, 유지보수, 훈련 및 다른 적절한 조작과 같은 다양한 조작을 위해 순수하게 가상 환경을 위한 전망을 발생시키도록 이용될 수 있다. 더욱이, 가상 환경 시스템(200)은 물리적 환경(202)에 관한 부가적인 정보를 갖는 사람(206)을 제공하도록 물리적 환경(202)과 오버레이될 수 있는 방법으로 가상 환경(204)을 발생시키는 증강된 현실 발생 시스템의 일부로서 포함할 수 있다.
도 5를 참조하면, 가상 환경 시스템의 도면의 설명이 실례로 되는 실시예에 따라 도시된다. 본 도시된 예에 있어서, 가상 환경 시스템(500)은 도 2에서 블록 형태로 도시된 가상 환경 시스템(200)을 위한 하나의 구현의 예이다.
본 실례로 되는 예에 있어서, 가상 환경 시스템(500)은 가상 환경 발생기(502) 및 머리-탑재 디스플레이 장치(504)를 포함한다.
본 실례로 되는 예에 있어서, 머리-탑재 디스플레이 장치(504)는 제1 눈 추적기(506), 제2 눈 추적기(508), 머리 추적기(510), 제1 디스플레이(512) 및 제2 디스플레이(514)를 포함한다. 머리-탑재 디스플레이 장치(504)는 사람(518)의 머리(516)에 씌워지도록 구성된다.
이들 실례로 되는 예에 있어서, 제1 눈 추적기(506)는 사람(518)의 머리(516)에서 제1 눈(520)의 위치를 추적하도록 구성된다. 제2 눈 추적기(508)는 사람(518)의 머리(516)에서 제2 눈(522)의 위치를 추적하도록 구성된다. 특히, 제1 눈 추적기(506) 및 제2 눈 추적기(508)는 각각 제1 눈(520) 및 제2 눈(522)의 방향을 추적할 수 있다.
제1 디스플레이(512)는 제1 눈(520)에 대해 이미지를 디스플레이하도록 구성되는 한편 제2 디스플레이(514)는 제2 눈(522)에 대해 이미지를 디스플레이하도록 구성된다. 특히, 제1 디스플레이(512) 및 제2 디스플레이(514)는 가상 환경 발생기(502)로부터 수신된 이미지(523)를 디스플레이한다.
본 실례로 되는 예에 있어서, 제1 디스플레이(512) 및 제2 디스플레이(514)는 서로 분리되어 제1 눈(520)은 제2 디스플레이(514)를 볼 수 없고 제2 눈(522)은 제1 디스플레이(512)를 볼 수 없다. 도시된 바와 같이, 제1 디스플레이(512) 및 제2 디스플레이(514)는 다양한 형태의 디스플레이를 이용해서 구현될 수 있다. 예컨대, 액정 디스플레이, 발광 다이오드 디스플레이, 플라즈마 디스플레이, 또는 몇몇 다른 적절한 형태의 디스플레이가 제1 디스플레이(512), 제2 디스플레이(514), 또는 제1 디스플레이(512) 및 제2 디스플레이(514) 양쪽을 위해 이용될 수 있다.
머리 추적기(510)는 이들 실례로 되는 예에서 사람(518)의 머리(516)의 위치를 추적하도록 구성된다. 이들 실례로 되는 예에 있어서, 머리-탑재 디스플레이 장치(504)는 가상 환경 발생기(502)로 정보(524)를 송신한다. 도시된 바와 같이, 정보(524)는 제1 눈(520) 및 제2 눈(522)에 관한 정보를 추적하는 것이다. 부가적으로, 정보(524)는 또한 머리 추적기(510)에 의해 발생된 머리 위치 정보를 포함할 수 있다.
가상 환경 발생기(502)는 정보(524)를 수신한다. 본 실례로 되는 예에 있어서, 가상 환경 발생기(502)는 컴퓨터를 이용해서 구현될 수 있다. 가상 환경 발생기(502)는 가상 환경(528)을 발생시키고 동작시키도록 구성된다.
가상 환경 발생기(502)는 통신 링크를 이용해서 머리-탑재 디스플레이 장치(504)와 통신할 수 있다. 이 통신 링크는, 예컨대, 제한 없이, 유선 통신 링크, 광 통신 링크, 무선 통신 링크, 또는 그 몇몇 조합일 수 있다.
머리-탑재 디스플레이 장치(504)로부터 수신된 정보(524)는 아바타(526)를 발생시키고 가상 환경(528)에 아바타(526)를 위치시키도록 가상 환경 발생기(502)에 의해 이용된다. 아바타(526)는 가상 환경(528)에서 사람(518)의 표현이다.
이들 실례로 되는 예에 있어서, 정보(524)는 또한 아바타(526)에서 제1 가상 카메라(530) 및 제2 가상 카메라(532)를 위한 위치를 식별하도록 이용된다. 특히, 제1 가상 카메라(530) 및 제2 가상 카메라(532)는 이들 실례로 되는 예에서 아바타(526)의 머리(536)에 위치될 수 있다.
제1 가상 카메라(530) 및 제2 가상 카메라(532)는 각각 제1 눈(520) 및 제2 눈(522)을 나타낸다. 즉, 1 대 1 상관(one-to-one correlation)이 가상 카메라와 눈 사이에 존재한다. 이들 실례로 되는 예에 있어서, 제1 가상 카메라(530) 및 제2 가상 카메라(532)는 제1 눈(520) 및 제2 눈(522) 사이의 동공 거리(537)에 대응하는 거리(534)를 갖는다.
이들 실례로 되는 예에 있어서, 제1 눈(520) 및 제2 눈(522)이 머리(516)에서 이동함에 따라, 제1 가상 카메라(530) 및 제2 가상 카메라(532)는 정보(524)를 이용해서 대응하는 이동을 갖도록 재위치된다. 더욱이, 사람(518)의 머리(516)가 이동할 때, 아바타(526)의 머리(536) 또한 이동한다.
제1 가상 카메라(530) 및 제2 가상 카메라(532)는 제1 가상 카메라(530) 및 제2 가상 카메라(532)에 의해 가상 환경(528)을 볼 수 있는 전망을 기초로 이미지를 발생시키도록 가상 환경 발생기(502)에 의해 이용될 수 있다. 정보(524)는 이들 실례로 되는 예에서 제1 가상 카메라(530) 및 제2 가상 카메라(532)의 위치를 갱신할 수 있다.
도 2에서 블록 형태로 도시된 가상 환경 시스템(200)의 구현으로서의 가상 환경 시스템(500)의 설명은 다른 가상 환경 시스템이 구현될 수 있는 방법에 대해 제한을 암시하는 것으로 의미하지는 않는다. 예컨대, 몇몇 실례로 되는 예에 있어서, 콘택트 렌즈 디스플레이 시스템은 머리-탑재 디스플레이 장치(504) 대신 이용될 수 있다. 또 다른 실례로 되는 예에 있어서, 가상 카메라가 아바타(526) 없이 이용될 수 있다.
도 2 내지 도 4에 도시된 다른 구성요소는 도 1 및 도 5의 구성요소와 결합되고, 도 1 및 도 5의 구성요소와 함께 이용되며, 또는 2가지의 조합일 수 있다. 부가적으로, 도 1의 몇몇 구성요소는 도 2 내지 도 4에 블록 형태로 그리고 도 5에서 도식적으로 도시된 구성요소가 어떻게 물리적 구조로서 구현될 수 있는가의 실례로 되는 예일 수 있다.
도 6을 참조하면, 가상 환경의 디스플레이를 위한 프로세스의 플로우차트의 설명이 실례로 되는 실시예에 따라 도시된다. 도 6에서 설명된 프로세스는 도 2의 가상 환경 시스템(200)을 이용해서 구현될 수 있다.
프로세스는 사람의 머리에서 제1 눈을 위한 제1 눈 위치 정보와 사람의 머리에서 제2 눈을 위한 제2 눈 위치 정보를 수신하는 것에 의해 시작한다(동작 600). 이어 프로세스는 제1 눈 위치 정보를 기초로 제1 눈을 위한 가상 환경의 제1 이미지를 발생시키고 제2 눈 위치 정보를 기초로 제2 눈을 위한 가상 환경의 제2 이미지를 발생시킨다(동작 602). 동작 602에 있어서, 이미지가 발생되어 가상 환경에서 이미지를 발생시키기 위한 관점이 물리적 환경에서 사람의 눈의 관점에 대응한다. 이어 프로세스는 프로세스에 따라 디스플레이를 위한 제1 이미지 및 제2 이미지를 사람에게 송신하고(동작 604) 이어 동작 600으로 되돌아간다.
이들 다른 동작은 사람이 가상 환경과 상호작용하는 한에는 반복될 수 있다. 도 6의 플로우차트의 다른 동작을 이용하는 것은 가상 환경을 전망하는 사람에게 더욱 자연스러운 경험을 제공한다. 특히, 이미지는 가상 환경에서 동일한 관점을 이용해서 사람의 눈의 관점으로부터 발생된다.
도 7a 및 도 7b를 참조하면, 가상 환경을 전망하기 위한 프로세스의 플로우차트의 설명이 실례로 되는 실시예에 따라 도시된다. 도 7a 및 도 7b에 도시된 프로세스는 디스플레이 장치(220)를 이용해서 사람(206)에 의해 전망하기 위한 이미지(218)를 발생시키도록 도 2에서의 가상 환경 시스템(200)을 이용하여 구현될 수 있다. 도 7a 및 도 7b에 도시된 다른 동작은 가상 환경(204)과 함께 사람(206)의 상호작용 동안 도 2의 가상 환경 시스템(200) 및 사람(206) 양쪽에 의해 수행된 동작을 설명한다.
프로세스는 사람의 머리에 머리-탑재 디스플레이 장치를 위치시키는 것에 의해 시작한다(동작 700). 머리-탑재 디스플레이 장치는 디스플레이 장치(220)를 위한 구현이고 또한 센서 시스템(222)의 적어도 일부를 포함할 수 있다. 머리-탑재 디스플레이 장치는 눈 이동 및 선택적으로 머리 이동을 추적할 수 있다.
이어 사람은 가상 환경의 발생을 개시한다(동작 702). 이 동작에 있어서, 사람은 가상 환경의 발생을 시작하도록 가상 환경 시스템을 턴 온(turn on)할 수 있다. 이들 실례로 되는 예에 있어서, 도 2의 가상 환경 발생기(208)와 같은, 가상 환경 발생기는 가상 환경의 발생을 시작할 수 있다.
가상 환경 발생기는 현재 정보(current information)를 위해 머리-탑재 디스플레이 장치로 질의(queries)를 송신한다(동작 704). 질의는 머리-탑재 디스플레이 장치가 질의에서의 정보를 발생시킬 수 있도록 한다. 이러한 현재 정보는 사람의 눈의 위치에 관한 정보를 포함한다. 현재 정보는 또한 머리 위치 및 다른 적절한 정보를 포함할 수 있다. 동작 704에서의 질의는 이들 실례로 되는 예에서 주기적으로 이루어질 수 있다. 더욱이, 눈의 위치는 3차원, 방향, 또는 양쪽에서의 눈의 위치일 수 있다.
가상 환경 발생기는 사람의 제1 눈 및 제2 눈의 방향에 관한 정보를 검색(retrieves)한다(동작 706). 이들 실례로 되는 예에 있어서, 제1 눈은 좌측 눈에 대응할 수 있고, 제2 눈은 사람의 우측 눈에 대응할 수 있다.
이어, 머리-탑재 디스플레이 장치가 사람의 머리의 방향에 관한 정보를 포함하는가의 여부에 대해 결정이 이루어진다(동작 708). 머리-탑재 디스플레이 장치가 머리의 방향에 관한 정보를 포함하면, 가상 환경 발생기는 머리의 방향에 관한 정보를 검색한다(동작 710).
다음에, 머리-탑재 디스플레이 장치가 머리의 위치에 관한 정보를 포함하는가의 여부에 대해 결정이 이루어진다(동작 712). 동작 712에서, 위치는 3차원 좌표 시스템을 이용해서 설명될 수 있다. 머리-탑재 디스플레이 장치가 이 정보를 포함하면, 머리-탑재 디스플레이 장치는 머리의 위치에 관한 정보를 검색한다(동작 714). 이들 실례로 되는 예에 있어서, 머리의 방향 및 위치에 관한 정보는 머리 위치 정보를 형성한다.
다음에, 가상 환경 발생기가 사람에 의해 이용하기 위해 구성되었는가의 여부에 대해 결정이 이루어진다(동작 716). 가상 환경 발생기가 사람에 의해 이용하기 위해 구성되었다면, 제1 눈 및 제2 눈 사이의 동공 간 거리가 눈 추적 정보(eye tracking information)를 이용해서 계산된다(동작 718). 이들 실례로 되는 예에 있어서, 눈 추적 정보는 제1 눈 및 제2 눈의 방향, 머리-탑재 디스플레이 장치의 특징, 눈 추적기 사이의 거리, 센서 전망 각도, 및 사람의 동공 사이의 거리를 계산하는데 이용될 수 있는 다른 적절한 정보를 포함할 수 있다.
이들 실례로 되는 예에 있어서, 동공 거리는 다수의 다른 시스템을 이용해서 식별될 수 있다. 동공 거리를 식별하기 위한 하나의 기술은 제어 지점(control point) 상에 초점지워질 때 각 눈으로부터 다중 샘플(multiple samples)을 취하는 것을 포함한다. 이 제어 지점은, 예컨대 중앙의 십자선(crosshair in the center), 디스플레이 장치의 선단(extremes of the display device), 또는 그 몇몇 조합일 수 있다. 다음에, 각 눈에 대한 각 제어 지점을 위한 전망 방향이 계산된다. 눈 추적 센서(eye tracking sensor) 또는 눈 추적 센서들에 관한 눈의 위치가 다중 전망 방향을 이용해서 계산된다. 다음에, 눈 추적 센서들 간의 거리가 계산된다. 마지막으로, 눈-센서 옵셋(eye-sensor offsets) 및 센서-센서 옵셋(sensor-sensor offsets)을 기초로 각 눈 사이의 거리가 계산된다.
사람에 관한 이것 그리고 다른 정보가 다수의 다른 위치에 저장될 수 있다. 예컨대, 정보가 머리-탑재 디스플레이 장치, 가상 환경 발생기, 원격 데이터베이스, 또는 몇몇 다른 적절한 위치 중 적어도 하나에 저장될 수 있다. 또 다른 실례로 되는 예에 있어서, 사람은 적어도 몇몇 정보에 들어갈 수 있다.
이어 가상 환경 발생기는 가상 환경에서 사람의 위치를 나타내도록 아바타를 생성한다(동작 720). 사람의 제1 눈 및 제2 눈을 나타내는 제1 가상 카메라 및 제2 가상 카메라가 아바타에 부가된다(동작 722). 가상 카메라의 배치는 머리-탑재 디스플레이 장치로부터 수신된 눈에 관한 정보를 이용해서 수행된다. 배치는 또한 해당 정보가 이용가능하면 사람의 머리에 관한 정보를 기초로 될 수 있다.
가상 카메라는 사람의 눈 사이의 계산된 동공 간 거리 및 사람의 눈에 관한 현재 정보를 기초로 부가될 수 있다. 사람의 머리에 관한 정보는 이용가능하다면 또한 이용될 수 있다. 가상 카메라의 수평 공간(horizontal spacing)은 동공 간 거리를 기초로 될 수 있다. 가상 환경의 바닥(floor)으로부터 카메라의 수직 거리(vertical distance)는 사람의 머리에 관한 정보를 기초로 될 수 있다. 부가적으로, 가상 카메라의 위치결정은 사람의 하나의 눈이 사람의 다른 눈 보다 수직으로 더 높을 수 있음을 고려할 수 있다. 가상 카메라의 위치결정은 또한 사람의 눈이 대칭적으로 정렬되지 않을 수 있음을 고려할 수 있다.
가상 환경 발생기는 사람의 눈의 방향에 대응하는 방향을 갖도록 가상 카메라를 위치시킨다(동작 724). 이 위치결정은 머리-탑재 디스플레이 장치로부터 검색된 현재 정보를 기초로 수행된다. 이러한 방법에서, 가상 카메라는 눈의 방향을 기초로 사람의 눈의 방향에 대응하는 관점 및 머리-탑재 디스플레이 장치로부터 검색된 정보로부터 식별된 눈의 방향을 갖을 수 있다.
다음에, 머리-탑재 디스플레이 장치로부터 검색된 정보가 머리의 방향에 관한 정보를 포함하는가의 여부에 대해 결정이 이루어진다(동작 726). 검색된 정보가 머리의 방향에 관한 정보를 포함하면, 아바타는 사람의 머리의 현재 방향을 기초로 대응하는 방향을 갖도록 위치된다(동작 728).
아바타의 방향에서의 이러한 변경은 또한, 결국 가상 카메라의 관점을 변경시키는, 가상 카메라의 방향을 변경시킨다. 이러한 방법에 있어서, 사람의 머리 및 사람의 눈에서의 변경은 아바타 및 아바타의 가상 카메라에 의해 반영될 수 있다.
머리-탑재 디스플레이 장치로부터 검색된 정보가 머리의 위치에 관한 정보를 포함하는가의 여부에 대해 결정이 이루어진다(동작 730). 검색된 정보가 머리의 위치에 관한 정보를 포함하면, 아바타는 사람의 머리의 현재 위치와 매치되도록 이동된다(동작 732).
이어, 가상 환경 발생기는 제1 가상 카메라의 투시(perspective)로부터 가상 환경을 렌더링(renders)한다(동작 736). 즉, 가상 환경 발생기는 특정 투시로부터 그래픽 정보를 발생시킨다. 이러한 렌더링은 제1 가상 카메라의 관점으로부터 발생된 가상 환경의 제1 이미지를 초래한다. 즉, 가상 환경 발생기는 제1 가상 카메라에 의해 보여진 가상 환경의 제1 이미지를 발생시킨다. 유사한 방식에 있어서, 가상 환경 발생기는 제2 가상 카메라의 투시로부터 가상 환경을 렌더링한다(동작 738). 이러한 렌더링은 제2 가상 카메라의 관점으로부터 발생된 가상 환경의 제2 이미지를 초래한다. 제1 가상 카메라와 마찬가지로, 가상 환경 발생기는 제2 가상 카메라에 의해 보여진 가상 환경의 제2 이미지를 발생시킨다.
동작 736 및 동작 738에서 발생된 최종 제1 이미지 및 제2 이미지는 근소하게 다른 관점으로부터 가상 환경의 2개의 전망을 제공한다. 즉, 이들 이미지는 사람의 눈의 투시에 대응하는 근소하게 다른 투시로부터 전망들을 제공한다.
사람의 눈에 대응하는 방향을 갖도록 위치된 가상 카메라에 따르면, 이미지는 제1 사람을 위해 맞추어진다. 머리-탑재 디스플레이 장치가 제2 사람에 의해 이용될 때, 가상 카메라의 위치결정은 제1 사람의 눈과 비교하면 제2 사람의 눈의 위치결정에서의 차이를 고려하는 것과는 다르다.
제1 이미지는 사람의 제1 눈에 대해 디스플레이하기 위해 머리-탑재 디스플레이 장치로 송신된다(동작 740). 제2 이미지는 사람의 제2 눈에 대해 디스플레이하기 위해 머리-탑재 디스플레이 장치로 송신된다(동작 742). 이들 실례로 되는 예에 있어서, 동작 736 및 동작 738은 실질적으로 동시에 수행된다. 동작 740 및 동작 742는 또한 실질적으로 동시에 수행된다.
사람은 제1 이미지 및 제2 이미지를 전망한다(동작 744). 이어 사람은 자연인 양안시 처리를 이용하여 제1 이미지 및 제2 이미지로부터 3차원 이미지를 재구성한다(동작 746). 가상 환경과 상호작용을 계속하는가의 여부에 대해 결정이 이루어진다(동작 748). 사람이 가상 환경과 상호작용을 계속하지 않는 것으로 결정하면, 프로세스가 종료된다. 그렇지않으면, 프로세스는 동작 704로 되돌아간다.
동작 730을 다시 참조하면, 수신된 정보가 머리의 위치를 포함하지 않으면, 프로세스는 동작 736 및 동작 738으로 진행한다. 동작 726으로 돌아가서, 수신된 정보가 머리의 방향을 포함하지 않으면, 프로세스는 또한 동작 736 및 동작 738로 진행한다.
동작 716으로 돌아가서, 가상 환경 발생기가 사람에 의한 이용을 위해 구성되었다면, 프로세스는 동작 736 및 동작 738로 진행하고 머리-탑재 디스플레이 장치에 대해 가상 환경 발생기를 구성 또는 조정하는 동작을 수행하지 않는다. 동작 712를 다시 참조하면, 검색된 정보가 머리의 위치를 포함하지 않는다면, 프로세스는 동작 716으로 진행한다. 검색된 정보가 머리의 방향을 포함하지 않는다면, 프로세스는 또한 동작 708으로부터 동작 716으로 진행한다.
달리 도시된 실시예의 플로우차트 및 블록도는 구조, 기능 및 장치의 몇몇 가능한 구현의 동작과, 실례로 되는 실시예의 방법을 설명한다. 이와 관련하여, 플로우차트 또는 각 블록도의 각 블록은 모듈, 세그먼트, 기능, 및/또는 동작 또는 단계의 부분을 나타낼 수 있다. 예컨대, 하나 이상의 블록은 프로그램 코드로서, 하드웨어로, 또는 프로그램 코드 및 하드웨어의 조합으로 구현될 수 있다. 하드웨어로 구현될 때, 하드웨어는, 예컨대 플로우차트 또는 블록도의 하나 이상의 동작을 수행하도록 제조 또는 구성되는 집적회로의 형태를 취할 수 있다.
실례로 되는 실시예의 몇몇 대안적인 구현에 있어서, 블록에서 주지된 기능 또는 기능들은 도면에서 주지된 순서를 벗어나서 야기될 수 있다. 예컨대, 몇몇 경우에 있어서, 연속적으로 도시된 2개의 블록은 실질적으로 동시에 실행될 수 있고, 또는 블록들은 때때로, 포함된 기능성에 따라, 반대 순서로 수행될 수도 있다. 또한, 다른 블록들이 플로우차트 또는 블록도에서 설명된 블록에 부가하여 부가될 수 있다.
예컨대, 다른 동작은 머리-탑재 디스플레이 장치로부터 정보를 검색하는 것을 설명한다. 몇몇 실례로 되는 예에 있어서, 머리-탑재 디스플레이 장치는 정보를 검색하는 가상 환경 발생기 또는 질의 없이 자동적으로 정보를 송신할 수 있다. 더욱이, 몇몇 실례로 되는 예에 있어서, 동작 736 및 동작 738은 실질적으로 동시에 대신 연속적으로 수행될 수 있다. 또 다른 실례로 되는 예에 있어서, 동작 730 및 동작 732는 생략될 수도 있다. 눈의 위치에 관한 정보는 3차원 공간에서의 위치 및 방향의 양쪽을 포함할 수 있다.
도 8을 참조하면, 데이터 처리 시스템의 블록도의 설명이 실례로 되는 실시예에 따라 도시된다. 데이터 처리 시스템(800)은 도 1의 컴퓨터(102), 도 2의 컴퓨터 시스템(212), 도 5의 가상 환경 발생기(502)를 구현하는데 이용될 수 있다. 본 실례로 되는 예에 있어서, 데이터 처리 시스템(800)은 프로세서 유닛(804; processor unit) 간에서 통신을 제공하는 통신 프레임워크(802; communications framework), 메모리(806), 영구 저장기(808; persistent storage), 통신 유닛(810), 입력/출력(I/O) 유닛(812) 및 그래픽 처리 유닛(814; graphics processing unit)을 포함한다. 본 예에 있어서, 통신 프레임워크는 버스 시스템(bus system)의 형태를 취할 수 있다.
프로세서 유닛(804)은 메모리(806)로 로드될 수 있는 소프트웨어를 위한 명령을 실행하도록 기능한다. 프로세서 유닛(804)은, 특정 구현에 따라, 다수의 프로세서, 다중-프로세서 코어, 또는 몇몇 다른 형태의 프로세서일 수 있다.
메모리(806) 및 영구 저장기(808)는 저장 장치(816)의 예이다. 저장 장치는, 예컨대, 제한 없이, 데이터, 기능성 형태의 프로그램 코드, 및/또는 일시적 기반 및/또는 영구적 기반의 다른 적절한 정보와 같은 정보를 저장할 수 있는 몇몇 조각의 하드웨어이다. 저장 장치(816)는 또한 이들 실례로 되는 예에서 컴퓨터 판독가능 저장 장치로 언급될 수 있다. 이들 예에 있어서, 메모리(806)는, 예컨대 랜덤 억세스 메모리(random access memory) 또는 소정의 다른 적절한 휘발성 또는 비휘발성 저장 장치일 수 있다. 영구 저장기(808)는, 특정 구현에 따라, 다양한 형태를 취할 수 있다.
예컨대, 영구 저장기(808)는 하나 이상의 구성요소 또는 장치를 포함할 수 있다. 예컨대, 영구 저장기(808)는 하드 드라이브, 플래시 메모리, 재기록가능 광 디스크, 재기록가능 자기 테이프, 또는 상기의 몇몇 조합일 수 있다. 영구 저장기(808)에 의해 이용된 매체는 또한 제거가능할 수 있다. 예컨대, 제거가능 하드 드라이브는 영구 저장기(808)를 위해 이용될 수 있다.
이들 실례로 되는 예에 있어서, 통신 유닛(810)은 다른 데이터 처리 시스템 또는 장치와의 통신을 위해 제공된다. 이들 실례로 되는 예에 있어서, 통신 유닛(810)은 네트워크 인터페이스 카드(network interface card)이다.
입력/출력 유닛(812)은 데이터 처리 시스템(800)에 연결될 수 있는 다른 장치와의 데이터의 입력 및 출력을 가능하게 한다. 예컨대, 입력/출력 유닛(812)은 키보드, 마우스, 및/또는 몇몇 다른 적절한 입력 장치를 통해 사용자 입력을 위한 연결을 제공할 수 있다. 더욱이, 입력/출력 유닛(812)은 프린터로 출력을 송신할 수 있다. 그래픽 처리 유닛(814)은 사용자에게 디스플레이를 위한 그래픽 정보를 발생시키는 메카니즘을 제공한다.
오퍼레이팅 시스템, 어플리케이션, 및/또는 프로그램을 위한 명령은, 통신 프레임워크(802)를 통해 프로세서 유닛(804)과 통신에 있게 되는, 저장 장치(816)에 위치할 수 있다. 다른 실시예의 프로세스는, 메모리(806)와 같은, 메모리에 위치될 수 있는, 컴퓨터-구현 명령을 이용해서 프로세서 유닛(804)에 의해 수행될 수 있다.
이들 명령은 프로세서 유닛(804)의 프로세서에 의해 판독 및 실행될 수 있는 프로그램 코드, 컴퓨터 이용가능 프로그램 코드, 또는 컴퓨터 판독가능 프로그램 코드로서 언급된다. 다른 실시예에서 프로그램 코드는, 메모리(806) 또는 영구 저장기(808)와 같은, 다른 물리적 또는 컴퓨터 판독가능 저장 매체 상에 통합될 수 있다.
프로그램 코드(818)는 선택적으로 제거가능한 컴퓨터 판독가능 매체(820) 상에 기능적 형태로 위치되고, 프로세서 유닛(804)에 의한 실행을 위해 데이터 처리 시스템(800) 상으로 로드되거나 전달될 수 있다. 프로그램 코드(818) 및 컴퓨터 판독가능 매체(820)는 이들 실례로 되는 예에서 컴퓨터 프로그램 제품(822)을 형성한다. 하나의 예에 있어서, 컴퓨터 판독가능 매체(820)는 컴퓨터 판독가능 저장 매체(824) 또는 컴퓨터 판독가능 신호 매체(826)일 수 있다.
이들 실례로 되는 예에 있어서, 컴퓨터 판독가능 저장 매체(824)는 프로그램 코드(818)를 전파 또는 전송하는 매체라기 보다는 프로그램 코드(818)를 저장하는데 이용되는 물리적 또는 유형의 저장 장치이다.
대안적으로, 프로그램 코드(818)는 컴퓨터 판독가능 신호 매체(826)를 이용해서 데이터 처리 시스템(800)으로 전달될 수 있다. 컴퓨터 판독가능 신호 매체(826)는, 예컨대 프로그램 코드(818)를 포함하는 전파된 데이터 신호일 수 있다. 예컨대, 컴퓨터 판독가능 신호 매체(826)는 전자기 신호, 광학 신호, 및/또는 소정의 다른 적절한 형태의 신호일 수 있다. 이들 신호는, 무선 통신 링크, 광섬유 케이블, 동축 케이블, 유선과 같은, 통신 링크, 및/또는 소정의 다른 적절한 형태의 통신 링크를 거쳐 전송될 수 있다.
데이터 처리 시스템(800)을 위해 설명된 다른 구성요소는 다른 실시예가 구현될 수 있는 방법에 대해 구조적 제한을 제공하는 것을 의미하지는 않는다. 다른 실례로 되는 실시예는 데이터 처리 시스템(800)을 위해 설명된 것에 부가 및/또는 대신하는 구성요소를 포함하는 데이터 처리 시스템에서 구현될 수 있다. 도 8에 도시된 다른 구성요소는 도시된 실례로 되는 예로부터 변경될 수 있다. 다른 실시예가 프로그램 코드(818)를 실행할 수 있는 소정의 하드웨어 장치 또는 시스템을 이용해서 구현될 수 있다.
따라서, 실례로 되는 실시예는 가상 환경과 상호작용하는 사람에 대해 더욱 자연스러운 전망 경험을 제공한다. 하나의 실례로 되는 예에 있어서, 사람의 머리를 추적하는 것에 부가하여 부가적인 파라미터가 수행된다. 가상 환경 발생기는 사람의 눈에 관한 정보를 고려한다.
예컨대, 동공 간 거리 및 눈의 방향은 사람의 머리의 위치 및 방향에 부가하여 고려된다. 결과적으로, 다른 동공 간 거리에 의해 야기될 수 있는 사람 사이의 개인적 거리 또는 사람의 키 차이로부터의 시야 선 거리(sight line distances)가 사람에 대해 이미지를 발생시킬 때 고려될 수 있다. 결과적으로, 가상 환경의 커스터마이즈된 표현(customized representation)이 각 사람에 대해 발생된다.
하나 이상의 실례로 되는 예에 있어서, 눈의 위치는 가상 환경에서 전망 위치 및 방향을 식별하도록 추적된다. 즉, 관점이 사람의 각 눈에 대해 발생된다. 이들 관점은 사람을 위한 가상 환경에서 이미지를 발생시키는데 이용된다. 가상 카메라는 가상 환경에서 사람의 대응하는 관점을 재생성하도록 실례로 되는 예에서 이용된다.
결과적으로, 2차원 이미지가 3차원 이미지를 재구성하는 사람과 함께 사람에 의해 전망될 수 있다. 이 재구성은 사람이 각 2차원 이미지가 사람의 특정 눈을 위해 특별하게 발생되는 2차원 이미지로부터 3차원 이미지를 재구성하는 자연 양안시 처리(natural binocular vision processing)를 이용해서 수행될 수 있다.
따라서, 하나 이상의 실례로 되는 실시예에 따라, 사람은 가상 환경의 더욱 현실적 전망을 갖을 수 있다. 더욱이, 가상 환경과의 상호작용으로부터의 원하지 않는 영향이 또한 감소될 수 있다.
다른 실례로 되는 실시예의 설명이 도시 및 설명의 목적을 위해 제공되고, 개시된 형태로 실시예를 포괄시키거나 제한하는 의도는 아니다. 많은 변형 및 변경이 당업자에게는 명백할 것이다. 더욱이, 다른 실례로 되는 실시예는 다른 실례로 되는 실시예와 비교하여 다른 특징을 제공할 수 있다. 선택된 실시예 또는 실시예들은 실시예의 원리, 실제적인 적용을 가장 잘 설명하기 위해, 그리고 해당 기술분야의 다른 당업자가 고려된 특정 이용에 적합함에 따라 다양한 변형을 갖는 다양한 실시예에 대한 개시를 이해하도록 선택 및 설명된다.

Claims (15)

  1. 사람(206)의 머리(236)에서 제1 눈(234)을 위한 제1 눈 위치 정보(226)와 사람(206)의 머리(236)에서 제2 눈(240)을 위한 제2 눈 위치 정보(228)를 수신하도록 구성된 이미지 프로세서(216)를 구비하여 구성되고;
    제1 눈(234)을 위한 제1 눈 위치 정보(226)를 기초로 제1 눈(234)을 위한 가상 환경(204)의 제1 이미지(252)를 발생시키고;
    제2 눈(240)을 위한 제2 눈 위치 정보(228)를 기초로 제2 눈(240)을 위한 가상 환경(204)의 제2 이미지(254)를 발생시키며;
    디스플레이를 위한 제1 이미지(252) 및 제2 이미지(254)를 사람(206)에게 송신하는; 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    가상 환경(204)을 발생시키도록 구성된 콘트롤러(214)와;
    머리(236)의 머리 위치(264)를 추적하고 머리(236)의 머리 위치를 위한 머리 위치 정보(230)를 발생시키도록 구성된 머리 추적기(405);를 더 구비하여 구성되고,
    이미지 프로세서(216)가 사람(206)의 머리(236)의 머리 위치(264)를 위한 머리 위치 정보(230)를 수신하고, 제1 눈(234)을 위한 제1 눈 위치 정보(226) 및 머리 위치 정보(230)를 기초로 제1 눈(234)을 위한 가상 환경(204)의 제1 이미지(252)를 발생시키고 제2 눈(240)을 위한 제2 눈 위치 정보(228) 및 머리 위치 정보(230)를 기초로 제2 눈(240)을 위한 가상 환경(204)의 제2 이미지(254)를 발생시키도록 더 구성된 것을 특징으로 하는 장치.
  3. 제1항에 있어서,
    디스플레이 장치(220)가 제1 이미지(252) 및 제2 이미지(254)에 부가하여 사람(206)의 주위에 물리적 환경(202)의 전망을 제공하도록 구성되고;
    이미지 프로세서(216)가:
    가상 환경(204)에서 제1 눈(234)의 제1 관점(258)을 나타내는 가상 환경(204)에서 제1 가상 카메라(244)의 제1 위치(256)와 가상 환경(204)에서 제2 눈(240)의 제2 관점(262)을 나타내는 가상 환경(204)에서 제2 가상 카메라(246)의 제2 위치(260)를 식별하고;
    제1 가상 카메라(244)에 의해 보여진 가상 환경(204)의 제1 이미지(252)를 발생시키며;
    제2 가상 카메라(246)에 의해 보여진 가상 환경(204)의 제2 이미지(254)를 발생시키도록 구성된 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    제1 이미지(252) 및 제2 이미지(254)를 수신하고, 제1 눈(234)에 대해 제1 이미지(252)를 디스플레이하며, 제2 눈(240)에 대해 제2 이미지(254)를 디스플레이하도록 구성된 디스플레이 장치(220)를 더 구비하여 구성되고;
    디스플레이 장치(220)가:
    제1 눈(234)에 대해 제1 이미지(252)를 디스플레이하도록 구성된 제1 디스플레이(512)와;
    제2 눈(240)에 대해 제2 이미지(254)를 디스플레이하도록 구성된 제2 디스플레이(514)를 포함하는 것을 특징으로 하는 장치.
  5. 제1항에 있어서,
    제1 눈(234)의 제1 위치(256)를 추적하고, 제2 눈(240)의 제2 위치(260)을 추적하도록 구성된 눈 추적 시스템(402)을 더 구비하여 구성되고;
    제1 눈(234)의 제1 위치(256)를 이용해서 제1 눈 위치 정보(226)를 발생시키고;
    제2 눈(240)의 제2 위치(260)를 이용해서 제2 눈 위치 정보(228)를 발생시키는 것을 특징으로 하는 장치.
  6. 제2항에 있어서,
    가상 환경(204)에서의 아바타(248)와, 아바타(248)가 가상 환경(204)에서 사람(206)을 나타내고;
    가상 환경(204)에서의 아바타(248)의 머리(250)와 관련된 제1 가상 카메라(244), 및 제1 가상 카메라(244)가 제1 눈 위치 정보(226)를 이용해서 위치되고;
    가상 환경(204)에서의 아바타(248)의 머리(250)와 관련된 제2 가상 카메라(246), 제2 가상 카메라(246)가 제2 눈 위치 정보(228)를 이용해서 위치되고;를 더 구비하여 구성되고,
    제1 가상 카메라(244) 및 제2 가상 카메라(246)가 머리 위치 정보(230)를 이용해서 수직으로 위치되고;
    아바타(248)가 머리(250)의 위치에 대한 머리 위치 정보(230)를 이용해서 머리(236)의 위치와 매치되도록 가상 환경(204) 내에서 이동하는 것을 특징으로 하는 장치.
  7. 제1항에 있어서,
    제1 이미지(252)가 가상 환경(204)의 제1 관점(258)을 제공하고 제2 이미지(254)가 가상 환경(204)의 제2 관점(262)을 제공하며, 제1 관점(258)이 제2 관점(262)과 다른 것을 특징으로 하는 장치.
  8. 제1항에 있어서,
    제1 눈 위치 정보(226)가 제1 눈(234)의 위치 및 제1 눈(234)의 방향을 포함하고 제2 눈 위치 정보(228)가 제2 눈(240)의 위치 및 제2 눈(240)의 방향을 포함하는 것을 특징으로 하는 장치.
  9. 가상 환경(204)을 디스플레이하기 위한 방법으로, 방법이:
    사람(206)의 머리(236)에서 제1 눈(234)을 위한 제1 눈 위치 정보(226)와 사람(206)의 머리(236)에서 제2 눈(240)을 위한 제2 눈 위치 정보(228)를 수신하고;
    제1 눈 위치 정보(226)를 기초로 제1 눈(234)을 위한 가상 환경(204)의 제1 이미지(252)를 발생시키고;
    제2 눈(240)을 위한 제2 눈 위치 정보(228)를 기초로 제2 눈(240)을 위한 가상 환경(204)의 제2 이미지(254)를 발생시키고;
    디스플레이를 위한 제1 이미지(252) 및 제2 이미지(254)를 사람(206)에게 송신하는 것을 갖추어 이루어진 것을 특징으로 하는 가상 환경을 디스플레이하기 위한 방법.
  10. 제9항에 있어서,
    사람(206)의 머리(236)의 머리 위치(264)를 위한 머리 위치 정보(230)를 수신하는 것을 더 갖추어 이루어지고,
    제1 이미지(252)를 발생시키는 것이:
    제1 눈(234)을 위한 제1 눈 위치 정보(226)와 머리 위치 정보(230)를 기초로 제1 눈(234)을 위한 가상 환경(204)의 제1 이미지(252)를 발생시키는 것을 갖추어 이루어지고,
    제2 이미지(254)를 발생시키는 것이:
    제2 눈(240)을 위한 제2 눈 위치 정보(228)와 머리 위치 정보(230)를 기초로 제2 눈(240)을 위한 가상 환경(204)의 제2 이미지를 발생시키는 것을 갖추어 이루어진 것을 특징으로 하는 가상 환경을 디스플레이하기 위한 방법.
  11. 제9항에 있어서,
    가상 환경(204)에서 제1 눈(234)의 제1 관점(258)을 나타내는 가상 환경(204)에서 제1 가상 카메라(244)의 제1 위치(256)와 가상 환경(204)에서 제2 눈(240)의 제2 관점(262)을 나타내는 가상 환경(204)에서 제2 가상 카메라(246)의 제2 위치(260)를 식별하는 것을 더 갖추어 이루어지고;
    제1 이미지(252)를 발생시키는 것이:
    제1 가상 카메라(244)에 의해 보여진 가상 환경(204)의 제1 이미지(252)를 발생시키는 것을 갖추어 이루어지고;
    제2 이미지(254)를 발생시키는 것이:
    제2 가상 카메라(246)에 의해 보여진 가상 환경(204)의 제2 이미지(254)를 발생시키는 것을 갖추어 이루어진 것을 특징으로 하는 가상 환경을 디스플레이하기 위한 방법.
  12. 제9항에 있어서,
    디스플레이 장치(220)를 이용해서 제1 눈(234)에 대해 제1 이미지(252)를 디스플레이하고;
    디스플레이 장치(220)를 이용해서 제2 눈(240)에 대해 제2 이미지(254)를 디스플레이하는 것을 더 갖추어 이루어진 것을 특징으로 하는 가상 환경을 디스플레이하기 위한 방법.
  13. 제12항에 있어서,
    디스플레이 장치(220)가 머리-탑재 디스플레이 시스템(302), 셔터 디스플레이 시스템(304), 편광 디스플레이 시스템(306), 망막 디스플레이 시스템(308) 및 콘택트 렌즈 디스플레이 시스템(310) 중 하나로부터 선택되는 것을 특징으로 하는 가상 환경을 디스플레이하기 위한 방법.
  14. 제9항에 있어서,
    눈 추적 시스템(402)을 이용해서 제1 눈(234)의 제1 위치(256) 및 제2 눈(240)의 제2 위치(260)를 추적하고;
    제1 눈(234)의 제1 위치(256)를 이용해서 제1 눈 위치 정보(226)와 제2 눈(240)의 제2 위치(260)를 이용해서 제2 눈 위치 정보(228)를 발생시키는 것을 더 갖추어 이루어진 것을 특징으로 하는 가상 환경을 디스플레이하기 위한 방법.
  15. 제12항에 있어서,
    디스플레이 장치(220)가 제1 이미지(252) 및 제2 이미지(254)에 부가하여 사람(206)의 주위에 물리적 환경(202)의 전망을 제공하도록 구성된 것을 특징으로 하는 가상 환경을 디스플레이하기 위한 방법.
KR1020130114282A 2012-10-26 2013-09-26 가상 현실 디스플레이 시스템 KR102118749B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/661,971 2012-10-26
US13/661,971 US9058053B2 (en) 2012-10-26 2012-10-26 Virtual reality display system

Publications (2)

Publication Number Publication Date
KR20140053765A true KR20140053765A (ko) 2014-05-08
KR102118749B1 KR102118749B1 (ko) 2020-06-04

Family

ID=49552159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130114282A KR102118749B1 (ko) 2012-10-26 2013-09-26 가상 현실 디스플레이 시스템

Country Status (9)

Country Link
US (1) US9058053B2 (ko)
EP (1) EP2725457B1 (ko)
JP (1) JP6226697B2 (ko)
KR (1) KR102118749B1 (ko)
CN (1) CN103793049B (ko)
AU (1) AU2013224653B2 (ko)
BR (1) BR102013027355B1 (ko)
CA (1) CA2825563C (ko)
RU (1) RU2664397C2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030266A1 (ko) * 2015-08-18 2017-02-23 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
KR20150141461A (ko) * 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
CN104463956B (zh) * 2014-11-21 2017-05-10 中国科学院国家天文台 一种月表虚拟场景构建方法及装置
US9626783B2 (en) * 2015-02-02 2017-04-18 Kdh-Design Service Inc. Helmet-used device capable of automatically adjusting positions of displayed information and helmet thereof
US10176638B2 (en) * 2015-05-18 2019-01-08 Dreamworks Animation L.L.C. Method and system for calibrating a virtual reality system
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
US10095306B2 (en) * 2015-06-15 2018-10-09 Harman International Industries, Incorporated Passive magnetic head tracker
JP2017027477A (ja) 2015-07-24 2017-02-02 株式会社オプティム ３次元出力サーバ、３次元出力方法及び３次元出力サーバ用プログラム。
US10353219B1 (en) 2015-08-20 2019-07-16 Verily Life Sciences Llc Device, method and system to provide accommodation during a stereoscopic display
EP3148188A1 (en) * 2015-09-24 2017-03-29 Airbus Operations GmbH Virtual windows for airborne verhicles
EP3148186A1 (en) 2015-09-24 2017-03-29 Airbus Operations GmbH Virtual windows for airborne vehicles
WO2017062268A1 (en) * 2015-10-04 2017-04-13 Thika Holdings Llc Eye gaze responsive virtual reality headset
CN106681674A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 一种虚拟现实显示器的显示控制方法及系统
US10013055B2 (en) * 2015-11-06 2018-07-03 Oculus Vr, Llc Eye tracking using optical flow
EP3185535A1 (en) 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
US10786319B2 (en) * 2015-12-29 2020-09-29 Koninklijke Philips N.V. System, control unit and method for control of a surgical robot
US10430988B2 (en) 2016-06-03 2019-10-01 Facebook Technologies, Llc Facial animation using facial sensors within a head-mounted display
JP6560463B1 (ja) * 2016-06-03 2019-08-14 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション
US9959678B2 (en) 2016-06-03 2018-05-01 Oculus Vr, Llc Face and eye tracking using facial sensors within a head-mounted display
CN109952550A (zh) * 2016-06-16 2019-06-28 弗伊德有限责任公司 组合的虚拟和物理环境中的重定向移动
US10773179B2 (en) 2016-09-08 2020-09-15 Blocks Rock Llc Method of and system for facilitating structured block play
US10649233B2 (en) 2016-11-28 2020-05-12 Tectus Corporation Unobtrusive eye mounted display
US11348475B2 (en) 2016-12-09 2022-05-31 The Boeing Company System and method for interactive cognitive task assistance
US10237537B2 (en) 2017-01-17 2019-03-19 Alexander Sextus Limited System and method for creating an interactive virtual reality (VR) movie having live action elements
US10438394B2 (en) 2017-03-02 2019-10-08 Colopl, Inc. Information processing method, virtual space delivering system and apparatus therefor
JP6212666B1 (ja) * 2017-03-02 2017-10-11 株式会社コロプラ 情報処理方法、プログラム、仮想空間配信システム及び装置
CN106959516A (zh) * 2017-05-02 2017-07-18 广州蜃境信息科技有限公司 一种基于双屏显示增强现实技术眼镜
JP6738308B2 (ja) * 2017-08-01 2020-08-12 株式会社コロプラ 情報処理方法、プログラム、仮想空間配信システム及び装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
US10585277B2 (en) * 2017-08-31 2020-03-10 Tobii Ab Systems and methods for tracking a gaze of a user across a multi-display arrangement
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
US10673414B2 (en) 2018-02-05 2020-06-02 Tectus Corporation Adaptive tuning of a contact lens
US10580349B2 (en) 2018-02-09 2020-03-03 Tectus Corporation Backplane for eye-mounted display
US10505394B2 (en) 2018-04-21 2019-12-10 Tectus Corporation Power generation necklaces that mitigate energy absorption in the human body
US10838239B2 (en) 2018-04-30 2020-11-17 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10895762B2 (en) 2018-04-30 2021-01-19 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10790700B2 (en) 2018-05-18 2020-09-29 Tectus Corporation Power generation necklaces with field shaping systems
US11137622B2 (en) 2018-07-15 2021-10-05 Tectus Corporation Eye-mounted displays including embedded conductive coils
US10529107B1 (en) 2018-09-11 2020-01-07 Tectus Corporation Projector alignment in a contact lens
US10838232B2 (en) 2018-11-26 2020-11-17 Tectus Corporation Eye-mounted displays including embedded solenoids
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
US10644543B1 (en) 2018-12-20 2020-05-05 Tectus Corporation Eye-mounted display system including a head wearable object
US10499044B1 (en) 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
US10944290B2 (en) 2019-08-02 2021-03-09 Tectus Corporation Headgear providing inductive coupling to a contact lens
CN110515461A (zh) * 2019-08-23 2019-11-29 Oppo广东移动通信有限公司 交互方法、头戴设备、交互系统和存储介质
CN113760085A (zh) * 2020-06-03 2021-12-07 李连波 虚拟环境构建和应用方法、vr设备及虚拟现实交互系统
CA3183360A1 (en) * 2020-06-22 2021-12-30 Nikolaus TROJE System and method for determining directionality of imagery using head tracking
CN112505917A (zh) * 2020-12-09 2021-03-16 Oppo广东移动通信有限公司 一种图像显示装置和近眼显示设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11195131A (ja) * 1997-12-26 1999-07-21 Canon Inc 仮想現実方法及び装置並びに記憶媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425402B2 (ja) * 2000-01-31 2003-07-14 独立行政法人通信総合研究所 立体画像を表示する装置および方法
US7091929B2 (en) 2001-03-16 2006-08-15 Hewlett-Packard Development Company, L.P. Method and apparatus for displaying images
US6529331B2 (en) * 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
GB2375188B (en) * 2001-04-30 2004-07-21 Samsung Electronics Co Ltd Wearable Display Apparatus with Waveguide Having Diagonally Cut End Face
US7084838B2 (en) * 2001-08-17 2006-08-01 Geo-Rae, Co., Ltd. Method and system for controlling the motion of stereoscopic cameras using a three-dimensional mouse
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
US8130260B2 (en) * 2005-11-09 2012-03-06 Johns Hopkins University System and method for 3-dimensional display of image data
RU2326419C1 (ru) * 2006-09-05 2008-06-10 Олег Леонидович Головков Виртуальный шлем и устройство для его реализации
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20080106489A1 (en) * 2006-11-02 2008-05-08 Brown Lawrence G Systems and methods for a head-mounted display
US7948450B2 (en) * 2006-11-09 2011-05-24 D3 Led, Llc Apparatus and method for allowing display modules to communicate information about themselves to other display modules in the same display panel
JP4793451B2 (ja) * 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11195131A (ja) * 1997-12-26 1999-07-21 Canon Inc 仮想現実方法及び装置並びに記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030266A1 (ko) * 2015-08-18 2017-02-23 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법

Also Published As

Publication number Publication date
JP6226697B2 (ja) 2017-11-08
AU2013224653B2 (en) 2019-05-02
CN103793049A (zh) 2014-05-14
RU2664397C2 (ru) 2018-08-17
RU2013147677A (ru) 2015-04-27
US9058053B2 (en) 2015-06-16
BR102013027355B1 (pt) 2022-03-22
CN103793049B (zh) 2018-11-13
EP2725457A2 (en) 2014-04-30
AU2013224653A1 (en) 2014-05-15
CA2825563A1 (en) 2014-04-26
BR102013027355A2 (pt) 2014-10-21
EP2725457B1 (en) 2019-07-03
EP2725457A3 (en) 2016-08-17
KR102118749B1 (ko) 2020-06-04
US20140118357A1 (en) 2014-05-01
CA2825563C (en) 2017-03-21
JP2014086091A (ja) 2014-05-12

Similar Documents

Publication Publication Date Title
KR102118749B1 (ko) 가상 현실 디스플레이 시스템
JP7486276B2 (ja) 眼追跡較正技術
KR100721713B1 (ko) 몰입형 활선작업 교육시스템 및 그 방법
CN109196447A (zh) 使用姿势和多dof控制器与3d虚拟对象的交互
TW202004421A (zh) 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染
CN109313509A (zh) 视野周围的视觉光环
CN114766038A (zh) 共享空间中的个体视图
CN112148118A (zh) 生成物理环境中的人的姿势信息
CN103744518A (zh) 立体交互方法及其显示装置和系统
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
Billinghurst Augmented reality: an overview
JP2018029969A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
KR102670987B1 (ko) 눈 추적 교정 기술들
Mennes et al. Design of fault-tolerant genetic algorithm for application placement in heterogeneous cloud environments Master Thesis
Bergmans An optical tracking system for the integration of input devices into head-mounted virtual reality environments using commodity hardware

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant