KR20160077159A - 헤드 장착 디스플레이로 확장된 디스플레이를 제공하는 디바이스, 방법 및 시스템 - Google Patents

헤드 장착 디스플레이로 확장된 디스플레이를 제공하는 디바이스, 방법 및 시스템 Download PDF

Info

Publication number
KR20160077159A
KR20160077159A KR1020167014007A KR20167014007A KR20160077159A KR 20160077159 A KR20160077159 A KR 20160077159A KR 1020167014007 A KR1020167014007 A KR 1020167014007A KR 20167014007 A KR20167014007 A KR 20167014007A KR 20160077159 A KR20160077159 A KR 20160077159A
Authority
KR
South Korea
Prior art keywords
display
physical
head mounted
virtual
physical display
Prior art date
Application number
KR1020167014007A
Other languages
English (en)
Other versions
KR101877846B1 (ko
Inventor
예어 지우뉴어
토머 라이더
아비브 론
예브게니 키베이샤
밍하오 지앙
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160077159A publication Critical patent/KR20160077159A/ko
Application granted granted Critical
Publication of KR101877846B1 publication Critical patent/KR101877846B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

컴퓨터 시스템의 물리적 디스플레이와 함께 컴퓨터로 생성된 정보를 디스플레이하기 위한 헤드 장착 디스플레이가 제공된다. 헤드 장착 디스플레이는, 생성 로직, 투명 디스플레이, 및 프리젠테이션 유닛을 포함한다. 생성 로직은, 적어도 하나의 가상 디스플레이를 생성하기 위해 이용된다. 프리젠테이션 유닛은, 적어도 하나의 가상 디스플레이를 투명 디스플레이 상에 제시하기 위해 이용된다. 투명 디스플레이는, 헤드 장착 디스플레이의 사용자가 실세계 장면에서 적어도 하나의 가상 디스플레이 및 물리적 디스플레이를 시청할 수 있게 하도록 구성된다. 적어도 하나의 가상 디스플레이는, 실세계 장면에서 추가적인 오브젝트로서 투명 디스플레이 상에 제시되고, 적어도 하나의 가상 디스플레이는, 사용자의 시각적 관점으로부터 확장된 데스크탑에서 컴퓨터로 생성된 정보를 제시하기 위해 물리적 디스플레이와 함께 이용된다.

Description

헤드 장착 디스플레이로 확장된 디스플레이를 제공하는 디바이스, 방법 및 시스템{DEVICE, METHOD, AND SYSTEM OF PROVIDING EXTENDED DISPLAY WITH HEAD MOUNTED DISPLAY}
본원에 설명된 실시예는 전반적으로 멀티-디스플레이 시스템으로 정보를 디스플레이하는 것과 관련되고, 더 상세하게는, 시스템의 물리적 디스플레이와 함께 이용될 헤드 장착 디스플레이로 이루어진 멀티-디스플레이 시스템으로 정보를 디스플레이하는 것과 관련된다.
컴퓨터로 생성된 정보는, 데스크탑 또는 휴대용 컴퓨터 시스템에 의해 생성되거나, 프로세싱되거나, 생성 및 프로세싱되는 정보를 지칭한다. 물리적 디스플레이는, 음극선관(CRT), 액정 디스플레이(LCD), 발광 다이오드, 가스 플라즈마 또는 다른 이미지 투사 기술을 이용하여, 텍스트, 비디오 및 그래픽 이미지와 같은 컴퓨터로 생성된 정보를 컴퓨터 시스템 사용자에게 제시하는 유형의(tangible) 컴퓨터 출력 표면 및 투사 메커니즘이다.
멀티-디스플레이 시스템은, 컴퓨터로 생성된 정보를 사용자에게 제시하기 위해 적어도 2개의 물리적 디스플레이를 이용하는 시스템이다. 특히, 멀티-디스플레이 시스템은, 다수의 물리적 디스플레이가 단일의 물리적 디스플레이를 시뮬레이션하기 위해 함께 동작하게 하는, 소위 확장된 데스크탑이다. 멀티-디스플레이 시스템은, 증가된 디스플레이 면적을 제공함으로써 종래의 단일-디스플레이 시스템보다 더 많은 컴퓨터로 생성된 정보를 사용자에게 제시할 수 있다. 멀티-디스플레이 시스템의 이점은, 클러터(clutter)를 감소시키고, 멀티-태스킹을 개선시키는 증가된 디스플레이 면적을 제공함으로써, 사용자가 자신의 작업 효율을 증가시키도록 허용하는 것을 포함한다.
통상적으로, 멀티-디스플레이 시스템의 이용은 고정된 위치의 작은 서브세트로 제한되는데, 그 이유는, 둘 이상의 물리적 디스플레이가 용이하게 운반 또는 운송될 수 없기 때문이다. 사용자에게 휴대성을 제공하지만, 휴대성이 차선으로 유지되는, 둘 이상의 물리적 디스플레이를 갖는 일부 멀티-디스플레이 시스템이 존재한다. 또한, 일부 멀티-디스플레이 시스템은, 사용자에 의한 대량의 자원의 소모를 요구한다. 예를 들어, (예를 들어, 수십 내지 수천개의 15-인치 LCD에 이르는) 다수의 물리적 디스플레이를 갖는 멀티-디스플레이 시스템의 이용은 상당한 양의 공간 및 에너지를 요구한다.
데스크탑 컴퓨터 시스템의 사용자 뿐만 아니라 랩탑, 노트북, 핸드-헬드 디바이스 및 모바일 폰과 같은 휴대용 컴퓨터 시스템 상에서 작업하는 사용자는, 하나보다 많은 디스플레이의 배치를 허용하는 몇몇 옵션을 갖는다. 그럼에도 불구하고, 앞서 설명된 차선의 휴대성 뿐만 아니라 멀티-디스플레이 시스템을 이용하는 것과 연관된 상당한 비용이 계속 존재한다.
본 발명은, 첨부된 도면의 도시에서 제한이 아닌 예시의 방식으로 예시되고, 도면에서 유사한 참조 부호는 유사한 엘리먼트를 표시한다.
도 1은, 적어도 하나의 물리적 디스플레이, 및 헤드 장착 디스플레이에 의해 제공되는 적어도 하나의 가상 디스플레이를 갖는 예시적인 멀티-디스플레이 시스템의 예시이다.
도 2는, 적어도 하나의 물리적 디스플레이, 및 헤드 장착 디스플레이에 의해 제공되는 적어도 하나의 가상 디스플레이를 이용하여, 사용자에게 컴퓨터로 생성된 정보의 제시를 구현하기 위한 예시적인 멀티-디스플레이 시스템을 단순화된 개략도로 예시한다.
도 3a는, 적어도 하나의 물리적 디스플레이, 및 헤드 장착 디스플레이에 의해 제공되는 적어도 하나의 가상 디스플레이를 포함하는 멀티-디스플레이 시스템을 이용하여 사용자에게 컴퓨터로 생성된 정보를 제시하는 예시적인 방법을 예시하는 흐름도이다.
도 3b는, 적어도 하나의 물리적 디스플레이, 및 헤드 장착 디스플레이에 의해 제공되는 적어도 하나의 가상 디스플레이를 포함하는 멀티-디스플레이 시스템을 이용하여 사용자에게 컴퓨터로 생성된 정보를 제시하는 방법의 추가적인 특징을 예시하는 흐름도이다.
도 4는, 적어도 하나의 물리적 디스플레이, 및 헤드 장착 디스플레이에 의해 제공되는 적어도 하나의 가상 디스플레이를 갖는 예시적인 멀티-디스플레이 시스템의 예시이다.
도 5는, 적어도 하나의 물리적 디스플레이, 및 헤드 장착 디스플레이에 의해 제공되는 적어도 하나의 가상 디스플레이를 포함하는 멀티-디스플레이 시스템을 이용하여 사용자에게 컴퓨터로 생성된 정보를 제시하는 방법을 구현하기 위한 예시적인 프로세싱 시스템을 블록도 형태로 예시한다.
본원에 설명되는 실시예는, 물리적 디스플레이, 및 헤드 장착 디스플레이에 의해 제공되는 적어도 하나의 가상 디스플레이를 포함하는 멀티-디스플레이 시스템을 이용하여 사용자에게 컴퓨터로 생성된 정보를 제시한다.
예시적인 실시예의 경우, 컴퓨터 시스템의 물리적 디스플레이와 함께, 컴퓨터로 생성된 정보를 디스플레이하기 위한 헤드 장착 디스플레이가 제공된다. 헤드 장착 디스플레이는, 생성 로직, 투명(see-through) 디스플레이, 및 프리젠테이션 유닛을 포함한다. 생성 로직은 적어도 하나의 가상 디스플레이를 생성하기 위해 이용된다. 프리젠테이션 유닛은, 투명 디스플레이 상에 적어도 하나의 가상 디스플레이를 제시하기 위해 이용된다. 투명 디스플레이는, 헤드 장착 디스플레이의 사용자가, 실세계 장면에서 적어도 하나의 가상 디스플레이 및 물리적 디스플레이를 시청할 수 있게 하도록 구성된다. 적어도 하나의 가상 디스플레이는 실세계 장면의 추가적인 오브젝트로서 투명 디스플레이 상에 제시되고, 적어도 하나의 가상 디스플레이는 물리적 디스플레이와 함께 이용되어 사용자의 시각적 관점으로부터 확장된 데스크탑에 컴퓨터로 생성된 정보를 제시한다.
물리적 디스플레이, 및 헤드 장착 디스플레이에 의해 제공되는 적어도 하나의 가상 디스플레이를 포함하는 멀티-디스플레이 시스템의 하나 이상의 실시예의 이점은, 둘 이상의 물리적 디스플레이를 이용하는 종래의 멀티-디스플레이 시스템과 관련된 감소된 휴대성 및 증가된 자원 소모에 대한 해결책이다.
본원에서 사용되는 용어 "컴퓨터로 생성된 정보"는, 컴퓨터 시스템에 의해 생성 및/또는 프로세싱되는 정보를 지칭한다.
본원에서 사용되는 용어 "데스크탑"은, 이를 통해 사용자가 애플리케이션, 세팅 및/또는 데이터 등을 론칭, 상호작용 및 관리할 수 있는 휴먼 인터페이스 환경을 지칭한다. 데스크탑은, 컴퓨터 시스템의 사용자에게 컴퓨터로 생성된 정보를 제시하기 위해 이용된다. 본원에서 사용되는 용어 "확장된 데스크탑"은, 하나보다 많은 물리적 및/또는 가상 디스플레이에 걸쳐 있는 단일 데스크탑을 지칭한다.
본원에서 사용되는 용어 "물리적 디스플레이"는, 음극선관(CRT), 액정 디스플레이(LCD), 발광 다이오드(LED), 유기 발광 다이오드(OLED), LCOS(Liquid crystal on silicon), 가스 플라즈마, 망막 투사 또는 다른 이미지 투사 기술을 이용하여, 데스크탑 상에서 텍스트, 비디오 및 그래픽 이미지와 같은 컴퓨터로 생성된 정보를, 컴퓨터 시스템 사용자에게 제시하는 컴퓨터 출력 및 투사 메커니즘을 지칭한다.
본원에서 사용되는 용어 "가상 디스플레이"는, 물리적 디스플레이의 외형 및 동작을 모방하는, 컴퓨터 그래픽으로 이루어진 가상 오브젝트를 지칭한다. 가상 디스플레이는, 컴퓨터 시스템 및/또는 헤드 장착 디스플레이의 소프트웨어 및/또는 하드웨어를 이용하여 최종 사용자가 상호작용할 수 있는 데스크탑으로 동작한다.
본원에서 사용되는 용어 "투명 디스플레이"는, 사용자가 여전히 그 디스플레이를 통해 시청하도록 허용하면서, 사용자가 디스플레이 상에 제시되는 것을 시청하도록 허용하는 물리적 디스플레이에 대한 참조를 포함한다. 투명 디스플레이는, CRT, LCD, LED, OLED, LCOS, 가스 플라즈마, 망막 투사 기술 또는 다른 이미지 투사 기술과 같은 이미지 투사 기술을 활용하는 투명 또는 반투명 디스플레이일 수 있다. 본원에서 사용되는 용어 "투명 디스플레이"는 또한, 인간의 눈에 직접 또는 그 앞에 배치되고, 광선을 집중, 수정, 투사 또는 분산시키기 위해 이용되는 렌즈, 유리 조각, 플라스틱 또는 다른 투명 물질을 지칭할 수 있다. 본원에서 사용되는 용어 "투명 디스플레이"는 또한, 이미지 투사 기술을 활용하는 (앞서 설명된) 투명 또는 반투명 디스플레이의 결합 및/또는 변화를 포함하는, 인간의 눈에 직접 또는 그 앞에 배치되고, 렌즈, 유리 조각, 플라스틱 또는 다른 투명 물질을 지칭할 수 있다.
용어 "헤드 장착 디스플레이"는, (이미지 및/또는 비디오와 같은) 컴퓨터로 생성된 정보를 사용자에게 제시하는 능력 뿐만 아니라 사용자가 이를 통해 시청하도록 허용하는 능력을 갖는 웨어러블 디바이스를 지칭한다. 헤드 장착 디스플레이는, 실세계의 장면을 시청하는 능력을 사용자에게 또한 승인하면서 사용자에게 가상의 오브젝트를 제시하기 위해 이용된다. 헤드 장착 디스플레이는 적어도 3개의 상이한 방식으로 사용자에게 컴퓨터로 생성된 정보를 제시한다. 일 타입의 헤드 장착 디스플레이는, 사용자의 눈 앞에 배치되는 하나 또는 2개의 반투명 렌즈 상에 컴퓨터로 생성된 정보를 투사하는 투사기를 포함한다. 제 2 타입의 헤드 장착 디스플레이는, 사용자의 눈 앞에 배치되고, 사용자에게 컴퓨터로 생성된 정보를 제시하기 위한 반투명 물리적 디스플레이를 렌즈에 포함하는 하나 또는 2개의 렌즈를 포함한다. 이러한 타입의 헤드 장착 디스플레이에 포함되는 반투명 물리적 디스플레이는 CRT, LCD, LED, OLED, LCOS, 가스 플라즈마 또는 다른 이미지 투사 기술을 포함한다. 다른 타입의 헤드 장착 디스플레이는, 광학 시스템 구성에 따라, 직접 망막 투사 기술, 확대기 및 광학 중계 렌즈 중 적어도 하나를 이용하여 컴퓨터로 생성된 정보를 제시하는 헤드 장착 디스플레이를 포함한다.
헤드 장착 디스플레이는, 사용자의 머리에 또는 사용자에 의해 착용되는 헬멧의 일부로 착용될 수 있다. 하나의 눈 앞에 디스플레이 옵틱을 갖는 헤드 장착 디스플레이는 단안 헤드 장착 디스플레이로 공지되고, 각각의 눈 앞에 디스플레이 옵틱을 갖는 헤드 장착 디스플레이는 쌍안 헤드 장착 디스플레이로 공지된다. 헤드 장착 디스플레이는, 가상의 오브젝트가 실세계 장면 상에 중첩되도록 허용한다. 이것은 때때로, 증강 현실 또는 혼합 현실로 지칭된다. 실세계의 사용자의 시청을 가상의 오브젝트와 실시간으로 결합하는 것은, 사용자가 가상의 오브젝트 및 실세계를 동시에 시청하도록 허용할 수 있는 반투명 물리적 디스플레이를 통해 가상의 오브젝트를 제시함으로써 행해질 수 있다. 이러한 방법은 종종 광학 투명(Optical See-Through)으로 지칭되고, 이러한 방법을 이용하는 헤드 장착 디스플레이의 타입은 광학 헤드 장착 디스플레이로 지칭된다. 실세계의 사용자의 시청을 가상의 오브젝트와 실시간으로 결합하는 것은 또한, 카메라로부터 비디오를 수용하고 이를 가상의 오브젝트와 전자적으로 혼합함으로써 전자적으로 행해질 수 있다. 이러한 방법은 종종 비디오 투명(Video See-Through)으로 지칭되고, 이러한 방법을 이용하는 헤드 장착 디스플레이의 타입은 비디오 헤드 장착 디스플레이로 지칭된다.
도 1은, 물리적 디스플레이(103) 및 적어도 하나의 가상 디스플레이(107A-B)를 갖는 예시적인 멀티-디스플레이 시스템(100)을 예시한다. 헤드 장착 디스플레이(105)는 사용자에 의해 착용되고, 컴퓨터 시스템(101)과 함께 이용된다. 더 구체적으로, 물리적 디스플레이(103)는, 컴퓨터 시스템(101)에 접속되고, 헤드 장착 디스플레이(105)와 함께 사용자에게 컴퓨터로 생성된 정보를 제시하기 위해 이용된다. 헤드 장착 디스플레이(105)는, 확장된 데스크탑에서 사용자에게 컴퓨터로 생성된 정보를 제시하기 위해 물리적 디스플레이(103)와 함께 동작하는 적어도 하나의 가상 디스플레이(107A-B)를 제공한다. 상세하게는, 헤드 장착 디스플레이(105)는 로직 하우징(109), 투명 디스플레이(111) 및 프레임(113)을 포함한다. 로직 하우징(109) 및 투명 디스플레이(111)는 적어도 하나의 가상 디스플레이(107A-B)를 생성 및 제시하기 위해 각각 이용된다. 프레임(113)은 투명 디스플레이(111) 및 로직 하우징(109)을 유지하기 위해 이용된다. 프레임(113)은, 투명 디스플레이(111) 및 로직 하우징(109)을 유지하기에 충분할만큼 견고한 임의의 플라스틱, 금속 또는 다른 재료로 제조될 수 있다. 일부 실시예들에서, 프레임(113)은 또한, 투명 디스플레이(111)와 로직 하우징(109) 사이에 전자 및/또는 자기 접속을 제공하는 재료로 제조된다.
도 1의 로직 하우징(109)은, 헤드 장착 디스플레이(105)의 사용자에게 컴퓨터로 생성된 정보를 제시하기 위해 물리적 디스플레이(103)와 함께 이용하기 위한 적어도 하나의 가상 디스플레이(107A-B)를 생성, 구성 및 제시하는데 이용되는 몇몇 로직 유닛들을 하우징한다. 로직 하우징(109)은 생성 로직(미도시) 및 프리젠테이션 유닛(미도시)을 포함한다.
로직 하우징(109)에 의해 하우징되는 생성 로직은, 그래픽스 렌더링을 수행 및 실행하는 그래픽스 프로세싱 유닛(GPU) 또는 다른 회로일 수 있다. 제한이 아닌 예시의 방식으로, 로직 하우징(109) 내의 생성 로직은, 적어도 하나의 가상 디스플레이(107A-B)를 렌더링 및 생성하기 위해, 물리적 디스플레이(103)의 (아래에서 설명되는) 위치 정보, (아래에서 설명되는) 스크린 면적, 및 (아래에서 설명되는) 표면 위치를 이용하는 GPU이다. 생성된 가상 디스플레이(107A-B)는 물리적 디스플레이(103)의 컴퓨터-그래픽스 표현이다. 일 실시예의 경우, 가상 디스플레이(107A-B)는, 로직 하우징(109) 내에서 또한 발견될 수 있는 (아래에서 설명되는) 계산 로직에 의해 결정되는 물리적 디스플레이의 위치 정보, 스크린 면적 및 표면 위치에 기초하여, 로직 하우징(109) 내의 생성 로직에 의해 생성된다.
도 1의 투명 디스플레이(111)는, 로직 하우징(109) 내의 생성 로직에 의해 생성된 적어도 하나의 가상 디스플레이(107A-B)를 헤드 장착 디스플레이(105)의 사용자에게 제시하기 위해, 프리젠테이션 유닛과 함께, 헤드 장착 디스플레이(105)에 의해 이용된다. 투명 디스플레이(111)는, 사용자에게 적어도 하나의 가상 디스플레이(107A-B)를 제시하는 한편, 또한 사용자가 물리적 디스플레이(103)를 시청하도록 허용한다. 가상 디스플레이(107A-B) 중 적어도 하나는, 확장된 데스크탑에서 컴퓨터 시스템(101)으로부터의 컴퓨터로 생성된 정보를 제시하기 위해 물리적 디스플레이(103)와 협력하여 동작한다. 이러한 확장된 데스크탑은, 가상 디스플레이(107A-B) 및 물리적 디스플레이(103)에 걸쳐 있는 단일 데스크탑이다.
앞서 논의된 바와 같이, 도 1의 로직 하우징(109)은 또한 프리젠테이션 유닛을 포함한다. 로직 하우징(109)의 프리젠테이션 유닛은 하드웨어, 또는 소프트웨어 또는 이들의 조합일 수 있다. 로직 하우징(109)의 프리젠테이션 유닛은, 로직 하우징(109)에 상주하는 다른 로직 유닛으로부터의 모든 데이터를 합치고, 합쳐진 데이터로부터 컴퓨터로 생성된 정보 및 가상 디스플레이(107A-B) 중 적어도 하나의 최종적 시각적 표현을 생성하기 위해 이용된다. 프리젠테이션 유닛에 의해 생성되는 컴퓨터로 생성된 정보 및 가상 디스플레이(107A-B)의 최종적 시각적 표현은 투명 디스플레이(111) 상에서 헤드 장착 디스플레이(105)의 사용자에게 제시된다.
제한이 아닌 예시의 방식으로, 로직 하우징(109)의 프리젠테이션 유닛은, 인간의 눈에 직접 또는 그 앞에 배치되고, 광선을 집중, 수정, 투사 또는 분산시키기 위해 이용되는 렌즈 또는 유리 조각, 플라스틱 또는 다른 투명 물질로 제조되는 투명 디스플레이(111) 상에서 적어도 하나의 가상 디스플레이(107A-B)를 투사하는 투사기일 수 있다. 이 예에서, 투사된 가상 디스플레이(107A-B)는 로직 하우징(109) 내의 생성 로직에 의해 생성된다.
추가적인 비제한적인 예로, 로직 하우징(109)의 프리젠테이션 유닛은, 로직 하우징(109)의 생성 로직에 의해 생성된 가상 디스플레이 중 적어도 하나를 프로세싱하고, 가상 망막 디스플레이(VRD), 망막 스캔 디스플레이(RSD) 또는 망막 투사기(RP)와 같은 투명 디스플레이(111)를 이용하여, 프로세싱된 결과를 출력하여, 생성된 가상 디스플레이 중 적어도 하나를, 헤드 장착 디스플레이(105)의 사용자의 눈의 망막 상에 직접 디스플레이하는 디스플레이 제어기일 수 있다.
다른 비제한적인 예로, 프리젠테이션 유닛은, 헤드 장착 디스플레이(105)의 사용자에게 가상 디스플레이(107A-B)의 시각적 표현이 제시되도록, 로직 하우징(109)의 생성 로직의 생성된 가상 디스플레이(107A-B)를 프로세싱하고, 프로세싱된 결과를 이용하여 투명 디스플레이(111) 상에 프레임 버퍼를 출력하는 비디오 디스플레이 제어기(VDC)일 수 있다. 또 다른 비제한적인 예로, 프리젠테이션 유닛은, 로직 하우징(109)의 생성 로직의 생성된 가상 디스플레이(107A-B) 중 적어도 하나를 프로세싱하고, 그 프로세싱된 정보를 이용하여, 가상 디스플레이(107A-B) 중 적어도 하나의 시각적 표현을, 투명 디스플레이(111) 상에서 헤드 장착 디스플레이(105)의 사용자에게 제시되게 출력하는 비디오 디스플레이 프로세서(VDP)일 수 있다. 대안적인 예로, 로직 하우징(109)의 프리젠테이션 유닛은, 헤드 장착 디스플레이(105)의 사용자에게 컴퓨터-정보를 프리젠테이션하기 위해 투명 디스플레이(111)에 가상 디스플레이(107A-B) 중 적어도 하나의 시각적 표현을 출력하는 비디오 신호 생성기일 수 있다.
일부 실시예의 경우, 적어도 하나의 가상 디스플레이(107A-B)는, 사용자에 의해 시청되고 있는 실세계 장면에서, 사용자의 시각적 관점으로부터 추가적인 오브젝트로서, 헤드 장착 디스플레이(105)를 착용한 사용자에게 투명 디스플레이(111) 상에 제시된다. 이러한 실시예의 경우, 물리적 디스플레이(103)는, 사용자에 의해 시청되고 있는 실세계 장면에 위치된다. 예를 들어, 적어도 하나의 가상 디스플레이(107A-B)는, 사용자의 시각적 관점으로부터 실세계 장면에서 물리적 디스플레이(103)에 인접하게 위치되는 추가적인 오브젝트로서 투명 디스플레이(111) 상에 제시될 수 있다. 대안적으로, 적어도 하나의 가상 디스플레이(107A-B)는, 사용자의 시각적 관점으로부터 실세계 장면에서 물리적 디스플레이(103) 상에 중첩되는 추가적인 오브젝트로서 투명 디스플레이(111) 상에 제시될 수 있다.
일부 실시예의 경우, 오직 물리적 디스플레이(103)가 헤드 장착 디스플레이(105)의 시야에 있는 동안에만, 컴퓨터로 생성된 정보가 적어도 하나의 가상 디스플레이(107A-B) 및 물리적 디스플레이(103) 상의 확장된 디스플레이에서 사용자에게 제시된다. 이러한 실시예의 경우, 헤드 장착 디스플레이(105)의 시야는, 가속도계, 디지털 콤파스, 시각 카메라, 적외선 카메라, 및 헤드 장착 디스플레이(105) 및/또는 물리적 디스플레이(103)의 물리적 조작 및/또는 배향 콘텍스트와 관련된 데이터를 수집하고 그리고/또는 파라미터를 측정하기에 적합한 다른 물리적 센서 중 적어도 하나에 의해 결정될 수 있다. 다른 실시예의 경우, 물리적 디스플레이(103)는, 물리적 디스플레이(103)의 위치 정보, 표면 위치 및 스크린 면적이 (아래에서 설명되는) 계산 로직에 의해 결정된 후 헤드 장착 디스플레이(105)의 시야에 있는 것으로 결정될 것이다.
도 2는, 헤드 장착 디스플레이(220)에 의해 제공되는 적어도 하나의 가상 디스플레이 및 적어도 하나의 물리적 디스플레이를 이용하여 컴퓨터로 생성된 정보의 사용자에게의 제시를 구현하기 위한 예시적인 멀티-디스플레이 시스템(200)을 개략도로 예시한다.
멀티-디스플레이 시스템(200)은, 헤드 장착 디스플레이(220) 및 컴퓨터 시스템(222)을 포함한다. 도 2의 컴퓨터 시스템(222)은 물리적 디스플레이(202)를 포함한다. 단순화를 위해, 컴퓨터 시스템(222)의 다른 엘리먼트는 도시되지 않았다. 물리적 디스플레이(202)는, 컴퓨터 시스템(222)의 컴퓨터로 생성된 정보를 제시하기 위해 이용되는 물리적 디스플레이이다.
도 2의 헤드 장착 디스플레이(220)는, 헤드 장착 디스플레이(220)의 위치를 결정하고, 적어도 헤드 장착 디스플레이(220)의 결정된 위치에 기초하여 물리적 디스플레이(202)의 위치를 결정하고, 적어도 물리적 디스플레이(202)의 결정된 위치에 기초하여 물리적 디스플레이(202)의 표면 위치 및 스크린 면적을 결정하고, 헤드 장착 디스플레이(220)의 결정된 위치, 물리적 디스플레이(202)의 결정된 위치, 물리적 디스플레이(202)의 결정된 표면 위치 및 물리적 디스플레이(202)의 결정된 스크린 면적을 생성 로직(206)에 제공하기 위한 계산 로직(204)을 포함한다.
헤드 장착 디스플레이(220)는 또한, 생성 로직(206), 관점 로직(208), 연관 로직(210), 프리젠테이션 유닛(218), 투명 디스플레이(212), 메모리(214) 및 센서(216)를 포함한다. 일부 실시예의 경우, 계산 로직(204), 생성 로직(206), 관점 로직(208), 연관 로직(210), 프리젠테이션 유닛(218), 투명 디스플레이(212), 메모리(214) 및 센서(216) 중 적어도 하나를 하우징하기 위해 도 1의 로직 하우징(109)이 이용된다.
도 2의 계산 로직(204)으로 되돌아가서, 헤드 장착 디스플레이(220)의 위치, 물리적 디스플레이(202)의 위치, 표면 위치, 및 스크린 면적은 센서(216)로부터 획득되는 데이터 및/또는 파라미터를 이용하여 결정된다. 일 실시예의 경우, 센서(216)는, 가속도계, 디지털 콤파스, 시각 카메라, 적외선 카메라, 및 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 물리적 조작 및/또는 배향 콘텍스트와 관련된 데이터를 수집하고 그리고/또는 파라미터를 측정하기에 적합한 다른 물리적 센서 중 적어도 하나일 수 있다.
일 실시예의 경우, 센서(216)는, 헤드 장착 디스플레이(220)의 위치 정보를 결정하고, 물리적 디스플레이(202)의 위치 정보를 결정함으로써, 헤드 장착 디스플레이(220)의 위치 및 물리적 디스플레이(202)의 위치를 결정한다. 위치 정보를 결정하는 것은, 헤드 장착 디스플레이(220)의 위치를 결정하는 것, 헤드 장착 디스플레이(220)의 사용자의 시각적 관점에 의해 결정되는 헤드 장착 디스플레이(220)의 뷰포인트 배향을 결정하는 것, 헤드 장착 디스플레이(220)의 결정된 위치 및 헤드 장착 디스플레이(220)의 결정된 뷰포인트 배향을 이용하여 물리적 디스플레이의 복수의 꼭지점을 결정하는 것, 물리적 디스플레이의 결정된 복수의 꼭지점, 헤드 장착 디스플레이(220)의 결정된 위치 및 헤드 장착 디스플레이(220)의 결정된 뷰포인트 배향을 이용하여, 헤드 장착 디스플레이(220)와 복수의 꼭지점 각각 사이의 각각의 거리를 결정하는 것을 포함한다. 또 다른 실시예의 경우, 헤드 장착 디스플레이(220)의 위치 정보의 결정은 또한, 헤드 장착 디스플레이(220)의 결정된 위치를 참조하여 물리적 디스플레이(202)의 위치를 결정하는 것을 포함한다.
일 실시예의 경우, 센서(216)는, 헤드 장착 디스플레이(220)가 사용자에 의해 착용된 동안, 헤드 장착 디스플레이(220)의 위치, 헤드 장착 디스플레이(220)의 뷰포인트 배향 및 물리적 디스플레이(202)의 위치를 측정하기 위해 이용되는 위치 및 배향 센서를 포함한다. 위치 및 배향 센서는 자이로 센서, 가속도 센서 및 자기 센서 중 적어도 하나를 포함한다.
자이로 센서는, 실세계를 근사화하는 평면 좌표계에 의해 측정되는 바와 같이 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 3 방향, 즉, X, Y 및 Z에서의 회전을 검출한다. 가속도 센서는, 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 3개의 X, Y 및 Z 방향에서의 병진운동 동작을 검출하고, 자기 센서는, 헤드 장착 디스플레이(220)의 X, Y 및 Z 방향을 이용하여, 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 3D 위치 좌표 및 뷰포인트 배향을 검출한다. 일부 실시예의 경우, 이러한 센서는, 자신들의 측정 결과를 센서(216)에 출력하고, 센서(216)는 이 정보를 계산 로직(204)에 전송한다. 이러한 실시예의 경우, 계산 로직은, 센서(216)에 의해 획득된 측정치를 이용하여, 헤드 장착 디스플레이(220)의 위치 및 뷰포인트 배향 뿐만 아니라 물리적 디스플레이(202)의 꼭지점 위치를 결정한다.
또 다른 실시예의 경우, 계산 로직은 센서(216)에 의해 획득된 정보를 이용하여, 물리적 디스플레이(202)의 각각의 꼭지점과 헤드 장착 디스플레이(220) 사이의 각각의 거리를 계산한다.
일부 실시예의 경우, 센서(216)에 의해 결정되는 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보는 헤드 장착 디스플레이(220)의 계산 로직(204)에 포워딩된다. 다른 실시예에서, 센서(216)는, 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보를 결정하는 것에 추가로, 또한 물리적 디스플레이(202)의 꼭지점 각각 사이의 각각의 각도를 결정할 수 있다. 이러한 실시예의 경우, 센서(216)는, 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보에 추가로, 물리적 디스플레이(202)의 꼭지점 각각 사이의 각각의 각도를 계산 로직(204)에 포워딩한다. 계산 로직(204)은, 물리적 디스플레이(202)의 각각의 꼭지점 사이의 결정된 각도를 이용하여 센서(216)에 의해 결정된 거리 각각을 수정한다.
헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보를 계산 로직(204)에 포워딩하는 것에 추가로, 센서(216)는 또한 수집된 데이터 및/또는 파라미터를, 저장을 위해 메모리(214)에 포워딩한다. 메모리(214)는 아래에서 더 상세히 설명될 것이다.
도 2의 계산 로직(204)으로 되돌아가서, 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보는, 물리적 디스플레이(202)의 표면 위치 및 스크린 면적을 계산하기 위해 계산 로직(204)에 의해 이용된다. 일 실시예의 경우, 센서(216)는, 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보에 추가로, 물리적 디스플레이(202)의 각각의 꼭지점 사이의 각도를 계산 로직(204)에 포워딩한다. 이러한 실시예의 경우, 계산 로직(204)은, 물리적 디스플레이(202)의 각각의 꼭지점 사이의 각도를 이용하여, 계산 로직(204)에 의해 계산되는 표면 위치 및 스크린 면적 중 적어도 하나를 변경한다.
표면 위치는, 물리적 디스플레이(202)가 존재하는 평면을 지칭한다. 이 평면은, 헤드 장착 디스플레이(220)를 착용한 사용자에 의해 시청될 때 3차원 실세계 장면의 2차원 유사체이다. 일 실시예의 경우, 계산 로직(204)에 의해 계산되는 표면 위치는 3차원 유클리드 공간, 2차원 유클리드 공간, 2차원 데카르트 좌표계 및 3차원 데카르트 좌표계 중 적어도 하나에 기초한다.
스크린 면적은, 헤드 장착 디스플레이(220)를 착용한 사용자에 의해 시청되고 있는 3차원 실세계 장면의 2차원 유사체인 평면에서 물리적 디스플레이(202)의 범위를 표현하는 양을 지칭한다. 일 실시예의 경우, 스크린 면적은, 통상적 형상의 면적을 결정하기 위한 3차원 공식, 통상적 형상의 면적을 결정하기 위한 2차원 공식 및 물리적 디스플레이(202)의 면적을 결정하기 위해 물리적 디스플레이(202)를 단위 사각형 또는 단위 삼각형으로 분할하는 것 중 적어도 하나에 기초하여 계산된다. 또 다른 실시예의 경우, 물리적 디스플레이(202)가 곡선형 경계를 가지면, 스크린 면적은 물리적 디스플레이(202)를 단위 원으로 분할하는 것에 기초하여 계산된다. 물리적 디스플레이(202)의 스크린 면적 및 표면 위치 둘 모두의 계산은 이 분야의 당업자들에게 널리 공지되어 있고, 따라서 본원에서 설명되는 기술로 제한되지 않음을 인식해야 한다.
헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보 뿐만 아니라 물리적 디스플레이(202)의 표면 위치 및 스크린 면적은 계산 로직(204)에 의해 생성 로직(206)으로 포워딩된다. 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보 뿐만 아니라 물리적 디스플레이(202)의 표면 위치 및 스크린 면적을 생성 로직(206)에 포워딩하는 것에 추가로, 계산 로직(204)은 또한 수집된 및/또는 프로세싱된 데이터를, 저장을 위해 메모리(214)로 포워딩한다. 메모리(214)는 아래에서 더 상세히 설명될 것이다.
계산 로직(204)으로부터 수신된 데이터를 이용하여 생성 로직(206)에 의해 (도 1의 가상 디스플레이(107A-B)와 같은) 적어도 하나의 가상 디스플레이가 생성된다.
생성 로직(206)은, 그래픽스 렌더링을 수행 및 실행하는 그래픽스 프로세싱 유닛(GPU) 또는 다른 회로일 수 있다. 일 실시예의 경우, 생성 로직(206)은, 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보 뿐만 아니라 물리적 디스플레이(202)의 스크린 면적 및 표면 위치를 이용하여, 그래픽스 렌더링에 필요한 복잡한 수학적 및 기하학적 계산을 수행한다. 또한, 생성 로직(206)은 자신의 계산 결과를 이용하여, (도 1의 가상 디스플레이(107A-B)와 같은) 적어도 하나의 가상 디스플레이를 렌더링한다. 제한이 아닌 예시의 방식으로, 생성 로직(206)은, 물리적 디스플레이(202)의 위치 정보, 스크린 면적 및 표면 위치를 이용하여, 물리적 디스플레이(202)의 컴퓨터-그래픽스 표현인 적어도 하나의 가상 디스플레이를 생성 및 렌더링하는 GPU이다.
일 실시예의 경우, 생성 로직(206)에 의해 생성된 가상 디스플레이는, (앞서 설명된) 센서(216) 및 계산 로직(204)에 의해 결정되는, 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보에 배타적으로 기초한다. 다른 실시예의 경우, 생성 유닛(206)은, 사용자의 시각적 관점이 결정될 수 있도록, 사용자의 눈의 움직임을 측정 및 추적하기 위한 눈-추적 센서(미도시)를 포함한다. 눈-추적 센서로부터 획득된 데이터는, 개별적인 사용자의 시각적 관점에 기초하여 헤드 장착 디스플레이(220)의 사용자에게 제시될 적어도 하나의 가상 디스플레이를 생성하기 위해, 계산 로직(204)에 의해 수집 및/또는 프로세싱된 데이터와 함께 생성 로직(206)에 의해 이용될 수 있다. 눈-추적 센서는, 내장된 미러 또는 자기장 센서를 갖는 특수 콘택트 렌즈와 같은 눈-부착 추적, 또는 동공 중심 각막 반사 기술과 같은 광학 눈-추적에 기초할 수 있다. 사용자의 시각적 관점을 결정하기 위해 사용자의 눈 움직임을 계산 및/또는 추적하는 기술은 이 분야의 당업자들에게 널리 공지되어 있고, 따라서 본원에서 설명되는 기술로 제한되지 않음을 인식해야 한다.
일부 실시예의 경우, 생성 로직(206)은, 계산 로직(204)에 의해 수집 및/또는 프로세싱된 데이터 및/또는 눈-추적 센서의 측정에 기초하여, 물리적 디스플레이(202)의 스크린 면적의 배수인 스크린 면적을 갖는 가상 디스플레이를 생성한다. 도 4는, (도 2의 생성 로직(206)과 같은) 생성 로직에 의해 생성된 물리적 디스플레이의 스크린 면적의 배수인 스크린 면적을 갖는 가상 디스플레이의 예시적인 표현을 도시한다.
도 4는, 헤드 장착 디스플레이(403)에 의해 제공되는 하나의 가상 디스플레이(411) 및 하나의 물리적 디스플레이(413)를 갖는 예시적인 멀티-디스플레이 시스템(400)의 예시이다. 멀티-디스플레이 시스템(400)은, 가상 디스플레이(411)를 제시하는 헤드 장착 디스플레이(403) 및 물리적 디스플레이(413)를 갖는 컴퓨터 시스템(409)을 포함한다. 헤드 장착 디스플레이(403)를 착용한 동안 컴퓨터 시스템(409)의 물리적 디스플레이(413)를 보고 있는 사용자에게 가상 디스플레이(411)가 제시된다. 가상 디스플레이(411)는, 생성 로직(413)이 가상 디스플레이(411)를 생성한 후 헤드 장착 디스플레이(403)를 착용한 사용자에게 헤드 장착 디스플레이(403)의 투명 디스플레이(405) 상에서 프리젠테이션 유닛(미도시)에 의해 제시된다. 가상 디스플레이(411)는, 계산 유닛(미도시) 및 적어도 하나의 센서(미도시)에 의해 확보된 데이터에 기초하여 생성 로직(405)에 의해 생성된다. 일 실시예의 경우, 계산 유닛 및 적어도 하나의 센서는, 헤드 장착 디스플레이(403)와 물리적 디스플레이(413) 사이의 4개의 거리(407A-D) 각각을 결정한다. 계산 유닛 및 적어도 하나의 센서는 거리(407A-D)를 이용하여, 헤드 장착 디스플레이(403)의 위치, 물리적 디스플레이(413)의 위치, 물리적 디스플레이(413)의 표면 위치 및 물리적 디스플레이(413)의 스크린 면적을 계산한다. 다른 실시예의 경우, 생성된 가상 디스플레이(411)는, 앞서 설명된 바와 같이, 계산 유닛 및 적어도 하나의 센서에 의해 수집 및/또는 계산된 데이터 조각 중 적어도 하나를 이용하여 생성 유닛(413)에 의해 생성된다. 제한이 아닌 예시의 방식으로, 물리적 디스플레이(413)의 스크린 면적이 540 cm2, 또는 83.7 평방 인치이면, 가상 디스플레이(411)는 1080 cm2 또는 167.4 평방 인치의 스크린 면적을 갖도록 생성 유닛(413)에 의해 생성될 것이다(이것은, 물리적 디스플레이(413)의 예시적인 스크린 면적을 2의 배수로 곱함으로써 달성된다).
도 2로 되돌아가서, 생성 로직(206)의 생성된 가상 디스플레이는 관점 로직(208)에 전송된다. 헤드 장착 디스플레이(220)의 생성된 가상 디스플레이를 관점 로직(208)에 포워딩하는 것에 추가로, 생성 로직(206)은 또한 생성된 가상 디스플레이를, 저장을 위해 메모리(214)로 포워딩한다. 메모리(214)는 아래에서 더 상세히 설명될 것이다.
관점 로직(208)은, 생성된 가상 디스플레이 및 물리적 디스플레이(202)에 할당될 확장된 데스크탑의 제 1 및 제 2 부분 사이에서 원하는 상대적인 디스플레이 배향을 결정한다. 확장된 데스크탑의 원하는 상대적인 디스플레이 배향은, 헤드 장착 디스플레이(220)를 착용한 사용자가 자신의 머리를 이동시키거나 자신의 위치를 변경할 것이기 때문에 결정된다.
이러한 상대적인 디스플레이 배향은, 멀티-시스템(200)의 사용자가 물리적 디스플레이(202) 및 적어도 하나의 가상 디스플레이의 확장된 데스크탑에서 컴퓨터로 생성된 정보를 편안하게 시청하도록 허용할 수 있다. 일 실시예의 경우, 상대적인 디스플레이 배향은, (앞서 설명된) 센서(216) 및 계산 로직(204)에 의해 결정되는 바와 같이, 헤드 장착 디스플레이(220)의 위치 정보, 물리적 디스플레이(202)의 위치 정보, 물리적 디스플레이(202)의 표면 위치, 및 물리적 디스플레이(202)의 스크린 면적을 이용하여 관점 로직(208)에 의해 결정된다. 상대적인 디스플레이 배향은, 생성 로직(206)에 의해 생성된 적어도 하나의 가상 디스플레이의 실세계 위치에 대해 상대적인 실세계의 물리적 디스플레이(202)의 위치를 결정하기 위해 이용된다. 이러한 상대적인 디스플레이 배향은, 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)가, 확장된 데스크탑을 이용하는 사용자에게 컴퓨터로 생성된 정보를 제시하도록 허용한다.
또 다른 실시예의 경우, 관점 로직(208)은 물리적 센서, 예를 들어, 가속도계, 디지털 콤파스, 시각 카메라, 적외선 카메라, 또는 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 물리적 조작 및/또는 배향 콘텍스트와 관련된 데이터를 수집하고 그리고/또는 파라미터를 측정하기에 적합한 다른 물리적 센서를 포함한다. 이러한 실시예의 경우, 물리적 센서는, 물리적 디스플레이(202) 및 생성된 가상 디스플레이에 할당되는 확장된 데스크탑의 제 1 부분과 제 2 부분 사이에서 원하는 상대적인 디스플레이 배향의 표시를 제공하기 위해 이용된다. 이 표시는, 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 기울기, 이동 및 회전 중 적어도 하나에 대한 응답으로 물리적 센서에 의해 수집된 데이터에 기초한다.
관점 로직(208)은 원하는 상대적인 디스플레이 배향을 연관 로직(210)에 포워딩한다. 원하는 상대적인 디스플레이 배향을 연관 로직(210)에 포워딩하는 것에 추가로, 관점 로직(208)은 또한, 원하는 상대적인 디스플레이 배향을, 저장을 위해 메모리(214)에 포워딩한다. 메모리(214)는 아래에서 더 상세히 설명될 것이다.
연관 로직(210)은, 생성 로직(206)에 의해 생성된 적어도 하나의 가상 디스플레이 및 물리적 디스플레이(202) 상에 제시되는 확장된 데스크탑의 제 1 및 제 2 부분을 구성한다. 일 실시예의 경우, 이 구성은 원하는 상대적인 디스플레이 배향을 포함하고, 확장된 데스크탑은, 생성 로직(206)의 생성된 가상 디스플레이 및 물리적 디스플레이(202) 상에 동시에 함께 제공된다. 다른 실시예의 경우, 확장된 데스크탑은 물리적 디스플레이(202)에 먼저 제공되고, 그 다음, 생성 로직(206)의 생성된 가상 디스플레이 상으로 확장된다.
연관 로직(210)에 의한, 생성된 가상 디스플레이 및 물리적 디스플레이(202) 상에서 확장된 디스플레이의 구성 이후, 계산 로직(204), 생성 로직(206), 관점 로직(208) 및 연관 로직(210)에 의해 수집 및/또는 프로세싱된 모든 데이터 및/또는 파라미터는 프리젠테이션 유닛(218) 및 저장을 위한 메모리(214)에 포워딩된다. 메모리(214)는 아래에서 더 상세히 설명될 것이다.
프리젠테이션 유닛(218)은, 하드웨어 또는 소프트웨어 또는 이들의 결합일 수 있다. 프리젠테이션 유닛(218)은, 도 2의 다른 로직 유닛에 의해 수집 및/또는 획득된 데이터를 합치고, 합쳐진 데이터로부터 컴퓨터로 생성된 정보 및 가상 디스플레이(들)의 최종적 가시적 표현을 생성하기 위해 이용된다. 프리젠테이션 유닛(218)에 의해 생성되는 컴퓨터로 생성된 정보 및 가상 디스플레이(들)의 최종적 가시적 표현은 투명 디스플레이(220) 상에서 헤드 장착 디스플레이(105)의 사용자에게 제시된다.
제한이 아닌 예시의 방식으로, 프리젠테이션 유닛(218)은, 인간의 눈에 직접 또는 그 앞에 배치되고, 광선을 집중, 수정, 투사 또는 분산시키기 위해 이용되는 렌즈 또는 유리 조각, 플라스틱 또는 다른 투명 물질로 제조되는 투명 디스플레이(212) 상에서 적어도 하나의 가시적 디스플레이를 투사하는 투사기일 수 있다. 이전 예의 경우, 투사된 가상 디스플레이는 생성 로직(206)에 의해 생성되고, 관점 로직(208) 및 연관 로직(210)에 의해 상대적인 디스플레이 배향으로 구성된다.
추가적인 비제한적인 예로, 프리젠테이션 유닛(218)은, 생성 로직(206)에 의해 생성된 가상 디스플레이 중 적어도 하나를 프로세싱하고, 가상 망막 디스플레이(VRD), 망막 스캔 디스플레이(RSD) 또는 망막 투사기(RP)와 같은 투명 디스플레이(212)를 이용하여, 프로세싱된 결과를 출력하여, 생성 로직(206)의 생성된 가상 디스플레이 중 적어도 하나를, 헤드 장착 디스플레이(220)의 사용자의 눈의 망막 상에 직접 제시하는 디스플레이 제어기일 수 있다.
다른 비제한적인 예로, 프리젠테이션 유닛(218)은, 생성 로직(206)의 생성된 가상 디스플레이 뿐만 아니라 관점 로직(208) 및 연관 로직(210)의 상대적인 디스플레이 배향을 프로세싱하고, 프로세싱된 결과를 이용하여 투명 디스플레이(212) 상에 프레임 버퍼를 출력하여, 헤드 장착 디스플레이(220)의 사용자에게 가상 디스플레이 및 컴퓨터로 생성된 정보의 가시적 표현이 제시되게 하는 비디오 디스플레이 제어기(VDC)일 수 있다. 또 다른 비제한적인 예로, 프리젠테이션 유닛(218)은, 생성 로직(206)의 생성된 가상 디스플레이 뿐만 아니라 관점 로직(208) 및 연관 로직(210)의 상대적인 디스플레이 배향을 프로세싱하고, 프로세싱된 결과를 이용하여, 투명 디스플레이(212) 상에서 헤드 장착 디스플레이(220)의 사용자에게 제시될 컴퓨터로 생성된 정보 및 가상 디스플레이의 시각적 표현을 출력하는 비디오 디스플레이 프로세서(VDP)일 수 있다. 대안적인 예로, 프리젠테이션 유닛(218)은, 헤드 장착 디스플레이(220)의 사용자에게 적어도 하나의 가상 디스플레이 및 컴퓨터-정보의 프리젠테이션을 위해, 생성 로직(206), 관점 로직(208) 및 연관 로직(210) 중 적어도 하나에 의해 생성되고 프로세싱된 가상 디스플레이 중 적어도 하나의 시각적 표현을 투명 디스플레이(212) 상에 출력하는 비디오 신호 생성기일 수 있다.
프리젠테이션 유닛(218)으로부터의 출력은, 헤드 장착 디스플레이(220)의 사용자에게 생성 로직(206)의 적어도 하나의 생성된 가상 디스플레이의 프리젠테이션을 위해 투명 디스플레이(212)에 포워딩된다. 또한, 프리젠테이션 유닛(218)의 출력은 또한 저장을 위해 메모리(214)에 포워딩된다. 메모리(214)는 아래에서 더 상세히 설명될 것이다.
투명 디스플레이(212) 상에 제시되는 프리젠테이션 유닛(218)의 출력은 생성 로직(206)의 생성된 가상 디스플레이 중 적어도 하나를 제시한다. 일부 실시예의 경우, 생성 로직(206)의 생성된 가상 디스플레이 중 적어도 하나는, 확장된 데스크탑으로서 물리적 디스플레이(202)와 협력하여 동작하도록 구성된다. 일 실시예의 경우, 생성 로직(206)의 생성된 가상 디스플레이 중 적어도 하나는, 관점 로직(208) 및 연관 로직(210)에 의해 각각 결정된 확장된 데스크탑의 제 1 및 제 2 부분의 구성된 상대적인 디스플레이 배향에 기초하여, 프리젠테이션 유닛(218)에 의해 투명 디스플레이(212) 상에 제시된다.
일부 실시예의 경우, 생성 유닛(206)의 생성된 가상 디스플레이 중 적어도 하나는, 사용자에 의해 인지되는 실세계 장면의 추가적인 오브젝트로서 헤드 장착 디스플레이(220)를 착용한 사용자에게, 프리젠테이션 유닛(218)에 의해 투명 디스플레이(212) 상에서 제시된다. 예를 들어, 생성 로직(206)의 생성된 가상 디스플레이는, 실세계 장면의 물리적 디스플레이(202)에 인접하게 위치되는 추가적인 오브젝트로서 프리젠테이션 유닛(218)에 의해 투명 유닛(212) 상에 제시될 수 있다. 대안적으로, 생성 로직(206)의 생성된 가상 디스플레이는, 실세계 장면의 물리적 디스플레이(202) 상에 중첩되는 추가적인 오브젝트로서 프리젠테이션 유닛(218)에 의해 투명 디스플레이(212) 상에 제시될 수 있다. 또 다른 실시예의 경우, 앞서 설명된 바와 같이, 오직 물리적 디스플레이(202)가 헤드 장착 디스플레이(220)의 시야에 있는 동안에만, 물리적 디스플레이(202) 및 생성 로직(206)의 생성된 가상 디스플레이에 걸쳐 있는 확장된 데스크탑에 컴퓨터로 생성된 정보가 제시된다.
일 실시예의 경우, 메모리(214)는, 센서(216), 계산 로직(204), 생성 로직(206), 관점 로직(208), 연관 로직(210) 및 투명 디스플레이(212)에 의해 수집 및/또는 프로세싱된 모든 데이터를 저장하기 위해 이용된다.
다른 실시예의 경우, 확장된 데스크탑에서 사용자에게 제시되는 컴퓨터로 생성된 정보는 헤드 장착 디스플레이(220)의 메모리(214)에 저장된다. 메모리(214)에 의해 저장되는 컴퓨터로 생성된 정보는, 앞서 설명된 바와 같이, 물리적 디스플레이(202)가 헤드 장착 디스플레이(220)의 시야에 없는 경우에만, 프리젠테이션 유닛(218)에 의해, (도 1의 가상 디스플레이(107A-B)와 같이) 생성 로직(206)에 의해 생성된 적어도 하나의 가상 디스플레이에 배타적으로 제시된다. 제한이 아닌 예시의 방식으로, 투명 디스플레이(212) 상에 제시되고 있는 가상 디스플레이 및 물리적 디스플레이(220)로 이루어진 확장된 데스크탑을 보고 있는 헤드 장착 디스플레이(220)의 사용자가 자신의 머리를 이동시켜, 물리적 디스플레이(202)가 적어도 하나의 물리적 센서에 의해 결정되는 그의 시야에 더 이상 없게 되면, 메모리(214)에 저장된 정보는 프리젠테이션 유닛(218)에 의해, 투명 디스플레이(212) 상에 제시되고 있는 가상 디스플레이에서만 제시될 것이다. 메모리(214)의 이점은, 헤드 장착 디스플레이(220)의 시야로부터 물리적 디스플레이(202)의 제거 이후에도, 헤드 장착 디스플레이(220)를 이용하는 사용자가, 확장된 데스크탑에서 컴퓨터로 생성된 정보를 계속 시청하도록 허용한다는 점이다.
선택적으로, 헤드 장착 디스플레이(220)의 계산 로직(204)은, 헤드 장착 디스플레이(220)의 위치 정보, 물리적 디스플레이(202)의 위치 정보, 물리적 디스플레이(202)의 표면 위치, 및 물리적 디스플레이(202)의 스크린 면적을 재결정할 수 있다. 재결정은, 물리적 디스플레이(202)의 물리적 이동, 헤드 장착 디스플레이(220)의 물리적 이동, 및 헤드 장착 디스플레이(220)의 위치 정보의 이전 결정, 물리적 디스플레이(202)의 위치의 이전 결정, 물리적 디스플레이(202)의 표면 위치의 이전 결정 및 물리적 디스플레이(202)의 스크린 면적의 이전 결정 중 적어도 하나로부터 경과된 시간량 중 적어도 하나에 대한 응답으로 수행될 수 있다.
일부 실시예의 경우, 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 물리적 이동은, 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 기울기, 회전 또는 이동 중 적어도 하나를 포함한다. 이러한 실시예에서, 물리적 디스플레이(202) 및 헤드 장착 디스플레이(220) 중 적어도 하나의 물리적 이동의 결정은, 가속도계, 디지털 콤파스, 시각 카메라, 적외선 카메라, 자이로 센서, 자기 센서 또는 가속도 센서, 및 헤드 장착 디스플레이(220) 및/또는 물리적 디스플레이(202)의 물리적 조작 및/또는 배향 콘텍스트와 관련된 데이터를 수집하고 그리고/또는 파라미터를 측정하기에 적합한 다른 물리적 센서 중 적어도 하나에 의한 결정에 기초할 수 있다. 일부 실시예의 경우, 헤드 장착 디스플레이(220) 및 물리적 디스플레이(202)의 위치 정보, 물리적 디스플레이(202)의 표면 위치 및 물리적 디스플레이(202)의 스크린 면적에 대한 재결정은, 앞서 설명된 바와 같이 센서(216)에 의해 측정되는 데이터 및/또는 파라미터에 기초할 수 있다. 이러한 실시예의 경우, 센서(216)는, 헤드 장착 디스플레이(220)의 위치 정보를 재결정하고 물리적 디스플레이(202)의 위치 정보를 재결정함으로써, 헤드 장착 디스플레이(220)의 재결정된 위치에 기초하여 헤드 장착 디스플레이(220)의 위치 및 물리적 디스플레이(202)의 위치를 재결정할 수 있다.
위치 정보의 재결정은, 헤드 장착 디스플레이(220)의 위치를 재결정하는 것, 헤드 장착 디스플레이(220)의 사용자의 시각적 관점에 의해 결정되는 헤드 장착 디스플레이(220)의 뷰포인트 배향을 재결정하는 것, 헤드 장착 디스플레이(220)의 재결정된 위치 및 헤드 장착 디스플레이(220)의 뷰포인트 배향을 이용하여 물리적 디스플레이의 복수의 꼭지점을 재결정하는 것, 물리적 디스플레이의 재결정된 복수의 꼭지점, 헤드 장착 디스플레이(220)의 재결정된 위치 및 헤드 장착 디스플레이(220)의 재결정된 뷰포인트 배향을 이용하여, 복수의 꼭지점 각각과 헤드 장착 디스플레이(220) 사이의 각각의 거리를 재결정하는 것을 포함한다. 또 다른 실시예에서, 헤드 장착 디스플레이(220)의 위치 정보의 재결정은 또한, 헤드 장착 디스플레이(220)의 재결정된 위치를 참조하여 물리적 디스플레이(202)의 위치를 재결정하는 것을 포함한다.
도 3a 및 도 3b는, (도 1의 물리적 디스플레이(103)와 같은) 적어도 하나의 물리적 디스플레이, 및 (도 1의 헤드 장착 디스플레이(105)와 같은) 헤드 장착 디스플레이에 의해 제공되는 (도 1의 가상 디스플레이(107A-B)와 같은) 적어도 하나의 가상 디스플레이를 포함하는 (도 1의 멀티-디스플레이 시스템(100)과 같은) 멀티-디스플레이 시스템을 이용하여 사용자에게 컴퓨터로 생성된 정보를 제시하는 방법(300)을 예시한다. 예를 들어, 컴퓨터로 생성된 정보는, 확장된 데스크탑으로서 함께 동작하는 물리적 디스플레이(103) 및 가상 디스플레이(107A-B)를 이용하여 사용자에게 제시된다. 제시되는 컴퓨터로 생성된 정보는, 오디오 또는 시각적 출력(예를 들어, 음향, 텍스트, 그래픽스, 비디오 등), 또는 사용자가 상호작용할 수 있는 컴퓨팅 시스템 상에서 사용자에게 제시될 수 있는 임의의 다른 타입의 정보일 수 있다.
도 3a에서, 블록(302)에서, 헤드 장착 디스플레이(105)는 헤드 장착 디스플레이(105)의 위치 정보 및 물리적 디스플레이(103)의 위치 정보를 결정한다. 실시예의 경우, 헤드 장착 디스플레이(105) 및 물리적 디스플레이(103)의 위치 정보의 결정은, 앞서 설명된 바와 같이, 도 2의 센서(216) 및 계산 로직(204)에 의해 수행된다.
도 3a의 블록(304)에서, 헤드 장착 디스플레이(105)는 물리적 디스플레이(103)의 위치, 표면 위치 및 스크린 면적을 계산한다. 일 실시예의 경우, 물리적 디스플레이(103)의 위치, 표면 위치 및 스크린 면적의 계산은, 앞서 설명된 바와 같이, 도 2의 센서(216) 및 계산 로직(204)에 의해 수행된다.
도 3a의 블록(306)에서, 헤드 장착 디스플레이(105)는 선택적으로, 물리적 디스플레이(103)의 각각의 꼭지점 사이의 각각의 각도를 결정한다. 실시예의 경우, 물리적 디스플레이(103)의 각도의 결정은, 앞서 설명된 바와 같이, 도 2의 센서(216)에 의해 수행된다.
도 3a의 블록(308)에서, 헤드 장착 디스플레이(105)는 선택적으로, 블록(306)에서 결정된 각도로, 블록(304)에서 계산된 표면 위치 및/또는 스크린 면적을 변경한다. 예를 들어, 각도는, 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105)의 각각의 꼭지점 사이의 대응하는 거리 값 각각에 대한 승수(multiplier) 또는 다른 가중치 값으로 기능할 수 있다. 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105)의 각각의 꼭지점 사이의 거리 각각을 표현하기 위한 수정된 거리 값을 생성하기 위한 수정이 수행된다. 그 다음, 이러한 수정된 거리 값은, 물리적 디스플레이(103)의 꼭지점 각각과 함께 물리적 디스플레이(103)의 수정된 스크린 면적 및/또는 수정된 표면 위치를 계산하기 위해 이용된다. 일 실시예의 경우, 물리적 디스플레이(103)의 표면 위치 및 스크린 면적 중 적어도 하나의 수정은, 앞서 설명된 바와 같이, 도 2의 계산 로직(204)에 의해 수행된다.
도 3a의 블록(310)에서, 헤드 장착 디스플레이(105)는, 헤드 장착 디스플레이(105) 상에서 사용자에게 제시될 적어도 하나의 가상 디스플레이(107A-B)를 생성한다. 실시예의 경우, 가상 디스플레이(107A-B)는, 도 3a의 블록(302-308)에서 결정된 바와 같은 헤드 장착 디스플레이(105)의 위치 정보, 물리적 디스플레이(103)의 위치 정보, 물리적 디스플레이(103)의 표면 위치 및 물리적 디스플레이(103)의 스크린 면적에 기초하여 생성된다.
다른 실시예의 경우, 가상 디스플레이(107A-B)는, 도 3a의 블록(302-308)에서 수집 및/또는 프로세싱된 데이터와 함께, 눈-추적 센서로부터 획득된 데이터에 기초하여 헤드 장착 디스플레이(105)에 의해 생성된다. 적어도 일부의 눈-추적 데이터에 기초하여 가상 디스플레이(107A-B)를 생성하는 것의 이점은, 개별적인 사용자의 시각적 관점에 기초하여, 헤드 장착 디스플레이(105)의 사용자에게 적어도 하나의 가상 디스플레이(107A-B)의 프리젠테이션을 가능하게 하는 것이다. 눈-추적 센서는, 내장된 미러 또는 자기장 센서를 갖는 특수 콘택트 렌즈와 같은 눈-부착 추적, 또는 동공 중심 각막 반사 기술과 같은 광학 눈-추적에 기초할 수 있다. 사용자의 시각적 관점을 결정하기 위해 사용자의 눈 움직임을 계산 및/또는 추적하는 기술은 이 분야의 당업자들에게 널리 공지되어 있고, 따라서 본원에서 설명되는 기술로 제한되지 않음을 인식해야 한다.
다른 예시적인 실시예의 경우, 가상 디스플레이(107A-B)는, 물리적 디스플레이(103)의 스크린 면적의 배수인 스크린 면적, 및 물리적 디스플레이(103)의 표면 위치의 배수인 표면 위치를 갖는다. 일부 실시예의 경우, 가상 디스플레이(107A-B)의 생성은, 앞서 설명된 바와 같이, 도 2의 생성 로직(206)에 의해 수행된다.
헤드 장착 디스플레이(105)는, 도 3a의 블록(312)에서, 생성된 가상 디스플레이(107A-B) 및 물리적 디스플레이(103)에 할당되는 확장된 데스크탑의 제 1 부분과 제 2 부분 사이에서 원하는 상대적인 디스플레이 배향을 결정한다. 일 실시예의 경우, 원하는 상대적인 디스플레이 배향은, 도 3a의 블록(302-308)에서 결정된 바와 같은 헤드 장착 디스플레이(105)의 위치 정보, 물리적 디스플레이(103)의 위치 정보, 물리적 디스플레이(103)의 표면 위치, 및 물리적 디스플레이(103)의 스크린 면적에 기초한다. 다른 실시예의 경우, 원하는 상대적인 디스플레이 배향은, 앞서 설명된 바와 같이, 도 2의 관점 로직(208)에 의해 결정된다.
도 3a의 블록(314)에서, 헤드 장착 디스플레이(105)는, 도 3a의 블록(312)에서 결정된 원하는 상대적인 디스플레이 배향으로 확장된 데스크탑을 구성한다. 일 실시예의 경우, 구성은, 원하는 상대적인 디스플레이 배향의 결정에 대한 응답으로 자동으로 수행된다. 다른 실시예의 경우, 확장된 데스크탑은, 물리적 디스플레이(103) 및 가상 디스플레이(107A-B) 상에 동시에 컴퓨터로 생성된 정보를 함께 제공하도록 구성된다. 물리적 디스플레이(103) 및 가상 디스플레이(107A-B) 상에서 확장된 데스크탑의 구성은, 예를 들어, 앞서 설명된 바와 같이, 도 2의 연관 로직(210)에 의해 수행될 수 있다.
헤드 장착 디스플레이(105)는, 도 3a의 블록(316)에서, 헤드 장착 디스플레이(105)를 착용한 사용자에게 적어도 하나의 가상 디스플레이(107A-B)를 제시한다. 가상 디스플레이(107A-B)는, 헤드 장착 디스플레이(105)를 착용한 사용자에 의해 시청되고 있는 실세계 장면의 추가적인 오브젝트로서, 헤드 장착 디스플레이(105)의 투명 디스플레이 상에 제시된다. 또한, 도 3a의 블록(316)에서, 헤드 장착 디스플레이(105)는 또한, 블록(312 및 314)에서 각각 결정 및 구성된 확장된 데스크탑에 컴퓨터로 생성된 정보를 제시한다. 일 실시예의 경우, 가상 디스플레이(107A-B)는, 헤드 장착 디스플레이(105)의 투명 디스플레이를 통해 사용자가 시청하는 동안 사용자에게 보이는 실세계 장면에 혼합되어 사용자에게 나타난다. 다른 실시예의 경우, 가상 디스플레이(107A-B)는, 실세계 장면에서 물리적 디스플레이(103)의 옆에 인접하게 위치되어 사용자에게 나타난다. 예를 들어, 가상 디스플레이(107A-B)는, 물리적 디스플레이(103)의 좌측에 위치된 스크린으로서 사용자에게 나타난다. 다른 예로, 가상 디스플레이(107A-B)는, 물리적 디스플레이(103)의 우측에 위치된 스크린으로서 사용자에게 나타난다. 또 다른 예에서, 가상 디스플레이(107A-B)는, 물리적 디스플레이(103)의 바닥에 위치된 스크린으로서 사용자에게 나타난다. 또 다른 예로, 가상 디스플레이(107A-B)는, 물리적 디스플레이(103)의 최상부에 위치된 스크린으로서 사용자에게 나타난다. 추가적인 예로, 가상 디스플레이(107A-B)는, 물리적 디스플레이(103)의 좌측, 물리적 디스플레이(103)의 우측, 물리적 디스플레이(103)의 최상부, 물리적 디스플레이(103)의 바닥, 및 이들의 임의의 다른 결합 또는 변화 중 적어도 하나에 위치된 스크린으로서 사용자에게 나타난다.
다른 실시예로, 가상 디스플레이(107A-B)는, 가상 디스플레이(107A-B) 및 물리적 디스플레이(103) 상의 정보가 사용자에게 동시에 보이도록, 물리적 디스플레이(103) 위에 중첩되어 사용자에게 나타난다. 예를 들어, 가상 디스플레이(107A-B)는 물리적 디스플레이(103) 위에 놓인 스크린으로서 사용자에게 나타난다. (앞서 설명된) 도 4는, (물리적 디스플레이(413)와 같은) 물리적 디스플레이 위에 중첩되는 (가상 디스플레이(411)와 같은) 가상 디스플레이를 도시하는 예시적인 실시예를 제공한다. 일부 실시예의 경우, 헤드 장착 디스플레이(105)의 사용자에게 적어도 하나의 가상 디스플레이(107A-B)의 프리젠테이션은, 예를 들어, 앞서 설명된 바와 같이, 도 2의 투명 디스플레이(212)를 이용하여 수행될 수 있다.
도 3a로 되돌아가서, 블록(318)에서, 헤드 장착 디스플레이(105)는, 물리적 디스플레이(103)가 헤드 장착 디스플레이(105)의 시야에 있는지 여부를 결정한다. 물리적 디스플레이(103)가 헤드 장착 디스플레이(105)의 시야에 없으면, 방법(300)은 (아래에서 설명되는) 도 3b의 블록(324)으로 이동한다. 물리적 디스플레이(103)가 헤드 장착 디스플레이(105)의 시야에 있으면, 블록(320)에서, 헤드 장착 디스플레이(105)는, 헤드 장착 디스플레이(105) 및 물리적 디스플레이(103) 중 적어도 하나가 물리적 이동을 겪었는지 여부를 결정한다. 일부 실시예의 경우, 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105) 중 적어도 하나의 물리적 이동의 결정은, 가속도계, 디지털 콤파스, 시각 카메라, 적외선 카메라, 자이로 센서, 자기 센서 또는 가속도 센서, 및 헤드 장착 디스플레이(105) 및/또는 물리적 디스플레이(103)의 물리적 조작 및/또는 배향 콘텍스트와 관련된 데이터를 수집하고 그리고/또는 파라미터를 측정하기에 적합한 다른 물리적 센서 중 적어도 하나에 의한 결정에 기초할 수 있다. 다른 실시예의 경우, 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105) 중 적어도 하나의 물리적 이동이 발생했다는 결정은, 앞서 설명된 도 2의 센서(216)에 의해 수집된 데이터에 기초할 수 있다.
도 3a의 블록(320)에서, 방법(300)이, 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105) 중 적어도 하나의 물리적 이동이 발생했다고 결정하면, 방법(300)은, 앞서 설명된 바와 같이, 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105)의 위치 정보를 재결정하기 위해 블록(302)으로 진행한다. 일부 실시예의 경우, 위치 정보의 재결정은, 앞서 설명된 바와 같이, 도 2의 센서(216) 및 계산 로직(204)에 의해 수행된다. 도 3a의 블록(320)에서, 방법(300)이, 물리적 디스플레이(103) 또는 헤드 장착 디스플레이(105)의 어떠한 물리적 이동도 존재하지 않았다고 결정하면, 방법(300)은 (아래에서 설명되는) 도 3a의 블록(322)으로 진행한다.
도 3a의 블록(322)에서, 헤드 장착 디스플레이(105)는, 물리적 디스플레이(103)의 위치 정보 및 헤드 장착 디스플레이(105)의 위치 정보 중 적어도 하나의 이전 결정 이후 미리 결정된 양의 시간이 경과했는지 여부를 결정한다. 미리 결정된 양의 시간이 경과했다면, 방법(300)은, 앞서 설명된 바와 같이, 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105)의 위치 정보를 재결정하기 위해 도 3a의 블록(302)으로 리턴한다. 일부 실시예의 경우, 위치 정보의 재결정은, 앞서 설명된 바와 같이, 도 2의 센서(216) 및 계산 로직(204)에 의해 수행된다. 다른 실시예의 경우, 헤드 장착 디스플레이(105)는, 미리 결정된 시간 기간을 저장하고, 앞서 설명된 바와 같이, (도 2의 계산 로직(204)과 같은) 계산 로직으로 하여금 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105)의 위치 정보를 재결정하게 하기 위해 이용되는 타이머 로직(미도시)을 포함할 수 있다.
도 3a의 블록(322)에서, 미리 결정된 양의 시간이 경과되지 않았다면, 방법(300)은, 앞서 설명된 바와 같이, 적어도 하나의 가상 디스플레이(107A-B) 및 적어도 하나의 물리적 디스플레이(103)를 이용하여 확장된 데스크탑에 컴퓨터로 생성된 정보를 제시하는 것을 계속하기 위해 도 3a의 블록(316)으로 리턴한다.
앞서 시사된 바와 같이, 물리적 디스플레이(103)가 헤드 장착 디스플레이(105)의 시야에 없으면, 방법(300)은 도 3b의 블록(324)으로 이동한다. 블록(324)에서, 헤드 장착 디스플레이(105)는, 확장된 데스크탑에 제시되는 컴퓨터로 생성된 정보가 (도 2의 메모리(214)와 같은) 메모리에 저장되어 있는지 여부를 결정한다.
확장된 데스크탑에 제시되고 있는 컴퓨터로 생성된 정보가 메모리에 저장되어 있으면, 방법(300)은, 선택적으로, 도 3b의 블록(326)으로 계속될 수 있다. 블록(326)에서, 헤드 장착 디스플레이(105)는 저장된 정보를 헤드 장착 디스플레이(105)의 가상 디스플레이(107A-B)에서 배타적으로 제시한다.
확장된 데스크탑에 제시되고 있는 컴퓨터로 생성된 정보가 메모리에 저장되어 있지 않으면, 또는 헤드 장착 디스플레이(105)가 저장된 정보를 가상 디스플레이(107A-B)에 배타적으로 디스플레이하면, 방법(300)은, 앞서 설명된 바와 같이, 물리적 디스플레이(103) 및 헤드 장착 디스플레이(105)의 위치 정보를 결정하는 것을 시작하기 위해 도 3a의 블록(302)으로 리턴한다.
도 5는, 적어도 하나의 물리적 디스플레이 및 적어도 하나의 가상 디스플레이를 포함하는 멀티-디스플레이 시스템을 이용하여 사용자에게 컴퓨터로 생성된 정보를 제시하는 방법을 구현하기 위한 예시적인 프로세싱 시스템을 블록도 형태로 예시한다.
데이터 프로세싱 시스템(500)은, 마이크로프로세서(들)(505)에 커플링되는 메모리(510)를 포함한다. 메모리(510)는, 마이크로프로세서(들)(505)에 의한 실행을 위한 데이터, 메타데이터 및 프로그램을 저장하기 위해 이용될 수 있다. 메모리(510)는, RAM, ROM, SSD, 플래쉬, PCM 또는 다른 타입의 데이터 스토리지와 같은 휘발성 및 비휘발성 메모리 중 하나 이상을 포함할 수 있다. 메모리(510)는 내부 또는 분산된 메모리일 수 있다.
데이터 프로세싱 시스템(500)은, 시스템(500)을 다른 디바이스, 외부 컴포넌트 또는 네트워크와 접속시키기 위해, 포트, 도킹용 커넥터 또는 USB 인터페이스용 커넥터, 파이어 와이어, Thunderbolt, 이더넷, 섬유 채널 등과 같은 네트워크 및 포트 인터페이스(515)를 포함한다. 예시적인 네트워크 및 포트 인터페이스(515)는 또한, IEEE 802.11 트랜시버, 적외선 트랜시버, 블루투스 트랜시버, 무선 셀룰러 텔레포니 트랜시버(예를 들어, 2G, 3G, 4G 등), 또는 프로세싱 시스템(500)을 다른 디바이스, 외부 컴포넌트 또는 네트워크와 접속시키고 저장된 명령어, 데이터, 토큰 등을 수신하기 위한 다른 무선 프로토콜과 같은 무선 트랜시버들을 포함한다.
데이터 프로세싱 시스템(500)은 또한, 디스플레이 제어기 및 디스플레이 디바이스(520) 및 하나 이상의 입력 또는 출력("I/O") 디바이스 및 인터페이스(525)를 포함한다. 디스플레이 제어기 및 디스플레이 디바이스(520)는 사용자를 위한 시각적 사용자 인터페이스를 제공한다. I/O 디바이스(525)는, 사용자가 시스템에 입력을 제공하고, 시스템으로부터 출력을 수신하고, 그렇지 않으면 시스템에 그리고 시스템으로부터 데이터를 전송하도록 허용한다. I/O 디바이스(525)는, 마우스, 키패드 또는 키보드, 터치 패널 또는 멀티-터치 입력 패널, 카메라, 광학 스캐너, 오디오 입력/출력(예를 들어, 마이크로폰 및/또는 스피커), 다른 공지된 I/O 디바이스 또는 이러한 I/O 디바이스의 조합을 포함할 수 있다. 도 5에 도시된 다양한 컴포넌트를 상호접속시키기 위해 하나 이상의 버스가 이용될 수 있음을 인식할 것이다.
데이터 프로세싱 시스템(500)은, 적어도 하나의 물리적 디스플레이 및 적어도 하나의 가상 디스플레이를 갖는 확장된 데스크탑을 사용자에게 제공하는 멀티-디스플레이 시스템의 하나 이상의 예시적인 표현이다. 예시적인 데이터 프로세싱 시스템(500)은, 도 1의 멀티-디스플레이 시스템(100) 또는 도 4의 멀티-디스플레이 시스템(400), 도 1의 컴퓨터 시스템(101), 도 4의 컴퓨터 시스템(409), 도 1의 헤드 장착 디스플레이(105), 및 도 4의 헤드 장착 디스플레이(403)이다. 데이터 프로세싱 시스템(500)은, 비디오 헤드 장착 디스플레이, 광학 헤드 장착 디스플레이, 데스크탑 컴퓨터, 개인용 컴퓨터, 태블릿-스타일 디바이스, 개인 휴대 정보 단말(PDA), PDA-형 기능을 갖는 셀룰러 전화, Wi-Fi 기반 전화, 셀룰러 전화를 포함하는 핸드헬드 컴퓨터, 미디어 플레이어, 엔터테인먼트 시스템, 또는 하나의 디바이스에서 PDA 및 셀룰러 전화와 결합된 미디어 플레이어와 같은, 이러한 디바이스의 양상 또는 기능을 결합하는 디바이스일 수 있다. 다른 실시예에서, 데이터 프로세싱 시스템(500)은 네트워크 컴퓨터, 서버, 또는 다른 디바이스 또는 소비자 전자 제품 내에 내장된 프로세싱 디바이스일 수 있다. 본원에서 사용되는 바와 같이, 용어 컴퓨터, 디바이스, 시스템, 프로세싱 시스템, 프로세싱 디바이스, 컴퓨터 시스템 및 "프로세싱 디바이스를 포함하는 장치"는 데이터 프로세싱 시스템(500)과 상호 교환가능하게 사용될 수 있고, 앞서 나열된 예시적인 실시예를 포함할 수 있다.
도시되지 않은 추가적인 컴포넌트가 또한 데이터 프로세싱 시스템(500)의 일부일 수 있고, 특정 실시예에서는, 도 5에 도시된 것보다 더 적은 컴포넌트가 또한 데이터 프로세싱 시스템(500)에서 이용될 수 있다. 본 발명의 양상이 적어도 부분적으로 소프트웨어로 구현될 수 있음은 본 설명으로부터 자명할 것이다. 즉, 컴퓨터로 구현된 방법(300)은, 컴퓨터 시스템 또는 다른 데이터 프로세싱 시스템(500)의 프로세서 또는 프로세싱 시스템(505)이 메모리(510) 또는 다른 비일시적 머신 판독가능 저장 매체와 같은 메모리에 포함된 명령어의 시퀀스를 실행하는 것에 대한 응답으로, 컴퓨터 시스템 또는 다른 데이터 프로세싱 시스템(500)에서 수행될 수 있다. 소프트웨어는 네트워크 인터페이스 디바이스(515)를 통해 네트워크(미도시) 상에서 추가로 송신 또는 수신될 수 있다. 다양한 실시예에서, 하드와이어링된 회로가 본 실시예를 구현하기 위한 소프트웨어 명령어와 함께 이용될 수 있다. 따라서, 본 기술은, 하드웨어 회로 및 소프트웨어의 임의의 특정 조합, 또는 데이터 프로세싱 시스템(500)에 의해 실행되는 명령어에 대한 임의의 특정 소스로 제한되지 않는다.
앞서 설명된 실시예의 기능 중 적어도 일부를 제공하는 프로그램 코드를 저장하기 위한 제조 물품이 이용될 수 있다. 추가적으로, 앞서 설명된 실시예의 기능 중 적어도 일부를 이용하여 생성되는 프로그램 코드를 저장하기 위한 제조 물품이 이용될 수 있다. 프로그램 코드를 저장하는 제조 물품은, 하나 이상의 메모리(예를 들어, 하나 이상의 플래쉬 메모리, 랜덤 액세스 메모리 - 정적, 동적 등), 광학 디스크, CD-ROM, DVD-ROM, EPROM, EEPROM, 자기 또는 광학 카드 또는 전자 명령어를 저장하기에 적합한 다른 타입의 비일시적 머신 판독가능 매체로 구현될 수 있지만, 이에 제한되는 것은 아니다. 추가적으로, 본 발명의 실시예는, FPGA, ASIC, 프로세서, 컴퓨터, 또는 네트워크를 포함하는 컴퓨터 시스템을 활용하는 하드웨어 또는 펌웨어에서 구현될 수 있지만, 이에 제한되는 것은 아니다. 본 발명의 실시예를 상당히 변경함이 없이, 하드웨어 또는 소프트웨어 구현의 모듈 및 컴포넌트는 분할되거나 결합될 수 있다.
전술한 명세서에서, 헤드 장착 디스플레이에 의해 확장된 디스플레이를 제공하는 시스템 및 방법의 특정 실시예가 참조되었다. 상기 설명 및 도면은, 헤드 장착 디스플레이에 의한 확장된 디스플레이를 제공하는 시스템 및 방법의 예시이고, 헤드 장착 디스플레이에 의한 확장된 디스플레이를 제공하는 시스템 및 방법을 제한하는 것으로 해석되어서는 안된다. 헤드 장착 디스플레이에 의한 확장된 디스플레이를 제공하는 시스템 및 방법의 더 넓은 사상 및 범주로부터 벗어남이 없이, 이에 대한 다양한 수정이 행해질 수 있음은 자명할 것이다.

Claims (25)

  1. 헤드 장착 디스플레이(HMD)로서,
    적어도 하나의 가상 디스플레이를 생성하기 위한 생성 로직;
    투명(see-through) 디스플레이; 및
    상기 투명 디스플레이 상에 상기 적어도 하나의 가상 디스플레이를 제시하기 위한 프리젠테이션 유닛을 포함하고,
    상기 투명 디스플레이는, 사용자가 실세계 장면(a real-world scene)에서 상기 적어도 하나의 가상 디스플레이 및 물리적 디스플레이를 시청할 수 있게 하도록 구성되고,
    상기 적어도 하나의 가상 디스플레이는, 상기 실세계 장면에서 추가적인 오브젝트로서 상기 투명 디스플레이 상에 제시되고,
    상기 적어도 하나의 가상 디스플레이는 상기 물리적 디스플레이와 함께 이용되어 상기 사용자의 시각적 관점으로부터 확장된 데스크탑에 컴퓨터로 생성된 정보(computer-generated information)를 제시하는
    헤드 장착 디스플레이(HMD).
  2. 제 1 항에 있어서,
    상기 컴퓨터로 생성된 정보는, 상기 물리적 디스플레이가 상기 HMD의 시야(field of vision) 내에 있는 경우에만 상기 확장된 데스크탑에 제시되는
    헤드 장착 디스플레이(HMD).
  3. 제 1 항에 있어서,
    상기 확장된 데스크탑에 제시되는 상기 컴퓨터로 생성된 정보를 저장하기 위한 메모리를 더 포함하고,
    상기 저장된 컴퓨터로 생성된 정보는, 상기 물리적 디스플레이가 상기 HMD의 시야에 없는 경우에만 상기 가상 디스플레이에 배타적으로 제시되는
    헤드 장착 디스플레이(HMD).
  4. 제 3 항에 있어서,
    계산 로직을 더 포함하며,
    상기 계산 로직은,
    상기 헤드 장착 디스플레이의 위치를 결정하고;
    적어도 상기 헤드 장착 디스플레이의 결정된 위치에 기초하여 상기 물리적 디스플레이의 위치를 결정하고;
    적어도 상기 물리적 디스플레이의 결정된 위치에 기초하여, 상기 물리적 디스플레이의 표면 위치 및 스크린 면적을 결정하고;
    상기 헤드 장착 디스플레이의 결정된 위치, 상기 물리적 디스플레이의 결정된 위치, 상기 물리적 디스플레이의 결정된 표면 위치, 및 상기 물리적 디스플레이의 결정된 스크린 면적을 상기 생성 로직에 제공하는
    헤드 장착 디스플레이(HMD).
  5. 제 4 항에 있어서,
    상기 계산 로직은,
    상기 물리적 디스플레이의 물리적 이동,
    상기 HMD의 물리적 이동, 및
    상기 HMD의 위치에 대한 이전 결정, 상기 물리적 디스플레이의 위치에 대한 이전 결정, 상기 물리적 디스플레이의 표면 위치에 대한 이전 결정 및 상기 물리적 디스플레이의 스크린 면적에 대한 이전 결정 중 적어도 하나로부터 경과된 시간량
    중 적어도 하나에 대한 응답으로,
    상기 헤드 장착 디스플레이의 위치, 상기 물리적 디스플레이의 위치, 상기 물리적 디스플레이의 표면 위치 및 상기 물리적 디스플레이의 스크린 면적을 재결정하는
    헤드 장착 디스플레이(HMD).

  6. 제 4 항 또는 제 5 항에 있어서,
    상기 계산 로직은 상기 물리적 디스플레이의 각각의 꼭지점(vertex) 사이의 각각의 각도를 또한 결정하고, 상기 계산 로직은, 상기 결정된 각도를 이용하여 상기 물리적 디스플레이의 표면 위치 및 스크린 면적 중 적어도 하나를 변경하는
    헤드 장착 디스플레이(HMD).
  7. 제 6 항에 있어서,
    상기 생성 로직은, 상기 물리적 디스플레이의 스크린 면적의 배수인 스크린 면적을 가진 적어도 하나의 가상 디스플레이를 생성하고,
    적어도 하나의 눈-추적 센서에 의해 눈-추적 데이터가 수집되고,
    상기 생성 로직은,
    상기 수집된 눈-추적 데이터,
    상기 헤드 장착 디스플레이의 결정된 위치,
    상기 물리적 디스플레이의 결정된 위치,
    상기 물리적 디스플레이의 결정된 표면 위치, 및
    상기 물리적 디스플레이의 결정된 스크린 면적
    중 적어도 하나에 기초하여, 상기 적어도 하나의 가상 디스플레이를 생성하는
    헤드 장착 디스플레이(HMD).
  8. 제 1 항에 있어서,
    상기 물리적 디스플레이 및 상기 적어도 하나의 가상 디스플레이에 할당될 상기 확장된 데스크탑의 제 1 부분과 제 2 부분 사이에서, 원하는 상대적인 디스플레이 배향을 결정하기 위한 관점 로직(a perspective logic); 및
    상기 원하는 상대적인 디스플레이 배향을 갖는 상기 확장된 데스크탑의 제 1 부분 및 제 2 부분을 구성하기 위한 연관 로직을 더 포함하고,
    상기 적어도 하나의 가상 디스플레이는 상기 물리적 디스플레이와 함께 이용되어 상기 사용자의 시각적 관점으로부터 상기 확장된 데스크탑의 구성된 제 1 부분 및 제 2 부분을 제시하는
    헤드 장착 디스플레이(HMD).
  9. 제 1 항에 있어서,
    상기 적어도 하나의 가상 디스플레이는, 상기 사용자의 시각적 관점으로부터 상기 실세계 장면에서 상기 물리적 디스플레이에 인접하게 위치되는 추가적인 오브젝트로서 상기 투명 디스플레이 상에 제시되는
    헤드 장착 디스플레이(HMD).
  10. 제 1 항에 있어서,
    상기 적어도 하나의 가상 디스플레이는, 상기 사용자의 시각적 관점으로부터 상기 실세계 장면에서 상기 물리적 디스플레이에 중첩되는 추가적인 오브젝트로서 상기 투명 디스플레이 상에 제시되는
    헤드 장착 디스플레이(HMD).
  11. 컴퓨터로 구현된 방법으로서,
    헤드 장착 디스플레이(HMD)를 사용하여, 적어도 하나의 가상 디스플레이를 생성하는 단계; 및
    상기 HMD 상에 상기 적어도 하나의 가상 디스플레이를 제시하는 단계를 포함하고,
    상기 HMD는, 사용자가 실세계 장면에서 상기 적어도 하나의 가상 디스플레이 및 물리적 디스플레이를 시청할 수 있게 하도록 구성되고,
    상기 적어도 하나의 가상 디스플레이는, 상기 실세계 장면에서 추가적인 오브젝트로서 상기 HMD 상에 제시되고,
    상기 적어도 하나의 가상 디스플레이는 상기 물리적 디스플레이와 함께 이용되어 상기 사용자의 시각적 관점으로부터 확장된 데스크탑에 컴퓨터로 생성된 정보를 제시하는
    컴퓨터로 구현된 방법.
  12. 제 11 항에 있어서,
    상기 컴퓨터로 생성된 정보는, 상기 물리적 디스플레이가 상기 HMD의 시야 내에 있는 경우에만 상기 확장된 데스크탑에 제시되는
    컴퓨터로 구현된 방법.
  13. 제 11 항에 있어서,
    상기 확장된 데스크탑에 제시되는 상기 컴퓨터로 생성된 정보를 저장하는 단계를 더 포함하고,
    상기 저장된 컴퓨터로 생성된 정보는, 상기 물리적 디스플레이가 상기 HMD의 시야에 없는 경우에만 상기 가상 디스플레이에 배타적으로 제시되는
    컴퓨터로 구현된 방법.
  14. 제 13 항에 있어서,
    상기 헤드 장착 디스플레이의 위치를 결정하는 단계;
    적어도 상기 헤드 장착 디스플레이의 결정된 위치에 기초하여 상기 물리적 디스플레이의 위치를 결정하는 단계;
    적어도 상기 물리적 디스플레이의 결정된 위치에 기초하여, 상기 물리적 디스플레이의 표면 위치 및 스크린 면적을 결정하는 단계; 및
    상기 헤드 장착 디스플레이의 결정된 위치, 상기 물리적 디스플레이의 결정된 위치, 상기 물리적 디스플레이의 결정된 표면 위치, 및 상기 물리적 디스플레이의 결정된 스크린 면적을 상기 HMD에 제공하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  15. 제 14 항에 있어서,
    상기 물리적 디스플레이의 물리적 이동,
    상기 HMD의 물리적 이동, 및
    상기 HMD의 위치에 대한 이전 결정, 상기 물리적 디스플레이의 위치에 대한 이전 결정, 상기 물리적 디스플레이의 표면 위치에 대한 이전 결정 및 상기 물리적 디스플레이의 스크린 면적에 대한 이전 결정 중 적어도 하나로부터 경과된 시간량
    중 적어도 하나에 대한 응답으로,
    상기 헤드 장착 디스플레이의 위치, 상기 물리적 디스플레이의 위치, 상기 물리적 디스플레이의 표면 위치 및 상기 물리적 디스플레이의 스크린 면적을 재결정하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  16. 제 14 항 또는 제 15 항에 있어서,
    상기 물리적 디스플레이의 위치를 결정하는 단계는 상기 물리적 디스플레이의 각각의 꼭지점 사이의 각각의 각도를 결정하는 단계를 더 포함하고, 상기 물리적 디스플레이의 표면 위치 및 스크린 면적 중 적어도 하나는, 상기 결정된 각도를 이용하여 변경되는
    컴퓨터로 구현된 방법.
  17. 제 16 항에 있어서,
    상기 생성하는 단계는, 상기 물리적 디스플레이의 스크린 면적의 배수인 스크린 면적을 가진 적어도 하나의 가상 디스플레이를 생성하는 단계를 포함하고,
    상기 생성하는 단계는 눈-추적 데이터를 수집하는 단계를 포함하고,
    상기 생성하는 단계는,
    상기 수집된 눈-추적 데이터,
    상기 헤드 장착 디스플레이의 결정된 위치,
    상기 물리적 디스플레이의 결정된 위치,
    상기 물리적 디스플레이의 결정된 표면 위치, 및
    상기 물리적 디스플레이의 결정된 스크린 면적
    중 적어도 하나에 기초하여, 상기 적어도 하나의 가상 디스플레이를 생성하는 단계를 포함하는
    컴퓨터로 구현된 방법.
  18. 제 11 항에 있어서,
    상기 물리적 디스플레이 및 상기 적어도 하나의 가상 디스플레이에 할당될 상기 확장된 데스크탑의 제 1 부분과 제 2 부분 사이에서 원하는 상대적인 디스플레이 배향을 결정하는 단계; 및
    상기 원하는 상대적인 디스플레이 배향을 갖는 상기 확장된 데스크탑의 제 1 부분 및 제 2 부분을 구성하는 단계를 더 포함하고,
    상기 적어도 하나의 가상 디스플레이는 상기 물리적 디스플레이와 함께 이용되어 상기 사용자의 시각적 관점으로부터 상기 확장된 데스크탑의 구성된 제 1 부분 및 제 2 부분을 제시하는
    컴퓨터로 구현된 방법.
  19. 제 11 항에 있어서,
    상기 적어도 하나의 가상 디스플레이는, 상기 사용자의 시각적 관점으로부터 상기 실세계 장면에서 상기 물리적 디스플레이에 인접하게 위치되는 추가적인 오브젝트로서 상기 HMD 상에 제시되는
    컴퓨터로 구현된 방법.
  20. 제 11 항에 있어서,
    상기 적어도 하나의 가상 디스플레이는, 상기 사용자의 시각적 관점으로부터 상기 실세계 장면에서 상기 물리적 디스플레이에 중첩되는 추가적인 오브젝트로서 상기 HMD 상에 제시되는
    컴퓨터로 구현된 방법.
  21. 멀티-디스플레이 시스템으로서,
    물리적 디스플레이 ―상기 물리적 디스플레이는 컴퓨터로 생성된 정보를 사용자에게 제시하기 위해 이용됨―;
    가상 디스플레이를 생성하기 위한 생성 로직;
    헤드 장착 디스플레이(HMD); 및
    확장된 데스크탑에 제시되는 상기 컴퓨터로 생성된 정보를 저장하기 위한 메모리를 포함하고,
    상기 HMD는,
    투명 디스플레이; 및
    상기 투명 디스플레이 상에 적어도 하나의 가상 디스플레이를 제시하기 위한 프리젠테이션 유닛을 포함하고,
    상기 투명 디스플레이는, 상기 사용자가 실세계 장면에서 상기 적어도 하나의 가상 디스플레이 및 상기 물리적 디스플레이를 시청할 수 있게 하도록 구성되고,
    상기 적어도 하나의 가상 디스플레이는, 상기 실세계 장면에서 추가적인 오브젝트로서 상기 투명 디스플레이 상에 제시되고,
    상기 적어도 하나의 가상 디스플레이는 상기 물리적 디스플레이와 함께 이용되어 상기 사용자의 시각적 관점으로부터 상기 확장된 데스크탑에 상기 컴퓨터로 생성된 정보를 제시하고,
    상기 저장된 컴퓨터로 생성된 정보는, 상기 물리적 디스플레이가 상기 HMD의 시야에 없는 경우에만 상기 가상 디스플레이에 배타적으로 제시되는
    멀티-디스플레이 시스템.
  22. 제 21 항에 있어서,
    상기 헤드 장착 디스플레이의 위치를 결정하고;
    적어도 상기 헤드 장착 디스플레이의 결정된 위치에 기초하여 상기 물리적 디스플레이의 위치를 결정하고;
    적어도 상기 물리적 디스플레이의 결정된 위치에 기초하여, 상기 물리적 디스플레이의 표면 위치 및 스크린 면적을 결정하고;
    상기 헤드 장착 디스플레이의 결정된 위치, 상기 물리적 디스플레이의 결정된 위치, 상기 물리적 디스플레이의 결정된 표면 위치, 및 상기 물리적 디스플레이의 결정된 스크린 면적을 상기 생성 로직에 제공하기 위한
    계산 로직을 더 포함하고,
    상기 계산 로직은,
    상기 물리적 디스플레이의 물리적 이동,
    상기 HMD의 물리적 이동, 및
    상기 HMD의 위치에 대한 이전 결정, 상기 물리적 디스플레이의 위치에 대한 이전 결정, 상기 물리적 디스플레이의 표면 위치에 대한 이전 결정 및 상기 물리적 디스플레이의 스크린 면적에 대한 이전 결정 중 적어도 하나로부터 경과된 시간량
    중 적어도 하나에 대한 응답으로,
    상기 헤드 장착 디스플레이의 위치, 상기 물리적 디스플레이의 위치, 상기 물리적 디스플레이의 표면 위치 및 상기 물리적 디스플레이의 스크린 면적을 재결정하도록 구성되는
    멀티-디스플레이 시스템.
  23. 장치로서,
    적어도 하나의 가상 디스플레이를 생성하기 위한 수단; 및
    상기 장치 상에 상기 적어도 하나의 가상 디스플레이를 제시하기 위한 수단;
    확장된 데스크탑에 제시되는 컴퓨터로 생성된 정보를 저장하기 위한 수단을 포함하고,
    상기 장치는, 사용자가 실세계 장면에서 상기 적어도 하나의 가상 디스플레이 및 물리적 디스플레이를 시청할 수 있게 하도록 구성되고,
    상기 적어도 하나의 가상 디스플레이는, 상기 실세계 장면에서 추가적인 오브젝트로서 상기 제시하기 위한 수단 상에 제시되고,
    상기 적어도 하나의 가상 디스플레이는 상기 물리적 디스플레이와 함께 이용되어 상기 사용자의 시각적 관점으로부터 상기 확장된 데스크탑에 상기 컴퓨터로 생성된 정보를 제시하고,
    상기 저장된 컴퓨터로 생성된 정보는, 상기 물리적 디스플레이가 상기 장치의 시야에 없는 경우에만 상기 가상 디스플레이에 배타적으로 제시되는
    장치.
  24. 제 23 항에 있어서,
    상기 적어도 하나의 가상 디스플레이는, 상기 사용자의 시각적 관점으로부터 상기 실세계 장면에서 상기 물리적 디스플레이에 인접하게 위치되는 추가적인 오브젝트로서 상기 제시하기 위한 수단 상에 제시되는
    장치.
  25. 제 23 항에 있어서,
    상기 적어도 하나의 가상 디스플레이는, 상기 사용자의 시각적 관점으로부터 상기 실세계 장면에서 상기 물리적 디스플레이에 중첩되는 추가적인 오브젝트로서 상기 제시하기 위한 수단 상에 제시되는
    장치.
KR1020167014007A 2013-12-27 2013-12-27 헤드 장착 디스플레이로 확장된 디스플레이를 제공하는 디바이스, 방법 및 시스템 KR101877846B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/090728 WO2015096145A1 (en) 2013-12-27 2013-12-27 Device, method, and system of providing extended display with head mounted display

Publications (2)

Publication Number Publication Date
KR20160077159A true KR20160077159A (ko) 2016-07-01
KR101877846B1 KR101877846B1 (ko) 2018-07-12

Family

ID=53477407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167014007A KR101877846B1 (ko) 2013-12-27 2013-12-27 헤드 장착 디스플레이로 확장된 디스플레이를 제공하는 디바이스, 방법 및 시스템

Country Status (8)

Country Link
US (1) US10310265B2 (ko)
EP (2) EP3525033B1 (ko)
JP (1) JP6352426B2 (ko)
KR (1) KR101877846B1 (ko)
CN (1) CN105793764B (ko)
BR (1) BR112016012076A2 (ko)
RU (1) RU2643222C2 (ko)
WO (1) WO2015096145A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190016471A (ko) * 2018-10-25 2019-02-18 에스케이텔레콤 주식회사 증강현실 영상의 디스플레이 방법 및 이에 사용되는 장치
WO2020004967A1 (ko) * 2018-06-28 2020-01-02 주식회사 알파서클 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3097448A1 (en) * 2014-01-21 2016-11-30 Trophy Method for implant surgery using augmented visualization
JP2017130190A (ja) * 2015-12-04 2017-07-27 株式会社半導体エネルギー研究所 電子機器、表示システム
JP2017130201A (ja) 2016-01-20 2017-07-27 株式会社半導体エネルギー研究所 入力システム、および電子機器
US10317989B2 (en) 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
EP3436908A4 (en) 2016-07-22 2019-11-20 Hewlett-Packard Development Company, L.P. DISPLAY OF ADDITIONAL INFORMATION
WO2018090060A1 (en) * 2016-11-14 2018-05-17 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
CN108664082A (zh) * 2017-04-01 2018-10-16 北京暴风魔镜科技有限公司 头戴式显示设备、电子设备、显示虚拟场景的方法及装置
US10726574B2 (en) 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
JP2018181261A (ja) * 2017-04-21 2018-11-15 京セラドキュメントソリューションズ株式会社 表示装置
CN109804333B (zh) * 2017-06-15 2021-05-28 腾讯科技（深圳）有限公司 基于用户的物理尺寸定制用户界面面板的系统和方法
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
DE102017126748A1 (de) * 2017-11-14 2019-05-16 Zimmermann Holding-Ag Verfahren zur Darstellung eines dreidimensionalen Objekts sowie diesbezügliches Computerprogrammprodukt, digitales Speichermedium und Computersystem
EP3669332A4 (en) * 2017-11-30 2021-04-07 Hewlett-Packard Development Company, L.P. VIRTUAL DASHBOARD IMPLEMENTATIONS BASED ON AUGMENTED REALITY
CN108154864B (zh) * 2017-12-22 2020-02-21 联想(北京)有限公司 显示屏处理方法、第一电子设备以及第二电子设备
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
CN112368668B (zh) * 2018-07-03 2024-03-22 瑞典爱立信有限公司 用于混合现实头戴式耳机的便携式电子设备
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
CN111399631B (zh) * 2019-01-03 2021-11-05 广东虚拟现实科技有限公司 虚拟内容显示方法、装置、终端设备及存储介质
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US11379033B2 (en) * 2019-09-26 2022-07-05 Apple Inc. Augmented devices
TWI745955B (zh) * 2020-05-06 2021-11-11 宏碁股份有限公司 擴增實境系統與其錨定顯示方法
CN113703161B (zh) * 2020-05-22 2023-07-25 宏碁股份有限公司 扩增实境系统与其锚定显示方法
US11927761B1 (en) 2020-07-21 2024-03-12 Apple Inc. Head-mounted display systems
TWI757824B (zh) * 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
CN114911398A (zh) * 2021-01-29 2022-08-16 伊姆西Ip控股有限责任公司 显示图形界面方法、电子设备和计算机程序产品
US20240070931A1 (en) * 2021-03-11 2024-02-29 Dathomir Laboratories Llc Distributed Content Rendering
EP4325341A4 (en) 2021-09-15 2024-04-17 Samsung Electronics Co Ltd DEVICE AND METHOD FOR DISPLAYING EXTENDED SCREEN OF MOBILE DEVICE
EP4202611A1 (en) * 2021-12-27 2023-06-28 Koninklijke KPN N.V. Rendering a virtual object in spatial alignment with a pose of an electronic device
CN117056869A (zh) * 2023-10-11 2023-11-14 轩创(广州)网络科技有限公司 一种基于人工智能的电子信息数据关联方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240491A (ja) 1997-02-26 1998-09-11 Olympus Optical Co Ltd 情報処理装置
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
JP2007097902A (ja) * 2005-10-05 2007-04-19 Gifu Univ 超音波検査システム
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
JP2009245390A (ja) 2008-03-31 2009-10-22 Brother Ind Ltd 表示処理装置及び表示処理システム
JP5262688B2 (ja) * 2008-12-24 2013-08-14 ブラザー工業株式会社 プレゼンテーションシステム及びそのプログラム
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
JP2013127489A (ja) 2010-03-29 2013-06-27 Panasonic Corp シースルーディスプレイ
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JP2012220602A (ja) 2011-04-06 2012-11-12 Konica Minolta Holdings Inc 投影装置、制御装置、および制御方法
JP5691802B2 (ja) * 2011-04-28 2015-04-01 コニカミノルタ株式会社 投影システム、投影装置、投影方法、および制御プログラム
JP2012233963A (ja) * 2011-04-28 2012-11-29 Konica Minolta Holdings Inc 投影システム、投影装置、投影方法、および制御プログラム
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
JP5563625B2 (ja) * 2012-06-29 2014-07-30 株式会社ソニー・コンピュータエンタテインメント 画像解析装置、画像解析方法、および画像解析システム
JP5796726B2 (ja) * 2013-03-29 2015-10-21 コニカミノルタ株式会社 ジョブ情報表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004967A1 (ko) * 2018-06-28 2020-01-02 주식회사 알파서클 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
KR20190016471A (ko) * 2018-10-25 2019-02-18 에스케이텔레콤 주식회사 증강현실 영상의 디스플레이 방법 및 이에 사용되는 장치

Also Published As

Publication number Publication date
RU2016120976A (ru) 2017-12-01
JP6352426B2 (ja) 2018-07-04
EP3525033B1 (en) 2021-07-21
EP3525033A1 (en) 2019-08-14
EP3087427A1 (en) 2016-11-02
KR101877846B1 (ko) 2018-07-12
EP3087427A4 (en) 2017-08-02
JP2017510106A (ja) 2017-04-06
WO2015096145A1 (en) 2015-07-02
EP3087427B1 (en) 2019-01-30
RU2643222C2 (ru) 2018-01-31
CN105793764B (zh) 2018-11-30
US10310265B2 (en) 2019-06-04
CN105793764A (zh) 2016-07-20
US20170168296A1 (en) 2017-06-15
BR112016012076A2 (pt) 2017-08-08

Similar Documents

Publication Publication Date Title
KR101877846B1 (ko) 헤드 장착 디스플레이로 확장된 디스플레이를 제공하는 디바이스, 방법 및 시스템
US20220196840A1 (en) Using photometric stereo for 3d environment modeling
US20210034161A1 (en) Object motion tracking with remote device
CN109791442B (zh) 表面建模系统和方法
US9829989B2 (en) Three-dimensional user input
KR20220030294A (ko) 인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스
JP2022535316A (ja) スライドメニューを有する人工現実システム
US20160343166A1 (en) Image-capturing system for combining subject and three-dimensional virtual space in real time
WO2016118369A1 (en) Applying real world scale to virtual content
US20190094955A1 (en) Range finding and accessory tracking for head-mounted display systems
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
CN110709897A (zh) 用于插入到图像中的图像内容的阴影生成
JP2022534639A (ja) 指マッピング自己触覚型入力方法を有する人工現実システム
CN115335894A (zh) 用于虚拟和增强现实的系统和方法
JP4493082B2 (ja) Ｃｇ提示装置及びそのプログラム、並びに、ｃｇ表示システム
WO2020081677A9 (en) Mobile platform as a physical interface for interaction

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)