KR102465654B1

KR102465654B1 - 헤드 마운트 디스플레이 디바이스 및 그에 대한 방법

Info

Publication number: KR102465654B1
Application number: KR1020207018867A
Authority: KR
Inventors: 호세 아라우조; 소마 타야몬
Original assignee: 텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2022-11-09
Also published as: DK3729378T3; CN111492405B; JP7012163B2; EP3901915A2; IL275047B2; JP2021508109A; EP3729378B1; MA54342B1; US20220301226A1; IL275047A; US11380018B2; CA3084686C; RU2749643C1; EP3901915A3; PL3729378T3; US20200388054A1; BR112020012291A2; CA3084686A1; MA54342A; EP3729378A1

Abstract

사용자(121)가 착용하도록 구성된 헤드 마운트 디스플레이 디바이스(HMD)(100)가 제공된다. HMD는 적어도 부분적인 투시 디스플레이(101), 실제 장면의 제1 이미지를 캡처하도록 동작되는 전면 카메라(102), 및 제1 이미지에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부(130-135)로부터 교정 객체를 선택하고, 디스플레이 상에서 디스플레이 위치에 디스플레이된 가상 객체가 사용자가 보는 것과 같이, 실제 위치에 놓인 대응하는 실제 객체와 정렬되도록, 실제 위치를 기반으로 디스플레이 위치를 계산하기 위한 교정 변환을 유도하도록 동작되는 프로세싱 수단(104)을 포함한다.

Description

헤드 마운트 디스플레이 디바이스 및 그에 대한 방법

본 발명은 헤드 마운트 디스플레이 디바이스, 헤드 마운트 디스플레이 디바이스에 의해 실행되는 방법, 대응하는 컴퓨터 프로그램, 및 대응하는 컴퓨터-판독가능 저장 매체에 관한 것이다.

혼합 현실(Mixed Reality, MR)은 네트워크 사회에서 필수적인 기술이 되어 소비자 전자 시장을 강력하게 방해할 것으로 예상된다. 혼합 현실은 증강 현실(Augmented Reality, AR) 및 증강 가상(Augmented Virtuality, AV)을 포함한다.

AR은 때로 스마트폰 및 태블릿과 같은 휴대용 디바이스를 통해, 또는 마이크로소프트 홀로렌즈(Microsoft HoloLens)와 같은 헤드 마운트 디스플레이(Head-Mounted Displays, HMD)를 통해 (또한, 헤드 마운트 디스플레이 디바이스라 공지된) 실행된다. HMD를 통한 AR은 투시 디스플레이(see-through display)를 통해 실제 세계에 대한 사용자의 뷰(view) 상에 텍스트, 이미지, 또는 비디오와 같은 정보를 레이어링(layering) 하는 것을 의미한다.

HMD와 같이, 투시 디스플레이를 갖는 디스플레이 디바이스는 실감적인 사용자 경험을 제공하기 위해 교정을 요구한다. 교정의 목적은 디스플레이된 가상 객체가 투시 디스플레이를 통해 사용자에게 보여지는 실제 세계의 객체와 정확하게 정렬되도록 HMD의 투시 디스플레이 상에 텍스트, 이미지, 및 비디오와 같은 가상 객체를 디스플레이하는 것을 가능하게 하는 것이다. 실제로, 실제 세계의 이미지를 캡처하고 또한/또는 실제 세계의 객체를 추적하기 위한 전면 카메라, 및 사용자의 눈을 추적하기 위한 시선 카메라와 같이, HMD에 포함된 임의의 카메라의 각 포즈 및 디스플레이의 포즈에 부가하여, 사용자의 눈 포즈를 알야야 한다.

HMD에 대해 공지된 교정 방법의 개요는 J. Grubert, Y.　Itoh, K.　Moser, 및 J.　E.　Swan II ("광학식 투시 헤드 마운트 디스플레이를 위한 교정 방법의 조사(A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays)", arXiv: 1709.04299v1, 2017 9월 13일)에 의해 주어진다. 이러한 교정 방법은 일반적으로 HMD가 사용중일 때 수동으로 실행되는 반면, 일부 교정 방법은 자동화 될 수 있다. 일부 공지된 교정 방법에서는 현실적이지 않은 교정 장치 및/또는 고가의 교정 장비에 의존하는 것이 일반적이다.

예를 들어, 사용자의 특정한 눈 특성에 대해 교정되는 뷰 매트릭스를 설정하기 위한 수동 교정 과정이 WO 2016/191043 A1에서 설명된다.

또한, A.　Plopski, C.　Nitschke, K.　Kiyokawa, D.　Schmalstieg, 및 H.　Takemura, 가상 현실에 관한 인공 현실 및 텔레익지스턴스 유로그래픽스 심포지움 국제 회의(International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments), The Eurographics Association, 2015에 의한, "하이브리드 아이 트래킹: 홍채 윤곽 및 각막 이미징의 결합(Hybrid Eye Tracking: Combining Iris Contour and Corneal Imaging)"에서 설명된 바와 같이, 사용자의 각막에 의한 실제 장면의 반사를 이미징하기 위한 시선 카메라에 의존하는, 각막 이미징을 기반으로 하는 교정 방법도 공지되어 있다.

본 발명의 목적은 상기 기술 및 종래 기술에 대해 개선된 대안을 제공하는 것이다.

보다 특정하게, 본 발명의 목적은 투시 헤드 마운트 디스플레이 디바이스를 교정하기 위해 개선된 해결법을 제공하는 것이다. 특히, 본 발명의 목적은 교정 과정에서 사용하기 위한 교정 객체를 자동적으로 선택하기 위한 해결법을 제공하는 것이다.

본 발명의 이러한 목적 및 다른 목적은 독립항에 의해 정의된 바와 같은, 본 발명의 다른 측면을 통해 달성된다. 본 발명의 실시예는 종속항에 의해 특징지워진다.

본 발명의 제1 측면에 따라, 헤드 마운트 디스플레이 디바이스가 제공된다. 디스플레이 디바이스는 사용자가 착용하도록 구성되고 적어도 부분적인 투시 디스플레이, 전면 카메라, 및 프로세싱 수단을 포함한다. 전면 카메라는 실제 장면의 제1 이미지를 캡처하도록 동작된다. 일반적으로, 사용자가 착용할 때, 캡처된 실제 장면은 사용자 전면의 장면이다. 프로세싱 수단은 제1 이미지에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 교정 객체를 선택하도록 동작된다. 프로세싱 수단은 또한 디스플레이 위치에서 디스플레이 상에 디스플레이된 가상 객체가 사용자에 의해 보여지는 것과 같이, 실제 위치에 있는 대응하는 실제 객체와 정렬되도록, 실제 위치를 기반으로 디스플레이 위치를 계산하기 위한 교정 변환을 유도하도록 동작한다. 교정 변환은 예를 들면, 두개의 좌표계 사이의 변환을 설명하기에 적절한 매트릭스 또는 다른 형태의 수학적 표현으로 표현될 수 있다.

본 발명의 제2 측면에 따라, 헤드 마운트 디스플레이 디바이스에 의해 실행되는 방법이 제공된다. 디스플레이 디바이스는 사용자가 착용하도록 구성된다. 그 방법은 실제 장면의 제1 이미지에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 교정 객체를 선택하는 단계를 포함한다. 제1 이미지는 디스플레이 디바이스에 포함된 전면 카메라에 의해 캡처된다. 방법은 또한 디스플레이 위치에서 적어도 부분적인 투시 디스플레이 상에 디스플레이된 가상 객체가 사용자에 의해 보여지는 것과 같이, 실제 위치에 있는 대응하는 실제 객체와 정렬되도록, 실제 위치를 기반으로 디스플레이 위치를 계산하기 위한 교정 변환을 유도하는 단계를 포함한다. 적어도 부분적인 투시 디스플레이는 디스플레이 디바이스에 포함된다.

본 발명의 제3 측면에 따라, 컴퓨터 프로그램이 제공된다. 컴퓨터 프로그램은 컴퓨터-실행가능 명령이 디스플레이 디바이스에 포함된 프로세싱 유닛에서 실행될 때, 헤드 마운트 디스플레이 디바이스가 본 발명의 제2 측면의 실시예에 따른 방법을 실행하게 하는 컴퓨터-실행가능 명령을 포함한다.

본 발명의 제4 측면에 따라, 컴퓨터-판독가능 저장 매체가 제공된다. 컴퓨터-판독가능 저장 매체는 그 위에 저장된 본 발명의 제3 측면에 따른 컴퓨터 프로그램을 갖는다.

본 발명은 투시형 헤드 마운트 디스플레이 또는 디스플레이 디바이스(HMD)에 대해 개선된 교정 과정이 예를 들면, 종래 기술에서 공지된 임의의 교정 과정과 같은 교정 과정에서 사용되도록 하나 이상의 실제 객체 중에서 교정 객체를 자동적으로 선택함으로써 달성된다는 이해를 이용한다. 그에 의해, HMD의 사용자는 전용 교정 객체를 유지하거나 운반하는 것이 완화된다. 본 발명의 실시예는 하나 이상의 실제 객체, 즉 전면 카메라에 의해 캡처된 제1 이미지에서 볼 수 있는 사용자 주변에 있는 물리적 객체 중에서 적절한 교정 객체를 선택한다. 이들은 가구, 가전제품, 건물, 문, 창문, 차량, 도로 표지판, 태블릿, 스마트폰, 랩탑, 체커 보드 등과 같이, 전면 카메라의 시야에 있는 실제 객체들이다.

본 발명의 한 실시예에 따라, 디스플레이 디바이스는 또한 사용자의 각막에 의한 실제 장면의 반사의 제2 이미지를 캡처하도록 동작되는 시선 카메라를 포함한다. 프로세싱 수단은 제1 이미지 및 제2 이미지 모두에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 교정 객체를 선택하고, 제1 이미지 및 제2 이미지를 사용하여 교정 변환을 유도하도록 동작된다. 본 발명의 본 실시예는 각막 이미징에 의존하는 교정 방법에 관련된다. 선택적으로, 교정 객체는 시선 카메라의 시야에 대응하는 제1 이미지의 한 영역에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 선택된다. 일반적으로, 시선 카메라의 시야는 전면 카메라 보다 더 작다. 교정 객체가 제1 이미지 및 제2 이미지 모두에서 볼 수 있어야 하므로, 각막 이미징에 의존하는 교정 과정의 일부로 교정 변환을 유도하기 위해, 교정 객체는 유리하게 시선 카메라의 시야에 대응하는 제1 이미지의 일부에서 볼 수 있는 실제 객체 중에서 선택된다. 실제로, 이들은 시선 카메라에 의해 캡처된 제2 이미지에서 또한 볼 수 있는 객체들이다. 유리하게, 각막의 결점으로 인하여, 제1 이미지는 (전면 카메라에 의해 캡처된) 일반적으로 제2 이미지 (시선 카메라에 의해 캡처된) 보다 우수하므로, 제2 이미지와 비교하여, 제1 이미지를 이미지 처리함으로서 실제 객체를 식별하는 것이 더 용이하고, 더 확실하고, 리소스 소모가 더 적다.

본 발명의 한 실시예에 따라, 교정 객체는 제1 이미지와 비교하여, 제2 이미지에서의 교정 객체의 왜곡을 기반으로 선택될 수 있다. 이는 각막 이미징에 의존하는 교정 방법이 사용되는 경우이다. 바람직하게, 최소의 왜곡을 갖는 객체가 선택된다. 이는 제1 및 제2 이미지에 의해 캡처된 것과 동일한 객체를 비교함으로서 교정 변환이 유도되므로 유리하다.

본 발명의 한 실시예에 따라, 교정 객체는 교정 객체의 시각적 외형을 기반으로 선택된다. 예를 들면, 선명하고 또한/또는 높은 명암비를 갖고, 따라서 이미지 처리 또는 객체 인식에 의해 검출하기 쉬운 실제 객체가 바람직하게 선택된다.

본 발명의 한 실시예에 따라, 하나 이상의 실제 객체 중에서 앞서 선택된 교정 객체는 교정 객체로 선택된다. 이는 사용된 교정 객체의 데이터베이스를 유지함으로서 달성될 수 있다.

본 발명의 한 실시예에 따라, 디스플레이 디바이스는 디스플레이 디바이스의 움직임을 추적하도록 동작되는 하나 이상의 모션 센서를 포함한다. 프로세싱 수단은 하나 이상의 실제 객체가 제1 이미지에서 계속 보여지는 지속 시간을 추정하고, 교정 객체가 제1 이미지에서 계속 보여지는 추정된 지속 시간을 기반으로 교정 객체를 선택하도록 동작된다. 하나 이상의 실제 객체가 제1 이미지에서 보여지는 지속 시간은 디스플레이 디바이스의 추적된 움직임을 기반으로 추정된다. 바람직하게, 교정 과정을 실행하기에 충분한 긴 지속 시간 동안 제1 이미지, 및 선택적으로 제2 이미지에서 보여지는 실제 객체가 선택된다. 대안으로, 시야에 대해 느리게 움직이거나 전혀 움직이지 않는 실제 객체가 선택될 수 있다.

본 발명의 한 실시예에 따라, 교정 객체는 하나 이상의 실제 객체의 시각적 특성을 데이터베이스에 저장된 실제 객체의 시각적 특성에 대해 매칭시킴으로서 하나 이상의 실제 객체를 식별하고, 데이터베이스로부터 획득된 정보를 기반으로 교정 객체를 선택함으로써 선택된다. 데이터베이스로부터 획득된 정보는 교정 객체로서, 식별된 실제 객체, 또는 그 일부의 각 적합성을 나타낼 수 있다. 정보는 예를 들면, 시각적 외형, 치수, 기하학적 형태에 대한 실제 객체의 구성 등에 관련될 수 있다. 이에 대해, 시각적 외형이 이미지 처리에 의해 검출되기 쉬운 높은 명암비에 의해 또는 기하학적 형태에 의해 특징지워지는 경우, 실제 객체는 교정 객체로서 더 적절한 것으로 간주된다. 예를 들어, 체커 보드는 높은 명암비 및 간단한 기하학적 형태로 구성됨으로서 특징지워진다. 바람직하게, 가장 적절한 교정 객체가 선택된다.

본 발명의 한 실시예에 따라, 디스플레이 디바이스는 또한 무선 통신 인터페이스를 포함한다. 프로세싱 수단은 무선 통신 인터페이스를 사용하여, 하나 이상의 실제 객체 중에서 디스플레이를 포함하는 통신 디바이스를 식별하고, 통신 디바이스의 디스플레이 및 그에 디스플레이된 그래픽 컨텐츠 중 적어도 하나를 교정 객체로 선택함으로써, 교정 객체를 선택하도록 동작된다. 디스플레이를 포함하는 통신 디바이스는 예를 들어, 주변 통신 디바이스와 무선 통신을 설립하고, 주변 통신 디바이스의 타입, 기능, 또는 제조업체/모델을 문의함으로서 식별될 수 있다. 유리하게, 전면 카메라의 시야에 있는 주변 통신 디바이스는 높은 명암비로 특징지워지고 직사각형, 정사각형, 원 등과 같은 간단한 기하학적 형상으로 구성된 전용 교정 패턴의 형태로 그래픽 컨텐츠를 디스플레이할 수 있다. 선택적으로, 디스플레이 디바이스는 무선 통신 인터페이스를 통해 통신 디바이스로부터 디스플레이된 그래픽 컨텐츠의 표현을 수신할 수 있다. 다른 말로 하면, 통신 디바이스는 디스플레이 디바이스가 디스플레이된 그래픽 컨텐츠를 교정 객체로 사용할 수 있도록, 무슨 그래픽 컨텐츠가 현재 디스플레이되었나를 디스플레이 디바이스에 보고할 수 있다. 대안으로, 디스플레이 디바이스는 통신 디바이스의 디스플레이에 그래픽 컨텐츠를 디스플레이하도록, 무선 통신 인터페이스를 통해 통신 디바이스에 명령을 전송할 수 있다. 명령은 통신 디바이스가 그래픽 컨텐츠를 디스플레이하는 것에 응답하여, 메시지 또는 신호와 같은, 요청이 될 수 있다. 선택적으로, 디스플레이 디바이스는 무선 통신 인터페이스를 통해 무선 디바이스에 그래픽 컨텐츠의 표현을 전송할 수 있다.

본 발명의 한 실시예에 따라, 디스플레이 디바이스는 또한 가상 객체를 디스플레이하는 명령을 수신하도록 동작되고, 명령은 사용자에게 디스플레이될 때 가상 객체의 대응하는 실제 위치를 포함한다. 이는 가상 객체가 배치되는 것으로 나타나는 실제 장면에서의 위치이다. 명령은 예를 들어, 디스플레이 디바이스에 의해 실행되는, 또는 사용자에게 가상 객체를 디스플레이하기 위해 디스플레이 디바이스를 사용하는 AR 애플리케이션으로부터 수신될 수 있다. 디스플레이 디바이스는 또한 수신된 실제 위치에 교정 변환을 적용함으로서 가상 객체의 디스플레이 위치를 계산하고, 계산된 디스플레이 위치에서 디스플레이 상에 가상 객체를 디스플레이하도록 동작된다.

본 발명의 이점이 일부 경우에서 본 발명의 제1 측면의 실시예를 참조로 설명되었지만, 대응하는 추론은 본 발명의 다른 측면의 실시예에 적용된다.

본 발명의 추가 목적, 특성, 및 이점은 다음의 상세한 설명, 도면, 및 첨부된 청구항을 연구할 때 명백해질 것이다. 종래 기술에 숙련된 자는 본 발명의 다른 특성이 조합되어 다음에 설명된 것과 다른 실시예를 생성할 수 있음을 인식한다.

본 발명의 상기 및 추가 목적, 특성, 및 이점은 첨부된 도면을 참조로, 본 발명의 실시예에 대한 다음의 예시적이고 비제한적인 상세 설명을 통해 더 잘 이해될 것이다. 여기서:
도 1은 본 발명의 실시예에 따라, 헤드 마운트 디스플레이 디바이스를 도시한다.
도 2는 본 발명의 실시예에 따라, 도 1의 디스플레이 디바이스의 적어도 부분적인 투시 디스플레이를 통한 뷰를 도시한다.
도 3은 도 1의 디스플레이 디바이스에 포함된 프로세싱 수단의 한 실시예를 도시한다.
도 4는 도 1의 디스플레이 디바이스에 포함된 프로세싱 수단의 또 다른 실시예를 도시한다.
도 5는 본 발명의 실시예에 따라, 헤드 마운트 디스플레이 디바이스에 의해 실행되는 방법을 설명하는 흐름도를 도시한다.
모든 도면은 반드시 축척이 맞추어질 필요 없이 개략적이며, 일반적으로 본 발명을 설명하기 위해 필요한 부분만을 도시하고, 여기서 다른 부분은 생략되거나 단순하게 제안될 수 있다.

본 발명은 이제 본 발명의 특정한 실시예가 도시된 첨부 도면을 참조로 이후 보다 상세히 설명된다. 그러나, 본 발명은 많은 다른 형태로 구현될 수 있고 여기서 설명된 실시예에 제한되는 것으로 구성되지 말아야 한다. 그 보다, 이들 실시예는 본 설명이 종래 기술에 숙련된 자에게 본 발명의 범위를 철저하고 완전하게 모두 전달하게 되도록 예로서 제공된다.

다음에, 헤드 마운트 디스플레이 디바이스(HMD)의 실시예는 사용자가 착용하도록 구성된 HMD(100)를 도시하는 도 1을 참조로 설명된다. HMD(100)는 예를 들어, 끈 등을 사용하여 사용자의 머러(121)에 부착될 수 있다. HMD(100)는 적어도 부분적인 투시 디스플레이(101)를 포함하고, 이를 통해 사용자는 눈(122)을 이용해 사용자의 전면에 있는 실제 장면을 볼 수 있다. 디스플레이(101)는 텍스트, 이미지, 비디오, 또는 다른 타입의 그래픽 컨텐츠와 같은 가상 객체를 사용자에게 디스플레이하는데 사용될 수 있고, 디스플레이된 가상 객체는 실제 장면 상에 오버랩된다. HMD(100)는 또한 실제 장면의 제1 이미지를 캡처하도록 동작되는 전면 카메라(102), 및 여기서 설명되는 본 발명의 실시예에 따라 HMD(100)가 실행하게 하도록 동작되는 프로세싱 수단(104)을 포함한다.

보다 특정하게, HMD(100)는 전면 카메라(102)에 의해 캡처된 제1 이미지에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부(130-135)로부터 교정 객체를 선택하도록 동작된다. 제1 이미지는 전면 카메라(102)의 시야(112) 내에 있는 실제 장면의 뷰를 나타낸다. 본 내용에서, 실제 객체는 가구, 가전 제품, 건물, 문, 창문, 차량, 도로 표지판, 태블릿, 스마트폰, 랩탑, 체커 보드 등과 같은 임의의 물리적인 객체가 될 수 있다. 도 1에서는 몇가지 실제 객체가 태블릿(130), 박스(133), 및 자동차(134)로 예시화된다. 본 발명의 실시예는 예를 들어, 박스(133)와 같이 완전한 실제 객체를 교정 객체로 선택하거나, 태블릿(130)의 디스플레이(131) 또는 그 위에 디스플레이된 그래픽 컨텐츠(132)와 같이 실제 객체의 일부를 교정 객체로 선택할 수 있다. 도 1에서는 그래픽 컨텐츠(132)가 그 분야에서 일반적으로 교정 패턴으로 사용되는 체커 모드로 예시화되고, 이는 높은 명암비 및 간단한 기하학적 형태로의 구성으로 이미지 프로세싱 및 객체 인식을 용이하게 하기 때문이다.

HMD(100)는 또한 실제 위치를 기반으로 디스플레이 위치를 계산하기 위한 교정 변환을 유도하도록 동작된다. 디스플레이 위치는 디스플레이(101)를 통해 사용자의 눈(122)으로 실제 장면을 볼 때 사용자가 보는 것과 같이, 디스플레이(101)의 좌표계와 관련되어, 디스플레이 위치에서 디스플레이(101) 상에 디스플레이되는 가상 객체가 전면 카메라(102)의 좌표계와 관련되어, 실제 위치에 있는 대응하는 실제 객체와 정렬되도록 계산된다.

HMD(100)와 같이 투시 디스플레이에 의존하는 AR에서, 중요한 작업은 다른 좌표계의 상대적인 방향성과 위치, 즉 포즈를 설정하기 위해 HMD를 교정하는 것이다. 본 발명을 설명하기 위해, 몇가지 좌표계가 HMD(100)와 연관될 수 있다. 제1 좌표계는 디스플레이(101)와 연관되고, 제2 좌표계는 전면 카메라(102)와 연관되고, 제3 좌표계는 선택적인 시선 카메라(103)와 (이후 더 설명될) 연관되고, 또한 제4 좌표계는 사용자의 눈(122)과 연관될 수 있다. 적절하게 교정되는 경우에만, 가상 객체는 실제 장면 내의 원하는 위치에 배치되게 보여져 실감적인 사용자 경험을 가능하게 하도록 디스플레이(101) 상에 디스플레이될 수 있다. 당면한 문제점에 대해 설명되고, 수동 교정 과정은 WO 2016/191043 A1에서 제안되었다. 다른 교정 과정의 개요는 J. Grubert, Y. Itoh, K. Moser, 및 J.E. Swan II (arXiv: 1700.04299v1, 2017년 9월 13일)에 의한 "광학식 투시 헤드 마운트 디스플레이를 위한 교정 방법의 조사(A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays)"에서 볼 수 있다.

실제 장면 상에 가상 객체를 오버레이하는 것은 디스플레이(101)를 통해 눈(122)으로 사용자가 보는 것과 같은 실제 장면의 뷰를 도시하는 도 2에서 설명된다. 도 2에서, 실제 객체, 또는 그 일부(130-135)는 디스플레이(102)를 통해 보여지는 반면, 태블릿(130)의 디스플레이(131) 상에 그래픽 컨텐츠로 디스플레이된 체커 보드(132)와 동일한 체커 보드로 여기서 도시되는 가상 객체(232)는 디스플레이(101) 상에 이를 디스플레이함으로서 실제 장면 상에 오버레이된다. 체커 보드(232)가 태블릿(130)의 디스플레이(131) 상에 디스플레이된 체커보드(132)의 실제 위치에 배치된 것으로 보여지도록 디스플레이 위치에 디스플레이된다는 가정 하에서, HMD(100)는 눈(122)으로 보는 것과 같이, 태블릿(130) 상에 디스플레이된 체커 보드(132)와 정렬되도록, 즉 오버레이 되도록 체커 보드(232)를 배치하게 디스플레이 위치를 정정할 필요가 있다. 도 2에서 화살표로 도시된 체커 보드(232)의 요구되는 변위가 교정 과정이 목적이 된다.

HMD(100)는 선택적으로 사용자의 카메라(123)에 의해 실제 장면의 반사의 제2 이미지를 캡처하도록 동작되는 시선 카메라(103)를 포함할 수 있다. 각막 이미징은 사람의 전면에 있는 것에 대한 정보를 모으기 위해, 또한 사람 안구의 구형성으로 인해, 시야를 보는 것 보다 잠재적으로 더 넓은 시야에 있는 객체에 대한 정보를 모으기 위해, 특히 HMD의 사용자에 대한 사람 각막을 이미징하는데 카메라를 사용하는 기술이다. 이러한 객체는 잠재적으로 카메라의 시야 밖에 있고 카메라 뒤에 위치할 수도 있다. 그 기술은 사람 각막의 높은 반사성, 및 HMD와 같은 소비자 디바이스에 고화질 카메라의 이용가능성으로 인해 가능해진다.

교정 과정이 각막 이미징에 의존하면, HMD(100)는 제1 및 제2 이미지 모두에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부(130-135)로부터 교정 객체를 선택하고, 제1 및 제2 이미지를 사용하여 교정 변환을 유도하도록 동작된다. 또한 선택적으로, HMD(100)는 시선 카메라(103)의 시야(113)에 대응하는 제1 이미지의 한 영역에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부(130-135)로부터 교정 객체를 선택하도록 동작될 수 있다. 각막(123)의 불완전환 표면에서의 반사로 인하여, 제1 이미지가 (시야(112)로 전면 카메라(102)에 의해 캡처된) 일반적으로 제2 이미지 (시야(113)로 시선 카메라(103)에 의해 캡처된) 보다 우수하므로, 제2 이미지와 비교해 제1 이미지 사용하여, 이미지 프로세싱 및 객체 인식에 의해 실제 객체를 식별하는 것이 더 용이하고, 더 확실하고, 리소스 소모가 더 적다. 교정 객체로 적절한 실제 객체를 식별하기 위해 처리될 필요가 있는 제1 이미지의 영역을 제한함으로서, 본 발명의 실시예는 더 적은 계산 리소스, 또한 그에 따라 더 적은 전력을 요구한다.

교정 과정 자체는, 즉 HMD와 연관된 다른 좌표계의 상대적인 포즈를 설정하는 것은 본 설명의 범위 밖에 있다. 실제 교정 객체가 교정 변환, 예를 들면 두개 좌표계 사이에서 좌표의 변환을 설명하기에 적절한 매트릭스 또는 다른 형태의 수각적 표현을 유도하는데 사용됨을 말하는 것으로 충분하다. HMD의 디자인에 따라, 좌표계 중 하나 이상은 서로에 관하여 또한/또는 HMD(100)에 관하여 고정된 포즈를 가질 수 있는 것으로 이해된다. 예를 들면, 이는 다른 구성성분이 일반적으로 사용되는 동안 서로 이동될 수 없도록 디스플레이(101), 전면 카메라(102), 및 선택적으로 시선 카메라(103)가 단일 유닛에 포함되는 HMD의 경우이다.

종래 기술에서 사용된 교정 객체는 일반적으로 체커 보드 또는 교정 도구와 같은 전용 교정 객체이다 (예를 들어, A.　Plopski, C.　Nitschke, K.　Kiyokawa, D.　Schmalstieg, 및 H.　Takemura, 가상 현실에 관한 인공 현실 및 텔레익지스턴스 유로그래픽스 심포지움 국제 회의(International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments), The Eurographics Association, 2015에 의한, "하이브리드 아이 트래킹: 홍채 윤곽 및 각막 이미징의 결합(Hybrid Eye Tracking: Combining Iris Contour and Corneal Imaging)" 참조). HMD(100)의 사용자가 유지하거나 가지고 다녀야 하는 전용 교정 객체를 사용하기 보다, 본 발명의 실시예는 HMD(100)가 교정을 요구할 때 사용자의 주변에서 이용가능한 실제 객체를 사용하는 것에 의존한다. HMD의 디자인 및 용도에 따라, 교정은 일반적으로 HMD(100)에 관련하여 눈(122)의 포즈가 변하는 경우, 즉 눈(122)의 방향성 및/또는 위치가 변하는 경우 요구된다. 또한, 교정은 디스플레이(101), 전면 카메라(102), 및 시선 카메라(103) 중 하나 이상이 서로 또한/또는 HMD(100)에 대해 변위되는 경우 요구될 수 있다.

보다 특정하게, HMD(100)는 다음 중 임의의 하나에 응답하여, 교정 과정을 개시 또는 트리거하도록, 즉 교정 객체를 선택하고 교정 변환을 유도하도록 동작될 수 있다: 교정 과정을 개시하는 명령을 사용자로부터 수신, HMD(100) 전원 ON, 실제 장면에 관련하여 디스플레이된 가상 객체의 정렬 불량을 검출, 사용자가 HMD(100)의 이전 사용자와 다름을 검출, HMD(100)가 사용자의 적어도 하나의 눈(122)에 관련하여 변위되었음을 검출, 또한 디스플레이(101), 전면 카메라(102), 및 시선 카메라(103) 중 하나 이상이 서로 또한/또는 HMD(100)에 대해 변위되었음을 검출.

실제로, 실제 장면에 관련하여 디스플레이된 가상 객체의 정렬 불량은 특정한 실제 객체의 실제 위치에 대응하는 디스플레이 위치에 가상 객체를 디스플레이함으로서 검출될 수 있다. 특히, 디스플레이된 가상 객체는 실제 객체와 동일한 형상을 가질 수 있다. 즉, 실제 객체의 가상 표현이 (또는 가상 복사) 될 수 있다. 디스플레이된 가상 객체 및 실제 객체가 정렬 불량이면, 적어도 특정한 범위까지, 교정 과정이 트리거된다. 정렬 불량은 실제 객체 및 오버레이된 가상 객체를 모두 볼 수 있는, 시선 카메라(103)에 의해 캡처된 제2 이미지를 이미지 처리함으로서, 각막 이미징을 통해, 또는 사용자에 의해 검출될 수 있다.

사용자의 적어도 하나의 눈(122)에 대한 HMD(100)의 변위는 예를 들어, 시선 카메라(103)를 사용하여 검출될 수 있다. 이는 시간을 통해 사용자의 눈(122)의 위치를 추적함으로서 달성될 수 있다. 사용자 눈(122)의 위치가 한계값 이상으로 내력의 평균값에서 벗어나는 경우, 교정 과정이 트리거된다. 한계값은 사용자에 의해, HMD(100)의 제조자에 의해, 또는 가상 객체를 사용자에게 디스플레이하기 위해 HMD(100)를 사용하는 AR 애플리케이션에 의해 설정될 수 있다.

서로 또한/또는 HMD(100)에 대해 디스플레이(101), 전면 카메라(102), 및 시선 카메라(103) 중 하나 이상의 변위는 디스플레이(101), 전면 카메라(102), 및 시선 카메라(103)에 포함된 모션 센서를 사용하여 검출될 수 있다.

다음에는 하나 이상의 실제 객체, 또는 그 일부(130-135) 중에서 교정 객체를 선택하기 위한 다른 대안이 설명된다.

예를 들어, HMD(100)는 교정 객체의 시각적 외형을 기반으로 교정 객체를 선택하도록 동작될 수 있다. 바람직하게, 명확하게 볼 수 있고, 양호한 조명 조건 및/또는 높은 명암비를 갖고, 또한/또는 간단한 기하학적 형상으로 구성된 실제 객체가 선택된다. 이러한 실제 객체는 일반적으로 예를 들어, 스케일-불변 특성 변환(Scale-Invariant Feature Transform, SIFT) (예를 들어, US 6,711,293 B1을 참조) 또는 종래 기술에서 공지된 유사한 알고리즘을 사용하여, 이미지 프로세싱 및 객체 인식에 의해 쉽게 검출된다.

대안적으로, HMD(100)는 하나 이상의 실제 객체, 또는 그 일부(130-135) 중에서 앞서 선택된 교정 객체를 교정 객체로 선택하도록 동작될 수 있다. 이를 위해, HMD(100)는 HMD(100)에 포함된 메모리에 (도 3에 도시된 메모리(303)와 같은) 있거나, 예를 들어 클라우드-기반의 데이터베이스와 같이 통신 네트워크를 통해 (무선 통신 네트워크(105)를 통해) HMD(100)에 의해 액세스 가능한 데이터베이스를 유지할 수 있다. 데이터베이스에는 예를 들어, 시각적 외형 또는 시각적 특성에 관련된 정보, 화상, 또는 그 형상, 기하학적 형상의 결합, 및 치수에 관련된 정보와 같이, 하나 이상의 실제 객체 중에서 교정 객체를 식별하는데 사용될 수 있는 정보가 저장될 수 있다.

또 다른 대안으로, HMD(100)는 HMD(100)의 이동을 추적하도록 동작되는 하나 이상의 모션 센서(106)를 부가적으로 포함할 수 있다. 하나 이상의 모션 센서(106)는 예를 들면, 종래 기술에서 공지되어 일반적인 스마트폰에 제공되는 것과 같이, 가속도계, 자이로스코프, 글로벌 위치지정 시스템(Global Positioning System, GPS) 센서, 자력계, 카메라 등을 기반으로 할 수 있다. HMD(100)는 HMD(100)의 추적된 이동을 기반으로, 하나 이상의 실제 객체가 제1 이미지에서 계속 보여지는, 즉 전면 카메라(102)의 시야(112) 내에 계속 있는 지속 시간을 추정하고, 교정 객체가 제1 이미지에서 계속 보여지는 추정된 지속 시간을 기반으로 교정 객체를 선택하도록 동작된다. 이는 전면 카메라(102)로 선택된 교정 객체를 추적하는 것에 의존하는 HMD(100)에 의해 교정 과정이 사용되는 경우이다. 바람직하게, 실제 객체, 또는 그 일부(130-135)는 교정을 실행하기에 충분히 긴 지속 시간 동안 제1 이미지에서 볼 수 있는 교정 객체로 선택된다. 한가지 대안으로, 시야(102)에 관련하여, 느리게 움직이거나 전혀 움직이지 않는 실제 객체, 또는 그 일부(130-135)가 교정 객체로 선택될 수 있다. 예를 들어, HMD(100)가 다소 고정된 경우, 박스(133)와 같이 고정된 실체가 선택될 수 있다. 한편, 예를 들어, 사용자가 머리(121)를 돌리기 때문에 HMD(100)가 이동 중인 경우, 자동차(134)와 같이, 유사하게 이동 중인 실제 객체가 선택될 수 있다.

또한, 시선 카메라(103)의 시야(113)에 대응하는 제1 이미지의 한 영역에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부(130-135) 중에서 교정 객체가 선택되면, 교정 객체는 그 교정 객체가 제2 이미지에서, 즉 시선 카메라(103)의 시야(133) 내에서 계속 보여지는 추정된 지속 시간을 기반으로 선택될 수 있음을 이해하게 된다.

또 다른 대안으로, HMD(100)는 예를 들어, SIFT 또는 유사한 알고리즘을 사용하여, 하나 이상의 실제 객체(130-135)의 시각적 특성을 데이터베이스에 저장된 실제 객체의 시각적 특성에 관련된 정보에 대해 매칭시켜 하나 이상의 실제 객체(130-135)를 식별하고, 데이터베이스로부터 획득된 정보를 기반으로 교정 객체를 선택함으로써 교정 객체를 선택하도록 동작될 수 있다. 획득된 정보는 교정 객체로서, 식별된 실제 객체, 또는 그 일부(130-135)의 각 적합성을 나타낼 수 있다. 예를 들면, 정보는 시각적 외형, 형태, 기하학적 형태의 구성, 치수 등에 관련될 수 있고, 이는 교정 변환을 유도하는데 사용된다. 바람직하게, 가장 적합한 교정 객체가 선택된다.

또 다른 대안으로, 각막 이미징에 의존함으로서, 교정 변환이 제1 이미지 및 제2 이미지 모두를 사용하여 유도되면, HMD(100)는 제1 이미지와 비교하여 제2 이미지에서의 교정 객체의 왜곡을 기반으로 교정 객체를 선택하도록 동작될 수 있다. 제2 이미지에서의 교정 객체의 왜곡은 구형인 각막(123) 반사로부터 비롯될 수 있고, 각막(123)의 외부 표면에서의 결함 및 각막(123) 외부 표면 상의 눈물이나 먼지 때문일 수 있다. 부가하여, 사용자가 실제 객체를 보는 HMD(100)의 광학적 요소가 제2 이미지의 왜곡에 기여할 수 있다. 바람직하게, 교정 변환의 유도를 용이하게 하기 위해 왜곡이 가장 적은 객체가 선택된다.

본 발명의 실시예는 또한 도 1 및 도 2에 도시된 태블릿(130), 스마트폰, 이동 전화기, 컴퓨터 디스플레이, 텔레비젼 등과 같이, 하나 이상의 실제 객체 중에서 통신 디바이스를 교정 객체로 선택할 수 있다. 이를 위해, HMD(100)는 임의의 공지된 무선 통신 기술을 기반으로 하는 무선 통신 인터페이스(105)를 포함할 수 있다. 예를 들어, 무선 통신 인터페이스(105)는 무선 근거리 네트워크(Wireless Local Arena Network, WLAN)/WiFi 또는 블루투스(Bluetooth)와 같은 단거리 무선 기술, 또는 이동 통신을 위한 글로벌 시스템(Global System for Mobile communications, GSM), 범용 이동 통신 시스템(Universal Mobile Telecommunications System, UMTS), 롱 텀 에볼루션(Long Term Evolution, LTE), 또는 NR/NX 기반의 5G 기술과 같은 셀룰러 무선 기술을 기반으로 할 수 있다. 무선 통신 인터페이스(105)와 호환가능한 무선 통신 인터페이스를 포함하는 HMD(100)와 통신 디바이스 사이의 통신, 즉 데이터 교환은 임의의 적절한 프로토콜, 예를 들면, 하이퍼텍스트 전송 프로토콜(HyperText Transfer Protocol, HTTP), 제한된 애플리케이션 프로토콜(Constrained Application Protocol, CoAP) 등을 사용해 시작될 수 있다.

보다 특정하게, HMD(100)는 무선 통신 인터페이스(105)를 사용하여, 태블릿(130)과 같이, 하나 이상의 실제 객체 중에서 디스플레이를 포함하는 통신 디바이스를 식별하고, 그에 디스플레이된 그래픽 컨텐츠(132) 및 태블릿(130)의 디스플레이(131) 중 적어도 하나를 교정 객체로 선택함으로써, 교정 객체를 선택하도록 동작된다. 하나 이상의 실제 객체 중에서 무선 통신 디바이스를 식별하는 것은 예를 들면, 블루투스 및 다른 무선 통신 기술에서 공지된 바와 같은 발견 과정에 의존하여 달성될 수 있다. 발견 과정의 일부로, 또는 발견 과정에 이어서, HMD(100)는 식별된 통신 디바이스와 무선 통신을 설정하고, 또한/또는 통신 디바이스의 타입 또는 기능에 관련된 정보, 특히 디스플레이(131)에 관련된 정보를 획득하도록 동작될 수 있다. 태블릿(130)과 같이, 교정 객체로 디스플레이를 갖는 통신 디바이스를 사용하면, 간단한 기하학적 형태 및 충분히 밝은 경우 높은 명암비로 인하여, 디스플레이가 일반적으로 이미지 프로세싱 및 객체 인식에 의해 식별되기 용이하므로 유리하다.

교정 객체로 디스플레이를 포함하는 통신 디바이스를 사용하는 또 다른 이점은 교정 과정 동안 통신 디바이스의 디스플레이 상에 디스플레이된 그래픽 컨텐츠에 대한 정보가 HMD(100)와 통신 디바이스 사이에서 교환될 수 있다는 점이다. 디스플레이된 그래픽 컨텐츠는 예를 들어, 도 1 및 도 2에 도시된 체커 보드(132)와 같이, 높은 명암비로 특징지워지고 간단한 기하학적 형상으로 (직사각형, 정사각형, 원) 구성된 전용 교정 패턴이 될 수 있다.

보다 특정하게, HMD(100)는 무선 통신 인터페이스(105)를 통해 태블릿(130)으로부터 디스플레이된 그래픽 컨텐츠(132)의 표현을 수신하도록 동작될 수 있다. 즉, 태블릿(130)은 무엇이 현재 디스플레이(131) 상에 디스플레이되는가를 보고한다. 디스플레이된 그래픽 컨텐츠는 태블릿(130)에 의해 실행되는 하나 이상의 앱(애플리케이션)에 의해 현재 디스플레이되는 임의의 그래픽 컨텐츠가 될 수 있지만, 유리하게 체커 보드(132)와 같이, 전용 교정 패턴이 될 수 있다. 태블릿(130)은 예를 들어, HMD(100)와 통신을 설정하는 것에 응답하여, 또는 교정이 진행중인 HMD(100)로부터의 표시를 수신하는 것에 응답하여, 전용 교정 패턴을 디스플레이하도록 동작될 수 있다.

한 대안으로, HMD(100)는 디스플레이(131) 상에 그래픽 컨텐츠(132)를 디스플레이하도록, 무선 통신 인터페이스(105)를 통해 태블릿(130)에 명령을 전송하도록 동작될 수 있다. 명령은 예를 들어, 태블릿(130)이 그래픽 컨텐츠(132)를 디스플레이하는 것에 응답하는 요청, 메시지, 또는 신호가 될 수 있다. 디스플레이된 그래픽 컨텐츠는 전용 교정 패턴과 같이, 미리 정의될 수 있다. 선택적으로, HMD(100)는 무선 통신 인터페이스(105)를 통해 태블릿(130)에 그래픽 컨텐츠(132)의 표현을 전송하도록 동작될 수 있다. 이 방법으로, HMD(100)는 태블릿(132)에 의해 디스플레이되는 그래픽 컨텐츠의 상세 내용을 제어할 수 있고, 유리하게 전용 교정 패턴을 태블릿(132)에 전송할 수 있다. 그래픽 컨텐츠의 표현은 예를 들어, 공지된 컴퓨터 그래픽 포맷 또는 이미지 포맷의 형태가 될 수 있다.

HMD(100)는 또한, 교정 객체를 선택하는 것에 응답하여, 사용자 눈(122)으로 보는 것과 같이, 선택된 교정 객체에 오버랩되는 하나 이상의 디스플레이된 가상 객체를 적용하도록 동작될 수 있다. 이는 특히 A.　Plopski, C.　Nitschke, K.　Kiyokawa, D.　Schmalstieg, 및 H.　Takemura, 가상 현실에 관한 인공 현실 및 텔레익지스턴스 유로그래픽스 심포지움 국제 회의(International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments), The Eurographics Association, 2015에 의한, "하이브리드 아이 트래킹: 홍채 윤곽 및 각막 이미징의 결합(Hybrid Eye Tracking: Combining Iris Contour and Corneal Imaging)"에서 설명된 바와 같이, 각막 이미징을 기반으로 하는 교정 방법이 사용되는 경우 유리하다. 그에 의해, 교정 객체가 디스플레이된 가상 객체에 의해 가려져 교정 과정을 방해할 수 있는 것이 방지된다.

HMD(100)는 또한, 교정 객체를 선택하는 것에 응답하여, 교정이 진행중임을 사용자에게 통지하도록 동작될 수 있다. 선택적으로, HMD(100)는 사용자에게 선택된 교정 객체를, 이 경우에서는 박스(133)를 식별해주도록 디스플레이(101) 상에 마커(250)를 디스플레이하여 교정이 진행중임을 사용자에게 통지하도록 동작될 수 있다. 그에 의해, 사용자는 선택된 교정 객체의 방향을 응시하거나, 교정 과정을 용이하게 하도록 움직임을 적응하도록 요청받을 수 있다. 사용자는 대안적으로 각막 이미징을 기반으로 하는 교정 과정이 사용되는 경우, 제2 이미지에서의 선택된 교정 객체의 왜곡을 최소화하도록 머리 포즈를 변경하거나, 선택된 교정 객체에 더 가까이 이동하도록 요청받을 수 있다.

일단 교정 변환이 유도되면, 매트릭스 또는 전자적 포맷의 다른 적절한 수학적 표현과 같은, 유도된 교정 변환의 표현은 HMD(100)의 메모리에 (도 3에 도시된 메모리(303)와 같은) 저장될 수 있고, 이어서 실감적인 사용자 경험을 제공하는 방식으로 가상 객체를 디스플레이하는데 사용될 수 있다. 이를 위해, HMD(100)는 가상 객체를 디스플레이하는 명령을 수신하도록 동작될 수 있다. 명령은 예를 들면, HMD(100)에 의해 실행되는 AR 애플리케이션으로부터, 또는 사용자에게 가상 객체를 적용하지 않기 위해 HMD(100)를 사용하는 AR 애플리케이션으로부터 수신될 수 있다. 예를 들면, HMD(100)는 HTTP 또는 CoAP와 같은 임의의 적절한 프로토콜을 사용하여 무선 또는 유선으로, AR애플리케이션을 실행하는 컴퓨터, 랩탑, 스마트폰, 태블릿, 또는 게임 콘솔과 같은 컴퓨팅 디바이스에 연결될 수 있다. 수신된 명령은 사용자에게 디스플레이될 때 가상 객체의 대응하는 실제 위치, 즉 디스플레이(101) 상에서 사용자에게 디스플레이될 때 (눈(122)으로 볼 때) 가상 객체가 배치된 것으로 보여지는 실제 세계에서의 위치를 포함한다. HMD(100)는 또한 수신된 실제 위치에 교정 변환을 적용함으로서 가상 객체의 디스플레이 위치를 계산하고, 다스플레이(101) 상에서 계산된 디스플레이 위치에 가상 객체를 디스플레이하도록 동작된다.

다음에는 도 3 및 도 4를 참고로 HMD(100)에 포함되는 프로세싱 수단(104)의 실시예가 설명된다.

도 3에는 프로세싱 수단(104)의 한 실시예(300)가 도시된다. 프로세싱 수단(300)은 범용 프로세서나 프로세싱 회로와 같은 프로세싱 유닛(302), 및 랜덤 액세스 메모리(RAM), 플래쉬 메모리 등과 같은 컴퓨터-판독가능 저장 매체(303)를 포함한다. 부가하여, 프로세싱 수단(300)은 이들 중 일부는 선택적일 수 있는 디스플레이(101), 전면 카메라(102), 시선 카메라(103), 무선 통신 인터페이스(105), 및 하나 이상의 모션 센서(106)와 같이, HMD(100)에 포함되는 다른 구성성분으로부터 정보를 제어 및/또는 수신하기 위한 하나 이상의 인터페이스(301)(도 3에서 "I/O")를 포함한다. 메모리(303)는 컴퓨터-실행가능한 명령(304)이 프로세싱 유닛(302)에서 실행될 때, 여기서 설명된 바와 같은 본 발명의 실시예에 따라 HMD(100)가 동작되게 하기 위한 컴퓨터-실행가능 명령(304), 즉 컴퓨터 프로그램 또는 소프트웨어를 포함한다.

도 4에는 프로세싱 수단(104)의 다른 실시예(400)가 도시된다. 프로세싱 수단(300)과 유사하게, 프로세싱 수단(400)은 이들 중 일부는 선택적일 수 있는 디스플레이(101), 전면 카메라(102), 시선 카메라(103), 무선 통신 인터페이스(105), 및 하나 이상의 모션 센서(106)와 같이, HMD(100)에 포함되는 다른 구성성분으로부터 정보를 제어 및/또는 수신하기 위한 하나 이상의 인터페이스(401)(도 4에서 "I/O")를 포함한다. 프로세싱 수단(400)은 또한 선택 모듈(402), 교정 모듈(403), 선택적인 트리거 모듈(404), 및 선택적인 디스플레이 모듈(405)을 포함하고, 이들은 여기서 설명된 바와 같은 본 발명의 실시예에 따라 HMD(100)가 동작되게 하도록 구성된다.

특히, 선택 모듈(402)은 디스플레이 디바이스에 포함된 전면 카메라에 의해 캡처되는 실제 장면의 제1 이미지에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 교정 객체를 선택하도록 구성된다. 교정 모듈(403)은 디스플레이 디바이스에 포함된 적어도 부분적인 투시 디스플레이 상에서 디스플레이 위치에 디스플레이되는 가상 객체가 사람이 보는 것과 같이, 실제 위치에 놓인 대응하는 실제 객체와 정렬되도록, 실제 위치를 기반으로 디스플레이 위치를 계산하기 위한 교정 변환을 유도하도록 구성된다.

예를 들어, 선택 모듈(402)은 사용자의 각막에 의한 실제 장면의 반사의 제2 이미지 및 제1 이미지 모두에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 교정 객체를 선택하도록 구성될 수 있고, 여기서 제2 이미지는 디스플레이 디바이스에 포함된 시선 카메라에 의해 캡처된다. 교정 모듈(403)은 제1 이미지 및 제2 이미지를 사용하여 교정 변환을 유도하도록 구성될 수 있다.

대안적으로, 선택 모듈(402)은 시선 카메라의 시야에 대응하는 제1 이미지의 한 영역에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 교정 객체를 선택하도록 구성될 수 있다.

또 다른 대안으로, 선택 모듈(402)은 제1 이미지와 비교하여 제2 이미지에서의 교정 객체의 왜곡을 기반으로 교정 객체를 선택하도록 구성될 수 있다.

또 다른 대안으로, 선택 모듈(402)은 교정 객체의 시각적 외형을 기반으로 교정 객체를 선택하도록 구성될 수 있다.

또 다른 대안으로, 선택 모듈(402)은 하나 이상의 실제 객체 중 앞서 선택된 교정 객체를 교정 객체로 선택하도록 구성될 수 있다.

또 다른 대안으로, 선택 모듈(402)은 또한 디스플레이 디바이스에 포함된 하나 이상의 모션 센서를 사용하여 디스플레이 디바이스의 움직임을 추적하고, 디스플레이 디바이스의 추적된 움직임을 기반으로, 하나 이상의 실제 객체가 제1 이미지에서 계속 보여지는 지속 시간을 추정하고, 또한 교정 객체가 제1 이미지에서 계속 보여지는 추정된 지속 시간을 기반으로 교정 객체를 선택하도록 구성될 수 있다.

또 다른 대안으로, 선택 모듈(402)은 하나 이상의 실제 객체의 시각적 특성을 데이터베이스에 저장된 실제 객체의 시각적 특성에 대한 정보와 매칭시킴으로서 하나 이상의 실제 객체를 식별하고, 데이터베이스로부터 획득된 정보를 기반으로 교정 객체를 선택함으로써 교정 객체를 선택하도록 구성될 수 있고, 여기서 정보는 교정 객체로서 식별된 실제 객체, 또는 그 일부의 각 적합성을 나타낸다.

또 다른 대안으로, 선택 모듈(402)은 디스플레이 디바이스에 포함된 무선 통신 인터페이스를 사용하여, 하나 이상의 실제 객체 중에서 디스플레이를 포함하는 통신 디바이스를 식별하고, 통신 디바이스의 디스플레이 및 그 위에 디스플레이된 그래픽 컨텐츠 중 적어도 하나를 교정 객체로 선택함으로써 교정 객체를 선택하도록 구성될 수 있다. 선택적으로, 선택 모듈(402)은 또한 무선 통신 인터페이스를 통해 통신 디바이스로부터 디스플레이된 그래픽 컨텐츠의 표현을 수신하도록 구성될 수 있다. 대안적으로, 선택 모듈(402)은 또한 무선 통신 인터페이스를 통해 통신 디바이스에 명령을 전달하고, 통신 디바이스의 디스플레이 상에 그래픽 컨텐츠를 디스플레이하도록 구성될 수 있다. 선택적으로, 선택 모듈(402)은 또한 무선 통신 인터페이스를 통해 통신 디바이스에 그래픽 컨텐츠의 표현을 전송하도록 구성될 수 있다.

선택적인 트리거 모듈(404)은 다음 중 임의의 하나에 응답하여, 선택 모듈(402)에 의해 교정 객체를 선택하고 교정 객체(403)에 의해 교정 변환을 유도하는 것을 트리거하도록 구성될 수 있다: 교정 과정을 개시하는 명령을 사용자로부터 수신, 디스플레이 디바이스 전원 ON, 실제 장면에 관련하여 디스플레이된 가상 객체의 정렬 불량을 검출, 사용자가 디스플레이 디바이스의 이전 사용자와 다름을 검출, 디스플레이 디바이스가 사용자의 적어도 하나의 눈에 관련하여 변위되었음을 검출, 또한 디스플레이(101), 전면 카메라(102), 및 시선 카메라(103) 중 임의의 하나가 디스플레이 디바이스에 대해 변위되었음을 검출.

선택적인 디스플레이 모듈(405)은 선택 모듈(402)에 의해 교정 객체를 선택하는 것에 응답하여, 사용자가 보는 것과 같이, 선택된 교정 객체에 오버랩되는 하나 이상의 디스플레이된 가상 객체를 적용하도록 구성될 수 있다.

선택적으로, 선택 모듈(402)은 또한 교정 객체를 선택하는 것에 응답하여, 교정이 진행중임을 사용자에게 통지하도록 구성될 수 있다. 선택적으로, 사용자에게는 선택된 교정 객체를 사용자에게 식별하도록 디스플레이 상에 마커를 디스플레이함으로서 교정이 진행중임을 통지한다.

선택적인 디스플레이 모듈(405)은 또한 가상 객체를 디스플레이하기 위해, 사용자에게 디스플레이될 때 가상 객체의 대응하는 실제 위치를 포함하는 명령을 수신하고, 수신된 실제 위치에 교정 모듈(403)에 의해 유도된 교정 변환을 적용함으로서 가상 객체의 디스플레이 위치를 계산하고, 또한 디스플레이 상에서 계산된 디스플레이 위치에 가상 객체를 디스플레이하도록 구성될 수 있다.

프로세싱 수단(400)에 포함되는 모듈(402-405)은 또한 여기서 설명된 바와 같은 본 발명의 실시예에 따라 추가적인 또는 대안적인 동작을 실행하도록 구성될 수 있다.

인터페이스(301, 401) 및 모듈(402-405), 뿐만 아니라 프로세싱 수단(400)에 포함되는 임의의 추가적인 모듈은 임의의 종류의 전자 회로, 예를 들면 아날로그 전자 회로, 디지털 전자 회로, 및 적절한 컴퓨터 프로그램, 즉 소프트웨어를 실행하는 프로세싱 수단 중 임의의 하나 또는 그들의 조합에 의해 구현될 수 있다.

다음에는 도 5를 참조로 사용자가 착용하도록 구성된 헤드 마운트 디스플레이 디바이스에 의해 실행되는 방법의 실시예(500)가 설명된다.

방법(500)은 디스플레이 디바이스에 포함된 전면 카메라에 의해 캡처되는 실제 장면의 제1 이미지에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 교정 객체를 선택하는 단계(504), 및 디스플레이 디바이스에 포함된 적어도 부분적인 투시 디스플레이 상에서 디스플레이 위치에 디스플레이되는 가상 객체가 사람이 보는 것과 같이, 실제 위치에 놓인 대응하는 실제 객체와 정렬되도록, 실제 위치를 기반으로 디스플레이 위치를 계산하기 위한 교정 변환을 유도하는 단계(507)를 포함한다.

예를 들어, 교정 객체는 사용자의 각막에 의한 실제 장면의 반사의 제2 이미지 및 제1 이미지 모두에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 선택될 수 있고(504), 여기서 제2 이미지는 디스플레이 디바이스에 포함된 시선 카메라에 의해 캡처되고, 교정 변환은 제1 이미지 및 제2 이미지를 사용하여 유도될 수 있다(507).

대안적으로, 교정 객체는 시선 카메라의 시야에 대응하는 제1 이미지의 한 영역에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 선택될 수 있다(504).

또 다른 대안으로, 교정 객체는 제1 이미지와 비교하여 제2 이미지에서의 교정 객체의 왜곡을 기반으로 선택될 수 있다(504).

또 다른 대안으로, 교정 객체는 교정 객체의 시각적 외형을 기반으로 선택될 수 있다(504).

또 다른 대안으로, 하나 이상의 실제 객체 중 앞서 선택된 교정 객체가 교정 객체로 선택될 수 있다(504).

또 다른 대안으로, 방법(500)은 또한 디스플레이 디바이스에 포함된 하나 이상의 모션 센서를 사용하여 디스플레이 디바이스의 움직임을 추적하는 단계(502), 및 디스플레이 디바이스의 추적된 움직임을 기반으로, 하나 이상의 실제 객체가 제1 이미지에서 계속 보여지는 지속 시간을 추정하는 단계(503)를 포함할 수 있다. 교정 객체는 교정 객체가 제1 이미지에서 계속 보여지는 추정된 지속 시간을 기반으로 선택될 수 있다(504).

또 다른 대안으로, 교정 객체를 선택하는 단계(504)는 하나 이상의 실제 객체의 시각적 특성을 데이터베이스에 저장된 실제 객체의 시각적 특성에 대한 정보와 매칭시킴으로서 하나 이상의 실제 객체를 식별하는 단계, 및 데이터베이스로부터 획득된 정보를 기반으로 교정 객체를 선택하고, 그 정보는 교정 객체로서 식별된 실제 객체, 또는 그 일부의 각 적합성을 나타내는 단계를 포함할 수 있다.

또 다른 대안으로, 교정 객체를 선택하는 단계(504)는 디스플레이 디바이스에 포함된 무선 통신 인터페이스를 사용하여, 하나 이상의 실제 객체 중에서 디스플레이를 포함하는 통신 디바이스를 식별하는 단계, 및 통신 디바이스의 디스플레이 및 그 위에 디스플레이된 그래픽 컨텐츠 중 적어도 하나를 교정 객체로 선택하는 단계를 포함할 수 있다. 선택적으로, 교정 객체를 선택하는 단계(504)는 또한 무선 통신 인터페이스를 통해 통신 디바이스로부터 디스플레이된 그래픽 컨텐츠의 표현을 수신하는 단계를 포함할 수 있다. 대안적으로, 교정 객체를 선택하는 단계(504)는 또한 무선 통신 인터페이스를 통해 통신 디바이스에 명령을 전달하고, 통신 디바이스의 디스플레이 상에 그래픽 컨텐츠를 디스플레이하는 단계를 포함할 수 있다. 선택적으로, 교정 객체를 선택하는 단계(504)는 또한 무선 통신 인터페이스를 통해 통신 디바이스에 그래픽 컨텐츠의 표현을 전송하는 단계를 포함할 수 있다.

선택적으로, 다음 중 임의의 하나에 의해 트리거되는(501) 교정에 응답하여, 교정 객체가 선택되고(504) 교정 변환이 유도된다(507): 교정 과정을 개시하는 명령을 사용자로부터 수신, 디스플레이 디바이스 전원 ON, 실제 장면에 관련하여 디스플레이된 가상 객체의 정렬 불량을 검출, 사용자가 디스플레이 디바이스의 이전 사용자와 다름을 검출, 디스플레이 디바이스가 사용자의 적어도 하나의 눈에 관련하여 변위되었음을 검출, 또한 디스플레이(101), 전면 카메라(102), 및 시선 카메라(103) 중 임의의 하나가 디스플레이 디바이스에 대해 변위되었음을 검출.

선택적으로, 방법(500)은 또한 교정 객체를 선택하는 단계(504)에 응답하여, 사용자가 보는 것과 같이, 선택된 교정 객체에 오버랩되는 하나 이상의 디스플레이된 가상 객체를 적용하는 단계(505)를 포함할 수 있다.

선택적으로, 방법(500)은 또한 교정 객체를 선택하는 단계(504)에 응답하여, 교정이 진행중임을 사용자에게 통지하는 단계(506)를 포함할 수 있다. 선택적으로, 사용자에게는 선택된 교정 객체를 사용자에게 식별하도록 디스플레이 상에 마커를 디스플레이함으로서 교정이 진행중임을 통지한다.

선택적으로, 방법(500)은 또한 가상 객체를 디스플레이하기 위해, 사용자에게 디스플레이될 때 가상 객체의 대응하는 실제 위치를 포함하는 명령을 수신하는 단계(508), 수신된 실제 위치에 교정 변환을 적용함으로서 가상 객체의 디스플레이 위치를 계산하는 단계(509), 및 디스플레이 상에서 계산된 디스플레이 위치에 가상 객체를 디스플레이하는 단계(510)를 포함할 수 있다.

방법(500)은 본 내용을 통해 설명된 것에 따른 추가적인, 또는 수정된 단계를 포함할 수 있음을 이해하게 된다. 방법(500)의 한 실시예는 헤드 마운트 디스플레이 디바이스에 포함된 프로세싱 유닛에 의해 실행되는 컴퓨터 프로그램(304)과 같은 소프트웨어로 구현될 수 있고, 그에 의해 디스플레이 디바이스는 여기서 설명된 본 발명의 실시예에 따라 동작될 수 있다. 컴퓨터 프로그램(304)은 메모리(303), 컴팩트 디스크(Compact Disc, CD), 디지털 다기능 디스크(Digital Versatile Disc, DVD), 메모리 스틱 등과 같은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 컴퓨터 프로그램(304)은 또한 데이터 캐리어 신호에 의해 운반될 수 있다. 예를 들면, 컴퓨터 프로그램(304)은 무선 통신 인터페이스(105)를 통해 인터넷과 같은 통신 네트워크를 통하여 메모리(303)에 전달될 수 있다.

종래 기술에 숙련된 자는 본 발명이 결코 상기에 설명된 실시예로 제한되지 않음을 이해하게 된다. 반대로, 첨부된 청구항의 범위 내에서 많은 수정 및 변형이 가능하다.

100 : 헤드 마운트 디스플레이 디바이스(HMD)
101 : 투시 디스플레이
102 : 전면 카메라
102 : 시선 카메라
104 : 프로세싱 수단
105 : 무선 통신 네트워크
106 : 모션 센서

Claims

사용자(121)가 착용하도록 구성된 헤드 마운트 디스플레이 디바이스(100)로서:
적어도 부분적인 투시 디스플레이(101),
실제 장면의 제1 이미지를 캡처하도록 동작되는 전면 카메라(102),
상기 사용자의 각막(123)에 의한 실제 장면의 반사의 제2 이미지를 캡처하도록 동작되는 시선 카메라(103), 및
상기 제1 이미지 및 제 2 이미지 모두에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부(130-135)로부터 교정 객체를 선택하고,
상기 디스플레이 상에서 디스플레이 위치에 디스플레이되는 가상 객체가 상기 사용자가 보는 것과 같이, 실제 위치에 놓인 대응하는 실제 객체와 정렬되도록, 상기 제1 이미지 및 제 2 이미지 모두에서 볼 수 있는 선택된 실제 객체를 사용해서, 실제 위치를 기반으로 디스플레이 위치를 계산하기 위한 교정 변환을 유도하도록 동작되는 프로세싱 수단(104)을 포함하는 디스플레이 디바이스.
제1항에 있어서,
상기 프로세싱 수단은 상기 시선 카메라(103)의 시야(113)에 대응하는 상기 제1 이미지의 한 영역에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 상기 교정 객체를 선택하도록 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세싱 수단은 상기 제1 이미지와 비교하여 상기 제2 이미지에서의 상기 교정 객체의 왜곡을 기반으로 상기 교정 객체를 선택하도록 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세싱 수단은 상기 교정 객체의 시각적 외형을 기반으로 상기 교정 객체를 선택하도록 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세싱 수단은 상기 하나 이상의 실제 객체 중 앞서 선택된 교정 객체를 상기 교정 객체로 선택하도록 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 디스플레이 디바이스의 움직임을 추적하도록 동작되는 하나 이상의 모션 센서(106)를 더 포함하고, 상기 프로세싱 수단은:
상기 디스플레이 디바이스의 추적된 움직임을 기반으로, 상기 하나 이상의 실제 객체가 상기 제1 이미지에서 계속 보여지는 지속 시간을 추정하고, 또한
상기 교정 객체가 상기 제1 이미지에서 계속 보여지는 상기 추정된 지속 시간을 기반으로 상기 교정 객체를 선택하도록 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세싱 수단은:
상기 하나 이상의 실제 객체의 시각적 특성을 데이터베이스에 저장된 실제 객체의 시각적 특성에 대한 정보와 매칭시킴으로서 하나 이상의 실제 객체를 식별하고, 또한
정보가 교정 객체로서 상기 식별된 실제 객체, 또는 그 일부의 각 적합성을 나타내는, 상기 데이터베이스로부터 획득된 정보를 기반으로 상기 교정 객체를 선택함으로써, 상기 교정 객체를 선택하도록 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
무선 통신 인터페이스(105)를 더 포함하고, 상기 프로세싱 수단은:
상기 무선 통신 인터페이스를 사용하여, 상기 하나 이상의 실제 객체 중에서 디스플레이(131)를 포함하는 통신 디바이스(130)를 식별하고, 또한
상기 통신 디바이스의 디스플레이(131) 및 그 위에 디스플레이된 그래픽 컨텐츠(132) 중 적어도 하나를 상기 교정 객체로 선택함으로써, 상기 교정 객체를 선택하도록 동작되는 디스플레이 디바이스.
제8항에 있어서,
상기 프로세싱 수단은 상기 무선 통신 인터페이스를 통해 상기 통신 디바이스(130)로부터 상기 디스플레이된 그래픽 컨텐츠(132)의 표현을 수신하도록 더 동작되는 디스플레이 디바이스.
제8항에 있어서,
상기 프로세싱 수단은 상기 통신 디바이스의 디스플레이(131) 상에 상기 그래픽 컨텐츠(132)를 디스플레이하기 위해, 상기 무선 통신 인터페이스를 통해 상기 통신 디바이스(130)에 명령을 전송하도록 더 동작되는 디스플레이 디바이스.
제10항에 있어서,
상기 프로세싱 수단은 상기 무선 통신 인터페이스를 통해 상기 통신 디바이스(130)에 상기 그래픽 컨텐츠(132)의 표현을 전송하도록 더 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세싱 수단은 다음 중 임의의 하나에 응답하여 상기 교정 객체를 선택하고 상기 교정 변환을 유도하도록 동작되고, 다음은:
교정 과정을 개시하는 명령을 상기 사용자로부터 수신,
상기 디스플레이 디바이스 전원 ON,
실제 장면에 관련하여 디스플레이된 가상 객체의 정렬 불량을 검출,
상기 사용자가 상기 디스플레이 디바이스의 이전 사용자와 다름을 검출,
상기 디스플레이 디바이스가 상기 사용자의 적어도 하나의 눈(122)에 대해 변위되었음을 검출, 또한
상기 디스플레이(101) 및 상기 전면 카메라(102) 중 임의의 하나가 상기 디스플레이 디바이스에 대해 변위되었음을 검출하는 것인 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세싱 수단은 상기 교정 객체를 선택하는 것에 응답하여, 상기 사용자가 보는 것과 같이, 상기 선택된 교정 객체에 오버랩되는 하나 이상의 디스플레이된 가상 객체를 적용하도록 더 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세싱 수단은 상기 교정 객체를 선택하는 것에 응답하여, 교정이 진행중임을 상기 사용자에게 통지하도록 더 동작되는 디스플레이 디바이스.
제14항에 있어서,
상기 프로세싱 수단은 상기 선택된 교정 객체를 상기 사용자에게 식별하기 위해 상기 디스플레이 상에 마커(250)를 디스플레이함으로서 교정이 진행중임을 상기 사용자에게 통지하도록 동작되는 디스플레이 디바이스.
제1항 또는 제2항에 있어서,
상기 프로세싱 수단은:
가상 객체를 디스플레이하기 위해, 상기 사용자에게 디스플레이될 때 상기 가상 객체의 대응하는 실제 위치를 포함하는 명령을 수신하고,
상기 수신된 실제 위치에 상기 교정 변환을 적용함으로서 상기 가상 객체의 디스플레이 위치를 계산하고, 또한
상기 디스플레이 상에서 상기 계산된 디스플레이 위치에 상기 가상 객체를 디스플레이하도록 더 동작되는 디스플레이 디바이스.
사용자가 착용하도록 구성된 헤드 마운트 디스플레이 디바이스에 의해 실행되는 방법(500)으로서:
상기 디스플레이 디바이스에 포함된 전면 카메라에 의해 캡처된 실제 장면의 제1 이미지 및 상기 사용자의 각막에 의한 실제 장면의 반사의 제2 이미지 모두에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 교정 객체를 선택하는 단계(504)로서, 여기서 상기 제2 이미지는 상기 디스플레이 디바이스에 포함된 시선 카메라에 의해 캡처되는, 선택하는 단계 및
상기 디스플레이 디바이스에 포함된 적어도 부분적인 투시 디스플레이 상에서 디스플레이 위치에 디스플레이되는 가상 객체가 상기 사용자가 보는 것과 같이, 실제 위치에 놓인 대응하는 실제 객체와 정렬되도록, 상기 제1 이미지 및 제 2 이미지 모두에서 볼 수 있는 선택된 실제 객체를 사용해서, 실제 위치를 기반으로 디스플레이 위치를 계산하기 위한 교정 변환을 유도하는 단계(507)를 포함하는 방법.
제17항에 있어서,
상기 교정 객체는 상기 시선 카메라의 시야에 대응하는 상기 제1 이미지의 한 영역에서 볼 수 있는 하나 이상의 실제 객체, 또는 그 일부로부터 선택되는(504) 방법.
제17항 또는 제18항에 있어서,
상기 교정 객체는 상기 제1 이미지와 비교하여 상기 제2 이미지에서의 상기 교정 객체의 왜곡을 기반으로 선택되는(504) 방법.
제17항 또는 제18항에 있어서,
상기 교정 객체는 상기 교정 객체의 시각적 외형을 기반으로 선택되는(504) 방법.
제17항 또는 제18항에 있어서,
상기 하나 이상의 실제 객체 중 앞서 선택된 교정 객체가 상기 교정 객체로 선택되는(504) 방법.
제17항 또는 제18항에 있어서,
상기 디스플레이 디바이스에 포함된 하나 이상의 모션 센서를 사용하여 상기 디스플레이 디바이스의 움직임을 추적하는 단계(502), 및
상기 디스플레이 디바이스의 상기 추적된 움직임을 기반으로, 상기 하나 이상의 실제 객체가 상기 제1 이미지에서 계속 보여지는 지속 시간을 추정하는 단계(503)를 더 포함하고,
여기서 상기 교정 객체는 상기 교정 객체가 상기 제1 이미지에서 계속 보여지는 상기 추정된 지속 시간을 기반으로 선택되는(504) 방법.
제17항 또는 제18항에 있어서,
상기 교정 객체를 선택하는 단계(504)는:
상기 하나 이상의 실제 객체의 시각적 특성을 데이터베이스에 저장된 실제 객체의 시각적 특성에 대한 정보와 매칭시킴으로서 하나 이상의 실제 객체를 식별하는 단계, 및
정보가 교정 객체로서 상기 식별된 실제 객체, 또는 그 일부의 각 적합성을 나타내는, 상기 데이터베이스로부터 획득된 정보를 기반으로 상기 교정 객체를 선택하는 단계를 포함하는 방법.
제17항 또는 제18항에 있어서,
상기 교정 객체를 선택하는 단계(504)는:
상기 디스플레이 디바이스에 포함된 무선 통신 인터페이스를 사용하여, 상기 하나 이상의 실제 객체 중에서 디스플레이를 포함하는 통신 디바이스를 식별하는 단계, 및
상기 통신 디바이스의 디스플레이 및 그 위에 디스플레이된 그래픽 컨텐츠 중 적어도 하나를 상기 교정 객체로 선택하는 단계를 포함하는 방법.
제24항에 있어서,
상기 교정 객체를 선택하는 단계(504)는 상기 무선 통신 인터페이스를 통해 상기 통신 디바이스로부터 상기 디스플레이된 그래픽 컨텐츠의 표현을 수신하는 단계를 더 포함하는 방법.
제24항에 있어서,
상기 교정 객체를 선택하는 단계(504)는 상기 통신 디바이스의 디스플레이 상에 상기 그래픽 컨텐츠를 디스플레이하기 위해, 상기 무선 통신 인터페이스를 통해 상기 통신 디바이스에 명령을 전송하는 단계를 더 포함하는 방법.
제26항에 있어서,
상기 교정 객체를 선택하는 단계(504)는 상기 무선 통신 인터페이스를 통해 상기 통신 디바이스에 상기 그래픽 컨텐츠의 표현을 전송하는 단계를 더 포함하는 방법.
제17항 또는 제18항에 있어서,
다음 중 임의의 하나에 응답하여 상기 교정 객체가 선택되고(504) 상기 교정 변환이 유도되고(507), 다음은:
교정 과정을 개시하는 명령을 상기 사용자로부터 수신,
상기 디스플레이 디바이스 전원 ON,
실제 장면에 관련하여 디스플레이된 가상 객체의 정렬 불량을 검출,
상기 사용자가 상기 디스플레이 디바이스의 이전 사용자와 다름을 검출,
상기 디스플레이 디바이스가 상기 사용자의 적어도 하나의 눈(122)에 대해 변위되었음을 검출, 또한
상기 디스플레이(101) 및 상기 전면 카메라(102) 중 임의의 하나가 상기 디스플레이 디바이스에 대해 변위되었음을 검출하는 것인 방법.
제17항 또는 제18항에 있어서,
상기 교정 객체를 선택하는 단계(504)에 응답하여, 상기 사용자가 보는 것과 같이, 상기 선택된 교정 객체에 오버랩되는 하나 이상의 디스플레이된 가상 객체를 적용하는 단계(505)를 더 포함하는 방법.
제17항 또는 제18항에 있어서,
상기 교정 객체를 선택하는 단계(504)에 응답하여, 교정이 진행중임을 상기 사용자에게 통지하는 단계(506)를 더 포함하는 방법.
제30항에 있어서,
상기 선택된 교정 객체를 상기 사용자에게 식별하기 위해 상기 디스플레이 상에 마커를 디스플레이함으로서 교정이 진행중임을 상기 사용자에게 통지하는(506) 방법.
제17항 또는 제18항에 있어서,
가상 객체를 디스플레이하기 위해, 상기 사용자에게 디스플레이될 때 상기 가상 객체의 대응하는 실제 위치를 포함하는 명령을 수신하는 단계(508),
상기 수신된 실제 위치에 상기 교정 변환을 적용함으로서 상기 가상 객체의 디스플레이 위치를 계산하는 단계(509), 및
상기 디스플레이 상에서 상기 계산된 디스플레이 위치에 상기 가상 객체를 디스플레이하는 단계(510)를 더 포함하는 방법.
컴퓨터-실행가능 명령이 디스플레이 디바이스에 포함된 프로세싱 유닛(302)에서 실행될 때, 헤드 마운트 디스플레이 디바이스가 제17항 또는 제18항에 따른 방법을 실행하게 하는 컴퓨터-실행가능 명령을 포함하는 컴퓨터 프로그램(304)을 그 위에 저장한 컴퓨터-판독가능 저장 매체(303).
삭제
삭제
삭제