KR20150068276A

KR20150068276A - 헤드 마운트 디스플레이 및 그 제어 방법

Info

Publication number: KR20150068276A
Application number: KR1020140081852A
Authority: KR
Inventors: 조은형; 천시내; 임정빈; 최지호
Original assignee: 엘지전자 주식회사
Priority date: 2013-12-11
Filing date: 2014-07-01
Publication date: 2015-06-19

Abstract

본 명세서의 일 실시예에 따른 HMD(Head Mounted Display)의 전면 방향으로부터 제1 이동 오브젝트의 제1 루트 및 제2 이동 오브젝트의 제2 루트를 디텍트하는 단계, 사용자의 시선이 이동하는 제3 루트를 디텍트하는 단계, 상기 디텍트된 제1 루트가 상기 디텍트된 제3 루트와 일치하는 경우, 상기 제1 이동 오브젝트를 레퍼런스 오브젝트로 설정하는 단계, 상기 디텍트된 제2 루트가 상기 디텍트된 제3 루트와 일치하는 경우, 상기 제2 이동 오브젝트를 상기 레퍼런스 오브젝트로 설정하는 단계, 및 상기 설정된 레퍼런스 오브젝트의 루트 및 상기 디텍트된 제3 루트에 기초하여 상기 카메라 유닛의 포커스를 상기 설정된 레퍼런스 오브젝트에 설정하는 단계를 포함할 수 있다.

Description

헤드 마운트 디스플레이 및 그 제어 방법{Head Mounted Display and controlling method}

본 명세서는 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 그의 제어 방법에 대한 것이다.

헤드 마운트 디스플레이(Head Mounted Display, HMD)는 사용자가 안경처럼 착용할 수 있다. 사용자는 HMD에 디스플레이되는 디지털 정보를 제공받을 수 있다. HMD는 사용자의 시선 방향에 기초하여 사용자가 어느 곳을 응시하고 있는지 디텍팅할 수 있다. 이를 통해 HMD는 사용자의 시선 방향에 대응하여 디스플레이되는 디지털 정보의 위치를 조절하고, 디스플레이 위치가 조절된 디지털 정보를 사용자에게 제공할 수 있다. 또한, HMD는 시선 캘리브레이션을 실행하기 위해 사용자에게 시선 캘리브레이션 스크린을 디스플레이해야 한다. 또한 사용자는 HMD를 사용하기 전에 시선 캘리브레이션을 위한 프로세스를 실시해야 한다. 따라서 사용자에게는 HMD의 시선 캘리브레이션을 위한 별도의 시간을 할애해야 하는 번거로움이 존재하였다.

또한, HMD가 이동하는 물체에 대한 이미지를 캡처링하는 경우, HMD는 카메라 유닛의 포커스를 설정하기 위해 별도의 동작을 할애하는 번거로움이 존재하였다.

본 명세서는, 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 HMD는 사용자의 시선 방향을 캘리브레이팅하기 위한 별도의 시간 및 디스플레이 자원을 소요하지 않는 시선 캘리브레이션 방법을 사용자에게 제공할 필요가 있다.

또한, 본 명세서에서 HMD는 사용자의 시선 방향에 기초하여 카메라 유닛의 포커스를 제어하는 방법을 사용자에게 제공할 필요가 있다.

본 명세서의 일 실시예에 따른 헤드 마운트 디스플레이(Head Mounted Display, HMD)는 전면 방향으로부터 제1 이동 오브젝트의 제1 루트 및 제2 이동 오브젝트의 제2 루트를 디텍트하는 카메라 유닛, 사용자의 시선이 이동하는 제3 루트를 디텍트하는 시선 디텍팅 유닛 및 레퍼런스 오브젝트의 루트 및 상기 디텍트된 제3 루트에 기초하여 상기 카메라 유닛의 포커스(focus)를 제어하는 컨트롤러를 포함하고, 상기 디텍트된 제1 루트가 상기 디텍트된 제3 루트와 실질적으로 일치하는 경우, 상기 제1 이동 오브젝트를 상기 레퍼런스 오브젝트로서 설정하고, 상기 카메라 유닛의 포커스를 상기 제 1 이동 오브젝트에 설정하고, 상기 디텍트된 제2 루트가 상기 디텍트된 제3 루트와 실질적으로 일치하는 경우, 상기 제2 이동 오브젝트를 상기 레퍼런스 오브젝트로서 설정하고, 상기 카메라 유닛의 포커스를 상기 제 2 이동 오브젝트에 설정할 수 있다.

또한 본 명세서의 일 실시예에 따른 HMD 제어 방법은 HMD(Head Mounted Display)의 전면 방향으로부터 제1 이동 오브젝트의 제1 루트 및 제2 이동 오브젝트의 제2 루트를 디텍트하는 단계, 사용자의 시선이 이동하는 제3 루트를 디텍트하는 단계, 상기 디텍트된 제1 루트가 상기 디텍트된 제3 루트와 일치하는 경우, 상기 제1 이동 오브젝트를 레퍼런스 오브젝트로 설정하는 단계, 상기 디텍트된 제2 루트가 상기 디텍트된 제3 루트와 일치하는 경우, 상기 제2 이동 오브젝트를 상기 레퍼런스 오브젝트로 설정하는 단계, 및 상기 설정된 레퍼런스 오브젝트의 루트 및 상기 디텍트된 제3 루트에 기초하여 상기 카메라 유닛의 포커스를 상기 설정된 레퍼런스 오브젝트에 설정하는 단계를 포함할 수 있다.

본 명세서에 따르면, 헤드 마운트 디스플레이(Head Mounted Display, HMD)는 사용자가 HMD를 사용하는 동안 시선 캘리브레이션을 실시할 수 있다.

또한, 본 명세서에 따르면, HMD는 주변환경에 포함된 리얼 오브젝트를 시선 캘리브레이션의 레퍼런스 포인트로 사용할 수 있다.

또한, 본 명세서에 따르면, HMD는 사용자의 신체 일부를 인식하여 시선 캘리브레이션의 레퍼런스 포인트로 사용할 수 있다.

또한, 본 명세서에 따르면, HMD는 사용자의 손을 시선 캘리브레이션의 레퍼런스 포인트로 사용할 수 있다.

또한, 본 명세서에 따르면, HMD는 리얼 오브젝트에 대한 이벤트를 디텍팅하고, 리얼 오브젝트를 시선 캘리브레이션의 레퍼런스 포인트로 사용할 수 있다.

또한, 본 명세서에 따르면, HMD는 사용자의 시선 방향을 디텍팅하여 시선 캘리브레이션에 이용할 수 있다.

또한, 본 명세서에 따르면, HMD는 레퍼런스 포인트까지의 거리를 측정하고, 이에 대응하여 HMD에 디스플레이되는 버추얼 오브젝트의 깊이감(depth)를 결정할 수 있다.

또한, 본 명세서에 따르면, HMD는 카메라 유닛의 포커스를 레퍼런스 오브젝트에 설정할 수 있다.

또한, 본 명세서에 따르면, HMD는 사용자의 신체 일부를 인식하여 카메라 유닛의 포커스를 레퍼런스 오브젝트 중 레퍼런스 포인트에 설정할 수 있다.

또한, 본 명세서에 따르면, HMD는 리얼 오브젝트에 대한 이벤트를 디텍팅하고, 리얼 오브젝트를 카메라 유닛의 포커스가 설정되는 레퍼런스 포인트로 사용할 수 있다.

또한, 본 명세서에 따르면, HMD는 사용자의 시선 방향을 디텍팅하여 카메라 유닛의 포커스를 설정할 수 있다.

도 1은 일 실시예에 따른 HMD의 시선 캘리브레이션 방법을 나타낸 도면이다.
도 2는 일 실시예에 따른 레퍼런스 포인트를 이용한 HMD의 시선 캘리브레이션 방법을 나타낸 도면이다.
도 3은 일 실시예에 따른 레퍼런스 오브젝트 및 레퍼런스 포인트의 예를 나타낸 도면이다.
도 4는 다른 실시예에 따른 레퍼런스 오브젝트 및 레퍼런스 포인트의 예를 나타낸 도면이다.
도 5는 일 실시예에 따른 시선 캘리브레이션을 이용한 증강 현실(AR) 메시지를 디스플레이하는 방법을 나타낸 도면이다.
도 6은 일 실시예에 따른 HMD의 교차지점을 보정 방법을 나타낸 도면이다.
도 7은 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트를 이용한 시선 캘리브레이션 방법을 나타낸 도면이다.
도 8은 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트를 이용한 시선 캘리브레이션 방법을 나타낸 도면이다.
도 9는 사용자의 양안에 대해 레퍼런스 포인트를 이용하여 시선 캘리브레이션을 실시하는 방법을 나타낸 도면이다.
도 10은 일 실시예에 따른 HMD를 나타낸 블록도이다.
도 11은 일 실시예에 따른 시선 캘리브레이션의 방법을 나타낸 순서도이다.
도 12는 일 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다.
도 13은 다른 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다.
도 14는 다른 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다.
도 15는 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트를 이용한 포커스 제어 방법을 나타낸 도면이다.
도 16는 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트의 일부 영역에 대한 포커스를 제어 방법을 나타낸 도면이다.
도 17는 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트의 포커스를 연속적으로 제어 방법을 나타낸 도면이다.
도 18는 본 명세서의 일 실시예에 따른 HMD의 일정 주기에 기초하여 이동 오브젝트의 포커스를 제어하는 방법을 나타낸 도면이다.
도 19는 본 명세서의 일 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다.
도 20는 본 명세서의 일 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

본 명세서에서 헤드 마운트 디스플레이(Head Mounted Display, HMD)는 사용자의 머리에 착용하는 착용식 컴퓨터(wearable computer)를 포함할 수 있다. 본 명세서에서 버추얼 오브젝트는 HMD의 디스플레이 유닛 상에 디스플레이되는 오브젝트를 의미할 수 있다. 예를 들어 HMD는 어플리케이션의 아이콘, 알람 메시지, 증강현실(Augmented Reality, AR) 메시지, 내비게이션 방향 지시자 및 노티피케이션 메시지 등의 버추얼 오브젝트를 디스플레이 유닛에 디스플레이할 수 있다.

또한 명세서에서 리얼 오브젝트는 HMD의 카메라 유닛이 센싱하는 주변환경에 포함된 오브젝트를 의미할 수 있다. 예를 들어 리얼 오브젝트는 사용자가 HMD를 착용한 상태에서 사용자의 시야에 포함된 다양한 오브젝트를 포함할 수 있다. HMD는 카메라 유닛을 이용하여 사용자의 시선 범위와 동일한 영역을 이미지로 센싱할 수 있으며, 이미지 처리 유닛을 이용하여 센싱된 이미지 내에 포함된 오브젝트들을 구별할 수 있다.

또한 명세서에서 레퍼런스 오브젝트는 HMD가 사용자의 시선 방향을 캘리브레이션하는 때, 사용자가 응시하고 있는 오브젝트를 의미할 수 있다. 레퍼런스 오브젝트는 시선 캘리브레이션을 하기 위한 기준점 중의 하나가 될 수 있다. 또한 레퍼런스 포인트는 레퍼런스 오브젝트의 일부분을 의미할 수 있으며, 시선 캘리브레이션의 정확도를 높이기 위해 이용될 수 있다.

도 1은 일 실시예에 따른 HMD의 시선 캘리브레이션 방법을 나타낸 도면이다. HMD는 시선 캘리브레이션의 기준점이 되는 레퍼런스 오브젝트 및 사용자의 시선 방향을 디텍팅하여 시선 캘리브레이션을 실시할 수 있다. 실시예에 따라 HMD는 레퍼런스 오브젝트 대신 레퍼런스 포인트를 기준점으로 결정할 수 있다. HMD는 이미지 처리 유닛을 이용하여 주변 환경에 포함된 적어도 하나의 리얼 오브젝트 및 사용자의 신체의 일부를 디텍팅할 수 있다. HMD는 리얼 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD는 사용자가 리얼 오브젝트를 제어하거나 지시하는 동작을 리얼 오브젝트에 대한 이벤트로서 디텍팅할 수 있다. HMD는 이벤트가 디텍팅된 리얼 오브젝트를 시선 캘리브레이션의 레퍼런스 오브젝트로 결정할 수 있다. HMD는 레퍼런스 오브젝트의 위치와 레퍼런스 오브젝트를 응시하는 사용자의 시선 방향에 기초하여 시선 캘리브레이션을 실시할 수 있다.

HMD(10)는 주변 환경에 포함된 적어도 하나의 리얼 오브젝트(11-1, 11-2)를 디텍팅할 수 있다. 또한 HMD(10)는 사용자의 신체의 일부를 디텍팅 할 수 있다. 도 1에서는 신체의 일부에 대한 예로 사용자의 손(12)을 도시하였다. HMD(10)는 사용자의 손모양 및 제스쳐 중 적어도 하나를 이용하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. HMD(10)는 사용자의 손에 의한 리얼 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD(10)는 사용자의 손이 리얼 오브젝트를 터치하거나 지시하는 동작을 리얼 오브젝트에 대한 이벤트로 디텍팅할 수 있다. HMD(10)는 이벤트가 디텍팅된 리얼 오브젝트(11-1)를 시선 캘리브레이션의 레퍼런스 오브젝트로 결정할 수 있다. 또한 HMD(10)는 이벤트가 디텍팅된 레퍼런스 오브젝트의 일부분을 레퍼런스 포인트로 결정할 수 있다. HMD(10)는 사용자의 시선 방향을 디텍팅할 수 있다. HMD(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자가 응시하는 시선 방향을 디텍팅할 수 있다.

HMD(10)는 결정된 레퍼런스 오브젝트의 위치 및 사용자의 동공의 위치에 기초하여 시선 캘리브레이션을 실시할 수 있다. 또는 HMD(10)는 결정된 레퍼런스 포인트의 위치 및 사용자의 동공의 위치에 기초하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)가 레퍼런스 포인트의 위치를 이용하여 시선 캘리브레이션을 실시하는 경우 레퍼런스 오브젝트의 위치를 이용하는 경우에 비해 정확도가 높은 시선 캘리브레이션을 실시할 수 있다.

HMD(10)는 사용자의 동공(13)과 레퍼런스 오브젝트를 잇는 버추얼 라인을 설정하고, 버추얼 라인과 HMD의 교차 지점(14)을 계산할 수 있다. 또는, HMD(10)는 사용자의 동공(13)과 레퍼런스 포인트를 잇는 버추얼 라인을 설정하고, 버추얼 라인과 HMD의 교차 지점(14)을 계산할 수 있다. HMD(10)는 계산된 교차 지점(14)의 위치를 기준으로 HMD 상에 디스플레이될 디지털 인포메이션의 위치를 결정할 수 있다.

이와 같이 HMD(10)는 별도의 캘리브레이션 스크린 또는 캘리브레이션 타임을 사용하지 않고, 사용자가 HMD(10)를 착용하고 사용하는 동안 시선 캘리브레이션을 실시할 수 있는 효과가 있다.

도 2a 및 2b는 일 실시예에 따른 레퍼런스 포인트를 이용한 HMD의 시선 캘리브레이션 방법을 나타낸 도면이다. HMD(10)는 레퍼런스 오브젝트의 일부분을 레퍼런스 포인트로 결정하여 시선 캘리브레이션에 이용할 수 있다. HMD(10)는 사용자의 손에 의한 레퍼런스 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD(10)는 레퍼런스 오브젝트 상에서 이벤트가 발생된 지점을 레퍼런스 포인트로 결정할 수 있다.

도 2a에서 HMD(10)는 도 1에서 설명한 바와 같이 레퍼런스 오브젝트(11)를 결정할 수 있다. HMD(10)는 사용자의 손(12)을 디텍팅하고, 사용자의 손(12)이 레퍼런스 오브젝트(11)의 우측 상단을 터치하는 제1 이벤트를 디텍팅할 수 있다. HMD(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 제1 이벤트가 발생한 레퍼런스 오브젝트의 우측 상단을 제1 레퍼런스 포인트(23-1)로 결정할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 제1 레퍼런스 포인트(23-1)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 제1 레퍼런스 포인트(23-1)를 잇는 버추얼 라인(25)을 설정하고, 버추얼 라인(25)과 HMD의 제1 교차 지점(24-1)을 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 제1 레퍼런스 포인트(23-1)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제1 교차 지점(24-1)을 계산할 수 있다. HMD(10)는 계산된 제1 교차 지점(24-1)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

디텍팅된 사용자의 손의 위치가 변경되는 경우, HMD(10)는 이를 기존의 이벤트와 다른, 별개의 이벤트로 디텍팅할 수 있다. 도 2b에서 HMD(10)는 사용자의 손(12)이 레퍼런스 오브젝트(11)의 중앙 하단을 터치하는 제2 이벤트를 디텍팅할 수 있다. HMD(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 제2 이벤트가 발생한 레퍼런스 오브젝트(11)의 중앙 하단을 제2 레퍼런스 포인트(23-2)로 결정할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 제2 레퍼런스 포인트(23-2)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 제2 레퍼런스 포인트(23-2)를 잇는 버추얼 라인(25)을 설정하고, 버추얼 라인(25)과 HMD의 제2 교차 지점(24-2)의 위치를 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 제2 레퍼런스 포인트(23-2)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제2 교차 지점(24-2)의 위치를 계산할 수 있다. HMD(10)는 계산된 제2 교차 지점(24-2)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

도 3a 및 3b는 일 실시예에 따른 레퍼런스 오브젝트 및 레퍼런스 포인트의 예를 나타낸 도면이다. HMD(10)는 리얼 오브젝트 및 사용자의 손을 디텍팅할 수 있다. HMD(10)는 사용자의 손에 의한 리얼 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD(10)는 이벤트가 디텍팅된 리얼 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. HMD(10)는 레퍼런스 오브젝트 중 이벤트가 디텍팅된 지점을 레퍼런스 포인트로 결정할 수 있다. HMD(10)는 결정된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나를 시선 캘리브레이션에 이용할 수 있다.

도 3a는 사용자가 펜을 이용하여 필기하는 동작을 이용하여 시선 캘리브레이션을 하는 방법을 나타낸다. HMD(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 펜(31) 및 노트(32)를 리얼 오브젝트로서 디텍팅할 수 있다. 또한 HMD(10)는 펜(31)을 잡고 필기하는 사용자의 손(12)을 디텍팅할 수 있다. HMD(10)는 사용자의 손(12)이 펜(31)을 잡고 필기하는 동작을 이벤트로 디텍팅할 수 있다. 이를 통해 HMD(10)는 펜(31)을 레퍼런스 오브젝트로 결정할 수 있으며 노트(32)와 맞닿은 펜(31)의 끝부분 또는 펜촉을 레퍼런스 포인트로 결정할 수 있다.

레퍼런스 오브젝트를 이용하여 시선 캘리브레이션하는 경우, HMD(10)는 레퍼런스 오브젝트인 펜(31)의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 레퍼런스 오브젝트(31)를 잇는 버추얼 라인(35)을 설정하고, 버추얼 라인(35)과 HMD의 교차 지점(34)의 위치를 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 레퍼런스 오브젝트(31)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(34)의 위치를 계산할 수 있다. HMD(10)는 계산된 교차 지점(34)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

레퍼런스 포인트를 이용하여 시선 캘리브레이션하는 경우, HMD(10)는 레퍼런스 오브젝트인 펜(31)의 끝부분 또는 펜촉을 레퍼런스 포인트(33)로 결정할 수 있다. HMD(10)는 레퍼런스 포인트의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 레퍼런스 포인트(33)를 잇는 버추얼 라인(35)을 설정하고, 버추얼 라인(35)과 HMD의 교차 지점(34)의 위치를 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(33)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(34)의 위치를 계산할 수 있다. HMD(10)는 계산된 교차 지점(34)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

도 3b는 사용자가 포터블 디바이스를 제어하는 동작을 이용하여 시선 캘리브레이션을 하는 방법을 나타낸다. HMD(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 포터블 디바이스(36)를 리얼 오브젝트로서 디텍팅할 수 있다. 또한 HMD(10)는 포터블 디바이스(36)를 그립한 사용자의 손(12-2) 및 포터블 디바이스(36)를 터치하는 사용자의 손(12-1)을 디텍팅할 수 있다. HMD(10)는 사용자의 손(12-1)이 포터블 디바이스(36)를 터치하는 동작 및 사용자의 손(12-2)이 포터블 디바이스(36)를 그립하는 동작 중 적어도 하나를 이벤트로 디텍팅할 수 있다. 이를 통해 HMD(10)는 포터블 디바이스(36)를 레퍼런스 오브젝트로 결정할 수 있으며, 포터블 디바이스(36) 상에서 사용자의 손(12-1)이 터치한 부분을 레퍼런스 포인트로 결정할 수 있다.

레퍼런스 오브젝트를 이용하여 시선 캘리브레이션하는 경우, HMD(10)는 레퍼런스 오브젝트인 포터블 디바이스(36)의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 레퍼런스 오브젝트(36)를 잇는 버추얼 라인(39)을 설정하고, 버추얼 라인(39)과 HMD의 교차 지점(38)의 위치를 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 레퍼런스 오브젝트(36)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(38)의 위치를 계산할 수 있다. HMD(10)는 계산된 교차 지점(38)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

레퍼런스 포인트를 이용하여 시선 캘리브레이션하는 경우, HMD(10)는 레퍼런스 오브젝트인 포터블 디바이스(36) 중 이벤트가 발생한 지점을 레퍼런스 포인트(37)로 결정할 수 있다. 예를 들어, 사용자의 손이 포터블 디바이스(36)에 디스플레이된 오브젝트를 터치한 경우, 사용자의 터치가 입력된 지점을 레퍼런스 포인트(37)로 결정할 수 있다. HMD(10)는 레퍼런스 포인트의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 레퍼런스 포인트(37)를 잇는 버추얼 라인(39)을 설정하고, 버추얼 라인(39)과 HMD의 교차 지점(38)의 위치를 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(37)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(38)의 위치를 계산할 수 있다. HMD(10)는 계산된 교차 지점(38)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

도 4a 및 4b는 다른 실시예에 따른 레퍼런스 오브젝트 및 레퍼런스 포인트의 예를 나타낸 도면이다. HMD(10)는 리얼 오브젝트 및 사용자의 손을 디텍팅할 수 있다. HMD(10)는 사용자의 손에 의한 리얼 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD(10)는 이벤트가 디텍팅된 리얼 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. HMD(10)는 레퍼런스 오브젝트 중 이벤트가 디텍팅된 지점을 레퍼런스 포인트로 결정할 수 있다. HMD(10)는 결정된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나를 시선 캘리브레이션에 이용할 수 있다. 또한 HMD(10)는 사용자의 손을 리얼 오브젝트로서 디텍팅할 수 있다. HMD(10)는 사용자의 손에 의한 제스쳐 및 손의 모양 중 적어도 하나를 디텍팅할 수 있으며, 기설정된 제스쳐 또는 모양과 함께 디텍팅된 사용자의 손을 레퍼런스 오브젝트로 결정할 수 있다. 또한 HMD(10)는 사용자의 손의 일부분을 레퍼런스 포인트로 결정할 수 있다.

도 4a는 사용자가 스위치를 제어하는 동작을 이용하여 시선 캘리브레이션을 하는 방법을 나타낸다. HMD(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 스위치(41)를 리얼 오브젝트로서 디텍팅할 수 있다. 또한 HMD(10)는 스위치(41)를 제어하는 사용자의 손(12)을 디텍팅할 수 있다. HMD(10)는 사용자의 손(12)이 스위치(41)를 제어하는 동작을 이벤트로 디텍팅할 수 있다. 이를 통해 HMD(10)는 스위치(41)을 레퍼런스 오브젝트로 결정할 수 있으며 사용자의 손(12)이 터치한 스위치의 일부분을 레퍼런스 포인트로 결정할 수 있다.

레퍼런스 오브젝트를 이용하여 시선 캘리브레이션하는 경우, HMD(10)는 레퍼런스 오브젝트인 스위치(41)의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 레퍼런스 오브젝트(41)를 잇는 버추얼 라인(43)을 설정하고, 버추얼 라인(43)과 HMD의 교차 지점(44)의 위치를 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 레퍼런스 오브젝트(41)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(44)의 위치를 계산할 수 있다. HMD(10)는 계산된 교차 지점(44)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

레퍼런스 포인트를 이용하여 시선 캘리브레이션하는 경우, HMD(10)는 레퍼런스 오브젝트인 스위치(31) 상에서 사용자의 손이 터치한 부분을 레퍼런스 포인트(42)로 결정할 수 있다. HMD(10)는 레퍼런스 포인트의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 레퍼런스 포인트(42)를 잇는 버추얼 라인(43)을 설정하고, 버추얼 라인(43)과 HMD의 교차 지점(44)의 위치를 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(42)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(44)의 위치를 계산할 수 있다. HMD(10)는 계산된 교차 지점(44)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

또한 HMD(10)는 사용자의 손을 리얼 오브젝트로서 디텍팅할 수 있다. HMD(10)는 사용자의 손에 의한 제스쳐 및 손의 모양 중 적어도 하나를 디텍팅할 수 있으며, 기설정된 제스쳐 및 모양 중 적어도 하나와 함께 디텍팅된 사용자의 손을 레퍼런스 오브젝트로 결정할 수 있다. 또한 HMD(10)는 사용자의 손의 일부분을 레퍼런스 포인트로 결정할 수 있다.

도 4b는 사용자의 손을 레퍼런스 오브젝트로 이용하여 시선 캘리브레이션을 하는 방법을 나타낸다. HMD(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 사용자의 손(12)을 리얼 오브젝트로서 디텍팅할 수 있다. HMD(10)는 사용자의 손(12)이 인디케이트하는 제스쳐 및 모양 중 적어도 하나를 이벤트로서 디텍팅할 수 있다. 여기서 HMD(10)는 시선 캘리브레이션을 위한 사용자의 제스쳐 및 손모양 중 적어도 하나를 사전에 저장할 수 있다. HMD(10)는 저장된 제스쳐와 사용자의 손(12)이 인디케이트하는 제스쳐를 비교하여 이벤트의 발생 여부를 결정할 수 있다. HMD(10)는 저장된 제스쳐와 사용자의 손(12)이 인디케이트하는 제스쳐가 매칭되는 경우, 이를 이벤트의 발생으로서 디텍팅할 수 있다. 또한 HMD(10)는 저장된 손모양과 사용자의 손(12)이 인디케이트하는 손모양을 비교하여 이벤트의 발생 여부를 결정할 수 있다. HMD(10)는 저장된 손모양와 사용자의 손(12)이 인디케이트하는 손모양이 매칭되는 경우, 이를 이벤트의 발생으로서 디텍팅할 수 있다.

사용자의 손(12)의 제스쳐 또는 손모양에 의해 HMD(10)가 이벤트를 디텍팅하면, HMD(10)는 사용자의 손(12)을 레퍼런스 오브젝트로 결정할 수 있으며 사용자의 손(12) 중 일부분을 레퍼런스 포인트(45)로 결정할 수 있다. 예를 들어, 사용자의 손끝을 레퍼런스 포인트(45)로 결정할 수 있다. HMD(10)는 복수의 제스쳐 또는 손모양에 대해 각각 사용자의 손 중 어느 부분이 레퍼런스 포인트가 될 것인지를 결정할 수 있다. 즉, HMD(10)는 제1 제스쳐가 디텍팅된 경우에 사용자의 손 중 제1 부분을 레퍼런스 포인트로 결정하고, 제2 제스쳐가 디텍팅된 경우에 사용자의 손 중 제2 부분을 레퍼런스 포인트로 결정할 수 있다. 또한 HMD(10)는 제1 손모양이 디텍팅된 경우에 사용자의 손 중 제1 부분을 레퍼런스 포인트로 결정하고, 제2 손모양이 디텍팅된 경우에 사용자의 손 중 제2 부분을 레퍼런스 포인트로 결정할 수 있다. 예를 들어, 도 4b와 같이 HMD(10)에 의해 'V'모양의 손이 디텍팅된 경우에 검지 손가락의 끝부분을 레퍼런스 포인트로 결정하고, 엄지 손가락만을 세운 손이 디텍팅된 경우에 엄지 손가락의 손톱 부분을 레퍼런스 포인트로 결정할 수 있다.

HMD(10)는 레퍼런스 포인트의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)과 레퍼런스 포인트(45)를 잇는 버추얼 라인(46)을 설정하고, 버추얼 라인(46)과 HMD의 교차 지점(47)의 위치를 계산할 수 있다. 즉, HMD(10)는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(45)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(47)의 위치를 계산할 수 있다. HMD(10)는 계산된 교차 지점(47)의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

도 5a 및 5b는 일 실시예에 따른 시선 캘리브레이션을 이용한 증강 현실(AR) 메시지를 디스플레이하는 방법을 나타낸 도면이다. HMD는 시선 캘리브레이션을 이용하여 증강 현실 메시지를 디스플레이할 수 있다. HMD는 좌안(left eye) 및 우안(right eye)에 각각 레프트-이미지(left-image)와 라이트-이미지(right-image)를 제공하여 깊이감(depth)을 갖는 이미지를 디스플레이할 수 있다. 즉, HMD는 레프트-이미지와 라이트-이미지에 의한 양안 시차(binocular disparity)를 이용하여 3차원 이미지를 사용자에게 제공할 수 있다.

HMD는 사용자의 손에 의해 레퍼런스 포인트가 결정되면, 거리 측정 유닛을 이용하여 HMD로부터 레퍼런스 포인트까지의 거리를 측정할 수 있다. HMD는 측정된 거리에 대응하여 증강 현실 메시지의 깊이감을 결정할 수 있다. 결과적으로 HMD는 레퍼런스 포인트의 깊이감에 대응하여 증강 현실 메시지를 디스플레이할 수 있다.

도 5a는 사용자의 양안에 대해 레퍼런스 포인트를 이용하여 시선 캘리브레이션을 실시하는 방법을 나타낸 도면이다. HMD는 사용자의 좌안에 그래픽 유저 인터페이스를 제공하는 좌측 서브유닛(10-1) 및 사용자의 우안에 그래픽 유저 인터페이스를 제공하는 우측 서브유닛(10-2)을 포함할 수 있다. HMD의 각 서브유닛은 각각 카메라 유닛 및 시선 디텍팅 유닛을 포함할 수 있다. 아래에서 좌측 서브유닛 및 우측 서브유닛에 공통된 설명은 HMD를 주체로 하여 설명하도록 한다.

HMD(10-1,10-2)는 레퍼런스 오브젝트(51)과 사용자의 손(12)을 디텍팅할 수 있다. HMD(10-1,10-2)는 사용자의 손(12)이 레퍼런스 오브젝트(51)의 일부분을 터치하는 이벤트를 디텍팅할 수 있다. HMD(10-1,10-2)는 카메라 유닛 및 이미지 처리 유닛을 이용하여 레퍼런스 오브젝트 상에서 이벤트가 발생한 위치를 레퍼런스 포인트(52)로 결정할 수 있다. HMD(10-1,10-2)는 시선 디텍팅 유닛을 이용하여 레퍼런스 포인트(52)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다.

HMD의 좌측 서브유닛(10-1)은 사용자의 좌안의 동공(13-1)과 레퍼런스 포인트(52)를 잇는 제1 버추얼 라인(54-1)을 설정하고, 제1 버추얼 라인(54-1)과 좌측 서브유닛(10-1)의 제1 교차 지점(53-1)을 계산할 수 있다. 즉, HMD는 사용자의 좌안의 동공(13-1)의 위치 및 레퍼런스 포인트(52)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제1 교차 지점(53-1)을 계산할 수 있다. HMD는 계산된 제1 교차 지점(53-1)의 위치를 기준으로 좌측 서브유닛(10-1)에 디스플레이될 레프트-이미지의 위치를 결정할 수 있다.

HMD의 우측 서브유닛(10-2)은 사용자의 우안의 동공(13-2)과 레퍼런스 포인트(52)를 잇는 제2 버추얼 라인(54-2)을 설정하고, 제2 버추얼 라인(54-2)과 우측 서브유닛(10-2)의 제2 교차 지점(53-2)을 계산할 수 있다. 즉, HMD는 사용자의 우안의 동공(13-2)의 위치 및 레퍼런스 포인트(52)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제2 교차 지점(53-2)을 계산할 수 있다. HMD는 계산된 제2 교차 지점(53-2)의 위치를 기준으로 우측 서브유닛(10-2)에 디스플레이될 라이트-이미지의 위치를 결정할 수 있다.

HMD는 거리 측정 유닛을 이용하여 HMD로부터 레퍼런스 포인트까지의 거리를 측정할 수 있다. 거리 측정 유닛은 초음파 센서, 레이저 센서 및 적외선 센서 중 적어도 하나를 이용하여 레퍼런스 포인트까지의 거리를 측정할 수 있다. HMD는 측정된 레퍼런스 포인트까지의 거리에 기초하여 증강 현실 메시지의 깊이감(depth)을 결정할 수 있다. 예를 들어, HMD는 증강 현실 메시지의 깊이감을 레퍼런스 포인트의 깊이감과 동일하게 설정하여, 레퍼런스 포인트와 증강현실 메시지가 동일 평면상에 위치하도록 증강현실 메시지를 디스플레이할 수 있다.

도 5b는 레프트-이미지 및 라이트-이미지의 양안시차를 이용하여 증강현실 메시지를 디스플레이하는 방법을 나타낸 도면이다. HMD의 좌측 서브유닛(10-1)은 레프트-이미지를 디스플레이하고 우측 서브유닛(10-2)은 라이트-이미지를 디스플레이할 수 있다. 여기서 HMD는 제1 교차 지점(53-1)에 대응하여 레프트-이미지를 디스플레이하고, 제2 교차 지점(53-2)에 대응하여 라이트-이미지를 디스플레이할 수 있다.

HMD는 디스플레이하는 증강현실 메시지에 대해 깊이감(depth)을 부여할 수 있다. 즉, HMD는 디스플레이하는 증강현실 메시지를 레프트-이미지 및 라이트-이미지로 생성하고, 레프트-이미지 및 라이트-이미지 사이에 양안시차를 부여하여 3차원 이미지로 변환할 수 있다. 이를 통해, HMD는 깊이감이 있는 증강현실 메시지(55)를 디스플레이할 수 있으며, 예를 들어 레퍼런스 포인트와 동일 평면에 위치한 증강현실 메시지(55)를 사용자에게 제공할 수 있다.

도 6a 및 6b는 일 실시예에 따른 HMD의 교차지점을 보정 방법을 나타낸 도면이다. 도 6a에서 HMD(10)는 레퍼런스 오브젝트(61)과 사용자의 손(12)을 디텍팅할 수 있다. HMD(10)는 사용자의 손(12)이 레퍼런스 오브젝트(61)의 일부분을 터치하는 이벤트를 디텍팅할 수 있다. HMD(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 레퍼런스 오브젝트 상에서 이벤트가 발생한 위치를 레퍼런스 포인트(62)로 결정할 수 있다. HMD(10)는 시선 디텍팅 유닛(22)을 이용하여 레퍼런스 포인트(62)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다.

HMD(10)는 사용자의 동공(13)과 레퍼런스 포인트(62)를 잇는 제1 버추얼 라인(63-1)을 설정하고, 제1 버추얼 라인(63-1)과 HMD(10)의 제1 교차 지점(64-1)을 계산할 수 있다. 즉, HMD는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(62)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 제1 교차 지점(64-1)을 계산할 수 있다. HMD는 계산된 제1 교차 지점(64-1)의 위치를 기준으로 HMD(10)에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

HMD(10)는 사용자의 움직임에 의해 사용자의 동공에 대한 상대적인 위치가 변경될 수 있다. 이 경우, HMD(10)는 시선 캘리브레이션을 실시하거나 갱신해야하는 것으로 디텍팅할 수 있다. HMD(10)는 사용자의 동공에 대한 상대적인 위치 변경을 디텍팅하여 시선 캘리브레이션에 의한 교차 지점의 위치를 보정할 수 있다. HMD(10)는 카메라 유닛(22)을 이용하여 사용자의 동공에 대한 HMD(10)의 상대적인 위치가 변경되었음을 디텍팅할 수 있다. 이 경우, HMD(10)는 시선 캘리브레이션을 통해 교차 지점의 위치를 보정할 수 있다. 또한 보정된 교차 지점의 위치에 기초하여 디스플레이되는 버추얼 오브젝트의 위치도 변경할 수 있다.

도 6b에서 사용자 동공에 대한 HMD(10)의 상대적인 위치는 도 6a와 비교하여 아래쪽으로 이동되었다. HMD(10)의 상대적인 위치가 변경된 경우, HMD(10)는 사용자의 동공(13)과 레퍼런스 포인트(62)를 잇는 제2 버추얼 라인(63-2)을 설정하고, 제2 버추얼 라인(63-2)과 HMD(10)의 제2 교차 지점(64-2)을 계산할 수 있다. 즉, HMD는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(62)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 제2 교차 지점(64-2)을 계산할 수 있다. HMD는 계산된 제2 교차 지점(64-2)의 위치를 기준으로 HMD(10)에 디스플레이되는 버추얼 오브젝트의 위치를 결정할 수 있다. 이러한 과정을 통해 HMD(10)는 교차 지점의 위치를 제1 교차 지점(64-1)에서 제2 교차 지점(64-2)으로 보정하여 디스플레이되는 버추얼 오브젝트의 위치를 사용자의 시선에 대응하여 결정할 수 있다. 따라서 사용자 동공에 대한 HMD의 상대적인 위치에 따라 적응적으로 버추얼 오브젝트의 위치를 결정할 수 있는 효과가 있다.

도 7은 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트를 이용한 시선 캘리브레이션 방법을 나타낸 도면이다. HMD는 시선 캘리브레이션의 레퍼런스가 되는 레퍼런스 오브젝트 및 사용자의 시선을 디텍팅하여 시선 캘리브레이션을 실시할 수 있다. HMD는 카메라 유닛을 이용하여 전면방향에 있는 이동성을 갖는 이동 오브젝트들을 디텍팅할 수 있다. HMD는 이동 오브젝트들 각각의 루트와 사용자의 시선이 이동하는 루트를 비교하여 레퍼런스 오브젝트를 결정하고 시선 캘리브레이션을 실시할 수 있다. 실시예에 따라 HMD는 레퍼런스 오브젝트의 일부분인 레퍼런스 포인트를 시선 캘리브레이션의 레퍼런스로서 결정할 수 있다. 아래에서는 레퍼런스 오브젝트에 대해 설명하나 이는 레퍼런스 오브젝트의 일부분에 해당하는 레퍼런스 포인트에도 유사하게 적용될 수 있다.

HMD(10)는 전면방향으로부터 적어도 하나의 이동 오브젝트를 디텍팅할 수 있다. 이동 오브젝트는 시간의 흐름에 따라 위치가 변경되는 이동성을 갖는 오브젝트로서 디스플레이 디바이스에 디스플레이된 버추얼 오브젝트가 아닌 현실 세계에 존재하는 리얼 오브젝트일 수 있다. 도 7과 같이 HMD는 카메라 유닛(73)을 통해 제1 이동 오브젝트(71) 및 제2 이동 오브젝트(72)를 디텍팅할 수 있다. 여기서, 제1 이동 오브젝트(71)는 제1 루트에 따라 이동하고, 제2 이동 오브젝트(72)는 제2 루트에 따라 이동할 수 있다. HMD는 카메라 유닛(73)을 통해 제1 이동 오브젝트(71)가 이동하는 제1 루트 및 제2 이동 오브젝트(72)가 이동하는 제2 루트를 디텍팅할 수 있다. 도 7의 상단에서 제1 이동 오브젝트(71)와 제2 이동 오브젝트(72)는 서로 반대 방향으로 이동할 수 있다. 따라서 제1 이동 오브젝트(71)의 제1 루트와 제2 이동 오브젝트(72)의 제2 루트는 각각 서로 반대 방향으로 진행되는 속성을 갖는다.

HMD는 카메라 유닛(73)을 통해 복수의 이동 오브젝트가 디텍팅되는 경우, 속도 조건, 크기 조건, 이동 방향 조건 및 색상 조건 중 적어도 하나를 만족하는 이동 오브젝트들에 한하여 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 여기서 속도 조건은 속도 스레시홀드 레인지를 포함할 수 있다. 이동 오브젝트의 속도가 너무 빠르거나 너무 느린 경우, HMD는 이동 오브젝트의 루트를 결정하는 것이 어려울 수 있다. 따라서 HMD는 속도 스레시홀드 레인지 내에 포함되는 속도를 갖는 이동 오브젝트들만을 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 또한 크기 조건은 사이즈 스레시홀드 레인지를 포함할 수 있다. 따라서 HMD는 사이즈 스레시홀드 레인지 내에 포함되는 사이즈를 갖는 이동 오브젝트들만을 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 또한 이동 방향 조건은 방향 스레시홀드 레인지를 포함할 수 있다. 이동 오브젝트의 이동 방향이 HMD를 향해 다가오거나 멀어지는 경우, HMD는 이동 오브젝트의 루트를 정확히 결정하는 것이 어려울 수 있다. 따라서 HMD는 방향 스레시홀드 레인지에 포함된 방향으로 이동하는 이동 오브젝트들만을 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 또한 색상 조건은 특정 색상에 대해서만 시선 캘리브레이션을 수행하도록 할 수 있다. HMD는 색상 조건에 포함된 색상을 갖는 이동 오브젝트들만을 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 예를 들어, HMD는 사용자의 주의를 집중시키는 빨간색 이동 오브젝트들만을 레퍼런스 오브젝트의 후보군에 포함시킬 수 있으며 사용자는 어떠한 색상의 오브젝트를 응시해야 시선 캘리브레이션이 수행되는지 인지하고 시선 캘리브레이션을 수행시킬 수 있다.

도 7에서 제1 이동 오브젝트 및 제2 이동 오브젝트가 위에서 언급한 속도 조건, 크기 조건, 이동 방향 조건 및 색상 조건 중 적어도 하나를 만족하는 경우, HMD는 제1 이동 오브젝트 및 제2 이동 오브젝트를 레퍼런스 오브젝트의 후보군에 포함시키고, 레퍼런스 오브젝트의 후보군에 포함된 이동 오브젝트들 중에서 레퍼런스 오브젝트를 결정할 수 있다.

HMD는 시선 디텍팅 유닛(74)을 통해 사용자의 시선을 디텍팅할 수 있다. HMD는 사용자의 시선이 이동하는 제3 루트를 디텍팅할 수 있다. HMD는 도 7의 상단에서 시선 디텍팅 유닛(74)을 이용하여 사용자의 시선과 HMD가 교차하는 제1 교차 지점(75-1)을 디텍팅할 수 있다. 또한 HMD는 도 7의 하단에서 시선 디텍팅 유닛(74)을 이용하여 사용자의 시선과 HMD가 교차하는 제2 교차 지점(75-2)을 디텍팅할 수 있다. HMD는 제1 교차 지점(75-1)이 제2 교차 지점(75-2)으로 이동했음에 기초하여 사용자의 시선이 이동하는 제3 루트를 결정할 수 있다.

HMD는 이미지 처리 유닛을 이용하여 위에서 디텍팅한 제1 루트 및 제2 루트를 사용자의 시선이 이동하는 제3 루트와 비교할 수 있다. 만약 제3 루트와 대체로 일치하는 루트를 갖는 이동 오브젝트가 존재하는 경우, HMD는 사용자의 시선이 해당 이동 오브젝트를 응시하고 있는 것으로 결정할 수 있다. 따라서, HMD는 사용자의 시선이 이동하는 제3 루트와 대체로 일치하는 루트를 갖는 이동 오브젝트를 레퍼런스 오브젝트로 설정할 수 있다. 도 7에서 HMD는 제1 이동 오브젝트의 제1 루트와 사용자의 시선의 제3 루트가 일치하는 것으로 결정할 수 있다. 여기서 두 개의 루트가 일치함은 두 개의 루트가 완벽하게 일치하는 경우 뿐만아니라 두 개의 루트가 방향 및 이동 비율에 있어서 실질적으로 일치하는 경우를 포함할 수 있다. 따라서, HMD는 제3 루트와 일치하는 제1 루트에 따라 이동하는 제1 이동 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다.

HMD(10)는 사용자의 동공(13)과 레퍼런스 오브젝트(71)를 잇는 버추얼 라인(76)을 설정하고, 버추얼 라인(76)과 HMD의 교차 지점(75-1, 75-2)을 계산할 수 있다. HMD(10)는 계산된 교차 지점의 위치에 기초하여 시선 캘리브레이션을 수행할 수 있다. 레퍼런스 오브젝트가 제1 위치로부터 제2 위치로 이동하는 경우, HMD는 레퍼런스 오브젝트가 제1 위치에 있을 때 사용자의 제1 시선 방향을 디텍트하고, 레퍼런스 오브젝트가 제2 위치에 있을 때 사용자의 제2 시선 방향을 디텍트하고, 레퍼런스 오브젝트의 제1 위치, 레퍼런스 오브젝트의 제2 위치, 제1 시선 방향 및 제2 시선 방향에 기초하여 시선 캘리브레이션을 수행할 수 있다. 다른 실시예로, 레퍼런스 오브젝트의 위치가 제1 위치로부터 제2 위치로 이동하는 경우, HMD는 레퍼런스 오브젝트의 위치 및 레퍼런스 오브젝트를 따라 이동하는 사용자의 시선 방향에 기초하여 시선 캘리브레이션을 연속적으로 수행할 수도 있다.

HMD는 시선 캘리브레이션의 결과에 따라 HMD 상에 디스플레이될 디지털 인포메이션의 위치를 결정할 수 있다. 또한 HMD(10)는 HMD 상에 디스플레이되어 있는 디지털 인포메이션의 위치를 위의 시선 캘리브레이션의 결과에 따라 이동시켜 디스플레이할 수 있다.

이와 같이 HMD(10)는 사용자의 시선의 루트 및 현실 세계의 리얼 오브젝트들 중 이동성을 갖는 이동 오브젝트의 루트를 이용하여 시선 캘리브레이션을 수행할 수 있다. 따라서, HMD는 별도의 캘리브레이션 스크린 또는 캘리브레이션 타임을 사용하지 않고, 사용자가 HMD(10)를 착용하고 사용하는 동안 시선 캘리브레이션을 실시할 수 있는 효과가 있다.

도 8은 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트를 이용한 시선 캘리브레이션 방법을 나타낸 도면이다. HMD는 시선 캘리브레이션의 레퍼런스가 되는 레퍼런스 오브젝트 및 사용자의 시선을 디텍팅하여 시선 캘리브레이션을 실시할 수 있다. HMD는 카메라 유닛을 이용하여 전면방향에 있는 이동성을 갖는 이동 오브젝트들을 디텍팅할 수 있다. HMD는 이동 오브젝트들 각각의 루트와 사용자의 시선이 이동하는 루트를 비교하여 레퍼런스 오브젝트를 결정할 수 있다. HMD는 레퍼런스 오브젝트의 일부분인 레퍼런스 포인트를 시선 캘리브레이션의 레퍼런스로서 결정할 수 있다. HMD는 포인트 우선 순위 정보에 따라 레퍼런스 오브젝트의 일부 영역을 레퍼런스 포인트로 결정할 수 있다. 예를 들어, 레퍼런스 오브젝트가 동물인 경우, 레퍼런스 포인트는 동물의 얼굴로 결정될 수 있다. 특히, 레퍼런스 오브젝트가 사람인 경우, 레퍼런스 포인트는 사람의 얼굴로 결정될 수 있다. 또한 레퍼런스 오브젝트가 자동차인 경우, 레퍼런스 포인트는 자동차의 번호판, 엠블럼 또는 헤드라이트일 수 있다. 또한 시선 캘리브레이션이 수행되는 장소가 어두운 경우, 레퍼런스 오브젝트 중 밝은 부분을 레퍼런스 포인트로 결정할 수도 있다.

HMD(10)는 전면방향으로부터 적어도 하나의 이동 오브젝트를 디텍팅할 수 있다. 이동 오브젝트는 시간의 흐름에 따라 위치가 변경되는 이동성을 갖는 오브젝트로서 디스플레이 디바이스에 디스플레이된 버추얼 오브젝트가 아닌 현실 세계에 존재하는 리얼 오브젝트일 수 있다. 도 8의 상단과 같이 HMD는 카메라 유닛(83)을 통해 제1 이동 오브젝트(81)를 디텍팅할 수 있다. 이에 더하여, HMD는 제1 이동 오브젝트 중 일부분인 제1 이동 포인트(82)를 디텍팅할 수 있다. 여기서, 제1 이동 포인트(82)는 제1 루트에 따라 이동할 수 있다. HMD는 카메라 유닛(83)을 통해 제1 이동 포인트(82)가 이동하는 제1 루트를 디텍팅할 수 있다.

HMD는 시선 디텍팅 유닛(84)을 통해 사용자의 시선을 디텍팅할 수 있다. HMD는 사용자의 시선이 이동하는 제2 루트를 디텍팅할 수 있다. 도 7에서 설명한 바와 같이, HMD는 사용자의 시선과 HMD가 교차하는 지점이 이동하는 것을 디텍팅하여 제2 루트를 결정할 수 있다.

HMD는 위에서 디텍팅한 제1 이동 포인트(82)의 제1 루트를 사용자의 시선이 이동하는 제2 루트와 비교할 수 있다. 만약 제1 루트와 제2 루트가 대체로 일치하는 경우, HMD는 사용자의 시선이 제1 이동 포인트(82)를 응시하고 있는 것으로 결정할 수 있다. 따라서, HMD는 사용자의 시선이 이동하는 제2 루트와 일치하는 루트를 갖는 제1 이동 포인트(83)를 레퍼런스 포인트로서 설정할 수 있다. 여기서 두 개의 루트가 일치함은 두 개의 루트가 완벽하게 일치하는 경우 뿐만아니라 두 개의 루트가 방향 및 이동 비율에 있어서 실질적으로 일치하는 경우를 포함할 수 있다. 따라서, HMD는 제2 루트와 일치하는 제1 루트에 따라 이동하는 제1 이동 포인트(82)를 레퍼런스 오브젝트로서 결정할 수 있다.

HMD(10)는 결정된 레퍼런스 포인트의 위치 및 사용자의 동공의 위치에 기초하여 시선 캘리브레이션을 실시할 수 있다. HMD(10)가 레퍼런스 포인트의 위치를 이용하여 시선 캘리브레이션을 실시하는 경우 레퍼런스 오브젝트의 위치를 이용하는 경우에 비해 정확도가 높은 시선 캘리브레이션을 실시할 수 있다.

HMD(10)는 사용자의 동공(13)과 레퍼런스 포인트인 제1 이동 포인트(82)를 잇는 버추얼 라인(86)을 설정하고, 버추얼 라인(86)과 HMD의 교차 지점(85)을 계산할 수 있다. HMD(10)는 계산된 교차 지점의 위치에 기초하여 시선 캘리브레이션을 수행할 수 있다. HMD는 시선 캘리브레이션의 결과에 따라 HMD 상에 디스플레이될 디지털 인포메이션의 위치를 결정할 수 있다. 또한 HMD(10)는 HMD 상에 디스플레이되어 있는 디지털 인포메이션의 위치를 위의 시선 캘리브레이션의 결과에 따라 이동시켜 디스플레이할 수 있다.

이와 같이 HMD(10)는 사용자의 시선의 루트 및 현실 세계의 리얼 오브젝트들 중 이동성을 갖는 이동 포인트의 루트를 이용하여 시선 캘리브레이션을 수행할 수 있다. 따라서, HMD는 별도의 캘리브레이션 스크린 또는 캘리브레이션 타임을 사용하지 않고, 사용자가 HMD(10)를 착용하고 사용하는 동안 시선 캘리브레이션을 실시할 수 있는 효과가 있다.

도 8의 하단은 동일한 루트로 이동하는 복수 개의 이동 오브젝트들이 존재하는 경우, 레퍼런스 오브젝트를 결정하는 방법을 나타낸다. HMD(10)는 카메라 유닛(83)을 이용하여 복수의 이동 오브젝트들을 디텍팅할 수 있다. 여기서, 카메라 유닛에 의해 동일한 루트를 갖는 복수의 이동 오브젝트들이 디텍트된 경우, HMD는 오브젝트 우선순위 정보에 따라 복수의 이동 오브젝트들 중에서 레퍼런스 오브젝트를 설정할 수 있다. 오브젝트 우선순위 정보는 사용자의 기호 및 성향에 대한 정보를 포함할 수 있다. 예를 들어, 사용자가 승용차에 대한 관심이 높은 경우, HMD는 동일한 루트로 이동하는 승용차와 트럭이 디텍팅되면, 승용차를 레퍼런스 오브젝트로 결정할 수 있다. 또한 도 8의 하단과 같이 동일한 루트로 이동하는 개(87)와 사람(81)이 디텍팅된 경우, HMD는 사람을 레퍼런스 오브젝트로 결정할 수 있다.

이와 같이 HMD는 사용자의 기호 및 성향을 파악하여 사용자가 응시할 것으로 예측되는 이동 오브젝트를 미리 레퍼런스 오브젝트로 결정하고 시선 캘리브레이션을 수행할 수 있다. 이를 통해 HMD는 정확하고 빠르게 시선 캘리브레이션의 레퍼런스가 되는 레퍼런스 오브젝트를 결정할 수 있다.

도 9는 사용자의 양안에 대해 레퍼런스 포인트를 이용하여 시선 캘리브레이션을 실시하는 방법을 나타낸 도면이다. HMD는 사용자의 좌안에 그래픽 유저 인터페이스를 제공하는 좌측 서브유닛(10-1) 및 사용자의 우안에 그래픽 유저 인터페이스를 제공하는 우측 서브유닛(10-2)을 포함할 수 있다. HMD의 각 서브유닛은 각각 카메라 유닛 및 시선 디텍팅 유닛 중 적어도 하나를 포함할 수 있다. 아래에서 좌측 서브유닛 및 우측 서브유닛에 공통된 설명은 HMD를 주체로 하여 설명하도록 한다.

HMD(10-1,10-2)는 도 8에서 설명한 바와 같이 레퍼런스 오브젝트(91)를 디텍팅할 수 있다. HMD는 레퍼런스 오브젝트(91)가 사람임을 인지하고 사람의 얼굴을 레퍼런스 포인트(92)로 결정할 수 있다. HMD(10-1,10-2)는 시선 디텍팅 유닛을 이용하여 레퍼런스 포인트(92)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD(10-1,10-2)는 사용자의 동공의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다. HMD는 레퍼런스 오브젝트(91)의 위치와 사용자의 시선 방향에 기초하여 시선 캘리브레이션을 수행할 수 있다. 레퍼런스 오브젝트(91)가 제1 위치에서 제2 위치로 이동하는 경우, HMD는 제1 위치의 레퍼런스 오브젝트에 대해 시선 캘리브레이션을 수행하고, 제2 위치의 레퍼런스 오브젝트에 대해 다시 시선 캘리브레이션으 수행할 수 있다. 또한 HMD는 레퍼런스 오브젝트가 제1 위치에서 제2 위치로 이동하는 동안 연속적으로 시선 캘리브레이션을 수행할 수 있다. 또한 HMD는 시선 캘리브레이션을 수행한 결과에 따라 버추얼 오브젝트를 디스플레이할 수 있으며 레퍼런스 오브젝트가 제1 위치에서 제2 위치로 이동하면, 디스플레이된 버추얼 오브젝트도 레퍼런스 오브젝트의 이동에 따라 제1 위치에서 제2 위치로 이동시켜 디스플레이할 수 있다.

도 9의 상단에서 HMD의 좌측 서브유닛(10-1)은 사용자의 좌안의 동공(13-1)과 제1 위치의 레퍼런스 오브젝트(91)의 레퍼런스 포인트(92)를 잇는 제1 버추얼 라인을 설정하고, 제1 버추얼 라인과 좌측 서브유닛(10-1)의 제1 교차 지점(93-1)을 계산할 수 있다. 즉, HMD는 사용자의 좌안의 동공(13-1)의 위치 및 레퍼런스 포인트(92)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제1 교차 지점(93-1)을 계산할 수 있다. HMD는 계산된 제1 교차 지점(93-1)의 위치를 기준으로 좌측 서브유닛(10-1)에 디스플레이될 레프트-이미지의 위치를 결정할 수 있다. 즉, HMD는 시선 캘리브레이션의 결과에 따라 레프트-이미지의 위치를 이동시켜 디스플레이할 수 있다.

HMD의 우측 서브유닛(10-2)은 사용자의 우안의 동공(13-2)과 제1 위치의 레퍼런스 오브젝트(91)의 레퍼런스 포인트(92)를 잇는 제2 버추얼 라인을 설정하고, 제2 버추얼 라인과 우측 서브유닛(10-2)의 제2 교차 지점(93-2)을 계산할 수 있다. 즉, HMD는 사용자의 우안의 동공(13-2)의 위치 및 레퍼런스 포인트(92)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제2 교차 지점(93-2)을 계산할 수 있다. HMD는 계산된 제2 교차 지점(93-2)의 위치를 기준으로 우측 서브유닛(10-2)에 디스플레이될 라이트-이미지의 위치를 결정할 수 있다. 즉, HMD는 시선 캘리브레이션의 결과에 따라 라이트-이미지의 위치를 이동시켜 디스플레이할 수 있다.

HMD는 거리 측정 유닛을 이용하여 HMD로부터 레퍼런스 포인트(92)까지의 거리를 측정할 수 있다. 거리 측정 유닛은 초음파 센서, 레이저 센서 및 적외선 센서 중 적어도 하나를 이용하여 레퍼런스 포인트까지의 거리를 측정할 수 있다. HMD는 측정된 레퍼런스 포인트까지의 거리에 기초하여 증강 현실 메시지의 깊이감(depth)을 결정할 수 있다. 예를 들어, HMD는 증강 현실 메시지의 깊이감을 레퍼런스 포인트의 깊이감과 동일하게 설정하여, 레퍼런스 포인트와 증강현실 메시지가 동일 평면상에 동일 뎁스로 위치하도록 증강현실 메시지를 디스플레이할 수 있다.

HMD는 레프트-이미지 및 라이트-이미지의 양안시차를 이용하여 증강현실 메시지를 디스플레이할 수 있다. HMD의 좌측 서브유닛(10-1)은 레프트-이미지를 디스플레이하고 우측 서브유닛(10-2)은 라이트-이미지를 디스플레이할 수 있다. 여기서 HMD는 제1 교차 지점(93-1)에 대응하여 레프트-이미지를 디스플레이하고, 제2 교차 지점(93-2)에 대응하여 라이트-이미지를 디스플레이할 수 있다.

HMD는 디스플레이하는 증강현실 메시지에 대해 깊이감(depth)을 부여할 수 있다. 즉, HMD는 디스플레이하는 증강현실 메시지를 레프트-이미지 및 라이트-이미지로 생성하고, 레프트-이미지 및 라이트-이미지 사이에 양안시차를 부여하여 3차원 이미지로 변환할 수 있다. 이를 통해, HMD는 깊이감이 있는 증강현실 메시지(94)를 디스플레이할 수 있으며, 예를 들어 제1 위치에 위치한 레퍼런스 오브젝트의 레퍼런스 포인트의 뎁스가 제1 뎁스인 경우, HMD는 제1 뎁스에 위치한 증강현실 메시지(94)를 사용자에게 제공할 수 있다.

도 9의 하단에서 HMD의 좌측 서브유닛(10-1)은 사용자의 좌안의 동공(13-1)과 제2 위치의 레퍼런스 오브젝트(91)의 레퍼런스 포인트(92)를 잇는 제1 버추얼 라인을 설정하고, 제1 버추얼 라인과 좌측 서브유닛(10-1)의 제3 교차 지점(93-3)을 계산할 수 있다. 즉, HMD는 사용자의 좌안의 동공(13-1)의 위치 및 레퍼런스 포인트(92)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제3 교차 지점(93-3)을 계산할 수 있다. HMD는 계산된 제3 교차 지점(93-3)의 위치를 기준으로 좌측 서브유닛(10-1)에 디스플레이될 레프트-이미지의 위치를 결정할 수 있다. 즉, HMD는 시선 캘리브레이션의 결과에 따라 레프트-이미지의 위치를 이동시켜 디스플레이할 수 있다.

HMD의 우측 서브유닛(10-2)은 사용자의 우안의 동공(13-2)과 제2 위치의 레퍼런스 오브젝트(91)의 레퍼런스 포인트(92)를 잇는 제2 버추얼 라인을 설정하고, 제2 버추얼 라인과 우측 서브유닛(10-2)의 제4 교차 지점(93-4)을 계산할 수 있다. 즉, HMD는 사용자의 우안의 동공(13-2)의 위치 및 레퍼런스 포인트(92)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제4 교차 지점(93-4)을 계산할 수 있다. HMD는 계산된 제4 교차 지점(93-4)의 위치를 기준으로 우측 서브유닛(10-2)에 디스플레이될 라이트-이미지의 위치를 결정할 수 있다. 즉, HMD는 시선 캘리브레이션의 결과에 따라 라이트-이미지의 위치를 이동시켜 디스플레이할 수 있다.

HMD는 레프트-이미지 및 라이트-이미지의 양안시차를 이용하여 증강현실 메시지를 디스플레이할 수 있다. HMD의 좌측 서브유닛(10-1)은 레프트-이미지를 디스플레이하고 우측 서브유닛(10-2)은 라이트-이미지를 디스플레이할 수 있다. 여기서 HMD는 제3 교차 지점(93-3)에 대응하여 레프트-이미지를 디스플레이하고, 제4 교차 지점(93-4)에 대응하여 라이트-이미지를 디스플레이할 수 있다.

HMD는 디스플레이하는 증강현실 메시지에 대해 깊이감(depth)을 부여할 수 있다. 즉, HMD는 디스플레이하는 증강현실 메시지를 레프트-이미지 및 라이트-이미지로 생성하고, 레프트-이미지 및 라이트-이미지 사이에 양안시차를 부여하여 3차원 이미지로 변환할 수 있다. 이를 통해, HMD는 깊이감이 있는 증강현실 메시지(94)를 디스플레이할 수 있다. 예를 들어 제2 위치로 이동한 레퍼런스 오브젝트의 레퍼런스 포인트의 뎁스가 제2 뎁스인 경우, HMD는 제1 뎁스에 위치한 증강현실 메시지(94)를 제2 뎁스로 이동시켜 사용자에게 제공할 수 있다.

도 10은 일 실시예에 따른 HMD를 나타낸 블록도이다. HMD는 카메라 유닛(101), 이미지 처리 유닛(102), 시선 디텍팅 유닛(103), 디스플레이 유닛(104) 및 컨트롤러(105)를 포함할 수 있다. 이에 더하여 HMD는 거리 측정 유닛을 더 포함할 수 있다.

카메라 유닛(101)은 HMD의 전면 방향에 위치한 주변환경의 이미지를 센싱할 수 있다. 카메라 유닛은 이미지 센서를 포함할 수 있으며 이미지 센서는 광학 신호를 전기적 신호로 전환할 수 있다. 카메라 유닛(101)은 센싱한 주변환경의 이미지를 전기적 신호로 전환하여 컨트롤러에 전달할 수 있다. 카메라 유닛(101)은 사용자의 시야에 대응하는 범위의 이미지를 센싱할 수 있다. 따라서 HMD는 센싱된 이미지와 사용자의 동공의 위치에 기초하여 사용자가 주변환경에 포함된 리얼 오브젝트들 중에서 어느 리얼 오브젝트를 응시하는지 결정할 수 있다.

또한, 카메라 유닛(101)이 이미지를 센싱하는 경우, 컨트롤러는 카메라 유닛(101)의 포커스를 조절할 수 있다. 보다 상세하게는, 컨트롤러(105)는 카메라 유닛(101)에 대한 포커스를 제어할 수 있다. 컨트롤러(105)는 유저의 입력, 명령 또는 오퍼레이션에 기초하여 카메라 유닛(101)의 포커스를 제어할 수 있다. 이때, 포커스는 빛이 한 곳에 모이는 점으로서 렌즈나 거울의 광학적 성질에 기초하여 결정될 수 있다. 또한, 포커스는 피사체로부터 반사된 광선이 렌즈를 통과한 후 필름상의 초점면에 모여 피사체의 영상을 형성하는 한 점을 의미할 수 있다. 일 예로, 포커스는 촬영 시 포커싱 링(focusing ring)을 좌우로 돌리면서 조절될 수 있다. 컨트롤러(105)는 카메라 유닛(101)에 대한 상술한 포커스를 제어할 수 있으며, 이와 관련해서는 후술한다.

이미지 처리 유닛(102)은 센싱된 주변환경의 이미지 중에서 리얼 오브젝트를 구별할 수 있다. 이미지 처리 유닛(102)은 주변환경의 이미지에 포함된 적어도 하나의 리얼 오브젝트를 오브젝트 단위로 디텍팅할 수 있다. 또한 이미지 처리 유닛(102)은 센싱된 주변환경의 이미지에서 사용자의 손을 디텍팅할 수 있다. 이미지 처리 유닛(102)은 사용자의 손모양 및 제스쳐 중 적어도 하나를 이용하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. 이미지 처리 유닛은 리얼 오브젝트에 대한 사용자의 손의 이벤트를 디텍팅하고, 이벤트가 디텍팅된 리얼 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. 또한 이미지 처리 유닛(102)은 레퍼런스 오브젝트 상에서 이벤트가 디텍팅된 지점을 레퍼런스 포인트로 결정할 수 있다. 이미지 처리 유닛(102)은 결정된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나에 대한 정보를 컨트롤러로 전달할 수 있다.

시선 디텍팅 유닛(103)은 사용자의 시선 방향을 디텍팅할 수 있다. 시선 디텍팅 유닛(103)은 사용자의 동공의 움직임에 대응하여 사용자의 시선 방향을 디텍팅할 수 있다. 또한 시선 디텍팅 유닛(103)은 HMD에 대한 사용자의 동공의 상대적인 위치에 따라 시선 캘리브레이션을 갱신해야 하는지를 디텍팅할 수 있다. 시선 디텍팅 유닛(103)은 사용자의 시선 방향에 대한 정보를 컨트롤러에 제공할 수 있다.

디스플레이 유닛(104)은 버추얼 오브젝트를 디스플레이할 수 있다. 버추얼 오브젝트는 디스플레이 유닛에 의해 사용자에게 제공되는 그래픽 유저 인터페이스를 포함할 수 있다. 디스플레이 유닛은 사용자의 좌안 및 우안에 각각 레프트-이미지 및 라이트-이미지를 디스플레이할 수 있다. 디스플레이 유닛(104)은 양안 시차를 이용하여 깊이감(depth)을 갖는 버추얼 오브젝트를 디스플레이할 수 있다. 디스플레이 유닛(104)은 시선 캘리브레이션의 결과에 따라 버추얼 오브젝트가 디스플레이된 위치를 제어하고 디스플레이할 수 있다. 디스플레이 유닛(104)은 광학적 씨-스루(see-through) 디스플레이 유닛을 포함할 수 있다. 따라서 사용자는 디스플레이 유닛(104)을 통해 투과되는 가시광선으로부터 주변환경을 인식할 수 있다.

컨트롤러(105)는 애플리케이션을 실행하고, HMD 내부의 데이터를 프로세싱할 수 있다. 컨트롤러(105)는 상술한 카메라 유닛(101), 이미지 처리 유닛(102), 시선 디텍팅 유닛(103) 및 디스플레이 유닛(104)을 제어할 수 있으며, 유닛들 간의 데이터 송수신을 매니지할 수 있다. 본 명세서에서 컨트롤러(105)는 카메라 유닛(101)으로부터 주변환경의 이미지를 제공받을 수 있다. 또한 컨트롤러(105)는 이미지 처리 유닛(102)으로부터 레퍼런스 오브젝트, 레퍼런스 포인트, 이벤트의 발생 및 사용자의 손의 위치에 대한 정보를 제공받을 수 있다. 또한 컨트롤러(105)는 시선 디텍팅 유닛(103)으로부터 사용자의 시선 방향에 대한 정보를 제공받을 수 있다. 컨트롤러(105)는 레퍼런스 오브젝트 및 사용자의 시선 방향에 대한 정보를 이용하여 시선 캘리브레이션을 실시할 수 있다. 또한 컨트롤러(105)는 레퍼런스 포인트 및 사용자의 시선 방향에 대한 정보를 이용하여 시선 캘리브레이션을 실시할 수 있다. 컨트롤러(105)는 시선 캘리브레이션의 결과에 따라 디스플레이 유닛(104)에 디스플레이되는 버추얼 오브젝트의 위치를 제어할 수 있다.

또한, 컨트롤러(105)는 레퍼런스 오브젝트 및 사용자의 시선 방향에 대한 정보를 이용하여 카메라 유닛(101)의 포커스를 제어할 수 있다. 컨트롤러(105)는 카메라 유닛(101)을 이용하여 특정 오브젝트에 포커싱된 이미지를 센싱할 수 있다. 즉, HMD는 레퍼런스 오브젝트 및 사용자의 시선 방향에 대한 정보를 이용하여 특정 오브젝트에 포커싱된 이미지를 촬영할 수 있다.

HMD는 거리 측정 유닛(106)을 더 포함할 수 있다. 거리 측정 유닛(106)은 HMD로부터 레퍼런스 오브젝트까지의 거리를 측정할 수 있다. 또한 거리 측정 유닛은 HMD로부터 레퍼런스 포인트까지의 거리를 측정할 수 있다. HMD는 거리 측정 유닛에 의해 측정된 거리에 대응하여 디스플레이되는 버추얼 오브젝트의 깊이감을 결정할 수 있다. 거리 측정 유닛은 초음파 센서, 레이저 센서 및 적외선 센서 중 적어도 하나를 이용하여 거리를 측정할 수 있다. 거리 측정 유닛은 측정된 거리에 대한 정보를 컨트롤러로 전달할 수 있다. 본 명세서의 실시예에서 거리 측정 유닛은 HMD의 옵셔널한 구성이 될 수 있다.

도 10은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 HMD의 엘러먼트들은 HMD의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.

도 11은 일 실시예에 따른 시선 캘리브레이션의 방법을 나타낸 순서도이다. HMD는 카메라 유닛을 이용하여, HMD의 전면 방향의 주변환경(surroundings)의 이미지를 센싱할 수 있다(S10). HMD는 사용자의 시야에 대응하는 범위를 센싱할 수 있다.

HMD는 이미지 처리 유닛을 이용하여, 센싱된 주변환경(surroundings)의 이미지 중에서 레퍼런스 오브젝트를 디텍팅할 수 있다(S20). 도 1 내지 4에서 설명한 바와 같이 HMD는 센싱된 주변환경의 이미지에 포함된 적어도 하나의 리얼 오브젝트를 오브젝트 단위로 구별할 수 있다. HMD는 오브젝트 단위로 구별된 적어도 하나의 리얼 오브젝트 중에서 레퍼런스 오브젝트를 디텍팅할 수 있다. HMD가 레퍼런스 오브젝트를 디텍팅하는 방법은 도 12 및 도 13에서 자세히 설명하도록 한다. 또한 HMD는 레퍼런스 오브젝트의 일부 영역인 레퍼런스 포인트를 디텍팅할 수 있다. 이 경우, HMD는 정확한 시선 캘리브레이션을 실행하기 위해, 레퍼런스 오브젝트의 위치 대신 레퍼런스 포인트의 위치를 시선 캘리브레이션에 이용할 수 있다.

HMD는 시선 디텍팅 유닛을 이용하여, 디텍팅된 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향을 디텍팅할 수 있다(S30). HMD는 HMD를 착용한 사용자의 동공의 위치를 디텍팅하여 사용자의 시선 방향을 디텍팅할 수 있다. HMD는 사용자의 동공에 대한 HMD의 상대적인 위치 및 사용자의 동공과 HMD 사이의 거리 중 적어도 하나에 기초하여, 디텍팅된 사용자의 시선 방향을 보정할 수 있다.

HMD는 컨트롤러를 이용하여, 디텍팅된 레퍼런스 오브젝트 및 디텍팅된 사용자의 시선 방향에 기초하여 시선 캘리브레이션할 수 있다(S40). 도 1 내지 4에서 설명한 바와 같이 레퍼런스 오브젝트를 이용하여 시선 캘리브레이션하는 경우, HMD는 디텍팅된 레퍼런스 오브젝트의 위치 및 디텍팅된 사용자의 시선 방향을 이용하여 사용자의 동공과 레퍼런스 오브젝트를 잇는 버추얼 라인을 설정할 수 있다. HMD는 버추얼 라인과 HMD의 교차 지점의 위치를 계산할 수 있다. 즉, HMD는 사용자의 동공의 위치 및 레퍼런스 오브젝트의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점의 위치를 계산할 수 있다. HMD는 계산된 교차 지점의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

다른 실시예로서, 레퍼런스 포인트를 이용하여 시선 캘리브레이션하는 경우, HMD는 디텍팅된 레퍼런스 포인트의 위치 및 디텍팅된 사용자의 시선 방향을 이용하여 사용자의 동공과 레퍼런스 포인트를 잇는 버추얼 라인을 설정할 수 있다. HMD는 버추얼 라인과 HMD의 교차 지점의 위치를 계산할 수 있다. 즉, HMD는 사용자의 동공의 위치 및 레퍼런스 포인트의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점의 위치를 계산할 수 있다. HMD는 계산된 교차 지점의 위치를 기준으로 HMD 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.

버추얼 오브젝트는 HMD의 디스플레이 유닛 상에 디스플레이되는 오브젝트를 포함할 수 있다. 예를 들어 HMD는 도 5에서 설명한 증강현실(Augmented Reality, AR) 메시지를 비롯하여, 어플리케이션의 아이콘, 알람 메시지, 내비게이션의 방향 지시자 및 노티피케이션 메시지 등의 버추얼 오브젝트를 디스플레이 유닛에 디스플레이할 수 있다.

실시예에 따라서, HMD는 레퍼런스 오브젝트의 방향과 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향의 차이가 오차 허용범위 내에 포함되는 경우에 한하여 시선 캘리브레이션을 실행할 수 있다. 레퍼런스 오브젝트의 방향과 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향의 차이가 오차 허용범위를 초과하는 경우, HMD는 시선 캘리브레이션의 오류를 방지하기 위해 시선 캘리브레이션의 실시를 보류할 수 있다.

도 12는 일 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다. HMD는 센싱된 주변환경의 이미지에 포함된 적어도 하나의 오브젝트를 제1 오브젝트로서 디텍팅할 수 있다(S110). 도 1 내지 4에서 설명한 바와 같이, HMD는 이미지 처리 유닛을 이용하여 주변환경의 이미지로부터 적어도 하나의 리얼 오브젝트를 추출할 수 있다. HMD는 추출된 적어도 하나의 리얼 오브젝트를 제1 오브젝트로서 디텍팅할 수 있다. 여기서, HMD는 두 개 이상의 리얼 오브젝트들을 각각 제1 오브젝트로서 디텍팅할 수도 있다.

HMD는 센싱된 주변환경의 이미지에 포함된 사용자의 손을 제2 오브젝트로서 디텍팅할 수 있다(S120). 도 1 내지 4에서 설명한 바와 같이, HMD는 이미지 처리 유닛을 이용하여 주변환경의 이미지로부터 사용자의 손을 디텍팅할 수 있다. 또한 HMD는 디텍팅된 사용자의 손을 제2 오브젝트로서 디텍팅할 수 있다. HMD는 사용자의 손모양 및 제스쳐 중 적어도 하나를 이용하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. 예를 들어 HMD는 사용자의 손이 'V' 모양으로 디텍팅되었을 때, 사용자의 손을 제2 오브젝트로서 디텍팅할 수 있다. 또한 다른 실시예로서, HMD는 사용자의 손금 또는 손등에 나타난 정맥의 모양에 기초하여 다른 사람의 손과 사용자의 손을 구별할 수 있다.

HMD는 제1 오브젝트에 대한 제2 오브젝트의 이벤트를 디텍팅할 수 있다(S130). 도 1 내지 4에서 설명한 바와 같이, HMD는 이미지 처리 유닛을 이용하여 제2 오브젝트로서 디텍팅된 사용자의 손이 제1 오브젝트로서 디텍팅된 리얼 오브젝트를 제어하는 동작을 디텍팅할 수 있다. HMD는 상술한 동작을 제1 오브젝트에 대한 제2 오브젝트의 이벤트로서 디텍팅할 수 있다.

예를 들어, HMD는 외부 디바이스를 제1 오브젝트로서 디텍팅하고, 사용자의 손가락 끝부분을 제2 오브젝트로서 디텍팅할 수 있다. 제1 오브젝트가 키보드 입력 장치인 경우, HMD는 키보드의 자판을 누르는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제1 오브젝트가 펜인 경우, HMD는 펜을 이용하여 필기하는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제1 오브젝트가 터치 센서티브 디스플레이를 포함하는 디바이스인 경우, HMD는 터치 센서티브 디스플레이를 터치하는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제1 오브젝트가 전자기기인 경우, HMD는 전자기기의 컨트롤 버튼을 제어하는 동작을 이벤트로서 디텍팅할 수 있다. 여기서 전자기기의 컨트롤 버튼은 전원 버튼, 볼륨 컨트롤 버튼 및 채널 컨트롤 버튼 중 적어도 하나를 포함할 수 있다.

HMD는 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다(S140). 도 1 내지 4에서 설명한 바와 같이, HMD는 이미지 처리 유닛을 이용하여 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. 즉, HMD는 디텍팅된 적어도 하나의 제1 오브젝트 중에서 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로 디텍팅할 수 있다.

예를 들어, 사용자가 키보드의 자판을 누르는 경우, HMD는 키보드를 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 펜을 이용하여 필기하는 경우, HMD는 펜을 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 터치 센서티브 디스플레이를 터치하는 경우, HMD는 터치 센서티브 디스플레이를 포함하는 디바이스를 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 전자기기의 컨트롤 버튼을 제어하는 경우, HMD는 전자기기를 레퍼런스 오브젝트로서 디텍팅할 수 있다.

또한 HMD는 레퍼런스 오브젝트 상에서 이벤트가 발생한 위치를 레퍼런스 포인트로 디텍팅할 수 있다. 이 경우, HMD는 정확한 시선 캘리브레이션을 실행하기 위해, 레퍼런스 오브젝트의 위치 대신 레퍼런스 포인트의 위치를 시선 캘리브레이션에 이용할 수 있다.

예를 들어, 레퍼런스 오브젝트가 키보드 입력 장치인 경우, HMD는 키보드 상에서 사용자가 누르는 키를 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 펜인 경우, HMD는 사용자가 그립하고 있는 펜의 펜촉을 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 터치 센서티브 디스플레이를 포함하는 디바이스인 경우, HMD는 사용자가 터치한 터치 센서티브 디스플레이 상의 소프트 버튼을 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 전자기기인 경우, HMD는 사용자가 제어한 전자기기의 컨트롤 버튼을 레퍼런스 포인트로서 디텍팅할 수 있다.

HMD는 디텍팅된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나를 이용하여 시선 캘리브레이션을 실시할 수 있다.

도 13은 다른 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다. HMD는 센싱된 주변환경의 이미지에 포함된 사용자의 손을 제1 오브젝트로서 디텍팅할 수 있다(S210). HMD는 리얼 오브젝트를 디텍팅하기에 앞서 사용자의 손을 먼저 디텍팅할 수 있다. 도 1 내지 4에서 설명한 바와 같이, HMD는 이미지 처리 유닛을 이용하여 주변환경의 이미지로부터 사용자의 손을 디텍팅할 수 있다. 또한 HMD는 디텍팅된 사용자의 손을 제1 오브젝트로서 디텍팅할 수 있다. HMD는 사용자의 손모양 및 제스쳐 중 적어도 하나를 이용하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. 예를 들어 HMD는 사용자의 손이 'V' 모양으로 디텍팅되었을 때, 사용자의 손을 제1 오브젝트로서 디텍팅할 수 있다. 또한 다른 실시예로서, HMD는 사용자의 손금 또는 손등에 나타난 정맥의 모양에 기초하여 다른 사람의 손과 사용자의 손을 구별할 수 있다.

HMD는 센싱된 주변환경의 이미지에 포함된 적어도 하나의 오브젝트를 제2 오브젝트로서 디텍팅할 수 있다(S220). 도 1 내지 4에서 설명한 바와 같이, HMD는 이미지 처리 유닛을 이용하여 주변환경의 이미지로부터 적어도 하나의 리얼 오브젝트를 추출할 수 있다. HMD는 추출된 적어도 하나의 리얼 오브젝트를 제2 오브젝트로서 디텍팅할 수 있다. 여기서, HMD는 두 개 이상의 리얼 오브젝트들을 각각 제2 오브젝트로서 디텍팅할 수도 있다.

HMD는 제2 오브젝트에 대한 제1 오브젝트의 이벤트를 디텍팅할 수 있다(S230). 도 1 내지 4에서 설명한 바와 같이, HMD는 이미지 처리 유닛을 이용하여 제1 오브젝트로서 디텍팅된 사용자의 손이 제2 오브젝트로서 디텍팅된 리얼 오브젝트를 제어하는 동작을 디텍팅할 수 있다. HMD는 상술한 동작을 제2 오브젝트에 대한 제1 오브젝트의 이벤트로서 디텍팅할 수 있다.

예를 들어, HMD는 사용자의 손가락 끝부분을 제1 오브젝트로서 디텍팅하고 외부 디바이스를 제2 오브젝트로서 디텍팅할 수 있다. 제2 오브젝트가 키보드 입력 장치인 경우, HMD는 키보드의 자판을 누르는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제2 오브젝트가 펜인 경우, HMD는 펜을 이용하여 필기하는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제2 오브젝트가 터치 센서티브 디스플레이를 포함하는 디바이스인 경우, HMD는 터치 센서티브 디스플레이를 터치하는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제2 오브젝트가 전자기기인 경우, HMD는 전자기기의 컨트롤 버튼을 제어하는 동작을 이벤트로서 디텍팅할 수 있다. 여기서 전자기기의 컨트롤 버튼은 전원 버튼, 볼륨 컨트롤 버튼 및 채널 컨트롤 버튼 중 적어도 하나를 포함할 수 있다.

HMD는 이벤트가 디텍팅된 제2 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다(S240). 도 1 내지 4에서 설명한 바와 같이, HMD는 이미지 처리 유닛을 이용하여 이벤트가 디텍팅된 제2 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. 즉, HMD는 디텍팅된 적어도 하나의 제2 오브젝트 중에서 이벤트가 디텍팅된 제2 오브젝트를 레퍼런스 오브젝트로 디텍팅할 수 있다.

HMD는 디텍팅된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나를 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD는 시선 캘리브레이션의 결과에 따라 디스플레이되는 이미지 또는 버추얼 오브젝트의 위치를 이동시킬 수 있다.

도 14는 다른 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다. HMD는 전면 방향으로부터 제1 이동 오브젝트의 제1 루트 및 제2 이동 오브젝트의 제2 루트를 디텍트할 수 있다(S310). 도 7에서 설명한 바와 같이, HMD는 이동성을 갖는 이동 오브젝트의 루트를 디텍팅할 수 있다. 카메라 유닛에 의해 복수의 이동 오브젝트들이 디텍트된 경우, HMD는 속도 조건, 크기 조건, 이동 방향 조건 및 색상 조건 중 적어도 하나를 만족하는 이동 오브젝트들에 한하여 이동 오브젝트들을 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 여기서, 카메라 유닛은 사용자의 시야와 동일한 범위의 이미지를 디텍팅할 수 있다. 만약 제1 이동 오브젝트 및 제2 이동 오브젝트가 상술한 조건들 중 적어도 하나를 만족했다면, HMD는 제1 이동 오브젝트 및 제2 이동 오브젝트를 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 또한 HMD는 제1 이동 오브젝트가 이동하는 방향 및 변위를 포함하는 제1 루트, 제2 이동 오브젝트가 이동하는 방향 및 변위를 포함하는 제2 루트를 디텍팅할 수 있다.

HMD는 사용자의 시선이 이동하는 제3 루트를 디텍트할 수 있다(S320). HMD는 사용자의 동공의 움직임에 기초하여 사용자의 시선 방향을 디텍트할 수 있다. HMD는 시간에 따라 이동하는 사용자의 시선을 트랙킹하여 사용자의 시선이 이동하는 제3 루트를 디텍트할 수 있다. HMD는 시선 디텍팅 유닛을 이용하여 사용자의 시선의 제3 루트를 디텍트할 수 있다. HMD는 디텍트된 제1 루트 및 제2 루트를 제3 루트와 비교할 수 있다.

HMD는 디텍트된 제1 루트가 디텍트된 제3 루트와 일치하는 경우 제1 이동 오브젝트를 레퍼런스 오브젝트로 설정할 수 있다(S330). HMD는 제1 루트를 따라 이동하는 상기 제1 이동 오브젝트의 방향, 속도 및 이동거리를 사용자의 시선의 방향, 속도 및 이동거리와 비교하여 제1 루트가 제3 루트와 일치하는지 여부를 결정할 수 있다. HMD는 제1 루트와 제3 루트가 완벽히 일치하는 경우 뿐만 아니라 레퍼런스 오브젝트의 제1 루트와 사용자의 시선의 제3 루트가 제1 비율 이상 일치하는 경우에도 제1 루트와 제3 루트가 일치하는 것으로 결정할 수 있다. HMD는 제1 루트와 제3 루트가 제1 비율이상 일치하는 경우에 한하여 아래의 시선 캘리브레이션을 수행할 수 있다.

HMD는 디텍트된 제2 루트가 디텍트된 제3 루트와 일치하는 경우 제2 이동 오브젝트를 레퍼런스 오브젝트로 설정할 수 있다(S340). HMD는 제2 루트를 따라 이동하는 상기 제2 이동 오브젝트의 방향, 속도 및 이동거리를 사용자의 시선의 방향, 속도 및 이동거리와 비교하여 제2 루트가 제3 루트와 일치하는지 여부를 결정할 수 있다. HMD는 제2 루트와 제3 루트가 완벽히 일치하는 경우 뿐만 아니라 레퍼런스 오브젝트의 제2 루트와 사용자의 시선의 제3 루트가 제1 비율 이상 일치하는 경우에도 제2 루트와 제3 루트가 일치하는 것으로 결정할 수 있다. HMD는 제2 루트와 제3 루트가 제1 비율이상 일치하는 경우에 한하여 아래의 시선 캘리브레이션을 수행할 수 있다.

HMD는 설정된 레퍼런스 오브젝트의 루트 및 디텍트된 제3 루트에 기초하여 시선 캘리브레이션을 수행할 수 있다(S350). HMD는 사용자에 대한 HMD의 착용 위치가 변경되는 경우 또는 사용자의 시선 변화가 스레시홀드 이상인 경우에 시선 캘리브레이션을 수행할 수 있다. HMD는 시선 캘리브레이션의 결과에 따라 디스플레이된 버추얼 오브젝트 또는 비주얼 인포메이션의 위치를 이동시킬 수 있다. 또한 HMD는 아직 디스플레이되지 않은 버추얼 오브젝트 또는 비주얼 인포메이션을 시선 캘리브레이션의 결과를 반영한 위치에 디스플레이할 수 있다.

도 15는 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트를 이용한 포커스 제어 방법을 나타낸 도면이다.

HMD는 상술한 바와 같이 레퍼런스 오브젝트 및 사용자의 시선 방향을 디텍트 할 수 있다. 이때, HMD는 레퍼런스 오브젝트 및 사용자의 시선 방향에 기초하여 카메라 유닛(101)의 포커스를 제어할 수 있다.

일 예로, 도 15를 참조하면, HMD는 제 1 이동 오브젝트(151) 및 제 2 이동 오브젝트(152) 중 적어도 하나를 레퍼런스 오브젝트로 설정할 수 있다. 이때, 일 예로, HMD는 제1 이동 오브젝트(151) 및 제2 이동 오브젝트(152)가 위에서 언급한속도 조건, 크기 조건, 이동 방향 조건 및 색상 조건 중 적어도 하나를 만족하는 경우, HMD는 제1 이동 오브젝트(151) 및 제2 이동 오브젝트(152)를 레퍼런스 오브젝트의 후보군에 포함시키고, 레퍼런스 오브젝트의 후보군에 포함된 이동 오브젝트들 중에서 레퍼런스 오브젝트를 결정할 수 있다. 또한, 상술한 바와 같이 HMD는 시선 디텍팅 유닛(22)를 통해 사용자의 시선을 디텍팅할 수 있다. HMD는 사용자의 시선이 이동하는 제3 루트를 디텍팅할 수 있다. 또한, HMD는 이미지 처리 유닛을 이용하여 위에서 디텍팅한 제1 루트 및 제2 루트를 사용자의 시선이 이동하는 제3 루트와 비교할 수 있다. 만약 제3 루트와 실질적으로 일치하는 루트를 갖는 이동 오브젝트가 존재하는 경우, HMD는 사용자의 시선이 해당 이동 오브젝트를 응시하고 있는 것으로 결정할 수 있다. 여기서 두 개의 루트가 일치함은 두 개의 루트가 완벽하게 일치하는 경우 뿐만 아니라 두 개의 루트가 방향 및 이동 비율에 있어서 실질적으로 일치하는 경우를 포함할 수 있다. 즉, HMD는HMD는 제3 루트와 실질적으로 일치하는 제1 루트에 따라 이동하는 제1 이동 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다.

보다 상세하게는, 도 15a에서 HMD는 사용자의 시선이 이동하는 제 3 루트와 제 1 이동 오브젝트가 이동하는 제 1 루트가 동일함을 디텍트할 수 있다. 즉, HMD는 시선 디텍팅 유닛(22)을 이용하여 제 1 이동 오브젝트의 이동 방향으로 사용자의 시선이 이동함을 디텍트할 수 있다. HMD가 제 1 루트와 제 3 루트가 동일함을 디텍트하는 경우, HMD는 카메라 유닛(101)의 포커스를 제 1 이동 오브젝트(151)에 설정할 수 있다. 이때, 일 예로, HMD는 카메라 유닛(101)을 이용하여 제 1 이동 오브젝트(151)에 포커싱된 이미지를 센싱할 수 있다. 즉, HMD는 카메라 유닛(101)을 이용하여 제 1 이동 오브젝트(151)에 포커싱을 설정하고 촬영할 수 있다. 또한, 일 예로, HMD는 디스플레이 유닛(104)을 이용하여 카메라 유닛(101)으로 센싱되는 이미지를 비주얼 정보로서 디스플레이할 수 있다. HMD는 디스플레이 유닛(104)에 촬영되는 이미지에 대한 프리뷰 정보를 비주얼 정보로서 디스플레이할 수 있다. 이때, 상술한 바와 같이, HMD는 비주얼 정보를 사용자의 눈과 레퍼런스 오브젝트 사이에 디스플레이할 수 있다. 즉, 레퍼런스 오브젝트는 리얼 오브젝트이고, 씨쓰루 형태로 이루어진 디스플레이 유닛을 이용하여 레퍼런스 오브젝트에 대한 비주얼 정보를 디스플레이 할 수 있다. 이때, 일 예로, 포커싱 인디케이터는 버추얼 오브젝트로 디스플레이될 수 있다. 이때, 버추얼 오브젝트는 디스플레이 유닛(105)에 의해 사용자에게 제공되는 그래픽 유저 인터페이스일 수 있다. 이때, 디스플레이 유닛(105)은 증강현실(Augmented Reality) 기술을 이용하여 상기 레퍼런스 오브젝트의 위치에 기초하여 상기 버추얼 오브젝트인 포커싱 인디케이터를 디스플레이할 수 있다. 또한, 일 예로, HMD는 거리 측정 유닛(106)을 이용하여 디텍트된 레퍼런스 오브젝트까지의 거리를 측정할 수 있다.

HMD는 측정된 레퍼런스 오브젝트까지의 거리에 대응하여 버추얼 오브젝트인 포커싱 인디케이터가 디스플레이되는 뎁스(depth)를 결정할 수 있다. 이때, 일 예로, HMD는 증강 현실 메시지의 깊이감을 레퍼런스 포인트의 깊이감과 동일하게 설정하여, 레퍼런스 포인트와 증강현실 메시지가 동일 평면상에 동일 뎁스로 위치하도록 증강현실 메시지를 디스플레이할 수 있으며, 상술한 실시예로 한정하지 않는다.

HMD가 비주얼 정보를 디스플레이하는 경우, HMD는 포커싱 인디케이터(153-1, 153-2, 153-3, 153-4)를 더 디스플레이할 수 있다. 이때, 포커싱 인디케이터(153-1, 153-2, 153-3, 153-4)는 카메라 유닛(101)에 의해 포커스가 설정된 레퍼런스 오브젝트를 나타낼 수 있다. 또한, 일 예로, 포커싱 인디케이터(153-1, 153-2, 153-3, 153-4)는 레퍼런스 오브젝트를 포함한 영역으로서, 포커스가 설정된 영역을 나타낼 수 있다. 또한, 일 예로, HMD는 카메라 유닛(101)을 이용하여 포커싱 인디케이터(153-1, 153-2, 153-3, 153-4)로 설정된 영역만을 이미지로 촬영할 수 있다. 즉, 포커싱 인디케이터(153-1, 153-2, 153-3, 153-4)는 포커스가 설정된 영역을 나타내는 인디케이터일 수 있다. 또한, 포커싱 인디케이터(153-1, 153-2, 153-3, 153-4)는 포커스가 설정되고, 이미지로 촬영되는 영역을 나타낼 수 있다. 보다 상세하게는, 도 15b를 참조하면, HMD는 제 1 이동 오브젝트(151)의 제 1 루트와 사용자 시선의 제 3루트가 동일함을 디텍트할 수 있다. 이때, HMD는 제 1 이동 오브젝트(151)에 포커스가 설정되었음을 나타내는 포커싱 인디케이터(153-1, 153-2, 153-3, 153-4)를 제 1 이동 오브젝트를 포함한 영역에 설정할 수 있다. 이를 통해, HMD는 포커싱이 수행되는 있는 오브젝트 또는 영역을 확인할 수 있다.

또한, HMD는 제 1 이동 오브젝트(151)에 대응하는 제 1 비주얼 정보 및 제 2 이동 오브젝트(152)에 대응하는 제 2 비주얼 정보를 디스플레이할 수 있다. 이때, HMD는 포커스가 설정된 제 1 이동 오브젝트(151)에 대응하는 제 1 비주얼 정보를 제 2 비주얼 정보와 다른 디스플레이 속성을 갖도록 디스플레이할 수 있다. 이때, 디스플레이 속성은 선명도, 해상도, 밝기 중 적어도 하나를 포함할 수 있다. 즉, HMD는 포커스가 설정된 오브젝트와 주변 영역을 구별하여 디스플레이할 수 있다. 보다 상세하게는, 도 15c를 참조하면, 레퍼런스 오브젝트로 결정된 제 1 오브젝트(151)를 제 2 오브젝트(152)보다 선명하게 디스플레이할 수 있다. 또한, HMD는 제 2 오브젝트(152) 및 주변 이미지의 선명도를 제 1 오브젝트(151)의 선명도보다 작게 설정할 수 있다. 즉, HMD는 포커싱된 오브젝트를 나타내기 위해 선명도를 조절할 수 있다. 또한, 일 예로, HMD는 레퍼런스 오브젝트의 밝기, 해상도 중 적어도 하나를 조절할 수 있다. 이를 통해, HMD는 포커싱된 오브젝트를 나타낼 수 있다.

또한, 일 예로, HMD는 카메라 유닛(101)을 이용하여 디스플레이 유닛에 디스플레이된 비주얼 정보를 이미지로 촬영할 수 있다. 이때, HMD는 상술한 디스플레이 속성을 유지한 상태로 이미지를 촬영될 수 있다.

도 15d 내지 도 15f를 참조하면, HMD는 제 2 이동 오브젝트(152)의 제 2 루트와 사용자 시선의 제 3 루트가 실질적으로 동일함을 디텍트할 수 있다. 이때, 상술한 바와 같이 두 개의 루트가 일치함은 두 개의 루트가 완벽하게 일치하는 경우 뿐만 아니라 두 개의 루트가 방향 및 이동 비율에 있어서 실질적으로 일치하는 경우를 포함할 수 있다. 즉, HMD는HMD는 제3 루트와 실질적으로 일치하는 제 2 루트에 따라 이동하는 제 2 이동 오브젝트(152)를 레퍼런스 오브젝트로 결정할 수 있다. 또한, HMD는 제 2 오브젝트(152)에 포커싱된 이미지를 카메라 유닛(101)을 이용하여 촬영할 수 있다. 이를 통해, 유저가 HMD를 이용하여 이동 오브젝트가 포함된 이미지를 촬영하는 경우, 유저는 이동 오브젝트 중 포커스를 설정하고자 하는 오브젝트를 시선을 통해서 설정할 수 있다. 또한, HMD는 레퍼런스 오브젝트로 설정된 제 2 이동 오브젝트(152)를 나타내는 포커싱 인디케이터(154-1, 154-2, 154-3, 154-4)를 디스플레이할 수 있다. 또한, HMD는 포커스가 설정된 레퍼런스 오브젝트의 디스플레이 속성을 변경하여 디스플레이할 수 있으며, 이는 상술한 바와 같다.

도 16는 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트의 일부 영역에 대한 포커스를 제어 방법을 나타낸 도면이다. 또한 HMD는 레퍼런스 오브젝트의 일부 영역인 레퍼런스 포인트를 디텍팅할 수 있다. 이때, HMD는 정확한 포커싱 영역을 설정하기 위해, 레퍼런스 오브젝트의 위치 대신 레퍼런스 포인트의 위치를 포커스를 제어하는데 이용할 수 있다. HMD는 시선 디텍팅 유닛을 이용하여, 디텍팅된 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향을 디텍팅할 수 있다. 레퍼런스 포인트는 레퍼런스 오브젝트의 일부 영역일 수 있다. 또한, 일 예로, 레퍼런스 포인트는 레퍼런스 오브젝트에서 사용자의 시선이 미치는 위치에서 스레스홀드 범위 내에 위치하는 영역을 의미할 수 있다. 또한, 일 예로, HMD는 포인트 우선 순위 정보에 따라 레퍼런스 오브젝트의 일부 영역을 레퍼런스 포인트로 결정할 수 있다. 일 예로, 레퍼런스 오브젝트가 동물인 경우, 레퍼런스 포인트는 동물의 얼굴로 결정될 수 있다. 특히, 레퍼런스 오브젝트가 사람인 경우, 레퍼런스 포인트는 사람의 얼굴로 결정될 수 있다. 또한 레퍼런스 오브젝트가 자동차인 경우, 레퍼런스 포인트는 자동차의 번호판, 엠블럼 또는 헤드라이트일 수 있다. 또한 시선 캘리브레이션이 수행되는 장소가 어두운 경우, 레퍼런스 오브젝트 중 밝은 부분을 레퍼런스 포인트로 결정할 수도 있다. 즉, 레퍼런스 포인트는 HMD에 의해서 오브젝트 속성을 고려하여 결정될 수 있으며, 상술한 실시예로 한정되지 않는다. HMD는 레퍼런스 포인트에 기초하여 카메라 유닛의 포커스를 제어할 수 있다. 이때, HMD는 레퍼런스 포인트에 의해 설정된 영역만을 포커스할 수 있다. 보다 상세하게는, 도 16(a) 및 도 16(b)를 참조하면, 레퍼런스 오브젝트가 사람인 경우, HMD는 레퍼런스 포인트를 사람의 얼굴로 결정할 수 있다. 이때, HMD는 사람의 얼굴에 카메라 유닛(101)를 포커스를 맞출 수 있다. 이때, 일 예로, HMD는 카메라 유닛(101)을 이용하여 사람의 얼굴에 포커스가 설정되고, 사람 및 주변 이미지를 포함한 이미지를 촬영할 수 있다. 또한, 일 예로, HMD는 카메라 유닛(101)을 이용하여 사람의 얼굴에 포커스가 설정되고, 주변 이미지를 제외한 사람만을 포함한 이미지를 촬영할 수 있다. 즉, HMD가 레퍼런스 포인트에 기초하여 포커스를 제어하는 경우, HMD는 포커스가 설정 영역과 이미지로 촬영되는 영역을 구별할 수 있다. 이를 통해, 유저는 HMD를 이용하여 포커스가 설정되는 영역과 이미지로 촬영되는 영역을 구별하여 설정할 수 있다.

도 17는 본 명세서의 일 실시예에 따른 HMD의 이동 오브젝트의 포커스를 연속적으로 제어 방법을 나타낸 도면이다. HMD는 레퍼런스 오브젝트의 루트를 디텍트하고, 레퍼런스 오브젝트의 루트가 사용자의 시선과 실질적으로 동일한지 디텍트할 수 있다. 이때, HMD는 레퍼런스 오브젝트의 위치 및 사용자의 시선 방향의 위치를 디텍트하고, 이를 이용하여 카메라 유닛(101)의 포커스를 제어할 수 있다. 보다 상세하게는, 레퍼런스 오브젝트는 제 1 위치에서 제 2 위치로 이동할 수 있다. HMD는 레퍼런스 오브젝트가 제 1 위치에 있을 때, 사용자의 제 1 시선 방향을 디텍트할 수 있다. 또한, HMD는 레퍼런스 오브젝트가 제 2 위치에 있을 때, 사용자의 제 2 시선 방향을 디텍트할 수 있다. HDM는 제 1 위치, 제 2 위치 및 제 1 위치에 대응하는 제 1 시선 방향 및 제 2 시선 방향에 기초하여 레퍼런스 오브젝트의 이동 및 시선의 이동을 디텍트하고 포커스를 제어할 수 있다. 이때, 일 예로, HMD는 레퍼런스 오브젝트의 이동 방향과 사용자 시선이 반대로 이동함을 디텍트하면 HMD는 레퍼런스 오브젝트의 제 1 루트와 사용자 시선의 제 3 루트가 실질적으로 동일한 것으로 디텍트할 수 있다. 보다 상세하게는, HMD는 레퍼런스 오브젝트 및 사용자 가운데 위치할 수 있다. 따라서, HMD가 디텍트하는 레퍼런스 오브젝트는 HMD가 디텍트하는 사용자 시선과 좌우가 반대로 설정될 수 있다. 즉, HMD를 기준으로, HMD는 좌우 방향을 전환하여 레퍼런스 오브젝트의 제 1 루트 및 사용자 시선의 제 3 루트가 실질적으로 동일한지 여부를 디텍트할 수 있다. 또한, 일 예로, 레퍼런스 오브젝트가 이동하는 경우, HMD는 사용자의 시선 방향에 기초하여 카메라 유닛(101)의 포커스를 연속적으로 제어할 수 있다. 보다 상세하게는, 도 17(a) 및 도 17(b)를 참조하면, 제 1 이동 오브젝트(171)는 사람일 수 있다. 이때, 제 1 이동 오브젝트(171)는 이동하는 오브젝트일 수 있다. 제 1 이동 오브젝트(171)가 제 1 위치에서 제 2 위치로 이동하는 경우, HMD는 제 1 이동 오브젝트(171)의 이동 위치에 따라 카메라 유닛(101)의 포커스를 지속적으로 변경할 수 있다. 즉, HMD는 설정된 포커스를 제 1 이동 오브젝트(171)를 따라 변경함으로서, 지속적으로 제 1 이동 오브젝트(151)의 포커싱을 유지할 수 있다. 이때, 일 예로, HMD는 기준 시간마다 포커스를 변경할 수 있다. 이때, 기준 시간은 매우 짧은 시간일 수 있다.

도 18는 본 명세서의 일 실시예에 따른 HMD의 일정 주기에 기초하여 이동 오브젝트의 포커스를 제어하는 방법을 나타낸 도면이다. 레퍼런스 오브젝트의 루트와 사용자 시선의 루트가 실질적으로 동일한 경우, HMD는 카메라 유닛(101)의 포커스를 레퍼런스 오브젝트에 설정할 수 있다. 이때, HMD는 레퍼런스 오브젝트의 루트 및 사용자 시선의 루트를 기설정된 주기에 기초하여 디텍트할 수 있다. 보다 상세하게는, HMD는 레퍼런스 오브젝트의 루트 및 사용자 시선의 루트를 디텍트할 수 있다. 이때, 일 예로, 레퍼런스 오브젝트의 루트와 사용자 시선의 루트가 실질적으로 동일한 경우, HMD는 카메라 유닛(101)의 포커스를 레퍼런스 오브젝트에 설정할 수 있다. 그 후, HMD는 레퍼런스 오브젝트에서 설정된 포커스를 일정 시간 동안 유지할 수 있다. 이때, 일 예로, HMD는 기설정된 시간 동안에는 사용자의 시선의 루트가 변경되어도 레퍼런스 오브젝트에 설정된 포커스를 유지할 수 있다. 즉, HMD는 레퍼런스 오브젝트에 포커스를 설정한 후, 일정 시간 동안 사용자의 시선 위치와 무관하게 포커스를 레퍼런스 오브젝트에 유지할 수 있다. HMD는 기설정된 시간이 경과된 시점에서 제 1 이동 오브젝트(181)의 제 1 루트, 제 2 이동 오브젝트(182)의 제 2 루트 및 사용자 시선의 제 3 루트를 다시 디텍트할 수 있다. HMD는 사용자 시선의 제 3 루트와 실질적으로 동일한 루트를 가진 오브젝트를 레퍼런스 오브젝트로 다시 설정할 수 있다. 이를 통해, HMD는 일정 주기마다 포커스된 오브젝트를 업데이트할 수 있다. 보다 상세하게는, 도 18을 참조하면, HMD는 t0에서 오브젝트 및 사용자 시선의 루트를 디텍트할 수 있다. 이때, HMD가 제 1 이동 오브젝트(181)와 제 1 루트와 사용자 시선의 제 3 루트가 실질적으로 동일함을 디텍트할 수 있다. HMD는 카메라 유닛(101)의 포커스를 제 1 이동 오브젝트에 설정할 수 있다. 그 후, HMD는 t1까지 사용자 시선의 루트와 무관하게 카메라 유닛(101)의 포커스를 제 1 이동 오브젝트(181)에 설정할 수 있다. 그 후, HMD는 t1에서 제 1 이동 오브젝트(181)의 제 1 루트, 제 2 이동 오브젝트(182)의 제 2 루트 및 사용자 시선의 제 3 루트를 다시 디텍트할 수 있다. 이때, HMD가 제 2 이동 오브젝트(182)와 제 2 루트와 사용자 시선의 제 3 루트가 실질적으로 동일함을 디텍트할 수 있다. HMD는 카메라 유닛(101)의 포커스를 제 2 이동 오브젝트에 설정할 수 있다. 그 후, HMD는 t2까지 사용자 시선의 루트와 무관하게 카메라 유닛(101)의 포커스를 제 2 이동 오브젝트(182)에 설정할 수 있다. 이를 통해, HMD는 특정 오브젝트에 포커스를 설정하고, 일정 시간 동안 포커스를 유지할 수 있다.

도 19는 본 명세서의 일 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다. HMD는 전면 방향의 주변 환경(Surroundings)의 이미지를 센싱할 수 있다.(S410) 도 10에서 상술한 바와 같이, HMD는 사용자의 시야에 대응하는 범위를 센싱할 수 있다.

다음으로, HMD는 센싱된 주변 환경(Surroundings)의 이미지 중에서 레퍼런스 오브젝트를 디텍팅할 수 있다.(S420) 도 1 내지 4에서 상술한 바와 같이 HMD는 센싱된 주변환경의 이미지에 포함된 적어도 하나의 리얼 오브젝트를 오브젝트 단위로 구별할 수 있다. HMD는 오브젝트 단위로 구별된 적어도 하나의 리얼 오브젝트 중에서 레퍼런스 오브젝트를 디텍팅할 수 있다. 또한 HMD는 레퍼런스 오브젝트의 일부 영역인 레퍼런스 포인트를 디텍팅할 수 있다. 이 경우, HMD는 카메라 유닛(101)의 포커스를 정확하게 설정하기 위해, 레퍼런스 오브젝트의 위치 대신 레퍼런스 포인트의 위치를 포커싱에 이용 할 수 있다.

다음으로, HMD는 디텍팅된 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향 디텍팅할 수 있다.(S430) 도 1 에서 상술한 바와 같이, HMD는 HMD를 착용한 사용자의 동공의 위치를 디텍팅하여 사용자의 시선 방향을 디텍팅할 수 있다. HMD는 사용자의 동공에 대한 HMD의 상대적인 위치 및 사용자의 동공과 HMD 사이의 거리 중 적어도 하나에 기초하여, 디텍팅된 사용자의 시선 방향을 보정할 수 있다.

다음으로, HMD는 디텍팅된 레퍼런스 오브젝트 및 디텍팅된 사용자의 시선 방향에 기초하여 카메라 유닛의 포커스를 레퍼런스 오브젝트에 설정할 수 있다.(S440) 도 10 및 도 15에서 상술한 바와 같이, HMD는 레퍼런스 오브젝트로 설정할 수 있다. 이때, 일 예로, HMD는 레퍼런스 오브젝트를 언급한 속도 조건, 크기 조건, 이동 방향 조건 및 색상 조건 중 적어도 하나에 기초하여 설정할 수 있다. HMD는 설정된 레퍼런스 오브젝트에 카메라 유닛의 포커스를 설정할 수 있다. 포커스는 빛이 한 곳에 모이는 점으로서 렌즈나 거울의 광학적 성질에 기초하여 결정될 수 있다. 또한, 포커스는 피사체로부터 반사된 광선이 렌즈를 통과한 후 필름상의 초점면에 모여 피사체의 영상을 형성하는 한 점을 의미할 수 있다.

도 20는 본 명세서의 일 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다.

HMD는 제 1 이동 오브젝트의 제 1 루트 및 제 2 이동 오브젝트의 제 2 루트를 디텍트할 수 있다.(S510) 도 7에서 상술한 바와 같이, HMD는 이동성을 갖는 이동 오브젝트의 루트를 디텍팅할 수 있다. 카메라 유닛에 의해 복수의 이동 오브젝트들이 디텍트된 경우, HMD는 속도 조건, 크기 조건, 이동 방향 조건 및 색상 조건 중 적어도 하나를 만족하는 이동 오브젝트들에 한하여 이동 오브젝트들을 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 여기서, 카메라 유닛은 사용자의 시야와 동일한 범위의 이미지를 디텍팅할 수 있다. 만약 제1 이동 오브젝트 및 제2 이동 오브젝트가 상술한 조건들 중 적어도 하나를 만족했다면, HMD는 제1 이동 오브젝트 및 제2 이동 오브젝트를 레퍼런스 오브젝트의 후보군에 포함시킬 수 있다. 또한 HMD는 제1 이동 오브젝트가 이동하는 방향 및 변위를 포함하는 제1 루트, 제2 이동 오브젝트가 이동하는 방향 및 변위를 포함하는 제 2 루트를 디텍팅할 수 있다.

다음으로, HMD는 사용자의 시선이 이동하는 제 3루트를 디텍트할 수 있다.(S520) 도 7에서 상술한 바와 같이, HMD는 사용자의 동공의 움직임에 기초하여 사용자의 시선 방향을 디텍트할 수 있다. HMD는 시간에 따라 이동하는 사용자의 시선을 트랙킹하여 사용자의 시선이 이동하는 제3 루트를 디텍트할 수 있다. HMD는 시선 디텍팅 유닛을 이용하여 사용자의 시선의 제3 루트를 디텍트할 수 있다. HMD는 디텍트된 제1 루트 및 제2 루트를 제3 루트와 비교할 수 있다.

다음으로, 디텍트된 제 1 루트가 디텍트된 제 3 루트와 일치하는 경우, HMD는 제 1 이동 오브젝트를 레퍼런스 오브젝트로 설정할 수 있다.(S530) 도 15에서 상술한 바와 같이, HMD는 제1 루트를 따라 이동하는 상기 제1 이동 오브젝트의 방향, 속도 및 이동거리를 사용자의 시선의 방향, 속도 및 이동거리와 비교하여 제1 루트가 제3 루트와 일치하는지 여부를 결정할 수 있다. HMD는 제1 루트와 제3 루트가 완벽히 일치하는 경우 뿐만 아니라 레퍼런스 오브젝트의 제1 루트와 사용자의 시선의 제3 루트가 제1 비율 이상 일치하는 경우에도 제1 루트와 제3 루트가 일치하는 것으로 결정할 수 있다.

다음으로, 디텍트된 제 2 루트가 디텍트된 제 3 루트와 일치하는 경우, HMD는 제 2 이동 오브젝트를 레퍼런스 오브젝트로 설정할 수 있다.(S540) 도 15에서 상술한 바와 같이, HMD는 제2 루트를 따라 이동하는 상기 제2 이동 오브젝트의 방향, 속도 및 이동거리를 사용자의 시선의 방향, 속도 및 이동거리와 비교하여 제2 루트가 제3 루트와 일치하는지 여부를 결정할 수 있다. HMD는 제2 루트와 제3 루트가 완벽히 일치하는 경우 뿐만 아니라 레퍼런스 오브젝트의 제2 루트와 사용자의 시선의 제3 루트가 제1 비율 이상 일치하는 경우에도 제2 루트와 제3 루트가 일치하는 것으로 결정할 수 있다.

다음으로, HMD는 설정된 레퍼런스 오브젝트의 루트 및 디텍트된 제 3 루트에 기초하여

카메라 유닛의 포커스를 레퍼런스 오브젝트에 설정할 수 있다.(S550) 도 10 및 15에서 상술한 바와 같이, HMD는 설정된 레퍼런스 오브젝트에 카메라 유닛의 포커스를 설정할 수 있다. 포커스는 빛이 한 곳에 모이는 점으로서 렌즈나 거울의 광학적 성질에 기초하여 결정될 수 있다. 또한, 포커스는 피사체로부터 반사된 광선이 렌즈를 통과한 후 필름상의 초점면에 모여 피사체의 영상을 형성하는 한 점을 의미할 수 있다. HMD는 이미지로 촬영되는 영역에 포함된 레퍼런스 오브젝트에 포커스를 설정하고, 이미지를 센싱할 수 있다.

이상 설명한 바와 같이, 본 명세서에 따른 HMD는 별도의 캘리브레이션 이미지를 디스플레이하거나 별도의 캘리브레이션 타임을 할애하지 않고 시선 캘리브레이션을 수행할 수 있다. 즉, HMD는 사용자가 HMD를 착용한 상태에서 HMD를 통해 이동성을 갖는 리얼 오브젝트를 바라보는 것만으로도 레퍼런스 오브젝트를 설정하고 레퍼런스 오브젝트의 루트와 사용자의 시선의 루트를 비교하여 시선 캘리브레이션을 수행할 수 있는 효과가 있다.

10: HMD 11: 리얼 오브젝트
21: 카메라 유닛 22: 시선 디텍팅 유닛
23: 레퍼런스 포인트 101: 카메라 유닛
102: 이미지 처리 유닛 103: 시선 디텍팅 유닛
104: 디스플레이 유닛 105: 컨트롤러
106: 거리 측정 유닛

Claims

HMD(Head Mounted Display)의 전면 방향으로부터 제1 이동 오브젝트의 제1 루트 및 제2 이동 오브젝트의 제2 루트를 디텍트하는 카메라 유닛;
사용자의 시선이 이동하는 제3 루트를 디텍트하는 시선 디텍팅 유닛; 및
레퍼런스 오브젝트의 루트 및 상기 디텍트된 제3 루트에 기초하여 상기 카메라 유닛의 포커스(focus)를 제어하는 컨트롤러;를 포함하는 HMD로서,
상기 컨트롤러는
상기 디텍트된 제1 루트가 상기 디텍트된 제3 루트와 실질적으로 일치하는 경우, 상기 제1 이동 오브젝트를 상기 레퍼런스 오브젝트로서 설정하고, 상기 카메라 유닛의 포커스를 상기 제 1 이동 오브젝트에 설정하고,
상기 디텍트된 제2 루트가 상기 디텍트된 제3 루트와 실질적으로 일치하는 경우, 상기 제2 이동 오브젝트를 상기 레퍼런스 오브젝트로서 설정하고, 상기 카메라 유닛의 포커스를 상기 제 2 이동 오브젝트에 설정하는, HMD.
제 1 항에 있어서,
상기 HMD는 비주얼 정보를 디스플레이하는 디스플레이 유닛을 더 포함하되,
상기 비주얼 정보는 상기 사용자의 눈과 상기 레퍼런스 오브젝트 사이에 디스플레이되고, 상기 레퍼런스 오브젝트는 디스플레이된 이미지가 아닌 리얼 오브젝트인 HMD.
제 2 항에 있어서,
상기 컨트롤러는,
상기 비주얼 정보를 디스플레이 속성(display property)에 기초하여 디스플레이하되,
상기 카메라 유닛에 의해 상기 포커스가 설정된 상기 레퍼런스 오브젝트에 대응하는 제 1 비주얼 정보와 상기 카메라 유닛에 의해 상기 포커스가 설정되지 않은 오브젝트에 대응하는 제 2 비주얼 정보는 다른 디스플레이 속성을 갖는, HMD.
제 3 항에 있어서,
상기 디스플레이 속성은 선명도, 해상도, 밝기 중 적어도 하나를 포함하는, HMD.
제 2 항에 있어서,
상기 컨트롤러는,
상기 카메라 유닛에 의해 상기 포커스가 설정된 상기 레퍼런스 오브젝트에 대응하는 제 1 비주얼 정보를 제 1 선명도로 디스플레이하고,
상기 카메라 유닛에 의해 상기 포커스가 설정되지 않은 오브젝트에 대응하는 제 2 비주얼 정보를 제 2 선명도로 디스플레이하되,
상기 제 1 선명도는 상기 제 2 선명도보다 높은 선명도인, HMD.
제 2 항에 있어서,
상기 컨트롤러는,
상기 디스플레이 유닛을 이용하여 포커싱 인디케이터를 더 디스플레이하되,
상기 포커싱 인디케이터는 상기 카메라 유닛에 의해 포커스가 설정된 상기 레퍼런스 오브젝트를 나타내는 인디케이터인, HMD.
제 6 항에 있어서,
상기 컨트롤러는,
상기 포커싱 인디케이터를 버추얼 오브젝트로 디스플레이하되,
상기 버추얼 오브젝트는 상기 디스플레이 유닛에 의해 사용자에게 제공되는 그래픽 유저 인터페이스인, HMD.
제 7 항에 있어서,
상기 디스플레이 유닛은 증강현실(Augmented Reality) 기술을 이용하여 상기 레퍼런스 오브젝트의 위치에 기초하여 상기 버추얼 오브젝트인 포커싱 인디케이터를 디스플레이하는 HMD.
제 8 항에 있어서,
상기 HMD는 상기 HMD로부터 상기 디텍트된 레퍼런스 오브젝트까지의 제1 거리를 측정하는 거리 측정 유닛을 더 포함하고,
상기 컨트롤러는
상기 측정된 제1 거리에 대응하여 상기 버추얼 오브젝트인 포커싱 인디케이터가 디스플레이되는 뎁스(depth)를 더 결정하는 HMD.
제 1 항에 있어서,
상기 컨트롤러는,
상기 카메라 유닛에 의해 동일한 루트를 갖는 복수의 이동 오브젝트들이 디텍트된 경우, 오브젝트 우선순위 정보에 따라 상기 복수의 이동 오브젝트들 중에서 상기 레퍼런스 오브젝트를 설정하는 HMD.
제 1 항에 있어서,
상기 컨트롤러는,
상기 레퍼런스 오브젝트의 루트를 상기 디텍트된 레퍼런스 오브젝트 상에 위치한 레퍼런스 포인트의 루트로 설정하고, 상기 레퍼런스 포인트의 루트에 기초하여 상기 오토 포커싱을 수행하되,
상기 레퍼런스 포인트는 상기 레퍼런스 오브젝트의 일부 영역인 HMD.
제 11 항에 있어서,
상기 레퍼런스 포인트는 포인트 우선 순위 정보에 따라 상기 레퍼런스 오브젝트의 일부 영역으로 설정되는, HMD.
제 11 항에 있어서,
상기 컨트롤러는,
상기 레퍼런스 포인트의 루트에 기초하여 상기 카메라 유닛의 상기 포커스를 제어하는 경우,
레퍼런스 오브젝트 전체 영역 중 상기 레퍼런스 포인트로 설정된 상기 레퍼런스 오브젝트의 일부 영역에 상기 카메라 유닛의 상기 포커스를 설정하는, HMD.
제 1 항에 있어서,
상기 컨트롤러는,
상기 레퍼런스 오브젝트가 제1 위치로부터 제2 위치로 이동하는 경우, 상기 레퍼런스 오브젝트가 상기 제1 위치에 있을 때 상기 사용자의 제1 시선 방향을 디텍트하고, 상기 레퍼런스 오브젝트가 상기 제2 위치에 있을 때 상기 사용자의 제2 시선 방향을 디텍트하고,
상기 제1 위치, 상기 제2 위치, 상기 제1 시선 방향 및 상기 제2 시선 방향에 기초하여 상기 카메라 유닛의 상기 포커스를 제어하는, HMD.
제 1 항에 있어서,
상기 컨트롤러는,
상기 레퍼런스 오브젝트의 위치가 제1 위치로부터 제2 위치로 이동하는 경우, 상기 레퍼런스 오브젝트의 위치 및 상기 레퍼런스 오브젝트를 따라 이동하는 상기 사용자의 시선 방향에 기초하여 상기 카메라 유닛의 상기 포커스를 연속적으로 제어하는 HMD.
제 1 항에 있어서,
상기 컨트롤러는,
상기 카메라 유닛에 의해 복수의 이동 오브젝트들이 디텍트된 경우, 속도 조건, 크기 조건, 이동 방향 조건 및 색상 조건 중 적어도 하나를 만족하는 상기 복수의 이동 오브젝트들에 한하여 상기 레퍼런스 오브젝트의 후보군에 포함시키는 HMD.
제 1 항에 있어서,
상기 시선 디텍팅 유닛은 상기 사용자의 동공의 움직임에 기초하여 상기 사용자의 시선이 이동하는 시선 방향을 디텍트하고, 상기 시선 방향에 기초하여 상기 제 3 루트를 디텍트하고,
상기 카메라 유닛은 상기 사용자의 시야와 동일한 범위의 이미지를 센싱하는 HMD.
제 1항에 있어서,
상기 카메라 유닛은 상기 제 1 루트 및 상기 제 2 루트를 갱신 주기(update cycle)에 기초하여 주기적으로 디텍트하고,
상기 시선 디텍팅 유닛은 상기 제 3 루트를 상기 갱신 주기에 기초하여 주기적으로 디텍트하고,
상기 컨트롤러는,
상기 갱신 주기마다 상기 카메라 유닛에 의해 상기 포커스가 설정되는 상기 레퍼런스 오브젝트를 갱신하는, HMD.
제 1 항에 있어서,
상기 컨트롤러는,
상기 제1 루트를 따라 이동하는 상기 제1 이동 오브젝트의 방향, 속도 및 이동거리를 상기 사용자의 시선의 방향, 속도 및 이동거리와 비교하여 상기 디텍트된 제1 루트가 상기 디텍트된 제3 루트와 일치하는지 여부를 결정하는 HMD.
HMD(Head Mounted Display)의 전면 방향으로부터 제1 이동 오브젝트의 제1 루트 및 제2 이동 오브젝트의 제2 루트를 디텍트하는 단계;
사용자의 시선이 이동하는 제3 루트를 디텍트하는 단계;
상기 디텍트된 제1 루트가 상기 디텍트된 제3 루트와 일치하는 경우, 상기 제1 이동 오브젝트를 레퍼런스 오브젝트로 설정하는 단계;
상기 디텍트된 제2 루트가 상기 디텍트된 제3 루트와 일치하는 경우, 상기 제2 이동 오브젝트를 상기 레퍼런스 오브젝트로 설정하는 단계; 및
상기 설정된 레퍼런스 오브젝트의 루트 및 상기 디텍트된 제3 루트에 기초하여 상기 카메라 유닛의 포커스를 상기 설정된 레퍼런스 오브젝트에 설정하는 단계;를 포함하는 HMD 제어 방법.