KR101844306B1 - 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법 - Google Patents

디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법 Download PDF

Info

Publication number
KR101844306B1
KR101844306B1 KR1020150190846A KR20150190846A KR101844306B1 KR 101844306 B1 KR101844306 B1 KR 101844306B1 KR 1020150190846 A KR1020150190846 A KR 1020150190846A KR 20150190846 A KR20150190846 A KR 20150190846A KR 101844306 B1 KR101844306 B1 KR 101844306B1
Authority
KR
South Korea
Prior art keywords
display
variable
position vector
correction
user
Prior art date
Application number
KR1020150190846A
Other languages
English (en)
Other versions
KR20170079845A (ko
Inventor
김건희
전한슬
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020150190846A priority Critical patent/KR101844306B1/ko
Publication of KR20170079845A publication Critical patent/KR20170079845A/ko
Application granted granted Critical
Publication of KR101844306B1 publication Critical patent/KR101844306B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 머리착용형 디스플레이 장치에서 디스플레이의 보정을 수행함에 있어서, 사용자 입력을 수신하고 그로부터 디스플레이의 의도된 위치와 사용자가 인식하는 디스플레이의 위치 사이의 관계를 분석함으로써, 디스플레이의 크기변환, 이동 및 회전에 대한 변수를 연산하여 보정된 디스플레이를 제공하는 발명이다.

Description

디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법 {CALIBRATION METHOD AND HEAD-MOUNTED DISPLAY DEVICE PROVIDING THERFOR}
본 발명은 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법에 관한 것으로, 보다 상세하게는 사용자에게 보정 기준이 될 가상의 영상을 제시하고 이에 대한 사용자 입력을 수신하여 분석함으로써 가상 영상의 디스플레이에 대한 보정을 수행하는 방법 및 그를 위한 머리착용형 디스플레이 장치에 대한 것이다.
디스플레이 기술이 향상됨에 따라 고화질의 영상을 재생할 수 있는 디스플레이 장치가 점점 소형화되었다. 이에 따라 최근에는 머리에 착용할 수 있는 고화질의 소형 디스플레이 장치 (HMD; Head-Mounted Display)가 개발되어 사용자에게 가상현실 영상을 제공할 수 있게 되었다(공개특허 1995-0009296).
머리착용형 디스플레이의 몰입도를 높이기 위해서는 영상이 디스플레이 되는 위치와 사용자의 시선이 일치해야 한다. 그러나 사용자마다 동공 사이의 거리(IPD; interpupillary distance)나 눈의 위치가 다르기 때문에 영상 디스플레이에 있어서 오차가 발생하게 되며, 이를 반영하지 못한 종래의 HMD(Head-Mounted Display) 장치를 이용한 가상현실 디스플레이는 그 만큼 몰입도가 떨어질 수 밖에 없었다.
따라서 본 발명은 상술한 문제를 해결하기 위한 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이의 보정 방법을 개시하고자 한다.
사용자 인식과 디스플레이 사이에 오차가 발생하는 원인으로는, 사용자마다 동공간 거리(IPD: interpupillary distance)나 눈의 위치가 다르다는 점을 들 수 있다. 또한, 머리착용형 디스플레이 장치가 깊이 센서(또는 깊이 카메라)를 내장하여 전면의 현실 세계에 대응되는 디스플레이를 제공할 때, 깊이 센서(또는 깊이 카메라)의 현실 인식과 사용자 눈의 시선이 일치하지 않아서 디스플레이의 오차가 발생할 수 있다.
상기 오차의 원인을 해결하기 위해서 사용자의 동공간 거리를 물리적으로 계산하지 않는 이유는 해부학적으로 두 안구의 중심을 찾는 일은 별도의 장치 없이는 어려운 일이며, 또한, 시각 처리는 최종적으로 뇌에서 이루어지는 것이기 때문이다. 따라서 본 발명의 일 실시예는 사용자의 입력을 수신하여 사용자가 가상현실을 어떻게 인식하고 있는 지를 분석하여 사용자의 동공간 거리로 인한 오차를 해결하고자 한다.
그 외에 머리착용형 디스플레이 장치와 깊이 센서(또는 깊이 카메라)가 어떻게 설치되었는지에 따라 발생하는 오차 또한 후술되는 디스플레이 보정 방법과 그를 위한 머리착용형 디스플레이 장치에서 해결하고자 한다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일 실시예는, 머리착용형 디스플레이 장치에서 가상현실의 디스플레이를 보정하여 사용자의 시선과 일치하는 가상현실의 디스플레이를 제공함으로써 몰입도를 높이는 데에 목적이 있다.
본 발명의 일 실시예는, 머리착용형 디스플레이 장치에 있어서 사용자의 동공 사이의 거리, 눈의 위치 및 기타 사용자 개인의 특성에 맞춰 가상현실 디스플레이를 보정함으로써 몰입도를 높이는 데에 목적이 있다.
본 발명의 일 실시예는, 깊이 센서(또는 깊이 카메라)를 내장하는 머리착용형 디스플레이 장치에서 깊이 센서의 현실 인식과 사용자의 시야가 일치하도록 디스플레이를 보정함으로써 몰입도를 높이는 데에 목적이 있다.
또한, 본 발명의 일 실시예는, 머리착용형 디스플레이 장치의 가상현실 디스플레이를 보정함에 있어서, 별도의 장치 없이 머리착용형 디스플레이 장치에 내장된 깊이 센서를 이용함으로써 비용을 절감하는 데에 목적이 있다.
또한, 본 발명의 일 실시예는, 머리착용형 디스플레이 장치의 가상현실 디스플레이를 보정하는 데 있어서 시간을 단축하고, 과정을 간소화하는 데에 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면, 디스플레이 패널을 구비하는 머리착용형 디스플레이 장치가 수행하는 디스플레이 보정 방법이 개시된다. 본 발명의 일 실시예로서, 머리착용형 디스플레이 장치가 수행하는 디스플레이 보정 방법은 사용자에게 특정 위치벡터를 갖는 가상의 레퍼런스 오브젝트를 제시하는 단계, 제시된 상기 레퍼런스 오브젝트를 지적하는 사용자 입력을 검출하는 단계, 검출된 사용자 입력을 레퍼런스 포인트로 정의하고, 상기 레퍼런스 포인트의 위치벡터를 추출하는 단계, 상기 레퍼런스 오브젝트의 위치벡터와 상기 레퍼런스 포인트의 위치벡터를 비교하여 보정변수를 연산하는 단계 및 상기 보정변수에 따라 보정된 디스플레이를 출력하는 단계를 포함한다.
본 발명의 제 2 측면에 따르면, 디스플레이 패널을 구비하는 머리착용형 디스플레이 장치가 개시된다. 본 발명의 일 실시예에 따르면, 머리착용형 디스플레이 장치는, 디스플레이 패널을 통하여 사용자에게 특정 위치벡터를 갖는 가상의 레퍼런스 오브젝트를 제시하는 출력부, 제시된 상기 레퍼런스 오브젝트를 지적하는 사용자 입력을 검출하는 사용자 입력부, 검출된 상기 사용자 입력을 레퍼런스 포인트로 정의하고, 상기 레퍼런스 포인트의 위치벡터를 추출하는 포인트 추출부 및 상기 레퍼런스 오브젝트의 위치벡터와 상기 레퍼런스 포인트의 위치벡터를 비교하여 보정변수를 연산하는 보정변수 연산부를 포함한다.
본 발명의 제 3 측면은, 제 1 측면에 따르는 깊이 센서를 구비하는 머리착용형 디스플레이 장치가 수행하는 디스플레이 보정 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램을 개시한다.
또한 본 발명의 제 4 측면은, 제 1 측면에 따르는 디스플레이 보정 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체를 개시한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는, 머리착용형 디스플레이 장치에서 가상현실의 디스플레이를 보정하여 사용자의 시선과 일치하는 가상현실의 디스플레이를 제공함으로써 몰입도를 높일 수 있다.
또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는, 머리착용형 디스플레이 장치에 있어서 사용자의 동공 사이의 거리, 눈의 위치 및 기타 사용자 개인의 특성에 맞춰 가상현실 디스플레이를 보정함으로써 몰입도를 높일 수 있다.
또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는, 깊이 센서(또는 깊이 카메라)를 내장하는 머리착용형 디스플레이 장치에서 깊이 센서의 물체의 인식과 사용자의 시야가 일치하도록 디스플레이를 보정함으로써 몰입도를 높일 수 있다.
또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는, 머리착용형 디스플레이 장치의 가상현실 디스플레이를 보정함에 있어서, 별도의 장치 없이 머리착용형 디스플레이 장치에 내장된 깊이 센서를 이용함으로써 비용을 절감할 수 있다.
또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는, 머리착용형 디스플레이 장치의 가상현실 디스플레이를 보정하는 데 있어서 시간을 단축하고, 과정을 간소화할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 머리착용형 디스플레이 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 머리착용형 디스플레이 장치를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 머리착용형 디스플레이 장치를 설명하기 위한 참고도이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 보정 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 보정 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하고자 하였으나, 이는 해당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치(100)(Head-mounted Display, HMD)를 설명하기 위한 구성도이다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)는 사용자의 머리에 착용되는 것으로서, 사용자에게 디지털 영상을 제공하는 디스플레이 패널(10)을 구비할 수 있으며, 물체를 3차원으로 인식하는 깊이 센서(20)(depth sensor)를 구비할 수 있다. 또한, 본 발명의 일 실시예에 따라 스피커 또는 기타 오디오 출력 장치(미도시)를 구비할 수 있다.
본 발명의 일 실시예에 따른, 머리착용형 디스플레이 장치(100)에 구비된 디스플레이 패널(10)은 투명 디스플레이 패널(10)로 구현될 수 있다. 즉, 본 발명의 일 실시예에서 머리착용형 디스플레이 장치(100)는 전면 투과식 머리착용형 디스플레이(Optical see-through Head-mounted display, OST-HMD)로 구현될 수 있으며, 이를 통해 사용자는 투명 디스플레이 패널(10) 너머로 현실 세계를 보면서 그에 대응되는 가상현실의 디스플레이를 제공받을 수 있다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)는 사용자의 두 눈에 각각 대응되는 두 개의 디스플레이 패널(10)을 구비할 수 있다. 이때, 머리착용형 디스플레이 장치(100)는 가상 현실 영상을 3차원(3D)으로 구현하여 사용자에게 제공할 수 있다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)는 착용식 컴퓨터(wearable computer)를 포함할 수 있다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)는 깊이 센서를 포함할 수 있다. 본 발명의 일 실시예로서, 깊이 센서(20)는 깊이 센서(20)로부터 물체의 각 부분까지의 거리를 측정하는 방식으로 물체의 깊이를 측정할 수 있다. 이때, Time-of-flight(TOF) 기술이 이용될 수 있다. TOF의 원리에 따르면 깊이 센서(20)에서 나간 빛, 예를 들면 적외선이 물체의 각 부분에 반사되어 돌아오는 시간을 연산하여, 깊이 센서(20)로부터 물체의 각 부분까지의 거리를 측정할 수 있다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)는 깊이 센서(20)를 포함하는 깊이 카메라(depth camera)를 포함할 수 있으며, 깊이 카메라는 깊이 센서(20)가 측정한 물체의 깊이 정보를 토대로 깊이 영상을 생성할 수 있다.
최근 출시되고 있는 머리착용형 디스플레이 장치(100)에는 깊이 센서(20)가 포함되는 것이 일반적이며, 따라서 후술할 본 발명의 일 실시예에 따르면 별도의 장치를 부가하지 않고도 깊이 센서(20)만을 이용하여 디스플레이를 보정할 수 있어 비용을 절감할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 머리착용형 디스플레이 장치(100)는 외부 디지털 디바이스와 데이터 통신을 할 수 있다. 이때, 데이터 통신은 유무선의 네트워크를 이용해 이루어질 수 있다. 무선의 네트워크는, 예를 들어, NFC, Zigbee, 적외선 통신, 블루투스 또는 와이파이를 포함할 수 있으나, 이에 한정되는 것은 아니다.
다음으로 도 2는 본 발명의 일 실시예에 따른 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치(100)를 설명하기 위한 블록도이다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)는 출력부(110), 사용자 입력부(120), 포인트 추출부(130), 보정변수 연산부(140) 및 제어부(150)를 포함할 수 있다. 본 발명의 일 실시예로서, 출력부(110)는 사용자에게 디지털 영상을 제공하기 위한 디스플레이 패널(10)을 포함할 수 있으며, 사용자 입력부(120)는 머리착용형 디스플레이 장치(100) 주변에 현실로 존재하는 물체에 대한 깊이 정보를 얻기 위한 깊이 센서(20)를 포함할 수 있다.
본 발명의 일 실시예로서, 출력부(110)는 각종 데이터를 출력하기 위한 장치로서, 사용자에게 디지털 영상을 제공하기 위한 장치일 수 있다. 즉, 출력부(110)는 디지털 영상을 출력하기 위한 디스플레이 패널(10)을 포함할 수 있으며, 또는, 소리를 출력하기 위한 스피커를 포함할 수 있다.
본 발명의 일 실시예로서, 출력부(110)는 디스플레이 보정을 위해 디스플레이 패널(10)을 통하여 사용자에게 특정 위치벡터를 갖는 가상의 레퍼런스 오브젝트(200)를 제시할 수 있다. 이때, 레퍼런스 오브젝트(200)란, 머리착용형 디스플레이 장치(100)에서 디스플레이의 보정을 진행함에 있어서 기준이 되는 가상의 영상이다. 레퍼런스 오브젝트(200)는 점 형태로 제시될 수 있고, 또 다른 실시예에 의하면 원형, 아이콘 및 기타 도형으로 제시될 수 있다.
본 발명의 일 실시예로서, 출력부(110)는 레퍼런스 오브젝트(200)를 제시하며, 레퍼런스 오브젝트(200)를 지적하라는 명령어를 제시할 수 있다. 이때, 명령어는 디스플레이 패널(10)을 통하여 영상으로 출력하거나, 스피커를 통하여 소리로 출력할 수 있다. 본 발명의 일 실시예로서, 제시된 레퍼런스 오브젝트(200)를 지적하라는 명령어를 수신한 사용자는 명령에 따라 사용자 입력을 할 수 있다.
본 발명의 일 실시예로서, 사용자 입력부(120)는 사용자 입력을 검출하기 위한 장치일 수 있다. 사용자 입력부(120)는, 예를 들어, 사용자가 사용자 입력을 하기 위해 이용하는 사용자의 손(300), 손가락 등 신체를 감지하거나, 막대 등의 입력 도구를 감지하여 사용자 입력을 검출할 수 있다.
이때, 사용자 입력부(120)는 깊이 센서(20)를 포함할 수 있다. 본 발명의 일 실시예로서, 깊이 센서(20)는 사용자의 손(300), 손가락 등 신체를 감지하거나 막대 등의 입력 도구를 감지하여 깊이 정보를 획득하고, 사용자 입력부(120)는 깊이 센서(20)가 획득한 깊이 정보를 토대로 사용자 입력을 검출할 수 있다.
본 발명의 또 다른 일 실시예로서, 사용자 입력부(120)는 숫자, 문자, 기타 기호에 대한 사용자 입력을 가상 키보드 또는 물리적 키보드를 통해 수신할 수 있다. 물리적 키보드로 사용자 입력을 받는 경우, 물리적 키보드는 머리착용형 디스플레이 장치(100)의 통신부(미도시)와 무선 또는 유선의 네트워크를 통해 사용자 입력 데이터를 송수신할 수 있다.
본 발명의 일 실시예로서, 사용자 입력부(120)는 출력부(110)가 제시한 상기 레퍼런스 오브젝트(200)를 지적하는 사용자 입력을 검출할 수 있다. 이때, 본 발명의 일 실시예로서, 사용자 입력부(120)는 깊이 센서(20)를 이용하여 상기 레퍼런스 오브젝트(200)를 지적하는 상기 사용자의 손가락 끝(300)을 검출하여 사용자 입력으로 인식할 수 있다.
또 다른 실시예로서, 사용자 입력은 사용자의 신체 일부가 아닌 입력 도구를 이용하여 레퍼런스 오브젝트(200)를 지적함으로써 이루어지거나 레퍼런스 오브젝트(200)의 위치를 숫자, 문자, 기타 기호로 입력받음으로써 이루어질 수 있다. 본 발명의 일 실시예로서, 출력부(110)가 레퍼런스 오브젝트(200)를 눈금 영상과 함께 제시한 경우, 사용자는 레퍼런스 오브젝트(200)의 위치를 눈금 상의 숫자, 문자, 기타 기호로 입력할 수 있고, 이때, 사용자 입력에는 가상 키보드 또는 물리적 키보드가 이용될 수 있다.
본 발명의 일 실시예로서, 포인트 추출부(130)는 검출된 사용자 입력을 레퍼런스 포인트로 정의하고, 레퍼런스 포인트의 위치벡터를 추출할 수 있다. 사용자의 입력이 손가락 끝을 이용해 이루어진 경우, 포인트 추출부(130)는 검출된 상기 손가락 끝의 위치벡터를 추출하여 레퍼런스 포인트로 정의할 수 있다.
본 발명의 일 실시예로서, 보정변수 연산부(140)는 출력부(110)가 제시한 레퍼런스 오브젝트(200)의 위치벡터와 포인트 추출부(130)가 추출한 레퍼런스 포인트의 위치벡터를 비교하여 보정변수를 연산할 수 있다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)가 수행하는 디스플레이 보정은 수차례 반복하여 정확도를 향상시킬 수 있다. 예를 들어, 보정변수를 연산한 후, 연산한 보정변수를 가장 마지막에 제시한 레퍼런스 오브젝트(200)의 디스플레이 위치에 적용하여 위치가 보정된 레퍼런스 오브젝트(200)를 사용자에게 제시하여 다시 레퍼런스 포인트를 입력받는 방식으로 디스플레이 보정을 수차례 반복할 수 있다.
본 발명의 일 실시예로서, 레퍼런스 오브젝트(200)의 위치벡터를
Figure 112015129269032-pat00001
, 레퍼런스 포인트의 위치벡터를
Figure 112015129269032-pat00002
라고 할 때,
Figure 112015129269032-pat00003
와
Figure 112015129269032-pat00004
사이에서 1차 변환의 관계를 찾기 위해서 다음과 같은 식을 가정할 수 있다.
Figure 112015129269032-pat00005
본 발명의 일 실시예로서,
Figure 112015129269032-pat00006
를 보정변수로 설정할 수 있으며,
Figure 112015129269032-pat00007
를 구하기 위하여,
Figure 112015129269032-pat00008
를 회전(
Figure 112015129269032-pat00009
), 이동(
Figure 112015129269032-pat00010
) 및 등방성 크기변환(
Figure 112015129269032-pat00011
)을 위한 세 개의 행렬의 결합으로 나타낼 수 있다.
Figure 112015129269032-pat00012
본 발명의 일 실시예로서, 회전(
Figure 112015129269032-pat00013
)은 깊이 센서(20)(또는 깊이 카메라)의 회전과 관련이 있고, 이동(
Figure 112015129269032-pat00014
)은 깊이 센서(20)(또는 깊이 카메라)의 이동에 관련이 있다. 이때, 깊이 센서(20)(또는 깊이 카메라)의 회전 또는 이동은, 그것을 구비하고 있는 머리착용형 디스플레이 장치(100)를 기준으로 한 것이다. 한편, 본 발명의 일 실시예로서, 등방성 크기변환(
Figure 112015129269032-pat00015
)은 사용자의 동공간 거리와 관련이 있다.
본 발명의 일 실시예로서, 사용자는 머리착용형 디스플레이를 착용함에 있어서, 사용자의 눈에 디스플레이 패널(10)이 밀착되도록 착용하게 되며, 따라서 사용자의 눈이 응시하는 정면 방향과 디스플레이 패널(10)의 면이 서로 수직이라고 가정할 수 있다. 즉, 눈과 디스플레이 패널(10)이 가깝게 착용됨으로 인해, 사용자의 눈에 대해서 디스플레이 패널(10)이 앞 또는 뒤로 기울어짐이 미미한 정도에 그치게 된다.
본 발명의 일 실시예로서, 동공간 거리와 관련한
Figure 112015129269032-pat00016
행렬을 구함으로써 디스플레이의 보정을 할 수 있다. 도3을 참조하면, 디스플레이 보정 전 사용자에게 제시된 레퍼런스 오브젝트(200)의 위치가
Figure 112015129269032-pat00017
일 때,
Figure 112015129269032-pat00018
가 가정하는 사용자 눈의 동공간 거리는
Figure 112015129269032-pat00019
이다. 또한, 같은 그림, 도 3에서 사용자가 인식하는 레퍼런스 오브젝트(200)의 위치인 레퍼런스 포인트의 위치는
Figure 112015129269032-pat00020
이고, 이에 대응되는 실제 사용자 눈의 동공간 거리는
Figure 112015129269032-pat00021
이다. 이때, 두 쌍의 눈의 중심인
Figure 112015129269032-pat00022
를 기준으로 하는 레퍼런스 오브젝트(200)의 위치벡터(
Figure 112015129269032-pat00023
)와 레퍼런스 포인트의 위치벡터(
Figure 112015129269032-pat00024
)를 비교하면 다음과 같다.
Figure 112015129269032-pat00025
Figure 112015129269032-pat00026
Figure 112015129269032-pat00027
위 수식의 전개에 따른 본 발명의 일 실시예에 의하면, 레퍼런스 오브젝트(200)의 위치벡터와 레퍼런스 포인트의 위치벡터는 동공간 거리에 대해 비례한다. 이를 통해, 본 발명의 일 실시예는 사용자의 동공간 거리를 연산할 수 있다.
한편, 본 발명의 일 실시예로서, 디스플레이 패널(10)과 사용자 눈간의 거리가 매우 가깝도록 착용되므로, 수식 (5)를 적용하여, 보정변수 연산부(140)는 디스플레이 크기를 보정하기 위한 보정변수를 연산함에 있어서, 디스플레이 패널(10)의 중심으로부터 레퍼런스 포인트까지의 거리에 대한 디스플레이 패널(10)의 중심으로부터 레퍼런스 오브젝트(200)의 거리의 비례상수를 크기변수로 연산할 수 있다.
또한, 본 발명의 일 실시예로서, 디스플레이 보정을 수차례 반복한다고 할 때, 레퍼런스 오브젝트(200)의 위치벡터
Figure 112015129269032-pat00028
와 보정변수를 적용시킨 레퍼런스 포인트의 위치벡터
Figure 112015129269032-pat00029
의 차이의 절대값의 제곱을 합산하였을 때의 값이 최소가 되는 보정변수
Figure 112015129269032-pat00030
를 구하고자 한다. 이때의
Figure 112015129269032-pat00031
를
Figure 112015129269032-pat00032
라 하고, 몇 번째 보정인지는
Figure 112015129269032-pat00033
와
Figure 112015129269032-pat00034
에 아랫첨자
Figure 112015129269032-pat00035
로 표시하여 다음과 같은 수식으로 나타내었다.
Figure 112015129269032-pat00036
즉, 보정변수 연산부(140)는 디스플레이 크기를 보정하기 위한 크기변수, 디스플레이의 회전을 보정하기 위한 회전변수 및 디스플레이의 이동을 보정하기 위한 이동변수 중 적어도 하나를 연산하기 위하여, 레퍼런스 포인트의 위치벡터에 크기변수, 회전변수 및 이동변수 중 적어도 하나가 적용된 위치벡터와 레퍼런스 오브젝트(200)의 의도된 위치벡터의 분산을 최소화하도록 크기변수, 회전변수 및 이동변수 중 적어도 하나를 연산할 수 있다.
위의 내용을 토대로 하는 본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)에 있어서의 디스플레이 보정은 두 가지를 생각해볼 수 있다. 첫째로 크기변수, 회전변수 및 이동변수를 모두 고려하는 포괄 보정(full calibration)이 있다. 회전변수는 깊이 센서(20)(또는 깊이 카메라)의 머리착용형 디스플레이 장치(100)에 대한 회전에 관련한 변수이므로, 깊이 센서(20)(또는 깊이 카메라)가 머리착용형 디스플레이 장치(100)에 부착됨에 따라 결정되어야 한다. 즉, 포괄 보정은 깊이 센서(20)(또는 깊이 카메라)가 머리착용형 디스플레이 장치(100)에 부착된 이후, 수행되는 보정이다.
본 발명의 일 실시예로서, 두 가지 보정 중 다른 하나는 간단 보정(simple calibration)이다. 깊이 센서(20)(또는 깊이 카메라)가 머리착용형 디스플레이에 완전히 고정되고, 포괄보정을 통해 회전변수를 구한 뒤에는 사용자가 바뀌거나 사용했던 사용자가 다시 착용할 때에 수행되는 보정은 간단 보정만으로 충분하다. 간단 보정은 포괄 보정에 비해 사용자 입력의 횟수가 적게 필요하다.
먼저, 본 발명의 일 실시예인 포괄 보정에서 수식 (6)을 풀게 되면 다음과 같이 표현할 수 있다. 이때, 수식 (2)의 변수, 즉,
Figure 112015129269032-pat00037
를
Figure 112015129269032-pat00038
,
Figure 112015129269032-pat00039
및
Figure 112015129269032-pat00040
를 이용해서 호모지니어스 좌표계를 사용하지 않고 나타낼 수 있다.
Figure 112015129269032-pat00041
수식 (7)을 수식 (6)에 대입하면,
Figure 112015129269032-pat00042
위와 같은 수식 (8)을 얻고, 이를 편리하게 하기 위해,
Figure 112015129269032-pat00043
를 정의할 수 있다. 본 발명의 일 실시에로서,
Figure 112015129269032-pat00044
은 디스플레이 보정 방법을 반복하며 얻은 레퍼런스 포인트의 개수이고,
Figure 112015129269032-pat00045
는 레퍼런스 오브젝트(200)들의 중심이며,
Figure 112015129269032-pat00046
는 레퍼런스 포인트의 중심이다. 이를 이용하면,
Figure 112015129269032-pat00047
과 같이, 수식 (10)을 얻을 수 있고, 수식 (10)을 수식 (8)에 대입하면,
Figure 112015129269032-pat00048
을 얻을 수 있다.
Figure 112015129269032-pat00049
일 때, 수식 (11)의 값을 최소화하기 위하여, 수식 (12)에 따라
Figure 112015129269032-pat00050
이 0이 되어야 한다.
Figure 112015129269032-pat00051
이때, 이동변수를 얻기 위하여,
Figure 112015129269032-pat00052
과
Figure 112015129269032-pat00053
를 다음과 같이 최적화할 수 있다.
Figure 112015129269032-pat00054
이 때,
Figure 112015129269032-pat00055
이다.
수식 (13)에서 내적을 사용하며, 알파(
Figure 112015129269032-pat00056
), 베타(
Figure 112015129269032-pat00057
) 및 감마(
Figure 112015129269032-pat00058
)는 스칼라값을 갖는다. 실질적으로
Figure 112015129269032-pat00059
이다.
Figure 112015129269032-pat00060
이기 위해서는, 사용자로부터 수 차례 입력받은 수 개의 레퍼런스 포인트가 모두 같은 지점에 위치해야 하는데, 이는 사실상 불가능하기 때문이다. 수식 (13)을 편미분하여
Figure 112015129269032-pat00061
가 0이 되도록 조절할 때, 최적화된
Figure 112015129269032-pat00062
를 얻을 수 있다.
Figure 112015129269032-pat00063
수식 (14)를 단순히 하기 위해
Figure 112015129269032-pat00064
와
Figure 112015129269032-pat00065
가 서로 대칭이 되도록 근사값을 취하여 다음과 같은 수식 (15)를 얻을 수 있다.
Figure 112015129269032-pat00066
수식 (13)에 수식 (15)에 대입하여 정리하면,
Figure 112015129269032-pat00067
가 되고, 이를 풀면, 쿼터니안(quarternion)
Figure 112015129269032-pat00068
을 이용하여 나타낸 회전변수(
Figure 112015129269032-pat00069
)가
Figure 112015129269032-pat00070
를 만족하므로,
Figure 112015129269032-pat00071
를 얻을 수 있다. 여기에서
Figure 112015129269032-pat00072
를 풀기위하여 쿼터니안의 세 가지 값을 소개할 필요가 있다. 쿼터니안
Figure 112015129269032-pat00073
는
Figure 112015129269032-pat00074
이고, 이를 벡터로 표시하면,
Figure 112015129269032-pat00075
일 때, 왼쪽 행렬
Figure 112015129269032-pat00076
와 오른쪽 행렬
Figure 112015129269032-pat00077
를 다음과 같이 정의할 수 있다.
Figure 112015129269032-pat00078
컨쥬게이션(conjugation)과 내적(dot product)을 이용하여 쿼터니안의 세 가지 값을 소개하면 다음과 같다.
첫번째값은,
Figure 112015129269032-pat00079
,
Figure 112015129269032-pat00080
및
Figure 112015129269032-pat00081
을 쿼터니안이라 하면,
Figure 112015129269032-pat00082
이 되고,
두번째값은,
Figure 112015129269032-pat00083
,
Figure 112015129269032-pat00084
가 쿼터니안이라 하면,
Figure 112015129269032-pat00085
와
Figure 112015129269032-pat00086
는
Figure 112015129269032-pat00087
이다.
세번째값은,
Figure 112015129269032-pat00088
가 단위 쿼터니안에 대응되는 벡터이며,
Figure 112015129269032-pat00089
이 4
Figure 112015129269032-pat00090
4 행렬이라 하고,
Figure 112015129269032-pat00091
가
Figure 112015129269032-pat00092
의 고유값 중 가장 큰 값을 가지며,
Figure 112015129269032-pat00093
는
Figure 112015129269032-pat00094
에 대응되는 고유값일 때,
Figure 112015129269032-pat00095
이다.
첫번째값과 수식 (17)을 정리하면,
Figure 112015129269032-pat00096
을 얻을 수 있다.
두번째값을 수식 (18)에 적용하면, 다음과 같은 또 다른
Figure 112015129269032-pat00097
를 얻을 수 있다.
Figure 112015129269032-pat00098
Figure 112015129269032-pat00099
의 왼쪽 행렬은
Figure 112015129269032-pat00100
이며,
Figure 112015129269032-pat00101
의 오른쪽 행렬은
Figure 112015129269032-pat00102
이고,
Figure 112015129269032-pat00103
일 때,
Figure 112015129269032-pat00104
의 구성은 다음과 같다.
Figure 112015129269032-pat00105
Figure 112015129269032-pat00106
는 행렬
Figure 112015129269032-pat00107
의 (a, b) 번째 성분일 때, 수식 (16)과 수식 (19)로부터
Figure 112015129269032-pat00108
을 얻는다.
세번째값으로부터,
Figure 112015129269032-pat00109
는
Figure 112015129269032-pat00110
의 고유벡터의 최대값을 위한 고유벡터인 쿼터니안
Figure 112015129269032-pat00111
의 성분에 의해 회전변수에 대응될 수 있다. 변환
Figure 112015129269032-pat00112
로부터
Figure 112015129269032-pat00113
값을 얻을 수 있으므로,
Figure 112015129269032-pat00114
일 때, 다음과 같이 회전변수를 구할 수 있다.
Figure 112015129269032-pat00115
한편, 본 발명의 일 실시예로서, 단순 보정은
Figure 112015129269032-pat00116
가 알려져 있다는 점에서 포괄 보정과 차이를 가질 수 있다. 머리착용형 디스플레이 장치(100)에 깊이 센서(20)(또는 깊이 카메라)가 고정되어 있는 상태라면 새로운 사용자에 따른 디스플레이 보정을 위해서는 단순 보정만으로 이루어질 수 있다. 단순 보정은 포괄 보정에 비해 자유도가 낮으며, 그로 인하여 레퍼런스 오브젝트(200)를 제시하고 레퍼런스 포인트를 입력받는 횟수를 줄일 수 있다. 고정된 회전변수를
Figure 112015129269032-pat00117
로 표시하면, 수식 (8)은 다음과 같이 정리할 수 있다.
Figure 112015129269032-pat00118
포괄 보정에서와 마찬가지의 과정을 거쳐 다음과 같은 이동변수와 회전변수를 얻을 수 있다.
Figure 112015129269032-pat00119
이로써, 본 발명의 일 실시예에 의해, 포괄 보정 시 크기변환, 회전 및 이동에 관한 변수와 간단 보정 시 크기변환, 회전 및 이동에 관한 변수를 모두 연산할 수 있게 되었다.
한편, 도 4는 디스플레이 보정 방법을 설명하기 위한 실시예를 도시한 예시도이다. 본 발명의 일 실시예로서, 사용자가 머리착용형 디스플레이 장치(100)를 착용했을 때, 머리착용형 디스플레이 장치(100)가 사용자에게 점 형태의 가상의 레퍼런스 오브젝트(200)를 제시하면, 이를 시각적으로 인식한 사용자가 자신의 손가락 끝으로 레퍼런스 오브젝트(200)를 지적할 수 있다.
다음으로 도 5를 통해 본 발명의 일 실시예에 따른 디스플레이 보정 방법을 설명하고자 한다. 도 5의 디스플레이 보정 방법은 도 1 내지 도 4에 도시된 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 4에 도시된 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치(100)에 관하여 이상에서 기술한 내용은 도 5에 도시된 실시예에 따른 디스플레이 보정 방법에도 적용될 수 있다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)가 수행하는 디스플레이 보정 방법은 디스플레이 설정을 초기화하는 단계(S101)를 포함할 수 있다. 본 발명의 일 실시예는 디스플레이 설정을 초기화하는 단계를 통하여 기존 사용자에게 맞춰 보정된 디스플레이 설정을 초기화하는 단계를 포함함으로써 디스플레이 보정을 간소화할 수 있다.
본 발명의 일 실시예로서, 설정 초기화 후 머리착용형 디스플레이 장치(100)가 수행하는 디스플레이 보정 방법은 사용자에게 특정 위치벡터를 갖는 가상의 레퍼런스 오브젝트(200)를 제시하는 단계(S102)를 포함할 수 있다.
레퍼런스 오브젝트(200)란, 보정의 기준이 될 가상의 영상을 말하며, 디스플레이 패널(10)을 통해 사용자에게 제시될 수 있다. 이때, 가상의 레퍼런스 오브젝트(200)를 지적하라는 명령어를 레퍼런스 오브젝트(200)와 함께 영상 또는 소리로 사용자에게 출력할 수 있다.
또한, 본 발명의 일 실시예로서, 디스플레이 보정 방법은 제시된 상기 레퍼런스 오브젝트(200)를 지적하는 사용자 입력을 검출하는 단계(S103)를 포함할 수 있다. 즉, 제시된 레퍼런스 오브젝트(200)를 본 사용자가 레퍼런스 오브젝트(200)를 지적하는 어떤 행위를 취하면, 이를 사용자 입력으로 검출할 수 있다. 지적은 별도의 도구를 이용할 수 있지만, 바람직하게는 사용자의 손가락 끝(300)을 이용할 수 있다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)는 적외선을 이용해 사물을 3차원으로 인식하는 깊이 센서(20)를 포함할 수 있으며, 이때, 103단계는 깊이 센서(20)가 레퍼런스 오브젝트(200)를 지적하는 사용자의 손가락 끝(300)을 검출하여 사용자 입력으로 인식하는 단계를 포함할 수 있다.
본 발명의 일 실시예로서, 디스플레이 보정 방법은 검출된 사용자 입력을 레퍼런스 포인트로 정의하고, 레퍼런스 포인트의 위치벡터를 추출하는 단계(S104)를 포함할 수 있다.
본 발명의 일 실시예로서, 머리착용형 디스플레이 장치(100)가 깊이 센서(20)(또는 깊이 카메라)를 구비하여 이를 통해 사용자의 손가락 끝(300)을 사용자 입력으로 검출한 경우에, S104 단계는 검출된 손가락 끝의 위치벡터를 추출하여 레퍼런스 포인트로 정의하는 단계를 포함할 수 있다.
본 발명의 일 실시예로서, 디스플레이 보정 방법은 레퍼런스 오브젝트(200)의 위치벡터와 상기 레퍼런스 포인트의 위치벡터를 비교하여 보정변수를 연산하는 단계(S105)를 포함할 수 있다.
본 발명의 일 실시예로서, S105단계는 디스플레이 크기를 보정하기 위한 크기변수를 연산하는 단계를 포함할 수 있고, 크기변수를 연산하는 단계는 디스플레이 패널(10)의 중심으로부터 레퍼런스 포인트까지의 거리에 대한 디스플레이 패널(10)의 중심으로부터 레퍼런스 오브젝트(200)의 거리의 비례상수를 크기변수로 연산하는 단계를 포함할 수 있다.
본 발명의 일 실시예로서, S105단계는 디스플레이 크기를 보정하기 위한 크기변수, 디스플레이의 회전을 보정하기 위한 회전변수 및 디스플레이의 이동을 보정하기 위한 이동변수 중 적어도 하나를 연산하는 단계를 포함할 수 있으며, 크기변수, 회전변수 및 이동변수 중 적어도 하나를 연산하는 단계는 레퍼런스 포인트의 위치벡터에 크기변수, 회전변수 및 이동변수 중 적어도 하나가 적용된 위치벡터와 레퍼런스 오브젝트(200)의 의도된 위치벡터의 분산을 최소화하도록 크기변수, 회전변수 및 이동변수 중 적어도 하나를 연산하는 단계를 포함할 수 있다.
본 발명의 일 실시예로서, 검사 결과 비교 데이터가 충분하지 않은 경우, 사용자에게 가상의 레퍼런스 오브젝트(200)를 제시하는 단계(S102)부터 다시 시작하여 비교 데이터를 더 수집할 수 있다. 검사 결과 비교 데이터가 충분한 경우에는 비교 결과에 따라 디스플레이를 보정할 수 있다(S106).
본 발명의 일 실시예로서, S106단계를 거쳐 S102 단계로 되돌아갈 때, S102단계는 레퍼런스 오브젝트(200)의 위치벡터는 연산된 보정변수를 적용하는 단계 및 보정변수를 적용하여 보정된 레퍼런스 오브젝트(200)를 제시하는 단계를 포함할 수 있다. 위 과정을 수 차례 거치면서 레퍼런스 오브젝트(200)와 레퍼런스 포인트가 일치하거나 소정 이하의 오차를 가질 때, S106단계는 비교 데이터가 충분하다고 보고 S107단계로 진행할 수 있다.
본 발명의 일 실시예로서, 디스플레이 보정 방법은 비교 결과에 따라 디스플레이를 보정하는 단계(S107)를 더 포함할 수 있다. 또한, 본 발명의 일 실시에로서, 디스플레이 보정 방법은 보정변수에 따라 보정된 디스플레이를 출력하는 단계(S108)를 포함할 수 있다.
도 5를 통해 설명된 실시예에 따른 디스플레이 보정 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
또한 본 발명의 일 실시예에 따르는 디스플레이 보정 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 발명의 일 실시예에 따르는 디스플레이 보정 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 머리착용형 디스플레이 장치
10: 디스플레이 패널 20: 깊이 센서
110: 출력부 120: 사용자 입력부 130: 포인트 추출부
140: 보정변수 연산부 150: 제어부
200: 레퍼런스 오브젝트 300: 사용자의 손

Claims (10)

  1. 디스플레이 패널을 구비하는 머리착용형 디스플레이 장치가 수행하는 디스플레이 보정 방법에 있어서,
    사용자에게 특정 위치벡터를 갖는 가상의 레퍼런스 오브젝트를 제시하는 단계;
    제시된 상기 레퍼런스 오브젝트를 지적하는 사용자 입력을 검출하는 단계;
    검출된 사용자 입력을 레퍼런스 포인트로 정의하고, 상기 레퍼런스 포인트의 위치벡터를 추출하는 단계;
    상기 레퍼런스 오브젝트의 위치벡터와 상기 레퍼런스 포인트의 위치벡터를 비교하여 보정변수를 연산하는 단계; 및
    상기 보정변수에 따라 보정된 디스플레이를 출력하는 단계를 포함하고,
    상기 보정변수를 연산하는 단계는,
    디스플레이 크기를 보정하기 위한 크기변수, 디스플레이의 회전을 보정하기 위한 회전변수 및 디스플레이의 이동을 보정하기 위한 이동변수 중 적어도 하나를 연산하되, 상기 크기변수는, 상기 디스플레이 패널의 중심으로부터 상기 레퍼런스 포인트까지의 거리에 대한 상기 디스플레이 패널의 중심으로부터 상기 레퍼런스 오브젝트까지의 거리의 비례상수에 기초하여 연산하는 것을 특징으로 하는, 디스플레이 보정 방법.
  2. 제 1 항에 있어서,
    상기 머리착용형 디스플레이 장치는,
    적외선을 이용해 사물을 3차원으로 인식하는 깊이 센서를 포함하며,
    상기 사용자 입력을 검출하는 단계는,
    상기 깊이 센서가 상기 레퍼런스 오브젝트를 지적하는 상기 사용자의 손가락 끝을 검출하여 사용자 입력으로 인식하는 단계를 포함하고,
    상기 레퍼런스 포인트의 위치벡터를 추출하는 단계는,
    검출된 상기 손가락 끝의 위치벡터를 추출하여 레퍼런스 포인트로 정의하는 단계를 포함하는, 디스플레이 보정 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 보정변수를 연산하는 단계는,
    상기 레퍼런스 포인트의 위치벡터에 상기 크기변수, 상기 회전변수 및 상기 이동변수 중 적어도 하나가 적용된 위치벡터와 상기 레퍼런스 오브젝트의 의도된 위치벡터의 분산을 최소화하도록 크기변수, 회전변수 및 이동변수 중 적어도 하나를 연산하는, 디스플레이 보정 방법.
  5. 디스플레이 패널을 구비하는 머리착용형 디스플레이 장치에 있어서,
    디스플레이 패널을 통하여 사용자에게 특정 위치벡터를 갖는 가상의 레퍼런스 오브젝트를 제시하는 출력부;
    제시된 상기 레퍼런스 오브젝트를 지적하는 사용자 입력을 검출하는 사용자 입력부;
    검출된 상기 사용자 입력을 레퍼런스 포인트로 정의하고, 상기 레퍼런스 포인트의 위치벡터를 추출하는 포인트 추출부; 및
    상기 레퍼런스 오브젝트의 위치벡터와 상기 레퍼런스 포인트의 위치벡터를 비교하여 보정변수를 연산하는 보정변수 연산부를 포함하고,
    상기 출력부는,
    상기 보정변수 연산부가 연산한 보정변수에 따라 보정된 디스플레이를 출력하는 것을 특징으로 하고,
    상기 보정변수 연산부는,
    디스플레이 크기를 보정하기 위한 크기변수, 디스플레이의 회전을 보정하기 위한 회전변수 및 디스플레이의 이동을 보정하기 위한 이동변수 중 적어도 하나를 연산하되, 상기 크기변수는, 상기 디스플레이 패널의 중심으로부터 상기 레퍼런스 포인트까지의 거리에 대한 상기 디스플레이 패널의 중심으로부터 상기 레퍼런스 오브젝트까지의 거리의 비례상수에 기초하여 연산하는 것을 특징으로 하는, 머리착용형 디스플레이 장치.
  6. 제 5 항에 있어서,
    상기 머리착용형 디스플레이 장치는,
    적외선을 이용해 사물을 3차원으로 인식하는 깊이 센서를 더 포함하며,
    상기 사용자 입력부는,
    상기 깊이 센서가 상기 레퍼런스 오브젝트를 지적하는 상기 사용자의 손가락 끝을 검출하여 사용자 입력으로 인식하고,
    상기 포인트 추출부는,
    검출된 상기 손가락 끝의 위치벡터를 추출하여 레퍼런스 포인트로 정의하는, 머리착용형 디스플레이 장치.
  7. 삭제
  8. 제 5 항에 있어서,
    상기 보정변수 연산부는,
    상기 레퍼런스 포인트의 위치벡터에 상기 크기변수, 상기 회전변수 및 상기 이동변수 중 적어도 하나가 적용된 위치벡터와 상기 레퍼런스 오브젝트의 의도된 위치벡터의 분산을 최소화하도록 크기변수, 회전변수 및 이동변수 중 적어도 하나를 연산하는, 머리착용형 디스플레이 장치.
  9. 머리착용형 디스플레이 장치가 수행하는 디스플레이 보정 방법으로서, 제 1 항의 디스플레이 보정 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램.
  10. 제 1 항에 기재된 디스플레이 보정 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
KR1020150190846A 2015-12-31 2015-12-31 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법 KR101844306B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150190846A KR101844306B1 (ko) 2015-12-31 2015-12-31 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150190846A KR101844306B1 (ko) 2015-12-31 2015-12-31 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법

Publications (2)

Publication Number Publication Date
KR20170079845A KR20170079845A (ko) 2017-07-10
KR101844306B1 true KR101844306B1 (ko) 2018-04-02

Family

ID=59355314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150190846A KR101844306B1 (ko) 2015-12-31 2015-12-31 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법

Country Status (1)

Country Link
KR (1) KR101844306B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101947372B1 (ko) 2017-09-04 2019-05-08 주식회사 그루크리에이티브랩 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010205031A (ja) * 2009-03-04 2010-09-16 Kddi Corp 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
JP2015119373A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010205031A (ja) * 2009-03-04 2010-09-16 Kddi Corp 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
JP2015119373A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
KR20170079845A (ko) 2017-07-10

Similar Documents

Publication Publication Date Title
US12008151B2 (en) Tracking and drift correction
JP7136875B2 (ja) 眼の特徴を用いる眼ポーズ識別
US10748021B2 (en) Method of analyzing objects in images recorded by a camera of a head mounted device
US11182962B2 (en) Method and system for object segmentation in a mixed reality environment
EP3447735B1 (en) Information processing device, information processing method, and program
CN106575154B (zh) 全息对象的智能透明度
US9165381B2 (en) Augmented books in a mixed reality environment
KR101260287B1 (ko) 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
CN109801379B (zh) 通用的增强现实眼镜及其标定方法
US20170102778A1 (en) Three-dimensional user input
JP2017182274A (ja) 情報処理装置およびコンピュータープログラム
WO2019160699A3 (en) Using tracking of display device to control image display
JP2015082288A (ja) 情報処理装置およびその制御方法
EP4111292A1 (en) Occlusion of virtual objects in augmented reality by physical objects
US9658686B2 (en) Motion based view matrix tuning
KR20220013396A (ko) 컴퓨터 생성 현실 텍스트의 렌더링
CN110651467A (zh) 基于非视觉姿势数据的深度数据调整
KR101844306B1 (ko) 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법
KR101733519B1 (ko) 3차원 디스플레이 장치 및 방법
KR20200003597A (ko) 증강현실 영상 보정 장치 및 방법
TWI674518B (zh) 眼球追蹤的校正方法和其裝置
US10083675B2 (en) Display control method and display control apparatus
EP4343497A1 (en) Corrected gaze direction and origin
JP2018032094A (ja) 画像処理装置、画像処理方法
JP2021063922A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant