KR101900475B1 - 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이 - Google Patents

증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이 Download PDF

Info

Publication number
KR101900475B1
KR101900475B1 KR1020170082785A KR20170082785A KR101900475B1 KR 101900475 B1 KR101900475 B1 KR 101900475B1 KR 1020170082785 A KR1020170082785 A KR 1020170082785A KR 20170082785 A KR20170082785 A KR 20170082785A KR 101900475 B1 KR101900475 B1 KR 101900475B1
Authority
KR
South Korea
Prior art keywords
screen
virtual
cube
posture
marker
Prior art date
Application number
KR1020170082785A
Other languages
English (en)
Inventor
박재완
권기석
유한규
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020170082785A priority Critical patent/KR101900475B1/ko
Priority to PCT/KR2018/003361 priority patent/WO2019004565A1/ko
Application granted granted Critical
Publication of KR101900475B1 publication Critical patent/KR101900475B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이가 개시된다. 개시되는 실시예에 의한 캘리브레이션 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 옵티컬 시스루 타입의 헤드 마운트 디스플레이에서 수행되는 방법으로서, 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하는 단계, 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 가상 테스트 큐브를 스크린에 표시하는 단계, 스크린 상에서 가상 기준 큐브와 가상 테스트 큐브가 매칭되는지 여부를 확인하는 단계, 가상 기준 큐브와 가상 테스트 큐브가 매칭되는 경우, 가상 기준 큐브와 가상 테스트 큐브 간의 자세 차이값을 산출하는 단계, 카메라의 시야각과 사용자가 스크린을 통해 바라보는 시야각의 차이를 산출하는 단계, 및 매칭 시 가상 테스트 큐브의 자세, 자세 차이값, 및 시야각의 차이를 기반으로 스크린이 바라본 제1 마커의 자세를 산출하는 단계를 포함한다.

Description

증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이{CALIBRATION METHOD FOR MATCHING OF AUGMENTED REALITY OBJECT AND HEAD MOUNTED DISPLAY FOR EXECUTING THE METHOD}
본 발명의 실시예는 옵티컬 시스루 타입의 헤드 마운트 디스플레이 기술과 관련된다.
비디오 시스루(Video See Through) 환경에서의 증강 현실 시스템은 비디오 카메라 자체를 트래킹 센서로 사용하기 때문에, 별도의 보정 과정이 필요하지 않게 된다. 그러나, 옵티컬 시스루(Optical See Through) 환경에서는 헤드 마운트 디스플레이(Head Mounted Display : HMD)에 부착된 스크린을 통해 사용자가 직접 현실 세계를 바라보게 된다. 이때, 사용자의 눈의 시야각과 헤드 마운트 디스플레이의 카메라의 시야각(Field of View)이 다르고, 스크린과 헤드 마운트 디스플레이의 카메라 간의 물리적 위치가 다르기 때문에, 증강 현실에서 현실 세계와 가상 객체 간 정합을 위해서는 보정 작업이 필요하게 된다.
한국공개특허공보 제10-2013-0139878호(2013.12.23)
본 발명의 실시예는 옵티컬 시스루 환경에서 스크린과 카메라 간의 물리적 위치에 의한 차이를 보정하기 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이를 제공하기 위한 것이다.
개시되는 일 실시예에 따른 캘리브레이션 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 옵티컬 시스루 타입의 헤드 마운트 디스플레이에서 수행되는 방법으로서, 상기 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하는 단계; 상기 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 상기 가상 테스트 큐브를 상기 스크린에 표시하는 단계; 상기 스크린 상에서 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는지 여부를 확인하는 단계; 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는 경우, 상기 가상 기준 큐브와 상기 가상 테스트 큐브 간의 자세 차이값을 산출하는 단계; 상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하는 단계; 및 상기 매칭 시 상기 가상 테스트 큐브의 자세, 상기 자세 차이값, 및 상기 시야각의 차이를 기반으로 상기 스크린이 바라본 제1 마커의 자세를 산출하는 단계를 포함한다.
상기 가상 기준 큐브는, 3차원 가상 객체이고, 상기 헤드 마운트 디스플레이로부터 기 설정된 거리의 전방에 위치한 제1 마커가 기 설정된 정자세로 위치하는 경우, 상기 카메라가 바라본 상기 제1 마커의 자세와 대응되는 자세를 가지도록 형성될 수 있다.
상기 가상 테스트 큐브는, 3차원 가상 객체이고, 상기 가상 기준 큐브와 동일한 크기로 형성될 수 있다.
상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하는 단계는, 상기 헤드 마운트 디스플레이의 스크린에 복수 개의 가상 마커를 표시하는 단계; 상기 스크린 상에서 상기 가상 마커들과 상기 헤드 마운트 디스플레이의 전방에 위치한 복수 개의 제2 마커들이 매칭되는지 여부를 확인하는 단계; 상기 스크린 상에서 상기 가상 마커들과 상기 제2 마커들이 매칭되는 경우, 상기 헤드 마운트 디스플레이의 카메라를 기준으로 상기 제2 마커들 간의 각도를 산출하는 단계; 상기 스크린 상에 표시된 가상 마커들 간의 거리를 산출하는 단계; 상기 카메라를 기준으로 한 상기 제2 마커들 간의 각도, 상기 가상 마커들 간의 거리, 및 상기 스크린의 크기를 기반으로 상기 사용자가 상기 스크린을 통해 바라보는 시야각을 산출하는 단계; 및 상기 카메라의 시야각을 상기 사용자가 상기 스크린을 통해 바라보는 시야각으로 변환하는 단계를 포함할 수 있다.
상기 헤드 마운트 디스플레이는, 제1 스크린 및 제2 스크린을 포함하고, 상기 캘리브레이션 방법은, 상기 가상 기준 큐브를 표시하는 단계 이전에, 상기 헤드 마운트 디스플레이의 전방에 위치한 상기 제1 마커의 종류에 따라 상기 제1 스크린 및 상기 제2 스크린 중 어느 하나를 오프시키는 단계를 더 포함할 수 있다.
개시되는 일 실시예에 따른 헤드 마운트 디스플레이는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하는 옵티컬 시스루 타입의 헤드 마운트 디스플레이로서, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 상기 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하기 위한 명령; 상기 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 상기 가상 테스트 큐브를 상기 스크린에 표시하기 위한 명령; 상기 스크린 상에서 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는지 여부를 확인하기 위한 명령; 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는 경우, 상기 가상 기준 큐브와 상기 가상 테스트 큐브 간의 자세 차이값을 산출하기 위한 명령; 상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하기 위한 명령; 및 상기 매칭 시 상기 가상 테스트 큐브의 자세, 상기 자세 차이값, 및 상기 시야각의 차이를 기반으로 상기 스크린이 바라본 제1 마커의 자세를 산출하기 위한 명령을 포함한다.
상기 가상 기준 큐브는, 3차원 가상 객체이고, 상기 헤드 마운트 디스플레이로부터 기 설정된 거리의 전방에 위치한 제1 마커가 기 설정된 정자세로 위치하는 경우, 상기 카메라가 바라본 상기 제1 마커의 자세와 대응되는 자세를 가지도록 형성될 수 있다.
상기 가상 테스트 큐브는, 3차원 가상 객체이고, 상기 가상 기준 큐브와 동일한 크기로 형성될 수 있다.
상기 하나 이상의 프로그램들은, 상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하기 위한 명령에서, 상기 헤드 마운트 디스플레이의 스크린에 복수 개의 가상 마커를 표시하기 위한 명령; 상기 스크린 상에서 상기 가상 마커들과 상기 헤드 마운트 디스플레이의 전방에 위치한 복수 개의 제2 마커들이 매칭되는지 여부를 확인하기 위한 명령; 상기 스크린 상에서 상기 가상 마커들과 상기 제2 마커들이 매칭되는 경우, 상기 헤드 마운트 디스플레이의 카메라를 기준으로 상기 제2 마커들 간의 각도를 산출하기 위한 명령; 상기 스크린 상에 표시된 가상 마커들 간의 거리를 산출하기 위한 명령; 상기 카메라를 기준으로 한 상기 제2 마커들 간의 각도, 상기 가상 마커들 간의 거리, 및 상기 스크린의 크기를 기반으로 상기 사용자가 상기 스크린을 통해 바라보는 시야각을 산출하기 위한 명령; 및 상기 카메라의 시야각을 상기 사용자가 상기 스크린을 통해 바라보는 시야각으로 변환하기 위한 명령을 포함할 수 있다.
상기 헤드 마운트 디스플레이는, 제1 스크린 및 제2 스크린을 포함하고, 상기 하나 이상의 프로그램들은, 상기 헤드 마운트 디스플레이의 전방에 위치한 상기 제1 마커의 종류에 따라 상기 제1 스크린 및 상기 제2 스크린 중 어느 하나를 오프시키기 위한 명령을 더 포함할 수 있다.
본 발명의 실시예에 의하면, 사용자가 마커 부재를 이용하여 가상 기준 큐브와 가상 테스트 큐브를 매칭시키는 동작을 수행함으로써, 헤드 마운트 디스플레이의 스크린과 카메라 간의 물리적 위치에 따른 차이를 용이하게 보정할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 옵티컬 시스루 타입의 헤드 마운트 디스플레이를 나타낸 사시도
도 2는 옵티컬 시스루 타입의 헤드 마운트 디스플레이에서 사용자의 눈과 카메라 간 시야각의 차이를 나타낸 도면
도 3은 본 발명의 일 실시예에 따른 마커 부재를 나타낸 도면
도 4는 본 발명의 일 실시예에 따른 캘리브레이션 방법을 설명하기 위한 흐름도
도 5는 사용자가 헤드 마운트 디스플레이를 두부에 착용하고 전방에 마커 부재를 위치시킨 상태를 나타낸 도면
도 6은 본 발명의 일 실시예에 따른 스크린에 가상 마커가 표시된 상태를 나타낸 도면
도 7은 본 발명의 일 실시예에 따른 스크린에 가상 마커들과 마커들이 정합된 상태를 나타낸 도면
도 8은 본 발명의 일 실시예에 따른 카메라를 기준으로 마커들 간의 각도를 산출하는 상태를 나타낸 도면
도 9는 본 발명의 실시예에 따른 변환 매트릭스에 의한 투영 공간을 나타낸 도면
도 10은 본 발명의 다른 실시예에 따른 마커 부재를 나타낸 도면
도 11은 본 발명의 다른 실시예에 따른 캘리브레이션 방법을 설명하기 위한 도면
도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
한편, 상측, 하측, 일측, 타측 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 본 발명의 실시예의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
옵티컬 시스루(Optical See Through) 타입의 헤드 마운트 디스플레이(Head Mounted Display)를 이용한 증강 현실의 경우 현실 세계와 가상 객체의 정합을 위해서는, 1) 카메라 내부 파라미터(camera intrinsic parameter) 보정, 2) 사용자의 눈 및 헤드 마운트 디스플레이의 카메라 간 시야각 보정, 및 3) 스크린과 카메라의 물리적 위치에 따른 보정이 요구된다. 이 중 본 발명의 실시예는 사용자의 눈 및 헤드 마운트 디스플레이의 카메라 간 시야각을 보정하기 위한 기술 및 스크린과 카메라의 물리적 위치에 따른 차이를 보정하기 위한 기술과 관련된다.
도 1은 본 발명의 일 실시예에 따른 옵티컬 시스루 타입의 헤드 마운트 디스플레이를 나타낸 사시도이다.
도 1을 참조하면, 헤드 마운트 디스플레이(100)는 제1 스크린(102), 제2 스크린(104), 프레임(106), 헤드 장착부(108), 카메라(110), 및 캘리브레이션 모듈(112)을 포함할 수 있다.
제1 스크린(102)은 투명 또는 반투명 또는 불투명하게 마련될 수 있다. 제1 스크린(102)은 사용자의 두 눈 중 어느 한쪽 눈(예를 들어, 오른쪽 눈)과 대응하여 마련될 수 있다. 제1 스크린(102)은 시스루 렌즈를 포함할 수 있다.
제2 스크린(104)은 투명 또는 반투명 또는 불투명하게 마련될 수 있다. 제2 스크린(104)은 사용자의 두 눈 중 다른 쪽 눈(예를 들어, 왼쪽 눈)과 대응하여 마련될 수 있다. 제2 스크린(104)은 시스루 렌즈를 포함할 수 있다.
제1 스크린(102) 및 제2 스크린(104)은 투명도가 조절되도록 마련될 수 있다. 사용자는 제1 스크린(102) 및 제2 스크린(104)을 통하여 전방의 현실 세계를 바라볼 수 있다.
프레임(106)은 제1 스크린(102) 및 제2 스크린(104)과 결합되어 마련될 수 있다. 프레임(106)은 제1 스크린(102) 및 제2 스크린(104)의 테두리를 따라 결합될 수 있다. 프레임(106)은 제1 스크린(102) 및 제2 스크린(104)을 고정시키는 역할을 할 수 있다. 프레임(106)에는 헤드 마운트 디스플레이(100)의 착용 시 헤드 마운트 디스플레이(100)가 흘러내리지 않도록 사용자의 콧등에 안착되는 부분이 마련될 수 있다.
헤드 장착부(108)는 헤드 마운트 디스플레이(100)가 사용자의 헤드 부분에 장착되도록 하는 부분이다. 헤드 장착부(108)는 제1 헤드 장착부(108-1) 및 제2 헤드 장착부(108-2)를 포함할 수 있다. 제1 헤드 장착부(108-1)는 프레임(106)의 일측에서 후방으로 마련될 수 있다. 제2 헤드 장착부(108-2)는 프레임(106)의 타측에서 후방으로 마련될 수 있다. 제1 헤드 장착부(108-1) 및 제2 헤드 장착부(108-2)는 사용자의 헤드를 감싸도록 마련될 수 있다. 여기서는 헤드 장착부(108)가 제1 헤드 장착부(108-1) 및 제2 헤드 장착부(108-2)를 포함하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 헤드 장착부(108)는 프레임(106)의 일측과 타측을 연결하며 일체로 형성될 수도 있다.
카메라(110)는 헤드 마운트 디스플레이(100)의 주변을 촬영하도록 마련될 수 있다. 예시적인 실시예에서, 카메라(110)는 프레임(106)에 마련될 수 있다. 카메라(110)는 프레임(106)의 상단에서 제1 스크린(102)과 제2 스크린(104) 사이에 마련될 수 있다. 그러나, 카메라(110)의 장착 위치가 이에 한정되는 것은 아니다.
캘리브레이션 모듈(112)은 사용자의 눈과 카메라(110) 간 시야각(Field of View : FoV)의 차이를 보정할 수 있다. 캘리브레이션 모듈(112)은 프레임(106)에 설치될 수 있으나, 이에 한정되는 것은 아니며 헤드 장착부(108)에 설치될 수도 있다.
도 2는 옵티컬 시스루 타입의 헤드 마운트 디스플레이에서 사용자의 눈과 카메라 간 시야각의 차이를 나타낸 도면이다. 도 2를 참조하면, 카메라의 시야각(A)은 카메라(110)가 바라보는 시야각을 의미하고, 눈의 시야각(B)은 사용자의 눈이 바라보는 시야각을 의미할 수 있다.
여기서, 사용자는 스크린(102, 104)을 통해 전방을 바라보기 때문에, 사용자가 스크린(102, 104)을 통해 바라보는 시야각(C)을 기준으로 카메라의 시야각(A)을 보정할 필요가 있다. 이에, 캘리브레이션 모듈(112)은 사용자가 스크린(102, 104)을 통해 바라보는 시야각(C)을 산출한 후, 카메라의 시야각(A)을 사용자가 스크린(102, 104)을 통해 바라보는 시야각(C)으로 변환시켜 시야각 간의 차이를 보정할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예건대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
개시되는 실시예에서, 사용자가 스크린(102, 104)을 통해 바라보는 시야각(C)을 산출하기 위해, 복수 개의 마커가 표시된 마커 부재를 이용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 마커 부재를 나타낸 도면이다. 도 3을 참조하면, 마커 부재(150)는 베이스부(151), 고정부(153), 및 마커(155)를 포함할 수 있다.
베이스부(151)는 마커 부재(150)를 지지하는 역할을 할 수 있다. 베이스부(151)는 평평한 플레이트로 이루어질 수 있다. 고정부(153)는 베이스부(151)의 일측에서 돌출되어 마련될 수 있다. 예를 들어, 고정부(153)는 베이스부(151)의 하측에서 하부로 돌출되어 마련될 수 있다. 고정부(153)는 사용자가 마커 부재(150)를 파지하는 부분일 수 있다. 또는, 고정부(153)는 별도의 장비에 장착되는 부분일 수 있다.
마커(155)는 베이스부(151)의 일면에 복수 개가 마련될 수 있다. 예를 들어, 마커(155)는 베이스부(151)의 일면에 부착되어 마련될 수 있다. 마커(155)는 제1 마커(155-1) 내지 제4 마커(155-4)를 포함할 수 있다. 제1 마커(155-1) 내지 제4 마커(155-4)는 정사각형 형태로 이루어질 수 있다. 제1 마커(155-1) 및 제2 마커(155-2)는 베이스부(151)의 일면 상부에서 베이스부(151)의 수직 중심축을 기준으로 좌우 대칭하여 마련될 수 있다. 제3 마커(155-3) 및 제4 마커(155-4)는 베이스부(151)의 일면 하부에서 베이스부(151)의 수직 중심축을 기준으로 좌우 대칭하여 마련될 수 있다. 이때, 제1 마커(155-1) 및 제3 마커(155-3)와 제2 마커(155-2) 및 제4 마커(155-4)는 각각 베이스부(151)의 수평 중심축을 기준으로 상하 대칭하여 마련될 수 있다. 그러나, 마커(155)의 형상 및 마커(155) 간 배치 형태가 이에 한정되는 것은 아니다.
도 4는 본 발명의 일 실시예에 따른 캘리브레이션 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다. 여기서는 사용자의 오른쪽 눈과 왼쪽 눈의 시야각이 동일하다는 것을 가정하고 설명하기로 한다. 이하에서, 사용자의 눈이라 함은 사용자의 오른쪽 눈 또는 왼쪽 눈을 의미할 수 있으며, 스크린이라 함은 사용자의 오른쪽 눈 또는 왼쪽 눈에 대응하는 스크린을 의미할 수 있으며, 설명의 편의상 제1 스크린(102)인 것으로 설명하기로 한다.
도 4를 참조하면, 캘리브레이션 모듈(112)은 캘리브레이션 이벤트가 발생하는지 여부를 확인한다(S 101). 캘리브레이션 이벤트는 헤드 마운트 디스플레이(100)에서 캘리브레이션이 요구되는 경우 발생하는 것으로, 예를 들어, 사용자가 헤드 마운트 디스플레이(100)에 마련된 별도의 버튼을 누르거나 헤드 마운트 디스플레이(100)에 설치된 캘리브레이션을 위한 어플리케이션을 실행시키는 경우에 발생할 수 있다. 또는, 캘리브레이션 이벤트는 헤드 마운트 디스플레이(100)의 카메라(110)가 전방의 마커 부재(150)를 인지하는 경우에 발생할 수도 있다.
예시적인 실시예에서, 도 5에 도시된 바와 같이, 사용자가 헤드 마운트 디스플레이(100)를 두부에 착용하고, 헤드 마운트 디스플레이(100)의 전방 일정 거리에 마커 부재(150)를 위치시킨 상태에서, 헤드 마운트 디스플레이(100)에 마련된 별도의 버튼을 눌러 캘리브레이션 이벤트를 발생시킬 수 있다.
단계 S 101의 확인 결과, 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션 모듈(112)은 헤드 마운트 디스플레이(100)의 스크린(102)에 복수 개의 가상 마커(121)를 렌더링하여 표시한다(S 103). 여기서, 가상 마커(121)는 마커 부재(150)의 마커(155)들과 대응하여 형성된 가상 이미지일 수 있다.
도 6은 본 발명의 일 실시예에 따른 스크린(102)에 가상 마커(121)가 표시된 상태를 나타낸 도면이다. 도 6을 참조하면, 가상 마커(121)는 제1 가상 마커(121-1) 내지 제4 가상 마커(121-4)를 포함할 수 있다. 제1 가상 마커(121-1) 내지 제4 가상 마커(121-4)는 제1 마커(155-1) 내지 제4 마커(155-4)와 각각 대응하여 형성된 것일 수 있다. 즉, 제1 가상 마커(121-1) 내지 제4 가상 마커(121-4)는 제1 마커(155-1) 내지 제4 마커(155-4)의 형상 및 마커 간 배치 형태가 대응되도록 형성된 것일 수 있다.
캘리브레이션 모듈(112)은 가상 마커(121)를 스크린(102)의 중심에 표시할 수 있다. 이때, 제1 가상 마커(121-1) 및 제2 가상 마커(121-2)와 제3 가상 마커(121-3) 및 제4 가상 마커(121-4)는 각각 스크린(102)의 수직 중심축을 기준으로 좌우 대칭하여 표시될 수 있다. 또한, 제1 가상 마커(121-1) 및 제3 가상 마커(121-3)와 제2 가상 마커(121-2) 및 제4 가상 마커(121-4)는 각각 스크린(102)의 수평 중심축을 기준으로 상하 대칭하여 표시될 수 있다.
가상 마커(121)는 사용자가 헤드 마운트 디스플레이(100)를 두부에 착용한 상태에서 기 설정된 기준 거리(예를 들어, 1m)에 위치한 마커 부재(150)를 바라보았을 때 스크린(102) 상에 투영되는 마커(155)들을 본따서 형성된 것일 수 있다.
가상 마커(121)들을 스크린(102)에 표시한 경우, 스크린(102)에는 또한 전방에 위치한 마커 부재(150)의 마커(155)들이 투영되어 표시되게 된다. 즉, 사용자는 스크린(102)을 통해 전방에 위치한 마커 부재(150)를 보게 되므로, 스크린(102)에는 가상 마커(121)가 표시될 뿐만 아니라, 마커(155)들이 투영되어 표시되게 된다.
다음으로, 캘리브레이션 모듈(112)은 스크린(102) 상에서 가상 마커(121)들과 마커(155)들이 정합(매칭)되는지 여부를 확인한다(S 105). 예시적인 실시예에서, 사용자는 스크린(102) 상에서 가상 마커(121)들과 마커(155)들이 매칭하도록 마커 부재(150)를 이동시킬 수 있다. 즉, 마커 부재(150)를 앞뒤 또는 좌우 등으로 이동시키면서 스크린(102) 상의 가상 마커(121)와 마커(155)들이 매칭되도록 할 수 있다. 마커 부재(150)는 사용자가 한 손으로 들고 이동시킬 수도 있으나, 이에 한정되는 것은 아니며 별도의 장비를 통해 이동시킬 수도 있다. 도 7은 본 발명의 일 실시예에 따른 스크린(102)에 가상 마커(121)들과 마커(155)들이 정합된 상태를 나타낸 도면이다.
단계 S 105의 확인 결과, 스크린(102) 상에서 가상 마커(121)들과 마커(155)들이 정합된 경우, 캘리브레이션 모듈(112)은 카메라(110)를 기준으로 마커(155)들 간의 각도를 산출한다(S 107).
도 8은 본 발명의 일 실시예에 따른 카메라(110)를 기준으로 마커(155)들 간의 각도를 산출하는 상태를 나타낸 도면이다. 도 8을 참조하면, 캘리브레이션 모듈(112)은 스크린(102) 상에서 가상 마커(121)들과 마커(155)들이 정합되는 경우, 캘리브레이션 모듈(112)은 카메라(110)와 마커 부재(150) 간의 거리를 획득하고, 카메라(110)를 통해 마커 부재(150)를 촬영할 수 있다. 캘리브레이션 모듈(112)은 카메라(110)와 마커 부재(150) 간의 거리 및 촬영 영상에서 각 마커(155)들의 자세 정보(위치 및 회전 등과 관련한 정보)를 기반으로 카메라(110)를 기준으로 한 마커(155)들 간의 각도를 산출할 수 있다. 이때, 캘리브레이션 모듈(112)은 수평 마커 각도(θ1) 및 수직 마커 각도(θ2) 중 적어도 하나를 산출할 수 있다.
여기서, 수평 마커 각도(θ1)는 카메라(110)를 기준으로 제1 마커(155-1)의 중심과 제2 마커(155-2)의 중심 간의 각도(또는 제3 마커(155-3)의 중심과 제4 마커(155-4)의 중심 간의 각도)를 의미할 수 있다. 즉, 수평 마커 각도는 마커 부재(150)에서 카메라(110)를 기준으로 수평 방향으로 배치된 마커들 간의 각도를 의미할 수 있다. 또한, 수직 마커 각도(θ2)는 카메라(110)를 기준으로 제1 마커(155-1)의 중심과 제3 마커(155-3)의 중심 간의 각도(또는 제2 마커(155-2)의 중심과 제4 마커(155-4)의 중심 간의 각도)를 의미할 수 있다. 즉, 수직 마커 각도는 마커 부재(150)에서 카메라(110)를 기준으로 수직 방향으로 배치된 마커들 간의 각도를 의미할 수 있다.
다음으로, 캘리브레이션 모듈(112)은 스크린(102) 상에 표시된 가상 마커(121)들 간의 거리를 산출한다(S 109). 예시적인 실시예에서, 캘리브레이션 모듈(112)은 수평 가상 마커 거리 및 수직 가상 마커 거리 중 적어도 하나를 산출할 수 있다.
여기서, 수평 가상 마커 거리는 제1 가상 마커(121-1)의 중심과 제2 가상 마커(121-2)의 중심 간의 거리(또는 제3 가상 마커(121-3)의 중심과 제4 가상 마커(121-4)의 중심 간의 거리)를 의미할 수 있다. 즉, 수평 가상 마커 거리는 스크린(102)에서 수평 방향으로 배치된 가상 마커들 간의 거리를 의미할 수 있다.
또한, 수직 가상 마커 거리는 제1 가상 마커(121-1)의 중심과 제3 가상 마커(121-3)의 중심 간의 거리(또는 제2 가상 마커(121-2)의 중심과 제4 가상 마커(121-4)의 중심 간의 거리)를 의미할 수 있다. 즉, 수직 가상 마커 거리는 스크린(102)에서 수직 방향으로 배치된 가상 마커들 간의 거리를 의미할 수 있다. 수평 가상 마커 거리 및 수직 가상 마커 거리는 픽셀(Pixel) 단위로 표현될 수 있다.
다음으로, 캘리브레이션 모듈(112)은 카메라(110)를 기준으로 한 마커(155)들 간의 각도, 스크린(102) 상에 표시된 가상 마커(121)들 간의 거리, 및 스크린(102)의 크기를 기반으로 사용자가 스크린을 통해 바라보는 시야각을 산출한다(S 111). 즉, 캘리브레이션 모듈(112)은 카메라(110)를 기준으로 한 마커(155)들 간의 각도 및 스크린(102) 상에 표시된 가상 마커(121)들 간의 거리 간의 비율 관계를 스크린(102)의 크기 및 사용자가 스크린을 통해 바라보는 시야각에 적용하여 사용자가 스크린을 통해 바라보는 시야각을 산출할 수 있다.
예시적인 실시예에서, 스크린(102)의 너비가 1024 픽셀이고, 수평 마커 각도가 30도이며, 수평 가상 마커 거리가 500 픽셀인 경우, 30 : 500 = x : 1024의 비율 관계를 통해 x(사용자가 스크린을 통해 바라보는 수평 시야각)가 61도 임을 산출할 수 있다. 이를 통해, 사용자가 스크린을 통해 바라보는 수평 시야각(FoVx) 및 사용자가 스크린을 통해 바라보는 수직 시야각(FoVy)은 하기의 수학식 1을 통해 나타낼 수 있다.
(수학식 1)
Figure 112017062653655-pat00001
Figure 112017062653655-pat00002
다음으로, 캘리브레이션 모듈(112)은 변환 매트릭스를 이용하여 카메라(110)의 시야각을 사용자가 스크린을 통해 바라보는 시야각으로 변환시킨다(S 113). 캘리브레이션 모듈(112)은 하기의 수학식 2에 나타난 변환 매트릭스(M)를 이용하여 카메라(110)의 시야각을 사용자가 스크린을 통해 바라보는 시야각으로 변환시킬 수 있다. 여기서는 사용자가 스크린을 통해 바라보는 수직 시야각(FoVy)을 이용하여 변환 매트릭스를 산출하는 경우를 나타내었다.
(수학식 2)
Figure 112017062653655-pat00003
여기서, ratio는 스크린(102)의 너비와 높이 간 비율을 나타내는 것으로, 스크린(102)의 높이/스크린(102)의 너비로 나타낼 수 있다. far는 카메라(110)를 기준으로 카메라(110)의 전방 근거리 상수를 나타내며, near는 카메라(110)를 기준으로 카메라(110)의 전방 원거리 상수를 나타낸다. 즉, far는 카메라(110)를 통해 카메라(110) 전방의 물체를 어느 지점부터 보여줄 것인지를 나타내는 상수이고, near는 카메라(110)를 통해 카메라(110) 전방의 물체를 어디까지 보여줄 것인지를 나타내는 상수이다. 스크린(102)의 높이는 y축에 대응하고, 스크린(102)의 너비는 z축에 대응하며, 카메라(110)의 전방은 z축에 대응할 수 있다.
도 9는 본 발명의 실시예에 따른 변환 매트릭스에 의한 투영 공간을 나타낸 도면이다. 도 9를 참조하면, 카메라(110)의 시야각에 의한 가상 평면(VP1)은 도 2에서도 확인할 수 있는 바와 같이, 사용자가 스크린을 통해 바라보는 시야각에 의한 가상 평면(VP2) 보다 넓은 범위를 가지게 된다. 여기서, 가상 평면(VP1)과 가상 평면(VP2)는 동일한 평면 상에 위치하는 것으로 한다.
캘리브레이션 모듈(112)은 수학식 2에 의한 변환 매트릭스를 이용하여 카메라(110)의 시야각을 사용자가 스크린을 통해 바라보는 시야각으로 변환시키게 된다. 그러면, 카메라(110)의 시야각에 의한 가상 평면(VP1)을 사용자가 스크린을 통해 바라보는 시야각에 의한 가상 평면(VP2)으로 변환시킬 수 있게 된다. 수학식 2에서 ratio가 스크린(102)의 높이(y)/스크린(102)의 너비(x)이기 때문에,
Figure 112017062653655-pat00004
값을 통해서는 x축의 변환된 시야각을 산출하게 되고,
Figure 112017062653655-pat00005
값을 통해서는 y축의 변환된 시야각을 산출할 수 있게 된다.
한편, 수학식 2에서는 사용자가 스크린을 통해 바라보는 수직 시야각(FoVy)을 이용하여 변환 매트릭스를 산출하는 경우를 나타내었으나, 사용자가 스크린을 통해 바라보는 수평 시야각(FoVx)을 이용하여 변환 매트릭스(M)를 산출할 수도 있으며, 이에 대해서는 수학식 3에 나타내었다.
(수학식 3)
Figure 112017062653655-pat00006
여기서,
Figure 112017062653655-pat00007
값을 통해서는 x축의 변환된 시야각을 산출하고,
Figure 112017062653655-pat00008
값을 통해서는 y축의 변환된 시야각을 산출할 수 있게 된다. 즉, 사용자가 스크린을 통해 바라보는 수평 시야각(FoVx) 및 사용자가 스크린을 통해 바라보는 수직 시야각(FoVy) 중 어느 하나의 값만 있으면 카메라(110)의 시야각을 사용자가 스크린을 통해 바라보는 시야각으로 변환시킬 수 있게 된다.
한편, 캘리브레이션 모듈(112)은 스크린(102, 104)과 카메라(110) 간의 물리적 위치에 따른 차이를 보정할 수 있다. 즉, 사용자는 스크린(102, 104)을 통해 증강 현실 콘텐츠를 보기 때문에, 카메라(110)를 기준으로 획득된 객체의 자세를 스크린(102, 104)을 기준으로 자세로 변환하여 스크린(102, 104)과 카메라(110) 간의 물리적 위치에 따른 차이를 보정해주어야 한다.
개시되는 실시예에서는, 스크린(102, 104)과 카메라(110) 간의 물리적 위치에 따른 차이를 보정하기 위해, 도 10에 도시된 바와 같이 마커 부재(250)를 이용할 수 있다. 마커 부재(250)는 베이스부(251), 고정부(253), 및 마커(255)를 포함할 수 있다.
베이스부(251)는 마커 부재(250)를 지지하는 역할을 할 수 있다. 베이스부(251)는 평평한 플레이트로 이루어질 수 있다. 고정부(253)는 베이스부(251)의 일측에서 돌출되어 마련될 수 있다. 예를 들어, 고정부(253)는 베이스부(251)의 하측에서 하부로 돌출되어 마련될 수 있다. 고정부(253)는 사용자가 마커 부재(250)를 파지하는 부분일 수 있다. 또는, 고정부(253)는 별도의 장비에 장착되는 부분일 수 있다. 마커(255)는 베이스부(251)의 일면에 마련될 수 있다. 여기서는, 마커(255)가 사각형 형태인 것으로 도시하였으나, 이에 한정되는 것은 아니며 마커(255)는 그 이외에 다양한 형태로 마련될 수 있다.
예시적인 실시예에서, 마커 부재(250)는 마커(255)의 형태가 서로 다른 것이 2개가 사용될 수 있다. 즉, 마커 부재(250)는 제1 스크린(102)과 카메라(110) 간의 물리적 위치에 따른 차이를 보정하기 위한 제1 마커 부재 및 제2 스크린(104)과 카메라(110) 간의 물리적 위치에 따른 차이를 보정하기 위한 제2 마커 부재를 포함할 수 있다. 여기서, 제1 마커 부재와 제2 마커 부재는 마커(255)의 형태가 서로 다를 수 있다.
도 11은 본 발명의 다른 실시예에 따른 캘리브레이션 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 11을 참조하면, 캘리브레이션 모듈(112)은 캘리브레이션 이벤트가 발생하는지 여부를 확인한다(S 201). 캘리브레이션 이벤트는 헤드 마운트 디스플레이(100)에서 캘리브레이션이 요구되는 경우 발생하는 것으로, 예를 들어, 사용자가 헤드 마운트 디스플레이(100)에 마련된 별도의 버튼을 누르거나 헤드 마운트 디스플레이(100)에 설치된 캘리브레이션을 위한 어플리케이션을 실행시키는 경우에 발생할 수 있다. 또는, 캘리브레이션 이벤트는 헤드 마운트 디스플레이(100)의 카메라(110)가 전방의 마커 부재(250)를 인지하는 경우에 발생할 수도 있다. 예시적인 실시예에서, 사용자가 헤드 마운트 디스플레이(100)를 두부에 착용하고, 헤드 마운트 디스플레이(100)의 전방 일정 거리에 마커 부재(250)를 위치시킨 상태에서, 헤드 마운트 디스플레이(100)에 마련된 별도의 버튼을 눌러 캘리브레이션 이벤트를 발생시킬 수 있다.
단계 S 201의 확인 결과, 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션 모듈(112)은 카메라(110)가 인식한 마커 부재(250)의 종류에 따라 캘리브레이션 대상이 아닌 스크린을 오프시킨다(S 203). 구체적으로, 카메라(110)가 인식한 마커 부재(250)가 제1 마커 부재인 경우(즉, 제1 스크린(102)이 캘리브레이션 대상이 되는 스크린인 경우), 캘리브레이션 모듈(112)은 제2 스크린(104)을 오프시킬 수 있다. 또한, 카메라(110)가 인식한 마커 부재(250)가 제2 마커 부재인 경우(즉, 제2 스크린(104)이 캘리브레이션 대상이 되는 스크린인 경우), 캘리브레이션 모듈(112)은 제1 스크린(102)을 오프시킬 수 있다.
다음으로, 캘리브레이션 모듈(112)은 캘리브레이션 대상이 되는 스크린에 가상 기준 큐브를 렌더링하여 표시한다(S 205). 가상 기준 큐브는 3차원 가상 객체로서, 헤드 마운트 디스플레이(100)로부터 기 설정된 거리(예를 들어, 1m)에 마커 부재(250)가 기 설정된 정자세로 위치하는 경우, 카메라(110)가 바라본 마커 부재(250)의 자세와 대응되는 자세를 가지도록 형성된 것일 수 있다. 가상 기준 큐브는 스크린의 중앙에 표시될 수 있다.
다음으로, 캘리브레이션 모듈(112)은 카메라(110)가 추적한 마커(255)의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 캘리브레이션 대상이 되는 스크린에 렌더링하여 표시한다(S 207). 이 경우, 해당 스크린에는 가상 기준 큐브와 가상 테스트 큐브가 각각 표시되게 된다.
구체적으로, 캘리브레이션 모듈(112)은 카메라(110)가 추적한 마커(255)의 자세를 산출할 수 있다. 예시적인 실시예에서, 캘리브레이션 모듈(112)은 카메라(110)가 촬영한 영상에서 마커(255)의 외각 꼭지점들을 검출(예를 들어, 마커(255)가 사각형 형태인 경우 4개의 외각 꼭지점들을 검출)하고, 검출한 외각 꼭지점들의 좌표값(카메라 좌표계에서의 좌표값)을 추출할 수 있다. 이를 외각 꼭지점들의 제1 좌표값이라 지칭할 수 있다. 또한, 캘리브레이션 모듈(112)은 기 저장된 마커(255)의 영상에서 외각 꼭지점들의 좌표값을 추출할 수 있다. 이를 외각 꼭지점들의 제2 좌표값이라 지칭할 수 있다. 여기서, 기 저장된 마커(255)의 영상은 마커 부재(250)가 정 자세인 경우 촬영한 영상일 수 있다.
캘리브레이션 모듈(112)은 외각 꼭지점들의 제1 좌표값과 외각 꼭지점들의 제2 좌표값을 비교하여 카메라(110)가 추적한 마커(255)의 자세를 산출할 수 있다. 즉, 캘리브레이션 모듈(112)은 외각 꼭지점들의 제2 좌표값을 기준으로 외각 꼭지점들의 제1 좌표값이 얼마만큼 이동 및 회전되었는지를 통해 카메라(110)가 추적한 마커(255)의 자세를 산출할 수 있다. 캘리브레이션 모듈(112)는 카메라(110)가 추적한 마커(255)의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하여 스크린에 표시할 수 있다. 가상 테스트 큐브는 가상의 3차원 객체로서, 가상 기준 큐브와 동일한 크기로 형성될 수 있다.
다음으로, 캘리브레이션 모듈(112)은 해당 스크린에서 가상 기준 큐브와 가상 테스트 큐브가 정합(매칭)되는지 여부를 확인한다(S 209). 예시적인 실시예에서, 사용자는 헤드 마운트 디스플레이(100)를 두부에 착용한 상태에서 헤드 마운트 디스플레이(100)의 자세를 변경시켜 가면서 해당 스크린 상의 가상 기준 큐브와 가상 테스트 큐브가 매칭되도록 할 수 있다. 사용자는 해당 스크린 상의 가상 기준 큐브와 가상 테스트 큐브가 매칭되는 경우, 캘리브레이션 모듈(112)로 큐브 매칭 신호를 입력할 수 있다.
여기서, 가상 기준 큐브는 스크린 상에 고정되어 있으며, 가상 테스트 큐브는 헤드 마운트 디스플레이(100)의 자세(즉, 카메라(110)의 자세)가 변함에 따라 스크린 상에서 그 자세가 변하게 된다. 즉, 캘리브레이션 모듈(112)은 헤드 마운트 디스플레이(100)의 자세가 변함에 따라 카메라(110)가 추적한 마커(255)의 자세에 대응하여 가상 테스트 큐브의 자세를 변경할 수 있다. 가상 테스트 큐브는 카메라(110)를 기준으로 바라 본 마커(255)의 자세를 반영하게 된다.
단계 S 209의 확인 결과, 해당 스크린에서 가상 기준 큐브와 가상 테스트 큐브가 정합된 경우, 캘리브레이션 모듈(112)은 가상 기준 큐브의 자세와 가상 테스트 큐브의 자세 간의 차이를 산출한다(S 211). 캘리브레이션 모듈(112)은 가상 기준 큐브의 자세를 기준으로 가상 테스트 큐브의 자세가 얼마나 차이가 나는지에 대한 자세 차이값을 산출할 수 있다. 예를 들어, 캘리브레이션 모듈(112)은 카메라 좌표계에서 가상 기준 큐브의 자세를 기준으로 가상 테스트 큐브의 자세가 x축, y축, 및 z축 상으로 각각 얼마나 회전되어 있는지에 대한 회전 차이값을 산출할 수 있다. 또한, 캘리브레이션 모듈(112)은 카메라 좌표계에서 가상 기준 큐브의 자세를 기준으로 가상 테스트 큐브의 자세가 x축, y축, 및 z축 상으로 각각 얼마나 이동되어 있는지에 대한 이동 차이값을 산출할 수 있다.
즉, 상기 자세 차이값은 상기 회전 차이값 및 상기 이동 차이값을 포함할 수 있다. 캘리브레이션 모듈(112)은 회전 차이값을 회전 변환 매트릭스(R)로 나타내고, 이동 차이값을 이동 변환 매트릭스(T)로 나타낼 수 있다. 또한, 캘리브레이션 모듈(112)은 자세 차이값을 회전 이동 변환 행렬(R|T)로 나타낼 수 있다.
다음으로, 캘리브레이션 모듈(112)은 해당 스크린을 기준으로 바라 본 마커(255)의 자세를 산출한다(S 213). 캘리브레이션 모듈(112)은 가상 기준 큐브와 가상 테스트 큐브의 정합 시 가상 기준 큐브와 가상 테스트 큐브 간 자세 차이값, 가상 기준 큐브와 가상 테스트 큐브의 정합 시 가상 테스트 큐브의 자세, 및 카메라(110)의 시야각을 사용자가 스크린을 통해 바라보는 시야각으로 변환시키는 변환 매트릭스(수학식 2 또는 수학식 3에 의한 변환 매트릭스)를 기반으로 해당 스크린을 기준으로 바라 본 마커(255)의 자세를 산출할 수 있다.
캘리브레이션 모듈(112)은 하기의 수학식 4를 통해 해당 스크린을 기준으로 바로 본 마커(255)의 자세(Posescreen)을 산출할 수 있다.
(수학식 4)
Figure 112017062653655-pat00009
M : 카메라의 시야각을 사용자가 스크린을 통해 바라보는 시야각으로 변환시키는 변환 매트릭스
Posecamera : 가상 기준 큐브와 가상 테스트 큐브의 정합 시 가상 테스트 큐브의 자세
[R|T] : 가상 기준 큐브와 가상 테스트 큐브의 정합 시 가상 기준 큐브와 가상 테스트 큐브 간 자세 차이값
한편, 캘리브레이션 모듈(112)은 다른 스크린(즉, 단계 S 203에서 오프된 스크린)에 대해서도 단계 S 205 이후의 과정을 반복하여 다른 스크린을 기준으로 바라 본 마커의 자세를 산출할 수 있다.
도 12는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 헤드 마운트 디스플레이 장치(예를 들어, 헤드 마운트 디스플레이(100))일 수 있다. 또한, 컴퓨팅 장치(12)는 캘리브레이션을 위한 장치(예를 들어, 캘리브레이션 모듈(112))일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 헤드 마운트 디스플레이
102 : 제1 스크린
104 : 제2 스크린
106 : 프레임
108 : 헤드 장착부
110 : 카메라
112 : 캘리브레이션 모듈
121 : 가상 마커
121-1 : 제1 가상 마커
121-2 : 제2 가상 마커
121-3 : 제3 가상 마커
121-4 : 제4 가상 마커
150, 250 : 마커 부재
151, 251 : 베이스부
153, 253 : 고정부
155, 255 : 마커
155-1 : 제1 마커
155-2 : 제2 마커
155-3 : 제3 마커
155-4 : 제4 마커

Claims (10)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 옵티컬 시스루 타입의 헤드 마운트 디스플레이에서 수행되는 방법으로서,
    상기 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하는 단계;
    상기 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 상기 가상 테스트 큐브를 상기 스크린에 표시하는 단계;
    상기 스크린 상에서 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는지 여부를 확인하는 단계;
    상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는 경우, 상기 가상 기준 큐브와 상기 가상 테스트 큐브 간의 자세 차이값을 산출하는 단계;
    상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하는 단계; 및
    상기 매칭 시 상기 가상 테스트 큐브의 자세, 상기 자세 차이값, 및 상기 시야각의 차이를 기반으로 상기 스크린이 바라본 제1 마커의 자세를 산출하는 단계를 포함하며,
    상기 가상 기준 큐브는,
    3차원 가상 객체이고, 상기 헤드 마운트 디스플레이로부터 기 설정된 거리의 전방에 위치한 제1 마커가 기 설정된 정자세로 위치하는 경우, 상기 카메라가 바라본 상기 제1 마커의 자세와 대응되는 자세를 가지도록 형성되는, 캘리브레이션 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 가상 테스트 큐브는,
    3차원 가상 객체이고, 상기 가상 기준 큐브와 동일한 크기로 형성되는, 캘리브레이션 방법.
  4. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 옵티컬 시스루 타입의 헤드 마운트 디스플레이에서 수행되는 방법으로서,
    상기 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하는 단계;
    상기 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 상기 가상 테스트 큐브를 상기 스크린에 표시하는 단계;
    상기 스크린 상에서 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는지 여부를 확인하는 단계;
    상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는 경우, 상기 가상 기준 큐브와 상기 가상 테스트 큐브 간의 자세 차이값을 산출하는 단계;
    상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하는 단계; 및
    상기 매칭 시 상기 가상 테스트 큐브의 자세, 상기 자세 차이값, 및 상기 시야각의 차이를 기반으로 상기 스크린이 바라본 제1 마커의 자세를 산출하는 단계를 포함하며,
    상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하는 단계는,
    상기 헤드 마운트 디스플레이의 스크린에 복수 개의 가상 마커를 표시하는 단계;
    상기 스크린 상에서 상기 가상 마커들과 상기 헤드 마운트 디스플레이의 전방에 위치한 복수 개의 제2 마커들이 매칭되는지 여부를 확인하는 단계;
    상기 스크린 상에서 상기 가상 마커들과 상기 제2 마커들이 매칭되는 경우, 상기 헤드 마운트 디스플레이의 카메라를 기준으로 상기 제2 마커들 간의 각도를 산출하는 단계;
    상기 스크린 상에 표시된 가상 마커들 간의 거리를 산출하는 단계;
    상기 카메라를 기준으로 한 상기 제2 마커들 간의 각도, 상기 가상 마커들 간의 거리, 및 상기 스크린의 크기를 기반으로 상기 사용자가 상기 스크린을 통해 바라보는 시야각을 산출하는 단계; 및
    상기 카메라의 시야각을 상기 사용자가 상기 스크린을 통해 바라보는 시야각으로 변환하는 단계를 포함하는, 캘리브레이션 방법.
  5. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 옵티컬 시스루 타입의 헤드 마운트 디스플레이에서 수행되는 방법으로서,
    상기 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하는 단계;
    상기 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 상기 가상 테스트 큐브를 상기 스크린에 표시하는 단계;
    상기 스크린 상에서 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는지 여부를 확인하는 단계;
    상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는 경우, 상기 가상 기준 큐브와 상기 가상 테스트 큐브 간의 자세 차이값을 산출하는 단계;
    상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하는 단계; 및
    상기 매칭 시 상기 가상 테스트 큐브의 자세, 상기 자세 차이값, 및 상기 시야각의 차이를 기반으로 상기 스크린이 바라본 제1 마커의 자세를 산출하는 단계를 포함하며,
    상기 헤드 마운트 디스플레이는, 제1 스크린 및 제2 스크린을 포함하고,
    캘리브레이션 방법은, 상기 가상 기준 큐브를 표시하는 단계 이전에,
    상기 헤드 마운트 디스플레이의 전방에 위치한 상기 제1 마커의 종류에 따라 상기 제1 스크린 및 상기 제2 스크린 중 어느 하나를 오프시키는 단계를 더 포함하는, 캘리브레이션 방법.
  6. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하는 옵티컬 시스루 타입의 헤드 마운트 디스플레이로서,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    상기 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하기 위한 명령;
    상기 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 상기 가상 테스트 큐브를 상기 스크린에 표시하기 위한 명령;
    상기 스크린 상에서 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는지 여부를 확인하기 위한 명령;
    상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는 경우, 상기 가상 기준 큐브와 상기 가상 테스트 큐브 간의 자세 차이값을 산출하기 위한 명령;
    상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하기 위한 명령; 및
    상기 매칭 시 상기 가상 테스트 큐브의 자세, 상기 자세 차이값, 및 상기 시야각의 차이를 기반으로 상기 스크린이 바라본 제1 마커의 자세를 산출하기 위한 명령을 포함하며,
    상기 가상 기준 큐브는,
    3차원 가상 객체이고, 상기 헤드 마운트 디스플레이로부터 기 설정된 거리의 전방에 위치한 제1 마커가 기 설정된 정자세로 위치하는 경우, 상기 카메라가 바라본 상기 제1 마커의 자세와 대응되는 자세를 가지도록 형성되는, 헤드 마운트 디스플레이.
  7. 삭제
  8. 청구항 6에 있어서,
    상기 가상 테스트 큐브는,
    3차원 가상 객체이고, 상기 가상 기준 큐브와 동일한 크기로 형성되는, 헤드 마운트 디스플레이.
  9. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하는 옵티컬 시스루 타입의 헤드 마운트 디스플레이로서,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    상기 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하기 위한 명령;
    상기 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 상기 가상 테스트 큐브를 상기 스크린에 표시하기 위한 명령;
    상기 스크린 상에서 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는지 여부를 확인하기 위한 명령;
    상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는 경우, 상기 가상 기준 큐브와 상기 가상 테스트 큐브 간의 자세 차이값을 산출하기 위한 명령;
    상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하기 위한 명령; 및
    상기 매칭 시 상기 가상 테스트 큐브의 자세, 상기 자세 차이값, 및 상기 시야각의 차이를 기반으로 상기 스크린이 바라본 제1 마커의 자세를 산출하기 위한 명령을 포함하며,
    상기 하나 이상의 프로그램들은, 상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하기 위한 명령에서,
    상기 헤드 마운트 디스플레이의 스크린에 복수 개의 가상 마커를 표시하기 위한 명령;
    상기 스크린 상에서 상기 가상 마커들과 상기 헤드 마운트 디스플레이의 전방에 위치한 복수 개의 제2 마커들이 매칭되는지 여부를 확인하기 위한 명령;
    상기 스크린 상에서 상기 가상 마커들과 상기 제2 마커들이 매칭되는 경우, 상기 헤드 마운트 디스플레이의 카메라를 기준으로 상기 제2 마커들 간의 각도를 산출하기 위한 명령;
    상기 스크린 상에 표시된 가상 마커들 간의 거리를 산출하기 위한 명령;
    상기 카메라를 기준으로 한 상기 제2 마커들 간의 각도, 상기 가상 마커들 간의 거리, 및 상기 스크린의 크기를 기반으로 상기 사용자가 상기 스크린을 통해 바라보는 시야각을 산출하기 위한 명령; 및
    상기 카메라의 시야각을 상기 사용자가 상기 스크린을 통해 바라보는 시야각으로 변환하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
  10. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하는 옵티컬 시스루 타입의 헤드 마운트 디스플레이로서,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    상기 헤드 마운트 디스플레이의 스크린에 가상 기준 큐브를 표시하기 위한 명령;
    상기 헤드 마운트 디스플레이의 카메라가 바라본 제1 마커의 자세와 대응되는 자세를 가지는 가상 테스트 큐브를 생성하고, 생성된 상기 가상 테스트 큐브를 상기 스크린에 표시하기 위한 명령;
    상기 스크린 상에서 상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는지 여부를 확인하기 위한 명령;
    상기 가상 기준 큐브와 상기 가상 테스트 큐브가 매칭되는 경우, 상기 가상 기준 큐브와 상기 가상 테스트 큐브 간의 자세 차이값을 산출하기 위한 명령;
    상기 카메라의 시야각과 사용자가 상기 스크린을 통해 바라보는 시야각의 차이를 산출하기 위한 명령; 및
    상기 매칭 시 상기 가상 테스트 큐브의 자세, 상기 자세 차이값, 및 상기 시야각의 차이를 기반으로 상기 스크린이 바라본 제1 마커의 자세를 산출하기 위한 명령을 포함하며,
    상기 헤드 마운트 디스플레이는, 제1 스크린 및 제2 스크린을 포함하고,
    상기 하나 이상의 프로그램들은,
    상기 헤드 마운트 디스플레이의 전방에 위치한 상기 제1 마커의 종류에 따라 상기 제1 스크린 및 상기 제2 스크린 중 어느 하나를 오프시키기 위한 명령을 더 포함하는, 헤드 마운트 디스플레이.

KR1020170082785A 2017-06-29 2017-06-29 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이 KR101900475B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170082785A KR101900475B1 (ko) 2017-06-29 2017-06-29 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
PCT/KR2018/003361 WO2019004565A1 (ko) 2017-06-29 2018-03-22 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170082785A KR101900475B1 (ko) 2017-06-29 2017-06-29 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이

Publications (1)

Publication Number Publication Date
KR101900475B1 true KR101900475B1 (ko) 2018-11-08

Family

ID=64329960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170082785A KR101900475B1 (ko) 2017-06-29 2017-06-29 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이

Country Status (2)

Country Link
KR (1) KR101900475B1 (ko)
WO (1) WO2019004565A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094941A (ko) * 2019-01-31 2020-08-10 한국기술교육대학교 산학협력단 생산 라인에서의 작업자 위치 인식 방법 및 그 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3760157A1 (en) 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
US11863730B2 (en) * 2021-12-07 2024-01-02 Snap Inc. Optical waveguide combiner systems and methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102696A (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4681629B2 (ja) * 2008-05-21 2011-05-11 日本電信電話株式会社 表示デバイスのキャリブレーション方法及び装置
KR101921969B1 (ko) * 2012-02-01 2018-11-28 한국전자통신연구원 차량용 증강현실 헤드업 디스플레이 장치 및 방법
JP6061334B2 (ja) * 2012-11-26 2017-01-18 Kddi株式会社 光学式シースルー型ｈｍｄを用いたａｒシステム
JP6008397B2 (ja) * 2013-03-04 2016-10-19 Kddi株式会社 光学式シースルー型ｈｍｄを用いたａｒシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102696A (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094941A (ko) * 2019-01-31 2020-08-10 한국기술교육대학교 산학협력단 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
KR20210068383A (ko) * 2019-01-31 2021-06-09 한국기술교육대학교 산학협력단 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
KR102263836B1 (ko) 2019-01-31 2021-06-10 한국기술교육대학교 산학협력단 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
KR102430282B1 (ko) 2019-01-31 2022-08-05 한국기술교육대학교 산학협력단 생산 라인에서의 작업자 위치 인식 방법 및 그 장치

Also Published As

Publication number Publication date
WO2019004565A1 (ko) 2019-01-03

Similar Documents

Publication Publication Date Title
US10242504B2 (en) Head-mounted display device and computer program
US10241616B2 (en) Calibration of sensors and projector
TWI649675B (zh) Display device
US10269139B2 (en) Computer program, head-mounted display device, and calibration method
JP2018511098A (ja) 複合現実システム
US9706191B2 (en) Head tracking eyewear system
US20100188355A1 (en) Apparatus and method for detecting an object pointed by a user
US10326894B1 (en) Self stabilizing projector
JP2017187667A (ja) 頭部装着型表示装置およびコンピュータープログラム
US20100188587A1 (en) Projection method
KR20140122126A (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
KR101900475B1 (ko) 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
JP7182920B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2013179427A1 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
WO2013021458A1 (ja) 複合現実感装置
CN111275801A (zh) 一种三维画面渲染方法及装置
JP2017108370A (ja) 頭部装着型表示装置およびコンピュータープログラム
JP2000347128A (ja) ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム
CN108153417B (zh) 画面补偿方法及采用该方法的头戴式显示装置
CN112655202A (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
JP2017102696A (ja) 頭部装着型表示装置およびコンピュータープログラム
US10296098B2 (en) Input/output device, input/output program, and input/output method
US10992928B1 (en) Calibration system for concurrent calibration of device sensors
KR101894846B1 (ko) 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
JP5337409B2 (ja) 情報提示装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant