KR102138511B1 - 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 - Google Patents

헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR102138511B1
KR102138511B1 KR1020130102325A KR20130102325A KR102138511B1 KR 102138511 B1 KR102138511 B1 KR 102138511B1 KR 1020130102325 A KR1020130102325 A KR 1020130102325A KR 20130102325 A KR20130102325 A KR 20130102325A KR 102138511 B1 KR102138511 B1 KR 102138511B1
Authority
KR
South Korea
Prior art keywords
portable device
head mounted
hmd
mounted display
marker
Prior art date
Application number
KR1020130102325A
Other languages
English (en)
Other versions
KR20150025116A (ko
Inventor
조은형
천시내
김종호
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130102325A priority Critical patent/KR102138511B1/ko
Priority to US14/080,316 priority patent/US8866849B1/en
Priority to CN201380079148.2A priority patent/CN105493059B/zh
Priority to PCT/KR2013/010494 priority patent/WO2015030304A1/en
Priority to EP13892413.9A priority patent/EP3039555B1/en
Publication of KR20150025116A publication Critical patent/KR20150025116A/ko
Application granted granted Critical
Publication of KR102138511B1 publication Critical patent/KR102138511B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Abstract

본 명세서의 일 실시예에 따른 포터블 디바이스를 제어하는 방법은 헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하는 단계, 인커밍콜이 수신되면 페어링된 HMD의 제1 위치를 디텍팅하는 단계, 인커밍콜에 대응하는 마커 정보를 디텍팅된 제1 위치에 따라 설정하는 단계, 및 HMD에 마커 정보에 대응하는 증강현실 이미지를 송신하는 단계를 포함할 수 있다.

Description

헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법{Apparatus and Method for Portable Device transmitting marker information for videotelephony of Head Mounted Display}
본 명세서는 포터블 디바이스에 대한 것으로, 특히 헤드 마운티드 디스플레이의 화상통화에 필요한 마커 정보를 제공하는 포터블 디바이스에 대한 것이다.
리얼 오브젝트와 버추얼 오브젝트가 혼합된 증강현실기술은 사용자가 증강현실 이미지와 함께 현실 이미지를 볼 수 있게 하여 현실감과 함께 부가 정보를 제공한다. 예를 들어 스마트폰에 인커밍콜이 수신된 경우, 헤드 마운티드 디스플레이는 증강현실기술을 이용하여 스마트폰의 위치에 인커밍콜의 발신자의 얼굴을 증강현실 이미지로 디스플레이할 수 있다. 이를 통해 헤드 마운티드 디스플레이의 사용자는 발신자의 얼굴을 바라보며 화상통화를 할 수 있다.
증강현실 이미지는 증강현실 이미지에 대응하는 마커가 디텍팅된 경우에 디스플레이될 수 있다. 증강현실 이미지는 3차원 이미지일 수 있으며 3차원 이미지의 방향은 마커의 방향에 따라 달라질 수 있다. 따라서 포터블 디바이스는 인커밍콜의 발신자에 따라 서로 다른 마커를 디스플레이하고 수신자 또는 헤드 마운티드 디스플레이의 위치나 방향에 따라 마커의 방향을 제어해야 한다. 따라서 포터블 디바이스는 상황에 따라 적응적으로 마커 정보를 생성하여 헤드 마운티드 디스플레이에 전송하는 방법이 요구된다.
본 명세서는, 증강현실 이미지의 마커 정보를 전송하는 포터블 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 포터블 디바이스는 사용자 또는 페어링된 헤드 마운티드 디스플레이의 위치에 따라 전송하는 마커 정보를 적응적으로 변경하는 방법을 제공할 필요가 있다.
본 명세서의 일 실시예에 따른 포터블 디바이스는 헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하여 인커밍콜을 수신하고, 정보를 송신하는 커뮤니케이션 유닛 HMD의 위치를 디텍팅하는 센서 유닛, 디스플레이 유닛, 및 커뮤니케이션 유닛, 센서 유닛 및 디스플레이 유닛을 제어하는 컨트롤러를 포함하는 포터블 디바이스로써, 컨트롤러는 HMD가 페어링된 경우, 인커밍콜에 대응하는 마커 정보를 HMD의 제1 위치에 따라 설정하고, HMD에 마커 정보에 대응하는 증강현실 이미지를 송신할 수 있다.
또한 본 명세서의 일 실시예에 따른 포터블 디바이스 제어 방법은 헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하는 단계, 인커밍콜이 수신되면 페어링된 HMD의 제1 위치를 디텍팅하는 단계, 인커밍콜에 대응하는 마커 정보를 디텍팅된 제1 위치에 따라 설정하는 단계, 및 HMD에 마커 정보에 대응하는 증강현실 이미지를 송신하는 단계를 포함할 수 있다.
본 명세서에 따르면, 포터블 디바이스는 증강현실 이미지에 대응하는 마커 정보를 생성하고 전송할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 사용자 또는 페어링된 헤드 마운티드 디스플레이의 위치에 따라 마커 정보를 적응적으로 변경할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 화상통화가 시작되기 전에 헤드 마운티드 디스플레이의 위치를 디텍팅하고 마커 정보를 설정할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 포터블 디바이스의 형태에 대한 정보를 마커 정보로써 전송할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 사용자 또는 페어링된 헤드 마운티드 디스플레이의 위치가 변경되면 변경된 위치를 트랙킹하여 마커 정보를 수정할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다.
도 2는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다.
도 3은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 제공 방법을 나타낸 도면이다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 방법을 나타낸 도면이다.
도 5는 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다.
도 7은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 포터블 디바이스는 디스플레이 유닛을 포함한 디바이스일 수 있다. 예를 들어, 포터블 디바이스는 스마트폰, 스마트패드, 노트북, 태블릿 컴퓨터, 뮤직 플레이어, 스마트 테이블, 모니터 또는 텔레비젼을 포함할 수 있다. 본 명세서에서 헤드 마운티드 디스플레이는 사용자의 신체에 착용되어 시각정보를 디스플레이할 수 있는 웨어러블 디바이스를 포함할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다. 포터블 디바이스는 인커밍콜을 수신할 수 있다. 포터블 디바이스는 인커밍콜의 발신자에 대한 정보를 디스플레이할 수 있다. 또한 포터블 디바이스는 헤드 마운티드 디스플레이와 페어링하여 인커밍콜의 발신자에 대한 정보를 헤드 마운티드 디스플레이에 제공할 수 있다.
헤드 마운티드 디스플레이와 포터블 디바이스가 페어링된 경우, 포터블 디바이스는 증강현실 이미지의 마커를 디스플레이할 수 있으며, 헤드 마운티드 디스플레이는 포터블 디바이스에 디스플레이된 마커를 디텍팅하고, 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 포터블 디바이스는 사용자 또는 헤드 마운티드 디스플레이의 위치를 디텍팅하고, 디텍팅된 위치에 따라 마커의 방향을 적응적으로 변경할 수 있다. 아래에서는 헤드 마운티드 디스플레이의 위치를 예로 들어 설명하나 이는 사용자의 위치에도 유사하게 적용될 수 있다. 포터블 디바이스는 페어링된 헤드 마운티드 디스플레이에 발신자의 얼굴의 전면이 디스플레이되도록 마커의 방향을 결정할 수 있다.
도 1의 좌측에서 포터블 디바이스(11)는 인커밍콜을 수신할 수 있다. 포터블 디바이스(11)는 인커밍콜이 수신되면 페어링된 헤드 마운티드 디스플레이(13)의 제1 위치를 디텍팅할 수 있다. 여기서, 제1 위치란 포터블 디바이스를 기준으로, 포터블 디바이스와 페어링된 헤드 마운티드 디스플레이의 상대적인 위치를 의미할 수 있다. 예를 들어, 포터블 디바이스(11)는 가상의 기준선을 설정하고, 기준선으로부터 제1 각도만큼 회전된 위치에서 페어링된 헤드 마운티드 디스플레이(13)를 디텍팅할 수 있다.
포터블 디바이스(11)는 마커(12)에 대응하는 증강현실 이미지(14)의 전면이 제1 위치를 향하도록 마커(12)의 방향을 설정할 수 있다. 도 1에서 증강현실 이미지(14)는 마커(12)에 대응하여 헤드 마운티드 디스플레이(13)에 디스플레이되는 이미지이다. 포터블 디바이스는 마커(12)의 디스플레이 방향을 기준선으로부터 제1 각도만큼 회전된 방향으로 설정할 수 있다.
인커밍콜에 대한 응답이 결정되고 통화가 시작되면, 포터블 디바이스는 설정된 방향으로 마커(12)를 회전시킨 후 마커(12)를 디스플레이할 수 있다. 예를 들어, 헤드 마운티드 디스플레이(13)가 포터블 디바이스(11)의 기준선으로부터 시계방향으로 제1 각도를 이루는 곳에 위치한 경우, 포터블 디바이스(11)는 마커(12)를 시계방향으로 제1 각도만큼 회전시킨 후 디스플레이할 수 있다.
또한 포터블 디바이스는 페어링된 헤드 마운티드 디스플레이(13)에 마커 정보 및 증강현실 이미지 중 적어도 하나를 전송할 수 있다. 마커 정보는 마커의 형태 및 마커의 방향에 대한 정보를 포함할 수 있다. 또한 증강현실 이미지는 인커밍콜의 발신자에 대한 정보를 포함할 수 있으며 예를 들어, 증강현실 이미지는 발신자의 이름, 전화번호, 메모, 사진 및 화상 통화 이미지를 포함할 수 있다.
헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)에 디스플레이된 마커(12)를 디텍팅하고, 포터블 디바이스로부터 전송된 마커 정보 및 증강현실 이미지 중 적어도 하나를 이용하여 화상통화를 실시할 수 있다. 헤드 마운티드 디스플레이(13)는 디텍팅된 마커(12)에 대응하여 증강현실 이미지(14)를 디스플레이할 수 있다. 헤드 마운티드 디스플레이(13)는 디스플레이된 마커(12)의 방향에 따라 증강현실 이미지를 회전시켜 디스플레이할 수 있다. 따라서 헤드 마운티드 디스플레이(13)는 인커밍콜의 발신자의 화상통화 이미지의 전면을 증강현실 이미지(14)로 디스플레이할 수 있다.
도 1의 우측은 도 1의 좌측의 포터블 디바이스가 시계 방향으로 90도만큼 회전한 상태를 나타낸다. 화상통화 중에 포터블 디바이스가 회전되는 경우, 포터블 디바이스(11)는 회전방향의 반대방향으로 회전된 각도만큼 마커(12)를 회전시킬 수 있다. 즉, 화상통화 도중에 포터블 디바이스가 시계방향으로 90도만큼 회전된 경우, 포터블 디바이스(11)는 디스플레이된 마커(12)를 시계반대방향으로 90도만큼 회전시켜 디스플레이할 수 있다. 다시 말하면, 포터블 디바이스는 마커 정보에 포함된 마커의 디스플레이 방향에 대한 정보를 시계반대방향으로 90도만큼 회전된 방향으로 변경할 수 있다. 포터블 디바이스는 증강현실 이미지의 전면이 헤드 마운티드 디스플레이(13)를 향하도록 마커 정보를 변경할 수 있다. 이를 통해 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)에 디스플레이된 증강현실 이미지(14)가 전면을 유지하게 할 수 있다.
포터블 디바이스(11)는 화상통화가 종료되기 전까지 헤드 마운티드 디스플레이(13)의 제1 위치를 디텍팅할 수 있으며, 제1 위치가 제2 위치로 변경되는 경우, 변경된 제2 위치에 따라 디스플레이된 마커(12)를 회전시킬 수 있다. 다시 말해, 포터블 디바이스(11)는 증강현실 이미지의 전면이 제2 위치를 향하도록 마커 정보에 포함된 마커의 디스플레이 방향을 변경할 수 있다. 포터블 디바이스는 제1 위치와 제2 위치 사이의 각도에 대응하여 디스플레이된 마커(12)를 회전시킬 수 있다.
이를 통해 헤드 마운티드 디스플레이(13)를 착용한 사용자는 화상통화가 계속되는 동안 상대방의 얼굴의 전면을 바라보며 화상통화를 할 수 있다. 또한 사용자의 제1 위치가 변경되는 경우에도 사용자는 지속적으로 상대방의 얼굴의 전면을 응시할 수 있다.
도 2는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다. 포터블 디바이스는 인커밍콜을 수신할 수 있다. 포터블 디바이스는 인커밍콜의 발신자에 대한 정보를 디스플레이할 수 있다. 또한 포터블 디바이스는 헤드 마운티드 디스플레이와 페어링하여 인커밍콜의 발신자에 대한 정보를 헤드 마운티드 디스플레이에 제공할 수 있다. 헤드 마운티드 디스플레이는 포터블 디바이스의 형태를 증강현실 이미지의 마커로써 디텍팅할 수 있다. 헤드 마운티드 디스플레이는 포터블 디바이스의 형태를 디텍팅하고, 이에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 포터블 디바이스는 포터블 디바이스는 헤드 마운티드 디스플레이의 위치를 디텍팅하고, 디텍팅된 위치에 따라 포터블 디바이스의 기준 형태(reference shape)에 대한 정보를 포함하는 마커 정보를 헤드 마운티드 디스플레이에 전송할 수 있다. 포터블 디바이스는 페어링된 헤드 마운티드 디스플레이에 발신자의 얼굴의 전면이 디스플레이되도록 기준 형태를 결정할 수 있다. 즉, 포터블 디바이스의 기준 형태란, 디스플레이된 증강현실 이미지의 전면이 향하는 방향에서 바라본 포터블 디바이스의 형태로 정의될 수 있다.
도 2의 좌측에서 포터블 디바이스(11)는 인커밍콜을 수신할 수 있다. 포터블 디바이스(11)는 인커밍콜이 수신되면 페어링된 헤드 마운티드 디스플레이(13)의 제1 위치를 디텍팅할 수 있다. 여기서, 제1 위치란 포터블 디바이스를 기준으로 포터블 디바이스의 포터블 디바이스와 페어링된 헤드 마운티드 디스플레이의 상대적인 위치를 의미할 수 있다. 예를 들어, 포터블 디바이스(11)는 가상의 기준선(21)을 설정하고, 기준선으로부터 제1 각도만큼 회전된 위치에서 페어링된 헤드 마운티드 디스플레이(13)를 디텍팅할 수 있다. 도 2의 좌측에서 헤드 마운티드 디스플레이(13)는 기준선 방향에 위치하므로 제1 각도는 0도가 된다.
포터블 디바이스(11)는 증강현실 이미지(14)의 전면이 제1 위치를 향하도록 포터블 디바이스의 기준 형태에 대한 정보를 마커 정보로 설정할 수 있다. 도 2에서 증강현실 이미지(14)는 포터블 디바이스의 기준 형태에 대응하여 헤드 마운티드 디스플레이(13)에 디스플레이되는 이미지이다. 포터블 디바이스는 포터블 디바이스의 기준 형태를 기준선으로부터 제1 각도인 0도만큼 회전된 형태로 설정할 수 있다.
또한 포터블 디바이스는 페어링된 헤드 마운티드 디스플레이(13)에 마커 정보 및 증강현실 이미지 중 적어도 하나를 전송할 수 있다. 마커 정보는 포터블 디바이스의 기준 형태에 대한 정보를 포함할 수 있다. 이에 더하여 마커 정보는 포터블 디바이스의 복수의 각도에 따른 형태에 대한 정보를 더 포함할 수 있다. 즉, 마커 정보는 포터블 디바이스와 헤드 마운티드 디스플레이 사이의 각도에 따라 헤드 마운티드 디스플레이의 카메라 유닛이 인식하는 포터블 디바이스의 형태에 대한 정보를 더 포함할 수 있다. 또한 증강현실 이미지는 인커밍콜의 발신자에 대한 정보를 포함할 수 있으며 예를 들어, 증강현실 이미지는 발신자의 이름, 전화번호, 메모, 사진 및 화상 통화 이미지를 포함할 수 있다.
헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)의 형태를 마커로써 디텍팅하고, 포터블 디바이스로부터 전송된 마커 정보 및 증강현실 이미지 중 적어도 하나를 이용하여 화상통화를 실시할 수 있다. 헤드 마운티드 디스플레이(13)는 마커 정보 및 디텍팅된 포터블 디바이스의 형태 중 적어도 하나에 대응하여 증강현실 이미지(14)를 디스플레이할 수 있다. 헤드 마운티드 디스플레이(13)는 포터블 디바이스의 기준 형태 및 디텍팅된 포터블 디바이스의 형태에 기초하여 증강현실 이미지를 회전시켜 디스플레이할 수 있다. 따라서 헤드 마운티드 디스플레이(13)는 인커밍콜의 발신자의 화상통화 이미지의 전면을 증강현실 이미지(14)로 디스플레이할 수 있다.
도 2의 우측은 포터블 디바이스가 시계 방향으로 90도만큼 회전한 상태를 나타낸다. 포터블 디바이스의 기준선(21)은 포터블 디바이스가 회전함에 따라 시계 방향으로 90도만큼 회전될 수 있다. 이로 인하여 헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)의 좌측방향에 위치할 수 있다. 헤드 마운티드 디스플레이(13)의 제1 위치는 포터블 디바이스(11)에 대한 상대적인 위치이므로 포터블 디바이스(11)가 회전함에 따라 제1 위치는 변경될 수 있다. 다시 말하면, 포터블 디바이스(11)를 기준으로 헤드 마운티드 디스플레이(13)는 변경된 제1 위치(22)에 위치할 수 있으며, 기준선(21)과 제1 위치(22) 사이의 제1 각도(23)는 90도를 이룰 수 있다.
화상통화 중에 포터블 디바이스가 회전하는 경우, 포터블 디바이스(11)는 기준 형태에 대한 정보를 변경하여 헤드 마운티드 디스플레이(13)에 전송할 수 있다. 포터블 디바이스(11)는 마커 정보에 포함된 복수의 각도에 따른 포터블 디바이스의 형태들 중 하나를 기준 형태로 갱신하고, 갱신된 기준 형태에 대한 정보를 마커 정보에 포함시켜 헤드 마운티드 디스플레이(13)에 전송할 수 있다. 즉 도 2의 우측에서 포터블 디바이스는 포터블 디바이스의 좌측에서 포터블 디바이스를 바라봤을 때의 포터블 디바이스의 형태를 기준 형태로 갱신할 수 있다. 따라서 도 2의 우측에서 헤드 마운티드 디스플레이의 카메라 유닛은 기준 형태와 동일한 형태의 포터블 디바이스를 디텍팅할 수 있으며, 이에 따라 증강현실 이미지의 전면이 헤드 마운티드 디스플레이에 디스플레이될 수 있다.
다른 실시예로, 포터블 디바이스는 제1 각도(23)에 대한 정보를 헤드 마운티드 디스플레이(13)에 전송할 수도 있다. 헤드 마운티드 디스플레이(13)는 전송된 제1 각도(23)에 대한 정보에 기초하여 기준 형태를 갱신할 수 있다. 도 2의 우측에서 제1 각도는 시계방향으로 90도이므로 헤드 마운티드 디스플레이는 마커 정보에 포함된 복수의 각도에서 바라본 포터블 디바이스의 형태 중, 포터블 디바이스의 좌측에서 포터블 디바이스를 바라봤을 때의 포터블 디바이스의 형태를 기준 형태로 갱신할 수 있다. 따라서 도 2의 우측에서 헤드 마운티드 디스플레이의 카메라 유닛은 기준 형태와 동일한 형태의 포터블 디바이스를 디텍팅할 수 있다. 이를 통해 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)에 디스플레이된 증강현실 이미지(14)가 전면을 유지하게 할 수 있다.
포터블 디바이스(11)는 화상통화가 종료되기 전까지 헤드 마운티드 디스플레이(13)의 제1 위치를 디텍팅할 수 있으며, 제1 위치가 변경되는 경우, 변경된 제1 위치에 따라 기준 형태에 대한 정보를 갱신할 수 있다. 다시 말해, 헤드 마운티드 디스플레이(13)를 착용한 사용자는 화상통화가 계속되는 동안 상대방의 얼굴의 전면을 바라보며 화상통화를 할 수 있다. 또한 사용자의 제1 위치가 변경되는 경우에도 사용자는 지속적으로 상대방의 얼굴의 전면을 응시할 수 있다.
도 3은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 제공 방법을 나타낸 도면이다. 화상통화 중에 사용자가 증강현실 이미지의 측면 또는 후면을 보기 위해 포터블 디바이스를 회전시키는 경우에, 포터블 디바이스는 디스플레이된 마커를 회전시키지 않고 유지할 수 있다. 즉, 포터블 디바이스가 회전 또는 이동되어 포터블 디바이스에 의해 인식된 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 포터블 디바이스는 디스플레이된 마커를 회전시키거나 변경하지 않고 유지할 수 있다. 다른 실시예로 포터블 디바이스가 회전 또는 이동되어 포터블 디바이스에 의해 인식된 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 포터블 디바이스는 포터블 디바이스의 기준 형태에 대한 정보를 포함한 마커 정보를 갱신하지 않고 유지할 수 있다.
아래에서는 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 위치 변경이 포터블 디바이스와 헤드 마운티드 디스플레이 사이의 상대적인 위치의 변경인지, 헤드 마운티드 디스플레이의 절대적인 위치의 변경인지 판단하는 방법을 설명하도록 한다.
포터블 디바이스는 센서유닛을 이용하여 헤드 마운티드 디스플레이의 위치가 변경되는 것을 디텍팅할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이가 이동한 것이 아니라 포터블 디바이스가 회전 또는 이동되어 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경되었음을 디텍팅할 수 있다.
예를 들어 포터블 디바이스는 이미지 센서를 이용하여 헤드 마운티드 디스플레이의 위치 변경이 포터블 디바이스의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 제1 위치에서 제2 위치로 변경된 헤드 마운티드 디스플레이의 배경 이미지에 기초하여 헤드 마운티드 디스플레이가 이동한 것인지 포터블 디바이스가 이동한 것인지 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경된 경우, 포터블 디바이스는 헤드 마운티드 디스플레이가 이동하여 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경되지 않은 경우, 포터블 디바이스는 포터블 디바이스가 이동하여 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 포터블 디바이스는 자이로 센서를 이용하여 헤드 마운티드 디스플레이의 위치 변경이 포터블 디바이스의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이가 제1 위치에서 제2 위치로 변경된 때, 포터블 디바이스의 자이로 센서를 이용하여 포터블 디바이스가 회전되거나 이동하는지 여부를 센싱할 수 있다. 포터블 디바이스의 회전 또는 이동이 센싱되면 포터블 디바이스는 포터블 디바이스의 회전 또는 이동에 의해 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 포터블 디바이스는 헤드 마운티드 디스플레이로부터 헤드 마운티드 디스플레이의 위치 정보를 수신하여 헤드 마운티드 디스플레이의 위치 변경이 포터블 디바이스의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이로부터 GPS(Global Positioning System) 위치 정보를 수신하여 헤드 마운티드 디스플레이의 절대좌표가 변경되었는지 여부를 판단할 수 있다. 헤드 마운티드 디스플레이의 절대좌표가 변경되지 않은 경우, 포터블 디바이스는 포터블 디바이스의 회전 또는 이동에 의해 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
도 3의 좌측에서 포터블 디바이스(11)는 포터블 디바이스의 좌측에 헤드 마운티드 디스플레이(13)가 위치함을 디텍팅할 수 있다. 포터블 디바이스(11)는 인커밍콜이 수신되면 헤드 마운티드 디스플레이(13)가 디텍팅된 방향을 향하도록 마커(12)를 디스플레이할 수 있다. 또한 포터블 디바이스(11)는 마커를 디스플레이하는 대신 포터블 디바이스의 기준 형태를 결정하고 이를 마커 정보에 포함시켜 헤드 마운티드 디스플레이에 전송할 수 있다. 여기서, 포터블 디바이스의 기준 형태는 포터블 디바이스의 좌측에서 바라본 포터블 디바이스의 형태가 될 수 있다.
포터블 디바이스(11)는 헤드 마운티드 디스플레이에 증강현실 이미지(14)의 전면이 디스플레이되도록, 마커(12)를 회전시켜 디스플레이하거나 마커 정보에 포함된 기준 형태를 설정할 수 있다. 헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)에 디스플레이된 마커(12) 또는 수신된 마커 정보에 근거하여 포터블 디바이스(11)에 인접한 영역에 증강현실 이미지(14)를 디스플레이할 수 있다.
도 3의 우측과 같이 화상통화 중에 포터블 디바이스가 이동 또는 회전되는 경우, 포터블 디바이스(11)는 마커(12)의 디스플레이 방향을 유지하거나 마커 정보에 포함된 기준 형태에 대한 정보를 유지할 수 있다. 이를 통해 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)에 디스플레이된 증강현실 이미지(14)를 회전시킬 수 있다. 도 3의 우측에서 포터블 디바이스는 도 3의 좌측에 비해 반시계 방향으로 90도 만큼 회전되었다. 즉, 포터블 디바이스의 회전에 의해 헤드 마운티드 디스플레이(13)의 상대적인 위치가 포터블 디바이스의 좌측인 제1 위치로부터 포터블 디바이스의 하측인 제2 위치로 변경되었다. 따라서 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)의 위치 변경을 디텍팅한 경우, 마커(12)의 디스플레이 방향을 유지할 수 있다. 또한 포터블 디바이스는 마커 정보에 포함된 기준 형태에 대한 정보를 갱신하지 않고 유지할 수 있다.
따라서 헤드 마운티드 디스플레이(13)는 디텍팅된 마커 또는 마커 정보에 따라 증강현실 이미지(14)를 반시계 방향으로 90도 만큼 회전시킬 수 있다. 이는 헤드 마운티드 디스플레이(13)가 포터블 디바이스의 회전에 의해 반시계 방향으로 90도 만큼 회전된 마커(12)를 디텍팅하였기 때문이다. 또는 이는 헤드 마운티드 디스플레이(13)에 전송된 기준 형태와 비교할 때, 포터블 디바이스의 형태가 반시계 방향으로 90도 만큼 회전된 형태로 헤드 마운티드 디스플레이(13)에 의해 디텍팅되기 때문이다. 즉, 헤드 마운티드 디스플레이(13)는 전송받은 기준 형태와 헤드 마운티드 디스플레이(13)에 포함된 카메라 유닛에 의해 디텍팅된 포터블 디바이스의 형태를 비교하여 증강현실 이미지(14)의 회전각도를 결정할 수 있다. 또한 헤드 마운티드 디스플레이(13)는 결정된 회전각도에 따라 디스플레이된 증강현실 이미지(14)를 회전시킬 수 있다.
상술한 바와 같이, 포터블 디바이스 및 포터블 디바이스와 페어링된 헤드 마운티드 디스플레이는 다양한 각도에서의 증강현실 이미지를 헤드 마운티드 디스플레이에 디스플레이할 수 있는 효과가 있다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 방법을 나타낸 도면이다. 화상통화 중에 사용자가 위치를 이동하여 화상통화를 계속하기 원하는 경우, 포터블 디바이스는 헤드 마운티드 디스플레이에 디스플레이된 증강현실 이미지의 전면을 계속하여 디스플레이할 필요가 있다. 사용자는 화상통화시에 상대방 얼굴의 전면을 보면서 통화하기 원하기 때문이다. 따라서, 화상통화 도중에 사용자의 위치가 변경되는 경우, 포터블 디바이스는 디스플레이된 마커를 사용자가 위치한 방향으로 회전시킬 수 있다.
헤드 마운티드 디스플레이가 이동하여 포터블 디바이스에 의해 인식된 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 포터블 디바이스는 제1 위치와 제2 위치 사이의 각도에 대응하여 마커를 회전시킬 수 있다. 다른 실시예로, 헤드 마운티드 디스플레이가 이동하여 포터블 디바이스에 의해 인식된 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 포터블 디바이스는 제1 위치와 제2 위치 사이의 각도에 대응하여 포터블 디바이스의 기준 형태에 대한 정보를 갱신할 수 있다.
아래에서는 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 위치 변경이 포터블 디바이스와 헤드 마운티드 디스플레이 사이의 상대적인 위치의 변경인지, 헤드 마운티드 디스플레이의 절대적인 위치의 변경인지 판단하는 방법을 설명하도록 한다.
포터블 디바이스는 센서유닛을 이용하여 헤드 마운티드 디스플레이의 위치가 변경되는 것을 디텍팅할 수 있다. 포터블 디바이스는 포터블 디바이스가 회전 또는 이동되어 헤드 마운티드 디스플레이의 위치가 변경된 것이 아니라, 헤드 마운티드 디스플레이가 이동하여 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경되었음을 디텍팅할 수 있다.
예를 들어 포터블 디바이스는 이미지 센서를 이용하여 헤드 마운티드 디스플레이의 위치 변경이 헤드 마운티드 디스플레이의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 제1 위치에서 제2 위치로 변경된 헤드 마운티드 디스플레이의 배경 이미지에 기초하여 헤드 마운티드 디스플레이가 이동한 것인지 포터블 디바이스가 이동한 것인지 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경된 경우, 포터블 디바이스는 헤드 마운티드 디스플레이가 이동하여 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경되지 않은 경우, 포터블 디바이스는 포터블 디바이스가 이동하여 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 포터블 디바이스는 자이로 센서를 이용하여 헤드 마운티드 디스플레이의 위치 변경이 헤드 마운티드 디스플레이의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이가 제1 위치에서 제2 위치로 변경된 때, 포터블 디바이스의 자이로 센서를 이용하여 포터블 디바이스가 회전되거나 이동하는지 여부를 센싱할 수 있다. 포터블 디바이스의 회전 또는 이동이 센싱되지 않으면 포터블 디바이스는 헤드 마운티드 디스플레이의 이동에 의해 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 포터블 디바이스는 헤드 마운티드 디스플레이로부터 헤드 마운티드 디스플레이의 위치 정보를 수신하여 헤드 마운티드 디스플레이의 위치 변경이 포터블 디바이스의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이로부터 GPS(Global Positioning System) 위치 정보를 수신하여 헤드 마운티드 디스플레이의 절대좌표가 변경되었는지 여부를 판단할 수 있다. 헤드 마운티드 디스플레이의 절대좌표가 변경된 경우, 포터블 디바이스는 헤드 마운티드 디스플레이의 이동에 의해 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
도 4의 상단에서 포터블 디바이스(11)는 포터블 디바이스의 좌측에 헤드 마운티드 디스플레이(13)가 위치함을 디텍팅할 수 있다. 포터블 디바이스(11)는 인커밍콜이 수신되면 헤드 마운티드 디스플레이(13)가 디텍팅된 방향을 향하도록 마커(12)를 디스플레이할 수 있다. 또한 포터블 디바이스(11)는 마커를 디스플레이하는 대신 포터블 디바이스의 기준 형태를 결정하고 이를 마커 정보에 포함시켜 헤드 마운티드 디스플레이에 전송할 수 있다. 여기서, 포터블 디바이스의 기준 형태는 포터블 디바이스의 좌측에서 바라본 포터블 디바이스의 형태가 될 수 있다.
포터블 디바이스(11)는 헤드 마운티드 디스플레이에 증강현실 이미지(14)의 전면이 디스플레이되도록, 마커(12)를 회전시켜 디스플레이하거나 마커 정보에 포함된 기준 형태를 설정할 수 있다. 헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)에 디스플레이된 마커(12) 또는 수신된 마커 정보에 근거하여 포터블 디바이스(11)에 인접한 영역에 증강현실 이미지(14)를 디스플레이할 수 있다.
도 4의 하단과 같이 화상통화 중에 헤드 마운티드 디스플레이(13)가 이동하는 경우, 포터블 디바이스(11)는 마커(12)의 디스플레이 방향을 회전시키거나 마커 정보에 포함된 기준 형태에 대한 정보를 갱신할 수 있다. 이를 통해 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)에 디스플레이된 증강현실 이미지(14)의 전면이 헤드 마운티드 디스플레이(13)를 향하도록 증강현실 이미지(14)를 회전시킬 수 있다.
도 4의 하단에서 헤드 마운티드 디스플레이(13)는 도 4의 상단에 비해 반시계 방향으로 45도 만큼 이동되었다. 즉, 헤드 마운티드 디스플레이(13)의 이동에 의해 헤드 마운티드 디스플레이(13)의 절대적인 위치가 포터블 디바이스의 좌측인 제1 위치로부터 포터블 디바이스의 좌상측(left upper) 45도 방향인 제2 위치로 변경되었다. 따라서 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)의 위치 변경을 디텍팅한 경우, 마커(12)의 디스플레이 방향을 변경할 수 있다. 즉, 포터블 디바이스(11)는 마커(12)가 헤드 마운티드 디스플레이(13)의 제2 위치를 향하도록 마커를 회전시켜 디스플레이할 수 있다. 또는 포터블 디바이스는 제2 위치에서 바라본 포터블 디바이스의 형태로 기준 형태를 재설정하고, 헤드 마운티드 디스플레이(13)에 전송된 마커 정보에 포함된 기준 형태에 대한 정보를 재설정된 기준 형태로 갱신할 수 있다.
따라서 헤드 마운티드 디스플레이(13)는 회전된 마커 또는 갱신된 마커 정보에 따라 증강현실 이미지(14)를 반시계 방향으로 45도 만큼 회전시킬 수 있다. 즉, 증강현실 이미지(14)의 전면이 헤드 마운티드 디스플레이(13)를 향하도록 할 수 있다.
이는 헤드 마운티드 디스플레이(13)가 헤드 마운티드 디스플레이(13)의 이동에 의해 반시계 방향으로 45도 만큼 회전된 마커(12)를 디텍팅하였기 때문이다. 또는 이는 헤드 마운티드 디스플레이(13)에 의해 디텍팅된 포터블 디바이스의 형태가 재설정되고 갱신된 기준 형태와 동일하기 때문이다.
헤드 마운티드 디스플레이(13)는 전송받은 기준 형태와 헤드 마운티드 디스플레이(13)에 포함된 카메라 유닛에 의해 디텍팅된 포터블 디바이스의 형태를 비교하여 증강현실 이미지(14)의 회전각도를 결정할 수 있다. 또한 헤드 마운티드 디스플레이(13)는 결정된 회전각도에 따라 디스플레이된 증강현실 이미지(14)를 회전시킬 수 있다. 도 4의 하단에서 디텍팅된 포터블 디바이스의 형태와 기준 형태가 동일하므로, 헤드 마운티드 디스플레이(13)는 회전각도를 0도로 결정하고, 증강현실 이미지(14)를 회전시키지 않고 디스플레이할 수 있다. 즉, 헤드 마운티드 디스플레이(13)에는 증강현실 이미지(14)의 전면이 디스플레이될 수 있다.
상술한 바와 같이, 포터블 디바이스 및 포터블 디바이스와 페어링된 헤드 마운티드 디스플레이는 헤드 마운티드 디스플레이의 위치 변경을 디텍팅하여, 증강현실 이미지의 전면이 헤드 마운티드 디스플레이를 향하도록 회전시킬 수 있는 효과가 있다.
도 5는 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다. 포터블 디바이스는 디스플레이 유닛(101), 센서 유닛(102), 커뮤니케이션 유닛(103) 및 컨트롤러(104)를 포함할 수 있다.
디스플레이 유닛(101)은 증강현실 이미지에 대응하는 마커를 디스플레이할 수 있다. 디스플레이 유닛(101)은 컨트롤러(104)의 제어명령에 따라 마커의 디스플레이 방향을 변경할 수 있다. 즉, 디스플레이 유닛(101)은 제어명령에 따라 헤드 마운티드 디스플레이가 위치한 방향으로 마커를 회전시켜 디스플레이할 수 있다.
디스플레이 유닛(101)은 실시예에 따라 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD), 전자잉크, 및 플렉서블 디스플레이 중 적어도 하나를 포함할 수 있다.
센서 유닛(102)은 헤드 마운티드 디스플레이의 위치를 디텍팅할 수 있다. 센서유닛(102)은 헤드 마운티드 디스플레이의 위치가 변경되는 것을 디텍팅할 수 있다. 센서 유닛(102)은 이미지 센서 또는 지향성 안테나를 이용하여 헤드 마운티드 디스플레이가 포터블 디바이스를 기준으로 어느 방향에 위치했는가를 디텍팅할 수 있다. 센서 유닛(102)은 헤드 마운티드 디스플레이의 위치에 대한 정보를 컨트롤러에 전달할 수 있다.
또한 센서유닛(102)은 포터블 디바이스와 헤드 마운티드 디스플레이 사이의 상대적인 위치가 변경되었는지, 헤드 마운티드 디스플레이의 절대적인 위치가 변경되었는지 디텍팅할 수 있다. 센서 유닛(102)은 이미지 센서 및 자이로 센서를 포함할 수 있다.
예를 들어 센서 유닛(102)은 이미지 센서를 이용하고, 제1 위치에서 제2 위치로 변경된 헤드 마운티드 디스플레이의 배경 이미지에 기초하여, 헤드 마운티드 디스플레이의 상대적인 위치 또는 절대적인 위치가 변경된 것인지 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경된 경우, 센서 유닛은 헤드 마운티드 디스플레이의 절대적인 위치가 변경된 것으로 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경되지 않은 경우, 센서 유닛은 헤드 마운티드 디스플레이의 상대적인 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 센서 유닛(102)은 자이로 센서를 이용하여 헤드 마운티드 디스플레이의 상대적인 위치 또는 절대적인 위치가 변경된 것인지 결정할 수 있다. 센서 유닛(102)은 헤드 마운티드 디스플레이가 제1 위치에서 제2 위치로 변경된 때, 자이로 센서를 이용하여 포터블 디바이스가 회전되거나 이동하는지 여부를 센싱할 수 있다. 포터블 디바이스의 회전 또는 이동이 센싱되면, 센서 유닛은 포터블 디바이스의 회전 또는 이동에 의해 헤드 마운티드 디스플레이의 상대적인 위치가 변경된 것으로 결정할 수 있다. 또는 포터블 디바이스의 회전 또는 이동이 센싱되지 않으면, 센서 유닛은 헤드 마운티드 디스플레이의 절대적인 위치가 변경된 것으로 결정할 수 있다. 센서 유닛(102)은 헤드 마운티드 디스플레이의 위치에 대한 정보, 상대적인 위치 변경 정보 및 절대적인 위치 변경 정보 중 적어도 하나를 컨트롤러에 전달할 수 있다.
커뮤니케이션 유닛(103)은 마커 정보 및 증강현실 이미지에 대한 정보를 헤드 마운티드 디스플레이에 전송할 수 있다. 또한 커뮤니케이션 유닛(103)은 헤드 마운티드 디스플레이로부터 헤드 마운티드 디스플레이의 GPS(Global Positioning System) 정보를 수신할 수 있다. 커뮤니케이션 유닛(103)은 수신된 GPS 정보를 컨트롤러에 전달할 수 있다.
포터블 디바이스의 커뮤니케이션 유닛(103)은 근거리 통신, WiFi 및 블루투스 등을 이용하여 헤드 마운티드 디스플레이와 데이터를 송수신할 수 있다.
컨트롤러(104)는 센서 유닛(102) 또는 커뮤니케이션 유닛(103)으로부터 전달된 정보를 이용하여 디스플레이 유닛(101), 센서유닛(102) 및 커뮤니케이션 유닛(103)을 제어할 수 있다. 컨트롤러(104)는 인커밍콜이 수신되면 센서 유닛(102)을 이용하여 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다. 컨트롤러(104)는 센싱된 제1 위치를 이용하여 마커의 회전각도를 결정할 수 있다. 컨트롤러(104)는 마커에 대응하는 증강현실 이미지의 전면이 제1 위치를 향하도록 마커의 회전각도를 결정할 수 있다. 컨트롤러(104)는 디스플레이 유닛을 이용하여 회전각도만큼 회전된 마커를 디스플레이할 수 있다. 또한 컨트롤러(104)는 커뮤니케이션 유닛(103)을 이용하여 마커 정보 및 증강현실 이미지에 대한 정보 중 적어도 하나를 헤드 마운티드 디스플레이에 전송할 수 있다.
컨트롤러(104)는 커뮤니케이션 유닛(103)을 이용하여 헤드 마운티드 디스플레이의 GPS 정보를 수신할 수 있다. 컨트롤러(104)는 수신된 GPS 정보를 이용하여 헤드 마운티드 디스플레이의 제1 위치를 결정할 수도 있다.
컨트롤러(104)는 센서 유닛을 이용하여 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경되는 것을 디텍팅할 수 있다. 컨트롤러(104)는 제2 위치에 대한 정보에 기초하여 디스플레이된 마커의 디스플레이 방향을 변경하거나 또는 헤드 마운티드 디스플레이에 전송된 마커 정보를 갱신할 수 있다. 컨트롤러(104)는 실시예에 따라 헤드 마운티드 디스플레이의 절대적인 위치가 변경되었는지 또는 상대적인 위치가 변경되었는지를 결정하고 결과에 따라 디스플레이된 마커의 방향을 유지하거나 전송된 마커 정보를 갱신하지 않고 유지할 수 있다.
도 5는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 포터블 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 포터블 디바이스의 엘러먼트들은 포터블 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이는 카메라 유닛, 디스플레이 유닛, 커뮤니케이션 유닛 및 컨트롤러를 포함할 수 있다. 헤드 마운티드 디스플레이의 카메라 유닛은 포터블 디바이스에 디스플레이된 마커를 디텍팅할 수 있다. 또한 카메라 유닛은 포터블 디바이스로부터 전송된 마커 정보에 포함된 기준 형태에 대한 정보에 기초하여 포터블 디바이스의 형태를 디텍팅할 수 있다.
헤드 마운티드 디스플레이의 디스플레이 유닛은 마커 또는 마커 정보에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 디스플레이 유닛은 실시예에 따라 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD) 또는 프로젝터를 포함할 수 있다.
헤드 마운티드 디스플레이의 커뮤니케이션 유닛은 포터블 디바이스로부터 전송된 마커 정보 및 증강현실 이미지에 대한 정보 중 적어도 하나를 수신할 수 있다. 커뮤니케이션 유닛은 수신된 마커 정보 및 증강현실 이미지에 대한 정보를 컨트롤러에 전달할 수 있다. 또한 커뮤니케이션 유닛은 헤드 마운티드 디스플레이의 GPS 정보를 포터블 디바이스에 전송할 수 있다.
헤드 마운티드 디스플레이의 컨트롤러는 디텍팅된 마커 또는 포터블 디바이스의 형태에 대응하여 증강현실 이미지를 디스플레이 유닛에 디스플레이할 수 있다. 헤드 마운티드 디스플레이는 화상통화가 시작되면 발신자의 얼굴을 증강현실 이미지로써 디스플레이할 수 있으며, 화상통화가 종료되기 전까지 포터블 디바이스의 마커 또는 마커 정보에 기초하여 증강현실 이미지를 유지할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다. 포터블 디바이스는 헤드 마운티드 디스플레이와 페어링할 수 있다(S10). 포터블 디바이스는 근거리 통신, WiFi 또는 블루투스를 이용하여 헤드 마운티드 디스플레이와 페어링할 수 있다. 페어링된 포터블 디바이스와 헤드 마운티드 디스플레이는 상호 간에 데이터를 송수신할 수 있다. 예를 들어, 포터블 디바이스와 헤드 마운티드 디스플레이는 영상 데이터, 음성 데이터 및 GPS 데이터 등을 송수신할 수 있다.
포터블 디바이스는 인커밍콜이 수신되면 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다(S20). 도 1 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 센서 유닛을 이용하거나 GPS 정보를 이용하여 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다. 제1 위치는 포터블 디바이스를 기준으로 헤드 마운티드 디스플레이가 어느 방향에 위치했는지를 의미할 수 있다. 포터블 디바이스는 제1 위치가 디텍팅되기 전까지 마커를 디스플레이하지 않을 수 있다.
포터블 디바이스는 인커밍콜에 대응하는 마커 정보를 제1 위치에 따라 설정할 수 있다(S30). 마커 정보에 대한 설정은 인커밍콜에 대한 응답이 발생하기 전에 수행될 수 있다. 도 1 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 제1 위치에 따라 마커 정보를 설정할 수 있다. 마커 정보는 포터블 디바이스의 디스플레이 유닛에 디스플레이되는 마커에 대한 정보를 포함할 수 있다. 포터블 디바이스는 디텍팅된 제1 위치에 따라 마커의 디스플레이 방향을 설정할 수 있다. 인커밍콜에 대한 응답이 발생되면, 포터블 디바이스는 설정된 마커 정보에 따라 마커를 회전시켜 디스플레이할 수 있다. 포터블 디바이스는 마커가 제1 위치를 향하게 디스플레이할 수 있다. 이에 따라, 마커에 대응하여 헤드 마운티드 디스플레이에 디스플레이되는 증강현실 이미지는 전면이 제1 위치를 향할 수 있다.
또한 다른 실시예에 따라 마커 정보를 포터블 디바이스의 기준 형태에 대한 정보를 포함할 수 있다. 포터블 디바이스는 디텍팅된 제1 위치에 따라 기준 형태에 대한 정보를 설정할 수 있다. 포터블 디바이스는 제1 위치에서 바라본 포터블 디바이스의 형태를 기준 형태로 설정할 수 있다. 이에 따라, 헤드 마운티드 디스플레이가 제1 위치에서 포터블 디바이스를 디텍팅하는 경우, 기준 형태와 동일한 형태의 포터블 디바이스를 디텍팅할 수 있다. 이에 따라, 포터블 디바이스의 기준 형태에 대응하여 헤드 마운티드 디스플레이에 디스플레이되는 증강현실 이미지는 전면이 제1 위치를 향할 수 있다. 마커 정보가 포터블 디바이스의 기준 형태에 대한 정보를 포함하는 경우, 포터블 디바이스는 별도의 마커를 디스플레이하지 않을 수 있으며, 헤드 마운티드 디스플레이는 포터블 디바이스의 형태를 마커로써 디텍팅할 수 있다.
포터블 디바이스는 마커 정보에 대응하는 증강현실 이미지를 헤드 마운티드 디스플레이에 송신할 수 있다(S40). 헤드 마운티드 디스플레이는 포터블 디바이스로부터 마커 정보에 대응하는 증강현실 이미지를 수신할 수 있다. 포터블 디바이스는 인커밍콜의 발신자의 얼굴 이미지를 증강현실 이미지로써 헤드 마운티드 디스플레이에 송신할 수 있다. 헤드 마운티드 디스플레이는 송신된 증강현실 이미지를 수신하여 발신자의 얼굴 이미지를 증강현실 이미지로써 디스플레이할 수 있다. S30에서 설명한 바와 같이 포터블 디바이스는 헤드 마운티드 디스플레이의 제1 위치에 따라 적응적으로 마커 정보를 설정할 수 있으며, 따라서 헤드 마운티드 디스플레이를 착용한 사용자는 제1 위치에서 증강현실 이미지의 전면을 응시할 수 있다.
도 7은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다. 포터블 디바이스는 헤드 마운티드 디스플레이와 페어링할 수 있다(S110). 포터블 디바이스는 근거리 통신, WiFi 또는 블루투스를 이용하여 헤드 마운티드 디스플레이와 페어링할 수 있다. 페어링된 포터블 디바이스와 헤드 마운티드 디스플레이는 상호 간에 데이터를 송수신할 수 있다. 예를 들어, 포터블 디바이스와 헤드 마운티드 디스플레이는 영상 데이터, 음성 데이터 및 GPS 데이터 등을 송수신할 수 있다.
포터블 디바이스는 인커밍콜이 수신되면 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다(S120). 도 1 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 센서 유닛을 이용하거나 GPS 정보를 이용하여 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다. 제1 위치는 포터블 디바이스를 기준으로 헤드 마운티드 디스플레이가 어느 방향에 위치했는지를 의미할 수 있다. 포터블 디바이스는 제1 위치가 디텍팅되기 전까지 마커를 디스플레이하지 않을 수 있다.
포터블 디바이스는 인커밍콜에 대응하는 마커 정보를 제1 위치에 따라 설정할 수 있다(S130). 도 1 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 제1 위치에 따라 마커 정보를 설정할 수 있다. 마커 정보는 포터블 디바이스의 디스플레이 유닛에 디스플레이되는 마커에 대한 정보를 포함할 수 있다. 포터블 디바이스는 디텍팅된 제1 위치에 따라 마커의 디스플레이 방향을 설정할 수 있다. 포터블 디바이스는 설정된 마커 정보에 따라 마커를 회전시켜 디스플레이할 수 있다. 포터블 디바이스는 마커가 제1 위치를 향하게 디스플레이할 수 있다. 이에 따라, 마커에 대응하여 헤드 마운티드 디스플레이에 디스플레이되는 증강현실 이미지는 전면이 제1 위치를 향할 수 있다.
또한 다른 실시예에 따라 마커 정보를 포터블 디바이스의 기준 형태에 대한 정보를 포함할 수 있다. 포터블 디바이스는 디텍팅된 제1 위치에 따라 기준 형태에 대한 정보를 설정할 수 있다. 포터블 디바이스는 제1 위치에서 바라본 포터블 디바이스의 형태를 기준 형태로 설정할 수 있다. 이에 따라, 헤드 마운티드 디스플레이가 제1 위치에서 포터블 디바이스를 디텍팅하는 경우, 기준 형태와 동일한 형태의 포터블 디바이스를 디텍팅할 수 있다. 이에 따라, 포터블 디바이스의 기준 형태에 대응하여 헤드 마운티드 디스플레이에 디스플레이되는 증강현실 이미지는 전면이 제1 위치를 향할 수 있다. 마커 정보가 포터블 디바이스의 기준 형태에 대한 정보를 포함하는 경우, 포터블 디바이스는 별도의 마커를 디스플레이하지 않을 수 있으며, 헤드 마운티드 디스플레이는 포터블 디바이스의 형태를 마커로써 디텍팅할 수 있다.
포터블 디바이스는 마커 정보에 대응하는 증강현실 이미지를 헤드 마운티드 디스플레이에 송신할 수 있다(S140). 헤드 마운티드 디스플레이는 포터블 디바이스로부터 마커 정보에 대응하는 증강현실 이미지를 수신할 수 있다. 포터블 디바이스는 인커밍콜의 발신자의 얼굴 이미지를 증강현실 이미지로써 헤드 마운티드 디스플레이에 송신할 수 있다. 헤드 마운티드 디스플레이는 송신된 증강현실 이미지를 수신하여 발신자의 얼굴 이미지를 증강현실 이미지로써 디스플레이할 수 있다. S30에서 설명한 바와 같이 포터블 디바이스는 헤드 마운티드 디스플레이의 제1 위치에 따라 적응적으로 마커 정보를 설정할 수 있으며, 따라서 헤드 마운티드 디스플레이를 착용한 사용자는 제1 위치에서 증강현실 이미지의 전면을 응시할 수 있다.
포터블 디바이스는 사용자의 위치가 변경되는 것을 디텍팅할 수 있다(S150). 도 3 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 이미지 센서를 이용하거나 헤드 마운티드 디스플레이의 GPS 정보를 이용하여 헤드 마운티드 디스플레이의 위치 이동을 디텍팅할 수 있다.
포터블 디바이스는 헤드 마운티드 디스플레이의 제2 위치를 디텍팅할 수 있다(160). 도 3 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 이미지 센서를 이용하여 제2 위치를 디텍팅할 수 있다. 또한 포터블 디바이스는 헤드 마운티드 디스플레이로부터 제2 위치에 대한 GPS 정보를 수신하여 제2 위치를 디텍팅할 수도 있다. 또한 포터블 디바이스는 이미지 센서 또는 자이로 센서를 이용하여 헤드 마운티드 디스플레이의 절대적인 위치가 변경되었는지 상대적인 위치가 변경되었는지 디텍팅할 수 있다. 실시예에 따라서는 헤드 마운티드 디스플레이의 절대적인 위치가 변경된 경우에 한하여, 포터블 디바이스는 아래에서 설명할 동작을 수행할 수 있다.
포터블 디바이스는 마커 정보를 제2 위치에 따라 변경할 수 있다(S170). 도 4에서 설명한 바와 같이, 포터블 디바이스는 제2 위치에 따라 마커 정보에 포함된 마커의 디스플레이 방향을 변경할 수 있다. 포터블 디바이스는 마커가 제2 위치를 향하도록 마커의 디스플레이 방향을 재설정할 수 있다. 또는 포터블 디바이스는 제2 위치에 따라 마커 정보에 포함된 포터블 디바이스의 기준 형태를 재설정할 수 있다. 포터블 디바이스는 제2 위치에서 바라본 포터블 디바이스의 형태를 기준 형태로 재설정할 수 있다. 따라서 제2 위치에 위치한 헤드 마운티드 디스플레이가 카메라 유닛을 이용하여 포터블 디바이스를 디텍팅하는 경우, 헤드 마운티드 디스플레이는 기준 형태의 포터블 디바이스를 디텍팅할 수 있다.
포터블 디바이스는 헤드 마운티드 디스플레이에 변경된 마커 정보를 송신할 수 있다(S180). 도 4에서 설명한 바와 같이, 포터블 디바이스는 변경되거나 재설정된 마커 정보를 헤드 마운티드 디스플레이에 전송하여 마커 정보를 갱신할 수 있다. 이 동작은 마커 정보에 포함된 포터블 디바이스의 기준 형태에 대한 정보가 변경된 경우에 한해 수행할 수 있다. 마커 정보에 포함된 마커의 디스플레이 방향이 변경되거나 재설정된 경우에는 포터블 디바이스가 새로운 디스플레이 방향에 따라 마커를 디스플레이하고 헤드 마운티드 디스플레이의 카메라 유닛이 이를 디텍팅할 수 있으므로, 별도의 마커 정보를 헤드 마운티드 디스플레이에 송신할 필요가 없을 수 있다.
헤드 마운티드 디스플레이는 갱신된 마커 정보에 포함된 포터블 디바이스의 기준 형태에 기초하여 증강현실 이미지를 디스플레이할 수 있다. 헤드 마운티드 디스플레이는 제2 위치에서 디텍팅한 포터블 디바이스의 형태가 갱신된 기준 형태와 동일하므로, 증강현실 이미지의 전면이 헤드 마운티드 디스플레이를 향하는 증강현실 이미지를 디스플레이할 수 있다.
상술한 바와 같이 본 명세서의 포터블 디바이스는 화상통화가 시작되기 전에 헤드 마운티드 디스플레이의 위치를 디텍팅하여, 화상통화가 시작된 때 증강현실 이미지의 전면이 헤드 마운티드 디스플레이를 향해 디스플레이되도록 마커 정보를 설정할 수 있다. 또한 본 명세서의 헤드 마운티드 디스플레이는 포터블 디바이스의 마커 또는 마커 정보에 기초하여 사용자에게 증강현실 이미지의 전면을 디스플레이할 수 있다.
11: 포터블 디바이스 12: 마커
13: 헤드 마운티드 디스플레이 14: 증강현실 이미지

Claims (20)

  1. 포터블 디바이스에 있어서,
    헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하여 인커밍콜을 수신하고, 정보를 송신하는 커뮤니케이션 유닛;
    상기 HMD의 방향을 디텍팅하는 센서 유닛;
    디스플레이 유닛;
    상기 커뮤니케이션 유닛, 상기 센서 유닛 및 상기 디스플레이 유닛을 제어하는 컨트롤러를 포함하는 포터블 디바이스로써,
    상기 컨트롤러는
    상기 포터블 디바이스와 페어링된 상기 HMD의 제 1 방향에 따라서, 상기 HMD에 디스플레이되는 증강현실 이미지의 위치와 방향을 결정하는 마커 이미지를 디스플레이하고,
    발신자 이미지를 상기 HMD로 송신하고,
    상기 정보는 인커밍콜의 발신자로부터 수신된 발신자의 이미지를 포함하고,
    상기 증강현실 이미지는 상기 포터블 디바이스로부터 수신된 상기 발신자 이미지에 기초하여 상기 HMD에 의하여 디스플레이되는,
    포터블 디바이스.
  2. 제 1 항에 있어서,
    상기 컨트롤러는 상기 마커 이미지를 상기 HMD에 더 송신하는 포터블 디바이스.
  3. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경되면 상기 제 2 방향을 디텍팅하고,
    상기 마커 이미지를 상기 HMD의 상기 제 2 방향에 따라 변경하는,
    포터블 디바이스.
  4. 제 3 항에 있어서,
    상기 컨트롤러는
    상기 증강현실 이미지의 전면이 상기 제 2 방향을 향하도록 상기 마커 이미지를 회전하는,
    포터블 디바이스.
  5. 제 1 항에 있어서,
    상기 증강현실 이미지는 상기 인커밍콜의 발신자의 얼굴에 대응하는,
    포터블 디바이스.
  6. 제 1 항에 있어서,
    상기 페어링된 HMD는 상기 마커 이미지에 따라 상기 증강현실 이미지를 디스플레이하는,
    포터블 디바이스.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 포터블 디바이스가 회전 또는 이동되어 상기 포터블 디바이스에 의해 인식된 상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경된 경우, 상기 컨트롤러는 상기 디스플레이된 마커 이미지를 변경하지 않고 유지하는,
    포터블 디바이스.
  9. 제 8 항에 있어서,
    상기 HMD는 상기 포터블 디바이스의 회전 또는 이동에 의해 상기 마커가 회전되었음을 디텍팅하고,
    상기 이동된 또는 회전된 포터블 디바이스의 상기 마커 이미지에 따라 상기 증강현실 이미지를 회전시키는,
    포터블 디바이스.
  10. 제 1 항에 있어서,
    상기 HMD가 이동되어 상기 포터블 디바이스에 의해 인식된 상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경된 경우, 상기 컨트롤러는 상기 제 1 방향과 상기 제 2 방향 사이의 각도에 대응하여 상기 마커 이미지를 회전시켜 디스플레이하는,
    포터블 디바이스.
  11. 제 1 항에 있어서, 상기 HMD는 상기 포터블 디바이스와 상기 HMD 사이의 각도에 따라 상기 HMD가 인식하는 상기 포터블 디바이스의 형태를 기초로 상기 증강 현실의 이미지의 방향을 결정하는,
    포터블 디바이스.
  12. 제 11 항에 있어서,
    상기 HMD는 상기 포터블 디바이스의 형태를 상기 증강현실 이미지에 대응하는 마커 이미지로 인식하는,
    포터블 디바이스.
  13. 제 11 항에 있어서,
    상기 컨트롤러는 상기 제 1 방향에서 상기 HMD가 인식하는 상기 포터블 디바이스의 형태를 기준 형태로 설정하고,
    상기 기준 형태를 상기 포터블 디바이스로 전송하는,
    포터블 디바이스.
  14. 제 13 항에 있어서,
    상기 포터블 디바이스가 회전 또는 이동하여 상기 포터블 디바이스에 의해 인식된 상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경된 경우, 상기 컨트롤러는 상기 기준 형태를 유지하는,
    포터블 디바이스.
  15. 제 14 항에 있어서,
    상기 HMD는 상기 기준 형태를 기초로 상기 포터블 디바이스와 상기 HMD 사이의 각도만큼 상기 증강현실 이미지를 회전시켜 디스플레이하는,
    포터블 디바이스.
  16. 제 13 항에 있어서,
    상기 HMD가 이동하여 상기 포터블 디바이스에 의해 인식된 상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경된 경우, 상기 컨트롤러는 상기 제 1 방향과 상기 제 2 방향 사이의 각도에 대응하여 상기 기준 형태를 변경하는,
    포터블 디바이스.
  17. 제 16 항에 있어서,
    상기 기준 형태는 상기 제 1 방향에서 상기 HMD의 카메라가 인식하는 상기 포터블 디바이스의 형태로부터 상기 제 2 방향에서 상기 HMD의 상기 카메라가 인식하는 상기 포터블 디바이스의 형태로 변경되는,
    포터블 디바이스.
  18. 삭제
  19. 제 1 항에 있어서,
    상기 포터블 디바이스는 스마트 폰, 스마트 패드, 뮤직 플레이어, 노트북, 스마트 테이블, 모니터, 텔레비전 또는 태블릿 컴퓨터인 디스플레이 디바이스.
  20. 포터블 디바이스를 제어하는 방법에 있어서,
    헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하는 단계;
    인커밍콜이 수신되면 상기 페어링된 HMD의 제 1 방향을 디텍팅하는 단계;
    상기 포터블 디바이스와 페어링된 상기 HMD의 제 1 방향에 따라서, 상기 HMD에 디스플레이되는 증강 현실 이미지의 위치와 방향을 결정하는 마커 이미지를 디스플레이하는 단계; 및
    상기 페어링된 HMD로 상기 인커밍콜의 발신자로부터 수신된 발신자 이미지를 상기 페어링된 HMD로 전송하는 단계를 포함하되,
    상기 증강 현실 이미지는 상기 포터블 디바이스로부터 수신된 상기 발신자 이미지에 기초하여 상기 HMD에 의하여 디스플레이되는,
    포터블 디바이스 제어 방법.
KR1020130102325A 2013-08-28 2013-08-28 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 KR102138511B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130102325A KR102138511B1 (ko) 2013-08-28 2013-08-28 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
US14/080,316 US8866849B1 (en) 2013-08-28 2013-11-14 Portable device supporting videotelephony of a head mounted display and method of controlling therefor
CN201380079148.2A CN105493059B (zh) 2013-08-28 2013-11-19 支持头戴式显示器的视频电话的便携式装置及其控制方法
PCT/KR2013/010494 WO2015030304A1 (en) 2013-08-28 2013-11-19 Portable device supporting videotelephony of a head mounted display and method of controlling therefor
EP13892413.9A EP3039555B1 (en) 2013-08-28 2013-11-19 Portable device supporting videotelephony of a head mounted display and method of controlling therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130102325A KR102138511B1 (ko) 2013-08-28 2013-08-28 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150025116A KR20150025116A (ko) 2015-03-10
KR102138511B1 true KR102138511B1 (ko) 2020-07-28

Family

ID=51702321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130102325A KR102138511B1 (ko) 2013-08-28 2013-08-28 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법

Country Status (5)

Country Link
US (1) US8866849B1 (ko)
EP (1) EP3039555B1 (ko)
KR (1) KR102138511B1 (ko)
CN (1) CN105493059B (ko)
WO (1) WO2015030304A1 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
JP5983499B2 (ja) * 2013-03-29 2016-08-31 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5929933B2 (ja) * 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP6379572B2 (ja) * 2014-03-27 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
WO2017048286A1 (en) * 2015-09-18 2017-03-23 Hewlett-Packard Development Company, L.P. Displaying augmented images via paired devices
KR102413074B1 (ko) 2015-09-21 2022-06-24 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
KR101912881B1 (ko) 2016-03-18 2018-10-30 국민대학교 산학협력단 신경모방 멤리스터 크로스바 회로
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
US11182930B2 (en) * 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
CN107462989A (zh) * 2016-06-06 2017-12-12 华硕电脑股份有限公司 影像稳定方法与电子装置
CN106850967A (zh) * 2016-12-29 2017-06-13 深圳市宇恒互动科技开发有限公司 一种自适应屏显方法、系统及头戴设备
KR20180083144A (ko) 2017-01-12 2018-07-20 삼성전자주식회사 마커를 검출하기 위한 방법 및 그 전자 장치
US11374929B2 (en) * 2017-03-21 2022-06-28 Global E-Dentity, Inc. Biometric authentication for an augmented reality or a virtual reality device
US10135822B2 (en) 2017-03-21 2018-11-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
US10983663B2 (en) 2017-09-29 2021-04-20 Apple Inc. Displaying applications
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US10699087B1 (en) * 2019-07-10 2020-06-30 Zebra Technologies Corporation Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display
EP3928192B1 (en) 2019-09-26 2023-10-18 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
CN116360601A (zh) 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US11269183B2 (en) 2019-11-14 2022-03-08 Microsoft Technology Licensing, Llc Display information on a head-mountable apparatus corresponding to data of a computing device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120151416A1 (en) * 2010-12-10 2012-06-14 International Business Machines Corporation Controlling three-dimensional views of selected portions of content
US20120249741A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Anchoring virtual images to real world surfaces in augmented reality systems
US20130083009A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Exercising applications for personal audio/visual system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69434843T2 (de) * 1993-08-12 2007-02-15 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungssystem
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US20060284791A1 (en) 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8957919B2 (en) * 2010-04-05 2015-02-17 Lg Electronics Inc. Mobile terminal and method for displaying image of mobile terminal
US20120032877A1 (en) * 2010-08-09 2012-02-09 XMG Studio Motion Driven Gestures For Customization In Augmented Reality Applications
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
KR101758163B1 (ko) 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
JPWO2012124250A1 (ja) * 2011-03-15 2014-07-17 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8749573B2 (en) * 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8190749B1 (en) 2011-07-12 2012-05-29 Google Inc. Systems and methods for accessing an interaction state between multiple devices
CN102891915A (zh) * 2011-07-18 2013-01-23 上海盛畅网络科技有限公司 移动终端的虚实互动娱乐系统和方法
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8644467B2 (en) 2011-09-07 2014-02-04 Cisco Technology, Inc. Video conferencing system, method, and computer program storage device
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120151416A1 (en) * 2010-12-10 2012-06-14 International Business Machines Corporation Controlling three-dimensional views of selected portions of content
US20120249741A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Anchoring virtual images to real world surfaces in augmented reality systems
US20130083009A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Exercising applications for personal audio/visual system

Also Published As

Publication number Publication date
WO2015030304A1 (en) 2015-03-05
EP3039555A4 (en) 2017-05-03
KR20150025116A (ko) 2015-03-10
EP3039555B1 (en) 2020-10-07
US8866849B1 (en) 2014-10-21
CN105493059B (zh) 2018-08-07
CN105493059A (zh) 2016-04-13
EP3039555A1 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
KR102138511B1 (ko) 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
US11151773B2 (en) Method and apparatus for adjusting viewing angle in virtual environment, and readable storage medium
US10558353B2 (en) System and method for 360-degree video navigation
CN108700941B (zh) 用于在虚拟现实环境中对准组件的方法和设备
JP6421670B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
US9852546B2 (en) Method and system for receiving gesture input via virtual control objects
US9223402B2 (en) Head mounted display and method of controlling digital device using the same
KR102161510B1 (ko) 포터블 디바이스 및 그 제어 방법
JP5983499B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP2021511602A (ja) マークポイント位置表示方法、電子機器及びコンピュータ読取可能な記憶媒体
KR20150025115A (ko) 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US20180054611A1 (en) Image display apparatus and operating method thereof
US20140146075A1 (en) Electronic Apparatus and Display Control Method
US9914056B2 (en) Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
KR20150007129A (ko) 복수의 유저 인터페이스 포맷을 포함하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
CN108027700A (zh) 信息处理装置
KR101690311B1 (ko) 증강현실객체 배치, 공유 및 전시 시스템 및 배치, 공유 및 전시 방법
CN113728293A (zh) 用于基于位所的设备控制的系统和界面
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
US20170193633A1 (en) Information processing device, information processing method, and program
US11295536B2 (en) Information processing apparatus and non-transitory computer readable medium
US20200279437A1 (en) Display device, display method, program, and non-temporary computer-readable information storage medium
TWI811141B (zh) 遠程控制系統、遠程控制器以及遠程控制方法
US20180329664A1 (en) Methods, systems, and computer readable media for controlling virtual image scenarios in plurality display devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant