KR20140086268A - 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법 - Google Patents

헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법 Download PDF

Info

Publication number
KR20140086268A
KR20140086268A KR1020120156555A KR20120156555A KR20140086268A KR 20140086268 A KR20140086268 A KR 20140086268A KR 1020120156555 A KR1020120156555 A KR 1020120156555A KR 20120156555 A KR20120156555 A KR 20120156555A KR 20140086268 A KR20140086268 A KR 20140086268A
Authority
KR
South Korea
Prior art keywords
image
hmd
video call
user
partner
Prior art date
Application number
KR1020120156555A
Other languages
English (en)
Other versions
KR102004265B1 (ko
Inventor
조은형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120156555A priority Critical patent/KR102004265B1/ko
Priority to US13/772,597 priority patent/US9225934B2/en
Priority to PCT/KR2013/001770 priority patent/WO2014104473A1/en
Priority to EP13869770.1A priority patent/EP2939062A4/en
Publication of KR20140086268A publication Critical patent/KR20140086268A/ko
Application granted granted Critical
Publication of KR102004265B1 publication Critical patent/KR102004265B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

본 명세서는 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법에 관한 것으로서, 보다 상세하게는 헤드 마운트 디스플레이를 착용한 유저의 이미지를 디텍트하여, 헤드 마운트 디스플레이를 이용하여 영상 통화하는 방법에 관한 것이다.
이를 위해 개시된 실시예는, 헤드 마운트 디스플레이(HMD)에 있어서, 이미지를 출력하는 디스플레이 유닛; 영상 통화 이미지 데이터를 송신 및 수신하는 커뮤니케이션 유닛; 상기 HMD의 앞 방향의 이미지를 촬영하는 카메라 유닛; 및 상기 디스플레이 유닛, 상기 커뮤니케이션 유닛 및 상기 카메라 유닛을 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 촬영한 이미지로부터 상기 HMD를 착용한 유저의 이미지를 디텍트하되, 상기 유저의 이미지는 상기 HMD의 카메라 영역을 포함함, 상기 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지를 인식하고, 상기 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공하되, 상기 영상 통화 인터페이스는 상기 파트너의 이미지를 상기 HMD의 카메라 영역의 위치에 대응하도록, 상기 파트너의 이미지를 디스플레이하고, 상기 촬영한 이미지로부터 유저의 영상 통화 이미지를 전송하는, 헤드 마운트 디스플레이를 제공한다.

Description

헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법{HEAD MOUNTED DISPLAY AND THE METHOD OF VIDEO COMMUNICATION}
본 명세서는 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법에 관한 것으로서, 보다 상세하게는 헤드 마운트 디스플레이를 착용한 유저의 이미지를 디텍트하여, 헤드 마운트 디스플레이를 이용하여 영상 통화하는 방법에 관한 것이다.
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.
HMD는 다양한 외부 디지털 디바이스와 연계하여 사용 가능하다. HMD는 외부 디지털 디바이스와 통신을 수행하여 해당 외부 디지털 디바이스의 컨텐츠를 출력할 수 있으며, 상기 외부 디지털 디바이스를 위한 유저 입력을 수신하거나 해당 외부 디지털 디바이스와 연동한 작업의 수행도 가능하다.
일 실시예에 따르면, 본 명세서는 HMD를 이용하여 영상 통화를 하기 위한 목적을 가지고 있다. 이때, HMD를 착용한 유저의 이미지를 파트너에게 제공하여 영상 통화를 하기 위한 목적을 가지고 있다.
또한, 본 명세서는 HMD의 카메라 영역 및 영상 통화 파트너의 이미지를 대응하도록 영상 통화 인터페이스에 파트너의 이미지를 디스플레이하여, 유저와 영상 통화 파트너 간의 시선 맞춤을 유도하기 위한 목적을 가지고 있다.
또한, 일 실시예에 따르면, 본 명세서는 HMD에 장착된 카메라에 유저의 이미지가 디텍트되지 않는 경우, 대체 이미지를 영상 통화 파트너에 제공하여, 유저와 영상 통화 파트너 간의 영상 통화를 수행하기 위한 목적을 가지고 있다.
상기와 같은 문제를 해결하기 위해, 일 실시예에 따르면, 헤드 마운트 디스플레이(HMD)에 있어서, 이미지를 출력하는 디스플레이 유닛; 영상 통화 이미지 데이터를 송신 및 수신하는 커뮤니케이션 유닛; 상기 HMD의 앞 방향의 이미지를 촬영하는 카메라 유닛; 및 상기 디스플레이 유닛, 상기 커뮤니케이션 유닛 및 상기 카메라 유닛을 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 촬영한 이미지로부터 상기 HMD를 착용한 유저의 이미지를 디텍트하되, 상기 유저의 이미지는 상기 HMD의 카메라 영역을 포함함, 상기 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지를 인식하고, 상기 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공하되, 상기 영상 통화 인터페이스는 상기 파트너의 이미지를 상기 HMD의 카메라 영역의 위치에 대응하도록, 상기 파트너의 이미지를 디스플레이하고, 상기 촬영한 이미지로부터 유저의 영상 통화 이미지를 전송하는, 헤드 마운트 디스플레이를 제공한다.
또한, 일 실시예에 따르면, 헤드 마운트 디스플레이(HMD)를 이용한 영상 통화 방법에 있어서, 촬영한 이미지로부터 상기 HMD를 착용한 유저의 이미지를 디텍트하는 단계로서, 상기 유저의 이미지는 상기 HMD의 카메라 영역을 포함함; 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지를 인식하는 단계; 상기 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공하는 단계로서, 상기 영상 통화 인터페이스는 상기 파트너의 이미지를 상기 HMD의 카메라 영역의 위치에 대응하도록, 상기 파트너의 이미지를 디스플레이함; 및 상기 촬영한 이미지로부터 유저의 영상 통화 이미지를 전송하는 단계를 포함하는, 영상 통화 방법을 제공한다.
일 실시예에 의하면, 유저는 HMD를 착용한 상태에서 영상 통화를 수행할 수 있어, 적어도 한 손이 디바이스를 들고 있어야 하는 불편함 없이 편리하게 영상 통화를 할 수 있다.
또한, 일 실시예에 의하면, HMD는 HMD를 착용한 유저와 영상 통화 파트너의 이미지를 대응시켜, 영상 통화 인터페이스에 파트너 이미지를 디스플레이함으로써, 보다 자연스러운 영상 통화가 가능할 수 있다.
또한, 일 실시예에 의하면, HMD를 착용한 유저와 영상 통화 파트너의 시선 맞춤이 불가능한 경우, HMD는 유저가 이동해야 할 방향을 제시하여, 유저와 영상 통화 파트너 간의 시선 맞춤을 유도할 수 있다.
또한, 일 실시예에 따르면, HMD를 착용한 유저의 이미지가 디텍트되지 않는 경우, 영상 통화 파트너에 대체 이미지를 전송하여, 유저와 영상 통화 파트너 간의 영상 통화를 가능하게 할 수 있다.
또한, 일 실시예에 따르면, 영상 통화 인터페이스에서의 파트너의 이미지 크기에 기초하여, 영상 통화 파트너의 시선 맞춤의 대상이 되는 영역을 설정하여, 유저와 영상 통화 파트너 간의 자연스러운 영상 통화를 유도할 수 있다.
보다 구체적인 효과에 대해서는, 이하 목차에서 상세히 후술하도록 하겠다.
도 1은 헤드 마운트 디스플레이의 기능 블록도를 나타내는 도면이다.
도 2는 헤드 마운트 디스플레이를 나타내는 도면이다.
도 3은 헤드 마운트 디스플레이를 이용하여 유저의 이미지를 디텍트하는 제 1 실시예를 나타내는 도면이다.
도 4는 도 3에서 디텍트한 유저의 이미지를 기초로, 헤드 마운트 디스플레이를 이용한 영상 통화의 제 1 실시예를 나타내는 도면이다.
도 5는 헤드 마운트 디스플레이를 이용하여 유저의 이미지를 디텍트하는 제 2 실시예를 나타내는 도면이다.
도 6은 도 5에서 디텍트한 유저의 이미지를 기초로, 헤드 마운트 디스플레이를 이용한 영상 통화의 제 2 실시예를 나타내는 도면이다.
도 7은 도 5에서 디텍트한 유저의 이미지를 기초로, 헤드 마운트 디스플레이를 이용한 영상 통화의 제 3 실시예를 나타내는 도면이다.
도 8은 헤드 마운트 디스플레이를 이용하여 유저의 이미지를 디텍트하는 제 3 실시예를 나타내는 도면이다.
도 9는 도 8에서 촬영한 이미지를 기초로, 헤드 마운트 디스플레이를 이용한 영상 통화의 제 4 실시예를 나타내는 도면이다.
도 10은 영상 통화 이미지를 선택하는 인터페이스의 일 실시예를 나타내는 도면이다.
도 11은 적어도 일부의 유저의 이미지를 디텍트하지 못한 경우의 노티스의 일 실시예를 나타내는 도면이다.
도 12는 영상 통화 파트너의 이미지를 디텍트하는 일 실시예를 나타내는 도면이다.
도 13은 전송되는 유저의 영상 통화 이미지의 일 실시예를 나타내는 도면이다.
도 14는 헤드 마운트 디스플레이를 이용한 영상 통화의 일 실시예를 나타내는 도면이다.
도 15는 헤드 마운트 디스플레이를 이용한 영상 통화 방법의 순서도를 나타내는 도면이다.
도 16은 헤드 마운트 디스플레이를 이용한 영상 통화 방법의 순서도를 나타내는 도면이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당하는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 헤드 마운트 디스플레이의 기능 블록도를 나타내는 도면이다.
헤드 마운트 디스플레이(이하, HMD)(100)는 디스플레이 유닛(110), 커뮤니케이션 유닛(120), 카메라 유닛(130), 프로세서(140) 및 스토리지 유닛(150)을 포함할 수 있다.
먼저, 디스플레이 유닛(110)은 HMD(100)의 프로세서(140)의 제어 명령에 기초하여 이미지를 디스플레이할 수 있다. 예를 들어, 디스플레이 유닛(110)은 디스플레이 스크린을 구비하여, 상기 디스플레이 스크린에 이미지가 맺히도록 할 수 있다. 또한, 예를 들어, 디스플레이 유닛(110)은 별도의 디스플레이 스크린을 구비하지 않고, HMD(100)의 앞 방향의 특정 위치에 이미지를 투영할 수 있다. 이와 관련하여, HMD(100)의 앞 방향은 도 2에서 설명하도록 한다.
일 예로서, 디스플레이 유닛(110)은 영상 통화 인터페이스를 디스플레이할 수 있다. 여기에서, 디스플레이 유닛(110)은 커뮤니케이션 유닛(120)을 통해 외부 디바이스로부터 수신한 파트너의 이미지를 영상 통화 인터페이스에 디스플레이할 수 있다. 또한, 디스플레이 유닛(110)은 카메라 유닛(130)을 통해 촬영한 HMD(100)를 착용한 유저의 이미지를 영상 통화 인터페이스에 디스플레이할 수 있다.
여기에서, 영상 통화 인터페이스는 HMD(100)를 착용한 유저가 영상 통화 중에 실제로 HMD(100)를 통해 보게 되는 화면을 나타낼 수 있다. 또한, 영상 통화 인터페이스(100)는 영상 통화 상대방으로부터 수신하는 실시간 이미지를 출력하는 인터페이스를 나타낸다. 또한, 영상 통화 인터페이스는 HMD(100)를 착용한 유저를 실시간으로 촬영한 이미지를 출력하는 것을 더 포함할 수 있다. 영상 통화 인터페이스에 대하여 도 4에서 다시 설명하도록 한다.
커뮤니케이션 유닛(120)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛(120)은 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛(120)은 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다.
일 예로서, 커뮤니케이션 유닛(120)은 외부 디바이스(미도시)와 영상 통화 이미지 데이터를 송신 및 수신할 수 있다. 여기에서, 영상 통화 이미지 데이터는 영상 통화를 시작하기 전 및 영상 통화 중에 송/수신될 수 있다. 또한, 영상 통화 이미지 데이터는 유저의 영상 통화 이미지 및 파트너의 영상 통화 이미지를 포함할 수 있다.
카메라 유닛(130)은 HMD(100)의 앞 방향의 이미지를 촬영할 수 있다. 여기에서, 앞 방향은 HMD(100)의 카메라 유닛(130)이 향하고 있는 방향을 나타낼 수 있다. 또한, 앞 방향은 HMD(100)를 착용한 유저의 시야에 대응하는 방향을 나타낼 수 있다. 또한, 카메라 유닛(130)은 HMD(100)를 착용한 유저의 시야에 대응하는 화각 영역 내의 이미지를 촬영하여 프로세서(140)에 제공할 수 있다. 화각 영역과 관련하여, 도 2에서 다시 설명하도록 한다.
프로세서(140)는 데이터를 프로세싱하고, 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송/수신을 제어할 수 있다.
일 예로서, 프로세서(140)는 카메라 유닛(130)을 통해 촬영한 이미지를 기초로, HMD(100)를 착용한 유저의 이미지를 디텍트할 수 있다. 보다 상세하게는, 프로세서(140)는 촬영한 이미지를 기초로, HMD(100)를 착용한 사용자의 시야에 대응하는 화각 영역을 촬영한 이미지 내에 유저의 이미지가 존재하는지 여부를 디텍팅할 수 있다. 또한, 프로세서(140)는 커뮤니케이션 유닛(120)을 통해 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지를 인식할 수 있다. 여기에서, 인식되는 파트너의 이미지는 눈 영역, 얼굴 영역 등을 포함할 수 있다. 이와 관련하여, 도 11에서 다시 설명하도록 한다. 또한, 프로세서(140)는 파트너의 이미지를 디스플레이 유닛(110)에 디스플레이하는 영상 통화 인터페이스를 제공할 수 있다. 또한, 프로세서(140)는 촬영한 이미지로부터 유저의 영상 통화 이미지를 커뮤니케이션 유닛(120)을 통하여 전송할 수 있다.
다른 예로서, 프로세서(140)는 촬영한 이미지로부터 HMD(100)를 착용한 유저의 이미지가 디텍트되지 않는 경우, 디텍트할 수 없음을 나타내는 노티스를 디스플레이 유닛(110)에 제공할 수 있다. 또한, 프로세서(140)는 촬영한 이미지로부터 HMD(100)를 착용한 유저의 이미지가 디텍트되지 않는 경우, 커뮤니케이션 유닛(120)을 통해 대체 이미지를 전송할 수 있다. 한편, 프로세서(140)는 촬영한 이미지로부터 카메라 영역의 적어도 일부가 디텍트되지 않는 경우, 노티스를 디스플레이 유닛(110)으로 제공할 수 있다. 또한, 프로세서(140)는 영상 통화 인터페이스에서 파트너의 이미지 및 유저의 이미지를 동시에 디스플레이할 수 있다.
스토리지 유닛(140)은 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛(140)은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Device) 등의 다양한 디지털 데이터 저장 공간을 나타낼 수 있다.
또한, 스토리지 유닛(140)은 커뮤니케이션 유닛(120)을 통해 외부 디바이스(미도시)로부터 수신된 데이터를 임시적으로 저장할 수 있다. 이때, 스토리지 유닛(140)은 외부 디바이스(미도시)로부터 수신된 데이터 또는 컨텐츠를 HMD(100)에서 출력하기 위한 버퍼링을 위해 사용될 수 있다.
도 1에 도시된 헤드 마운트 디스플레이(100)는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 헤드 마운트 디스플레이(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 헤드 마운트 디스플레이(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 2는 헤드 마운트 디스플레이를 나타내는 도면이다.
예를 들어, HMD(210)는 영상 통화를 수행할 수 있다. 보다 상세하게는, HMD(210)는 유저에게 착용되어, HMD(210)에 장착된 카메라(220), 디스플레이 유닛(230), 이어폰(240), 마이크(미도시) 등을 이용하여 영상 통화를 수행할 수 있다. HMD(210)를 이용하여 영상 통화시에, HMD(210)는 카메라(220)를 통해 기 설정된 화각 영역(250) 내의 이미지를 촬영할 수 있다. 여기에서, 촬영된 이미지는 유저의 이미지를 반사할 수 있는 반사체를 통하여 촬영한 이미지를 포함할 수 있다. 예를 들어, 반사체는 거울 등의 일정 반사율 이상을 갖는 물체를 포함할 수 있다. 또한, HMD(210)는 디스플레이 유닛(230)을 통해 파트너의 이미지 및 유저의 이미지를 디스플레이할 수 있다. 또한, 이어폰(240)을 통해 파트너의 음성을 유저에게 제공할 수 있다. 또한, HMD(210)는 마이크(미도시)를 통해 유저의 음성을 수신할 수 있다.
한편, HMD(210)의 카메라(220)는 기 설정된 범위의 화각 영역(250)을 가질 수 있다. 또한, 화각 영역(250)은 촬영시에 일정한 화면 내에 포함시킬 수 있는 수평 및 수직 시야각의 범위를 나타낸다. 또한, HMD(210)의 화각 영역(250)은 HMD(210)를 착용한 유저의 시야에 대응하는 기 설정된 영역을 나타낸다. 보다 상세하게는, 화각 영역(250)은 HMD(210)의 전방 방향으로 일정한 각도 이내의 영역을 포함한다. 예를 들어, 일정한 각도는 HMD(210)에 장착된 카메라(220)의 렌즈의 중심을 기준으로 ±60°에 해당할 수 있다. 또한, HMD(210)의 카메라(220)는 HMD(210)의 좌측 또는 우측에 장착되어 있거나, HMD(210)의 중간에 장착되어 있을 수 있다.
또한, HMD(210)는 영상 통화 시에, HMD(210)에 장착된 카메라(220)의 화각 영역(250) 내에서 적어도 일부의 유저의 이미지가 디텍트되는 경우, 디텍트된 유저의 이미지를 영상 통화 이미지로 이용할 수 있다. 또한, HMD(210)는 영상 통화 시에, HMD(210)에 장착된 카메라(220)의 화각 영역(250) 내에서 적어도 일부의 유저으 이미지를 디텍트하지 못한 경우, 기 저장된 대체 이미지를 유저의 영상 통화 이미지로 이용할 수 있다.
이를 통해, 유저는 HMD(210)를 착용한 상태에서 영상 통화를 할 수 있어, 유저가 별도로 디바이스를 손에 쥐지 않고, 양 손을 자유자재로 움직이며 상대방과 영상 통화를 수행할 수 있다.
이와 같이, HMD(210)를 이용하여 영상 통화를 수행하는 경우, HMD(320)를 착용한 유저와 영상 통화 파트너가 서로 눈을 마주치지 않고 통화를 하게 될 수도 있다. 이 경우, 유저와 파트너 간의 영상 통화의 집중도가 떨어질 수 있다. 따라서, 본 명세서는 HMD(210)를 통해 영상 통화를 하는 경우, 유저와 영상 통화 파트너 간에 시선 맞춤을 하여 영상 통화를 수행하는 방법을 제공하고자 한다. 이에 대해서는 도 3 내지 도 9를 참조하여 설명하도록 한다.
도 3은 헤드 마운트 디스플레이를 이용하여 유저의 이미지를 디텍트하는 제 1 실시예를 나타내는 도면이다. 보다 상세하게는, 도 3은 HMD(320)를 이용하여 유저(310)의 정면 이미지를 디텍트하는 경우를 나타낸다.
먼저, HMD(320)는 영상 통화를 수행하고자 하는 유저(310)의 입력 신호 또는 영상 통화 파트너의 입력 신호를 디텍트할 수 있다. 다만, 이러한 입력 신호는 HMD(320)가 반사체(330)에 반사된 이미지를 촬영한 이후에 디텍트될 수도 있다. 또한, 이러한 입력 신호는 유저의 이미지(340)의 촬영과 동시에 디텍트될 수도 있다.
다음으로, HMD(320)는 반사체(330)에 반사된 이미지를 촬영할 수 있다. 보다 상세하게는, HMD(320)에 장착된 카메라(미도시)는 앞 방향에 위치한 반사체(330)에서 반사된 이미지를 촬영할 수 있다. 또한, HMD(320)에 장착된 카메라(미도시)는 카메라의 화각 영역(370)을 촬영할 수 있다. 여기에서, 반사체(330)는 유저의 이미지를 반사할 수 있는 일정 반사율 이상을 갖는 물체를 나타낼 수 있다. 예를 들어, 반사체(330)는 거울을 포함할 수 있다. 또한, 반사체(330)에 반사된 이미지는 유저의 이미지(340)뿐만 아니라 주변 사물의 이미지를 포함할 수 있다.
다음으로, HMD(320)는 촬영한 이미지로부터 HMD(320)를 착용한 유저의 이미지(340)를 디텍트할 수 있다. 보다 상세하게는, HMD(320)는 촬영한 이미지로부터 일정 선명도를 갖는 HMD(320)를 착용한 유저의 이미지(340)를 디텍트할 수 있다. 이와 관련하여, HMD(320)는 촬영한 이미지로부터 HMD(320)의 카메라 영역(350)을 디텍트할 수 있다. 여기에서, 촬영한 이미지는 반사체(330)에 반사된 HMD(320)를 착용한 유저(310)의 이미지를 포함할 수 있다. 여기에서, 카메라 영역(350)은 반사체(330)에 나타난 카메라 이미지(360), 반사체(330)에 나타난 HMD 이미지, 반사체(330)에 나타난 유저의 미간 중 적어도 하나를 포함할 수 있다. 예를 들어, 도 3을 참조하면, 카메라 영역(350)은 반사체(330)에 나타난 HMD 및 HMD에 장착된 카메라(350)을 포함한 영역에 해당할 수 있다.
한편, HMD(320)는 촬영한 이미지가 유저의 이미지(340) 이외에 배경 이미지를 포함하고 있는 경우, 이 중에서 유저의 이미지(340)만을 디텍트할 수 있다. 이는, 영상 통화에서는 주로 유저의 이미지(340)가 필요하기 때문이다. 예를 들어, 촬영한 이미지에 유저(310)뿐만 아니라 의자, 책상, 소파 등의 주변 사물들이 다수 포함되어 있는 경우, HMD(320)는 촬영한 이미지로부터 유저의 이미지만을 디텍트할 수 있다.
도 3을 통해, HMD(320)는 HMD(320)를 착용한 유저의 이미지(340)를 디텍트할 수 있어, 영상 통화 파트너에 전송할 유저(310)의 이미지를 획득할 수 있다.
도 4는 도 3에서 디텍트한 유저의 이미지를 기초로, 헤드 마운트 디스플레이를 이용한 영상 통화의 제 1 실시예를 나타내는 도면이다. 보다 상세하게는, 도 4는 HMD(411)를 착용한 유저(410)가 반사체(420)를 바라보면서, 영상 통화 파트너(431)와 영상 통화를 수행하는 것을 나타낸다.
먼저, HMD(411)는 영상 통화 파트너로부터 영상 통화 이미지 데이터를 수신할 수 있다. 이는, 상술한 도 1에 도시된 커뮤니케이션 유닛(120)에 의해 수신될 수 있다. 예를 들어, HMD(411)는 HMD(411)를 착용한 유저(410)의 이미지를 디텍트하기 전에 영상 통화 이미지 데이터를 수신할 수 있다. 또한, 예를 들어, HMD(411)는 HMD(411)를 착용한 유저(410)의 이미지를 디텍트한 후에 영상 통화 이미지 데이터를 수신할 수 있다. 또한, 예를 들어, HMD(411)는 HMD(411)를 착용한 유저(410)의 이미지를 디텍트하는 것과 동시에, 영상 통화 이미지 데이터를 수신할 수도 있다.
다음으로, HMD(411)는 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지(431)를 인식할 수 있다. 이는 상술한 도 1에 도시된 프로세서(140)에 의해 수행될 수 있다. 일 예로서, 수신된 영상 통화 이미지 데이터에서 파트너의 이미지(431)가 차지하는 비율이 기 설정된 범위에 해당하는 경우, HMD(411)는 파트너의 이미지(431)로부터 파트너의 눈 영역(432)을 인식할 수 있다. 예를 들어, 기 설정된 범위는 영상 통화 이미지의 높이에서 파트너의 얼굴 길이가 1/3을 차지하는 범위를 포함할 수 있다. 다른 일 예로서, 수신된 영상 통화 이미지 데이터에서 파트너의 이미지가 차지하는 비율이 기 설정된 범위에 해당하지 않는 경우, HMD(411)는 파트너의 이미지(431)로부터 파트너의 얼굴 영역(미도시)을 인식할 수 있다. 이는, 수신된 영상 통화 이미지 데이터에서 파트너의 이미지로부터 얼굴이 차지하는 비율이 기 설정된 범위에 해당하지 않는 경우, HMD(411)가 파트너의 눈 영역(432)을 인식하기 어렵기 때문이다. 따라서, HMD(411)는 눈 영역(432)에 비해 인식하기 용이한 얼굴 영역을 인식할 수 있다. 이와 관련하여, 도 11에서 다시 설명하도록 한다.
다음으로, HMD(411)는 파트너의 이미지(431)를 디스플레이하는 영상 통화 인터페이스(430)를 제공할 수 있다. 영상 통화 인터페이스(430)는 HMD(411)를 착용한 유저(410)가 영상 통화 시에 HMD(411)를 통해 실제로 보게되는 장면을 나타낼 수 있다. 예를 들어, HMD(411)는 HMD(411)의 디스플레이 유닛(미도시)에 구비된 디스플레이 스크린을 통하여, 영상 통화 인터페이스(430)를 디스플레이 스크린에 제공될 수 있다. 또한, HMD(411)는 별도의 디스플레이 스크린을 구비하지 않고, HMD(411)의 앞 방향의 특정 위치에 영상 통화 인터페이스(430)를 디스플레이할 수 있다.
한편, HMD(411)는 파트너의 이미지(431)가 HMD(411)의 카메라 영역(422)의 위치에 대응하도록, 파트너의 이미지(431)를 디스플레이하는 영상 통화 인터페이스(430)를 제공할 수 있다.
일 예로서, 도 4를 참조하면, HMD(411)는 영상 통화 인터페이스(430)에 디스플레이되는 파트너의 이미지(431)를 카메라 영역(422)의 위치와 동일한 방향에 제공할 수 있다. 여기에서, 동일한 방향은 유저(410)에 착용된 HMD(411), 파트너의 이미지(431) 및 카메라 영역(422)의 위치가 동일 선상에 있는 것을 포함할 수 있다. 예를 들어, 도 4를 참조하면, HMD(411)는 파트너의 눈 영역(432), 및 유저의 이미지(421) 중 카메라 영역(422)의 위치를 동일 방향에 디스플레이할 수 있다. 여기에서, 동일 방향은 동일 선상에 위치한 경우를 포함할 수 있다. 따라서, 유저(410)는 HMD(411)와 동일 방향에 있는 영상 통화 파트너의 눈 영역(432)에 대한 시선 맞춤을 하면서 영상 통화를 수행할 수 있다. 여기에서, 동일 선상은 동일한 높이 등을 포함할 수 있다.
다른 일 예로서, HMD(411)는 파트너의 이미지(431)를 디스플레이하는 영상 통화 인터페이스(430)를 HMD(411)의 카메라 영역(422)의 위치에 오버레이하도록 제공할 수 있다. 보다 상세하게는, HMD(411)는 영상 통화 인터페이스(430)가 디스플레이되는 위치 및 뎁스(depth)중 적어도 하나에 기초하여, 파트너의 이미지(431)를 HMD(411)의 카메라 영역에 오버레이하도록 디스플레이할 수 있다. 여기에서, 영상 통화 인터페이스(430)가 디스플레이되는 위치 및 뎁스 중 적어도 하나는 유저의 설정 또는 파트너의 이미지의 크기에 의해 결정될 수 있다. 이를 통해, 반사체(420)를 정면으로 보고 있는 유저(410)는 반사체 바로 앞에 있는 파트너의 이미지(431)를 인식할 수 있다. 예를 들어, 도 4를 참조하면, HMD(411)는 영상 통화 인터페이스(430)에 파트너의 눈 영역(432)을 HMD(411)의 카메라 영역(422)에 오버레이하도록 디스플레이할 수 있다. 여기에서, 영상 통화 인터페이스(430)가 디스플레이되는 위치 및 뎁스 중 적어도 하나는 유저(410)의 동공 크기, 영상 통화 인터페이스(430)를 보기 위한 광학계와 눈까지의 거리(eye relief), 확대 비율, 화각(FOV-Filed Of View)을 기초하여 결정될 수 있다.
또한, HMD(411)는 영상 통화 인터페이스(430)에서 영상 통화 파트너의 이미지(431) 및 유저(410)의 영상 통화 이미지(433)를 함께 디스플레이할 수 있다. 여기에서, 함께 디스플레이하는 것은 시간적으로 또는 공간적으로, 또는 시·공간적으로 동시에 디스플레이하는 것을 나타낼 수 있다. 영상 통화 인터페이스(430)에서 유저(410)의 영상 통화 이미지(433)의 위치는 기 설정된 위치 또는 유저의 설정에 의한 위치에 기초하여 결정될 수 있다. 예를 들어, 기 설정된 위치는 영상 통화 인터페이스(430)의 상하좌우 중 일 측에 해당할 수 있다. 예를 들어, 도 4를 참조하면, 기 설정된 위치는 영상 통화 인터페이스(430)의 우측 하단 코너를 해당할 수 있다. 한편, 유저(410)의 영상 통화 이미지(433)는 유저의 이미지(421)를 좌우 반전한 이미지에 해당할 수 있다. 이와 관련하여, 도 12에서 다시 설명하도록 한다.
한편, HMD(411)는 촬영한 이미지로부터 유저(410)의 영상 통화 이미지(433)를 영상 통화 파트너로 전송하여, 영상 통화를 수행할 수 있다. 여기에서, 유저의 영상 통화 이미지(433)는 촬영한 이미지에서 HMD(411)의 카메라 영역(422)을 포함하는 주변 영역에 해당할 수 있다. 예를 들어, 도 4를 참조하면, 유저의 영상 통화 이미지(433)는 유저의 얼굴을 포함하는 영역에 해당할 수 있다.
또한, HMD(411)는 유저(410)의 영상 통화 이미지(433)를 실시간으로 영상 통화 파트너로 전송하고, 영상 통화 파트너로부터 영상 통화 이미지 데이터를 실시간으로 수신할 수 있다. 이를 통해, 유저(410)와 영상 통화 파트너는 서로의 모습을 실시간으로 확인하면서, 영상 통화를 수행할 수 있다.
도 4의 실시예를 통해, 유저와 영상 통화 파트너 간의 시선 맞춤이 가능하므로, 영상 통화 수행 시에 보다 자연스러운 통화가 이루어질 수 있다.
도 5는 헤드 마운트 디스플레이를 이용하여 유저의 이미지를 디텍트하는 제 2 실시예를 나타내는 도면이다. 보다 상세하게는, 도 5는 HMD(520)를 착용한 유저의 이미지(550)가 HMD(520)의 카메라(530)의 화각 영역 내에 있는 반사체(540)에 디스플레이된 것을 나타낸다.
먼저, 도 3에서 상술한 바와 같이, HMD(520)는 영상 통화를 수행하고자 하는 유저(510)의 입력 신호 또는 영상 통화 파트너의 입력 신호를 디텍트할 수 있다. 다음으로, HMD(520)는 반사체(540)에 반사된 이미지를 촬영할 수 있다. 이때, 촬영된 이미지는 반사체(540)가 HMD(520)에 장착된 카메라(530)의 정면에 있지 않더라도, HMD(520)에 장착된 카메라(530)의 화각 영역(570) 내에서 촬영된 이미지를 포함할 수 있다. 도 2에서 상술한 바와 같이, 예를 들어, 화각 영역(570)은 HMD(520)에 장착된 카메라(530)의 중심을 기준으로 +60°내지 -60°범위를 나타낼 수 있다. 예를 들어, 도 5를 참조하면, 촬영된 이미지는 유저(510)가 반사체(540)를 정면으로 바라보는 것을 기준으로 우측으로 30°회전한 상태에서 카메라(530)에 촬영된 이미지에 해당할 수 있다.
다음으로, HMD(520)는 촬영한 이미지로부터 HMD(520)를 착용한 유저의 이미지(550)를 디텍트할 수 있다. 여기에서, 촬영한 이미지는 반사체(540)에 반사된 HMD(520)를 착용한 유저(510)의 이미지를 포함할 수 있다. 또한, HMD(520)는 촬영한 이미지로부터 HMD(520)의 카메라 영역(560)을 디텍트할 수 있다. 이 경우, 상술한 도 3과는 달리, HMD(520)의 카메라(530)는 HMD(520)의 일부가 디스플레이된 유저의 이미지(550)를 디텍트할 수 있다. 또한, 상술한 도 3에 나타난 카메라 영역이 HMD 전체를 포함하는데 반해, 도 5의 카메라 영역(560)은 HMD(520)의 일부를 나타낼 수 있다.
한편, HMD(520)는 촬영한 이미지가 유저의 이미지(550) 이외에 배경 이미지를 포함하고 있는 경우, 유저의 이미지(550) 만을 디텍트할 수 있다. 예를 들어, 도 5를 참조하면, 유저(510)는 반사체(540)의 측면을 바라보는 상태에 있을 수 있다. 이 경우, HMD(520)의 카메라(530)의 화각 영역(570)에는 반사체(540)에 반사된 유저의 이미지(550)가 화각 영역(570)의 일측에 편중되어 있을 수 있다. 이 경우, 영상 통화 수행 시에, 주로 유저의 이미지(550)가 필요하므로, HMD(520)는 촬영한 이미지로부터 유저의 이미지(550)만을 디텍트할 수 있다.
도 5의 실시예를 통해, HMD(520)는 HMD(520)를 착용한 유저의 이미지(550)를 디텍트할 수 있어, 영상 통화 파트너에 전송할 유저의 이미지(550)를 획득할 수 있다.
도 6은 도 5에서 디텍트한 유저의 이미지를 기초로, 헤드 마운트 디스플레이를 이용한 영상 통화의 제 2 실시예를 나타내는 도면이다. 보다 상세하게는, 도 6은 HMD(611)을 착용한 유저(610)가 반사체(620)의 측면을 향한 상태에서, 영상 통화 파트너와 영상 통화를 수행하는 것을 나타낸다. 이는, 도 1에 도시된 커뮤니케이션 유닛(120)에 의해 수행될 수 있다.
먼저, 도 4에서 상술한 바와 같이, HMD(611)는 영상 통화 파트너로부터 영상 통화 이미지 데이터를 수신할 수 있다. 다음으로, HMD(611)는 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지(631)를 인식할 수 있다.
다음으로, HMD(611)는 파트너의 이미지(631)를 디스플레이하는 영상 통화 인터페이스(630)를 제공할 수 있다. 또한, HMD(611)는 파트너의 이미지(631)가 HMD(611)의 카메라 영역(622)의 위치에 대응하도록, 파트너의 이미지(631)를 디스플레이하는 영상 통화 인터페이스(630)를 제공할 수 있다.
일 예로서, 도 4에서 상술한 바와 같이, HMD(611)는 파트너의 이미지(631)와 카메라 영역(622)의 위치가 동일 방향에 위치하도록, 영상 통화 인터페이스(630)를 제공할 수 있다. 보다 상세하게는, HMD(611)는 파트너의 눈 영역(632), 및 유저의 이미지(621) 중 카메라 영역(622)의 위치가 동일 방향에 있도록 영상 통화 인터페이스(630)를 디스플레이할 수 있다. 예를 들어, 먼저, 도 6(a)를 참조하면, HMD(611)는 반사체(620-a)의 측면을 향하여 있을 수도 있다. 이 때, HMD(611)는 HMD(611) 및 카메라 영역(622-a)의 위치와 동일 방향에 영상 통화 인터페이스(630-a)를 디스플레이할 수 있다. 이 경우, HMD(611)가 향하는 방향의 측면에, 영상 통화 인터페이스(630-a)가 디스플레이될 수 있다. 따라서, HMD(611)를 착용한 유저(610)와 영상 통화 파트너 간의 시선 맞춤이 어려워질 수 있다. 따라서, HMD(610)는 영상 통화 인터페이스(630-a)에 시선 맞춤이 이루어지지 않음을 나타내는 노티스(미도시)를 디스플레이하여, HMD(610)가 향하는 방향이 반사체(620-a)가 위치한 방향이 되도록 유도할 수 있다. 여기에서, 노티스(미도시)는 영상 통화 인터페이스(630)가 HMD(611)의 정면에 위치하게 하기 위해, HMD(611)가 이동해야할 방향 또는 거리를 나타낼 수 있다. 이와 관련하여, 도 11에서 다시 설명하도록 한다. 이를 통해, 유저(610)는 시선 맞춤이 이루어지지 않음을 인식하고, 반사체(620-a)가 위치한 방향으로 이동 또는 회전할 수 있다. 다음으로, 도 6(b)를 참조하면, HMD(611)는 회전 또는 이동을 통하여, 반사체(620-b)가 위치한 방향을 향할 수 있다. 따라서, 이 경우, 도 4에서 상술한 바와 같이, HMD(611)는 HMD(611), 파트너의 눈 영역(632-b), 및 유저의 이미지(621-b) 중 카메라 영역(622-b)의 위치가 동일 선상에 위치하도록 영상 통화 인터페이스(630-b)를 디스플레이할 수 있다. 이를 통해, 유저(610)와 영상 통화 파트너 간의 시선 맞춤이 이루어지지 않더라도, HMD(611)를 착용한 유저(610)가 실시간으로 방향 또는 위치를 수정하여, 시선 맞춤을 하면서 영상 통화를 수행할 수 있다.
다른 일 예로서, HMD(611)는 파트너의 이미지(631)를 디스플레이하는 영상 통화 인터페이스(630)를 HMD(611)의 카메라 영역(622)의 위치에 오버레이하도록 제공할 수 있다. 여기에서, 영상 통화 인터페이스(630)가 디스플레이되는 위치 및 뎁스 중 적어도 하나는 유저의 설정 또는 파트너의 이미지의 크기에 기초하여 결정될 수 있다. 예를 들어, 먼저, 도 6(a)를 참조하면, HMD(611)는 반사체(620-a)의 측면을 향하여 있을 수도 있다. 이때, HMD(611)는 파트너의 이미지(631-a)를 HMD(611)의 카메라 영역(622-a)의 위치에 오버레이하도록 영상 통화 인터페이스(630-a)를 제공할 수 있다. 여기에서, 카메라 영역(622-a)은 도 4의 카메라 영역과 달리, HMD의 이미지가 일부만 디스플레이되어 있을 수 있다. 이를 통해, HMD(611)는 HMD(611)에 장착된 카메라(612)의 화각 영역(640-a) 내에 영상 통화 인터페이스(630-a)를 제공할 수 있다. 다만, HMD(611)는 화각 영역(640-a)의 측면에 영상 통화 인터페이스(630-a)를 제공하게 된다. 따라서, HMD(611)를 착용한 유저(610)와 영상 통화 파트너 간의 시선 맞춤이 어려워질 수 있다. 따라서, HMD(610)는 영상 통화 인터페이스(630-a)에 시선 맞춤이 이루어지지 않음을 나타내는 노티스(미도시)를 디스플레이하여, HMD(610)가 향하는 방향이 반사체(620-a)가 위치한 방향이 되도록 유도할 수 있다. 이를 통해, 유저(610)는 시선 맞춤이 이루어지지 않음을 인식하고, 반사체(620-a)가 위치한 방향으로 이동 또는 회전할 수 있다. 다음으로, 도 6(b)를 참조하면, HMD(611)는 회전 또는 이동을 통하여, 반사체(620-b)가 위치한 방향을 향할 수 있다. 따라서, 이 경우, 도 4에서 상술한 바와 같이, HMD(611)는 파트너의 이미지(631-b)를 디스플레이하는 영상 통화 인터페이스(630-b)를 HMD(611)의 카메라 영역(622-b)의 위치에 오버레이하도록 제공할 수 있다. 이를 통해, 유저(610)와 영상 통화 파트너 간의 시선 맞춤이 이루어지지 않더라도, HMD(611)를 착용한 유저(610)가 실시간으로 방향 또는 위치를 보정하여, 시선 맞춤을 하면서 영상 통화를 수행할 수 있다.
한편, HMD(611)는 영상 통화 인터페이스(630)에서 영상 통화 파트너의 이미지(631) 및 유저(610)의 영상 통화 이미지(633)를 함께 디스플레이할 수 있다. 여기에서, 영상 통화 인터페이스(630)에 디스플레이된 유저(610)의 영상 통화 이미지(633)는 실시간으로 전송되는 유저의 이미지를 나타낼 수 있다. 예를 들어, 도 6(a)를 참조하면, HMD(611)를 착용한 유저(610)가 반사체(620-a)에 대하여 측면을 향하고 있으므로, 디스플레이된 유저(610)의 영상 통화 이미지(633-a)는 유저(610)의 측면 이미지를 나타낼 수 있다. 다음으로, 예를 들어, 도 6(b)를 참조하면, HMD(611)를 착용한 유저(610)가 반사체(620-b)에 대하여 정면을 향하고 있으므로, 디스플레이된 유저(610)의 영상 통화 이미지(633-b)는 유저(610)의 정면 이미지를 나타낼 수 있다. 이를 통해, 영상 통화 파트너는 유저(610)의 모습을 실시간으로 알 수 있게 된다.
또한, HMD(611)는 영상 통화 인터페이스(630)에서 유저의 이미지(621)를 좌우 반전하여 디스플레이할 수 있다. 예를 들어, 도 6을 참조하면, HMD(611)는 영상 통화 인터페이스(630)에 유저의 이미지(621)를 좌우 반전한 영상 통화 이미지(633)를 디스플레이할 수 있다. 이와 관련하여, 도 13에서 다시 설명하도록 한다.
도 7은 도 5에서 디텍트한 유저의 이미지를 기초로, 헤드 마운트 디스플레이를 이용한 영상 통화의 제 3 실시예를 나타내는 도면이다. 보다 상세하게는, 도 7은 HMD(711)를 착용한 유저(710)가 반사체(720)의 측면을 향한 상태에서, 영상 통화 파트너(731)와 영상 통화를 수행하는 것을 나타낸다. 이는, 도 1에 도시된 커뮤니케이션 유닛(120)에 의해 수행될 수 있다.
먼저, 도 4에서 상술한 바와 같이, HMD(711)는 영상 통화 파트너로부터 영상 통화 이미지 데이터를 수신할 수 있다. 다음으로, HMD(711)는 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지(731)를 인식할 수 있다.
다음으로, HMD(711)는 파트너의 이미지(731)를 디스플레이하는 영상 통화 인터페이스(730)를 제공할 수 있다. 예를 들어, 도 7(a)를 참조하면, HMD(611)는 HMD(711)에 장착된 카메라(712)의 화각 영역(740)에 파트너의 이미지(731-a)가 디스플레이된 영상 통화 인터페이스(730-a)를 제공할 수 있다. 보다 상세하게는, HMD(711)는 HMD(711)의 앞 방향에 파트너의 이미지(731-a)가 디스플레이된 영상 통화 인터페이스(730-a)를 제공할 수 있다. 이 경우, HMD(711)를 착용한 유저(710)의 시선은 HMD(711)의 앞 방향을 향하고 있고, HMD(711)는 유저의 측면 이미지(721)를 영상 통화 이미지로서 영상 통화 파트너에 전송할 수 있다. 따라서, 유저(710)와 영상 통화 파트너 간의 시선 맞춤이 이루어지지 않고, 영상 통화가 수행될 수 있다. 이때, HMD(711)는 영상 통화 인터페이스(730-a) 상에 시선 맞춤이 이루어지지 않음을 나타내는 노티스(734)를 디스플레이할 수 있다. 예를 들어, 도 7(a)를 참조하면, 노티스(734)는 화살표의 형태를 포함할 수 있다. 이와 관련하여 도 11에서 다시 설명하도록 한다. 이를 통해, 유저(710)는 시선 맞춤이 이루어지지 않음을 인식하고, 반사체(720-a)가 위치한 방향으로 이동 또는 회전할 수 있다. 다음으로, 도 7(b)를 참조하면, HMD(711)는 회전 또는 이동을 통하여, 반사체(720-b)가 위치한 방향을 향하게 될 수 있다. 따라서, 이를 통해, 도 4에서 상술한 바와 같이, HMD(711)는 파트너의 눈 영역(732-b), 및 유저의 이미지(721-b) 중 카메라 영역(722-b)의 위치가 동일 선상에 있도록 파트너의 이미지(731-b)를 디스플레이하는 영상 통화 인터페이스(730-b)를 제공할 수 있다. 또한, 이를 통해, 도 4에서 상술한 바와 같이, HMD(711)는 파트너의 이미지(731-b)를 디스플레이하는 영상 통화 인터페이스(730-b)를 HMD(711)의 카메라 영역(722-b)의 위치에 오버레이하도록 제공할 수 있다.
또한, HMD(711)는 영상 통화 인터페이스(730)에서 유저의 이미지(721)를 좌우 반전하여 디스플레이할 수 있다. 예를 들어, 도 7(a)를 참조하면, HMD(711)를 착용한 유저(710)가 오른쪽을 향한 경우, 유저의 이미지(721-a)에서 유저는 오른쪽을 향할 수 있다. 이 경우, HMD(711)는 유저의 이미지(721-a)를 좌우 반전시켜, 영상 통화 이미지(733-a)를 영상 통화 인터페이스(731-a)를 제공할 수 있다.
도 7의 실시예를 통해, 유저와 영상 통화 파트너와의 시선 맞춤이 어려운 경우, HMD(711)는 시선 맞춤을 위한 유저의 이동을 유도하여, 자연스러운 영상 통화가 가능하게 할 수 있다.
도 8은 헤드 마운트 디스플레이를 이용하여 유저의 이미지를 디텍트하는 제 3 실시예를 나타내는 도면이다. 보다 상세하게는, 도 8은 HMD(820)가 화각 영역(860) 내에서 유저의 이미지(850)를 디텍트하지 못하는 경우를 나타낸다.
먼저, 도 3에서 상술한 바와 같이, HMD(820)는 영상 통화를 수행하고자 하는 유저(810)의 입력 신호 또는 영상 통화 파트너의 입력 신호를 디텍트할 수 있다.
먼저, HMD(820)는 HMD(820)에 장착된 카메라(830)를 통하여 화각 영역(860)을 촬영할 수 있다. 이 경우, 카메라(830)의 화각 영역(860) 내에 반사체(840)가 없는 경우, HMD(820)는 촬영한 이미지로부터 유저의 이미지(850)를 디텍트할 수 없게 된다. 예를 들어, 카메라(830)의 화각 영역(860) 내에 반사체(840)가 없는 경우는 HMD(820)에 장착된 카메라(830)의 렌즈의 중심을 기준으로 ±60°의 범위 이내에 반사체(840)가 없는 경우를 포함할 수 있다. 도 8을 참조하면, HMD(820)는 반사체(840)에 대하여 오른쪽으로 90°회전한 상태에 해당할 수 있다. 따라서, 화각 영역(860)이 카메라(830)의 렌즈의 중심을 기준으로 ±60°의 범위인 HMD(820)는 영상 통화 파트너에 전송할 유저(810)의 실시간 이미지를 디텍트할 수 없게 된다.
도 9은 도 8에서 촬영한 이미지에 기초하여, 헤드 마운트 디스플레이를 이용한 영상 통화의 제 4 실시예를 나타내는 도면이다. 보다 상세하게는, 도 9는 HMD(911)을 착용한 유저(910)가, 대체 이미지(932)를 전송하여 영상 통화 파트너와 영상 통화를 수행하는 것을 나타낸다. 이는, 도 1에 도시된 커뮤니케이션 유닛(120)을 이용하여 수행될 수 있다.
먼저, 도 4에서 상술한 바와 같이, HMD(911)는 영상 통화 파트너로부터 영상 통화 이미지 데이터를 수신할 수 있다. 다음으로, 도 4에서 상술한 바와 같이, HMD(911)는 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지(931)를 인식할 수 있다.
다음으로, HMD(911)는 파트너의 이미지(931)를 디스플레이하는 영상 통화 인터페이스(930)를 제공할 수 있다. 여기에서, HMD(911)는 HMD(911)의 카메라 영역을 디텍트할 수 없으므로, 파트너의 이미지(931)를 HMD(911)의 카메라 영역에 대응시키지 않은 상태에서, 파트너의 이미지(931)를 디스플레이하는 영상 통화 인터페이스(930)를 디스플레이할 수 있다. 여기에서, HMD(911)는 영상 통화 인터페이스(930)를 HMD(911)의 화각 영역(940) 내에 디스플레이할 수 있다. 이 경우, HMD(911)는 유저의 이미지(921)를 디텍트할 수 없는 상태이므로, 유저의 이미지(921)를 대체할 수 있는 대체 이미지(932)를 영상 통화 파트너로 전송할 수 있다. 예를 들어, 대체 이미지(932)는 기 저장된 유저의 이미지, 연예인의 이미지, 캐릭터 이미지 등을 포함할 수 있다. 또한, HMD(911)는 영상 통화 인터페이스(930)에 파트너의 이미지(931)와 대체 이미지(932)를 동시에 디스플레이하여 영상 통화를 수행할 수 있다.
이와 관련하여, HMD(911)는 촬영한 이미지로부터 유저의 이미지를 디텍트할 수 없는 경우, 유저의 이미지가 디텍트되지 않음을 나타내는 노티스(미도시)를 제공할 수 있다. 여기에서, 노티스는 HMD(911)에 장착된 카메라(912)에 유저의 이미지가 디텍트되기 위해 반사체(920)를 향하여 이동해야할 방향 또는 거리를 나타낼 수 있다. 이와 관련하여, 도 11에서 다시 설명하도록 한다. 한편, 영상 통화가 시작되기 전에, HMD(911)는 유저의 이미지가 디텍트되지 않음을 인식한 경우, 대체 이미지(932)를 전송할 것인지 여부를 결정하는 인터페이스를 유저(910)에게 제공할 수 있다. 이와 관련하여, 도 10에서 다시 설명하도록 한다.
도 9의 실시예를 통해, HMD는 영상 통화 파트너에 대해 유저의 실시간 이미지를 전송할 수 없는 경우에 해당하더라도, 대체 이미지를 전송하여 영상 통화 파트너와 영상 통화를 수행할 수 있다.
도 10은 영상 통화 이미지를 선택하는 인터페이스의 일 실시예를 나타내는 도면이다. 보다 상세하게는, 도 10은 영상 통화 이미지를 선택하는 인터페이스를 제공하는 것을 나타낸다.
먼저, HMD(1020)는 영상 통화의 시작 전에, 영상 통화 이미지 결정 인터페이스(1050)를 유저(1010)에게 제공할 수 있다. 또한, HMD(1020)는 영상 통화 도중에, 영상 통화 이미지 결정 인터페이스(1050)를 유저(1010)에게 제공할 수 있다. 이는, 유저(1010)가 이동하면서 영상 통화를 수행할 수도 있기 때문이다. 다음으로, HMD(1020)는 유저(1010)로부터 영상 통화 파트너(미도시)에 촬영한 이미지(1060) 또는 대체 이미지(1070)를 전송할 것인지 결정하는 유저 입력을 디텍트할 수 있다. 여기에서, 유저 입력은 음성에 의한 입력, 제스쳐에 의한 입력 등을 포함할 수 있다. 또한, 여기에서, 대체 이미지(1070)는 기 저장된 유저의 이미지, 연예인 이미지 또는 캐릭터 이미지 등을 포함할 수 있다. 예를 들어, 도 10에서는 대체 이미지(1070)로서 캐릭터 이미지가 사용될 수 있다.
한편, 영상 통화 이미지 결정 인터페이스(1050)를 통해, HMD(1020)는 유저(1010)의 영상 통화 이미지(1060) 또는 대체 이미지(1070)가 영상 통화 인터페이스(미도시)에서 디스플레이될 위치를 결정할 수도 있다. 예를 들어, HMD(1020)는 영상 통화 이미지가 영상 통화 인터페이스(미도시)의 상하좌우 중 일 측에 디스플레이되도록 결정할 수 있다. 또한, 예를 들어, HMD(1020)는 파트너의 이미지(미도시)와 유저의 영상 통화 이미지를 동일한 크기로 가로로 또는 세로로 배열하여 디스플레이할 수도 있다.
도 10의 실시예를 통해, HMD(1020)는 HMD(1020)에 장착된 카메라(1030)에 의해 유저의 이미지(1060)를 디텍트할 수 없는 경우, 대체 이미지(1070)를 전송하여 영상 통화를 수행할 수 있게 한다. 또한, HMD(1020)는 HMD(1020)가 HMD(1020)에 장착된 카메라(1030)를 통해 유저의 이미지(1060)를 디텍트할 수 있는 경우에 있더라도, 유저(1010)가 곤란한 상황에 처해 있는 경우, 유저의 이미지(1060)를 대신하여 대체 이미지(1070)를 전송할 수 있게 한다.
도 11은 적어도 일부의 유저의 이미지를 디텍트하지 못한 경우의 노티스의 일 실시예를 나타내는 도면이다. 보다 상세하게는, 도 11은 촬영한 이미지로부터 적어도 일부의 유저의 이미지를 디텍트하지 못한 경우에 유저에게 제공되는 노티스를 나타낸다.
일 예로서, HMD(1120)는 장착된 카메라(1130)의 화각 영역(1040)을 촬영한 이미지로부터 유저의 이미지의 일부(1160)를 디텍트할 수 있다. 이 경우, 도 5에 도시된 바와 같이, HMD(1120)는 유저의 이미지의 일부(1160)를 디텍트할 수 있기 때문에, HMD(1160)는 장착된 카메라(1130)의 반사체(미도시)의 위치를 인지할 수 있다. 따라서, HMD(1120)는 적어도 일부의 유저의 이미지를 디텍트 할 수 없음을 나타내는 노티스(1170)를 제공할 수 있다. 여기에서, 노티스(1170)는 유저의 이미지를 디텍트하기 위하여 유저(1110)가 이동해야할 방향 또는 위치를 나타낼 수 있다. 노티스(1170)는 화살표를 이용하여 유저(1010)가 이동(회전)해야할 방향을 나타낼 수 있다. 예를 들어, 도 11을 참조하면, 노티스(1170)는 유저(1110)가 오른쪽으로 이동(회전)해야함을 나타낼 수 있다. 또한, 노티스(1170)는 유저(1110)가 이동해야할 거리를 나타내는 아이콘(미도시)을 포함할 수도 있다. 또한, 노티스(1170)는 화살표가 아닌 다른 아이콘으로 나타낼 수 있다.
다른 일 예로서, HMD(1120)는 장착된 카메라(1130)의 화각 영역(1140)을 촬영한 이미지로부터 유저의 이미지(미도시)를 전혀 디텍트하지 못할 수도 있다. 즉, 도 8에서 도시된 바와 같이, HMD(1120)에 장착된 카메라(1130)가 반사체(미도시)의 위치를 인식하지 못할 수도 있다. 예를 들어, 이 경우, HMD(1120)를 착용한 유저(1010)는 반사체(미도시)를 찾기 위해 좌우를 두리번 거릴 수 있다. 반사체(미도시)가 근처에 있는 경우, HMD(1120)에 장착된 카메라(1130)는 반사체(미도시)의 위치를 인식할 수 있다. 이때, HMD(1120)는 유저의 이미지를 디텍트할 수 없음을 나타내는 노티스(1160)를 제공할 수 있다. 여기에서, 노티스(1160)는 반사체(미도시)를 향해 유저(1110)가 이동(회전)해야할 방향 또는 거리를 나타낼 수 있다.
도 11의 실시예를 통해, HMD(1120)는 유저의 이미지의 적어도 일부를 디텍트하지 못하는 경우 또는 반사체(미도시)가 화각 영역(1140) 내에 없는 경우에도, 반사체(미도시)를 향해 이동(회전)하여 영상 통화를 수행할 수 있다.
도 12은 영상 통화 파트너의 이미지를 디텍트하는 일 실시예를 나타내는 도면이다. 보다 상세하게는, 도 12는 HMD의 카메라 영역에 대응시킬 파트너의 이미지를 디텍트하는 것을 나타낸다.
먼저, 도 4에서 상술한 바와 같이, HMD(미도시)는 파트너의 이미지가 HMD의 카메라 영역(미도시)에 대응하도록, 영상 통화 인터페이스(1210, 1230)에 파트너의 이미지를 제공할 수 있다. 보다 상세하게는, HMD(미도시)는 파트너의 이미지가 HMD의 카메라 영역(미도시)에 대응하도록, 영상 통화 인터페이스(1210, 1230)에 파트너의 이미지를 제공할 수 있다.
일 예로서, 도 12(a)를 참조하면, HMD(미도시)는 인식된 파트너의 이미지가 기 설정된 크기 범위에 해당하는 경우, 파트너의 이미지 중 눈 영역(1220)을 HMD의 카메라 영역에 대응시킬 수 있다. 보다 상세하게는, HMD(미도시)는 파트너의 이미지 중 눈 영역(1220)을 HMD의 카메라 영역(미도시)의 위치에 오버레이하도록 디스플레이할 수 있다. 여기에서 눈 영역(1220)은 파트너의 미간, 눈, 눈썹 등을 포함할 수 있다. 또한, 기 설정된 크기 범위는 영상 통화 인터페이스에서 파트너의 얼굴 길이가 영상 통화 인터페이스의 높이의 적어도 1/3을 차지하는 범위를 나타낼 수 있다. 예를 들어, 도 12(a)를 참조하면, 파트너의 이미지 중 파트너의 얼굴 길이가 영상 통화 인터페이스(1210)의 높이의 1/3을 넘게 차지하므로, HMD는 파트너의 눈 영역(1220)을 HMD의 카메라 영역의 위치에 대응시킬 수 있다. 이는, 파트너의 이미지 중 파트너의 얼굴이 크게 디스플레이되는 경우, 눈을 인식하는 것이 용이할 수 있다. 따라서, HMD는 파트너의 이미지 중 눈 영역을 HMD의 카메라 영역에 대응시키는 것이다.
다른 일 예로서, 도 12(b)를 참조하면, HMD(미도시)는 인식된 파트너의 이미지가 기 설정된 크기 범위에 해당하지 않는 경우, 파트너의 이미지 중 얼굴 영역(1240)을 HMD의 카메라 영역(미도시)의 위치에 대응시킬 수 있다. 보다 상세하게는, HMD(미도시)는 파트너의 이미지 중 얼굴 영역(1240)을 HMD의 카메라 영역(미도시)의 위치에 오버레이하도록 디스플레이할 수 있다. 예를 들어, 얼굴 영역(1240)은 파트너의 이미지에서 파트너의 얼굴을 포함할 수 있다. 또한, 기 설정된 크기 범위는 영상 통화 인터페이스에서 파트너의 얼굴 길이가 영상 통화 인터페이스의 높이의 적어도 1/3을 차지하는 범위를 나타낼 수 있다. 예를 들어, 도 12(b)를 참조하면, 파트너의 이미지 중 파트너의 얼굴 길이가 영상 통화 인터페이스(1230)의 높이의 1/3을 차지하지 않으므로, HMD는 파트너의 얼굴 영역(1240)을 HMD의 카메라 영역(미도시)의 위치에 대응시킬 수 있다. 이는, 파트너의 이미지 중 파트너의 얼굴이 작게 디스플레이된 경우, 눈을 찾기 어려울 수 있어, 얼굴을 대응시키는 것이 보다 용이하기 때문이다. 따라서, 파트너의 이미지 중 얼굴 영역을 HMD의 카메라 영역의 위치에 대응시키는 것이다.
한편, HMD(미도시)는 인식된 파트너의 이미지가 기 설정된 크기 범위에 해당하지 않는 경우, 파트너의 이미지 중 얼굴 영역(1240)을 확대하여 영상 통화 인터페이스(1230)에 디스플레이할 수도 있다. 예를 들어, 도 12(b)를 참조하면, 파트너의 이미지 중 얼굴 영역(1240)을 확대하여 영상 통화 인터페이스(1230)에 디스플레이함으로써, 유저와 영상 통화 파트너 간의 시선 맞춤을 보다 용이하게 할 수 있다.
도 13은 전송되는 유저의 영상 통화 이미지의 일 실시예를 나타내는 도면이다. 보다 상세하게는, 도 13은 촬영한 이미지를 좌우 반전하여 제공하는 영상 통화 이미지를 나타낸다.
도 4에서 상술한 바와 같이, HMD는 촬영한 이미지를 좌우 반전하여 유저의 영상 통화 이미지를 제공할 수 있다. 이는 HMD의 카메라가 반사체을 이용하여 유저를 촬영한 이미지를 영상 통화 파트너에게 전송하기 때문이다. 보다 상세하게는, HMD는 반사체에 비친 유저의 이미지를 영상 통화 이미지로 사용할 수 있다. 즉, HMD는 카메라가 유저를 향하지 않고, 유저가 반사체에 비친 이미지에 향하게 될 수 있다. 또한, 반사체에 비친 유저의 이미지는 유저를 향한 카메라로 촬영한 이미지와 비교하여 좌우가 반전되기 때문에, HMD는 HMD에 장착된 카메라로 촬영한 이미지를 반전하여 영상 통화 파트너로 전송할 수 있다. 다만, HMD는 설정에 따라서, 촬영된 반사체에 비친 유저의 이미지를 그대로 전송하거나, 좌우를 반전하여 전송할 수 있다.
예를 들어, 도 13을 참조하면, HMD의 카메라가 촬영한 이미지가 도 13(a)의 이미지(1310)에 해당하는 경우, HMD가 파트너로 전송하는 유저의 영상 통화 이미지는 도 13(b)의 이미지(1330)에 해당할 수 있다. 보다 상세하게는, 도 13(a)의 찰영된 이미지에서 HMD에 장착된 카메라 이미지(1320)가 오른쪽에 있는 반면에, 도 13(b)의 유저의 영상 통화 이미지에서 HMD에 장착된 카메라 이미지(1340)는 왼쪽에 위치할 수 있다. 또한, 도 13(a)의 촬영된 이미지에서 유저의 행커치프(handkerchief)가 오른쪽에 있는 반면에, 도 13(b)의 유저의 영상 통화 이미지에서 유저의 행커치프가 왼쪽에 위치할 수 있다.
도 14는 헤드 마운트 디스플레이를 이용한 영상 통화의 일 실시예를 나타내는 도면이다. 보다 상세하게는, 도 14는 HMD(1420)에 장착된 카메라(1430)에 HMD(1420)를 착용한 유저(1410)의 이미지가 디스플레이되지 않는 경우에 영상 통화를 수행하는 것을 나타낸다.
먼저, HMD(1420)는 장착된 카메라(1430)를 통하여 화각 영역(1460)을 촬영할 수 있다. 예를 들어, 도 14를 참조하면, 카메라(1430)의 화각 영역(1460) 내에는 반사체가 존재하지 않고, 유저(1410)의 이미지를 투영할 수 없는 칠판이 나타날 수 있다. 이는, HMD(1420)를 착용한 유저(1410)가 칠판을 보면서 영상 통화 파트너(미도시)와 영상 통화를 수행하는 경우에 해당할 수 있다. 이는, HMD(1420)를 착용한 유저(1410)는 칠판이 아닌, 유저(1410)의 이미지가 투영되지 않는 물체를 향한 경우도 포함될 수 있다. 이 경우, HMD(1420)는 화각 영역(1460)을 촬영한 이미지로부터 유저(1410)의 이미지를 디텍트할 수 없게 된다.
다음으로, HMD(1420)는 영상 통화 파트너(미도시)로부터 영상 통화 이미지 데이터를 수신할 수 있고, 이로부터 파트너의 이미지(1440)를 인식할 수 있다. 다음으로, HMD(1420)는 파트너의 이미지(1440)를 디스플레이하는 영상 통화 인터페이스(1450)를 제공할 수 있다. 도 14를 참조하면, HMD(1420)는 영상 통화 인터페이스(1450)에 HMD(1420)의 카메라(1430)를 통해 보이는 칠판의 모습이 주로 디스플레이할 수 있다. 또한, 영상 통화 파트너의 이미지(1440)는 기 설정된 위치(1410)에 작게 디스플레이될 수 있다. 여기에서, 기 설정된 위치(1410)는 영상 통화 인터페이스(1450)의 상하좌우 중 일 측에 해당할 수 있다. 따라서, HMD(1420)는 영상 통화 파트너(미도시)에 대해 유저(1410)가 카메라(1430)를 통해 보고 있는 이미지를 전송하면서, 영상 통화를 수행할 수 있다. 도 13을 참조하면, HMD(1420)는 영상 통화 파트너(미도시)에 HMD(1420)의 카메라(1430)에 의해 촬영된 'Life is short, art is long.'를 포함하는 이미지를 전송할 수 있다.
도 14의 실시예를 통해, 유저는 자신이 보고 있는 장면을 영상 통화 파트너와 공유하면서, 영상 통화를 수행할 수 있다.
도 15는 헤드 마운트 디스플레이를 이용한 영상 통화 방법의 순서도를 나타내는 도면이다. 이하 설명하는 도 15의 각 단계는 도 1에 도시된 HMD(100)의 프로세서(140)에 의해 제어될 수 있다.
먼저, HMD는 촬영한 이미지로부터 HMD를 착용한 유저의 이미지를 디텍트할 수 있다(S1510). 예를 들어, HMD는 촬영한 이미지로부터 일정 선명도를 갖는 HMD를 착용한 유저의 이미지를 디텍트할 수 있다. 여기에서, 도 3에서 상술한 바와 같이, 유저의 이미지는 HMD의 카메라 영역을 포함할 수 있다. 또한, HMD는 영상 통화를 수행하고자 하는 유저의 입력 신호 또는 영상 통화 파트너의 입력 신호를 디텍트한 후, 디텍트하는 중 또는 디텍트하기 전에 유저의 이미지를 디텍트할 수 있다.
다음으로, HMD는 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지를 인식할 수 있다(S1520). 도 4에서 상술한 바와 같이, HMD는 영상 통화 이미지 데이터를 유저의 이미지를 디텍트하기 전, 유저의 이미지를 디텍트한 후, 또는 유저의 이미지를 디텍트하는 동시에, 영상 통화 파트너로부터 수신할 수 있다.
다음으로, HMD는 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공할 수 있다(S1530). 도 4에서 상술한 바와 같이, HMD는 파트너의 이미지가 HMD의 카메라 영역의 위치에 대응하도록, 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공할 수 있다. 일 예로서, HMD는 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 파트너의 눈 영역, 및 유저의 이미지 중 카메라 영역의 위치가 동일 선상에 있도록 디스플레이할 수 있다. 다른 일 예로서, HMD는 파트너의 이미지를 HMD의 카메라 영역의 위치에 오버레이하도록 디스플레이하는 영상 통화 인터페이스를 제공할 수 있다. 여기에서, HMD의 카메라 영역에 대응되는 파트너의 이미지는 파트너의 눈 영역, 얼굴 영역, 미간 영역 등을 포함할 수 있다. 또한, 도 4에서 상술한 바와 같이, HMD는 영상 통화 인터페이스에 파트너의 이미지 및 유저의 영상 통화 이미지를 동시에 디스플레이할 수 있다.
다음으로, HMD는 촬영한 이미지로부터 유저의 영상 통화 이미지를 전송할 수 있다(S1540). 도 4에서 상술한 바와 같이, 유저의 영상 통화 이미지는 유저의 이미지를 좌우 반전한 이미지에 해당할 수 있다. 아울러, 도 15에 나타난 각 단계의 순서는 상황에 따라 변경될 수도 있다.
도 16은 헤드 마운트 디스플레이를 이용한 영상 통화 방법의 순서도를 나타내는 도면이다. 도 16의 각 단계는 도 1에 도시된 HMD(100)의 프로세서(140)에 의해 제어될 수 있다. 도 16의 실시예에서, 전술한 도 15의 실시예와 동일하거나 상응하는 부분은 자세한 설명을 생략하도록 한다.
먼저, HMD는 촬영한 이미지로부터 유저 이미지를 디텍트할 수 있는지 결정할 수 있다(S1610). 예를 들어, 도 3 및 도 5에서 상술한 바와 같이, HMD에 장착된 카메라는 적어도 일부의 유저 이미지를 디텍트할 수 있다. 또한, 예를 들어, 도 7에서 상술한 바와 같이, HMD에 장착된 카메라는 유저 이미지를 전혀 디텍트하지 못할 수도 있다.
S1610 단계에서, 촬영한 이미지로부터 유저 이미지가 디텍트 가능한 경우, HMD는 촬영한 이미지를 디스플레이하기 위한 유저 입력을 수신하였는지 결정할 수 있다(S1620). 이는 도 10에서 상술한 바와 같이, 영상 통화를 시작하기 전에, 또는 영상 통화 도중에, HMD가 유저 입력에 의해 촬영된 이미지 또는 대체 이미지를 영상 통화 이미지로 사용할 것인지를 결정할 수 있다.
S1620 단계에서, 촬영한 이미지를 디스플레이하는 유저 입력을 수신한 경우, HMD는 촬영한 이미지로부터 유저의 이미지를 디텍트할 수 있다(S1630). 다음으로, HMD는 수신된 영상 통화 이미지 데이터로부터 파트너 이미지를 인식할 수 있다(S1640). 다음으로, HMD는 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공할 수 있다(S1650). 다음으로, HMD는 촬영한 이미지로부터 유저의 영상 통화 이미지를 전송할 수 있다(S1660).
한편, S1610 단계에서, 촬영한 이미지로부터 유저 이미지를 디텍트할 수 없는 경우 및 S1620 단계에서 촬영 이미지 디스플레이를 위한 유저 입력을 수신하지 못한 경우, HMD는 대체 이미지를 영상 통화 파트너에 전송할 수 있다(S1670). 도 9에서 상술한 바와 같이, 대체 이미지는 기 저장된 유저의 이미지 또는 연예인의 이미지를 포함할 수 있다. 또한, 도 11에서 상술한 바와 같이, HMD는 촬영한 이미지로부터 HMD의 카메라 영역의 적어도 일부가 디텍트되지 않는 경우, 이를 나타내는 노티스를 제공할 수 있다.
다음으로, HMD는 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공할 수 있다(S1680). 도 9에서 상술한 바와 같이, HMD는 영상 통화 인터페이스에 파트너의 이미지 및 대체 이미지를 함께 디스플레이할 수 있다. 아울러, 도 16에 나타난 각 단계의 순서는 상황에 따라 변경될 수도 있다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 명세서에 따른 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 명세서의 헤드 마운트 디스플레이를 이용한 영상 통화 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 명세서의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 명세서의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안될 것이다.
그리고 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
100: HMD
110: 디스플레이 유닛
120: 커뮤니케이션 유닛
130: 카메라 유닛
140: 프로세서
150: 스토리지 유닛

Claims (21)

  1. 헤드 마운트 디스플레이(HMD)에 있어서,
    이미지를 출력하는 디스플레이 유닛;
    영상 통화 이미지 데이터를 송신 및 수신하는 커뮤니케이션 유닛;
    상기 HMD의 앞 방향의 이미지를 촬영하는 카메라 유닛; 및
    상기 디스플레이 유닛, 상기 커뮤니케이션 유닛 및 상기 카메라 유닛을 제어하는 프로세서를 포함하고,
    상기 프로세서는
    상기 촬영한 이미지로부터 상기 HMD를 착용한 유저의 이미지를 디텍트하되, 상기 유저의 이미지는 상기 HMD의 카메라 영역을 포함함,
    상기 수신된 영상 통화 이미지 데이터로부터 파트너의 이미지를 인식하고,
    상기 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공하되, 상기 영상 통화 인터페이스는 상기 파트너의 이미지를 상기 HMD의 카메라 영역의 위치에 대응하도록, 상기 파트너의 이미지를 디스플레이하고,
    상기 촬영한 이미지로부터 유저의 영상 통화 이미지를 전송하는, 헤드 마운트 디스플레이.
  2. 제 1 항에 있어서,
    상기 촬영한 이미지는 반사체에 반사된 상기 HMD를 착용한 유저의 이미지를 포함하는, 헤드 마운트 디스플레이.
  3. 제 1 항에 있어서,
    상기 전송된 유저의 영상 통화 이미지는 상기 촬영한 이미지를 좌우 반전한 이미지에 해당하는, 헤드 마운트 디스플레이.
  4. 제 1 항에 있어서,
    상기 유저의 이미지는 상기 HMD의 화각 영역 내에서 디텍트된 이미지에 해당하는, 헤드 마운트 디스플레이.
  5. 제 1 항에 있어서,
    상기 프로세서는
    상기 파트너의 이미지가 상기 HMD의 카메라 영역의 위치에 오버레이 하도록 상기 영상 통화 인터페이스를 디스플레이하는, 헤드 마운트 디스플레이.
  6. 제 1 항에 있어서,
    상기 프로세서는
    상기 HMD의 화각 영역 내에서, 상기 파트너의 이미지 및 상기 HMD의 카메라 영역의 위치가 동일 방향에 위치하도록 상기 영상 통화 인터페이스를 디스플레이하는, 헤드 마운트 디스플레이.
  7. 제 1 항에 있어서,
    상기 프로세서는
    상기 촬영한 이미지로부터 상기 HMD의 카메라 영역의 적어도 일부가 디텍트되지 않는 경우, 디텍트할 수 없음을 나타내는 노티스를 제공하는 것을 더 포함하는, 헤드 마운트 디스플레이.
  8. 제 7 항에 있어서,
    상기 노티스는 상기 HMD의 카메라 영역이 디텍트 되기 위해 이동해야할 방향 및 거리 중 적어도 하나를 나타내는, 헤드 마운트 디스플레이.
  9. 제 1 항에 있어서,
    상기 프로세서는
    상기 촬영한 이미지로부터 상기 HMD를 착용한 이미지가 디텍트 되지 않는 경우, 대체 이미지를 전송하는 것을 더 포함하는, 헤드 마운트 디스플레이.
  10. 제 1 항에 있어서,
    상기 프로세서는
    상기 촬영한 이미지 또는 대체 이미지를 전송할 것인지 여부를 결정하는 영상 통화 이미지 결정 인터페이스를 제공하는 것을 더 포함하는, 헤드 마운트 디스플레이.
  11. 제 1 항에 있어서,
    상기 유저의 영상 통화 이미지는
    상기 HMD를 착용한 유저의 이미지 및 대체 이미지 중 적어도 하나를 포함하는, 헤드 마운트 디스플레이.
  12. 제 1 항에 있어서,
    상기 프로세서는
    상기 영상 통화 인터페이스에서 상기 파트너의 이미지 및 상기 유저의 영상 통화 이미지를 함께 디스플레이하는, 헤드 마운트 디스플레이.
  13. 제 1 항에 있어서,
    상기 프로세서는
    상기 촬영한 이미지로부터 상기 HMD를 착용한 이미지가 디텍트되지 않는 경우, 상기 영상 통화 인터페이스에서 상기 HMD의 카메라에 의해 촬영한 이미지 및 상기 파트너의 이미지를 디스플레이하는, 헤드 마운트 디스플레이.
  14. 제 1 항에 있어서,
    상기 유저의 영상 통화 이미지는 상기 촬영한 이미지에서 상기 HMD의 상기 카메라 영역을 포함하는 주변 영역에 해당하는, 헤드 마운트 디스플레이.
  15. 제 1 항에 있어서,
    상기 프로세서는
    상기 인식된 파트너의 이미지가 기 설정된 크기 범위에 해당하는 경우, 상기 파트너의 이미지 중 눈 영역을 상기 HMD의 카메라 영역의 위치에 대응시키는, 헤드 마운트 디스플레이.
  16. 제 1 항에 있어서,
    상기 프로세서는
    인식된 상기 파트너의 이미지가 기 설정된 크기 범위에 해당하지 않는 경우, 상기 파트너의 이미지 중 얼굴 영역을 상기 HMD의 카메라 영역의 위치에 대응시키는, 헤드 마운트 디스플레이.
  17. 제 1 항에 있어서,
    상기 프로세서는
    인식된 상기 파트너의 이미지가 기 설정된 크기 범위에 해당하지 않는 경우, 상기 파트너의 이미지를 확대하여 상기 영상 통화 인터페이스에 디스플레이하는, 헤드 마운트 디스플레이.
  18. 제 1 항에 있어서,
    상기 프로세서는
    상기 영상 통화 인터페이스의 위치 및 뎁스(depth) 중 적어도 하나를 조절하는 것을 더 포함하는, 헤드 마운트 디스플레이.
  19. 제 18 항에 있어서,
    상기 영상 통화 인터페이스의 위치는 상기 파트너의 이미지의 크기에 기초하여 결정되는, 헤드 마운트 디스플레이.
  20. 제 18 항에 있어서,
    상기 영상 통화 인터페이스의 위치는 상기 유저의 설정에 기초하여 결정되는, 헤드 마운트 디스플레이.
  21. 헤드 마운트 디스플레이(HMD)를 이용한 영상 통화 방법에 있어서,
    촬영한 이미지로부터 상기 HMD를 착용한 유저의 이미지를 디텍트하는 단계로서, 상기 유저의 이미지는 상기 HMD의 카메라 영역을 포함함;
    수신된 영상 통화 이미지 데이터로부터 파트너의 이미지를 인식하는 단계;
    상기 파트너의 이미지를 디스플레이하는 영상 통화 인터페이스를 제공하는 단계로서, 상기 영상 통화 인터페이스는 상기 파트너의 이미지를 상기 HMD의 카메라 영역의 위치에 대응하도록, 상기 파트너의 이미지를 디스플레이함; 및
    상기 촬영한 이미지로부터 유저의 영상 통화 이미지를 전송하는 단계를 포함하는, 영상 통화 방법.
KR1020120156555A 2012-12-28 2012-12-28 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법 KR102004265B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120156555A KR102004265B1 (ko) 2012-12-28 2012-12-28 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법
US13/772,597 US9225934B2 (en) 2012-12-28 2013-02-21 Head mounted display and method of video communication using the same
PCT/KR2013/001770 WO2014104473A1 (en) 2012-12-28 2013-03-05 Head mounted display and method of video communication using the same
EP13869770.1A EP2939062A4 (en) 2012-12-28 2013-03-05 HEAD-MOUNTED DISPLAY AND METHOD FOR VIDEO COMMUNICATION THEREWITH

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120156555A KR102004265B1 (ko) 2012-12-28 2012-12-28 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법

Publications (2)

Publication Number Publication Date
KR20140086268A true KR20140086268A (ko) 2014-07-08
KR102004265B1 KR102004265B1 (ko) 2019-07-26

Family

ID=51016741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120156555A KR102004265B1 (ko) 2012-12-28 2012-12-28 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법

Country Status (4)

Country Link
US (1) US9225934B2 (ko)
EP (1) EP2939062A4 (ko)
KR (1) KR102004265B1 (ko)
WO (1) WO2014104473A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007341A (ko) * 2014-07-10 2016-01-20 넥시스 주식회사 글라스형 웨어러블 디바이스의 버스도착 알림방법 및 이를 이용한 글라스형 웨어러블 디바이스용 프로그램
WO2016006951A3 (ko) * 2014-07-10 2016-03-03 넥시스 주식회사 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
US11294450B2 (en) 2017-03-29 2022-04-05 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and system for VR interaction

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
CN103377643B (zh) * 2012-04-26 2017-02-15 富泰华工业（深圳）有限公司 字体调整系统及方法
US9270933B1 (en) * 2013-11-23 2016-02-23 Yuan Qing Jiang System and method for face-to-face video communication
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10136101B2 (en) * 2015-03-31 2018-11-20 Sony Corporation Information processing apparatus, communication system, and information processing method
JP6550885B2 (ja) * 2015-04-21 2019-07-31 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
EP3387489B1 (en) * 2015-12-07 2021-02-17 Augmency Teknoloji Sanayi Anonim Sirketi A dual function display and multi-view imaging system
JP6420500B2 (ja) 2015-12-24 2018-11-07 株式会社ソニー・インタラクティブエンタテインメント 周波数帯決定装置、ヘッドマウントディスプレイ、周波数帯決定方法及びプログラム
JP2017228044A (ja) * 2016-06-21 2017-12-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法
KR102574874B1 (ko) * 2017-02-03 2023-09-05 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
WO2018182634A1 (en) * 2017-03-30 2018-10-04 Intel Corporation Light emitting display
US20190036992A1 (en) * 2017-06-09 2019-01-31 Charles D. Stewart Surgical communications systems and related methods
EP3489882A1 (en) * 2017-11-27 2019-05-29 Nokia Technologies Oy An apparatus and associated methods for communication between users experiencing virtual reality
CN108337466B (zh) * 2018-02-01 2021-07-16 联想(北京)有限公司 一种视频通话方法及电子设备
US10838488B2 (en) 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US10516853B1 (en) * 2018-10-10 2019-12-24 Plutovr Aligning virtual representations to inputs and outputs
US10678323B2 (en) 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
US11054659B2 (en) * 2019-11-07 2021-07-06 Htc Corporation Head mounted display apparatus and distance measurement device thereof
US11463499B1 (en) * 2020-12-18 2022-10-04 Vr Edu Llc Storage and retrieval of virtual reality sessions state based upon participants
US11995776B2 (en) 2021-01-19 2024-05-28 Samsung Electronics Co., Ltd. Extended reality interaction in synchronous virtual spaces using heterogeneous devices

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080013347A (ko) * 2006-08-08 2008-02-13 삼성전자주식회사 화상통신 휴대용 단말기

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5936610A (en) * 1993-07-27 1999-08-10 Canon Kabushiki Kaisha Control device for image input apparatus
DE69840547D1 (de) * 1997-10-30 2009-03-26 Myvu Corp Schnittstellensystem für brillen
US6563626B1 (en) * 1999-02-25 2003-05-13 Brother Kogyo Kabushiki Kaisha Display device
US6507356B1 (en) 2000-10-13 2003-01-14 At&T Corp. Method for improving video conferencing and video calling
US20040155956A1 (en) 2003-02-03 2004-08-12 Libbey Kent Alexander System for maintaining eye contract during videoconferencing
GB0321083D0 (en) * 2003-09-09 2003-10-08 British Telecomm Video communications method and system
US8599239B2 (en) 2004-04-21 2013-12-03 Telepresence Technologies, Llc Telepresence systems and methods therefore
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
KR20120064545A (ko) 2010-12-09 2012-06-19 한국전자통신연구원 시선일치 기능을 구비한 영상통화 장치 및 그 방법
US9007415B2 (en) * 2010-12-16 2015-04-14 Mitel Networks Corporation Method and system for audio-video communications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080013347A (ko) * 2006-08-08 2008-02-13 삼성전자주식회사 화상통신 휴대용 단말기

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007341A (ko) * 2014-07-10 2016-01-20 넥시스 주식회사 글라스형 웨어러블 디바이스의 버스도착 알림방법 및 이를 이용한 글라스형 웨어러블 디바이스용 프로그램
WO2016006951A3 (ko) * 2014-07-10 2016-03-03 넥시스 주식회사 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
US11294450B2 (en) 2017-03-29 2022-04-05 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and system for VR interaction

Also Published As

Publication number Publication date
US9225934B2 (en) 2015-12-29
US20140184724A1 (en) 2014-07-03
EP2939062A1 (en) 2015-11-04
KR102004265B1 (ko) 2019-07-26
WO2014104473A1 (en) 2014-07-03
EP2939062A4 (en) 2016-08-03

Similar Documents

Publication Publication Date Title
KR102004265B1 (ko) 헤드 마운트 디스플레이 및 이를 이용한 영상 통화 방법
US10114466B2 (en) Methods and systems for hands-free browsing in a wearable computing device
US10009542B2 (en) Systems and methods for environment content sharing
US9360671B1 (en) Systems and methods for image zoom
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
KR102063076B1 (ko) 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
US8866879B2 (en) Mobile terminal and method of controlling an image photographing therein
KR101969351B1 (ko) 헤드 마운트 디스플레이 및 그 출력 제어 방법
US20130222638A1 (en) Image Capture Based on Gaze Detection
US20160011724A1 (en) Hands-Free Selection Using a Ring-Based User-Interface
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
KR20150034558A (ko) 헤드 마운트 디스플레이 및 제어 방법
US20170115736A1 (en) Photo-Based Unlock Patterns
EP3039476B1 (en) Head mounted display device and method for controlling the same
US20200264433A1 (en) Augmented reality display device and interaction method using the augmented reality display device
KR20150034449A (ko) 헤드 마운트 디스플레이 및 제어 방법
JP2015115034A (ja) 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
KR20150034448A (ko) 헤드 마운트 디스플레이 및 제어 방법
US20150130688A1 (en) Utilizing External Devices to Offload Text Entry on a Head Mountable Device
US20150271457A1 (en) Display device, image display system, and information processing method
JP2018180051A (ja) 電子機器及びその制御方法
JP2016004402A (ja) 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
CN105683813B (zh) 头戴式显示器及其控制方法
CA2842264C (en) A device with enhanced augmented reality functionality
US20150194132A1 (en) Determining a Rotation of Media Displayed on a Display Device by a Wearable Computing Device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant