KR20160051384A - 웨어러블 디바이스 및 그 제어 방법 - Google Patents

웨어러블 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20160051384A
KR20160051384A KR1020140151288A KR20140151288A KR20160051384A KR 20160051384 A KR20160051384 A KR 20160051384A KR 1020140151288 A KR1020140151288 A KR 1020140151288A KR 20140151288 A KR20140151288 A KR 20140151288A KR 20160051384 A KR20160051384 A KR 20160051384A
Authority
KR
South Korea
Prior art keywords
screen
virtual
wearable device
area
image
Prior art date
Application number
KR1020140151288A
Other languages
English (en)
Other versions
KR102029756B1 (ko
Inventor
우지환
최원희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140151288A priority Critical patent/KR102029756B1/ko
Priority to US14/730,769 priority patent/US10209513B2/en
Publication of KR20160051384A publication Critical patent/KR20160051384A/ko
Application granted granted Critical
Publication of KR102029756B1 publication Critical patent/KR102029756B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

웨어러블 디바이스(wearable device)가 개시된다. 사용자 신체에 착용 가능한 웨어러블 디바이스는, 적어도 하나의 프로젝터를 포함하는 영상 투사부, 촬영부 및, 촬영부를 통해 촬영된 영상에서 타겟 영역을 검출하고, 타겟 영역의 형상에 대응되도록 구성한 가상 UI 화면을 상기 타겟 영역에 투사하도록 영상 투사부를 제어하고, 가상 UI 화면을 통해 입력된 사용자 인터렉션에 따라 대응되는 기능을 수행하는 프로세서를 포함한다.

Description

웨어러블 디바이스 및 그 제어 방법 { Wearable device and control method thereof }
본 발명은 웨어러블 디바이스 및 그 제어 방법에 대한 것으로, 보다 상세하게는 프로젝션을 구비한 웨어러블 디바이스 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 디스플레이 장치가 개발되고 있다. 특히, TV, PC, 랩탑 컴퓨터, 태블릿 PC, 휴대폰, MP3 플레이어 등과 같은 디스플레이 장치들은 대부분의 가정에서 사용될 정도로 보급율이 높다.
최근에는 더 새롭고 다양한 기능을 원하는 사용자의 니즈(needs)에 부합하기 위하여, 디스플레이 장치를 좀 더 새로운 형태로 개발하기 위한 노력이 이루어지고 있으며, 일 예로 웨어러블 디바이스가 있다.
웨어러블 디바이스(wearable device)란 플렉서블한 재질(예를 들어, 실리콘 고무)로 이루어져, 사용자가 착용할 수 있는 디바이스를 의미한다.
이러한 웨어러블 디바이스는 기존의 디스플레이 장치와 달리 사용자 신체에 착용할 수 있어 편리하다는 장점이 있지만, 디스플레이 화면이 타 사용자 단말 장치에 비해 작다는 문제점이 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 영상 투사 영역을 자동으로 검출하여, 검출된 투사 영역에 적합한 UI 화면을 구성하여 제공할 수 있는 웨어러블 디바이스 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사용자 신체에 착용 가능한 웨어러블 디바이스(wearable device)는, 적어도 하나의 프로젝터를 포함하는 영상 투사부, 촬영부 및, 상기 촬영부를 통해 촬영된 영상에서 타겟 영역을 검출하고, 상기 타겟 영역의 형상에 대응되도록 구성한 가상 UI 화면을 상기 타겟 영역에 투사하도록 상기 영상 투사부를 제어하고, 상기 가상 UI 화면을 통해 입력된 사용자 인터렉션에 따라 대응되는 기능을 수행하는 프로세서를 포함한다.
여기서, 상기 촬영부는, 전방향 렌즈(omnidirectional lens)를 포함하며, 상기 전방향 렌즈를 통해 상기 웨어러블 디바이스 착용 영역을 기준으로 전방향 촬영을 수행할 수 있다.
또한, 상기 웨어러블 디바이스는, UI 화면을 디스플레이하는 스마트 와치(smart watch) 디바이스로 구현되며, 상기 프로세서는, 상기 스마트 와치 디바이스가 착용된 손목 영역을 기준으로 전방향 촬영된 영상에서 사용자의 신체 영역을 상기 타겟 영역으로 검출하며, 상기 UI 화면을 상기 사용자의 신체 영역의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 신체 영역에 투사하도록 제어할 수 있다.
또한, 상기 웨어러블 디바이스는, HMD(Head mounted Display) 디바이스로 구현되며, 상기 프로세서는, 상기 HMD 디바이스가 착용된 헤드 영역을 기준으로 전방향 촬영된 영상에서 기설정된 공간 및 오브젝트 중 적어도 하나를 상기 타겟 영역으로 검출하며, 상기 UI 화면을 상기 검출된 기설정된 공간 및 오브젝트 중 적어도 하나의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 기설정된 공간 및 오브젝트 중 적어도 하나에 투사하도록 제어할 수 있다.
또한, 상기 프로세서는, 상기 타겟 영역의 형태 및 크기 중 적어도 하나에 기초하여 UI 화면을 확대시켜 재구성한 가상 UI 화면을 상기 타겟 영역에 투사하도록 제어할 수 있다.
또한, 상기 프로세서는, 복수의 타겟 영역이 검출되는 경우, UI 화면의 특성에 기초하여 상기 복수의 타겟 영역 중 상기 가상 UI 화면을 투사할 영역을 결정할 수 있다.
또한, 상기 프로세서는, 상기 타겟 영역에 상기 가상 UI 화면이 투사되면, 상기 가상 UI 화면이 영상 투사된 이미지를 캡쳐하여 디스플레이하도록 제어할 수 있다.
또한, 상기 프로세서는, 상기 가상 UI 화면에 대한 사용자의 터치 인터렉션이 입력되면 상기 손가락의 움직임을 트랙킹하고, 상기 트랙킹된 손가락 움직임에 따라 상기 UI 화면을 통해 입력된 사용자 명령을 판단하고, 판단된 사용자 명령에 대응되는 기능을 수행할 수 있다.
또한, 상기 프로세서는, 사용자 명령에 따라 상기 UI 화면을 포함하는 투사 영상의 색상 및 크기 중 적어도 하나를 변경하여 제공할 수 있다.
이 경우, 상기 가상 UI 화면은, 키 패드, 터치 패드, 리스트 메뉴 및 입력창 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 웨어러블 디바이스의 제어 방법은, 촬영된 영상에서 타겟 영역을 검출하는 단계, 상기 타겟 영역의 형상에 대응되도록 구성한 가상 UI 화면을 상기 타겟 영역에 투사하는 단계 및, 상기 가상 UI 화면을 통해 입력된 사용자 인터렉션에 따라 대응되는 기능을 수행하는 단계를 포함한다.
여기서, 상기 웨어러블 디바이스는, 전방향 렌즈(omnidirectional lens)를 구비하며, 상기 전방향 렌즈를 통해 상기 웨어러블 디바이스 착용 영역을 기준으로 전방향 촬영을 수행할 수 있다.
또한, 상기 웨어러블 디바이스는, UI 화면을 디스플레이하는 스마트 와치(smart watch) 디바이스로 구현되며, 상기 스마트 와치 디바이스가 착용된 손목 영역을 기준으로 전방향 촬영된 영상에서 사용자의 신체 영역을 상기 타겟 영역으로 검출하며, 상기 UI 화면을 상기 사용자의 신체 영역의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 신체 영역에 투사할 수 있다.
또한, 상기 웨어러블 디바이스는, HMD(Head mounted Display) 디바이스로 구현되며, 상기 HMD 디바이스가 착용된 헤드 영역을 기준으로 전방향 촬영된 영상에서 기설정된 공간 및 오브젝트 중 적어도 하나를 상기 타겟 영역으로 검출하며, 상기 UI 화면을 상기 검출된 기설정된 공간 및 오브젝트 중 적어도 하나의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 기설정된 공간 및 오브젝트 중 적어도 하나에 투사할 수 있다.
또한, 상기 타겟 영역에 투사하는 단계는, 상기 타겟 영역의 형태 및 크기 중 적어도 하나에 기초하여 UI 화면을 확대시켜 재구성한 가상 UI 화면을 상기 타겟 영역에 투사할 수 있다.
또한, 복수의 타겟 영역이 검출되는 경우, UI 화면의 특성에 기초하여 상기 복수의 타겟 영역 중 상기 가상 UI 화면을 투사할 영역을 결정하는 단계를 포함할 수 있다.
또한, 상기 타겟 영역에 상기 가상 UI 화면이 투사되면, 상기 가상 UI 화면이 영상 투사된 이미지를 캡쳐하여 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 사용자 인터렉션에 따라 대응되는 기능을 수행하는 단계는, 상기 가상 UI 화면에 대한 사용자의 터치 인터렉션이 입력되면 상기 손가락의 움직임을 트랙킹하고, 상기 트랙킹된 손가락 움직임에 따라 상기 UI 화면을 통해 입력된 사용자 명령을 판단하고, 판단된 사용자 명령에 대응되는 기능을 수행할 수 있다.
또한, 사용자 명령에 따라 상기 UI 화면을 포함하는 투사 영상의 색상 및 크기 중 적어도 하나를 변경하여 제공하는 단계를 더 포함할 수 있다.
여기서, 상기 가상 UI 화면은, 키 패드, 터치 패드, 리스트 메뉴 및 입력창 중 적어도 하나를 포함할 수 있다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면, 웨어러블 디바이스 주변 영역을 검출하여 사용자 인터페이싱 영역으로 이용할 수 있으므로, 웨어러블 디바이스의 입력 영역을 확대하여 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 웨어러블 디바디스의 구현 형태를 설명하기 위한 도면이다.
도 2a 및 도 2b는 본 발명의 다양한 실시 예에 따른 웨어러블 디바이스의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 타겟 영역 검출 방법을 설명하기 위한 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 5a 및 도 5b는 본 발명의 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 6a 및 도 6b는 본 발명의 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 7은 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 8은 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 9a 및 도 9b는 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 10a 및 도 10b는 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 11은 본 발명의 또 다른 실시 예에 따른 웨어러블 디바이스(100)의 구현 예를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 웨어러블 디바이스의 제어 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 자세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 웨어러블 디바디스의 구현 형태를 설명하기 위한 도면이다.
웨어러블 디바이스(wearable device)란 플렉서블한 재질(예를 들어, 실리콘 고무)로 이루어져, 사용자가 착용할 수 있는 디바이스를 의미한다. 예를 들어, 사람이나 동물이 신체에 착용할 수 있는 시계, 의복, 신발, 장갑, 안경, 모자, 장신구(예를 들어 링) 등과 같은 다양한 유형의 디바이스가 웨어러블 디바이스가 될 수 있다. 이하에서는, 손목에 착용할 수 있는 워치(watch) 또는 HMD(Head mounted Display) 형태로 구현된 웨어러블 디바이스를 기준으로 설명하지만, 웨어러블 디바이스의 종류는 이에 한정되지 않고 다양하게 구현될 수 있다.
한편, 스마트 워치 디바이스(smart watch device)(100)는 일반 시계보다 향상된 기능들을 장착하고 있는 임베디드 시스템 손목 시계를 의미한다. 스마트 워치 디바이스(100)는 모바일 앱(application)을 구동하고, 어떤 것들은 모바일 운영 체제로 구동된다. 또한 FM 라디오 기능, 오디오나 비디오 파일 재생 기능 등 모바일 미디어 플레이어 기능을 가지고 있어, 이를 블루투스 기능을 통해 헤드셋으로 들을 수도 있다. 또한, 제공되는 서비스에 따라서는 사용자가 데이터를 내려받을 수도 있고, 웹 브라우저로 자기의 계정을 설정할 수도 있다. 또한, 스마트 워치 디바이스(100)는 초기 상태에서 기설정된 패턴을 그리거나, 서명을 통해 잠금 상태를 해제하도록 구현될 수 있다. 즉, 스마트 워치 디바이스(100)는 기존의 스마트 폰에서 구현가능한 대부분의 기능이 실행가능하도록 구현될 수 있다.
스마트 워치 디바이스는 크게 단독형 스마트 워치 및 연동형 스마트 워치로 나눌 수 있다. 이들은 공통적으로 카메라, 가속도계, 온도계, 고도계, 기압계, 나침반, 크로노그래프, 계산기, 휴대 전화, 터치스크린, GPS, 지도 표시, 인포메이션 그래픽, 컴퓨터 스피커, 달력 기능, 손목 시계, SD 카드 용량 장치 인식 기능과 재충전 배터리 등을 갖추고 있다. 단독형 스마트 워치는 연동형 스마트 워치와는 달리 단독적으로 쓸 수 있게 무선 헤드셋, 마이크로폰, 통화/데이터용 모뎀, SIM 카드 슬릇 등의 자체 통신 기능을 가지고 있을 수 있다. 다만, 연동형 스마트 워치는 스마트폰과 연동을 편리하게 해서 동기화가 편리하다는 장점이 있지만, 스마트폰과 블루투스로 연결을 해야 제대로 된 사용을 할 수 있다는 단점이 있을 수 있다. 본 발명에서는, 단독형 스마트 워치의 경우를 상정하여 설명하도록 하지만, 본 발명에 따른 기술적 사상은 연동형 스마트 워치에도 적용 가능한 형태로 변형되어 적용될 수 있다.
또한, HMD(Head mounted Display)란 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치로서, 휴대하면서 영상물을 대형화면으로 즐기거나 수술이나 진단에 사용하는 의료기기에 적용할 수 있는 차세대 영상표시 장치다.
한편, 본 발명의 일 실시 예에 따른 웨어러블 디바이스(100)는 전방향 카메라를 구비함과 동시에 프로젝터를 구비하거나, 프로젝터를 구비한 스마트 폰과 통신을 수행하도록 구현될 수 있는데 이하에서는 도면을 참조하여 본원의 다양한 실시 예에 대해 구체적으로 설명하도록 한다.
도 2a 및 도 2b는 본 발명의 다양한 실시 예에 따른 웨어러블 디바이스의 구성을 나타내는 블럭도이다.
도 2a에 따르면, 웨어러블 디바이스(100)는 영상 투사부(110), 촬영부(120) 및 프로세서(130)를 포함한다. 여기서, 웨어러블 디바이스(wearable device)(100)는 사용자 신체에 착용 가능한 디바이스로, 예를 들어 스마트 와치 디바이스(smart watch device), MD(Head mounted Display) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
영상 투사부(110)는 기설정된 타겟 영역에 영상을 투사한다. 이 경우, 영상 투사부(130)는 광원, 투과성 디스플레이 장치, 투사 렌즈 등을 포함하는 형태로 구현될 수 있다.
구체적으로, 영상 투사부(130)는 웨어러블 디바이스(100)에 내장된 적어도 하나의 소형 프로젝터를 포함할 수있다. 여기서, 프로젝터는 LED 프로젝터 및 레이저 프로젝터 중 적어도 하나로 구현될 수 있으나, 이에 한정되는 것은 아니다. 여기서, LED 프로젝터는 램프에서 발생된 빛을 투과형의 LED 패널에 투과시켜 영상을 하나로 모은 후 투사 렌즈를 통해 투사 영역에 상이 맺히도록 하는 방식의 프로젝터이고, 레이저 프로젝터는 말 그대로 레이저를 통해 투사 영역 상에 맺히도록 한다.
촬영부(120)는 웨어러블 디바이스(100)가 착용된 위치를 기준으로 촬영을 수행한다.
구체적으로, 촬영부(120)는 전방향 렌즈(omnidirectional lens)를 포함하며, 전방향 렌즈를 통해 웨어러블 디바이스(100) 착용 영역을 기준으로 전방향 촬영을 수행할 수 있다. 여기서, 전방향 렌즈는 360도 전방향으로 촬영 가능한 초광각 렌즈로 구현될 수 있으나, 경우에 따라서는 180도 ~ 360도 사이의 사각(寫角)을 갖는 초광각 렌즈로 구현될 수도 있다. 특히, 촬영 결과가 물고기 눈으로 사물을 포착한 것처럼 360° 원형으로 나타나기 때문에 어안 렌즈(fisheye lens)(또는 전천(全天) 렌즈·스카이 렌즈)라 불리는 렌즈가 이용될 수 있다. 다만, 전방향 렌즈를 통해 획득된 영상은 실린더 모양의 영상이 될 수 있는데 검출부(120)는 기존의 영상 변환 방법을 통해 실린더 모양의 영상의 2차원 평면 사각형 모양의 영상을 변환할 수 있다.
프로세서(130)는 촬영부(120)를 통해 촬영된 영상에서 타겟 영역을 검출하고, 검출된 타겟 영역의 형상에 대응되도록 구성한 가상의 UI 화면을 투사하도록 제어한다.
또한, 프로세서(130)는 가상 UI 화면을 통해 입력된 사용자 인터렉션에 따라 대응되는 기능을 수행한다.
구체적으로, 프로세서(130)는 웨어러블 디바이스(100)가 스마트 와치 디바이스(smart watch device)로 구현되는 경우, 스마트 와치 디바이스가 착용된 손목 영역을 기준으로 전방향 촬영을 통해 사용자의 손 영역 및 팔 영역 중 적어도 하나를 검출할 수 있다.
이 경우, 프로세서(130)는 촬영된 영상에 대해 피부색을 이용한 피부 영역 검출을 수행한다. 즉, 어느 하나의 영상 내의 모든 화소에 대해 피부 화소 여부를 판단하고, 어느 하나의 영상 내의 각 화소가 피부 화소인지의 여부를 나타내는 피부 영상을 출력하는 역할을 한다. 구체적으로, 프로세서(130)는 입력 영상 내 모든 화소들에 대해 가우시안 혼합 모델을 사용하여 미리 생성된 피부확률 테이블값을 확인함으로써 피부 화소 여부를 판별한다. 이때, 피부 검출 방법은 이에 한정되지 않으며, 피부 영역 검출을 위해 다양한 기술이 적용될 수 있음은 물론이다. 또한, 프로세서(130)는 피부색 검출 후 필요한 경우 손 특징 정보에 기초하여 손 영역을 검출할 수 있다. 경우에 따라 프로세서(130)는 손 모양 분류기를 통해 촬영 영상에서 손 모양을 분류해 낼 수도 있다.
또한, 프로세서(130)는, 웨어러블 디바이스가, HMD(Head mounted Display) 디바이스로 구현되는 경우, HMD 디바이스가 착용된 헤드 영역을 기준으로 전방향 촬영된 영상에서 기설정된 공간 및 오브젝트 중 적어도 하나를 상기 타겟 영역으로 검출할 수 있다. 이 경우, 프로세서(130)는 미리 정의된 영역 정보, 예를 들어 다양한 사물(현관문, 가구, TV 등)에 대한 정보에 기초하여 타겟 영역을 검출할 수 있으나, 이에 한정되는 것은 아니다.
프로세서(130)는 검출된 타겟 영역의 형태 및 크기 중 적어도 하나에 기초하여 디스플레이된 UI 화면을 재구성하고, 재구성된 가상 UI 화면을 검출된 타겟 영역에 투사하도록 제어할 수 있다.
또한, 프로세서(130)는 검출된 타겟 영역의 형태 및 크기 중 적어도 하나에 기초하여 디스플레이된 UI 화면을 확대시키고, 확대된 가상 UI 화면을 검출된 신체 영역에 투사하도록 제어할 수 있다.
또한, 프로세서(130)는 검출된 타겟 영역에 가상 UI 화면이 투사되면, 가상 UI 화면이 투사된 이미지를 캡쳐하여 디스플레이하도록 제어할 수 있다. 이 경우, 프로세서(140)는 캡쳐된 이미지를 디스플레이부(110)의 화면 사이즈에 맞게 스케일링하여 디스플레이할 수 있다.
또한, 프로세서(130)는 투사된 영상에 대한 사용자 인터렉션을 검출할 수 있다.
구체적으로, 프로세서(130)는 촬영부(120)를 통해 촬영된 영상에서 사용자의 손가락 움직임, 특히 손가락 끝의 움직임에 대한 트랙킹 정보를 산출할 수 있다. 이 경우, 프레세서(130)는 영상 분석 프로그램을 이용하여 사용자 촬영 이미지로부터 사용자의 손을 검출하고 사용자의 손가락 위치를 트랙킹한다. 구체적으로, 프로세서(130)는 이전 프레임 및 현재 프레임에서 검출된 사용자 손가락 위치에 기초하여 사용자 손가락 움직임을 트랙킹하여 트래킹 정보를 산출하고, 트래킹 정보에 대응되는 사용자 명령을 판단하고, 판단된 사용자 명령에 대응되는 기능을 수행할 수 있다. 한편, 사용자 손가락 움직임 검출을 위한 촬영 이미지를 생성하는데 있어 상술한 전방향 렌즈가 이용될 수도 있으나, 별도의 촬상 렌즈가 이용되는 것도 가능하다.
또한, 프로세서(130)는 가상 UI 화면에 대한 사용자 터치 인터렉션에 따라 가상 UI 화면에 시각적 피드백을 제공할 수 있다. 예를 들어, 프로세서(130)는 사용자에 의해 터치된 가상 UI 요소의 색상이 다른 가상 UI 요소의 색상과 식별되어 투사되도록 할 수 있다.
또한, 프로세서(130)는 검출된 적어도 하나의 타겟 영역 중 투사할 영상의 특성에 기초하여 영상을 투사할 영역을 결정할 수 있다. 예를 들어, 프로세서(130)는 투사할 영상의 크기가 작은 경우 손 등 영역을 투사 영역으로 결정하고, 투사할 영상의 크기가 큰 경우 팔 등 영역을 투사 영역으로 결정할 수 있다.
또한, 프로세서(130)는 촬영된 영상에서 기정의된 공간 또는 사물을 인식하고, 해당 공간 또는 사물에 대응되는 영역을 영상을 투사할 타겟 영역으로 결정할 수 있다. 예를 들어, 프로세서(130)는 가구, 가전, 문 등 기정의된 사물에 대응되는 공간 영역을 타겟 영역으로 결정할 수 있다.
또한, 프로세서(130)는 사용자 명령에 따라 투사 영상의 색상, 명암, 투사 방향 등을 조정할 수 있다. 예를 들어, 프로세서(130)가 자동으로 손 등 영역을 투사 영역으로 결정하고 영상을 투사하였으나, 사용자 명령에 따라 팔 등 영역을 투사 영역으로 변경할 수 있다.
한편, 상술한 실시 예에서는 프로세서(130)가 자동으로 디스플레이된 UI 화면을 신체 영역에 투사하는 것으로 설명하였지만, 경우에 따라서는 기설정된 이벤트가 있는 경우 본 발명에 따른 영상 투사 기능을 수행할 수 있다. 예를 들어, 흔들기 이벤트, 버튼 누름 이벤트 등이 있는 경우 해당 영상 투사 기능을 수행할 수 있다.
도 2b는 도 2a에 도시된 웨어러블 디바이스의 세부 구성을 나타내는 블럭도이다.
도 2b에 따르면, 웨어러블 디바이스(100')는 영상 투사부(110), 촬영부(120), 프로세서(130), 디스플레이부(140), 저장부(150), 통신부(160), 오디오 처리부(170) 및 비디오 처리부(175)를 포함한다.
디스플레이부(140)는 화면을 디스플레이한다. 여기에서, 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 GUI(Graphic User Interface) 화면, 어플리케이션 실행 화면 등을 포함할 수 있다. 예를 들어, 디스플레이부(110)는 키 패드, 터치 패드, 리스트 메뉴 및 입력창 중 적어도 하나를 포함하는 UI 화면을 디스플레이할 수 있다.
한편, 디스플레이부(140)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 특히, 디스플레이부(140)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다. 이 경우, 디스플레이부(140)은 출력 장치 이외에 사용자 인터페이스부로 사용될 수 있게 된다. 여기서, 터치스크린은 터치 입력 위치 및 면적 뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.
저장부(150)에는 웨어러블 디바이스(100')의 동작과 관련된 각종 프로그램이나 데이터, 사용자가 설정한 설정 정보, 시스템 구동 소프트웨어(Operating Software), 각종 어플리케이션 프로그램 등이 저장될 수 있다.
한편, 프로세서(130)는 저장부(150)에 저장된 각종 프로그램을 이용하여 웨어러블 디바이스(100')의 전반적인 동작을 제어한다.
프로세서(130)는 도 2b에 도시된 바와 같이, RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다. 이때, RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(150)에 저장된 각종 프로그램(또는 소프트웨어)을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. 예를 들어, 메인 CPU(133)는 저장부(150)에 저장된 영상 프로그램(또는 소프트웨어)을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 사용자 손가락 움직임을 트랙킹할 수 있다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(140)의 디스플레이 영역 내에 표시된다.
메인 CPU(133)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(133)는 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
통신부(160)는 다양한 외부 장치와 통신을 수행한다. 구체적으로, 통신부(210)는 와이파이 통신, 블루투스 통신, NFC 통신, 적외선 통신 등과 같은 다양한 통신 방식에 따라 통신을 수행할 수 있다. 특히, 통신부(160)는 웨어러블 디바이스(100')가 연동형 스마트 워치로 구현되는 경우 외부의 사용자 단말 장치(예를 들어, 스마트 폰)과 통신을 수행할 수 있다.
오디오 처리부(170)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(170)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
비디오 처리부(175)는 영상 데이터에 대한 신호 처리를 수행하는 구성요소이다. 비디오 처리부(175)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 도면에는 도시되지 않았지만, 웨어러블 디바이스(100')는 입력된 영상 신호를 디스플레이 사이즈, 디스플레이 해상도로 변환하는 기능을 하는 스케일러부(미도시), 스케일러부(미도시)에 의해 변환된 영상 신호를 디스플레이 패널의 종류의 따른 다양한 신호 포맷으로 변환하는 디스플레이 드라이버부(미도시), 투사 영상의 키스톤 보정을 수행하는 키스톤 보정부(미도시) 등의 신호 처리 모듈을 더 포함할 수 있다. 예를 들어, 키스톤 보정부(미도시)는 사용자 조정 신호에 따라 투사 영상의 각 변의 위치를 보정하여 키스톤 보정을 수행할 수 있다. 여기서, 키스톤 보정은 줌 인/아웃, 회전, 이동 등의 보정을 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 타겟 영역 검출 방법을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이 스마트 워치로 구현되는 웨어러블 디바이스(100)의 베젤 영역에 전방향 촬영이 가능한 카메라(120')가 구비되며, 해당 카메라(120')를 통해 스마트 워치가 착용된 영역을 기준으로 손 영역을 검출할 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 4a에 도시된 바에 따르면, 웨어러블 디바이스(100)가 스마트 와치로 구현되는 경우, 스마트 와치가 착용된 손목 영역을 기준으로 전방향 촬영을 통해 사용자의 손 영역(예를 들어 손등 영역)을 검출하고, 검출된 손 영역의 형태 및 크기 중 적어도 하나에 기초하여 디스플레이된 UI 화면(410)을 확대시키고, 확대된 가상 UI 화면을 손 영역에 투사하여 제공(420)할 수 있다.
또는 도 4b에 도시된 바에 따르면, 웨어러블 디바이스(100)에 디스플레이된 UI 화면(430)에 대응되는 입력을 받을 수 있는 터치 패드 기능을 하는 가상의 인터페이싱 영역(440)을 검출된 손 영역에 영상 투사 방식으로 제공하여, 사용자 필기 입력을 인식할 수 있다.
또는 도 4c에 도시된 바에 따르면, 웨어러블 디바이스(100)에서 지도 화면(450)을 제공하는 경우, 지도 화면(450)을 제어할 수 있는 터치 패드 기능을 하는 가상의 인터페이싱 영역(440)을 검출된 손 영역에 영상 투사 방식으로 제공하여, 사용자 입력을 인식할 수 있다.
도 5a 및 도 5b는 본 발명의 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 5a에 도시된 바와 같이 웨어러블 디바이스(100)에 의해 검출된 신체 영역 중 일부 영역이 UI 화면의 특성에 적합한 경우 해당 영역을 이용하여 영상을 투사할 수 있다.
예를 들어 도 5a에 도시된 바와 같이 손 등 영역과 손의 관절 영역이 모두 검출되는 경우, UI 화면에서 제공되는 UI 요소가 구분된 영역을 제공하는 손의 관절 영역에 제공하기 적합한 UI인 경우, 관절 영역에 적합하게 UI 화면을 재구성한 가상 UI 화면을 관절 영역에 투사할 수 있다.
또는 도 5b에 도시된 바와 같이 웨어러블 디바이스(100)에 의해 복수의 신체 영역이 검출되는 경우, UI 화면의 특성에 기초하여 복수의 신체 영역 중 UI 화면에 대응되는 영상을 투사할 신체 영역을 결정하여 제공할 수 있다. 예를 들어, 도 5b에 도시된 바와 같이 손 영역과 팔 등 영역이 모두 검출되는 경우, UI 화면이 구분된 영역을 제공하는 긴 영역을 제공하는 팔 등 영역에 제공하기 적합한 UI인 경우, 팔 등 영역을 투사 영역으로 선택하고, 선택된 영역에 적합하게 UI 화면을 재구성한 가상 UI 화면을 팔 등 영역에 투사할 수 있다.
도 6a 및 도 6b는 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 6a에 도시된 바와 같이 하나의 UI 요소를 투사 영역에서도 하나의 UI 요소로 투사 영역에 제공(610)할 수도 있지만, 도 6b에 도시된 바와 같이 하나의 UI 요소를 검출된 신체 영역의 형상 또는 UI 요소의 크기에 기초하여 복수 개의 UI 요소로 구분하여 투사 영역에 제공(620)할 수도 있다.
도 7은 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이 검출된 투사 영역에 한 번에 제공되기 어려운 UI 화면의 경우, 일부 UI 화면(720) 만을 투사하여 제공하고, 사용자 인터렉션에 따라 나머지 UI 화면(730)을 투사하여 제공할 수 있다. 여기서, 사용자 인터렉션은 스크롤 바(721)를 조작하는 사용자 인터렉션이 될 수 있으나, 이에 한정되는 것은 아니며, 웨어러블 디바이스(100)에 구비된 버튼 조작 등의 사용자 인터렉션도 이에 해당될 수 있다.
한편, 도 7에 도시된 바와 같이 웨어러블 디바이스(100)에 구비된 화면에는 입력창(710)과 같은 투사된 가상 UI 화면과 상호 연동된 UI 화면이 제공될 수도 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 8에 도시된 바와 같이 신체 영역 투사된 가상 UI 화면(820)에 대한 사용자의 터치 인터렉션이 입력되면 웨어러블 디바이스(100)는 손가락의 움직임을 검출하고, 검출된 손가락 움직임에 따라 가상 UI 화면(820)을 통해 입력된 사용자 명령을 판단하고, 판단된 사용자 명령에 대응되는 기능을 수행할 수 있다.
예를 들어, 도시된 바와 같이 사용자 손 등에 투사된 가상 키패드 화면(820)을 통해 특정 키(821, 822)가 누름 조작되는 사용자 인터렉션이 입력되면, 웨어러블 디바이스(100)에 디스플레이된 키패드 화면(810)에서 대응되는 키(811, 812)가 실제로 누름 조작될 수 있다. 즉, 웨어러블 디바이스(100)는 사용자 손가락의 움직임을 검출하여 손등에 투사된 UI 화면에서의 사용자 조작에 대응되는 디스플레이된 UI 화면에서의 사용자 조작을 판단할 수 있다. 여기서, 키패드 화면은 3ⅹ3 , 3ⅹ4, 4ⅹ3, 4ⅹ4 형태의 키보드 화면이 될 수 있으나 이에 한정되는 것은 아니다.
도 9a 및 도 9b는 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면들이다.
도 9a에 도시된 바와 같이 웨어러블 디바이스(100)는 촬영 영상에서 기정의된 특정 장소, 공간을 인식하는 경우, 그에 대응되는 UI 화면을 제공할 수 있다. 예를 들어, 도시된 바와 같이 기 등록된 현관문을 인식하는 경우 도어락 해제를 위한 키패드를 포함하는 가상의 UI 화면(920)을 영상 투사할 수 있다. 이 경우, 웨어러블 디바이스(100)는 가상의 UI 화면(920)를 통해 입력된 사용자 인터렉션을 트랙킹하여 도어락 해제 기능을 수행할 수 있다.
도 9b에 도시된 바와 같이 웨어러블 디바이스(100)는 다양한 형태의 UI를 제공하고, 사용자 인터렉션에 따라 실시간으로 가상 UI 화면의 구성을 재구성하여 제공할 수 있다. 예를 들어 도시된 바와 같이 스마트폰의 초기 화면에서 제공 가능한 아이템을 포함하는 UI 화면을 가상의 UI 화면으로 제공하고, 사용자 인터렉션에 따라 아이템의 배치 상태가 변경되는 경우, 변경되는 아이템의 배치 상태를 가상 UI 화면에 실시간으로 반영하여 제공할 수 있다.
도 10a 및 도 10b는 본 발명의 또 다른 실시 예에 따른 가상 UI 화면 제공 방법을 설명하기 위한 도면이다.
도 10a에 도시된 바와 같이 웨어러블 디바이스(100)는 촬영 영상에서 인식된 적절한 공간에 가상의 UI 화면을 제공할 수도 있으나, 도 10b에 도시된 바와 같이 기정의된 특정 사물을 인식하는 경우 해당 사물에 대응되는 공간에 가상의 UI 화면을 제공(1020)할 수도 있다. 예를 들어, 도시된 바와 같이 사용자에게 구분 인식이 가능한, 액자, 의자, 벽 등에 대응되는 공간에 가상의 UI 요소(예를 들어 키 패드를 구성하는 키)를 구분하여 제공할 수 있다.
도 11은 본 발명의 또 다른 실시 예에 따른 웨어러블 디바이스(100)의 구현 예를 설명하기 위한 도면이다.
도 11에 도시된 바와 같이 웨어러블 디바이스(100)는 외부 사용자 단말 장치(200), 예를 들어 스마트 폰과 연동하여 동작하는 형태로 구현될 수도 있다.
이 경우, 웨어러블 디바이스(100)는 외부 사용자 단말 장치(200)에 구비된 카메라, 프로젝터를 이용하는 형태로 다양하게 활용될 수도 있다.
도 12는 본 발명의 일 실시 예에 따른 웨어러블 디바이스의 제어 방법을 설명하기 위한 흐름도이다.
도 12에 도시된 웨어러블 디바이스의 제어 방법에 따르면, 웨어러블 디바이스에 구비된 카메라를 통해 촬영된 영상에서 타겟 영역을 검출한다(S1210).
이어서, 타겟 영역의 형상에 대응되도록 구성한 가상 UI 화면을 타겟 영역에 투사한다(S1220).
이 후, 가상 UI 화면을 통해 입력된 사용자 인터렉션에 따라 대응되는 기능을 수행한다(S1230).
여기서, 웨어러블 디바이스는, 전방향 렌즈(omnidirectional lens)를 구비하며, 전방향 렌즈를 통해 상기 웨어러블 디바이스 착용 영역을 기준으로 전방향 촬영을 수행할 수 있다.
또한, 웨어러블 디바이스는, UI 화면을 디스플레이하는 스마트 와치(smart watch) 디바이스로 구현되며, 스마트 와치 디바이스가 착용된 손목 영역을 기준으로 전방향 촬영된 영상에서 사용자의 신체 영역을 타겟 영역으로 검출하며, UI 화면을 상기 사용자의 신체 영역의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 신체 영역에 투사할 수 있다.
또한, 웨어러블 디바이스는, HMD(Head mounted Display) 디바이스로 구현되며, HMD 디바이스가 착용된 헤드 영역을 기준으로 전방향 촬영된 영상에서 기설정된 공간 및 오브젝트 중 적어도 하나를 타겟 영역으로 검출하며, UI 화면을 검출된 기설정된 공간 및 오브젝트 중 적어도 하나의 형상에 대응되도록 재구성한 가상 UI 화면을 검출된 기설정된 공간 및 오브젝트 중 적어도 하나에 투사할 수 있다.
또한, 가상 UI 화면을 타겟 영역에 투사하는 S1220 단계에서는, 타겟 영역의 형태 및 크기 중 적어도 하나에 기초하여 UI 화면을 확대시켜 재구성한 가상 UI 화면을 타겟 영역에 투사할 수 있다.
또한, 제어 방법은, 복수의 타겟 영역이 검출되는 경우, UI 화면의 특성에 기초하여 상기 복수의 타겟 영역 중 상기 가상 UI 화면을 투사할 영역을 결정하는 단계를 더 포함할 수 있다.
또한, 제어 방법은, 타겟 영역에 상기 가상 UI 화면이 투사되면, 가상 UI 화면이 영상 투사된 이미지를 캡쳐하여 디스플레이하는 단계를 더 포함할 수 있다.
또한, 사용자 인터렉션에 따라 대응되는 기능을 수행하는 S1230 단계에서는,가상 UI 화면에 대한 사용자의 터치 인터렉션이 입력되면 손가락의 움직임을 트랙킹하고, 트랙킹된 손가락 움직임에 따라 UI 화면을 통해 입력된 사용자 명령을 판단하고, 판단된 사용자 명령에 대응되는 기능을 수행할 수 있다.
또한, 제어 방법은, 사용자 명령에 따라 UI 화면을 포함하는 투사 영상의 색상 및 크기 중 적어도 하나를 변경하여 제공하는 단계를 더 포함할 수 있다.
여기서, 가상 UI 화면은, 키 패드, 터치 패드, 리스트 메뉴 및 입력창 중 적어도 하나를 포함할 수 있다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면, 웨어러블 디바이스의 주변 영역을 검출하여 사용자 인터페이싱 영역으로 이용할 수 있으므로, 웨어러블 디바이스의 입력 영역을 확대하여 제공할 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 제어 방법은 프로그램으로 구현되어 웨어러블 디바이스에 제공될 수 있다.
일 예로, 촬영된 영상에서 타겟 영역을 검출하는 단계, 타겟 영역의 형상에 대응되도록 구성한 가상 UI 화면을 타겟 영역에 투사하는 단계 및, 가상 UI 화면을 통해 입력된 사용자 인터렉션에 따라 대응되는 기능을 수행하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
그 밖에, 상술한 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램이 저장된 비일시적 판독 가능 매체가 제공될 수도 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 촬영부 120: 영상 투사부
130: 제어부

Claims (20)

  1. 사용자 신체에 착용 가능한 웨어러블 디바이스(wearable device)에 있어서,
    적어도 하나의 프로젝터를 포함하는 영상 투사부;
    촬영부; 및
    상기 촬영부를 통해 촬영된 영상에서 타겟 영역을 검출하고, 상기 타겟 영역의 형상에 대응되도록 구성한 가상 UI 화면을 상기 타겟 영역에 투사하도록 상기 영상 투사부를 제어하고, 상기 가상 UI 화면을 통해 입력된 사용자 인터렉션에 따라 대응되는 기능을 수행하는 프로세서;를 포함하는 웨어러블 디바이스.
  2. 제1항에 있어서,
    상기 촬영부는,
    전방향 렌즈(omnidirectional lens)를 포함하며, 상기 전방향 렌즈를 통해 상기 웨어러블 디바이스 착용 영역을 기준으로 전방향 촬영을 수행하는 것을 특징으로 하는 웨어러블 디바이스.
  3. 제2항에 있어서,
    상기 웨어러블 디바이스는, UI 화면을 디스플레이하는 스마트 와치(smart watch) 디바이스로 구현되며,
    상기 프로세서는, 상기 스마트 와치 디바이스가 착용된 손목 영역을 기준으로 전방향 촬영된 영상에서 사용자의 신체 영역을 상기 타겟 영역으로 검출하며, 상기 UI 화면을 상기 사용자의 신체 영역의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 신체 영역에 투사하도록 제어하는 것을 특징으로 하는 웨어러블 디바이스.
  4. 제2항에 있어서,
    상기 웨어러블 디바이스는, HMD(Head mounted Display) 디바이스로 구현되며,
    상기 프로세서는, 상기 HMD 디바이스가 착용된 헤드 영역을 기준으로 전방향 촬영된 영상에서 기설정된 공간 및 오브젝트 중 적어도 하나를 상기 타겟 영역으로 검출하며, 상기 UI 화면을 상기 검출된 기설정된 공간 및 오브젝트 중 적어도 하나의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 기설정된 공간 및 오브젝트 중 적어도 하나에 투사하도록 제어하는 것을 특징으로 하는 웨어러블 디바이스.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 타겟 영역의 형태 및 크기 중 적어도 하나에 기초하여 UI 화면을 확대시켜 재구성한 가상 UI 화면을 상기 타겟 영역에 투사하도록 제어하는 것을 특징으로 하는 웨어러블 디바이스.
  6. 제1항에 있어서,
    상기 프로세서는,
    복수의 타겟 영역이 검출되는 경우, UI 화면의 특성에 기초하여 상기 복수의 타겟 영역 중 상기 가상 UI 화면을 투사할 영역을 결정하는 것을 특징으로 하는 웨어러블 디바이스.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 타겟 영역에 상기 가상 UI 화면이 투사되면, 상기 가상 UI 화면이 영상 투사된 이미지를 캡쳐하여 디스플레이하도록 제어하는 것을 특징으로 하는 웨어러블 디바이스.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 가상 UI 화면에 대한 사용자의 터치 인터렉션이 입력되면 상기 손가락의 움직임을 트랙킹하고, 상기 트랙킹된 손가락 움직임에 따라 상기 UI 화면을 통해 입력된 사용자 명령을 판단하고, 판단된 사용자 명령에 대응되는 기능을 수행하는 것을 특징으로 하는 웨어러블 디바이스.
  9. 제1항에 있어서,
    상기 프로세서는,
    사용자 명령에 따라 상기 UI 화면을 포함하는 투사 영상의 색상 및 크기 중 적어도 하나를 변경하여 제공하는 특징으로 하는 웨어러블 디바이스.
  10. 제1항에 있어서,
    상기 가상 UI 화면은,
    키 패드, 터치 패드, 리스트 메뉴 및 입력창 중 적어도 하나를 포함하는 것을 특징으로 하는 웨어러블 디바이스.
  11. 웨어러블 디바이스의 제어 방법에 있어서,
    촬영된 영상에서 타겟 영역을 검출하는 단계;
    상기 타겟 영역의 형상에 대응되도록 구성한 가상 UI 화면을 상기 타겟 영역에 투사하는 단계; 및
    상기 가상 UI 화면을 통해 입력된 사용자 인터렉션에 따라 대응되는 기능을 수행하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 웨어러블 디바이스는, 전방향 렌즈(omnidirectional lens)를 구비하며, 상기 전방향 렌즈를 통해 상기 웨어러블 디바이스 착용 영역을 기준으로 전방향 촬영을 수행하는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 웨어러블 디바이스는, UI 화면을 디스플레이하는 스마트 와치(smart watch) 디바이스로 구현되며,
    상기 스마트 와치 디바이스가 착용된 손목 영역을 기준으로 전방향 촬영된 영상에서 사용자의 신체 영역을 상기 타겟 영역으로 검출하며, 상기 UI 화면을 상기 사용자의 신체 영역의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 신체 영역에 투사하는 것을 특징으로 하는 제어 방법.
  14. 제12항에 있어서,
    상기 웨어러블 디바이스는, HMD(Head mounted Display) 디바이스로 구현되며,
    상기 HMD 디바이스가 착용된 헤드 영역을 기준으로 전방향 촬영된 영상에서 기설정된 공간 및 오브젝트 중 적어도 하나를 상기 타겟 영역으로 검출하며, 상기 UI 화면을 상기 검출된 기설정된 공간 및 오브젝트 중 적어도 하나의 형상에 대응되도록 재구성한 가상 UI 화면을 상기 검출된 기설정된 공간 및 오브젝트 중 적어도 하나에 투사하는 것을 특징으로 하는 제어 방법.
  15. 제11항에 있어서,
    상기 타겟 영역에 투사하는 단계는,
    상기 타겟 영역의 형태 및 크기 중 적어도 하나에 기초하여 UI 화면을 확대시켜 재구성한 가상 UI 화면을 상기 타겟 영역에 투사하는 것을 특징으로 하는 제어 방법.
  16. 제11항에 있어서,
    복수의 타겟 영역이 검출되는 경우, UI 화면의 특성에 기초하여 상기 복수의 타겟 영역 중 상기 가상 UI 화면을 투사할 영역을 결정하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  17. 제11항에 있어서,
    상기 타겟 영역에 상기 가상 UI 화면이 투사되면, 상기 가상 UI 화면이 영상 투사된 이미지를 캡쳐하여 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  18. 제11항에 있어서,
    상기 사용자 인터렉션에 따라 대응되는 기능을 수행하는 단계는,
    상기 가상 UI 화면에 대한 사용자의 터치 인터렉션이 입력되면 상기 손가락의 움직임을 트랙킹하고, 상기 트랙킹된 손가락 움직임에 따라 상기 UI 화면을 통해 입력된 사용자 명령을 판단하고, 판단된 사용자 명령에 대응되는 기능을 수행하는 것을 특징으로 하는 제어 방법.
  19. 제11항에 있어서,
    사용자 명령에 따라 상기 UI 화면을 포함하는 투사 영상의 색상 및 크기 중 적어도 하나를 변경하여 제공하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  20. 제11항에 있어서,
    상기 가상 UI 화면은,
    키 패드, 터치 패드, 리스트 메뉴 및 입력창 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
KR1020140151288A 2014-11-03 2014-11-03 웨어러블 디바이스 및 그 제어 방법 KR102029756B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140151288A KR102029756B1 (ko) 2014-11-03 2014-11-03 웨어러블 디바이스 및 그 제어 방법
US14/730,769 US10209513B2 (en) 2014-11-03 2015-06-04 Wearable device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140151288A KR102029756B1 (ko) 2014-11-03 2014-11-03 웨어러블 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160051384A true KR20160051384A (ko) 2016-05-11
KR102029756B1 KR102029756B1 (ko) 2019-10-08

Family

ID=55854135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140151288A KR102029756B1 (ko) 2014-11-03 2014-11-03 웨어러블 디바이스 및 그 제어 방법

Country Status (2)

Country Link
US (1) US10209513B2 (ko)
KR (1) KR102029756B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008888A1 (en) * 2016-07-05 2018-01-11 Samsung Electronics Co., Ltd. Electronic device and screen display method thereof
KR200485654Y1 (ko) 2016-08-02 2018-02-05 이승환 적외선을 이용한 웨어러블 디바이스의 트랙 패드
WO2019164048A1 (ko) * 2018-02-24 2019-08-29 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
CN113038100A (zh) * 2021-03-10 2021-06-25 维沃移动通信有限公司 投影控制方法、投影控制装置、电子设备和可读存储介质
KR20220058306A (ko) * 2020-10-30 2022-05-09 주식회사 유캔스타 몰입형 vr 체험공간에서 모션 베이스 및 트래커를 이용한 위치기반 컨텐츠 제공 시스템 및 방법
WO2024058472A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 어플리케이션에 대한 정보를 외부 디스플레이를 통해 제공하는 웨어러블 장치 및 상기 웨어러블 장치의 제어 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180101277A9 (en) * 2014-09-24 2018-04-12 Evan John Kaye Skin Touchpad
KR101909540B1 (ko) * 2014-10-23 2018-10-18 삼성전자주식회사 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법
US20160178906A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Virtual wearables
FR3034889B1 (fr) * 2015-04-10 2017-04-28 Cn2P Sas Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras
EP3168711A1 (en) * 2015-11-11 2017-05-17 ams AG Method, optical sensor arrangement and computer program product for passive optical motion detection
US9939843B2 (en) * 2016-01-05 2018-04-10 360fly, Inc. Apparel-mountable panoramic camera systems
JP6880075B2 (ja) 2016-05-20 2021-06-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ユーザインターフェースメニューのコンテキスト認識
CN107450659A (zh) * 2016-05-31 2017-12-08 中兴通讯股份有限公司 可穿戴设备
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
KR102358849B1 (ko) * 2017-06-01 2022-02-08 삼성전자주식회사 스마트 워치에 대한 정보를 제공하는 전자 장치와 이의 동작 방법
KR102408359B1 (ko) * 2017-08-23 2022-06-14 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2019079790A1 (en) * 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
TWI631437B (zh) * 2017-11-06 2018-08-01 許家維 雷射投射鐘
RU2765237C2 (ru) * 2018-03-16 2022-01-27 Дмитрий Леонидович Раков Способ ввода информации и устройство для его осуществления
US10585532B2 (en) * 2018-03-26 2020-03-10 International Business Machines Corporation Obstruction free smartwatch interaction
US10782651B2 (en) * 2018-06-03 2020-09-22 Apple Inc. Image capture to provide advanced features for configuration of a wearable device
US10739819B2 (en) * 2018-10-24 2020-08-11 Affan Arshad Wearable smart device
CN110109721A (zh) * 2019-04-01 2019-08-09 努比亚技术有限公司 一种可穿戴设备控制方法、系统、可穿戴设备及存储介质
US11710310B2 (en) * 2019-06-19 2023-07-25 Apple Inc. Virtual content positioned based on detected object
CN110427124B (zh) * 2019-07-19 2023-12-08 维沃移动通信有限公司 一种投影装置、可穿戴设备及检测控制方法
CN112422933A (zh) * 2019-08-21 2021-02-26 台达电子工业股份有限公司 投影装置、投影系统以及运行方法
US11861066B2 (en) * 2021-03-15 2024-01-02 Korea Advanced Institute Of Science And Technology Computer system for providing tactile interface for real-time two-dimensional tactile input/output interaction of visually impaired people, and operating method thereof
US11622095B1 (en) 2021-09-22 2023-04-04 International Business Machines Corporation Technology for assistance with a view obstructed by a users hand
US11847256B2 (en) * 2022-03-04 2023-12-19 Humane, Inc. Presenting and aligning laser projected virtual interfaces
US11657740B1 (en) * 2022-04-18 2023-05-23 Qualcomm Incoporated Displaying directional visual indicators from a wearable device for navigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
US20140055352A1 (en) * 2012-11-01 2014-02-27 Eyecam Llc Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
JP2014067388A (ja) * 2012-09-06 2014-04-17 Toshiba Alpine Automotive Technology Corp アイコン操作装置
KR20140069660A (ko) * 2012-11-29 2014-06-10 삼성전자주식회사 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896578B2 (en) * 2010-05-03 2014-11-25 Lg Electronics Inc. Mobile terminal and method of controlling the same
EP2713251A4 (en) 2011-07-04 2014-08-06 Huawei Device Co Ltd METHOD AND ELECTRONIC DEVICE FOR VIRTUAL HANDWRITTEN ENTRY
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582035B2 (en) * 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
TW201528048A (zh) * 2014-01-03 2015-07-16 Egismos Technology Corp 影像式虛擬互動裝置及其實施方法
CN104866170B (zh) * 2014-02-24 2018-12-14 联想(北京)有限公司 一种信息处理方法及电子设备
US9785247B1 (en) * 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
US10198030B2 (en) * 2014-05-15 2019-02-05 Federal Express Corporation Wearable devices for courier processing and methods of use thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
JP2014067388A (ja) * 2012-09-06 2014-04-17 Toshiba Alpine Automotive Technology Corp アイコン操作装置
US20140055352A1 (en) * 2012-11-01 2014-02-27 Eyecam Llc Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
KR20140069660A (ko) * 2012-11-29 2014-06-10 삼성전자주식회사 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008888A1 (en) * 2016-07-05 2018-01-11 Samsung Electronics Co., Ltd. Electronic device and screen display method thereof
US10802623B2 (en) 2016-07-05 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and screen display method thereof
KR200485654Y1 (ko) 2016-08-02 2018-02-05 이승환 적외선을 이용한 웨어러블 디바이스의 트랙 패드
WO2019164048A1 (ko) * 2018-02-24 2019-08-29 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
KR20190102124A (ko) * 2018-02-24 2019-09-03 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
KR20220058306A (ko) * 2020-10-30 2022-05-09 주식회사 유캔스타 몰입형 vr 체험공간에서 모션 베이스 및 트래커를 이용한 위치기반 컨텐츠 제공 시스템 및 방법
CN113038100A (zh) * 2021-03-10 2021-06-25 维沃移动通信有限公司 投影控制方法、投影控制装置、电子设备和可读存储介质
CN113038100B (zh) * 2021-03-10 2023-08-15 维沃移动通信有限公司 投影控制方法、投影控制装置、电子设备和可读存储介质
WO2024058472A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 어플리케이션에 대한 정보를 외부 디스플레이를 통해 제공하는 웨어러블 장치 및 상기 웨어러블 장치의 제어 방법

Also Published As

Publication number Publication date
US10209513B2 (en) 2019-02-19
US20160127624A1 (en) 2016-05-05
KR102029756B1 (ko) 2019-10-08

Similar Documents

Publication Publication Date Title
KR102029756B1 (ko) 웨어러블 디바이스 및 그 제어 방법
JP7247390B2 (ja) ユーザインタフェースカメラ効果
US11212449B1 (en) User interfaces for media capture and management
US20210405761A1 (en) Augmented reality experiences with object manipulation
DK180470B1 (en) Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US20220382440A1 (en) User interfaces for managing media styles
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US11520456B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
US20220261066A1 (en) Systems, Methods, and Graphical User Interfaces for Automatic Measurement in Augmented Reality Environments
KR102610120B1 (ko) Hmd 디바이스 및 그 제어 방법
WO2020030065A1 (zh) 应用程序的显示适配方法、装置、设备及存储介质
US11954245B2 (en) Displaying physical input devices as virtual objects
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
US10353550B2 (en) Device, method, and graphical user interface for media playback in an accessibility mode
US20170269712A1 (en) Immersive virtual experience using a mobile communication device
KR102308201B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20160154777A1 (en) Device and method for outputting response
KR102413074B1 (ko) 사용자 단말, 전자 장치 및 이들의 제어 방법
CN109804618B (zh) 用于显示图像的电子设备和计算机可读记录介质
KR102325339B1 (ko) 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
WO2020226956A1 (en) Device, method, and graphical user interface for generating cgr objects
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant