KR20200075521A - 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법 - Google Patents

정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20200075521A
KR20200075521A KR1020180164298A KR20180164298A KR20200075521A KR 20200075521 A KR20200075521 A KR 20200075521A KR 1020180164298 A KR1020180164298 A KR 1020180164298A KR 20180164298 A KR20180164298 A KR 20180164298A KR 20200075521 A KR20200075521 A KR 20200075521A
Authority
KR
South Korea
Prior art keywords
area
display
electronic device
processor
wearable device
Prior art date
Application number
KR1020180164298A
Other languages
English (en)
Other versions
KR102539579B1 (ko
Inventor
문춘경
이주은
정신재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180164298A priority Critical patent/KR102539579B1/ko
Priority to US16/718,354 priority patent/US11302037B2/en
Priority to PCT/KR2019/018046 priority patent/WO2020130648A1/en
Publication of KR20200075521A publication Critical patent/KR20200075521A/ko
Application granted granted Critical
Publication of KR102539579B1 publication Critical patent/KR102539579B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

다양한 실시예들에 따른, 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치는, 제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이와, 명령어들을 저장하는 메모리와, 통신 회로와, 상기 명령어들을 실행할 시, 사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 상기 통신 회로를 통해, 화면에 대한 데이터를 수신하고, 상기 화면에 대한 데이터를 수신하는 동안, 상기 적어도 하나의 카메라를 이용하여 상기 적어도 하나의 디스플레이의 표시 영역 내의 제1 영역이 상기 신체의 일부에 의해 가려짐을 식별하고, 상기 식별에 응답하여, 상기 제1 영역과 다른 상기 표시 영역 내의 제2 영역 안에서 상기 화면을 표시하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다.

Description

정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR ADAPTIVELY CHANGING DISPLAY AREA OF INFORMATION AND OPERATION METHOD THEREOF}
후술되는 다양한 실시예들은 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치(electronic device) 및 그의 동작 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내에 있는(reside) 객체와 연계로(as associated with) 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치(electronic device)가 개발되고 있다.
웨어러블(wearable) 장치는, 증강 현실 서비스를 제공하기 위해, 상기 웨어러블 장치의 디스플레이 상에서 가상 객체를 표시할 수 있다. 상기 가상 객체는 실제 세계(real-world) 내에 있는(reside) 외부 객체(external object)와 함께 제공되기 때문에, 상기 외부 객체는 상기 가상 객체의 시인성(visibility)에 영향을 미칠 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따른, 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치는, 제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이와, 명령어들을 저장하는 메모리와, 통신 회로와, 상기 명령어들을 실행할 시, 사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 상기 통신 회로를 통해, 화면에 대한 데이터를 수신하고, 상기 화면에 대한 데이터를 수신하는 동안, 상기 적어도 하나의 카메라를 이용하여 상기 적어도 하나의 디스플레이의 표시 영역 내의 제1 영역이 상기 신체의 일부에 의해 가려짐을 식별하고, 상기 식별에 응답하여, 상기 제1 영역과 다른 상기 표시 영역 내의 제2 영역 안에서 상기 화면을 표시하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시예들에 따른, 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치는, 제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이와, 적어도 하나의 카메라와, 명령어들을 저장하는 메모리와, 통신 회로와, 상기 명령어들을 실행할 시, 사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 수신되는 데이터에 기반하여, 화면을 상기 적어도 하나의 디스플레이의 표시 영역의 적어도 일부 상에서 표시하고, 상기 화면을 상기 표시 영역의 적어도 일부 상에서 표시하는 동안, 상기 적어도 하나의 카메라를 이용하여 상기 신체의 일부가 상기 화면에 포함된 적어도 하나의 가상 객체를 표시하는 상기 표시 영역 내의 제1 영역으로 이동됨을 검출하고, 상기 검출에 응답하여, 상기 적어도 하나의 시각적 객체를 상기 제1 영역으로부터 상기 표시 영역 내의 제2 영역으로 이동하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시예들에 따른 웨어러블(wearable) 장치는, 제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이와, 적어도 하나의 카메라와, 명령어들을 저장하는 메모리와, 상기 명령어들을 실행할 시, 상기 적어도 하나의 디스플레이의 표시 영역 안에서 보여지는(viewed) 외부 객체(external object)에 대한 AR(augmented reality) 객체를 상기 표시 영역 내의 제1 영역 상에서 표시하고, 상기 AR 객체를 표시하는 상기 제1 영역 안에서 외부 객체와 구별되는 다른 외부 객체를 상기 적어도 하나의 카메라를 이용하여 검출하고, 상기 검출에 응답하여, 상기 AR 객체를 상기 제1 영역으로부터 변경된 상기 표시 영역 내의 제2 영역 상에서 상기 외부 객체와 연계로(as associated with) 표시하도록 구성되는 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시예들에 따른, 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치를 동작하기 위한 방법은, 사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 상기 웨어러블 장치의 통신 회로를 통해, 화면에 대한 데이터를 수신하는 동작과, 상기 화면에 대한 데이터를 수신하는 동안, 상기 웨어러블 장치의 적어도 하나의 카메라를 이용하여 상기 웨어러블 장치의 적어도 하나의 투명한 디스플레이의 표시 영역 내의 제1 영역이 상기 신체의 일부에 의해 가려짐을 식별하는 동작과, 상기 식별에 응답하여 상기 제1 영역과 다른 상기 표시 영역 내의 제2 영역 안에서 상기 화면을 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따른, 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치를 동작하기 위한 방법은, 사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 수신되는 데이터에 기반하여, 화면을 상기 웨어러블 장치의 적어도 하나의 투명한 디스플레이의 표시 영역의 적어도 일부 상에서 표시하는 동작과, 상기 화면을 상기 표시 영역의 적어도 일부 상에서 표시하는 동안, 상기 웨어러블 장치의 적어도 하나의 카메라를 이용하여, 상기 신체의 일부가 상기 화면에 포함된 적어도 하나의 가상 객체를 표시하는 상기 표시 영역 내의 제1 영역으로 이동됨을 검출하는 동작과, 상기 검출에 응답하여, 상기 적어도 하나의 시각적 객체를 상기 제1 영역으로부터 상기 표시 영역 내의 제2 영역으로 이동하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 웨어러블(wearable) 장치를 동작하기 위한 방법은, 상기 웨어러블 장치의 적어도 하나의 투명한 디스플레이의 표시 영역 안에서 보여지는(viewed) 외부 객체(external object)에 대한 AR(augmented reality) 객체를 상기 표시 영역 내의 제1 영역 상에서 표시하는 동작과, 상기 AR 객체를 표시하는 상기 제1 영역 안에서 외부 객체와 구별되는 다른 외부 객체를 상기 적어도 하나의 카메라를 이용하여 검출하는 동작과, 상기 검출에 응답하여, 상기 AR 객체를 상기 제1 영역으로부터 변경된 상기 표시 영역 내의 제2 영역 상에서 상기 외부 객체와 연계로(as associated with) 표시하는 동작을 포함할 수 있다.
다양한 실시 예들에 따른 웨어러블 장치(wearable device) 및 그의 동작 방법은, 외부 객체의 위치에 따라, 가상 객체의 표시 위치를 적응적으로 변경함으로써 상기 가상 객체의 시인성을 강화할(enhance) 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 실시예들에 따른 웨어러블 장치를 포함하는 환경들의 예를 도시한다.
도 2는 다양한 실시예들에 따른 웨어러블 장치의 기능적 구성의 예를 도시한다.
도 3은 다양한 실시예들에 따른 전자 장치의 기능적 구성의 예를 도시한다.
도 4는 다양한 실시예들에 따른 웨어러블 장치의 디스플레이의 표시 영역 내의 제1 영역의 예를 도시한다.
도 5는 다양한 실시예들에 따른 웨어러블 장치의 디스플레이의 표시 영역 내의 제1 영역의 다른 예를 도시한다.
도 6은 다양한 실시예들에 따른 웨어러블 장치의 디스플레이의 표시 영역 내의 제1 영역의 또 다른 예를 도시한다.
도 7은 다양한 실시예들에 따른 웨어러블 장치의 시각적 객체의 처리의 예를 도시한다.
도 8은 다양한 실시예들에 따른 웨어러블 장치의 시각적 객체의 처리의 다른 예를 도시한다.
도 9은 다양한 실시예들에 따른 웨어러블 장치의 시각적 객체의 처리의 또 다른 예를 도시한다.
도 10은 다양한 실시예들에 따른 전자 장치와 독립적으로 동작하는 웨어러블 장치에서 시각적 객체를 처리하는 예를 도시한다.
도 11은 다양한 실시예들에 따른 웨어러블 장치의 동작의 예를 도시한다.
도 12는 다양한 실시예들에 따라 화면의 표시를 제한하는 제1 영역을 결정하는 웨어러블 장치의 동작의 예를 도시한다.
도 13은 다양한 실시예들에 따른 웨어러블 장치의 동작의 다른 예를 도시한다.
도 14는 다양한 실시예들에 따른 제스쳐 입력에 대한 데이터를 전자 장치에게 송신하는 웨어러블 장치의 동작의 예를 도시한다.
도 15는 다양한 실시예들에 따라 가상 객체가 이동될 제2 영역을 결정하는 웨어러블 장치의 동작의 예를 도시한다.
도 16은 다양한 실시예들에 따른 웨어러블 장치의 동작의 또 다른 예를 도시한다.
도 17은 다양한 실시예들에 따라 제2 영역을 결정하는 웨어러블 장치의 동작의 예를 도시한다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)에 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 1은 다양한 실시예들에 따른 웨어러블 장치를 포함하는 환경들의 예를 도시한다.
도 1을 참조하면, 웨어러블 장치(110)는, 환경(100) 또는 환경(150) 내에, 포함될 수 있다.
다양한 실시예들에서, 웨어러블 장치(110)는, 증강 현실(augmented reality) 서비스(service)를 제공하기 위해 이용될 수 있다. 다양한 실시예들에서, 상기 증강 현실 서비스를 제공하기 위해, 웨어러블 장치(110)는, 적어도 하나의 투명한(transparent) 디스플레이를 포함할 수 있다. 상기 적어도 하나의 투명한 디스플레이는 상기 적어도 하나의 투명한 디스플레이의 제1 면으로 향하는 외부 광을 상기 적어도 하나의 투명한 디스플레이의 제2 면을 통해 투과하도록 구성되기 때문에, 상기 적어도 하나의 투명한 디스플레이는 실제 세계(real-world) 내에 있는 외부 객체와 함께 가상 객체를 표시할 수 있다. 본 문서에서, 상기 가상 객체는, 사용자에 의해 시인된다는 측면에서, 시각적 객체로 참조될 수도 있다. 다양한 실시예들에서, 상기 증강 현실 서비스를 제공하기 위해, 웨어러블 장치(110)는, 상기 외부 객체를 인식하기 위해 이용되는 카메라, 웨어러블 장치(110)를 착용한 사용자의 시선(eye)을 추적하기 위해 이용되는 카메라, 또는 그들의 조합(a combination thereof)을 포함할 수 있다. 다양한 실시예들에서, 상기 증강 현실 서비스를 제공하기 위해, 웨어러블 장치(110)는, 통신 회로를 포함할 수 있다. 상기 통신 회로는, 상기 외부 객체에 대한 인식 정보를 외부 전자 장치(예: 전자 장치(120))로부터 획득하기 위해 이용되거나, 상기 가상 객체를 표시하기 위한 정보를 외부 전자 장치로부터 획득하기 위해 이용될 수 있다.
다양한 실시예들에서, 환경(100) 내의 웨어러블 장치(110)는, 사용자에 의해 그립된 전자 장치(120)와 연동될 수 있다. 다양한 실시예들에서, 환경(100) 내의 웨어러블 장치(110)는, 상기 사용자에 의해 착용된 상태에서, 상기 사용자에 의해 그립된 전자 장치(120)와 연동될 수 있다. 예를 들면, 환경(100) 내의 웨어러블 장치(110)는, 상기 사용자에 의해 착용된 상태에서, 상기 사용자에 의해 그립된 전자 장치(120)로부터 제공되는 멀티미디어 콘텐트를 가상 객체로 상기 적어도 하나의 투명한 디스플레이의 표시 영역(115) 상에서 표시할 수 있다. 상기 가상 객체는, 표시 영역(115) 안에서 보여지는(viewed) 실제 세계 내에 있는 외부 객체와 함께 표시될 수 있다. 예를 들면, 환경(100) 내의 웨어러블 장치(110)는, 표시 영역(115) 안에서 보여지는 외부 객체들(예: 사용자의 손, 전자 장치(120), 및 도로(road))과 함께, 전자 장치(120)로부터 수신되는 정보에 기반하여 표시 영역(115) 상에서 표시되는 가상 객체들을 제공할 수 있다.
다양한 실시예들에서, 환경(150) 내의 웨어러블 장치(110)는, 전자 장치(120)로부터 독립적으로(independently from) 동작할 수 있다. 다양한 실시예들에서, 환경(150) 내의 웨어러블 장치(110)는, 사용자에 의해 착용된 상태에서, 표시 영역(115) 안에서 보여지는 실제 세계 내에 있는 외부 객체와 연계로(as associated with), 가상 객체를 표시 영역(115) 상에서 표시할 수 있다. 상기 가상 객체는, 환경(100) 내의 웨어러블 장치(110)에서 표시되는 상기 가상 객체와 달리, 전자 장치(120)와 독립적으로 획득되는 멀티미디어 콘텐트일 수 있다. 상기 가상 객체는, 표시 영역(115) 안에서 보여지는 상기 외부 객체와 관련된 정보를 포함할 수 있다.
도 2는 다양한 실시예들에 따른 웨어러블 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은, 도 1에 도시된 웨어러블 장치(110)에 포함될 수 있다.
도 2를 참조하면, 웨어러블 장치(110)는, 프로세서(210), 메모리(220), 카메라(230), 통신 회로(240), 및 디스플레이(250)를 포함할 수 있다.
프로세서(210)는 웨어러블 장치(110)의 전반적인 동작들을 제어할 수 있다. 예를 들면, 프로세서(210)는 메모리(220)에 데이터를 기록할 수 있고, 메모리(220)에 기록된 데이터를 읽을 수 있다. 다른 예를 들면, 프로세서(210)는, 카메라(230)를 통해 이미지를 획득할 수 있다. 또 다른 예를 들면, 프로세서(210)는, 통신 회로(240)를 통해 다른 전자 장치(예: 전자 장치(120))에게 신호를 송신하거나 다른 전자 장치(예: 전자 장치(120))로부터 신호를 수신할 수 있다. 또 다른 예를 들면, 프로세서(210)는, 디스플레이(250)를 통해 정보를 표시할 수 있다. 실시 예들에 따라, 프로세서(210)는 다수의 프로세서들을 포함할 수 있다. 예를 들면, 프로세서(210)는 응용 프로그램 등 상위 계층을 제어하는 AP(application processor), 통신을 위한 제어를 수행하는 CP(communication processor), 디스플레이(250)에 표시되는 화면을 제어하기 위한 디스플레이 컨트롤러(display controller) 등을 포함할 수 있다.
프로세서(210)는 본 개시에서 제안하는 절차 및/또는 방법들을 구현하도록 설정될 수 있다.
메모리(220)는 웨어러블 장치(110)를 제어하는 명령어(instruction), 제어 명령어 코드(control command code), 제어 데이터, 또는 사용자 데이터를 저장할 수 있다. 예를 들면, 메모리(220)는 어플리케이션(application), OS(operating system), 미들웨어(middleware), 디바이스 드라이버(device driver)를 저장할 수 있다.
메모리(220)는 휘발성 메모리(volatile memory) 또는 불휘발성 메모리(non-volatile memory) 중 하나 또는 그 이상을 포함할 수 있다. 상기 휘발성 메모리는 DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous DRAM), PRAM(phase-change RAM), MRAM(magnetic RAM), RRAM(resistive RAM), FeRAM(ferroelectric RAM) 등을 포함할 수 있다. 상기 불휘발성 메모리는 ROM(read only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), EEPROM(electrically erasable ROM), 플래시 메모리(flash memory) 등을 포함할 수 있다.
메모리(220)는 하드 디스크 드라이브(HDD, hard disk drive), 솔리드 스테이트 디스크(SSD, solid state disk), eMMC(embedded multi media card), UFS(universal flash storage)와 같은 불휘발성 매체를 더 포함할 수 있다.
메모리(220)는 프로세서(210)와 작동적으로(operably 또는 operatively) 결합될(coupled with) 수 있다.
카메라(230)는, 디스플레이(250)의 표시 영역 안에서 보여지는 환경에 대한 이미지를 획득하기 위해 이용될 수 있다. 카메라(230)는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 환경에 대한 이미지를 획득하기 위해, 상기 환경을 향해 배치될 수 있다. 상기 환경을 향해 배치되는 카메라(230)의 시야(field of view, FOV)는, 디스플레이(250)의 표시 영역 안에서 보여지는 환경에 대한 이미지를 획득하기 위해, 디스플레이(250)의 표시 영역보다 넓은 영역을 커버하도록 구성되거나, 디스플레이(250)의 표시 영역에 대응하는 영역을 커버하도록 구성될 수 있다. 상기 환경을 향해 배치되는 카메라(230)의 시야는, 디스플레이(250)의 표시 영역 안에서 보여지는 환경에 대한 이미지를 획득하기 위해, 웨어러블 장치(110)를 착용한 사용자의 시야에 의해 커버되는 영역보다 넓은 영역을 커버하도록 구성되거나, 사용자의 시야에 의해 커버되는 영역에 대응하는 영역을 커버하도록 구성될 수 있다. 상기 환경을 향해 배치되는 카메라(230)는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 환경에 대한 이미지를 획득하기 위해, 복수의 카메라들을 포함할 수 있다. 다양한 실시예들에서, 상기 복수의 카메라들은, 입체(stereoscopic) 이미지를 획득하기 위해, 카메라들의 쌍(pair)으로 구성될 수 있다. 상기 카메라들의 쌍에 포함된 제1 카메라가 향하는 방향은, 입체 이미지를 획득하기 위해, 상기 카메라들의 쌍에 포함된 제2 카메라가 향하는 방향과 동일할 수 있다. 입체 이미지를 획득하기 위해, 상기 제1 카메라의 시야와 상기 제2 카메라의 시야는 디스패리티(disparity)를 가질 수 있다.
카메라(230)는 웨어러블 장치(110)를 착용한 사용자의 눈을 추적하기 위해 더 이용될 수 있다. 예를 들면, 카메라(230)는, 카메라(230)의 시야가 웨어러블 장치(110)를 착용한 사용자의 눈을 포함하는 영역을 커버하도록, 사용자의 눈을 향해 배치될 수 있다.
카메라(230)는 프로세서(210)와 작동적으로(operably 또는 operatively) 결합될(coupled with) 수 있다.
통신 회로(240)는 웨어러블 장치(110)와 적어도 하나의 외부 장치(external device, 예: 전자 장치(120)) 사이의 통신을 위한 다양한 통신 기능(예를 들면, 셀룰러 통신, 블루투스, NFC, Wi-Fi 등)들을 구비할 수 있다. 다시 말해, 통신 회로(240)는 웨어러블 장치(110)와 상기 적어도 하나의 외부 장치 사이의 통신을 설정할 수 있다.
통신 회로(240)는 작동적으로 프로세서(210)와 결합될 수 있다.
디스플레이(250)는, 웨어러블 장치(110)를 착용한 사용자가 실제 세계(real-world)를 볼 수 있도록, 적어도 하나의 투명한 디스플레이를 포함할 수 있다. 예를 들면, 디스플레이(250)는, 제1 면으로 향하는 외부 광을 상기 제1 면과 다른 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성될 수 있다. 예를 들면, 상기 제2 면은, 상기 제1 면에 반대일 수 있다. 디스플레이(250)는 사용자가 웨어러블 장치(110)와 상호작용할(interaction) 수 있도록 GUI(graphical user interface)를 표시할 수 있다.
디스플레이(250)는 작동적으로 프로세서(210)와 결합될 수 있다.
다양한 실시예들에서, 프로세서(210)는, 디스플레이(250)의 표시 영역(예: 도 1의 표시 영역(115)) 안에서 보여지는 실제 세계 내에 있는 외부 객체와 함께, 적어도 하나의 가상 객체를 디스플레이(250)의 상기 표시 영역 상에서 표시할 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 가상 객체는, 전자 장치(120)로부터 통신 회로(240)를 통해 수신된 데이터에 기반하여, 디스플레이(250)의 상기 표시 영역 상에서 표시될 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 가상 객체는, 전자 장치(120)와 독립적으로(또는 관계없이), 프로세서(210)에 의해 처리된 데이터에 기반하여, 디스플레이(250)의 상기 표시 영역 상에서 표시될 수도 있다. 다양한 실시예들에서, 상기 적어도 하나의 가상 객체는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 외부 객체와 관련된 정보를 포함할 수 있다. 상기 적어도 하나의 가상 객체와 상기 외부 객체와 관련된 정보를 포함하는 경우, 상기 적어도 하나의 가상 객체는, 상기 외부 객체와 연계로(as associated with) 표시될 수 있다. 예를 들면, 상기 적어도 하나의 가상 객체와 상기 외부 객체와 관련된 정보를 포함하는 경우, 상기 적어도 하나의 가상 객체는 상기 외부 객체에 인접하여(in proximity to) 표시되거나 상기 외부 객체에 적어도 일부 중첩되도록(as at least partially overlapped) 표시될 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 가상 객체는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 외부 객체와 무관한(independent from) 정보를 포함할 수도 있다.
다양한 실시예들에서, 프로세서(210)는, 디스플레이(250)의 표시 영역 안에서 보여지는 실제 세계 내에 있는 외부 객체에 대한 인식 정보를 획득할 수 있다. 예를 들면, 프로세서(210)는, 카메라(230)를 통해 획득되는 상기 외부 객체에 대응하는 시각적 객체를 포함하는 이미지에 대한 정보를 통신 회로(240)를 통해 다른 전자 장치(예: 전자 장치(120), 이미지 인식 서비스를 제공하는 서버 등)에게 송신하고, 상기 다른 전자 장치로부터 통신 회로(240)를 통해 상기 외부 객체에 대한 인식 정보를 획득할 수 있다. 다른 예를 들면, 프로세서(210)는, 상기 다른 전자 장치의 이용 없이(without use of another electronic device) 상기 외부 객체에 대응하는 상기 시각적 객체를 포함하는 상기 이미지를 인식함으로써 상기 외부 객체에 대한 인식 정보를 획득할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 사용자의 신체의 일부(예: 상기 사용자의 손)에 의해 그립된 전자 장치(120)로부터, 통신 회로(240)를 통해 화면에 대한 데이터를 수신할 수 있다. 다양한 실시예들에서, 프로세서(210)는, 상기 데이터에 기반하여, 디스플레이(250)의 표시 영역 상에서 상기 화면을 표시할 수 있다. 다양한 실시예들에서, 상기 화면의 적어도 일부는, 전자 장치(120)의 디스플레이 상에서 표시되는 화면으로부터 연장된(extended) 화면을 포함할 수 있다. 예를 들면, 디스플레이(250)의 상기 표시 영역 상에서 표시되는 상기 화면은, 전자 장치(120)가 전자 장치(120)의 디스플레이 상에서 멀티미디어 콘텐트의 일 부분을 표시하는 동안, 상기 멀티미디어 콘텐트의 남은 부분을 포함할 수 있다. 다양한 실시예들에서, 상기 화면의 적어도 일부는, 전자 장치(120)의 디스플레이의 표시 영역 상에서 미표시되고 있는 정보를 포함할 수 있다. 예를 들면, 디스플레이(250)의 상기 표시 영역 상에서 표시되는 상기 화면은, 전자 장치(120)가 전자 장치(120)의 디스플레이의 전체 영역 상에서 적어도 하나의 멀티미디어 콘텐트를 표시하는 동안, 상기 멀티미디어 콘텐트와 무관한(independent of) 정보(예: 전자 장치(120)에 수신된 메시지에 대한 알림(notification) 메시지, 전자 장치(120)의 상태 정보)를 포함할 수 있다. 하지만, 이에 제한되지 않는다.
다양한 실시예들에서, 프로세서(210)는, 상기 화면에 대한 데이터 뿐 아니라 다른 데이터를 전자 장치(120)로부터 통신 회로(240)를 통해 수신할 수도 있다. 예를 들면, 상기 다른 데이터는, 전자 장치(120)의 외형의 크기에 대한 데이터, 상기 화면의 크기에 대한 데이터, 전자 장치(120)의 IMU(inertial measurement unit) 센서로부터 측정된 전자 장치(120)의 기울기(orientation)에 대한 데이터, 전자 장치(120) 내에서 발생한 이벤트(예: 터치 입력 이벤트 등)에 대한 데이터, 또는 그들의 조합을 포함할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 화면에 대한 데이터를 수신하는 동안, 카메라(230)를 이용하여 디스플레이(250)의 표시 영역 내의 제1 영역이 사용자의 신체의 일부에 의해 가려짐을 식별할 수 있다. 예를 들면, 프로세서(210)는, 상기 화면에 대한 데이터를 수신하는 동안, 카메라(230)를 이용하여 디스플레이(250)의 표시 영역 내의 제1 영역이 전자 장치(120)를 그립한 사용자의 신체의 일부에 의해 가려짐을 식별할 수 있다. 예를 들면, 전자 장치(120)를 그립한 상기 사용자의 신체의 일부는, 상기 제1 영역 안에서 보여질 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 화면에 대한 데이터를 수신하는 동안, 전자 장치(120)의 자세(posture)에 대한 정보를 획득할 수 있다. 다양한 실시예들에서, 전자 장치(120)의 자세에 대한 정보는, 카메라(230)를 이용하여 획득되는 이미지를 분석함으로써, 획득될 수 있다. 다양한 실시예들에서, 전자 장치(120)의 자세에 대한 정보는, 전자 장치(120)로부터 수신될 수도 있다. 예를 들면, 전자 장치(120)는 전자 장치(120)의 자세에 대한 정보를 전자 장치(120)의 적어도 하나의 센서(예: 자이로 센서, 가속도 센서, 터치센서, 근접 센서 등)를 이용하여 획득하고, 획득된 전자 장치(120)의 자세에 대한 정보를 웨어러블 장치(110)에게 송신할 수 있다. 웨어러블 장치(110)는, 전자 장치(120)의 자세에 대한 정보를 전자 장치(120)로부터 수신할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(210)는, 상기 화면에 대한 정보를 수신하는 동안 카메라(230)를 이용하여 획득되는 이미지를 분석하거나 전자 장치(120)로부터 수신된 전자 장치(120)의 자세에 대한 정보를 분석함으로써, 디스플레이(250)의 표시 영역 안에서 보여지는 전자 장치(120)의 자세가 포트레이트 모드(portrait mode, 또는 세로 모드)임을 식별할 수 있다. 다른 예를 들어, 도 5를 참조하면, 프로세서(210)는, 상기 화면에 대한 정보를 수신하는 동안 카메라(230)를 이용하여 획득되는 이미지를 분석하거나 전자 장치(120)로부터 수신된 전자 장치(120)의 자세에 대한 정보를 분석함으로써, 디스플레이(250)의 표시 영역 안에서 보여지는 전자 장치(120)의 자세가 랜드스케이프 모드(landscape mode, 또는 가로 모드)임을 식별할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 이미지의 분석 및 상기 자세에 대한 정보의 분석에 기반하여, 웨어러블 장치(110)와 전자 장치(120) 사이의 상대적 자세 관계 또는 위치 관계를 식별할 수도 있다.
다양한 실시예들에서, 프로세서(210)는, 전자 장치(120)의 자세에 대한 정보에 기반하여, 카메라(230)를 이용하여 획득되는 이미지 내에서 전자 장치(120)의 경계 영역을 식별할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(210)는, 전자 장치(120)의 자세에 대한 정보에 기반하여, 카메라(230)를 이용하여 획득되는 상기 이미지 내에서 전자 장치(120)의 경계 영역(405)을 식별할 수 있다. 다른 예를 들어, 도 5를 참조하면, 프로세서(210)는, 전자 장치(120)의 자세에 대한 정보에 기반하여, 카메라(230)를 이용하여 획득되는 상기 이미지 내에서 전자 장치(120)의 경계 영역(505)를 식별할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 카메라(230)를 이용하여, 전자 장치(120)의 경계 영역으로부터 전자 장치(120)가 외부 객체(예: 사용자의 신체의 일부)와 접촉하는(in contact with) 영역을 식별할 수 있다. 예를 들면, 프로세서(210)는, 카메라(230)를 이용하여, 전자 장치(120)의 경계 영역의 형태(shape)가 상기 외부 객체와의 접촉에 의해 변경됨을 식별할 수 있다. 프로세서(210)는, 전자 장치(120)의 경계 영역의 형태가 상기 외부 객체와의 접촉에 의해 식별됨을 식별하는 것에 기반하여, 상기 외부 객체와의 접촉 영역에 인접한 영역 내에서 상기 사용자의 신체의 일부를 먼저 검색할 수 있다.
예를 들어, 도 4를 참조하면, 프로세서(210)는, 경계 영역(405)의 모양이 사용자의 신체의 일부에 의해 변경됨을 식별하는 것에 기반하여, 상기 사용자의 상기 신체의 일부가 전자 장치(120)와 접촉하는 영역(410)을 식별할 수 있다. 다른 예를 들어, 도 5를 참조하면, 프로세서(210)는, 경계 영역(505)의 모양이 사용자의 신체의 일부에 의해 변경됨을 식별하는 것에 기반하여 상기 사용자의 상기 신체의 일부가 전자 장치(120)와 접촉하는 영역(510)을 식별할 수 있다. 프로세서(210)는, 경계 영역의 모양의 변경에 기반하여 접촉 영역을 식별하고, 상기 접촉 영역에 기반하여 상기 사용자의 신체의 일부를 검색함으로써, 카메라(230)의 시야에 의해 커버되는 전체 영역 내에서 상기 신체의 일부를 검색할 시 요구되는 자원의 양보다 적은 양의 자원을 이용하여 상기 신체의 일부를 검색할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 식별된 영역에 기반하여, 전자 장치(120)를 그립한 상기 사용자의 상기 신체의 일부의 상태를 인식할 수 있다, 예를 들면, 프로세서(210)는, 상기 식별된 영역에 기반하여, 상기 사용자가 전자 장치(120)를 한 손으로 그립한 상태인지 양 손으로 그립한 상태인지 여부를 인식할 수 있다. 프로세서(210)는, 상기 사용자가 전자 장치(120)를 한 손으로 그립한 상태임을 인식하는 경우, 상기 사용자가 전자 장치(120)를 왼손으로 그립한 상태인지 오른손으로 그립한 상태인지를 더 인식할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(210)는, 식별된 영역(410)의 분포에 기반하여, 식별된 영역(410) 주변의 사용자의 신체의 특성을 확인함으로써 전자 장치(120)가 사용자의 왼손에 의해 그립됨을 인식할 수 있다. 다른 예를 들어, 도 5를 참조하면, 프로세서(210)는, 식별된 영역(510)의 분포에 기반하여, 식별된 영역(510) 주변의 사용자의 신체의 특성을 확인함으로써 디스플레이(250)의 표시 영역 안에서 보여지고 있는 전자 장치(120)가 사용자의 양손에 의해 그립됨을 인식할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 식별된 영역이 없는 경우, 표시 영역의 결정과 관련된 동작들을 중단함으로써, 웨어러블 장치(110) 내에서 소비되는 전력을 감소시킬 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 인식된 신체의 일부의 상태에 기반하여, 상기 신체의 일부에 의해 가려지는 표시 영역 내의 상기 제1 영역을 식별할 수 있다. 예를 들면, 프로세서(210)는, 상기 인식된 신체의 일부의 상태에 기반하여, 전자 장치(120)의 경계 영역의 일부를 기준 영역으로 결정하고, 상기 결정된 기준 영역으로부터 연장된 상기 표시 영역의 일부를 상기 사용자의 상기 신체의 일부에 의해 가려질 것으로 추정되는 상기 제1 영역으로 식별할 수 있다. 다양한 실시예들에서, 상기 제1 영역은, 정보를 표시하는 것이 제한되는 영역을 의미할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(210)는, 디스플레이(250)의 표시 영역 안에서 보여지고 있는 전자 장치(120)가 상기 사용자의 상기 왼손에 의해 그립됨을 인식하는 것에 기반하여, 경계 영역(405)의 일부를 기준 영역(415)으로 결정할 수 있다. 다양한 실시예들에서, 기준 영역(415)은 디스플레이(250)의 표시 영역의 일부가 상기 사용자의 상기 왼손 및 왼팔의 일부에 의해 가려질 것으로 추정되는(estimated) 제1 영역(420)을 구성하기 위해 이용될 수 있다. 프로세서(210)는 기준 영역(415)으로부터 연장되는 상기 표시 영역 내의 부분 영역을 제1 영역(420)으로 식별할 수 있다. 다른 예를 들어, 도 5를 참조하면, 프로세서(210)는, 디스플레이(250)의 표시 영역 안에서 보여지고 있는 전자 장치(120)가 상기 사용자의 상기 양손에 의해 그립됨을 인식하는 것에 기반하여, 경계 영역(505)의 일부를 기준 영역(515)으로 결정할 수 있다. 다양한 실시예들에서, 기준 영역(515)은 디스플레이(250)의 표시 영역의 일부가 상기 사용자의 상기 양손 및 양팔의 일부에 의해 가려질 것으로 추정되는 제1 영역(520)을 구성하기 위해 이용될 수 있다. 프로세서(210)는 기준 영역(515)로부터 연장되는 상기 표시 영역 내의 부분 영역을 제1 영역(520)으로 식별할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 식별된 제1 영역과 다른 디스플레이(250)의 상기 표시 영역 내의 제2 영역을 식별할 수 있다. 예를 들면, 프로세서(210)는, 상기 식별된 제1 영역에 기반하여, 디스플레이(250)의 상기 표시 영역 내의 상기 제2 영역을 정보를 표시하기 위한 영역으로 식별할 수 있다. 예를 들어, 도 4를 참조하면, 프로세서(210)는, 디스플레이의 표시 영역(400) 내에서 제1 영역(420)을 제외한 남은 영역을 제2 영역(425)으로 식별할 수 있다. 다른 예를 들어, 도 5를 참조하면, 프로세서(210)는, 디스플레이의 표시 영역(500) 내에서 제1 영역(520)를 제외한 남은 영역을 제2 영역(525)으로 식별할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 식별된 제2 영역 상에서 상기 화면을 표시할 수 있다. 예를 들어, 전자 장치(120)가 상기 화면에 대한 데이터를 디스플레이(250)의 표시 영역 전체를 기준으로 구성한 경우, 프로세서(210)는 전자 장치(120)로부터 수신된 상기 화면에 대한 데이터를 상기 표시 영역 내의 상기 제2 영역을 기준으로 재구성하고, 상기 재구성된 데이터에 기반하여 상기 식별된 제2 영역 상에서 상기 화면을 표시할 수 있다. 다른 예를 들어, 전자 장치(120)가 상기 화면에 대한 데이터를 디스플레이(250)의 표시 영역 전체를 기준으로 구성한 경우, 프로세서(210)는 통신 회로(240)를 통해 전자 장치(120)에게 상기 화면에 대한 데이터를 상기 표시 영역 내의 상기 제2 영역을 기준으로 재구성할 것을 요청하고, 전자 장치(120)로부터 통신 회로(240)를 통해 상기 요청에 대한 응답으로 전자 장치(120)에 의해 재구성된 상기 화면에 대한 데이터를 수신하고, 상기 수신된 데이터에 기반하여 상기 제2 영역 상에서 상기 화면을 표시할 수 있다. 하지만, 이에 제한되지 않는다.
도 4 및 도 5는, 프로세서(210)가 제1 영역(420, 520)을 정보를 표시하는 것을 제한하기 위한 영역으로 설정하는 예를 도시하고 있으나, 제1 영역(420, 520)은 다른 기능을 가지는 영역으로 설정될 수도 있다. 예를 들면, 상기 사용자의 신체의 일부에 의해 가려질 것으로 추정되는 상기 제1 영역은 상기 제2 영역보다 낮은 우선순위를 가지는 시각적 객체를 표시하는 영역으로 설정될 수 있다. 다른 예를 들면, 상기 사용자의 신체의 일부에 의해 가려질 것으로 추정되는 상기 제1 영역은 상기 사용자의 신체의 일부의 색(color)에 기반하여 결정된 적어도 하나의 색으로 구성된 시각적 객체를 표시하는 영역으로 설정될 수도 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 제2 영역 상에서 상기 화면을 표시하는 동안, 전자 장치(120)를 그립한 상기 사용자의 상기 신체의 일부의 상태가 변경되는지 여부를 확인할 수 있다. 예를 들면, 프로세서(210)는, 상기 제2 영역 상에서 상기 화면을 표시하는 동안, 전자 장치(120)를 그립한 상기 사용자의 손이 왼손으로부터 오른손으로 변경되는지 여부를 확인할 수 있다. 다른 예를 들면, 프로세서(210)는, 상기 제2 영역 상에서 상기 화면을 표시하는 동안, 전자 장치(120)를 그립한 상기 사용자의 손이 한손으로부터 양손으로 변경되는지 여부를 확인할 수 있다. 또 다른 예를 들면, 프로세서(210)는, 상기 제2 영역 상에서 상기 화면을 표시하는 동안, 전자 장치(120)를 그립한 상기 사용자의 손이 디스플레이(250)의 표시 영역으로부터 제거되는지 여부를 확인할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 제2 영역 상에서 상기 화면을 표시하는 동안 전자 장치(120)를 그립한 상기 사용자의 상기 신체의 일부의 상태가 변경됨을 확인하는 것에 기반하여, 상기 제1 영역을 재식별하고, 상기 재식별된 제1 영역에 기반하여, 상기 제2 영역을 변경할 수 있다. 프로세서(210)는, 상기 변경된 제2 영역 상에서, 상기 화면을 표시할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 제2 영역 상에서 상기 화면을 표시하는 동안, 전자 장치(120)의 디스플레이 상에서 표시되는 화면 또는 상기 제2 영역 상에서 표시되는 화면에 대한 사용자 입력이 수신되는지 여부를 식별할 수 있다. 다양한 실시예들에서, 프로세서(210)는, 전자 장치(120)의 디스플레이 상에서 표시되는 화면 또는 상기 제2 영역 상에서 표시되는 화면에 대한 사용자 입력이 수신됨을 식별하는 것에 기반하여, 상기 제1 영역을 재식별하고, 상기 재식별된 제1 영역에 기반하여 상기 제2 영역을 변경하고, 상기 변경된 제2 영역 상에서 상기 화면을 표시할 수 있다. 예를 들어, 도 6을 참조하면, 프로세서(210)는, 전자 장치(120)의 디스플레이 상에서 제1 화면(610)을 표시하는 동안, 제2 영역(641)의 일부 상에서 제1 화면으로부터 연장된 제2 화면(620)을 표시할 수 있다. 프로세서(210)는, 전자 장치(120)의 디스플레이 상에서 제1 화면(610)을 표시하고 제2 영역(641)의 일부 상에서 제1 화면으로부터 연장된 제2 화면(620)을 표시하는 동안. 제1 화면(610)을 스크롤하기 위한 입력(630) 또는 제2 화면(620)을 스크롤하기 위한 입력(635)을 검출할 수 있다. 다양한 실시예들에서, 입력(630) 또는 입력(635)는, 상기 사용자의 신체의 다른 일부(예: 오른손)에 의해 야기될 수 있다. 다양한 실시예들에서, 입력(630)은, 전자 장치(120)로부터 수신되는 데이터에 기반하여 검출되거나, 카메라(230)를 이용하여 검출될 수 있다. 다양한 실시예들에서, 입력(635)은, 카메라(230)를 이용하여 검출될 수 있다. 다양한 실시예들에서, 프로세서(210)는, 입력(630) 또는 입력(635)을 검출하는 동안, 정보를 표시하는 것을 제한하는 상기 제1 영역을 영역(637)으로부터 영역(637) 및 영역(639)으로 변경할 수 있다. 사용자가 전자 장치(120)를 그립한 신체의 일부(예: 왼손)와 구별되는 신체의 다른 일부(예: 오른손)를 이용하여 입력(630) 또는 입력(635)를 야기하는 경우, 상기 신체의 다른 일부에 의해 디스플레이(250)의 표시 영역이 추가적으로 가려질 수 있기 때문에, 프로세서(210)는 상기 제1 영역을 영역(637)으로부터 영역(637) 및 영역(639)으로 변경할 수 있다. 프로세서(210)는, 상기 변경된 제1 영역에 기반하여, 변경된 제2 영역(641)을 구성하고, 변경된 제2 영역(641) 상에서 상기 화면을 표시할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 제2 영역 상에서 표시되는 상기 화면에 포함된 복수의 시각적 객체들 중 적어도 하나의 시각적 객체의 표시 위치를 결정할 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 시각적 객체는, 상기 제2 영역 상에서 표시되는 상기 화면에 포함된 남은 시각적 객체들과 구별되는 정보를 제공하기 위한 객체로 식별될 수도 있다. 다양한 실시예들에서, 상기 적어도 하나의 시각적 객체는, 상기 제2 영역 상에서 표시되는 상기 화면에 포함된 남은 시각적 객체들을 제공하는 어플리케이션과 구별되는 다른 어플리케이션에 의해 제공되는 객체로 식별될 수도 있다. 하지만, 이에 제한되지 않는다. 다양한 실시예들에서, 전자 장치(120)가 사용자의 한 손에 의해 그립되는 경우, 프로세서(210)는, 상기 적어도 하나의 시각적 객체를 표시하는 위치를 전자 장치(120)를 그립한 상기 손과 구별되는 다른 손에 가까운 상기 제2 영역 내의 부분 영역으로 결정할 수 있다.
예를 들어, 도 6를 참조하면, 프로세서(210)는, 제2 영역(641) 상에서 표시되는 복수의 시각적 객체들 중 알림 메시지(643)의 표시 위치를 전자 장치(120)를 그립하지 않은 오른손에 가까운 영역(645)으로 결정할 수 있다. 다양한 실시예들에서, 영역(645)는, 전자 장치(120)를 그립하지 않은 오른손에 의해 야기되는 사용자 입력을 수신할 수 있도록 영역(639) 위에 또는 바로 위에 배치될 수 있다. 다양한 실시예들에서, 전자 장치(120)의 디스플레이 상에서 표시되는 제1 화면(610)의 시인성을 향상하기 위해, 전자 장치(120)의 상태 정보(647)가 제2 영역(641)의 일부 상에서 더 표시될 수 있다.
다른 예를 들어, 도 6를 참조하면, 프로세서(210)는, 제2 영역(641) 상에서 표시되는 복수의 시각적 객체들 중 알림 메시지(643)의 표시 위치를 영역(649)으로 결정할 수 있다. 다양한 실시예들에서, 영역(649)은, 전자 장치(120)를 그립하지 않은 오른손에 의해 야기되는 사용자 입력을 수신할 수 있도록 상기 제1 영역의 일부인 영역(651) 위에 또는 바로 위에 배치될 수 있다. 다양한 실시예들에서, 전자 장치(120)의 디스플레이 상에서 표시되는 제1 화면(610)의 시인성을 향상하기 위해, 전자 장치(120)의 상태 정보(647)가 제2 영역(641)의 일부 상에서 더 표시될 수 있다.
다양한 실시예들에서, 전자 장치(120)가 사용자의 양 손에 의해 그립되는 경우, 프로세서(210)는, 상기 적어도 하나의 시각적 객체를 표시하는 위치를 사용자가 주로 입력을 야기하는 손의 위치에 가까운 상기 제2 영역 내의 부분 영역으로 결정할 수 있다. 다양한 실시예들에서, 사용자가 주로 입력을 야기하는 손의 위치는, 카메라(230)를 이용하여 획득되고, 입력을 야기하는 사용자의 손에 대응하는 시각적 객체를 포함하는 이미지를 분석함으로써 학습된 데이터로부터 결정될 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 화면을 상기 제2 영역 상에서 표시하는 동안 전자 장치(120)를 그립하는 사용자의 신체의 일부가 상기 신체의 다른 일부로 변경됨을 검출하는 것에 기반하여, 상기 화면에 포함된 복수의 시각적 객체들 중 적어도 하나의 시각적 객체의 위치를 변경할 수 있다.
예를 들어, 도 6을 참조하면, 프로세서(210)는, 영역(645) 상에서 알림 메시지(643)를 표시하는 동안, 전자 장치(120)을 그립한 손이 왼손으로부터 오른손으로 변경됨을 카메라(230)를 이용하여 식별할 수 있다. 프로세서(210)는, 상기 식별에 응답하여, 알림 메시지(643)를 영역(645)로부터 변경된 영역(649) 상에서 표시할 수 있다. 영역(645)로부터 영역(649)로의 변경은, 전자 장치(120)를 그립한 손이 왼손으로부터 오른손으로 변경됨을 식별하는 것에 응답하여 상기 제1 영역 및 상기 제2 영역의 재구성을 수행하는 동안, 결정될 수 있다.
다른 예를 들어, 도 7을 참조하면, 프로세서(210)는, 전자 장치(120)의 디스플레이 상에서 제1 화면(710)을 표시하고 제2 영역(712) 내의 영역(713) 상에서 제1 화면(710) 바로 이전에(directly previous to) 전자 장치(120)의 디스플레이 상에서 표시되었던 제2 화면(714)을 표시하고 제2 영역(712)의 영역(715) 상에서 제1 화면(710)과 관련된 적어도 하나의 화면(716)을 표시하는 동안, 전자 장치(120)를 그립하는 손이 왼손으로부터 양손으로 변경됨을 카메라(230)를 이용하여 식별할 수 있다. 프로세서(210)는, 상기 식별에 응답하여, 상기 제1 영역을 재구성하고, 상기 재구성된 제1 영역에 기반하여 제2 영역(712)를 제2 영역(718)으로 변경할 수 있다. 프로세서(210)는, 재구성된 제2 영역(712) 내의 영역(715)로부터 변경된 제2 영역(718) 내의 영역(720) 상에서 적어도 하나의 화면(716)을 표시할 수 있다. 다양한 실시예들에서, 영역(715)로부터 영역(720)으로의 변경에 따라, 적어도 하나의 화면(716)의 배치(arrangement)는 변경될 수 있다.
한편, 프로세서(210)는, 전자 장치(120)의 디스플레이 상에서 표시되는 화면이 제1 화면(710)으로부터 제3 화면(722)로 변경됨을 식별하는 것에 기반하여, 제3 화면(722) 이전에 표시되었던 제1 화면(710)을 제2 영역(718) 내의 영역(724) 상에서 표시할 수 있다. 다양한 실시예들에서, 영역(724)는, 영역(713)과 같이, 제2 영역(718) 안에서 보여지는 전자 장치(120)의 위 또는 바로 위에 배치될 수 있다. 하지만, 이에 제한되지 않는다.
다양한 실시예들에서, 프로세서(210)는, 상기 제2 영역 상에서 표시되는 시각적 객체의 유형에 따라, 상기 시각적 객체의 표시 위치를 결정할 수 있다. 예를 들면, 프로세서(210)는, 상기 제2 영역 상에서 표시되는 시각적 객체의 유형(type)에 따라, 상기 시각적 객체의 표시 위치를 변경할 것인지 여부를 결정할 수 있다. 예를 들면, 프로세서(210)는, 상기 제2 영역 상에서 표시되는 상기 시각적 객체가 사용자 입력을 수신할 수 있는 실행 가능한(executable) 객체인 경우, 상기 시각적 객체의 표시 위치를 전자 장치(120)의 그립 상태의 변경에 기반하여 변경할 수 있다. 다른 예를 들면, 프로세서(210)는, 상기 제2 영역 상에서 표시되는 상기 시각적 객체가 사용자 입력을 수신하는 것을 요구하지 않는 실행 불가능한(un-executable) 객체인 경우, 상기 시각적 객체의 표시 위치를 전자 장치(120)의 그립 상태의 변경과 관계없이 유지할 수 있다.
다양한 실시예들에서, 프로세서(210)는, 상기 제2 영역 상에서 표시되는 상기 화면에 포함된 복수의 시각적 객체들 중 사용자 입력을 수신할 수 있는 적어도 하나의 시각적 객체의 표시 위치를 결정할 수 있다. 예를 들면, 프로세서(210)는, 상기 복수의 시각적 객체들 중 사용자 입력을 수신하는 것을 요구하지 않는 남은 객체(예: 실행불가능한 객체)들의 표시 위치를 유지하고, 상기 적어도 하나의 시각적 객체의 표시 위치를 상기 사용자 입력을 야기하는 신체의 일부에 대응하는 위치로 변경할 수 있다. 다시 말해, 프로세서(120)는, 상기 복수의 시각적 객체들 중 사용자 입력을 수신할 수 있는 적어도 하나의 시각적 객체를 식별하고, 상기 남은 시각적 객체들과 달리 상기 식별된 적어도 하나의 시각적 객체의 표시 위치만을 변경할 수 있다. 예를 들어, 전자 장치(120)가 사용자의 한 손에 의해 그립되는 경우, 프로세서(210)는, 상기 사용자 입력을 수신할 수 있는 상기 적어도 하나의 시각적 객체를 표시하는 위치를 전자 장치(120)를 그립한 상기 손과 구별되는 다른 손에 가까운 상기 제2 영역 내의 부분 영역으로 결정할 수 있다. 하지만, 이에 제한되지 않는다.
예를 들어, 도 8을 참조하면, 프로세서(210)는, 사용자의 왼손에 의해 그립된 전자 장치(120)의 디스플레이 상에서 웹 브라우저(800)를 표시하고 제2 영역(802) 내의 영역(804) 상에서 웹 브라우저(800)를 통해 재생되는 동영상(movie)(806)을 표시하는 동안 표시될 동영상(806)을 제어할 수 있는 적어도 하나의 시각적 객체(808)의 표시 위치를 사용자의 오른손에 가까운 영역인 영역(810)으로 결정할 수 있다. 프로세서(210)는, 상기 결정에 기반하여, 사용자의 왼손에 의해 그립된 전자 장치(120)의 디스플레이 상에서 웹 브라우저(800)를 표시하고 제2 영역(802) 내의 영역(804) 상에서 웹 브라우저(800)를 통해 재생되는 동영상(movie)(806)을 표시하는 동안, 적어도 하나의 시각적 객체(808)를 제2 영역(802) 내의 영역(810) 상에서 표시할 수 있다. 프로세서(210)는, 영역(810) 상에서 적어도 하나의 시각적 객체(808)를 표시하는 동안, 적어도 하나의 시각적 객체(808)에 대한 사용자 입력(812)을 카메라(230)를 이용하여 검출할 수 있다. 예를 들면, 사용자 입력(812)은 사용자의 오른손에 의해 야기되는 제스쳐 입력일 수 있다. 다른 예를 들면, 사용자 입력(812)은, 사용자의 시선이 지정된 시간 동안 적어도 하나의 시각적 객체(808)에 머무는 것일 수 있다. 하지만, 이에 제한되지 않는다.
프로세서(210)는, 사용자 입력(812)을 검출하는 것에 기반하여, 제2 영역(802) 내의 영역(804) 상에서 표시되는 동영상(806)을 다른 동영상(814)으로 변경할 수 있다. 예를 들면, 프로세서(210)는, 사용자 입력(812)을 검출하는 것에 응답하여, 통신 회로(240)를 통해 전자 장치(120)에게 사용자 입력(812)에 대한 정보를 송신하고 전자 장치(120)로부터 통신 회로(240)를 통해 수신되는 다른 동영상(814)에 대한 데이터에 기반하여, 동영상(814)을 제2 영역(802) 내의 영역(804) 상에서 표시할 수 있다. 다른 예를 들면, 프로세서(210)는, 사용자 입력(812)를 검출하는 것에 응답하여, 전자 장치(120)로부터 수신된 웹 브라우저(800)의 서버에 대한 정보에 기반하여 통신 회로(240)를 통해 상기 서버에게 동영상(806) 다음의 다른 동영상(814)에 대한 데이터를 요청하고, 상기 서버로부터 통신 회로(240)를 통해 수신되는 다른 동영상(814)에 대한 데이터에 기반하여, 동영상(814)을 제2 영역(802) 내의 영역(804) 상에서 표시할 수 있다. 하지만, 이에 제한되지 않는다.
다른 예를 들어, 도 9를 참조하면, 프로세서(210)는, 사용자의 양손에 의해 그립된 전자 장치(120)의 디스플레이 상에서 제1 동영상(900)을 표시하고 제2 영역(902) 내의 영역(904) 상에서 제2 동영상(906)을 표시하는 동안 표시될 제2 동영상(906)을 제어할 수 있는 적어도 하나의 시각적 객체(908)의 표시 위치를 사용자의 오른손에 가까운 영역인 영역(910)으로 결정할 수 있다. 적어도 하나의 시각적 객체(908)를 사용자의 오른손에 가까운 영역인 영역(910)으로 결정하는 것은, 웨어러블 장치(110)와 전자 장치(120)의 사용자의 사용 패턴에 기반될 수 있다. 예를 들면, 상기 사용자의 상기 사용 패턴은 전자 장치(120)의 자세와 터치 입력의 수신 시 전자 장치(120)에 접촉된 사용자의 신체의 일부를 검출함으로써 통계적으로 산출될 수 있다. 프로세서(210)는, 사용자의 양손에 의해 그립된 전자 장치(120)의 디스플레이 상에서 제1 동영상(900)을 표시하고 제2 영역(902) 내의 영역(904) 상에서 제2 동영상(906)을 표시하는 동안, 적어도 하나의 시각적 객체(908)를 영역(910) 상에서 표시할 수 있다. 프로세서(210)는, 영역(910) 상에서 적어도 하나의 시각적 객체(908)를 표시하는 동안, 전자 장치(120)를 그립한 양손 중 오른손이 전자 장치(120)로부터 이격됨을 카메라(230)를 이용하여 식별할 수 있다. 프로세서(210)는, 상기 식별에 응답하여, 제2 영역(902)을 제2 영역(912)으로 변경하고, 적어도 하나의 시각적 객체(908)를 표시하는 영역(910)을 변경된 제2 영역(912) 내의 영역(914)으로 변경할 수 있다. 프로세서(210)는, 변경된 영역(914) 상에서 적어도 하나의 시각적 객체(908)를 표시하는 동안, 사용자 입력(916)을 카메라(230)를 이용하여 검출할 수 있다. 프로세서(210)는, 사용자 입력(916)을 검출하는 것에 응답하여, 재생 중인 제2 동영상(906)의 재생을 멈출(pause) 수 있다. 예를 들면, 프로세서(210)는, 사용자 입력(916)을 검출하는 것에 응답하여, 통신 회로(240)를 통해 전자 장치(120)에게 사용자 입력(916)에 대한 정보를 송신하고 전자 장치(120)로부터 통신 회로(240)를 통해 수신되는 사용자 입력(916)에 대응하는 기능에 대한 데이터에 기반하여, 동영상(916)을 멈출 수 있다.
다양한 실시예들에서, 프로세서(210)는, 웨어러블 장치(110)가 전자 장치(120)와 독립적으로 동작하는 동안, 실제 세계 내에 있는 외부 객체와 함께 제공되는 적어도 하나의 시각적 객체를 표시하기 위한 위치를, 상기 외부 객체와 구별되는 다른 외부 객체의 위치에 기반하여, 결정할 수 있다. 다양한 실시예들에서, 상기 다른 외부 객체는, 웨어러블 장치(110)를 착용한 사용자의 신체의 일부일 수 있다. 다양한 실시예들에서, 상기 다른 외부 객체는, 디스플레이(250)의 표시 영역 내에 새롭게 진입된 객체일 수도 있다. 다양한 실시예들에서, 프로세서(210)는, 디스플레이(250)의 표시 영역 안에서 보여지는 상기 외부 객체와 관련된 정보를 포함하는 적어도 하나의 시각적 객체를 디스플레이(250)의 표시 영역 상에서 표시할 수 있다. 상기 적어도 하나의 시각적 객체는 상기 외부 객체와 관련된 정보를 포함하기 때문에, 상기 적어도 하나의 시각적 객체는 상기 외부 객체와 연계로(as associated with) 디스플레이(250)의 표시 영역 상에서 표시될 수 있다. 다양한 실시예들에서, 프로세서(210)는, 상기 외부 객체와 연계로 상기 적어도 하나의 시각적 객체를 표시하는 동안, 상기 다른 외부 객체가 상기 적어도 하나의 시각적 객체를 표시하는 영역의 적어도 일부에 중첩됨을 카메라(230)를 이용하여 식별할 수 있다. 프로세서(210)는, 상기 식별에 응답하여, 적어도 하나의 시각적 객체를 상기 다른 외부 객체와 이격된 상기 표시 영역 내의 다른 영역으로 이동할 수 있다. 예를 들어, 도 10을 참조하면, 프로세서(210)는, 표시 영역(1010) 안에서 보여지는 실제 세계에 있는 외부 객체(1012), 외부 객체(1014), 외부 객체(1016)와 함께, 외부 객체(1016)과 관련된 시각적 객체(1018)를 표시 영역(1010) 상에서 표시할 수 있다. 프로세서(210)는, 표시 영역(1010) 안에서 보여지는 실제 세계에 있는 외부 객체(1012), 외부 객체(1014), 외부 객체(1016)와 함께 외부 객체(1016)과 관련된 시각적 객체(1018)를 표시 영역(1010) 상에서 표시하는 동안, 외부 객체(1014)가 적어도 하나의 시각적 객체(1018)를 표시하는 영역의 적어도 일부와 중첩됨을 카메라(230)를 이용하여 식별할 수 있다. 프로세서(210)는, 상기 식별에 응답하여, 적어도 하나의 시각적 객체(1018)를 외부 객체(1014)에 의해 점유되는(occupied) 영역(1020)과 이격된 다른 영역(1022)으로 이동할 수 있다. 다른 영역(1022)으로 이동된 적어도 하나의 시각적 객체(1018)는, 다른 영역(1022)으로 이동되기 전과 같이, 외부 객체(1016)와 연계로 표시될 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 웨어러블 장치(110)는, 웨어러블 장치(110)의 디스플레이(250)의 표시 영역 안에서 보여지는 외부 객체의 상태 또는 웨어러블 장치(110)의 디스플레이(250)의 표시 영역 안에서 보여지는 외부 객체의 위치의 이동에 기반하여, 웨어러블 장치(110)의 디스플레이(250)의 표시 영역 상에서 표시되는 시각적 객체(또는 가상 객체)의 위치를 적응적으로 변경함으로써, 상기 시각적 객체의 시인성을 강화할 수 있다.
도 3은 다양한 실시예들에 따른 전자 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 1에 도시된 전자 장치(120)에 포함될 수 있다.
도 3을 참조하면, 전자 장치(120)는, 프로세서(310), 메모리(320), 디스플레이(330), 및 통신 회로(340)를 포함할 수 있다.
프로세서(310)는 전자 장치(120)의 전반적인 동작들을 제어할 수 있다. 예를 들면, 프로세서(310)는 메모리(320)에 데이터를 기록할 수 있고, 메모리(320)에 기록된 데이터를 읽을 수 있다. 다른 예를 들면, 프로세서(310)는, 디스플레이(330)를 통해 정보를 표시할 수 있다. 또 다른 예를 들면, 프로세서(310)는, 통신 회로(340)를 통해 다른 전자 장치(예: 웨어러블 장치(110))에게 신호를 송신하거나 다른 전자 장치(예: 웨어러블 장치(110))로부터 신호를 수신할 수 있다. 실시 예들에 따라, 프로세서(310)는 다수의 프로세서들을 포함할 수 있다. 예를 들면, 프로세서(310)는 응용 프로그램 등 상위 계층을 제어하는 AP(application processor), 통신을 위한 제어를 수행하는 CP(communication processor), 디스플레이(330)에 표시되는 화면을 제어하기 위한 디스플레이 컨트롤러(display controller) 등을 포함할 수 있다.
프로세서(310)는 본 개시에서 제안하는 절차 및/또는 방법들을 구현하도록 설정될 수 있다.
메모리(320)는 전자 장치(120)를 제어하는 명령어(instruction), 제어 명령어 코드(control command code), 제어 데이터, 또는 사용자 데이터를 저장할 수 있다. 예를 들면, 메모리(320)는 어플리케이션(application), OS(operating system), 미들웨어(middleware), 디바이스 드라이버(device driver)를 저장할 수 있다.
메모리(320)는 휘발성 메모리(volatile memory) 또는 불휘발성 메모리(non-volatile memory) 중 하나 또는 그 이상을 포함할 수 있다. 상기 휘발성 메모리는 DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous DRAM), PRAM(phase-change RAM), MRAM(magnetic RAM), RRAM(resistive RAM), FeRAM(ferroelectric RAM) 등을 포함할 수 있다. 상기 불휘발성 메모리는 ROM(read only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), EEPROM(electrically erasable ROM), 플래시 메모리(flash memory) 등을 포함할 수 있다.
메모리(320)는 하드 디스크 드라이브(HDD, hard disk drive), 솔리드 스테이트 디스크(SSD, solid state disk), eMMC(embedded multi media card), UFS(universal flash storage)와 같은 불휘발성 매체를 더 포함할 수 있다.
메모리(320)는 프로세서(310)와 작동적으로(operably 또는 operatively) 결합될(coupled with) 수 있다.
디스플레이(330)는 LCD(liquid crystal display) 또는 LED(light emitting diodes) 디스플레이일 수 있다. 디스플레이(330)는 사용자에게 다양한 종류의 정보(예를 들면, 멀티 미디어, 텍스트 데이터 등)를 표시할 수 있다. 예를 들면, 디스플레이(330)는 사용자가 전자 장치(120)와 상호작용할(interaction) 수 있도록 GUI(graphical user interface)를 표시할 수 있다.
디스플레이(330)는 다양한 형태들로 구현될 수 있다. 예를 들면, 디스플레이(330)는, 복수의 디스플레이를 포함하는 멀티플(multiple) 디스플레이들로 구현될 수 있다. 다른 예를 들면, 디스플레이(330)는, 평탄한 부분(planar portion)과 상기 평탄한 부분으로부터 연장하는(extend from) 적어도 하나의 굽은 부분(curved portion)을 포함하는 엣지 디스플레이로 구현될 수도 있다. 또 다른 예를 들면, 디스플레이(330)는, 접을 수 있는 디스플레이(foldable display)로 구현될 수도 있다. 하지만, 이에 제한되지 않는다.
디스플레이(330)는 터치 입력을 수신하기 위해 터치스크린(touch-screen)로 구현될 수도 있다. 예를 들면, 상기 터치 입력은, 싱글 탭 입력, 더블 탭 입력, 호버링 입력, 홀드 앤 릴리즈 입력, 또는 드래그 앤 드롭 입력 중 적어도 하나를 포함할 수 있다.
디스플레이(330)는 작동적으로 프로세서(310)와 결합될 수 있다.
통신 회로(340)는 전자 장치(120)와 적어도 하나의 외부 장치(external device, 예: 웨어러블 장치(110)) 사이의 통신을 위한 다양한 통신 기능(예를 들면, 셀룰러 통신, 블루투스, NFC, Wi-Fi 등)들을 구비할 수 있다. 다시 말해, 통신 회로(340)는 전자 장치(120)와 상기 적어도 하나의 외부 장치 사이의 통신을 설정할 수 있다.
통신 회로(340)는 작동적으로 프로세서(310)와 결합될 수 있다.
다양한 실시예들에서, 프로세서(310)는, 통신 회로(340)를 통해 수신되는 웨어러블 장치(110)의 요청에 대한 응답을 통신 회로(340)를 통해 웨어러블 장치(110)에게 송신할 수 있다. 예를 들면, 웨어러블 장치(110)의 요청에 대한 응답은, 웨어러블 장치(110)의 디스플레이(250)의 상기 표시 영역 내의 상기 제2 영역을 기준으로 재구성된 화면에 대한 데이터를 포함할 수 있다. 상기 재구성된 화면에 대한 데이터는, 웨어러블 장치(110)의 디스플레이(250)의 상기 표시 영역 상에서 상기 재구성된 화면을 표시하기 위해 이용될 수 있다. 다른 예를 들면, 웨어러블 장치(110)의 요청에 대한 응답은, 웨어러블 장치(110)에 의해 검출된 사용자 입력에 대한 피드백에 대한 데이터를 포함할 수 있다. 상기 피드백에 대한 데이터는, 웨어러블 장치(110)의 디스플레이(250)의 상기 표시 영역 상에서 표시되는 화면을 변경할 수 있다. 하지만, 이에 제한되지 않는다.
도 11은 다양한 실시예들에 따른 웨어러블 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 웨어러블 장치(110), 도 2에 도시된 웨어러블 장치(110), 또는 웨어러블 장치(110)의 프로세서(210)에 의해 수행될 수 있다.
도 11을 참조하면, 동작 1101에서, 프로세서(210)는, 전자 장치(120)로부터 화면에 대한 데이터를 통신 회로(240)를 통해 수신할 수 있다. 다양한 실시예들에서, 프로세서(210)는, 사용자의 신체의 일부에 의해 그립된 전자 장치(120)로부터 통신 회로(240)를 통해 상기 화면에 대한 데이터를 수신할 수 있다. 사용자의 신체의 일부에 의해 그립된 전자 장치(120)는, 상기 화면에 대한 데이터를 수신하는 동안, 웨어러블 장치(110)의 적어도 하나의 디스플레이(예: 디스플레이(250))의 표시 영역 안에서 보여질 수 있다. 다양한 실시예들에서, 상기 화면에 대한 데이터는, 웨어러블 장치(110)가 사용자에 의해 착용됨을 식별하는 것에 기반하여, 전자 장치(120)로부터 웨어러블 장치(110)에게 송신될 수 있다. 예를 들면, 웨어러블 장치(110)는, 웨어러블 장치(110)가 사용자에 의해 착용됨을 웨어러블 장치(110)의 센서 또는 카메라(230)를 통해 식별하고, 카메라(230)를 통해 상기 적어도 하나의 디스플레이의 표시 영역 안에서 사용자의 신체의 일부에 의해 그립된 전자 장치(120)가 보여짐을 식별하는 것에 기반하여, 통신 회로(240)를 통해 전자 장치(120)에게 상기 화면에 대한 데이터를 요청할 수 있다. 전자 장치(120)는, 웨어러블 장치(110)의 상기 요청에 대한 응답으로, 상기 화면에 대한 데이터를 웨어러블 장치(110)에게 송신할 수 있다. 다른 예를 들면, 전자 장치(120)는, 전자 장치(120)가 사용자에 의해 이용되는 동안, 전자 장치(120)와 연동된 웨어러블 장치(110)로부터 전자 장치(120)로의 접속 요청을 수신할 수 있다. 전자 장치(120)는, 상기 접속 요청을 수신하는 것에 응답하여, 상기 화면에 대한 데이터를 웨어러블 장치(110)에게 송신할 수 있다. 하지만, 이에 제한되지 않는다.
동작 1103에서, 프로세서(210)는, 상기 화면에 대한 데이터를 수신하는 동안, 상기 적어도 하나의 디스플레이의 표시 영역 내의 제1 영역이 전자 장치(120)를 그립한 사용자의 신체의 일부에 의해 가려짐을 카메라(230)를 통해 식별할 수 있다. 예를 들면, 프로세서(210)는, 상기 화면에 대한 데이터를 수신하는 동안, 상기 적어도 하나의 디스플레이의 표시 영역 내의 상기 제1 영역이 전자 장치(120)를 그립한 사용자의 신체의 일부에 의해 점유됨을 식별할 수 있다.
동작 1105에서, 프로세서(210)는, 상기 식별에 응답하여, 상기 제1 영역과 다른 상기 표시 영역 내의 제2 영역 안에서 상기 화면을 표시할 수 있다. 예를 들면, 프로세서(210)는, 상기 사용자의 신체의 일부에 의해 점유되거나 가려지는 상기 제1 영역 상에서 화면을 표시하는 것을 제한하기 위해, 상기 제1 영역과 구별되는 상기 제2 영역 안에서 상기 화면을 표시할 수 있다. 다양한 실시예들에서, 상기 제2 영역은, 상기 표시 영역 내에서 상기 제1 영역을 제외한 남은 영역에 대응할 수 있다. 다양한 실시예들에서, 상기 제2 영역 안에서 표시되는 상기 화면에 포함된 적어도 하나의 가상 객체의 배치(arrangement)는, 상기 적어도 하나의 가상 객체의 크기, 상기 적어도 하나의 가상 객체의 속성, 상기 적어도 하나의 가상 객체에 의해 제공되는 콘텐트, 상기 적어도 하나의 가상 객체를 제공하는 어플리케이션의 종류, 상기 제2 영역의 모양, 상기 제2 영역의 넓이, 또는 그들의 조합(combination thereof)에 기반하여, 결정될 수 있다. 다양한 실시예들에서, 상기 제2 영역 안에서 표시되는 상기 화면에 포함된 적어도 하나의 가상 객체의 배치(arrangement)는, 전자 장치(120)와 독립적으로 프로세서(210)에 의해 결정될 수도 있고, 전자 장치(120)에 의해 결정될 수도 있다. 상기 제2 영역 안에서 표시되는 상기 화면에 포함된 적어도 하나의 가상 객체의 배치가 전자 장치(120)에 의해 결정되는 경우, 전자 장치(120)는, 상기 적어도 하나의 가상 객체의 배치에 대한 정보를 웨어러블 장치(110)에게 송신할 수 있다. 하지만, 이에 제한되지 않는다.
상술한 바와 같이, 다양한 실시예들에 따른 웨어러블 장치(110)는, 전자 장치(120)를 그립한 사용자의 신체의 일부에 의해 점유되는 표시 영역 내의 부분 영역 안에서 화면을 표시하는 것을 제한함으로써, 상기 화면의 시인성을 강화할 수 있다.
도 12는 다양한 실시예들에 따라 화면의 표시를 제한하는 제1 영역을 결정하는 웨어러블 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 웨어러블 장치(110), 도 2에 도시된 웨어러블 장치(110), 또는 웨어러블 장치(110)의 프로세서(210)에 의해 수행될 수 있다.
도 12의 동작 1201 내지 동작 1209는, 도 11의 동작 1103에 포함될 수 있다.
도 12를 참조하면, 동작 1201에서, 프로세서(210)는 전자 장치(120)의 자세에 대한 데이터를 획득할 수 있다. 전자 장치(120)의 자세에 대한 데이터는 다양한 방법들을 통해 획득될 수 있다. 예를 들면, 프로세서(210)는, 카메라(230)를 통해 획득되는 이미지에 포함된 전자 장치(120)에 대응하는 시각적 객체를 분석함으로써, 전자 장치(120)의 자세에 대한 데이터를 획득할 수 있다. 다른 예를 들면, 프로세서(210)는, 상기 화면에 대한 데이터를 전자 장치(120)로부터 통신 회로(240)를 통해 수신하는 것에 기반하여, 통신 회로(240)를 통해 전자 장치(120)에게 전자 장치(120)의 자세에 대한 데이터를 요청할 수 있다. 전자 장치(120)는, 상기 요청에 응답하여, 전자 장치(120)의 적어도 하나의 센서(예: 근접 센서, 자이로 센서, 지자기 센서 등)를 이용하여 전자 장치(120)의 자세에 대한 데이터를 획득하고, 상기 요청에 대한 응답으로, 전자 장치(120)의 자세에 대한 데이터를 웨어러블 장치(110)에게 송신할 수 있다. 웨어러블 장치(110)는, 전자 장치(120)로부터 통신 회로(240)를 통해 전자 장치(120)의 자세에 대한 데이터를 획득할 수 있다. 하지만, 이에 제한되지 않는다. 다양한 실시예들에서, 전자 장치(120)의 자세에 대한 데이터는, 전자 장치(120)가 포트레이트 모드(예: 세로 모드)에 있음을 나타내기 위한 데이터를 포함할 수 있다. 다양한 실시예들에서, 전자 장치(120)의 자세에 대한 데이터는, 전자 장치(!20)가 랜드스케이프 모드(예: 가로 모드)에 있음을 나타내기 위한 데이터를 포함할 수도 있다. 하지만, 이에 제한되지 않는다.
동작 1203에서, 프로세서(210)는, 적어도 하나의 카메라(예: 카메라(230))의 시야에 의해 커버되는 전체 영역(entire area) 중 전자 장치(120)의 경계 영역을 식별할 수 있다. 예를 들면, 프로세서(210)는, 상기 적어도 하나의 카메라에 의해 획득되는 이미지로부터 전자 장치(120)에 대응하는 시각적 객체를 식별할 수 있다. 프로세서(210)는, 상기 추출된 시각적 객체로부터 상기 시각적 객체의 경계 영역을 식별할 수 있다. 사용자가 전자 장치(120)를 그립하는 경우 전자 장치(120)에 대응하는 상기 시각적 객체의 경계 영역은 상기 사용자의 상기 그립에 의해 보여짐(representation)이 변경되기 때문에, 프로세서(210)는 상기 경계 영역을 식별할 수 있다.
동작 1205에서, 프로세서(210)는, 상기 식별된 경계 영역에 인접한 영역 내에서 상기 사용자의 신체의 일부가 검색되는지 여부를 결정할 수 있다. 예를 들면, 프로세서(210)는, 상기 식별된 경계 영역의 보여짐이 변경됨을 확인하는 것에 기반하여, 상기 식별된 경계 영역에 인접한 상기 영역 내에서 상기 사용자의 상기 신체의 일부가 검색됨을 식별할 수 있다. 상기 식별된 경계 영역에 인접한 영역 내에서 상기 사용자의 신체의 일부가 검색되지 않음을 결정하는 경우, 프로세서(210)는, 지속적으로 상기 식별된 경계 영역에 인접한 영역 내에서 상기 사용자의 신체의 일부가 검색되는지 여부를 확인할 수 있다. 예를 들면, 프로세서(210)는, 전자 장치(120)로부터 상기 화면에 대한 정보를 수신하는 동안 또는 디스플레이(250)가 화면을 표시하기 위해 이용되는 동안, 상기 식별된 경계 영역에 인접한 상기 영역 내에서 상기 사용자의 상기 신체의 일부가 검색되는지 여부를 확인할 수 있다.
동작 1207에서, 프로세서(210)는, 상기 경계 영역이 상기 인접한 영역 내에서 상기 신체의 일부가 검색됨을 결정하는 것에 기반하여, 상기 신체의 일부가 전자 장치(120)와 접촉하는 영역을 식별할 수 있다. 예를 들어, 상기 신체의 일부가 손인 경우, 프로세서(210)는, 전자 장치(120)를 그립한 손이 어떤 손인지를 결정하기 위해, 상기 신체의 일부가 전자 장치(120)와 접촉하는 영역을 식별할 수 있다.
동작 1209에서, 프로세서(210)는, 상기 식별된 영역에 기반하여 상기 화면을 표시하는 것을 제한하는 제1 영역을 결정할 수 있다. 예를 들면, 프로세서(210)는, 상기 식별된 영역의 분포에 기반하여, 전자 장치(120)를 그립한 손이 어떤 손인지를 결정할 수 있다. 프로세서(210)는, 상기 결정에 기반하여, 상기 제1 영역을 결정할 수 있다.
도 12에 도시하지 않았으나, 프로세서(210)는, 상기 결정된 제1 영역에 기반하여, 화면을 표시하는 것을 허용하는 디스플레이(250)의 표시 영역 내의 제2 영역을 결정할 수 있다. 예를 들면, 프로세서(210)는, 디스플레이(250)의 표시 영역에서 상기 제1 영역을 제외한 남은 영역을 상기 제2 영역으로 결정할 수 있다.
도 12는, 웨어러블 장치(110)가, 이미지를 직접 처리함으로써, 전자 장치(120)를 그립하는 사용자의 신체의 일부의 상태를 인식하는 예를 도시하고 있으나, 도 12의 동작은 서버 또는 다른 전자 장치(예: 전자 장치(120))에 의해 수행될 수도 있음에 유의하여야 한다. 예를 들면, 프로세서(210)는 통신 회로(240)를 통해 상기 서버 또는 상기 다른 전자 장치에게 카메라(230)를 이용하여 획득된 이미지에 대한 정보를 송신하고, 상기 서버 또는 상기 다른 전자 장치로부터 상기 이미지에 기반하여 인식된 사용자의 신체의 일부의 상태에 대한 정보를 수신하고, 상기 수신된 정보를 이용하여 상기 제1 영역을 결정할 수도 있다.
상술한 바와 같이, 다양한 실시예들에 따른 웨어러블 장치(110)는, 전자 장치(120)에 대응하는 시각적 객체를 포함하는 이미지를 카메라(230)를 통해 획득하고, 상기 획득된 이미지를 분석함으로써 상기 제1 영역을 결정할 수 있다. 웨어러블 장치(110)는, 상기 제1 영역의 결정을 통해, 화면의 시인성을 강화할 수 있다.
도 13은 다양한 실시예들에 따른 웨어러블 장치의 동작의 다른 예를 도시한다. 이러한 동작은, 도 1에 도시된 웨어러블 장치(110), 도 2에 도시된 웨어러블 장치(110), 또는 웨어러블 장치(110)의 프로세서(210)에 의해 수행될 수 있다.
도 13을 참조하면, 동작 1301에서, 프로세서(210)는 전자 장치(120)로부터 수신되는 데이터에 기반하여 화면을 웨어러블 장치(110)의 적어도 하나의 디스플레이(예: 디스플레이(250))의 표시 영역의 적어도 일부 상에서 표시할 수 있다. 예를 들면, 상기 화면을 상기 적어도 하나의 디스플레이의 상기 표시 영역의 상기 적어도 일부 상에서 표시하는 동안, 상기 화면에 포함된 적어도 하나의 가상 객체는, 상기 표시 영역 내의 제1 영역 안에서 표시될 수 있다. 실시예들에 따라, 상기 제1 영역과 다른 제3 영역 안에서 상기 적어도 하나의 가상 객체와 구별되는 적어도 하나의 다른 가상 객체가 더 표시될 수도 있다.
동작 1303에서, 프로세서(210)는, 전자 장치(120)를 그립한 사용자의 신체의 일부가 상기 제1 영역으로 이동됨을 검출할 수 있다. 예를 들면, 프로세서(210)는, 상기 신체의 일부가 상기 디스플레이의 상기 표시 영역의 외부로부터 상기 적어도 하나의 가상 객체를 표시 중인 상기 표시 영역 내의 상기 제1 영역으로 이동됨을 적어도 하나의 카메라(예: 카메라(230))를 이용하여 검출할 수 있다. 다른 예를 들면, 프로세서(210)는, 상기 신체의 일부가 상기 디스플레이 상기 표시 영역의 다른 영역으로부터 상기 적어도 하나의 가상 객체를 표시 중인 상기 표시 영역 내의 상기 제1 영역으로 이동됨을 상기 적어도 하나의 카메라를 이용하여 검출할 수 있다. 하지만, 이에 제한되지 않는다.
동작 1305에서, 프로세서(210)는 상기 검출에 응답하여, 상기 적어도 하나의 가상 객체를 상기 제1 영역으로부터 제2 영역으로 이동할 수 있다. 예를 들면, 상기 제2 영역은, 상기 신체의 일부로부터 이격된(spaced apart from) 영역일 수 있다. 다른 예를 들면, 상기 제2 영역은, 상기 신체의 일부로부터 이격되고 상시 신체의 일부와 구별되는 신체의 다른 일부에 가까운 영역일 수 있다. 또 다른 예를 들면, 상기 제2 영역은, 어떤 정보도 표시하지 않는 빈(empty 또는 blank) 영역일 수 있다. 하지만, 이에 제한되지 않는다. 한편, 상기 적어도 하나의 다른 가상 객체가 상기 제3 영역 안에서 표시하는 경우, 상기 적어도 하나의 다른 가상 객체를 상기 제3 영역 안에서 표시하는 것은 상기 검출과 독립적으로 유지될 수 있다. 예를 들어, 상기 제1 영역으로 이동된 상기 신체의 일부가 상기 제3 영역으로부터 이격된 경우, 프로세서(210)는, 상기 검출과 독립적으로, 상기 제3 영역 안에서 상기 적어도 하나의 다른 가상 객체를 표시하는 것을 유지할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 웨어러블 장치(110)는, 신체의 일부와 같은 외부 객체에 의해 디스플레이(250)를 통해 표시되는 가상 객체의 시인성이 저하됨을 추정하는 경우, 가상 객체의 위치를 상기 외부 객체로부터 이격된 영역으로 변경함으로써, 상기 가상 객체의 시인성을 강화할 수 있다.
도 14는 다양한 실시예들에 따른 제스쳐 입력에 대한 데이터를 전자 장치에게 송신하는 웨어러블 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 웨어러블 장치(110), 도 2에 도시된 웨어러블 장치(110), 또는 웨어러블 장치(110)의 프로세서(210)에 의해 수행될 수 있다.
도 14의 동작 1401 내지 동작 1405는, 도 13의 동작 1305와 관련될 수 있다.
도 14를 참조하면, 동작 1401에서, 프로세서(210)는, 신체의 일부가 제1 영역으로 이동됨을 검출하는 것에 응답하여, 제1 영역 안에서 표시되고 있던 상기 적어도 하나의 시각적 객체를 제2 영역으로 이동할 수 있다. 동작 1401은 도 13의 동작 1305에 대응할 수 있다.
동작 1403에서, 프로세서(210)는, 상기 제2 영역으로 이동된 상기 적어도 하나의 가상 객체에 대한 제스쳐 입력을 수신할 수 있다. 예를 들면, 프로세서(210)는, 카메라(230)를 이용하여, 상기 적어도 하나의 가상 객체에 대한 제스쳐 입력을 수신할 수 있다. 예를 들면, 상기 제스쳐 입력은, 상기 적어도 하나의 가상 객체 위에서 사용자의 신체의 일부(예: 손)가 지정된 시간 동안 머무는 것을 포함할 수 있다. 다른 예를 들면, 상기 제스쳐 입력은, 상기 적어도 하나의 가상 객체 위에서 상기 신체의 일부가 지정된 패턴으로 움직이는 것을 포함할 수 있다. 또 다른 예를 들면, 상기 제스쳐 입력은, 상기 적어도 하나의 가상 객체를 지정된 시간 동안 바라보는 사용자의 시선일 수도 있다. 하지만, 이에 제한되지 않는다.
동작 1405에서, 프로세서(210)는, 상기 제스쳐 입력에 대한 데이터를 전자 장치(120)에게 송신할 수 있다. 예를 들면, 프로세서(210)는, 상기 제스쳐 입력에 대한 피드백을 제공하기 위해, 전자 장치(120)에게 통신 회로(240)를 통해 상기 제스쳐 입력에 대한 데이터를 송신할 수 있다. 전자 장치(120)는, 상기 수신된 제스쳐 입력에 대한 데이터에 기반하여, 상기 제스쳐 입력에 대한 피드백을 생성하거나 구성하고, 상기 생성되거나 구성된 상기 피드백에 대한 데이터를 웨어러블 장치(110)에게 송신할 수 있다. 프로세서(210)는, 통신 회로(240)를 통해 전자 장치(120)로부터 상기 피드백에 대한 데이터를 수신하고, 상기 수신에 응답하여, 상기 피드백을 상기 적어도 하나의 디스플레이 상에서 제공할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 웨어러블 장치(110)는, 제스쳐 입력에 기반하여, 피드백을 제공하기 위한 동작들을 제공함으로써 직관적인 사용자 입력을 제공할 수 있다.
도 15는 다양한 실시예들에 따라 가상 객체가 이동될 제2 영역을 결정하는 웨어러블 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 웨어러블 장치(110), 도 2에 도시된 웨어러블 장치(110), 또는 웨어러블 장치(110)의 프로세서(210)에 의해 수행될 수 있다.
도 15의 동작 1501 및 1503은, 도 13의 동작 1303과 관련될 수 있다.
도 15를 참조하면, 동작 1501에서, 프로세서(210)는 상기 신체의 일부가 상기 제1 영역으로 이동됨을 검출할 수 있다. 동작 1501은 동작 1303에 상응할 수 있다.
동작 1503에서, 프로세서(210)는 상기 검출에 응답하여, 상기 신체의 다른 일부에 가까운 표시 영역 내의 부분 영역을 가상 객체가 이동될 제2 영역으로 결정할 수 있다. 예를 들어, 상기 신체의 일부가 하나의 손이고 상기 신체의 다른 일부가 다른 손인 경우, 프로세서(210)는, 상기 다른 손에 가까운 표시 영역 내의 부분 영역을 상기 제2 영역으로 결정할 수 있다. 상기 신체의 일부에 의해 전자 장치(120)가 그립됨으로 인하여, 상기 신체의 다른 일부에 의해 사용자 입력이 야기될 확률이 높기 때문에, 프로세서(210)는, 상기 다른 손에 가까운 표시 영역 내의 부분 영역을 상기 제2 영역으로 결정할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 웨어러블 장치(110)는, 입력을 쉽게 야기할 수 있는 위치에 가상 객체를 배치함으로써, 편의성을 강화할 수 있다.
도 16은 다양한 실시예들에 따른 웨어러블 장치의 동작의 또 다른 예를 도시한다. 이러한 동작은, 도 1에 도시된 웨어러블 장치(110), 도 2에 도시된 웨어러블 장치(110), 또는 웨어러블 장치(110)의 프로세서(210)에 의해 수행될 수 있다.
도 16을 참조하면, 동작 1601에서, 프로세서(210)는, 디스플레이(250)의 표시 영역 안에서 보여지는 외부 객체에 대한 AR(augmented reality) 객체를 표시 영역 내의 제1 영역 상에서 표시할 수 있다. 예를 들면, 상기 AR 객체는, 실제 세계에 있는 상기 외부 객체와 함께 표시되고 상기 외부 객체와 관련된 정보 또는 상기 외부 객체에 대한 부가 정보를 제공하기 위한 객체를 의미할 수 있다. 다른 예를 들면, 상기 AR 객체는, 상기 외부 객체에 대응하는 시각적 객체의 인식 결과에 기반하여 식별된 객체일 수 있다.
동작 1603에서, 프로세서(210)는, 상기 AR 객체를 표시 중인 상기 제1 영역 안에서 상기 외부 객체와 구별되는 다른 외부 객체를 검출할 수 있다. 예를 들면, 상기 다른 외부 객체는, 디스플레이(250)의 표시 영역으로 새롭게 진입된 외부 객체일 수 있다. 다른 예를 들면, 상기 다른 외부 객체는, 상기 외부 객체로부터 이격된 위치에서 디스플레이(250)의 표시 영역 안에 있던 객체일 수도 있다. 하지만, 이에 제한되지 않는다. 프로세서(210)는 카메라(230)를 이용하여 상기 다른 외부 객체를 상기 제1 영역 안에서 검출할 수 있다.
동작 1605에서, 프로세서(210)는, 상기 검출에 응답하여, 상기 제1 영역으로부터 변경된 제2 영역 상에서 상기 AR 객체를 표시할 수 있다. 예를 들면, 상기 제2 영역은 상기 외부 객체에 인접하고 상기 다른 외부 객체로부터 이격된 영역일 수 있다. 예를 들면, 상기 AR 객체는, 상기 외부 객체와 연계로 상기 제2 영역 상에서 표시될 수 있다.
상술한 바와 같이, 웨어러블 장치(110)는, 전자 장치(120)와 독립적으로 동작하는 동안, 디스플레이(250)의 표시 영역 안에서 보여지는 외부 객체와 연계로 AR 객체를 표시하는 동안, 상기 AR 객체의 시인성을 저하하는 상황이 발생하는지 여부를 모니터링하고, 상기 AR 객체의 시인성을 저하하는 상황이 발생함을 모니터링하는 응답하여, 상기 AR 객체의 위치를 변경함으로써 상기 AR 객체의 시인성을 강화할 수 있다.
도 17은 다양한 실시예들에 따라 제2 영역을 결정하는 웨어러블 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 웨어러블 장치(110), 도 2에 도시된 웨어러블 장치(110), 또는 웨어러블 장치(110)의 프로세서(210)에 의해 수행될 수 있다.
도 17의 동작 1701 내지 1703은 도 16의 동작 1605에 관련되거나 포함될 수 있다.
도 17을 참조하면, 동작 1701에서, 프로세서(210)는 적어도 하나의 카메라(230)의 시야에 의해 커버되는 전체 영역 중 AR 객체의 경계 영역을 식별할 수 있다. 예를 들면, 프로세서(210)는, 상기 AR 객체를 표시하는 영역의 좌표 정보에 기반하여 상기 AR 객체의 경계 영역을 식별할 수 있다.
동작 1703에서, 프로세서(210)는 상기 다른 외부 객체가 상기 식별된 경계 영역에 인접한 영역 내에 위치되는지 여부를 확인할 수 있다. 예를 들면, 프로세서(210)는, 상기 AR 객체의 시인성이 저하되는 상황을 막기 위해, 상기 다른 외부 객체가 상기 식별된 경계 영역에 인접한 영역 내에 위치되는지 여부를 확인할 수 있다. 동작 1703은, 상기 AR 객체를 표시하는 동안 유지될 수 있다.
동작 1705에서, 프로세서(210)는, 상기 다른 외부 객체가 상기 경계 영역에 인접한 상기 영역 내에 위치됨을 확인하는 것에 기반하여, 상기 다른 외부 객체의 위치에 기반하여 상기 제2 영역을 결정할 수 있다. 예를 들면, 프로세서(210)는, 상기 다른 외부 객체와 이격된 위치에서 상기 AR 객체를 표시하기 위해, 상기 다른 외부 객체의 위치를 제외한 남은 영역 내에서 상기 외부 객체와의 연계를 나타낼 수 있는 영역을 식별하고, 상기 식별된 영역을 상기 제2 영역으로 결정할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 웨어러블 장치(110)는, 이미지를 처리함으로써, 표시 중인 AR 객체의 시인성이 저하되는 것을 방지할 수 있다.
상술한 바와 같은, 다양한 실시예들에 따른 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치는, 제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이와, 명령어들을 저장하는 메모리와, 통신 회로와, 적어도 하나의 프로세서를 포함할 수 있고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 상기 통신 회로를 통해, 화면에 대한 데이터를 수신하고, 상기 화면에 대한 데이터를 수신하는 동안, 상기 적어도 하나의 카메라를 이용하여 상기 적어도 하나의 디스플레이의 표시 영역 내의 제1 영역이 상기 신체의 일부에 의해 가려짐을 식별하고, 상기 식별에 응답하여, 상기 제1 영역과 다른 상기 표시 영역 내의 제2 영역 안에서 상기 화면을 표시하도록 구성될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 화면에 대한 데이터를 수신하는 동안, 상기 화면 내에 포함된 적어도 하나의 가상 객체를 상기 제1 영역 안에서 표시하고, 상기 적어도 하나의 가상 객체를 상기 제1 영역 안에서 표시하는 동안, 상기 적어도 하나의 카메라를 이용하여, 상기 제1 영역이 상기 신체의 일부에 의해 가려짐을 식별하고, 상기 식별에 응답하여, 상기 적어도 하나의 가상 객체를 상기 제1 영역으로부터 상기 제2 영역으로 이동함으로써 상기 제2 영역 안에서 상기 화면을 표시하도록 구성될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 카메라를 이용하여, 상기 신체의 일부에 의해 그립된 상기 전자 장치의 자세에 대한 데이터를 획득하도록 더 구성될 수 있고, 상기 제2 영역은, 상기 식별에 응답하여, 상기 전자 장치의 자세에 대한 데이터에 기반하여 결정될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 전자 장치로부터 상기 통신 회로를 통해, 상기 전자 장치의 자세에 대한 데이터를 수신하도록 더 구성될 수 있고, 상기 제2 영역은, 상기 식별에 응답하여, 상기 전자 장치의 자세에 대한 데이터에 기반하여 결정될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 자세에 대한 데이터를 획득하고, 상기 자세에 대한 데이터에 기반하여, 상기 전자 장치의 경계(boundary) 영역을 식별하고, 상기 경계 영역으로부터, 상기 전자 장치를 그립한 상기 신체의 일부가 상기 전자 장치와 접촉하는(in contact with) 영역을 식별하고, 상기 식별된 영역에 기반하여 상기 제1 영역을 결정하도록 구성될 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 카메라의 시야에 의해 커버되는 전체 영역 중 상기 경계 영역에 인접한(adjacent to) 영역 내에서 상기 신체의 일부를 먼저 검색하고(first search for), 상기 검색에 기반하여, 상기 신체의 일부가 상기 전자 장치와 접촉하는 영역을 식별하도록 구성될 수 있다.
다양한 실시예들에서, 상기 제2 영역은, 상기 표시 영역 내에서 상기 제1 영역을 제외한 남은 영역에 상응할 수 있다.
상술한 바와 같은, 다양한 실시예들에 따른 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치는, 제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이와, 적어도 하나의 카메라와, 명령어들을 저장하는 메모리와, 통신 회로와, 적어도 하나의 프로세서를 포함할 수 있고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 수신되는 데이터에 기반하여, 화면을 상기 적어도 하나의 디스플레이의 표시 영역의 적어도 일부 상에서 표시하고, 상기 화면에 포함된 적어도 하나의 가상 객체는, 상기 표시 영역 내의 제1 영역 안에서 표시될 수 있으며, 상기 화면을 상기 표시 영역의 적어도 일부 상에서 표시하는 동안, 상기 적어도 하나의 카메라를 이용하여 상기 신체의 일부가 상기 제1 영역으로 이동됨을 검출하고, 상기 검출에 응답하여, 상기 적어도 하나의 가상 객체를 상기 제1 영역으로부터 상기 표시 영역 내의 제2 영역으로 이동하도록 구성될 수 있다.
다양한 실시예들에서, 상기 화면은, 상기 적어도 하나의 가상 객체를 상기 제1 영역 안에서 표시하는 동안 상기 제1 영역과 다른 제3 영역 안에서 표시되는 적어도 하나의 다른 가상 객체를 더 포함할 수 있고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 검출과 독립적으로(independently of), 상기 제3 영역 안에서 상기 적어도 하나의 다른 가상 객체를 표시하는 것을 유지하도록 더 구성될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 제1 영역 안에서 상기 화면의 일부를 표시하는 것을 제한하기 위해, 상기 적어도 하나의 가상 객체를 상기 제1 영역으로부터 상기 제2 영역으로 이동하도록 구성될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 제2 영역으로 이동된 상기 적어도 하나의 객체를 포함하는 상기 화면을 표시하는 동안, 상기 적어도 하나의 객체에 대한 제스쳐(gesture) 입력을 상기 적어도 하나의 카메라를 이용하여 수신하고, 상기 제스쳐 입력의 상기 수신에 응답하여, 상기 제스쳐 입력에 대한 데이터를 상기 통신 회로를 통해 상기 전자 장치에게 송신하도록 더 구성될 수 있다. 다양한 실시예들에서, 상기 제스쳐 입력은, 상기 전자 장치를 그립하는 상기 신체의 일부와 구별되는 상기 사용자의 상기 신체의 다른 일부에 의해 야기될 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 검출에 응답하여, 상기 신체의 상기 다른 일부에 가까운 상기 표시 영역 내의 부분 영역을 상기 제2 영역으로 결정하고, 상기 제1 영역으로부터 상기 결정된 제2 영역으로 상기 적어도 하나의 가상 객체를 이동하도록 구성될 수 있다. 다양한 실시예들에서, 상기 신체의 상기 일부는, 상기 사용자의 손에 대응할 수 있고, 상기 신체의 상기 다른 일부는, 상기 사용자의 다른 손에 대응할 수 있으며, 상기 제2 영역과 상기 다른 손 사이의 거리는, 상기 제1 영역과 상기 다른 손 사이의 거리보다 짧을 수 있다.
상술한 바와 같은, 다양한 실시예들에 따른 웨어러블(wearable) 장치는, 제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이와, 적어도 하나의 카메라와, 명령어들을 저장하는 메모리와, 적어도 하나의 프로세서를 포함할 수 있고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 디스플레이의 표시 영역 안에서 보여지는(viewed) 외부 객체(external object)에 대한 AR(augmented reality) 객체를 상기 표시 영역 내의 제1 영역 상에서 표시하고, 상기 AR 객체를 표시하는 상기 제1 영역 안에서 외부 객체와 구별되는 다른 외부 객체를 상기 적어도 하나의 카메라를 이용하여 검출하고, 상기 검출에 응답하여, 상기 AR 객체를 상기 제1 영역으로부터 변경된 상기 표시 영역 내의 제2 영역 상에서 상기 외부 객체와 연계로(as associated with) 표시하도록 구성될 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 외부 객체의 경계 영역을 식별하고, 상기 외부 객체에 대한 상기 AR 객체를 상기 제1 영역 안에서 표시하는 동안, 상기 경계 영역의 상태가 변경되는지 여부를 확인하고, 상기 경계 영역의 상태가 변경됨을 확인하는 것에 응답하여, 상기 다른 외부 객체가 상기 적어도 하나의 카메라의 시야에 의해 커버되는 전체 영역 중 상기 경계 영역에 인접한 영역 내에 위치되는지 여부를 확인하고, 상기 다른 외부 객체가 상기 경계 영역에 인접한 상기 영역 내에 위치됨을 확인하는 것에 응답하여, 상기 다른 외부 객체의 위치에 기반하여 상기 제2 영역을 결정하도록 구성될 수 있다. 다양한 실시예들에서, 상기 제2 영역은, 상기 외부 객체에 인접한 영역일 수 있고, 상기 다른 외부 객체로부터 이격된 영역일 수 있다.
다양한 실시예들에서, 상기 AR 객체는, 상기 외부 객체에 대응하는 시각적 객체의 인식 결과에 기반하여 식별될 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 카메라를 이용하여 상기 외부 객체에 대응하는 상기 시각적 객체를 포함하는 이미지를 획득하고, 상기 획득된 이미지에 포함된 상기 시각적 객체를 인식하고, 상기 시각적 객체의 상기 인식의 결과에 기반하여, 상기 외부 객체에 대한 상기 AR 객체를 결정하고, 상기 결정된 AR 객체를 상기 제1 영역 안에서 표시하도록 구성될 수 있다. 다양한 실시예들에서, 상기 웨어러블 장치는, 통신 회로를 더 포함할 수 있고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 카메라를 이용하여 상기 외부 객체에 대응하는 상기 시각적 객체를 포함하는 이미지를 획득하고, 상기 획득된 이미지에 대한 정보를 외부 전자 장치에게 송신하고, 상기 외부 전자 장치로부터 상기 통신 회로를 통해, 상기 획득된 이미지에 포함된 상기 시각적 객체의 인식의 결과에 기반하여 결정된 상기 AR 객체에 대한 정보를 수신하고, 상기 결정된 AR 객체를 상기 제1 영역 안에서 표시하도록 구성될 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치에 있어서,
    제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이;
    명령어들을 저장하는 메모리;
    통신 회로; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 상기 통신 회로를 통해, 화면에 대한 데이터를 수신하고,
    상기 화면에 대한 데이터를 수신하는 동안, 상기 적어도 하나의 카메라를 이용하여 상기 적어도 하나의 디스플레이의 표시 영역 내의 제1 영역이 상기 신체의 일부에 의해 가려짐을 식별하고,
    상기 식별에 응답하여, 상기 제1 영역과 다른 상기 표시 영역 내의 제2 영역 안에서 상기 화면을 표시하도록 구성되는 웨어러블 장치.
  2. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 화면에 대한 데이터를 수신하는 동안, 상기 화면 내에 포함된 적어도 하나의 가상 객체를 상기 제1 영역 안에서 표시하고,
    상기 적어도 하나의 가상 객체를 상기 제1 영역 안에서 표시하는 동안, 상기 적어도 하나의 카메라를 이용하여, 상기 제1 영역이 상기 신체의 일부에 의해 가려짐을 식별하고,
    상기 식별에 응답하여, 상기 적어도 하나의 가상 객체를 상기 제1 영역으로부터 상기 제2 영역으로 이동함으로써 상기 제2 영역 안에서 상기 화면을 표시하도록 구성되는 웨어러블 장치.
  3. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 적어도 하나의 카메라를 이용하여, 상기 신체의 일부에 의해 그립된 상기 전자 장치의 자세에 대한 데이터를 획득하도록 더 구성되고,
    상기 제2 영역은,
    상기 식별에 응답하여, 상기 전자 장치의 자세에 대한 데이터에 기반하여 결정되는 웨어러블 장치.
  4. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 전자 장치로부터 상기 통신 회로를 통해, 상기 전자 장치의 자세에 대한 데이터를 수신하도록 더 구성되고,
    상기 제2 영역은,
    상기 식별에 응답하여, 상기 전자 장치의 자세에 대한 데이터에 기반하여 결정되는 웨어러블 장치.
  5. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 자세에 대한 데이터를 획득하고,
    상기 자세에 대한 데이터에 기반하여, 상기 전자 장치의 경계(boundary) 영역을 식별하고,
    상기 경계 영역으로부터, 상기 전자 장치를 그립한 상기 신체의 일부가 상기 전자 장치와 접촉하는(in contact with) 영역을 식별하고,
    상기 식별된 영역에 기반하여 상기 제1 영역을 결정하도록 구성되는 웨어러블 장치.
  6. 청구항 5에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 적어도 하나의 카메라의 시야에 의해 커버되는 전체 영역 중 상기 경계 영역에 인접한(adjacent to) 영역 내에서 상기 신체의 일부를 먼저 검색하고(first search for),
    상기 검색에 기반하여, 상기 신체의 일부가 상기 전자 장치와 접촉하는 영역을 식별하도록 구성되는 웨어러블 장치.
  7. 청구항 1에 있어서, 상기 제2 영역은,
    상기 표시 영역 내에서 상기 제1 영역을 제외한 남은 영역에 상응하는 웨어러블 장치.
  8. 전자 장치(electronic device)와 연동되는 웨어러블(wearable) 장치에 있어서,
    제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이;
    적어도 하나의 카메라;
    명령어들을 저장하는 메모리;
    통신 회로; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    사용자의 신체의 일부에 의해 그립된 상기 전자 장치로부터 수신되는 데이터에 기반하여, 화면을 상기 적어도 하나의 디스플레이의 표시 영역의 적어도 일부 상에서 표시하고, 상기 화면에 포함된 적어도 하나의 가상 객체는, 상기 표시 영역 내의 제1 영역 안에서 표시됨,
    상기 화면을 상기 표시 영역의 적어도 일부 상에서 표시하는 동안, 상기 적어도 하나의 카메라를 이용하여 상기 신체의 일부가 상기 제1 영역으로 이동됨을 검출하고,
    상기 검출에 응답하여, 상기 적어도 하나의 가상 객체를 상기 제1 영역으로부터 상기 표시 영역 내의 제2 영역으로 이동하도록 구성되는 웨어러블 장치.
  9. 청구항 8에 있어서, 상기 화면은,
    상기 적어도 하나의 가상 객체를 상기 제1 영역 안에서 표시하는 동안 상기 제1 영역과 다른 제3 영역 안에서 표시되는 적어도 하나의 다른 가상 객체를 더 포함하고,
    상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 검출과 독립적으로(independently of), 상기 제3 영역 안에서 상기 적어도 하나의 다른 가상 객체를 표시하는 것을 유지하도록 더 구성되는 웨어러블 장치.
  10. 청구항 8에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 제1 영역 안에서 상기 화면의 일부를 표시하는 것을 제한하기 위해, 상기 적어도 하나의 가상 객체를 상기 제1 영역으로부터 상기 제2 영역으로 이동하도록 구성되는 웨어러블 장치.
  11. 청구항 8에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 제2 영역으로 이동된 상기 적어도 하나의 객체를 포함하는 상기 화면을 표시하는 동안, 상기 적어도 하나의 객체에 대한 제스쳐(gesture) 입력을 상기 적어도 하나의 카메라를 이용하여 수신하고,
    상기 제스쳐 입력의 상기 수신에 응답하여, 상기 제스쳐 입력에 대한 데이터를 상기 통신 회로를 통해 상기 전자 장치에게 송신하도록 더 구성되는 웨어러블 장치.
  12. 청구항 11에 있어서, 상기 제스쳐 입력은,
    상기 전자 장치를 그립하는 상기 신체의 일부와 구별되는 상기 사용자의 상기 신체의 다른 일부에 의해 야기되는 웨어러블 장치.
  13. 청구항 12에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 검출에 응답하여, 상기 신체의 상기 다른 일부에 가까운 상기 표시 영역 내의 부분 영역을 상기 제2 영역으로 결정하고,
    상기 제1 영역으로부터 상기 결정된 제2 영역으로 상기 적어도 하나의 가상 객체를 이동하도록 구성되는 웨어러블 장치.
  14. 청구항 13에 있어서, 상기 신체의 상기 일부는,
    상기 사용자의 손에 대응하고,
    상기 신체의 상기 다른 일부는,
    상기 사용자의 다른 손에 대응하며,
    상기 제2 영역과 상기 다른 손 사이의 거리는,
    상기 제1 영역과 상기 다른 손 사이의 거리보다 짧은 웨어러블 장치.
  15. 웨어러블(wearable) 장치에 있어서,
    제1 면으로 향하는(toward) 외부 광을 상기 제1 면에 반대인(opposite to) 제2 면을 통해 투과하도록(go through) 구성되고, 상기 제2 면 상에 정보를 표시하도록 구성되는 적어도 하나의 디스플레이;
    적어도 하나의 카메라;
    명령어들을 저장하는 메모리; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 적어도 하나의 디스플레이의 표시 영역 안에서 보여지는(viewed) 외부 객체(external object)에 대한 AR(augmented reality) 객체를 상기 표시 영역 내의 제1 영역 상에서 표시하고,
    상기 AR 객체를 표시하는 상기 제1 영역 안에서 외부 객체와 구별되는 다른 외부 객체를 상기 적어도 하나의 카메라를 이용하여 검출하고,
    상기 검출에 응답하여, 상기 AR 객체를 상기 제1 영역으로부터 변경된 상기 표시 영역 내의 제2 영역 상에서 상기 외부 객체와 연계로(as associated with) 표시하도록 구성되는 웨어러블 장치.
  16. 청구항 15에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 외부 객체의 경계 영역을 식별하고,
    상기 외부 객체에 대한 상기 AR 객체를 상기 제1 영역 안에서 표시하는 동안, 상기 경계 영역의 상태가 변경되는지 여부를 확인하고,
    상기 경계 영역의 상태가 변경됨을 확인하는 것에 응답하여, 상기 다른 외부 객체가 상기 적어도 하나의 카메라의 시야에 의해 커버되는 전체 영역 중 상기 경계 영역에 인접한 영역 내에 위치되는지 여부를 확인하고,
    상기 다른 외부 객체가 상기 경계 영역에 인접한 상기 영역 내에 위치됨을 확인하는 것에 응답하여, 상기 다른 외부 객체의 위치에 기반하여 상기 제2 영역을 결정하도록 구성되는 웨어러블 장치.
  17. 청구항 16에 있어서, 상기 제2 영역은,
    상기 외부 객체에 인접한 영역이고,
    상기 다른 외부 객체로부터 이격된 영역인 웨어러블 장치.
  18. 청구항 15에 있어서, 상기 AR 객체는,
    상기 외부 객체에 대응하는 시각적 객체의 인식 결과에 기반하여 식별되는 웨어러블 장치.
  19. 청구항 18에 있어서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 적어도 하나의 카메라를 이용하여 상기 외부 객체에 대응하는 상기 시각적 객체를 포함하는 이미지를 획득하고,
    상기 획득된 이미지에 포함된 상기 시각적 객체를 인식하고,
    상기 시각적 객체의 상기 인식의 결과에 기반하여, 상기 외부 객체에 대한 상기 AR 객체를 결정하고,
    상기 결정된 AR 객체를 상기 제1 영역 안에서 표시하도록 구성되는 웨어러블 장치.
  20. 청구항 18에 있어서,
    통신 회로를 더 포함하고,
    상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 적어도 하나의 카메라를 이용하여 상기 외부 객체에 대응하는 상기 시각적 객체를 포함하는 이미지를 획득하고,
    상기 획득된 이미지에 대한 정보를 외부 전자 장치에게 송신하고,
    상기 외부 전자 장치로부터 상기 통신 회로를 통해, 상기 획득된 이미지에 포함된 상기 시각적 객체의 인식의 결과에 기반하여 결정된 상기 AR 객체에 대한 정보를 수신하고,
    상기 결정된 AR 객체를 상기 제1 영역 안에서 표시하도록 구성되는 웨어러블 장치.
KR1020180164298A 2018-12-18 2018-12-18 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법 KR102539579B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180164298A KR102539579B1 (ko) 2018-12-18 2018-12-18 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
US16/718,354 US11302037B2 (en) 2018-12-18 2019-12-18 Electronic device for adaptively altering information display area and operation method thereof
PCT/KR2019/018046 WO2020130648A1 (en) 2018-12-18 2019-12-18 Electronic device for adaptively altering information display area and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164298A KR102539579B1 (ko) 2018-12-18 2018-12-18 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20200075521A true KR20200075521A (ko) 2020-06-26
KR102539579B1 KR102539579B1 (ko) 2023-06-05

Family

ID=71071056

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164298A KR102539579B1 (ko) 2018-12-18 2018-12-18 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US11302037B2 (ko)
KR (1) KR102539579B1 (ko)
WO (1) WO2020130648A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024044137A1 (en) * 2022-08-23 2024-02-29 Snap Inc. Object counting on ar wearable devices

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10948997B1 (en) 2019-12-20 2021-03-16 Facebook Technologies, Llc Artificial reality notification triggers
US11500454B2 (en) * 2020-12-29 2022-11-15 Snap Inc. Body UI for augmented reality components
KR20230124703A (ko) 2020-12-29 2023-08-25 스냅 인코포레이티드 증강 현실 컴포넌트들을 위한 신체 ui
CN114911398A (zh) * 2021-01-29 2022-08-16 伊姆西Ip控股有限责任公司 显示图形界面方法、电子设备和计算机程序产品
US11829529B2 (en) 2021-07-13 2023-11-28 Meta Platforms Technologies, Llc Look to pin on an artificial reality device
EP4339873A4 (en) * 2021-11-09 2024-05-01 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
US11836205B2 (en) 2022-04-20 2023-12-05 Meta Platforms Technologies, Llc Artificial reality browser configured to trigger an immersive experience
US11755180B1 (en) * 2022-06-22 2023-09-12 Meta Platforms Technologies, Llc Browser enabled switching between virtual worlds in artificial reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153468A1 (en) * 2005-10-31 2009-06-18 National University Of Singapore Virtual Interface System
US20140015785A1 (en) * 2011-03-25 2014-01-16 Kyocera Corporation Electronic device
US20150295959A1 (en) * 2012-10-23 2015-10-15 Hewlett-Packard Development Company, L.P. Augmented reality tag clipper

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073198B2 (en) * 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
KR20100039194A (ko) 2008-10-06 2010-04-15 삼성전자주식회사 사용자 접촉 패턴에 따른 ＧＵＩ(Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ) 표시 방법 및 이를 구비하는 장치
US10514767B2 (en) * 2013-04-02 2019-12-24 Sony Corporation Information processing apparatus and information processing method
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
EP3742405A3 (en) 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
JP5929933B2 (ja) * 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム
US10318007B2 (en) 2014-01-27 2019-06-11 Lg Electronics Inc. Head mounted display device for multi-tasking and method for controlling same
US20150302653A1 (en) * 2014-04-22 2015-10-22 Cherif Atia Algreatly Augmented Digital Data
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
KR20160101589A (ko) * 2015-02-17 2016-08-25 삼성전자주식회사 정보 표시 장치 및 방법
US9791917B2 (en) 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
JP6400197B2 (ja) 2015-05-29 2018-10-03 京セラ株式会社 ウェアラブル装置
CN105183156B (zh) 2015-08-31 2019-03-12 小米科技有限责任公司 屏幕控制方法及装置
US10338673B2 (en) 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
FR3044021B1 (fr) 2015-11-23 2017-12-01 Centre National De La Recherche Scient - Cnrs - Procede d'ionisation d'argon
EP3377962A1 (en) * 2016-04-27 2018-09-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP6958570B2 (ja) * 2016-11-29 2021-11-02 ソニーグループ株式会社 表示制御装置、表示制御方法およびプログラム
US11086393B2 (en) * 2016-12-27 2021-08-10 Sony Corporation Information processing device, information processing method, and computer program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153468A1 (en) * 2005-10-31 2009-06-18 National University Of Singapore Virtual Interface System
US20140015785A1 (en) * 2011-03-25 2014-01-16 Kyocera Corporation Electronic device
US20150295959A1 (en) * 2012-10-23 2015-10-15 Hewlett-Packard Development Company, L.P. Augmented reality tag clipper

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024044137A1 (en) * 2022-08-23 2024-02-29 Snap Inc. Object counting on ar wearable devices

Also Published As

Publication number Publication date
WO2020130648A1 (en) 2020-06-25
KR102539579B1 (ko) 2023-06-05
US11302037B2 (en) 2022-04-12
US20200193649A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
KR102539579B1 (ko) 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
KR102473259B1 (ko) 시선 타겟 애플리케이션 런처
US10705602B2 (en) Context-aware augmented reality object commands
US9378581B2 (en) Approaches for highlighting active interface elements
US10409443B2 (en) Contextual cursor display based on hand tracking
US9483113B1 (en) Providing user input to a computing device with an eye closure
JP6039801B2 (ja) 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
US9330302B2 (en) Polarized gaze tracking
WO2015170520A1 (ja) 情報処理システムおよび情報処理方法
KR20200098034A (ko) 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
US20150277841A1 (en) Multi mode display system
US9377866B1 (en) Depth-based position mapping
US20220083131A1 (en) Wearable device for using external entity as controller and method
US20150310788A1 (en) Display device and method for controlling the same
US11169598B2 (en) Apparatus and associated methods for presentation of a virtual reality space
US10852814B1 (en) Bounding virtual object
TWI766258B (zh) 用於選擇在設備的顯示媒介上的交互物件的方法
US10809794B2 (en) 3D navigation mode
TWI588698B (zh) 意外觸摸拒絕之技術
JP6514416B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
US20220244899A1 (en) Display system that displays virtual object, display device and method of controlling same, and storage medium
KR20230052370A (ko) 외부 전자 장치의 상태에 따라 화면을 제어하는 모드를 적응적으로 변경하기 위한 전자 장치 및 방법
EP2886173B1 (en) Augmented reality overlay for control devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant